PAN 2
Résumé NexusAi : PAN 2 est un modèle du monde de niveau recherche qui transforme du texte structuré et des images facultatives en courtes vidéos simulées. Grâce à un raisonnement conceptuel intégré et à un socle perceptif de diffusion latente, il permet aux agents et aux chercheurs d’anticiper les conséquences d’actions.
NexusAi Vue d’ensemble
Le flux de travail type commence par un raisonneur conceptuel qui reformule les prompts en texte libre sous forme de légendes structurées et ancrées dans le temps. Le pipeline perceptif s’appuie ensuite sur ces légendes pour générer une vidéo. Le dépôt comprend des scripts pour convertir les checkpoints, générer des prompts et lancer des processus generate.py sur chaque GPU, qui produisent des fichiers MP4 accompagnés de métadonnées de configuration pour assurer la reproductibilité.
Capacités et périmètre technique
PAN 2 s’adresse principalement aux chercheurs en IA, aux équipes de robotique et aux concepteurs de produits techniques qui ont besoin de prédictions par simulation plutôt que de vidéos destinées à la production. Il est utile pour prototyper des boucles de planification d’agents, évaluer le raisonnement physique et créer des séquences synthétiques destinées à l’évaluation, à la conception de programmes d’apprentissage ou à des études contrôlées auprès d’utilisateurs, lorsque l’interprétabilité et un format de conditionnement structuré sont nécessaires.
- Simule les conséquences d’actions décrites en texte sous forme de courtes vidéos de vingt secondes maximum.
- Accepte une première image facultative pour prolonger une séquence en vidéo et fournir du contexte.
- Génère des légendes structurées et ancrées dans le temps pour conditionner le socle de diffusion.
- Reformule les prompts pour respecter le format et le nombre maximal de tokens de l’encodeur de texte.
- Fournit un checkpoint de diffusion unique et des instructions pour l’inférence locale avec diffusers.
Pourquoi les ingénieurs choisissent PAN 2
À qui s’adresse ce modèle ?
Suivez le README du dépôt pour télécharger le checkpoint de diffusion et récupérer les composants figés (l’encodeur de texte Qwen3.5-9B et le VAE Wan 2.2) via le cache HF. Convertissez les fichiers du transformer à l’aide du script fourni, définissez CKPT_PATH sur le répertoire converti, puis lancez inference/inference.sh ou generate.py sur chaque GPU. Les paramètres d’échantillonnage par défaut et les variables d’environnement sont documentés. Reformulez les prompts avant la génération et déployez pan2-guardrail pour filtrer les requêtes et les résultats.
NexusAi: Un outil de recherche pratique pour le raisonnement par simulation et la prédiction visuelle conditionnée par des actions.
Pour commencer
PAN 2 est un simulateur destiné à la recherche qui privilégie les prédictions conditionnelles interprétables plutôt que les vidéos de production soignées. Sa force réside dans l’association d’un raisonneur conceptuel structuré et d’un vaste socle perceptif de diffusion. Il convient ainsi à la recherche sur la planification des agents, à la création de jeux de données contrôlés et aux études sur le raisonnement physique, à condition d’utiliser les garde-fous recommandés.
Ouvrez l’outil et examinez son expérience produit principale.
Créez votre compte ou accédez à votre espace de travail existant.
Utilisez votre propre tâche pour évaluer la vitesse, la qualité et l’adéquation.
Vérifiez des outils IA similaires avant de prendre une décision finale.
PAN 2
L’Institute of Foundation Models (IFM) de MBZUAI se consacre aux modèles de fondation pour la compréhension multimodale et la simulation. L’IFM développe du code de recherche, des checkpoints et de la documentation pour permettre des expériences reproductibles en modélisation du monde et en raisonnement des agents.
PAN 2 associe un raisonneur conceptuel piloté par le langage à un socle perceptif de diffusion latente de 29 milliards de paramètres afin de simuler, sous forme vidéo, les conséquences d’actions sur une durée maximale de 20 secondes. À partir d’une observation (première image facultative et texte) et d’un plan d’action décrit en texte, le module conceptuel génère une légende structurée et ancrée dans le temps représentant l’état du monde ; le socle de diffusion synthétise ensuite les latents vidéo, décodés par un VAE dédié. Les ressources publiées comprennent le checkpoint de diffusion au format diffusers, des instructions pour la génération locale avec generate.py, ainsi que des conseils pour la reformulation des prompts, les garde-fous et les réglages par défaut de précision et de nombre d’étapes. PAN 2 s’adresse au raisonnement par simulation, à la recherche en planification robotique et à la synthèse vidéo contrôlée, lorsque des prédictions interprétables et vérifiables comptent davantage qu’un rendu photoréaliste.
Visiter PAN 2
Commentaires (0)
Aucun commentaire trouvé