PAN 2
NexusAi Zusammenfassung: PAN 2 ist ein Forschungsmodell der nächsten Generation, das strukturierte Texte und optionale Bilder in kurze simulierte Videos umwandelt. So können Agenten und Forschende anhand integrierter konzeptueller Schlussfolgerungen und einer latenten Diffusionsarchitektur die Folgen von Handlungen vorab untersuchen.
NexusAi Überblick
Im typischen Workflow formuliert zunächst ein konzeptueller Reasoner frei eingegebene Prompts in strukturierte, zeitlich verankerte Beschreibungen um. Anschließend erzeugt die Wahrnehmungspipeline auf dieser Grundlage ein Video. Das Repository enthält Skripte zur Konvertierung von Checkpoints und zur Prompt-Erstellung sowie Anleitungen zum Ausführen von generate.py auf jeder GPU. Die erzeugten MP4-Dateien werden zusammen mit Konfigurationsmetadaten zur Reproduzierbarkeit gespeichert.
Funktionen und technischer Umfang
PAN 2 richtet sich vor allem an KI-Forschende, Robotikteams und technische Produktentwickler, die simulative Vorhersagen statt fertiger Produktionsvideos benötigen. Das Modell eignet sich zum Prototyping von Agenten-Planungsschleifen, zum Benchmarking physikalischer Schlussfolgerungen und zur Erstellung synthetischer Aufnahmen für Evaluierungen, die Gestaltung von Lerncurricula oder kontrollierte Nutzerstudien, bei denen Interpretierbarkeit und ein strukturiertes Konditionierungsformat gefragt sind.
- Simuliert die Folgen textbasierter Handlungen in kurzen Videos von bis zu 20 Sekunden.
- Akzeptiert optional einen ersten Frame, um ein Bild-zu-Video-Ergebnis fortzusetzen und zusätzlichen Kontext bereitzustellen.
- Erstellt strukturierte, zeitlich verankerte Beschreibungen, die die Diffusionsarchitektur steuern.
- Formuliert Prompts um, damit sie dem festen Token-Budget und Format des Text-Encoders entsprechen.
- Enthält einen einzelnen Diffusions-Checkpoint sowie Anleitungen zur lokalen Inferenz mit Diffusers.
Warum sich Engineers für PAN 2 entscheiden
Für wen lohnt sich die Evaluierung?
Folgen Sie der README im Repository, um den Diffusions-Checkpoint herunterzuladen und die eingefrorenen Komponenten (Qwen3.5-9B-Text-Encoder und Wan 2.2 VAE) über den HF-Cache abzurufen. Konvertieren Sie die Transformer-Dateien mit dem bereitgestellten Skript, setzen Sie CKPT_PATH auf das konvertierte Verzeichnis und starten Sie die Inferenz mit inference/inference.sh oder generate.py auf jeder GPU. Die Standardeinstellungen für Sampler und Umgebungsvariablen sind dokumentiert. Formulieren Sie Prompts vor der Generierung um und setzen Sie pan2-guardrail ein, um Anfragen und Ausgaben zu prüfen.
NexusAi: Ein praxisorientiertes Forschungstool für simulative Schlussfolgerungen und handlungsgesteuerte visuelle Vorhersagen.
Erste Schritte
PAN 2 ist ein simulationsorientiertes Forschungsmodell, bei dem interpretierbare, konditionierte Vorhersagen Vorrang vor ausgefeilten Produktionsvideos haben. Seine Stärke liegt in der Verbindung eines strukturierten konzeptuellen Reasoners mit einer leistungsfähigen Diffusionsarchitektur für die Wahrnehmung. Damit eignet sich das Modell für die Forschung zur Agentenplanung, kontrollierte Datensätze und Untersuchungen zu physikalischen Schlussfolgerungen – sofern die empfohlenen Schutzmechanismen eingesetzt werden.
Öffne das Tool und prüfe die zentrale Produkterfahrung.
Erstelle ein Konto oder greife auf deinen bestehenden Workspace zu.
Nutze eine eigene Aufgabe, um Geschwindigkeit, Qualität und Passung zu bewerten.
Prüfe ähnliche KI-Tools, bevor du eine endgültige Entscheidung triffst.
PAN 2
Das Institute of Foundation Models (IFM) an der MBZUAI konzentriert sich auf Foundation Models für multimodales Verstehen und Simulation. IFM entwickelt Forschungscode, Checkpoints und Dokumentation, die reproduzierbare Experimente zu Weltmodellen und agentenbasierter Schlussfolgerung ermöglichen.
PAN 2 kombiniert einen sprachgesteuerten konzeptuellen Reasoner mit einer latenten Diffusionsarchitektur mit 29 Milliarden Parametern, um handlungsgesteuerte Videosequenzen von bis zu 20 Sekunden zu simulieren. Als Eingabe dienen eine Beobachtung (optional mit einem ersten Frame) und ein textbasierter Handlungsplan. Das konzeptuelle Modul erzeugt daraus eine zeitlich verankerte, strukturierte Beschreibung des Weltzustands. Anschließend synthetisiert die Diffusionsarchitektur Videolatents, die von einem dedizierten VAE dekodiert werden. Zum Release gehören der Diffusions-Checkpoint im Diffusers-Format sowie Anleitungen zur lokalen Generierung mit generate.py und Hinweise zur Prompt-Umformulierung, zu Schutzmechanismen und zu empfohlenen Standardwerten für Präzision und Sampling-Schritte. PAN 2 richtet sich an Forschung zu simulativer Schlussfolgerung, Roboterplanung und kontrollierter Videosynthese – insbesondere dort, wo interpretierbare und überprüfbare Vorhersagen wichtiger sind als fotorealistische Qualität.
PAN 2 besuchen
Kommentare (0)
Keine Kommentare gefunden