PAN 2
Resumen de NexusAi: PAN 2 es un modelo del mundo de nivel investigador que convierte texto estructurado e imágenes opcionales en vídeos simulados breves. Así, agentes e investigadores pueden anticipar los resultados de distintas acciones mediante razonamiento conceptual integrado y una base perceptiva de difusión latente.
NexusAi Resumen
El flujo de trabajo habitual consiste en usar un razonador conceptual para transformar prompts en texto libre en descripciones estructuradas y ancladas en el tiempo, y después ejecutar con ellas el proceso perceptivo para generar el vídeo. El repositorio incluye scripts para convertir checkpoints, generar prompts y ejecutar procesos generate.py en cada GPU, que producen archivos mp4 junto con metadatos de configuración para garantizar la reproducibilidad.
Capacidades y alcance técnico
PAN 2 está dirigido principalmente a investigadores de IA, equipos de robótica y desarrolladores de productos técnicos que necesitan predicciones basadas en simulación, en lugar de vídeos listos para producción. Resulta útil para crear prototipos de ciclos de planificación de agentes, evaluar el razonamiento físico y generar material sintético para evaluaciones, el diseño de currículos o estudios controlados con usuarios que requieran interpretabilidad y un formato de condicionamiento estructurado.
- Simula en vídeos breves, de hasta veinte segundos, los resultados de acciones descritas en texto.
- Acepta un primer fotograma opcional para continuar un vídeo a partir de una imagen y aportar contexto.
- Genera descripciones estructuradas y ancladas en el tiempo que condicionan la base de difusión.
- Reescribe los prompts para ajustarlos al formato y al límite de tokens del codificador de texto.
- Incluye un único checkpoint de difusión e instrucciones para ejecutar la inferencia local con Diffusers.
Por qué los ingenieros eligen PAN 2
A quién le conviene evaluarlo
Sigue el README del repositorio para descargar el checkpoint de difusión y obtener los componentes congelados (el codificador de texto Qwen3.5-9B y Wan 2.2 VAE) mediante la caché de HF. Convierte los archivos del transformer con el script incluido, configura CKPT_PATH con la ruta al directorio convertido y ejecuta inference/inference.sh o generate.py en cada GPU. La documentación incluye los valores predeterminados del sampler y las variables de entorno. Reescribe los prompts antes de generar y utiliza pan2-guardrail para filtrar las solicitudes y los resultados.
NexusAi: Una herramienta práctica de investigación para el razonamiento mediante simulación y la predicción visual condicionada por acciones.
Cómo empezar
PAN 2 es un simulador orientado a la investigación que prioriza las predicciones interpretables y condicionadas por encima de los vídeos pulidos para producción. Su punto fuerte es combinar un razonador conceptual estructurado con una amplia base perceptiva de difusión, lo que lo hace adecuado para la investigación sobre planificación de agentes, conjuntos de datos controlados y estudios de razonamiento físico, siempre que se utilice con las protecciones recomendadas.
Abre la herramienta y revisa su experiencia principal.
Crea tu cuenta o accede a tu espacio de trabajo existente.
Usa una tarea propia para evaluar velocidad, calidad y encaje.
Revisa herramientas de IA similares antes de tomar una decisión final.
PAN 2
El Institute of Foundation Models (IFM) de MBZUAI se centra en los modelos fundacionales para la comprensión multimodal y la simulación. IFM desarrolla código de investigación, checkpoints y documentación para facilitar experimentos reproducibles sobre modelos del mundo y razonamiento de agentes.
PAN 2 combina un razonador conceptual guiado por lenguaje con una base perceptiva de difusión latente de 29B para simular resultados de vídeo condicionados por acciones de hasta 20 segundos. A partir de una observación (un primer fotograma opcional y texto) y un plan de acción descrito en texto, el módulo conceptual genera una descripción estructurada del estado del mundo, anclada en el tiempo. A continuación, la base de difusión sintetiza las representaciones latentes del vídeo, que se decodifican mediante un VAE específico. Los recursos publicados incluyen el checkpoint de difusión en formato Diffusers y las instrucciones para generar vídeos localmente con generate.py, además de pautas para reescribir prompts, aplicar protecciones y configurar los valores predeterminados de precisión y pasos. PAN 2 está pensado para el razonamiento mediante simulación, la investigación sobre planificación robótica y la síntesis de vídeo controlada, donde las predicciones interpretables y verificables son más importantes que el realismo fotorrealista.
Visitar PAN 2
Comentarios (0)
No se encontraron comentarios