PAN 2
Resumo da NexusAi: O PAN 2 é um modelo de mundo de nível de pesquisa que transforma texto estruturado e imagens opcionais em vídeos simulados curtos. Assim, agentes e pesquisadores podem antecipar os resultados de ações por meio de raciocínio conceptual integrado e de uma base perceptiva de difusão latente.
NexusAi Visão geral
O fluxo de trabalho típico começa por usar um módulo de raciocínio conceptual para reescrever prompts em texto livre como descrições estruturadas e ancoradas no tempo. Em seguida, executa-se o pipeline percetivo com essas descrições para gerar o vídeo. O repositório inclui scripts para converter checkpoints, gerar prompts e executar instâncias de generate.py por GPU, que produzem ficheiros mp4 acompanhados de metadados de configuração para garantir a reprodutibilidade.
Capacidades e âmbito técnico
O PAN 2 destina-se sobretudo a investigadores de IA, equipas de robótica e criadores de produtos técnicos que precisam de previsões por simulação, em vez de vídeos finais prontos para produção. É útil para prototipar ciclos de planeamento de agentes, avaliar o raciocínio físico e criar vídeos sintéticos para avaliação, conceção de currículos ou estudos controlados com utilizadores que exijam interpretabilidade e um formato de condicionamento estruturado.
- Simula resultados de ações descritas em texto como vídeos curtos, com até vinte segundos.
- Aceita um primeiro fotograma opcional para dar continuidade a um vídeo a partir de uma imagem e fornecer contexto.
- Gera descrições estruturadas e ancoradas no tempo, usadas para condicionar a base de difusão.
- Inclui a reescrita de prompts para respeitar o limite e o formato de tokens do codificador de texto.
- Disponibiliza um único checkpoint de difusão e instruções para inferência local com Diffusers.
Por que os engenheiros escolhem o PAN 2
Quem deve avaliá-lo
Siga o README do repositório para transferir o checkpoint de difusão e obter os componentes congelados (codificador de texto Qwen3.5-9B e VAE Wan 2.2) através da cache do HF. Converta os ficheiros do transformer com o script fornecido, defina CKPT_PATH para o diretório convertido e execute inference/inference.sh ou generate.py em cada GPU. As configurações predefinidas do sampler e as variáveis de ambiente estão documentadas. Antes de gerar, reescreva os prompts e utilize o pan2-guardrail para filtrar os pedidos e os resultados.
NexusAi: Uma ferramenta prática de investigação para o raciocínio por simulação e a previsão visual condicionada por ações.
Como começar
O PAN 2 é um simulador orientado para a investigação que privilegia previsões condicionais e interpretáveis em vez de vídeos polidos para produção. O seu ponto forte está na combinação de um módulo de raciocínio conceptual estruturado com uma ampla base perceptiva de difusão, tornando-o adequado para investigação em planeamento de agentes, conjuntos de dados controlados e estudos de raciocínio físico, desde que sejam usadas as salvaguardas recomendadas.
Abra a ferramenta e analise sua experiência principal.
Crie sua conta ou acesse seu workspace existente.
Use uma tarefa própria para avaliar velocidade, qualidade e adequação.
Confira ferramentas de IA semelhantes antes de tomar a decisão final.
PAN 2
O Institute of Foundation Models (IFM) da MBZUAI dedica-se a modelos de base para compreensão multimodal e simulação. O IFM desenvolve código de investigação, checkpoints e documentação para apoiar experiências reprodutíveis em modelação do mundo e raciocínio de agentes.
O PAN 2 combina um módulo de raciocínio conceptual orientado por linguagem com uma base perceptiva de difusão latente de 29 mil milhões de parâmetros para simular resultados em vídeo condicionados por ações, com até 20 segundos de duração. A partir de uma observação (um primeiro fotograma opcional e texto) e de um plano de ação descrito em texto, o módulo conceptual gera uma descrição estruturada do estado do mundo, ancorada no tempo. Em seguida, a base de difusão sintetiza os latentes de vídeo, descodificados por um VAE dedicado. Os artefactos disponibilizados incluem o checkpoint de difusão no formato Diffusers e instruções para geração local com generate.py, além de orientações sobre reescrita de prompts, salvaguardas e configurações predefinidas de precisão e passos. O PAN 2 destina-se ao raciocínio por simulação, à investigação em planeamento robótico e à síntese controlada de vídeo, em contextos onde previsões interpretáveis e verificáveis são mais importantes do que a fidelidade fotorrealista.
Visitar PAN 2
Comentários (0)
Nenhum comentário encontrado