PAN 2
NexusAi 摘要： PAN 2 是一款研究级世界模型，可将结构化文本和可选图像转换为简短的模拟视频。它结合概念推理与潜空间扩散感知骨干网络，让智能体和研究人员能够预览行动结果。
NexusAi 概览
典型工作流程是先由概念推理器将自由文本提示词改写为带有时间标记的结构化描述，再由感知流程根据这些描述生成视频。代码仓库包含检查点转换脚本、提示词生成脚本，以及按 GPU 运行的 generate.py 工作进程；生成的 mp4 文件会附带配置元数据，便于复现。
功能与技术范围
PAN 2 主要面向需要模拟预测而非最终成片的 AI 研究人员、机器人团队和技术产品开发者。它适用于原型化智能体规划循环、评测物理推理能力，以及创建用于评估、课程设计或可控用户研究的合成视频素材，尤其适合需要可解释性和结构化条件输入格式的场景。
- 将文本描述的行动模拟为最长 20 秒的短视频。
- 支持输入可选首帧图像，以延续视频并提供上下文。
- 生成带有时间标记的结构化描述，用于为扩散骨干网络提供条件输入。
- 集成提示词改写功能，使其符合固定的文本编码器令牌预算和格式要求。
- 提供单个扩散模型检查点，并附带使用 diffusers 在本地进行推理的说明。
工程师为何选择 PAN 2
适合哪些人评估
按照代码仓库 README 的说明下载扩散模型检查点，并通过 HF 缓存获取冻结组件（Qwen3.5-9B 文本编码器和 Wan 2.2 VAE）。使用提供的脚本转换 transformer 文件，将 CKPT_PATH 设置为转换后的目录，然后为每个 GPU 运行 inference/inference.sh 或 generate.py。默认采样器设置和环境变量均有文档说明；生成前请先改写提示词，并部署 pan2-guardrail 对请求和输出进行筛查。
NexusAi: 一款实用的研究工具，适用于模拟推理和行动条件视觉预测。
快速开始
PAN 2 是一款面向研究的模拟器，优先提供可解释的条件预测，而非精良的成品视频。它的优势在于将结构化概念推理器与大型扩散感知骨干网络结合起来，因此适用于智能体规划研究、可控数据集构建和物理推理研究；使用时应遵循推荐的安全防护措施。
打开该工具并查看其核心产品体验。
创建账户或进入你已有的工作空间。
使用你自己的任务判断速度、质量和适配度。
在最终决定前查看类似 AI 工具。
PAN 2
MBZUAI 基础模型研究院（IFM）专注于多模态理解与模拟领域的基础模型研究。IFM 开发研究代码、检查点和文档，旨在支持可复现的世界建模与智能体推理实验。
PAN 2 将语言驱动的概念推理器与 29B 参数的潜空间扩散感知骨干网络相结合，可模拟最长 20 秒、受行动条件控制的视频结果。输入包括观测信息（可选的首帧图像加文本）和以文本描述的行动计划。概念模块会生成带有时间标记的结构化世界状态描述，随后由扩散骨干网络合成视频潜变量，并通过专用 VAE 解码。发布内容包括采用 diffusers 布局的扩散模型检查点，以及使用 generate.py 在本地生成视频的说明，还提供提示词改写、安全防护以及精度和步数默认设置的指导。PAN 2 面向模拟推理、机器人规划研究和可控视频合成等场景；在这些场景中，可解释、可验证的预测比照片级真实感更重要。
访问 PAN 2
评论 (0)
暂无评论