PAN 2
NexusAi 摘要： PAN 2 是一款研究級世界模型，可將結構化文字和選用的圖像轉換為短片模擬影片，讓代理程式與研究人員透過整合式概念推理和潛在擴散感知骨幹，預覽行動可能造成的結果。
NexusAi 概覽
典型工作流程會先透過概念推理器，將自由文字提示改寫為依時間定位的結構化描述，再以這些描述執行感知流程並生成影片。儲存庫包含轉換檢查點、生成提示，以及在各 GPU 上執行 generate.py 工作程序的指令碼；產生的 mp4 檔案會附帶組態中繼資料，方便重現實驗。
功能與技術範疇
PAN 2 主要面向 AI 研究人員、機器人團隊和技術產品開發者，適合需要模擬預測而非最終成品影片的情境。它可用於打造代理程式規劃循環原型、評測物理推理能力，以及製作合成影片，供評估、課程設計或受控使用者研究使用；這些情境都需要可解讀性和結構化條件輸入格式。
- 將文字描述的行動結果模擬為最長 20 秒的短片。
- 可選擇提供首幀圖像，延續生成影片並補充背景資訊。
- 產生依時間定位的結構化描述，做為擴散骨幹的條件輸入。
- 內建提示詞改寫功能，符合固定的文字編碼器 token 預算與格式。
- 提供單一擴散模型檢查點，並附上使用 diffusers 在本機進行推論的說明。
工程師選擇 PAN 2 的原因
適合評估的對象
請依照儲存庫中的 README 下載擴散模型檢查點，並透過 HF 快取取得凍結元件（Qwen3.5-9B 文字編碼器、Wan 2.2 VAE）。使用提供的指令碼轉換 transformer 檔案，將 CKPT_PATH 設為轉換後的目錄，然後在各 GPU 上執行 inference/inference.sh 或 generate.py。文件說明了預設取樣器設定和環境變數；生成前請先改寫提示詞，並部署 pan2-guardrail 篩查請求與輸出。
NexusAi: 實用的研究工具，適用於模擬推理與行動條件式視覺預測。
快速入門
PAN 2 是一款研究導向的模擬器，重視可解讀的條件式預測，而非精緻的成品影片。它的優勢在於結合結構化概念推理器與大型擴散感知骨幹，適合用於代理程式規劃研究、受控資料集，以及物理推理研究；使用時應搭配建議的安全防護措施。
開啟該工具並檢視其核心產品體驗。
建立帳戶或進入你已有的工作空間。
使用你自己的任務判斷速度、品質與適配度。
在最終決定前查看類似 AI 工具。
PAN 2
MBZUAI 基礎模型研究院（IFM）專注於多模態理解與模擬領域的基礎模型。IFM 致力於開發研究程式碼、檢查點和文件，支援世界建模與代理程式推理的可重現實驗。
PAN 2 結合語言驅動的概念推理器與 29B 潛在擴散感知骨幹，可模擬最長 20 秒、以行動為條件的影片結果。輸入觀察內容（可選擇提供首幀圖像，並搭配文字）及以文字描述的行動計畫後，概念模組會產生依時間定位的結構化世界狀態描述；接著，擴散骨幹會合成影片潛在表示，再由專用 VAE 解碼。發布內容包括採用 diffusers 格式的擴散模型檢查點，以及使用 generate.py 進行本機生成的說明，並提供提示詞改寫、安全防護措施，以及精度和步數預設值的指南。PAN 2 適用於模擬推理、機器人規劃研究，以及受控影片合成等情境；在這些情境中，可解讀、可驗證的預測比擬真度更重要。
造訪 PAN 2
留言 (0)
尚無留言