PAN 2
NexusAi サマリー： PAN 2は、構造化テキストと任意の画像を短いシミュレーション動画に変換する、研究向けの世界モデルです。概念推論機能と潜在拡散ベースの知覚基盤を統合し、エージェントや研究者が行動の結果を事前に確認できます。
NexusAi 概要
一般的なワークフローでは、まず概念推論器で自由形式のプロンプトを、時間軸に沿った構造化キャプションに書き換えます。次に、そのキャプションを知覚パイプラインに入力して動画を生成します。リポジトリには、チェックポイント変換やプロンプト生成のスクリプトのほか、GPUごとにgenerate.pyを実行して、再現性のための設定メタデータとともにmp4ファイルを生成する手順が含まれています。
機能と技術的な範囲
PAN 2は、最終的な商用動画よりもシミュレーションによる予測を必要とするAI研究者、ロボティクスチーム、技術系プロダクト開発者を主な対象としています。エージェントの計画ループの試作、物理的推論のベンチマーク、評価用の合成映像の作成、カリキュラム設計、解釈可能性と構造化された条件付け形式が求められる管理されたユーザー調査に役立ちます。
- テキストで記述した行動の結果を、最大20秒の短い動画としてシミュレーションします。
- 画像から動画への続きを生成したり、文脈を補ったりするために、初期フレームを任意で入力できます。
- 拡散基盤の条件付けに使う、時間軸に沿った構造化キャプションを生成します。
- 固定されたテキストエンコーダーのトークン数と形式に合わせて、プロンプトを書き換えます。
- 単一の拡散チェックポイントと、diffusersを使ったローカル推論の手順を提供します。
エンジニアがPAN 2を選ぶ理由
評価に適したユーザー
リポジトリのREADMEに従い、拡散チェックポイントをダウンロードし、HFキャッシュ経由で固定コンポーネント（Qwen3.5-9Bテキストエンコーダー、Wan 2.2 VAE）を取得してください。付属スクリプトでTransformerファイルを変換し、CKPT_PATHに変換先ディレクトリを設定してから、GPUごとにinference/inference.shまたはgenerate.pyを実行します。サンプラーのデフォルト設定と環境変数はドキュメントに記載されています。生成前にプロンプトを書き換え、pan2-guardrailを導入してリクエストと出力を確認してください。
NexusAi: シミュレーションによる推論と行動条件付きの視覚予測に役立つ、実践的な研究ツールです。
はじめに
PAN 2は、完成度の高い商用動画よりも、解釈可能な条件付き予測を重視する研究向けシミュレーターです。構造化された概念推論器と大規模な拡散型知覚基盤を連携させている点が強みで、推奨される安全対策と併用することで、エージェント計画の研究、管理されたデータセットの作成、物理的推論の研究に適しています。
ツールを開き、基本的な製品体験を確認します。
アカウントを作成するか、既存のワークスペースにアクセスします。
自分のタスクで速度、品質、適合性を判断します。
最終判断の前に類似AIツールを確認します。
PAN 2
MBZUAIの基盤モデル研究所（IFM）は、マルチモーダル理解とシミュレーションのための基盤モデルに取り組んでいます。IFMは、世界モデルやエージェント推論に関する再現性の高い実験を目指し、研究コード、チェックポイント、ドキュメントを開発しています。
PAN 2は、言語駆動型の概念推論器と29Bの潜在拡散型知覚基盤を組み合わせ、行動条件付きの動画を最大20秒までシミュレーションします。観測データ（任意の初期フレームとテキスト）およびテキストで記述した行動計画を入力すると、概念モジュールが時間軸に沿った構造化された世界状態のキャプションを生成し、拡散基盤が動画の潜在表現を合成します。その後、専用VAEで動画にデコードします。公開物には、diffusers形式の拡散チェックポイント、generate.pyを使ったローカル生成手順に加え、プロンプトの書き換え、安全対策、精度やステップ数のデフォルト設定に関するガイドが含まれています。PAN 2は、解釈可能で検証可能な予測が写実性よりも重視される、シミュレーションによる推論、ロボット計画の研究、制御可能な動画生成を対象としています。
PAN 2にアクセス
コメント (0)
コメントはまだありません