NVIDIA Lyra

NVIDIAのSpatial Intelligence Labは、3D認識、再構築、生成型ワールドモデリングの最先端を推進しています。チームは再現性と測定可能な進展を重視したオープンな研究資産、データセット、コードベースを公開し、グラフィックスとビジョンの橋渡しを行い、科学者や開発者向けの実用的で評価対応のツールを提供しています。

Project Lyraは、生成型3DワールドモデルのためのNVIDIAによるオープンリサーチコードベースです。Lyra 1.0は、動画拡散自己蒸留を用いた単一画像または動画からのフィードフォワード3Dおよび4Dシーン再構築を導入しました。Lyra 2.0はこれを拡張し、長期的で3D一貫性のある生成による探索可能なワールドを実現し、シーンごとの最適化なしでカメラ移動やシーンの移動を可能にします。リポジトリには両バージョンの公式実装、サンプリングと検査用GUI、報告された結果を再現したりカスタムデータセットに適応させるためのトレーニングコードが含まれています。ソースコードはApache-2.0ライセンスで公開され、モデルのライセンスはバージョンごとに定義されています。実務者はLyraを使って、プリビジュアライゼーション、研究のベースライン、データセットのブートストラップのためのナビゲーション可能なシーンを生成します。科学的明快さに重点を置き、再現可能なスクリプト、文書化された設定、軌跡にわたる3D一貫性と時間的安定性を評価するためのアセットを提供します。これにより、多視点の整合性研究やデータセット、トレーニング体制、軌跡長の比較を制御して行うための一貫した基準を提供します。