NVIDIA Lyra
Lyra est la série ouverte de NVIDIA de modèles génératifs de mondes 3D. Elle transforme des images ou vidéos uniques en scènes explorables et cohérentes en 3D, et propose une interface graphique ainsi que du code d'entraînement pour une recherche reproductible, un prototypage rapide et une génération contrôlable de mondes à long terme.
Vue d’ensemble
Clonez le dépôt, suivez la configuration de l'environnement, puis lancez l'interface graphique Lyra 2.0 pour échantillonner et naviguer dans les mondes générés. Pour des exécutions programmatiques, utilisez les scripts d'inférence fournis pour reconstruire des scènes 3D/4D à partir d'images ou de vidéos, puis exportez les ressources pour l'évaluation, la visualisation ou les chaînes de simulation en aval.
Fonctionnalités
Lyra s'adresse aux chercheurs en graphisme et vision, aux équipes de simulation, aux laboratoires de robotique et aux artistes techniques explorant la génération efficace de scènes 3D. Il convient aussi aux prototypeurs de moteurs et développeurs d'outils de contenu qui ont besoin de scènes navigables pour la prévisualisation, les études d'agencement ou la mise en scène de données synthétiques. Parce que la base de code privilégie la reproductibilité et l'évaluation, elle est parfaitement adaptée aux universitaires évaluant la cohérence à long terme et aux praticiens construisant des bases internes pour la synthèse de vues inédites et la recherche sur les modèles de mondes.
- Générez des mondes 3D explorables avec un mouvement de caméra cohérent en 3D sur de longues périodes.
- Reconstituez des scènes 3D et 4D à partir d'une seule image ou vidéo.
- Utilisez l'interface graphique Lyra 2.0 pour échantillonner, naviguer, prévisualiser et exporter les résultats.
- Exécutez des scripts d'inférence feed-forward pour une génération multi-vues rapide et un traitement par lots.
- Entraînez-vous sur des séquences personnalisées avec les instructions, configurations et pipelines reproductibles fournis.
Principales capacités
Pour qui
Commencez par cloner le dépôt et suivre la configuration de l'environnement dans le README. Téléchargez les checkpoints publiés ou entraînez les vôtres en suivant les instructions et modèles de configuration fournis. Lancez l'interface graphique Lyra 2.0 pour échantillonner et naviguer interactivement dans les mondes, ou exécutez les scripts d'inférence pour traiter des images et vidéos par lots. Exportez les résultats pour visualisation ou évaluation, et utilisez la chaîne d'entraînement pour affiner sur des séquences spécifiques. Consultez les fichiers de licence pour les conditions spécifiques aux modèles avant toute redistribution. Référez-vous à la documentation pour les réglages recommandés et les conseils de dépannage.
Lyra transforme des captures occasionnelles en mondes explorables tout en maintenant des workflows de recherche reproductibles.
Premiers pas
Lyra se distingue en combinant l'efficacité feed-forward avec une cohérence 3D explorables à long terme, le tout dans une base de code conçue pour la reproductibilité. L'association d'une interface graphique pratique et de scripts d'entraînement complets accélère l'expérimentation, tandis que les licences modèles par version clarifient les règles d'utilisation. Pour les équipes explorant les pipelines de modélisation de mondes, le démarrage de jeux de données ou la synthèse de vues inédites, Lyra offre une référence ouverte crédible et un point de départ pragmatique.
Ouvrez l’outil et examinez son expérience produit principale.
Créez votre compte ou accédez à votre espace de travail existant.
Utilisez votre propre tâche pour évaluer la vitesse, la qualité et l’adéquation.
Vérifiez des outils IA similaires avant de prendre une décision finale.
NVIDIA Lyra
Le Laboratoire d'Intelligence Spatiale de NVIDIA fait progresser l'état de l'art en perception 3D, reconstruction et modélisation générative de mondes. L'équipe publie des ressources de recherche ouvertes, jeux de données et bases de code qui privilégient la reproductibilité et les progrès mesurables. Leur travail fait le lien entre graphisme et vision pour fournir des outils pratiques et prêts à l'évaluation aux scientifiques et développeurs.
Le projet Lyra est une base de code de recherche ouverte de NVIDIA dédiée aux modèles génératifs de mondes 3D. Lyra 1.0 a introduit la reconstruction de scènes 3D et 4D en mode feed-forward à partir d'une seule image ou vidéo via l'auto-distillation par diffusion vidéo. Lyra 2.0 étend cela à des mondes explorables avec une génération cohérente en 3D sur de longues périodes, permettant le mouvement de la caméra et la traversée de scènes sans optimisation spécifique à chaque scène. Le dépôt contient les implémentations officielles des deux versions, une interface graphique pour l'échantillonnage et l'inspection, ainsi que du code d'entraînement pour reproduire les résultats publiés ou adapter les modèles à des jeux de données personnalisés. Le code source est publié sous licence Apache-2.0, avec des licences modèles définies par version. Les praticiens utilisent Lyra pour générer des scènes navigables pour la prévisualisation, les bases de référence en recherche et le démarrage de jeux de données. L'accent est mis sur la clarté scientifique : scripts reproductibles, configuration documentée et ressources pour évaluer la cohérence 3D et la stabilité temporelle sur les trajectoires. Lyra fournit une base cohérente pour les études de cohérence multi-vues et les comparaisons contrôlées entre jeux de données, régimes d'entraînement et longueurs de trajectoires.
Visiter NVIDIA Lyra
Commentaires (0)
Aucun commentaire trouvé