Microsoft VibeVoice
VibeVoice est la pile d’IA vocale open source de Microsoft combinant la reconnaissance vocale automatique longue durée et la synthèse vocale en temps réel. Elle transcrit des enregistrements d’une heure avec identification des locuteurs et horodatage, prend en charge des scénarios multilingues et offre une inférence optimisée pour CPU grâce à BitNet, à l’accélération vLLM et à l’intégration Hugging Face Transformers pour un déploiement simplifié.
Vue d’ensemble
Les développeurs peuvent alimenter VibeVoice-ASR avec des enregistrements d’une heure ou un flux en direct pour obtenir des transcriptions structurées incluant les locuteurs, les limites d’énoncés et les horodatages. Des mots-clés personnalisés orientent la reconnaissance vers la terminologie spécifique au domaine. Pour la synthèse, VibeVoice-Realtime-0.5B diffuse une voix naturelle à partir du texte avec une latence inférieure à la seconde, idéale pour les agents interactifs et les démonstrations proches de la production.
Fonctionnalités et Architecture
VibeVoice convient aux équipes développant des pipelines de transcription, des archives audio consultables, des systèmes de prise de notes de réunion, du sous-titrage broadcast, des analyses de support client et des interfaces vocales en temps réel. Il s’adresse aussi bien aux ingénieurs ML et chercheurs cherchant des bases reproductibles qu’aux équipes plateformes standardisant sur Transformers ou vLLM. Les organisations ciblant des marchés multilingues et des déploiements CPU-first ou en périphérie bénéficient de l’empreinte et des caractéristiques de latence de BitNet sans nécessiter de GPU dédiés.
- Transcrit jusqu’à soixante minutes en une seule passe avec diarisation et horodatage.
- Prend en charge des mots-clés personnalisés pour améliorer la précision sur les noms et la terminologie du domaine.
- Exécute l’ASR sur CPU via compression BitNet avec un débit en temps réel sur plusieurs threads.
- Diffuse une voix naturelle à partir du texte avec une latence inférieure à la seconde grâce au TTS en temps réel.
- S’intègre avec Transformers et vLLM pour des API simples et une inférence évolutive.
Points forts
À qui s’adresse VibeVoice
Commencer est simple : clonez le dépôt, choisissez un checkpoint publié et lancez l’ASR localement via Hugging Face Transformers ou le plugin vLLM fourni pour une inférence accélérée. Pour les déploiements CPU, utilisez le moteur VibeVoice-ASR-BitNet pour charger les poids compressés et configurez 3 threads ou plus pour un décodage en temps réel. Le modèle TTS Realtime expose des API simples pour la synthèse en streaming adaptée aux agents et à la téléphonie. Des exemples, documentations et notebooks démontrent la transcription complète, la diarisation, l’extraction d’horodatages et l’intégration texte-à-parole. Azure AI Foundry Labs offre un environnement guidé pour évaluer les capacités sans gérer l’infrastructure.
Rendez les conversations d’une heure consultables et exploitables avec une pile open source unifiée.
Premiers pas
VibeVoice se distingue en unifiant ASR à long contexte, sorties structurées et TTS en temps réel autour d’une tokenisation continue efficace et d’une diffusion. Associé à l’accélération vLLM et à une voie CPU pratique via BitNet, il répond aux besoins de recherche et prototypage sur serveurs et appareils périphériques. La couverture multilingue et la guidance par mots-clés améliorent encore la précision sur les contenus spécifiques.
Ouvrez l’outil et examinez son expérience produit principale.
Créez votre compte ou accédez à votre espace de travail existant.
Utilisez votre propre tâche pour évaluer la vitesse, la qualité et l’adéquation.
Vérifiez des outils IA similaires avant de prendre une décision finale.
Microsoft VibeVoice
Les équipes de recherche et produit de Microsoft conçoivent des systèmes d’IA évolutifs couvrant la parole, le langage et les plateformes développeurs. VibeVoice reflète cette expertise, combinant conception de modèles, ingénierie d’inférence et recommandations de sécurité. Le projet s’inscrit dans l’écosystème Azure AI, mettant l’accent sur des intégrations pratiques, des performances sur matériel courant et une collaboration open source transparente sous licence permissive.
VibeVoice est une famille open source de modèles de pointe en reconnaissance vocale et synthèse vocale en temps réel développée par Microsoft. Le système ASR traite jusqu’à 60 minutes en une seule passe dans un contexte de 64K, produisant des transcriptions structurées Qui, Quand et Quoi avec des mots-clés personnalisables. En interne, des tokenizers acoustiques et sémantiques continus fonctionnent à environ 7,5 Hz, permettant une efficacité sur de longues séquences sans perte de précision. Une tête de diffusion pour le token suivant affine les détails acoustiques, tandis qu’un backbone LLM modélise le discours et le contexte. Côté déploiement, l’inférence vLLM est prise en charge pour un débit élevé, et le moteur VibeVoice-ASR-BitNet offre une inférence CPU en temps réel en compressant les poids à environ 1,58 Go et en atteignant un RTF < 1 sur 3 threads ou plus. Le modèle ASR est nativement multilingue avec plus de 50 langues. Pour la synthèse, VibeVoice-Realtime-0.5B propose une synthèse vocale en streaming avec une latence audio initiale très faible. Le projet s’intègre à Hugging Face Transformers et est accessible pour exploration dans Azure AI Foundry Labs.
Visiter Microsoft VibeVoice
Commentaires (0)
Aucun commentaire trouvé