Microsoft VibeVoice
VibeVoice es la pila de IA de voz de código abierto de Microsoft que combina reconocimiento automático de voz (ASR) de larga duración y síntesis de voz en tiempo real (TTS). Transcribe audios de hasta una hora con identificación de hablantes y marcas de tiempo, soporta escenarios multilingües y ofrece inferencia eficiente en CPU mediante BitNet, aceleración vLLM e integración con Hugging Face Transformers para un despliegue sencillo.
Resumen
Los desarrolladores pueden introducir audios de hasta una hora o transmisiones en vivo en VibeVoice-ASR para obtener transcripciones estructuradas que incluyen hablantes, límites de enunciados y marcas de tiempo. Las palabras clave opcionales orientan el reconocimiento hacia terminología específica del dominio. Para síntesis, VibeVoice-Realtime-0.5B transmite voz natural a partir de texto con latencia inferior al segundo, ideal para agentes interactivos y demostraciones de nivel productivo.
Capacidades y Arquitectura
VibeVoice es ideal para equipos que desarrollan pipelines de transcripción, archivos de audio buscables, sistemas de notas de reuniones, subtitulado para transmisiones, análisis de soporte al cliente e interfaces de voz en tiempo real. Es una opción sólida para ingenieros e investigadores de ML que requieren bases reproducibles, así como para equipos de plataforma que estandarizan en Transformers o vLLM. Las organizaciones que apuntan a mercados multilingües y despliegues prioritarios en CPU o en el borde se benefician del bajo consumo y latencia de BitNet sin necesidad de GPUs dedicadas.
- Transcribe hasta sesenta minutos en una sola pasada con diarización y marcas de tiempo.
- Soporta palabras clave personalizadas para mejorar la precisión en nombres y terminología del dominio.
- Ejecuta ASR en CPUs mediante compresión BitNet con rendimiento en tiempo real en múltiples hilos.
- Transmite voz natural desde texto con latencia inferior al segundo usando TTS en tiempo real.
- Se integra con Transformers y vLLM para APIs simples e inferencia escalable.
Aspectos Destacados
Quién Debería Usar VibeVoice
Comenzar es sencillo: clona el repositorio, selecciona un checkpoint publicado y ejecuta ASR localmente mediante Hugging Face Transformers o el plugin vLLM proporcionado para inferencia acelerada. Para despliegues en CPU, usa el motor VibeVoice-ASR-BitNet para cargar pesos comprimidos y configura 3 o más hilos para decodificación en tiempo real. El modelo TTS Realtime expone APIs simples para síntesis en streaming, aptas para agentes y telefonía. Ejemplos, documentación y notebooks muestran transcripción completa, diarización, extracción de marcas de tiempo e integración de texto a voz. Azure AI Foundry Labs ofrece un entorno guiado para evaluar capacidades sin necesidad de mantener infraestructura.
Haz que las conversaciones de hasta una hora sean buscables y hablables con una pila unificada de código abierto.
Primeros Pasos
VibeVoice destaca por unificar ASR con contexto largo, salidas estructuradas y TTS en tiempo real alrededor de una tokenización continua eficiente y difusión. Combinado con aceleración vLLM y una ruta práctica en CPU vía BitNet, satisface necesidades de investigación y prototipado tanto en servidores como en dispositivos edge. La cobertura multilingüe y la guía por palabras clave mejoran aún más la precisión en contenidos específicos de dominio.
Abre la herramienta y revisa su experiencia principal.
Crea tu cuenta o accede a tu espacio de trabajo existente.
Usa una tarea propia para evaluar velocidad, calidad y encaje.
Revisa herramientas de IA similares antes de tomar una decisión final.
Microsoft VibeVoice
Los equipos de investigación y producto de Microsoft desarrollan sistemas de IA escalables en voz, lenguaje y plataformas para desarrolladores. VibeVoice refleja esa experiencia, combinando diseño de modelos, ingeniería de inferencia y directrices de seguridad. El proyecto se alinea con el ecosistema Azure AI, enfatizando rutas prácticas de integración, rendimiento en hardware común y colaboración abierta bajo licencias permisivas.
VibeVoice es una familia de modelos de vanguardia de código abierto de Microsoft que abarca reconocimiento automático de voz y síntesis de texto a voz en tiempo real. El sistema ASR procesa hasta 60 minutos en una sola pasada dentro de un contexto de 64K, generando transcripciones estructuradas con Quién, Cuándo y Qué, con palabras clave opcionales proporcionadas por el usuario. Internamente, tokenizadores acústicos y semánticos continuos operan a aproximadamente 7.5 Hz, permitiendo eficiencia en secuencias largas sin sacrificar fidelidad. Una cabeza de difusión para el siguiente token refina los detalles acústicos, mientras que un modelo LLM gestiona el discurso y contexto. En cuanto al despliegue, se soporta inferencia vLLM para mayor rendimiento, y el motor VibeVoice-ASR-BitNet ofrece inferencia en CPU en tiempo real comprimiendo pesos a aproximadamente 1.58 GB y logrando un RTF menor a 1 en 3 o más hilos. El modelo ASR es multilingüe nativo en más de 50 idiomas. Para síntesis, VibeVoice-Realtime-0.5B proporciona TTS en streaming con baja latencia inicial. El proyecto se integra con Hugging Face Transformers y está disponible para exploración en Azure AI Foundry Labs.
Visitar Microsoft VibeVoice
Comentarios (0)
No se encontraron comentarios