Microsoft VibeVoice
VibeVoice는 마이크로소프트의 오픈소스 음성 AI 스택으로, 장시간 ASR과 실시간 TTS를 결합했습니다. 화자 구분과 타임스탬프가 포함된 시간 단위 오디오를 전사하며, 다국어 시나리오를 지원하고 BitNet, vLLM 가속, Hugging Face Transformers 통합을 통해 CPU 친화적인 추론과 간편한 배포를 제공합니다.
개요
개발자는 시간 단위 오디오 또는 라이브 스트림을 VibeVoice-ASR에 입력해 화자, 발화 경계, 타임스탬프가 포함된 구조화된 전사를 얻을 수 있습니다. 선택적 핫워드는 도메인 용어 인식을 유도합니다. 합성에서는 VibeVoice-Realtime-0.5B가 1초 미만의 지연으로 자연스러운 음성을 텍스트에서 스트리밍하며, 인터랙티브 에이전트와 프로덕션 수준 데모에 적합합니다.
기능 및 아키텍처
VibeVoice는 전사 파이프라인, 검색 가능한 오디오 아카이브, 회의록 시스템, 방송 자막, 고객 지원 분석, 실시간 음성 인터페이스 구축 팀에 적합합니다. 재현 가능한 기준선을 필요로 하는 ML 엔지니어와 연구자, Transformers 또는 vLLM 표준화를 진행하는 플랫폼 팀에도 강력한 선택지입니다. 다국어 시장과 CPU 우선 또는 엣지 배포를 목표로 하는 조직은 전용 GPU 없이도 BitNet의 작은 크기와 낮은 지연 특성의 혜택을 누릴 수 있습니다.
- 화자 구분과 타임스탬프를 포함해 한 번에 최대 60분 분량을 전사합니다.
- 이름과 용어의 도메인 정확도를 높이기 위해 맞춤형 핫워드를 지원합니다.
- BitNet 압축을 통해 CPU에서 ASR을 실행하며, 스레드 기반 실시간 처리량을 제공합니다.
- Realtime TTS를 사용해 1초 미만 지연으로 텍스트에서 자연스러운 음성을 스트리밍합니다.
- Transformers와 vLLM과 통합되어 간단한 API와 확장 가능한 추론을 지원합니다.
주요 특징
누가 VibeVoice를 사용해야 하나요
시작은 간단합니다: 저장소를 클론하고, 공개된 체크포인트를 선택한 후 Hugging Face Transformers 또는 제공된 vLLM 플러그인을 통해 로컬에서 ASR을 실행하세요. CPU 배포 시 VibeVoice-ASR-BitNet 엔진을 사용해 압축된 가중치를 로드하고 3개 이상의 스레드를 설정해 실시간 디코딩을 구성합니다. Realtime TTS 모델은 에이전트와 전화 통화에 적합한 스트리밍 합성을 위한 간단한 API를 제공합니다. 예제, 문서, 노트북은 전사, 화자 구분, 타임스탬프 추출, 텍스트-음성 통합의 엔드투엔드 과정을 시연합니다. Azure AI Foundry Labs는 인프라 유지 없이 기능을 평가할 수 있는 가이드 환경을 제공합니다.
시간 단위 대화를 하나의 통합 오픈소스 스택으로 검색 가능하고 음성으로 활용하세요.
시작하기
VibeVoice는 긴 문맥 ASR, 구조화된 출력, 실시간 TTS를 효율적인 연속 토크나이제이션과 확산으로 통합해 돋보입니다. vLLM 가속과 BitNet을 통한 실용적인 CPU 경로와 결합해 서버와 엣지 장치 모두에서 연구 및 프로토타입 요구를 충족합니다. 다국어 지원과 핫워드 안내는 도메인 콘텐츠 정확도를 더욱 향상시킵니다.
도구를 열고 핵심 제품 경험을 검토하세요.
계정을 만들거나 기존 워크스페이스에 접속하세요.
자신의 작업으로 속도, 품질, 적합성을 판단하세요.
최종 결정 전에 유사한 AI 도구를 확인하세요.
Microsoft VibeVoice
마이크로소프트 연구 및 제품 팀은 음성, 언어, 개발자 플랫폼 전반에 걸쳐 확장 가능한 AI 시스템을 구축합니다. VibeVoice는 모델 설계, 추론 엔지니어링, 안전 지침을 결합한 경험을 반영합니다. 이 프로젝트는 Azure AI 생태계와 연계되어 실용적인 통합 경로, 범용 하드웨어 성능, 허가된 오픈소스 협업을 강조합니다.
VibeVoice는 마이크로소프트가 개발한 최첨단 음성 모델의 오픈소스 패밀리로, 자동 음성 인식(ASR)과 실시간 텍스트-음성 변환(TTS)을 아우릅니다. ASR 시스템은 64K 컨텍스트 내에서 한 번에 최대 60분 분량을 처리하며, 화자, 시간, 내용이 구조화된 전사를 생성하고 사용자 지정 핫워드도 지원합니다. 내부적으로는 약 7.5Hz의 연속 음향 및 의미 토크나이저가 작동해 긴 시퀀스 효율성을 유지하면서도 정확도를 잃지 않습니다. 다음 토큰 확산 헤드는 음향 세부를 정교하게 다듬고, LLM 백본은 담화와 문맥을 모델링합니다. 배포 측면에서는 vLLM 추론을 지원해 처리량을 높이고, VibeVoice-ASR-BitNet 엔진은 가중치를 약 1.58GB로 압축해 3개 이상의 스레드에서 RTF < 1의 실시간 CPU 추론을 실현합니다. ASR 모델은 50개 이상의 언어를 네이티브로 지원합니다. 합성에서는 VibeVoice-Realtime-0.5B가 낮은 초기 오디오 지연으로 스트리밍 TTS를 제공합니다. 이 프로젝트는 Hugging Face Transformers와 통합되며 Azure AI Foundry Labs에서 탐색 가능합니다.
Microsoft VibeVoice 방문
댓글 (0)
댓글이 없습니다