Microsoft VibeVoice
NexusAi 摘要： VibeVoice 是微軟的開源語音 AI 堆疊，結合長篇自動語音識別（ASR）與即時文字轉語音（TTS）。它能轉錄長達一小時的音頻，標註說話者與時間戳，支援多語言場景，並透過 BitNet、vLLM 加速及 Hugging Face Transformers 整合，實現 CPU 友善的推理與簡易部署。
NexusAi 概覽
開發者可將長達一小時的音頻或直播串流輸入 VibeVoice-ASR，獲得包含說話者、語句邊界與時間戳的結構化轉錄結果。可選熱詞引導識別聚焦領域術語。合成方面，VibeVoice-Realtime-0.5B 以低於一秒的延遲從文字串流自然語音，適合互動代理與生產級示範。
功能與架構
VibeVoice 適合構建轉錄管線、可搜尋音頻檔案庫、會議記錄系統、廣播字幕、客戶支持分析與即時語音介面的團隊。對於需要可重現基準的機器學習工程師與研究人員，以及標準化 Transformers 或 vLLM 平台的團隊，都是理想選擇。針對多語言市場與以 CPU 為主或邊緣部署的組織，BitNet 的體積與延遲特性在無需專用 GPU 的情況下提供優勢。
- 一次轉錄最多六十分鐘，包含說話者分離與時間戳。
- 支援自訂熱詞，提升名稱與專業術語的領域準確度。
- 透過 BitNet 壓縮在 CPU 上執行 ASR，並在多線程下實現實時吞吐量。
- 使用 Realtime TTS 以低於一秒的延遲從文字串流自然語音。
- 整合 Transformers 與 vLLM，提供簡易 API 與可擴展推理。
重點特色
適用對象
快速上手簡單：複製程式庫，選擇已發布的檢查點，並透過 Hugging Face Transformers 或提供的 vLLM 插件本地執行 ASR 以加速推理。CPU 部署時，使用 VibeVoice-ASR-BitNet 引擎載入壓縮權重並設定三線程以上實現實時解碼。即時 TTS 模型提供簡易 API，適合代理與電話應用的串流合成。範例、文件與筆記本示範端到端轉錄、說話者分離、時間戳提取與文字轉語音整合。Azure AI Foundry Labs 提供引導環境，無需維護基礎設施即可評估功能。
NexusAi: 用一套統一的開源堆疊，讓長達一小時的對話可搜尋且可語音互動。
快速上手
VibeVoice 以統一長上下文 ASR、結構化輸出與即時 TTS，結合高效持續分詞與擴散技術脫穎而出。搭配 vLLM 加速與 BitNet 實用 CPU 路徑，滿足伺服器與邊緣設備的研究與原型需求。多語言支援與熱詞引導進一步提升領域內容的準確度。
開啟該工具並檢視其核心產品體驗。
建立帳戶或進入你已有的工作空間。
使用你自己的任務判斷速度、品質與適配度。
在最終決定前查看類似 AI 工具。
Microsoft VibeVoice
微軟的研究與產品團隊致力於構建涵蓋語音、語言與開發者平台的可擴展 AI 系統。VibeVoice 彙集模型設計、推理工程與安全指導經驗。該專案與 Azure AI 生態系統相契合，強調實用整合路徑、在通用硬體上的效能，以及在寬鬆授權下的透明開源協作。
VibeVoice 是微軟推出的一系列前沿語音模型，涵蓋自動語音識別與即時文字轉語音。ASR 系統可在單次處理中支援長達 60 分鐘的 64K 上下文，產出結構化的「誰說了什麼、何時說」的轉錄結果，並可選擇性加入用戶自訂熱詞。底層持續的聲學與語義分詞器以約 7.5 Hz 運作，實現長序列效率且不犧牲精確度。下一詞擴散頭細緻調整聲學細節，LLM 主幹則建模語境與語篇。部署方面，支援 vLLM 推理以提升吞吐量，VibeVoice-ASR-BitNet 引擎則透過將權重壓縮至約 1.58 GB，並在三線程以上達成實時比率（RTF）低於 1，實現 CPU 即時推理。ASR 模型原生支援超過 50 種語言。合成方面，VibeVoice-Realtime-0.5B 提供低延遲的串流 TTS。該專案整合 Hugging Face Transformers，並可在 Azure AI Foundry Labs 中探索。
造訪 Microsoft VibeVoice
留言 (0)
尚無留言