Microsoft VibeVoice
VibeVoice 是微软的开源语音 AI 技术栈，结合了长时段自动语音识别（ASR）和实时文本转语音（TTS）。它可转录长达数小时的音频，支持说话人区分和时间戳，多语言场景，并通过 BitNet、vLLM 加速和 Hugging Face Transformers 集成，实现高效的 CPU 推理和简便部署。
概览
开发者可将长达数小时的音频或实时流输入 VibeVoice-ASR，获得包含说话人、话语边界和时间戳的结构化转录文本。可选关键词引导识别聚焦领域术语。合成方面，VibeVoice-Realtime-0.5B 以低于一秒的延迟流式生成自然语音，适合交互代理和生产演示。
功能与架构
VibeVoice 适合构建转录管道、可搜索音频档案、会议记录系统、广播字幕、客户支持分析和实时语音接口的团队。它是需要可复现基线的机器学习工程师和研究人员的理想选择，也适合标准化使用 Transformers 或 vLLM 的平台团队。面向多语言市场及优先 CPU 或边缘部署的组织，将受益于 BitNet 的小巧体积和低延迟特性，无需专用 GPU。
- 单次转录最长六十分钟，支持说话人区分和时间戳。
- 支持自定义关键词，提升姓名和术语等领域准确率。
- 通过 BitNet 压缩在 CPU 上运行 ASR，实现多线程实时吞吐。
- 使用 Realtime TTS 以低于一秒的延迟流式合成自然语音。
- 集成 Transformers 和 vLLM，提供简洁 API 和可扩展推理。
亮点
谁适合使用 VibeVoice
入门简单：克隆代码库，选择发布的检查点，通过 Hugging Face Transformers 或提供的 vLLM 插件本地运行 ASR 以加速推理。CPU 部署时，使用 VibeVoice-ASR-BitNet 引擎加载压缩权重，配置 3 线程以上实现实时解码。实时 TTS 模型提供简洁 API，支持流式合成，适合代理和电话应用。示例、文档和笔记本演示端到端转录、说话人区分、时间戳提取及文本转语音集成。Azure AI Foundry Labs 提供引导环境，无需维护基础设施即可评估功能。
用一套统一的开源技术栈，让长时段对话可搜索且可语音交互。
快速入门
VibeVoice 通过统一长上下文 ASR、结构化输出和实时 TTS，围绕高效的连续分词与扩散技术脱颖而出。结合 vLLM 加速和 BitNet 的实用 CPU 路径，满足服务器和边缘设备上的研究与原型需求。多语言支持和关键词引导进一步提升领域内容的准确率。
打开该工具并查看其核心产品体验。
创建账户或进入你已有的工作空间。
使用你自己的任务判断速度、质量和适配度。
在最终决定前查看类似 AI 工具。
Microsoft VibeVoice
微软的研究与产品团队致力于构建跨语音、语言和开发者平台的可扩展 AI 系统。VibeVoice 汇聚了模型设计、推理工程和安全指导的经验。该项目契合 Azure AI 生态，强调实用集成路径、通用硬件性能及在宽松许可下的透明开源协作。
VibeVoice 是微软推出的一套开源前沿语音模型家族，涵盖自动语音识别和实时文本转语音。该 ASR 系统支持单次处理最长 60 分钟的音频，基于 64K 上下文生成结构化的“谁、何时、何事”转录结果，并支持用户自定义关键词。底层采用连续声学和语义分词器，运行频率约为 7.5 Hz，实现长序列高效处理且不牺牲精度。下一词扩散头用于细化声学细节，LLM 主干则建模话语和上下文。部署方面，支持 vLLM 推理以提升吞吐量，VibeVoice-ASR-BitNet 引擎通过将权重压缩至约 1.58 GB，实现多线程（3 线程以上）下实时 CPU 推理，RTF 小于 1。ASR 模型原生支持 50 多种语言。合成方面，VibeVoice-Realtime-0.5B 提供低延迟的流式 TTS，适合交互式代理和生产级演示。该项目集成 Hugging Face Transformers，可在 Azure AI Foundry Labs 中探索体验。
访问 Microsoft VibeVoice
评论 (0)
暂无评论