Microsoft VibeVoice
VibeVoice là bộ công cụ AI giọng nói mã nguồn mở của Microsoft kết hợp nhận dạng giọng nói dài hạn và chuyển văn bản thành giọng nói thời gian thực. Nó phiên âm âm thanh dài hàng giờ với nhận diện người nói và dấu thời gian, hỗ trợ đa ngôn ngữ, đồng thời cung cấp khả năng suy luận thân thiện với CPU qua BitNet, tăng tốc vLLM và tích hợp Hugging Face Transformers để triển khai dễ dàng.
Tổng quan
Các nhà phát triển cung cấp âm thanh dài hàng giờ hoặc luồng trực tiếp vào VibeVoice-ASR để nhận bản phiên âm có cấu trúc gồm người nói, ranh giới câu nói và dấu thời gian. Từ khóa tùy chọn giúp nhận dạng chính xác hơn với thuật ngữ chuyên ngành. Đối với tổng hợp giọng nói, VibeVoice-Realtime-0.5B phát trực tiếp giọng nói tự nhiên từ văn bản với độ trễ dưới một giây, phù hợp cho các tác nhân tương tác và bản demo sản xuất.
Khả Năng và Kiến Trúc
VibeVoice phù hợp cho các nhóm xây dựng quy trình phiên âm, lưu trữ âm thanh có thể tìm kiếm, hệ thống ghi chú cuộc họp, phụ đề truyền hình, phân tích hỗ trợ khách hàng và giao diện giọng nói thời gian thực. Đây là lựa chọn mạnh mẽ cho kỹ sư ML và nhà nghiên cứu cần cơ sở tái tạo, cũng như các nhóm nền tảng chuẩn hóa trên Transformers hoặc vLLM. Các tổ chức nhắm đến thị trường đa ngôn ngữ và triển khai ưu tiên CPU hoặc thiết bị biên sẽ hưởng lợi từ kích thước và độ trễ của BitNet mà không cần GPU chuyên dụng.
- Phiên âm lên đến sáu mươi phút trong một lần chạy với phân tách người nói và dấu thời gian.
- Hỗ trợ từ khóa tùy chỉnh để nâng cao độ chính xác chuyên ngành cho tên và thuật ngữ.
- Chạy ASR trên CPU qua nén BitNet với thông lượng thời gian thực trên các luồng.
- Phát trực tiếp giọng nói tự nhiên từ văn bản với độ trễ dưới một giây bằng TTS thời gian thực.
- Tích hợp với Transformers và vLLM cho API đơn giản và suy luận mở rộng.
Điểm Nổi Bật
Ai Nên Sử Dụng VibeVoice
Bắt đầu rất đơn giản: sao chép kho lưu trữ, chọn điểm kiểm tra đã phát hành và chạy ASR cục bộ qua Hugging Face Transformers hoặc plugin vLLM đi kèm để tăng tốc suy luận. Đối với triển khai CPU, sử dụng động cơ VibeVoice-ASR-BitNet để tải trọng số nén và cấu hình 3 luồng trở lên cho giải mã thời gian thực. Mô hình TTS thời gian thực cung cấp API đơn giản cho tổng hợp phát trực tiếp phù hợp với tác nhân và điện thoại. Ví dụ, tài liệu và sổ tay hướng dẫn toàn diện về phiên âm, phân tách người nói, trích xuất dấu thời gian và tích hợp chuyển văn bản thành giọng nói. Azure AI Foundry Labs cung cấp môi trường hướng dẫn để đánh giá khả năng mà không cần duy trì hạ tầng.
Biến các cuộc trò chuyện dài giờ thành dữ liệu có thể tìm kiếm và phát lại với một bộ công cụ mã nguồn mở thống nhất.
Bắt Đầu
VibeVoice nổi bật với việc kết hợp ASR ngữ cảnh dài, đầu ra có cấu trúc và TTS thời gian thực dựa trên mã hóa token liên tục và khuếch tán hiệu quả. Kết hợp với tăng tốc vLLM và con đường CPU thực tế qua BitNet, nó đáp ứng nhu cầu nghiên cứu và thử nghiệm trên cả máy chủ và thiết bị biên. Hỗ trợ đa ngôn ngữ và hướng dẫn từ khóa nâng cao độ chính xác trên nội dung chuyên ngành.
Mở công cụ và xem lại trải nghiệm sản phẩm cốt lõi.
Tạo tài khoản hoặc truy cập không gian làm việc hiện có của bạn.
Dùng tác vụ của chính bạn để đánh giá tốc độ, chất lượng và độ phù hợp.
Xem các công cụ AI tương tự trước khi đưa ra quyết định cuối cùng.
Microsoft VibeVoice
Các nhóm nghiên cứu và sản phẩm của Microsoft xây dựng hệ thống AI quy mô lớn trong lĩnh vực giọng nói, ngôn ngữ và nền tảng phát triển. VibeVoice phản ánh kinh nghiệm đó, kết hợp thiết kế mô hình, kỹ thuật suy luận và hướng dẫn an toàn. Dự án phù hợp với hệ sinh thái Azure AI, nhấn mạnh các con đường tích hợp thực tế, hiệu suất trên phần cứng phổ thông và hợp tác mã nguồn mở minh bạch theo giấy phép cho phép.
VibeVoice là bộ mô hình giọng nói tiên tiến mã nguồn mở từ Microsoft bao gồm nhận dạng giọng nói tự động và chuyển văn bản thành giọng nói thời gian thực. Hệ thống ASR xử lý tối đa 60 phút trong một lần chạy với ngữ cảnh 64K, tạo ra bản phiên âm có cấu trúc về Ai, Khi nào và Gì kèm theo các từ khóa tùy chọn do người dùng cung cấp. Bên trong, các bộ mã hóa âm thanh và ngữ nghĩa liên tục hoạt động ở tần số khoảng 7,5 Hz, cho phép xử lý chuỗi dài hiệu quả mà không làm giảm độ chính xác. Một bộ khuếch tán token tiếp theo tinh chỉnh chi tiết âm thanh, trong khi mô hình LLM nền tảng mô phỏng diễn ngôn và ngữ cảnh. Về triển khai, hỗ trợ suy luận vLLM để tăng thông lượng, và động cơ VibeVoice-ASR-BitNet cung cấp suy luận CPU thời gian thực bằng cách nén trọng số xuống khoảng 1,58 GB và đạt tỷ lệ thời gian thực (RTF) dưới 1 trên 3 luồng trở lên. Mô hình ASR hỗ trợ đa ngôn ngữ với hơn 50 ngôn ngữ. Đối với tổng hợp giọng nói, VibeVoice-Realtime-0.5B cung cấp TTS phát trực tiếp với độ trễ âm thanh đầu ra thấp. Dự án tích hợp với Hugging Face Transformers và có thể khám phá tại Azure AI Foundry Labs.
Truy cập Microsoft VibeVoice
Bình luận (0)
Chưa có bình luận nào