NVIDIA NeMo Speech

NVIDIAはGPU、ネットワーキング、AIソフトウェアを含む加速コンピューティングプラットフォームを開発しています。NeMoチームは最先端のマルチモーダルおよび音声モデルのトレーニング、適応、サービングのためのオープンでプロダクショングレードのツールを構築しています。深いPyTorchとCUDAの専門知識を持ち、研究室や企業全体での性能、再現性、スケーラブルな展開に注力しています。

NVIDIA NeMo Speechは、自動音声認識、テキスト読み上げ、および音声ネイティブLLMアプリケーションを構築するためのオープンソースのPyTorchベースのツールキットです。プロダクション対応のトレーニングレシピ、推論パイプライン、GPU最適化バックエンドを組み合わせ、プロトタイプからデプロイまで迅速に移行できます。事前学習済みチェックポイントとサンプルノートブックにより評価が加速し、モジュール式コンポーネントによりアーキテクチャ、トークナイザー、ボコーダーをパイプラインを書き換えることなく交換可能です。最近のリリースでは、制御可能なレイテンシを持つキャッシュ対応FastConformerストリーミングASR、多言語TTS、早期アクセスの全二重音声エージェントが注目されています。プロジェクトはA100/H100全体での再現性と性能を目指し、uvロック環境、Dockerビルド、Transformer EngineやFlashAttentionなどのオプションの加速カーネルを提供します。Apache-2.0ライセンスと活発なエコシステム（HuggingFaceコレクションや一部モデルのNVIDIA NIMサービングオプションを含む）により、研究とプロダクションの両方で実用的です。