Transformers

Hugging Faceは、AIコミュニティのためにオープンソースの機械学習インフラストラクチャ、モデルホスティング、データセット、コラボレーションツールを構築しています。その活動は、最新モデルを研究および応用エンジニアリング環境で共有、評価、ファインチューニング、展開しやすくすることに焦点を当てています。

Transformersは、Hugging Faceのモデルエコシステムの中心となるオープンソースライブラリです。自然言語処理、コンピュータビジョン、音声、オーディオ、ビデオ、マルチモーダルタスクにわたる最新の機械学習ワークロードのために、再利用可能なモデル定義、トークナイザー、プロセッサー、パイプライン、およびトレーニングユーティリティを提供します。汎用のニューラルネットワークコンポーネントツールボックスとしてではなく、モデルアーキテクチャの実装方法を標準化することで、研究者、エンジニア、および下流のインフラストラクチャが互換性のある定義を共有できるようにします。このライブラリはPythonとPyTorchで動作し、パイプラインを通じた高レベルの推論をサポートし、100万以上の互換性のあるチェックポイントが利用可能なHugging Face Hubに直接接続します。特に、チームが基盤モデルにアクセスし、アーキテクチャコードを一から再構築することなく実験、ファインチューニング、評価、プロダクションへの引き渡しに広く使用されています。