Transformers
Transformers는 Hugging Face의 오픈 소스 모델 정의 프레임워크로, 일관된 Python API와 깊은 Hub 생태계 통합을 통해 최첨단 텍스트, 비전, 오디오, 비디오 및 멀티모달 모델을 실행하고 학습할 수 있습니다.
개요
팀은 일반적으로 라이브러리를 설치하고 Hugging Face Hub에서 체크포인트를 선택한 후 작업에 맞는 파이프라인 또는 모델 클래스를 호출하는 것으로 시작합니다. Transformers는 일반적인 전처리와 출력 형식을 처리하면서도 사용자 정의를 위한 하위 수준 모델 내부를 노출합니다.
핵심 기능 및 기술 모델
Transformers는 사전 학습되거나 미세 조정된 모델로 구축하는 머신러닝 엔지니어, 응용 연구자, AI 제품 팀 및 기술 창업자에게 가장 적합합니다. 다양한 모달리티에 걸친 빠른 프로토타이핑, 현재 아키텍처에 대한 재현 가능한 접근 및 원시 신경망 기본 요소에서 시작하지 않고도 모델 동작을 검사, 적응 또는 확장할 수 있는 충분한 제어가 필요한 조직에 적합합니다.
- 여러 AI 작업 유형에 걸쳐 전처리, 추론 호출 및 반환 출력을 표준화하는 고수준 파이프라인을 통해 사전 학습된 모델을 실행합니다.
- 학습 라이브러리, 추론 엔진 및 인접 도구가 아키텍처 동작에 합의할 수 있도록 공유 모델 정의를 사용합니다.
- 언어, 비전, 음성, 오디오, 비디오 및 멀티모달 워크로드를 위한 Hub 호스팅 체크포인트에 수동으로 모델 코드를 재작성하지 않고 접근합니다.
- 라이브러리 유틸리티, 예제 및 작업별 패턴을 사용하여 지원되는 PyTorch 모델을 미세 조정하여 실험 설정 시간을 단축합니다.
- 연구 워크플로우에서 아키텍처 변경, 제거 또는 작업별 적응이 필요할 때 모델 내부를 검사하고 사용자 정의합니다.
Transformers가 가장 유용한 곳
편집 평가
Python 사용자를 위한 시작은 간단합니다. 이 프로젝트는 최신 Python 환경과 PyTorch 기반 워크플로를 지원하며, 일반 패키지 관리자 또는 최신 변경 사항이 필요한 기여자 및 사용자를 위해 소스에서 직접 설치할 수 있습니다. 일반적인 온보딩 경로는 가상 환경을 만들고, PyTorch 지원과 함께 라이브러리를 설치하고, Hub 모델을 선택한 후 대상 작업에 대해 파이프라인을 호출하는 것입니다. 더 고급 사용자는 파이프라인을 넘어 모델 클래스, 프로세서, 토크나이저, 예제 스크립트 및 학습 유틸리티로 이동할 수 있습니다. 팀은 저장소의 샘플 스크립트가 보장된 프로덕션 시스템이 아니라 시작점임을 인지하고, 자체 데이터, 하드웨어 및 배포 제약 조건에 대해 예제를 검증해야 합니다.
Transformers는 최신 AI 모델, 읽기 쉬운 구현 및 생태계 호환성을 하나의 패키지로 필요로 하는 팀에게 가장 중요한 오픈 소스 기반 중 하나로 남아 있습니다.
설치 및 도입 경로
Transformers는 팀이 폭넓고 신뢰할 수 있는 모델 가족, 다양한 모달리티 및 성숙한 오픈 소스 생태계를 모두 필요로 할 때 가장 강력합니다. 주요 단점은 범위이며, 작은 신경망 빌딩 블록 라이브러리나 완전 관리형 배포 제품을 찾는 사용자는 보완 도구가 필요할 수 있습니다. 모델 실험과 아키텍처 호환성 측면에서는 기본 선택입니다.
도구를 열고 핵심 제품 경험을 검토하세요.
계정을 만들거나 기존 워크스페이스에 접속하세요.
자신의 작업으로 속도, 품질, 적합성을 판단하세요.
최종 결정 전에 유사한 AI 도구를 확인하세요.
Transformers
Hugging Face는 AI 커뮤니티를 위한 오픈 소스 머신러닝 인프라, 모델 호스팅, 데이터셋 및 협업 도구를 구축합니다. 그들의 작업은 현대 모델을 연구 및 응용 엔지니어링 환경 전반에 걸쳐 더 쉽게 공유, 평가, 미세 조정 및 배포할 수 있도록 하는 데 중점을 둡니다.
Transformers는 Hugging Face 모델 생태계의 핵심 오픈 소스 라이브러리입니다. 자연어 처리, 컴퓨터 비전, 음성, 오디오, 비디오 및 멀티모달 작업 전반에 걸친 현대적인 머신러닝 워크로드를 위해 재사용 가능한 모델 정의, 토크나이저, 프로세서, 파이프라인 및 학습 유틸리티를 제공합니다. 일반적인 신경망 구성 요소 도구 상자 역할을 하는 대신, 연구자, 엔지니어 및 하위 인프라가 호환 가능한 정의를 공유할 수 있도록 모델 아키텍처 구현 방식을 표준화합니다. 이 라이브러리는 Python과 PyTorch와 함께 작동하며, 파이프라인을 통한 고수준 추론을 지원하고, 백만 개 이상의 호환 가능한 체크포인트가 제공되는 Hugging Face Hub에 직접 연결됩니다. 실험, 미세 조정, 평가 및 프로덕션 인계에 널리 사용되며, 특히 팀이 아키텍처 코드를 처음부터 다시 작성하지 않고 최신 기초 모델에 접근해야 할 때 유용합니다.
github.com/huggingface/transformers
댓글 (0)
댓글이 없습니다