Glimmer는 멀티모달 입력과 광범위한 언어 지원을 갖춘 300억 매개변수 모델을 Apache 2.0 라이선스 하에 오픈 가중치로 제공합니다. 개발자는 이를 다운로드, 수정, 재배포할 수 있습니다. 핵심은 단일 소비자 GPU에서 에이전트를 상주시키고 반응성을 유지하는 설계 목표입니다. 이를 통해 이전에는 지속적인 클라우드 세션이 필요했던 스크린샷 읽기, 파일 정리, 답장 작성 등의 에이전트 행동이 가능해졌습니다. 또한 여러 단계를 연속으로 수행할 때 도구 호출 왕복 횟수를 줄여 체감 지연 시간을 크게 개선합니다.

로컬 추론은 위험 계산을 바꿉니다. 민감한 자료—키 입력, 클립보드, 받은 편지함 내용, 데스크톱 캡처—가 외부 서버를 거치지 않고도 에이전트에 유용할 수 있습니다. 이는 프라이버시, 규제 준수, 사고 대응에 직접적인 이점입니다. 도구 호출과 컨텍스트 조립이 같은 기기에서 이루어지므로 지연 시간도 개선됩니다. 마지막으로, 로컬 에이전트는 클라우드 봇과 달리 중단 가능하고 감사가 가능하여 사용자가 로그를 확인하고 권한을 즉시 취소하며 온라인 조회와 오프라인 자동화 사이에 명확한 경계를 유지할 수 있습니다.

원활한 FP16/FP8 실행을 위해 24~48GB VRAM을 목표로 하십시오. 12~16GB 카드에서는 8비트 또는 4비트 양자화와 시퀀스 길이 제한을 사용하세요. 에이전트를 명확한 OS 권한에 고정시키고, 파일 시스템 읽기/쓰기, 클립보드, 스크린샷, 네트워크 출구 권한을 각각 로그와 함께 토글 가능하게 하십시오. 기능 라우터를 사용해 긴 컨텍스트 추론이나 고해상도 비전 작업을 필요 시 클라우드 모델로 오프로드하세요. 백그라운드 작업에 속도 제한을 추가하고, 항상 켜진 대기 상태에서 열 관리를 위해 유휴 양자화 상태를 예약하십시오. 마지막으로, 업데이트 시 일관된 동작을 보장하기 위해 프롬프트와 도구 버전을 관리하세요.

오픈 300억 모델은 일부 추론 및 안전성 벤치마크에서 최상위 폐쇄형 모델에 뒤처집니다. 항상 켜진 에이전트는 새로운 공격 표면도 만듭니다: 로컬 파일이나 스크린샷을 통한 프롬프트 주입, 과도한 파일 권한, 정책에서 벗어난 도구 체인 변화 등이 그것입니다. 도구 호출 허용 목록, 서명된 도구 매니페스트, 로컬 콘텐츠 스캔, 데스크톱 컨텍스트에 특화된 레드팀 프롬프트로 이를 완화하세요. 에이전트를 특권 앱처럼 취급하여 샌드박스화하고, 자격 증명을 순환하며, 워크플로우 반복 시 가드레일을 자동 업데이트하세요.