이미지를 단순히 설명하는 비전-언어 모델도 유용하지만, 에이전트는 설명 이상의 것을 필요로 합니다. 무엇인가가 어디에 있는지 알아야 합니다. GUI 에이전트는 아이콘과 버튼을 찾아야 하고, 문서 에이전트는 표와 텍스트 영역을 찾아야 하며, 로보틱스 시스템은 복잡한 장면에서 객체를 식별해야 합니다.

LocateAnything는 이러한 행동 지향 계층을 위해 설계되었습니다. 오픈셋 객체 감지, 밀집 다중 객체 위치 지정, 참조 표현 그라운딩, GUI 요소 그라운딩, OCR 위치 지정, 레이아웃 그라운딩 및 점 기반 위치 지정과 같은 작업을 지원합니다. 이는 기업 인텔리전스와 물리적 AI 모두에 관련이 있습니다.

주요 혁신은 병렬 박스 디코딩입니다. 경계 상자를 여러 좌표 토큰으로 직렬화하는 대신, 모델은 완전한 좌표 집합을 함께 예측합니다. 이는 상자의 모서리가 독립적인 텍스트 조각이 아니라 관련되어 있는 시각적 기하학 구조와 더 잘 맞습니다.

NVIDIA는 또한 유연한 추론 모드를 설명합니다. 빠른 모드는 처리량을 우선시하고, 느린 모드는 안정성을 위해 더 전통적인 자기회귀 디코딩을 사용하며, 하이브리드 모드는 출력이 모호하거나 구조적으로 신뢰할 수 없을 때 대체할 수 있습니다. 이는 개발자에게 실용적인 속도 대 정밀도 제어 수단을 제공합니다.

LocateAnything-3B는 Transformers, vLLM, SGLang 및 Docker 스타일 배포 예제와 함께 Hugging Face에서 사용할 수 있습니다. 이는 로컬 또는 서버 기반 다중 모달 파이프라인 내에서 그라운딩 성능을 테스트하려는 연구자와 개발자에게 접근성을 제공합니다.

그러나 모델 카드에는 이 릴리스가 NVIDIA 비상업적 라이선스 하에 연구 및 개발용임이 명시되어 있습니다. 팀은 제품, 고객 대상 기능 또는 상업용 자동화 워크플로우에 사용하기 전에 라이선스를 주의 깊게 읽어야 합니다.

LocateAnything는 더 넓은 추세를 가리킵니다: 다중 모달 AI가 점점 더 공간적이 되고 있습니다. 미래의 에이전트는 이미지에 무엇이 있는지뿐만 아니라 그것이 어디에 있는지, 다른 객체와 어떻게 관련되는지, 다음에 어떤 행동이 일어나야 하는지를 이해해야 할 것입니다.

개발자는 이 기술이 시각 컴퓨터 사용 에이전트, 로보틱스 모델, 문서 인텔리전스 플랫폼 및 NVIDIA의 물리적 AI 생태계와 같은 생산 등급 시스템에 어떻게 나타나는지 주목해야 합니다. 가장 큰 영향은 정밀한 그라운딩이 별도의 연구 기능이 아니라 에이전트 워크플로우 내 기본 기능이 될 때 올 수 있습니다.