NVIDIA LocateAnythingはParallel Box Decodingを使用し、トークン単位のグラウンディングモデルよりも高速にオブジェクト、GUI要素、テキスト、視覚領域を特定します。
NVIDIA LocateAnythingは、自然言語の指示からオブジェクト、テキスト、インターフェース要素、視覚領域を特定する3Bのビジョンと言語のグラウンディングモデルです。コアの革新であるParallel Box Decodingは、座標トークンを一つずつ生成するのではなく、完全なバウンディングボックスを原子単位として予測します。AI開発者にとって、より高速かつ正確なグラウンディングは視覚エージェント、GUI自動化、ロボティクス、ドキュメント理解、マルチモーダルワークフローの改善に寄与します。
NVIDIA LocateAnythingはマルチモーダルAIにおける最も実用的な問題の一つ、言語を正確な視覚的位置にグラウンディングすることをターゲットにしています。モデルはユーザーがボタン、オブジェクト、テキストブロック、視覚領域について尋ねていることを理解できますが、実際のアプリケーションではマシンが操作可能な座標、ボックス、ポイントが必要です。
従来のビジョンと言語のグラウンディングモデルは、バウンディングボックスの座標をトークンごとに生成することが多く、ボックスの幾何学とテキスト生成の逐次的な性質との間にミスマッチが生じます。LocateAnythingはボックスやポイントを完全な単位として扱うことでデコーディング戦略を変え、より並列性と幾何学的一貫性を向上させています。
この結果は、視覚エージェント、ドキュメントAI、UI自動化、ロボティクス、検査システムを構築する開発者にとって重要です。モデルがターゲットを正確かつ迅速に特定できれば、クリック、検査、注釈、カウント、ナビゲート、物理的およびデジタル世界での行動を必要とするエージェントの知覚層としてより有用になります。
このモデルは自然言語の指示からオブジェクト、GUI要素、テキスト、レイアウト、視覚領域を特定するよう設計されています。
原子単位として完全なボックスを予測することで、幾何学的一貫性を保ちながらデコーディング速度を向上させます。
GUIエージェント、ロボティクス、ドキュメントAI、OCRローカリゼーション、データセット注釈、産業検査はすべて高速な視覚的グラウンディングから恩恵を受けます。
画像を説明するだけのビジョンと言語モデルは有用ですが、エージェントには説明以上のものが必要です。何かがどこにあるかを知る必要があります。GUIエージェントはアイコンやボタンを特定し、ドキュメントエージェントは表やテキスト領域を見つけ、ロボティクスシステムは雑然としたシーンの中のオブジェクトを識別しなければなりません。
LocateAnythingはこの行動指向の層のために設計されています。オープンセット物体検出、密な複数物体の位置特定、参照表現のグラウンディング、GUI要素のグラウンディング、OCRローカリゼーション、レイアウトグラウンディング、ポイントベースのローカリゼーションなどのタスクをサポートします。これにより、企業インテリジェンスと物理AIの両方に関連性があります。
主要な革新はParallel Box Decodingです。バウンディングボックスを複数の座標トークンに分割する代わりに、モデルは完全な座標セットを一括で予測します。これはボックスの角が独立したテキスト断片ではなく関連している視覚的幾何学の構造により適合します。
NVIDIAはまた柔軟な推論モードを説明しています。高速モードはスループットを優先し、低速モードは安定性のためにより伝統的な自己回帰的デコーディングを使用し、ハイブリッドモードは出力が曖昧または構造的に信頼できない場合にフォールバックします。これにより開発者は速度と精度の実用的なコントロールを得られます。
GUI自動化では、LocateAnythingはエージェントが画面上のどこをクリックまたは検査すべきか理解するのに役立ちます。ドキュメントAIではテキスト、レイアウトブロック、表を特定できます。ロボティクスや産業検査では、正確な境界が重要な雑然とした環境での物体の位置特定を支援します。
このモデルはデータセットのラベリングや注釈ワークフローにも関連します。開発者が自然言語のクエリを正確なボックスやポイントにグラウンディングできれば、検出、OCR、視覚検索、具現化エージェントシステムのトレーニングデータ作成を加速できます。
LocateAnything-3BはHugging Faceで利用可能で、Transformers、vLLM、SGLang、Dockerスタイルのデプロイ例があります。これにより、ローカルまたはサーバーベースのマルチモーダルパイプライン内でグラウンディング性能をテストしたい研究者や開発者にアクセス可能です。
しかし、モデルカードにはNVIDIAの非商用ライセンスの下で研究開発用にリリースされていると記載されています。チームは製品、顧客向け機能、商用自動化ワークフローで使用する前にライセンスを注意深く読むべきです。
LocateAnythingはより広範なトレンドを示しています：マルチモーダルAIはより空間的になりつつあります。将来のエージェントは画像内の何があるかだけでなく、それがどこにあるか、他のオブジェクトとどう関係するか、次にどんな行動を取るべきかを理解する必要があります。
開発者はこの技術が視覚的コンピュータ利用エージェント、ロボティクスモデル、ドキュメントインテリジェンスプラットフォーム、NVIDIAの物理AIエコシステムなどの実用システムにどのように現れるかを注視すべきです。最も大きな影響は、正確なグラウンディングが別個の研究機能ではなくエージェントワークフローのデフォルト機能になる時かもしれません。
LocateAnythingは自然言語の指示からオブジェクト、GUI要素、テキスト、レイアウト、ポイントを特定する3Bのビジョンと言語グラウンディングモデルです。
Parallel Box Decodingは座標トークンを一つずつ生成するのではなく、完全なバウンディングボックスを一つの原子単位として予測する方法です。これにより速度が向上し、幾何学的一貫性が保たれます。
Hugging FaceのモデルカードにはLocateAnything-3BはNVIDIAの非商用ライセンスの下で研究開発用にリリースされていると記載されています。企業は商用利用前にライセンスを注意深く確認すべきです。
