AIエージェントは、技術的には利用可能でも次の意思決定に役立たない情報にコンテキストを無駄に使うことがよくあります。コマンドは何千ものログ行を返すことがあり、コード検索は一致する構造を繰り返し、検索システムはモデルが必要とするよりもはるかに多くのテキストを含む重複したチャンクを送信することがあります。
このコンテキストの膨張はトークンコストを増加させ、エージェントを遅くしたり集中力を欠かせたりする可能性があります。また、大きなツールの応答がエージェントがタスクを完了する前にモデルの利用可能なコンテキストを消費するため、会話の有用な寿命も短くなります。
Headroomはアプリケーションと言語モデルの間に圧縮レイヤーを挿入します。1つの一般的な要約に頼る代わりに、受信コンテンツの種類を特定し、構造化されたJSON、ソースコード、散文、ログ、その他のエージェントデータに異なる戦略を適用します。目的は、正しい答えに必要な証拠を保持しながら、繰り返しや価値の低い詳細を削除することです。


