プロンプトインジェクションは、攻撃者がユーザー入力、文書、外部コンテンツに指示を仕込み、AIエージェントに読み込ませることで生じる運用上のリスクです。コードを悪用するソフトウェアの脆弱性とは異なり、プロンプトインジェクションはモデルが指示に従う性質を利用します。安全ルールを無視させたり、機密データを開示させたり、本来許可されていない操作を実行させたりする可能性があります。エージェントを活用したワークフローを構築する企業にとって、入力がどこで、どのように処理されるかを把握することが、リスク低減の第一歩です。
直接的なプロンプトインジェクションは、ユーザーがシステム指示を上書きするよう意図的にメッセージを細工する攻撃です。たとえば、無害な質問に見せかけて情報を開示させたり、危険性の高いコマンドを実行させたりします。手口は単純ですが、ユーザーのメッセージを権威ある指示として扱うシステムには効果的です。自由記述のコマンドを受け付けたり、エンドユーザーのプロンプトを意思決定ロジックに渡したりするシステムは、特にリスクが高くなります。
間接的なプロンプトインジェクションでは、エージェントが取得するコンテンツに悪意ある指示を隠します。対象となるのは、ウェブページ、添付ファイル、スクレイピングした文書、サードパーティAPIなどです。エージェントは要約や事実の抽出、アクションの生成のために、こうしたコンテンツを取り込むことがあります。取得プロセスで、信頼できる情報源とユーザー提供の情報や未検証のコンテンツを区別できていないと、攻撃者は指示を埋め込めます。モデルはそれをタスクの文脈の一部として扱い、予期しない動作につながるおそれがあります。
エージェントが侵害された場合、影響は一度の応答にとどまりません。エージェントが接続されたツール（カレンダー、チケット管理システム、ファイルストレージ、クラウド管理コンソール）や、アクセス可能な認証情報を悪用し、機密記録を漏えいさせたり、無許可のアカウントを作成したり、社内業務を実行させたりする可能性があります。リスクの大きさは、エージェントの権限、読み取り可能なデータの範囲、影響の大きい操作を実行前に検証する仕組みがあるかどうかで決まります。