提示注入是一種營運風險:攻擊者會把指令放進使用者輸入、文件或 AI 代理會讀取的外部內容中。不同於需要利用程式碼漏洞的軟體攻擊,提示注入利用的是模型遵循任務指示的特性:攻擊者可能誘使模型忽略安全規則、洩露敏感資料,或執行不該執行的動作。對於正在建置代理式工作流程的企業而言,了解輸入內容在哪些環節、如何處理,是降低風險的第一步。
直接提示注入是指使用者刻意設計訊息,試圖推翻系統指示,例如要求代理透露資訊,或把高風險命令包裝成無害問題來要求代理執行。這類攻擊手法直接,卻很有效,尤其是在系統把使用者訊息視為可信指示時。從營運角度來看,接受自由文字命令,或讓終端使用者的提示直接進入決策邏輯的系統,風險最高。
間接提示注入則是把惡意指令藏在代理擷取的內容中,例如網頁、附件、爬取的文件或第三方 API。代理可能會讀取這些內容來進行摘要、擷取事實或產生動作。如果擷取流程無法區分可信來源與使用者提供或未經驗證的內容,攻擊者就能嵌入指令,讓模型將其視為任務脈絡的一部分,進而導致非預期行為。
代理遭入侵後,影響不只限於單次回覆。代理可使用的連結工具(行事曆、工單系統、檔案儲存空間、雲端主控台)與憑證,都可能遭到濫用,用來外洩敏感紀錄、建立未經授權的帳戶,或觸發內部業務操作。風險程度取決於代理的權限、可讀取資料的範圍,以及高影響操作在執行前是否需要驗證。


