Chèn lệnh trực tiếp là hình thức thao túng mô hình bằng ngôn từ: kẻ tấn công soạn prompt yêu cầu mô hình phá vỡ quy tắc, tiết lộ dữ liệu hoặc hành động vượt quá giới hạn được phép. Có thể đơn giản chỉ là yêu cầu tác tử “bỏ qua các chỉ dẫn trước đó” hoặc tiết lộ bí mật bằng cách ngụy trang yêu cầu thành một nhiệm vụ vô hại. Điều này đáng lưu ý vì nhiều quy trình nghiệp vụ nhận đầu vào bằng ngôn ngữ tự nhiên hoặc dựa vào các cuộc trò chuyện nội bộ không theo mẫu; nếu thiếu biện pháp bảo vệ, tác tử sẽ cố gắng làm theo điều mà nó cho là ý định của người dùng.

Tấn công chèn lệnh gián tiếp xảy ra khi tác tử truy xuất nội dung bên ngoài rồi xem nội dung đó là ngữ cảnh đáng tin cậy. Trang web, chuỗi email hoặc tài liệu nhúng có thể chứa chỉ dẫn ẩn mà mô hình đưa vào câu trả lời hoặc logic ra quyết định. Rủi ro đặc biệt cao với các tác tử tự động duyệt web, đọc tệp đính kèm hoặc tổng hợp tệp do khách hàng cung cấp. Doanh nghiệp cần phân loại nguồn nội dung, mặc định xem nội dung truy xuất không đáng tin cậy là nguy hiểm, đồng thời làm sạch hoặc chỉ trích xuất các trường dữ liệu đã xác minh thay vì nạp nguyên văn bản thô.

Khi tác tử có quyền truy cập rộng vào công cụ — API, hệ thống quản lý yêu cầu, kho lưu trữ tệp hoặc bảng điều khiển đám mây — một cuộc tấn công chèn lệnh thành công có thể gây thiệt hại trong hoạt động. Tác tử bị xâm nhập có thể gọi API để trích xuất thông tin nhận dạng cá nhân (PII), tạo yêu cầu kèm chỉ dẫn sai lệch hoặc lên lịch họp làm lộ các chủ đề bảo mật. Mức độ ảnh hưởng đến doanh nghiệp phụ thuộc vào phạm vi quyền hạn và cách quản lý thông tin xác thực. Biện pháp giảm thiểu gồm áp dụng quyền tối thiểu, luân chuyển và cô lập thông tin xác thực, đồng thời yêu cầu phê duyệt riêng hoặc xác minh nhiều bên trước mọi lệnh gọi công cụ có tác động lớn.

Không có giải pháp đơn lẻ nào đủ sức xử lý vấn đề: phòng vệ hiệu quả cần nhiều lớp. Trước tiên, hãy giới hạn quyền truy cập công cụ ở mức tối thiểu cần thiết và cô lập thông tin xác thực; tách quy trình xử lý nội dung đáng tin cậy khỏi nội dung không đáng tin cậy, đồng thời triển khai biện pháp làm sạch và trích xuất dữ liệu có cấu trúc. Bổ sung các cơ chế kiểm soát ở cấp quy trình — bước phê duyệt cho hành động nhạy cảm, khâu kiểm tra rõ ràng có con người tham gia và chữ ký mật mã cho prompt đáng tin cậy. Về vận hành, hãy ghi lại tác tử nào có thể thực hiện nhiệm vụ nào, đồng thời thiết kế cơ chế mặc định từ chối khi gặp đầu vào không chắc chắn để tác tử ưu tiên an toàn thay vì hành động.

Giám sát vận hành cùng quy trình ứng phó sự cố rõ ràng sẽ biến các biện pháp phòng vệ thành khả năng chống chịu. Ghi nhật ký đầu vào của tác tử, các lần truy xuất và thao tác công cụ, kèm thẻ ngữ cảnh cho biết mức độ tin cậy. Triển khai quy tắc xác thực trong lúc chạy đối với đầu ra rủi ro cao (ví dụ: xuất dữ liệu, sử dụng thông tin xác thực) và cảnh báo khi phát hiện vi phạm chính sách. Duy trì quy trình ứng phó bao gồm luân chuyển thông tin xác thực, kiểm tra các lệnh gần đây và khôi phục các hành động tự động. Thường xuyên tổ chức diễn tập tấn công giả lập và thử nghiệm chèn lệnh để kiểm tra biện pháp kiểm soát, đồng thời phát hiện các điểm phụ thuộc ngầm vào mức độ tin cậy.