Prompt Injection ist ein betriebliches Risiko: Angreifer platzieren Anweisungen in Nutzereingaben, Dokumenten oder externen Inhalten, die ein KI-Agent verarbeitet. Anders als bei Software-Schwachstellen, für deren Ausnutzung ein Angriff auf den Code nötig ist, zielt Prompt Injection auf das Verhalten des Modells ab, Anweisungen zu befolgen. Das Modell lässt sich dazu verleiten, Sicherheitsregeln zu ignorieren, vertrauliche Daten preiszugeben oder unerwünschte Aktionen auszuführen. Für Unternehmen, die agentengestützte Workflows entwickeln, ist es der erste Schritt zur Risikominderung, zu verstehen, wie und wo Eingaben verarbeitet werden.
Bei direkter Prompt Injection formuliert ein Nutzer gezielt Nachrichten, um Systemanweisungen außer Kraft zu setzen – etwa indem er einen Agenten auffordert, Informationen offenzulegen oder einen riskanten Befehl auszuführen, und die Aufforderung als harmlose Anfrage tarnt. Solche Angriffe sind einfach umzusetzen, aber wirksam, wenn Nutzernachrichten als maßgeblich behandelt werden. Besonders gefährdet sind Systeme, die Freitextbefehle annehmen oder Eingaben von Endnutzern in die Entscheidungslogik einfließen lassen.
Bei indirekter Prompt Injection werden schädliche Anweisungen in Inhalten verborgen, die der Agent abruft – etwa auf Webseiten, in Anhängen, ausgelesenen Dokumenten oder Daten von Drittanbieter-APIs. Der Agent kann solche Inhalte zusammenfassen, Fakten daraus extrahieren oder daraus Aktionen ableiten. Unterscheidet die Abruf-Pipeline nicht zwischen vertrauenswürdigen Quellen und nutzerseitigen oder ungeprüften Inhalten, können Angreifer Anweisungen einschleusen, die das Modell als Teil des Aufgabenkontexts auffasst. Das kann zu unerwartetem Verhalten führen.
Wird ein Agent kompromittiert, reichen die Folgen weit über eine einzelne Antwort hinaus. Verbundene Tools wie Kalender, Ticketsysteme, Dateispeicher und Cloud-Konsolen sowie die für den Agenten zugänglichen Zugangsdaten können missbraucht werden, um vertrauliche Datensätze offenzulegen, unbefugte Konten anzulegen oder interne Geschäftsaktionen auszulösen. Das Risikoprofil hängt von den Berechtigungen des Agenten, dem Umfang der Daten ab, auf die er zugreifen kann, und davon, ob Aktionen mit weitreichenden Folgen vor ihrer Ausführung überprüft werden müssen.