KI-Agenten sicher einsetzen bedeutet, ihnen nur die Werkzeuge, Daten und Rechte zu geben, die sie für eine klar begrenzte Aufgabe benötigen. Lesen und Vorschlagen dürfen oft automatisch ablaufen. Senden, Löschen, Kaufen, Veröffentlichen oder Ändern von Berechtigungen gehören dagegen hinter eine technische Kontrolle und eine konkrete menschliche Freigabe.
KI-Agenten sicher einsetzen: Wo beginnt das Risiko?
Ein KI-Agent beantwortet nicht nur Fragen. Er kann Schritte planen, Werkzeuge auswählen, Daten abrufen, Ergebnisse speichern und Aktionen in anderen Systemen auslösen. Genau diese Verbindung von Sprachmodell, Kontext und Werkzeugen macht ihn nützlich – und erweitert zugleich die mögliche Schadenswirkung eines Fehlers.
Das Modell sollte deshalb niemals selbst entscheiden, ob es zu einer Aktion berechtigt ist. Eine Anweisung wie „Du darfst nur lesen“ hilft bei der Orientierung, ersetzt aber keine echte Leseberechtigung. Wird der Agent durch eine missverständliche Aufgabe, eine manipulierte Webseite oder eine fehlerhafte Ausgabe in die falsche Richtung gelenkt, muss das angeschlossene System den unzulässigen Zugriff trotzdem verweigern.
Die OWASP-Empfehlungen zur Sicherheit von KI-Agenten nennen unter anderem Prompt Injection, Werkzeugmissbrauch, Datenabfluss, vergiftete Erinnerungen und zu große Autonomie als typische Risiken. Für die Praxis folgt daraus: Je größer die mögliche Wirkung eines Werkzeugs, desto enger müssen Berechtigung, Prüfung und Protokollierung sein.
Welche Rechte braucht ein KI-Agent wirklich?
Beginne mit dem kleinsten funktionsfähigen Umfang. Das NIST beschreibt „Least Privilege“ als Prinzip, bei dem ein Benutzer oder ein in seinem Auftrag handelnder Prozess nur die mindestens notwendigen Ressourcen und Berechtigungen erhält. Für einen Agenten heißt das: Eine Produktübersicht benötigt vielleicht Lesezugriff auf ausgewählte Felder, aber weder Kundendaten noch Schreib- oder Löschrechte.
Prüfe jede Verbindung anhand von fünf Fragen:
- Aufgabe: Welches konkrete Ergebnis soll der Agent liefern?
- Daten: Welche Tabellen, Ordner oder Postfächer muss er dafür tatsächlich sehen?
- Werkzeug: Reicht eine begrenzte Funktion oder bekommt er unnötig einen allgemeinen Datei-, Browser- oder Befehlszugriff?
- Aktion: Muss er selbst schreiben, oder genügt ein Entwurf zur Prüfung?
- Dauer: Wird der Zugriff dauerhaft benötigt oder kann er nach dem Vorgang ablaufen?
KI-Agenten sicher einsetzen: Welche Aktionen brauchen Freigabe?
Nicht jede Aktion hat dasselbe Risiko. Eine reine Suche in freigegebenen Dokumenten ist leichter rückgängig zu machen als eine versendete E-Mail oder eine gelöschte Datei. Teile Werkzeuge deshalb nach ihrer Wirkung ein und lege die Freigabe technisch vor der Ausführung fest.
- Niedriges Risiko: Lesen, filtern, rechnen und innerhalb eines begrenzten Datenbestands suchen.
- Mittleres Risiko: Entwürfe, Vorschläge oder Dateien in einem getrennten Arbeitsbereich erstellen.
- Hohes Risiko: Nachrichten senden, Inhalte veröffentlichen, Bestellungen auslösen oder produktive Daten verändern.
- Kritisches Risiko: Benutzerrechte ändern, große Datenmengen löschen, Zahlungen anweisen oder Sicherheitsregeln abschalten.
Bei hohen und kritischen Risiken sollte die Freigabe nicht nur „Ja“ lauten. Sie muss an die genaue Aktion gebunden sein: Welches Werkzeug wird mit welchen Parametern auf welches Ziel angewendet? Zudem braucht sie eine kurze Gültigkeit und einen Schutz vor Wiederholung. So kann eine alte Zustimmung nicht für einen später veränderten Auftrag wiederverwendet werden.
Warum sind externe Inhalte keine vertrauenswürdigen Anweisungen?
Ein Agent verarbeitet häufig Webseiten, Dokumente, E-Mails oder API-Antworten. Darin können Texte stehen, die wie Arbeitsanweisungen aussehen. Bei einer indirekten Prompt Injection versucht ein fremder Inhalt, das Verhalten des Modells zu verändern – beispielsweise mit der Aufforderung, Regeln zu ignorieren, weitere Daten abzurufen oder ein Werkzeug aufzurufen.
Behandle deshalb alles, was aus einer externen Quelle stammt, als Daten. Kennzeichne die Grenze zwischen Aufgabe und Fundstück, beschränke die erreichbaren Werkzeuge und prüfe die Parameter jedes Aufrufs unabhängig vom Modelltext. Die OWASP-Hinweise zu Prompt Injection empfehlen dafür mehrere Schutzschichten statt eines einzelnen Filters.
Wie trennst du Daten, Kontext und Gedächtnis?
Ein dauerhaftes Gedächtnis kann nützlich sein, vergrößert aber den Prüfbereich. Speichere nicht automatisch ganze Unterhaltungen, Dokumente oder Werkzeugausgaben. Lege fest, welche Information gespeichert werden darf, welchem Benutzer sie gehört und wann sie abläuft. Zugangsdaten, Schlüssel und unnötige personenbezogene Angaben gehören nicht in den Agentenkontext.
Trenne Sitzungen und Mandanten technisch voneinander. Ein Agent für öffentliche Produktinformationen sollte keine internen Notizen erhalten, nur weil beide Inhalte im selben Suchindex liegen. Vor dem Speichern sind sensible Daten zu entfernen und Inhalte auf Manipulationsversuche zu prüfen. Protokolle brauchen dieselbe Sorgfalt: Sie sollen Entscheidungen nachvollziehbar machen, aber keine geheimen Werte im Klartext sammeln.
Welche technischen Kontrollen begrenzen einen KI-Agenten?
Eine belastbare Architektur trennt Vorschlag, Autorisierung und Ausführung. Der Agent kann eine strukturierte Aktion vorschlagen. Ein regelbasiertes System prüft anschließend Werkzeug, Benutzer, Ziel, Parameter, Freigabe und Grenzwerte. Erst danach führt eine begrenzte Komponente die Aktion aus.
Wichtige Kontrollen sind:
- eine Positivliste erlaubter Werkzeuge und Ressourcen statt allgemeiner Zugriffe,
- fest definierte Eingabeschemata mit Größen-, Typ- und Werteprüfung,
- separate Zugangsdaten mit Lese- oder Schreibrechten je Aufgabe,
- Limits für Aufrufe, Laufzeit, Wiederholungen, Kosten und Kettentiefe,
- eindeutige Vorgangskennungen gegen doppelte Ausführung,
- Stopp-, Rücknahme- und Eskalationswege sowie nachvollziehbare Ereignisprotokolle.
Das ist dieselbe Grundidee wie bei anderen automatisierten Abläufen: Erst einen engen Pilot definieren, Ergebnisse messbar machen und die menschliche Kontrolle passend zum Risiko einbauen. Unser Beitrag „Wie automatisierst du Arbeitsabläufe mit KI sinnvoll?“ zeigt die vorgelagerte Auswahl eines geeigneten Prozesses.
Wie testest du einen KI-Agenten vor dem Einsatz?
Teste nicht nur den erfolgreichen Standardfall. Lege Missbrauchsfälle fest, die der Agent zuverlässig ablehnen muss. Dazu gehören manipulierte Dokumente, der Versuch eines Zugriffs außerhalb des erlaubten Bereichs, veränderte Freigabeparameter, doppelte Aufrufe und sehr lange Werkzeugketten. Nach Änderungen an Modell, Prompt, Werkzeugen, Gedächtnis oder Datenquellen werden diese Fälle erneut geprüft.
Dokumentiere dabei die Version des Agenten, die Berechtigungen, das erwartete Ergebnis und das tatsächliche Verhalten. Das NIST-Rahmenwerk für generative KI ordnet solche Maßnahmen in Governance, Risikobeschreibung, Messung und Management ein. Eine einmalige Freigabe ersetzt daher keine laufende Kontrolle: Zugriffe, Fehler, verweigerte Aktionen und ungewöhnliche Kosten müssen beobachtbar bleiben.
Checkliste: KI-Agenten sicher einsetzen
- Aufgabe, erlaubte Daten und ausdrücklich verbotene Aktionen sind dokumentiert.
- Werkzeuge besitzen nur die notwendigen Funktionen und Berechtigungen.
- Externe Inhalte werden als unvertrauenswürdige Daten behandelt.
- Riskante Aktionen zeigen Ziel und Parameter vor der Ausführung an.
- Freigaben sind konkret, zeitlich begrenzt und nicht wiederverwendbar.
- Gedächtnis und Protokolle enthalten keine unnötigen sensiblen Daten.
- Aufruf-, Kosten- und Wiederholungslimits verhindern endlose Schleifen.
- Missbrauchsfälle werden nach relevanten Änderungen erneut getestet.
- Ein verantwortlicher Mensch kann den Agenten stoppen und Vorfälle untersuchen.
Häufige Fragen: KI-Agenten sicher einsetzen
Reicht ein guter System-Prompt als Schutz?
Nein. Ein Prompt erklärt gewünschtes Verhalten, erzwingt aber keine Zugriffsrechte. Berechtigungen, Freigaben und Grenzwerte müssen außerhalb des Modells technisch durchgesetzt werden.
Darf ein Agent automatisch E-Mails senden?
Das hängt vom Risiko ab. Für normale Geschäftsabläufe ist ein Entwurf mit sichtbarem Empfänger, Betreff und Inhalt meist die sicherere Ausgangslage. Automatischer Versand braucht einen eng begrenzten Zweck, klare Empfängerregeln, Mengenlimits und eine überprüfbare Ausnahmebehandlung.
Wie erkenne ich zu viele Rechte?
Ein Warnsignal ist jede Funktion, die für die konkrete Aufgabe nicht gebraucht wird. Kann ein Agent Dateien löschen, obwohl er nur zusammenfassen soll, oder auf alle Kundendaten zugreifen, obwohl ein einzelner Datensatz reicht, ist der Umfang zu groß.
