Prompt Injection
Prompt Injection bezeichnet den Versuch, eine KI durch speziell formulierte Eingaben oder Inhalte dazu zu bringen, bestehende Anweisungen zu ignorieren oder unerwünschte Handlungen auszuführen.
Einfach erklärt
Das Risiko entsteht besonders dann, wenn ein System externe oder manipulierte Inhalte verarbeitet. Ein Dokument kann beispielsweise Text enthalten, der nicht als Information, sondern als Anweisung interpretiert werden könnte. Bei reinen Wissensabfragen ist das Risiko anders gelagert als bei Agenten, die Aktionen ausführen können.
Bedeutung für Unternehmen
Unternehmen sollten deshalb Datenzugriff, Tool-Nutzung, Rollen und Aktionen getrennt kontrollieren. Ein Modell darf nicht allein aufgrund eines Textes entscheiden können, ob es auf sensible Systeme zugreift.
Verwandte Begriffe: Guardrails · RAG · Role Based Access Control
Noch Fragen? Sprechen Sie mit jemandem, der das System baut.
Kein Vertriebsskript. Innerhalb von zwei Werktagen meldet sich Ihr Ansprechpartner aus dem Engineering-Team, per E-Mail oder telefonisch.