Was ist Prompt Injection?

Prompt Injection ist ein Angriff, der Anweisungen für die KI in Daten platziert, die sie liest, etwa Webseiten oder Dateien, und sie so dazu bringt, ihre ursprünglichen Anweisungen zu überschreiben oder zu ignorieren. Das kann zu Informationslecks oder unbeabsichtigten Aktionen führen.

Besonders hoch ist das Risiko bei KI-Agenten, die auf externe Werkzeuge und Daten zugreifen. Wichtig sind Gegenmaßnahmen wie das Validieren von Eingaben, das Minimieren von Berechtigungen und ein Systemdesign, das Anweisungen aus nicht vertrauenswürdigen Daten nicht ausführt.