Ein Assistent sammelt öffentliche Produktinformationen. Ein gelesener Text enthält eine Passage, die sich wie eine Anweisung an die Software liest. Für die Aufgabe soll er den Text auswerten. Der Verfasser des gelesenen Textes darf dadurch keine neuen Rechte erhalten.
Material und Auftrag trennen
Definieren Sie, was der Assistent lesen und welches Ergebnis er liefern darf. Prüfen Sie Quelleninhalte als Daten aus einer fremden Umgebung. Eine Passage darf als Zitat in einer Zusammenfassung auftauchen, aber nicht eigenständig zu einer Bestellung, Dateiänderung oder Weitergabe führen. OWASP unterscheidet unter anderem direkt eingegebene und indirekt über Quellen erhaltene Anweisungen.
Testen Sie mit eigenen harmlosen Beispielen. Zwei Notizen sollen zusammengefasst werden, eine enthält zusätzlich eine für den Auftrag irrelevante Aufforderung, die Zusammenfassung zu verändern. Prüfen Sie, ob sich der Auftrag, die Auswahl der Quellen oder die erwartete Ausgabe ungewollt ändern.
Technische Folgen begrenzen
Geben Sie einem reinen Lesearbeitsablauf keine Schreibrechte. Wenn externe Aktionen vorgesehen sind, braucht jede einen begrenzten Zugriff und eine nachvollziehbare Freigabe. Ein Anweisungstext allein ersetzt diese Kontrolle nicht. Über AI BUSINESS kann der konkrete Prüf- und Übergabepunkt beschrieben werden.