Sie bitten einen Assistenten um eine Antwort auf eine Reklamation. Der Entwurf nennt ein Zahlungsdatum und verweist auf eine angebliche Vertragsklausel. Beide Angaben klingen plausibel. In den Unterlagen steht jedoch weder dieses Datum noch die genannte Regel. Für die Freigabe zählt, ob sich der jeweilige Satz belegen lässt.
Prüfen statt nach Bestätigung fragen
- Sachangaben markieren. Unterstreichen Sie Fristen, Namen, Zahlen, Rechtsbezüge und Behauptungen über Funktionen.
- Die Quelle öffnen. Kontrollieren Sie, ob der angegebene Abschnitt die konkrete Aussage trägt. Ein Link auf das richtige Dokument genügt nicht, wenn die Passage ein anderes Produkt oder eine andere Vertragsfassung betrifft.
- Ungeklärtes kennzeichnen. Nutzen Sie im internen Entwurf einen Platzhalter wie „Datum in der Auftragsbestätigung nachsehen“. Die offene Stelle bleibt sichtbar, bis jemand sie klärt.
Nehmen Sie die Vertragsklausel aus dem Kundenbeispiel: Eine Quelle über Stornierung hilft nicht automatisch bei Reklamationen. Laden Sie für die Überarbeitung nur die maßgebliche, freigegebene Passage nach. Eine gute Antwort kann dann auch lauten, dass sich die Frage mit den vorhandenen Unterlagen nicht beantworten lässt.
So machen Sie daraus eine Teamregel
Sammeln Sie zehn typische Entwürfe, darunter Fälle mit fehlenden oder widersprüchlichen Angaben. Notieren Sie für jeden die zulässige Quelle und welche Aussagen kritisch wären. Wiederholen Sie das Set nach Änderungen am Briefing oder Modell. Messen Sie getrennt, wie oft das System Fakten korrekt belegt und wie oft es bei fehlenden Angaben angemessen offen bleibt. Für seltene Sonderfälle bleibt eine Stichprobe begrenzt aussagekräftig.
Eine Studie von OpenAI diskutiert unter anderem, wie Tests, die das Raten begünstigen, falsche Antworten belohnen können. Das gibt einen Ansatz für Ihre Prüfung: Behandeln Sie ein begründetes „nicht belegt“ als erwünschtes Ergebnis, wenn die Belege fehlen. Die Prüfbeispiele in AI MEDIA helfen beim Aufbau eines kleinen Testsets.