Eine überzeugend klingende Antwort beweist nicht, dass ein KI-Ablauf funktioniert. Das Team sollte definieren, was für diese Aufgabe eine gute Antwort bedeutet. Ein kleines, sorgfältig zusammengestelltes Evaluationsset ist oft hilfreicher als viele zufällige Prompts.
Aus Arbeitsfällen werden Testfälle
Sammeln Sie repräsentative, anonymisierte Eingaben: typische Fälle, knappe Nachrichten, fehlende Angaben, Widersprüche und seltene Sonderfälle. Halten Sie pro Fall fest, was richtig ist, was nicht vorkommen darf und wann an einen Menschen übergeben werden soll.
Für einen Kundenservice-Entwurf könnten Kriterien sein:
- Fakten: keine Aussage außerhalb der freigegebenen Quelle.
- Vollständigkeit: Frage beantwortet oder als offen markiert.
- Grenzen: keine Preis-, Liefer- oder Rechtszusage erfunden.
- Eskalation: Beschwerde oder unklare Lage weitergeben.
- Format: lesbarer Entwurf mit passender Anrede.
„Klingt gut“ ist für eine wiederholbare Prüfung zu ungenau.
Versionen vergleichen
Speichern Sie Prompt, Modell- oder Toolbezeichnung, Datum und Ausgabe. Nach Änderungen führen Sie dieselben Fälle erneut aus. OpenAI Evals dokumentiert Evaluationsansätze; Anthropic empfiehlt konkrete Erfolgskriterien. Google Structured Output beschreibt technische Formatgrenzen. Gültiges JSON sagt noch nichts darüber, ob Fakten stimmen.
Automatische Checks eignen sich für Pflichtfelder und Formate. Fachliche Richtigkeit, Ton und Eskalation brauchen menschliche Stichproben. Ein falscher interner Themenvorschlag ist anders zu behandeln als eine externe Zusage.
Abbruchregeln gehören zum Pilot
Legen Sie vorher fest, welche Fehler nicht akzeptabel sind, wer prüft, wie korrigiert wird und wann manuell weitergearbeitet wird. Sind Kriterien nicht messbar, sollte zuerst der Prozess geklärt werden. Mehr unter AI BUSINESS und AI TOOLS.
Eine kleine Rubrik verhindert Scheingenauigkeit
Nutzen Sie eine einfache Skala, etwa 0 = verfehlt, 1 = teilweise erfüllt, 2 = erfüllt. Legen Sie zwingende Kriterien fest: Eine erfundene Preiszusage darf nicht durch guten Ton ausgeglichen werden. Dokumentieren Sie Prüfer, Quelle und strittige Fälle; trennen Sie fachliche Qualität von Antwortzeit und Kosten.
Eine Testtabelle statt losem Prompt-Archiv
Halten Sie Eingabe, erwartetes Verhalten, verbotene Ausgabe, Referenzquelle und Ergebnis zusammen fest. Ein Fall kann verlangen: „Keine Lieferfrist nennen, wenn die freigegebene Quelle keine enthält; zur Prüfung übergeben.“ Ergänzen Sie einen veralteten Quellenstand und erwarten Sie, dass der Konflikt sichtbar wird.
Versionieren Sie Prompt, Modell, Werkzeuge, Wissensbestand und Datum. Verwenden Sie anonymisierte Beispiele und führen Sie dieselben Fälle nach Änderungen erneut aus. Kleine Tests erkennen nicht jeden Fehler und belegen keine allgemeine Zuverlässigkeit; sie machen Unterschiede nachvollziehbar und zeigen, welche Grenzfälle weiter geprüft werden müssen.
Quellen und Aktualität
Redaktioneller Stand: 14. November 2026. Herstellerdokumentation ist keine unabhängige Qualitätszertifizierung.