Ein KI-Workflow hat drei interne Suchschritte ausgeführt und eine falsche Zusammenfassung abgelegt. Im Log steht nur „Erfolg“. Das Team weiß weder, welche Dokumentversion verwendet wurde, noch bei welchem Schritt die falsche Zuordnung entstand.
Ein Protokoll entlang des Ablaufs
Vergeben Sie pro Anfrage eine Vorgangs-ID. Jeder Schritt erhält einen Namen, Beginn, Ende, Ergebnis und Bezug zum vorherigen Schritt. Erfassen Sie beim Lesen die Dokument-ID und Version. Beim Modellaufruf genügen für einen ersten Betriebsentwurf Modellkennung, Konfiguration und die Information, ob das Antwortformat gültig war. Die eigentliche Antwort bleibt dort, wo sie fachlich gebraucht und verwaltet wird. OpenTelemetry beschreibt zusammengehörige Vorgänge als Trace mit einzelnen Spans.
Testen Sie einen abgebrochenen Lauf. Eine Suche liefert einen Timeout, ein Ersatzlauf startet. Die Prüferin muss unterscheiden können, welche Antwort zum ersten und welche zum zweiten Versuch gehört. Das Protokoll soll außerdem zeigen, ob jemand das Ergebnis freigegeben hat und wie die Freigabe referenziert wird.
Mit weniger Daten anfangen
Verzichten Sie in Betriebslogs auf Nachrichteninhalte, Zugangsdaten und vollständige Dokumente. Wenn zur Fehlersuche ein Beispiel erforderlich ist, ist ein getrennt gespeicherter, freigegebener Testfall oft geeigneter. Legen Sie Verantwortlichkeit, Zugriff und Löschzeitpunkt fest. In AI BUSINESS können Sie gezielt nach der Übergabe eines beobachtbaren Ablaufs fragen.