Ein Modellwechsel funktioniert bei Standardfragen und verschlechtert Antworten bei Retouren mit Teilmengen. Die Gesamtbewertung bleibt gut, doch der geschäftlich wichtige Fall geht unter. Eine Freigabe sollte deshalb auf einzelne Fehlerklassen schauen.
Eine kurze Prüfakte anlegen
Notieren Sie für die alte Version Modellkennung, Anweisungen, Datenstand und Ausgabeformat. Nehmen Sie Routinefälle und Beispiele mit unvollständigen Angaben auf. Definieren Sie Fälle, die nie automatisch weiterlaufen dürfen, etwa Widersprüche in einer Zahlungsfreigabe. Für jeden Fall braucht es eine erwartete Entscheidung oder überprüfbare Fundstelle.
Starten Sie Alt und Neu mit denselben Eingaben. Vergleichen Sie Korrektheit, Ablehnungen, Format und Laufzeit. Prüfen Sie einen Teil wiederholt. Legen Sie vorab fest, welcher Unterschied den Wechsel stoppt. Ein Beispiel: Ein falsch zugeordnetes Bankkonto ist ein Stoppgrund, auch wenn einfache Fragen schneller beantwortet werden.
Rückkehr vor der Umstellung testen
Halten Sie die letzte funktionierende Konfiguration verfügbar und legen Sie fest, wie Ergebnisse eines misslungenen Durchlaufs zurückgehalten werden. Wenn die alte Modellversion beim Anbieter später entfällt, braucht es eine reduzierte Variante oder einen manuellen Weg. Das AI-Risikomanagement des NIST liefert einen Rahmen für Messung und laufendes Management. Finden Sie Werkzeuge für den technischen Vergleich; die fachlichen Freigabekriterien müssen aus Ihrem Betrieb kommen.