Ein Team prüft Lieferbedingungen. Der einfache Fall fragt nach einem Termin aus einer Tabelle. Der schwierige Fall verlangt, mehrere Ausnahmen und Anhänge gegeneinander abzuwägen. Ein Modell mit explizitem Denkbudget kann im zweiten Fall mehr Rechenaufwand einsetzen. Die Frage ist, ob daraus in Ihrem Ablauf weniger Korrekturen entstehen.
Nach Fällen messen
Legen Sie je zehn Routine- und Ausnahmefälle an. Halten Sie die erwartete Antwort und die relevanten Fundstellen vor dem Test fest. Senden Sie dieselben Eingaben an beide Konfigurationen. Erfassen Sie, wie häufig die Antwort stimmt, wie oft jemand nacharbeiten muss und wie lange die Fachperson bis zur Freigabe braucht. Eine Antwort mit mehreren plausiblen Absätzen gilt als falsch, wenn sie die entscheidende Ausnahme verpasst.
Ein sinnvolles Ergebnis wäre etwa: Routinefragen lassen sich im normalen Modus gleich gut lösen; schwierige Fälle profitieren in einigen Situationen von einer längeren Verarbeitung. Leiten Sie dann anhand fachlicher Merkmale weiter, zum Beispiel wenn zwei Vertragsabschnitte einander widersprechen. Lassen Sie die Fachperson Grenzfälle ausdrücklich kennzeichnen.
Kosten und Antworten getrennt beurteilen
Die Dokumentation von Anthropic erklärt Denkmodi und die Abhängigkeit von Modell und Schnittstelle. Aus der Länge einer Begründung folgt keine fachliche Richtigkeit. Erfassen Sie tatsächliche Nutzungsdaten der vorgesehenen Konfiguration und etwaige Wiederholungen. Der Vergleich von KI-Werkzeugen hilft bei der Produktauswahl, die Eignung zeigt der eigene Falltest.