Ein Assistent führt auf Englisch durch einen Dialog und erzielt dort gute Ergebnisse. Im deutschen Test versteht er „nicht vor Freitag“ als Frist bis Freitag. Für den Einsatz zählt die Qualität in der Sprache und Domäne, in der die Entscheidung tatsächlich fällt.
Fälle auf Deutsch entwerfen
Verwenden Sie Texte, die von deutschsprachigen Fachpersonen geprüft sind. Bilden Sie Zusammensetzungen, direkte und indirekte Verneinungen, Datumsformen und regionale Begriffe ab. Nehmen Sie neben formellen Schreiben kurze Notizen auf. Fragen Sie nach den konkreten Schritten und der Textstelle, die die Antwort stützt.
Bewerten Sie Beispielpaare getrennt: „frühestens Freitag“ und „spätestens Freitag“ gehören beide in das Testset. Legen Sie vorab fest, wie eine wortgetreue Fundstelle und eine zulässige Antwort aussehen. Testen Sie Anfragen mit und ohne eindeutigen Zeitpunkt. Ein korrektes „nicht bestimmbar“ ist in letzterem Fall ein Erfolg.
Mehr als Sprachgefühl prüfen
Lassen Sie strittige Fälle von einer zweiten Fachperson beurteilen. Wenn das Team uneinig ist, aktualisieren Sie die Bewertungsregel. Trennen Sie Verständlichkeit von fachlicher Richtigkeit und legen Sie die Fehlertoleranz pro Aufgabentyp fest. Ein technisches Vergleichswerkzeug erleichtert wiederholte Läufe. Die Ergebnisse gelten zunächst für Ihre Fälle und Ihre gewählten Modellstände.