Zwei Modellkarten führen Spitzenergebnisse an. Die erste beruft sich auf Wissensfragen, die zweite auf die Bearbeitung von Code. Die Platzierungen können beide stimmen und trotzdem wenig darüber aussagen, welches Modell Ihre deutschsprachigen Lieferantenmails aufbereitet.
Was steckt in der Zahl?
Lesen Sie zuerst, welche Eingaben und erwarteten Antworten der Test verwendet. MMLU untersucht Fragen aus vielen Wissensgebieten mit vorgegebenen Antwortoptionen. Die Zahl daraus ist kein Maß für korrekte Fundstellen in einem Vertrag. Dokumentieren Sie außerdem Version, Sprache, erlaubte Werkzeuge, Zahl der Durchläufe und Verfahren zur Bewertung. Ein Modell mit Zugriff auf Suchwerkzeuge lässt sich unter anderen Bedingungen schwer mit einer Antwort ohne Werkzeuge vergleichen.
Einen Vergleich in drei Spalten anlegen
Schreiben Sie links die eigene Anforderung, in die Mitte die tatsächlich gemessene Fähigkeit und rechts die offene Frage. Beispiel: „korrekte Reaktion auf widersprüchliche Bestellmengen“ – „Multiple Choice in Wissensgebieten“ – „erkennt das System hier überhaupt einen Konflikt?“. Entscheiden Sie erst danach, welche zwei Modelle einen kleinen Praxistest erhalten.
Wenn sich Ranglisten mit jedem Lauf ändern, notieren Sie die Streuung. Bei ähnlichen Resultaten können Betrieb, Sprachqualität und Nacharbeit die sinnvolleren Kriterien sein. Verwenden Sie AI TOOLS für die Vorauswahl und bauen Sie das Testset aus den eigenen Arbeitsfällen.