Für eine interne Liste sollen kurze Betreffzeilen einer von vier Kategorien zugeordnet werden. Das ist ein besserer Einstieg in lokale Modelle als ein Auftrag wie „Bearbeite unser gesamtes Postfach“. Die Aufgabe hat klare Grenzen und lässt sich mit künstlichen Beispielen nachstellen.
Den Vergleich aufsetzen
- Schreiben Sie zwanzig Betreffzeilen und legen Sie die richtige Kategorie fest. Ergänzen Sie absichtlich Fälle wie „Rückfrage“, bei denen eine Zuordnung ohne Kontext nicht sinnvoll ist.
- Nutzen Sie für beide Modelle dieselben Anweisungen und erlauben Sie eine fünfte Ausgabe „unklar“. Prüfen Sie nach jedem Durchlauf, ob das Modell eine erlaubte Kategorie oder freie Erläuterungen ausgegeben hat.
- Erfassen Sie Korrekturen, mittlere Antwortzeit und den beobachteten Speicherbedarf auf dem Gerät, das später eingesetzt würde. Notieren Sie Modellversion, Quantisierung und Kontextgröße.
Eine Quantisierung verwendet für Teile des Modells kompaktere Zahlenformate. Das kann Speicher sparen. Die Auswirkung auf Laufzeit und Ausgabe hängt von Modell, Verfahren und Hardware ab. Vergleichen Sie deshalb Varianten mit Ihren eigenen Fällen, anstatt die Größe der Datei als Qualitätsmaß zu verwenden.
Grenzen des Ergebnisses
Ein Modell, das Betreffzeilen gut sortiert, ist damit noch nicht für deutschsprachige Vertragszusammenfassungen oder komplexe Antworten qualifiziert. Für eine zweite Aufgabe brauchen Sie ein passendes Testset. Bei vertraulichen Daten prüfen Sie zudem, welche Oberfläche, Modelle und Protokolle tatsächlich lokal betrieben werden und wer darauf zugreifen kann.
Im AUFINAI-Katalog finden Sie Laufzeitwerkzeuge. Beginnen Sie mit einem kleinen Test, den Sie wiederholen können, bevor Sie Hardware oder einen dauerhaft laufenden Dienst einplanen.