← Zurück zu AI MEDIA

KI-Modelle & Forschung

Token und Kontextfenster verstehen

Warum lange Dokumente Probleme machen können und wie Sie für Quellen, Aufgabe und Antwort Platz einplanen.

Ein Lieferant schickt einen langen Anhang. Sie wollen daraus vier Fristen und die jeweiligen Fundstellen herausholen. Bevor Sie den ganzen Vorgang in einen Assistenten laden, lohnt sich eine Frage: Wie viel Text kann das gewählte Modell in genau diesem Produkt verarbeiten?

Was das Modell zählt

Ein Sprachmodell verarbeitet Text als Token, also Einheiten, die aus Zeichen, Wortteilen oder ganzen Wörtern bestehen können. Eigennamen, Tabellen und deutsche Komposita verhalten sich unterschiedlich. Darum funktioniert eine feste Umrechnung von Seiten oder Wörtern in Token schlecht. Verwenden Sie bei wichtigen Tests den Tokenizer des tatsächlich eingesetzten Modells.

Das Kontextfenster ist der Arbeitsbereich für die Modellanfrage. Neben dem Dokument belegen auch Anweisungen, bisherige Nachrichten und je nach Schnittstelle weitere Eingaben Platz. Planen Sie außerdem Platz für die erwartete Ausgabe ein. Dateiupload, Kontextgröße und maximale Antwortlänge sind unterschiedliche Produktgrenzen.

Ein Test mit zwei Anhängen

Wählen Sie ein Dokument, das Sie weitergeben dürfen. Notieren Sie vorab eine Frist aus der Einleitung, eine aus einer Tabelle sowie eine Ausnahme im letzten Anhang. Bitten Sie das Modell um eine Tabelle mit Frist, Bedingung und Fundstelle. Fügen Sie als vierte Frage eine Frist hinzu, die es im Dokument gar nicht gibt. Prüfen Sie jede Zeile am Original.

Bei übersehenen Stellen wiederholen Sie den Versuch mit nummerierten Abschnitten. Lassen Sie je Abschnitt nur belegte Fristen sammeln und führen Sie die Ergebnisse am Ende zusammen. Wenn dieselbe Frist mehrfach vorkommt, überprüfen Sie die Zusammenführung selbst. Angaben zu Ausnahmen und Fristen sind oft auf verschiedene Seiten verteilt.

Das Experiment sagt etwas über Ihre Dokumente und Frageform aus. Es ersetzt keine Prüfung von anderen Sprachversionen oder neuen Dateiformaten. KI-Tools zur Dokumentarbeit finden Sie im Katalog.

Quellen