← Zurück zu AI MEDIA

KI-Modelle & Forschung

Multimodale KI mit Belegen einsetzen

So prüfen Sie getrennt, was ein Assistent aus einem Bild, dem zugehörigen Text und beiden Quellen zusammen entnimmt.

Ein Kundendienst erhält ein Foto eines Ersatzteils und eine E-Mail mit einer Artikelnummer. Ein Modell soll beides einem vorhandenen Vorgang zuordnen. Das Foto allein könnte mehrere Varianten zeigen, die E-Mail kann einen Tippfehler enthalten. Geben Sie deshalb vor der Anfrage vor, welche Quelle für welche Angabe maßgeblich ist.

Drei Durchläufe mit derselben Frage

Fragen Sie zuerst nur anhand des Fotos nach sichtbaren Merkmalen. Eine brauchbare Antwort nennt Steckerform oder die lesbaren Zeichen auf dem Typenschild und kennzeichnet unsichtbare Details als offen. Geben Sie im zweiten Versuch nur den E-Mail-Text und lassen Sie Nummer und Bestellreferenz wortgetreu wiedergeben. Erst im dritten Durchlauf darf das Modell beide Ergebnisse vergleichen. Fordern Sie je Feld eine Quellenangabe wie „Foto“ oder „Kundentext“ und eine Kennzeichnung bei Widerspruch.

Setzen Sie einen zweiten Test mit teilweise verdecktem Typenschild an. Das Modell darf die fehlende Nummer nicht aus dem Bild ergänzen. Kleine Schrift und schlechte Beleuchtung gehören ins Testset, denn Dateianhänge mit hoher Auflösung garantieren keine zuverlässige Detailerkennung.

Die nächste Aktion begrenzen

Freigabeziel ist eine geordnete Prüfansicht. Ein Mensch vergleicht die Artikelnummer mit dem Bestand, bevor ein Teil bestellt oder zugesagt wird. Die Dokumentation von Google beschreibt die Übergabe von Bildern an entsprechend unterstützte Modelle. Ton, Video und PDFs haben je nach Produkt eigene Eingabegrenzen. Prüfen Sie die passende Schnittstelle für jedes Medium. Im Katalog können Sie Assistenten für die Vorprüfung einordnen.

Quellen