Bilder und Dokumente an ein Modell senden

Wenn die Eingabe kein Text ist

Multimodale Eingabe heißt: Eine Anfrage enthält neben Wörtern auch Bilder oder Dokumente. Das Modell liest sie, aber Ihr Dienst trägt nun große Dateien, prüft ihren Typ und zahlt pro Bild oder Seite. Das ist wichtig, weil aus einer Anfrage von einigen hundert Bytes viele Megabyte werden können.

Eine Nutzerin fotografiert einen Kassenbon und lädt einen Vertrag mit zehn Seiten hoch. Eine einzige Anfrage hat nun drei Teile und drei Wege, abgelehnt zu werden.

Am Ende dieser Lektion

Notiz

Ich kann sagen, was sich ändert, wenn die Eingabe ein Bild oder ein Dokument ist.

Schlüsselwörter

Begriff	Was er bedeutet	Beispiel
Teil	ein Stück der Anfrage: Text, Bild oder Dokument
Medientyp	die Bezeichnung für das Format einer Datei	image/png
Nutzlastgröße	die Bytes, die eine Anfrage trägt
Seitenlimit	die höchste Seitenzahl eines Dokuments
Stückpreis	die Kosten für ein Bild oder eine Seite

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Das Labor nimmt nur Text

Warnung

Der Modell-Zugangspunkt des Labors akzeptiert Text. Ein Run kann ihm kein Bild und kein Dokument schicken. Diese Lektion geht von einer aufgezeichneten Anfrageform aus, die für die Lektion erfunden wurde, und prüft sie mit Code.

Eine Anfrage wird zu einer Liste von Teilen

Eine Texteingabe ist eine einzige Zeichenkette. Eine multimodale Eingabe ist eine Liste von Teilen, jeder mit Typ und Daten. Die Daten einer Datei reisen als Bytes, oft als Text kodiert, was sie etwa ein Drittel größer macht.

Unten steht eine aufgezeichnete Form, erfunden für diese Lektion. Jeder echte Anbieter hat eigene Feldnamen: Lesen Sie immer seine Dokumentation.

Eine aufgezeichnete Anfrageform

Code: node

{ "messages": [{ "role": "user", "content": [
    { "type": "text", "text": "Was steht auf diesem Kassenbon?" },
    { "type": "image", "media": "image/png", "data": "<base64, 412000 Bytes>" },
    { "type": "document", "media": "application/pdf", "data": "<base64, 880000 Bytes>" }
] }] }

Jeden Teil vor dem Senden prüfen

Prüfen Sie jeden Teil gegen eine Regel, die Sie festlegen: den Medientyp, die Größe in Bytes und die Seitenzahl. Prüfen Sie auch die Summen: wie viele Bilder, wie viele Bytes insgesamt.

Lehnen Sie früh ab, mit einem klaren Grund. Eine Anfrage, die beim Anbieter scheitert, hat Sie schon den Upload und vielleicht Geld gekostet.

Beispiel: Limits und ein Preis

Teil	Was es ist	Prüfung	Kosten in Einheiten
1	Text, 1800 Zeichen	hier kein Limit	2
2	Bild, png, 412000 Bytes	erlaubt, unter 5 MB	4
3	Bild, gif, 90000 Bytes	gif steht nicht auf der Liste	4
4	Dokument, 24 Seiten	über dem Limit von 20 Seiten	48

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Kosten entstehen pro Bild und pro Seite

Text wird pro Token bezahlt. Ein Bild oder eine Seite wird meist mit einem festen Betrag oder einer Tokenzahl nach Größe bezahlt. Addieren Sie die Teile vor dem Aufruf, damit eine Budgetregel eine teure Anfrage ablehnen kann.

Senden Sie wenn möglich weniger: Verkleinern Sie das Bild oder senden Sie nur die wichtigen Seiten.

Ein häufiger Fehler

Warnung

Viele vertrauen dem Dateinamen oder der Endung. Ein Name kann png sagen bei einer Datei, die keines ist. Prüfen Sie den Typ an den Bytes, auf dem Server, und behalten Sie auch die Größenlimits. Die Endung ist ein Hinweis, keine Tatsache.