Envoyer images et documents à un modèle

Quand l’entrée n’est pas du texte

Une entrée multimodale est une requête qui contient des images ou des documents en plus des mots. Le modèle les lit, mais votre service transporte désormais de gros fichiers, vérifie leur type et paie à l’image ou à la page. C’est important, car une requête de quelques centaines d’octets peut peser plusieurs mégaoctets.

Un utilisateur photographie un ticket de caisse et envoie un contrat de dix pages. Une seule requête a maintenant trois parties et trois façons d’être refusée.

À la fin de cette leçon

Remarque

Je peux dire ce qui change quand l’entrée est une image ou un document.

Mots-clés

Mot	Ce que ça veut dire	Exemple
Partie	un morceau de la requête : texte, image ou document
Type de média	l’étiquette du format d’un fichier	image/png
Taille de la charge	les octets qu’une requête transporte
Limite de pages	le plus grand nombre de pages d’un document
Prix unitaire	le coût d’une image ou d’une page

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Le labo ne prend que du texte

Attention

Le point d’accès au modèle du labo accepte du texte. Un Run ne peut pas y envoyer une image ni un document. Cette leçon part d’une forme de requête enregistrée, inventée pour la leçon, et la vérifie avec du code.

Une requête devient une liste de parties

Une entrée texte est une seule chaîne. Une entrée multimodale est une liste de parties, chacune avec un type et ses données. Les données d’un fichier voyagent en octets, souvent encodés en texte, ce qui les alourdit d’un tiers environ.

Voici une forme enregistrée, inventée pour cette leçon. Chaque vrai fournisseur a ses propres noms de champs : lisez toujours sa documentation.

Une forme de requête enregistrée

Code: node

{ "messages": [{ "role": "user", "content": [
    { "type": "text", "text": "Que montre ce ticket de caisse ?" },
    { "type": "image", "media": "image/png", "data": "<base64, 412000 octets>" },
    { "type": "document", "media": "application/pdf", "data": "<base64, 880000 octets>" }
] }] }

Vérifiez chaque partie avant d’envoyer

Vérifiez chaque partie selon une règle que vous fixez : le type de média, la taille en octets et le nombre de pages. Vérifiez aussi les totaux : combien d’images, combien d’octets en tout.

Refusez tôt, avec une raison claire. Une requête qui échoue chez le fournisseur vous a déjà coûté l’envoi, et peut-être de l’argent.

Exemple travaillé : limites et prix

Partie	Ce que c’est	Vérification	Coût en unités
1	texte, 1800 caractères	aucune limite ici	2
2	image, png, 412000 octets	permise, sous 5 Mo	4
3	image, gif, 90000 octets	gif n’est pas dans la liste	4
4	document, 24 pages	au-dessus de la limite de 20 pages	48

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Un coût par image et par page

Le texte se paie au jeton. Une image ou une page se paie souvent un montant fixe, ou un nombre de jetons selon sa taille. Additionnez les parties avant l’appel, pour qu’une règle de budget puisse refuser une requête coûteuse.

Quand c’est possible, envoyez moins : réduisez la taille de l’image ou n’envoyez que les pages utiles.

Une erreur fréquente

Attention

Beaucoup font confiance au nom ou à l’extension du fichier. Un nom peut dire png sur un fichier qui n’en est pas un. Vérifiez le type d’après les octets, côté serveur, et gardez aussi les limites de taille. L’extension est un indice, pas un fait.