モデルに画像と文書を送る：AI機能のアーキテクチャと提供のレッスン

入力が文章でないとき

マルチモーダル入力とは、リクエストに文章のほか、画像や文書が入ることです。モデルはそれを読めますが、サービスは大きなファイルを運び、種類を確かめなければならず、画像やページごとの料金もかかります。リクエストは、数百バイトから数メガバイトに増えることがあります。

ユーザーがレシートを撮り、十ページの契約書も送ります。一つのリクエストに、パートが三つあり、断られる理由も三通りあります。

このレッスンのゴール

メモ

私は、入力が画像や文書になると何が変わるかを説明できます。

キーワード

ことば	いみ	れい
パート	リクエストの一部分。文章、画像、文書のどれか
メディアタイプ	ファイルの形式を表す札	image/png
ペイロードの大きさ	リクエストが運ぶバイト数
ページ数の上限	文書に許すページ数の最大
単価	画像一枚、またはページ一枚の費用

学生が入力するセルは、このプレビューでは空白です。

ラボはテキストだけです

注意

ラボのモデルのエンドポイントは、テキストを受け取ります。Run から画像や文書は送れません。このレッスンは、レッスン用に作った記録済みのリクエストの形から始め、コードで確かめます。

リクエストは、パートのリストになる

文章だけの入力は、一つの文字列です。マルチモーダルの入力は、パートのリストで、それぞれが種類とデータを持ちます。ファイルのデータはバイトで運ばれ、多くは文字に直されるので、三分の一ほど大きくなります。

下は、このレッスンのために作った、記録済みの形です。本物の提供元は、それぞれ別の項目名を使います。必ず、その説明書を読んでください。

記録済みのリクエストの形

コード: node

{ "messages": [{ "role": "user", "content": [
    { "type": "text", "text": "このレシートには何が書かれていますか。" },
    { "type": "image", "media": "image/png", "data": "<base64、412000 バイト>" },
    { "type": "document", "media": "application/pdf", "data": "<base64、880000 バイト>" }
] }] }

送る前に、パートごとに確かめる

自分で決めた規則で、パートごとに確かめます。メディアタイプ、バイト数、ページ数です。合計も確かめます。画像が何枚か、全部で何バイトかです。

早めに、はっきりした理由をつけて断ります。提供元で失敗したリクエストは、アップロードの手間と、ときにはお金を、すでに使っています。

例: 上限と価格

パート	中身	確認	費用(単位)
1	テキスト、1800 文字	ここでは上限なし	2
2	画像、png、412000 バイト	許可、5 MB 未満	4
3	画像、gif、90000 バイト	gif はリストにない	4
4	文書、24 ページ	20 ページの上限を超える	48

学生が入力するセルは、このプレビューでは空白です。

費用は、画像とページごと

文章はトークンごとに払います。画像やページは、決まった額か、大きさで決まるトークン数で払うことが多いです。呼び出しの前に足し合わせておくと、予算の規則で高いリクエストを断れます。

できるなら、送る量を減らします。画像を小さくするか、必要なページだけを送ります。

よくある間違い

注意

ファイルの名前や拡張子を信じてしまう人は多いです。名前が png でも、中身は違うことがあります。サーバー側でバイトから種類を確かめ、大きさの上限も守ります。拡張子は手がかりで、事実ではありません。