AI用語集
トークン
トークンとは、言語モデルが読み書きする文章の単位で、単語の一部、短い単語、句読点などにあたります。
モデルがプロンプトを見る前に、トークナイザーが文章をトークンに分け、それぞれを番号に変えます。日本語では一文字が一トークン以上になることも珍しくありません。
料金も上限もトークンで決まります。APIは送ったトークンと受け取ったトークンに課金し、コンテキストウィンドウもトークンで測ります。呼び出す前に数えれば、費用と長さを管理できます。
日本語やコードは英語より多くのトークンを使うことが多いため、英語の文章で見積もった予算では足りなくなることがあります。
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。