AI用語集
チャンク分割
チャンク分割とは、長い文書を埋め込みの前に短い区切りに分けることで、検索が質問に答える部分だけを返せるようにします。
マニュアル全体の埋め込みは「すべて」を意味してしまい、どの質問ともうまく合いません。数百トークンずつに分ければ、各チャンクが自分の答える質問と合うようになります。
分け方は、文脈から文が切り離されないよう少し重ねて長さで区切る方法と、見出し、段落、コードの関数といった構造で区切る方法があります。
小さすぎると意味を支える文脈を失い、大きすぎるとプロンプトに雑音を持ち込みます。サイズは推測せずに試して決めます。
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。