クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか？配色と文字を選ぶと、すべてのページに一度で反映されます。

無料モジュール

言語モデルの仕組み: トランスフォーマーを一から作る

言語モデルの仕組みを、NumPy と手計算で一から学びます。トークン化、埋め込みと位置、注意、トランスフォーマーのブロック、次のトークンの学習、サンプリングを、小さな日本語の例で扱います。

6件のレッスン370分のレッスンAI とデータサイエンス

レッスン一覧

どのレッスンも全文を無料で読めます。無料アカウントを作ると、コマンドをラボで実行し、クイズと課題に取り組めます。

  1. 1 · コンテナラボ

    トークン化とバイトペア符号化

    短い文章を、バイトペアの併合でトークンに分けることができる。

    レッスンを読む

  2. 2 · コンテナラボ

    トークンの埋め込みと位置の符号化

    トークンIDと位置から、トランスフォーマーの入力ベクトルを作ることができる。

    レッスンを読む

  3. 3 · コンテナラボ

    トランスフォーマーの注意の仕組み

    1つのトークンについて、注意の出力を手で計算することができる。

    レッスンを読む

  4. 4 · コンテナラボ

    トランスフォーマーのブロックの中身

    1つのトークンが、トランスフォーマーのブロックの手順を通る様子をたどることができる。

    レッスンを読む

  5. 5 · コンテナラボ

    とても小さな言語モデルを学習させる

    次の文字を当てる小さなモデルを学習させ、その損失を読むことができる。

    レッスンを読む

  6. 6 · コンテナラボ

    サンプリング、温度、上位k

    貪欲法、温度、上位kを使って、次のトークンを選ぶことができる。

    レッスンを読む

本物のラボで実習

このモジュールのレッスンは、あなた専用に起動するラボで実習します。使うラボ：

授業で使いますか？このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。