Kostenloses Modul
Wie Sprachmodelle funktionieren: Transformer von Grund auf
Lernen Sie, wie ein Sprachmodell von Grund auf funktioniert: Tokens, Embeddings, Attention, Transformer-Block, Training und Sampling.
Die Lektionen
Jede Lektion lesen Sie kostenlos vollständig. Mit einem kostenlosen Konto führen Sie die Befehle in einem Lab aus und lösen die Quizze und Aufgaben.
1 · Container-Lab
Tokenisierung und Byte-Pair-Encoding
Ich kann einen kurzen Text mit Paar-Fusionen in Tokens zerlegen.
Lektion lesen2 · Container-Lab
Token-Embeddings und Positionskodierung
Ich kann die Eingabevektoren eines Transformers aus Token-IDs und Positionen bauen.
Lektion lesen3 · Container-Lab
Wie Attention in einem Transformer funktioniert
Ich kann die Ausgabe von Attention für ein Token von Hand berechnen.
Lektion lesen4 · Container-Lab
Das Innere eines Transformer-Blocks
Ich kann ein Token durch die Schritte eines Transformer-Blocks verfolgen.
Lektion lesen5 · Container-Lab
Ein winziges Sprachmodell trainieren
Ich kann ein winziges Modell trainieren, das das nächste Zeichen vorhersagt, und seinen Verlust lesen.
Lektion lesen6 · Container-Lab
Sampling, Temperatur und Top-k
Ich kann das nächste Token mit Greedy-Decoding, Temperatur und Top-k wählen.
Lektion lesen
In einem echten Lab bearbeitet
Jede Lektion dieses Moduls wird in einem Lab bearbeitet, das nur für Sie startet. Die genutzten Labs:
Sie unterrichten eine Gruppe? Weisen Sie dieses Modul Ihren Studierenden zu, mit Handbuch für Lehrende, automatisch geprüften Aufgaben und einem Lab für jede Person.