Kostenloses Modul
Wie die Inferenz eines Sprachmodells funktioniert, auf einer CPU
Lernen Sie LLM-Inferenz praxisnah: Prefill und Decode, KV-Cache, Continuous Batching, spekulatives Decoding, int8 und Latenz.
Die Lektionen
Jede Lektion ist kostenlos und interaktiv. Drücken Sie „Lab starten“, um ihre Befehle in einem Live-Lab auszuführen und ihre Quizze und Aufgaben zu bearbeiten, ganz ohne Konto.
1 · Container-Lab
Prefill und Decode bei der LLM-Inferenz
Ich kann erklären, warum Decode durch das Lesen des Speichers begrenzt ist und Prefill nicht.
Lektion lesen2 · Container-Lab
Wie ein KV-Cache das Erzeugen beschleunigt
Ich kann berechnen, wie viel Arbeit ein KV-Cache spart und wie viel Speicher er kostet.
Lektion lesen3 · Container-Lab
Batching und Continuous Batching
Ich kann Anfragen mit statischem und kontinuierlichem Batching einplanen und beide vergleichen.
Lektion lesen4 · Container-Lab
Wie spekulatives Decoding funktioniert
Ich kann entscheiden, welche Entwurfstoken ein Zielmodell beim spekulativen Decoding behält.
Lektion lesen5 · Container-Lab
Int8-Quantisierung von Hand
Ich kann eine Zeile Gewichte auf int8 quantisieren und den Fehler messen.
Lektion lesen6 · Container-Lab
Latenz und Durchsatz eines LLM messen
Ich kann aus Token-Zeiten die Zeit bis zum ersten Token und die Token pro Sekunde berechnen.
Lektion lesen
In einem echten Lab bearbeitet
Jede Lektion dieses Moduls wird in einem Lab bearbeitet, das nur für Sie startet. Die genutzten Labs:
Sie unterrichten eine Gruppe? Weisen Sie dieses Modul Ihren Studierenden zu, mit Handbuch für Lehrende, automatisch geprüften Aufgaben und einem Lab für jede Person.