Módulo gratuito
Cómo funciona la inferencia de un LLM, en una CPU
Aprende la inferencia de un LLM con práctica: prefill y decodificación, caché KV, batching continuo, decodificación especulativa, int8 y latencia.
Las lecciones
Cada lección es gratis e interactiva. Pulsa Iniciar laboratorio para ejecutar sus comandos en un laboratorio en vivo y hacer sus cuestionarios y tareas, sin cuenta.
1 · Laboratorio de contenedores
Prefill y decodificación en un LLM
Puedo explicar por qué la decodificación está limitada por la lectura de memoria y el prefill no.
Leer la lección2 · Laboratorio de contenedores
Cómo acelera la generación una caché KV
Puedo calcular cuánto trabajo ahorra una caché KV y cuánta memoria cuesta.
Leer la lección3 · Laboratorio de contenedores
Batching y batching continuo
Puedo planificar peticiones con batching estático y continuo y comparar los dos.
Leer la lección4 · Laboratorio de contenedores
Cómo funciona la decodificación especulativa
Puedo decidir qué tokens del borrador acepta el modelo objetivo en la decodificación especulativa.
Leer la lección5 · Laboratorio de contenedores
Cuantización a int8 a mano
Puedo cuantizar una fila de pesos a int8 y medir el error.
Leer la lección6 · Laboratorio de contenedores
Medir latencia y rendimiento de un LLM
Puedo calcular el tiempo hasta el primer token y los tokens por segundo a partir de los tiempos de cada token.
Leer la lección
Con un laboratorio real
Cada lección de este módulo se practica en un laboratorio que se inicia solo para ti. Los laboratorios que usa:
¿Enseñas a una clase? Asigna este módulo a tus alumnos con guía del profesor, tareas con corrección automática y un laboratorio para cada alumno.