Módulo gratuito
Cómo funcionan los modelos de lenguaje: transformers desde cero
Aprende cómo funciona un modelo de lenguaje desde cero: tokens, embeddings, atención, bloque transformer, entrenamiento y muestreo.
Las lecciones
Cada lección se lee completa y gratis. Crea una cuenta gratuita para ejecutar sus comandos en un laboratorio y hacer sus cuestionarios y tareas.
1 · Laboratorio de contenedores
Tokenización y codificación por pares de bytes
Puedo cortar un texto corto en tokens fusionando pares.
Leer la lección2 · Laboratorio de contenedores
Embeddings de tokens y codificación de posición
Puedo construir los vectores de entrada de un transformer a partir de los identificadores y las posiciones.
Leer la lección3 · Laboratorio de contenedores
Cómo funciona la atención en un transformer
Puedo calcular a mano la salida de la atención para un token.
Leer la lección4 · Laboratorio de contenedores
Dentro de un bloque transformer
Puedo seguir un token a través de los pasos de un bloque transformer.
Leer la lección5 · Laboratorio de contenedores
Entrenar un modelo de lenguaje muy pequeño
Puedo entrenar un modelo muy pequeño para predecir el carácter siguiente y leer su pérdida.
Leer la lección6 · Laboratorio de contenedores
Muestreo, temperatura y top-k
Puedo elegir el token siguiente con decodificación voraz, temperatura y top-k.
Leer la lección
Con un laboratorio real
Cada lección de este módulo se practica en un laboratorio que se inicia solo para ti. Los laboratorios que usa:
¿Enseñas a una clase? Asigna este módulo a tus alumnos con guía del profesor, tareas con corrección automática y un laboratorio para cada alumno.