Glosario de IA
LoRA (adaptación de bajo rango)
LoRA es una forma de ajustar un modelo entrenando matrices pequeñas junto a sus pesos congelados, lo que necesita mucha menos memoria que reentrenarlo todo.
En lugar de cambiar una matriz de pesos enorme, LoRA aprende dos matrices finas cuyo producto se le suma. Solo se entrenan esas, a menudo menos del uno por ciento de los parámetros.
El resultado es un archivo de adaptador pequeño que se pone y se quita, así que un mismo modelo base sirve para varias tareas.
Un adaptador pertenece a su modelo base. Aplicado a otra base, aunque sea una versión más nueva de la misma familia, no funciona como se entrenó.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.