Glosario de IA
Cuantización
La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para que ocupe menos memoria y vaya más rápido con una pequeña pérdida de calidad.
Un modelo de 7.000 millones de parámetros a 16 bits necesita unos 14 GB solo para los pesos. A 4 bits, unos 4 GB, que caben en un portátil corriente.
La pérdida suele ser pequeña a 8 bits y notable en algunas tareas a 4 bits o menos. Mídela en tu propia tarea en lugar de fiarte de una clasificación general.
Los pesos no son toda la memoria: el contexto, guardado en una caché de claves y valores, crece con cada token, así que un prompt largo puede agotar la memoria de un modelo cuantizado.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.