Cómo se crean los LLM / Glosario

Destilación de conocimiento

La destilación de conocimiento entrena un modelo «alumno» pequeño para copiar las salidas de un modelo «maestro» grande, de modo que el alumno conserva buena parte de la habilidad del maestro con una fracción de su tamaño.

El alumno no aprende solo la respuesta favorita del maestro. Aprende todo su reparto de probabilidades, como «seguramente gato, un poco perro, coche no», que lleva más información que una única respuesta correcta.

La idea se popularizó en un artículo de 2015. Un ejemplo conocido, DistilBERT, era un 40 % más pequeño y un 60 % más rápido que el modelo del que aprendió, y conservaba el 97 % de su comprensión del lenguaje.

Muchos modelos de lenguaje pequeños y rápidos se entrenan hoy en parte con respuestas escritas por modelos más grandes. La destilación suele combinarse con la cuantización para que los modelos quepan en móviles y portátiles.