Saltar al contenido
ES

Lección 3 de 6 · 6 min · +100 XP

¿Cómo se hace un gran modelo de lenguaje lo bastante pequeño para un móvil?

Dos trucos principales encogen un modelo de lenguaje. La cuantización guarda cada uno de sus miles de millones de pesos con menos bits, por ejemplo 4 en vez de 16, así que el archivo se vuelve varias veces más pequeño y rápido con poca pérdida de calidad, hasta que el redondeo se pasa. La destilación entrena un modelo alumno pequeño para copiar las respuestas de un modelo maestro grande.

▶ Pruébalo

Por qué importa

Los modelos más grandes necesitan armarios llenos de chips. Encogerlos es lo que permite usar la IA en un portátil o un móvil, más barata, más rápida e incluso sin conexión, y explica por qué un modelo pequeño puede ser bueno.

En 6 minutos sabrás

  • El tamaño de un modelo es, sobre todo, sus pesos por los bits con que se guarda cada uno.
  • Hasta unos 4 bits, la calidad suele bajar solo un poco; mucho más abajo, las respuestas se rompen.
  • Los modelos pequeños en el dispositivo pueden funcionar sin conexión y dejar tu texto en tu dispositivo.

Lo que vas a practicar

  1. ¿Por qué encoger un modelo?

    Toca cada tarjeta.

    📦 ¿Cuánto ocupa un modelo?
    Un modelo son miles de millones de números llamados pesos. A 16 bits cada uno, un modelo de 7000 millones de pesos ocupa unos 14 GB.
    📱 ¿Por qué usarlo en el dispositivo?
    Funciona sin conexión, responde sin pasar por un servidor y tu texto puede quedarse en tu dispositivo.
    ⚡ ¿Por qué más pequeño es más rápido?
    En cada token, el chip tiene que leer los pesos de la memoria. Menos bytes que leer significa más tokens por segundo.
    💸 ¿Por qué les importa a los laboratorios?
    Atender a millones de personas cuesta chips y electricidad. Un modelo más pequeño que responde casi igual de bien sale mucho más barato.

  2. Encoge a Vireo para un móvil

    Baja la precisión y mira los pesos, el tamaño y la calidad. Envíalo cuando quepa y siga funcionando. Tamaños, velocidades y notas son ilustrativos.

    Vireo · 7B

    • 32 bits: 28 GB · 2 tok/s · Calidad 100% · La capital de Australia es Canberra.
    • 16 bits: 14 GB · 5 tok/s · Calidad 100% · La capital de Australia es Canberra.
    • 8 bits: 7 GB · 9 tok/s · Calidad 99% · La capital de Australia es Canberra.
    • 4 bits: 3,5 GB · 16 tok/s · Calidad 96% · La capital australiana es Canberra.
    • 2 bits: 1,75 GB · 21 tok/s · Calidad 38% · La la capital de Austral es es Sidberra berra

    Vireo Mini · 1B

    • 32 bits: 4 GB · 12 tok/s · Calidad 89% · Canberra es la capital de Australia.
    • 16 bits: 2 GB · 24 tok/s · Calidad 89% · Canberra es la capital de Australia.
    • 8 bits: 1 GB · 44 tok/s · Calidad 88% · Canberra es la capital de Australia.
    • 4 bits: 0,5 GB · 70 tok/s · Calidad 85% · Canberra es la capital australiana.
    • 2 bits: 0,25 GB · 84 tok/s · Calidad 31% · Canberra la la de capital Aus Aus

    1. Haz que Vireo quepa en los 4 GB libres del móvil, con una calidad del 90 % o más.

      ✓ 4 bits por peso: una octava parte del tamaño original y casi igual de bueno. Por eso los modelos de 4 bits son tan populares en portátiles y móviles.

    2. Incluso a 2 bits, el modelo 7B ocupa 1,75 GB, y está roto. ¿Cómo consigues un modelo mucho más pequeño que siga respondiendo bien?

      • ✓ Entrenar un alumno pequeño para copiar las respuestas del modelo grande: Eso es la destilación. El alumno aprende de las probabilidades completas del maestro para cada palabra, no solo de acierto o fallo, así que aprende mucho con poco.
      • ✗ Borrar al azar la mayoría de las capas del modelo grande: Cortar capas al azar rompe lo que aprendió el modelo. La destilación conserva el conocimiento enseñando a propósito a un modelo más pequeño.
      • ✗ Entrenar desde cero un modelo pequeño con muy pocos datos: Un modelo pequeño entrenado solo y con pocos datos aprende mucho menos. Copiar las respuestas de un gran maestro le da ventaja.

      Un móvil más barato solo tiene 0,8 GB libres. Envía el alumno con una calidad del 80 % o más.

      ✓ Destilación y después cuantización: un modelo que empezó en 28 GB ahora responde bien en medio gigabyte. Los laboratorios combinan los dos trucos constantemente.

  3. ¿Qué truco es?

    ¿Es cuantización, destilación o hace más grande el modelo?

    • Guardar cada peso con 4 bits en vez de 16 → Cuantización
    • Un modelo 1B entrenado con las respuestas de uno de 70B → Destilación
    • Redondear 0,73914 a 0,74 en cada peso → Cuantización
    • Añadir el doble de capas → Lo agranda
    • Copiar las probabilidades del maestro para cada palabra siguiente → Destilación
    • Entrenar con diez veces más texto y más pesos → Lo agranda

Recuerda

La cuantización redondea cada peso a menos bits; la destilación enseña a un modelo pequeño a copiar a uno grande. Las dos hacen que la IA quepa en dispositivos más pequeños.

Redondear los pesos a menos bits encoge mucho un modelo con poca pérdida, hasta que se pasa. Un modelo alumno puede aprender de un maestro.

Datos clave

  • La destilación de conocimiento, que entrena un modelo pequeño con las salidas suavizadas de uno grande, se popularizó en un artículo de 2015. · Fuente: Hinton, Vinyals and Dean, Distilling the Knowledge in a Neural Network, Google, 2015
  • DistilBERT era un 40 % más pequeño y un 60 % más rápido que el modelo BERT del que aprendió, y conservaba el 97 % de su comprensión del lenguaje. · Fuente: Sanh et al., DistilBERT, Hugging Face, 2019
  • Guardar los pesos en 8 bits permitió a unos investigadores ejecutar modelos de hasta 175 000 millones de parámetros sin perder rendimiento. · Fuente: Dettmers et al., LLM.int8(), 2022
  • Con pesos de 4 bits, unos investigadores ajustaron un modelo de 65 000 millones de parámetros en una sola tarjeta gráfica de 48 GB. · Fuente: Dettmers et al., QLoRA, 2023
  • Un modelo de 7000 millones de pesos necesita unos 14 GB a 16 bits por peso, y unos 3,5 GB a 4 bits.

Actualizado:

Preguntas frecuentes

¿Qué es la cuantización en los LLM?

La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en vez de 16. El modelo se vuelve varias veces más pequeño y rápido, normalmente con solo una pequeña pérdida de calidad.

¿Qué es la destilación de modelos?

La destilación entrena un modelo alumno pequeño para imitar las salidas de un gran modelo maestro, incluida la probabilidad que da a cada posible palabra siguiente. El alumno acaba siendo mucho mejor que un modelo pequeño entrenado por su cuenta.

¿Se puede usar un LLM en el móvil?

Sí. Los modelos pequeños, de unos pocos miles de millones de pesos o menos y a menudo cuantizados a 4 bits, funcionan en móviles y portátiles modernos, incluso sin conexión a internet.

¿La cuantización empeora el modelo?

Un poco. Hasta unos 8 o 4 bits la pérdida suele ser pequeña, pero con muy poca precisión, como 2 bits, los errores de redondeo se acumulan y las respuestas pueden romperse.

Términos relacionados