Cómo se crean los LLM / Glosario

Glosario de Cómo se crean los LLM

Definiciones sencillas de los términos de Cómo se crean los LLM, cada una enlazada a una lección visual corta.

Ajuste fino (fine-tuning): El ajuste fino consiste en entrenar un poco más un modelo ya preentrenado con un conjunto de ejemplos más pequeño y específico, para que mejore en una tarea o se comporte de una forma concreta.
Alineamiento de la IA: El alineamiento de la IA es el trabajo de lograr que el comportamiento de un sistema de IA encaje con lo que las personas pretenden y valoran: útil en las peticiones cotidianas, honesto sobre lo que sabe y cuidadoso para evitar daños.
Benchmark de IA: Un benchmark de IA es un conjunto fijo de tareas con respuestas comprobables, como preguntas de examen, problemas de matemáticas o tareas de programación, que sirve para medir y comparar el rendimiento de los modelos.
Cadena de pensamiento (chain of thought): La cadena de pensamiento es el razonamiento paso a paso que un modelo de lenguaje escribe antes de su respuesta final. Los modelos de razonamiento se entrenan para producir cadenas largas y resolver problemas más difíciles.
Cuantización: La cuantización hace un modelo de IA más pequeño y rápido guardando cada uno de sus pesos con menos bits, por ejemplo 4 en lugar de 16, a cambio de un pequeño error de redondeo.
Deduplicación de datos: La deduplicación de datos consiste en encontrar y eliminar las copias repetidas de un mismo texto en un conjunto de datos, para que un modelo de lenguaje no vea el mismo pasaje una y otra vez al entrenarse.
Descenso de gradiente: El descenso de gradiente es el método con el que se entrenan casi todos los modelos de IA: calcula en qué dirección baja la pérdida para cada peso y mueve todos los pesos un pequeño paso hacia allí, una y otra vez.
Destilación de conocimiento: La destilación de conocimiento entrena un modelo «alumno» pequeño para copiar las salidas de un modelo «maestro» grande, de modo que el alumno conserva buena parte de la habilidad del maestro con una fracción de su tamaño.
Embedding (vector de palabra): Un embedding es una lista de números que representa una palabra, un token, una frase o una imagen como un punto en un espacio de significados, de modo que lo que significa algo parecido queda cerca.
Ficha de modelo (model card): Una ficha de modelo es un documento público y breve que acompaña a un modelo de IA, como una etiqueta nutricional. Dice para qué sirve el modelo, cómo se entrenó y se probó, y cuáles son sus límites y riesgos conocidos.
Función de pérdida: Una función de pérdida es la fórmula que mide cuánto se ha equivocado la predicción de un modelo. El entrenamiento intenta que ese número, la pérdida, sea lo más pequeño posible.
Leyes de escalado: Las leyes de escalado son patrones que muestran que la pérdida de un modelo de lenguaje baja de forma suave y predecible al añadir parámetros, datos de entrenamiento y cómputo. Los laboratorios las usan para decidir qué tamaño construir.
Llamada a herramientas (function calling): La llamada a herramientas ocurre cuando un modelo de lenguaje escribe una petición estructurada para usar una herramienta externa, como un buscador, una calculadora o un calendario, y el software que lo rodea la ejecuta y le devuelve el resultado.
Mecanismo de atención: El mecanismo de atención es la parte de un transformer que permite a cada token valorar cuánto le importa cada uno de los demás y luego absorber una mezcla de su información según esos pesos.
Modelo base: Un modelo base es un modelo de lenguaje recién salido del preentrenamiento. Continúa texto en lugar de seguir instrucciones, así que necesita más entrenamiento antes de funcionar como asistente.
Modelo de recompensa: Un modelo de recompensa es un modelo de IA aparte que puntúa respuestas como lo harían los evaluadores humanos. Se entrena con comparaciones humanas y luego se usa para guiar a un modelo de lenguaje hacia respuestas mejores.
Parámetros (pesos del modelo): Los parámetros, también llamados pesos, son los números ajustables de un modelo de IA. El entrenamiento los afina para que sus predicciones mejoren, y entre todos guardan lo que el modelo ha aprendido.
Preentrenamiento (pretraining): El preentrenamiento es la primera y mayor fase de la creación de un modelo de lenguaje: lee una cantidad enorme de texto y aprende prediciendo el siguiente token, una y otra vez, sin etiquetas humanas.
Rastreador web (crawler): Un rastreador web es un programa que visita páginas automáticamente, guarda su contenido y sigue sus enlaces para encontrar más. Los rastreadores reúnen buena parte del texto con el que se entrenan los modelos de lenguaje.
Red teaming: El red teaming consiste en atacar a propósito tu propio sistema de IA antes de lanzarlo, intentando que se comporte mal para encontrar y corregir sus puntos débiles antes de que lleguen a los usuarios reales.
RLHF (aprendizaje por refuerzo con feedback humano): RLHF, aprendizaje por refuerzo a partir de feedback humano, es un método de entrenamiento que enseña a un modelo qué respuestas prefieren las personas, usando muchas comparaciones humanas entre pares de respuestas.
robots.txt: robots.txt es un pequeño archivo de texto de un sitio web que indica a los rastreadores qué páginas pueden visitar y cuáles no. Los propietarios pueden usarlo para pedir a los rastreadores de IA que no recojan su contenido.
Temperatura (IA): La temperatura es un ajuste que controla lo predecible o variado que es el texto de un modelo de lenguaje. Con temperatura baja se ciñe a los tokens más probables; con temperatura alta aparecen más a menudo los menos probables.
Tokenizador: Un tokenizador es la herramienta que corta el texto en tokens, los trozos que lee un modelo de lenguaje, y convierte cada trozo en un número. También vuelve a convertir en texto los números que produce el modelo.
Transformer: Un transformer es el diseño de red neuronal que hay detrás de casi todos los modelos de lenguaje modernos. Procesa todos los tokens de un texto en paralelo y usa la atención para que compartan información.
Ventana de contexto: La ventana de contexto es la cantidad máxima de texto, contada en tokens, que un modelo de lenguaje puede tener en cuenta a la vez, incluidos tus mensajes, sus respuestas, los archivos que pegas y las instrucciones ocultas.