Cómo se crean los LLM / Glosario

Transformer

Un transformer es el diseño de red neuronal que hay detrás de casi todos los modelos de lenguaje modernos. Procesa todos los tokens de un texto en paralelo y usa la atención para que compartan información.

El transformer se presentó en un artículo de investigación de 2017 titulado «Attention Is All You Need», al principio para traducir entre idiomas. Su idea clave fue dejar de leer paso a paso y permitir que cada palabra mire a todas las demás a la vez.

Un transformer convierte cada token en un embedding y lo hace subir por una pila de capas idénticas. En cada capa, la atención mezcla información de otros tokens y una parte feed-forward refina cada token. El modelo más grande de GPT-3 apila 96 de estas capas.

Como el trabajo ocurre en paralelo, los transformers se entrenan de forma eficiente en los chips modernos, y eso hizo posibles los modelos muy grandes. El mismo diseño se usa hoy también para imágenes, audio y código.