¿De dónde salen los datos de entrenamiento de los grandes modelos de lenguaje?
Los grandes modelos de lenguaje aprenden de una mezcla enorme de texto: páginas web públicas recogidas por rastreadores, libros, artículos científicos, código abierto, enciclopedias y foros, más datos con licencia y otros escritos a propósito. Cada fuente enseña algo distinto, de datos a narrar o programar. Los modelos actuales se entrenan con billones de tokens, y la mezcla decide en qué destacan.
▶ Pruébalo
Por qué importa
Un modelo solo puede aprender lo que hay en sus datos. La mezcla de fuentes explica en qué es bueno, qué idiomas maneja bien y qué voces repite.
En 6 minutos sabrás
- Si un modelo flojea en tu idioma o en tu campo, seguramente vio poco texto sobre eso al entrenarse.
- Recuerda que el texto público de la web incluye opiniones y errores, así que un modelo puede repetir ambos.
- Busca la documentación del modelo: quien lo crea de forma responsable describe sus fuentes de datos.
Lo que vas a practicar
¿De qué tubería salió?
Cada fragmento viene de una fuente. Llévalo a la tubería correcta.
- Horario: de lunes a viernes, de 9:00 a 17:00. Estamos junto a la estación. → Páginas web
- Capítulo 3. Llevaba tres días lloviendo cuando Elena llegó al faro. → Libros
- def area(r): return 3.14159 * r * r → Código
- Re: ¿error de disco lleno? A mí me lo arregló borrar la caché, ¡gracias a todos! → Foros
- «Nunca quise irme», susurró, y cerró el viejo diario. → Libros
- for (let i = 0; i < 10; i++) { total += i; } → Código
- P: ¿Regar los cactus cada semana está bien? R: En invierno es demasiado, prueba una vez al mes. → Foros
- 10 trucos fáciles para cultivar tomates en el balcón → Páginas web
¿Qué enseñó cada tubería?
Cada línea tiene el estilo de una fuente. Elige la siguiente palabra y mira la predicción de Vireo. Los porcentajes son ilustrativos.
En un lugar de la ___
- Mancha: 90 % (la más probable)
- ciudad: 3 %
- sierra: 2 %
- bocadillo: 0 %
- otras palabras: 5 %
if user is None:
return ___- None: 55 % (la más probable)
- False: 20 %
- user: 5 %
- hola: 0,1 %
- otras palabras: 20 %
¿A alguien más le pasa esto? EDITO: solucionado, ___
- gracias: 40 % (la más probable)
- era: 20 %
- nunca: 2 %
- otras palabras: 38 %
Abrimos de lunes a ___
- viernes: 70 % (la más probable)
- sábado: 15 %
- domingo: 5 %
- otras palabras: 10 %
Planifica la mezcla de datos de Vireo
Tomás ha esbozado un plan para el próximo entrenamiento. Pon cada línea en la opción que da un modelo mejor.
- Añadir texto en muchos idiomas
- Copiar 1.000 veces la página más popular para que cuente más
- Añadir código público de proyectos de código abierto
- Añadir mensajes privados de la gente
- Añadir libros de texto y artículos científicos con permiso
- Usar texto de una sola web grande
Recuerda
Un modelo solo sabe lo que ha leído. Su mezcla de páginas web, libros, código y conversaciones marca todo lo que hace.
Un modelo es fruto de su mezcla de datos: páginas web, libros, código y conversaciones enseñan cosas distintas.
Datos clave
- Common Crawl, una organización sin ánimo de lucro, archiva miles de millones de páginas web desde 2008 y las ofrece gratis; versiones filtradas alimentan muchos modelos de lenguaje. · Fuente: Common Crawl Foundation
- En la mezcla de entrenamiento de GPT-3, el texto web rastreado y filtrado pesaba cerca del 60 %, las páginas web seleccionadas el 22 %, dos colecciones de libros el 16 % y Wikipedia el 3 %. · Fuente: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- The Pile, un conjunto de datos abierto para entrenar modelos de lenguaje, combinaba 22 fuentes distintas, de artículos científicos a código y foros. · Fuente: Gao et al., EleutherAI, The Pile, 2020
- Llama 3 se preentrenó con más de 15 billones de tokens reunidos de fuentes públicas. · Fuente: Meta, Introducing Meta Llama 3, 2024
Actualizado:
Preguntas frecuentes
¿Con qué datos se entrenan los LLM?
Sobre todo con texto: páginas web públicas, libros, artículos científicos, enciclopedias, código abierto y debates de foros, a menudo junto con datos con licencia y ejemplos escritos por personas a propósito para el entrenamiento.
¿Cuántos datos se usan para entrenar un LLM?
Los modelos actuales se preentrenan con billones de tokens, mucho más texto del que una persona podría leer en muchas vidas. La cantidad exacta depende del modelo.
¿Los LLM se entrenan con libros?
Muchos sí, porque los libros ofrecen textos largos y bien editados. Qué libros pueden usarse y en qué condiciones es un tema de debate y de demandas en varios países.
¿Por qué importa la mezcla de datos?
Un modelo aprende los patrones de lo que lee. Más código lo hace mejor programando, más idiomas lo hacen más multilingüe y unos datos sesgados lo hacen sesgado.
Términos relacionados