Como os LLMs são feitos / Glossário

Destilação de conhecimento

Destilação de conhecimento treina um modelo “aluno” pequeno para copiar as saídas de um modelo “professor” grande, para que o aluno mantenha boa parte da habilidade do professor com uma fração do tamanho.

O aluno não aprende só a resposta principal do professor. Ele aprende toda a distribuição de chances do professor, como “provavelmente gato, um pouco parecido com cão, nada de carro”, que carrega mais informação do que uma única resposta certa.

A ideia foi popularizada num artigo de 2015. Um exemplo conhecido, o DistilBERT, era 40% menor e 60% mais rápido que o modelo com que aprendeu, mantendo 97% da sua compreensão de linguagem.

Muitos modelos de linguagem pequenos e rápidos de hoje são treinados em parte com respostas escritas por modelos maiores. A destilação costuma ser combinada com a quantização para caber em celulares e notebooks.