Come nascono gli LLM / Glossario

Modello base

Un modello base è un modello linguistico appena uscito dal pre-addestramento. Continua i testi invece di seguire le istruzioni, quindi ha bisogno di altro addestramento prima di funzionare come assistente.

Fai una domanda a un modello base e potrebbe rispondere con altre domande, perché sul web un elenco di domande è spesso seguito da altre domande. Ha imparato a continuare documenti, non ad aiutare chi scrive.

I modelli base sanno comunque molte cose. GPT-3 ha mostrato che un modello base può svolgere compiti nuovi a partire da pochi esempi messi nel prompt, il cosiddetto few-shot prompting, purché il testo sembri un documento in cui la risposta viene subito dopo.

Molti laboratori rilasciano sia un modello base, su cui ricercatori e sviluppatori possono costruire, sia una versione addestrata a seguire istruzioni per chattare. L’addestramento successivo da assistente usa molti meno dati e soprattutto dà forma al comportamento del modello.