Vai al contenuto
IT

Lezione 4 di 6 · 6 min · +100 XP

Come genera una risposta un LLM, un token alla volta?

Un modello linguistico scrive la risposta un token alla volta. A ogni passo dà un punteggio a ogni possibile token successivo, trasforma i punteggi in probabilità e ne estrae uno, così i token probabili vincono più spesso. Il token viene aggiunto al testo e il ciclo si ripete fino a un token di stop. La temperatura rende l’estrazione più prudente o più avventurosa.

▶ Prova tu

Perché è importante

Ogni risposta che leggi è stata estratta token per token da un elenco di probabilità. Saperlo spiega perché le risposte arrivano a pezzi, perché cambiano e come una sola manopola cambia il tono.

In 6 minuti saprai

  • I modelli linguistici scrivono dando un punteggio a ogni token successivo, estraendone uno e ripetendo.
  • Risposte diverse alla stessa domanda nascono da estrazioni diverse, non da un cambio d’idea.
  • Per fatti e matematica aiutano impostazioni stabili; per le idee, impostazioni più calde portano varietà.

Cosa eserciterai

  1. Il ciclo di generazione

    Mandi una domanda a Vireo. Metti in ordine i passaggi con cui scrive la risposta.

    1. Il tuo messaggio viene diviso in token
    2. Il modello dà un punteggio a ogni possibile token successivo
    3. I punteggi diventano probabilità, regolate dalla temperatura
    4. Un token viene estratto e aggiunto al testo
    5. Il ciclo si ripete finché non esce un token di stop

  2. Avvia la macchina della generazione

    Premi Token successivo e guarda la ruota estrarre ogni parola. Poi regola le manopole per ogni missione e mettile alla prova. Le probabilità sono inventate per mostrare l’idea.

    1. Una risposta di matematica deve essere affidabile: il numero giusto, ogni singola volta.

      Tu: Quanto fa 7 × 8?

      Token successivo · probabilità

      1. “7 × 8” 70% · “Sette per otto” 22% · “Il risultato” 8%
      2. “fa” 90% · “è” 8% · “dà” 2%
      3. “56” 84% · “54” 7% · “58” 5% · “65” 3% · “viola” 1%
      4. “.” 90% · “!” 10%

      ✓ A bassa temperatura il token in cima vince quasi ogni estrazione, quindi tutte e tre le risposte dicono 56. Per fatti, matematica e codice, freddo è ciò che vuoi.

    2. Brainstorming: il club di robotica vuole tanti nomi di squadra diversi da votare.

      Tu: Suggerisci un nome per la nostra squadra di robotica.

      Token successivo · probabilità

      1. “I” 100%
      2. “Gufi” 50% · “Razzi” 20% · “Maghi” 14% · “Lupi” 10% · “Draghi” 6%
      3. “Elettrici” 55% · “Turbo” 20% · “Digitali” 12% · “d’Acciaio” 9% · “Pixel” 4%

      ✓ Probabilità più «calde» danno una vera chance alle parole meno probabili, così ogni estrazione porta un nome nuovo. Per le idee, la varietà è il punto.

    3. L’inizio di un racconto deve sorprendere chi legge, ma deve comunque avere senso.

      Tu: Inizia un breve racconto su un faro.

      Token successivo · probabilità

      1. “Il guardiano del faro” 100%
      2. “trovò” 48% · “sentì” 26% · “dipinse” 18% · “il” 5% · “mangiò” 3%
      3. “un” 66% · “un vecchio” 20% · “quel” 10% · “glorp” 4%
      4. “messaggio” 40% · “gabbiano” 25% · “baule” 20% · “calzino” 10% · “di di” 5%
      5. “nella nebbia.” 50% · “sotto le scale.” 28% · “in una bottiglia.” 17% · “banana banana” 5%

      ✓ Temperatura alta per la sorpresa, top-k 3 perché a ogni passo possano uscire solo le tre parole più probabili. Creativo, e la coda di assurdità viene tagliata.

  3. Cosa significa per te

    1. Fai a Vireo la stessa domanda due volte e ottieni due formulazioni diverse. Cos’è successo?

      • Ogni token è stato estratto di nuovo dalle probabilità (Risposta)
      • Vireo ha imparato qualcosa di nuovo tra le due domande

    2. Perché una risposta lunga compare sullo schermo parola per parola?

      • Ogni token viene generato solo dopo quello precedente (Risposta)
      • È un’animazione per rendere l’app più simpatica

    3. Uno sviluppatore imposta la temperatura a 0 per uno strumento che compila la dichiarazione dei redditi. Buona idea?

      • Sì: il token in cima vince sempre, quindi le risposte sono stabili (Risposta)
      • No: la temperatura 0 spegne il modello

Ricorda

Una risposta si estrae un token alla volta da un elenco di probabilità. Temperatura bassa è stabile, temperatura alta è creativa.

Una risposta si estrae un token alla volta dalle probabilità. Temperatura bassa è affidabile, alta è creativa, e il top-k taglia le assurdità.

Dati chiave

  • Il transformer, l’architettura alla base degli attuali modelli linguistici di grandi dimensioni, genera l’output un token alla volta, reinserendo ogni nuovo token come input per il successivo. · Fonte: Vaswani et al., Attention Is All You Need, Google, 2017
  • I ricercatori hanno scoperto che scegliere sempre la parola più probabile tende a produrre testo piatto e ripetitivo, e hanno proposto il campionamento nucleus (top-p), che estrae solo dal più piccolo insieme di token che copre gran parte delle probabilità. · Fonte: Holtzman et al., The Curious Case of Neural Text Degeneration, ICLR 2020
  • Il campionamento top-k, che estrae solo dai k token più probabili, è stato usato per generare racconti più vari rispetto alla decodifica standard. · Fonte: Fan, Lewis and Dauphin, Hierarchical Neural Story Generation, ACL 2018
  • La temperatura divide i punteggi grezzi del modello prima che diventino probabilità: sotto 1 il favorito si rafforza, sopra 1 le probabilità si livellano.

Aggiornato:

Domande frequenti

Cos’è la temperatura in un LLM?

La temperatura è un’impostazione che rimodella le probabilità prima di estrarre ogni token. Valori bassi fanno vincere quasi sempre il token più probabile, per risposte stabili. Valori alti appiattiscono le probabilità, così le risposte diventano più varie e, se si esagera, meno sensate.

Perché i chatbot di IA danno risposte diverse alla stessa domanda?

Di solito i chatbot estraggono ogni token da un elenco di probabilità invece di prendere sempre il primo. Un’estrazione diversa all’inizio porta a una formulazione diversa, e a volte a una risposta diversa.

Cos’è il campionamento top-k?

Il campionamento top-k permette al modello di estrarre solo tra i k token successivi più probabili. Mantiene un po’ di varietà e taglia la lunga coda di token improbabili, spesso senza senso.

Come fa un LLM a sapere quando smettere di scrivere?

Durante l’addestramento ha imparato un token di stop speciale che segna la fine di una risposta. Quando esce quel token, o si raggiunge un limite di lunghezza, la generazione finisce.

Termini correlati