Vai al contenuto
IT

Lezione 1 di 6 · 6 min · +100 XP

Cos’è un modello transformer nell’IA?

Un transformer è l’architettura di rete neurale alla base dei modelli linguistici moderni. Trasforma ogni token in una lista di numeri, poi la fa salire lungo una pila di strati identici. In ogni strato l’attenzione permette ai token di scambiarsi informazioni e una parte feed-forward rifinisce ciascuno. In cima dà un punteggio a ogni possibile token successivo.

▶ Prova tu

Perché è importante

Quasi ogni modello linguistico moderno è un transformer. Conoscere le sue due mosse, condividere tra le parole e ragionare su ogni parola, spiega come un modello costruisce il significato strato dopo strato.

In 6 minuti saprai

  • Il testo diventa token, e ogni token diventa una lista di numeri prima di entrare nella pila.
  • Ogni strato ha due parti: l’attenzione, dove le parole si scambiano informazioni, e il feed-forward, dove ogni parola viene rifinita.
  • Impilare decine di strati trasforma previsioni approssimative in previsioni nette.

Cosa eserciterai

  1. Manda una frase su per la pila

    Metti in ordine il viaggio di «Il cielo è molto», dal testo grezzo alla previsione di Vireo.

    1. Il testo viene tagliato in token
    2. Ogni token diventa una lista di numeri, il suo embedding
    3. Attenzione: ogni token raccoglie indizi dai token precedenti
    4. Feed-forward: i numeri di ogni token vengono rifiniti da soli
    5. Queste due parti si ripetono in ogni strato, decine di volte
    6. In cima, i numeri dell’ultimo token diventano un punteggio per ogni possibile token successivo

  2. Sbircia dentro la torre

    Gli ingegneri possono leggere la previsione di Vireo a metà della pila. Ogni round è la stessa frase a un’altezza diversa. Le percentuali sono solo un esempio.

    1. Strato 2 di 48:
      Le chiavi del vecchio armadio       ___

      • è: 34% (la più probabile)
      • sono: 20%
      • di: 10%
      • era: 8%
      • altre parole: 28%
      In basso nella pila, la previsione si appoggia alla parola più vicina, «armadio», che è singolare. Gli strati non hanno ancora collegato il verbo a «chiavi».

    2. Strato 24 di 48:
      Le chiavi del vecchio armadio       ___

      • sono: 45% (la più probabile)
      • è: 24%
      • erano: 10%
      • era: 5%
      • altre parole: 16%
      A metà strada l’attenzione ha collegato il verbo a «chiavi», quindi i verbi al plurale superano «è».

    3. Strato 48 di 48:
      Le chiavi del vecchio armadio       ___

      • sono: 78% (la più probabile)
      • erano: 10%
      • è: 3%
      • era: 1%
      • altre parole: 8%
      In cima la previsione è netta. Ogni strato ha aggiunto un po’ di comprensione, ed è per questo che i transformer ne impilano così tanti.

  3. Quale parte lo fa?

    Ogni strato ha due parti. Smista ogni compito.

    • Un pronome raccoglie informazioni da «gatto», tre parole prima → Attenzione: le parole condividono
    • Lavora su un token alla volta, senza guardare gli altri → Feed-forward: ogni parola da sola
    • Collega un verbo al suo soggetto qualche parola prima → Attenzione: le parole condividono
    • Conserva gran parte di ciò che il modello ha memorizzato, come i fatti assorbiti → Feed-forward: ogni parola da sola
    • Decide quanto conta ora ogni parola precedente → Attenzione: le parole condividono

  4. Perché hanno vinto i transformer?

    1. I modelli linguistici più vecchi leggevano il testo una parola dopo l’altra. Cosa ha cambiato il transformer?

      • Gestisce tutti i token di un testo in parallelo, quindi l’addestramento sfrutta bene i chip (Risposta)
      • Legge ancora più lentamente e con cura, una lettera alla volta

    2. Vireo ha 48 strati. In cosa sono diversi tra loro?

      • Stesso progetto, ma ogni strato ha i propri pesi imparati (Risposta)
      • Ogni strato è un tipo di macchina completamente diverso

Ricorda

Un transformer è un unico tipo di strato impilato molte volte: l’attenzione fa condividere le parole, il feed-forward rifinisce ogni parola e la cima dà un punteggio al token successivo.

I token salgono attraverso decine di strati identici. Ogni strato condivide informazioni tra le parole, poi rifinisce ogni parola.

Dati chiave

  • Il transformer è stato presentato nel 2017, all’inizio per tradurre tra lingue. · Fonte: Vaswani et al., Attention Is All You Need, Google, 2017
  • Il transformer originale impilava 6 strati per lato, un lato per leggere l’input e uno per scrivere l’output. · Fonte: Vaswani et al., 2017
  • Il modello GPT-3 più grande impila 96 strati transformer. · Fonte: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • I ricercatori hanno scoperto che le parti feed-forward degli strati transformer si comportano come memorie chiave-valore, che conservano schemi del testo di addestramento. · Fonte: Geva et al., Transformer Feed-Forward Layers Are Key-Value Memories, 2021

Aggiornato:

Domande frequenti

Cosa vuol dire la T di GPT?

Transformer. GPT sta per Generative Pre-trained Transformer: un modello che genera testo, viene prima pre-addestrato su moltissimo testo e usa l’architettura transformer.

Cos’è uno strato in una rete neurale?

Una fase di elaborazione. In un transformer ogni strato prende i numeri di ogni token, li fa scambiare informazioni con l’attenzione, li rifinisce con una parte feed-forward e li passa allo strato successivo.

Perché i transformer sono migliori dei modelli più vecchi?

Durante l’addestramento elaborano in parallelo tutti i token di un testo e sanno collegare parole lontane tra loro. Così è diventato possibile addestrare modelli molto più grandi su molto più testo.

Tutti i grandi modelli linguistici sono transformer?

Quasi tutti quelli più diffusi oggi lo sono, o ne sono varianti molto vicine. I ricercatori continuano a provare altre architetture, ma il transformer è lo standard più o meno dal 2018.

Termini correlati