Ogni volta che chatti con un modello di linguaggio succede una cosa che non vedi: miliardi di volte al secondo, il modello guarda tutte le parole della frase insieme e decide quali contano di più per capire il senso. Quella operazione si chiama attenzione ed è il motore dei Transformer.
I Transformer sono l’architettura di rete neurale che dal 2017 ha riscritto le regole. Dietro ChatGPT, Gemini, Claude, DeepSeek e quasi ogni modello generativo di oggi c’è una variante di questa idea.
Vale la pena capirla, perché spiega sia i risultati impressionanti (tradurre, riassumere, scrivere codice) sia i limiti concreti (costi, contesto finito, allucinazioni).
Di cosa parleremo..
Il muro contro cui sbatterono le reti ricorrenti
Prima del 2017 il testo si lavorava con le reti ricorrenti, le RNN, oppure con la loro evoluzione più robusta, le LSTM. Il principio era semplice: leggere una parola alla volta, tenere uno stato di memoria e passarlo avanti.
Funzionava, ma con due difetti strutturali. Il primo è la sequenzialità: per leggere la parola numero cento il modello deve aver finito la novantanove. Le GPU, che sono macchine nate per fare migliaia di calcoli in parallelo, restavano in gran parte ferme.
Il secondo difetto è la memoria corta. Le informazioni iniziali tendono a sbiadire man mano che la sequenza avanza, un fenomeno noto come vanishing gradient. Su frasi lunghe il modello dimenticava il soggetto prima di arrivare al verbo.
L’attenzione esisteva già come ingrediente aggiuntivo, usata nel 2014 per migliorare la traduzione automatica. L’idea dei Transformer è stata radicale: togliere la ricorrenza, togliere le convoluzioni e tenere solo l’attenzione.
2017: “Attention Is All You Need”
Il paper esce a giugno 2017 con un titolo che è diventato un manifesto: Attention Is All You Need, ovvero l’attenzione è tutto ciò che serve. Lo firmano otto ricercatori di Google, tra cui Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser e Illia Polosukhin.
Il banco di prova era la traduzione automatica, un compito dove le reti ricorrenti erano lo stato dell’arte. Il Transformer base usava 6 layer nell’encoder, 6 nel decoder, 8 teste di attenzione, vettori da 512 dimensioni e circa 65 milioni di parametri. Il modello grande arrivava a 213 milioni.
Il dettaglio che fece rumore è un altro: il modello base si addestrava in circa 12 ore su 8 GPU. Un risultato che con le architetture precedenti richiedeva settimane e molta più fortuna.
L’idea centrale: ogni parola guarda tutte le altre
Prendi questa frase: “Il gatto non è salito sul tavolo perché era troppo alto”. Chi è alto, il gatto o il tavolo? Un umano lo capisce dal contesto. Una macchina deve trovare un modo per collegare la parola “alto” alle parole che la chiariscono.
La self-attention fa esattamente questo: per ogni parola calcola quanto ogni altra parola della frase è rilevante, poi costruisce una nuova rappresentazione della parola mescolando i contributi delle altre.
Il risultato è che il vettore della parola “era” non rappresenta più solo “era”. Rappresenta “era”, letto alla luce di “gatto”, “tavolo” e “alto”. È questo il salto concettuale: il significato di un token diventa dipendente dal contesto.
Query, Key e Value: la metafora della biblioteca
Il meccanismo si spiega bene con una biblioteca. Per ogni parola il modello produce tre vettori, ottenuti moltiplicando la sua rappresentazione per tre matrici di pesi imparate durante l’addestramento.
- Query: cosa sto cercando, la domanda che la parola pone alle altre.
- Key: cosa offro, l’etichetta che ogni parola espone sullo scaffale.
- Value: il contenuto vero che quella parola porta con sé.
La query di una parola viene confrontata con le key di tutte le altre. Il confronto è un prodotto scalare: più i due vettori puntano nella stessa direzione, più il punteggio è alto. Quei punteggi diventano pesi. I value vengono poi sommati in proporzione.
La formula, senza panico
La formula canonica è questa: softmax(QKᵀ / √dk) · V. Tradotta: confronta query e key, normalizza i punteggi con la softmax, usa quei pesi per fare una media pesata dei value.
Il termine √dk serve a tenere i numeri sotto controllo. Con vettori da molte dimensioni i prodotti scalari tendono a crescere, la softmax si “incastra” su un solo valore e i gradienti spariscono. Dividere per la radice della dimensione mantiene la distribuzione ragionevole.
Tip: la self-attention non è un database e non “cerca” nulla. È un modo di rimescolare le rappresentazioni in base alla rilevanza reciproca. La ricerca vera, quella di documenti o pagine web, è un’altra cosa e spesso sta fuori dal modello.
Multi-head: otto sguardi invece di uno
Una sola attenzione rischia di guardare una cosa sola per volta. I Transformer usano la multi-head attention: più teste in parallelo, ognuna con le proprie matrici di pesi, ognuna libera di specializzarsi su un tipo di relazione.
Nel modello originale le teste erano 8, ognuna su 64 dimensioni. I risultati venivano concatenati e riproiettati. In pratica una testa può seguire le dipendenze sintattiche, un’altra i riferimenti tra pronomi e soggetti, un’altra ancora la vicinanza posizionale.
Qui serve una precisazione onesta: l’idea che ogni testa abbia un compito chiaro e interpretabile è affascinante, ma la ricerca ha mostrato che la realtà è più confusa. Molte teste sono ridondanti e possono essere potate senza grandi danni. L’interpretabilità tramite attenzione è utile come indizio, non come prova.
Positional encoding: senza ordine le parole sono un sacchetto
C’è un problema nascosto. La self-attention confronta tutte le parole con tutte, ma non sa dove sono. Se mescoli l’ordine dei token, i punteggi sono identici: l’operazione è invariante alle permutazioni.
Per questo i Transformer aggiungono informazione posizionale. Nel paper originale usavano funzioni sinusoidali a frequenze diverse, una sorta di codice a barre numerico per ogni posizione.
Le implementazioni moderne preferiscono strade diverse: embedding posizionali appresi oppure RoPE, la codifica rotatoria usata da molti modelli recenti, che ruota i vettori in base alla posizione e rende più naturale estendere la lunghezza del contesto.
Encoder e Decoder: due mestieri diversi
L’architettura originale ha due blocchi. L’encoder legge tutta la sequenza in entrambe le direzioni e costruisce una rappresentazione ricca di ogni token. Il decoder genera l’output un pezzo alla volta, con un vincolo: può guardare solo ciò che è già stato prodotto.
Quel vincolo si chiama masked attention ed è ciò che rende possibile la generazione. Se il modello vedesse la parola successiva durante l’addestramento, il compito diventerebbe banale e non imparerebbe nulla di utile.
Ogni layer, sia nell’encoder sia nel decoder, ha la stessa ossatura: attenzione, poi una rete feed-forward, poi connessioni residue e normalizzazione. La feed-forward lavora su ogni posizione in modo indipendente e nel modello originale aveva una dimensione interna di 2048. È lì che risiede gran parte della conoscenza memorizzata, come ricorda la lezione su layer e architettura.
Perché ha vinto: parallelismo e scala
Il vantaggio decisivo è la possibilità di processare tutte le posizioni insieme. Durante l’addestramento una GPU può calcolare l’attenzione per migliaia di token in un colpo solo, saturando i tensor core.
C’è poi un vantaggio strutturale nella propagazione dell’informazione. In una RNN due parole distanti devono passare attraverso tutti gli stati intermedi. In un Transformer il percorso tra due token è lungo un solo passo, perché si parlano direttamente in ogni layer.
Parallelismo più percorso corto hanno aperto la strada alle scaling laws: più dati, più parametri, più calcolo, risultati prevedibilmente migliori. I modelli da 175 miliardi di parametri e oltre sono figli di questa proprietà.
Tre ceppi: encoder-only, decoder-only, encoder-decoder
Dopo il 2017 l’architettura si è scissa in tre famiglie, ognuna adatta a compiti diversi.
- Encoder-only: BERT, 2018. Legge in due direzioni e riempie parole mascherate. Ottimo per classificare, cercare e produrre embedding.
- Decoder-only: GPT, 2018. Genera il token successivo. È la famiglia di quasi tutti i modelli conversazionali di oggi.
- Encoder-decoder: T5, 2019. Separa lettura e scrittura, quindi resta forte su traduzione e riassunto.
Quando oggi si dice “Transformer” si intende quasi sempre il ceppo decoder-only. La parola è rimasta, il contesto d’uso si è ristretto.
Il conto da pagare: il costo quadratico
L’attenzione confronta ogni token con ogni altro, quindi il numero di confronti cresce con il quadrato della lunghezza. Mille token fanno un milione di coppie. Centomila token fanno dieci miliardi.
Da qui nascono i limiti pratici che vedi ogni giorno: la context window finita, il costo in memoria della KV cache durante la generazione, il prezzo che sale quando alleghi documenti lunghi.
La ricerca lavora su versioni efficienti, come l’attenzione sparsa o lineare, oppure su ottimizzazioni hardware come FlashAttention, che non cambia la matematica ma organizza meglio gli accessi in memoria.
Tip: se un modello “dimentica” un dettaglio che stava all’inizio di un documento molto lungo, spesso non è distrazione. È il risultato di un’attenzione che deve distribuire risorse limitate su troppe coppie di token.
Non solo testo
Il Transformer è nato per la traduzione ma si è rivelato un’architettura generale. Un’immagine può diventare una sequenza di riquadri, i patch token, ed è così che funziona la Vision Transformer dal 2020.
L’audio si spezza in spettrogrammi e diventa sequenze temporali: è la logica di Whisper. Le proteine si rappresentano come catene di amminoacidi e le interazioni tra residui si modellano con l’attenzione, come in AlphaFold 2.
Serie temporali, raccomandazioni, segnali biomedici: ogni volta che i dati hanno una struttura sequenziale o un insieme di elementi che si influenzano, l’attenzione trova spazio. È il motivo per cui questa architettura è finita ovunque in pochi anni.
Domande frequenti
I Transformer sono la stessa cosa dei modelli di linguaggio?
No. Il Transformer è l’architettura, il modello di linguaggio è il risultato dell’addestramento di quella architettura su grandi quantità di testo. Un modello come GPT o Gemini è un Transformer con pesi specifici, dimensioni specifiche e dati specifici. La stessa architettura può dare modelli molto diversi.
Perché si chiama Transformer?
Il nome viene dal titolo del paper del 2017 e dall’idea di trasformare una sequenza in un’altra: testo in un linguaggio diventa testo in un altro. Nel tempo ha assunto un senso più ampio, perché ogni layer trasforma le rappresentazioni dei token. Non esiste una spiegazione ufficiale unica.
Un Transformer capisce davvero quello che legge?
Non nel senso in cui lo intendiamo noi. Lavora su vettori e probabilità, non su significati. Il risultato può sembrare comprensione perché il modello ha imparato regolarità profonde del linguaggio, ma non c’è un modello del mondo verificabile dietro le risposte.
Quanti parametri ha un Transformer?
Dipende dalla configurazione. Il modello base del paper del 2017 ne aveva circa 65 milioni, la versione grande 213 milioni. Oggi i modelli di frontiera arrivano a centinaia di miliardi. La dimensione non è l’unico fattore: contano anche qualità dei dati e numero di token visti in addestramento.
Posso far girare un Transformer sul mio computer?
Sì, con i modelli piccoli. Un modello da pochi miliardi di parametri, opportunamente quantizzato, gira su un portatile recente con prestazioni accettabili. L’addestramento è un altro discorso: richiede GPU potenti e settimane di calcolo. Per l’uso quotidiano basta l’inferenza, che è molto più leggera.
Cosa significa che “l’attenzione è tutto ciò che serve”?
Significa che per ottenere buoni risultati sulla traduzione non servono ricorrenza e convoluzioni: basta impilare layer di attenzione con una rete feed-forward. Era una provocazione nel 2017, oggi è la base di quasi tutto. Il titolo è rimasto più famoso della formula che descrive.
