Quante volte hai letto frasi come “questo modello ha 70 miliardi di parametri” oppure “il nuovo modello è tre volte più grande del precedente“?
Sembra un numero che dice tutto ma quasi nessuno spiega mai cosa sia davvero un parametro.
In questa lezione lo mettiamo in chiaro, con parole semplici e qualche esempio concreto.
Di cosa parleremo..
Cosa sono i parametri, in parole semplici
Un parametro è un numero interno al modello che viene aggiustato man mano durante l’addestramento. Non è un dato che inserisci tu, non è una regola scritta a mano: è un valore che il modello impara da solo, osservando milioni di esempi, per ridurre i propri errori.
Immagina una consolle gigantesca piena di manopole e leve come quelle di un equalizzatore per DJ. In un equalizzatore ogni manopola e leva cambia il suono in uscita andando a modificare proprio l’onda, con le IA il risultato è simile: ogni manopola ha una posizione precisa e cambiandola cambi il comportamento e la risposta della macchina.
In un modello di intelligenza artificiale le manopole sono i parametri: tanti piccoli numeri che, presi insieme, determinano ogni risposta che ricevi.
Ricordati che l’obiettivo di una IA è calcolare statisticamente qual è il token successivo più plausibile e per farlo usa proprio queste regolazioni, con miliardi di manopole e leve riesce a prevedere statisticamente quale sarà il token successivo per quasi tutti gli input ricevuti.
Il punto chiave è questo: la “conoscenza” di un modello non è stipata in un elenco di frasi. È codificata nella configurazione dei suoi parametri. Se prendi due modelli con la stessa architettura ma parametri diversi, ottieni due sistemi che si comportano in modo completamente diverso.
Pesi e bias: i due tipi di parametri
Nella pratica i parametri si dividono in due categorie principali.
I pesi (weights)
I pesi stabiliscono quanto conta un certo segnale rispetto a un altro. Se un input è molto rilevante per il risultato finale, il suo peso sarà alto; se è quasi inutile, tenderà a zero.
Sono loro a fare la maggior parte del lavoro e rappresentano la stragrande maggioranza dei parametri di un modello.
I bias
I bias sono un termine aggiuntivo che sposta la soglia di attivazione. Servono a dare al modello un margine di flessibilità: anche quando tutti gli input sono a zero, il bias può far scattare (o non scattare) un neurone. In parole povere, i pesi decidono quanto pesa ogni informazione, i bias decidono da che punto si parte.
Attenzione a non confondere il bias inteso come parametro con il bias inteso come pregiudizio, per esempio un modello che tratta in modo diverso certe categorie di persone: sono due concetti distinti che purtroppo in italiano si chiamano allo stesso modo.
Un esempio concreto: il neurone artificiale
La forma più semplice di elaborazione in una rete neurale si scrive così:
y = (w × x) + b
Dove x è l’input che arriva, w è il peso, b è il bias e y è il risultato. Se ci pensi, è la stessa formula di una retta: il peso cambia la pendenza, il bias alza o abbassa la linea. Un modello reale è fatto da miliardi di queste operazioni, incastrate una dentro l’altra.
Il bello è che nessuno dice al modello quale valore dare a w e a b. All’inizio sono numeri casuali, poi l’addestramento li sistema un po’ alla volta, errore dopo errore.
Perché si parla di miliardi di parametri
Un singolo parametro non serve a niente. Ma quando ne hai miliardi, il modello riesce a catturare sfumature del linguaggio, del ragionamento e della sintassi che con poche migliaia di valori sarebbero invisibili.
Il caso più citato è GPT-3, presentato nel 2020 con circa 175 miliardi di parametri. Un dettaglio utile per capire l’ordine di grandezza: salvando ogni parametro a 16 bit, cioè 2 byte, servono circa 350 GB di spazio solo per tenere lì i numeri. Niente dati, niente codice: solo i valori appresi.
Da lì la corsa è continuata, con modelli da centinaia di miliardi di parametri e architetture sparse che attivano solo una parte della rete alla volta. Ma il numero, da solo, non racconta tutta la storia.
Oggigiorno modelli avanzati come DeepSeek V4.1 hanno 552 miliardi di parametri, ma attenzione: tanti parametri non significa necessariamente tanta potenza, ad esempio Qwen 3.8 è un modello da “soli” 3.8 miliardi di parametri, ma è comunque un modello top di gamma.
Attenzione: i parametri non sono i dati di addestramento
Uno degli equivoci più comuni è pensare che i parametri siano i testi su cui il modello è stato allenato. Non è così.
I dati di addestramento sono il materiale che entra: miliardi di pagine, frasi, codici, libri. I parametri sono ciò che resta dopo, una sintesi compressa di quell’esperienza. È un po’ come la differenza tra i libri che hai letto e quello che hai imparato: il modello non conserva le pagine, conserva la configurazione che gli permette di comportarsi come se le avesse lette.
Ed è anche per questo che un modello non “cerca” una frase nella memoria come farebbe un motore di ricerca: ricostruisce la risposta a partire dai suoi parametri, un pezzo alla volta.
Più parametri significa modello migliore?
Come già detto: no, o meglio, non automaticamente. Il numero di parametri indica la capacità del modello di rappresentare cose complesse, ma la qualità finale dipende da almeno tre fattori.
- Qualità dei dati: dati sporchi o ripetitivi sprecano capacità.
- Quantità di addestramento: un modello enorme e poco allenato delude.
- Architettura: un progetto efficiente batte un progetto gonfio.
Per questo oggi si parla molto di modelli “piccoli” da 3, 8 o 20 miliardi di parametri che, su compiti specifici, fanno meglio di giganti dieci volte più grandi. La dimensione è un indizio, non un verdetto.
Parametri, iperparametri e i parametri dell’API
Qui serve un po’ di ordine, perché la parola parametro viene usata in tre sensi diversi.
1. Parametri del modello
Sono i pesi e i bias, milioni o miliardi di numeri imparati durante il training. Sono quelli di cui parla questo articolo.
2. Gli iperparametri
Sono le scelte impostate prima dell’addestramento: quante epoche, che learning rate, quanti layer.
Non vengono appresi: li decide chi progetta il modello.
3. I parametri di una chiamata API
Quando usi un modello tramite API trovi parametri come temperature, top_p o max_tokens. In gergo tecnico sarebbero parametri di generazione o iperparametri di inferenza: non modificano i pesi del modello, cambiano solo come il modello sceglie la prossima parola.
Dove si vedono i parametri (e perché di solito non si vedono)
Nei modelli open source i parametri sono un file che puoi scaricare: si chiama checkpoint o semplicemente pesi. Nei modelli chiusi, come quelli dei grandi provider commerciali, i parametri restano sui server di chi li ha creati e non sono accessibili: usi il modello tramite API, ma non puoi ispezionarne i numeri.
Questo ha una conseguenza pratica importante: se un modello è closed source, sapere quanti parametri abbia davvero è quasi sempre una stima, non un dato ufficiale.
Domande frequenti
I parametri sono i dati usati per addestrare il modello?
No. I dati sono il materiale in ingresso, i parametri sono il risultato dell’apprendimento: numeri che riassumono i pattern trovati nei dati.
Un modello con più parametri è sempre più intelligente?
No. Contano anche la qualità dei dati, la quantità di addestramento e l’architettura. Un modello più piccolo e ben allenato può superare uno più grande e approssimativo.
Cosa sono gli iperparametri?
Sono le impostazioni scelte prima del training, come il learning rate o il numero di epoche. Non vengono appresi dal modello, li definisce chi lo addestra.
Posso vedere i parametri di ChatGPT?
No. I modelli dei grandi provider commerciali sono closed source: i parametri restano sui loro server e non sono scaricabili.
I parametri cambiano quando faccio una domanda?
No. Durante l’uso normale il modello non impara: i pesi restano congelati. Cambiano solo se qualcuno esegue un nuovo addestramento o un fine-tuning.
