Tutti i Llama dell’AI: differenza tra llama.cpp, Ollama, llamafile, LLaMA-Factory, LlamaIndex e LlamaParse

Sei nomi che iniziano tutti con llama e fanno sei mestieri diversi: motore, server, eseguibile, fine-tuning, RAG e parsing documenti. Guida pratica per non confonderli.
Immagine realizzata con IA
Le immagini presenti nel post possono essere realizzate o elaborate con strumenti di Intelligenza Artificiale. Questa scelta nasce anche dalla necessità di prevenire le continue contestazioni e richieste economiche improprie che ricevo relative a fotografie utilizzate che sono sempre state acquistate con regolare licenza.
Contenuti dell'articolo

llama.cpp, Ollama, llamafile, LLaMA-Factory, LlamaIndex, LlamaParse. Se ti sei avvicinato all’AI open source, prima o poi ti sei trovato davanti a questa lista e hai pensato che fossero sei versioni della stessa cosa.

Non lo sono. Non fanno lo stesso lavoro, non sono nati nello stesso posto e in un paio di casi non hanno nemmeno un rapporto diretto con i modelli Llama di Meta. Condividono solo l’animale nel nome, che nel mondo dell’AI è diventato una specie di cognome di famiglia.

Qui li separo uno per uno, con il lavoro che fanno davvero e il punto in cui si incastrano in un progetto reale.

Da dove viene il nome: LLaMA è il modello

L’unica cosa che è davvero “llama” è la famiglia di modelli di Meta. LLaMA significa Large Language Model Meta AI: il primo rilascio è del 2023, poi Llama 2, Llama 3 e Llama 4. Sono i pesi, cioè il file con dentro la conoscenza del modello e il codice per addestrarlo.

La licenza non è open source in senso stretto: è una licenza comunitaria con condizioni, limiti di utenti e obblighi di attribuzione. Questo dettaglio conta per un’azienda, molto meno per chi vuole solo provare un modello sul proprio computer.

Tutto il resto della lista è software che intorno a quei pesi ci lavora. Il prefisso “llama” è diventato un modo per dire “roba che gira intorno ai modelli aperti”, un po’ come “linux” per le distribuzioni. Chi lo usa lo fa per familiarità o per posizionamento, non perché tecnicamente c’entri.

TIP: se cerchi “llama” su GitHub, la prima cosa che esce non è detto sia quella che ti serve. Parti dal lavoro da fare, non dal nome.

Il quadro in un colpo d’occhio

Strumento Cos’è A cosa serve Dove gira
llama.cpp Motore di inferenza in C/C++ Far girare modelli quantizzati su CPU e GPU Locale, dentro altre app
Ollama Server locale con gestione modelli Scaricare e usare un modello con un comando PC, Mac o server
llamafile Eseguibile unico con i pesi dentro Distribuire un modello senza installare nulla Locale, su più sistemi
LLaMA-Factory Framework di fine-tuning Adattare un modello ai tuoi dati Server con GPU
LlamaIndex Framework per dati e RAG Collegare un modello ai tuoi documenti Codice Python o TypeScript
LlamaParse Servizio di parsing documenti Trasformare PDF e scansioni in testo pulito Cloud, con alternativa locale

llama.cpp: il motore che fa girare tutto

Partiamo dal livello più basso. llama.cpp è un motore di inferenza scritto in C e C++ da Georgi Gerganov nel 2023, oggi portato avanti dal collettivo ggml-org con licenza MIT.

Il suo scopo è uno solo: far girare un modello il più velocemente possibile su hardware normale. Niente Python, niente dipendenze esotiche, compilazione secca e via. È il pezzo che ha reso possibile l’idea di un modello da 7 miliardi di parametri sul portatile di casa.

La magia sta nella quantizzazione, cioè la riduzione della precisione dei pesi: da virgola mobile a 16 bit fino a 4 o 5 bit, con perdita di qualità contenuta. Il formato che ha reso standard questo passaggio si chiama GGUF, ed è il file che scarichi quando prendi un modello “pronto per girare”.

llama.cpp supporta CPU, Metal su Mac, CUDA su Nvidia, Vulkan e altri backend. Non è un’app per chattare: è una libreria con qualche binario di esempio. Molti strumenti che usi, compreso Ollama, sopra ci costruiscono.

TIP: GGUF non è un modello, è un contenitore. Dentro ci sono pesi, tokenizer e metadati. Un file .gguf da 4 GB è quasi sempre un modello da 7-8 miliardi di parametri quantizzato a 4 bit.

Ollama: la confezione comoda

Ollama fa una cosa sola, ma la fa bene: prende il motore, i pesi e la configurazione e li mette dietro un comando. Installi, scrivi ollama run e il modello parte.

È pensato per chi non vuole compilare niente. Ha un catalogo di modelli pronti, un file di configurazione chiamato Modelfile, un’API REST sulla porta 11434 e client ufficiali per Python e JavaScript. Gira su macOS, Windows, Linux e in Docker. Negli ultimi tempi ha aggiunto anche modelli in cloud, per chi non ha una GPU adatta.

Il punto da capire è che Ollama non è un framework e non è un motore scritto da zero: è un livello di servizio sopra llama.cpp. Ti dà comodità, ti toglie controllo. Se devi gestire decine di utenti in contemporanea o cambiare parametri di sampling in modo fine, comincia a stare stretto.

Per prototipare è però il modo più rapido che esista. Ed è ottimo anche come endpoint locale per altri programmi: l’API è compatibile con lo stile di OpenAI, quindi ci attacchi editor, agenti e script senza modifiche.

TIP: il Modelfile è un piccolo file di testo dove dichiari modello base, system prompt, temperatura e stop token. È lì che personalizzi un modello senza toccare i pesi.

llamafile: un modello in un solo file

llamafile è nato come progetto di Mozilla Builders nel 2023 e oggi è portato avanti da Mozilla.ai. L’idea è radicale: un unico file eseguibile che contiene sia il runtime sia i pesi del modello.

Ci riesce combinando llama.cpp con Cosmopolitan Libc, una libreria che produce binari in grado di girare su Linux, macOS, Windows e più architetture senza ricompilare. Il risultato è un file che scarichi, rendi eseguibile con chmod +x e lanci. Fine. Nessuna installazione, nessuna dipendenza.

È il formato perfetto per consegnare una demo a un cliente, per un corso senza laboratorio o per un ambiente dove non puoi installare nulla. Il prezzo è la dimensione: ti porti dietro diversi gigabyte di file. Non c’è orchestrazione, non c’è multiutente, non c’è gestione di code.

Il progetto include anche whisperfile, stesso principio applicato alla trascrizione audio. Licenza Apache 2.0, quindi riutilizzabile anche in contesti commerciali.

LLaMA-Factory: la palestra del fine-tuning

Qui il nome inganna più che altrove. LLaMA-Factory non fa girare modelli: li addestra. È un framework di fine-tuning creato da hiyouga, con licenza Apache 2.0 e una community molto attiva.

La promessa è semplice: addestrare oltre cento modelli, anche multimodali, senza scrivere codice. C’è una CLI e c’è LLaMA Board, un’interfaccia web costruita con Gradio dove scegli modello, dataset e parametri e premi start.

Supporta le tecniche che contano davvero: LoRA e QLoRA per addestrare con poca memoria, DPO, KTO e ORPO per l’allineamento, oltre al classico supervised fine-tuning. Lo usano anche Amazon, Nvidia e Aliyun nelle loro guide, segno che non è un giocattolo.

Il rovescio della medaglia è l’hardware. Addestrare richiede GPU e tempo. La qualità dipende dal dataset. Non è il posto da cui partire se vuoi solo far rispondere un modello.

TIP: prima di addestrare, chiediti se ti serve davvero. Per far conoscere documenti a un modello il RAG costa meno e si aggiorna meglio. Il fine-tuning serve per cambiare stile, formato o comportamento.

LlamaIndex: il framework per i dati

LlamaIndex è un framework open source, in Python e TypeScript, nato nel 2023 per un problema preciso: collegare un modello ai tuoi dati. È il livello che sta tra i documenti e il modello.

Fornisce connettori verso centinaia di fonti, strumenti per spezzare i testi in pezzi sensati, indici, retriever e pipeline di valutazione. In pratica è l’impalcatura di un sistema RAG: prendi i documenti, li trasformi in embedding, li cerchi per similarità e passi i risultati al modello.

Una nota che molti non sanno: l’azienda ha spostato il suo focus principale sul parsing e sull’estrazione documentale, quindi su LlamaParse. Il framework resta disponibile e mantenuto come toolkit aperto, ma non è più il centro del prodotto. Se lo scegli, scegli anche la sua community e le sue integrazioni, non un supporto commerciale.

Rispetto a LangChain è più specializzato sui dati: meno orchestratore universale, più macchina per far parlare un modello con una base documentale. Chi ha già lavorato con LangChain e LangGraph riconosce lo stesso tipo di astrazione.

TIP: se il modello non conosce i tuoi documenti, non è un problema di intelligenza: è un problema di recupero. Il RAG non insegna nulla al modello, gli mette davanti i pezzi giusti al momento giusto.

LlamaParse: il lettore di documenti

LlamaParse è l’altra faccia della stessa azienda, ma è un prodotto diverso: un servizio che prende documenti difficili e li trasforma in dati pronti per un modello.

Il nemico qui è il PDF. Tabelle che si sfaldano, colonne che si mescolano, scansioni storte, moduli con caselle da spuntare, grafici senza testo. Un parser tradizionale restituisce un muro di parole in ordine sbagliato. Il modello risponde male perché ha letto male. LlamaParse usa OCR e modelli di visione per ricostruire la struttura e restituire markdown o JSON puliti.

Dichiara supporto a oltre 90 formati, con gestione di tabelle, immagini, check box e handwriting. È un servizio cloud a consumo, con crediti gratuiti iniziali. Per chi vuole stare in casa esiste LiteParse, il parser open source dello stesso team, più leggero e senza modelli di visione.

Il numero che rende l’idea della scala: oltre un miliardo di documenti processati. Non è un progetto di nicchia, è infrastruttura.

Come si incastrano in un progetto vero

Prendi un caso concreto: un’azienda con diecimila PDF tra contratti, manuali e report, con la voglia di fare domande in linguaggio naturale. Ecco l’ordine in cui entrano in scena.

  1. LlamaParse legge i PDF e li converte in markdown con tabelle e titoli al posto giusto.
  2. LlamaIndex spezza i testi, crea gli embedding, li salva in un database vettoriale e costruisce il retriever.
  3. Ollama o llama.cpp servono il modello che genera la risposta, in locale o su un server dell’azienda.
  4. LLaMA-Factory entra solo se serve specializzare il modello su un formato di risposta o su un gergo interno.
  5. llamafile torna utile alla fine, se devi consegnare tutto a un cliente che non può installare nulla.

Nota l’ordine: i primi due lavorano sui dati, il terzo genera, il quarto cambia il modello, il quinto lo impacchetta. Nessuno sostituisce l’altro. Chi cerca “il migliore” sta ponendo la domanda sbagliata, perché non sono in concorrenza.

E c’è un dettaglio che quasi nessuno considera: la qualità finale dipende più dal punto 1 che dal punto 3. Un modello medio con documenti letti bene batte un modello ottimo con documenti letti male. Vale anche per la velocità: la KV cache e la gestione dei token contano, ma un contesto sporco le rende inutili.

Come scegliere in trenta secondi

  • Vuoi provare un modello sul portatile: Ollama. Se ti serve un controllo più fine passi a llama.cpp.
  • Devi integrare l’inferenza in un programma C++ o in un dispositivo: llama.cpp, senza passare da altro.
  • Devi consegnare un file unico che parte ovunque: llamafile.
  • Devi addestrare o adattare un modello: LLaMA-Factory, con una GPU seria.
  • Devi interrogare i tuoi documenti: LlamaIndex, o un altro framework RAG se il team ha già una preferenza.
  • I documenti sono PDF sporchi, scansioni o moduli: LlamaParse prima di tutto il resto.

Se invece la domanda è “quale di questi è il modello”, la risposta è nessuno: il modello è LLaMA, o Qwen, o Mistral, o uno dei tanti che questi strumenti fanno girare. Questa distinzione sembra banale finché non la si sbaglia in una riunione.

Domande frequenti

Ollama e llama.cpp sono la stessa cosa?

No. llama.cpp è il motore di inferenza, Ollama è un livello di servizio che lo usa e aggiunge gestione dei modelli, API e comandi semplici. Ollama ti fa risparmiare tempo, llama.cpp ti dà controllo e prestazioni migliori se sai cosa toccare.

Posso usare LlamaIndex senza LlamaParse?

Sì. Nella maggior parte dei casi è così che si parte. LlamaIndex legge file di testo, markdown, HTML e PDF semplici con i suoi lettori. LlamaParse diventa utile quando i documenti hanno layout complessi, tabelle o scansioni, perché lì un parser standard perde struttura.

LLaMA-Factory serve per far girare i modelli?

No, serve per addestrarli o adattarli. Dopo il fine-tuning ottieni un modello nuovo, che poi farai girare con llama.cpp, Ollama o un server di inferenza. Sono due fasi diverse, spesso confuse perché il nome è lo stesso.

llamafile è un progetto abbandonato?

No. Dopo la fase iniziale in Mozilla Builders è passato a Mozilla.ai, che lo ha rilanciato con una nuova linea di build allineata alle versioni recenti di llama.cpp. I file precompilati sono su Hugging Face.

Serve una GPU per tutto questo?

No, ma dipende dal lavoro. Per far girare un modello da 7-8 miliardi di parametri quantizzato bastano CPU recenti e abbastanza RAM, con risposte lente ma usabili. Per il fine-tuning una GPU è praticamente obbligatoria. Per servire molti utenti in contemporanea conviene comunque hardware dedicato.

Detto questo, il modo migliore per capire la differenza è provarne due: installa Ollama, scarica un modello, poi apri il repository di llama.cpp e guarda cosa c’è sotto. La differenza tra “funziona” e “so perché funziona” passa tutta da lì.

Newsletter settimanale con le ultime novità sull’intelligenza artificiale

Corso gratuito sull’Intelligenza Artificiale, dalle nozioni base ai concetti più complessi

Condividi:

Potrebbero interessarti