GUFO e Halogen: cosa sono e le differenze tra i motori di inferenza per Qwen3.8-Flash-Next

GUFO e Halogen sono due motori di inferenza per AMD Strix Halo. Confronto tra open source e motore chiuso, con numeri e uso reale su Qwen3.8-Flash-Next.
Immagine realizzata con IA
Le immagini presenti nel post possono essere realizzate o elaborate con strumenti di Intelligenza Artificiale. Questa scelta nasce anche dalla necessità di prevenire le continue contestazioni e richieste economiche improprie che ricevo relative a fotografie utilizzate che sono sempre state acquistate con regolare licenza.
Contenuti dell'articolo

Qwen3.8-Flash-Next ha fatto succedere una cosa curiosa: due progetti nati per far girare lo stesso modello sullo stesso identico chip, l’AMD Strix Halo, si sono ritrovati a contendersi gli stessi utenti. Si chiamano GUFO e Halogen, fanno la stessa cosa di base, cioè trasformare un modello in un servizio locale e la fanno in due modi quasi opposti.

Uno è open source, generalista, con una licenza MIT e una pila di modelli supportati. L’altro è un motore compilato, chiuso, scritto kernel per kernel per una sola GPU e una sola famiglia di modelli. Entrambi dichiarano numeri vicini a 2.000 token al secondo in prefill. Entrambi promettono risposte in pochi secondi su conversazioni da decine di migliaia di token.

La differenza vera non è chi va più veloce sulla carta. È cosa succede quando devi installarli, aggiornarli, adattarli e conviverci ogni giorno con Qwen3.8-Flash-Next. Qui sotto metto ordine, senza incensare nessuno dei due.

Cosa sono GUFO e Halogen

Partiamo dal punto che genera più confusione: non sono modelli di intelligenza artificiale. Sono motori di inferenza, cioè il software che carica i pesi del modello, li tiene in memoria e risponde alle richieste. Il modello è il contenuto, il motore è il modo in cui quel contenuto viene eseguito. Se vuoi il quadro completo di questo passaggio, ne ho parlato anche nella guida su DeepInfer, il motore di inferenza di DeepSeek.

GUFO è un progetto open source con licenza MIT, scritto in C++ e HIP. Nasce per una sola macchina, l’AMD Strix Halo con GPU Radeon 8060S e serve modelli di testo, embedding, voce, immagini e video attraverso API compatibili OpenAI. Il codice è leggibile, modificabile e distribuibile. La repository ufficiale è su github.com/gufo-org/gufo.

Halogen è il motore di halogen-flash-server, distribuito come container con motore compilato sotto la propria EULA. Non nasce per essere modificato: nasce per essere usato così com’è. Ogni kernel è scritto per una GPU e per la famiglia Qwen3.8-Flash-Next, senza runtime generalista e senza percorsi di fallback. La repository è su github.com/peonist-ai/halogen-flash-server.

La sintesi è questa: GUFO vuole essere la base su cui costruire, Halogen vuole essere la scatola che funziona meglio possibile senza che tu ci metta le mani dentro. Sono due filosofie, non due versioni dello stesso prodotto.

TIP: se stai cercando un motore per la tua GPU NVIDIA o per un Mac, né GUFO né Halogen fanno per te. Sono entrambi progettati per gfx1151, cioè la iGPU Radeon 8060S di Strix Halo. Su altre piattaforme il progetto giusto è un altro, per esempio llama.cpp o Ollama.

Perché servono entrambi solo su Strix Halo

Strix Halo è il nome commerciale della famiglia Ryzen AI Max+ 395. Ha 16 core CPU, una GPU integrata Radeon 8060S e, soprattutto, fino a 128 GB di memoria unificata condivisa tra CPU e GPU. È il primo chip mainstream che permette di caricare un modello da 125 miliardi di parametri senza dividere gli esperti tra CPU e scheda video.

Qwen3.8-Flash-Next è un modello Mixture of Experts da 125 miliardi di parametri totali, ma con circa 6 miliardi attivi per token. Questa combinazione è la ragione per cui il binomio funziona: la memoria serve per tenere tutti i pesi, la larghezza di banda serve per leggere solo la parte attiva a ogni token. Su una GPU consumer da 24 GB il modello non entra nemmeno a quantizzazione spinta.

I pesi in formato UD-Q4_K_XL di Unsloth occupano circa 104 GiB divisi in quattro shard. Aggiungi la testa MTP per lo speculative decoding e il proiettore multimodale e i 128 GB si riempiono in fretta. Halogen, con il suo checkpoint nativo, arriva a circa 111 GiB di download iniziale. Chi ha una macchina da 64 GB può dimenticarsi questa configurazione: il modello non ci sta.

Ecco perché GUFO e Halogen esistono quasi solo su questa piattaforma. Non è una scelta di nicchia per gusto, è una conseguenza dell’hardware. Strix Halo è l’unico posto dove un modello di questa dimensione gira in locale a velocità utilizzabili e quei due motori sono le due risposte più interessanti al problema.

Come funziona GUFO

GUFO si presenta come un singolo binario con kernel ottimizzati per gfx1151. Supporta più modelli, non uno solo: Qwen3.8-Flash-Next, Qwen3.8 27B, DeepSeek V4 Flash, EmbeddingGemma 2, Qwen3-ASR, Qwen3-TTS, Qwen-Image-2.1 e MiniMax H3 per il video. Ogni modello ha la sua pagina con i file da scaricare, le modalità e la velocità misurata.

L’API è compatibile OpenAI, quindi ci attacchi Open WebUI, gli SDK OpenAI, Codex o qualsiasi agente che parli quel dialetto. La cache è pensata per gli agenti di coding, quelli che rimandano l’intera conversazione a ogni turno. Ci sono sessioni, concorrenza, cancellazione e un sistema di estensioni per aggiungere modelli senza ricompilare il motore.

Sul piano della qualità, GUFO dichiara di verificare ogni modello contro l’originale prima di ottimizzarlo. È una promessa difficile da controllare per chi non ha il tempo di rifare i test, ma indica la direzione: prima la correttezza, poi la velocità. Il progetto gira su Linux, dove vengono costruite e testate le release e nativamente su Windows.

L’installazione passa da Docker o Podman, con l’immagine che contiene già ROCm. Nella configurazione tipica si montano i modelli in sola lettura, si passano /dev/kfd e /dev/dri al container e si avvia il server. Il comando di servizio per Flash-Next include lo speculative decoding con MTP e il proiettore per le immagini.

La flessibilità ha un prezzo: GUFO non è un prodotto finito, è un progetto da seguire. Le release cambiano, le guide vanno lette alla versione giusta e le prestazioni dipendono da quanta cura metti nella configurazione. In cambio hai un motore che puoi capire, modificare e usare come base per altro.

Come funziona Halogen

Halogen prende la strada opposta. Il motore è compilato e chiuso, distribuito come immagine container con la sua EULA. Non c’è codice sorgente da leggere, non ci sono kernel da cambiare, non c’è un runtime generalista sotto. Ogni istruzione è scritta per una GPU e per la famiglia Qwen3.8-Flash-Next.

Questa specializzazione si vede nei numeri che il progetto pubblica. La versione 0.20.7 dichiara 100 token al secondo scrivendo codice, 70 in prosa, un primo token in circa 1,2 secondi e un turno agente completo in 2,1 secondi su contesti tra 30.000 e 96.000 token. Il prefill arriva a 1.983 token al secondo su prompt sintetici da 8.192 token, 1.876 su 32.768 e 1.796 su 131.072.

Il punto di forza è la latenza percepita nelle sessioni lunghe. Halogen lavora molto sulla cache e sullo speculative decoding: a temperatura zero dichiara output identico al decode greedy seriale, quindi la speculazione è un’ottimizzazione di velocità, non un compromesso sulla qualità. Il progetto verifica questa proprietà a ogni release.

Il checkpoint nativo usa 4,16 bit per peso sul tronco e 5,25 bit su tutti i 179,55 miliardi di parametri, tabella di lookup FP8 inclusa. Sono numeri misurati sui file, non presi dal nome del formato. Dal 0.7.0 Halogen apre anche GGUF llama.cpp compatibili, per esempio l’UD-IQ4_XS di Unsloth, senza conversione. Non è più solo un motore a checkpoint chiuso, ma resta un motore che vuole file e impostazioni precisi.

L’installazione è una riga di Podman con il device GPU, la porta locale e la variabile che scarica il checkpoint. Il primo avvio scarica circa 111 GiB. Il progetto consiglia anche un piccolo carve-out UMA nel BIOS, per evitare che il firmware nasconda una parte della memoria. Sono dettagli che fanno la differenza tra un sistema che parte e uno che si blocca a metà.

Le differenze che contano davvero

Se riduci il confronto a una tabella, il rischio è di perdere le sfumature. Ma una tabella aiuta a orientarsi, purché si legga con la nota sotto.

Voce GUFO Halogen Flash-Next
Licenza MIT, codice sorgente aperto Motore compilato sotto EULA
Modelli Testo, embedding, voce, immagini, video Famiglia Qwen3.8-Flash-Next
Formato pesi UD-Q4_K_XL specificato, MTP Q8 opzionale Checkpoint nativo .hgn, più GGUF supportati
Prefill dichiarato 1.801 token/s su 2.000 token nuovi 1.983 token/s su prompt sintetico da 8.192
Decode dichiarato 28,29 token/s autoregressivo, 35,79 con MTP 100 token/s su codice, 70 in prosa
Primo token Dipende dalla cache e dal contesto Circa 1,2 secondi in sessione lunga
Installazione Docker o Podman, ROCm incluso Container Podman, checkpoint scaricato al primo avvio
Personalizzabile Sì, fino al codice No, si usa così com’è

La tabella va letta con una cautela: i numeri non sono misurati nelle stesse condizioni. GUFO misura 2.000 token nuovi su una cache già calda, Halogen misura un prompt sintetico da 8.192 token. Le lunghezze, i formati e i percorsi di misura sono diversi. Dividere 1.983 per 1.801 e dire che Halogen è il 10% più veloce è un errore di metodo, non un risultato.

La differenza strutturale è un’altra: GUFO è un motore generalista specializzato, Halogen è un motore specializzato e basta. La specializzazione permette di ottimizzare insieme forma del modello, layout della quantizzazione, kernel e percorso delle sessioni. Il costo è che tutto ciò che esce da quel perimetro non esiste.

TIP: non fidarti del numero di prefill isolato. Un motore può sfoggiare 1.800 token al secondo e impiegare 19 secondi a rispondere al primo turno di una conversazione da 34.000 token. Quello che senti tu, come utente, è il tempo fino al primo token e il tempo totale della risposta.

Confronto nell’uso con Qwen3.8-Flash-Next

Mettiamo il modello al centro. Qwen3.8-Flash-Next è un MoE da 125 miliardi di parametri con circa 6 miliardi attivi, una struttura ibrida ricorrente e QSA e una finestra di contesto che nella configurazione tipica arriva a 256.000 token. Non è un modello denso: il numero totale di parametri non dice quanto costa ogni token e questo rende il confronto tra motori ancora più delicato.

Con GUFO il modello gira su quattro shard Unsloth in UD-Q4_K_XL, più la testa MTP in Q8_0 e il proiettore multimodale in BF16. La documentazione dichiara 1.801 token/s di prefill a profondità zero, 1.672 su una cache da 32.000 token e 1.557 su una da 131.000. Il decode autoregressivo è 28,29 token/s, sale a 35,79 con MTP su testo misto e a 116,93 su output ripetitivo.

Con Halogen il modello gira sul checkpoint nativo v2, con cache della conversazione attiva e speculative decoding. I numeri pubblicati parlano di 1.983 token/s di prefill su 8.192 token, 1.876 su 32.768 e 1.796 su 131.072. Il decode dichiarato è di 100 token/s sul codice e 70 in prosa. Il primo token di un turno agente arriva in circa 1,2 secondi, ma il primo turno a freddo di un prompt da 34.000 token richiede 19 secondi.

Questi ultimi due dati sono la chiave per capire Halogen. La latenza bassissima vale per una sessione già avviata, con la cache che riusa gran parte del contesto. Non vale per la prima richiesta su un documento nuovo. Chi legge solo il numero di 1,2 secondi e si aspetta quella velocità sempre resta deluso alla prima conversazione seria.

Sul fronte memoria, un test comparativo pubblicato su un forum cinese riporta un margine libero di 30,7 GiB con GUFO e 86,1 GiB con Halogen, a parità di macchina da 128 GB. Il dato va preso come indicazione, non come legge: confronta due deployment completi, non due quantizzazioni pure. Resta il fatto che Halogen, con il suo checkpoint dedicato, lascia più respiro al sistema.

Nell’uso reale con un agente di coding, la differenza si sente soprattutto sul prefill. Ogni chiamata di tool rimanda al modello l’intera conversazione, quindi una gran parte del tempo di attesa è la rilettura del contesto. A 200 token/s un contesto da 100.000 token richiede circa 8 minuti. A 900 token/s scende sotto i 2 minuti. Con la cache attiva, nella maggior parte dei turni si processa solo la parte nuova.

Un utente che ha pubblicato la sua esperienza su un Asus ProArt PX13 con 128 GB racconta di aver provato llama.cpp, un fork Vulkan, il fork ROCm di pwilkin, Halogen e infine GUFO. Con GUFO, a 64.000 token di contesto e alimentazione a rete, dichiara circa 900 token/s di prefill e 35 token/s di generazione. È la stessa persona che segnala crash occasionali del driver amdgpu, recuperati dal sistema: un promemoria che questa roba resta un po’ artigianale.

Licenza e filosofia: due modelli di fiducia

GUFO è MIT. Puoi leggere il codice, modificarlo, ridistribuirlo e usarlo in prodotti commerciali senza chiedere permesso. Per un’azienda che vuole mettere il motore in un prodotto, o per uno sviluppatore che vuole capire cosa succede sotto, è una differenza enorme. Non è solo una questione di prezzo: è la possibilità di verificare e correggere.

Halogen usa una EULA che permette uso commerciale royalty-free, ridistribuzione non modificata e pubblicazione dei benchmark. Non è la stessa cosa dell’open source. Il motore resta una scatola chiusa: puoi misurarlo, non puoi aprirlo. Per molti utenti va benissimo, perché il valore è nel risultato e non nel codice. Per altri è un limite inaccettabile, soprattutto se il motore deve entrare in un’infrastruttura regolata.

C’è poi la questione della longevità. Un progetto MIT può essere forkato se l’autore sparisce. Un motore compilato sotto EULA dipende dall’azienda che lo mantiene. Nessuno dei due scenari è garantito, ma sono rischi diversi. Chi costruisce un prodotto sopra Halogen dovrebbe avere un piano B e il piano B più naturale è proprio GUFO.

TIP: “gratis per uso commerciale” non significa “open source”. Prima di adottare un motore chiuso, leggi la licenza del motore, quella dei pesi del modello e quella delle dipendenze. Sono tre cose separate e possono avere condizioni diverse.

Quale scegliere

Se il tuo obiettivo è capire, modificare e integrare, GUFO è la scelta naturale. Ti dà un motore aperto, più modelli, un’API standard e la possibilità di intervenire sui kernel. In cambio ti chiede tempo: build, revisioni fissate, configurazione della cache e attenzione alle release.

Se il tuo obiettivo è far girare Qwen3.8-Flash-Next nel modo più rapido possibile su una macchina dedicata, senza toccare nulla, Halogen è costruito esattamente per quello. La latenza sulle sessioni lunghe è il suo punto di forza e il fatto che sia chiuso è il prezzo che paghi per quella specializzazione.

Se sei nel mezzo, la risposta pratica è: provali entrambi sulla tua macchina, con il tuo carico di lavoro. Tieni un motore solo alla volta, verifica la memoria disponibile, misura il tempo fino al primo token e il tempo totale, non solo i token al secondo. E conserva la configurazione del gateway per tornare indietro, perché su queste macchine un cambio di motore è meno banale di un cambio di modello.

La vera notizia non è che uno dei due sia migliore. È che per la prima volta un chip integrato AMD ha due motori seri che si contendono il compito di far girare un modello da 125 miliardi di parametri in locale. Fino a poco tempo fa questa frase non aveva senso. Oggi è un confronto con numeri, repository e utenti che li provano.

FAQ

GUFO e Halogen sono modelli di intelligenza artificiale?

No. Sono motori di inferenza: il software che carica Qwen3.8-Flash-Next e lo fa rispondere. Il modello è un’altra cosa e puoi cambiarlo senza cambiare motore, almeno con GUFO.

Funzionano su GPU NVIDIA o su un Mac?

No, il supporto principale è per AMD Strix Halo, GPU Radeon 8060S con architettura gfx1151. Su altre piattaforme servono motori diversi, per esempio llama.cpp, Ollama o le soluzioni specifiche per Apple Silicon.

Quale dei due è più veloce con Qwen3.8-Flash-Next?

Dipende dalla misura. Sul prefill i numeri pubblicati sono vicini, intorno a 1.800-2.000 token/s, ma misurati in condizioni diverse. Halogen è più aggressivo sulla latenza delle sessioni lunghe, GUFO è più flessibile e più facile da integrare. Non esiste un vincitore assoluto senza il tuo carico di lavoro.

Posso usare un GGUF di Unsloth con entrambi?

Con GUFO sì, la documentazione indica proprio l’UD-Q4_K_XL a quattro shard. Con Halogen sì dal 0.7.0, ma solo con i GGUF supportati e seguendo la guida del progetto. Non è un “qualsiasi GGUF va bene” in nessuno dei due casi.

Servono davvero 128 GB di memoria?

Per Qwen3.8-Flash-Next in questa configurazione sì, o quasi. I pesi occupano circa 104 GiB con GUFO e circa 111 GiB con Halogen, prima di cache, testa MTP e proiettore. Su macchine da 64 GB il modello non entra, a meno di scendere a quantizzazioni più aggressive e accettare compromessi sulla qualità.

Halogen è gratis?

L’uso commerciale è royalty-free secondo la sua EULA, ma il motore è compilato e chiuso. Non è open source e non puoi modificarlo. La licenza del modello e quella delle dipendenze restano separate.

Newsletter settimanale con le ultime novità sull’intelligenza artificiale

Corso gratuito sull’Intelligenza Artificiale, dalle nozioni base ai concetti più complessi

Condividi:

Potrebbero interessarti