Clover-35B-A3B: DiffuSpace pubblica in open source un modello linguistico da 35 miliardi di parametri a diffusione

DiffuSpace ha pubblicato questo mercoledì 28 ottobre, verso le 4:42, ora di Parigi, Clover-35B-A3B-Preview, un modello linguistico aperto che non funziona come la maggior parte degli altri. Invece di scrivere il testo un token dopo l’altro (si parla di modello « autoregressivo »), lo genera per diffusione: parte da una bozza di blocchi interi e la affina in più passaggi, in parallelo. Il team, proveniente dal laboratorio NLP dell’Università di Hong Kong, aveva già firmato Dream 7B nel 2025.

I pesi sono pubblicati con licenza Apache 2.0 su Hugging Face e ModelScope, con il codice su GitHub.

Cosa sappiamo del modello

• Architettura: mixture of experts (MoE), 35 miliardi di parametri in totale, di cui circa 3 miliardi attivi per ogni token, il che lo rende leggero da eseguire per le sue dimensioni.
• Base: riprende l’architettura di Qwen3.6-35B-A3B, di Alibaba, adattando il suo meccanismo di memoria (Gated DeltaNet) affinché legga il contesto in entrambe le direzioni all’interno di ogni blocco.
• Utilizzo: modalità di ragionamento, supporto da parte di SGLang e llama.cpp, due strumenti comuni per eseguire modelli in locale o su server. È proposto un accesso online su richiesta.

Le promesse, da verificare

L’argomento principale è la velocità. DiffuSpace annuncia 680 token al secondo su una singola scheda NVIDIA GB300 (in BF16, una richiesta alla volta, sui suoi dati interni di agenti), e 515 token/s contro 365 per un modello Qwen della stessa dimensione accelerato dalla tecnica DFlash2 su una scheda H200. In versione compressa (INT4), il modello girerebbe a 101,8 token/s su una RTX 5070 Ti consumer da 16 GB.

Sul fronte della qualità, lo sviluppatore avanza 73,6 su SWE-bench Verified e 51,7 su Terminal-Bench 2.1, due test di codice e agenti, nonché 83,8 su GPQA Diamond. Afferma di superare Qwen3.6-35B-A3B su diversi test. Queste cifre provengono tutte da DiffuSpace: nessun valutatore indipendente le ha ancora riprodotte.

Il post presenta anche un modello decisionale derivato da Clover, pensato per concatenare più giudizi correlati in un unico passaggio, nonché un futuro ambiente di agenti e un’applicazione di programmazione, entrambi annunciati come « in sviluppo ».