Clover-35B-A3B : DiffuSpace publie en open source un modèle de langage à diffusion de 35 milliards de paramètres

DiffuSpace a publié ce mercredi 28 octobre, vers 4 h 42, heure de Paris, Clover-35B-A3B-Preview, un modèle de langage ouvert qui ne fonctionne pas comme la plupart des autres. Au lieu d’écrire le texte un token après l’autre (on parle de modèle « autorégressif »), il le génère par diffusion : il part d’un brouillon de blocs entiers et l’affine en plusieurs passes, en parallèle. L’équipe, issue du laboratoire NLP de l’université de Hong Kong, avait déjà signé Dream 7B en 2025.

Les poids sont publiés sous licence Apache 2.0 sur Hugging Face et ModelScope, avec le code sur GitHub.

Ce que l’on sait du modèle

• Architecture : mélange d’experts (MoE), 35 milliards de paramètres au total, dont environ 3 milliards actifs pour chaque token, ce qui le rend léger à faire tourner pour sa taille.
• Base : il reprend l’architecture de Qwen3.6-35B-A3B, d’Alibaba, en adaptant son mécanisme de mémoire (Gated DeltaNet) pour qu’il lise le contexte dans les deux sens à l’intérieur de chaque bloc.
• Usage : mode de raisonnement, prise en charge par SGLang et llama.cpp, deux outils courants pour faire tourner des modèles en local ou sur serveur. Un accès en ligne est proposé sur demande.

Les promesses, à vérifier

Le principal argument est la vitesse. DiffuSpace annonce 680 tokens par seconde sur une seule carte NVIDIA GB300 (en BF16, une requête à la fois, sur ses données internes d’agents), et 515 tokens/s contre 365 pour un modèle Qwen de même taille accéléré par la technique DFlash2 sur une carte H200. En version compressée (INT4), le modèle tournerait à 101,8 tokens/s sur une RTX 5070 Ti grand public de 16 Go.

Côté qualité, l’éditeur avance 73,6 sur SWE-bench Verified et 51,7 sur Terminal-Bench 2.1, deux tests de code et d’agents, ainsi que 83,8 sur GPQA Diamond. Il affirme dépasser Qwen3.6-35B-A3B sur plusieurs tests. Ces chiffres viennent tous de DiffuSpace : aucun évaluateur indépendant ne les a encore reproduits.

Le billet présente aussi un modèle de décision dérivé de Clover, pensé pour enchaîner plusieurs jugements liés en une seule passe, ainsi qu’un futur environnement d’agent et une application de programmation, tous deux annoncés comme « en développement ».