Clover-35B-A3B：DiffuSpace、350億パラメータの拡散型言語モデルをオープンソースで公開

DiffuSpaceは10月28日水曜日、午前4時42分（パリ時間）頃、Clover-35B-A3B-Previewを公開した。ほとんどのモデルとは異なる動作をするオープンな言語モデルだ。テキストを1トークンずつ書くのではなく（いわゆる「自己回帰型」モデル）、拡散によって生成する。つまり、ブロック全体の下書きから始めて、複数回のパスで並列に洗練していく。香港大学NLP研究室出身のこのチームは、2025年にDream 7Bを発表していた。

重みはApache 2.0ライセンスでHugging FaceとModelScopeに公開され、コードはGitHubにある。

モデルについて判明していること

• アーキテクチャ：エキスパート混合（MoE）、合計350億パラメータ、うち1トークンあたり約30億がアクティブで、この規模にしては軽量に動作する。
• 基盤：AlibabaのQwen3.6-35B-A3Bのアーキテクチャを採用し、メモリメカニズム（Gated DeltaNet）を各ブロック内で双方向にコンテキストを読めるよう適応させている。
• 用途：推論モード、ローカルまたはサーバーでモデルを動かすための一般的なツールであるSGLangとllama.cppをサポート。オンラインアクセスは申請制で提供。

検証が必要な約束

最大の売りは速度だ。DiffuSpaceは単一のNVIDIA GB300カード（BF16、1リクエスト、社内のエージェントデータ）で680トークン/秒を発表し、H200カードでDFlash2技術により高速化された同規模のQwenモデルに対して515対365トークン/秒を謳っている。圧縮版（INT4）では、16GBの一般消費者向けRTX 5070 Tiで101.8トークン/秒で動作するという。

品質面では、開発元はコードとエージェントの2つのテストであるSWE-bench Verifiedで73.6、Terminal-Bench 2.1で51.7、さらにGPQA Diamondで83.8を主張している。複数のテストでQwen3.6-35B-A3Bを上回ると述べている。これらの数値はすべてDiffuSpaceによるもので、独立した評価者はまだ再現していない。

ブログ記事では、Cloverから派生した意思決定モデルも紹介されており、関連する複数の判断を1回のパスで連続して行えるよう設計されている。また、エージェント環境とプログラミングアプリケーションも「開発中」として発表されている。