Baidu、2800億パラメータのベースモデル「ERNIE 5.5 Flash Base」の重みを公開。ライセンスはEUを除外

Baiduは2026年11月5日、2800億パラメータのMixture-of-Experts（MoE）言語モデルERNIE-5.5-Flash-Baseの重みを公開した。各トークンで呼び出されるパラメータはわずか140億にとどまる。今回の公開の特徴は、事前学習完了時点で固定されたベースモデルである点であり、Baiduはこれを研究および適応の出発点と位置づけている。そして、欧州の読者に直接影響するライセンスの詳細として、欧州連合（EU）が除外されている。

アシスタントではなくベースモデル

ERNIE-5.5-Flash-Baseは中間学習もポストトレーニングも受けていない。指示に従ったり会話したりするわけではなく、テキストの補完を行う。Baiduはこれを特定ドメインへの適応、指示チューニング、強化学習の研究向けとしており、ポストトレーニング版のERNIE 5.5 Flashも時期は明示せず「追って公開する」と予告している。大半の研究所は完成したモデルを先に公開し、ベースモデルは補足として公開するため、これは異例の戦略である。

同モデルは33兆5000億トークンを用いてゼロから学習され、学習コンテキスト長は128,000トークンである。Baiduによると、ファインチューニングおよび推論では最大100万トークンまで対応可能だという。コーパスではリポジトリ規模のコード（コミット、チケット、プルリクエスト、コードレビュー、CI検証済みパッチ）および長文テキストの理解が重視されている。重みはFP8およびBF16形式でHugging FaceとModelScope上に提供されており、SGLangおよびvLLM向けのデプロイ手順も用意されている。

コストを考慮したアーキテクチャ

技術ブログの大半は効率性に関する記述に割かれている。43層のうち、コンテキスト全体に対してトークンごとのアクセスを維持するのは7層に1層のみ（疎にされたMLA潜在アテンション）である。残る37層には、128トークンにつき1つのキャッシュエントリしか保持しない高度に圧縮されたアテンションが採用されている。目的は、エージェントにおいて大きなコスト要因となる長文コンテキストに必要なメモリを削減することにある。各MoE層には512個のエキスパート（トークンあたり10個がアクティブ）と1つの共有エキスパートが存在し、単一のルーターではなく複数の独立したルーターによって選択される。Baiduはまた、マルチトークン予測モジュールをネットワークの最終層に置き換え、これを投機的デコーディングのドラフトモデルとしても機能させている。

BaiduによればDeepSeekを上回るスコア

Baiduは同モデルを、同社いわく同一プロトコルで評価された近いサイズの中国製ベースモデル3種と比較している。対象はDeepSeek-V4-Flash-Base（2840億パラメータ、アクティブ130億）、Hy3-preview-Base（2950億パラメータ）、MiMo-V2.5-Base（3100億パラメータ）である。ERNIEは大半のテストで首位に立っており、MMLU-ProでDeepSeekの69.2に対して78.4、HumanEval+で69.5に対して82.3、LiveCodeBenchで31.9に対して40.1を記録した。一方で、ChineseSimpleQA（DeepSeekの75.3に対して73.0）、FullStackBench（Hy3-preview-Baseの56.7に対して54.6）、InfiniteBenchでは後塵を拝している。これらの数値は開発元自身による測定であり、かつベースモデルでの結果であるため、将来の対話モデルの性能を示すものではない。

非常に制限の厳しい独自ライセンス

Baidu独自のこのライセンスは、オープンソースライセンスとはまったく異なる。ライセンスは対象地域を欧州連合、英国、韓国を除く全世界と定義し、モデル、派生モデル、さらにはその出力すらも、この対象地域の外部で利用、複製、配布してはならないと明記している。対象地域内であれば非商用利用は自由である。商用利用は、関連製品の年間売上高が5000万ドルを超えない限り無料で、Baiduへの1回限りの通知と「Powered by ERNIE」の表記が必要となる。それを超える場合は書面による許諾が必要だ。また、ライセンスは自身の派生モデルを除き、別のモデルを改善するために本モデルやその出力を利用すること、ならびに軍事利用の一切を禁止している。