Baidu publie les poids d'ERNIE 5.5 Flash Base, un modèle de base de 280 milliards de paramètres dont la licence exclut l'Union européenne

Baidu a mis en ligne le 5 novembre 2026 les poids d’ERNIE-5.5-Flash-Base, un modèle de langage de type Mixture-of-Experts (MoE) de 280 milliards de paramètres, dont 14 milliards seulement sont sollicités pour chaque token. Particularité de cette sortie : il s’agit d’un modèle de base, figé à la fin du pré-entraînement, que Baidu présente comme un point de départ pour la recherche et l’adaptation. Et un détail de sa licence concerne directement les lecteurs européens : elle exclut l’Union européenne.

Un modèle de base, pas un assistant

ERNIE-5.5-Flash-Base n’a reçu ni entraînement intermédiaire ni post-entraînement : il ne suit pas d’instructions et ne converse pas, il complète du texte. Baidu le destine à l’adaptation à un domaine, au réglage par instructions et à la recherche sur l’apprentissage par renforcement, en promettant que la version post-entraînée d’ERNIE 5.5 Flash « suivra », sans date. C’est une stratégie inhabituelle : la plupart des laboratoires publient d’abord le modèle fini, et le modèle de base en complément.

Le modèle a été entraîné de zéro sur 33 500 milliards de tokens, avec un contexte d’entraînement de 128 000 tokens ; Baidu indique que le fine-tuning et l’inférence acceptent jusqu’à un million de tokens. Le corpus met l’accent sur le code à l’échelle de dépôts entiers (commits, tickets, pull requests, revues de code, correctifs validés par intégration continue) et sur la compréhension de textes longs. Les poids sont proposés en FP8 et en BF16, sur Hugging Face et ModelScope, avec des instructions de déploiement pour SGLang et vLLM.

Une architecture pensée pour le coût

L’essentiel du billet technique porte sur l’efficacité. Sur les 43 couches, une sur sept seulement garde un accès token par token à tout le contexte (attention latente MLA, rendue creuse) ; les 37 autres utilisent une attention fortement compressée qui ne conserve qu’une entrée de cache pour 128 tokens. L’objectif est de réduire la mémoire nécessaire aux contextes longs, un poste de coût majeur pour les agents. Chaque couche MoE compte 512 experts (10 actifs par token) plus un expert partagé, choisis par plusieurs routeurs indépendants plutôt qu’un seul. Baidu remplace aussi le module de prédiction multi-tokens par la dernière couche du réseau, qui sert en plus de modèle d’ébauche pour le décodage spéculatif.

Des scores au-dessus de DeepSeek, selon Baidu

Baidu compare son modèle à trois modèles de base chinois de taille voisine, évalués selon lui avec le même protocole : DeepSeek-V4-Flash-Base (284 milliards de paramètres, 13 actifs), Hy3-preview-Base (295 milliards de paramètres) et MiMo-V2.5-Base (310 milliards). ERNIE arrive en tête sur la plupart des tests : 78,4 sur MMLU-Pro contre 69,2 pour DeepSeek, 82,3 contre 69,5 sur HumanEval+, 40,1 contre 31,9 sur LiveCodeBench. Il est en revanche devancé sur ChineseSimpleQA (73,0 contre 75,3 pour DeepSeek), sur FullStackBench (54,6 contre 56,7 pour Hy3-preview-Base) ou sur InfiniteBench. Ces chiffres restent ceux de l’éditeur, sur un modèle de base : ils ne disent rien des performances du futur modèle conversationnel.

Une licence maison très restrictive

La licence, propre à Baidu, n’a rien d’une licence open source. Elle définit un territoire qui couvre le monde entier sauf l’Union européenne, le Royaume-Uni et la Corée du Sud, et précise que le modèle, ses dérivés et même ses sorties ne doivent pas être utilisés, reproduits ou diffusés en dehors de ce territoire. Ailleurs, l’usage non commercial est libre ; l’usage commercial est gratuit tant que les produits concernés ne dépassent pas 50 millions de dollars de chiffre d’affaires annuel, avec une notification unique à Baidu et l’affichage de la mention « Powered by ERNIE ». Au-delà, il faut une autorisation écrite. La licence interdit aussi d’utiliser le modèle ou ses sorties pour améliorer un autre modèle que ses propres dérivés, ainsi que tout usage militaire.