Mirendil présente Fern, un premier modèle annoncé avec un contexte de 10 millions de tokens

Mirendil, un nouveau laboratoire d’IA, a présenté le 26 octobre son premier modèle, Fern. Son argument tient en un chiffre : une fenêtre de contexte annoncée jusqu’à 10 millions de tokens, soit, selon l’éditeur, environ 23 Mo de code ou un demi-million de lignes tenus en mémoire de travail en une seule fois. À titre de comparaison, GPT-6.1 Terra d’OpenAI, rendu disponible le même jour sur Amazon Bedrock, accepte jusqu’à 1 million de tokens en entrée sur Amazon Bedrock.

Miser sur le contexte plutôt que sur la taille

Mirendil défend une thèse simple : pour rendre un modèle plus capable, on peut augmenter son nombre de paramètres, mais aussi la quantité d’informations qu’il peut consulter d’un coup. Fern 0.1, la première version, est construit sur Mirendil-Base, un modèle de 0,1 à 0,5 billion de paramètres (l’éditeur ne donne qu’une fourchette), pré-entraîné de zéro puis affiné par un court post-entraînement.

Les usages visés sont ceux des équipes qui construisent de l’IA : auditer des données d’entraînement, déboguer un entraînement à partir de ses journaux, relire des traces d’agents de bout en bout, travailler sur de très gros dépôts de code. Deux modèles de base plus grands, Large (0,5 à 2 billions de paramètres) et XL (2 à 10 billions), sont en cours de pré-entraînement.

Ce que montrent les chiffres de l’éditeur

Sur la longueur de contexte, Mirendil publie un test RULER : la recherche d’une information isolée (« single needle ») réussit à 100 % à toutes les longueurs testées, jusqu’à 10 millions de tokens. Mais à cette longueur, le score repose sur 20 exemples seulement, et l’éditeur annonce lui-même des résultats plus complets « bientôt ». Retrouver une aiguille dans une botte de foin est le test le plus simple ; raisonner sur l’ensemble d’un tel contexte est beaucoup plus difficile.

En programmation, les scores de Fern 0.1, mesurés par Mirendil avec l’outil OpenCode en une seule tentative, restent loin des meilleurs : 73,4 % sur SWE-Bench Verified et 76,5 % sur SWE-Bench Pro v2-Hard, là où le même graphique attribue 90,2 % à GPT-6 Astra sur ce dernier test. Les méthodes de mesure diffèrent d’un modèle à l’autre dans ce graphique, ce qui limite la portée de la comparaison.

Pas encore utilisable

Point essentiel : Fern 0.1 n’est pas accessible. La page indique un accès « bientôt » et propose une demande d’accès anticipé. Ni prix, ni API, ni poids ouverts ne sont annoncés.