Mirendil、初のモデル「Fern」を発表、1000万トークンのコンテキストを謳う

Mirendilは新興のAIラボとして、10月26日に初のモデルFernを発表した。その売りは一つの数字に集約される。発表されたコンテキストウィンドウは最大1000万トークン、開発元によれば約23MBのコード、あるいは50万行を一度にワーキングメモリに保持できる計算だ。比較として、OpenAIのGPT-6.1 Terraは同日にAmazon Bedrockで提供開始され、Amazon Bedrock上では最大100万トークンの入力を受け付ける。

サイズよりコンテキストを重視

Mirendilが掲げる論旨は単純だ。モデルの能力を高めるには、パラメータ数を増やすだけでなく、一度に参照できる情報量を増やすこともできる、と。初版のFern 0.1はMirendil-Baseを基盤としており、0.1〜0.5Bパラメータのモデル（開発元は範囲のみを示す）で、ゼロから事前学習された後、短いポストトレーニングで微調整されている。

想定される用途は、AIを構築するチーム向けのものだ。学習データの監査、ログから学習のデバッグ、エージェントのトレースの最初から最後までの確認、非常に大きなコードリポジトリでの作業など。より大きな2つのベースモデル、Large（0.5〜2Bパラメータ）とXL（2〜10B）が事前学習中だ。

開発元の数字が示すもの

コンテキスト長について、MirendilはRULERテストを公開している。単一情報の検索（「single needle」）は、1000万トークンまで試験したすべての長さで100%成功したという。ただしこの長さでは、スコアはわずか20例に基づくものであり、開発元自身がより包括的な結果を「近日」発表すると述べている。干し草の山から針を見つけるのは最も簡単なテストであり、そのようなコンテキスト全体で推論するのははるかに難しい。

プログラミングにおいて、Fern 0.1のスコアは、MirendilがOpenCodeツールで1回試行で測定したものだが、最高水準からは程遠い。SWE-Bench Verifiedで73.4%、SWE-Bench Pro v2-Hardで76.5%。同じグラフでは後者のテストでGPT-6 Astraに90.2%が付与されている。このグラフではモデルごとに測定方法が異なるため、比較の射程は限られる。

まだ利用できない

重要なポイント。Fern 0.1は利用できない。ページには「近日」アクセスと記載され、早期アクセスの申請が提案されている。価格、API、オープンウェイトのいずれも発表されていない。