Ling-3.1-flash-1019：Ant Group、5600億パラメータのエージェント向けモデルをMITライセンスで公開

inclusionAIは、Ant Group（Alipayの親会社）のAIラボで、10月27日（火）にLing-3.1-flash-1019の重みを公開した。これは同社のLing-3.1-flashモデルの改良版である。モデルはHugging FaceとModelScopeにMITライセンスで公開されており、最も寛容なライセンスの一つである。商用利用、改変、再配布が自由。公式発表はXでパリ時間13時45分に投稿された。

Antは同時にLing-3.1-flash-baseも公開した。これはポストトレーニング前のベースモデルで、独自のデータで適応または学習させたい人向けである。

非常に大きなモデルだが、アクティブなパラメータは少ない

カードによると、Ling-3.1-flash-1019は5600億パラメータのエキスパート混合（MoE）モデルで、各トークンで250億のみが使用される。512エキスパートのうち8つが各ステップでアクティブになる。Antはアーキテクチャを「ハイブリッド線形」と説明している。ほとんどのレイヤーは線形アテンション機構（KDA）を使用し、長いテキストでコストが低く、8レイヤーに1つは従来のアテンション（Gated MLA）を使用する。これにより100万トークンのコンテキストウィンドウを発表できる。

250億というアクティブパラメータの数字に惑わされてはならない。モデル全体をメモリにロードする必要がある。重みは主にFP8で、約570 GBで、SGLangで提供されるリファレンス構成はH200 GPU 8基（またはGB300 4基）で動作する。これはサーバー向けのモデルであり、ワークステーション向けではない。

前バージョンからの変更点

「1019」という番号は、推論とエージェント（ツールを使った複数ステップのタスク）に焦点を当てた追加のポストトレーニングを示す。開発元は明確な改善を主張している。AA-Briefcaseで1524 Elo（以前は約1400）、AutomationBench-AAで68%（62%）、CritPtで26%（18%）、SciCodeで57%（54%）。

最も確実な数字は総合指数である。モデルを独立して測定するArtificial Analysisは、確かにIntelligence Indexで44のスコアを表示しており、Antによると前バージョンは41。サイトは入力100万トークンあたり0.30ドル、出力0.90ドルの価格を示している。

知っておくべき限界

同じArtificial Analysisのページは弱点を指摘している。モデルは非常に冗長である。指数のテストバッテリーを通過するために3億5000万トークンを生成しており、中央値は1億4000万。実際には、より長く遅い回答を意味し、トークンあたりの価格から予想されるよりも請求額が速く上昇する。Artificial Analysisは指数のタスクあたりの平均コストを1.49ドルと評価している。

エージェントの詳細スコア（AA-Briefcase、AutomationBench）は、現時点では開発元が伝えたもののままである。最後に、Artificial Analysisはモデルのリリース日を10月22日としているが、公開リポジトリは27日に作成された。重みの公開前に評価またはAPIで提供されていた可能性があるが、それは明記されていない。