Kandinsky S2V 1.0：MITライセンスのオープンウェイトなトーキングアバターモデル群が公開

SberのKandinskyモデル開発チームであるKandinsky Labが、1枚の画像と音声トラックから話す人物の動画を生成する「speech-to-video」モデルファミリー、Kandinsky S2V 1.0を公開した。コードはGitHubで、重みはHugging Faceで公開されており、専門メディアのmlllm.ioが2026年11月3日に報じた。コードと重みはMITライセンスの下で提供されており、商用利用が認められている。クローズドなアバター生成やリップシンクサービスが主流のこの分野において、これは異例の措置である。

口元だけでなく、身体全体を再現

READMEでは、頭部だけでなくシルエット全体がアニメーション化される点が強調されている。参照画像、音声録音、短い記述をもとに、モデルは唇の動き、表情、姿勢、ジェスチャーが発話に連動する動画を毎秒25フレームで生成する。出力は標準解像度またはHDで、元の画像のフォーマットに準拠する。長時間のスピーチは、過去フレームのメモリによって連結される5秒のブロック単位で生成される。

提供されるサイズは、20億パラメータのLiteと210億パラメータのProの2種類で、それぞれにより高速な蒸留版が存在する。技術的には、これらのモデルはKandinsky 5.0 Videoをベースとしており、従来の音声エンコーダの代わりにテキストと音声の両方を読み取るQwen2.5-Omniを採用している。開発チームによると、英語とロシア語で記述された単一話者の117万シーケンスで学習されたという。Diffusersライブラリへの統合も存在するが、まだ公式リリース版には含まれていない。

オープンだが、軽量ではない

ライセンスはオープンだが、必要なハードウェアは決して手軽ではない。リポジトリでは48GB以上のNVIDIA製GPUが要求されており、HD画質では80GBが必要となる。デコーダのタイリング分割オプションを使用すれば約28GBまで抑えられるが、わずかに継ぎ目が見える場合がある。蒸留版であっても、H100上でLite版が1秒の動画を生成するのに約9秒を要する。APIや価格設定は存在せず、Hugging Face上のオンラインデモを伴う研究リリースという位置付けである。

品質に関する数値は、開発チーム自身が公表したものに限られる。彼らの主張によれば、ブラインド比較においてPro版は最高のオープンソースモデルおよび名称非公開の2つの商用モデルと同等以上の評価を得ており、リップシンクの精度で特に選ばれたという。独立した検証結果はまだ公開されていない。