動画

Pika、MiniMax H3ベースのオープンウェイト音声同期動画生成モデル「Pika H3 Flex」を公開

Pikaは、MiniMax H3の事後学習に基づき、6サンプリングステップで音声同期動画を生成するモデル「Pika H3 Flex」のアダプターを公開した。ローカル動作時は480pまたは768pを出力し、4Kや個別オーディオトラックの書き出しは有料のPika API経由で提供される。

動画カテゴリー用に生成した抽象的なイラスト

Pikaは10月29日(木)18時37分(パリ時間)、音声同期動画生成モデルであるPika H3 Flexを公開した。その重みは初日からHugging Faceでダウンロード可能となっており、GitHubでコードが提供され、diffusersおよびComfyUIをサポートしている。Pikaは同モデルを、プロのクリエイターに向けた高速イテレーション用ツールと位置づけている。

MiniMax H3から派生したモデル

Pika H3 Flexは、ゼロから学習されたモデルではない。GitHubリポジトリによると、これはMiniMax H3を事後学習したものであり、2つのアダプター(テキストおよびカットの開始・終了画像用と、マルチモーダル参照用)として配布されている。6サンプリングステップで動画とステレオ音声を生成する。

ローカル環境では、11種類のアスペクト比に対応し、24fpsで5〜15秒のクリップを480pまたは768pで出力する。最大12件の参照ファイル(画像9件、動画3件、音声クリップ3件)の入力に対応している。

個人向けマシンでの利用には、2つのハードルがある。

  • ライセンス:アダプターには標準的なオープンソースライセンスではなくMiniMax H3 Community License Agreementが適用される。Apache 2.0が適用されるのは推論コードのみである。
  • ハードウェア:1リクエストにつきNVIDIA製GPUが1基必要で、テストケースは80GBのH100で実施されている。また、約210GBのベースファイルと5.5GBのアダプターのダウンロードが必要となる。

有料プラン限定の機能

プロダクション環境で特に役立つ機能は、Pikaのホスト型API経由で提供される。ドラフトからの1080p、2K、4Kへのアップスケール、最大5トラックの個別オーディオ書き出し(対話、音楽、効果音、フォーリー、環境音)、プロンプト補正などが該当する。APIは生成された動画の秒数に応じて課金され、ローンチ記念価格として480pで1秒あたり0.01ドルから提供される(通常料金は0.02ドル)。Pika API Clubのメンバーは、11月5日まで1日15回の無料生成を利用できる。

検証が必要な数値

Pikaは、このモデルが15秒のクリップを7秒で生成でき、H3 Maxよりも高速であると主張しているが、これらの測定値は全体の所要時間ではなくモデルの計算時間に関するものだと明記している。また、DesignArenaのText-to-Videoランキングにおいて、MiniMax H3やH3 Maxを抑えて動画品質で7位にランクインし、オープンウェイトモデルの中では首位であるとしている。編集部はこの順位をDesignArena上で独自に検証していない。

編集部の見方

Pika H3 Flexは、生成動画分野で広まりつつある戦略を象徴している。基礎となる「ドラフト」モデルの重みを公開してコミュニティ(ComfyUIやdiffusers)を取り込みつつ、仕上げ工程(4Kや個別オーディオトラック)は有料APIに留めるという手法だ。スタジオや開発者にとって、手元で実行・調整可能な音声付きマルチリファレンス動画モデルの登場は確かな進展である。しかし、MiniMaxのライセンスに依存しているため商用利用前には条件の確認が不可欠であり、データセンター向けGPUを要求する点からも、ノートPCで扱えるモデルではない。

出典

  1. Pika(X)— Pika H3 Flexの発表 一次情報
  2. Pika(X)— コード、重み、diffusersおよびComfyUI 一次情報
  3. Pika — Pika H3 Flexページ(機能と料金) 一次情報
  4. GitHub — Pika-Labs/Pika-H3-Flex 一次情報
  5. Hugging Face — Pika-Labs/Pika-H3-Flex 一次情報

一次情報とは、当該企業・研究所・団体が直接発信した情報です。二次情報は、発信元ではない媒体が伝えた情報で、その旨を明記しています。誤りを見つけたら訂正方針をご覧ください。