Zyphraが「ZONOS3-Mini」を公開、音声クローンに対応しブラウザ上で動作するオープンソース音声合成モデル
Zyphraは、総パラメータ数8億（アクティブパラメータ数1億）の音声合成モデル「ZONOS3-Mini」をApache 2.0ライセンスで公開した。音声サンプルからの声の複製に加え、アクセント、年齢、感情、発話速度を単語単位で調整可能。ノートPCやスマートフォン、ブラウザ上でリアルタイムに動作する。
わずか数秒で音声を複製するために、もはや専用サーバーは不要になった。オープンモデルの開発で知られる米カリフォルニア州の研究所Zyphraは、スマートフォン上で動作し、ブラウザ上で直接実行可能なApache 2.0ライセンスの音声合成モデル「ZONOS3-Mini」を公開した。
少ない計算量と高度なパラメータ設計
ZONOS3-MiniはMoE（Mixture of Experts）型のモデルである。総パラメータ数は8億におよぶが、各時点で呼び出されるのは約1億パラメータにすぎない。Zyphraは複数の段階で計算負荷を削減したと説明している。ZONOS2で使用されたコーデックの毎秒86フレームに対し、音声を毎秒15フレームに分割する独自開発の新型オーディオコーデック「ZAC-1」の採用、大規模言語モデルに着想を得たハイブリッドアーキテクチャ、そして堅牢性を高めるための2段階のポストトレーニングである。同社によれば、学習は112基のH100 GPUを用いて2.5日で完了したという。
公表された性能では、Pixel 9のブラウザ上で570ミリ秒未満、MacBook Air M3上では150ミリ秒未満で最初の音声が出力される。Hugging Faceのページでは、WebGPUを介してユーザーのGPU上で完全に動作する音声スタジオのほか、Nvidia、Apple Silicon、CPU向けの実行環境が提供されている。
クローン、設計、演技指導
同モデルは、文字起こしのテキストなしで、最長1分間の音声クリップから声を複製できる。また、年齢、性別、アクセント、声質（滑らか、かすれ声など）を調整して声そのものを「作成」することも可能だ。さらに、感情、発話速度、声の張り、表現力を細かく指定し、文の一部だけを囁き声にするといった演技指導にも対応している。生成済みの文章を部分的に修正できる編集モデルも備える。テキストの正規化はフランス語を含む9言語に対応しており、標準で27種類の音声が用意されている。
Zyphraは並行して評価ベンチマーク「ZTTS2-Eval」を公開し、独自の指標においてZONOS3-MiniがFish S2 ProやMOSS TTS v1.5を上回り、オープンモデルの首位に立ったとしている。ただし、これは開発元自身が作成した評価基準である点には留意が必要だ。
編集部の見方
クリエイターやゲームスタジオ、アシスタント機能の開発者にとって、これほどの品質を謳うオープンモデルが寛容なライセンスでオフライン動作することは、従量課金制サービスへの依存を見直す契機になり得る。一方で、この手軽さは同意のない音声クローニングへの懸念を呼び起こす。Apache 2.0ライセンスには利用制限がなく、短い音声クリップから他人の声を複製することを技術的に防ぐ手立ては発表内容に含まれていない。品質面についても、提示された比較データはZyphra独自のベンチマークによるものであり、とりわけフランス語を含め、第三者による試聴テストで公約どおりの実力を示せるかが今後の焦点となる。
出典
一次情報とは、当該企業・研究所・団体が直接発信した情報です。二次情報は、発信元ではない媒体が伝えた情報で、その旨を明記しています。誤りを見つけたら訂正方針をご覧ください。
