Nemotron 3.5 Transcribe：NVIDIA、40言語の文字起こし・話者認識・翻訳ができるオープンモデルを公開、学習データも付属

NVIDIAは10月28日（水）パリ時間16時14分、オープンウェイトの音声認識モデルNemotron 3.5 Transcribeを正式に発表した。その約束は、従来の複数ツールの連鎖（文字起こし、次に話者識別、次に翻訳）を、自然言語の指示で操作できる単一のモデルに置き換えることだ。

40言語（フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語（ブラジルを含む）、日本語を含む）を文字起こし、31言語を英語との双方向で翻訳し、13言語で最大8人の話者に発話を帰属させ、最大1時間の録音を受け付ける。

耳を傾ける言語モデル

技術的には、Nemotron 3.5 Transcribeは音声エンコーダー（約8億パラメータ、音声認識専用のブランチあり）をNVIDIAのハイブリッドMamba-Transformerエキスパート混合言語モデルNemotron 3.5 Lightningに接ぎ木している。モデルカードによると合計340億パラメータだが、トークンごとに約43億しかアクティブにならず、単一GPUで運用可能だ。NVIDIAは自社の発表で「30B」「約4B」と丸めている。

言語モデルであるため、アシスタントに話しかけるように指示する。「話者ごとに文字起こしせよ」「英語に翻訳せよ」「この会議でどのような決定がなされたか？」など。語彙、例えば医薬品名を与えて、稀な用語の誤りを防ぐこともできる。単語レベルのタイムスタンプを出力し、個人情報を検出してマスクすることもできる。このタスクは学習データに少量含まれている。

データまでオープン

これが最も注目すべき点だ。モデルはOpenMDW-1.1で公開されている。寛容なライセンスで、再配布時にライセンスとクレジットを保持する条件で、商用を含むあらゆる用途が許可される。NVIDIAは多言語音声データセットGranary v2、データ準備パイプライン、NeMo Speechによるファインチューニングのレシピも提供している。医療事例研究では、NVIDIAによるとファインチューニングにより最良のプロンプトと比較して誤り率が45.8%削減された。

ホスティングしたくない人のために、NVIDIAはBaseten、DeepInfra、Simplismartのアクセスポイントを挙げているが、自社の文書には料金は記載されていない。

覚えておくべきこと

強調される結果はNVIDIA発のものだ。同社は英語のHugging FaceのOpen ASR Leaderboardでオープンモデル1位（記事では平均誤り率5.33%、モデルカードの表では4.71%、10月12日時点の9つの公開データセットでの測定）、Artificial Analysisでオープンモデル同率首位（2.8%）、話者帰属の2つのベンチで1位を発表している。これらのランキングは変動が速い。

このほか、明記されている限界もある。オフラインモデルであり、リアルタイム音声入力サービスではない。音声に関する質問は英語のみで評価された。記録的なスループットの発表は、まだオープンソースで公開されていない最適化に基づいており、NVIDIAによると提供版は約2倍遅い。