Nemotron 3.5 Transcribe: NVIDIA veröffentlicht offenes Modell, das 40 Sprachen transkribiert, Sprecher erkennt und übersetzt – inklusive Trainingsdaten

NVIDIA hat offiziell an diesem Mittwoch, den 28. Oktober, um 16:14 Uhr Pariser Zeit Nemotron 3.5 Transcribe vorgestellt, ein Spracherkennungsmodell mit offenen Gewichten. Das Versprechen: die übliche Kette mehrerer Tools (Transkription, dann Sprecheridentifikation, dann Übersetzung) durch ein einziges Modell zu ersetzen, das man mit Anweisungen in natürlicher Sprache steuert.

Es transkribiert 40 Sprachen, darunter Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch (einschließlich Brasilien) und Japanisch, übersetzt 31 davon von und ins Englische, ordnet Äußerungen bis zu acht Sprechern in 13 Sprachen zu und akzeptiert Aufnahmen bis zu einer Stunde.

Ein Sprachmodell, das zuhört

Technisch setzt Nemotron 3.5 Transcribe einen Audio-Encoder (etwa 800 Millionen Parameter, mit einem eigenen Zweig für die Spracherkennung) auf Nemotron 3.5 Lightning, das hybride Mamba-Transformer-Sprachmodell mit Mixture-of-Experts von NVIDIA. Das Ganze wiegt laut Karte 34 Milliarden Parameter, aktiviert aber nur etwa 4,3 Milliarden pro Token, was den Betrieb auf einer einzigen GPU ermöglicht. NVIDIA rundet in seinen Veröffentlichungen auf „30B“ und „etwa 4B“.

Weil es ein Sprachmodell ist, spricht man mit ihm wie mit einem Assistenten: „Transkribiere mit Angabe jedes Sprechers“, „Übersetze ins Englische“, „Welche Entscheidungen wurden in diesem Meeting getroffen?“. Man kann ihm auch Vokabular vorgeben, etwa Medikamentennamen, um Fehler bei seltenen Begriffen zu vermeiden. Es liefert Zeitstempel auf Wortebene und kann personenbezogene Daten erkennen und maskieren, eine Aufgabe, die in geringem Umfang in seinem Training enthalten ist.

Offen bis zu den Daten

Das ist der bemerkenswerteste Punkt. Das Modell ist unter OpenMDW-1.1 veröffentlicht, einer permissiven Lizenz, die jede Nutzung erlaubt, auch kommerziell, unter der Bedingung, bei einer Weitergabe die Lizenz und die Hinweise beizubehalten. NVIDIA stellt außerdem Granary v2 zur Verfügung, seinen mehrsprachigen Sprachdatensatz, die Aufbereitungskette dieser Daten und Feinabstimmungs-Rezepte mit NeMo Speech. In einer medizinischen Fallstudie reduzierte die Feinabstimmung die Fehlerrate um 45,8 Prozent gegenüber der besten Anweisung, laut NVIDIA.

Für diejenigen, die es nicht selbst hosten wollen, nennt NVIDIA Zugangspunkte bei Baseten, DeepInfra und Simplismart, ohne Preise in seinen Unterlagen.

Was man im Kopf behalten sollte

Die hervorgehobenen Ergebnisse stammen von NVIDIA. Das Unternehmen kündigt den ersten Platz unter den offenen Modellen auf dem englischen Open ASR Leaderboard von Hugging Face an (5,33 Prozent Fehler im Durchschnitt in seinem Beitrag, 4,71 Prozent in der Tabelle der Modellkarte, erhoben am 12. Oktober über neun öffentliche Datensätze), eine Gleichauf-Spitze unter den offenen Modellen bei Artificial Analysis (2,8 Prozent) und den ersten Platz auf zwei Sprecherzuordnungs-Benchmarks. Diese Ranglisten bewegen sich schnell.

Weitere schwarz auf weiß geschriebene Einschränkungen: Es ist ein Offline-Modell, kein Echtzeit-Diktierdienst; Audio-Fragen wurden nur auf Englisch evaluiert; und die angekündigten Rekorddurchsätze basieren auf Optimierungen, die noch nicht open source veröffentlicht sind, wobei die ausgelieferte Version laut NVIDIA etwa doppelt so langsam ist.