Nemotron 3.5 Transcribe : NVIDIA publie un modèle ouvert qui transcrit 40 langues, reconnaît qui parle et traduit, avec ses données d'entraînement

NVIDIA a présenté officiellement ce mercredi 28 octobre à 16 h 14, heure de Paris, Nemotron 3.5 Transcribe, un modèle de reconnaissance vocale à poids ouverts. Sa promesse : remplacer la chaîne habituelle de plusieurs outils (transcription, puis identification des locuteurs, puis traduction) par un seul modèle que l’on pilote avec des consignes en langage naturel.

Il transcrit 40 langues, dont le français, l’allemand, l’espagnol, l’italien, le portugais (Brésil compris) et le japonais, traduit 31 d’entre elles de et vers l’anglais, attribue les paroles à jusqu’à huit locuteurs dans 13 langues et accepte des enregistrements jusqu’à une heure.

Un modèle de langage qui écoute

Techniquement, Nemotron 3.5 Transcribe greffe un encodeur audio (environ 800 millions de paramètres, avec une branche dédiée à la reconnaissance des voix) sur Nemotron 3.5 Lightning, le modèle de langage hybride Mamba-Transformer à mélange d’experts de NVIDIA. Le tout pèse 34 milliards de paramètres selon la fiche, mais n’en active qu’environ 4,3 milliards à chaque jeton, ce qui le rend exploitable sur un seul GPU. NVIDIA arrondit à « 30B » et « environ 4B » dans ses publications.

Parce que c’est un modèle de langage, on lui parle comme à un assistant : « transcris en indiquant chaque locuteur », « traduis en anglais », « quelles décisions ont été prises dans cette réunion ? ». On peut aussi lui fournir du vocabulaire, par exemple des noms de médicaments, pour éviter les fautes sur les termes rares. Il donne des horodatages au mot près et sait repérer et masquer des données personnelles, une tâche présente en petite quantité dans son entraînement.

Ouvert jusqu’aux données

C’est le point le plus marquant. Le modèle est publié sous OpenMDW-1.1, une licence permissive qui autorise tout usage, y compris commercial, à condition de conserver la licence et les mentions lors d’une redistribution. NVIDIA met aussi à disposition Granary v2, son jeu de données vocales multilingues, la chaîne de préparation de ces données et des recettes d’affinage avec NeMo Speech. Dans une étude de cas médicale, l’affinage a réduit le taux d’erreur de 45,8 % par rapport à la meilleure consigne, selon NVIDIA.

Pour ceux qui ne veulent pas l’héberger, NVIDIA cite des points d’accès chez Baseten, DeepInfra et Simplismart, sans tarif dans ses documents.

Ce qu’il faut garder en tête

Les résultats mis en avant viennent de NVIDIA. L’entreprise annonce la première place des modèles ouverts sur l’Open ASR Leaderboard de Hugging Face en anglais (5,33 % d’erreurs en moyenne dans son billet, 4,71 % dans le tableau de la fiche, relevé au 12 octobre sur neuf jeux publics), une égalité en tête des modèles ouverts chez Artificial Analysis (2,8 %), et la première place sur deux bancs d’attribution des locuteurs. Ces classements bougent vite.

Autres limites écrites noir sur blanc : c’est un modèle hors ligne, pas un service de dictée en temps réel ; les questions sur l’audio n’ont été évaluées qu’en anglais ; et les débits records annoncés reposent sur des optimisations pas encore publiées en open source, la version livrée étant environ deux fois plus lente selon NVIDIA.