Nemotron 3.5 Transcribe: NVIDIA publica un modelo abierto que transcribe 40 idiomas, reconoce quién habla y traduce, con sus datos de entrenamiento

NVIDIA presentó oficialmente este miércoles 28 de octubre a las 16:14, hora de París, Nemotron 3.5 Transcribe, un modelo de reconocimiento de voz de pesos abiertos. Su promesa: sustituir la cadena habitual de varias herramientas (transcripción, luego identificación de hablantes, luego traducción) por un único modelo que se controla con instrucciones en lenguaje natural.

Transcribe 40 idiomas, entre ellos el francés, el alemán, el español, el italiano, el portugués (incluido el de Brasil) y el japonés, traduce 31 de ellos desde y hacia el inglés, atribuye las intervenciones a hasta ocho hablantes en 13 idiomas y acepta grabaciones de hasta una hora.

Un modelo de lenguaje que escucha

Técnicamente, Nemotron 3.5 Transcribe incorpora un codificador de audio (unos 800 millones de parámetros, con una rama dedicada al reconocimiento de voces) a Nemotron 3.5 Lightning, el modelo de lenguaje híbrido Mamba-Transformer con mezcla de expertos de NVIDIA. El conjunto pesa 34.000 millones de parámetros según la ficha, pero solo activa unos 4.300 millones en cada token, lo que lo hace ejecutable en una sola GPU. NVIDIA redondea a «30B» y «unos 4B» en sus publicaciones.

Porque es un modelo de lenguaje, se le habla como a un asistente: «transcribe indicando cada hablante», «traduce al inglés», «¿qué decisiones se tomaron en esta reunión?». También se le puede proporcionar vocabulario, por ejemplo nombres de medicamentos, para evitar errores en términos poco frecuentes. Da marcas de tiempo con precisión de palabra y sabe detectar y enmascarar datos personales, una tarea presente en pequeña cantidad en su entrenamiento.

Abierto hasta los datos

Este es el punto más destacado. El modelo se publica bajo OpenMDW-1.1, una licencia permisiva que autoriza cualquier uso, incluido el comercial, siempre que se conserve la licencia y las menciones en una redistribución. NVIDIA también pone a disposición Granary v2, su conjunto de datos de voz multilingüe, la cadena de preparación de estos datos y recetas de ajuste fino con NeMo Speech. En un caso de estudio médico, el ajuste fino redujo la tasa de error en un 45,8 % respecto a la mejor instrucción, según NVIDIA.

Para quienes no quieren alojarlo, NVIDIA cita puntos de acceso en Baseten, DeepInfra y Simplismart, sin tarifa en sus documentos.

Lo que hay que tener en cuenta

Los resultados destacados provienen de NVIDIA. La empresa anuncia el primer puesto de los modelos abiertos en el Open ASR Leaderboard de Hugging Face en inglés (5,33 % de errores de media en su entrada, 4,71 % en la tabla de la ficha, tomado el 12 de octubre sobre nueve conjuntos públicos), un empate en cabeza de los modelos abiertos en Artificial Analysis (2,8 %), y el primer puesto en dos bancos de atribución de hablantes. Estas clasificaciones se mueven rápido.

Otras limitaciones escritas negro sobre blanco: es un modelo offline, no un servicio de dictado en tiempo real; las preguntas sobre el audio solo se han evaluado en inglés; y los rendimientos récord anunciados se basan en optimizaciones aún no publicadas en open source, siendo la versión entregada aproximadamente dos veces más lenta según NVIDIA.