Nemotron 3.5 Transcribe: NVIDIA lança modelo aberto que transcreve 40 idiomas, reconhece quem fala e traduz, com seus dados de treinamento

NVIDIA apresentou oficialmente nesta quarta-feira, 28 de outubro, às 16h14, horário de Paris, o Nemotron 3.5 Transcribe, um modelo de reconhecimento de fala com pesos abertos. Sua promessa: substituir a cadeia habitual de várias ferramentas (transcrição, depois identificação dos falantes, depois tradução) por um único modelo que se controla com instruções em linguagem natural.

Ele transcreve 40 idiomas, incluindo francês, alemão, espanhol, italiano, português (incluindo o Brasil) e japonês, traduz 31 deles de e para o inglês, atribui as falas a até oito falantes em 13 idiomas e aceita gravações de até uma hora.

Um modelo de linguagem que ouve

Tecnicamente, o Nemotron 3.5 Transcribe enxerta um codificador de áudio (cerca de 800 milhões de parâmetros, com um ramo dedicado ao reconhecimento de vozes) no Nemotron 3.5 Lightning, o modelo de linguagem híbrido Mamba-Transformer com mistura de especialistas da NVIDIA. O conjunto pesa 34 bilhões de parâmetros segundo a ficha, mas ativa apenas cerca de 4,3 bilhões a cada token, o que o torna operável em uma única GPU. A NVIDIA arredonda para “30B” e “cerca de 4B” em suas publicações.

Como é um modelo de linguagem, fala-se com ele como com um assistente: “transcreva indicando cada falante”, “traduza para o inglês”, “quais decisões foram tomadas nesta reunião?”. Também é possível fornecer vocabulário, por exemplo nomes de medicamentos, para evitar erros em termos raros. Ele dá carimbos de data e hora com precisão de palavra e sabe detectar e mascarar dados pessoais, uma tarefa presente em pequena quantidade em seu treinamento.

Aberto até os dados

Este é o ponto mais marcante. O modelo é publicado sob a OpenMDW-1.1, uma licença permissiva que autoriza qualquer uso, inclusive comercial, desde que se mantenha a licença e as menções em uma redistribuição. A NVIDIA também disponibiliza o Granary v2, seu conjunto de dados de fala multilíngue, a cadeia de preparação desses dados e receitas de ajuste fino com o NeMo Speech. Em um estudo de caso médico, o ajuste fino reduziu a taxa de erro em 45,8% em relação à melhor instrução, segundo a NVIDIA.

Para quem não quer hospedá-lo, a NVIDIA cita pontos de acesso na Baseten, DeepInfra e Simplismart, sem preços em seus documentos.

O que vale guardar em mente

Os resultados destacados vêm da NVIDIA. A empresa anuncia o primeiro lugar entre os modelos abertos no Open ASR Leaderboard da Hugging Face em inglês (5,33% de erros em média em seu post, 4,71% na tabela da ficha, medido em 12 de outubro em nove conjuntos públicos), um empate na liderança dos modelos abertos na Artificial Analysis (2,8%), e o primeiro lugar em dois benchmarks de atribuição de falantes. Esses placares mudam rápido.

Outras limitações escritas preto no branco: é um modelo offline, não um serviço de ditado em tempo real; as perguntas sobre o áudio foram avaliadas apenas em inglês; e as vazões recordes anunciadas baseiam-se em otimizações ainda não publicadas em open source, a versão entregue sendo cerca de duas vezes mais lenta segundo a NVIDIA.