Nemotron 3.5 Transcribe: NVIDIA pubblica un modello aperto che trascrive 40 lingue, riconosce chi parla e traduce, con i suoi dati di addestramento

NVIDIA ha presentato ufficialmente questo mercoledì 28 ottobre alle 16:14, ora di Parigi, Nemotron 3.5 Transcribe, un modello di riconoscimento vocale a pesi aperti. La sua promessa: sostituire la catena abituale di più strumenti (trascrizione, poi identificazione dei parlanti, poi traduzione) con un unico modello che si pilota con istruzioni in linguaggio naturale.

Trascrive 40 lingue, tra cui francese, tedesco, spagnolo, italiano, portoghese (compreso il Brasile) e giapponese, traduce 31 di esse da e verso l’inglese, attribuisce le battute a fino a otto parlanti in 13 lingue e accetta registrazioni fino a un’ora.

Un modello linguistico che ascolta

Tecnicamente, Nemotron 3.5 Transcribe innesta un encoder audio (circa 800 milioni di parametri, con un ramo dedicato al riconoscimento delle voci) su Nemotron 3.5 Lightning, il modello linguistico ibrido Mamba-Transformer a mixture of experts di NVIDIA. Il tutto pesa 34 miliardi di parametri secondo la scheda, ma ne attiva solo circa 4,3 miliardi per ogni token, il che lo rende utilizzabile su una singola GPU. NVIDIA arrotonda a «30B» e «circa 4B» nelle sue pubblicazioni.

Poiché è un modello linguistico, gli si parla come a un assistente: «trascrivi indicando ogni parlante», «traduci in inglese», «quali decisioni sono state prese in questa riunione?». Si può anche fornirgli un vocabolario, ad esempio nomi di farmaci, per evitare errori sui termini rari. Fornisce timestamp al livello della parola e sa individuare e mascherare dati personali, un compito presente in piccola quantità nel suo addestramento.

Aperto fino ai dati

È il punto più rilevante. Il modello è pubblicato sotto OpenMDW-1.1, una licenza permissiva che autorizza ogni uso, incluso commerciale, a condizione di conservare la licenza e i crediti in caso di ridistribuzione. NVIDIA mette anche a disposizione Granary v2, il suo dataset vocale multilingue, la catena di preparazione di questi dati e le ricette di affinamento con NeMo Speech. In un caso di studio medico, l’affinamento ha ridotto il tasso di errore del 45,8% rispetto alla migliore istruzione, secondo NVIDIA.

Per chi non vuole ospitarlo, NVIDIA cita punti di accesso presso Baseten, DeepInfra e Simplismart, senza tariffe nei suoi documenti.

Cosa tenere a mente

I risultati messi in evidenza provengono da NVIDIA. L’azienda annuncia il primo posto dei modelli aperti sull’Open ASR Leaderboard di Hugging Face in inglese (5,33% di errori in media nel suo post, 4,71% nella tabella della scheda, rilevato il 12 ottobre su nove dataset pubblici), un pareggio in testa dei modelli aperti presso Artificial Analysis (2,8%), e il primo posto su due banchi di attribuzione dei parlanti. Queste classifiche si muovono velocemente.

Altri limiti scritti nero su bianco: è un modello offline, non un servizio di dettatura in tempo reale; le domande sull’audio sono state valutate solo in inglese; e le velocità record annunciate si basano su ottimizzazioni non ancora pubblicate in open source, la versione consegnata essendo circa due volte più lenta secondo NVIDIA.