Kandinsky S2V 1.0: modelli di avatar parlanti a pesi aperti sotto licenza MIT

Kandinsky Lab, il team dei modelli Kandinsky di Sber, ha pubblicato Kandinsky S2V 1.0, una famiglia di modelli «speech-to-video» che trasforma un’immagine e una traccia vocale nel video di una persona che parla. Il codice è su GitHub e i pesi su Hugging Face; la testata specializzata mlllm.io ne ha dato notizia il 3 novembre 2026. Il codice e i pesi sono rilasciati con licenza MIT, il che autorizza l’uso commerciale. Si tratta di una caratteristica rara per questo tipo di strumento, oggi dominato da servizi chiusi di avatar e sincronizzazione labiale.

Tutto il corpo, non solo la bocca

Il README insiste su un punto: è l’intera figura a essere animata, non solo la testa. A partire da un’immagine di riferimento, da una registrazione vocale e da una breve descrizione, il modello produce un video a 25 fotogrammi al secondo in cui il movimento delle labbra, l’espressione, la postura e i gesti seguono il parlato. L’output è in definizione standard o in HD, nel formato dell’immagine di partenza. I discorsi lunghi vengono generati in blocchi di 5 secondi collegati tramite una memoria dei fotogrammi precedenti.

Vengono proposte due dimensioni: Lite con 2 miliardi di parametri e Pro con 21 miliardi, ciascuna con una versione distillata più veloce. Tecnicamente, i modelli partono da Kandinsky 5.0 Video e utilizzano Qwen2.5-Omni per elaborare sia il testo sia l’audio, al posto dei consueti encoder vocali. Il team dichiara di averli addestrati su 1,17 milioni di sequenze a singolo interlocutore, descritte in inglese e in russo. È presente un’integrazione con la libreria Diffusers, ma non è ancora inclusa in una versione pubblicata.

Aperto, ma non leggero

La licenza è aperta, l’hardware decisamente meno. Il repository richiede una GPU NVIDIA da 48 GB o superiore, e 80 GB per l’HD. Un’opzione di suddivisione del decoder riduce il requisito a circa 28 GB, con leggere giunture visibili. Anche distillata, la versione Lite impiega quasi 9 secondi per produrre un secondo di video su una H100. Non sono presenti API né listini prezzi: si tratta di una pubblicazione di ricerca, accompagnata da una demo online su Hugging Face.

Per quanto riguarda la qualità, i dati provengono dal team. Quest’ultimo sostiene che, in un confronto alla cieca, la versione Pro si posizioni alla pari o meglio rispetto al miglior modello open source e a due modelli commerciali non identificati, risultando preferita per la sincronizzazione labiale. Nessun test indipendente è stato ancora pubblicato.