Kandinsky S2V 1.0 : des modèles d'avatars parlants à poids ouverts sous licence MIT

Kandinsky Lab, l’équipe des modèles Kandinsky de Sber, a publié Kandinsky S2V 1.0, une famille de modèles « speech-to-video » qui transforme une image et une piste vocale en vidéo d’une personne qui parle. Le code est sur GitHub et les poids sur Hugging Face ; le média spécialisé mlllm.io en a rendu compte le 3 novembre 2026. Le code et les poids sont sous licence MIT, ce qui autorise un usage commercial. C’est rare pour ce type d’outil, aujourd’hui dominé par des services fermés d’avatars et de synchronisation labiale.

Tout le corps, pas seulement la bouche

Le README insiste sur un point : c’est toute la silhouette qui est animée, pas seulement la tête. À partir d’une image de référence, d’un enregistrement de voix et d’une courte description, le modèle produit une vidéo à 25 images par seconde où le mouvement des lèvres, l’expression, la posture et les gestes suivent la parole. La sortie est en définition standard ou en HD, au format de l’image de départ. Les discours longs sont générés par blocs de 5 secondes reliés par une mémoire des images précédentes.

Deux tailles sont proposées : Lite avec 2 milliards de paramètres et Pro avec 21 milliards, chacune avec une version distillée plus rapide. Techniquement, les modèles partent de Kandinsky 5.0 Video et utilisent Qwen2.5-Omni pour lire à la fois le texte et l’audio, à la place des encodeurs vocaux habituels. L’équipe dit les avoir entraînés sur 1,17 million de séquences à un seul locuteur, décrites en anglais et en russe. Une intégration à la bibliothèque Diffusers existe, mais elle n’est pas encore dans une version publiée.

Ouvert, mais pas léger

La licence est ouverte, le matériel beaucoup moins. Le dépôt demande un GPU NVIDIA de 48 Go ou plus, et 80 Go pour la HD. Une option de découpage du décodeur descend à environ 28 Go, avec de légères jointures visibles. Même distillée, la version Lite met près de 9 secondes pour produire une seconde de vidéo sur un H100. Il n’y a ni API ni tarif : c’est une publication de recherche, avec une démo en ligne sur Hugging Face.

Sur la qualité, les chiffres viennent de l’équipe. Elle affirme qu’en comparaison à l’aveugle, la version Pro fait jeu égal ou mieux que le meilleur modèle open source et que deux modèles commerciaux non nommés, et qu’elle est préférée pour la synchronisation labiale. Aucun test indépendant n’est encore publié.