Kandinsky S2V 1.0: modelos de avatares falantes com pesos abertos sob licença MIT

O Kandinsky Lab, a equipe dos modelos Kandinsky do Sber, lançou o Kandinsky S2V 1.0, uma família de modelos “speech-to-video” que transforma uma imagem e uma faixa de áudio no vídeo de uma pessoa falando. O código está no GitHub e os pesos no Hugging Face; o veículo especializado mlllm.io noticiou o fato em 3 de novembro de 2026. O código e os pesos estão sob a licença MIT, o que autoriza o uso comercial. Isso é raro para esse tipo de ferramenta, atualmente dominada por serviços proprietários de avatares e de sincronização labial.

O corpo inteiro, não apenas a boca

O README destaca um ponto: é a silhueta completa que é animada, não apenas a cabeça. A partir de uma imagem de referência, de uma gravação de voz e de uma breve descrição, o modelo gera um vídeo a 25 quadros por segundo em que o movimento dos lábios, a expressão, a postura e os gestos acompanham a fala. A saída é em definição padrão ou em HD, no mesmo formato da imagem inicial. Discursos longos são gerados em blocos de 5 segundos, interligados por uma memória dos quadros anteriores.

Dois tamanhos estão disponíveis: Lite, com 2 bilhões de parâmetros, e Pro, com 21 bilhões, cada um com uma versão destilada mais rápida. Tecnicamente, os modelos partem do Kandinsky 5.0 Video e utilizam o Qwen2.5-Omni para processar tanto o texto quanto o áudio, substituindo os codificadores de voz habituais. A equipe afirma tê-los treinado em 1,17 milhão de sequências com um único locutor, descritas em inglês e russo. Existe uma integração com a biblioteca Diffusers, mas ela ainda não está presente em uma versão lançada.

Aberto, mas longe de ser leve

A licença é aberta, mas o hardware nem tanto. O repositório exige uma GPU NVIDIA de 48 GB ou mais, e 80 GB para HD. Uma opção de divisão do decodificador reduz a exigência para cerca de 28 GB, gerando leves emendas visíveis. Mesmo destilada, a versão Lite leva quase 9 segundos para produzir um segundo de vídeo em uma H100. Não há API nem tabela de preços: trata-se de um lançamento de pesquisa, com uma demonstração online no Hugging Face.

Quanto à qualidade, os números vêm da própria equipe. Ela afirma que, em comparações às cegas, a versão Pro empata ou supera o melhor modelo de código aberto e dois modelos comerciais não identificados, além de ser a preferida em sincronização labial. Nenhum teste independente foi publicado até o momento.