Kandinsky S2V 1.0: Sprechende Avatar-Modelle mit offenen Gewichten unter MIT-Lizenz
Kandinsky Lab, das Team hinter den Kandinsky-Modellen von Sber, hat den Code und die Gewichte von Kandinsky S2V 1.0 veröffentlicht: zwei Modelle, die eine vollständige Person anhand eines Bildes und einer Tonspur animieren. MIT-Lizenz, allerdings ist eine GPU mit 48 GB oder mehr erforderlich.
Kandinsky Lab, das Team hinter den Kandinsky-Modellen von Sber, hat Kandinsky S2V 1.0 veröffentlicht: eine Familie von „Speech-to-Video“-Modellen, die ein Bild und eine Tonspur in das Video einer sprechenden Person verwandelt. Der Code ist auf GitHub und die Gewichte sind auf Hugging Face verfügbar; das Fachmedium mlllm.io berichtete am 3. November 2026 darüber. Code und Gewichte stehen unter der MIT-Lizenz, was eine kommerzielle Nutzung erlaubt. Das ist eine Seltenheit für diese Art von Werkzeugen, die derzeit von geschlossenen Avatar- und Lippensynchronisationsdiensten dominiert wird.
Der ganze Körper, nicht nur der Mund
Die README-Datei hebt einen Punkt hervor: Die gesamte Silhouette wird animiert, nicht nur der Kopf. Ausgehend von einem Referenzbild, einer Sprachaufnahme und einer kurzen Beschreibung erzeugt das Modell ein Video mit 25 Bildern pro Sekunde, bei dem Lippenbewegungen, Mimik, Haltung und Gestik der Sprache folgen. Die Ausgabe erfolgt in Standardauflösung oder HD, im Format des Ausgangsbildes. Längere Reden werden in 5-Sekunden-Blöcken generiert, die über einen Speicher der vorherigen Bilder miteinander verknüpft sind.
Zwei Größen werden angeboten: Lite mit 2 Milliarden Parametern und Pro mit 21 Milliarden, jeweils ergänzt durch eine schnellere destillierte Version. Technisch basieren die Modelle auf Kandinsky 5.0 Video und nutzen Qwen2.5-Omni, um sowohl Text als auch Audio zu verarbeiten – anstelle herkömmlicher Audio-Encoder. Laut dem Team wurden sie auf 1,17 Millionen Sequenzen mit einem einzelnen Sprecher trainiert, die auf Englisch und Russisch beschrieben sind. Eine Integration in die Diffusers-Bibliothek existiert, ist jedoch noch nicht in einer veröffentlichten Version enthalten.
| Konfiguration (H100) | Zeit für 1 s Video | Speicherspitze |
|---|---|---|
| Lite 2B destilliert | 8,7 s | 57 GiB |
| Lite 2B | 44 s | 57 GiB |
| Pro 21B destilliert | 41,5 s | 46 GiB |
| Pro 21B | 189 s | 46 GiB |
Offen, aber kein Leichtgewicht
Die Lizenz ist offen, die Hardwareanforderungen sind es weit weniger. Das Repository verlangt eine NVIDIA-GPU mit 48 GB oder mehr, für HD sogar 80 GB. Eine Tiling-Option für den Decoder senkt den Spitzenbedarf auf rund 28 GB, führt jedoch zu leichten sichtbaren Nahtstellen. Selbst destilliert benötigt die Lite-Version auf einem H100 fast 9 Sekunden, um eine einzige Sekunde Video zu berechnen. Es gibt weder eine API noch Preise: Es handelt sich um eine Forschungsveröffentlichung samt einer Online-Demo auf Hugging Face.
Was die Qualität betrifft, stammen die Zahlen vom Team selbst. Es behauptet, dass die Pro-Version im Blindvergleich mit dem besten Open-Source-Modell und zwei nicht genannten kommerziellen Modellen gleichzieht oder besser abschneidet und bei der Lippensynchronisation bevorzugt wird. Bislang sind noch keine unabhängigen Tests erschienen.
Unsere Einschätzung
Für Kreative und UGC-Studios liegt der Vorteil auf der Hand: ein vollständiges Avatarmodell, kommerziell nutzbar und anpassbar, ganz ohne Dienst-Abonnement. Die Einstiegskosten verlagern sich jedoch auf die Hardware, was die lokale Nutzung auf gut ausgestattete Studios oder Hoster beschränkt, die es integrieren. Die gravierendste Grenze ist ethischer Natur: Das Modell animiert eine reale Person anhand eines einzigen Fotos mit einer Stimme, die keineswegs ihre eigene sein muss. Das Repository appelliert zwar daran, nur Bilder mit Einwilligung der Betroffenen zu verwenden und das Ergebnis nicht als echte Aufnahme darzustellen – doch eine MIT-Lizenz bietet keinerlei Handhabe, um dies durchzusetzen.
Quellen
- GitHub — kandinskylab/kandinsky-s2v (README) Primärquelle
- Kandinsky S2V 1.0 — Projektseite Primärquelle
- Hugging Face — Modellkarte Kandinsky-S2V-1.0-Pro Primärquelle
- GitHub — kandinskylab/kandinsky-5 (README, Link zur Präsentation im Blog der Sberbank auf Habr) Primärquelle — Zugehörigkeit von Kandinsky Lab zu Sber
- mlllm.io — Sber open-sources Kandinsky Avatar 1.0 talking video avatars (3. November 2026) Sekundärquelle — Zuordnung zu Sber und Veröffentlichungsdatum
Eine Primärquelle stammt direkt von dem betreffenden Unternehmen, Labor oder der Organisation. Eine Sekundärquelle gibt die Information wieder, ohne ihr Urheber zu sein: Wir kennzeichnen sie als solche. Einen Fehler entdeckt? Lesen Sie unsere Korrekturrichtlinie.
