WeVisCut: Tencent veröffentlicht frei zugänglich einen Videoschnitt-Agenten mit 9 Milliarden Parametern
Forschende von WeChat (Tencent) und der Xidian-Universität haben WeVisCut veröffentlicht, einen Agenten mit 9 Milliarden Parametern, der einen Text oder ein Erzählskript in ein fertig geschnittenes, mehrminütiges Video verwandelt. Der Code und der Editor stehen unter der Apache-2.0-Lizenz, die Gewichte auf Hugging Face. Auf dem eigenen Benchmark zieht das Modell mit Claude Opus 5 gleich – bei rund 33-mal weniger generierten Tokens.
Tencent öffnet einen vollständigen Agenten für den Videoschnitt. Forschende von WeChat Vision und der Xidian-Universität haben WeVisCut veröffentlicht, ein Modell mit 9 Milliarden Parametern, das einen Artikel oder ein Erzählskript in ein fertig geschnittenes, mehrminütiges Video verwandelt. Der Code, der Editor und die Pipeline zur Datenaufbereitung sind unter der Lizenz Apache 2.0 veröffentlicht, und die Gewichte stehen auf Hugging Face bereit. Deren Lizenz bleibt allerdings noch zu klären: Die Lizenzdatei des GitHub-Repositorys schließt sie in die Apache 2.0 ein, doch die Modellkarte auf Hugging Face verweist auf gesonderte Bedingungen für die Gewichte und Drittkomponenten.
Ein einziges kleines Modell statt eines Teams von Agenten
Die meisten KI-gestützten „Cutter“ verketten mehrere Agenten, die von großen Allround-Modellen gesteuert werden. WeVisCut macht das Gegenteil: Ein einziges Modell übernimmt nacheinander die Rollen des Dirigenten, des Autors und des Kritikers. Bei jedem Schritt liest es den Projektstatus aus und ruft eines von zwölf Werkzeugen auf: den Text in Kapitel unterteilen, Einstellungen planen, das Voiceover generieren, Bilder suchen, Animationsvorlagen befüllen, Musik auswählen, eine Einstellung rendern, das Ergebnis beurteilen, sich selbst korrigieren und schließlich alles zusammenfügen. Im Schnitt sind pro Video rund ein Dutzend Aufrufe erforderlich.
Das Ergebnis öffnet sich in einem Editor, dem Studio, mit acht synchronisierten Spuren (Kapitel, Einstellungen, Narration, Untertitel, Bilder, Vorlagen, Musik, Rendering). Dort lässt sich eine Einstellung manuell oder per Chat nachbearbeiten („ersetze das Bild bei 0:15“), woraufhin nur die geänderten Abschnitte neu berechnet werden.
Training anhand fertiger Videos
Die Schwierigkeit besteht laut den Autoren in ihrem Forschungspapier darin, dass ein fertiges Video keinerlei Spuren der Schnittentscheidungen mehr enthält. Das Team hat daher 3 750 kommentierte Videos von Bilibili (Wissenschaft, Technologie, Finanzen, Geschichte …) „zerlegt“, um die Absicht hinter jeder Einstellung zu rekonstruieren, und diesen Schnitt anschließend mit den eigenen Werkzeugen nachgestellt – Fehler und Korrekturen inklusive. Daraus entstanden 134 771 Trainingsbeispiele, mit denen Qwen3.5-9B in drei Phasen feinabgestimmt wurde, darunter zwei Phasen des Reinforcement Learning.
Auf Augenhöhe mit Claude Opus 5 – bei 33-mal weniger Tokens
Laut den Ergebnistabellen des Artikels erzielt WeVisCut auf einem vom Team entwickelten Benchmark mit 100 Aufgaben einen Gesamtwert von 90,5, gegenüber 89,9 für Claude Opus 5, das mit denselben Werkzeugen eingesetzt wurde. Vor allem generiert es 2 377 Tokens pro Minute erfolgreichem Video im Vergleich zu 78 763 bei Opus 5 – also rund 33-mal weniger. Gegenüber zwei weiteren Forschungssystemen, Crayotter und VideoAgent, liegt es ebenfalls bei allen fünf Metriken sowie im Urteil von drei menschlichen Annotatoren vorn. Das Modell benötigt etwa 24 GB GPU-Speicher von NVIDIA.
Unsere Einschätzung
WeVisCut zielt auf ein sehr präzises Format ab: das Erklärvideo mit Voiceover und Illustrationsbildern, das Plattformen wie YouTube und Bilibili überschwemmt. In diesem Bereich beweist es, dass ein kleines, spezialisiertes Modell mit einem Spitzenmodell zu einem Bruchteil der Kosten konkurrieren kann – und dass es auf einer einzigen Grafikkarte Platz findet. Zwei Einschränkungen bleiben: Die Werte stammen aus einem Benchmark und von Metriken, die die Autoren selbst verfasst haben, und die Endqualität hängt von den im Web gefundenen Bildern ab, was bei kommerzieller Nutzung rechtliche Fragen aufwirft. Für Content-Ersteller liegt der unmittelbare Mehrwert im Editor, der das Projekt auch nach dem automatischen Schnitt bearbeitbar hält, anstatt nur ein starres Video auszuspucken.
Quellen
- arXiv — WeVisCut: The Whole Editing Room in One Agent, From Narration to Long-Form Video (2610.38352) Primärquelle
- GitHub — Tencent/WeVisCut Primärquelle
- Hugging Face — tencent/WeVisCut Primärquelle
- GitHub — Tencent/WeVisCut, Datei LICENSE Primärquelle
Eine Primärquelle stammt direkt von dem betreffenden Unternehmen, Labor oder der Organisation. Eine Sekundärquelle gibt die Information wieder, ohne ihr Urheber zu sein: Wir kennzeichnen sie als solche. Einen Fehler entdeckt? Lesen Sie unsere Korrekturrichtlinie.
