Kann man eine Halloween-Animation erstellen, ohne zeichnen oder 3D-Modelle bauen zu können? In der Ankündigung der neuen Funktionen von Kling 4.0 habe ich gesehen, wie sich mehrere Bilder zu einem Video verbinden lassen. Das wollte ich ausprobieren. Niedliche KI-Kurzfilme lassen den Prozess oft einfach aussehen. Mich interessierte, ob sich damit auch die Geschichte erzählen lässt, die ich im Kopf hatte.
Dafür habe ich einen Halloween-Kurzfilm über einen kleinen Roten Panda gemacht, der heimlich die Schokolade für die Kinder an der Haustür nascht. Ich habe Bilder für die einzelnen Szenen vorbereitet, das Video mit Kling 4.0 auf Higgsfield generiert und es anschließend in VDIT mit Musik und Soundeffekten nachbearbeitet. Aus den Bildern wurde ein bewegter Kurzfilm. Damit die Geschichte verständlich zusammenhing, waren aber Korrekturen und Schnitt nötig. Hier zeige ich die verwendeten Bilder, einen Teil des Prompts und die Änderungen.
Eine Halloween-Geschichte, die mit „nur einer“ beginnt
Der Kurzfilm heißt Just one candy. Ein kleiner Roter Panda hilft seiner Mama, Schokolade für Halloween einzupacken. Als sie kurz weggeht, probiert er ein Stück mit Karamellfüllung. Aus einem werden mehrere, auf dem Tisch stapeln sich die Verpackungen, und plötzlich klingelt es an der Tür. Die letzten beiden Stücke verteilt er an die Kinder. Doch als Mama zurückkommt, entdeckt sie die Spuren auf dem Tisch.
Mit Hexenhut und orange und lila verpackter Schokolade sollte der Film niedlich statt gruselig wirken. Die Gefühle sollten auch ohne viel Dialog verständlich sein: die Lust auf Schokolade, die Angst, erwischt zu werden, und schließlich das Auffliegen.
Welche Bilder braucht man für eine Halloween-Animation mit KI?
Zuerst habe ich die Figuren und den Schauplatz in Bildern festgelegt: einen kleinen Roten Panda mit lila Hexenhut, seine Mama mit Schürze, eine gemütliche Küche und Schokolade in Halloween-Verpackungen. Diese Bilder dienten als Referenz, damit Figuren und Requisiten von Szene zu Szene wiedererkennbar blieben.
Sobald mir ein Bild gefiel, habe ich überlegt, wie es zum nächsten passen würde. Wer hält was in der Hand, und was verändert sich als Nächstes? Das musste im Bild erkennbar sein.
Beim Essen sollte der Mund die ausgepackte braune Schokolade berühren, nicht die Verpackung. Für den überraschten Gesichtsausdruck kamen beide Pfoten an die Wangen. So war die Reaktion auch an der Haltung abzulesen. An der Tür zeigte die Anzahl der Stücke auf dem Teller, wie weit das Verteilen fortgeschritten war.
Für die Gesichtsausdrücke habe ich vor der Bildgenerierung Referenzen für Mimik und Haltung ausgewählt. Dadurch konnte ich schon am Standbild prüfen, ob das Gefühl erkennbar war.
Wird aus mehreren Bildern eine zusammenhängende Geschichte?
Auf Higgsfield habe ich die Bilder in der Reihenfolge der Geschichte in den Frames-Eingabebereich von Kling 4.0 eingefügt. Dazu kam ein Prompt mit den Handlungen der einzelnen Szenen. Beim ersten Versuch entstand aus sechs Bildern ein 20-sekündiges Video. Der grobe Ablauf war erkennbar: in der Küche naschen, auf die Türklingel reagieren und die Kinder an der Tür begrüßen. Unklar blieb jedoch, wie jedes Kind ein Stück Schokolade bekam. Auch das Einpacken und Essen wirkten stellenweise unnatürlich.
Für die Überarbeitung habe ich das Verteilen in drei sichtbare Zustände aufgeteilt:
- Vor dem Verteilen liegen das orange und das lila verpackte Stück auf dem Teller.
- Nach der ersten Übergabe liegt das orange Stück im Korb des Kaninchens. Auf dem Teller bleibt nur das lila Stück.
- Nach der zweiten Übergabe haben beide Kinder ihre Schokolade, und der Teller ist leer.
Außerdem habe ich ein Bild vorbereitet, auf dem Mama die Küche verlässt, damit sie zwischen den Einstellungen nicht plötzlich verschwunden wirkt. Mit überarbeiteten Bildern und Prompts sowie einer längeren Laufzeit entstand aus neun Bildern ein neues, 24-sekündiges Video.
Die Reihenfolge beim Verteilen war in dieser Fassung verständlicher. Einige Momente, etwa das Loslassen der Schokolade und der letzte Gesichtsausdruck, wirkten weiterhin etwas seltsam. Da ich neben der Bildanzahl auch den Prompt und die Laufzeit geändert habe, lässt sich die Verbesserung nicht allein auf mehr Bilder zurückführen. Entscheidend für meinen Versuch war, die Zwischenzustände zu zeigen, die man zum Verstehen der Geschichte braucht.
Was stand im Prompt für Kling 4.0?
Die Bilder legten das Aussehen der Szenen fest. Der Prompt beschrieb die Handlungen und ihre Reihenfolge. Diesen Ausschnitt habe ich für die Szene mit der Schokolade verwendet:
Baby holds ONLY bare brown chocolate; opened foil stays on plate. Hold cautious rightward glance briefly then look at chocolate, take ONE small bite, lower it to reveal caramel, eyes close with pleasure.
Der kleine Panda hält nur die ausgepackte Schokolade; die geöffnete Verpackung bleibt auf dem Teller. Nach einem kurzen Blick nach rechts schaut er auf die Schokolade, beißt einmal ab und senkt die Hand, sodass die Karamellfüllung sichtbar wird. Dann genießt er den Geschmack.
Ich habe beschrieben, was er in der Hand hält, wo die Verpackung liegt, wohin er schaut und welche Handlung jeweils folgen soll. Selbst genaue Anweisungen wurden nicht immer wie gewünscht umgesetzt. Deshalb musste ich im erzeugten Video prüfen, was die Figur tatsächlich tat.
Wie lässt sich der Credit-Verbrauch beim Testen planen?
Die zusammenhängende Geschichte habe ich in 720p getestet. Zunächst wollte ich die Gesichtsausdrücke und Szenenübergänge prüfen. Vor jeder Generierung habe ich mir den angezeigten Credit-Verbrauch angesehen. Wie viel die verschiedenen Auflösungen kosten, kann vom Modell, der Videolänge und den Bedingungen des Dienstes abhängen.
Wenn ein Ergebnis gefällt und eine höhere Auflösung benötigt wird, kommt anschließend beispielsweise der Video-Upscaler von Higgsfield infrage. Für dieses Projekt habe ich ihn noch nicht verwendet. Beim Kostenvergleich muss auch das Upscaling berücksichtigt werden: Ein Video zunächst in niedriger Auflösung zu erzeugen und später hochzuskalieren, ist insgesamt nicht automatisch günstiger.
Wie habe ich Ton und Szenen des KI-Videos in VDIT bearbeitet?
Ich habe das generierte 24-sekündige Video auf einem iPhone in VDIT importiert. Beim ersten Schnitt habe ich das Tempo am Anfang angepasst. Danach habe ich Musik und Soundeffekte bearbeitet und eine Szene wiederholt.
Als Hintergrundmusik habe ich The Marching Fairies hinzugefügt. Am Anfang war ein Rascheln zu hören, das ich entfernen wollte. Dafür habe ich den Abschnitt als eigenen Clip abgetrennt und nur diesen stummgeschaltet. So konnte ich das störende Geräusch entfernen, ohne den Ton des gesamten Videos auszuschalten.
Die Szene, in der der Panda Schokolade isst, habe ich zweimal hintereinander eingesetzt und einen Übergang ergänzt. Die Wiederholung zeigt, wie aus „nur einem Stück“ doch mehr werden. Auch die Reihenfolge und Wiederholung vorhandener Aufnahmen können helfen, die Geschichte zu erzählen.
Zusätzlich habe ich einen Soundeffekt erstellt und eingefügt, in dem Kinder „Trick or treat“ sagen.
Dafür habe ich eine Vorabversion der Funktion zum Erstellen von Soundeffekten verwendet, die für VDIT v4.5.0 geplant ist. Nach dem Update möchte ich zeigen, wie man einen fehlenden Sound selbst erstellt, und prüfen, wie die Funktion in der veröffentlichten Version verfügbar ist.
Zum Schluss habe ich einen Happy Halloween-Gruß und eine Schlusskarte mit der VDIT-App ergänzt. Der fertig geschnittene Film ist etwa 31 Sekunden lang.
War es wirklich einfach, eine KI-Animation zu erstellen?
Ich konnte aus vorbereiteten Bildern einen kurzen Animationsfilm machen, ohne 3D-Modelle zu bauen oder jedes Einzelbild zu zeichnen. Um die geplante Geschichte zu erzählen, musste ich trotzdem überlegen, wohin eine Figur schaut, wo die Requisiten liegen und was sich nach einer Handlung verändert.
Für den ersten Versuch reicht eine kleine Begebenheit. Ein Stück Schokolade, von dem man eigentlich nur eines essen wollte, eine plötzliche Türklingel und Verpackungen auf dem Tisch können bereits eine Geschichte ergeben. Ich habe die Eingabebilder überarbeitet und das generierte Video mit Musik, Soundeffekten und Schnitt ergänzt. Dieser Halloween-Versuch hat mir gezeigt, welche Entscheidungen ich weiterhin selbst treffen muss.