ハロウィンAIアニメの作り方:Kling 4.0で画像を動画に

魔女の帽子をかぶり驚く赤ちゃんレッサーパンダと、残り2個のハロウィンチョコ、散らばった包み紙

絵が得意でなくても、3Dモデリングができなくても、ハロウィンのアニメを作れるでしょうか。Kling 4.0の新機能案内で複数の画像をつないで動画にする方法を見て、試してみたくなりました。AIで作られたかわいい短編を見ると簡単そうですが、思い描いた物語まで自然に表現できるのかが気になっていました。

VDITで編集したハロウィン短編の完成版。約31秒。

そこで、子どもたちに配るチョコをこっそり食べてしまう、赤ちゃんレッサーパンダのハロウィン短編を作ってみました。シーンごとの画像を用意し、Higgsfield上のKling 4.0で動画を生成。その後、VDITに読み込んでBGMや効果音を加え、場面のつながりを整えました。画像を動く短編にはできましたが、物語を自然につなぐには画像の修正や生成後の編集が必要でした。実際に使った画像とプロンプトの一部、修正前後の違いを紹介します。

「ひとつだけ」のつもりが……ハロウィンの小さな物語

タイトルは Just one candy。お母さんと一緒にハロウィンのチョコを包む、赤ちゃんレッサーパンダが主人公です。お母さんが席を外すと、キャラメル入りのチョコをひとつ味見します。ひとつだけのつもりが、テーブルには包み紙が山積みに。そこへ玄関のチャイムが鳴ります。お菓子をもらいに来た子どもたちに残りの2個を渡しますが、戻ってきたお母さんはテーブルの上の痕跡に気づきます。

怖い雰囲気ではなく、魔女の帽子やオレンジと紫の包み紙で、かわいいハロウィンにしました。長いセリフがなくても、「食べたい→ばれそうで慌てる→結局ばれる」という気持ちの流れが伝わる短編を目指しました。

ハロウィンAIアニメには、どんな画像を用意する?

まずは画像でキャラクターと背景を決めました。紫の魔女帽子をかぶった赤ちゃんレッサーパンダ、エプロン姿のお母さん、温かみのあるキッチン、ハロウィン柄の包み紙に包まれたチョコです。次のシーンでも同じキャラクターや小物が登場するよう、この見た目を基準に画像を用意しました。

気に入った画像ができたら、次の場面とのつながりを考えます。誰が何を持っていて、次に何が変わるのか。 それが画像から読み取れる必要がありました。

チョコを食べる場面では、包み紙を外した茶色いチョコが口に触れるようにします。驚く場面では目や口だけでなく、両前足を頬に当てるポーズで反応をはっきりさせました。チョコを配る場面では、お皿に残っている数が物語の進み具合を示します。

表情も「驚いた顔」と言葉で指定するだけでなく、参考にする顔やポーズを先に選びました。動き出す前の画像でも感情が伝わるか、確認しやすくなります。

キッチンでハロウィンのチョコを包むお母さんと赤ちゃんレッサーパンダ包み紙を外したチョコを持つ赤ちゃんレッサーパンダ目を見開き両前足を頬に当てて驚く赤ちゃんレッサーパンダ
キャラクターや小物、表情を決めるために使った入力画像。

複数の画像を入れると、物語はつながる?

HiggsfieldでKling 4.0のFrames入力欄に画像を物語の順番で並べ、各場面の動きを書いたプロンプトを添えて生成しました。最初は6枚の画像から20秒の動画を作りました。キッチンでチョコを食べ、チャイムに驚き、玄関で子どもたちに会う大きな流れはつながりました。ただ、2人にそれぞれチョコを渡す過程がわかりにくく、包む場面や食べる場面にも不自然なところがありました。

修正時には、チョコを渡す過程を3つの状態に分けました。

  1. 渡す前:オレンジと紫のチョコが両方ともお皿にあります。
  2. 1個目を渡した後:オレンジのチョコはウサギのかごに入り、お皿には紫だけが残ります。
  3. 2個目を渡した後:2人ともチョコを受け取り、お皿は空になります。

お母さんが突然消えたように見えないよう、キッチンから出ていく場面も用意しました。画像とプロンプトを修正し、動画の長さも延ばして、9枚から24秒の動画を生成し直しました。

修正版では、チョコを渡す順番が前よりわかりやすくなりました。それでも、手から離す瞬間や最後の表情には気になるところが残りました。画像の枚数だけでなくプロンプトや長さも変えたので、枚数を増やせば解決するとは言えません。今回は、物語を理解するために必要な途中の状態を見せることを意識して修正しました。

渡す前のお皿に並ぶ2個のチョコオレンジのチョコはウサギのかごに入り、お皿には紫だけが残る子どもたちがチョコを受け取り、空になったお皿
受け渡しを示す3枚の入力画像。チョコが2個、1個、空のお皿へと変わります。
修正版の生成前のHiggsfield画面:Frames入力、24秒、720p、表示クレジット数
修正版の生成前の画面。設定は24秒・720pで、履歴には以前のテストも表示されています。クレジット数は当時の表示です。

Kling 4.0のプロンプトには何を書いた?

画像で場面の見た目を決めたら、プロンプトにはそこで起きる動作と順番を書きます。実際に使った長いプロンプトから、チョコを食べる場面の一部を紹介します。

Baby holds ONLY bare brown chocolate; opened foil stays on plate. Hold cautious rightward glance briefly then look at chocolate, take ONE small bite, lower it to reveal caramel, eyes close with pleasure.

赤ちゃんが持つのは包み紙を外したチョコだけで、開いた包み紙はお皿に残します。少し右をうかがってからチョコを見てひと口かじり、キャラメルの断面が見えるように手を下げ、味を楽しむ順番です。

おいしそうに食べると書くだけでなく、手に持つもの、包み紙の位置、視線、ひとつの動作を具体的に指定しました。ただ、詳しく書いても指示がすべてそのまま再現されるわけではありません。生成した動画を見て、意図した動きになっているか確認する必要がありました。

テスト時のクレジット消費を抑えるには?

今回は物語全体の動画を720pでテストしました。まずは表情と場面のつながりを確認することに集中し、生成前に画面に表示されるクレジット数を確認しました。解像度ごとの費用は、選ぶモデルや動画の長さ、利用条件によって変わる場合があります。

気に入った動画の解像度を上げたい場合は、後からHiggsfieldの動画アップスケールを使う方法も検討できます。今回の動画では、まだ実行していません。アップスケールの費用も含めて比べる必要があるため、低解像度で生成して後から拡大するほうが必ず安いとは限りません。

AI動画の音や場面を、VDITでどう編集した?

生成した24秒の動画を、iPhoneのVDITに読み込みました。最初の編集で冒頭の速度を調整し、その後、音楽や効果音、繰り返す場面を編集しました。

BGMには The Marching Fairies を追加しました。一方で、冒頭のカサカサという元の効果音は消したかったので、その区間を分割して、そこだけミュートにしました。動画全体の音を消さず、不要な音がある部分を選んで調整した形です。

冒頭のクリップをミュートにし、別のトラックにBGMを追加した状態。
冒頭のクリップをミュートにし、別のトラックにBGMを追加した状態。

チョコを食べる場面は2回流れるように編集し、トランジションを入れました。「ひとつだけ」のつもりが、つい食べ続けてしまう様子を見せるための工夫です。場面を生成し直すほかにも、すでにある映像の繰り返しやつなぎ方で物語を補えます。

4番目と5番目に、チョコを食べる同じ場面を配置。
4番目と5番目に、チョコを食べる同じ場面を配置。

ハロウィンらしさを加える音も作りました。子どもたちが 「Trick or treat」 と言う効果音を制作し、動画に入れています。

この効果音は、VDIT v4.5.0に搭載予定の効果音制作機能を先行して使ったものです。探している音が見つからないときに自分で作る方法と、一般公開版での利用可否は、アップデート後に紹介する予定です。

最後には Happy Halloween のあいさつと、VDITアプリの紹介画面を入れました。編集後の完成動画は約31秒です。

英語のVDIT Pro画面:冒頭のクリップを1.2倍速にし、Keep Pitchを有効にした状態
最初のVDIT編集で冒頭の速度を調整した画面。最終版の音楽追加や場面編集より前のキャプチャです。

実際に作ってみて、本当に簡単だった?

自分で3Dモデルを作ったり、1コマずつ動きを描いたりしなくても、用意した画像から短いアニメを作る体験はできました。ただ、思い描いた物語を伝えるには、キャラクターが何を見ているか、小物がどこにあるか、動作の後に何が変わるかを準備する必要がありました。

初めてなら、今回のような小さな出来事ひとつから始めてみてください。ひとつだけ食べるつもりだったチョコ、突然鳴るチャイム、テーブルに残った包み紙。そんな変化でも物語を作れます。今回は入力画像を修正し、生成した動画に音楽や効果音を加えて編集しました。ハロウィンの短編作りを通じて、自分で判断すべきところも見えてきました。