お盆に入って、暑さがピークに達していますね。
僕もちょっと体調を崩していて、しばらく更新できていませんでした。
秋田は行っても最高で35度くらいなので、夜はエアコンをつけっぱなしにしなくても十分過ごせます。東京と比べたら全然マシだとは思うのですが、それでも今年の暑さはなかなか応えます。
ちなみに、誕生日にベースを買うという話をしていた件は、まだ実行できていません。
理由は単純で、お盆休みだったからです。電話してみたら繋がらず、「ああ、休みなんだな」と。資金はもう寄せてあるので、今月中に行けたら買いに行こうと思っています。
さて、今日はAIでMVを作っている話です。
作りたいのは「アニメキャラが演奏して歌うライブMV」
今、自分の楽曲のMVをAIで作っています。
イメージしているのは、アニメキャラクターがリップシンクで演奏したり歌ったりするライブMVのような映像です。
これがなかなかうまくいかない。いろいろ試した結果、今日ようやくSeedance 2.0とKlingのリップシンクを組み合わせるといいということが分かってきました。
Seedance 2.0のリップシンクがトンチンカンだった
まず前提として、Seedance 2.0はそもそも音声の読み込みに対応しているんですね。
なので、こちらで自分の楽曲の使いたい部分を切り貼りして送っていました。
ところが、AI側でリップシンクがうまく機能していない。
実際に生成された映像を見てみると、確かにトンチンカンな発音の口の動きになっているんです。
どうしたものかと。
僕はfalをAPIで叩いて使っているのですが、「fal経由だとSeedance 2.0はリップシンクに対応していないのかもしれない」ということをAIが言い出しまして。
真偽のほどは分かりませんが、少なくとも僕の環境ではうまく動きませんでした。
二重の技：Seedanceで生成 → Klingでリップシンク
じゃあどうするか。
Klingならリップシンクが使えるということだったので、こういう手順にしました。
- Seedance 2.0で動画を生成する
- その動画にKlingのリップシンクをかける
いわば二重の技ですね。今のところ、これが一番うまくいっています。
ちなみにKling 3.0単体でリップシンクさせるのも試してみたのですが、こちらは映像がぐちゃぐちゃに崩れてしまって全然ダメでした。
なので、SeedanceとKlingを組み合わせるのが現状の最適解かなと思っています。
予算という、どうにもならない壁
ここからは身も蓋もない話です。
僕はClaude Proプラン、月3600円のプランを使っています。
なので、Opus 5までしか使えないんですね。
これがFableまで使えるなら、多分もっとうまくいくはずなんです。正直、Opusはちょっとバカだなと思う場面があります。
でも、しょうがない。できる予算の範囲内でやっているので。
月1万5000円の課金は、やっぱりハードルが高いです。
動画生成の方も同じで、今はSeedance 2.5も出ていますよね。ただ、あれはものすごく高いらしいので僕は避けています。
Seedance 2.0も、今回はミニの方を使っています。ミニの方が安いので。
とはいえ安いと言っても、15秒生成するのに2〜3ドルくらいはかかります。1回で何百円か飛んでいくと思うと、やや高いですね。
残っている課題
とりあえず、Seedance 2.0＋Klingのリップシンクという組み合わせで進めてみようと思っているところです。
ただ、正直な不安が二つあります。
- 全編で3分あるので、ちゃんと完成させられるのか
- リップシンクさせても、口の動きが音声とどうしてもちょっとズレる
後者については、もう編集で手動で解決させるしかないなというのが正直なところです。
Fableが使えればもっと楽なんでしょうけどね。
でも、なんとかやってみます。
というわけで、今日はAIアニメーションの話でした。
