Stable Video Diffusionがメモリ不足でローカル実行できなかったため，いったんWeb上のサービスで我慢しようと思います。今回あるサービスの中でもPikaの動画生成を試してみました。
↓以前Stable Video Diffusionの公式デモを試そうとした記事
AIで動画生成をしてみたいんじゃあああ！！！【Stable Video Diffusion編】
「Stable Video Diffusion」は有名なStable Diffusionを動画用に拡張したimage2videoモデルで、かなり高精度に動画を生成することができます。記事では、この技術の概観からdockerを使用してローカルで試す具体的な方法まで掲載しているのでよかったら読んでってください。
Contents
方法(と言ってもPikaにプロンプトを入れるだけですが…)
- プロンプトを考える。画像を探す
- Pikaにプロンプトを渡して動画を生成してもらう
生成結果
特に難しいこともないので作業途中の話は割愛
keanu reeves eating ramen in japan（画像なし）
やっぱり有名人だとそれっぽく生成してくれますね。ちょっと怖いけど
keanu reeves eating ramen in japan（キアヌの画像あり）
次はキアヌの画像付きで同じプロンプトを投げてみました。ただもぐもぐしてるキアヌが完成です。
画像入れちゃうとほぼ変化なしの動画になってしまうようです。
keanu reeves eating ramen in japan（ラーメンの画像あり）
最後にラーメンの画像を添付して同じプロンプトを投げてみました。無事おいしそうなラーメンが完成しました。（キアヌどこ行った？）
所感
まだ精度的にはちょっと残念な感じですね
