Stable Diffusionで動画生成を行う際に使用できるリンク集です。この記事ではComfyUIを使用した方法について扱っています。
AnimateDiff
Stable Diffusionに時間軸の学習ができるように層を追加したモデルです。
Stable Video Diffusion
現状image2videoしか対応してませんが、動画の精度的には良いです
(AnimateDiffのようなちらつきがない)。
AnimateDiff-Lightning
AnimateDiffのノイズ除去効率を上げることで数ステップで動画を生成できるようにした軽量化モデルです。2~3ステップでも良い精度で生成できます。
RIFE
動画のフレーム補間を行う(フレームレートを上げる)モデルです。動画の質を落とさずに滑らかな動画に変換することが可能です。
vid2vid
vid2vidは人によってさまざまな手法が取られますが、自分が生成してみた例を以下に示します。