AI & Creativity

【AnimateDiff-Lightning】ComfyUIを使って動画生成AIで遊んでみよう【Stable Diffusion】

Otama
4分で読了
更新日
Progress 4 / 7
目次

高速な動画生成AIを試してみようと思います。AnimateDiffは画像生成モデルを少し拡張したもののため、Stable Video DiffusionやSoraといった動画生成用に作られたモデルよりも低めのスペックでも実行しやすい手法になっています。そしてその後継であるAnimateDiff-Lightningは1/10のステップ数で生成できるため、単純計算で10倍高速と言えます。

AnimateDiff-Lightning is 何？

AnimateDiffとは

こちらでまとめてるので読んでみてください。

AnimateDiff: Stable Diffusionを拡張した軽量動画生成モデルの仕組み

>-

blog.otama-playground.com

AnimateDiff-Lightningとは

ByteDance/AnimateDiff-Lightning · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co
SDXL-Lightning: Progressive Adversarial Diffusion Distillation

We propose a diffusion distillation method that achieves new state-of-the-art in one-step/few-step 1024px text-to-image generation based on SDXL. Our method combines progressive and adversarial distillation to achieve a balance between quality and mode coverage. In this paper, we discuss the theoretical analysis, discriminator design, model formulation, and training techniques. We open-source our distilled SDXL-Lightning models both as LoRA and full UNet weights.

arxiv.org
  • Lightning系モデルは2024年2月にByteDanceから発表された論文に基づいている
  • Adversarial DistillationとProgressive Distillationを組み合わせた蒸留方法で高速化
  • 教師モデルが複数ステップで推論した結果を、生徒モデルが1ステップで直接推論できるように訓練する
  • 最初はMSE損失を使用して基礎的なトレーニングを行い、その後に敵対的損失を追加することで画質を向上させる

モデルとかは特に変わらなそうなので必要スペックは変わらなそうです。

ComfyUIで実際に試してみる

comfyUIのインストール

インストール方法については次の記事を参考にしてください

【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【導入編】

>-

blog.otama-playground.com

準備手順

  1. ワークフローをcomfyUIにLoad
  2. 必要なモジュールをcomfyUIにインストール(ComfyUI-Manager経由でも可)
  3. 使用したいcheckpointを/models/checkpoints/に置く
  4. AnimateDiff-Lightningのcheckpointを/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/に配置

1. ワークフローをcomfyUIにLoad

Workflow: animatediff_lightning_workflow.json

2. 必要なモジュールをcomfyUIにインストール

ComfyUI-Managerを使用してインストールするのが一番楽（custom_nodesディレクトリ内に以下をそれぞれgit cloneする、でも可）

自分はgit cloneの方法でエラーが出たのでComfyUI-ManagerをインストールしてからManager経由でインストールしました。

3. 使用したいcheckpointを/models/checkpoints/に置く

公式がおすすめしてるモデルは↓。

4. AnimateDiff-Lightning用のcheckpointを配置

ByteDance/AnimateDiff-Lightning at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

実行

QueuePromptを押して少し待つと、右下のvideo combineのところに動画が出力されます。
パラメータとPCのスペックによりますが，自分の場合はデフォルト設定で10秒かからないくらいで出力されました。

実行画面
実行画面

結果がこちら

生成結果
生成結果

パラメータのチューニングをしてないのでぼやぼやですが、何とかそれっぽく生成できてます。
(というか4ステップでこれって考えたらAnimateDiffと比べてかなりすごい精度…)

終わり

実行できて満足したのでここまでにします。

動画生成に関連する他の手法を試したい方は下記のリンク集をぜひご活用ください。

Stable Diffusionガイド：動画生成に役立つリンク集

>-

blog.otama-playground.com

関連記事