【Stable Diffusion】ComfyUIを使って動画生成AIで遊んでみよう【RIFE編】

2分で読了
更新日
Progress 5 / 7
目次

RIFEはFrame Interpolation(フレーム補間)を行う手法の一つで、動画のfpsを上げて滑らかにするために使用されます。今回の記事ではComfyUIでRIFEを試す方法を解説します。

RIFEの技術的な詳細については以下で簡単に解説しているので、興味がある方はこちらも併せて読んでみてください。

動画のフレームレートを上げる技術:RIFEとそのアーキテクチャ

>-

blog.otama-playground.com

作業手順

1. ComfyUIの導入

以下のどちらかの方法でComfyUIを導入します。導入済の方もComfyUIを最新版にアップデートしてください。

【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【導入編】

>-

blog.otama-playground.com

2. 拡張のインストール

以下の拡張をインストールします。(Video Helper Suiteは動画の読み込みと保存用です)

GitHub - Fannovel16/ComfyUI-Frame-Interpolation: A custom node set for Video Frame Interpolation in ComfyUI.

A custom node set for Video Frame Interpolation in ComfyUI. - Fannovel16/ComfyUI-Frame-Interpolation

github.com
GitHub - Kosinkadink/ComfyUI-VideoHelperSuite: Nodes related to video workflows

Nodes related to video workflows. Contribute to Kosinkadink/ComfyUI-VideoHelperSuite development by creating an account on GitHub.

github.com

3. ワークフローを作成する

RIFE VFIノードを作成し、下記の画像のようにつなげます。

multiplierの数値だけfpsを倍加できるのですが、上げると精度、消費メモリ、計算時間が悪化するので小さくしておくのが無難です。

RIFE VFIノードのつなげ方
RIFE VFIノードのつなげ方

4. 実行する

動画を選択して実行

生成結果

ちょうど良い動画が落ちてなかったので以前生成した動画を使用しました。

RIFE前(8fps)
RIFE前(8fps)
RIFE後(16fps)
RIFE後(16fps)

最後に

Frame Interpolation前後で動画の滑らかさに明らかな違いが出ていると思います。

AIで動画生成する際に気になるFPSの低さ/カクカク感がだいぶ軽減されるので、質の良い動画を生成したいときにワークフローに組み込むべき手法の一つです。