Stable Diffusion周りの論文解説記事です。
Contents
画像生成周り
Stable Diffusion
みんな大好きStable Diffusionモデル。Text Encoder, UNet, VAEを組み合わせたモデルになっています。一般的にはStable Diffusionモデルと言えばこのモデルを指すはず。
Stable Diffusion 3
Stable Diffusionモデルを最新技術にアップデートしたものです。UNetではなくMMDiTというTransformerベースのモデルに変更するとともに、ノイズスケジュールを最適化する、TextEncoderを3つに増やすなど少しTweakが入っています。
LoRA
みんな大好きLoRA。モデルの拡張パーツともいえるもので、少しパラメータを増やすだけでモデルの追加学習が行えます。（元々は言語モデル用に提案されたもの）
ControlNet
ControlNetは、画像に映る人物の姿勢を制御するためのモデル拡張です。UNetを2重にして片方に姿勢データを学習させるようにしています。
Textual Inversion
UNetではなくText Encoderをいじる手法です。本体であるUNetの外側をいじるため、比較的効果は弱めですが、パラメータを増やす必要がない、学習もUNetをいじるより容易といった利点があります。
IPAdapter
Text Encoderと並列にImage Encoderを用意し、画像プロンプトを受け取れるようにする手法です。
動画生成周り
AnimateDiff
Stable Diffusionに時間軸の学習ができるように層を追加したモデルです。
RIFE
中間フレームを生成し、動画のフレームレートを向上させる技術です。
Stream Diffusion
パイプライン処理やその他高速化のためのテクニックを導入し、超高速に画像生成を行えるようにしたモデルです。RTX 4090で最大91.07fpsとのこと。
