Otama's Playground > Stable Diffusionガイド > Stable Diffusionガイド:論文読みリンク集

Stable Diffusionガイド:論文読みリンク集

Stable Diffusion周りの論文解説記事です。

画像生成周り

Stable Diffusion

みんな大好きStable Diffusionモデル。Text Encoder, UNet, VAEを組み合わせたモデルになっています。一般的にはStable Diffusionモデルと言えばこのモデルを指すはず。

Stable Diffusion 3

Stable Diffusionモデルを最新技術にアップデートしたものです。UNetではなくMMDiTというTransformerベースのモデルに変更するとともに、ノイズスケジュールを最適化する、TextEncoderを3つに増やすなど少しTweakが入っています。

LoRA

みんな大好きLoRA。モデルの拡張パーツともいえるもので、少しパラメータを増やすだけでモデルの追加学習が行えます。(元々は言語モデル用に提案されたもの)

ControlNet

ControlNetは、画像に映る人物の姿勢を制御するためのモデル拡張です。UNetを2重にして片方に姿勢データを学習させるようにしています。

Textual Inversion

UNetではなくText Encoderをいじる手法です。本体であるUNetの外側をいじるため、比較的効果は弱めですが、パラメータを増やす必要がない、学習もUNetをいじるより容易といった利点があります。

IPAdapter

Text Encoderと並列にImage Encoderを用意し、画像プロンプトを受け取れるようにする手法です。

動画生成周り

AnimateDiff

Stable Diffusionに時間軸の学習ができるように層を追加したモデルです。

RIFE

中間フレームを生成し、動画のフレームレートを向上させる技術です。

Stream Diffusion

パイプライン処理やその他高速化のためのテクニックを導入し、超高速に画像生成を行えるようにしたモデルです。RTX 4090で最大91.07fpsとのこと。