Stable Diffusionで画像生成を行う際に使用できるテクニック集です。この記事ではComfyUIを使用した方法について扱っています。
好きな絵を出す方法
LoRA
ベースモデルを拡張して、出力をいじるためのウェイトを追加してしまう手法です。例えば、夜景で学習されたLoRAを使用すれば、夜景の画像が生成されやすくなります。
【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【LoRA編】
>-
ControlNet
ベースモデルを拡張して、姿勢データを入力として受け取れるようにする手法です。姿勢データで指定した形の画像が生成されやすくなります。
ComfyUIでControlNet：姿勢指定した画像生成AIの基本
>-
Textual Inversion(embedding)
Text Encoder部分（プロンプトを解釈する部分）を拡張して、学習した言語ベクトルを埋め込む手法です。モデルを拡張しないので比較的軽量で済みますが、モデルが学習していない概念は生成ができない(しにくい)ので注意です。
【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【Textual Inversion編】
>-
IPAdapter
テキストプロンプトと同時に画像をプロンプトとして受け取れるようにする手法です。
【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【IPAdapter編】
>-
InstantID
顔画像を入力することで出力される画像の顔を固定することができるようにする手法です。
【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【InstantID編】
>-
アップスケーリング（高解像度化）する方法
Hires.fix
低解像度で生成された画像を入力として高解像度で生成し直す手法です。潜在空間で処理をするため過程でディテールも追加されます。
ComfyUIでHires.fix：画像を高解像度化する手順
>-
ESRGAN
画像のディテールはそのままに、高解像度化することができます。比較的軽量です。
【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【ESRGAN編】
>-
画像を編集する方法
Inpaint
画像の中で指定した箇所のみを編集します。
【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【Inpaint編】
>-
Outpaint
元の画像の外に新たな内容を描き足し、元の画像を拡張します。
【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【Outpaint編】
>-
Face Detailer
顔だけ描画し直すことで、顔の崩れなどを修正します。内部では顔を自動検出して、顔部分のみをInpaintしています。
【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【Face Detailer編】
>-
その他
Stable Diffusion 3
ComfyUIを使って画像生成AIで遊んでみよう【Stable Diffusion 3編】
>-
Flux.1
新モデル「Flux.1」の実力をComfyUIで検証：導入手順と実際の生成結果を紹介
>-
