こちら（↓）の記事でLoRAの仕組みを紹介しました。
仕組みは学んだので、今回は実際にComfyUIを使ってLoRAを使用する方法を紹介しようと思います。さらに生成結果を通じて、その効果を検証し、生成結果の違いを比較してみます。
※今回は学習については紹介しません
Contents
作業の流れ
1. ComfyUIの導入
ComfyUIの導入方法は次の記事を参考にしてください
2. ワークフローの作成
操作理解のためデフォルトのワークフローからいじっていきます。
- 「Load Default」からワークフローを初期化する
- 「Load LoRA」ノードを追加する
- 「Load LoRA」ノードを図のようにつなげていく。（右側のmodelはKSamplerにつなぎます。）
3. 使用したいLoRAをダウンロードしてくる
好きなLoRAをComfyUI/models/lorasに配置する
今回はマスクをした女性が生成されるLoRAを使ってみます。
civitai.com
4. 生成する
ModelとLoRAを選択してから生成します
「Load LoRA」ノードで設定できるstrength_modelとstrength_clipは何？
次のリンク先にComfyUI公式からの説明があります。
Frequently Asked Questions | ComfyUI_examples
LoRAの強度をCLIPモデル(strength_clip)とメインモデル(strength_model)に個別に調整することができます。通常のUIでは、LoRAの強度は1つの数値で制御されますが、ComfyUIではCLIPとMODEL/UNET部分の学習コンセプトが異なるため、それぞれを個別に調整することで、より良い画像が得られます。例えば、強度を0.8に設定すると、両方の強度が0.8に設定されます。
生成結果
複数のLoRAを使用する場合
図のように直列つなぎしてください
先ほどのLoRAにプラスしてピクセルアートにするLoRAをつなげた場合は次のような出力になります。
最後に
出力見る限り割と一貫した出力になっていそうです。
学習まで試したかったのですが、ComfyUIが対応してないので断念しました。学習にはKohyaが良いとの話を小耳にはさんだので、気が向いたら今度導入から試してみようと思います。
画像生成に関連する他のテクニックを試したい方は下記のリンク集をぜひご活用ください。
