こちら（↓）の記事でLoRAの仕組みを紹介しました。
>-
仕組みは学んだので、今回は実際にComfyUIを使ってLoRAを使用する方法を紹介しようと思います。さらに生成結果を通じて、その効果を検証し、生成結果の違いを比較してみます。
※今回は学習については紹介しません
作業の流れ
1. ComfyUIの導入
ComfyUIの導入方法は次の記事を参考にしてください
>-
2. ワークフローの作成
操作理解のためデフォルトのワークフローからいじっていきます。
- 「Load Default」からワークフローを初期化する
初期ワークフロー - 「Load LoRA」ノードを追加する
「Load LoRA」ノードを追加する
3. 使用したいLoRAをダウンロードしてくる
好きなLoRAをComfyUI/models/lorasに配置する
Girl with a mask / 面具少女 I run this lora with breakdomain_M2000 and GhostMix 、hires.fix and vae is kl-f8-anime2.ckpt
4. 生成する
ModelとLoRAを選択してから生成します
「Load LoRA」ノードで設定できるstrength_modelとstrength_clipは何？
Examples of ComfyUI workflows
LoRAの強度をCLIPモデル(strength_clip)とメインモデル(strength_model)に個別に調整することができます。通常のUIでは、LoRAの強度は1つの数値で制御されますが、ComfyUIではCLIPとMODEL/UNET部分の学習コンセプトが異なるため、それぞれを個別に調整することで、より良い画像が得られます。例えば、強度を0.8に設定すると、両方の強度が0.8に設定されます。
生成結果
複数のLoRAを使用する場合
図のように直列つなぎしてください
先ほどのLoRAにプラスしてピクセルアートにするLoRAをつなげた場合は次のような出力になります。
最後に
出力見る限り割と一貫した出力になっていそうです。
学習まで試したかったのですが、ComfyUIが対応してないので断念しました。学習にはKohyaが良いとの話を小耳にはさんだので、気が向いたら今度導入から試してみようと思います。
画像生成に関連する他のテクニックを試したい方は下記のリンク集をぜひご活用ください。
>-
