【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【Textual Inversion編】

Progress 5 / 15
目次

こちら(↓)の記事でTextual Inversionの仕組みを紹介しました。

Textual Inversionのわかりやすい解説:Stable Diffusionの制御手法

>-

blog.otama-playground.com

仕組みは学んだので、今回は実際にComfyUIを使ってembeddingを使用する方法を紹介しようと思います。さらに生成結果を通じて、その効果を検証し、生成結果の違いを比較してみます。

作業の流れ

1. ComfyUIの導入

こちらの記事を参照ください。

【Stable Diffusion】ComfyUIを使って画像生成AIで遊んでみよう【導入編】

>-

blog.otama-playground.com

2. 好きなembeddingをダウンロードする

好きな場所からダウンロードして、ComfyUI/models/embeddingsに置いておきます。(種類は少ないですがComfyUI-ManagerのUIから直接インストールすることも可能)

今回は↓から出力をゴブリン風にしてくれるembeddingをお借りしました。

Goblin Style - Goblin | Stable Diffusion 1.x Embedding | Civitai

This is a Style embedding which makes your subject go full goblinmode, literally! Think green skin, horns and long ears! Simply throw Style-Goblinm...

civitai.com

3. ワークフローを選ぶ

今回はプロンプトをいじるだけなので、好きなワークフローで問題ありません。

4. 生成する

プロンプトにembedding: {embedding名}を指定して生成します。

  • 自分の場合はファイル名がStyle-Goblinmode.ptだったため、embedding: Style-Goblinmodeをpositiveプロンプトに入力しました。

生成結果

embeddingなし

dark sky, rain, midnight,distressed texture, a portrait of a woman, challenging face, cyberpunk city,confident pose,

embeddingなし
embeddingなし

embeddingあり

dark sky, rain, midnight,distressed texture, a portrait of a woman, challenging face, cyberpunk city,confident pose, embedding:Style-Goblinmode,

embeddingあり
embeddingあり

最後に

今回は論文の内容から入ったので、embeddingをポジティブプロンプトに入れるやり方で説明してきました。

が、実はembeddingはポジティブプロンプトに入れるやり方よりも、ネガティブプロンプトに入れるやり方が有名です。有名どころでいうとEasyNegative(今はEasyNegativeV2?)とかのembeddingが良く使用されていて、これをネガティブプロンプトに入れておくことで、かなり絵の質が向上することが知られています。かなり簡単に使えるので、気が向いた方はそちらも試してみてください。

画像生成に関連する他のテクニックを試したい方は下記のリンク集をぜひご活用ください。

Stable Diffusionガイド:画像生成に役立つリンク集

>-

blog.otama-playground.com