InstantIDはStable Diffusionを拡張する手法の一つであり、顔画像を入力することで出力される人物の顔を固定することができます。今回の記事ではこのInstantIDをComfyUIで使用する方法を解説します。
作業の流れ
1. ComfyUIの導入と最新版へのアップデート
ComfyUIを導入します。導入済の方もComfyUIを最新版にアップデートしてください。
>-
2. 拡張のインストール
以下の拡張をインストールします。
Contribute to cubiq/ComfyUI_InstantID development by creating an account on GitHub.
3. ライブラリの手動インストール
InstantIDに必要なpythonライブラリ(insightface)が一部エラーでインストールされないので、手動でインストールします。
下のリンクからinsightfaceのwheelをダウンロードしてから、pipでインストールコマンドを叩いてください。
Contribute to Gourieff/Assets development by creating an account on GitHub.
python -m pip install (ダウンロードしたwhlのパス) onnxruntime onnxruntime-gpustandalone版の場合はpythonコマンドをpythonの実行バイナリへのパスで置き換えます。以下あたりにpython.exeが配置されているはずです。
- Comfyui-Standaloneの場合は
python-embeddedディレクトリ内 - StabilityMatrixの場合は
Data/Packages/{パッケージ名}/venv/Scriptsディレクトリ内
4. モデルのダウンロードと配置
まずantelopev2をダウンロード+解凍してComfyUI/models/insightface/models/antelopev2に配置。↓のどちらかで入手できます。
-
antelopev2.zipdrive.google.com
-
MonsterMMORPG/tools at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
次にInstantIDのメインモデルをComfyUI/models/instantidに配置。
最後にcontrolnetのモデルをcontrolnetのディレクトリに追加します。
5. ワークフローのインポート
exampleのワークフローがあるのでそれを使用します。
Contribute to cubiq/ComfyUI_InstantID development by creating an account on GitHub.
6. 生成する
モデルを先ほど配置したモデルに変更し、最後に顔画像とプロンプトを指定して生成します。
生成結果
モデルはAnimagine XLを使用しました。
最後に
生成結果から、入力した顔画像に沿って画像が生成されることが感じられたと思います。InstantIDを使用することで、生成する顔をコントロールすることができるようになり、画像生成の幅が広がります。（肖像権には注意してください）
今回はInstantIDのみを使用しましたが、ControlNetと組み合わせることで、姿勢・構図なども制御可能になるらしいです。ここら辺は応用の話になるのでこの記事では触れませんが、気になる方は以下の記事とワークフローを参考にしながら組み合わせてみると良いと思います。
>-
Contribute to cubiq/ComfyUI_InstantID development by creating an account on GitHub.
