KritaのStableDiffusion拡張を使用して落書きから画像生成する方法

Kritaというお絵描きツールにStableDiffusionのインテグレーションプラグインがあり、落書きからの画像生成ができるらしいので試してみます。

Kritaとプラグインの設定手順

1. Kritaのインストール

各OS用にインストール用バイナリが用意されてそうです。

デジタルペイント。気ままに制作。

Krita はプロフェッショナルな機能を持つ、自由かつ無料でオープンソースのペイントプログラムです。すべての人が入手できるアートツールが存在することを願うアーティスト達によって開発されています。

krita.org

2. StableDiffusion用の拡張をダウンロード

まず、以下からkrita-ai-diffusionダウンロードします。特に理由がなければ最新で良いかと。

Releases · Acly/krita-ai-diffusion

Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required. - Acly/krita-ai-diffusion

github.com

3. StableDiffusion用の拡張をインストール

ダウンロードしたzipをKritaのUIからインポートします。インポートしたらKritaを再起動。

  • ツール > スクリプト > Pythonプラグインをファイルからインポート
「ファイルからインポート」ボタンの場所
「ファイルからインポート」ボタンの場所

4. いったんお絵描き画面を出します。

お絵描き画面じゃないと設定画面が出せないので、「新しい画像」画面を出します。

新しい画像
新しい画像
作成
作成

5. Stable Diffusionのパネルを表示させる

デフォルトだとAI生成用のパネルが表示されていないため表示させます。

表示させる用のオプション
表示させる用のオプション

右下に下の画像のようなパネルが表示されればOKです。Configureをクリックして設定画面を出します。

AI生成用パネル
AI生成用パネル

6. AI生成用のサーバーとモデルをインストール

Local Managed Serverをクリックし、表示されたInstallボタンをクリック

同時にSD1.5やCLIPモデルもインストールされるので少し時間がかかります。

サーバーのインストール
サーバーのインストール

実際に生成を試す

リアルタイム生成を試してみます(モデルはいったんデフォルトでインストールされるFlat2D-Animergeを使用します)。

以下画像のLiveボタンからリアルタイム生成機能を表示し、再生(?)ボタンをクリックしてLive Previewを開始します。

リアルタイム生成の場所
リアルタイム生成の場所
実行ボタンの場所
実行ボタンの場所

生成結果

こういうペイントツール不慣れ(特にレイヤ周り)なので、妥協しましたが、そこそこ思った感じで生成できたと思います。

生成結果-背景
生成結果-背景
生成結果-人物
生成結果-人物
生成結果
生成結果