現在Stable Diffusionを使えるUIは多数存在し、その中の1つにComfyUIがあります。
Stable Diffusion Web UIよりSDXLモデルに早く対応して注目されたUIで、現在徐々に利用者も増えてきています。
どちらもStable DiffusionをUIで動かせるものですが、導入方法、UIの見た目、カスタマイズ性など、異なる特徴があります。
今回はこのComfyUIのインストール方法と基本的な使い方についてご紹介します。
ComfyUIとは？
ComfyUIは、23年3月にcomfyanonymousという方がリリースした、Stable Diffusion用のUIです。
主な特徴は生成の流れが視覚的に見えることと、その流れをカスタマイズできること。
1つ1つの処理を任意に繋いで行える「ノードベース」となっており、最初は難しそうに見えるかもしれません。
しかし、既に作成されたワークフローを読み込んで使えるため、自分でカスタマイズできなくても簡単に使うことができます。
ComfyUIをインストールする方法
以下のURLからInstalling ComfyUIをクリックして、移動した先にあるDirect link to downloadから7-zipファイルをダウンロードしてください。
ダウンロードが終わると7-zipファイルが保存されます。
win11の方は、ファイルを右クリック→その他のオプションを確認→全て展開で解凍できます。
もし何らかの理由で解凍できない場合は、7-Zipなど対応している解凍ソフトをインストールしてみてください。
解凍後、フォルダ内にある「run_cpu」か「run_nvidia_gpu」を起動すればUIが開けます。
NVIDIAのグラフィックボードを使用している方は「run_nvidia_gpu」で起動してください。
以下のようなUIが開ければ、ComfyUIのインストールは完了です。
ComfyUIにモデルを追加する方法
Stable Diffusion Web UIを既に使用している方
Stable Diffusion Web UIで既にモデルやLoRAをインストールしている場合は、それらを利用できます。
以下のパスに「extra_model_paths.yaml.example」というファイルがあるので、「.example」を削除してください。
ComfyUI_windows_portable\ComfyUI\extra_model_paths.yaml.example"yamlファイルになるのでテキストエディターなどで開き、「base_pase:」のところにStable Diffusionのフォルダパスを指定します。
Cドライブ直下にStable Diffusionをインストールしている場合は、以下のようになります。
C:\stable-diffusion-webui
この状態で保存すれば、Stable Diffusion Web UIにインストールしたモデルがComfyUIで使用できます。
Stable Diffusion Web UIを使用していない方
ComfyUIが初めてのUIという方は、自身が使いたいモデルをダウンロードして、対象のフォルダに入れる必要があります。
モデルを提供しているメインのサイトは以下2つです。
civitai:https://civitai.com/
huggingface:https://huggingface.co/
どちらからでもいいので、使いたいモデルをダウンロードします。
モデルをダウンロードしたら、以下のパスにモデルデータを移動します。
ComfyUI_windows_portable\ComfyUI\models\checkpointsなお、LoRAやembeddingsなどを使用する場合は、それぞれ対応するフォルダに移動してください。
LoRA：ComfyUI_windows_portable\ComfyUI\models\loras
Embeddings：ComfyUI_windows_portable\ComfyUI\models\embeddingsStable Diffusion Web UI用のものですが、モデルやLoRAのダウンロード方法について別途詳しく書いた記事があるので、こちらも参考にしてみてください。
ComfyUIの基本的な使い方
ComfyUIは、ネットワークを可視化したときのようなノードリンク図のUIです。
ノードを繋いだ状態をワークフローと呼び、Load CheckpointやCLIP Text Encode (Prompt)など1つ1つの処理をノードと呼びます。
これらを自由に追加・削除・入れ替えなどカスタマイズすることで、画像生成時の影響を調整できます。
ここではデフォルトで表示されているノードの説明と画像生成方法を解説します。
Load Checkpoint
こちらはモデルを選択できるノードです。
クリックすると一覧表示、左右の矢印アイコンでも切り替えが可能。
CLIP Text Encode (Prompt)
こちらは画像生成に情報を与えられるものです。
基本は英単語を使用し、プロンプトには生成したい要素、ネガティブプロンプトに生成したくない要素を入力します。
positiveにつながっている方がプロンプト、negativeにつながっている方がネガティブプロンプトです。
Empty Latent Image
Empty Latent Imageは日本語訳で「空の潜在画像」となり、元となる画像サイズや生成する枚数を指定できます。
widthが横幅、heightが縦幅、batch_sizeが一度に生成したい枚数です。
Ksampler
Ksamplerは画像生成時に使用するサンプラー、ノイズ除去強度、シード値などを設定できるノードです。
| seed | ランダム制を制御するもの |
| control_after_generate | シート値の変化方法 randomize：ランダム increment：1ずつ増加 decrement：1ずつ減少 fixed：固定 |
| steps | サンプリングステップ数 値が大きいと画像の不自然な変形やノイズが少なくなる |
| cfg | プロンプトの内容をどれだけ反映させるか |
| sampler_name | 使用するサンプリングの指定 |
| scheduler | 生成過程でノイズの変化を制御 |
| denoise | ノイズ除去強度 |
簡単に意味をまとめましたが、詳細を知りたい方は公式で確認してください。
VAE decode
VAE decodeは、Stable Diffusionの生成過程において、より自然な画像にするために行う処理です。
こちらは特に設定する項目はありません。
Save Image
Save Imageは、生成した画像の先頭につくファイル名を指定できます。
デフォルトだとoutputフォルダに「ComfyUI_00001_～」というファイル名で画像が保存されていくので、ComfyUIの部分を変えればファイル名も変わります。
また生成した画像結果は、こちらのノードに表示されます。
画像生成開始
設定ができたら最後に独立しているメニューの「Queue Prompt」をクリックすれば、画像が生成できます。
モデルだけ指定し、それ以外をデフォルトまま生成したら以下のようになりました。
手動でノードを追加、またはワークフローを取り込む方法
手動でノードを追加する場合は、空白部分で右クリック→Add Nodeで追加できます。
追加したノードは周りのノードに合わせて繋げる必要があり、処理する順番などを知らないと少し難しいかもしれません。
そういった場合は、公式ページにある画像をComfyUIに取り込めば、自動的にそのワークフローが設定できます。
例えばimg2imgを使用するためのワークフローを作りたい場合、以下のページにある画像をComfyUIにD&Dします。
そうすると自動的にimg2img用のノードが追加され、画像と同じワークフローが使えます。
公式だけではなく有志の方が作成したものもあるため、この機能を使いたい！と思ったら手動で組むよりそれに合うワークフローを探した方が早いです。
公式のワークフローは以下のページにまとまっているので、使いたい機能はD&Dで取り込んでみてください。
日本語翻訳を使えば、ある程度使い方もわかるかと思います。
Stable Diffusion Web UIとComfyUIの違いは？
まだ使い始めて間もないのですが、現状感じたStable Diffusion Web UIとComfyUIの違いをまとめると以下の通りです。
インストールが楽
ほぼインストールがないようなものなので、導入はStable Diffusion Web UIより遥かに楽です。
画像生成するまで手間をかけたくないという方は、ComfyUIの方がおすすめです。
ComfyUIは上級者向けかも
手動でノードを組んだり、ワークフローを作ったりする場合に限り、上級者向けかと思います。
Stable Diffusionで画像生成する流れをわかってないと、ノートをうまくつなげることができません。
ワークフローを取り込んで使う分には問題ありませんが、自分でカスタマイズするなら知識や慣れが必要です。
生成速度が早いらしい
口コミを見ると生成速度が早いという方が多いです。
8GVRAM使いのwebUI民によるComfyUIおすすめポイント
— nefuron@AIart (@nefuron_23) September 17, 2023
・webUIより生成速度が速い
・webUIより素の生成可能サイズが大きい
・処理の自由度が高い
ComfyUI アプデ後のアップスケールテスト
— AI Pictures (@AiGraphic_) September 11, 2023
解像度と生成速度が劇的に向上してる...。
今までよりピントもばちっとあってる印象。
2048×2048：8秒
4096×4096：15秒
8192×8192：1分15秒（添付の画像） pic.twitter.com/gdPCor94Ma
仕組みはよくわかりませんが、X以外のSNSでもComfyUIの方が早いという意見の方が多く、生成速度を重視したい方はComfyUIの方がいいかもしれません。
実際にSDXLで生成してみたところ、Stable Diffusion Web UIよりは早く生成できました。
ComfyUIのインストールと基本的な使い方まとめ
今回はComfyUIのインストールと基本的な使い方についてご紹介しました。
- ComfyUIはインストールが楽
- ComfyUIはノードベースのUI
- ComfyUIはStable Diffusion Web UIより生成速度が早いらしい
- Stable Diffusion Web UIからComfyUIは少し難しい
パッと見難しそうに感じましたが、ワークフローが取り込めるので自分で組み込む必要はあまりなさそうです。
使いたい機能に合わせてワークフローを取り込めば、各機能を理解していなくても画像生成が可能。
生成速度も速いので、興味がある方はぜひ使ってみてください。
