現在Stable Diffusionを使えるUIは多数存在し、その中の1つにComfyUIがあります。
AUTOMATIC1111よりSDXLモデルに早く対応して注目されたUIで、現在徐々に利用者も増えてきています。
どちらもStable DiffusionをUIで動かせるものですが、導入方法、UIの見た目、カスタマイズ性など、異なる特徴があります。
今回はこのComfyUIのインストール方法と基本的な使い方についてご紹介します。
ComfyUIとは？
ComfyUIは、23年3月にcomfyanonymousという方がリリースした、Stable Diffusion用のUIです。
主な特徴は生成の流れが視覚的に見えることと、その流れをカスタマイズできること。
1つ1つの処理を任意に繋いで行える「ノードベース」となっており、使いこなすには学びや慣れも必要です。
ComfyUIをインストールする方法
ComfyUIに複雑なインストール手順はありません。
ダウンロードしたら、フォルダ内にあるバッチファイルを起動するだけでUIを開けます。
以下のURLからInstalling ComfyUIをクリックして、移動した先にあるDirect link to downloadから7-zipファイルをダウンロードしてください。
ダウンロードが終わると7-zipファイルが保存されます。
win11の方は、ファイルを右クリック→その他のオプションを確認→全て展開で解凍できます。
もし何らかの理由で解凍できない場合は、7-Zipなど対応している解凍ソフトをインストールしてみてください。
解凍後、フォルダ内にある「run_cpu」か「run_nvidia_gpu」を起動します。
NVIDIAのグラフィックボードを使用している方は「run_nvidia_gpu」で起動しましょう。
以下のようなUIが開ければ、ComfyUIのインストールは完了です。
ComfyUIにモデルを追加する方法
画像生成には元となるモデルが必要です。
使用するモデルによって二次元や三次元、クオリティなど結果が異なります。
AUTOMATIC1111を既に使用している方
AUTOMATIC1111で既にモデルやLoRAをインストールしている場合は、そちらのモデルを指定できます。
以下のパスに「extra_model_paths.yaml.example」というファイルがあるので、「.example」を削除してください。
ComfyUI_windows_portable\ComfyUI\extra_model_paths.yaml.example"yamlファイルになるので、それをテキストエディターなどで開き、「base_pase:」のところにStable Diffusionのフォルダパスを指定します。
例えばCドライブ直下にStable Diffusionをインストールしている場合は、以下のようになります。
C:\stable-diffusion-webui
この状態で保存すれば、ComfyUIでもAUTOMATIC1111にインストールしたモデルが使用できます。
AUTOMATIC1111を使用していない方
ComfyUIが初めてのUIという方は、自身が使いたいモデルをダウンロードして、対象のフォルダに入れる必要があります。
モデルを提供しているメインのサイトは以下2つです。
civitai:https://civitai.com/
huggingface:https://huggingface.co/
どちらからでもいいので、使いたいモデルをダウンロードします。
モデルをダウンロードしたら、以下のパスにモデルデータを移動します。
ComfyUI_windows_portable\ComfyUI\models\checkpointsなお、LoRAやembeddingsなどを使用する場合は、それぞれ対応するフォルダに移動してください。
LoRA：ComfyUI_windows_portable\ComfyUI\models\loras
Embeddings：ComfyUI_windows_portable\ComfyUI\models\embeddingsこれでComfyUIを起動したときに、使用するモデルを選択できるようになります。
AUTOMATIC1111用のものですが、モデルやLoRAのダウンロード方法について別途詳しく書いた記事があるので、こちらを参考にしてみてください。
ComfyUIの基本的な使い方
モデルの準備が整ったら実際にComfyUIを動かします。
ComfyUIは、ネットワークを可視化したときのようなノードリンク図のUIです。
全体をワークフローと呼び、Load CheckpointやCLIP Text Encode (Prompt)の要素をノードと呼びます。
これらを自由に追加・削除・入れ替えなどカスタマイズすることで、画像生成時の影響を調整できます。
ここではデフォルトで表示されているノードの説明と画像生成方法を解説します。
Load Checkpoint
こちらはモデルを選択できるノードです。
クリックすると一覧が表示され、矢印アイコンでも切り替えが可能。
画像生成に使用したいモデルを選択してください。
CLIP Text Encode (Prompt)
こちらはAUTOMATIC1111でいうところの、プロンプトとネガティブプロンプトです。
テキストで英単語などを入力することによって、それを生成画像に反映できます。
プロンプトには生成したい要素、ネガティブプロンプトに生成したくない要素を入力してください。
positiveにつながっている方がプロンプト、negativeにつながっている方がネガティブプロンプトです。
Empty Latent Image
Empty Latent Imageは日本語訳で「空の潜在画像」となり、元となる画像サイズや生成する枚数を指定できます。
widthが横幅、heightが縦幅、batch_sizeが一度に生成したい枚数です。
Ksampler
Ksamplerは画像生成時に使用するサンプラー、ノイズ除去強度、シード値などを設定できるノードです。
簡単な意味をまとめましたが、サンプラーごとの違いなど、詳細が知りたい方は公式などで確認してください。
| seed | ランダム制を制御するもの |
| control_after_generate | シート値の変化方法 randomize：ランダム increment：1ずつ増加 decrement：1ずつ減少 fixed：固定 |
| steps | サンプリングステップ数 値が大きいと画像の不自然な変形やノイズが少なくなる |
| cfg | プロンプトの内容をどれだけ反映させるか |
| sampler_name | 使用するサンプリングの指定 |
| scheduler | 生成過程でノイズの変化を制御 |
| denoise | ノイズ除去強度 |
VAE decode
VAE decodeは、Stable Diffusionの生成過程において、より自然な画像にするために行う処理です。
こちらは特に設定する項目はありません。
Save Image
Save Imageは、生成した画像の先頭につくファイル名を指定できます。
デフォルトだとoutputフォルダに「ComfyUI_00001_～」というファイル名で画像が保存されていくので、ComfyUIの部分を変えればファイル名も変わります。
また生成した画像結果は、こちらのノードに表示されます。
画像生成開始
設定ができたら最後に独立しているノードの「Queue Prompt」をクリックすれば、画像が生成できます。
モデルだけ指定し、それ以外をデフォルトまま生成したら以下のようになりました。
ComfyUIの基本的な使い方は以上です。
ComfyUIでノードを追加してワークフローを作る方法
ComfyUIでは、ノードを追加・並べ替えをして、オリジナルのワークフローを作ることができます。
基本は右クリックで追加したいノードを選択し、ワークフローの中に組み込んでいきます。
そのためimg2img、アップスケーラー、LoRAなどを使用する場合は、その都度手動で設定が必要。
しかし、これらを1つずつ追加するのは少し面倒です。
そういった場合は、公式ページにある画像をComfyUIに取り込めば、自動的にそのワークフローが設定できます。
一例を紹介すると、img2imgを使用するためのワークフローを作りたい場合、以下のページを開きます。
リンク先にある画像をComfyUIのどこでもいいのでD&Dします。
そうすると自動的にimg2img用のノードが追加され、画像と同じワークフローに設定できます。
これは画像にワークフローのメタデータが残っており、それをUIに反映できるようです。
公式だけではなく有志の方が作成してくれているものもあるため、ワークフローの作り方がわからなければそういったところから探した方が早いかもしれません。
実際の操作方法についてはマニュアルを確認する必要がありますが、ワークフローの作成はこのやり方が一番手っ取り早いです。
公式のワークフローは以下のページにまとまっているので、使いたい機能はD&Dで設定してみてください。
日本語翻訳を使えば、ある程度使い方もわかるかと思います。
AUTOMATIC1111とComfyUIの違いは？
まだ使い始めて間もないのですが、現状感じたAUTOMATIC1111とComfyUIの違いをまとめると以下の通りです。
インストールが楽
ほぼインストールがないようなものなので、導入はAUTOMATIC1111より遥かに楽です。
画像生成するまで手間をかけたくないという方は、ComfyUIの方がおすすめです。
ComfyUIは上級者向けかも
これは私がAUTOMATIC1111に慣れているせいもありますが、各処理について理解していないと使いこなすのは難しい印象です。
どのノードをどう繋げれば理想の画像を生成できるのかを学ぶ必要があるため。
AUTOMATIC1111ほど日本語で出回っている情報も多くないので、AUTOMATIC1111からの乗り換えだと少し難しく感じるかもしれません。
最初からComfyUIであれば問題ないと思います。
生成速度が早いらしい
私がしっかり検証したわけではないのですが、口コミを見ると生成速度が早いという方が多いです。
8GVRAM使いのwebUI民によるComfyUIおすすめポイント
— nefuron@AIart (@nefuron_23) September 17, 2023
・webUIより生成速度が速い
・webUIより素の生成可能サイズが大きい
・処理の自由度が高い
ComfyUI アプデ後のアップスケールテスト
— AI Pictures (@AiGraphic_) September 11, 2023
解像度と生成速度が劇的に向上してる...。
今までよりピントもばちっとあってる印象。
2048×2048：8秒
4096×4096：15秒
8192×8192：1分15秒（添付の画像） pic.twitter.com/gdPCor94Ma
仕組みはわかりませんが、YouTubeや特定の掲示板などでも、生成速度に関してはComfyUIの方が上というのをよく見かけます。
ですので、生成速度を重視したい方はComfyUIの方がいいかもしれません。
私はまだ使いこなせていないので、AUTOMATIC1111と同じ処理&画像で検証できたら追記します。
ComfyUIのインストールと基本的な使い方まとめ
今回はComfyUIのインストールと基本的な使い方についてご紹介しました。
- ComfyUIはインストールが楽
- ComfyUIはノードベースのUI
- ComfyUIはAUTOMATIC1111より生成速度が早いらしい
- AUTOMATIC1111からComfyUIは少し難しい
現在はAUTOMATIC1111やComfyUI以外にもさまざまなUIが登場してきています。
UIも選べるようになってきているため、自分が生成したい画像を生成できるUIを選ぶのが一番です。
今後もう少し使いこなせて、具体的な生成方法がわかれば別途ご紹介します。
以上、ComfyUIのインストールと基本的な使い方でした。
コメント