当ブログにはプロモーション、アフィリエイト広告が含まれます。

【Stable Difussion Web UI】LoRAを入れてモデルを好きな画像に適応させる方法!

Stable Difussion Web UIはテキストや画像から新しい画像を生成できる技術です。

しかし、特定の人物やキャラクターなどを正確に再現するには、プロンプトだけでは難しい場合があります。

そんなときに便利なのがLoRAという技術です。

学習させたLoRAデータを適応させることで、より再現性の高い画像が生成できるようになります。

今回はこのLoRAデータの導入方法と使い方について解説します。

LoRAを使って好きな人物やキャラクターの画像を生成したいという方はぜひ参考にしてみてください。

こんな方におすすめ
  • LoRAがどういう技術なのかしりたい
  • LoRAの導入方法がしりたい
  • LoRAの具体的な使い方がしりたい

Stable Difussion Web Uのインストールやモデルの導入方法については、こちらの記事を参考にしてみてください。

LoRAの学習方法はこちら。

Stable DifussionのLoRAとは?

LoRAはLow-Rank Adaptationの略で、ベースモデルに対して学習したデータを適応させることができる技術です。

例えばマリオの画像を再現したいと思っても、プロンプトの入力だけじゃ細部まで再現できません。

マリオの特徴を学習させたLoRAデータがあれば、ベースモデルに対して学習させた要素を適応させることができます。

LoRAのメリットは、ベースモデルの性質を損なわずに学習した要素を再現できることです。

これによって、二次元キャラクターの特徴を実写やCG系のモデルで再現できるようになります。

またLoRAは複数組み合わせることができ、特定のキャラクターに好きな服やポーズを指定して画像を生成することも可能です。

LoRAの技術について詳細をしりたい方は、こちらの記事を参考にしてみてください。

Using LoRA for Efficient Stable Diffusion Fine-Tuning
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Stable Difussion Web UIにLoRAを導入する方法

まずLoRAのデータをStable Difussion Web UIで読み込めるようにします。

LoRAは自分で作成することもできますが、配布されているものを利用することも可能です。

今回はcivitaiで配布されているLoRAを導入する方法について解説します。

Civitai | Stable Diffusion models, embeddings, LoRAs and more
Civitai is a platform for Stable Diffusion AI Art models. Browse a collection of thousands of models from a growing number of creators. Join an engaged communit...

上記のリンクからキーワードやカテゴリーを指定して、LoRAデータが探せます。

表示されている画像の左上のアイコンが「LoRA」となっているものがLoRAのデータです。

今回は商用利用可能なこちらの着物のLoRAをお借りします。

Page Not Found

まず上記のリンクから「Download」をクリックしてLoRAデータを保存します。

ダウンロードしたLoRAを「stable-diffusion-webui\models\Lora」に入れます。

これでLoRAの導入は完了です。

Stable Difussion Web UIでLoRAを使う方法

実際にStable Difussion Web UIでLoRAを使用する方法について解説します。

まずバッチファイルを起動してStable Difussion Web UIを開きます。

「Generate」ボタンの下にある花札のアイコンをクリックします。

追記:ver1.6.0からは花札アイコンは消えてデフォルトでタブ表示になりました。ver1.6.0を使用している場合はLoRAのタブを開いてください。

そうすると表示されるタブ一覧の中にLoRAという項目があるのでクリックします。

ここに先ほどダウンロードしたLoRAデータが表示されます。

このLoRAデータをクリックすればLoRAを使うために必要なプロンプトが自動的に入力されます。

またLoRAにはTrigger Wordsが設定されている場合があります。

Trigger Wordsはより正確にLoRAデータを適応させるためのキーワードです。

CivitAIのダウンロードページにて確認ができます。

Page Not Found

こちらのLoRAでは「KIMONO」「YUKATA」「GEISHA」がTrigger Wordsになっているので、これらもプロンプトに入力します。

これで画像生成すると、どのモデルに対してもLoRAの着物を適応させて画像生成ができます。

使用モデル:https://huggingface.co/sazyou-roukaku/chilled_remix
使用モデル:https://huggingface.co/dreamlike-art/dreamlike-anime-1.0

LoRAの適応具合を調整する方法

LoRAのプロンプトは基本「LoRA:ファイル名:ウェイト」という形式になっています。

最後のウェイトの値を変えることで、LoRAをどれくらい適応させるか調整できます。

 <lora:lora-dim16-kimono-v0-6_wd-1-5-beta2-aesthetic:1>

LoRAの特徴が出過ぎている場合は、0.9、0.8~のように下げると上手く調整できる可能性があります。

また今回お借りした着物のLoRAに記載はありませんでしたが、通常は説明欄などにおすすめの値が記載されています。

こちらのLoRAでは「Suggested Weight: 1~ 1.5」と書かれていました。

A-Mecha Musume A素体机娘 - SSS | Stable Diffusion LoRA | Civitai
SSS: you can try super_robot_joints ============= Thanks to the original author 搞事德·乔斯达's wonderful thought and generosity, now A-Mecha Musume is r...

画像生成しながら適切なウェイトを探してみてください。

LoRAは組み合わせも可能

LoRAは複数組み合わせて使用することもできます。

使い方は一緒で使用する全てのLoRAとTrigger Wordsをプロンプトに入力して画像生成するだけです。

上記の着物とメカ少女のLoRAを使用すると、着物のメカ少女っぽい画像が生成できます。

使用モデル:https://huggingface.co/dreamlike-art/dreamlike-anime-1.0

ただキャラクター、服、ポーズなど違う要素を1つずつ使用するのは問題ありませんが、同じジャンルのLoRAを使用するとうまく画像生成できない場合があるみたいです。

例えばマリオとルイージというキャラクターのLoRAを2つ同時に使用するなど。

ですので、使用するLoRAデータが被らないよう使いながら調整してみてください。

使用するLoRAにサムネイルをつける方法

花札アイコンをクリックして表示されるLoRAに、サムネイルをつけることができます。

LoRAデータと同名の画像ファイル(png)を同じフォルダに入れるだけで、サムネイルの表示が可能です。

画像の拡張子はPNGじゃないと表示されないため、PNG以外の場合は変換ツールなどで拡張子を変えてみてください。

オンラインでJPGをPNGに変換
様々なJPG画像をPNGに変換。JPGをPNGに変換するための無料オンラインアプリです。

なお、CivitAIのLoRAデータであれば「Civitai-Helper」という拡張機能を入れると自動的にサムネイルを表示してくれます。

「Extensions」→「Install from URL」→「URL for extension's git repository」に下記URLを入力して、「Install」をクリックするだけです。

GitHub - butaixianran/Stable-Diffusion-Webui-Civitai-Helper: Stable Diffusion Webui Extension for Civitai, to manage your model much more easily.
Stable Diffusion Webui Extension for Civitai, to manage your model much more easily. - GitHub - butaixianran/Stable-Diffusion-Webui-Civitai-Helper: Stable Diffu...

Reload UIだと反映されないため、Install後にWeb UIを再起動します。

再起動するとCivitai Helperというタブが追加されます。

あとはタブ内上部にある「Scan Models for Civitai」の「Scan」をクリックすればサムネイルを自動的にダウンロードしてくれます。

LoRAファイルだけではなく、モデルやTEXTUAL INVERSIONなどのファイルにも対応可能です。

Civitai Helperは他にもモデルをダウンロードする機能や、ダウンロード済モデルのバージョンをチェックできる機能があります。

詳しい使い方に関してはこちらの記事を参考にしてみてください。

Stable Difussion Web UIでLoRAを使う方法まとめ

今回はStable Difussion Web UIでLoRAを使う方法について解説しました。

まとめ
  • LoRAとは?
  • LoRAを導入する方法
  • LoRAを実際に使う方法

LoRAが使用できるようになると生成できる画像の幅が一気に広がります。

著作権などの関係でWeb上に公開するのが難しい場合もありますが、個人で楽しむには現時点で問題ありません。

特定のキャラクターや人物、服装、ポーズなどを指定して画像を生成したい方は、LoRAデータを使って画像生成してみてください。

コメント

タイトルとURLをコピーしました