Stable Difussionを使うと誰でも簡単にさまざまな画像を生成できます。
しかし、特定の服装、人物、キャラクターなどを再現する場合、ベースモデルやプロンプトだけではなかなか難しいです。
LoRAを使うとそういった再現が簡単にできるようになります。
今回はこのLoRAデータの導入方法と使い方について解説します。
Stable Diffusion Web UIのインストールについては、こちらの記事を参考にしてみてください。
Stable DifussionのLoRAとは？
LoRAはLow-Rank Adaptationの略で、ベースモデルに対して学習したデータを適応させることができる技術です。
例えばマリオの画像を再現したいと思っても、ベースモデルとプロンプトの入力だけなかなか再現できません。
マリオの特徴を学習させたLoRAデータを使うと、ベースモデルに対してそれを適応させることができ、マリオを生成できるようになります。
このようにベースモデルに対して、別の学習したデータを適応させられるのがLoRAです。
LoRAの技術について詳細をしりたい方は、こちらの記事を参考にしてみてください。
https://huggingface.co/blog/lora
Stable Diffusion Web UIにLoRAを導入する方法
まずLoRAデータをダウンロード、または自作する必要があります。
自作したい方はこちらの記事を参考にしてみてください。
今回はcivitaiで配布されているLoRAを導入する方法について解説します。
上記のリンクからmodelsを開き、フィルターでLoRAを指定するとLoRAデータのみ表示できます。
使いたいLoRAが見つかったらそちらを開いてください。
今回は商用利用可能なこちらの着物のLoRAをお借りしました。
https://civitai.com/models/33304/lora-kimono-for-wd-15-beta-2-aesthetic
LoRAページにある「Download」をクリックするとLoRAデータが保存できます。
ダウンロードしたLoRAは以下のパスに移動してください。
stable-diffusion-webui\models\LoraこれでLoRAの導入は完了です。
Stable Diffusion Web UIでLoRAを使う方法
まずStable Diffusion Web UIを起動してください。
txt2imgのタブ一覧にLoRAがあり、ここを開くと先ほどダウンロードしたLoRAが表示されます。
このLoRAデータをクリックすれば、LoRAを使うために必要なプロンプトが自動的に入力されます。
なお、LoRAにはTrigger Wordsが設定されている場合があります。
Trigger Wordsはより正確にLoRAデータを適応させるためのキーワードです。
CivitAIのダウンロードページにて確認ができます。
https://civitai.com/models/33304/lora-kimono-for-wd-15-beta-2-aesthetic
こちらのLoRAでは「KIMONO」「YUKATA」「GEISHA」がTrigger Wordsになっているので、これらもプロンプトに入力してください。
これで画像生成すると、LoRAの着物を適応させて画像生成ができます。
LoRAの適応具合を調整する方法
LoRAのプロンプトは基本「LoRA：ファイル名：ウェイト」という形式になっています。
最後のウェイトの値を変えることで、LoRAをどれくらい適応させるか調整できます。
<lora:lora-dim16-kimono-v0-6_wd-1-5-beta2-aesthetic:1>LoRAの特徴が出過ぎている場合は、0.9、0.8～のように下げると上手く再現できる可能性があります。
また今回お借りした着物のLoRAに記載はありませんでしたが、通常は説明欄などにおすすめの値が記載されています。
こちらのLoRAでは「Suggested Weight: 1~ 1.5」と書かれていました。
https://civitai.com/models/15464/a-mecha-musume-a
画像生成しながら適切なウェイトを探してみてください。
LoRAは組み合わせも可能
LoRAは複数組み合わせて使用することもできます。
使い方は一緒で使用する全てのLoRAとTrigger Wordsをプロンプトに入力して画像生成するだけです。
上記の着物と別途メカ少女のLoRAを組み合わせると、着物を着たメカ少女っぽい画像が生成できます。
使用するLoRAにサムネイルをつける方法
LoRAデータと同名の画像ファイル(png)を同じフォルダに入れるだけで、サムネイル表示が可能です。
画像の拡張子はPNGじゃないと表示されないため、PNG以外の場合は変換ツールなどで拡張子を変えてみてください。
https://www.iloveimg.com/ja/jpg-to-image/jpg-to-png
LoRAを使うなら「Civitai-Helper」が便利
上記のトリガーワードやサムネの設定は「Civitai-Helper」という拡張機能を使うと簡単にできるようになります。
LoRA選択時に自動でトリガーワードを入力したり、CivitaiでダウンロードしたLoRAのサムネを自動で取得したりできます。
別途解説している記事があるのでこちらも参考にしてみてください。
Stable Diffusion Web UIでLoRAを使う方法まとめ
今回はStable Diffusion Web UIでLoRAを使う方法について解説しました。
- LoRAとは？
- LoRAを導入する方法
- LoRAを実際に使う方法
LoRAが使用できるようになると生成できる画像の幅が一気に広がります。
著作権などの関係でWeb上に公開するのは難しいものもありますが、個人で楽しむには現時点で問題ありません。
特定のキャラクターや人物、服装、ポーズなどを指定して画像を生成したい方は、LoRAデータを使って画像生成してみてください。