Stable Difussion Web UIはテキストや画像から新しい画像を生成できる技術です。
しかし、特定の人物やキャラクターなどを正確に再現するには、プロンプトだけでは難しい場合があります。
そんなときに便利なのがLoRAという技術です。
学習させたLoRAデータを適応させることで、より再現性の高い画像が生成できるようになります。
今回はこのLoRAデータの導入方法と使い方について解説します。
LoRAを使って好きな人物やキャラクターの画像を生成したいという方はぜひ参考にしてみてください。
- LoRAがどういう技術なのかしりたい
- LoRAの導入方法がしりたい
- LoRAの具体的な使い方がしりたい
Stable Difussion Web Uのインストールやモデルの導入方法については、こちらの記事を参考にしてみてください。
LoRAの学習方法はこちら。
Stable DifussionのLoRAとは？
LoRAはLow-Rank Adaptationの略で、ベースモデルに対して学習したデータを適応させることができる技術です。
例えばマリオの画像を再現したいと思っても、プロンプトの入力だけじゃ細部まで再現できません。
マリオの特徴を学習させたLoRAデータがあれば、ベースモデルに対して学習させた要素を適応させることができます。
LoRAのメリットは、ベースモデルの性質を損なわずに学習した要素を再現できることです。
これによって、二次元キャラクターの特徴を実写やCG系のモデルで再現できるようになります。
またLoRAは複数組み合わせることができ、特定のキャラクターに好きな服やポーズを指定して画像を生成することも可能です。
LoRAの技術について詳細をしりたい方は、こちらの記事を参考にしてみてください。
Stable Difussion Web UIにLoRAを導入する方法
まずLoRAのデータをStable Difussion Web UIで読み込めるようにします。
LoRAは自分で作成することもできますが、配布されているものを利用することも可能です。
今回はcivitaiで配布されているLoRAを導入する方法について解説します。
上記のリンクからキーワードやカテゴリーを指定して、LoRAデータが探せます。
表示されている画像の左上のアイコンが「LoRA」となっているものがLoRAのデータです。
今回は商用利用可能なこちらの着物のLoRAをお借りします。
まず上記のリンクから「Download」をクリックしてLoRAデータを保存します。
ダウンロードしたLoRAを「stable-diffusion-webui\models\Lora」に入れます。
これでLoRAの導入は完了です。
Stable Difussion Web UIでLoRAを使う方法
実際にStable Difussion Web UIでLoRAを使用する方法について解説します。
まずバッチファイルを起動してStable Difussion Web UIを開きます。
「Generate」ボタンの下にある花札のアイコンをクリックします。
そうすると表示されるタブ一覧の中にLoRAという項目があるのでクリックします。
ここに先ほどダウンロードしたLoRAデータが表示されます。
このLoRAデータをクリックすればLoRAを使うために必要なプロンプトが自動的に入力されます。
またLoRAにはTrigger Wordsが設定されている場合があります。
Trigger Wordsはより正確にLoRAデータを適応させるためのキーワードです。
CivitAIのダウンロードページにて確認ができます。
こちらのLoRAでは「KIMONO」「YUKATA」「GEISHA」がTrigger Wordsになっているので、これらもプロンプトに入力します。
これで画像生成すると、どのモデルに対してもLoRAの着物を適応させて画像生成ができます。
LoRAの適応具合を調整する方法
LoRAのプロンプトは基本「LoRA：ファイル名：ウェイト」という形式になっています。
最後のウェイトの値を変えることで、LoRAをどれくらい適応させるか調整できます。
<lora:lora-dim16-kimono-v0-6_wd-1-5-beta2-aesthetic:1>LoRAの特徴が出過ぎている場合は、0.9、0.8～のように下げると上手く調整できる可能性があります。
また今回お借りした着物のLoRAに記載はありませんでしたが、通常は説明欄などにおすすめの値が記載されています。
こちらのLoRAでは「Suggested Weight: 1~ 1.5」と書かれていました。
画像生成しながら適切なウェイトを探してみてください。
LoRAは組み合わせも可能
LoRAは複数組み合わせて使用することもできます。
使い方は一緒で使用する全てのLoRAとTrigger Wordsをプロンプトに入力して画像生成するだけです。
上記の着物とメカ少女のLoRAを使用すると、着物のメカ少女っぽい画像が生成できます。
ただキャラクター、服、ポーズなど違う要素を1つずつ使用するのは問題ありませんが、同じジャンルのLoRAを使用するとうまく画像生成できない場合があるみたいです。
例えばマリオとルイージというキャラクターのLoRAを2つ同時に使用するなど。
ですので、使用するLoRAデータが被らないよう使いながら調整してみてください。
使用するLoRAにサムネイルをつける方法
花札アイコンをクリックして表示されるLoRAに、サムネイルをつけることができます。
LoRAデータと同名の画像ファイル(png)を同じフォルダに入れるだけで、サムネイルの表示が可能です。
画像の拡張子はPNGじゃないと表示されないため、PNG以外の場合は変換ツールなどで拡張子を変えてみてください。
なお、CivitAIのLoRAデータであれば「Civitai-Helper」という拡張機能を入れると自動的にサムネイルを表示してくれます。
「Extensions」→「Install from URL」→「URL for extension's git repository」に下記URLを入力して、「Install」をクリックするだけです。
Reload UIだと反映されないため、Install後にWeb UIを再起動します。
再起動するとCivitai Helperというタブが追加されます。
あとはタブ内上部にある「Scan Models for Civitai」の「Scan」をクリックすればサムネイルを自動的にダウンロードしてくれます。
LoRAファイルだけではなく、モデルやTEXTUAL INVERSIONなどのファイルにも対応可能です。
Civitai Helperは他にもモデルをダウンロードする機能や、ダウンロード済モデルのバージョンをチェックできる機能があります。
詳しい使い方に関してはこちらの記事を参考にしてみてください。
Stable Difussion Web UIでLoRAを使う方法まとめ
今回はStable Difussion Web UIでLoRAを使う方法について解説しました。
- LoRAとは？
- LoRAを導入する方法
- LoRAを実際に使う方法
LoRAが使用できるようになると生成できる画像の幅が一気に広がります。
著作権などの関係でWeb上に公開するのが難しい場合もありますが、個人で楽しむには現時点で問題ありません。
特定のキャラクターや人物、服装、ポーズなどを指定して画像を生成したい方は、LoRAデータを使って画像生成してみてください。
コメント