SDWebUIの拡張機能Reactorとmov2movを使った、DeepFake動画の作り方を紹介します。
DeepFakeとは？
DeepFake（ディープフェイク）は、ディープラーニング（深層学習）とフェイク（偽物）を組み合わせた言葉です。
画像や映像を組み合わせる生成技術で、最近ではAIインフルエンサーなどにこの技術が使われています。
今回はStable Diffusion Web UIの拡張機能を使い、動画に画像の顔を適用させるDeepFakeの作り方を紹介します。
・元動画
・ソース画像
・DeepFake
DeepFake動画を作る前の準備
Stable Diffusion Web UIのインストール
SDWebUIの拡張機能を使って作るため、Stable Diffusionを動かせるUIが必要です。
インストールしていない方は先にインストールしてください。
mov2movのインストール
mov2movは、簡単に動画をAI化できるSDWebUIの拡張機能です。
SDWebUIのExtensions→Install from URL→URL for～に下記URLを入力し、Installボタンをクリックすればインストールできます。
https://github.com/Scholar01/sd-webui-mov2mov.git
なお、24年4月現在更新されておらず、導入に少しコード修正が必要です。
修正方法は別途記事を書いているのでこちらを参考にしてください。
Reactorのインストール
Reactorは、画像や動画の顔を交換できるSDWebUIの拡張機能です。
こちらもSDWebUIのExtensions→Install from URL→URL for～に下記URLを入力し、Installボタンをクリックすればインストールできます。
https://github.com/Gourieff/sd-webui-reactor.git
一応こちらも記事を書いているので良ければ参考にしてみてください。
どちらもインストールできたらリスタート、または再起動すれば拡張機能が反映されます。
mov2mov×ReactorでDeepFake動画を作成
準備が整ったら実際にDeepFake動画を作っていきます。
SDWebUIを起動してmov2movのタブを開いてください。
以下に元となる動画を取り込みます。
パラーメータは、サイズとDenoising strengthだけ設定します。
今回使用している動画4Kなのでそのままだと非常に動作が重いです。
PCスペックにもよりますが、同じアスペクト比で縮小れば処理がスムーズなので、以下のようにしました。
サイズ：1280×720
Denoising strength：0
Denoising strengthは値を強くすると顔以外にも影響が出てチラつくため、0にしておきます。
ReactorをONにして、適用させたい顔の画像を取り込みます。
ReactorのパラーメータはデフォルトのままでOKです。
これでGenerateすると生成が始まり、Reactorで取り込んだ顔のDeepFake動画が作れます。
mov2mov×ReactorでDeepFake動画を作る方法まとめ
今回はSDWebUIのmov2mov×ReactorでDeepFake動画を作る方法を紹介しました。
ComfyUIやスタンドアローンで動かせるツールなどもあり、そちらは操作性が簡単で処理も早いのですが、若干導入が大変です。
SDWebUIでやる場合は、おそらくこれが一番簡単だと思います。
拡張機能を入れるだけで簡単にDeepFakeが作れるので、興味がある方は試してみてください。
