SadTalkerでの顔アニメーションの作成

SadTalkerで一枚の人物画像と音声ファイルで動画作成できる。
stable diffusion webuiにプラグインがあるので利用してみる。

ベース画像

以前作ったおっさん画像を転用。

音声

VOICEVOXで適当に作成。

sadtalker

stable diffusion webuiにプラグインがあるのでインストールする。

https://github.com/OpenTalker/SadTalker

モデルはここに公開されているものをダウンロードしてextension/SadTalker/checkpointsに配置。

https://drive.google.com/drive/folders/1hgPt7dx4bCi74u_R24Eaapt6QeCHuVb_

生成実行

• face model resolution は 256 で設定
• Still Mode を有効化してあまり動かさないようにする
• GPFGAN as Face enhancer を有効化にする

所感

• 画像一枚と音声ファイルで簡単にディープフェイクが作れつつある
  • ボイスチェンジャー系の技術と組み合わせるとフェイク動画になりそう
  • VALL-E Xあたりが面白そう
• 画像を無理やり動かしている感も残っているが上々。
• 全身のモーションまで補完できるようになるなら顔ハメ感減りそう。
• フォトリアル系ではよく機能するものの、イラスト系はあまり機能しなかった。
  • 顔が検出できなかったり、イラスト調の補完にならなかったりする。