live2dなどのモデリングツールでつくるのは、コストが大きいので、簡易的にできる方法を試してみる。
nano bananaで６種類の画像をつくる
接客アバターなので、バストアップで静止画を用意する
- 神妙顔で、口を閉じ、手は表示しない
- 微笑み顔で、口を軽く開き、手は表示しない
- 笑顔で、口を開き、手は表示しない
- 困り顔で、口を閉じ、手は表示しない
- 考え中で、口を閉じ、手は顎に添える
- 話し中で、口を軽く開き、片手は胸元
Image to Video加工を行う
- Draw Things
- モデル：Wan 2.2 TI2V 5B でためしたが、元の画像とはかけ離れた実写に変わったり、再現性がわるくて使いこなせなかった。
- Mac版をMacMini(M4, 64GBメモリ)だと10分程度で動画生成はできていた。
- LivePortrait
- UIの設定でエラーがでまくるので、UIの使用は断念した。
% brew install ffmpeg git-lfs
% python local 3.10.18
% git clone https://github.com/KwaiVGI/LivePortrait.git
% cd LivePortrait
% pip install -r requirements_macOS.txt
% git lfs install
% hf download KwaiVGI/LivePortrait --local-dir pretrained_weights
% pip install huggingface_hub==0.25.2
% pip install "gradio==4.40.0"
% python app.py --device mps- コマンドラインでの実行で、期待通りの結果がえられた。サンプルの動画の動きを、静止画で提供したアバターによる動画が作成できた。
PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py \
-s ./tmp/Gemini_Generated_Image_1-straght.png \
-d assets/examples/driving/d0.mp4 \
-o ./tmp/avatar-animations/
-s: source
-d: お手本動画。今回はLivePortraitのサンプル動画を使用
-o: output- これができるなら、静止画は１枚でよかったのかもしれない。