【備忘録】sad talkerインストール

Web UIからsad talkerをインストールするぜ。

１、「Homebrew」をインストール*********************

「Homebrew」とは、macOSやLinux用のオープンソースのパッケージ管理システム。説明は以下を参照。

https://gift-by-gifted.com/homebrew/

URLの説明からターミナルを立ち上げて、「brew -v」と入力。

Homebrew 4.0.10

などと表示されたら既に Homebrew がインストールされている。

これ、MacにStable Diffutionインストールする際に実行をしているやつ。 

なので次。

２、「FFMpeg」をインストール**********************

ターミナルで、

「brew install ffmpeg」

以下のコマンドを実行してバージョンが表示されればインストール完了。

「ffmpeg -version」

３、SadTalker Extensionのインストール******************

WebUI を起動し「Extensions」タブから「Install from URL」タブを選択。

「URL for extension’s git repository」の欄に以下のURLを入力し「Install」ボタンを押す。

「https://github.com/Winfredy/SadTalker」

インストール後、WebUI を再起動。

「SadTalker」のタブが増えていればOK。

４、専用のモデルをダウンロードして配置*******************

Macのファインダーから、stable-diffusion-webui＞extensions＞SadTalker フォルダ内に「checkpoints」 フォルダを新規作成。

次に、作成した「checkpoints」フォルダへ、 Google ドライブにあるフォルダ2個、ファイル8個を全部選択してダウンロードし、解凍して全て配置する。

https://drive.google.com/drive/folders/1Wd88VDoLhVzYsQ30_qDVluQr_Xm46yHT

配置したモデルを読み込ませるために WebUI を再起動。

５、ディレクトリを追加加筆する。（macOS の場合）********************

stable-diffusion-webui＞webui-macos-env.shをテキストエディタで編集。

以下の1行を追加。

export SADTALKER_CHECKPOINTS=/Users/ここは自分のユーザー名/stable-diffusion-webui/extensions/SadTalker/checkpoints

設定は以上。

SadTalkerの設定********************

UIの配置は以下の通りです。

左上：アニメーションにする画像

左下：アニメーションにする音声

右：各種設定と生成ボタン

主な設定項目

pose style:０のままでいいかな。

face model resolution:512

preprocess:

Crop：顔部分を切り取って動画を生成します。

Resize：画像をリサイズして動画を生成します。

Full：フルサイズの画像で動画を生成します。これがおすすめ。

Still Modeにチェックを入れる。（full選択時のみ有効）

GFPAN as Face enhancer：ぼやけた画像を修正します。動画の品質が向上しますが、所要時間が増える。チェック入れる。

SadTalkerの実行

①に喋らせたい画像をアップロードします。

②に喋らせたい音声をアップロードします。

試しにフリーの音声「音声読み上げソフト音読さん」で入れてみた。URLは、

https://ondoku3.com/ja/

設定をし、「Generate」を選択します。

しばらく待つと、動画が生成されます。

ところが、作成できるんだけど、わずか8秒程度で２日かかる。
MacBook Air M2 メモリ16GBなんだけど、これは苦しい。

困ったな。