MMD奮闘記（２）-表情付けと口パク-

モデルちゃんが真顔で踊っていて不気味。
そんな状況を脱出すべく、今回は表情と口パク。

まずは左上から今剣ちゃんを選んで、右のInspector表示。ロック。
下のほうにあるModel調整scriptから表情を変更する。
真顔。変更。真顔。これを延々と繰り返して、
なんかやり方ないかとネットの海へ。
ここですごいの見つけた。

ウダサンコウボウ: [Unity]MMD4MFace - MMD4Mecanimの表情制御

ここで配布してるCSをAssetのScriptにコピーするでしょ。
モデルにAdd Componentするでしょ。
Face Controllerはデフォルトの表情指定で、
Faceは複数のモーフパラメータを合わせた表情を名前をつけて登録。
Blinkはランダムまばたき。すごい。
Faceをいくつか登録してシーンごとに変更できたり、
Blinkもまばたきだけじゃなくてテレ顔とか作ればめっちゃにっこり笑ったりするじゃん。
ほんとにすごい。感動した。
笑顔で踊る。たまにまばたきする。すごくかわいい。

よーしじゃあ次だ。口パク！
配布されてたモーションには口パクモーションもありました。
でも再生してみるとあの４５度に腕を開いたポーズでただ歌うだけである。
表情は前述Faceで付けられるんだけど、踊らない。
踊りながら口パクさせるにはモーションを同時に乗せるしかない。
が、どうやっても同時に２つのモーションを再生する方法が分からない！
Animeterではレイヤーもあるんだけど、結局片方しか再生されないし～～～？
ってことで、口パクモーションを利用するのは諦めて、
別途口パクさせる方法を探し始めます。
後々、モーションのブレンドを見つけたけどまだ試してない。
なめらかにモーション遷移するための機能らしいけど、
うまくいけば両方MAXとかできるのかな、わからん。

「Unity MMD 口パク」って検索すると、一番上にくるのがこちら。

tips.hecomi.com

LipSync Plugin、早速使ってみました。
確かにいい感じにパクパクしてくれました。かわいい。
これは、音声を分析して、あに近い音だからあの口にしよう、
もしくは、入力された文字列を一定速度で再生する機能のようです。
ただし口パクを再生するには、Playボタン押下が必須。
でも、これも口パク開始を任意の時間で遅延できます。それが強み。
便利なんですが！便利なんですが！かゆいところに手が届かない。
自動的に口パク始めてくれるツールを探します。
でも、これも口パク開始を任意の時間で遅延できます。それが強み。

次に見つけたのがこちら。

Unityでボイスに合わせてMMDキャラが口パク｜ゆにてぃメイト

MMD4Mecanimに入ってるSpeechHelperを使う方法です。
これも音声ファイルを解析して口の形を変える、
入力された文字列のとおりに口パクをする、の２つができます。
しかしこれ、遅延がないんですよ。
つまり、再生ボタンを押すといきなりしゃべり始める。
イントロ？なにそれおいしいの状態。
それはそれで困る。
僕ができないからなのだけど、途中から口パク設定を追加とかも分からない。

とりあえず、状況を整理しよう。
やりたいこと：曲に合わせて口をぱくぱくさせて歌わせたい
材料：オケとボーカルをミックスされた音源のみ所持

LipSync Plugin
いいとこ：遅延機能を使って、イントロを考慮できる
もんだい：２キャラの同期が難しい

SpeechHelper
いいとこ：自動再生
もんだい：イントロなにそれ

しかしちょいちょいいじってみれば、
SpeechHelperでは入力文字を「ん」とか「。」とか口を閉じる字を冒頭に渡すと
口を動かさずに遅延させることができました。
ってことで、歌詞を入力しつつ、遅延を調節する。
ちょうどよくうたい始めた！
ということで、同期させやすいSpeechHelperを使います。
LipSync Pluginも、スクリプト書いて自動再生できそうなんだけども、
うちではうまく自作スクリプトをAddできないので諦め･･･。

SpeechHelperでは、１文字を何フレームで表示するかを決められます。
デフォルトは0.1でしたのでそのままとりあえず動かします。
ですが、リズムに合わない（当たり前）
そこでリズムに合うよう、口の動きが変じゃないよう、文字を削ります。
自分で口を動かしながら、ただひたすら微調整。つらい。
ただ、ダンスモーションが激しいのでアップにしなきゃわりといける（慢心）

入力したのはこんな感じ。

元の歌詞は調べてください！

ここまでで、歌って踊って、までができるようになりました。
（続く）