こんにちは、アニメーションチーム所属のハシモトです！
皆さんはVTuberをご存じでしょうか。
現在は多くのタレントさんが活動しており、皆さんも1度は目にしたことがあるのではと思います。
プラネットスタジオのブログでも過去にVTuberモデル作成のご紹介をしました。
今回は、そんなVTuberさん達の活動の要になっている「トラッキング」というものについてお話したいと思います。
VTuberにおけるフェイストラッキング
フェイストラッキングというのは、カメラを通して顔の表情や動きを追跡することで
「Live2Dモデルにリアルタイムで動きを反映させることができる」技術です。
トラッキングによって、VTuberさんは動画や生配信などでリアルタイムの表情やリアクションを視聴者の方にお届けできているわけですね。
トラッキングを行うためには、ソフトをはじめ事前に必要な準備や知っておいた方が良い知識なども多いため
そちらもお伝えしていきたいと思います。
主なトラッキングソフトについて
トラッキングソフトにはいくつか種類があり、代表的なものを2つご紹介します。
VTube Studio(通称VTS)
現在最も多くのVTuberさんに使用されていると思われるのが「VTube Studio」通称VTSです。
https://denchisoft.com/
公式HPやソフト内での説明も日本語に対応しており、
設定や操作方法もソフト内で完結するなどシンプルで分かりやすい作りとなっています。
利用人口が多く、使用上での疑問点や不明点なども比較的すぐに確認することができます。
nizima LIVE
Live2D社が公式で出しているトラッキングソフトです。
https://nizima.com/
比較的後発のソフトでありながら、基本的なものから応用的なものまでVTSに引けを取らない機能が揃っています。
最近アップデートされたLive2D Cubism Editorとの連携機能によって、トラッキングの動きを確認しながらのモデリングが可能になりました。
Live2Dモデラーさんにとって魅力的な新機能ですね！
どちらも無料で使用できますが、機能の多い有料版のnizima LIVEは、月単位または年単位のサブスクリプションプランがあります。
VTS（VTube Studio）は一括購入で使用できるため、自分の使いたい用途によって比較しつつ使いやすいソフトを選んでください。
トラッキングソフトができること
トラッキングソフトでは、人の動きの反映以外にもできることがあります。
「キーバインド」という機能を使用することで、キャラクターの魅力を更に多彩に表現できるようになります。
キーバインド～表情の切り替え～
指定のキーを押すことでモデルに特定の表情を再現させる機能です。
これによって、通常であれば
瞬き、笑顔、目、口の動き、眉（気持ち上下する程度） の最低限の動きになっているモデルに
「怒った顔」「泣いている顔」「その他キャラクター固有の表情」
といった、動きの反映のみでは再現しきれない様々な表現ができます。
キーバインド～衣装の切り替え～
表情の切り替えと同様の機能を使用して、「衣装の着脱」や「腕の切り替え」等も行うことが可能です。
ボタン一つで様々なパターンの姿を披露できるようになります。
プラネちゃんは ①通常衣装 ②スタジオロゴ衣装 の２パターンを用意し、シーンに合わせて切り替えられるように作成しております
「VTuber用モデルの制作を依頼したい！」という時には、
モデルで表現したい表情や衣装の差分などもあらかじめ用意しておくと、より理想に近いVTuberモデルが制作できます！
トラッキングの時に用意しておくもの
トラッキングソフトができることまで頭に入って「もう安心！」ではありません。
実際にトラッキングする際に必要な準備についてもお話させていただきます。
トラッキングソフトが入ったPC
VTSをはじめとした、 使いたいトラッキングソフトが使用できる状態にするためにPCの準備が必要です。
「VTube Studio」はsteamでの購入、「nizima LIVE」は公式HPからダウンロードが必要…など、
ソフトごとに準備方法が異なるため、各ソフトの購入案内に沿ってご準備ください。
※ソフトが無いとトラッキングできませんので、忘れずにご用意ください。
トラッキング用のカメラ
顔の動きや表情を読み取るためのカメラの準備が必要になります。
基本的に、
PCの内蔵カメラ（内蔵カメラが無い場合は外付けのWebカメラ等をご準備ください）
iPhone
上記のどちらかをご用意いただけると良いと思います。
トラッキングの精度を求める場合には、
Face ID 搭載のiPhoneだと細かい表情や顔の動きまできれいに読み取ることができるので個人的にオススメです。
※カメラの性能によってトラッキングの精度に差が出るため、より精度を求める場合は使用するカメラにもご注意ください。
最後に
ということで、
今回はVTuberとしてモデルを動かすために不可欠な「トラッキング」について書かせていただきました。
「VTuberとして活動をしたい…！」
という時には、とりあえずモデルの作成や用意に考えが行きがちですが
モデルの準備の前にトラッキングの知識があると、より理想的な活動が出来ると思います。
こちらのブログを足掛けに、知っていただけるととても嬉しいです！
プラネットスタジオアニメーションチームでは
モデルの仕様から制作までのご相談
トラッキングについてのご相談・サポート
既存モデルのトラッキング精度向上に関するご相談（オンライン通話）
※企業様へはご訪問も可能です
等、VTuber制作に関して一貫した対応実績がございます。
「VTuberモデルの制作やトラッキングについてもっと話を聞きたい、相談したい」
そのような企業のご担当者様がいらっしゃいましたら、下記のご案内ページよりお気軽にお問い合わせください。
ご連絡お待ちしております！
C＆R Creative Stuios Vtuberコンテンツ制作サービス
