10.3. MediaPipeでポーズを検出する
MediaPipeとはGoogleが公開している、ライブメディアとストリーミングメディア向けのAIソリューションで無償で利用できます。本アプリではPoseの機能を利用しています。
ウェブカメラ等で移した映像からAIが自動的にポーズを検出し、それをVRoid/VRMに適用することができます。
https://google.github.io/mediapipe/
警告
※なお、MediaPipeと本アプリのIKの位置は完全には一致しないため、そしてポーズの検出は100％ではありません。あらかじめご了承ください。
※VRoid/VRM以外はこの機能を使えません。
「3Dモデル」タブの「MediaPipe」をクリックします。
確認メッセージが表示されるので問題なければOKボタンを押して進みます。
注釈
※初回はカメラの利用許可が求められるので、許可をして進めてください。
PCのスペックにもよりますが読み込み中の後カメラ映像が映し出されます。
注釈
※この状態でアプリがフリーズする場合、一度本アプリをすべて終了し改めて起動しなおしてください。
10.3.1. ポーズを保存する
ポーズを取得する通常の手順です。
ウィンドウ右下の「ポーズ保存」をクリックします。
※タイマーの秒数を1以上にすると、ボタンを押した後にタイマーが作動してその秒数後に自動的にポーズの撮影がされます。
本アプリのメイン画面側でポーズが反映されたことを確認します。
注釈
※撮影した人物・物体の位置・高さ・奥行きなどにより実際に反映されるポーズが想定とは異なる可能性があります。
10.3.2. 映像ソースを切り替える
ウェブカメラを複数台接続している場合や写真からポーズを検出したい場合に切り替えることができます。
ツールウィンドウ中の映像ソースのコンボボックスから目的のものを選択します。
- ※あるいは参照ボタンをクリックします
別カメラ・画像からポーズが検出されるのを確認します。
注釈
※イラストや写真の場合、奥行きが再現しきれない場合があります。その場合はポーズ保存後にVRMを直接操作して各IKを修正してください。
10.3.3. タイマーでポーズを保存する
タイマー機能により、カメラ映像を指定の時間後に自動的に撮影してそのポーズを検出させることができます。
ツールウィンドウ中の「タイマー保存」に秒数を指定します。
※1～10秒の間で指定可能
ポーズ保存ボタンを押します。
※左上に読み込みアニメーションが表示され、指定の秒数後に効果音を発して非表示になります。（1秒ごとに赤くなります）
3, 通常の手順通りポーズが保存されるのでメインの画面で確認・反映してください。
10.3.4. その他機能
- Selfie Mode
映像を反転します。
- 映像ソース
カメラあるいは参照ボタンで画像を指定します。
- Min Detection Confidence
検出の精度
- Min Tracking Confidence
トラッキングの精度
※他のオプションは MediaPipe のサイトで確認してください。