2023/10/18
Lens StudioでFace Tracking(フェイストラッキング)をやってみる
Head Bindingの作成
まずは、新しいプロジェクトを作成します。
Objectsパネルから Face Effects -> Head Binding を追加します。
このHead Binding配下に、オブジェクトを設置すると顔にトラッキングしてくれるみたいです。
追加した、Head Bindingを見てみると、Face Occluderが含まれているのがわかります。
頭部のオクリュージョンを再現するためのものですね。実際にどんな形をしているか見てみるとこんな感じ。
後頭部はくり抜かれている仕様でした。理由は容量圧縮?わかりません。
3Dモデルの配置
では、早速モデルを配置してみましょう。
Head Binding配下にObjectsパネルから Mesh -> Sphereを追加します。
するとこんな感じで、顔面の前に球体が表示されました。
Head Bindingの設定
まず、設定の変化がわかりやすいように、Previewの動画を「Pair Idle Persons1」変更します。
「Pair Idle Persons1」が表示されている部分をクリックすると、メニューが表示されて動画の変更ができます。
次に、Sphereを微調整します。
Transform周りを調整します。
調整後はこんな感じです。
では、Head Bindingの設定をいじってみます。
「Face Index」をいじると、トラッキングする顔が切り替わります。
Face Index
トラッキングしている顔のインデックス。最初に検出された顔が0、2番目は1というようにインデックスされます。
「Attach To Point 」をいじると、トラッキングの原点が変わります。
試しに Mouth Centerに設定すると、口の前にSphereが表示されます。
Attach To Point
トラッキングの中心となるポイント。
<選択可能なオプション>
頭の中心、あご、顔の中心、額、左の頬、左目、口の中心、右の頬、右目
XR エンジニア
Ivan Stephanus
複数のスタートアップでフルスタックエンジニアとして経験を積む。「THE Global Mobile Games Conference」ブロックチェーンゲーム部門で入賞。2019年にOnePlanetに入社。最先端のAR技術を活用した新しい顧客体験の創造に挑んでいる。
View More