Lens StudioでFace Tracking(フェイストラッキング)をやってみる  | 技術ブログ | 株式会社OnePlanet 読み込まれました

2023/10/18

Lens StudioでFace Tracking(フェイストラッキング)をやってみる

Head Bindingの作成

まずは、新しいプロジェクトを作成します。

Objectsパネルから Face Effects -> Head Binding を追加します。

画像1

このHead Binding配下に、オブジェクトを設置すると顔にトラッキングしてくれるみたいです。

追加した、Head Bindingを見てみると、Face Occluderが含まれているのがわかります。

スクリーンショット 2021-05-13 18.17.03

頭部のオクリュージョンを再現するためのものですね。実際にどんな形をしているか見てみるとこんな感じ。

スクリーンショット 2021-05-13 18.18.40

後頭部はくり抜かれている仕様でした。理由は容量圧縮?わかりません。

スクリーンショット 2021-05-13 18.19.42

3Dモデルの配置

では、早速モデルを配置してみましょう。

Head Binding配下にObjectsパネルから Mesh -> Sphereを追加します。

スクリーンショット 2021-05-13 18.22.14

するとこんな感じで、顔面の前に球体が表示されました。

スクリーンショット 2021-05-13 18.23.32

Head Bindingの設定

まず、設定の変化がわかりやすいように、Previewの動画を「Pair Idle Persons1」変更します。

スクリーンショット 2021-05-13 18.26.10

「Pair Idle Persons1」が表示されている部分をクリックすると、メニューが表示されて動画の変更ができます。

次に、Sphereを微調整します。

Transform周りを調整します。

スクリーンショット 2021-05-13 18.34.24

調整後はこんな感じです。

スクリーンショット 2021-05-13 18.34.35

では、Head Bindingの設定をいじってみます。

「Face Index」をいじると、トラッキングする顔が切り替わります。

スクリーンショット 2021-05-13 18.33.27

Face Index
トラッキングしている顔のインデックス。最初に検出された顔が0、2番目は1というようにインデックスされます。

「Attach To Point 」をいじると、トラッキングの原点が変わります。

スクリーンショット 2021-05-13 18.36.29

試しに Mouth Centerに設定すると、口の前にSphereが表示されます。

スクリーンショット 2021-05-13 18.36.23

Attach To Point
トラッキングの中心となるポイント。

<選択可能なオプション>
頭の中心、あご、顔の中心、額、左の頬、左目、口の中心、右の頬、右目

XR エンジニア

Ivan Stephanus

複数のスタートアップでフルスタックエンジニアとして経験を積む。「THE Global Mobile Games Conference」ブロックチェーンゲーム部門で入賞。2019年にOnePlanetに入社。最先端のAR技術を活用した新しい顧客体験の創造に挑んでいる。

View More

お問い合わせ・ご相談

ARでやってみたいことやお困りごとなど
お気軽にお問い合わせください。

お問い合わせ