頭と尻尾はくれてやる!

パソコンおやじのiPhoneアプリ・サイト作成・運営日記


ARKitのface trackingはiPhoneが横向きでも可能

iPhone X以降のフロントカメラはTrueDepth Camera(※1)と呼ばれ顔認証のFace IDに使われる。
この Face ID はiPhoneを縦持ちしないと機能しない(iPadは横向きでも可能)。
なので、最近やってるARSCNFaceGeometryで顔の頂点データを取得(※2)するのもiPhoneは縦向きじゃないとダメなのだろうと思っていた。

ふと、デバイス(iPhone XS Max)を横向きにして試してみた。アプリはいつもの(?)目を大きくして”メガネ”オブジェクトを表示するものだ(顔を見失うと目が小さくなり、メガネは止まる)。



↑横に置いて試した動画。
デバイスから1mくらいまでは普通にトラッキングできてる。
案外遠くでも顔を追いかけられている。

どういうこと???

これだけきっちりリアルタイムでface trackingできるのは画像処理だけじゃなくて赤外線カメラなども使って処理してるんだろうな、と思っていたんだが、、、?

暗いところでface trackingのスクショ

↑試しに暗いところで使ってみたらface trackingできない!(上の画像は撮影後輝度処理をして見えやすくしている)

おまけに、明るいところでドットプロジェクターや赤外線カメラの位置(※3)を何かで押さえててもちゃんと動く!


つまり、Face IDで認証する時の処理とは全く違っているってことか?face trackingにFace IDほどの精度は不要だろうだから照射するドット数を減らすとかやってるのかな、くらいに思っていた。
顔の表情(頂点座標)までリアルタイムで取得するのを画像処理だけでやってるってこと???
謎すぎる、、、



※1
Cameras

※2 ↓ARFaceTrackingConfigurationをサポートしてるのはTrueDepth Cameraを持ってるデバイスだけ、とある。
ARFaceTrackingConfiguration - ARKit | Apple Developer Documentation

※3
iPhone顔認証を実現する『TrueDepthカメラ』の仕組みと未来とは?|TIME&SPACE by KDDI
スポンサーサイト

<< Metalで画面ではなくMTLTextureに描く  TopPage  scn/daeファイルから3DオブジェクトをMetalで描画する >>

コメント


管理者にだけ表示を許可する
 

トラックバック

トラックバックURL
https://ringsbell.blog.fc2.com/tb.php/1289-42167723




Copyright ©頭と尻尾はくれてやる!. Powered by FC2 Blog. Template by eriraha.

FC2Ad