OculusQuestハンドトラッキング実装によせて(エッセイ

概要

OculusQuestがハンドトラッキングを実装します。

www.oculus.com

それに伴って「コントローラは要らなくなる!」とか「どうせ使いものにならない!」とかtwitter上で色んな意見を見たので僕の気持ちをまとめておきます。

入力デバイスの「決定」を示す操作の歴史

タップやマウスクリック相当をハードウェア無しのハンドトラッキングでどうやるか、みたいなのは結構大事です。 (大雑把に言って)入力デバイスは「選択」と「決定」を行うためのものです。

マウスクリックやキーボード打ち込みは物理的な押し込みフィードバックがあります。これはユーザが決定をした、という意図を検出するのがかなり容易で正確です。
スマートフォンというかタッチパネルは、押し込みフィードバックが無い代わりに、ユーザにとっては「板に触れた」というフィードバックがあり、画面上の音やグラフィックの遷移によって実際に作用したのが分かるようになっています。

このスマートフォンのタッチパネルも、最初は「いや、板を指で触るだけだとキー入力が出来ないやんけ」となってましたが、フリック入力が結構使える(そして音と見た目で押したと分かる)ようになって、結構文字打ったり操作するのはハードウェア的にはタダの板であるスマホでもいける。となっているのが現在の様子です。

この「決定」を示す操作が物理フィードバック無くてもいける、というのが個人的に印象に残っています。

ハンドトラッキングや視線トラッキングにおける「決定」を示す操作

それに対してLeapMotionやOculusQuestのハンドトラッキング、あるいはカッコ良い視線入力で問題になるのが、ユーザが行う「決定」をどうやって判断するか、という点です。板に触れる、というのに比べて、ハンドトラッキングや視線入力は(多くの人が知っている)決定的な解決策が提示されていません。

HololensのAirTapや、視線入力のサッカード、LeapMotionの押し込みタップ、OculusQuestのつまんで選択、など様々な方法が試行錯誤されています。そう、今は試行錯誤のフェーズ です。

ハンドトラッキングに対するポジティブな見方とネガティブな見方

ポジティブに考えると決定時の物理フィードバックが無いスマホがなんとかなったように、ハンドトラッキングや視線入力も何とかなる。 という説があります。

ネガティブに見ると「スマホは物理的なフィードバックは無いけど板に触れるという物理的な仕組みがあったので良かった。視線入力やハンドトラッキングはそれが無いからダメ」とも取れます。

僕の考え:ポジティブ

僕の立場はポジティブです。
例えば指のめっちゃ細かい動きがセンシング出来るようになったと仮定します。 そうなると、太ももの上に指を置いたら、スマホの板の代わりを自分の太ももにすれば良くなります。

ハンドトラッキングの検出範囲が広がったら、手を胸の高さに上げなくても、手をブラリと下げた状態でも認識できるようになります。

現時点のOculusQuestに実装されたハンドトラッキングは処理速度と精度の問題で手を胸の高さに上げて、大きな動きが必要だから、疲れるとか実用的ではない。と言う話に対しては、同意します。

でもiPhoneのタッチパネルがありえん精度(とソフトウェアの良さ)で普及したのと同じで、精度が良くなれば解決する問題なら、それは解決される可能性を見越しておく方がお得、というのが僕の考えです。

もちろん、それが一年後なのか百年後なのかはおいておいて…

という感じのことを深夜にツイートしてたんですが、まとめておきたくなったのでまとめました。