VR’s inevitable move to eye control: Why the industry will be taking a lesson from Iron Man
Imagine a world where you can control objects with your eyes instead of your hands. With virtual reality moving into the mainstream, this could become an everyday activity. Marvel has already shown us how it could work in its Iron Man movies: Tony Stark frequently interacts with his armor through eye-tracking and voice control, freeing him up to save the world.
So how soon until we get this kind of capability?
VRは必然的にアイコントロールへ: この業界がアイアンマンから学ぶ理由
自分の手ではなく目で物体をコントロールできる世界を想像してみてほしい。バーチャルリアリティーがメインストリームになりつつある現在、これは日常の行動になり得る。Marvelはすでに、映画アイアンマンでこれがどのようなものかを示してくれた。Tony Starkはよくアイトラッキングとボイスコントロールで自分の鎧と交信し、彼を世界救出のために解放した。
それでは、どのようにこうした能力を私たちは身につけるのだろうか？
There are currently no “control scheme” standards in the VR world. In other words, every company is creating its own method for users to navigate and interact with virtual spaces. Handheld controls are currently the most prevalent option, although eye-tracking has emerged as an alternative more recently. At the moment, all three major high-end virtual reality headsets — Rift, Vive, and Project Morpheus — rely on traditional game controllers, wands, or a combination of the two. On the opposite end of the spectrum, VR startup Fove is working on eye-tracking.
VRの世界には現在、「コントロールスキーム」の標準はない。つまり、各社はユーザがナビゲートし、バーチャルな空間でやり取りをするための方法を自ら作り出している。ハンドヘルドコントロールは今のところ最も一般的な方法であるが、アイトラッキングは代替的な方法として最近見られるようになった。現在、3つの主要なハイエンドのバーチャルリアリティーハンドセット（Rift、Vive、Project Morpheus）は既存のゲームコントローラーまたはワンド、もしくは両者の組み合わせを必要としている。これの対極にあるところでは、VRのスタートアップであるFoveがアイトラッキングに取り組んでいる。
None of the control tools currently on the market has emerged as the all-around “best.” Each has its own pros and cons.
The least immersive way to interact with a virtual reality experience is through a traditional game controller. Companies are using these types of controllers because consumers are already familiar with them, but also because one of the biggest applications for VR to date has been video games. But a traditional game controller seriously limits immersion by locking a user’s hands to a device.
市場に出回っているコントロールツールのうち、オールラウンドで「ベスト」なものはない。それぞれに長所と短所がある。
その中でもあまりバーチャルリアリティーの世界に浸れないのはゲームコントローラーを通しての体験だ。消費者はこのデバイスに馴染みがあるため企業はこの手のコントローラを使用しているが、その他にも、これまでVRでの最大の応用事例がビデオゲームだったことも関係している。しかしこうしたゲームコントローラーはユーザの手がデバイスに縛られてしまうため、どっぷりとその世界に浸る程度は極度に制限される。
Additionally, anyone who has used a traditional handheld controller in VR knows that it can create a disconnect between what you see and what you are doing with your hands. This pulls you out of the experience.
Wands are significantly more immersive and better suited to VR than traditional gaming controllers, as they allow users to move their arms and hands to interact with the virtual environment. It appears that the VR industry is moving in this direction. Still, wands can be clunky and unnatural.
また、VRで既存のハンドヘルドコントローラを使ったことのある人なら誰でも、自分が見ているものと手を使ってしている動作に断絶ができてしまうことを知っている。 こうした経験があると引いてしまう。
ワンドは既存のゲームコントローラと比較すると、その世界により浸れるほかVRにうまく適合している。これを使えばユーザはバーチャルな環境とのやり取りが腕や手を使ってできる。VR業界はこの方向に向かっているようだ。それでも、ワンドは恰好がよくなくて不自然になることがある。
For the time being, these types of controllers are the best we have, at least until technology reaches the point where controllers morph into usable gloves. But where the industry really needs to be headed in terms of the most lifelike immersive experience is some form of eye tracking. After all, isn’t this how we take in everything around us in real life? We identify what’s interesting through our eyes and then decide if it’s something we want to interact with.
Fove raised about $490,000 this summer to create a head-mounted display with eye-tracking capabilities.The two biggest advantages to eye-tracking as a navigation and interaction tool is that it removes unnatural head movement and frees up viewers’ hands.
少なくとも技術の進歩でコントローラが使用可能な手袋になるところに至るまでは、このタイプのコントローラは私たちが手にしているもののなかではベストである。しかし、実物そっくりのバーチャルならではの体験という点で業界が本当に向かっていかなくてはいけないところは、アイトラッキングの形だ。つまりは、現実世界で私たちは周りにあるものをどのように手にするかの問題ではないだろうか？私たちは目を通して面白いものを認識し、関わってみたいものなのかどうかを決めるのである。
Foveは今夏に約49万ドルを調達し、アイトラッキング機能を備え頭部に装着するディスプレイを製作している。ナビゲーション、インタラクションツールとしてのアイトラッキングの最大の２つの利点は、不自然な頭の動きを排除するほか、装着者の手を解放するところにある。
Next-generation headsets will likely combine multiple navigation and interaction schemes that include a mix of traditional controllers, wands, eye-tracking, and voice control. But what might this look like?
Returning to the Iron Man metaphor, users could combine voice control and eye-tracking to remain in the virtual experience while interacting with menus. For example, users could use voice control to bring up a settings menu and then rely on eye-tracking to adjust volume and clarity.
次世代のヘッドセットはおそらく、既存のコントローラ、ワンド、アイトラッキング、ボイスコントロールの組み合わせを含むナビゲーション、インタラクションの複数スキームを合わせたものになるだろう。しかしこれは一体どのようなものか？
アイアンマンの例えに戻ると、ユーザはバーチャルな環境でボイスコントロールとアイトラッキングを組み合わせつつもメニューに関わることができる。例えば、ユーザはボイスコントロールでメニュー設定を立ち上げ、ボリュームや鮮明度を調整するのにアイトラッキングを使えるのだ。
This type of interaction and navigation scheme could also work in reverse. A user could focus on an area inside the virtual experience and then use voice control to interact with various in-experience elements. This would eliminate the need to navigate with your eyes and let you fully take in your surroundings.
In general, voice controls would greatly increase the immersiveness of a virtual experience. If users were able to toggle voice control on or off, they could use that option to adjust the virtual experience without pausing or stopping.
このタイプのインタラクション、ナビゲーションのスキームの動作は逆にすることもできる。バーチャルな経験内で１つのエリアにフォーカスし、ボイスコントロールを使って様々な経験内の要素と関わるのだ。これにより目でナビゲートする必要はなくなり、それでいて完全に周りのものを手にすることができる。
一般的に、ボイスコントロールはバーチャルの経験を著しく向上させる。もしユーザがボイスコントロールのオン・オフのスイッチを切り替えられるなら、休止・中止することなくバーチャルな経験を修正するオプションを使用できるだろう。
More likely than voice control, though, headset manufacturers will probably first combine eye-tracking with handheld controllers. This combination would work in much the same way that voice control and eye-tracking might function together: Eye-tracking would act as a cursor while the controller would function as a selection tool.
ただ、ボイスコントロール以上にヘッドセットのメーカーはまずアイトラッキングとハンドヘルドコントローラを組み合わせるかもしれない。ボイスコントロールとアイトラッキングの組み合わせが機能したのと同じように、この両者もうまく動作するだろう。つまり、アイトラッキングはカーソルの役割、コントローラは選択ツールの役割を果たすのだ。
It’s far from certain which potential navigation and interaction schemes will dominate. However, as virtual reality becomes more widely adopted, there is a growing need to standardize navigation and interaction, as well as to find ways to increase immersion. While some manufacturers will continue to cling to traditional game controllers, the very best will include eye-tracking or voice-control or some combination of both.
Endri Tolka is cofounder and COO of YouVisit.
潜在性のあるナビゲーション、インタラクションスキームのどれが支配的になるかはまったく分からない。ただし、バーチャルリアリティーがますます広く採用されていくにつれて、ナビゲーションとインタラクションの標準化を行う必要性が増すほか、その世界に浸れる方法を見つけなくてはならない。メーカーの中には旧来のゲームコントローラーにこだわるところもあるだろうが、優れた企業はアイトラッキング、ボイスコントロール、あるいはその両者を取り込んでいくだろう。
Endri Tolka氏はYouVisitの共同創立者兼COO。
