VR’s inevitable move to eye control: Why the industry will be taking a lesson from Iron Man
Imagine a world where you can control objects with your eyes instead of your hands. With virtual reality moving into the mainstream, this could become an everyday activity. Marvel has already shown us how it could work in its Iron Man movies: Tony Stark frequently interacts with his armor through eye-tracking and voice control, freeing him up to save the world.
So how soon until we get this kind of capability?
自分の手ではなく目で物体をコントロールできる世界を想像してみてほしい。バーチャルリアリティーがメインストリームになりつつある現在、これは日常の行動になり得る。Marvelはすでに、映画アイアンマンでこれがどのようなものかを示してくれた。Tony Starkはよくアイトラッキングとボイスコントロールで自分の鎧と交信し、彼を世界救出のために解放した。
それでは、どのようにこうした能力を私たちは身につけるのだろうか？
There are currently no “control scheme” standards in the VR world. In other words, every company is creating its own method for users to navigate and interact with virtual spaces. Handheld controls are currently the most prevalent option, although eye-tracking has emerged as an alternative more recently. At the moment, all three major high-end virtual reality headsets — Rift, Vive, and Project Morpheus — rely on traditional game controllers, wands, or a combination of the two. On the opposite end of the spectrum, VR startup Fove is working on eye-tracking.
None of the control tools currently on the market has emerged as the all-around “best.” Each has its own pros and cons.
The least immersive way to interact with a virtual reality experience is through a traditional game controller. Companies are using these types of controllers because consumers are already familiar with them, but also because one of the biggest applications for VR to date has been video games. But a traditional game controller seriously limits immersion by locking a user’s hands to a device.
その中でもあまりバーチャルリアリティーの世界に浸れないのはゲームコントローラーを通しての体験だ。消費者はこのデバイスに馴染みがあるため企業はこの手のコントローラを使用しているが、その他にも、これまでVRでの最大の応用事例がビデオゲームだったことも関係している。しかしこうしたゲームコントローラーはユーザの手がデバイスに縛られてしまうため、どっぷりとその世界に浸る程度は極度に制限される。
バーチャルリアリティ体験を最も実感できないのが、従来のゲームコントローラーだ。企業がこのようなタイプのコントローラーを使っているのは、消費者が既にそれらに慣れ親しんでいるからだが、これまでバーチャルリアリティ向けとして最も利用されているアプリケーションの1つがビデオゲームだったからでもある。だが従来のゲームコントローラーでは、ユーザの手をデバイスに固定することによって、ユーザがバーチャル体験に浸ることを、かなり制限してしまうのだ。
Additionally, anyone who has used a traditional handheld controller in VR knows that it can create a disconnect between what you see and what you are doing with your hands. This pulls you out of the experience.
Wands are significantly more immersive and better suited to VR than traditional gaming controllers, as they allow users to move their arms and hands to interact with the virtual environment. It appears that the VR industry is moving in this direction. Still, wands can be clunky and unnatural.
ワンドは既存のゲームコントローラと比較すると、その世界により浸れるほかVRにうまく適合している。これを使えばユーザはバーチャルな環境とのやり取りが腕や手を使ってできる。VR業界はこの方向に向かっているようだ。それでも、ワンドは恰好がよくなくて不自然になることがある。
ワンドは、従来のゲームコントローラーよりもバーチャルリアリティに浸ることができ、適している。ワンドを使えば、ユーザは自分の腕や手を動かして、バーチャル環境と交流することができる。バーチャルリアリティ業界は、この方向に進んでいくように見える。それでもやはり、ワンドはダサく、不自然なのだ。
For the time being, these types of controllers are the best we have, at least until technology reaches the point where controllers morph into usable gloves. But where the industry really needs to be headed in terms of the most lifelike immersive experience is some form of eye tracking. After all, isn’t this how we take in everything around us in real life? We identify what’s interesting through our eyes and then decide if it’s something we want to interact with.
Fove raised about $490,000 this summer to create a head-mounted display with eye-tracking capabilities.The two biggest advantages to eye-tracking as a navigation and interaction tool is that it removes unnatural head movement and frees up viewers’ hands.
Foveは今夏に約49万ドルを調達し、アイトラッキング機能を備え頭部に装着するディスプレイを製作している。ナビゲーション、インタラクションツールとしてのアイトラッキングの最大の２つの利点は、不自然な頭の動きを排除するほか、装着者の手を解放するところにある。
Foveはこの夏、約49万米ドルを集めて視標追跡機能を搭載した頭に装着するディスプレーを製作した。ナビゲーション及び相互作用のツールとしての視標追跡が持つ二つの大きな強みは、不自然な頭の動きを取り除き利用者が手を自由に使えることだ。
Next-generation headsets will likely combine multiple navigation and interaction schemes that include a mix of traditional controllers, wands, eye-tracking, and voice control. But what might this look like?
Returning to the Iron Man metaphor, users could combine voice control and eye-tracking to remain in the virtual experience while interacting with menus. For example, users could use voice control to bring up a settings menu and then rely on eye-tracking to adjust volume and clarity.
アイアンマンの例えに戻ると、ユーザはバーチャルな環境でボイスコントロールとアイトラッキングを組み合わせつつもメニューに関わることができる。例えば、ユーザはボイスコントロールでメニュー設定を立ち上げ、ボリュームや鮮明度を調整するのにアイトラッキングを使えるのだ。
アイアンマンの例えに戻ると、ユーザはメニューとやり取りをする間、音声コントロールと視標追跡を組み合わせて、バーチャル体験に留まることができるかもしれない。例えば、ユーザは音声コントロールを使って、設定メニューを表示させてから、視標追跡に頼り、ボリュームと鮮明度を調整することができるかもしれない。
This type of interaction and navigation scheme could also work in reverse. A user could focus on an area inside the virtual experience and then use voice control to interact with various in-experience elements. This would eliminate the need to navigate with your eyes and let you fully take in your surroundings.
In general, voice controls would greatly increase the immersiveness of a virtual experience. If users were able to toggle voice control on or off, they could use that option to adjust the virtual experience without pausing or stopping.
一般的に、ボイスコントロールはバーチャルの経験を著しく向上させる。もしユーザがボイスコントロールのオン・オフのスイッチを切り替えられるなら、休止・中止することなくバーチャルな経験を修正するオプションを使用できるだろう。
一般的に、音声コントロールは、バーチャル体験の実感を大いに増大させるだろう。ユーザが音声コントロールのオンオフを切り替えることができるとしたら、その選択肢を使って、休止したり停止したりすることなくバーチャル体験を調整できるかもしれない。
More likely than voice control, though, headset manufacturers will probably first combine eye-tracking with handheld controllers. This combination would work in much the same way that voice control and eye-tracking might function together: Eye-tracking would act as a cursor while the controller would function as a selection tool.
It’s far from certain which potential navigation and interaction schemes will dominate. However, as virtual reality becomes more widely adopted, there is a growing need to standardize navigation and interaction, as well as to find ways to increase immersion. While some manufacturers will continue to cling to traditional game controllers, the very best will include eye-tracking or voice-control or some combination of both.
Endri Tolka is cofounder and COO of YouVisit.
Endri Tolka氏はYouVisitの共同創立者兼COO。
Endri Tolka氏は、YouVisitの共同設立者でCOO（最高執行責任者）である。
