Chinese Researchers Team Up With Microsoft to Teach Kinect How to Understand Sign Language (VIDEO)
The folks at Microsoft Research Asia have collaborated with researchers from the Institute of Computing Technology at the Chinese Academy of Sciences (CAS) to work on sign-language recognition. What they’re doing – as shown in the video below – is teaching Microsoft’s Kinect, a motion detection system usually used for gaming, to understand sign-language from around the world.
中国の研究者がMicrosoftとチームを組みKinectに手話を教える（動画）
Microsoft Research Asiaの従業員はChinese Academy of Sciences (CAS)のInstitute of Computing Technologyの研究者と、手話認識に取り組むために協力した。彼らがやっていることは、以下の動画で示すように、普通はゲームで使用される動作検出システムであるMicrosoftのKinectが、世界中の手話を理解するように訓練することである。
Though it’s all very much a work-in-progress, the research could lead to a new way for hearing-impaired people to communicate online – particularly with those who don’t understand signing. Using the Kinect also means that any resulting solution will be cheap to purchase.
CAS professor Chen Xilin explains:
From our point of view, the most significant contribution is that the project demonstrates the possibility of sign-language recognition with readily available, low-cost 3-D and 2-D sensors.
まだまだ開発途中であるが、この研究は聴覚障害者が、特に手話がわからない人とオンラインでコミュニケーションをとる、新しい方法につながるかもしれない。Kinectを利用するということは、研究の産物が安価に購入できるということも意味する。
CAS教授のChen Xilin氏はこう説明する:
「我々の立場として一番意義のある貢献は、このプロジェクトが手話認識を入手が容易な、低価格3-D、2-Dセンサーで可能なことを実証することにあります。」
As Mashable notes, the experimental project has two settings. The translation mode prompts the Kinect to convert sign language into text or speech whether they’re single words and entire sentences. There’s also the communication mode that uses an avatar to convert text or speech input into sign for a hearing-impaired person to view.
The program manager at Beijing-based Microsoft Research Asia, Wu Guobin, notes, “While it is still a research project, we ultimately hope this work can provide a daily interaction tool to bridge the gap between the hearing and the deaf and hard of hearing in the near future.”
Here’s the demo video:
Mashableが言うとおり、この実験プロジェクトは2つの設定がある。翻訳モードはKinectに、単語、文章に関わらず、手話をテキストもしくは音声に変換する。また、アバターを使ってテキストや音声入力を、聴覚障害者が見ることのできる手話に変換する、コミュニケーションモードも存在する。
北京にあるMicrosoft Research AsiaのプロジェクトマネージャーのWu Guobin氏は「これはまだ研究プロジェクトですが、我々は最終的に健常者と聴覚障害者や耳が遠い人たちの間の溝を埋めるための日常的ふれあいのためのツールを近い将来提供できればと願っています。」と述べる。
これがデモ動画である:
