Robots for companionship are becoming more and more important, but a serious barrier is the lack of natural human-robot interaction. Our ongoing work is to improve the interaction abilities of music-playing robots, in particular.
ロボットのコンパニオンとしての役割はさらに重要となってきていますが、最大の問題は人間とロボットの間には、人間同士と同じような自然なやり取りが存在しないということです。私たちは特に、音楽を演奏するロボットの自然なやり取りを行う能力を向上させることを目的として努力をしています。
Indeed, musicians often have the following problem: they have a music score that requires 2 or more players, but they have no one with whom to practice. A music-playing robot would fit this role perfectly, but current score-playing music robots cannot synchronize with fellow players. In other words, if the human speeds up their play, the robot should also increase its speed.
実際に、音楽家は次のような問題に直面することが多くあります: 2人以上の演奏者を必要とする楽譜がある場合に、練習相手がいない。音楽を演奏するロボットは,、このような状況に最適と考えられます。ただし、現在の時点では、音楽演奏ロボットは、他の演奏者と同調して演奏することができません。言い換えると、人間が演奏のテンポを速めた場合、ロボットも同じようにテンポを速めることが必要だということです。
In this paper, we present a first step towards giving these accompaniment abilities to a music robot. We introduce a new paradigm of beat tracking using 2 types of sensory input -- visual and audio -- using our own visual cue recognition system and state-of-the-art acoustic onset detection techniques.
この文書では、音楽演奏ロボットにこれらの伴奏能力を与えるための、革新的な第一歩を説明します。私たちは、視覚および聴覚の2種類のセンサー入力を使用して、ビートを追跡する新しい理論を紹介します。これには、私たちが開発した、視覚的な合図を認識するシステムならびに音響の開始を検知する最新の技術を用います。
Specifically, we first formalize this non-verbal language for the case of flutists, such as moving the flute to signal “start now”, “stop now” and “beat cue”. We then fuse this information with audio note onset detection to detect tempo changes in a robust manner.
具体的言うと、私たちはフルート演奏者のために“今すぐ演奏を始める”“今すぐ演奏をやめる”“キューを鳴らす”と信号に変換するように、非音声言語を形式化します。
それから、この情報をオーディオ符号の頭子音検波と結合し、力強い様式におけるテンポの変化を検出します。
Initial experiments on our Thereminist robot following one flutist show >83% detection rates for our 3 types of visual cues. Additionally, by coupling visual cues and acoustic beat detection, the robot can extract tempo in less than half a second.
初期実験では、1人のフルート演奏者に伴奏する私たちのテルミニスト・ロボットは、3種類の視覚的な演奏開始の合図を、83%以上の確率で検知することができました。さらに、視覚的な合図と、聴覚によるビートの検知を併用して、1/2秒以下の差でテンポの変化に対応できました。
