To implement Roadie, the devices need to have knowledge about what the motivations, desires and goals of the users are. For getting this knowledge, we created a plan recognizer called EventNet. This plan recognizer uses knowledge mined from the OpenMind Commonsense knowledge base, a knowledge base of 770,000 English sentences describing everyday life, contributed by volunteers on the Web. We also use ConceptNet, a semantic network derived from parsing the sentences in OpenMind and applying a spreading activation algorithm. EventNet uses temporal knowledge from this corpus and spreading activation to infer a possible set of antecedent or subsequent actions.
Roadieを実施するために、デバイスはユーザのモチベーション、要望および目的とは何かに関する知識を持つ必要があります。この知識を得るために、イベント・ネットと呼ばれるプラン認識装置を作製しました。このプラン認識装置は、オープンマインドなコモンセンスノーレッジベース、すなわちウェブ上のボランティアによって寄与された日常生活について記述する77万語の英文の知識ベースから得られた知識を使用します。さらに、コンセプトネット、つまりオープンマインドの文章を解析し、展開するアクティベーションアルゴリズムの適用することで得られたセマンティック・ネットワークを使用します。イベント・ネットは、前例あるいは後のアクションの可能性のあるセットを推測するためにこのコーパスからの一時的な知識および展開するアクティベーションを使用します。
ROADIE uses EventNet to infer the user’s goals from his or her actions, and proposes specific device functions that might accomplish the user’s goal. This is illustrated below in the scenario.
The user interaction module maps the actions, goals and desires of the user to a format that the device controller can understand. This component works as a complement to the normal device’s interface, sensing the user’s interactions with the devices. It uses EventNet to find the implications of the user’s actions. We also used the Web to automatically collect pairs of device actions linked by temporal relations.
Roadieは、各個人のアクションからユーザの目的を推測するためにイベント・ネットを使用し、ユーザの目的を成し遂げる特定のデバイス機能を提案します。これは、ある場合を仮定して以下のような例をあげます。ユーザ・インタラクション・モジュールは、ユーザのアクション、目的、要望をデバイス・コントローラーが理解できるようなフォーマットへの変更を行います。ユーザのデバイスとのインタラクションを感知し、正常なデバイスのインターフェースへの補足として、このコンポーネントは動作します。それはユーザ・アクションの係り合いを検出するためにイベント・ネットを使用します。さらに、一時的な関係によってリンクしたデバイス・アクションを自動的に集めるためにウェブを使用しました。
For example, if the user plugs in his or her guitar, the system infers that it is likely that the user wants to play music. It is also responsible for providing an explanation about the behavior and functionality. The input nodes are calculated using templates with English descriptions of the device’s changes of state. Then the output nodes are matched against a text description of the available goals.
例えば、ユーザが彼らのギターを差し込めば、システムはユーザが音楽を演奏したいのだろうと思います。さらに、それは行動と機能性に関する説明を提供するものとなります。インプット・ノードは、デバイスの状態の変更を英語の記述でテンプレートを使用して計算されます。その後、アウトプット・ノードは利用可能な目的のテキスト記述文にマッチします。
The planner is used to infer the set of actions needed to configure the devices to satisfy the user’s goal. The planner decomposes the desired states to single actions that the devices can execute and creates alternative actions when something unexpected occurs. Also, the planner keeps track of the recently performed actions and whether they succeed or not. If it is impossible to accomplish the goal, the system uses this information to provide the user advice to debug and potentially correct the problem. Roadie uses the standard Graphplan implementation.
プランナーは、ユーザの目的を満たしデバイスを形成するのに必要とされるアクションを予測するために使用されます。プランナーは、予期しないものが生じる場合、デバイスが実行し代替アクションを作成できる唯一のアクションへ要望の状態を分析していきます。さらにプランナーは、最近行なわれたアクションおよび成功するかどうかの追跡調査を行います。目的を達成することができない場合、システムはその問題をデバッグし修正の可能性があるユーザ・アドバイスを与えるため、この情報を使用します。Roadieはスタンダード・グラフプラン・インプリメンテーションを使用します。
In addition, the planner’s goals serve as a model of the capabilities of the available devices. This knowledge helps to constrain the broad options provided by EventNet. If the user says that she or he wants to hear some music, EventNet might retrieve that dancing is related to music, but since no capabilities of the device relate to dancing, those irrelevant nodes will be filtered away. The planner is also responsible for finding the states of the devices that are conflicting with the desired goal.
さらに、プランナーの目的は利用可能なデバイスの能力のモデルとして機能します。この知識は、イベント・ネットによって提供される広いオプションを抑制するときの助けとなります。ある音楽を聞きたいとユーザが言った場合、イベント・ネットはダンスは音楽と関係があることを検索するかもしれませんが、デバイスの能力がダンスに関係がないので、それらの無関係のノードは取り除かれるでしょう。プランナーは、要望している目的と矛盾しているデバイスの状態を検知することにも責任を負います。
The device interface is the module responsible for making the devices communicate with the rest of the system. It is responsible for controlling and monitoring the devices, querying EventNet and sending the goals to the planner. This module has a text string for each change in state of the device, like “turn on the device,” “I insert a music CD.” In addition, it has all the possible goals that might be reached with the current devices: both natural language, and as a planner goal with the slots and its acceptable types.
デバイスインターフェイスは、デバイスがシステムの残りの部分と通信できるようにするための責任を負うモジュールだ。
その責任とは、デバイスを制御し、モニターし、EventNet に問い合わせてゴールをプランナーに送信することだ。
このモジュールはデバイスの状態の変化ごとにテキスト文字列を持っている。
"turn on the device," (デバイスを起動)、 "I insert a music CD." (音楽CDを挿入する) のようなものだ。
加えて、デバイスインターフェイスは、自然言語と (スロットに受入可能なタイプの) プランナーのゴールとの両方の形式で
現在のデバイスで可能性のある全てのゴールを保持している。
For example, it has <”play the music CD”, (play-music-cd [cd- player-device] [speaker-device])> for playing a music CD. So, to set up the action play-music-cd it looks for CD players and speakers and sets those particular devices into the planner. Also, English templates for each possible planner step are used to create explanations in natural language. The matching between two phrases are made using EventNet’s semantic link algorithm.
たとえば、音楽CDを再生するために、<” play the music CD（音楽CD を再生）”, ([play-music-cd（play-music-cd（音楽-CD-再生） [cd- player-device （CD-プレーヤー-装置）] [speaker-device（スピーカー-装置）])>というテキストを持ちます。よって、音楽CDの再生というアクションを設定するには、CDプレーヤーとスピーカーを探して、これらの機器をプランナに設定します。また、ありえるプランナの各ステップにある英語のテンプレートを使用して自然言語で説明を作成します。2つのステップを組み合わせるには、EventNetの意味論のリンクアルゴリズムが使用されます。
We do not assume that action sequences will never fail. Problems inherent to devices - malfunctions or misunderstandings between the user and Roadie - might emerge. Debugging consists of looking for the causes of unexpected results. For each step, we can show why the step is important, how the user can perform the step, what the consequences are of not doing this step, what the results are of performing it, and the things that might go wrong while trying to perform the step. If the user does not find this information sufficient to solve the problem, the system can automatically send queries to online search engines, user manuals, user group forums, etc.
私たちはアクションのシーケンスが必ず成功するとは期待しません。問題は機器に発生するものであり、つまり、故障やユーザーとローディ間での誤解などが発生する可能性があります。デバッグ機能は予想外の結果の発生原因を探します。各ステップにおいて、そのステップが重要な理由、ユーザーがどそのステップを行う方法、ステップを行わない場合の結果、さらにそのステップを行う場合に発生しやすい間違いなどをローディに教えることができます。ユーザーがこの情報では問題解決に不十分と感じた場合、システムはオンライン検索エンジンや、ユーザーマニュアル、またはユーザーグループのフォーラムに問い合わせを自動的に送信します。
Collaborative or mixed-initiative interfaces are software agents that cooperate with the user to satisfy goals. The outstanding system within this paradigm is Collagen. Collagen works by having two avatars, one representing an agent and the other the user. Both agents can communicate by directly manipulating a shared user interface. Task models are used to map high-level goals into concrete device operations. We were inspired by many of Collagen’s interaction features in the design of Roadie.
共同作業または混合判断を行うインターフェイスが、ゴールの到達を目的としてユーザーと協力するソフトウェアエージェントです。このパラダイムの中で最も優れたシステムはCollagenです。Collagenは、エージェントとユーザーの代理である2つのアバターを持つことで作動します。どちらのエージェントも、ユーザーインターフェイスを共有して、それを直接操作することでコミュニケーションを成立させることができます。タスクモデルを使用してハイレベルのゴールを機器の具体的な操作にマップします。私たちはローディの設計中に、Collagenのインタラクション機能の多くからインスピレーションをもらいました。
Learning from user’s habits can be done in two ways. First, we can raise the weight of the links when goals are chosen and lower them when they are not chosen. Also, since Roadie can show the output of EventNet’s temporal traces, the user should be able to mark the output links that are incorrect. A learning facility would also allow us to streamline the interface in the case that the user wants to perform simple tasks that they already know how to do and the system behaves as expected.
ローディがユーザーの行動様式から学習するためには、2通りの方法があります。1つはゴールが適切に選択された場合はリンクの重みを増やし、選択されなかった場合は、リンクの重みを減らすという方法です。また、ローディはEventNetの一時的な追跡のアウトプットを表示できるので、ユーザーは不正確なアウトプットリンクをマークすることができます。学習補助機能を使用して、ユーザーが自分で実行方法を知っている単純なタスクを行いたい場合に、システムがそれを受容して作動するように、インターフェイスを変更したりすることもできます。
