ロボット装置、ロボット制御方法、ロボット制御プログラム、およびロボットシステム

【課題】ユーザーへの情報の表現力を向上させるとともに、ユーザーの関与によって表現内容を変化させるロボットシステムを提供する。
【解決手段】ロボットと映像表示端末の組み合わせにより、現実のサービスを寸劇表現することで、ユーザーによる機能発見と感情移入を容易にしてユーザーへの情報の表現力を向上させるとともに、得られるユーザー属性と環境属性を反映し表現内容を変化させることでユーザーが飽きさせないようにする。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示端末と連係動作するロボット装置、ロボット制御方法、ロボット制御プログラム、およびロボットシステムに関する。
【背景技術】
【０００２】
近年、家庭用ロボットが国内外のメーカーから発売されており、一般の家庭内で見かける機会が多くなってきている。その中でも、人からの呼びかけに反応して、人とコミュニケーションをとりつつ、コンテンツなどの情報を提供するコミュニケーションロボットが現れてきている。たとえば、ロボットの感情に適合するコンテンツを選択し再生するものが提案されている（特許文献１参照）。
【０００３】
前記特許文献１に記載のコンテンツ再生システムは、外部からの働きに応じてロボットが自分の感情を変更するとともにその感情情報をコンテンツ再生装置に送信することで、コンテンツ再生装置がロボットの感情に適合するコンテンツを選択して再生することで、ロボットの感情を表現するものである。
【０００４】
また、ユーザーを飽きさせない方法として、本などの印刷媒体・記録媒体に印刷・記録されたストーリーを、ロボットが検出した時間の変化、季節の変化、感情の変化などに応じて、動的にストーリーを改変して毎回異なった内容を朗読するロボットが提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１６９５６７号公報
【特許文献２】特開２００２−２０５２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記特許文献１に開示の構成では、ユーザーがロボットを叩くとロボットが怒りだすといった、外部からの働きとロボットの感情変化の関係が固定的なものであったり、ユーザーの好みに合わせてコンテンツを変更することができないため、ユーザーは同じ出力しか繰り返さないロボットにいずれ飽きてしまう。
【０００７】
特許文献２に開示の構成では、ロボット単体が動的に表現内容を改変した場合、ロボットは人間に比べて表情や仕草の表現力が劣るためロボットの動作意図がユーザーに伝わりにくく、さらに改変元となる媒体自体がユーザー属性や環境属性を反映せず固定なために、ロボットと媒体とそれぞれが提供する情報が不一致となることから、かえってユーザーにとってわかりにくくなるという課題があった。
【０００８】
上記従来の技術の問題点に鑑み、本発明は、ユーザーへの情報の表現力を向上させるとともに、ユーザーの関与によって表現内容を変化させるロボットシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、映像表示端末とロボットからなる映像表示端末連携型ロボットシステムであって、ロボットの傍らに舞台装置としての映像表示端末を置くことで、ロボットを演者とする舞台空間を構築するものである。
【００１０】
映像表示端末はディスプレイなどの表示手段を備えているので、ロボットの演技に説得力を与えるための視覚的補助手段として機能し、場面、季節、時間、雰囲気などを表現するための大道具や小道具のオブジェクトを表示することで、ロボットが伝える内容に対してユーザーの感情移入を高めることができる。
【００１１】
映像表示端末はタッチパネルなどの入力検知手段を備えているので、大道具や小道具のオブジェクトにユーザーが触れたときにオブジェクトの特徴に適った動作を実行する。例えば、「絵本読み聞かせ」のサービスにおける絵本の役割を意味する絵本のオブジェクトに触れると、絵本の表紙が開くアニメーションを実行したのち、ロボットが絵本のストーリーを身振りを加えつつ話すといった、人間が絵本の読み聞かせをするのと同じ行動をトレースするので、ユーザーにとってロボットの動作意図がより伝わりやすくなる。
【００１２】
ロボットはカメラによる顔認識などのユーザー検知手段を備えているので、目の前にいる人物があらかじめ記憶手段に格納されたユーザー情報と一致するか否かを判定し、一致する場合はユーザー情報として格納されている絵本のタイトルと前回までの読了位置を参照して、前回の続きから読み聞かせを実行できる。また、目の前にいる人物のユーザー情報が記憶手段に格納されていない場合は、顔認識で人物の年齢を判定し、例えば人物を幼児と判定した場合、ロボットは幼児にとって聞き取りやすい声質・スピード・話し方を選択し、映像表示端末はディスプレイに表示する絵本の文字を幼児向けの平易な文章かつ漢字を廃した文字表現に変更した上で、絵本の最初の頁から読み聞かせを実行できる。
【００１３】
映像表示端末はオブジェクト状態をロボットに伝えるときに、ロボットの行動分岐としての複数の行動パターンを付与して伝えて、ロボットは顔認識で目の前の人物の性別を判定し、その判定結果に応じた行動パターンを選択し実行できる。なお、前述の複数の発話の行動パターンは、映像表示端末からロボットに伝える以外に、前記オブジェクト状態に紐付けされたものとしてロボットが備える記憶手段に予め格納してもよい。
【００１４】
映像表示端末は、例えば、「モーニングコール」のサービスにおける時計の役割を意味するオブジェクトをディスプレイ上に配置して、予め設定した時間からの経過とユーザーの覚醒具合に応じて、ロボットがユーザーにモーニングコールをする際の発話の音量・音程・抑揚・スピード・会話の間および身体動作の大きさ・スピード・力強さを変化させることができる。
【００１５】
映像表示装置は、ディスプレイ上に表示されたオブジェクトを操作したことでロボットが発話および身体動作といった行動パターンを開始した直後に前述と異なるオブジェクトを操作したとき、ロボットに伝えるオブジェクト状態に付与された優先度の情報をもとに、実行中のロボットの行動パターンをキャンセルして、後のオブジェクトの操作に紐付けされた行動パターンを割込ませて実行できる。
【００１６】
ロボットはマイクによる音声認識手段あるいは環境音認識手段を備えているので、例えば「動画コンテンツ再生」のサービスにおいて、ユーザーの歓声あるいは拍手音を検知することで、映像表示端末で再生する動画コンテンツをユーザーが楽しんでいると判定して、ユーザーの手拍子に同期してロボットが手拍子するとともに、映像表示端末は視覚的に派手な演出に変遷させる。
【発明の効果】
【００１７】
以上のように本発明は、ユーザーへの情報の表現力を向上させるとともに、ユーザーの関与によって表現内容を変化させるロボットシステムを提供できる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態１におけるロボットを含むシステムの構成例を示す機能ブロック図
【図２】実施の形態１〜４におけるロボットが映像表示端末とともに使用される状態を示す図
【図３】実施の形態２〜４におけるロボットを含むシステムの構成例を示す機能ブロック図
【図４】実施の形態５におけるロボットを含むシステムの構成例を示す機能ブロック図
【図５】実施の形態５におけるロボットが映像表示端末とともに使用される状態を示す図
【発明を実施するための形態】
【００１９】
以下本発明の実施の形態について図面を参照して説明する。
【００２０】
（実施の形態１）
図１は、実施の形態１におけるロボットを含むシステムの構成を示す機能ブロック図である。図１に示すシステムは、映像表示端末２００およびロボット１００を含んでいる。
【００２１】
図２は、ロボット１００が映像表示端末２００とともに使用される状態を示す図である。ロボット１００の傍らに舞台装置としての映像表示端末２００を置くことで、ロボットを演者とする舞台空間を構築する。ロボット１００と映像表示端末２００は横並びの左右の配置に限るものではなく、連動して表現する内容に応じて、縦並びの前後の配置や、段違いの上下の配置も含んでいる。
【００２２】
映像表示端末２００は、例えば、テレビジョン装置、タブレット、ＰＣ、ＰＤＡ、ゲーム機、携帯電話またはインターホーンなどで構成することができる。
【００２３】
映像表示端末２００は、表示手段２０１、入力検知手段２０２、オブジェクト状態決定手段２０３、オブジェクト状態送信手段２０４を備えている。
【００２４】
表示手段２０１は、ロボットの演技に説得力を与えるための視覚的補助手段として機能し、場面、季節、時間、雰囲気などを表現するための大道具や小道具のオブジェクトを表示する。例えば、図２で示すような「絵本の読み聞かせ」サービスを実現する場合、場面を現す大道具としての本棚を並べた図書館オブジェクト２０１ａを背景に表示して、小道具として複数の絵本オブジェクト２０１ｂを「絵本が閉じた状態」で表示する。さらに、現在日時に応じた季節を示すため、夏であれば扇風機、冬であればストーブなどの季節オブジェクト２０１ｃを表示したり、時間を示すために時計オブジェクト２０１ｄの時刻表示にくわえて窓オブジェクト２０１ｅの外から指しこむ日光の波長の変化を模して表示するオブジェクト全体の色味を調整したり、場の雰囲気を示すために室内照明オブジェクト２０１ｆが発する光の明るさに応じて、表示する背景およびオブジェクト全体の色の濃淡を調整する。
【００２５】
入力検知手段２０２は、ディスプレイとタッチパネルとを重ね合わせたタッチパネルディスプレイとして構成することで、ユーザーの指が触れた位置座標を検出できることから、ディスプレイに表示された複数の大道具や小道具のうち、ユーザーがどのオブジェクトに触れたといった操作入力を検知する。
【００２６】
オブジェクト状態決定手段２０３は、入力検知手段２０２が検知した操作入力に対応して、現在のオブジェクト状態を別の状態に遷移させ、表示手段２０１に命令してオブジェクトの見かけ上の表示形態（形状、色、大きさ、位置姿勢）を変化できる。
【００２７】
オブジェクト状態送信手段２０４は、オブジェクト状態決定手段２０３によってオブジェクト状態が遷移したことをロボット１００に送信する。
【００２８】
ロボット１００と映像表示端末２００とを有線または無線の通信モジュールで接続し、映像表示端末２００のオブジェクト状態送信手段２０４から送信されたオブジェクト状態を含むデータを、ロボット１００のオブジェクト状態受信手段１０５が受信する。このときの通信の形態は、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの技術を用いることができる。
【００２９】
なお、上記の映像表示手段２００を構成する各手段は、映像表示装置動作プログラムによって実現する。
【００３０】
ロボット１００は、記憶手段１０１、出力手段１０２、ユーザー検知手段１０３、ロボット状態決定手段１０４、オブジェクト状態受信手段１０５、ロボット状態送信手段１０６を備えている。
【００３１】
ユーザー検知手段１０３は、ユーザーの顔や身体を含む映像を撮影するためのカメラと、ユーザーの発する音声を収集するためのマイクを備えており、人認識の技術を用いてロボット１００の目の前にいるユーザーの顔や音声の特徴情報の抽出や年齢や性別の推定、または、ユーザーの視線を含む表情認識や音声の周波数成分や声のリズムを分析する技術を用いて、ユーザーの喜怒哀楽や集中度あるいは興奮度といった感情情報を推定できる。上記例に限らず、例えば、ロボット１００には外界センサおよび内界センサを含む。例えば、外界センサとしては、ユーザーがロボット１００の体表面に触れたことを検知するタッチセンサや圧力センサや脈拍センサあるいは熱センサ。内界センサとしては、ユーザーがロボット１００を持った状態での移動および回転の操作を検知する加速度センサやジャイロセンサあるいは電子コンパスなどを含める。上記のユーザー検知手段１０３で得られた情報は「現在のユーザー情報」として扱う。
【００３２】
【表１】

表１は、ユーザー検知手段１０３で得られる「現在のユーザー情報」の構成を示す。１つのＩＤに対して、年齢、性別、ロボットからユーザーに対する好感度といった基本情報、顔の特徴情報、音声の特徴情報、感情情報、外界センサ情報、内界センサ情報を含んでいる。
【００３３】
出力手段１０２は、発話するためのスピーカや、複数の自由度をもつ機構で構成し、その可動部に駆動力を与えることにより、ロボットに身体動作を発生させる。このときの駆動力の発生源（アクチュエータ）には、サーボモータ、人工筋肉、磁力、静電気力などの技術を用いることができる。本実施形態のロボット１００は、図２に示すように人の日常生活に溶け込みやすく親しまれているぬいぐるみの代表格であるクマの形状および構造を模してデザインされたクマ型ぬいぐるみロボットであり、外装もぬいぐるみと同様の柔軟素材を使用しているため、安心して直接触れて抱くことができる。なお、クマ型ぬいぐるみは、旧来から子供の遊び相手として存在しているように、人間らしい発話や身体動作を行う動物を擬人化したキャラクターとしても受け入れられやすい。もちろん、本実施の形態はクマ以外のキャラクターにも適用可能である。
【００３４】
ロボット１００は、動物を模して胴体部１００ａ、頭部１００ｂ、腕部１００ｃ、脚部１００ｄに分かれて構成されている。頭部１００ｂは首位置にロール、ピッチおよびヨーの各軸方向の自由度をもって胴体部１００ａの上端位置に配置されている。腕部１００ｃは肩位置にロールとピッチ、肘位置にロールとピッチの各軸方向の自由度をもって胴体部１００ａの上半分左右端位置に配置されている。脚部１００ｄは股関節位置にピッチとヨーの各軸方向の自由度をもって胴体部１００ａの下半分左右端位置に配置されている。
【００３５】
上記構成によって、人同士のコミュニケーションにおいて非言語情報がときに言語以上に情報を伝達すると言われるように、対話を促すためのいくつかの非言語情報としての身体動作（ジェスチャ）を表現できる。具体的には、同意を意味するうなづき、否定を意味する首振り、疑問を意味する首かしげ、話し相手と目をあわせるまたは逸らすアイコンタクト、自発的な発言を呈する挙手、相手からの発言を求める手招き、話題の対象を指差す、不快を伝える足のばたつかせなどのジェスチャを発話と同期させながら実行することが可能である。
【００３６】
記憶手段１０１は、各種情報を格納するための記憶媒体を備えている。具体的には、予め格納されている「過去のユーザー情報」に加え、「オブジェクト状態と紐付けられた複数の行動パターン」も格納できる。
【００３７】
【表２】

表２は、記憶手段１０１に格納する「過去のユーザー情報」の構成を示す。１つのＩＤに対して、名前や年齢、性別およびロボットからユーザーに対する好感度といった基本情報、顔の特徴情報、音声の特徴情報、複数のアプリケーション情報を含んでいる。アプリケーション情報には、過去に該ユーザーが行った行動のうち、例えば、「絵本読み聞かせ」サービスに関するアプリケーション情報としての、今までに読んだ絵本の名称と読了位置や読了回数を、基本情報に紐付けすることもできる。
【００３８】
前記ユーザー検知手段１０３は、ロボット１００の目の前にいるユーザーから得た「現在のユーザー情報」と、記憶手段１０１に格納された「過去のユーザー情報」とで、とくに顔の特徴情報を比較することでユーザーの個人識別を行うことができる。
【００３９】
【表３】

表３は、記憶手段１０１に格納する「行動パターン」の構成を示す。１つのＩＤに対して、オブジェクト名およびオブジェクト状態に紐付けられた複数の行動パターン情報を含んでいる。行動パターンは、ロボットが出力するための発話および身体動作に関する情報を有する。
【００４０】
例えば、「絵本の読み聞かせ」サービスに関して、「読み聞かせする」「本をすすめる」「待機する」などの行動パターンを用意する。さらに、各行動パターンに「行動確率」が設定されている場合は、ユーザーとロボットとのインタラクション回数によって上昇する「過去のユーザー情報」に含まれるユーザーへの好感度の値や、目の前のユーザーから得られる「現在のユーザー情報」に含まれる集中度の値が大きいほど行動確率の高い行動を優先して実行する。また、各行動パターンに「行動条件」が記述されている場合は、ロボットは該条件に従って行動パターンを選択する。
【００４１】
ロボット状態決定手段１０４は、前記記憶手段１０１に格納した「過去のユーザー情報」と前記ユーザー検知手段１０３が取得した「現在のユーザー情報」の少なくとも一方に基づいて、映像表示端末２００から受信したオブジェクト状態と紐付けされた複数の行動パターンから一つを決定し、現在のロボット状態を別の状態に遷移させることで、前記出力手段１０２の働きによりロボットは発話または身体動作を出力する。
【００４２】
ロボット状態送信手段１０６は、ロボット状態決定手段１０４によってロボット状態が遷移したことを映像表示端末２００に送信する。
【００４３】
なお、上記のロボット１００を構成する各手段は、ロボット動作プログラムによって実現する。
【００４４】
具体的な動作例として、「絵本読み聞かせ」サービスの一例を以下に示す。
【００４５】
図２に示す映像表示端末２００は、表示手段２０１と入力検知手段２０２は重なり合うタッチパネルディスプレイで構成され、「絵本の読み聞かせ」サービスを実現する場合、場面を現す大道具としての本棚を並べた図書館オブジェクト２０１ａを背景に表示して、小道具として複数の絵本オブジェクト２０１ｂを「絵本が閉じた状態」で表示する。さらに、現在の季節を印象付ける（ここでは夏＝扇風機）の季節オブジェクト２０１ｃ、時間を示す時計オブジェクト２０１ｄの時刻表示と、ここでは昼なので窓の外の色を青とする窓オブジェクト２０１ｅ、場の雰囲気を示すために室内照明オブジェクト２０１ｆを表示し照明がついていることを示すために周辺の色の濃淡を明るくなるように補正する。前記絵本のオブジェクト２０１ｂは「絵本が閉じた状態」と「絵本が開かれた状態」と「絵本を読んでいる状態」の３つの状態を持つ。
【００４６】
タッチパネルディスプレイ上に表示された絵本のオブジェクト２０１ａをユーザーが指で触れるとき、入力検知手段２０２の働きにより絵本のオブジェクトが操作されたと判断する。
【００４７】
さらに、オブジェクト状態決定手段２０３は、絵本のオブジェクト状態を「絵本が閉じた状態」から「絵本が開かれている状態」に遷移すると同時に、表示手段２０１に命令して絵本の表紙が開くアニメーションを実行したのち絵本のストーリーのおける象徴的な場面を現す背景をディスプレイに表示し、オブジェクト状態送信手段２０４を介して、絵本のオブジェクト状態が「絵本が開かれている状態」に遷移したことをロボット１００に送信する。
【００４８】
ロボット１００は、ユーザー検知手段１０３が目の前にいる人物から得た「現在のユーザー情報」の顔の特徴情報と、あらかじめ記憶手段１０２に格納された「過去のユーザー情報」の顔の特徴情報とが一致するか否かを判定する。
【００４９】
オブジェクト状態受信手段１０５が「絵本が開かれている状態」を受信し、ロボット状態決定手段１０４は表３のＩＤｃ００１を参照して行動条件９０％の「絵本を読み聞かせる」の行動パターンを選択するとき、顔の特徴情報が一致する場合、表２のＩＤｂ０００の「過去のユーザー情報」と紐付けられて格納されているアプリケーション情報の「絵本の名称」と「前回までの読了位置」と「読み聞かせ設定」を参照して、出力手段１０２に命令することで前回の続きから読み聞かせを実行できる。
【００５０】
さらに、顔の特徴情報が一致しない場合は、ユーザー検知手段１０３の顔認識で人物の年齢を判定し、例えば人物を幼児と判定した場合、ロボット状態決定手段１０５が複数の行動パターンのうちから「絵本を読み聞かせる」を選択して、幼児にとって聞き取りやすい声質・スピード・話し方で絵本の最初の頁から読み聞かせることを出力手段１０２に命令する。
【００５１】
以上のように、絵本オブジェクト２０１ｂの表紙を開こうとするユーザーのアクションで絵本が開き、つづいてロボット１００が目の前の人物の特性に合わせて絵本のストーリーを身振りを加えつつ話すといった、人間がこどもなどに対して絵本の読み聞かせをするのと同じ一連の行動をトレースできるので、ロボットが絵本を読み聞かせようとするといった動作意図が、ユーザーにより伝わりやすくなる。
【００５２】
ユーザーのタッチディスプレイの操作において、ディスプレイに表示するオブジェクトが複数ある状態で、ユーザーがオブジェクトＡを操作した直後にオブジェクトＢを操作するとき、ロボット１００がオブジェクトＡを操作した結果としての発話または身体動作の実行を継続し後のユーザーの操作がロボットに無視されたと感じさせないように、オブジェクト状態送信手段２０４は、オブジェクト状態に優先度を付与してロボット１００に送信する仕組みを設ける。具体的には、先にオブジェクトＡが操作されたときに優先度（通常）を付与してロボット１００に送信し、予め想定するロボットの発話および身体動作の時間に達する前にオブジェクトＢが操作されたときは優先度（高）を付与してロボット１００に送信する。ロボット１００は、より高い優先度をもつ情報を受け付けた場合は、実行中のロボットの行動パターンをキャンセルして、後のオブジェクトの操作に紐付けされた行動パターンを割込ませて実行できるようにする。
【００５３】
以上の実施の形態は一例であり、ロボット１００および映像表示端末２００の構成例、動作例、使用例、外部形状例は、上記例に限定されない。
【００５４】
（実施の形態２）
図３は、実施の形態２におけるロボットを含むシステムの構成例を示す機能ブロック図である。図３に示すシステムは、映像表示端末２００に表示記憶手段２０５およびロボット状態受信手段２０６を含んでいる。
【００５５】
ロボット１００と映像表示端末２００とを有線または無線の通信で接続しているので、ロボット状態送信手段１０６は、前記記憶手段１０１に格納した「過去のユーザー情報」と前記ユーザー検知手段１０３が取得した「現在のユーザー情報」の少なくとも一方を、ロボット状態に付与して送信できる。
【００５６】
表示記憶手段２０５は、各種情報を格納するための記憶媒体を備えている。具体的には、１つのオブジェクト毎に「表示パターン」を格納できる。
【００５７】
【表４】

表４は、表示記憶手段２０５に格納する「表示パターン」の構成を示す。１つのＩＤに対して、オブジェクト名、オブジェクト状態、ロボットの状態とユーザー情報に紐付けられた複数の表示パターン情報、およびオブジェクト属性を含んでいる。オブジェクト属性には、オブジェクトの役割グループを示す種別、オブジェクト利用の対象年齢、オブジェクト利用の有効期間をＩＤに紐付けすることもできる。
【００５８】
オブジェクト状態決定手段２０３は、ロボット１００から受信したロボット状態と紐付けされた表示パターンを選択し、さらにユーザー情報が付与されていた場合は、ユーザー情報に含まれる情報と該オブジェクト属性に対応して表示オブジェクトの表示状態を決定し、前記表示手段１０１の働きにより表示する。
【００５９】
具体的な動作例として、「絵本読み聞かせ」サービスの一例を以下に示す。
【００６０】
図２に示す映像表示端末２００の表示手段２０１に、「読み聞かせ」サービスの場面を想起させる本棚を並べた図書館オブジェクト２０１ａおよび「絵本が閉じた状態」の絵本オブジェクト２０１ｂが表示されている。
【００６１】
ここで、「読み聞かせサービス」実行を期待するユーザー（幼児）がロボット１００の正面に立ったとき、ロボット状態決定手段１０４は、ロボット状態を「待機状態」から「絵本を探す状態」に遷移すると同時に、出力手段１０１に命令して腕部１００ｃを駆動させて本棚のある図書館オブジェクト２０１ａを手で指し示す身体動作を実行する。次に、ロボット状態送信手段１０６を介してロボットが「絵本を探す状態」に遷移したことを意味するロボット状態と、前記ユーザー検知手段１０３がユーザーが幼児であるという情報を含む「現在のユーザー情報」を映像表示端末２００に送信する。
【００６２】
オブジェクト状態決定手段２０３は、表４のＩＤｄ０５０の表示パターンに従い、対象年齢を幼児とする絵本を本棚に並べるために、表４のオブジェクト属性の「本かつ対象年齢が幼児」という情報を参照する。さらに「絵本を読み聞かせる」のロボット状態を受信するときは、表４のＩＤｄ００１の表示パターンに従い、ディスプレイに表示する絵本の文字を幼児向けの平易な文章かつ漢字を廃した文字表現に変更できる。
【００６３】
以上のように、上記実施の形態１と本実施の形態２の組み合わせにより、ロボット１００単体がユーザー情報に基づいて動的に発話および身体動作の表現内容を改変した場合に、改変元となる媒体としての映像表示端末２００もユーザー属性を反映して表示内容も連動して改変されるので、ロボット１００と映像表示端末２００とが提供する情報が常に一致するので、ユーザーによる機能発見と感情移入を容易にしてユーザーへの情報の表現力を向上させるとともに、得られるユーザー属性と環境属性を反映し表現内容を変化させることでユーザーが飽きさせないようにする。
【００６４】
以上の映像表示端末２００が受信するユーザー情報は一例であり、他にも、ユーザーの名前、年齢、性別といった基本情報、顔の特徴情報、音声の特徴情報、喜怒哀楽、集中度および興奮度といった感情情報などがある。
【００６５】
（実施の形態３）
ここでは、ロボット１００が、前記映像表示装置２００から受信した「ロボットに期待する複数の行動パターン」のうち一つの行動を決定し出力する形態を説明する。
【００６６】
【表５】

表５は、映像表示端末２００の表示記憶手段２０５に格納する「ロボットに期待する行動パターン」の構成を示す。本情報のフォーマットは、前述のロボット１００の記憶手段１０１に格納する「行動パターン」と同一で、内容を変更している。
【００６７】
例えば、「絵本の読み聞かせ」サービスに関する行動パターン情報として、「読み聞かせする」「本をすすめる」「絵本を読むか尋ねる」「待機する」などの複数の行動パターン情報を用意する。
【００６８】
オブジェクト状態決定手段２０３は、入力検知手段２０２が検知した操作入力に対応して、現在のオブジェクト状態を別の状態に遷移させたことに加え、表５の該オブジェクトのオブジェクト状態に紐付けられたロボットに期待する複数の行動パターンをロボット１００に送信する。
【００６９】
ロボット状態決定手段１０４は、前記記憶手段１０１に格納した「過去のユーザー情報」と前記ユーザー検知手段１０３が取得した「現在のユーザー情報」の少なくとも一方に基づいて、映像表示端末２００から受信したオブジェクト状態と紐付けされた複数の行動パターンから一つを決定し、現在のロボット状態を別の状態に遷移させることで、前記出力手段１０２の働きによりロボットは発話または身体動作を出力する。
【００７０】
ロボット状態送信手段１０６は、ロボット状態決定手段１０４によってロボット状態が遷移したことを映像表示端末２００に送信する。
【００７１】
ロボット状態決定手段１０４は、前記記憶手段１０１に格納した「過去のユーザー情報」と前記ユーザー検知手段１０３が取得した「現在のユーザー情報」の少なくとも一方に基づいて、映像表示端末２００から受信したオブジェクト状態とロボットに期待する複数の行動パターンから一つを決定し、現在のロボット状態を別の状態に遷移させることで、前記出力手段１０２の働きによりロボットは発話または身体動作を出力する。
【００７２】
具体的な動作例として、「絵本読み聞かせ」サービスの一例を以下に示す。
【００７３】
タッチパネルディスプレイ上に表示された絵本のオブジェクト２０１ａをユーザーが指で触れるとき、入力検知手段２０２の働きにより絵本のオブジェクトが操作されたと判断する。
【００７４】
さらに、オブジェクト状態決定手段２０３は、絵本のオブジェクト状態を「絵本が閉じた状態」から「絵本が開かれている状態」に遷移すると同時に、表示手段２０１に命令して絵本の表紙が開くアニメーションを実行したのち、絵本のストーリーの一場面を現す背景をディスプレイに表示する。続いて、オブジェクト状態送信手段２０４を介して、絵本のオブジェクト状態が「絵本が開かれている状態」に遷移したことと、表５のＩＤｅ００１のオブジェクト状態に紐付けられたロボットに期待する複数の行動パターンである「絵本を読むか尋ねる」「絵本を閉じる」の２つを付与してロボット１００に送信する。
【００７５】
オブジェクト状態受信手段１０５が「絵本が開かれている状態」を受信するとき、ロボット状態決定手段１０４は、「行動条件」に従ってユーザー検知手段１０３を使って顔の特徴情報が「過去のユーザー情報」と一致するかどうかを判定する。
【００７６】
顔の特徴情報が一致する場合「絵本を読むか尋ねる」の行動パターンを選択し、表３のＩＤｃ００１の「過去のユーザー情報」と紐付けられて格納されているアプリケーション情報の「絵本の名称」と「読了回数」を参照する。該当する絵本の読了回数が５回以上であれば、ロボット１００は絵本を読むかどうかを尋ねる発話と身体動作を出力したのち、ユーザー検知手段１０３の顔認識がユーザーの「はい」を意味するうなづき動作としての目や鼻の器官の上下動を認識した場合は「読み聞かせ設定」を参照して前回の続きから読み聞かせを実行する。また、ユーザー検知手段１０３の顔認識がユーザーの「いいえ」を意味する首振り動作としての目や鼻の器官の左右移動を認識するか、うなづき動作と首振り動作のいずれも認識することなく３０秒以上経過した場合は、絵本を閉じる行動を実行する。読了回数が５未満であれば、「前回までの読了位置」と「読み聞かせ設定」を参照して読み聞かせを実行する。
【００７７】
また、ロボット状態決定手段１０４は、顔の特徴情報が一致しない場合「絵本を閉じる」の行動パターンを選択し、絵本を閉じる行動を実行する。
【００７８】
以上のように、映像表示端末２００からロボット１００に期待する複数の行動パターンを送信することで、ロボット側の記憶手段１０１に行動パターンを格納する容量の節約ができる。また、ロボット１００が格納している古い行動パターンと異なって、例えば、場面、季節、時間、雰囲気などによって変化した新しい行動パターンを映像表示端末２００から与えることで、ロボット１００のインタラクションが多彩になり、ユーザはロボット１００と飽きずに長時間付き合うことができる。
【００７９】
（実施の形態４）
ロボット１００が、前記映像表示装置２００から受信した「アレンジ手段」に従って、行動を決定し出力する形態を説明する。
【００８０】
例えば、「モーニングコール」サービスに関して、表４のＩＤｄ０４０およびｄ０４１に示すように時計と対応して「知らせる」「時計をとめる」「待機する」などの行動パターンを用意し、記憶手段１０１に格納する。また、行動パターンには、読み聞かせる絵本のストーリーに応じてロボットが出力するための発話と身体動作に関する情報を含んでいる。
【００８１】
オブジェクト状態決定手段２０３は、時計オブジェクト２０１ｄの種別がタイマなので、予めセットしておいたアラーム時刻に達した場合、オブジェクト状態を「時刻表示状態」から「アラーム状態」に遷移させ、状態が遷移したこととアレンジ手段とを、ロボット１００に送信する。
【００８２】
具体的な動作例として、「モーニングコール」サービスの一例を以下に示す。
【００８３】
オブジェクト状態決定手段２０３が、表４のＩＤｄ０４０を参照し、時計オブジェクト２０１ｄにセットした起床時間７時００分に達したと判断したとき、表４の時計のオブジェクト状態を「時刻表示状態」から「アラーム状態」に遷移すると同時に、表示手段２０１に命令して、時計が鳴動するアニメーションを実行したのち、オブジェクト状態送信手段２０４を介して、時計のオブジェクト状態が「アラーム状態」に遷移したことと、アレンジ手段としてのパラメータ「小さい声」を、ロボット１００に送信する。
【００８４】
ロボット１００のオブジェクト状態受信手段１０５が、７時００分に「アラーム状態」を受信するとき、ロボット状態決定手段１０４は、表３のＩＤｃ０４１を参照し、ユーザー検知手段１０３によって目の前にいる人物の視線・表情の動きや発声から得た集中度が閾値未満の場合、意識が覚醒していない（眠そうにしている）と判断して、出力手段１０１に命令してモーニングコールを「お知らせする」ための発話を、アレンジ手段「小さい声」に応じた小さい音量で実行する。映像表示端末２００のロボット状態手段２０６が、「お知らせする状態」を受信するとき、オブジェクト状態決定手段２０３は、表４のＩＤｄ０４１を参照し、１分後に再度アラームを鳴らす。
【００８５】
上記のフローを、ユーザーの集中度が閾値以上になるまで１分経過するごとに繰り返す際に、アレンジ手段としてのパラメータを「大きな声」や「大きな動き」や「大きな音を立てる」のように変化するようにプログラムする。
【００８６】
ロボットが受信したアレンジ手段に対応して、「大きな声」に対応して音量を大きくして発話し、「大きな動き」に対応して手足の末端の位置を胴体中心から離れるように身体動作を変化させ、「大きな音を立てる」に対応して破裂音や打撃音などの大きな効果音を伴って行動することで、ユーザーが覚醒する（起きる）のを促すことができる。最後に、ユーザー検知手段１０３によって目の前にいる人物から得た集中度が閾値以上の場合、意識が覚醒した（起きている）と判断して、出力手段１０１に命令してモーニングコールの「時計をとめる」身体動作を実行する。映像表示端末２００のロボット状態手段２０６が、「時計を止める状態」を受信するとき、オブジェクト状態決定手段２０３は、表４のＩＤｄ０４１を参照し、時計を時刻表示状態に遷移させる。
【００８７】
以上のように、映像表示端末２００からアレンジ手段を与えることで、ロボット１００の記憶手段１０１に格納された発話または身体動作を変化させることで、記憶手段１０１の容量を節約できる。また、ロボット１００の感情表現が多彩になり、ユーザはロボット１００と飽きずに長時間付き合うことができる。
【００８８】
以上の発話および身体動作のアレンジ手段は一例であり、他にも、声の大小、声の抑揚、声のテンポ、声の性質（老若男女）、動きの大きさ、動きのスピード、動きの力強さなどがある。
【００８９】
（実施の形態５）
図４は、実施の形態５におけるロボットを含むシステムの構成例を示す機能ブロック図である。図４に示すシステムは、ロボット１００に音声認識手段１０７および環境音認識手段１０８を含んでいる。
【００９０】
具体的な動作例として、コンサートの「動画コンテンツ再生」サービスの一例を以下に示す。
【００９１】
図５は、ロボット１００が映像表示端末２００とともに使用される状態を示す図である。表示手段２０１は、動画再生する領域としての動画コンテンツオブジェクト２０１ｇ、演出装置として観客の注目を集めるためのスポットライトオブジェクト２０１ｈと幻想的な雰囲気をつくるためのミスト発生器オブジェクト２０１ｉを配置する。なお、図５ではこれら演出装置を見えるようにディスプレイの表示領域内に配置しているが、実際の利用シーンにおいては、見えないようにディスプレイの表示領域外に配置してもよい。
【００９２】
【表６】

表６は、表示記憶手段２０５に格納する「表示パターン」の構成を示す。本情報のフォーマットは、前述の表４と同一で、内容を変更している。
【００９３】
オブジェクト状態決定手段２０３が、動画コンテンツオブジェクト２０１ｇを「停止状態」から「再生状態」に遷移させることで、ディスプレイ上でコンサートの音楽と映像を再生し、スポットライトオブジェクト２０１ｈを「消灯状態」から「点灯状態」に遷移させることでスポットライト光を意味する黄色かつ透過度５０％でスポットライトを頂点とする三角形を動画コンテンツオブジェクト２０１ｇに重畳させて表示する。ミスト発生器オブジェクト２０１ｉは停止状態のままにする。傍らに置かれたロボット１００は、映像表示端末２００で再生されるコンサートの音楽と映像をユーザーが眺めている様子を、ユーザー検知手段１０３のカメラとマイクでモニタする。
【００９４】
ユーザー検知手段１０３の顔認識によりユーザーの口の開閉状態の変化を検出するとき、マイクに入力された音情報を音声認識手段１０７に転送しユーザーの発話内容を解析して発話の有無を検出する。このように、口の開閉状態と音声認識をシンクロさせることで、周囲の雑音に起因する認識への悪影響を低減する。なお、発話内容の解析の一例として、テキスト化した言葉のもつイメージが「良い」のグループ（「いい」「すごい」「おもしろい」など）に含まれること、音声の周波数成分や声のリズムを分析して喜や楽の要素が含まれること、を元にして、「歓声」のレベルを判定できる。
【００９５】
また、ユーザー検知手段１０３の画像認識によりユーザーの手の動きの変化を検出するとき、マイクに入力された音情報を環境音認識手段１０８に転送し環境音を解析して拍手音や打撃音の有無を検出する。このように、手の動きと環境音認識をシンクロさせることで、周囲の雑音に起因する認識への悪影響を低減する。なお、環境音の解析の一例として、音声の周波数成分などを分析して拍手に類似する音の特徴が多く含まれることで「拍手音」のレベルを判定できる。
【００９６】
ここで、環境音認識手段１０８が、拍手音のレベルが予め設定された閾値よりも大きいと判断するとき、ロボット状態決定手段１０４は、ロボット状態を「待機状態」から「拍手する状態」に遷移すると同時に、出力手段１０１に命令して腕部１００ｃを駆動させ、ユーザーの拍手音のタイミングに同期して拍手させてもよい。
【００９７】
ロボット状態決定手段１０４は、ロボット状態を「待機状態」から「ユーザー検知状態」に遷移し、ロボット状態送信手段１０６を介してロボットが「ユーザー検知状態」に遷移したことを意味するロボット状態に、音声認識手段１０７が認識した音声認識結果または環境音認識手段１０８が認識した環境音認識結果を付与して送信する。
【００９８】
オブジェクト状態決定手段２０３は、受信した「ユーザー検知状態」のロボット状態に付与された音声認識結果に「歓声」が含まれている場合、表６のＩＤｅ０２１の表示パターンに従い、歓声のレベルが閾値以上であれば、スポットライトオブジェクト２０１ｈの色を黄→赤→青→黄の順番で変更して点灯させたり、スポットライトの光を意味する三角形を、スポットライトを中心に振り子状にアニメーションさせる。また、歓声のレベルが閾値未満であれば、スポットライトオブジェクト２０１ｈは単色で点灯状態を維持する。
【００９９】
オブジェクト状態決定手段２０３は、受信した「ユーザー検知状態」のロボット状態に付与された環境音認識結果に「拍手音」が含まれている場合、表６のＩＤｅ０３０の表示パターンに従い、拍手音のレベルが閾値以上であれば、ミスト発生器オブジェクト２０１ｉを「停止状態」から「実行状態」に遷移させ、ミスト効果を意味する白色かつ透明度５０％の雲形状を動画コンテンツオブジェクト２０１ｇの下部に重畳させて左右移動するアニメーションを表示する。また、拍手音のレベルが閾値未満であれば、ミストオブジェクト２０１ｉは停止状態を維持する。
【０１００】
以上のように、ロボットはマイクによる「音声認識手段」あるいは「環境音認識手段」を備えているので、ユーザーの歓声あるいは拍手音を検知することで、映像表示端末で再生する動画コンテンツをユーザーが楽しんでいると判定して、ユーザーの手拍子に同期してロボットが手拍子するとともに、映像表示端末は視覚的に派手な演出に変遷させることで、ユーザーの動画コンテンツへの感情移入を高めることができる。
【０１０１】
以上、本発明の実施形態の例を第１〜第５の実施形態として、とくに「絵本読み聞かせ」「モーニングコール」「動画コンテンツ再生」のサービスを例示して説明したが、本発明は上記実施形態に限られない。
【０１０２】
近年、ＩＴ技術によって多くの現実の情報サービスがインターネット上に構築されブラウザ上で情報を出力しマウスやキーボードによって情報を入力できるようになったが、人間と対話するような自然なやりとりが損なわれるため、子供や高齢者あるいは情報端末の扱いに不慣れな人にとって情報サービスを享受しにくい。本発明では、「ロボット＝俳優」と「映像表示端末＝舞台装置」とする組み合わせで、例えば「販売」というカテゴリにおいてロボットの配役を店員と置き換えて、映像表示端末に「薬局」「食料品売場」「衣料品売場」などを切り替えて表示させることで、現実のサービスを寸劇表現することで、ユーザーによりわかりやすく情報を出力し、ユーザーとの自然なやりとりで情報を入力する、情報サービスのシステムを提供することができる。
【産業上の利用可能性】
【０１０３】
本発明は、ロボットと映像表示端末の組み合わせにより、現実のサービスを寸劇表現することでユーザーによる機能発見と感情移入を容易にして、ユーザーによりわかりやすく情報を出力し、ユーザーとの自然なやりとりで情報を入力する、情報サービスのシステムとして有用である。
【符号の説明】
【０１０４】
１００ロボット
１００ａ胴体部
１００ｂ頭部
１００ｃ腕部
１００ｄ脚部
１０１記憶手段
１０２出力手段
１０３ユーザー検知手段
１０４ロボット状態決定手段
１０５オブジェクト状態受信手段
１０６ロボット状態送信手段
１０７音声認識手段
１０８環境音認識手段
２００映像表示端末
２０１表示手段
２０１ａ図書館オブジェクト
２０１ｂ絵本オブジェクト
２０１ｃ季節オブジェクト
２０１ｄ時計オブジェクト
２０１ｅ窓オブジェクト
２０１ｆ室内照明オブジェクト
２０１ｇ動画コンテンツオブジェクト
２０１ｈスポットライトオブジェクト
２０１ｉミスト発生器オブジェクト
２０２入力検知手段
２０３オブジェクト状態決定手段
２０４オブジェクト状態送信手段
２０５表示記憶手段
２０６ロボット状態受信手段

【特許請求の範囲】
【請求項１】
「映像表示端末」と「ロボット」からなる「映像表示端末連携型ロボットシステム」であって、前記映像表示端末は、オブジェクトを表示する「表示手段」と前記表示手段に対する操作入力を検知する「入力検知手段」と、前記入力検知手段によって検知した前記オブジェクトへの入力に基づいて変化するオブジェクトの状態を決定し前記表示手段によって表示する「オブジェクト状態決定手段」と、前記オブジェクト状態決定手段の決定結果をロボットに送信する「オブジェクト状態送信手段」を備え、前記ロボットは、発話と身体動作の少なくとも一方が可能な「出力手段」と、ユーザーの挙動を検知する「ユーザー検知手段」と、ユーザー情報を格納する「記憶手段」と、前記映像表示端末から「オブジェクト状態」を受信する「オブジェクト状態受信手段」と、前記記憶手段に格納した過去のユーザー情報と前記ユーザー検知手段が取得した現在のユーザー情報の少なくとも一方に基づいて、オブジェクト状態と紐付けされた複数の行動パターンから一つを決定し出力する「ロボット状態決定手段」と、前記ロボット状態決定手段の決定結果を、映像表示端末に送信する「ロボット状態送信手段」を備える、ことを特徴とする映像表示端末連携ロボットシステム。
【請求項２】
前記映像表示端末は、ロボットの状態と紐付けされた複数の表示パターンを格納する「表示記憶手段」と、前記ロボットから前記「ロボット状態」を受信する「ロボット状態受信手段」と、同時に受信した現在のユーザー情報に基づいて、前記表示記憶手段に格納した複数の表示パターンから一つを決定し前記表示手段によって表示する「オブジェクト状態決定手段」を備える、ことを特徴とする映像表示端末連携ロボットシステム。
【請求項３】
請求項１の前記映像表示端末は、前記オブジェクト状態決定手段の決定結果に、ロボットに期待する複数の行動パターンを付与して、ロボットに送信する「映像表示端末状態送信手段」を備え、前記ロボットは、前記記憶手段に格納した過去のユーザー情報と前記ユーザー検知手段が取得した現在のユーザー情報の少なくとも一方に基づいて、前記映像表示端末から受信したロボットに期待する複数の行動パターンのうち一つの行動を決定し出力する「ロボット状態決定手段」を備える、ことを特徴とする映像表示端末連携ロボットシステム。
【請求項４】
請求項１の前記ロボットは、オブジェクトの状態に紐付けられた複数の行動パターンを前記記憶手段に格納し、前記記憶手段に格納した過去のユーザー情報と前記ユーザー検知手段が取得した現在のユーザー情報の少なくとも一方に基づいて、前記記憶手段に格納された複数の行動パターンのうち一つの行動を決定し出力する「ロボット状態決定手段」を備える、ことを特徴とする映像表示端末連携ロボットシステム。
【請求項５】
前記映像表示端末は、前記オブジェクト状態決定手段の決定結果に、アレンジ手段を付与して、ロボットに送信する「映像表示端末状態送信手段」を備え、前記ロボットは、前記映像表示端末から受信したアレンジ手段に基づいて発話と身体動作の出力の少なくとも一方にアレンジを加える「ロボット状態決定手段」を備える、ことを特徴とする映像表示端末連携ロボットシステム。
【請求項６】
前記映像表示端末は、前記オブジェクト状態決定手段の決定結果に、優先度属性をもつ行動パターンを付与して、ロボットに送信する「映像表示端末状態送信手段」を備え、前記ロボットは、現在実行中の行動の優先度属性を管理する「行動優先度管理手段」と、前記映像表示端末から受信した優先度属性と、現在実行中の行動の優先属性を比較して、高い優先度属性の行動パターンを決定し出力する「ロボット状態決定手段」を備える、ことを特徴とする映像表示端末連携ロボットシステム。
【請求項７】
前記ロボットは、ユーザーが発した音声を認識する「音声認識手段」と、前記ロボット状態決定手段の決定結果に前記音声認識手段が認識した音声認識結果を付与して映像表示端末に送信する「ロボット状態送信手段」を備え、前記映像表示端末は、音声認識結果と紐付けされた複数の表示パターンを格納する「表示記憶手段」と、同時に受信した音声認識結果に基づいて、前記表示記憶手段に格納した複数の表示パターンから一つを決定し前記表示手段によって表示する「オブジェクト状態決定手段」を備える、ことを特徴とする映像表示端末連携ロボットシステム。
【請求項８】
前記ロボットは、ユーザーの周辺環境の音声から発信源を認識する「環境音認識手段」と、前記ロボット状態決定手段の決定結果に前記環境認識手段が認識した環境音認識結果を付与して映像表示端末に送信する「ロボット状態送信手段」を備え、前記映像表示端末は、環境音認識結果と紐付けされた複数の表示パターンを格納する「表示記憶手段」と、同時に受信した環境音認識結果に基づいて、前記表示記憶手段に格納した複数の表示パターンから一つを決定し前記表示手段によって表示する「オブジェクト状態決定手段」を備える、ことを特徴とする映像表示端末連携ロボットシステム。
【請求項９】
ロボットと通信可能な映像表示端末であって、オブジェクトを表示する「表示手段」と前記表示手段に対する操作入力を検知する「入力検知手段」と、前記入力検知手段によって検知した前記オブジェクトへの入力に基づいて変化するオブジェクトの状態を決定する「オブジェクト状態決定手段」と、前記オブジェクト状態決定手段の決定結果をロボットに送信する「オブジェクト状態送信手段」を備える、ことを特徴とする映像表示端末。
【請求項１０】
請求項Xに記載の映像表示端末と通信可能なロボットであって、発話と身体動作の少なくとも一方が可能な「出力手段」と、ユーザーの挙動を検知する「ユーザー検知手段」と、ユーザー情報を格納する「記憶手段」と、前記映像表示端末から「オブジェクト状態」を受信する「オブジェクト状態受信手段」と、前記記憶手段に格納した過去のユーザー情報と前記ユーザー検知手段が取得した現在のユーザー情報の少なくとも一方に基づいて、オブジェクト状態と紐付けされた複数の行動パターンから一つを決定し出力する「ロボット状態決定手段」と、前記ロボット状態決定手段の決定結果を、映像表示端末に送信する「ロボット状態送信手段」を備える、ことを特徴とするロボット。
【請求項１１】
ユーザーの挙動を検知する「ユーザー検知手段」を有するロボットと通信可能な映像表示端末であって、オブジェクトを表示する「表示手段」とロボットの状態と紐付けされた複数の表示パターンを格納する「表示記憶手段」と、前記ロボットからロボットの行動結果を含む「ロボット状態」を受信する「ロボット状態受信手段」と、同時に受信した現在のユーザー情報に基づいて、前記表示記憶手段に格納した複数の表示パターンから一つを決定し前記表示手段によって表示する「オブジェクト状態決定手段」を備える、ことを特徴とする映像表示端末。
【請求項１２】
ロボットと通信可能で、オブジェクトを表示する「表示手段」と前記表示手段に対する操作入力を検知する「入力検知手段」を備える映像表示端末に、処理を実行させる映像表示端末動作プログラムであって、前記入力検知手段によって検知した前記オブジェクトへの入力に基づいて変化するオブジェクトの状態を決定し前記表示手段によって表示する「オブジェクト状態決定処理」と、前記オブジェクト状態決定処理の決定結果をロボットに送信する「オブジェクト状態送信処理」を実行する、ことを特徴とする映像表示端末動作プログラム。
【請求項１３】
請求項１２に記載の映像表示端末と通信可能で、ユーザーの挙動を検知する「ユーザー検知手段」と、ユーザー情報を格納する「記憶手段」を備えるロボットに処理を実行させるロボット動作プログラムであって、前記記憶手段に格納した過去のユーザー情報と前記ユーザー検知手段が取得した現在のユーザー情報の少なくとも一方に基づいて、オブジェクト状態と紐付けされた複数の行動パターンから一つを決定し出力する「ロボット状態決定処理」と、前記ロボット状態決定手段の決定結果を、映像表示端末に送信する「ロボット状態送信処理」を実行する、ことを特徴とするロボット動作プログラム。
【請求項１４】
ユーザーの挙動を検知する「ユーザー検知手段」を有するロボットと通信可能で、オブジェクトを表示する「表示手段」とロボットの状態と紐付けされた複数の表示パターンを格納する「表示記憶手段」を備える映像表示端末に処理を実行させるロボット動作プログラムであって、前記ロボットからロボットの行動結果を含む「ロボット状態」を受信する「ロボット状態受信処理」と、同時に受信した現在のユーザー情報に基づいて、前記ロボットの状態と紐付けされた複数の表示パターンから一つを決定し前記表示手段によって表示する「オブジェクト状態決定処理」を実行する、ことを特徴とする映像表示端末動作プログラム。
【請求項１５】
映像表示端末とロボットからなる映像表示端末連携型ロボットシステムであって、
前記映像表示端末は、
オブジェクトを表示する表示手段と、
前記表示手段に対する入力を検知する入力検知手段と、
前記入力検知手段によって検知した前記オブジェクトに対する入力に基づいて、複数の行動情報を前記ロボットに送信する送信手段と、
を備え、
前記ロボットは、
ユーザーに関する情報を記憶する記憶手段と、
複数の行動が可能な可動部と、
前記送信手段から前記複数の行動情報を受信する受信手段と、
前記記憶手段に記憶された前記ユーザーに関する情報に基づいて、前記受信手段が受信した前記複数の行動情報のうち一の行動をするように前記可動部を制御する制御手段と、
を備える、
ことを特徴とする映像表示端末連携型ロボットシステム。
【請求項１６】
前記ロボットは、
センシング手段と、
前記受信手段が受信した前記複数の行動情報のうち一の行動をするように前記可動部を制御した後に前記センシング手段が得たセンシング情報を前記映像表示端末に送信する送信手段と、
をさらに備える、
ことを特徴とする請求項１５に記載の映像表示端末連携型ロボットシステム。

【図１】