ロボット制御システム、ロボット、プログラム及び情報記憶媒体
【課題】ユーザの行動や状況を反映したロボット制御を実現できるロボット制御システム、ロボット、プログラム及び情報記憶媒体の提供。
【解決手段】ロボット制御システムは、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、取得されたユーザ情報に基づいてロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部を含む。提示情報決定部は、取得された同じユーザ情報に対して第１、第２のロボットが異なる提示情報を提示するようにユーザに対して提示する提示情報の決定処理を行う。
【解決手段】ロボット制御システムは、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、取得されたユーザ情報に基づいてロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部を含む。提示情報決定部は、取得された同じユーザ情報に対して第１、第２のロボットが異なる提示情報を提示するようにユーザに対して提示する提示情報の決定処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット制御システム、ロボット、プログラム及び情報記憶媒体に関係する。
【背景技術】
【０００２】
従来より、ユーザ（人間）の音声を認識し、音声の認識結果に基づいて、ユーザとの会話を行うロボットの制御システムが知られている（例えば、特許文献１。）。
【０００３】
しかしながら、これまでのロボット制御システムでは、１人のユーザに対して１台のロボットが対峙して会話することが想定されていた。このため、音声の認識処理や会話処理のために複雑なアルゴリズムが必要になってしまい、ユーザとの間のスムーズな会話を実現することが、現実的には難しかった。
【０００４】
またこのようにユーザとロボットが１対１で対峙すると、ユーザがロボットとの会話に閉塞感を感じてしまい、直ぐに飽きられてしまうという問題もあった。
【０００５】
また、これまでのロボット制御システムでは、ユーザがその日に行った行動や、ユーザの過去や現在の状況を反映したロボット制御は行われていなかった。従って、ロボットが、ユーザの心境や状況に反した動作を行ってしまうという問題があった。
【０００６】
【特許文献１】特開２００３−６６９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、ユーザの行動や状況を反映したロボット制御を実現できるロボット制御システム、ロボット、プログラム及び情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、ロボットを制御するためのロボット制御システムであって、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含み、前記提示情報決定部は、取得された同じ前記ユーザ情報に対して第１、第２のロボットが異なる提示情報を提示するように、ユーザに対して提示する提示情報の決定処理を行うロボット制御システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００９】
本発明によれば、行動センサ、状態センサ及び環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報が取得される。そして取得されたユーザ情報に基づいて、ロボットがユーザに提示する提示情報の決定処理が行われ、提示情報をロボットに提示させるための制御が行われる。そして本発明によれば、取得された同じユーザ情報に対して、第１、第２のロボットが異なる提示情報を提示するように、提示情報の決定処理が行われる。このようにユーザ情報に基づいて提示情報を決定すれば、ユーザは、第１、第２のロボットの提示情報に基づいて、ユーザの過去又は現在についての行動、状態又は環境等を間接的に知ることができる。また同じユーザ情報に対して第１、第２のロボットが異なる提示情報を提示すれば、第１、第２のロボットが提示する提示情報により、自身に関する気付きを、直接的ではなく間接的にユーザに与えることが可能になる。
【００１０】
また本発明では、前記第１のロボットはマスタ側に設定され、前記第２のロボットはスレーブ側に設定され、マスタ側の前記第１のロボットに設けられた前記提示情報決定部が、スレーブ側の前記第２のロボットに対して、ユーザへの提示情報の提示を指示してもよい。
【００１１】
このようにすれば、複雑な提示情報の解析処理を行わなくても、第１、第２のロボットによる提示情報の提示を、誤動作の少ない安定した制御の下で実現できる。
【００１２】
また本発明では、提示情報の提示を指示する指示情報を、マスタ側の前記第１のロボットからスレーブ側の前記第２のロボットに対して通信する通信部を含んでもよい。
【００１３】
このようにすれば、提示情報そのものではなくて、その指示情報を通信するだけで済むため、通信データ量の低減や、処理の簡素化を図れる。
【００１４】
また本発明では、前記ユーザ情報取得部は、前記ユーザ情報として、ユーザの行動履歴、ユーザの状態履歴及びユーザの環境履歴の少なくとも１つであるユーザ履歴情報を取得し、前記提示情報決定部は、取得された前記ユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行ってもよい。
【００１５】
このようにすれば、ユーザの過去の行動履歴、状態履歴又は環境履歴が反映された提示情報を、第１、第２のロボットにより提示できるようになり、自身の過去の行動履歴、状態履歴又は環境履歴に関する気付きをユーザに間接的に与えることができる。
【００１６】
また本発明では、ロボットの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定部を含み、前記提示情報決定部は、前記利用可能イベント発生前の第１の期間において取得された第１のユーザ履歴情報と、前記利用可能イベント発生後の第２の期間において取得された第２のユーザ履歴情報とに基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行ってもよい。
【００１７】
このようにすれば第１の期間でのユーザの行動等と第２の期間でのユーザの行動等との両方を加味した提示情報をユーザに提示できるようになる。
【００１８】
また本発明では、前記提示情報決定部は、提示情報の前記決定処理における前記第１のユーザ履歴情報の重み付けと前記第２のユーザ履歴情報の重み付けとを、前記第２の期間において変化させてもよい。
【００１９】
このようにすれば、第２の期間において提示される情報を徐々に変化させることが可能になる。
【００２０】
また本発明では、前記提示情報決定部は、前記利用可能イベント発生時には、前記決定処理における前記第１のユーザ履歴情報の重み付けを大きくし、前記第２のユーザ履歴情報の重み付けを小さくし、その後、前記第１のユーザ履歴情報の重み付けを小さくし、前記第２のユーザ履歴情報の重み付けを大きくしてもよい。
【００２１】
このようにすれば、ユーザの行動、状況等に応じたタイムリーな情報を提示できるようになる。
【００２２】
また本発明では、前記ユーザ履歴情報は、ユーザのウェアラブルセンサからのセンサ情報により更新することで得られる情報であってもよい。
【００２３】
このようにすれば、ウェアラブルセンサからのセンサ情報により行動履歴、状態履歴又は環境履歴を更新し、更新されたこれらの履歴が反映された提示情報を、第１、第２のロボットにより提示できるようになる。
【００２４】
また本発明では、前記提示情報決定部は、ロボットによる提示情報の提示に対するユーザの反応に基づいて、ロボットがユーザに対して次に提示する提示情報の決定処理を行ってもよい。
【００２５】
このようにすれば、提示情報に対するユーザの反応に基づいて、次の提示情報が変化するようになり、第１、第２のロボットによる提示情報の提示が単調になってしまう事態を防止できる。
【００２６】
また本発明では、ユーザ特性情報を記憶するユーザ特性情報記憶部と、ロボットによる提示情報の提示に対するユーザの反応に基づいて、前記ユーザ特性情報を更新するユーザ特性情報更新部を含んでもよい。
【００２７】
このようにすれば、提示情報に対するユーザの反応を、ユーザ特性情報に反映させて更新することが可能になる。
【００２８】
また本発明では、ロボットのセンシング面における接触状態を判定する接触状態判定部を含み、前記提示情報決定部は、ロボットによる提示情報の提示に対するユーザの反応として、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、前記接触状態判定部での判定結果に基づき判断して、ユーザに対して次に提示する提示情報の決定処理を行ってもよい。
【００２９】
このようにすれば、ロボットを撫でる動作や叩く動作などのユーザの反応を、簡素な判定処理で判断できるようになる。
【００３０】
また本発明では、前記接触状態判定部は、前記センシング面よりも内側に設けられたマイクからの出力信号に対して演算処理を行うことで得られた出力データに基づいて、前記センシング面における接触状態を判定してもよい。
【００３１】
このようにすれば、マイクを利用するだけで、ロボットを撫でる動作や叩く動作などのユーザの反応を検出できるようになる。
【００３２】
また本発明では、前記出力データは、信号強度であり、前記接触状態判定部は、前記信号強度と、所定のしきい値との比較処理を行うことで、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定してもよい。
【００３３】
このようにすれば、信号強度としきい値を比較するという簡素な処理で、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定できる。
【００３４】
また本発明では、複数の会話フレーズにより構成されるシナリオデータを、前記提示情報として記憶するシナリオデータ記憶部を含み、前記提示情報決定部は、前記シナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定し、前記ロボット制御部は、決定された会話フレーズをロボットに発話させるための制御を行ってもよい。
【００３５】
このようにすれば、第１、第２のロボットの会話フレーズの発話を、シナリオデータを利用して簡素な制御処理で実現できる。
【００３６】
また本発明では、前記シナリオデータ記憶部は、複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶し、前記提示情報決定部は、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定してもよい。
【００３７】
このようにすれば、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次の会話フレーズが変化するようになり、第１、第２のロボットによる会話が単調になってしまう事態を防止できる。
【００３８】
また本発明では、前記提示情報決定部は、第１のシナリオデータに基づきロボットが発話した会話フレーズに対するユーザの反応が所与の反応であった場合には、前記第１のシナリオデータとは異なる第２のシナリオデータを選択し、次にロボットに発話させる会話フレーズを前記第２のシナリオデータに基づき決定してもよい。
【００３９】
このようにすれば、ユーザの反応に応じて、シナリオが切り替わるようになり、ユーザの好み等に則したシナリオデータに基づく第１、第２のロボットの会話を実現できる。
【００４０】
また本発明では、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、前記第１、第２のロボットのいずれに対して次の会話フレーズの発話権を付与するかを制御する発話権制御部を含んでもよい。
【００４１】
このようにすれば、ユーザの反応に応じて発話権の付与が切り替わるようになるため、会話が単調になってしまう事態を防止できる。
【００４２】
また本発明では、前記発話権制御部は、前記第１、第２のロボットのいずれか一方のロボットが発話した会話フレーズに対してユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定してもよい。
【００４３】
このようにすれば、例えばユーザが肯定的な反応をしたロボットに対して、優先的に発話権を付与するなどの制御が可能になる。
【００４４】
また本発明では、複数のシナリオデータの中から前記ユーザ情報に基づき選択されたシナリオデータを取得するシナリオデータ取得部を含んでもよい。
【００４５】
このようにすれば、ユーザ情報に応じたシナリオデータの取得が可能になる。
【００４６】
また本発明では、前記シナリオデータ取得部は、前記ユーザ情報に基づき選択されたシナリオデータをネットワークを介してダウンロードし、前記提示情報決定部は、ネットワークを介してダウンロードされたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定してもよい。
【００４７】
このようにすれば、全てのシナリオデータをシナリオデータ記憶部に記憶しておかなくても済むため、記憶容量の節約を図れる。
【００４８】
また本発明では、前記シナリオデータ取得部は、現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択されたシナリオデータを取得し、前記提示情報決定部は、現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択されたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定してもよい。
【００４９】
このようにすれば、リアルタイムなユーザ情報に応じた第１、第２のロボット間の会話を実現できる。
【００５０】
また本発明では、前記シナリオデータ取得部は、ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づき選択されたシナリオデータを取得し、前記提示情報決定部は、ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づき選択されたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定してもよい。
【００５１】
このようにすれば、過去におけるユーザの行動履歴情報又は状態履歴情報に応じた第１、第２のロボット間の会話を実現できる。
【００５２】
また本発明では、ユーザ特性情報を記憶するユーザ特性情報記憶部と、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、前記ユーザ特性情報を更新するユーザ特性情報更新部を含み、前記シナリオデータ取得部は、前記ユーザ特性情報に基づき選択されたシナリオデータを取得してもよい。
【００５３】
このようにすれば、ロボットの会話フレーズに対するユーザの反応を、ユーザ特性情報に反映させて更新することが可能になる。
【００５４】
また本発明は、上記のいずれかに記載のロボット制御システムと、前記ロボット制御システムの制御対象であるロボット動作機構とを含むロボットに関係する。
【発明を実施するための最良の形態】
【００５５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５６】
１．ユーザ情報
【００５７】
いわゆるユビキタスサービスにおいて、現在目指している１つ方向として、何時でもどこでも必要な情報をユーザに提供するという利便性提供型のサービスが提案されている。これは、外部からユーザに対して一方的に情報を提供するサービスである。
【００５８】
しかしながら、人が生き生きと充実した生活を送るためには、このように外部からユーザに一方的に情報を提供する利便性提供型サービスだけでは不十分であり、ユーザの内面に働きかけることによりユーザに気付き（インスパイヤ）を与え、その結果、自己の成長を促すインスパイヤ型ユビキタスサービスが望まれる。
【００５９】
本実施形態では、このようなインスパイヤ型ユビキタスサービスを、ロボットがユーザに提示する情報を利用して実現するために、ユーザの行動、状態、環境を計測する行動センサ、状態センサ、環境センサからのセンサ情報によりユーザ情報を取得する。そして取得されたユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報（例えば会話）を決定し、決定された提示情報をロボットに提供させるロボット制御を行う。そこで、まず、このユーザ情報（ユーザの行動、状態及び環境の少なくとも１つについての情報）の取得手法について説明する。
【００６０】
図１においてユーザ（使用者）は、携帯型電子機器１００（モバイルゲートウェイ）を所持している。またモバイル制御対象機器としてウェアラブルディスプレイ１４０（モバイルディスプレイ）を頭部の一方の眼の近傍に装着している。更にウェアラブルセンサ（モバイルセンサ）として種々のセンサを身体に身につけている。具体的には、屋内外センサ５１０、周囲温度センサ５１１、周辺湿度センサ５１２、周辺光度センサ５１３、腕装着型の運動計測センサ５２０、脈拍（心拍数）センサ５２１、体温センサ５２２、抹消皮膚温度センサ５２３、発汗センサ５２４、足圧力センサ５３０、発話・咀嚼センサ５４０、携帯型電子機器１００に設けられるＧＰＳ（Global Position System）センサ５５０、ウェアラブルディスプレイ１４０に設けられる顔色センサ５６０や瞳孔の大きさセンサ５６１などを装着している。これらの携帯型電子機器１００、ウェアラブルディスプレイ１４０などのモバイル制御対象機器、ウェアラブルセンサによりモバイルサブシステムが構成される。
【００６１】
図１では、このようなユーザのモバイルサブシステムのセンサからのセンサ情報により更新されるユーザ情報（狭義にはユーザ履歴情報）を取得し、取得されたユーザ情報に基づいてロボット１の制御を行う。
【００６２】
携帯型電子機器１００（モバイルゲートウェイ）は、ＰＤＡ（Personal Digital Assistant）、ノート型ＰＣなどの携帯情報端末であり、例えばプロセッサ（ＣＰＵ）、メモリ、操作パネル、通信装置、或いはディスプレイ（サブディスプレイ）などを備える。この携帯型電子機器１００は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器（ウェアラブルディスプレイ等）の制御（表示制御等）を行ったり外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有することができる。なお携帯型電子機器１００は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【００６３】
ウェアラブルディスプレイ１４０は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。なおユーザへの情報提示は、ヘッドフォン、バイブレータなどを用いて行ってもよい。またモバイル制御対象機器としては、ウェアラブルディスプレイ１４０以外にも、例えば腕時計、携帯電話、或いはポータブルオーディオなどの種々の機器を想定できる。
【００６４】
屋内外センサ５１０は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ５１０は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。
【００６５】
周囲温度センサ５１１は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。周辺湿度センサ５１２は、例えば湿度によって電気抵抗が変化することを利用して周囲の湿度を計測する。周辺光度センサ５１３は、例えば光電素子を用いて周囲の光度を計測する。
【００６６】
腕装着型の運動計測センサ５２０は、加速度センサや角加速度センサでユーザの腕の動きを計測する。この運動計測センサ５２０と足圧力センサ５３０を用いることでユーザの日常動作、歩行状態を更に正確に計測できる。脈拍（心拍数）センサ５２１は、手首或いは指又は耳に装着し、例えば拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。体温センサ５２２、抹消皮膚温度センサ５２３は、サーミスタ、放射温度計、熱電対などを用いてユーザの体温、抹消皮膚温度を計測する。発汗センサ５２４は、例えば皮膚の表面抵抗の変化により皮膚の発汗を計測する。足圧力センサ５３０は、靴にかかる足裏の圧力分布を検出して、ユーザの立ち状態、座り状態、歩行状態などを計測、判定する。
【００６７】
発話・咀嚼センサ５４０は、ユーザが発話中（会話中）であるか、咀嚼中（食事中）であるかの可能性を計測するためのイヤホン型のセンサであり、その筺体内に骨伝導マイク、外界音マイクが内蔵されている。骨伝導マイクは、発話・咀嚼時に体内から生じ、体内を伝搬する振動である体内音を検出する。外界音マイクは、発話に応じて体外に伝導する振動である音声や、環境の雑音を含む外界音を検出する。そして骨伝導マイク、外界音マイクにより捕らえられた音の単位時間におけるパワーの比較処理等を行うことで、発話可能性や咀嚼可能性を計測する。
【００６８】
ＧＰＳセンサ５５０はユーザの位置を検知するセンサである。なおＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。顔色センサ５６０は、例えば顔面近くに光センサを配置し、複数の光学的バンドパスフィルタを通過した後の光度を比較して顔色を計測する。瞳孔の大きさセンサ５６１は、例えば瞳孔の近くにカメラを配置し、カメラの信号を解析して瞳孔の大きさを計測する。
【００６９】
なお、図１では携帯型電子機器１００、ウェアラブルセンサ等により構成されるモバイルサブシステムにより、ユーザ情報を取得しているが、複数のサブシステムにより構成される統合システムにより、ユーザ情報を更新し、更新されたユーザ情報に基づいてロボット１の制御を行ってもよい。ここで統合システムは、例えばモバイルサブシステム、ホームサブシステム、車内サブシステム、会社内サブシステム、或いは店内サブシステムなどのサブシステムを含むことができる。
【００７０】
この統合システムでは、ユーザが屋外等にいる場合（モバイル環境の場合）には、モバイルサブシステムのウェアラブルセンサ（モバイルセンサ）からのセンサ情報（センサ２次情報を含む）が取得（収集）され、取得されたセンサ情報に基づいてユーザ情報（ユーザ履歴情報）が更新される。またユーザ情報等に基づいてモバイル制御対象機器の制御が行われる。
【００７１】
一方、ユーザが家にいる場合（ホーム環境の場合）には、ホームサブシステムのホームセンサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ情報が更新される。即ちモバイル環境で更新されたユーザ情報が、ホーム環境に移行した場合にもシームレスに更新される。またユーザ情報等に基づいてホーム制御対象機器（テレビ、オーディオ機器、エアコン等）の制御が行われる。なおホームセンサは、例えば、ホーム内の気温、湿度、光度、騒音、ユーザの会話、食事などを計測する環境センサや、ロボットに内蔵されるロボット搭載センサや、ホームの各室内、ドアなどに設置される人検知センサや、トイレに設置される尿検査用センサなどである。
【００７２】
また、ユーザが車内にいる場合（車内環境の場合）には、車内サブシステムの車内センサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ情報が更新される。即ちモバイル環境やホーム環境で更新されたユーザ情報が、車内環境に移行した場合にもシームレスに更新される。またユーザ情報等に基づいて車内制御対象機器（ナビゲーション装置、カーＡＶ機器、エアコン等）の制御が行われる。なお車内センサは、車の速度、移動距離などを計測する走行状態センサや、ユーザの運転操作、機器操作を計測する操作状態センサや、車内の気温、湿度、光度、ユーザの会話などを計測する環境センサなどである。
【００７３】
２．ロボット
【００７４】
次に図１のロボット１（ロボット２）の構成について説明する。このロボット１は犬を模したペット型のロボットになっており、胴体モジュール６００、頭部モジュール６１０、脚部モジュール６２０、６２２、６２４、６２６、尻尾モジュール６３０などの複数のパーツモジュール（ロボット動作機構）により構成される。
【００７５】
頭部モジュール６１０には、ユーザの撫でる動作や叩く動作を検知するための接触センサや、ユーザの発話を検知するための発話センサ（マイクロホン）や、画像認識のための撮像センサ（カメラ）や、音声や鳴き声を発声するための音出力部（スピーカ）が設けられる。
【００７６】
胴体モジュール６００と頭部モジュール６１０との間や、胴体モジュール６００と尻尾モジュール６３０との間や、脚部モジュール６２０の関節部分等には、関節機構が設けられている。そしてこれらの関節機構は、モータ等のアクチュエータを有しており、これによりロボット１の関節運動や自立走行が実現される。
【００７７】
またロボット１の例えば胴体モジュール６００には１又は複数の回路基板が設けられている。そしてこの回路基板には、各種処理を行うＣＰＵ（プロセッサ）や、各種データ、プログラムを記憶するＲＯＭ、ＲＡＭなどのメモリや、ロボット制御のための制御ＩＣや、音声信号を生成する音声生成モジュールや、外部との無線通信のための無線モジュールなどが実装される。ロボット１に搭載される各種センサからの信号は、この回路基板に集約され、ＣＰＵ等により処理される。また音声生成モジュールにより生成された音声信号は、この回路基板から音出力部（スピーカ）に対して出力される。また回路基板の制御ＩＣからの制御信号は、関節機構に設けられたモータ等のアクチュエータに出力され、これによりロボット１の関節運動や自立走行が制御される。
【００７８】
３．ロボット制御システム
【００７９】
図２に本実施形態のシステム構成例を示す。このシステムは、ユーザが所持する携帯型電子機器１００や、本実施形態のロボット制御システムにより制御されるロボット１、２（第１、第２のロボット）を有する。そして本実施形態のロボット制御システムは、例えばロボット１、２が有する処理部１０、６０により実現される。
【００８０】
携帯型電子機器１００は、処理部１１０、記憶部１２０、制御部１３０、通信部１３８を含む。そして携帯型電子機器１００は、ウェアラブルセンサ１５０からのセンサ情報を取得する。具体的には、ウェアラブルセンサ１５０は、ユーザの行動（歩行、会話、食事、手足の動き、感情表現又は睡眠等）を計測する行動センサ、ユーザの状態（疲労、緊張、空腹、精神状態、身体状態又はユーザに発生したイベント等）を計測する状態センサ、及びユーザの環境（場所、明るさ、気温又は湿度等）を計測する環境センサの少なくとも１つのセンサを含んでおり、携帯型電子機器１００は、これらのセンサからのセンサ情報を取得する。
【００８１】
なおセンサは、センサデバイス自体であってもよいし、センサデバイスの他に、制御部や通信部等を含むセンサ機器であってもよい。またセンサ情報は、センサから直接得られるセンサ１次情報であってもよいし、センサ１次情報を加工処理（情報処理）することで得られるセンサ２次情報であってもよい。
【００８２】
処理部１１０は、図示しない操作部からの操作情報や、ウェアラブルセンサ１５０から取得されたセンサ情報などに基づいて、携帯型電子機器１００の動作等に必要な種々の処理を行う。この処理部１１０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、図示しない情報記憶媒体（光ディスク、ＩＣカード、ＨＤＤ等）に記憶されたプログラムなどにより実現できる。
【００８３】
処理部１１０は、演算部１１２、ユーザ情報更新部１１４を含む。ここで演算部１１２は、ウェアラブルセンサ１５０から取得されたセンサ情報のフィルタリング処理（選択処理）や解析処理のための種々の演算処理を行う。具体的には演算部１１２は、センサ情報の乗算処理や加算処理を行う。例えば下式（１）に示すように、複数のセンサからの複数のセンサ情報のデジタル化された計測値Ｘjと、各係数が係数記憶部（図示せず）に記憶され、２次元行列（マトリックス）で表される係数Ａijとの積和演算を行う。そうして下式（２）に示すように、積和演算の結果を多次元座標としてｎ次元のベクトルＹiとして演算する。なお、ｉはｎ次元空間のｉ座標であり、ｊは各センサに割り当てられる番号である。
【数１】
【数２】
【００８４】
上式（１）（２）のような演算処理を行うことで、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境（ＴＰＯ情報）をセンサ情報に基づき同定するための解析処理などを実現できる。例えば脈拍（心拍数）、発汗量、体温の計測値Ｘに対して乗算される係数Ａを、その他のセンサ情報の計測値に対する係数よりも大きな値に設定すれば、上式（１）（２）で演算された数値Ｙは、ユーザの状態である「興奮度」を表すものになる。また発話量の計測値Ｘに対して乗算される係数と、足圧力の計測値Ｘに対して乗算される係数を適当な値に設定することで、ユーザの行動が、着座して会話しているのか、歩きながら会話しているのか、静かに思考しているのか、睡眠状態なのか等を同定できる。
【００８５】
ユーザ情報更新部１１４はユーザ情報（ユーザ履歴情報）の更新処理を行う。具体的には、ウェアラブルセンサ１５０から取得されたセンサ情報に基づいてユーザ情報を更新する。そして更新されたユーザ情報（ユーザ履歴情報）を記憶部１２０のユーザ情報記憶部１２２（ユーザ履歴情報記憶部）に記憶する。この場合に、ユーザ情報記憶部１２２のメモリ容量を節約するために、新しいユーザ情報を記憶する場合には、古いユーザ情報を削除し、削除により空いた記憶領域に対して新しいユーザ情報を記憶してもよい。或いは、各ユーザ情報に優先度（重み付け係数）を付与し、新しいユーザ情報を記憶する場合には、優先度の低いユーザ情報を削除してもよい。また既に記憶されているユーザ情報と新しいユーザ情報を演算することでユーザ情報を更新（上書き）してもよい。
【００８６】
記憶部１２０は、処理部１１０、通信部１３８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。記憶部１２０が含むユーザ情報記憶部１２２は、ユーザの行動、状態又は環境等の情報（履歴情報）であって、取得されたセンサ情報に基づき更新されるユーザ情報（ユーザ履歴情報）を記憶する。
【００８７】
制御部１３０はウェアラブルディスプレイ１４０の表示制御等を行う。通信部１３８は、無線や有線の通信により、ロボット１の通信部４０やロボット２の通信部９０との間で、ユーザ情報などの情報の転送処理を行う。無線の通信としては、ブルートゥース（Bluetoothは登録商標）や赤外線のような近距離無線や無線ＬＡＮなどが考えられる。有線の通信としてはＵＳＢやＩＥＥＥ１３９４などを利用したものが考えられる。
【００８８】
ロボット１は、処理部１０、記憶部２０、ロボット制御部３０、ロボット動作機構３２、ロボット搭載センサ３４、通信部４０を含む。なおこれらの一部の構成要素を省略した構成にしてもよい。
【００８９】
処理部１０は、ロボット搭載センサ３４からセンサ情報や、取得されたユーザ情報などに基づいて、ロボット１の動作等に必要な種々の処理を行う。この処理部１０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、図示しない情報記憶媒体（光ディスク、ＩＣカード、ＨＤＤ等）に記憶されたプログラムなどにより実現できる。即ち、この情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶され、処理部１０は、この情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。
【００９０】
記憶部２０は、処理部１０、通信部４０などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。この記憶部２０はユーザ情報記憶部２２と提示情報記憶部２６を含む。またユーザ情報記憶部２２はユーザ履歴情報記憶部２３とユーザ特性情報記憶部２４を含む。
【００９１】
ロボット制御部３０は、制御対象であるロボット動作機構３２（アクチュエータ、音出力部、ＬＥＤ等）の制御を行うものであり、その機能は、ロボット制御用のＡＳＩＣや各種プロセッサなどのハードウェアや、プログラムなどにより実現できる。
【００９２】
具体的にはロボット制御部３０は、提示情報をユーザに対してロボットに提示させるための制御を行う。提示情報がロボットの会話（シナリオデータ）である場合には、会話フレーズをロボットに発話させるための制御を行う。例えば会話フレーズを表すデジタルのテキストデータを、公知のＴＴＳ（Text-To-Speech）処理によりアナログの音声信号に変換し、ロボット動作機構３２の音出力部（スピーカ）を介して出力する。また提示情報が、ロボットの感情状態を表す情報である場合には、その感情を表すように、ロボット動作機構３２の各関節機構のアクチュエータを制御したり、ＬＥＤを点灯させるなどの制御を行う。
【００９３】
ロボット搭載センサ３４は、例えば接触センサ、発話センサ（マイクロホン）、或いは撮像センサ（カメラ）などの各種センサである。ロボット１は、このロボット搭載センサ３４からのセンサ情報に基づいて、ユーザに提示した提示情報に対するユーザの反応をモニタできる。
【００９４】
通信部４０は、無線や有線の通信により、携帯型電子機器１００の通信部１３８やロボット２の通信部９０との間で、ユーザ情報などの情報の転送処理を行う。
【００９５】
処理部１０は、ユーザ情報取得部１２、演算部１３、提示情報決定部１４、ユーザ特性情報更新部１５を含む。なおこれらの構成要素の一部を省略する構成としてもよい。
【００９６】
ユーザ情報取得部１２は、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得する。
【００９７】
具体的には、ウェアラブルセンサ１５０からのセンサ情報によりユーザ情報が更新されたユーザが、家に帰宅してロボット１、２に近づいたり、携帯型電子機器１００をクレードルに接続すると、ロボット１、２が起動する。そして携帯型電子機器１００において更新されたユーザ情報（ユーザ履歴情報）が、携帯型電子機器１００のユーザ情報記憶部１２２から、通信部１３８、４０（通信部９０）を介して、ロボット１（ロボット２）のユーザ情報記憶部２２（ユーザ情報記憶部７２）に転送される。そしてユーザ情報取得部１２（ユーザ情報取得部６２）は、このようにして転送されたユーザ情報をユーザ情報記憶部２２から読み出すことで、ユーザ情報を取得する。なおユーザ情報取得部１２が、ユーザ情報記憶部２２を介さずに直接に携帯型電子機器１００からのユーザ情報を取得してもよい。
【００９８】
演算部１３は、取得されたユーザ情報に対する演算処理を行う。具体的には、必要な場合には、ユーザ情報に対する解析処理やフィルタリング処理を行う。例えばユーザ情報が１次センサ情報等である場合には、上式（１）（２）で説明した演算処理を行って、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境（ＴＰＯ情報）をセンサ情報に基づき同定するための解析処理などを行う。
【００９９】
提示情報決定部１４は、取得されたユーザ情報（演算処理後のユーザ情報）に基づいて、ロボットがユーザに対して提示（提供）する提示情報（会話、感情表現、行動表現）の決定処理を行う。具体的には、取得された同じユーザ情報に対してロボット１、２が異なる提示情報（異なる会話フレーズ、異なる感情表現、異なる行動表現）を提示するように、ユーザに対して提示する提示情報の決定処理を行う。例えば、取得されたユーザ情報に対して、ロボット１が、第１の提示情報を提示し、ロボット２が、第１の提示情報とは異なる第２の提示情報を提示するように、提示情報の決定処理を行う。
【０１００】
なおユーザ情報取得部１２が、ユーザ情報として、ユーザの行動履歴、ユーザの状態履歴及びユーザの環境履歴の少なくとも１つであるユーザ履歴情報を取得した場合には、提示情報決定部１４は、取得されたユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う。この場合のユーザ履歴情報は、ユーザのウェアラブルセンサ１５０からのセンサ情報により携帯型電子機器１００等が更新処理を行うことで得られる情報であり、携帯型電子機器１００のユーザ情報記憶部１２２からロボット１（ロボット２）のユーザ履歴情報記憶部２３（ユーザ履歴情報記憶部７３）に転送される。またユーザの行動履歴、状態履歴、環境履歴としては、ユーザの行動（歩行、発話、食事等）、状態（疲労、緊張、空腹、精神状態、肉体状態等）、環境（場所、明るさ、気温等）を日時等に関連づけて記憶した情報（ログ情報）が考えられる。
【０１０１】
また提示情報決定部１４は、ロボットによる提示情報の提示に対するユーザの反応に基づいて、ロボットがユーザに対して次に提示する提示情報の決定処理を行う。具体的には、例えばロボット１がユーザに対して提示情報を提示し、それに対してユーザが反応すると、その反応はロボット搭載センサ３４により検知される。そして提示情報決定部１４は、ロボット搭載センサ３４からのセンサ情報に基づいて、ユーザの反応を判断（推定）し、その反応に基づいて、次に提示する提示情報を決定する。
【０１０２】
ユーザ特性情報更新部１５はユーザ特性情報の更新処理を行う。そして更新されたユーザ特性情報は、記憶部２０のユーザ特性情報記憶部２６（ユーザ特性データベース）に記憶される。具体的にはユーザ特性情報更新部１５は、ロボットによる提示情報の提示に対するユーザの反応に基づいて、ユーザ特性情報（反応履歴情報）を更新する。
【０１０３】
ここで、ユーザ特性情報は、ユーザの趣味や嗜好を表す情報であり、ユーザの感性モデルデータである。例えば本実施形態ではユーザの趣味（例えば好きなスポーツ、チーム）や嗜好（例えば好きな色、音楽）などを調べるための提示情報をロボットに提示させる。そしてその提示情報に対するユーザの反応に基づいて、ユーザの趣味や嗜好の傾向を学習して、ユーザの感性モデルのデータベースであるユーザ特性情報を構築する。
【０１０４】
なお、ロボット２の構成はロボット１と同様の構成であるため、ここでは説明を省略する。
【０１０５】
４．動作
【０１０６】
次に本実施形態の動作について説明する。一般的に、ユーザとロボットとの会話（対話）は、１人のユーザと１台のロボットというように、１対１の対峙関係で実現される。
【０１０７】
これに対して本実施形態では図３（Ａ）に示すように、１人のユーザに対して２台のロボット１、２（広義には複数台のロボット）が用意され、１対２（広義には１対Ｎ）の対峙関係で会話が実現される。そしてユーザは、ロボット１、２と直接会話するのではなく、ロボット１、２の間で行われる会話を傍観しならが聞くという形態をとる。
【０１０８】
この場合に、ロボット１、２の間での会話によりユーザに提供される情報は、ウェアラブルセンサ１５０などが有する行動センサ、状態センサ、環境センサからのセンサ情報により取得されたユーザ情報に基づくものになっている。従って、ユーザは、ロボット１、２の間で行われる会話を通して、ユーザの過去又は現在の行動や、ユーザの過去又は現在の状態や、ユーザを取り巻く過去又は現在の環境について間接的に知ることができる。
【０１０９】
このようにすれば、外部からユーザに一方的に情報を提供する利便性提供型サービスではなく、ロボット１、２の間で行われる会話を通して、ユーザの内面に働きかけ、ユーザの行動、状態、環境についての気付き（インスパイヤ）をユーザに与えることで、自己の成長を促すというインスパイヤ型ユビキタスサービスの実現が可能になる。
【０１１０】
例えば図３（Ａ）において、家に帰宅したユーザは、携帯型電子機器１００をクレードル１０１に接続して、充電等を行っている。図３（Ａ）では、このようなクレードル１０１への携帯型電子機器１００の接続により、ロボット１、２の利用可能イベントが発生したと判定し、ロボット１、２を起動し、その利用を可能にする。なおクレードル１０１への接続ではなく、ユーザとロボット１、２との接近を判定して、ロボット１、２を起動してもよい。例えば携帯型電子機器１００とロボット１、２の間の情報転送が無線により行われる場合には、その無線強度を検出することでロボット１、２の利用可能イベントの発生を判定できる。
【０１１１】
このような利用可能イベントが発生すると、ロボット１、２が起動し、その利用が可能になる。この場合に携帯型電子機器１００のユーザ情報記憶部１２２には、モバイル環境において更新されたユーザ情報が記憶されている。図３（Ａ）では、ロボット１、２の利用可能イベントが発生すると、ユーザ情報記憶部１２２に記憶されるユーザ情報を、ロボット１、２のユーザ情報記憶部２２、７２に転送する。このようにすることで、モバイル環境において更新されたユーザ情報に基づいて、ロボット１、２を制御できるようになる。
【０１１２】
例えば図３（Ａ）では、ユーザの帰宅時間がいつもよりも遅かったことが、ユーザ情報に基づき判断される。具体的には、ウェアラブルセンサ１５０のＧＰＳセンサからの場所情報やタイマからの時間情報に基づいて、ユーザの毎日の帰宅時間が計測される。そして過去におけるユーザの帰宅時間の平均と、今回の帰宅時間とが比較され、帰宅時間が遅いと判断された場合には、ユーザの帰宅時間に関する提示情報がロボット１、２により提示される。具体的には、ユーザの帰宅時間に関するシナリオデータが選択され、選択されたシナリオデータにしたがってロボット１、２が会話を開始する。例えば図３（Ａ）では、ロボット１が「今日はご主人様遅かったね！」という会話フレーズを発話し、それに対してロボット２が「最近、遅い日が多いんだよね〜」という会話フレーズを発話する。
【０１１３】
この場合に、「帰宅時間がいつもより遅い」という同じユーザ情報に対して、ロボット１、２が異なる提示情報を提示するように、ユーザに対してロボット１、２が提示する提示情報の決定処理が行われる。具体的には図３（Ｂ）では、ユーザの遅い帰宅時間について、ロボット１はユーザにとって肯定的（ポジティブ）な「きっと、仕事が忙しいんだね！」という会話フレーズを発話する。これに対して、ロボット２はユーザにとって否定的（ネガティブ）な「どうせ、毎日飲み歩いているんじゃない？」という会話フレーズを発話する。
【０１１４】
例えばロボットが、ユーザにとって常に肯定的な会話をしたり、常に否定的な会話をすると、ユーザはロボットとの会話に閉塞感や行き詰まり感を感じるおそれがある。
【０１１５】
これに対して図３（Ｂ）では、ロボット１、２が、互いに異なる対照的な会話フレーズを発話する。しかも、ユーザに対して直接会話するのではなく、ロボット１、２同士で会話を行い、ユーザがそれを見守るという形態をとる。従って、いわゆる利便性提供型サービスではなく、ロボット１、２の間で行われる会話を通してユーザに気付きを与えるというインスパイヤ型ユビキタスサービスの提供が可能になる。
【０１１６】
また図３（Ｂ）では、ユーザは実際には仕事で忙しくて帰宅が遅くなったため、「きっと、仕事が忙しいんだね！」と発話したロボット１の方を撫でている。そして、ロボット１の接触センサ４１０により（或いは後述する接触状態判定手法や発話センサ４１１により）、ロボット１、２による会話フレーズの発話（提示情報の提示）に対するユーザの反応である「撫でる動作」が検知される。
【０１１７】
すると、このような「撫でる動作」というユーザの反応に基づいて、ロボット１、２がユーザに対して次に会話する発話フレーズ（次に提示する提示情報）の決定処理を行う。具体的には図３（Ｃ）に示すように、撫でられた側のロボット１は、自身の意見が肯定されたため、「そ〜れ言った通りじゃない！」と発話し、ロボット２は対照的に「そうか〜。てっきりバーの女の子に夢中なのかと思った」と発話する。そして、その後は、ユーザの忙しい仕事の話題に関するシナリオにより、ロボット１、２の間の会話が続けられる。
【０１１８】
なお、図３（Ｂ）に示すようにユーザが撫でる動作を行うと、その撫でる動作がユーザの反応履歴情報として蓄積され、ユーザ特性情報記憶部２４のデータベースの更新処理が行われる。例えば図３（Ｂ）でのユーザの反応により、ユーザは、毎日飲み歩くことよりも仕事の方を優先するタイプであると判断される。そこで、例えばユーザ特性情報のうちの仕事指向に関するパラメータを上昇させる処理を行い、ユーザの特性情報（感性データベース）の更新処理を行う。そして、次にユーザに対して提供するシナリオデータを選ぶ際には、このユーザ特性情報も考慮し、例えば仕事に関連するシナリオデータを優先して選択するようにする。
【０１１９】
例えばユーザの趣味、嗜好を、ウェアラブルセンサ１５０からのセンサ情報のみに基づいて推定することは難しい。例えばユーザが、趣味よりも仕事の方を優先するのか、或いはユーザはどのような色が好きなのかは、行動センサ等からのセンサ情報だけでは判断することが難しい。従って、このようなユーザの趣味、嗜好については、例えばユーザに対してアンケートにより問い合わせることなどで判断せざるを得なかった。
【０１２０】
この点、図３（Ｂ）では、ロボット１、２が対照的な会話フレーズを発話し、それに対するユーザの反応に基づいて、ユーザ特性情報を更新する。従って、例えばユーザが、仕事指向なのか趣味指向なのか、或いはどのような色が好きなのかなどを、簡単に判断できユーザ特性情報に反映させることが可能になる。
【０１２１】
図４に本実施形態の動作を説明するためのフローチャートを示す。
【０１２２】
まずユーザ情報取得部１２が、行動センサ等からのセンサ情報により得られるユーザ情報を取得する（ステップＳ１）。具体的には携帯型電子機器１００からのユーザ情報がユーザ情報記憶部２２に転送され、この転送されたユーザ情報を読み出す。
【０１２３】
次に、必要であれば、ユーザ情報に基づいてユーザのＴＰＯを推定する（ステップＳ２）。ここで、ＴＰＯ（Time Place Occasion）の情報は、時間情報（年、月、週、日、時間等）、ユーザの場所情報（居場所、位置、距離等）及びユーザの状況情報（精神・肉体状況、ユーザに対して発生したイベント等）の少なくとも１つの情報である。例えばＧＰＳセンサにより得られる緯度・経度情報の意味合いは、ユーザに応じて異なり、その緯度・経度の場所がユーザの自宅であれば、ユーザの居場所は自宅であると推定される。
【０１２４】
次に、ユーザ情報、ＴＰＯに基づいて、ロボット１、２がユーザに提示する提示情報を決定し、ロボット１、２に異なる提示情報を提示させるロボット制御を行う（ステップＳ３、Ｓ４）。具体的には、図３（Ａ）〜図３（Ｃ）で説明したように、ロボット１、２が発話する会話フレーズを決定し、その会話フレーズを発話させるロボット制御を行う。
【０１２５】
次に、ステップＳ４での提示情報の提示に対するユーザの反応をモニタする（ステップＳ５）。例えばユーザがロボット１、２を撫でる動作をしたのか、叩く動作をしたのか、或いは何もしなかったのかを判断する。そして、モニタされたユーザの反応に基づいて、次にロボット１、２が提示する提示情報を決定する（ステップＳ６）。即ち次にロボット１、２が発話する会話フレーズを決定する。そしてユーザの反応に基づいて、ユーザ特性情報（感性データベース）を更新する（ステップＳ７）。
【０１２６】
５．システム構成例
【０１２７】
次に本実施形態の種々のシステム構成例について具体的に説明する。図５は本実施形態の第２のシステム構成例である。図５ではロボット１がマスタ側に設定され、ロボット２がスレーブ側に設定される。そして本実施形態のロボット制御システムは、主にマスタ側のロボット１が有する処理部１０により実現される。
【０１２８】
具体的にはマスタ側のロボット１に設けられたユーザ情報取得部１２がユーザ情報を取得し、マスタ側の提示情報決定部１４が、取得されたユーザ情報に基づいて、ロボット１、２がユーザに対して提示する提示情報の決定処理を行う。例えばマスタ側、スレーブ側のロボット１、２が、各々、第１、第２の提示情報を提示することが決定された場合には、マスタ側のロボット制御部３０は、決定された第１の提示情報をロボット１に提示させるための制御を行う。このようにしてマスタ側のロボット１が制御される。またマスタ側の提示情報決定部１４は、スレーブ側のロボット２に対して、ユーザへの提示情報の提示を指示する。例えばマスタ側、スレーブ側が、各々、第１、第２の提示情報を提示することが決定された場合には、スレーブ側のロボット２に対して、第２の提示情報を提示することを指示する。するとスレーブ側のロボット制御部８０は、決定された第２の提示情報をロボット２に提示させるためのロボット制御を行う。このようにしてスレーブ側のロボット２が制御される。
【０１２９】
この場合に、通信部４０は、提示情報の提示を指示する指示情報を、マスタ側のロボット１からスレーブ側のロボット２に対して、例えば無線等により通信する。そしてスレーブ側の通信部９０がこの指示情報を受信すると、スレーブ側のロボット制御部８０は、この指示情報で指示された提示情報をロボット２に提示させるためのロボット制御を行う。
【０１３０】
ここで提示情報の指示情報は、例えば提示情報の識別コードなどである。提示情報がシナリオの会話フレーズである場合には、この指示情報は、シナリオにおける会話フレーズのデータコードになる。
【０１３１】
例えばロボット１、２が掛け合いの会話を行う場合に、ロボット１の発話した会話フレーズをロボット２が音声認識し、その音声認識の結果に基づいてロボット２に会話フレーズを発話させる手法が考えられる。
【０１３２】
しかしながら、この手法によると複雑な音声認識処理や解析処理が必要になり、ロボットの高コスト化、処理の複雑化、誤動作の発生などを招く。
【０１３３】
この点、図５では、マスタ側のロボット１の制御の下で、ロボット１、２の掛け合いの会話が実現される。即ち、ユーザの目からは、ロボット１、２がお互いの言葉を認識し合いながら会話しているように見えるが、実際には、全ての会話がマスタ側のロボット１の制御の下で行われる。またスレーブ側のロボット２は、マスタ側のロボット１から通信される指示情報に基づいて、自身が提示する情報を決定するため、音声認識処理を不要にできる。従って、複雑な音声認識処理等を行わなくても、ロボット１、２の間での掛け合いの会話を、誤動作の少ない安定した制御の下で実現できる。
【０１３４】
図６に本実施形態の第３のシステム構成例を示す。図６では、ローカルサーバであるホームサーバ２００が設けられている。このホームサーバ２００は、ホームサブシステムの制御対象機器の制御のための処理を行ったり、外部との通信処理などを行う。ロボット１、２はこのホームサーバ２００の制御の下で動作する。
【０１３５】
そして図６のシステムでは、携帯型電子機器１００とホームサーバ２００とは例えば無線ＬＡＮやクレードル等で通信接続され、ホームサーバ２００とロボット１、２とは例えば無線ＬＡＮ等で通信接続される。そして本実施形態のロボット制御システムは、主にホームサーバ２００の処理部２１０により実現される。なおロボット制御システムの処理を、ホームサーバ２００とロボット１、２との分散処理により実現してもよい。
【０１３６】
携帯型電子機器１００を所持したユーザが家に近づくと、無線ＬＡＮ等により携帯型電子機器１００とホームサーバ２００との間の通信が可能になる。或いは携帯型電子機器１００をクレードルに置くことで、通信が可能になる。
【０１３７】
そして通信経路が確立されると、携帯型電子機器１００からホームサーバ２００のユーザ情報記憶部２２２にユーザ情報が転送される。これにより、ホームサーバ２００のユーザ情報取得部２１２がユーザ情報を取得する。そして演算部２１３が必要な演算処理を行い、提示情報決定部２１４が、ロボット１、２がユーザに対して提示する提示情報を決定する。そして、決定された提示情報又は提示情報の指示情報（例えば会話フレーズの発話指示情報）が、ホームサーバ２００の通信部２３８からロボット１、２の通信部４０、９０に送信される。そしてロボット１、２のロボット制御部３０、８０は、受信した提示情報又は受信した指示情報により指示される提示情報を、ユーザに提示するためのロボット制御を行う。またユーザの反応に基づくユーザ特性情報の更新も、ホームサーバ２００のユーザ特性情報更新部２１５が行う。
【０１３８】
図６の構成によれば、例えばユーザ情報や提示情報（シナリオデータ）のデータサイズが大きい場合に、ロボット１、２にユーザ情報や提示情報の記憶部を設けなくても済むため、ロボット１、２の低コスト化やコンパクト化を図れる。またユーザ情報や提示情報の転送や演算処理を、ホームサーバ２００に一元化して処理、管理できるため、よりインテリジェントなロボット制御が可能になる。
【０１３９】
また図６のシステムによれば、ロボット１、２の利用可能イベントが発生する前に、携帯型電子機器１００からのユーザ情報を、ホームサーバ２００のユーザ情報記憶部２２２に予め転送しておくことができる。例えばユーザが家に帰ってロボット１、２に近づく前に（具体的には、ユーザが身につけたウェアラブルセンサ１５０の１つであるＧＰＳセンサからの情報が、ユーザが最寄り駅に着いたことを示したり、ホームセンサの１つであるドアの開閉センサからの情報が、ユーザが玄関のドアを開けたことを示したりしたタイミングなど）、モバイル環境で更新されたユーザ情報をホームサーバ２００のユーザ情報記憶部２２２に予め転送して書き込んでおく。そしてユーザがロボット１、２に近づき、ロボット１、２の利用可能イベントが発生すると、ユーザ情報記憶部２２２に予め転送されたユーザ情報を用いた、ロボット１、２の制御動作を開始させる。即ちロボット１、２を起動し、例えば図３（Ａ）〜図３（Ｃ）に示すような会話を行うようにロボット１、２を制御する。このようにすれば、ロボット１、２が起動した後に、ユーザ情報に基づく会話を直ぐに開始できるようになり、制御を効率化できる。
【０１４０】
図７に本実施形態の第４のシステム構成例を示す。図７では、メインサーバである外部サーバ３００が設けられている。この外部サーバ３００は、携帯型電子機器１００との間やホームサーバ２００との間での通信処理を行ったり、各種の管理制御を行う。
【０１４１】
そして図７のシステムでは、携帯型電子機器１００と外部サーバ３００とはＰＨＳ等の無線ＷＡＮで通信接続され、外部サーバ３００とホームサーバ２００とはＡＤＳＬ等の有線ＷＡＮで通信接続され、ホームサーバ２００とロボット１、２とは無線ＬＡＮ等で通信接続される。そして本実施形態のロボット制御システムは、主に、ホームサーバ２００の処理部２１０や外部サーバ３００の図示しない処理部により実現される。なおロボット制御システムの処理を、ホームサーバ２００、外部サーバ３００、ロボット１、２の分散処理により実現してもよい。
【０１４２】
携帯型電子機器１００、ホームサーバ２００等の各ユニットは、適宜、外部サーバ３００と通信して、ユーザ情報の転送処理を行う。また、ＰＨＳの位置登録情報、ＧＰＳセンサ、マイク等を利用して、ユーザが家に近づいたか否かを判断し、近づいた場合には、外部サーバ３００の図示しないユーザ情報記憶部に記憶されたユーザ情報を、ホームサーバ２００のユーザ情報記憶部２２２にダウンロードして、ロボット１、２による提示情報の提示制御を開始させる。なお、後述するシナリオデータ等の提示情報も、外部サーバ３００からホームサーバ２００の提示情報記憶部２２６にダウンロードできる。
【０１４３】
図７のシステムによれば、ユーザ情報や提示情報を、外部サーバ３００において一元的に管理できるようになる。
【０１４４】
６．ユーザ履歴情報
【０１４５】
次に、ユーザ情報の１つであるユーザ履歴情報の更新処理やユーザ履歴情報の具体例について説明する。なおユーザ情報は、センサ情報によりリアルタイムに得られるユーザ情報と、このリアルタイムに得られるユーザ情報の履歴であるユーザ履歴情報などを含むことができる。
【０１４６】
図８は、ユーザ履歴情報の更新処理の一例を示すフローチャートである。
【０１４７】
まず、ウェアラブルセンサ１５０等からのセンサ情報を取得する（ステップＳ２１）。次に、取得されたセンサ情報のフィルタリングや解析等の演算処理を行う（ステップＳ２２）。そして演算結果に基づきユーザの行動、状態、環境等（ＴＰＯ、情感）を推定する（ステップＳ２３）。そして推定されたユーザの行動、状態等のユーザ履歴を日時（年、月、週、日、時間）等に関連づけてユーザ履歴情報記憶部２３（２２３）に記憶して、ユーザ履歴情報を更新する（ステップＳ２４）。
【０１４８】
図９にユーザ履歴情報の具体例が模式的に示される。図９のユーザ履歴情報は、ユーザの行動等の履歴が時間帯、時刻等に関連づけられたデータ構造になっている。例えば８時にユーザは自宅を出発し、８時〜８時２０分の時間帯では自宅から駅まで歩行し、８時２０分に自宅の最寄りのＡ駅に到着している。そして８時２０分〜８時４５分の時間帯では電車に乗車し、８時４５分に会社の最寄りのＢ駅で下車し、９時に会社に到着し、業務を開始している。１０時〜１１時の時間帯では社内のメンバとミーティングを行い、１２時〜１３時の時間帯では昼食をとっている。
【０１４９】
このように図９では、センサからの情報等により推定されるユーザの行動等の履歴を、時間帯や時刻等に関連づけることで、ユーザ履歴情報が構築されている。
【０１５０】
また図９では、時間帯や時刻に対して、センサ等により計測されるユーザの発話量、食事量、脈拍、発汗量等の計測値も関連づけられている。例えば８時〜８時２０分の時間帯では、ユーザは自宅からＡ駅に歩いているが、この時の歩行量等がセンサにより計測されて、８時〜８時２０分の時間帯に関連づけられる。この場合に、例えば歩行速度、発汗量等の歩行量以外のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの運動量等を把握することが可能になる。
【０１５１】
１０時〜１１時の時間帯では、ユーザは同僚とのミーティングを行っているが、この時の発話量等がセンサにより計測されて、１０時〜１１時の時間帯に関連づけられる。この場合に、例えば音声状態、脈拍等のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの会話量や緊張度等を把握することが可能になる。
【０１５２】
２０時４５分〜２１時４５分や２２時〜２３時の時間帯では、ユーザはゲームをプレイしたり、テレビを鑑賞しているが、この時の脈拍、発汗量等がこれらの時間帯に関連づけられる。こうすることで、これらの時間帯でのユーザの興奮度等を把握することが可能になる。
【０１５３】
２３時３０分〜の時間帯では、ユーザは睡眠をしているが、この時のユーザの体温の変化がこの時間帯に関連づけられる。こうすることで、睡眠時におけるユーザの健康状態を把握することが可能になる。
【０１５４】
なお、ユーザ履歴情報は図９のような形態に限定されず、例えばユーザの行動等の履歴を日時等に関連づけないでユーザ履歴情報を構築する変形実施も可能である。
【０１５５】
例えば図１０（Ａ）では、センサ情報の計測値である発話量、音声状態、脈拍、発汗量等に基づいて、所定の演算式にしたがってユーザの精神状態パラメータが演算される。例えば発話量が多ければ、精神状態パラメータも高くなり、ユーザの精神状態が良好であることが示される。またセンサ情報の計測値である歩行量、歩行速度、体温等に基づいて、所定の演算式にしたがってユーザの身体状態（健康状態）のパラメータ（運動量パラメータ）が演算される。例えば歩行量が多ければ、身体状態パラメータも高くなり、ユーザの身体状態が良好であることが示される。
【０１５６】
また図１０（Ｂ）に示すように、ユーザの精神状態、身体状態のパラメータ（広義には状態パラメータ）は、棒グラフ等を利用して可視化することで、ウェアラブルディスプレイやホームディスプレイに表示できる。またモバイル環境で更新された精神状態、身体状態のパラメータなどに基づいて、ホーム環境のロボットを制御して、ユーザを労ったり、励ましたり、あるいはユーザに助言する動作をロボットに行わせることが可能になる。
【０１５７】
以上のように本実施形態では、ユーザ情報として、ユーザの行動履歴、状態履歴、及び環境履歴の少なくとも１つであるユーザ履歴情報が取得される。そして取得されたユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理が行われるようになる。
【０１５８】
７．シナリオに基づくロボットの会話
【０１５９】
次に、ユーザへの提示情報がシナリオに基づくロボット同士の会話である場合を例にとり、その具体例について詳細に説明する。
【０１６０】
７．１ 構成
【０１６１】
図１１に本実施形態の更に詳細なシステム構成例を示す。図１１は図２等に比べて、処理部１０が更にイベント判定部１１、接触状態判定部１６、発話権制御部１７、シナリオデータ取得部１８、ユーザ情報更新部１９を含んでいる。また記憶部２０がシナリオデータ記憶部２７を含んでいる。
【０１６２】
イベント判定部１１は各種のイベントの判定処理を行う。具体的には、モバイルサブシステムや車内サブシステムでユーザ情報を更新していたユーザが、新たにホームサブシステムのロボットの利用が可能になったことを示すロボットの利用可能イベントの発生を判定する。例えばイベント判定手段１１は、ユーザがロボットの場所（家）に接近（移動）した場合に、ロボットの利用可能イベントが発生したと判定する。或いは情報転送が無線により行われる場合には、その無線強度を検出することで利用可能イベントの発生を判定してもよい。或いはクレードルに携帯型電子機器が接続された場合に、利用可能イベントが発生したと判定してもよい。そして、このようなロボットの利用可能イベントが発生した場合には、ロボット１、２を起動し、ユーザ情報記憶部２２等にユーザ情報がダウンロードされる。
【０１６３】
シナリオデータ記憶部２７は、複数の会話フレーズにより構成されるシナリオデータを、提示情報として記憶する。そして提示情報決定部１４は、このシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定する。するとロボット制御部３０は、決定された会話フレーズをロボットに発話させるための制御を行う。
【０１６４】
具体的にはシナリオデータ記憶部２７は、複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶する。そして提示情報決定部１４は、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定する。更に具体的には提示情報決定部１４は、第１のシナリオデータ（例えば野球の話題）に基づきロボットが発話した会話フレーズに対するユーザの反応が所与の反応（例えば無反応）であった場合には、第１のシナリオデータとは異なる第２のシナリオデータ（例えば野球以外の話題）を選択し、次にロボットに発話させる会話フレーズを第２のシナリオデータに基づき決定する。
【０１６５】
接触状態判定部１６は、後述するように、ロボットのセンシング面における接触状態を判定する。そして提示情報決定部１４は、ロボットによる会話フレーズの発話（提示情報の提示）に対するユーザの反応として、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、接触状態判定部１６での判定結果に基づき判断する。そして、ユーザに対して次に発話する会話フレーズ（次に提示する提示情報）を決定する。
【０１６６】
この場合に接触状態判定部１６は、センシング面よりも内側（ロボットの内側）に設けられたマイク（音センサ）からの出力信号（センサ信号）に対して演算処理を行うことで得られた出力データに基づいて、センシング面における接触状態を判定する。この場合の出力データは、例えば信号強度（信号強度データ）であり、接触状態判定部１６は、出力データで信号強度と、所定のしきい値との比較処理を行うことで、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定できる。
【０１６７】
発話権制御部１７は、ロボットが発話した会話フレーズに対するユーザの反応（例えば撫でる、叩く、無言）に基づいて、ロボット１、２のいずれに対して次の会話フレーズの発話権（発話の主導権）を付与するかを制御する。具体的には、ロボット１、２のいずれか一方のロボットが発話した会話フレーズに対してユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定する。例えばユーザが肯定的な反応をした方のロボットに発話権を付与したり、ユーザが否定的な反応をしなかった方のロボットに発話権を付与する。この発話権の制御処理は、ロボット１、２のいずれに発話権を付与するかを示す発話権フラグ等を利用して実現できる。
【０１６８】
例えば図１２（Ａ）では、ロボット１の「きっと仕事が忙しいんだね！」という発話フレーズに対して、ユーザは頭を撫でるという肯定的な反応をしている。従って、この場合には図１２（Ｂ）に示すように、頭を撫でられた方（肯定的な反応をされた方）のロボット１に対して次の発話権を付与する。これにより発話権を付与されたロボット１は「そ〜れ、言った通りじゃない！」という会話フレーズを発話する。即ちロボット１、２は例えば交互に発話するのが原則であり、この原則に従えば図１２（Ｂ）ではロボット２の方に次の発話権が付与されるはずであるが、図１２（Ｂ）では、ユーザにより頭が撫でられたロボット１の方に次の発話権を付与している。
【０１６９】
また図１３（Ａ）では、ロボット１の「どうせ、毎日飲み歩いているんじゃない?」という発話フレーズに対して、ユーザは頭を叩くという否定的な反応をしている。従って、この場合には図１３（Ｂ）に示すように、頭を叩かれていない方（否定的な反応をされていない方）のロボット２に対して、原則通り次の発話権を付与する。これにより発話権を付与されたロボット２は「そ〜れ、言った通りじゃない！」という会話フレーズを発話する。
【０１７０】
例えばロボット１、２が常に交互に順番に会話するだけでは、ロボット１、２の掛け合いの会話がユーザにとって単調なものになってしまい、ユーザに直ぐに飽きられてしまう。
【０１７１】
これに対して図１２（Ａ）〜図１３（Ｂ）の発話権制御手法を用いれば、ユーザの反応に応じて発話権の付与が様々に切り替わるため、会話が単調になるのを防止でき、ユーザが飽きにくいロボット間の会話を実現できる。
【０１７２】
シナリオデータ取得部１８は、複数のシナリオデータの中からユーザ情報に基づき選択されたシナリオデータを取得する。
【０１７３】
具体的には、例えばＮ個のシナリオデータの中から、ユーザ情報に基づき選択されたＭ個（Ｎ＞Ｍ≧１）のシナリオデータが、図示しないネットワークを介してシナリオデータ記憶部２７にダウンロードされる。例えばシナリオデータは、外部サーバ３００からロボット１に設けられたシナリオデータ記憶部２７に直接ダウンロードしたり、外部サーバ３００からホームサーバ２００を介してシナリオデータ記憶部２７にダウンロードする。或いは図７の構成では、外部サーバ３００からホームサーバ２００に設けられたシナリオデータ記憶部（提示情報記憶部２２６）にダウンロードする。
【０１７４】
そしてシナリオデータ取得部１８は、ダウンロードされたＭ個のシナリオデータのうちの例えば１つをシナリオデータ記憶部２７から読み出すことで、ロボットの会話に使用するシナリオデータを取得する。
【０１７５】
この場合に、シナリオデータ取得部１８により取得されるシナリオデータは、ユーザの現在の日時情報、ユーザの現在の場所情報（現在の居場所）、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択することができる。即ちリアルタイムなユーザ情報に基づき選択できる。或いは、ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づきシナリオデータを選択してもよい。即ちリアルタイムなユーザ情報ではなく、過去から現在に至るユーザ履歴情報に基づきシナリオデータを選択してもよい。
【０１７６】
このようにユーザ情報やユーザ履歴情報に基づいてシナリオデータを選択すれば、現在の日時やユーザの過去又は現在の状況、場所等に適合したシナリオデータを選択して、ロボットに会話させることが可能になる。
【０１７７】
なおユーザ特性情報更新部１５はロボットが発話した会話フレーズに対するユーザの反応に基づいて、ユーザ特性情報を更新する。そしてこの時、シナリオデータ取得部１８は、ユーザ特性情報に基づき選択されたシナリオデータを取得してもよい。このようにすれば、ユーザの反応に基づいてユーザの趣味、嗜好等を学習して、ユーザ特性情報を更新し、ユーザの趣味、嗜好等に適合したシナリオデータを選択して使用できるようになる。
【０１７８】
次に本実施形態の詳細な動作について図１４のフローチャートを用いて説明する。
【０１７９】
まず、センサ情報に基づいてユーザ情報を取得する（ステップＳ３１）。そしてユーザのＴＰＯを推定する（ステップＳ３２）。
【０１８０】
次に、ユーザ情報、ＴＰＯに基づいて、シナリオデータを取得する（ステップＳ３３）。具体的には、ユーザ情報等に適合したシナリオデータをネットワークを介してダウンロードする。
【０１８１】
次に、取得されたシナリオデータに基づいて、ロボット１、２に発話させる会話フレーズを決定する（ステップＳ３４）。そしてロボット１、２に異なる会話フレーズを発話させるロボット制御を行う（ステップＳ３５）。
【０１８２】
次に、ロボット１、２の発話に対するユーザの反応をモニタする（ステップＳ３６）。そして別のシナリオデータに分岐させるか否かを判断し（ステップＳ３７）、分岐させる場合にはステップＳ３３に戻る、一方、分岐させない場合には図１２（Ａ）〜図１３（Ｂ）に示す手法により次の会話フレーズの発話権を決定する（ステップＳ３８）。またユーザの反応に基づいて、次にロボット１，２が発話する会話フレーズを決定する（ステップＳ３９）。更に、ユーザの反応に基づいて、ユーザ特性情報（感性データベース）を更新する（ステップＳ４０）。
【０１８３】
７．２ シナリオの具体例
【０１８４】
次に、本実施形態で使用されるシナリオデータやその選択手法の具体例について説明する。
【０１８５】
図１５に示すようにシナリオデータベースの各シナリオデータにはシナリオ番号が付与されている。そしてシナリオ番号により特定されるシナリオデータは、複数のシナリオデータコードにより構成され、各シナリオデータコードにより各会話フレーズ（テキストデータ）が指定される。
【０１８６】
例えば図１５では、ユーザ情報に基づいて、ユーザがいつもよりも遅い時間に帰宅したと判断されたため、シナリオ番号＝０５７９のシナリオデータが選択されている。そしてシナリオ番号＝０５７９のシナリオデータは、Ａ０１、Ｂ０１、Ａ０２、Ｂ０２、Ａ０３、Ｂ０３のシナリオデータコードにより構成される。ここでＡ０１、Ａ０２、Ａ０３は、ロボット１が順次発話する会話フレーズのコードであり、Ｂ０１、Ｂ０２、Ｂ０３は、ロボット２が順次発話する会話フレーズのコードである。そしてこのシナリオデータを使用することで、図３（Ａ）〜図３（Ｃ）で説明した、ユーザ情報に応じたロボット１、２の間の掛け合いの会話が実現される。
【０１８７】
図１６は、「撫でる」、「叩く」、「無反応」などのユーザの反応（行動）に基づくシナリオ分岐の例である。
【０１８８】
例えば、まずロボット１が「今日はチームＡが勝ったみたいだよ！！」と発話する。この発話に対してユーザがロボット１を撫でた場合には、ユーザは野球チームＡのファンであると推定する。従って、この場合にはロボット２は、「そうそう！８−７の逆転勝ち！！」と発話し、チームＡの勝利の様子を更に詳しく解説する。そしてこの発話に対してユーザがロボット２を撫でた場合には、ユーザはチームＡの勝利の仕方に満足していると推定する。従って、この場合にはロボット１は「ホームランがすごかったね！！」と発話する。一方、ロボット２を叩いた場合には、ユーザはチームＡは勝ったもののその勝利の仕方に満足していないと推定する。従って、この場合にはロボット１は「でも、投手陣が不安定だね〜」と発話する。なおユーザが無反応の場合には別シナリオに移行する。
【０１８９】
また、ロボット１の「今日はチームＡが勝ったみたいだよ！！」という発話に対して、ユーザがロボット１を叩いた場合には、ユーザは野球チームＡのファンではないと推定する。従って、この場合にはロボット２は「そんなことより、チームＢはどうだった？」と発話し、チームＡとは異なるチームＢの話に話題を変える。そして野球に関するシナリオの別分岐に移行する。
【０１９０】
またユーザが無反応であった場合には、ユーザはそもそも野球には興味がないと推定する。従って、この場合にはロボット２は「ふ〜ん、そうなんだ〜」と発話し、野球以外の別のシナリオに移行する。
【０１９１】
このように図１６では、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定している。またユーザの撫でる、叩くなどの反応を検知することで、ユーザが好きな野球チームなどを知ることができ、これによりユーザ特性情報を更新できる。
【０１９２】
図１７は、「撫でる」などのユーザの反応に基づくシナリオ選択やユーザ特性情報（データベース）の更新の例である。
【０１９３】
まずロボット１が「今日の天気はどうかな〜」と発話する。これに対してロボット２が「そんなことより、今日のニュース見た？」と発話する。そしてロボット１が「今日の株価なら見たけど・・・」と発話し、この発話に対してユーザがロボット１を撫でると、ユーザは株の話題に興味があると推定する。そこでこの場合には、株価情報シナリオに移行し、ロボット１は「今日の日経平均株価は１７７６０円だったよ！」「プラス６０円だね。Ｃ社の株価は・・・」と発話する。
【０１９４】
このとき、本実施形態では、ユーザの反応により選択されたシナリオログに基づいて、ユーザ特性情報のデータベースを更新する。即ちユーザの反応により、ユーザは株の話題に興味があると推定し、ユーザの趣味、嗜好の１つが株であることをデータベースに登録して学習させる。このようにすれば、次にシナリオデータを選択する時に、株に関連したシナリオが選択される確率が高くなり、ユーザの趣味、嗜好に沿った話題を提供できるようになる。
【０１９５】
即ち、ユーザの趣味、嗜好をアンケートの記入等により調査する手法では、ユーザに面倒な手間を強いることになり、好ましくない。この点、図１７の手法では、ユーザがロボットの会話に反応することで、ユーザに余計な手間を強いることなく、自動的にユーザの趣味、嗜好を調査・収集できるという利点がある。
【０１９６】
図１８、図１９は、リアルタイムなユーザ情報に基づくシナリオ選択の例である。
【０１９７】
図１８では、ユーザ情報として、「現在の日時：６月１０日（日曜日）１１：３０」、「現在の場所：自宅」、「今日の歩数：１８６歩」、「現在の運動量：少ない」、「現在の発話量：少ない」が取得されている。これらのユーザ情報は、ウェアラブルセンサ１５０等からのセンサ情報により取得される。
【０１９８】
そして、取得されたユーザ情報に基づいて、ユーザのＴＰＯが「日曜日に、特に何もせずに、家でゴロゴロしている」と推定される。そこでこの場合には、「今日のニュース、天気、ＴＶ番組などの話題」、「近所のイベント情報に関する話題」、「運動不足に関する話題」、「家族に関する話題」などのシナリオ（シナリオ選択候補）が選択される。即ち図１８では、現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報、或いはユーザの現在の状況情報に基づきシナリオ（シナリオデータ）が選択される。
【０１９９】
具体的には図１９に示すように、選択されたシナリオに基づいて、ロボット１、２の間で「ご主人様は家でゴロゴロだね」、「いつものことだよ」、「あれじゃあ、運動不足になっちゃうね」、「散歩でもすればいいのにな〜」、「面白いイベント情報があるんだけどな〜」、「う〜ん、だめだね〜」などの会話が行われる。従ってユーザは、これらのロボット１、２間の会話を傍らで聞くことにより、自身の現在の行動、状況等について間接的に知ることができる。従って、ユーザに対して一方的に情報を提供する利便性提供型のサービスではなく、ユーザの内面に間接的に働きかけることによりユーザに気付きを与え、自己の成長を促すインスパイヤ型ユビキタスサービスを実現できる。
【０２００】
なお図１９において「面白いイベント情報があるんだけどな〜」というロボット１の発話に対してユーザがロボット１を例えば撫でると、ユーザがイベント情報に興味があると推定し、図１８のシナリオ選択候補のうちイベント情報シナリオを選択して分岐する。また「散歩でもすればいいのにな〜」というロボット２の発話に対してユーザがロボット２を例えば撫でると、ユーザが散歩に興味があると推定し、散策スポット情報シナリオに分岐する。
【０２０１】
図２０、図２１は、ユーザ履歴情報（１日の蓄積情報）に基づくシナリオ選択の例である。
【０２０２】
図２０では、ユーザ履歴情報として、「日時：６月１１日（月曜日）晴れ２８度」、「その日に行った場所：自宅、新宿、横浜」、「今日の累積の歩数：１５０２３歩」、「今日の累積の運動量：多い」、「今日の累積の発話量：多い」が取得されている。これらのユーザ履歴情報は、ウェアラブルセンサ１５０等からのセンサ情報の蓄積・履歴により取得される。
【０２０３】
そして、取得されたユーザ履歴情報に基づいて、ユーザのＴＰＯが「平日、仕事で横浜に出張。徒歩での移動が普段と比べて多く大変疲れている。運動量、発話量も多く、活発な１日であった」と推定される。そこでこの場合には、「今日のニュース、天気、ＴＶ番組などの話題」、「行った場所（横浜）に関する話題」、「今日はたくさん歩いてお疲れ様、という労いの話題」などのシナリオ（シナリオ選択候補）が選択される。即ち図２０では、ユーザの行動履歴情報、或いはユーザの状態履歴情報などに基づきシナリオ（シナリオデータ）が選択される。
【０２０４】
具体的には図２１に示すように、選択されたシナリオに基づいて、ロボット１、２の間で「今日はたくさん歩いてお疲れ様！！」、「めずらしくたくさん歩いたね」、「今日は横浜に行ってきたんだ〜」、「横浜って雰囲気がいいよね」、「赤レンガ倉庫のあたりなんか素敵だよね」、「うんうん、中華街とかも行きたいな〜」などの会話が行われる。従ってユーザは、これらのロボット１、２間の会話を傍らで聞くことにより、自身の今日一日の行動履歴、状況履歴について間接的に知ることができる。これにより、自身の行動履歴等についてユーザに気付きを与えることができ、インスパイヤ型ユビキタスサービスを実現できる。
【０２０５】
なお図２１において「赤レンガ倉庫のあたりなんか素敵だよね」というロボット１の発話に対してユーザがロボット１を撫でると、赤レンガ倉庫に興味があると推定し、赤レンガ倉庫情報シナリオに分岐する。同様に、「うんうん、中華街とかも行きたいな〜」というロボット２の発話に対してユーザがロボット２を撫でると、中華街情報シナリオに分岐する。
【０２０６】
図２２はユーザ特性情報のデータベースによるシナリオ選択の例である。
【０２０７】
図２２では、ユーザ特性情報として、「生年月日 職業：会社員 休日：土日」、「よく行く場所：自宅、新宿、渋谷・・・」、「平均歩数：７６８８歩」、「平均運動量：６８０ｋｃａｌ」、「発話量：６７ｍｉｎ」、「関心度：天気７５％、スポーツ６０％、旅行４５％、ＴＶ番組３０％、音楽２０％、株価１５％、ＰＣ１０％」などが取得される。ここで、関心度は、例えばユーザがロボットを撫でて詳細シナリオに進んだ割合などを利用して取得する。
【０２０８】
そして図２２のユーザ特性情報からは、「生年月日、年齢、仕事、家族に関する話題（例：サラリーマンは大変だね〜）」、「生活習慣に関する話題（例：最近運動が足りないみたいだね）」、「行動エリアに関する話題（例：新宿に新しい店ができたんだって）」、「関心度の高いジャンルに関する話題（例：１９：００から旅行番組があるよ）」などのシナリオが選択されることになる。このようにすることで、ユーザの特性（感性）にマッチしたシナリオの選択が可能になる。
【０２０９】
８．ユーザ履歴情報に基づく提示情報の決定処理
【０２１０】
次にユーザ履歴情報に基づく提示情報の決定処理の詳細について説明する。具体的にはユーザが外出により一定期間ロボット（ロボット１、２）と接触しなかった後に、帰宅してロボットと接触した場合におけるロボットの行動について説明する。
【０２１１】
例えば、ユーザが帰宅したり、ロボットと接触すると、ロボット（ホームサブシステム）の利用可能イベントが発生する。具体的には、ウェアラブルセンサのＧＰＳや、家のドアなどに付けられたセンサや、クレードルへの携帯型電子機器の接続などによりユーザの帰宅が検出されたり、無線通信における無線強度やロボットの接触センサなどによりユーザとロボットの接近が検出されると、図１１のイベント判定部１１が、ロボットの利用可能イベントが発生したと判定する。即ちロボットの利用が可能な状態になったことを示す利用可能イベントが発生したと判定する。
【０２１２】
そして図２３では、この利用可能イベント発生前の例えば外出期間（ロボットの利用不可期間、ロボットとユーザの非接近期間）を第１の期間Ｔ１とし、利用可能イベント発生後の例えば在宅期間（ロボットの利用可能期間、ロボットとユーザの接近期間）を第２の期間Ｔ２としている。そしてこの第１の期間Ｔ１において取得（更新）されるユーザ履歴情報が第１のユーザ履歴情報となり、第２の期間Ｔ２において取得（更新）されるユーザ履歴情報が第２のユーザ履歴情報となる。
【０２１３】
ここで、第１のユーザ履歴情報は、第１の期間Ｔ１において、図１１のウァアラブルセンサ１５０の行動センサ、状態センサ、環境センサを用いてユーザの行動（歩行、発話、食事等）、状態（疲労、緊張、空腹、精神状態、肉体状態等）、又は環境（場所、明るさ、気温等）を計測することで、取得できる。具体的には携帯型電子機器１００のユーザ情報更新部が、これらのセンサからのセンサ情報に基づいて、携帯型電子機器１００のユーザ情報記憶部のユーザ履歴情報を更新することで、第１の期間Ｔ１での第１のユーザ履歴情報が取得される。
【０２１４】
そして、ロボット１、２の利用可能イベントが発生すると、第１の期間Ｔ１において更新された第１のユーザ履歴情報が、携帯型電子機器１００のユーザ情報記憶部からロボット１（ロボット２）のユーザ情報記憶部２２（ユーザ履歴情報記憶部２３）に転送される。これにより提示情報決定部１４は、転送された第１のユーザ履歴情報に基づいて、ロボット１、２がユーザに対して提示する提示情報の決定処理（シナリオの選択処理）を行うことが可能になる。
【０２１５】
一方、第２のユーザ履歴情報は、第２の期間Ｔ２において、ロボット搭載センサ３４や他のセンサ（例えばウェアラブルセンサや、ホームに埋め込まれたホームセンサ等）を用いて、ユーザの行動、状態又は環境を計測することで、取得できる。具体的には、ユーザ情報更新部１９が、これらのセンサからのセンサ情報に基づいて、ユーザ情報記憶部２２のユーザ履歴情報を更新することで、第２の期間Ｔ２での第２のユーザ履歴情報が取得される。
【０２１６】
そして提示情報決定部１４は、図２３に示すように、例えば第１の期間Ｔ１において取得された第１のユーザ履歴情報と、第２の期間Ｔ２において取得された第２のユーザ履歴情報とに基づいて、ロボット１、２がユーザに対して提示する提示情報の決定処理を行う。具体的には、第１、第２のユーザ履歴情報に基づいて、ロボット１、２が会話するシナリオの決定処理を行う。このようにすれば、例えば外出期間でのユーザの行動等と在宅期間でのユーザの行動等の両方を加味した提示情報をユーザに提供でき、外出先や自宅での自身の行動等に関する気付きを、ユーザに与えることができる。
【０２１７】
更に具体的には提示情報決定部１４は、提示情報の決定処理の際における第１のユーザ履歴情報の重み付け（重み付け係数）と第２のユーザ履歴情報の重み付けとを、第２の期間Ｔ２において変化させている。
【０２１８】
例えば図２４では、ロボット１、２の利用可能イベントの発生時には（ユーザの帰宅時、帰宅時から所与の期間が経過するまでは）、決定処理における第１のユーザ履歴情報の重み付けの方が第２のユーザ履歴情報の重み付けに比べて大きくなっており、例えば、第１のユーザ履歴情報が１．０になり、第２のユーザ履歴情報の重み付けが０になっている。
【０２１９】
そして重み付け変更期間ＴＡにおいて、第１のユーザ履歴情報の重み付けは小さくなる一方で、第２のユーザ履歴情報の重み付けは大きくなり、重み付けの大きさが逆転する。そして、変更期間ＴＡの後は、第２のユーザ履歴情報の重み付けの方が第１のユーザ履歴情報の重み付けに比べて大きくなっており、例えば第１のユーザ履歴情報の重み付けが０になり、第２のユーザ履歴情報の重み付けが１．０になっている。
【０２２０】
このように図２４では、利用可能イベント発生時には、決定処理における第１のユーザ履歴情報の重み付けを大きくし、第２のユーザ履歴情報の重み付けを小さくし、その後、第１のユーザ履歴情報の重み付けを小さくし、第２のユーザ履歴情報の重み付けを大きくしている。具体的には、第２の期間Ｔ２では、提示情報の決定処理の際における第１のユーザ履歴情報の重み付けを時間経過に伴い小さくし、第２のユーザ履歴情報の重み付けを時間経過に伴い大きくしている。
【０２２１】
このようにすれば、第２の期間Ｔ１の前半期間では、ロボット１、２は、例えば外出期間である第１の期間Ｔ１でのユーザの行動等に関連する話題を提供する。そして、その後、時間が経過すると、今度は自宅でのユーザの行動等に関連する話題を提供する。これにより、ユーザの行動、状況等に応じたタイムリーな話題を提供できるようになる。
【０２２２】
なお重み付けの変化のさせ方は図２４の手法に限定されない。例えば図２４とは逆に、前半期間では第２のユーザ履歴情報の重み付けの方を大きくし、その後、第１のユーザ履歴情報の重み付けの方を大きくする変形実施も可能である。或いは第１の期間Ｔ１よりも前のユーザ履歴情報も考慮して、提示情報の決定処理を行ってもよい。また、重み付けの変化のさせ方は、ロボット１、２等に予めプログラミングしておく構成にしてもよいし、ユーザが好みに応じて自由に切り替えられる構成にしてもよい。
【０２２３】
図２５にユーザ履歴情報の重み付け手法の具体例を示す。決定処理の際のユーザ履歴情報の重み付けの一例としては、ユーザ履歴情報で選択されるシナリオの選択確率がある。具体的には、第１のユーザ履歴情報の重み付けを大きくする場合には、第２のユーザ履歴情報よりも第１のユーザ履歴情報の方のシナリオが選択されるようにする。具体的には、第１のユーザ履歴情報のシナリオの選択確率を大きくする。一方、第２のユーザ履歴情報の重み付けを大きくする場合には、第１のユーザ履歴情報よりも第２のユーザ履歴情報の方のシナリオが選択されるようにする。具体的には、第２のユーザ履歴情報のシナリオの選択確率を大きくする。
【０２２４】
例えば図２５に示すように、第１のユーザ履歴情報で選択されるシナリオとしては、行った場所に関する話題や、外出先の行動等に関する話題（今日はたくさん歩いてお疲れ様など）や、仕事に関する話題などがある（図２０参照）。また第２のユーザ履歴情報で選択されるシナリオとしては、自宅での生活環境（運動不足など）に関する話題や、近所のイベント情報に関する話題や、家族に関する話題や、ユーザの関心度が高いジャンルに関する話題などがある（図１８参照）。
【０２２５】
そして図２４において、第２の期間Ｔ２の前半では、第１のユーザ履歴情報の重み付けの方が大きいため、第１のユーザ履歴情報用のシナリオの選択確率が高くなる。これにより、前半期間では、ロボット１、２は、例えばユーザが行った場所に関する会話等を行うようになる。一方、第２の期間Ｔ２の後半では、第２のユーザ履歴情報の重み付けの方が大きいため、第２のユーザ履歴情報用のシナリオの選択確率が高くなる。これにより、後半期間では、ロボット１、２は、例えばユーザの自宅での生活環境（「最近、運動不足だよね」）に関する会話等を行うようになる。このようにすれば、ユーザの環境の変化（外出から在宅への変化）に対応するように、提供するシナリオの話題を変更することが可能になり、より自然なロボット１、２の会話を実現できる。
【０２２６】
９．接触状態判定
【０２２７】
次に、ロボットを叩く、撫でる等の動作の具体的な判定手法の一例について説明する。
【０２２８】
図２６（Ａ）はぬいぐるみ型のロボット５００の例である。ロボット５００の表面は、センシング面５０１として機能する。センシング面５０１よりも内側には、マイク５０２-1、５０２-2、５０２-3が設けられている。また、各マイク５０２-1、５０２-2、５０２-3からの出力信号を演算処理し、出力データを出力する信号処理部５０３が設けられている。
【０２２９】
図２６（Ｂ）の機能ブロック図に示すように、マイク５０２-1、５０２-2、５０２-3からの出力信号は信号処理部５０３に入力される。信号処理部５０３は、ノイズ除去や信号増幅等を行って、アナログの出力信号を加工・変換する。そして信号強度等を計算して、デジタルの出力データとして出力する。接触状態判定部１６は、例えばしきい値の比較処理、接触状態の分類等の処理を行う。
【０２３０】
例えば図２７（Ａ）、図２７（Ｂ）、図２７（Ｃ）は、センシング面５０１を叩いた時、センシング面５０１を撫でた時、マイクに向かって話かけた時の３パターンの音声波形例である。グラフの横軸は時間であり、縦軸は信号強度である。
【０２３１】
信号強度に着目すると、図２７（Ａ）の叩いた時と、図２７（Ｂ）の撫でた時では信号強度が大きいことがわかる。また、叩いた時はその状態が一時的なものになるが、撫でた時はその状態が継続していることがわかる。また図２７（Ｃ）に示すように例えば「あー」とかなり強めに発話した時の波形は、図２７（Ａ）の叩いた時、図２７（Ｂ）の撫でた時に比べて信号強度が小さいことがわかる。
【０２３２】
これらの差異を利用したしきい値を設けることで、「叩き状態」、「撫で状態」、「いずれでもない状態」を検出することが可能となる。また複数のマイク５０２-1、５０２-2、５０２-3を用いることにより、一番強い信号が発生した場所を「叩かれた部位、撫でられた部位」として検出できるようになる。
【０２３３】
より具体的には、ロボット５００の内部に埋め込まれたマイク５０２-1、５０２-2、５０２-3は、ロボット５００のセンシング面５０１にユーザの手などが接触した場合に、ロボット５００の内部を伝搬してくる音を検出して電気信号に変換する。
【０２３４】
信号処理部５０３は、マイク５０２-1、５０２-2、５０２-3からの出力信号（音声信号）のノイズ除去、信号増幅、Ａ／Ｄ変換を行い、出力データを出力する。この出力データを絶対値に変換して一定時間蓄積することなどにより、信号強度を算出できる。そして算出された信号強度を、しきい値ＴＨと比較する。そしてしきい値ＴＨを超えていれば、「接触」が検出されたものと判定して、接触状態検出回数としてカウントする。そしてこの接触状態検出処理を所定時間、繰り返す。
【０２３５】
所定時間が経過した時点で、接触状態判定部１６は、事前に設定しておいた条件と、前述の接触状態検出回数を比較して、例えば下述のような条件により、撫でられた状態、叩かれた状態を検出する。ここでは、撫でた場合には接触状態が継続するため接触状態検出回数も多くなるが、叩いた場合には接触状態検出回数は少なくなるという現象を利用して、撫でられた状態なのか、叩かれた状態なのかを検出する。
【０２３６】
検出状態 （検出回数／最大検出回数）×１００（％）
撫で状態 ２５％以上
叩き状態 １０％以上、２５％未満
未検出状態 １０％未満
【０２３７】
このようにすることで、少なくとも１つのマイクを用いて「撫で状態」、「叩き状態」、「いずれでもない状態（未検出状態）」を判定できる。また複数のマイクを分散して埋め込み、各マイクの接触状態検出回数を比較することで、接触が発生した部位についても判定することが可能になる。
【０２３８】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またロボット制御システムやロボットの構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【図面の簡単な説明】
【０２３９】
【図１】ユーザ情報の取得手法の説明図
【図２】本実施形態のシステム構成例。
【図３】図３（Ａ）〜図３（Ｃ）は本実施形態の手法の説明図。
【図４】本実施形態の動作を説明するためのフローチャート。
【図５】本実施形態の第２のシステム構成例。
【図６】本実施形態の第３のシステム構成例。
【図７】本実施形態の第４のシステム構成例。
【図８】ユーザ履歴情報の更新処理のフローチャート。
【図９】ユーザ履歴情報の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）はユーザ履歴情報の説明図。
【図１１】本実施形態の詳細なシステム構成例。
【図１２】図１２（Ａ）、図１２（Ｂ）は発話権の制御手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）は発話権の制御手法の説明図。
【図１４】本実施形態の詳細な動作を説明するためのフローチャート。
【図１５】シナリオデータの説明図。
【図１６】ユーザの反応に基づくシナリオ分岐手法の説明図。
【図１７】ユーザの反応に基づくシナリオ選択手法の説明図。
【図１８】リアルタイムなユーザ情報に基づくシナリオ選択手法の説明図。
【図１９】リアルタイムなユーザ情報に基づくシナリオ選択手法の説明図。
【図２０】ユーザ履歴情報に基づくシナリオ選択手法の説明図。
【図２１】ユーザ履歴情報に基づくシナリオ選択手法の説明図。
【図２２】ユーザ特性情報に基づくシナリオ選択手法の説明図。
【図２３】ユーザ履歴情報に基づく提示情報の決定手法の説明図。
【図２４】ユーザ履歴情報に基づく提示情報の決定処理の説明図。
【図２５】第１、第２のユーザ履歴情報で選択されるシナリオの例。
【図２６】図２６（Ａ）、図２６（Ｂ）は接触判定手法の説明図。
【図２７】図２７（Ａ）、図２７（Ｂ）、図２７（Ｃ）は、叩いた時、撫でた時、マイクに向かって話かけた時の音声波形例。
【符号の説明】
【０２４０】
１ 第１のロボット、２ 第２のロボット、
１０ 処理部、１１ イベント判定部、１２ ユーザ情報取得部、１３ 演算部、
１４ 提示情報決定部、１５ ユーザ特性情報更新部、１６ 接触状態判定部、
１７ 発話権制御部、１８ シナリオデータ取得部、２０ 記憶部、
２２ ユーザ情報記憶部、２３ ユーザ履歴情報記憶部、２４ ユーザ特性情報記憶部、
２６ 提示情報記憶部、２７ シナリオデータ記憶部、３０ ロボット制御部、
３２ ロボット動作機構、３４ ロボット搭載センサ、４０ 通信部、
６０ 処理部、６２ ユーザ情報取得部、６３ 演算部、６４ 提示情報決定部、
６５ ユーザ特性情報更新部、７０ 記憶部、７２ ユーザ情報記憶部、
７３ ユーザ履歴情報記憶部、７４ ユーザ特性情報記憶部、７６ 提示情報記憶部、
８０ ロボット制御部、８２ ロボット動作機構、８４ ロボット搭載センサ、
９０ 通信部、１００ 携帯型電子機器、１１０ 処理部、１１２ 演算部、
１１４ ユーザ情報更新部、１２０ 記憶部、１２２ ユーザ情報記憶部、
１３０ 制御部、１３８ 通信部、１４０ ウェアラブルディスプレイ、
１５０ ウェアラブルセンサ、２００ ホームサーバ（ローカルサーバ）、
２１０ 処理部、２１２ ユーザ情報取得部、２１３ 演算部、
２１４ 提示情報決定部、２１５ ユーザ特性情報更新部、２２０ 記憶部、
２２２ ユーザ情報記憶部、２２３ ユーザ履歴情報記憶部、
２２４ ユーザ特性情報記憶部、２２６ 提示情報記憶部、３００ 外部サーバ
【技術分野】
【０００１】
本発明は、ロボット制御システム、ロボット、プログラム及び情報記憶媒体に関係する。
【背景技術】
【０００２】
従来より、ユーザ（人間）の音声を認識し、音声の認識結果に基づいて、ユーザとの会話を行うロボットの制御システムが知られている（例えば、特許文献１。）。
【０００３】
しかしながら、これまでのロボット制御システムでは、１人のユーザに対して１台のロボットが対峙して会話することが想定されていた。このため、音声の認識処理や会話処理のために複雑なアルゴリズムが必要になってしまい、ユーザとの間のスムーズな会話を実現することが、現実的には難しかった。
【０００４】
またこのようにユーザとロボットが１対１で対峙すると、ユーザがロボットとの会話に閉塞感を感じてしまい、直ぐに飽きられてしまうという問題もあった。
【０００５】
また、これまでのロボット制御システムでは、ユーザがその日に行った行動や、ユーザの過去や現在の状況を反映したロボット制御は行われていなかった。従って、ロボットが、ユーザの心境や状況に反した動作を行ってしまうという問題があった。
【０００６】
【特許文献１】特開２００３−６６９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、ユーザの行動や状況を反映したロボット制御を実現できるロボット制御システム、ロボット、プログラム及び情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、ロボットを制御するためのロボット制御システムであって、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含み、前記提示情報決定部は、取得された同じ前記ユーザ情報に対して第１、第２のロボットが異なる提示情報を提示するように、ユーザに対して提示する提示情報の決定処理を行うロボット制御システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００９】
本発明によれば、行動センサ、状態センサ及び環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報が取得される。そして取得されたユーザ情報に基づいて、ロボットがユーザに提示する提示情報の決定処理が行われ、提示情報をロボットに提示させるための制御が行われる。そして本発明によれば、取得された同じユーザ情報に対して、第１、第２のロボットが異なる提示情報を提示するように、提示情報の決定処理が行われる。このようにユーザ情報に基づいて提示情報を決定すれば、ユーザは、第１、第２のロボットの提示情報に基づいて、ユーザの過去又は現在についての行動、状態又は環境等を間接的に知ることができる。また同じユーザ情報に対して第１、第２のロボットが異なる提示情報を提示すれば、第１、第２のロボットが提示する提示情報により、自身に関する気付きを、直接的ではなく間接的にユーザに与えることが可能になる。
【００１０】
また本発明では、前記第１のロボットはマスタ側に設定され、前記第２のロボットはスレーブ側に設定され、マスタ側の前記第１のロボットに設けられた前記提示情報決定部が、スレーブ側の前記第２のロボットに対して、ユーザへの提示情報の提示を指示してもよい。
【００１１】
このようにすれば、複雑な提示情報の解析処理を行わなくても、第１、第２のロボットによる提示情報の提示を、誤動作の少ない安定した制御の下で実現できる。
【００１２】
また本発明では、提示情報の提示を指示する指示情報を、マスタ側の前記第１のロボットからスレーブ側の前記第２のロボットに対して通信する通信部を含んでもよい。
【００１３】
このようにすれば、提示情報そのものではなくて、その指示情報を通信するだけで済むため、通信データ量の低減や、処理の簡素化を図れる。
【００１４】
また本発明では、前記ユーザ情報取得部は、前記ユーザ情報として、ユーザの行動履歴、ユーザの状態履歴及びユーザの環境履歴の少なくとも１つであるユーザ履歴情報を取得し、前記提示情報決定部は、取得された前記ユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行ってもよい。
【００１５】
このようにすれば、ユーザの過去の行動履歴、状態履歴又は環境履歴が反映された提示情報を、第１、第２のロボットにより提示できるようになり、自身の過去の行動履歴、状態履歴又は環境履歴に関する気付きをユーザに間接的に与えることができる。
【００１６】
また本発明では、ロボットの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定部を含み、前記提示情報決定部は、前記利用可能イベント発生前の第１の期間において取得された第１のユーザ履歴情報と、前記利用可能イベント発生後の第２の期間において取得された第２のユーザ履歴情報とに基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行ってもよい。
【００１７】
このようにすれば第１の期間でのユーザの行動等と第２の期間でのユーザの行動等との両方を加味した提示情報をユーザに提示できるようになる。
【００１８】
また本発明では、前記提示情報決定部は、提示情報の前記決定処理における前記第１のユーザ履歴情報の重み付けと前記第２のユーザ履歴情報の重み付けとを、前記第２の期間において変化させてもよい。
【００１９】
このようにすれば、第２の期間において提示される情報を徐々に変化させることが可能になる。
【００２０】
また本発明では、前記提示情報決定部は、前記利用可能イベント発生時には、前記決定処理における前記第１のユーザ履歴情報の重み付けを大きくし、前記第２のユーザ履歴情報の重み付けを小さくし、その後、前記第１のユーザ履歴情報の重み付けを小さくし、前記第２のユーザ履歴情報の重み付けを大きくしてもよい。
【００２１】
このようにすれば、ユーザの行動、状況等に応じたタイムリーな情報を提示できるようになる。
【００２２】
また本発明では、前記ユーザ履歴情報は、ユーザのウェアラブルセンサからのセンサ情報により更新することで得られる情報であってもよい。
【００２３】
このようにすれば、ウェアラブルセンサからのセンサ情報により行動履歴、状態履歴又は環境履歴を更新し、更新されたこれらの履歴が反映された提示情報を、第１、第２のロボットにより提示できるようになる。
【００２４】
また本発明では、前記提示情報決定部は、ロボットによる提示情報の提示に対するユーザの反応に基づいて、ロボットがユーザに対して次に提示する提示情報の決定処理を行ってもよい。
【００２５】
このようにすれば、提示情報に対するユーザの反応に基づいて、次の提示情報が変化するようになり、第１、第２のロボットによる提示情報の提示が単調になってしまう事態を防止できる。
【００２６】
また本発明では、ユーザ特性情報を記憶するユーザ特性情報記憶部と、ロボットによる提示情報の提示に対するユーザの反応に基づいて、前記ユーザ特性情報を更新するユーザ特性情報更新部を含んでもよい。
【００２７】
このようにすれば、提示情報に対するユーザの反応を、ユーザ特性情報に反映させて更新することが可能になる。
【００２８】
また本発明では、ロボットのセンシング面における接触状態を判定する接触状態判定部を含み、前記提示情報決定部は、ロボットによる提示情報の提示に対するユーザの反応として、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、前記接触状態判定部での判定結果に基づき判断して、ユーザに対して次に提示する提示情報の決定処理を行ってもよい。
【００２９】
このようにすれば、ロボットを撫でる動作や叩く動作などのユーザの反応を、簡素な判定処理で判断できるようになる。
【００３０】
また本発明では、前記接触状態判定部は、前記センシング面よりも内側に設けられたマイクからの出力信号に対して演算処理を行うことで得られた出力データに基づいて、前記センシング面における接触状態を判定してもよい。
【００３１】
このようにすれば、マイクを利用するだけで、ロボットを撫でる動作や叩く動作などのユーザの反応を検出できるようになる。
【００３２】
また本発明では、前記出力データは、信号強度であり、前記接触状態判定部は、前記信号強度と、所定のしきい値との比較処理を行うことで、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定してもよい。
【００３３】
このようにすれば、信号強度としきい値を比較するという簡素な処理で、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定できる。
【００３４】
また本発明では、複数の会話フレーズにより構成されるシナリオデータを、前記提示情報として記憶するシナリオデータ記憶部を含み、前記提示情報決定部は、前記シナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定し、前記ロボット制御部は、決定された会話フレーズをロボットに発話させるための制御を行ってもよい。
【００３５】
このようにすれば、第１、第２のロボットの会話フレーズの発話を、シナリオデータを利用して簡素な制御処理で実現できる。
【００３６】
また本発明では、前記シナリオデータ記憶部は、複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶し、前記提示情報決定部は、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定してもよい。
【００３７】
このようにすれば、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次の会話フレーズが変化するようになり、第１、第２のロボットによる会話が単調になってしまう事態を防止できる。
【００３８】
また本発明では、前記提示情報決定部は、第１のシナリオデータに基づきロボットが発話した会話フレーズに対するユーザの反応が所与の反応であった場合には、前記第１のシナリオデータとは異なる第２のシナリオデータを選択し、次にロボットに発話させる会話フレーズを前記第２のシナリオデータに基づき決定してもよい。
【００３９】
このようにすれば、ユーザの反応に応じて、シナリオが切り替わるようになり、ユーザの好み等に則したシナリオデータに基づく第１、第２のロボットの会話を実現できる。
【００４０】
また本発明では、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、前記第１、第２のロボットのいずれに対して次の会話フレーズの発話権を付与するかを制御する発話権制御部を含んでもよい。
【００４１】
このようにすれば、ユーザの反応に応じて発話権の付与が切り替わるようになるため、会話が単調になってしまう事態を防止できる。
【００４２】
また本発明では、前記発話権制御部は、前記第１、第２のロボットのいずれか一方のロボットが発話した会話フレーズに対してユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定してもよい。
【００４３】
このようにすれば、例えばユーザが肯定的な反応をしたロボットに対して、優先的に発話権を付与するなどの制御が可能になる。
【００４４】
また本発明では、複数のシナリオデータの中から前記ユーザ情報に基づき選択されたシナリオデータを取得するシナリオデータ取得部を含んでもよい。
【００４５】
このようにすれば、ユーザ情報に応じたシナリオデータの取得が可能になる。
【００４６】
また本発明では、前記シナリオデータ取得部は、前記ユーザ情報に基づき選択されたシナリオデータをネットワークを介してダウンロードし、前記提示情報決定部は、ネットワークを介してダウンロードされたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定してもよい。
【００４７】
このようにすれば、全てのシナリオデータをシナリオデータ記憶部に記憶しておかなくても済むため、記憶容量の節約を図れる。
【００４８】
また本発明では、前記シナリオデータ取得部は、現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択されたシナリオデータを取得し、前記提示情報決定部は、現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択されたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定してもよい。
【００４９】
このようにすれば、リアルタイムなユーザ情報に応じた第１、第２のロボット間の会話を実現できる。
【００５０】
また本発明では、前記シナリオデータ取得部は、ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づき選択されたシナリオデータを取得し、前記提示情報決定部は、ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づき選択されたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定してもよい。
【００５１】
このようにすれば、過去におけるユーザの行動履歴情報又は状態履歴情報に応じた第１、第２のロボット間の会話を実現できる。
【００５２】
また本発明では、ユーザ特性情報を記憶するユーザ特性情報記憶部と、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、前記ユーザ特性情報を更新するユーザ特性情報更新部を含み、前記シナリオデータ取得部は、前記ユーザ特性情報に基づき選択されたシナリオデータを取得してもよい。
【００５３】
このようにすれば、ロボットの会話フレーズに対するユーザの反応を、ユーザ特性情報に反映させて更新することが可能になる。
【００５４】
また本発明は、上記のいずれかに記載のロボット制御システムと、前記ロボット制御システムの制御対象であるロボット動作機構とを含むロボットに関係する。
【発明を実施するための最良の形態】
【００５５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５６】
１．ユーザ情報
【００５７】
いわゆるユビキタスサービスにおいて、現在目指している１つ方向として、何時でもどこでも必要な情報をユーザに提供するという利便性提供型のサービスが提案されている。これは、外部からユーザに対して一方的に情報を提供するサービスである。
【００５８】
しかしながら、人が生き生きと充実した生活を送るためには、このように外部からユーザに一方的に情報を提供する利便性提供型サービスだけでは不十分であり、ユーザの内面に働きかけることによりユーザに気付き（インスパイヤ）を与え、その結果、自己の成長を促すインスパイヤ型ユビキタスサービスが望まれる。
【００５９】
本実施形態では、このようなインスパイヤ型ユビキタスサービスを、ロボットがユーザに提示する情報を利用して実現するために、ユーザの行動、状態、環境を計測する行動センサ、状態センサ、環境センサからのセンサ情報によりユーザ情報を取得する。そして取得されたユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報（例えば会話）を決定し、決定された提示情報をロボットに提供させるロボット制御を行う。そこで、まず、このユーザ情報（ユーザの行動、状態及び環境の少なくとも１つについての情報）の取得手法について説明する。
【００６０】
図１においてユーザ（使用者）は、携帯型電子機器１００（モバイルゲートウェイ）を所持している。またモバイル制御対象機器としてウェアラブルディスプレイ１４０（モバイルディスプレイ）を頭部の一方の眼の近傍に装着している。更にウェアラブルセンサ（モバイルセンサ）として種々のセンサを身体に身につけている。具体的には、屋内外センサ５１０、周囲温度センサ５１１、周辺湿度センサ５１２、周辺光度センサ５１３、腕装着型の運動計測センサ５２０、脈拍（心拍数）センサ５２１、体温センサ５２２、抹消皮膚温度センサ５２３、発汗センサ５２４、足圧力センサ５３０、発話・咀嚼センサ５４０、携帯型電子機器１００に設けられるＧＰＳ（Global Position System）センサ５５０、ウェアラブルディスプレイ１４０に設けられる顔色センサ５６０や瞳孔の大きさセンサ５６１などを装着している。これらの携帯型電子機器１００、ウェアラブルディスプレイ１４０などのモバイル制御対象機器、ウェアラブルセンサによりモバイルサブシステムが構成される。
【００６１】
図１では、このようなユーザのモバイルサブシステムのセンサからのセンサ情報により更新されるユーザ情報（狭義にはユーザ履歴情報）を取得し、取得されたユーザ情報に基づいてロボット１の制御を行う。
【００６２】
携帯型電子機器１００（モバイルゲートウェイ）は、ＰＤＡ（Personal Digital Assistant）、ノート型ＰＣなどの携帯情報端末であり、例えばプロセッサ（ＣＰＵ）、メモリ、操作パネル、通信装置、或いはディスプレイ（サブディスプレイ）などを備える。この携帯型電子機器１００は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器（ウェアラブルディスプレイ等）の制御（表示制御等）を行ったり外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有することができる。なお携帯型電子機器１００は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【００６３】
ウェアラブルディスプレイ１４０は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。なおユーザへの情報提示は、ヘッドフォン、バイブレータなどを用いて行ってもよい。またモバイル制御対象機器としては、ウェアラブルディスプレイ１４０以外にも、例えば腕時計、携帯電話、或いはポータブルオーディオなどの種々の機器を想定できる。
【００６４】
屋内外センサ５１０は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ５１０は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。
【００６５】
周囲温度センサ５１１は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。周辺湿度センサ５１２は、例えば湿度によって電気抵抗が変化することを利用して周囲の湿度を計測する。周辺光度センサ５１３は、例えば光電素子を用いて周囲の光度を計測する。
【００６６】
腕装着型の運動計測センサ５２０は、加速度センサや角加速度センサでユーザの腕の動きを計測する。この運動計測センサ５２０と足圧力センサ５３０を用いることでユーザの日常動作、歩行状態を更に正確に計測できる。脈拍（心拍数）センサ５２１は、手首或いは指又は耳に装着し、例えば拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。体温センサ５２２、抹消皮膚温度センサ５２３は、サーミスタ、放射温度計、熱電対などを用いてユーザの体温、抹消皮膚温度を計測する。発汗センサ５２４は、例えば皮膚の表面抵抗の変化により皮膚の発汗を計測する。足圧力センサ５３０は、靴にかかる足裏の圧力分布を検出して、ユーザの立ち状態、座り状態、歩行状態などを計測、判定する。
【００６７】
発話・咀嚼センサ５４０は、ユーザが発話中（会話中）であるか、咀嚼中（食事中）であるかの可能性を計測するためのイヤホン型のセンサであり、その筺体内に骨伝導マイク、外界音マイクが内蔵されている。骨伝導マイクは、発話・咀嚼時に体内から生じ、体内を伝搬する振動である体内音を検出する。外界音マイクは、発話に応じて体外に伝導する振動である音声や、環境の雑音を含む外界音を検出する。そして骨伝導マイク、外界音マイクにより捕らえられた音の単位時間におけるパワーの比較処理等を行うことで、発話可能性や咀嚼可能性を計測する。
【００６８】
ＧＰＳセンサ５５０はユーザの位置を検知するセンサである。なおＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。顔色センサ５６０は、例えば顔面近くに光センサを配置し、複数の光学的バンドパスフィルタを通過した後の光度を比較して顔色を計測する。瞳孔の大きさセンサ５６１は、例えば瞳孔の近くにカメラを配置し、カメラの信号を解析して瞳孔の大きさを計測する。
【００６９】
なお、図１では携帯型電子機器１００、ウェアラブルセンサ等により構成されるモバイルサブシステムにより、ユーザ情報を取得しているが、複数のサブシステムにより構成される統合システムにより、ユーザ情報を更新し、更新されたユーザ情報に基づいてロボット１の制御を行ってもよい。ここで統合システムは、例えばモバイルサブシステム、ホームサブシステム、車内サブシステム、会社内サブシステム、或いは店内サブシステムなどのサブシステムを含むことができる。
【００７０】
この統合システムでは、ユーザが屋外等にいる場合（モバイル環境の場合）には、モバイルサブシステムのウェアラブルセンサ（モバイルセンサ）からのセンサ情報（センサ２次情報を含む）が取得（収集）され、取得されたセンサ情報に基づいてユーザ情報（ユーザ履歴情報）が更新される。またユーザ情報等に基づいてモバイル制御対象機器の制御が行われる。
【００７１】
一方、ユーザが家にいる場合（ホーム環境の場合）には、ホームサブシステムのホームセンサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ情報が更新される。即ちモバイル環境で更新されたユーザ情報が、ホーム環境に移行した場合にもシームレスに更新される。またユーザ情報等に基づいてホーム制御対象機器（テレビ、オーディオ機器、エアコン等）の制御が行われる。なおホームセンサは、例えば、ホーム内の気温、湿度、光度、騒音、ユーザの会話、食事などを計測する環境センサや、ロボットに内蔵されるロボット搭載センサや、ホームの各室内、ドアなどに設置される人検知センサや、トイレに設置される尿検査用センサなどである。
【００７２】
また、ユーザが車内にいる場合（車内環境の場合）には、車内サブシステムの車内センサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ情報が更新される。即ちモバイル環境やホーム環境で更新されたユーザ情報が、車内環境に移行した場合にもシームレスに更新される。またユーザ情報等に基づいて車内制御対象機器（ナビゲーション装置、カーＡＶ機器、エアコン等）の制御が行われる。なお車内センサは、車の速度、移動距離などを計測する走行状態センサや、ユーザの運転操作、機器操作を計測する操作状態センサや、車内の気温、湿度、光度、ユーザの会話などを計測する環境センサなどである。
【００７３】
２．ロボット
【００７４】
次に図１のロボット１（ロボット２）の構成について説明する。このロボット１は犬を模したペット型のロボットになっており、胴体モジュール６００、頭部モジュール６１０、脚部モジュール６２０、６２２、６２４、６２６、尻尾モジュール６３０などの複数のパーツモジュール（ロボット動作機構）により構成される。
【００７５】
頭部モジュール６１０には、ユーザの撫でる動作や叩く動作を検知するための接触センサや、ユーザの発話を検知するための発話センサ（マイクロホン）や、画像認識のための撮像センサ（カメラ）や、音声や鳴き声を発声するための音出力部（スピーカ）が設けられる。
【００７６】
胴体モジュール６００と頭部モジュール６１０との間や、胴体モジュール６００と尻尾モジュール６３０との間や、脚部モジュール６２０の関節部分等には、関節機構が設けられている。そしてこれらの関節機構は、モータ等のアクチュエータを有しており、これによりロボット１の関節運動や自立走行が実現される。
【００７７】
またロボット１の例えば胴体モジュール６００には１又は複数の回路基板が設けられている。そしてこの回路基板には、各種処理を行うＣＰＵ（プロセッサ）や、各種データ、プログラムを記憶するＲＯＭ、ＲＡＭなどのメモリや、ロボット制御のための制御ＩＣや、音声信号を生成する音声生成モジュールや、外部との無線通信のための無線モジュールなどが実装される。ロボット１に搭載される各種センサからの信号は、この回路基板に集約され、ＣＰＵ等により処理される。また音声生成モジュールにより生成された音声信号は、この回路基板から音出力部（スピーカ）に対して出力される。また回路基板の制御ＩＣからの制御信号は、関節機構に設けられたモータ等のアクチュエータに出力され、これによりロボット１の関節運動や自立走行が制御される。
【００７８】
３．ロボット制御システム
【００７９】
図２に本実施形態のシステム構成例を示す。このシステムは、ユーザが所持する携帯型電子機器１００や、本実施形態のロボット制御システムにより制御されるロボット１、２（第１、第２のロボット）を有する。そして本実施形態のロボット制御システムは、例えばロボット１、２が有する処理部１０、６０により実現される。
【００８０】
携帯型電子機器１００は、処理部１１０、記憶部１２０、制御部１３０、通信部１３８を含む。そして携帯型電子機器１００は、ウェアラブルセンサ１５０からのセンサ情報を取得する。具体的には、ウェアラブルセンサ１５０は、ユーザの行動（歩行、会話、食事、手足の動き、感情表現又は睡眠等）を計測する行動センサ、ユーザの状態（疲労、緊張、空腹、精神状態、身体状態又はユーザに発生したイベント等）を計測する状態センサ、及びユーザの環境（場所、明るさ、気温又は湿度等）を計測する環境センサの少なくとも１つのセンサを含んでおり、携帯型電子機器１００は、これらのセンサからのセンサ情報を取得する。
【００８１】
なおセンサは、センサデバイス自体であってもよいし、センサデバイスの他に、制御部や通信部等を含むセンサ機器であってもよい。またセンサ情報は、センサから直接得られるセンサ１次情報であってもよいし、センサ１次情報を加工処理（情報処理）することで得られるセンサ２次情報であってもよい。
【００８２】
処理部１１０は、図示しない操作部からの操作情報や、ウェアラブルセンサ１５０から取得されたセンサ情報などに基づいて、携帯型電子機器１００の動作等に必要な種々の処理を行う。この処理部１１０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、図示しない情報記憶媒体（光ディスク、ＩＣカード、ＨＤＤ等）に記憶されたプログラムなどにより実現できる。
【００８３】
処理部１１０は、演算部１１２、ユーザ情報更新部１１４を含む。ここで演算部１１２は、ウェアラブルセンサ１５０から取得されたセンサ情報のフィルタリング処理（選択処理）や解析処理のための種々の演算処理を行う。具体的には演算部１１２は、センサ情報の乗算処理や加算処理を行う。例えば下式（１）に示すように、複数のセンサからの複数のセンサ情報のデジタル化された計測値Ｘjと、各係数が係数記憶部（図示せず）に記憶され、２次元行列（マトリックス）で表される係数Ａijとの積和演算を行う。そうして下式（２）に示すように、積和演算の結果を多次元座標としてｎ次元のベクトルＹiとして演算する。なお、ｉはｎ次元空間のｉ座標であり、ｊは各センサに割り当てられる番号である。
【数１】
【数２】
【００８４】
上式（１）（２）のような演算処理を行うことで、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境（ＴＰＯ情報）をセンサ情報に基づき同定するための解析処理などを実現できる。例えば脈拍（心拍数）、発汗量、体温の計測値Ｘに対して乗算される係数Ａを、その他のセンサ情報の計測値に対する係数よりも大きな値に設定すれば、上式（１）（２）で演算された数値Ｙは、ユーザの状態である「興奮度」を表すものになる。また発話量の計測値Ｘに対して乗算される係数と、足圧力の計測値Ｘに対して乗算される係数を適当な値に設定することで、ユーザの行動が、着座して会話しているのか、歩きながら会話しているのか、静かに思考しているのか、睡眠状態なのか等を同定できる。
【００８５】
ユーザ情報更新部１１４はユーザ情報（ユーザ履歴情報）の更新処理を行う。具体的には、ウェアラブルセンサ１５０から取得されたセンサ情報に基づいてユーザ情報を更新する。そして更新されたユーザ情報（ユーザ履歴情報）を記憶部１２０のユーザ情報記憶部１２２（ユーザ履歴情報記憶部）に記憶する。この場合に、ユーザ情報記憶部１２２のメモリ容量を節約するために、新しいユーザ情報を記憶する場合には、古いユーザ情報を削除し、削除により空いた記憶領域に対して新しいユーザ情報を記憶してもよい。或いは、各ユーザ情報に優先度（重み付け係数）を付与し、新しいユーザ情報を記憶する場合には、優先度の低いユーザ情報を削除してもよい。また既に記憶されているユーザ情報と新しいユーザ情報を演算することでユーザ情報を更新（上書き）してもよい。
【００８６】
記憶部１２０は、処理部１１０、通信部１３８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。記憶部１２０が含むユーザ情報記憶部１２２は、ユーザの行動、状態又は環境等の情報（履歴情報）であって、取得されたセンサ情報に基づき更新されるユーザ情報（ユーザ履歴情報）を記憶する。
【００８７】
制御部１３０はウェアラブルディスプレイ１４０の表示制御等を行う。通信部１３８は、無線や有線の通信により、ロボット１の通信部４０やロボット２の通信部９０との間で、ユーザ情報などの情報の転送処理を行う。無線の通信としては、ブルートゥース（Bluetoothは登録商標）や赤外線のような近距離無線や無線ＬＡＮなどが考えられる。有線の通信としてはＵＳＢやＩＥＥＥ１３９４などを利用したものが考えられる。
【００８８】
ロボット１は、処理部１０、記憶部２０、ロボット制御部３０、ロボット動作機構３２、ロボット搭載センサ３４、通信部４０を含む。なおこれらの一部の構成要素を省略した構成にしてもよい。
【００８９】
処理部１０は、ロボット搭載センサ３４からセンサ情報や、取得されたユーザ情報などに基づいて、ロボット１の動作等に必要な種々の処理を行う。この処理部１０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、図示しない情報記憶媒体（光ディスク、ＩＣカード、ＨＤＤ等）に記憶されたプログラムなどにより実現できる。即ち、この情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶され、処理部１０は、この情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。
【００９０】
記憶部２０は、処理部１０、通信部４０などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。この記憶部２０はユーザ情報記憶部２２と提示情報記憶部２６を含む。またユーザ情報記憶部２２はユーザ履歴情報記憶部２３とユーザ特性情報記憶部２４を含む。
【００９１】
ロボット制御部３０は、制御対象であるロボット動作機構３２（アクチュエータ、音出力部、ＬＥＤ等）の制御を行うものであり、その機能は、ロボット制御用のＡＳＩＣや各種プロセッサなどのハードウェアや、プログラムなどにより実現できる。
【００９２】
具体的にはロボット制御部３０は、提示情報をユーザに対してロボットに提示させるための制御を行う。提示情報がロボットの会話（シナリオデータ）である場合には、会話フレーズをロボットに発話させるための制御を行う。例えば会話フレーズを表すデジタルのテキストデータを、公知のＴＴＳ（Text-To-Speech）処理によりアナログの音声信号に変換し、ロボット動作機構３２の音出力部（スピーカ）を介して出力する。また提示情報が、ロボットの感情状態を表す情報である場合には、その感情を表すように、ロボット動作機構３２の各関節機構のアクチュエータを制御したり、ＬＥＤを点灯させるなどの制御を行う。
【００９３】
ロボット搭載センサ３４は、例えば接触センサ、発話センサ（マイクロホン）、或いは撮像センサ（カメラ）などの各種センサである。ロボット１は、このロボット搭載センサ３４からのセンサ情報に基づいて、ユーザに提示した提示情報に対するユーザの反応をモニタできる。
【００９４】
通信部４０は、無線や有線の通信により、携帯型電子機器１００の通信部１３８やロボット２の通信部９０との間で、ユーザ情報などの情報の転送処理を行う。
【００９５】
処理部１０は、ユーザ情報取得部１２、演算部１３、提示情報決定部１４、ユーザ特性情報更新部１５を含む。なおこれらの構成要素の一部を省略する構成としてもよい。
【００９６】
ユーザ情報取得部１２は、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得する。
【００９７】
具体的には、ウェアラブルセンサ１５０からのセンサ情報によりユーザ情報が更新されたユーザが、家に帰宅してロボット１、２に近づいたり、携帯型電子機器１００をクレードルに接続すると、ロボット１、２が起動する。そして携帯型電子機器１００において更新されたユーザ情報（ユーザ履歴情報）が、携帯型電子機器１００のユーザ情報記憶部１２２から、通信部１３８、４０（通信部９０）を介して、ロボット１（ロボット２）のユーザ情報記憶部２２（ユーザ情報記憶部７２）に転送される。そしてユーザ情報取得部１２（ユーザ情報取得部６２）は、このようにして転送されたユーザ情報をユーザ情報記憶部２２から読み出すことで、ユーザ情報を取得する。なおユーザ情報取得部１２が、ユーザ情報記憶部２２を介さずに直接に携帯型電子機器１００からのユーザ情報を取得してもよい。
【００９８】
演算部１３は、取得されたユーザ情報に対する演算処理を行う。具体的には、必要な場合には、ユーザ情報に対する解析処理やフィルタリング処理を行う。例えばユーザ情報が１次センサ情報等である場合には、上式（１）（２）で説明した演算処理を行って、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境（ＴＰＯ情報）をセンサ情報に基づき同定するための解析処理などを行う。
【００９９】
提示情報決定部１４は、取得されたユーザ情報（演算処理後のユーザ情報）に基づいて、ロボットがユーザに対して提示（提供）する提示情報（会話、感情表現、行動表現）の決定処理を行う。具体的には、取得された同じユーザ情報に対してロボット１、２が異なる提示情報（異なる会話フレーズ、異なる感情表現、異なる行動表現）を提示するように、ユーザに対して提示する提示情報の決定処理を行う。例えば、取得されたユーザ情報に対して、ロボット１が、第１の提示情報を提示し、ロボット２が、第１の提示情報とは異なる第２の提示情報を提示するように、提示情報の決定処理を行う。
【０１００】
なおユーザ情報取得部１２が、ユーザ情報として、ユーザの行動履歴、ユーザの状態履歴及びユーザの環境履歴の少なくとも１つであるユーザ履歴情報を取得した場合には、提示情報決定部１４は、取得されたユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う。この場合のユーザ履歴情報は、ユーザのウェアラブルセンサ１５０からのセンサ情報により携帯型電子機器１００等が更新処理を行うことで得られる情報であり、携帯型電子機器１００のユーザ情報記憶部１２２からロボット１（ロボット２）のユーザ履歴情報記憶部２３（ユーザ履歴情報記憶部７３）に転送される。またユーザの行動履歴、状態履歴、環境履歴としては、ユーザの行動（歩行、発話、食事等）、状態（疲労、緊張、空腹、精神状態、肉体状態等）、環境（場所、明るさ、気温等）を日時等に関連づけて記憶した情報（ログ情報）が考えられる。
【０１０１】
また提示情報決定部１４は、ロボットによる提示情報の提示に対するユーザの反応に基づいて、ロボットがユーザに対して次に提示する提示情報の決定処理を行う。具体的には、例えばロボット１がユーザに対して提示情報を提示し、それに対してユーザが反応すると、その反応はロボット搭載センサ３４により検知される。そして提示情報決定部１４は、ロボット搭載センサ３４からのセンサ情報に基づいて、ユーザの反応を判断（推定）し、その反応に基づいて、次に提示する提示情報を決定する。
【０１０２】
ユーザ特性情報更新部１５はユーザ特性情報の更新処理を行う。そして更新されたユーザ特性情報は、記憶部２０のユーザ特性情報記憶部２６（ユーザ特性データベース）に記憶される。具体的にはユーザ特性情報更新部１５は、ロボットによる提示情報の提示に対するユーザの反応に基づいて、ユーザ特性情報（反応履歴情報）を更新する。
【０１０３】
ここで、ユーザ特性情報は、ユーザの趣味や嗜好を表す情報であり、ユーザの感性モデルデータである。例えば本実施形態ではユーザの趣味（例えば好きなスポーツ、チーム）や嗜好（例えば好きな色、音楽）などを調べるための提示情報をロボットに提示させる。そしてその提示情報に対するユーザの反応に基づいて、ユーザの趣味や嗜好の傾向を学習して、ユーザの感性モデルのデータベースであるユーザ特性情報を構築する。
【０１０４】
なお、ロボット２の構成はロボット１と同様の構成であるため、ここでは説明を省略する。
【０１０５】
４．動作
【０１０６】
次に本実施形態の動作について説明する。一般的に、ユーザとロボットとの会話（対話）は、１人のユーザと１台のロボットというように、１対１の対峙関係で実現される。
【０１０７】
これに対して本実施形態では図３（Ａ）に示すように、１人のユーザに対して２台のロボット１、２（広義には複数台のロボット）が用意され、１対２（広義には１対Ｎ）の対峙関係で会話が実現される。そしてユーザは、ロボット１、２と直接会話するのではなく、ロボット１、２の間で行われる会話を傍観しならが聞くという形態をとる。
【０１０８】
この場合に、ロボット１、２の間での会話によりユーザに提供される情報は、ウェアラブルセンサ１５０などが有する行動センサ、状態センサ、環境センサからのセンサ情報により取得されたユーザ情報に基づくものになっている。従って、ユーザは、ロボット１、２の間で行われる会話を通して、ユーザの過去又は現在の行動や、ユーザの過去又は現在の状態や、ユーザを取り巻く過去又は現在の環境について間接的に知ることができる。
【０１０９】
このようにすれば、外部からユーザに一方的に情報を提供する利便性提供型サービスではなく、ロボット１、２の間で行われる会話を通して、ユーザの内面に働きかけ、ユーザの行動、状態、環境についての気付き（インスパイヤ）をユーザに与えることで、自己の成長を促すというインスパイヤ型ユビキタスサービスの実現が可能になる。
【０１１０】
例えば図３（Ａ）において、家に帰宅したユーザは、携帯型電子機器１００をクレードル１０１に接続して、充電等を行っている。図３（Ａ）では、このようなクレードル１０１への携帯型電子機器１００の接続により、ロボット１、２の利用可能イベントが発生したと判定し、ロボット１、２を起動し、その利用を可能にする。なおクレードル１０１への接続ではなく、ユーザとロボット１、２との接近を判定して、ロボット１、２を起動してもよい。例えば携帯型電子機器１００とロボット１、２の間の情報転送が無線により行われる場合には、その無線強度を検出することでロボット１、２の利用可能イベントの発生を判定できる。
【０１１１】
このような利用可能イベントが発生すると、ロボット１、２が起動し、その利用が可能になる。この場合に携帯型電子機器１００のユーザ情報記憶部１２２には、モバイル環境において更新されたユーザ情報が記憶されている。図３（Ａ）では、ロボット１、２の利用可能イベントが発生すると、ユーザ情報記憶部１２２に記憶されるユーザ情報を、ロボット１、２のユーザ情報記憶部２２、７２に転送する。このようにすることで、モバイル環境において更新されたユーザ情報に基づいて、ロボット１、２を制御できるようになる。
【０１１２】
例えば図３（Ａ）では、ユーザの帰宅時間がいつもよりも遅かったことが、ユーザ情報に基づき判断される。具体的には、ウェアラブルセンサ１５０のＧＰＳセンサからの場所情報やタイマからの時間情報に基づいて、ユーザの毎日の帰宅時間が計測される。そして過去におけるユーザの帰宅時間の平均と、今回の帰宅時間とが比較され、帰宅時間が遅いと判断された場合には、ユーザの帰宅時間に関する提示情報がロボット１、２により提示される。具体的には、ユーザの帰宅時間に関するシナリオデータが選択され、選択されたシナリオデータにしたがってロボット１、２が会話を開始する。例えば図３（Ａ）では、ロボット１が「今日はご主人様遅かったね！」という会話フレーズを発話し、それに対してロボット２が「最近、遅い日が多いんだよね〜」という会話フレーズを発話する。
【０１１３】
この場合に、「帰宅時間がいつもより遅い」という同じユーザ情報に対して、ロボット１、２が異なる提示情報を提示するように、ユーザに対してロボット１、２が提示する提示情報の決定処理が行われる。具体的には図３（Ｂ）では、ユーザの遅い帰宅時間について、ロボット１はユーザにとって肯定的（ポジティブ）な「きっと、仕事が忙しいんだね！」という会話フレーズを発話する。これに対して、ロボット２はユーザにとって否定的（ネガティブ）な「どうせ、毎日飲み歩いているんじゃない？」という会話フレーズを発話する。
【０１１４】
例えばロボットが、ユーザにとって常に肯定的な会話をしたり、常に否定的な会話をすると、ユーザはロボットとの会話に閉塞感や行き詰まり感を感じるおそれがある。
【０１１５】
これに対して図３（Ｂ）では、ロボット１、２が、互いに異なる対照的な会話フレーズを発話する。しかも、ユーザに対して直接会話するのではなく、ロボット１、２同士で会話を行い、ユーザがそれを見守るという形態をとる。従って、いわゆる利便性提供型サービスではなく、ロボット１、２の間で行われる会話を通してユーザに気付きを与えるというインスパイヤ型ユビキタスサービスの提供が可能になる。
【０１１６】
また図３（Ｂ）では、ユーザは実際には仕事で忙しくて帰宅が遅くなったため、「きっと、仕事が忙しいんだね！」と発話したロボット１の方を撫でている。そして、ロボット１の接触センサ４１０により（或いは後述する接触状態判定手法や発話センサ４１１により）、ロボット１、２による会話フレーズの発話（提示情報の提示）に対するユーザの反応である「撫でる動作」が検知される。
【０１１７】
すると、このような「撫でる動作」というユーザの反応に基づいて、ロボット１、２がユーザに対して次に会話する発話フレーズ（次に提示する提示情報）の決定処理を行う。具体的には図３（Ｃ）に示すように、撫でられた側のロボット１は、自身の意見が肯定されたため、「そ〜れ言った通りじゃない！」と発話し、ロボット２は対照的に「そうか〜。てっきりバーの女の子に夢中なのかと思った」と発話する。そして、その後は、ユーザの忙しい仕事の話題に関するシナリオにより、ロボット１、２の間の会話が続けられる。
【０１１８】
なお、図３（Ｂ）に示すようにユーザが撫でる動作を行うと、その撫でる動作がユーザの反応履歴情報として蓄積され、ユーザ特性情報記憶部２４のデータベースの更新処理が行われる。例えば図３（Ｂ）でのユーザの反応により、ユーザは、毎日飲み歩くことよりも仕事の方を優先するタイプであると判断される。そこで、例えばユーザ特性情報のうちの仕事指向に関するパラメータを上昇させる処理を行い、ユーザの特性情報（感性データベース）の更新処理を行う。そして、次にユーザに対して提供するシナリオデータを選ぶ際には、このユーザ特性情報も考慮し、例えば仕事に関連するシナリオデータを優先して選択するようにする。
【０１１９】
例えばユーザの趣味、嗜好を、ウェアラブルセンサ１５０からのセンサ情報のみに基づいて推定することは難しい。例えばユーザが、趣味よりも仕事の方を優先するのか、或いはユーザはどのような色が好きなのかは、行動センサ等からのセンサ情報だけでは判断することが難しい。従って、このようなユーザの趣味、嗜好については、例えばユーザに対してアンケートにより問い合わせることなどで判断せざるを得なかった。
【０１２０】
この点、図３（Ｂ）では、ロボット１、２が対照的な会話フレーズを発話し、それに対するユーザの反応に基づいて、ユーザ特性情報を更新する。従って、例えばユーザが、仕事指向なのか趣味指向なのか、或いはどのような色が好きなのかなどを、簡単に判断できユーザ特性情報に反映させることが可能になる。
【０１２１】
図４に本実施形態の動作を説明するためのフローチャートを示す。
【０１２２】
まずユーザ情報取得部１２が、行動センサ等からのセンサ情報により得られるユーザ情報を取得する（ステップＳ１）。具体的には携帯型電子機器１００からのユーザ情報がユーザ情報記憶部２２に転送され、この転送されたユーザ情報を読み出す。
【０１２３】
次に、必要であれば、ユーザ情報に基づいてユーザのＴＰＯを推定する（ステップＳ２）。ここで、ＴＰＯ（Time Place Occasion）の情報は、時間情報（年、月、週、日、時間等）、ユーザの場所情報（居場所、位置、距離等）及びユーザの状況情報（精神・肉体状況、ユーザに対して発生したイベント等）の少なくとも１つの情報である。例えばＧＰＳセンサにより得られる緯度・経度情報の意味合いは、ユーザに応じて異なり、その緯度・経度の場所がユーザの自宅であれば、ユーザの居場所は自宅であると推定される。
【０１２４】
次に、ユーザ情報、ＴＰＯに基づいて、ロボット１、２がユーザに提示する提示情報を決定し、ロボット１、２に異なる提示情報を提示させるロボット制御を行う（ステップＳ３、Ｓ４）。具体的には、図３（Ａ）〜図３（Ｃ）で説明したように、ロボット１、２が発話する会話フレーズを決定し、その会話フレーズを発話させるロボット制御を行う。
【０１２５】
次に、ステップＳ４での提示情報の提示に対するユーザの反応をモニタする（ステップＳ５）。例えばユーザがロボット１、２を撫でる動作をしたのか、叩く動作をしたのか、或いは何もしなかったのかを判断する。そして、モニタされたユーザの反応に基づいて、次にロボット１、２が提示する提示情報を決定する（ステップＳ６）。即ち次にロボット１、２が発話する会話フレーズを決定する。そしてユーザの反応に基づいて、ユーザ特性情報（感性データベース）を更新する（ステップＳ７）。
【０１２６】
５．システム構成例
【０１２７】
次に本実施形態の種々のシステム構成例について具体的に説明する。図５は本実施形態の第２のシステム構成例である。図５ではロボット１がマスタ側に設定され、ロボット２がスレーブ側に設定される。そして本実施形態のロボット制御システムは、主にマスタ側のロボット１が有する処理部１０により実現される。
【０１２８】
具体的にはマスタ側のロボット１に設けられたユーザ情報取得部１２がユーザ情報を取得し、マスタ側の提示情報決定部１４が、取得されたユーザ情報に基づいて、ロボット１、２がユーザに対して提示する提示情報の決定処理を行う。例えばマスタ側、スレーブ側のロボット１、２が、各々、第１、第２の提示情報を提示することが決定された場合には、マスタ側のロボット制御部３０は、決定された第１の提示情報をロボット１に提示させるための制御を行う。このようにしてマスタ側のロボット１が制御される。またマスタ側の提示情報決定部１４は、スレーブ側のロボット２に対して、ユーザへの提示情報の提示を指示する。例えばマスタ側、スレーブ側が、各々、第１、第２の提示情報を提示することが決定された場合には、スレーブ側のロボット２に対して、第２の提示情報を提示することを指示する。するとスレーブ側のロボット制御部８０は、決定された第２の提示情報をロボット２に提示させるためのロボット制御を行う。このようにしてスレーブ側のロボット２が制御される。
【０１２９】
この場合に、通信部４０は、提示情報の提示を指示する指示情報を、マスタ側のロボット１からスレーブ側のロボット２に対して、例えば無線等により通信する。そしてスレーブ側の通信部９０がこの指示情報を受信すると、スレーブ側のロボット制御部８０は、この指示情報で指示された提示情報をロボット２に提示させるためのロボット制御を行う。
【０１３０】
ここで提示情報の指示情報は、例えば提示情報の識別コードなどである。提示情報がシナリオの会話フレーズである場合には、この指示情報は、シナリオにおける会話フレーズのデータコードになる。
【０１３１】
例えばロボット１、２が掛け合いの会話を行う場合に、ロボット１の発話した会話フレーズをロボット２が音声認識し、その音声認識の結果に基づいてロボット２に会話フレーズを発話させる手法が考えられる。
【０１３２】
しかしながら、この手法によると複雑な音声認識処理や解析処理が必要になり、ロボットの高コスト化、処理の複雑化、誤動作の発生などを招く。
【０１３３】
この点、図５では、マスタ側のロボット１の制御の下で、ロボット１、２の掛け合いの会話が実現される。即ち、ユーザの目からは、ロボット１、２がお互いの言葉を認識し合いながら会話しているように見えるが、実際には、全ての会話がマスタ側のロボット１の制御の下で行われる。またスレーブ側のロボット２は、マスタ側のロボット１から通信される指示情報に基づいて、自身が提示する情報を決定するため、音声認識処理を不要にできる。従って、複雑な音声認識処理等を行わなくても、ロボット１、２の間での掛け合いの会話を、誤動作の少ない安定した制御の下で実現できる。
【０１３４】
図６に本実施形態の第３のシステム構成例を示す。図６では、ローカルサーバであるホームサーバ２００が設けられている。このホームサーバ２００は、ホームサブシステムの制御対象機器の制御のための処理を行ったり、外部との通信処理などを行う。ロボット１、２はこのホームサーバ２００の制御の下で動作する。
【０１３５】
そして図６のシステムでは、携帯型電子機器１００とホームサーバ２００とは例えば無線ＬＡＮやクレードル等で通信接続され、ホームサーバ２００とロボット１、２とは例えば無線ＬＡＮ等で通信接続される。そして本実施形態のロボット制御システムは、主にホームサーバ２００の処理部２１０により実現される。なおロボット制御システムの処理を、ホームサーバ２００とロボット１、２との分散処理により実現してもよい。
【０１３６】
携帯型電子機器１００を所持したユーザが家に近づくと、無線ＬＡＮ等により携帯型電子機器１００とホームサーバ２００との間の通信が可能になる。或いは携帯型電子機器１００をクレードルに置くことで、通信が可能になる。
【０１３７】
そして通信経路が確立されると、携帯型電子機器１００からホームサーバ２００のユーザ情報記憶部２２２にユーザ情報が転送される。これにより、ホームサーバ２００のユーザ情報取得部２１２がユーザ情報を取得する。そして演算部２１３が必要な演算処理を行い、提示情報決定部２１４が、ロボット１、２がユーザに対して提示する提示情報を決定する。そして、決定された提示情報又は提示情報の指示情報（例えば会話フレーズの発話指示情報）が、ホームサーバ２００の通信部２３８からロボット１、２の通信部４０、９０に送信される。そしてロボット１、２のロボット制御部３０、８０は、受信した提示情報又は受信した指示情報により指示される提示情報を、ユーザに提示するためのロボット制御を行う。またユーザの反応に基づくユーザ特性情報の更新も、ホームサーバ２００のユーザ特性情報更新部２１５が行う。
【０１３８】
図６の構成によれば、例えばユーザ情報や提示情報（シナリオデータ）のデータサイズが大きい場合に、ロボット１、２にユーザ情報や提示情報の記憶部を設けなくても済むため、ロボット１、２の低コスト化やコンパクト化を図れる。またユーザ情報や提示情報の転送や演算処理を、ホームサーバ２００に一元化して処理、管理できるため、よりインテリジェントなロボット制御が可能になる。
【０１３９】
また図６のシステムによれば、ロボット１、２の利用可能イベントが発生する前に、携帯型電子機器１００からのユーザ情報を、ホームサーバ２００のユーザ情報記憶部２２２に予め転送しておくことができる。例えばユーザが家に帰ってロボット１、２に近づく前に（具体的には、ユーザが身につけたウェアラブルセンサ１５０の１つであるＧＰＳセンサからの情報が、ユーザが最寄り駅に着いたことを示したり、ホームセンサの１つであるドアの開閉センサからの情報が、ユーザが玄関のドアを開けたことを示したりしたタイミングなど）、モバイル環境で更新されたユーザ情報をホームサーバ２００のユーザ情報記憶部２２２に予め転送して書き込んでおく。そしてユーザがロボット１、２に近づき、ロボット１、２の利用可能イベントが発生すると、ユーザ情報記憶部２２２に予め転送されたユーザ情報を用いた、ロボット１、２の制御動作を開始させる。即ちロボット１、２を起動し、例えば図３（Ａ）〜図３（Ｃ）に示すような会話を行うようにロボット１、２を制御する。このようにすれば、ロボット１、２が起動した後に、ユーザ情報に基づく会話を直ぐに開始できるようになり、制御を効率化できる。
【０１４０】
図７に本実施形態の第４のシステム構成例を示す。図７では、メインサーバである外部サーバ３００が設けられている。この外部サーバ３００は、携帯型電子機器１００との間やホームサーバ２００との間での通信処理を行ったり、各種の管理制御を行う。
【０１４１】
そして図７のシステムでは、携帯型電子機器１００と外部サーバ３００とはＰＨＳ等の無線ＷＡＮで通信接続され、外部サーバ３００とホームサーバ２００とはＡＤＳＬ等の有線ＷＡＮで通信接続され、ホームサーバ２００とロボット１、２とは無線ＬＡＮ等で通信接続される。そして本実施形態のロボット制御システムは、主に、ホームサーバ２００の処理部２１０や外部サーバ３００の図示しない処理部により実現される。なおロボット制御システムの処理を、ホームサーバ２００、外部サーバ３００、ロボット１、２の分散処理により実現してもよい。
【０１４２】
携帯型電子機器１００、ホームサーバ２００等の各ユニットは、適宜、外部サーバ３００と通信して、ユーザ情報の転送処理を行う。また、ＰＨＳの位置登録情報、ＧＰＳセンサ、マイク等を利用して、ユーザが家に近づいたか否かを判断し、近づいた場合には、外部サーバ３００の図示しないユーザ情報記憶部に記憶されたユーザ情報を、ホームサーバ２００のユーザ情報記憶部２２２にダウンロードして、ロボット１、２による提示情報の提示制御を開始させる。なお、後述するシナリオデータ等の提示情報も、外部サーバ３００からホームサーバ２００の提示情報記憶部２２６にダウンロードできる。
【０１４３】
図７のシステムによれば、ユーザ情報や提示情報を、外部サーバ３００において一元的に管理できるようになる。
【０１４４】
６．ユーザ履歴情報
【０１４５】
次に、ユーザ情報の１つであるユーザ履歴情報の更新処理やユーザ履歴情報の具体例について説明する。なおユーザ情報は、センサ情報によりリアルタイムに得られるユーザ情報と、このリアルタイムに得られるユーザ情報の履歴であるユーザ履歴情報などを含むことができる。
【０１４６】
図８は、ユーザ履歴情報の更新処理の一例を示すフローチャートである。
【０１４７】
まず、ウェアラブルセンサ１５０等からのセンサ情報を取得する（ステップＳ２１）。次に、取得されたセンサ情報のフィルタリングや解析等の演算処理を行う（ステップＳ２２）。そして演算結果に基づきユーザの行動、状態、環境等（ＴＰＯ、情感）を推定する（ステップＳ２３）。そして推定されたユーザの行動、状態等のユーザ履歴を日時（年、月、週、日、時間）等に関連づけてユーザ履歴情報記憶部２３（２２３）に記憶して、ユーザ履歴情報を更新する（ステップＳ２４）。
【０１４８】
図９にユーザ履歴情報の具体例が模式的に示される。図９のユーザ履歴情報は、ユーザの行動等の履歴が時間帯、時刻等に関連づけられたデータ構造になっている。例えば８時にユーザは自宅を出発し、８時〜８時２０分の時間帯では自宅から駅まで歩行し、８時２０分に自宅の最寄りのＡ駅に到着している。そして８時２０分〜８時４５分の時間帯では電車に乗車し、８時４５分に会社の最寄りのＢ駅で下車し、９時に会社に到着し、業務を開始している。１０時〜１１時の時間帯では社内のメンバとミーティングを行い、１２時〜１３時の時間帯では昼食をとっている。
【０１４９】
このように図９では、センサからの情報等により推定されるユーザの行動等の履歴を、時間帯や時刻等に関連づけることで、ユーザ履歴情報が構築されている。
【０１５０】
また図９では、時間帯や時刻に対して、センサ等により計測されるユーザの発話量、食事量、脈拍、発汗量等の計測値も関連づけられている。例えば８時〜８時２０分の時間帯では、ユーザは自宅からＡ駅に歩いているが、この時の歩行量等がセンサにより計測されて、８時〜８時２０分の時間帯に関連づけられる。この場合に、例えば歩行速度、発汗量等の歩行量以外のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの運動量等を把握することが可能になる。
【０１５１】
１０時〜１１時の時間帯では、ユーザは同僚とのミーティングを行っているが、この時の発話量等がセンサにより計測されて、１０時〜１１時の時間帯に関連づけられる。この場合に、例えば音声状態、脈拍等のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの会話量や緊張度等を把握することが可能になる。
【０１５２】
２０時４５分〜２１時４５分や２２時〜２３時の時間帯では、ユーザはゲームをプレイしたり、テレビを鑑賞しているが、この時の脈拍、発汗量等がこれらの時間帯に関連づけられる。こうすることで、これらの時間帯でのユーザの興奮度等を把握することが可能になる。
【０１５３】
２３時３０分〜の時間帯では、ユーザは睡眠をしているが、この時のユーザの体温の変化がこの時間帯に関連づけられる。こうすることで、睡眠時におけるユーザの健康状態を把握することが可能になる。
【０１５４】
なお、ユーザ履歴情報は図９のような形態に限定されず、例えばユーザの行動等の履歴を日時等に関連づけないでユーザ履歴情報を構築する変形実施も可能である。
【０１５５】
例えば図１０（Ａ）では、センサ情報の計測値である発話量、音声状態、脈拍、発汗量等に基づいて、所定の演算式にしたがってユーザの精神状態パラメータが演算される。例えば発話量が多ければ、精神状態パラメータも高くなり、ユーザの精神状態が良好であることが示される。またセンサ情報の計測値である歩行量、歩行速度、体温等に基づいて、所定の演算式にしたがってユーザの身体状態（健康状態）のパラメータ（運動量パラメータ）が演算される。例えば歩行量が多ければ、身体状態パラメータも高くなり、ユーザの身体状態が良好であることが示される。
【０１５６】
また図１０（Ｂ）に示すように、ユーザの精神状態、身体状態のパラメータ（広義には状態パラメータ）は、棒グラフ等を利用して可視化することで、ウェアラブルディスプレイやホームディスプレイに表示できる。またモバイル環境で更新された精神状態、身体状態のパラメータなどに基づいて、ホーム環境のロボットを制御して、ユーザを労ったり、励ましたり、あるいはユーザに助言する動作をロボットに行わせることが可能になる。
【０１５７】
以上のように本実施形態では、ユーザ情報として、ユーザの行動履歴、状態履歴、及び環境履歴の少なくとも１つであるユーザ履歴情報が取得される。そして取得されたユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理が行われるようになる。
【０１５８】
７．シナリオに基づくロボットの会話
【０１５９】
次に、ユーザへの提示情報がシナリオに基づくロボット同士の会話である場合を例にとり、その具体例について詳細に説明する。
【０１６０】
７．１ 構成
【０１６１】
図１１に本実施形態の更に詳細なシステム構成例を示す。図１１は図２等に比べて、処理部１０が更にイベント判定部１１、接触状態判定部１６、発話権制御部１７、シナリオデータ取得部１８、ユーザ情報更新部１９を含んでいる。また記憶部２０がシナリオデータ記憶部２７を含んでいる。
【０１６２】
イベント判定部１１は各種のイベントの判定処理を行う。具体的には、モバイルサブシステムや車内サブシステムでユーザ情報を更新していたユーザが、新たにホームサブシステムのロボットの利用が可能になったことを示すロボットの利用可能イベントの発生を判定する。例えばイベント判定手段１１は、ユーザがロボットの場所（家）に接近（移動）した場合に、ロボットの利用可能イベントが発生したと判定する。或いは情報転送が無線により行われる場合には、その無線強度を検出することで利用可能イベントの発生を判定してもよい。或いはクレードルに携帯型電子機器が接続された場合に、利用可能イベントが発生したと判定してもよい。そして、このようなロボットの利用可能イベントが発生した場合には、ロボット１、２を起動し、ユーザ情報記憶部２２等にユーザ情報がダウンロードされる。
【０１６３】
シナリオデータ記憶部２７は、複数の会話フレーズにより構成されるシナリオデータを、提示情報として記憶する。そして提示情報決定部１４は、このシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定する。するとロボット制御部３０は、決定された会話フレーズをロボットに発話させるための制御を行う。
【０１６４】
具体的にはシナリオデータ記憶部２７は、複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶する。そして提示情報決定部１４は、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定する。更に具体的には提示情報決定部１４は、第１のシナリオデータ（例えば野球の話題）に基づきロボットが発話した会話フレーズに対するユーザの反応が所与の反応（例えば無反応）であった場合には、第１のシナリオデータとは異なる第２のシナリオデータ（例えば野球以外の話題）を選択し、次にロボットに発話させる会話フレーズを第２のシナリオデータに基づき決定する。
【０１６５】
接触状態判定部１６は、後述するように、ロボットのセンシング面における接触状態を判定する。そして提示情報決定部１４は、ロボットによる会話フレーズの発話（提示情報の提示）に対するユーザの反応として、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、接触状態判定部１６での判定結果に基づき判断する。そして、ユーザに対して次に発話する会話フレーズ（次に提示する提示情報）を決定する。
【０１６６】
この場合に接触状態判定部１６は、センシング面よりも内側（ロボットの内側）に設けられたマイク（音センサ）からの出力信号（センサ信号）に対して演算処理を行うことで得られた出力データに基づいて、センシング面における接触状態を判定する。この場合の出力データは、例えば信号強度（信号強度データ）であり、接触状態判定部１６は、出力データで信号強度と、所定のしきい値との比較処理を行うことで、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定できる。
【０１６７】
発話権制御部１７は、ロボットが発話した会話フレーズに対するユーザの反応（例えば撫でる、叩く、無言）に基づいて、ロボット１、２のいずれに対して次の会話フレーズの発話権（発話の主導権）を付与するかを制御する。具体的には、ロボット１、２のいずれか一方のロボットが発話した会話フレーズに対してユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定する。例えばユーザが肯定的な反応をした方のロボットに発話権を付与したり、ユーザが否定的な反応をしなかった方のロボットに発話権を付与する。この発話権の制御処理は、ロボット１、２のいずれに発話権を付与するかを示す発話権フラグ等を利用して実現できる。
【０１６８】
例えば図１２（Ａ）では、ロボット１の「きっと仕事が忙しいんだね！」という発話フレーズに対して、ユーザは頭を撫でるという肯定的な反応をしている。従って、この場合には図１２（Ｂ）に示すように、頭を撫でられた方（肯定的な反応をされた方）のロボット１に対して次の発話権を付与する。これにより発話権を付与されたロボット１は「そ〜れ、言った通りじゃない！」という会話フレーズを発話する。即ちロボット１、２は例えば交互に発話するのが原則であり、この原則に従えば図１２（Ｂ）ではロボット２の方に次の発話権が付与されるはずであるが、図１２（Ｂ）では、ユーザにより頭が撫でられたロボット１の方に次の発話権を付与している。
【０１６９】
また図１３（Ａ）では、ロボット１の「どうせ、毎日飲み歩いているんじゃない?」という発話フレーズに対して、ユーザは頭を叩くという否定的な反応をしている。従って、この場合には図１３（Ｂ）に示すように、頭を叩かれていない方（否定的な反応をされていない方）のロボット２に対して、原則通り次の発話権を付与する。これにより発話権を付与されたロボット２は「そ〜れ、言った通りじゃない！」という会話フレーズを発話する。
【０１７０】
例えばロボット１、２が常に交互に順番に会話するだけでは、ロボット１、２の掛け合いの会話がユーザにとって単調なものになってしまい、ユーザに直ぐに飽きられてしまう。
【０１７１】
これに対して図１２（Ａ）〜図１３（Ｂ）の発話権制御手法を用いれば、ユーザの反応に応じて発話権の付与が様々に切り替わるため、会話が単調になるのを防止でき、ユーザが飽きにくいロボット間の会話を実現できる。
【０１７２】
シナリオデータ取得部１８は、複数のシナリオデータの中からユーザ情報に基づき選択されたシナリオデータを取得する。
【０１７３】
具体的には、例えばＮ個のシナリオデータの中から、ユーザ情報に基づき選択されたＭ個（Ｎ＞Ｍ≧１）のシナリオデータが、図示しないネットワークを介してシナリオデータ記憶部２７にダウンロードされる。例えばシナリオデータは、外部サーバ３００からロボット１に設けられたシナリオデータ記憶部２７に直接ダウンロードしたり、外部サーバ３００からホームサーバ２００を介してシナリオデータ記憶部２７にダウンロードする。或いは図７の構成では、外部サーバ３００からホームサーバ２００に設けられたシナリオデータ記憶部（提示情報記憶部２２６）にダウンロードする。
【０１７４】
そしてシナリオデータ取得部１８は、ダウンロードされたＭ個のシナリオデータのうちの例えば１つをシナリオデータ記憶部２７から読み出すことで、ロボットの会話に使用するシナリオデータを取得する。
【０１７５】
この場合に、シナリオデータ取得部１８により取得されるシナリオデータは、ユーザの現在の日時情報、ユーザの現在の場所情報（現在の居場所）、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択することができる。即ちリアルタイムなユーザ情報に基づき選択できる。或いは、ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づきシナリオデータを選択してもよい。即ちリアルタイムなユーザ情報ではなく、過去から現在に至るユーザ履歴情報に基づきシナリオデータを選択してもよい。
【０１７６】
このようにユーザ情報やユーザ履歴情報に基づいてシナリオデータを選択すれば、現在の日時やユーザの過去又は現在の状況、場所等に適合したシナリオデータを選択して、ロボットに会話させることが可能になる。
【０１７７】
なおユーザ特性情報更新部１５はロボットが発話した会話フレーズに対するユーザの反応に基づいて、ユーザ特性情報を更新する。そしてこの時、シナリオデータ取得部１８は、ユーザ特性情報に基づき選択されたシナリオデータを取得してもよい。このようにすれば、ユーザの反応に基づいてユーザの趣味、嗜好等を学習して、ユーザ特性情報を更新し、ユーザの趣味、嗜好等に適合したシナリオデータを選択して使用できるようになる。
【０１７８】
次に本実施形態の詳細な動作について図１４のフローチャートを用いて説明する。
【０１７９】
まず、センサ情報に基づいてユーザ情報を取得する（ステップＳ３１）。そしてユーザのＴＰＯを推定する（ステップＳ３２）。
【０１８０】
次に、ユーザ情報、ＴＰＯに基づいて、シナリオデータを取得する（ステップＳ３３）。具体的には、ユーザ情報等に適合したシナリオデータをネットワークを介してダウンロードする。
【０１８１】
次に、取得されたシナリオデータに基づいて、ロボット１、２に発話させる会話フレーズを決定する（ステップＳ３４）。そしてロボット１、２に異なる会話フレーズを発話させるロボット制御を行う（ステップＳ３５）。
【０１８２】
次に、ロボット１、２の発話に対するユーザの反応をモニタする（ステップＳ３６）。そして別のシナリオデータに分岐させるか否かを判断し（ステップＳ３７）、分岐させる場合にはステップＳ３３に戻る、一方、分岐させない場合には図１２（Ａ）〜図１３（Ｂ）に示す手法により次の会話フレーズの発話権を決定する（ステップＳ３８）。またユーザの反応に基づいて、次にロボット１，２が発話する会話フレーズを決定する（ステップＳ３９）。更に、ユーザの反応に基づいて、ユーザ特性情報（感性データベース）を更新する（ステップＳ４０）。
【０１８３】
７．２ シナリオの具体例
【０１８４】
次に、本実施形態で使用されるシナリオデータやその選択手法の具体例について説明する。
【０１８５】
図１５に示すようにシナリオデータベースの各シナリオデータにはシナリオ番号が付与されている。そしてシナリオ番号により特定されるシナリオデータは、複数のシナリオデータコードにより構成され、各シナリオデータコードにより各会話フレーズ（テキストデータ）が指定される。
【０１８６】
例えば図１５では、ユーザ情報に基づいて、ユーザがいつもよりも遅い時間に帰宅したと判断されたため、シナリオ番号＝０５７９のシナリオデータが選択されている。そしてシナリオ番号＝０５７９のシナリオデータは、Ａ０１、Ｂ０１、Ａ０２、Ｂ０２、Ａ０３、Ｂ０３のシナリオデータコードにより構成される。ここでＡ０１、Ａ０２、Ａ０３は、ロボット１が順次発話する会話フレーズのコードであり、Ｂ０１、Ｂ０２、Ｂ０３は、ロボット２が順次発話する会話フレーズのコードである。そしてこのシナリオデータを使用することで、図３（Ａ）〜図３（Ｃ）で説明した、ユーザ情報に応じたロボット１、２の間の掛け合いの会話が実現される。
【０１８７】
図１６は、「撫でる」、「叩く」、「無反応」などのユーザの反応（行動）に基づくシナリオ分岐の例である。
【０１８８】
例えば、まずロボット１が「今日はチームＡが勝ったみたいだよ！！」と発話する。この発話に対してユーザがロボット１を撫でた場合には、ユーザは野球チームＡのファンであると推定する。従って、この場合にはロボット２は、「そうそう！８−７の逆転勝ち！！」と発話し、チームＡの勝利の様子を更に詳しく解説する。そしてこの発話に対してユーザがロボット２を撫でた場合には、ユーザはチームＡの勝利の仕方に満足していると推定する。従って、この場合にはロボット１は「ホームランがすごかったね！！」と発話する。一方、ロボット２を叩いた場合には、ユーザはチームＡは勝ったもののその勝利の仕方に満足していないと推定する。従って、この場合にはロボット１は「でも、投手陣が不安定だね〜」と発話する。なおユーザが無反応の場合には別シナリオに移行する。
【０１８９】
また、ロボット１の「今日はチームＡが勝ったみたいだよ！！」という発話に対して、ユーザがロボット１を叩いた場合には、ユーザは野球チームＡのファンではないと推定する。従って、この場合にはロボット２は「そんなことより、チームＢはどうだった？」と発話し、チームＡとは異なるチームＢの話に話題を変える。そして野球に関するシナリオの別分岐に移行する。
【０１９０】
またユーザが無反応であった場合には、ユーザはそもそも野球には興味がないと推定する。従って、この場合にはロボット２は「ふ〜ん、そうなんだ〜」と発話し、野球以外の別のシナリオに移行する。
【０１９１】
このように図１６では、ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定している。またユーザの撫でる、叩くなどの反応を検知することで、ユーザが好きな野球チームなどを知ることができ、これによりユーザ特性情報を更新できる。
【０１９２】
図１７は、「撫でる」などのユーザの反応に基づくシナリオ選択やユーザ特性情報（データベース）の更新の例である。
【０１９３】
まずロボット１が「今日の天気はどうかな〜」と発話する。これに対してロボット２が「そんなことより、今日のニュース見た？」と発話する。そしてロボット１が「今日の株価なら見たけど・・・」と発話し、この発話に対してユーザがロボット１を撫でると、ユーザは株の話題に興味があると推定する。そこでこの場合には、株価情報シナリオに移行し、ロボット１は「今日の日経平均株価は１７７６０円だったよ！」「プラス６０円だね。Ｃ社の株価は・・・」と発話する。
【０１９４】
このとき、本実施形態では、ユーザの反応により選択されたシナリオログに基づいて、ユーザ特性情報のデータベースを更新する。即ちユーザの反応により、ユーザは株の話題に興味があると推定し、ユーザの趣味、嗜好の１つが株であることをデータベースに登録して学習させる。このようにすれば、次にシナリオデータを選択する時に、株に関連したシナリオが選択される確率が高くなり、ユーザの趣味、嗜好に沿った話題を提供できるようになる。
【０１９５】
即ち、ユーザの趣味、嗜好をアンケートの記入等により調査する手法では、ユーザに面倒な手間を強いることになり、好ましくない。この点、図１７の手法では、ユーザがロボットの会話に反応することで、ユーザに余計な手間を強いることなく、自動的にユーザの趣味、嗜好を調査・収集できるという利点がある。
【０１９６】
図１８、図１９は、リアルタイムなユーザ情報に基づくシナリオ選択の例である。
【０１９７】
図１８では、ユーザ情報として、「現在の日時：６月１０日（日曜日）１１：３０」、「現在の場所：自宅」、「今日の歩数：１８６歩」、「現在の運動量：少ない」、「現在の発話量：少ない」が取得されている。これらのユーザ情報は、ウェアラブルセンサ１５０等からのセンサ情報により取得される。
【０１９８】
そして、取得されたユーザ情報に基づいて、ユーザのＴＰＯが「日曜日に、特に何もせずに、家でゴロゴロしている」と推定される。そこでこの場合には、「今日のニュース、天気、ＴＶ番組などの話題」、「近所のイベント情報に関する話題」、「運動不足に関する話題」、「家族に関する話題」などのシナリオ（シナリオ選択候補）が選択される。即ち図１８では、現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報、或いはユーザの現在の状況情報に基づきシナリオ（シナリオデータ）が選択される。
【０１９９】
具体的には図１９に示すように、選択されたシナリオに基づいて、ロボット１、２の間で「ご主人様は家でゴロゴロだね」、「いつものことだよ」、「あれじゃあ、運動不足になっちゃうね」、「散歩でもすればいいのにな〜」、「面白いイベント情報があるんだけどな〜」、「う〜ん、だめだね〜」などの会話が行われる。従ってユーザは、これらのロボット１、２間の会話を傍らで聞くことにより、自身の現在の行動、状況等について間接的に知ることができる。従って、ユーザに対して一方的に情報を提供する利便性提供型のサービスではなく、ユーザの内面に間接的に働きかけることによりユーザに気付きを与え、自己の成長を促すインスパイヤ型ユビキタスサービスを実現できる。
【０２００】
なお図１９において「面白いイベント情報があるんだけどな〜」というロボット１の発話に対してユーザがロボット１を例えば撫でると、ユーザがイベント情報に興味があると推定し、図１８のシナリオ選択候補のうちイベント情報シナリオを選択して分岐する。また「散歩でもすればいいのにな〜」というロボット２の発話に対してユーザがロボット２を例えば撫でると、ユーザが散歩に興味があると推定し、散策スポット情報シナリオに分岐する。
【０２０１】
図２０、図２１は、ユーザ履歴情報（１日の蓄積情報）に基づくシナリオ選択の例である。
【０２０２】
図２０では、ユーザ履歴情報として、「日時：６月１１日（月曜日）晴れ２８度」、「その日に行った場所：自宅、新宿、横浜」、「今日の累積の歩数：１５０２３歩」、「今日の累積の運動量：多い」、「今日の累積の発話量：多い」が取得されている。これらのユーザ履歴情報は、ウェアラブルセンサ１５０等からのセンサ情報の蓄積・履歴により取得される。
【０２０３】
そして、取得されたユーザ履歴情報に基づいて、ユーザのＴＰＯが「平日、仕事で横浜に出張。徒歩での移動が普段と比べて多く大変疲れている。運動量、発話量も多く、活発な１日であった」と推定される。そこでこの場合には、「今日のニュース、天気、ＴＶ番組などの話題」、「行った場所（横浜）に関する話題」、「今日はたくさん歩いてお疲れ様、という労いの話題」などのシナリオ（シナリオ選択候補）が選択される。即ち図２０では、ユーザの行動履歴情報、或いはユーザの状態履歴情報などに基づきシナリオ（シナリオデータ）が選択される。
【０２０４】
具体的には図２１に示すように、選択されたシナリオに基づいて、ロボット１、２の間で「今日はたくさん歩いてお疲れ様！！」、「めずらしくたくさん歩いたね」、「今日は横浜に行ってきたんだ〜」、「横浜って雰囲気がいいよね」、「赤レンガ倉庫のあたりなんか素敵だよね」、「うんうん、中華街とかも行きたいな〜」などの会話が行われる。従ってユーザは、これらのロボット１、２間の会話を傍らで聞くことにより、自身の今日一日の行動履歴、状況履歴について間接的に知ることができる。これにより、自身の行動履歴等についてユーザに気付きを与えることができ、インスパイヤ型ユビキタスサービスを実現できる。
【０２０５】
なお図２１において「赤レンガ倉庫のあたりなんか素敵だよね」というロボット１の発話に対してユーザがロボット１を撫でると、赤レンガ倉庫に興味があると推定し、赤レンガ倉庫情報シナリオに分岐する。同様に、「うんうん、中華街とかも行きたいな〜」というロボット２の発話に対してユーザがロボット２を撫でると、中華街情報シナリオに分岐する。
【０２０６】
図２２はユーザ特性情報のデータベースによるシナリオ選択の例である。
【０２０７】
図２２では、ユーザ特性情報として、「生年月日 職業：会社員 休日：土日」、「よく行く場所：自宅、新宿、渋谷・・・」、「平均歩数：７６８８歩」、「平均運動量：６８０ｋｃａｌ」、「発話量：６７ｍｉｎ」、「関心度：天気７５％、スポーツ６０％、旅行４５％、ＴＶ番組３０％、音楽２０％、株価１５％、ＰＣ１０％」などが取得される。ここで、関心度は、例えばユーザがロボットを撫でて詳細シナリオに進んだ割合などを利用して取得する。
【０２０８】
そして図２２のユーザ特性情報からは、「生年月日、年齢、仕事、家族に関する話題（例：サラリーマンは大変だね〜）」、「生活習慣に関する話題（例：最近運動が足りないみたいだね）」、「行動エリアに関する話題（例：新宿に新しい店ができたんだって）」、「関心度の高いジャンルに関する話題（例：１９：００から旅行番組があるよ）」などのシナリオが選択されることになる。このようにすることで、ユーザの特性（感性）にマッチしたシナリオの選択が可能になる。
【０２０９】
８．ユーザ履歴情報に基づく提示情報の決定処理
【０２１０】
次にユーザ履歴情報に基づく提示情報の決定処理の詳細について説明する。具体的にはユーザが外出により一定期間ロボット（ロボット１、２）と接触しなかった後に、帰宅してロボットと接触した場合におけるロボットの行動について説明する。
【０２１１】
例えば、ユーザが帰宅したり、ロボットと接触すると、ロボット（ホームサブシステム）の利用可能イベントが発生する。具体的には、ウェアラブルセンサのＧＰＳや、家のドアなどに付けられたセンサや、クレードルへの携帯型電子機器の接続などによりユーザの帰宅が検出されたり、無線通信における無線強度やロボットの接触センサなどによりユーザとロボットの接近が検出されると、図１１のイベント判定部１１が、ロボットの利用可能イベントが発生したと判定する。即ちロボットの利用が可能な状態になったことを示す利用可能イベントが発生したと判定する。
【０２１２】
そして図２３では、この利用可能イベント発生前の例えば外出期間（ロボットの利用不可期間、ロボットとユーザの非接近期間）を第１の期間Ｔ１とし、利用可能イベント発生後の例えば在宅期間（ロボットの利用可能期間、ロボットとユーザの接近期間）を第２の期間Ｔ２としている。そしてこの第１の期間Ｔ１において取得（更新）されるユーザ履歴情報が第１のユーザ履歴情報となり、第２の期間Ｔ２において取得（更新）されるユーザ履歴情報が第２のユーザ履歴情報となる。
【０２１３】
ここで、第１のユーザ履歴情報は、第１の期間Ｔ１において、図１１のウァアラブルセンサ１５０の行動センサ、状態センサ、環境センサを用いてユーザの行動（歩行、発話、食事等）、状態（疲労、緊張、空腹、精神状態、肉体状態等）、又は環境（場所、明るさ、気温等）を計測することで、取得できる。具体的には携帯型電子機器１００のユーザ情報更新部が、これらのセンサからのセンサ情報に基づいて、携帯型電子機器１００のユーザ情報記憶部のユーザ履歴情報を更新することで、第１の期間Ｔ１での第１のユーザ履歴情報が取得される。
【０２１４】
そして、ロボット１、２の利用可能イベントが発生すると、第１の期間Ｔ１において更新された第１のユーザ履歴情報が、携帯型電子機器１００のユーザ情報記憶部からロボット１（ロボット２）のユーザ情報記憶部２２（ユーザ履歴情報記憶部２３）に転送される。これにより提示情報決定部１４は、転送された第１のユーザ履歴情報に基づいて、ロボット１、２がユーザに対して提示する提示情報の決定処理（シナリオの選択処理）を行うことが可能になる。
【０２１５】
一方、第２のユーザ履歴情報は、第２の期間Ｔ２において、ロボット搭載センサ３４や他のセンサ（例えばウェアラブルセンサや、ホームに埋め込まれたホームセンサ等）を用いて、ユーザの行動、状態又は環境を計測することで、取得できる。具体的には、ユーザ情報更新部１９が、これらのセンサからのセンサ情報に基づいて、ユーザ情報記憶部２２のユーザ履歴情報を更新することで、第２の期間Ｔ２での第２のユーザ履歴情報が取得される。
【０２１６】
そして提示情報決定部１４は、図２３に示すように、例えば第１の期間Ｔ１において取得された第１のユーザ履歴情報と、第２の期間Ｔ２において取得された第２のユーザ履歴情報とに基づいて、ロボット１、２がユーザに対して提示する提示情報の決定処理を行う。具体的には、第１、第２のユーザ履歴情報に基づいて、ロボット１、２が会話するシナリオの決定処理を行う。このようにすれば、例えば外出期間でのユーザの行動等と在宅期間でのユーザの行動等の両方を加味した提示情報をユーザに提供でき、外出先や自宅での自身の行動等に関する気付きを、ユーザに与えることができる。
【０２１７】
更に具体的には提示情報決定部１４は、提示情報の決定処理の際における第１のユーザ履歴情報の重み付け（重み付け係数）と第２のユーザ履歴情報の重み付けとを、第２の期間Ｔ２において変化させている。
【０２１８】
例えば図２４では、ロボット１、２の利用可能イベントの発生時には（ユーザの帰宅時、帰宅時から所与の期間が経過するまでは）、決定処理における第１のユーザ履歴情報の重み付けの方が第２のユーザ履歴情報の重み付けに比べて大きくなっており、例えば、第１のユーザ履歴情報が１．０になり、第２のユーザ履歴情報の重み付けが０になっている。
【０２１９】
そして重み付け変更期間ＴＡにおいて、第１のユーザ履歴情報の重み付けは小さくなる一方で、第２のユーザ履歴情報の重み付けは大きくなり、重み付けの大きさが逆転する。そして、変更期間ＴＡの後は、第２のユーザ履歴情報の重み付けの方が第１のユーザ履歴情報の重み付けに比べて大きくなっており、例えば第１のユーザ履歴情報の重み付けが０になり、第２のユーザ履歴情報の重み付けが１．０になっている。
【０２２０】
このように図２４では、利用可能イベント発生時には、決定処理における第１のユーザ履歴情報の重み付けを大きくし、第２のユーザ履歴情報の重み付けを小さくし、その後、第１のユーザ履歴情報の重み付けを小さくし、第２のユーザ履歴情報の重み付けを大きくしている。具体的には、第２の期間Ｔ２では、提示情報の決定処理の際における第１のユーザ履歴情報の重み付けを時間経過に伴い小さくし、第２のユーザ履歴情報の重み付けを時間経過に伴い大きくしている。
【０２２１】
このようにすれば、第２の期間Ｔ１の前半期間では、ロボット１、２は、例えば外出期間である第１の期間Ｔ１でのユーザの行動等に関連する話題を提供する。そして、その後、時間が経過すると、今度は自宅でのユーザの行動等に関連する話題を提供する。これにより、ユーザの行動、状況等に応じたタイムリーな話題を提供できるようになる。
【０２２２】
なお重み付けの変化のさせ方は図２４の手法に限定されない。例えば図２４とは逆に、前半期間では第２のユーザ履歴情報の重み付けの方を大きくし、その後、第１のユーザ履歴情報の重み付けの方を大きくする変形実施も可能である。或いは第１の期間Ｔ１よりも前のユーザ履歴情報も考慮して、提示情報の決定処理を行ってもよい。また、重み付けの変化のさせ方は、ロボット１、２等に予めプログラミングしておく構成にしてもよいし、ユーザが好みに応じて自由に切り替えられる構成にしてもよい。
【０２２３】
図２５にユーザ履歴情報の重み付け手法の具体例を示す。決定処理の際のユーザ履歴情報の重み付けの一例としては、ユーザ履歴情報で選択されるシナリオの選択確率がある。具体的には、第１のユーザ履歴情報の重み付けを大きくする場合には、第２のユーザ履歴情報よりも第１のユーザ履歴情報の方のシナリオが選択されるようにする。具体的には、第１のユーザ履歴情報のシナリオの選択確率を大きくする。一方、第２のユーザ履歴情報の重み付けを大きくする場合には、第１のユーザ履歴情報よりも第２のユーザ履歴情報の方のシナリオが選択されるようにする。具体的には、第２のユーザ履歴情報のシナリオの選択確率を大きくする。
【０２２４】
例えば図２５に示すように、第１のユーザ履歴情報で選択されるシナリオとしては、行った場所に関する話題や、外出先の行動等に関する話題（今日はたくさん歩いてお疲れ様など）や、仕事に関する話題などがある（図２０参照）。また第２のユーザ履歴情報で選択されるシナリオとしては、自宅での生活環境（運動不足など）に関する話題や、近所のイベント情報に関する話題や、家族に関する話題や、ユーザの関心度が高いジャンルに関する話題などがある（図１８参照）。
【０２２５】
そして図２４において、第２の期間Ｔ２の前半では、第１のユーザ履歴情報の重み付けの方が大きいため、第１のユーザ履歴情報用のシナリオの選択確率が高くなる。これにより、前半期間では、ロボット１、２は、例えばユーザが行った場所に関する会話等を行うようになる。一方、第２の期間Ｔ２の後半では、第２のユーザ履歴情報の重み付けの方が大きいため、第２のユーザ履歴情報用のシナリオの選択確率が高くなる。これにより、後半期間では、ロボット１、２は、例えばユーザの自宅での生活環境（「最近、運動不足だよね」）に関する会話等を行うようになる。このようにすれば、ユーザの環境の変化（外出から在宅への変化）に対応するように、提供するシナリオの話題を変更することが可能になり、より自然なロボット１、２の会話を実現できる。
【０２２６】
９．接触状態判定
【０２２７】
次に、ロボットを叩く、撫でる等の動作の具体的な判定手法の一例について説明する。
【０２２８】
図２６（Ａ）はぬいぐるみ型のロボット５００の例である。ロボット５００の表面は、センシング面５０１として機能する。センシング面５０１よりも内側には、マイク５０２-1、５０２-2、５０２-3が設けられている。また、各マイク５０２-1、５０２-2、５０２-3からの出力信号を演算処理し、出力データを出力する信号処理部５０３が設けられている。
【０２２９】
図２６（Ｂ）の機能ブロック図に示すように、マイク５０２-1、５０２-2、５０２-3からの出力信号は信号処理部５０３に入力される。信号処理部５０３は、ノイズ除去や信号増幅等を行って、アナログの出力信号を加工・変換する。そして信号強度等を計算して、デジタルの出力データとして出力する。接触状態判定部１６は、例えばしきい値の比較処理、接触状態の分類等の処理を行う。
【０２３０】
例えば図２７（Ａ）、図２７（Ｂ）、図２７（Ｃ）は、センシング面５０１を叩いた時、センシング面５０１を撫でた時、マイクに向かって話かけた時の３パターンの音声波形例である。グラフの横軸は時間であり、縦軸は信号強度である。
【０２３１】
信号強度に着目すると、図２７（Ａ）の叩いた時と、図２７（Ｂ）の撫でた時では信号強度が大きいことがわかる。また、叩いた時はその状態が一時的なものになるが、撫でた時はその状態が継続していることがわかる。また図２７（Ｃ）に示すように例えば「あー」とかなり強めに発話した時の波形は、図２７（Ａ）の叩いた時、図２７（Ｂ）の撫でた時に比べて信号強度が小さいことがわかる。
【０２３２】
これらの差異を利用したしきい値を設けることで、「叩き状態」、「撫で状態」、「いずれでもない状態」を検出することが可能となる。また複数のマイク５０２-1、５０２-2、５０２-3を用いることにより、一番強い信号が発生した場所を「叩かれた部位、撫でられた部位」として検出できるようになる。
【０２３３】
より具体的には、ロボット５００の内部に埋め込まれたマイク５０２-1、５０２-2、５０２-3は、ロボット５００のセンシング面５０１にユーザの手などが接触した場合に、ロボット５００の内部を伝搬してくる音を検出して電気信号に変換する。
【０２３４】
信号処理部５０３は、マイク５０２-1、５０２-2、５０２-3からの出力信号（音声信号）のノイズ除去、信号増幅、Ａ／Ｄ変換を行い、出力データを出力する。この出力データを絶対値に変換して一定時間蓄積することなどにより、信号強度を算出できる。そして算出された信号強度を、しきい値ＴＨと比較する。そしてしきい値ＴＨを超えていれば、「接触」が検出されたものと判定して、接触状態検出回数としてカウントする。そしてこの接触状態検出処理を所定時間、繰り返す。
【０２３５】
所定時間が経過した時点で、接触状態判定部１６は、事前に設定しておいた条件と、前述の接触状態検出回数を比較して、例えば下述のような条件により、撫でられた状態、叩かれた状態を検出する。ここでは、撫でた場合には接触状態が継続するため接触状態検出回数も多くなるが、叩いた場合には接触状態検出回数は少なくなるという現象を利用して、撫でられた状態なのか、叩かれた状態なのかを検出する。
【０２３６】
検出状態 （検出回数／最大検出回数）×１００（％）
撫で状態 ２５％以上
叩き状態 １０％以上、２５％未満
未検出状態 １０％未満
【０２３７】
このようにすることで、少なくとも１つのマイクを用いて「撫で状態」、「叩き状態」、「いずれでもない状態（未検出状態）」を判定できる。また複数のマイクを分散して埋め込み、各マイクの接触状態検出回数を比較することで、接触が発生した部位についても判定することが可能になる。
【０２３８】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またロボット制御システムやロボットの構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【図面の簡単な説明】
【０２３９】
【図１】ユーザ情報の取得手法の説明図
【図２】本実施形態のシステム構成例。
【図３】図３（Ａ）〜図３（Ｃ）は本実施形態の手法の説明図。
【図４】本実施形態の動作を説明するためのフローチャート。
【図５】本実施形態の第２のシステム構成例。
【図６】本実施形態の第３のシステム構成例。
【図７】本実施形態の第４のシステム構成例。
【図８】ユーザ履歴情報の更新処理のフローチャート。
【図９】ユーザ履歴情報の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）はユーザ履歴情報の説明図。
【図１１】本実施形態の詳細なシステム構成例。
【図１２】図１２（Ａ）、図１２（Ｂ）は発話権の制御手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）は発話権の制御手法の説明図。
【図１４】本実施形態の詳細な動作を説明するためのフローチャート。
【図１５】シナリオデータの説明図。
【図１６】ユーザの反応に基づくシナリオ分岐手法の説明図。
【図１７】ユーザの反応に基づくシナリオ選択手法の説明図。
【図１８】リアルタイムなユーザ情報に基づくシナリオ選択手法の説明図。
【図１９】リアルタイムなユーザ情報に基づくシナリオ選択手法の説明図。
【図２０】ユーザ履歴情報に基づくシナリオ選択手法の説明図。
【図２１】ユーザ履歴情報に基づくシナリオ選択手法の説明図。
【図２２】ユーザ特性情報に基づくシナリオ選択手法の説明図。
【図２３】ユーザ履歴情報に基づく提示情報の決定手法の説明図。
【図２４】ユーザ履歴情報に基づく提示情報の決定処理の説明図。
【図２５】第１、第２のユーザ履歴情報で選択されるシナリオの例。
【図２６】図２６（Ａ）、図２６（Ｂ）は接触判定手法の説明図。
【図２７】図２７（Ａ）、図２７（Ｂ）、図２７（Ｃ）は、叩いた時、撫でた時、マイクに向かって話かけた時の音声波形例。
【符号の説明】
【０２４０】
１ 第１のロボット、２ 第２のロボット、
１０ 処理部、１１ イベント判定部、１２ ユーザ情報取得部、１３ 演算部、
１４ 提示情報決定部、１５ ユーザ特性情報更新部、１６ 接触状態判定部、
１７ 発話権制御部、１８ シナリオデータ取得部、２０ 記憶部、
２２ ユーザ情報記憶部、２３ ユーザ履歴情報記憶部、２４ ユーザ特性情報記憶部、
２６ 提示情報記憶部、２７ シナリオデータ記憶部、３０ ロボット制御部、
３２ ロボット動作機構、３４ ロボット搭載センサ、４０ 通信部、
６０ 処理部、６２ ユーザ情報取得部、６３ 演算部、６４ 提示情報決定部、
６５ ユーザ特性情報更新部、７０ 記憶部、７２ ユーザ情報記憶部、
７３ ユーザ履歴情報記憶部、７４ ユーザ特性情報記憶部、７６ 提示情報記憶部、
８０ ロボット制御部、８２ ロボット動作機構、８４ ロボット搭載センサ、
９０ 通信部、１００ 携帯型電子機器、１１０ 処理部、１１２ 演算部、
１１４ ユーザ情報更新部、１２０ 記憶部、１２２ ユーザ情報記憶部、
１３０ 制御部、１３８ 通信部、１４０ ウェアラブルディスプレイ、
１５０ ウェアラブルセンサ、２００ ホームサーバ（ローカルサーバ）、
２１０ 処理部、２１２ ユーザ情報取得部、２１３ 演算部、
２１４ 提示情報決定部、２１５ ユーザ特性情報更新部、２２０ 記憶部、
２２２ ユーザ情報記憶部、２２３ ユーザ履歴情報記憶部、
２２４ ユーザ特性情報記憶部、２２６ 提示情報記憶部、３００ 外部サーバ
【特許請求の範囲】
【請求項１】
ロボットを制御するためのロボット制御システムであって、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、
取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、
前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含み、
前記提示情報決定部は、
取得された同じ前記ユーザ情報に対して第１、第２のロボットが異なる提示情報を提示するように、ユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項２】
請求項１において、
前記第１のロボットはマスタ側に設定され、前記第２のロボットはスレーブ側に設定され、
マスタ側の前記第１のロボットに設けられた前記提示情報決定部が、スレーブ側の前記第２のロボットに対して、ユーザへの提示情報の提示を指示することを特徴とするロボット制御システム。
【請求項３】
請求項２において、
提示情報の提示を指示する指示情報を、マスタ側の前記第１のロボットからスレーブ側の前記第２のロボットに対して通信する通信部を含むことを特徴とするロボット制御システム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記ユーザ情報取得部は、
前記ユーザ情報として、ユーザの行動履歴、ユーザの状態履歴及びユーザの環境履歴の少なくとも１つであるユーザ履歴情報を取得し、
前記提示情報決定部は、
取得された前記ユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項５】
請求項４において、
ロボットの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定部を含み、
前記提示情報決定部は、
前記利用可能イベント発生前の第１の期間において取得された第１のユーザ履歴情報と、前記利用可能イベント発生後の第２の期間において取得された第２のユーザ履歴情報とに基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項６】
請求項５において、
前記提示情報決定部は、
提示情報の前記決定処理における前記第１のユーザ履歴情報の重み付けと前記第２のユーザ履歴情報の重み付けとを、前記第２の期間において変化させることを特徴とするロボット制御システム。
【請求項７】
請求項６において、
前記提示情報決定部は、
前記利用可能イベント発生時には、前記決定処理における前記第１のユーザ履歴情報の重み付けを大きくし、前記第２のユーザ履歴情報の重み付けを小さくし、その後、前記第１のユーザ履歴情報の重み付けを小さくし、前記第２のユーザ履歴情報の重み付けを大きくすることを特徴とするロボット制御システム。
【請求項８】
請求項４乃至７のいずれかにおいて、
前記ユーザ履歴情報は、ユーザのウェアラブルセンサからのセンサ情報により更新することで得られる情報であることを特徴とするロボット制御システム。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記提示情報決定部は、
ロボットによる提示情報の提示に対するユーザの反応に基づいて、ロボットがユーザに対して次に提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１０】
請求項９において、
ユーザ特性情報を記憶するユーザ特性情報記憶部と、
ロボットによる提示情報の提示に対するユーザの反応に基づいて、前記ユーザ特性情報を更新するユーザ特性情報更新部を含むことを特徴とするロボット制御システム。
【請求項１１】
請求項９又は１０において、
ロボットのセンシング面における接触状態を判定する接触状態判定部を含み、
前記提示情報決定部は、
ロボットによる提示情報の提示に対するユーザの反応として、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、前記接触状態判定部での判定結果に基づき判断して、ユーザに対して次に提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１２】
請求項１１において、
前記接触状態判定部は、
前記センシング面よりも内側に設けられたマイクからの出力信号に対して演算処理を行うことで得られた出力データに基づいて、前記センシング面における接触状態を判定することを特徴とするロボット制御システム。
【請求項１３】
請求項１２において、
前記出力データは、信号強度であり、
前記接触状態判定部は、
前記信号強度と、所定のしきい値との比較処理を行うことで、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定することを特徴とするロボット制御システム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
複数の会話フレーズにより構成されるシナリオデータを、前記提示情報として記憶するシナリオデータ記憶部を含み、
前記提示情報決定部は、
前記シナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定し、
前記ロボット制御部は、
決定された会話フレーズをロボットに発話させるための制御を行うことを特徴とするロボット制御システム。
【請求項１５】
請求項１４において、
前記シナリオデータ記憶部は、
複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶し、
前記提示情報決定部は、
ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定することを特徴とするロボット制御システム。
【請求項１６】
請求項１５において、
前記提示情報決定部は、
第１のシナリオデータに基づきロボットが発話した会話フレーズに対するユーザの反応が所与の反応であった場合には、前記第１のシナリオデータとは異なる第２のシナリオデータを選択し、次にロボットに発話させる会話フレーズを前記第２のシナリオデータに基づき決定することを特徴とするロボット制御システム。
【請求項１７】
請求項１４乃至１６のいずれかにおいて、
ロボットが発話した会話フレーズに対するユーザの反応に基づいて、前記第１、第２のロボットのいずれに対して次の会話フレーズの発話権を付与するかを制御する発話権制御部を含むことを特徴とするロボット制御システム。
【請求項１８】
請求項１７において、
前記発話権制御部は、
前記第１、第２のロボットのいずれか一方のロボットが発話した会話フレーズに対してユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定することを特徴とするロボット制御システム。
【請求項１９】
請求項１４乃至１８のいずれかにおいて、
複数のシナリオデータの中から前記ユーザ情報に基づき選択されたシナリオデータを取得するシナリオデータ取得部を含むことを特徴とするロボット制御システム。
【請求項２０】
請求項１９において、
前記シナリオデータ取得部は、
前記ユーザ情報に基づき選択されたシナリオデータをネットワークを介してダウンロードし、
前記提示情報決定部は、
ネットワークを介してダウンロードされたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定することを特徴とするロボット制御システム。
【請求項２１】
請求項１９又は２０において、
前記シナリオデータ取得部は、
現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択されたシナリオデータを取得し、
前記提示情報決定部は、
現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択されたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定することを特徴とするロボット制御システム。
【請求項２２】
請求項１９乃至２１のいずれかにおいて、
前記シナリオデータ取得部は、
ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づき選択されたシナリオデータを取得し、
前記提示情報決定部は、
ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づき選択されたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定することを特徴とするロボット制御システム。
【請求項２３】
請求項１９乃至２２のいずれかにおいて、
ユーザ特性情報を記憶するユーザ特性情報記憶部と、
ロボットが発話した会話フレーズに対するユーザの反応に基づいて、前記ユーザ特性情報を更新するユーザ特性情報更新部を含み、
前記シナリオデータ取得部は、
前記ユーザ特性情報に基づき選択されたシナリオデータを取得することを特徴とするロボット制御システム。
【請求項２４】
請求項１乃至２３のいずれかに記載のロボット制御システムと、
前記ロボット制御システムの制御対象であるロボット動作機構とを含むことを特徴とするロボット。
【請求項２５】
ロボット制御のためのプログラムであって、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、
取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、
前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部として、
コンピュータを機能させ、
前記提示情報決定部は、
取得された同じ前記ユーザ情報に対して第１、第２のロボットが異なる提示情報を提示するように、ユーザに対して提示する提示情報の決定処理を行うことを特徴とするプログラム。
【請求項２６】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２５に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１】
ロボットを制御するためのロボット制御システムであって、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、
取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、
前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含み、
前記提示情報決定部は、
取得された同じ前記ユーザ情報に対して第１、第２のロボットが異なる提示情報を提示するように、ユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項２】
請求項１において、
前記第１のロボットはマスタ側に設定され、前記第２のロボットはスレーブ側に設定され、
マスタ側の前記第１のロボットに設けられた前記提示情報決定部が、スレーブ側の前記第２のロボットに対して、ユーザへの提示情報の提示を指示することを特徴とするロボット制御システム。
【請求項３】
請求項２において、
提示情報の提示を指示する指示情報を、マスタ側の前記第１のロボットからスレーブ側の前記第２のロボットに対して通信する通信部を含むことを特徴とするロボット制御システム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記ユーザ情報取得部は、
前記ユーザ情報として、ユーザの行動履歴、ユーザの状態履歴及びユーザの環境履歴の少なくとも１つであるユーザ履歴情報を取得し、
前記提示情報決定部は、
取得された前記ユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項５】
請求項４において、
ロボットの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定部を含み、
前記提示情報決定部は、
前記利用可能イベント発生前の第１の期間において取得された第１のユーザ履歴情報と、前記利用可能イベント発生後の第２の期間において取得された第２のユーザ履歴情報とに基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項６】
請求項５において、
前記提示情報決定部は、
提示情報の前記決定処理における前記第１のユーザ履歴情報の重み付けと前記第２のユーザ履歴情報の重み付けとを、前記第２の期間において変化させることを特徴とするロボット制御システム。
【請求項７】
請求項６において、
前記提示情報決定部は、
前記利用可能イベント発生時には、前記決定処理における前記第１のユーザ履歴情報の重み付けを大きくし、前記第２のユーザ履歴情報の重み付けを小さくし、その後、前記第１のユーザ履歴情報の重み付けを小さくし、前記第２のユーザ履歴情報の重み付けを大きくすることを特徴とするロボット制御システム。
【請求項８】
請求項４乃至７のいずれかにおいて、
前記ユーザ履歴情報は、ユーザのウェアラブルセンサからのセンサ情報により更新することで得られる情報であることを特徴とするロボット制御システム。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記提示情報決定部は、
ロボットによる提示情報の提示に対するユーザの反応に基づいて、ロボットがユーザに対して次に提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１０】
請求項９において、
ユーザ特性情報を記憶するユーザ特性情報記憶部と、
ロボットによる提示情報の提示に対するユーザの反応に基づいて、前記ユーザ特性情報を更新するユーザ特性情報更新部を含むことを特徴とするロボット制御システム。
【請求項１１】
請求項９又は１０において、
ロボットのセンシング面における接触状態を判定する接触状態判定部を含み、
前記提示情報決定部は、
ロボットによる提示情報の提示に対するユーザの反応として、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、前記接触状態判定部での判定結果に基づき判断して、ユーザに対して次に提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１２】
請求項１１において、
前記接触状態判定部は、
前記センシング面よりも内側に設けられたマイクからの出力信号に対して演算処理を行うことで得られた出力データに基づいて、前記センシング面における接触状態を判定することを特徴とするロボット制御システム。
【請求項１３】
請求項１２において、
前記出力データは、信号強度であり、
前記接触状態判定部は、
前記信号強度と、所定のしきい値との比較処理を行うことで、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定することを特徴とするロボット制御システム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
複数の会話フレーズにより構成されるシナリオデータを、前記提示情報として記憶するシナリオデータ記憶部を含み、
前記提示情報決定部は、
前記シナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定し、
前記ロボット制御部は、
決定された会話フレーズをロボットに発話させるための制御を行うことを特徴とするロボット制御システム。
【請求項１５】
請求項１４において、
前記シナリオデータ記憶部は、
複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶し、
前記提示情報決定部は、
ロボットが発話した会話フレーズに対するユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定することを特徴とするロボット制御システム。
【請求項１６】
請求項１５において、
前記提示情報決定部は、
第１のシナリオデータに基づきロボットが発話した会話フレーズに対するユーザの反応が所与の反応であった場合には、前記第１のシナリオデータとは異なる第２のシナリオデータを選択し、次にロボットに発話させる会話フレーズを前記第２のシナリオデータに基づき決定することを特徴とするロボット制御システム。
【請求項１７】
請求項１４乃至１６のいずれかにおいて、
ロボットが発話した会話フレーズに対するユーザの反応に基づいて、前記第１、第２のロボットのいずれに対して次の会話フレーズの発話権を付与するかを制御する発話権制御部を含むことを特徴とするロボット制御システム。
【請求項１８】
請求項１７において、
前記発話権制御部は、
前記第１、第２のロボットのいずれか一方のロボットが発話した会話フレーズに対してユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定することを特徴とするロボット制御システム。
【請求項１９】
請求項１４乃至１８のいずれかにおいて、
複数のシナリオデータの中から前記ユーザ情報に基づき選択されたシナリオデータを取得するシナリオデータ取得部を含むことを特徴とするロボット制御システム。
【請求項２０】
請求項１９において、
前記シナリオデータ取得部は、
前記ユーザ情報に基づき選択されたシナリオデータをネットワークを介してダウンロードし、
前記提示情報決定部は、
ネットワークを介してダウンロードされたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定することを特徴とするロボット制御システム。
【請求項２１】
請求項１９又は２０において、
前記シナリオデータ取得部は、
現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択されたシナリオデータを取得し、
前記提示情報決定部は、
現在の日時情報、ユーザの現在の場所情報、ユーザの現在の行動情報及びユーザの現在の状況情報の少なくとも１つに基づき選択されたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定することを特徴とするロボット制御システム。
【請求項２２】
請求項１９乃至２１のいずれかにおいて、
前記シナリオデータ取得部は、
ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づき選択されたシナリオデータを取得し、
前記提示情報決定部は、
ユーザの行動履歴情報及びユーザの状態履歴情報の少なくとも１つに基づき選択されたシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定することを特徴とするロボット制御システム。
【請求項２３】
請求項１９乃至２２のいずれかにおいて、
ユーザ特性情報を記憶するユーザ特性情報記憶部と、
ロボットが発話した会話フレーズに対するユーザの反応に基づいて、前記ユーザ特性情報を更新するユーザ特性情報更新部を含み、
前記シナリオデータ取得部は、
前記ユーザ特性情報に基づき選択されたシナリオデータを取得することを特徴とするロボット制御システム。
【請求項２４】
請求項１乃至２３のいずれかに記載のロボット制御システムと、
前記ロボット制御システムの制御対象であるロボット動作機構とを含むことを特徴とするロボット。
【請求項２５】
ロボット制御のためのプログラムであって、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、
取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、
前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部として、
コンピュータを機能させ、
前記提示情報決定部は、
取得された同じ前記ユーザ情報に対して第１、第２のロボットが異なる提示情報を提示するように、ユーザに対して提示する提示情報の決定処理を行うことを特徴とするプログラム。
【請求項２６】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２５に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２００９−６１５４７（Ｐ２００９−６１５４７Ａ）
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願番号】特願２００７−２３１４８２（Ｐ２００７−２３１４８２）
【出願日】平成１９年９月６日（２００７．９．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（０００００１９６０）シチズンホールディングス株式会社 (1,939)
【Ｆターム（参考）】
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願日】平成１９年９月６日（２００７．９．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（０００００１９６０）シチズンホールディングス株式会社 (1,939)
【Ｆターム（参考）】
[ Back to top ]