ロボット制御システム、ロボット、プログラム及び情報記憶媒体
【課題】ロボットを介したユーザ間の間接的なコミュニケーションを実現できるロボット制御システム、ロボット、プログラム及び情報記憶媒体を提供する。
【解決手段】ロボット制御システムは、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、取得されたユーザ情報に基づいてロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含む。ユーザ情報取得部は、第２のユーザのユーザ情報である第２のユーザ情報を取得し、提示情報決定部は、取得された第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理を行う。ロボット制御部は、第２のユーザ情報に基づき決定された提示情報を第１のユーザに提示するためのロボット制御を行う。
【解決手段】ロボット制御システムは、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、取得されたユーザ情報に基づいてロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含む。ユーザ情報取得部は、第２のユーザのユーザ情報である第２のユーザ情報を取得し、提示情報決定部は、取得された第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理を行う。ロボット制御部は、第２のユーザ情報に基づき決定された提示情報を第１のユーザに提示するためのロボット制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット制御システム、ロボット、プログラム及び情報記憶媒体に関係する。
【背景技術】
【０００２】
従来より、ユーザ（人間）の音声を認識し、音声の認識結果に基づいて、ユーザとの会話を行うロボットの制御システムが知られている（例えば、特許文献１。）。
【０００３】
しかしながら、これまでのロボット制御システムでは、ロボットは、その所有者のユーザの会話等を音声認識して動作することが想定されており、他のユーザの行動等を反映したロボット制御は行われていなかった。
【０００４】
また、これまでのロボット制御システムでは、ユーザの行動履歴や状態履歴等を反映したロボット制御は行われておらず、ロボットが、ユーザの心境や状況に反した動作を行ってしまうという問題があった。
【０００５】
更に、これまでのロボット制御システムでは、１人のユーザに対して１台のロボットが対峙して会話することが想定されていた。このため、音声の認識処理や会話処理のために複雑なアルゴリズムが必要になってしまい、ユーザとの間のスムーズな会話を実現することが、現実的には難しいという問題もあった。
【０００６】
【特許文献１】特開２００３−６６９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、以上のような課題等に鑑みてなされたものであり、本発明の幾つかの態様によれば、ロボットを介したユーザ間の間接的なコミュニケーションを実現できるロボット制御システム、ロボット、プログラム及び情報記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明は、ロボットを制御するためのロボット制御システムであって、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含み、前記ユーザ情報取得部は、第２のユーザの前記ユーザ情報である第２のユーザ情報を取得し、前記提示情報決定部は、取得された前記第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理を行い、前記ロボット制御部は、前記第２のユーザ情報に基づき決定された提示情報を、前記第１のユーザに提示するためのロボット制御を行うロボット制御システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００９】
本発明によれば、行動センサ、状態センサ及び環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報が取得される。そして取得されたユーザ情報に基づいて、ロボットがユーザに提示する提示情報の決定処理が行われ、提示情報をロボットに提示させるための制御が行われる。そして本発明によれば、取得された第２のユーザの第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理が行われ、決定された提示情報を第１のユーザに提示するロボット制御が行われる。このように本発明によれば、第１のユーザとは異なる第２のユーザの第２のユーザ情報に基づいて、ロボットが第１のユーザに対して提示する提示情報が決定される。従って、第１のユーザは、ロボットの提示情報により、第２のユーザの行動、状況等の情報を知ることが可能になり、ロボットを介したユーザ間の間接的なコミュニケーションを実現できる。
また本発明では、前記ユーザ情報取得部は、前記第１のユーザの前記ユーザ情報である第１のユーザ情報と、前記第２のユーザの前記ユーザ情報である前記第２のユーザ情報を取得し、前記提示情報決定部は、取得された前記第１のユーザ情報と前記第２のユーザ情報とに基づいて、前記第１のユーザへの提示情報の決定処理を行ってもよい。
【００１０】
このようにすれば、第１のユーザの第１のユーザ情報も加味した、第１のユーザへの第２のユーザ情報に基づく提示情報の提示が可能になる。
【００１１】
また本発明では、前記提示情報決定部は、前記第１のユーザ情報に基づいて提示情報の提示タイミングを決定し、前記第２のユーザ情報に基づいて提示情報の内容を決定し、前記ロボット制御部は、決定された前記提示タイミングで、決定された内容の提示情報を、前記第１のユーザに提示するためのロボット制御を行ってもよい。
【００１２】
このようにすれば、第１のユーザにとって適切なタイミングで、第２のユーザの情報を知らせることが可能になり、より自然でスムーズな情報提示が可能になる。
【００１３】
また本発明では、前記提示情報決定部は、前記第１のユーザへの提示情報の決定処理における前記第１のユーザ情報の重み付けと前記第２のユーザ情報の重み付けとを、時間経過に伴い変化させてもよい。
【００１４】
このようにすれば、第１のユーザへの情報提示の際に、第２のユーザ情報のみならず第１のユーザ情報をも加味した情報提示が可能になると共に、その加味の度合いを決める重み付けが時間経過に伴い変化するため、より多様で自然な情報提示が可能になる。
【００１５】
また本発明では、前記第１のユーザによるロボットの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定部を含み、前記提示情報決定部は、前記利用可能イベント発生時には、前記決定処理における前記第１のユーザ情報の重み付けを大きくし、前記第２のユーザ情報の重み付けを小さくし、その後、前記第１のユーザ情報の重み付けを小さくし、前記第２のユーザ情報の重み付けを大きくしてもよい。
【００１６】
このようにすれば、ロボットの利用可能イベントの発生時からの時間経過に応じて、提示情報の決定処理の際における第２のユーザ情報の重み付けが大きくなるため、より自然な情報提示が可能になる。
【００１７】
また本発明では、前記提示情報決定部は、ロボットによる提示情報の提示に対する前記第１のユーザの反応に基づいて、ロボットが前記第１のユーザに対して次に提示する提示情報の決定処理を行ってもよい。
【００１８】
このようにすれば、提示情報に対する第１のユーザの反応に基づいて、次の提示情報が変化するようになり、ロボットによる提示情報の提示が単調になってしまう事態を防止できる。
【００１９】
また本発明では、ロボットのセンシング面における接触状態を判定する接触状態判定部を含み、前記提示情報決定部は、ロボットによる提示情報の提示に対する前記第１のユーザの反応として、前記第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、前記接触状態判定部での判定結果に基づき判断して、前記第１のユーザに対して次に提示する提示情報の決定処理を行ってもよい。
【００２０】
このようにすれば、ロボットを撫でる動作や叩く動作などの第１のユーザの反応を、簡素な判定処理で判断できるようになる。
【００２１】
また本発明では、前記接触状態判定部は、前記センシング面よりも内側に設けられたマイクからの出力信号に対して演算処理を行うことで得られた出力データに基づいて、前記センシング面における接触状態を判定してもよい。
【００２２】
このようにすれば、マイクを利用するだけで、ロボットを撫でる動作や叩く動作などの第１のユーザの反応を検出できるようになる。
【００２３】
また本発明では、前記出力データは、信号強度であり、前記接触状態判定部は、前記信号強度と、所定のしきい値との比較処理を行うことで、前記第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定してもよい。
【００２４】
このようにすれば、信号強度としきい値を比較するという簡素な処理で、第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定できる。
【００２５】
また本発明では、前記提示情報決定部は、取得された同じ前記第２のユーザ情報に対して、第１、第２のロボットが異なる提示情報を提示するように、前記第１のユーザに対して提示する提示情報の決定処理を行ってもよい。
【００２６】
このようにすれば、第１、第２のロボットが提示する提示情報を介して、第１のユーザは、第２のユーザの情報を間接的に知ることが可能になる。
【００２７】
また本発明では、前記第１のロボットはマスタ側に設定され、前記第２のロボットはスレーブ側に設定され、マスタ側の前記第１のロボットに設けられた前記提示情報決定部が、スレーブ側の前記第２のロボットに対して、前記第１のユーザへの提示情報の提示を指示してもよい。
【００２８】
このようにすれば、複雑な提示情報の解析処理を行わなくても、第１、第２のロボットによる提示情報の提示を、誤動作の少ない安定した制御の下で実現できる。
【００２９】
また本発明では、提示情報の提示を指示する指示情報を、マスタ側の前記第１のロボットからスレーブ側の前記第２のロボットに対して通信する通信部を含んでもよい。
【００３０】
このようにすれば、提示情報そのものではなくて、その指示情報を通信するだけで済むため、通信データ量の低減や、処理の簡素化を図れる。
【００３１】
また本発明では、前記ユーザ情報取得部は、前記第２のユーザの前記第２のユーザ情報を、ネットワークを介して取得し、前記提示情報決定部は、ネットワークを介して取得された前記第２のユーザ情報に基づいて、前記第１のユーザに提示する提示情報の決定処理を行ってもよい。
【００３２】
このようにすれば、例えば第２のユーザが離れた場所にいる場合にも、第２のユーザの情報を反映したロボット制御を実現できる。
【００３３】
また本発明では、前記ユーザ情報取得部は、前記第２のユーザ情報として、前記第２のユーザの行動履歴、前記第２のユーザの状態履歴及び前記第２のユーザの環境履歴の少なくとも１つである第２のユーザ履歴情報を取得し、前記提示情報決定部は、取得された前記第２のユーザ履歴情報に基づいて、ロボットが前記第１のユーザに対して提示する提示情報の決定処理を行ってもよい。
【００３４】
このようにすれば、第２のユーザの行動履歴、状態履歴又は環境履歴等が反映された提示情報を、ロボットにより提示できるようになる。
【００３５】
また本発明では、前記第２のユーザ履歴情報は、前記第２のユーザのウェアラブルセンサからのセンサ情報により更新することで得られる情報であってもよい。
【００３６】
このようにすれば、ウァアラブルセンサからのセンサ情報により第２のユーザの行動履歴、状態履歴又は環境履歴を更新し、更新されたこれらの履歴が反映された提示情報を、ロボットにより提示できるようになる。
【００３７】
また本発明では、ロボットに対してユーザが接近した場合に、接近したユーザを識別するユーザ識別部を含み、前記ロボット制御部は、前記第１のユーザが接近したと前記ユーザ識別部により識別された場合に、前記第１のユーザに提示情報を提示するためのロボット制御を行ってもよい。
【００３８】
このようにすれば、第１のユーザがロボットに接近して第１のユーザとして識別されたときに、第２のユーザ情報に基づく提示情報を、第１のユーザに提示できるようになる。
【００３９】
また本発明では、ユーザ間での情報提示の許可・不許可を判断するための提示許可判断情報を記憶する提示許可判断情報記憶部を含み、前記提示情報決定部は、前記提示許可判断情報に基づいて、前記第１、第２のユーザ間での情報提示が許可されていると判断した場合に、前記第２のユーザ情報に基づく前記第１のユーザへの提示情報の決定処理を行ってもよい。
【００４０】
このようにすれば、特定のユーザ間でのみ、ロボットを介した間接的なコミュニケーションを許可することが可能になる。
【００４１】
また本発明では、複数の会話フレーズにより構成されるシナリオデータを、前記提示情報として記憶するシナリオデータ記憶部を含み、前記提示情報決定部は、前記シナリオデータに基づいて、ロボットが前記第１のユーザに対して発話する会話フレーズを決定し、前記ロボット制御部は、決定された会話フレーズをロボットに発話させるための制御を行ってもよい。
【００４２】
このようにすれば、ロボットの会話フレーズの発話を、シナリオデータを利用して簡素な制御処理で実現できる。
【００４３】
また本発明では、前記シナリオデータ記憶部は、複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶し、前記提示情報決定部は、ロボットが発話した会話フレーズに対する前記第１のユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定してもよい。
【００４４】
このようにすれば、ロボットが発話した会話フレーズに対する第１のユーザの反応に基づいて、次の会話フレーズが変化するようになり、ロボットによる会話が単調になってしまう事態を防止できる。
【００４５】
また本発明では、ロボットが発話した会話フレーズに対する前記第２のユーザの反応に基づき作成されるシナリオデータを取得するシナリオデータ取得部を含み、前記提示情報決定部は、前記第２のユーザの反応により取得されたシナリオデータに基づいて、ロボットが前記第１のユーザに対して発話する会話フレーズを決定してもよい。
【００４６】
このようにすれば、ロボットの会話フレーズに対する第２のユーザの反応を反映したシナリオデータに基づいて、ロボットが第１のユーザに発話する会話フレーズを決定できるようになる。
【００４７】
また本発明では、前記提示情報決定部は、取得された同じ前記第２のユーザ情報に対して、第１、第２のロボットが異なる会話フレーズを発話するように、前記第１のユーザに対して発話する会話フレーズの決定処理を行い、ロボットが発話した会話フレーズに対する前記第１のユーザの反応に基づいて、前記第１、第２のロボットのいずれに対して次の会話フレーズの発話権を付与するかを制御する発話権制御部を含んでもよい。
【００４８】
このようにすれば、第１のユーザの反応に応じて発話権の付与が切り替わるようになるため、会話が単調になってしまう事態を防止できる。
【００４９】
また本発明では、前記発話権制御部は、前記第１、第２のロボットのいずれか一方のロボットが発話した会話フレーズに対して前記第１のユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定してもよい。
【００５０】
このようにすれば、例えば第１のユーザが肯定的な反応をしたロボットに対して、優先的に発話権を付与するなどの制御が可能になる。
【００５１】
また本発明は、上記のいずれかに記載のロボット制御システムと、前記ロボット制御システムの制御対象であるロボット動作機構とを含むロボットに関係する。
【発明を実施するための最良の形態】
【００５２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５３】
１．ユーザ情報
いわゆるユビキタスサービスにおいて、現在目指している１つ方向として、何時でもどこでも必要な情報をユーザに提供するという利便性提供型のサービスが提案されている。これは、外部からユーザに対して一方的に情報を提供するサービスである。
【００５４】
しかしながら、人が生き生きと充実した生活を送るためには、このように外部からユーザに一方的に情報を提供する利便性提供型サービスだけでは不十分であり、ユーザの内面に働きかけることによりユーザに気付き（インスパイヤ）を与え、その結果、自己の成長を促すインスパイヤ型ユビキタスサービスが望まれる。
【００５５】
本実施形態では、このようなインスパイヤ型ユビキタスサービスを、ロボットがユーザに提示する情報を利用して実現するために、ユーザ（第１、第２のユーザ）の行動、状態、環境を計測する行動センサ、状態センサ、環境センサからのセンサ情報によりユーザ情報（第１、第２のユーザ情報）を取得する。そして取得されたユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報（例えば会話）を決定し、決定された提示情報をロボットに提供させるロボット制御を行う。そこで、まず、このユーザ情報（ユーザの行動、状態及び環境の少なくとも１つについての情報）の取得手法について説明する。
【００５６】
図１においてユーザ（使用者）は、携帯型電子機器１００（モバイルゲートウェイ）を所持している。またモバイル制御対象機器としてウェアラブルディスプレイ１４０（モバイルディスプレイ）を頭部の一方の眼の近傍に装着している。更にウェアラブルセンサ（モバイルセンサ）として種々のセンサを身体に身につけている。具体的には、屋内外センサ５１０、周囲温度センサ５１１、周辺湿度センサ５１２、周辺光度センサ５１３、腕装着型の運動計測センサ５２０、脈拍（心拍数）センサ５２１、体温センサ５２２、抹消皮膚温度センサ５２３、発汗センサ５２４、足圧力センサ５３０、発話・咀嚼センサ５４０、携帯型電子機器１００に設けられるＧＰＳ（Global Position System）センサ５５０、ウェアラブルディスプレイ１４０に設けられる顔色センサ５６０や瞳孔の大きさセンサ５６１などを装着している。これらの携帯型電子機器１００、ウェアラブルディスプレイ１４０などのモバイル制御対象機器、ウェアラブルセンサによりモバイルサブシステムが構成される。
【００５７】
図１では、このようなユーザのモバイルサブシステムのセンサからのセンサ情報により更新されるユーザ情報（狭義にはユーザ履歴情報）を取得し、取得されたユーザ情報に基づいてロボット１の制御を行う。
【００５８】
携帯型電子機器１００（モバイルゲートウェイ）は、ＰＤＡ（Personal Digital Assistant）、ノート型ＰＣなどの携帯情報端末であり、例えばプロセッサ（ＣＰＵ）、メモリ、操作パネル、通信装置、或いはディスプレイ（サブディスプレイ）などを備える。この携帯型電子機器１００は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器（ウェアラブルディスプレイ等）の制御（表示制御等）を行ったり外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有することができる。なお携帯型電子機器１００は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【００５９】
ウェアラブルディスプレイ１４０は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。なおユーザへの情報提示は、ヘッドフォン、バイブレータなどを用いて行ってもよい。またモバイル制御対象機器としては、ウェアラブルディスプレイ１４０以外にも、例えば腕時計、携帯電話、或いはポータブルオーディオなどの種々の機器を想定できる。
【００６０】
屋内外センサ５１０は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ５１０は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。
【００６１】
周囲温度センサ５１１は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。周辺湿度センサ５１２は、例えば湿度によって電気抵抗が変化することを利用して周囲の湿度を計測する。周辺光度センサ５１３は、例えば光電素子を用いて周囲の光度を計測する。
【００６２】
腕装着型の運動計測センサ５２０は、加速度センサや角加速度センサでユーザの腕の動きを計測する。この運動計測センサ５２０と足圧力センサ５３０を用いることでユーザの日常動作、歩行状態を更に正確に計測できる。脈拍（心拍数）センサ５２１は、手首或いは指又は耳に装着し、例えば拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。体温センサ５２２、抹消皮膚温度センサ５２３は、サーミスタ、放射温度計、熱電対などを用いてユーザの体温、抹消皮膚温度を計測する。発汗センサ５２４は、例えば皮膚の表面抵抗の変化により皮膚の発汗を計測する。足圧力センサ５３０は、靴にかかる足裏の圧力分布を検出して、ユーザの立ち状態、座り状態、歩行状態などを計測、判定する。
【００６３】
発話・咀嚼センサ５４０は、ユーザが発話中（会話中）であるか、咀嚼中（食事中）であるかの可能性を計測するためのイヤホン型のセンサであり、その筺体内に骨伝導マイク、外界音マイクが内蔵されている。骨伝導マイクは、発話・咀嚼時に体内から生じ、体内を伝搬する振動である体内音を検出する。外界音マイクは、発話に応じて体外に伝導する振動である音声や、環境の雑音を含む外界音を検出する。そして骨伝導マイク、外界音マイクにより捕らえられた音の単位時間におけるパワーの比較処理等を行うことで、発話可能性や咀嚼可能性を計測する。
【００６４】
ＧＰＳセンサ５５０はユーザの位置を検知するセンサである。なおＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。顔色センサ５６０は、例えば顔面近くに光センサを配置し、複数の光学的バンドパスフィルタを通過した後の光度を比較して顔色を計測する。瞳孔の大きさセンサ５６１は、例えば瞳孔の近くにカメラを配置し、カメラの信号を解析して瞳孔の大きさを計測する。
【００６５】
なお、図１では携帯型電子機器１００、ウェアラブルセンサ等により構成されるモバイルサブシステムにより、ユーザ情報を取得しているが、複数のサブシステムにより構成される統合システムにより、ユーザ情報を更新し、更新されたユーザ情報に基づいてロボット１の制御を行ってもよい。ここで統合システムは、例えばモバイルサブシステム、ホームサブシステム、車内サブシステム、会社内サブシステム、或いは店内サブシステムなどのサブシステムを含むことができる。
【００６６】
この統合システムでは、ユーザが屋外等にいる場合（モバイル環境の場合）には、モバイルサブシステムのウェアラブルセンサ（モバイルセンサ）からのセンサ情報（センサ２次情報を含む）が取得（収集）され、取得されたセンサ情報に基づいてユーザ情報（ユーザ履歴情報）が更新される。またユーザ情報等に基づいてモバイル制御対象機器の制御が行われる。
【００６７】
一方、ユーザが家にいる場合（ホーム環境の場合）には、ホームサブシステムのホームセンサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ情報が更新される。即ちモバイル環境で更新されたユーザ情報が、ホーム環境に移行した場合にもシームレスに更新される。またユーザ情報等に基づいてホーム制御対象機器（テレビ、オーディオ機器、エアコン等）の制御が行われる。なおホームセンサは、例えば、ホーム内の気温、湿度、光度、騒音、ユーザの会話、食事などを計測する環境センサや、ロボットに内蔵されるロボット搭載センサや、ホームの各室内、ドアなどに設置される人検知センサや、トイレに設置される尿検査用センサなどである。
【００６８】
また、ユーザが車内にいる場合（車内環境の場合）には、車内サブシステムの車内センサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ情報が更新される。即ちモバイル環境やホーム環境で更新されたユーザ情報が、車内環境に移行した場合にもシームレスに更新される。またユーザ情報等に基づいて車内制御対象機器（ナビゲーション装置、カーＡＶ機器、エアコン等）の制御が行われる。なお車内センサは、車の速度、移動距離などを計測する走行状態センサや、ユーザの運転操作、機器操作を計測する操作状態センサや、車内の気温、湿度、光度、ユーザの会話などを計測する環境センサなどである。
【００６９】
２．ロボット
次に図１のロボット１（ロボット２）の構成について説明する。このロボット１は犬を模したペット型のロボットになっており、胴体モジュール６００、頭部モジュール６１０、脚部モジュール６２０、６２２、６２４、６２６、尻尾モジュール６３０などの複数のパーツモジュール（ロボット動作機構）により構成される。
【００７０】
頭部モジュール６１０には、ユーザの撫でる動作や叩く動作を検知するための接触センサや、ユーザの発話を検知するための発話センサ（マイクロホン）や、画像認識のための撮像センサ（カメラ）や、音声や鳴き声を発声するための音出力部（スピーカ）が設けられる。
【００７１】
胴体モジュール６００と頭部モジュール６１０との間や、胴体モジュール６００と尻尾モジュール６３０との間や、脚部モジュール６２０の関節部分等には、関節機構が設けられている。そしてこれらの関節機構は、モータ等のアクチュエータを有しており、これによりロボット１の関節運動や自立走行が実現される。
【００７２】
またロボット１の例えば胴体モジュール６００には１又は複数の回路基板が設けられている。そしてこの回路基板には、各種処理を行うＣＰＵ（プロセッサ）や、各種データ、プログラムを記憶するＲＯＭ、ＲＡＭなどのメモリや、ロボット制御のための制御ＩＣや、音声信号を生成する音声生成モジュールや、外部との無線通信のための無線モジュールなどが実装される。ロボットに搭載される各種センサからの信号は、この回路基板に集約され、ＣＰＵ等により処理される。また音声生成モジュールにより生成された音声信号は、この回路基板から音出力部（スピーカ）に対して出力される。また回路基板の制御ＩＣからの制御信号は、関節機構に設けられたモータ等のアクチュエータに出力され、これによりロボット１の関節運動や自立走行が制御される。
【００７３】
３．ロボット制御システム
図２に本実施形態のシステム構成例を示す。このシステムは、第１のユーザが所持する携帯型電子機器１００-1や、第２のユーザが所持する携帯型電子機器１００-2や、本実施形態のロボット制御システムにより制御されるロボット１を有する。そして本実施形態のロボット制御システムは、例えばロボット１が有する処理部１０により実現される。
【００７４】
なお、第１のユーザとしては、例えばロボット１の所有者を想定でき、第２のユーザとしては、所有者の家族、友人、親戚又は恋人等を想定できる。或いは第１、第２のユーザは、ロボット１を共有する所有者であってもよい。
【００７５】
第１のユーザが所持する携帯型電子機器１００-1は、処理部１１０-1、記憶部１２０-1、制御部１３０-1、通信部１３８-1を含む。また第２のユーザが所持する携帯型電子機器１００- 2は、処理部１１０-2、記憶部１２０-2、制御部１３０-2、通信部１３８-2を含む。
【００７６】
なお、以下では、説明を簡素化するために、これらの携帯型電子機器１００-1、１００-2、処理部１１０-1、１１０-2、記憶部１２０-1、１２０-2、制御部１３０-1、１３０-2、通信部１３８-1、１３８-2等を、各々、適宜、携帯型電子機器１００、処理部１１０、記憶部１２０、制御部１３０、通信部１３８と総称する。また第１、第２のユーザ、第１、第２のユーザ情報、第１、第２のユーザ履歴情報も、各々、適宜、ユーザ、ユーザ情報、ユーザ履歴情報と総称する。
【００７７】
携帯型電子機器１００（１００-1、１００-2）は、ウェアラブルセンサ１５０（１５０-1、１５０-2）からのセンサ情報を取得する。具体的には、ウェアラブルセンサ１５０は、ユーザ（第１、第２のユーザ）の行動（歩行、会話、食事、手足の動き、感情表現又は睡眠等）を計測する行動センサ、ユーザの状態（疲労、緊張、空腹、精神状態、身体状態又はユーザに発生したイベント等）を計測する状態センサ、及びユーザの環境（場所、明るさ、気温又は湿度等）を計測する環境センサの少なくとも１つのセンサを含んでおり、携帯型電子機器１００は、これらのセンサからのセンサ情報を取得する。
【００７８】
なおセンサは、センサデバイス自体であってもよいし、センサデバイスの他に、制御部や通信部等を含むセンサ機器であってもよい。またセンサ情報は、センサから直接得られるセンサ１次情報であってもよいし、センサ１次情報を加工処理（情報処理）することで得られるセンサ２次情報であってもよい。
【００７９】
処理部１１０（１１０-1、１１０-2）は、図示しない操作部からの操作情報や、ウェアラブルセンサ１５０から取得されたセンサ情報などに基づいて、携帯型電子機器１００の動作等に必要な種々の処理を行う。この処理部１１０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、図示しない情報記憶媒体（光ディスク、ＩＣカード、ＨＤＤ等）に記憶されたプログラムなどにより実現できる。
【００８０】
処理部１１０は、演算部１１２（１１２-1、１１２-2）、ユーザ情報更新部１１４（１１４-1、１１４-2）を含む。ここで演算部１１２は、ウェアラブルセンサ１５０から取得されたセンサ情報のフィルタリング処理（選択処理）や解析処理のための種々の演算処理を行う。具体的には演算部１１２は、センサ情報の乗算処理や加算処理を行う。例えば下式（１）に示すように、複数のセンサからの複数のセンサ情報のデジタル化された計測値Ｘｊと、各係数が係数記憶部（図示せず）に記憶され、２次元行列（マトリックス）で表される係数Ａｉｊとの積和演算を行う。そうして下式（２）に示すように、積和演算の結果を多次元座標としてｎ次元のベクトルＹｉとして演算する。なお、ｉはｎ次元空間のｉ座標であり、ｊは各センサに割り当てられる番号である。
【００８１】
【数１】
【００８２】
【数２】
【００８３】
上式（１）（２）のような演算処理を行うことで、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境（ＴＰＯ情報）をセンサ情報に基づき同定するための解析処理などを実現できる。例えば脈拍（心拍数）、発汗量、体温の計測値Ｘに対して乗算される係数Ａを、その他のセンサ情報の計測値に対する係数よりも大きな値に設定すれば、上式（１）（２）で演算された数値Ｙは、ユーザの状態である「興奮度」を表すものになる。また発話量の計測値Ｘに対して乗算される係数と、足圧力の計測値Ｘに対して乗算される係数を適当な値に設定することで、ユーザの行動が、着座して会話しているのか、歩きながら会話しているのか、静かに思考しているのか、睡眠状態なのか等を同定できる。
【００８４】
ユーザ情報更新部１１４（１１４-1、１１４-2）はユーザ情報（ユーザ履歴情報）の更新処理を行う。具体的には、ウェアラブルセンサ１５０（１５０-1、１５０-2）から取得されたセンサ情報に基づいてユーザ情報（第１、第２のユーザ情報）を更新する。そして更新されたユーザ情報（ユーザ履歴情報）を記憶部１２０のユーザ情報記憶部１２２（ユーザ履歴情報記憶部）に記憶する。この場合に、ユーザ情報記憶部１２２（１２２-1、１２２-2）のメモリ容量を節約するために、新しいユーザ情報を記憶する場合には、古いユーザ情報を削除し、削除により空いた記憶領域に対して新しいユーザ情報を記憶してもよい。或いは、各ユーザ情報に優先度（重み付け係数）を付与し、新しいユーザ情報を記憶する場合には、優先度の低いユーザ情報を削除してもよい。また既に記憶されているユーザ情報と新しいユーザ情報を演算することでユーザ情報を更新（上書き）してもよい。
【００８５】
記憶部１２０（１２０-1、１２０-2）は、処理部１１０、通信部１３８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。記憶部１２０が含むユーザ情報記憶部１２２は、ユーザ（第１、第２のユーザ）の行動、状態又は環境等の情報（履歴情報）であって、取得されたセンサ情報に基づき更新されるユーザ情報（第１、第２のユーザ情報）を記憶する。
【００８６】
制御部１３０（１３０-1、１３０-2）はウェアラブルディスプレイ１４０（１４０-1、１４０-2）の表示制御等を行う。通信部１３８（１３８-1、１３８-2）は、無線や有線の通信により、ロボット１の通信部４０との間で、ユーザ情報などの情報の転送処理を行う。無線の通信としては、ブルートゥース（Bluetoothは登録商標）や赤外線のような近距離無線や無線ＬＡＮなどが考えられる。有線の通信としてはＵＳＢやＩＥＥＥ１３９４などを利用したものが考えられる。
【００８７】
ロボット１は、処理部１０、記憶部２０、ロボット制御部３０、ロボット動作機構３２、ロボット搭載センサ３４、通信部４０を含む。なおこれらの一部の構成要素を省略した構成にしてもよい。
【００８８】
処理部１０は、ロボット搭載センサ３４からセンサ情報や、取得されたユーザ情報などに基づいて、ロボット１の動作等に必要な種々の処理を行う。この処理部１０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、図示しない情報記憶媒体（光ディスク、ＩＣカード、ＨＤＤ等）に記憶されたプログラムなどにより実現できる。即ち、この情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶され、処理部１０は、この情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。
【００８９】
記憶部２０は、処理部１０、通信部４０などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。この記憶部２０はユーザ情報記憶部２２と提示情報記憶部２６を含む。またユーザ情報記憶部２２はユーザ履歴情報記憶部２３を含む。
【００９０】
ロボット制御部３０は、制御対象であるロボット動作機構３２（アクチュエータ、音出力部、ＬＥＤ等）の制御を行うものであり、その機能は、ロボット制御用のＡＳＩＣや各種プロセッサなどのハードウェアや、プログラムなどにより実現できる。
【００９１】
具体的にはロボット制御部３０は、提示情報をユーザに対してロボット１に提示させるための制御を行う。提示情報がロボット１の会話（シナリオデータ）である場合には、会話フレーズをロボット１に発話させるための制御を行う。例えば会話フレーズを表すデジタルのテキストデータを、公知のＴＴＳ（Text-To-Speech）処理によりアナログの音声信号に変換し、ロボット動作機構３２の音出力部（スピーカ）を介して出力する。また提示情報が、ロボット１の感情状態を表す情報である場合には、その感情を表すように、ロボット動作機構３２の各関節機構のアクチュエータを制御したり、ＬＥＤを点灯させるなどの制御を行う。
【００９２】
ロボット搭載センサ３４は、例えば接触センサ、発話センサ（マイクロホン）、或いは撮像センサ（カメラ）などの各種センサである。ロボット１は、このロボット搭載センサ３４からのセンサ情報に基づいて、ユーザに提示した提示情報に対するユーザの反応をモニタできる。
【００９３】
通信部４０は、無線や有線の通信により、携帯型電子機器１００-1の通信部１３８-1や携帯型電子機器１００-2の通信部１３８-2との間で、ユーザ情報などの情報の転送処理を行う。
【００９４】
処理部１０は、ユーザ情報取得部１２、演算部１３、提示情報決定部１４を含む。なおこれらの構成要素の一部を省略する構成としてもよい。
【００９５】
ユーザ情報取得部１２は、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得する。
【００９６】
例えば、携帯型電子機器１００-2のユーザ情報更新部１１４-2は、ウァアラブルセンサ１５０-2からのセンサ情報に基づき、第２のユーザ（第１のユーザの子供、妻、恋人等）のユーザ情報である第２のユーザ情報（第２のユーザ履歴情報）の更新処理を行う。更新された第２のユーザ情報はユーザ情報記憶部１２２-2に記憶される。
【００９７】
そしてユーザ情報記憶部１２２-2に記憶された第２のユーザ情報（第２のユーザ履歴情報）は、通信部１３８-2、４０を介して、ロボット１のユーザ情報記憶部２２に転送される。具体的には、第２のユーザが家に帰宅してロボット１に近づいたり、携帯型電子機器１００-2をクレードルに接続して、携帯型電子機器１００-2とロボット１との間での通信経路が確立されると、第２のユーザ情報がユーザ情報記憶部１２２-2からユーザ情報記憶部２２に転送される。ユーザ情報取得部１２は、このようにして転送された第２のユーザ情報をユーザ情報記憶部２２から読み出すことで、第２のユーザ情報を取得する。なおユーザ情報取得部１２が、ユーザ情報記憶部２２を介さずに直接に携帯型電子機器１００-2から第２のユーザ情報を取得してもよい。
【００９８】
また、携帯型電子機器１００-1のユーザ情報更新部１１４-1は、ウァアラブルセンサ１５０-1からのセンサ情報に基づき、第１のユーザのユーザ情報である第１のユーザ情報（第１のユーザ履歴情報）の更新処理を行う。更新された第１のユーザ情報はユーザ情報記憶部１２２-1に記憶される。
【００９９】
そしてユーザ情報記憶部１２２-1に記憶された第１のユーザ情報（第１のユーザ履歴情報）は、通信部１３８-1、４０を介して、ロボット１のユーザ情報記憶部２２（ユーザ情報記憶部７２）に転送される。具体的には、第１のユーザが家に帰宅してロボット１に近づいたり、携帯型電子機器１００-1をクレードルに接続して、携帯型電子機器１００-1とロボット１との間での通信経路が確立されると、第１のユーザ情報がユーザ情報記憶部１２２-1からユーザ情報記憶部２２に転送される。ユーザ情報取得部１２は、このようにして転送された第１のユーザ情報をユーザ情報記憶部２２から読み出すことで、第１のユーザ情報を取得する。なおユーザ情報取得部１２が、ユーザ情報記憶部２２を介さずに直接に携帯型電子機器１００-1から第１のユーザ情報を取得してもよい。
【０１００】
演算部１３は、取得されたユーザ情報に対する演算処理を行う。具体的には、必要な場合には、ユーザ情報に対する解析処理やフィルタリング処理を行う。例えばユーザ情報が１次センサ情報等である場合には、上式（１）（２）で説明した演算処理を行って、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境（ＴＰＯ情報）をセンサ情報に基づき同定するための解析処理などを行う。
【０１０１】
提示情報決定部１４は、取得されたユーザ情報（演算処理後のユーザ情報）に基づいて、ロボット１がユーザに対して提示（提供）する提示情報（会話、感情表現、行動表現）の決定処理を行う。
【０１０２】
具体的には、提示情報決定部１４は、取得された第２のユーザの第２のユーザ情報に基づいて、第１のユーザへの提示情報（会話フレーズ、感情表現、行動表現）の決定処理を行う。そしてロボット制御部３０は、第２のユーザ情報に基づき決定された提示情報を、第１のユーザに提示するためのロボット制御を行う。例えばロボット１に第１のユーザが近づいた場合に、ロボット１から離れた場所等にいる第２のユーザの第２のユーザ情報に基づき提示情報を決定し、決定された提示情報を第１のユーザに提示する。
【０１０３】
また第１のユーザの第１のユーザ情報をユーザ情報取得部１２により取得した場合には、提示情報決定部１４は、取得された第１のユーザ情報と第２のユーザ情報との両方に基づいて、第１のユーザへの提示情報の決定処理を行ってもよい。
【０１０４】
具体的には、第１のユーザ情報に基づいて、第１のユーザのＴＰＯ（Time Place Occasion）を推定し、ＴＰＯ情報を取得する。即ち、時間情報や、第１のユーザの場所情報、状況情報を取得する。そして、取得された第１のユーザのＴＰＯ情報と、第２のユーザの第２のユーザ情報とに基づいて、提示情報の決定処理を行う。
【０１０５】
更に具体的には、提示情報決定部１４は、第１のユーザ情報（ＴＰＯ情報）に基づいて提示情報の提示タイミング(会話の開始タイミング、発話タイミング）を決定し、第２のユーザ情報に基づいて提示情報の内容（会話の内容、シナリオデータ）を決定する。そしてロボット制御部３０は、決定された提示タイミングで、決定された内容の提示情報を、第１のユーザに提示するためのロボット制御を行う。
【０１０６】
即ち、第１のユーザが忙しかったり、精神的に余裕が無く、提示情報を提示するタイミングではないと、第１のユーザ情報（第１のユーザのＴＰＯ）に基づき判断した場合には、ロボット１による提示情報の提示を行わないようにする。一方、第１のユーザが時間的に余裕があったり、暇を持て余しており、提示情報を提示するタイミングであると、第１のユーザ情報に基づき判断した場合には、第２のユーザ情報に基づいて提示情報の内容を決定し、第２のユーザの状況、行動等を知らせるための情報を、ロボット１を用いて第１のユーザに提示する。
【０１０７】
このようにすれば、第１のユーザにとって適切でタイムリーなタイミングで、第２のユーザの状況等を知らせることができ、より自然でスムーズな情報提示が可能になる。
【０１０８】
なおユーザ情報取得部１２が、第２のユーザ情報として、第２のユーザの行動履歴、状態履歴及び環境履歴の少なくとも１つである第２のユーザ履歴情報を取得した場合には、提示情報決定部１４は、取得された第２のユーザ履歴情報に基づいて、ロボット１が第１のユーザに対して提示する提示情報の決定処理を行う。この場合の第２のユーザ履歴情報は、例えば第２のユーザのウェアラブルセンサ１５０-2からのセンサ情報により携帯型電子機器１００-2等が更新処理を行うことで得られる情報であり、携帯型電子機器１００-2のユーザ情報記憶部１２２-2からロボット１のユーザ履歴情報記憶部２３に転送される。またユーザの行動履歴、状態履歴、環境履歴としては、ユーザの行動（歩行、発話、食事等）、状態（疲労、緊張、空腹、精神状態、肉体状態等）、環境（場所、明るさ、気温等）を日時等に関連づけて記憶した情報（ログ情報）が考えられる。
【０１０９】
また提示情報決定部１４は、ロボット１による提示情報の提示に対する第１のユーザの反応に基づいて、ロボット１が第１のユーザに対して次に提示する提示情報の決定処理を行う。具体的には、例えばロボット１が第１のユーザに対して提示情報を提示し、それに対して第１のユーザが反応すると、その反応はロボット搭載センサ３４により検知される。そして提示情報決定部１４は、ロボット搭載センサ３４からのセンサ情報等に基づいて、第１のユーザの反応を判断（推定）し、その反応に基づいて、次に提示する提示情報を決定する。
【０１１０】
４．動作
次に本実施形態の動作について説明する。一般的に、ユーザとロボットとの会話（対話）は、１人のユーザと１台のロボットというように、１対１の対峙関係で実現される。しかしながら、このような１対１の関係では、ロボットの会話が単調なものになってしまい、ユーザに直ぐに飽きられてしまうという課題がある。
【０１１１】
この点、本実施形態では、第１のユーザと会話するロボットは、第１のユーザとは異なる第２のユーザの第２のユーザ情報に基づいて会話を行う。従って、第１のユーザは、ロボットとのコミュニケーションを介して、自身の家族、友人或いは恋人などの第２のユーザの情報を知ることができる。従って、ロボットの会話が単調になるのが防止され、ユーザに飽きられにくいロボットを実現できる。
【０１１２】
この場合に、ロボットの会話によりユーザに提供される情報は、ウェアラブルセンサなどが有する行動センサ、状態センサ、環境センサからのセンサ情報により取得された第２のユーザ情報に基づくものになっている。このため、第１のユーザは、ロボットの会話を介して、自身が親しい第２のユーザの行動や、第２のユーザの状態や、第２のユーザを取り巻く環境について間接的に知ることが可能になる。従って、例えば父親の帰宅がいつも遅く、子供とのコミュニケーションを取れないような家庭において、父親は、ロボットの会話を介して、間接的に子供の様子を知ることが可能になる。また、離れた場所に住んでいる友人や恋人の様子を、ロボットとの会話を介して知ることも可能になり、これまでにないタイプのコミュニケーション手段としてのロボットを提供できる。
【０１１３】
例えば図３（Ａ）において、家に帰宅した父親である第１のユーザは、携帯型電子機器１００（１００-1）をクレードル１０１に接続して、充電等を行っている。図３（Ａ）では、このようなクレードル１０１への携帯型電子機器１００の接続により、ロボット１の利用可能イベントが発生したと判定し、ロボット１を起動し、その利用を可能にする。なおクレードル１０１への接続ではなく、第１のユーザとロボット１との接近を判定して、ロボット１を起動してもよい。例えば携帯型電子機器１００とロボット１の間の情報転送が無線により行われる場合には、その無線強度を検出することでロボット１の利用可能イベントの発生を判定できる。
【０１１４】
このような利用可能イベントが発生すると、ロボット１が起動し、その利用が可能になる。この場合に、子供である第２のユーザの第２のユーザ情報は、ロボット１のユーザ情報記憶部２２に記憶されている。具体的には学校等での第２のユーザの行動、状態、環境等の情報が、第２のユーザ情報として転送されて記憶されている。これにより、第２のユーザ情報に基づくロボット１の会話等の制御が可能になる。なお、後述するように、子供である第２のユーザとロボット１との会話を介して第２のユーザ情報を収集して、取得してもよい。
【０１１５】
例えば図３（Ａ）では、父親（第１のユーザ）が会社から帰宅してロボット１に近づくと、ロボット１が、子供（第２のユーザ）を話題とする会話を開始する。具体的には例えば後述するシナリオデータ等に基づいて「坊ちゃん、最近部活が忙しいみたいだね」という会話フレーズを発話し、子供の今日の様子を父親に知らせる。
【０１１６】
更に図３（Ｂ）では、「夏休みには旅行にも行きたいってさ〜」とロボット１が発話し、例えばロボット１が子供との会話を通じて取得した子供の要望について、父親に知らせている。そして図３（Ｂ）では、この子供の要望に関する話題に興味を持った父親が、ロボット１を撫でている。即ち父親は、子供の要望について更に詳しく知りたいため、ロボット１を撫でて、更に詳しい情報を教えるようにロボット１に要求している。すると図３（Ｃ）に示すように、ロボット１は、子供から収集した情報に基づいて、「やっぱり夏は海かな〜だってさ」と発話する。これにより父親は、子供が夏休み行きたい場所は海であることを知ることができる。即ち図３（Ｂ）では、ロボット１が発話した会話フレーズ（ロボットによる提示情報の提示）に対する父親（第１のユーザ）の反応（撫でる動作）に基づいて、次にロボット１に発話させる会話フレーズ（次に提示する提示情報）を決定している。
【０１１７】
例えば毎日の帰宅時間が遅い父親は、子供と接する時間が少ないため、子供の様子や要望についてなかなか知ることができない。また子供と接する時間があったとしても、子供が自身の要望を父親に対して直接に伝えない場合もある。
【０１１８】
このような場合にも本実施形態では、ロボット１を媒介として父親と子供との間接的なコミュニケーションが実現される。例えば子供が、父親に対しては直接に自身の要望を伝ない場合にも、本実施形態によれば、ロボット１を媒介として子供の要望を父親にスムーズに伝えることが可能になる。また、子供が無意識に自身の要望をロボット１に話した場合にも、その要望を父親に伝えることが可能になる。
【０１１９】
また、子供と接する時間が少ないため、子供への関心が薄れてしまっている父親に対して、自身の子供についての気付きを与えることも可能になる。従って、いわゆる利便性提供型サービスではなく、ロボット１との会話を通じてユーザに気付きを与えるというインスパイヤ型ユビキタスサービスの実現も可能になる。
【０１２０】
なお、図３（Ａ）のようにロボット１の利用可能イベントが発生して、ロボット１が起動した場合に、父親のユーザ情報である第１のユーザ情報を、ロボット１のユーザ情報記憶部２２に転送して記憶してもよい。即ち会社や外出先等での父親の行動、状態、環境等の情報を転送して記憶する。このようにすれば、父親の第１のユーザ情報と、子供の第２のユーザ情報の両方を用いて、ロボット１の会話等を制御することが可能になる。
【０１２１】
例えば、父親の帰宅時間がいつもよりも遅かったことが、第１のユーザ情報に基づき判断されたとする。具体的には、ウェアラブルセンサのＧＰＳセンサからの場所情報やタイマからの時間情報に基づいて、父親の毎日の帰宅時間が計測される。そして過去における父親の帰宅時間の平均と、今回の帰宅時間とを比較すること、父親の帰宅時間が遅いか否かを判定する。
【０１２２】
そして、父親の帰宅時間が普段よりもかなり遅い場合には、父親のＴＰＯは仕事等で非常に疲れている状態であると推定できる。従ってこの場合には、ロボット１は、直ぐには子供を話題とする会話を行わずに、例えば「今日は、仕事で遅くなって、大変でしたね」というような労いの会話を行う。或いは父親が好きな野球チームの試合結果などを話題とする会話を行う。
【０１２３】
そして、時間が経過して、仕事で疲れた状態が軽減された後に、ロボット１は、第２のユーザ情報に基づいて子供を話題とする会話を開始する。即ち提示情報（会話）の決定処理における第１のユーザ情報（第１のユーザ履歴情報）の重み付けと、第２のユーザ情報（第２のユーザ履歴情報）の重み付けとを、時間経過に伴い変化させる。具体的には、ロボット１の利用可能イベントの発生時には、父親のユーザ情報である第１のユーザ情報の重み付けを大きくし、子供のユーザ情報である第２のユーザ情報の重み付けを小さくして提示情報の決定処理を行う。そして、その後、第１のユーザ情報の重み付けを小さくし、第２のユーザ情報の重み付けを大きくして提示情報の決定処理を行う。このようにすれば、父親のＴＰＯに応じたタイムリーな情報提示が可能になる。
【０１２４】
図４に本実施形態の動作を説明するためのフローチャートを示す。
【０１２５】
まずユーザ情報取得部１２が、第２のユーザ（子供）のユーザ情報である第２のユーザ情報を取得する（ステップＳ１）。具体的には、第２のユーザの携帯型電子機器１００-2からの第２のユーザ情報がユーザ情報記憶部２２に転送され、この転送されたユーザ情報を読み出す。そしてロボット１が第１のユーザ（父親）に提示する提示情報（会話等）の内容を、取得された第２のユーザ情報（子供のユーザ情報）に基づいて決定する（ステップＳ２）。
【０１２６】
次にユーザ情報取得部１２が、第１のユーザ（父親）のユーザ情報である第１のユーザ情報を取得する（ステップＳ３）。具体的には、第１のユーザの携帯型電子機器１００-1からの第１のユーザ情報がユーザ情報記憶部２２に転送され、この転送されたユーザ情報を読み出す。次に、必要であれば、第１のユーザ情報に基づいて第１のユーザのＴＰＯを推定する（ステップＳ４）。ここで、ＴＰＯ（Time Place Occasion）の情報は、時間情報（年、月、週、日、時間等）、ユーザの場所情報（居場所、位置、距離等）及びユーザの状況情報（精神・肉体状況、ユーザに対して発生したイベント等）の少なくとも１つの情報である。例えばＧＰＳセンサにより得られる緯度・経度情報の意味合いは、ユーザに応じて異なり、その緯度・経度の場所がユーザの自宅であれば、ユーザの居場所は自宅であると推定される。
【０１２７】
次に、第１のユーザ情報（第１のユーザのＴＰＯ）に基づいて、第１のユーザに提示情報を提示するタイミングであるか否かを判断する（ステップＳ５）。例えば第１のユーザ情報に基づいて、第１のユーザが忙しかったり、疲れていると判断した場合には、提示タイミングではないと判断して、ステップＳ３に戻る。
【０１２８】
一方、第１のユーザに提示するタイミングであると判断した場合には、ロボット１に提示情報を提示させるロボット制御を行う（ステップＳ６）。具体的には、図３（Ａ）〜図３（Ｃ）のように、ロボット１に会話フレーズを発話させるロボット制御を行う。
【０１２９】
次に、ステップＳ６での提示情報の提示に対する第１のユーザの反応をモニタする（ステップＳ７）。例えば第１のユーザがロボット１を撫でる動作をしたのか、叩く動作をしたのか、或いは何もしなかったのかを判断する。そして、モニタされた第１のユーザの反応に基づいて、次にロボット１が提示する提示情報を決定する（ステップＳ８）。即ち次にロボット１が発話する会話フレーズを決定する。
【０１３０】
５．複数台のロボット
以上では、ユーザが複数であり、ロボットが１台である場合について説明したが、本実施形態はこれに限定されず、ユーザが複数であり、ロボットが複数台である場合にも適用できる。図５に、ロボットが複数台である場合の本実施形態の第２のシステム構成例を示す。
【０１３１】
このシステムは、第１、第２のユーザが所持する携帯型電子機器１００-1、１００-2や、本実施形態のロボット制御システムにより制御されるロボット１、２（第１、第２のロボット）を有する。そして、ロボット制御システムは、例えばロボット１、２が有する処理部１０、６０により実現される。なお、ロボット２の構成はロボット１と同様であるため、ここでは詳細な説明を省略する。
【０１３２】
図５では、提示情報決定部１４（６４）は、取得された同じ第２のユーザ情報に対してロボット１、２が異なる提示情報（異なる会話フレーズ、異なる感情表現、異なる行動表現）を提示（発話）するように、第１のユーザに対して提示する提示情報（会話フレーズ）の決定処理を行う。例えば、取得された第２のユーザ情報に対して、ロボット１が、第１の提示情報（第１の会話フレーズ）を提示し、ロボット２が、第１の提示情報とは異なる第２の提示情報（第２の会話フレーズ）を提示するように、提示情報の決定処理を行う。
【０１３３】
次に図５の動作について説明する。一般的に、ユーザとロボットとの会話（対話）は、１人のユーザと１台のロボットというように、１対１の対峙関係で実現される。
【０１３４】
これに対して図５では、２台のロボット１、２（広義には複数台のロボット）が用意される。そしてユーザは、ロボット１、２と直接会話するのではなく、ロボット１、２の間で行われる会話を傍観しならが聞くという形態をとる。
【０１３５】
このようにすれば、外部からユーザに一方的に情報を提供する利便性提供型サービスではなく、ロボット１、２の間で行われる会話を通して、ユーザの内面に働きかけ、ユーザの行動、状態、環境についての気付き（インスパイヤ）をユーザに与えることで、自己の成長を促すというインスパイヤ型ユビキタスサービスの実現が可能になる。
【０１３６】
図６（Ａ）〜図６（Ｃ）は、子供である第２のユーザの第２のユーザ情報を取得する場面の例である。図６（Ａ）において、家に帰宅した子供は、携帯型電子機器１００（１００-2）をクレードル１０１に接続して、充電等を行っている。図６（Ａ）では、このクレードル１０１への携帯型電子機器１００の接続により、ロボット１、２の利用可能イベントが発生したと判定し、ロボット１、２を起動し、その利用を可能にする。なお、無線強度の検出により、子供との接近を判定して、ロボット１、２を起動してもよい。
【０１３７】
このようにロボット１、２が起動すると、子供が所持する携帯型電子機器１００に記憶された第２のユーザ情報が、ロボット１、２のユーザ情報記憶部２２、７２に転送される。そして、モバイル環境において更新された子供の第２のユーザ情報に基づいて、ロボット１、２の会話等が制御される。また、モバイル環境で更新された第２のユーザ情報が、ロボット１、２との会話等に基づいて、ホーム環境において更に更新される。
【０１３８】
例えば図６（Ａ）では、子供の帰宅時間がいつもよりも遅かったことが、第２のユーザ情報に基づき判断される。このように、帰宅時間が遅いと判断された場合には、子供の帰宅時間に関連した提示情報がロボット１、２により提示される。具体的には、子供の帰宅時間の話題に関するシナリオデータが選択され、選択されたシナリオデータにしたがってロボット１、２が会話を開始する。例えば図６（Ａ）では、ロボット１が「今日は学校の帰りが遅かったね」という会話フレーズを発話し、それに対してロボット２が「最近、遅い日が多いよね〜」という会話フレーズを発話する。
【０１３９】
そして図６（Ｂ）ではロボット１が「部活が忙しいのかな」と発話し、ロボット２が「どうせフラフラ遊び歩いているんじゃない？」と発話する。このように図６（Ｂ）では、「帰宅時間がいつもより遅い」という同じ第２のユーザ情報に対して、ロボット１、２が異なる提示情報を提示する。すると、子供は、実際には部活で忙しくて帰宅が遅くなったため、「部活が忙しいのかな」と発話したロボット１の方を撫でる。これにより図６（Ｃ）に示すように、撫でられた方のロボット１が、「そういえばもうすぐ地区大会だったね」と発話する。
【０１４０】
この場合に、図６（Ｂ）のようなロボット１、２の対照的な会話フレーズに対する子供の反応（撫でる操作）に基づき、第２のユーザ情報が更新される。即ち、子供の帰宅が遅くなったのは、部活が原因であったことが推定され、部活で帰宅が遅くなったことが、第２のユーザ情報として記録されて、父親に提示するシナリオデータが作成される。即ち、ロボット１、２が発話した会話フレーズに対する子供（第２のユーザ）の反応に基づき、父親（第１のユーザ）に提示するシナリオデータが作成される。
【０１４１】
図７（Ａ）〜図７（Ｃ）は、子供の帰宅後、第１のユーザである父親が帰宅した場面の例である。
【０１４２】
父親が帰宅して、クレードル１０１への携帯型電子機器１００（１００-1）の接続等が検出されると、ロボット１、２が起動する。この場合に、図６（Ａ）〜図６（Ｃ）で説明した子供との会話により更新された第２のユーザ情報が、ロボット１、２のユーザ情報記憶部２２、７２に記憶されている。そしてロボット１、２は、この第２のユーザ情報に基づいて、その会話等が制御される。具体的には、子供の遅い帰宅時間の話題に関するシナリオデータが選択されて、選択されたシナリオデータにしたがってロボット１、２が会話を開始する。例えば図７（Ａ）では、ロボット１が「坊ちゃん学校の帰りが遅かったんだよ」と発話し、それに対してロボット２が「最近、遅い日が多いみたいだね〜」と発話する。
【０１４３】
この場合に、「子供の帰宅時間がいつもより遅い」という同じ第２のユーザ情報に対して、ロボット１、２が異なる提示情報を提示するように、父親（第１のユーザ）に対してロボット１、２が提示する提示情報の決定処理が行われる。具体的には図７（Ｂ）では、子供の遅い帰宅時間について、ロボット１は「部活が忙しいらしいよ」と発話し、ロボット２は「でも、なんか機嫌が悪いんだ」と発話する。
【０１４４】
例えば、ロボットとユーザが１対１で対峙し、ロボットが常に同じような傾向の会話を行うと、ユーザはロボットとの会話に閉塞感や行き詰まり感を感じるおそれがある。
【０１４５】
これに対して図７（Ｂ）では、ロボット１、２が、互いに異なる対照的な会話フレーズを発話する。しかも、ユーザに対して直接会話するのではなく、ロボット１、２同士で会話を行い、ユーザがそれを見守るという形態をとる。従って、いわゆる利便性提供型サービスではなく、ロボット１、２の間で行われる会話を通してユーザに気付きを与えるというインスパイヤ型ユビキタスサービスの提供が可能になる。
【０１４６】
また図７（Ｂ）では、父親は、子供の今日の機嫌に関する話題よりも、子供の部活に関する話題の方に興味があるため、ロボット１の方を撫でている。そして、ロボット１の接触センサ４１０等により、ロボット１、２による会話フレーズの発話に対するユーザの反応である「撫でる動作」が検知される。
【０１４７】
すると、このような「撫でる動作」というユーザの反応に基づいて、ロボット１、２が父親に対して次に会話する会話フレーズ（次に提示する提示情報）の決定処理を行う。具体的には図７（Ｃ）に示すように、撫でられた側のロボット１は、「もうすぐ地区大会だからね」と発話する。そして、その後は、子供の部活に関する話題のシナリオにより、ロボット１、２の間の会話が続けられる。
【０１４８】
このように図６（Ａ）〜図６（Ｃ）では、ロボット１、２の会話を通じて、子供のユーザ情報である第２のユーザ情報が更新されて、父親に提示するシナリオデータが作成される。従って、子供が特に意識することなく、自然に第２のユーザ情報が収集されて、取得される。そして取得された第２のユーザ情報に基づいて、子供を話題とするシナリオデータが作成され、図７（Ａ）〜図７（Ｃ）に示すように、ロボット１、２の会話を通じて、子供の話題が父親に提供される。従って、父親や子供が特に意識しなくても、ロボット１、２を媒介として父親と子供との間接的なコミュニケーションを実現できる。これにより、ロボットとの会話を通じてユーザに気付きを与えるというインスパイヤ型ユビキタスサービスの実現が可能になる。
【０１４９】
図８に、図５のシステムの動作を説明するためのフローチャートを示す。図８が図４のフローチャートと主に異なるのは、ステップＳ５６の処理である。即ちステップＳ５５で、第１のユーザ（父親）に提示するタイミングであると判断された場合には、ステップＳ５６では、ロボット１、２に異なる提示情報を提示させるロボット制御が行われる。具体的には、図７（Ａ）〜図７（Ｃ）で説明したように、同じ第２のユーザ情報（子供の帰宅時間）に対して、ロボット１、２が異なる会話を行うようにロボット１、２の会話フレーズを決定し、ロボット１、２に発話させる。これにより、ユーザとロボットとの会話が単調になってしまう事態が防止される。
【０１５０】
図９に、図５の変形例である第３のシステム構成例を示す。図９では、ロボット１がマスタ側に設定され、ロボット２がスレーブ側に設定される。そしてロボット制御システムは、主にマスタ側のロボット１が有する処理部１０により実現される。
【０１５１】
具体的にはマスタ側のロボット１に設けられたユーザ情報取得部１２がユーザ情報（第２のユーザ情報）を取得し、マスタ側の提示情報決定部１４が、取得されたユーザ情報に基づいて、ロボット１、２がユーザに対して提示する提示情報の決定処理を行う。例えばマスタ側、スレーブ側のロボット１、２が、各々、第１、第２の提示情報を提示することが決定された場合には、マスタ側のロボット制御部３０は、決定された第１の提示情報をロボット１に提示させるための制御を行う。このようにしてマスタ側のロボット１が制御される。またマスタ側の提示情報決定部１４は、スレーブ側のロボット２に対して、ユーザへの提示情報の提示を指示する。例えばマスタ側、スレーブ側が、各々、第１、第２の提示情報を提示することが決定された場合には、スレーブ側のロボット２に対して、第２の提示情報を提示することを指示する。するとスレーブ側のロボット制御部８０は、決定された第２の提示情報をロボット２に提示させるためのロボット制御を行う。このようにしてスレーブ側のロボット２が制御される。
【０１５２】
この場合に、通信部４０は、提示情報の提示を指示する指示情報を、マスタ側のロボット１からスレーブ側のロボット２に対して、例えば無線等により通信する。そしてスレーブ側の通信部９０がこの指示情報を受信すると、スレーブ側のロボット制御部８０は、この指示情報で指示された提示情報をロボット２に提示させるためのロボット制御を行う。
【０１５３】
ここで提示情報の指示情報は、例えば提示情報の識別コードなどである。提示情報がシナリオの会話フレーズである場合には、この指示情報は、シナリオにおける会話フレーズのデータコードになる。
【０１５４】
例えばロボット１、２が掛け合いの会話を行う場合に、ロボット１の発話した会話フレーズをロボット２が音声認識し、その音声認識の結果に基づいてロボット２に会話フレーズを発話させる手法が考えられる。
【０１５５】
しかしながら、この手法によると複雑は音声認識処理や解析処理が必要になり、ロボットの高コスト化、処理の複雑化、誤動作の発生などを招く。
【０１５６】
この点、図９では、マスタ側のロボット１の制御の下で、ロボット１、２の掛け合いの会話が実現される。即ち、ユーザの目からは、ロボット１、２がお互いの言葉を認識し合いながら会話しているように見えるが、実際には、全ての会話がマスタ側のロボット１の制御の下で行われる。またスレーブ側のロボット２は、マスタ側のロボット１から通信される指示情報に基づいて、自身が提示する情報を決定するため、音声認識処理を不要にできる。従って、複雑な音声認識処理等を行わなくても、ロボット１、２の間での掛け合いの会話を、誤動作の少ない安定した制御の下で実現できる。
【０１５７】
６．ネットワークを介した第２のユーザ情報の取得
以上では、家族間のコミュニケーションに本実施形態の手法を適用した場合について主に説明したが、本実施形態はこれに限定されない。例えば友人、恋人、親戚などの場所的に離れたユーザ間でのコミュニケーションにも本実施形態の手法は適用できる。
【０１５８】
例えば図１０では、第１のユーザの恋人である第２のユーザの第２のユーザ情報が取得される。具体的には第２のユーザのモバイル環境やホーム環境において、図１等で説明した手法により第２のユーザ情報（第２のユーザ履歴情報）が更新される。そして、更新された第２のユーザ情報は、インターネットなどのネットワークを介して通信される。即ち、ロボット１（ロボット制御システム）のユーザ情報取得部１２が、第２のユーザ情報をネットワークを介して取得する。そして提示情報決定部１４が、ネットワークを介して取得された第２のユーザ情報に基づいて、第１のユーザに提示する提示情報の決定処理を行う。
【０１５９】
このようにすれば、第１のユーザは、遠く離れた場所にいる第２のユーザの行動、状態又は環境（行動履歴、状態履歴、環境履歴）等を、ロボット１を媒介として知ることができる。即ちロボット１（或いはロボット１、２）は、ネットワークを介して取得した第２のユーザ情報によるシナリオデータに基づいて、図３（Ａ）〜図３（Ｃ）で説明したような会話を行う。従って、第１のユーザは、恋人である第２のユーザの様子を、ロボット１の会話を通じて間接的に知ることができる。これにより、遠く離れた場所にいる第１、第２のユーザ間での間接的なコミュニケーションを実現でき、これまでにないコミュニケーション手段を提供できる。なお図１０のシステムにおいて第２のユーザ情報を携帯型電子機器を媒介せずに取得するようにしてもよい。
【０１６０】
７．システム構成例
次に本実施形態の別のシステム構成例について説明する。図１１は本実施形態の第４のシステム構成例である。なお図１１は、１台のロボットが設けられる場合の例であるが、図５のように複数台のロボットを設けてもよい。
【０１６１】
図１１では、ローカルサーバであるホームサーバ２００が設けられている。このホームサーバ２００は、ホームサブシステムの制御対象機器の制御のための処理を行ったり、外部との通信処理などを行う。ロボット１（或いはロボット１、２）はこのホームサーバ２００の制御の下で動作する。
【０１６２】
そして図１１のシステムでは、携帯型電子機器１００-1、１００-2とホームサーバ２００は例えば無線ＬＡＮやクレードル等で通信接続され、ホームサーバ２００とロボット１は例えば無線ＬＡＮ等で通信接続される。そして本実施形態のロボット制御システムは、主にホームサーバ２００の処理部２１０により実現される。なおロボット制御システムの処理を、ホームサーバ２００とロボット１の分散処理により実現してもよい。
【０１６３】
携帯型電子機器１００-1又は１００-2を所持したユーザ（第１、第２のユーザ）が家に近づくと、無線ＬＡＮ等により携帯型電子機器１００-1、１００-2とホームサーバ２００の間の通信が可能になる。或いは携帯型電子機器１００-1、１００-2をクレードルに置くことで、通信が可能になる。
【０１６４】
そして通信経路が確立されると、携帯型電子機器１００-1、１００-2からホームサーバ２００のユーザ情報記憶部２２２にユーザ情報（第１、第２のユーザ情報）が転送される。これにより、ホームサーバ２００のユーザ情報取得部２１２がユーザ情報を取得する。そして演算部２１３が必要な演算処理を行い、提示情報決定部２１４が、ロボット１がユーザに対して提示する提示情報を決定する。そして、決定された提示情報又は提示情報の指示情報（例えば会話フレーズの発話指示情報）が、ホームサーバ２００の通信部２３８からロボット１の通信部４０に送信される。そしてロボット１のロボット制御部３０は、受信した提示情報又は受信した指示情報により指示される提示情報を、ユーザに提示するためのロボット制御を行う。
【０１６５】
図１１の構成によれば、例えばユーザ情報や提示情報（シナリオデータ）のデータサイズが大きい場合に、ロボット１にユーザ情報や提示情報の記憶部を設けなくても済むため、ロボット１の低コスト化やコンパクト化を図れる。またユーザ情報や提示情報の転送や演算処理を、ホームサーバ２００に一元化して処理、管理できるため、よりインテリジェントなロボット制御が可能になる。
【０１６６】
また図１１のシステムによれば、ロボット１の利用可能イベントが発生する前に、携帯型電子機器１００-1、１００-2からのユーザ情報を、ホームサーバ２００のユーザ情報記憶部２２２に予め転送しておくことができる。例えばユーザが家に帰ってロボット１に近づく前に（具体的には、ユーザが身につけたウェアラブルセンサの１つであるＧＰＳセンサからの情報が、ユーザが最寄り駅に着いたことを示したり、ホームセンサの１つであるドアの開閉センサからの情報が、ユーザが玄関のドアを開けたことを示したりしたタイミングなど）、モバイル環境で更新されたユーザ情報をホームサーバ２００のユーザ情報記憶部２２２に予め転送して書き込んでおく。そしてユーザがロボット１に近づき、ロボット１の利用可能イベントが発生すると、ユーザ情報記憶部２２２に予め転送されたユーザ情報を用いた、ロボット１の制御動作を開始させる。即ちロボット１を起動し、例えば図３（Ａ）〜図３（Ｃ）に示すような会話を行うようにロボット１を制御する。このようにすれば、ロボット１が起動した後に、ユーザ情報に基づく会話を直ぐに開始できるようになり、制御を効率化できる。
【０１６７】
図１２に本実施形態の第５のシステム構成例を示す。図１２では、メインサーバである外部サーバ３００が設けられている。この外部サーバ３００は、携帯型電子機器１００-1、１００-2との間やホームサーバ２００との間での通信処理を行ったり、各種の管理制御を行う。なお図１２は、１台のロボットが設けられる場合の例であるが、図５のように複数台のロボットを設けてもよい。
【０１６８】
図１２のシステムでは、携帯型電子機器１００-1、１００-2と外部サーバ３００はＰＨＳ等の無線ＷＡＮで通信接続され、外部サーバ３００とホームサーバ２００はＡＤＳＬ等の有線ＷＡＮで通信接続され、ホームサーバ２００とロボット１（ロボット１、２）は無線ＬＡＮ等で通信接続される。そして本実施形態のロボット制御システムは、主に、ホームサーバ２００の処理部２１０や外部サーバ３００の図示しない処理部により実現される。なおロボット制御システムの処理を、ホームサーバ２００、外部サーバ３００、ロボット１の分散処理により実現してもよい。
【０１６９】
携帯型電子機器１００-1、１００-2、ホームサーバ２００等の各ユニットは、適宜、外部サーバ３００と通信して、ユーザ情報（第１、第２のユーザ情報）の転送処理を行う。また、ＰＨＳの位置登録情報、ＧＰＳセンサ、マイク等を利用して、ユーザ（第１、第２のユーザ）が家に近づいたか否かを判断し、近づいた場合には、外部サーバ３００の図示しないユーザ情報記憶部に記憶されたユーザ情報を、ホームサーバ２００のユーザ情報記憶部２２２にダウンロードして、ロボット１による提示情報の提示制御を開始させる。なお、後述するシナリオデータ等の提示情報も、外部サーバ３００からホームサーバ２００の提示情報記憶部２２６にダウンロードできる。
【０１７０】
図１２のシステムによれば、ユーザ情報や提示情報を、外部サーバ３００において一元的に管理できるようになる。
【０１７１】
８．ユーザ履歴情報
次に、ユーザ情報の１つであるユーザ履歴情報の更新処理やユーザ履歴情報の具体例について説明する。なおユーザ情報は、センサ情報によりリアルタイムに得られるユーザ情報と、このリアルタイムに得られるユーザ情報の履歴であるユーザ履歴情報などを含むことができる。
【０１７２】
図１３は、ユーザ履歴情報の更新処理の一例を示すフローチャートである。
【０１７３】
まず、ウェアラブルセンサ１５０等からのセンサ情報を取得する（ステップＳ２１）。次に、取得されたセンサ情報のフィルタリングや解析等の演算処理を行う（ステップＳ２２）。そして演算結果に基づきユーザの行動、状態、環境等（ＴＰＯ、情感）を推定する（ステップＳ２３）。そして推定されたユーザの行動、状態等のユーザ履歴を日時（年、月、週、日、時間）等に関連づけてユーザ履歴情報記憶部２３（２２３）に記憶して、ユーザ履歴情報を更新する（ステップＳ２４）。
【０１７４】
図１４にユーザ履歴情報の具体例が模式的に示される。図１４のユーザ履歴情報は、ユーザの行動等の履歴が時間帯、時刻等に関連づけられたデータ構造になっている。例えば８時にユーザは自宅を出発し、８時〜８時２０分の時間帯では自宅から駅まで歩行し、８時２０分に自宅の最寄りのＡ駅に到着している。そして８時２０分〜８時４５分の時間帯では電車に乗車し、８時４５分に会社の最寄りのＢ駅で下車し、９時に会社に到着し、業務を開始している。１０時〜１１時の時間帯では社内のメンバとミーティングを行い、１２時〜１３時の時間帯では昼食をとっている。
【０１７５】
このように図１４では、センサからの情報等により推定されるユーザの行動等の履歴を、時間帯や時刻等に関連づけることで、ユーザ履歴情報が構築されている。
【０１７６】
また図１４では、時間帯や時刻に対して、センサ等により計測されるユーザの発話量、食事量、脈拍、発汗量等の計測値も関連づけられている。例えば８時〜８時２０分の時間帯では、ユーザは自宅からＡ駅に歩いているが、この時の歩行量等がセンサにより計測されて、８時〜８時２０分の時間帯に関連づけられる。この場合に、例えば歩行速度、発汗量等の歩行量以外のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの運動量等を把握することが可能になる。
【０１７７】
１０時〜１１時の時間帯では、ユーザは同僚とのミーティングを行っているが、この時の発話量等がセンサにより計測されて、１０時〜１１時の時間帯に関連づけられる。この場合に、例えば音声状態、脈拍等のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの会話量や緊張度等を把握することが可能になる。
【０１７８】
２０時４５分〜２１時４５分や２２時〜２３時の時間帯では、ユーザはゲームをプレイしたり、テレビを鑑賞しているが、この時の脈拍、発汗量等がこれらの時間帯に関連づけられる。こうすることで、これらの時間帯でのユーザの興奮度等を把握することが可能になる。
【０１７９】
２３時３０分〜の時間帯では、ユーザは睡眠をしているが、この時のユーザの体温の変化がこの時間帯に関連づけられる。こうすることで、睡眠時におけるユーザの健康状態を把握することが可能になる。
【０１８０】
なお、ユーザ履歴情報は図１４のような形態に限定されず、例えばユーザの行動等の履歴を日時等に関連づけないでユーザ履歴情報を構築する変形実施も可能である。
【０１８１】
例えば図１５（Ａ）では、センサ情報の計測値である発話量、音声状態、脈拍、発汗量等に基づいて、所定の演算式にしたがってユーザの精神状態パラメータが演算される。例えば発話量が多ければ、精神状態パラメータも高くなり、ユーザの精神状態が良好であることが示される。またセンサ情報の計測値である歩行量、歩行速度、体温等に基づいて、所定の演算式にしたがってユーザの身体状態（健康状態）のパラメータ（運動量パラメータ）が演算される。例えば歩行量が多ければ、身体状態パラメータも高くなり、ユーザの身体状態が良好であることが示される。
【０１８２】
また図１５（Ｂ）に示すように、ユーザの精神状態、身体状態のパラメータ（広義には状態パラメータ）は、棒グラフ等を利用して可視化することで、ウェアラブルディスプレイやホームディスプレイに表示できる。またモバイル環境で更新された精神状態、身体状態のパラメータなどに基づいて、ホーム環境のロボットを制御して、ユーザを労ったり、励ましたり、あるいはユーザに助言する動作をロボットに行わせることが可能になる。
【０１８３】
以上のように本実施形態では、ユーザ情報として、ユーザの行動履歴、状態履歴、及び環境履歴の少なくとも１つであるユーザ履歴情報が取得される。そして取得されたユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理が行われるようになる。
【０１８４】
９．シナリオに基づくロボットの会話
次に、ユーザへの提示情報がシナリオに基づくロボットの会話である場合を例にとり、その具体例について詳細に説明する。
【０１８５】
９．１ 構成
図１６に本実施形態の更に詳細なシステム構成例を示す。図１６は図２、図５等に比べて、処理部１０が更にイベント判定部１１、ユーザ識別部１５、接触状態判定部１６、発話権制御部１７、シナリオデータ取得部１８、ユーザ情報更新部１９を含んでいる。また記憶部２０がシナリオデータ記憶部２７、提示許可判断情報記憶部２８を含んでいる。
【０１８６】
イベント判定部１１は各種のイベントの判定処理を行う。具体的には、モバイルサブシステムや車内サブシステムでユーザ情報を更新していたユーザが、新たにホームサブシステムのロボットの利用が可能になったことを示すロボットの利用可能イベントの発生を判定する。例えばイベント判定手段１１は、ユーザがロボットの場所（家）に接近（移動）した場合に、ロボットの利用可能イベントが発生したと判定する。或いは情報転送が無線により行われる場合には、その無線強度を検出することで利用可能イベントの発生を判定してもよい。或いはクレードルに携帯型電子機器が接続された場合に、利用可能イベントが発生したと判定してもよい。そして、このようなロボットの利用可能イベントが発生した場合には、ロボット１、２を起動し、ユーザ情報記憶部２２等にユーザ情報がダウンロードされる。
【０１８７】
シナリオデータ記憶部２７は、複数の会話フレーズにより構成されるシナリオデータを、提示情報として記憶する。そして提示情報決定部１４は、このシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定する。するとロボット制御部３０は、決定された会話フレーズをロボットに発話させるための制御を行う。
【０１８８】
具体的にはシナリオデータ記憶部２７は、複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶する。そして提示情報決定部１４は、ロボットが発話した会話フレーズに対するユーザ（第１のユーザ）の反応に基づいて、次にロボットに発話させる会話フレーズを決定する。
【０１８９】
ユーザ識別部１５はユーザの識別処理を行う。具体的には、ロボットに対してユーザが接近した場合に、接近したユーザを識別する。そしてロボット制御部３０は、第１のユーザが接近したとユーザ識別部１５により識別された場合に、第１のユーザに提示情報を提示するためのロボット制御を行う。
【０１９０】
このユーザ識別は、例えばロボットによるユーザの顔の画像認識やユーザの声の音声認識などにより実現できる。例えば第１のユーザの顔画像や音声のデータを予め登録しておく。そして、ＣＣＤ等の撮像デバイスやマイク等の音センサにより、ロボットに接近したユーザの顔画像や音声を認識し、登録されている顔画像や音声と一致するか否かを判断する。そして、認識された顔画像や音声が第１のユーザの顔画像や音声と一致した場合に、第１のユーザへの提示情報の提示を開始する。或いはユーザが所持する携帯型電子機器からのＩＤ情報をロボットが受信し、予め登録されているＩＤ情報と一致するか否かを判断することで、接近したユーザが第１のユーザか否かを識別してもよい。
【０１９１】
接触状態判定部１６は、後述するように、ロボットのセンシング面における接触状態を判定する。そして提示情報決定部１４は、ロボットによる会話フレーズの発話（提示情報の提示）に対するユーザの反応として、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、接触状態判定部１６での判定結果に基づき判断する。そして、ユーザに対して次に発話する会話フレーズ（次に提示する提示情報）を決定する。
【０１９２】
この場合に接触状態判定部１６は、センシング面よりも内側（ロボットの内側）に設けられたマイク（音センサ）からの出力信号（センサ信号）に対して演算処理を行うことで得られた出力データに基づいて、センシング面における接触状態を判定する。この場合の出力データは、例えば信号強度（信号強度データ）であり、接触状態判定部１６は、出力データで信号強度と、所定のしきい値との比較処理を行うことで、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定できる。
【０１９３】
発話権制御部１７は、ロボットが発話した会話フレーズに対するユーザ（第１のユーザ）の反応（例えば撫でる、叩く、無言）に基づいて、ロボット１、２のいずれに対して次の会話フレーズの発話権（発話の主導権）を付与するかを制御する。具体的には、ロボット１、２のいずれか一方のロボットが発話した会話フレーズに対してユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定する。例えばユーザが肯定的な反応をした方のロボットに発話権を付与したり、ユーザが否定的な反応をしなかった方のロボットに発話権を付与する。この発話権の制御処理は、ロボット１、２のいずれに発話権を付与するかを示す発話権フラグ等を利用して実現できる。
【０１９４】
例えば図１７（Ａ）では、ロボット１の「部活が忙しいらしいよ」という会話フレーズに対して、父親は頭を撫でるという肯定的な反応をしている。従って、この場合には図１７（Ｂ）に示すように、頭を撫でられた方（肯定的な反応をされた方）のロボット１に対して次の発話権を付与する。これにより発話権を付与されたロボット１は「もうすぐ地区大会だからね」という会話フレーズを発話する。即ちロボット１、２は例えば交互に発話するのが原則であり、この原則に従えば図１７（Ｂ）ではロボット２の方に次の発話権が付与されるはずであるが、図１７（Ｂ）では、父親により頭が撫でられたロボット１の方に次の発話権を付与している。なお図１７（Ａ）において、ロボット２が発話し、父親がロボット２の方の頭を叩くという否定的な反応をした場合に、ロボット１に発話権を付与するようにしてもよい。
【０１９５】
図１８（Ａ）では、ロボット２の「でも、なんだか機嫌が悪いんだ」という会話フレーズに対して、父親は頭を撫でるという肯定的な反応をしている。従って、この場合には図１８（Ｂ）に示すように、頭を撫でられた方のロボット２に対して、原則通り次の発話権を付与する。これにより発話権を付与されたロボット２は「今日は３回も叩かれたんだ！まったく！」という会話フレーズを発話する。なお図１８（Ａ）において、ロボット１が発話し、父親がロボット１の方の頭を叩くという否定的な反応をした場合に、ロボット２に発話権を付与するようにしてもよい。
【０１９６】
例えばロボット１、２が常に交互に順番に会話するだけでは、ロボット１、２の掛け合いの会話がユーザにとって単調なものになってしまい、ユーザに直ぐに飽きられてしまう。
【０１９７】
これに対して図１７（Ａ）〜図１８（Ｂ）の発話権制御手法を用いれば、ユーザの反応に応じて発話権の付与が様々に切り替わるため、会話が単調になるのを防止でき、ユーザが飽きにくいロボット間の会話を実現できる。
【０１９８】
シナリオデータ取得部１８はシナリオデータの取得処理を行う。具体的には、シナリオデータ記憶部２７からユーザ情報に対応したシナリオデータを読み出すことで、ロボットの会話に使用するシナリオデータを取得する。なお、ユーザ情報に基づき選択されたシナリオデータを、ネットワークを介してシナリオデータ記憶部２７にダウンロードし、ダウンロードされたシナリオデータの中から、ロボットの会話に使用するシナリオデータを選択して読み出すようにしてもよい。
【０１９９】
そして本実施形態では、例えば図６（Ａ）〜図６（Ｃ）で説明したように、ロボットが発話した会話フレーズに対する第２のユーザ（子供）の反応に基づいて、シナリオデータを作成し、シナリオデータ取得部１８は、作成されたシナリオデータを取得する。そして提示情報決定部１４は、取得されたシナリオデータに基づいて、ロボットが第１のユーザに対して発話する会話フレーズを決定する。
【０２００】
このようにすれば、ロボットの会話フレーズに対する第２のユーザの反応に応じて、第１のユーザに提示するシナリオの内容が変化するようになり、多様で変化に富んだロボットの会話を実現できる。例えば図６（Ｂ）では、ロボット１の「部活が忙しいのかな」という発話に対して、子供がロボット１の頭を撫でるという肯定的な反応をしている。このため、図７（Ｂ）、図７（Ｃ）では、子供の部活の話題に関するシナリオ（会話フレーズ）が選択されて、父親に提示されるようになる。
【０２０１】
ユーザ情報更新部１９は、ホーム環境でのユーザ情報の更新処理を行う。具体的には、ロボットとの会話等を介して、ユーザの行動、状態等をセンシングして、ユーザ情報をホーム環境において更に更新する。
【０２０２】
提示許可判断情報記憶部２８は、ユーザ間での情報提示の許可・不許可を判断するための提示許可判断情報（提示許可判断フラグ）を記憶する。そして提示情報決定部１４は、提示許可判断情報に基づいて、第１、第２のユーザ間での情報提示が許可されていると判断した場合に、第２のユーザ情報に基づく第１のユーザへの提示情報の決定処理を行う。
【０２０３】
図１９に提示許可判断情報の一例を示す。例えば図１９では、ユーザＡとユーザＢとの間では、情報提示は許可されているが、ユーザＡとユーザＣ、Ｄとの間では、情報提示は不許可になっている。またユーザＢとユーザＥとの間では、情報提示は許可されているが、ユーザＢとユーザＣ、Ｄとの間では、情報提示は不許可になっている。
【０２０４】
従って、例えばユーザＡがロボットに接近した場合に、ユーザＢのユーザ情報に基づく提示情報をユーザＡに提示することは許可されるが、ユーザＣのユーザ情報に基づく提示情報については、ユーザＡに提示することは禁止される。
【０２０５】
例えば、家族の全てのメンバに対して、子供の情報の提示を許可してしまうことは、望ましくない場合がある。そこで、提示許可判断情報を用いて、子供の情報を父親に提示することについては許可する一方で、子供の情報を母親に提示することについては不許可にする。
【０２０６】
このようにすれば、ロボットは、父親がロボットに近づいた場合には、提示許可判断情報に基づいて、子供の情報の提示が許可されていると判断して、子供のユーザ情報に基づく情報提示を行うようになる。一方、ロボットは、母親がロボットに近づいた場合には、提示許可判断情報に基づいて、子供の情報の提示が禁止されていると判断して、子供のユーザ情報に基づく情報提示を行わないようにする。このようにすれば、必要なユーザに対してのみ、他のユーザの情報が提示されるようになり、プライバシーの侵害等の問題が発生するのを防止できる。
【０２０７】
次に本実施形態の詳細な動作について図２０のフローチャートを用いて説明する。
【０２０８】
まず、図６（Ａ）〜図６（Ｃ）で説明したように、ロボットが発話した会話フレーズに対する第２のユーザ（子供）の反応に基づき作成されるシナリオデータを取得する（ステップＳ３１）。
【０２０９】
次に、ロボットにユーザが接近したか否かを判断する（ステップＳ３２）。即ち、携帯型電子機器のクレードルへの接続の検出や、無線強度の検出等により、ロボットの利用可能イベントが発生したか否かを判断する。
【０２１０】
次に、ロボットに接近したユーザを識別する（ステップＳ３３）。即ち画像認識や音声認識などに基づいてユーザを識別する。そして、識別されたユーザに対応付けられた提示許可判断情報を、提示許可判断情報記憶部２８から読み出す（ステップＳ３４）。
【０２１１】
次に、識別されたユーザは、提示許可判断情報により情報の提示が許可されている第１のユーザか否かを判断する（ステップＳ３５）。例えば、子供である第２のユーザの情報の提示が、父親である第１のユーザに対してのみ許可されている場合には、ロボットに接近したユーザが、父親であるか否かを判断する。
【０２１２】
そして、第１のユーザであると判断した場合には、図７（Ａ）〜図７（Ｃ）で説明したように、ステップＳ３１で取得されたシナリオデータに基づいて、ロボット１、２に発話させる会話フレーズを決定する（ステップＳ３６）。そしてロボット１、２に異なる会話フレーズを発話させるロボット制御を行う（ステップＳ３７）。
【０２１３】
次に、ロボット１、２の発話に対する第１のユーザの反応をモニタする（ステップＳ３８）。そして図１７（Ａ）〜図１８（Ｂ）に示す手法により次の会話フレーズの発話権を決定する（ステップＳ３９）。また第１のユーザの反応に基づいて、次にロボット１，２が発話する会話フレーズを決定する（ステップＳ４０）。
【０２１４】
９．２ シナリオの具体例
次に、本実施形態で使用されるシナリオデータやその選択手法の具体例について説明する。
【０２１５】
図２１に示すようにシナリオデータベース（シナリオＤＢ）の各シナリオデータにはシナリオ番号（シナリオＮｏ.）が付与されている。そしてシナリオ番号により特定されるシナリオデータは、複数のシナリオデータコードにより構成され、各シナリオデータコードにより各会話フレーズ（テキストデータ）が指定される。そして図２１では、第２のユーザ情報により、シナリオ番号＝０５７９のシナリオデータが選択されている。そしてシナリオ番号＝０５７９のシナリオデータは、Ａ０１〜Ａ０６のシナリオデータコードにより構成される。ここでＡ０１〜Ａ０６は、ロボットが順次発話する会話フレーズのコードである。そしてこのシナリオデータを使用することで、図３（Ａ）〜図３（Ｃ）等で説明した、第２のユーザ情報に応じたロボットの会話が実現される。
【０２１６】
図２２は、子供の話題を父親に提供するシナリオの例である。
【０２１７】
例えば、まずロボットが「坊ちゃん最近部活が忙しいみたいだね」と発話し、続いて「夏休みには旅行にも行きたいってさ〜」と発話する。この発話に対して父親がロボットを撫でた場合には、夏休みの旅行についての子供の要望に対して、父親は興味を持っていると、推定する。従って、この場合にはロボットは、やっぱり「夏は海かな〜だってさ」と発話して、子供との会話により得られた子供の要望を父親に伝える。そして、夏休みの旅行の話題に関する会話を続ける。
【０２１８】
一方、「夏休みには旅行にも行きたいってさ〜」という発話に対して父親が無反応であった場合には、その話題には父親は興味がないと推定し、ロボットは、話題を変えて例えば「勉強はボチボチかな〜」と発話する。この発話に対して父親がロボットを撫でた場合には、子供の勉強の様子について父親は興味を持っていると、推定する。従って、この場合にはロボットは、「今は部活が忙しいみたいだし・・・」と発話し、子供の勉強の話題に関する会話を続ける。
【０２１９】
このように図２２では、ロボットが発話した会話フレーズに対する父親の反応に基づいて、次にロボットに発話させる会話フレーズを決定している。また父親の撫でる、叩くなどの反応を検知することで、どのような子供の話題に父親が興味を持っているかを、推定している。
【０２２０】
図２３は、ロボット１、２の会話を通じて子供のユーザ情報を収集するシナリオの例である。
【０２２１】
また、ロボット１が子供に対して「今日は学校の帰りが遅かったね」と発話し、ロボット２が「最近遅い日が多いよね〜」と発話する。続いてロボット１が「部活が忙しいのかな？」と発話し、ロボット２が「どうせフラフラ遊び歩いているんじゃない？」と発話する。
【０２２２】
そして子供がロボット１の方を撫でた場合には、子供が部活で帰りが遅くなったと推定する。そしてこの場合には、発話権はロボット１に付与されて、ロボット１は、「そういえばもうすぐ地区大会だね」と発話する。そして部活の話題についての会話が続けられる。
【０２２３】
一方、子供がロボット２の方を叩いた場合には、ロボット２の方に発話権が付与されて、ロボット２は「いてっ！叩くことないじゃないか！！」と発話する。
【０２２４】
このように図２３では、ロボット１、２の会話を通じて子供の第２のユーザ情報が収集されて、更新される。従って、子供が特に意識しなくても、子供の第２のユーザ情報を自然に取得できるようになる。
【０２２５】
図２４は、図２３で収集された第２のユーザ情報に基づいて、父親に提示されるシナリオの例である。
【０２２６】
まず、図２３で収集された第２のユーザ情報に基づくシナリオにより、ロボット１が「坊ちゃん学校の帰りが遅かったんだよ」と発話し、ロボット２が「最近遅い日が多いみたいだね〜」と発話する。続いてロボット１が「部活が忙しいらしいよ」と発話し、ロボット２が「でも、なんだか機嫌が悪いんだ」と発話する。即ち、同じ第２のユーザ情報に対してロボット１、２が異なる会話フレーズを発話する。
【０２２７】
そして父親がロボット１の方を撫でると、父親が子供の部活の話題に興味があると推定し、ロボット１の方に発話権が付与されて、ロボット１が「もうすぐ地区大会だからね〜」と発話する。そして子供の部活の話題についての会話が続く。
【０２２８】
一方、父親がロボット２の方を撫でると、ロボット２の方に発話権が付与されて、ロボット２は「今日は３回も叩かれたんだよ！まったく！」と発話する。
【０２２９】
このように図２４では、ロボット１、２の会話を通じて収集された子供の話題が、ロボット１、２の会話を通じて父親に提示される。従って、ロボット１、２を媒介とした間接的なコミュニケーション手段を提供できる。
【０２３０】
１０．接触状態判定
次に、ロボットを叩く、撫でる等の動作の具体的な判定手法の一例について説明する。
【０２３１】
図２５（Ａ）はぬいぐるみ型のロボット５００の例である。ロボット５００の表面は、センシング面５０１として機能する。センシング面５０１よりも内側には、マイク５０２-1、５０２-2、５０２-3が設けられている。また、各マイク５０２-1、５０２-2、５０２-3からの出力信号を演算処理し、出力データを出力する信号処理部５０３が設けられている。
【０２３２】
図２５（Ｂ）の機能ブロック図に示すように、マイク５０２-1、５０２-2…５０２-ｎからの出力信号は信号処理部５０３に入力される。信号処理部５０３は、ノイズ除去や信号増幅等を行って、アナログの出力信号を加工・変換する。そして信号強度等を計算して、デジタルの出力データとして出力する。接触状態判定部１６は、例えばしきい値の比較処理、接触状態の分類等の処理を行う。
【０２３３】
例えば図２６（Ａ）、図２６（Ｂ）、図２６（Ｃ）は、センシング面５０１を叩いた時、センシング面５０１を撫でた時、マイクに向かって話かけた時の３パターンの音声波形例である。グラフの横軸は時間であり、縦軸は信号強度である。
【０２３４】
信号強度に着目すると、図２６（Ａ）の叩いた時と、図２６（Ｂ）の撫でた時では信号強度が大きいことがわかる。また、叩いた時はその状態が一時的なものになるが、撫でた時はその状態が継続していることがわかる。また図２６（Ｃ）に示すように例えば「あー」とかなり強めに発話した時の波形は、図２６（Ａ）の叩いた時、図２６（Ｂ）の撫でた時に比べて信号強度が小さいことがわかる。
【０２３５】
これらの差異を利用したしきい値を設けることで、「叩き状態」、「撫で状態」、「いずれでもない状態」を検出することが可能となる。また複数のマイク５０２-1、５０２-2、５０２-3を用いることにより、１番強い信号が発生した場所を「叩かれた部位、撫でられた部位」として検出できるようになる。
【０２３６】
より具体的には、ロボット５００の内部に埋め込まれたマイク５０２-1、５０２-2、５０２-3は、ロボット５００のセンシング面５０１にユーザの手などが接触した場合に、ロボット５００の内部を伝搬してくる音を検出して電気信号に変換する。
【０２３７】
信号処理部５０３は、マイク５０２-1、５０２-2、５０２-3からの出力信号（音声信号）のノイズ除去、信号増幅、Ａ／Ｄ変換を行い、出力データを出力する。この出力データを絶対値に変換して一定時間蓄積することなどにより、信号強度を算出できる。そして算出された信号強度を、しきい値ＴＨと比較する。そしてしきい値ＴＨを超えていれば、「接触」が検出されたものと判定して、接触状態検出回数としてカウントする。そしてこの接触状態検出処理を所定時間、繰り返す。
【０２３８】
所定時間が経過した時点で、接触状態判定部１６は、事前に設定しておいた条件と、前述の接触状態検出回数を比較して、例えば下述のような条件により、撫でられた状態、叩かれた状態を検出する。ここでは、撫でた場合には接触状態が継続するため接触状態検出回数も多くなるが、叩いた場合には接触状態検出回数は少なくなるという現象を利用して、撫でられた状態なのか、叩かれた状態なのかを検出する。
【０２３９】
検出状態 （検出回数／最大検出回数）×１００（％）
撫で状態 ２５％以上
叩き状態 １０％以上、２５％未満
未検出状態 １０％未満
このようにすることで、少なくとも１つのマイクを用いて「撫で状態」、「叩き状態」、「いずれでもない状態（未検出状態）」を判定できる。また複数のマイクを分散して埋め込み、各マイクの接触状態検出回数を比較することで、接触が発生した部位についても判定することが可能になる。
【０２４０】
１１．第１、第２のユーザ情報に基づく提示情報の決定処理
本実施形態では、第１のユーザへの提示情報の決定処理を、例えば第１、第２のユーザ情報の両方を考慮して行う。具体的には、第１のユーザへの提示情報の決定処理における第１のユーザ情報の重み付けと第２のユーザ情報の重み付けとを、時間経過に伴い変化させる。
【０２４１】
例えば、第１のユーザ（父親）が帰宅したり、ロボットと接触すると、ロボット（ホームサブシステム）の利用可能イベントが発生する。具体的には、ウェアラブルセンサのＧＰＳや、家のドアなどに付けられたセンサや、クレードルへの携帯型電子機器の接続などにより第１のユーザの帰宅が検出されたり、無線通信における無線強度やロボットの接触センサなどにより第１のユーザとロボットの接近が検出されると、図１６のイベント判定部１１が、第１のユーザによるロボットの利用可能イベントが発生したと判定する。即ちロボットの利用が可能な状態になったことを示す利用可能イベントが発生したと判定する。
【０２４２】
そして図２７では、この利用可能イベント発生前の例えば第１のユーザの外出期間（ロボットの利用不可期間、ロボットと第１のユーザの非近接期間）を第１の期間Ｔ１とし、利用可能イベント発生後の例えば在宅期間（ロボットの利用可能期間、ロボットと第１のユーザの近接期間）を第２の期間Ｔ２としている。
【０２４３】
この第１の期間Ｔ１では、第１のユーザ（父親）の第１のユーザ情報や、第２のユーザ（子供）の第２のユーザ情報が取得（更新）される。例えば第１のユーザ情報（第１のユーザ履歴情報）は、第１の期間Ｔ１において、第１のユーザのウァアラブルセンサの行動センサ、状態センサ、環境センサを用いて第１のユーザの行動（歩行、発話、食事等）、状態（疲労、緊張、空腹、精神状態、肉体状態等）、又は環境（場所、明るさ、気温等）を計測することで、取得できる。具体的には携帯型電子機器１００-1のユーザ情報更新部が、これらのセンサからのセンサ情報に基づいて、携帯型電子機器１００-1のユーザ情報記憶部の第１のユーザ情報を更新することで、第１の期間Ｔ１での第１のユーザ情報が取得される。
【０２４４】
第２のユーザ（子供）の第２のユーザ情報も、同様に、第１の期間Ｔ１において、第２のユーザのウェラブルセンサを用いて、第２のユーザの行動、状態又は環境を計測することで、取得できる。具体的には携帯型電子機器１００-2のユーザ情報更新部が、これらのセンサからのセンサ情報に基づいて、携帯型電子機器１００-2のユーザ情報記憶部の第２のユーザ情報を更新することで、第１の期間Ｔ１での第２のユーザ情報が取得される。なお第２のユーザ情報は、図６（Ａ）〜図６（Ｃ）で説明したようにロボットとの会話を介しても取得できる。
【０２４５】
そして、例えばロボット１の利用可能イベントが発生すると、第１の期間Ｔ１において更新された第１、第２のユーザ情報が、携帯型電子機器１００-1、１００-2のユーザ情報記憶部からロボット１のユーザ情報記憶部２２（ユーザ履歴情報記憶部２３）に転送される。これにより提示情報決定部１４は、転送された第１、第２のユーザ情報に基づいて、ロボット１が第１のユーザに対して提示する提示情報の決定処理（シナリオの選択処理）を行うことが可能になる。
【０２４６】
なお、利用可能イベント発生後の第２の期間Ｔ２においても、ロボット搭載センサ３４や他のセンサ（例えばウェアラブルセンサや、ホームに埋め込まれたホームセンサ等）を用いて、第１のユーザの行動、状態又は環境を計測することで、第１のユーザ情報を更新してもよい。
【０２４７】
図２８に示すように、提示情報決定部１４は、第１の期間Ｔ１（或いは第２の期間Ｔ２）などで取得された第１、第２のユーザ情報に基づいて、ロボット１が第１のユーザに対して提示する提示情報の決定処理を行う。具体的には、第１、第２のユーザ情報に基づいて、ロボット１が会話するシナリオの決定処理を行う。このようにすれば、帰宅した第１のユーザ（父親）に対して、第２のユーザ（子供）についての話題のみならず、外出先等での第１のユーザ自身の話題についても、第１のユーザに提供できるようになり、外出先での自身の行動等に関する気付きを与えることができる。
【０２４８】
更に具体的には提示情報決定部１４は、提示情報の決定処理の際における第１のユーザ情報の重み付け（重み付け係数）と第２のユーザ情報の重み付けとを、時間経過に伴い変化させている。
【０２４９】
例えば図２８では、ロボット１の利用可能イベントの発生時には（ユーザの帰宅時、帰宅時から所与の期間が経過するまでは）、決定処理における第１のユーザ情報の重み付けの方が第２のユーザ情報の重み付けに比べて大きくなっており、例えば、第１のユーザ情報の重み付けが１．０になり、第２のユーザ情報の重み付けが０になっている。
【０２５０】
そして重み付け変更期間ＴＡにおいて、第１のユーザ情報の重み付けは小さくなる一方で、第２のユーザ情報の重み付けは大きくなり、重み付けの大きさが逆転する。そして、変更期間ＴＡの後は、第２のユーザ情報の重み付けの方が第１のユーザ情報の重み付けに比べて大きくなっており、例えば第１のユーザ情報の重み付けが０になり、第２のユーザ情報の重み付けが１．０になっている。
【０２５１】
このように図２８では、利用可能イベント発生時には、決定処理における第１のユーザ情報の重み付けを大きくし、第２のユーザ情報の重み付けを小さくし、その後、第１のユーザ情報の重み付けを小さくし、第２のユーザ情報の重み付けを大きくしている。具体的には、第２の期間Ｔ２では、提示情報の決定処理の際における第１のユーザ情報の重み付けを時間経過に伴い小さくし、第２のユーザ情報の重み付けを時間経過に伴い大きくしている。
【０２５２】
このようにすれば、第２の期間Ｔ１の前半期間では、ロボット１は、例えば外出期間である第１の期間Ｔ１での第１のユーザ（父親）の行動等に関連する話題を提供する。そして、その後、時間が経過すると、今度は、第２のユーザ（子供）の行動等に関連する話題を提供する。
【０２５３】
このようにすれば、第１のユーザは、帰宅した直後は自身に関する話題が提供され、その後、時間が経過して落ちついたところで、他の人である第２のユーザの話題が提供されるようになり、第１のユーザにとってより自然な話題の提供が可能になる。
【０２５４】
また、例えば第２のユーザがロボット１と自宅に一緒に居るときに、第１のユーザが帰宅した場合には、第２のユーザよりも第１のユーザの方に注目が集まることが予想される。従って、第１のユーザの帰宅直後では、第１のユーザに関する話題を中心に提示し、時間が経過して落ちついたところで、第１、第２のユーザに関する話題を満遍なく提供するようにする。
【０２５５】
なお重み付けの変化のさせ方は図２８の手法に限定されない。例えば図２８とは逆に、前半期間では第２のユーザ情報の重み付けの方を大きくし、その後、第１のユーザ情報の重み付けの方を大きくする変形実施も可能である。また、重み付けの変化のさせ方は、ロボット１等に予めプログラミングしておく構成にしてもよいし、ユーザが好みに応じて自由に切り替えられる構成にしてもよい。
【０２５６】
また第２の期間Ｔ２においても第１のユーザ情報を取得（更新）する場合には、提示情報の決定処理の際に、第１の期間Ｔ１で取得された第１のユーザ情報の重み付けと、第２の期間Ｔ２で取得された第１のユーザ情報の重み付けについても、時間経過に伴い変化させてもよい。例えばロボット１の利用可能イベントの発生直後では、第１の期間Ｔ１で取得された第１のユーザ情報の重み付けを大きくし、時間が経過するにつれて、第２の期間Ｔ２で取得された第１のユーザ情報の重み付けを大きくする。
【０２５７】
また、提示情報の決定処理の際のユーザ情報の重み付けの一例としては、ユーザ情報で選択されるシナリオの選択確率がある。具体的には、第１のユーザ情報の重み付けを大きくする場合には、第２のユーザ情報よりも第１のユーザ情報の方のシナリオが選択されるようにする。具体的には、第１のユーザ情報に対応するシナリオの選択確率を大きくする。一方、第２のユーザ情報の重み付けを大きくする場合には、第１のユーザ情報よりも第２のユーザ情報の方のシナリオが選択されるようにする。具体的には、第２のユーザ情報に対応するシナリオの選択確率を大きくする。
【０２５８】
例えば図２８において、第２の期間Ｔ２の前半では、第１のユーザ情報の重み付けが大きいため、第１のユーザ情報用のシナリオの選択確率が高くなる。これにより、前半期間では、ロボット１は、第１のユーザのその日の行動等に関する会話を行うようになる。一方、第２の期間Ｔ２の後半では、第２のユーザ情報の重み付けが大きいため、第２のユーザ情報用のシナリオの選択確率が高くなる。これにより、後半期間では、ロボット１は、第２のユーザのその日の行動等に関する会話を行うようになる。このようにすれば、時間経過に伴い、提供するシナリオの話題を徐々に変化させることができ、より自然で多様なロボットの会話を実現できる。
【０２５９】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またロボット制御システムやロボットの構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【図面の簡単な説明】
【０２６０】
【図１】ユーザ情報の取得手法の説明図
【図２】本実施形態のシステム構成例。
【図３】図３（Ａ）〜図３（Ｃ）は本実施形態の手法の説明図。
【図４】本実施形態の動作を説明するためのフローチャート。
【図５】ロボットが複数台である場合の本実施形態の第２のシステム構成例。
【図６】図６（Ａ）〜図６（Ｃ）は第２のユーザ情報の取得手法の説明図。
【図７】図７（Ａ）〜図７（Ｃ）は第１のユーザへの情報提示手法の説明図。
【図８】第２のシステム構成の動作を説明するためのフローチャート。
【図９】本実施形態の第３のシステム構成例。
【図１０】ネットワークを介した第２のユーザ情報の取得手法の説明図。
【図１１】本実施形態の第４のシステム構成例。
【図１２】本実施形態の第５のシステム構成例。
【図１３】ユーザ履歴情報の更新処理のフローチャート。
【図１４】ユーザ履歴情報の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）はユーザ履歴情報の説明図。
【図１６】本実施形態の詳細なシステム構成例。
【図１７】図１７（Ａ）、図１７（Ｂ）は発話権の制御手法の説明図。
【図１８】図１８（Ａ）、図１８（Ｂ）は発話権の制御手法の説明図。
【図１９】提示許可判断情報の説明図。
【図２０】本実施形態の詳細な動作を説明するためのフローチャート。
【図２１】シナリオデータの説明図。
【図２２】子供の話題を父親に提供するシナリオの例。
【図２３】子供のユーザ情報収集に使用されるシナリオ例。
【図２４】収集された第２のユーザ情報に基づき父親に提示されるシナリオ例。
【図２５】図２５（Ａ）、図２５（Ｂ）は接触判定手法の説明図。
【図２６】図２６（Ａ）、図２６（Ｂ）、図２６（Ｃ）は、叩いた時、撫でた時、マイクに向かって話かけた時の音声波形例。
【図２７】第１、第２のユーザ情報に基づく提示情報の決定手法の説明図。
【図２８】第１、第２のユーザ情報に基づく提示情報の決定処理の説明図。
【符号の説明】
【０２６１】
１、２ ロボット、１０ 処理部、１１ イベント判定部、１２ ユーザ情報取得部、
１３ 演算部、１４ 提示情報決定部、１５ ユーザ認識部、１６ 接触状態判定部、
１７ 発話権制御部、１８ シナリオデータ取得部、２０ 記憶部、
２２ ユーザ情報記憶部、２３ ユーザ履歴情報記憶部、２６ 提示情報記憶部、
２７ シナリオデータ記憶部、２８ 提示許可判断情報記憶部、３０ ロボット制御部、
３２ ロボット動作機構、３４ ロボット搭載センサ、４０ 通信部、
６０ 処理部、６２ ユーザ情報取得部、６３ 演算部、６４ 提示情報決定部、
７０ 記憶部、７２ ユーザ情報記憶部、７３ ユーザ履歴情報記憶部、
７６ 提示情報記憶部、８０ ロボット制御部、８２ ロボット動作機構、
８４ ロボット搭載センサ、９０ 通信部、
１００-1、１００-2 携帯型電子機器、１１０-1、１１０-2 処理部、
１１２-1、１１２-2 演算部、１１４-1、１１４-2 ユーザ情報更新部、
１２０-1、１２０-2 記憶部、１２２-1、１２２-2 ユーザ情報記憶部、
１３０-1、１３０-2 制御部、１３８-1、１３８-2 通信部、
１４０-1、１４０-2 ウェアラブルディスプレイ、
１５０-1、１５０-2 ウェアラブルセンサ、２００ ホームサーバ（ローカルサーバ）、
２１０ 処理部、２１２ ユーザ情報取得部、２１３ 演算部、
２１４ 提示情報決定部、２２０ 記憶部、
２２２ ユーザ情報記憶部、２２３ ユーザ履歴情報記憶部、
２２６ 提示情報記憶部、３００ 外部サーバ
【技術分野】
【０００１】
本発明は、ロボット制御システム、ロボット、プログラム及び情報記憶媒体に関係する。
【背景技術】
【０００２】
従来より、ユーザ（人間）の音声を認識し、音声の認識結果に基づいて、ユーザとの会話を行うロボットの制御システムが知られている（例えば、特許文献１。）。
【０００３】
しかしながら、これまでのロボット制御システムでは、ロボットは、その所有者のユーザの会話等を音声認識して動作することが想定されており、他のユーザの行動等を反映したロボット制御は行われていなかった。
【０００４】
また、これまでのロボット制御システムでは、ユーザの行動履歴や状態履歴等を反映したロボット制御は行われておらず、ロボットが、ユーザの心境や状況に反した動作を行ってしまうという問題があった。
【０００５】
更に、これまでのロボット制御システムでは、１人のユーザに対して１台のロボットが対峙して会話することが想定されていた。このため、音声の認識処理や会話処理のために複雑なアルゴリズムが必要になってしまい、ユーザとの間のスムーズな会話を実現することが、現実的には難しいという問題もあった。
【０００６】
【特許文献１】特開２００３−６６９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、以上のような課題等に鑑みてなされたものであり、本発明の幾つかの態様によれば、ロボットを介したユーザ間の間接的なコミュニケーションを実現できるロボット制御システム、ロボット、プログラム及び情報記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明は、ロボットを制御するためのロボット制御システムであって、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含み、前記ユーザ情報取得部は、第２のユーザの前記ユーザ情報である第２のユーザ情報を取得し、前記提示情報決定部は、取得された前記第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理を行い、前記ロボット制御部は、前記第２のユーザ情報に基づき決定された提示情報を、前記第１のユーザに提示するためのロボット制御を行うロボット制御システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００９】
本発明によれば、行動センサ、状態センサ及び環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報が取得される。そして取得されたユーザ情報に基づいて、ロボットがユーザに提示する提示情報の決定処理が行われ、提示情報をロボットに提示させるための制御が行われる。そして本発明によれば、取得された第２のユーザの第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理が行われ、決定された提示情報を第１のユーザに提示するロボット制御が行われる。このように本発明によれば、第１のユーザとは異なる第２のユーザの第２のユーザ情報に基づいて、ロボットが第１のユーザに対して提示する提示情報が決定される。従って、第１のユーザは、ロボットの提示情報により、第２のユーザの行動、状況等の情報を知ることが可能になり、ロボットを介したユーザ間の間接的なコミュニケーションを実現できる。
また本発明では、前記ユーザ情報取得部は、前記第１のユーザの前記ユーザ情報である第１のユーザ情報と、前記第２のユーザの前記ユーザ情報である前記第２のユーザ情報を取得し、前記提示情報決定部は、取得された前記第１のユーザ情報と前記第２のユーザ情報とに基づいて、前記第１のユーザへの提示情報の決定処理を行ってもよい。
【００１０】
このようにすれば、第１のユーザの第１のユーザ情報も加味した、第１のユーザへの第２のユーザ情報に基づく提示情報の提示が可能になる。
【００１１】
また本発明では、前記提示情報決定部は、前記第１のユーザ情報に基づいて提示情報の提示タイミングを決定し、前記第２のユーザ情報に基づいて提示情報の内容を決定し、前記ロボット制御部は、決定された前記提示タイミングで、決定された内容の提示情報を、前記第１のユーザに提示するためのロボット制御を行ってもよい。
【００１２】
このようにすれば、第１のユーザにとって適切なタイミングで、第２のユーザの情報を知らせることが可能になり、より自然でスムーズな情報提示が可能になる。
【００１３】
また本発明では、前記提示情報決定部は、前記第１のユーザへの提示情報の決定処理における前記第１のユーザ情報の重み付けと前記第２のユーザ情報の重み付けとを、時間経過に伴い変化させてもよい。
【００１４】
このようにすれば、第１のユーザへの情報提示の際に、第２のユーザ情報のみならず第１のユーザ情報をも加味した情報提示が可能になると共に、その加味の度合いを決める重み付けが時間経過に伴い変化するため、より多様で自然な情報提示が可能になる。
【００１５】
また本発明では、前記第１のユーザによるロボットの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定部を含み、前記提示情報決定部は、前記利用可能イベント発生時には、前記決定処理における前記第１のユーザ情報の重み付けを大きくし、前記第２のユーザ情報の重み付けを小さくし、その後、前記第１のユーザ情報の重み付けを小さくし、前記第２のユーザ情報の重み付けを大きくしてもよい。
【００１６】
このようにすれば、ロボットの利用可能イベントの発生時からの時間経過に応じて、提示情報の決定処理の際における第２のユーザ情報の重み付けが大きくなるため、より自然な情報提示が可能になる。
【００１７】
また本発明では、前記提示情報決定部は、ロボットによる提示情報の提示に対する前記第１のユーザの反応に基づいて、ロボットが前記第１のユーザに対して次に提示する提示情報の決定処理を行ってもよい。
【００１８】
このようにすれば、提示情報に対する第１のユーザの反応に基づいて、次の提示情報が変化するようになり、ロボットによる提示情報の提示が単調になってしまう事態を防止できる。
【００１９】
また本発明では、ロボットのセンシング面における接触状態を判定する接触状態判定部を含み、前記提示情報決定部は、ロボットによる提示情報の提示に対する前記第１のユーザの反応として、前記第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、前記接触状態判定部での判定結果に基づき判断して、前記第１のユーザに対して次に提示する提示情報の決定処理を行ってもよい。
【００２０】
このようにすれば、ロボットを撫でる動作や叩く動作などの第１のユーザの反応を、簡素な判定処理で判断できるようになる。
【００２１】
また本発明では、前記接触状態判定部は、前記センシング面よりも内側に設けられたマイクからの出力信号に対して演算処理を行うことで得られた出力データに基づいて、前記センシング面における接触状態を判定してもよい。
【００２２】
このようにすれば、マイクを利用するだけで、ロボットを撫でる動作や叩く動作などの第１のユーザの反応を検出できるようになる。
【００２３】
また本発明では、前記出力データは、信号強度であり、前記接触状態判定部は、前記信号強度と、所定のしきい値との比較処理を行うことで、前記第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定してもよい。
【００２４】
このようにすれば、信号強度としきい値を比較するという簡素な処理で、第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定できる。
【００２５】
また本発明では、前記提示情報決定部は、取得された同じ前記第２のユーザ情報に対して、第１、第２のロボットが異なる提示情報を提示するように、前記第１のユーザに対して提示する提示情報の決定処理を行ってもよい。
【００２６】
このようにすれば、第１、第２のロボットが提示する提示情報を介して、第１のユーザは、第２のユーザの情報を間接的に知ることが可能になる。
【００２７】
また本発明では、前記第１のロボットはマスタ側に設定され、前記第２のロボットはスレーブ側に設定され、マスタ側の前記第１のロボットに設けられた前記提示情報決定部が、スレーブ側の前記第２のロボットに対して、前記第１のユーザへの提示情報の提示を指示してもよい。
【００２８】
このようにすれば、複雑な提示情報の解析処理を行わなくても、第１、第２のロボットによる提示情報の提示を、誤動作の少ない安定した制御の下で実現できる。
【００２９】
また本発明では、提示情報の提示を指示する指示情報を、マスタ側の前記第１のロボットからスレーブ側の前記第２のロボットに対して通信する通信部を含んでもよい。
【００３０】
このようにすれば、提示情報そのものではなくて、その指示情報を通信するだけで済むため、通信データ量の低減や、処理の簡素化を図れる。
【００３１】
また本発明では、前記ユーザ情報取得部は、前記第２のユーザの前記第２のユーザ情報を、ネットワークを介して取得し、前記提示情報決定部は、ネットワークを介して取得された前記第２のユーザ情報に基づいて、前記第１のユーザに提示する提示情報の決定処理を行ってもよい。
【００３２】
このようにすれば、例えば第２のユーザが離れた場所にいる場合にも、第２のユーザの情報を反映したロボット制御を実現できる。
【００３３】
また本発明では、前記ユーザ情報取得部は、前記第２のユーザ情報として、前記第２のユーザの行動履歴、前記第２のユーザの状態履歴及び前記第２のユーザの環境履歴の少なくとも１つである第２のユーザ履歴情報を取得し、前記提示情報決定部は、取得された前記第２のユーザ履歴情報に基づいて、ロボットが前記第１のユーザに対して提示する提示情報の決定処理を行ってもよい。
【００３４】
このようにすれば、第２のユーザの行動履歴、状態履歴又は環境履歴等が反映された提示情報を、ロボットにより提示できるようになる。
【００３５】
また本発明では、前記第２のユーザ履歴情報は、前記第２のユーザのウェアラブルセンサからのセンサ情報により更新することで得られる情報であってもよい。
【００３６】
このようにすれば、ウァアラブルセンサからのセンサ情報により第２のユーザの行動履歴、状態履歴又は環境履歴を更新し、更新されたこれらの履歴が反映された提示情報を、ロボットにより提示できるようになる。
【００３７】
また本発明では、ロボットに対してユーザが接近した場合に、接近したユーザを識別するユーザ識別部を含み、前記ロボット制御部は、前記第１のユーザが接近したと前記ユーザ識別部により識別された場合に、前記第１のユーザに提示情報を提示するためのロボット制御を行ってもよい。
【００３８】
このようにすれば、第１のユーザがロボットに接近して第１のユーザとして識別されたときに、第２のユーザ情報に基づく提示情報を、第１のユーザに提示できるようになる。
【００３９】
また本発明では、ユーザ間での情報提示の許可・不許可を判断するための提示許可判断情報を記憶する提示許可判断情報記憶部を含み、前記提示情報決定部は、前記提示許可判断情報に基づいて、前記第１、第２のユーザ間での情報提示が許可されていると判断した場合に、前記第２のユーザ情報に基づく前記第１のユーザへの提示情報の決定処理を行ってもよい。
【００４０】
このようにすれば、特定のユーザ間でのみ、ロボットを介した間接的なコミュニケーションを許可することが可能になる。
【００４１】
また本発明では、複数の会話フレーズにより構成されるシナリオデータを、前記提示情報として記憶するシナリオデータ記憶部を含み、前記提示情報決定部は、前記シナリオデータに基づいて、ロボットが前記第１のユーザに対して発話する会話フレーズを決定し、前記ロボット制御部は、決定された会話フレーズをロボットに発話させるための制御を行ってもよい。
【００４２】
このようにすれば、ロボットの会話フレーズの発話を、シナリオデータを利用して簡素な制御処理で実現できる。
【００４３】
また本発明では、前記シナリオデータ記憶部は、複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶し、前記提示情報決定部は、ロボットが発話した会話フレーズに対する前記第１のユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定してもよい。
【００４４】
このようにすれば、ロボットが発話した会話フレーズに対する第１のユーザの反応に基づいて、次の会話フレーズが変化するようになり、ロボットによる会話が単調になってしまう事態を防止できる。
【００４５】
また本発明では、ロボットが発話した会話フレーズに対する前記第２のユーザの反応に基づき作成されるシナリオデータを取得するシナリオデータ取得部を含み、前記提示情報決定部は、前記第２のユーザの反応により取得されたシナリオデータに基づいて、ロボットが前記第１のユーザに対して発話する会話フレーズを決定してもよい。
【００４６】
このようにすれば、ロボットの会話フレーズに対する第２のユーザの反応を反映したシナリオデータに基づいて、ロボットが第１のユーザに発話する会話フレーズを決定できるようになる。
【００４７】
また本発明では、前記提示情報決定部は、取得された同じ前記第２のユーザ情報に対して、第１、第２のロボットが異なる会話フレーズを発話するように、前記第１のユーザに対して発話する会話フレーズの決定処理を行い、ロボットが発話した会話フレーズに対する前記第１のユーザの反応に基づいて、前記第１、第２のロボットのいずれに対して次の会話フレーズの発話権を付与するかを制御する発話権制御部を含んでもよい。
【００４８】
このようにすれば、第１のユーザの反応に応じて発話権の付与が切り替わるようになるため、会話が単調になってしまう事態を防止できる。
【００４９】
また本発明では、前記発話権制御部は、前記第１、第２のロボットのいずれか一方のロボットが発話した会話フレーズに対して前記第１のユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定してもよい。
【００５０】
このようにすれば、例えば第１のユーザが肯定的な反応をしたロボットに対して、優先的に発話権を付与するなどの制御が可能になる。
【００５１】
また本発明は、上記のいずれかに記載のロボット制御システムと、前記ロボット制御システムの制御対象であるロボット動作機構とを含むロボットに関係する。
【発明を実施するための最良の形態】
【００５２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５３】
１．ユーザ情報
いわゆるユビキタスサービスにおいて、現在目指している１つ方向として、何時でもどこでも必要な情報をユーザに提供するという利便性提供型のサービスが提案されている。これは、外部からユーザに対して一方的に情報を提供するサービスである。
【００５４】
しかしながら、人が生き生きと充実した生活を送るためには、このように外部からユーザに一方的に情報を提供する利便性提供型サービスだけでは不十分であり、ユーザの内面に働きかけることによりユーザに気付き（インスパイヤ）を与え、その結果、自己の成長を促すインスパイヤ型ユビキタスサービスが望まれる。
【００５５】
本実施形態では、このようなインスパイヤ型ユビキタスサービスを、ロボットがユーザに提示する情報を利用して実現するために、ユーザ（第１、第２のユーザ）の行動、状態、環境を計測する行動センサ、状態センサ、環境センサからのセンサ情報によりユーザ情報（第１、第２のユーザ情報）を取得する。そして取得されたユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報（例えば会話）を決定し、決定された提示情報をロボットに提供させるロボット制御を行う。そこで、まず、このユーザ情報（ユーザの行動、状態及び環境の少なくとも１つについての情報）の取得手法について説明する。
【００５６】
図１においてユーザ（使用者）は、携帯型電子機器１００（モバイルゲートウェイ）を所持している。またモバイル制御対象機器としてウェアラブルディスプレイ１４０（モバイルディスプレイ）を頭部の一方の眼の近傍に装着している。更にウェアラブルセンサ（モバイルセンサ）として種々のセンサを身体に身につけている。具体的には、屋内外センサ５１０、周囲温度センサ５１１、周辺湿度センサ５１２、周辺光度センサ５１３、腕装着型の運動計測センサ５２０、脈拍（心拍数）センサ５２１、体温センサ５２２、抹消皮膚温度センサ５２３、発汗センサ５２４、足圧力センサ５３０、発話・咀嚼センサ５４０、携帯型電子機器１００に設けられるＧＰＳ（Global Position System）センサ５５０、ウェアラブルディスプレイ１４０に設けられる顔色センサ５６０や瞳孔の大きさセンサ５６１などを装着している。これらの携帯型電子機器１００、ウェアラブルディスプレイ１４０などのモバイル制御対象機器、ウェアラブルセンサによりモバイルサブシステムが構成される。
【００５７】
図１では、このようなユーザのモバイルサブシステムのセンサからのセンサ情報により更新されるユーザ情報（狭義にはユーザ履歴情報）を取得し、取得されたユーザ情報に基づいてロボット１の制御を行う。
【００５８】
携帯型電子機器１００（モバイルゲートウェイ）は、ＰＤＡ（Personal Digital Assistant）、ノート型ＰＣなどの携帯情報端末であり、例えばプロセッサ（ＣＰＵ）、メモリ、操作パネル、通信装置、或いはディスプレイ（サブディスプレイ）などを備える。この携帯型電子機器１００は、例えばセンサからのセンサ情報を収集する機能、収集したセンサ情報に基づいて演算処理を行う機能、演算結果に基づいて制御対象機器（ウェアラブルディスプレイ等）の制御（表示制御等）を行ったり外部のデータベースから情報を取り込む機能、外部と通信を行う機能などを有することができる。なお携帯型電子機器１００は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
【００５９】
ウェアラブルディスプレイ１４０は、ユーザの一方の眼の近傍に装着されると共にディスプレイ部の大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの情報表示部として機能する。なおユーザへの情報提示は、ヘッドフォン、バイブレータなどを用いて行ってもよい。またモバイル制御対象機器としては、ウェアラブルディスプレイ１４０以外にも、例えば腕時計、携帯電話、或いはポータブルオーディオなどの種々の機器を想定できる。
【００６０】
屋内外センサ５１０は、ユーザが屋内にいるのか屋外にいるのかを検知するセンサであり、例えば超音波を照射し、天井等により超音波が反射して戻ってくるまでの時間を計測する。但し屋内外センサ５１０は、超音波方式に限らず、アクティブ光方式、パッシブ紫外線方式、パッシブ赤外線方式、パッシブ騒音方式のセンサであってもよい。
【００６１】
周囲温度センサ５１１は、例えばサーミスタ、放射温度計、熱電対などを用いて外界温度を計測する。周辺湿度センサ５１２は、例えば湿度によって電気抵抗が変化することを利用して周囲の湿度を計測する。周辺光度センサ５１３は、例えば光電素子を用いて周囲の光度を計測する。
【００６２】
腕装着型の運動計測センサ５２０は、加速度センサや角加速度センサでユーザの腕の動きを計測する。この運動計測センサ５２０と足圧力センサ５３０を用いることでユーザの日常動作、歩行状態を更に正確に計測できる。脈拍（心拍数）センサ５２１は、手首或いは指又は耳に装着し、例えば拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。体温センサ５２２、抹消皮膚温度センサ５２３は、サーミスタ、放射温度計、熱電対などを用いてユーザの体温、抹消皮膚温度を計測する。発汗センサ５２４は、例えば皮膚の表面抵抗の変化により皮膚の発汗を計測する。足圧力センサ５３０は、靴にかかる足裏の圧力分布を検出して、ユーザの立ち状態、座り状態、歩行状態などを計測、判定する。
【００６３】
発話・咀嚼センサ５４０は、ユーザが発話中（会話中）であるか、咀嚼中（食事中）であるかの可能性を計測するためのイヤホン型のセンサであり、その筺体内に骨伝導マイク、外界音マイクが内蔵されている。骨伝導マイクは、発話・咀嚼時に体内から生じ、体内を伝搬する振動である体内音を検出する。外界音マイクは、発話に応じて体外に伝導する振動である音声や、環境の雑音を含む外界音を検出する。そして骨伝導マイク、外界音マイクにより捕らえられた音の単位時間におけるパワーの比較処理等を行うことで、発話可能性や咀嚼可能性を計測する。
【００６４】
ＧＰＳセンサ５５０はユーザの位置を検知するセンサである。なおＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。顔色センサ５６０は、例えば顔面近くに光センサを配置し、複数の光学的バンドパスフィルタを通過した後の光度を比較して顔色を計測する。瞳孔の大きさセンサ５６１は、例えば瞳孔の近くにカメラを配置し、カメラの信号を解析して瞳孔の大きさを計測する。
【００６５】
なお、図１では携帯型電子機器１００、ウェアラブルセンサ等により構成されるモバイルサブシステムにより、ユーザ情報を取得しているが、複数のサブシステムにより構成される統合システムにより、ユーザ情報を更新し、更新されたユーザ情報に基づいてロボット１の制御を行ってもよい。ここで統合システムは、例えばモバイルサブシステム、ホームサブシステム、車内サブシステム、会社内サブシステム、或いは店内サブシステムなどのサブシステムを含むことができる。
【００６６】
この統合システムでは、ユーザが屋外等にいる場合（モバイル環境の場合）には、モバイルサブシステムのウェアラブルセンサ（モバイルセンサ）からのセンサ情報（センサ２次情報を含む）が取得（収集）され、取得されたセンサ情報に基づいてユーザ情報（ユーザ履歴情報）が更新される。またユーザ情報等に基づいてモバイル制御対象機器の制御が行われる。
【００６７】
一方、ユーザが家にいる場合（ホーム環境の場合）には、ホームサブシステムのホームセンサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ情報が更新される。即ちモバイル環境で更新されたユーザ情報が、ホーム環境に移行した場合にもシームレスに更新される。またユーザ情報等に基づいてホーム制御対象機器（テレビ、オーディオ機器、エアコン等）の制御が行われる。なおホームセンサは、例えば、ホーム内の気温、湿度、光度、騒音、ユーザの会話、食事などを計測する環境センサや、ロボットに内蔵されるロボット搭載センサや、ホームの各室内、ドアなどに設置される人検知センサや、トイレに設置される尿検査用センサなどである。
【００６８】
また、ユーザが車内にいる場合（車内環境の場合）には、車内サブシステムの車内センサからのセンサ情報が取得され、取得されたセンサ情報に基づいてユーザ情報が更新される。即ちモバイル環境やホーム環境で更新されたユーザ情報が、車内環境に移行した場合にもシームレスに更新される。またユーザ情報等に基づいて車内制御対象機器（ナビゲーション装置、カーＡＶ機器、エアコン等）の制御が行われる。なお車内センサは、車の速度、移動距離などを計測する走行状態センサや、ユーザの運転操作、機器操作を計測する操作状態センサや、車内の気温、湿度、光度、ユーザの会話などを計測する環境センサなどである。
【００６９】
２．ロボット
次に図１のロボット１（ロボット２）の構成について説明する。このロボット１は犬を模したペット型のロボットになっており、胴体モジュール６００、頭部モジュール６１０、脚部モジュール６２０、６２２、６２４、６２６、尻尾モジュール６３０などの複数のパーツモジュール（ロボット動作機構）により構成される。
【００７０】
頭部モジュール６１０には、ユーザの撫でる動作や叩く動作を検知するための接触センサや、ユーザの発話を検知するための発話センサ（マイクロホン）や、画像認識のための撮像センサ（カメラ）や、音声や鳴き声を発声するための音出力部（スピーカ）が設けられる。
【００７１】
胴体モジュール６００と頭部モジュール６１０との間や、胴体モジュール６００と尻尾モジュール６３０との間や、脚部モジュール６２０の関節部分等には、関節機構が設けられている。そしてこれらの関節機構は、モータ等のアクチュエータを有しており、これによりロボット１の関節運動や自立走行が実現される。
【００７２】
またロボット１の例えば胴体モジュール６００には１又は複数の回路基板が設けられている。そしてこの回路基板には、各種処理を行うＣＰＵ（プロセッサ）や、各種データ、プログラムを記憶するＲＯＭ、ＲＡＭなどのメモリや、ロボット制御のための制御ＩＣや、音声信号を生成する音声生成モジュールや、外部との無線通信のための無線モジュールなどが実装される。ロボットに搭載される各種センサからの信号は、この回路基板に集約され、ＣＰＵ等により処理される。また音声生成モジュールにより生成された音声信号は、この回路基板から音出力部（スピーカ）に対して出力される。また回路基板の制御ＩＣからの制御信号は、関節機構に設けられたモータ等のアクチュエータに出力され、これによりロボット１の関節運動や自立走行が制御される。
【００７３】
３．ロボット制御システム
図２に本実施形態のシステム構成例を示す。このシステムは、第１のユーザが所持する携帯型電子機器１００-1や、第２のユーザが所持する携帯型電子機器１００-2や、本実施形態のロボット制御システムにより制御されるロボット１を有する。そして本実施形態のロボット制御システムは、例えばロボット１が有する処理部１０により実現される。
【００７４】
なお、第１のユーザとしては、例えばロボット１の所有者を想定でき、第２のユーザとしては、所有者の家族、友人、親戚又は恋人等を想定できる。或いは第１、第２のユーザは、ロボット１を共有する所有者であってもよい。
【００７５】
第１のユーザが所持する携帯型電子機器１００-1は、処理部１１０-1、記憶部１２０-1、制御部１３０-1、通信部１３８-1を含む。また第２のユーザが所持する携帯型電子機器１００- 2は、処理部１１０-2、記憶部１２０-2、制御部１３０-2、通信部１３８-2を含む。
【００７６】
なお、以下では、説明を簡素化するために、これらの携帯型電子機器１００-1、１００-2、処理部１１０-1、１１０-2、記憶部１２０-1、１２０-2、制御部１３０-1、１３０-2、通信部１３８-1、１３８-2等を、各々、適宜、携帯型電子機器１００、処理部１１０、記憶部１２０、制御部１３０、通信部１３８と総称する。また第１、第２のユーザ、第１、第２のユーザ情報、第１、第２のユーザ履歴情報も、各々、適宜、ユーザ、ユーザ情報、ユーザ履歴情報と総称する。
【００７７】
携帯型電子機器１００（１００-1、１００-2）は、ウェアラブルセンサ１５０（１５０-1、１５０-2）からのセンサ情報を取得する。具体的には、ウェアラブルセンサ１５０は、ユーザ（第１、第２のユーザ）の行動（歩行、会話、食事、手足の動き、感情表現又は睡眠等）を計測する行動センサ、ユーザの状態（疲労、緊張、空腹、精神状態、身体状態又はユーザに発生したイベント等）を計測する状態センサ、及びユーザの環境（場所、明るさ、気温又は湿度等）を計測する環境センサの少なくとも１つのセンサを含んでおり、携帯型電子機器１００は、これらのセンサからのセンサ情報を取得する。
【００７８】
なおセンサは、センサデバイス自体であってもよいし、センサデバイスの他に、制御部や通信部等を含むセンサ機器であってもよい。またセンサ情報は、センサから直接得られるセンサ１次情報であってもよいし、センサ１次情報を加工処理（情報処理）することで得られるセンサ２次情報であってもよい。
【００７９】
処理部１１０（１１０-1、１１０-2）は、図示しない操作部からの操作情報や、ウェアラブルセンサ１５０から取得されたセンサ情報などに基づいて、携帯型電子機器１００の動作等に必要な種々の処理を行う。この処理部１１０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、図示しない情報記憶媒体（光ディスク、ＩＣカード、ＨＤＤ等）に記憶されたプログラムなどにより実現できる。
【００８０】
処理部１１０は、演算部１１２（１１２-1、１１２-2）、ユーザ情報更新部１１４（１１４-1、１１４-2）を含む。ここで演算部１１２は、ウェアラブルセンサ１５０から取得されたセンサ情報のフィルタリング処理（選択処理）や解析処理のための種々の演算処理を行う。具体的には演算部１１２は、センサ情報の乗算処理や加算処理を行う。例えば下式（１）に示すように、複数のセンサからの複数のセンサ情報のデジタル化された計測値Ｘｊと、各係数が係数記憶部（図示せず）に記憶され、２次元行列（マトリックス）で表される係数Ａｉｊとの積和演算を行う。そうして下式（２）に示すように、積和演算の結果を多次元座標としてｎ次元のベクトルＹｉとして演算する。なお、ｉはｎ次元空間のｉ座標であり、ｊは各センサに割り当てられる番号である。
【００８１】
【数１】
【００８２】
【数２】
【００８３】
上式（１）（２）のような演算処理を行うことで、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境（ＴＰＯ情報）をセンサ情報に基づき同定するための解析処理などを実現できる。例えば脈拍（心拍数）、発汗量、体温の計測値Ｘに対して乗算される係数Ａを、その他のセンサ情報の計測値に対する係数よりも大きな値に設定すれば、上式（１）（２）で演算された数値Ｙは、ユーザの状態である「興奮度」を表すものになる。また発話量の計測値Ｘに対して乗算される係数と、足圧力の計測値Ｘに対して乗算される係数を適当な値に設定することで、ユーザの行動が、着座して会話しているのか、歩きながら会話しているのか、静かに思考しているのか、睡眠状態なのか等を同定できる。
【００８４】
ユーザ情報更新部１１４（１１４-1、１１４-2）はユーザ情報（ユーザ履歴情報）の更新処理を行う。具体的には、ウェアラブルセンサ１５０（１５０-1、１５０-2）から取得されたセンサ情報に基づいてユーザ情報（第１、第２のユーザ情報）を更新する。そして更新されたユーザ情報（ユーザ履歴情報）を記憶部１２０のユーザ情報記憶部１２２（ユーザ履歴情報記憶部）に記憶する。この場合に、ユーザ情報記憶部１２２（１２２-1、１２２-2）のメモリ容量を節約するために、新しいユーザ情報を記憶する場合には、古いユーザ情報を削除し、削除により空いた記憶領域に対して新しいユーザ情報を記憶してもよい。或いは、各ユーザ情報に優先度（重み付け係数）を付与し、新しいユーザ情報を記憶する場合には、優先度の低いユーザ情報を削除してもよい。また既に記憶されているユーザ情報と新しいユーザ情報を演算することでユーザ情報を更新（上書き）してもよい。
【００８５】
記憶部１２０（１２０-1、１２０-2）は、処理部１１０、通信部１３８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。記憶部１２０が含むユーザ情報記憶部１２２は、ユーザ（第１、第２のユーザ）の行動、状態又は環境等の情報（履歴情報）であって、取得されたセンサ情報に基づき更新されるユーザ情報（第１、第２のユーザ情報）を記憶する。
【００８６】
制御部１３０（１３０-1、１３０-2）はウェアラブルディスプレイ１４０（１４０-1、１４０-2）の表示制御等を行う。通信部１３８（１３８-1、１３８-2）は、無線や有線の通信により、ロボット１の通信部４０との間で、ユーザ情報などの情報の転送処理を行う。無線の通信としては、ブルートゥース（Bluetoothは登録商標）や赤外線のような近距離無線や無線ＬＡＮなどが考えられる。有線の通信としてはＵＳＢやＩＥＥＥ１３９４などを利用したものが考えられる。
【００８７】
ロボット１は、処理部１０、記憶部２０、ロボット制御部３０、ロボット動作機構３２、ロボット搭載センサ３４、通信部４０を含む。なおこれらの一部の構成要素を省略した構成にしてもよい。
【００８８】
処理部１０は、ロボット搭載センサ３４からセンサ情報や、取得されたユーザ情報などに基づいて、ロボット１の動作等に必要な種々の処理を行う。この処理部１０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、図示しない情報記憶媒体（光ディスク、ＩＣカード、ＨＤＤ等）に記憶されたプログラムなどにより実現できる。即ち、この情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶され、処理部１０は、この情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。
【００８９】
記憶部２０は、処理部１０、通信部４０などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。この記憶部２０はユーザ情報記憶部２２と提示情報記憶部２６を含む。またユーザ情報記憶部２２はユーザ履歴情報記憶部２３を含む。
【００９０】
ロボット制御部３０は、制御対象であるロボット動作機構３２（アクチュエータ、音出力部、ＬＥＤ等）の制御を行うものであり、その機能は、ロボット制御用のＡＳＩＣや各種プロセッサなどのハードウェアや、プログラムなどにより実現できる。
【００９１】
具体的にはロボット制御部３０は、提示情報をユーザに対してロボット１に提示させるための制御を行う。提示情報がロボット１の会話（シナリオデータ）である場合には、会話フレーズをロボット１に発話させるための制御を行う。例えば会話フレーズを表すデジタルのテキストデータを、公知のＴＴＳ（Text-To-Speech）処理によりアナログの音声信号に変換し、ロボット動作機構３２の音出力部（スピーカ）を介して出力する。また提示情報が、ロボット１の感情状態を表す情報である場合には、その感情を表すように、ロボット動作機構３２の各関節機構のアクチュエータを制御したり、ＬＥＤを点灯させるなどの制御を行う。
【００９２】
ロボット搭載センサ３４は、例えば接触センサ、発話センサ（マイクロホン）、或いは撮像センサ（カメラ）などの各種センサである。ロボット１は、このロボット搭載センサ３４からのセンサ情報に基づいて、ユーザに提示した提示情報に対するユーザの反応をモニタできる。
【００９３】
通信部４０は、無線や有線の通信により、携帯型電子機器１００-1の通信部１３８-1や携帯型電子機器１００-2の通信部１３８-2との間で、ユーザ情報などの情報の転送処理を行う。
【００９４】
処理部１０は、ユーザ情報取得部１２、演算部１３、提示情報決定部１４を含む。なおこれらの構成要素の一部を省略する構成としてもよい。
【００９５】
ユーザ情報取得部１２は、ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得する。
【００９６】
例えば、携帯型電子機器１００-2のユーザ情報更新部１１４-2は、ウァアラブルセンサ１５０-2からのセンサ情報に基づき、第２のユーザ（第１のユーザの子供、妻、恋人等）のユーザ情報である第２のユーザ情報（第２のユーザ履歴情報）の更新処理を行う。更新された第２のユーザ情報はユーザ情報記憶部１２２-2に記憶される。
【００９７】
そしてユーザ情報記憶部１２２-2に記憶された第２のユーザ情報（第２のユーザ履歴情報）は、通信部１３８-2、４０を介して、ロボット１のユーザ情報記憶部２２に転送される。具体的には、第２のユーザが家に帰宅してロボット１に近づいたり、携帯型電子機器１００-2をクレードルに接続して、携帯型電子機器１００-2とロボット１との間での通信経路が確立されると、第２のユーザ情報がユーザ情報記憶部１２２-2からユーザ情報記憶部２２に転送される。ユーザ情報取得部１２は、このようにして転送された第２のユーザ情報をユーザ情報記憶部２２から読み出すことで、第２のユーザ情報を取得する。なおユーザ情報取得部１２が、ユーザ情報記憶部２２を介さずに直接に携帯型電子機器１００-2から第２のユーザ情報を取得してもよい。
【００９８】
また、携帯型電子機器１００-1のユーザ情報更新部１１４-1は、ウァアラブルセンサ１５０-1からのセンサ情報に基づき、第１のユーザのユーザ情報である第１のユーザ情報（第１のユーザ履歴情報）の更新処理を行う。更新された第１のユーザ情報はユーザ情報記憶部１２２-1に記憶される。
【００９９】
そしてユーザ情報記憶部１２２-1に記憶された第１のユーザ情報（第１のユーザ履歴情報）は、通信部１３８-1、４０を介して、ロボット１のユーザ情報記憶部２２（ユーザ情報記憶部７２）に転送される。具体的には、第１のユーザが家に帰宅してロボット１に近づいたり、携帯型電子機器１００-1をクレードルに接続して、携帯型電子機器１００-1とロボット１との間での通信経路が確立されると、第１のユーザ情報がユーザ情報記憶部１２２-1からユーザ情報記憶部２２に転送される。ユーザ情報取得部１２は、このようにして転送された第１のユーザ情報をユーザ情報記憶部２２から読み出すことで、第１のユーザ情報を取得する。なおユーザ情報取得部１２が、ユーザ情報記憶部２２を介さずに直接に携帯型電子機器１００-1から第１のユーザ情報を取得してもよい。
【０１００】
演算部１３は、取得されたユーザ情報に対する演算処理を行う。具体的には、必要な場合には、ユーザ情報に対する解析処理やフィルタリング処理を行う。例えばユーザ情報が１次センサ情報等である場合には、上式（１）（２）で説明した演算処理を行って、取得されたセンサ情報の中から不要なセンサ情報を除去するフィルタリング処理や、ユーザの行動、状態、環境（ＴＰＯ情報）をセンサ情報に基づき同定するための解析処理などを行う。
【０１０１】
提示情報決定部１４は、取得されたユーザ情報（演算処理後のユーザ情報）に基づいて、ロボット１がユーザに対して提示（提供）する提示情報（会話、感情表現、行動表現）の決定処理を行う。
【０１０２】
具体的には、提示情報決定部１４は、取得された第２のユーザの第２のユーザ情報に基づいて、第１のユーザへの提示情報（会話フレーズ、感情表現、行動表現）の決定処理を行う。そしてロボット制御部３０は、第２のユーザ情報に基づき決定された提示情報を、第１のユーザに提示するためのロボット制御を行う。例えばロボット１に第１のユーザが近づいた場合に、ロボット１から離れた場所等にいる第２のユーザの第２のユーザ情報に基づき提示情報を決定し、決定された提示情報を第１のユーザに提示する。
【０１０３】
また第１のユーザの第１のユーザ情報をユーザ情報取得部１２により取得した場合には、提示情報決定部１４は、取得された第１のユーザ情報と第２のユーザ情報との両方に基づいて、第１のユーザへの提示情報の決定処理を行ってもよい。
【０１０４】
具体的には、第１のユーザ情報に基づいて、第１のユーザのＴＰＯ（Time Place Occasion）を推定し、ＴＰＯ情報を取得する。即ち、時間情報や、第１のユーザの場所情報、状況情報を取得する。そして、取得された第１のユーザのＴＰＯ情報と、第２のユーザの第２のユーザ情報とに基づいて、提示情報の決定処理を行う。
【０１０５】
更に具体的には、提示情報決定部１４は、第１のユーザ情報（ＴＰＯ情報）に基づいて提示情報の提示タイミング(会話の開始タイミング、発話タイミング）を決定し、第２のユーザ情報に基づいて提示情報の内容（会話の内容、シナリオデータ）を決定する。そしてロボット制御部３０は、決定された提示タイミングで、決定された内容の提示情報を、第１のユーザに提示するためのロボット制御を行う。
【０１０６】
即ち、第１のユーザが忙しかったり、精神的に余裕が無く、提示情報を提示するタイミングではないと、第１のユーザ情報（第１のユーザのＴＰＯ）に基づき判断した場合には、ロボット１による提示情報の提示を行わないようにする。一方、第１のユーザが時間的に余裕があったり、暇を持て余しており、提示情報を提示するタイミングであると、第１のユーザ情報に基づき判断した場合には、第２のユーザ情報に基づいて提示情報の内容を決定し、第２のユーザの状況、行動等を知らせるための情報を、ロボット１を用いて第１のユーザに提示する。
【０１０７】
このようにすれば、第１のユーザにとって適切でタイムリーなタイミングで、第２のユーザの状況等を知らせることができ、より自然でスムーズな情報提示が可能になる。
【０１０８】
なおユーザ情報取得部１２が、第２のユーザ情報として、第２のユーザの行動履歴、状態履歴及び環境履歴の少なくとも１つである第２のユーザ履歴情報を取得した場合には、提示情報決定部１４は、取得された第２のユーザ履歴情報に基づいて、ロボット１が第１のユーザに対して提示する提示情報の決定処理を行う。この場合の第２のユーザ履歴情報は、例えば第２のユーザのウェアラブルセンサ１５０-2からのセンサ情報により携帯型電子機器１００-2等が更新処理を行うことで得られる情報であり、携帯型電子機器１００-2のユーザ情報記憶部１２２-2からロボット１のユーザ履歴情報記憶部２３に転送される。またユーザの行動履歴、状態履歴、環境履歴としては、ユーザの行動（歩行、発話、食事等）、状態（疲労、緊張、空腹、精神状態、肉体状態等）、環境（場所、明るさ、気温等）を日時等に関連づけて記憶した情報（ログ情報）が考えられる。
【０１０９】
また提示情報決定部１４は、ロボット１による提示情報の提示に対する第１のユーザの反応に基づいて、ロボット１が第１のユーザに対して次に提示する提示情報の決定処理を行う。具体的には、例えばロボット１が第１のユーザに対して提示情報を提示し、それに対して第１のユーザが反応すると、その反応はロボット搭載センサ３４により検知される。そして提示情報決定部１４は、ロボット搭載センサ３４からのセンサ情報等に基づいて、第１のユーザの反応を判断（推定）し、その反応に基づいて、次に提示する提示情報を決定する。
【０１１０】
４．動作
次に本実施形態の動作について説明する。一般的に、ユーザとロボットとの会話（対話）は、１人のユーザと１台のロボットというように、１対１の対峙関係で実現される。しかしながら、このような１対１の関係では、ロボットの会話が単調なものになってしまい、ユーザに直ぐに飽きられてしまうという課題がある。
【０１１１】
この点、本実施形態では、第１のユーザと会話するロボットは、第１のユーザとは異なる第２のユーザの第２のユーザ情報に基づいて会話を行う。従って、第１のユーザは、ロボットとのコミュニケーションを介して、自身の家族、友人或いは恋人などの第２のユーザの情報を知ることができる。従って、ロボットの会話が単調になるのが防止され、ユーザに飽きられにくいロボットを実現できる。
【０１１２】
この場合に、ロボットの会話によりユーザに提供される情報は、ウェアラブルセンサなどが有する行動センサ、状態センサ、環境センサからのセンサ情報により取得された第２のユーザ情報に基づくものになっている。このため、第１のユーザは、ロボットの会話を介して、自身が親しい第２のユーザの行動や、第２のユーザの状態や、第２のユーザを取り巻く環境について間接的に知ることが可能になる。従って、例えば父親の帰宅がいつも遅く、子供とのコミュニケーションを取れないような家庭において、父親は、ロボットの会話を介して、間接的に子供の様子を知ることが可能になる。また、離れた場所に住んでいる友人や恋人の様子を、ロボットとの会話を介して知ることも可能になり、これまでにないタイプのコミュニケーション手段としてのロボットを提供できる。
【０１１３】
例えば図３（Ａ）において、家に帰宅した父親である第１のユーザは、携帯型電子機器１００（１００-1）をクレードル１０１に接続して、充電等を行っている。図３（Ａ）では、このようなクレードル１０１への携帯型電子機器１００の接続により、ロボット１の利用可能イベントが発生したと判定し、ロボット１を起動し、その利用を可能にする。なおクレードル１０１への接続ではなく、第１のユーザとロボット１との接近を判定して、ロボット１を起動してもよい。例えば携帯型電子機器１００とロボット１の間の情報転送が無線により行われる場合には、その無線強度を検出することでロボット１の利用可能イベントの発生を判定できる。
【０１１４】
このような利用可能イベントが発生すると、ロボット１が起動し、その利用が可能になる。この場合に、子供である第２のユーザの第２のユーザ情報は、ロボット１のユーザ情報記憶部２２に記憶されている。具体的には学校等での第２のユーザの行動、状態、環境等の情報が、第２のユーザ情報として転送されて記憶されている。これにより、第２のユーザ情報に基づくロボット１の会話等の制御が可能になる。なお、後述するように、子供である第２のユーザとロボット１との会話を介して第２のユーザ情報を収集して、取得してもよい。
【０１１５】
例えば図３（Ａ）では、父親（第１のユーザ）が会社から帰宅してロボット１に近づくと、ロボット１が、子供（第２のユーザ）を話題とする会話を開始する。具体的には例えば後述するシナリオデータ等に基づいて「坊ちゃん、最近部活が忙しいみたいだね」という会話フレーズを発話し、子供の今日の様子を父親に知らせる。
【０１１６】
更に図３（Ｂ）では、「夏休みには旅行にも行きたいってさ〜」とロボット１が発話し、例えばロボット１が子供との会話を通じて取得した子供の要望について、父親に知らせている。そして図３（Ｂ）では、この子供の要望に関する話題に興味を持った父親が、ロボット１を撫でている。即ち父親は、子供の要望について更に詳しく知りたいため、ロボット１を撫でて、更に詳しい情報を教えるようにロボット１に要求している。すると図３（Ｃ）に示すように、ロボット１は、子供から収集した情報に基づいて、「やっぱり夏は海かな〜だってさ」と発話する。これにより父親は、子供が夏休み行きたい場所は海であることを知ることができる。即ち図３（Ｂ）では、ロボット１が発話した会話フレーズ（ロボットによる提示情報の提示）に対する父親（第１のユーザ）の反応（撫でる動作）に基づいて、次にロボット１に発話させる会話フレーズ（次に提示する提示情報）を決定している。
【０１１７】
例えば毎日の帰宅時間が遅い父親は、子供と接する時間が少ないため、子供の様子や要望についてなかなか知ることができない。また子供と接する時間があったとしても、子供が自身の要望を父親に対して直接に伝えない場合もある。
【０１１８】
このような場合にも本実施形態では、ロボット１を媒介として父親と子供との間接的なコミュニケーションが実現される。例えば子供が、父親に対しては直接に自身の要望を伝ない場合にも、本実施形態によれば、ロボット１を媒介として子供の要望を父親にスムーズに伝えることが可能になる。また、子供が無意識に自身の要望をロボット１に話した場合にも、その要望を父親に伝えることが可能になる。
【０１１９】
また、子供と接する時間が少ないため、子供への関心が薄れてしまっている父親に対して、自身の子供についての気付きを与えることも可能になる。従って、いわゆる利便性提供型サービスではなく、ロボット１との会話を通じてユーザに気付きを与えるというインスパイヤ型ユビキタスサービスの実現も可能になる。
【０１２０】
なお、図３（Ａ）のようにロボット１の利用可能イベントが発生して、ロボット１が起動した場合に、父親のユーザ情報である第１のユーザ情報を、ロボット１のユーザ情報記憶部２２に転送して記憶してもよい。即ち会社や外出先等での父親の行動、状態、環境等の情報を転送して記憶する。このようにすれば、父親の第１のユーザ情報と、子供の第２のユーザ情報の両方を用いて、ロボット１の会話等を制御することが可能になる。
【０１２１】
例えば、父親の帰宅時間がいつもよりも遅かったことが、第１のユーザ情報に基づき判断されたとする。具体的には、ウェアラブルセンサのＧＰＳセンサからの場所情報やタイマからの時間情報に基づいて、父親の毎日の帰宅時間が計測される。そして過去における父親の帰宅時間の平均と、今回の帰宅時間とを比較すること、父親の帰宅時間が遅いか否かを判定する。
【０１２２】
そして、父親の帰宅時間が普段よりもかなり遅い場合には、父親のＴＰＯは仕事等で非常に疲れている状態であると推定できる。従ってこの場合には、ロボット１は、直ぐには子供を話題とする会話を行わずに、例えば「今日は、仕事で遅くなって、大変でしたね」というような労いの会話を行う。或いは父親が好きな野球チームの試合結果などを話題とする会話を行う。
【０１２３】
そして、時間が経過して、仕事で疲れた状態が軽減された後に、ロボット１は、第２のユーザ情報に基づいて子供を話題とする会話を開始する。即ち提示情報（会話）の決定処理における第１のユーザ情報（第１のユーザ履歴情報）の重み付けと、第２のユーザ情報（第２のユーザ履歴情報）の重み付けとを、時間経過に伴い変化させる。具体的には、ロボット１の利用可能イベントの発生時には、父親のユーザ情報である第１のユーザ情報の重み付けを大きくし、子供のユーザ情報である第２のユーザ情報の重み付けを小さくして提示情報の決定処理を行う。そして、その後、第１のユーザ情報の重み付けを小さくし、第２のユーザ情報の重み付けを大きくして提示情報の決定処理を行う。このようにすれば、父親のＴＰＯに応じたタイムリーな情報提示が可能になる。
【０１２４】
図４に本実施形態の動作を説明するためのフローチャートを示す。
【０１２５】
まずユーザ情報取得部１２が、第２のユーザ（子供）のユーザ情報である第２のユーザ情報を取得する（ステップＳ１）。具体的には、第２のユーザの携帯型電子機器１００-2からの第２のユーザ情報がユーザ情報記憶部２２に転送され、この転送されたユーザ情報を読み出す。そしてロボット１が第１のユーザ（父親）に提示する提示情報（会話等）の内容を、取得された第２のユーザ情報（子供のユーザ情報）に基づいて決定する（ステップＳ２）。
【０１２６】
次にユーザ情報取得部１２が、第１のユーザ（父親）のユーザ情報である第１のユーザ情報を取得する（ステップＳ３）。具体的には、第１のユーザの携帯型電子機器１００-1からの第１のユーザ情報がユーザ情報記憶部２２に転送され、この転送されたユーザ情報を読み出す。次に、必要であれば、第１のユーザ情報に基づいて第１のユーザのＴＰＯを推定する（ステップＳ４）。ここで、ＴＰＯ（Time Place Occasion）の情報は、時間情報（年、月、週、日、時間等）、ユーザの場所情報（居場所、位置、距離等）及びユーザの状況情報（精神・肉体状況、ユーザに対して発生したイベント等）の少なくとも１つの情報である。例えばＧＰＳセンサにより得られる緯度・経度情報の意味合いは、ユーザに応じて異なり、その緯度・経度の場所がユーザの自宅であれば、ユーザの居場所は自宅であると推定される。
【０１２７】
次に、第１のユーザ情報（第１のユーザのＴＰＯ）に基づいて、第１のユーザに提示情報を提示するタイミングであるか否かを判断する（ステップＳ５）。例えば第１のユーザ情報に基づいて、第１のユーザが忙しかったり、疲れていると判断した場合には、提示タイミングではないと判断して、ステップＳ３に戻る。
【０１２８】
一方、第１のユーザに提示するタイミングであると判断した場合には、ロボット１に提示情報を提示させるロボット制御を行う（ステップＳ６）。具体的には、図３（Ａ）〜図３（Ｃ）のように、ロボット１に会話フレーズを発話させるロボット制御を行う。
【０１２９】
次に、ステップＳ６での提示情報の提示に対する第１のユーザの反応をモニタする（ステップＳ７）。例えば第１のユーザがロボット１を撫でる動作をしたのか、叩く動作をしたのか、或いは何もしなかったのかを判断する。そして、モニタされた第１のユーザの反応に基づいて、次にロボット１が提示する提示情報を決定する（ステップＳ８）。即ち次にロボット１が発話する会話フレーズを決定する。
【０１３０】
５．複数台のロボット
以上では、ユーザが複数であり、ロボットが１台である場合について説明したが、本実施形態はこれに限定されず、ユーザが複数であり、ロボットが複数台である場合にも適用できる。図５に、ロボットが複数台である場合の本実施形態の第２のシステム構成例を示す。
【０１３１】
このシステムは、第１、第２のユーザが所持する携帯型電子機器１００-1、１００-2や、本実施形態のロボット制御システムにより制御されるロボット１、２（第１、第２のロボット）を有する。そして、ロボット制御システムは、例えばロボット１、２が有する処理部１０、６０により実現される。なお、ロボット２の構成はロボット１と同様であるため、ここでは詳細な説明を省略する。
【０１３２】
図５では、提示情報決定部１４（６４）は、取得された同じ第２のユーザ情報に対してロボット１、２が異なる提示情報（異なる会話フレーズ、異なる感情表現、異なる行動表現）を提示（発話）するように、第１のユーザに対して提示する提示情報（会話フレーズ）の決定処理を行う。例えば、取得された第２のユーザ情報に対して、ロボット１が、第１の提示情報（第１の会話フレーズ）を提示し、ロボット２が、第１の提示情報とは異なる第２の提示情報（第２の会話フレーズ）を提示するように、提示情報の決定処理を行う。
【０１３３】
次に図５の動作について説明する。一般的に、ユーザとロボットとの会話（対話）は、１人のユーザと１台のロボットというように、１対１の対峙関係で実現される。
【０１３４】
これに対して図５では、２台のロボット１、２（広義には複数台のロボット）が用意される。そしてユーザは、ロボット１、２と直接会話するのではなく、ロボット１、２の間で行われる会話を傍観しならが聞くという形態をとる。
【０１３５】
このようにすれば、外部からユーザに一方的に情報を提供する利便性提供型サービスではなく、ロボット１、２の間で行われる会話を通して、ユーザの内面に働きかけ、ユーザの行動、状態、環境についての気付き（インスパイヤ）をユーザに与えることで、自己の成長を促すというインスパイヤ型ユビキタスサービスの実現が可能になる。
【０１３６】
図６（Ａ）〜図６（Ｃ）は、子供である第２のユーザの第２のユーザ情報を取得する場面の例である。図６（Ａ）において、家に帰宅した子供は、携帯型電子機器１００（１００-2）をクレードル１０１に接続して、充電等を行っている。図６（Ａ）では、このクレードル１０１への携帯型電子機器１００の接続により、ロボット１、２の利用可能イベントが発生したと判定し、ロボット１、２を起動し、その利用を可能にする。なお、無線強度の検出により、子供との接近を判定して、ロボット１、２を起動してもよい。
【０１３７】
このようにロボット１、２が起動すると、子供が所持する携帯型電子機器１００に記憶された第２のユーザ情報が、ロボット１、２のユーザ情報記憶部２２、７２に転送される。そして、モバイル環境において更新された子供の第２のユーザ情報に基づいて、ロボット１、２の会話等が制御される。また、モバイル環境で更新された第２のユーザ情報が、ロボット１、２との会話等に基づいて、ホーム環境において更に更新される。
【０１３８】
例えば図６（Ａ）では、子供の帰宅時間がいつもよりも遅かったことが、第２のユーザ情報に基づき判断される。このように、帰宅時間が遅いと判断された場合には、子供の帰宅時間に関連した提示情報がロボット１、２により提示される。具体的には、子供の帰宅時間の話題に関するシナリオデータが選択され、選択されたシナリオデータにしたがってロボット１、２が会話を開始する。例えば図６（Ａ）では、ロボット１が「今日は学校の帰りが遅かったね」という会話フレーズを発話し、それに対してロボット２が「最近、遅い日が多いよね〜」という会話フレーズを発話する。
【０１３９】
そして図６（Ｂ）ではロボット１が「部活が忙しいのかな」と発話し、ロボット２が「どうせフラフラ遊び歩いているんじゃない？」と発話する。このように図６（Ｂ）では、「帰宅時間がいつもより遅い」という同じ第２のユーザ情報に対して、ロボット１、２が異なる提示情報を提示する。すると、子供は、実際には部活で忙しくて帰宅が遅くなったため、「部活が忙しいのかな」と発話したロボット１の方を撫でる。これにより図６（Ｃ）に示すように、撫でられた方のロボット１が、「そういえばもうすぐ地区大会だったね」と発話する。
【０１４０】
この場合に、図６（Ｂ）のようなロボット１、２の対照的な会話フレーズに対する子供の反応（撫でる操作）に基づき、第２のユーザ情報が更新される。即ち、子供の帰宅が遅くなったのは、部活が原因であったことが推定され、部活で帰宅が遅くなったことが、第２のユーザ情報として記録されて、父親に提示するシナリオデータが作成される。即ち、ロボット１、２が発話した会話フレーズに対する子供（第２のユーザ）の反応に基づき、父親（第１のユーザ）に提示するシナリオデータが作成される。
【０１４１】
図７（Ａ）〜図７（Ｃ）は、子供の帰宅後、第１のユーザである父親が帰宅した場面の例である。
【０１４２】
父親が帰宅して、クレードル１０１への携帯型電子機器１００（１００-1）の接続等が検出されると、ロボット１、２が起動する。この場合に、図６（Ａ）〜図６（Ｃ）で説明した子供との会話により更新された第２のユーザ情報が、ロボット１、２のユーザ情報記憶部２２、７２に記憶されている。そしてロボット１、２は、この第２のユーザ情報に基づいて、その会話等が制御される。具体的には、子供の遅い帰宅時間の話題に関するシナリオデータが選択されて、選択されたシナリオデータにしたがってロボット１、２が会話を開始する。例えば図７（Ａ）では、ロボット１が「坊ちゃん学校の帰りが遅かったんだよ」と発話し、それに対してロボット２が「最近、遅い日が多いみたいだね〜」と発話する。
【０１４３】
この場合に、「子供の帰宅時間がいつもより遅い」という同じ第２のユーザ情報に対して、ロボット１、２が異なる提示情報を提示するように、父親（第１のユーザ）に対してロボット１、２が提示する提示情報の決定処理が行われる。具体的には図７（Ｂ）では、子供の遅い帰宅時間について、ロボット１は「部活が忙しいらしいよ」と発話し、ロボット２は「でも、なんか機嫌が悪いんだ」と発話する。
【０１４４】
例えば、ロボットとユーザが１対１で対峙し、ロボットが常に同じような傾向の会話を行うと、ユーザはロボットとの会話に閉塞感や行き詰まり感を感じるおそれがある。
【０１４５】
これに対して図７（Ｂ）では、ロボット１、２が、互いに異なる対照的な会話フレーズを発話する。しかも、ユーザに対して直接会話するのではなく、ロボット１、２同士で会話を行い、ユーザがそれを見守るという形態をとる。従って、いわゆる利便性提供型サービスではなく、ロボット１、２の間で行われる会話を通してユーザに気付きを与えるというインスパイヤ型ユビキタスサービスの提供が可能になる。
【０１４６】
また図７（Ｂ）では、父親は、子供の今日の機嫌に関する話題よりも、子供の部活に関する話題の方に興味があるため、ロボット１の方を撫でている。そして、ロボット１の接触センサ４１０等により、ロボット１、２による会話フレーズの発話に対するユーザの反応である「撫でる動作」が検知される。
【０１４７】
すると、このような「撫でる動作」というユーザの反応に基づいて、ロボット１、２が父親に対して次に会話する会話フレーズ（次に提示する提示情報）の決定処理を行う。具体的には図７（Ｃ）に示すように、撫でられた側のロボット１は、「もうすぐ地区大会だからね」と発話する。そして、その後は、子供の部活に関する話題のシナリオにより、ロボット１、２の間の会話が続けられる。
【０１４８】
このように図６（Ａ）〜図６（Ｃ）では、ロボット１、２の会話を通じて、子供のユーザ情報である第２のユーザ情報が更新されて、父親に提示するシナリオデータが作成される。従って、子供が特に意識することなく、自然に第２のユーザ情報が収集されて、取得される。そして取得された第２のユーザ情報に基づいて、子供を話題とするシナリオデータが作成され、図７（Ａ）〜図７（Ｃ）に示すように、ロボット１、２の会話を通じて、子供の話題が父親に提供される。従って、父親や子供が特に意識しなくても、ロボット１、２を媒介として父親と子供との間接的なコミュニケーションを実現できる。これにより、ロボットとの会話を通じてユーザに気付きを与えるというインスパイヤ型ユビキタスサービスの実現が可能になる。
【０１４９】
図８に、図５のシステムの動作を説明するためのフローチャートを示す。図８が図４のフローチャートと主に異なるのは、ステップＳ５６の処理である。即ちステップＳ５５で、第１のユーザ（父親）に提示するタイミングであると判断された場合には、ステップＳ５６では、ロボット１、２に異なる提示情報を提示させるロボット制御が行われる。具体的には、図７（Ａ）〜図７（Ｃ）で説明したように、同じ第２のユーザ情報（子供の帰宅時間）に対して、ロボット１、２が異なる会話を行うようにロボット１、２の会話フレーズを決定し、ロボット１、２に発話させる。これにより、ユーザとロボットとの会話が単調になってしまう事態が防止される。
【０１５０】
図９に、図５の変形例である第３のシステム構成例を示す。図９では、ロボット１がマスタ側に設定され、ロボット２がスレーブ側に設定される。そしてロボット制御システムは、主にマスタ側のロボット１が有する処理部１０により実現される。
【０１５１】
具体的にはマスタ側のロボット１に設けられたユーザ情報取得部１２がユーザ情報（第２のユーザ情報）を取得し、マスタ側の提示情報決定部１４が、取得されたユーザ情報に基づいて、ロボット１、２がユーザに対して提示する提示情報の決定処理を行う。例えばマスタ側、スレーブ側のロボット１、２が、各々、第１、第２の提示情報を提示することが決定された場合には、マスタ側のロボット制御部３０は、決定された第１の提示情報をロボット１に提示させるための制御を行う。このようにしてマスタ側のロボット１が制御される。またマスタ側の提示情報決定部１４は、スレーブ側のロボット２に対して、ユーザへの提示情報の提示を指示する。例えばマスタ側、スレーブ側が、各々、第１、第２の提示情報を提示することが決定された場合には、スレーブ側のロボット２に対して、第２の提示情報を提示することを指示する。するとスレーブ側のロボット制御部８０は、決定された第２の提示情報をロボット２に提示させるためのロボット制御を行う。このようにしてスレーブ側のロボット２が制御される。
【０１５２】
この場合に、通信部４０は、提示情報の提示を指示する指示情報を、マスタ側のロボット１からスレーブ側のロボット２に対して、例えば無線等により通信する。そしてスレーブ側の通信部９０がこの指示情報を受信すると、スレーブ側のロボット制御部８０は、この指示情報で指示された提示情報をロボット２に提示させるためのロボット制御を行う。
【０１５３】
ここで提示情報の指示情報は、例えば提示情報の識別コードなどである。提示情報がシナリオの会話フレーズである場合には、この指示情報は、シナリオにおける会話フレーズのデータコードになる。
【０１５４】
例えばロボット１、２が掛け合いの会話を行う場合に、ロボット１の発話した会話フレーズをロボット２が音声認識し、その音声認識の結果に基づいてロボット２に会話フレーズを発話させる手法が考えられる。
【０１５５】
しかしながら、この手法によると複雑は音声認識処理や解析処理が必要になり、ロボットの高コスト化、処理の複雑化、誤動作の発生などを招く。
【０１５６】
この点、図９では、マスタ側のロボット１の制御の下で、ロボット１、２の掛け合いの会話が実現される。即ち、ユーザの目からは、ロボット１、２がお互いの言葉を認識し合いながら会話しているように見えるが、実際には、全ての会話がマスタ側のロボット１の制御の下で行われる。またスレーブ側のロボット２は、マスタ側のロボット１から通信される指示情報に基づいて、自身が提示する情報を決定するため、音声認識処理を不要にできる。従って、複雑な音声認識処理等を行わなくても、ロボット１、２の間での掛け合いの会話を、誤動作の少ない安定した制御の下で実現できる。
【０１５７】
６．ネットワークを介した第２のユーザ情報の取得
以上では、家族間のコミュニケーションに本実施形態の手法を適用した場合について主に説明したが、本実施形態はこれに限定されない。例えば友人、恋人、親戚などの場所的に離れたユーザ間でのコミュニケーションにも本実施形態の手法は適用できる。
【０１５８】
例えば図１０では、第１のユーザの恋人である第２のユーザの第２のユーザ情報が取得される。具体的には第２のユーザのモバイル環境やホーム環境において、図１等で説明した手法により第２のユーザ情報（第２のユーザ履歴情報）が更新される。そして、更新された第２のユーザ情報は、インターネットなどのネットワークを介して通信される。即ち、ロボット１（ロボット制御システム）のユーザ情報取得部１２が、第２のユーザ情報をネットワークを介して取得する。そして提示情報決定部１４が、ネットワークを介して取得された第２のユーザ情報に基づいて、第１のユーザに提示する提示情報の決定処理を行う。
【０１５９】
このようにすれば、第１のユーザは、遠く離れた場所にいる第２のユーザの行動、状態又は環境（行動履歴、状態履歴、環境履歴）等を、ロボット１を媒介として知ることができる。即ちロボット１（或いはロボット１、２）は、ネットワークを介して取得した第２のユーザ情報によるシナリオデータに基づいて、図３（Ａ）〜図３（Ｃ）で説明したような会話を行う。従って、第１のユーザは、恋人である第２のユーザの様子を、ロボット１の会話を通じて間接的に知ることができる。これにより、遠く離れた場所にいる第１、第２のユーザ間での間接的なコミュニケーションを実現でき、これまでにないコミュニケーション手段を提供できる。なお図１０のシステムにおいて第２のユーザ情報を携帯型電子機器を媒介せずに取得するようにしてもよい。
【０１６０】
７．システム構成例
次に本実施形態の別のシステム構成例について説明する。図１１は本実施形態の第４のシステム構成例である。なお図１１は、１台のロボットが設けられる場合の例であるが、図５のように複数台のロボットを設けてもよい。
【０１６１】
図１１では、ローカルサーバであるホームサーバ２００が設けられている。このホームサーバ２００は、ホームサブシステムの制御対象機器の制御のための処理を行ったり、外部との通信処理などを行う。ロボット１（或いはロボット１、２）はこのホームサーバ２００の制御の下で動作する。
【０１６２】
そして図１１のシステムでは、携帯型電子機器１００-1、１００-2とホームサーバ２００は例えば無線ＬＡＮやクレードル等で通信接続され、ホームサーバ２００とロボット１は例えば無線ＬＡＮ等で通信接続される。そして本実施形態のロボット制御システムは、主にホームサーバ２００の処理部２１０により実現される。なおロボット制御システムの処理を、ホームサーバ２００とロボット１の分散処理により実現してもよい。
【０１６３】
携帯型電子機器１００-1又は１００-2を所持したユーザ（第１、第２のユーザ）が家に近づくと、無線ＬＡＮ等により携帯型電子機器１００-1、１００-2とホームサーバ２００の間の通信が可能になる。或いは携帯型電子機器１００-1、１００-2をクレードルに置くことで、通信が可能になる。
【０１６４】
そして通信経路が確立されると、携帯型電子機器１００-1、１００-2からホームサーバ２００のユーザ情報記憶部２２２にユーザ情報（第１、第２のユーザ情報）が転送される。これにより、ホームサーバ２００のユーザ情報取得部２１２がユーザ情報を取得する。そして演算部２１３が必要な演算処理を行い、提示情報決定部２１４が、ロボット１がユーザに対して提示する提示情報を決定する。そして、決定された提示情報又は提示情報の指示情報（例えば会話フレーズの発話指示情報）が、ホームサーバ２００の通信部２３８からロボット１の通信部４０に送信される。そしてロボット１のロボット制御部３０は、受信した提示情報又は受信した指示情報により指示される提示情報を、ユーザに提示するためのロボット制御を行う。
【０１６５】
図１１の構成によれば、例えばユーザ情報や提示情報（シナリオデータ）のデータサイズが大きい場合に、ロボット１にユーザ情報や提示情報の記憶部を設けなくても済むため、ロボット１の低コスト化やコンパクト化を図れる。またユーザ情報や提示情報の転送や演算処理を、ホームサーバ２００に一元化して処理、管理できるため、よりインテリジェントなロボット制御が可能になる。
【０１６６】
また図１１のシステムによれば、ロボット１の利用可能イベントが発生する前に、携帯型電子機器１００-1、１００-2からのユーザ情報を、ホームサーバ２００のユーザ情報記憶部２２２に予め転送しておくことができる。例えばユーザが家に帰ってロボット１に近づく前に（具体的には、ユーザが身につけたウェアラブルセンサの１つであるＧＰＳセンサからの情報が、ユーザが最寄り駅に着いたことを示したり、ホームセンサの１つであるドアの開閉センサからの情報が、ユーザが玄関のドアを開けたことを示したりしたタイミングなど）、モバイル環境で更新されたユーザ情報をホームサーバ２００のユーザ情報記憶部２２２に予め転送して書き込んでおく。そしてユーザがロボット１に近づき、ロボット１の利用可能イベントが発生すると、ユーザ情報記憶部２２２に予め転送されたユーザ情報を用いた、ロボット１の制御動作を開始させる。即ちロボット１を起動し、例えば図３（Ａ）〜図３（Ｃ）に示すような会話を行うようにロボット１を制御する。このようにすれば、ロボット１が起動した後に、ユーザ情報に基づく会話を直ぐに開始できるようになり、制御を効率化できる。
【０１６７】
図１２に本実施形態の第５のシステム構成例を示す。図１２では、メインサーバである外部サーバ３００が設けられている。この外部サーバ３００は、携帯型電子機器１００-1、１００-2との間やホームサーバ２００との間での通信処理を行ったり、各種の管理制御を行う。なお図１２は、１台のロボットが設けられる場合の例であるが、図５のように複数台のロボットを設けてもよい。
【０１６８】
図１２のシステムでは、携帯型電子機器１００-1、１００-2と外部サーバ３００はＰＨＳ等の無線ＷＡＮで通信接続され、外部サーバ３００とホームサーバ２００はＡＤＳＬ等の有線ＷＡＮで通信接続され、ホームサーバ２００とロボット１（ロボット１、２）は無線ＬＡＮ等で通信接続される。そして本実施形態のロボット制御システムは、主に、ホームサーバ２００の処理部２１０や外部サーバ３００の図示しない処理部により実現される。なおロボット制御システムの処理を、ホームサーバ２００、外部サーバ３００、ロボット１の分散処理により実現してもよい。
【０１６９】
携帯型電子機器１００-1、１００-2、ホームサーバ２００等の各ユニットは、適宜、外部サーバ３００と通信して、ユーザ情報（第１、第２のユーザ情報）の転送処理を行う。また、ＰＨＳの位置登録情報、ＧＰＳセンサ、マイク等を利用して、ユーザ（第１、第２のユーザ）が家に近づいたか否かを判断し、近づいた場合には、外部サーバ３００の図示しないユーザ情報記憶部に記憶されたユーザ情報を、ホームサーバ２００のユーザ情報記憶部２２２にダウンロードして、ロボット１による提示情報の提示制御を開始させる。なお、後述するシナリオデータ等の提示情報も、外部サーバ３００からホームサーバ２００の提示情報記憶部２２６にダウンロードできる。
【０１７０】
図１２のシステムによれば、ユーザ情報や提示情報を、外部サーバ３００において一元的に管理できるようになる。
【０１７１】
８．ユーザ履歴情報
次に、ユーザ情報の１つであるユーザ履歴情報の更新処理やユーザ履歴情報の具体例について説明する。なおユーザ情報は、センサ情報によりリアルタイムに得られるユーザ情報と、このリアルタイムに得られるユーザ情報の履歴であるユーザ履歴情報などを含むことができる。
【０１７２】
図１３は、ユーザ履歴情報の更新処理の一例を示すフローチャートである。
【０１７３】
まず、ウェアラブルセンサ１５０等からのセンサ情報を取得する（ステップＳ２１）。次に、取得されたセンサ情報のフィルタリングや解析等の演算処理を行う（ステップＳ２２）。そして演算結果に基づきユーザの行動、状態、環境等（ＴＰＯ、情感）を推定する（ステップＳ２３）。そして推定されたユーザの行動、状態等のユーザ履歴を日時（年、月、週、日、時間）等に関連づけてユーザ履歴情報記憶部２３（２２３）に記憶して、ユーザ履歴情報を更新する（ステップＳ２４）。
【０１７４】
図１４にユーザ履歴情報の具体例が模式的に示される。図１４のユーザ履歴情報は、ユーザの行動等の履歴が時間帯、時刻等に関連づけられたデータ構造になっている。例えば８時にユーザは自宅を出発し、８時〜８時２０分の時間帯では自宅から駅まで歩行し、８時２０分に自宅の最寄りのＡ駅に到着している。そして８時２０分〜８時４５分の時間帯では電車に乗車し、８時４５分に会社の最寄りのＢ駅で下車し、９時に会社に到着し、業務を開始している。１０時〜１１時の時間帯では社内のメンバとミーティングを行い、１２時〜１３時の時間帯では昼食をとっている。
【０１７５】
このように図１４では、センサからの情報等により推定されるユーザの行動等の履歴を、時間帯や時刻等に関連づけることで、ユーザ履歴情報が構築されている。
【０１７６】
また図１４では、時間帯や時刻に対して、センサ等により計測されるユーザの発話量、食事量、脈拍、発汗量等の計測値も関連づけられている。例えば８時〜８時２０分の時間帯では、ユーザは自宅からＡ駅に歩いているが、この時の歩行量等がセンサにより計測されて、８時〜８時２０分の時間帯に関連づけられる。この場合に、例えば歩行速度、発汗量等の歩行量以外のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの運動量等を把握することが可能になる。
【０１７７】
１０時〜１１時の時間帯では、ユーザは同僚とのミーティングを行っているが、この時の発話量等がセンサにより計測されて、１０時〜１１時の時間帯に関連づけられる。この場合に、例えば音声状態、脈拍等のセンサ情報の計測値を更に関連づけてもよい。こうすることで、この時間帯でのユーザの会話量や緊張度等を把握することが可能になる。
【０１７８】
２０時４５分〜２１時４５分や２２時〜２３時の時間帯では、ユーザはゲームをプレイしたり、テレビを鑑賞しているが、この時の脈拍、発汗量等がこれらの時間帯に関連づけられる。こうすることで、これらの時間帯でのユーザの興奮度等を把握することが可能になる。
【０１７９】
２３時３０分〜の時間帯では、ユーザは睡眠をしているが、この時のユーザの体温の変化がこの時間帯に関連づけられる。こうすることで、睡眠時におけるユーザの健康状態を把握することが可能になる。
【０１８０】
なお、ユーザ履歴情報は図１４のような形態に限定されず、例えばユーザの行動等の履歴を日時等に関連づけないでユーザ履歴情報を構築する変形実施も可能である。
【０１８１】
例えば図１５（Ａ）では、センサ情報の計測値である発話量、音声状態、脈拍、発汗量等に基づいて、所定の演算式にしたがってユーザの精神状態パラメータが演算される。例えば発話量が多ければ、精神状態パラメータも高くなり、ユーザの精神状態が良好であることが示される。またセンサ情報の計測値である歩行量、歩行速度、体温等に基づいて、所定の演算式にしたがってユーザの身体状態（健康状態）のパラメータ（運動量パラメータ）が演算される。例えば歩行量が多ければ、身体状態パラメータも高くなり、ユーザの身体状態が良好であることが示される。
【０１８２】
また図１５（Ｂ）に示すように、ユーザの精神状態、身体状態のパラメータ（広義には状態パラメータ）は、棒グラフ等を利用して可視化することで、ウェアラブルディスプレイやホームディスプレイに表示できる。またモバイル環境で更新された精神状態、身体状態のパラメータなどに基づいて、ホーム環境のロボットを制御して、ユーザを労ったり、励ましたり、あるいはユーザに助言する動作をロボットに行わせることが可能になる。
【０１８３】
以上のように本実施形態では、ユーザ情報として、ユーザの行動履歴、状態履歴、及び環境履歴の少なくとも１つであるユーザ履歴情報が取得される。そして取得されたユーザ履歴情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理が行われるようになる。
【０１８４】
９．シナリオに基づくロボットの会話
次に、ユーザへの提示情報がシナリオに基づくロボットの会話である場合を例にとり、その具体例について詳細に説明する。
【０１８５】
９．１ 構成
図１６に本実施形態の更に詳細なシステム構成例を示す。図１６は図２、図５等に比べて、処理部１０が更にイベント判定部１１、ユーザ識別部１５、接触状態判定部１６、発話権制御部１７、シナリオデータ取得部１８、ユーザ情報更新部１９を含んでいる。また記憶部２０がシナリオデータ記憶部２７、提示許可判断情報記憶部２８を含んでいる。
【０１８６】
イベント判定部１１は各種のイベントの判定処理を行う。具体的には、モバイルサブシステムや車内サブシステムでユーザ情報を更新していたユーザが、新たにホームサブシステムのロボットの利用が可能になったことを示すロボットの利用可能イベントの発生を判定する。例えばイベント判定手段１１は、ユーザがロボットの場所（家）に接近（移動）した場合に、ロボットの利用可能イベントが発生したと判定する。或いは情報転送が無線により行われる場合には、その無線強度を検出することで利用可能イベントの発生を判定してもよい。或いはクレードルに携帯型電子機器が接続された場合に、利用可能イベントが発生したと判定してもよい。そして、このようなロボットの利用可能イベントが発生した場合には、ロボット１、２を起動し、ユーザ情報記憶部２２等にユーザ情報がダウンロードされる。
【０１８７】
シナリオデータ記憶部２７は、複数の会話フレーズにより構成されるシナリオデータを、提示情報として記憶する。そして提示情報決定部１４は、このシナリオデータに基づいて、ロボットがユーザに対して発話する会話フレーズを決定する。するとロボット制御部３０は、決定された会話フレーズをロボットに発話させるための制御を行う。
【０１８８】
具体的にはシナリオデータ記憶部２７は、複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶する。そして提示情報決定部１４は、ロボットが発話した会話フレーズに対するユーザ（第１のユーザ）の反応に基づいて、次にロボットに発話させる会話フレーズを決定する。
【０１８９】
ユーザ識別部１５はユーザの識別処理を行う。具体的には、ロボットに対してユーザが接近した場合に、接近したユーザを識別する。そしてロボット制御部３０は、第１のユーザが接近したとユーザ識別部１５により識別された場合に、第１のユーザに提示情報を提示するためのロボット制御を行う。
【０１９０】
このユーザ識別は、例えばロボットによるユーザの顔の画像認識やユーザの声の音声認識などにより実現できる。例えば第１のユーザの顔画像や音声のデータを予め登録しておく。そして、ＣＣＤ等の撮像デバイスやマイク等の音センサにより、ロボットに接近したユーザの顔画像や音声を認識し、登録されている顔画像や音声と一致するか否かを判断する。そして、認識された顔画像や音声が第１のユーザの顔画像や音声と一致した場合に、第１のユーザへの提示情報の提示を開始する。或いはユーザが所持する携帯型電子機器からのＩＤ情報をロボットが受信し、予め登録されているＩＤ情報と一致するか否かを判断することで、接近したユーザが第１のユーザか否かを識別してもよい。
【０１９１】
接触状態判定部１６は、後述するように、ロボットのセンシング面における接触状態を判定する。そして提示情報決定部１４は、ロボットによる会話フレーズの発話（提示情報の提示）に対するユーザの反応として、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、接触状態判定部１６での判定結果に基づき判断する。そして、ユーザに対して次に発話する会話フレーズ（次に提示する提示情報）を決定する。
【０１９２】
この場合に接触状態判定部１６は、センシング面よりも内側（ロボットの内側）に設けられたマイク（音センサ）からの出力信号（センサ信号）に対して演算処理を行うことで得られた出力データに基づいて、センシング面における接触状態を判定する。この場合の出力データは、例えば信号強度（信号強度データ）であり、接触状態判定部１６は、出力データで信号強度と、所定のしきい値との比較処理を行うことで、ユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定できる。
【０１９３】
発話権制御部１７は、ロボットが発話した会話フレーズに対するユーザ（第１のユーザ）の反応（例えば撫でる、叩く、無言）に基づいて、ロボット１、２のいずれに対して次の会話フレーズの発話権（発話の主導権）を付与するかを制御する。具体的には、ロボット１、２のいずれか一方のロボットが発話した会話フレーズに対してユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定する。例えばユーザが肯定的な反応をした方のロボットに発話権を付与したり、ユーザが否定的な反応をしなかった方のロボットに発話権を付与する。この発話権の制御処理は、ロボット１、２のいずれに発話権を付与するかを示す発話権フラグ等を利用して実現できる。
【０１９４】
例えば図１７（Ａ）では、ロボット１の「部活が忙しいらしいよ」という会話フレーズに対して、父親は頭を撫でるという肯定的な反応をしている。従って、この場合には図１７（Ｂ）に示すように、頭を撫でられた方（肯定的な反応をされた方）のロボット１に対して次の発話権を付与する。これにより発話権を付与されたロボット１は「もうすぐ地区大会だからね」という会話フレーズを発話する。即ちロボット１、２は例えば交互に発話するのが原則であり、この原則に従えば図１７（Ｂ）ではロボット２の方に次の発話権が付与されるはずであるが、図１７（Ｂ）では、父親により頭が撫でられたロボット１の方に次の発話権を付与している。なお図１７（Ａ）において、ロボット２が発話し、父親がロボット２の方の頭を叩くという否定的な反応をした場合に、ロボット１に発話権を付与するようにしてもよい。
【０１９５】
図１８（Ａ）では、ロボット２の「でも、なんだか機嫌が悪いんだ」という会話フレーズに対して、父親は頭を撫でるという肯定的な反応をしている。従って、この場合には図１８（Ｂ）に示すように、頭を撫でられた方のロボット２に対して、原則通り次の発話権を付与する。これにより発話権を付与されたロボット２は「今日は３回も叩かれたんだ！まったく！」という会話フレーズを発話する。なお図１８（Ａ）において、ロボット１が発話し、父親がロボット１の方の頭を叩くという否定的な反応をした場合に、ロボット２に発話権を付与するようにしてもよい。
【０１９６】
例えばロボット１、２が常に交互に順番に会話するだけでは、ロボット１、２の掛け合いの会話がユーザにとって単調なものになってしまい、ユーザに直ぐに飽きられてしまう。
【０１９７】
これに対して図１７（Ａ）〜図１８（Ｂ）の発話権制御手法を用いれば、ユーザの反応に応じて発話権の付与が様々に切り替わるため、会話が単調になるのを防止でき、ユーザが飽きにくいロボット間の会話を実現できる。
【０１９８】
シナリオデータ取得部１８はシナリオデータの取得処理を行う。具体的には、シナリオデータ記憶部２７からユーザ情報に対応したシナリオデータを読み出すことで、ロボットの会話に使用するシナリオデータを取得する。なお、ユーザ情報に基づき選択されたシナリオデータを、ネットワークを介してシナリオデータ記憶部２７にダウンロードし、ダウンロードされたシナリオデータの中から、ロボットの会話に使用するシナリオデータを選択して読み出すようにしてもよい。
【０１９９】
そして本実施形態では、例えば図６（Ａ）〜図６（Ｃ）で説明したように、ロボットが発話した会話フレーズに対する第２のユーザ（子供）の反応に基づいて、シナリオデータを作成し、シナリオデータ取得部１８は、作成されたシナリオデータを取得する。そして提示情報決定部１４は、取得されたシナリオデータに基づいて、ロボットが第１のユーザに対して発話する会話フレーズを決定する。
【０２００】
このようにすれば、ロボットの会話フレーズに対する第２のユーザの反応に応じて、第１のユーザに提示するシナリオの内容が変化するようになり、多様で変化に富んだロボットの会話を実現できる。例えば図６（Ｂ）では、ロボット１の「部活が忙しいのかな」という発話に対して、子供がロボット１の頭を撫でるという肯定的な反応をしている。このため、図７（Ｂ）、図７（Ｃ）では、子供の部活の話題に関するシナリオ（会話フレーズ）が選択されて、父親に提示されるようになる。
【０２０１】
ユーザ情報更新部１９は、ホーム環境でのユーザ情報の更新処理を行う。具体的には、ロボットとの会話等を介して、ユーザの行動、状態等をセンシングして、ユーザ情報をホーム環境において更に更新する。
【０２０２】
提示許可判断情報記憶部２８は、ユーザ間での情報提示の許可・不許可を判断するための提示許可判断情報（提示許可判断フラグ）を記憶する。そして提示情報決定部１４は、提示許可判断情報に基づいて、第１、第２のユーザ間での情報提示が許可されていると判断した場合に、第２のユーザ情報に基づく第１のユーザへの提示情報の決定処理を行う。
【０２０３】
図１９に提示許可判断情報の一例を示す。例えば図１９では、ユーザＡとユーザＢとの間では、情報提示は許可されているが、ユーザＡとユーザＣ、Ｄとの間では、情報提示は不許可になっている。またユーザＢとユーザＥとの間では、情報提示は許可されているが、ユーザＢとユーザＣ、Ｄとの間では、情報提示は不許可になっている。
【０２０４】
従って、例えばユーザＡがロボットに接近した場合に、ユーザＢのユーザ情報に基づく提示情報をユーザＡに提示することは許可されるが、ユーザＣのユーザ情報に基づく提示情報については、ユーザＡに提示することは禁止される。
【０２０５】
例えば、家族の全てのメンバに対して、子供の情報の提示を許可してしまうことは、望ましくない場合がある。そこで、提示許可判断情報を用いて、子供の情報を父親に提示することについては許可する一方で、子供の情報を母親に提示することについては不許可にする。
【０２０６】
このようにすれば、ロボットは、父親がロボットに近づいた場合には、提示許可判断情報に基づいて、子供の情報の提示が許可されていると判断して、子供のユーザ情報に基づく情報提示を行うようになる。一方、ロボットは、母親がロボットに近づいた場合には、提示許可判断情報に基づいて、子供の情報の提示が禁止されていると判断して、子供のユーザ情報に基づく情報提示を行わないようにする。このようにすれば、必要なユーザに対してのみ、他のユーザの情報が提示されるようになり、プライバシーの侵害等の問題が発生するのを防止できる。
【０２０７】
次に本実施形態の詳細な動作について図２０のフローチャートを用いて説明する。
【０２０８】
まず、図６（Ａ）〜図６（Ｃ）で説明したように、ロボットが発話した会話フレーズに対する第２のユーザ（子供）の反応に基づき作成されるシナリオデータを取得する（ステップＳ３１）。
【０２０９】
次に、ロボットにユーザが接近したか否かを判断する（ステップＳ３２）。即ち、携帯型電子機器のクレードルへの接続の検出や、無線強度の検出等により、ロボットの利用可能イベントが発生したか否かを判断する。
【０２１０】
次に、ロボットに接近したユーザを識別する（ステップＳ３３）。即ち画像認識や音声認識などに基づいてユーザを識別する。そして、識別されたユーザに対応付けられた提示許可判断情報を、提示許可判断情報記憶部２８から読み出す（ステップＳ３４）。
【０２１１】
次に、識別されたユーザは、提示許可判断情報により情報の提示が許可されている第１のユーザか否かを判断する（ステップＳ３５）。例えば、子供である第２のユーザの情報の提示が、父親である第１のユーザに対してのみ許可されている場合には、ロボットに接近したユーザが、父親であるか否かを判断する。
【０２１２】
そして、第１のユーザであると判断した場合には、図７（Ａ）〜図７（Ｃ）で説明したように、ステップＳ３１で取得されたシナリオデータに基づいて、ロボット１、２に発話させる会話フレーズを決定する（ステップＳ３６）。そしてロボット１、２に異なる会話フレーズを発話させるロボット制御を行う（ステップＳ３７）。
【０２１３】
次に、ロボット１、２の発話に対する第１のユーザの反応をモニタする（ステップＳ３８）。そして図１７（Ａ）〜図１８（Ｂ）に示す手法により次の会話フレーズの発話権を決定する（ステップＳ３９）。また第１のユーザの反応に基づいて、次にロボット１，２が発話する会話フレーズを決定する（ステップＳ４０）。
【０２１４】
９．２ シナリオの具体例
次に、本実施形態で使用されるシナリオデータやその選択手法の具体例について説明する。
【０２１５】
図２１に示すようにシナリオデータベース（シナリオＤＢ）の各シナリオデータにはシナリオ番号（シナリオＮｏ.）が付与されている。そしてシナリオ番号により特定されるシナリオデータは、複数のシナリオデータコードにより構成され、各シナリオデータコードにより各会話フレーズ（テキストデータ）が指定される。そして図２１では、第２のユーザ情報により、シナリオ番号＝０５７９のシナリオデータが選択されている。そしてシナリオ番号＝０５７９のシナリオデータは、Ａ０１〜Ａ０６のシナリオデータコードにより構成される。ここでＡ０１〜Ａ０６は、ロボットが順次発話する会話フレーズのコードである。そしてこのシナリオデータを使用することで、図３（Ａ）〜図３（Ｃ）等で説明した、第２のユーザ情報に応じたロボットの会話が実現される。
【０２１６】
図２２は、子供の話題を父親に提供するシナリオの例である。
【０２１７】
例えば、まずロボットが「坊ちゃん最近部活が忙しいみたいだね」と発話し、続いて「夏休みには旅行にも行きたいってさ〜」と発話する。この発話に対して父親がロボットを撫でた場合には、夏休みの旅行についての子供の要望に対して、父親は興味を持っていると、推定する。従って、この場合にはロボットは、やっぱり「夏は海かな〜だってさ」と発話して、子供との会話により得られた子供の要望を父親に伝える。そして、夏休みの旅行の話題に関する会話を続ける。
【０２１８】
一方、「夏休みには旅行にも行きたいってさ〜」という発話に対して父親が無反応であった場合には、その話題には父親は興味がないと推定し、ロボットは、話題を変えて例えば「勉強はボチボチかな〜」と発話する。この発話に対して父親がロボットを撫でた場合には、子供の勉強の様子について父親は興味を持っていると、推定する。従って、この場合にはロボットは、「今は部活が忙しいみたいだし・・・」と発話し、子供の勉強の話題に関する会話を続ける。
【０２１９】
このように図２２では、ロボットが発話した会話フレーズに対する父親の反応に基づいて、次にロボットに発話させる会話フレーズを決定している。また父親の撫でる、叩くなどの反応を検知することで、どのような子供の話題に父親が興味を持っているかを、推定している。
【０２２０】
図２３は、ロボット１、２の会話を通じて子供のユーザ情報を収集するシナリオの例である。
【０２２１】
また、ロボット１が子供に対して「今日は学校の帰りが遅かったね」と発話し、ロボット２が「最近遅い日が多いよね〜」と発話する。続いてロボット１が「部活が忙しいのかな？」と発話し、ロボット２が「どうせフラフラ遊び歩いているんじゃない？」と発話する。
【０２２２】
そして子供がロボット１の方を撫でた場合には、子供が部活で帰りが遅くなったと推定する。そしてこの場合には、発話権はロボット１に付与されて、ロボット１は、「そういえばもうすぐ地区大会だね」と発話する。そして部活の話題についての会話が続けられる。
【０２２３】
一方、子供がロボット２の方を叩いた場合には、ロボット２の方に発話権が付与されて、ロボット２は「いてっ！叩くことないじゃないか！！」と発話する。
【０２２４】
このように図２３では、ロボット１、２の会話を通じて子供の第２のユーザ情報が収集されて、更新される。従って、子供が特に意識しなくても、子供の第２のユーザ情報を自然に取得できるようになる。
【０２２５】
図２４は、図２３で収集された第２のユーザ情報に基づいて、父親に提示されるシナリオの例である。
【０２２６】
まず、図２３で収集された第２のユーザ情報に基づくシナリオにより、ロボット１が「坊ちゃん学校の帰りが遅かったんだよ」と発話し、ロボット２が「最近遅い日が多いみたいだね〜」と発話する。続いてロボット１が「部活が忙しいらしいよ」と発話し、ロボット２が「でも、なんだか機嫌が悪いんだ」と発話する。即ち、同じ第２のユーザ情報に対してロボット１、２が異なる会話フレーズを発話する。
【０２２７】
そして父親がロボット１の方を撫でると、父親が子供の部活の話題に興味があると推定し、ロボット１の方に発話権が付与されて、ロボット１が「もうすぐ地区大会だからね〜」と発話する。そして子供の部活の話題についての会話が続く。
【０２２８】
一方、父親がロボット２の方を撫でると、ロボット２の方に発話権が付与されて、ロボット２は「今日は３回も叩かれたんだよ！まったく！」と発話する。
【０２２９】
このように図２４では、ロボット１、２の会話を通じて収集された子供の話題が、ロボット１、２の会話を通じて父親に提示される。従って、ロボット１、２を媒介とした間接的なコミュニケーション手段を提供できる。
【０２３０】
１０．接触状態判定
次に、ロボットを叩く、撫でる等の動作の具体的な判定手法の一例について説明する。
【０２３１】
図２５（Ａ）はぬいぐるみ型のロボット５００の例である。ロボット５００の表面は、センシング面５０１として機能する。センシング面５０１よりも内側には、マイク５０２-1、５０２-2、５０２-3が設けられている。また、各マイク５０２-1、５０２-2、５０２-3からの出力信号を演算処理し、出力データを出力する信号処理部５０３が設けられている。
【０２３２】
図２５（Ｂ）の機能ブロック図に示すように、マイク５０２-1、５０２-2…５０２-ｎからの出力信号は信号処理部５０３に入力される。信号処理部５０３は、ノイズ除去や信号増幅等を行って、アナログの出力信号を加工・変換する。そして信号強度等を計算して、デジタルの出力データとして出力する。接触状態判定部１６は、例えばしきい値の比較処理、接触状態の分類等の処理を行う。
【０２３３】
例えば図２６（Ａ）、図２６（Ｂ）、図２６（Ｃ）は、センシング面５０１を叩いた時、センシング面５０１を撫でた時、マイクに向かって話かけた時の３パターンの音声波形例である。グラフの横軸は時間であり、縦軸は信号強度である。
【０２３４】
信号強度に着目すると、図２６（Ａ）の叩いた時と、図２６（Ｂ）の撫でた時では信号強度が大きいことがわかる。また、叩いた時はその状態が一時的なものになるが、撫でた時はその状態が継続していることがわかる。また図２６（Ｃ）に示すように例えば「あー」とかなり強めに発話した時の波形は、図２６（Ａ）の叩いた時、図２６（Ｂ）の撫でた時に比べて信号強度が小さいことがわかる。
【０２３５】
これらの差異を利用したしきい値を設けることで、「叩き状態」、「撫で状態」、「いずれでもない状態」を検出することが可能となる。また複数のマイク５０２-1、５０２-2、５０２-3を用いることにより、１番強い信号が発生した場所を「叩かれた部位、撫でられた部位」として検出できるようになる。
【０２３６】
より具体的には、ロボット５００の内部に埋め込まれたマイク５０２-1、５０２-2、５０２-3は、ロボット５００のセンシング面５０１にユーザの手などが接触した場合に、ロボット５００の内部を伝搬してくる音を検出して電気信号に変換する。
【０２３７】
信号処理部５０３は、マイク５０２-1、５０２-2、５０２-3からの出力信号（音声信号）のノイズ除去、信号増幅、Ａ／Ｄ変換を行い、出力データを出力する。この出力データを絶対値に変換して一定時間蓄積することなどにより、信号強度を算出できる。そして算出された信号強度を、しきい値ＴＨと比較する。そしてしきい値ＴＨを超えていれば、「接触」が検出されたものと判定して、接触状態検出回数としてカウントする。そしてこの接触状態検出処理を所定時間、繰り返す。
【０２３８】
所定時間が経過した時点で、接触状態判定部１６は、事前に設定しておいた条件と、前述の接触状態検出回数を比較して、例えば下述のような条件により、撫でられた状態、叩かれた状態を検出する。ここでは、撫でた場合には接触状態が継続するため接触状態検出回数も多くなるが、叩いた場合には接触状態検出回数は少なくなるという現象を利用して、撫でられた状態なのか、叩かれた状態なのかを検出する。
【０２３９】
検出状態 （検出回数／最大検出回数）×１００（％）
撫で状態 ２５％以上
叩き状態 １０％以上、２５％未満
未検出状態 １０％未満
このようにすることで、少なくとも１つのマイクを用いて「撫で状態」、「叩き状態」、「いずれでもない状態（未検出状態）」を判定できる。また複数のマイクを分散して埋め込み、各マイクの接触状態検出回数を比較することで、接触が発生した部位についても判定することが可能になる。
【０２４０】
１１．第１、第２のユーザ情報に基づく提示情報の決定処理
本実施形態では、第１のユーザへの提示情報の決定処理を、例えば第１、第２のユーザ情報の両方を考慮して行う。具体的には、第１のユーザへの提示情報の決定処理における第１のユーザ情報の重み付けと第２のユーザ情報の重み付けとを、時間経過に伴い変化させる。
【０２４１】
例えば、第１のユーザ（父親）が帰宅したり、ロボットと接触すると、ロボット（ホームサブシステム）の利用可能イベントが発生する。具体的には、ウェアラブルセンサのＧＰＳや、家のドアなどに付けられたセンサや、クレードルへの携帯型電子機器の接続などにより第１のユーザの帰宅が検出されたり、無線通信における無線強度やロボットの接触センサなどにより第１のユーザとロボットの接近が検出されると、図１６のイベント判定部１１が、第１のユーザによるロボットの利用可能イベントが発生したと判定する。即ちロボットの利用が可能な状態になったことを示す利用可能イベントが発生したと判定する。
【０２４２】
そして図２７では、この利用可能イベント発生前の例えば第１のユーザの外出期間（ロボットの利用不可期間、ロボットと第１のユーザの非近接期間）を第１の期間Ｔ１とし、利用可能イベント発生後の例えば在宅期間（ロボットの利用可能期間、ロボットと第１のユーザの近接期間）を第２の期間Ｔ２としている。
【０２４３】
この第１の期間Ｔ１では、第１のユーザ（父親）の第１のユーザ情報や、第２のユーザ（子供）の第２のユーザ情報が取得（更新）される。例えば第１のユーザ情報（第１のユーザ履歴情報）は、第１の期間Ｔ１において、第１のユーザのウァアラブルセンサの行動センサ、状態センサ、環境センサを用いて第１のユーザの行動（歩行、発話、食事等）、状態（疲労、緊張、空腹、精神状態、肉体状態等）、又は環境（場所、明るさ、気温等）を計測することで、取得できる。具体的には携帯型電子機器１００-1のユーザ情報更新部が、これらのセンサからのセンサ情報に基づいて、携帯型電子機器１００-1のユーザ情報記憶部の第１のユーザ情報を更新することで、第１の期間Ｔ１での第１のユーザ情報が取得される。
【０２４４】
第２のユーザ（子供）の第２のユーザ情報も、同様に、第１の期間Ｔ１において、第２のユーザのウェラブルセンサを用いて、第２のユーザの行動、状態又は環境を計測することで、取得できる。具体的には携帯型電子機器１００-2のユーザ情報更新部が、これらのセンサからのセンサ情報に基づいて、携帯型電子機器１００-2のユーザ情報記憶部の第２のユーザ情報を更新することで、第１の期間Ｔ１での第２のユーザ情報が取得される。なお第２のユーザ情報は、図６（Ａ）〜図６（Ｃ）で説明したようにロボットとの会話を介しても取得できる。
【０２４５】
そして、例えばロボット１の利用可能イベントが発生すると、第１の期間Ｔ１において更新された第１、第２のユーザ情報が、携帯型電子機器１００-1、１００-2のユーザ情報記憶部からロボット１のユーザ情報記憶部２２（ユーザ履歴情報記憶部２３）に転送される。これにより提示情報決定部１４は、転送された第１、第２のユーザ情報に基づいて、ロボット１が第１のユーザに対して提示する提示情報の決定処理（シナリオの選択処理）を行うことが可能になる。
【０２４６】
なお、利用可能イベント発生後の第２の期間Ｔ２においても、ロボット搭載センサ３４や他のセンサ（例えばウェアラブルセンサや、ホームに埋め込まれたホームセンサ等）を用いて、第１のユーザの行動、状態又は環境を計測することで、第１のユーザ情報を更新してもよい。
【０２４７】
図２８に示すように、提示情報決定部１４は、第１の期間Ｔ１（或いは第２の期間Ｔ２）などで取得された第１、第２のユーザ情報に基づいて、ロボット１が第１のユーザに対して提示する提示情報の決定処理を行う。具体的には、第１、第２のユーザ情報に基づいて、ロボット１が会話するシナリオの決定処理を行う。このようにすれば、帰宅した第１のユーザ（父親）に対して、第２のユーザ（子供）についての話題のみならず、外出先等での第１のユーザ自身の話題についても、第１のユーザに提供できるようになり、外出先での自身の行動等に関する気付きを与えることができる。
【０２４８】
更に具体的には提示情報決定部１４は、提示情報の決定処理の際における第１のユーザ情報の重み付け（重み付け係数）と第２のユーザ情報の重み付けとを、時間経過に伴い変化させている。
【０２４９】
例えば図２８では、ロボット１の利用可能イベントの発生時には（ユーザの帰宅時、帰宅時から所与の期間が経過するまでは）、決定処理における第１のユーザ情報の重み付けの方が第２のユーザ情報の重み付けに比べて大きくなっており、例えば、第１のユーザ情報の重み付けが１．０になり、第２のユーザ情報の重み付けが０になっている。
【０２５０】
そして重み付け変更期間ＴＡにおいて、第１のユーザ情報の重み付けは小さくなる一方で、第２のユーザ情報の重み付けは大きくなり、重み付けの大きさが逆転する。そして、変更期間ＴＡの後は、第２のユーザ情報の重み付けの方が第１のユーザ情報の重み付けに比べて大きくなっており、例えば第１のユーザ情報の重み付けが０になり、第２のユーザ情報の重み付けが１．０になっている。
【０２５１】
このように図２８では、利用可能イベント発生時には、決定処理における第１のユーザ情報の重み付けを大きくし、第２のユーザ情報の重み付けを小さくし、その後、第１のユーザ情報の重み付けを小さくし、第２のユーザ情報の重み付けを大きくしている。具体的には、第２の期間Ｔ２では、提示情報の決定処理の際における第１のユーザ情報の重み付けを時間経過に伴い小さくし、第２のユーザ情報の重み付けを時間経過に伴い大きくしている。
【０２５２】
このようにすれば、第２の期間Ｔ１の前半期間では、ロボット１は、例えば外出期間である第１の期間Ｔ１での第１のユーザ（父親）の行動等に関連する話題を提供する。そして、その後、時間が経過すると、今度は、第２のユーザ（子供）の行動等に関連する話題を提供する。
【０２５３】
このようにすれば、第１のユーザは、帰宅した直後は自身に関する話題が提供され、その後、時間が経過して落ちついたところで、他の人である第２のユーザの話題が提供されるようになり、第１のユーザにとってより自然な話題の提供が可能になる。
【０２５４】
また、例えば第２のユーザがロボット１と自宅に一緒に居るときに、第１のユーザが帰宅した場合には、第２のユーザよりも第１のユーザの方に注目が集まることが予想される。従って、第１のユーザの帰宅直後では、第１のユーザに関する話題を中心に提示し、時間が経過して落ちついたところで、第１、第２のユーザに関する話題を満遍なく提供するようにする。
【０２５５】
なお重み付けの変化のさせ方は図２８の手法に限定されない。例えば図２８とは逆に、前半期間では第２のユーザ情報の重み付けの方を大きくし、その後、第１のユーザ情報の重み付けの方を大きくする変形実施も可能である。また、重み付けの変化のさせ方は、ロボット１等に予めプログラミングしておく構成にしてもよいし、ユーザが好みに応じて自由に切り替えられる構成にしてもよい。
【０２５６】
また第２の期間Ｔ２においても第１のユーザ情報を取得（更新）する場合には、提示情報の決定処理の際に、第１の期間Ｔ１で取得された第１のユーザ情報の重み付けと、第２の期間Ｔ２で取得された第１のユーザ情報の重み付けについても、時間経過に伴い変化させてもよい。例えばロボット１の利用可能イベントの発生直後では、第１の期間Ｔ１で取得された第１のユーザ情報の重み付けを大きくし、時間が経過するにつれて、第２の期間Ｔ２で取得された第１のユーザ情報の重み付けを大きくする。
【０２５７】
また、提示情報の決定処理の際のユーザ情報の重み付けの一例としては、ユーザ情報で選択されるシナリオの選択確率がある。具体的には、第１のユーザ情報の重み付けを大きくする場合には、第２のユーザ情報よりも第１のユーザ情報の方のシナリオが選択されるようにする。具体的には、第１のユーザ情報に対応するシナリオの選択確率を大きくする。一方、第２のユーザ情報の重み付けを大きくする場合には、第１のユーザ情報よりも第２のユーザ情報の方のシナリオが選択されるようにする。具体的には、第２のユーザ情報に対応するシナリオの選択確率を大きくする。
【０２５８】
例えば図２８において、第２の期間Ｔ２の前半では、第１のユーザ情報の重み付けが大きいため、第１のユーザ情報用のシナリオの選択確率が高くなる。これにより、前半期間では、ロボット１は、第１のユーザのその日の行動等に関する会話を行うようになる。一方、第２の期間Ｔ２の後半では、第２のユーザ情報の重み付けが大きいため、第２のユーザ情報用のシナリオの選択確率が高くなる。これにより、後半期間では、ロボット１は、第２のユーザのその日の行動等に関する会話を行うようになる。このようにすれば、時間経過に伴い、提供するシナリオの話題を徐々に変化させることができ、より自然で多様なロボットの会話を実現できる。
【０２５９】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またロボット制御システムやロボットの構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【図面の簡単な説明】
【０２６０】
【図１】ユーザ情報の取得手法の説明図
【図２】本実施形態のシステム構成例。
【図３】図３（Ａ）〜図３（Ｃ）は本実施形態の手法の説明図。
【図４】本実施形態の動作を説明するためのフローチャート。
【図５】ロボットが複数台である場合の本実施形態の第２のシステム構成例。
【図６】図６（Ａ）〜図６（Ｃ）は第２のユーザ情報の取得手法の説明図。
【図７】図７（Ａ）〜図７（Ｃ）は第１のユーザへの情報提示手法の説明図。
【図８】第２のシステム構成の動作を説明するためのフローチャート。
【図９】本実施形態の第３のシステム構成例。
【図１０】ネットワークを介した第２のユーザ情報の取得手法の説明図。
【図１１】本実施形態の第４のシステム構成例。
【図１２】本実施形態の第５のシステム構成例。
【図１３】ユーザ履歴情報の更新処理のフローチャート。
【図１４】ユーザ履歴情報の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）はユーザ履歴情報の説明図。
【図１６】本実施形態の詳細なシステム構成例。
【図１７】図１７（Ａ）、図１７（Ｂ）は発話権の制御手法の説明図。
【図１８】図１８（Ａ）、図１８（Ｂ）は発話権の制御手法の説明図。
【図１９】提示許可判断情報の説明図。
【図２０】本実施形態の詳細な動作を説明するためのフローチャート。
【図２１】シナリオデータの説明図。
【図２２】子供の話題を父親に提供するシナリオの例。
【図２３】子供のユーザ情報収集に使用されるシナリオ例。
【図２４】収集された第２のユーザ情報に基づき父親に提示されるシナリオ例。
【図２５】図２５（Ａ）、図２５（Ｂ）は接触判定手法の説明図。
【図２６】図２６（Ａ）、図２６（Ｂ）、図２６（Ｃ）は、叩いた時、撫でた時、マイクに向かって話かけた時の音声波形例。
【図２７】第１、第２のユーザ情報に基づく提示情報の決定手法の説明図。
【図２８】第１、第２のユーザ情報に基づく提示情報の決定処理の説明図。
【符号の説明】
【０２６１】
１、２ ロボット、１０ 処理部、１１ イベント判定部、１２ ユーザ情報取得部、
１３ 演算部、１４ 提示情報決定部、１５ ユーザ認識部、１６ 接触状態判定部、
１７ 発話権制御部、１８ シナリオデータ取得部、２０ 記憶部、
２２ ユーザ情報記憶部、２３ ユーザ履歴情報記憶部、２６ 提示情報記憶部、
２７ シナリオデータ記憶部、２８ 提示許可判断情報記憶部、３０ ロボット制御部、
３２ ロボット動作機構、３４ ロボット搭載センサ、４０ 通信部、
６０ 処理部、６２ ユーザ情報取得部、６３ 演算部、６４ 提示情報決定部、
７０ 記憶部、７２ ユーザ情報記憶部、７３ ユーザ履歴情報記憶部、
７６ 提示情報記憶部、８０ ロボット制御部、８２ ロボット動作機構、
８４ ロボット搭載センサ、９０ 通信部、
１００-1、１００-2 携帯型電子機器、１１０-1、１１０-2 処理部、
１１２-1、１１２-2 演算部、１１４-1、１１４-2 ユーザ情報更新部、
１２０-1、１２０-2 記憶部、１２２-1、１２２-2 ユーザ情報記憶部、
１３０-1、１３０-2 制御部、１３８-1、１３８-2 通信部、
１４０-1、１４０-2 ウェアラブルディスプレイ、
１５０-1、１５０-2 ウェアラブルセンサ、２００ ホームサーバ（ローカルサーバ）、
２１０ 処理部、２１２ ユーザ情報取得部、２１３ 演算部、
２１４ 提示情報決定部、２２０ 記憶部、
２２２ ユーザ情報記憶部、２２３ ユーザ履歴情報記憶部、
２２６ 提示情報記憶部、３００ 外部サーバ
【特許請求の範囲】
【請求項１】
ロボットを制御するためのロボット制御システムであって、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、
取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、
前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含み、
前記ユーザ情報取得部は、
第２のユーザの前記ユーザ情報である第２のユーザ情報を取得し、
前記提示情報決定部は、
取得された前記第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理を行い、
前記ロボット制御部は、
前記第２のユーザ情報に基づき決定された提示情報を、前記第１のユーザに提示するためのロボット制御を行うことを特徴とするロボット制御システム。
【請求項２】
請求項１において、
前記ユーザ情報取得部は、
前記第１のユーザの前記ユーザ情報である第１のユーザ情報と、前記第２のユーザの前記ユーザ情報である前記第２のユーザ情報を取得し、
前記提示情報決定部は、
取得された前記第１のユーザ情報と前記第２のユーザ情報とに基づいて、前記第１のユーザへの提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項３】
請求項２において、
前記提示情報決定部は、
前記第１のユーザ情報に基づいて提示情報の提示タイミングを決定し、前記第２のユーザ情報に基づいて提示情報の内容を決定し、
前記ロボット制御部は、
決定された前記提示タイミングで、決定された内容の提示情報を、前記第１のユーザに提示するためのロボット制御を行うことを特徴とするロボット制御システム。
【請求項４】
請求項２において、
前記提示情報決定部は、
前記第１のユーザへの提示情報の決定処理における前記第１のユーザ情報の重み付けと前記第２のユーザ情報の重み付けとを、時間経過に伴い変化させることを特徴とするロボット制御システム。
【請求項５】
請求項４において、
前記第１のユーザによるロボットの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定部を含み、
前記提示情報決定部は、
前記利用可能イベント発生時には、前記決定処理における前記第１のユーザ情報の重み付けを大きくし、前記第２のユーザ情報の重み付けを小さくし、その後、前記第１のユーザ情報の重み付けを小さくし、前記第２のユーザ情報の重み付けを大きくすることを特徴とするロボット制御システム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記提示情報決定部は、
ロボットによる提示情報の提示に対する前記第１のユーザの反応に基づいて、ロボットが前記第１のユーザに対して次に提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項７】
請求項６において、
ロボットのセンシング面における接触状態を判定する接触状態判定部を含み、
前記提示情報決定部は、
ロボットによる提示情報の提示に対する前記第１のユーザの反応として、前記第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、前記接触状態判定部での判定結果に基づき判断して、前記第１のユーザに対して次に提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項８】
請求項７において、
前記接触状態判定部は、
前記センシング面よりも内側に設けられたマイクからの出力信号に対して演算処理を行うことで得られた出力データに基づいて、前記センシング面における接触状態を判定することを特徴とするロボット制御システム。
【請求項９】
請求項８において、
前記出力データは、信号強度であり、
前記接触状態判定部は、
前記信号強度と、所定のしきい値との比較処理を行うことで、前記第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定することを特徴とするロボット制御システム。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記提示情報決定部は、
取得された同じ前記第２のユーザ情報に対して、第１、第２のロボットが異なる提示情報を提示するように、前記第１のユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１１】
請求項１０において、
前記第１のロボットはマスタ側に設定され、前記第２のロボットはスレーブ側に設定され、
マスタ側の前記第１のロボットに設けられた前記提示情報決定部が、スレーブ側の前記第２のロボットに対して、前記第１のユーザへの提示情報の提示を指示することを特徴とするロボット制御システム。
【請求項１２】
請求項１１において、
提示情報の提示を指示する指示情報を、マスタ側の前記第１のロボットからスレーブ側の前記第２のロボットに対して通信する通信部を含むことを特徴とするロボット制御システム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記ユーザ情報取得部は、
前記第２のユーザの前記第２のユーザ情報を、ネットワークを介して取得し、
前記提示情報決定部は、
ネットワークを介して取得された前記第２のユーザ情報に基づいて、前記第１のユーザに提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記ユーザ情報取得部は、
前記第２のユーザ情報として、前記第２のユーザの行動履歴、前記第２のユーザの状態履歴及び前記第２のユーザの環境履歴の少なくとも１つである第２のユーザ履歴情報を取得し、
前記提示情報決定部は、
取得された前記第２のユーザ履歴情報に基づいて、ロボットが前記第１のユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１５】
請求項１４において、
前記第２のユーザ履歴情報は、前記第２のユーザのウェアラブルセンサからのセンサ情報により更新することで得られる情報であることを特徴とするロボット制御システム。
【請求項１６】
請求項１乃至１５のいずれかにおいて、
ロボットに対してユーザが接近した場合に、接近したユーザを識別するユーザ識別部を含み、
前記ロボット制御部は、
前記第１のユーザが接近したと前記ユーザ識別部により識別された場合に、前記第１のユーザに提示情報を提示するためのロボット制御を行うことを特徴とするロボット制御システム。
【請求項１７】
請求項１乃至１６のいずれかにおいて、
ユーザ間での情報提示の許可・不許可を判断するための提示許可判断情報を記憶する提示許可判断情報記憶部を含み、
前記提示情報決定部は、
前記提示許可判断情報に基づいて、前記第１、第２のユーザ間での情報提示が許可されていると判断した場合に、前記第２のユーザ情報に基づく前記第１のユーザへの提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１８】
請求項１乃至１７のいずれかにおいて、
複数の会話フレーズにより構成されるシナリオデータを、前記提示情報として記憶するシナリオデータ記憶部を含み、
前記提示情報決定部は、
前記シナリオデータに基づいて、ロボットが前記第１のユーザに対して発話する会話フレーズを決定し、
前記ロボット制御部は、
決定された会話フレーズをロボットに発話させるための制御を行うことを特徴とするロボット制御システム。
【請求項１９】
請求項１８において、
前記シナリオデータ記憶部は、
複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶し、
前記提示情報決定部は、
ロボットが発話した会話フレーズに対する前記第１のユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定することを特徴とするロボット制御システム。
【請求項２０】
請求項１８又は１９において、
ロボットが発話した会話フレーズに対する前記第２のユーザの反応に基づき作成されるシナリオデータを取得するシナリオデータ取得部を含み、
前記提示情報決定部は、
前記第２のユーザの反応により取得されたシナリオデータに基づいて、ロボットが前記第１のユーザに対して発話する会話フレーズを決定すること特徴とするロボット制御システム。
【請求項２１】
請求項１８乃至２０のいずれかにおいて、
前記提示情報決定部は、
取得された同じ前記第２のユーザ情報に対して、第１、第２のロボットが異なる会話フレーズを発話するように、前記第１のユーザに対して発話する会話フレーズの決定処理を行い、
ロボットが発話した会話フレーズに対する前記第１のユーザの反応に基づいて、前記第１、第２のロボットのいずれに対して次の会話フレーズの発話権を付与するかを制御する発話権制御部を含むことを特徴とするロボット制御システム。
【請求項２２】
請求項２１において、
前記発話権制御部は、
前記第１、第２のロボットのいずれか一方のロボットが発話した会話フレーズに対して前記第１のユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定することを特徴とするロボット制御システム。
【請求項２３】
請求項１乃至２２のいずれかに記載のロボット制御システムと、
前記ロボット制御システムの制御対象であるロボット動作機構とを含むことを特徴とするロボット。
【請求項２４】
ロボット制御のためのプログラムであって、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、
取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、
前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部として、
コンピュータを機能させ、
前記ユーザ情報取得部は、
第２のユーザの前記ユーザ情報である第２のユーザ情報を取得し、
前記提示情報決定部は、
取得された前記第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理を行い、
前記ロボット制御部は、
前記第２のユーザ情報に基づき決定された提示情報を、前記第１のユーザに提示するためのロボット制御を行うことを特徴とするプログラム。
【請求項２５】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２４に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１】
ロボットを制御するためのロボット制御システムであって、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、
取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、
前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部とを含み、
前記ユーザ情報取得部は、
第２のユーザの前記ユーザ情報である第２のユーザ情報を取得し、
前記提示情報決定部は、
取得された前記第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理を行い、
前記ロボット制御部は、
前記第２のユーザ情報に基づき決定された提示情報を、前記第１のユーザに提示するためのロボット制御を行うことを特徴とするロボット制御システム。
【請求項２】
請求項１において、
前記ユーザ情報取得部は、
前記第１のユーザの前記ユーザ情報である第１のユーザ情報と、前記第２のユーザの前記ユーザ情報である前記第２のユーザ情報を取得し、
前記提示情報決定部は、
取得された前記第１のユーザ情報と前記第２のユーザ情報とに基づいて、前記第１のユーザへの提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項３】
請求項２において、
前記提示情報決定部は、
前記第１のユーザ情報に基づいて提示情報の提示タイミングを決定し、前記第２のユーザ情報に基づいて提示情報の内容を決定し、
前記ロボット制御部は、
決定された前記提示タイミングで、決定された内容の提示情報を、前記第１のユーザに提示するためのロボット制御を行うことを特徴とするロボット制御システム。
【請求項４】
請求項２において、
前記提示情報決定部は、
前記第１のユーザへの提示情報の決定処理における前記第１のユーザ情報の重み付けと前記第２のユーザ情報の重み付けとを、時間経過に伴い変化させることを特徴とするロボット制御システム。
【請求項５】
請求項４において、
前記第１のユーザによるロボットの利用が可能な状態になったことを示す利用可能イベントの発生を判定するイベント判定部を含み、
前記提示情報決定部は、
前記利用可能イベント発生時には、前記決定処理における前記第１のユーザ情報の重み付けを大きくし、前記第２のユーザ情報の重み付けを小さくし、その後、前記第１のユーザ情報の重み付けを小さくし、前記第２のユーザ情報の重み付けを大きくすることを特徴とするロボット制御システム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記提示情報決定部は、
ロボットによる提示情報の提示に対する前記第１のユーザの反応に基づいて、ロボットが前記第１のユーザに対して次に提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項７】
請求項６において、
ロボットのセンシング面における接触状態を判定する接触状態判定部を含み、
前記提示情報決定部は、
ロボットによる提示情報の提示に対する前記第１のユーザの反応として、前記第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを、前記接触状態判定部での判定結果に基づき判断して、前記第１のユーザに対して次に提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項８】
請求項７において、
前記接触状態判定部は、
前記センシング面よりも内側に設けられたマイクからの出力信号に対して演算処理を行うことで得られた出力データに基づいて、前記センシング面における接触状態を判定することを特徴とするロボット制御システム。
【請求項９】
請求項８において、
前記出力データは、信号強度であり、
前記接触状態判定部は、
前記信号強度と、所定のしきい値との比較処理を行うことで、前記第１のユーザがロボットを撫でる動作を行ったか叩く動作を行ったかを判定することを特徴とするロボット制御システム。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記提示情報決定部は、
取得された同じ前記第２のユーザ情報に対して、第１、第２のロボットが異なる提示情報を提示するように、前記第１のユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１１】
請求項１０において、
前記第１のロボットはマスタ側に設定され、前記第２のロボットはスレーブ側に設定され、
マスタ側の前記第１のロボットに設けられた前記提示情報決定部が、スレーブ側の前記第２のロボットに対して、前記第１のユーザへの提示情報の提示を指示することを特徴とするロボット制御システム。
【請求項１２】
請求項１１において、
提示情報の提示を指示する指示情報を、マスタ側の前記第１のロボットからスレーブ側の前記第２のロボットに対して通信する通信部を含むことを特徴とするロボット制御システム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記ユーザ情報取得部は、
前記第２のユーザの前記第２のユーザ情報を、ネットワークを介して取得し、
前記提示情報決定部は、
ネットワークを介して取得された前記第２のユーザ情報に基づいて、前記第１のユーザに提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記ユーザ情報取得部は、
前記第２のユーザ情報として、前記第２のユーザの行動履歴、前記第２のユーザの状態履歴及び前記第２のユーザの環境履歴の少なくとも１つである第２のユーザ履歴情報を取得し、
前記提示情報決定部は、
取得された前記第２のユーザ履歴情報に基づいて、ロボットが前記第１のユーザに対して提示する提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１５】
請求項１４において、
前記第２のユーザ履歴情報は、前記第２のユーザのウェアラブルセンサからのセンサ情報により更新することで得られる情報であることを特徴とするロボット制御システム。
【請求項１６】
請求項１乃至１５のいずれかにおいて、
ロボットに対してユーザが接近した場合に、接近したユーザを識別するユーザ識別部を含み、
前記ロボット制御部は、
前記第１のユーザが接近したと前記ユーザ識別部により識別された場合に、前記第１のユーザに提示情報を提示するためのロボット制御を行うことを特徴とするロボット制御システム。
【請求項１７】
請求項１乃至１６のいずれかにおいて、
ユーザ間での情報提示の許可・不許可を判断するための提示許可判断情報を記憶する提示許可判断情報記憶部を含み、
前記提示情報決定部は、
前記提示許可判断情報に基づいて、前記第１、第２のユーザ間での情報提示が許可されていると判断した場合に、前記第２のユーザ情報に基づく前記第１のユーザへの提示情報の決定処理を行うことを特徴とするロボット制御システム。
【請求項１８】
請求項１乃至１７のいずれかにおいて、
複数の会話フレーズにより構成されるシナリオデータを、前記提示情報として記憶するシナリオデータ記憶部を含み、
前記提示情報決定部は、
前記シナリオデータに基づいて、ロボットが前記第１のユーザに対して発話する会話フレーズを決定し、
前記ロボット制御部は、
決定された会話フレーズをロボットに発話させるための制御を行うことを特徴とするロボット制御システム。
【請求項１９】
請求項１８において、
前記シナリオデータ記憶部は、
複数の会話フレーズが分岐構造でリンクされたシナリオデータを記憶し、
前記提示情報決定部は、
ロボットが発話した会話フレーズに対する前記第１のユーザの反応に基づいて、次にロボットに発話させる会話フレーズを決定することを特徴とするロボット制御システム。
【請求項２０】
請求項１８又は１９において、
ロボットが発話した会話フレーズに対する前記第２のユーザの反応に基づき作成されるシナリオデータを取得するシナリオデータ取得部を含み、
前記提示情報決定部は、
前記第２のユーザの反応により取得されたシナリオデータに基づいて、ロボットが前記第１のユーザに対して発話する会話フレーズを決定すること特徴とするロボット制御システム。
【請求項２１】
請求項１８乃至２０のいずれかにおいて、
前記提示情報決定部は、
取得された同じ前記第２のユーザ情報に対して、第１、第２のロボットが異なる会話フレーズを発話するように、前記第１のユーザに対して発話する会話フレーズの決定処理を行い、
ロボットが発話した会話フレーズに対する前記第１のユーザの反応に基づいて、前記第１、第２のロボットのいずれに対して次の会話フレーズの発話権を付与するかを制御する発話権制御部を含むことを特徴とするロボット制御システム。
【請求項２２】
請求項２１において、
前記発話権制御部は、
前記第１、第２のロボットのいずれか一方のロボットが発話した会話フレーズに対して前記第１のユーザが肯定的な反応をしたか否定的な反応をしたかに応じて、次の会話フレーズの発話権を付与するロボットを決定することを特徴とするロボット制御システム。
【請求項２３】
請求項１乃至２２のいずれかに記載のロボット制御システムと、
前記ロボット制御システムの制御対象であるロボット動作機構とを含むことを特徴とするロボット。
【請求項２４】
ロボット制御のためのプログラムであって、
ユーザの行動を計測する行動センサ、ユーザの状態を計測する状態センサ及びユーザの環境を計測する環境センサの少なくとも１つからのセンサ情報により得られるユーザ情報を取得するユーザ情報取得部と、
取得された前記ユーザ情報に基づいて、ロボットがユーザに対して提示する提示情報の決定処理を行う提示情報決定部と、
前記提示情報をユーザに対してロボットに提示させるための制御を行うロボット制御部として、
コンピュータを機能させ、
前記ユーザ情報取得部は、
第２のユーザの前記ユーザ情報である第２のユーザ情報を取得し、
前記提示情報決定部は、
取得された前記第２のユーザ情報に基づいて、第１のユーザへの提示情報の決定処理を行い、
前記ロボット制御部は、
前記第２のユーザ情報に基づき決定された提示情報を、前記第１のユーザに提示するためのロボット制御を行うことを特徴とするプログラム。
【請求項２５】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２４に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２００９−１３１９２８（Ｐ２００９−１３１９２８Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００７−３０９６２５（Ｐ２００７−３０９６２５）
【出願日】平成１９年１１月３０日（２００７．１１．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（０００００１９６０）シチズンホールディングス株式会社 (1,939)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願日】平成１９年１１月３０日（２００７．１１．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（０００００１９６０）シチズンホールディングス株式会社 (1,939)
【Ｆターム（参考）】
[ Back to top ]