ロボット遠隔操作システム
【構成】ロボット遠隔操作システム１０は、中央制御装置１４を含み、この中央制御装置１４は、ロボット１２からの呼出要求があると、ロボット１２の対話相手から言語および文化を特定するときに、ＩＤＬＥ状態のオペレータを選択する。選択されたオペレータは、操作端末１６によってロボット１２を遠隔操作する制御コマンドを中央制御装置１４に送信する。中央制御装置１４は、制御コマンドを受信すると、制御コマンドに含まれる動作コマンドを対話相手の文化に対応する動作に変換し、発話コマンドを対話相手の使う言語に翻訳して、ロボット１２に送信する。すると、ロボット１２は、対話相手の文化に併せてコミュニケーション行動を行う。
【効果】対話相手の文化に併せてロボット１２がコミュニケーション行動を行うため、対話相手の文化によらず、オペレータが適切に対応することができる。
【効果】対話相手の文化に併せてロボット１２がコミュニケーション行動を行うため、対話相手の文化によらず、オペレータが適切に対応することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ロボット遠隔操作システムに関し、特にたとえば複数の国の人々とのコミュニケーションを行うロボットを遠隔操作するための、ロボット遠隔操作システムに関する。
【背景技術】
【０００２】
この種の従来のロボット遠隔操作システムの一例が、特許文献１に開示されている。この特許文献１のコミュニケーションロボットは、ネットワークを介して接続されたコミュニケーションロボットおよびオペレータ端末を含む。オペレータ端末は、オペレータによって操作される。コミュニケーションロボットは、人間とコミュニケーション可能な自律型ロボットであり、自律制御だけでは対応が困難な状況などになったときに、呼出要求をオペレータ端末に送信する。これに応じて、オペレータは、オペレータ端末を操作して、コミュニケーションロボットに制御コマンドを送信する。そして、オペレータを呼び出したコミュニケーションロボットは、そのオペレータ端末からの制御コマンドに従うコミュニケーション行動を実行する。
【特許文献１】特開２００７−１９０６４１号公報［B25J 13/00, B25J 5/00, A63H 3/33］
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１に示す背景技術では、様々な国から人々が訪れる会場にコミュニケーションロボットが設置される場合には、様々な国の人々に対応するために、オペレータが複数の言語や文化に対応できるような高い能力を有していることが要求される。このような能力をオペレータに要求するのは酷であり、現実的ではないと考えられる。
【０００４】
それゆえに、この発明の主たる目的は、新規な、ロボット遠隔操作システムを提供することである。
【０００５】
この発明の他の目的は、ロボットのコミュニケーションの相手の言語や文化によらず、オペレータが適切に対応することができる、ロボット遠隔操作システムを提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の発明は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介してロボットの遠隔操作を行う複数の操作端末と、ネットワークを介してロボットと複数の操作端末のうち１台との仲介を行う中央制御装置とを備える、ロボット遠隔操作システムである。ロボットは、人間の個人情報を取得する個人情報取得手段、個人情報取得手段によって取得された個人情報を中央制御装置に送信する個人情報送信手段、中央制御装置からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、および第１遠隔操作情報受信手段によって受信した第１遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備える。
【０００８】
操作端末は、ロボットを遠隔操作するための第２遠隔操作情報を中央制御装置に送信する第２遠隔操作送信手段を備える。中央制御装置は、操作端末の操作者のコミュニケーション情報を記憶する記憶媒体、個人情報送信手段によって送信された個人情報を受信する個人情報受信手段、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、第２遠隔操作送信手段によって送信された第２遠隔操作情報を受信する第２遠隔操作情報受信手段、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報受信手段によって受信された第２遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する変換手段、および変換手段によって変換された第１遠隔操作情報をロボットに送信する第１遠隔操作情報送信手段を備える。
【０００９】
第１の発明では、ロボット遠隔操作システム（１０）は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボット（１２）と、ネットワークを介してロボットの遠隔操作を行う複数の操作端末（１６）と、ネットワークを介してロボットと複数の操作端末のうち１台との仲介を行う中央制御装置（１４）とを備える。
【００１０】
ロボットの個人情報取得手段（６６、８０、１１６、Ｓ３０５）は、人間の個人情報を取得する。個人情報送信手段（８０、１１２、１１４、Ｓ３０５）は、個人情報取得手段によって取得された個人情報を中央制御装置に送信する。第１遠隔操作情報受信手段（８０、１１２、１１４、Ｓ３１３）は、中央制御装置からの第１遠隔操作情報を受信する。実行手段（８０、Ｓ３１７）は、第１遠隔操作情報受信手段によって受信した第１遠隔操作情報に基づくコミュニケーション行動を実行する。
【００１１】
操作端末の第２遠隔操作送信手段（１６０、Ｓ４１３）は、ロボットを遠隔操作するための第２遠隔操作情報を中央制御装置に送信する。中央制御装置の記憶媒体（１３８）は、操作端末の操作者のコミュニケーション情報を記憶する。個人情報受信手段（１３０、１４８、１５０、Ｓ５）は、個人情報送信手段によって送信された個人情報を受信する。コミュニケーション情報特定手段（１３０、Ｓ３７、Ｓ５３、Ｓ５５、Ｓ７１、Ｓ７３）は、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定する。第２遠隔操作情報受信手段（１３０、Ｓ１１、Ｓ９１、Ｓ９９）は、第２遠隔操作送信手段によって送信された第２遠隔操作情報を受信する。判断手段（１３０、Ｓ６１−Ｓ６５）は、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する。変換手段（１３０、Ｓ１０３、Ｓ１０５、Ｓ１２９、Ｓ１５９）は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報受信手段によって受信された第２遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する。第１遠隔操作情報送信手段（１３０、Ｓ１０７）は、変換手段によって変換された第１遠隔操作情報をロボットに送信する。
【００１２】
たとえば、人間は、ロボットとコミュニケーションを行う対話相手である。そして、対話相手がアメリカ人であれば、操作端末の操作者（オペレータ）がアメリカ人でなくても、ロボットは、アメリカ人が行う身体動作を交えて、英語で発話する。なお、判断手段によって判断された判断結果が一致するときは、第２遠隔操作情報を第１遠隔操作情報として、ロボットに送信する。
【００１３】
第１の発明によれば、ロボットは、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の言語や文化によらず、オペレータが適切に対応することができる。
【００１４】
第２の発明は、第１の発明に従属し、コミュニケーション情報は、言語情報を含む。コミュニケーション情報特定手段は、個人情報受信手段によって受信された個人情報から言語情報を特定する言語情報特定手段を含む。判断手段は、言語情報特定手段によって特定された言語情報と記憶媒体によって記憶された操作端末の操作者の言語情報とが一致するか否かを判断する。変換手段は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報に含まれる発話の情報を言語特定手段によって特定された言語情報に基づいて翻訳する翻訳手段を含む。
【００１５】
第２の発明では、コミュニケーション情報は、言語情報を含む。言語情報特定手段（１３０、Ｓ３７、Ｓ５３、Ｓ５５）は、個人情報受信手段によって受信された個人情報から言語情報を特定する。また、判断手段は、言語情報特定手段によって特定された言語情報と記憶媒体によって記憶された操作端末の操作者の言語情報とが一致するか否かを判断する。翻訳手段（１３０、Ｓ１０３、Ｓ１２９）は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報に含まれる発話の情報を言語特定手段によって特定された言語情報に基づいて翻訳する。
【００１６】
たとえば、特定される言語情報は日本語や英語である。また、言語情報特定手段は、対話相手の使用言語を特定する。そして、翻訳手段は、比較手段による比較結果が一致しなければ、ロボットが発話する言語を、対話相手の使用言語に翻訳する。つまり、操作端末を操作する操作者が、対話相手の使用言語を理解できなくても、ロボットから発話される言語は、対話相手の使用言語に翻訳される。
【００１７】
第２の発明によれば、ロボットを遠隔操作する操作者が、対話相手の言語を理解できなくても、ロボットに適切なコミュニケーション行動を行わせることができる。
【００１８】
第３の発明は、第１の発明または第２の発明に従属し、コミュニケーション情報は、身体動作の種類の情報を含む。コミュニケーション情報特定手段は、個人情報受信手段によって受信された個人情報から身体動作の種類の情報を特定する身体動作種類情報特定手段を含む。比較手段は、身体動作種類情報特定手段によって特定された身体動作の種類の情報と記憶媒体によって記憶された操作端末の操作者の身体動作の種類の情報とが一致するか否かを判断する。変換手段は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報に含まれる動作の情報を身体動作種類情報特定手段によって特定された身体動作の種類の情報に基づいて変換する動作変換手段を含む。
【００１９】
第３の発明では、コミュニケーション情報は、身体動作の種類の情報を含む。身体動作種類情報特定手段（１３０、Ｓ７１、Ｓ７３）は、個人情報受信手段によって受信された個人情報から身体動作の種類の情報を特定する。また、比較手段は、身体動作種類情報特定手段によって特定された身体動作の種類の情報と記憶媒体によって記憶された操作端末の操作者の身体動作の種類の情報とが一致するか否かを判断する。動作変換手段（１３０、Ｓ１０５、Ｓ１５９）は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報に含まれる動作の情報を身体動作種類情報特定手段によって特定された身体動作の種類の情報に基づいて変換する。
【００２０】
たとえば、身体動作の種類は、アメリカ人が行う動作や日本人が行う動作などである。また、身体動作種類決定手段は、対話相手の使用言語に基づいて、対話相手が行う身体動作の種類を決定する。そして、動作変換手段は、ロボットが行う動作を、対話相手が行う動作の種類に変換する。つまり、操作端末の操作者は、対話相手が行う身体動作の種類を知っていなかったとしても、ロボットに対話相手が行う身体動作と同じ種類の動作を行わせることができる。
【００２１】
第３の発明によれば、ロボットを遠隔操作する操作者が、対話相手が行う身体動作を知っていなかったとしても、ロボットに対話相手と同じ種類の身体動作を行わせることができるため、対話相手との円滑なコミュニケーションを行うことができる。
【００２２】
第４の発明は、第２の発明または第３の発明のいずれかに従属し、個人情報取得手段は、人間の音声を取得する音声取得手段を含む。個人情報送信手段は、さらに音声取得手段によって取得された音声を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された音声を受信する。言語情報特定手段は、個人情報受信手段によって受信された人間の音声から言語情報を特定する音声言語情報特定手段を含む。
【００２３】
第４の発明では、音声取得手段（６６、８０、Ｓ３０５）は、人間の音声を取得する。個人情報送信手段は、さらに音声取得手段によって取得された音声を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された音声を受信する。また、音声言語情報特定手段（１３０、Ｓ５３、Ｓ５５）は、個人情報受信手段によって受信された人間の音声から言語情報を特定する。つまり、対話相手の音声が取得され、対話相手の使用言語が特定される。
【００２４】
第４の発明によれば、対話相手の音声から、対話相手の使用言語を特定することができる。
【００２５】
第５の発明は、第４の発明に従属し、中央制御装置は、音声取得手段によって人間の音声が取得されていないときに、ロボットに発話を指示する要求信号を送信する要求信号送信手段をさらに備える。ロボットは、要求信号送信手段によって送信された要求信号を受信する要求信号受信手段、および要求信号受信手段によって受信された要求信号に応じて音声を出力する音声出力手段をさらに備える。
【００２６】
第５の発明では、要求信号送信手段（１３０、Ｓ４１）は、音声取得手段によって人間の音声が取得されていないときに、ロボットに発話を指示する要求信号を送信する。要求信号受信手段（８０、Ｓ３０７）は、要求信号送信手段によって送信された要求信号を受信する。音声出力手段（８０、Ｓ３０９）は、要求信号受信手段によって受信された要求信号に応じて音声を出力する。たとえば、言語情報特定手段によって言語情報が特定できない場合に、対話相手の発話を要求するコミュニケーション行動を実行する。
【００２７】
第５の発明によれば、人間の発話を要求することで、中央制御装置は、対話相手の使用言語を特定できるようになる。
【００２８】
第６の発明は、第２の発明ないし第５の発明のいずれかに従属し、個人情報取得手段は、人間が携帯する識別情報タグから識別情報を取得する識別情報取得手段を含む。個人情報送信手段は、さらに識別情報取得手段によって取得された識別情報を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された識別情報を受信する。言語情報特定手段は、個人情報受信手段によって受信された識別情報から少なくとも言語情報を特定する識別言語特定手段を含む。
【００２９】
第６の発明では、識別情報取得手段（８０、１１６、Ｓ３０５）は、人間が携帯する識別情報タグ（１８）から識別情報を取得する。また、個人情報送信手段は、さらに識別情報取得手段によって取得された識別情報を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された識別情報を受信する。そして、識別言語情報特定手段（１３０、Ｓ３７）は、個人情報受信手段によって受信された識別情報から少なくとも言語情報を特定する。たとえば、識別情報とは、対話相手毎に割り当てられたＩＤ番号である。そして、ＩＤ番号に基づいて、対話相手の使用言語が特定される。
【００３０】
第６の発明によれば、対話相手の識別情報から、対話相手の使用言語を特定することができる。
【００３１】
第７の発明は、個人情報取得手段は、人間が携帯する識別情報タグから識別情報を取得する識別情報取得手段を含む。個人情報送信手段は、さらに識別情報取得手段によって取得された識別情報を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された識別情報を受信する。身体動作種類決定手段は、個人情報受信手段によって受信された識別情報からさらに身体動作の種類の情報を決定する識別情報身体動作種類決定手段を含む。
【００３２】
第７の発明では、識別情報取得手段（８０、１１６、Ｓ３０５）は、人間が携帯する識別情報タグ（１８）から識別情報を取得する。また、個人情報送信手段は、さらに識別情報取得手段によって取得された識別情報を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された識別情報を受信する。そして、識別情報身体動作種類決定手段（１３０、Ｓ７１）は、個人情報受信手段によって受信された識別情報からさらに身体動作の種類の情報を決定する。つまり、識別情報身体動作種類決定手段は、対話相手のＩＤ番号から対話相手が行う身体動作の種類を決定する。
【００３３】
第７の発明によれば、対話相手が識別情報タグを携帯していれば、対話相手の識別情報から対話相手が行う身体動作の種類を決定することができる。
【００３４】
第８の発明は、第４の発明ないし第７の発明のいずれかに従属し、中央制御装置は、判断手段によって判断された判断結果が一致しないときに、個人情報受信手段によって受信された音声を記憶媒体によって記憶された操作端末の操作者の言語情報に基づいて翻訳する音声翻訳手段、および音声翻訳手段によって翻訳された翻訳結果を操作端末に送信する翻訳結果送信手段をさらに備える。操作端末は、翻訳音声結果送信手段によって送信された翻訳結果を受信する翻訳結果受信手段、および翻訳結果受信手段によって受信された翻訳結果を出力する出力手段をさらに備える。
【００３５】
第８の発明では、音声翻訳手段（１３０、Ｓ９５）は、判断手段によって判断された判断結果が一致しないときに、個人情報受信手段によって受信された音声を記憶媒体によって記憶された操作端末の操作者の言語情報に基づいて翻訳する。翻訳結果送信手段（１３０、１４８、１５０、Ｓ９７）は、音声翻訳手段によって翻訳された翻訳結果を操作端末に送信する。翻訳結果受信手段（１６０、１７２、１７４、Ｓ４０７）は、翻訳音声結果送信手段によって送信された翻訳結果を受信する。出力手段（１６０、１７６、Ｓ４０９）は、翻訳結果受信手段によって受信された翻訳結果を出力する。
【００３６】
たとえば、ロボットが取得した対話相手の音声は、中央制御装置に送信される。そして、中央制御装置では、受信した対話相手の音声が操作端末の操作者の使用言語に翻訳されて、操作端末に送信される。そして、操作端末では、出力手段によって翻訳された対話相手の音声が出力される。
【００３７】
第８の発明によれば、オペレータは、ロボットのコミュニケーション相手の言語を容易に理解できるようになり、適切に対応することができるようになる。
【００３８】
第９の発明は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介してロボットの遠隔操作を行う複数の操作端末と、ネットワークを介してロボットと複数の操作端末のうち１台のとの仲介を行う中央制御装置とを備える、ロボット遠隔操作システムである。ロボットは、人間の個人情報を取得する個人情報取得手段、個人情報取得手段によって取得された個人情報を操作端末に送信する個人情報送信手段、操作端末からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、および第１遠隔操作情報受信手段によって受信した第１遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備える。
【００３９】
操作端末は、操作端末自身の操作者のコミュニケーション情報を記憶する記憶媒体、個人情報送信手段によって送信された個人情報を受信する個人情報受信手段、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、判断手段によって判断された判断結果が一致しないときに、ロボットを遠隔操作するための第２遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する変換手段、および変換手段によって変換された第１遠隔操作情報をロボットに送信する第１遠隔操作情報送信手段を備える。
【００４０】
第９の発明では、ロボット遠隔操作システム（１０）は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボット（１２）と、ネットワークを介してロボットの遠隔操作を行う複数の操作端末（１６）と、ネットワークを介してロボットと複数の操作端末のうち１台のとの仲介を行う中央制御装置（１４）とを備える。ロボットの個人情報取得手段（６６、８０、１１６、Ｓ３０５）は、人間の個人情報を取得する。個人情報送信手段（８０、１１２、１１４、Ｓ３０５）は、個人情報取得手段によって取得された個人情報を操作端末に送信する。第１遠隔操作情報受信手段（８０、１１２、１１４、Ｓ３１３）は、操作端末からの第１遠隔操作情報を受信する。実行手段（８０、Ｓ３１７）は、第１遠隔操作情報受信手段によって受信した第１遠隔操作情報に基づくコミュニケーション行動を実行する。
【００４１】
操作端末の記憶媒体（１３８）は、操作端末自身の操作者のコミュニケーション情報を記憶する。個人情報受信手段（１６０、１７２、１７４、Ｓ５）は、個人情報送信手段によって送信された個人情報を受信する。コミュニケーション情報特定手段（１６０、Ｓ３７、Ｓ５３、Ｓ５５、Ｓ７１、Ｓ７３）は、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定する。判断手段（１６０、Ｓ６１−Ｓ６５）は、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する。変換手段（１６０、Ｓ１０３、Ｓ１０５、Ｓ１２９、Ｓ１５９）は、判断手段によって判断された判断結果が一致しないときに、ロボットを遠隔操作するための第２遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する。第１遠隔操作情報送信手段（１６０、Ｓ１０７）は、変換手段によって変換された第１遠隔操作情報をロボットに送信する。
【００４２】
第９の発明によれば、第１の発明と同様に、ロボットは、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の文化によらず、オペレータが適切に対応することができる。
【００４３】
第１０の発明は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介してロボットの遠隔操作を行う複数の操作端末と、ネットワークを介してロボットと複数の操作端末のうち１台との仲介を行う中央制御装置とを備える、ロボット遠隔操作システムである。操作端末は、ロボットを遠隔操作するための第１遠隔操作情報をロボットに送信する第１遠隔操作送信手段を備える。ロボットは、操作端末の操作者のコミュニケーション情報を記憶する記憶媒体、人間の個人情報を取得する個人情報取得手段、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、操作端末からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、判断手段によって判断された判断結果が一致しないときに、第１遠隔操作情報受信手段によって受信された第１遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第２遠隔操作情報に変換する変換手段、および変換によって変換された第２遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備える。
【００４４】
第１０の発明では、ロボット遠隔操作システム（１０）は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボット（１２）と、ネットワークを介してロボットの遠隔操作を行う複数の操作端末（１６）と、ネットワークを介してロボットと複数の操作端末のうち１台との仲介を行う中央制御装置（１４）とを備える。操作端末の第１遠隔操作送信手段（１６０、Ｓ４１３）は、ロボットを遠隔操作するための第１遠隔操作情報をロボットに送信する。ロボットの記憶媒体（１３８）は、操作端末の操作者のコミュニケーション情報を記憶する。個人情報取得手段（６６、８０，１１６、Ｓ３０５）は、人間の個人情報を取得する。コミュニケーション情報特定手段（８０、Ｓ３７、Ｓ５３、Ｓ５５、Ｓ７１、Ｓ７３）は、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定する。第１遠隔操作情報受信手段（８０、１１２、１１４、Ｓ３１３）は、操作端末からの第１遠隔操作情報を受信する。判断手段（８０、Ｓ６１−Ｓ６５）は、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する。変換手段（８０、Ｓ１０３、Ｓ１０５、Ｓ１２９、Ｓ１５９）は、判断手段によって判断された判断結果が一致しないときに、第１遠隔操作情報受信手段によって受信された第１遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第２遠隔操作情報に変換する。実行手段（８０、Ｓ３１７）は、変換手段によって変換された第２遠隔操作情報に基づくコミュニケーション行動を実行する。
【００４５】
第１０の発明は、第１の発明と同様に、ロボットは、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の文化によらず、オペレータが適切に対応することができる。
【発明の効果】
【００４６】
この発明によれば、ロボットは、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の文化によらず、オペレータが適切に対応することができる。
【００４７】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００４８】
図１を参照して、この実施例のロボット遠隔操作システム１０は、ロボット１２ａおよび１２ｂを含む。このロボット１２ａおよび１２ｂは、ネットワーク１００を介して、中央制御装置１４、操作端末１６ａ、１６ｂおよび１６ｃに接続される。以下、ロボット１２ａ，１２ｂを区別する必要がない場合には、ロボット１２と呼ぶことにする。同様に、操作端末１６ａ−１６ｃのそれぞれを区別する必要がない場合には、操作端末１６と呼ぶことにする。
【００４９】
なお、図１には、簡単のため、２台のロボット１２ａ，１２ｂおよびロボット１２を遠隔操作する３台の操作端末１６ａ−１６ｃを示してあるが、これによって限定される必要はない。ロボット１２は１台でもよく、３台以上であっても構わない。また、操作端末１６は、２台以上であれば何台でも構わない。
【００５０】
ロボット１２は、相互作用指向のロボット（コミュニケーションロボット）であり、主として人間Ａのようなコミュニケーションの対象（コミュニケーション対象）との間で、身振り手振りのような身体動作および音声の少なくとも一方を含むコミュニケーション行動を実行する機能を備えている。ロボット１２は、一例として、受付ロボットや接客ロボットなどであり、たとえば会社の受付や或るイベント会場などの様々な場所および状況に配置され、通常は自律制御によって、道案内などの役割を果たす。
【００５１】
図２を参照して、ロボット１２のハードウェアの構成について説明する。また、図２はこの実施例のロボット１２の外観を示す正面図である。ロボット１２は台車３０を含み、台車３０の下面にはロボット１２を自律移動させる２つの車輪３２および１つの従輪３４が設けられる。２つの車輪３２は車輪モータ３６（図３参照）によってそれぞれ独立に駆動され、台車３０すなわちロボット１２を前後左右の任意方向に動かすことができる。また、従輪３４は車輪３２を補助する補助輪である。したがって、ロボット１２は、配置された空間内を自律制御によって移動可能である。ただし、ロボット１２は、或る場所に固定的に配置されても構わない。
【００５２】
台車３０の上には、円柱形のセンサ取り付けパネル３８が設けられ、このセンサ取り付けパネル３８には、多数の赤外線距離センサ４０が取り付けられる。これらの赤外線距離センサ４０は、センサ取り付けパネル３８すなわちロボット１２の周囲の物体（人間や障害物など）との距離を測定するものである。
【００５３】
なお、この実施例では、距離センサとして、赤外線距離センサを用いるようにしてあるが、赤外線距離センサに代えて、超音波距離センサやミリ波レーダなどを用いることもできる。
【００５４】
センサ取り付けパネル３８の上には、胴体４２が直立するように設けられる。また、胴体４２の前方中央上部（人の胸に相当する位置）には、上述した赤外線距離センサ４０がさらに設けられ、ロボット１２の前方の主として人間との距離を計測する。また、胴体４２には、その側面側上端部のほぼ中央から伸びる支柱４４が設けられ、支柱４４の上には、全方位カメラ４６が設けられる。全方位カメラ４６は、ロボット１２の周囲を撮影するものであり、後述する眼カメラ７０とは区別される。この全方位カメラ４６としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ４０および全方位カメラ４６の設置位置は、当該部位に限定されず適宜変更され得る。
【００５５】
胴体４２の両側面上端部（人の肩に相当する位置）には、それぞれ、肩関節４８Ｒおよび肩関節４８Ｌによって、上腕５０Ｒおよび上腕５０Ｌが設けられる。図示は省略するが、肩関節４８Ｒおよび肩関節４８Ｌは、それぞれ、直交する３軸の自由度を有する。すなわち、肩関節４８Ｒは、直交する３軸のそれぞれの軸廻りにおいて上腕５０Ｒの角度を制御できる。肩関節４８Ｒの或る軸（ヨー軸）は、上腕５０Ｒの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節４８Ｌは、直交する３軸のそれぞれの軸廻りにおいて上腕５０Ｌの角度を制御できる。肩関節４８Ｌの或る軸（ヨー軸）は、上腕５０Ｌの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。
【００５６】
また、上腕５０Ｒおよび上腕５０Ｌのそれぞれの先端には、肘関節５２Ｒおよび肘関節５２Ｌが設けられる。図示は省略するが、肘関節５２Ｒおよび肘関節５２Ｌは、それぞれ１軸の自由度を有し、この軸（ピッチ軸）の軸回りにおいて前腕５４Ｒおよび前腕５４Ｌの角度を制御できる。
【００５７】
前腕５４Ｒおよび前腕５４Ｌのそれぞれの先端には、人の手に相当する球体５６Ｒおよび球体５６Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人間の手の形をした「手」を用いることも可能である。また、図示は省略するが、台車３０の前面、肩関節４８Ｒと肩関節４８Ｌとを含む肩に相当する部位、上腕５０Ｒ、上腕５０Ｌ、前腕５４Ｒ、前腕５４Ｌ、球体５６Ｒおよび球体５６Ｌには、それぞれ、接触センサ５８（図３で包括的に示す）が設けられる。台車３０の前面の接触センサ５８は、台車３０への人間や他の障害物の接触を検知する。したがって、ロボット１２は、その自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪３２の駆動を停止してロボット１２の移動を急停止させることができる。また、その他の接触センサ５８は、当該各部位に触れたかどうかを検知する。なお、接触センサ５８の設置位置は、当該部位に限定されず、適宜な位置（人の胸、腹、脇、背中および腰に相当する位置）に設けられてもよい。
【００５８】
胴体４２の中央上部（人の首に相当する位置）には首関節６０が設けられ、さらにその上には頭部６２が設けられる。図示は省略するが、首関節６０は、３軸の自由度を有し、３軸の各軸廻りに角度制御可能である。或る軸（ヨー軸）はロボット１２の真上（鉛直上向き）に向かう軸であり、他の２軸（ピッチ軸、ロール軸）は、それぞれ、それと異なる方向で直交する軸である。
【００５９】
頭部６２には、人の口に相当する位置に、スピーカ６４が設けられる。スピーカ６４は、ロボット１２が、それの周辺の人間に対して音声ないし音によってコミュニケーションを取るために用いられる。また、人の耳に相当する位置には、マイク６６Ｒおよびマイク６６Ｌが設けられる。以下、右のマイク６６Ｒと左のマイク６６Ｌとをまとめてマイク６６ということがある。マイク６６は、周囲の音、とりわけコミュニケーションを実行する対象である人間の音声を取り込む。さらに、人の目に相当する位置には、眼球部６８Ｒおよび眼球部６８Ｌが設けられる。眼球部６８Ｒおよび眼球部６８Ｌは、それぞれ眼カメラ７０Ｒおよび眼カメラ７０Ｌを含む。以下、右の眼球部６８Ｒと左の眼球部６８Ｌとをまとめて眼球部６８ということがある。また、右の眼カメラ７０Ｒと左の眼カメラ７０Ｌとをまとめて眼カメラ７０ということがある。
【００６０】
眼カメラ７０は、ロボット１２に接近した人間の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。また、眼カメラ７０は、上述した全方位カメラ４６と同様のカメラを用いることができる。たとえば、眼カメラ７０は、眼球部６８内に固定され、眼球部６８は、眼球支持部（図示せず）を介して頭部６２内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、２軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この２軸の一方は、頭部６２の上に向かう方向の軸（ヨー軸）であり、他方は、一方の軸に直交しかつ頭部６２の正面側（顔）が向く方向に直行する方向の軸（ピッチ軸）である。眼球支持部がこの２軸の各軸廻りに回転されることによって、眼球部６８ないし眼カメラ７０の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ６４、マイク６６および眼カメラ７０の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。
【００６１】
このように、この実施例のロボット１２は、車輪３２の独立２軸駆動、肩関節４８の３自由度（左右で６自由度）、肘関節５２の１自由度（左右で２自由度）、首関節６０の３自由度および眼球支持部の２自由度（左右で４自由度）の合計１７自由度を有する。
【００６２】
図３はロボット１２の電気的な構成を示すブロック図である。この図３を参照して、ロボット１２は、ＣＰＵ８０を含む。ＣＰＵ８０は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス８２を介して、メモリ８４、モータ制御ボード８６、センサ入力／出力ボード８８および音声入力／出力ボード９０に接続される。
【００６３】
メモリ８４は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、ロボット１２の動作を制御するための制御プログラムが予め記憶される。たとえば、各センサの出力（センサ情報）を検知するための検知プログラムや、外部コンピュータ（中央制御装置１４および操作端末１６など）との間で必要なデータやコマンドを送受信するための通信プログラムなどが記録される。また、ＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００６４】
モータ制御ボード８６は、たとえばＤＳＰで構成され、各腕や首関節および眼球部などの各軸モータの駆動を制御する。すなわち、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、右眼球部６８Ｒの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ９２」と示す）の回転角度を制御する。同様にして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、左眼球部６８Ｌの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ９４」と示す）の回転角度を制御する。
【００６５】
また、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、肩関節４８Ｒの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節５２Ｒの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ９６」と示す）の回転角度を制御する。同様にして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、肩関節４８Ｌの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節５２Ｌの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ９８」と示す）の回転角度を制御する。
【００６６】
さらに、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、首関節６０の直交する３軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ１１０」と示す）の回転角度を制御する。そして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、車輪３２を駆動する２つのモータ（図３では、まとめて「車輪モータ３６」と示す）の回転角度を制御する。なお、この実施例では、車輪モータ３６を除くモータは、制御を簡素化するためにステッピングモータ（すなわち、パルスモータ）を用いる。ただし、車輪モータ３６と同様に直流モータを用いるようにしてもよい。また、ロボット１２の身体部位を駆動するアクチュエータは、電流を動力源とするモータに限らず適宜変更されてもよい。たとえば、他の実施例では、エアアクチュエータなどが適用されてもよい。
【００６７】
センサ入力／出力ボード８８は、モータ制御ボード８６と同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ８０に与える。すなわち、赤外線距離センサ４０のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード８８を通じてＣＰＵ８０に入力される。また、全方位カメラ４６からの映像信号が、必要に応じてセンサ入力／出力ボード８８で所定の処理を施してからＣＰＵ８０に入力される。眼カメラ７０からの映像信号も、同様にして、ＣＰＵ８０に入力される。また、上述した複数の接触センサ５８（図３では、まとめて「接触センサ５８」と示す）からの信号がセンサ入力／出力ボード８８を介してＣＰＵ８０に与えられる。音声入力／出力ボード９０もまた、同様に、ＤＳＰで構成され、ＣＰＵ８０から与えられる音声合成データに従った音声または声がスピーカ６４から出力される。また、マイク６６からの音声入力が、音声入力／出力ボード９０を介してＣＰＵ８０に与えられる。
【００６８】
また、ＣＰＵ８０は、バス８２を介して通信ＬＡＮボード１１２に接続される。通信ＬＡＮボード１１２は、たとえばＤＳＰで構成され、ＣＰＵ８０から与えられた送信データを無線通信装置１１４に与え、無線通信装置１１４は送信データを、ネットワーク１００を介して外部コンピュータ（中央制御装置１４および操作端末１６）に送信する。また、通信ＬＡＮボード１１２は、無線通信装置１０４を介してデータを受信し、受信したデータをＣＰＵ８０に与える。たとえば、送信データとしては、ロボット１２から中央制御装置１４へのオペレータ呼出要求の信号（コマンド）であったりする。
【００６９】
さらに、ＣＰＵ８０は、バス８２を介して無線タグ読取装置１１６が接続される。無線タグ読取装置１１６は、アンテナ（図示せず）を介して、無線タグ１８（ＲＦＩＤタグ）から送信される識別情報の重畳された電波を受信する。そして、無線タグ読取装置１１６は、受信した電波信号を増幅し、当該電波信号から識別信号を分離し、当該識別情報を復調（デコード）してＣＰＵ８０に与える。図１によれば無線タグ１８は、ロボット１２が配置された或る会社の受付などに居る人間（人間Ａ）に装着され、無線タグ読取装置１１６は、通信可能範囲内の無線タグ１８を検出する。なお、無線タグ１８は、アクティブ型であってもよいし、無線タグ読取装置１１６から送信される電波に応じて駆動されるパッシブ型であってもよい。
【００７０】
なお、無線タグ１８から取得した識別情報および人間（対話相手）の音声は、対話相手の個人情報として中央制御装置１４に送信される。
【００７１】
図１に戻って、中央制御装置１４は、当該ロボット遠隔操作システム１０におけるオペレータの呼び出しを制御するコンピュータであり、ロボット１２および操作端末１６の状態を示す情報を管理する。そして、操作端末１６とロボット１２とが通信を行う場合には、データ通信の内容を制御する。図４を参照して、中央制御装置１４は、ＣＰＵ１３０を含む。ＣＰＵ１３０は、ＣＰＵ８０と同様にマイクロコンピュータ或いはプロセッサとも呼ばれ、バス１３２を介して、メモリ１３４、ロボット情報データベース（ＤＢ）１３６、オペレータ端末情報ＤＢ１３８、対話相手情報ＤＢ１４０、言語・文化ＤＢ１４２、動作決定ＤＢ１４４および翻訳辞書ＤＢ１４６に接続される。
【００７２】
メモリ１３４は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、中央制御装置１４の動作を制御するための制御プログラムが予め記憶される。制御プログラムは、たとえば、ロボット１２および操作端末１６のそれぞれとの間で必要なデータやコマンドを送受信するための通信プログラムおよびロボット１２からオペレータの呼び出し要求があったときに適切なオペレータ（操作端末１６）を選択するための選択プログラムなどを含む。また、メモリ１３４のＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００７３】
ロボット情報ＤＢ１３６には、各ロボット１２における現在の状態を示すテーブル（ロボット情報テーブル）が記憶される。図５（Ａ）に示すように、ロボット情報テーブルには、ロボット名に対応して、状態、位置および対話相手などの情報が記憶される。ロボット名の欄には、ロボット１２の名前（たとえば、Ｒ１，Ｒ２，…）が記憶される。状態の欄には、該当するロボット１２の現在の状態が記憶される。具体的には、「ＢＵＳＹ」または「ＩＤＬＥ」の別が記述される。ＢＵＳＹは、或る会社の受付などにおいて人間と対話などのコミュニケーション行動を実行している状態などを意味する。また、ＩＤＬＥは人間と対話などのコミュニケーション行動を実行していない状態、すなわち、空いている状態を意味する。
【００７４】
位置の欄には、ロボット名に対応するロボット１２の現在位置の情報が記憶される。この実施例では、ロボット１２の配置された建物や会場などの場所を示す情報および当該場所においての当該ロボット１２が現在存在している位置の座標（ワールド座標系における位置座標）が登録される。
【００７５】
対話相手の欄には、ロボット名に対応するロボット１２が現在コミュニケーション行動を実行している人間の情報が登録される。具体的には、対話相手の識別情報（対話相手ＩＤ）に対応付けて、名前（たとえば、山田太郎）、使用言語（たとえば、日本語）および現在位置（ワールド座標系における位置座標）が登録される。また、ロボット名に対応するロボット１２が人間と対話していない場合には、コミュニケーション行動を行う対象が存在しないことを表す「ＮＵＬＬ」が登録される。
【００７６】
中央制御装置１４は、ロボット１２または操作端末１６との通信によって、当該ロボット１２または当該操作端末１６の状態を示す情報などを一定時間毎に取得して、ロボット情報テーブルを作成および更新する。
【００７７】
オペレータ端末情報ＤＢ１３８には、各オペレータにおける現在の状態やスキルなどが記憶される。図５（Ｂ）に示すように、オペレータ端末情報テーブルには、オペレータＩＤに対応して、名前、状態、所在地および言語などの情報が記憶される。オペレータＩＤの欄には、操作端末１６またはこの操作端末１６を操作するオペレータを識別するための識別情報が登録される。この実施例では、オペレータＩＤは数値で表される。名前の欄には、オペレータＩＤに対応して操作端末１６を操作するオペレータの名前が登録される。状態の欄には、オペレータＩＤに対応して操作端末１６の現在の状態が登録される。具体的には「ＩＤＬＥ」および「ＢＵＳＹ−Ｒ１」などが記載される。「ＩＤＬＥ」は、現在ロボット１２を遠隔操作せずに、中央制御装置１４からの呼び出し待ちの状態（待機の状態）を意味する。「ＢＵＳＹ」は、ロボット１２を遠隔操作している状態を意味し、たとえば、「ＢＵＳＹ−Ｒ１」と記載されている場合には、ロボット名「Ｒ１」のロボット１２を遠隔操作している状態であることが分かる。所在地の欄には、オペレータＩＤに対応して操作端末１６が設置されている場所（都道府県または地域など）が登録される。言語の欄には、オペレータＩＤに対応する操作端末１６を操作するオペレータが話すことのできる言語（日本語、英語など）が登録される。
【００７８】
中央制御装置１４は、ロボット１２または操作端末１６との通信によって、当該ロボット１２または当該操作端末１６の状態を示す情報などを一定時間毎に取得して、オペレータ端末情報テーブルを作成および更新する。
【００７９】
なお、ロボット情報テーブルには、当該ロボット１２のアドレス（ＩＰアドレス）も登録されてもよい。また、図示は省略するが、操作端末１６をオペレータが操作していない場合（オフラインの場合）は、「ＮＵＬＬ」（すなわち、遠隔操作不能な状態）と登録されてもよい。
【００８０】
対話相手情報ＤＢ１４０には、ロボット１２がコミュニケーション行動を行う対話相手の情報を示すテーブルが記憶される。図６（Ａ）に示すように、対話相手情報テーブルには、対話相手ＩＤに基づいて、名前、言語および文化などの情報が記憶される。対話相手ＩＤの欄には、ロボット１２がコミュニケーション行動を行う対話相手（人間）を識別するための識別情報が記憶される。また、対話相手ＩＤは、オペレータＩＤと同様に、数値で表される。名前の欄には、対話相手ＩＤで識別される人間の名前が登録される。言語の欄には、対話相手ＩＤで識別される人間が話すことができる言語が登録される。文化の欄には、対話相手ＩＤで識別される人間の文化として、当該人間の出身国の国名が記憶される。たとえば、文化の欄には、Ｊａｐａｎ，Ｆｒａｎｃｅ，ＵＳＡおよびＣａｎａｄａなどが記憶される。つまり、Ｊａｐａｎは、当該対話相手が日本の出身であることを示す。Ｆｒａｎｃｅは、当該対話相手がフランスの出身であることを示す。ＵＳＡは、当該対話相手がアメリカ合衆国の出身であることを示す。Ｃａｎａｄａは、当該対話相手がカナダの出身であることを示す。
【００８１】
なお、本実施例では、言語の情報および文化の情報などから構成される情報を「コミュニケーション情報」と呼ぶことにする。
【００８２】
言語・文化ＤＢ１４２には、言語と文化との対応関係を示すテーブルが記憶される。図６（Ｂ）に示すように、言語・文化テーブルには、言語および文化の情報が記憶される。ここで、文化の欄には、言語の欄に記憶される言語に対応する文化が記憶される。たとえば、言語の欄に日本語が記憶されれば、文化の欄には日本の文化を示すＪａｐａｎが記憶される。また、言語の欄に英語が記憶されれば、文化の欄にはアメリカ合衆国を示すＵＳＡが記憶される。さらに、言語の欄に中国語が記憶されれば、文化の欄には中国の文化を示すＣｈｉｎａが記憶される。そして、言語の欄にフランス語が記憶されれば、文化の欄にはフランスの文化を示すＦｒａｎｃｅが記憶される。なお、言語の欄にはロボット１２が発話可能な言語が記憶される。
【００８３】
動作決定ＤＢ１４４には、操作端末１６から動作コマンドが送信されたときに、対話相手の文化に応じて、当該動作コマンドに対応する動作ファイルを決定するためのテーブルが記憶される。本実施例では、図７に示すように、動作ファイル名に対応して、動作および文化が記憶される。動作の欄には、動作ファイル名に対応して、ロボット１２が実行する動作コマンドが記憶される。たとえば、動作の欄には、「手招き」の動作や「お辞儀」の動作コマンドが記憶される。文化の欄には、動作ファイル名に対応して、文化が記憶される。たとえば、文化の欄には、「ＵＳＡ」（アメリカ合衆国内）の文化や「Ｊａｐａｎ」（日本）の文化が記憶される。
【００８４】
動作ファイルの欄には、ロボット１２に送信する動作コマンドの具体的なファイル名が記憶される。たとえば、「ＭＯＶＥ＿ｔｅｍａｎｅｋｉ＿ｊａｐａｎ．ｔｘｔ」は、日本人が行う手招きの動作と同じ動作をロボット１２が実行するファイルである。また、「ＭＯＶＥ＿ｔｅｍａｎｅｋｉ＿ｕｓａ．ｔｘｔ」は、アメリカ人が行う手招きの動作と同じ動作をロボット１２が実行するファイルである。
【００８５】
さらに、「ＭＯＶＥ＿ｏｊｉｇｉ＿ｊａｐａｎ．ｔｘｔ」は、日本人が行うお辞儀の動作と同じ動作をロボット１２が実行するファイルである。また、「ＭＯＶＥ＿ｏｊｉｇｉ＿ｕｓａ．ｔｘｔ」は、アメリカ人が行うお辞儀の動作と同じ動作をロボット１２が実行するファイルである。
【００８６】
このように、中央制御装置１４からロボット１２に送信される動作コマンドが異なるのは、「手招き」の動作であっても、対話相手の文化によって、それぞれ身振り手振りが異なる場合があるからである。たとえば、日本人が手招きをする場合には、掌が下向きで手招きをするが、アメリカ人が手招きをする場合には、掌を上向きで手招きする。また、日本人が挨拶をする場合には、お辞儀をするが、外国においては、抱きついたり、握手したり、キスをしたりする。
【００８７】
また、ロボット１２は、中央制御装置１４から動作コマンドを示す動作ファイルを受信すると、メモリ８４に記憶される、図示しないライブラリィを参照して、動作ファイルと対応する動作を実行する。このライブラリィには、ロボット１２が受信する動作ファイル名に対応して、モータ制御ボード８６を制御するための命令文（機械語など）が記録されている。
【００８８】
たとえば、ロボット１２が動作コマンドとして「ＭＯＶＥ＿ｔｅｍａｎｅｋｉ＿ｕｓａ．ｔｘｔ」の動作ファイルを受信すると、ロボット１２のＣＰＵ８０は、ライブラリィを参照して、「ＭＯＶＥ＿ｔｅｍａｎｅｋｉ＿ｕｓａ．ｔｘｔ」に対応する命令文に従ってモータ制御ボード８６を制御し、ロボット１２の右腕モータ９６を動作させる。
【００８９】
なお、動作ファイル名では、アメリカ合衆国の文化と日本の文化とが識別されるようにしてあるが、ロボット１２は受信した動作ファイル名から文化の違いを識別する必要はない。
【００９０】
ただし、操作端末１６は、動作コマンドだけでなく、動作コマンドと発話コマンドとを含む制御コマンドを中央制御装置１４に送信する。先述したとおり、動作コマンドは、「ＭＯＶＥ＿…」で始まる動作ファイル名である。また、発話コマンドは、「ＳＡＹ＿…」で始まる発話ファイル名である。たとえば、日本語で「こんにちは」とロボット１２に発話させるための発話コマンドの発話ファイル名は、「ＳＡＹ＿ｊｐｎ＿こんにちは．ｔｘｔ」となる。また、「いい天気ですね」とロボット１２に発話させるための発話コマンドの発話ファイル名は、「ＳＡＹ＿ｊｐｎ＿いい天気ですね．ｔｘｔ」となる。さらに、「こっちにおいでよ」とロボット１２に発話させるための発話コマンドの発話ファイル名は、「ＳＡＹ＿ｊｐｎ＿こっちにおいでよ．ｔｘｔ」となる。そして、「一緒に遊ぼうよ」とロボット１２に発話させるための発話コマンドの発話ファイル名は、「ＳＡＹ＿ｊｐｎ＿一緒に遊ぼうよ．ｔｘｔ」となる。
【００９１】
図４に戻って、翻訳辞書ＤＢ１４６は、中央制御装置１４で、音声データや文字列データなどを翻訳するときに、参照されるＤＢである。図示は省略するが、この翻訳辞書ＤＢ１４６は、日本語の翻訳辞書、英語の翻訳辞書、中国語の翻訳辞書およびフランス語の翻訳辞書などから構成される。
【００９２】
中央制御装置１４は、ネットワーク１００に有線または無線で接続されている。つまり、ロボット１２と同様にして、ＣＰＵ１３０は、バス１３２を介して通信ＬＡＮボード１４８に接続される。通信ＬＡＮボード１４８は、たとえばＤＳＰで構成され、ＣＰＵ１３０から与えられた送信データを無線通信装置１５０に与え、無線通信装置１５０は送信データを、ネットワーク１００を介して外部コンピュータ（ロボット１２および操作端末１６）に送信する。
【００９３】
また、通信ＬＡＮボード１４８は、無線通信装置１５０を介してデータを受信し、受信したデータをＣＰＵ１３０に与える。たとえば、送信データとしては、中央制御装置１４から操作端末１６への遠隔操作要求の信号であったり、ロボット１２から送信された音声データなどであったりする。受信データとしては、操作端末１６から送信されたロボット１２への制御コマンドなどであったりする。
【００９４】
なお、中央制御装置１４のメモリ１３４ないし図示しないＤＢには、ロボット１２が配置される場所等の地図（マップ）データが記憶され、マップデータをＸＹ座標で表し、これによって、ロボット１２の位置を座標で表している。ただし、ロボット１２は移動するため、その移動制御量をロボット１２から得たり、別途環境センサ（カメラ、赤外線センサなど）を用いてロボット１２の位置を監視したりするようにしてもよい。
【００９５】
図１に示した操作端末１６は、オペレータによってロボット１２を遠隔操作するためのコンピュータであり、汎用のコンピュータを用いることができる。図８に示すように、操作端末１６は、ＣＰＵ１６０を含む、ＣＰＵ１６０には、ＬＣＤドライバ１６２、メモリ１６４、スピーカ１６６、マイク１６８、入力装置、１７０および通信ＬＡＮボード１７２が接続される。また、ＬＣＤドライバ１６２にはＬＣＤ１７６が接続される。
【００９６】
ＬＣＤドライバ１６２は、ＬＣＤ１７６の駆動装置であり、ＣＰＵ１６０からの指示に従って、ＬＣＤ１７６に画像を表示する。この実施例では、ＬＣＤ１７６は、主として、後述するような遠隔操作画面２１０（図９参照）を表示するために用いられる。メモリ１６４は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、操作端末１６の動作を制御するための制御プログラムが記憶される。制御プログラムは、たとえば、ロボット１２および中央制御装置１４との間で必要なデータやコマンドを送受信するための通信プログラム、入力装置から入力された操作コマンドを検出する検出プログラムおよび表示装置に画像などを表示するための表示プログラムなどを含む。また、メモリ１６４のＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００９７】
スピーカ１６６は、中央制御装置１４から送信された音声データをオペレータに対して出力するために用いられる。マイク１６８は、オペレータの音声を取り込むために用いられる。つまり、スピーカ１６６は、主として遠隔操作するロボット１２のマイク６６を通して検出された人間の音声を出力する。さらに、マイク１６８は、主として、オペレータの音声を検出し、オペレータの音声はロボット１２のスピーカ６４を通じて出力される。
【００９８】
入力装置１７０は、コンピュータマウス、キーボードおよびタッチパネルなどである。たとえば、オペレータは、ＬＣＤ１７６に表示された遠隔操作画面２１０を見て入力装置を操作することによって、ロボット１２を遠隔操作するための遠隔操作コマンドを入力することができる。
【００９９】
通信ＬＡＮボード１７２は、たとえばＤＳＰで構成され、ＣＰＵ１３０から与えられた送信データを無線通信装置１７４に与え、無線通信装置１７４は送信データを、ネットワーク１００を介して外部コンピュータ（ロボット１２および中央制御装置１４）に送信する。
【０１００】
また、通信ＬＡＮボード１７２は、無線通信装置１７４を介してデータを受信し、受信したデータをＣＰＵ１６０に与える。たとえば、送信データとしては、ロボット１２を遠隔操作するための制御コマンドなどであったりする。受信データとしては、中央制御装置１４から送信された遠隔操作要求の信号であったり、音声データなどであったりする。
【０１０１】
図９を参照して、この遠隔操作画面２１０には、たとえば、ロボットカメラ画像２１２、ロボット情報２１４および操作パネル２１６が表示される。ロボットカメラ画像２１２には、ロボット１２から受信した眼カメラ７０の撮影画像が表示される。これによって、オペレータは、ロボット１２の眼カメラ７０が捕らえている画像、たとえば、対話している人間をリアルタイムで見ることができる。
【０１０２】
ロボット情報２１４には、当該ロボット１２の情報、状況および対話相手の情報などが表示される。具体的には、当該ロボット１２の配置された場所（或る会社の受付やイベント会場など）、名前（もしくは識別情報）、配置された場所の地図および対話している人間の情報が表示される。地図には、ロボット１２および対話相手を示すアイコンが各存在位置に対応して表示される。これによって、ロボット１２が配置場所のどこに存在しているのか、対話相手がロボット１２に対してどこに存在しているのかなどを、オペレータは容易に把握することができる。
【０１０３】
なお、操作端末１６は、地図情報を予め記憶しておいてもよいし、中央制御装置１４から当該ロボット１２に関する情報とともに受信するようにしてもよい。また、ロボット１２および対話相手の位置は、たとえばロボット１２から一定時間ごとに操作端末１６に送信される。ロボット１２は、初期の配置位置および向きを記憶しているので、自分の現在の位置および向きを常に把握し、赤外線距離センサ４０の出力情報と自分の位置などから対話相手のおよその位置を推定できる。また、地図には、その場所に存在する対話相手以外の人間を示すアイコンも表示されてよい。この場合には、オペレータはその場所におけるロボット１２の状況をさらに詳細に知ることができる。
【０１０４】
また、ロボット１２の配置場所における人間の位置情報は、周囲に設置された天井カメラまたは無線タグ読取装置１１６などのような環境のセンサを用いて、当該環境のセンサと接続された他のコンピュータで検出してよく、当該他のコンピュータからロボット１２に与え、ロボット１２から操作端末１６に送信されてもよい。または、当該位置情報は上述の他のコンピュータから中央制御装置１４を経由して、操作端末１６に送信されてもよい。また、環境のセンサによってロボット１２の位置なども検出可能であるので、ロボット１２は、自分の位置および向きなどの情報も、人間の位置情報などとともに上述の他のコンピュータから取得してもよい。
【０１０５】
また、対話している人間の情報としては、名前および状態（たとえば、ＶＩＰや来客）などが表示される。これによって、オペレータは、ロボット１２の対話相手の情報を知ることができる。対話相手の情報は、中央制御装置１４から操作端末１６に送信される。なお、これらオペレータに提示される情報は一例であり、ロボット情報２１４には適宜適切な情報が表示される。このようなロボット情報２１４によって、オペレータは、ロボット１２および対話相手の情報ならびに両者の置かれている状況などを容易に把握することができる。
【０１０６】
さらに、ロボット１２と対話相手とがコミュニケーションを行っている場合には、ロボット１２から音声情報が送信されて、操作端末１６のスピーカ１６６から当該音声が出力される。したがって、オペレータは、対話相手の言葉を聞くことによって、現在の状況をより容易に把握することができる。
【０１０７】
そして、対話相手の質問は、ロボット１２のマイク６６によって取得され、ネットワーク１００および中央制御装置１４を介してスピーカ１６６から出力される。オペレータは、対話相手がした質問を聞くと、操作パネル２１６に対応するコミュニケーション行動や、オペレータ自身の音声などで対話相手の質問に答えることで対応する。つまり、オペレータは、遠隔操作画面２１０でロボット１２の状況を確認しながら、対話相手からの質問の内容を容易に判断することができ、質問に対する回答をロボット１２を介して、対話相手に答えることができる。
【０１０８】
操作パネル２１６では、オペレータが入力装置を操作することにより、ロボット１２の動作を制御するコマンドが入力される。たとえば、図９に示すように、操作パネル２１６には、移動を指示するためのボタン、動作を指示するためのボタンおよび遠隔操作の終了を指示するためのボタンなどが設けられる。具体的には、「前進」ボタンは、ロボット１２を前進させるためのボタンである。オペレータが、「前進」ボタンを選択すると、ロボット１２は、たとえば、一定距離だけ前進する。同様に、「後退」ボタンはロボット１２を後退させ、「右」ボタンはロボット１２を右旋回させ、「左」ボタンはロボット１２を左旋回させる。また、「遊ぼう」ボタンは、ロボット１２に「遊ぼう」の制御コマンドを送信し、対話相手を遊びに誘うコミュニケーション行動を実行させるためのボタンである。具体的に、遊びに誘うコミュニケーション行動は、ロボット１２が「こっちにおいでよ」と発話し、手招きの動作を行った後に、「一緒に遊ぼうよ」と発話する。
【０１０９】
「挨拶」のボタンは、ロボットに「挨拶」の制御コマンドを送信し、対話相手に挨拶をするコミュニケーション行動を行わせるためのボタンである。具体的に、挨拶をするコミュニケーション行動は、ロボット１２が「こんにちは」と発話し、お辞儀の動作を行った後に、「いい天気ですね」と発話する。なお、手招きおよびお辞儀の動作は、先述したとおり、対話相手の文化によって実行する動作ファイル異なる。また、「挨拶」のボタンは、ロット１２が「おはよう」と発話する「挨拶（朝）」のボタンと、ロボット１２が「こんばんは」と発話する「挨拶（夕）」のボタンとを備えるようにしてもよい。
【０１１０】
「右指差し」のボタンは、ロボット１２に右指差しという動作を実行させためのボタンである。具体的には、オペレータが「右指差し」のボタンを選択すると、ロボット１２は、右肩関節４８Ｒおよび右肘関節５２Ｒを制御して腕を前方に上げる。同様にして、操作パネル２１６に表示された他のボタンをオペレータが選択することにより、ロボット１２に、うなずき、左指差しなどの動作を実行させることができる。また、「終了」ボタンは、遠隔操作によるコミュニケーション行動を終了させるためのボタンである。オペレータが「終了」ボタンを選択すると、ロボット１２は遠隔操作モードから自律制御モードに移行する。
【０１１１】
ここで、制御コマンドについて説明する。制御コマンドは、動作コマンドおよび発話コマンドの少なくとも一方から構成される。たとえば、「挨拶」の制御コマンドは、発話コマンド「こんにちは」、動作コマンド「お辞儀」および発話コマンド「いい天気ですね」の順番で実行されるように、３つのコマンドから構成される。また、「遊ぼう」の制御コマンドは、発話コマンド「こっちにおいでよ」、動作コマンド「手招き」および発話コマンド「一緒に遊ぼうよ」の順番で実行されるように、３つのコマンドから構成される。さらに、制御コマンドに含まれる発話コマンドは、オペレータが入力した音声と置き換えて、制御コマンドとすることができる。たとえば、「挨拶」の制御コマンドにおいて、オペレータがマイク１６８に「何か御用はありますか」と音声を入力し、発話コマンド「いい天気ですね」と置き換えると、「挨拶」の制御コマンドは、発話コマンド「こんにちは」、動作コマンド「お辞儀」および発話コマンド「何か御用はありますか」の順番で実行されるように、３つのコマンドから構成されるようになる。
【０１１２】
ロボット１２は、自律制御だけでは対応することが難しい事態や人間によってより細やかな対応（コミュニケーション等）が必要な事態になると、オペレータを呼び出す。具体的には、ロボット１２は、オペレータの呼出要求（遠隔操作の依頼）を、ネットワーク１００を介して中央制御装置１４に送信する。中央制御装置１４は、ロボット１２からの呼出要求を受けて、対応（遠隔操作）可能なオペレータが操作する操作端末１６を選択する。そして、中央制御装置１４は、選択された操作端末１６に、ロボット１２の通信情報（ＩＰアドレス）を通知する。すると、操作端末１６のオペレータの操作により、ロボット１２と操作端末１６とがネットワーク１００および中央制御装置１４を介して通信可能に接続される。つまり、中央制御装置１４は、ロボット１２と操作端末１６とを仲介する。その後、オペレータが操作端末１６を用いてロボット１２を遠隔操作する。たとえば、オペレータが操作端末１６を用いて入力および送信した制御コマンドは、中央制御装置１４で中継され、ロボット１２に受信される。そして、ロボット１２は、その受信した制御コマンドに従って動作（コミュニケーション行動）を実行する。
【０１１３】
ここで、ロボット１２には、図示は省略するが、オペレータを呼び出すための条件（オペレータ呼出条件）が予めメモリ８４に記憶されている。ロボット１２は、オペレータ呼出条件を満足すると判定した場合に、オペレータを呼び出す。つまり、ロボット１２は、中央制御装置１４にオペレータの呼出要求を送信する。
【０１１４】
中央制御装置１４は、オペレータの呼出要求を受信すると、対話相手が同定できていれば、対話相手情報テーブルを参照して、対話相手ＩＤに対応して、対話相手のコミュニケーション情報を特定する。一方、対話相手が同定できていなければ、対話相手の音声から対話相手の言語を特定し、言語・文化テーブル（図６（Ｂ）参照）を参照して、特定された対話相手の言語から、言語の欄に対応する文化を特定する。また、中央制御装置１４は、オペレータ端末情報テーブルを参照して、ＩＤＬＥ状態のオペレータを選択し、ＩＤＬＥ状態のオペレータＩＤに対応して、オペレータの言語を特定する。
【０１１５】
そして、対話相手とオペレータとの言語が異なる場合に、ロボット１２から操作端末１６に対して対話相手の音声が送信されると、中央制御装置１４は、翻訳処理を実行することで、対話相手の音声をオペレータの言語に翻訳し、選択されたオペレータが使用する操作端末１６に送信する。また、選択されたオペレータが使用する操作端末１６からロボット１２に対して制御コマンドが送信されると、中央制御装置１４は、発話コマンドを翻訳処理によって対話相手の言語に翻訳し、動作コマンドは対話相手に対応する文化の動作に変換して、ロボット１２に送信する。
【０１１６】
また、対話相手とオペレータとの言語が一致する場合には、ロボット１２から操作端末１６に対して対話相手の音声が送信されると、中央制御装置１４は、翻訳処理を実行せずに、受信した音声をそのまま、選択されたオペレータが使用する操作端末１６に送信する。そして、選択されたオペレータが使用する操作端末１６からロボット１２に対して制御コマンドが送信されると、中央制御装置１４は、受信した制御コマンドをそのままロボット１２に送信する。
【０１１７】
これによって、ロボット１２は、対話相手の言語および文化に併せてコミュニケーション行動を行うことができる。
【０１１８】
図１０は、図４に示した中央制御装置１４のメモリ１３４のメモリマップ３００の一例を示す図解図である。図１０に示すように、メモリ１３４は、プログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、通信プログラム３１０、全体制御プログラム３１２および翻訳処理プログラム３１４などが記憶される。ただし、全体制御プログラム３１２は、オペレータ選択プログラム３１２ａおよび通信内容制御プログラム３１２ｂを含む。
【０１１９】
通信プログラム３１０は、ロボット１２や操作端末１６との通信を行うためのプログラムである。全体制御プログラム３１２は、図５（Ａ），（Ｂ）に示したロボット情報テーブルとオペレータ端末情報テーブルとに記憶される情報を一定時間毎に更新し、ロボット１２からオペレータの呼び出しに応じてオペレータを選択し、当該ロボット１２と選択したオペレータが使用する操作端末１６との通信内容を制御するためのプログラムである。ただし、オペレータ選択プログラム３１２ａは、ロボット１２からのオペレータの呼び出しに応じて、オペレータを呼び出すプログラムである。通信内容制御プログラム３１２ｂは、オペレータを呼び出したロボット１２とオペレータが使用する操作端末１６との通信が行われる場合に、ロボット１２から操作端末１６に対する通信および操作端末１６からロボット１２に対する通信の各々の通信内容を制御するプログラムである。
【０１２０】
翻訳処理プログラム３１４は、対話相手の音声を翻訳するときに実行されるプログラムであり、たとえば、日本語から英語に翻訳する翻訳処理が実行される場合に、中央制御装置１４のＣＰＵ１３０は、翻訳辞書ＤＢ１４６を参照して日本語と英語との言語情報を読み出し、日本語の文字列を英語の文字列に翻訳する。
【０１２１】
また、データ記憶領域３０４には、対話相手言語データ３３０、オペレータ言語データ３３２および文化データ３３４が記憶されるとともに、翻訳フラグ３３６などが設けられる。対話相手言語データ３３０は、対話相手の使用言語を示すデータである。オペレータ言語データ３３２は、オペレータの使用言語を示すデータである。文化データ３３４は、ロボット１２とコミュニケーション行動を行う対話相手の文化を示す情報である。具体的には、対話相手に対応する文化を特定し、その特定された文化の情報が文化データ３３４として、データ記憶領域３０４に記憶される。
【０１２２】
翻訳フラグ３３６は、対話相手の使用言語とオペレータの使用言語とが一致するか否かを判断するためのフラグである。たとえば、翻訳フラグ３３６は、１ビットのレジスタで構成される。翻訳フラグ３３６が成立（オン）されると、レジスタにはデータ値「１」が設定され、翻訳フラグ３３６が不成立（オフ）されると、レジスタにはデータ値「０」が設定される。
【０１２３】
具体的には、中央制御装置１４のＣＰＵ１３０は、図１１−図１６に示す処理を含む、複数の処理を並行的に実行する。また、ロボット１２のＣＰＵ８０は、図１７および図１８に示す処理を含む、複数の処理を並行的に実行する。
【０１２４】
図１１に示すように、中央制御装置１４のＣＰＵ１３０は、全体処理を開始すると、ステップＳ１で、各操作端末１６の状態を取得し、テーブルを更新する。つまり、このステップＳ１では、ネットワーク１００に接続される各操作端末１６から、その位置、オペレータの情報および現在の状況などを含む情報を取得し、図５（Ｂ）に示したオペレータ端末情報テーブルを更新する。次のステップＳ３では、各ロボット１２の状態を取得し、テーブルを更新する。つまり、このステップＳ３では、各ロボット１２の位置、現在の動作状態および対話相手の情報などを含む情報を取得し、図５（Ａ）に示したロボット情報テーブルを更新する。
【０１２５】
続いて、ステップＳ５では、ロボット１２からの呼び出しがあるか否かを判断する。つまり、或るロボット１２からのオペレータの呼び出し要求を受信したか否かを判断する。ステップＳ５で“ＮＯ”であれば、ステップＳ１５に進む。一方、ステップＳ５で“ＹＥＳ”であれば、つまりロボット１２からの呼び出しがあれば、ステップＳ７で、後述するオペレータ選択処理（図１２、図１３参照）を行う。次のステップＳ９では、操作端末１６とロボット１２との通信が行われたか否かを判断する。たとえば、ロボット１２から選択されたオペレータが使用する操作端末１６に対して通信が行われるか、当該操作端末１６からロボット１２に対して通信が行われたか否かを判断する。
【０１２６】
ステップＳ９で“ＹＥＳ”であれば、つまり操作端末１６とロボット１２との通信が行われれば、ステップＳ１１で、後述する通信内容制御処理（図１４参照）を行い、ステップＳ１３に進む。また、ステップＳ９で“ＮＯ”であれば、つまり操作端末１６とロボット１２との通信が行われていなければ、そのままステップＳ１３に進む。
【０１２７】
ステップＳ１３では、遠隔操作の終了要求があるか否かを判断する。ステップＳ１３で“ＮＯ”であれば、つまり遠隔操作の終了要求が無ければ、ステップＳ９に戻る。一方、ステップＳ１３で“ＹＥＳ”であれば、つまり遠隔操作の終了要求があれば、ステップＳ１５に進む。
【０１２８】
ステップＳ１５では、全体処理を終了するか否かを判断する。ここでは、たとえば、ロボット遠隔操作システム１０の使用者ないし中央制御装置１４の管理者から終了指示が与えられたかどうかを判断する。ステップＳ１５で“ＹＥＳ”であれば、つまり終了指示があれば、そのまま全体処理を終了する。一方、ステップＳ１５で“ＮＯ”であれば、つまり終了指示がなければ、ステップＳ１に戻る。このように、中央制御装置１４では、オペレータ操作端末テーブルの更新、ロボット情報テーブルの更新および呼び出し要求の有無の判断が一定時間毎に繰り返し実行される。
【０１２９】
図１２および図１３は、図１１に示したステップＳ７のオペレータ選択処理のフロー図である。図１２に示すように、中央制御装置１４のＣＰＵ１３０は、オペレータ選択処理を開始すると、ステップＳ３１で、変数を初期化する。具体的には、変数ｊｐｎおよび変数ｅｎｇのそれぞれに０が設定される。ここで、変数ｊｐｎはロボット１２が対話している人間の音声から日本語らしさ演算の演算結果を格納し、変数ｅｎｇはロボット１２が対話している人間の音声から英語らしさ演算の演算結果を格納するための変数である。なお、日本語らしさ演算と英語らしさ演算とについては、ステップＳ４３、Ｓ４７で詳しく説明する。
【０１３０】
続いて、ステップＳ３３では、対話相手の同定ができているか否かを判断する。つまり、ロボット１２がコミュニケーションを行う対話相手の名前、年代および性別などの情報が分かるか否かを判断する。上述したように、ロボット１２は、対話相手が所持する無線タグ１８から送信されるタグＩＤを受信し、これを中央制御装置１４に送信する。中央制御装置１４のＣＰＵ１３０は、対話相手情報ＤＢ１４０を参照して、タグＩＤに対応する、対話相手の名前、年代および性別などの情報を取得する。
【０１３１】
ステップＳ３３で“ＹＥＳ”であれば、つまり対話相手の同定ができていれば、ステップＳ３５で、対話相手の使用言語を特定済みか否かを判断する。つまり、対話相手情報ＤＢ１４０を参照して、対話相手情報テーブルに対話相手が話す言語の情報が記憶されているか否かを判断する。ステップＳ３５で“ＮＯ”であれば、つまり対話相手の主な使用言語を特定済みでなければ、ステップＳ３９に進む。一方、ステップＳ３５で“ＹＥＳ”であれば、つまり対話相手の主な使用言語を特定済みであれば、ステップＳ３７で対話相手言語データ３３０を対話相手情報ＤＢ１４０から読み込み、図１３に示すステップＳ５７に進む。つまり、このステップＳ３７では、対話相手の同定された対話相手の名前（対話相手ＩＤ）に対応する言語の種類のデータを対話相手言語データ３３０としてメモリ１３４に記憶する。
【０１３２】
また、ステップＳ３３で“ＮＯ”であれば、つまり対話相手の同定ができていなければ、ステップＳ３９で、ロボット１２に音声入力が有ったか否かを判断する。つまり、中央制御装置１４のＣＰＵ１３０は、対話相手の音声がロボット１２で検出され、検出された音声に対応する音声信号がロボット１２から送信され、その音声信号を受信したか否かを判断する。
【０１３３】
ステップＳ３９で“ＮＯ”であれば、つまりロボット１２に音声入力が無ければ、ステップＳ４１で、ロボット１２に音声の出力を指示して、ステップＳ３９に戻る。ステップＳ４１では、たとえば、「何か御用でしょうか？」などのように、対話相手に発話させるような音声をロボット１２から出力させるためのコマンドがロボット１２に送信される。このようにして、中央制御装置１４のＣＰＵ１３０は、対話相手の質問（要求）を聞き出して、対話相手の言語を特定する。
【０１３４】
一方、ステップＳ３９で“ＹＥＳ”であれば、つまりロボット１２に音声入力が有れば、ステップＳ４３で、日本語らしさ演算を行う。ここで、日本語らしさ演算とは、ロボット１２の対話相手の言語がどれだけ日本語に近いかの割合を求める演算である。具体的には、中央制御装置１４のＣＰＵ１３０は、受信した音声信号を、日本語用辞書を用いてＤＰマッチング法やＨＭＭ（隠れマルコフモデル）法により音声認識し、認識結果とそのスコア（近似度ないし正確さを示す割合）とを得る。次のステップＳ４５では、演算結果を変数ｊｐｎに格納する。ここでは、上述のようにして演算した結果のうち、スコアを日本語らしさとして変数ｊｐｎに格納する。
【０１３５】
続くステップＳ４７では、英語らしさ演算を行う。ここでは、中央制御装置１４のＣＰＵ１３０は、英語用辞書を用いて、ステップＳ４３と同じように音声認識し、認識結果とそのスコアとを得る。そして、ステップＳ４９で、演算結果（スコア）を英語らしさとして変数ｅｎｇに格納する。
【０１３６】
次のステップＳ５１では、変数ｊｐｎが変数ｅｎｇよりも大きいか否かを判断する。つまり、ここでは、中央制御装置１４のＣＰＵ１３０は、ロボット１２の対話相手の言語が日本語または英語のどちらに近いのかを判断する。ステップＳ５１で“ＹＥＳ”であれば、つまり変数ｊｐｎが変数ｅｎｇよりも大きければ、ロボット１２の対話相手の言語が英語よりも日本語に近いと判断し、ステップＳ５３で「日本語」を対話相手言語データ３３０として記憶し、ステップＳ５７に進む。つまり、対話相手の使用言語が日本語であると特定する。一方、ステップＳ５１で“ＮＯ”であれば、つまり変数ｊｐｎが変数ｅｎｇ以下であれば、ロボット１２の対話相手の言語が日本語よりも英語に近いと判断し、ステップＳ５５で「英語」を言語データ３３０として記憶して、ステップＳ５７に進む。
【０１３７】
図１３に示すステップＳ５７では、ＩＤＬＥ状態のオペレータを選択する。つまり、オペレータ端末情報テーブル（図５（Ｂ）参照）の状態の欄において、ＩＤＬＥが記憶されているオペレータを選択する。なお、ＩＤＬＥが記憶されるオペレータが複数人居る場合は、オペレータＩＤが最も小さいオペレータが選択されてもよいし、オペレータＩＤが最も大きいオペレータが選択されてもよいし、任意に選択されてもよい。
【０１３８】
次のステップＳ５９では、オペレータ言語データ３３２をオペレータが使う言語の情報に基づいて記憶する。このステップＳ５９では、オペレータ端末情報ＤＢ１３８のオペレータ端末情報テーブルを参照して、選択されたオペレータに対応する言語の欄に記憶される言語の種類のデータをオペレータ言語データ３３２としてメモリ１３４に記憶する。
【０１３９】
なお、オペレータが複数の言語に対応できる場合、つまりオペレータ端末テーブルの言語の欄において、２つ以上の言語が記憶されている場合には、それら全ての言語の種類についてのデータがオペレータ言語データ３３２としてメモリ１３４に記憶される。
【０１４０】
続いて、ステップＳ６１では、対話相手言語データ３３０とオペレータ言語データ３３２とが一致するか否かを判断する。つまり、対話相手の使用言語とオペレータの使用言語とが一致するか否かを判断する。ただし、オペレータが複数の言語を使用する場合には、その複数の言語に対話相手の言語が含まれているか否かを判断する。
【０１４１】
ステップＳ６１で“ＹＥＳ”であれば、つまり言語データ３３０とオペレータ言語データ３３２とが一致すれば、ステップＳ６３で、翻訳フラグ３３６をオフに設定する。一方、ステップＳ６１で“ＮＯ”であれば、つまり言語データ３３０とオペレータ言語データ３３２とが一致しなければ、ステップＳ６５で、翻訳フラグ３３６をオンに設定し、ステップＳ６７で、対話相手の同定ができているか否かを判断する。
【０１４２】
ステップＳ６７で“ＹＥＳ”であれば、つまり対話相手の同定ができていれば、ステップＳ６９で、対話相手の文化を特定済みか否かを判断する。つまり、ステップＳ６９では、対話相手情報ＤＢ１４０の対話相手情報テーブルを参照して、対話相手に対応して文化の情報が記憶されているか否かを判断する。ステップＳ６９で“ＮＯ”であれば、つまり対話相手の文化を特定済みでなければ、ステップＳ７３に進む。一方、ステップＳ６９で“ＹＥＳ”であれば、つまり対話相手の文化を特定済みであれば、ステップＳ７１で、対話相手情報ＤＢ１４０に基づいて文化データ３３４を記憶する。つまり、このステップＳ７１では、対話相手の同定された対話相手の名前（対話相手ＩＤ）に対応する文化の情報（識別するデータ）を文化データ３３４としてメモリ１３４に記憶する。
【０１４３】
ここで、ステップＳ６７で“ＮＯ”であれば、つまり対話相手の同定が出来ていなければ、ステップＳ７３で、対話相手言語データ３３０と言語・文化ＤＢ１４２とに基づいて文化データ３３４を記憶する。たとえば、このステップＳ７３では、対話相手言語データ３３０が英語を示していれば、言語・文化テーブルでは、文化はＵＳＡ、つまりアメリカ合衆国の文化であることを示しているため、
つまり、このステップＳ７１では、ＵＳＡを文化データ３３４としてメモリ１３４に記憶する。
【０１４４】
そして、ステップＳ７５では、選択したオペレータが使用する操作端末１６をロボット１２に紹介し、図１１に示した全体処理にリターンする。たとえば、中央制御装置１４のＣＰＵ１３０は、ロボット１２に対して、選択されたオペレータが使用する操作端末１６の接続情報（ＩＰアドレス）を送信する。併せて、選択されたオペレータが使用する操作端末１６に、ロボット１２の遠隔操作依頼と、呼び出し要求を送信したロボット１２の接続情報（ＩＰアドレス）を送信する。
【０１４５】
なお、図示は省略するが、ステップＳ７５では、オペレータ端末情報テーブルにおいて、選択されたオペレータが使用する操作端末１６の状態が「ＩＤＬＥ」から「ＢＵＳＹ−Ｒｍ」に更新される。ただし、ｍは自然数（０，１，２，…ｍ）であり、「Ｒｍ」は、ロボット名ないしロボット１２の識別情報である。これによって、オペレータがロボットＲｍを遠隔操作していることが分かる
図１４は、図１１に示したステップＳ１１の通信内容制御処理を示すフロー図である。図１４に示すように、中央制御装置１４のＣＰＵ１３０は、通信内容制御処理を開始すると、ステップＳ９１で、ロボット１２から音声データを受信したか否かを判断する。たとえば、ロボット１２は、対話相手から話しかけられると、マイク６６によって対話相手の声を検出し、対応する音声データを取得して、その取得した音声データを中央制御装置１４に送信する。したがって、ステップＳ９１の処理では、ロボット１２の対話相手の音声に対応する音声データを受信したか否かを判断するのである。ステップＳ９１で“ＮＯ”であれば、つまりロボット１２から音声データを受信していなければ、そのままステップＳ９９に進む。一方、ステップＳ９１で“ＹＥＳ”であれば、つまりロボット１２から音声データを受信すれば、翻訳フラグ３３６がオフか否かを判断する。ステップＳ９３で“ＹＥＳ”であれば、つまり対話相手の使用言語と、オペレータの使用言語とが一致すれば、ステップＳ９９に進む。一方、ステップＳ９３で“ＮＯ”であれば、つまり翻訳フラグ３３６がオンであれば、ステップＳ９５で、オペレータ言語データ３３２に基づいて音声データを翻訳する。つまり、対話相手からの質問内容を、選択されたオペレータの使用言語に翻訳する。
【０１４６】
具体的には、翻訳辞書ＤＢ１４６から対話相手言語データ３３０が示す言語の辞書を読み出し、その読み出した辞書を用いてＤＰマッチング法やＨＭＭ（隠れマルコフモデル）法により音声認識する。続いて、音声認識された音声データは、周知の形態素解析の処理を施し、文章を構成する各単語が読み出される。そして、ＣＰＵ１３０は、翻訳処理を実行し、翻訳辞書ＤＢ１４６から対話相手言語データ３３０およびオペレータ言語データ３３２が示すそれぞれの言語の辞書を読み出し、読み出された文章をオペレータ言語データ３３２が示す言語に翻訳する。また、音声認識機能を含む翻訳機能（翻訳システム）としては、日英双方音声翻訳システム「ＡＴＲ−ＭＡＴＲＩＸ」を用いることができる。この「ＡＴＲ−ＭＡＴＲＩＸ」については、「Reaves et al.,"ATR-MATRIX: A Speech Translation System between English and Japanese", 情報処理学会論文集, Vol. 2, pp.87-88, 1999」に詳細に開示されている。
【０１４７】
次のステップＳ９７では、音声データの翻訳結果を文字列データとして操作端末１６に送信して、ステップＳ９９に進む。つまり、このステップＳ９７では、翻訳された音声データの結果を文字列データに置換えて、選択された操作端末１６に送信する。一方、操作端末１６は、文字列データを受信すると文字列データに対応する字文列をＬＣＤ１７６に表示する。
【０１４８】
なお、操作端末１６は、受信した文字列データを、Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ機能（ＴＴＳ機能）によって、スピーカ１６６から出力するようにしてもよい。さらに、翻訳結果は、文字列データでなく合成音声によって音声データとして操作端末１６に送信されてもよい。この場合に、操作端末１６は受信した音声データを対応すると、音声データに対応する音声をスピーカ１６６から出力するようにしてもよい。また、ＴＴＳ機能は、テキストを読み上げる前に、読み上げる言語を事前に特定する必要がある。
【０１４９】
ここで、ＴＴＳ機能としては、テキスト音声合成システム「ＸＩＭＥＲＡ」を用いることができる。この「ＸＩＭＥＲＡ」については、「“大規模コーパスを用いた音声合成システム XIMERA”， 電子情報通信学会 論文誌、vol. J89-D, no. 12, pp. 2688-2698 (2006-12).」に詳細に開示されている。
【０１５０】
ステップＳ９９では、操作端末１６から制御コマンドを受信したか否かを判断する。ステップＳ９９で“ＮＯ”であれば、つまり操作端末１６から制御コマンドを受信していなければ、全体処理にリターンする。一方、ステップＳ９９で“ＹＥＳ”であれば、つまり操作端末１６から制御コマンドを受信すれば、ステップＳ１０１で、翻訳フラグ３３６がオフか否かを判断する。ステップＳ１０１で“ＹＥＳ”であれば、つまり翻訳フラグ３３６がオフであれば、そのままステップＳ１０５に進む。一方、ステップＳ１０１で“ＮＯ”であれば、つまり翻訳フラグ３３６がオンであれば、ステップＳ１０３で、後述する発話コマンド翻訳処理（図１５参照）を実行し、ステップＳ１０５に進む。
【０１５１】
ステップＳ１０５では、後述する動作コマンド変換処理（図１６参照）を実行し、ステップＳ１０７で制御コマンドをロボット１２に送信して、図１１に示した全体処理にリターンする。つまり、翻訳フラグ３３６がオンの状態で、ロボット１２から音声データを受信すれば、その音声データを音声認識することで文章を読み出し、オペレータ言語データ３３２が示す言語に翻訳して、操作端末１６に送信する。さらに、操作端末１６から制御コマンドを受信すれば、制御コマンドに含まれる発話コマンドの発話内容を、対話相手言語データ３３０が示す言語に翻訳して、ロボット１２に送信する。また、動作コマンドは、翻訳フラグ３３６の状態に関わらず、文化データ３３４が示す文化の動作に変換されて、ロボット１２へ送信される。
【０１５２】
なお、動作コマンドの変換は必ずしも行う必要はなく、発話コマンドの翻訳のみが実行されるようにしてもよい。また、発話コマンドの翻訳を行わず、動作コマンドの変換のみを実行するようにしてもよい。
【０１５３】
図１５は、図１４に示したステップＳ１０３の発話コマンド翻訳処理のフロー図である。図１５に示すように、中央制御装置１４のＣＰＵ１３０は、発話コマンド翻訳処理を開始すると、ステップＳ１２１で、制御コマンドｃｏｍ［０，１，…，Ｎ］を配列ｃｏｍＴｍｐ［０，１，…，Ｎ］に格納する。つまり、制御コマンドを構成する発話コマンドおよび動作コマンドのそれぞれを、配列ｃｏｍＴｍｐ［０，１，…，Ｎ］に格納する。また、最大値Ｎは、制御コマンドに含まれる各コマンドの総数を意味する。
【０１５４】
次のステップＳ１２３では、変数ｉを初期化する。つまり、変数ｉに０を格納する。この変数ｉは、ｃｏｍＴｍｐ［０，１，…Ｎ］に含まれるコマンドｃｏｍＴｍｐ［ｉ］を識別するための変数である。次のステップＳ１２５では、変数ｉが最大値Ｎよりも小さいか否かを判断する。ステップＳ１２５で“ＹＥＳ”であれば、つまり変数ｉが最大値Ｎよりも小さければ、ステップＳ１２７で、ｃｏｍＴｍｐ［ｉ］が発話コマンドであるか否かを判断する。つまり、変数ｉで指定されたコマンドが発話コマンドであるか否かを判断する。
【０１５５】
このステップＳ１２７の処理では、各コマンドに含まれる最初のアンダスコア「＿」までの文字列を読み込み、「ＳＡＹ」の文字列であれば、発話コマンドであると判断し、「ＭＯＶＥ」の文字列であれば、動作コマンドであると判断する。
【０１５６】
ステップＳ１２７で“ＮＯ”であれば、つまりｃｏｍＴｍｐ［ｉ］が発話コマンドでなければ、そのままステップＳ１３１に進む。一方、ステップＳ１２７で“ＹＥＳ”であれば、つまりｃｏｍＴｍｐ［ｉ］が発話コマンドであれば、ステップＳ１２９で、ｃｏｍＴｍｐ［ｉ］の発話内容を対話相手言語データ３３０が示す言語に翻訳する。ロボット１２は、ＴＴＳ機能を備える。たとえば、発話ファイル名が「ＳＡＹ＿ｊｐｎ＿こんにちは．ｔｘｔ」であれば、ｃｏｍＴｍｐ［ｉ］には、「ＳＡＹ＿ｊｐｎ＿こんにちは．ｔｘｔ」が記憶される。そして、発話コマンド「こんにちは」が、対話相手言語データ３３０に基づいて日本語から英語に翻訳されると、発話ファイル名が「ＳＡＹ＿ｅｎｇ＿Ｈｅｌｌｏ．ｔｘｔ」の発話コマンドが作成される。
【０１５７】
また、先述したとおり、ＴＴＳ機能は、テキストを読み上げる前に読み上げる言語を事前に特定する必要がある。そのため、ＴＴＳ機能によって発話コマンドを実行する場合に、ＴＴＳ機能では、発話ファイル名に含まれる、「ｊｐｎ」や「ｅｎｇ」によって、発話コマンドの言語の種類を特定する。つまり、「ｊｐｎ」であれば日本語であり、「ｅｎｇ」であれば英語である。たとえば、「ＳＡＹ＿ｊｐｎ＿こんにちは．ｔｘｔ」の発話ファイル名で示される発話コマンドを実行する場合に、ＴＴＳ機能を実行すると、発話ファイル名に含まれる１番目と２番目のアンダスコアの間に含まれる識別子「ｊｐｎ」から、読み上げる言語の種類が「日本語」であると特定する。
【０１５８】
これによって、「挨拶」の制御コマンドにおいて、発話コマンドが日本語から英語に翻訳されると、発話コマンド「こんにちは」が発話コマンド「Ｈｅｌｌｏ」となる。また、発話コマンド「いい天気ですね」は、発話コマンド「Ｎｉｃｅ ｗｅａｔｈｅｒ」となる。
【０１５９】
なお、テキストを翻訳する機能としては、汎用のテキスト翻訳ソフトなどを用いることができる。
【０１６０】
次のステップＳ１３１では、変数ｉをインクリメント（ｉ＝ｉ＋１）し、ステップＳ１２５に戻る。つまり、変数ｉが次のコマンドを指定するように、変数ｉをインクリメントする。
【０１６１】
また、ステップＳ１２５で“ＮＯ”であれば、つまり変数ｉが最大値Ｎ以上であれば、ステップＳ１３３で、配列ｃｏｍＴｍｐ［０，１，…，Ｎ］を制御コマンドｃｏｍ［０，１，…，Ｎ］をに上書きし、図１３に示す通信内容制御処理にリターンする。つまり、このステップＳ１３３では、翻訳される前の発話コマンドを翻訳後の発話コマンドに置き換える。たとえば、発話コマンドが日本語から英語に翻訳される場合に、「挨拶」の制御コマンドの発話コマンド「こんにちは」および発話コマンド「いい天気ですね」のそれぞれは、発話コマンド「Ｈｅｌｌｏ」および発話コマンド「Ｎｉｃｅ ｗｅａｔｈｅｒ」に置き換えられる。
【０１６２】
図１６は、図１４に示したステップＳ１０５の動作コマンド変換処理のフロー図である。図１６に示すように、中央制御装置１４のＣＰＵ１３０は、動作コマンド変換処理を開始すると、ステップＳ１５１で、制御コマンドｃｏｍ［０，１，…，Ｎ］を配列ｃｏｍＴｍｐ［０，１，…，Ｎ］に格納する。
【０１６３】
次のステップＳ１５３では、変数ｊを初期化する。つまり、変数ｊに０を格納する。この、変数ｊは、動作コマンド変換処理におけるｃｏｍＴｍｐ［０，１，…，Ｎ］に含まれるコマンドｃｏｍＴｍｐ［ｊ］を識別するための変数である。次のステップＳ１５５では、変数ｊが最大値Ｎよりも小さいか否かを判断する。ステップＳ１５５で“ＹＥＳ”であれば、つまり変数ｊが最大値Ｎよりも小さければ、ステップＳ１５７で、ｃｏｍＴｍｐ［ｊ］が動作コマンドであるか否かを判断する。つまり、変数ｊで指定されたコマンドが動作コマンドであるか否かを判断する。
【０１６４】
ステップＳ１５７で“ＮＯ”であれば、つまりｃｏｍＴｍｐ［ｊ］が動作コマンドでなければ、そのままステップＳ１６１に進む。一方、ステップＳ１５７で“ＹＥＳ”であれば、つまりｃｏｍＴｍｐ［ｊ］が動作コマンドであれば、ステップＳ１５９で、ｃｏｍＴｍｐ［ｊ］の動作内容を動作決定ＤＢ１４４および文化データ３３４に基づいて変換する。つまり、動作コマンドを対話相手に応じた動作に変換する。たとえば、操作端末１６から送信された動作コマンドが「お辞儀」（ＭＯＶＥ＿ｏｊｉｇｉ．ｔｘｔ）であり、文化データ３３４が示す対話相手の文化が「ＵＳＡ」であれば、動作決定テーブル（図７参照）を参照して、動作の欄に「お辞儀」が記憶され、かつ文化の欄に「ＵＳＡ」が記憶されている動作ファイル名が選択され、動作コマンド「お辞儀」の動作ファイル名は、「ＭＯＶＥ＿ｏｊｉｇｉ＿ｕｓａ．ｔｘｔ」に決定される。よって、ｃｏｍＴｍｐ［ｊ］に格納される「ＭＯＶＥ＿ｏｊｉｇｉ．ｔｘｔ」は、「ＭＯＶＥ＿ｏｊｉｇｉ＿ｕｓａ．ｔｘｔ」に置き換えられる。次のステップＳ１６１では、変数ｊをインクリメント（ｊ＝ｊ＋１）し、ステップＳ１３５に戻る。
【０１６５】
ここで、ステップＳ１５５で“ＮＯ”であれば、つまり最大値Ｎより変数ｊが小さくなければ、ステップＳ１６３で、配列ｃｏｍＴｍｐ［０，１，…，Ｎ］を制御コマンドｃｏｍ［０，１，…，Ｎ］を配列ｃｏｍＴｍｐ［０，１，…，Ｎ］に上書きし、図１４に示す通信内容制御処理にリターンする。つまり、このステップＳ１６３では、変換される前の動作コマンドを変換後の動作コマンドに置き換える。
【０１６６】
たとえば、動作コマンドがアメリカ合衆国の文化に対応する動作に変換される場合に、「挨拶」の制御コマンドにおける動作コマンド「ＭＯＶＥ＿ｏｊｉｇｉ．ｔｘｔ」（お辞儀）は、動作コマンド「ＭＯＶＥ＿ｏｊｉｇｉ＿ｕｓａ．ｔｘｔ」（お辞儀）に置き換えられる。
【０１６７】
図１７は、ロボット１２のＣＰＵ８０の全体処理のフロー図である。図１７に示すように、ロボット１２のＣＰＵ８０は、全体処理を開始すると、ステップＳ３０１で、後述するオペレータ呼出条件判定処理（図１８参照）を実行し、ステップＳ３０３で、オペレータ呼出フラグがオンであるか否かを判断する。図示は省略するが、オペレータの呼出フラグは、１ビットのレジスタで構成され、メモリ８４（ＲＡＭ）に設けられる。この呼出フラグは、オペレータ呼出条件判定処理を実行することにより、オン／オフされる。具体的には、オペレータ呼出条件を満たす場合には、呼出フラグはオンされ、逆に、オペレータ呼出条件を満たさない場合には、呼出フラグはオフされる。呼出フラグがオンされると、レジスタにデータ値「１」が設定され、逆に、呼出フラグがオフされると、レジスタにデータ値「０」が設定される。
【０１６８】
ステップＳ３０３で“ＮＯ”であれば、つまりオペレータ呼出フラグがオフであればステップＳ３１９に進む。一方、ステップＳ３０３で“ＹＥＳ”であれば、つまり呼出フラグがオンであれば、ステップＳ３０５で、呼出要求を送信し、ステップＳ３０７に進む。つまり、このステップＳ３０５では、オペレータの呼出要求を中央制御装置１４に対して送信し、当該要求に対する応答の受信を待つ。また、ロボット１２は、オペレータの呼出要求を送信するとともに、対話相手が発話していれば、その発話による音声を取得し、音声に対応する音声データを中央制御装置１４に送信する。さらに、ロボット１２は、対話相手が装着する無線タグ１８から取得した対話相手ＩＤを中央制御装置１４に送信する。
【０１６９】
続いて、ステップＳ３０７では、音声の出力指示を受信したか否かを判断する。つまり、このステップＳ３０７では、中央制御装置１４から音声の出力指示（ステップＳ４１）を受信したか否かを判断する。ステップＳ３０７で“ＮＯ”であれば、そのままステップＳ３１３に進む。一方、ステップＳ３０７で“ＹＥＳ”であれば、ステップＳ３０９で、音声の出力指示に対応する発話を実行し、ステップＳ３１１に進む。つまり、このステップＳ３０９では、「何か御用でしょうか？」などのように、対話相手に発話させるような音声をスピーカ６４から出力する。次のステップＳ３１１では、対話相手の音声を取得して対応する音声データを送信し、ステップＳ３１３に進む。つまり、マイク６６によって取得した対話相手の音声に対応する音声データを中央制御装置１４に送信する。
【０１７０】
ステップＳ３１３では、操作コマンドを受信したか否かを判断する。ステップＳ３１３で“ＮＯ”であれば、つまり操作コマンドを受信しなかった場合には、ステップＳ３０７に戻る。一方、ステップＳ３１３で“ＹＥＳ”であれば、つまり操作端末１６からの操作コマンドを受信した場合には、ステップＳ３１５で、遠隔操作終了要求があったか否かを判断する。つまり、ステップＳ３１３で受信した操作コマンドが、遠隔操作終了コマンドであったか否かを判断する。
【０１７１】
ステップＳ３１５で“ＹＥＳ”であれば、つまり遠隔操作の終了要求を受信した場合には、ステップＳ３２１に進む。一方、ステップＳ３１５で“ＮＯ”であれば、つまりコミュニケーション行動を指示する操作コマンドを受信した場合には、ステップＳ３１７で、受信した操作コマンドに応じた動作を実行して、ステップＳ３０７に戻る。このステップＳ３１７の処理によって、ロボット１２の動作が遠隔操作に基づいて制御される。たとえば、スピーカ６４およびマイク６６を用いた操作端末１６を使用するオペレータと対話相手との会話、お辞儀や指差しなどの身体動作および前進や旋回などの移動を実行する。
【０１７２】
また、ステップＳ３１９では、自立行動処理を実行し、ステップＳ３２１に進む。なお、自律行動処理では、自立制御によって必要に応じて人間との間でコミュニケーション行動を実行する。たとえば、人間と対面した場合には、当該人間に挨拶をしたり、また、人間に道を尋ねられた場合には、道案内を行ったりする。
【０１７３】
続いて、ステップＳ３２１では、停止命令が有るかどうかを判断する。たとえば、停止命令（停止コマンド）は、オペレータの操作に従って、操作端末１６からネットワーク１００を介してロボット１２に送信される。ただし、ロボット１２やロボット１２が配置される環境に停止ボタンを設けておき、当該停止ボタンを操作することにより、ロボット１２に停止コマンドを入力するようにしてもよい。ステップＳ３２１で“ＹＥＳ”であれば、つまり停止命令が有れば、そのまま全体処理を終了する。一方、ステップＳ３２１で“ＮＯ”であれば、つまり停止命令が無ければ、ステップＳ３０１に戻る。
【０１７４】
図１８は、図１７に示したステップＳ３０１のオペレータ呼出条件判定処理のフロー図である。図１８に示すように、ロボット１２のＣＰＵ８０は、オペレータ呼出条件判定処理を開始すると、ステップＳ３４１で、呼出条件フラグをオフし、ステップＳ３４３で、周囲情報を検出する。つまり、オペレータ呼出条件の判断に必要なセンサ（赤外線距離センサ４０、全方位カメラ４６、マイク６６、眼カメラ７０、接触センサ５８および無線タグ読み取り装置１１６）の出力を検出し、周囲および自身の状況（状態）を認識する。
【０１７５】
続いてステップＳ３４５では、特定の文章や単語を検出したか否かを判断する。ステップＳ３４５で“ＹＥＳ”であれば、つまり、特定の文章や単語を検出すれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９で呼出条件フラグをオンして、図１７に示したロボット１２の全体処理にリターンする。たとえば、特定の文章や単語としては、ロボット１２が相手（対話相手）の意図を理解できないことを意味する文章や単語、たとえば、「違う」、「責任者を呼んで」、「そうじゃないんだけど」および「わからないかなあ」などが考えられる。
【０１７６】
一方、ステップＳ３４５で“ＮＯ”であれば、つまり特定の文章や単語を検出していなければ、ステップＳ３４７で、特定の顔の表情を取得したか否かを判断する。たとえば、特定の表情とは、人の顔表情認識で怒りが検出されたこと、顔特定機能で特定の人を検出したことが考えられる。ステップＳ３４７で“ＹＥＳ”であれば、つまり、特定の顔の表情を取得すれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９に進む。
【０１７７】
また、ステップＳ３４７で“ＮＯ”であれば、つまり、特定の顔の表情を取得していなければ、ステップＳ３４９で特定の人間を検出したか否かを判断する。たとえば、特定の人物を検出する方法としては、特定の対話相手ＩＤの無線タグ１８を検出したこと（たとえば、ＶＩＰとして登録された人が現れたこと）などが考えられる。ステップＳ３４９で“ＹＥＳ”であれば、つまり特定の人間を検出すれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９へ進む。一方、ステップＳ３４９で“ＮＯ”であれば、つまり、特定の人間を検出していなければ、ステップＳ３５１で、人間と長時間会話している状況であるか否かを判断する。たとえば、赤外線距離センサ４０で取得された距離が１ｍ以内である状態が５分以上になれば“ＹＥＳ”と判断されるようにしてもよい。
【０１７８】
ステップＳ３５１で“ＹＥＳ”であれば、つまり、人間と長時間会話している状況であれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９に進む。一方、ステップＳ３５１で“ＮＯ”であれば、つまり人間と長時間会話している状況でなければ、ステップＳ３５３で、行く手を塞がれた状況であるか否かを判断する。ステップＳ３５３で“ＹＥＳ”であれば、つまり行く手を塞がれた状況であれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９に進む。一方、ステップＳ３５３で“ＮＯ”であれば、つまり行く手を塞がれていない状況であれば、ステップＳ３５５で周囲に人が多く存在する状況であるか否かを判断する。ここで、周囲に人が多く存在する状態は、ロボット１２または周囲の環境に設けられた他のセンサの出力に基づいて検出されるようにしてもよい。
【０１７９】
ステップＳ３５５で“ＹＥＳ”であれば、つまり周囲に人が多く存在する状況であれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９に進む。一方、ステップＳ３５５で“ＮＯ”であれば、つまり周囲に人が多く存在していない状況であれば、ステップＳ３５７で、オペレータ呼出ボタンが押されたかどうかを判断する。なお、オペレータ呼び出しボタンはロボット１２または周囲の環境に設けられてもよい。ステップＳ３５７で“ＹＥＳ”であれば、つまりオペレータ呼出条件判定を満たすと判断して、ステップＳ３５９に進む。一方、ステップＳ３３７で“ＮＯ”であれば、つまりオペレータ呼出ボタンが押されていなければ、図１７に示したロボット１２の全体処理にリターンする。
【０１８０】
図１９は、操作端末１６のＣＰＵ１６０の遠隔操作処理のフロー図である。図１９に示すように、操作端末１６のＣＰＵ１６０は、ステップＳ４０１では、中央制御装置１４からの遠隔操作依頼が有るか否かを判断する。具体的には、中央制御装置１４から送信されたロボット１２のＩＰアドレスを含む遠隔操作依頼を受信したか否かが判断される。
【０１８１】
ステップＳ４０１で“ＮＯ”であれば、つまり中央制御装置１４からの遠隔操作依頼が無ければ、そのまま同じステップＳ４０１に戻る。ただし、このステップＳ４０１の処理は一定時間（たとえば、３０秒）毎に実行される。一方、ステップＳ４０１で“ＹＥＳ”であれば、すなわち、中央制御装置１４からの遠隔操作依頼を有れば、ステップＳ４０３で、ＬＣＤ１７６に図９に示したような遠隔操作画面２１０が表示される。
【０１８２】
なお、この遠隔操作画面２１０を表示した当初では、当該操作端末１６を呼び出したロボット１２のカメラ画像および当該ロボット１２に関する情報は取得されていないので、ロボットカメラ画像２１２の内容の表示はない。さらに、ステップＳ４０３の処理が終了すると、続くステップＳ４０５−Ｓ４１５の処理が一定時間ごとに繰り返し実行される。
【０１８３】
続いて、ステップＳ４０５では、ロボット情報とセンサ情報（音声情報、カメラ情報および距離情報など）との受信および更新が行われる。つまり、中央制御装置１４またはロボット１２からロボット情報を受信して、遠隔操作画面２１０のロボット情報２１４の表示を更新する。さらに、ロボット１２から音声データを受信して、操作端末１６のスピーカ１６６から当該音声情報を出力し、ロボット１２からカメラ情報を受信して、遠隔操作画面のロボットカメラ画像２１２の表示を更新し、ロボット１２から距離情報を受信して、障害物（対話相手）までの距離を表示する。
【０１８４】
なお、ロボット情報２１４を最初に表示する際には、当該ロボット１２の位置、名前および対話相手の情報などは中央制御装置１４から取得される。また、地図表示のためのロボット１２および相手の位置情報は当該ロボット１２から取得される。また、ロボット１２と当該操作端末１６との通信速度によっては、ロボット１２から送信されないセンサ情報があるため、かかる場合には、一部または全部のセンサ情報についての表示に制限がかかるようにしてもよい。
【０１８５】
ステップＳ４０７では、文字列データを受信したか否かを判断する。つまり、このステップＳ４０７では、中央制御装置１４から翻訳された文字列（ステップＳ９７）を受信したか否かを判断する。ステップＳ４０７で“ＮＯ”であれば、つまり文字列データを受信していなければ、そのままステップＳ４１１に進む。一方、ステップＳ４０７で“ＹＥＳ”であれば、つまり文字列データを受信していれば、ステップＳ４０９で、文字列データに対応する文字をＬＣＤ１７６に表示し、ステップＳ４１１に進む。つまり、このステップＳ４０９では、中央制御装置１４で翻訳された対話相手が発話した内容の翻訳結果がＬＣＤ１７６に表示される。
【０１８６】
ステップＳ４１１では、操作コマンドの入力がされたか否かを判断する。たとえば、入力装置１７０からの入力データと操作パネル２１６のボタン配置データとに基づいて、オペレータによって操作コマンドボタンが選択されたか否かが判断される。ステップＳ４１１で“ＮＯ”であれば、つまり操作コマンドの入力が無い場合には、そのままステップＳ４０５に戻る。一方、ステップＳ４１１で“ＹＥＳ”であれば、すなわち、操作コマンドの入力があった場合には、ステップＳ４１３で、選択された操作コマンドを特定し、当該操作コマンドをロボット１２に送信する。そして、ステップＳ４１５で、遠隔操作の終了要求があったか否かを判断する。つまり、入力された操作コマンドが遠隔操作の終了を指示するコマンド（終了コマンド）であるか否かを判断する。
【０１８７】
ステップＳ４１５で“ＮＯ”であれば、すなわち終了コマンドが入力されていない場合には、そのままステップＳ４０５に戻る。一方、ステップＳ４１５で“ＹＥＳ”であれば、すなわち、オペレータによって終了コマンドが入力された場合には、遠隔操作処理を終了する。
【０１８８】
この実施例によれば、中制御装置１４は、ロボット１２からの呼出要求があると、対話相手が発話した音声などから対話相手の使用言語を特定し、特定された言語に基づいて対話相手の文化の動作を特定する。さらに、中央制御装置１４は、ＩＤＬＥ状態のオペレータが使用する操作端末１６に、ロボット１２の遠隔操作を依頼の要求を送信するとともに、対話相手の言語とオペレータの使用言語とが一致するか否かを判断する。そして、対話相手の言語とオペレータの使用言語とが一致していない場合に、操作端末１６から中央制御装置１４に制御コマンドが送信されると、中央制御装置１４は、制御コマンドに含まれる発話コマンドを対話相手の言語に翻訳し、動作コマンドを対話相手の文化の動作に変換して、ロボット１２に送信する。
【０１８９】
これによって、ロボット１２は、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の文化によらず、オペレータが適切に対応することができる。
【０１９０】
なお、本実施例では、赤外線距離センサ４０を用いているが、赤外線距離センサ４０に代えて、超音波距離センサやミリ波レーダなどを用いてロボット１２と対話相手との距離を計測してもよい。また、オペレータ選択処理では、２つの言語の「らしさ演算」を行っているが、必要に応じて言語の数を増やしてもよい。
【０１９１】
また、ロボット１２のオペレータの呼出フラグは、体表に設けた接触などを検出するセンサ（たとえば、皮膚センサ）で、そのロボット１２自身が殴られたことを検出し、オンになるようにしてもよい。さらに、中央制御装置１４の機能を端末１６に持たせることによって、中央制御装置１４を介さずに操作端末１６がロボット１２と直接通信するようにしてもよい。
【０１９２】
また、異なる言語間で翻訳するようにしたが、地域で異なる方言を変換するようにしてもよい。たとえば、関西弁から東北弁または東北弁から関西弁に変換できるようにしてもよい。同様にして、文化の違いによらず、地域で異なる身振り手振りについて変換するようにしてもよい。
【０１９３】
さらに、この実施例では、中央制御装置１４で、制御コマンドにおける、発話コマンドの翻訳処理および動作コマンドの変換処理を行うようにしたが、操作端末１６またはロボット１２で行うようにしてもよい。
【０１９４】
たとえば、操作端末１６で制御コマンドにおける、発話コマンドの翻訳処理および動作コマンドの変換処理を行う場合には、操作端末１６のＣＰＵ１６０では、ステップＳ３１−Ｓ５５（図１２参照）と、ステップＳ５９−Ｓ７３（図１３参照）と、ステップＳ１０１−Ｓ１０７（図１４参照）とに示す処理および発話コマンド翻訳処理（図１５参照）と動作コマンド変換処理（図１６参照）とが行われるようにすればよい。なお、ステップＳ４１３では、オペレータに入力されたコマンドは、ロボット１２に送信せずに、発話コマンド翻訳処理と動作コマンド変換処理とを行ってから、ロボット１２に送信するようにする。
【０１９５】
また、ロボット１２で制御コマンドにおける、発話コマンドの翻訳処理および動作コマンドの変換処理を行う場合には、ロボット１２のＣＰＵ８０では、ステップＳ３３−５５と、ステップＳ５９−Ｓ７３と、ステップＳ１０１−Ｓ１０７とに、示す処理および発話コマンド翻訳処理と動作コマンド変換処理とが行われるようにすればよい。なお、ステップＳ４１では、音声の出力指示の要求は送信せずに、ステップＳ３０９の処理が実行される。また、ステップＳ３１７の処理が実行される場合には、受信した制御コマンドは、発話コマンド翻訳処理と動作コマンド変換処理とを行ってから実行する。
【図面の簡単な説明】
【０１９６】
【図１】図１はこの発明の一実施例のロボット遠隔操作システムの概要を示す図解図である。
【図２】図２は図１に示すロボットの外観を正面から見た図解図である。
【図３】図３は図１に示すロボットの電気的な構成を示すブロック図である。
【図４】図４は図１に示す中央制御装置の電気的な構成を示すブロック図である。
【図５】図５は図１に示す中央制御装置のデータベースに記憶されるテーブルの一例を示す図解図である。
【図６】図６は図１に示す中央制御装置のデータベースに記憶される他のテーブルの一例を示す図解図である。
【図７】図７は図１に示す中央制御装置のデータベースに記憶されるその他のテーブルの一例を示す図解図である。
【図８】図８は図１に示す操作端末の電気的な構成を示すブロック図である。
【図９】図９は図１に示す操作端末の表示装置に表示される遠隔操作画面の一例を示す図解図である。
【図１０】図１０は図４に示す中央制御装置のメモリのメモリマップの一例を示す図解図である。
【図１１】図１１は図１に示す中央制御措置のＣＰＵの全体処理を示すフロー図である。
【図１２】図１２は図１に示す中央制御措置のＣＰＵのオペレータ選択処理の一部を示すフロー図である。
【図１３】図１３は図１に示す中央制御措置のＣＰＵのオペレータ選択処理の他の一部であって、図１２に後続するフロー図である。
【図１４】図１４は図１に示す中央制御措置のＣＰＵの通信内容制御処理を示すフロー図である。
【図１５】図１５は図１に示す中央制御措置のＣＰＵの発話コマンド翻訳処理を示すフロー図である。
【図１６】図１６は図１に示す中央制御措置のＣＰＵの動作コマンド変換処理を示すフロー図である。
【図１７】図１７は図１に示すロボットのＣＰＵの全体処理を示すフロー図である。
【図１８】図１８は図１に示すロボットのＣＰＵのオペレータ呼出条件判定処理を示すフロー図である。
【図１９】図１９は図１に示す操作端末のＣＰＵの遠隔操作処理を示すフロー図である。
【符号の説明】
【０１９７】
１０ …ロボット遠隔操作システム
１２ …コミュニケーションロボット
１４ …中央制御装置
１６ …操作端末
１８ …無線タグ
４０ …赤外線距離センサ
４６ …全方位カメラ
５８ …接触センサ
６４ …スピーカ
６６ …マイク
７０ …眼カメラ
８０ …ＣＰＵ
８２ …バス
８４ …メモリ
８６ …モータ制御ボード
８８ …センサ入力／出力ボード
９０ …音声入力／出力ボード
１００ …ネットワーク
１１２ …通信ＬＡＮボード
１１４ …無線通信装置
１１６ …無線タグ読取装置
１３０ …ＣＰＵ
１３２ …バス
１３４ …メモリ
１４８ …通信ＬＡＮボード
１５０ …無線通信装置
１６０ …ＣＰＵ
１６２ …ＬＣＤドライバ
１６４ …メモリ
１６６ …スピーカ
１６８ …マイク
１７０ …入力装置
１７２ …通信ＬＡＮボード
１７４ …無線通信装置
１７６ …ＬＣＤ
【技術分野】
【０００１】
この発明は、ロボット遠隔操作システムに関し、特にたとえば複数の国の人々とのコミュニケーションを行うロボットを遠隔操作するための、ロボット遠隔操作システムに関する。
【背景技術】
【０００２】
この種の従来のロボット遠隔操作システムの一例が、特許文献１に開示されている。この特許文献１のコミュニケーションロボットは、ネットワークを介して接続されたコミュニケーションロボットおよびオペレータ端末を含む。オペレータ端末は、オペレータによって操作される。コミュニケーションロボットは、人間とコミュニケーション可能な自律型ロボットであり、自律制御だけでは対応が困難な状況などになったときに、呼出要求をオペレータ端末に送信する。これに応じて、オペレータは、オペレータ端末を操作して、コミュニケーションロボットに制御コマンドを送信する。そして、オペレータを呼び出したコミュニケーションロボットは、そのオペレータ端末からの制御コマンドに従うコミュニケーション行動を実行する。
【特許文献１】特開２００７−１９０６４１号公報［B25J 13/00, B25J 5/00, A63H 3/33］
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１に示す背景技術では、様々な国から人々が訪れる会場にコミュニケーションロボットが設置される場合には、様々な国の人々に対応するために、オペレータが複数の言語や文化に対応できるような高い能力を有していることが要求される。このような能力をオペレータに要求するのは酷であり、現実的ではないと考えられる。
【０００４】
それゆえに、この発明の主たる目的は、新規な、ロボット遠隔操作システムを提供することである。
【０００５】
この発明の他の目的は、ロボットのコミュニケーションの相手の言語や文化によらず、オペレータが適切に対応することができる、ロボット遠隔操作システムを提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の発明は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介してロボットの遠隔操作を行う複数の操作端末と、ネットワークを介してロボットと複数の操作端末のうち１台との仲介を行う中央制御装置とを備える、ロボット遠隔操作システムである。ロボットは、人間の個人情報を取得する個人情報取得手段、個人情報取得手段によって取得された個人情報を中央制御装置に送信する個人情報送信手段、中央制御装置からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、および第１遠隔操作情報受信手段によって受信した第１遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備える。
【０００８】
操作端末は、ロボットを遠隔操作するための第２遠隔操作情報を中央制御装置に送信する第２遠隔操作送信手段を備える。中央制御装置は、操作端末の操作者のコミュニケーション情報を記憶する記憶媒体、個人情報送信手段によって送信された個人情報を受信する個人情報受信手段、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、第２遠隔操作送信手段によって送信された第２遠隔操作情報を受信する第２遠隔操作情報受信手段、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報受信手段によって受信された第２遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する変換手段、および変換手段によって変換された第１遠隔操作情報をロボットに送信する第１遠隔操作情報送信手段を備える。
【０００９】
第１の発明では、ロボット遠隔操作システム（１０）は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボット（１２）と、ネットワークを介してロボットの遠隔操作を行う複数の操作端末（１６）と、ネットワークを介してロボットと複数の操作端末のうち１台との仲介を行う中央制御装置（１４）とを備える。
【００１０】
ロボットの個人情報取得手段（６６、８０、１１６、Ｓ３０５）は、人間の個人情報を取得する。個人情報送信手段（８０、１１２、１１４、Ｓ３０５）は、個人情報取得手段によって取得された個人情報を中央制御装置に送信する。第１遠隔操作情報受信手段（８０、１１２、１１４、Ｓ３１３）は、中央制御装置からの第１遠隔操作情報を受信する。実行手段（８０、Ｓ３１７）は、第１遠隔操作情報受信手段によって受信した第１遠隔操作情報に基づくコミュニケーション行動を実行する。
【００１１】
操作端末の第２遠隔操作送信手段（１６０、Ｓ４１３）は、ロボットを遠隔操作するための第２遠隔操作情報を中央制御装置に送信する。中央制御装置の記憶媒体（１３８）は、操作端末の操作者のコミュニケーション情報を記憶する。個人情報受信手段（１３０、１４８、１５０、Ｓ５）は、個人情報送信手段によって送信された個人情報を受信する。コミュニケーション情報特定手段（１３０、Ｓ３７、Ｓ５３、Ｓ５５、Ｓ７１、Ｓ７３）は、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定する。第２遠隔操作情報受信手段（１３０、Ｓ１１、Ｓ９１、Ｓ９９）は、第２遠隔操作送信手段によって送信された第２遠隔操作情報を受信する。判断手段（１３０、Ｓ６１−Ｓ６５）は、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する。変換手段（１３０、Ｓ１０３、Ｓ１０５、Ｓ１２９、Ｓ１５９）は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報受信手段によって受信された第２遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する。第１遠隔操作情報送信手段（１３０、Ｓ１０７）は、変換手段によって変換された第１遠隔操作情報をロボットに送信する。
【００１２】
たとえば、人間は、ロボットとコミュニケーションを行う対話相手である。そして、対話相手がアメリカ人であれば、操作端末の操作者（オペレータ）がアメリカ人でなくても、ロボットは、アメリカ人が行う身体動作を交えて、英語で発話する。なお、判断手段によって判断された判断結果が一致するときは、第２遠隔操作情報を第１遠隔操作情報として、ロボットに送信する。
【００１３】
第１の発明によれば、ロボットは、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の言語や文化によらず、オペレータが適切に対応することができる。
【００１４】
第２の発明は、第１の発明に従属し、コミュニケーション情報は、言語情報を含む。コミュニケーション情報特定手段は、個人情報受信手段によって受信された個人情報から言語情報を特定する言語情報特定手段を含む。判断手段は、言語情報特定手段によって特定された言語情報と記憶媒体によって記憶された操作端末の操作者の言語情報とが一致するか否かを判断する。変換手段は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報に含まれる発話の情報を言語特定手段によって特定された言語情報に基づいて翻訳する翻訳手段を含む。
【００１５】
第２の発明では、コミュニケーション情報は、言語情報を含む。言語情報特定手段（１３０、Ｓ３７、Ｓ５３、Ｓ５５）は、個人情報受信手段によって受信された個人情報から言語情報を特定する。また、判断手段は、言語情報特定手段によって特定された言語情報と記憶媒体によって記憶された操作端末の操作者の言語情報とが一致するか否かを判断する。翻訳手段（１３０、Ｓ１０３、Ｓ１２９）は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報に含まれる発話の情報を言語特定手段によって特定された言語情報に基づいて翻訳する。
【００１６】
たとえば、特定される言語情報は日本語や英語である。また、言語情報特定手段は、対話相手の使用言語を特定する。そして、翻訳手段は、比較手段による比較結果が一致しなければ、ロボットが発話する言語を、対話相手の使用言語に翻訳する。つまり、操作端末を操作する操作者が、対話相手の使用言語を理解できなくても、ロボットから発話される言語は、対話相手の使用言語に翻訳される。
【００１７】
第２の発明によれば、ロボットを遠隔操作する操作者が、対話相手の言語を理解できなくても、ロボットに適切なコミュニケーション行動を行わせることができる。
【００１８】
第３の発明は、第１の発明または第２の発明に従属し、コミュニケーション情報は、身体動作の種類の情報を含む。コミュニケーション情報特定手段は、個人情報受信手段によって受信された個人情報から身体動作の種類の情報を特定する身体動作種類情報特定手段を含む。比較手段は、身体動作種類情報特定手段によって特定された身体動作の種類の情報と記憶媒体によって記憶された操作端末の操作者の身体動作の種類の情報とが一致するか否かを判断する。変換手段は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報に含まれる動作の情報を身体動作種類情報特定手段によって特定された身体動作の種類の情報に基づいて変換する動作変換手段を含む。
【００１９】
第３の発明では、コミュニケーション情報は、身体動作の種類の情報を含む。身体動作種類情報特定手段（１３０、Ｓ７１、Ｓ７３）は、個人情報受信手段によって受信された個人情報から身体動作の種類の情報を特定する。また、比較手段は、身体動作種類情報特定手段によって特定された身体動作の種類の情報と記憶媒体によって記憶された操作端末の操作者の身体動作の種類の情報とが一致するか否かを判断する。動作変換手段（１３０、Ｓ１０５、Ｓ１５９）は、判断手段によって判断された判断結果が一致しないときに、第２遠隔操作情報に含まれる動作の情報を身体動作種類情報特定手段によって特定された身体動作の種類の情報に基づいて変換する。
【００２０】
たとえば、身体動作の種類は、アメリカ人が行う動作や日本人が行う動作などである。また、身体動作種類決定手段は、対話相手の使用言語に基づいて、対話相手が行う身体動作の種類を決定する。そして、動作変換手段は、ロボットが行う動作を、対話相手が行う動作の種類に変換する。つまり、操作端末の操作者は、対話相手が行う身体動作の種類を知っていなかったとしても、ロボットに対話相手が行う身体動作と同じ種類の動作を行わせることができる。
【００２１】
第３の発明によれば、ロボットを遠隔操作する操作者が、対話相手が行う身体動作を知っていなかったとしても、ロボットに対話相手と同じ種類の身体動作を行わせることができるため、対話相手との円滑なコミュニケーションを行うことができる。
【００２２】
第４の発明は、第２の発明または第３の発明のいずれかに従属し、個人情報取得手段は、人間の音声を取得する音声取得手段を含む。個人情報送信手段は、さらに音声取得手段によって取得された音声を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された音声を受信する。言語情報特定手段は、個人情報受信手段によって受信された人間の音声から言語情報を特定する音声言語情報特定手段を含む。
【００２３】
第４の発明では、音声取得手段（６６、８０、Ｓ３０５）は、人間の音声を取得する。個人情報送信手段は、さらに音声取得手段によって取得された音声を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された音声を受信する。また、音声言語情報特定手段（１３０、Ｓ５３、Ｓ５５）は、個人情報受信手段によって受信された人間の音声から言語情報を特定する。つまり、対話相手の音声が取得され、対話相手の使用言語が特定される。
【００２４】
第４の発明によれば、対話相手の音声から、対話相手の使用言語を特定することができる。
【００２５】
第５の発明は、第４の発明に従属し、中央制御装置は、音声取得手段によって人間の音声が取得されていないときに、ロボットに発話を指示する要求信号を送信する要求信号送信手段をさらに備える。ロボットは、要求信号送信手段によって送信された要求信号を受信する要求信号受信手段、および要求信号受信手段によって受信された要求信号に応じて音声を出力する音声出力手段をさらに備える。
【００２６】
第５の発明では、要求信号送信手段（１３０、Ｓ４１）は、音声取得手段によって人間の音声が取得されていないときに、ロボットに発話を指示する要求信号を送信する。要求信号受信手段（８０、Ｓ３０７）は、要求信号送信手段によって送信された要求信号を受信する。音声出力手段（８０、Ｓ３０９）は、要求信号受信手段によって受信された要求信号に応じて音声を出力する。たとえば、言語情報特定手段によって言語情報が特定できない場合に、対話相手の発話を要求するコミュニケーション行動を実行する。
【００２７】
第５の発明によれば、人間の発話を要求することで、中央制御装置は、対話相手の使用言語を特定できるようになる。
【００２８】
第６の発明は、第２の発明ないし第５の発明のいずれかに従属し、個人情報取得手段は、人間が携帯する識別情報タグから識別情報を取得する識別情報取得手段を含む。個人情報送信手段は、さらに識別情報取得手段によって取得された識別情報を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された識別情報を受信する。言語情報特定手段は、個人情報受信手段によって受信された識別情報から少なくとも言語情報を特定する識別言語特定手段を含む。
【００２９】
第６の発明では、識別情報取得手段（８０、１１６、Ｓ３０５）は、人間が携帯する識別情報タグ（１８）から識別情報を取得する。また、個人情報送信手段は、さらに識別情報取得手段によって取得された識別情報を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された識別情報を受信する。そして、識別言語情報特定手段（１３０、Ｓ３７）は、個人情報受信手段によって受信された識別情報から少なくとも言語情報を特定する。たとえば、識別情報とは、対話相手毎に割り当てられたＩＤ番号である。そして、ＩＤ番号に基づいて、対話相手の使用言語が特定される。
【００３０】
第６の発明によれば、対話相手の識別情報から、対話相手の使用言語を特定することができる。
【００３１】
第７の発明は、個人情報取得手段は、人間が携帯する識別情報タグから識別情報を取得する識別情報取得手段を含む。個人情報送信手段は、さらに識別情報取得手段によって取得された識別情報を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された識別情報を受信する。身体動作種類決定手段は、個人情報受信手段によって受信された識別情報からさらに身体動作の種類の情報を決定する識別情報身体動作種類決定手段を含む。
【００３２】
第７の発明では、識別情報取得手段（８０、１１６、Ｓ３０５）は、人間が携帯する識別情報タグ（１８）から識別情報を取得する。また、個人情報送信手段は、さらに識別情報取得手段によって取得された識別情報を送信する。個人情報受信手段は、さらに個人情報送信手段によって送信された識別情報を受信する。そして、識別情報身体動作種類決定手段（１３０、Ｓ７１）は、個人情報受信手段によって受信された識別情報からさらに身体動作の種類の情報を決定する。つまり、識別情報身体動作種類決定手段は、対話相手のＩＤ番号から対話相手が行う身体動作の種類を決定する。
【００３３】
第７の発明によれば、対話相手が識別情報タグを携帯していれば、対話相手の識別情報から対話相手が行う身体動作の種類を決定することができる。
【００３４】
第８の発明は、第４の発明ないし第７の発明のいずれかに従属し、中央制御装置は、判断手段によって判断された判断結果が一致しないときに、個人情報受信手段によって受信された音声を記憶媒体によって記憶された操作端末の操作者の言語情報に基づいて翻訳する音声翻訳手段、および音声翻訳手段によって翻訳された翻訳結果を操作端末に送信する翻訳結果送信手段をさらに備える。操作端末は、翻訳音声結果送信手段によって送信された翻訳結果を受信する翻訳結果受信手段、および翻訳結果受信手段によって受信された翻訳結果を出力する出力手段をさらに備える。
【００３５】
第８の発明では、音声翻訳手段（１３０、Ｓ９５）は、判断手段によって判断された判断結果が一致しないときに、個人情報受信手段によって受信された音声を記憶媒体によって記憶された操作端末の操作者の言語情報に基づいて翻訳する。翻訳結果送信手段（１３０、１４８、１５０、Ｓ９７）は、音声翻訳手段によって翻訳された翻訳結果を操作端末に送信する。翻訳結果受信手段（１６０、１７２、１７４、Ｓ４０７）は、翻訳音声結果送信手段によって送信された翻訳結果を受信する。出力手段（１６０、１７６、Ｓ４０９）は、翻訳結果受信手段によって受信された翻訳結果を出力する。
【００３６】
たとえば、ロボットが取得した対話相手の音声は、中央制御装置に送信される。そして、中央制御装置では、受信した対話相手の音声が操作端末の操作者の使用言語に翻訳されて、操作端末に送信される。そして、操作端末では、出力手段によって翻訳された対話相手の音声が出力される。
【００３７】
第８の発明によれば、オペレータは、ロボットのコミュニケーション相手の言語を容易に理解できるようになり、適切に対応することができるようになる。
【００３８】
第９の発明は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介してロボットの遠隔操作を行う複数の操作端末と、ネットワークを介してロボットと複数の操作端末のうち１台のとの仲介を行う中央制御装置とを備える、ロボット遠隔操作システムである。ロボットは、人間の個人情報を取得する個人情報取得手段、個人情報取得手段によって取得された個人情報を操作端末に送信する個人情報送信手段、操作端末からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、および第１遠隔操作情報受信手段によって受信した第１遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備える。
【００３９】
操作端末は、操作端末自身の操作者のコミュニケーション情報を記憶する記憶媒体、個人情報送信手段によって送信された個人情報を受信する個人情報受信手段、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、判断手段によって判断された判断結果が一致しないときに、ロボットを遠隔操作するための第２遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する変換手段、および変換手段によって変換された第１遠隔操作情報をロボットに送信する第１遠隔操作情報送信手段を備える。
【００４０】
第９の発明では、ロボット遠隔操作システム（１０）は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボット（１２）と、ネットワークを介してロボットの遠隔操作を行う複数の操作端末（１６）と、ネットワークを介してロボットと複数の操作端末のうち１台のとの仲介を行う中央制御装置（１４）とを備える。ロボットの個人情報取得手段（６６、８０、１１６、Ｓ３０５）は、人間の個人情報を取得する。個人情報送信手段（８０、１１２、１１４、Ｓ３０５）は、個人情報取得手段によって取得された個人情報を操作端末に送信する。第１遠隔操作情報受信手段（８０、１１２、１１４、Ｓ３１３）は、操作端末からの第１遠隔操作情報を受信する。実行手段（８０、Ｓ３１７）は、第１遠隔操作情報受信手段によって受信した第１遠隔操作情報に基づくコミュニケーション行動を実行する。
【００４１】
操作端末の記憶媒体（１３８）は、操作端末自身の操作者のコミュニケーション情報を記憶する。個人情報受信手段（１６０、１７２、１７４、Ｓ５）は、個人情報送信手段によって送信された個人情報を受信する。コミュニケーション情報特定手段（１６０、Ｓ３７、Ｓ５３、Ｓ５５、Ｓ７１、Ｓ７３）は、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定する。判断手段（１６０、Ｓ６１−Ｓ６５）は、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する。変換手段（１６０、Ｓ１０３、Ｓ１０５、Ｓ１２９、Ｓ１５９）は、判断手段によって判断された判断結果が一致しないときに、ロボットを遠隔操作するための第２遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する。第１遠隔操作情報送信手段（１６０、Ｓ１０７）は、変換手段によって変換された第１遠隔操作情報をロボットに送信する。
【００４２】
第９の発明によれば、第１の発明と同様に、ロボットは、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の文化によらず、オペレータが適切に対応することができる。
【００４３】
第１０の発明は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介してロボットの遠隔操作を行う複数の操作端末と、ネットワークを介してロボットと複数の操作端末のうち１台との仲介を行う中央制御装置とを備える、ロボット遠隔操作システムである。操作端末は、ロボットを遠隔操作するための第１遠隔操作情報をロボットに送信する第１遠隔操作送信手段を備える。ロボットは、操作端末の操作者のコミュニケーション情報を記憶する記憶媒体、人間の個人情報を取得する個人情報取得手段、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、操作端末からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、判断手段によって判断された判断結果が一致しないときに、第１遠隔操作情報受信手段によって受信された第１遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第２遠隔操作情報に変換する変換手段、および変換によって変換された第２遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備える。
【００４４】
第１０の発明では、ロボット遠隔操作システム（１０）は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボット（１２）と、ネットワークを介してロボットの遠隔操作を行う複数の操作端末（１６）と、ネットワークを介してロボットと複数の操作端末のうち１台との仲介を行う中央制御装置（１４）とを備える。操作端末の第１遠隔操作送信手段（１６０、Ｓ４１３）は、ロボットを遠隔操作するための第１遠隔操作情報をロボットに送信する。ロボットの記憶媒体（１３８）は、操作端末の操作者のコミュニケーション情報を記憶する。個人情報取得手段（６６、８０，１１６、Ｓ３０５）は、人間の個人情報を取得する。コミュニケーション情報特定手段（８０、Ｓ３７、Ｓ５３、Ｓ５５、Ｓ７１、Ｓ７３）は、個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定する。第１遠隔操作情報受信手段（８０、１１２、１１４、Ｓ３１３）は、操作端末からの第１遠隔操作情報を受信する。判断手段（８０、Ｓ６１−Ｓ６５）は、コミュニケーション情報特定手段によって特定されたコミュニケーション情報と記憶媒体によって記憶された操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する。変換手段（８０、Ｓ１０３、Ｓ１０５、Ｓ１２９、Ｓ１５９）は、判断手段によって判断された判断結果が一致しないときに、第１遠隔操作情報受信手段によって受信された第１遠隔操作情報をコミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第２遠隔操作情報に変換する。実行手段（８０、Ｓ３１７）は、変換手段によって変換された第２遠隔操作情報に基づくコミュニケーション行動を実行する。
【００４５】
第１０の発明は、第１の発明と同様に、ロボットは、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の文化によらず、オペレータが適切に対応することができる。
【発明の効果】
【００４６】
この発明によれば、ロボットは、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の文化によらず、オペレータが適切に対応することができる。
【００４７】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００４８】
図１を参照して、この実施例のロボット遠隔操作システム１０は、ロボット１２ａおよび１２ｂを含む。このロボット１２ａおよび１２ｂは、ネットワーク１００を介して、中央制御装置１４、操作端末１６ａ、１６ｂおよび１６ｃに接続される。以下、ロボット１２ａ，１２ｂを区別する必要がない場合には、ロボット１２と呼ぶことにする。同様に、操作端末１６ａ−１６ｃのそれぞれを区別する必要がない場合には、操作端末１６と呼ぶことにする。
【００４９】
なお、図１には、簡単のため、２台のロボット１２ａ，１２ｂおよびロボット１２を遠隔操作する３台の操作端末１６ａ−１６ｃを示してあるが、これによって限定される必要はない。ロボット１２は１台でもよく、３台以上であっても構わない。また、操作端末１６は、２台以上であれば何台でも構わない。
【００５０】
ロボット１２は、相互作用指向のロボット（コミュニケーションロボット）であり、主として人間Ａのようなコミュニケーションの対象（コミュニケーション対象）との間で、身振り手振りのような身体動作および音声の少なくとも一方を含むコミュニケーション行動を実行する機能を備えている。ロボット１２は、一例として、受付ロボットや接客ロボットなどであり、たとえば会社の受付や或るイベント会場などの様々な場所および状況に配置され、通常は自律制御によって、道案内などの役割を果たす。
【００５１】
図２を参照して、ロボット１２のハードウェアの構成について説明する。また、図２はこの実施例のロボット１２の外観を示す正面図である。ロボット１２は台車３０を含み、台車３０の下面にはロボット１２を自律移動させる２つの車輪３２および１つの従輪３４が設けられる。２つの車輪３２は車輪モータ３６（図３参照）によってそれぞれ独立に駆動され、台車３０すなわちロボット１２を前後左右の任意方向に動かすことができる。また、従輪３４は車輪３２を補助する補助輪である。したがって、ロボット１２は、配置された空間内を自律制御によって移動可能である。ただし、ロボット１２は、或る場所に固定的に配置されても構わない。
【００５２】
台車３０の上には、円柱形のセンサ取り付けパネル３８が設けられ、このセンサ取り付けパネル３８には、多数の赤外線距離センサ４０が取り付けられる。これらの赤外線距離センサ４０は、センサ取り付けパネル３８すなわちロボット１２の周囲の物体（人間や障害物など）との距離を測定するものである。
【００５３】
なお、この実施例では、距離センサとして、赤外線距離センサを用いるようにしてあるが、赤外線距離センサに代えて、超音波距離センサやミリ波レーダなどを用いることもできる。
【００５４】
センサ取り付けパネル３８の上には、胴体４２が直立するように設けられる。また、胴体４２の前方中央上部（人の胸に相当する位置）には、上述した赤外線距離センサ４０がさらに設けられ、ロボット１２の前方の主として人間との距離を計測する。また、胴体４２には、その側面側上端部のほぼ中央から伸びる支柱４４が設けられ、支柱４４の上には、全方位カメラ４６が設けられる。全方位カメラ４６は、ロボット１２の周囲を撮影するものであり、後述する眼カメラ７０とは区別される。この全方位カメラ４６としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ４０および全方位カメラ４６の設置位置は、当該部位に限定されず適宜変更され得る。
【００５５】
胴体４２の両側面上端部（人の肩に相当する位置）には、それぞれ、肩関節４８Ｒおよび肩関節４８Ｌによって、上腕５０Ｒおよび上腕５０Ｌが設けられる。図示は省略するが、肩関節４８Ｒおよび肩関節４８Ｌは、それぞれ、直交する３軸の自由度を有する。すなわち、肩関節４８Ｒは、直交する３軸のそれぞれの軸廻りにおいて上腕５０Ｒの角度を制御できる。肩関節４８Ｒの或る軸（ヨー軸）は、上腕５０Ｒの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節４８Ｌは、直交する３軸のそれぞれの軸廻りにおいて上腕５０Ｌの角度を制御できる。肩関節４８Ｌの或る軸（ヨー軸）は、上腕５０Ｌの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。
【００５６】
また、上腕５０Ｒおよび上腕５０Ｌのそれぞれの先端には、肘関節５２Ｒおよび肘関節５２Ｌが設けられる。図示は省略するが、肘関節５２Ｒおよび肘関節５２Ｌは、それぞれ１軸の自由度を有し、この軸（ピッチ軸）の軸回りにおいて前腕５４Ｒおよび前腕５４Ｌの角度を制御できる。
【００５７】
前腕５４Ｒおよび前腕５４Ｌのそれぞれの先端には、人の手に相当する球体５６Ｒおよび球体５６Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人間の手の形をした「手」を用いることも可能である。また、図示は省略するが、台車３０の前面、肩関節４８Ｒと肩関節４８Ｌとを含む肩に相当する部位、上腕５０Ｒ、上腕５０Ｌ、前腕５４Ｒ、前腕５４Ｌ、球体５６Ｒおよび球体５６Ｌには、それぞれ、接触センサ５８（図３で包括的に示す）が設けられる。台車３０の前面の接触センサ５８は、台車３０への人間や他の障害物の接触を検知する。したがって、ロボット１２は、その自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪３２の駆動を停止してロボット１２の移動を急停止させることができる。また、その他の接触センサ５８は、当該各部位に触れたかどうかを検知する。なお、接触センサ５８の設置位置は、当該部位に限定されず、適宜な位置（人の胸、腹、脇、背中および腰に相当する位置）に設けられてもよい。
【００５８】
胴体４２の中央上部（人の首に相当する位置）には首関節６０が設けられ、さらにその上には頭部６２が設けられる。図示は省略するが、首関節６０は、３軸の自由度を有し、３軸の各軸廻りに角度制御可能である。或る軸（ヨー軸）はロボット１２の真上（鉛直上向き）に向かう軸であり、他の２軸（ピッチ軸、ロール軸）は、それぞれ、それと異なる方向で直交する軸である。
【００５９】
頭部６２には、人の口に相当する位置に、スピーカ６４が設けられる。スピーカ６４は、ロボット１２が、それの周辺の人間に対して音声ないし音によってコミュニケーションを取るために用いられる。また、人の耳に相当する位置には、マイク６６Ｒおよびマイク６６Ｌが設けられる。以下、右のマイク６６Ｒと左のマイク６６Ｌとをまとめてマイク６６ということがある。マイク６６は、周囲の音、とりわけコミュニケーションを実行する対象である人間の音声を取り込む。さらに、人の目に相当する位置には、眼球部６８Ｒおよび眼球部６８Ｌが設けられる。眼球部６８Ｒおよび眼球部６８Ｌは、それぞれ眼カメラ７０Ｒおよび眼カメラ７０Ｌを含む。以下、右の眼球部６８Ｒと左の眼球部６８Ｌとをまとめて眼球部６８ということがある。また、右の眼カメラ７０Ｒと左の眼カメラ７０Ｌとをまとめて眼カメラ７０ということがある。
【００６０】
眼カメラ７０は、ロボット１２に接近した人間の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。また、眼カメラ７０は、上述した全方位カメラ４６と同様のカメラを用いることができる。たとえば、眼カメラ７０は、眼球部６８内に固定され、眼球部６８は、眼球支持部（図示せず）を介して頭部６２内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、２軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この２軸の一方は、頭部６２の上に向かう方向の軸（ヨー軸）であり、他方は、一方の軸に直交しかつ頭部６２の正面側（顔）が向く方向に直行する方向の軸（ピッチ軸）である。眼球支持部がこの２軸の各軸廻りに回転されることによって、眼球部６８ないし眼カメラ７０の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ６４、マイク６６および眼カメラ７０の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。
【００６１】
このように、この実施例のロボット１２は、車輪３２の独立２軸駆動、肩関節４８の３自由度（左右で６自由度）、肘関節５２の１自由度（左右で２自由度）、首関節６０の３自由度および眼球支持部の２自由度（左右で４自由度）の合計１７自由度を有する。
【００６２】
図３はロボット１２の電気的な構成を示すブロック図である。この図３を参照して、ロボット１２は、ＣＰＵ８０を含む。ＣＰＵ８０は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス８２を介して、メモリ８４、モータ制御ボード８６、センサ入力／出力ボード８８および音声入力／出力ボード９０に接続される。
【００６３】
メモリ８４は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、ロボット１２の動作を制御するための制御プログラムが予め記憶される。たとえば、各センサの出力（センサ情報）を検知するための検知プログラムや、外部コンピュータ（中央制御装置１４および操作端末１６など）との間で必要なデータやコマンドを送受信するための通信プログラムなどが記録される。また、ＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００６４】
モータ制御ボード８６は、たとえばＤＳＰで構成され、各腕や首関節および眼球部などの各軸モータの駆動を制御する。すなわち、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、右眼球部６８Ｒの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ９２」と示す）の回転角度を制御する。同様にして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、左眼球部６８Ｌの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ９４」と示す）の回転角度を制御する。
【００６５】
また、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、肩関節４８Ｒの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節５２Ｒの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ９６」と示す）の回転角度を制御する。同様にして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、肩関節４８Ｌの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節５２Ｌの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ９８」と示す）の回転角度を制御する。
【００６６】
さらに、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、首関節６０の直交する３軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ１１０」と示す）の回転角度を制御する。そして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、車輪３２を駆動する２つのモータ（図３では、まとめて「車輪モータ３６」と示す）の回転角度を制御する。なお、この実施例では、車輪モータ３６を除くモータは、制御を簡素化するためにステッピングモータ（すなわち、パルスモータ）を用いる。ただし、車輪モータ３６と同様に直流モータを用いるようにしてもよい。また、ロボット１２の身体部位を駆動するアクチュエータは、電流を動力源とするモータに限らず適宜変更されてもよい。たとえば、他の実施例では、エアアクチュエータなどが適用されてもよい。
【００６７】
センサ入力／出力ボード８８は、モータ制御ボード８６と同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ８０に与える。すなわち、赤外線距離センサ４０のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード８８を通じてＣＰＵ８０に入力される。また、全方位カメラ４６からの映像信号が、必要に応じてセンサ入力／出力ボード８８で所定の処理を施してからＣＰＵ８０に入力される。眼カメラ７０からの映像信号も、同様にして、ＣＰＵ８０に入力される。また、上述した複数の接触センサ５８（図３では、まとめて「接触センサ５８」と示す）からの信号がセンサ入力／出力ボード８８を介してＣＰＵ８０に与えられる。音声入力／出力ボード９０もまた、同様に、ＤＳＰで構成され、ＣＰＵ８０から与えられる音声合成データに従った音声または声がスピーカ６４から出力される。また、マイク６６からの音声入力が、音声入力／出力ボード９０を介してＣＰＵ８０に与えられる。
【００６８】
また、ＣＰＵ８０は、バス８２を介して通信ＬＡＮボード１１２に接続される。通信ＬＡＮボード１１２は、たとえばＤＳＰで構成され、ＣＰＵ８０から与えられた送信データを無線通信装置１１４に与え、無線通信装置１１４は送信データを、ネットワーク１００を介して外部コンピュータ（中央制御装置１４および操作端末１６）に送信する。また、通信ＬＡＮボード１１２は、無線通信装置１０４を介してデータを受信し、受信したデータをＣＰＵ８０に与える。たとえば、送信データとしては、ロボット１２から中央制御装置１４へのオペレータ呼出要求の信号（コマンド）であったりする。
【００６９】
さらに、ＣＰＵ８０は、バス８２を介して無線タグ読取装置１１６が接続される。無線タグ読取装置１１６は、アンテナ（図示せず）を介して、無線タグ１８（ＲＦＩＤタグ）から送信される識別情報の重畳された電波を受信する。そして、無線タグ読取装置１１６は、受信した電波信号を増幅し、当該電波信号から識別信号を分離し、当該識別情報を復調（デコード）してＣＰＵ８０に与える。図１によれば無線タグ１８は、ロボット１２が配置された或る会社の受付などに居る人間（人間Ａ）に装着され、無線タグ読取装置１１６は、通信可能範囲内の無線タグ１８を検出する。なお、無線タグ１８は、アクティブ型であってもよいし、無線タグ読取装置１１６から送信される電波に応じて駆動されるパッシブ型であってもよい。
【００７０】
なお、無線タグ１８から取得した識別情報および人間（対話相手）の音声は、対話相手の個人情報として中央制御装置１４に送信される。
【００７１】
図１に戻って、中央制御装置１４は、当該ロボット遠隔操作システム１０におけるオペレータの呼び出しを制御するコンピュータであり、ロボット１２および操作端末１６の状態を示す情報を管理する。そして、操作端末１６とロボット１２とが通信を行う場合には、データ通信の内容を制御する。図４を参照して、中央制御装置１４は、ＣＰＵ１３０を含む。ＣＰＵ１３０は、ＣＰＵ８０と同様にマイクロコンピュータ或いはプロセッサとも呼ばれ、バス１３２を介して、メモリ１３４、ロボット情報データベース（ＤＢ）１３６、オペレータ端末情報ＤＢ１３８、対話相手情報ＤＢ１４０、言語・文化ＤＢ１４２、動作決定ＤＢ１４４および翻訳辞書ＤＢ１４６に接続される。
【００７２】
メモリ１３４は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、中央制御装置１４の動作を制御するための制御プログラムが予め記憶される。制御プログラムは、たとえば、ロボット１２および操作端末１６のそれぞれとの間で必要なデータやコマンドを送受信するための通信プログラムおよびロボット１２からオペレータの呼び出し要求があったときに適切なオペレータ（操作端末１６）を選択するための選択プログラムなどを含む。また、メモリ１３４のＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００７３】
ロボット情報ＤＢ１３６には、各ロボット１２における現在の状態を示すテーブル（ロボット情報テーブル）が記憶される。図５（Ａ）に示すように、ロボット情報テーブルには、ロボット名に対応して、状態、位置および対話相手などの情報が記憶される。ロボット名の欄には、ロボット１２の名前（たとえば、Ｒ１，Ｒ２，…）が記憶される。状態の欄には、該当するロボット１２の現在の状態が記憶される。具体的には、「ＢＵＳＹ」または「ＩＤＬＥ」の別が記述される。ＢＵＳＹは、或る会社の受付などにおいて人間と対話などのコミュニケーション行動を実行している状態などを意味する。また、ＩＤＬＥは人間と対話などのコミュニケーション行動を実行していない状態、すなわち、空いている状態を意味する。
【００７４】
位置の欄には、ロボット名に対応するロボット１２の現在位置の情報が記憶される。この実施例では、ロボット１２の配置された建物や会場などの場所を示す情報および当該場所においての当該ロボット１２が現在存在している位置の座標（ワールド座標系における位置座標）が登録される。
【００７５】
対話相手の欄には、ロボット名に対応するロボット１２が現在コミュニケーション行動を実行している人間の情報が登録される。具体的には、対話相手の識別情報（対話相手ＩＤ）に対応付けて、名前（たとえば、山田太郎）、使用言語（たとえば、日本語）および現在位置（ワールド座標系における位置座標）が登録される。また、ロボット名に対応するロボット１２が人間と対話していない場合には、コミュニケーション行動を行う対象が存在しないことを表す「ＮＵＬＬ」が登録される。
【００７６】
中央制御装置１４は、ロボット１２または操作端末１６との通信によって、当該ロボット１２または当該操作端末１６の状態を示す情報などを一定時間毎に取得して、ロボット情報テーブルを作成および更新する。
【００７７】
オペレータ端末情報ＤＢ１３８には、各オペレータにおける現在の状態やスキルなどが記憶される。図５（Ｂ）に示すように、オペレータ端末情報テーブルには、オペレータＩＤに対応して、名前、状態、所在地および言語などの情報が記憶される。オペレータＩＤの欄には、操作端末１６またはこの操作端末１６を操作するオペレータを識別するための識別情報が登録される。この実施例では、オペレータＩＤは数値で表される。名前の欄には、オペレータＩＤに対応して操作端末１６を操作するオペレータの名前が登録される。状態の欄には、オペレータＩＤに対応して操作端末１６の現在の状態が登録される。具体的には「ＩＤＬＥ」および「ＢＵＳＹ−Ｒ１」などが記載される。「ＩＤＬＥ」は、現在ロボット１２を遠隔操作せずに、中央制御装置１４からの呼び出し待ちの状態（待機の状態）を意味する。「ＢＵＳＹ」は、ロボット１２を遠隔操作している状態を意味し、たとえば、「ＢＵＳＹ−Ｒ１」と記載されている場合には、ロボット名「Ｒ１」のロボット１２を遠隔操作している状態であることが分かる。所在地の欄には、オペレータＩＤに対応して操作端末１６が設置されている場所（都道府県または地域など）が登録される。言語の欄には、オペレータＩＤに対応する操作端末１６を操作するオペレータが話すことのできる言語（日本語、英語など）が登録される。
【００７８】
中央制御装置１４は、ロボット１２または操作端末１６との通信によって、当該ロボット１２または当該操作端末１６の状態を示す情報などを一定時間毎に取得して、オペレータ端末情報テーブルを作成および更新する。
【００７９】
なお、ロボット情報テーブルには、当該ロボット１２のアドレス（ＩＰアドレス）も登録されてもよい。また、図示は省略するが、操作端末１６をオペレータが操作していない場合（オフラインの場合）は、「ＮＵＬＬ」（すなわち、遠隔操作不能な状態）と登録されてもよい。
【００８０】
対話相手情報ＤＢ１４０には、ロボット１２がコミュニケーション行動を行う対話相手の情報を示すテーブルが記憶される。図６（Ａ）に示すように、対話相手情報テーブルには、対話相手ＩＤに基づいて、名前、言語および文化などの情報が記憶される。対話相手ＩＤの欄には、ロボット１２がコミュニケーション行動を行う対話相手（人間）を識別するための識別情報が記憶される。また、対話相手ＩＤは、オペレータＩＤと同様に、数値で表される。名前の欄には、対話相手ＩＤで識別される人間の名前が登録される。言語の欄には、対話相手ＩＤで識別される人間が話すことができる言語が登録される。文化の欄には、対話相手ＩＤで識別される人間の文化として、当該人間の出身国の国名が記憶される。たとえば、文化の欄には、Ｊａｐａｎ，Ｆｒａｎｃｅ，ＵＳＡおよびＣａｎａｄａなどが記憶される。つまり、Ｊａｐａｎは、当該対話相手が日本の出身であることを示す。Ｆｒａｎｃｅは、当該対話相手がフランスの出身であることを示す。ＵＳＡは、当該対話相手がアメリカ合衆国の出身であることを示す。Ｃａｎａｄａは、当該対話相手がカナダの出身であることを示す。
【００８１】
なお、本実施例では、言語の情報および文化の情報などから構成される情報を「コミュニケーション情報」と呼ぶことにする。
【００８２】
言語・文化ＤＢ１４２には、言語と文化との対応関係を示すテーブルが記憶される。図６（Ｂ）に示すように、言語・文化テーブルには、言語および文化の情報が記憶される。ここで、文化の欄には、言語の欄に記憶される言語に対応する文化が記憶される。たとえば、言語の欄に日本語が記憶されれば、文化の欄には日本の文化を示すＪａｐａｎが記憶される。また、言語の欄に英語が記憶されれば、文化の欄にはアメリカ合衆国を示すＵＳＡが記憶される。さらに、言語の欄に中国語が記憶されれば、文化の欄には中国の文化を示すＣｈｉｎａが記憶される。そして、言語の欄にフランス語が記憶されれば、文化の欄にはフランスの文化を示すＦｒａｎｃｅが記憶される。なお、言語の欄にはロボット１２が発話可能な言語が記憶される。
【００８３】
動作決定ＤＢ１４４には、操作端末１６から動作コマンドが送信されたときに、対話相手の文化に応じて、当該動作コマンドに対応する動作ファイルを決定するためのテーブルが記憶される。本実施例では、図７に示すように、動作ファイル名に対応して、動作および文化が記憶される。動作の欄には、動作ファイル名に対応して、ロボット１２が実行する動作コマンドが記憶される。たとえば、動作の欄には、「手招き」の動作や「お辞儀」の動作コマンドが記憶される。文化の欄には、動作ファイル名に対応して、文化が記憶される。たとえば、文化の欄には、「ＵＳＡ」（アメリカ合衆国内）の文化や「Ｊａｐａｎ」（日本）の文化が記憶される。
【００８４】
動作ファイルの欄には、ロボット１２に送信する動作コマンドの具体的なファイル名が記憶される。たとえば、「ＭＯＶＥ＿ｔｅｍａｎｅｋｉ＿ｊａｐａｎ．ｔｘｔ」は、日本人が行う手招きの動作と同じ動作をロボット１２が実行するファイルである。また、「ＭＯＶＥ＿ｔｅｍａｎｅｋｉ＿ｕｓａ．ｔｘｔ」は、アメリカ人が行う手招きの動作と同じ動作をロボット１２が実行するファイルである。
【００８５】
さらに、「ＭＯＶＥ＿ｏｊｉｇｉ＿ｊａｐａｎ．ｔｘｔ」は、日本人が行うお辞儀の動作と同じ動作をロボット１２が実行するファイルである。また、「ＭＯＶＥ＿ｏｊｉｇｉ＿ｕｓａ．ｔｘｔ」は、アメリカ人が行うお辞儀の動作と同じ動作をロボット１２が実行するファイルである。
【００８６】
このように、中央制御装置１４からロボット１２に送信される動作コマンドが異なるのは、「手招き」の動作であっても、対話相手の文化によって、それぞれ身振り手振りが異なる場合があるからである。たとえば、日本人が手招きをする場合には、掌が下向きで手招きをするが、アメリカ人が手招きをする場合には、掌を上向きで手招きする。また、日本人が挨拶をする場合には、お辞儀をするが、外国においては、抱きついたり、握手したり、キスをしたりする。
【００８７】
また、ロボット１２は、中央制御装置１４から動作コマンドを示す動作ファイルを受信すると、メモリ８４に記憶される、図示しないライブラリィを参照して、動作ファイルと対応する動作を実行する。このライブラリィには、ロボット１２が受信する動作ファイル名に対応して、モータ制御ボード８６を制御するための命令文（機械語など）が記録されている。
【００８８】
たとえば、ロボット１２が動作コマンドとして「ＭＯＶＥ＿ｔｅｍａｎｅｋｉ＿ｕｓａ．ｔｘｔ」の動作ファイルを受信すると、ロボット１２のＣＰＵ８０は、ライブラリィを参照して、「ＭＯＶＥ＿ｔｅｍａｎｅｋｉ＿ｕｓａ．ｔｘｔ」に対応する命令文に従ってモータ制御ボード８６を制御し、ロボット１２の右腕モータ９６を動作させる。
【００８９】
なお、動作ファイル名では、アメリカ合衆国の文化と日本の文化とが識別されるようにしてあるが、ロボット１２は受信した動作ファイル名から文化の違いを識別する必要はない。
【００９０】
ただし、操作端末１６は、動作コマンドだけでなく、動作コマンドと発話コマンドとを含む制御コマンドを中央制御装置１４に送信する。先述したとおり、動作コマンドは、「ＭＯＶＥ＿…」で始まる動作ファイル名である。また、発話コマンドは、「ＳＡＹ＿…」で始まる発話ファイル名である。たとえば、日本語で「こんにちは」とロボット１２に発話させるための発話コマンドの発話ファイル名は、「ＳＡＹ＿ｊｐｎ＿こんにちは．ｔｘｔ」となる。また、「いい天気ですね」とロボット１２に発話させるための発話コマンドの発話ファイル名は、「ＳＡＹ＿ｊｐｎ＿いい天気ですね．ｔｘｔ」となる。さらに、「こっちにおいでよ」とロボット１２に発話させるための発話コマンドの発話ファイル名は、「ＳＡＹ＿ｊｐｎ＿こっちにおいでよ．ｔｘｔ」となる。そして、「一緒に遊ぼうよ」とロボット１２に発話させるための発話コマンドの発話ファイル名は、「ＳＡＹ＿ｊｐｎ＿一緒に遊ぼうよ．ｔｘｔ」となる。
【００９１】
図４に戻って、翻訳辞書ＤＢ１４６は、中央制御装置１４で、音声データや文字列データなどを翻訳するときに、参照されるＤＢである。図示は省略するが、この翻訳辞書ＤＢ１４６は、日本語の翻訳辞書、英語の翻訳辞書、中国語の翻訳辞書およびフランス語の翻訳辞書などから構成される。
【００９２】
中央制御装置１４は、ネットワーク１００に有線または無線で接続されている。つまり、ロボット１２と同様にして、ＣＰＵ１３０は、バス１３２を介して通信ＬＡＮボード１４８に接続される。通信ＬＡＮボード１４８は、たとえばＤＳＰで構成され、ＣＰＵ１３０から与えられた送信データを無線通信装置１５０に与え、無線通信装置１５０は送信データを、ネットワーク１００を介して外部コンピュータ（ロボット１２および操作端末１６）に送信する。
【００９３】
また、通信ＬＡＮボード１４８は、無線通信装置１５０を介してデータを受信し、受信したデータをＣＰＵ１３０に与える。たとえば、送信データとしては、中央制御装置１４から操作端末１６への遠隔操作要求の信号であったり、ロボット１２から送信された音声データなどであったりする。受信データとしては、操作端末１６から送信されたロボット１２への制御コマンドなどであったりする。
【００９４】
なお、中央制御装置１４のメモリ１３４ないし図示しないＤＢには、ロボット１２が配置される場所等の地図（マップ）データが記憶され、マップデータをＸＹ座標で表し、これによって、ロボット１２の位置を座標で表している。ただし、ロボット１２は移動するため、その移動制御量をロボット１２から得たり、別途環境センサ（カメラ、赤外線センサなど）を用いてロボット１２の位置を監視したりするようにしてもよい。
【００９５】
図１に示した操作端末１６は、オペレータによってロボット１２を遠隔操作するためのコンピュータであり、汎用のコンピュータを用いることができる。図８に示すように、操作端末１６は、ＣＰＵ１６０を含む、ＣＰＵ１６０には、ＬＣＤドライバ１６２、メモリ１６４、スピーカ１６６、マイク１６８、入力装置、１７０および通信ＬＡＮボード１７２が接続される。また、ＬＣＤドライバ１６２にはＬＣＤ１７６が接続される。
【００９６】
ＬＣＤドライバ１６２は、ＬＣＤ１７６の駆動装置であり、ＣＰＵ１６０からの指示に従って、ＬＣＤ１７６に画像を表示する。この実施例では、ＬＣＤ１７６は、主として、後述するような遠隔操作画面２１０（図９参照）を表示するために用いられる。メモリ１６４は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、操作端末１６の動作を制御するための制御プログラムが記憶される。制御プログラムは、たとえば、ロボット１２および中央制御装置１４との間で必要なデータやコマンドを送受信するための通信プログラム、入力装置から入力された操作コマンドを検出する検出プログラムおよび表示装置に画像などを表示するための表示プログラムなどを含む。また、メモリ１６４のＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００９７】
スピーカ１６６は、中央制御装置１４から送信された音声データをオペレータに対して出力するために用いられる。マイク１６８は、オペレータの音声を取り込むために用いられる。つまり、スピーカ１６６は、主として遠隔操作するロボット１２のマイク６６を通して検出された人間の音声を出力する。さらに、マイク１６８は、主として、オペレータの音声を検出し、オペレータの音声はロボット１２のスピーカ６４を通じて出力される。
【００９８】
入力装置１７０は、コンピュータマウス、キーボードおよびタッチパネルなどである。たとえば、オペレータは、ＬＣＤ１７６に表示された遠隔操作画面２１０を見て入力装置を操作することによって、ロボット１２を遠隔操作するための遠隔操作コマンドを入力することができる。
【００９９】
通信ＬＡＮボード１７２は、たとえばＤＳＰで構成され、ＣＰＵ１３０から与えられた送信データを無線通信装置１７４に与え、無線通信装置１７４は送信データを、ネットワーク１００を介して外部コンピュータ（ロボット１２および中央制御装置１４）に送信する。
【０１００】
また、通信ＬＡＮボード１７２は、無線通信装置１７４を介してデータを受信し、受信したデータをＣＰＵ１６０に与える。たとえば、送信データとしては、ロボット１２を遠隔操作するための制御コマンドなどであったりする。受信データとしては、中央制御装置１４から送信された遠隔操作要求の信号であったり、音声データなどであったりする。
【０１０１】
図９を参照して、この遠隔操作画面２１０には、たとえば、ロボットカメラ画像２１２、ロボット情報２１４および操作パネル２１６が表示される。ロボットカメラ画像２１２には、ロボット１２から受信した眼カメラ７０の撮影画像が表示される。これによって、オペレータは、ロボット１２の眼カメラ７０が捕らえている画像、たとえば、対話している人間をリアルタイムで見ることができる。
【０１０２】
ロボット情報２１４には、当該ロボット１２の情報、状況および対話相手の情報などが表示される。具体的には、当該ロボット１２の配置された場所（或る会社の受付やイベント会場など）、名前（もしくは識別情報）、配置された場所の地図および対話している人間の情報が表示される。地図には、ロボット１２および対話相手を示すアイコンが各存在位置に対応して表示される。これによって、ロボット１２が配置場所のどこに存在しているのか、対話相手がロボット１２に対してどこに存在しているのかなどを、オペレータは容易に把握することができる。
【０１０３】
なお、操作端末１６は、地図情報を予め記憶しておいてもよいし、中央制御装置１４から当該ロボット１２に関する情報とともに受信するようにしてもよい。また、ロボット１２および対話相手の位置は、たとえばロボット１２から一定時間ごとに操作端末１６に送信される。ロボット１２は、初期の配置位置および向きを記憶しているので、自分の現在の位置および向きを常に把握し、赤外線距離センサ４０の出力情報と自分の位置などから対話相手のおよその位置を推定できる。また、地図には、その場所に存在する対話相手以外の人間を示すアイコンも表示されてよい。この場合には、オペレータはその場所におけるロボット１２の状況をさらに詳細に知ることができる。
【０１０４】
また、ロボット１２の配置場所における人間の位置情報は、周囲に設置された天井カメラまたは無線タグ読取装置１１６などのような環境のセンサを用いて、当該環境のセンサと接続された他のコンピュータで検出してよく、当該他のコンピュータからロボット１２に与え、ロボット１２から操作端末１６に送信されてもよい。または、当該位置情報は上述の他のコンピュータから中央制御装置１４を経由して、操作端末１６に送信されてもよい。また、環境のセンサによってロボット１２の位置なども検出可能であるので、ロボット１２は、自分の位置および向きなどの情報も、人間の位置情報などとともに上述の他のコンピュータから取得してもよい。
【０１０５】
また、対話している人間の情報としては、名前および状態（たとえば、ＶＩＰや来客）などが表示される。これによって、オペレータは、ロボット１２の対話相手の情報を知ることができる。対話相手の情報は、中央制御装置１４から操作端末１６に送信される。なお、これらオペレータに提示される情報は一例であり、ロボット情報２１４には適宜適切な情報が表示される。このようなロボット情報２１４によって、オペレータは、ロボット１２および対話相手の情報ならびに両者の置かれている状況などを容易に把握することができる。
【０１０６】
さらに、ロボット１２と対話相手とがコミュニケーションを行っている場合には、ロボット１２から音声情報が送信されて、操作端末１６のスピーカ１６６から当該音声が出力される。したがって、オペレータは、対話相手の言葉を聞くことによって、現在の状況をより容易に把握することができる。
【０１０７】
そして、対話相手の質問は、ロボット１２のマイク６６によって取得され、ネットワーク１００および中央制御装置１４を介してスピーカ１６６から出力される。オペレータは、対話相手がした質問を聞くと、操作パネル２１６に対応するコミュニケーション行動や、オペレータ自身の音声などで対話相手の質問に答えることで対応する。つまり、オペレータは、遠隔操作画面２１０でロボット１２の状況を確認しながら、対話相手からの質問の内容を容易に判断することができ、質問に対する回答をロボット１２を介して、対話相手に答えることができる。
【０１０８】
操作パネル２１６では、オペレータが入力装置を操作することにより、ロボット１２の動作を制御するコマンドが入力される。たとえば、図９に示すように、操作パネル２１６には、移動を指示するためのボタン、動作を指示するためのボタンおよび遠隔操作の終了を指示するためのボタンなどが設けられる。具体的には、「前進」ボタンは、ロボット１２を前進させるためのボタンである。オペレータが、「前進」ボタンを選択すると、ロボット１２は、たとえば、一定距離だけ前進する。同様に、「後退」ボタンはロボット１２を後退させ、「右」ボタンはロボット１２を右旋回させ、「左」ボタンはロボット１２を左旋回させる。また、「遊ぼう」ボタンは、ロボット１２に「遊ぼう」の制御コマンドを送信し、対話相手を遊びに誘うコミュニケーション行動を実行させるためのボタンである。具体的に、遊びに誘うコミュニケーション行動は、ロボット１２が「こっちにおいでよ」と発話し、手招きの動作を行った後に、「一緒に遊ぼうよ」と発話する。
【０１０９】
「挨拶」のボタンは、ロボットに「挨拶」の制御コマンドを送信し、対話相手に挨拶をするコミュニケーション行動を行わせるためのボタンである。具体的に、挨拶をするコミュニケーション行動は、ロボット１２が「こんにちは」と発話し、お辞儀の動作を行った後に、「いい天気ですね」と発話する。なお、手招きおよびお辞儀の動作は、先述したとおり、対話相手の文化によって実行する動作ファイル異なる。また、「挨拶」のボタンは、ロット１２が「おはよう」と発話する「挨拶（朝）」のボタンと、ロボット１２が「こんばんは」と発話する「挨拶（夕）」のボタンとを備えるようにしてもよい。
【０１１０】
「右指差し」のボタンは、ロボット１２に右指差しという動作を実行させためのボタンである。具体的には、オペレータが「右指差し」のボタンを選択すると、ロボット１２は、右肩関節４８Ｒおよび右肘関節５２Ｒを制御して腕を前方に上げる。同様にして、操作パネル２１６に表示された他のボタンをオペレータが選択することにより、ロボット１２に、うなずき、左指差しなどの動作を実行させることができる。また、「終了」ボタンは、遠隔操作によるコミュニケーション行動を終了させるためのボタンである。オペレータが「終了」ボタンを選択すると、ロボット１２は遠隔操作モードから自律制御モードに移行する。
【０１１１】
ここで、制御コマンドについて説明する。制御コマンドは、動作コマンドおよび発話コマンドの少なくとも一方から構成される。たとえば、「挨拶」の制御コマンドは、発話コマンド「こんにちは」、動作コマンド「お辞儀」および発話コマンド「いい天気ですね」の順番で実行されるように、３つのコマンドから構成される。また、「遊ぼう」の制御コマンドは、発話コマンド「こっちにおいでよ」、動作コマンド「手招き」および発話コマンド「一緒に遊ぼうよ」の順番で実行されるように、３つのコマンドから構成される。さらに、制御コマンドに含まれる発話コマンドは、オペレータが入力した音声と置き換えて、制御コマンドとすることができる。たとえば、「挨拶」の制御コマンドにおいて、オペレータがマイク１６８に「何か御用はありますか」と音声を入力し、発話コマンド「いい天気ですね」と置き換えると、「挨拶」の制御コマンドは、発話コマンド「こんにちは」、動作コマンド「お辞儀」および発話コマンド「何か御用はありますか」の順番で実行されるように、３つのコマンドから構成されるようになる。
【０１１２】
ロボット１２は、自律制御だけでは対応することが難しい事態や人間によってより細やかな対応（コミュニケーション等）が必要な事態になると、オペレータを呼び出す。具体的には、ロボット１２は、オペレータの呼出要求（遠隔操作の依頼）を、ネットワーク１００を介して中央制御装置１４に送信する。中央制御装置１４は、ロボット１２からの呼出要求を受けて、対応（遠隔操作）可能なオペレータが操作する操作端末１６を選択する。そして、中央制御装置１４は、選択された操作端末１６に、ロボット１２の通信情報（ＩＰアドレス）を通知する。すると、操作端末１６のオペレータの操作により、ロボット１２と操作端末１６とがネットワーク１００および中央制御装置１４を介して通信可能に接続される。つまり、中央制御装置１４は、ロボット１２と操作端末１６とを仲介する。その後、オペレータが操作端末１６を用いてロボット１２を遠隔操作する。たとえば、オペレータが操作端末１６を用いて入力および送信した制御コマンドは、中央制御装置１４で中継され、ロボット１２に受信される。そして、ロボット１２は、その受信した制御コマンドに従って動作（コミュニケーション行動）を実行する。
【０１１３】
ここで、ロボット１２には、図示は省略するが、オペレータを呼び出すための条件（オペレータ呼出条件）が予めメモリ８４に記憶されている。ロボット１２は、オペレータ呼出条件を満足すると判定した場合に、オペレータを呼び出す。つまり、ロボット１２は、中央制御装置１４にオペレータの呼出要求を送信する。
【０１１４】
中央制御装置１４は、オペレータの呼出要求を受信すると、対話相手が同定できていれば、対話相手情報テーブルを参照して、対話相手ＩＤに対応して、対話相手のコミュニケーション情報を特定する。一方、対話相手が同定できていなければ、対話相手の音声から対話相手の言語を特定し、言語・文化テーブル（図６（Ｂ）参照）を参照して、特定された対話相手の言語から、言語の欄に対応する文化を特定する。また、中央制御装置１４は、オペレータ端末情報テーブルを参照して、ＩＤＬＥ状態のオペレータを選択し、ＩＤＬＥ状態のオペレータＩＤに対応して、オペレータの言語を特定する。
【０１１５】
そして、対話相手とオペレータとの言語が異なる場合に、ロボット１２から操作端末１６に対して対話相手の音声が送信されると、中央制御装置１４は、翻訳処理を実行することで、対話相手の音声をオペレータの言語に翻訳し、選択されたオペレータが使用する操作端末１６に送信する。また、選択されたオペレータが使用する操作端末１６からロボット１２に対して制御コマンドが送信されると、中央制御装置１４は、発話コマンドを翻訳処理によって対話相手の言語に翻訳し、動作コマンドは対話相手に対応する文化の動作に変換して、ロボット１２に送信する。
【０１１６】
また、対話相手とオペレータとの言語が一致する場合には、ロボット１２から操作端末１６に対して対話相手の音声が送信されると、中央制御装置１４は、翻訳処理を実行せずに、受信した音声をそのまま、選択されたオペレータが使用する操作端末１６に送信する。そして、選択されたオペレータが使用する操作端末１６からロボット１２に対して制御コマンドが送信されると、中央制御装置１４は、受信した制御コマンドをそのままロボット１２に送信する。
【０１１７】
これによって、ロボット１２は、対話相手の言語および文化に併せてコミュニケーション行動を行うことができる。
【０１１８】
図１０は、図４に示した中央制御装置１４のメモリ１３４のメモリマップ３００の一例を示す図解図である。図１０に示すように、メモリ１３４は、プログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、通信プログラム３１０、全体制御プログラム３１２および翻訳処理プログラム３１４などが記憶される。ただし、全体制御プログラム３１２は、オペレータ選択プログラム３１２ａおよび通信内容制御プログラム３１２ｂを含む。
【０１１９】
通信プログラム３１０は、ロボット１２や操作端末１６との通信を行うためのプログラムである。全体制御プログラム３１２は、図５（Ａ），（Ｂ）に示したロボット情報テーブルとオペレータ端末情報テーブルとに記憶される情報を一定時間毎に更新し、ロボット１２からオペレータの呼び出しに応じてオペレータを選択し、当該ロボット１２と選択したオペレータが使用する操作端末１６との通信内容を制御するためのプログラムである。ただし、オペレータ選択プログラム３１２ａは、ロボット１２からのオペレータの呼び出しに応じて、オペレータを呼び出すプログラムである。通信内容制御プログラム３１２ｂは、オペレータを呼び出したロボット１２とオペレータが使用する操作端末１６との通信が行われる場合に、ロボット１２から操作端末１６に対する通信および操作端末１６からロボット１２に対する通信の各々の通信内容を制御するプログラムである。
【０１２０】
翻訳処理プログラム３１４は、対話相手の音声を翻訳するときに実行されるプログラムであり、たとえば、日本語から英語に翻訳する翻訳処理が実行される場合に、中央制御装置１４のＣＰＵ１３０は、翻訳辞書ＤＢ１４６を参照して日本語と英語との言語情報を読み出し、日本語の文字列を英語の文字列に翻訳する。
【０１２１】
また、データ記憶領域３０４には、対話相手言語データ３３０、オペレータ言語データ３３２および文化データ３３４が記憶されるとともに、翻訳フラグ３３６などが設けられる。対話相手言語データ３３０は、対話相手の使用言語を示すデータである。オペレータ言語データ３３２は、オペレータの使用言語を示すデータである。文化データ３３４は、ロボット１２とコミュニケーション行動を行う対話相手の文化を示す情報である。具体的には、対話相手に対応する文化を特定し、その特定された文化の情報が文化データ３３４として、データ記憶領域３０４に記憶される。
【０１２２】
翻訳フラグ３３６は、対話相手の使用言語とオペレータの使用言語とが一致するか否かを判断するためのフラグである。たとえば、翻訳フラグ３３６は、１ビットのレジスタで構成される。翻訳フラグ３３６が成立（オン）されると、レジスタにはデータ値「１」が設定され、翻訳フラグ３３６が不成立（オフ）されると、レジスタにはデータ値「０」が設定される。
【０１２３】
具体的には、中央制御装置１４のＣＰＵ１３０は、図１１−図１６に示す処理を含む、複数の処理を並行的に実行する。また、ロボット１２のＣＰＵ８０は、図１７および図１８に示す処理を含む、複数の処理を並行的に実行する。
【０１２４】
図１１に示すように、中央制御装置１４のＣＰＵ１３０は、全体処理を開始すると、ステップＳ１で、各操作端末１６の状態を取得し、テーブルを更新する。つまり、このステップＳ１では、ネットワーク１００に接続される各操作端末１６から、その位置、オペレータの情報および現在の状況などを含む情報を取得し、図５（Ｂ）に示したオペレータ端末情報テーブルを更新する。次のステップＳ３では、各ロボット１２の状態を取得し、テーブルを更新する。つまり、このステップＳ３では、各ロボット１２の位置、現在の動作状態および対話相手の情報などを含む情報を取得し、図５（Ａ）に示したロボット情報テーブルを更新する。
【０１２５】
続いて、ステップＳ５では、ロボット１２からの呼び出しがあるか否かを判断する。つまり、或るロボット１２からのオペレータの呼び出し要求を受信したか否かを判断する。ステップＳ５で“ＮＯ”であれば、ステップＳ１５に進む。一方、ステップＳ５で“ＹＥＳ”であれば、つまりロボット１２からの呼び出しがあれば、ステップＳ７で、後述するオペレータ選択処理（図１２、図１３参照）を行う。次のステップＳ９では、操作端末１６とロボット１２との通信が行われたか否かを判断する。たとえば、ロボット１２から選択されたオペレータが使用する操作端末１６に対して通信が行われるか、当該操作端末１６からロボット１２に対して通信が行われたか否かを判断する。
【０１２６】
ステップＳ９で“ＹＥＳ”であれば、つまり操作端末１６とロボット１２との通信が行われれば、ステップＳ１１で、後述する通信内容制御処理（図１４参照）を行い、ステップＳ１３に進む。また、ステップＳ９で“ＮＯ”であれば、つまり操作端末１６とロボット１２との通信が行われていなければ、そのままステップＳ１３に進む。
【０１２７】
ステップＳ１３では、遠隔操作の終了要求があるか否かを判断する。ステップＳ１３で“ＮＯ”であれば、つまり遠隔操作の終了要求が無ければ、ステップＳ９に戻る。一方、ステップＳ１３で“ＹＥＳ”であれば、つまり遠隔操作の終了要求があれば、ステップＳ１５に進む。
【０１２８】
ステップＳ１５では、全体処理を終了するか否かを判断する。ここでは、たとえば、ロボット遠隔操作システム１０の使用者ないし中央制御装置１４の管理者から終了指示が与えられたかどうかを判断する。ステップＳ１５で“ＹＥＳ”であれば、つまり終了指示があれば、そのまま全体処理を終了する。一方、ステップＳ１５で“ＮＯ”であれば、つまり終了指示がなければ、ステップＳ１に戻る。このように、中央制御装置１４では、オペレータ操作端末テーブルの更新、ロボット情報テーブルの更新および呼び出し要求の有無の判断が一定時間毎に繰り返し実行される。
【０１２９】
図１２および図１３は、図１１に示したステップＳ７のオペレータ選択処理のフロー図である。図１２に示すように、中央制御装置１４のＣＰＵ１３０は、オペレータ選択処理を開始すると、ステップＳ３１で、変数を初期化する。具体的には、変数ｊｐｎおよび変数ｅｎｇのそれぞれに０が設定される。ここで、変数ｊｐｎはロボット１２が対話している人間の音声から日本語らしさ演算の演算結果を格納し、変数ｅｎｇはロボット１２が対話している人間の音声から英語らしさ演算の演算結果を格納するための変数である。なお、日本語らしさ演算と英語らしさ演算とについては、ステップＳ４３、Ｓ４７で詳しく説明する。
【０１３０】
続いて、ステップＳ３３では、対話相手の同定ができているか否かを判断する。つまり、ロボット１２がコミュニケーションを行う対話相手の名前、年代および性別などの情報が分かるか否かを判断する。上述したように、ロボット１２は、対話相手が所持する無線タグ１８から送信されるタグＩＤを受信し、これを中央制御装置１４に送信する。中央制御装置１４のＣＰＵ１３０は、対話相手情報ＤＢ１４０を参照して、タグＩＤに対応する、対話相手の名前、年代および性別などの情報を取得する。
【０１３１】
ステップＳ３３で“ＹＥＳ”であれば、つまり対話相手の同定ができていれば、ステップＳ３５で、対話相手の使用言語を特定済みか否かを判断する。つまり、対話相手情報ＤＢ１４０を参照して、対話相手情報テーブルに対話相手が話す言語の情報が記憶されているか否かを判断する。ステップＳ３５で“ＮＯ”であれば、つまり対話相手の主な使用言語を特定済みでなければ、ステップＳ３９に進む。一方、ステップＳ３５で“ＹＥＳ”であれば、つまり対話相手の主な使用言語を特定済みであれば、ステップＳ３７で対話相手言語データ３３０を対話相手情報ＤＢ１４０から読み込み、図１３に示すステップＳ５７に進む。つまり、このステップＳ３７では、対話相手の同定された対話相手の名前（対話相手ＩＤ）に対応する言語の種類のデータを対話相手言語データ３３０としてメモリ１３４に記憶する。
【０１３２】
また、ステップＳ３３で“ＮＯ”であれば、つまり対話相手の同定ができていなければ、ステップＳ３９で、ロボット１２に音声入力が有ったか否かを判断する。つまり、中央制御装置１４のＣＰＵ１３０は、対話相手の音声がロボット１２で検出され、検出された音声に対応する音声信号がロボット１２から送信され、その音声信号を受信したか否かを判断する。
【０１３３】
ステップＳ３９で“ＮＯ”であれば、つまりロボット１２に音声入力が無ければ、ステップＳ４１で、ロボット１２に音声の出力を指示して、ステップＳ３９に戻る。ステップＳ４１では、たとえば、「何か御用でしょうか？」などのように、対話相手に発話させるような音声をロボット１２から出力させるためのコマンドがロボット１２に送信される。このようにして、中央制御装置１４のＣＰＵ１３０は、対話相手の質問（要求）を聞き出して、対話相手の言語を特定する。
【０１３４】
一方、ステップＳ３９で“ＹＥＳ”であれば、つまりロボット１２に音声入力が有れば、ステップＳ４３で、日本語らしさ演算を行う。ここで、日本語らしさ演算とは、ロボット１２の対話相手の言語がどれだけ日本語に近いかの割合を求める演算である。具体的には、中央制御装置１４のＣＰＵ１３０は、受信した音声信号を、日本語用辞書を用いてＤＰマッチング法やＨＭＭ（隠れマルコフモデル）法により音声認識し、認識結果とそのスコア（近似度ないし正確さを示す割合）とを得る。次のステップＳ４５では、演算結果を変数ｊｐｎに格納する。ここでは、上述のようにして演算した結果のうち、スコアを日本語らしさとして変数ｊｐｎに格納する。
【０１３５】
続くステップＳ４７では、英語らしさ演算を行う。ここでは、中央制御装置１４のＣＰＵ１３０は、英語用辞書を用いて、ステップＳ４３と同じように音声認識し、認識結果とそのスコアとを得る。そして、ステップＳ４９で、演算結果（スコア）を英語らしさとして変数ｅｎｇに格納する。
【０１３６】
次のステップＳ５１では、変数ｊｐｎが変数ｅｎｇよりも大きいか否かを判断する。つまり、ここでは、中央制御装置１４のＣＰＵ１３０は、ロボット１２の対話相手の言語が日本語または英語のどちらに近いのかを判断する。ステップＳ５１で“ＹＥＳ”であれば、つまり変数ｊｐｎが変数ｅｎｇよりも大きければ、ロボット１２の対話相手の言語が英語よりも日本語に近いと判断し、ステップＳ５３で「日本語」を対話相手言語データ３３０として記憶し、ステップＳ５７に進む。つまり、対話相手の使用言語が日本語であると特定する。一方、ステップＳ５１で“ＮＯ”であれば、つまり変数ｊｐｎが変数ｅｎｇ以下であれば、ロボット１２の対話相手の言語が日本語よりも英語に近いと判断し、ステップＳ５５で「英語」を言語データ３３０として記憶して、ステップＳ５７に進む。
【０１３７】
図１３に示すステップＳ５７では、ＩＤＬＥ状態のオペレータを選択する。つまり、オペレータ端末情報テーブル（図５（Ｂ）参照）の状態の欄において、ＩＤＬＥが記憶されているオペレータを選択する。なお、ＩＤＬＥが記憶されるオペレータが複数人居る場合は、オペレータＩＤが最も小さいオペレータが選択されてもよいし、オペレータＩＤが最も大きいオペレータが選択されてもよいし、任意に選択されてもよい。
【０１３８】
次のステップＳ５９では、オペレータ言語データ３３２をオペレータが使う言語の情報に基づいて記憶する。このステップＳ５９では、オペレータ端末情報ＤＢ１３８のオペレータ端末情報テーブルを参照して、選択されたオペレータに対応する言語の欄に記憶される言語の種類のデータをオペレータ言語データ３３２としてメモリ１３４に記憶する。
【０１３９】
なお、オペレータが複数の言語に対応できる場合、つまりオペレータ端末テーブルの言語の欄において、２つ以上の言語が記憶されている場合には、それら全ての言語の種類についてのデータがオペレータ言語データ３３２としてメモリ１３４に記憶される。
【０１４０】
続いて、ステップＳ６１では、対話相手言語データ３３０とオペレータ言語データ３３２とが一致するか否かを判断する。つまり、対話相手の使用言語とオペレータの使用言語とが一致するか否かを判断する。ただし、オペレータが複数の言語を使用する場合には、その複数の言語に対話相手の言語が含まれているか否かを判断する。
【０１４１】
ステップＳ６１で“ＹＥＳ”であれば、つまり言語データ３３０とオペレータ言語データ３３２とが一致すれば、ステップＳ６３で、翻訳フラグ３３６をオフに設定する。一方、ステップＳ６１で“ＮＯ”であれば、つまり言語データ３３０とオペレータ言語データ３３２とが一致しなければ、ステップＳ６５で、翻訳フラグ３３６をオンに設定し、ステップＳ６７で、対話相手の同定ができているか否かを判断する。
【０１４２】
ステップＳ６７で“ＹＥＳ”であれば、つまり対話相手の同定ができていれば、ステップＳ６９で、対話相手の文化を特定済みか否かを判断する。つまり、ステップＳ６９では、対話相手情報ＤＢ１４０の対話相手情報テーブルを参照して、対話相手に対応して文化の情報が記憶されているか否かを判断する。ステップＳ６９で“ＮＯ”であれば、つまり対話相手の文化を特定済みでなければ、ステップＳ７３に進む。一方、ステップＳ６９で“ＹＥＳ”であれば、つまり対話相手の文化を特定済みであれば、ステップＳ７１で、対話相手情報ＤＢ１４０に基づいて文化データ３３４を記憶する。つまり、このステップＳ７１では、対話相手の同定された対話相手の名前（対話相手ＩＤ）に対応する文化の情報（識別するデータ）を文化データ３３４としてメモリ１３４に記憶する。
【０１４３】
ここで、ステップＳ６７で“ＮＯ”であれば、つまり対話相手の同定が出来ていなければ、ステップＳ７３で、対話相手言語データ３３０と言語・文化ＤＢ１４２とに基づいて文化データ３３４を記憶する。たとえば、このステップＳ７３では、対話相手言語データ３３０が英語を示していれば、言語・文化テーブルでは、文化はＵＳＡ、つまりアメリカ合衆国の文化であることを示しているため、
つまり、このステップＳ７１では、ＵＳＡを文化データ３３４としてメモリ１３４に記憶する。
【０１４４】
そして、ステップＳ７５では、選択したオペレータが使用する操作端末１６をロボット１２に紹介し、図１１に示した全体処理にリターンする。たとえば、中央制御装置１４のＣＰＵ１３０は、ロボット１２に対して、選択されたオペレータが使用する操作端末１６の接続情報（ＩＰアドレス）を送信する。併せて、選択されたオペレータが使用する操作端末１６に、ロボット１２の遠隔操作依頼と、呼び出し要求を送信したロボット１２の接続情報（ＩＰアドレス）を送信する。
【０１４５】
なお、図示は省略するが、ステップＳ７５では、オペレータ端末情報テーブルにおいて、選択されたオペレータが使用する操作端末１６の状態が「ＩＤＬＥ」から「ＢＵＳＹ−Ｒｍ」に更新される。ただし、ｍは自然数（０，１，２，…ｍ）であり、「Ｒｍ」は、ロボット名ないしロボット１２の識別情報である。これによって、オペレータがロボットＲｍを遠隔操作していることが分かる
図１４は、図１１に示したステップＳ１１の通信内容制御処理を示すフロー図である。図１４に示すように、中央制御装置１４のＣＰＵ１３０は、通信内容制御処理を開始すると、ステップＳ９１で、ロボット１２から音声データを受信したか否かを判断する。たとえば、ロボット１２は、対話相手から話しかけられると、マイク６６によって対話相手の声を検出し、対応する音声データを取得して、その取得した音声データを中央制御装置１４に送信する。したがって、ステップＳ９１の処理では、ロボット１２の対話相手の音声に対応する音声データを受信したか否かを判断するのである。ステップＳ９１で“ＮＯ”であれば、つまりロボット１２から音声データを受信していなければ、そのままステップＳ９９に進む。一方、ステップＳ９１で“ＹＥＳ”であれば、つまりロボット１２から音声データを受信すれば、翻訳フラグ３３６がオフか否かを判断する。ステップＳ９３で“ＹＥＳ”であれば、つまり対話相手の使用言語と、オペレータの使用言語とが一致すれば、ステップＳ９９に進む。一方、ステップＳ９３で“ＮＯ”であれば、つまり翻訳フラグ３３６がオンであれば、ステップＳ９５で、オペレータ言語データ３３２に基づいて音声データを翻訳する。つまり、対話相手からの質問内容を、選択されたオペレータの使用言語に翻訳する。
【０１４６】
具体的には、翻訳辞書ＤＢ１４６から対話相手言語データ３３０が示す言語の辞書を読み出し、その読み出した辞書を用いてＤＰマッチング法やＨＭＭ（隠れマルコフモデル）法により音声認識する。続いて、音声認識された音声データは、周知の形態素解析の処理を施し、文章を構成する各単語が読み出される。そして、ＣＰＵ１３０は、翻訳処理を実行し、翻訳辞書ＤＢ１４６から対話相手言語データ３３０およびオペレータ言語データ３３２が示すそれぞれの言語の辞書を読み出し、読み出された文章をオペレータ言語データ３３２が示す言語に翻訳する。また、音声認識機能を含む翻訳機能（翻訳システム）としては、日英双方音声翻訳システム「ＡＴＲ−ＭＡＴＲＩＸ」を用いることができる。この「ＡＴＲ−ＭＡＴＲＩＸ」については、「Reaves et al.,"ATR-MATRIX: A Speech Translation System between English and Japanese", 情報処理学会論文集, Vol. 2, pp.87-88, 1999」に詳細に開示されている。
【０１４７】
次のステップＳ９７では、音声データの翻訳結果を文字列データとして操作端末１６に送信して、ステップＳ９９に進む。つまり、このステップＳ９７では、翻訳された音声データの結果を文字列データに置換えて、選択された操作端末１６に送信する。一方、操作端末１６は、文字列データを受信すると文字列データに対応する字文列をＬＣＤ１７６に表示する。
【０１４８】
なお、操作端末１６は、受信した文字列データを、Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ機能（ＴＴＳ機能）によって、スピーカ１６６から出力するようにしてもよい。さらに、翻訳結果は、文字列データでなく合成音声によって音声データとして操作端末１６に送信されてもよい。この場合に、操作端末１６は受信した音声データを対応すると、音声データに対応する音声をスピーカ１６６から出力するようにしてもよい。また、ＴＴＳ機能は、テキストを読み上げる前に、読み上げる言語を事前に特定する必要がある。
【０１４９】
ここで、ＴＴＳ機能としては、テキスト音声合成システム「ＸＩＭＥＲＡ」を用いることができる。この「ＸＩＭＥＲＡ」については、「“大規模コーパスを用いた音声合成システム XIMERA”， 電子情報通信学会 論文誌、vol. J89-D, no. 12, pp. 2688-2698 (2006-12).」に詳細に開示されている。
【０１５０】
ステップＳ９９では、操作端末１６から制御コマンドを受信したか否かを判断する。ステップＳ９９で“ＮＯ”であれば、つまり操作端末１６から制御コマンドを受信していなければ、全体処理にリターンする。一方、ステップＳ９９で“ＹＥＳ”であれば、つまり操作端末１６から制御コマンドを受信すれば、ステップＳ１０１で、翻訳フラグ３３６がオフか否かを判断する。ステップＳ１０１で“ＹＥＳ”であれば、つまり翻訳フラグ３３６がオフであれば、そのままステップＳ１０５に進む。一方、ステップＳ１０１で“ＮＯ”であれば、つまり翻訳フラグ３３６がオンであれば、ステップＳ１０３で、後述する発話コマンド翻訳処理（図１５参照）を実行し、ステップＳ１０５に進む。
【０１５１】
ステップＳ１０５では、後述する動作コマンド変換処理（図１６参照）を実行し、ステップＳ１０７で制御コマンドをロボット１２に送信して、図１１に示した全体処理にリターンする。つまり、翻訳フラグ３３６がオンの状態で、ロボット１２から音声データを受信すれば、その音声データを音声認識することで文章を読み出し、オペレータ言語データ３３２が示す言語に翻訳して、操作端末１６に送信する。さらに、操作端末１６から制御コマンドを受信すれば、制御コマンドに含まれる発話コマンドの発話内容を、対話相手言語データ３３０が示す言語に翻訳して、ロボット１２に送信する。また、動作コマンドは、翻訳フラグ３３６の状態に関わらず、文化データ３３４が示す文化の動作に変換されて、ロボット１２へ送信される。
【０１５２】
なお、動作コマンドの変換は必ずしも行う必要はなく、発話コマンドの翻訳のみが実行されるようにしてもよい。また、発話コマンドの翻訳を行わず、動作コマンドの変換のみを実行するようにしてもよい。
【０１５３】
図１５は、図１４に示したステップＳ１０３の発話コマンド翻訳処理のフロー図である。図１５に示すように、中央制御装置１４のＣＰＵ１３０は、発話コマンド翻訳処理を開始すると、ステップＳ１２１で、制御コマンドｃｏｍ［０，１，…，Ｎ］を配列ｃｏｍＴｍｐ［０，１，…，Ｎ］に格納する。つまり、制御コマンドを構成する発話コマンドおよび動作コマンドのそれぞれを、配列ｃｏｍＴｍｐ［０，１，…，Ｎ］に格納する。また、最大値Ｎは、制御コマンドに含まれる各コマンドの総数を意味する。
【０１５４】
次のステップＳ１２３では、変数ｉを初期化する。つまり、変数ｉに０を格納する。この変数ｉは、ｃｏｍＴｍｐ［０，１，…Ｎ］に含まれるコマンドｃｏｍＴｍｐ［ｉ］を識別するための変数である。次のステップＳ１２５では、変数ｉが最大値Ｎよりも小さいか否かを判断する。ステップＳ１２５で“ＹＥＳ”であれば、つまり変数ｉが最大値Ｎよりも小さければ、ステップＳ１２７で、ｃｏｍＴｍｐ［ｉ］が発話コマンドであるか否かを判断する。つまり、変数ｉで指定されたコマンドが発話コマンドであるか否かを判断する。
【０１５５】
このステップＳ１２７の処理では、各コマンドに含まれる最初のアンダスコア「＿」までの文字列を読み込み、「ＳＡＹ」の文字列であれば、発話コマンドであると判断し、「ＭＯＶＥ」の文字列であれば、動作コマンドであると判断する。
【０１５６】
ステップＳ１２７で“ＮＯ”であれば、つまりｃｏｍＴｍｐ［ｉ］が発話コマンドでなければ、そのままステップＳ１３１に進む。一方、ステップＳ１２７で“ＹＥＳ”であれば、つまりｃｏｍＴｍｐ［ｉ］が発話コマンドであれば、ステップＳ１２９で、ｃｏｍＴｍｐ［ｉ］の発話内容を対話相手言語データ３３０が示す言語に翻訳する。ロボット１２は、ＴＴＳ機能を備える。たとえば、発話ファイル名が「ＳＡＹ＿ｊｐｎ＿こんにちは．ｔｘｔ」であれば、ｃｏｍＴｍｐ［ｉ］には、「ＳＡＹ＿ｊｐｎ＿こんにちは．ｔｘｔ」が記憶される。そして、発話コマンド「こんにちは」が、対話相手言語データ３３０に基づいて日本語から英語に翻訳されると、発話ファイル名が「ＳＡＹ＿ｅｎｇ＿Ｈｅｌｌｏ．ｔｘｔ」の発話コマンドが作成される。
【０１５７】
また、先述したとおり、ＴＴＳ機能は、テキストを読み上げる前に読み上げる言語を事前に特定する必要がある。そのため、ＴＴＳ機能によって発話コマンドを実行する場合に、ＴＴＳ機能では、発話ファイル名に含まれる、「ｊｐｎ」や「ｅｎｇ」によって、発話コマンドの言語の種類を特定する。つまり、「ｊｐｎ」であれば日本語であり、「ｅｎｇ」であれば英語である。たとえば、「ＳＡＹ＿ｊｐｎ＿こんにちは．ｔｘｔ」の発話ファイル名で示される発話コマンドを実行する場合に、ＴＴＳ機能を実行すると、発話ファイル名に含まれる１番目と２番目のアンダスコアの間に含まれる識別子「ｊｐｎ」から、読み上げる言語の種類が「日本語」であると特定する。
【０１５８】
これによって、「挨拶」の制御コマンドにおいて、発話コマンドが日本語から英語に翻訳されると、発話コマンド「こんにちは」が発話コマンド「Ｈｅｌｌｏ」となる。また、発話コマンド「いい天気ですね」は、発話コマンド「Ｎｉｃｅ ｗｅａｔｈｅｒ」となる。
【０１５９】
なお、テキストを翻訳する機能としては、汎用のテキスト翻訳ソフトなどを用いることができる。
【０１６０】
次のステップＳ１３１では、変数ｉをインクリメント（ｉ＝ｉ＋１）し、ステップＳ１２５に戻る。つまり、変数ｉが次のコマンドを指定するように、変数ｉをインクリメントする。
【０１６１】
また、ステップＳ１２５で“ＮＯ”であれば、つまり変数ｉが最大値Ｎ以上であれば、ステップＳ１３３で、配列ｃｏｍＴｍｐ［０，１，…，Ｎ］を制御コマンドｃｏｍ［０，１，…，Ｎ］をに上書きし、図１３に示す通信内容制御処理にリターンする。つまり、このステップＳ１３３では、翻訳される前の発話コマンドを翻訳後の発話コマンドに置き換える。たとえば、発話コマンドが日本語から英語に翻訳される場合に、「挨拶」の制御コマンドの発話コマンド「こんにちは」および発話コマンド「いい天気ですね」のそれぞれは、発話コマンド「Ｈｅｌｌｏ」および発話コマンド「Ｎｉｃｅ ｗｅａｔｈｅｒ」に置き換えられる。
【０１６２】
図１６は、図１４に示したステップＳ１０５の動作コマンド変換処理のフロー図である。図１６に示すように、中央制御装置１４のＣＰＵ１３０は、動作コマンド変換処理を開始すると、ステップＳ１５１で、制御コマンドｃｏｍ［０，１，…，Ｎ］を配列ｃｏｍＴｍｐ［０，１，…，Ｎ］に格納する。
【０１６３】
次のステップＳ１５３では、変数ｊを初期化する。つまり、変数ｊに０を格納する。この、変数ｊは、動作コマンド変換処理におけるｃｏｍＴｍｐ［０，１，…，Ｎ］に含まれるコマンドｃｏｍＴｍｐ［ｊ］を識別するための変数である。次のステップＳ１５５では、変数ｊが最大値Ｎよりも小さいか否かを判断する。ステップＳ１５５で“ＹＥＳ”であれば、つまり変数ｊが最大値Ｎよりも小さければ、ステップＳ１５７で、ｃｏｍＴｍｐ［ｊ］が動作コマンドであるか否かを判断する。つまり、変数ｊで指定されたコマンドが動作コマンドであるか否かを判断する。
【０１６４】
ステップＳ１５７で“ＮＯ”であれば、つまりｃｏｍＴｍｐ［ｊ］が動作コマンドでなければ、そのままステップＳ１６１に進む。一方、ステップＳ１５７で“ＹＥＳ”であれば、つまりｃｏｍＴｍｐ［ｊ］が動作コマンドであれば、ステップＳ１５９で、ｃｏｍＴｍｐ［ｊ］の動作内容を動作決定ＤＢ１４４および文化データ３３４に基づいて変換する。つまり、動作コマンドを対話相手に応じた動作に変換する。たとえば、操作端末１６から送信された動作コマンドが「お辞儀」（ＭＯＶＥ＿ｏｊｉｇｉ．ｔｘｔ）であり、文化データ３３４が示す対話相手の文化が「ＵＳＡ」であれば、動作決定テーブル（図７参照）を参照して、動作の欄に「お辞儀」が記憶され、かつ文化の欄に「ＵＳＡ」が記憶されている動作ファイル名が選択され、動作コマンド「お辞儀」の動作ファイル名は、「ＭＯＶＥ＿ｏｊｉｇｉ＿ｕｓａ．ｔｘｔ」に決定される。よって、ｃｏｍＴｍｐ［ｊ］に格納される「ＭＯＶＥ＿ｏｊｉｇｉ．ｔｘｔ」は、「ＭＯＶＥ＿ｏｊｉｇｉ＿ｕｓａ．ｔｘｔ」に置き換えられる。次のステップＳ１６１では、変数ｊをインクリメント（ｊ＝ｊ＋１）し、ステップＳ１３５に戻る。
【０１６５】
ここで、ステップＳ１５５で“ＮＯ”であれば、つまり最大値Ｎより変数ｊが小さくなければ、ステップＳ１６３で、配列ｃｏｍＴｍｐ［０，１，…，Ｎ］を制御コマンドｃｏｍ［０，１，…，Ｎ］を配列ｃｏｍＴｍｐ［０，１，…，Ｎ］に上書きし、図１４に示す通信内容制御処理にリターンする。つまり、このステップＳ１６３では、変換される前の動作コマンドを変換後の動作コマンドに置き換える。
【０１６６】
たとえば、動作コマンドがアメリカ合衆国の文化に対応する動作に変換される場合に、「挨拶」の制御コマンドにおける動作コマンド「ＭＯＶＥ＿ｏｊｉｇｉ．ｔｘｔ」（お辞儀）は、動作コマンド「ＭＯＶＥ＿ｏｊｉｇｉ＿ｕｓａ．ｔｘｔ」（お辞儀）に置き換えられる。
【０１６７】
図１７は、ロボット１２のＣＰＵ８０の全体処理のフロー図である。図１７に示すように、ロボット１２のＣＰＵ８０は、全体処理を開始すると、ステップＳ３０１で、後述するオペレータ呼出条件判定処理（図１８参照）を実行し、ステップＳ３０３で、オペレータ呼出フラグがオンであるか否かを判断する。図示は省略するが、オペレータの呼出フラグは、１ビットのレジスタで構成され、メモリ８４（ＲＡＭ）に設けられる。この呼出フラグは、オペレータ呼出条件判定処理を実行することにより、オン／オフされる。具体的には、オペレータ呼出条件を満たす場合には、呼出フラグはオンされ、逆に、オペレータ呼出条件を満たさない場合には、呼出フラグはオフされる。呼出フラグがオンされると、レジスタにデータ値「１」が設定され、逆に、呼出フラグがオフされると、レジスタにデータ値「０」が設定される。
【０１６８】
ステップＳ３０３で“ＮＯ”であれば、つまりオペレータ呼出フラグがオフであればステップＳ３１９に進む。一方、ステップＳ３０３で“ＹＥＳ”であれば、つまり呼出フラグがオンであれば、ステップＳ３０５で、呼出要求を送信し、ステップＳ３０７に進む。つまり、このステップＳ３０５では、オペレータの呼出要求を中央制御装置１４に対して送信し、当該要求に対する応答の受信を待つ。また、ロボット１２は、オペレータの呼出要求を送信するとともに、対話相手が発話していれば、その発話による音声を取得し、音声に対応する音声データを中央制御装置１４に送信する。さらに、ロボット１２は、対話相手が装着する無線タグ１８から取得した対話相手ＩＤを中央制御装置１４に送信する。
【０１６９】
続いて、ステップＳ３０７では、音声の出力指示を受信したか否かを判断する。つまり、このステップＳ３０７では、中央制御装置１４から音声の出力指示（ステップＳ４１）を受信したか否かを判断する。ステップＳ３０７で“ＮＯ”であれば、そのままステップＳ３１３に進む。一方、ステップＳ３０７で“ＹＥＳ”であれば、ステップＳ３０９で、音声の出力指示に対応する発話を実行し、ステップＳ３１１に進む。つまり、このステップＳ３０９では、「何か御用でしょうか？」などのように、対話相手に発話させるような音声をスピーカ６４から出力する。次のステップＳ３１１では、対話相手の音声を取得して対応する音声データを送信し、ステップＳ３１３に進む。つまり、マイク６６によって取得した対話相手の音声に対応する音声データを中央制御装置１４に送信する。
【０１７０】
ステップＳ３１３では、操作コマンドを受信したか否かを判断する。ステップＳ３１３で“ＮＯ”であれば、つまり操作コマンドを受信しなかった場合には、ステップＳ３０７に戻る。一方、ステップＳ３１３で“ＹＥＳ”であれば、つまり操作端末１６からの操作コマンドを受信した場合には、ステップＳ３１５で、遠隔操作終了要求があったか否かを判断する。つまり、ステップＳ３１３で受信した操作コマンドが、遠隔操作終了コマンドであったか否かを判断する。
【０１７１】
ステップＳ３１５で“ＹＥＳ”であれば、つまり遠隔操作の終了要求を受信した場合には、ステップＳ３２１に進む。一方、ステップＳ３１５で“ＮＯ”であれば、つまりコミュニケーション行動を指示する操作コマンドを受信した場合には、ステップＳ３１７で、受信した操作コマンドに応じた動作を実行して、ステップＳ３０７に戻る。このステップＳ３１７の処理によって、ロボット１２の動作が遠隔操作に基づいて制御される。たとえば、スピーカ６４およびマイク６６を用いた操作端末１６を使用するオペレータと対話相手との会話、お辞儀や指差しなどの身体動作および前進や旋回などの移動を実行する。
【０１７２】
また、ステップＳ３１９では、自立行動処理を実行し、ステップＳ３２１に進む。なお、自律行動処理では、自立制御によって必要に応じて人間との間でコミュニケーション行動を実行する。たとえば、人間と対面した場合には、当該人間に挨拶をしたり、また、人間に道を尋ねられた場合には、道案内を行ったりする。
【０１７３】
続いて、ステップＳ３２１では、停止命令が有るかどうかを判断する。たとえば、停止命令（停止コマンド）は、オペレータの操作に従って、操作端末１６からネットワーク１００を介してロボット１２に送信される。ただし、ロボット１２やロボット１２が配置される環境に停止ボタンを設けておき、当該停止ボタンを操作することにより、ロボット１２に停止コマンドを入力するようにしてもよい。ステップＳ３２１で“ＹＥＳ”であれば、つまり停止命令が有れば、そのまま全体処理を終了する。一方、ステップＳ３２１で“ＮＯ”であれば、つまり停止命令が無ければ、ステップＳ３０１に戻る。
【０１７４】
図１８は、図１７に示したステップＳ３０１のオペレータ呼出条件判定処理のフロー図である。図１８に示すように、ロボット１２のＣＰＵ８０は、オペレータ呼出条件判定処理を開始すると、ステップＳ３４１で、呼出条件フラグをオフし、ステップＳ３４３で、周囲情報を検出する。つまり、オペレータ呼出条件の判断に必要なセンサ（赤外線距離センサ４０、全方位カメラ４６、マイク６６、眼カメラ７０、接触センサ５８および無線タグ読み取り装置１１６）の出力を検出し、周囲および自身の状況（状態）を認識する。
【０１７５】
続いてステップＳ３４５では、特定の文章や単語を検出したか否かを判断する。ステップＳ３４５で“ＹＥＳ”であれば、つまり、特定の文章や単語を検出すれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９で呼出条件フラグをオンして、図１７に示したロボット１２の全体処理にリターンする。たとえば、特定の文章や単語としては、ロボット１２が相手（対話相手）の意図を理解できないことを意味する文章や単語、たとえば、「違う」、「責任者を呼んで」、「そうじゃないんだけど」および「わからないかなあ」などが考えられる。
【０１７６】
一方、ステップＳ３４５で“ＮＯ”であれば、つまり特定の文章や単語を検出していなければ、ステップＳ３４７で、特定の顔の表情を取得したか否かを判断する。たとえば、特定の表情とは、人の顔表情認識で怒りが検出されたこと、顔特定機能で特定の人を検出したことが考えられる。ステップＳ３４７で“ＹＥＳ”であれば、つまり、特定の顔の表情を取得すれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９に進む。
【０１７７】
また、ステップＳ３４７で“ＮＯ”であれば、つまり、特定の顔の表情を取得していなければ、ステップＳ３４９で特定の人間を検出したか否かを判断する。たとえば、特定の人物を検出する方法としては、特定の対話相手ＩＤの無線タグ１８を検出したこと（たとえば、ＶＩＰとして登録された人が現れたこと）などが考えられる。ステップＳ３４９で“ＹＥＳ”であれば、つまり特定の人間を検出すれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９へ進む。一方、ステップＳ３４９で“ＮＯ”であれば、つまり、特定の人間を検出していなければ、ステップＳ３５１で、人間と長時間会話している状況であるか否かを判断する。たとえば、赤外線距離センサ４０で取得された距離が１ｍ以内である状態が５分以上になれば“ＹＥＳ”と判断されるようにしてもよい。
【０１７８】
ステップＳ３５１で“ＹＥＳ”であれば、つまり、人間と長時間会話している状況であれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９に進む。一方、ステップＳ３５１で“ＮＯ”であれば、つまり人間と長時間会話している状況でなければ、ステップＳ３５３で、行く手を塞がれた状況であるか否かを判断する。ステップＳ３５３で“ＹＥＳ”であれば、つまり行く手を塞がれた状況であれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９に進む。一方、ステップＳ３５３で“ＮＯ”であれば、つまり行く手を塞がれていない状況であれば、ステップＳ３５５で周囲に人が多く存在する状況であるか否かを判断する。ここで、周囲に人が多く存在する状態は、ロボット１２または周囲の環境に設けられた他のセンサの出力に基づいて検出されるようにしてもよい。
【０１７９】
ステップＳ３５５で“ＹＥＳ”であれば、つまり周囲に人が多く存在する状況であれば、オペレータ呼出条件を満たすと判断して、ステップＳ３５９に進む。一方、ステップＳ３５５で“ＮＯ”であれば、つまり周囲に人が多く存在していない状況であれば、ステップＳ３５７で、オペレータ呼出ボタンが押されたかどうかを判断する。なお、オペレータ呼び出しボタンはロボット１２または周囲の環境に設けられてもよい。ステップＳ３５７で“ＹＥＳ”であれば、つまりオペレータ呼出条件判定を満たすと判断して、ステップＳ３５９に進む。一方、ステップＳ３３７で“ＮＯ”であれば、つまりオペレータ呼出ボタンが押されていなければ、図１７に示したロボット１２の全体処理にリターンする。
【０１８０】
図１９は、操作端末１６のＣＰＵ１６０の遠隔操作処理のフロー図である。図１９に示すように、操作端末１６のＣＰＵ１６０は、ステップＳ４０１では、中央制御装置１４からの遠隔操作依頼が有るか否かを判断する。具体的には、中央制御装置１４から送信されたロボット１２のＩＰアドレスを含む遠隔操作依頼を受信したか否かが判断される。
【０１８１】
ステップＳ４０１で“ＮＯ”であれば、つまり中央制御装置１４からの遠隔操作依頼が無ければ、そのまま同じステップＳ４０１に戻る。ただし、このステップＳ４０１の処理は一定時間（たとえば、３０秒）毎に実行される。一方、ステップＳ４０１で“ＹＥＳ”であれば、すなわち、中央制御装置１４からの遠隔操作依頼を有れば、ステップＳ４０３で、ＬＣＤ１７６に図９に示したような遠隔操作画面２１０が表示される。
【０１８２】
なお、この遠隔操作画面２１０を表示した当初では、当該操作端末１６を呼び出したロボット１２のカメラ画像および当該ロボット１２に関する情報は取得されていないので、ロボットカメラ画像２１２の内容の表示はない。さらに、ステップＳ４０３の処理が終了すると、続くステップＳ４０５−Ｓ４１５の処理が一定時間ごとに繰り返し実行される。
【０１８３】
続いて、ステップＳ４０５では、ロボット情報とセンサ情報（音声情報、カメラ情報および距離情報など）との受信および更新が行われる。つまり、中央制御装置１４またはロボット１２からロボット情報を受信して、遠隔操作画面２１０のロボット情報２１４の表示を更新する。さらに、ロボット１２から音声データを受信して、操作端末１６のスピーカ１６６から当該音声情報を出力し、ロボット１２からカメラ情報を受信して、遠隔操作画面のロボットカメラ画像２１２の表示を更新し、ロボット１２から距離情報を受信して、障害物（対話相手）までの距離を表示する。
【０１８４】
なお、ロボット情報２１４を最初に表示する際には、当該ロボット１２の位置、名前および対話相手の情報などは中央制御装置１４から取得される。また、地図表示のためのロボット１２および相手の位置情報は当該ロボット１２から取得される。また、ロボット１２と当該操作端末１６との通信速度によっては、ロボット１２から送信されないセンサ情報があるため、かかる場合には、一部または全部のセンサ情報についての表示に制限がかかるようにしてもよい。
【０１８５】
ステップＳ４０７では、文字列データを受信したか否かを判断する。つまり、このステップＳ４０７では、中央制御装置１４から翻訳された文字列（ステップＳ９７）を受信したか否かを判断する。ステップＳ４０７で“ＮＯ”であれば、つまり文字列データを受信していなければ、そのままステップＳ４１１に進む。一方、ステップＳ４０７で“ＹＥＳ”であれば、つまり文字列データを受信していれば、ステップＳ４０９で、文字列データに対応する文字をＬＣＤ１７６に表示し、ステップＳ４１１に進む。つまり、このステップＳ４０９では、中央制御装置１４で翻訳された対話相手が発話した内容の翻訳結果がＬＣＤ１７６に表示される。
【０１８６】
ステップＳ４１１では、操作コマンドの入力がされたか否かを判断する。たとえば、入力装置１７０からの入力データと操作パネル２１６のボタン配置データとに基づいて、オペレータによって操作コマンドボタンが選択されたか否かが判断される。ステップＳ４１１で“ＮＯ”であれば、つまり操作コマンドの入力が無い場合には、そのままステップＳ４０５に戻る。一方、ステップＳ４１１で“ＹＥＳ”であれば、すなわち、操作コマンドの入力があった場合には、ステップＳ４１３で、選択された操作コマンドを特定し、当該操作コマンドをロボット１２に送信する。そして、ステップＳ４１５で、遠隔操作の終了要求があったか否かを判断する。つまり、入力された操作コマンドが遠隔操作の終了を指示するコマンド（終了コマンド）であるか否かを判断する。
【０１８７】
ステップＳ４１５で“ＮＯ”であれば、すなわち終了コマンドが入力されていない場合には、そのままステップＳ４０５に戻る。一方、ステップＳ４１５で“ＹＥＳ”であれば、すなわち、オペレータによって終了コマンドが入力された場合には、遠隔操作処理を終了する。
【０１８８】
この実施例によれば、中制御装置１４は、ロボット１２からの呼出要求があると、対話相手が発話した音声などから対話相手の使用言語を特定し、特定された言語に基づいて対話相手の文化の動作を特定する。さらに、中央制御装置１４は、ＩＤＬＥ状態のオペレータが使用する操作端末１６に、ロボット１２の遠隔操作を依頼の要求を送信するとともに、対話相手の言語とオペレータの使用言語とが一致するか否かを判断する。そして、対話相手の言語とオペレータの使用言語とが一致していない場合に、操作端末１６から中央制御装置１４に制御コマンドが送信されると、中央制御装置１４は、制御コマンドに含まれる発話コマンドを対話相手の言語に翻訳し、動作コマンドを対話相手の文化の動作に変換して、ロボット１２に送信する。
【０１８９】
これによって、ロボット１２は、相手の文化で行われる身体動作を交えて、対話相手の文化の言語を発話するため、対話相手の文化によらず、オペレータが適切に対応することができる。
【０１９０】
なお、本実施例では、赤外線距離センサ４０を用いているが、赤外線距離センサ４０に代えて、超音波距離センサやミリ波レーダなどを用いてロボット１２と対話相手との距離を計測してもよい。また、オペレータ選択処理では、２つの言語の「らしさ演算」を行っているが、必要に応じて言語の数を増やしてもよい。
【０１９１】
また、ロボット１２のオペレータの呼出フラグは、体表に設けた接触などを検出するセンサ（たとえば、皮膚センサ）で、そのロボット１２自身が殴られたことを検出し、オンになるようにしてもよい。さらに、中央制御装置１４の機能を端末１６に持たせることによって、中央制御装置１４を介さずに操作端末１６がロボット１２と直接通信するようにしてもよい。
【０１９２】
また、異なる言語間で翻訳するようにしたが、地域で異なる方言を変換するようにしてもよい。たとえば、関西弁から東北弁または東北弁から関西弁に変換できるようにしてもよい。同様にして、文化の違いによらず、地域で異なる身振り手振りについて変換するようにしてもよい。
【０１９３】
さらに、この実施例では、中央制御装置１４で、制御コマンドにおける、発話コマンドの翻訳処理および動作コマンドの変換処理を行うようにしたが、操作端末１６またはロボット１２で行うようにしてもよい。
【０１９４】
たとえば、操作端末１６で制御コマンドにおける、発話コマンドの翻訳処理および動作コマンドの変換処理を行う場合には、操作端末１６のＣＰＵ１６０では、ステップＳ３１−Ｓ５５（図１２参照）と、ステップＳ５９−Ｓ７３（図１３参照）と、ステップＳ１０１−Ｓ１０７（図１４参照）とに示す処理および発話コマンド翻訳処理（図１５参照）と動作コマンド変換処理（図１６参照）とが行われるようにすればよい。なお、ステップＳ４１３では、オペレータに入力されたコマンドは、ロボット１２に送信せずに、発話コマンド翻訳処理と動作コマンド変換処理とを行ってから、ロボット１２に送信するようにする。
【０１９５】
また、ロボット１２で制御コマンドにおける、発話コマンドの翻訳処理および動作コマンドの変換処理を行う場合には、ロボット１２のＣＰＵ８０では、ステップＳ３３−５５と、ステップＳ５９−Ｓ７３と、ステップＳ１０１−Ｓ１０７とに、示す処理および発話コマンド翻訳処理と動作コマンド変換処理とが行われるようにすればよい。なお、ステップＳ４１では、音声の出力指示の要求は送信せずに、ステップＳ３０９の処理が実行される。また、ステップＳ３１７の処理が実行される場合には、受信した制御コマンドは、発話コマンド翻訳処理と動作コマンド変換処理とを行ってから実行する。
【図面の簡単な説明】
【０１９６】
【図１】図１はこの発明の一実施例のロボット遠隔操作システムの概要を示す図解図である。
【図２】図２は図１に示すロボットの外観を正面から見た図解図である。
【図３】図３は図１に示すロボットの電気的な構成を示すブロック図である。
【図４】図４は図１に示す中央制御装置の電気的な構成を示すブロック図である。
【図５】図５は図１に示す中央制御装置のデータベースに記憶されるテーブルの一例を示す図解図である。
【図６】図６は図１に示す中央制御装置のデータベースに記憶される他のテーブルの一例を示す図解図である。
【図７】図７は図１に示す中央制御装置のデータベースに記憶されるその他のテーブルの一例を示す図解図である。
【図８】図８は図１に示す操作端末の電気的な構成を示すブロック図である。
【図９】図９は図１に示す操作端末の表示装置に表示される遠隔操作画面の一例を示す図解図である。
【図１０】図１０は図４に示す中央制御装置のメモリのメモリマップの一例を示す図解図である。
【図１１】図１１は図１に示す中央制御措置のＣＰＵの全体処理を示すフロー図である。
【図１２】図１２は図１に示す中央制御措置のＣＰＵのオペレータ選択処理の一部を示すフロー図である。
【図１３】図１３は図１に示す中央制御措置のＣＰＵのオペレータ選択処理の他の一部であって、図１２に後続するフロー図である。
【図１４】図１４は図１に示す中央制御措置のＣＰＵの通信内容制御処理を示すフロー図である。
【図１５】図１５は図１に示す中央制御措置のＣＰＵの発話コマンド翻訳処理を示すフロー図である。
【図１６】図１６は図１に示す中央制御措置のＣＰＵの動作コマンド変換処理を示すフロー図である。
【図１７】図１７は図１に示すロボットのＣＰＵの全体処理を示すフロー図である。
【図１８】図１８は図１に示すロボットのＣＰＵのオペレータ呼出条件判定処理を示すフロー図である。
【図１９】図１９は図１に示す操作端末のＣＰＵの遠隔操作処理を示すフロー図である。
【符号の説明】
【０１９７】
１０ …ロボット遠隔操作システム
１２ …コミュニケーションロボット
１４ …中央制御装置
１６ …操作端末
１８ …無線タグ
４０ …赤外線距離センサ
４６ …全方位カメラ
５８ …接触センサ
６４ …スピーカ
６６ …マイク
７０ …眼カメラ
８０ …ＣＰＵ
８２ …バス
８４ …メモリ
８６ …モータ制御ボード
８８ …センサ入力／出力ボード
９０ …音声入力／出力ボード
１００ …ネットワーク
１１２ …通信ＬＡＮボード
１１４ …無線通信装置
１１６ …無線タグ読取装置
１３０ …ＣＰＵ
１３２ …バス
１３４ …メモリ
１４８ …通信ＬＡＮボード
１５０ …無線通信装置
１６０ …ＣＰＵ
１６２ …ＬＣＤドライバ
１６４ …メモリ
１６６ …スピーカ
１６８ …マイク
１７０ …入力装置
１７２ …通信ＬＡＮボード
１７４ …無線通信装置
１７６ …ＬＣＤ
【特許請求の範囲】
【請求項１】
遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介して前記ロボットの遠隔操作を行う複数の操作端末と、前記ネットワークを介して前記ロボットと前記複数の操作端末のうち１台との仲介を行う中央制御装置とを備える、ロボット遠隔操作システムにおいて、
前記ロボットは、
前記人間の個人情報を取得する個人情報取得手段、
前記個人情報取得手段によって取得された前記個人情報を前記中央制御装置に送信する個人情報送信手段、
前記中央制御装置からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、および
前記第１遠隔操作情報受信手段によって受信した前記第１遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備え、
前記操作端末は、
前記ロボットを遠隔操作するための第２遠隔操作情報を前記中央制御装置に送信する第２遠隔操作送信手段を備え、
前記中央制御装置は、
前記操作端末の操作者のコミュニケーション情報を記憶する記憶媒体、
前記個人情報送信手段によって送信された個人情報を受信する個人情報受信手段、
前記個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、
前記第２遠隔操作送信手段によって送信された第２遠隔操作情報を受信する第２遠隔操作情報受信手段、
前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報と前記記憶媒体によって記憶された前記操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、
前記判断手段によって判断された判断結果が一致しないときに、前記第２遠隔操作情報受信手段によって受信された第２遠隔操作情報を前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する変換手段、および
前記変換手段によって変換された前記第１遠隔操作情報を前記ロボットに送信する第１遠隔操作情報送信手段を備える、ロボット遠隔操作システム。
【請求項２】
前記コミュニケーション情報は、言語情報を含み、
前記コミュニケーション情報特定手段は、前記個人情報受信手段によって受信された個人情報から言語情報を特定する言語情報特定手段を含み、
前記判断手段は、前記言語情報特定手段によって特定された言語情報と前記記憶媒体によって記憶された前記操作端末の操作者の言語情報とが一致するか否かを判断し、
前記変換手段は、前記判断手段によって判断された判断結果が一致しないときに、前記第２遠隔操作情報に含まれる発話の情報を前記言語特定手段によって特定された言語情報に基づいて翻訳する翻訳手段を含む、請求項１記載のロボット遠隔操作システム。
【請求項３】
前記コミュニケーション情報は、身体動作の種類の情報を含み、
前記コミュニケーション情報特定手段は、前記個人情報受信手段によって受信された個人情報から身体動作の種類の情報を特定する身体動作種類情報特定手段を含み、
前記比較手段は、前記身体動作種類情報特定手段によって特定された身体動作の種類の情報と前記記憶媒体によって記憶された前記操作端末の操作者の身体動作の種類の情報とが一致するか否かを判断し、
前記変換手段は、前記判断手段によって判断された判断結果が一致しないときに、前記第２遠隔操作情報に含まれる動作の情報を身体動作種類情報特定手段によって特定された身体動作の種類の情報に基づいて変換する動作変換手段を含む、請求項１または２記載のロボット遠隔操作システム。
【請求項４】
前記個人情報取得手段は、人間の音声を取得する音声取得手段を含み、
前記個人情報送信手段は、さらに前記音声取得手段によって取得された音声を送信し、
前記個人情報受信手段は、さらに前記個人情報送信手段によって送信された音声を受信し、
前記言語情報特定手段は、前記個人情報受信手段によって受信された人間の音声から言語情報を特定する音声言語情報特定手段を含む、請求項２または３記載のロボット遠隔操作システム。
【請求項５】
前記中央制御装置は、
前記音声取得手段によって人間の音声が取得されていないときに、前記ロボットに発話を指示する要求信号を送信する要求信号送信手段をさらに備え、
前記ロボットは、
前記要求信号送信手段によって送信された要求信号を受信する要求信号受信手段、および
前記要求信号受信手段によって受信された要求信号に応じて音声を出力する音声出力手段をさらに備える、請求項４記載のロボット遠隔操作システム。
【請求項６】
前記個人情報取得手段は、人間が携帯する識別情報タグから識別情報を取得する識別情報取得手段を含み、
前記個人情報送信手段は、さらに前記識別情報取得手段によって取得された識別情報を送信し、
前記個人情報受信手段は、さらに前記個人情報送信手段によって送信された識別情報を受信し、
前記言語情報特定手段は、前記個人情報受信手段によって受信された識別情報から少なくとも言語情報を特定する識別言語情報特定手段を含む、請求項２ないし５のいずれかに記載のロボット遠隔操作システム。
【請求項７】
前記個人情報取得手段は、人間が携帯する識別情報タグから識別情報を取得する識別情報取得手段を含み、
前記個人情報送信手段は、さらに前記識別情報取得手段によって取得された識別情報を送信し、
前記個人情報受信手段は、さらに前記個人情報送信手段によって送信された識別情報を受信し、
前記身体動作種類決定手段は、前記個人情報受信手段によって受信された識別情報からさらに身体動作の種類の情報を決定する識別情報身体動作種類決定手段を含む、請求項３記載のロボット遠隔操作システム。
【請求項８】
前記中央制御装置は、
前記判断手段によって判断された判断結果が一致しないときに、前記個人情報受信手段によって受信された音声を前記記憶媒体によって記憶された前記操作端末の操作者の言語情報に基づいて翻訳する音声翻訳手段、および
前記音声翻訳手段によって翻訳された翻訳結果を前記操作端末に送信する翻訳結果送信手段をさらに備え、
前記操作端末は、
前記翻訳音声結果送信手段によって送信された翻訳結果を受信する翻訳結果受信手段、および
前記翻訳結果受信手段によって受信された翻訳結果を出力する出力手段をさらに備える、請求項４ないし７のいずれかに記載のロボット遠隔操作システム。
【請求項９】
遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介して前記ロボットの遠隔操作を行う複数の操作端末と、前記ネットワークを介して前記ロボットと前記複数の操作端末のうち１台のとの仲介を行う中央制御装置とを備える、ロボット遠隔操作システムにおいて、
前記ロボットは、
前記人間の個人情報を取得する個人情報取得手段、
前記個人情報取得手段によって取得された前記個人情報を前記操作端末に送信する個人情報送信手段、
前記操作端末からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、および
前記第１遠隔操作情報受信手段によって受信した前記第１遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備え、
前記操作端末は、
前記操作端末自身の操作者のコミュニケーション情報を記憶する記憶媒体、
前記個人情報送信手段によって送信された個人情報を受信する個人情報受信手段、
前記個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、
前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報と前記記憶媒体によって記憶された前記操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、
前記判断手段によって判断された判断結果が一致しないときに、前記ロボットを遠隔操作するための第２遠隔操作情報を前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する変換手段、および
前記変換手段によって変換された前記第１遠隔操作情報を前記ロボットに送信する第１遠隔操作情報送信手段を備える、ロボット遠隔操作システム。
【請求項１０】
遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介して前記ロボットの遠隔操作を行う複数の操作端末と、前記ネットワークを介して前記ロボットと前記複数の操作端末のうち１台との仲介を行う中央制御装置とを備える、ロボット遠隔操作システムにおいて、
前記操作端末は、
前記ロボットを遠隔操作するための第１遠隔操作情報を前記ロボットに送信する第１遠隔操作送信手段を備え、
前記ロボットは、
前記操作端末の操作者のコミュニケーション情報を記憶する記憶媒体、
前記人間の個人情報を取得する個人情報取得手段、
前記個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、
前記操作端末からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、
前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報と前記記憶媒体によって記憶された前記操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、
前記判断手段によって判断された判断結果が一致しないときに、前記第１遠隔操作情報受信手段によって受信された第１遠隔操作情報を前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第２遠隔操作情報に変換する変換手段、および
前記変換手段によって変換された前記第２遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備える、ロボット遠隔操作システム。
【請求項１】
遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介して前記ロボットの遠隔操作を行う複数の操作端末と、前記ネットワークを介して前記ロボットと前記複数の操作端末のうち１台との仲介を行う中央制御装置とを備える、ロボット遠隔操作システムにおいて、
前記ロボットは、
前記人間の個人情報を取得する個人情報取得手段、
前記個人情報取得手段によって取得された前記個人情報を前記中央制御装置に送信する個人情報送信手段、
前記中央制御装置からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、および
前記第１遠隔操作情報受信手段によって受信した前記第１遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備え、
前記操作端末は、
前記ロボットを遠隔操作するための第２遠隔操作情報を前記中央制御装置に送信する第２遠隔操作送信手段を備え、
前記中央制御装置は、
前記操作端末の操作者のコミュニケーション情報を記憶する記憶媒体、
前記個人情報送信手段によって送信された個人情報を受信する個人情報受信手段、
前記個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、
前記第２遠隔操作送信手段によって送信された第２遠隔操作情報を受信する第２遠隔操作情報受信手段、
前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報と前記記憶媒体によって記憶された前記操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、
前記判断手段によって判断された判断結果が一致しないときに、前記第２遠隔操作情報受信手段によって受信された第２遠隔操作情報を前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する変換手段、および
前記変換手段によって変換された前記第１遠隔操作情報を前記ロボットに送信する第１遠隔操作情報送信手段を備える、ロボット遠隔操作システム。
【請求項２】
前記コミュニケーション情報は、言語情報を含み、
前記コミュニケーション情報特定手段は、前記個人情報受信手段によって受信された個人情報から言語情報を特定する言語情報特定手段を含み、
前記判断手段は、前記言語情報特定手段によって特定された言語情報と前記記憶媒体によって記憶された前記操作端末の操作者の言語情報とが一致するか否かを判断し、
前記変換手段は、前記判断手段によって判断された判断結果が一致しないときに、前記第２遠隔操作情報に含まれる発話の情報を前記言語特定手段によって特定された言語情報に基づいて翻訳する翻訳手段を含む、請求項１記載のロボット遠隔操作システム。
【請求項３】
前記コミュニケーション情報は、身体動作の種類の情報を含み、
前記コミュニケーション情報特定手段は、前記個人情報受信手段によって受信された個人情報から身体動作の種類の情報を特定する身体動作種類情報特定手段を含み、
前記比較手段は、前記身体動作種類情報特定手段によって特定された身体動作の種類の情報と前記記憶媒体によって記憶された前記操作端末の操作者の身体動作の種類の情報とが一致するか否かを判断し、
前記変換手段は、前記判断手段によって判断された判断結果が一致しないときに、前記第２遠隔操作情報に含まれる動作の情報を身体動作種類情報特定手段によって特定された身体動作の種類の情報に基づいて変換する動作変換手段を含む、請求項１または２記載のロボット遠隔操作システム。
【請求項４】
前記個人情報取得手段は、人間の音声を取得する音声取得手段を含み、
前記個人情報送信手段は、さらに前記音声取得手段によって取得された音声を送信し、
前記個人情報受信手段は、さらに前記個人情報送信手段によって送信された音声を受信し、
前記言語情報特定手段は、前記個人情報受信手段によって受信された人間の音声から言語情報を特定する音声言語情報特定手段を含む、請求項２または３記載のロボット遠隔操作システム。
【請求項５】
前記中央制御装置は、
前記音声取得手段によって人間の音声が取得されていないときに、前記ロボットに発話を指示する要求信号を送信する要求信号送信手段をさらに備え、
前記ロボットは、
前記要求信号送信手段によって送信された要求信号を受信する要求信号受信手段、および
前記要求信号受信手段によって受信された要求信号に応じて音声を出力する音声出力手段をさらに備える、請求項４記載のロボット遠隔操作システム。
【請求項６】
前記個人情報取得手段は、人間が携帯する識別情報タグから識別情報を取得する識別情報取得手段を含み、
前記個人情報送信手段は、さらに前記識別情報取得手段によって取得された識別情報を送信し、
前記個人情報受信手段は、さらに前記個人情報送信手段によって送信された識別情報を受信し、
前記言語情報特定手段は、前記個人情報受信手段によって受信された識別情報から少なくとも言語情報を特定する識別言語情報特定手段を含む、請求項２ないし５のいずれかに記載のロボット遠隔操作システム。
【請求項７】
前記個人情報取得手段は、人間が携帯する識別情報タグから識別情報を取得する識別情報取得手段を含み、
前記個人情報送信手段は、さらに前記識別情報取得手段によって取得された識別情報を送信し、
前記個人情報受信手段は、さらに前記個人情報送信手段によって送信された識別情報を受信し、
前記身体動作種類決定手段は、前記個人情報受信手段によって受信された識別情報からさらに身体動作の種類の情報を決定する識別情報身体動作種類決定手段を含む、請求項３記載のロボット遠隔操作システム。
【請求項８】
前記中央制御装置は、
前記判断手段によって判断された判断結果が一致しないときに、前記個人情報受信手段によって受信された音声を前記記憶媒体によって記憶された前記操作端末の操作者の言語情報に基づいて翻訳する音声翻訳手段、および
前記音声翻訳手段によって翻訳された翻訳結果を前記操作端末に送信する翻訳結果送信手段をさらに備え、
前記操作端末は、
前記翻訳音声結果送信手段によって送信された翻訳結果を受信する翻訳結果受信手段、および
前記翻訳結果受信手段によって受信された翻訳結果を出力する出力手段をさらに備える、請求項４ないし７のいずれかに記載のロボット遠隔操作システム。
【請求項９】
遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介して前記ロボットの遠隔操作を行う複数の操作端末と、前記ネットワークを介して前記ロボットと前記複数の操作端末のうち１台のとの仲介を行う中央制御装置とを備える、ロボット遠隔操作システムにおいて、
前記ロボットは、
前記人間の個人情報を取得する個人情報取得手段、
前記個人情報取得手段によって取得された前記個人情報を前記操作端末に送信する個人情報送信手段、
前記操作端末からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、および
前記第１遠隔操作情報受信手段によって受信した前記第１遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備え、
前記操作端末は、
前記操作端末自身の操作者のコミュニケーション情報を記憶する記憶媒体、
前記個人情報送信手段によって送信された個人情報を受信する個人情報受信手段、
前記個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、
前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報と前記記憶媒体によって記憶された前記操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、
前記判断手段によって判断された判断結果が一致しないときに、前記ロボットを遠隔操作するための第２遠隔操作情報を前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第１遠隔操作情報に変換する変換手段、および
前記変換手段によって変換された前記第１遠隔操作情報を前記ロボットに送信する第１遠隔操作情報送信手段を備える、ロボット遠隔操作システム。
【請求項１０】
遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介して前記ロボットの遠隔操作を行う複数の操作端末と、前記ネットワークを介して前記ロボットと前記複数の操作端末のうち１台との仲介を行う中央制御装置とを備える、ロボット遠隔操作システムにおいて、
前記操作端末は、
前記ロボットを遠隔操作するための第１遠隔操作情報を前記ロボットに送信する第１遠隔操作送信手段を備え、
前記ロボットは、
前記操作端末の操作者のコミュニケーション情報を記憶する記憶媒体、
前記人間の個人情報を取得する個人情報取得手段、
前記個人情報受信手段によって受信された個人情報からコミュニケーション情報を特定するコミュニケーション情報特定手段、
前記操作端末からの第１遠隔操作情報を受信する第１遠隔操作情報受信手段、
前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報と前記記憶媒体によって記憶された前記操作端末の操作者のコミュニケーション情報とが一致するか否かを判断する判断手段、
前記判断手段によって判断された判断結果が一致しないときに、前記第１遠隔操作情報受信手段によって受信された第１遠隔操作情報を前記コミュニケーション情報特定手段によって特定されたコミュニケーション情報に基づいて第２遠隔操作情報に変換する変換手段、および
前記変換手段によって変換された前記第２遠隔操作情報に基づくコミュニケーション行動を実行する実行手段を備える、ロボット遠隔操作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−２４１１６６（Ｐ２００９−２４１１６６Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−８７６１０（Ｐ２００８−８７６１０）
【出願日】平成２０年３月２８日（２００８．３．２８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１９年４月２日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「ネットワーク・ヒューマン・インターフェースの総合的な研究開発（ネットワークロボットの技術）」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月２８日（２００８．３．２８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１９年４月２日付け、支出負担行為担当官 総務省大臣官房会計課企画官、研究テーマ「ネットワーク・ヒューマン・インターフェースの総合的な研究開発（ネットワークロボットの技術）」に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]