指示位置または特定物の確認方法及び座標獲得方法並びに装置
【課題】 簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分との相対座標を認識すること、また、人間が必要とする特定物を認識して過去の所在を記憶装置から読み出し、その特定物の位置を指し示すため、特定物の絶対座標または自分との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することが課題である。
【解決手段】 人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第１のステップと、該第１のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第２のステップと、該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第３のステップで指示位置または特定物を確認し、座標を獲得する。
【解決手段】 人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第１のステップと、該第１のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第２のステップと、該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第３のステップで指示位置または特定物を確認し、座標を獲得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示位置または特定物の確認方法及び座標獲得方法並びに装置に関し、特に、自律移動可能に構成されて略人型をなし、人の要求に応えて生活支援を行なうロボットなどに用いて好適な、人からの指示位置または特定物の確認方法及び座標獲得方法並びに装置に関するものである。
【背景技術】
【０００２】
多関節アームロボットや搬送ロボット等の産業用ロボットは古くから知られ、工場等で多く用いられている。しかしながらこれら産業用ロボットは、その使用目的が溶接、塗装、運搬等といったように限定されており、アームロボット等のように１箇所に固定されたものや、搬送ロボットのように決められたルートを決められた順序で移動するものがほとんどであった。
【０００３】
ところが近年、自律移動型のロボットが発表されている。この自律移動型ロボットは、所定の空間内を自由に移動することができるよう構成され、人間の住環境下で人間と共存し、産業活動や生産活動等における単純作業や危険作業、難作業等の作業の手助けや代行を行うことを目的としている。前記作業としては、例えば原子力プラント、火力発電プラント等におけるメンテナンス作業、高層ビルにおける清掃作業、火災現場等の災害現場での救助活動等を挙げることができる。
【０００４】
また、自律移動型ロボットの活用範囲として例えば１人暮らしの高齢者の家等に設置し、部屋の掃除や住人の体調管理、あるいは住人が家を留守にしたときの屋内安全確認等、人間の生活に密着して生活支援型としたロボットも発表されている。こういった生活支援型ロボットは、一般家庭にも適用可能なロボットとして位置付けられる。
【０００５】
このような生活支援型の自律移動型ロボットは、人への親しみやすさなどから頭、胸、胴、腕などを有した略人型として、頭部を前後左右に傾けたり振り返り動作を可能とすると共に顔の表情を変化させたり特許文献１に示されているように簡単な会話を可能とし、かつ、腕に複数の関節を設けて或る程度人が行うと同様な動作をさせることが望まれている。
【０００６】
しかしながら、例えば部屋の掃除や住人の体調管理、あるいは住人が家を留守にしたときの屋内安全確認等、人間の生活に密着した生活支援を行うためには、ロボットに与えられた人間の指示を理解してその指示に対応した動作ができるようにすることが必要となる。そのためにはまず第１に、人間がどのようなことを指示しているかをロボット理解させることが必要となり、場合によっては人間が指示する位置への移動や、さらに、移動した先で何をなすべきかを理解させて実行させることが必要となる。
【０００７】
そして、人間がどのようなことを指示しているかを理解させる方式としては、人が発した音声を認識して意味を理解させる方法があるが、音声認識は、単語レベルではかなり高い認識率を示すようになってはいるが話し言葉として複数の単語を連続的に発した場合、その内容を正しく理解させることは非常に難しい。そのため第１段階として、音声の代わりに指示棒や腕、指などで特定の位置やものを指し示し、それによって特定の位置やものを認識させた上で、人間が欲する動作、例えばその位置へものを運ぶ、スイッチをＯＮ／ＯＦＦする、ドアを開けるなどの動作毎に予め定めておいた方法でこちらの意志を認識させるということが考えられている。この場合必要なのは、人間が指し示した位置やものを認識することとその位置やものの絶対座標、または自分（ロボット）との相対座標の認識である。
【０００８】
また、人間が必要とする特定物の在処を尋ねる場合など、ロボットがその特定物の所在を過去に認識していた場合、その位置を人間に伝えるなどのことも可能であり、この場合、その特定物を認識して過去の所在を記憶装置から読み出すこと、さらにその特定物の位置を指し示すため、特定物の絶対座標または自分（ロボット）との相対座標を認識してそこへ移動すること、または何らかの方法でその特定物を指し示すといったことが必要となる。
【０００９】
音声の代わりに指示棒や腕、指などで特定の位置やものを指し示す方法は、画像認識技術の発展で比較的高い精度で特定の場所を指し示すことが可能となっており、例えば特許文献２には、電子商取引システムに関するものではあるが、パソコンの表示画面をロボットで指し示して人の注意を喚起するため、図６に示したように、机６７上を自由に動き回れるロボット６０が持つ指示棒６３の先端に、パソコン６１の表示装置（ＣＲＴ）画面６２との相対的な位置関係を測定するセンサ６４を設けておき、指示棒６３の指し示す現在位置６５とパソコン６１から与えられる目標値６６に基づいて、指示棒６３を目標値６６に追従するように制御してロボット６０を、パソコン６１から提供されるＣＲＴ６２の位置を基準とする座標系における、ロボット位置目標値に追従させることを可能とすることが示されている。
【００１０】
また、特許文献３には図７に示したように、人物７１及びその周辺環境７０を撮像するステレオ撮像装置７４を用い、そのステレオ撮像装置７４からの画像データから人７２の頭部領域及び手部領域７３を抽出すると共に３次元位置を算出し、頭部領域に関する３次元位置から手部領域７３に関する３次元位置を見た方向をカメラ方向として設定することで、カメラ方向に存在するポインティング対象物を含む透視投影画像を前記周辺環境のステレオ画像データに基づいて生成して外部に出力するようにしたポインティング対象画像出力装置が示されている。
【００１１】
【特許文献１】特開２００４−３４２７４号公報
【特許文献２】特開２００１−３２８０８６号公報
【特許文献３】特開２００３−１４１５１０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら特許文献１に示された技術は、ロボットによって表示画面上の特定位置を指し示すことを目的としたものであり、生活支援型ロボットにおける人間が指し示す場所を特定する方法には使えない。しかもこの特許文献１における指示点は、コンピュータが指し示す位置が目標位置であり、従ってロボットが指し示す位置との差は容易に算出できるが、生活支援型ロボットにおける人間が指し示す場所は任意の位置であり、応用することは難しい。
【００１３】
また特許文献２に示された技術は、頭部領域に関する３次元位置から手部領域７３に関する３次元位置を見た方向をカメラ方向として設定し、それによってカメラ方向に存在するポインティング対象物を含む透視投影画像を外部に出力するから、人の指し示した方向にあるものが透視投影画像として表示できるが、それだけではロボットの人間が指し示すもの自体をロボットが特定することはできず、また、ステレオ撮像装置が必要であって高価にならざるを得ない。
【００１４】
そのため本発明においては、簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分（例えばロボット）との相対座標を認識すること、また、人間が必要とする特定物を認識して過去の所在を記憶装置から読み出し、その特定物の位置を指し示すため、特定物の絶対座標または自分（ロボット）との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することが課題である。
【課題を解決するための手段】
【００１５】
上記課題を達成するため本発明になる指示位置の確認方法及び座標獲得方法は、
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第１のステップと、
該第１のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第２のステップと、
該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第３のステップとからなり、
前記第１のステップで人間が指し示した方向を検知して第２のステップで特定位置指示手段により指し示し、第３のステップで該特定位置指示手段が指し示した位置が人間の指し示した位置であるか否かを確認することで指示位置または特定物を確認し、座標を獲得することを特徴とする。
【００１６】
そして、上記課題を達成するため本発明の方法を実施する装置は、
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知する指示位置方向検知手段と、
前記撮像装置を該指示位置方向検知手段が検知した指示位置方向に向ける第１のアクチュエータ手段と、
指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定する手段と、
該特定された指示位置を前記特定位置指し示し手段により指し示すよう動作させる第２のアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促す確認手段と、
該確認手段が確認した前記指示位置の座標を特定する手段とを備えたことを特徴とする。
【００１７】
このように、人間が指し示し手段を用いて示した指示位置の方向を認識して撮像装置を向け、撮像装置からの映像で指示位置を特定して特定位置指し示し手段により指し示して指示位置であるか否かを確認することで、確実に人間が望む位置または特定物を認識することができ、しかも誤認識を起こすことがないから人間は安心して指示を与えることができる。従って、簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分（例えばロボット）との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することができる。
【００１８】
また、同様に上記課題を達成するため本発明になる指示位置の確認方法及び座標獲得方法は、
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が問い合わせた前記特定物を認識し、前記記憶手段を検索して特定物の位置情報を読み出す第１のステップと、
該第１のステップで読み出された特定物の位置情報と現在位置座標とから前記特定位置指し示し手段により前記特定物を指し示し、前記人間が問い合わせた特定物であるか否かの確認を人間に促して前記人間が問い合わせた特定物でない場合は人間に再確認を促す第２のステップと、
該第２のステップで確認した前記特定物の座標を特定する第３のステップとからなり、
前記第１のステップで人間が問い合わせた特定物の位置情報を得、第２のステップで第１のステップで得た位置情報により前記特定物を指し示して確認し、第３のステップで特定物の座標を特定するようにして特定物の確認と座標を獲得することを特徴とする。
【００１９】
そして、上記課題を達成するため本発明の方法を実施する装置は、
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
人間が問い合わせた前記特定物を認識する手段と、
該認識した特定物を前記記憶手段から検索して特定物の位置情報を読み出す手段と、
該特定物の位置情報と現在位置座標とから特定物を前記特定位置指し示し手段により指し示すよう動作させるアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物であるか否かの確認を人間に促す確認手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物でない場合は人間に再確認を促す再確認手段と、
前記確認手段または再確認手段により確認した前記特定物の座標を特定する手段とを備えたことを特徴とする。
【００２０】
このように、人間が問い合わせた特定物を認識し、記憶手段から位置情報を読み出して特定位置指し示し手段により指し示し、人間が問い合わせた特定物であるか否かを確認することで、確実に人間が望む特定物を認識することができ、しかも誤認識を起こすことがないから人間は安心して指示を与えることができる。従って、簡単、安価な構成で、人間が問い合わせた特定物を確実に認識し、その特定物の位置を指し示す指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することが課題できる。
【００２１】
そして、前記人間が指し示し手段を用いて示した指示位置方向を、前記指し示し手段に設けられた少なくとも２箇所の発光手段を撮像した撮像データから検知したり、前記指し示し手段に設けられた少なくとも２箇所の磁石が発する磁力を検知することで算出することが本発明の好適な実施例である。
【００２２】
また、前記人間が問い合わせた前記特定物を認識する手段は、音声認識手段であることが好ましい。
【００２３】
さらに、前記特定位置指し示し手段は、レーザポインタであるか、画像表示手段であっても良い。
【発明の効果】
【００２４】
以上記載のごとく本発明によれば、人間が望む位置または特定物を確実に認識することができ、しかも誤認識を起こすことがないから人間は安心して指示を与えることができる。従って、簡単、安価な構成で、人間が指し示した位置やもの、及び人間が問い合わせた特定物を確実に認識することができ、その位置やものの絶対座標、または自分（例えばロボット）との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
【００２６】
図１は本発明になる指示位置の確認方法及び座標獲得方法に用いるロボットの一例の正面図、図２は図１に示したロボットの制御ブロック図、図３は人により指示した位置をロボットが確認する方法の説明図、図４、図５は本発明になる指示位置または特定物の確認方法及び座標獲得方法のフロー図である。図中、同一構成要素には同一番号を付してある。
【００２７】
図１において１は本発明に用いるロボット本体、２はその頭部、３は魚眼レンズや超広角レンズを備えて全方位を撮像できるようにした第１の撮像装置、４は人間の音声を拾うためのマイクロホン、５は内部に撮像装置を備え、例えばロボット前方６０度程度の視野を撮像できるようにした第２の撮像装置を備えた目、６は胸部、７は胸部６に設けられたスピーカ、８は画像ディスプレイ、９は腕部、１０は腕部９に設けられた特定位置を指し示す手段としてのレーザポインタ、或いはプロジェクタ、１１はロボットの前方にある障害物や人などを検知するための超音波式障害物センサ、１２は胴部、１３は前方にある障害物や人などを検知するためのレーザ式障害物センサ、１４は胴部１２に装備された左右の走行用車輪である。
【００２８】
このロボット１は、頭部２と胸部６と胴部（台車部）１２と左右の腕部９とを有する略人型のロボットであり、頭部２と胸部６間の首関節や、胸部６と腕部９間の肩関節、腕部９内の肘関節、手首関節等が図示しない駆動機構により回動可能であるとともに、走行用車輪１４が図示しない駆動機構により操舵及び走行可能であって、作業空間をバッテリ駆動により自律的に移動するように構成されており、頭部２に設けられた第１の撮像装置３により自分の位置座標を認識し、２つの目５に設けられた第２の撮像装置で前方にある物体を認識したり、超音波式障害物センサ１１、レーザ式障害物センサ１３により前方にある障害物や人などを検知することができる。
【００２９】
そしてこのロボット１は図２に２０で示したようにデータの入出力装置が設けられ、さらにその内部には、制御部２１に図示していないＣＰＵ（コンピュータ）や、その他自己位置の認識部２２、指示点認識部２３、音声認識部２４、首・腕・手動作認識部２５、体方向認識部２６、過去動作・位置データベース２７、首関節用駆動部２８、手首関節用駆動部２９、腕関節用駆動部３０、車両用駆動部３１等を備える。
【００３０】
このロボット１は、例えば前記特許文献１に詳細に述べられているように、内蔵している各種のセンサにより、ユーザの音声を認識して会話する機能の他、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えていてもよい。すなわち、車両用駆動部３１により走行用車輪１４を駆動し、ユーザ（ロボットの所有者や使用者などの話し相手）の顔または体の正面に胴部１２を移動させて、この正面位置で頭部２と目（打２の撮像装置）５をユーザの目に向け、ユーザの目を見て会話を行うことができるようにすれば、ユーザからすると、ロボット１が自分の正面に立ち、更に自分の目を見ながら会話を行ってくれるため、従来に比べてより親近感のある会話が成立する。
【００３１】
このように構成したロボット１に、例えば図３（Ａ）に示したように、人間４０が携帯電話４１を４３２で示した位置にかけることを頼む場合、本発明においては、図４に示したフローに従って指示位置を確認し、座標を獲得させる。
【００３２】
まずステップＳ２で、人間４０がロボット１に近くに来るよう指示すると、ステップＳ２でロボットが人間の近傍に移動する。これは前記特許文献１に示されているように、人間が発生した音声を制御部２１に設けた音声認識部２４で認識し、頭頂カメラ（第１の撮像装置）３や正面カメラ（第２の撮像装置）５で撮像した撮像画像を元に自己位置認識部で自己位置を確認し、正面カメラ（第２の撮像装置）５で撮像した撮像画像を元に人間を認識すると共に、超音波式障害物センサ１１、レーザ式障害物センサ１３などでその距離を算出し、車両用駆動部３１により走行用車輪１４を駆動してその方向に移動させ、ユーザ（ロボットの所有者や使用者などの話し相手）の顔または体の正面に胴部１２を位置させておこなう。
【００３３】
次のステップＳ４で人間４０が、例えばレーザポインタ４２などを用いて４３２などの指示位置を示し、例えば携帯電話４１をかけるよう行動を「掛けて」などの単語会話で指示する。このレーザポインタ４２は、例えば２箇所にＬＥＤ等を用いた発光手段や磁石を埋め込み、ロボット１側は正面カメラ（第２の撮像装置）５等で撮像した撮像画像から発光手段の光を検知したり、磁力センサを有して埋め込んだ磁石を検知し、レーザポインタ４２の指し示す方向を検知できるようにしておく。なお、指し示し手段はレーザポインタだけでなく、或る程度の長さの差し棒などでも良いことは自明である。
【００３４】
そのためロボット１は、ステップＳ５でレーザポインタ４２などが指し示す方向と単語会話による指示を認識し、ステップＳ６で、体方向認識部２６が認識している体方向やあるいは首・腕・手動作認識部２５が認識している首の方向により、どの程度体や首を回転または移動させればレーザポインタ４２などが指し示す方向となるか算出し、車両用駆動部３１または首関節用駆動部２８によって走行用車輪１４をや首軸を駆動し、レーザポインタ４２などが指し示す方向に体頭を向かせる。
【００３５】
そしてステップＳ７で、正面カメラ（第２の撮像装置）５が撮像した撮像画像を指示点認識部２３に送ってレーザポインタ４２が指し示す位置に生じている光点を検出し、次のステップＳ８で、さらに撮像画像から既知候補（過去に指示されたものかどうか）か否かを、過去動作・位置データベース２７を検索してサーチ判断する。
【００３６】
そして次のステップＳ９で、認識したレーザポインタ４２が指し示している位置と自己位置認識部２２が認識している自己位置とから、ロボット１が腕部９に有している特定位置指し示し手段たるレーザポインタ１０をどのような方向に向けたらいいかを算出し、首・腕・手動作認識部２５、腕関節用駆動部３０、手首関節用駆動部２９等に指示を与える。
【００３７】
そのため次のステップＳ１０でロボット１側のレーザポインタ１０により、人間がレーザポインタ４２などを用いて指し示した４３２などの指示位置近傍に、今度はロボット１側のレーザポインタ１０による光点が生じ、そのため次のステップＳ１３においてロボット１が、スピーカ７により「ここでいいですか」等の音声を発する。また、ステップＳ１１では、正面カメラ（第２の撮像装置）５が撮像した撮像画像から指示点認識部２３により、ロボット１側のレーザポインタ１０による光点を検出する。
【００３８】
そしてステップＳ１４で人間が、ロボット１側のレーザポインタ１０による光点が示す位置で良いかどうかを判断し、可能なら音声で、それが難しい場合は例えば指し示し位置が正しいか否か、ロボット１側のレーザポインタ１０による光点の位置を左右上下のどの方向に動かせば人間が指し示す位置になるか等を、例えばリモコンなどを用いて指示できるようにし、判断を下す。
【００３９】
そしてこの判断が「Ｎｏ」の場合はステップＳ１５に進み、音声で可能ならば例えば「右５０ｍｍ」或いは単に「右」などと指示し、それが難しい場合は前記したリモコンを用い、判断が「Ｎｏ」であることと、ロボット１側のレーザポインタ１０による光点の位置を右方向にどの程度動かせば人間が指し示す位置になる等を指示する。
【００４０】
そしてこの指示と、ステップＳ１１で先に測定したロボット１側のレーザポインタ１０による光点の位置、及び人間がレーザポインタ４２などを用いて指し示した４３２などの指示位置との相対位置を検出し、ステップＳ１２で相対移動量を計算してステップＳ１０でロボット１側のレーザポインタ１０による光点の位置を移動させて再度ロボット１側のレーザポインタ１０を投影する。
【００４１】
そしてこの動作をステップＳ１４で人間が「Ｙｅｓ」というまで続け、ＹｅｓになるとステップＳ１６に行って前記したように音声、またはリモコンで伝え、ステップＳ１７でさらに自己位置認識部２２により自己位置の認識と指し示した座標を取得し、ステップＳ１８で認識を終了して例えば図３（Ａ）に示した場合は、携帯電話を受け取り、４３２の位置にこれを掛けて終了する。
【００４２】
このようにすることにより、ロボット１は人間が望む位置または特定物を確実に認識することができ、しかも次の動作を必ず人間に確認しながら行うから誤認識を起こすこともない。従って人間は、ロボット１に対して不安を感じることなく、安心して指示を与えることができる。
【００４３】
なお、以上の説明では、ロボット１側における特定位置を指し示す手段としてレーザポインタ１０を例に説明してきたが、例えばプロジェクタ４４等を用いる場合、ロボット１は前記したように正面カメラ（第２の撮像装置）５を有するから、図３（Ｂ）のように撮像画像や文字などを適当な場所に４５のように投影し、それによって人間側の指示に答えるようにしても良い。
【００４４】
次に図５に示したフロー図に従い、例えば人間４０がものを探すことをロボット１に頼む場合について説明する。
【００４５】
まずステップＳ２１で、前記と同様人間４０がロボット１に「携帯電話」などの単語会話で探すものを指示する。するとステップＳ２２でロボット１は、言われた単語を音声認識部２４で認識し、認識できると次のステップＳ２３で、認識した物（この場合は携帯電話）を過去に何処かにしまったり探すことを頼まれたりしたかどうかを、過去動作・位置データベース２７で探索する。
【００４６】
そして過去動作・位置データベース２７に頼まれたものが有った場合、次のステップＳ２４でロボット１は、過去動作・位置データベース２７に記憶されているものの位置座標を読み出し、さらに自己位置認識部２２が認識している自己位置とから、ロボット１が腕部９に有している特定位置指し示し手段たるレーザポインタ１０などをどのような方向に向けたらいいかを算出し、首・腕・手動作認識部２５、腕関節用駆動部３０、手首関節用駆動部２９等に指示を与える。
【００４７】
そして次のステップＳ２５で、ロボット１側のレーザポインタ１０を、人間がロボット１に探索を頼んだものがある位置に向けて投影し、さらにステップＳ２６においてスピーカ７により、「ここでいいですか」等の音声を発する。そしてステップＳ２７で人間が、ロボット１側のレーザポインタ１０による光点が示す位置で良いかどうかを判断し、可能なら音声で、それが難しい場合は例えば指し示したものが正しいか否か等を、例えばリモコンなどを用いて指示できるようにして判断を下す。
【００４８】
そしてこの判断が「Ｎｏ」の場合はステップＳ２８に進み、ロボット１は前記ステップＳ２３と同様、過去動作・位置データベース２７で再探索する。そしてステップＳ２９で、前記ステップＳ２４と同様過去動作・位置データベース２７で再探索したものの位置座標を読み出し、さらに自己位置認識部２２が認識している自己位置とから、ロボット１が腕部９に有している特定位置指し示し手段たるレーザポインタ１０などをどのような方向に向けたらいいかを算出し、首・腕・手動作認識部２５、腕関節用駆動部３０、手首関節用駆動部２９等に指示を与え、ステップＳ２５でロボット１側のレーザポインタ１０を、人間がロボット１に探索を頼んだものがある位置に向けて投影する。
【００４９】
そしてこの動作をステップＳ２７で人間が「Ｙｅｓ」というまで続け、ＹｅｓになるとステップＳ３０に行って前記したように音声、またはリモコンで正解であることをロボット１に伝え、ステップＳ３０でさらに自己位置認識部２２により自己位置の認識と指し示した座標を取得し、ステップＳ３２で認識を終了して例えば携帯電話を人間４０に渡すなどの動作を行う。
【００５０】
このようにすることにより、ロボット１は、人間が望む特定物を確実に認識することができ、しかも次の動作を必ず人間に確認しながら行うから誤認識を起こすこともない。従って人間は、ロボット１に対して不安を感じることなく、安心して依頼を与えることができる。
【００５１】
なお、以上の説明では、ロボット１側における特定位置を指し示す手段としてレーザポインタ１０を例に説明してきたが、例えばプロジェクタ４４等を用いる場合、ロボット１は前記したように正面カメラ（第２の撮像装置）５を有するから、図３（Ｂ）のように撮像画像や文字などを適当な場所に４５のように投影し、それによって人間側の指示に答えるようにしても良いことは前記したとおりである。
【産業上の利用可能性】
【００５２】
本発明によれば、簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分との相対座標を認識すること、また、人間が必要とする特定物を認識して過去の所在を記憶装置から読み出し、その特定物の位置を指し示すため、特定物の絶対座標または自分との相対座標を認識することができ、ロボット等に応用すれば、生活支援型ロボットの活用範囲を更に広げることができる。
【図面の簡単な説明】
【００５３】
【図１】本発明になる指示位置の確認方法及び座標獲得方法に用いるロボットの一例の正面図である。
【図２】図１に示したロボットの制御ブロック図である。
【図３】人により指示した位置をロボットが確認する方法の説明図である。
【図４】本発明になる指示位置の確認方法及び座標獲得方法のフロー図である。
【図５】本発明になる特定物の確認方法及び座標獲得方法のフロー図である。
【図６】表示装置上の特定位置を指し示す従来技術の一例である。
【図７】人が指し示す方向を表示するようにした従来技術の一例である。
【符号の説明】
【００５４】
１ ロボット
２ 頭部
３ 第１の撮像装置
４ マイクロホン
５ 第２の撮像装置（目）
６ 胸部
７ スピーカ
８ 画像ディスプレイ
９ 腕部
１０ レーザポインタ、或いはプロジェクタ
１１ 超音波式障害物センサ
１２ 胴部
１３ レーザ式障害物センサ
１４ 走行用車輪
【技術分野】
【０００１】
本発明は、指示位置または特定物の確認方法及び座標獲得方法並びに装置に関し、特に、自律移動可能に構成されて略人型をなし、人の要求に応えて生活支援を行なうロボットなどに用いて好適な、人からの指示位置または特定物の確認方法及び座標獲得方法並びに装置に関するものである。
【背景技術】
【０００２】
多関節アームロボットや搬送ロボット等の産業用ロボットは古くから知られ、工場等で多く用いられている。しかしながらこれら産業用ロボットは、その使用目的が溶接、塗装、運搬等といったように限定されており、アームロボット等のように１箇所に固定されたものや、搬送ロボットのように決められたルートを決められた順序で移動するものがほとんどであった。
【０００３】
ところが近年、自律移動型のロボットが発表されている。この自律移動型ロボットは、所定の空間内を自由に移動することができるよう構成され、人間の住環境下で人間と共存し、産業活動や生産活動等における単純作業や危険作業、難作業等の作業の手助けや代行を行うことを目的としている。前記作業としては、例えば原子力プラント、火力発電プラント等におけるメンテナンス作業、高層ビルにおける清掃作業、火災現場等の災害現場での救助活動等を挙げることができる。
【０００４】
また、自律移動型ロボットの活用範囲として例えば１人暮らしの高齢者の家等に設置し、部屋の掃除や住人の体調管理、あるいは住人が家を留守にしたときの屋内安全確認等、人間の生活に密着して生活支援型としたロボットも発表されている。こういった生活支援型ロボットは、一般家庭にも適用可能なロボットとして位置付けられる。
【０００５】
このような生活支援型の自律移動型ロボットは、人への親しみやすさなどから頭、胸、胴、腕などを有した略人型として、頭部を前後左右に傾けたり振り返り動作を可能とすると共に顔の表情を変化させたり特許文献１に示されているように簡単な会話を可能とし、かつ、腕に複数の関節を設けて或る程度人が行うと同様な動作をさせることが望まれている。
【０００６】
しかしながら、例えば部屋の掃除や住人の体調管理、あるいは住人が家を留守にしたときの屋内安全確認等、人間の生活に密着した生活支援を行うためには、ロボットに与えられた人間の指示を理解してその指示に対応した動作ができるようにすることが必要となる。そのためにはまず第１に、人間がどのようなことを指示しているかをロボット理解させることが必要となり、場合によっては人間が指示する位置への移動や、さらに、移動した先で何をなすべきかを理解させて実行させることが必要となる。
【０００７】
そして、人間がどのようなことを指示しているかを理解させる方式としては、人が発した音声を認識して意味を理解させる方法があるが、音声認識は、単語レベルではかなり高い認識率を示すようになってはいるが話し言葉として複数の単語を連続的に発した場合、その内容を正しく理解させることは非常に難しい。そのため第１段階として、音声の代わりに指示棒や腕、指などで特定の位置やものを指し示し、それによって特定の位置やものを認識させた上で、人間が欲する動作、例えばその位置へものを運ぶ、スイッチをＯＮ／ＯＦＦする、ドアを開けるなどの動作毎に予め定めておいた方法でこちらの意志を認識させるということが考えられている。この場合必要なのは、人間が指し示した位置やものを認識することとその位置やものの絶対座標、または自分（ロボット）との相対座標の認識である。
【０００８】
また、人間が必要とする特定物の在処を尋ねる場合など、ロボットがその特定物の所在を過去に認識していた場合、その位置を人間に伝えるなどのことも可能であり、この場合、その特定物を認識して過去の所在を記憶装置から読み出すこと、さらにその特定物の位置を指し示すため、特定物の絶対座標または自分（ロボット）との相対座標を認識してそこへ移動すること、または何らかの方法でその特定物を指し示すといったことが必要となる。
【０００９】
音声の代わりに指示棒や腕、指などで特定の位置やものを指し示す方法は、画像認識技術の発展で比較的高い精度で特定の場所を指し示すことが可能となっており、例えば特許文献２には、電子商取引システムに関するものではあるが、パソコンの表示画面をロボットで指し示して人の注意を喚起するため、図６に示したように、机６７上を自由に動き回れるロボット６０が持つ指示棒６３の先端に、パソコン６１の表示装置（ＣＲＴ）画面６２との相対的な位置関係を測定するセンサ６４を設けておき、指示棒６３の指し示す現在位置６５とパソコン６１から与えられる目標値６６に基づいて、指示棒６３を目標値６６に追従するように制御してロボット６０を、パソコン６１から提供されるＣＲＴ６２の位置を基準とする座標系における、ロボット位置目標値に追従させることを可能とすることが示されている。
【００１０】
また、特許文献３には図７に示したように、人物７１及びその周辺環境７０を撮像するステレオ撮像装置７４を用い、そのステレオ撮像装置７４からの画像データから人７２の頭部領域及び手部領域７３を抽出すると共に３次元位置を算出し、頭部領域に関する３次元位置から手部領域７３に関する３次元位置を見た方向をカメラ方向として設定することで、カメラ方向に存在するポインティング対象物を含む透視投影画像を前記周辺環境のステレオ画像データに基づいて生成して外部に出力するようにしたポインティング対象画像出力装置が示されている。
【００１１】
【特許文献１】特開２００４−３４２７４号公報
【特許文献２】特開２００１−３２８０８６号公報
【特許文献３】特開２００３−１４１５１０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら特許文献１に示された技術は、ロボットによって表示画面上の特定位置を指し示すことを目的としたものであり、生活支援型ロボットにおける人間が指し示す場所を特定する方法には使えない。しかもこの特許文献１における指示点は、コンピュータが指し示す位置が目標位置であり、従ってロボットが指し示す位置との差は容易に算出できるが、生活支援型ロボットにおける人間が指し示す場所は任意の位置であり、応用することは難しい。
【００１３】
また特許文献２に示された技術は、頭部領域に関する３次元位置から手部領域７３に関する３次元位置を見た方向をカメラ方向として設定し、それによってカメラ方向に存在するポインティング対象物を含む透視投影画像を外部に出力するから、人の指し示した方向にあるものが透視投影画像として表示できるが、それだけではロボットの人間が指し示すもの自体をロボットが特定することはできず、また、ステレオ撮像装置が必要であって高価にならざるを得ない。
【００１４】
そのため本発明においては、簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分（例えばロボット）との相対座標を認識すること、また、人間が必要とする特定物を認識して過去の所在を記憶装置から読み出し、その特定物の位置を指し示すため、特定物の絶対座標または自分（ロボット）との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することが課題である。
【課題を解決するための手段】
【００１５】
上記課題を達成するため本発明になる指示位置の確認方法及び座標獲得方法は、
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第１のステップと、
該第１のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第２のステップと、
該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第３のステップとからなり、
前記第１のステップで人間が指し示した方向を検知して第２のステップで特定位置指示手段により指し示し、第３のステップで該特定位置指示手段が指し示した位置が人間の指し示した位置であるか否かを確認することで指示位置または特定物を確認し、座標を獲得することを特徴とする。
【００１６】
そして、上記課題を達成するため本発明の方法を実施する装置は、
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知する指示位置方向検知手段と、
前記撮像装置を該指示位置方向検知手段が検知した指示位置方向に向ける第１のアクチュエータ手段と、
指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定する手段と、
該特定された指示位置を前記特定位置指し示し手段により指し示すよう動作させる第２のアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促す確認手段と、
該確認手段が確認した前記指示位置の座標を特定する手段とを備えたことを特徴とする。
【００１７】
このように、人間が指し示し手段を用いて示した指示位置の方向を認識して撮像装置を向け、撮像装置からの映像で指示位置を特定して特定位置指し示し手段により指し示して指示位置であるか否かを確認することで、確実に人間が望む位置または特定物を認識することができ、しかも誤認識を起こすことがないから人間は安心して指示を与えることができる。従って、簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分（例えばロボット）との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することができる。
【００１８】
また、同様に上記課題を達成するため本発明になる指示位置の確認方法及び座標獲得方法は、
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が問い合わせた前記特定物を認識し、前記記憶手段を検索して特定物の位置情報を読み出す第１のステップと、
該第１のステップで読み出された特定物の位置情報と現在位置座標とから前記特定位置指し示し手段により前記特定物を指し示し、前記人間が問い合わせた特定物であるか否かの確認を人間に促して前記人間が問い合わせた特定物でない場合は人間に再確認を促す第２のステップと、
該第２のステップで確認した前記特定物の座標を特定する第３のステップとからなり、
前記第１のステップで人間が問い合わせた特定物の位置情報を得、第２のステップで第１のステップで得た位置情報により前記特定物を指し示して確認し、第３のステップで特定物の座標を特定するようにして特定物の確認と座標を獲得することを特徴とする。
【００１９】
そして、上記課題を達成するため本発明の方法を実施する装置は、
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
人間が問い合わせた前記特定物を認識する手段と、
該認識した特定物を前記記憶手段から検索して特定物の位置情報を読み出す手段と、
該特定物の位置情報と現在位置座標とから特定物を前記特定位置指し示し手段により指し示すよう動作させるアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物であるか否かの確認を人間に促す確認手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物でない場合は人間に再確認を促す再確認手段と、
前記確認手段または再確認手段により確認した前記特定物の座標を特定する手段とを備えたことを特徴とする。
【００２０】
このように、人間が問い合わせた特定物を認識し、記憶手段から位置情報を読み出して特定位置指し示し手段により指し示し、人間が問い合わせた特定物であるか否かを確認することで、確実に人間が望む特定物を認識することができ、しかも誤認識を起こすことがないから人間は安心して指示を与えることができる。従って、簡単、安価な構成で、人間が問い合わせた特定物を確実に認識し、その特定物の位置を指し示す指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することが課題できる。
【００２１】
そして、前記人間が指し示し手段を用いて示した指示位置方向を、前記指し示し手段に設けられた少なくとも２箇所の発光手段を撮像した撮像データから検知したり、前記指し示し手段に設けられた少なくとも２箇所の磁石が発する磁力を検知することで算出することが本発明の好適な実施例である。
【００２２】
また、前記人間が問い合わせた前記特定物を認識する手段は、音声認識手段であることが好ましい。
【００２３】
さらに、前記特定位置指し示し手段は、レーザポインタであるか、画像表示手段であっても良い。
【発明の効果】
【００２４】
以上記載のごとく本発明によれば、人間が望む位置または特定物を確実に認識することができ、しかも誤認識を起こすことがないから人間は安心して指示を与えることができる。従って、簡単、安価な構成で、人間が指し示した位置やもの、及び人間が問い合わせた特定物を確実に認識することができ、その位置やものの絶対座標、または自分（例えばロボット）との相対座標を認識することができるようにした指示位置または特定物の確認方法及び座標獲得方法並びに装置を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
【００２６】
図１は本発明になる指示位置の確認方法及び座標獲得方法に用いるロボットの一例の正面図、図２は図１に示したロボットの制御ブロック図、図３は人により指示した位置をロボットが確認する方法の説明図、図４、図５は本発明になる指示位置または特定物の確認方法及び座標獲得方法のフロー図である。図中、同一構成要素には同一番号を付してある。
【００２７】
図１において１は本発明に用いるロボット本体、２はその頭部、３は魚眼レンズや超広角レンズを備えて全方位を撮像できるようにした第１の撮像装置、４は人間の音声を拾うためのマイクロホン、５は内部に撮像装置を備え、例えばロボット前方６０度程度の視野を撮像できるようにした第２の撮像装置を備えた目、６は胸部、７は胸部６に設けられたスピーカ、８は画像ディスプレイ、９は腕部、１０は腕部９に設けられた特定位置を指し示す手段としてのレーザポインタ、或いはプロジェクタ、１１はロボットの前方にある障害物や人などを検知するための超音波式障害物センサ、１２は胴部、１３は前方にある障害物や人などを検知するためのレーザ式障害物センサ、１４は胴部１２に装備された左右の走行用車輪である。
【００２８】
このロボット１は、頭部２と胸部６と胴部（台車部）１２と左右の腕部９とを有する略人型のロボットであり、頭部２と胸部６間の首関節や、胸部６と腕部９間の肩関節、腕部９内の肘関節、手首関節等が図示しない駆動機構により回動可能であるとともに、走行用車輪１４が図示しない駆動機構により操舵及び走行可能であって、作業空間をバッテリ駆動により自律的に移動するように構成されており、頭部２に設けられた第１の撮像装置３により自分の位置座標を認識し、２つの目５に設けられた第２の撮像装置で前方にある物体を認識したり、超音波式障害物センサ１１、レーザ式障害物センサ１３により前方にある障害物や人などを検知することができる。
【００２９】
そしてこのロボット１は図２に２０で示したようにデータの入出力装置が設けられ、さらにその内部には、制御部２１に図示していないＣＰＵ（コンピュータ）や、その他自己位置の認識部２２、指示点認識部２３、音声認識部２４、首・腕・手動作認識部２５、体方向認識部２６、過去動作・位置データベース２７、首関節用駆動部２８、手首関節用駆動部２９、腕関節用駆動部３０、車両用駆動部３１等を備える。
【００３０】
このロボット１は、例えば前記特許文献１に詳細に述べられているように、内蔵している各種のセンサにより、ユーザの音声を認識して会話する機能の他、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えていてもよい。すなわち、車両用駆動部３１により走行用車輪１４を駆動し、ユーザ（ロボットの所有者や使用者などの話し相手）の顔または体の正面に胴部１２を移動させて、この正面位置で頭部２と目（打２の撮像装置）５をユーザの目に向け、ユーザの目を見て会話を行うことができるようにすれば、ユーザからすると、ロボット１が自分の正面に立ち、更に自分の目を見ながら会話を行ってくれるため、従来に比べてより親近感のある会話が成立する。
【００３１】
このように構成したロボット１に、例えば図３（Ａ）に示したように、人間４０が携帯電話４１を４３２で示した位置にかけることを頼む場合、本発明においては、図４に示したフローに従って指示位置を確認し、座標を獲得させる。
【００３２】
まずステップＳ２で、人間４０がロボット１に近くに来るよう指示すると、ステップＳ２でロボットが人間の近傍に移動する。これは前記特許文献１に示されているように、人間が発生した音声を制御部２１に設けた音声認識部２４で認識し、頭頂カメラ（第１の撮像装置）３や正面カメラ（第２の撮像装置）５で撮像した撮像画像を元に自己位置認識部で自己位置を確認し、正面カメラ（第２の撮像装置）５で撮像した撮像画像を元に人間を認識すると共に、超音波式障害物センサ１１、レーザ式障害物センサ１３などでその距離を算出し、車両用駆動部３１により走行用車輪１４を駆動してその方向に移動させ、ユーザ（ロボットの所有者や使用者などの話し相手）の顔または体の正面に胴部１２を位置させておこなう。
【００３３】
次のステップＳ４で人間４０が、例えばレーザポインタ４２などを用いて４３２などの指示位置を示し、例えば携帯電話４１をかけるよう行動を「掛けて」などの単語会話で指示する。このレーザポインタ４２は、例えば２箇所にＬＥＤ等を用いた発光手段や磁石を埋め込み、ロボット１側は正面カメラ（第２の撮像装置）５等で撮像した撮像画像から発光手段の光を検知したり、磁力センサを有して埋め込んだ磁石を検知し、レーザポインタ４２の指し示す方向を検知できるようにしておく。なお、指し示し手段はレーザポインタだけでなく、或る程度の長さの差し棒などでも良いことは自明である。
【００３４】
そのためロボット１は、ステップＳ５でレーザポインタ４２などが指し示す方向と単語会話による指示を認識し、ステップＳ６で、体方向認識部２６が認識している体方向やあるいは首・腕・手動作認識部２５が認識している首の方向により、どの程度体や首を回転または移動させればレーザポインタ４２などが指し示す方向となるか算出し、車両用駆動部３１または首関節用駆動部２８によって走行用車輪１４をや首軸を駆動し、レーザポインタ４２などが指し示す方向に体頭を向かせる。
【００３５】
そしてステップＳ７で、正面カメラ（第２の撮像装置）５が撮像した撮像画像を指示点認識部２３に送ってレーザポインタ４２が指し示す位置に生じている光点を検出し、次のステップＳ８で、さらに撮像画像から既知候補（過去に指示されたものかどうか）か否かを、過去動作・位置データベース２７を検索してサーチ判断する。
【００３６】
そして次のステップＳ９で、認識したレーザポインタ４２が指し示している位置と自己位置認識部２２が認識している自己位置とから、ロボット１が腕部９に有している特定位置指し示し手段たるレーザポインタ１０をどのような方向に向けたらいいかを算出し、首・腕・手動作認識部２５、腕関節用駆動部３０、手首関節用駆動部２９等に指示を与える。
【００３７】
そのため次のステップＳ１０でロボット１側のレーザポインタ１０により、人間がレーザポインタ４２などを用いて指し示した４３２などの指示位置近傍に、今度はロボット１側のレーザポインタ１０による光点が生じ、そのため次のステップＳ１３においてロボット１が、スピーカ７により「ここでいいですか」等の音声を発する。また、ステップＳ１１では、正面カメラ（第２の撮像装置）５が撮像した撮像画像から指示点認識部２３により、ロボット１側のレーザポインタ１０による光点を検出する。
【００３８】
そしてステップＳ１４で人間が、ロボット１側のレーザポインタ１０による光点が示す位置で良いかどうかを判断し、可能なら音声で、それが難しい場合は例えば指し示し位置が正しいか否か、ロボット１側のレーザポインタ１０による光点の位置を左右上下のどの方向に動かせば人間が指し示す位置になるか等を、例えばリモコンなどを用いて指示できるようにし、判断を下す。
【００３９】
そしてこの判断が「Ｎｏ」の場合はステップＳ１５に進み、音声で可能ならば例えば「右５０ｍｍ」或いは単に「右」などと指示し、それが難しい場合は前記したリモコンを用い、判断が「Ｎｏ」であることと、ロボット１側のレーザポインタ１０による光点の位置を右方向にどの程度動かせば人間が指し示す位置になる等を指示する。
【００４０】
そしてこの指示と、ステップＳ１１で先に測定したロボット１側のレーザポインタ１０による光点の位置、及び人間がレーザポインタ４２などを用いて指し示した４３２などの指示位置との相対位置を検出し、ステップＳ１２で相対移動量を計算してステップＳ１０でロボット１側のレーザポインタ１０による光点の位置を移動させて再度ロボット１側のレーザポインタ１０を投影する。
【００４１】
そしてこの動作をステップＳ１４で人間が「Ｙｅｓ」というまで続け、ＹｅｓになるとステップＳ１６に行って前記したように音声、またはリモコンで伝え、ステップＳ１７でさらに自己位置認識部２２により自己位置の認識と指し示した座標を取得し、ステップＳ１８で認識を終了して例えば図３（Ａ）に示した場合は、携帯電話を受け取り、４３２の位置にこれを掛けて終了する。
【００４２】
このようにすることにより、ロボット１は人間が望む位置または特定物を確実に認識することができ、しかも次の動作を必ず人間に確認しながら行うから誤認識を起こすこともない。従って人間は、ロボット１に対して不安を感じることなく、安心して指示を与えることができる。
【００４３】
なお、以上の説明では、ロボット１側における特定位置を指し示す手段としてレーザポインタ１０を例に説明してきたが、例えばプロジェクタ４４等を用いる場合、ロボット１は前記したように正面カメラ（第２の撮像装置）５を有するから、図３（Ｂ）のように撮像画像や文字などを適当な場所に４５のように投影し、それによって人間側の指示に答えるようにしても良い。
【００４４】
次に図５に示したフロー図に従い、例えば人間４０がものを探すことをロボット１に頼む場合について説明する。
【００４５】
まずステップＳ２１で、前記と同様人間４０がロボット１に「携帯電話」などの単語会話で探すものを指示する。するとステップＳ２２でロボット１は、言われた単語を音声認識部２４で認識し、認識できると次のステップＳ２３で、認識した物（この場合は携帯電話）を過去に何処かにしまったり探すことを頼まれたりしたかどうかを、過去動作・位置データベース２７で探索する。
【００４６】
そして過去動作・位置データベース２７に頼まれたものが有った場合、次のステップＳ２４でロボット１は、過去動作・位置データベース２７に記憶されているものの位置座標を読み出し、さらに自己位置認識部２２が認識している自己位置とから、ロボット１が腕部９に有している特定位置指し示し手段たるレーザポインタ１０などをどのような方向に向けたらいいかを算出し、首・腕・手動作認識部２５、腕関節用駆動部３０、手首関節用駆動部２９等に指示を与える。
【００４７】
そして次のステップＳ２５で、ロボット１側のレーザポインタ１０を、人間がロボット１に探索を頼んだものがある位置に向けて投影し、さらにステップＳ２６においてスピーカ７により、「ここでいいですか」等の音声を発する。そしてステップＳ２７で人間が、ロボット１側のレーザポインタ１０による光点が示す位置で良いかどうかを判断し、可能なら音声で、それが難しい場合は例えば指し示したものが正しいか否か等を、例えばリモコンなどを用いて指示できるようにして判断を下す。
【００４８】
そしてこの判断が「Ｎｏ」の場合はステップＳ２８に進み、ロボット１は前記ステップＳ２３と同様、過去動作・位置データベース２７で再探索する。そしてステップＳ２９で、前記ステップＳ２４と同様過去動作・位置データベース２７で再探索したものの位置座標を読み出し、さらに自己位置認識部２２が認識している自己位置とから、ロボット１が腕部９に有している特定位置指し示し手段たるレーザポインタ１０などをどのような方向に向けたらいいかを算出し、首・腕・手動作認識部２５、腕関節用駆動部３０、手首関節用駆動部２９等に指示を与え、ステップＳ２５でロボット１側のレーザポインタ１０を、人間がロボット１に探索を頼んだものがある位置に向けて投影する。
【００４９】
そしてこの動作をステップＳ２７で人間が「Ｙｅｓ」というまで続け、ＹｅｓになるとステップＳ３０に行って前記したように音声、またはリモコンで正解であることをロボット１に伝え、ステップＳ３０でさらに自己位置認識部２２により自己位置の認識と指し示した座標を取得し、ステップＳ３２で認識を終了して例えば携帯電話を人間４０に渡すなどの動作を行う。
【００５０】
このようにすることにより、ロボット１は、人間が望む特定物を確実に認識することができ、しかも次の動作を必ず人間に確認しながら行うから誤認識を起こすこともない。従って人間は、ロボット１に対して不安を感じることなく、安心して依頼を与えることができる。
【００５１】
なお、以上の説明では、ロボット１側における特定位置を指し示す手段としてレーザポインタ１０を例に説明してきたが、例えばプロジェクタ４４等を用いる場合、ロボット１は前記したように正面カメラ（第２の撮像装置）５を有するから、図３（Ｂ）のように撮像画像や文字などを適当な場所に４５のように投影し、それによって人間側の指示に答えるようにしても良いことは前記したとおりである。
【産業上の利用可能性】
【００５２】
本発明によれば、簡単、安価な構成で、人間が指し示した位置やものを認識し、その位置やものの絶対座標、または自分との相対座標を認識すること、また、人間が必要とする特定物を認識して過去の所在を記憶装置から読み出し、その特定物の位置を指し示すため、特定物の絶対座標または自分との相対座標を認識することができ、ロボット等に応用すれば、生活支援型ロボットの活用範囲を更に広げることができる。
【図面の簡単な説明】
【００５３】
【図１】本発明になる指示位置の確認方法及び座標獲得方法に用いるロボットの一例の正面図である。
【図２】図１に示したロボットの制御ブロック図である。
【図３】人により指示した位置をロボットが確認する方法の説明図である。
【図４】本発明になる指示位置の確認方法及び座標獲得方法のフロー図である。
【図５】本発明になる特定物の確認方法及び座標獲得方法のフロー図である。
【図６】表示装置上の特定位置を指し示す従来技術の一例である。
【図７】人が指し示す方向を表示するようにした従来技術の一例である。
【符号の説明】
【００５４】
１ ロボット
２ 頭部
３ 第１の撮像装置
４ マイクロホン
５ 第２の撮像装置（目）
６ 胸部
７ スピーカ
８ 画像ディスプレイ
９ 腕部
１０ レーザポインタ、或いはプロジェクタ
１１ 超音波式障害物センサ
１２ 胴部
１３ レーザ式障害物センサ
１４ 走行用車輪
【特許請求の範囲】
【請求項１】
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第１のステップと、
該第１のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第２のステップと、
該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第３のステップとからなり、
前記第１のステップで人間が指し示した方向を検知して第２のステップで特定位置指示手段により指し示し、第３のステップで該特定位置指示手段が指し示した位置が人間の指し示した位置であるか否かを確認することで指示位置または特定物を確認し、座標を獲得することを特徴とする指示位置または特定物の確認方法及び座標獲得方法。
【請求項２】
前記人間が指し示し手段を用いて示した指示位置方向を、前記指し示し手段に設けられた少なくとも２箇所の発光手段を撮像した撮像データから検知することを特徴とする請求項１に記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項３】
前記人間が指し示し手段を用いて示した指示位置方向を、前記指し示し手段に設けられた少なくとも２箇所の磁石が発する磁力を検知することで算出することを特徴とする請求項１に記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項４】
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が問い合わせた前記特定物を認識し、前記記憶手段を検索して特定物の位置情報を読み出す第１のステップと、
該第１のステップで読み出された特定物の位置情報と現在位置座標とから前記特定位置指し示し手段により前記特定物を指し示し、前記人間が問い合わせた特定物であるか否かの確認を人間に促して前記人間が問い合わせた特定物でない場合は人間に再確認を促す第２のステップと、
該第２のステップで確認した前記特定物の座標を特定する第３のステップとからなり、
前記第１のステップで人間が問い合わせた特定物の位置情報を得、第２のステップで第１のステップで得た位置情報により前記特定物を指し示して確認し、第３のステップで特定物の座標を特定するようにして特定物の確認と座標を獲得することを特徴とする指示位置または特定物の確認方法及び座標獲得方法。
【請求項５】
前記人間が問い合わせた前記特定物を認識する手段は、音声認識手段であることを特徴とする請求項４に記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項６】
前記特定位置指し示し手段は、レーザポインタであることを特徴とする請求項１乃至５のいずれかに記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項７】
前記特定位置指し示し手段は、画像表示手段であることを特徴とする請求項１乃至５のいずれかに記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項８】
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知する指示位置方向検知手段と、
前記撮像装置を該指示位置方向検知手段が検知した指示位置方向に向ける第１のアクチュエータ手段と、
指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定する手段と、
該特定された指示位置を前記特定位置指し示し手段により指し示すよう動作させる第２のアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促す確認手段と、
該確認手段が確認した前記指示位置の座標を特定する手段とを備えたことを特徴とする指示位置または特定物の確認及び座標獲得装置。
【請求項９】
前記指示位置方向検知手段は、前記指し示し手段に設けられた少なくとも２箇所の発光手段を前記撮像装置で撮像した撮像データから前記指し示し手段の指し示し方向を検知する手段であることを特徴とする請求項８に記載した指示位置または特定物の確認及び座標獲得装置。
【請求項１０】
前記指示位置方向検知手段は、前記指し示し手段に設けられた少なくとも２箇所の磁石が発する磁力を検知して前記指し示し手段の指し示し方向を算出する手段であることを特徴とする請求項８に記載した指示位置または特定物の確認及び座標獲得装置。
【請求項１１】
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
人間が問い合わせた前記特定物を認識する手段と、
該認識した特定物を前記記憶手段から検索して特定物の位置情報を読み出す手段と、
該特定物の位置情報と現在位置座標とから特定物を前記特定位置指し示し手段により指し示すよう動作させるアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物であるか否かの確認を人間に促す確認手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物でない場合は人間に再確認を促す再確認手段と、
前記確認手段または再確認手段により確認した前記特定物の座標を特定する手段とを備えたことを特徴とする指示位置または特定物の確認及び座標獲得装置。
【請求項１２】
前記人間が問い合わせた前記特定物を認識する手段は、音声認識手段であることを特徴とする請求項８乃至１１のいずれかに記載した指示位置または特定物の確認及び座標獲得装置。
【請求項１３】
前記特定位置指し示し手段は、レーザポインタであることを特徴とする請求項８乃至１２のいずれかに記載した指示位置または特定物の確認及び座標獲得装置。
【請求項１４】
前記特定位置指し示し手段は、画像表示手段であることを特徴とする請求項８乃至１２のいずれかに記載した指示位置または特定物の確認及び座標獲得装置。
【請求項１】
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知し、該検知した指示位置方向に前記撮像装置を向ける第１のステップと、
該第１のステップで指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定し、前記特定位置指し示し手段により指し示す第２のステップと、
該特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促し、前記指示位置の座標を特定する第３のステップとからなり、
前記第１のステップで人間が指し示した方向を検知して第２のステップで特定位置指示手段により指し示し、第３のステップで該特定位置指示手段が指し示した位置が人間の指し示した位置であるか否かを確認することで指示位置または特定物を確認し、座標を獲得することを特徴とする指示位置または特定物の確認方法及び座標獲得方法。
【請求項２】
前記人間が指し示し手段を用いて示した指示位置方向を、前記指し示し手段に設けられた少なくとも２箇所の発光手段を撮像した撮像データから検知することを特徴とする請求項１に記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項３】
前記人間が指し示し手段を用いて示した指示位置方向を、前記指し示し手段に設けられた少なくとも２箇所の磁石が発する磁力を検知することで算出することを特徴とする請求項１に記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項４】
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認方法及び座標獲得方法であって、
前記人間が問い合わせた前記特定物を認識し、前記記憶手段を検索して特定物の位置情報を読み出す第１のステップと、
該第１のステップで読み出された特定物の位置情報と現在位置座標とから前記特定位置指し示し手段により前記特定物を指し示し、前記人間が問い合わせた特定物であるか否かの確認を人間に促して前記人間が問い合わせた特定物でない場合は人間に再確認を促す第２のステップと、
該第２のステップで確認した前記特定物の座標を特定する第３のステップとからなり、
前記第１のステップで人間が問い合わせた特定物の位置情報を得、第２のステップで第１のステップで得た位置情報により前記特定物を指し示して確認し、第３のステップで特定物の座標を特定するようにして特定物の確認と座標を獲得することを特徴とする指示位置または特定物の確認方法及び座標獲得方法。
【請求項５】
前記人間が問い合わせた前記特定物を認識する手段は、音声認識手段であることを特徴とする請求項４に記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項６】
前記特定位置指し示し手段は、レーザポインタであることを特徴とする請求項１乃至５のいずれかに記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項７】
前記特定位置指し示し手段は、画像表示手段であることを特徴とする請求項１乃至５のいずれかに記載した指示位置または特定物の確認方法及び座標獲得方法。
【請求項８】
撮像装置と、特定位置を指し示す特定位置指し示し手段とを有し、人間が指し示し手段を用いて示した指示位置を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
前記人間が指し示し手段を用いて示した指示位置の方向を検知する指示位置方向検知手段と、
前記撮像装置を該指示位置方向検知手段が検知した指示位置方向に向ける第１のアクチュエータ手段と、
指示位置方向を向いた前記撮像装置からの映像によって前記指示位置を特定する手段と、
該特定された指示位置を前記特定位置指し示し手段により指し示すよう動作させる第２のアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記指示位置が、前記人間が指し示した指示位置であるか否かの確認を人間に促す確認手段と、
該確認手段が確認した前記指示位置の座標を特定する手段とを備えたことを特徴とする指示位置または特定物の確認及び座標獲得装置。
【請求項９】
前記指示位置方向検知手段は、前記指し示し手段に設けられた少なくとも２箇所の発光手段を前記撮像装置で撮像した撮像データから前記指し示し手段の指し示し方向を検知する手段であることを特徴とする請求項８に記載した指示位置または特定物の確認及び座標獲得装置。
【請求項１０】
前記指示位置方向検知手段は、前記指し示し手段に設けられた少なくとも２箇所の磁石が発する磁力を検知して前記指し示し手段の指し示し方向を算出する手段であることを特徴とする請求項８に記載した指示位置または特定物の確認及び座標獲得装置。
【請求項１１】
特定物と該特定物の位置情報とを記憶している記憶手段と、特定位置を指し示す特定位置指し示し手段とを有し、人間が問い合わせた前記特定物を確認して座標を取得する指示位置または特定物の確認及び座標獲得装置であって、
人間が問い合わせた前記特定物を認識する手段と、
該認識した特定物を前記記憶手段から検索して特定物の位置情報を読み出す手段と、
該特定物の位置情報と現在位置座標とから特定物を前記特定位置指し示し手段により指し示すよう動作させるアクチュエータ手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物であるか否かの確認を人間に促す確認手段と、
前記特定位置指し示し手段が指し示した前記特定物が、前記人間が問い合わせた特定物でない場合は人間に再確認を促す再確認手段と、
前記確認手段または再確認手段により確認した前記特定物の座標を特定する手段とを備えたことを特徴とする指示位置または特定物の確認及び座標獲得装置。
【請求項１２】
前記人間が問い合わせた前記特定物を認識する手段は、音声認識手段であることを特徴とする請求項８乃至１１のいずれかに記載した指示位置または特定物の確認及び座標獲得装置。
【請求項１３】
前記特定位置指し示し手段は、レーザポインタであることを特徴とする請求項８乃至１２のいずれかに記載した指示位置または特定物の確認及び座標獲得装置。
【請求項１４】
前記特定位置指し示し手段は、画像表示手段であることを特徴とする請求項８乃至１２のいずれかに記載した指示位置または特定物の確認及び座標獲得装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−２３１４４７（Ｐ２００６−２３１４４７Ａ）
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願番号】特願２００５−４８０６８（Ｐ２００５−４８０６８）
【出願日】平成１７年２月２３日（２００５．２．２３）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１６年度総務省委託研究、戦略的情報通信研究開発推進制度（ＳＣＯＰＥ）、産業活力再生特別措置法第３０条の適用を受けるもの）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願日】平成１７年２月２３日（２００５．２．２３）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１６年度総務省委託研究、戦略的情報通信研究開発推進制度（ＳＣＯＰＥ）、産業活力再生特別措置法第３０条の適用を受けるもの）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]