移動型ロボット
【課題】体幹に備えられているカメラとは別のカメラを関節を介して体幹に接続された接続部位に設けることで、ロボットの作動時に接続部位などの体の一部が視界に入ることで生じる未知環境をなくし、常時周囲の環境全域を認識できる技術を提供する。
【解決手段】本発明におけるロボットは、頭部および胴体からなる体幹１０３と、駆動する肩関節２０３を介して体幹１０３に接続された少なくとも一本の接続部位１０４と、体幹に少なくとも１つ設けられている体幹側カメラ１０５と、接続部位に少なくとも１つ設けられている接続部位側カメラ１０６を有している。さらに、体幹側カメラ１０５により撮像した体幹側画像と接続部位側カメラ１０６により撮像した接続部位側画像とを合成して合成画像を作成する合成画像作成手段と、合成画像より周囲物体の位置を認識する認識手段を備えている。
【解決手段】本発明におけるロボットは、頭部および胴体からなる体幹１０３と、駆動する肩関節２０３を介して体幹１０３に接続された少なくとも一本の接続部位１０４と、体幹に少なくとも１つ設けられている体幹側カメラ１０５と、接続部位に少なくとも１つ設けられている接続部位側カメラ１０６を有している。さらに、体幹側カメラ１０５により撮像した体幹側画像と接続部位側カメラ１０６により撮像した接続部位側画像とを合成して合成画像を作成する合成画像作成手段と、合成画像より周囲物体の位置を認識する認識手段を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律移動型ロボットに関する。特に、カメラを利用して周囲の環境を認識して移動するロボットに関する。
【背景技術】
【０００２】
体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位を備えている移動側ロボットが開発されている。この種のロボットのなかには、体幹に設けられている体幹側カメラで撮像された環境画像から環境地図を作成し、得られた環境地図を元に目的位置までの移動経路を計画するものがある。特許文献１では、ロボットの頭部に設けられているカメラで撮像し、撮像した画像から視差画像あるいは距離画像を計算し、計算した視差画像あるいは距離画像から平面パラメータを算出し、算出した平面パラメータから床を含む複数の平面抽出を行うことによって環境地図を作成し、作成した環境地図からロボットが移動可能な範囲を認識し、認識した範囲に基づいてロボットの移動経路を計画している。
【０００３】
【特許文献１】特開２００５−９２８２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
駆動機構を有する関節部を介して体幹に接続されている接続部位を備えているロボットの場合、アームや脚などの接続部位の位置によっては、ロボットの体幹に設けられているカメラの視野の一部が接続部位によって遮られ、一部の周囲物体を撮像できないことがある。即ち、接続部位の背後に未知環境が存在することがある。
接続部位の背後に未知環境が存在すると、体幹の移動経路を計画することができなくなってしまう。あるいは、アームや脚などの接続部位の移動経路を計画することができなくなってしまう。特に、接続部位を目的位置に移動させる経路を計画する場合には、目的位置が未知環境にあるために、目的位置が認識できない事態が発生しやすい。
【０００５】
現状技術では、未知環境が発生する毎に、体幹または接続部位を移動させて未知環境を撮像し、未知環境を未知環境でなくしてから移動経路を決定する処理を必要としている。
しかしながら、上記の処理には本来的には必要とされない動作を要するばかりでなく、体幹を連続的に移動させるロボットや、周囲物体が移動する環境にある場合には、対応することが難しい。
【０００６】
本発明は、未知環境を発生させない移動型ロボットを実現することを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、接続部位によって遮られて撮像できない範囲を撮像するために、接続部位にもカメラを用意する。接続部位にもカメラを用意すれば、接続部位によって撮像できないという事態の発生を防止することができる。
本発明のロボットは、体幹と、能動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている体幹側カメラと、接続部位に設けられている接続部位側カメラと、体幹側カメラで撮像して得られた体幹側画像の一部を、接続部位側カメラで撮像して得られた接続部位側画像の一部に置き換えることで、体幹側画像中から接続部位を除去した合成画像を作成する合成画像作成手段を備えている。
【０００８】
上記のロボットは、体幹側カメラで撮像した体幹側画像を利用することによって、広範囲の環境画像を得ることができる。ただし、体幹側画像には接続部位が撮像されており、その影になって環境画像を得ることができない未知環境が残ることがある。
上記のロボットでは、体幹側画像に、接続部位側カメラで撮像した接続部位側画像を合成することによって合成画像を作成する手段を備えている。このために、体幹側画像では接続部位を撮像しており、その影になって未知環境となっている環境画像に、接続部位側画像を合成することができ、そうして得られる合成画像には未知環境が残らない。
上記のロボットは、未知環境が残らない合成画像を得ながら、その後の体幹または接続部位の移動経路を計算することができる。未知環境を残さないようにするために無駄な動作が必要とされることがない。また周囲物体が移動する環境にあっても、移動経路を時々刻々に決定することができる。
【０００９】
合成画像作成手段が、体幹側画像内において接続部位を撮像している範囲を特定する第１特定手段と、接続部位側画像内において、第１特定手段で特定した範囲と同じ範囲を撮像している範囲を特定する第２特定手段と、第１特定手段で特定した範囲内の体幹側画像を第２特定手段で特定した範囲内の接続部位側画像に置き換える手段を備えていることが好ましい。
【００１０】
体幹側画像内において接続部位を撮像している範囲を特定する手段には、大きく分けて２方式が可能である。一つの方式は、体幹側カメラに対する接続部位の位置関係（これはロボットに既知である）から接続部位が撮像されているはずの範囲を計算して求める方式である。もう一つの方式は、体幹側画像を画像処理して接続部位の形状（これはロボットに既知である）に相当する部分を抽出し、それから接続部位が撮像されている範囲を特定する方式である。いずれの方式であってもよい。
【００１１】
接続部位側画像には、仮に接続部位がなければ体幹側カメラによって撮像されるはずの範囲が撮像されている。この範囲を特定する手段にも大きく分けて２種類が存在する。
一つの方式は、体幹に対する接続部位の位置関係（これはロボットに既知である）と接続部位に対する接続部位側カメラの位置関係から、接続部位側画像において仮に接続部位がなければ体幹側カメラによって撮像されるはずの範囲を計算して求める方式である。この方式は、奥行き情報が既知である場合に特に有効である。例えば、壁面に配置されているスイッチ類を自立移動型ロボットで操作する動作を例にすると、壁面に対するロボットの位置が既知であれば、体幹カメラによる壁面の撮像範囲は計算可能であり、体幹に対する接続部位の位置が既知であれば、接続部位の影になって体幹カメラでは撮像できない壁面の範囲を計算することができる。体幹に対する接続部位の位置と、接続部位に対する接続部位側カメラの位置が既知であれば、接続部位の影になって体幹カメラでは撮像できない壁面の範囲に対応する接続部位側画像内の範囲を計算することができる。体幹側画像では接続部位を撮像している範囲を、接続部位の影になって体幹カメラでは撮像できない範囲の接続部位側画像に置き換えれば、接続部位が存在しない場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。体幹側カメラと接続部位側カメラの存在位置が相違するために、単純に置き換えるだけでは、接続部位が存在しない場合に体幹側カメラで撮像したのと同じ合成画像を得ることはできない。しかしながら、接続部位側カメラは体幹側カメラで撮像できない方向の範囲内にあり、体幹側カメラでは撮像できない範囲に対する体幹側カメラと接続部位側カメラの視点は大きくは相違しない。ほぼ同じ方向から撮像している。従って、接続部位側カメラ画像の縮尺を調整して置き換えるだけで、接続部位が存在しない場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。必要であれば、接続部位側カメラ画像を、体幹側カメラの位置で撮像した画像に変換してから合成してもよい。このようにすると、合成画像の質が向上する。この合成画像が得られれば、接続部位の陰になって体幹側カメラでは撮像できない範囲に存在するスイッチ類の位置を認識することが可能となり、意図したスイッチに向けて接続部位を移動させることが可能となる。あるいは、意図したスイッチに向けて体幹を移動させることが可能となる。
【００１２】
もう一つの方式は、体幹側画像において接続部位が撮像されている範囲に対応する範囲を接続部位側画像から特定する方式である。体幹側画像を画像処理して接続部位の形状に相当する部分を抽出すれば、その周囲に存在する画像から特徴点を抽出することが可能となる。例えば、箱の前面に接続部位が存在しているために、箱の前面の一部が接続部位に遮られている場合、接続部位に隠されていない箱の頂点を特定することができる。このような特徴点を接続部位が撮像されている範囲を一巡するように特定すると、接続部位に遮られて周囲の環境を撮像できていない範囲を含む範囲を特定することができる。一方、接続部位側画像でも、前記の特徴点群を撮像している。そこで、接続部位側画像から前記の特徴点群を抽出すれば、接続部位に遮られて体幹側カメラでは周囲の環境を撮像できていない範囲を含む範囲に対応する接続部位側画像内の範囲を特定することができる。前者の範囲を後者の範囲に置き換えれば、接続部位が存在しない場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。
ロボットが動作している環境によって、計算することで置換範囲を特定できる場合もあれば、画像処理することで置換範囲を特定できる場合もある。
【００１３】
体幹側カメラを複数設けることもできる。この場合、合成画像作成手段によって、それぞれの体幹側カメラで撮像した体幹側画像に対して、合成画像を作成することもできる。この場合、視点を変えて撮像した複数枚の合成画像が得られ、例えば奥行き情報が未知な場合等に、撮像範囲内に存在する特徴点の３次元的位置を特定するといったことが可能となる。
【００１４】
合成画像を用いて、ロボット１００の周囲物体の相対的な位置を計算することができる。前記したように、奥行き情報が既知であれば（壁面に作業対象が配置されているような場合）、１枚の合成画像から、作業対象の存在位置を特定することができる。奥行き情報が未知であっても、視点を変えて撮像した複数枚の合成画像から、周囲物体の３次元的位置を特定することができる。
【００１５】
体幹側カメラに対する接続部位の位置に応じて、接続部位側カメラの撮像方向を調整する手段が付加されていることが好ましい。接続部位の位置によって体幹カメラでは撮像できない範囲の接続部位に対する角度が相違してくる。接続部位の位置に応じて、接続部位側カメラの撮像方向を調整するようにすると、体幹カメラでは撮像できない範囲を接続部位側カメラで確実に撮像するようにすることができ、死角の発生を防止することができる。
【００１６】
例えば奥行き情報が既知であるような場合には、１枚の合成画像を得ること自体で有用な情報が得られる。奥行き情報が未知であれば、視点を変えて撮像した複数枚の画像情報を得、それらから周囲物体の位置を計算することが有用である。
この種の要請に応えるためには、ロボットが、体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている２以上の体幹側カメラと、接続部位に設けられている接続部位側カメラと、２以上の体幹側カメラで撮像した２以上の体幹側画像から撮像範囲内に存在する物体の移動型ロボットに対する相対的位置関係を計算する第１計算手段と、体幹側カメラの少なくとも１つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像から撮像範囲内に存在する物体の移動型ロボットに対する相対的位置関係を計算する第２計算手段を備えていればよい。この場合、画像情報を処理することによって位置情報を計算する。合成画像を作成する必要は必ずしもない。
【００１７】
異なる位置に配置されている２以上の体幹側カメラを利用して２以上の体幹側画像情報を得ることができれば、両画像に撮像されている物体の移動型ロボットに対する相対的位置関係を計算することができる。しかしながら、接続部位の影になっているために、いずれかの体幹側画像では撮像されていない周囲物体については、位置を特定することができない。
本発明のロボットでは、体幹側カメラの１つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像を組み合わせて利用する。これらも、視点を変えて撮像した２以上の画像情報であり、これらからも周囲物体の移動型ロボットに対する相対的位置関係を計算することができる。接続部位の影になって両方の体幹側カメラでは撮像できなくても、いずれか一方の体幹側カメラで撮像できれば、それと接続部位側画像情報を組み合わせて利用することによって、周囲物体の移動型ロボットに対する相対的位置関係を特定することができる。これにより、未知環境の範囲を狭めることができる。
【００１８】
第２計算手段は、接続部位を撮像している範囲が最も少ない体幹側画像を選択して計算に用いることが好ましい。あるいは、すべての体幹側画像情報に接続部位側画像情報を組み合わせて計算してもよい。
【発明の効果】
【００１９】
本発明では、接続部位にカメラを設けることで、接続部位に第２の視覚認識部としての機能を付加している。この構成により、接続部位の影になって体幹側カメラでは撮像できない未知環境の範囲を減少ないし無くすことができ、ロボットを安全に迅速に動作させることが可能となる。
【発明を実施するための最良の形態】
【００２０】
最初に、以下に説明する実施例の主要な特徴を列記する。
（特徴１） ロボットは、体幹に走行機構（この実施例の場合は車輪であるが、脚リンクでもよい）を備えている。
（特徴２） ロボットは、環境地図から体幹の走行軌跡を計算する。
（特徴３） ロボットは、環境地図から接続部位の移動軌跡を計算する。
（特徴３） ロボットは、環境地図から体幹の走行軌跡と接続部位の移動軌跡を計算する。
（特徴４） ロボットは、関節角度制御装置や車輪回転数制御装置および位置情報検出装置により、ロボットの姿勢と各カメラの撮像方向を制御している。体幹側カメラの撮像方向は、体幹側カメラ撮像方向計算装置で計算され、接続部位側カメラの撮像方向は、接続部位側カメラ撮像方向計算装置で計算される。
（特徴５） ロボットは合成画像から得られた情報に基づき、移動経路を作成する。その経路に基づいて、前記関節角度制御装置や車輪回転数制御装置および位置情報検出装置がアクチュエータを制御し、体幹および／または接続部位を作成された移動経路に沿って移動させる。
（特徴６） ロボットは周囲環境の変化に対応して過去に作成した軌道に修正を加え、移動経路を変更する経路修正装置を備えている。
【００２１】
以下、図面を参照しながら本発明の実施例について詳解する。
（実施例１）
図１に、本実施例のロボットの外観を示す。本実施例のロボット１００は、体幹１０３と、肩関節２０３を介して体幹１０３に接続された１本の接続部位（アーム）１０４を有している。接続部位１０４は、２本以上が存在していてもよい。体幹１０３は、胴体２００と、首関節２０２と、頭部２０１を備えており、頭部２０１に体幹側カメラ１０５が固定されている。体幹側カメラ１０５は、首関節２０２によって、胴体２００に対する撮像方向を変えることができる。胴体２００の下方には１対の車輪が配置されており、車輪２０６を利用して体幹１０３を移動させる。
接続部位１０４は、肩関節２０３と、肘関節２０４と、手首関節２０５を備えており、掌に側カメラ１０６が固定されている。肩関節２０３と、肘関節２０４と、手首関節２０５は能動機構を有しており、接続部位側カメラ１０６は、肩関節２０３と、肘関節２０４と、手首関節２０５によって、胴体２００に対する撮像方向を変えることができる。また胴体２００に対する接続部位側カメラ１０６のカメラ位置を変えることもできる。
このロボットは、作業環境内における頭部２０１の位置を計測する手段を備えており、体幹側カメラ１０５のカメラ位置と撮像方向を認識している。また、体幹１０３に対する接続部位側カメラ１０６のカメラ位置と撮像方向を認識している。
本実施例のロボット１００は、車輪２０６を利用してスイッチパネル１０に接近し、接続部位１０４を利用してスイッチパネル１０の壁面に配置されているスイッチ群１２ａ，１２ｂ・・を操作する。スイッチパネル１０の壁面の位置は既知である。
【００２２】
図２は、ロボット１００の周囲を認識する機構１０１の概略を示す図である。本実施例のロボット１００は、制御装置１１４を有している。制御装置１１４は、合成画像作成装置１１０を備えており、合成画像作成装置１１０は、体幹側カメラ１０５から体幹側画像情報を入力し、接続部位側カメラ１０６から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置１１１から体幹側カメラ１０５の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置１０９から接続部位側カメラ１０６の位置と撮像方向を入力し、体幹側画像情報と接続部位側画像情報から合成画像情報を作成し、作成した合成画像情報からその後の移動経路を作成し（移動経路作成装置１１３）、作成した移動経路情報にしたがって、車輪２０６と関節群を回転させるアクチュエータ群１１５を制御し、作成した移動経路に沿って、車輪２０６、頭部２０１、接続部位１０４を移動させる。ロボット１００は、車輪２０６の回転数を検出する車輪回転数検出装置１１９と、各関節の関節角を検出する関節角検出装置１１７と、胴体２００内に設置されていて胴体２００の位置を検出する位置情報検出装置１２１を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置１１１と接続部位側カメラ位置撮像方向計算装置１０９に入力される。
ロボットは、位置と撮像方位が既知のカメラで撮影した画像情報から周囲の環境を認識して移動経路を作成する移動経路作成手段１１３を有しており、作成した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像する処理を繰り返しながら、自律的に移動する。
【００２３】
図３に、ロボット１００の視野図を示す。ロボット１００の接続部位１０４が体幹側カメラ１０５の視野内に入ってしまうと、その後ろにある環境情報を得ることができない。具体的には、体幹側カメラ１０５から撮像する体幹側画像には、スイッチパネルの点Aおよび点Bは撮像されるのに対し、点Cおよび点Dは写らない。よって、点Cおよび点Dにおける周囲物体の情報が未知となり、環境状況の認識およびロボット１００に対する周囲物体の相対的な位置関係の把握をすることができないが、本実施例では、接続部位側カメラ１０６を設けることで可視範囲が拡大され、点Cおよび点Dを含む、未知の環境を把握することができる。
【００２４】
図４および図５に、体幹側画像と接続部位側画像の例をそれぞれ示す。図４の体幹側画像では接続部位１０４の影に隠れて撮像されないパネルの表面が、図５の接続部位側画像では撮像されている。これは、頭部２０１と接続部位１０４の位置が関節角検出装置１１７により制御されており、体幹側カメラ１０５と接続部位側カメラ１０６の相対位置に応じて、接続部位側カメラ１０６の撮像方向が調節されることにより可能となる。接続部位側カメラ１０６の撮像方向は、体幹側カメラでは接続部位１０４の影に隠れて撮像できない方向を撮影するように調整される。
それぞれのカメラの倍率や画像サイズなどの差異に関する情報は、体幹側カメラ位置撮像方向計算装置１１１および接続部位側カメラ位置撮像方向計算装置１０９によって把握されており、合成時にはその情報に基づいた画像処理を行うため、それぞれの画像の撮像範囲が完全に一致しなくてもよい。例えば、体幹側カメラ１０５に対し接続部位側カメラ１０６はスイッチパネル１０までの距離が異なっており、かつ接続部位１０４が頭部２０１に対して傾斜していることから、図５の接続部位側画像は図４の体幹側画像に比べて撮像されるスイッチパネル１０の倍率が大きく、また傾いている。
【００２５】
図６に、画像合成処理のフローチャートを示す。このとき、ロボット１００とスイッチパネル１０は図１に示すような位置関係にある。ロボット１００の接続部位１０４は図４に示す位置にあり、同様の画像が体幹側カメラ１０５により撮像されている。ロボット１００はスイッチパネル１０のスイッチ１２ｃ（図１参照）を押圧するために、接続部位１０４を移動させようとしている。しかしながら、スイッチ１２ｃは体幹側画像においては未知環境の範囲内にあるため、図６に示す合成画像作成処理を開始する。
ステップＳ６０１では、合成画像作成装置１１０に体幹側画像情報が入力される。ステップＳ６０３では、体幹側画像において未知環境となっている部分の特徴点Ｘｎの抽出をする。図７に、ステップＳ６０３において抽出される体幹側画像の特徴点の一例を示す。ロボット１００の接続部位１０４の形状は既知であることから、体幹側画像から接続部位を撮像している範囲（接続部位の撮像範囲）を特定することができる（第１特定手段）。図中の点Ｘ１からＸ６は、接続部位の撮像範囲を包含するように抽出された特徴点である。本実施例では、直線で結ぶことが可能な６個の特徴点を抽出しているが、接続部位の輪郭に沿って特徴点Ｘｎをとればよい。ステップＳ６０５では、ステップＳ６０３において抽出された特徴点から、接続部位の撮像範囲Ｒ（背後の周囲物体情報が未知の範囲）を特定する。図７の特徴点Ｘ１からＸ６に囲まれた範囲が、近似的な接続部位の撮像範囲Ｒである。抽出する特徴点Ｘｎの数を増やすことで、特徴点によって取り囲まれる範囲Ｒを接続部位の撮像範囲に正確に一致させることができる。
【００２６】
ステップＳ６０７では、合成画像作成装置１１０に接続部位側画像情報が入力される。
ステップＳ６０９では、ステップＳ６０７で入力された接続部位側画像情報から、体幹側画像の接続部位の撮像範囲Ｒの特徴点に対応する点Ｚｎを抽出する。図８に、ステップＳ６０９において抽出される接続部位側画像の特徴点Ｚｎの一例を示す。図８中の点Ｚ１からＺ６は、体幹側画像から抽出された特徴点Ｘ１からＸ６に対応する点である。
ステップＳ６１１では、ステップＳ６０９で抽出された特徴点Ｚｎから、接続部位側画像の対応範囲Ｓ（体幹側画像では未知情報である範囲）を特定する（第２特定手段）。
【００２７】
ステップＳ６１３では、接続部位側画像より得られた対応範囲Ｓを、体幹側画像より得られた接続部位の撮像範囲Ｒに適合するように、体幹側カメラと接続部位側カメラの入力画像に付加されている差異情報に基づき、サイズの調整、傾斜角の回転調整などの処理を行う。
ステップＳ６１５では、体幹側画像の接続部位の撮像範囲Ｒを、合成のための準備処理を終えた対応範囲Ｓに置き換える。その結果、ステップＳ６１７において、未知範囲のない合成画像が出力される。図９に、合成画像の一例を示す。破線で示されている接続部位の撮像範囲Ｒは対応範囲Ｓに置き換えられ、接続部位が撮像されていない合成画像を得ることができる。
【００２８】
本実施例は、複数の体幹側カメラを有していても良い。その場合は、それぞれの体幹側画像より接続部位の撮像範囲Ｒｘを抽出し、それぞれの接続部位の撮像範囲Ｒｘに対して接続部位側画像より対応範囲Ｓｘを抽出し、接続部位の撮像範囲Ｒｘを対応範囲Ｓｘと置き換える。
【００２９】
図１０に、３台の体幹側カメラから撮像された、３枚の体幹側画像ＴＣ１、ＴＣ２およびＴＣ３を例示する。この体幹側画像ＴＣ１、ＴＣ２およびＴＣ３はステップＳ６０１からステップＳ６０５の処理を経て、接続部位の撮像範囲Ｒ１、Ｒ２およびＲ３の特定を行っている。頭部に固定された３台の体幹側カメラの位置が異なるため、各画像の接続部位の撮像範囲の位置には差異がある。
図１１に、上記の３台の体幹側カメラと連動して作動する接続部位側カメラが撮像した接続部位側画像ＡＣを例示する。体幹側画像ＴＣ１、ＴＣ２およびＴＣ３の接続部位の撮像範囲Ｒ１、Ｒ２およびＲ３を補うため、接続部位側画像ＡＣはステップＳ６０７からステップＳ６１１の処理によって対応範囲Ｓ１、Ｓ２およびＳ３を特定する。
ステップＳ６１３からステップＳ６１７の処理により、体幹側画像ＴＣ１、ＴＣ２およびＴＣ３の接続部位の撮像範囲Ｒ１、Ｒ２およびＲ３は、接続部位側画像ＡＣの対応範囲Ｓ１、Ｓ２およびＳ３により置き換えられ、未知範囲のない体幹側カメラ画像が作成される。
【００３０】
さらに、本実施例は、複数の接続部位側カメラを有していてもよい。この場合は、各体幹側画像の接続部位の撮像範囲Ｒに対して対応範囲Ｓが最も広範囲に抽出可能な接続部位側画像を利用するような判断装置を設けることが好ましい。
【００３１】
本実施例はさらに、上記の方法で得られた合成画像を用いて、ロボット１００に対する周囲物体の相対的な位置を計算することができる。ここでいうロボット１００に対する周囲物体の相対的な位置は、物体の相対的位置座標をワールド座標系からロボットを中心とした座標系に変換して把握する。
【００３２】
（実施例２）
実施例１と実施例２には、共通する部位があるため、共通する部位または装置については同一番号を付して重複説明を省略する。
図１２は、ステレオカメラを用いたロボットの外観を示す図である。本実施例のロボット１００は、体幹１０３と、肩関節２０３を介して体幹１０３に接続された一本の接続部位（アーム）１０４を有している。接続部位１０４は、２本以上が存在していてもよい。体幹１０３は、
胴体２００と、首関節２０２と、頭部２０１を備えており、頭部２０１に体幹側カメラ１０５（ａ）および１０５（ｂ）が固定されている。体幹側カメラ１０５（ａ）および１０５（ｂ）は、首関節２０２によって、胴体２００に対する撮像方向を変えることができる。胴体２００の下方には１対の車輪２０６が配置されており、車輪２０６を利用して移動する。
接続部位１０４は、肩関節２０３と、肘関節２０４と、手首関節２０５を備えており、掌に接続部位側カメラ１０６が固定されている。肩関節２０３と、肘関節２０４と、手首関節２０５は能動機構を有しており、接続部位側カメラ１０６は、肩関節２０３と、肘関節２０４と、手首関節２０５によって、胴体２００に対する撮像方向を変えることができる。また胴体２００に対する接続部位側カメラ１０６のカメラ位置を変えることもできる。
このロボットは、作業環境内におえる頭部２０１の位置を計測する手段を備えており、体幹側カメラ１０５（ａ）および１０５（ｂ）のカメラ位置と撮像方向を認識している。また、胴体２００に対する接続部位側カメラ１０６のカメラ位置と撮像方向を認識している。
本実施例のロボット１００は、周囲物体３０，４０，５０，６０を視覚により認識し、それらに衝突しない接続部位軌道を作成し、把持物２０を空いたスペースに設置する。ロボット１００の体幹側カメラ１０５（ａ）および１０５（ｂ）は通常、ステレオカメラとして機能していて、図中の点Ａ、Ｂ、Ｃ、Ｄは、ロボット１００の視点である。
【００３３】
図１３は、本実施例のステレオカメラを用いたロボット１００の周囲を認識する機構１０１の概略を示す図である。本実施例のロボット１００は、制御装置１１４を有している。制御装置１１４は、画像情報処理装置１１６を備えており、画像情報処理装置１１６は体幹１０３に設けられている体幹側カメラ１０５（ａ）および１０５（ｂ）から体幹側画像情報を入力し、接続部位１０４に設けられている接続部位側カメラ１０６から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置１１１から体幹側カメラ１０５（ａ）および１０５（ｂ）の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置１０９から接続部位側カメラ１０６の位置と撮像方向を入力し、これらの画像情報およびカメラ位置と撮像方向に関する情報から、環境地図を作成し、環境地図記憶装置１１２に記憶する。その環境地図情報に基づき、その後の移動経路を作成し（移動経路作成装置１１３）、作成した移動経路情報にしたがって、車輪２０６と能動機構を有する関節を回転させるアクチュエータ群１１５を制御し、作成した移動経路に沿って、車輪２０６、頭部２０１、接続部位１０４を移動させる。ロボット１００は、車輪２０６の回転数を検出する車輪回転数検出装置１１９と、各関節の関節角を検出する関節角検出装置１２３と、胴体２００内に設置されていて胴体２００の位置を検出する位置情報検出装置１２１を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置１１１と接続部位側カメラ位置撮像方向計算装置１０９に入力される。
ロボット１００は、位置と撮像方位が既知のカメラで撮像した画像情報から周囲の環境を認識して移動経路を計算し、計算した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像するという処理を繰返しながら、自律的に移動する。
【００３４】
図１４に、ロボット１００の視野の鳥瞰図を示す。ロボット１００の接続部位１０４とその把持物２０が体幹側カメラ１０５（ａ）および１０５（ｂ）の視野内に入ってしまうと、その後ろにある環境情報を得ることができない。
具体的には、図１４の例において、点Ａおよび点Ｂは、実線矢印で示すように体幹側カメラ１０５（ａ）および１０５（ｂ）の両方より撮像可能であるため、体幹側画像からステレオ画像が生成可能となっており、ロボットの移動に合わせてその情報を時系列上連続して取得することができる。
それに対し、点Ｃおよび点Ｄに関しては、体幹側カメラだけでは下肢の移動位置もしくは接続部位の動作によって、それぞれの点の体幹側カメラ１０５（ａ）および１０５（ｂ）を利用したステレオ視が不可能となり、その周囲についての環境情報を取得することができない。破線矢印は、接続部位あるいは把持物体が視線を遮るため、同じ特徴点を有する画像を撮像することができないことを示している。
ステレオカメラの場合、特に周囲物体の奥行きや高さなどの情報を必要とする場合は、複数の位置情報が既知のカメラを利用するか、あるいは１台のカメラが移動しながら撮像した場合のように、複数の画像から視差情報が得られることが必須となる。このため、点Ｃおよび点Ｄは両眼視ができないことから、点Ｃおよび点Ｄ付近の物体の位置関係を認識することができない。
【００３５】
このような場合、本実施例は、点Ｃおよび点Ｄの視点のように、視界を遮る物体の有無等により、体幹側カメラ１０５のいずれかがステレオカメラとして満足に機能することが困難な場合には、いずれかの体幹側カメラ１０５と接続部位側カメラ１０６を用いてステレオ画像を得ることができる。
具体的には、点Ａおよび点Ｂの周辺など、接続部位１０４などの視野を遮る物体がない場合には体幹側カメラ１０５（ａ）および１０５（ｂ）によりステレオ画像を取得し、周囲物体のロボット１００に対する相対的な位置関係を計算することができる（第１計算手段）。その一方で、点Ｃのような場合には体幹側カメラ１０５（ｂ）と接続部位側カメラ１０６により両眼視し、点Ｄの場合には体幹側カメラ１０５（ａ）と接続部位側カメラ１０６により両眼視をすることにより、周辺環境全域を認識するのに必要な情報を得、周囲物体のロボット１００に対する相対的な位置関係を計算することができる（第２計算手段）。
【００３６】
接続部位側カメラ１０６を使って両眼視をする場合、複数ある体幹側カメラのうち、どのカメラを使ってステレオ画像を取得するかは、接続部位１０４の撮像される範囲が最も少ない体幹側画像が取得される体幹側カメラを計算に用いるよう選択することができる。この選択は、画像情報処理装置１１６が判断する。
【００３７】
図１５に、本実施例のロボットの動作概要を表わすフローチャートを示す。このとき、ロボット１００は把持物２０を把持しており、それを物体３０，４０，５０および６０に衝突しない接続部位軌道を作成し、把持物２０を空いたスペースに設置する作業を実行したい。ロボット１００の接続部位１０４は図１４に示すような位置にあり、このような状態を表す画像が体幹側カメラ１０５（ａ）および１０５（ｂ）の位置より撮像されている。接続部位１０４の軌道を作成するにあたって、物体５０および物体６０の一部が接続部位１０４および把持物２０により未知となっているため、図１５に示す画像情報処理を開始する。
ステップＳ５００では、体幹側カメラ１０５（ａ）と１０５（ｂ）および接続部位側カメラ１０６により撮像された複数の画像が画像情報処理装置１１６へ入力され、ステレオ画像が取得される。画像情報処理装置１１６は、体幹側画像の未知範囲の大きさにより、接続部位側画像を利用するかどうかを判断してもよく、接続部位１０４によって遮られ、未知範囲となる範囲がより少ない画像の組み合わせからステレオ画像を得る手段を有している。
【００３８】
ステップＳ５０２では、ステップＳ５００で選択され、取得されたステレオ画像に基づきロボット１００の周囲物体の相対的な位置を計算する。画像データはワールド座標系からロボットを中心とする座標系に変換され、周囲物体の位置関係が計算され、ロボット１００と周囲物体の相対的位置情報として出力される。例として、この相対的位置情報の取得には、視差画像や距離画像を用いてもよい。
このとき、体幹側画像どうしからステレオ画像情報を得る場合と、体幹側画像と接続部位側画像を利用してステレオ画像を得る場合とで、それぞれに第１計算手段および第２計算手段という、異なる計算手段を用意することが望ましい。体幹側カメラどうしは並行であるが、体幹側画像と接続部位側画像を利用した計算手段は、それぞれのカメラの相対位置が異なるため、例えばステレオ画像の平行化やハンド・アイ校正のような座標系の変換などが適用できる。
【００３９】
画像処理装置１１６において算出された相対的位置情報は、ステップＳ５０４において周囲物体の相対的位置を表わすデータとして構築され、環境地図記憶装置１１２に記憶される。環境地図とは、ロボット１００が周囲物体の相対的位置を把握できるようなデータを指す。例えば、画像情報処理装置１１６において視差画像を算出するような場合は、この環境地図は画像視差空間（ＳＤＳ空間 Spacial Disparity Space）により表わすことが可能である。ＳＤＳ空間においては、点Ａ、点Ｂ、点Ｃおよび点Ｄを有する周囲物体３０，４０，５０，６０は奥行きのある曲面として表れてくる。
【００４０】
ステップＳ５０６では、環境地図情報に基づいてロボット１００の移動経路を作成する。本実施例のロボット１００は、周囲物体３０，４０，５０，６０を視覚により認識し、それらに衝突しない接続部位軌道を作成し、把持物２０を空いたスペースに設置することを作業目的としているため、このような場合は環境地図情報より周囲物体が存在しない平面を検出し、そこへ把持物２０を設置できるような接続部位の軌道を作成することが望ましい。作成された移動経路に沿って、ステップＳ５０８では、アクチュエータ１１５により実際の動作が実現される。
【００４１】
図１６に、ロボット１００の画像情報処理を表わすフローチャートを示す。図１５のステップＳ５００のスレテオ画像の取得方法は、複数の体幹側画像を使って取得する方法と、体幹側画像のいずれかと接続部位側画像を使って取得する方法の２手法が存在する。ステップＳ１６０では、体幹側カメラ１０５（ａ）と１０５（ｂ）により撮像された複数の体幹側画像と、接続部位側カメラ１０６により撮像された接続部位側画像が画像情報処理装置１１６に入力される。ステップＳ１６２では、体幹側画像に接続部位１０４が撮像されているかを判断する。接続部位が撮像されていない場合（ＮＯの場合）はステップＳ１６４に移行し、体幹側画像どうしからステレオ画像を取得し、第１計算手段を実行する。一方で、体幹側画像に接続部位が撮像されている場合は（ＹＥＳの場合）はステップＳ１６６に進み、いずれかの体幹側画像と接続部位側画像からステレオ画像を取得し、第２計算手段を実行する。ステップＳ１６６で選択される体幹側画像は、接続部位の撮像されている範囲がより小さい方の体幹側画像である。
【００４２】
本実施例では、体幹および接続部位に合計３台のカメラを用いて周囲物体の３次元情報を得る場合を例示しているが、より多くのカメラを用いても良いし、１台の接続部位側カメラが移動することで連続して撮像するような手法を採っても良い。
【００４３】
本実施例では静的な周囲物体を認識する場合について例示したが、移動経路作成装置１１３において作成された経路に沿って接続部位が動作を開始した後に、新たな障害物となる周囲物体が移動経路上に出現した場合や、周囲物体とロボットの位置が下肢の移動等により変化し、接続部位の軌道に修正が必要となった場合に対応することができない。
【００４４】
（実施例３）
図１７に、動的な周囲物体に対応することができる形態を示す。このロボット機構１０１は、実施例２のロボット機構に、さらに接続部位の起動に修正を加える移動経路修正装置１２５を設けることで、一度発令された経路を適宜修正することができる。
また、適宜周辺環境のデータを更新することで、接続部位の動作と周囲の環境の変化を同時に、連続して認識し、それに応じて軌道を修正することができる。
【００４５】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
例えば、アームだけでなく、脚などの複数の接続部位にそれぞれ、あるいは１本の接続部位の異なる部位に接続部位側カメラを回転可能に複数個装備すれば、撮像可能な範囲がより拡大される。
また、実施例２では体幹側カメラを主眼としたステレオ視について例示したが、複数の接続部位側カメラを用いてステレオ視を可能にし、体幹側カメラと接続部位側カメラそれぞれのステレオ画像処理装置を装備することで、さらに多様な用途に利用することができる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項に記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図面の簡単な説明】
【００４６】
【図１】実施例１のロボットの外観を示す図である。
【図２】実施例１のロボット機構の概略を示す図である。
【図３】実施例１のロボットの視野図である。
【図４】体幹側画像の一例を示す図である。
【図５】接続部位側画像の一例を示す図である。
【図６】画像合成処理装置の処理過程を示すフローチャートである。
【図７】図４の体幹側画像と接続部位の撮像範囲Ｒを示した図である。
【図８】図５の接続部位側画像と対応範囲Ｓを示した図である。
【図９】ステップＳ６１３の出力結果の一例を示す図である。
【図１０】複数の体幹側画像と接続部位の撮像範囲Ｒの一例を示す図である。
【図１１】接続部位側画像と対応範囲Ｓの一例を示す図である。
【図１２】実施例２のロボットの外観を示す図である。
【図１３】実施例２のロボット機構の概略を示す図である。
【図１４】実施例２のロボットの視野図である。
【図１５】実施例２のロボットの動作処理までの過程を示すフローチャートである。
【図１６】ステレオ画像の取得処理の過程を示すフローチャートである。
【図１７】実施例３のロボット機構の概略を示す図である。
【符号の説明】
【００４７】
１００：ロボット
１０１：ロボット機構
１０３：体幹
１０４：接続部位（アーム）
１０５：体幹側カメラ
１０５（ａ）：体幹側カメラ
１０５（ｂ）：体幹側カメラ
１０６：接続部位側カメラ
１０９：接続部位側カメラ位置撮像方向計算装置
１１０：合成画像作成装置
１１１：体幹側カメラ位置撮像方向計算装置
１１２：環境地図記憶装置
１１３：移動経路作成装置
１１４：制御装置
１１５：アクチュエータ群
１１６：画像処理装置
１１７：関節角検出装置
１１９：車輪回転数検出装置
１２１：位置情報検出装置
１２５：移動経路修正装置
２００：胴体
２０１：頭部
２０２：首関節
２０３：肩関節
２０４：肘関節
２０５：手首関節
２０６：車輪
【技術分野】
【０００１】
本発明は、自律移動型ロボットに関する。特に、カメラを利用して周囲の環境を認識して移動するロボットに関する。
【背景技術】
【０００２】
体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位を備えている移動側ロボットが開発されている。この種のロボットのなかには、体幹に設けられている体幹側カメラで撮像された環境画像から環境地図を作成し、得られた環境地図を元に目的位置までの移動経路を計画するものがある。特許文献１では、ロボットの頭部に設けられているカメラで撮像し、撮像した画像から視差画像あるいは距離画像を計算し、計算した視差画像あるいは距離画像から平面パラメータを算出し、算出した平面パラメータから床を含む複数の平面抽出を行うことによって環境地図を作成し、作成した環境地図からロボットが移動可能な範囲を認識し、認識した範囲に基づいてロボットの移動経路を計画している。
【０００３】
【特許文献１】特開２００５−９２８２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
駆動機構を有する関節部を介して体幹に接続されている接続部位を備えているロボットの場合、アームや脚などの接続部位の位置によっては、ロボットの体幹に設けられているカメラの視野の一部が接続部位によって遮られ、一部の周囲物体を撮像できないことがある。即ち、接続部位の背後に未知環境が存在することがある。
接続部位の背後に未知環境が存在すると、体幹の移動経路を計画することができなくなってしまう。あるいは、アームや脚などの接続部位の移動経路を計画することができなくなってしまう。特に、接続部位を目的位置に移動させる経路を計画する場合には、目的位置が未知環境にあるために、目的位置が認識できない事態が発生しやすい。
【０００５】
現状技術では、未知環境が発生する毎に、体幹または接続部位を移動させて未知環境を撮像し、未知環境を未知環境でなくしてから移動経路を決定する処理を必要としている。
しかしながら、上記の処理には本来的には必要とされない動作を要するばかりでなく、体幹を連続的に移動させるロボットや、周囲物体が移動する環境にある場合には、対応することが難しい。
【０００６】
本発明は、未知環境を発生させない移動型ロボットを実現することを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、接続部位によって遮られて撮像できない範囲を撮像するために、接続部位にもカメラを用意する。接続部位にもカメラを用意すれば、接続部位によって撮像できないという事態の発生を防止することができる。
本発明のロボットは、体幹と、能動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている体幹側カメラと、接続部位に設けられている接続部位側カメラと、体幹側カメラで撮像して得られた体幹側画像の一部を、接続部位側カメラで撮像して得られた接続部位側画像の一部に置き換えることで、体幹側画像中から接続部位を除去した合成画像を作成する合成画像作成手段を備えている。
【０００８】
上記のロボットは、体幹側カメラで撮像した体幹側画像を利用することによって、広範囲の環境画像を得ることができる。ただし、体幹側画像には接続部位が撮像されており、その影になって環境画像を得ることができない未知環境が残ることがある。
上記のロボットでは、体幹側画像に、接続部位側カメラで撮像した接続部位側画像を合成することによって合成画像を作成する手段を備えている。このために、体幹側画像では接続部位を撮像しており、その影になって未知環境となっている環境画像に、接続部位側画像を合成することができ、そうして得られる合成画像には未知環境が残らない。
上記のロボットは、未知環境が残らない合成画像を得ながら、その後の体幹または接続部位の移動経路を計算することができる。未知環境を残さないようにするために無駄な動作が必要とされることがない。また周囲物体が移動する環境にあっても、移動経路を時々刻々に決定することができる。
【０００９】
合成画像作成手段が、体幹側画像内において接続部位を撮像している範囲を特定する第１特定手段と、接続部位側画像内において、第１特定手段で特定した範囲と同じ範囲を撮像している範囲を特定する第２特定手段と、第１特定手段で特定した範囲内の体幹側画像を第２特定手段で特定した範囲内の接続部位側画像に置き換える手段を備えていることが好ましい。
【００１０】
体幹側画像内において接続部位を撮像している範囲を特定する手段には、大きく分けて２方式が可能である。一つの方式は、体幹側カメラに対する接続部位の位置関係（これはロボットに既知である）から接続部位が撮像されているはずの範囲を計算して求める方式である。もう一つの方式は、体幹側画像を画像処理して接続部位の形状（これはロボットに既知である）に相当する部分を抽出し、それから接続部位が撮像されている範囲を特定する方式である。いずれの方式であってもよい。
【００１１】
接続部位側画像には、仮に接続部位がなければ体幹側カメラによって撮像されるはずの範囲が撮像されている。この範囲を特定する手段にも大きく分けて２種類が存在する。
一つの方式は、体幹に対する接続部位の位置関係（これはロボットに既知である）と接続部位に対する接続部位側カメラの位置関係から、接続部位側画像において仮に接続部位がなければ体幹側カメラによって撮像されるはずの範囲を計算して求める方式である。この方式は、奥行き情報が既知である場合に特に有効である。例えば、壁面に配置されているスイッチ類を自立移動型ロボットで操作する動作を例にすると、壁面に対するロボットの位置が既知であれば、体幹カメラによる壁面の撮像範囲は計算可能であり、体幹に対する接続部位の位置が既知であれば、接続部位の影になって体幹カメラでは撮像できない壁面の範囲を計算することができる。体幹に対する接続部位の位置と、接続部位に対する接続部位側カメラの位置が既知であれば、接続部位の影になって体幹カメラでは撮像できない壁面の範囲に対応する接続部位側画像内の範囲を計算することができる。体幹側画像では接続部位を撮像している範囲を、接続部位の影になって体幹カメラでは撮像できない範囲の接続部位側画像に置き換えれば、接続部位が存在しない場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。体幹側カメラと接続部位側カメラの存在位置が相違するために、単純に置き換えるだけでは、接続部位が存在しない場合に体幹側カメラで撮像したのと同じ合成画像を得ることはできない。しかしながら、接続部位側カメラは体幹側カメラで撮像できない方向の範囲内にあり、体幹側カメラでは撮像できない範囲に対する体幹側カメラと接続部位側カメラの視点は大きくは相違しない。ほぼ同じ方向から撮像している。従って、接続部位側カメラ画像の縮尺を調整して置き換えるだけで、接続部位が存在しない場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。必要であれば、接続部位側カメラ画像を、体幹側カメラの位置で撮像した画像に変換してから合成してもよい。このようにすると、合成画像の質が向上する。この合成画像が得られれば、接続部位の陰になって体幹側カメラでは撮像できない範囲に存在するスイッチ類の位置を認識することが可能となり、意図したスイッチに向けて接続部位を移動させることが可能となる。あるいは、意図したスイッチに向けて体幹を移動させることが可能となる。
【００１２】
もう一つの方式は、体幹側画像において接続部位が撮像されている範囲に対応する範囲を接続部位側画像から特定する方式である。体幹側画像を画像処理して接続部位の形状に相当する部分を抽出すれば、その周囲に存在する画像から特徴点を抽出することが可能となる。例えば、箱の前面に接続部位が存在しているために、箱の前面の一部が接続部位に遮られている場合、接続部位に隠されていない箱の頂点を特定することができる。このような特徴点を接続部位が撮像されている範囲を一巡するように特定すると、接続部位に遮られて周囲の環境を撮像できていない範囲を含む範囲を特定することができる。一方、接続部位側画像でも、前記の特徴点群を撮像している。そこで、接続部位側画像から前記の特徴点群を抽出すれば、接続部位に遮られて体幹側カメラでは周囲の環境を撮像できていない範囲を含む範囲に対応する接続部位側画像内の範囲を特定することができる。前者の範囲を後者の範囲に置き換えれば、接続部位が存在しない場合に体幹側カメラで撮像したのと同等な合成画像を得ることができる。
ロボットが動作している環境によって、計算することで置換範囲を特定できる場合もあれば、画像処理することで置換範囲を特定できる場合もある。
【００１３】
体幹側カメラを複数設けることもできる。この場合、合成画像作成手段によって、それぞれの体幹側カメラで撮像した体幹側画像に対して、合成画像を作成することもできる。この場合、視点を変えて撮像した複数枚の合成画像が得られ、例えば奥行き情報が未知な場合等に、撮像範囲内に存在する特徴点の３次元的位置を特定するといったことが可能となる。
【００１４】
合成画像を用いて、ロボット１００の周囲物体の相対的な位置を計算することができる。前記したように、奥行き情報が既知であれば（壁面に作業対象が配置されているような場合）、１枚の合成画像から、作業対象の存在位置を特定することができる。奥行き情報が未知であっても、視点を変えて撮像した複数枚の合成画像から、周囲物体の３次元的位置を特定することができる。
【００１５】
体幹側カメラに対する接続部位の位置に応じて、接続部位側カメラの撮像方向を調整する手段が付加されていることが好ましい。接続部位の位置によって体幹カメラでは撮像できない範囲の接続部位に対する角度が相違してくる。接続部位の位置に応じて、接続部位側カメラの撮像方向を調整するようにすると、体幹カメラでは撮像できない範囲を接続部位側カメラで確実に撮像するようにすることができ、死角の発生を防止することができる。
【００１６】
例えば奥行き情報が既知であるような場合には、１枚の合成画像を得ること自体で有用な情報が得られる。奥行き情報が未知であれば、視点を変えて撮像した複数枚の画像情報を得、それらから周囲物体の位置を計算することが有用である。
この種の要請に応えるためには、ロボットが、体幹と、駆動機構を有する関節部を介して体幹に接続されている接続部位と、体幹に設けられている２以上の体幹側カメラと、接続部位に設けられている接続部位側カメラと、２以上の体幹側カメラで撮像した２以上の体幹側画像から撮像範囲内に存在する物体の移動型ロボットに対する相対的位置関係を計算する第１計算手段と、体幹側カメラの少なくとも１つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像から撮像範囲内に存在する物体の移動型ロボットに対する相対的位置関係を計算する第２計算手段を備えていればよい。この場合、画像情報を処理することによって位置情報を計算する。合成画像を作成する必要は必ずしもない。
【００１７】
異なる位置に配置されている２以上の体幹側カメラを利用して２以上の体幹側画像情報を得ることができれば、両画像に撮像されている物体の移動型ロボットに対する相対的位置関係を計算することができる。しかしながら、接続部位の影になっているために、いずれかの体幹側画像では撮像されていない周囲物体については、位置を特定することができない。
本発明のロボットでは、体幹側カメラの１つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像を組み合わせて利用する。これらも、視点を変えて撮像した２以上の画像情報であり、これらからも周囲物体の移動型ロボットに対する相対的位置関係を計算することができる。接続部位の影になって両方の体幹側カメラでは撮像できなくても、いずれか一方の体幹側カメラで撮像できれば、それと接続部位側画像情報を組み合わせて利用することによって、周囲物体の移動型ロボットに対する相対的位置関係を特定することができる。これにより、未知環境の範囲を狭めることができる。
【００１８】
第２計算手段は、接続部位を撮像している範囲が最も少ない体幹側画像を選択して計算に用いることが好ましい。あるいは、すべての体幹側画像情報に接続部位側画像情報を組み合わせて計算してもよい。
【発明の効果】
【００１９】
本発明では、接続部位にカメラを設けることで、接続部位に第２の視覚認識部としての機能を付加している。この構成により、接続部位の影になって体幹側カメラでは撮像できない未知環境の範囲を減少ないし無くすことができ、ロボットを安全に迅速に動作させることが可能となる。
【発明を実施するための最良の形態】
【００２０】
最初に、以下に説明する実施例の主要な特徴を列記する。
（特徴１） ロボットは、体幹に走行機構（この実施例の場合は車輪であるが、脚リンクでもよい）を備えている。
（特徴２） ロボットは、環境地図から体幹の走行軌跡を計算する。
（特徴３） ロボットは、環境地図から接続部位の移動軌跡を計算する。
（特徴３） ロボットは、環境地図から体幹の走行軌跡と接続部位の移動軌跡を計算する。
（特徴４） ロボットは、関節角度制御装置や車輪回転数制御装置および位置情報検出装置により、ロボットの姿勢と各カメラの撮像方向を制御している。体幹側カメラの撮像方向は、体幹側カメラ撮像方向計算装置で計算され、接続部位側カメラの撮像方向は、接続部位側カメラ撮像方向計算装置で計算される。
（特徴５） ロボットは合成画像から得られた情報に基づき、移動経路を作成する。その経路に基づいて、前記関節角度制御装置や車輪回転数制御装置および位置情報検出装置がアクチュエータを制御し、体幹および／または接続部位を作成された移動経路に沿って移動させる。
（特徴６） ロボットは周囲環境の変化に対応して過去に作成した軌道に修正を加え、移動経路を変更する経路修正装置を備えている。
【００２１】
以下、図面を参照しながら本発明の実施例について詳解する。
（実施例１）
図１に、本実施例のロボットの外観を示す。本実施例のロボット１００は、体幹１０３と、肩関節２０３を介して体幹１０３に接続された１本の接続部位（アーム）１０４を有している。接続部位１０４は、２本以上が存在していてもよい。体幹１０３は、胴体２００と、首関節２０２と、頭部２０１を備えており、頭部２０１に体幹側カメラ１０５が固定されている。体幹側カメラ１０５は、首関節２０２によって、胴体２００に対する撮像方向を変えることができる。胴体２００の下方には１対の車輪が配置されており、車輪２０６を利用して体幹１０３を移動させる。
接続部位１０４は、肩関節２０３と、肘関節２０４と、手首関節２０５を備えており、掌に側カメラ１０６が固定されている。肩関節２０３と、肘関節２０４と、手首関節２０５は能動機構を有しており、接続部位側カメラ１０６は、肩関節２０３と、肘関節２０４と、手首関節２０５によって、胴体２００に対する撮像方向を変えることができる。また胴体２００に対する接続部位側カメラ１０６のカメラ位置を変えることもできる。
このロボットは、作業環境内における頭部２０１の位置を計測する手段を備えており、体幹側カメラ１０５のカメラ位置と撮像方向を認識している。また、体幹１０３に対する接続部位側カメラ１０６のカメラ位置と撮像方向を認識している。
本実施例のロボット１００は、車輪２０６を利用してスイッチパネル１０に接近し、接続部位１０４を利用してスイッチパネル１０の壁面に配置されているスイッチ群１２ａ，１２ｂ・・を操作する。スイッチパネル１０の壁面の位置は既知である。
【００２２】
図２は、ロボット１００の周囲を認識する機構１０１の概略を示す図である。本実施例のロボット１００は、制御装置１１４を有している。制御装置１１４は、合成画像作成装置１１０を備えており、合成画像作成装置１１０は、体幹側カメラ１０５から体幹側画像情報を入力し、接続部位側カメラ１０６から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置１１１から体幹側カメラ１０５の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置１０９から接続部位側カメラ１０６の位置と撮像方向を入力し、体幹側画像情報と接続部位側画像情報から合成画像情報を作成し、作成した合成画像情報からその後の移動経路を作成し（移動経路作成装置１１３）、作成した移動経路情報にしたがって、車輪２０６と関節群を回転させるアクチュエータ群１１５を制御し、作成した移動経路に沿って、車輪２０６、頭部２０１、接続部位１０４を移動させる。ロボット１００は、車輪２０６の回転数を検出する車輪回転数検出装置１１９と、各関節の関節角を検出する関節角検出装置１１７と、胴体２００内に設置されていて胴体２００の位置を検出する位置情報検出装置１２１を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置１１１と接続部位側カメラ位置撮像方向計算装置１０９に入力される。
ロボットは、位置と撮像方位が既知のカメラで撮影した画像情報から周囲の環境を認識して移動経路を作成する移動経路作成手段１１３を有しており、作成した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像する処理を繰り返しながら、自律的に移動する。
【００２３】
図３に、ロボット１００の視野図を示す。ロボット１００の接続部位１０４が体幹側カメラ１０５の視野内に入ってしまうと、その後ろにある環境情報を得ることができない。具体的には、体幹側カメラ１０５から撮像する体幹側画像には、スイッチパネルの点Aおよび点Bは撮像されるのに対し、点Cおよび点Dは写らない。よって、点Cおよび点Dにおける周囲物体の情報が未知となり、環境状況の認識およびロボット１００に対する周囲物体の相対的な位置関係の把握をすることができないが、本実施例では、接続部位側カメラ１０６を設けることで可視範囲が拡大され、点Cおよび点Dを含む、未知の環境を把握することができる。
【００２４】
図４および図５に、体幹側画像と接続部位側画像の例をそれぞれ示す。図４の体幹側画像では接続部位１０４の影に隠れて撮像されないパネルの表面が、図５の接続部位側画像では撮像されている。これは、頭部２０１と接続部位１０４の位置が関節角検出装置１１７により制御されており、体幹側カメラ１０５と接続部位側カメラ１０６の相対位置に応じて、接続部位側カメラ１０６の撮像方向が調節されることにより可能となる。接続部位側カメラ１０６の撮像方向は、体幹側カメラでは接続部位１０４の影に隠れて撮像できない方向を撮影するように調整される。
それぞれのカメラの倍率や画像サイズなどの差異に関する情報は、体幹側カメラ位置撮像方向計算装置１１１および接続部位側カメラ位置撮像方向計算装置１０９によって把握されており、合成時にはその情報に基づいた画像処理を行うため、それぞれの画像の撮像範囲が完全に一致しなくてもよい。例えば、体幹側カメラ１０５に対し接続部位側カメラ１０６はスイッチパネル１０までの距離が異なっており、かつ接続部位１０４が頭部２０１に対して傾斜していることから、図５の接続部位側画像は図４の体幹側画像に比べて撮像されるスイッチパネル１０の倍率が大きく、また傾いている。
【００２５】
図６に、画像合成処理のフローチャートを示す。このとき、ロボット１００とスイッチパネル１０は図１に示すような位置関係にある。ロボット１００の接続部位１０４は図４に示す位置にあり、同様の画像が体幹側カメラ１０５により撮像されている。ロボット１００はスイッチパネル１０のスイッチ１２ｃ（図１参照）を押圧するために、接続部位１０４を移動させようとしている。しかしながら、スイッチ１２ｃは体幹側画像においては未知環境の範囲内にあるため、図６に示す合成画像作成処理を開始する。
ステップＳ６０１では、合成画像作成装置１１０に体幹側画像情報が入力される。ステップＳ６０３では、体幹側画像において未知環境となっている部分の特徴点Ｘｎの抽出をする。図７に、ステップＳ６０３において抽出される体幹側画像の特徴点の一例を示す。ロボット１００の接続部位１０４の形状は既知であることから、体幹側画像から接続部位を撮像している範囲（接続部位の撮像範囲）を特定することができる（第１特定手段）。図中の点Ｘ１からＸ６は、接続部位の撮像範囲を包含するように抽出された特徴点である。本実施例では、直線で結ぶことが可能な６個の特徴点を抽出しているが、接続部位の輪郭に沿って特徴点Ｘｎをとればよい。ステップＳ６０５では、ステップＳ６０３において抽出された特徴点から、接続部位の撮像範囲Ｒ（背後の周囲物体情報が未知の範囲）を特定する。図７の特徴点Ｘ１からＸ６に囲まれた範囲が、近似的な接続部位の撮像範囲Ｒである。抽出する特徴点Ｘｎの数を増やすことで、特徴点によって取り囲まれる範囲Ｒを接続部位の撮像範囲に正確に一致させることができる。
【００２６】
ステップＳ６０７では、合成画像作成装置１１０に接続部位側画像情報が入力される。
ステップＳ６０９では、ステップＳ６０７で入力された接続部位側画像情報から、体幹側画像の接続部位の撮像範囲Ｒの特徴点に対応する点Ｚｎを抽出する。図８に、ステップＳ６０９において抽出される接続部位側画像の特徴点Ｚｎの一例を示す。図８中の点Ｚ１からＺ６は、体幹側画像から抽出された特徴点Ｘ１からＸ６に対応する点である。
ステップＳ６１１では、ステップＳ６０９で抽出された特徴点Ｚｎから、接続部位側画像の対応範囲Ｓ（体幹側画像では未知情報である範囲）を特定する（第２特定手段）。
【００２７】
ステップＳ６１３では、接続部位側画像より得られた対応範囲Ｓを、体幹側画像より得られた接続部位の撮像範囲Ｒに適合するように、体幹側カメラと接続部位側カメラの入力画像に付加されている差異情報に基づき、サイズの調整、傾斜角の回転調整などの処理を行う。
ステップＳ６１５では、体幹側画像の接続部位の撮像範囲Ｒを、合成のための準備処理を終えた対応範囲Ｓに置き換える。その結果、ステップＳ６１７において、未知範囲のない合成画像が出力される。図９に、合成画像の一例を示す。破線で示されている接続部位の撮像範囲Ｒは対応範囲Ｓに置き換えられ、接続部位が撮像されていない合成画像を得ることができる。
【００２８】
本実施例は、複数の体幹側カメラを有していても良い。その場合は、それぞれの体幹側画像より接続部位の撮像範囲Ｒｘを抽出し、それぞれの接続部位の撮像範囲Ｒｘに対して接続部位側画像より対応範囲Ｓｘを抽出し、接続部位の撮像範囲Ｒｘを対応範囲Ｓｘと置き換える。
【００２９】
図１０に、３台の体幹側カメラから撮像された、３枚の体幹側画像ＴＣ１、ＴＣ２およびＴＣ３を例示する。この体幹側画像ＴＣ１、ＴＣ２およびＴＣ３はステップＳ６０１からステップＳ６０５の処理を経て、接続部位の撮像範囲Ｒ１、Ｒ２およびＲ３の特定を行っている。頭部に固定された３台の体幹側カメラの位置が異なるため、各画像の接続部位の撮像範囲の位置には差異がある。
図１１に、上記の３台の体幹側カメラと連動して作動する接続部位側カメラが撮像した接続部位側画像ＡＣを例示する。体幹側画像ＴＣ１、ＴＣ２およびＴＣ３の接続部位の撮像範囲Ｒ１、Ｒ２およびＲ３を補うため、接続部位側画像ＡＣはステップＳ６０７からステップＳ６１１の処理によって対応範囲Ｓ１、Ｓ２およびＳ３を特定する。
ステップＳ６１３からステップＳ６１７の処理により、体幹側画像ＴＣ１、ＴＣ２およびＴＣ３の接続部位の撮像範囲Ｒ１、Ｒ２およびＲ３は、接続部位側画像ＡＣの対応範囲Ｓ１、Ｓ２およびＳ３により置き換えられ、未知範囲のない体幹側カメラ画像が作成される。
【００３０】
さらに、本実施例は、複数の接続部位側カメラを有していてもよい。この場合は、各体幹側画像の接続部位の撮像範囲Ｒに対して対応範囲Ｓが最も広範囲に抽出可能な接続部位側画像を利用するような判断装置を設けることが好ましい。
【００３１】
本実施例はさらに、上記の方法で得られた合成画像を用いて、ロボット１００に対する周囲物体の相対的な位置を計算することができる。ここでいうロボット１００に対する周囲物体の相対的な位置は、物体の相対的位置座標をワールド座標系からロボットを中心とした座標系に変換して把握する。
【００３２】
（実施例２）
実施例１と実施例２には、共通する部位があるため、共通する部位または装置については同一番号を付して重複説明を省略する。
図１２は、ステレオカメラを用いたロボットの外観を示す図である。本実施例のロボット１００は、体幹１０３と、肩関節２０３を介して体幹１０３に接続された一本の接続部位（アーム）１０４を有している。接続部位１０４は、２本以上が存在していてもよい。体幹１０３は、
胴体２００と、首関節２０２と、頭部２０１を備えており、頭部２０１に体幹側カメラ１０５（ａ）および１０５（ｂ）が固定されている。体幹側カメラ１０５（ａ）および１０５（ｂ）は、首関節２０２によって、胴体２００に対する撮像方向を変えることができる。胴体２００の下方には１対の車輪２０６が配置されており、車輪２０６を利用して移動する。
接続部位１０４は、肩関節２０３と、肘関節２０４と、手首関節２０５を備えており、掌に接続部位側カメラ１０６が固定されている。肩関節２０３と、肘関節２０４と、手首関節２０５は能動機構を有しており、接続部位側カメラ１０６は、肩関節２０３と、肘関節２０４と、手首関節２０５によって、胴体２００に対する撮像方向を変えることができる。また胴体２００に対する接続部位側カメラ１０６のカメラ位置を変えることもできる。
このロボットは、作業環境内におえる頭部２０１の位置を計測する手段を備えており、体幹側カメラ１０５（ａ）および１０５（ｂ）のカメラ位置と撮像方向を認識している。また、胴体２００に対する接続部位側カメラ１０６のカメラ位置と撮像方向を認識している。
本実施例のロボット１００は、周囲物体３０，４０，５０，６０を視覚により認識し、それらに衝突しない接続部位軌道を作成し、把持物２０を空いたスペースに設置する。ロボット１００の体幹側カメラ１０５（ａ）および１０５（ｂ）は通常、ステレオカメラとして機能していて、図中の点Ａ、Ｂ、Ｃ、Ｄは、ロボット１００の視点である。
【００３３】
図１３は、本実施例のステレオカメラを用いたロボット１００の周囲を認識する機構１０１の概略を示す図である。本実施例のロボット１００は、制御装置１１４を有している。制御装置１１４は、画像情報処理装置１１６を備えており、画像情報処理装置１１６は体幹１０３に設けられている体幹側カメラ１０５（ａ）および１０５（ｂ）から体幹側画像情報を入力し、接続部位１０４に設けられている接続部位側カメラ１０６から接続部位側画像情報を入力し、体幹側カメラ位置撮像方向計算装置１１１から体幹側カメラ１０５（ａ）および１０５（ｂ）の位置と撮像方向を入力し、接続部位側カメラ位置撮像方向計算装置１０９から接続部位側カメラ１０６の位置と撮像方向を入力し、これらの画像情報およびカメラ位置と撮像方向に関する情報から、環境地図を作成し、環境地図記憶装置１１２に記憶する。その環境地図情報に基づき、その後の移動経路を作成し（移動経路作成装置１１３）、作成した移動経路情報にしたがって、車輪２０６と能動機構を有する関節を回転させるアクチュエータ群１１５を制御し、作成した移動経路に沿って、車輪２０６、頭部２０１、接続部位１０４を移動させる。ロボット１００は、車輪２０６の回転数を検出する車輪回転数検出装置１１９と、各関節の関節角を検出する関節角検出装置１２３と、胴体２００内に設置されていて胴体２００の位置を検出する位置情報検出装置１２１を備えており、それらの装置で取得される情報が、体幹側カメラ位置撮像方向計算装置１１１と接続部位側カメラ位置撮像方向計算装置１０９に入力される。
ロボット１００は、位置と撮像方位が既知のカメラで撮像した画像情報から周囲の環境を認識して移動経路を計算し、計算した移動経路に従って移動した後にカメラ位置と撮像方向を再計算し、その後に再度撮像するという処理を繰返しながら、自律的に移動する。
【００３４】
図１４に、ロボット１００の視野の鳥瞰図を示す。ロボット１００の接続部位１０４とその把持物２０が体幹側カメラ１０５（ａ）および１０５（ｂ）の視野内に入ってしまうと、その後ろにある環境情報を得ることができない。
具体的には、図１４の例において、点Ａおよび点Ｂは、実線矢印で示すように体幹側カメラ１０５（ａ）および１０５（ｂ）の両方より撮像可能であるため、体幹側画像からステレオ画像が生成可能となっており、ロボットの移動に合わせてその情報を時系列上連続して取得することができる。
それに対し、点Ｃおよび点Ｄに関しては、体幹側カメラだけでは下肢の移動位置もしくは接続部位の動作によって、それぞれの点の体幹側カメラ１０５（ａ）および１０５（ｂ）を利用したステレオ視が不可能となり、その周囲についての環境情報を取得することができない。破線矢印は、接続部位あるいは把持物体が視線を遮るため、同じ特徴点を有する画像を撮像することができないことを示している。
ステレオカメラの場合、特に周囲物体の奥行きや高さなどの情報を必要とする場合は、複数の位置情報が既知のカメラを利用するか、あるいは１台のカメラが移動しながら撮像した場合のように、複数の画像から視差情報が得られることが必須となる。このため、点Ｃおよび点Ｄは両眼視ができないことから、点Ｃおよび点Ｄ付近の物体の位置関係を認識することができない。
【００３５】
このような場合、本実施例は、点Ｃおよび点Ｄの視点のように、視界を遮る物体の有無等により、体幹側カメラ１０５のいずれかがステレオカメラとして満足に機能することが困難な場合には、いずれかの体幹側カメラ１０５と接続部位側カメラ１０６を用いてステレオ画像を得ることができる。
具体的には、点Ａおよび点Ｂの周辺など、接続部位１０４などの視野を遮る物体がない場合には体幹側カメラ１０５（ａ）および１０５（ｂ）によりステレオ画像を取得し、周囲物体のロボット１００に対する相対的な位置関係を計算することができる（第１計算手段）。その一方で、点Ｃのような場合には体幹側カメラ１０５（ｂ）と接続部位側カメラ１０６により両眼視し、点Ｄの場合には体幹側カメラ１０５（ａ）と接続部位側カメラ１０６により両眼視をすることにより、周辺環境全域を認識するのに必要な情報を得、周囲物体のロボット１００に対する相対的な位置関係を計算することができる（第２計算手段）。
【００３６】
接続部位側カメラ１０６を使って両眼視をする場合、複数ある体幹側カメラのうち、どのカメラを使ってステレオ画像を取得するかは、接続部位１０４の撮像される範囲が最も少ない体幹側画像が取得される体幹側カメラを計算に用いるよう選択することができる。この選択は、画像情報処理装置１１６が判断する。
【００３７】
図１５に、本実施例のロボットの動作概要を表わすフローチャートを示す。このとき、ロボット１００は把持物２０を把持しており、それを物体３０，４０，５０および６０に衝突しない接続部位軌道を作成し、把持物２０を空いたスペースに設置する作業を実行したい。ロボット１００の接続部位１０４は図１４に示すような位置にあり、このような状態を表す画像が体幹側カメラ１０５（ａ）および１０５（ｂ）の位置より撮像されている。接続部位１０４の軌道を作成するにあたって、物体５０および物体６０の一部が接続部位１０４および把持物２０により未知となっているため、図１５に示す画像情報処理を開始する。
ステップＳ５００では、体幹側カメラ１０５（ａ）と１０５（ｂ）および接続部位側カメラ１０６により撮像された複数の画像が画像情報処理装置１１６へ入力され、ステレオ画像が取得される。画像情報処理装置１１６は、体幹側画像の未知範囲の大きさにより、接続部位側画像を利用するかどうかを判断してもよく、接続部位１０４によって遮られ、未知範囲となる範囲がより少ない画像の組み合わせからステレオ画像を得る手段を有している。
【００３８】
ステップＳ５０２では、ステップＳ５００で選択され、取得されたステレオ画像に基づきロボット１００の周囲物体の相対的な位置を計算する。画像データはワールド座標系からロボットを中心とする座標系に変換され、周囲物体の位置関係が計算され、ロボット１００と周囲物体の相対的位置情報として出力される。例として、この相対的位置情報の取得には、視差画像や距離画像を用いてもよい。
このとき、体幹側画像どうしからステレオ画像情報を得る場合と、体幹側画像と接続部位側画像を利用してステレオ画像を得る場合とで、それぞれに第１計算手段および第２計算手段という、異なる計算手段を用意することが望ましい。体幹側カメラどうしは並行であるが、体幹側画像と接続部位側画像を利用した計算手段は、それぞれのカメラの相対位置が異なるため、例えばステレオ画像の平行化やハンド・アイ校正のような座標系の変換などが適用できる。
【００３９】
画像処理装置１１６において算出された相対的位置情報は、ステップＳ５０４において周囲物体の相対的位置を表わすデータとして構築され、環境地図記憶装置１１２に記憶される。環境地図とは、ロボット１００が周囲物体の相対的位置を把握できるようなデータを指す。例えば、画像情報処理装置１１６において視差画像を算出するような場合は、この環境地図は画像視差空間（ＳＤＳ空間 Spacial Disparity Space）により表わすことが可能である。ＳＤＳ空間においては、点Ａ、点Ｂ、点Ｃおよび点Ｄを有する周囲物体３０，４０，５０，６０は奥行きのある曲面として表れてくる。
【００４０】
ステップＳ５０６では、環境地図情報に基づいてロボット１００の移動経路を作成する。本実施例のロボット１００は、周囲物体３０，４０，５０，６０を視覚により認識し、それらに衝突しない接続部位軌道を作成し、把持物２０を空いたスペースに設置することを作業目的としているため、このような場合は環境地図情報より周囲物体が存在しない平面を検出し、そこへ把持物２０を設置できるような接続部位の軌道を作成することが望ましい。作成された移動経路に沿って、ステップＳ５０８では、アクチュエータ１１５により実際の動作が実現される。
【００４１】
図１６に、ロボット１００の画像情報処理を表わすフローチャートを示す。図１５のステップＳ５００のスレテオ画像の取得方法は、複数の体幹側画像を使って取得する方法と、体幹側画像のいずれかと接続部位側画像を使って取得する方法の２手法が存在する。ステップＳ１６０では、体幹側カメラ１０５（ａ）と１０５（ｂ）により撮像された複数の体幹側画像と、接続部位側カメラ１０６により撮像された接続部位側画像が画像情報処理装置１１６に入力される。ステップＳ１６２では、体幹側画像に接続部位１０４が撮像されているかを判断する。接続部位が撮像されていない場合（ＮＯの場合）はステップＳ１６４に移行し、体幹側画像どうしからステレオ画像を取得し、第１計算手段を実行する。一方で、体幹側画像に接続部位が撮像されている場合は（ＹＥＳの場合）はステップＳ１６６に進み、いずれかの体幹側画像と接続部位側画像からステレオ画像を取得し、第２計算手段を実行する。ステップＳ１６６で選択される体幹側画像は、接続部位の撮像されている範囲がより小さい方の体幹側画像である。
【００４２】
本実施例では、体幹および接続部位に合計３台のカメラを用いて周囲物体の３次元情報を得る場合を例示しているが、より多くのカメラを用いても良いし、１台の接続部位側カメラが移動することで連続して撮像するような手法を採っても良い。
【００４３】
本実施例では静的な周囲物体を認識する場合について例示したが、移動経路作成装置１１３において作成された経路に沿って接続部位が動作を開始した後に、新たな障害物となる周囲物体が移動経路上に出現した場合や、周囲物体とロボットの位置が下肢の移動等により変化し、接続部位の軌道に修正が必要となった場合に対応することができない。
【００４４】
（実施例３）
図１７に、動的な周囲物体に対応することができる形態を示す。このロボット機構１０１は、実施例２のロボット機構に、さらに接続部位の起動に修正を加える移動経路修正装置１２５を設けることで、一度発令された経路を適宜修正することができる。
また、適宜周辺環境のデータを更新することで、接続部位の動作と周囲の環境の変化を同時に、連続して認識し、それに応じて軌道を修正することができる。
【００４５】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
例えば、アームだけでなく、脚などの複数の接続部位にそれぞれ、あるいは１本の接続部位の異なる部位に接続部位側カメラを回転可能に複数個装備すれば、撮像可能な範囲がより拡大される。
また、実施例２では体幹側カメラを主眼としたステレオ視について例示したが、複数の接続部位側カメラを用いてステレオ視を可能にし、体幹側カメラと接続部位側カメラそれぞれのステレオ画像処理装置を装備することで、さらに多様な用途に利用することができる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時の請求項に記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図面の簡単な説明】
【００４６】
【図１】実施例１のロボットの外観を示す図である。
【図２】実施例１のロボット機構の概略を示す図である。
【図３】実施例１のロボットの視野図である。
【図４】体幹側画像の一例を示す図である。
【図５】接続部位側画像の一例を示す図である。
【図６】画像合成処理装置の処理過程を示すフローチャートである。
【図７】図４の体幹側画像と接続部位の撮像範囲Ｒを示した図である。
【図８】図５の接続部位側画像と対応範囲Ｓを示した図である。
【図９】ステップＳ６１３の出力結果の一例を示す図である。
【図１０】複数の体幹側画像と接続部位の撮像範囲Ｒの一例を示す図である。
【図１１】接続部位側画像と対応範囲Ｓの一例を示す図である。
【図１２】実施例２のロボットの外観を示す図である。
【図１３】実施例２のロボット機構の概略を示す図である。
【図１４】実施例２のロボットの視野図である。
【図１５】実施例２のロボットの動作処理までの過程を示すフローチャートである。
【図１６】ステレオ画像の取得処理の過程を示すフローチャートである。
【図１７】実施例３のロボット機構の概略を示す図である。
【符号の説明】
【００４７】
１００：ロボット
１０１：ロボット機構
１０３：体幹
１０４：接続部位（アーム）
１０５：体幹側カメラ
１０５（ａ）：体幹側カメラ
１０５（ｂ）：体幹側カメラ
１０６：接続部位側カメラ
１０９：接続部位側カメラ位置撮像方向計算装置
１１０：合成画像作成装置
１１１：体幹側カメラ位置撮像方向計算装置
１１２：環境地図記憶装置
１１３：移動経路作成装置
１１４：制御装置
１１５：アクチュエータ群
１１６：画像処理装置
１１７：関節角検出装置
１１９：車輪回転数検出装置
１２１：位置情報検出装置
１２５：移動経路修正装置
２００：胴体
２０１：頭部
２０２：首関節
２０３：肩関節
２０４：肘関節
２０５：手首関節
２０６：車輪
【特許請求の範囲】
【請求項１】
体幹と、
能動機構を有する関節部を介して体幹に接続されている接続部位と、
体幹に設けられている体幹側カメラと、
接続部位に設けられている接続部位側カメラと、
体幹側カメラで撮像して得られた体幹側画像の一部を、接続部位側カメラで撮像して得られた接続部位側画像の一部に置き換えることで、体幹側画像中から接続部位を除去した合成画像を作成する合成画像作成手段と、
を備えている移動型ロボット。
【請求項２】
合成画像作成手段は、
体幹側画像内において接続部位を撮像している範囲を特定する第１特定手段と、
接続部位側画像内において、第１特定手段で特定した範囲と同じ範囲を撮像している範囲を特定する第２特定手段と、
第１特定手段で特定した範囲内の体幹側画像を、第２特定手段で特定した範囲内の接続部位側画像に置き換える手段と、
を備えている請求項１の移動型ロボット。
【請求項３】
体幹側カメラが複数設けられており、
合成画像作成手段は、それぞれの体幹側カメラで撮像した体幹側画像に対して、合成画像を作成することを特徴とする請求項１又は２の移動型ロボット。
【請求項４】
合成画像作成手段で作成した合成画像を用いて、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する手段、
が付加されている請求項１から３のいずれかの移動型ロボット。
【請求項５】
体幹側カメラの撮像範囲内に接続部位が入る場合に、接続部位側カメラが体幹側カメラの撮像範囲内を撮像する方向を向くように、接続部位側カメラの向きを調整する手段、
が付加されている請求項１から４のいずれかの移動型ロボット。
【請求項６】
体幹と、
駆動機構を有する関節部を介して体幹に接続されている接続部位と、
体幹に設けられている２以上の体幹側カメラと、
接続部位に設けられている接続部位側カメラと、
２以上の体幹側カメラで撮像した２以上の体幹側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第１計算手段と、
体幹側カメラの少なくとも１つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第２計算手段と、
を備えている移動型ロボット。
【請求項７】
前記第２計算手段は、
接続部位を撮像している範囲が最も少ない体幹側画像を選択して計算に用いることを特徴とする請求項６の移動型ロボット。
【請求項１】
体幹と、
能動機構を有する関節部を介して体幹に接続されている接続部位と、
体幹に設けられている体幹側カメラと、
接続部位に設けられている接続部位側カメラと、
体幹側カメラで撮像して得られた体幹側画像の一部を、接続部位側カメラで撮像して得られた接続部位側画像の一部に置き換えることで、体幹側画像中から接続部位を除去した合成画像を作成する合成画像作成手段と、
を備えている移動型ロボット。
【請求項２】
合成画像作成手段は、
体幹側画像内において接続部位を撮像している範囲を特定する第１特定手段と、
接続部位側画像内において、第１特定手段で特定した範囲と同じ範囲を撮像している範囲を特定する第２特定手段と、
第１特定手段で特定した範囲内の体幹側画像を、第２特定手段で特定した範囲内の接続部位側画像に置き換える手段と、
を備えている請求項１の移動型ロボット。
【請求項３】
体幹側カメラが複数設けられており、
合成画像作成手段は、それぞれの体幹側カメラで撮像した体幹側画像に対して、合成画像を作成することを特徴とする請求項１又は２の移動型ロボット。
【請求項４】
合成画像作成手段で作成した合成画像を用いて、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する手段、
が付加されている請求項１から３のいずれかの移動型ロボット。
【請求項５】
体幹側カメラの撮像範囲内に接続部位が入る場合に、接続部位側カメラが体幹側カメラの撮像範囲内を撮像する方向を向くように、接続部位側カメラの向きを調整する手段、
が付加されている請求項１から４のいずれかの移動型ロボット。
【請求項６】
体幹と、
駆動機構を有する関節部を介して体幹に接続されている接続部位と、
体幹に設けられている２以上の体幹側カメラと、
接続部位に設けられている接続部位側カメラと、
２以上の体幹側カメラで撮像した２以上の体幹側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第１計算手段と、
体幹側カメラの少なくとも１つで撮像した体幹側画像と接続部位側カメラで撮像した接続部位側画像から、撮像範囲内に存在する物体の移動型ロボットに対する相対的な位置関係を計算する第２計算手段と、
を備えている移動型ロボット。
【請求項７】
前記第２計算手段は、
接続部位を撮像している範囲が最も少ない体幹側画像を選択して計算に用いることを特徴とする請求項６の移動型ロボット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００７−２１６３５０（Ｐ２００７−２１６３５０Ａ）
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−４１３２３（Ｐ２００６−４１３２３）
【出願日】平成１８年２月１７日（２００６．２．１７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１８年２月１７日（２００６．２．１７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]