ロボットおよびその制御方法
【課題】安全動作を行うとともに店舗内での業務能力の高いロボットを提供することを可能にする。
【解決手段】本体部と、この本体部に取り付けられ前記本体部を移動させる移動機構と、移動平面を含む空間内の対象物を撮像する撮像装置と、撮像装置によって撮像された画像に基づいて、空間内に存在する物体を検出する物体検出部と、物体検出部によって検出された前記物体までの距離を算出する距離算出部と、撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、物体検出部によって検出された物体との警戒度を設定する警戒度設定部と、警戒度設定部によって設定された警戒度および距離算出部によって算出された距離に基づいて、移動機構を制御する制御部と、を備えている。
【解決手段】本体部と、この本体部に取り付けられ前記本体部を移動させる移動機構と、移動平面を含む空間内の対象物を撮像する撮像装置と、撮像装置によって撮像された画像に基づいて、空間内に存在する物体を検出する物体検出部と、物体検出部によって検出された前記物体までの距離を算出する距離算出部と、撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、物体検出部によって検出された物体との警戒度を設定する警戒度設定部と、警戒度設定部によって設定された警戒度および距離算出部によって算出された距離に基づいて、移動機構を制御する制御部と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットおよびその制御方法に関する。
【背景技術】
【０００２】
従来、ロボットは超音波センサやレーザレンジファインダなど外界センサを用いてロボット周囲の障害物情報を探索し、期せぬ障害物を検知した場合、減速しつつこの障害物を回避するよう動作する（例えば、特許文献１参照）。そして、この障害物が移動物体であると判明している場合にはこの移動体がロボット付近よりいなくなるまで停止し続けるような行動戦略を取っている（例えば、特許文献２参照）。
【０００３】
また、ロボットは障害物が移動物体であるかどうかを判定するために上記外界センサの情報の時間変動量を観察するほかに、カメラを用いてテンプレートマッチングやオプティカルフローなど画像処理を行うことで移動体かどうかの判定を行うことや人物か否かの判定を行うこともあるが、それ以上の詳しい分類分析はほとんど行われていない。
【０００４】
障害物の高さ情報を利用した障害物識別手法も知られている（例えば、特許文献３参照）。しかし、この特許文献３に記載の技術では、高さ情報は壁や柱などの静止環境障害物や人の検出を行うことに用いられている。また、特許文献３に記載の技術では、人の姿勢状態を検出する手法に関しては触れられているが、検出した人に関して警戒度合いを含めた人の見分けまでは考慮されていない。またこれは障害物検出および識別手法を示すものであり、これら障害物に対する具体的な動作変更手法は提示されていない。
【特許文献１】特開２００５−３１００４３号公報
【特許文献２】特開平３−２８２７１１号公報
【特許文献３】特開２００４−３２６２６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ロボットのような自律移動体の店舗導入が検討されつつあるが、店舗や施設など一般環境へのロボット導入を考えたとき、ロボットの安全性の確保が重要になる。特に人間と共存状態にある環境下では人間の認知と、認知した人間に対する安全動作をとる必要がある。一方でスムーズな移動動作などロボットの基本性能を確保する必要もあり、安全性と移動性能の間にトレードオフが生じる。
【０００６】
ロボットは人物を検出した場合、その場に停止して人がロボット付近より遠ざかるのを待つか、十分な間隔を取りつつ人物を回避しているのが現状である。しかし店舗のような狭所では十分な間隔を確保することは難しいため、停止して相手をやり過ごすしかない。しかしこのような動作戦略ではロボットの作業効率は悪く、実用に耐えられない。
【０００７】
このような制御手法しか取れない原因の一つに、ロボットが知り得る他の移動物体に関する情報が少なく、検出した人物全てに適用できる行動制御則を用いていることが挙げられる。
【０００８】
本発明は、上記事情を考慮してなされたものであって、安全動作を行うとともに店舗内での業務能力の高いロボットおよびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様によるロボットは、本体部と、この本体部に取り付けられ前記本体部を移動させる移動機構と、移動平面を含む空間内の対象物を撮像する撮像装置と、前記撮像装置によって撮像された画像に基づいて、前記空間内に存在する物体を検出する物体検出部と、前記物体検出部によって検出された前記物体までの距離を算出する距離算出部と、前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との警戒度を設定する警戒度設定部と、前記警戒度設定部によって設定された警戒度および前記距離算出部によって算出された前記距離に基づいて、前記移動機構を制御する制御部と、を備えていることを特徴とする。
【００１０】
また、本発明の第２の態様によるロボットの制御方法は、本体部と、この本体部に取り付けられ前記本体部を移動させる移動機構と、移動平面を含む空間内の対象物を撮像する撮像装置と、前記撮像装置によって撮像された画像に基づいて、前記空間内に存在する物体を検出する物体検出部と、前記物体検出部によって検出された前記物体までの距離を算出する距離算出部と、前記移動機構を制御する制御部と、を備えているロボットの制御方法であって、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との警戒度を設定するスッテプと、前記警戒度設定部によって設定された警戒度および前記距離算出部によって算出された前記距離に基づいて前記制御部によって前記移動機構を制御させるステップと、を備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、安全動作を行うとともに店舗内での業務能力の高いロボットおよびその制御方法を提供することができる。
【発明を実施するための最良の形態】
【００１２】
本発明の一実施形態によるロボットを図１に示す。本実施形態のロボット１は、左右に駆動車輪１０を、前後にフリーキャスター（図示せず）を持つ独立２輪駆動型で、これにより空間内を自由に移動することが可能である。すなわち、左車輪のみまたは右車輪のみを左車軸または右車軸の周りに回動させることができる。
【００１３】
また、ロボット１にはモニタおよび入力キーボードおよびマウスが接続可能であり、これによりロボット１の内部の情報を外部に提示し、外部の意志をロボット１に伝達することが可能となっている。ロボット１は単位格子状に分割された仮想空間をモニタ上に表示する機能を備えている。そして、管理者がマウスを使用してグリッド交点を繋いでいくことで上記仮想空間内に領域を形成する機能を有するとともに、このような空間をいくつか作成してこれらを分割・結合する機能を有している。また、上記領域がロボット１の移動可能領域か否かを指定することでロボット１に自身の移動空間構造を認識させる機能を備えている。
【００１４】
また、ロボット１はレーザレンジファインダ１２を備えており、これによりロボット１の周囲の地形を正確に計測することができる。またロボット１の胴体周囲に超音波センサ１４が設置されており、超音波センサ１４によってもセンサ設置方向の障害物までの距離を計測することが可能である。またロボット１には２つのカメラ１６ａが備えられており、これらのカメラ１６ａを用いたステレオ視により、画像の奥行き方向の距離を計算しすることでカメラ１６ａから見た方向の障害物までの距離を計算することもできる。また、図示しない距離画像センサによりカメラ画角内の奥行き距離を計測してもよい。
【００１５】
また、車輪１０の回転数をエンコーダで計測しており、この回転数を積算し車輪１０の行路を計算していくことで自己位置を推定する。ロボット１は他にも無線信号発信機（図示せず）を備えており、ロボット１より発せられる識別ＩＤ付き電波信号を空間内に設置された複数アンテナが受信し、このときの受信強度分布に基づいて空間内に設置された環境システムが電波発信源を推定し、その位置をロボット１の自己位置とする推定装置を有する。また、設置位置情報が既知で、発進信号の発信時刻およびコードが特定可能な状態にある電波発信機が店舗内に複数設置され、ロボット１にはこれら発信機の信号を受信可能なアンテナ（図示せず）が備えられており、ロボット１はこれらの情報をもとに、GPS (Global Position System)のように自己位置を推定することも可能である。
【００１６】
ロボット１は未知空間内を自律的に徘徊し、基点からの相対位置とそのときの外界センサの入力から推定される周囲障害物距離をもとに周囲地形を検出し、移動空間内全域を移動探索することで自身の移動空間構造を認識することも可能である。
【００１７】
また、ロボット１は頭部にカメラユニット１６を備え、このカメラユニット１６は胴体の運動とは独立にパン方向、チルト方向にカメラ姿勢を制御することが可能となっている。
【００１８】
またロボット１は地図情報をもとに、壁や柱などに衝突せず目的地へ到達できる移動経路を生成する。
【００１９】
また、ロボット１は胴部にタッチパネル１８を備え、このタッチパネル１８を介して外部の意志を入力することもできる。また、胴部には複数のマイクロホン２０を備えており、マイクロホン２０によって外部の意志をロボット１に音声入力することもできる。
【００２０】
本実施形態ではロボット１は店舗内での移動を想定する。
【００２１】
ロボット１は障害物検出時にその障害物の種類によってその動作を変える。このときの動作決定フローは図２乃至図９に示すようになる。ロボット１がレーザレンジファインダ１２等の外界センサで障害物の有無を判定する（図２のステップＳ１）。この障害物の有無の判定は例えば図３に示すように行われる。
【００２２】
まず、外界センサの検出方向φにおける物体までの距離ｄ（φ）を測定する（図３のステップＳ１１）。そして、この距離ｄ（φ）が障害物判定閾値Ｄと比較され（図３のステップＳ１２）、距離ｄ（φ）が障害物判定閾値Ｄ以上の場合は、上記物体は障害物であると判定しないで（図３のステップＳ１３）、ロボット１の障害物への接近許容距離Ｌｍａｘに制限を設けずにＬｍａｘ＝０と設定する（図２のステップＳ２）。
【００２３】
距離ｄ（φ）が障害物判定閾値Ｄより小さい場合は、図３のステップＳ１４に進み、ロボット１が持つ地図データおよびロボット１の現在位置・姿勢より、検出方向φの壁や柱および地図上に記載された物体までの距離Ｌ（φ）が算出され、ｄ（φ）がＬ（φ）と比較される。距離ｄ（φ）が距離Ｌ（φ）とほぼ一致する場合には、検出された物体を地形障害物と判断する（図３のスッテプＳ１５）。また、距離ｄ（φ）が距離Ｌ（φ）より長い場合には、ロボット１は自己位置を誤認識していると判断し、自己位置の再同定を行う（図３のステップＳ１５）。一方、距離ｄ（φ）が距離Ｌ（φ）より短い場合には、上記物体は地図上にない予期せぬ障害物と認識する（図３のステップＳ１６）。以上により、障害物があるか否かの判定を終了する。
【００２４】
次に、ロボット１は予期せぬ障害物と認識した場合、図２のスッテプＳ３に進み、上記障害物が移動物体であるか否かを判定する。移動物体であるか否かの判定は、例えば図４に示すように行われる。
【００２５】
まず、再度その方向φを外界センサにより探索し（図４のステップＳ３１）、時間の経過と共に障害物までの距離または方向の変動があるか否かの判定を行う（図４のステップＳ２）。例えば、時刻ｔ１およびこの時刻ｔ１より前の時刻ｔ２における上記障害物の方位φ（ｔ１）およびφ（ｔ２）の差（＝φ（ｔ１）−φ（ｔ２））、すなわち方位の変動と、上記障害物までの距離ｄ（ｔ１）およびｄ（ｔ２）の差（＝ｄ（ｔ１）−ｄ（ｔ２））、すなわち距離の変動とがそれぞれの判定閾値Ｄφ、Ｄｄよりも大きいか否かの判定をステップＳ３２で行う。大きい場合は図４のステップ３３に進み、上記障害物を移動物体であると判定する。なお、このときロボット１自身が移動している場合は、上記方位の変動および距離の変動を自己位置の変化に応じて補正する。
【００２６】
一方、方位の変動および距離の変動がそれぞれの判定閾値Ｄφ、Ｄｄ以下である場合は、ロボット１はその方向にカメラを向けて画像を取得し、カメラの撮影画像よりオプティカルフローを計測し、障害物の検出方向に背景などとは異なるフローベクトルが検出されるか否かの判定を行う（図４のステップＳ３４）。背景などとは異なるフローベクトルが検出された場合にも、図４のステップＳ３３に進み、上記障害物を移動物体であると判断する。フローベクトルが検出されない場合はステップＳ３５に進み、上記障害物を移動物体でないと判定する。そしてこの場合、図２のスッテプＳ４に進み、ロボット１の障害物への接近許容距離制限（警戒度）のレベルをＬｖ．１に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ１（＞０）と設定する。以上により、移動物体か否かの判定を終了する。
【００２７】
次に、ロボット１が障害物を移動物体と認識した場合、図２のスッテプＳ５に進み、上記障害物が人間であるか否かの判定を行う。この判定は、例えば、図５に示すように行われる。
【００２８】
まず、φ方向のカメラの撮影画像から、画像距離が既知であるか否かの判定を行う（図５のステップＳ５１、Ｓ５２）。既知の場合は図５のステップＳ５３に進み、傷害物までの距離ｄ（φ）付近の画像のみを切り出し、その後図５のステップＳ５４に進む。既知でない場合（例えば、上記カメラがステレオ視カメラの場合）は図５のスッテプＳ５４に進む。
【００２９】
図５のスッテプＳ５４では、画像処理を行い、人間形状相関値Ｐを算出する。すなわち、ロボット１が距離画像センサを有する場合にはその輪郭形状を、またフローベクトルより移動物体を検出した場合にはその検出周辺領域に対して輪郭抽出処理を行い、ロボット１の内部に既知情報として保有している人物形状パターンとのテンプレートマッチングを行い、人間形状相関値Ｐを算出する。続いて、図５のステップＳ５５に進み、人間形状相関値Ｐが閾値Ｄｐと比較する。人間形状相関値Ｐが閾値Ｄｐ以上であれば、図５のステップＳ５６に進み、障害物を人間であると判断する。これに対して、人間形状相関値Ｐが閾値Ｄｐよりも小さい場合は、図５のスッテプＳ５７に進み、障害物を人間でないと判断する。そして、この場合、図２のステップＳ６に進み、ロボット１の障害物への接近許容距離制限（警戒度）のレベルをＬｖ．２に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ２（＞Ｌ１）と設定する。なお、人間形状相関値Ｐとしては、フローベクトルを検出した周辺領域のピクセル色情報と肌色系列の色情報とのマッチングを取ることによって得ることができる。また、人間形状相関値Ｐを得なくても、移動物体画像領域内の頭部付近において、目・鼻・口等の特徴点およびその幾何学的配置が確認された場合に移動物体を人間であると判断してもよい。以上により、人間であるか否かの判定を終了する。
【００３０】
次に、図２のステップＳ７に進み、人間であると認識された移動物体が高警戒レベルの人間、すなわち一般の人間よりも警戒レベルを高い人間か否かの判定が行われる。本実施形態のロボット１は移動物体までの距離情報を検出する手段を有しているため、移動物体までの距離情報および移動物体の画像サイズより移動物体の実際のサイズを推定することが可能である。高警戒レベルの人間か否かの判定は、例えば図６に示すように行われる。図６に示す判定動作は、高警戒レベルの人間は子供であるとして行っている。
【００３１】
まず、図６のスッテプＳ７１に進み、カメラ撮影画像から、撮影された人間の縦方向の画像が撮影画像領域内に入っているか否かの判定を行う。この判定は以下のように行われる。図７に示す移動物体の画像領域における上部縦方向位置ＰＨｙ、下部縦方向位置ＰＬｙ、カメラ画像の最上位置Ｆｙ_ｍａｘ、最下位値Ｆｙ_ｍｉｎを求め、ＰＨｙ＜Ｆｙ_ｍａｘかつＰＬｙ＞Ｆｙ_ｍｉｎであるか否かの判定を行う（図６のステップＳ７１）。撮影された人間の縦方向の画像が撮影画像領域内に入っている場合は、図６のステップＳ７２に進み、後述する第１の身長推定手法を用いて、撮影された人間の身長の推定を行う。撮影された人間の縦方向の画像が撮影画像領域内に入っていない場合は、図６のステップＳ７３に進み、撮影された人間の頭部が撮影画像領域内に入っているか否かの判定を行う。この判定はＰＨｙ＜Ｆｙ_ｍａｘを満たすか否かによって行う。ＰＨｙ＜Ｆｙ_ｍａｘを満たしている場合は、図６のステップＳ７４に進み、後述する第２の身長推定方法を用いて、撮影された人間の身長の推定を行う。ＰＨｙ＜Ｆｙ_ｍａｘを満たしていない場合は、カメラのチルト軸を駆動して、カメラをチルト方向上向きに動かして少なくとも上方向に関して移動体画像領域がカメラ視野からはみ出さないようにする。その後、再度移動物体（人間）を撮影し、撮影画像を取り込んで図６のスッテプＳ７１に戻り、上述のことを繰り返す。
【００３２】
次に、前述した第１の身長推定手法を図８乃至図９を参照して説明する。本実施形態のロボット１は、図９に示す移動物体までの距離ｄ（φ）に応じた画像領域高さＰ|ｙ|と、移動物体までの実高さ対応表をロボット１の内部に有しているので、第１の身長推定手法は、検出した人物の撮影画像領域の画面の上下方向に関して図７に示す最下位置ＰＬｙおよび最高位置ＰＨｙを計測し、そのときの物体間距離（＝ＰＨｙ−ＰＬｙ）に応じた対応表をもとに検出人物の身長を推定するものである。この身長の推定は以下のようにして行われる。まず、抽出された人物の画像およびこの人物までの距離ｄ（φ）に基づいて、この人物の身長ｈを推定する（図８のステップＳ７１１、Ｓ７１２）。この推定は、図９に示すように画像領域高さＰ|ｙ|と実際の障害物（人物）の実高さｈとの対応表に基づいて行う。推定された身長ｈと閾値Ｄｈ（例えば、小学低学年（例えば１０歳児）の平均身長値等）とを図８に示すステップＳ７１３で比較する。そして、身長ｈが閾値Ｄｈより大きい場合は、図８に示すステップＳ７１４に進み、抽出された人物は警戒レベルの人物でないと判定する。この場合は、更に図２のステップＳ８に進み、ロボット１の人物への接近許容距離制限（警戒度）のレベルをＬｖ．３に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ３（＞Ｌ２）と設定する。
【００３３】
一方、身長ｈが閾値Ｄｈ以下の場合は、図８に示すステップＳ７１５に進み、抽出された人物は高警戒レベルの人物、すなわち一般の人物よりも警戒レベルを高い人物であると判定する。この場合は、更に図２のステップＳ９に進み、ロボット１の人物への接近許容距離制限（警戒度）のレベルをＬｖ．４に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ４（＞Ｌ３）と設定する。
【００３４】
なお、第１の身長推定方法において、上記対応表の代わりに線形または非線形な対応関数を用意してもよい。この第１の身長推定手法は厳密には移動物体がカメラの撮影画面内に全て収まっている場合にのみ可能である。移動物体の横方向に関して若干撮影画面外へ出てしまうのは許容可能であるが、特に移動物体の上下方向は画面内に収まっている必要がある。
【００３５】
次に、前述した第２の身長推定手法を図１０乃至図１１を参照して説明する。この第２の身長推定手法は、検出した移動物体の画像領域の最下点がカメラの撮影画像下辺にまで達している場合、つまり画面下方向に関して移動物体がカメラ視野からはみ出している場合の推定手法である。この第２の身長推定手法は、図１１に示す、移動物体の撮影画像領域の最上点ａのカメラの光軸からの相対的な仰角もしくは俯角αを求め、またエンコーダなど内界センサをもとにカメラ雲台とロボット本体との相対的な姿勢関係（ここではチルト方向の角β）を求め、さらに既知情報として事前に記憶されたロボット本体、カメラ雲台およびカメラと外界センサの設置状態と、外界センサにより得られる距離情報ｄ（φ）より幾何的関係から点aの実際の高さｈを推定し（図１０のステップＳ７２１、Ｓ７２２）、これを人物の身長とする。本実施形態では店舗内移動体を考えているので、ここで移動物体として検出される人物は全て起立していると仮定している。なお、ステレオカメラの場合は、図１１に示す点ａまでの画像距離と角α，βより点ａの高さを推定してもよい。
【００３６】
なお、身長推定の別手法として、ロボット１がカメラをチルト方向に上下させ移動体の最上点が画面内に収まるときに点ａ1を定めこのときのカメラ光軸からの相対的な角α1とそのときのカメラ姿勢β1 を記憶し、移動物体の最下点が画面内に収まるときに点ａ2を定めてこのときのカメラ光軸からの相対的な角α2とそのときのカメラ姿勢β2を記憶し、これらと障害物までの距離を用いて移動物体の高さを推定することも可能である。また、レーザレンジファインダやＰＤＳ(Position Sensitive Detector)センサなど測距センサで縦方向にスキャンし、物体上端の仰角と距離からその物体の高さを推定してもよい。
【００３７】
このようにして推定された人物の身長ｈは図１０に示すステップＳ７２２において、閾値Ｄｈと比較される。そして、身長ｈが閾値Ｄｈより大きい場合は、図１０に示すステップＳ７２４に進み、抽出された人物は警戒レベルの人物でないと判定する。この場合は、更に図２のステップＳ８に進み、ロボット１の人物への接近許容距離Ｌｍａｘに制限Ｌｖ．３を設け、Ｌｍａｘ＝Ｌ３（＞Ｌ２）と設定する。
【００３８】
一方、身長ｈが閾値Ｄｈ以下の場合は、図１０に示すステップＳ７２５に進み、抽出された人物は高警戒レベルの人物、すなわち一般の人物よりも警戒度のレベルの高い人物であると判定する。この場合は、更に図２のステップＳ９に進み、ロボット１の人物への接近許容距離制限（警戒度）のレベルをＬｖ．４に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ４（＞Ｌ３）と設定する。
【００３９】
なお、ロボット１は対象までの距離に応じて上記判定手法を切替えて使用する。具体的には移動物体が遠方にあり、距離センサやカメラチルト方向のエンコーダの分解能が十分得られない場合には、距離センサやカメラチルト方向のエンコーダの分解能が十分に得られる距離にまで近づいてきたところで身長を推定し、さらに接近して画像が画面内に収まらなくなってきた場合にはカメラをチルト方向に動かし画面内の相対角とカメラ姿勢角を用いて対象人物の身長を推定する。また照明条件や背景などの影響で移動体の人間判定が困難な場合、検出移動対象を全て人とみなし、つぎの一般の人物に対する警戒レベルより高く設定するか否かの判定を行う。
【００４０】
また、ロボット１は人物を検出した場合、これら人物に識別コードを付し、時間とともに追跡するトラッキング機能を有する。カメラの場合にはコーナー点や画像エッジなどの特徴点を利用したトラッキング、レーザセンサのような測域センサの場合には位置の時間連続性を考慮したトラッキングなどが実装される。混雑環境下で人物対応付けが困難な状態が生じた場合は再度識別コードが与えられ、その時点より再度トラッキングが開始される。このように人物の追跡をおこなうことで、人物位置の時系列情報を得ることが可能になる。ここで移動平面内における人物の移動動作周波数および最大移動速度および最大移動加速度を計測し、これらの値が規定の閾値以上を示す場合に、対応する人物を一般の人物に対する警戒度のレベルより高く設定する判定手法も備えている。
【００４１】
上記判別手法は主に一般の人物から子供を分離抽出することを目的に使用される。ロボット１は上記判定手順に基づき認識した障害物の種類に応じて行動制約を変更する。ここでは検出した障害物が固定障害物、人間以外の移動障害物、子供以外の移動障害物、子供の順により制約が強くなるよう警戒レベルが設定される。これは検出した障害物の移動速度変化量および移動速度最大変化率の大小関係に基づき並べたものである。検出した障害物が静止物体である場合、ロボット１は自身のペースでこれを回避することが可能であるため警戒レベルは最も低くなる。
【００４２】
次に、検出した障害物がショッピングカートのような移動障害物である場合、これらは車輪の自由度拘束などによりその移動軌跡に制約があり、精度の高い移動予測モデルを立てることができるため静止物体に比べると警戒度のレベルを高くする必要があるが移動体の中では警戒度合いは低く設定できる。
【００４３】
これに対して、人間は運動学的には任意のタイミングで任意の方向へ移動可能な姿勢状態をとりうる可能性があり、カートなどに比べて移動予測が難しくモデルの精度も低くなるため、警戒レベルを高くする必要がある。さらに人間の中でも小さな子供の動きは突然あらぬ方向へ動き出すなど予測が難しく人間の中でもより警戒レベルを高くする必要がある。
【００４４】
本実施形態のロボット１は、ロボット１と障害物との確保可能距離が、設定された許容接近距離の値（＝０、Ｌ１、Ｌ２、Ｌ３、Ｌ４）と比較し、この比較結果と、設定された接近許容距離制限のレベル、すなわち警戒度のレベル（＝制限なし、Ｌｖ．１、Ｌｖ．２、Ｌｖ．３、Ｌｖ．４）とに基づいてロボット１の移動速度を決定する。この移動速度は、図１２に示すような、警戒レベルが高いほど障害物との距離を大きく、または最大移動速度を小さくするような２次元マトリクス的な条件規定がなされた移動制約則に基づいて動作を行う。これにより狭所や人の混雑した場所でも安全に効率よく移動することが可能になる。
【００４５】
これに対して、従来のロボットの制御においては、常に最悪ケース、今回の想定例ではロボットが何か移動物体を検知した場合には全て、より警戒レベルの高い移動物体を検知した場合と同様の扱いをすることで安全性を優先して行動を行っている。しかし現実にはこのような行動即で店舗内移動を行おうとするとロボットは常に何かを検出して止まってばかりで効率が上がらない。
【００４６】
以上説明したように、本実施形態によれば、安全動作を行うとともに店舗内での業務能力の高いロボットおよびその制御方法を提供することができる。
【００４７】
なお、本実施形態では、より警戒レベルの高い移動物体を検知するために、移動物体の身長を用いて判断を行ったが、その他の判断手法を用いることもできる。例えば、ロボット１の検出した人物がカメラフレーム内に全て収まっている場合、その移動物体より抽出される輪郭線と円形形状マッチングを行い、移動物体の上部に存在し、最も相関値の高くなるように区切られた領域部分を人間の頭部と判断し、検出した人間の頭部と人間の全身画像のサイズ比からその人物の頭身を推定してもよい。
【００４８】
また、ロボット１は、カメラの撮影画像中に十分なサイズで人の顔を捉えることができている場合、その顔の向きと画像特徴より目や鼻・口といった顔パーツの３次元的な位置関係を検出することが可能である。これを各年齢層の平均顔より得られる顔パーツの位置関係との相関値を図る。平均の顔は同一年齢層の複数人の顔画像を画像処理的にサイズで規格化しさらに平均化したものである。ここで、最も相関値が高くなる年齢層がある閾値以下、ここでは１０歳児の平均顔以下である場合、ロボット１はその人物を一般の人物に対する警戒レベルより高くする設定する判定手法も備えている。顔の向きを検出することが困難な場合には正面方向に限定した２次元配置関係によって判定を行うことも可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明の一実施形態によるロボットの斜視図。
【図２】一実施形態のロボットの動作を示すフローチャート。
【図３】一実施形態のロボットの、障害物か否かの判定動作を示すフローチャート。
【図４】一実施形態のロボットの、障害物が移動物体であるか否かの判定動作を示すフローチャート。
【図５】一実施形態のロボットの、障害物が人間であるか否かの判定動作を示すフローチャート。
【図６】一実施形態のロボットの、検出された人間が高警戒レベルの人物であるか否かの判定動作を示すフローチャート。
【図７】カメラの撮影画像内の検出された移動物体領域を示す模式図。
【図８】第１の身長推定手法を説明するフローチャート。
【図９】移動物体までの距離ｄ（φ）に応じた画像領域高さＰ|ｙ|と、移動物体までの実高さ対応表を説明する図。
【図１０】第２の身長推定手法を説明するフローチャート。
【図１１】第２の身長推定手法を説明する図。
【図１２】本実施形態のロボットが用いる移動制約則を示す図。
【符号の説明】
【００５０】
１ ロボット
１０ 移動用車輪
１２ レーザレンジファインダ
１４ 超音波センサ
１６ カメラユニット
１６ａ カメラ
１８ タッチパネル
【技術分野】
【０００１】
本発明は、ロボットおよびその制御方法に関する。
【背景技術】
【０００２】
従来、ロボットは超音波センサやレーザレンジファインダなど外界センサを用いてロボット周囲の障害物情報を探索し、期せぬ障害物を検知した場合、減速しつつこの障害物を回避するよう動作する（例えば、特許文献１参照）。そして、この障害物が移動物体であると判明している場合にはこの移動体がロボット付近よりいなくなるまで停止し続けるような行動戦略を取っている（例えば、特許文献２参照）。
【０００３】
また、ロボットは障害物が移動物体であるかどうかを判定するために上記外界センサの情報の時間変動量を観察するほかに、カメラを用いてテンプレートマッチングやオプティカルフローなど画像処理を行うことで移動体かどうかの判定を行うことや人物か否かの判定を行うこともあるが、それ以上の詳しい分類分析はほとんど行われていない。
【０００４】
障害物の高さ情報を利用した障害物識別手法も知られている（例えば、特許文献３参照）。しかし、この特許文献３に記載の技術では、高さ情報は壁や柱などの静止環境障害物や人の検出を行うことに用いられている。また、特許文献３に記載の技術では、人の姿勢状態を検出する手法に関しては触れられているが、検出した人に関して警戒度合いを含めた人の見分けまでは考慮されていない。またこれは障害物検出および識別手法を示すものであり、これら障害物に対する具体的な動作変更手法は提示されていない。
【特許文献１】特開２００５−３１００４３号公報
【特許文献２】特開平３−２８２７１１号公報
【特許文献３】特開２００４−３２６２６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ロボットのような自律移動体の店舗導入が検討されつつあるが、店舗や施設など一般環境へのロボット導入を考えたとき、ロボットの安全性の確保が重要になる。特に人間と共存状態にある環境下では人間の認知と、認知した人間に対する安全動作をとる必要がある。一方でスムーズな移動動作などロボットの基本性能を確保する必要もあり、安全性と移動性能の間にトレードオフが生じる。
【０００６】
ロボットは人物を検出した場合、その場に停止して人がロボット付近より遠ざかるのを待つか、十分な間隔を取りつつ人物を回避しているのが現状である。しかし店舗のような狭所では十分な間隔を確保することは難しいため、停止して相手をやり過ごすしかない。しかしこのような動作戦略ではロボットの作業効率は悪く、実用に耐えられない。
【０００７】
このような制御手法しか取れない原因の一つに、ロボットが知り得る他の移動物体に関する情報が少なく、検出した人物全てに適用できる行動制御則を用いていることが挙げられる。
【０００８】
本発明は、上記事情を考慮してなされたものであって、安全動作を行うとともに店舗内での業務能力の高いロボットおよびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様によるロボットは、本体部と、この本体部に取り付けられ前記本体部を移動させる移動機構と、移動平面を含む空間内の対象物を撮像する撮像装置と、前記撮像装置によって撮像された画像に基づいて、前記空間内に存在する物体を検出する物体検出部と、前記物体検出部によって検出された前記物体までの距離を算出する距離算出部と、前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との警戒度を設定する警戒度設定部と、前記警戒度設定部によって設定された警戒度および前記距離算出部によって算出された前記距離に基づいて、前記移動機構を制御する制御部と、を備えていることを特徴とする。
【００１０】
また、本発明の第２の態様によるロボットの制御方法は、本体部と、この本体部に取り付けられ前記本体部を移動させる移動機構と、移動平面を含む空間内の対象物を撮像する撮像装置と、前記撮像装置によって撮像された画像に基づいて、前記空間内に存在する物体を検出する物体検出部と、前記物体検出部によって検出された前記物体までの距離を算出する距離算出部と、前記移動機構を制御する制御部と、を備えているロボットの制御方法であって、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との警戒度を設定するスッテプと、前記警戒度設定部によって設定された警戒度および前記距離算出部によって算出された前記距離に基づいて前記制御部によって前記移動機構を制御させるステップと、を備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、安全動作を行うとともに店舗内での業務能力の高いロボットおよびその制御方法を提供することができる。
【発明を実施するための最良の形態】
【００１２】
本発明の一実施形態によるロボットを図１に示す。本実施形態のロボット１は、左右に駆動車輪１０を、前後にフリーキャスター（図示せず）を持つ独立２輪駆動型で、これにより空間内を自由に移動することが可能である。すなわち、左車輪のみまたは右車輪のみを左車軸または右車軸の周りに回動させることができる。
【００１３】
また、ロボット１にはモニタおよび入力キーボードおよびマウスが接続可能であり、これによりロボット１の内部の情報を外部に提示し、外部の意志をロボット１に伝達することが可能となっている。ロボット１は単位格子状に分割された仮想空間をモニタ上に表示する機能を備えている。そして、管理者がマウスを使用してグリッド交点を繋いでいくことで上記仮想空間内に領域を形成する機能を有するとともに、このような空間をいくつか作成してこれらを分割・結合する機能を有している。また、上記領域がロボット１の移動可能領域か否かを指定することでロボット１に自身の移動空間構造を認識させる機能を備えている。
【００１４】
また、ロボット１はレーザレンジファインダ１２を備えており、これによりロボット１の周囲の地形を正確に計測することができる。またロボット１の胴体周囲に超音波センサ１４が設置されており、超音波センサ１４によってもセンサ設置方向の障害物までの距離を計測することが可能である。またロボット１には２つのカメラ１６ａが備えられており、これらのカメラ１６ａを用いたステレオ視により、画像の奥行き方向の距離を計算しすることでカメラ１６ａから見た方向の障害物までの距離を計算することもできる。また、図示しない距離画像センサによりカメラ画角内の奥行き距離を計測してもよい。
【００１５】
また、車輪１０の回転数をエンコーダで計測しており、この回転数を積算し車輪１０の行路を計算していくことで自己位置を推定する。ロボット１は他にも無線信号発信機（図示せず）を備えており、ロボット１より発せられる識別ＩＤ付き電波信号を空間内に設置された複数アンテナが受信し、このときの受信強度分布に基づいて空間内に設置された環境システムが電波発信源を推定し、その位置をロボット１の自己位置とする推定装置を有する。また、設置位置情報が既知で、発進信号の発信時刻およびコードが特定可能な状態にある電波発信機が店舗内に複数設置され、ロボット１にはこれら発信機の信号を受信可能なアンテナ（図示せず）が備えられており、ロボット１はこれらの情報をもとに、GPS (Global Position System)のように自己位置を推定することも可能である。
【００１６】
ロボット１は未知空間内を自律的に徘徊し、基点からの相対位置とそのときの外界センサの入力から推定される周囲障害物距離をもとに周囲地形を検出し、移動空間内全域を移動探索することで自身の移動空間構造を認識することも可能である。
【００１７】
また、ロボット１は頭部にカメラユニット１６を備え、このカメラユニット１６は胴体の運動とは独立にパン方向、チルト方向にカメラ姿勢を制御することが可能となっている。
【００１８】
またロボット１は地図情報をもとに、壁や柱などに衝突せず目的地へ到達できる移動経路を生成する。
【００１９】
また、ロボット１は胴部にタッチパネル１８を備え、このタッチパネル１８を介して外部の意志を入力することもできる。また、胴部には複数のマイクロホン２０を備えており、マイクロホン２０によって外部の意志をロボット１に音声入力することもできる。
【００２０】
本実施形態ではロボット１は店舗内での移動を想定する。
【００２１】
ロボット１は障害物検出時にその障害物の種類によってその動作を変える。このときの動作決定フローは図２乃至図９に示すようになる。ロボット１がレーザレンジファインダ１２等の外界センサで障害物の有無を判定する（図２のステップＳ１）。この障害物の有無の判定は例えば図３に示すように行われる。
【００２２】
まず、外界センサの検出方向φにおける物体までの距離ｄ（φ）を測定する（図３のステップＳ１１）。そして、この距離ｄ（φ）が障害物判定閾値Ｄと比較され（図３のステップＳ１２）、距離ｄ（φ）が障害物判定閾値Ｄ以上の場合は、上記物体は障害物であると判定しないで（図３のステップＳ１３）、ロボット１の障害物への接近許容距離Ｌｍａｘに制限を設けずにＬｍａｘ＝０と設定する（図２のステップＳ２）。
【００２３】
距離ｄ（φ）が障害物判定閾値Ｄより小さい場合は、図３のステップＳ１４に進み、ロボット１が持つ地図データおよびロボット１の現在位置・姿勢より、検出方向φの壁や柱および地図上に記載された物体までの距離Ｌ（φ）が算出され、ｄ（φ）がＬ（φ）と比較される。距離ｄ（φ）が距離Ｌ（φ）とほぼ一致する場合には、検出された物体を地形障害物と判断する（図３のスッテプＳ１５）。また、距離ｄ（φ）が距離Ｌ（φ）より長い場合には、ロボット１は自己位置を誤認識していると判断し、自己位置の再同定を行う（図３のステップＳ１５）。一方、距離ｄ（φ）が距離Ｌ（φ）より短い場合には、上記物体は地図上にない予期せぬ障害物と認識する（図３のステップＳ１６）。以上により、障害物があるか否かの判定を終了する。
【００２４】
次に、ロボット１は予期せぬ障害物と認識した場合、図２のスッテプＳ３に進み、上記障害物が移動物体であるか否かを判定する。移動物体であるか否かの判定は、例えば図４に示すように行われる。
【００２５】
まず、再度その方向φを外界センサにより探索し（図４のステップＳ３１）、時間の経過と共に障害物までの距離または方向の変動があるか否かの判定を行う（図４のステップＳ２）。例えば、時刻ｔ１およびこの時刻ｔ１より前の時刻ｔ２における上記障害物の方位φ（ｔ１）およびφ（ｔ２）の差（＝φ（ｔ１）−φ（ｔ２））、すなわち方位の変動と、上記障害物までの距離ｄ（ｔ１）およびｄ（ｔ２）の差（＝ｄ（ｔ１）−ｄ（ｔ２））、すなわち距離の変動とがそれぞれの判定閾値Ｄφ、Ｄｄよりも大きいか否かの判定をステップＳ３２で行う。大きい場合は図４のステップ３３に進み、上記障害物を移動物体であると判定する。なお、このときロボット１自身が移動している場合は、上記方位の変動および距離の変動を自己位置の変化に応じて補正する。
【００２６】
一方、方位の変動および距離の変動がそれぞれの判定閾値Ｄφ、Ｄｄ以下である場合は、ロボット１はその方向にカメラを向けて画像を取得し、カメラの撮影画像よりオプティカルフローを計測し、障害物の検出方向に背景などとは異なるフローベクトルが検出されるか否かの判定を行う（図４のステップＳ３４）。背景などとは異なるフローベクトルが検出された場合にも、図４のステップＳ３３に進み、上記障害物を移動物体であると判断する。フローベクトルが検出されない場合はステップＳ３５に進み、上記障害物を移動物体でないと判定する。そしてこの場合、図２のスッテプＳ４に進み、ロボット１の障害物への接近許容距離制限（警戒度）のレベルをＬｖ．１に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ１（＞０）と設定する。以上により、移動物体か否かの判定を終了する。
【００２７】
次に、ロボット１が障害物を移動物体と認識した場合、図２のスッテプＳ５に進み、上記障害物が人間であるか否かの判定を行う。この判定は、例えば、図５に示すように行われる。
【００２８】
まず、φ方向のカメラの撮影画像から、画像距離が既知であるか否かの判定を行う（図５のステップＳ５１、Ｓ５２）。既知の場合は図５のステップＳ５３に進み、傷害物までの距離ｄ（φ）付近の画像のみを切り出し、その後図５のステップＳ５４に進む。既知でない場合（例えば、上記カメラがステレオ視カメラの場合）は図５のスッテプＳ５４に進む。
【００２９】
図５のスッテプＳ５４では、画像処理を行い、人間形状相関値Ｐを算出する。すなわち、ロボット１が距離画像センサを有する場合にはその輪郭形状を、またフローベクトルより移動物体を検出した場合にはその検出周辺領域に対して輪郭抽出処理を行い、ロボット１の内部に既知情報として保有している人物形状パターンとのテンプレートマッチングを行い、人間形状相関値Ｐを算出する。続いて、図５のステップＳ５５に進み、人間形状相関値Ｐが閾値Ｄｐと比較する。人間形状相関値Ｐが閾値Ｄｐ以上であれば、図５のステップＳ５６に進み、障害物を人間であると判断する。これに対して、人間形状相関値Ｐが閾値Ｄｐよりも小さい場合は、図５のスッテプＳ５７に進み、障害物を人間でないと判断する。そして、この場合、図２のステップＳ６に進み、ロボット１の障害物への接近許容距離制限（警戒度）のレベルをＬｖ．２に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ２（＞Ｌ１）と設定する。なお、人間形状相関値Ｐとしては、フローベクトルを検出した周辺領域のピクセル色情報と肌色系列の色情報とのマッチングを取ることによって得ることができる。また、人間形状相関値Ｐを得なくても、移動物体画像領域内の頭部付近において、目・鼻・口等の特徴点およびその幾何学的配置が確認された場合に移動物体を人間であると判断してもよい。以上により、人間であるか否かの判定を終了する。
【００３０】
次に、図２のステップＳ７に進み、人間であると認識された移動物体が高警戒レベルの人間、すなわち一般の人間よりも警戒レベルを高い人間か否かの判定が行われる。本実施形態のロボット１は移動物体までの距離情報を検出する手段を有しているため、移動物体までの距離情報および移動物体の画像サイズより移動物体の実際のサイズを推定することが可能である。高警戒レベルの人間か否かの判定は、例えば図６に示すように行われる。図６に示す判定動作は、高警戒レベルの人間は子供であるとして行っている。
【００３１】
まず、図６のスッテプＳ７１に進み、カメラ撮影画像から、撮影された人間の縦方向の画像が撮影画像領域内に入っているか否かの判定を行う。この判定は以下のように行われる。図７に示す移動物体の画像領域における上部縦方向位置ＰＨｙ、下部縦方向位置ＰＬｙ、カメラ画像の最上位置Ｆｙ_ｍａｘ、最下位値Ｆｙ_ｍｉｎを求め、ＰＨｙ＜Ｆｙ_ｍａｘかつＰＬｙ＞Ｆｙ_ｍｉｎであるか否かの判定を行う（図６のステップＳ７１）。撮影された人間の縦方向の画像が撮影画像領域内に入っている場合は、図６のステップＳ７２に進み、後述する第１の身長推定手法を用いて、撮影された人間の身長の推定を行う。撮影された人間の縦方向の画像が撮影画像領域内に入っていない場合は、図６のステップＳ７３に進み、撮影された人間の頭部が撮影画像領域内に入っているか否かの判定を行う。この判定はＰＨｙ＜Ｆｙ_ｍａｘを満たすか否かによって行う。ＰＨｙ＜Ｆｙ_ｍａｘを満たしている場合は、図６のステップＳ７４に進み、後述する第２の身長推定方法を用いて、撮影された人間の身長の推定を行う。ＰＨｙ＜Ｆｙ_ｍａｘを満たしていない場合は、カメラのチルト軸を駆動して、カメラをチルト方向上向きに動かして少なくとも上方向に関して移動体画像領域がカメラ視野からはみ出さないようにする。その後、再度移動物体（人間）を撮影し、撮影画像を取り込んで図６のスッテプＳ７１に戻り、上述のことを繰り返す。
【００３２】
次に、前述した第１の身長推定手法を図８乃至図９を参照して説明する。本実施形態のロボット１は、図９に示す移動物体までの距離ｄ（φ）に応じた画像領域高さＰ|ｙ|と、移動物体までの実高さ対応表をロボット１の内部に有しているので、第１の身長推定手法は、検出した人物の撮影画像領域の画面の上下方向に関して図７に示す最下位置ＰＬｙおよび最高位置ＰＨｙを計測し、そのときの物体間距離（＝ＰＨｙ−ＰＬｙ）に応じた対応表をもとに検出人物の身長を推定するものである。この身長の推定は以下のようにして行われる。まず、抽出された人物の画像およびこの人物までの距離ｄ（φ）に基づいて、この人物の身長ｈを推定する（図８のステップＳ７１１、Ｓ７１２）。この推定は、図９に示すように画像領域高さＰ|ｙ|と実際の障害物（人物）の実高さｈとの対応表に基づいて行う。推定された身長ｈと閾値Ｄｈ（例えば、小学低学年（例えば１０歳児）の平均身長値等）とを図８に示すステップＳ７１３で比較する。そして、身長ｈが閾値Ｄｈより大きい場合は、図８に示すステップＳ７１４に進み、抽出された人物は警戒レベルの人物でないと判定する。この場合は、更に図２のステップＳ８に進み、ロボット１の人物への接近許容距離制限（警戒度）のレベルをＬｖ．３に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ３（＞Ｌ２）と設定する。
【００３３】
一方、身長ｈが閾値Ｄｈ以下の場合は、図８に示すステップＳ７１５に進み、抽出された人物は高警戒レベルの人物、すなわち一般の人物よりも警戒レベルを高い人物であると判定する。この場合は、更に図２のステップＳ９に進み、ロボット１の人物への接近許容距離制限（警戒度）のレベルをＬｖ．４に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ４（＞Ｌ３）と設定する。
【００３４】
なお、第１の身長推定方法において、上記対応表の代わりに線形または非線形な対応関数を用意してもよい。この第１の身長推定手法は厳密には移動物体がカメラの撮影画面内に全て収まっている場合にのみ可能である。移動物体の横方向に関して若干撮影画面外へ出てしまうのは許容可能であるが、特に移動物体の上下方向は画面内に収まっている必要がある。
【００３５】
次に、前述した第２の身長推定手法を図１０乃至図１１を参照して説明する。この第２の身長推定手法は、検出した移動物体の画像領域の最下点がカメラの撮影画像下辺にまで達している場合、つまり画面下方向に関して移動物体がカメラ視野からはみ出している場合の推定手法である。この第２の身長推定手法は、図１１に示す、移動物体の撮影画像領域の最上点ａのカメラの光軸からの相対的な仰角もしくは俯角αを求め、またエンコーダなど内界センサをもとにカメラ雲台とロボット本体との相対的な姿勢関係（ここではチルト方向の角β）を求め、さらに既知情報として事前に記憶されたロボット本体、カメラ雲台およびカメラと外界センサの設置状態と、外界センサにより得られる距離情報ｄ（φ）より幾何的関係から点aの実際の高さｈを推定し（図１０のステップＳ７２１、Ｓ７２２）、これを人物の身長とする。本実施形態では店舗内移動体を考えているので、ここで移動物体として検出される人物は全て起立していると仮定している。なお、ステレオカメラの場合は、図１１に示す点ａまでの画像距離と角α，βより点ａの高さを推定してもよい。
【００３６】
なお、身長推定の別手法として、ロボット１がカメラをチルト方向に上下させ移動体の最上点が画面内に収まるときに点ａ1を定めこのときのカメラ光軸からの相対的な角α1とそのときのカメラ姿勢β1 を記憶し、移動物体の最下点が画面内に収まるときに点ａ2を定めてこのときのカメラ光軸からの相対的な角α2とそのときのカメラ姿勢β2を記憶し、これらと障害物までの距離を用いて移動物体の高さを推定することも可能である。また、レーザレンジファインダやＰＤＳ(Position Sensitive Detector)センサなど測距センサで縦方向にスキャンし、物体上端の仰角と距離からその物体の高さを推定してもよい。
【００３７】
このようにして推定された人物の身長ｈは図１０に示すステップＳ７２２において、閾値Ｄｈと比較される。そして、身長ｈが閾値Ｄｈより大きい場合は、図１０に示すステップＳ７２４に進み、抽出された人物は警戒レベルの人物でないと判定する。この場合は、更に図２のステップＳ８に進み、ロボット１の人物への接近許容距離Ｌｍａｘに制限Ｌｖ．３を設け、Ｌｍａｘ＝Ｌ３（＞Ｌ２）と設定する。
【００３８】
一方、身長ｈが閾値Ｄｈ以下の場合は、図１０に示すステップＳ７２５に進み、抽出された人物は高警戒レベルの人物、すなわち一般の人物よりも警戒度のレベルの高い人物であると判定する。この場合は、更に図２のステップＳ９に進み、ロボット１の人物への接近許容距離制限（警戒度）のレベルをＬｖ．４に設定し、接近許容距離ＬｍａｘをＬｍａｘ＝Ｌ４（＞Ｌ３）と設定する。
【００３９】
なお、ロボット１は対象までの距離に応じて上記判定手法を切替えて使用する。具体的には移動物体が遠方にあり、距離センサやカメラチルト方向のエンコーダの分解能が十分得られない場合には、距離センサやカメラチルト方向のエンコーダの分解能が十分に得られる距離にまで近づいてきたところで身長を推定し、さらに接近して画像が画面内に収まらなくなってきた場合にはカメラをチルト方向に動かし画面内の相対角とカメラ姿勢角を用いて対象人物の身長を推定する。また照明条件や背景などの影響で移動体の人間判定が困難な場合、検出移動対象を全て人とみなし、つぎの一般の人物に対する警戒レベルより高く設定するか否かの判定を行う。
【００４０】
また、ロボット１は人物を検出した場合、これら人物に識別コードを付し、時間とともに追跡するトラッキング機能を有する。カメラの場合にはコーナー点や画像エッジなどの特徴点を利用したトラッキング、レーザセンサのような測域センサの場合には位置の時間連続性を考慮したトラッキングなどが実装される。混雑環境下で人物対応付けが困難な状態が生じた場合は再度識別コードが与えられ、その時点より再度トラッキングが開始される。このように人物の追跡をおこなうことで、人物位置の時系列情報を得ることが可能になる。ここで移動平面内における人物の移動動作周波数および最大移動速度および最大移動加速度を計測し、これらの値が規定の閾値以上を示す場合に、対応する人物を一般の人物に対する警戒度のレベルより高く設定する判定手法も備えている。
【００４１】
上記判別手法は主に一般の人物から子供を分離抽出することを目的に使用される。ロボット１は上記判定手順に基づき認識した障害物の種類に応じて行動制約を変更する。ここでは検出した障害物が固定障害物、人間以外の移動障害物、子供以外の移動障害物、子供の順により制約が強くなるよう警戒レベルが設定される。これは検出した障害物の移動速度変化量および移動速度最大変化率の大小関係に基づき並べたものである。検出した障害物が静止物体である場合、ロボット１は自身のペースでこれを回避することが可能であるため警戒レベルは最も低くなる。
【００４２】
次に、検出した障害物がショッピングカートのような移動障害物である場合、これらは車輪の自由度拘束などによりその移動軌跡に制約があり、精度の高い移動予測モデルを立てることができるため静止物体に比べると警戒度のレベルを高くする必要があるが移動体の中では警戒度合いは低く設定できる。
【００４３】
これに対して、人間は運動学的には任意のタイミングで任意の方向へ移動可能な姿勢状態をとりうる可能性があり、カートなどに比べて移動予測が難しくモデルの精度も低くなるため、警戒レベルを高くする必要がある。さらに人間の中でも小さな子供の動きは突然あらぬ方向へ動き出すなど予測が難しく人間の中でもより警戒レベルを高くする必要がある。
【００４４】
本実施形態のロボット１は、ロボット１と障害物との確保可能距離が、設定された許容接近距離の値（＝０、Ｌ１、Ｌ２、Ｌ３、Ｌ４）と比較し、この比較結果と、設定された接近許容距離制限のレベル、すなわち警戒度のレベル（＝制限なし、Ｌｖ．１、Ｌｖ．２、Ｌｖ．３、Ｌｖ．４）とに基づいてロボット１の移動速度を決定する。この移動速度は、図１２に示すような、警戒レベルが高いほど障害物との距離を大きく、または最大移動速度を小さくするような２次元マトリクス的な条件規定がなされた移動制約則に基づいて動作を行う。これにより狭所や人の混雑した場所でも安全に効率よく移動することが可能になる。
【００４５】
これに対して、従来のロボットの制御においては、常に最悪ケース、今回の想定例ではロボットが何か移動物体を検知した場合には全て、より警戒レベルの高い移動物体を検知した場合と同様の扱いをすることで安全性を優先して行動を行っている。しかし現実にはこのような行動即で店舗内移動を行おうとするとロボットは常に何かを検出して止まってばかりで効率が上がらない。
【００４６】
以上説明したように、本実施形態によれば、安全動作を行うとともに店舗内での業務能力の高いロボットおよびその制御方法を提供することができる。
【００４７】
なお、本実施形態では、より警戒レベルの高い移動物体を検知するために、移動物体の身長を用いて判断を行ったが、その他の判断手法を用いることもできる。例えば、ロボット１の検出した人物がカメラフレーム内に全て収まっている場合、その移動物体より抽出される輪郭線と円形形状マッチングを行い、移動物体の上部に存在し、最も相関値の高くなるように区切られた領域部分を人間の頭部と判断し、検出した人間の頭部と人間の全身画像のサイズ比からその人物の頭身を推定してもよい。
【００４８】
また、ロボット１は、カメラの撮影画像中に十分なサイズで人の顔を捉えることができている場合、その顔の向きと画像特徴より目や鼻・口といった顔パーツの３次元的な位置関係を検出することが可能である。これを各年齢層の平均顔より得られる顔パーツの位置関係との相関値を図る。平均の顔は同一年齢層の複数人の顔画像を画像処理的にサイズで規格化しさらに平均化したものである。ここで、最も相関値が高くなる年齢層がある閾値以下、ここでは１０歳児の平均顔以下である場合、ロボット１はその人物を一般の人物に対する警戒レベルより高くする設定する判定手法も備えている。顔の向きを検出することが困難な場合には正面方向に限定した２次元配置関係によって判定を行うことも可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明の一実施形態によるロボットの斜視図。
【図２】一実施形態のロボットの動作を示すフローチャート。
【図３】一実施形態のロボットの、障害物か否かの判定動作を示すフローチャート。
【図４】一実施形態のロボットの、障害物が移動物体であるか否かの判定動作を示すフローチャート。
【図５】一実施形態のロボットの、障害物が人間であるか否かの判定動作を示すフローチャート。
【図６】一実施形態のロボットの、検出された人間が高警戒レベルの人物であるか否かの判定動作を示すフローチャート。
【図７】カメラの撮影画像内の検出された移動物体領域を示す模式図。
【図８】第１の身長推定手法を説明するフローチャート。
【図９】移動物体までの距離ｄ（φ）に応じた画像領域高さＰ|ｙ|と、移動物体までの実高さ対応表を説明する図。
【図１０】第２の身長推定手法を説明するフローチャート。
【図１１】第２の身長推定手法を説明する図。
【図１２】本実施形態のロボットが用いる移動制約則を示す図。
【符号の説明】
【００５０】
１ ロボット
１０ 移動用車輪
１２ レーザレンジファインダ
１４ 超音波センサ
１６ カメラユニット
１６ａ カメラ
１８ タッチパネル
【特許請求の範囲】
【請求項１】
本体部と、
この本体部に取り付けられ前記本体部を移動させる移動機構と、
移動平面を含む空間内の対象物を撮像する撮像装置と、
前記撮像装置によって撮像された画像に基づいて、前記空間内に存在する物体を検出する物体検出部と、
前記物体検出部によって検出された前記物体までの距離を算出する距離算出部と、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との警戒度を設定する警戒度設定部と、
前記警戒度設定部によって設定された警戒度および前記距離算出部によって算出された前記距離に基づいて、前記移動機構を制御する制御部と、
を備えていることを特徴とするロボット。
【請求項２】
前記距離算出部によって算出された前記物体までの距離に基づいて、前記物体検出部によって検出された前記物体が障害物である否かを判定する障害物判定部を更に備え、
前記警戒度設定部は前記障害物判定部の、前記物体が障害物であるか否かの判定結果に基づいて前記警戒度を設定することを特徴とする請求項１記載のロボット。
【請求項３】
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体が移動物体である否かを判定する移動物体判定部を更に備え、
前記警戒度設定部は前記移動物体判定部の、前記物体が移動物体であるか否かの判定結果に基づいて前記警戒度を設定することを特徴とする請求項１または２記載のロボット。
【請求項４】
前記撮像装置によって撮像された画像に基づいて、前記物体検出部によって検出された前記物体が人物である否かを判定する移動物体判定部を更に備え、
前記警戒度設定部は前記移動物体判定部の、前記物体が人物であるか否かの判定結果に基づいて前記警戒度を設定することを特徴とする請求項１乃至３のいずれかに記載のロボット。
【請求項５】
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体が警戒を要する人物である否かを判定する警戒人物判定部を更に備え、
前記警戒度設定部は前記警戒人物判定部の、前記物体が警戒を要する人物であるか否かの判定結果に基づいて前記警戒度を設定することを特徴とする請求項１乃至４のいずれかに記載のロボット。
【請求項６】
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との接近許容可能距離を設定する接近許容可能距離設定部を更に備えたことを特徴とする請求項１乃至６のいずれかに記載のロボット。
【請求項７】
前記警戒度設定部によって設定された警戒度および前記接近許容可能距離設定部よって設定された接近許容可能距離に基づいて、前記本体部の速度を設定する速度設定部を更に備えたことを特徴とする請求項６記載のロボット。
【請求項８】
前記距離算出部によって算出された前記物体までの距離に基づいて、前記物体検出部によって検出された前記物体が障害物である否かを判定する障害物判定部と、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記障害物が移動物体である否かを判定するとともに、移動物体と判定された場合に前記撮像装置によって撮像された画像に基づいて、前記移動物体が人物である否かを判定する移動物体判定部と、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記移動物体が警戒を要する人物である否かを判定する警戒人物判定部と、
前記物体検出部によって検出された前記物体が障害物でない場合には前記物体との接近許容可能距離に制限を設けず、前記物体検出部によって検出された前記物体が障害物であって移動物体でない場合には前記接近許容可能距離を第１の距離に設定し、前記物体検出部によって検出された前記物体が移動物体であって人物でない場合には前記接近許容可能距離を前記第１の距離よりも大きい第２の距離に設定し、前記物体検出部によって検出された前記物体が人物であって警戒を要する人物でない場合には前記接近許容可能距離を前記第２の距離よりも大きい第３の距離に設定し、前記物体検出部によって検出された前記物体が警戒を要する人物である場合には前記接近許容可能距離を前記第３の距離よりも大きい第４の距離に設定する接近許容可能距離設定部と、
前記警戒度設定部によって設定された警戒度および前記接近許容可能距離設定部よって設定された接近許容可能距離に基づいて、前記本体部の速度を設定する速度設定部と、
を備え、
前記警戒度設定部は、前記物体検出部によって検出された前記物体が障害物でない場合には前記警戒度に制限を設けず、前記物体検出部によって検出された前記物体が障害物であって移動物体でない場合には前記警戒度を第１のレベルに設定し、前記物体検出部によって検出された前記物体が移動物体であって人物でない場合には前記警戒度を第２のレベルに設定し、前記物体検出部によって検出された前記物体が人物であって警戒を要する人物でない場合には前記警戒度を第３のレベルに設定し、前記物体検出部によって検出された前記物体が警戒を要する人物である場合には前記警戒度を第４のレベルに設定し、
前記制御部は、前記本体部の移動速度が前記制限速度設定部によって設定された速度となるように前記移動機構を制御することを特徴とする請求項１記載のロボット。
【請求項９】
本体部と、この本体部に取り付けられ前記本体部を移動させる移動機構と、移動平面を含む空間内の対象物を撮像する撮像装置と、前記撮像装置によって撮像された画像に基づいて、前記空間内に存在する物体を検出する物体検出部と、前記物体検出部によって検出された前記物体までの距離を算出する距離算出部と、前記移動機構を制御する制御部と、を備えているロボットの制御方法であって、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との警戒度を設定するスッテプと、
前記警戒度設定部によって設定された警戒度および前記距離算出部によって算出された前記距離に基づいて前記制御部によって前記移動機構を制御させるステップと、
を備えたことを特徴とするロボットの制御方法。
【請求項１】
本体部と、
この本体部に取り付けられ前記本体部を移動させる移動機構と、
移動平面を含む空間内の対象物を撮像する撮像装置と、
前記撮像装置によって撮像された画像に基づいて、前記空間内に存在する物体を検出する物体検出部と、
前記物体検出部によって検出された前記物体までの距離を算出する距離算出部と、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との警戒度を設定する警戒度設定部と、
前記警戒度設定部によって設定された警戒度および前記距離算出部によって算出された前記距離に基づいて、前記移動機構を制御する制御部と、
を備えていることを特徴とするロボット。
【請求項２】
前記距離算出部によって算出された前記物体までの距離に基づいて、前記物体検出部によって検出された前記物体が障害物である否かを判定する障害物判定部を更に備え、
前記警戒度設定部は前記障害物判定部の、前記物体が障害物であるか否かの判定結果に基づいて前記警戒度を設定することを特徴とする請求項１記載のロボット。
【請求項３】
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体が移動物体である否かを判定する移動物体判定部を更に備え、
前記警戒度設定部は前記移動物体判定部の、前記物体が移動物体であるか否かの判定結果に基づいて前記警戒度を設定することを特徴とする請求項１または２記載のロボット。
【請求項４】
前記撮像装置によって撮像された画像に基づいて、前記物体検出部によって検出された前記物体が人物である否かを判定する移動物体判定部を更に備え、
前記警戒度設定部は前記移動物体判定部の、前記物体が人物であるか否かの判定結果に基づいて前記警戒度を設定することを特徴とする請求項１乃至３のいずれかに記載のロボット。
【請求項５】
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体が警戒を要する人物である否かを判定する警戒人物判定部を更に備え、
前記警戒度設定部は前記警戒人物判定部の、前記物体が警戒を要する人物であるか否かの判定結果に基づいて前記警戒度を設定することを特徴とする請求項１乃至４のいずれかに記載のロボット。
【請求項６】
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との接近許容可能距離を設定する接近許容可能距離設定部を更に備えたことを特徴とする請求項１乃至６のいずれかに記載のロボット。
【請求項７】
前記警戒度設定部によって設定された警戒度および前記接近許容可能距離設定部よって設定された接近許容可能距離に基づいて、前記本体部の速度を設定する速度設定部を更に備えたことを特徴とする請求項６記載のロボット。
【請求項８】
前記距離算出部によって算出された前記物体までの距離に基づいて、前記物体検出部によって検出された前記物体が障害物である否かを判定する障害物判定部と、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記障害物が移動物体である否かを判定するとともに、移動物体と判定された場合に前記撮像装置によって撮像された画像に基づいて、前記移動物体が人物である否かを判定する移動物体判定部と、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記移動物体が警戒を要する人物である否かを判定する警戒人物判定部と、
前記物体検出部によって検出された前記物体が障害物でない場合には前記物体との接近許容可能距離に制限を設けず、前記物体検出部によって検出された前記物体が障害物であって移動物体でない場合には前記接近許容可能距離を第１の距離に設定し、前記物体検出部によって検出された前記物体が移動物体であって人物でない場合には前記接近許容可能距離を前記第１の距離よりも大きい第２の距離に設定し、前記物体検出部によって検出された前記物体が人物であって警戒を要する人物でない場合には前記接近許容可能距離を前記第２の距離よりも大きい第３の距離に設定し、前記物体検出部によって検出された前記物体が警戒を要する人物である場合には前記接近許容可能距離を前記第３の距離よりも大きい第４の距離に設定する接近許容可能距離設定部と、
前記警戒度設定部によって設定された警戒度および前記接近許容可能距離設定部よって設定された接近許容可能距離に基づいて、前記本体部の速度を設定する速度設定部と、
を備え、
前記警戒度設定部は、前記物体検出部によって検出された前記物体が障害物でない場合には前記警戒度に制限を設けず、前記物体検出部によって検出された前記物体が障害物であって移動物体でない場合には前記警戒度を第１のレベルに設定し、前記物体検出部によって検出された前記物体が移動物体であって人物でない場合には前記警戒度を第２のレベルに設定し、前記物体検出部によって検出された前記物体が人物であって警戒を要する人物でない場合には前記警戒度を第３のレベルに設定し、前記物体検出部によって検出された前記物体が警戒を要する人物である場合には前記警戒度を第４のレベルに設定し、
前記制御部は、前記本体部の移動速度が前記制限速度設定部によって設定された速度となるように前記移動機構を制御することを特徴とする請求項１記載のロボット。
【請求項９】
本体部と、この本体部に取り付けられ前記本体部を移動させる移動機構と、移動平面を含む空間内の対象物を撮像する撮像装置と、前記撮像装置によって撮像された画像に基づいて、前記空間内に存在する物体を検出する物体検出部と、前記物体検出部によって検出された前記物体までの距離を算出する距離算出部と、前記移動機構を制御する制御部と、を備えているロボットの制御方法であって、
前記撮像装置によって撮像された画像および前記距離算出部によって算出された距離に基づいて、前記物体検出部によって検出された前記物体との警戒度を設定するスッテプと、
前記警戒度設定部によって設定された警戒度および前記距離算出部によって算出された前記距離に基づいて前記制御部によって前記移動機構を制御させるステップと、
を備えたことを特徴とするロボットの制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−２００７７０（Ｐ２００８−２００７７０Ａ）
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００７−３６６１２（Ｐ２００７−３６６１２）
【出願日】平成１９年２月１６日（２００７．２．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１９年２月１６日（２００７．２．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]