周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法
【課題】自律移動装置において、例えば草むらなどが存在する進路において、草むらなどの上面を走行可能な平面として検出してしまうことを防止する。
【解決手段】複数のカメラ3aL,3aRにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出する制御手段とを備え、第1の波長帯域の反射率と第2の波長帯域の反射率との比が所定値よりも高い点を植物の葉と判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行う。
【解決手段】複数のカメラ3aL,3aRにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出する制御手段とを備え、第1の波長帯域の反射率と第2の波長帯域の反射率との比が所定値よりも高い点を植物の葉と判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周囲形状検出装置、周囲の形状を検出して自律移動を行う自律移動装置、周囲形状検出方法及び自律移動装置の制御方法、並びに、人間が行う移動体の操縦を補助する移動体の操縦補助装置及び移動体の操縦補助方法に関する。
【背景技術】
【0002】
従来、周囲形状検出及び制御装置を搭載し、周囲形状検出によって周囲の形状を検出し、この検出結果に基づいて制御装置によって制御されて、自律移動を行う自律移動装置が提案されている。この自律移動装置は、周囲の障害物を避けながら所定の目標地点に到達するように、自らが決定した移動ルート上を移動する。また、このような制御装置は、人間が行う移動体の操縦の補助を行うこともできる。
【0003】
自律移動の制御や操縦補助を行う制御装置においては、周囲の状況についての情報を得て、この情報に基づいて、安全に目的地に向かうことができる進路を決定する。そして、制御装置は、自律移動を行う場合には、決定した進路上を移動するように移動体を制御し、操縦補助を行う場合には、決定した進路を表示手段などにより操縦者に伝達する。
【0004】
道路外や不整地などにおいて移動体の自律移動を実現するには、制御装置は、図9に示すように、移動体101に装備したレーザレンジファインダなどのセンサ102により、地面や地上に存在する構造物103や樹木の立体形状をスキャンして計測し、起伏の変化が小さい平坦部分を検出する。そして、制御装置は、図10に示すように、計測結果に基づいて、平坦部分を通過するように進路を決定し、この進路に沿って移動体を制御する。
【0005】
また、制御装置は、操縦補助を行う場合には、安全性向上のため、地面や地上に存在する周囲の形状を検出し、危険距離まで接近した場合には、回避、または、停止するように移動体を制御し、あるいは、操縦者に危険を知らせる。
【0006】
周囲の形状から走行可能な平面部を検出する方法として、特許文献1には、2個以上のカメラを組み合わせたステレオカメラにより周囲の三次元位置を計測し、その位置の分布を用いて、平面パラメータ空間に投票を行い、最も投票が多いパラメータを選択し、そのパラメータに一致する部分を検出平面とする方法が記載されている。
【0007】
また、特許文献2には、周囲の形状から平面部を検出する方法として、移動体に固定した2つのカメラで撮影された基準画像及び参照画像のうち、参照画像を仮定した平面パラメータに基づく射影変換により、基準画像を撮影したカメラ上からどのように見えるかを推定し、その推定基準画像を実際の基準画像と比較した結果(差分の絶対値の画像)を得る画像処理の下、この比較結果が最も一致度が高くなるように平面パラメータを推定する方法が記載されている。この方法においては、求めた平面パラメータを用いて、先ほどと同様に推定基準画像を実際の基準画像と比較した結果(差分の絶対値の画像)のなかで差分が小さい部分を平面として検出する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2003−271975号公報
【特許文献2】特開2006−54681号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところで、図11中の(a)及び(b)に示すように、道路上などに草むら104が茂っている地形(公園や河原など)においては、図12に示すように、草むら104の上面がある程度のバラつきを持ちつつなだらかな面を構成する場合があり、しかも広い面積を持つ場合がある。このような場合、特許文献1及び特許文献2に記載された従来の自律移動装置においては、草むら104の上面を走行可能な平面として検出してしまう虞がある。
【0010】
そこで、本発明は、前述の実情に鑑みて提案されるものであり、例えば草むらなどが存在する進路において、草むらなどの上面を走行可能な平面として検出してしまうことが防止された周囲形状検出装置及び周囲形状検出方法を提供し、また、このような周囲形状検出装置を用いることにより円滑な移動を行うことができるようになされた自律移動装置及び自律移動装置の制御方法を提供し、また、このような移動体の操縦補助装置及び移動体の操縦補助方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
前述の課題を解決し、前記目的を達成するため、本発明は、以下の構成のいずれか一を有するものである。
【0012】
〔構成1〕
本発明に係る周囲形状検出装置は、複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出する制御手段とを備え、基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0013】
〔構成2〕
本発明に係る周囲形状検出装置は、周囲を撮像するカメラと、周囲の形状を3次元データ群として取得する形状計測手段と、3次元データ群から3点以上の3次元データをサンプリングしサンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出することを特徴とするものである。
【0014】
〔構成3〕
本発明に係る自律移動装置は、移動可能となされた走行部と、走行部に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、走行部に搭載され撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出しこの移動可能領域内において移動予定路を決定し走行部を制御して移動予定路上を移動させる制御手段とを備え、基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0015】
〔構成4〕
本発明に係る自律移動装置は、移動可能となされた走行部と、走行部に搭載されこの走行部の周囲を撮像するカメラと、走行部に搭載されこの走行部の周囲の形状を3次元データ群として取得する形状計測手段と、走行部に搭載され3次元データ群から3点以上の3次元データをサンプリングしサンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出することを特徴とするものである。
【0016】
〔構成5〕
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、移動体に搭載され撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出する制御手段と、制御手段により制御される表示手段とを備え、基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0017】
〔構成6〕
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載されこの移動体の周囲の形状を3次元データ群として取得する形状計測手段と、移動体に搭載され3次元データ群から3点以上の3次元データをサンプリングしサンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する制御手段と、制御手段により制御される表示手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出することを特徴とするものである。
【0018】
〔構成7〕
本発明に係る周囲形状検出方法は、基準画像と参照画像とを含むステレオ画像を複数のカメラにより撮像し、ステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行う周囲形状検出方法であって、基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、基準画像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、基準画像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0019】
〔構成8〕
本発明に係る周囲形状検出方法は、周囲の形状を3次元データ群として取得し、3次元データ群から3点以上の3次元データをサンプリングしサンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する周囲形状検出方法であって、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するカメラを用いて、このカメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出することを特徴とするものである。
【0020】
〔構成9〕
本発明に係る自律移動装置の制御方法は、移動可能となされた走行部と、この走行部に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段とを有する自律移動装置を制御する方法であって、基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、ステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出し、この移動可能領域内において移動予定路を決定し、走行部を制御して移動予定路上を移動させることを特徴とするものである。
【0021】
〔構成10〕
本発明に係る自律移動装置の制御方法は、移動可能となされた走行部と、この走行部に搭載され走行部の周囲を撮像するカメラと、走行部に搭載され走行部の周囲の形状を3次元データ群として取得する形状計測手段とを有する自律移動装置を制御する方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出するとともに、この移動可能領域内において移動予定路を決定し、走行部を制御して移動予定路上を移動させることを特徴とするものである。
【0022】
〔構成11〕
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段を用いて、ステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに、抽出された平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出して、移動体の操縦者を補助する操縦補助方法であって、基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0023】
〔構成12〕
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載され移動体の周囲の形状を3次元データ群として取得する形状計測手段とを用いて、3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出して、移動体の操縦者を補助する操縦補助方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出することを特徴とするものである。
【発明の効果】
【0024】
本発明においては、走行可能な平面部を検出するにあたって、草むらなど緑葉の領域を除外し、残余の領域について、平面部を検出する。そして、この平面部を走行可能領域として検出する。
【0025】
したがって、本発明によれば、公園や河原などにおいても、草むらなどの上面を走行可能な平面として検出してしまうことが防止され、移動体を制御して目的地に正しく到達させることが可能になる。
【0026】
すなわち、本発明は、例えば草むらなどが存在する進路において、草むらなどの上面を走行可能な平面として検出してしまうことが防止された周囲形状検出装置及び周囲形状検出方法を提供し、また、このような周囲形状検出装置を用いることにより円滑な移動を行うことができるようになされた自律移動装置及び自律移動装置の制御方法を提供し、また、このような移動体の操縦補助装置及び移動体の操縦補助方法を提供することができるものである。
【図面の簡単な説明】
【0027】
【図1】本発明に係る自律移動装置の外観構成を示す側面図である。
【図2】本発明に係る自律移動装置の構成を示すブロック図である。
【図3】本発明における平面領域の手順を示すフローチャートである。
【図4】本発明における平面領域の手順をの他の例を示すフローチャートである。
【図5】図4のステップS201の前工程を示すフローチャートである。
【図6】本発明に係る自律移動装置において、走行部の移動を制御するための手順を示すフローチャートである。
【図7】本発明に係る自律移動装置におけるカメラの構成を示す平面図である。
【図8】本発明に係る自律移動装置におけるカメラの他の構成を示す平面図である。
【図9】従来の自律移動装置の外観構成を示す側面図である。
【図10】従来の自律移動装置における移動経路計画を示す平面図である。
【図11】従来の自律移動装置が植生を跨いで移動する様子を示す平面図(a)及び自律移動装置から見た植生の様子を示す斜視図(b)である。
【図12】草むらの上面がある程度のバラつきを持ちつつ、なだらかな面を構成している状態を示す斜視図である。
【発明を実施するための形態】
【0028】
以下、本発明の実施の形態を図面に基づいて説明する。
【0029】
〔自律移動装置の構成〕
図1は、本発明に係る周囲形状検出装置を搭載した本発明に係る自律移動装置の外観構成を示す側面図である。
【0030】
なお、本発明に係る周囲形状検出方法は、本発明に係る周囲形状検出装置において実行され、また、本発明に係る自律移動装置の制御方法は、本発明に係る自律移動装置において実行される。
【0031】
本発明に係る自律移動装置は、図1に示すように、移動可能となされた走行部1を有し、この走行部1に、ステレオカメラ3aL,3aRを含む複数のカメラにより基準画像と参照画像とを撮像する撮像手段が搭載されて構成されている。
【0032】
なお、走行部1には、この走行部1の周囲の形状を計測するレーザレンジファインダ(LRF)2を搭載してもよい。このレーザレンジファインダ2は、ラインスキャン(2次元スキャン)型、または、面スキャン(3次元スキャン)型のレーザレンジファインダであって、走行部1から周囲の形状までの距離情報を得ることができる。
【0033】
複数のカメラ3aL,3aRのうち、少なくとも基準画像を撮像する一方のカメラ3aLは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能を有する第1のカメラ3a及び植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能を有する第2のカメラ3bとして構成されている。すなわち、一方のカメラ3aLは、同一の像について2つの波長の像に分離して撮影する機能を有している。
【0034】
植物の葉の分光反射率において反射率の高い第1の波長帯域は、例えば、800nm乃至1300nmである。第1のカメラ3aは、この第1の波長帯域のうちの幅100nm以上の波長域の光を透過させる第1のフィルタを備え、この第1のフィルタを透過した光を撮像するように構成されている。なお、第1のフィルタにおける透過光の波長幅を過度に狭くすると、撮像される光量が少なくなり、相対的にノイズが増大し、S/Nが悪くなる。
【0035】
植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域は、葉の構成要素の吸収が生じている波長帯域であり、例えば、クロロフィルの吸収帯である640nm±40nmである。第2のカメラ3bは、この第2の波長帯域のうちの幅30nm乃至100nm程度の波長域の光を透過させる第2のフィルタを備え、この第2のフィルタを透過した光を撮像するように構成されている。第2のフィルタにおける透過光の波長幅を過度に狭くすると、撮像される光量が少なくなり、相対的にノイズが増大しS/Nが悪くなるので、中心波長に対する幅80nm程度を透過させるフィルタが好適である。
【0036】
なお、第2の波長帯域は、水の吸収帯としてもよい。例えば、1240nm±10nm(フィルタの透過幅を10nm〜50nmとする)、1450nm±50nm(フィルタの透過幅50nm〜150nmとする)、1940nm±100nm(フィルタの透過幅50nm〜250nmとする)などである。
【0037】
このようにして、第1及び第2のカメラ3a,3bは、撮像対象からの光量を2次元の受光素子で計測し、この光量に比例する値を輝度値として測定することができる。
【0038】
図2は、本発明に係る自律移動装置の構成を示すブロック図である。
【0039】
そして、図2に示すように、走行部1内には、制御手段21が搭載されている。この制御手段21は、撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された平面領域以外の領域に対して物体検出処理を行う。また、この制御手段21は、平面領域を移動可能領域として検出し、この移動可能領域内において移動予定路を決定し、走行部1を制御して移動予定路上を移動させる。
【0040】
制御手段21には、撮像手段の他に、レーザレンジファインダ2、ジャイロ22及びGPS(受信機)23などを接続してもよい。制御手段21は、第1及び第2のカメラ3a,3bからの情報に基づいて、後述するように、植物の葉(植生)の検出を行う。また、制御手段21は、撮像手段により得られるステレオ画像に基づいて、後述するように、ステレオ画像中の平面領域を抽出する。また、制御手段21は、レーザレンジファインダ2及びジャイロ22からの情報について、撮像手段による撮影時のカメラ座標への変換を行う。そして、制御手段21は、撮像手段により得られるステレオ画像上において対応する植生情報を獲得する。
【0041】
さらに、制御手段21は、検出された植物の葉(植生)の位置及び抽出された平面領域に基づいて、障害物の有無、すなわち、通行可能かの判定を行い、通行可能エリアを示す地図を作成する。このとき、平面領域の抽出については、植物の葉(植生)の領域を除外した残余の部分について、平面領域を抽出する。
【0042】
このようにして作成された通行可能エリアを示す地図に基づき、制御手段21は、移動予定計画を生成し、また、GPS(受信機)23からの情報に基づいて、軌道ずれを補正する行動計算を行う。この計算結果に基づき、制御手段21は、ステアリング指示角及びアクセル指示量を計算する。
【0043】
制御手段21には、ブレーキ駆動モータ24、アクセル駆動モータ25及びステアリング駆動モータ26が接続されている。制御手段21は、計算されたステアリング指示角及びアクセル指示量に基づいて、これらブレーキ駆動モータ24、アクセル駆動モータ25及びステアリング駆動モータ26を制御する。ブレーキ駆動モータ24は、ブレーキ27を駆動する。アクセル駆動モータ25は、アクセル28を駆動する。ステアリング駆動モータ26は、ステアリング29を駆動する。走行部1は、これらブレーキ27、アクセル28及びステアリング29が駆動されることにより、移動予定路上を移動する。
【0044】
〔植物の葉(植生)の検出〕
制御手段21は、撮像手段により撮像された像の各点について、第1の波長帯域の輝度と第2の波長帯域の輝度との比を求め、この輝度比が所定値よりも高い点を植物の葉であると判別する。すなわち、制御手段は、空間上で対応する同じ位置の点における第1の波長帯域の輝度と第2の波長帯域の輝度との比率を求めて、この比率の大小により、植物の葉の判別を行う。
【0045】
この判別を行うには、空間上で対応する同じ位置の各点について、輝度値の比に基づき、反射率比RefRate(第1の波長帯域の反射率/第2の波長帯域の反射率)を求める。
【0046】
【数1】
・・・・(式1)
反射率比RefRateは、計測された各波長帯の輝度値の比(V1/V2)に、係数(RefBase)を掛け、その時の露光時間の比(E1/E2)及びゲインの比(K1/K2)で除算することで求める。係数(RefBase)はカメラ3aL,3bの受光素子の効率やゲイン係数、光源の分光光量比を補正するための値であり、既知反射率を持つ校正用の撮影対象を事前に、もしくは、計測と同時に撮影することにより求めることができる。
【0047】
そして、制御手段21は、この反射率比が、2.0乃至3.0の間の所定の値、例えば、2.5より大きい箇所を植物の葉(植生)と判断する。以下の〔表1〕に示すように、日照下において、NIR(近赤外光(850nm〜1000nm))の反射率とVISR(可視赤色光(600nm〜680nm))の反射率との反射率比は、植物では3.0以上となり、非植物では2.0以下となっているので、2.0乃至3.0の間の所定の値を閾値とすることにより、植物の有無を判断することができる。
【0048】
【表1】
なお、制御手段21は、撮像手段により得られたステレオ画像のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、この形状を避けるか否かを判断するようにしてもよい。
【0049】
〔平面領域の抽出〕
図3は、本発明における平面領域の手順を示すフローチャートである。
【0050】
平面領域の抽出は、以下のようにして行う。
【0051】
すなわち、図3に示すように、まず、一方のカメラ(基準カメラ)3aL及び他方のカメラ(参照カメラ)3aRにより、走行部1が走行する道路平面領域を含む基準画像及び参照画像を所定の時間間隔で撮像し、制御手段21において所定の画像処理を行った後、各時間毎の画像情報として記憶する(ステップS101)。
【0052】
次に、参照画像中の道路平面領域を、基準画像中の道路平面領域に2次元射影変換する射影変換行列を動的に算出する(ステップS102)。
【0053】
そして、ステップS102で算出した射影変換行列を用いて、基準画像から道路平面領域を抽出する(ステップS103)。
【0054】
次に、道路平面の法線ベクトル及び一方のカメラ(基準カメラ)3aLの光学中心から道路平面までの距離を平面パラメータとして算出する(ステップS104)。
【0055】
次に、ステップS104で算出した平面パラメータを用いて、ステップS103で抽出した道路平面領域を道路面上に変換して、障害物となる可能性のある物体を検出し、もしくは、ステップS103で抽出した道路平面領域以外の領域に対してステレオ計測することにより、物体を検出する(ステップS105)。
【0056】
そして、抽出された各物体の時間毎の位置変化から、走行部1に対する各物体の相対速度ベクトルを算出する(ステップS106)。
【0057】
さらに、ステップS104で算出した道路平面の傾きである法線ベクトルを用いて、道路面を上方から見た画像である仮想投影面(VPP)画像を生成する(ステップS107)。
【0058】
そして、ステップS107で生成されたVPP画像の各時刻での位置から走行部1の速度ベクトルを算出する(ステップS108)。
【0059】
さらに、ステップS106で算出した物体の相対速度ベクトルと、ステップS108で算出した走行部1の速度ベクトルとを用いて、各物体の絶対速度ベクトルを算出する(ステップS109)。
【0060】
〔平面領域の抽出の他の例〕
図4は、本発明における平面領域の手順をの他の例を示すフローチャートである。
【0061】
本発明における平面領域の抽出は、以下のように、ハフ変換(Hough Transform)を使用して行ってもよい。
【0062】
ハフ変換には、Forward Position,Backward Position,Feature Point Pairs等といわれるいくつかの方法がある。以下、これらのハフ変換について、簡単のため、2次元画像平面内の直線検出の例として説明する。元画像からは何らかの画像処理により、エッジ(直線上にのると予想される特徴点)が検出されているものとする。また、特徴点の数をMとし、元画像の大きさをL×L、投票先のパラメータ空間(投票箱)の大きさをl(エル)×l(エル)とする。
【0063】
Forward Positionでは、元画像の特徴点を順次たどり、各点をパラメータ空間内に写像したときの曲線が通るスロット1つ1つに投票していく。アルゴリズムの複雑度はO(Ml)である。
【0064】
Backward Positionでは、パラメータ空間内の各スロットを順次操作し、各スロットを元画像に対し逆写像した直線上にのっている特徴点の数をそのスロットの得票とする。アルゴリズムの複雑度はO(Ll2)である。
【0065】
Feature Point Pairsでは、特徴点2点のあらゆる組み合わせを順次たどり、その2点の組から計算されるパラメータが属するスロッドに得票する。アルゴリズムの複雑度はO(M2)である。
【0066】
しかしながら、これらのハフ変換により3次元データから平面を抽出する方法は、演算量及び使用メモリが極めて多くなる。これは、次元数が2次元よりも1つ多い上に、全てのデータポイントが特徴点としての意味を有するためである。従って、これらのハフ変換は、3次元データからの平面検出というタスクにおいては、演算量及び使用メモリの観点から何れも現実的ではない。
【0067】
また、ランダム化ハフ変換(Randomized Hough Transform:RHT)と呼ばれるハフ変換がある。このランダム化ハフ変換は、上述したFeature Point Pairsの派生であり、上述の2次元画像平面内においては、特徴点2点のあらゆる組み合わせではなく、ランダムサンプリングによるK通りの組み合わせについてのみ処理を行うものである。このアルゴリズムの複雑度はO(K)である。
【0068】
本発明における平面領域の抽出は、3次元データからランダムにデータをサンプリングして平面パラメータを算出し、ハフ変換(ランダム化ハフ変換:Randomized Hough Transform)、すなわち、平面パラメータを投票空間に直接投票して平面であるか否かを決定するものである。すなわち、N個の3次元データから、法線ベクトルの向き(θ,φ)を、原点からの距離をdとしたときの平面パラメータ(θ,φ,d)、すなわち、平面方程式を求める方法である。
【0069】
この手順においては、まず、撮像手段によるステレオ画像、または、レーザレンジファインダ2によって得られた視差、または、距離情報は、適切なキャリブレーションに基づく変換により、3次元データに変換し、この3次元データの配列を用意しておく。
【0070】
まず、N個のデータ(3次元データ){p1,p2,p3,…,pN}からM組のサブセット{p11,p21,p31,…,pN1},{p12,p22,p32,…,pN2},…,{p1M,p2M,p3M,…,pNM}を取り出す(ステップS201)。このときの「投票総数」をMとする。
【0071】
次に、各サブセット{p1i,p2i,p3i,…,pNi}から、パラメータ(θi,φi,di)を計算する(ステップS202)。次いで、計算されたパラメータを量子化し、投票先グリッドを決定し、これに対して各パラメータ毎に個別に投票を行う(ステップS203)。
【0072】
そして、最終的に投票数が多いパラメータを解とする。すなわち、このパラメータを有する平面を平面として決定する(ステップS204)。
【0073】
ここで、ステップS201でデータを取り出す前に行われる処理について説明する。
【0074】
図5は、図4のステップS201の前工程を示すフローチャートである。
【0075】
ここでは、距離画像、または、視差画像等のような形で得られた3次元座標データ群を処理する方法について説明する。図5に示すように、撮像手段(カメラ3aL,3aR)、または、レーザレンジファインダ2からのデータが入力され、キャリブレーション、または、パラメータ変換されて、3次元のデータ配列が生成される(ステップS301)。ここで、3次元座標に変換された3次元データ群と共に、この3次元データの信頼度rを示す信頼度パラメータがカメラ3aL,3aR、または、レーザレンジファインダ2から入力される(ステップS302)。この実施の形態においては、ステレオ画像等に基づく距離画像を入力画像とし、ステレオ距離計算の過程で得られる信頼度パラメータを有効利用することができる。また、このような信頼度パラメータが利用不可能である場合には、これを定数と見なすことにより、信頼度パラメータが付随しない3次元データにも直接応用することができる。
【0076】
信頼度パラメータは、様々な評価値を用いて求めることができるが、この実施の形態においては、テンプレートの分散値による信頼度パラメータの求め方及びマッチングスコアによる信頼度パラメータの求め方の2つの方法について説明する。
【0077】
上述したように、この実施の形態における3次元データは、ステレオ画像による距離画像を入力としている。ステレオ距離計測では、ステレオ画像中の画素の対応関係をテンプレートマッチングによって探索する。例えば、左の画像を基準画像、右の画像を参照画像とし、マッチングテンプレート内の画素の輝度の分散値を求める。そして、探索する全てのテンプレートの分散値を算出し、分散値の大きさを信頼度パラメータとすることができる。すなわち、分散値が高いほど、信頼度が高いことを示し、分散値が低いほど、信頼度が低いことを示す。
【0078】
また、マッチングスコアによる信頼度画像の求め方としては、基準画像におけるテンプレートと、参照画像のエピポーララインに沿って選択された領域とを比較し、これらの領域内の画素の輝度の差からマッチングスコア値を算出することができる。そして、マッチングスコア値、最小マッチングスコア値付近におけるピークの幅及びグラフの急峻度値等から、マッチングスコアによる信頼度パラメータを求めることができる。すなわち、マッチングスコア値が低く、最小スコア値付近におけるピークの幅が小さく、グラフの急峻度値が大きいものほど、信頼度が高いことを示す。
【0079】
このように、各3次元パラメータは個別に信頼度パラメータが算出され、この信頼度パラメータにより、信頼度が所定の閾値より低いデータは切り捨てる等して入力データの選別が行われる(ステップS303)。この実施の形態のように、信頼度パラメータによる3次元データの選別を行うことにより、信頼性及び安定性を向上し、性能悪化を防止することができる。
【0080】
〔自律移動装置の動作〕
この自律移動装置は、動作を開始すると、ステレオカメラ3aL,3aRによる撮像を行う。このとき、レーザレンジファインダ2による計測(スキャン)を並行して行ってもよい。そして、第1及び第2のカメラ3a,3bにより得られた画像において、植物領域及び非植物領域の判別を行う。また、ステレオカメラ3aL,3aRにより得られたステレオ画像に、植物領域及び非植物領域の判別結果を対応させる。なお、このとき、植物領域であって走行可能な領域(植物の高さが所定の高さ以下である領域)を検出してもよい。
【0081】
また、ステレオカメラ3aL,3aRにより得られたステレオ画像から走行可能な平面領域を抽出するにあたっては、予め、対象画像から植物の葉(植生)の領域を除外し、残余の部分について、平面領域の抽出を行う。このとき、非植物領域であって走行可能な平面領域が検出できる。
【0082】
図6は、走行部1の移動を制御するための手順を示すフローチャートである。
【0083】
この自律移動装置において、制御手段21は、図6に示すように、ステップst11で処理を開始すると、移動体1の動作中において(ステップst12)、ステップst13に進み、ステレオカメラ3aL,3aRによる撮影を行う。
【0084】
次に、ステップst14において、ジャイロ22により、撮影時の走行部1の姿勢を計測し記憶しておく。次に、ステップst15において、植物の葉(植生)の有無を判別し、植生判定画像として記憶しておく。ステップst16において、次のフレームの画像の撮影時刻まで待機し、ステップst17に進み、レーザレンジファインダ2により、ラインスキャンを行う。ステップst18において、ジャイロ22により、ラインスキャン時の走行部1の姿勢を計測し記憶しておく。
【0085】
ステップst19において、1ラインスキャン内の各点を測距点として設定し、ステップst20に進み、撮像時の走行部1の姿勢、ラインスキャン時の走行部1の姿勢及び一方のカメラ3aLとレーザレンジファインダ2との相対位置関係に基づいて、前述したように、画像上の対応位置を計算する。
【0086】
そして、制御手段21は、ステップst21において、記憶された植生判定画像を参照し、植物の葉(植生)の領域を除外し、ステップst22において、残余の領域について、平面部分の抽出を行う。すなわち、ステップst22における処理においては、植物の葉(植生)の領域は、計算対象外として、平面領域の抽出処理から除外されている。ここで、図3に示した平面領域の抽出処理を行う場合には、植物の葉(植生)の領域に対応する画像上の領域を対象外マスクとし、このマスク領域では画像の差分処理を行わないことにより実現できる。また、図4に示した手順により平面を検出する場合には、植物の葉(植生)の領域と判断された領域に対応する周囲の計測結果を、投票に用いないことにより実現できる。
【0087】
ステップst23においては、次のラインスキャンまでステップst19以降の処理をループし、ステップst24においては、次の画像撮影時刻までステップst16以降の処理をループして、ステップst25に進む。
【0088】
ステップst25では、記憶された障害物地図に基づいて、移動計画を生成し、ステップst26では、ジャイロ22及びGPS(受信機)23により、現在位置を計測し、ステップst27に進む。
【0089】
ステップst27では、ステアリング及びブレーキを制御して、走行部1の軌道修正を行い、ステップst28では、動作中ループとして、ステップst2に戻る。
【0090】
〔他の実施の形態〕
図7は、本発明に係る自律移動装置におけるカメラの構成を示す平面図である。
【0091】
本発明に係る自律移動装置において、2つの波長帯における撮影を行う一方のカメラ3aL(3a,3b)は、図7に示すように、撮像対象から対物レンズ4に入射した光をダイクロイックミラー5によって2つの波長帯域に分けて、それぞれを撮像素子6,7により撮像するように構成することができる。すなわち、対物レンズ4に入射した光は、ダイクロイックミラー5など、波長選択性を有する光学素子により、第1の波長帯域と第2の波長帯域とに分けられる。第1の波長帯域の光は、第1の波長帯域光を透過する第1のフィルタ8及び集光レンズ9を経て、第1の撮像素子6により撮像される。第2の波長帯域の光は、第2の波長帯域光を透過する第2のフィルタ10及び集光レンズ11を経て、第2の撮像素子7により撮像される。
【0092】
図8は、本発明に係る自律移動装置におけるカメラの他の構成を示す平面図である。
【0093】
また、複数のカメラは、図8に示すように、第1の波長帯域の撮像を行うステレオカメラ3aL,3aRと、これらとは別に第2の波長帯域の撮像を行う第2のカメラ3bを設けて構成してもよい。第1の波長帯域の撮像を行うカメラ3aLは、第1の波長帯域光を透過する第1のフィルタ8及び対物レンズ4を介して、第1の撮像素子6により撮像する第1のカメラ3aとして機能するように構成されている。第2の波長帯域の撮像を行う第2のカメラ3bは、第2の波長帯域光を透過する第2のフィルタ10及び対物レンズ4を介して、第2の撮像素子7により撮像するように構成されている。
【0094】
これら各カメラ3aL,3aR,3bは、同一の保持具12上に位置決めされて設置されている。
【産業上の利用可能性】
【0095】
本発明は、周囲の形状を検出する周囲形状検出装置及び周囲形状検出方法、周囲の形状を検出して自律移動を行う自律移動装置及び自律移動装置の制御方法、並びに、人間が行う移動体の操縦を補助する移動体の操縦補助装置及び移動体の操縦補助方法に適用される。
【符号の説明】
【0096】
1 走行部
2 レーザレンジファインダ
3aL,3aR ステレオカメラ
3a 第1のカメラ
3b 第2のカメラ
21 制御手段
103 障害物
【技術分野】
【0001】
本発明は、周囲形状検出装置、周囲の形状を検出して自律移動を行う自律移動装置、周囲形状検出方法及び自律移動装置の制御方法、並びに、人間が行う移動体の操縦を補助する移動体の操縦補助装置及び移動体の操縦補助方法に関する。
【背景技術】
【0002】
従来、周囲形状検出及び制御装置を搭載し、周囲形状検出によって周囲の形状を検出し、この検出結果に基づいて制御装置によって制御されて、自律移動を行う自律移動装置が提案されている。この自律移動装置は、周囲の障害物を避けながら所定の目標地点に到達するように、自らが決定した移動ルート上を移動する。また、このような制御装置は、人間が行う移動体の操縦の補助を行うこともできる。
【0003】
自律移動の制御や操縦補助を行う制御装置においては、周囲の状況についての情報を得て、この情報に基づいて、安全に目的地に向かうことができる進路を決定する。そして、制御装置は、自律移動を行う場合には、決定した進路上を移動するように移動体を制御し、操縦補助を行う場合には、決定した進路を表示手段などにより操縦者に伝達する。
【0004】
道路外や不整地などにおいて移動体の自律移動を実現するには、制御装置は、図9に示すように、移動体101に装備したレーザレンジファインダなどのセンサ102により、地面や地上に存在する構造物103や樹木の立体形状をスキャンして計測し、起伏の変化が小さい平坦部分を検出する。そして、制御装置は、図10に示すように、計測結果に基づいて、平坦部分を通過するように進路を決定し、この進路に沿って移動体を制御する。
【0005】
また、制御装置は、操縦補助を行う場合には、安全性向上のため、地面や地上に存在する周囲の形状を検出し、危険距離まで接近した場合には、回避、または、停止するように移動体を制御し、あるいは、操縦者に危険を知らせる。
【0006】
周囲の形状から走行可能な平面部を検出する方法として、特許文献1には、2個以上のカメラを組み合わせたステレオカメラにより周囲の三次元位置を計測し、その位置の分布を用いて、平面パラメータ空間に投票を行い、最も投票が多いパラメータを選択し、そのパラメータに一致する部分を検出平面とする方法が記載されている。
【0007】
また、特許文献2には、周囲の形状から平面部を検出する方法として、移動体に固定した2つのカメラで撮影された基準画像及び参照画像のうち、参照画像を仮定した平面パラメータに基づく射影変換により、基準画像を撮影したカメラ上からどのように見えるかを推定し、その推定基準画像を実際の基準画像と比較した結果(差分の絶対値の画像)を得る画像処理の下、この比較結果が最も一致度が高くなるように平面パラメータを推定する方法が記載されている。この方法においては、求めた平面パラメータを用いて、先ほどと同様に推定基準画像を実際の基準画像と比較した結果(差分の絶対値の画像)のなかで差分が小さい部分を平面として検出する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2003−271975号公報
【特許文献2】特開2006−54681号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところで、図11中の(a)及び(b)に示すように、道路上などに草むら104が茂っている地形(公園や河原など)においては、図12に示すように、草むら104の上面がある程度のバラつきを持ちつつなだらかな面を構成する場合があり、しかも広い面積を持つ場合がある。このような場合、特許文献1及び特許文献2に記載された従来の自律移動装置においては、草むら104の上面を走行可能な平面として検出してしまう虞がある。
【0010】
そこで、本発明は、前述の実情に鑑みて提案されるものであり、例えば草むらなどが存在する進路において、草むらなどの上面を走行可能な平面として検出してしまうことが防止された周囲形状検出装置及び周囲形状検出方法を提供し、また、このような周囲形状検出装置を用いることにより円滑な移動を行うことができるようになされた自律移動装置及び自律移動装置の制御方法を提供し、また、このような移動体の操縦補助装置及び移動体の操縦補助方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
前述の課題を解決し、前記目的を達成するため、本発明は、以下の構成のいずれか一を有するものである。
【0012】
〔構成1〕
本発明に係る周囲形状検出装置は、複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出する制御手段とを備え、基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0013】
〔構成2〕
本発明に係る周囲形状検出装置は、周囲を撮像するカメラと、周囲の形状を3次元データ群として取得する形状計測手段と、3次元データ群から3点以上の3次元データをサンプリングしサンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出することを特徴とするものである。
【0014】
〔構成3〕
本発明に係る自律移動装置は、移動可能となされた走行部と、走行部に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、走行部に搭載され撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出しこの移動可能領域内において移動予定路を決定し走行部を制御して移動予定路上を移動させる制御手段とを備え、基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0015】
〔構成4〕
本発明に係る自律移動装置は、移動可能となされた走行部と、走行部に搭載されこの走行部の周囲を撮像するカメラと、走行部に搭載されこの走行部の周囲の形状を3次元データ群として取得する形状計測手段と、走行部に搭載され3次元データ群から3点以上の3次元データをサンプリングしサンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出することを特徴とするものである。
【0016】
〔構成5〕
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、移動体に搭載され撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出する制御手段と、制御手段により制御される表示手段とを備え、基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0017】
〔構成6〕
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載されこの移動体の周囲の形状を3次元データ群として取得する形状計測手段と、移動体に搭載され3次元データ群から3点以上の3次元データをサンプリングしサンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する制御手段と、制御手段により制御される表示手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出することを特徴とするものである。
【0018】
〔構成7〕
本発明に係る周囲形状検出方法は、基準画像と参照画像とを含むステレオ画像を複数のカメラにより撮像し、ステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行う周囲形状検出方法であって、基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、基準画像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、基準画像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0019】
〔構成8〕
本発明に係る周囲形状検出方法は、周囲の形状を3次元データ群として取得し、3次元データ群から3点以上の3次元データをサンプリングしサンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する周囲形状検出方法であって、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するカメラを用いて、このカメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出することを特徴とするものである。
【0020】
〔構成9〕
本発明に係る自律移動装置の制御方法は、移動可能となされた走行部と、この走行部に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段とを有する自律移動装置を制御する方法であって、基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、ステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出し、この移動可能領域内において移動予定路を決定し、走行部を制御して移動予定路上を移動させることを特徴とするものである。
【0021】
〔構成10〕
本発明に係る自律移動装置の制御方法は、移動可能となされた走行部と、この走行部に搭載され走行部の周囲を撮像するカメラと、走行部に搭載され走行部の周囲の形状を3次元データ群として取得する形状計測手段とを有する自律移動装置を制御する方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出するとともに、この移動可能領域内において移動予定路を決定し、走行部を制御して移動予定路上を移動させることを特徴とするものである。
【0022】
〔構成11〕
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段を用いて、ステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに、抽出された平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出して、移動体の操縦者を補助する操縦補助方法であって、基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【0023】
〔構成12〕
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載され移動体の周囲の形状を3次元データ群として取得する形状計測手段とを用いて、3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出して、移動体の操縦者を補助する操縦補助方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出することを特徴とするものである。
【発明の効果】
【0024】
本発明においては、走行可能な平面部を検出するにあたって、草むらなど緑葉の領域を除外し、残余の領域について、平面部を検出する。そして、この平面部を走行可能領域として検出する。
【0025】
したがって、本発明によれば、公園や河原などにおいても、草むらなどの上面を走行可能な平面として検出してしまうことが防止され、移動体を制御して目的地に正しく到達させることが可能になる。
【0026】
すなわち、本発明は、例えば草むらなどが存在する進路において、草むらなどの上面を走行可能な平面として検出してしまうことが防止された周囲形状検出装置及び周囲形状検出方法を提供し、また、このような周囲形状検出装置を用いることにより円滑な移動を行うことができるようになされた自律移動装置及び自律移動装置の制御方法を提供し、また、このような移動体の操縦補助装置及び移動体の操縦補助方法を提供することができるものである。
【図面の簡単な説明】
【0027】
【図1】本発明に係る自律移動装置の外観構成を示す側面図である。
【図2】本発明に係る自律移動装置の構成を示すブロック図である。
【図3】本発明における平面領域の手順を示すフローチャートである。
【図4】本発明における平面領域の手順をの他の例を示すフローチャートである。
【図5】図4のステップS201の前工程を示すフローチャートである。
【図6】本発明に係る自律移動装置において、走行部の移動を制御するための手順を示すフローチャートである。
【図7】本発明に係る自律移動装置におけるカメラの構成を示す平面図である。
【図8】本発明に係る自律移動装置におけるカメラの他の構成を示す平面図である。
【図9】従来の自律移動装置の外観構成を示す側面図である。
【図10】従来の自律移動装置における移動経路計画を示す平面図である。
【図11】従来の自律移動装置が植生を跨いで移動する様子を示す平面図(a)及び自律移動装置から見た植生の様子を示す斜視図(b)である。
【図12】草むらの上面がある程度のバラつきを持ちつつ、なだらかな面を構成している状態を示す斜視図である。
【発明を実施するための形態】
【0028】
以下、本発明の実施の形態を図面に基づいて説明する。
【0029】
〔自律移動装置の構成〕
図1は、本発明に係る周囲形状検出装置を搭載した本発明に係る自律移動装置の外観構成を示す側面図である。
【0030】
なお、本発明に係る周囲形状検出方法は、本発明に係る周囲形状検出装置において実行され、また、本発明に係る自律移動装置の制御方法は、本発明に係る自律移動装置において実行される。
【0031】
本発明に係る自律移動装置は、図1に示すように、移動可能となされた走行部1を有し、この走行部1に、ステレオカメラ3aL,3aRを含む複数のカメラにより基準画像と参照画像とを撮像する撮像手段が搭載されて構成されている。
【0032】
なお、走行部1には、この走行部1の周囲の形状を計測するレーザレンジファインダ(LRF)2を搭載してもよい。このレーザレンジファインダ2は、ラインスキャン(2次元スキャン)型、または、面スキャン(3次元スキャン)型のレーザレンジファインダであって、走行部1から周囲の形状までの距離情報を得ることができる。
【0033】
複数のカメラ3aL,3aRのうち、少なくとも基準画像を撮像する一方のカメラ3aLは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能を有する第1のカメラ3a及び植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能を有する第2のカメラ3bとして構成されている。すなわち、一方のカメラ3aLは、同一の像について2つの波長の像に分離して撮影する機能を有している。
【0034】
植物の葉の分光反射率において反射率の高い第1の波長帯域は、例えば、800nm乃至1300nmである。第1のカメラ3aは、この第1の波長帯域のうちの幅100nm以上の波長域の光を透過させる第1のフィルタを備え、この第1のフィルタを透過した光を撮像するように構成されている。なお、第1のフィルタにおける透過光の波長幅を過度に狭くすると、撮像される光量が少なくなり、相対的にノイズが増大し、S/Nが悪くなる。
【0035】
植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域は、葉の構成要素の吸収が生じている波長帯域であり、例えば、クロロフィルの吸収帯である640nm±40nmである。第2のカメラ3bは、この第2の波長帯域のうちの幅30nm乃至100nm程度の波長域の光を透過させる第2のフィルタを備え、この第2のフィルタを透過した光を撮像するように構成されている。第2のフィルタにおける透過光の波長幅を過度に狭くすると、撮像される光量が少なくなり、相対的にノイズが増大しS/Nが悪くなるので、中心波長に対する幅80nm程度を透過させるフィルタが好適である。
【0036】
なお、第2の波長帯域は、水の吸収帯としてもよい。例えば、1240nm±10nm(フィルタの透過幅を10nm〜50nmとする)、1450nm±50nm(フィルタの透過幅50nm〜150nmとする)、1940nm±100nm(フィルタの透過幅50nm〜250nmとする)などである。
【0037】
このようにして、第1及び第2のカメラ3a,3bは、撮像対象からの光量を2次元の受光素子で計測し、この光量に比例する値を輝度値として測定することができる。
【0038】
図2は、本発明に係る自律移動装置の構成を示すブロック図である。
【0039】
そして、図2に示すように、走行部1内には、制御手段21が搭載されている。この制御手段21は、撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された平面領域以外の領域に対して物体検出処理を行う。また、この制御手段21は、平面領域を移動可能領域として検出し、この移動可能領域内において移動予定路を決定し、走行部1を制御して移動予定路上を移動させる。
【0040】
制御手段21には、撮像手段の他に、レーザレンジファインダ2、ジャイロ22及びGPS(受信機)23などを接続してもよい。制御手段21は、第1及び第2のカメラ3a,3bからの情報に基づいて、後述するように、植物の葉(植生)の検出を行う。また、制御手段21は、撮像手段により得られるステレオ画像に基づいて、後述するように、ステレオ画像中の平面領域を抽出する。また、制御手段21は、レーザレンジファインダ2及びジャイロ22からの情報について、撮像手段による撮影時のカメラ座標への変換を行う。そして、制御手段21は、撮像手段により得られるステレオ画像上において対応する植生情報を獲得する。
【0041】
さらに、制御手段21は、検出された植物の葉(植生)の位置及び抽出された平面領域に基づいて、障害物の有無、すなわち、通行可能かの判定を行い、通行可能エリアを示す地図を作成する。このとき、平面領域の抽出については、植物の葉(植生)の領域を除外した残余の部分について、平面領域を抽出する。
【0042】
このようにして作成された通行可能エリアを示す地図に基づき、制御手段21は、移動予定計画を生成し、また、GPS(受信機)23からの情報に基づいて、軌道ずれを補正する行動計算を行う。この計算結果に基づき、制御手段21は、ステアリング指示角及びアクセル指示量を計算する。
【0043】
制御手段21には、ブレーキ駆動モータ24、アクセル駆動モータ25及びステアリング駆動モータ26が接続されている。制御手段21は、計算されたステアリング指示角及びアクセル指示量に基づいて、これらブレーキ駆動モータ24、アクセル駆動モータ25及びステアリング駆動モータ26を制御する。ブレーキ駆動モータ24は、ブレーキ27を駆動する。アクセル駆動モータ25は、アクセル28を駆動する。ステアリング駆動モータ26は、ステアリング29を駆動する。走行部1は、これらブレーキ27、アクセル28及びステアリング29が駆動されることにより、移動予定路上を移動する。
【0044】
〔植物の葉(植生)の検出〕
制御手段21は、撮像手段により撮像された像の各点について、第1の波長帯域の輝度と第2の波長帯域の輝度との比を求め、この輝度比が所定値よりも高い点を植物の葉であると判別する。すなわち、制御手段は、空間上で対応する同じ位置の点における第1の波長帯域の輝度と第2の波長帯域の輝度との比率を求めて、この比率の大小により、植物の葉の判別を行う。
【0045】
この判別を行うには、空間上で対応する同じ位置の各点について、輝度値の比に基づき、反射率比RefRate(第1の波長帯域の反射率/第2の波長帯域の反射率)を求める。
【0046】
【数1】
・・・・(式1)
反射率比RefRateは、計測された各波長帯の輝度値の比(V1/V2)に、係数(RefBase)を掛け、その時の露光時間の比(E1/E2)及びゲインの比(K1/K2)で除算することで求める。係数(RefBase)はカメラ3aL,3bの受光素子の効率やゲイン係数、光源の分光光量比を補正するための値であり、既知反射率を持つ校正用の撮影対象を事前に、もしくは、計測と同時に撮影することにより求めることができる。
【0047】
そして、制御手段21は、この反射率比が、2.0乃至3.0の間の所定の値、例えば、2.5より大きい箇所を植物の葉(植生)と判断する。以下の〔表1〕に示すように、日照下において、NIR(近赤外光(850nm〜1000nm))の反射率とVISR(可視赤色光(600nm〜680nm))の反射率との反射率比は、植物では3.0以上となり、非植物では2.0以下となっているので、2.0乃至3.0の間の所定の値を閾値とすることにより、植物の有無を判断することができる。
【0048】
【表1】
なお、制御手段21は、撮像手段により得られたステレオ画像のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、この形状を避けるか否かを判断するようにしてもよい。
【0049】
〔平面領域の抽出〕
図3は、本発明における平面領域の手順を示すフローチャートである。
【0050】
平面領域の抽出は、以下のようにして行う。
【0051】
すなわち、図3に示すように、まず、一方のカメラ(基準カメラ)3aL及び他方のカメラ(参照カメラ)3aRにより、走行部1が走行する道路平面領域を含む基準画像及び参照画像を所定の時間間隔で撮像し、制御手段21において所定の画像処理を行った後、各時間毎の画像情報として記憶する(ステップS101)。
【0052】
次に、参照画像中の道路平面領域を、基準画像中の道路平面領域に2次元射影変換する射影変換行列を動的に算出する(ステップS102)。
【0053】
そして、ステップS102で算出した射影変換行列を用いて、基準画像から道路平面領域を抽出する(ステップS103)。
【0054】
次に、道路平面の法線ベクトル及び一方のカメラ(基準カメラ)3aLの光学中心から道路平面までの距離を平面パラメータとして算出する(ステップS104)。
【0055】
次に、ステップS104で算出した平面パラメータを用いて、ステップS103で抽出した道路平面領域を道路面上に変換して、障害物となる可能性のある物体を検出し、もしくは、ステップS103で抽出した道路平面領域以外の領域に対してステレオ計測することにより、物体を検出する(ステップS105)。
【0056】
そして、抽出された各物体の時間毎の位置変化から、走行部1に対する各物体の相対速度ベクトルを算出する(ステップS106)。
【0057】
さらに、ステップS104で算出した道路平面の傾きである法線ベクトルを用いて、道路面を上方から見た画像である仮想投影面(VPP)画像を生成する(ステップS107)。
【0058】
そして、ステップS107で生成されたVPP画像の各時刻での位置から走行部1の速度ベクトルを算出する(ステップS108)。
【0059】
さらに、ステップS106で算出した物体の相対速度ベクトルと、ステップS108で算出した走行部1の速度ベクトルとを用いて、各物体の絶対速度ベクトルを算出する(ステップS109)。
【0060】
〔平面領域の抽出の他の例〕
図4は、本発明における平面領域の手順をの他の例を示すフローチャートである。
【0061】
本発明における平面領域の抽出は、以下のように、ハフ変換(Hough Transform)を使用して行ってもよい。
【0062】
ハフ変換には、Forward Position,Backward Position,Feature Point Pairs等といわれるいくつかの方法がある。以下、これらのハフ変換について、簡単のため、2次元画像平面内の直線検出の例として説明する。元画像からは何らかの画像処理により、エッジ(直線上にのると予想される特徴点)が検出されているものとする。また、特徴点の数をMとし、元画像の大きさをL×L、投票先のパラメータ空間(投票箱)の大きさをl(エル)×l(エル)とする。
【0063】
Forward Positionでは、元画像の特徴点を順次たどり、各点をパラメータ空間内に写像したときの曲線が通るスロット1つ1つに投票していく。アルゴリズムの複雑度はO(Ml)である。
【0064】
Backward Positionでは、パラメータ空間内の各スロットを順次操作し、各スロットを元画像に対し逆写像した直線上にのっている特徴点の数をそのスロットの得票とする。アルゴリズムの複雑度はO(Ll2)である。
【0065】
Feature Point Pairsでは、特徴点2点のあらゆる組み合わせを順次たどり、その2点の組から計算されるパラメータが属するスロッドに得票する。アルゴリズムの複雑度はO(M2)である。
【0066】
しかしながら、これらのハフ変換により3次元データから平面を抽出する方法は、演算量及び使用メモリが極めて多くなる。これは、次元数が2次元よりも1つ多い上に、全てのデータポイントが特徴点としての意味を有するためである。従って、これらのハフ変換は、3次元データからの平面検出というタスクにおいては、演算量及び使用メモリの観点から何れも現実的ではない。
【0067】
また、ランダム化ハフ変換(Randomized Hough Transform:RHT)と呼ばれるハフ変換がある。このランダム化ハフ変換は、上述したFeature Point Pairsの派生であり、上述の2次元画像平面内においては、特徴点2点のあらゆる組み合わせではなく、ランダムサンプリングによるK通りの組み合わせについてのみ処理を行うものである。このアルゴリズムの複雑度はO(K)である。
【0068】
本発明における平面領域の抽出は、3次元データからランダムにデータをサンプリングして平面パラメータを算出し、ハフ変換(ランダム化ハフ変換:Randomized Hough Transform)、すなわち、平面パラメータを投票空間に直接投票して平面であるか否かを決定するものである。すなわち、N個の3次元データから、法線ベクトルの向き(θ,φ)を、原点からの距離をdとしたときの平面パラメータ(θ,φ,d)、すなわち、平面方程式を求める方法である。
【0069】
この手順においては、まず、撮像手段によるステレオ画像、または、レーザレンジファインダ2によって得られた視差、または、距離情報は、適切なキャリブレーションに基づく変換により、3次元データに変換し、この3次元データの配列を用意しておく。
【0070】
まず、N個のデータ(3次元データ){p1,p2,p3,…,pN}からM組のサブセット{p11,p21,p31,…,pN1},{p12,p22,p32,…,pN2},…,{p1M,p2M,p3M,…,pNM}を取り出す(ステップS201)。このときの「投票総数」をMとする。
【0071】
次に、各サブセット{p1i,p2i,p3i,…,pNi}から、パラメータ(θi,φi,di)を計算する(ステップS202)。次いで、計算されたパラメータを量子化し、投票先グリッドを決定し、これに対して各パラメータ毎に個別に投票を行う(ステップS203)。
【0072】
そして、最終的に投票数が多いパラメータを解とする。すなわち、このパラメータを有する平面を平面として決定する(ステップS204)。
【0073】
ここで、ステップS201でデータを取り出す前に行われる処理について説明する。
【0074】
図5は、図4のステップS201の前工程を示すフローチャートである。
【0075】
ここでは、距離画像、または、視差画像等のような形で得られた3次元座標データ群を処理する方法について説明する。図5に示すように、撮像手段(カメラ3aL,3aR)、または、レーザレンジファインダ2からのデータが入力され、キャリブレーション、または、パラメータ変換されて、3次元のデータ配列が生成される(ステップS301)。ここで、3次元座標に変換された3次元データ群と共に、この3次元データの信頼度rを示す信頼度パラメータがカメラ3aL,3aR、または、レーザレンジファインダ2から入力される(ステップS302)。この実施の形態においては、ステレオ画像等に基づく距離画像を入力画像とし、ステレオ距離計算の過程で得られる信頼度パラメータを有効利用することができる。また、このような信頼度パラメータが利用不可能である場合には、これを定数と見なすことにより、信頼度パラメータが付随しない3次元データにも直接応用することができる。
【0076】
信頼度パラメータは、様々な評価値を用いて求めることができるが、この実施の形態においては、テンプレートの分散値による信頼度パラメータの求め方及びマッチングスコアによる信頼度パラメータの求め方の2つの方法について説明する。
【0077】
上述したように、この実施の形態における3次元データは、ステレオ画像による距離画像を入力としている。ステレオ距離計測では、ステレオ画像中の画素の対応関係をテンプレートマッチングによって探索する。例えば、左の画像を基準画像、右の画像を参照画像とし、マッチングテンプレート内の画素の輝度の分散値を求める。そして、探索する全てのテンプレートの分散値を算出し、分散値の大きさを信頼度パラメータとすることができる。すなわち、分散値が高いほど、信頼度が高いことを示し、分散値が低いほど、信頼度が低いことを示す。
【0078】
また、マッチングスコアによる信頼度画像の求め方としては、基準画像におけるテンプレートと、参照画像のエピポーララインに沿って選択された領域とを比較し、これらの領域内の画素の輝度の差からマッチングスコア値を算出することができる。そして、マッチングスコア値、最小マッチングスコア値付近におけるピークの幅及びグラフの急峻度値等から、マッチングスコアによる信頼度パラメータを求めることができる。すなわち、マッチングスコア値が低く、最小スコア値付近におけるピークの幅が小さく、グラフの急峻度値が大きいものほど、信頼度が高いことを示す。
【0079】
このように、各3次元パラメータは個別に信頼度パラメータが算出され、この信頼度パラメータにより、信頼度が所定の閾値より低いデータは切り捨てる等して入力データの選別が行われる(ステップS303)。この実施の形態のように、信頼度パラメータによる3次元データの選別を行うことにより、信頼性及び安定性を向上し、性能悪化を防止することができる。
【0080】
〔自律移動装置の動作〕
この自律移動装置は、動作を開始すると、ステレオカメラ3aL,3aRによる撮像を行う。このとき、レーザレンジファインダ2による計測(スキャン)を並行して行ってもよい。そして、第1及び第2のカメラ3a,3bにより得られた画像において、植物領域及び非植物領域の判別を行う。また、ステレオカメラ3aL,3aRにより得られたステレオ画像に、植物領域及び非植物領域の判別結果を対応させる。なお、このとき、植物領域であって走行可能な領域(植物の高さが所定の高さ以下である領域)を検出してもよい。
【0081】
また、ステレオカメラ3aL,3aRにより得られたステレオ画像から走行可能な平面領域を抽出するにあたっては、予め、対象画像から植物の葉(植生)の領域を除外し、残余の部分について、平面領域の抽出を行う。このとき、非植物領域であって走行可能な平面領域が検出できる。
【0082】
図6は、走行部1の移動を制御するための手順を示すフローチャートである。
【0083】
この自律移動装置において、制御手段21は、図6に示すように、ステップst11で処理を開始すると、移動体1の動作中において(ステップst12)、ステップst13に進み、ステレオカメラ3aL,3aRによる撮影を行う。
【0084】
次に、ステップst14において、ジャイロ22により、撮影時の走行部1の姿勢を計測し記憶しておく。次に、ステップst15において、植物の葉(植生)の有無を判別し、植生判定画像として記憶しておく。ステップst16において、次のフレームの画像の撮影時刻まで待機し、ステップst17に進み、レーザレンジファインダ2により、ラインスキャンを行う。ステップst18において、ジャイロ22により、ラインスキャン時の走行部1の姿勢を計測し記憶しておく。
【0085】
ステップst19において、1ラインスキャン内の各点を測距点として設定し、ステップst20に進み、撮像時の走行部1の姿勢、ラインスキャン時の走行部1の姿勢及び一方のカメラ3aLとレーザレンジファインダ2との相対位置関係に基づいて、前述したように、画像上の対応位置を計算する。
【0086】
そして、制御手段21は、ステップst21において、記憶された植生判定画像を参照し、植物の葉(植生)の領域を除外し、ステップst22において、残余の領域について、平面部分の抽出を行う。すなわち、ステップst22における処理においては、植物の葉(植生)の領域は、計算対象外として、平面領域の抽出処理から除外されている。ここで、図3に示した平面領域の抽出処理を行う場合には、植物の葉(植生)の領域に対応する画像上の領域を対象外マスクとし、このマスク領域では画像の差分処理を行わないことにより実現できる。また、図4に示した手順により平面を検出する場合には、植物の葉(植生)の領域と判断された領域に対応する周囲の計測結果を、投票に用いないことにより実現できる。
【0087】
ステップst23においては、次のラインスキャンまでステップst19以降の処理をループし、ステップst24においては、次の画像撮影時刻までステップst16以降の処理をループして、ステップst25に進む。
【0088】
ステップst25では、記憶された障害物地図に基づいて、移動計画を生成し、ステップst26では、ジャイロ22及びGPS(受信機)23により、現在位置を計測し、ステップst27に進む。
【0089】
ステップst27では、ステアリング及びブレーキを制御して、走行部1の軌道修正を行い、ステップst28では、動作中ループとして、ステップst2に戻る。
【0090】
〔他の実施の形態〕
図7は、本発明に係る自律移動装置におけるカメラの構成を示す平面図である。
【0091】
本発明に係る自律移動装置において、2つの波長帯における撮影を行う一方のカメラ3aL(3a,3b)は、図7に示すように、撮像対象から対物レンズ4に入射した光をダイクロイックミラー5によって2つの波長帯域に分けて、それぞれを撮像素子6,7により撮像するように構成することができる。すなわち、対物レンズ4に入射した光は、ダイクロイックミラー5など、波長選択性を有する光学素子により、第1の波長帯域と第2の波長帯域とに分けられる。第1の波長帯域の光は、第1の波長帯域光を透過する第1のフィルタ8及び集光レンズ9を経て、第1の撮像素子6により撮像される。第2の波長帯域の光は、第2の波長帯域光を透過する第2のフィルタ10及び集光レンズ11を経て、第2の撮像素子7により撮像される。
【0092】
図8は、本発明に係る自律移動装置におけるカメラの他の構成を示す平面図である。
【0093】
また、複数のカメラは、図8に示すように、第1の波長帯域の撮像を行うステレオカメラ3aL,3aRと、これらとは別に第2の波長帯域の撮像を行う第2のカメラ3bを設けて構成してもよい。第1の波長帯域の撮像を行うカメラ3aLは、第1の波長帯域光を透過する第1のフィルタ8及び対物レンズ4を介して、第1の撮像素子6により撮像する第1のカメラ3aとして機能するように構成されている。第2の波長帯域の撮像を行う第2のカメラ3bは、第2の波長帯域光を透過する第2のフィルタ10及び対物レンズ4を介して、第2の撮像素子7により撮像するように構成されている。
【0094】
これら各カメラ3aL,3aR,3bは、同一の保持具12上に位置決めされて設置されている。
【産業上の利用可能性】
【0095】
本発明は、周囲の形状を検出する周囲形状検出装置及び周囲形状検出方法、周囲の形状を検出して自律移動を行う自律移動装置及び自律移動装置の制御方法、並びに、人間が行う移動体の操縦を補助する移動体の操縦補助装置及び移動体の操縦補助方法に適用される。
【符号の説明】
【0096】
1 走行部
2 レーザレンジファインダ
3aL,3aR ステレオカメラ
3a 第1のカメラ
3b 第2のカメラ
21 制御手段
103 障害物
【特許請求の範囲】
【請求項1】
複数のカメラにより、基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、
前記撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出する制御手段と
を備え、
前記基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする周囲形状検出装置。
【請求項2】
周囲を撮像するカメラと、
周囲の形状を3次元データ群として取得する形状計測手段と、
前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する制御手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出する
ことを特徴とする周囲形状検出装置。
【請求項3】
移動可能となされた走行部と、
前記走行部に搭載された複数のカメラにより、基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、
前記走行部に搭載され、前記撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出し、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる制御手段と
を備え、
前記基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする自律移動装置。
【請求項4】
移動可能となされた走行部と、
前記走行部に搭載され、この走行部の周囲を撮像するカメラと、
前記走行部に搭載され、この走行部の周囲の形状を3次元データ群として取得する形状計測手段と、
前記走行部に搭載され、前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する制御手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出する
ことを特徴とする自律移動装置。
【請求項5】
操縦可能な移動体に搭載された複数のカメラにより、基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、
前記移動体に搭載され、前記撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出する制御手段と
前記制御手段により制御される表示手段と
を備え、
前記基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする移動体の操縦補助装置。
【請求項6】
操縦可能な移動体に搭載され、この移動体の周囲を撮像するカメラと、
前記移動体に搭載され、この移動体の周囲の形状を3次元データ群として取得する形状計測手段と、
前記移動体に搭載され、前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する制御手段と
前記制御手段により制御される表示手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出する
ことを特徴とする移動体の操縦補助装置。
【請求項7】
基準画像と参照画像とを含むステレオ画像を複数のカメラにより撮像し、
前記ステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行う周囲形状検出方法であって、
前記基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、前記基準画像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記基準画像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする周囲形状検出方法。
【請求項8】
周囲の形状を3次元データ群として取得し、
前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する周囲形状検出方法であって、
植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するカメラを用いて、このカメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出する
ことを特徴とする周囲形状検出方法。
【請求項9】
移動可能となされた走行部と、この走行部に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段とを有する自律移動装置を制御する方法であって、
前記基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、
前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、ステレオ画像中の平面領域を抽出するとともに抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出し、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる
ことを特徴とする自律移動装置の制御方法。
【請求項10】
移動可能となされた走行部と、この走行部に搭載され前記走行部の周囲を撮像するカメラと、前記走行部に搭載され前記走行部の周囲の形状を3次元データ群として取得する形状計測手段とを有する自律移動装置を制御する方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、
前記カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出するとともに、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる
ことを特徴とする自律移動装置の制御方法。
【請求項11】
操縦可能な移動体に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段を用いて、前記ステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出して、前記移動体の操縦者を補助する操縦補助方法であって、
前記基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、
前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする移動体の操縦補助方法。
【請求項12】
操縦可能な移動体に搭載されこの移動体の周囲を撮像するカメラと、前記移動体に搭載され前記移動体の周囲の形状を3次元データ群として取得する形状計測手段とを用いて、前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出して、前記移動体の操縦者を補助する操縦補助方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、
前記カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出する
ことを特徴とする移動体の操縦補助方法。
【請求項1】
複数のカメラにより、基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、
前記撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出する制御手段と
を備え、
前記基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする周囲形状検出装置。
【請求項2】
周囲を撮像するカメラと、
周囲の形状を3次元データ群として取得する形状計測手段と、
前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する制御手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出する
ことを特徴とする周囲形状検出装置。
【請求項3】
移動可能となされた走行部と、
前記走行部に搭載された複数のカメラにより、基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、
前記走行部に搭載され、前記撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出し、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる制御手段と
を備え、
前記基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする自律移動装置。
【請求項4】
移動可能となされた走行部と、
前記走行部に搭載され、この走行部の周囲を撮像するカメラと、
前記走行部に搭載され、この走行部の周囲の形状を3次元データ群として取得する形状計測手段と、
前記走行部に搭載され、前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する制御手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出する
ことを特徴とする自律移動装置。
【請求項5】
操縦可能な移動体に搭載された複数のカメラにより、基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、
前記移動体に搭載され、前記撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出する制御手段と
前記制御手段により制御される表示手段と
を備え、
前記基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする移動体の操縦補助装置。
【請求項6】
操縦可能な移動体に搭載され、この移動体の周囲を撮像するカメラと、
前記移動体に搭載され、この移動体の周囲の形状を3次元データ群として取得する形状計測手段と、
前記移動体に搭載され、前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する制御手段と
前記制御手段により制御される表示手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出する
ことを特徴とする移動体の操縦補助装置。
【請求項7】
基準画像と参照画像とを含むステレオ画像を複数のカメラにより撮像し、
前記ステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行う周囲形状検出方法であって、
前記基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、前記基準画像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記基準画像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする周囲形状検出方法。
【請求項8】
周囲の形状を3次元データ群として取得し、
前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する周囲形状検出方法であって、
植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するカメラを用いて、このカメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出する
ことを特徴とする周囲形状検出方法。
【請求項9】
移動可能となされた走行部と、この走行部に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段とを有する自律移動装置を制御する方法であって、
前記基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、
前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、ステレオ画像中の平面領域を抽出するとともに抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出し、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる
ことを特徴とする自律移動装置の制御方法。
【請求項10】
移動可能となされた走行部と、この走行部に搭載され前記走行部の周囲を撮像するカメラと、前記走行部に搭載され前記走行部の周囲の形状を3次元データ群として取得する形状計測手段とを有する自律移動装置を制御する方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、
前記カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出するとともに、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる
ことを特徴とする自律移動装置の制御方法。
【請求項11】
操縦可能な移動体に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段を用いて、前記ステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出して、前記移動体の操縦者を補助する操縦補助方法であって、
前記基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、
前記撮像手段により撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする移動体の操縦補助方法。
【請求項12】
操縦可能な移動体に搭載されこの移動体の周囲を撮像するカメラと、前記移動体に搭載され前記移動体の周囲の形状を3次元データ群として取得する形状計測手段とを用いて、前記3次元データ群から3点以上の3次元データをサンプリングし、サンプリングされた3次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出して、前記移動体の操縦者を補助する操縦補助方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第1の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第2の波長帯域の像を撮像する機能とを有するものを用いて、
前記カメラにより撮像された像の各点について、第1の波長帯域の反射率と第2の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出する
ことを特徴とする移動体の操縦補助方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−13803(P2011−13803A)
【公開日】平成23年1月20日(2011.1.20)
【国際特許分類】
【出願番号】特願2009−155619(P2009−155619)
【出願日】平成21年6月30日(2009.6.30)
【出願人】(000000099)株式会社IHI (5,014)
【出願人】(500302552)株式会社IHIエアロスペース (298)
【Fターム(参考)】
【公開日】平成23年1月20日(2011.1.20)
【国際特許分類】
【出願日】平成21年6月30日(2009.6.30)
【出願人】(000000099)株式会社IHI (5,014)
【出願人】(500302552)株式会社IHIエアロスペース (298)
【Fターム(参考)】
[ Back to top ]