物体検出装置、物体検出方法、物体検出プログラム、距離センサ
観測対象空間に存在する少なくとも１つの物体を検出する物体検出装置であって、検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録部３と、一度に観測対象空間の全体をカバーするミリ波を照射し、物体候補の距離の算出を行うミリ波距離センサ１と、視点の異なる特徴画像と距離画像を算出するステレオ画像センサ２と、物体候補を選択する制御部７と、物体モデルから照合モデルを算出するモデル変換部４と、特徴画像と距離画像から照合画像を抽出する照合画像抽出部５と、照合モデルと照合画像の類似度を算出し、最大類似度が所定の範囲内となった場合、照合画像の座標と物体候補の距離から前記物体の３次元位置を算出し、前記物体の３次元位置を外部へ出力する類似度照合部６とを備えてなる。
【発明の詳細な説明】
【技術分野】
本発明は、観測対象空間内に存在する物体の３次元位置を検出する物体検出装置、物体検出方法、物体検出プログラム、物体検出装置に用いる距離センサに関するものである。
【背景技術】
数メートル以上離れた物体を検出する物体検出装置として現在実用化されているものは、ステレオ画像センサ、レーザレーダ、ミリ波レーダの３種類に大別できる。
ステレオ画像センサの長所は、観測対象空間が広いこと、物体の方位が正確であること、物体の識別が容易であること等である。一方、短所は、物体までの距離の精度が低いこと、雨や霧など周辺環境の影響を受けやすいこと等である。
レーザレーダの長所は、小型であること、物体までの距離の精度が高いこと等である。一方、短所は、観測対象空間が狭いこと、雨や霧など周辺環境の影響を受けやすいこと等である。
ミリ波レーダの長所は、物体までの距離の精度が高いこと、雨や霧など周辺環境の影響を受けにくいこと等である。一方、短所は、観測対象空間が狭いこと、物体の識別が困難であること等である。
物体検出装置の性能としては、観測対象空間が広いこと、対象とする物体のみを正確に検出すること、物体の３次元位置を正確に検出すること等が要求され、さらに装置の小型化が要求されている。しかしながら、要求されているこれらの性能を、単体の画像センサ、レーザレーダ、ミリ波レーダで実現することは、上述したそれぞれの短所により困難である。
そこで、それぞれの短所を補うために、ステレオ画像センサとレーザレーダを組み合わせた物体検出装置（例えば、特許文献１参照）や、ステレオ画像センサとミリ波レーダを組み合わせた物体検出装置（例えば、特許文献２参照）が提案されている。
【特許文献１】 特開平６−５９０３３号公報（第３−７頁、図１）
【特許文献２】 特開２００１−２９６３５７号公報（第３−５頁、図６）
しかしながら、ステレオ画像センサとレーザレーダとの組み合わせであっても、周辺環境からの影響を受けやすく、安定した性能を得ることは困難である。
また、ステレオ画像センサとミリ波レーダとの組み合わせであっても、従来のミリ波レーダを用いるとアンテナの大きさを小さくすることができず、装置の小型化が困難である。従来のミリ波レーダは、照射するミリ波のビーム幅を角度２〜４度程度と狭くし、ビームを照射する方向を機械的あるいは電子的に変化させることにより、物体の方位、物体までの距離、物体の相対速度を検出する。方位分解能を高めるためには、ビーム幅を狭くすることが必要となることから、アンテナの大きさとビーム幅は反比例するため、方位分解能を高めようとすると、アンテナを小型化することができない。
本発明は、このような問題を解決するためになされたものであり、観測対象空間が広いこと、対象とする物体のみを正確に検出すること、物体の３次元位置を正確に検出することの性能を実現し、さらに小型化することができる物体検出装置、物体検出方法、物体検出プログラム、物体検出装置に用いる距離センサを提供することを目的とする。
【発明の開示】
本発明は、所定の空間に存在する検出対象物体を検出する物体検出装置であって、少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録部と、前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離センサと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るためのステレオ画像センサと、前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断部とを備えてなる。
このような構成によれば、電磁波を用いた距離センサの長所である物体までの距離の精度が高いこと、雨や霧など周辺環境の影響を受けにくいこと等の性能と、ステレオ画像センサの長所である、観測対象空間が広いこと、物体の方位が正確であること、物体の識別が容易であること等の性能とを両立させることができる。また、装置が小型化されることにより、車両等への搭載が容易となる。
なお、本実施の形態における距離センサはミリ波距離センサにより構成され、判断部は、類似度照合部により構成される。また、所定の空間は実施の形態では観測対象空間に対応しているが、複数の所定の空間により観測対象空間を形成するようにしても良い。
また、本発明の物体検出装置において、前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換部を備え、前記判断部は、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
このような構成によれば、物体候補と物体モデルとの比較照合が容易となり、物体候補が検出対象物体であるか否かの判断が容易となる。
また、本発明の物体検出装置において、前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の距離に関する距離画像の情報であることを特徴とする。この構成によれば、距離情報を用いて物体候補が検出対象物体であるか否かの判断を行うことができる。
また、本発明の物体検出装置において、前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の形状に関する特徴画像の情報であることを特徴とする。この構成によれば、検出対象物体の特徴的な形状情報を用いて物体候補が検出対象物体であるか否かの判断を行うことができる。
また、本発明の物体検出装置において、前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の距離に関する距離画像の情報及び前記物体候補の形状に関する特徴画像の情報であることを特徴とする。このような構成によれば、物体候補の距離情報と特徴的な形状情報の双方を用いて物体候補が検出対象物体であるか否かの判断を行うことができ、判断の信頼性をより向上させることができる。
また、本発明の物体検出装置において、前記物体モデル記録部に記録される物体モデルは、所定の距離において前記検出対象物体を撮影して得られる形状であることを特徴とする。
このような構成によれば、検出対象物体から物体モデルを容易に形成することができる。
また、本発明の物体検出装置において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部を備え、前記判断部は、前記照合画像抽出部により抽出された照合画像と前記照合モデルとに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
このような構成によれば、比較照合データ量を統一的に扱うことができると共に、例えばパターンマッチングにおける照合精度を高めることができる。
また、本発明の物体検出装置において、前記判断部は、記録されている複数の物体モデルそれぞれについての前記照合モデルと前記画像情報との類似度に基づいて、前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
このような構成によれば、検出するべき複数の形状等を有する検出対象物体を検出することができる。
また、本発明の物体検出装置において、前記距離センサにより前記物体候補が複数検出された場合、前記モデル変換部は、各物体候補に対応する前記複数の物体モデル全てについての照合モデルを算出し、前記判断部は、各物体候補についての照合モデルと画像情報とに基づいて類似度を算出し、各物体候補について最大類似度を有する照合モデルを判断することを特徴とする。
このような構成によれば、複数の物体候補が検出されても、それらから検出対象物体を判断することができる。
また、本発明の物体検出装置において、前記判断部は、更に最大類似度を所定の閾値と比較することにより、前記物体候補が照合モデルに対応する検出対象物体であるか否かを判断することを特徴とする。この構成によれば、物体検出の信頼性をより高めることができる。
また、本発明の物体検出装置において、前記判断部により、前記物体候補が前記検出対象物体であると判断された場合、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出部を備えていることを特徴とする。
このような構成によれば、検出物体の位置を知ることができる。
また、本発明の物体検出装置において、前記所定の画像情報は、前記撮影画像から所定の閾値を用いてエッジ検出を行ってなる特徴画像であることを特徴とする。
このような構成によれば、少ないデータ量で物体の形状的な特徴を容易に表すことができる。
また、本発明の物体検出装置において、前記照合画像抽出部は、前記距離画像の画素のうち前記物体候補の距離との差が所定の範囲内である画素の周辺のみを前記照合画像とすることを特徴とする。
このような構成によれば、物体モデルと照合するべき撮影画像を効率的に抽出することができる。
また、本発明の物体検出装置において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部を備え、前記照合画像が、前記距離画像と少なくとも１つの前記特徴画像から抽出される場合、前記判断部は、前記距離画像から抽出された前記照合画像の各画素の値と前記物体候補の距離との差を、全画素にわたって合計した値である距離画像類似度を算出し、前記特徴画像から抽出された照合画像の各画素の値と前記照合モデルの対応する画素の値の一致の程度を、全画素にわたって合計した値である特徴画像類似度を算出し、所定の重み付けを行った前記距離画像類似度と所定の重み付けを行った少なくとも１つの前記特徴画像類似度を合計して類似度を算出することを特徴とする。
また、本発明の物体検出装置において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部を備え、前記判断部は、前記照合画像の各画素の値と前記照合モデルの対応する画素の値の一致の程度を、全画素にわたって合計した値に基づいて前記類似度を算出することを特徴とする。
また、本発明の物体検出装置において、前記照合画像が、前記所定の画像情報としての距離画像から抽出される場合、前記判断部は、前記照合画像の各画素の値と前記物体候補の距離との差を、全画素にわたって合計した値に基づいて前記類似度を算出することを特徴とする。
このような構成によれば、照合モデルと照合画像の照合を容易に且つ正確に行うことができる。
また、本発明の物体検出装置において、前記距離センサは、強度が所定の閾値を超える前記反射波から、物体候補の距離を算出することを特徴とする。
また、本発明の物体検出装置において、前記電磁波は、ミリ波であることを特徴とする。
このような構成によれば、ミリ波を用いることにより、物体までの距離を精度良く測定でき、また雨や霧などの周辺環境の影響を受け難い。
また、本発明の物体検出装置において、前記距離センサは、強度が所定の閾値を超える前記反射波から、更に物体候補の相対速度を算出し、前記判断部は、更に前記物体と認識された前記物体候補の相対速度を、前記物体の３次元位置とともに外部へ出力することを特徴とする。
このような構成によれば、物体の３次元位置と共に相対速度を知ることができる。
また、本発明の物体検出装置において、前記反射波を検出する対象となる前記所定の空間は、前記撮影画像の対象となる空間に含まれることを特徴とする。
また、本発明の物体検出装置は、更に、前記物体の３次元位置と相対速度を少なくとも１組記憶する記憶部と、前記物体の過去の３次元位置と相対速度を用いて、次の検出における前記物体の３次元位置の予測を行う位置予測部とを備えたことを特徴とする。
また、本発明の物体検出装置において、前記距離センサは、前記予測により得られる３次元位置に基づいて、前記反射波の検出範囲の予測を行い、前記反射波の検出範囲における閾値を下げることを特徴とする。
このような構成によれば、予測した検出範囲の反射波が検出され易くなり、距離と速度を安定して検出することができる。
また、本発明の物体検出装置において、前記ステレオ画像センサは、前記予測により得られる３次元位置に基づいて、前記画像情報の検出範囲の予測を行い、該検出範囲における閾値を下げることを特徴とする。
このような構成によれば、予測した検出範囲のエッジが検出され易くなり、エッジ検出を安定させることができる。
また、本発明は、所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出装置であって、少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録部と、前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離センサと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るためのステレオ画像センサと、前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換部と、前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部と、前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合部とを備えてなる。
また、本発明は、所定の空間に存在する検出対象物体を検出する物体検出方法であって、少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録ステップと、前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離算出ステップと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断ステップとを備えてなる。
また、本発明の物体検出方法において、前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップを備え、前記判断ステップは、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出方法において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップを備え、前記判断ステップは、前記照合画像抽出ステップにより抽出された照合画像と前記照合モデルとに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出方法において、前記距離算出ステップにおいて前記物体候補が複数検出された場合、前記モデル変換ステップは、各物体候補に対応する前記複数の物体モデル全てについての照合モデルを算出し、前記判断ステップは、各物体候補についての照合モデルと画像情報とに基づいて類似度を算出し、各物体候補について最大類似度を有する照合モデルを判断することを特徴とする。
また、本発明の物体検出方法において、前記判断ステップは、更に最大類似度を所定の閾値と比較することにより、前記物体候補が照合モデルに対応する検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出方法において、前記判断ステップにより、前記物体候補が前記検出対象物体であると判断された場合に、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出ステップを備えていることを特徴とする。
また、本発明の物体検出方法において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップを備え、前記照合画像が、前記所定の画像情報としての距離画像と少なくとも１つの特徴形状を示す特徴画像から抽出される場合、前記判断ステップは、前記距離画像から抽出された前記照合画像の各画素の値と前記物体候補の距離との差を、全画素にわたって合計した値である距離画像類似度を算出し、前記特徴画像から抽出された照合画像の各画素の値と前記照合モデルの対応する画素の値の一致の程度を、全画素にわたって合計した値である特徴画像類似度を算出する特徴画像類似度算出ステップと、所定の重み付けを行った前記距離画像類似度と所定の重み付けを行った少なくとも１つの前記特徴画像類似度を合計して類似度を算出する類似度算出ステップとを含むことを特徴とする。
また、本発明の物体検出方法において、前記距離算出ステップでは、強度が所定の閾値を超える前記反射波から、更に物体候補の相対速度を算出するステップを備え、前記判断ステップは、前記物体候補の相対速度を、前記物体の３次元位置とともに外部へ出力するステップを有することを特徴とする。
また、本発明の物体検出方法において、更に、前記物体の３次元位置と相対速度を少なくとも１組記憶する記憶ステップと、前記物体の過去の３次元位置と相対速度を用いて、次の検出における前記物体の３次元位置の予測を行う位置予測ステップとを備えたことを特徴とする。
また、本発明は、所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出方法であって、少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録ステップと、前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離算出ステップと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップと、前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップと、前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合ステップとを備えてなる。
また、本発明は、所定の空間に存在する検出対象物体を検出する物体検出方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された物体検出プログラムであって、少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録ステップと、前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離算出ステップと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断ステップとをコンピュータに実行させるものである。
また、本発明の物体検出プログラムにおいて、前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップを備え、前記判断ステップは、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出プログラムにおいて、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップを備え、前記判断ステップは、前記照合画像抽出ステップにより抽出された照合画像と前記照合モデルとに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出プログラムにおいて、前記距離算出ステップにおいて前記物体候補が複数検出された場合、前記モデル変換ステップは、各物体候補に対応する前記複数の物体モデル全てについての照合モデルを算出し、前記判断ステップは、各物体候補についての照合モデルと画像情報とに基づいて類似度を算出し、各物体候補について最大類似度を有する照合モデルを判断することを特徴とする。
また、本発明の物体検出プログラムにおいて、前記判断ステップは、更に最大類似度を所定の閾値と比較することにより、前記物体候補が照合モデルに対応する検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出プログラムにおいて、前記判断ステップにより、前記物体候補が前記検出対象物体であると判断された場合に、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出ステップを備えていることを特徴とする。
また、本発明の物体検出プログラムにおいて、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップを備え、前記照合画像が、前記所定の画像情報としての距離画像と少なくとも１つの特徴形状を示す特徴画像から抽出される場合、前記判断ステップは、前記距離画像から抽出された前記照合画像の各画素の値と前記物体候補の距離との差を、全画素にわたって合計した値である距離画像類似度を算出し、前記特徴画像から抽出された照合画像の各画素の値と前記照合モデルの対応する画素の値の一致の程度を、全画素にわたって合計した値である特徴画像類似度を算出する特徴画像類似度算出ステップと、所定の重み付けを行った前記距離画像類似度と所定の重み付けを行った少なくとも１つの前記特徴画像類似度を合計して類似度を算出する類似度算出ステップとを含むことを特徴とする。
また、本発明の物体検出プログラムにおいて、前記距離算出ステップでは、強度が所定の閾値を超える前記反射波から、更に物体候補の相対速度を算出するステップを備え、前記判断ステップは、前記物体候補の相対速度を、前記物体の３次元位置とともに外部へ出力するステップを有することを特徴とする。
また、本発明の物体検出プログラムにおいて、更に、前記物体の３次元位置と相対速度を少なくとも１組記憶する記憶ステップと、前記物体の過去の３次元位置と相対速度を用いて、次の検出における前記物体の３次元位置の予測を行う位置予測ステップとを備えたことを特徴とする。
また、本発明は、所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された物体検出プログラムであって、少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録ステップと、前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離算出ステップと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップと、前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップと、前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合ステップとをコンピュータに実行させるものである。
なお、以上の物体検出プログラムにおいて、コンピュータにより読取り可能な媒体は、ＲＯＭやＲＡＭなどの半導体メモリの他、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
また、本発明は、観測対象空間に存在する少なくとも１つの物体の距離を検出する距離センサであって、送信信号を生成する送信部と、一度に前記観測対象空間の全体をカバーする電磁波として前記送信信号を照射するとともに、前記観測対象空間の全体から到来する電磁波を受信できるアンテナと、前記アンテナの出力の復調を行う受信部と、前記受信部の出力から反射波を検出する反射波検出部と、前記反射波のタイミングを用いて距離を算出し、物体候補の距離として外部へ出力する物体候補算出部とを備えてなるものである。
このような構成によれば、従来のレーダと比較して、方位分解能を必要としないことからアンテナを小型化することができる。
また、本発明の距離センサにおいて、前記電磁波はミリ波であることを特徴とする。
このような構成によれば、物体までの距離を精度良く測定することができ、また雨や霧などの周辺環境の影響を受け難くなる。
また、本発明の距離センサにおいて、前記物体候補算出部は、更に前記反射波の周波数を用いて相対速度を算出し、前記物体候補の距離とともに外部へ出力することを特徴とする。
このような構成によれば、相対速度を利用することにより、物体候補の未来の位置を予測することができる。
【図面の簡単な説明】
第１図は、本発明の物体検出装置と検出対象となる車両の配置の一例を示す図である。
第２図は、実施の形態１に係る物体検出装置の構成の一例を示すブロック図である。
第３図は、本発明のミリ波距離センサの構成の一例を示すブロック図である。
第４図は、従来のミリ波レーダが照射するビームと本発明のミリ波距離センサが照射するビームの一例を示す図である。
第５図は、本発明のミリ波距離センサから出力される物体候補データの一例を示す図である。
第６図は、ステレオ画像センサの構成の一例を示すブロック図である。
第７図は、撮影画像Ｉ１と撮影画像Ｉ１に対応する距離画像の一例を示す図である。
第８図は、物体モデルＭｊと照合モデルＭｊ’の関係の一例を示す図である。
第９図は、実施の形態１に係る物体検出装置の動作の一例を示すフローチャートである。
第１０図は、物体検出処理の動作の一例を示すフローチャートである。
第１１図は、類似度Ｃを算出する式の一例を示す図である。
第１２図は、３次元位置を算出する式の一例を示す図である。
第１３図は、実施の形態２に係る物体検出装置の構成の一例を示すブロック図である。
第１４図は、物体候補ｉの時刻ｔ＋１における３次元位置を算出する式の一例を示す図である。
第１５図は、実施の形態２に係る特徴画像算出部の動作の一例を示すフローチャートである。
第１６図は、実施の形態２に係る反射波検出部の動作の一例を示すフローチャートである。
【発明を実施するための最良の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
実施の形態１．
本実施の形態では、本発明の物体検出装置が車両の検出を行う場合を例にとって説明する。
第１図は、本発明の物体検出装置と検出対象となる車両の配置の一例を示す図である。このうち第１図（ａ）は側面図、第１図（ｂ）は上面図として表している。本実施の形態において、物体検出装置１００は、観測対象空間１０１に存在する車両１０２を検出する。ここでは、簡単のため、１台の車両１０２を図示しているが、実際には観測対象空間１０１に複数の車両が存在する場合もある。また、説明のため、第１図のようにｘ軸、ｙ軸、ｚ軸を定義する。
次に、本発明の物体検出装置の構成について説明する。第２図は、実施の形態１に係る物体検出装置の構成の一例を示すブロック図である。本発明の物体検出装置は、ミリ波距離センサ１、ステレオ画像センサ２、物体モデル記録部３、モデル変換部４、照合画像抽出部５、類似度照合部６、制御部７、記憶部８から構成される。ここで、照合画像抽出部５、類似度照合部６、制御部７及び記憶部８は、本発明の判断部を構成している。
次に、ミリ波距離センサ１の構成について説明する。第３図は、本発明のミリ波距離センサの構成の一例を示すブロック図である。ミリ波距離センサ１は、アンテナ１１、ミリ波送信部１２、ミリ波受信部１３、反射波検出部１４、物体候補算出部１５から構成される。本発明のミリ波距離センサ１は、従来のミリ波レーダと異なり、物体までの距離と物体の相対速度のみを検出するため、照射するミリ波のビーム幅を角度２０〜３０度程度と広くすることにより、アンテナを大幅に小型化できる。具体的には、従来のアンテナが１５０ｍｍ×１５０ｍｍ程度の大きさであったのに対し、本発明のアンテナは３０ｍｍ×３０ｍｍ程度の大きさにすることができる。第４図は、従来のミリ波レーダと本発明のミリ波距離センサから照射されるビーム幅の一例を示す図である。このうち第４図（ａ）は従来のミリ波レーダの観測対象空間に対するビーム幅、第４図（ｂ）は本発明に用いるミリ波距離センサの観測対象空間に対するビーム幅を表している。
また、本発明に用いるミリ波距離センサは、ビーム幅を広くしたことにより、一度に観測対象空間の全体をカバーするミリ波のビームを照射する。従って、従来のミリ波レーダにおいて観測対象空間を広げるために必要であったビームを照射する方向を変化させる機構は不要となり、さらに小型化できる。
次に、ミリ波距離センサ１の動作について説明する。反射波検出部１４は、ミリ波の送信の指示をミリ波送信部１２へ出力する。ミリ波送信部１２は、反射波検出部１４の指示に従ってミリ波を変調した送信信号を生成し、送信信号をアンテナ１１を介して送信する。ミリ波受信部１３は、アンテナ１１を介して反射波であるミリ波を受信して復調し、反射波検出部１４へ出力する。反射波検出部１４は、復調された信号から反射波の検出を行い、強度が所定の閾値ＴＭ０を超える各反射波の遅延時間を物体候補算出部１５へ出力する。物体候補算出部１５は検出した反射波から、物体候補までの距離と物体候補の相対速度を検出し、物体候補データとして記憶部８へ出力する。第５図は、ミリ波距離センサから出力される物体候補データの一例を示す図である。第５図に示すように、物体候補データは、物体候補番号ｉ、物体候補までの距離ｄｉ、物体候補の相対速度ｖｉから構成される。ここでは検出された物体候補の数をｎ個とする。物体候補データは、記憶部８に記憶される。
次に、ステレオ画像センサ２の構成について説明する。第６図は、ステレオ画像センサの構成の一例を示すブロック図である。ステレオ画像センサは、カメラＡ２１、カメラＢ２２，特徴画像算出部２３、距離画像算出部２４から構成される。
次に、ステレオ画像センサ２の動作について説明する。カメラＡ２１とカメラＢ２２の２台のカメラは、観測対象空間をそれぞれ異なる視点で撮影する。ここで、カメラＡ２１で撮影した撮影画像をＩ１（ｓ，ｔ）、カメラＢ２２で撮影した撮影画像をＩ２（ｕ，ｖ）とする。ここで、ｓ，ｕは画素のｘ座標、ｔ，ｖは画素のｙ座標を表す。
次に、特徴画像算出部２３は、撮影画像Ｉ１と撮影画像Ｉ２より輪郭、形状、濃淡パターン等からなる特徴画像（形状に関する特徴画像）を算出し、記憶部８へ出力する。本実施の形態では特徴画像として、撮影画像Ｉ１から所定の閾値ＴＩ０を用いてエッジ検出を行ったエッジ画像Ｅ１（ｓ，ｔ）と、撮影画像Ｉ２から所定の閾値ＴＩ０を用いてエッジ検出を行ったエッジ画像Ｅ２（ｕ，ｖ）を算出する。撮影画像Ｉ１，Ｉ２，特徴画像Ｅ１，Ｅ２は、記憶部８に記憶される。
次に、距離画像算出部２４は、２つの撮影画像Ｉ１，Ｉ２から距離画像Ｄ（ｐ，ｑ）を算出し、記憶部８へ出力する。本実施の形態において距離画像とは、Ｉ１の各画素にＩ２の各画素を対応づけ、三角測量の原理に基づいてＩ１の各画素の距離を算出し、算出した距離をＩ１の座標に対応させた２次元配列として表現したものである。例えば、第７図（ａ）に示す撮影画像Ｉ１の座標に対応させた距離画像は第７図（ｂ）のようになる。第７図（ｂ）における数字は、各座標における距離を表している。距離画像Ｄは、記憶部８に記憶される。
次に、物体モデル記録部３について説明する。物体モデル記録部３は、検出する車両の大きさ、特徴画像を物体モデルとして予め登録している。本実施の形態では、観測対象空間内の距離Ｌに存在する検出対象と同型の車両を、予めカメラＡ２１で撮影し、この撮影画像から算出されるエッジ画像を物体モデルとして登録しておく。ここでは、モデル番号ｊの物体モデルをＭｊと表す。第８図（ａ）は、物体モデルＭｊの一例を示す図である。全ての検出対象がｍ種類に分類できる場合は、ｍ個の物体モデルを登録することにより全ての検出対象を表現する。
次に、物体検出装置の動作の概略について説明する。第９図は、実施の形態１に係る物体検出装置の動作の一例を示すフローチャートである。ミリ波距離センサ１とステレオ画像センサ２の観測対象空間は、ステレオ画像センサ２の観測対象空間がミリ波距離センサの観測対象空間を包含するように予め設定しておく。
まず、制御部７がミリ波距離センサ１に対して指示を行うことにより、ミリ波距離センサ１は物体候補データを取得する（Ｓ１）。これに同期して、制御部７がステレオ画像センサ２に対して指示を行うことにより、ステレオ画像センサ２は撮影画像Ｉ１，Ｉ２、エッジ画像Ｅ１，Ｅ２、距離画像Ｄを取得する（Ｓ２）。
次に制御部７は、物体候補番号ｉを初期化し、ｉ＝１とする（Ｓ３）。次に制御部７は、後述する物体検出処理をまだ行っていない物体候補があるか否か、すなわちｉ≦ｎか否かの判断を行う（Ｓ４）。ｉ≦ｎであれば（Ｓ４，Ｙｅｓ）、制御部７は、ｎ個の物体候補のうち物体候補番号ｉの物体候補である物体候補ｉを選択し、物体候補ｉについて後述する物体検出処理を行い（Ｓ５）、ｉを増加させ（Ｓ６）、処理Ｓ４へ戻る。一方、ｉ≦ｎでなければ（Ｓ４，Ｎｏ）、制御部７は全ての物体候補について物体検出処理を終えたと判断し、このフローを終了する。
次に、処理Ｓ５の物体検出処理の動作について詳細に説明する。第１０図は、物体検出処理の動作の一例を示すフローチャートである。
まず、制御部７は最大類似度Ｃｍａｘと、最大類似度Ｃｍａｘの値を持つ座標である最大類似度座標（ｐｍａｘ，ｑｍａｘ）を初期化する（Ｓ１１）。最大類似度Ｃｍａｘについては後述する。次に、制御部７はモデル番号ｊを初期化し、ｊ＝１とする（Ｓ１２）。
次に制御部７は、後述するＳ１４〜Ｓ２０の処理をまだ行っていない物体モデルがあるか否か、すなわちｊ≦ｍか否かの判断を行う（Ｓ１３）。ｊ≦ｍであれば（Ｓ１３，Ｙｅｓ）、制御部７は、物体モデル記録部３に登録されたｍ個の物体モデルのうち、モデル番号ｊの物体モデルＭｊを選択し、モデル変換部４に対して指示を行う。モデル変換部４は、指示に従って物体モデル記録部３から物体モデルＭｊを取得するとともに、記憶部８から距離ｄｉを取得する。次にモデル変換部４は、物体モデルＭｊから照合モデルＭｊ’を作成するとともに、Ｍｊ’のｘ軸方向の長さｌｘとｙ軸方向の長さｌｙを算出し、記憶部８へ出力する（Ｓ１４）。
ここで、照合モデルＭｊ’について説明する。モデル変換部４は、物体候補ｉが距離ｄｉに存在すると仮定し、距離Ｌに存在する物体の特徴画像における大きさを表す物体モデルＭｊが、距離ｄｉに存在する場合の特徴画像における大きさを推定するために、第８図（ａ）に示した物体モデルＭｊの大きさをｄｉ／Ｌ倍することにより、第８図（ｂ）に示すような照合モデルＭｊ’を作成する。
次に、制御部７は距離画像Ｄの値を参照する座標である参照座標（ｐ，ｑ）を初期化する（Ｓ１５）。
次に、制御部７が照合画像抽出部５に対して指示を行うことにより、照合画像抽出部５は記憶部８から距離ｄｉと距離画像Ｄを取得する。照合画像抽出部５は、距離画像Ｄの参照座標（ｐ，ｑ）における距離Ｄ（ｐ，ｑ）と距離ｄｉと距離差が所定の閾値Ｔｄ以下になるという条件を満たす参照座標を探索し、条件を満たした参照座標の周辺で、照合モデルと同じ大きさの座標範囲を照合範囲とする。ここで照合画像抽出部５は、距離Ｄ（ｐ，ｑ）と距離ｄｉの距離差が閾値Ｔｄ以下であるか否か、すなわち｜ｄｉ−Ｄ（ｐ，ｑ）｜≦Ｔｄであるか否かの判断を行う（Ｓ１６）。｜ｄｉ−Ｄ（ｐ，ｑ）｜≦Ｔｄでなければ（Ｓ１６，Ｎｏ）、処理Ｓ２０へ移行する。一方、｜ｄｉ−Ｄ（ｐ，ｑ）｜≦Ｔｄであれば（Ｓ１６，Ｙｅｓ）、このときの参照座標を（ｐ０，ｑ０）として、ｐ０−ｌｘ＜ｐ＜ｐ０，ｑ０−ｌｙ＜ｑ＜ｑ０の座標範囲を照合範囲とし、記憶部８へ出力する。
次に、制御部７が類似度照合部６に対して指示を行うことにより、類似度照合部６は、記憶部８から距離画像Ｄ、エッジ画像Ｅ１，Ｅ２のそれぞれの照合範囲の部分の画像である照合画像と、照合モデルＭｊ’、距離ｄｉを取得する。次に類似度照合部６は、各照合画像と照合モデルＭＪ’の対応する画素を走査する。ここで、走査中の画素の座標を走査座標とする。距離画像Ｄ、エッジ画像Ｅ１，Ｅ２の走査座標における値、照合モデルＭｊ’の走査座標における値、距離ｄｉから、類似度Ｃを第１１図の式を用いて算出する（Ｓ１７）。類似度Ｃとは、物体候補ｉと照合モデルＭｊがどの程度類似しているかを示す値である。第１１図の式において、ｗ１，ｗ２，ｗ３は予め定められた重み係数である。また、ｄｘ、ｄｙは視差であり、距離ｄｉとカメラＡ２１，カメラＢ２２の位置から求まる。なお、ここでは、距離画像Ｄ、エッジ画像Ｅ１，Ｅ２を用いて類似度Ｃを算出しているが、距離画像Ｄ、エッジ画像Ｅ１，Ｅ２のうち少なくとも１つを用いて類似度Ｃを算出するようにしても良い。
次に、類似度照合部６は、現在の参照座標における類似度Ｃが最大となるか否か、すなわちＣ＞Ｃｍａｘか否かの判断を行う（Ｓ１８）。Ｃ＞Ｃｍａｘでなければ（Ｓ１８，Ｎｏ）、処理Ｓ２０へ移行する。一方、Ｃ＞Ｃｍａｘであれば（Ｓ１８，Ｙｅｓ）、最大類似度Ｃｍａｘの値を現在の参照座標における類似度Ｃの値へと更新するとともに、最大類似度座標（ｐｍａｘ，ｑｍａｘ）を現在の参照座標（ｐ，ｑ）へと更新する（Ｓ１９）。
次に、類似度照合部６は距離画像の全ての座標を参照座標として参照したか否かの判断を行う（Ｓ２０）。まだ全ての座標を参照していなければ（Ｓ２０，Ｎｏ）、処理Ｓ１６に戻る。全ての座標を参照したら（Ｓ２０，Ｙｅｓ）、ｊを１増加させ（Ｓ２１）、処理Ｓ１３へ戻る。
以上、説明したように、物体候補ｉについて全ての物体モデルＭｊを照合し、最大類似度Ｃｍａｘと最大類似度座標（ｐｍａｘ，ｑｍａｘ）を算出する物体検出処理を行うことにより、物体候補ｉの最大類似度Ｃｍａｘと最大類似度座標（ｐｍａｘ，ｑｍａｘ）を得ることができる。
処理Ｓ１３においてｊ≦ｍでなければ（Ｓ１３，Ｎｏ）、類似度照合部６は、最大類似度Ｃｍａｘが所定の閾値Ｔｃ以上か否かの判断を行う（Ｓ３１）。最大類似度が閾値以上、すなわちＣｍａｘ≧Ｔｃであれば（Ｓ３１，Ｙｅｓ）、最大類似度座標（ｐｍａｘ，ｑｍａｘ）の点に物体候補ｉが存在すると判断し、３次元位置（Ｘｉ，Ｙｉ，Ｚｉ）を第１２図の式を用いて算出する（Ｓ３２）。第１２図の式において、ｆはカメラＡの焦点距離、ｋｘはｘ軸方向の単位を画素から実際の長さに変換するための変換係数、ｋｙはｙ軸方向の単位を画素から実際の長さに変換するための変換係数である。次に、類似度照合部６は、処理Ｓ２２において算出した値を物体候補ｉの３次元位置とし、物体候補ｉの３次元位置（Ｘｉ，Ｙｉ，Ｚｉ）と相対速度ｖｉを記憶部８と外部へ出力し（Ｓ３３）、このフローを終了する。
一方、Ｃｍａｘ≧Ｔｃでなければ（Ｓ３１，Ｎｏ）、類似度照合部６は３次元位置と相対速度を出力せず、このフローを終了する。
以上の物体検出処理を全ての物体候補について行うことにより、観測対象空間が広いこと、対象とする物体のみを正確に検出すること、物体の３次元位置を正確に検出することを全て満足する物体検出装置を実現することができる。
上述した第９図の処理、第１０図の処理を物体検出プログラムとして、コンピュータにより読取り可能な記録媒体に記憶させることによって、物体検出方法をコンピュータに実行させることが可能となる。なお、本発明において、上記コンピュータにより読取り可能な記録媒体は、ＲＯＭやＲＡＭの半導体メモリの他、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
実施の形態２．
本実施の形態は、実施の形態１と同様の物体検出の動作を、短い時間間隔で連続して行う場合に、前回の３次元位置と相対速度に基づいて３次元位置を予測することにより、安定した物体検出を行うものである。
第１３図は、実施の形態２に係る物体検出装置の構成の一例を示すブロック図である。本実施の形態では、実施の形態１の構成に、さらに位置予測部９を加える。
物体検出装置は継続して物体の検出を行っており、１回の検出により検出された物体毎の３次元位置と相対速度は記憶部８に記憶されている。次の検出を行う前に、位置予測部９は、記憶部８に記憶されている前回検出された物体毎の３次元位置と相対速度を取得する。次に位置予測部９は、前回検出された物体毎の３次元位置と相対速度を用いて、次の検出における３次元位置を予測し、その結果をミリ波距離センサ１とステレオ画像センサ２へ渡す。
ここで、時刻ｔにおける類似度照合部６の出力は、物体候補ｉの３次元位置（Ｘｉ（ｔ），Ｙｉ（ｔ），Ｚｉ（ｔ））と相対速度ｖｉ（ｔ）を含み、これらの値と第１４図に示す式を用いることにより、時刻ｔ＋１における物体候補ｉの３次元位置を予測することができる。
ミリ波距離センサ１における反射波検出部１４は、第９図の処理Ｓ１において、予測結果を利用した物体候補データの検出を行う。ステレオ画像センサ２における特徴画像算出部２３は、第９図の処理Ｓ２において、予測結果を利用したエッジ画像の検出を行う。
次に、ステレオ画像センサ２における特徴画像算出部２３の動作について詳細に説明する。第１５図は、実施の形態２における特徴画像算出部の動作を示すフローチャートである。初めに、位置予測部９が予測した物体の３次元位置から、特徴画像中に物体が観測される領域を予測範囲として設定する（Ｓ３１）。次に、座標を１つ選択し（Ｓ３２）、座標が予測範囲内に存在するか否かの判断を行う（Ｓ３３）。座標が予測範囲外に存在する場合（Ｓ３３，Ｎｏ）、通常の閾値ＴＩ０を用いてエッジ画像を検出し（Ｓ３４）、処理Ｓ３５へ移行する。座標が予測範囲内に存在する場合（Ｓ３３，Ｙｅｓ）、通常の閾値ＴＩ０よりも小さい閾値ＴＩ１を用いてエッジ画像を検出し（Ｓ３６）、処理Ｓ３５へ移行する。全座標について処理を終えていない場合は（Ｓ３５，Ｎｏ）、処理Ｓ３２へ戻る。全座標について処理を終えた場合は（Ｓ３５，Ｙｅｓ）、このフローを終了する。
次に、ミリ波距離センサ１における反射波検出部１４の動作について詳細に説明する。ここでは、ＦＭ−ＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｉｏｎ−Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式のように、反射波の強度が周波数に対して分布し、周波数軸上の位置から距離を検出する場合について説明する。第１６図は、実施の形態２における反波検出部の動作を示すフローチャートである。初めに、前回の計測時に位置予測部９が予測した物体の３次元位置から、物体からの反射波が観測される周波数を予測範囲として設定する（Ｓ４１）。次に、周波数を１つ選択し（Ｓ４２）、周波数が予測範囲内に存在するか否かの判断を行う（Ｓ４３）。周波数が予測範囲外に存在する場合（Ｓ４３，Ｎｏ）、通常の閾値ＴＭ０を用いて反射波を検出し（Ｓ４４）、処理Ｓ４５へ移行する。周波数が予測範囲内に存在する場合（Ｓ４３，Ｙｅｓ）、通常の閾値ＴＭ０よりも小さい閾値ＴＭ１を用いて反射波を検出し（Ｓ４６）、処理Ｓ４５へ移行する。全周波数について処理を終えていない場合は（Ｓ４５，Ｎｏ）、処理Ｓ４２へ戻る。全周波数について処理を終えた場合は（Ｓ４５，Ｙｅｓ）、このフローを終了する。以上のように、周波数軸上の位置から距離を検出する場合は、予測範囲内に対して通常の閾値ＴＭ０よりも小さい閾値ＴＭ１を用いることにより、予測される反射波を検出し易くするための窓を周波数軸上に設けることになる。
本実施の形態では、周波数軸上で計測を行う場合について説明したが、反射波の強度が時間差に対して分布し、時間軸上の位置から距離を検出する場合は、時間差の予測範囲を設定し、その予測範囲内に対して通常の閾値ＴＭ０よりも小さい閾値ＴＭ１を用いることにより、予測される反射波を検出し易くするための窓を時間軸上に設けることになる。また、本実施の形態では次の検出における３次元位置を予測するとしたが、記憶部８が過去の３次元位置と相対速度を複数記憶することにより、次の検出における相対速度を予測するようにしても良い。予測した相対速度を用いることにより、予測される反射波を検出し易くするための窓の位置を正確に設けることができる。
以上、本実施の形態では、予測した３次元位置を利用することにより、継続的な物体の検出を安定して行うことができる。
なお、上述した実施の形態において、モデル変換部は、物体モデルの大きさを物体候補までの距離に応じた大きさに変換したが、本発明はかかる実施の形態に限定されることはなく、例えば、撮影された物体候補の画像（距離画像、特徴画像）を該物体候補の距離に応じて、物体モデルと同じ大きさとなるように変換するようにしても良い。また、実施の形態では距離画像と特徴画像とを用いて物体候補が検出対象物体であるか否かの判定をしたが、いずれか一方の画像のみを用いて判定を行っても良い。
【産業上の利用の可能性】
以上説明したように、本発明によれば、ミリ波距離センサの長所である物体までの距離の精度が高いこと、雨や霧など周辺環境の影響を受けにくいこと等の性能と、ステレオ画像センサの長所である、観測対象空間が広いこと、物体の方位が正確であること、物体の識別が容易であること等の性能とを両立させることができる。また、装置が小型化されることにより、車両等への搭載が容易となる。さらに、次の検出の３次元位置を予測することにより、継続的な物体の検出を安定して行うことができる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【技術分野】
本発明は、観測対象空間内に存在する物体の３次元位置を検出する物体検出装置、物体検出方法、物体検出プログラム、物体検出装置に用いる距離センサに関するものである。
【背景技術】
数メートル以上離れた物体を検出する物体検出装置として現在実用化されているものは、ステレオ画像センサ、レーザレーダ、ミリ波レーダの３種類に大別できる。
ステレオ画像センサの長所は、観測対象空間が広いこと、物体の方位が正確であること、物体の識別が容易であること等である。一方、短所は、物体までの距離の精度が低いこと、雨や霧など周辺環境の影響を受けやすいこと等である。
レーザレーダの長所は、小型であること、物体までの距離の精度が高いこと等である。一方、短所は、観測対象空間が狭いこと、雨や霧など周辺環境の影響を受けやすいこと等である。
ミリ波レーダの長所は、物体までの距離の精度が高いこと、雨や霧など周辺環境の影響を受けにくいこと等である。一方、短所は、観測対象空間が狭いこと、物体の識別が困難であること等である。
物体検出装置の性能としては、観測対象空間が広いこと、対象とする物体のみを正確に検出すること、物体の３次元位置を正確に検出すること等が要求され、さらに装置の小型化が要求されている。しかしながら、要求されているこれらの性能を、単体の画像センサ、レーザレーダ、ミリ波レーダで実現することは、上述したそれぞれの短所により困難である。
そこで、それぞれの短所を補うために、ステレオ画像センサとレーザレーダを組み合わせた物体検出装置（例えば、特許文献１参照）や、ステレオ画像センサとミリ波レーダを組み合わせた物体検出装置（例えば、特許文献２参照）が提案されている。
【特許文献１】 特開平６−５９０３３号公報（第３−７頁、図１）
【特許文献２】 特開２００１−２９６３５７号公報（第３−５頁、図６）
しかしながら、ステレオ画像センサとレーザレーダとの組み合わせであっても、周辺環境からの影響を受けやすく、安定した性能を得ることは困難である。
また、ステレオ画像センサとミリ波レーダとの組み合わせであっても、従来のミリ波レーダを用いるとアンテナの大きさを小さくすることができず、装置の小型化が困難である。従来のミリ波レーダは、照射するミリ波のビーム幅を角度２〜４度程度と狭くし、ビームを照射する方向を機械的あるいは電子的に変化させることにより、物体の方位、物体までの距離、物体の相対速度を検出する。方位分解能を高めるためには、ビーム幅を狭くすることが必要となることから、アンテナの大きさとビーム幅は反比例するため、方位分解能を高めようとすると、アンテナを小型化することができない。
本発明は、このような問題を解決するためになされたものであり、観測対象空間が広いこと、対象とする物体のみを正確に検出すること、物体の３次元位置を正確に検出することの性能を実現し、さらに小型化することができる物体検出装置、物体検出方法、物体検出プログラム、物体検出装置に用いる距離センサを提供することを目的とする。
【発明の開示】
本発明は、所定の空間に存在する検出対象物体を検出する物体検出装置であって、少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録部と、前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離センサと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るためのステレオ画像センサと、前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断部とを備えてなる。
このような構成によれば、電磁波を用いた距離センサの長所である物体までの距離の精度が高いこと、雨や霧など周辺環境の影響を受けにくいこと等の性能と、ステレオ画像センサの長所である、観測対象空間が広いこと、物体の方位が正確であること、物体の識別が容易であること等の性能とを両立させることができる。また、装置が小型化されることにより、車両等への搭載が容易となる。
なお、本実施の形態における距離センサはミリ波距離センサにより構成され、判断部は、類似度照合部により構成される。また、所定の空間は実施の形態では観測対象空間に対応しているが、複数の所定の空間により観測対象空間を形成するようにしても良い。
また、本発明の物体検出装置において、前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換部を備え、前記判断部は、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
このような構成によれば、物体候補と物体モデルとの比較照合が容易となり、物体候補が検出対象物体であるか否かの判断が容易となる。
また、本発明の物体検出装置において、前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の距離に関する距離画像の情報であることを特徴とする。この構成によれば、距離情報を用いて物体候補が検出対象物体であるか否かの判断を行うことができる。
また、本発明の物体検出装置において、前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の形状に関する特徴画像の情報であることを特徴とする。この構成によれば、検出対象物体の特徴的な形状情報を用いて物体候補が検出対象物体であるか否かの判断を行うことができる。
また、本発明の物体検出装置において、前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の距離に関する距離画像の情報及び前記物体候補の形状に関する特徴画像の情報であることを特徴とする。このような構成によれば、物体候補の距離情報と特徴的な形状情報の双方を用いて物体候補が検出対象物体であるか否かの判断を行うことができ、判断の信頼性をより向上させることができる。
また、本発明の物体検出装置において、前記物体モデル記録部に記録される物体モデルは、所定の距離において前記検出対象物体を撮影して得られる形状であることを特徴とする。
このような構成によれば、検出対象物体から物体モデルを容易に形成することができる。
また、本発明の物体検出装置において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部を備え、前記判断部は、前記照合画像抽出部により抽出された照合画像と前記照合モデルとに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
このような構成によれば、比較照合データ量を統一的に扱うことができると共に、例えばパターンマッチングにおける照合精度を高めることができる。
また、本発明の物体検出装置において、前記判断部は、記録されている複数の物体モデルそれぞれについての前記照合モデルと前記画像情報との類似度に基づいて、前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
このような構成によれば、検出するべき複数の形状等を有する検出対象物体を検出することができる。
また、本発明の物体検出装置において、前記距離センサにより前記物体候補が複数検出された場合、前記モデル変換部は、各物体候補に対応する前記複数の物体モデル全てについての照合モデルを算出し、前記判断部は、各物体候補についての照合モデルと画像情報とに基づいて類似度を算出し、各物体候補について最大類似度を有する照合モデルを判断することを特徴とする。
このような構成によれば、複数の物体候補が検出されても、それらから検出対象物体を判断することができる。
また、本発明の物体検出装置において、前記判断部は、更に最大類似度を所定の閾値と比較することにより、前記物体候補が照合モデルに対応する検出対象物体であるか否かを判断することを特徴とする。この構成によれば、物体検出の信頼性をより高めることができる。
また、本発明の物体検出装置において、前記判断部により、前記物体候補が前記検出対象物体であると判断された場合、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出部を備えていることを特徴とする。
このような構成によれば、検出物体の位置を知ることができる。
また、本発明の物体検出装置において、前記所定の画像情報は、前記撮影画像から所定の閾値を用いてエッジ検出を行ってなる特徴画像であることを特徴とする。
このような構成によれば、少ないデータ量で物体の形状的な特徴を容易に表すことができる。
また、本発明の物体検出装置において、前記照合画像抽出部は、前記距離画像の画素のうち前記物体候補の距離との差が所定の範囲内である画素の周辺のみを前記照合画像とすることを特徴とする。
このような構成によれば、物体モデルと照合するべき撮影画像を効率的に抽出することができる。
また、本発明の物体検出装置において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部を備え、前記照合画像が、前記距離画像と少なくとも１つの前記特徴画像から抽出される場合、前記判断部は、前記距離画像から抽出された前記照合画像の各画素の値と前記物体候補の距離との差を、全画素にわたって合計した値である距離画像類似度を算出し、前記特徴画像から抽出された照合画像の各画素の値と前記照合モデルの対応する画素の値の一致の程度を、全画素にわたって合計した値である特徴画像類似度を算出し、所定の重み付けを行った前記距離画像類似度と所定の重み付けを行った少なくとも１つの前記特徴画像類似度を合計して類似度を算出することを特徴とする。
また、本発明の物体検出装置において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部を備え、前記判断部は、前記照合画像の各画素の値と前記照合モデルの対応する画素の値の一致の程度を、全画素にわたって合計した値に基づいて前記類似度を算出することを特徴とする。
また、本発明の物体検出装置において、前記照合画像が、前記所定の画像情報としての距離画像から抽出される場合、前記判断部は、前記照合画像の各画素の値と前記物体候補の距離との差を、全画素にわたって合計した値に基づいて前記類似度を算出することを特徴とする。
このような構成によれば、照合モデルと照合画像の照合を容易に且つ正確に行うことができる。
また、本発明の物体検出装置において、前記距離センサは、強度が所定の閾値を超える前記反射波から、物体候補の距離を算出することを特徴とする。
また、本発明の物体検出装置において、前記電磁波は、ミリ波であることを特徴とする。
このような構成によれば、ミリ波を用いることにより、物体までの距離を精度良く測定でき、また雨や霧などの周辺環境の影響を受け難い。
また、本発明の物体検出装置において、前記距離センサは、強度が所定の閾値を超える前記反射波から、更に物体候補の相対速度を算出し、前記判断部は、更に前記物体と認識された前記物体候補の相対速度を、前記物体の３次元位置とともに外部へ出力することを特徴とする。
このような構成によれば、物体の３次元位置と共に相対速度を知ることができる。
また、本発明の物体検出装置において、前記反射波を検出する対象となる前記所定の空間は、前記撮影画像の対象となる空間に含まれることを特徴とする。
また、本発明の物体検出装置は、更に、前記物体の３次元位置と相対速度を少なくとも１組記憶する記憶部と、前記物体の過去の３次元位置と相対速度を用いて、次の検出における前記物体の３次元位置の予測を行う位置予測部とを備えたことを特徴とする。
また、本発明の物体検出装置において、前記距離センサは、前記予測により得られる３次元位置に基づいて、前記反射波の検出範囲の予測を行い、前記反射波の検出範囲における閾値を下げることを特徴とする。
このような構成によれば、予測した検出範囲の反射波が検出され易くなり、距離と速度を安定して検出することができる。
また、本発明の物体検出装置において、前記ステレオ画像センサは、前記予測により得られる３次元位置に基づいて、前記画像情報の検出範囲の予測を行い、該検出範囲における閾値を下げることを特徴とする。
このような構成によれば、予測した検出範囲のエッジが検出され易くなり、エッジ検出を安定させることができる。
また、本発明は、所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出装置であって、少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録部と、前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離センサと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るためのステレオ画像センサと、前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換部と、前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部と、前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合部とを備えてなる。
また、本発明は、所定の空間に存在する検出対象物体を検出する物体検出方法であって、少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録ステップと、前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離算出ステップと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断ステップとを備えてなる。
また、本発明の物体検出方法において、前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップを備え、前記判断ステップは、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出方法において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップを備え、前記判断ステップは、前記照合画像抽出ステップにより抽出された照合画像と前記照合モデルとに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出方法において、前記距離算出ステップにおいて前記物体候補が複数検出された場合、前記モデル変換ステップは、各物体候補に対応する前記複数の物体モデル全てについての照合モデルを算出し、前記判断ステップは、各物体候補についての照合モデルと画像情報とに基づいて類似度を算出し、各物体候補について最大類似度を有する照合モデルを判断することを特徴とする。
また、本発明の物体検出方法において、前記判断ステップは、更に最大類似度を所定の閾値と比較することにより、前記物体候補が照合モデルに対応する検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出方法において、前記判断ステップにより、前記物体候補が前記検出対象物体であると判断された場合に、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出ステップを備えていることを特徴とする。
また、本発明の物体検出方法において、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップを備え、前記照合画像が、前記所定の画像情報としての距離画像と少なくとも１つの特徴形状を示す特徴画像から抽出される場合、前記判断ステップは、前記距離画像から抽出された前記照合画像の各画素の値と前記物体候補の距離との差を、全画素にわたって合計した値である距離画像類似度を算出し、前記特徴画像から抽出された照合画像の各画素の値と前記照合モデルの対応する画素の値の一致の程度を、全画素にわたって合計した値である特徴画像類似度を算出する特徴画像類似度算出ステップと、所定の重み付けを行った前記距離画像類似度と所定の重み付けを行った少なくとも１つの前記特徴画像類似度を合計して類似度を算出する類似度算出ステップとを含むことを特徴とする。
また、本発明の物体検出方法において、前記距離算出ステップでは、強度が所定の閾値を超える前記反射波から、更に物体候補の相対速度を算出するステップを備え、前記判断ステップは、前記物体候補の相対速度を、前記物体の３次元位置とともに外部へ出力するステップを有することを特徴とする。
また、本発明の物体検出方法において、更に、前記物体の３次元位置と相対速度を少なくとも１組記憶する記憶ステップと、前記物体の過去の３次元位置と相対速度を用いて、次の検出における前記物体の３次元位置の予測を行う位置予測ステップとを備えたことを特徴とする。
また、本発明は、所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出方法であって、少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録ステップと、前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離算出ステップと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップと、前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップと、前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合ステップとを備えてなる。
また、本発明は、所定の空間に存在する検出対象物体を検出する物体検出方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された物体検出プログラムであって、少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録ステップと、前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離算出ステップと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断ステップとをコンピュータに実行させるものである。
また、本発明の物体検出プログラムにおいて、前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップを備え、前記判断ステップは、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出プログラムにおいて、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップを備え、前記判断ステップは、前記照合画像抽出ステップにより抽出された照合画像と前記照合モデルとに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出プログラムにおいて、前記距離算出ステップにおいて前記物体候補が複数検出された場合、前記モデル変換ステップは、各物体候補に対応する前記複数の物体モデル全てについての照合モデルを算出し、前記判断ステップは、各物体候補についての照合モデルと画像情報とに基づいて類似度を算出し、各物体候補について最大類似度を有する照合モデルを判断することを特徴とする。
また、本発明の物体検出プログラムにおいて、前記判断ステップは、更に最大類似度を所定の閾値と比較することにより、前記物体候補が照合モデルに対応する検出対象物体であるか否かを判断することを特徴とする。
また、本発明の物体検出プログラムにおいて、前記判断ステップにより、前記物体候補が前記検出対象物体であると判断された場合に、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出ステップを備えていることを特徴とする。
また、本発明の物体検出プログラムにおいて、前記所定の画像情報を表す画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップを備え、前記照合画像が、前記所定の画像情報としての距離画像と少なくとも１つの特徴形状を示す特徴画像から抽出される場合、前記判断ステップは、前記距離画像から抽出された前記照合画像の各画素の値と前記物体候補の距離との差を、全画素にわたって合計した値である距離画像類似度を算出し、前記特徴画像から抽出された照合画像の各画素の値と前記照合モデルの対応する画素の値の一致の程度を、全画素にわたって合計した値である特徴画像類似度を算出する特徴画像類似度算出ステップと、所定の重み付けを行った前記距離画像類似度と所定の重み付けを行った少なくとも１つの前記特徴画像類似度を合計して類似度を算出する類似度算出ステップとを含むことを特徴とする。
また、本発明の物体検出プログラムにおいて、前記距離算出ステップでは、強度が所定の閾値を超える前記反射波から、更に物体候補の相対速度を算出するステップを備え、前記判断ステップは、前記物体候補の相対速度を、前記物体の３次元位置とともに外部へ出力するステップを有することを特徴とする。
また、本発明の物体検出プログラムにおいて、更に、前記物体の３次元位置と相対速度を少なくとも１組記憶する記憶ステップと、前記物体の過去の３次元位置と相対速度を用いて、次の検出における前記物体の３次元位置の予測を行う位置予測ステップとを備えたことを特徴とする。
また、本発明は、所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された物体検出プログラムであって、少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録ステップと、前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離算出ステップと、前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップと、前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップと、前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合ステップとをコンピュータに実行させるものである。
なお、以上の物体検出プログラムにおいて、コンピュータにより読取り可能な媒体は、ＲＯＭやＲＡＭなどの半導体メモリの他、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
また、本発明は、観測対象空間に存在する少なくとも１つの物体の距離を検出する距離センサであって、送信信号を生成する送信部と、一度に前記観測対象空間の全体をカバーする電磁波として前記送信信号を照射するとともに、前記観測対象空間の全体から到来する電磁波を受信できるアンテナと、前記アンテナの出力の復調を行う受信部と、前記受信部の出力から反射波を検出する反射波検出部と、前記反射波のタイミングを用いて距離を算出し、物体候補の距離として外部へ出力する物体候補算出部とを備えてなるものである。
このような構成によれば、従来のレーダと比較して、方位分解能を必要としないことからアンテナを小型化することができる。
また、本発明の距離センサにおいて、前記電磁波はミリ波であることを特徴とする。
このような構成によれば、物体までの距離を精度良く測定することができ、また雨や霧などの周辺環境の影響を受け難くなる。
また、本発明の距離センサにおいて、前記物体候補算出部は、更に前記反射波の周波数を用いて相対速度を算出し、前記物体候補の距離とともに外部へ出力することを特徴とする。
このような構成によれば、相対速度を利用することにより、物体候補の未来の位置を予測することができる。
【図面の簡単な説明】
第１図は、本発明の物体検出装置と検出対象となる車両の配置の一例を示す図である。
第２図は、実施の形態１に係る物体検出装置の構成の一例を示すブロック図である。
第３図は、本発明のミリ波距離センサの構成の一例を示すブロック図である。
第４図は、従来のミリ波レーダが照射するビームと本発明のミリ波距離センサが照射するビームの一例を示す図である。
第５図は、本発明のミリ波距離センサから出力される物体候補データの一例を示す図である。
第６図は、ステレオ画像センサの構成の一例を示すブロック図である。
第７図は、撮影画像Ｉ１と撮影画像Ｉ１に対応する距離画像の一例を示す図である。
第８図は、物体モデルＭｊと照合モデルＭｊ’の関係の一例を示す図である。
第９図は、実施の形態１に係る物体検出装置の動作の一例を示すフローチャートである。
第１０図は、物体検出処理の動作の一例を示すフローチャートである。
第１１図は、類似度Ｃを算出する式の一例を示す図である。
第１２図は、３次元位置を算出する式の一例を示す図である。
第１３図は、実施の形態２に係る物体検出装置の構成の一例を示すブロック図である。
第１４図は、物体候補ｉの時刻ｔ＋１における３次元位置を算出する式の一例を示す図である。
第１５図は、実施の形態２に係る特徴画像算出部の動作の一例を示すフローチャートである。
第１６図は、実施の形態２に係る反射波検出部の動作の一例を示すフローチャートである。
【発明を実施するための最良の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
実施の形態１．
本実施の形態では、本発明の物体検出装置が車両の検出を行う場合を例にとって説明する。
第１図は、本発明の物体検出装置と検出対象となる車両の配置の一例を示す図である。このうち第１図（ａ）は側面図、第１図（ｂ）は上面図として表している。本実施の形態において、物体検出装置１００は、観測対象空間１０１に存在する車両１０２を検出する。ここでは、簡単のため、１台の車両１０２を図示しているが、実際には観測対象空間１０１に複数の車両が存在する場合もある。また、説明のため、第１図のようにｘ軸、ｙ軸、ｚ軸を定義する。
次に、本発明の物体検出装置の構成について説明する。第２図は、実施の形態１に係る物体検出装置の構成の一例を示すブロック図である。本発明の物体検出装置は、ミリ波距離センサ１、ステレオ画像センサ２、物体モデル記録部３、モデル変換部４、照合画像抽出部５、類似度照合部６、制御部７、記憶部８から構成される。ここで、照合画像抽出部５、類似度照合部６、制御部７及び記憶部８は、本発明の判断部を構成している。
次に、ミリ波距離センサ１の構成について説明する。第３図は、本発明のミリ波距離センサの構成の一例を示すブロック図である。ミリ波距離センサ１は、アンテナ１１、ミリ波送信部１２、ミリ波受信部１３、反射波検出部１４、物体候補算出部１５から構成される。本発明のミリ波距離センサ１は、従来のミリ波レーダと異なり、物体までの距離と物体の相対速度のみを検出するため、照射するミリ波のビーム幅を角度２０〜３０度程度と広くすることにより、アンテナを大幅に小型化できる。具体的には、従来のアンテナが１５０ｍｍ×１５０ｍｍ程度の大きさであったのに対し、本発明のアンテナは３０ｍｍ×３０ｍｍ程度の大きさにすることができる。第４図は、従来のミリ波レーダと本発明のミリ波距離センサから照射されるビーム幅の一例を示す図である。このうち第４図（ａ）は従来のミリ波レーダの観測対象空間に対するビーム幅、第４図（ｂ）は本発明に用いるミリ波距離センサの観測対象空間に対するビーム幅を表している。
また、本発明に用いるミリ波距離センサは、ビーム幅を広くしたことにより、一度に観測対象空間の全体をカバーするミリ波のビームを照射する。従って、従来のミリ波レーダにおいて観測対象空間を広げるために必要であったビームを照射する方向を変化させる機構は不要となり、さらに小型化できる。
次に、ミリ波距離センサ１の動作について説明する。反射波検出部１４は、ミリ波の送信の指示をミリ波送信部１２へ出力する。ミリ波送信部１２は、反射波検出部１４の指示に従ってミリ波を変調した送信信号を生成し、送信信号をアンテナ１１を介して送信する。ミリ波受信部１３は、アンテナ１１を介して反射波であるミリ波を受信して復調し、反射波検出部１４へ出力する。反射波検出部１４は、復調された信号から反射波の検出を行い、強度が所定の閾値ＴＭ０を超える各反射波の遅延時間を物体候補算出部１５へ出力する。物体候補算出部１５は検出した反射波から、物体候補までの距離と物体候補の相対速度を検出し、物体候補データとして記憶部８へ出力する。第５図は、ミリ波距離センサから出力される物体候補データの一例を示す図である。第５図に示すように、物体候補データは、物体候補番号ｉ、物体候補までの距離ｄｉ、物体候補の相対速度ｖｉから構成される。ここでは検出された物体候補の数をｎ個とする。物体候補データは、記憶部８に記憶される。
次に、ステレオ画像センサ２の構成について説明する。第６図は、ステレオ画像センサの構成の一例を示すブロック図である。ステレオ画像センサは、カメラＡ２１、カメラＢ２２，特徴画像算出部２３、距離画像算出部２４から構成される。
次に、ステレオ画像センサ２の動作について説明する。カメラＡ２１とカメラＢ２２の２台のカメラは、観測対象空間をそれぞれ異なる視点で撮影する。ここで、カメラＡ２１で撮影した撮影画像をＩ１（ｓ，ｔ）、カメラＢ２２で撮影した撮影画像をＩ２（ｕ，ｖ）とする。ここで、ｓ，ｕは画素のｘ座標、ｔ，ｖは画素のｙ座標を表す。
次に、特徴画像算出部２３は、撮影画像Ｉ１と撮影画像Ｉ２より輪郭、形状、濃淡パターン等からなる特徴画像（形状に関する特徴画像）を算出し、記憶部８へ出力する。本実施の形態では特徴画像として、撮影画像Ｉ１から所定の閾値ＴＩ０を用いてエッジ検出を行ったエッジ画像Ｅ１（ｓ，ｔ）と、撮影画像Ｉ２から所定の閾値ＴＩ０を用いてエッジ検出を行ったエッジ画像Ｅ２（ｕ，ｖ）を算出する。撮影画像Ｉ１，Ｉ２，特徴画像Ｅ１，Ｅ２は、記憶部８に記憶される。
次に、距離画像算出部２４は、２つの撮影画像Ｉ１，Ｉ２から距離画像Ｄ（ｐ，ｑ）を算出し、記憶部８へ出力する。本実施の形態において距離画像とは、Ｉ１の各画素にＩ２の各画素を対応づけ、三角測量の原理に基づいてＩ１の各画素の距離を算出し、算出した距離をＩ１の座標に対応させた２次元配列として表現したものである。例えば、第７図（ａ）に示す撮影画像Ｉ１の座標に対応させた距離画像は第７図（ｂ）のようになる。第７図（ｂ）における数字は、各座標における距離を表している。距離画像Ｄは、記憶部８に記憶される。
次に、物体モデル記録部３について説明する。物体モデル記録部３は、検出する車両の大きさ、特徴画像を物体モデルとして予め登録している。本実施の形態では、観測対象空間内の距離Ｌに存在する検出対象と同型の車両を、予めカメラＡ２１で撮影し、この撮影画像から算出されるエッジ画像を物体モデルとして登録しておく。ここでは、モデル番号ｊの物体モデルをＭｊと表す。第８図（ａ）は、物体モデルＭｊの一例を示す図である。全ての検出対象がｍ種類に分類できる場合は、ｍ個の物体モデルを登録することにより全ての検出対象を表現する。
次に、物体検出装置の動作の概略について説明する。第９図は、実施の形態１に係る物体検出装置の動作の一例を示すフローチャートである。ミリ波距離センサ１とステレオ画像センサ２の観測対象空間は、ステレオ画像センサ２の観測対象空間がミリ波距離センサの観測対象空間を包含するように予め設定しておく。
まず、制御部７がミリ波距離センサ１に対して指示を行うことにより、ミリ波距離センサ１は物体候補データを取得する（Ｓ１）。これに同期して、制御部７がステレオ画像センサ２に対して指示を行うことにより、ステレオ画像センサ２は撮影画像Ｉ１，Ｉ２、エッジ画像Ｅ１，Ｅ２、距離画像Ｄを取得する（Ｓ２）。
次に制御部７は、物体候補番号ｉを初期化し、ｉ＝１とする（Ｓ３）。次に制御部７は、後述する物体検出処理をまだ行っていない物体候補があるか否か、すなわちｉ≦ｎか否かの判断を行う（Ｓ４）。ｉ≦ｎであれば（Ｓ４，Ｙｅｓ）、制御部７は、ｎ個の物体候補のうち物体候補番号ｉの物体候補である物体候補ｉを選択し、物体候補ｉについて後述する物体検出処理を行い（Ｓ５）、ｉを増加させ（Ｓ６）、処理Ｓ４へ戻る。一方、ｉ≦ｎでなければ（Ｓ４，Ｎｏ）、制御部７は全ての物体候補について物体検出処理を終えたと判断し、このフローを終了する。
次に、処理Ｓ５の物体検出処理の動作について詳細に説明する。第１０図は、物体検出処理の動作の一例を示すフローチャートである。
まず、制御部７は最大類似度Ｃｍａｘと、最大類似度Ｃｍａｘの値を持つ座標である最大類似度座標（ｐｍａｘ，ｑｍａｘ）を初期化する（Ｓ１１）。最大類似度Ｃｍａｘについては後述する。次に、制御部７はモデル番号ｊを初期化し、ｊ＝１とする（Ｓ１２）。
次に制御部７は、後述するＳ１４〜Ｓ２０の処理をまだ行っていない物体モデルがあるか否か、すなわちｊ≦ｍか否かの判断を行う（Ｓ１３）。ｊ≦ｍであれば（Ｓ１３，Ｙｅｓ）、制御部７は、物体モデル記録部３に登録されたｍ個の物体モデルのうち、モデル番号ｊの物体モデルＭｊを選択し、モデル変換部４に対して指示を行う。モデル変換部４は、指示に従って物体モデル記録部３から物体モデルＭｊを取得するとともに、記憶部８から距離ｄｉを取得する。次にモデル変換部４は、物体モデルＭｊから照合モデルＭｊ’を作成するとともに、Ｍｊ’のｘ軸方向の長さｌｘとｙ軸方向の長さｌｙを算出し、記憶部８へ出力する（Ｓ１４）。
ここで、照合モデルＭｊ’について説明する。モデル変換部４は、物体候補ｉが距離ｄｉに存在すると仮定し、距離Ｌに存在する物体の特徴画像における大きさを表す物体モデルＭｊが、距離ｄｉに存在する場合の特徴画像における大きさを推定するために、第８図（ａ）に示した物体モデルＭｊの大きさをｄｉ／Ｌ倍することにより、第８図（ｂ）に示すような照合モデルＭｊ’を作成する。
次に、制御部７は距離画像Ｄの値を参照する座標である参照座標（ｐ，ｑ）を初期化する（Ｓ１５）。
次に、制御部７が照合画像抽出部５に対して指示を行うことにより、照合画像抽出部５は記憶部８から距離ｄｉと距離画像Ｄを取得する。照合画像抽出部５は、距離画像Ｄの参照座標（ｐ，ｑ）における距離Ｄ（ｐ，ｑ）と距離ｄｉと距離差が所定の閾値Ｔｄ以下になるという条件を満たす参照座標を探索し、条件を満たした参照座標の周辺で、照合モデルと同じ大きさの座標範囲を照合範囲とする。ここで照合画像抽出部５は、距離Ｄ（ｐ，ｑ）と距離ｄｉの距離差が閾値Ｔｄ以下であるか否か、すなわち｜ｄｉ−Ｄ（ｐ，ｑ）｜≦Ｔｄであるか否かの判断を行う（Ｓ１６）。｜ｄｉ−Ｄ（ｐ，ｑ）｜≦Ｔｄでなければ（Ｓ１６，Ｎｏ）、処理Ｓ２０へ移行する。一方、｜ｄｉ−Ｄ（ｐ，ｑ）｜≦Ｔｄであれば（Ｓ１６，Ｙｅｓ）、このときの参照座標を（ｐ０，ｑ０）として、ｐ０−ｌｘ＜ｐ＜ｐ０，ｑ０−ｌｙ＜ｑ＜ｑ０の座標範囲を照合範囲とし、記憶部８へ出力する。
次に、制御部７が類似度照合部６に対して指示を行うことにより、類似度照合部６は、記憶部８から距離画像Ｄ、エッジ画像Ｅ１，Ｅ２のそれぞれの照合範囲の部分の画像である照合画像と、照合モデルＭｊ’、距離ｄｉを取得する。次に類似度照合部６は、各照合画像と照合モデルＭＪ’の対応する画素を走査する。ここで、走査中の画素の座標を走査座標とする。距離画像Ｄ、エッジ画像Ｅ１，Ｅ２の走査座標における値、照合モデルＭｊ’の走査座標における値、距離ｄｉから、類似度Ｃを第１１図の式を用いて算出する（Ｓ１７）。類似度Ｃとは、物体候補ｉと照合モデルＭｊがどの程度類似しているかを示す値である。第１１図の式において、ｗ１，ｗ２，ｗ３は予め定められた重み係数である。また、ｄｘ、ｄｙは視差であり、距離ｄｉとカメラＡ２１，カメラＢ２２の位置から求まる。なお、ここでは、距離画像Ｄ、エッジ画像Ｅ１，Ｅ２を用いて類似度Ｃを算出しているが、距離画像Ｄ、エッジ画像Ｅ１，Ｅ２のうち少なくとも１つを用いて類似度Ｃを算出するようにしても良い。
次に、類似度照合部６は、現在の参照座標における類似度Ｃが最大となるか否か、すなわちＣ＞Ｃｍａｘか否かの判断を行う（Ｓ１８）。Ｃ＞Ｃｍａｘでなければ（Ｓ１８，Ｎｏ）、処理Ｓ２０へ移行する。一方、Ｃ＞Ｃｍａｘであれば（Ｓ１８，Ｙｅｓ）、最大類似度Ｃｍａｘの値を現在の参照座標における類似度Ｃの値へと更新するとともに、最大類似度座標（ｐｍａｘ，ｑｍａｘ）を現在の参照座標（ｐ，ｑ）へと更新する（Ｓ１９）。
次に、類似度照合部６は距離画像の全ての座標を参照座標として参照したか否かの判断を行う（Ｓ２０）。まだ全ての座標を参照していなければ（Ｓ２０，Ｎｏ）、処理Ｓ１６に戻る。全ての座標を参照したら（Ｓ２０，Ｙｅｓ）、ｊを１増加させ（Ｓ２１）、処理Ｓ１３へ戻る。
以上、説明したように、物体候補ｉについて全ての物体モデルＭｊを照合し、最大類似度Ｃｍａｘと最大類似度座標（ｐｍａｘ，ｑｍａｘ）を算出する物体検出処理を行うことにより、物体候補ｉの最大類似度Ｃｍａｘと最大類似度座標（ｐｍａｘ，ｑｍａｘ）を得ることができる。
処理Ｓ１３においてｊ≦ｍでなければ（Ｓ１３，Ｎｏ）、類似度照合部６は、最大類似度Ｃｍａｘが所定の閾値Ｔｃ以上か否かの判断を行う（Ｓ３１）。最大類似度が閾値以上、すなわちＣｍａｘ≧Ｔｃであれば（Ｓ３１，Ｙｅｓ）、最大類似度座標（ｐｍａｘ，ｑｍａｘ）の点に物体候補ｉが存在すると判断し、３次元位置（Ｘｉ，Ｙｉ，Ｚｉ）を第１２図の式を用いて算出する（Ｓ３２）。第１２図の式において、ｆはカメラＡの焦点距離、ｋｘはｘ軸方向の単位を画素から実際の長さに変換するための変換係数、ｋｙはｙ軸方向の単位を画素から実際の長さに変換するための変換係数である。次に、類似度照合部６は、処理Ｓ２２において算出した値を物体候補ｉの３次元位置とし、物体候補ｉの３次元位置（Ｘｉ，Ｙｉ，Ｚｉ）と相対速度ｖｉを記憶部８と外部へ出力し（Ｓ３３）、このフローを終了する。
一方、Ｃｍａｘ≧Ｔｃでなければ（Ｓ３１，Ｎｏ）、類似度照合部６は３次元位置と相対速度を出力せず、このフローを終了する。
以上の物体検出処理を全ての物体候補について行うことにより、観測対象空間が広いこと、対象とする物体のみを正確に検出すること、物体の３次元位置を正確に検出することを全て満足する物体検出装置を実現することができる。
上述した第９図の処理、第１０図の処理を物体検出プログラムとして、コンピュータにより読取り可能な記録媒体に記憶させることによって、物体検出方法をコンピュータに実行させることが可能となる。なお、本発明において、上記コンピュータにより読取り可能な記録媒体は、ＲＯＭやＲＡＭの半導体メモリの他、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
実施の形態２．
本実施の形態は、実施の形態１と同様の物体検出の動作を、短い時間間隔で連続して行う場合に、前回の３次元位置と相対速度に基づいて３次元位置を予測することにより、安定した物体検出を行うものである。
第１３図は、実施の形態２に係る物体検出装置の構成の一例を示すブロック図である。本実施の形態では、実施の形態１の構成に、さらに位置予測部９を加える。
物体検出装置は継続して物体の検出を行っており、１回の検出により検出された物体毎の３次元位置と相対速度は記憶部８に記憶されている。次の検出を行う前に、位置予測部９は、記憶部８に記憶されている前回検出された物体毎の３次元位置と相対速度を取得する。次に位置予測部９は、前回検出された物体毎の３次元位置と相対速度を用いて、次の検出における３次元位置を予測し、その結果をミリ波距離センサ１とステレオ画像センサ２へ渡す。
ここで、時刻ｔにおける類似度照合部６の出力は、物体候補ｉの３次元位置（Ｘｉ（ｔ），Ｙｉ（ｔ），Ｚｉ（ｔ））と相対速度ｖｉ（ｔ）を含み、これらの値と第１４図に示す式を用いることにより、時刻ｔ＋１における物体候補ｉの３次元位置を予測することができる。
ミリ波距離センサ１における反射波検出部１４は、第９図の処理Ｓ１において、予測結果を利用した物体候補データの検出を行う。ステレオ画像センサ２における特徴画像算出部２３は、第９図の処理Ｓ２において、予測結果を利用したエッジ画像の検出を行う。
次に、ステレオ画像センサ２における特徴画像算出部２３の動作について詳細に説明する。第１５図は、実施の形態２における特徴画像算出部の動作を示すフローチャートである。初めに、位置予測部９が予測した物体の３次元位置から、特徴画像中に物体が観測される領域を予測範囲として設定する（Ｓ３１）。次に、座標を１つ選択し（Ｓ３２）、座標が予測範囲内に存在するか否かの判断を行う（Ｓ３３）。座標が予測範囲外に存在する場合（Ｓ３３，Ｎｏ）、通常の閾値ＴＩ０を用いてエッジ画像を検出し（Ｓ３４）、処理Ｓ３５へ移行する。座標が予測範囲内に存在する場合（Ｓ３３，Ｙｅｓ）、通常の閾値ＴＩ０よりも小さい閾値ＴＩ１を用いてエッジ画像を検出し（Ｓ３６）、処理Ｓ３５へ移行する。全座標について処理を終えていない場合は（Ｓ３５，Ｎｏ）、処理Ｓ３２へ戻る。全座標について処理を終えた場合は（Ｓ３５，Ｙｅｓ）、このフローを終了する。
次に、ミリ波距離センサ１における反射波検出部１４の動作について詳細に説明する。ここでは、ＦＭ−ＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｉｏｎ−Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式のように、反射波の強度が周波数に対して分布し、周波数軸上の位置から距離を検出する場合について説明する。第１６図は、実施の形態２における反波検出部の動作を示すフローチャートである。初めに、前回の計測時に位置予測部９が予測した物体の３次元位置から、物体からの反射波が観測される周波数を予測範囲として設定する（Ｓ４１）。次に、周波数を１つ選択し（Ｓ４２）、周波数が予測範囲内に存在するか否かの判断を行う（Ｓ４３）。周波数が予測範囲外に存在する場合（Ｓ４３，Ｎｏ）、通常の閾値ＴＭ０を用いて反射波を検出し（Ｓ４４）、処理Ｓ４５へ移行する。周波数が予測範囲内に存在する場合（Ｓ４３，Ｙｅｓ）、通常の閾値ＴＭ０よりも小さい閾値ＴＭ１を用いて反射波を検出し（Ｓ４６）、処理Ｓ４５へ移行する。全周波数について処理を終えていない場合は（Ｓ４５，Ｎｏ）、処理Ｓ４２へ戻る。全周波数について処理を終えた場合は（Ｓ４５，Ｙｅｓ）、このフローを終了する。以上のように、周波数軸上の位置から距離を検出する場合は、予測範囲内に対して通常の閾値ＴＭ０よりも小さい閾値ＴＭ１を用いることにより、予測される反射波を検出し易くするための窓を周波数軸上に設けることになる。
本実施の形態では、周波数軸上で計測を行う場合について説明したが、反射波の強度が時間差に対して分布し、時間軸上の位置から距離を検出する場合は、時間差の予測範囲を設定し、その予測範囲内に対して通常の閾値ＴＭ０よりも小さい閾値ＴＭ１を用いることにより、予測される反射波を検出し易くするための窓を時間軸上に設けることになる。また、本実施の形態では次の検出における３次元位置を予測するとしたが、記憶部８が過去の３次元位置と相対速度を複数記憶することにより、次の検出における相対速度を予測するようにしても良い。予測した相対速度を用いることにより、予測される反射波を検出し易くするための窓の位置を正確に設けることができる。
以上、本実施の形態では、予測した３次元位置を利用することにより、継続的な物体の検出を安定して行うことができる。
なお、上述した実施の形態において、モデル変換部は、物体モデルの大きさを物体候補までの距離に応じた大きさに変換したが、本発明はかかる実施の形態に限定されることはなく、例えば、撮影された物体候補の画像（距離画像、特徴画像）を該物体候補の距離に応じて、物体モデルと同じ大きさとなるように変換するようにしても良い。また、実施の形態では距離画像と特徴画像とを用いて物体候補が検出対象物体であるか否かの判定をしたが、いずれか一方の画像のみを用いて判定を行っても良い。
【産業上の利用の可能性】
以上説明したように、本発明によれば、ミリ波距離センサの長所である物体までの距離の精度が高いこと、雨や霧など周辺環境の影響を受けにくいこと等の性能と、ステレオ画像センサの長所である、観測対象空間が広いこと、物体の方位が正確であること、物体の識別が容易であること等の性能とを両立させることができる。また、装置が小型化されることにより、車両等への搭載が容易となる。さらに、次の検出の３次元位置を予測することにより、継続的な物体の検出を安定して行うことができる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【特許請求の範囲】
【請求項１】
所定の空間に存在する検出対象物体を検出する物体検出装置であって、
少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録部と、
前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離センサと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るためのステレオ画像センサと、
前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断部と
を備えてなる物体検出装置。
【請求項２】
請求の範囲第１項に記載の物体検出装置において、
前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換部を備え、
前記判断部は、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする物体検出装置。
【請求項３】
請求の範囲第１項に記載の物体検出装置において、
前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の距離に関する距離画像の情報であることを特徴とする物体検出装置。
【請求項４】
請求の範囲第１項に記載の物体検出装置において、
前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の形状に関する特徴画像の情報であることを特徴とする物体検出装置。
【請求項５】
請求の範囲第１項に記載の物体検出装置において、
前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の距離に関する距離画像の情報及び前記物体候補の形状に関する特徴画像の情報であることを特徴とする物体検出装置。
【請求項６】
請求の範囲第１項に記載の物体検出装置において、
前記物体モデル記録部に記録される物体モデルは、所定の距離において前記検出対象物体を撮影して得られる形状であることを特徴とする物体検出装置。
【請求項７】
請求の範囲第１項に記載の物体検出装置において、
前記判断部により、前記物体候補が前記検出対象物体であると判断された場合、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出部を備えていることを特徴とする物体検出装置。
【請求項８】
請求の範囲第１項に記載の物体検出装置において、
前記距離センサは、強度が所定の閾値を超える前記反射波から、物体候補の距離を算出することを特徴とする物体物体検出装置。
【請求項９】
請求の範囲第１項に記載の物体検出装置において、
前記電磁波は、ミリ波であることを特徴とする物体検出装置。
【請求項１０】
所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出装置であって、
少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録部と、
前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離センサと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るためのステレオ画像センサと、
前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換部と、
前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部と、
前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、
前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合部と
を備えてなる物体検出装置。
【請求項１１】
所定の空間に存在する検出対象物体を検出する物体検出方法であって、
少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録ステップと、
前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離算出ステップと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、
前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断ステップと
を備えてなる物体検出方法。
【請求項１２】
請求の範囲第１１項に記載の物体検出方法において、
前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップを備え、
前記判断ステップは、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする物体検出方法。
【請求項１３】
請求の範囲第１１項に記載の物体検出方法において、
前記判断ステップにより、前記物体候補が前記検出対象物体であると判断された場合に、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出ステップを備えていることを特徴とする物体検出方法。
【請求項１４】
所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出方法であって、
少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録ステップと、
前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離算出ステップと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、
前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップと、
前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップと、
前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合ステップと
を備えてなる物体検出方法。
【請求項１５】
所定の空間に存在する検出対象物体を検出する物体検出方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された物体検出プログラムであって、
少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録ステップと、
前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離算出ステップと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、
前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断ステップと
をコンピュータに実行させる物体検出プログラム。
【請求項１６】
請求の範囲第１５項に記載の物体検出プログラムにおいて、
前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップを備え、
前記判断ステップは、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする物体検出プログラム。
【請求項１７】
請求の範囲第１５項に記載の物体検出プログラムにおいて、
前記判断ステップにより、前記物体候補が前記検出対象物体であると判断された場合に、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出ステップを備えていることを特徴とする物体検出プログラム。
【請求項１８】
所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された物体検出プログラムであって、
少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録ステップと、
前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離算出ステップと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、
前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップと、
前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップと、
前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合ステップと
をコンピュータに実行させる物体検出プログラム。
【請求項１９】
観測対象空間に存在する少なくとも１つの物体の距離を検出する距離センサであって、
送信信号を生成する送信部と、
一度に前記観測対象空間の全体をカバーする電磁波として前記送信信号を照射するとともに、前記観測対象空間の全体から到来する電磁波を受信できるアンテナと、
前記アンテナの出力の復調を行う受信部と、
前記受信部の出力から反射波を検出する反射波検出部と、
前記反射波のタイミングを用いて距離を算出し、物体候補の距離として外部へ出力する物体候補算出部と
を備えてなる距離センサ。
【請求項２０】
請求の範囲第１９項に記載の距離センサにおいて、
前記電磁波はミリ波であることを特徴とする距離センサ。
【請求項１】
所定の空間に存在する検出対象物体を検出する物体検出装置であって、
少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録部と、
前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離センサと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るためのステレオ画像センサと、
前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断部と
を備えてなる物体検出装置。
【請求項２】
請求の範囲第１項に記載の物体検出装置において、
前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換部を備え、
前記判断部は、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする物体検出装置。
【請求項３】
請求の範囲第１項に記載の物体検出装置において、
前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の距離に関する距離画像の情報であることを特徴とする物体検出装置。
【請求項４】
請求の範囲第１項に記載の物体検出装置において、
前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の形状に関する特徴画像の情報であることを特徴とする物体検出装置。
【請求項５】
請求の範囲第１項に記載の物体検出装置において、
前記ステレオ画像センサにより得られる前記所定の画像情報は、前記物体候補の距離に関する距離画像の情報及び前記物体候補の形状に関する特徴画像の情報であることを特徴とする物体検出装置。
【請求項６】
請求の範囲第１項に記載の物体検出装置において、
前記物体モデル記録部に記録される物体モデルは、所定の距離において前記検出対象物体を撮影して得られる形状であることを特徴とする物体検出装置。
【請求項７】
請求の範囲第１項に記載の物体検出装置において、
前記判断部により、前記物体候補が前記検出対象物体であると判断された場合、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出部を備えていることを特徴とする物体検出装置。
【請求項８】
請求の範囲第１項に記載の物体検出装置において、
前記距離センサは、強度が所定の閾値を超える前記反射波から、物体候補の距離を算出することを特徴とする物体物体検出装置。
【請求項９】
請求の範囲第１項に記載の物体検出装置において、
前記電磁波は、ミリ波であることを特徴とする物体検出装置。
【請求項１０】
所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出装置であって、
少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録部と、
前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離センサと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るためのステレオ画像センサと、
前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換部と、
前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出部と、
前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、
前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合部と
を備えてなる物体検出装置。
【請求項１１】
所定の空間に存在する検出対象物体を検出する物体検出方法であって、
少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録ステップと、
前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離算出ステップと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、
前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断ステップと
を備えてなる物体検出方法。
【請求項１２】
請求の範囲第１１項に記載の物体検出方法において、
前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップを備え、
前記判断ステップは、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする物体検出方法。
【請求項１３】
請求の範囲第１１項に記載の物体検出方法において、
前記判断ステップにより、前記物体候補が前記検出対象物体であると判断された場合に、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出ステップを備えていることを特徴とする物体検出方法。
【請求項１４】
所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出方法であって、
少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録ステップと、
前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離算出ステップと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、
前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップと、
前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップと、
前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合ステップと
を備えてなる物体検出方法。
【請求項１５】
所定の空間に存在する検出対象物体を検出する物体検出方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された物体検出プログラムであって、
少なくとも１つの検出対象とされる検出対象物体のモデル形状を物体モデルとして記録する物体モデル記録ステップと、
前記所定の空間の全体をカバーするように電磁波を放射状に照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補までの距離の算出を行う距離算出ステップと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、
前記物体モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断する判断ステップと
をコンピュータに実行させる物体検出プログラム。
【請求項１６】
請求の範囲第１５項に記載の物体検出プログラムにおいて、
前記物体モデルの大きさを前記算出された物体候補までの距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップを備え、
前記判断ステップは、前記モデル変換部により変換された照合モデルと前記画像情報とに基づいて前記物体候補が前記検出対象物体であるか否かを判断することを特徴とする物体検出プログラム。
【請求項１７】
請求の範囲第１５項に記載の物体検出プログラムにおいて、
前記判断ステップにより、前記物体候補が前記検出対象物体であると判断された場合に、前記物体候補を検出対象物体として、前記画像情報と前記物体候補までの距離とに基づいて、前記物体候補の３次元位置を算出する位置算出ステップを備えていることを特徴とする物体検出プログラム。
【請求項１８】
所定の空間に存在する少なくとも１つの検出対象物体を検出する物体検出方法をコンピュータに実行させるために、コンピュータにより読取可能な媒体に記憶された物体検出プログラムであって、
少なくとも１つの検出対象物体が予め所定の距離において撮影された画像であるモデル撮影画像から、前記検出対象物体の形状を表す画像である物体モデルを算出して記録する物体モデル記録ステップと、
前記所定の空間の全体をカバーする電磁波を照射し、該電磁波の反射波を検出することにより、少なくとも１つの物体候補を検出するとともに、前記物体候補の距離の算出を行う距離算出ステップと、
前記物体候補について視点の異なる２つの撮影画像を撮影し、前記２つの撮影画像から所定の画像情報を得るための画像情報取得ステップと、
前記物体モデルを、前記物体候補の距離に応じた大きさに変換した画像である照合モデルを算出するモデル変換ステップと、
前記所定の画像情報の画像から、前記照合モデルの大きさの範囲の画像を照合画像として抽出する照合画像抽出ステップと、
前記物体候補に対して算出された全ての照合モデルと、照合モデルに対して抽出された全ての照合画像について、照合モデルと照合画像の類似度を算出し、最大の前記類似度である最大類似度、前記最大類似度が算出されるときの照合モデル、前記最大類似度が算出されるときの照合画像の座標を求め、前記最大類似度が所定の範囲内となった場合、前記選択物体候補を物体と認識し、前記最大類似度が算出されるときの照合画像の座標と前記物体候補の距離から前記物体の３次元位置を算出し、前記物体候補の３次元位置を外部へ出力する類似度照合ステップと
をコンピュータに実行させる物体検出プログラム。
【請求項１９】
観測対象空間に存在する少なくとも１つの物体の距離を検出する距離センサであって、
送信信号を生成する送信部と、
一度に前記観測対象空間の全体をカバーする電磁波として前記送信信号を照射するとともに、前記観測対象空間の全体から到来する電磁波を受信できるアンテナと、
前記アンテナの出力の復調を行う受信部と、
前記受信部の出力から反射波を検出する反射波検出部と、
前記反射波のタイミングを用いて距離を算出し、物体候補の距離として外部へ出力する物体候補算出部と
を備えてなる距離センサ。
【請求項２０】
請求の範囲第１９項に記載の距離センサにおいて、
前記電磁波はミリ波であることを特徴とする距離センサ。
【国際公開番号】ＷＯ２００４／１０２２２２
【国際公開日】平成１６年１１月２５日（２００４．１１．２５）
【発行日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願番号】特願２００４−５７１８３２（Ｐ２００４−５７１８３２）
【国際出願番号】ＰＣＴ／ＪＰ２００３／００５９２７
【国際出願日】平成１５年５月１３日（２００３．５．１３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【国際公開日】平成１６年１１月２５日（２００４．１１．２５）
【発行日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００３／００５９２７
【国際出願日】平成１５年５月１３日（２００３．５．１３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]