物体検出装置及び物体検出方法
【課題】誤結合検出を防止することにより、物体検出精度を向上させることができる、物体検出装置及び物体検出方法を提供すること。
【解決手段】物体検出装置２００において、検出物体領域補正部１０３が、基準画像平面内の座標群と、レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、検出物体領域設定部１０２によって設定された検出物体領域を補正する。こうすることで、検出物体領域が誤結合の結果として得られたものであっても、その検出物体領域を移動速度マップ情報を用いて修正することができる。この結果、物体検出精度を向上させることができる。
【解決手段】物体検出装置２００において、検出物体領域補正部１０３が、基準画像平面内の座標群と、レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、検出物体領域設定部１０２によって設定された検出物体領域を補正する。こうすることで、検出物体領域が誤結合の結果として得られたものであっても、その検出物体領域を移動速度マップ情報を用いて修正することができる。この結果、物体検出精度を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置及び物体検出方法に関する。
【背景技術】
【０００２】
従来、ミリ波レーダ及びステレオカメラの両方を利用した物体測位検出装置が提案されている。一般的に、物体検出装置では、検出対象エリアに物体が存在しているのにも関わらず検出できないこと（つまり、未検出）、検出対象エリアに物体が存在していないのにも関わらず検出してしまうこと（つまり、誤検出）、又は、物体を検出できたとしても、複数の物体を単一の物体として検出してしまうこと（つまり、誤結合検出）、若しくは、単一の物体を複数の物体と検出してしまうこと（つまり、誤分離検出）が起こりうる。
【０００３】
このような検出ミスを回避する工夫として、例えば、検出閾値を調整することが行われている。この検出閾値は、ミリ波レーダでは、電波反射強度値に対して設定され、ステレオカメラでは、視差抽出量に対して設定される。
【０００４】
しかしながら、こうした検出閾値の調整だけでは、未検出及び誤検出を防ぐことはできても、誤結合検出又は誤分離検出を完全に防ぐことは困難である。
【０００５】
このような課題に対して、特許文献１には、誤分離検出を防ぐ物体検出装置が開示されている。具体的には、当該物体検出装置では、まず、ステレオカメラによって撮像されたステレオ画像を用いて検出対象物体候補群を検出する。次に、各検出対象物体候補に対応する画像領域内の各画素の輝度値に基づいて、複数の検出対象物体候補を結合して１つの検出対象物体候補として扱うか否かを決定する際に用いる閾値が変更される。
【０００６】
また、特許文献２では、誤分離検出及び誤結合検出の頻度を低減するために、ミリ波レーダによって検出された検出対象物体候補群を結合して１つの検出対象物体として扱うか否かを決定する基準（つまり、結合条件）として、検出対象物体の想定サイズが用いられている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２２４９３６号公報
【特許文献２】特開２００５−１８２１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記した特許文献１のように、複数の検出対象物体候補が１つの物体に属するか否かを判定する基準として輝度値を用いる場合には、検出対象物体候補間で輝度値の違いが少ない場合（例えば、複数の検出対象物体候補が同じ色の複数の車両に相当する場合、又は、複数の検出対象物体候補が同じ色の服装をした複数の人物に相当する場合）には、誤結合検出が起こってしまう。
【０００９】
また、上記した特許文献２のように、複数の検出対象物体候補が１つの物体に属するか、又は、複数の検出対象物体候補がそれぞれ異なる物体に属するのかを決定する基準として検出対象物体の想定サイズを用いる場合には、検出対象物体が想定される姿勢と異なるとき（例えば、車両が横向きのとき）、又は、小さいサイズの複数の物体が近接しているとき（例えば、小型車と二輪車とが併走しているとき）等には、誤分離検出又は誤結合検出が起こりうる。
【００１０】
本発明の目的は、誤結合検出を防止することにより、物体検出精度を向上させることができる、物体検出装置及び物体検出方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明の一態様の物体検出装置は、画像平面内の座標群とステレオカメラによって撮影された画像に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報、又は、前記カメラ距離マップ情報と、前記画像平面内の座標群とレーダによって検出された情報に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び前記所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出する候補点抽出手段と、前記抽出された候補点群を、各候補点に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、前記画像平面内の領域を、第１検出物体領域として設定する設定手段と、前記画像平面内の座標群と、前記レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、前記第１検出物体領域を補正する補正手段と、を具備する。
【００１２】
本発明の一態様の物体検出方法は、画像平面内の座標群とステレオカメラによって撮影された画像に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報、又は、前記カメラ距離マップ情報と、前記画像平面内の座標群とレーダによって検出された情報に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び前記所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出し、前記抽出された候補点群を、各候補点に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、前記画像平面内の領域を、検出物体領域として設定し、前記画像平面内の座標群と、前記レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、前記検出物体領域を補正する。
【発明の効果】
【００１３】
本発明によれば、誤結合検出を防止することにより、物体検出精度を向上させることができる、物体検出装置及び物体検出方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１に係る物体検出処理装置の主要構成を示すブロック図
【図２】本発明の実施の形態１に係る物体検出装置の構成を示すブロック図
【図３】ステレオ画像を示す図
【図４】カメラ距離マップ情報の一例を示す図
【図５】検出装置の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）を示す図
【図６】実施の形態１における検出物体領域補正部の構成を示すブロック図
【図７】座標変換処理の説明に供する図
【図８】座標変換処理の説明に供する図
【図９】速度分布生成処理の説明に供する図
【図１０】検出物体領域設定処理の説明に供する図
【図１１】検出物体領域補正処理の説明に供する図
【図１２】本発明の実施の形態２に係る物体検出装置の構成を示すブロック図
【図１３】平滑化処理後の移動速度マップ情報の一例を示す図
【図１４】本発明の実施の形態３に係る検出物体領域補正部の構成を示すブロック図
【図１５】検出物体領域補正処理の説明に供する図
【図１６】本発明の実施の形態４に係る検出物体領域補正部の構成を示すブロック図
【図１７】検出物体領域補正処理の説明に供する図
【図１８】本発明の実施の形態５に係る物体検出装置の構成を示すブロック図
【図１９】フィルタ部による処理の説明に供する図
【図２０】速度発生位置及び速度値についての誤差の説明に供する図
【図２１】本発明の実施の形態６に係る物体検出装置の構成を示すブロック図
【図２２】速度マップ情報補正部が取得するカメラ距離マップ情報の説明に供する図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
【００１６】
［実施の形態１］
［物体検出処理装置の主要構成］
図１は、本発明の実施の形態１に係る物体検出処理装置１００の主要構成を示す。図１において、物体検出処理装置１００は、物体候補点抽出部１０１と、検出物体領域設定部１０２と、検出物体領域補正部１０３とを有する。
【００１７】
物体検出処理装置１００において、物体候補点抽出部１０１は、基準画像平面内の座標群と、ステレオカメラによって撮影された画像に基づいて得られた各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報から、所定値以上の物体の存在に関する情報及び所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出する。又は、物体候補点抽出部１０１は、カメラ距離マップ情報と、基準画像平面内の座標群とレーダによって検出された情報に基づいて得られた各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出する。
【００１８】
そして、検出物体領域設定部１０２は、物体候補点抽出部１０１において抽出された候補点群を、各候補点群に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、基準画像平面内の領域を、検出物体領域として設定する。
【００１９】
そして、検出物体領域補正部１０３は、基準画像平面内の座標群と、レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、検出物体領域設定部１０２によって設定された検出物体領域を補正する。
【００２０】
ここで、カメラ距離マップ情報における「物体の存在に関する情報」とは、例えば、視差値、又は、距離値、又は視差値のヒストグラムである。一方、レーダ距離マップ情報における「物体の存在に関する情報」とは、例えば、距離値、又は、反射電力強度である。また、合成マップ情報における「物体の存在に関する情報」とは前述のカメラ距離マップ情報及びレーダ距離マップ情報における物体の存在に関する情報を基に算出した合成値である。
【００２１】
［物体検出装置の構成］
図２は、本発明の実施の形態１に係る物体検出装置２００の構成を示す。物体検出装置２００は、物体検出処理装置１００を含んでいる。図２において、物体検出処理装置２００は、物体候補点抽出部１０１と、検出物体領域設定部１０２と、検出物体領域補正部１０３と、ステレオカメラ２０１と、ミリ波レーダ２０２と、距離マップ情報算出部２０３，２０４と、座標変換部２０５，２０６，２０８と、合成部２０７と、速度分布生成部２０９とを有する。ステレオカメラ２０１と距離マップ情報算出部２０３とは、第１の測位系を構成し、ミリ波レーダ２０２と距離マップ情報算出部２０４とは、第２の測位系を構成する。
【００２２】
ステレオカメラ２０１は、複数のカメラから構成され、当該複数のカメラで撮影したカメラ画像（つまり、ステレオ画像）を距離マップ情報算出部２０３へ出力する。
【００２３】
例えば、ステレオカメラ２０１は、２つのカメラで構成される。そして、当該２つのカメラは、例えば、２０センチメートル離れた位置に並列配置される。この状態のステレオカメラ２０１によって２０メートル程度離れた位置に存在する車両を撮影した画像が、図３に示されている。図３Ａは、撮影方向に向かって左側に配設されたカメラによって撮影された画像（つまり、左カメラ画像）が示され、図３Ｂには、撮影方向に向かって右側に配設されたカメラによって撮影された画像（つまり、右カメラ画像）が示されている。
【００２４】
距離マップ情報算出部２０３は、ステレオカメラ２０１から出力されたステレオ画像に基づいて、カメラ距離マップ情報を算出する。具体的には、距離マップ情報算出部２０３は、左カメラ画像と右カメラ画像とにおいて同一対象物が映っている位置のズレ（つまり、視差）に基づいて、その対象物とステレオカメラ２０１との離間距離を算出する。距離マップ情報算出部２０３は、左カメラ画像及び右カメラ画像の全画素についてこの離間距離を算出することにより、カメラ距離マップ情報を算出する。
【００２５】
対象物とステレオカメラ２０１との離間距離は、例えば、次の式（１）によって算出することができる。
【数１】
ただし、Ｚは、ステレオカメラから対象物までの距離[m]、Ｂは、カメラ間隔[m]、ｆは、カメラの焦点距離[m]、Ｐｘは、画像水平軸方向における１画素あたりの長さ[m/pixel]、ｄは、視差[pixel]である。
【００２６】
より詳細には、視差は、例えば、次の方法によって算出される。左カメラ画像及び右カメラ画像の内の一方を基準画像、もう一方を参照画像とする。先ず、基準画像から所定サイズ（例えば、４×４画素）の部分画像（つまり、部分基準画像）を設定する。また、参照画像内で、所定サイズの探索範囲（例えば、数十画素程度）を設定する。そして、この探索範囲内で、部分基準画像と同じサイズの部分参照画像をその位置を順次ずらしながら設定し、部分基準画像と各部分参照画像との輝度値に基づいて評価関数を計算することにより、部分基準画像と対応する部分参照画像を特定する。この部分基準画像と特定された部分参照画像とのズレが視差に対応する。
【００２７】
このような処理によって視差が算出されるので、部分基準画像及び部分参照画像における輝度値変化が少ない場合には、有効な視差が求まらない。すなわち、例えば、車両の天井又は路面のような模様の少ない撮影対象面に関しては、視差を得ることが難しい。
【００２８】
図４は、カメラ距離マップ情報の一例を示す。図４に示されるカメラ距離マップ情報は、図３に示される右カメラ画像及び左カメラ画像から求められたものである。図４においては、「物体の存在に関する情報」として、視差値が用いられている。そして、視差の大小が濃淡として表されており、視差の求められない領域は、視差値がゼロとされるので、白色で示されている。また、図４に示されるＵ，Ｖは、実空間座標（Ｘ，Ｙ，Ｚ）と区別される、画像平面座標を示している。画像平面座標系において、各座標は、ピクセルに対応し、画像横方向をＵ座標，画像縦方向をＶと定義している。
【００２９】
図２に戻り、ミリ波レーダ２０２は、ミリ波を放射し、当該放出されたミリ波の反射波を検出する。そして、ミリ波レーダ２０２は、検出結果を距離マップ情報算出部２０４へ出力する。
【００３０】
ミリ波レーダ２０２は、例えば、ＦＭＣＷ方式が適用され、ビーム幅が狭い電波を出力できるアンテナを具備する。そして、ミリ波レーダ２０２は、そのアンテナを機械的に回転させた上で反射波を受信する。因みに、ＦＭＣＷ方式によれば、ミリ波レーダ２０２から対象物体までの距離及び方向、対象物体の移動速度、並びに、対象物体からの反射電力強度を取得することができる。
【００３１】
距離マップ情報算出部２０４は、ミリ波レーダ２０２から出力された検出結果に基づいて、レーダ距離マップ情報を算出する。ミリ波レーダ２０２によって直接的に取得される「対象物体の移動速度」はドップラー速度である。すなわち、対象物体からミリ波レーダ２０２の設置位置へ向かう方向の速度である。
【００３２】
座標変換部２０５は、カメラ距離マップ情報を座標変換することにより、カメラ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部２０５において用いられる「基準座標系」は、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。図５に、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）について示す。
【００３３】
具体的には、座標変換部２０５は、２つのステップによってカメラ距離マップ情報の座標変換処理を行う。この処理の詳細については、後述する。
【００３４】
座標変換部２０６は、レーダ距離マップ情報を座標変換することにより、レーダ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部２０６において用いられる「基準座標系」も、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。
【００３５】
具体的には、座標変換部２０６は、２つのステップによってレーダ距離マップ情報の座標変換処理を行う。この処理の詳細については、後述する。
【００３６】
合成部２０７は、座標変換部２０５において座標変換されたカメラ距離マップ情報と、座標変換部２０６において座標変換されたレーダ距離マップ情報とを合成し、「合成マップ情報」を生成する。
【００３７】
座標変換部２０８は、ミリ波レーダ２０２によって直接的に取得された移動速度マップ情報を、物体検出装置２００の仮想設置位置を路面上とした場合の移動速度マップ情報に変換する。すなわち、変換後の移動速度の基準は、物体検出装置２００の仮想設置位置となる。この座標変換部２０８によって得られた、変換後の移動速度マップ情報は、速度分布生成部２０９へ出力される。
【００３８】
速度分布生成部２０９は、座標変換部２０８から受け取る変換後の移動速度マップ情報を補正することにより、座標変換部２０５によって座標変換されたカメラ距離マップ情報の解像度と一致する移動速度マップ情報を生成する。
【００３９】
物体候補点抽出部１０１は、合成部２０７において形成された合成マップ情報において、所定値以上の合成値を持つすべての座標と各座標の合成値とを抽出し、抽出された情報を検出物体領域設定部１０２へ出力する。この所定値以上の合成値を持つ座標は、「物体候補点」と呼ばれる。
【００４０】
検出物体領域設定部１０２は、物体候補点抽出部１０１において抽出された物体候補点群を、各物体候補点に対応付けられている合成値に基づいてグルーピングし、１つにグルーピングされた複数の物体候補点を含む領域（以下では、「検出物体領域」と呼ばれることがある）を設定する。
【００４１】
検出物体領域補正部１０３は、検出物体領域設定部１０２において設定された検出物体領域を、速度分布生成部２０９において生成された移動速度マップ情報に基づいて補正することにより、最終的な検出物体領域を設定する。
【００４２】
具体的には、実施の形態１における検出物体領域補正部１０３は、図６に示すように、誤結合補正処理部１３１を有する。誤結合補正処理部１３１は、検出物体領域設定部１０２において設定された検出物体領域に対応する、速度分布生成部２０９において生成された移動速度マップ情報における対応領域を、Ｕ’軸方向に同じ大きさを持つ複数の部分領域に分割する。そして、誤結合補正処理部１３１は、その複数の部分領域の内の代表部分領域と、当該代表部分領域を除く各部分領域との、速度値についての相関値を算出する。そして、誤結合補正処理部１３１は、算出された相関値の分布に基づいて、検出物体領域設定部１０２において設定された検出物体領域を補正することにより、最終的な検出物体領域を設定する。
【００４３】
［物体検出装置２００の動作］
以上の構成を有する物体検出装置２００の動作について説明する。
【００４４】
＜座標変換処理１＞
座標変換部２０５は、カメラ距離マップ情報を座標変換することにより、カメラ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部２０５において用いられる「基準座標系」は、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。
【００４５】
具体的には、座標変換部２０５は、次の２つのステップによってカメラ距離マップ情報の座標変換処理を行う。
【００４６】
（１）座標変換部２０５は、物体検出装置２００が実際に設置されている位置から撮影された画像を用いて得られた、画像平面座標（Ｕ，Ｖ）内のカメラ距離マップ情報（図７Ａ参照）を、画像平面座標（Ｕ’，Ｖ’）に投影することにより、座標変換を行う。
【００４７】
具体的には、座標変換前の座標点のベクトルｕ＾＝（ｕ，ｖ，１，ｄ）、座標変換後の座標点のベクトルｕ＾’＝（ｕ’，ｖ’，１，ｄ’）とすると、ｕ＾’＝Ｓ−１ＤＳｕ＾の関係が成り立つ。ここで、Ｄは、ステレオカメラの設置パラメータ（設置高、回転角度）を含む変換行列を表し、Ｓは、カメラ補正パラメータ（カメラ間隔又は焦点距離など）の行列を表す。
【００４８】
（２）座標変換部２０５は、画像平面座標系（Ｕ’，Ｖ’）のカメラ距離マップ情報から、各Ｕ’座標におけるＶ’方向の視差ヒストグラムを算出する。特に、座標変換部２０５は、Ｖ’座標の範囲を路面より上方の画像に対応する部分に絞って、視差ヒストグラムを算出する。これにより、カメラ距離マップ情報の「基準座標系」への座標変換処理が行われる。「基準座標系」へ座標変換されたカメラ距離マップ情報の一例が、図７Ｂに示されている。
【００４９】
（ｕ’，ｖ’）座標における視差をｄ（ｕ’，ｖ’）、（ｕ’，ｄ）座標における級数をＮ（ｕ’，ｄ）とすると、ｄ（ｕ’，ｖ’）からＮ（ｕ’，ｄ）への変換は、次のように表される。
for（i=０;i<n;i++）{for（j=０;j<m;j++）{N（i,d（i,j））++;}}
ここで、ｎ、ｍは、Ｕ’座標の範囲及びＶ’座標の範囲をそれぞれ表す。
【００５０】
＜座標変換処理２＞
座標変換部２０６は、レーダ距離マップ情報を座標変換することにより、レーダ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部２０６において用いられる「基準座標系」も、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。
【００５１】
具体的には、座標変換部２０６は、次の２つのステップによってレーダ距離マップ情報の座標変換処理を行う。
【００５２】
（１）座標変換部２０６は、各方向（つまり、方位角及び俯角のペアにより特定される方向）と各方向の「物体の存在に関する情報」とが対応付けられたレーダ距離マップ情報を、物体検出装置２００の設置平面と平行な面（物体検出装置２００の設置平面も含まれる）に投影することにより、座標変換を行う。この座標変換が行われた後のレーダ距離マップ情報の一例が、図８Ａに示されている。
【００５３】
（２）座標変換部２０６は、物体検出装置２００の設置平面と平行な面に投影されたレーダ距離マップ情報から、各Ｕ’、視差座標における反射電力強度分布を算出する。これにより、レーダ距離マップ情報の「基準座標系」への座標変換処理が行われる。「基準座標系」へ座標変換されたレーダ距離マップ情報の一例が、図８Ｂに示されている。
【００５４】
ここで、ステレオカメラ２０１の設置位置及び角度及びミリ波レーダ２０２の設置位置及び角度が一致すると仮定すれば、座標変換部２０６による反射電力強度分布の算出処理は、前述のカメラ補正パラメータ行列Ｓを用いて、次のように表すことができる。
ｐ＾’＝Ｓ−１ｐ＾
ここで、ベクトルｐ＾＝（ｘ，０，ｚ，１）は、物体検出装置２００の設置平面と平行な面の座標（ｘ，ｚ）を表し、ベクトルｐ＾’＝（ｕ’，０，１，ｄ）は、Ｕ’と視差値とから規定される平面内の座標（ｕ’，ｄ）を表す。
【００５５】
＜距離マップ情報合成処理＞
合成部２０７は、レーダ距離マップ情報とカメラ距離マップ情報との間で対応座標の「物体の存在に関する情報」を相乗平均することにより、カメラ距離マップ情報と、レーダ距離マップ情報とを合成する。これにより、「合成マップ情報」が生成される。なお、合成処理の前に、レーダ距離マップ情報及びカメラ距離マップ情報に対して正規化処理が施されても良い。この正規化処理は、レーダ距離マップ情報（又は、カメラ距離マップ情報）に含まれる（Ｕ’，視差値）座標群のそれぞれに対応付けられたレベル値の内の最大値によって、他のレベル値を除算することにより行われる。
【００５６】
＜座標変換処理３＞
座標変換部２０８は、ミリ波レーダ２０２によって直接的に取得された移動速度マップ情報を、物体検出装置２００の仮想設置位置を路面上とした場合の移動速度マップ情報に変換する。すなわち、変換後の移動速度の基準は、物体検出装置２００の仮想設置位置となる。この座標変換は、例えば、以下の式（２）を用いて行われる。
【数２】
【００５７】
式（２）において、ｈは、ミリ波レーダ２０２の設置位置の高さであり、ｄは、対象物体の検出距離であり、ｖは、対象物体とミリ波レーダ２０２の設置位置とを結ぶ方向に関する移動速度であり、ｖ’は、物体検出装置２００の仮想設置位置を路面上とした場合の移動速度である。すなわち、座標変換部２０８において得られる移動速度マップ情報は、画像平面座標（Ｕ’，Ｖ’）によって表されている。この座標変換部２０８によって得られた、変換後の移動速度マップ情報は、速度分布生成部２０９へ出力される。
【００５８】
＜速度分布生成処理＞
速度分布生成部２０９は、座標変換部２０８から受け取る移動速度マップ情報を補正することにより、座標変換部２０５によって座標変換されたカメラ距離マップ情報の解像度と一致する移動速度マップ情報を生成する。
【００５９】
図９は、速度分布生成処理の説明に供する図である。図９Ａは、座標変換部２０８から受け取る移動速度マップ情報を示す図である。図９Ａにおいては、レーダから遠ざかる方向（視差が大きくなる方向）に向けての速度値の大小が、濃淡として表されている。図９Ｂは、カメラ距離マップ情報の解像度と一致する移動速度マップ情報を示す図である。すなわち、図９Ｂの解像度は、図９Ａの解像度よりも高くなっている。
【００６０】
＜物体候補点抽出処理＞
物体候補点抽出部１０１は、合成部２０７において形成された合成マップ情報において、所定値以上の合成値を持つすべての座標と各座標の合成値とを抽出し、抽出された情報を検出物体領域設定部１０２へ出力する。
【００６１】
＜検出物体領域設定処理＞
検出物体領域設定部１０２は、物体候補点抽出部１０１において抽出された物体候補点群を、各物体候補点に対応付けられている合成値に基づいてグルーピングし、１つのグルーピングされた複数の物体候補点を含む領域（つまり、「検出物体領域」）を設定する。
【００６２】
図１０は、検出物体領域設定処理の説明に供する図である。図１０Ａには、物体候補点抽出部１０１において抽出された物体候補点群が示されている。各物体候補点には、その座標及び合成値が対応付けられている。
【００６３】
そして、検出物体領域設定部１０２は、次の条件を用いて、物体候補点群に対してラベリングする。
【００６４】
（条件１）任意の物体候補点と予め決められた距離Ｄの範囲内に存在する物体候補点に対して、第１種のラベルを付与する。
（条件２）条件１にて第１種のラベルが付与された物体候補点群における合成値の平均値を算出し、条件１にて第１種のラベルが付与された物体候補点群の内、その算出された平均値との差が予め決められた値Ｐの範囲内に収まる合成値を持つ物体候補点に対して、第１種ラベルと異なる第２種ラベルを付与する。
【００６５】
そして、検出物体領域設定部１０２は、第２種ラベルが付与された物体候補点群をすべて含む矩形（つまり、検出物体領域候補）を生成し、当該検出物体領域候補によって規定される検出物体領域を設定する。ただし、生成しようとする検出物体領域候補の内側に他の検出物体領域候補が存在する場合、その検出物体領域候補を含まない矩形を生成する。また、生成した検出物体領域候補内に当てはまらなかった物体候補点に関しては、再度、条件１からラベリング処理を施す。
【００６６】
図１０Ｂには、上記処理により設定された検出物体領域が示されている。図１０Ｂにおける白抜きの点が、条件２において第２種ラベルが付与された物体候補点の例であり、その点を含む矩形が検出物体領域である。
【００６７】
＜検出物体領域補正処理＞
検出物体領域補正部１０３は、検出物体領域設定部１０２において設定された検出物体領域を、速度分布生成部２０９において生成された移動速度マップ情報に基づいて補正することにより、最終的な検出物体領域を設定する。実施の形態１では、検出物体領域補正として、誤結合補正処理が行われる。
【００６８】
検出物体領域補正部１０３の誤結合補正処理部１３１は、検出物体領域設定部１０２において設定された検出物体領域に対応する、速度分布生成部２０９において生成された移動速度マップ情報における対応領域を、同じ大きさを持つ複数の部分領域にＵ’軸方向で分割する。そして、誤結合補正処理部１３１は、その複数の部分領域の内の代表部分領域と、当該代表部分領域を除く各部分領域との、速度値についての相関値を算出する。すなわち、各部分領域から（Ｕ’，視差）座標に対応する速度値から構成されるデータ列（以下では、特に、代表部分領域に対応するデータ列は「サンプル速度分布」と呼ばれることがある）が得られるので、データ列同士の相関値を算出することにより、速度値についての相関値が求められる。そして、誤結合補正処理部１３１は、算出された相関値の分布に基づいて、検出物体領域設定部１０２において設定された検出物体領域を補正することにより、最終的な検出物体領域を設定する。
【００６９】
図１１は、検出物体領域補正処理の説明に供する図である。図１１Ａには、検出物体領域設定部１０２によって設定された検出物体領域の一例が示されている。誤結合補正処理部１３１は、設定された検出物体領域を、Ｕ’座標単位で複数の部分領域に分割する。そして、ここでは、誤結合補正処理部１３１は、最もＵ’座標の小さい部分領域（つまり、Ｕ’座標がＵ’０である部分領域）を代表部分領域として選択している。
【００７０】
この代表部分領域に対応するサンプル速度分布の一例が、図１１Ｂに示されている。そして、誤結合補正処理部１３１は、サンプル速度分布と、代表部分領域を除く各部分領域に対応する速度分布との相関値を算出する。サンプル速度分布（Ｕ’＝Ｕ’０）と、他のＵ’座標の速度分布（Ｕ’＝ｘ）とすると、両分布の相関値ｚ（Ｕ’０，ｘ）は、次の式（３）によって算出される。
【数３】
ただし、式（３）において、ｖ（Ｕ’，ｄ）は、（Ｕ’，ｄ）座標に対応する速度値である。
【００７１】
そして、誤結合補正処理部１３１は、算出された相関値の分布のパターンが分割条件を満たす場合に、検出物体領域設定部１０２において設定された検出物体領域を分割する。
【００７２】
図１１Ｃは、代表部分領域を除く各部分領域について算出された相関値が視差軸に対してプロットされた相関値分布を示す。図１１Ｃに示される相関値分布では、Ｕ’３において相関値が大きく変化する。相関値分布がこのようなパターンを示す場合には、誤結合補正処理部１３１は、検出物体領域設定部１０２において設定された１つの検出物体領域を、Ｕ’３を境界として２つの検出物体領域に分割する。図１１Ｄは、分割された２つの検出物体領域を例示する。この２つの検出物体領域が、実施の形態１では、最終的な検出物体領域となる。
【００７３】
このような分割処理を行う理由は、相関値が大きく変化する箇所がある場合には、検出物体領域設定部１０２における誤結合によって複数の物体が同一物体として検出されており、相関値が大きく変化した座標に物体の境界が存在するものと判断できるからである。
【００７４】
こうして設定された最終的な検出物体領域（つまり、物体検出結果）は、例えば、表示装置（図示せず）に出力されて、右画像（又は左画像）と重畳されて表示されても良いし、交通信号制御装置などの制御装置（図示せず）へ出力されて活用されても良い。
【００７５】
以上のように本実施の形態によれば、物体検出装置２００において、検出物体領域補正部１０３が、基準画像平面内の座標群と、レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、検出物体領域設定部１０２によって設定された検出物体領域を補正する。
【００７６】
こうすることで、検出物体領域が誤結合の結果として得られたものであっても、その検出物体領域を移動速度マップ情報を用いて修正することができる。この結果、物体検出精度を向上させることができる。
【００７７】
なお、上記説明では、複数の部分領域は、Ｕ’座標方向で検出物体領域設定部１０２において設定された検出物体領域が分割されることにより形成されたが、これに限定されるものではなく、視差軸方向で分割されることにより形成されても良い。要は、誤結合補正処理部１３１は、検出物体領域設定部１０２において設定された検出物体領域に対応する移動速度マップ情報における対応領域がＵ’軸方向又は視差軸方向で同じ大きさに分割された複数の部分領域における、部分領域間の相関値に基づいて、検出物体領域設定部１０２において設定された検出物体領域を分割できれば良い。
【００７８】
［実施の形態２］
実施の形態２では、検出物体領域補正処理に用いられる移動速度マップ情報に対してフィルタリング処理を事前に行う。
【００７９】
図１２は、本発明の実施の形態２に係る物体検出装置３００の構成を示す。図１２において、物体検出装置３００は、フィルタ部３０１を有する。
【００８０】
フィルタ部３０１は、速度分布生成部２０９によって生成された移動速度マップ情報に対して、平滑化処理を施す。これにより、移動速度マップ情報の（Ｕ’，視差）平面内における速度値分布を滑らかにすることができる。図１３には、平滑化処理後の移動速度マップ情報の一例が示されている。
【００８１】
一般に、ステレオカメラによって生成される距離マップ情報の解像度は、ミリ波レーダによって生成される距離マップ情報の解像度よりも高い。従って、座標変換部２０８において得られる移動速度マップ情報の分布は、座標変換部２０５において得られるカメラ距離マップ情報の分布よりも粗くなる傾向がある。そこで、速度分布生成部２０９によって生成された移動速度マップ情報に対して、平滑化処理を施すことにより、移動速度マップ情報の（Ｕ’，視差）平面内における速度値分布を滑らかにする。これにより、後段の検出物体領域補正処理において、例えば領域長補正の解像度を高めることができ、より正確な検出物体領域補正が可能となる。
【００８２】
［実施の形態３］
実施の形態３では、検出物体領域補正処理として、誤結合補正処理に加えて、検出長補正処理が行われる。実施の形態３で説明する処理は、実施の形態１及び実施の形態２のいずれにも適用可能である。実施の形態３に係る物体検出装置の基本構成は、実施の形態１に係る物体検出装置２００と同様であるので、図２を援用して説明する。
【００８３】
実施の形態３における物体検出装置２００の検出物体領域補正部１０３は、図１４に示すように、誤結合補正処理部１３１と、検出長補正処理部１４１とを有する。
【００８４】
検出長補正処理部１４１は、誤結合補正処理部１３１において分割された複数の検出物体領域のそれぞれに対して、基本的には、誤結合補正処理部１３１と同じ処理を行う。すなわち、検出長補正処理部１４１は、誤結合補正処理部１３１において設定された検出物体領域に対応する、速度分布生成部２０９において生成された移動速度マップ情報における対応領域を同じ大きさを持つ複数の部分領域にＵ’軸方向又は視差軸方向で分割する。
【００８５】
ただし、検出長補正処理部１４１は、誤結合補正処理部１３１において分割した方向と異なる方向で分割する。すなわち、誤結合補正処理部１３１においてＵ’軸方向で分割された場合には、検出長補正処理部１４１は、視差軸方向で分割し、誤結合補正処理部１３１において視差軸方向で分割された場合には、検出長補正処理部１４１は、Ｕ’軸方向で分割する。ここでは、検出長補正処理部１４１が視差軸方向で分割する場合について説明する。
【００８６】
そして、検出長補正処理部１４１は、その複数の部分領域の内の代表部分領域と、当該代表部分領域を除く各部分領域との、速度値についての相関値を算出する。すなわち、各部分領域から（Ｕ’，視差）座標に対応する速度値から構成されるデータ列（つまり、「サンプル速度分布」）が得られるので、データ列同士の相関値を算出することにより、速度値についての相関値が求められる。
【００８７】
そして、検出長補正処理部１４１は、算出された相関値の分布に基づいて、検出物体領域設定部１０２において設定された検出物体領域を補正することにより、最終的な検出物体領域を設定する。
【００８８】
図１５は、検出物体領域補正処理の説明に供する図である。図１５Ａは、誤結合補正処理部１３１において設定された２つの検出物体領域の一例を示す。
【００８９】
検出長補正処理部１４１は、設定された検出物体領域を、視差座標単位で複数の部分領域に分割する。そして、ここでは、検出長補正処理部１４１は、最も視差座標の大きい部分領域（つまり、視差座標がｄ０である部分領域）を代表部分領域として選択している。そして、検出長補正処理部１４１は、この代表部分領域に対応するサンプル速度分布（図示せず）と、代表部分領域を除く各部分領域に対応する速度分布との相関値を算出する。サンプル速度分布の視差ｄをｄ０、他の視差座標の速度分布の視差をｄ＝ｘとすると、両分布の相関値ｚ（ｄ０，ｘ）は、次の式（４）によって算出される。
【数４】
ただし、式（４）において、ｖ（Ｕ’，ｄ）は、（Ｕ’，ｄ）座標に対応する速度値である。
【００９０】
そして、検出長補正処理部１４１は、算出された相関値の分布のパターンが分割条件を満たす場合に、誤結合補正処理部１３１において設定された検出物体領域を分割する。図１５Ｂは、代表部分領域を除く各部分領域について算出された相関値が視差軸に対してプロットされた相関値分布を示す。図１５Ｂに示される相関値分布では、ｄ３において相関値が大きく変化する。相関値分布がこのようなパターンを示す場合には、検出長補正処理部１４１は、誤結合補正処理部１３１において設定された１つの検出物体領域を、ｄ３を境界として２つの検出物体領域に分割する。図１５Ｃに分割された２つの検出物体領域を例示する。
【００９１】
ただし、検出長補正処理部１４１は、誤結合補正処理部１３１と異なり、この２つの検出物体領域の内、代表部分領域が含まれる検出物体領域のみを最終的な検出物体領域として設定する。
【００９２】
以上の処理構成により、本物体検出装置は、検出物体領域の大きさを補正することが出来るようになるため、より検出対象物体の実際の大きさに合わせた検出物体領域を生成することが出来る。
【００９３】
［実施の形態４］
実施の形態４では、検出物体領域補正処理として、誤結合補正処理に加えて、誤分離補正処理が行われる。実施の形態４で説明する処理は、実施の形態１及び実施の形態２のいずれにも適用可能である。実施の形態４に係る物体検出装置の基本構成は、実施の形態１に係る物体検出装置２００と同様であるので、図２を援用して説明する。
【００９４】
実施の形態４における物体検出装置２００の検出物体領域補正部１０３は、図１６に示すように、誤結合補正処理部１３１と、誤分離補正処理部１５１とを有する。
【００９５】
誤分離補正処理部１５１は、処理対象である複数の検出物体領域のそれぞれにおいて、平均速度分布を算出する。この処理対象である複数の検出物体領域には、検出物体領域設定部１０２において設定され且つ誤結合補正処理部１３１において分割されなかった検出物体領域又は誤結合補正処理部１３１において設定された検出物体領域が含まれる。誤分離補正処理部１５１は、処理対象である各検出物体領域において、Ｕ’軸方向又は視差軸方向で速度値の平均値を算出することにより、平均速度分布を算出する。
【００９６】
例えば、誤分離補正処理部１５１は、処理対象の検出物体領域において、Ｕ’軸座標が共通し且つ視差座標が異なる複数の座標に対応する複数の速度値を平均化することにより、１つのＵ’軸座標に対応する平均値を算出する。そして、誤分離補正処理部１５１は、処理対象の検出物体領域における、全てのＵ’軸座標について平均値を算出する。これにより、誤分離補正処理部１５１は、処理対象の検出物体領域における、各Ｕ’座標に対応する速度平均値から構成されるデータ列（つまり、「平均速度分布」）が算出される。
【００９７】
そして、誤分離補正処理部１５１は、処理対象である複数の検出物体領域のそれぞれについて算出された平均速度分布の間の相関値を算出する。
【００９８】
そして、誤分離補正処理部１５１は、算出された相関値が結合基準閾値を超える場合には、その相関値の算出に用いられた２つの平均速度分布に対応する２つの検出物体領域を含む矩形領域を１つの検出物体領域として設定する。
【００９９】
図１７は、検出物体領域補正処理の説明に供する図である。図１７Ａには、処理対象である３つの検出物体領域（Ａ〜Ｃ）が示されている。誤分離補正処理部１５１は、検出物体領域Ａ〜Ｃのそれぞれについて平均速度分布を算出する。図１７Ｂには、検出物体領域Ａ〜Ｃのそれぞれについて算出された平均速度分布の一例が示されている。そして、誤分離補正処理部１５１は、検出物体領域Ａ〜Ｃのそれぞれについて算出された平均速度分布の間の相関値を算出する。そして、誤分離補正処理部１５１は、算出された相関値が結合基準閾値を超える場合には、その相関値の算出に用いられた２つの平均速度分布に対応する２つの検出物体領域を含む矩形領域を１つの検出物体領域として設定する。図１７Ｃには、検出物体領域Ａ，Ｂの平均速度分布間の相関値が結合基準閾値を超えており、検出物体領域Ａ，Ｂを含む矩形領域（同図では、検出物体領域Ａ＋Ｂ）が１つの検出物体領域として設定された様子が示されている。
【０１００】
以上のように、実施の形態４における物体検出装置２００によれば、複数の検出物体領域が同一の物体から生成された領域であるかどうか判断することが可能となり、同一の物体から生成された領域であると判断された場合、その検出物体領域を結合することで、誤分離検出を補正することができる。
【０１０１】
［実施の形態５］
実施の形態５では、検出物体領域補正処理に用いられる移動速度マップ情報に対してフィルタリング処理を事前に行う。実施の形態５で説明する処理は、実施の形態１、実施の形態３、及び実施の形態４のいずれにも適用可能である。
【０１０２】
図１８は、本発明の実施の形態５に係る物体検出装置４００の構成を示す。図１８において、物体検出装置４００は、フィルタ部４０１を有する。
【０１０３】
フィルタ部４０１は、速度分布生成部２０９によって生成された移動速度マップ情報に対して、平滑化処理を施す。この平滑化処理において用いられる平滑化フィルタは、移動速度マップ情報の視差座標を物体検出装置４００の設置高さに応じた分だけ視差が大きくなる方向にシフトさせる特性を有している。すなわち、この平滑化フィルタは、移動速度マップ情報の視差座標を物体検出装置４００の設置高さに応じた分だけ視差が大きくなる方向にシフトさせるような、重み付けが施されている。例えば、この平滑化フィルタを表すフィルタ係数は、式（５）に示す行列式で表される。
【数５】
【０１０４】
なお、式（５）で表されるフィルタ係数は、平滑化処理及びシフト処理の両方について反映されたものである。また、式（５）で表されるフィルタ係数によるシフト量は、視差が大きくなる方向に１視差座標である。また、図１９は、フィルタ部４０１による処理の説明に供する図である。図１９Ａは、速度分布生成部２０９によって生成された移動速度マップ情報を示す。そして、図１９Ｂは、図１９Ａの移動速度マップ情報に対してシフト量（ｄ’０−ｄ０）である平滑化フィルタが適用された後の移動速度マップ情報が示されている。
【０１０５】
ここで、物体検出装置４００の設置位置の高さｈが大きい場合（例えば、物体検出装置４００が信号機の上に設置される場合）、座標変換部２０８によって変換された、物体検出装置４００の仮想設置位置を路面上とした場合の移動速度マップ情報には、速度発生位置及び速度値に多少の誤差が含まれてしまう。
【０１０６】
図２０は、速度発生位置及び速度値についての誤差の説明に供する図である。図２０Ａには、座標ｄ０において速度ｖ０で物体検出装置４００へ近づく車両が示されている。通常、ミリ波レーダ２０２のアンテナビーム幅は、数度である。このため、図２０Ａに示されるように、ミリ波レーダ２０２の１つのアンテナでは、車両の高さが比較的高い場合、車両の路面近くからの反射波、及び、車両天井近くからの反射波の両方が受信されることになる。
【０１０７】
ここで、車両の天井に近い部分に対応する反射点をＰ１、物体検出装置４００からＰ１までの距離をｄ１、車両の路面に近く部分に対応する反射点をＰ２、物体検出装置４００からＰ２までの距離をｄ２とする。上述の通り、座標変換部２０８では、ミリ波レーダ２０２によって直接的に取得された移動速度マップ情報が、物体検出装置４００の仮想設置位置を路面上とした場合の移動速度マップ情報に変換される。そのため、Ｐ１で検出された速度値をｖ１、Ｐ２で検出された速度値をｖ２とし、それぞれの変換後の値をｖ１’、ｖ２’とすると、ｖ１’及びｖ２’は、次の式（６）によって表される。
【数６】
【０１０８】
ここで、ｈは物体検出装置４００の設置高を表す。物体検出装置４００と反射点Ｐ２との高さの差はｈと等しいので、v２’は、車両の速度ｖ０に等しくなる。しかしながら、反射点Ｐ１と物体検出装置４００との高さの差はｈよりも小さくなるので、ｖ１’は車両速度ｖ０よりも大きくなる。すなわち、ｖ１’には、誤差が含まれる。また、速度発生地点も、図２０Ｂに示すように、実際の速度発生地点ｄ０より近い点に変換されてしまう。このように誤差を含んだ速度発生位置及び速度値が、速度分布生成部２０９に入力されることになる。
【０１０９】
そこで、本実施の形態では、フィルタ部４０１において、速度分布生成部２０９によって生成された移動速度マップ情報に対して、移動速度マップ情報の視差座標を物体検出装置４００の設置高さに応じた分だけ視差が大きくなる方向にシフトさせる特性を有する平滑化フィルタを用いた平滑化処理が施される。これにより、速度発生位置及び速度値に含まれる誤差に対応する誤差成分を移動速度マップ情報から除去することができる。そして、検出物体領域補正部１０３がこの誤差成分が除去された移動速度マップ情報に基づいて検出物体領域補正処理を行うことができるので、物体検出精度を向上させることができる。
【０１１０】
［実施の形態６］
実施の形態５では、フィルタを用いて速度発生位置及び速度値に含まれる誤差に対応する誤差成分を移動速度マップ情報から除去した。これに対して、実施の形態６では、座標変換後のカメラマップ情報を用いて速度発生位置及び速度値に含まれる誤差に対応する誤差成分を移動速度マップ情報から除去する。実施の形態６で説明する処理は、実施の形態１、実施の形態２、実施の形態３、及び実施の形態４のいずれにも適用可能である。
【０１１１】
図２１は、本発明の実施の形態６に係る物体検出装置５００の構成を示す。図２１において、物体検出装置５００は、速度マップ情報補正部５０１を有する。
【０１１２】
速度マップ情報補正部５０１は、座標変換部２０５において算出される、画像平面座標（Ｕ，Ｖ）内のカメラ距離マップ情報（図２２Ａ参照）が画像平面座標（Ｕ’，Ｖ’）に投影されたカメラ距離マップ情報（図２２Ｂ参照）を取得する。
【０１１３】
そして、速度マップ情報補正部５０１は、この画像平面座標（Ｕ’，Ｖ’）に投影されたカメラ距離マップ情報を用いて、速度分布生成部２０９において生成された移動速度マップ情報を補正する。
【０１１４】
具体的には、速度マップ情報補正部５０１は、画像平面座標（Ｕ’，Ｖ’）に投影されたカメラ距離マップ情報において、Ｖ’座標（つまり、物体の高さ情報に相当する）と視差値（つまり、物体の距離値に相当する）とに基づいて、実際の距離よりも物体検出装置５００に近い側（つまり、視差値が小さい側）に変換された（Ｕ’，Ｖ’）座標を特定する。そして、速度マップ情報補正部５０１は、当該特定された（Ｕ’，Ｖ’）座標に対応する移動速度マップ情報における（Ｕ’，ｄ）座標の速度値をゼロにすることにより、移動速度マップ情報を補正する。
【０１１５】
速度値がゼロに補正される、（Ｕ’，ｄ）座標系における座標は、次のように表される。
【数７】
ただし、ｈは、物体検出装置５００の設置位置の高さを表す。
【０１１６】
速度値がゼロに補正される、（Ｕ’，ｄ）座標系における座標は、図２０Ｂにおけるｄ０’に相当する。すなわち、速度マップ情報補正部５０１による補正処理によって、このｄ０’に対応する誤差成分を除去することができる。この誤差成分の除去により、物体検出装置５００は、対象物体の高さに影響されることなく正確な物体位置と速度の検出が可能となる。
【０１１７】
［他の実施の形態］
（１）実施の形態１乃至６においては、物体候補点抽出処理の対象を合成マップ情報として説明した。しかしながら、本発明はこれに限定されるものではなく、距離マップ情報算出部２０３において得られるカメラ距離マップ情報を物体候補点抽出処理の対象としても良い。すなわち、合成部２０７は、必須の構成要素ではない。また、この場合には、距離マップ情報算出部２０４及び座標変換部２０６も必須の構成要素ではない。
【０１１８】
（２）実施の形態１乃至６では、検出物体領域設定部１０２が物体候補点群に対してラベリングする際に移動速度マップ情報を用いていないが、用いることもできる。この場合には、上記した（条件１）及び（条件２）に続く（条件３）として次の条件が用いられる。
【０１１９】
（条件３）条件２にて第２種ラベルが付与された物体候補点群のそれぞれに対応する速度値を移動速度マップ情報から取得し、取得した複数の速度値の平均値を算出し、条件２にて第２種ラベルが付与された物体候補点群の内、その算出された平均値との差が予め決められた値Ｖの範囲内に収まる速度値を持つ物体候補点に対して、第１種ラベル及び第２種ラベルと異なる第３種ラベルを付与する。
【０１２０】
そして、検出物体領域設定部１０２は、第３種ラベルが付与された物体候補点群をすべて含む矩形（つまり、検出物体領域候補）を生成し、当該検出物体領域候補によって規定される検出物体領域を設定する。ただし、生成しようとする検出物体領域候補の内側に他の検出物体領域候補が存在する場合、その検出物体領域候補を含まない矩形を生成する。また、生成した検出物体領域候補内に当てはまらなかった物体候補点に関しては、再度、条件１からラベリング処理を施す。
【０１２１】
このように検出物体領域設定処理においても、速度分布生成部２０９において生成された移動速度マップ情報（又は、フィルタ等によって補正された移動速度マップ情報）を用いることにより、物体検出精度を向上させることができる。
【０１２２】
（３）実施の形態３では、検出物体領域補正部１０３が誤結合補正処理部１３１と検出長補正処理部１４１とを有する構成を説明し、実施の形態４では、検出物体領域補正部１０３が誤結合補正処理部１３１と誤分離補正処理部１５１とを有する構成を説明した。しかしながら、これに限定されるものではなく、検出物体領域補正部１０３が誤結合補正処理部１３１と検出長補正処理部１４１と誤分離補正処理部１５１とを有する構成としても良い。この場合には、誤結合補正処理部１３１と検出長補正処理部１４１と誤分離補正処理部１５１とは、この順番で接続される。そして、誤結合補正処理部１３１及び検出長補正処理部１４１の処理が終わった後に、誤分離補正処理部１５１が処理対象である複数の検出物体領域に対して処理を行う。
【０１２３】
（４）上記各実施の形態において説明した物体検出装置では、ミリ波レーダ２０２のアンテナ及びステレオカメラ２０１の撮像素子の光学部分と、その他の機能部とをそれぞれ別の筐体に分けて配置しても良い。その場合の物体検出装置からの距離は、ミリ波レーダ２０２のアンテナ及びステレオカメラ２０１の撮像素子の光学部分を含むセンサー部分からの距離と定義される。
【０１２４】
（５）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。
【０１２５】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１２６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０１２７】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【０１２８】
本発明の物体検出装置及び物体検出方法は、誤結合検出を防止することにより、物体検出精度を向上させることができるものとして有用である。
【符号の説明】
【０１２９】
１００ 物体検出処理装置
１０１ 物体候補点抽出部
１０２ 検出物体領域設定部
１０３ 検出物体領域補正部
１３１ 誤結合補正処理部
１４１ 検出長補正処理部
１５１ 誤分離補正処理部
２００，３００，４００，５００ 物体検出装置
２０１ ステレオカメラ
２０２ ミリ波レーダ
２０３，２０４ 距離マップ情報算出部
２０５，２０６，２０８ 座標変換部
２０７ 合成部
２０９ 速度分布生成部
３０１，４０１ フィルタ部
５０１ 速度マップ情報補正部
【技術分野】
【０００１】
本発明は、物体検出装置及び物体検出方法に関する。
【背景技術】
【０００２】
従来、ミリ波レーダ及びステレオカメラの両方を利用した物体測位検出装置が提案されている。一般的に、物体検出装置では、検出対象エリアに物体が存在しているのにも関わらず検出できないこと（つまり、未検出）、検出対象エリアに物体が存在していないのにも関わらず検出してしまうこと（つまり、誤検出）、又は、物体を検出できたとしても、複数の物体を単一の物体として検出してしまうこと（つまり、誤結合検出）、若しくは、単一の物体を複数の物体と検出してしまうこと（つまり、誤分離検出）が起こりうる。
【０００３】
このような検出ミスを回避する工夫として、例えば、検出閾値を調整することが行われている。この検出閾値は、ミリ波レーダでは、電波反射強度値に対して設定され、ステレオカメラでは、視差抽出量に対して設定される。
【０００４】
しかしながら、こうした検出閾値の調整だけでは、未検出及び誤検出を防ぐことはできても、誤結合検出又は誤分離検出を完全に防ぐことは困難である。
【０００５】
このような課題に対して、特許文献１には、誤分離検出を防ぐ物体検出装置が開示されている。具体的には、当該物体検出装置では、まず、ステレオカメラによって撮像されたステレオ画像を用いて検出対象物体候補群を検出する。次に、各検出対象物体候補に対応する画像領域内の各画素の輝度値に基づいて、複数の検出対象物体候補を結合して１つの検出対象物体候補として扱うか否かを決定する際に用いる閾値が変更される。
【０００６】
また、特許文献２では、誤分離検出及び誤結合検出の頻度を低減するために、ミリ波レーダによって検出された検出対象物体候補群を結合して１つの検出対象物体として扱うか否かを決定する基準（つまり、結合条件）として、検出対象物体の想定サイズが用いられている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２２４９３６号公報
【特許文献２】特開２００５−１８２１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記した特許文献１のように、複数の検出対象物体候補が１つの物体に属するか否かを判定する基準として輝度値を用いる場合には、検出対象物体候補間で輝度値の違いが少ない場合（例えば、複数の検出対象物体候補が同じ色の複数の車両に相当する場合、又は、複数の検出対象物体候補が同じ色の服装をした複数の人物に相当する場合）には、誤結合検出が起こってしまう。
【０００９】
また、上記した特許文献２のように、複数の検出対象物体候補が１つの物体に属するか、又は、複数の検出対象物体候補がそれぞれ異なる物体に属するのかを決定する基準として検出対象物体の想定サイズを用いる場合には、検出対象物体が想定される姿勢と異なるとき（例えば、車両が横向きのとき）、又は、小さいサイズの複数の物体が近接しているとき（例えば、小型車と二輪車とが併走しているとき）等には、誤分離検出又は誤結合検出が起こりうる。
【００１０】
本発明の目的は、誤結合検出を防止することにより、物体検出精度を向上させることができる、物体検出装置及び物体検出方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明の一態様の物体検出装置は、画像平面内の座標群とステレオカメラによって撮影された画像に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報、又は、前記カメラ距離マップ情報と、前記画像平面内の座標群とレーダによって検出された情報に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び前記所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出する候補点抽出手段と、前記抽出された候補点群を、各候補点に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、前記画像平面内の領域を、第１検出物体領域として設定する設定手段と、前記画像平面内の座標群と、前記レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、前記第１検出物体領域を補正する補正手段と、を具備する。
【００１２】
本発明の一態様の物体検出方法は、画像平面内の座標群とステレオカメラによって撮影された画像に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報、又は、前記カメラ距離マップ情報と、前記画像平面内の座標群とレーダによって検出された情報に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び前記所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出し、前記抽出された候補点群を、各候補点に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、前記画像平面内の領域を、検出物体領域として設定し、前記画像平面内の座標群と、前記レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、前記検出物体領域を補正する。
【発明の効果】
【００１３】
本発明によれば、誤結合検出を防止することにより、物体検出精度を向上させることができる、物体検出装置及び物体検出方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１に係る物体検出処理装置の主要構成を示すブロック図
【図２】本発明の実施の形態１に係る物体検出装置の構成を示すブロック図
【図３】ステレオ画像を示す図
【図４】カメラ距離マップ情報の一例を示す図
【図５】検出装置の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）を示す図
【図６】実施の形態１における検出物体領域補正部の構成を示すブロック図
【図７】座標変換処理の説明に供する図
【図８】座標変換処理の説明に供する図
【図９】速度分布生成処理の説明に供する図
【図１０】検出物体領域設定処理の説明に供する図
【図１１】検出物体領域補正処理の説明に供する図
【図１２】本発明の実施の形態２に係る物体検出装置の構成を示すブロック図
【図１３】平滑化処理後の移動速度マップ情報の一例を示す図
【図１４】本発明の実施の形態３に係る検出物体領域補正部の構成を示すブロック図
【図１５】検出物体領域補正処理の説明に供する図
【図１６】本発明の実施の形態４に係る検出物体領域補正部の構成を示すブロック図
【図１７】検出物体領域補正処理の説明に供する図
【図１８】本発明の実施の形態５に係る物体検出装置の構成を示すブロック図
【図１９】フィルタ部による処理の説明に供する図
【図２０】速度発生位置及び速度値についての誤差の説明に供する図
【図２１】本発明の実施の形態６に係る物体検出装置の構成を示すブロック図
【図２２】速度マップ情報補正部が取得するカメラ距離マップ情報の説明に供する図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
【００１６】
［実施の形態１］
［物体検出処理装置の主要構成］
図１は、本発明の実施の形態１に係る物体検出処理装置１００の主要構成を示す。図１において、物体検出処理装置１００は、物体候補点抽出部１０１と、検出物体領域設定部１０２と、検出物体領域補正部１０３とを有する。
【００１７】
物体検出処理装置１００において、物体候補点抽出部１０１は、基準画像平面内の座標群と、ステレオカメラによって撮影された画像に基づいて得られた各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報から、所定値以上の物体の存在に関する情報及び所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出する。又は、物体候補点抽出部１０１は、カメラ距離マップ情報と、基準画像平面内の座標群とレーダによって検出された情報に基づいて得られた各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出する。
【００１８】
そして、検出物体領域設定部１０２は、物体候補点抽出部１０１において抽出された候補点群を、各候補点群に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、基準画像平面内の領域を、検出物体領域として設定する。
【００１９】
そして、検出物体領域補正部１０３は、基準画像平面内の座標群と、レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、検出物体領域設定部１０２によって設定された検出物体領域を補正する。
【００２０】
ここで、カメラ距離マップ情報における「物体の存在に関する情報」とは、例えば、視差値、又は、距離値、又は視差値のヒストグラムである。一方、レーダ距離マップ情報における「物体の存在に関する情報」とは、例えば、距離値、又は、反射電力強度である。また、合成マップ情報における「物体の存在に関する情報」とは前述のカメラ距離マップ情報及びレーダ距離マップ情報における物体の存在に関する情報を基に算出した合成値である。
【００２１】
［物体検出装置の構成］
図２は、本発明の実施の形態１に係る物体検出装置２００の構成を示す。物体検出装置２００は、物体検出処理装置１００を含んでいる。図２において、物体検出処理装置２００は、物体候補点抽出部１０１と、検出物体領域設定部１０２と、検出物体領域補正部１０３と、ステレオカメラ２０１と、ミリ波レーダ２０２と、距離マップ情報算出部２０３，２０４と、座標変換部２０５，２０６，２０８と、合成部２０７と、速度分布生成部２０９とを有する。ステレオカメラ２０１と距離マップ情報算出部２０３とは、第１の測位系を構成し、ミリ波レーダ２０２と距離マップ情報算出部２０４とは、第２の測位系を構成する。
【００２２】
ステレオカメラ２０１は、複数のカメラから構成され、当該複数のカメラで撮影したカメラ画像（つまり、ステレオ画像）を距離マップ情報算出部２０３へ出力する。
【００２３】
例えば、ステレオカメラ２０１は、２つのカメラで構成される。そして、当該２つのカメラは、例えば、２０センチメートル離れた位置に並列配置される。この状態のステレオカメラ２０１によって２０メートル程度離れた位置に存在する車両を撮影した画像が、図３に示されている。図３Ａは、撮影方向に向かって左側に配設されたカメラによって撮影された画像（つまり、左カメラ画像）が示され、図３Ｂには、撮影方向に向かって右側に配設されたカメラによって撮影された画像（つまり、右カメラ画像）が示されている。
【００２４】
距離マップ情報算出部２０３は、ステレオカメラ２０１から出力されたステレオ画像に基づいて、カメラ距離マップ情報を算出する。具体的には、距離マップ情報算出部２０３は、左カメラ画像と右カメラ画像とにおいて同一対象物が映っている位置のズレ（つまり、視差）に基づいて、その対象物とステレオカメラ２０１との離間距離を算出する。距離マップ情報算出部２０３は、左カメラ画像及び右カメラ画像の全画素についてこの離間距離を算出することにより、カメラ距離マップ情報を算出する。
【００２５】
対象物とステレオカメラ２０１との離間距離は、例えば、次の式（１）によって算出することができる。
【数１】
ただし、Ｚは、ステレオカメラから対象物までの距離[m]、Ｂは、カメラ間隔[m]、ｆは、カメラの焦点距離[m]、Ｐｘは、画像水平軸方向における１画素あたりの長さ[m/pixel]、ｄは、視差[pixel]である。
【００２６】
より詳細には、視差は、例えば、次の方法によって算出される。左カメラ画像及び右カメラ画像の内の一方を基準画像、もう一方を参照画像とする。先ず、基準画像から所定サイズ（例えば、４×４画素）の部分画像（つまり、部分基準画像）を設定する。また、参照画像内で、所定サイズの探索範囲（例えば、数十画素程度）を設定する。そして、この探索範囲内で、部分基準画像と同じサイズの部分参照画像をその位置を順次ずらしながら設定し、部分基準画像と各部分参照画像との輝度値に基づいて評価関数を計算することにより、部分基準画像と対応する部分参照画像を特定する。この部分基準画像と特定された部分参照画像とのズレが視差に対応する。
【００２７】
このような処理によって視差が算出されるので、部分基準画像及び部分参照画像における輝度値変化が少ない場合には、有効な視差が求まらない。すなわち、例えば、車両の天井又は路面のような模様の少ない撮影対象面に関しては、視差を得ることが難しい。
【００２８】
図４は、カメラ距離マップ情報の一例を示す。図４に示されるカメラ距離マップ情報は、図３に示される右カメラ画像及び左カメラ画像から求められたものである。図４においては、「物体の存在に関する情報」として、視差値が用いられている。そして、視差の大小が濃淡として表されており、視差の求められない領域は、視差値がゼロとされるので、白色で示されている。また、図４に示されるＵ，Ｖは、実空間座標（Ｘ，Ｙ，Ｚ）と区別される、画像平面座標を示している。画像平面座標系において、各座標は、ピクセルに対応し、画像横方向をＵ座標，画像縦方向をＶと定義している。
【００２９】
図２に戻り、ミリ波レーダ２０２は、ミリ波を放射し、当該放出されたミリ波の反射波を検出する。そして、ミリ波レーダ２０２は、検出結果を距離マップ情報算出部２０４へ出力する。
【００３０】
ミリ波レーダ２０２は、例えば、ＦＭＣＷ方式が適用され、ビーム幅が狭い電波を出力できるアンテナを具備する。そして、ミリ波レーダ２０２は、そのアンテナを機械的に回転させた上で反射波を受信する。因みに、ＦＭＣＷ方式によれば、ミリ波レーダ２０２から対象物体までの距離及び方向、対象物体の移動速度、並びに、対象物体からの反射電力強度を取得することができる。
【００３１】
距離マップ情報算出部２０４は、ミリ波レーダ２０２から出力された検出結果に基づいて、レーダ距離マップ情報を算出する。ミリ波レーダ２０２によって直接的に取得される「対象物体の移動速度」はドップラー速度である。すなわち、対象物体からミリ波レーダ２０２の設置位置へ向かう方向の速度である。
【００３２】
座標変換部２０５は、カメラ距離マップ情報を座標変換することにより、カメラ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部２０５において用いられる「基準座標系」は、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。図５に、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）について示す。
【００３３】
具体的には、座標変換部２０５は、２つのステップによってカメラ距離マップ情報の座標変換処理を行う。この処理の詳細については、後述する。
【００３４】
座標変換部２０６は、レーダ距離マップ情報を座標変換することにより、レーダ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部２０６において用いられる「基準座標系」も、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。
【００３５】
具体的には、座標変換部２０６は、２つのステップによってレーダ距離マップ情報の座標変換処理を行う。この処理の詳細については、後述する。
【００３６】
合成部２０７は、座標変換部２０５において座標変換されたカメラ距離マップ情報と、座標変換部２０６において座標変換されたレーダ距離マップ情報とを合成し、「合成マップ情報」を生成する。
【００３７】
座標変換部２０８は、ミリ波レーダ２０２によって直接的に取得された移動速度マップ情報を、物体検出装置２００の仮想設置位置を路面上とした場合の移動速度マップ情報に変換する。すなわち、変換後の移動速度の基準は、物体検出装置２００の仮想設置位置となる。この座標変換部２０８によって得られた、変換後の移動速度マップ情報は、速度分布生成部２０９へ出力される。
【００３８】
速度分布生成部２０９は、座標変換部２０８から受け取る変換後の移動速度マップ情報を補正することにより、座標変換部２０５によって座標変換されたカメラ距離マップ情報の解像度と一致する移動速度マップ情報を生成する。
【００３９】
物体候補点抽出部１０１は、合成部２０７において形成された合成マップ情報において、所定値以上の合成値を持つすべての座標と各座標の合成値とを抽出し、抽出された情報を検出物体領域設定部１０２へ出力する。この所定値以上の合成値を持つ座標は、「物体候補点」と呼ばれる。
【００４０】
検出物体領域設定部１０２は、物体候補点抽出部１０１において抽出された物体候補点群を、各物体候補点に対応付けられている合成値に基づいてグルーピングし、１つにグルーピングされた複数の物体候補点を含む領域（以下では、「検出物体領域」と呼ばれることがある）を設定する。
【００４１】
検出物体領域補正部１０３は、検出物体領域設定部１０２において設定された検出物体領域を、速度分布生成部２０９において生成された移動速度マップ情報に基づいて補正することにより、最終的な検出物体領域を設定する。
【００４２】
具体的には、実施の形態１における検出物体領域補正部１０３は、図６に示すように、誤結合補正処理部１３１を有する。誤結合補正処理部１３１は、検出物体領域設定部１０２において設定された検出物体領域に対応する、速度分布生成部２０９において生成された移動速度マップ情報における対応領域を、Ｕ’軸方向に同じ大きさを持つ複数の部分領域に分割する。そして、誤結合補正処理部１３１は、その複数の部分領域の内の代表部分領域と、当該代表部分領域を除く各部分領域との、速度値についての相関値を算出する。そして、誤結合補正処理部１３１は、算出された相関値の分布に基づいて、検出物体領域設定部１０２において設定された検出物体領域を補正することにより、最終的な検出物体領域を設定する。
【００４３】
［物体検出装置２００の動作］
以上の構成を有する物体検出装置２００の動作について説明する。
【００４４】
＜座標変換処理１＞
座標変換部２０５は、カメラ距離マップ情報を座標変換することにより、カメラ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部２０５において用いられる「基準座標系」は、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。
【００４５】
具体的には、座標変換部２０５は、次の２つのステップによってカメラ距離マップ情報の座標変換処理を行う。
【００４６】
（１）座標変換部２０５は、物体検出装置２００が実際に設置されている位置から撮影された画像を用いて得られた、画像平面座標（Ｕ，Ｖ）内のカメラ距離マップ情報（図７Ａ参照）を、画像平面座標（Ｕ’，Ｖ’）に投影することにより、座標変換を行う。
【００４７】
具体的には、座標変換前の座標点のベクトルｕ＾＝（ｕ，ｖ，１，ｄ）、座標変換後の座標点のベクトルｕ＾’＝（ｕ’，ｖ’，１，ｄ’）とすると、ｕ＾’＝Ｓ−１ＤＳｕ＾の関係が成り立つ。ここで、Ｄは、ステレオカメラの設置パラメータ（設置高、回転角度）を含む変換行列を表し、Ｓは、カメラ補正パラメータ（カメラ間隔又は焦点距離など）の行列を表す。
【００４８】
（２）座標変換部２０５は、画像平面座標系（Ｕ’，Ｖ’）のカメラ距離マップ情報から、各Ｕ’座標におけるＶ’方向の視差ヒストグラムを算出する。特に、座標変換部２０５は、Ｖ’座標の範囲を路面より上方の画像に対応する部分に絞って、視差ヒストグラムを算出する。これにより、カメラ距離マップ情報の「基準座標系」への座標変換処理が行われる。「基準座標系」へ座標変換されたカメラ距離マップ情報の一例が、図７Ｂに示されている。
【００４９】
（ｕ’，ｖ’）座標における視差をｄ（ｕ’，ｖ’）、（ｕ’，ｄ）座標における級数をＮ（ｕ’，ｄ）とすると、ｄ（ｕ’，ｖ’）からＮ（ｕ’，ｄ）への変換は、次のように表される。
for（i=０;i<n;i++）{for（j=０;j<m;j++）{N（i,d（i,j））++;}}
ここで、ｎ、ｍは、Ｕ’座標の範囲及びＶ’座標の範囲をそれぞれ表す。
【００５０】
＜座標変換処理２＞
座標変換部２０６は、レーダ距離マップ情報を座標変換することにより、レーダ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部２０６において用いられる「基準座標系」も、物体検出装置２００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。
【００５１】
具体的には、座標変換部２０６は、次の２つのステップによってレーダ距離マップ情報の座標変換処理を行う。
【００５２】
（１）座標変換部２０６は、各方向（つまり、方位角及び俯角のペアにより特定される方向）と各方向の「物体の存在に関する情報」とが対応付けられたレーダ距離マップ情報を、物体検出装置２００の設置平面と平行な面（物体検出装置２００の設置平面も含まれる）に投影することにより、座標変換を行う。この座標変換が行われた後のレーダ距離マップ情報の一例が、図８Ａに示されている。
【００５３】
（２）座標変換部２０６は、物体検出装置２００の設置平面と平行な面に投影されたレーダ距離マップ情報から、各Ｕ’、視差座標における反射電力強度分布を算出する。これにより、レーダ距離マップ情報の「基準座標系」への座標変換処理が行われる。「基準座標系」へ座標変換されたレーダ距離マップ情報の一例が、図８Ｂに示されている。
【００５４】
ここで、ステレオカメラ２０１の設置位置及び角度及びミリ波レーダ２０２の設置位置及び角度が一致すると仮定すれば、座標変換部２０６による反射電力強度分布の算出処理は、前述のカメラ補正パラメータ行列Ｓを用いて、次のように表すことができる。
ｐ＾’＝Ｓ−１ｐ＾
ここで、ベクトルｐ＾＝（ｘ，０，ｚ，１）は、物体検出装置２００の設置平面と平行な面の座標（ｘ，ｚ）を表し、ベクトルｐ＾’＝（ｕ’，０，１，ｄ）は、Ｕ’と視差値とから規定される平面内の座標（ｕ’，ｄ）を表す。
【００５５】
＜距離マップ情報合成処理＞
合成部２０７は、レーダ距離マップ情報とカメラ距離マップ情報との間で対応座標の「物体の存在に関する情報」を相乗平均することにより、カメラ距離マップ情報と、レーダ距離マップ情報とを合成する。これにより、「合成マップ情報」が生成される。なお、合成処理の前に、レーダ距離マップ情報及びカメラ距離マップ情報に対して正規化処理が施されても良い。この正規化処理は、レーダ距離マップ情報（又は、カメラ距離マップ情報）に含まれる（Ｕ’，視差値）座標群のそれぞれに対応付けられたレベル値の内の最大値によって、他のレベル値を除算することにより行われる。
【００５６】
＜座標変換処理３＞
座標変換部２０８は、ミリ波レーダ２０２によって直接的に取得された移動速度マップ情報を、物体検出装置２００の仮想設置位置を路面上とした場合の移動速度マップ情報に変換する。すなわち、変換後の移動速度の基準は、物体検出装置２００の仮想設置位置となる。この座標変換は、例えば、以下の式（２）を用いて行われる。
【数２】
【００５７】
式（２）において、ｈは、ミリ波レーダ２０２の設置位置の高さであり、ｄは、対象物体の検出距離であり、ｖは、対象物体とミリ波レーダ２０２の設置位置とを結ぶ方向に関する移動速度であり、ｖ’は、物体検出装置２００の仮想設置位置を路面上とした場合の移動速度である。すなわち、座標変換部２０８において得られる移動速度マップ情報は、画像平面座標（Ｕ’，Ｖ’）によって表されている。この座標変換部２０８によって得られた、変換後の移動速度マップ情報は、速度分布生成部２０９へ出力される。
【００５８】
＜速度分布生成処理＞
速度分布生成部２０９は、座標変換部２０８から受け取る移動速度マップ情報を補正することにより、座標変換部２０５によって座標変換されたカメラ距離マップ情報の解像度と一致する移動速度マップ情報を生成する。
【００５９】
図９は、速度分布生成処理の説明に供する図である。図９Ａは、座標変換部２０８から受け取る移動速度マップ情報を示す図である。図９Ａにおいては、レーダから遠ざかる方向（視差が大きくなる方向）に向けての速度値の大小が、濃淡として表されている。図９Ｂは、カメラ距離マップ情報の解像度と一致する移動速度マップ情報を示す図である。すなわち、図９Ｂの解像度は、図９Ａの解像度よりも高くなっている。
【００６０】
＜物体候補点抽出処理＞
物体候補点抽出部１０１は、合成部２０７において形成された合成マップ情報において、所定値以上の合成値を持つすべての座標と各座標の合成値とを抽出し、抽出された情報を検出物体領域設定部１０２へ出力する。
【００６１】
＜検出物体領域設定処理＞
検出物体領域設定部１０２は、物体候補点抽出部１０１において抽出された物体候補点群を、各物体候補点に対応付けられている合成値に基づいてグルーピングし、１つのグルーピングされた複数の物体候補点を含む領域（つまり、「検出物体領域」）を設定する。
【００６２】
図１０は、検出物体領域設定処理の説明に供する図である。図１０Ａには、物体候補点抽出部１０１において抽出された物体候補点群が示されている。各物体候補点には、その座標及び合成値が対応付けられている。
【００６３】
そして、検出物体領域設定部１０２は、次の条件を用いて、物体候補点群に対してラベリングする。
【００６４】
（条件１）任意の物体候補点と予め決められた距離Ｄの範囲内に存在する物体候補点に対して、第１種のラベルを付与する。
（条件２）条件１にて第１種のラベルが付与された物体候補点群における合成値の平均値を算出し、条件１にて第１種のラベルが付与された物体候補点群の内、その算出された平均値との差が予め決められた値Ｐの範囲内に収まる合成値を持つ物体候補点に対して、第１種ラベルと異なる第２種ラベルを付与する。
【００６５】
そして、検出物体領域設定部１０２は、第２種ラベルが付与された物体候補点群をすべて含む矩形（つまり、検出物体領域候補）を生成し、当該検出物体領域候補によって規定される検出物体領域を設定する。ただし、生成しようとする検出物体領域候補の内側に他の検出物体領域候補が存在する場合、その検出物体領域候補を含まない矩形を生成する。また、生成した検出物体領域候補内に当てはまらなかった物体候補点に関しては、再度、条件１からラベリング処理を施す。
【００６６】
図１０Ｂには、上記処理により設定された検出物体領域が示されている。図１０Ｂにおける白抜きの点が、条件２において第２種ラベルが付与された物体候補点の例であり、その点を含む矩形が検出物体領域である。
【００６７】
＜検出物体領域補正処理＞
検出物体領域補正部１０３は、検出物体領域設定部１０２において設定された検出物体領域を、速度分布生成部２０９において生成された移動速度マップ情報に基づいて補正することにより、最終的な検出物体領域を設定する。実施の形態１では、検出物体領域補正として、誤結合補正処理が行われる。
【００６８】
検出物体領域補正部１０３の誤結合補正処理部１３１は、検出物体領域設定部１０２において設定された検出物体領域に対応する、速度分布生成部２０９において生成された移動速度マップ情報における対応領域を、同じ大きさを持つ複数の部分領域にＵ’軸方向で分割する。そして、誤結合補正処理部１３１は、その複数の部分領域の内の代表部分領域と、当該代表部分領域を除く各部分領域との、速度値についての相関値を算出する。すなわち、各部分領域から（Ｕ’，視差）座標に対応する速度値から構成されるデータ列（以下では、特に、代表部分領域に対応するデータ列は「サンプル速度分布」と呼ばれることがある）が得られるので、データ列同士の相関値を算出することにより、速度値についての相関値が求められる。そして、誤結合補正処理部１３１は、算出された相関値の分布に基づいて、検出物体領域設定部１０２において設定された検出物体領域を補正することにより、最終的な検出物体領域を設定する。
【００６９】
図１１は、検出物体領域補正処理の説明に供する図である。図１１Ａには、検出物体領域設定部１０２によって設定された検出物体領域の一例が示されている。誤結合補正処理部１３１は、設定された検出物体領域を、Ｕ’座標単位で複数の部分領域に分割する。そして、ここでは、誤結合補正処理部１３１は、最もＵ’座標の小さい部分領域（つまり、Ｕ’座標がＵ’０である部分領域）を代表部分領域として選択している。
【００７０】
この代表部分領域に対応するサンプル速度分布の一例が、図１１Ｂに示されている。そして、誤結合補正処理部１３１は、サンプル速度分布と、代表部分領域を除く各部分領域に対応する速度分布との相関値を算出する。サンプル速度分布（Ｕ’＝Ｕ’０）と、他のＵ’座標の速度分布（Ｕ’＝ｘ）とすると、両分布の相関値ｚ（Ｕ’０，ｘ）は、次の式（３）によって算出される。
【数３】
ただし、式（３）において、ｖ（Ｕ’，ｄ）は、（Ｕ’，ｄ）座標に対応する速度値である。
【００７１】
そして、誤結合補正処理部１３１は、算出された相関値の分布のパターンが分割条件を満たす場合に、検出物体領域設定部１０２において設定された検出物体領域を分割する。
【００７２】
図１１Ｃは、代表部分領域を除く各部分領域について算出された相関値が視差軸に対してプロットされた相関値分布を示す。図１１Ｃに示される相関値分布では、Ｕ’３において相関値が大きく変化する。相関値分布がこのようなパターンを示す場合には、誤結合補正処理部１３１は、検出物体領域設定部１０２において設定された１つの検出物体領域を、Ｕ’３を境界として２つの検出物体領域に分割する。図１１Ｄは、分割された２つの検出物体領域を例示する。この２つの検出物体領域が、実施の形態１では、最終的な検出物体領域となる。
【００７３】
このような分割処理を行う理由は、相関値が大きく変化する箇所がある場合には、検出物体領域設定部１０２における誤結合によって複数の物体が同一物体として検出されており、相関値が大きく変化した座標に物体の境界が存在するものと判断できるからである。
【００７４】
こうして設定された最終的な検出物体領域（つまり、物体検出結果）は、例えば、表示装置（図示せず）に出力されて、右画像（又は左画像）と重畳されて表示されても良いし、交通信号制御装置などの制御装置（図示せず）へ出力されて活用されても良い。
【００７５】
以上のように本実施の形態によれば、物体検出装置２００において、検出物体領域補正部１０３が、基準画像平面内の座標群と、レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、検出物体領域設定部１０２によって設定された検出物体領域を補正する。
【００７６】
こうすることで、検出物体領域が誤結合の結果として得られたものであっても、その検出物体領域を移動速度マップ情報を用いて修正することができる。この結果、物体検出精度を向上させることができる。
【００７７】
なお、上記説明では、複数の部分領域は、Ｕ’座標方向で検出物体領域設定部１０２において設定された検出物体領域が分割されることにより形成されたが、これに限定されるものではなく、視差軸方向で分割されることにより形成されても良い。要は、誤結合補正処理部１３１は、検出物体領域設定部１０２において設定された検出物体領域に対応する移動速度マップ情報における対応領域がＵ’軸方向又は視差軸方向で同じ大きさに分割された複数の部分領域における、部分領域間の相関値に基づいて、検出物体領域設定部１０２において設定された検出物体領域を分割できれば良い。
【００７８】
［実施の形態２］
実施の形態２では、検出物体領域補正処理に用いられる移動速度マップ情報に対してフィルタリング処理を事前に行う。
【００７９】
図１２は、本発明の実施の形態２に係る物体検出装置３００の構成を示す。図１２において、物体検出装置３００は、フィルタ部３０１を有する。
【００８０】
フィルタ部３０１は、速度分布生成部２０９によって生成された移動速度マップ情報に対して、平滑化処理を施す。これにより、移動速度マップ情報の（Ｕ’，視差）平面内における速度値分布を滑らかにすることができる。図１３には、平滑化処理後の移動速度マップ情報の一例が示されている。
【００８１】
一般に、ステレオカメラによって生成される距離マップ情報の解像度は、ミリ波レーダによって生成される距離マップ情報の解像度よりも高い。従って、座標変換部２０８において得られる移動速度マップ情報の分布は、座標変換部２０５において得られるカメラ距離マップ情報の分布よりも粗くなる傾向がある。そこで、速度分布生成部２０９によって生成された移動速度マップ情報に対して、平滑化処理を施すことにより、移動速度マップ情報の（Ｕ’，視差）平面内における速度値分布を滑らかにする。これにより、後段の検出物体領域補正処理において、例えば領域長補正の解像度を高めることができ、より正確な検出物体領域補正が可能となる。
【００８２】
［実施の形態３］
実施の形態３では、検出物体領域補正処理として、誤結合補正処理に加えて、検出長補正処理が行われる。実施の形態３で説明する処理は、実施の形態１及び実施の形態２のいずれにも適用可能である。実施の形態３に係る物体検出装置の基本構成は、実施の形態１に係る物体検出装置２００と同様であるので、図２を援用して説明する。
【００８３】
実施の形態３における物体検出装置２００の検出物体領域補正部１０３は、図１４に示すように、誤結合補正処理部１３１と、検出長補正処理部１４１とを有する。
【００８４】
検出長補正処理部１４１は、誤結合補正処理部１３１において分割された複数の検出物体領域のそれぞれに対して、基本的には、誤結合補正処理部１３１と同じ処理を行う。すなわち、検出長補正処理部１４１は、誤結合補正処理部１３１において設定された検出物体領域に対応する、速度分布生成部２０９において生成された移動速度マップ情報における対応領域を同じ大きさを持つ複数の部分領域にＵ’軸方向又は視差軸方向で分割する。
【００８５】
ただし、検出長補正処理部１４１は、誤結合補正処理部１３１において分割した方向と異なる方向で分割する。すなわち、誤結合補正処理部１３１においてＵ’軸方向で分割された場合には、検出長補正処理部１４１は、視差軸方向で分割し、誤結合補正処理部１３１において視差軸方向で分割された場合には、検出長補正処理部１４１は、Ｕ’軸方向で分割する。ここでは、検出長補正処理部１４１が視差軸方向で分割する場合について説明する。
【００８６】
そして、検出長補正処理部１４１は、その複数の部分領域の内の代表部分領域と、当該代表部分領域を除く各部分領域との、速度値についての相関値を算出する。すなわち、各部分領域から（Ｕ’，視差）座標に対応する速度値から構成されるデータ列（つまり、「サンプル速度分布」）が得られるので、データ列同士の相関値を算出することにより、速度値についての相関値が求められる。
【００８７】
そして、検出長補正処理部１４１は、算出された相関値の分布に基づいて、検出物体領域設定部１０２において設定された検出物体領域を補正することにより、最終的な検出物体領域を設定する。
【００８８】
図１５は、検出物体領域補正処理の説明に供する図である。図１５Ａは、誤結合補正処理部１３１において設定された２つの検出物体領域の一例を示す。
【００８９】
検出長補正処理部１４１は、設定された検出物体領域を、視差座標単位で複数の部分領域に分割する。そして、ここでは、検出長補正処理部１４１は、最も視差座標の大きい部分領域（つまり、視差座標がｄ０である部分領域）を代表部分領域として選択している。そして、検出長補正処理部１４１は、この代表部分領域に対応するサンプル速度分布（図示せず）と、代表部分領域を除く各部分領域に対応する速度分布との相関値を算出する。サンプル速度分布の視差ｄをｄ０、他の視差座標の速度分布の視差をｄ＝ｘとすると、両分布の相関値ｚ（ｄ０，ｘ）は、次の式（４）によって算出される。
【数４】
ただし、式（４）において、ｖ（Ｕ’，ｄ）は、（Ｕ’，ｄ）座標に対応する速度値である。
【００９０】
そして、検出長補正処理部１４１は、算出された相関値の分布のパターンが分割条件を満たす場合に、誤結合補正処理部１３１において設定された検出物体領域を分割する。図１５Ｂは、代表部分領域を除く各部分領域について算出された相関値が視差軸に対してプロットされた相関値分布を示す。図１５Ｂに示される相関値分布では、ｄ３において相関値が大きく変化する。相関値分布がこのようなパターンを示す場合には、検出長補正処理部１４１は、誤結合補正処理部１３１において設定された１つの検出物体領域を、ｄ３を境界として２つの検出物体領域に分割する。図１５Ｃに分割された２つの検出物体領域を例示する。
【００９１】
ただし、検出長補正処理部１４１は、誤結合補正処理部１３１と異なり、この２つの検出物体領域の内、代表部分領域が含まれる検出物体領域のみを最終的な検出物体領域として設定する。
【００９２】
以上の処理構成により、本物体検出装置は、検出物体領域の大きさを補正することが出来るようになるため、より検出対象物体の実際の大きさに合わせた検出物体領域を生成することが出来る。
【００９３】
［実施の形態４］
実施の形態４では、検出物体領域補正処理として、誤結合補正処理に加えて、誤分離補正処理が行われる。実施の形態４で説明する処理は、実施の形態１及び実施の形態２のいずれにも適用可能である。実施の形態４に係る物体検出装置の基本構成は、実施の形態１に係る物体検出装置２００と同様であるので、図２を援用して説明する。
【００９４】
実施の形態４における物体検出装置２００の検出物体領域補正部１０３は、図１６に示すように、誤結合補正処理部１３１と、誤分離補正処理部１５１とを有する。
【００９５】
誤分離補正処理部１５１は、処理対象である複数の検出物体領域のそれぞれにおいて、平均速度分布を算出する。この処理対象である複数の検出物体領域には、検出物体領域設定部１０２において設定され且つ誤結合補正処理部１３１において分割されなかった検出物体領域又は誤結合補正処理部１３１において設定された検出物体領域が含まれる。誤分離補正処理部１５１は、処理対象である各検出物体領域において、Ｕ’軸方向又は視差軸方向で速度値の平均値を算出することにより、平均速度分布を算出する。
【００９６】
例えば、誤分離補正処理部１５１は、処理対象の検出物体領域において、Ｕ’軸座標が共通し且つ視差座標が異なる複数の座標に対応する複数の速度値を平均化することにより、１つのＵ’軸座標に対応する平均値を算出する。そして、誤分離補正処理部１５１は、処理対象の検出物体領域における、全てのＵ’軸座標について平均値を算出する。これにより、誤分離補正処理部１５１は、処理対象の検出物体領域における、各Ｕ’座標に対応する速度平均値から構成されるデータ列（つまり、「平均速度分布」）が算出される。
【００９７】
そして、誤分離補正処理部１５１は、処理対象である複数の検出物体領域のそれぞれについて算出された平均速度分布の間の相関値を算出する。
【００９８】
そして、誤分離補正処理部１５１は、算出された相関値が結合基準閾値を超える場合には、その相関値の算出に用いられた２つの平均速度分布に対応する２つの検出物体領域を含む矩形領域を１つの検出物体領域として設定する。
【００９９】
図１７は、検出物体領域補正処理の説明に供する図である。図１７Ａには、処理対象である３つの検出物体領域（Ａ〜Ｃ）が示されている。誤分離補正処理部１５１は、検出物体領域Ａ〜Ｃのそれぞれについて平均速度分布を算出する。図１７Ｂには、検出物体領域Ａ〜Ｃのそれぞれについて算出された平均速度分布の一例が示されている。そして、誤分離補正処理部１５１は、検出物体領域Ａ〜Ｃのそれぞれについて算出された平均速度分布の間の相関値を算出する。そして、誤分離補正処理部１５１は、算出された相関値が結合基準閾値を超える場合には、その相関値の算出に用いられた２つの平均速度分布に対応する２つの検出物体領域を含む矩形領域を１つの検出物体領域として設定する。図１７Ｃには、検出物体領域Ａ，Ｂの平均速度分布間の相関値が結合基準閾値を超えており、検出物体領域Ａ，Ｂを含む矩形領域（同図では、検出物体領域Ａ＋Ｂ）が１つの検出物体領域として設定された様子が示されている。
【０１００】
以上のように、実施の形態４における物体検出装置２００によれば、複数の検出物体領域が同一の物体から生成された領域であるかどうか判断することが可能となり、同一の物体から生成された領域であると判断された場合、その検出物体領域を結合することで、誤分離検出を補正することができる。
【０１０１】
［実施の形態５］
実施の形態５では、検出物体領域補正処理に用いられる移動速度マップ情報に対してフィルタリング処理を事前に行う。実施の形態５で説明する処理は、実施の形態１、実施の形態３、及び実施の形態４のいずれにも適用可能である。
【０１０２】
図１８は、本発明の実施の形態５に係る物体検出装置４００の構成を示す。図１８において、物体検出装置４００は、フィルタ部４０１を有する。
【０１０３】
フィルタ部４０１は、速度分布生成部２０９によって生成された移動速度マップ情報に対して、平滑化処理を施す。この平滑化処理において用いられる平滑化フィルタは、移動速度マップ情報の視差座標を物体検出装置４００の設置高さに応じた分だけ視差が大きくなる方向にシフトさせる特性を有している。すなわち、この平滑化フィルタは、移動速度マップ情報の視差座標を物体検出装置４００の設置高さに応じた分だけ視差が大きくなる方向にシフトさせるような、重み付けが施されている。例えば、この平滑化フィルタを表すフィルタ係数は、式（５）に示す行列式で表される。
【数５】
【０１０４】
なお、式（５）で表されるフィルタ係数は、平滑化処理及びシフト処理の両方について反映されたものである。また、式（５）で表されるフィルタ係数によるシフト量は、視差が大きくなる方向に１視差座標である。また、図１９は、フィルタ部４０１による処理の説明に供する図である。図１９Ａは、速度分布生成部２０９によって生成された移動速度マップ情報を示す。そして、図１９Ｂは、図１９Ａの移動速度マップ情報に対してシフト量（ｄ’０−ｄ０）である平滑化フィルタが適用された後の移動速度マップ情報が示されている。
【０１０５】
ここで、物体検出装置４００の設置位置の高さｈが大きい場合（例えば、物体検出装置４００が信号機の上に設置される場合）、座標変換部２０８によって変換された、物体検出装置４００の仮想設置位置を路面上とした場合の移動速度マップ情報には、速度発生位置及び速度値に多少の誤差が含まれてしまう。
【０１０６】
図２０は、速度発生位置及び速度値についての誤差の説明に供する図である。図２０Ａには、座標ｄ０において速度ｖ０で物体検出装置４００へ近づく車両が示されている。通常、ミリ波レーダ２０２のアンテナビーム幅は、数度である。このため、図２０Ａに示されるように、ミリ波レーダ２０２の１つのアンテナでは、車両の高さが比較的高い場合、車両の路面近くからの反射波、及び、車両天井近くからの反射波の両方が受信されることになる。
【０１０７】
ここで、車両の天井に近い部分に対応する反射点をＰ１、物体検出装置４００からＰ１までの距離をｄ１、車両の路面に近く部分に対応する反射点をＰ２、物体検出装置４００からＰ２までの距離をｄ２とする。上述の通り、座標変換部２０８では、ミリ波レーダ２０２によって直接的に取得された移動速度マップ情報が、物体検出装置４００の仮想設置位置を路面上とした場合の移動速度マップ情報に変換される。そのため、Ｐ１で検出された速度値をｖ１、Ｐ２で検出された速度値をｖ２とし、それぞれの変換後の値をｖ１’、ｖ２’とすると、ｖ１’及びｖ２’は、次の式（６）によって表される。
【数６】
【０１０８】
ここで、ｈは物体検出装置４００の設置高を表す。物体検出装置４００と反射点Ｐ２との高さの差はｈと等しいので、v２’は、車両の速度ｖ０に等しくなる。しかしながら、反射点Ｐ１と物体検出装置４００との高さの差はｈよりも小さくなるので、ｖ１’は車両速度ｖ０よりも大きくなる。すなわち、ｖ１’には、誤差が含まれる。また、速度発生地点も、図２０Ｂに示すように、実際の速度発生地点ｄ０より近い点に変換されてしまう。このように誤差を含んだ速度発生位置及び速度値が、速度分布生成部２０９に入力されることになる。
【０１０９】
そこで、本実施の形態では、フィルタ部４０１において、速度分布生成部２０９によって生成された移動速度マップ情報に対して、移動速度マップ情報の視差座標を物体検出装置４００の設置高さに応じた分だけ視差が大きくなる方向にシフトさせる特性を有する平滑化フィルタを用いた平滑化処理が施される。これにより、速度発生位置及び速度値に含まれる誤差に対応する誤差成分を移動速度マップ情報から除去することができる。そして、検出物体領域補正部１０３がこの誤差成分が除去された移動速度マップ情報に基づいて検出物体領域補正処理を行うことができるので、物体検出精度を向上させることができる。
【０１１０】
［実施の形態６］
実施の形態５では、フィルタを用いて速度発生位置及び速度値に含まれる誤差に対応する誤差成分を移動速度マップ情報から除去した。これに対して、実施の形態６では、座標変換後のカメラマップ情報を用いて速度発生位置及び速度値に含まれる誤差に対応する誤差成分を移動速度マップ情報から除去する。実施の形態６で説明する処理は、実施の形態１、実施の形態２、実施の形態３、及び実施の形態４のいずれにも適用可能である。
【０１１１】
図２１は、本発明の実施の形態６に係る物体検出装置５００の構成を示す。図２１において、物体検出装置５００は、速度マップ情報補正部５０１を有する。
【０１１２】
速度マップ情報補正部５０１は、座標変換部２０５において算出される、画像平面座標（Ｕ，Ｖ）内のカメラ距離マップ情報（図２２Ａ参照）が画像平面座標（Ｕ’，Ｖ’）に投影されたカメラ距離マップ情報（図２２Ｂ参照）を取得する。
【０１１３】
そして、速度マップ情報補正部５０１は、この画像平面座標（Ｕ’，Ｖ’）に投影されたカメラ距離マップ情報を用いて、速度分布生成部２０９において生成された移動速度マップ情報を補正する。
【０１１４】
具体的には、速度マップ情報補正部５０１は、画像平面座標（Ｕ’，Ｖ’）に投影されたカメラ距離マップ情報において、Ｖ’座標（つまり、物体の高さ情報に相当する）と視差値（つまり、物体の距離値に相当する）とに基づいて、実際の距離よりも物体検出装置５００に近い側（つまり、視差値が小さい側）に変換された（Ｕ’，Ｖ’）座標を特定する。そして、速度マップ情報補正部５０１は、当該特定された（Ｕ’，Ｖ’）座標に対応する移動速度マップ情報における（Ｕ’，ｄ）座標の速度値をゼロにすることにより、移動速度マップ情報を補正する。
【０１１５】
速度値がゼロに補正される、（Ｕ’，ｄ）座標系における座標は、次のように表される。
【数７】
ただし、ｈは、物体検出装置５００の設置位置の高さを表す。
【０１１６】
速度値がゼロに補正される、（Ｕ’，ｄ）座標系における座標は、図２０Ｂにおけるｄ０’に相当する。すなわち、速度マップ情報補正部５０１による補正処理によって、このｄ０’に対応する誤差成分を除去することができる。この誤差成分の除去により、物体検出装置５００は、対象物体の高さに影響されることなく正確な物体位置と速度の検出が可能となる。
【０１１７】
［他の実施の形態］
（１）実施の形態１乃至６においては、物体候補点抽出処理の対象を合成マップ情報として説明した。しかしながら、本発明はこれに限定されるものではなく、距離マップ情報算出部２０３において得られるカメラ距離マップ情報を物体候補点抽出処理の対象としても良い。すなわち、合成部２０７は、必須の構成要素ではない。また、この場合には、距離マップ情報算出部２０４及び座標変換部２０６も必須の構成要素ではない。
【０１１８】
（２）実施の形態１乃至６では、検出物体領域設定部１０２が物体候補点群に対してラベリングする際に移動速度マップ情報を用いていないが、用いることもできる。この場合には、上記した（条件１）及び（条件２）に続く（条件３）として次の条件が用いられる。
【０１１９】
（条件３）条件２にて第２種ラベルが付与された物体候補点群のそれぞれに対応する速度値を移動速度マップ情報から取得し、取得した複数の速度値の平均値を算出し、条件２にて第２種ラベルが付与された物体候補点群の内、その算出された平均値との差が予め決められた値Ｖの範囲内に収まる速度値を持つ物体候補点に対して、第１種ラベル及び第２種ラベルと異なる第３種ラベルを付与する。
【０１２０】
そして、検出物体領域設定部１０２は、第３種ラベルが付与された物体候補点群をすべて含む矩形（つまり、検出物体領域候補）を生成し、当該検出物体領域候補によって規定される検出物体領域を設定する。ただし、生成しようとする検出物体領域候補の内側に他の検出物体領域候補が存在する場合、その検出物体領域候補を含まない矩形を生成する。また、生成した検出物体領域候補内に当てはまらなかった物体候補点に関しては、再度、条件１からラベリング処理を施す。
【０１２１】
このように検出物体領域設定処理においても、速度分布生成部２０９において生成された移動速度マップ情報（又は、フィルタ等によって補正された移動速度マップ情報）を用いることにより、物体検出精度を向上させることができる。
【０１２２】
（３）実施の形態３では、検出物体領域補正部１０３が誤結合補正処理部１３１と検出長補正処理部１４１とを有する構成を説明し、実施の形態４では、検出物体領域補正部１０３が誤結合補正処理部１３１と誤分離補正処理部１５１とを有する構成を説明した。しかしながら、これに限定されるものではなく、検出物体領域補正部１０３が誤結合補正処理部１３１と検出長補正処理部１４１と誤分離補正処理部１５１とを有する構成としても良い。この場合には、誤結合補正処理部１３１と検出長補正処理部１４１と誤分離補正処理部１５１とは、この順番で接続される。そして、誤結合補正処理部１３１及び検出長補正処理部１４１の処理が終わった後に、誤分離補正処理部１５１が処理対象である複数の検出物体領域に対して処理を行う。
【０１２３】
（４）上記各実施の形態において説明した物体検出装置では、ミリ波レーダ２０２のアンテナ及びステレオカメラ２０１の撮像素子の光学部分と、その他の機能部とをそれぞれ別の筐体に分けて配置しても良い。その場合の物体検出装置からの距離は、ミリ波レーダ２０２のアンテナ及びステレオカメラ２０１の撮像素子の光学部分を含むセンサー部分からの距離と定義される。
【０１２４】
（５）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。
【０１２５】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１２６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０１２７】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【０１２８】
本発明の物体検出装置及び物体検出方法は、誤結合検出を防止することにより、物体検出精度を向上させることができるものとして有用である。
【符号の説明】
【０１２９】
１００ 物体検出処理装置
１０１ 物体候補点抽出部
１０２ 検出物体領域設定部
１０３ 検出物体領域補正部
１３１ 誤結合補正処理部
１４１ 検出長補正処理部
１５１ 誤分離補正処理部
２００，３００，４００，５００ 物体検出装置
２０１ ステレオカメラ
２０２ ミリ波レーダ
２０３，２０４ 距離マップ情報算出部
２０５，２０６，２０８ 座標変換部
２０７ 合成部
２０９ 速度分布生成部
３０１，４０１ フィルタ部
５０１ 速度マップ情報補正部
【特許請求の範囲】
【請求項１】
画像平面内の座標群とステレオカメラによって撮影された画像に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報、又は、前記カメラ距離マップ情報と、前記画像平面内の座標群とレーダによって検出された情報に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び前記所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出する候補点抽出手段と、
前記抽出された候補点群を、各候補点に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、前記画像平面内の領域を、第１検出物体領域として設定する設定手段と、
前記画像平面内の座標群と、前記レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、前記第１検出物体領域を補正する補正手段と、
を具備する物体検出装置。
【請求項２】
前記補正手段は、
前記設定手段によって設定された検出物体領域に対応する、前記移動速度マップ情報における第１対応領域を、前記画像平面を規定する２つの座標軸の内の一方の座標軸の方向で所定サイズの複数の部分領域に分割し、
前記複数の部分領域の内の代表部分領域と前記代表部分領域を除く部分領域のそれぞれとの、前記検出移動速度に関する相関値を算出し、
前記算出された相関値に基づいて、前記第１検出物体領域を複数の第２検出物体領域に分割する、誤結合補正手段、
を具備する、
請求項１に記載の物体検出装置。
【請求項３】
前記補正手段は、
前記複数の第２検出物体領域に対応する前記移動速度マップ情報における複数の第２対応領域のそれぞれを、前記画像平面を規定する２つの座標軸の内の他方の座標軸の方向で所定サイズの複数の部分領域に分割し、
各第２対応領域において、前記複数の部分領域の内の代表部分領域と前記代表部分領域を除く部分領域のそれぞれとの、前記検出移動速度に関する相関値を算出し、
各第２対応領域を前記算出された相関値に基づいて縮減することにより、第３検出物体領域を形成する、領域長補正手段、
を具備する、
請求項２に記載の物体検出装置。
【請求項４】
前記補正手段は、
前記複数の第２検出物体領域及び前記第３検出物体領域の内の少なくとも２つを処理対象領域群とし、
各処理対象領域において、前記画像平面を規定する２つの座標軸の内の一方の座標軸の任意の座標が共通し且つ他方の座標軸の座標が異なる複数の座標に対応付けられた複数の検出速度値を平均化することにより前記任意の座標の平均値を算出し、
前記各処理対象領域における前記一方の座標軸の全ての座標についての平均値から構成される平均速度分布を算出し、
前記処理対象領域群の内の各２つの処理対象領間域間で平均速度分布の相関値を算出し、
前記算出された平均速度分布間の相関値に基づいて、前記各２つの処理対象領域を含む領域を第４検出物体領域として設定する、誤分離補正手段、
を具備する、
請求項２又は３に記載の物体検出装置。
【請求項５】
前記補正手段において用いられる前記移動速度マップ情報を、平滑化フィルタを用いて平滑化する平滑化処理手段、
を具備する請求項１から４のいずれか一項に記載の物体検出装置。
【請求項６】
前記平滑化フィルタは、前記画像平面を規定する２つの座標軸の内の一方の座標軸の各座標を、自装置が設置される高さに応じた量だけシフトさせる特性を有する、
請求項５に記載の物体検出装置。
【請求項７】
前記画像平面を規定する座標系は、自装置の仮想設置位置を路面上とした場合の画像平面座標系の内の一方の座標軸と視差とによって規定される座標系である、
請求項１から６のいずれか一項に記載の物体検出装置。
【請求項８】
自装置の仮想設置位置を路面上とした場合の画像平面座標系内の座標群と各座標における物体の存在に関する情報とが対応付けられた第２のカメラ距離マップ情報に基づいて、前記移動速度マップ情報を補正する速度マップ情報補正手段、
を具備する請求項１から４のいずれか一項に記載の物体検出装置。
【請求項９】
画像平面内の座標群とステレオカメラによって撮影された画像に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報、又は、前記カメラ距離マップ情報と、前記画像平面内の座標群とレーダによって検出された情報に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び前記所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出し、
前記抽出された候補点群を、各候補点に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、前記画像平面内の領域を、検出物体領域として設定し、
前記画像平面内の座標群と、前記レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、前記検出物体領域を補正する、
物体検出方法。
【請求項１】
画像平面内の座標群とステレオカメラによって撮影された画像に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報、又は、前記カメラ距離マップ情報と、前記画像平面内の座標群とレーダによって検出された情報に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び前記所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出する候補点抽出手段と、
前記抽出された候補点群を、各候補点に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、前記画像平面内の領域を、第１検出物体領域として設定する設定手段と、
前記画像平面内の座標群と、前記レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、前記第１検出物体領域を補正する補正手段と、
を具備する物体検出装置。
【請求項２】
前記補正手段は、
前記設定手段によって設定された検出物体領域に対応する、前記移動速度マップ情報における第１対応領域を、前記画像平面を規定する２つの座標軸の内の一方の座標軸の方向で所定サイズの複数の部分領域に分割し、
前記複数の部分領域の内の代表部分領域と前記代表部分領域を除く部分領域のそれぞれとの、前記検出移動速度に関する相関値を算出し、
前記算出された相関値に基づいて、前記第１検出物体領域を複数の第２検出物体領域に分割する、誤結合補正手段、
を具備する、
請求項１に記載の物体検出装置。
【請求項３】
前記補正手段は、
前記複数の第２検出物体領域に対応する前記移動速度マップ情報における複数の第２対応領域のそれぞれを、前記画像平面を規定する２つの座標軸の内の他方の座標軸の方向で所定サイズの複数の部分領域に分割し、
各第２対応領域において、前記複数の部分領域の内の代表部分領域と前記代表部分領域を除く部分領域のそれぞれとの、前記検出移動速度に関する相関値を算出し、
各第２対応領域を前記算出された相関値に基づいて縮減することにより、第３検出物体領域を形成する、領域長補正手段、
を具備する、
請求項２に記載の物体検出装置。
【請求項４】
前記補正手段は、
前記複数の第２検出物体領域及び前記第３検出物体領域の内の少なくとも２つを処理対象領域群とし、
各処理対象領域において、前記画像平面を規定する２つの座標軸の内の一方の座標軸の任意の座標が共通し且つ他方の座標軸の座標が異なる複数の座標に対応付けられた複数の検出速度値を平均化することにより前記任意の座標の平均値を算出し、
前記各処理対象領域における前記一方の座標軸の全ての座標についての平均値から構成される平均速度分布を算出し、
前記処理対象領域群の内の各２つの処理対象領間域間で平均速度分布の相関値を算出し、
前記算出された平均速度分布間の相関値に基づいて、前記各２つの処理対象領域を含む領域を第４検出物体領域として設定する、誤分離補正手段、
を具備する、
請求項２又は３に記載の物体検出装置。
【請求項５】
前記補正手段において用いられる前記移動速度マップ情報を、平滑化フィルタを用いて平滑化する平滑化処理手段、
を具備する請求項１から４のいずれか一項に記載の物体検出装置。
【請求項６】
前記平滑化フィルタは、前記画像平面を規定する２つの座標軸の内の一方の座標軸の各座標を、自装置が設置される高さに応じた量だけシフトさせる特性を有する、
請求項５に記載の物体検出装置。
【請求項７】
前記画像平面を規定する座標系は、自装置の仮想設置位置を路面上とした場合の画像平面座標系の内の一方の座標軸と視差とによって規定される座標系である、
請求項１から６のいずれか一項に記載の物体検出装置。
【請求項８】
自装置の仮想設置位置を路面上とした場合の画像平面座標系内の座標群と各座標における物体の存在に関する情報とが対応付けられた第２のカメラ距離マップ情報に基づいて、前記移動速度マップ情報を補正する速度マップ情報補正手段、
を具備する請求項１から４のいずれか一項に記載の物体検出装置。
【請求項９】
画像平面内の座標群とステレオカメラによって撮影された画像に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたカメラ距離マップ情報、又は、前記カメラ距離マップ情報と、前記画像平面内の座標群とレーダによって検出された情報に基づいて得られた、各座標における物体の存在に関する情報とが対応付けられたレーダ距離マップ情報との合成マップ情報から、所定値以上の物体の存在に関する情報及び前記所定値以上の物体の存在に関する情報と対応付けられた座標により定義される候補点を抽出し、
前記抽出された候補点群を、各候補点に対応付けられた物体の存在に関する情報に基づいてグルーピングし、１つのグループに含まれるすべての候補点を含む、前記画像平面内の領域を、検出物体領域として設定し、
前記画像平面内の座標群と、前記レーダによって検出された、各座標における検出移動速度とが対応付けられた移動速度マップ情報に基づいて、前記検出物体領域を補正する、
物体検出方法。
【図２】
【図６】
【図１０】
【図１２】
【図１４】
【図１６】
【図１７】
【図１８】
【図２１】
【図１】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１１】
【図１３】
【図１５】
【図１９】
【図２０】
【図２２】
【図６】
【図１０】
【図１２】
【図１４】
【図１６】
【図１７】
【図１８】
【図２１】
【図１】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１１】
【図１３】
【図１５】
【図１９】
【図２０】
【図２２】
【公開番号】特開２０１２−１８９４４５（Ｐ２０１２−１８９４４５Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５３１６６（Ｐ２０１１−５３１６６）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]