車両検出装置、車両検出プログラム、および車両検出方法
【課題】 ミリ波レーダと画像センサを併用することにより、自車両周囲の前方車及び対向車を検出することを可能とする車載型の車両検出技術を提供する。
【解決手段】
発明の一態様は、撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とし、位置取得センサより出力される距離情報と所定の車種パターンに基づいて種々のサイズのウィンドウを画像処理領域内に作成し、該ウィンドウに対し、車両形状モデルを用いて識別処理を行い、車両の存在を示す候補ウィンドウを判定し、候補ウィンドウを所定の条件と照合し車両領域を確定し車両位置を出力することを特徴とする。
【解決手段】
発明の一態様は、撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とし、位置取得センサより出力される距離情報と所定の車種パターンに基づいて種々のサイズのウィンドウを画像処理領域内に作成し、該ウィンドウに対し、車両形状モデルを用いて識別処理を行い、車両の存在を示す候補ウィンドウを判定し、候補ウィンドウを所定の条件と照合し車両領域を確定し車両位置を出力することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両周囲の前方車／対向車を検出することができる車載型の車両検出技術に関する。
【背景技術】
【０００２】
従来、道路上を走行する車両を検出する車両検出方法として、ミリ波レーダを用いた車両検出法が知られている。ミリ波レーダによる車両検出方法では、縦位置（距離）は精度良く取れるが、車両のどこから反射してくるか分からないため横位置の精度が悪くなるという原理的な弱点が存在する。ＰＣＳ（Pre-Crash Safety System ）を始めとする衝突回避システムへミリ波レーダを適用させるためには、車両の横位置を高精度に算出することが必要となる。これに対し、ミリ波レーダと撮像装置とを併用し、車両の認識精度を高くする車輌検出方法が提案されている（例えば、特許文献１、非特許文献１参照）。
【０００３】
特許文献１では、ミリ波レーダが検出した物体位置を物体の中心点と見なし、その点を中心とした検出物体と前回の検出物体とを、距離変化による大きさが考慮されたテンプレートを用いてマッチング処理することにより追跡を行い、テンプレートマッチングで切り出した領域に対し、縦エッジヒストグラムの２点ピーク間の実空間距離を算出し、ミリ波レーダによる検出結果を補正して、物体の位置、幅を出力している。しかし、テンプレートマッチング処理は、検出性能が低く、とくに初回の物体検出を誤ると誤ったトラッキングを行い続けるという問題を抱える。
【０００４】
一方、非特許文献１は、画像特徴量で車両モデルを構築し、複数サイズの識別ウィンドウを移動させて識別処理を行い、複数の識別結果（矩形情報）がある場合は、画像距離の近さの観点からクラスタリングし、クラスタ毎に出力結果を平均化して、最終的な車両位置を求める車両検出方法となっている。
【０００５】
しかしながら、これを毎フレーム、ミリ波対応画像領域に適用しようとすると、図８に示すように、
（１）ミリ波対応画像処理領域において、クラスタリングされた識別結果の中には、正解の車両位置・サイズと著しく異なるものが誤検出として含まれ、単純な平均化では車両検出結果の位置精度が劣化する、
（２）２台の車両が画像上で隣接するような場合には、１つのミリ波対応画像領域に２台の車両が存在し、２台分の識別結果が同一のクラスタに属することになり、平均化された最終結果の精度が悪くなる、
（３）ミリ波対応画像領域は、ミリ波情報に基づいて決定されるが、横方位情報はあるが縦方位情報は存在しないため、ミリ波対応画像領域の上下方向に所定の長さを設けており、これが不適切な場合、路面や上方の構造物に誤検出が発生すると平均化された最終結果の精度が悪くなる、などの問題が生じる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２６９０７３号公報
【非特許文献】
【０００７】
【非特許文献１】P.Negri,X.Clady,and L.Prevost,“Benchmarking haar and histograms of oriented gradients features applied to vehicle detection“,in Proceeding of the 4th International Conference on Informatics in Control,Automation and Robotics(ICINCO’07),pp.359-364,Angers,France,May 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで、上述した問題を解決するために、ミリ波レーダと撮像装置とを用い、ミリ波検出点に対し車両形状モデルに基づく識別処理を行うことにより車両の横位置を高精度に出力する車載型の車両検出技術を提供する。
【課題を解決するための手段】
【０００９】
発明の一つの態様は、ミリ波センサに代表される位置取得センサとＣＣＤ（Charge Coupled Device）カメラ等の画像センサに代表される撮像装置を併用して車両を検出する車載型の車両検出装置であって、前記撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とする位置取得センサ対応画像領域決定部と、前記位置取得センサより出力される距離情報と所定の車種パターンに基づいて種々のサイズの移動するウィンドウを前記画像処理領域内に作成する移動ウィンドウ作成部と、前記移動ウィンドウに対し、メモリに予め格納された車両形状モデルを用いて識別処理を行い、車両らしき物体の存在を示す候補ウィンドウを判定する車両候補領域判定部と、前記候補ウィンドウを所定の条件と照合し車両らしき物体が存在する領域を確定し、車両位置を出力する車両位置決定処理部と、を有することを特徴とする車両検出装置に関する。
【発明の効果】
【００１０】
以上、本発明によれば、画像センサとミリ波レーダとを併用してミリ波検出点に対応する車両横位置の検出を行うことが可能となり、ミリ波レーダの横位置の精度が悪くなるという原理的な弱点を解決するものとなる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態になる車両検出装置の機能ブロック図である。
【図２】本発明の実施の形態になるミリ波対応画像領域設定の概念図（ミリ波検出点が２点の場合）である。
【図３】本発明の実施の形態になる移動ウィンドウ作成の概念図である。
【図４】本発明の実施の形態になる車両追跡処理の概念図である。
【図５】本発明の実施の形態になる重複判定処理部の概念図である。
【図６】本発明の実施の形態になる車両検出装置における動作フローを示す図である。
【図７】本発明の実施の形態になる車両位置決定の処理フローを示す図である。
【図８】従来技術の問題点を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づいて本発明の実施形態について説明する。まず、本実施の形態になるる車載型の車両検出装置の構成について説明する。以下の実施例では、位置取得センサとしてミリ波レーダを適用し、撮像装置としてＣＣＤ（Charge Coupled Device 電荷結合素子）カメラ等の画像センサを適用した例について示しているが、本発明は、ミリ波レーダやＣＣＤに限定されるものではない。
【００１３】
図１は、本発明の実施の形態になる車両検出装置の機能ブロック図を示している。
【００１４】
本発明の車両検出装置は、自車両周辺の所定の領域にある物体までの距離、方位（横方向）、および自車両と検出物体との相対速度を測定するミリ波レーダ（位置取得センサ）２と自車両周辺の所定の領域を含む範囲を撮影する画像センサ（撮像装置）１の２つのセンサを車両内の所定の位置に併置している。
【００１５】
本車両検出装置の画像処理部は、ミリ波レーダ２より取得した車両候補点データと画像センサ１で撮像した画像からミリ波レーダ検出点に対応した画像処理領域を決定するミリ波対応画像領域決定部（位置取得センサ対応画像領域決定部）３、ミリ波対応画像領域決定部３により出力された各画像処理領域にミリ波レーダ２より出力される距離情報と所定の車種パターンに基づいて移動するウィンドウを作成する移動ウィンドウ作成部４、移動ウィンドウ作成部４で出力した各ウィンドウに対し、メモリに予め格納された車両形状モデル１０１を読み込み、該車両形状モデル１０１によって識別処理を行い、車両らしき存在の有無を判定する車両候補領域判定部５、および車両候補領域判定部５で車両らしき物体が存在すると識別された候補ウィンドウから所定の条件に合致する領域を確定し、車両の横位置を出力する車両位置決定部６を有している。
【００１６】
さらに、本車両検出装置は、所定の条件を満たす検出車両が存在する場合、ミリ波レーダ２からの出力データ及び自車速センサ８のデータから次時刻以降の画像センサ１の路面に対する角度であるピッチ角を推定するピッチ角推定部７とその結果を蓄積するメモリ１００を備えている。また、車両位置決定部６は、車両追跡部１１と重複領域判定処理部１２を有している。
【００１７】
車両追跡部１１は、現時刻における検出車両領域を外挿（推定）し、車両候補領域判定部５で出力されるウィンドウと外挿した車両領域とが所定の閾値以上重なっているウィンドウを車両らしき物体が存在すると判定する。
【００１８】
また、重複領域判定処理部１２は、車両候補領域判定部５で車両らしき物体が存在すると識別されたウィンドウと、別の画像処理領域内で既に検出されている車両領域とが、所定の閾値以上重複している場合、信頼性の高い車両候補領域内を優先して車両領域を決定することを特徴とする。
【００１９】
なお、車両検出装置は、図示していないがＣＰＵ（Central Processing Unit ）、メモリを有するコンピュータであり、本装置上で各処理部を動作させるプログラムは補助記憶装置（図にない）に記憶され、装置起動時にメモリに展開してＣＰＵによって実行処理される。また、該プログラムは、フレキシブルディスク、ＣＤ（Compact Disk）、ＭＯ（Magneto-Optical ）等の可搬媒体に格納され、各媒体に応じたディスクドライブで読み取る構成としてもよい。
【００２０】
つぎに、本発明の主な構成要素であるミリ波対応画像領域決定部３、移動ウィンドウ作成部４、車両追跡部１１、および重複領域判定処理部１２に関し、図２〜図５を用いて、その仕組みを説明する。
【００２１】
図２は、ミリ波レーダ２が検出したミリ波検出点が２点の場合を取り上げ、画像センサ１による画像内に各ミリ波検出点に対応する画像処理領域が設定されるミリ波対応画像領域決定の概念図を示している。入力画像全体の中に、ミリ波検出点（１）に対応する画像処理領域（１）とミリ波検出点（２）に対応する画像処理領域（２）の２つの領域が設けられている。
【００２２】
図中、画像処理領域（１）、（２）の中心にあるＡ、Ｂの●印は、ミリ波検出点に対応する画像上の点に相当し、座標（Ｘ，Ｙ）で表される。また、ａ１，ａ２は車両幅に対応する画像上の幅を、ｂ１、ｂ２はミリ波レーダ２の対象物体からの反射点誤差を、ｃ１、ｃ２はピッチ揺れ幅を考慮した画像上の領域長をそれぞれ示している。
【００２３】
各画像処理領域において、（ミリ波レーダ検出点誤差＋車両１台幅）分ずつ、画像点（Ｘ，Ｙ）のＸを中心に左右に領域が確保され、また、Ｙを中心に所定のピッチ揺れ角に対応する領域が確保される。
【００２４】
図３は、移動ウィンドウ作成の概念を示している。移動ウィンドウ作成部４によって、ミリ波レーダ出力の距離情報と所定の車種パターンに基づいて複数サイズの移動ウィンドウが作成される。図に示すように、例えば、軽自動車、セダン、大型トラック等といった典型的な車種の車幅とミリ波検知点の距離に応じたサイズの移動する移動ウィンドウの下端が画像処理領域内に収まるように作成される。
【００２５】
図４は、車両追跡処理の概念図を示している。時刻ｔ−１、時刻ｔ−２、および時刻ｔにおける各画像処理領域は、後述する図６のＳ１２の処理において出力される。
【００２６】
車両追跡部１１では、過去の時刻（時刻ｔ−１、時刻ｔ−２）における検出車両領域（Ｒ１、Ｒ２）とミリ波レーダ出力（距離・相対速度）を基に、現時刻ｔにおける車両領域Ｒを外挿し、前記外挿した車両領域Ｒ（面積Ｒ）と車両形状モデル１０１によって識別処理されたウィンドウ（例では、面積Ｗ１）との重複面積を所定の閾値と比較することによって、車両らしき物体が存在するウィンドウを判定するものである。
【００２７】
以下、さらに具体的に説明する。
【００２８】
まず、過去の時刻ｔ−１、ｔ−２における検出結果（Ｒ１、Ｒ２）とミリ波レーダ２の出力（距離、相対速度）から時刻ｔにおける車両領域Ｒ（右図点線）を算出される。
【００２９】
つぎに、このように過去の検出結果から算出された現在時刻の車両領域Ｒとウィンドウ（後述するＳ１４の処理による出力ウィンドウＷ１〜Ｗ４）との重なり具合から車両らしい物体の存在を判定する。
【００３０】
いま、車両領域ＲとウィンドウＷとの重複面積をＳとすると（図では、Ｗ１の場合について斜線領域で示している）、所定の閾値ｔｈとの比較において、Ｓ＞ｔｈ（例えば，ｔｈ＝Ｒ／２）を満たすとき、車両らしい物体が存在するウィンドウであると判定される。例えば，図では、Ｗ１が該当し、他のＷ２〜Ｗ４は該当しないウィンドウとして削除されることを表している。
【００３１】
図５は、重複判定処理の概念図を示す。重複判定処理部は、既に算出済みの他の画像処理領域（２）において過去の時刻（ｔ−１、ｔ−２）の車両検出結果（車両領域Ｒ１、Ｒ２）及びミリ波レーダ出力（距離・相対速度）から現在時刻ｔの車両領域Ｒを外挿し、現在処理対象となっている画像処理領域（１）の候補ウィンドウ（後述する図６のＳ１４における出力ウィンドウＷ１、Ｗ２、Ｗ３、Ｗ４）の上記車両領域Ｒに対する重複度を評価する。
【００３２】
より具体的には、まず、過去の時刻における検出結果（車両領域Ｒ１、Ｒ２）とミリ波レーダ出力より外挿した時刻ｔの車両領域Ｒ（点線）を評価する。車両候補領域判定部５で車両らしき物体が存在すると識別された候補ウィンドウ（面積Ｗ）と、画像処理領域（２）での外挿した車両領域（面積Ｒ）との重複面積Ｓを所定の閾値ｔｈによって判定し、条件を満足するものであれば、さらに、ウィンドウの追跡長（例えば、装置がリスト管理する連続履歴画像フレーム数）を比較して重複領域の判定を行う。
【００３３】
時刻ｔの画像処理領域（１）にけるウィンドウＷ１〜Ｗ４の中で、ウィンドウＷ３、Ｗ４は、他の画像処理領域２において外挿した領域Ｒとの重複面積Ｓと所定の閾値ｔｈとの比較において、Ｓ＞ｔｈを満たしている。
【００３４】
このとき、ウィンドウＷの追跡長をＬＷ、他の車両領域での外挿した車両領域Ｅの追跡長をＬＲとすると、ＬＲ＞ＬＷとなっているので、ウィンドウＷ３、Ｗ４は、既に他の画像処理領域（２）で検出されている車両であると判定し、画像処理領域（１）内のウィンドウの集合から削除する。
【００３５】
図６は、本発明の実施の形態になる車両検出装置における動作フローを示す。まず、ステップＳ１１において、車両検出装置が起動すると、ミリ波対応画像領域決定部３が、画像センサ１より撮像された画像データを、また、ミリ波レーダ２より車両候補点のデータ（距離・方位・相対速度等）を取得する。
【００３６】
なお、取得する車両候補点のデータは、予めミリ波レーダ２内部にて追跡処理等を含む整合処理が行われており、例えば、異なる２時刻間で検出された同一車両である可能性の高い車両候補点のデータには同一のラベルが割り振られることとする。
【００３７】
そして、ステップＳ１２において、ミリ波対応画像領域決定部３では、取得した情報を基に、ミリ波検出点の距離や方位に応じて対応した画像処理領域を決定する。
【００３８】
ここに、ミリ波検出点の距離や方位に基づく画像処理領域の算出例を以下に示す。
＜画像処理領域の算出＞
ｘｃ：入力画像中心ｘ座標、ｙｃ：入力画像中心ｙ座標、θ：画像センサデフォルトピッチ角、θ2 ：ステップＳ１７で推定されるピッチ角、ｆ：画像センサ焦点距離、ｃｃｄ：画像センサ画素ピッチ長、Ｈ：画像センサ設置高（レンズ中心〜路面距離）、α：検出車両の方位（ミリ波レーダ出力）、Ｄ：検出車両までの距離（ミリ波レーダ出力）とすると、ミリ波検出点が検出車両と道路面との接地面であると仮定したとき、対応した画像上の座標（Ｘ，Ｙ）は、後述のステップ１７のピッチ角推定による入力が無い場合、
【００３９】
【数１】
で求まる。
【００４０】
この時、上述の通り、ミリ波レーダ２の原理的な特性として車両のどこから反射してくるか分からないため、ｘ方向のミリ波対応画像領域として、前記ｘを中心に所定の領域を確保する。例えば、前述した図４のように（ミリ波レーダ反射点誤差Ｅ（例えば，０．５ｍなど）＋車両１台幅）分ずつ、前記Ｘを中心に左右に領域を確保する。
【００４１】
また、自車両の走行する道路状態やノッキングなどの影響により、画像センサの路面に対するピッチ角は変動するため、y 方向のミリ波対応画像領域として、図２のように前記Ｙを中心に所定のピッチ揺れ角に対応する領域を確保する。
【００４２】
例えば、ピッチ揺れ角を（±２ｄｅｇ）とすると、（式１）において、θ＝θ±２を代入することによって求めることができる。
【００４３】
また、後述のステップＳ１７により、１時刻前の処理からピッチ角が推定できていてピッチ角θ２が入力されている場合には、ミリ波反射点に対応する画像上の座標（Ｘ，Ｙ）は、
【００４４】
【数２】
で求まる。
【００４５】
同様に、ｘ方向のミリ波対応画像領域として、前記ｘを中心に所定の領域を確保する。また、この場合、１時刻前の処理からピッチ角が推定できているため、ｙ方向のミリ波対応画像領域を求める際には、ピッチ揺れ角を小さく設定することが可能となる（例えば、±１ｄｅｇ）。
【００４６】
つぎに、ステップＳ１３において、移動ウィンドウ作成部４では、例えば、軽自動車、セダン、ワンボックスカー、大型トラック等といった典型的な車種の車幅と、ステップＳ１１において取得したミリ波検出点の距離に応じたウィンドウサイズの移動ウィンドウの下端が、ステップＳ１２において出力された画像処理領域内に収まるように作成する。
【００４７】
そして、ステップＳ１４において、車両候補領域判定部５では、メモリに予め蓄積していた車両形状モデル１０１を読み込み、ステップＳ１３で出力された各ウィンドウに対し、公知の技術であるAdaBoost等の識別手法を用いて識別処理を行い、複数サイズの移動ウィンドウから最終的な処理対象の移動ウィンドウを絞り込み、評価値の高いウィンドウの集合を出力する。
【００４８】
ステップＳ１５において、車両位置決定部６は、識別処理の結果を受けて評価値の高いウィンドウの集合を入力して車両位置を決定する。つまり、車両候補領域判定部５が車両らしき物体が存在すると識別したウィンドウから最終的に車両らしき物体が存在する領域を確定し車両の横位置を出力する。
【００４９】
さらに、ステップＳ１６において、追跡している車両が存在するか否かを判定する。判定の結果、車両が存在すれば、ステップＳ１２に戻り、ミリ波検出点の数だけ一連の処理を繰り返す。
【００５０】
一方、車両が存在しなければ、ステップＳ１７において、ピッチ角の推定処理を行う。ピッチ角推定部７によって、以下のようにピッチ角の推定が行われる。
＜ピッチ角の推定＞
取得した全てのミリ波検出点について、ステップＳ１２〜Ｓ１６の処理が完了したとき、Ｖ：自車両速度（車速センサより出力）、Ｄ：ミリ波検出点距離（ミリ波レーダ出力）Ｖｒｅｌ：ミリ波検出点相対速度（ミリ波レーダ出力）、α：ミリ波検出点方位（ミリ波レーダ出力）、Ｌｔｒ：ステップＳ１５で出力される検出車両の追跡長とすると、
【００５１】
【数３】
（ここで、ｔｈ１は、例えば、ｔｈ１＝−２０（ｋｍ／ｈ）等のｔｈ１＜０を満たす数、また、ｔｈ２は、例えば、ｔｈ２＝１０等の正の数）
上記（式２）を満たす車両領域が、ステップＳ１５で出力されたとき、追跡している対向車が存在すると判定でき、また、
【００５２】
【数４】
（ここで、ｔｈ１は、例えば、ｔｈ１＝１０（ｋｍ／ｈ）等の正の数、また、ｔｈ２は、例えば、ｔｈ２＝１０等の正の数）
上記（式３）を満たす車両領域が、ステップＳ１５にて出力されたとき、追跡している前方車が存在すると判定できる。
【００５３】
このように、追跡できている車両が存在するとき、ｙｃ：入力画像中心ｙ座標、ｙ：ステップＳ１５にて出力する該車両領域の下端のｙ座標（検出車両と路面の接地面）、ｆ：画像センサ焦点距離、ｃｃｄ：画像センサ画素ピッチ長、Ｈ：画像センサ設置高（レンズ中心〜路面距離）、α：検出車両の方位（ミリ波レーダ出力）、Ｄ：検出車両までの距離（ミリ波レーダ出力）とすると、該車両より推定される画像センサの路面に対するピッチ角は、
y=yc-(f/ccd*(-H*cos θ2)+D*cosα*sinθ2)/(H*sin θ２+D*cosα*cosθ2)
を満たすθ２として算出することができる。
【００５４】
また、追跡できている車両が複数台存在する場合、各々より画像センサの路面に対するピッチ角を算出し、それらから統合的にピッチ角を算出し、ステップＳ１７の出力とする。
【００５５】
例えば、単純に該各々の出力の平均を出力としてもよいし、また、該各々の出力の中で対向車からの出力に比べ前方車からの出力を優先して算出してもよい。さらに、最も信頼性の高い車両からのピッチ角を出力としてもよい。
【００５６】
以上、上述してきた図６のフローにおいて、本発明では、画像センサとミリ波レーダとを併用してミリ波検出点に対応する車両の横位置の検出が可能となり、ミリ波レーダの横位置の精度が悪くなるという従来の弱点が解決できる。
【００５７】
つぎに、上記ステップＳ１５の車両位置決定の処理に関して以下に詳述する。
【００５８】
図７は、車両領域を出力する車両位置決定の処理フローを示す。まず、ステップＳ２１において、評価値の高いウィンドウの集合を車両追跡部１１に取込む。
【００５９】
ステップＳ２２において、車両追跡部１１では、過去の時刻における検出車両領域とミリ波レーダ２の出力（距離・相対速度）を基に、現時刻における検出車両領域を外挿する。そして、ステップＳ２１で取得したウィンドウ（面積をＷ１とする）と，前記外挿した車両領域（面積をＲとする）との重複面積Ｓが，所定の閾値をｔｈに対し、
Ｓ＞ｔｈ （例えば、ｔｈ＝Ｒ／２）を満たすとき、
該ウィンドウは、車両らしき物体が存在するウィンドウであると判定して（図４参照）、ステップＳ２４へ進む。
【００６０】
また、前記条件を満たさないとき、該ウィンドウには車両らしき物体が存在しないウィンドウであると判定し、該ウィンドウを集合から削除し、ステップＳ２２に戻り、別のウィンドウについて取得したウィンドウの数だけ繰り返し評価する。
【００６１】
そして、ステップＳ２４において、重複領域判定処理部１２が、まず、他の画像処理領域における過去の時刻の検出車両領域とミリ波レーダ２の出力（距離・相対速度）を基に、現時刻における他の画像処理領域での検出車両領域を外挿する。
【００６２】
ステップＳ２３で車両らしき物体が存在すると識別されたウィンドウ（面積をＷとする）と、前記他の車両領域での外挿した車両領域（面積をＲとする）との重複面積Ｓが、所定の閾値をｔｈとすると、
Ｓ＞ｔｈ（例えば、ＷとＲの小さい方をｍｉｎ（Ｗ，Ｒ）と表すと、ｔｈ＝ｍｉｎ（Ｗ，Ｒ）／４）を満たすとき、ステップＳ２６へと進む。
【００６３】
上記条件を満たさない場合には、ステップＳ２８にスキップし、バッファメモリへ該ウィンドウ情報を格納した後、ステップＳ２９において、取得ウィンドウの全ての評価を終了したか否かを判定し、終えていなければ、ステップＳ２２に戻り、ウィンドウの数だけ以降の処理を繰り返す。
【００６４】
つぎに、ステップＳ２６において、重複領域判定処理部１２が、処理ウィンドウの追跡長を評価する。ステップＳ２２で該ウィンドウＷと他の車両領域での外挿した車両領域Ｒとが所定の閾値以上重複していると判定された場合に、該ウィンドウＷの追跡長をＬＷ、他の車両領域での外挿した車両領域Ｒの追跡長をＬＲとすると、
ステップＳ２７において、ＬＷ≧ＬＲを満たすときには、ステップＳ２８に進み、バッファへ該ウィンドウ情報を格納する。
【００６５】
また、ＬＲ＞ＬＷであれば、該ウィンドウは、既に他の車両領域において検出されている車両に関するものであるとの判定であれば、ステップＳ３１において、該ウィンドウを集合から削除した後、ステップＳ２２に戻り、別のウィンドウについて評価する（図５参照）。
【００６６】
上述してきたように、該ウィンドウと他の車両領域での外挿した車両領域とがある所定の閾値以上重複している場合、その選択・統合基準は上述の限りではない。例えば、ミリ波データ２の出力の距離情報などを用いて、より近距離のものや、自車両との衝突の可能性がより高いものを優先してもよい。
【００６７】
さらに、ステップＳ２９の判定において、ウィンドウ全てについて評価が完了したら、バッファメモリに蓄積されたウィンドウの集合から、さらに、車両が存在するらしい矩形領域を出力する。例えば、単純に該ウィンドウの集合全体の平均を出力としたり、該ウィンドウの集合全体をクラスタリング処理し、尤も車両が存在すると評価されるクラスタの平均を出力してもよい。
【００６８】
以上、上述してきた図７のフローにおいて、本発明では、自車両近くの誤検知、自車両に隣接する他車両の影響、および背景構造物の影響などを低減することができ、ミリ波検出点に対応する車両横位置を高精度に検出することが可能となる。
【産業上の利用可能性】
【００６９】
本発明は、自車両周囲の前方車／対向車を検出すること可能とする車載型の車両検出技術の分野に適用される。
【符号の説明】
【００７０】
１ 画像センサ
２ ミリ波レーダ
３ ミリ波対応画像領域決定部
４ 移動ウィンドウ作成部
５ 車両候補領域判定部
６ 車両位置決定部
７ ピッチ角推定部
８ 自車速センサ
１１ 車両追跡部
１２ 重複領域判定処理部
１００ メモリ
１０１ 車両形状モデル
【技術分野】
【０００１】
本発明は、自車両周囲の前方車／対向車を検出することができる車載型の車両検出技術に関する。
【背景技術】
【０００２】
従来、道路上を走行する車両を検出する車両検出方法として、ミリ波レーダを用いた車両検出法が知られている。ミリ波レーダによる車両検出方法では、縦位置（距離）は精度良く取れるが、車両のどこから反射してくるか分からないため横位置の精度が悪くなるという原理的な弱点が存在する。ＰＣＳ（Pre-Crash Safety System ）を始めとする衝突回避システムへミリ波レーダを適用させるためには、車両の横位置を高精度に算出することが必要となる。これに対し、ミリ波レーダと撮像装置とを併用し、車両の認識精度を高くする車輌検出方法が提案されている（例えば、特許文献１、非特許文献１参照）。
【０００３】
特許文献１では、ミリ波レーダが検出した物体位置を物体の中心点と見なし、その点を中心とした検出物体と前回の検出物体とを、距離変化による大きさが考慮されたテンプレートを用いてマッチング処理することにより追跡を行い、テンプレートマッチングで切り出した領域に対し、縦エッジヒストグラムの２点ピーク間の実空間距離を算出し、ミリ波レーダによる検出結果を補正して、物体の位置、幅を出力している。しかし、テンプレートマッチング処理は、検出性能が低く、とくに初回の物体検出を誤ると誤ったトラッキングを行い続けるという問題を抱える。
【０００４】
一方、非特許文献１は、画像特徴量で車両モデルを構築し、複数サイズの識別ウィンドウを移動させて識別処理を行い、複数の識別結果（矩形情報）がある場合は、画像距離の近さの観点からクラスタリングし、クラスタ毎に出力結果を平均化して、最終的な車両位置を求める車両検出方法となっている。
【０００５】
しかしながら、これを毎フレーム、ミリ波対応画像領域に適用しようとすると、図８に示すように、
（１）ミリ波対応画像処理領域において、クラスタリングされた識別結果の中には、正解の車両位置・サイズと著しく異なるものが誤検出として含まれ、単純な平均化では車両検出結果の位置精度が劣化する、
（２）２台の車両が画像上で隣接するような場合には、１つのミリ波対応画像領域に２台の車両が存在し、２台分の識別結果が同一のクラスタに属することになり、平均化された最終結果の精度が悪くなる、
（３）ミリ波対応画像領域は、ミリ波情報に基づいて決定されるが、横方位情報はあるが縦方位情報は存在しないため、ミリ波対応画像領域の上下方向に所定の長さを設けており、これが不適切な場合、路面や上方の構造物に誤検出が発生すると平均化された最終結果の精度が悪くなる、などの問題が生じる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２６９０７３号公報
【非特許文献】
【０００７】
【非特許文献１】P.Negri,X.Clady,and L.Prevost,“Benchmarking haar and histograms of oriented gradients features applied to vehicle detection“,in Proceeding of the 4th International Conference on Informatics in Control,Automation and Robotics(ICINCO’07),pp.359-364,Angers,France,May 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで、上述した問題を解決するために、ミリ波レーダと撮像装置とを用い、ミリ波検出点に対し車両形状モデルに基づく識別処理を行うことにより車両の横位置を高精度に出力する車載型の車両検出技術を提供する。
【課題を解決するための手段】
【０００９】
発明の一つの態様は、ミリ波センサに代表される位置取得センサとＣＣＤ（Charge Coupled Device）カメラ等の画像センサに代表される撮像装置を併用して車両を検出する車載型の車両検出装置であって、前記撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とする位置取得センサ対応画像領域決定部と、前記位置取得センサより出力される距離情報と所定の車種パターンに基づいて種々のサイズの移動するウィンドウを前記画像処理領域内に作成する移動ウィンドウ作成部と、前記移動ウィンドウに対し、メモリに予め格納された車両形状モデルを用いて識別処理を行い、車両らしき物体の存在を示す候補ウィンドウを判定する車両候補領域判定部と、前記候補ウィンドウを所定の条件と照合し車両らしき物体が存在する領域を確定し、車両位置を出力する車両位置決定処理部と、を有することを特徴とする車両検出装置に関する。
【発明の効果】
【００１０】
以上、本発明によれば、画像センサとミリ波レーダとを併用してミリ波検出点に対応する車両横位置の検出を行うことが可能となり、ミリ波レーダの横位置の精度が悪くなるという原理的な弱点を解決するものとなる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態になる車両検出装置の機能ブロック図である。
【図２】本発明の実施の形態になるミリ波対応画像領域設定の概念図（ミリ波検出点が２点の場合）である。
【図３】本発明の実施の形態になる移動ウィンドウ作成の概念図である。
【図４】本発明の実施の形態になる車両追跡処理の概念図である。
【図５】本発明の実施の形態になる重複判定処理部の概念図である。
【図６】本発明の実施の形態になる車両検出装置における動作フローを示す図である。
【図７】本発明の実施の形態になる車両位置決定の処理フローを示す図である。
【図８】従来技術の問題点を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づいて本発明の実施形態について説明する。まず、本実施の形態になるる車載型の車両検出装置の構成について説明する。以下の実施例では、位置取得センサとしてミリ波レーダを適用し、撮像装置としてＣＣＤ（Charge Coupled Device 電荷結合素子）カメラ等の画像センサを適用した例について示しているが、本発明は、ミリ波レーダやＣＣＤに限定されるものではない。
【００１３】
図１は、本発明の実施の形態になる車両検出装置の機能ブロック図を示している。
【００１４】
本発明の車両検出装置は、自車両周辺の所定の領域にある物体までの距離、方位（横方向）、および自車両と検出物体との相対速度を測定するミリ波レーダ（位置取得センサ）２と自車両周辺の所定の領域を含む範囲を撮影する画像センサ（撮像装置）１の２つのセンサを車両内の所定の位置に併置している。
【００１５】
本車両検出装置の画像処理部は、ミリ波レーダ２より取得した車両候補点データと画像センサ１で撮像した画像からミリ波レーダ検出点に対応した画像処理領域を決定するミリ波対応画像領域決定部（位置取得センサ対応画像領域決定部）３、ミリ波対応画像領域決定部３により出力された各画像処理領域にミリ波レーダ２より出力される距離情報と所定の車種パターンに基づいて移動するウィンドウを作成する移動ウィンドウ作成部４、移動ウィンドウ作成部４で出力した各ウィンドウに対し、メモリに予め格納された車両形状モデル１０１を読み込み、該車両形状モデル１０１によって識別処理を行い、車両らしき存在の有無を判定する車両候補領域判定部５、および車両候補領域判定部５で車両らしき物体が存在すると識別された候補ウィンドウから所定の条件に合致する領域を確定し、車両の横位置を出力する車両位置決定部６を有している。
【００１６】
さらに、本車両検出装置は、所定の条件を満たす検出車両が存在する場合、ミリ波レーダ２からの出力データ及び自車速センサ８のデータから次時刻以降の画像センサ１の路面に対する角度であるピッチ角を推定するピッチ角推定部７とその結果を蓄積するメモリ１００を備えている。また、車両位置決定部６は、車両追跡部１１と重複領域判定処理部１２を有している。
【００１７】
車両追跡部１１は、現時刻における検出車両領域を外挿（推定）し、車両候補領域判定部５で出力されるウィンドウと外挿した車両領域とが所定の閾値以上重なっているウィンドウを車両らしき物体が存在すると判定する。
【００１８】
また、重複領域判定処理部１２は、車両候補領域判定部５で車両らしき物体が存在すると識別されたウィンドウと、別の画像処理領域内で既に検出されている車両領域とが、所定の閾値以上重複している場合、信頼性の高い車両候補領域内を優先して車両領域を決定することを特徴とする。
【００１９】
なお、車両検出装置は、図示していないがＣＰＵ（Central Processing Unit ）、メモリを有するコンピュータであり、本装置上で各処理部を動作させるプログラムは補助記憶装置（図にない）に記憶され、装置起動時にメモリに展開してＣＰＵによって実行処理される。また、該プログラムは、フレキシブルディスク、ＣＤ（Compact Disk）、ＭＯ（Magneto-Optical ）等の可搬媒体に格納され、各媒体に応じたディスクドライブで読み取る構成としてもよい。
【００２０】
つぎに、本発明の主な構成要素であるミリ波対応画像領域決定部３、移動ウィンドウ作成部４、車両追跡部１１、および重複領域判定処理部１２に関し、図２〜図５を用いて、その仕組みを説明する。
【００２１】
図２は、ミリ波レーダ２が検出したミリ波検出点が２点の場合を取り上げ、画像センサ１による画像内に各ミリ波検出点に対応する画像処理領域が設定されるミリ波対応画像領域決定の概念図を示している。入力画像全体の中に、ミリ波検出点（１）に対応する画像処理領域（１）とミリ波検出点（２）に対応する画像処理領域（２）の２つの領域が設けられている。
【００２２】
図中、画像処理領域（１）、（２）の中心にあるＡ、Ｂの●印は、ミリ波検出点に対応する画像上の点に相当し、座標（Ｘ，Ｙ）で表される。また、ａ１，ａ２は車両幅に対応する画像上の幅を、ｂ１、ｂ２はミリ波レーダ２の対象物体からの反射点誤差を、ｃ１、ｃ２はピッチ揺れ幅を考慮した画像上の領域長をそれぞれ示している。
【００２３】
各画像処理領域において、（ミリ波レーダ検出点誤差＋車両１台幅）分ずつ、画像点（Ｘ，Ｙ）のＸを中心に左右に領域が確保され、また、Ｙを中心に所定のピッチ揺れ角に対応する領域が確保される。
【００２４】
図３は、移動ウィンドウ作成の概念を示している。移動ウィンドウ作成部４によって、ミリ波レーダ出力の距離情報と所定の車種パターンに基づいて複数サイズの移動ウィンドウが作成される。図に示すように、例えば、軽自動車、セダン、大型トラック等といった典型的な車種の車幅とミリ波検知点の距離に応じたサイズの移動する移動ウィンドウの下端が画像処理領域内に収まるように作成される。
【００２５】
図４は、車両追跡処理の概念図を示している。時刻ｔ−１、時刻ｔ−２、および時刻ｔにおける各画像処理領域は、後述する図６のＳ１２の処理において出力される。
【００２６】
車両追跡部１１では、過去の時刻（時刻ｔ−１、時刻ｔ−２）における検出車両領域（Ｒ１、Ｒ２）とミリ波レーダ出力（距離・相対速度）を基に、現時刻ｔにおける車両領域Ｒを外挿し、前記外挿した車両領域Ｒ（面積Ｒ）と車両形状モデル１０１によって識別処理されたウィンドウ（例では、面積Ｗ１）との重複面積を所定の閾値と比較することによって、車両らしき物体が存在するウィンドウを判定するものである。
【００２７】
以下、さらに具体的に説明する。
【００２８】
まず、過去の時刻ｔ−１、ｔ−２における検出結果（Ｒ１、Ｒ２）とミリ波レーダ２の出力（距離、相対速度）から時刻ｔにおける車両領域Ｒ（右図点線）を算出される。
【００２９】
つぎに、このように過去の検出結果から算出された現在時刻の車両領域Ｒとウィンドウ（後述するＳ１４の処理による出力ウィンドウＷ１〜Ｗ４）との重なり具合から車両らしい物体の存在を判定する。
【００３０】
いま、車両領域ＲとウィンドウＷとの重複面積をＳとすると（図では、Ｗ１の場合について斜線領域で示している）、所定の閾値ｔｈとの比較において、Ｓ＞ｔｈ（例えば，ｔｈ＝Ｒ／２）を満たすとき、車両らしい物体が存在するウィンドウであると判定される。例えば，図では、Ｗ１が該当し、他のＷ２〜Ｗ４は該当しないウィンドウとして削除されることを表している。
【００３１】
図５は、重複判定処理の概念図を示す。重複判定処理部は、既に算出済みの他の画像処理領域（２）において過去の時刻（ｔ−１、ｔ−２）の車両検出結果（車両領域Ｒ１、Ｒ２）及びミリ波レーダ出力（距離・相対速度）から現在時刻ｔの車両領域Ｒを外挿し、現在処理対象となっている画像処理領域（１）の候補ウィンドウ（後述する図６のＳ１４における出力ウィンドウＷ１、Ｗ２、Ｗ３、Ｗ４）の上記車両領域Ｒに対する重複度を評価する。
【００３２】
より具体的には、まず、過去の時刻における検出結果（車両領域Ｒ１、Ｒ２）とミリ波レーダ出力より外挿した時刻ｔの車両領域Ｒ（点線）を評価する。車両候補領域判定部５で車両らしき物体が存在すると識別された候補ウィンドウ（面積Ｗ）と、画像処理領域（２）での外挿した車両領域（面積Ｒ）との重複面積Ｓを所定の閾値ｔｈによって判定し、条件を満足するものであれば、さらに、ウィンドウの追跡長（例えば、装置がリスト管理する連続履歴画像フレーム数）を比較して重複領域の判定を行う。
【００３３】
時刻ｔの画像処理領域（１）にけるウィンドウＷ１〜Ｗ４の中で、ウィンドウＷ３、Ｗ４は、他の画像処理領域２において外挿した領域Ｒとの重複面積Ｓと所定の閾値ｔｈとの比較において、Ｓ＞ｔｈを満たしている。
【００３４】
このとき、ウィンドウＷの追跡長をＬＷ、他の車両領域での外挿した車両領域Ｅの追跡長をＬＲとすると、ＬＲ＞ＬＷとなっているので、ウィンドウＷ３、Ｗ４は、既に他の画像処理領域（２）で検出されている車両であると判定し、画像処理領域（１）内のウィンドウの集合から削除する。
【００３５】
図６は、本発明の実施の形態になる車両検出装置における動作フローを示す。まず、ステップＳ１１において、車両検出装置が起動すると、ミリ波対応画像領域決定部３が、画像センサ１より撮像された画像データを、また、ミリ波レーダ２より車両候補点のデータ（距離・方位・相対速度等）を取得する。
【００３６】
なお、取得する車両候補点のデータは、予めミリ波レーダ２内部にて追跡処理等を含む整合処理が行われており、例えば、異なる２時刻間で検出された同一車両である可能性の高い車両候補点のデータには同一のラベルが割り振られることとする。
【００３７】
そして、ステップＳ１２において、ミリ波対応画像領域決定部３では、取得した情報を基に、ミリ波検出点の距離や方位に応じて対応した画像処理領域を決定する。
【００３８】
ここに、ミリ波検出点の距離や方位に基づく画像処理領域の算出例を以下に示す。
＜画像処理領域の算出＞
ｘｃ：入力画像中心ｘ座標、ｙｃ：入力画像中心ｙ座標、θ：画像センサデフォルトピッチ角、θ2 ：ステップＳ１７で推定されるピッチ角、ｆ：画像センサ焦点距離、ｃｃｄ：画像センサ画素ピッチ長、Ｈ：画像センサ設置高（レンズ中心〜路面距離）、α：検出車両の方位（ミリ波レーダ出力）、Ｄ：検出車両までの距離（ミリ波レーダ出力）とすると、ミリ波検出点が検出車両と道路面との接地面であると仮定したとき、対応した画像上の座標（Ｘ，Ｙ）は、後述のステップ１７のピッチ角推定による入力が無い場合、
【００３９】
【数１】
で求まる。
【００４０】
この時、上述の通り、ミリ波レーダ２の原理的な特性として車両のどこから反射してくるか分からないため、ｘ方向のミリ波対応画像領域として、前記ｘを中心に所定の領域を確保する。例えば、前述した図４のように（ミリ波レーダ反射点誤差Ｅ（例えば，０．５ｍなど）＋車両１台幅）分ずつ、前記Ｘを中心に左右に領域を確保する。
【００４１】
また、自車両の走行する道路状態やノッキングなどの影響により、画像センサの路面に対するピッチ角は変動するため、y 方向のミリ波対応画像領域として、図２のように前記Ｙを中心に所定のピッチ揺れ角に対応する領域を確保する。
【００４２】
例えば、ピッチ揺れ角を（±２ｄｅｇ）とすると、（式１）において、θ＝θ±２を代入することによって求めることができる。
【００４３】
また、後述のステップＳ１７により、１時刻前の処理からピッチ角が推定できていてピッチ角θ２が入力されている場合には、ミリ波反射点に対応する画像上の座標（Ｘ，Ｙ）は、
【００４４】
【数２】
で求まる。
【００４５】
同様に、ｘ方向のミリ波対応画像領域として、前記ｘを中心に所定の領域を確保する。また、この場合、１時刻前の処理からピッチ角が推定できているため、ｙ方向のミリ波対応画像領域を求める際には、ピッチ揺れ角を小さく設定することが可能となる（例えば、±１ｄｅｇ）。
【００４６】
つぎに、ステップＳ１３において、移動ウィンドウ作成部４では、例えば、軽自動車、セダン、ワンボックスカー、大型トラック等といった典型的な車種の車幅と、ステップＳ１１において取得したミリ波検出点の距離に応じたウィンドウサイズの移動ウィンドウの下端が、ステップＳ１２において出力された画像処理領域内に収まるように作成する。
【００４７】
そして、ステップＳ１４において、車両候補領域判定部５では、メモリに予め蓄積していた車両形状モデル１０１を読み込み、ステップＳ１３で出力された各ウィンドウに対し、公知の技術であるAdaBoost等の識別手法を用いて識別処理を行い、複数サイズの移動ウィンドウから最終的な処理対象の移動ウィンドウを絞り込み、評価値の高いウィンドウの集合を出力する。
【００４８】
ステップＳ１５において、車両位置決定部６は、識別処理の結果を受けて評価値の高いウィンドウの集合を入力して車両位置を決定する。つまり、車両候補領域判定部５が車両らしき物体が存在すると識別したウィンドウから最終的に車両らしき物体が存在する領域を確定し車両の横位置を出力する。
【００４９】
さらに、ステップＳ１６において、追跡している車両が存在するか否かを判定する。判定の結果、車両が存在すれば、ステップＳ１２に戻り、ミリ波検出点の数だけ一連の処理を繰り返す。
【００５０】
一方、車両が存在しなければ、ステップＳ１７において、ピッチ角の推定処理を行う。ピッチ角推定部７によって、以下のようにピッチ角の推定が行われる。
＜ピッチ角の推定＞
取得した全てのミリ波検出点について、ステップＳ１２〜Ｓ１６の処理が完了したとき、Ｖ：自車両速度（車速センサより出力）、Ｄ：ミリ波検出点距離（ミリ波レーダ出力）Ｖｒｅｌ：ミリ波検出点相対速度（ミリ波レーダ出力）、α：ミリ波検出点方位（ミリ波レーダ出力）、Ｌｔｒ：ステップＳ１５で出力される検出車両の追跡長とすると、
【００５１】
【数３】
（ここで、ｔｈ１は、例えば、ｔｈ１＝−２０（ｋｍ／ｈ）等のｔｈ１＜０を満たす数、また、ｔｈ２は、例えば、ｔｈ２＝１０等の正の数）
上記（式２）を満たす車両領域が、ステップＳ１５で出力されたとき、追跡している対向車が存在すると判定でき、また、
【００５２】
【数４】
（ここで、ｔｈ１は、例えば、ｔｈ１＝１０（ｋｍ／ｈ）等の正の数、また、ｔｈ２は、例えば、ｔｈ２＝１０等の正の数）
上記（式３）を満たす車両領域が、ステップＳ１５にて出力されたとき、追跡している前方車が存在すると判定できる。
【００５３】
このように、追跡できている車両が存在するとき、ｙｃ：入力画像中心ｙ座標、ｙ：ステップＳ１５にて出力する該車両領域の下端のｙ座標（検出車両と路面の接地面）、ｆ：画像センサ焦点距離、ｃｃｄ：画像センサ画素ピッチ長、Ｈ：画像センサ設置高（レンズ中心〜路面距離）、α：検出車両の方位（ミリ波レーダ出力）、Ｄ：検出車両までの距離（ミリ波レーダ出力）とすると、該車両より推定される画像センサの路面に対するピッチ角は、
y=yc-(f/ccd*(-H*cos θ2)+D*cosα*sinθ2)/(H*sin θ２+D*cosα*cosθ2)
を満たすθ２として算出することができる。
【００５４】
また、追跡できている車両が複数台存在する場合、各々より画像センサの路面に対するピッチ角を算出し、それらから統合的にピッチ角を算出し、ステップＳ１７の出力とする。
【００５５】
例えば、単純に該各々の出力の平均を出力としてもよいし、また、該各々の出力の中で対向車からの出力に比べ前方車からの出力を優先して算出してもよい。さらに、最も信頼性の高い車両からのピッチ角を出力としてもよい。
【００５６】
以上、上述してきた図６のフローにおいて、本発明では、画像センサとミリ波レーダとを併用してミリ波検出点に対応する車両の横位置の検出が可能となり、ミリ波レーダの横位置の精度が悪くなるという従来の弱点が解決できる。
【００５７】
つぎに、上記ステップＳ１５の車両位置決定の処理に関して以下に詳述する。
【００５８】
図７は、車両領域を出力する車両位置決定の処理フローを示す。まず、ステップＳ２１において、評価値の高いウィンドウの集合を車両追跡部１１に取込む。
【００５９】
ステップＳ２２において、車両追跡部１１では、過去の時刻における検出車両領域とミリ波レーダ２の出力（距離・相対速度）を基に、現時刻における検出車両領域を外挿する。そして、ステップＳ２１で取得したウィンドウ（面積をＷ１とする）と，前記外挿した車両領域（面積をＲとする）との重複面積Ｓが，所定の閾値をｔｈに対し、
Ｓ＞ｔｈ （例えば、ｔｈ＝Ｒ／２）を満たすとき、
該ウィンドウは、車両らしき物体が存在するウィンドウであると判定して（図４参照）、ステップＳ２４へ進む。
【００６０】
また、前記条件を満たさないとき、該ウィンドウには車両らしき物体が存在しないウィンドウであると判定し、該ウィンドウを集合から削除し、ステップＳ２２に戻り、別のウィンドウについて取得したウィンドウの数だけ繰り返し評価する。
【００６１】
そして、ステップＳ２４において、重複領域判定処理部１２が、まず、他の画像処理領域における過去の時刻の検出車両領域とミリ波レーダ２の出力（距離・相対速度）を基に、現時刻における他の画像処理領域での検出車両領域を外挿する。
【００６２】
ステップＳ２３で車両らしき物体が存在すると識別されたウィンドウ（面積をＷとする）と、前記他の車両領域での外挿した車両領域（面積をＲとする）との重複面積Ｓが、所定の閾値をｔｈとすると、
Ｓ＞ｔｈ（例えば、ＷとＲの小さい方をｍｉｎ（Ｗ，Ｒ）と表すと、ｔｈ＝ｍｉｎ（Ｗ，Ｒ）／４）を満たすとき、ステップＳ２６へと進む。
【００６３】
上記条件を満たさない場合には、ステップＳ２８にスキップし、バッファメモリへ該ウィンドウ情報を格納した後、ステップＳ２９において、取得ウィンドウの全ての評価を終了したか否かを判定し、終えていなければ、ステップＳ２２に戻り、ウィンドウの数だけ以降の処理を繰り返す。
【００６４】
つぎに、ステップＳ２６において、重複領域判定処理部１２が、処理ウィンドウの追跡長を評価する。ステップＳ２２で該ウィンドウＷと他の車両領域での外挿した車両領域Ｒとが所定の閾値以上重複していると判定された場合に、該ウィンドウＷの追跡長をＬＷ、他の車両領域での外挿した車両領域Ｒの追跡長をＬＲとすると、
ステップＳ２７において、ＬＷ≧ＬＲを満たすときには、ステップＳ２８に進み、バッファへ該ウィンドウ情報を格納する。
【００６５】
また、ＬＲ＞ＬＷであれば、該ウィンドウは、既に他の車両領域において検出されている車両に関するものであるとの判定であれば、ステップＳ３１において、該ウィンドウを集合から削除した後、ステップＳ２２に戻り、別のウィンドウについて評価する（図５参照）。
【００６６】
上述してきたように、該ウィンドウと他の車両領域での外挿した車両領域とがある所定の閾値以上重複している場合、その選択・統合基準は上述の限りではない。例えば、ミリ波データ２の出力の距離情報などを用いて、より近距離のものや、自車両との衝突の可能性がより高いものを優先してもよい。
【００６７】
さらに、ステップＳ２９の判定において、ウィンドウ全てについて評価が完了したら、バッファメモリに蓄積されたウィンドウの集合から、さらに、車両が存在するらしい矩形領域を出力する。例えば、単純に該ウィンドウの集合全体の平均を出力としたり、該ウィンドウの集合全体をクラスタリング処理し、尤も車両が存在すると評価されるクラスタの平均を出力してもよい。
【００６８】
以上、上述してきた図７のフローにおいて、本発明では、自車両近くの誤検知、自車両に隣接する他車両の影響、および背景構造物の影響などを低減することができ、ミリ波検出点に対応する車両横位置を高精度に検出することが可能となる。
【産業上の利用可能性】
【００６９】
本発明は、自車両周囲の前方車／対向車を検出すること可能とする車載型の車両検出技術の分野に適用される。
【符号の説明】
【００７０】
１ 画像センサ
２ ミリ波レーダ
３ ミリ波対応画像領域決定部
４ 移動ウィンドウ作成部
５ 車両候補領域判定部
６ 車両位置決定部
７ ピッチ角推定部
８ 自車速センサ
１１ 車両追跡部
１２ 重複領域判定処理部
１００ メモリ
１０１ 車両形状モデル
【特許請求の範囲】
【請求項１】
位置取得センサと撮像装置を併用して車両を検出する車載型の車両検出装置であって、
前記撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とする位置取得センサ対応画像領域決定部と、
前記位置取得センサより出力される距離情報と所定の車種パターンに基づいて複数サイズの移動ウィンドウを前記画像処理領域内に作成する移動ウィンドウ作成部と、
前記移動ウィンドウに対しメモリに予め格納された車両形状モデルを用いて識別処理を行い、車両らしき物体の存在を示す候補ウィンドウを判定する車両候補領域判定部と、
前記候補ウィンドウを所定の条件と照合し車両らしき物体が存在する領域を確定し、車両の横位置を出力する車両位置決定処理部と、
を有することを特徴とする車両検出装置。
【請求項２】
前記車両位置決定処理部は、過去に確定した車両領域を現時刻に外挿し、前記車両候補領域判定部で出力される候補ウィンドウと外挿した車両領域とが所定の閾値以上重なっているウィンドウを車両らしき物体が存在すると判定する車両追跡部を備えたことを特徴とする請求項１に記載の車両車検出装置。
【請求項３】
前記車両位置決定処理部は、前記車両候補領域判定部で車両らしき物体が存在すると識別された候補ウィンドウと別の画像処理領域内で既に検出されている車両領域とが重複する場合、その重複度が所定の閾値以上か否かによって車両領域を決定する重複判定処理部を備えたことを特徴とする請求項１または２に記載の車両検出装置。
【請求項４】
前記車両検出装置は、さらに、前記車両位置決定処理部において所定の条件を満たす検出車両が存在する場合、前記撮像装置の路面に対する次時刻以降のピッチ角を前記検出車両の位置から推定するピッチ角推定部を備え、当該ピッチ角に応じて位置取得センサ対応画像領域決定部における画像処理領域が決定されることを特徴とする請求項１乃至３のいずれかに記載の車両検出装置。
【請求項５】
位置取得センサと撮像装置を併用して車両を検出する車載型の車両検出装置における車両検出プログラムであって、
コンピュータに、
前記撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とする位置取得センサ対応画像領域決定ステップと、
前記位置取得センサより出力される距離情報と所定の車種パターンに基づいて複数サイズの移動ウィンドウを前記画像処理領域内に作成する移動ウィンドウ作成ステップと、
前記移動ウィンドウに対しメモリに予め格納された車両形状モデルを用いて識別処理を行い、車両らしき物体の存在を示す候補ウィンドウを判定する車両候補領域判定ステップと、
前記候補ウィンドウを所定の条件と照合し車両らしき物体が存在する領域を確定し、車両の横位置を出力する車両位置決定処理ステップと、
を実行させる車両検出プログラム。
【請求項６】
位置取得センサと撮像装置を併用して車両を検出する車載型の車両検出装置において実行される車両検出方法であって、
前記撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とする位置取得センサ対応画像領域決定ステップと、
前記位置取得センサより出力される距離情報と所定の車種パターンに基づいて複数サイズの移動ウィンドウを前記画像処理領域内に作成する移動ウィンドウ作成ステップと、
前記移動ウィンドウに対しメモリに予め格納された車両形状モデルを用いて識別処理を行い、車両らしき物体の存在を示す候補ウィンドウを判定する車両候補領域判定ステップと、
前記候補ウィンドウを所定の条件と照合し車両らしき物体が存在する領域を確定し、車両の横位置を出力する車両位置決定処理ステップと、
を含むことを特徴とする車両検出方法。
【請求項１】
位置取得センサと撮像装置を併用して車両を検出する車載型の車両検出装置であって、
前記撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とする位置取得センサ対応画像領域決定部と、
前記位置取得センサより出力される距離情報と所定の車種パターンに基づいて複数サイズの移動ウィンドウを前記画像処理領域内に作成する移動ウィンドウ作成部と、
前記移動ウィンドウに対しメモリに予め格納された車両形状モデルを用いて識別処理を行い、車両らしき物体の存在を示す候補ウィンドウを判定する車両候補領域判定部と、
前記候補ウィンドウを所定の条件と照合し車両らしき物体が存在する領域を確定し、車両の横位置を出力する車両位置決定処理部と、
を有することを特徴とする車両検出装置。
【請求項２】
前記車両位置決定処理部は、過去に確定した車両領域を現時刻に外挿し、前記車両候補領域判定部で出力される候補ウィンドウと外挿した車両領域とが所定の閾値以上重なっているウィンドウを車両らしき物体が存在すると判定する車両追跡部を備えたことを特徴とする請求項１に記載の車両車検出装置。
【請求項３】
前記車両位置決定処理部は、前記車両候補領域判定部で車両らしき物体が存在すると識別された候補ウィンドウと別の画像処理領域内で既に検出されている車両領域とが重複する場合、その重複度が所定の閾値以上か否かによって車両領域を決定する重複判定処理部を備えたことを特徴とする請求項１または２に記載の車両検出装置。
【請求項４】
前記車両検出装置は、さらに、前記車両位置決定処理部において所定の条件を満たす検出車両が存在する場合、前記撮像装置の路面に対する次時刻以降のピッチ角を前記検出車両の位置から推定するピッチ角推定部を備え、当該ピッチ角に応じて位置取得センサ対応画像領域決定部における画像処理領域が決定されることを特徴とする請求項１乃至３のいずれかに記載の車両検出装置。
【請求項５】
位置取得センサと撮像装置を併用して車両を検出する車載型の車両検出装置における車両検出プログラムであって、
コンピュータに、
前記撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とする位置取得センサ対応画像領域決定ステップと、
前記位置取得センサより出力される距離情報と所定の車種パターンに基づいて複数サイズの移動ウィンドウを前記画像処理領域内に作成する移動ウィンドウ作成ステップと、
前記移動ウィンドウに対しメモリに予め格納された車両形状モデルを用いて識別処理を行い、車両らしき物体の存在を示す候補ウィンドウを判定する車両候補領域判定ステップと、
前記候補ウィンドウを所定の条件と照合し車両らしき物体が存在する領域を確定し、車両の横位置を出力する車両位置決定処理ステップと、
を実行させる車両検出プログラム。
【請求項６】
位置取得センサと撮像装置を併用して車両を検出する車載型の車両検出装置において実行される車両検出方法であって、
前記撮像装置で取得した画像内において前記位置取得センサから取得した複数の車両候補点に対応する位置を算出し、その周囲を画像処理領域とする位置取得センサ対応画像領域決定ステップと、
前記位置取得センサより出力される距離情報と所定の車種パターンに基づいて複数サイズの移動ウィンドウを前記画像処理領域内に作成する移動ウィンドウ作成ステップと、
前記移動ウィンドウに対しメモリに予め格納された車両形状モデルを用いて識別処理を行い、車両らしき物体の存在を示す候補ウィンドウを判定する車両候補領域判定ステップと、
前記候補ウィンドウを所定の条件と照合し車両らしき物体が存在する領域を確定し、車両の横位置を出力する車両位置決定処理ステップと、
を含むことを特徴とする車両検出方法。
【図６】
【図７】
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図７】
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【公開番号】特開２０１１−３９８３３（Ｐ２０１１−３９８３３Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８７３４３（Ｐ２００９−１８７３４３）
【出願日】平成２１年８月１２日（２００９．８．１２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１２日（２００９．８．１２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]