車両周辺監視装置
【課題】レーダーとカメラの座標のマッチング不良により、物体の種別判別ができなくなることを抑制した車両周辺監視装置を提供する。
【解決手段】レーザーレーダー８により検出された物体と車両との相対位置に基づいて、撮像画像内に、該物体の実空間における位置及び大きさに対応した位置及びサイズの画像処理対象領域５３ｂを設定する画像処理対象領域設定手段２０と、画像処理対象領域５３ｂ内又は画像処理対象領域５３ｂの周辺に存在する水平エッジを探索する水平エッジ探索手段２１と、水平エッジ６０線が探知されたときに、画像処理対象領域５３ｂの位置を変更する画像処理領域変更手段２２とを備える。
【解決手段】レーザーレーダー８により検出された物体と車両との相対位置に基づいて、撮像画像内に、該物体の実空間における位置及び大きさに対応した位置及びサイズの画像処理対象領域５３ｂを設定する画像処理対象領域設定手段２０と、画像処理対象領域５３ｂ内又は画像処理対象領域５３ｂの周辺に存在する水平エッジを探索する水平エッジ探索手段２１と、水平エッジ６０線が探知されたときに、画像処理対象領域５３ｂの位置を変更する画像処理領域変更手段２２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたレーダーによる距離情報と車両に搭載された撮像手段による撮像画像から、車両周辺に所在する監視対象物を認識する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両にレーダーとカメラを併設し、レーダーによる物体の実空間位置の検出データに基づいて、カメラの撮像画像において該物体の画像が存在すると推定される画像領域を決定し、該画像領域を対象として監視対象物の画像部分を抽出する画像処理を行うようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。
【０００３】
かかる従来の車両周辺監視装置によれば、実空間位置の検出データにより物体が存在すると認識された実空間領域を、カメラの座標系に変換してカメラの撮像画像にマッピングすることにより、物体の画像部分が存在すると推定される画像領域（画像処理対象領域）が決定される。そして、このようにして決定した画像処理対象領域に限定して、監視対象物の画像部分を抽出する処理を行うことによって、カメラの撮像画像全体に対して監視対象物の画像部分を抽出する処理を行う場合よりも、該画像部分の抽出に要する時間を短縮することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３０２４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、レーダーによる物体の実空間位置の検出データに基いてカメラの撮像画像における画像処理対象領域を決定する場合、レーダーとカメラという異なる検出系を用いた場合、その検出特性の違いや、レーダーの検出に基づいて画像の対応位置に画像領域を設定するまでの時間遅れにより、レーダーの検出位置と画像上の位置とのマッチングが取りきれない場合があり、決定した画像処理対象領域内に物体の特徴部分が入らない場合がある。そして、この場合には物体の種別を判別することが困難になる。
【０００６】
また、監視対象物として人体を検出する場合、頭部や脚部の特徴を用いて検出することが知られているが、人体の姿勢やオクルージョンによっては頭部や脚部が検出できない場合あった。
【０００７】
そこで、本発明は、レーダーとカメラの座標のマッチング不良により、物体の種別判別ができなくなることを抑制すると共に、人体の検出精度を向上した車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するためになされたものであり、車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像するカメラとを有し、該レーダーによる検出データと該カメラによる撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置に関する。
【０００９】
そして、前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との相対位置に基づいて、前記撮像画像内に、該物体の実空間における位置及び大きさに対応した位置及びサイズの画像処理対象領域を設定する画像処理対象領域設定手段と、前記画像処理対象領域内又は前記画像処理対象領域の周辺に存在する所定長さ以上の水平エッジを探索する水平エッジ探索手段と、前記水平エッジ探索手段により水平エッジが探知されたときに、前記画像処理対象領域のサイズを拡大する処理、又は前記画像処理対象領域の位置を変更する処理を行う画像処理領域変更手段と、前記画像処理対象領域内で、所定の特徴を有する画像部分を検知することにより、該画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする。
【００１０】
かかる本発明によれば、前記画像処理対象領域設定手段により、前記レーダーにより位置が検出された物体に対して前記画像処理対象領域が設定される。そして、前記水平エッジ探索手段により前記画像処理対象領域内で水平エッジが探知されたときに、前記画像処理対象領域変更手段によって、前記画像処理対象領域のサイズを拡大又は前記画像処理対象領域の位置を変更する処理が行われる。ここで、前記画像処理対象領域内に存在する水平エッジ線は、例えば、物体が歩行者であるときには腰部のラインとなる（一般に、歩行者の上半身と下半身では着衣が異なるため、境になる腰部が水平エッジ線となり易い）。
【００１１】
そこで、水平エッジが探知されたときに、前記画像処理対象領域のサイズを拡大又は前記画像処理対象領域の位置を変更することによって、前記レーダーと前記カメラとの検出位置のマッチング不良により、前記画像処理対象領域から物体の特徴（歩行者の頭部や脚部等）を有する画像部分が外れている場合に、該画像部分が前記画像処理対象領域に含まれるようにすることができる。
【００１２】
そして、このようにして、サイズの拡大又は位置の変更を行った前記画像処理対象領域内で、前記対象物種別判別手段により所定の特徴を有する画像部分を探索することにより、前記レーダーと前記カメラの座標のマッチング不良により、物体の種別判別ができなくなることを抑制することができる。
【００１３】
また、前記画像処理対象領域変更手段は、前記画像処理対象領域の位置を変更する処理において、前記水平エッジが前記画像処理対象領域の垂直方向の中央位置となるように、前記画像処理対象領域の位置を変更することを特徴とする。
【００１４】
かかる本発明によれば、例えば、上述した物体が歩行者である場合のように、前記水平方向のエッジ線が物体の画像の中央位置に生じ易い場合に、物体の画像全体が前記画像処理対象領域内に入るように、前記画像処理対象領域の位置を変更することができる。
【００１５】
また、前記対象物種別判別手段は、前記水平エッジ探索手段により水平エッジ線が探知されると共に、前記前記画像処理対象領域内で、頭部又は脚部の特徴を有する画像部分を検知したときに、該画像部分に対応する実空間上の対象物が歩行者であると判別することを特徴とする。
【００１６】
かかる本発明によれば、水平エッジ線の探知と、頭部又は脚部の特徴を有する画像部分の検知を条件とすることで、これらの特徴を有しない人工物と区別して、物体が歩行者であるか否かを精度良く判別することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の車両周辺監視装置の構成図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】本発明の第１の実施形態における歩行者判別処理の処理手順を示したフローチャート。
【図４】レーダーによる監視対象物の位置の検出データに基づいて、画像処理対象領域を設定する処理の説明図。
【図５】水平エッジの位置に基づいて、画像処理対象領域の位置を変更する処理の説明図。
【図６】歩行者の画像から水平エッジを探知する処理の説明図。
【図７】歩行者の画像と人工物を区別する効果の説明図。
【図８】水平エッジの位置に基づいて、画像処理対象領域のサイズを拡大する処理の説明図。
【発明を実施するための形態】
【００１８】
本発明の実施の形態について、図１〜図８を参照して説明する。図１を参照して、本発明の車両周辺監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）と、レーザー光線を物体に照射して物体と車両間の実空間上の相対位置（相対距離を含む）を検出するレーザーレーダー８（本発明のレーダーに相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４とを備えている。
【００１９】
画像処理ユニット１は、赤外線カメラ２により得られる画像から車両前方の監視対象物の種別（歩行者、動物等）を判別し、監視対象物と車両が接触する可能性が高い場合に警報を出力する。そして、車両周辺監視装置は、音声により警報を行うためのスピーカ６と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。
【００２０】
次に、図２を参照して、車両周辺監視装置の車両への取付け態様を説明する。レーザーレーダー８はスキャン方式のレーザーレーダーであり、車両１０の前部に配置されている。そして、レーザーレーダーは、予め設定された前方（車両１０の進行方向）の第１監視範囲内を水平方向及び垂直方向に走査する。
【００２１】
また、赤外線カメラ２は、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。そして、赤外線カメラ２は、車両１０の前部に配置されて予め設定された前方の第２監視範囲（上記第１監視範囲内に設定される）を撮像する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２２】
画像処理ユニット１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリに取り込む画像入力回路と、該画像メモリに取り込まれた画像データにアクセス（読出し及び書込み）するためのインターフェース回路と、レーザーレーダー８による物体の位置（車両１０からの物体の相対位置）の検出信号を入力するためのインターフェース回路とを有している。
【００２３】
画像処理ユニット１は、画像メモリに取り込まれた車両前方の画像データに対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等を備えた電子ユニットである。
【００２４】
そして、前記コンピュータに車両周辺監視用のプログラムを実行させることによって、前記コンピュータが、レーザーレーダー８による物体の位置の検出データに基づいて、監視対象物の画像が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段２０と、画像処理対象領域及びその周囲で水平エッジを探索する水平エッジ探索手段２１と、探知された水平エッジの位置に基づいて画像処理対象領域の位置を変更する画像処理対象領域変更手段と、画像処理対象領域内で歩行者の特徴を有する画像部分を検知して物体の種別を判別する対象物種別判別手段２３として機能する。なお、本実施の形態では、対象物種別判別手段２３は、物体の種別が歩行者であるか否かを判別する。
【００２５】
次に、図３に示したフローチャートに従って、画像処理ユニット１による物体の種別の判別処理について説明する。
【００２６】
画像処理ユニット１は、先ず、ＳＴＥＰ１とＳＴＥＰ２０とＳＴＥＰ３０の処理を並列に実行する。ＳＴＥＰ１で、画像処理ユニット１は車速センサ４とヨーレートセンサ３の出力を読み込んで、車両１０の回頭角を算出する。また、ＳＴＥＰ２０で、画像処理ユニット１はレーザーレーダー８による第１監視領域の物体の測距データを入力する。また、ＳＴＥＰ３０で、画像処理ユニット１は赤外線カメラ２による赤外線画像を入力する。
【００２７】
続くＳＴＥＰ２で、画像処理ユニット１は、レーザーレーダー８による測距データに基づいて、回頭角補正を行いつつ第１監視領域内に所在する物体のトラッキングを行う。続くＳＴＥＰ２〜ＳＴＥＰ６は、画像処理対象領域設定手段２０による処理である。画像処理対象領域設定手段２０は、ＳＴＥＰ２で、測距データから物標情報（実空間における物体の位置情報）を取得する。
【００２８】
そして、画像処理対象領域設定手段２０は、次のＳＴＥＰ３で、物標の距離情報から赤外線カメラ２による撮像画像上での物体の画像の大きさを算出し、ＳＴＥＰ４で画像座標に物標情報を重ね合わせる。また、画像処理対象領域設定手段２０は、ＳＴＥＰ５で撮像画像を２値化して２値画像を生成し、ＳＴＥＰ６で物標情報に基づく画像処理対象領域を設定する。
【００２９】
図４は、ＳＴＥＰ２〜ＳＴＥＰ６により、レーザーレーダー８による測距データと歩行者の体格データに基づいて、赤外線カメラ２による撮像画像上に画像処理対象領域を設定する処理の説明図である。図４の左側は、車両１０の進行方向をＶz、鉛直方向をＶy、車幅方向をＶxとして、実空間における時点ｔkでの車両１０の前方の物体（本実施形態では歩行者）５２ａ，５４ａの測距状況を示したものである。また、図４の右側は、時点ｔkにおける赤外線カメラ２の撮像画像Ｉm1を示したものである。
【００３０】
図４では、歩行者５２ａと車両１０との距離Ｖz1(tk)と、歩行者５４ａと車両１０との距離Ｖz2(tk)が測定されている。そして、画像処理対象領域設定手段２０は、歩行者５２ａについて、歩行者５２ａと路面との交点を基準として、歩行者の体格データ（一般的な歩行者よりも大きめに設定されて、図示しないメモリに予め保持されている）に応じて設定したサイズ（Ｖb1(tk)×Ｖh1(tk)）の範囲５１ａを、歩行者５２ａと車両１０との距離Ｖz1(tk)に基づいて縮小した画像処理対象領域５１ｂを撮像画像Ｉm1上に設定する。
【００３１】
同様に、画像処理対象領域設定手段２０は、歩行者５４ａについて、歩行者５４ａと路面との交点を基準として、歩行者の体格データに応じて設定したサイズ（Ｖb2(tk)×Ｖh2(tk)）の範囲５３ａを、歩行者５４ａと車両１０との距離Ｖz2(tk)に基づいて縮小した画像処理対象領域５３ｂを設定する。
【００３２】
このように、路面との交点を基準として、歩行者の体格データに基づいて、歩行者５２ａと歩行者５４ａについての画像処理対象領域５１ａ，５３ｂを設定することで、歩行者５２ａの画像５２ｂの全体が含まれるように画像処理対象領域５１ｂが設定され、歩行者５４ａの画像５４ｂの全体が含まれるように画像処理対象領域５３ｂが設定されることが期待できる。
【００３３】
しかし、レーザーレーダ８による測距データにより算出される実空間上の物体の位置と、赤外線カメラ２の撮像画像における物体の画像の位置とのマッチングが不良であると、図５の（ａ）に示したように、歩行者５４ａの画像５４ｂの一部が画像処理対象領域５３ｂから外れてしまう場合がある。そして、この場合には、画像処理対象領域５３ｂ内で歩行者の特徴（頭部、脚部等）を有する画像部分が検知されなくなって、物体が歩行者であることを識別することができなくなる。
【００３４】
そこで、続くＳＴＥＰ７で、水平エッジ探索手段２１は、画像処理対象領域５３ｂ内及びその周囲で水平エッジを探索し、図５（ｂ）に示したように、水平エッジ６０が探知されたときは、ＳＴＥＰ８からＳＴＥＰ９に進む。ここで、図６の（ａ），（ｂ）に示したように、歩行者の画像は、上半身と下半身での着衣の違いから、腰部７０で輝度の境界部が生じ易い。そのため、（ｃ）に示したように、２値化したときに水平エッジ７１が生じる可能性が高い。
【００３５】
そして、図５の（ｂ）に示したように水平エッジ６０が探知されたときに、ＳＴＥＰ９で、画像処理対象領域変更手段２２は、図５の（ｃ）に示したように、水平エッジ６０が画像処理対象領域の中央部となる位置に、画像処理対象領域を変更する（５３ｂ→５３ｃ）。これにより、歩行者の画像５４ｂの全体が画像処理対象領域５３ｃ内に含まれる状態とすることができる。
【００３６】
続くＳＴＥＰ１０〜ＳＴＥＰ１２及びＳＴＥＰ４０は、対象物種別判別手段２３による処理である。対象物種別判別手段２３は、ＳＴＥＰ１０で、画像処理対象領域５３ｃ内で、頭部の特徴を有する画像部分を検知する。そして、頭部の特徴を有する画像部分６１が存在するときはＳＴＥＰ１１からＳＴＥＰ１２に進み、対象物種別判別手段２３は、画像部分５４が歩行者の画像であると判別する。
【００３７】
一方、画像処理対象領域内に頭部の特徴を有する画像部分が存在しないときには、ＳＴＥＰ１１からＳＴＥＰ４０に進み、対象物種別判別手段２３は、画像処理対象領域内の画像が人工物の画像であると判別する。これにより、画像処理対象領域内の画像が、図７の（ａ）に示したような矩形の物体（トランス等）の画像であって、（ｂ）に示した２値画像から水平エッジ８０が探知されるが頭部の特徴を有しない場合に、この物体を人工物として歩行者と区別して識別することができる。
【００３８】
また、ＳＴＥＰ８で、水平エッジが探知されなかったときにはＳＴＥＰ１３に分岐し、画像処理対象領域変更手段２２による画像処理対象領域の位置の変更は行われない。
【００３９】
なお、本実施の形態では、画像処理対象領域変更手段２２は、水平エッジが画像処理対象領域の中央部に位置するように、画像処理対象領域の位置を変更したが、図８に示したように、水平エッジ６０全体が画像処理対象領域に含まれるように、画像処理対象領域のサイズを拡大してもよい（５３ｃ→５３ｄ）。この場合にも、物体の画像５４ｂの全体が画像処理対象領域５３ｄ内に含まれる状態とすることができる。
【００４０】
また、本実施の形態では、対象物種別判別手段２３は、画像処理対象領域内で頭部の特徴を有する画像部分を検知することによって歩行者を識別したが、脚部の特徴を有する画像部分を検知することによって歩行者を識別してもよい。
【００４１】
また、本実施の形態では、図４に示したように、レーザーレーダ８の測距データから物体と路面との接点を検知し、該接点と体格データに基づいて画像処理対象領域５１ｂ，５３ｂを設定したが、該接点及び体格データによらずに、レーザーレーダ８の測距データから直接的に画像処理対象領域を設定してもよい。
【００４２】
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。
【００４３】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。
【符号の説明】
【００４４】
１…画像処理ユニット、２…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、８…レーザーレーダー、２０…画像処理対象領域設定手段、２１…水平エッジ探索手段、２２…画像処理対象領域変更手段、２３…対象物種別判別手段、５３ｂ〜５３ｄ…画像処理対象領域、６０…水平エッジ。
【技術分野】
【０００１】
本発明は、車両に搭載されたレーダーによる距離情報と車両に搭載された撮像手段による撮像画像から、車両周辺に所在する監視対象物を認識する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来より、車両にレーダーとカメラを併設し、レーダーによる物体の実空間位置の検出データに基づいて、カメラの撮像画像において該物体の画像が存在すると推定される画像領域を決定し、該画像領域を対象として監視対象物の画像部分を抽出する画像処理を行うようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。
【０００３】
かかる従来の車両周辺監視装置によれば、実空間位置の検出データにより物体が存在すると認識された実空間領域を、カメラの座標系に変換してカメラの撮像画像にマッピングすることにより、物体の画像部分が存在すると推定される画像領域（画像処理対象領域）が決定される。そして、このようにして決定した画像処理対象領域に限定して、監視対象物の画像部分を抽出する処理を行うことによって、カメラの撮像画像全体に対して監視対象物の画像部分を抽出する処理を行う場合よりも、該画像部分の抽出に要する時間を短縮することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３０２４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、レーダーによる物体の実空間位置の検出データに基いてカメラの撮像画像における画像処理対象領域を決定する場合、レーダーとカメラという異なる検出系を用いた場合、その検出特性の違いや、レーダーの検出に基づいて画像の対応位置に画像領域を設定するまでの時間遅れにより、レーダーの検出位置と画像上の位置とのマッチングが取りきれない場合があり、決定した画像処理対象領域内に物体の特徴部分が入らない場合がある。そして、この場合には物体の種別を判別することが困難になる。
【０００６】
また、監視対象物として人体を検出する場合、頭部や脚部の特徴を用いて検出することが知られているが、人体の姿勢やオクルージョンによっては頭部や脚部が検出できない場合あった。
【０００７】
そこで、本発明は、レーダーとカメラの座標のマッチング不良により、物体の種別判別ができなくなることを抑制すると共に、人体の検出精度を向上した車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するためになされたものであり、車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像するカメラとを有し、該レーダーによる検出データと該カメラによる撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置に関する。
【０００９】
そして、前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との相対位置に基づいて、前記撮像画像内に、該物体の実空間における位置及び大きさに対応した位置及びサイズの画像処理対象領域を設定する画像処理対象領域設定手段と、前記画像処理対象領域内又は前記画像処理対象領域の周辺に存在する所定長さ以上の水平エッジを探索する水平エッジ探索手段と、前記水平エッジ探索手段により水平エッジが探知されたときに、前記画像処理対象領域のサイズを拡大する処理、又は前記画像処理対象領域の位置を変更する処理を行う画像処理領域変更手段と、前記画像処理対象領域内で、所定の特徴を有する画像部分を検知することにより、該画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段とを備えたことを特徴とする。
【００１０】
かかる本発明によれば、前記画像処理対象領域設定手段により、前記レーダーにより位置が検出された物体に対して前記画像処理対象領域が設定される。そして、前記水平エッジ探索手段により前記画像処理対象領域内で水平エッジが探知されたときに、前記画像処理対象領域変更手段によって、前記画像処理対象領域のサイズを拡大又は前記画像処理対象領域の位置を変更する処理が行われる。ここで、前記画像処理対象領域内に存在する水平エッジ線は、例えば、物体が歩行者であるときには腰部のラインとなる（一般に、歩行者の上半身と下半身では着衣が異なるため、境になる腰部が水平エッジ線となり易い）。
【００１１】
そこで、水平エッジが探知されたときに、前記画像処理対象領域のサイズを拡大又は前記画像処理対象領域の位置を変更することによって、前記レーダーと前記カメラとの検出位置のマッチング不良により、前記画像処理対象領域から物体の特徴（歩行者の頭部や脚部等）を有する画像部分が外れている場合に、該画像部分が前記画像処理対象領域に含まれるようにすることができる。
【００１２】
そして、このようにして、サイズの拡大又は位置の変更を行った前記画像処理対象領域内で、前記対象物種別判別手段により所定の特徴を有する画像部分を探索することにより、前記レーダーと前記カメラの座標のマッチング不良により、物体の種別判別ができなくなることを抑制することができる。
【００１３】
また、前記画像処理対象領域変更手段は、前記画像処理対象領域の位置を変更する処理において、前記水平エッジが前記画像処理対象領域の垂直方向の中央位置となるように、前記画像処理対象領域の位置を変更することを特徴とする。
【００１４】
かかる本発明によれば、例えば、上述した物体が歩行者である場合のように、前記水平方向のエッジ線が物体の画像の中央位置に生じ易い場合に、物体の画像全体が前記画像処理対象領域内に入るように、前記画像処理対象領域の位置を変更することができる。
【００１５】
また、前記対象物種別判別手段は、前記水平エッジ探索手段により水平エッジ線が探知されると共に、前記前記画像処理対象領域内で、頭部又は脚部の特徴を有する画像部分を検知したときに、該画像部分に対応する実空間上の対象物が歩行者であると判別することを特徴とする。
【００１６】
かかる本発明によれば、水平エッジ線の探知と、頭部又は脚部の特徴を有する画像部分の検知を条件とすることで、これらの特徴を有しない人工物と区別して、物体が歩行者であるか否かを精度良く判別することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の車両周辺監視装置の構成図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】本発明の第１の実施形態における歩行者判別処理の処理手順を示したフローチャート。
【図４】レーダーによる監視対象物の位置の検出データに基づいて、画像処理対象領域を設定する処理の説明図。
【図５】水平エッジの位置に基づいて、画像処理対象領域の位置を変更する処理の説明図。
【図６】歩行者の画像から水平エッジを探知する処理の説明図。
【図７】歩行者の画像と人工物を区別する効果の説明図。
【図８】水平エッジの位置に基づいて、画像処理対象領域のサイズを拡大する処理の説明図。
【発明を実施するための形態】
【００１８】
本発明の実施の形態について、図１〜図８を参照して説明する。図１を参照して、本発明の車両周辺監視装置は、画像処理ユニット１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）と、レーザー光線を物体に照射して物体と車両間の実空間上の相対位置（相対距離を含む）を検出するレーザーレーダー８（本発明のレーダーに相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４とを備えている。
【００１９】
画像処理ユニット１は、赤外線カメラ２により得られる画像から車両前方の監視対象物の種別（歩行者、動物等）を判別し、監視対象物と車両が接触する可能性が高い場合に警報を出力する。そして、車両周辺監視装置は、音声により警報を行うためのスピーカ６と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。
【００２０】
次に、図２を参照して、車両周辺監視装置の車両への取付け態様を説明する。レーザーレーダー８はスキャン方式のレーザーレーダーであり、車両１０の前部に配置されている。そして、レーザーレーダーは、予め設定された前方（車両１０の進行方向）の第１監視範囲内を水平方向及び垂直方向に走査する。
【００２１】
また、赤外線カメラ２は、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。そして、赤外線カメラ２は、車両１０の前部に配置されて予め設定された前方の第２監視範囲（上記第１監視範囲内に設定される）を撮像する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２２】
画像処理ユニット１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリに取り込む画像入力回路と、該画像メモリに取り込まれた画像データにアクセス（読出し及び書込み）するためのインターフェース回路と、レーザーレーダー８による物体の位置（車両１０からの物体の相対位置）の検出信号を入力するためのインターフェース回路とを有している。
【００２３】
画像処理ユニット１は、画像メモリに取り込まれた車両前方の画像データに対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等を備えた電子ユニットである。
【００２４】
そして、前記コンピュータに車両周辺監視用のプログラムを実行させることによって、前記コンピュータが、レーザーレーダー８による物体の位置の検出データに基づいて、監視対象物の画像が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定手段２０と、画像処理対象領域及びその周囲で水平エッジを探索する水平エッジ探索手段２１と、探知された水平エッジの位置に基づいて画像処理対象領域の位置を変更する画像処理対象領域変更手段と、画像処理対象領域内で歩行者の特徴を有する画像部分を検知して物体の種別を判別する対象物種別判別手段２３として機能する。なお、本実施の形態では、対象物種別判別手段２３は、物体の種別が歩行者であるか否かを判別する。
【００２５】
次に、図３に示したフローチャートに従って、画像処理ユニット１による物体の種別の判別処理について説明する。
【００２６】
画像処理ユニット１は、先ず、ＳＴＥＰ１とＳＴＥＰ２０とＳＴＥＰ３０の処理を並列に実行する。ＳＴＥＰ１で、画像処理ユニット１は車速センサ４とヨーレートセンサ３の出力を読み込んで、車両１０の回頭角を算出する。また、ＳＴＥＰ２０で、画像処理ユニット１はレーザーレーダー８による第１監視領域の物体の測距データを入力する。また、ＳＴＥＰ３０で、画像処理ユニット１は赤外線カメラ２による赤外線画像を入力する。
【００２７】
続くＳＴＥＰ２で、画像処理ユニット１は、レーザーレーダー８による測距データに基づいて、回頭角補正を行いつつ第１監視領域内に所在する物体のトラッキングを行う。続くＳＴＥＰ２〜ＳＴＥＰ６は、画像処理対象領域設定手段２０による処理である。画像処理対象領域設定手段２０は、ＳＴＥＰ２で、測距データから物標情報（実空間における物体の位置情報）を取得する。
【００２８】
そして、画像処理対象領域設定手段２０は、次のＳＴＥＰ３で、物標の距離情報から赤外線カメラ２による撮像画像上での物体の画像の大きさを算出し、ＳＴＥＰ４で画像座標に物標情報を重ね合わせる。また、画像処理対象領域設定手段２０は、ＳＴＥＰ５で撮像画像を２値化して２値画像を生成し、ＳＴＥＰ６で物標情報に基づく画像処理対象領域を設定する。
【００２９】
図４は、ＳＴＥＰ２〜ＳＴＥＰ６により、レーザーレーダー８による測距データと歩行者の体格データに基づいて、赤外線カメラ２による撮像画像上に画像処理対象領域を設定する処理の説明図である。図４の左側は、車両１０の進行方向をＶz、鉛直方向をＶy、車幅方向をＶxとして、実空間における時点ｔkでの車両１０の前方の物体（本実施形態では歩行者）５２ａ，５４ａの測距状況を示したものである。また、図４の右側は、時点ｔkにおける赤外線カメラ２の撮像画像Ｉm1を示したものである。
【００３０】
図４では、歩行者５２ａと車両１０との距離Ｖz1(tk)と、歩行者５４ａと車両１０との距離Ｖz2(tk)が測定されている。そして、画像処理対象領域設定手段２０は、歩行者５２ａについて、歩行者５２ａと路面との交点を基準として、歩行者の体格データ（一般的な歩行者よりも大きめに設定されて、図示しないメモリに予め保持されている）に応じて設定したサイズ（Ｖb1(tk)×Ｖh1(tk)）の範囲５１ａを、歩行者５２ａと車両１０との距離Ｖz1(tk)に基づいて縮小した画像処理対象領域５１ｂを撮像画像Ｉm1上に設定する。
【００３１】
同様に、画像処理対象領域設定手段２０は、歩行者５４ａについて、歩行者５４ａと路面との交点を基準として、歩行者の体格データに応じて設定したサイズ（Ｖb2(tk)×Ｖh2(tk)）の範囲５３ａを、歩行者５４ａと車両１０との距離Ｖz2(tk)に基づいて縮小した画像処理対象領域５３ｂを設定する。
【００３２】
このように、路面との交点を基準として、歩行者の体格データに基づいて、歩行者５２ａと歩行者５４ａについての画像処理対象領域５１ａ，５３ｂを設定することで、歩行者５２ａの画像５２ｂの全体が含まれるように画像処理対象領域５１ｂが設定され、歩行者５４ａの画像５４ｂの全体が含まれるように画像処理対象領域５３ｂが設定されることが期待できる。
【００３３】
しかし、レーザーレーダ８による測距データにより算出される実空間上の物体の位置と、赤外線カメラ２の撮像画像における物体の画像の位置とのマッチングが不良であると、図５の（ａ）に示したように、歩行者５４ａの画像５４ｂの一部が画像処理対象領域５３ｂから外れてしまう場合がある。そして、この場合には、画像処理対象領域５３ｂ内で歩行者の特徴（頭部、脚部等）を有する画像部分が検知されなくなって、物体が歩行者であることを識別することができなくなる。
【００３４】
そこで、続くＳＴＥＰ７で、水平エッジ探索手段２１は、画像処理対象領域５３ｂ内及びその周囲で水平エッジを探索し、図５（ｂ）に示したように、水平エッジ６０が探知されたときは、ＳＴＥＰ８からＳＴＥＰ９に進む。ここで、図６の（ａ），（ｂ）に示したように、歩行者の画像は、上半身と下半身での着衣の違いから、腰部７０で輝度の境界部が生じ易い。そのため、（ｃ）に示したように、２値化したときに水平エッジ７１が生じる可能性が高い。
【００３５】
そして、図５の（ｂ）に示したように水平エッジ６０が探知されたときに、ＳＴＥＰ９で、画像処理対象領域変更手段２２は、図５の（ｃ）に示したように、水平エッジ６０が画像処理対象領域の中央部となる位置に、画像処理対象領域を変更する（５３ｂ→５３ｃ）。これにより、歩行者の画像５４ｂの全体が画像処理対象領域５３ｃ内に含まれる状態とすることができる。
【００３６】
続くＳＴＥＰ１０〜ＳＴＥＰ１２及びＳＴＥＰ４０は、対象物種別判別手段２３による処理である。対象物種別判別手段２３は、ＳＴＥＰ１０で、画像処理対象領域５３ｃ内で、頭部の特徴を有する画像部分を検知する。そして、頭部の特徴を有する画像部分６１が存在するときはＳＴＥＰ１１からＳＴＥＰ１２に進み、対象物種別判別手段２３は、画像部分５４が歩行者の画像であると判別する。
【００３７】
一方、画像処理対象領域内に頭部の特徴を有する画像部分が存在しないときには、ＳＴＥＰ１１からＳＴＥＰ４０に進み、対象物種別判別手段２３は、画像処理対象領域内の画像が人工物の画像であると判別する。これにより、画像処理対象領域内の画像が、図７の（ａ）に示したような矩形の物体（トランス等）の画像であって、（ｂ）に示した２値画像から水平エッジ８０が探知されるが頭部の特徴を有しない場合に、この物体を人工物として歩行者と区別して識別することができる。
【００３８】
また、ＳＴＥＰ８で、水平エッジが探知されなかったときにはＳＴＥＰ１３に分岐し、画像処理対象領域変更手段２２による画像処理対象領域の位置の変更は行われない。
【００３９】
なお、本実施の形態では、画像処理対象領域変更手段２２は、水平エッジが画像処理対象領域の中央部に位置するように、画像処理対象領域の位置を変更したが、図８に示したように、水平エッジ６０全体が画像処理対象領域に含まれるように、画像処理対象領域のサイズを拡大してもよい（５３ｃ→５３ｄ）。この場合にも、物体の画像５４ｂの全体が画像処理対象領域５３ｄ内に含まれる状態とすることができる。
【００４０】
また、本実施の形態では、対象物種別判別手段２３は、画像処理対象領域内で頭部の特徴を有する画像部分を検知することによって歩行者を識別したが、脚部の特徴を有する画像部分を検知することによって歩行者を識別してもよい。
【００４１】
また、本実施の形態では、図４に示したように、レーザーレーダ８の測距データから物体と路面との接点を検知し、該接点と体格データに基づいて画像処理対象領域５１ｂ，５３ｂを設定したが、該接点及び体格データによらずに、レーザーレーダ８の測距データから直接的に画像処理対象領域を設定してもよい。
【００４２】
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。
【００４３】
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。
【符号の説明】
【００４４】
１…画像処理ユニット、２…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、８…レーザーレーダー、２０…画像処理対象領域設定手段、２１…水平エッジ探索手段、２２…画像処理対象領域変更手段、２３…対象物種別判別手段、５３ｂ〜５３ｄ…画像処理対象領域、６０…水平エッジ。
【特許請求の範囲】
【請求項１】
車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像するカメラとを有し、該レーダーによる検出データと該カメラによる撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との相対位置に基づいて、前記撮像画像内に、該物体の実空間における位置及び大きさに対応した位置及びサイズの画像処理対象領域を設定する画像処理対象領域設定手段と、
前記画像処理対象領域内又は前記画像処理対象領域の周辺に存在する所定長さ以上の水平エッジを探索する水平エッジ探索手段と、
前記水平エッジ探索手段により水平エッジが探知されたときに、前記画像処理対象領域のサイズを拡大する処理、又は前記画像処理対象領域の位置を変更する処理を行う画像処理領域変更手段と、
前記画像処理対象領域内で、所定の特徴を有する画像部分を検知することにより、該画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段と
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記画像処理対象領域変更手段は、前記画像処理対象領域の位置を変更する処理において、前記水平エッジが前記画像処理対象領域の垂直方向の中央位置となるように、前記画像処理対象領域の位置を変更することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２記載の車両周辺監視装置において、
前記対象物種別判別手段は、前記水平エッジ探索手段により水平エッジが探知されると共に、前記前記画像処理対象領域内で、頭部又は脚部の特徴を有する画像部分を検知したときに、該画像部分に対応する実空間上の物体が歩行者であると判別することを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像するカメラとを有し、該レーダーによる検出データと該カメラによる撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
前記レーダーにより検出された前記第２監視範囲内に所在する物体と前記車両との相対位置に基づいて、前記撮像画像内に、該物体の実空間における位置及び大きさに対応した位置及びサイズの画像処理対象領域を設定する画像処理対象領域設定手段と、
前記画像処理対象領域内又は前記画像処理対象領域の周辺に存在する所定長さ以上の水平エッジを探索する水平エッジ探索手段と、
前記水平エッジ探索手段により水平エッジが探知されたときに、前記画像処理対象領域のサイズを拡大する処理、又は前記画像処理対象領域の位置を変更する処理を行う画像処理領域変更手段と、
前記画像処理対象領域内で、所定の特徴を有する画像部分を検知することにより、該画像部分に対応する実空間上の監視対象物の種別を判別する対象物種別判別手段と
を備えたことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記画像処理対象領域変更手段は、前記画像処理対象領域の位置を変更する処理において、前記水平エッジが前記画像処理対象領域の垂直方向の中央位置となるように、前記画像処理対象領域の位置を変更することを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は請求項２記載の車両周辺監視装置において、
前記対象物種別判別手段は、前記水平エッジ探索手段により水平エッジが探知されると共に、前記前記画像処理対象領域内で、頭部又は脚部の特徴を有する画像部分を検知したときに、該画像部分に対応する実空間上の物体が歩行者であると判別することを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図８】
【図６】
【図７】
【公開番号】特開２０１１−１３４１１９（Ｐ２０１１−１３４１１９Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９３２１４（Ｐ２００９−２９３２１４）
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２４日（２００９．１２．２４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]