説明

車両周辺監視装置

【課題】グレースケール画像に対して微分フィルタによるフィルタ処理を実施してから、2値画像を生成したときに、対象物の画像の欠損が生じることを抑制した車両周辺監視装置を提供する。
【解決手段】レーザーレーダー8により検出された物体と車両との相対位置に基づいて、微分フィルタによるフィルタ処理が実施されたフィルタ処理後画像Im2内に、該物体の実空間における位置及び大きさに対応した位置及び大きさの処理対象領域を設定する処理対象領域設定部15と、フィルタ処理後画像Im2に対して、前記処理対象領域を、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された2値化閾値により2値化する処理を行って、2値画像を生成する2値画像生成部14とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に取り付けられたカメラの撮像画像により、車両周辺を監視する車両周辺監視装置に関する。
【背景技術】
【0002】
従来より、カメラにより車両の周辺を撮像し、その撮像画像から歩行者等の監視対象物を検知して運転者に報知するようにした車両周辺監視装置が知られている(例えば、特許文献1参照)。
【0003】
そして、撮像画像からの監視対象物の画像の抽出を容易にするために、撮像画像(グレースケールの原画像)に対して微分フィルタによるフィルタ処理を実施することにより、監視対象物の画像とその背景画像との境界エッジを強調した画像を生成し、このように境界エッジを強調した画像から監視対象物の画像を抽出する処理が行われている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−284057号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願発明者らは、上述した微分フィルタによるフィルタ処理を行ったグレースケール画像を2値化した2値画像から、歩行者等の画像部分を抽出しようとしたときに、以下の不都合が生じて、歩行者等の検知が困難になる場合があることを知見した。この不都合について、図7(a),図7(b)を参照して説明する。
【0006】
図7(a)のIm10はカメラによるグレースケールの撮像画像(原画像)を示しており、H1,H2という二つの画像部分が含まれている。また、Lp10はIm10の垂直座標y50での輝度プロファイル(輝度分布)を、縦軸を輝度(0〜255)に設定し、横軸を水平座標(0〜420)に設定して示したものである。Im10では、H1,H2の輝度とその周囲の輝度との差が小さい(50程度)ため、2値画像を生成するときの2値化閾値の設定が難しい。
【0007】
そこで、Im10に微分フィルタによるフィルタ処理を施すことで、図7(b)に示したようにエッジ部が強調されたグレースケール画像Im11が得られる。ここで、Im11の垂直座標y50での輝度プロファイルLp11は、幅が狭いH1については全域に亘って輝度が高くなっているが、幅が広いH2については、端部の輝度は高くなっているものの、中間部の輝度の増加は少ない。
【0008】
そのため、H1の輝度に合わせて2値化閾値を例えば180に設定すると、2値画像を生成したときにH2の中間部が大きく欠損して、H2による対象物の検知ができなくなるという不都合がある。
【0009】
そこで、本発明は、上記不都合を解消し、グレースケール画像に対して微分フィルタによるフィルタ処理を施してから、2値画像を生成したときに、対象物の画像の欠損が生じることを抑制した車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明は上記目的を達成するためになされたものであり、車両に搭載されて該車両の周辺の第1監視範囲内に所在する物体と該車両との相対位置を検出する位置検出部と、該車両に搭載されて該第1監視範囲と重複する第2監視範囲を撮像するカメラとを有し、該位置検出部による検出データと該カメラによる撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置に関する。
【0011】
そして、前記カメラにより撮像されたグレースケール画像に対して、微分フィルタによるフィルタ処理を実施するフィルタ処理部と、前記位置検出部により検出された前記第2監視範囲内に所在する物体と前記車両との相対位置に基づいて、前記フィルタ処理が実施されたフィルタ処理後画像内に、該物体の実空間における位置及び大きさに対応した位置及び大きさの処理対象領域を設定する処理対象領域設定部と、前記フィルタ処理後画像に対して、前記処理対象領域を、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された2値化閾値により2値化する処理を行って、2値画像を生成する2値画像生成部と、前記2値画像から対象物の画像部分を抽出する対象物検知部とを備えたことを特徴とする。
【0012】
かかる本発明によれば、詳細は後述するが、前記カメラにより撮像されたグレースケール画像における対象物(歩行者等)の画像部分が大きいほど、前記フィルタ処理を実施したときに、該画像部分のエッジ部と中間部の輝度差が大きくなる。そのため、2値画像で該画像部分全体を残すためには、2値化閾値を低く設定する必要がある。そして、前記車両と対象物との距離が短いほど、前記カメラにより撮像されたグレースケール画像における対象物の画像部分が大きくなる。
【0013】
そこで、前記2値画像生成部は、前記処理対象領域により設定された、前記フィルタ処理後画像内に物体の実空間における位置及び大きさに対応した位置及びサイズの前記処理対象領域を、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された2値化閾値により2値化する処理を行って、2値画像を生成する。これにより、2値画像を生成したときに、対象物の画像部分の欠損が生じることを抑制することができる。
【0014】
また、前記2値画像生成部は、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された2値化閾値を、該物体の画像の中心部分の輝度に応じて補正し、該補正後の2値化閾値により2値化処理を行って前記2値画像を生成することを特徴とする。
【0015】
かかる本発明によれば、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された2値化閾値を、実際の物体の画像の輝度に応じたより適切なものとして、前記2値化処理を行うことができる。
【図面の簡単な説明】
【0016】
【図1】車両周辺監視装置の構成図。
【図2】車両周辺装置の車両への取付態様の説明図。
【図3】微分フィルタによるフィルタ処理の効果の説明図。
【図4】2値画像の生成処理のフローチャート。
【図5】グレースケール画像における対象物の画像部分の大きさの説明図。
【図6】フィルタ処理後画像における対象物の画像部分の大きさと輝度分布の説明図。
【図7】微分フィルタによるフィルタ処理を行ってから、2値画像を生成したときに生じ得る不都合の説明図。
【発明を実施するための形態】
【0017】
本発明の実施の形態について、図1〜図6を参照して説明する。図1を参照して、本実施の形態の車両周辺監視装置は車両に搭載して使用され、ECU(Electronic Control Unit)1と、遠赤外線を検出可能な赤外線カメラ2(本発明のカメラに相当する)と、レーザー光線を物体に照射してその反射波を受信することにより物体と車両間の実空間上の相対位置(相対距離を含む)を検出するレーザーレーダー8(本発明の位置検出部に相当する)と、車両のヨーレートを検出するヨーレートセンサ3と、車両の走行速度を検出する車速センサ4と、スピーカ5と、ヘッドアップディスプレイ7とを備えている。
【0018】
ECU1は、CPU、メモリ等により構成された電子ユニットであり、赤外線カメラ2から出力される映像信号(被撮像物の温度を輝度に変換した信号)を、画像メモリ12に書込む画像入力回路11と、画像メモリ12に書込まれたグレースケール画像(原画像Im1)に対して、微分フィルタによるフィルタ処理を実施するフィルタ処理部13と、レーザーレーダー8により検出された物体の位置(車両からの相対位置)と大きさに応じた処理対象領域を、フィルタ処理後画像Im2に設定する処理対象領域設定部15と、フィルタ処理後画像Im2に対して、処理対象領域毎に2値化閾値を設定して2値化処理を行うことにより、2値画像Im3を生成する2値画像生成部14と、2値画像Im3から対象物の画像部分を抽出して対象物を検知する対象物検知部16とを備えている。
【0019】
なお、CPUは、メモリに保持された車両周辺監視用の制御プログラムを実行することによって、フィルタ処理部13、2値画像生成部14、処理対象領域設定部15、及び対象物検知部16として機能する。
【0020】
次に、図2を参照して、車両周辺監視装置の車両への取付け態様を説明する。レーザーレーダー8はスキャン方式のレーザーレーダーであり、車両10の前部に配置されている。そして、レーザーレーダー8は、予め設定された前方(車両10の進行方向)の第1監視範囲内を水平方向及び垂直方向に走査する。
【0021】
また、赤外線カメラ2は、撮像物の温度が高い程出力レベルが高くなる(輝度が大きくなる)特性を有している。そして、赤外線カメラ2は、車両10の前部に配置されて予め設定された前方の第2監視範囲(上記第1監視範囲内に設定される)を撮像する。HUD7は、車両10のフロントウィンドウの運転者側の前方位置に画面7aが表示されるように設けられている。
【0022】
次に、図3(a)及び図3(b)を参照して、フィルタ処理部13により、微分フィルタによるフィルタ処理を実施することの効果について説明する。図3(a)は、輝度が異なる画像部分A,Bを含む原画像Im1の、垂直座標がy1である画素の輝度プロファイルを示したものである。図3(a)原画像Im1では、画像部分A,B間の輝度差がLw1になっている。
【0023】
また、図3(b)は、図3(a)に示した原画像Im1に対して、フィルタ処理部13により、微分フィルタによるフィルタ処理を実施したフィルタ処理後画像Im2の、垂直座標がy1である画素の輝度プロファイルを示したものである。図3(b)に示したように、微分フィルタによるフィルタ処理を施すことによって、原画像Im1の画像部分Bとその周囲部分(背景部分)Aとの境界エッジが強調され、画像部分B'とその周囲部分Aとの輝度差がLw2に拡大している。このように、画像部分Bとその周囲部分Aとの輝度差を拡大(Lw1→Lw2)することによって、画像部分Bの抽出を容易にすることができる。
【0024】
しかしながら、画像部分Bの幅が広くなるに従って、微分フィルタによるフィルタ処理を実施したときに、境界部と中間部との輝度差が大きくなり、境界部に合わせて2値化閾値を設定すると、2値画像において中間部が欠損してしまうという不都合が生じる。そこで、2値画像生成部14と処理対象領域設定部15は、上記不都合が生じることを抑制するために、図4に示したフローチャートによる処理を行って2値画像を生成する。以下、この処理について説明する。
【0025】
図4のSTEP1で、レーザーレーダー8により車両10の前方に所在する物体の位置が検出されると、STEP2で、2値画像生成部14は、物体と車両10との距離に応じて、2値化閾値を設定する。
【0026】
ここで、図5(a)及び図5(b)は、車両10と物体(ここでは監視対象物である歩行者)20,21との距離と、赤外線カメラ1により撮像されたグレースケール画像Im1における対象物の画像部分20a,20bの大きさとの関係を示したものである。
【0027】
図5(a),図5(b)から、明らかなように、車両10と距離が短い(Z1)歩行者20の方が、車両10との距離が長い(Z2>Z1)歩行者21よりも、グレースケール画像Im1における画像部分が大きくなる(画像部分20aの方が画像部分21aよりも大きくなる)。そこで、2値画像生成部14は、レーザーレーダー8より検出された各物体について、車両10からの距離が短いほど輝度を低くした2値化閾値を設定する。
【0028】
続くSTEP3は、処理対象領域設定部15による処理である。処理対象領域設定部15は、図6(a)に示したように、フィルタ処理後画像Im2に対して、レーダーレーダー8により検出された各物体の位置及び大きさに対応した位置及びサイズの処理対象領域を設定する。
【0029】
図6(a)の例では、対象物の画像部分C1を含む処理対象領域E1が設定され、別の対象物の画像部分C2を含む処理対象領域E2が設定されている。また、図6(b)は図6(a)の垂直座標y10での輝度プロファイルLp2を、縦軸を輝度(0〜255)に設定し、横軸を画像の水平座標(0〜420)に設定した示したものである。
【0030】
図6(a)のフィルタ処理後画像Im2に対しては、2値画像生成部14により、図6(b)に示したように、処理対象領域E1用の2値閾値Th1が設定されると共に、処理対象領域E2用の2値閾値Th2が設定される。
【0031】
そして、続くSTEP4で、2値画像生成部14は、処理対象領域E1については2値化閾値Th1による2値化処理を行い、処理対象領域E2については2値化閾値Th2による2値化処理を行って、フィルタ処理後画像Im2の2値画像Im3を生成する。なお、フィルタ処理後画像Im2の処理対象領域E1,E2以外の領域については、例えば、輝度の中間値(128)を2値化閾値として2値化処理を行えばよい。
【0032】
また、STEP4において、2値画像生成部14は、レーザーレーダー8より検出された各物体について、車両10からの距離が短いほど輝度を低くして設定した2値化閾値に対して、例えば、図6(a)の処理対象領域E2では、図6(b)に示した画像部分C2の中心部の輝度(画像部分C2の輝度のボトム値)Btmに応じた補正を行うようにしてもよい。具体的には、2値画像生成部14は、例えば、処理対象領域E2の2値化閾値Th2をボトム値Btmよりも所定輝度以上低くする補正を行う。
【0033】
対象物検知部16は、車速センサ4とヨーレートセンサ3の出力を読み込んで、車両10の回頭角を算出し、レーザーレーダー8による測距データに基いて、回頭角補正を行いつつ、第1監視領域内に所在する物体のトラッキングを行う。そして、対象物検出部12は、トラッキングを行っている物体の画像を、2値画像生成部14により生成された2値画像Im3から抽出し、この物体が接触可能性が高い歩行者又は自転車であると判断したときに、HUD7への表示とスピーカ5からの音声出力による報知を行なう。
【0034】
なお、本実施の形態では、本発明のカメラとして赤外線カメラを用いた例を示したが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。
【0035】
また、本実施の形態では、本発明の位置検出部としてレーザーレーダーを用いた例を示したが、ミリ波レーダー等の他の種類の測距センサや、ステレオカメラを備えて視差により距離を算出する構成を用いてもよい。
【0036】
また、本実施の形態では、車両の前方に所在する物体を監視する構成を示したが、車両の後方や側方等方、他の方向に所在する物体を監視する構成としてもよい。
【0037】
また、グレースケール画像における、レーザーレーダー8により検出された物体の画像部分の大きさ(物体の画像領域の大きさ)に応じて、例えば、物体の画像部分が大きいほど2値化閾値を低い輝度に設定するようにしてもよい。
【符号の説明】
【0038】
1…ECU、2…赤外線カメラ、8…レーザーレーダー、10…車両(自車両)、13…フィルタ処理部、14…2値画像生成部、15…処理対象領域設定部、16…対象物検知部。

【特許請求の範囲】
【請求項1】
車両に搭載されて該車両の周辺の第1監視範囲内に所在する物体と該車両との相対位置を検出する位置検出部と、該車両に搭載されて該第1監視範囲と重複する第2監視範囲を撮像するカメラとを有し、該位置検出部による検出データと該カメラによる撮像画像に基づいて、該車両の周辺を監視する車両周辺監視装置であって、
前記カメラにより撮像されたグレースケール画像に対して、微分フィルタによるフィルタ処理を実施するフィルタ処理部と、
前記位置検出部により検出された前記第2監視範囲内に所在する物体と前記車両との相対位置に基づいて、前記フィルタ処理が実施されたフィルタ処理後画像内に、該物体の実空間における位置及び大きさに対応した位置及び大きさの処理対象領域を設定する処理対象領域設定部と、
前記フィルタ処理後画像に対して、前記処理対象領域を、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された2値化閾値により2値化する処理を行って、2値画像を生成する2値画像生成部と、
前記2値画像から対象物の画像部分を抽出する対象物検知部と
を備えたことを特徴とする車両周辺監視装置。
【請求項2】
請求項1記載の車両周辺監視装置において、
前記2値画像生成部は、前記処理対象領域の設定対象となった物体と前記車両との距離が短いほど低い輝度値に設定された2値化閾値を、該物体の画像の中心部分の輝度に応じて補正し、該補正後の2値化閾値により2値化処理を行って前記2値画像を生成することを特徴とする車両周辺監視装置。

【図1】
image rotate

【図2】
image rotate

【図4】
image rotate

【図3】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−186753(P2011−186753A)
【公開日】平成23年9月22日(2011.9.22)
【国際特許分類】
【出願番号】特願2010−50935(P2010−50935)
【出願日】平成22年3月8日(2010.3.8)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】