車両画像領域特定装置およびその方法
【課題】車両が他の物体の投射陰にあっても、不均一な照光があっても、又は車線がないなどの場合にも、画像に含まれる車両を含むように画像領域を特定する車両画像領域特定装置およびその方法を提供する。
【解決手段】車下陰に基づく車両画像領域特定装置であり、道路上の車両の走行状況を撮像した画像を入力する画像入力手段と、前記画像入力手段で入力した画像に対して勾配分布を算出する勾配分布検出手段と、前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定手段と、前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定する画像領域特定手段を有している。
【解決手段】車下陰に基づく車両画像領域特定装置であり、道路上の車両の走行状況を撮像した画像を入力する画像入力手段と、前記画像入力手段で入力した画像に対して勾配分布を算出する勾配分布検出手段と、前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定手段と、前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定する画像領域特定手段を有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両画像を含む画像領域を特定する車両画像領域特定装置およびその方法にかかわり、特に、輝度勾配に基づいて車下陰を検出し、該車下陰に基づいて車両画像を含む画像領域を特定する車両画像領域特定装置およびその方法に関する。
【背景技術】
【０００２】
高度道路交通システム（Intelligent Transport System, ITS）の各分野において、マシンビジョンによって車両画像を識別する場合、まず、撮影画像より車両が存在する領域の画像を切り取る必要がある。通常、識別しようとする車両の特徴又は特徴の相似性に基づいて、撮影画像より車両が存在可能な領域を特定し、該領域より画像を切り出す。かかる車両が存在可能な画像領域を関心領域ROI（関心領域：Region of Interest）と略称する。図１は車両画像CIMを含む関心領域ROIの例であり、CSHは車の下陰(車下陰)である。
【０００３】
陽光又は他の光源による照射で車下に陰が存在することは、形状の異なる車両の共通の特徴であるので、車下陰は、マシンビジョンによる車両画像抽出（Vehicle Candidate Generation）技術において車両画像を取り出す際に根拠とする主な特徴である。従来技術は、以下のような車下陰特徴による車両画領域特定方法を開示している。車下陰による第１の車両画像領域特定方法は、車下陰領域の輝度が路面より暗い特徴に基づいて、画像から車両画像領域を特定する。この方法は、図２に示すように、ステップS1において、撮像機で撮像した路面状況の画像(前方風景)を入力し、ステップS2において、ステップＳ1で入力した路面状況の画像について路面の輝度平均値を算出して、この平均値を基準値と設定し、ステップＳ3において、画像中の各画素の輝度値を前記基準値と比較して、輝度値が基準値より低いすべての領域を、可能な車下陰領域、即ち車下陰の候補領域として特定し、次に、自車と候補領域との距離、この候補領域の大きさ及び角度の条件によって、前記候補領域を振るい分け、最後に、ステップS4において、ステップS3で振るい分けた後の結果、即ち車両画像を含む画像領域ROIを出力する。
【０００４】
しかし、図３及び図４に示すように、車両自体が他の立体物体（例えば図示した建物BL）の投射陰内にある時、投射陰も路面より暗いので、この時に、前記方法に従って路面の平均輝度値を判断基準として車両画像の領域特定を行うと、建物BLの投射陰も車下陰とするという間違い判断になる。図３に示すように、撮像機で撮像した画像領域CMAは車両領域より非常に大きいので、この車両領域をROIとして正確に特定することができない。また、図４に示すように、画像領域ROI1,ROI2を特定すれば、該画像領域ROI1,ROI2に全体の車両画像を含まないため車両識別ができなくなる。
陰の形成原理によって、車下陰の領域が輝度重ね合せにより常にその周囲の領域よりも暗いことが分かる。即ち、投射陰の中、又は異なる照光でも、車下陰の領域は、常にその周囲の領域よりも輝度が暗いという特徴を有する。前記の平均輝度値によって車下陰の領域を特定する従来の方法は、車下陰のこの特徴を考慮しなかったので、車両が他の物体の投射陰にあるか、又は不均一な照光にある場合、車両領域を正確に特定さできない問題があった。
【０００５】
車下陰の領域が常にその周囲の領域よりも暗い特徴を有することを考慮し、且つ、車両が他の物体の投射陰にある時に車両領域を正確に特定できない問題を解決するための従来技術がある(特許文献1参照)。この従来技術の車両画像領域特定技術を図５に示す。まず、ステップS21において、撮像機で撮像した路面状況の画像(図６参照)を入力する。ステップS22において、自車の走行車線の車線識別線(白線)３１を検出する。ステップS23において、検出した車線識別線によって、自車の走行車線３２の路面における輝度値分布を算出して、輝度値分布から輝度値分布関数Dを得る。輝度値分布とは、図６に示すように、走行車線の最低位置をY=0として、走行車線の前方をY軸とするとき、任意のY座標値における走行車線32上の路面輝度の平均値であり、影を含まない場合である。換言すれば、同じY座標を有する走行車線32上の画素の輝度値の平均値を求めることにより、Y座標毎の走行車線32の輝度分布を求める。走行車線32に影や先行車両等が含まれない場合には、前方画像内上方（道路遠方、Y座標値が大きい）ほど明るい輝度値を示すことが知られており、輝度値はY座標値に略比例する。このため、例えば前方画像の最下点（Y＝0）から所定値（Y＝Y0）までの輝度値分布のみを求め、最小二乗法等の手法により、Y座標に対する輝度分布線形近似式（輝度値分布関数）を得ることで輝度値分布を得ることができる。輝度値分布関数Dは、D＝αY＋β で表現され、Y座標値が0〜Y0の領域の輝度値分布より、α，βを同定する。
【０００６】
ステップS24において、自車の走行車線内のすべての画素の輝度値と、前記輝度値分布関数から得られた設定値とを比較して、輝度値がこの設定値よりも低いすべての領域を、車下陰の候補領域として設定する。ステップS25において、他の物体の投射陰にある車両の車下陰が他の物体の投射陰よりも暗い特徴に基づいて、車下陰の候補領域内の輝度値分布によってこの候補領域内のより暗い領域を検出し、これら領域を車下陰の領域として特定し、最後に、ステップS26において、ステップS25で特定された車下陰の領域に基づいて車両画像を含む所定の画像領域ROIを出力する。
【特許文献１】特開２００３−７６９８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、前記従来技術の方法では、まず自車の走行車線の車線識別線(白線)３１を検出し、この車線識別線に基づいて走行車線の路面における輝度値分布を求めなければならない。このため、路面に車線識別線がないか、又は撮像した画像において車線識別線が撮像されない場合には、輝度値分布を求めるための走行車線路面を確定できなくなり、さらに、後のステップを行うことができなくなり、車両画像を含む画像領域ROIの特定処理を完成することができない。
また、図７に示すように、自然条件で、路面の輝度は、照光、他の建物の投影及び路面色の変化により影響され、路面の輝度分布は複雑でかつ不規則である。前記従来技術方法では、自車の走行車線内の路面における輝度値分布を算出するので、この輝度値分布は、二車線、三車線などの多車線の路面の複雑でかつ不規則な輝度分布状態を代表できず、多車線の場合に用いることができない。
また従来技術の方法は、路面の輝度値分布を計算する領域は、画像の最低部（Ｙ＝０）からその上部までの領域（Ｙ＝０〜Ｙ0）であるので、画像の最低部に暗い領域がある場合（図８参照）、路面の輝度値分布によって得られた輝度値分布関数Dより算出した閾値が小さすぎる可能性がある。このため、閾値より小さい輝度の画素を車下陰の候補領域の画素として設定する場合に、必然的に車両画像を含む画像領域ROIを正確に特定できなくなる。
以上より本発明は、車両が他の物体の投射陰にあっても、不均一な照光があっても、又は車線がないなどの場合にも、画像に含まれるすべての車両を含むように画像領域ROIを正確に特定できる車両画像領域特定装置およびその方法を提供することを目的とする。
また、本発明は多車道の路面状況にも普及して使用できる車両画像領域特定装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
・車両画像領域特定方法
本発明の第1の態様は、車両画像を含む画像領域を特定する車両画像領域特定方法であり、道路上の車両の走行状況を撮像した画像を入力する画像入力ステップと、前記画像入力ステップで入力した画像に対して勾配分布を算出する勾配分布検出ステップと、前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定ステップと、前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定するステップを有している。
本発明の車両画像領域特定方法は、前記車下陰の候補領域特定ステップにおいて、車下陰の領域がその周りの領域より暗い特徴を有することに基づいて、前記車下陰の候補領域を特定することを特徴とする。
本発明の車両画像領域特定方法は、前記車下陰の候補領域特定ステップにおいて、画像の勾配分布検出ステップで検出した前記画像の勾配分布情報に基づいて、前記画像から垂直方向の差分値が負値であるすべての画素点を抽出するステップを含むことを特徴とする。
本発明の車両画像領域特定方法の前記車下陰の候補領域特定ステップは、前記抽出された画素点が以下のような二つの条件、即ち(a):着目画素点の勾配値が、勾配方向で該着目点に隣接する二つの画素点の勾配値よりも大きいこと、(b):前記(a)に記載の隣接する二つの点は、垂直方向に隣接する画素点であることを満たすかを判断し、この二つの条件を満たす画素点を車下陰の候補領域のエッジ点として特定するステップを含むことを特徴とする。
【０００９】
・車両画像領域特定装置
本発明の第2の態様は、車両画像を含む画像領域を特定する車両画像領域特定装置であり、道路上の車両の走行状況を撮像した画像を入力する画像入力手段と、前記画像入力手段で入力した画像に対して勾配分布を算出する勾配分布検出手段と、前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定手段と、前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定する手段を有している。
また、本発明の車両画像領域特定装置は上記の車両画像領域特定方法の各ステップを実現して車両画像を含む画像領域ROIを特定する。
【発明の効果】
【００１０】
本発明によれば、車両が他の物体の投射陰にあっても、不均一な照光がなされても、又は車線がない場合にも、車両画像を含む領域を正確に特定できる。
また、本発明によれば、多車線の路面状況にも普及して使用することができる。
【発明を実施するための最良の形態】
【００１１】
図９は本発明の１実施形態である車両画像領域特定装置の構造図である。図９に示すように、本実施形態の車両画像領域特定装置は、テレビジョンカメラ、監視撮像機などの画像入力手段１１と、勾配分布検出手段１２と、車下陰の候補領域特定手段１３と、車両画像を含む画像領域特定手段（ROI特定手段）１４を有している。勾配分布検出手段１２と、車下陰の候補領域特定手段１３と、画像領域特定手段（ROI特定手段）１４は画像処理部を構成する。図示しないが画像処理部には液晶などの表示部が接続されて画像入力手段１１から入力された画像や所定の画像が表示されるようになっている。
【００１２】
以下、図１０と図１１の処理フローを参照して、本実施形態の車両画像領域特定装置の画像領域特定処理方法を説明する。
車両に搭載された画像入力手段１１は、テレビジョンカメラ、監視撮像機などの撮像装置で撮像した画像（道路前方の車両走行状況を示す画像）を勾配分布検出手段１２に入力する（ステップＳ１１）。
勾配分布検出手段１２は、前記画像入力手段１１で入力した画像の全画素位置(x，y)における輝度の勾配分布を(1)式を用いて算出する（ステップＳ１２）。図１２は画像IMGのX-Y座標系(スクリーン座標系)を示すもので、左下隅を原点としている。
【００１３】
【数１】
(1)式において、f(x，y)は位置(x，y)の画素P(x,y)の輝度を示す輝度関数であり、輝度勾配G(x，y)は輝度関数f(x，y)の各軸方向の一次微分係数で示され、方向及び振幅（大きさ）を有するベクトルである。
輝度勾配の方向は、画素位置(x，y)における最大の変化率の方向であり、(2)式で示される。
【数２】
勾配の振幅（大きさ）は、画素位置(x，y)における勾配の各軸方向の変化強度であり、次式で示される。
【００１４】
【数３】
実際は(1)式の計算を簡単に行うために、差分値Gx，Gyを(4)式により近似計算する。
【数４】
ステップＳ１２において、(4)式により画像の所定画素の水平方向及び垂直方向での輝度の差分を算出した後、(2)〜(3)式を用いて画素の勾配を算出する。そして全画素について上記計算を行って画像全体の勾配分布を算出する。
【００１５】
ステップ１２の計算によって取得した勾配分布は、画像の全画素における輝度の相対変化情報を含んでいる。即ち、画像が複数の車線の画像を含むか否かに関わらず、又は画像に複数の異なる照光での路面状況を含むか否かに関わらず、又は該画像が路傍の建物の投影及び路面の各種の色を含むか否かに関わらず、該勾配分布は、いずれも現在の画像におけるすべての車両の車下陰の情報を含む。
勾配分布検出手段１２は、画像の勾配分布を検出した後、その結果を車下陰の候補領域特定手段１３へ入力する。
【００１６】
車下陰の候補領域特定手段１３は、勾配分布検出手段１２から入力された勾配情報に基づいて、画像から車下陰の候補領域を抽出する（ステップＳ１３）。車下陰の候補領域の抽出は、車下陰領域の画像の輝度がその周囲の領域の輝度よりも低い特徴を利用する。具体的には、暗い車下陰領域のエッジ画素における垂直方向(Y方向)の差分値Gyは負値であることを利用する。したがって、車下陰の候補領域特定手段１３は、この特徴に基づいて、図１１に示すステップＳ１３１において、垂直方向の勾配値Gyが負値であるすべての画素点をマークする。
【００１７】
ついで、ステップＳ１３２において、車下陰の候補領域特定手段１３は、マークされた画素点が以下の二つの所定条件(a),(b)を満たすか否かを判定し、満たす全ての画素点を車下陰のエッジ候補点として特定する。この二つの条件は、
(a)：現在の画素点の勾配値が、勾配方向上でこの点に隣接する二つの画素点の勾配値より大きいこと、
(b)：前記(a)に記載の隣接する二つの点は、垂直方向に隣接する画素点であること、
である。車両の陰を認識するために、前述のように“車両下の陰が周辺の領域よりも暗い”という特徴を利用する。具体的にいうと、画素勾配が垂直方向でマイナスになり、かつ、勾配の局部変化最大の点を、車下陰を構成する可能性がある点としてマークし、該マーク点が集中する領域を、車下陰の可能性がある領域とする。図で説明すると、図１３（A）中の［i，j］は着目点、a0〜a7は該
着目点周辺の8個の画素である。（B）は着目点と8個の画素点a0〜a7で構成される勾配の方向を示す。本発明では90度と270度の2つの方向(垂直方向)の２つの隣接点a1，a5を勾配方向上に着目点［i，j］に隣接する点として設定する。そして、２つの点a1，a5と着目点のそれぞれ
の勾配の大きさを比較し、着目点の勾配が最大のとき該着目点を、車下陰を構成する可能性がある点としてマークする。上記の条件(a),(b)は着目点があらかじめ設定されている方向(垂直方向)での局部勾配が最大の点であれば車下陰を構成する可能性がある点であると定義するものである。
その後、ステップＳ１３３において、車下陰の候補領域特定手段１３は、ステップＳ１３２で特定された車下陰のエッジ点の座標をROI特定手段１４へ出力する。
【００１８】
ステップＳ１４において、ROI特定手段１４は、自車と前記車下陰の候補領域との距離、大きさ及び角度に基づいて、車両画像を含む画像領域ROIを特定し、この特定された画像領域ROIを出力する。即ち、前記処理によって得られた車下陰の各候補領域について、候補領域(車下陰)の幅と車両の幅と高さ比(アスペクト比)とから高さを計算し、該幅、高さを有する画像領域ROIを特定する。なお、画像領域ROIの幅は候補領域の幅Wより広めにし、たとえば、1.2×Wとし、画像領域ROIに車両画像が確実に含まれるようにする。
しかるのち、撮像機で検定する方法によって、すべての候補ROIのワールド座標系における深さ及び幅を計算し、該深さ及び幅に基づいて車下陰の判定をする。すなわち、幅が大きすぎるか、又は小さすぎるROIを排除し、ノイズの干渉による誤特定を排除して、最終的に正確なROIを取得して出力する。
すなわち、車下陰の候補領域が見つかったあと、カメラキャリブレーション（Calibration）の方法を利用し、該候補領域のワールド座標系における深さ(奥行き)と幅を計算する。もし、その候補領域のワールド座標系における深さ(奥行き)と幅の両方が認識対象車両の要求を満足できれば、該候補領域は車下陰であるとみなすことができる。たとえば、図１４において、車下陰により生成される画像領域ROI1と道端の建物の投射影により生成される画像領域ROI2のカメラ座標系(スクリーン座標系)におけるサイズは同じである。しかし、カメラキャリブレーション（Calibration）の計算により、画像領域ROI1がワールド座標系において幅が２メートルであり、画像領域ROI2がワールド座標系において幅が８メートルであると計算されれば、明らかに、画像領域ROI1は車下陰であり、また画像領域ROI2は正常な車両幅を超えており車下陰でないと判定できる。また、ワールド座標系において幅が正常な車両幅より相当小さい候補領域はノイズと判定して認識対象から除外する。また、認識対象車両までの距離が50m以内としているときに、候補領域のワールド座標系における深さ(奥行き)が50mを超えている場合には該候補領域を認識対象から除外する。
最後に、ステップＳ１５において、得られたROIを出力する。
【００１９】
以上、本発明の１つの実施形態について説明したが、前記実施形態に対して各種の変形を行ってもよい。例えば、勾配分布検出手段１２は、画像の各画素の輝度に対して、(4)式で一次差分を求めずに勾配分布を近似算出してもよい。Sobel演算子、prewitt演算子、canny演算子などの水平エッジ演算子を用いて、画像中の画素の輝度を処理してGx、Gy値を得た後に、(1)〜(3)式でその勾配値を算出する。このように、sobel演算子、prewitt演算子のノイズを抑制する機能によって、エッジを抽出する精度を向上させることができる。
以上本発明によれば、車下陰領域の画像の輝度が常にその周囲の領域の輝度よりも低い特徴を利用して、検出した画像の勾配分布情報に基づいて車下陰の候補領域を特定したので、従来技術に比べて、車下陰領域をより正確に特定して車両を含む画像領域RIOを出力することができる。
かつ、本発明の実施形態において、検出した画像の勾配分布情報に基づいて車下陰の候補領域を特定したので、車線数により制限されることなく、多車線の場合にも適用できる。また、本発明によれば、車両前方の画像を含む路面状況画像から車両画像を含むROIを特定するだけでなく、車両後方の画像を含む路面状況画像から車両画像を含むROIを特定することもできる。
【図面の簡単な説明】
【００２０】
【図１】ROI領域及び車下陰の領域を示す概略図である。
【図２】従来技術の車両画像領域特定方法の一例のフローチャートである。
【図３】車両が建物の陰の下にある場合について従来技術により車両画像領域を特定する一例である。
【図４】車両が建物の陰の下にある場合について従来技術により車両画像領域を特定する他の一例である。
【図５】従来技術の車両画像領域特定方法の他の一例のフローチャートである。
【図６】従来技術の車両画像領域特定方法の説明図である。
【図７】通常の場合の路面の輝度分布である。
【図８】画像の最低部が暗い場合である。
【図９】本発明の実施形態の画像領域特定装置の構造図である。
【図１０】発明の実施の形態の画像領域特定方法のフローチャートである。
【図１１】本発明の実施形態の画素勾配に基づいて一部が相対的に暗い領域を検出するフローチャートである。
【図１２】画像座標系説明図である。
【図１３】車下陰候補点の決定方法説明図である。
【図１４】車下陰に基づいた画像領域ROIの判定方法の説明図である。
【符号の説明】
【００２１】
１１ 画像入力手段
１２ 勾配分布検出手段
１３ 車下陰の候補領域特定手段
１４ 車両画像を含む画像領域特定手段（ROI特定手段）
【技術分野】
【０００１】
本発明は、車両画像を含む画像領域を特定する車両画像領域特定装置およびその方法にかかわり、特に、輝度勾配に基づいて車下陰を検出し、該車下陰に基づいて車両画像を含む画像領域を特定する車両画像領域特定装置およびその方法に関する。
【背景技術】
【０００２】
高度道路交通システム（Intelligent Transport System, ITS）の各分野において、マシンビジョンによって車両画像を識別する場合、まず、撮影画像より車両が存在する領域の画像を切り取る必要がある。通常、識別しようとする車両の特徴又は特徴の相似性に基づいて、撮影画像より車両が存在可能な領域を特定し、該領域より画像を切り出す。かかる車両が存在可能な画像領域を関心領域ROI（関心領域：Region of Interest）と略称する。図１は車両画像CIMを含む関心領域ROIの例であり、CSHは車の下陰(車下陰)である。
【０００３】
陽光又は他の光源による照射で車下に陰が存在することは、形状の異なる車両の共通の特徴であるので、車下陰は、マシンビジョンによる車両画像抽出（Vehicle Candidate Generation）技術において車両画像を取り出す際に根拠とする主な特徴である。従来技術は、以下のような車下陰特徴による車両画領域特定方法を開示している。車下陰による第１の車両画像領域特定方法は、車下陰領域の輝度が路面より暗い特徴に基づいて、画像から車両画像領域を特定する。この方法は、図２に示すように、ステップS1において、撮像機で撮像した路面状況の画像(前方風景)を入力し、ステップS2において、ステップＳ1で入力した路面状況の画像について路面の輝度平均値を算出して、この平均値を基準値と設定し、ステップＳ3において、画像中の各画素の輝度値を前記基準値と比較して、輝度値が基準値より低いすべての領域を、可能な車下陰領域、即ち車下陰の候補領域として特定し、次に、自車と候補領域との距離、この候補領域の大きさ及び角度の条件によって、前記候補領域を振るい分け、最後に、ステップS4において、ステップS3で振るい分けた後の結果、即ち車両画像を含む画像領域ROIを出力する。
【０００４】
しかし、図３及び図４に示すように、車両自体が他の立体物体（例えば図示した建物BL）の投射陰内にある時、投射陰も路面より暗いので、この時に、前記方法に従って路面の平均輝度値を判断基準として車両画像の領域特定を行うと、建物BLの投射陰も車下陰とするという間違い判断になる。図３に示すように、撮像機で撮像した画像領域CMAは車両領域より非常に大きいので、この車両領域をROIとして正確に特定することができない。また、図４に示すように、画像領域ROI1,ROI2を特定すれば、該画像領域ROI1,ROI2に全体の車両画像を含まないため車両識別ができなくなる。
陰の形成原理によって、車下陰の領域が輝度重ね合せにより常にその周囲の領域よりも暗いことが分かる。即ち、投射陰の中、又は異なる照光でも、車下陰の領域は、常にその周囲の領域よりも輝度が暗いという特徴を有する。前記の平均輝度値によって車下陰の領域を特定する従来の方法は、車下陰のこの特徴を考慮しなかったので、車両が他の物体の投射陰にあるか、又は不均一な照光にある場合、車両領域を正確に特定さできない問題があった。
【０００５】
車下陰の領域が常にその周囲の領域よりも暗い特徴を有することを考慮し、且つ、車両が他の物体の投射陰にある時に車両領域を正確に特定できない問題を解決するための従来技術がある(特許文献1参照)。この従来技術の車両画像領域特定技術を図５に示す。まず、ステップS21において、撮像機で撮像した路面状況の画像(図６参照)を入力する。ステップS22において、自車の走行車線の車線識別線(白線)３１を検出する。ステップS23において、検出した車線識別線によって、自車の走行車線３２の路面における輝度値分布を算出して、輝度値分布から輝度値分布関数Dを得る。輝度値分布とは、図６に示すように、走行車線の最低位置をY=0として、走行車線の前方をY軸とするとき、任意のY座標値における走行車線32上の路面輝度の平均値であり、影を含まない場合である。換言すれば、同じY座標を有する走行車線32上の画素の輝度値の平均値を求めることにより、Y座標毎の走行車線32の輝度分布を求める。走行車線32に影や先行車両等が含まれない場合には、前方画像内上方（道路遠方、Y座標値が大きい）ほど明るい輝度値を示すことが知られており、輝度値はY座標値に略比例する。このため、例えば前方画像の最下点（Y＝0）から所定値（Y＝Y0）までの輝度値分布のみを求め、最小二乗法等の手法により、Y座標に対する輝度分布線形近似式（輝度値分布関数）を得ることで輝度値分布を得ることができる。輝度値分布関数Dは、D＝αY＋β で表現され、Y座標値が0〜Y0の領域の輝度値分布より、α，βを同定する。
【０００６】
ステップS24において、自車の走行車線内のすべての画素の輝度値と、前記輝度値分布関数から得られた設定値とを比較して、輝度値がこの設定値よりも低いすべての領域を、車下陰の候補領域として設定する。ステップS25において、他の物体の投射陰にある車両の車下陰が他の物体の投射陰よりも暗い特徴に基づいて、車下陰の候補領域内の輝度値分布によってこの候補領域内のより暗い領域を検出し、これら領域を車下陰の領域として特定し、最後に、ステップS26において、ステップS25で特定された車下陰の領域に基づいて車両画像を含む所定の画像領域ROIを出力する。
【特許文献１】特開２００３−７６９８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、前記従来技術の方法では、まず自車の走行車線の車線識別線(白線)３１を検出し、この車線識別線に基づいて走行車線の路面における輝度値分布を求めなければならない。このため、路面に車線識別線がないか、又は撮像した画像において車線識別線が撮像されない場合には、輝度値分布を求めるための走行車線路面を確定できなくなり、さらに、後のステップを行うことができなくなり、車両画像を含む画像領域ROIの特定処理を完成することができない。
また、図７に示すように、自然条件で、路面の輝度は、照光、他の建物の投影及び路面色の変化により影響され、路面の輝度分布は複雑でかつ不規則である。前記従来技術方法では、自車の走行車線内の路面における輝度値分布を算出するので、この輝度値分布は、二車線、三車線などの多車線の路面の複雑でかつ不規則な輝度分布状態を代表できず、多車線の場合に用いることができない。
また従来技術の方法は、路面の輝度値分布を計算する領域は、画像の最低部（Ｙ＝０）からその上部までの領域（Ｙ＝０〜Ｙ0）であるので、画像の最低部に暗い領域がある場合（図８参照）、路面の輝度値分布によって得られた輝度値分布関数Dより算出した閾値が小さすぎる可能性がある。このため、閾値より小さい輝度の画素を車下陰の候補領域の画素として設定する場合に、必然的に車両画像を含む画像領域ROIを正確に特定できなくなる。
以上より本発明は、車両が他の物体の投射陰にあっても、不均一な照光があっても、又は車線がないなどの場合にも、画像に含まれるすべての車両を含むように画像領域ROIを正確に特定できる車両画像領域特定装置およびその方法を提供することを目的とする。
また、本発明は多車道の路面状況にも普及して使用できる車両画像領域特定装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
・車両画像領域特定方法
本発明の第1の態様は、車両画像を含む画像領域を特定する車両画像領域特定方法であり、道路上の車両の走行状況を撮像した画像を入力する画像入力ステップと、前記画像入力ステップで入力した画像に対して勾配分布を算出する勾配分布検出ステップと、前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定ステップと、前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定するステップを有している。
本発明の車両画像領域特定方法は、前記車下陰の候補領域特定ステップにおいて、車下陰の領域がその周りの領域より暗い特徴を有することに基づいて、前記車下陰の候補領域を特定することを特徴とする。
本発明の車両画像領域特定方法は、前記車下陰の候補領域特定ステップにおいて、画像の勾配分布検出ステップで検出した前記画像の勾配分布情報に基づいて、前記画像から垂直方向の差分値が負値であるすべての画素点を抽出するステップを含むことを特徴とする。
本発明の車両画像領域特定方法の前記車下陰の候補領域特定ステップは、前記抽出された画素点が以下のような二つの条件、即ち(a):着目画素点の勾配値が、勾配方向で該着目点に隣接する二つの画素点の勾配値よりも大きいこと、(b):前記(a)に記載の隣接する二つの点は、垂直方向に隣接する画素点であることを満たすかを判断し、この二つの条件を満たす画素点を車下陰の候補領域のエッジ点として特定するステップを含むことを特徴とする。
【０００９】
・車両画像領域特定装置
本発明の第2の態様は、車両画像を含む画像領域を特定する車両画像領域特定装置であり、道路上の車両の走行状況を撮像した画像を入力する画像入力手段と、前記画像入力手段で入力した画像に対して勾配分布を算出する勾配分布検出手段と、前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定手段と、前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定する手段を有している。
また、本発明の車両画像領域特定装置は上記の車両画像領域特定方法の各ステップを実現して車両画像を含む画像領域ROIを特定する。
【発明の効果】
【００１０】
本発明によれば、車両が他の物体の投射陰にあっても、不均一な照光がなされても、又は車線がない場合にも、車両画像を含む領域を正確に特定できる。
また、本発明によれば、多車線の路面状況にも普及して使用することができる。
【発明を実施するための最良の形態】
【００１１】
図９は本発明の１実施形態である車両画像領域特定装置の構造図である。図９に示すように、本実施形態の車両画像領域特定装置は、テレビジョンカメラ、監視撮像機などの画像入力手段１１と、勾配分布検出手段１２と、車下陰の候補領域特定手段１３と、車両画像を含む画像領域特定手段（ROI特定手段）１４を有している。勾配分布検出手段１２と、車下陰の候補領域特定手段１３と、画像領域特定手段（ROI特定手段）１４は画像処理部を構成する。図示しないが画像処理部には液晶などの表示部が接続されて画像入力手段１１から入力された画像や所定の画像が表示されるようになっている。
【００１２】
以下、図１０と図１１の処理フローを参照して、本実施形態の車両画像領域特定装置の画像領域特定処理方法を説明する。
車両に搭載された画像入力手段１１は、テレビジョンカメラ、監視撮像機などの撮像装置で撮像した画像（道路前方の車両走行状況を示す画像）を勾配分布検出手段１２に入力する（ステップＳ１１）。
勾配分布検出手段１２は、前記画像入力手段１１で入力した画像の全画素位置(x，y)における輝度の勾配分布を(1)式を用いて算出する（ステップＳ１２）。図１２は画像IMGのX-Y座標系(スクリーン座標系)を示すもので、左下隅を原点としている。
【００１３】
【数１】
(1)式において、f(x，y)は位置(x，y)の画素P(x,y)の輝度を示す輝度関数であり、輝度勾配G(x，y)は輝度関数f(x，y)の各軸方向の一次微分係数で示され、方向及び振幅（大きさ）を有するベクトルである。
輝度勾配の方向は、画素位置(x，y)における最大の変化率の方向であり、(2)式で示される。
【数２】
勾配の振幅（大きさ）は、画素位置(x，y)における勾配の各軸方向の変化強度であり、次式で示される。
【００１４】
【数３】
実際は(1)式の計算を簡単に行うために、差分値Gx，Gyを(4)式により近似計算する。
【数４】
ステップＳ１２において、(4)式により画像の所定画素の水平方向及び垂直方向での輝度の差分を算出した後、(2)〜(3)式を用いて画素の勾配を算出する。そして全画素について上記計算を行って画像全体の勾配分布を算出する。
【００１５】
ステップ１２の計算によって取得した勾配分布は、画像の全画素における輝度の相対変化情報を含んでいる。即ち、画像が複数の車線の画像を含むか否かに関わらず、又は画像に複数の異なる照光での路面状況を含むか否かに関わらず、又は該画像が路傍の建物の投影及び路面の各種の色を含むか否かに関わらず、該勾配分布は、いずれも現在の画像におけるすべての車両の車下陰の情報を含む。
勾配分布検出手段１２は、画像の勾配分布を検出した後、その結果を車下陰の候補領域特定手段１３へ入力する。
【００１６】
車下陰の候補領域特定手段１３は、勾配分布検出手段１２から入力された勾配情報に基づいて、画像から車下陰の候補領域を抽出する（ステップＳ１３）。車下陰の候補領域の抽出は、車下陰領域の画像の輝度がその周囲の領域の輝度よりも低い特徴を利用する。具体的には、暗い車下陰領域のエッジ画素における垂直方向(Y方向)の差分値Gyは負値であることを利用する。したがって、車下陰の候補領域特定手段１３は、この特徴に基づいて、図１１に示すステップＳ１３１において、垂直方向の勾配値Gyが負値であるすべての画素点をマークする。
【００１７】
ついで、ステップＳ１３２において、車下陰の候補領域特定手段１３は、マークされた画素点が以下の二つの所定条件(a),(b)を満たすか否かを判定し、満たす全ての画素点を車下陰のエッジ候補点として特定する。この二つの条件は、
(a)：現在の画素点の勾配値が、勾配方向上でこの点に隣接する二つの画素点の勾配値より大きいこと、
(b)：前記(a)に記載の隣接する二つの点は、垂直方向に隣接する画素点であること、
である。車両の陰を認識するために、前述のように“車両下の陰が周辺の領域よりも暗い”という特徴を利用する。具体的にいうと、画素勾配が垂直方向でマイナスになり、かつ、勾配の局部変化最大の点を、車下陰を構成する可能性がある点としてマークし、該マーク点が集中する領域を、車下陰の可能性がある領域とする。図で説明すると、図１３（A）中の［i，j］は着目点、a0〜a7は該
着目点周辺の8個の画素である。（B）は着目点と8個の画素点a0〜a7で構成される勾配の方向を示す。本発明では90度と270度の2つの方向(垂直方向)の２つの隣接点a1，a5を勾配方向上に着目点［i，j］に隣接する点として設定する。そして、２つの点a1，a5と着目点のそれぞれ
の勾配の大きさを比較し、着目点の勾配が最大のとき該着目点を、車下陰を構成する可能性がある点としてマークする。上記の条件(a),(b)は着目点があらかじめ設定されている方向(垂直方向)での局部勾配が最大の点であれば車下陰を構成する可能性がある点であると定義するものである。
その後、ステップＳ１３３において、車下陰の候補領域特定手段１３は、ステップＳ１３２で特定された車下陰のエッジ点の座標をROI特定手段１４へ出力する。
【００１８】
ステップＳ１４において、ROI特定手段１４は、自車と前記車下陰の候補領域との距離、大きさ及び角度に基づいて、車両画像を含む画像領域ROIを特定し、この特定された画像領域ROIを出力する。即ち、前記処理によって得られた車下陰の各候補領域について、候補領域(車下陰)の幅と車両の幅と高さ比(アスペクト比)とから高さを計算し、該幅、高さを有する画像領域ROIを特定する。なお、画像領域ROIの幅は候補領域の幅Wより広めにし、たとえば、1.2×Wとし、画像領域ROIに車両画像が確実に含まれるようにする。
しかるのち、撮像機で検定する方法によって、すべての候補ROIのワールド座標系における深さ及び幅を計算し、該深さ及び幅に基づいて車下陰の判定をする。すなわち、幅が大きすぎるか、又は小さすぎるROIを排除し、ノイズの干渉による誤特定を排除して、最終的に正確なROIを取得して出力する。
すなわち、車下陰の候補領域が見つかったあと、カメラキャリブレーション（Calibration）の方法を利用し、該候補領域のワールド座標系における深さ(奥行き)と幅を計算する。もし、その候補領域のワールド座標系における深さ(奥行き)と幅の両方が認識対象車両の要求を満足できれば、該候補領域は車下陰であるとみなすことができる。たとえば、図１４において、車下陰により生成される画像領域ROI1と道端の建物の投射影により生成される画像領域ROI2のカメラ座標系(スクリーン座標系)におけるサイズは同じである。しかし、カメラキャリブレーション（Calibration）の計算により、画像領域ROI1がワールド座標系において幅が２メートルであり、画像領域ROI2がワールド座標系において幅が８メートルであると計算されれば、明らかに、画像領域ROI1は車下陰であり、また画像領域ROI2は正常な車両幅を超えており車下陰でないと判定できる。また、ワールド座標系において幅が正常な車両幅より相当小さい候補領域はノイズと判定して認識対象から除外する。また、認識対象車両までの距離が50m以内としているときに、候補領域のワールド座標系における深さ(奥行き)が50mを超えている場合には該候補領域を認識対象から除外する。
最後に、ステップＳ１５において、得られたROIを出力する。
【００１９】
以上、本発明の１つの実施形態について説明したが、前記実施形態に対して各種の変形を行ってもよい。例えば、勾配分布検出手段１２は、画像の各画素の輝度に対して、(4)式で一次差分を求めずに勾配分布を近似算出してもよい。Sobel演算子、prewitt演算子、canny演算子などの水平エッジ演算子を用いて、画像中の画素の輝度を処理してGx、Gy値を得た後に、(1)〜(3)式でその勾配値を算出する。このように、sobel演算子、prewitt演算子のノイズを抑制する機能によって、エッジを抽出する精度を向上させることができる。
以上本発明によれば、車下陰領域の画像の輝度が常にその周囲の領域の輝度よりも低い特徴を利用して、検出した画像の勾配分布情報に基づいて車下陰の候補領域を特定したので、従来技術に比べて、車下陰領域をより正確に特定して車両を含む画像領域RIOを出力することができる。
かつ、本発明の実施形態において、検出した画像の勾配分布情報に基づいて車下陰の候補領域を特定したので、車線数により制限されることなく、多車線の場合にも適用できる。また、本発明によれば、車両前方の画像を含む路面状況画像から車両画像を含むROIを特定するだけでなく、車両後方の画像を含む路面状況画像から車両画像を含むROIを特定することもできる。
【図面の簡単な説明】
【００２０】
【図１】ROI領域及び車下陰の領域を示す概略図である。
【図２】従来技術の車両画像領域特定方法の一例のフローチャートである。
【図３】車両が建物の陰の下にある場合について従来技術により車両画像領域を特定する一例である。
【図４】車両が建物の陰の下にある場合について従来技術により車両画像領域を特定する他の一例である。
【図５】従来技術の車両画像領域特定方法の他の一例のフローチャートである。
【図６】従来技術の車両画像領域特定方法の説明図である。
【図７】通常の場合の路面の輝度分布である。
【図８】画像の最低部が暗い場合である。
【図９】本発明の実施形態の画像領域特定装置の構造図である。
【図１０】発明の実施の形態の画像領域特定方法のフローチャートである。
【図１１】本発明の実施形態の画素勾配に基づいて一部が相対的に暗い領域を検出するフローチャートである。
【図１２】画像座標系説明図である。
【図１３】車下陰候補点の決定方法説明図である。
【図１４】車下陰に基づいた画像領域ROIの判定方法の説明図である。
【符号の説明】
【００２１】
１１ 画像入力手段
１２ 勾配分布検出手段
１３ 車下陰の候補領域特定手段
１４ 車両画像を含む画像領域特定手段（ROI特定手段）
【特許請求の範囲】
【請求項１】
車両画像を含む画像領域を特定する車両画像領域特定方法において、
道路上の車両の走行状況を撮像した画像を入力する画像入力ステップと、
前記画像入力ステップで入力した画像に対して輝度の勾配分布を算出する勾配分布検出ステップと、
前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定ステップと、
前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定するステップ、
を含むことを特徴とする車両画像領域特定方法。
【請求項２】
前記車下陰の候補領域特定ステップにおいて、車下陰の領域がその周りの領域より暗い特徴を有することに基づいて、前記車下陰の候補領域を特定する、
ことを特徴とする請求項１記載の車両画像領域特定方法。
【請求項３】
前記車下陰の候補領域特定ステップは、画像の勾配分布検出ステップで検出した前記画像の勾配分布情報に基づいて、前記画像から垂直方向の差分値が負値であるすべての画素点を抽出するステップを含む、
ことを特徴とする請求項１記載の車両画像領域特定方法。
【請求項４】
前記車下陰の候補領域特定ステップは、前記抽出された着目画素点が以下の二つの条件、
(a):着目画素点の勾配値が、勾配方向で該着目点に隣接する二つの画素点の勾配値よりも大きいこと、
(b):前記(a)に記載の隣接する二つの点は、垂直方向に隣接する画素点であること、
を満たすかを判断し、この二つの条件を満たす着目画素点を車下陰の候補領域のエッジ点として特定するステップを含む、
ことを特徴とする請求項３記載の車両画像領域特定方法。
【請求項５】
前記勾配分布検出ステップにおいて、画像中の各画素の水平と垂直方向の輝度差分を算出して、この差分値に基づいて各画素の勾配を算出する、
ことを特徴とする請求項１記載の車両画像領域特定方法。
【請求項６】
画像入力ステップで入力した画像は、多車線道路を撮像した画像であり、車両後方の画像又は車両前方の画像を含む、
ことを特徴とする請求項１記載の車両画像領域特定方法。
【請求項７】
車両画像を含む画像領域を特定する車両画像領域特定装置において、
道路上の車両の走行状況を撮像した画像を入力する画像入力手段と、
前記画像入力手段で入力した画像に対して輝度の勾配分布を算出する勾配分布検出手段と、
前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定手段と、
前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定する画像領域特定手段、
を含むことを特徴とする車両画像領域特定装置。
【請求項８】
前記車下陰の候補領域特定手段は、車下陰の領域がその周りの領域より暗い特徴を有することに基づいて、前記車下陰の候補領域を特定する、
ことを特徴とする請求項７記載の車両画像領域特定装置。
【請求項９】
前記車下陰の候補領域特定手段は、画像の勾配分布検出手段で検出した前記画像の勾配分布情報に基づいて、前記画像から垂直方向の差分値が負値であるすべての画素点を抽出する、
ことを特徴とする請求項７記載の車両画像領域特定装置。
【請求項１０】
前記車下陰の候補領域特定手段は、前記抽出された着目画素点が以下の二つの条件、
(a)：着目画素点の勾配値が、勾配方向でこの着目点に隣接する二つの画素点の勾配値よりも大きいこと、
(b）：前記(a)に記載の隣接する二つの点は、垂直方向に隣接する画素点であること、
を満たすかを判断し、この二つの条件を満たす画素点を車下陰の候補領域のエッジ点として特定する、
ことを特徴とする請求項９記載の車両画像領域特定装置。
【請求項１１】
前記勾配分布検出手段は、画像中の各画素の水平と垂直方向の輝度差分を算出して、この差分値に基づいて各画素の勾配を算出する、
ことを特徴とする請求項７記載の車両画像領域特定装置。
【請求項１２】
画像入力手段で入力した画像は、多車線道路を撮像した画像であり、車両後方の画像又は車両前方の画像を含む、
ことを特徴とする請求項７記載の車両画像領域特定装置。
【請求項１】
車両画像を含む画像領域を特定する車両画像領域特定方法において、
道路上の車両の走行状況を撮像した画像を入力する画像入力ステップと、
前記画像入力ステップで入力した画像に対して輝度の勾配分布を算出する勾配分布検出ステップと、
前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定ステップと、
前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定するステップ、
を含むことを特徴とする車両画像領域特定方法。
【請求項２】
前記車下陰の候補領域特定ステップにおいて、車下陰の領域がその周りの領域より暗い特徴を有することに基づいて、前記車下陰の候補領域を特定する、
ことを特徴とする請求項１記載の車両画像領域特定方法。
【請求項３】
前記車下陰の候補領域特定ステップは、画像の勾配分布検出ステップで検出した前記画像の勾配分布情報に基づいて、前記画像から垂直方向の差分値が負値であるすべての画素点を抽出するステップを含む、
ことを特徴とする請求項１記載の車両画像領域特定方法。
【請求項４】
前記車下陰の候補領域特定ステップは、前記抽出された着目画素点が以下の二つの条件、
(a):着目画素点の勾配値が、勾配方向で該着目点に隣接する二つの画素点の勾配値よりも大きいこと、
(b):前記(a)に記載の隣接する二つの点は、垂直方向に隣接する画素点であること、
を満たすかを判断し、この二つの条件を満たす着目画素点を車下陰の候補領域のエッジ点として特定するステップを含む、
ことを特徴とする請求項３記載の車両画像領域特定方法。
【請求項５】
前記勾配分布検出ステップにおいて、画像中の各画素の水平と垂直方向の輝度差分を算出して、この差分値に基づいて各画素の勾配を算出する、
ことを特徴とする請求項１記載の車両画像領域特定方法。
【請求項６】
画像入力ステップで入力した画像は、多車線道路を撮像した画像であり、車両後方の画像又は車両前方の画像を含む、
ことを特徴とする請求項１記載の車両画像領域特定方法。
【請求項７】
車両画像を含む画像領域を特定する車両画像領域特定装置において、
道路上の車両の走行状況を撮像した画像を入力する画像入力手段と、
前記画像入力手段で入力した画像に対して輝度の勾配分布を算出する勾配分布検出手段と、
前記画像の勾配情報に基づいて車下陰の候補領域を特定する車下陰の候補領域特定手段と、
前記車下陰の候補領域に基づいて車両画像を含む画像領域ROIを特定する画像領域特定手段、
を含むことを特徴とする車両画像領域特定装置。
【請求項８】
前記車下陰の候補領域特定手段は、車下陰の領域がその周りの領域より暗い特徴を有することに基づいて、前記車下陰の候補領域を特定する、
ことを特徴とする請求項７記載の車両画像領域特定装置。
【請求項９】
前記車下陰の候補領域特定手段は、画像の勾配分布検出手段で検出した前記画像の勾配分布情報に基づいて、前記画像から垂直方向の差分値が負値であるすべての画素点を抽出する、
ことを特徴とする請求項７記載の車両画像領域特定装置。
【請求項１０】
前記車下陰の候補領域特定手段は、前記抽出された着目画素点が以下の二つの条件、
(a)：着目画素点の勾配値が、勾配方向でこの着目点に隣接する二つの画素点の勾配値よりも大きいこと、
(b）：前記(a)に記載の隣接する二つの点は、垂直方向に隣接する画素点であること、
を満たすかを判断し、この二つの条件を満たす画素点を車下陰の候補領域のエッジ点として特定する、
ことを特徴とする請求項９記載の車両画像領域特定装置。
【請求項１１】
前記勾配分布検出手段は、画像中の各画素の水平と垂直方向の輝度差分を算出して、この差分値に基づいて各画素の勾配を算出する、
ことを特徴とする請求項７記載の車両画像領域特定装置。
【請求項１２】
画像入力手段で入力した画像は、多車線道路を撮像した画像であり、車両後方の画像又は車両前方の画像を含む、
ことを特徴とする請求項７記載の車両画像領域特定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００７−２３４０１９（Ｐ２００７−２３４０１９Ａ）
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願番号】特願２００７−４３７２０（Ｐ２００７−４３７２０）
【出願日】平成１９年２月２３日（２００７．２．２３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願日】平成１９年２月２３日（２００７．２．２３）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]