関心領域分割方法および関心領域分割装置
【目的】車両の車下陰を用いなくても画像から車両を含む可能性がある関心領域を分割することができる「関心領域分割方法および関心領域分割装置」を提供する。
【構成】本発明は、撮像装置により撮像された画像より、車両が存在する領域(関心領域)を分割する関心領域分割方法および関心領域分割装置である。撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得し、該取得したエッジのうち車灯のエッジとしての条件を満たすエッジを選定し、撮像画像における該選定したエッジにより車灯パターンを確定し、該確定された車灯パターンに基づいて車両を含む可能性がある関心領域を決定し、該関心領域を撮像画像から分割して車両の有無を判定する。
【構成】本発明は、撮像装置により撮像された画像より、車両が存在する領域(関心領域)を分割する関心領域分割方法および関心領域分割装置である。撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得し、該取得したエッジのうち車灯のエッジとしての条件を満たすエッジを選定し、撮像画像における該選定したエッジにより車灯パターンを確定し、該確定された車灯パターンに基づいて車両を含む可能性がある関心領域を決定し、該関心領域を撮像画像から分割して車両の有無を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関心領域分割方法および関心領域分割装置にかかわり、特に、撮像カメラにより撮像された画像より車両が存在する領域(関心領域)を分割する関心領域分割方法および関心領域分割装置に関する。
【背景技術】
【０００２】
コンピュータの単眼視（monocular vision）に基づくオートバイ検出システムでは、通常、オートバイの車下陰、垂直エッジ、水平エッジなどの特徴の情報に基づき、ビデオカメラなどの撮像画像から、オートバイを含む可能性がある関心領域（ROI：Region of Interest）を分割し、該分割領域内の画像を処理してオートバイの有無等を検出する。
しかし、撮像装置が設置されている車両にオートバイが接近しすぎた時、或は、オートバイがトンネル内に位置する時、或はオートバイが他の建築物などの陰の中に入った時、車下陰の特徴を検出できなくなり、上記特徴に基づきオートバイを含む関心領域を決定、分割することができず、オートバイの検出漏れが生じる恐れがある。
【０００３】
従来技術として、カメラで撮影した画像中の高輝度部分と道路上の白線を検出し、それらの位置関係よりオートバイを検出する従来技術がある(特許文献1参照)。しかし、この従来技術は撮影画像よりオートバイを含む可能性がある関心領域を分割し、該関心領域内の画像を処理してオートバイの有無を検出するものでなく、画像中の高輝度部分と道路上の白線の位置関係等からオートバイの有無を類推、検出するものであるため、白線のない道路でのオートバイの検出ができず、また、検出の確実性に劣る問題がある。
【特許文献１】特開平９−７３５２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、車両の車下陰を用いなくても画像から車両を含む可能性がある関心領域を分割することができる関心領域の分割方法及び装置を提供することである。
本発明の別の目的は、車灯パターンを用いて関心領域を決定して分割する関心領域の分割方法及び装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明は撮像カメラにより撮像された画像より車両が存在する領域(関心領域)を分割する関心領域分割方法および関心領域分割装置である。
・関心領域分割方法
本発明の関心領域分割方法は、前記撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するステップ、前記取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定するステップ、前記撮像画像における前記選定されたエッジより車灯パターンを確定するステップ、前記確定された車灯パターンに基づいて前記撮像画像から車両を含む可能性がある関心領域を分割するステップ、を備えている。
前記分割ステップは、前記確定された車灯パターンの左右両辺からそれぞれ外へ所定の幅だけ拡張し、前記確定された車灯パターンの底辺から下へ所定の高さだけ拡張することにより、左拡張辺、右拡張辺及び下拡張辺を取得するステップ、前記車灯パターンの底辺、前記左拡張辺、前記右拡張辺及び前記下拡張辺で形成された左右辺候補領域からエッジを抽出するステップ、前記車灯パターンの中心垂直線で前記左右辺候補領域を2つの区画に分割してなる左辺候補領域と右辺候補領域における各列毎に含まれるエッジ点の数を算出するステップ、前記左辺候補領域と前記右辺候補領域におけるそれぞれのエッジ点の数を最も多く含む列を、それぞれ前記関心領域の左辺と右辺として決定するステップ、を有している。
【０００６】
前記分割ステップは、さらに、前記左辺候補領域と前記右辺候補領域のいずれか一方にしか抽出可能なエッジがない場合には、前記垂直線を対称中心線として一方の候補領域中の前記エッジ点の数が最も多い列に対称な他方の候補領域中の列を、前記他方の候補領域の前記エッジ点の数が最も多い列として算出するステップ、を有している。
前記分割ステップは、さらに、前記左辺候補領域と前記右辺候補領域のいずれにも抽出可能なエッジが存在しない場合には、前記左拡張辺と前記右拡張辺をそれぞれ前記関心領域の左辺と右辺として決定するステップ、を有している。
前記分割ステップは、さらに、前記左右辺候補領域より底辺候補領域を確定するステップ、前記底辺候補領域からエッジを抽出するステップ、前記底辺候補領域における各行毎に含まれるエッジ点の数を算出するステップ、前記底辺候補領域におけるエッジ点の数を最も多く含む行を前記関心領域の底辺として決定するステップ、を有している。なお、底辺候補領域確定ステップは、撮像画像の所定の行を車両の接地地面と見なして該行から前記車灯パターンの底辺までの画素の高さに対応する実際の高さを算出し、同様に、各行について該行に対応する実際の高さを算出するステップ、各行について求めた前記高さのうち、実際の車両の車灯から地面までの最大の高さに等しい行を第１の特定行とし、各行について求めた前記高さのうち、実際の車両の車灯から地面までの最小の高さに等しい行を第２の特定行とするステップ、前記撮像画像における前記第１の特定行、第２の特定行、前記関心領域の左辺及び右辺からなる領域を前記底辺候補領域として決定するステップ、を有している。
前記分割ステップは、さらに、前記関心領域の底辺と車両の実際の高さを考慮して前記関心領域の頂辺を確定するステップ、を有している。
【０００７】
前記エッジ選定ステップは、閉輪郭を有するエッジであって、該エッジ周長が最大の車灯の周長より小さく、最小の車灯の周長より大きく、しかも、該エッジの外接矩形のアスペクト比が所定の範囲内にあるエッジを、車灯のエッジ条件を満たすエッジとして選定する。
前記エッジ選定ステップは、前記取得されたエッジから、閉輪郭のないエッジ及びその周長が実際の最小の車灯の周長より小さい閉輪郭のエッジを除去するステップを備え、該ステップの処理後、前記エッジ条件を満足するエッジを車灯のエッジとして選定する。除去ステップは、前記取得されたエッジのうち閉輪郭を有するエッジを充填するステップ、所定のテンプレートで前記充填処理が施された撮像画像を腐食させるステップ、前記所定のテンプレートで前記腐食処理が施された撮像画像を膨張させるステップ、を有している。
前記エッジ取得ステップは、前記撮像画像における道路消失線付近と前記撮像された画像の下辺との間の画像部分をエッジ取得処理の対象画像部分として決定するステップ、前記対象画像部分に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するステップ、を有している。
【０００８】
・関心領域分割装置
本発明の関心領域分割装置は上記の関心領域分割方法を実現するように構成されており、前記撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するエッジ取得手段、前記取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定するエッジ選定手段、前記撮像画像における前記選定されたエッジより車灯パターンを確定する車灯パターン確定手段、前記確定された車灯パターンに基づいて前記撮像画像から車両を含む可能性がある関心領域を分割する関心領域分割手段、を備えている。
関心領域分割手段は、関心領域分割方法における分割ステップを実現するように、エッジ取得手段は関心領域分割方法におけるエッジ取得ステップを実現するように、エッジ取得ステップは、関心領域分割方法におけるエッジ選定ステップ実現するように、構成されている。
【発明の効果】
【０００９】
本発明によれば、撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得し、取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定し、撮像画像における前記選定されたエッジより車灯パターンを確定し、該確定された車灯パターンに基づいて前記撮像画像から、車両を含む可能性がある関心領域を分割するようにしたから、車両の車下陰を用いなくても画像から車両を含む可能性がある関心領域を分割することができる。この結果、本発明によれば、関心領域内の画像を直接処理してオートバイ等の車両の有無を確実に検出できるようになる。
又、本発明によれば、車灯パターンを用いて関心領域を決定し、撮像画像より該関心領域を分割することができ、オートバイ等の車両の有無を確実に検出できるようになる。
【発明を実施するための最良の形態】
【００１０】
本発明は撮像装置(カメラ)により撮像された画像から車両の車灯パターンを抽出し、次に、抽出された車灯パターンに基づき車両を含む可能性がある関心領域を決定し、撮影画像から該関心領域を分割する。
はじめに、本発明の実施例に用いられる透視原理を説明する。
図１に示すように、車灯の下エッジの位置(E点)から地面ERTまでの実際の高さDE（hr）と、カメラ撮影画面SCRの画像におけるその投影高さAB（hp）との間には、レンズに歪がなければ相似の原理により以下の関係が成立する。なお、Oは撮像装置のレンズの中心、CMLは水平方向の撮像装置(レンズ)の位置、SCRは撮像画面である、
【数１】
【００１１】
しかし、実際はカメラレンズには接線方向の歪dyが存在し、
AB=AB×dy
となる。なお、上式において右辺のABは画像上の実際の投影高さ、左辺のABは歪がないとした場合の正しい投影高さである。従って、歪dyを考慮すると(1)式は次式になる。
【数２】
この(2)式を変形することにより(3)式が得られる。
【数３】
【００１２】
ただし、DEは車灯の下エッジから地面までの高さ、ABは撮像画面における車灯パターンの下エッジから画面地面までの投影高さであり、OCは撮像装置(カメラ)の焦点距離f、dyは撮像装置(レンズ)の接線方向歪み、dは着目している対象車両から撮像装置までの水平距離である。このdは図２に示すように画像では、車両下端までの深さdp（つまり車両下端から画像の下辺までの距離）として示す。ただし、図２では車両としてオートバイの例を示し、ABKはオートバイ、HLTはオートバイの車灯、RADは道路、RDLは道路の消失線である。dとdｐには以下の関係がある。
【数４】
ただし、Hは図1に示すように撮像装置(カメラ)から地面までの高さであり、Disappearlineは撮像画像中において道路の消失線RDLの位置から画像の下辺までの画素距離である。
【００１３】
以下、図３を参照しながら、オートバイを車両として、本発明に係る関心領域の分割方法を詳しく説明する。
図３に示すように、まず、ステップＳ１０では、ビデオカメラのような撮像装置で撮像された画像から車灯の候補領域、つまり車灯を含む可能性がある画像領域を確定する。通常、路面が平坦な場合に、車灯は一般的に画像において道路消失線RDLの上方に現れない（図４（A）参照）。このため、撮像された画像のうち道路消失線の下方の画像部分を車灯の候補領域とすることができる（図４（ｂ）参照）。本実施例では、路面の勾配による影響を考慮して、車灯の候補領域の上エッジを、撮像された画像における道路消失線から上向きにΔT=10個の画素を拡張した位置に確定する。
次に、ステップＳ２０では、Canny、Sobel又はSusanなどの方法でこの確定された車灯の候補領域に対してエッジ抽出処理を行う。本実施例では、この確定された車灯の候補領域から（つまり、この確定された車灯の候補領域のRGBカラー空間に基づき）、Susan方法によりエッジを直接に抽出する。（図５参照）。
【００１４】
次に、ステップＳ３０では、抽出されたエッジから干渉エッジ、例えば閉輪郭のないエッジ及び／又はその周長が実際の車灯の周長より小さい閉輪郭のエッジを除去する。本実施例では、数理形態学（mathematical morphology）における幾つかの動作により閉輪郭のないエッジ及び／又はその周長が実際の最小の車灯の周長より小さい閉輪郭のエッジを除去する。具体的に言えば、まず、撮像された画像中の閉輪郭を有するエッジを充填する（fill）（図６（A）の白部分参照）。次に、テンプレートで上記確定された車灯の候補領域を腐食させる（erode）。なお、このテンプレートは、この確定された車灯の候補領域における識別しようとする最小のオートバイの画素の大きさより小さく、ここで、５×５の円形テンプレートを用いる（図６（B）参照）。次に、上記テンプレートで上記確定された車灯の候補領域を膨張させる（dilate）（図６（C）参照）ことによって、閉輪郭のないエッジ及び／又はその周長が現実中の最小の車灯の上記撮像された画像中における対応の周長より小さい閉輪郭のエッジを除去する。
図７は充填（fill）操作説明図、図８は腐食（erode）操作および膨張（dilate）操作説明図である。図７において（a）は２値化された原始画像、（b）はfill操作後の結果画像である。又、図８において、（a）は内部に辺長が１，３，５，７，９，１５画素長の正方形を有するfill操作後の原始画像、（b）は原始画像に対して１つの辺長が１３画素長のテンプレートを用いてerode操作した結果であり、辺長が１３画素長より大きい１５画素長の正方形が確定される。（c）は同じテンプレートを用いて（b）に対してdilate操作した結果である。
ステップＳ４０では、取得されたエッジから、その周長が最大の車灯の周長より小さくまた最小の車灯の周長より大きく、更にはその外接矩形のアスペクト比が所定の範囲内にあるエッジにより囲んでなる領域、例えば図６(C)における領域１を車灯パターンとして選定する。
【００１５】
ステップＳ５０では、図９に示すように確定された車灯パターンCLPの左辺と右辺からそれぞれ左方向と右方向へ幅Ｗｄだけ拡張し、確定された車灯パターンの底辺から下方向へ高さＨｐだけ拡張することにより、左拡張辺、右拡張辺及び下拡張辺を取得し、これによって、この車灯パターンの底辺、該左拡張辺、右拡張辺及び下拡張辺から形成された、オートバイを含む可能性がある関心領域（以下、オートバイ関心領域という）の左辺と右辺の候補領域Rmを取得する（図１０（A）内の枠参照）。なお、
【数５】
である。但し、Rはオートバイの車灯CLPの半径であり、kとtは実際の使用に際して確定される定数であって、オートバイの車灯の半径を結合して考慮する必要がある。また、候補領域Rmの座標は、次式
【数６】
で与えられる。但し、(Cx，Cy)はオートバイの車灯中心の座標、Rは車灯の半径である。
【００１６】
ステップＳ６０では、車灯パターンの中心を通じた垂直線を境界線として、候補領域Rmを左、右の二つの領域に分けて、それぞれオートバイ関心領域の左辺候補領域と右辺候補領域とする。
ステップＳ７０では、周知のCanny、Sobel又はSusanなどのエッジ抽出演算子でオートバイの関心領域（以下は、オートバイ関心領域と言う）の左辺候補領域と右辺候補領域に対してエッジ抽出処理を行って、この二つの候補領域（つまり候補領域Rm）からエッジを抽出する（図１０(B)参照）。なお、Susanフィルタの特徴は、微分演算が不要で、しかも差分フィルタよりもっとノイズに強い点である。Susanフィルタの詳細は以下の文献を参照されたい。
”A new method for Iris Localization", Lu,J.: Xie, M.; Industrial Electronics and Applications, 2007. ICIEA 2007. 2nd IEEE Conference on 23-25 May 2007 Pages:2354-2357
ステップＳ８０では、左辺候補領域と右辺候補領域における各列毎に含まれるエッジ点の数を算出する。図１０（C）は、図１０（B）のエッジの概念図における各列毎に含まれるエッジ点の数を示すヒストグラムであり、このヒストグラムの横座標は、撮像された画像の各列の位置を示し、その縦座標は、各列のエッジ点の数を示す。
【００１７】
ステップＳ９０では、左辺候補領域におけるエッジ点の数を最も多く含む列をオートバイ関心領域の左辺として確定し、右辺候補領域におけるエッジ点の数を最も多く含む列を、オートバイ関心領域の右辺として確定する。
なお、左辺候補領域と右辺候補領域のいずれか一方に設定数以上のエッジ点を有する列が存在せず、オートバイ関心領域の左辺或いは右辺を検出できなければ、車灯パターンの中心を対称中心として一方の候補領域で確定されたオートバイ関心領域の辺と対称する列を他方の候補領域におけるオートバイ関心領域の辺とする。
また、左辺候補領域と右辺候補領域の何れにおいても、設定数以上のエッジ点を有する列が存在せず、オートバイ関心領域の左辺および右辺を検出できなければ、候補領域Rmの左辺と右辺をそれぞれオートバイ関心領域の左辺と右辺として確定する。
【００１８】
ステップＳ１００ではオートバイ関心領域の底辺候補領域を確定する。具体的に言えば、図１１に示すように、まず、撮像された画像の所定の行ROWiをバイクの接地地面と見なして該行から画像の下辺BTLまでの距離つまりdpを算出する。次に、該dpに応じた水平距離dを（4）式により演算し、(3)式により該水平距離dおよび撮像画像における前記行から車灯パターンの底辺までの画素の高さhpを用いて、該行に対応する実際の高さhrを算出する。以後、同様に、各行について該行に対応する高さhrを算出する
次に、各行の高さhrのうち、実際のオートバイの車灯から地面までの最大の高さhr‐maxに等しい行を求め、第１の特定行とする。また、各行の高さhrのうち、実際のオートバイ車灯から地面までの最小の高さhr‐minに等しい行を求め、第２の特定行とする。最後に、撮像された画像において、確定されたオートバイ関心領域の左辺、右辺、該第１の特定行及び該第２の特定行からなる画像領域を、オートバイ関心領域の底辺候補領域として確定する(図１２（A）)。
【００１９】
ステップＳ１１０では、Canny、Sobel又はSusanなどのエッジ抽出演算子でオートバイ関心領域の底辺候補領域に対してエッジ抽出処理を行って、この底辺候補領域からエッジを抽出する（図１２（B）参照）。
ステップＳ１２０では、底辺候補領域における各行毎に含まれるエッジ点の数を算出する。図１２（C）は底辺候補領域における各行毎に含まれるエッジ点の数を示すヒストグラムであり、このヒストグラムの横座標は、底辺候補領域の各行の位置を示し、その縦座標は、各行のエッジ点の数を示す。
ステップＳ１３０では、底辺候補領域におけるエッジ点の数を最も多く含む行をオートバイ関心領域の底辺として確定する。図１２（D）はオートバイ関心領域の底辺の例を示し、図の例では画像の下辺と一致している(dp=0)。
【００２０】
ステップＳ１４０では、オートバイ関心領域の頂辺を確定する。具体的に言えば、オートバイ関心領域の底辺を取得した後、まず、この取得された底辺が所在する行と撮像された画像下辺との距離dpに基づいて、(４)式によって撮像装置とオートバイとの距離dを算出し、しかる後、下記の（7）式によって撮像装置との距離がdであるオートバイの撮像画像中の画素の高さdpmを算出する。
【数７】
但し、hmotorは実際のオートバイの高さであり、ここで、hmotorは１.５ｍである。
最後に、オートバイ関心領域の底辺の上方であって該底辺との距離がdpmの行を、オートバイ関心領域の頂辺とする。
【００２１】
図１３は本発明を適用したオートバイ検出装置の構成図であり、関心領域決定処理部５１はカメラ５０が撮影した撮影画像に対して図３の処理を行ってオートバイの関心領域を決定し、関心領域分割部５２は決定された関心領域の画像部分をカメラ撮影画像から分割してオートバイ検出部５３に入力し、オートバイ検出部５３は関心領域の画像を処理してオートバイの有無を検出し、検出結果を出力する。
以上の実施例では、エッジが閉輪郭を有し、その周長が最大の車灯の周長より小さく、かつ最小の車灯の周長より大きく、更には、その外接矩形のアスペクト比が所定の範囲内にあることを条件として、車灯パターンを検出したが、本発明はこれに限らない。
以上の実施例では、撮像された画像のうち道路消失線の下方の画像部分を車灯の候補領域としているが、本発明はこれに限るものではなく、撮像された画像全体を車灯の候補領域としてもよい。
以上ではオートバイを例として本発明を説明しているが、本発明はオートバイの検出に適用されるのに限らず、オートバイを除いた他の車両を検出するのに適用することができる。
本発明に係る車灯検出方法及び関心領域分割方法は、ソフトウエア、ハードウエア、或は、ソフトウエアとハードウエアとの組合わせの方式で実現することができる。当業者にとって、本発明に開示されている車灯検出方法及び装置、並びに関心領域分割方法及び装置が、本発明の本質から離脱しない限り、各種の変形及び変更することができるのが明らかである。
【図面の簡単な説明】
【００２２】
【図１】透視原理を示す概念図である。
【図２】車両下端までの深さdp、道路消失線、Disappearlineの説明図である。
【図３】画像から関心領域を分割する方法を示すフローチャートである。
【図４】車灯の候補領域を示す概念図である。
【図５】車灯候補領域におけるエッジを示す概念図である。
【図６】車灯パターンを検出するために充填動作、腐食動作、膨張動作をそれぞれ実行した後の画像説明図である。
【図７】充填（fill）操作説明図である。
【図８】腐食（erode）操作および膨張（dilate）操作説明図である。
【図９】関心領域候補説明図である。
【図１０】関心領域の左右辺候補領域、該関心領域の左右辺候補領域から抽出されたエッジ、該エッジにおける各列に含まれるエッジ点の数を示すヒストグラムである。
【図１１】関心領域の底辺候補領域の取得処理説明図である。
【図１２】関心領域の底辺候補領域、底辺候補領域から抽出されたエッジ、該エッジにおける各行毎に含まれるエッジ点の数を示すヒストグラム及び関心領域の底辺を示す図である。
【図１３】本発明を適用したオートバイ検出装置の構成図である。
【符号の説明】
【００２３】
S10 車灯の候補領域確定ステップ
S20 エッジ抽出ステップ
S30 干渉除去ステップ
S40 車灯パターン確定ステップ
S50 関心領域の左辺、右辺取得ステップ
S60 関心領域の左辺候補領、右辺候補領域取得ステップ
S70 エッジ抽出処理
S80 エッジ点数算出ステップ
S90 関心領域の左辺、右辺確定ステップ
S100 関心領域の底辺候補領域確定ステップ
S110 エッジ抽出ステップ
S120 エッジ点数算出ステップ
S130 関心領域の底辺確定する
S140 関心領域の頂変確定ステップ
【技術分野】
【０００１】
本発明は、関心領域分割方法および関心領域分割装置にかかわり、特に、撮像カメラにより撮像された画像より車両が存在する領域(関心領域)を分割する関心領域分割方法および関心領域分割装置に関する。
【背景技術】
【０００２】
コンピュータの単眼視（monocular vision）に基づくオートバイ検出システムでは、通常、オートバイの車下陰、垂直エッジ、水平エッジなどの特徴の情報に基づき、ビデオカメラなどの撮像画像から、オートバイを含む可能性がある関心領域（ROI：Region of Interest）を分割し、該分割領域内の画像を処理してオートバイの有無等を検出する。
しかし、撮像装置が設置されている車両にオートバイが接近しすぎた時、或は、オートバイがトンネル内に位置する時、或はオートバイが他の建築物などの陰の中に入った時、車下陰の特徴を検出できなくなり、上記特徴に基づきオートバイを含む関心領域を決定、分割することができず、オートバイの検出漏れが生じる恐れがある。
【０００３】
従来技術として、カメラで撮影した画像中の高輝度部分と道路上の白線を検出し、それらの位置関係よりオートバイを検出する従来技術がある(特許文献1参照)。しかし、この従来技術は撮影画像よりオートバイを含む可能性がある関心領域を分割し、該関心領域内の画像を処理してオートバイの有無を検出するものでなく、画像中の高輝度部分と道路上の白線の位置関係等からオートバイの有無を類推、検出するものであるため、白線のない道路でのオートバイの検出ができず、また、検出の確実性に劣る問題がある。
【特許文献１】特開平９−７３５２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、車両の車下陰を用いなくても画像から車両を含む可能性がある関心領域を分割することができる関心領域の分割方法及び装置を提供することである。
本発明の別の目的は、車灯パターンを用いて関心領域を決定して分割する関心領域の分割方法及び装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明は撮像カメラにより撮像された画像より車両が存在する領域(関心領域)を分割する関心領域分割方法および関心領域分割装置である。
・関心領域分割方法
本発明の関心領域分割方法は、前記撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するステップ、前記取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定するステップ、前記撮像画像における前記選定されたエッジより車灯パターンを確定するステップ、前記確定された車灯パターンに基づいて前記撮像画像から車両を含む可能性がある関心領域を分割するステップ、を備えている。
前記分割ステップは、前記確定された車灯パターンの左右両辺からそれぞれ外へ所定の幅だけ拡張し、前記確定された車灯パターンの底辺から下へ所定の高さだけ拡張することにより、左拡張辺、右拡張辺及び下拡張辺を取得するステップ、前記車灯パターンの底辺、前記左拡張辺、前記右拡張辺及び前記下拡張辺で形成された左右辺候補領域からエッジを抽出するステップ、前記車灯パターンの中心垂直線で前記左右辺候補領域を2つの区画に分割してなる左辺候補領域と右辺候補領域における各列毎に含まれるエッジ点の数を算出するステップ、前記左辺候補領域と前記右辺候補領域におけるそれぞれのエッジ点の数を最も多く含む列を、それぞれ前記関心領域の左辺と右辺として決定するステップ、を有している。
【０００６】
前記分割ステップは、さらに、前記左辺候補領域と前記右辺候補領域のいずれか一方にしか抽出可能なエッジがない場合には、前記垂直線を対称中心線として一方の候補領域中の前記エッジ点の数が最も多い列に対称な他方の候補領域中の列を、前記他方の候補領域の前記エッジ点の数が最も多い列として算出するステップ、を有している。
前記分割ステップは、さらに、前記左辺候補領域と前記右辺候補領域のいずれにも抽出可能なエッジが存在しない場合には、前記左拡張辺と前記右拡張辺をそれぞれ前記関心領域の左辺と右辺として決定するステップ、を有している。
前記分割ステップは、さらに、前記左右辺候補領域より底辺候補領域を確定するステップ、前記底辺候補領域からエッジを抽出するステップ、前記底辺候補領域における各行毎に含まれるエッジ点の数を算出するステップ、前記底辺候補領域におけるエッジ点の数を最も多く含む行を前記関心領域の底辺として決定するステップ、を有している。なお、底辺候補領域確定ステップは、撮像画像の所定の行を車両の接地地面と見なして該行から前記車灯パターンの底辺までの画素の高さに対応する実際の高さを算出し、同様に、各行について該行に対応する実際の高さを算出するステップ、各行について求めた前記高さのうち、実際の車両の車灯から地面までの最大の高さに等しい行を第１の特定行とし、各行について求めた前記高さのうち、実際の車両の車灯から地面までの最小の高さに等しい行を第２の特定行とするステップ、前記撮像画像における前記第１の特定行、第２の特定行、前記関心領域の左辺及び右辺からなる領域を前記底辺候補領域として決定するステップ、を有している。
前記分割ステップは、さらに、前記関心領域の底辺と車両の実際の高さを考慮して前記関心領域の頂辺を確定するステップ、を有している。
【０００７】
前記エッジ選定ステップは、閉輪郭を有するエッジであって、該エッジ周長が最大の車灯の周長より小さく、最小の車灯の周長より大きく、しかも、該エッジの外接矩形のアスペクト比が所定の範囲内にあるエッジを、車灯のエッジ条件を満たすエッジとして選定する。
前記エッジ選定ステップは、前記取得されたエッジから、閉輪郭のないエッジ及びその周長が実際の最小の車灯の周長より小さい閉輪郭のエッジを除去するステップを備え、該ステップの処理後、前記エッジ条件を満足するエッジを車灯のエッジとして選定する。除去ステップは、前記取得されたエッジのうち閉輪郭を有するエッジを充填するステップ、所定のテンプレートで前記充填処理が施された撮像画像を腐食させるステップ、前記所定のテンプレートで前記腐食処理が施された撮像画像を膨張させるステップ、を有している。
前記エッジ取得ステップは、前記撮像画像における道路消失線付近と前記撮像された画像の下辺との間の画像部分をエッジ取得処理の対象画像部分として決定するステップ、前記対象画像部分に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するステップ、を有している。
【０００８】
・関心領域分割装置
本発明の関心領域分割装置は上記の関心領域分割方法を実現するように構成されており、前記撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するエッジ取得手段、前記取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定するエッジ選定手段、前記撮像画像における前記選定されたエッジより車灯パターンを確定する車灯パターン確定手段、前記確定された車灯パターンに基づいて前記撮像画像から車両を含む可能性がある関心領域を分割する関心領域分割手段、を備えている。
関心領域分割手段は、関心領域分割方法における分割ステップを実現するように、エッジ取得手段は関心領域分割方法におけるエッジ取得ステップを実現するように、エッジ取得ステップは、関心領域分割方法におけるエッジ選定ステップ実現するように、構成されている。
【発明の効果】
【０００９】
本発明によれば、撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得し、取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定し、撮像画像における前記選定されたエッジより車灯パターンを確定し、該確定された車灯パターンに基づいて前記撮像画像から、車両を含む可能性がある関心領域を分割するようにしたから、車両の車下陰を用いなくても画像から車両を含む可能性がある関心領域を分割することができる。この結果、本発明によれば、関心領域内の画像を直接処理してオートバイ等の車両の有無を確実に検出できるようになる。
又、本発明によれば、車灯パターンを用いて関心領域を決定し、撮像画像より該関心領域を分割することができ、オートバイ等の車両の有無を確実に検出できるようになる。
【発明を実施するための最良の形態】
【００１０】
本発明は撮像装置(カメラ)により撮像された画像から車両の車灯パターンを抽出し、次に、抽出された車灯パターンに基づき車両を含む可能性がある関心領域を決定し、撮影画像から該関心領域を分割する。
はじめに、本発明の実施例に用いられる透視原理を説明する。
図１に示すように、車灯の下エッジの位置(E点)から地面ERTまでの実際の高さDE（hr）と、カメラ撮影画面SCRの画像におけるその投影高さAB（hp）との間には、レンズに歪がなければ相似の原理により以下の関係が成立する。なお、Oは撮像装置のレンズの中心、CMLは水平方向の撮像装置(レンズ)の位置、SCRは撮像画面である、
【数１】
【００１１】
しかし、実際はカメラレンズには接線方向の歪dyが存在し、
AB=AB×dy
となる。なお、上式において右辺のABは画像上の実際の投影高さ、左辺のABは歪がないとした場合の正しい投影高さである。従って、歪dyを考慮すると(1)式は次式になる。
【数２】
この(2)式を変形することにより(3)式が得られる。
【数３】
【００１２】
ただし、DEは車灯の下エッジから地面までの高さ、ABは撮像画面における車灯パターンの下エッジから画面地面までの投影高さであり、OCは撮像装置(カメラ)の焦点距離f、dyは撮像装置(レンズ)の接線方向歪み、dは着目している対象車両から撮像装置までの水平距離である。このdは図２に示すように画像では、車両下端までの深さdp（つまり車両下端から画像の下辺までの距離）として示す。ただし、図２では車両としてオートバイの例を示し、ABKはオートバイ、HLTはオートバイの車灯、RADは道路、RDLは道路の消失線である。dとdｐには以下の関係がある。
【数４】
ただし、Hは図1に示すように撮像装置(カメラ)から地面までの高さであり、Disappearlineは撮像画像中において道路の消失線RDLの位置から画像の下辺までの画素距離である。
【００１３】
以下、図３を参照しながら、オートバイを車両として、本発明に係る関心領域の分割方法を詳しく説明する。
図３に示すように、まず、ステップＳ１０では、ビデオカメラのような撮像装置で撮像された画像から車灯の候補領域、つまり車灯を含む可能性がある画像領域を確定する。通常、路面が平坦な場合に、車灯は一般的に画像において道路消失線RDLの上方に現れない（図４（A）参照）。このため、撮像された画像のうち道路消失線の下方の画像部分を車灯の候補領域とすることができる（図４（ｂ）参照）。本実施例では、路面の勾配による影響を考慮して、車灯の候補領域の上エッジを、撮像された画像における道路消失線から上向きにΔT=10個の画素を拡張した位置に確定する。
次に、ステップＳ２０では、Canny、Sobel又はSusanなどの方法でこの確定された車灯の候補領域に対してエッジ抽出処理を行う。本実施例では、この確定された車灯の候補領域から（つまり、この確定された車灯の候補領域のRGBカラー空間に基づき）、Susan方法によりエッジを直接に抽出する。（図５参照）。
【００１４】
次に、ステップＳ３０では、抽出されたエッジから干渉エッジ、例えば閉輪郭のないエッジ及び／又はその周長が実際の車灯の周長より小さい閉輪郭のエッジを除去する。本実施例では、数理形態学（mathematical morphology）における幾つかの動作により閉輪郭のないエッジ及び／又はその周長が実際の最小の車灯の周長より小さい閉輪郭のエッジを除去する。具体的に言えば、まず、撮像された画像中の閉輪郭を有するエッジを充填する（fill）（図６（A）の白部分参照）。次に、テンプレートで上記確定された車灯の候補領域を腐食させる（erode）。なお、このテンプレートは、この確定された車灯の候補領域における識別しようとする最小のオートバイの画素の大きさより小さく、ここで、５×５の円形テンプレートを用いる（図６（B）参照）。次に、上記テンプレートで上記確定された車灯の候補領域を膨張させる（dilate）（図６（C）参照）ことによって、閉輪郭のないエッジ及び／又はその周長が現実中の最小の車灯の上記撮像された画像中における対応の周長より小さい閉輪郭のエッジを除去する。
図７は充填（fill）操作説明図、図８は腐食（erode）操作および膨張（dilate）操作説明図である。図７において（a）は２値化された原始画像、（b）はfill操作後の結果画像である。又、図８において、（a）は内部に辺長が１，３，５，７，９，１５画素長の正方形を有するfill操作後の原始画像、（b）は原始画像に対して１つの辺長が１３画素長のテンプレートを用いてerode操作した結果であり、辺長が１３画素長より大きい１５画素長の正方形が確定される。（c）は同じテンプレートを用いて（b）に対してdilate操作した結果である。
ステップＳ４０では、取得されたエッジから、その周長が最大の車灯の周長より小さくまた最小の車灯の周長より大きく、更にはその外接矩形のアスペクト比が所定の範囲内にあるエッジにより囲んでなる領域、例えば図６(C)における領域１を車灯パターンとして選定する。
【００１５】
ステップＳ５０では、図９に示すように確定された車灯パターンCLPの左辺と右辺からそれぞれ左方向と右方向へ幅Ｗｄだけ拡張し、確定された車灯パターンの底辺から下方向へ高さＨｐだけ拡張することにより、左拡張辺、右拡張辺及び下拡張辺を取得し、これによって、この車灯パターンの底辺、該左拡張辺、右拡張辺及び下拡張辺から形成された、オートバイを含む可能性がある関心領域（以下、オートバイ関心領域という）の左辺と右辺の候補領域Rmを取得する（図１０（A）内の枠参照）。なお、
【数５】
である。但し、Rはオートバイの車灯CLPの半径であり、kとtは実際の使用に際して確定される定数であって、オートバイの車灯の半径を結合して考慮する必要がある。また、候補領域Rmの座標は、次式
【数６】
で与えられる。但し、(Cx，Cy)はオートバイの車灯中心の座標、Rは車灯の半径である。
【００１６】
ステップＳ６０では、車灯パターンの中心を通じた垂直線を境界線として、候補領域Rmを左、右の二つの領域に分けて、それぞれオートバイ関心領域の左辺候補領域と右辺候補領域とする。
ステップＳ７０では、周知のCanny、Sobel又はSusanなどのエッジ抽出演算子でオートバイの関心領域（以下は、オートバイ関心領域と言う）の左辺候補領域と右辺候補領域に対してエッジ抽出処理を行って、この二つの候補領域（つまり候補領域Rm）からエッジを抽出する（図１０(B)参照）。なお、Susanフィルタの特徴は、微分演算が不要で、しかも差分フィルタよりもっとノイズに強い点である。Susanフィルタの詳細は以下の文献を参照されたい。
”A new method for Iris Localization", Lu,J.: Xie, M.; Industrial Electronics and Applications, 2007. ICIEA 2007. 2nd IEEE Conference on 23-25 May 2007 Pages:2354-2357
ステップＳ８０では、左辺候補領域と右辺候補領域における各列毎に含まれるエッジ点の数を算出する。図１０（C）は、図１０（B）のエッジの概念図における各列毎に含まれるエッジ点の数を示すヒストグラムであり、このヒストグラムの横座標は、撮像された画像の各列の位置を示し、その縦座標は、各列のエッジ点の数を示す。
【００１７】
ステップＳ９０では、左辺候補領域におけるエッジ点の数を最も多く含む列をオートバイ関心領域の左辺として確定し、右辺候補領域におけるエッジ点の数を最も多く含む列を、オートバイ関心領域の右辺として確定する。
なお、左辺候補領域と右辺候補領域のいずれか一方に設定数以上のエッジ点を有する列が存在せず、オートバイ関心領域の左辺或いは右辺を検出できなければ、車灯パターンの中心を対称中心として一方の候補領域で確定されたオートバイ関心領域の辺と対称する列を他方の候補領域におけるオートバイ関心領域の辺とする。
また、左辺候補領域と右辺候補領域の何れにおいても、設定数以上のエッジ点を有する列が存在せず、オートバイ関心領域の左辺および右辺を検出できなければ、候補領域Rmの左辺と右辺をそれぞれオートバイ関心領域の左辺と右辺として確定する。
【００１８】
ステップＳ１００ではオートバイ関心領域の底辺候補領域を確定する。具体的に言えば、図１１に示すように、まず、撮像された画像の所定の行ROWiをバイクの接地地面と見なして該行から画像の下辺BTLまでの距離つまりdpを算出する。次に、該dpに応じた水平距離dを（4）式により演算し、(3)式により該水平距離dおよび撮像画像における前記行から車灯パターンの底辺までの画素の高さhpを用いて、該行に対応する実際の高さhrを算出する。以後、同様に、各行について該行に対応する高さhrを算出する
次に、各行の高さhrのうち、実際のオートバイの車灯から地面までの最大の高さhr‐maxに等しい行を求め、第１の特定行とする。また、各行の高さhrのうち、実際のオートバイ車灯から地面までの最小の高さhr‐minに等しい行を求め、第２の特定行とする。最後に、撮像された画像において、確定されたオートバイ関心領域の左辺、右辺、該第１の特定行及び該第２の特定行からなる画像領域を、オートバイ関心領域の底辺候補領域として確定する(図１２（A）)。
【００１９】
ステップＳ１１０では、Canny、Sobel又はSusanなどのエッジ抽出演算子でオートバイ関心領域の底辺候補領域に対してエッジ抽出処理を行って、この底辺候補領域からエッジを抽出する（図１２（B）参照）。
ステップＳ１２０では、底辺候補領域における各行毎に含まれるエッジ点の数を算出する。図１２（C）は底辺候補領域における各行毎に含まれるエッジ点の数を示すヒストグラムであり、このヒストグラムの横座標は、底辺候補領域の各行の位置を示し、その縦座標は、各行のエッジ点の数を示す。
ステップＳ１３０では、底辺候補領域におけるエッジ点の数を最も多く含む行をオートバイ関心領域の底辺として確定する。図１２（D）はオートバイ関心領域の底辺の例を示し、図の例では画像の下辺と一致している(dp=0)。
【００２０】
ステップＳ１４０では、オートバイ関心領域の頂辺を確定する。具体的に言えば、オートバイ関心領域の底辺を取得した後、まず、この取得された底辺が所在する行と撮像された画像下辺との距離dpに基づいて、(４)式によって撮像装置とオートバイとの距離dを算出し、しかる後、下記の（7）式によって撮像装置との距離がdであるオートバイの撮像画像中の画素の高さdpmを算出する。
【数７】
但し、hmotorは実際のオートバイの高さであり、ここで、hmotorは１.５ｍである。
最後に、オートバイ関心領域の底辺の上方であって該底辺との距離がdpmの行を、オートバイ関心領域の頂辺とする。
【００２１】
図１３は本発明を適用したオートバイ検出装置の構成図であり、関心領域決定処理部５１はカメラ５０が撮影した撮影画像に対して図３の処理を行ってオートバイの関心領域を決定し、関心領域分割部５２は決定された関心領域の画像部分をカメラ撮影画像から分割してオートバイ検出部５３に入力し、オートバイ検出部５３は関心領域の画像を処理してオートバイの有無を検出し、検出結果を出力する。
以上の実施例では、エッジが閉輪郭を有し、その周長が最大の車灯の周長より小さく、かつ最小の車灯の周長より大きく、更には、その外接矩形のアスペクト比が所定の範囲内にあることを条件として、車灯パターンを検出したが、本発明はこれに限らない。
以上の実施例では、撮像された画像のうち道路消失線の下方の画像部分を車灯の候補領域としているが、本発明はこれに限るものではなく、撮像された画像全体を車灯の候補領域としてもよい。
以上ではオートバイを例として本発明を説明しているが、本発明はオートバイの検出に適用されるのに限らず、オートバイを除いた他の車両を検出するのに適用することができる。
本発明に係る車灯検出方法及び関心領域分割方法は、ソフトウエア、ハードウエア、或は、ソフトウエアとハードウエアとの組合わせの方式で実現することができる。当業者にとって、本発明に開示されている車灯検出方法及び装置、並びに関心領域分割方法及び装置が、本発明の本質から離脱しない限り、各種の変形及び変更することができるのが明らかである。
【図面の簡単な説明】
【００２２】
【図１】透視原理を示す概念図である。
【図２】車両下端までの深さdp、道路消失線、Disappearlineの説明図である。
【図３】画像から関心領域を分割する方法を示すフローチャートである。
【図４】車灯の候補領域を示す概念図である。
【図５】車灯候補領域におけるエッジを示す概念図である。
【図６】車灯パターンを検出するために充填動作、腐食動作、膨張動作をそれぞれ実行した後の画像説明図である。
【図７】充填（fill）操作説明図である。
【図８】腐食（erode）操作および膨張（dilate）操作説明図である。
【図９】関心領域候補説明図である。
【図１０】関心領域の左右辺候補領域、該関心領域の左右辺候補領域から抽出されたエッジ、該エッジにおける各列に含まれるエッジ点の数を示すヒストグラムである。
【図１１】関心領域の底辺候補領域の取得処理説明図である。
【図１２】関心領域の底辺候補領域、底辺候補領域から抽出されたエッジ、該エッジにおける各行毎に含まれるエッジ点の数を示すヒストグラム及び関心領域の底辺を示す図である。
【図１３】本発明を適用したオートバイ検出装置の構成図である。
【符号の説明】
【００２３】
S10 車灯の候補領域確定ステップ
S20 エッジ抽出ステップ
S30 干渉除去ステップ
S40 車灯パターン確定ステップ
S50 関心領域の左辺、右辺取得ステップ
S60 関心領域の左辺候補領、右辺候補領域取得ステップ
S70 エッジ抽出処理
S80 エッジ点数算出ステップ
S90 関心領域の左辺、右辺確定ステップ
S100 関心領域の底辺候補領域確定ステップ
S110 エッジ抽出ステップ
S120 エッジ点数算出ステップ
S130 関心領域の底辺確定する
S140 関心領域の頂変確定ステップ
【特許請求の範囲】
【請求項１】
撮像カメラにより撮像された画像より車両が存在する領域(関心領域)を分割する関心領域分割方法において、
前記撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するステップ、
前記取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定するステップ、
前記撮像画像における前記選定されたエッジより車灯パターンを確定するステップ、
前記確定された車灯パターンに基づいて前記撮像画像から車両を含む可能性がある関心領域を分割するステップ、
を備えたことを特徴とする関心領域分割方法。
【請求項２】
前記分割ステップは、
前記確定された車灯パターンの左右両辺からそれぞれ外へ所定の幅だけ拡張し、前記確定された車灯パターンの底辺から下へ所定の高さだけ拡張することにより、左拡張辺、右拡張辺及び下拡張辺を取得するステップ、
前記車灯パターンの底辺、前記左拡張辺、前記右拡張辺及び前記下拡張辺で形成された左右辺候補領域からエッジを抽出するステップ、
前記車灯パターンの中心垂直線で前記左右辺候補領域を2つの区画に分割してなる左辺候補領域と右辺候補領域における各列毎に含まれるエッジ点の数を算出するステップ、
前記左辺候補領域と前記右辺候補領域におけるそれぞれのエッジ点の数を最も多く含む列を、それぞれ前記関心領域の左辺と右辺として決定するステップ、
を含むことを特徴とする請求項１記載の関心領域分割方法。
【請求項３】
前記分割ステップは、さらに、
前記左辺候補領域と前記右辺候補領域のいずれか一方にしか抽出可能なエッジがない場合には、前記垂直線を対称中心線として一方の候補領域中の前記エッジ点の数が最も多い列に対称な他方の候補領域中の列を、前記他方の候補領域の前記エッジ点の数が最も多い列として算出するステップ、
を含むことを特徴とする請求項２記載の関心領域分割方法。
【請求項４】
前記分割ステップは、さらに、
前記左辺候補領域と前記右辺候補領域のいずれにも抽出可能なエッジが存在しない場合には、前記左拡張辺と前記右拡張辺をそれぞれ前記関心領域の左辺と右辺として決定するステップ、
を含むことを特徴とする請求項２記載の関心領域分割方法。
【請求項５】
前記分割ステップは、さらに、
前記左右辺候補領域より底辺候補領域を確定するステップ、
前記底辺候補領域からエッジを抽出するステップ、
前記底辺候補領域における各行毎に含まれるエッジ点の数を算出するステップ、
前記底辺候補領域におけるエッジ点の数を最も多く含む行を前記関心領域の底辺として決定するステップ、
を含むことを特徴とする請求項２記載の関心領域分割方法。
【請求項６】
前記底辺候補領域確定ステップは、
撮像画像の所定の行を車両の接地地面と見なして該行から前記車灯パターンの底辺までの画素の高さに対応する実際の高さを算出し、同様に、各行について該行に対応する実際の高さを算出するステップ、
各行について求めた前記高さのうち、実際の車両の車灯から地面までの最大の高さに等しい行を第１の特定行とし、各行について求めた前記高さのうち、実際の車両の車灯から地面までの最小の高さに等しい行を第２の特定行とするステップ、
前記撮像画像における前記第１の特定行、第２の特定行、前記関心領域の左辺及び右辺からなる領域を前記底辺候補領域として決定するステップ、
を含むことを特徴とする請求項５記載の関心領域分割方法。
【請求項７】
前記分割ステップは、さらに、
前記関心領域の底辺と車両の実際の高さを考慮して前記関心領域の頂辺を確定するステップ、
を含むことを特徴とする請求項５記載の関心領域分割方法。
【請求項８】
前記エッジ選定ステップは、
閉輪郭を有するエッジであって、該エッジ周長が最大の車灯の周長より小さく、最小の車灯の周長より大きく、しかも、該エッジの外接矩形のアスペクト比が所定の範囲内にあるエッジを、車灯のエッジ条件を満たすエッジとして選定する、
ことを特徴とする請求項１記載の関心領域分割方法。
【請求項９】
前記エッジ選定ステップは、
前記取得されたエッジから、閉輪郭のないエッジ及びその周長が実際の最小の車灯の周長より小さい閉輪郭のエッジを除去するステップ、
を備え、該ステップの処理後、前記エッジ条件を満足するエッジを車灯のエッジとして選定することを特徴とする請求項８記載の関心領域分割方法。
【請求項１０】
前記除去ステップは、
前記取得されたエッジのうち閉輪郭を有するエッジを充填するステップ、
所定のテンプレートで前記充填処理が施された撮像画像を腐食させるステップ、
前記所定のテンプレートで前記腐食処理が施された撮像画像を膨張させるステップ、
を含むことを特徴とする請求項９記載の関心領域分割方法。
【請求項１１】
前記エッジ取得ステップは、
前記撮像画像における道路消失線付近と前記撮像された画像の下辺との間の画像部分をエッジ取得処理の対象画像部分として決定するステップ、
前記対象画像部分に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するステップ、
を含むことを特徴とする請求項１記載の関心領域分割方法。
【請求項１２】
撮像カメラにより撮像された画像より車両が存在する領域(関心領域)を分割する関心領域分割装置において、
前記撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するエッジ取得手段、
前記取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定するエッジ選定手段、
前記撮像画像における前記選定されたエッジより車灯パターンを確定する車灯パターン確定手段、
前記確定された車灯パターンに基づいて前記撮像画像から車両を含む可能性がある関心領域を分割する関心領域分割手段、
を備えたことを特徴とする関心領域分割装置。
【請求項１３】
前記関心領域分割手段は、
前記確定された車灯パターンの左右両辺からそれぞれ外へ所定の幅だけ拡張し、前記確定された車灯パターンの底辺から下へ所定の高さだけ拡張することにより、左拡張辺、右拡張辺及び下拡張辺を取得する拡張手段、
前記車灯パターンの底辺、前記左拡張辺、前記右拡張辺及び前記下拡張辺で形成された左右辺候補領域からエッジを抽出する候補領域エッジ抽出手段、
前記車灯パターンの中心垂直線で前記左右辺候補領域を2つの区画に分割してなる左辺候補領域と右辺候補領域における各列毎に含まれるエッジ点の数を算出する算出手段、
前記左辺候補領域と前記右辺候補領域におけるそれぞれのエッジ点の数を最も多く含む列を、それぞれ前記関心領域の左辺と右辺として決定する両辺決定手段、
を含むことを特徴とする請求項１２記載の関心領域分割装置。
【請求項１４】
前記算出手段は、
前記左辺候補領域と前記右辺候補領域のいずれか一方にしか抽出可能なエッジがない場合には、前記垂直線を対称中心線として一方の候補領域中の前記エッジ点の数が最も多い列に対称な他方の候補領域中の列を、前記他方の候補領域の前記エッジ点の数が最も多い列として算出する、
ことを特徴とする請求項１３記載の関心領域分割装置。
【請求項１５】
前記算出手段は、さらに、
前記左辺候補領域と前記右辺候補領域のいずれにも抽出可能なエッジが存在しない場合には、前記左拡張辺と前記右拡張辺をそれぞれ前記関心領域の左辺と右辺として決定する、
ことを特徴とする請求項１３記載の関心領域分割装置。
【請求項１６】
前記関心領域分割手段は、さらに、
前記左右辺候補領域より底辺候補領域を確定する底辺候補領域確定手段、
前記底辺候補領域からエッジを抽出するエッジ抽出手段、
前記底辺候補領域における各行毎に含まれるエッジ点の数を算出する算出手段、
前記底辺候補領域におけるエッジ点の数を最も多く含む行を前記関心領域の底辺として決定する関心領域底辺決定手段、
を含むことを特徴とする請求項１３記載の関心領域分割装置。
【請求項１７】
前記底辺候補領域確定手段は、
撮像画像の所定の行を車両の接地地面と見なして該行から前記車灯パターンの底辺までの画素の高さに対応する実際の高さを算出し、同様に、各行について該行に対応する実際の高さを算出する高さ算出手段、
各行について求めた前記高さのうち、実際の車両の車灯から地面までの最大の高さに等しい行を第１の特定行とし、各行について求めた前記高さのうち、実際の車両の車灯から地面までの最小の高さに等しい行を第２の特定行とする行特定手段、
前記撮像画像における前記第１の特定行、第２の特定行、前記関心領域の左辺及び右辺からなる領域を前記底辺候補領域として決定する決定手段、
を含むことを特徴とする請求項１６記載の関心領域分割装置。
【請求項１８】
前記関心領域分割手段は、さらに、
前記関心領域の底辺と車両の実際の高さを考慮して前記関心領域の頂辺を確定する頂辺確定手段、
を含むことを特徴とする請求項１６記載の関心領域分割装置。
【請求項１９】
前記エッジ選定手段は、
閉輪郭を有するエッジであって、該エッジ周長が最大の車灯の周長より小さく、最小の車灯の周長より大きく、しかも、該エッジの外接矩形のアスペクト比が所定の範囲内にあるエッジを、車灯のエッジ条件を満たすエッジとして選定する、
ことを特徴とする請求項１２記載の関心領域分割装置。
【請求項２０】
前記エッジ選定手段は、
前記取得されたエッジから、閉輪郭のないエッジ及びその周長が実際の最小の車灯の周長より小さい閉輪郭のエッジを除去するエッジ除去手段、
を備え、該エッジ除去後、前記エッジ条件を満足するエッジを車灯のエッジとして選定することを特徴とする請求項１９記載の関心領域分割装置。
【請求項２１】
前記エッジ除去手段は、
前記取得されたエッジのうち閉輪郭を有するエッジを充填する充填手段、
所定のテンプレートで前記充填処理が施された撮像画像を腐食させる腐食手段、
前記所定のテンプレートで前記腐食処理が施された撮像画像を膨張させる膨張手段、
を含むことを特徴とする請求項２０記載の関心領域分割装置。
【請求項２２】
前記エッジ取得手段は、
前記撮像画像における道路消失線付近と前記撮像された画像の下辺との間の画像部分をエッジ取得処理の対象画像部分として決定し、前記対象画像部分に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得する、
ことを特徴とする請求項１２記載の関心領域分割装置。
【請求項１】
撮像カメラにより撮像された画像より車両が存在する領域(関心領域)を分割する関心領域分割方法において、
前記撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するステップ、
前記取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定するステップ、
前記撮像画像における前記選定されたエッジより車灯パターンを確定するステップ、
前記確定された車灯パターンに基づいて前記撮像画像から車両を含む可能性がある関心領域を分割するステップ、
を備えたことを特徴とする関心領域分割方法。
【請求項２】
前記分割ステップは、
前記確定された車灯パターンの左右両辺からそれぞれ外へ所定の幅だけ拡張し、前記確定された車灯パターンの底辺から下へ所定の高さだけ拡張することにより、左拡張辺、右拡張辺及び下拡張辺を取得するステップ、
前記車灯パターンの底辺、前記左拡張辺、前記右拡張辺及び前記下拡張辺で形成された左右辺候補領域からエッジを抽出するステップ、
前記車灯パターンの中心垂直線で前記左右辺候補領域を2つの区画に分割してなる左辺候補領域と右辺候補領域における各列毎に含まれるエッジ点の数を算出するステップ、
前記左辺候補領域と前記右辺候補領域におけるそれぞれのエッジ点の数を最も多く含む列を、それぞれ前記関心領域の左辺と右辺として決定するステップ、
を含むことを特徴とする請求項１記載の関心領域分割方法。
【請求項３】
前記分割ステップは、さらに、
前記左辺候補領域と前記右辺候補領域のいずれか一方にしか抽出可能なエッジがない場合には、前記垂直線を対称中心線として一方の候補領域中の前記エッジ点の数が最も多い列に対称な他方の候補領域中の列を、前記他方の候補領域の前記エッジ点の数が最も多い列として算出するステップ、
を含むことを特徴とする請求項２記載の関心領域分割方法。
【請求項４】
前記分割ステップは、さらに、
前記左辺候補領域と前記右辺候補領域のいずれにも抽出可能なエッジが存在しない場合には、前記左拡張辺と前記右拡張辺をそれぞれ前記関心領域の左辺と右辺として決定するステップ、
を含むことを特徴とする請求項２記載の関心領域分割方法。
【請求項５】
前記分割ステップは、さらに、
前記左右辺候補領域より底辺候補領域を確定するステップ、
前記底辺候補領域からエッジを抽出するステップ、
前記底辺候補領域における各行毎に含まれるエッジ点の数を算出するステップ、
前記底辺候補領域におけるエッジ点の数を最も多く含む行を前記関心領域の底辺として決定するステップ、
を含むことを特徴とする請求項２記載の関心領域分割方法。
【請求項６】
前記底辺候補領域確定ステップは、
撮像画像の所定の行を車両の接地地面と見なして該行から前記車灯パターンの底辺までの画素の高さに対応する実際の高さを算出し、同様に、各行について該行に対応する実際の高さを算出するステップ、
各行について求めた前記高さのうち、実際の車両の車灯から地面までの最大の高さに等しい行を第１の特定行とし、各行について求めた前記高さのうち、実際の車両の車灯から地面までの最小の高さに等しい行を第２の特定行とするステップ、
前記撮像画像における前記第１の特定行、第２の特定行、前記関心領域の左辺及び右辺からなる領域を前記底辺候補領域として決定するステップ、
を含むことを特徴とする請求項５記載の関心領域分割方法。
【請求項７】
前記分割ステップは、さらに、
前記関心領域の底辺と車両の実際の高さを考慮して前記関心領域の頂辺を確定するステップ、
を含むことを特徴とする請求項５記載の関心領域分割方法。
【請求項８】
前記エッジ選定ステップは、
閉輪郭を有するエッジであって、該エッジ周長が最大の車灯の周長より小さく、最小の車灯の周長より大きく、しかも、該エッジの外接矩形のアスペクト比が所定の範囲内にあるエッジを、車灯のエッジ条件を満たすエッジとして選定する、
ことを特徴とする請求項１記載の関心領域分割方法。
【請求項９】
前記エッジ選定ステップは、
前記取得されたエッジから、閉輪郭のないエッジ及びその周長が実際の最小の車灯の周長より小さい閉輪郭のエッジを除去するステップ、
を備え、該ステップの処理後、前記エッジ条件を満足するエッジを車灯のエッジとして選定することを特徴とする請求項８記載の関心領域分割方法。
【請求項１０】
前記除去ステップは、
前記取得されたエッジのうち閉輪郭を有するエッジを充填するステップ、
所定のテンプレートで前記充填処理が施された撮像画像を腐食させるステップ、
前記所定のテンプレートで前記腐食処理が施された撮像画像を膨張させるステップ、
を含むことを特徴とする請求項９記載の関心領域分割方法。
【請求項１１】
前記エッジ取得ステップは、
前記撮像画像における道路消失線付近と前記撮像された画像の下辺との間の画像部分をエッジ取得処理の対象画像部分として決定するステップ、
前記対象画像部分に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するステップ、
を含むことを特徴とする請求項１記載の関心領域分割方法。
【請求項１２】
撮像カメラにより撮像された画像より車両が存在する領域(関心領域)を分割する関心領域分割装置において、
前記撮像画像に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得するエッジ取得手段、
前記取得されたエッジのうち車灯のエッジとしての条件を満たすエッジを選定するエッジ選定手段、
前記撮像画像における前記選定されたエッジより車灯パターンを確定する車灯パターン確定手段、
前記確定された車灯パターンに基づいて前記撮像画像から車両を含む可能性がある関心領域を分割する関心領域分割手段、
を備えたことを特徴とする関心領域分割装置。
【請求項１３】
前記関心領域分割手段は、
前記確定された車灯パターンの左右両辺からそれぞれ外へ所定の幅だけ拡張し、前記確定された車灯パターンの底辺から下へ所定の高さだけ拡張することにより、左拡張辺、右拡張辺及び下拡張辺を取得する拡張手段、
前記車灯パターンの底辺、前記左拡張辺、前記右拡張辺及び前記下拡張辺で形成された左右辺候補領域からエッジを抽出する候補領域エッジ抽出手段、
前記車灯パターンの中心垂直線で前記左右辺候補領域を2つの区画に分割してなる左辺候補領域と右辺候補領域における各列毎に含まれるエッジ点の数を算出する算出手段、
前記左辺候補領域と前記右辺候補領域におけるそれぞれのエッジ点の数を最も多く含む列を、それぞれ前記関心領域の左辺と右辺として決定する両辺決定手段、
を含むことを特徴とする請求項１２記載の関心領域分割装置。
【請求項１４】
前記算出手段は、
前記左辺候補領域と前記右辺候補領域のいずれか一方にしか抽出可能なエッジがない場合には、前記垂直線を対称中心線として一方の候補領域中の前記エッジ点の数が最も多い列に対称な他方の候補領域中の列を、前記他方の候補領域の前記エッジ点の数が最も多い列として算出する、
ことを特徴とする請求項１３記載の関心領域分割装置。
【請求項１５】
前記算出手段は、さらに、
前記左辺候補領域と前記右辺候補領域のいずれにも抽出可能なエッジが存在しない場合には、前記左拡張辺と前記右拡張辺をそれぞれ前記関心領域の左辺と右辺として決定する、
ことを特徴とする請求項１３記載の関心領域分割装置。
【請求項１６】
前記関心領域分割手段は、さらに、
前記左右辺候補領域より底辺候補領域を確定する底辺候補領域確定手段、
前記底辺候補領域からエッジを抽出するエッジ抽出手段、
前記底辺候補領域における各行毎に含まれるエッジ点の数を算出する算出手段、
前記底辺候補領域におけるエッジ点の数を最も多く含む行を前記関心領域の底辺として決定する関心領域底辺決定手段、
を含むことを特徴とする請求項１３記載の関心領域分割装置。
【請求項１７】
前記底辺候補領域確定手段は、
撮像画像の所定の行を車両の接地地面と見なして該行から前記車灯パターンの底辺までの画素の高さに対応する実際の高さを算出し、同様に、各行について該行に対応する実際の高さを算出する高さ算出手段、
各行について求めた前記高さのうち、実際の車両の車灯から地面までの最大の高さに等しい行を第１の特定行とし、各行について求めた前記高さのうち、実際の車両の車灯から地面までの最小の高さに等しい行を第２の特定行とする行特定手段、
前記撮像画像における前記第１の特定行、第２の特定行、前記関心領域の左辺及び右辺からなる領域を前記底辺候補領域として決定する決定手段、
を含むことを特徴とする請求項１６記載の関心領域分割装置。
【請求項１８】
前記関心領域分割手段は、さらに、
前記関心領域の底辺と車両の実際の高さを考慮して前記関心領域の頂辺を確定する頂辺確定手段、
を含むことを特徴とする請求項１６記載の関心領域分割装置。
【請求項１９】
前記エッジ選定手段は、
閉輪郭を有するエッジであって、該エッジ周長が最大の車灯の周長より小さく、最小の車灯の周長より大きく、しかも、該エッジの外接矩形のアスペクト比が所定の範囲内にあるエッジを、車灯のエッジ条件を満たすエッジとして選定する、
ことを特徴とする請求項１２記載の関心領域分割装置。
【請求項２０】
前記エッジ選定手段は、
前記取得されたエッジから、閉輪郭のないエッジ及びその周長が実際の最小の車灯の周長より小さい閉輪郭のエッジを除去するエッジ除去手段、
を備え、該エッジ除去後、前記エッジ条件を満足するエッジを車灯のエッジとして選定することを特徴とする請求項１９記載の関心領域分割装置。
【請求項２１】
前記エッジ除去手段は、
前記取得されたエッジのうち閉輪郭を有するエッジを充填する充填手段、
所定のテンプレートで前記充填処理が施された撮像画像を腐食させる腐食手段、
前記所定のテンプレートで前記腐食処理が施された撮像画像を膨張させる膨張手段、
を含むことを特徴とする請求項２０記載の関心領域分割装置。
【請求項２２】
前記エッジ取得手段は、
前記撮像画像における道路消失線付近と前記撮像された画像の下辺との間の画像部分をエッジ取得処理の対象画像部分として決定し、前記対象画像部分に対してエッジ抽出処理を行って、該撮像画像におけるエッジを取得する、
ことを特徴とする請求項１２記載の関心領域分割装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１５７９２９（Ｐ２００９−１５７９２９Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００８−３２９９９０（Ｐ２００８−３２９９９０）
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]