対象領域決定方法及び対象領域決定装置
【目的】車下陰やエッジのような特徴を用いなくても画像から対象の関心領域を決定することが可能な「対象領域決定方法及び対象領域決定装置」を提供することである。
【構成】本発明は、画像から対象物(車両)の有無や対象物の識別をするための関心領域を決定する方法及び装置であり、(1)撮像画像における角点(輝度変化の大きな点)を検出するステップと、(2)検出された角点に基づき、撮像画像から対象物体のエッジを取得するステップと、(3)取得されたエッジ上の角点に基づき、関心領域に含まれる角点を寄せ集めるステップと、(4)撮像画像における寄せ集められた角点で形成された画像領域を、対象物体を含む可能性がある関心領域として決定するステップとを含む。
【構成】本発明は、画像から対象物(車両)の有無や対象物の識別をするための関心領域を決定する方法及び装置であり、(1)撮像画像における角点(輝度変化の大きな点)を検出するステップと、(2)検出された角点に基づき、撮像画像から対象物体のエッジを取得するステップと、(3)取得されたエッジ上の角点に基づき、関心領域に含まれる角点を寄せ集めるステップと、(4)撮像画像における寄せ集められた角点で形成された画像領域を、対象物体を含む可能性がある関心領域として決定するステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対象領域決定方法及び対象領域決定装置に関わり、特に、撮影画像において対象が存在する領域を決定する対象領域決定方法及び対象領域決定装置に関する。
【背景技術】
【０００２】
従来、コンピュータビジョンに基づく車両検出方法は、ビデオカメラなどの撮像装置で撮像された画像から、車両の車下陰とエッジのような特徴を用いて、車両が存在する可能性がある画像領域を車両の関心領域RIO（Region of Interest）として決定し、該関心領域内の画像を処理して車両の有無や車両の識別処理を行っている。
例えば、コンピュータビジョンに基づく車両識別システムは、自車両又は他の移動／固定の物体に取り付けられた撮像機等の画像ピックアップ装置によりピックアップされた画像から車両を識別する。かかる車両の識別時、まず、該ピックアップした画像から車両を含む関心領域RIOを決定し、次に、該決定した関心領域ROI内の画像に基づいて車輌の識別または車両の有無等を判定する。図１は車両画像CIMを含む関心領域ROIの例であり、CSHは車の下陰(車下陰)である。
【０００３】
陽光又は他の光源による照射で車下に陰が存在することは、形状の異なる車両の共通の特徴であるので、該車下陰は、コンピュータビジョンによる車両画像抽出技術において車両画像を取り出す際に根拠となる主な特徴である。従来技術において、車下陰に基づいて画像から車両を含む領域ROIを決定する第１の方法は、主に、(1)車下陰の階調が路面より暗いとの特徴を根拠に現在の路面の階調平均値を算出し、(2)この平均値を基準値として、路面における階調値がこの基準値より小さいすべての領域を車下陰領域として抽出し、(3)しかる後、この車下陰領域に基づいて車両を含む領域ROIを決定する。また、車両を含む領域ROIを決定する第２の方法は、(1)車下陰領域がいつもその周囲領域より暗いとの特徴を根拠に、画像におけるより暗い一部の領域を車下陰領域として抽出し、(2)しかる後、この車下陰領域に基づいて車両を含む領域を決定する(特許文献１，２参照)。
【０００４】
車下陰は、車両画像決定技術に重要な役割を果たすので、該車下陰は、画像から車両を含む領域を正しく決定できるか否かに大きい影響を与える。しかし、図２に示すように、照光角度による影響で、車下陰CSHは完全でない。すなわち、照光角度により車下陰CSHは車幅一杯に存在せず、(A)に示すように車両の片側に存在したり、(B)に示すように車両の中央一部に存在したりする。かかる場合、車下陰CSHに基づいて決定される領域ROIは、車両の特徴を一部だけ含むものとなる。この図２の場合、車両の特徴の一部が領域ROIに含まれるだけとなるため特徴が不十分となり、車両識別システムは車両の識別や該領域内に車両が存在するか否か、を正確に判定することが困難になる。そこで、車両の左右垂直エッジを検出し、車下陰CSHより取得した関心領域ROIを該垂直エッジを含むように拡大し、拡大した関心領域ROI内に車両が含まれるようにする技術が提案されている(特許文献３)。
【０００５】
車下陰が得られる環境では上記従来技術により関心両を決定することができる。しかし、雨、霧、雪などの低コントラストの悪い環境では、車両の車下陰とエッジのような特徴は、大きく破壊され（図３（Ａ）参照）、消失することさえあった（図３(Ｂ)参照）。かかる場合、車両の車下陰とエッジより、撮影画像において対象が存在する関心領域を決定することは、通常、成功し難い。
【特許文献１】特開２００３−７６９８７号公報
【特許文献２】特願２００７−４３７２１
【特許文献３】特願２００７−２７１０６２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上より、本発明の目的は、雨、霧、雪などの低コントラストの悪い環境でも対象物が存在する関心領域を決定することができる対象領域決定方法及び対象領域決定装置を提供することである。
本発明の別の目的は、車下陰とエッジのような特徴を用いなくても対象物が存在する関心領域を決定することができる対象領域決定方法及び対象領域決定装置を提供することである。
本発明の別の目的は、正確なに関心領域を決定できる対象領域決定方法及び対象領域決定装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は撮影画像における対象が存在する領域を決定する対象領域決定方法および対象領域決定装置である。
・対象領域決定方法
本発明の対象領域決定方法は、撮像画像において輝度変化の大きな点（角点）を検出するステップ、前記検出された角点に基づき、前記撮像画像から対象のエッジを取得するステップ、前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集めるステップ、該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定するステップ、を備えている。
前記エッジ取得ステップは、前記撮像画像から、前記角点の数が最も多く含まれる列を抽出するステップ、前記抽出された列から、前記角点の密度が大きい線分を求めるステップ、前記線分を前記対象のエッジとして決定するステップと、を備えている。
前記関心領域決定ステップは、前記画像領域の外接矩形を算出するステップ、前記外接矩形を前記関心領域として決定するステップと、を備えている。
前記関心領域決定ステップは、前記画像領域の外接矩形を算出するステップ、前記対象のアスペクト比に基づき前記外接矩形の高さを調整するステップ、前記高さ調整された外接矩形を前記関心領域として決定するステップと、を備えている。
前記関心領域決定ステップは、さらに、前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して拡張領域を取得するステップ、前記拡張領域のうち角点の数を最も多く含む列を取得するステップ、前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整するステップ、を含んでいる。
前記関心領域決定ステップは、さらに、前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得するステップ、前記拡張領域のうち角点の数を最も多く含む行を取得するステップ、前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整するステップを含んでいる。
前記抽出ステップは、さらに、前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出するステップ、該抽出された列から、前記角点の密度が大きい線分を求めるステップ、該線分を別の対象のエッジとして決定するステップと、を備え、前記寄せ集めステップにおいて、該エッジ上の角点に基づいて前記別の対象が存在する関心領域内の角点を寄せ集め、前記関心領域決定ステップにおいて該寄せ集められた角点で形成された画像領域を、前記別の対象が存在する可能性がある関心領域として決定する。
【０００８】
・対象領域決定装置
本発明の対象領域決定装置は、撮像画像において輝度変化の大きな点（角点）を検出する角点検出モジュール、前記検出された角点に基づき、前記撮像画像から対象のエッジを取得するエッジ取得モジュール、前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集めるクラスタリングモジュール、該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定する関心領域決定モジュール、を備えている。
前記エッジ取得モジュールは、前記撮像画像から、前記角点の数が最も多く含まれる列を抽出する抽出手段、前記抽出された列から、前記角点の密度が大きい線分を求める線分取得手段、前記線分を前記対象のエッジとして決定するエッジ決定手段、を備えている。
前記関心領域決定モジュールは、前記画像領域の外接矩形を算出する算出手段、前記外接矩形を前記関心領域として決定する関心領域決定手段、を備えている。
前記関心領域決定モジュールは、前記画像領域の外接矩形を算出する算出手段、前記対象のアスペクト比に基づき前記外接矩形の高さを調整する高さ調整手段、前記高さ調整された外接矩形を前記関心領域として決定する関心領域決定手段、を備えている。
前記関心領域決定モジュールは、さらに、前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅拡張して拡張領域を取得する手段、前記拡張領域のうち角点の数を最も多く含む列を取得する列取得手段、前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整する調整手段、を備えている。
前記関心領域決定モジュールは、さらに、前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得する手段、前記拡張領域のうち角点の数を最も多く含む行を取得する行取得手段、前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整する調整手段、を備えている。
前記抽出手段は、前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出する手段、該抽出された列から、前記角点の密度が大きい線分を求める手段、該線分を別の対象のエッジとして決定する手段、を備え、前記寄せ集めモジュールは、該エッジ上の角点に基づいて前記別の対象が存在する関心領域内の角点を寄せ集め、前記関心領域決定モジュールは該寄せ集められた角点で形成された画像領域を、前記別の対象が存在する可能性がある関心領域として決定する。
【発明の効果】
【０００９】
本発明によれば、撮像画像において輝度変化の大きな点（角点）を検出し、該検出された角点に基づき、前記撮像画像から対象のエッジを取得し、前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集め、該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定するから、雨、霧、雪などの低コントラストの悪い環境でも対象物が存在する関心領域を決定することができる。
また、本発明によれば、車下陰とエッジのような特徴を用いなくても対象物が存在する関心領域を決定することができる。
本発明によれば、前記画像領域の外接矩形を算出し、対象物のアスペクト比に基づき該外接矩形の高さを調整し、該高さ調整された外接矩形を関心領域として決定するから、関心領域を正確に決定することができる。
本発明によれば、前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して拡張領域を取得し、前記拡張領域のうち角点の数を最も多く含む列を取得し、前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整するようにしたから、より正確に関心領域を決定することができる。
本発明によれば、前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得し、前記拡張領域のうち前記角点の数を最も多く含む行を取得し、前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整するようにしたから、より正確に関心領域を決定することができる。
本発明によれば、前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出し、該抽出された列から、前記角点の密度が大きい線分を求め、該線分を別の対象のエッジとして決定し、該エッジ上の角点に基づいて別の対象が存在する関心領域内の角点を寄せ集め、該寄せ集められた角点で形成された画像領域を、前記別の対象が存在する可能性がある関心領域として決定するようにしたから、撮影画像に含まれる複数の対象物それぞれについて関心領域を決定することができる。
又、本発明によれば、画像における消失線より下の部分における角点を検出して処理すればよいため、処理する画像部分を減少でき、処理時間を短縮することができる。
【発明を実施するための最良の形態】
【００１０】
(Ａ) 本発明の概略
本発明は、（１）まず、撮像された画像から角点（corner）を検出する。角点とは、任意の方向（水平方向、垂直方向、又は任意の角度方向）の他の点と比べ、輝度（Intensity）の変化が顕著な点である（図４(Ａ),(Ｂ)参照）。なお、対象物例えば車両のエッジは、角点の輝度変化方向に直交する該角点を通る線分に含まれる。
ついで、（２）上記検出された角点を用いて上記撮像された画像から対象物のエッジを取得し、（３）しかる後、上記取得されたエッジ上の角点に基づき、既に検出されている角点のうち関心領域RIO内に存在する角点をクラスタリング手法により取得し、（４）最後に、上記クラスタリングにより取得された角点で形成された画像領域を、上記対象を含む可能性がある関心領域として決定する。
以下、図面を参照しながら、車両を対象物として、本発明の各実施例に係る画像から対象物の関心領域を決定する方法及び装置を詳しく説明する。
【００１１】
（B）第１実施例
図５は、本発明の第１実施例に係る撮影画像において車両が存在する関心領域を決定する方法のフローチャートである。図５に示すように、まず、ステップＳ１０では、角点検出方法でビデオカメラなどの撮像装置で撮像された画像における消失線より下の部分における角点を検出する（図６参照、図６の白点が角点である）。角点検出方法としては、各種周知の角点検出方法、例えばHarris角点検出アルゴリズム、SUSAN角点検出方法などを採用することができる。なお、消失線は地平線で、カメラの高さとその俯角により画像内の位置を計算することができる。例えば、道路が平坦であり、カメラの光軸が路面と平行であるとすると(カメラの俯角がゼロ)、消失線は画像の真ん中の水平線になる。通常、路面が平坦な場合、車両の関心領域は消失線の上方に現れない。このため、消失線より下の部分における角点を検出するのである。
次に、ステップＳ２０では、この撮像された画像の全列（図７参照、図７では４列が示されている）に含まれる角点の数を算出して、該画像の角点の統計的ヒストグラム（図８参照）を取得する。画像の各列の幅ΔＴは、実際的な需要に応じて設置することができ、本実施の形態では、ΔＴ＝２画素幅としている。
ステップＳ３０では、この角点の統計的ヒストグラムに基づき、上記撮像された画像における角点の数を最も多く含む列を見出す。角点検出方法の原理によれば、一般的に画像において車両の水平エッジ、垂直エッジの箇所において角点の数が多く、車体の箇所において角点の数が小さく、また、均一の路面などの平面物体において角点の数が最も小さいので、上記撮像された画像における角点の数を最も多く含む列は、一般的に車両のエッジ(垂直エッジ)を含むことになる。
【００１２】
ステップＳ４０では、上記角点の数を最も多く含む列から車両のエッジ(垂直エッジ)を含む線分を抽出する。車両エッジの具体的な抽出法は図１１を参照しながら後述する。
ステップＳ５０では、抽出されたエッジ上の角点に基づき以下のクラスタリング(clustering:寄せ集め)の手法に従って上記撮像された画像における角点を寄せ集める。
具体的に、クラスタリング法のステップは以下の通りである。なお、画像上においてＮ個の角点が検出されたと仮定する。このＮ個の角点は、集合ＣSを構成し、ＣS＝[Ｃ1,Ｃ2,…,ＣN]である。
まず、抽出されたエッジ上の任意の角点Ｃiをクラスタリングの原点、Ｔをクラスタリングの半径として選択してクラスタリング(角点の寄せ集め)を開始する。ただし、クラスタリングの半径Ｔは上記抽出されたエッジの長さである。
ついで、Ｃiをクラスタリングの原点、Ｔをクラスタリングの半径として構成した円内の角点Ｃj（ｊ≠ｉ，Ｃj∈ＣS）により、角点集合Ｚを構成する。
以後、角点集合Ｚにおける角点Ｃiを除いた各角点Ｃjを順次クラスタリングの原点、Ｔをクラスタリングの半径とし、各円内に含まれる角点を角点集合Ｚに追加する。そして、各円内に新たな角点が含まれるなくなるまで以上のステップを繰返す。以上では、クラスタリングの半径を上記抽出されたエッジの長さと等しいとしているが、これに限るものではなく、他の実施例では、実際的な需要に応じて、クラスタリングの半径は他の値であってもよい。
【００１３】
ステップＳ６０では、クラスタリングされた角点で形成された画像領域を確定し、この画像領域の外接矩形を算出する（図９の矩形参照）。
外接矩形の算出方法は以下の通りである。即ち、
【数１】
Ｃは、クラスタリングされた角点で形成された画像領域、xi，yiはＣ内の角点座標、
は外接矩形である（図１０参照）。
【００１４】
ステップＳ７０では、実際的な車両のアスペクト比に基づき上記外接矩形の高さを調整する（図１１参照）。
ステップＳ８０では、上記調整後の外接矩形を車両が存在する可能性がある関心領域として決定する。以上により、角点が最大数の列を含む列グループGにより特定される対象物(車両)の関心領域の決定処理が終了する。
ステップＳ９０では、上記撮像画像における車両が存在する可能性があるすべての関心領域(列グループg1~g2に応じた対象物の関心領域)を決定したか否かを判断する。
ステップＳ９０において、判断した結果がＮＯであれば、ステップＳ３０に戻り、上記撮像画像における先に関心領域として決定された画像領域で覆われる列を除いた各列に基づき、角点を最も多く含む列を求めて、以降の処理を繰り返し、車両が存在する可能性がある他の関心領域を決定する。なお、列グループの幅が設定幅より狭く、しかも、角点の最大数が少ない列グループ（g3、g4）は処理の対象外とする。
ステップＳ９０において、判断した結果がＹＥＳであれば、関心領域決定処理が終了する。
【００１５】
図１２は、本発明の１つの実施例に係る車両のエッジを含む線分を抽出する処理フローである。
まず、ステップＳ４０２では、角点を最も多く含む列における各角点の画像内の座標情報に基づき、この列における最上の角点の縦座標Yminと最下の角点の縦座標Ymaxを算出する。
【数２】
ここで、ｘi、ｙiは角点を最も多く含む列におけるｉ個目の角点Ｃ（ｘi,ｙi）の横座標と縦座標、ＣＮは、この列における角点の数、Ｅxはこの角点を最も多く含む列である。
【００１６】
次に、ステップＳ４０４では、ＹminとＹmaxに基づき、線分［ＹminＹmax］の中点Ymidを次式
【数３】
によりを算出する。
【００１７】
また、この中点Ymidは、線分［ＹminＹmax］を二つの線分
【数４】
に均一に分割する。
次に、ステップＳ４０６では、線分SubAとSubBの角点の密度をそれぞれ算出する。角点の密度の定義は以下の通りである。
【数５】
【００１８】
但し、上記LenAとLenBは、それぞれ線分SubAとSubBの長さ、DAとDBは線分SubAとSubBの角点の密度である。また、(5a),(5b)式の右辺の分子はそれぞれ、上半分の線分SubAと下半分の線分SubBに存在する角点の数である。すなわち、
【数６】
【００１９】
次に、ステップＳ４０８では、この時に算出された線分SubAとSubBから角点の密度が大きいものを選定する。線分SubAとSubBの密度が同じであれば、線分SubAを選定する。
選定された角点の密度が大きいものがSubAであれば、ステップＳ４１０では、その密度DAがDmax（初期値が０）より大きいか否かを判断する。判断した結果がＹＥＳであれば、ステップＳ４１２で、Dmax=D A，Ｙmax=Ymidとし、次にステップＳ４０４に戻る。判断した結果がＮＯであれば、ステップＳ４１４では、この時の線分SubAを、角点密度が最大の線分、すなわち車両のエッジを含む線分として抽出する。
ステップ４０８において、選定された角点の密度が大きいものがSubBであれば、ステップＳ４１６では、その密度DBがDmaxより大きいか否かを判断する。判断した結果がＹＥＳであれば、ステップＳ４１８では、Dmax=DB，Ｙmin=Ymid+1とし、次にステップＳ４０４に戻る。判断した結果がＮＯであれば、ステップＳ４２０では、この時の線分SubBを角点密度が最大の線分、すなわち車両のエッジを含む線分として抽出する。
【００２０】
（C）第２実施例
第２実施例では、第１実施例のステップに従って関心領域を決定した後、この決定した関心領域をさらに処理して、より正確な関心領域を取得する。
図１３は、本発明の第２実施例に係る車両の関心領域を決定する関心領域決定方法のフローチャートである。また、重複を避けるために、図１３には、第１の実施例とは異なるステップだけを示す。
図１３に示すように、ステップＳ１００では、撮像された画像において、ステップＳ８０(図５参照)で決定した関心領域の左辺と右辺とを内側及び外側へそれぞれ所定の幅拡張し、かつこの関心領域の頂辺と底辺とを内側及び外側へそれぞれ所定の高さ拡張し、左拡張領域、右拡張領域、頂拡張領域、底拡張領域との四つの拡張領域を取得する。ここで、上記所定の幅ΔＷ＝０.１×関心領域の幅、上記所定の高さΔＨ＝０.１×関心領域の高さである。図１４は、本発明の１つの実施例に係る関心領域の拡張を示す概念図であり、その中、ａｂｃｄは拡張前の関心領域、ＡＢＩＪは左拡張領域、ＣＤＧＨは右拡張領域、ＡＤＥＬは頂拡張領域、ＦＧＪＫは底拡張領域を示す。なお、図１４では外側の拡張幅を内側の拡張幅より大きくした例を示している。
【００２１】
ステップＳ１１０では、角点検出方法により左拡張領域、右拡張領域、頂拡張領域、底拡張領域の角点を検出する。
ステップＳ１２０では、左拡張領域及び右拡張領域における各列毎に角点の数、並びに頂拡張領域及び底拡張領域における各行毎に角点の数を算出する。
ステップＳ１３０では、左拡張領域における角点の数が最も多い列CL、右拡張領域における角点の数が最も多い列CR、頂拡張領域における角点の数が最も多い行RU、底拡張領域における角点の数が最も多い行RDを見出す。
ステップＳ１４０では、関心領域ａｂｃｄの４辺の位置を調整し、即ち、この関心領域の左辺を、上記左拡張領域における角点の数が最も多い列CLに修正し、この関心領域の右辺を、上記右拡張領域における角点の数が最も多い列CRに修正し、この関心領域の頂辺を、上記頂拡張領域における角点の数が最も多い行RUに修正し、この関心領域の底辺を、上記底拡張領域における角点の数が最も多い行RDに修正する。
【００２２】
第１実施例では、撮像された画像における消失線以下の部分の画像における角点を検出しているが、本発明はこれに限られない。本発明の他の実施例では、撮像された画像全体における角点を検出してもよい。
また、第１実施例では、ステップＳ７０で実際的な車両のアスペクト比に基づき上記外接矩形の高さを調整しているが、本発明はこれに限られない。本発明の他の実施例では、上記外接矩形の高さを調整しなくてもよい。
また、第２実施例では、関心領域の４辺を同時に調整しているが、本発明の他の実施例では、関心領域の１辺、２辺又は３辺だけを調整してもよい。
また、第２実施例では、関心領域の辺を同時に内側及び外側へそれぞれ所定の幅拡張して拡張領域を取得しているが、本発明はこれに限られない。本発明の他の実施例では、関心領域の辺を内側又は外側へのみ所定の幅拡張して拡張領域を取得してもよい。
また、第２実施例では、関心領域の４つの拡張領域の各々における角点を改めて検出しているが、本発明の他の実施例では、ステップS10で求めた角点を用いて４つの拡張領域における各列又は各行毎に角点の数を算出してもよい。
また、第１及び第２実施例では、画像から車両を含む可能性がある関心領域を決定しているが、本発明の他の実施例では、歩行者などの対象を含む可能性がある関心領域を決定してもよい。
【００２３】
本発明に係る対象の関心領域を決定する方法は、ソフトウエア、ハードウエア、或は、ソフトウエアとハードウエアとの組合わせの方式で実現することができる。
図１５は、本発明の１つの実施例に係る画像から車両の関心領域を決定する装置を示す概念図である。図１５において、車両の関心領域を決定する対象領域決定装置１００は、角点検出モジュール１０１と、エッジ取得モジュール１０３と、クラスタリングモジュール１０５と、外接矩形算出モジュール１０７と、外接矩形調整モジュール１０９と、関心領域決定モジュール１１１と、第１の拡張モジュール１１３と、第２の拡張モジュール１１５と、列決定ジュール１１７と、行決定モジュール１１９と、第１の関心領域調整モジュール１２１と、第２の関心領域調整モジュール１２３とを備えている。
【００２４】
角点検出モジュール１０１は、撮像された画像内の各角点、具体的に、撮像画像の消失線以下の画像部分における各角点を検出し、エッジ取得モジュール１０３は、上記角点の数が最も多い列を抽出する列抽出部１０３１と、上記抽出された列から、上記角点の密度が所定値より大きい線分を対象(車両)のエッジとして確定するエッジ決定部１０３３とを含み、上記検出された角点に基づき、上記撮像画像から対象のエッジを取得する。
クラスタリングモジュール１０５は上記取得されたエッジ上の角点に基づき、上記検出された角点をクラスタリングし(寄せ集め)、外接矩形算出モジュール１０７は寄せ集められた角点を含む画像領域を決定し、該画像領域の外接矩形を算出し、調整モジュール１０９は対象(車両)のアスペクト比に基づき上記外接矩形の高さを調整する。関心領域決定モジュール１１１は、上記外接矩形を上記関心領域として決定し、第１の拡張モジュール１１３は、上記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して、拡張領域を取得し、第２の拡張モジュール１１５は、上記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得する。
【００２５】
列決定ジュール１１７は第１の拡張モジュール１１３で拡張した拡張領域における上記角点の数を最も多く含む列を決定し、行決定モジュール１１９は第２の拡張モジュール１１５で拡張した拡張領域における上記角点の数を最も多く含む行を決定し、関心領域調整モジュール１２１は、上記関心領域の左辺と右辺のうち相応の辺を、列決定モジュール１１７で決定した列に調整し、第２の関心領域調整モジュール１２３は上記関心領域の頂辺と底辺のうち相応の辺を、行決定モジュール１１９で決定した行に調整する。
以上本発明を実施例に従って説明したが、本発明に開示されている画像から対象の関心領域を決定する方法及び装置は、本発明の本質から離脱しない限り、各種の変形及び変更をすることができ、これら変形及び変更は本発明の範囲内にあるものである。
【図面の簡単な説明】
【００２６】
【図１】図１は車の下陰(車下陰)を用いて関心領域を決定する従来技術の説明図である。
【図２】図２は車下陰を用いて関心領域を正しく決定できない場合の説明図である。
【図３】図３は悪い環境で撮像された画像を示す図である。
【図４】図４は角点およびエッジを示す図である。
【図５】図５は本発明の第１実施例に係る車両の関心領域を決定する方法のフローチャートである。
【図６】図６は検出された角点を示す概念図である。
【図７】図７は画像における列を示す概念図である。
【図８】図８は角点の統計的ヒストグラムを示す概念図である。
【図９】図９はクラスタリングされた角点で形成された画像領域の外接矩形を示す図である。
【図１０】図１０はクラスタリングされた角点で形成された画像領域及びその外接矩形を示す概念図である。
【図１１】図１１は高さ調整後の外接矩形を示す図である。
【図１２】図１２は車両のエッジを含む線分を抽出する過程を示すフローチャートである。
【図１３】図１３は本発明の第２実施例に係る車両の関心領域を決定する方法のフローチャートである。
【図１４】図１４は関心領域の拡張を示す概念図である。
【図１５】図１５は車両の関心領域を決定する対象領域決定装置を示す概念図である。
【符号の説明】
【００２７】
Ｓ１０ 角点検出ステップ
Ｓ２０ 統計的ヒストグラム作成ステップ
Ｓ３０ 最大角点列決定ステップ
Ｓ４０ エッジ決定ステップ
Ｓ５０ クラスタリングステップ
Ｓ６０ 外接矩形算出ステップ
Ｓ７０ 高さ調整ステップ
Ｓ８０ 関心領域決定ステップ
【技術分野】
【０００１】
本発明は対象領域決定方法及び対象領域決定装置に関わり、特に、撮影画像において対象が存在する領域を決定する対象領域決定方法及び対象領域決定装置に関する。
【背景技術】
【０００２】
従来、コンピュータビジョンに基づく車両検出方法は、ビデオカメラなどの撮像装置で撮像された画像から、車両の車下陰とエッジのような特徴を用いて、車両が存在する可能性がある画像領域を車両の関心領域RIO（Region of Interest）として決定し、該関心領域内の画像を処理して車両の有無や車両の識別処理を行っている。
例えば、コンピュータビジョンに基づく車両識別システムは、自車両又は他の移動／固定の物体に取り付けられた撮像機等の画像ピックアップ装置によりピックアップされた画像から車両を識別する。かかる車両の識別時、まず、該ピックアップした画像から車両を含む関心領域RIOを決定し、次に、該決定した関心領域ROI内の画像に基づいて車輌の識別または車両の有無等を判定する。図１は車両画像CIMを含む関心領域ROIの例であり、CSHは車の下陰(車下陰)である。
【０００３】
陽光又は他の光源による照射で車下に陰が存在することは、形状の異なる車両の共通の特徴であるので、該車下陰は、コンピュータビジョンによる車両画像抽出技術において車両画像を取り出す際に根拠となる主な特徴である。従来技術において、車下陰に基づいて画像から車両を含む領域ROIを決定する第１の方法は、主に、(1)車下陰の階調が路面より暗いとの特徴を根拠に現在の路面の階調平均値を算出し、(2)この平均値を基準値として、路面における階調値がこの基準値より小さいすべての領域を車下陰領域として抽出し、(3)しかる後、この車下陰領域に基づいて車両を含む領域ROIを決定する。また、車両を含む領域ROIを決定する第２の方法は、(1)車下陰領域がいつもその周囲領域より暗いとの特徴を根拠に、画像におけるより暗い一部の領域を車下陰領域として抽出し、(2)しかる後、この車下陰領域に基づいて車両を含む領域を決定する(特許文献１，２参照)。
【０００４】
車下陰は、車両画像決定技術に重要な役割を果たすので、該車下陰は、画像から車両を含む領域を正しく決定できるか否かに大きい影響を与える。しかし、図２に示すように、照光角度による影響で、車下陰CSHは完全でない。すなわち、照光角度により車下陰CSHは車幅一杯に存在せず、(A)に示すように車両の片側に存在したり、(B)に示すように車両の中央一部に存在したりする。かかる場合、車下陰CSHに基づいて決定される領域ROIは、車両の特徴を一部だけ含むものとなる。この図２の場合、車両の特徴の一部が領域ROIに含まれるだけとなるため特徴が不十分となり、車両識別システムは車両の識別や該領域内に車両が存在するか否か、を正確に判定することが困難になる。そこで、車両の左右垂直エッジを検出し、車下陰CSHより取得した関心領域ROIを該垂直エッジを含むように拡大し、拡大した関心領域ROI内に車両が含まれるようにする技術が提案されている(特許文献３)。
【０００５】
車下陰が得られる環境では上記従来技術により関心両を決定することができる。しかし、雨、霧、雪などの低コントラストの悪い環境では、車両の車下陰とエッジのような特徴は、大きく破壊され（図３（Ａ）参照）、消失することさえあった（図３(Ｂ)参照）。かかる場合、車両の車下陰とエッジより、撮影画像において対象が存在する関心領域を決定することは、通常、成功し難い。
【特許文献１】特開２００３−７６９８７号公報
【特許文献２】特願２００７−４３７２１
【特許文献３】特願２００７−２７１０６２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上より、本発明の目的は、雨、霧、雪などの低コントラストの悪い環境でも対象物が存在する関心領域を決定することができる対象領域決定方法及び対象領域決定装置を提供することである。
本発明の別の目的は、車下陰とエッジのような特徴を用いなくても対象物が存在する関心領域を決定することができる対象領域決定方法及び対象領域決定装置を提供することである。
本発明の別の目的は、正確なに関心領域を決定できる対象領域決定方法及び対象領域決定装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は撮影画像における対象が存在する領域を決定する対象領域決定方法および対象領域決定装置である。
・対象領域決定方法
本発明の対象領域決定方法は、撮像画像において輝度変化の大きな点（角点）を検出するステップ、前記検出された角点に基づき、前記撮像画像から対象のエッジを取得するステップ、前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集めるステップ、該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定するステップ、を備えている。
前記エッジ取得ステップは、前記撮像画像から、前記角点の数が最も多く含まれる列を抽出するステップ、前記抽出された列から、前記角点の密度が大きい線分を求めるステップ、前記線分を前記対象のエッジとして決定するステップと、を備えている。
前記関心領域決定ステップは、前記画像領域の外接矩形を算出するステップ、前記外接矩形を前記関心領域として決定するステップと、を備えている。
前記関心領域決定ステップは、前記画像領域の外接矩形を算出するステップ、前記対象のアスペクト比に基づき前記外接矩形の高さを調整するステップ、前記高さ調整された外接矩形を前記関心領域として決定するステップと、を備えている。
前記関心領域決定ステップは、さらに、前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して拡張領域を取得するステップ、前記拡張領域のうち角点の数を最も多く含む列を取得するステップ、前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整するステップ、を含んでいる。
前記関心領域決定ステップは、さらに、前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得するステップ、前記拡張領域のうち角点の数を最も多く含む行を取得するステップ、前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整するステップを含んでいる。
前記抽出ステップは、さらに、前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出するステップ、該抽出された列から、前記角点の密度が大きい線分を求めるステップ、該線分を別の対象のエッジとして決定するステップと、を備え、前記寄せ集めステップにおいて、該エッジ上の角点に基づいて前記別の対象が存在する関心領域内の角点を寄せ集め、前記関心領域決定ステップにおいて該寄せ集められた角点で形成された画像領域を、前記別の対象が存在する可能性がある関心領域として決定する。
【０００８】
・対象領域決定装置
本発明の対象領域決定装置は、撮像画像において輝度変化の大きな点（角点）を検出する角点検出モジュール、前記検出された角点に基づき、前記撮像画像から対象のエッジを取得するエッジ取得モジュール、前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集めるクラスタリングモジュール、該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定する関心領域決定モジュール、を備えている。
前記エッジ取得モジュールは、前記撮像画像から、前記角点の数が最も多く含まれる列を抽出する抽出手段、前記抽出された列から、前記角点の密度が大きい線分を求める線分取得手段、前記線分を前記対象のエッジとして決定するエッジ決定手段、を備えている。
前記関心領域決定モジュールは、前記画像領域の外接矩形を算出する算出手段、前記外接矩形を前記関心領域として決定する関心領域決定手段、を備えている。
前記関心領域決定モジュールは、前記画像領域の外接矩形を算出する算出手段、前記対象のアスペクト比に基づき前記外接矩形の高さを調整する高さ調整手段、前記高さ調整された外接矩形を前記関心領域として決定する関心領域決定手段、を備えている。
前記関心領域決定モジュールは、さらに、前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅拡張して拡張領域を取得する手段、前記拡張領域のうち角点の数を最も多く含む列を取得する列取得手段、前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整する調整手段、を備えている。
前記関心領域決定モジュールは、さらに、前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得する手段、前記拡張領域のうち角点の数を最も多く含む行を取得する行取得手段、前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整する調整手段、を備えている。
前記抽出手段は、前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出する手段、該抽出された列から、前記角点の密度が大きい線分を求める手段、該線分を別の対象のエッジとして決定する手段、を備え、前記寄せ集めモジュールは、該エッジ上の角点に基づいて前記別の対象が存在する関心領域内の角点を寄せ集め、前記関心領域決定モジュールは該寄せ集められた角点で形成された画像領域を、前記別の対象が存在する可能性がある関心領域として決定する。
【発明の効果】
【０００９】
本発明によれば、撮像画像において輝度変化の大きな点（角点）を検出し、該検出された角点に基づき、前記撮像画像から対象のエッジを取得し、前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集め、該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定するから、雨、霧、雪などの低コントラストの悪い環境でも対象物が存在する関心領域を決定することができる。
また、本発明によれば、車下陰とエッジのような特徴を用いなくても対象物が存在する関心領域を決定することができる。
本発明によれば、前記画像領域の外接矩形を算出し、対象物のアスペクト比に基づき該外接矩形の高さを調整し、該高さ調整された外接矩形を関心領域として決定するから、関心領域を正確に決定することができる。
本発明によれば、前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して拡張領域を取得し、前記拡張領域のうち角点の数を最も多く含む列を取得し、前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整するようにしたから、より正確に関心領域を決定することができる。
本発明によれば、前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得し、前記拡張領域のうち前記角点の数を最も多く含む行を取得し、前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整するようにしたから、より正確に関心領域を決定することができる。
本発明によれば、前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出し、該抽出された列から、前記角点の密度が大きい線分を求め、該線分を別の対象のエッジとして決定し、該エッジ上の角点に基づいて別の対象が存在する関心領域内の角点を寄せ集め、該寄せ集められた角点で形成された画像領域を、前記別の対象が存在する可能性がある関心領域として決定するようにしたから、撮影画像に含まれる複数の対象物それぞれについて関心領域を決定することができる。
又、本発明によれば、画像における消失線より下の部分における角点を検出して処理すればよいため、処理する画像部分を減少でき、処理時間を短縮することができる。
【発明を実施するための最良の形態】
【００１０】
(Ａ) 本発明の概略
本発明は、（１）まず、撮像された画像から角点（corner）を検出する。角点とは、任意の方向（水平方向、垂直方向、又は任意の角度方向）の他の点と比べ、輝度（Intensity）の変化が顕著な点である（図４(Ａ),(Ｂ)参照）。なお、対象物例えば車両のエッジは、角点の輝度変化方向に直交する該角点を通る線分に含まれる。
ついで、（２）上記検出された角点を用いて上記撮像された画像から対象物のエッジを取得し、（３）しかる後、上記取得されたエッジ上の角点に基づき、既に検出されている角点のうち関心領域RIO内に存在する角点をクラスタリング手法により取得し、（４）最後に、上記クラスタリングにより取得された角点で形成された画像領域を、上記対象を含む可能性がある関心領域として決定する。
以下、図面を参照しながら、車両を対象物として、本発明の各実施例に係る画像から対象物の関心領域を決定する方法及び装置を詳しく説明する。
【００１１】
（B）第１実施例
図５は、本発明の第１実施例に係る撮影画像において車両が存在する関心領域を決定する方法のフローチャートである。図５に示すように、まず、ステップＳ１０では、角点検出方法でビデオカメラなどの撮像装置で撮像された画像における消失線より下の部分における角点を検出する（図６参照、図６の白点が角点である）。角点検出方法としては、各種周知の角点検出方法、例えばHarris角点検出アルゴリズム、SUSAN角点検出方法などを採用することができる。なお、消失線は地平線で、カメラの高さとその俯角により画像内の位置を計算することができる。例えば、道路が平坦であり、カメラの光軸が路面と平行であるとすると(カメラの俯角がゼロ)、消失線は画像の真ん中の水平線になる。通常、路面が平坦な場合、車両の関心領域は消失線の上方に現れない。このため、消失線より下の部分における角点を検出するのである。
次に、ステップＳ２０では、この撮像された画像の全列（図７参照、図７では４列が示されている）に含まれる角点の数を算出して、該画像の角点の統計的ヒストグラム（図８参照）を取得する。画像の各列の幅ΔＴは、実際的な需要に応じて設置することができ、本実施の形態では、ΔＴ＝２画素幅としている。
ステップＳ３０では、この角点の統計的ヒストグラムに基づき、上記撮像された画像における角点の数を最も多く含む列を見出す。角点検出方法の原理によれば、一般的に画像において車両の水平エッジ、垂直エッジの箇所において角点の数が多く、車体の箇所において角点の数が小さく、また、均一の路面などの平面物体において角点の数が最も小さいので、上記撮像された画像における角点の数を最も多く含む列は、一般的に車両のエッジ(垂直エッジ)を含むことになる。
【００１２】
ステップＳ４０では、上記角点の数を最も多く含む列から車両のエッジ(垂直エッジ)を含む線分を抽出する。車両エッジの具体的な抽出法は図１１を参照しながら後述する。
ステップＳ５０では、抽出されたエッジ上の角点に基づき以下のクラスタリング(clustering:寄せ集め)の手法に従って上記撮像された画像における角点を寄せ集める。
具体的に、クラスタリング法のステップは以下の通りである。なお、画像上においてＮ個の角点が検出されたと仮定する。このＮ個の角点は、集合ＣSを構成し、ＣS＝[Ｃ1,Ｃ2,…,ＣN]である。
まず、抽出されたエッジ上の任意の角点Ｃiをクラスタリングの原点、Ｔをクラスタリングの半径として選択してクラスタリング(角点の寄せ集め)を開始する。ただし、クラスタリングの半径Ｔは上記抽出されたエッジの長さである。
ついで、Ｃiをクラスタリングの原点、Ｔをクラスタリングの半径として構成した円内の角点Ｃj（ｊ≠ｉ，Ｃj∈ＣS）により、角点集合Ｚを構成する。
以後、角点集合Ｚにおける角点Ｃiを除いた各角点Ｃjを順次クラスタリングの原点、Ｔをクラスタリングの半径とし、各円内に含まれる角点を角点集合Ｚに追加する。そして、各円内に新たな角点が含まれるなくなるまで以上のステップを繰返す。以上では、クラスタリングの半径を上記抽出されたエッジの長さと等しいとしているが、これに限るものではなく、他の実施例では、実際的な需要に応じて、クラスタリングの半径は他の値であってもよい。
【００１３】
ステップＳ６０では、クラスタリングされた角点で形成された画像領域を確定し、この画像領域の外接矩形を算出する（図９の矩形参照）。
外接矩形の算出方法は以下の通りである。即ち、
【数１】
Ｃは、クラスタリングされた角点で形成された画像領域、xi，yiはＣ内の角点座標、
は外接矩形である（図１０参照）。
【００１４】
ステップＳ７０では、実際的な車両のアスペクト比に基づき上記外接矩形の高さを調整する（図１１参照）。
ステップＳ８０では、上記調整後の外接矩形を車両が存在する可能性がある関心領域として決定する。以上により、角点が最大数の列を含む列グループGにより特定される対象物(車両)の関心領域の決定処理が終了する。
ステップＳ９０では、上記撮像画像における車両が存在する可能性があるすべての関心領域(列グループg1~g2に応じた対象物の関心領域)を決定したか否かを判断する。
ステップＳ９０において、判断した結果がＮＯであれば、ステップＳ３０に戻り、上記撮像画像における先に関心領域として決定された画像領域で覆われる列を除いた各列に基づき、角点を最も多く含む列を求めて、以降の処理を繰り返し、車両が存在する可能性がある他の関心領域を決定する。なお、列グループの幅が設定幅より狭く、しかも、角点の最大数が少ない列グループ（g3、g4）は処理の対象外とする。
ステップＳ９０において、判断した結果がＹＥＳであれば、関心領域決定処理が終了する。
【００１５】
図１２は、本発明の１つの実施例に係る車両のエッジを含む線分を抽出する処理フローである。
まず、ステップＳ４０２では、角点を最も多く含む列における各角点の画像内の座標情報に基づき、この列における最上の角点の縦座標Yminと最下の角点の縦座標Ymaxを算出する。
【数２】
ここで、ｘi、ｙiは角点を最も多く含む列におけるｉ個目の角点Ｃ（ｘi,ｙi）の横座標と縦座標、ＣＮは、この列における角点の数、Ｅxはこの角点を最も多く含む列である。
【００１６】
次に、ステップＳ４０４では、ＹminとＹmaxに基づき、線分［ＹminＹmax］の中点Ymidを次式
【数３】
によりを算出する。
【００１７】
また、この中点Ymidは、線分［ＹminＹmax］を二つの線分
【数４】
に均一に分割する。
次に、ステップＳ４０６では、線分SubAとSubBの角点の密度をそれぞれ算出する。角点の密度の定義は以下の通りである。
【数５】
【００１８】
但し、上記LenAとLenBは、それぞれ線分SubAとSubBの長さ、DAとDBは線分SubAとSubBの角点の密度である。また、(5a),(5b)式の右辺の分子はそれぞれ、上半分の線分SubAと下半分の線分SubBに存在する角点の数である。すなわち、
【数６】
【００１９】
次に、ステップＳ４０８では、この時に算出された線分SubAとSubBから角点の密度が大きいものを選定する。線分SubAとSubBの密度が同じであれば、線分SubAを選定する。
選定された角点の密度が大きいものがSubAであれば、ステップＳ４１０では、その密度DAがDmax（初期値が０）より大きいか否かを判断する。判断した結果がＹＥＳであれば、ステップＳ４１２で、Dmax=D A，Ｙmax=Ymidとし、次にステップＳ４０４に戻る。判断した結果がＮＯであれば、ステップＳ４１４では、この時の線分SubAを、角点密度が最大の線分、すなわち車両のエッジを含む線分として抽出する。
ステップ４０８において、選定された角点の密度が大きいものがSubBであれば、ステップＳ４１６では、その密度DBがDmaxより大きいか否かを判断する。判断した結果がＹＥＳであれば、ステップＳ４１８では、Dmax=DB，Ｙmin=Ymid+1とし、次にステップＳ４０４に戻る。判断した結果がＮＯであれば、ステップＳ４２０では、この時の線分SubBを角点密度が最大の線分、すなわち車両のエッジを含む線分として抽出する。
【００２０】
（C）第２実施例
第２実施例では、第１実施例のステップに従って関心領域を決定した後、この決定した関心領域をさらに処理して、より正確な関心領域を取得する。
図１３は、本発明の第２実施例に係る車両の関心領域を決定する関心領域決定方法のフローチャートである。また、重複を避けるために、図１３には、第１の実施例とは異なるステップだけを示す。
図１３に示すように、ステップＳ１００では、撮像された画像において、ステップＳ８０(図５参照)で決定した関心領域の左辺と右辺とを内側及び外側へそれぞれ所定の幅拡張し、かつこの関心領域の頂辺と底辺とを内側及び外側へそれぞれ所定の高さ拡張し、左拡張領域、右拡張領域、頂拡張領域、底拡張領域との四つの拡張領域を取得する。ここで、上記所定の幅ΔＷ＝０.１×関心領域の幅、上記所定の高さΔＨ＝０.１×関心領域の高さである。図１４は、本発明の１つの実施例に係る関心領域の拡張を示す概念図であり、その中、ａｂｃｄは拡張前の関心領域、ＡＢＩＪは左拡張領域、ＣＤＧＨは右拡張領域、ＡＤＥＬは頂拡張領域、ＦＧＪＫは底拡張領域を示す。なお、図１４では外側の拡張幅を内側の拡張幅より大きくした例を示している。
【００２１】
ステップＳ１１０では、角点検出方法により左拡張領域、右拡張領域、頂拡張領域、底拡張領域の角点を検出する。
ステップＳ１２０では、左拡張領域及び右拡張領域における各列毎に角点の数、並びに頂拡張領域及び底拡張領域における各行毎に角点の数を算出する。
ステップＳ１３０では、左拡張領域における角点の数が最も多い列CL、右拡張領域における角点の数が最も多い列CR、頂拡張領域における角点の数が最も多い行RU、底拡張領域における角点の数が最も多い行RDを見出す。
ステップＳ１４０では、関心領域ａｂｃｄの４辺の位置を調整し、即ち、この関心領域の左辺を、上記左拡張領域における角点の数が最も多い列CLに修正し、この関心領域の右辺を、上記右拡張領域における角点の数が最も多い列CRに修正し、この関心領域の頂辺を、上記頂拡張領域における角点の数が最も多い行RUに修正し、この関心領域の底辺を、上記底拡張領域における角点の数が最も多い行RDに修正する。
【００２２】
第１実施例では、撮像された画像における消失線以下の部分の画像における角点を検出しているが、本発明はこれに限られない。本発明の他の実施例では、撮像された画像全体における角点を検出してもよい。
また、第１実施例では、ステップＳ７０で実際的な車両のアスペクト比に基づき上記外接矩形の高さを調整しているが、本発明はこれに限られない。本発明の他の実施例では、上記外接矩形の高さを調整しなくてもよい。
また、第２実施例では、関心領域の４辺を同時に調整しているが、本発明の他の実施例では、関心領域の１辺、２辺又は３辺だけを調整してもよい。
また、第２実施例では、関心領域の辺を同時に内側及び外側へそれぞれ所定の幅拡張して拡張領域を取得しているが、本発明はこれに限られない。本発明の他の実施例では、関心領域の辺を内側又は外側へのみ所定の幅拡張して拡張領域を取得してもよい。
また、第２実施例では、関心領域の４つの拡張領域の各々における角点を改めて検出しているが、本発明の他の実施例では、ステップS10で求めた角点を用いて４つの拡張領域における各列又は各行毎に角点の数を算出してもよい。
また、第１及び第２実施例では、画像から車両を含む可能性がある関心領域を決定しているが、本発明の他の実施例では、歩行者などの対象を含む可能性がある関心領域を決定してもよい。
【００２３】
本発明に係る対象の関心領域を決定する方法は、ソフトウエア、ハードウエア、或は、ソフトウエアとハードウエアとの組合わせの方式で実現することができる。
図１５は、本発明の１つの実施例に係る画像から車両の関心領域を決定する装置を示す概念図である。図１５において、車両の関心領域を決定する対象領域決定装置１００は、角点検出モジュール１０１と、エッジ取得モジュール１０３と、クラスタリングモジュール１０５と、外接矩形算出モジュール１０７と、外接矩形調整モジュール１０９と、関心領域決定モジュール１１１と、第１の拡張モジュール１１３と、第２の拡張モジュール１１５と、列決定ジュール１１７と、行決定モジュール１１９と、第１の関心領域調整モジュール１２１と、第２の関心領域調整モジュール１２３とを備えている。
【００２４】
角点検出モジュール１０１は、撮像された画像内の各角点、具体的に、撮像画像の消失線以下の画像部分における各角点を検出し、エッジ取得モジュール１０３は、上記角点の数が最も多い列を抽出する列抽出部１０３１と、上記抽出された列から、上記角点の密度が所定値より大きい線分を対象(車両)のエッジとして確定するエッジ決定部１０３３とを含み、上記検出された角点に基づき、上記撮像画像から対象のエッジを取得する。
クラスタリングモジュール１０５は上記取得されたエッジ上の角点に基づき、上記検出された角点をクラスタリングし(寄せ集め)、外接矩形算出モジュール１０７は寄せ集められた角点を含む画像領域を決定し、該画像領域の外接矩形を算出し、調整モジュール１０９は対象(車両)のアスペクト比に基づき上記外接矩形の高さを調整する。関心領域決定モジュール１１１は、上記外接矩形を上記関心領域として決定し、第１の拡張モジュール１１３は、上記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して、拡張領域を取得し、第２の拡張モジュール１１５は、上記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得する。
【００２５】
列決定ジュール１１７は第１の拡張モジュール１１３で拡張した拡張領域における上記角点の数を最も多く含む列を決定し、行決定モジュール１１９は第２の拡張モジュール１１５で拡張した拡張領域における上記角点の数を最も多く含む行を決定し、関心領域調整モジュール１２１は、上記関心領域の左辺と右辺のうち相応の辺を、列決定モジュール１１７で決定した列に調整し、第２の関心領域調整モジュール１２３は上記関心領域の頂辺と底辺のうち相応の辺を、行決定モジュール１１９で決定した行に調整する。
以上本発明を実施例に従って説明したが、本発明に開示されている画像から対象の関心領域を決定する方法及び装置は、本発明の本質から離脱しない限り、各種の変形及び変更をすることができ、これら変形及び変更は本発明の範囲内にあるものである。
【図面の簡単な説明】
【００２６】
【図１】図１は車の下陰(車下陰)を用いて関心領域を決定する従来技術の説明図である。
【図２】図２は車下陰を用いて関心領域を正しく決定できない場合の説明図である。
【図３】図３は悪い環境で撮像された画像を示す図である。
【図４】図４は角点およびエッジを示す図である。
【図５】図５は本発明の第１実施例に係る車両の関心領域を決定する方法のフローチャートである。
【図６】図６は検出された角点を示す概念図である。
【図７】図７は画像における列を示す概念図である。
【図８】図８は角点の統計的ヒストグラムを示す概念図である。
【図９】図９はクラスタリングされた角点で形成された画像領域の外接矩形を示す図である。
【図１０】図１０はクラスタリングされた角点で形成された画像領域及びその外接矩形を示す概念図である。
【図１１】図１１は高さ調整後の外接矩形を示す図である。
【図１２】図１２は車両のエッジを含む線分を抽出する過程を示すフローチャートである。
【図１３】図１３は本発明の第２実施例に係る車両の関心領域を決定する方法のフローチャートである。
【図１４】図１４は関心領域の拡張を示す概念図である。
【図１５】図１５は車両の関心領域を決定する対象領域決定装置を示す概念図である。
【符号の説明】
【００２７】
Ｓ１０ 角点検出ステップ
Ｓ２０ 統計的ヒストグラム作成ステップ
Ｓ３０ 最大角点列決定ステップ
Ｓ４０ エッジ決定ステップ
Ｓ５０ クラスタリングステップ
Ｓ６０ 外接矩形算出ステップ
Ｓ７０ 高さ調整ステップ
Ｓ８０ 関心領域決定ステップ
【特許請求の範囲】
【請求項１】
撮影画像において対象が存在する領域を決定する対象領域決定方法において、
撮像画像において輝度変化の大きな点（角点）を検出するステップ、
前記検出された角点に基づき、前記撮像画像から対象のエッジを取得するステップ、
前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集めるステップ、
該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定するステップ、
を備えたことを特徴とする対象領域決定方法。
【請求項２】
前記エッジ取得ステップは、
前記撮像画像から、前記角点の数が最も多く含まれる列を抽出するステップ、
前記抽出された列から、前記角点の密度が大きい線分を求めるステップ、
前記線分を前記対象のエッジとして決定するステップと、
を備えることを特徴とする請求項１記載の対象領域決定方法。
【請求項３】
前記関心領域決定ステップは、
前記画像領域の外接矩形を算出するステップ、
前記外接矩形を前記関心領域として決定するステップ、
を備えたことを特徴とする請求項１記載の対象領域決定方法。
【請求項４】
前記関心領域決定ステップは、
前記画像領域の外接矩形を算出するステップ、
前記対象のアスペクト比に基づき前記外接矩形の高さを調整するステップ、
前記高さ調整された外接矩形を前記関心領域として決定するステップと、
を備えたことを特徴とする請求項１記載の対象領域決定方法。
【請求項５】
前記関心領域決定ステップは、さらに、
前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して拡張領域を取得するステップ、
前記拡張領域のうち角点の数を最も多く含む列を取得するステップ、
前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整するステップ、
を含むことを特徴とする請求項１乃至４記載の対象領域決定方法。
【請求項６】
前記関心領域決定ステップは、さらに、
前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得するステップ、
前記拡張領域のうち角点の数を最も多く含む行を取得するステップ、
前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整するステップ、
を含むことを特徴とする請求項１乃至４記載の対象領域決定方法。
【請求項７】
前記抽出ステップは、さらに、
前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出するステップ、
該抽出された列から、前記角点の密度が大きい線分を求めるステップ、
該線分を別の対象のエッジとして決定するステップと、
を備え、前記寄せ集めステップにおいて、該エッジ上の角点に基づいて前記別の対象が存在する関心領域内の角点を寄せ集め、前記関心領域決定ステップにおいて、該寄せ集められた角点で形成された画像領域を、前記別の対象が存在する可能性がある関心領域として決定する、
ことを特徴とする請求項２記載の対象領域決定方法。
【請求項８】
前記検出された各角点は、前記撮像された画像における消失線より下の部分の画像から検出されたものであることを特徴とする請求項１記載の対象領域決定方法。
【請求項９】
撮影画像において対象が存在する領域を決定する対象領域決定装置において、
撮像画像において輝度変化の大きな点（角点）を検出する角点検出モジュール、
前記検出された角点に基づき、前記撮像画像から対象のエッジを取得するエッジ取得モジュール、
前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集めるクラスタリングモジュール、
該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定する関心領域決定モジュール、
を備えたことを特徴とする対象領域決定装置。
【請求項１０】
前記エッジ取得モジュールは、
前記撮像画像から、前記角点の数が最も多く含まれる列を抽出する抽出手段、
前記抽出された列から、前記角点の密度が大きい線分を求める線分取得手段、
前記線分を前記対象のエッジとして決定するエッジ決定手段、
を備えることを特徴とする請求項９記載の対象領域決定装置。
【請求項１１】
前記関心領域決定モジュールは、
前記画像領域の外接矩形を算出する算出手段、
前記外接矩形を前記関心領域として決定する関心領域決定手段、
を備えたことを特徴とする請求項９記載の対象領域決定装置。
【請求項１２】
前記関心領域決定モジュールは、
前記画像領域の外接矩形を算出する算出手段、
前記対象のアスペクト比に基づき前記外接矩形の高さを調整する高さ調整手段、
前記高さ調整された外接矩形を前記関心領域として決定する関心領域決定手段、
を備えたことを特徴とする請求項９記載の対象領域決定装置。
【請求項１３】
前記関心領域決定モジュールは、さらに、
前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して拡張領域を取得する手段、
前記拡張領域のうち角点の数を最も多く含む列を取得する列取得手段、
前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整する調整手段、
を備えたことを特徴とする請求項９乃至１２記載の対象領域決定装置。
【請求項１４】
前記関心領域決定モジュールは、さらに、
前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得する手段、
前記拡張領域のうち角点の数を最も多く含む行を取得する行取得手段、
前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整する調整手段、
を備えたことを特徴とする請求項９乃至１２記載の対象領域決定装置。
【請求項１５】
前記抽出手段は、
前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出する手段、
該抽出された列から、前記角点の密度が大きい線分を求める手段、
該線分を別の対象のエッジとして決定する手段、
を備え、前記寄せ集めモジュールは、該エッジ上の角点に基づいて前記別の対象が存在する関心領域内の角点を寄せ集め、前記関心領域決定モジュールは該寄せ集められた角点で形成された画像領域を、前記別の対象を含む可能性がある関心領域として決定する
ことを特徴とする請求項１０記載の対象領域決定装置。
【請求項１６】
前記角点検出モジュールは、前記撮像された画像における消失線より下の部分の画像から前記角点を検出する、
ことを特徴とする請求項９記載の対象領域決定装置。
【請求項１】
撮影画像において対象が存在する領域を決定する対象領域決定方法において、
撮像画像において輝度変化の大きな点（角点）を検出するステップ、
前記検出された角点に基づき、前記撮像画像から対象のエッジを取得するステップ、
前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集めるステップ、
該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定するステップ、
を備えたことを特徴とする対象領域決定方法。
【請求項２】
前記エッジ取得ステップは、
前記撮像画像から、前記角点の数が最も多く含まれる列を抽出するステップ、
前記抽出された列から、前記角点の密度が大きい線分を求めるステップ、
前記線分を前記対象のエッジとして決定するステップと、
を備えることを特徴とする請求項１記載の対象領域決定方法。
【請求項３】
前記関心領域決定ステップは、
前記画像領域の外接矩形を算出するステップ、
前記外接矩形を前記関心領域として決定するステップ、
を備えたことを特徴とする請求項１記載の対象領域決定方法。
【請求項４】
前記関心領域決定ステップは、
前記画像領域の外接矩形を算出するステップ、
前記対象のアスペクト比に基づき前記外接矩形の高さを調整するステップ、
前記高さ調整された外接矩形を前記関心領域として決定するステップと、
を備えたことを特徴とする請求項１記載の対象領域決定方法。
【請求項５】
前記関心領域決定ステップは、さらに、
前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して拡張領域を取得するステップ、
前記拡張領域のうち角点の数を最も多く含む列を取得するステップ、
前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整するステップ、
を含むことを特徴とする請求項１乃至４記載の対象領域決定方法。
【請求項６】
前記関心領域決定ステップは、さらに、
前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得するステップ、
前記拡張領域のうち角点の数を最も多く含む行を取得するステップ、
前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整するステップ、
を含むことを特徴とする請求項１乃至４記載の対象領域決定方法。
【請求項７】
前記抽出ステップは、さらに、
前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出するステップ、
該抽出された列から、前記角点の密度が大きい線分を求めるステップ、
該線分を別の対象のエッジとして決定するステップと、
を備え、前記寄せ集めステップにおいて、該エッジ上の角点に基づいて前記別の対象が存在する関心領域内の角点を寄せ集め、前記関心領域決定ステップにおいて、該寄せ集められた角点で形成された画像領域を、前記別の対象が存在する可能性がある関心領域として決定する、
ことを特徴とする請求項２記載の対象領域決定方法。
【請求項８】
前記検出された各角点は、前記撮像された画像における消失線より下の部分の画像から検出されたものであることを特徴とする請求項１記載の対象領域決定方法。
【請求項９】
撮影画像において対象が存在する領域を決定する対象領域決定装置において、
撮像画像において輝度変化の大きな点（角点）を検出する角点検出モジュール、
前記検出された角点に基づき、前記撮像画像から対象のエッジを取得するエッジ取得モジュール、
前記取得されたエッジ上の角点に基づいて前記対象が存在する領域（関心領域）内の角点を寄せ集めるクラスタリングモジュール、
該寄せ集められた角点で形成された画像領域を、前記対象が存在する可能性がある関心領域として決定する関心領域決定モジュール、
を備えたことを特徴とする対象領域決定装置。
【請求項１０】
前記エッジ取得モジュールは、
前記撮像画像から、前記角点の数が最も多く含まれる列を抽出する抽出手段、
前記抽出された列から、前記角点の密度が大きい線分を求める線分取得手段、
前記線分を前記対象のエッジとして決定するエッジ決定手段、
を備えることを特徴とする請求項９記載の対象領域決定装置。
【請求項１１】
前記関心領域決定モジュールは、
前記画像領域の外接矩形を算出する算出手段、
前記外接矩形を前記関心領域として決定する関心領域決定手段、
を備えたことを特徴とする請求項９記載の対象領域決定装置。
【請求項１２】
前記関心領域決定モジュールは、
前記画像領域の外接矩形を算出する算出手段、
前記対象のアスペクト比に基づき前記外接矩形の高さを調整する高さ調整手段、
前記高さ調整された外接矩形を前記関心領域として決定する関心領域決定手段、
を備えたことを特徴とする請求項９記載の対象領域決定装置。
【請求項１３】
前記関心領域決定モジュールは、さらに、
前記関心領域の左辺と右辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の幅分拡張して拡張領域を取得する手段、
前記拡張領域のうち角点の数を最も多く含む列を取得する列取得手段、
前記関心領域の左辺と右辺のうち相応の辺を前記取得した列に調整する調整手段、
を備えたことを特徴とする請求項９乃至１２記載の対象領域決定装置。
【請求項１４】
前記関心領域決定モジュールは、さらに、
前記関心領域の頂辺と底辺の少なくとも一辺から内側及び／又は外側へそれぞれ所定の高さ分拡張して、拡張領域を取得する手段、
前記拡張領域のうち角点の数を最も多く含む行を取得する行取得手段、
前記関心領域の頂辺と底辺のうち相応の辺を前記取得した行に調整する調整手段、
を備えたことを特徴とする請求項９乃至１２記載の対象領域決定装置。
【請求項１５】
前記抽出手段は、
前記撮像画像における前記対象の関心領域として決定された画像領域で覆われる列を除いた各列から、前記角点の数が最も多い列を抽出する手段、
該抽出された列から、前記角点の密度が大きい線分を求める手段、
該線分を別の対象のエッジとして決定する手段、
を備え、前記寄せ集めモジュールは、該エッジ上の角点に基づいて前記別の対象が存在する関心領域内の角点を寄せ集め、前記関心領域決定モジュールは該寄せ集められた角点で形成された画像領域を、前記別の対象を含む可能性がある関心領域として決定する
ことを特徴とする請求項１０記載の対象領域決定装置。
【請求項１６】
前記角点検出モジュールは、前記撮像された画像における消失線より下の部分の画像から前記角点を検出する、
ことを特徴とする請求項９記載の対象領域決定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−１４６４０７（Ｐ２００９−１４６４０７Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００８−３１４４６７（Ｐ２００８−３１４４６７）
【出願日】平成２０年１２月１０日（２００８．１２．１０）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成２０年１２月１０日（２００８．１２．１０）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]