車両用対象物認識装置
【課題】より適切な範囲に設定された領域で対象物の認識を行うことが可能な車両用対象物認識装置を提供すること。
【解決手段】自車両前方を撮像する撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、自車両のピッチ角を取得するピッチ角取得手段と、を備え、画像解析手段は、車間距離取得手段により取得された車間距離及びピッチ角取得手段により取得された自車両のピッチ角に基づいて、先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、設定した除去ラインよりも遠方側の領域を所定領域から除外して認識対象物を認識することを特徴とする車両用対象物認識装置。
【解決手段】自車両前方を撮像する撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、自車両のピッチ角を取得するピッチ角取得手段と、を備え、画像解析手段は、車間距離取得手段により取得された車間距離及びピッチ角取得手段により取得された自車両のピッチ角に基づいて、先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、設定した除去ラインよりも遠方側の領域を所定領域から除外して認識対象物を認識することを特徴とする車両用対象物認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載カメラの撮像画像を解析し、撮像画像中に存在する道路区画線や道路表示等の路面上の認識対象物を認識する車両用対象物認識装置に関する。
【背景技術】
【0002】
従来、車両が走行車線を逸脱せずに走行できるように運転支援を行う制御システムが知られている。例えば、LKA(Lane Keeping Assist)と称される車線維持支援制御システムでは、走行車線内を車両が走行できるように小さい操舵力が出力されたり、ステアリングアシストトルクが出力されたりする。また、LDW(Lane Departure Warninng)と称される車線逸脱警報制御システムでは、車両が走行車線から逸脱したタイミング、或いは逸脱しようとしているタイミングで、スピーカや表示装置によって警報の出力が行われる。
【0003】
これらの制御システムでは、走行車線と車両の位置関係を認識することが必要となる。係る認識は、車載カメラによって車両周辺を撮像し、撮像画像上で走行車線を区画する道路区画線の位置を認識する処理を経て行われる。従って、車載カメラの撮像画像を解析して道路区画線を認識する技術が必要となっている。
【0004】
ここで、撮像画像の解析は、画像全体に亘って行うと処理負荷が大きくなるため、画像中で道路面を撮像している可能性が高いと思われる所定領域について行われるのが通常である。
【0005】
なお、このように、画像における解析対象範囲を限定するのは、道路区画線を認識する装置に限られない。例えば、横断歩道や速度表示、右左折可能か否かを示す矢印、一時停止位置線等の、路面上の認識対象物を認識する装置についても、同様のことがいえる。
【0006】
特許文献1には、撮像手段の撮像画像から画像認識された道路形状に基づいて、車両が車線を維持して走行するように制御するレーンキープ制御を備える車両走行制御装置について記載されている。この装置では、自車両の直前を走行する先行車両との車間距離をレーダ装置等で測定し、先行車両との車間距離に応じて撮像手段の撮像範囲、又はその撮像画像における画像認識範囲(上記所定領域撮像手段の撮像範囲、又はその撮像画像における画像認識範囲)を車両側方に移動させる処理を行っている。
【0007】
また、実用化されている制御システムシステムでは、車間距離に基づいて算出される先行車両の後端部の画像上の位置(画像縦方向の座標)に横方向のラインを設定し、このラインよりも遠方側の画像を所定領域から除外する処理が行われている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2009−146289号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、車間距離のみに基づいて先行車両の遮蔽程度を認識する場合、自車両の姿勢や挙動に起因して、画像解析を行う対象となる領域の設定が適切なものとならない場合がある。このため、従来の制御システムでは、道路区画線の認識精度が低下する場合がある。
【0010】
本発明はこのような課題を解決するためのものであり、より適切な範囲に設定された領域で対象物の認識を行うことが可能な車両用対象物認識装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するための本発明の第1の態様は、
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、前記車間距離取得手段により取得された車間距離及び前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識することを特徴とする、
車両用対象物認識装置である。
【0012】
この本発明の第1の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0013】
なお、本発明の各態様において、車間距離取得手段は、レーダー装置であってもよいし、画像解析によって距離を測定する装置であってもよい。
【0014】
本発明の第2の態様は、
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも上向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置である。
【0015】
この本発明の第2の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0016】
本発明の第1又は第2の態様において、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とするものとしてもよい。
【0017】
本発明の第3の態様は、
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置である。
【0018】
この本発明の第3の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0019】
本発明の第4の態様は、
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、前記車間距離取得手段により取得された車間距離及び前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識することを特徴とする、
車両用対象物認識装置である。
【0020】
この本発明の第4の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0021】
本発明の第5の態様は、
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも下向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置である。
【0022】
この本発明の第5の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0023】
本発明の第4又は第5の態様において、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とするものとしてもよい。
【0024】
本発明の第6の態様は、
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置である。
【0025】
この本発明の第6の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【発明の効果】
【0026】
本発明によれば、より適切な範囲に設定された領域で対象物の認識を行うことが可能な車両用対象物認識装置を提供することができる。
【図面の簡単な説明】
【0027】
【図1】本発明の第1実施例に係る車両用対象物認識装置1の機能ブロック図である。
【図2】前方カメラ10の撮像画像例、及び撮像画像における地平線位置と先行車両の下端部との距離に基づいて車間距離を算出する原理を説明するための説明図である。
【図3】前方カメラ10の撮像画像例、及び撮像画像における先行車両の幅に基づいて車間距離を算出する原理を説明するための説明図である。
【図4】画像変換処理が行われる様子を示す図である。
【図5】画像変換処理の原理を説明するための説明図である。
【図6】左右対応点探索処理が行われる様子を示す図である。
【図7】横方向に左カメラの画像における特徴的な物体と同一の物体を、右カメラの画像において横方向に探索する様子を示す図である。
【図8】粗い解像度で探索を行った結果として作成される視差画像の一例である。
【図9】視差点投票処理が行われる様子を示す図である。
【図10】立体物判定処理が行われた結果、二個の立体物が認識された様子を示す図である。
【図11】撮像画像に設定される所定領域を示す図である。
【図12】自車両のピッチ角が上向くことにより除去ラインが上方向にズレてしまった様子を示す図である。
【図13】除去ラインが適切に補正された様子を示す図である。
【図14】第1実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図15】第1実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図16】所定領域を自車両に近い側に移動させる様子を示す図である。
【図17】第1実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図18】第1実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図19】本発明の第2実施例に係る車両用対象物認識装置2の機能ブロック図である。
【図20】第2実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図21】第2実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図22】第2実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図23】第2実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0028】
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。なお、本発明の車両用対象物認識装置は、道路区画線や横断歩道、速度表示、右左折可能か否かを示す矢印、一時停止位置線その他の、道路上に存在する認識対象物を認識するための装置であるが、以下の説明では、専ら道路区画線を認識する装置であるものとして説明する。
【実施例】
【0029】
<第1実施例>
[構成及び機能]
以下、図面を参照し、本発明の第1実施例に係る車両用対象物認識装置1について説明する。図1は、本発明の第1実施例に係る車両用対象物認識装置1の機能ブロック図である。車両用対象物認識装置1は、主要な構成として、前方カメラ10と、車間距離取得部20と、ピッチ角取得部30と、画像解析部40と、を備える。後述するように、車間距離取得部20、ピッチ角取得部30、及び画像解析部40は、独立した装置であってもよいが、同一のコンピュータ装置が実現する複数の機能であってもよい。
【0030】
前方カメラ10は、例えばウインドシールド中央上部に取り付けられた、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を利用したカメラであり、自車両(車両用対象物認識装置1が搭載された車両をいう)の前方斜め下方を撮像領域とし、数[ms]毎に繰り返し撮像を行なう。前方カメラ10の撮像画像は、例えばNTSC(National Television Standards Committee)等のインターレース方式によって生成される画像信号として、定期的に(例えば、撮像フレーム毎に)画像解析部40に送信される。
【0031】
(車間距離取得)
車間距離取得部20は、例えばフロントグリル裏に取り付けられたミリ波レーダー装置であり、ミリ波の反射波が帰ってくるまでの時間、反射波の位相、及び周波数変化等を利用して自車両の前方に存在する物体との距離、方位、相対速度を検出する。車間距離取得部20は、このような検出を定期的に行なって、例えば反射波の強度が所定値以上であり、且つ相対速度が所定値未満である場合に、検出した物体が、自車両の直前を走行する先行車両であると判断し、物体に関する情報(距離、方位、相対速度)を画像解析部40に送信する。
【0032】
なお、車間距離取得のための手段としては、上記ミリ波レーダーの他、レーザーレーダーや赤外線レーダー、ステレオカメラ、前方カメラ10の撮像画像解析によるものが考えられる。
【0033】
前方カメラ10の撮像画像解析による車間距離の取得は、例えば、(1)前方カメラ10の撮像画像における地平線位置と先行車両の下端部との距離(ピクセル長さ)に基づいて算出することにより行われる。図2(A)は、前方カメラ10の撮像画像例であり、図2(B)は、撮像画像における地平線位置と先行車両の下端部との距離に基づいて車間距離を算出する原理を説明するための説明図である。図示するように、地平線位置と先行車両の下端部との画像上の距離をyとすると、先行車両との車間距離Zは、次式(1)で表される。式中、FOCUSは焦点距離であり、CAM_HEIGHTは前方カメラ10が設置された高さである(図2では、単にHと表記した)。撮像画像における地平線位置は、前方カメラ10の設置パラメータ(高さ、焦点距離等)から導出される。先行車両の下端部位置は、撮像画像にパターンマッチング処理を行ったり、路面との輝度差に基づいて判別したりすることができる。
【0034】
Z=FOCUS・CAM_HEIGHT/y …(1)
また、(2)前方カメラ10の撮像画像における先行車両の幅(ピクセル幅)に基づいて算出することもできる。図3(A)は、前方カメラ10の撮像画像例であり、図3(B)は、撮像画像における先行車両の幅に基づいて車間距離を算出する原理を説明するための説明図である。なお、この場合、何らかの手法により、先行車両の実際の幅が判明している必要がある。図示するように、撮像画像における先行車両の幅をwとすると、先行車両との車間距離Zは、次式(2)で表される。式中、Wは先行車両の実際の車幅である。撮像画像における先行車両の幅は、上記(1)と同様、撮像画像にパターンマッチング処理を行ったり、背景との輝度差に基づいて判別したりすることができる。
【0035】
Z=FOCUS・W/w …(2)
また、車両前方を撮像するカメラが二個以上存在する場合は(ステレオカメラ)、視差を利用して先行車両との車間距離Zを取得することができる。以下、左右のカメラによる視差を利用した距離の測定について説明する。視差を利用した距離の測定は、例えば、画像取り込み、画像変換処理、左右対応点探索処理、視差点画像作成処理、視差点投票処理、立体物判定処理の順に行われる。
【0036】
図4は、画像変換処理が行われる様子を示す図である。まず、左右のカメラによる画像に対して、歪補正処理が行われ、次いで、左右いずれかのカメラによる画像(歪補正処理後)に対して、平行化処理を行う。これらの処理は、例えば図5に示すような画像変換によって行われる。図5は、画像変換処理の原理を説明するための説明図である。係る画像変換は、例えば、カメラの元画像におけるレンズ等による歪みと、現実風景の画像の関係を予め取得しておき、この関係に基づき入力画像と出力画像との関係を規定した変換テーブルを用いて行う。ここで、入力画像における画素と出力画像における画素が一対一に対応しない場合があるが、この場合、出力画素に対応する入力画像の点の座標を求め、その座標の周囲四画素の入力画素の画素値により補間する処理を行う。平行化処理では、予め判明している左右のカメラのピッチ角に基づいて、水平線を一致させるように左右のいずれかのカメラによる画像を回転させる。
【0037】
画像変換処理が行われると、左右対応点探索処理が行われる。係る処理に先立って、まず粗い解像度で探索を行い、次いで細かい解像度で探索を行うと、処理負荷を軽減することができる。図6は、左右対応点探索処理が行われる様子を示す図である。図示するように、左右対応点探索処理では、例えば左カメラの画像における特徴的な物体(例えば周辺画素との輝度差が大きい点を連ねた想定物体をいう)と同一の物体を、右カメラの画像において当該物体と同一の縦方向座標を有する横方向の走査ライン(ある程度の幅を有してもよい)上で探索する。図7は、横方向に左カメラの画像における特徴的な物体(図中、テンプレートTijと表記した)と同一の物体を、右カメラの画像において横方向に探索する様子を示す図である。図示するように、右カメラの画像において横方向にテンプレートと同じ大きさを有する画素の集合(図中、リファレンスRijと表記した)が順に選択され、相関値が最小となる画素の集合が、同一の物体であると判断される。
【0038】
そして、左カメラの画像における特徴的な物体と、右カメラの画像において発見された物体との横方向座標の差を視差dとし、視差dと左右のカメラの設置パラメータによって、当該物体との距離を算出する。このようにして、左右いずれかのカメラの画像における特徴的な物体のそれぞれについて距離が対応付けられた視差画像が作成される。図8は、粗い解像度で探索を行った結果として作成される視差画像の一例である。
【0039】
視差画像が作成されると、視差点投票処理が行われ、所定数以上の投票を得た物体が、現実に存在する物体であると判断される。図9は、視差点投票処理が行われる様子を示す図である。そして、視差点を連ねた一連の物体を立体物であると判断する立体物判定処理が行われることにより、先行車両等の立体物が認識される。図10は、立体物判定処理が行われた結果、二個の立体物が認識された様子を示す図である。
【0040】
(ピッチ角取得)
ピッチ角取得部30は、例えば、画像解析部40が認識した道路区画線に対して、予め記憶手段に保持している道路形状モデル(異なる曲率や車線幅に対応して複数のものが存在する)との間でカルマンフィルタ等によるフィッティング(当てはめ)を行い、モデルと認識結果のズレ量に基づいて自車両のピッチ角を算出する。自車両のピッチ角とは、自車両の水平軸が水平方向に対してなす角度である。以下、ピッチ角は自車両の前方が上向いている場合を正とする。
【0041】
例えば、直線道路において道路区画線の幅がモデルよりも遠方に行くに従って細くなっている場合、ピッチ角が上向きである(正の値をもつ)と判断できる。また、上記フィッティングに際して、ナビゲーション装置から現在走行中の道路に関する情報を取得してもよい。
【0042】
なお、ピッチ角取得部30は、このような態様に限らず、Gセンサの出力、各車輪に連結されたハイトコントロールセンサの出力に基づく演算結果等を利用して車両のピッチ角を取得するものであってもよい。
【0043】
(道路区画線認識)
画像解析部40は、前方カメラ10により撮像された撮像画像における所定領域について画像解析を行い、当該所定領域に存在する道路区画線を認識する。図11は、撮像画像に設定される所定領域を示す図である。所定領域は、例えば画像の横方向中心線を中心とした所定幅をもち、且つ縦方向に関しては自車両の前方5[m]〜30[m]に相当する領域として設定されている。
【0044】
道路区画線の認識は、白直線や破線、黄線等の直線状の道路区画線に対しては、例えば、所定領域内で隣接画素との輝度差が閾値以上である画素を抽出し、抽出した画素のうち直線的に並んだものを道路区画線の輪郭であると認識する。直線状に並んだ画素を抽出する際には、ハフ変換等の処理が行われる。また、ボッツドッツやキャッツアイ等の点列状区画線に対しては、モルフォロジー演算等のノイズ除去処理を行って、これらを認識する。なお、道路区画線を含めた認識対象物の認識に係る具体的処理については、本発明の中核をなさないので詳細な説明を省略する。
【0045】
また、画像解析部40は、車間距離取得部20により取得された先行車両との車間距離に基づいて、先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、除去ラインよりも遠方側の領域を所定領域から除外して画像解析を行う。除去ラインの縦方向座標isrcは、次式(3)で求められる。なお、縦方向座標isrcは、画像における上端部をゼロ点とし、下方に移動するのに応じて値が大きくなるものとする。
【0046】
除去ラインは、先行車両の後端部(車間距離の基準位置)から路面に垂線を下ろした路面上の位置に対応している。式中、INPUTIMAGE_HEIGHTは、画像縦幅であり、これを2で除したものは画像の縦方向に関する中心線の座標を示している。また、CAM_DEP_ANGは、前方カメラ10の俯角であり、RESOLUTIONVは、前方カメラ10の撮像画像における垂直方向の解像度である。
【0047】
isrc=INPUTIMAGE_HEIGHT/2−(−FOCUS×CAM_HEIGHT/Z−FOCUS×CAM_DEP_ANG)/RESOLUTIONV …(3)
ところで、このような除去ラインを設定する際に、路面勾配や凹凸に起因して自車両のピッチ角が変動している可能性がある。ピッチ角が変動すると、上式(3)で算出した除去ラインが、先行車両の後下端部に対応した位置からズレを生じる場合がある。図12は、自車両のピッチ角が上向くことにより除去ラインが上方向にズレてしまった様子を示す図である。なお、図中、除去ラインよりも遠方側の領域を除去領域と表記している。
【0048】
そこで、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角が水平方向よりも上向きである(正の値をもつ)場合には、次式(4)のように除去ラインの縦方向座標isrcを補正する。式中、CamPichAngは、ピッチ角取得部30により取得された自車両のピッチ角を示している。
【0049】
isrc=INPUTIMAGE_HEIGHT/2−(−FOCUS×CAM_HEIGHT/Z−FOCUS×(CAM_DEP_ANG+CamPichAng))/RESOLUTIONV …(4)
このように、ピッチ角取得部30により取得された自車両のピッチ角を加味して除去ラインを設定することにより、自車両のピッチ角が上向きである場合でも、先行車両の後下端部に対応した位置に除去ラインを設定することができる。この結果、より適切な範囲に設定された所定領域で道路区画線の認識を行うことができる。図13は、除去ラインが適切に補正された様子を示す図である。
【0050】
なお、自車両のピッチ角が上向きの場合にのみ上記補正を行うのは、所定領域を拡げて画像解析を広範囲に行う必要性よりは、先行車両が存在する可能性を排除できない領域にまで画像解析の対象を拡げることにより生じうる、誤認識を避ける必要性が高いことに基づく。
【0051】
以下、画像解析部40により実行される処理の流れについて説明する。なお、以下の各フロー、エッジ点抽出処理を行って白線等を認識することを前提としている。
【0052】
[処理フロー1_1]
図14は、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0053】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S100)。
【0054】
そして、ピッチ角取得部30により取得された自車両のピッチ角が正の値であるか否かを判定する(S102)。
【0055】
ピッチ角取得部30により取得された自車両のピッチ角がゼロ又は負の値である場合は、先行車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S104)。
【0056】
ピッチ角取得部30により取得された自車両のピッチ角が正の値である場合は、先行車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(4)により除去ラインを設定する(S106)。
【0057】
S104とS106のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S108)。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する(S110)。
【0058】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S112)。
【0059】
なお、このフローにおいて、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0060】
[処理フロー1_2]
また、画像解析部40は、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図15は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0061】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S200)。
【0062】
そして、ピッチ角取得部30により取得された自車両のピッチ角が正の値であるか否かを判定する(S202)。
【0063】
ピッチ角取得部30により取得された自車両のピッチ角がゼロ又は負の値である場合は、先行車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S204)。
【0064】
ピッチ角取得部30により取得された自車両のピッチ角が正の値である場合は、先行車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(4)により除去ラインを設定する(S206)。
【0065】
S204とS206のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S208)。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる(S210)。ここで、所定領域の移動量は、前方カメラ10の取り付け位置と自車両前部(フェンダー部)の位置関係から許容される最も下方(自車両手前側)まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する(S212、S214)。図16は、所定領域を自車両に近い側に移動させる様子を示す図である。
【0066】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S216)。
【0067】
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0068】
[処理フロー1_3]
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角の向きに拘わらず、自車両のピッチ角を加味して除去ラインを設定するものとしてもよい。図17は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S300)。
【0069】
次に、先行車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(4)により除去ラインを設定する(S302)。
【0070】
S302において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S304)。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する(S306)。
【0071】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S308)。
【0072】
なお、このフローにおいても、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよいし、図16のように所定領域を移動させる処理を行ってもよい。後者の場合、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0073】
[処理フロー1_4]
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角を加味せずに除去ラインを設定し、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図18は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0074】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S400)。
【0075】
次に、画像解析部40は、先行車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S402)。
【0076】
S402において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S404)。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる(S406)。ここで、所定領域の移動量は、前方カメラ10の取り付け位置と自車両前部(フェンダー部)の位置関係から許容される最も下方(自車両手前側)まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する(S408、S410)。
【0077】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S412)。
【0078】
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0079】
[利用例]
本実施例の車両用対象物認識装置1によって認識された道路区画線は、その画像上の位置に基づいて、自車両に対する相対位置が把握される。このように把握された自車両と道路区画線の相対位置は、前述のように、LKA(Lane Keeping Assist)と称される車線維持支援制御システムやLDW(Lane Departure Warninng)と称される車線逸脱警報制御システムに利用される。また、車両用対象物認識装置1が横断歩道や一時停止位置を認識する場合、自動制動制御、自動シフトダウン制御、一時停止勧告のためのメッセージ出力制御等に利用される。
【0080】
[まとめ]
以上説明した本実施例の車両用対象物認識装置1によれば、ピッチ角取得部30により取得された自車両のピッチ角を加味して除去ラインを設定したり、設定した除去ラインが所定領域を通過する場合には所定領域を自車両に近い側に移動させたりするため、より適切な範囲に設定された所定領域で対象物の認識を行うことができる。
【0081】
<第2実施例>
[構成及び機能]
以下、図面を参照し、本発明の第2実施例に係る車両用対象物認識装置2について説明する。図19は、本発明の第2実施例に係る車両用対象物認識装置2の機能ブロック図である。車両用対象物認識装置2は、主要な構成として、後方カメラ15と、車間距離取得部20と、ピッチ角取得部30と、画像解析部40と、を備える。後述するように、車間距離取得部20、ピッチ角取得部30、及び画像解析部40は、独立した装置であってもよいが、同一のコンピュータ装置が有する各機能であってもよい。
【0082】
後方カメラ15は、例えば自車両後部バンパー付近に取り付けられた、CCDやCMOS等の撮像素子を利用したカメラであり、自車両(車両用対象物認識装置2が搭載された車両をいう)の後方斜め下方を撮像領域とし、数[ms]毎に繰り返し撮像を行なう。後方カメラ15は、公知のバックガイドモニターシステム用のカメラと共用することができる。この場合、後方カメラ15には、広角レンズ等が取り付けられている。後方カメラ15の撮像画像は、例えばNTSC等のインターレース方式によって生成される画像信号として、定期的に(例えば、撮像フレーム毎に)画像解析部40に送信される。
【0083】
車間距離取得部20は、例えば自車両後部のバンパー付近に取り付けられたミリ波レーダー装置であり、ミリ波の反射波が帰ってくるまでの時間、反射波の位相、及び周波数変化等を利用して自車両の後方に存在する物体との距離、方位、相対速度を検出する。車間距離取得部20は、このような検出を定期的に行なって、例えば反射波の強度が所定値以上であり、且つ相対速度が所定値未満である場合に、検出した物体が、自車両の直後を走行する後続車両であると判断し、物体に関する情報(距離、方位、相対速度)を画像解析部40に送信する。
【0084】
なお、車間距離取得のための手段としては、上記ミリ波レーダーの他、レーザーレーダーや赤外線レーダー、ステレオカメラ、後方カメラ15の撮像画像解析によるものが考えられる。後方カメラ15の撮像画像解析やステレオカメラによる車間距離の取得は、第1実施例において図2〜10に即して説明した原理を援用することができるため、説明を省略する。
【0085】
また、ピッチ角取得部30による自車両のピッチ角の取得手法についても、第1実施例と同様の手法を採用すればよいため、説明を省略する。
【0086】
画像解析部40は、前方カメラ10により撮像された撮像画像における所定領域について画像解析を行い、当該所定領域に存在する道路区画線を認識する。
【0087】
また、画像解析部40は、車間距離取得部20により取得された後続車両との車間距離に基づいて、後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、除去ラインよりも遠方側の領域を所定領域から除外して画像解析を行う。除去ラインの縦方向座標isrcは、上式(3)で求められる。この除去ラインは、後続車両の前端部(車間距離の基準位置)から路面に垂線を下ろした路面上の位置に対応している。
【0088】
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角が水平方向よりも下向きである(負の値をもつ)場合には、次式(5)のように除去ラインの縦方向座標isrcを補正する。式中、CamPichAngは、ピッチ角取得部30により取得された自車両のピッチ角を示している。
【0089】
isrc=INPUTIMAGE_HEIGHT/2−(−FOCUS×CAM_HEIGHT/Z−FOCUS×(CAM_DEP_ANG−CamPichAng))/RESOLUTIONV …(5)
このように、ピッチ角取得部30により取得された自車両のピッチ角を加味して除去ラインを設定することにより、自車両のピッチ角が下向きである場合でも、後続車両の前下端部に対応した位置に除去ラインを設定することができる。この結果、より適切な範囲に設定された所定領域で道路区画線の認識を行うことができる。
【0090】
なお、自車両のピッチ角が下向きの場合にのみ上記補正を行うのは、所定領域を拡げて画像解析を広範囲に行う必要性よりは、後続車両が存在する可能性を排除できない領域にまで画像解析の対象を拡げることにより生じうる、誤認識を避ける必要性が高いことに基づく。
【0091】
以下、画像解析部40により実行される処理の流れについて説明する。なお、以下の各フロー、エッジ点抽出処理を行って白線等を認識することを前提としている。
【0092】
[処理フロー2_1]
図20は、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0093】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S500)。
【0094】
そして、ピッチ角取得部30により取得された自車両のピッチ角が負の値であるか否かを判定する(S502)。
【0095】
ピッチ角取得部30により取得された自車両のピッチ角がゼロ又は正の値である場合は、後続車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S504)。
【0096】
ピッチ角取得部30により取得された自車両のピッチ角が負の値である場合は、後続車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(5)により除去ラインを設定する(S506)。
【0097】
S504とS506のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S508)。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する(S510)。
【0098】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S512)。
【0099】
なお、このフローにおいて、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0100】
[処理フロー2_2]
また、画像解析部40は、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図21は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0101】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S600)。
【0102】
そして、ピッチ角取得部30により取得された自車両のピッチ角が負の値であるか否かを判定する(S602)。
【0103】
ピッチ角取得部30により取得された自車両のピッチ角がゼロ又は正の値である場合は、後続車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S604)。
【0104】
ピッチ角取得部30により取得された自車両のピッチ角が負の値である場合は、後続車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(5)により除去ラインを設定する(S606)。
【0105】
S604とS606のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S608)。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる(S610)。ここで、所定領域の移動量は、前方カメラ10の取り付け位置と自車両後部(バンパー部)の位置関係から許容される最も下方(自車両手前側)まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する(S612、S614)。
【0106】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S616)。
【0107】
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0108】
[処理フロー2_3]
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角の向きに拘わらず、自車両のピッチ角を加味して除去ラインを設定するものとしてもよい。図22は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S700)。
【0109】
次に、後続車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(5)により除去ラインを設定する(S702)。
【0110】
S302において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S704)。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する(S706)。
【0111】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S708)。
【0112】
なお、このフローにおいても、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよいし、図12のように所定領域を移動させる処理を行ってもよい。後者の場合、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0113】
[処理フロー2_4]
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角を加味せずに除去ラインを設定し、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図23は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0114】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S800)。
【0115】
次に、画像解析部40は、後続車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S802)。
【0116】
S802において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S804)。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる(S806)。ここで、所定領域の移動量は、前方カメラ10の取り付け位置と自車両後部(バンパー部)の位置関係から許容される最も下方(自車両手前側)まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する(S808、S810)。
【0117】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S812)。
【0118】
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0119】
[利用例]については第1実施例と同様であるため、説明を省略する。
【0120】
[まとめ]
以上説明した本実施例の車両用対象物認識装置2によれば、ピッチ角取得部30により取得された自車両のピッチ角を加味して除去ラインを設定したり、設定した除去ラインが所定領域を通過する場合には所定領域を自車両に近い側に移動させたりするため、より適切な範囲に設定された所定領域で対象物の認識を行うことができる。
【0121】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0122】
1、2 車両用対象物認識装置
10 前方カメラ
15 後方カメラ
20 車間距離取得部
30 ピッチ角取得部
40 画像解析部
【技術分野】
【0001】
本発明は、車載カメラの撮像画像を解析し、撮像画像中に存在する道路区画線や道路表示等の路面上の認識対象物を認識する車両用対象物認識装置に関する。
【背景技術】
【0002】
従来、車両が走行車線を逸脱せずに走行できるように運転支援を行う制御システムが知られている。例えば、LKA(Lane Keeping Assist)と称される車線維持支援制御システムでは、走行車線内を車両が走行できるように小さい操舵力が出力されたり、ステアリングアシストトルクが出力されたりする。また、LDW(Lane Departure Warninng)と称される車線逸脱警報制御システムでは、車両が走行車線から逸脱したタイミング、或いは逸脱しようとしているタイミングで、スピーカや表示装置によって警報の出力が行われる。
【0003】
これらの制御システムでは、走行車線と車両の位置関係を認識することが必要となる。係る認識は、車載カメラによって車両周辺を撮像し、撮像画像上で走行車線を区画する道路区画線の位置を認識する処理を経て行われる。従って、車載カメラの撮像画像を解析して道路区画線を認識する技術が必要となっている。
【0004】
ここで、撮像画像の解析は、画像全体に亘って行うと処理負荷が大きくなるため、画像中で道路面を撮像している可能性が高いと思われる所定領域について行われるのが通常である。
【0005】
なお、このように、画像における解析対象範囲を限定するのは、道路区画線を認識する装置に限られない。例えば、横断歩道や速度表示、右左折可能か否かを示す矢印、一時停止位置線等の、路面上の認識対象物を認識する装置についても、同様のことがいえる。
【0006】
特許文献1には、撮像手段の撮像画像から画像認識された道路形状に基づいて、車両が車線を維持して走行するように制御するレーンキープ制御を備える車両走行制御装置について記載されている。この装置では、自車両の直前を走行する先行車両との車間距離をレーダ装置等で測定し、先行車両との車間距離に応じて撮像手段の撮像範囲、又はその撮像画像における画像認識範囲(上記所定領域撮像手段の撮像範囲、又はその撮像画像における画像認識範囲)を車両側方に移動させる処理を行っている。
【0007】
また、実用化されている制御システムシステムでは、車間距離に基づいて算出される先行車両の後端部の画像上の位置(画像縦方向の座標)に横方向のラインを設定し、このラインよりも遠方側の画像を所定領域から除外する処理が行われている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2009−146289号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、車間距離のみに基づいて先行車両の遮蔽程度を認識する場合、自車両の姿勢や挙動に起因して、画像解析を行う対象となる領域の設定が適切なものとならない場合がある。このため、従来の制御システムでは、道路区画線の認識精度が低下する場合がある。
【0010】
本発明はこのような課題を解決するためのものであり、より適切な範囲に設定された領域で対象物の認識を行うことが可能な車両用対象物認識装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するための本発明の第1の態様は、
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、前記車間距離取得手段により取得された車間距離及び前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識することを特徴とする、
車両用対象物認識装置である。
【0012】
この本発明の第1の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0013】
なお、本発明の各態様において、車間距離取得手段は、レーダー装置であってもよいし、画像解析によって距離を測定する装置であってもよい。
【0014】
本発明の第2の態様は、
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも上向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置である。
【0015】
この本発明の第2の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0016】
本発明の第1又は第2の態様において、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とするものとしてもよい。
【0017】
本発明の第3の態様は、
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置である。
【0018】
この本発明の第3の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0019】
本発明の第4の態様は、
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、前記車間距離取得手段により取得された車間距離及び前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識することを特徴とする、
車両用対象物認識装置である。
【0020】
この本発明の第4の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0021】
本発明の第5の態様は、
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも下向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置である。
【0022】
この本発明の第5の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【0023】
本発明の第4又は第5の態様において、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とするものとしてもよい。
【0024】
本発明の第6の態様は、
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置である。
【0025】
この本発明の第6の態様によれば、より適切な範囲に設定された領域で対象物の認識を行うことができる。
【発明の効果】
【0026】
本発明によれば、より適切な範囲に設定された領域で対象物の認識を行うことが可能な車両用対象物認識装置を提供することができる。
【図面の簡単な説明】
【0027】
【図1】本発明の第1実施例に係る車両用対象物認識装置1の機能ブロック図である。
【図2】前方カメラ10の撮像画像例、及び撮像画像における地平線位置と先行車両の下端部との距離に基づいて車間距離を算出する原理を説明するための説明図である。
【図3】前方カメラ10の撮像画像例、及び撮像画像における先行車両の幅に基づいて車間距離を算出する原理を説明するための説明図である。
【図4】画像変換処理が行われる様子を示す図である。
【図5】画像変換処理の原理を説明するための説明図である。
【図6】左右対応点探索処理が行われる様子を示す図である。
【図7】横方向に左カメラの画像における特徴的な物体と同一の物体を、右カメラの画像において横方向に探索する様子を示す図である。
【図8】粗い解像度で探索を行った結果として作成される視差画像の一例である。
【図9】視差点投票処理が行われる様子を示す図である。
【図10】立体物判定処理が行われた結果、二個の立体物が認識された様子を示す図である。
【図11】撮像画像に設定される所定領域を示す図である。
【図12】自車両のピッチ角が上向くことにより除去ラインが上方向にズレてしまった様子を示す図である。
【図13】除去ラインが適切に補正された様子を示す図である。
【図14】第1実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図15】第1実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図16】所定領域を自車両に近い側に移動させる様子を示す図である。
【図17】第1実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図18】第1実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図19】本発明の第2実施例に係る車両用対象物認識装置2の機能ブロック図である。
【図20】第2実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図21】第2実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図22】第2実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【図23】第2実施例に係る画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0028】
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。なお、本発明の車両用対象物認識装置は、道路区画線や横断歩道、速度表示、右左折可能か否かを示す矢印、一時停止位置線その他の、道路上に存在する認識対象物を認識するための装置であるが、以下の説明では、専ら道路区画線を認識する装置であるものとして説明する。
【実施例】
【0029】
<第1実施例>
[構成及び機能]
以下、図面を参照し、本発明の第1実施例に係る車両用対象物認識装置1について説明する。図1は、本発明の第1実施例に係る車両用対象物認識装置1の機能ブロック図である。車両用対象物認識装置1は、主要な構成として、前方カメラ10と、車間距離取得部20と、ピッチ角取得部30と、画像解析部40と、を備える。後述するように、車間距離取得部20、ピッチ角取得部30、及び画像解析部40は、独立した装置であってもよいが、同一のコンピュータ装置が実現する複数の機能であってもよい。
【0030】
前方カメラ10は、例えばウインドシールド中央上部に取り付けられた、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を利用したカメラであり、自車両(車両用対象物認識装置1が搭載された車両をいう)の前方斜め下方を撮像領域とし、数[ms]毎に繰り返し撮像を行なう。前方カメラ10の撮像画像は、例えばNTSC(National Television Standards Committee)等のインターレース方式によって生成される画像信号として、定期的に(例えば、撮像フレーム毎に)画像解析部40に送信される。
【0031】
(車間距離取得)
車間距離取得部20は、例えばフロントグリル裏に取り付けられたミリ波レーダー装置であり、ミリ波の反射波が帰ってくるまでの時間、反射波の位相、及び周波数変化等を利用して自車両の前方に存在する物体との距離、方位、相対速度を検出する。車間距離取得部20は、このような検出を定期的に行なって、例えば反射波の強度が所定値以上であり、且つ相対速度が所定値未満である場合に、検出した物体が、自車両の直前を走行する先行車両であると判断し、物体に関する情報(距離、方位、相対速度)を画像解析部40に送信する。
【0032】
なお、車間距離取得のための手段としては、上記ミリ波レーダーの他、レーザーレーダーや赤外線レーダー、ステレオカメラ、前方カメラ10の撮像画像解析によるものが考えられる。
【0033】
前方カメラ10の撮像画像解析による車間距離の取得は、例えば、(1)前方カメラ10の撮像画像における地平線位置と先行車両の下端部との距離(ピクセル長さ)に基づいて算出することにより行われる。図2(A)は、前方カメラ10の撮像画像例であり、図2(B)は、撮像画像における地平線位置と先行車両の下端部との距離に基づいて車間距離を算出する原理を説明するための説明図である。図示するように、地平線位置と先行車両の下端部との画像上の距離をyとすると、先行車両との車間距離Zは、次式(1)で表される。式中、FOCUSは焦点距離であり、CAM_HEIGHTは前方カメラ10が設置された高さである(図2では、単にHと表記した)。撮像画像における地平線位置は、前方カメラ10の設置パラメータ(高さ、焦点距離等)から導出される。先行車両の下端部位置は、撮像画像にパターンマッチング処理を行ったり、路面との輝度差に基づいて判別したりすることができる。
【0034】
Z=FOCUS・CAM_HEIGHT/y …(1)
また、(2)前方カメラ10の撮像画像における先行車両の幅(ピクセル幅)に基づいて算出することもできる。図3(A)は、前方カメラ10の撮像画像例であり、図3(B)は、撮像画像における先行車両の幅に基づいて車間距離を算出する原理を説明するための説明図である。なお、この場合、何らかの手法により、先行車両の実際の幅が判明している必要がある。図示するように、撮像画像における先行車両の幅をwとすると、先行車両との車間距離Zは、次式(2)で表される。式中、Wは先行車両の実際の車幅である。撮像画像における先行車両の幅は、上記(1)と同様、撮像画像にパターンマッチング処理を行ったり、背景との輝度差に基づいて判別したりすることができる。
【0035】
Z=FOCUS・W/w …(2)
また、車両前方を撮像するカメラが二個以上存在する場合は(ステレオカメラ)、視差を利用して先行車両との車間距離Zを取得することができる。以下、左右のカメラによる視差を利用した距離の測定について説明する。視差を利用した距離の測定は、例えば、画像取り込み、画像変換処理、左右対応点探索処理、視差点画像作成処理、視差点投票処理、立体物判定処理の順に行われる。
【0036】
図4は、画像変換処理が行われる様子を示す図である。まず、左右のカメラによる画像に対して、歪補正処理が行われ、次いで、左右いずれかのカメラによる画像(歪補正処理後)に対して、平行化処理を行う。これらの処理は、例えば図5に示すような画像変換によって行われる。図5は、画像変換処理の原理を説明するための説明図である。係る画像変換は、例えば、カメラの元画像におけるレンズ等による歪みと、現実風景の画像の関係を予め取得しておき、この関係に基づき入力画像と出力画像との関係を規定した変換テーブルを用いて行う。ここで、入力画像における画素と出力画像における画素が一対一に対応しない場合があるが、この場合、出力画素に対応する入力画像の点の座標を求め、その座標の周囲四画素の入力画素の画素値により補間する処理を行う。平行化処理では、予め判明している左右のカメラのピッチ角に基づいて、水平線を一致させるように左右のいずれかのカメラによる画像を回転させる。
【0037】
画像変換処理が行われると、左右対応点探索処理が行われる。係る処理に先立って、まず粗い解像度で探索を行い、次いで細かい解像度で探索を行うと、処理負荷を軽減することができる。図6は、左右対応点探索処理が行われる様子を示す図である。図示するように、左右対応点探索処理では、例えば左カメラの画像における特徴的な物体(例えば周辺画素との輝度差が大きい点を連ねた想定物体をいう)と同一の物体を、右カメラの画像において当該物体と同一の縦方向座標を有する横方向の走査ライン(ある程度の幅を有してもよい)上で探索する。図7は、横方向に左カメラの画像における特徴的な物体(図中、テンプレートTijと表記した)と同一の物体を、右カメラの画像において横方向に探索する様子を示す図である。図示するように、右カメラの画像において横方向にテンプレートと同じ大きさを有する画素の集合(図中、リファレンスRijと表記した)が順に選択され、相関値が最小となる画素の集合が、同一の物体であると判断される。
【0038】
そして、左カメラの画像における特徴的な物体と、右カメラの画像において発見された物体との横方向座標の差を視差dとし、視差dと左右のカメラの設置パラメータによって、当該物体との距離を算出する。このようにして、左右いずれかのカメラの画像における特徴的な物体のそれぞれについて距離が対応付けられた視差画像が作成される。図8は、粗い解像度で探索を行った結果として作成される視差画像の一例である。
【0039】
視差画像が作成されると、視差点投票処理が行われ、所定数以上の投票を得た物体が、現実に存在する物体であると判断される。図9は、視差点投票処理が行われる様子を示す図である。そして、視差点を連ねた一連の物体を立体物であると判断する立体物判定処理が行われることにより、先行車両等の立体物が認識される。図10は、立体物判定処理が行われた結果、二個の立体物が認識された様子を示す図である。
【0040】
(ピッチ角取得)
ピッチ角取得部30は、例えば、画像解析部40が認識した道路区画線に対して、予め記憶手段に保持している道路形状モデル(異なる曲率や車線幅に対応して複数のものが存在する)との間でカルマンフィルタ等によるフィッティング(当てはめ)を行い、モデルと認識結果のズレ量に基づいて自車両のピッチ角を算出する。自車両のピッチ角とは、自車両の水平軸が水平方向に対してなす角度である。以下、ピッチ角は自車両の前方が上向いている場合を正とする。
【0041】
例えば、直線道路において道路区画線の幅がモデルよりも遠方に行くに従って細くなっている場合、ピッチ角が上向きである(正の値をもつ)と判断できる。また、上記フィッティングに際して、ナビゲーション装置から現在走行中の道路に関する情報を取得してもよい。
【0042】
なお、ピッチ角取得部30は、このような態様に限らず、Gセンサの出力、各車輪に連結されたハイトコントロールセンサの出力に基づく演算結果等を利用して車両のピッチ角を取得するものであってもよい。
【0043】
(道路区画線認識)
画像解析部40は、前方カメラ10により撮像された撮像画像における所定領域について画像解析を行い、当該所定領域に存在する道路区画線を認識する。図11は、撮像画像に設定される所定領域を示す図である。所定領域は、例えば画像の横方向中心線を中心とした所定幅をもち、且つ縦方向に関しては自車両の前方5[m]〜30[m]に相当する領域として設定されている。
【0044】
道路区画線の認識は、白直線や破線、黄線等の直線状の道路区画線に対しては、例えば、所定領域内で隣接画素との輝度差が閾値以上である画素を抽出し、抽出した画素のうち直線的に並んだものを道路区画線の輪郭であると認識する。直線状に並んだ画素を抽出する際には、ハフ変換等の処理が行われる。また、ボッツドッツやキャッツアイ等の点列状区画線に対しては、モルフォロジー演算等のノイズ除去処理を行って、これらを認識する。なお、道路区画線を含めた認識対象物の認識に係る具体的処理については、本発明の中核をなさないので詳細な説明を省略する。
【0045】
また、画像解析部40は、車間距離取得部20により取得された先行車両との車間距離に基づいて、先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、除去ラインよりも遠方側の領域を所定領域から除外して画像解析を行う。除去ラインの縦方向座標isrcは、次式(3)で求められる。なお、縦方向座標isrcは、画像における上端部をゼロ点とし、下方に移動するのに応じて値が大きくなるものとする。
【0046】
除去ラインは、先行車両の後端部(車間距離の基準位置)から路面に垂線を下ろした路面上の位置に対応している。式中、INPUTIMAGE_HEIGHTは、画像縦幅であり、これを2で除したものは画像の縦方向に関する中心線の座標を示している。また、CAM_DEP_ANGは、前方カメラ10の俯角であり、RESOLUTIONVは、前方カメラ10の撮像画像における垂直方向の解像度である。
【0047】
isrc=INPUTIMAGE_HEIGHT/2−(−FOCUS×CAM_HEIGHT/Z−FOCUS×CAM_DEP_ANG)/RESOLUTIONV …(3)
ところで、このような除去ラインを設定する際に、路面勾配や凹凸に起因して自車両のピッチ角が変動している可能性がある。ピッチ角が変動すると、上式(3)で算出した除去ラインが、先行車両の後下端部に対応した位置からズレを生じる場合がある。図12は、自車両のピッチ角が上向くことにより除去ラインが上方向にズレてしまった様子を示す図である。なお、図中、除去ラインよりも遠方側の領域を除去領域と表記している。
【0048】
そこで、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角が水平方向よりも上向きである(正の値をもつ)場合には、次式(4)のように除去ラインの縦方向座標isrcを補正する。式中、CamPichAngは、ピッチ角取得部30により取得された自車両のピッチ角を示している。
【0049】
isrc=INPUTIMAGE_HEIGHT/2−(−FOCUS×CAM_HEIGHT/Z−FOCUS×(CAM_DEP_ANG+CamPichAng))/RESOLUTIONV …(4)
このように、ピッチ角取得部30により取得された自車両のピッチ角を加味して除去ラインを設定することにより、自車両のピッチ角が上向きである場合でも、先行車両の後下端部に対応した位置に除去ラインを設定することができる。この結果、より適切な範囲に設定された所定領域で道路区画線の認識を行うことができる。図13は、除去ラインが適切に補正された様子を示す図である。
【0050】
なお、自車両のピッチ角が上向きの場合にのみ上記補正を行うのは、所定領域を拡げて画像解析を広範囲に行う必要性よりは、先行車両が存在する可能性を排除できない領域にまで画像解析の対象を拡げることにより生じうる、誤認識を避ける必要性が高いことに基づく。
【0051】
以下、画像解析部40により実行される処理の流れについて説明する。なお、以下の各フロー、エッジ点抽出処理を行って白線等を認識することを前提としている。
【0052】
[処理フロー1_1]
図14は、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0053】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S100)。
【0054】
そして、ピッチ角取得部30により取得された自車両のピッチ角が正の値であるか否かを判定する(S102)。
【0055】
ピッチ角取得部30により取得された自車両のピッチ角がゼロ又は負の値である場合は、先行車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S104)。
【0056】
ピッチ角取得部30により取得された自車両のピッチ角が正の値である場合は、先行車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(4)により除去ラインを設定する(S106)。
【0057】
S104とS106のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S108)。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する(S110)。
【0058】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S112)。
【0059】
なお、このフローにおいて、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0060】
[処理フロー1_2]
また、画像解析部40は、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図15は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0061】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S200)。
【0062】
そして、ピッチ角取得部30により取得された自車両のピッチ角が正の値であるか否かを判定する(S202)。
【0063】
ピッチ角取得部30により取得された自車両のピッチ角がゼロ又は負の値である場合は、先行車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S204)。
【0064】
ピッチ角取得部30により取得された自車両のピッチ角が正の値である場合は、先行車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(4)により除去ラインを設定する(S206)。
【0065】
S204とS206のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S208)。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる(S210)。ここで、所定領域の移動量は、前方カメラ10の取り付け位置と自車両前部(フェンダー部)の位置関係から許容される最も下方(自車両手前側)まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する(S212、S214)。図16は、所定領域を自車両に近い側に移動させる様子を示す図である。
【0066】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S216)。
【0067】
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0068】
[処理フロー1_3]
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角の向きに拘わらず、自車両のピッチ角を加味して除去ラインを設定するものとしてもよい。図17は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S300)。
【0069】
次に、先行車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(4)により除去ラインを設定する(S302)。
【0070】
S302において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S304)。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する(S306)。
【0071】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S308)。
【0072】
なお、このフローにおいても、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよいし、図16のように所定領域を移動させる処理を行ってもよい。後者の場合、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0073】
[処理フロー1_4]
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角を加味せずに除去ラインを設定し、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図18は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0074】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S400)。
【0075】
次に、画像解析部40は、先行車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S402)。
【0076】
S402において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S404)。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる(S406)。ここで、所定領域の移動量は、前方カメラ10の取り付け位置と自車両前部(フェンダー部)の位置関係から許容される最も下方(自車両手前側)まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する(S408、S410)。
【0077】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S412)。
【0078】
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0079】
[利用例]
本実施例の車両用対象物認識装置1によって認識された道路区画線は、その画像上の位置に基づいて、自車両に対する相対位置が把握される。このように把握された自車両と道路区画線の相対位置は、前述のように、LKA(Lane Keeping Assist)と称される車線維持支援制御システムやLDW(Lane Departure Warninng)と称される車線逸脱警報制御システムに利用される。また、車両用対象物認識装置1が横断歩道や一時停止位置を認識する場合、自動制動制御、自動シフトダウン制御、一時停止勧告のためのメッセージ出力制御等に利用される。
【0080】
[まとめ]
以上説明した本実施例の車両用対象物認識装置1によれば、ピッチ角取得部30により取得された自車両のピッチ角を加味して除去ラインを設定したり、設定した除去ラインが所定領域を通過する場合には所定領域を自車両に近い側に移動させたりするため、より適切な範囲に設定された所定領域で対象物の認識を行うことができる。
【0081】
<第2実施例>
[構成及び機能]
以下、図面を参照し、本発明の第2実施例に係る車両用対象物認識装置2について説明する。図19は、本発明の第2実施例に係る車両用対象物認識装置2の機能ブロック図である。車両用対象物認識装置2は、主要な構成として、後方カメラ15と、車間距離取得部20と、ピッチ角取得部30と、画像解析部40と、を備える。後述するように、車間距離取得部20、ピッチ角取得部30、及び画像解析部40は、独立した装置であってもよいが、同一のコンピュータ装置が有する各機能であってもよい。
【0082】
後方カメラ15は、例えば自車両後部バンパー付近に取り付けられた、CCDやCMOS等の撮像素子を利用したカメラであり、自車両(車両用対象物認識装置2が搭載された車両をいう)の後方斜め下方を撮像領域とし、数[ms]毎に繰り返し撮像を行なう。後方カメラ15は、公知のバックガイドモニターシステム用のカメラと共用することができる。この場合、後方カメラ15には、広角レンズ等が取り付けられている。後方カメラ15の撮像画像は、例えばNTSC等のインターレース方式によって生成される画像信号として、定期的に(例えば、撮像フレーム毎に)画像解析部40に送信される。
【0083】
車間距離取得部20は、例えば自車両後部のバンパー付近に取り付けられたミリ波レーダー装置であり、ミリ波の反射波が帰ってくるまでの時間、反射波の位相、及び周波数変化等を利用して自車両の後方に存在する物体との距離、方位、相対速度を検出する。車間距離取得部20は、このような検出を定期的に行なって、例えば反射波の強度が所定値以上であり、且つ相対速度が所定値未満である場合に、検出した物体が、自車両の直後を走行する後続車両であると判断し、物体に関する情報(距離、方位、相対速度)を画像解析部40に送信する。
【0084】
なお、車間距離取得のための手段としては、上記ミリ波レーダーの他、レーザーレーダーや赤外線レーダー、ステレオカメラ、後方カメラ15の撮像画像解析によるものが考えられる。後方カメラ15の撮像画像解析やステレオカメラによる車間距離の取得は、第1実施例において図2〜10に即して説明した原理を援用することができるため、説明を省略する。
【0085】
また、ピッチ角取得部30による自車両のピッチ角の取得手法についても、第1実施例と同様の手法を採用すればよいため、説明を省略する。
【0086】
画像解析部40は、前方カメラ10により撮像された撮像画像における所定領域について画像解析を行い、当該所定領域に存在する道路区画線を認識する。
【0087】
また、画像解析部40は、車間距離取得部20により取得された後続車両との車間距離に基づいて、後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、除去ラインよりも遠方側の領域を所定領域から除外して画像解析を行う。除去ラインの縦方向座標isrcは、上式(3)で求められる。この除去ラインは、後続車両の前端部(車間距離の基準位置)から路面に垂線を下ろした路面上の位置に対応している。
【0088】
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角が水平方向よりも下向きである(負の値をもつ)場合には、次式(5)のように除去ラインの縦方向座標isrcを補正する。式中、CamPichAngは、ピッチ角取得部30により取得された自車両のピッチ角を示している。
【0089】
isrc=INPUTIMAGE_HEIGHT/2−(−FOCUS×CAM_HEIGHT/Z−FOCUS×(CAM_DEP_ANG−CamPichAng))/RESOLUTIONV …(5)
このように、ピッチ角取得部30により取得された自車両のピッチ角を加味して除去ラインを設定することにより、自車両のピッチ角が下向きである場合でも、後続車両の前下端部に対応した位置に除去ラインを設定することができる。この結果、より適切な範囲に設定された所定領域で道路区画線の認識を行うことができる。
【0090】
なお、自車両のピッチ角が下向きの場合にのみ上記補正を行うのは、所定領域を拡げて画像解析を広範囲に行う必要性よりは、後続車両が存在する可能性を排除できない領域にまで画像解析の対象を拡げることにより生じうる、誤認識を避ける必要性が高いことに基づく。
【0091】
以下、画像解析部40により実行される処理の流れについて説明する。なお、以下の各フロー、エッジ点抽出処理を行って白線等を認識することを前提としている。
【0092】
[処理フロー2_1]
図20は、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0093】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S500)。
【0094】
そして、ピッチ角取得部30により取得された自車両のピッチ角が負の値であるか否かを判定する(S502)。
【0095】
ピッチ角取得部30により取得された自車両のピッチ角がゼロ又は正の値である場合は、後続車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S504)。
【0096】
ピッチ角取得部30により取得された自車両のピッチ角が負の値である場合は、後続車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(5)により除去ラインを設定する(S506)。
【0097】
S504とS506のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S508)。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する(S510)。
【0098】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S512)。
【0099】
なお、このフローにおいて、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0100】
[処理フロー2_2]
また、画像解析部40は、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図21は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0101】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S600)。
【0102】
そして、ピッチ角取得部30により取得された自車両のピッチ角が負の値であるか否かを判定する(S602)。
【0103】
ピッチ角取得部30により取得された自車両のピッチ角がゼロ又は正の値である場合は、後続車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S604)。
【0104】
ピッチ角取得部30により取得された自車両のピッチ角が負の値である場合は、後続車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(5)により除去ラインを設定する(S606)。
【0105】
S604とS606のいずれかにおいて除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S608)。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる(S610)。ここで、所定領域の移動量は、前方カメラ10の取り付け位置と自車両後部(バンパー部)の位置関係から許容される最も下方(自車両手前側)まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する(S612、S614)。
【0106】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S616)。
【0107】
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0108】
[処理フロー2_3]
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角の向きに拘わらず、自車両のピッチ角を加味して除去ラインを設定するものとしてもよい。図22は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S700)。
【0109】
次に、後続車両との車間距離及び自車両のピッチ角に基づいて、すなわち上式(5)により除去ラインを設定する(S702)。
【0110】
S302において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S704)。設定した除去ラインが所定領域を通過する場合は、設定した除去ラインよりも遠方側のエッジ点を除去する(S706)。
【0111】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S708)。
【0112】
なお、このフローにおいても、「除去ライン設定」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよいし、図12のように所定領域を移動させる処理を行ってもよい。後者の場合、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0113】
[処理フロー2_4]
また、画像解析部40は、ピッチ角取得部30により取得された自車両のピッチ角を加味せずに除去ラインを設定し、設定した除去ラインが所定領域を通過する場合には、所定領域を自車両に近い側に移動させるものとしてもよい。図23は、この場合に、画像解析部40により実行される特徴的な処理の流れを示すフローチャートである。
【0114】
まず、画像解析部40は、所定領域内でエッジ点抽出処理を行う(S800)。
【0115】
次に、画像解析部40は、後続車両との車間距離に基づいて、すなわち上式(3)により除去ラインを設定する(S802)。
【0116】
S802において除去ラインを設定すると、設定した除去ラインが所定領域を通過するか否かを判定する(S804)。設定した除去ラインが所定領域を通過する場合は、所定領域を自車両に近い側に移動させる(S806)。ここで、所定領域の移動量は、前方カメラ10の取り付け位置と自車両後部(バンパー部)の位置関係から許容される最も下方(自車両手前側)まで移動させるものとする。そして、移動させた所定領域を除去ラインが通過する場合は、除去ラインよりも遠方側のエッジ点を除去する(S808、S810)。
【0117】
そして、残されたエッジ点を用いて道路区画線の認識を行う(S812)。
【0118】
なお、このフローにおいても、「除去ライン設定」→「所定領域移動」→「所定領域のうち除去ラインよりも手前側の領域でエッジ点抽出」の順に処理を行ってもよい。
【0119】
[利用例]については第1実施例と同様であるため、説明を省略する。
【0120】
[まとめ]
以上説明した本実施例の車両用対象物認識装置2によれば、ピッチ角取得部30により取得された自車両のピッチ角を加味して除去ラインを設定したり、設定した除去ラインが所定領域を通過する場合には所定領域を自車両に近い側に移動させたりするため、より適切な範囲に設定された所定領域で対象物の認識を行うことができる。
【0121】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0122】
1、2 車両用対象物認識装置
10 前方カメラ
15 後方カメラ
20 車間距離取得部
30 ピッチ角取得部
40 画像解析部
【特許請求の範囲】
【請求項1】
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、前記車間距離取得手段により取得された車間距離及び前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識することを特徴とする、
車両用対象物認識装置。
【請求項2】
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも上向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置。
【請求項3】
請求項1又は2に記載の車両用対象物認識装置であって、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。
【請求項4】
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。
【請求項5】
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、前記車間距離取得手段により取得された車間距離及び前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識することを特徴とする、
車両用対象物認識装置。
【請求項6】
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも下向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置。
【請求項7】
請求項5又は6に記載の車両用対象物認識装置であって、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。
【請求項8】
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。
【請求項1】
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、前記車間距離取得手段により取得された車間距離及び前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識することを特徴とする、
車両用対象物認識装置。
【請求項2】
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも上向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置。
【請求項3】
請求項1又は2に記載の車両用対象物認識装置であって、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。
【請求項4】
自車両前方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直前を走行する先行車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記先行車両の後下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。
【請求項5】
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、前記車間距離取得手段により取得された車間距離及び前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識することを特徴とする、
車両用対象物認識装置。
【請求項6】
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
自車両のピッチ角を取得するピッチ角取得手段と、を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記ピッチ角取得手段により取得された自車両のピッチ角が水平方向よりも下向きである場合には、前記ピッチ角取得手段により取得された自車両のピッチ角に基づいて前記除去ラインを補正することを特徴とする、
車両用対象物認識装置。
【請求項7】
請求項5又は6に記載の車両用対象物認識装置であって、
前記前記画像解析手段は、前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。
【請求項8】
自車両後方を撮像する撮像手段と、
該撮像手段により撮像された画像における所定領域に存在する路面上の認識対象物を認識する画像解析手段と、
自車両の直後を走行する後続車両との車間距離を取得する車間距離取得手段と、
を備え、
前記画像解析手段は、
前記車間距離取得手段により取得された車間距離に基づいて、前記後続車両の前下端部に対応する画像上の縦方向座標を有し画像横方向に延在する除去ラインを設定し、該設定した除去ラインよりも遠方側の領域を前記所定領域から除外して前記認識対象物を認識する手段であり、
前記設定した除去ラインが前記所定領域を通過する場合には、前記所定領域を自車両に近い側に移動させることを特徴とする、
車両用対象物認識装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図8】
【図9】
【図10】
【公開番号】特開2012−68935(P2012−68935A)
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願番号】特願2010−213774(P2010−213774)
【出願日】平成22年9月24日(2010.9.24)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願日】平成22年9月24日(2010.9.24)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
[ Back to top ]