外界認識方法，装置，および車両システム
【課題】物体までの距離によらず好適に，車両等の物体検出を行う。
【解決手段】自車周辺を撮影した画像を解析する外界認識装置１００は，近傍を表す画像の第一領域，および遠方を表す画像の第二領域を設定する処理領域設定部１０１と，設定された第一領域において第一の識別器１０３により物体検出を行う第一の物体検出部１０４と，設定された第二領域において第二の識別器１０６により背景パターンをも考慮して物体検出を行う第二の物体検出部１０４と，検出された物体矩形を補正する矩形補正部１０７と，検出された物体矩形に基づき衝突までの予測時間を算出する衝突予測時間算出部１０８を備える。
【解決手段】自車周辺を撮影した画像を解析する外界認識装置１００は，近傍を表す画像の第一領域，および遠方を表す画像の第二領域を設定する処理領域設定部１０１と，設定された第一領域において第一の識別器１０３により物体検出を行う第一の物体検出部１０４と，設定された第二領域において第二の識別器１０６により背景パターンをも考慮して物体検出を行う第二の物体検出部１０４と，検出された物体矩形を補正する矩形補正部１０７と，検出された物体矩形に基づき衝突までの予測時間を算出する衝突予測時間算出部１０８を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像センサを用いて外界を認識する技術，特に物体までの距離によらず物体を検出する技術に関する。
【背景技術】
【０００２】
交通事故による死傷者数を低減するため，事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは，事故の発生する可能性が高い状況下で作動するシステムであり，例えば，自車前方の先行車と衝突する可能性が生じたときには警報によって運転者に注意を促し，衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
【０００３】
自車前方の先行車を検出する方法として，車載カメラで自車前方を撮像し，撮像された画像から車両の形状パターン，すなわち車両パターンを認識する方法が知られている。例えば特許文献１では，車両両端のエッジを捉えることで車両を検出する方法が開示されている。しかしながら，車両の見え方は距離によって異なるため，遠方近傍に関わらず同一の処理を適用するだけでは高い検出精度を実現できない。例えば，遠方では解像度が低下するため，識別力の高い特徴が捉えられず，検出精度が低下する。こうした課題に対して，距離や接近状態に応じて処理内容を変える方式が提案されている（特許文献２，３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2005-156199号公報
【特許文献２】特開2007-072665号公報
【特許文献３】特開平10-143799号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２によれば，走行障害となる物体候補を背景差分法などによって検出し，検出した物体候補に対して距離別に定義されたテンプレートを適用することでその物体が何であるかを判別することができる。しかしながら，第一の物体候補検出で漏れた場合，物体を判別できないという課題がある。
【０００６】
特許文献３によれば，ステレオカメラで検出した車両の相対速度に基づき，車両追跡用のテンプレートを切り替えることで追跡性能を向上することができる。しかしながら，初期検出に対しては性能を向上させることができないという課題がある。
【０００７】
本発明は，上記課題を鑑みてなされたものであり，その目的は，距離によらず好適に物体検出を行う外界認識方法，装置，およびそれを用いた車両システムを提供することである。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため，本発明においては，撮影した画像を解析し，物体を検出する外界認識装置による外界認識方法であって，外界認識装置は，画像内に，物体検出のための第一領域および第二領域を設定し，設定した第二領域において物体検出を行う際，物体パターンと当該物体パターンの背景パターンの両方を用いて物体検出を行う外界認識方法を提供する。
【０００９】
また，上記の目的を達成するため，本発明においては，撮影した画像を解析し，物体を検出する外界認識装置であって，画像内に，物体検出のための第一領域および第二領域を設定する処理領域設定部と，設定した第一領域及び第二領域においてそれぞれ物体検出を行う第一，第二の物体検出部とを備え，第一の物体検出部が物体検出を行う際，物体パターンのみを用い，第二の物体検出部が物体検出を行う際，物体パターン及び当該物体パターンの背景パターンの両方を用いる外界認識装置を提供する。
【００１０】
更に，上記の目的を達成するため，本発明においては，自車周辺を撮影した画像を解析して車両を検出する外界認識装置を備える車両システムであって，外界認識装置は，処理部と記憶部とを備え，記憶部は，第一の識別器と，第二の識別器を記憶し，処理部は，画像内に，車両検出のための第一領域，および第一領域より遠方の第二領域を設定し，第一領域において，第一の識別器を用い，車両パターンを捉えて，車両の車両矩形の検出を行い，第二領域において，第二の識別器を用い，車両パターンと当該車両パターンの背景パターンを捉えて，車両の車両矩形の検出を行い，第二領域において検出された車両矩形を補正し，
第一の識別器を用いて検出した車両矩形，或いは，第二の識別器を用いて検出され，且つ補正された車両矩形に基づき，自車との衝突までの衝突予測時間を算出する車両システムを提供する。
【発明の効果】
【００１１】
本発明によれば，物体までの距離によらず好適に物体検出を行うことができる。
【図面の簡単な説明】
【００１２】
【図１Ａ】各実施例に係わる，物体検出の説明のための図である。
【図１Ｂ】各実施例に係わる外界認識装置の説明のためのブロック図である。
【図２】第１の実施例に係わる外界認識装置の構成例のブロック図である。
【図３】第１の実施例に係わる処理領域設定部の説明図である。
【図４Ａ】第１の実施例に係わる第一の車両検出部の説明図である。
【図４Ｂ】第１の実施例に係わる第一の識別器の説明図である。
【図５Ａ】第１の実施例に係わる第二の車両検出部の説明図である。
【図５Ｂ】第１の実施例に係わる第二の識別器の説明図である。
【図５Ｃ】第１の実施例に係わる矩形補正部の説明図である。
【図６】第１の実施例に係わる外界認識装置の処理フローチャートを示す図である。
【図７】第２の実施例に係わる，外界認識装置のブロック図である。
【図８Ａ】第２の実施例に係わる処理領域設定部の説明図である。
【図８Ｂ】第２の実施例に係わる処理領域設定部の説明図である。
【図９】第２の実施例に係わる処理領域設定部の他の説明図である。
【図１０】第３の実施例に係わる，車両システムのブロック図である。
【発明を実施するための形態】
【００１３】
以下，図面に従い，本発明の実施例について説明する。以下の説明において，検出対象である物体として，車両，特に自車前方の先行車の車両を例示して説明するが，それに限定されるものでなく歩行者等であっても良い。
図1Ａ，図１Ｂを用いて，本発明の実施例に係る物体検出手段を備えた外界認識装置を説明する。
【００１４】
図１Ａは車載カメラで撮像した車両前方画像１０の例である。この車両前方画像１０中の数番８，９は，物体検出の画像処理を行う処理領域であり、２次元の画像パターンで構成される。図１Ａの車両前方画像１０の処理領域８，９において，検出対象である物体１１，１２は車両であり，検出対象の物体パターンは，車両の背面形状を示す車両パターン，すなわち車両の背面パターン１３，１５となる。図に示すように，車両前方画像１０中，近傍における物体１１の背面パターン１５は明瞭であり，遠方における物体１２の背面パターン１３は不明瞭となる。物体の背面パターンが不明瞭な場合，識別力の高い特徴を抽出しにくく，物体検出の性能は低くなる。
【００１５】
なお，図１Ａにおいて，処理領域９の数番１４は遠方における物体１２の背景パターンを示す。本明細書において，背景パターンとは，物体検出のための処理領域において，検出対象である物体パターンである背面パターン１３以外のパターンを意味する。よって、背面パターン１４とは、処理領域９中の物体１２の背面パターン１３以外の画像パターンを示す。
【００１６】
そこで各実施例の外界認識装置では，距離別に複数の識別器を用意し，それらを切り替えることであらゆる距離で物体検出性能を高める。具体的には，近傍では検出対象の物体パターンを中心とした識別器を使って物体検出を行い，遠方では物体と背景パターン双方を含んだ識別器を使って物体検出を行う。この理由は以下の通りである。すなわち，物体パターンが不明瞭な遠方では，背景パターンを併用して物体以外の情報量を増やす方が検出率を高めることができる。また，物体パターンが明瞭な近傍では，背景パターンを含めない方が誤検出を減らすことができる。また，各実施例の外界認識装置では，これら特性の異なる識別器を定義しておき，近傍，遠方に応じて適切に識別器を切り替えることで，距離によらず好適に物体検出を行うことができる。
【００１７】
図１Ｂは各実施例の外界認識装置の基本構成の一例を示す図である。同図に示される外界認識装置１００は，画像中に処理領域を設定する処理領域設定部１０１，第一の物体検出部１０２，第二の物体検出部１０５，及び衝突予測時間算出部１０８から構成される。更に，第一の物体検出部１０２は，第一の識別器１０３と物体検出部１０４で，第二の物体検出部１０５は，第二の識別器１０６と物体検出部１０４と矩形補正部１０７で構成される。
【００１８】
以下に説明する各実施例では，物体１１，１２として先行する四輪車両を例にとり説明するが，これに限定されるものではない。例えば，二輪車および歩行者などについても同様の手段により好適に検出することができる。
【実施例１】
【００１９】
図２は，第１の実施例による外界認識装置２００の一例を示すブロック図である。同図に示される外界認識装置２００は，処理領域設定部２０１，第一の車両検出部２０２，第二の車両検出部２０５，衝突予測時間算出部２０８を備える。そして，第一の車両検出部２０２は，第一の識別器２０３と車両検出部２０４を，第二の車両検出部２０５は，第二の識別器２０６，車両検出部２０４，矩形補正部２０７を備える。前記の各部はハードウェアによって構成されてもよいし，ソフトウェアによって構成されていてもよい。また，ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。ソフトウェアで外界認識装置２００を実現する場合，後で車両システムを例示して説明するように，外界認識装置２００は，通常の計算機の，処理部である中央処理部(Central Processing Unit: CPU)，記憶部であるメモリ，入出力部(Input Output Unit: I/O)等で構成できることは言うまでもない。
【００２０】
図３を用いて，本実施例における，外界認識装置２００処理領域設定部２０１の処理流れを説明する。まず，画像３０中に，消失点３０１と，カメラパラメータに基づき仮想平面３０２を定める。定めた仮想平面３０２に基づき，近傍領域を表す第一領域３０３，および遠方領域を表す第二領域３０４を設定する。例えば，画像３０中の近傍領域の開始地点をND[m]地点と仮定して，画像上の下端位置B1を求め，領域の位置と大きさを表すパラメータ（X1，W1，H1）を規定することで第一領域３０３を設定する。同様にして，遠方領域の開始地点をFD[m]地点と仮定して画像上の下端位置B2を求め，領域の位置と大きさを表すパラメータ（X2，W2，H2）を規定することで第二領域３０４を設定する。本実施例の外界認識装置２００は，このようにして求めた処理領域ごとに，後述する車両検出を行う。
【００２１】
図４Ａ，図４Ｂを用いて，本実施例に係る図２の第一の車両検出部２０２の処理流れを説明する。
図４Ａに示すように，第一の車両検出部２０２は，画像３０内の走査枠４０１の位置とサイズを変えながら，近傍領域を表す第一領域３０３内をラスタ走査４１して，近傍領域における車両検出を行う。走査の方法はラスタ走査４１に限らず，スパイラル走査や重要度によって間引き走査を行うなど，他の走査方法を用いても構わない。
【００２２】
図４Ｂは，図３の第一の車両検出部２０２内の第一の識別器２０３の機能を説明するための図である。図４Ｂに示すように，第一の識別器２０３は，矩形状の走査枠４０１が示す画像部分領域４０２に適用され，走査先が車両であるか車両でないかを識別する。第一の識別器２０３は，車両の形状である，車両の背面パターンを捕らえるＴ個の弱識別器４０３，総和部４０４，符号関数４０５から構成される。第一の識別器２０３の識別処理は，式(1)のように表される。
【００２３】
【数１】
ここで，xは画像部分領域４０２，H1(x)は第一の識別器，ht(x)は弱識別器，αtは弱識別器ht(x)の重み係数である。すなわち，第一の識別器２０３は，Ｔ個の各弱識別器の重み付き投票によって構成される。sign()は符号関数であり，右辺の括弧内が正の値であれば+１を，負の値であれば-1を返す。右辺括弧内の弱識別器ht(x)は式(2)のように表すことができる。
【００２４】
【数２】
ここで，ft(x)はt番目の特徴量であり，θはしきい値である。特徴量はHaar-like特徴（領域間の輝度平均の差分）やHoG（Histograms of Oriented Gradients）特徴などを使えばよい。またこの他の特徴量を使っても良いし，異なる特徴量を組み合わせた共起特徴量を使っても構わない。上記の特徴量選択や重み係数の学習には，AdaBoost(Adaptive Boosting)やRandom forestなどの学習手法を用いればよい。
【００２５】
次に，図５Ａ，５Ｂ，５Ｃを用いて，本実施例に係る第二の車両検出部２０５の処理流れを説明する。第二の識別器２０５による識別機能の基本的な流れは，図４Ａ，図４Ｂに示した第一の車両検出部２０２と同様であり，以下では違いのみ述べる。
【００２６】
図５Ａに示すように，第二の車両検出部２０５は，画像３０内の矩形状の走査枠５０１の位置とサイズを変えながら，遠方領域である第二領域３０４内を，ラスタ走査して車両検出を行う。
【００２７】
図５Ｂは第二の車両検出部２０５内の第二の識別器２０６の内部構成の一例を示す図である。図５Ｂにおいて，矩形状の走査枠５０１が示す画像部分領域５０２に第二の識別器２０６が適用される。第一の識別器２０３と異なり，第二の識別器２０６は，車両形状である車両パターンと，背景パターン双方を検出する。具体的には，第二の識別器２０６は，道路面上の大まかな車両形状である車両パターンを捉える弱識別器５０３を多数含み，解像度の低い遠方でも正確な車両検出を実現する。
【００２８】
図５Ｃを用いて第二の車両検出部２０５内の矩形補正部２０７の処理内容を説明する。矩形補正部２０７は，第二の車両検出部２０５において，車両検出部２０４が出力する車両矩形を補正する。具体的には，矩形補正部２０７は，学習時に既知となる背景・車両比率を用いて，背景パターンを含む車両矩形５０２を，背景パターンを含まない車両矩形５０４へと補正する。本実施例の外観認識装置２００では，次に述べる衝突予測時間算出部２０８では正確な車両幅が必要となるため，矩形補正部２０７により得られる車両矩形５０４により，車両幅の補正を行うことが重要である。
【００２９】
図３の衝突予測時間算出部２０８は，第一の車両検出部２０２または第二の車両検出部２０５が出力する車両矩形を用いて，衝突予測時間（TTC: Time To Collision）を算出する。まず，得られた車両矩形に基づき，自車との間の相対距離zを推定する。例えば，焦点距離f，画像上の車両幅Wi，実車幅Wtを用いて以下のように求める。
【００３０】
【数３】
または，焦点距離f，画像上の車両高Hi，カメラ設置高Htを用いて以下のように求めても良い。
【００３１】
【数４】
このようにして求めた相対距離zと相対速度vz（zの微分）に基づき，次式のようにTTCを求めることができる。
【００３２】
【数５】
図６は，本実施例における外界認識装置２００の処理フローを示す図である。外界認識装置２００をソフトウェアで実現する場合は，これらの処理の主体は，上述した外界認識装置２００の処理部であるCPUである。
【００３３】
図６において，まず入力画像において第一領域３０３および第二領域３０４を設定する（S6001）。その後，処理領域が第一領域３０３であるか否かを判定し（S6002），第一領域であれば第一の識別器２０３を用い，車両検出部２０４で車両を検出する（S6003）。処理領域が第二領域であれば，第二の識別器２０６を用い，車両検出部２０４で車両を検出する（S6004）。第二領域において検出された車両は背景パターンを含むため，矩形補正部２０７で既知の背景・車両比率を用いて矩形補正を行う（S6005）。最後に衝突予測時間算出部２０８で，衝突予測時間を演算し（S6006），演算結果を出力する（S6007）。
【００３４】
以上，説明した第一の実施例では，第一の識別器２０３と第二の識別器２０６を切り替えて車両検出を行うことで以下の効果を得ることができる。すなわち，解像度の高い近傍領域においては車両そのものの画像パターンを最大限に生かすことができるため，誤検出を抑えながら高い検出率を実現できる。また，解像度の低い遠方領域においては，車両と車両以外のパターン双方を用いて情報量を底上げすることにより検出率を大幅に向上することができる。また，領域を限定し，それぞれに適した車両検出を行うことで，処理負荷を低減することができる。
【実施例２】
【００３５】
次に，第２の実施例に係る外界認識装置を説明する。第２の実施例に係る外界認識装置の構成要素のうち，第１の実施例に係る外界認識装置の構成要素と同じものには同じ符号を付して説明を省略する。
【００３６】
図７は，第２の実施例による外界認識装置７００の一例を示すブロック図である。同図に示される外界認識装置７００は，車線検出部７０１，処理領域設定部７０２，第一の車両検出部２０２，第一の識別器２０３，車両検出部２０４，第二の車両検出部２０５，第二の識別器２０６，矩形補正部２０７，衝突予測時間算出部２０８を備える。この外界認識装置７００，特にその車線検出部７０１，処理領域設定部７０２も，ハードウェアによって構成されてもよいし，ソフトウェアによって構成されていてもよい。
【００３７】
まず，図８Ａを用いて，本実施例の車線検出部７０１，および処理領域設定部７０２の処理流れを説明する。車線検出部７０１は，道路面上の白線や黄線の直線性を利用して，車線８０１を検出する。直線性は例えばハフ変換を用いて判定すればよいが，その他の手法を用いて直線性を判定しても構わない。その後，車線検出部７０１が出力する車線８０１に基づき，近傍領域を表す第一領域３０３，および遠方領域を表す第二領域３０４を設定する。
【００３８】
処理領域設定部７０２における処理領域設定方法は実施例１と同様であり，例えば，近傍領域の開始地点をND[m]地点と仮定して画像上の下端位置B1を求め，領域の位置と大きさを表すパラメータ（X1，W1，H1）を規定することで第一領域３０３を設定する。同様にして，遠方領域の開始地点をFD[m]地点と仮定して画像上の下端位置B2を求め，領域の位置と大きさを表すパラメータ（X2，W2，H2）を規定することで第二領域３０４を設定する。当然，近傍・遠方の地点設定は上記の例に限定されるものではない。このようにして求めた処理領域ごとに，車両検出部２０４にて車両検出を行う。
【００３９】
図８Ｂは，カーブにおける車線検出部７０１および処理領域設定部７０２の処理流れである。カーブの場合，車線検出部７０１は一般化ハフ変換を用いて，曲がった車線８０２を検出すればよい。もちろん，近傍の直線を延伸しながら車線を検出してもよいし，この他の手法を用いて車線検出を行っても構わない。
【００４０】
図９は，ヨーレートを用いた処理領域設定部７０２の処理流れの例である。ヨーレートを用いることで自車の予測進路９０１を求めることができる。この予測進路に基づき，前記同様に近傍を表す第一領域３０３，および遠方を表す第二領域３０４を設定する。なお，処理領域設定部７０２で用いるヨ−レートは，自車内のセンサを用いて検出されたヨ−レートを用いれば良い。
【００４１】
以上，説明した第２の実施例では，車線検出結果に基づき処理領域を設定することで，走行に必要な領域の探索だけを行い，計算量を低減することができる。またヨーレートを用いて処理領域を設定することで，特に重要な自車の予測進路付近を中心に探索することができ，計算量を低減することができる。
【実施例３】
【００４２】
以下，第３の実施例として，車両システムに適用した実施例を説明する。本実施例に係る外界認識装置の構成要素のうち，実施例１に係る外界認識装置の構成要素と同じものには同じ符号を付して説明を省略する。
【００４３】
図１０は，実施例３による車両システムである。本実施例の車両システムは，車両前方を撮影するカメラ１０００と，車両の室内に設けられているスピーカー１００１と，車両の走行を制御する走行制御装置１００２と，車両の外界を認識する車両用外界認識装置１００３とを備える。カメラ１０００は，単眼カメラに限らず，ステレオカメラを用いても良い。また，車両用外界認識装置１００３は，データなどの入出力を行う入出力インタフェースI/O １００４と，メモリ１００５と，各種演算を実行する処理部であるCPU１００６とを備える。CPU１００６には，外界認識を行う機能が搭載され，上述の実施例で説明した処理領域設定部２０１と，第一の車両検出部２０２と，第二の車両検出部２０５と，車両検出部２０４と，矩形補正部２０７と，衝突予測時間算出部２０８と，危険度判定部１００７を備える。また記憶部であるメモリ１００５は，車両検出を行うための第一の識別器２０３と第二の識別器２０４を記憶する。
【００４４】
CPU１００６における外界認識の流れを説明する。まず，処理領域設定部２０１は，カメラ１０００から入力された画像おいて第一領域および第二領域を設定する。車両検出部２０４は，第一領域の画像に対して，メモリ１００５に記憶された第一の識別器２０３を用いて車両を検出する。また，車両検出部２０４は，第二領域の画像に対して，メモリ１００５に記憶された第二の識別器２０５を用いて車両を検出する。矩形補正部２０７は，既知の背景・車両比率を用いて矩形補正を行う。衝突予測時間算出部２０８は衝突予測時間を演算する。
【００４５】
最後に，衝突危険度判定部１００７は，予め設定された基準に基づき，衝突予測時間算出部２０８が算出した衝突予測時間でもって危険度を判定する。衝突危険度判定部１００７で危険と判定された場合は，スピーカー１００１が警告音や音声などで警報を送る。さらに危険と判定された場合は，走行制御装置１００２がブレーキをかけることで衝突を回避する。
【００４６】
以上説明した実施例３では，外界認識装置によって衝突予測時間を算出し，危険と判断されたタイミングで警報を鳴らす衝突警告システムを実現することができ，ドライバーの運転支援が可能となる。また，外界認識装置によって衝突予測時間を算出し，極めて危険と判断されたタイミングでブレーキをかけるプリクラッシュシステムを実現することができ，ドライバーの運転支援ならびに衝突の際の被害軽減が可能となる。
【００４７】
なお，本発明は，上述の各実施の形態に限定されるものではなく，本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば，上記した実施例は本発明を分かりやすく説明するために詳細に説明したのであり，必ずしも説明の全ての構成を備えるものに限定されものではない。また，ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり，また，ある実施例の構成に他の実施例の構成を加えることが可能である。また，各実施例の構成の一部について，他の構成の追加・削除・置換をすることが可能である。
【００４８】
また，上記の各構成，機能，処理部，処理手段等は，それらの一部又は全部を，例えば集積回路で設計する等によりハードウェアで実現してもよい。また，各構成，機能等の機能を実現するソフトウェアで実現する場合を主に説明したが，各機能を実現するプログラム，データ，ファイル等の情報は，メモリのみならず，ハードディスク，ＳＳＤ（Solid State Drive）等の記録装置，または，ＩＣカード，ＳＤカード，ＤＶＤ等の記録媒体におくことができるし，必要に応じて無線ネットワーク等を介してダウンロード，インストロールすることも可能である。
【符号の説明】
【００４９】
８，９ 処理領域
１０ 車両前方画像
１１，１２ 物体
１３，１５ 背面パターン
１４ 背景パターン
３０ 画像
１００，２００，７００，１００３ 外界認識装置
１０１，２０１，７０２ 処理領域設定部
１０２ 第一の物体検出部
１０４ 物体検出部
１０５ 第二の物体検出部
２０２ 第一の車両検出部
１０３，２０３ 第一の識別器
２０４ 車両検出部
２０５ 第二の車両検出部
１０６，２０６ 第二の識別器
１０７，２０７ 矩形補正部
１０８，２０８ 衝突予測時間算出部
３０１ 消失点
３０２ 仮想平面
３０３ 第一領域
３０４ 第二領域
７０１ 車線検出部
８０１，８０２ 車線
９０１ 予測進路
１０００ カメラ
１００１ スピーカー
１００２ 走行制御装置
１００４ I/O
１００５ メモリ
１００６ CPU
１００７ 衝突危険度判定部。
【技術分野】
【０００１】
本発明は，画像センサを用いて外界を認識する技術，特に物体までの距離によらず物体を検出する技術に関する。
【背景技術】
【０００２】
交通事故による死傷者数を低減するため，事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは，事故の発生する可能性が高い状況下で作動するシステムであり，例えば，自車前方の先行車と衝突する可能性が生じたときには警報によって運転者に注意を促し，衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
【０００３】
自車前方の先行車を検出する方法として，車載カメラで自車前方を撮像し，撮像された画像から車両の形状パターン，すなわち車両パターンを認識する方法が知られている。例えば特許文献１では，車両両端のエッジを捉えることで車両を検出する方法が開示されている。しかしながら，車両の見え方は距離によって異なるため，遠方近傍に関わらず同一の処理を適用するだけでは高い検出精度を実現できない。例えば，遠方では解像度が低下するため，識別力の高い特徴が捉えられず，検出精度が低下する。こうした課題に対して，距離や接近状態に応じて処理内容を変える方式が提案されている（特許文献２，３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2005-156199号公報
【特許文献２】特開2007-072665号公報
【特許文献３】特開平10-143799号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２によれば，走行障害となる物体候補を背景差分法などによって検出し，検出した物体候補に対して距離別に定義されたテンプレートを適用することでその物体が何であるかを判別することができる。しかしながら，第一の物体候補検出で漏れた場合，物体を判別できないという課題がある。
【０００６】
特許文献３によれば，ステレオカメラで検出した車両の相対速度に基づき，車両追跡用のテンプレートを切り替えることで追跡性能を向上することができる。しかしながら，初期検出に対しては性能を向上させることができないという課題がある。
【０００７】
本発明は，上記課題を鑑みてなされたものであり，その目的は，距離によらず好適に物体検出を行う外界認識方法，装置，およびそれを用いた車両システムを提供することである。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため，本発明においては，撮影した画像を解析し，物体を検出する外界認識装置による外界認識方法であって，外界認識装置は，画像内に，物体検出のための第一領域および第二領域を設定し，設定した第二領域において物体検出を行う際，物体パターンと当該物体パターンの背景パターンの両方を用いて物体検出を行う外界認識方法を提供する。
【０００９】
また，上記の目的を達成するため，本発明においては，撮影した画像を解析し，物体を検出する外界認識装置であって，画像内に，物体検出のための第一領域および第二領域を設定する処理領域設定部と，設定した第一領域及び第二領域においてそれぞれ物体検出を行う第一，第二の物体検出部とを備え，第一の物体検出部が物体検出を行う際，物体パターンのみを用い，第二の物体検出部が物体検出を行う際，物体パターン及び当該物体パターンの背景パターンの両方を用いる外界認識装置を提供する。
【００１０】
更に，上記の目的を達成するため，本発明においては，自車周辺を撮影した画像を解析して車両を検出する外界認識装置を備える車両システムであって，外界認識装置は，処理部と記憶部とを備え，記憶部は，第一の識別器と，第二の識別器を記憶し，処理部は，画像内に，車両検出のための第一領域，および第一領域より遠方の第二領域を設定し，第一領域において，第一の識別器を用い，車両パターンを捉えて，車両の車両矩形の検出を行い，第二領域において，第二の識別器を用い，車両パターンと当該車両パターンの背景パターンを捉えて，車両の車両矩形の検出を行い，第二領域において検出された車両矩形を補正し，
第一の識別器を用いて検出した車両矩形，或いは，第二の識別器を用いて検出され，且つ補正された車両矩形に基づき，自車との衝突までの衝突予測時間を算出する車両システムを提供する。
【発明の効果】
【００１１】
本発明によれば，物体までの距離によらず好適に物体検出を行うことができる。
【図面の簡単な説明】
【００１２】
【図１Ａ】各実施例に係わる，物体検出の説明のための図である。
【図１Ｂ】各実施例に係わる外界認識装置の説明のためのブロック図である。
【図２】第１の実施例に係わる外界認識装置の構成例のブロック図である。
【図３】第１の実施例に係わる処理領域設定部の説明図である。
【図４Ａ】第１の実施例に係わる第一の車両検出部の説明図である。
【図４Ｂ】第１の実施例に係わる第一の識別器の説明図である。
【図５Ａ】第１の実施例に係わる第二の車両検出部の説明図である。
【図５Ｂ】第１の実施例に係わる第二の識別器の説明図である。
【図５Ｃ】第１の実施例に係わる矩形補正部の説明図である。
【図６】第１の実施例に係わる外界認識装置の処理フローチャートを示す図である。
【図７】第２の実施例に係わる，外界認識装置のブロック図である。
【図８Ａ】第２の実施例に係わる処理領域設定部の説明図である。
【図８Ｂ】第２の実施例に係わる処理領域設定部の説明図である。
【図９】第２の実施例に係わる処理領域設定部の他の説明図である。
【図１０】第３の実施例に係わる，車両システムのブロック図である。
【発明を実施するための形態】
【００１３】
以下，図面に従い，本発明の実施例について説明する。以下の説明において，検出対象である物体として，車両，特に自車前方の先行車の車両を例示して説明するが，それに限定されるものでなく歩行者等であっても良い。
図1Ａ，図１Ｂを用いて，本発明の実施例に係る物体検出手段を備えた外界認識装置を説明する。
【００１４】
図１Ａは車載カメラで撮像した車両前方画像１０の例である。この車両前方画像１０中の数番８，９は，物体検出の画像処理を行う処理領域であり、２次元の画像パターンで構成される。図１Ａの車両前方画像１０の処理領域８，９において，検出対象である物体１１，１２は車両であり，検出対象の物体パターンは，車両の背面形状を示す車両パターン，すなわち車両の背面パターン１３，１５となる。図に示すように，車両前方画像１０中，近傍における物体１１の背面パターン１５は明瞭であり，遠方における物体１２の背面パターン１３は不明瞭となる。物体の背面パターンが不明瞭な場合，識別力の高い特徴を抽出しにくく，物体検出の性能は低くなる。
【００１５】
なお，図１Ａにおいて，処理領域９の数番１４は遠方における物体１２の背景パターンを示す。本明細書において，背景パターンとは，物体検出のための処理領域において，検出対象である物体パターンである背面パターン１３以外のパターンを意味する。よって、背面パターン１４とは、処理領域９中の物体１２の背面パターン１３以外の画像パターンを示す。
【００１６】
そこで各実施例の外界認識装置では，距離別に複数の識別器を用意し，それらを切り替えることであらゆる距離で物体検出性能を高める。具体的には，近傍では検出対象の物体パターンを中心とした識別器を使って物体検出を行い，遠方では物体と背景パターン双方を含んだ識別器を使って物体検出を行う。この理由は以下の通りである。すなわち，物体パターンが不明瞭な遠方では，背景パターンを併用して物体以外の情報量を増やす方が検出率を高めることができる。また，物体パターンが明瞭な近傍では，背景パターンを含めない方が誤検出を減らすことができる。また，各実施例の外界認識装置では，これら特性の異なる識別器を定義しておき，近傍，遠方に応じて適切に識別器を切り替えることで，距離によらず好適に物体検出を行うことができる。
【００１７】
図１Ｂは各実施例の外界認識装置の基本構成の一例を示す図である。同図に示される外界認識装置１００は，画像中に処理領域を設定する処理領域設定部１０１，第一の物体検出部１０２，第二の物体検出部１０５，及び衝突予測時間算出部１０８から構成される。更に，第一の物体検出部１０２は，第一の識別器１０３と物体検出部１０４で，第二の物体検出部１０５は，第二の識別器１０６と物体検出部１０４と矩形補正部１０７で構成される。
【００１８】
以下に説明する各実施例では，物体１１，１２として先行する四輪車両を例にとり説明するが，これに限定されるものではない。例えば，二輪車および歩行者などについても同様の手段により好適に検出することができる。
【実施例１】
【００１９】
図２は，第１の実施例による外界認識装置２００の一例を示すブロック図である。同図に示される外界認識装置２００は，処理領域設定部２０１，第一の車両検出部２０２，第二の車両検出部２０５，衝突予測時間算出部２０８を備える。そして，第一の車両検出部２０２は，第一の識別器２０３と車両検出部２０４を，第二の車両検出部２０５は，第二の識別器２０６，車両検出部２０４，矩形補正部２０７を備える。前記の各部はハードウェアによって構成されてもよいし，ソフトウェアによって構成されていてもよい。また，ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。ソフトウェアで外界認識装置２００を実現する場合，後で車両システムを例示して説明するように，外界認識装置２００は，通常の計算機の，処理部である中央処理部(Central Processing Unit: CPU)，記憶部であるメモリ，入出力部(Input Output Unit: I/O)等で構成できることは言うまでもない。
【００２０】
図３を用いて，本実施例における，外界認識装置２００処理領域設定部２０１の処理流れを説明する。まず，画像３０中に，消失点３０１と，カメラパラメータに基づき仮想平面３０２を定める。定めた仮想平面３０２に基づき，近傍領域を表す第一領域３０３，および遠方領域を表す第二領域３０４を設定する。例えば，画像３０中の近傍領域の開始地点をND[m]地点と仮定して，画像上の下端位置B1を求め，領域の位置と大きさを表すパラメータ（X1，W1，H1）を規定することで第一領域３０３を設定する。同様にして，遠方領域の開始地点をFD[m]地点と仮定して画像上の下端位置B2を求め，領域の位置と大きさを表すパラメータ（X2，W2，H2）を規定することで第二領域３０４を設定する。本実施例の外界認識装置２００は，このようにして求めた処理領域ごとに，後述する車両検出を行う。
【００２１】
図４Ａ，図４Ｂを用いて，本実施例に係る図２の第一の車両検出部２０２の処理流れを説明する。
図４Ａに示すように，第一の車両検出部２０２は，画像３０内の走査枠４０１の位置とサイズを変えながら，近傍領域を表す第一領域３０３内をラスタ走査４１して，近傍領域における車両検出を行う。走査の方法はラスタ走査４１に限らず，スパイラル走査や重要度によって間引き走査を行うなど，他の走査方法を用いても構わない。
【００２２】
図４Ｂは，図３の第一の車両検出部２０２内の第一の識別器２０３の機能を説明するための図である。図４Ｂに示すように，第一の識別器２０３は，矩形状の走査枠４０１が示す画像部分領域４０２に適用され，走査先が車両であるか車両でないかを識別する。第一の識別器２０３は，車両の形状である，車両の背面パターンを捕らえるＴ個の弱識別器４０３，総和部４０４，符号関数４０５から構成される。第一の識別器２０３の識別処理は，式(1)のように表される。
【００２３】
【数１】
ここで，xは画像部分領域４０２，H1(x)は第一の識別器，ht(x)は弱識別器，αtは弱識別器ht(x)の重み係数である。すなわち，第一の識別器２０３は，Ｔ個の各弱識別器の重み付き投票によって構成される。sign()は符号関数であり，右辺の括弧内が正の値であれば+１を，負の値であれば-1を返す。右辺括弧内の弱識別器ht(x)は式(2)のように表すことができる。
【００２４】
【数２】
ここで，ft(x)はt番目の特徴量であり，θはしきい値である。特徴量はHaar-like特徴（領域間の輝度平均の差分）やHoG（Histograms of Oriented Gradients）特徴などを使えばよい。またこの他の特徴量を使っても良いし，異なる特徴量を組み合わせた共起特徴量を使っても構わない。上記の特徴量選択や重み係数の学習には，AdaBoost(Adaptive Boosting)やRandom forestなどの学習手法を用いればよい。
【００２５】
次に，図５Ａ，５Ｂ，５Ｃを用いて，本実施例に係る第二の車両検出部２０５の処理流れを説明する。第二の識別器２０５による識別機能の基本的な流れは，図４Ａ，図４Ｂに示した第一の車両検出部２０２と同様であり，以下では違いのみ述べる。
【００２６】
図５Ａに示すように，第二の車両検出部２０５は，画像３０内の矩形状の走査枠５０１の位置とサイズを変えながら，遠方領域である第二領域３０４内を，ラスタ走査して車両検出を行う。
【００２７】
図５Ｂは第二の車両検出部２０５内の第二の識別器２０６の内部構成の一例を示す図である。図５Ｂにおいて，矩形状の走査枠５０１が示す画像部分領域５０２に第二の識別器２０６が適用される。第一の識別器２０３と異なり，第二の識別器２０６は，車両形状である車両パターンと，背景パターン双方を検出する。具体的には，第二の識別器２０６は，道路面上の大まかな車両形状である車両パターンを捉える弱識別器５０３を多数含み，解像度の低い遠方でも正確な車両検出を実現する。
【００２８】
図５Ｃを用いて第二の車両検出部２０５内の矩形補正部２０７の処理内容を説明する。矩形補正部２０７は，第二の車両検出部２０５において，車両検出部２０４が出力する車両矩形を補正する。具体的には，矩形補正部２０７は，学習時に既知となる背景・車両比率を用いて，背景パターンを含む車両矩形５０２を，背景パターンを含まない車両矩形５０４へと補正する。本実施例の外観認識装置２００では，次に述べる衝突予測時間算出部２０８では正確な車両幅が必要となるため，矩形補正部２０７により得られる車両矩形５０４により，車両幅の補正を行うことが重要である。
【００２９】
図３の衝突予測時間算出部２０８は，第一の車両検出部２０２または第二の車両検出部２０５が出力する車両矩形を用いて，衝突予測時間（TTC: Time To Collision）を算出する。まず，得られた車両矩形に基づき，自車との間の相対距離zを推定する。例えば，焦点距離f，画像上の車両幅Wi，実車幅Wtを用いて以下のように求める。
【００３０】
【数３】
または，焦点距離f，画像上の車両高Hi，カメラ設置高Htを用いて以下のように求めても良い。
【００３１】
【数４】
このようにして求めた相対距離zと相対速度vz（zの微分）に基づき，次式のようにTTCを求めることができる。
【００３２】
【数５】
図６は，本実施例における外界認識装置２００の処理フローを示す図である。外界認識装置２００をソフトウェアで実現する場合は，これらの処理の主体は，上述した外界認識装置２００の処理部であるCPUである。
【００３３】
図６において，まず入力画像において第一領域３０３および第二領域３０４を設定する（S6001）。その後，処理領域が第一領域３０３であるか否かを判定し（S6002），第一領域であれば第一の識別器２０３を用い，車両検出部２０４で車両を検出する（S6003）。処理領域が第二領域であれば，第二の識別器２０６を用い，車両検出部２０４で車両を検出する（S6004）。第二領域において検出された車両は背景パターンを含むため，矩形補正部２０７で既知の背景・車両比率を用いて矩形補正を行う（S6005）。最後に衝突予測時間算出部２０８で，衝突予測時間を演算し（S6006），演算結果を出力する（S6007）。
【００３４】
以上，説明した第一の実施例では，第一の識別器２０３と第二の識別器２０６を切り替えて車両検出を行うことで以下の効果を得ることができる。すなわち，解像度の高い近傍領域においては車両そのものの画像パターンを最大限に生かすことができるため，誤検出を抑えながら高い検出率を実現できる。また，解像度の低い遠方領域においては，車両と車両以外のパターン双方を用いて情報量を底上げすることにより検出率を大幅に向上することができる。また，領域を限定し，それぞれに適した車両検出を行うことで，処理負荷を低減することができる。
【実施例２】
【００３５】
次に，第２の実施例に係る外界認識装置を説明する。第２の実施例に係る外界認識装置の構成要素のうち，第１の実施例に係る外界認識装置の構成要素と同じものには同じ符号を付して説明を省略する。
【００３６】
図７は，第２の実施例による外界認識装置７００の一例を示すブロック図である。同図に示される外界認識装置７００は，車線検出部７０１，処理領域設定部７０２，第一の車両検出部２０２，第一の識別器２０３，車両検出部２０４，第二の車両検出部２０５，第二の識別器２０６，矩形補正部２０７，衝突予測時間算出部２０８を備える。この外界認識装置７００，特にその車線検出部７０１，処理領域設定部７０２も，ハードウェアによって構成されてもよいし，ソフトウェアによって構成されていてもよい。
【００３７】
まず，図８Ａを用いて，本実施例の車線検出部７０１，および処理領域設定部７０２の処理流れを説明する。車線検出部７０１は，道路面上の白線や黄線の直線性を利用して，車線８０１を検出する。直線性は例えばハフ変換を用いて判定すればよいが，その他の手法を用いて直線性を判定しても構わない。その後，車線検出部７０１が出力する車線８０１に基づき，近傍領域を表す第一領域３０３，および遠方領域を表す第二領域３０４を設定する。
【００３８】
処理領域設定部７０２における処理領域設定方法は実施例１と同様であり，例えば，近傍領域の開始地点をND[m]地点と仮定して画像上の下端位置B1を求め，領域の位置と大きさを表すパラメータ（X1，W1，H1）を規定することで第一領域３０３を設定する。同様にして，遠方領域の開始地点をFD[m]地点と仮定して画像上の下端位置B2を求め，領域の位置と大きさを表すパラメータ（X2，W2，H2）を規定することで第二領域３０４を設定する。当然，近傍・遠方の地点設定は上記の例に限定されるものではない。このようにして求めた処理領域ごとに，車両検出部２０４にて車両検出を行う。
【００３９】
図８Ｂは，カーブにおける車線検出部７０１および処理領域設定部７０２の処理流れである。カーブの場合，車線検出部７０１は一般化ハフ変換を用いて，曲がった車線８０２を検出すればよい。もちろん，近傍の直線を延伸しながら車線を検出してもよいし，この他の手法を用いて車線検出を行っても構わない。
【００４０】
図９は，ヨーレートを用いた処理領域設定部７０２の処理流れの例である。ヨーレートを用いることで自車の予測進路９０１を求めることができる。この予測進路に基づき，前記同様に近傍を表す第一領域３０３，および遠方を表す第二領域３０４を設定する。なお，処理領域設定部７０２で用いるヨ−レートは，自車内のセンサを用いて検出されたヨ−レートを用いれば良い。
【００４１】
以上，説明した第２の実施例では，車線検出結果に基づき処理領域を設定することで，走行に必要な領域の探索だけを行い，計算量を低減することができる。またヨーレートを用いて処理領域を設定することで，特に重要な自車の予測進路付近を中心に探索することができ，計算量を低減することができる。
【実施例３】
【００４２】
以下，第３の実施例として，車両システムに適用した実施例を説明する。本実施例に係る外界認識装置の構成要素のうち，実施例１に係る外界認識装置の構成要素と同じものには同じ符号を付して説明を省略する。
【００４３】
図１０は，実施例３による車両システムである。本実施例の車両システムは，車両前方を撮影するカメラ１０００と，車両の室内に設けられているスピーカー１００１と，車両の走行を制御する走行制御装置１００２と，車両の外界を認識する車両用外界認識装置１００３とを備える。カメラ１０００は，単眼カメラに限らず，ステレオカメラを用いても良い。また，車両用外界認識装置１００３は，データなどの入出力を行う入出力インタフェースI/O １００４と，メモリ１００５と，各種演算を実行する処理部であるCPU１００６とを備える。CPU１００６には，外界認識を行う機能が搭載され，上述の実施例で説明した処理領域設定部２０１と，第一の車両検出部２０２と，第二の車両検出部２０５と，車両検出部２０４と，矩形補正部２０７と，衝突予測時間算出部２０８と，危険度判定部１００７を備える。また記憶部であるメモリ１００５は，車両検出を行うための第一の識別器２０３と第二の識別器２０４を記憶する。
【００４４】
CPU１００６における外界認識の流れを説明する。まず，処理領域設定部２０１は，カメラ１０００から入力された画像おいて第一領域および第二領域を設定する。車両検出部２０４は，第一領域の画像に対して，メモリ１００５に記憶された第一の識別器２０３を用いて車両を検出する。また，車両検出部２０４は，第二領域の画像に対して，メモリ１００５に記憶された第二の識別器２０５を用いて車両を検出する。矩形補正部２０７は，既知の背景・車両比率を用いて矩形補正を行う。衝突予測時間算出部２０８は衝突予測時間を演算する。
【００４５】
最後に，衝突危険度判定部１００７は，予め設定された基準に基づき，衝突予測時間算出部２０８が算出した衝突予測時間でもって危険度を判定する。衝突危険度判定部１００７で危険と判定された場合は，スピーカー１００１が警告音や音声などで警報を送る。さらに危険と判定された場合は，走行制御装置１００２がブレーキをかけることで衝突を回避する。
【００４６】
以上説明した実施例３では，外界認識装置によって衝突予測時間を算出し，危険と判断されたタイミングで警報を鳴らす衝突警告システムを実現することができ，ドライバーの運転支援が可能となる。また，外界認識装置によって衝突予測時間を算出し，極めて危険と判断されたタイミングでブレーキをかけるプリクラッシュシステムを実現することができ，ドライバーの運転支援ならびに衝突の際の被害軽減が可能となる。
【００４７】
なお，本発明は，上述の各実施の形態に限定されるものではなく，本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば，上記した実施例は本発明を分かりやすく説明するために詳細に説明したのであり，必ずしも説明の全ての構成を備えるものに限定されものではない。また，ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり，また，ある実施例の構成に他の実施例の構成を加えることが可能である。また，各実施例の構成の一部について，他の構成の追加・削除・置換をすることが可能である。
【００４８】
また，上記の各構成，機能，処理部，処理手段等は，それらの一部又は全部を，例えば集積回路で設計する等によりハードウェアで実現してもよい。また，各構成，機能等の機能を実現するソフトウェアで実現する場合を主に説明したが，各機能を実現するプログラム，データ，ファイル等の情報は，メモリのみならず，ハードディスク，ＳＳＤ（Solid State Drive）等の記録装置，または，ＩＣカード，ＳＤカード，ＤＶＤ等の記録媒体におくことができるし，必要に応じて無線ネットワーク等を介してダウンロード，インストロールすることも可能である。
【符号の説明】
【００４９】
８，９ 処理領域
１０ 車両前方画像
１１，１２ 物体
１３，１５ 背面パターン
１４ 背景パターン
３０ 画像
１００，２００，７００，１００３ 外界認識装置
１０１，２０１，７０２ 処理領域設定部
１０２ 第一の物体検出部
１０４ 物体検出部
１０５ 第二の物体検出部
２０２ 第一の車両検出部
１０３，２０３ 第一の識別器
２０４ 車両検出部
２０５ 第二の車両検出部
１０６，２０６ 第二の識別器
１０７，２０７ 矩形補正部
１０８，２０８ 衝突予測時間算出部
３０１ 消失点
３０２ 仮想平面
３０３ 第一領域
３０４ 第二領域
７０１ 車線検出部
８０１，８０２ 車線
９０１ 予測進路
１０００ カメラ
１００１ スピーカー
１００２ 走行制御装置
１００４ I/O
１００５ メモリ
１００６ CPU
１００７ 衝突危険度判定部。
【特許請求の範囲】
【請求項１】
撮影した画像を解析し，物体を検出する外界認識装置による外界認識方法であって，
前記外界認識装置は，
前記画像内に，物体検出のための第一領域，および第二領域を設定し，
設定した前記第二領域において物体検出を行う際，物体パターンと，当該物体パターンの背景パターンの両方を用いて物体検出を行う，
ことを特徴とする外界認識方法。
【請求項２】
請求項１に記載の外界認識方法であって，
前記第一領域は，前記第二領域より近傍の領域であり，
前記外界認識装置は，
前記第一領域において物体検出を行う際，物体パターンのみを用いて物体検出を行う，
ことを特徴とする外界認識方法。
【請求項３】
請求項１に記載の外界認識方法であって，
前記外界認識装置は，
前記第二領域で検出した前記背景パターンを含む物体矩形を，当該背景パターンを含まない物体矩形に補正する，
ことを特徴とする外界認識方法。
【請求項４】
請求項３に記載の外界認識方法であって，
前記外界認識装置は，
前記第一領域で検出した物体矩形，あるいは前記補正後の物体矩形を用いて，当該物体矩形に対応する物体との衝突までの予測時間を算出する，
【請求項５】
請求項４に記載の外界認識方法であって，
前記物体は車両であり，
前記外界認識装置は，
前記第一領域で検出した物体矩形，あるいは前記補正後の物体矩形から，前記車両の車両幅を生成し，前記車両幅に基づき，前記予測時間を算出する，
ことを特徴とする外界認識方法。
【請求項６】
撮影した画像を解析し，物体を検出する外界認識装置であって，
前記画像内に，物体検出のための第一領域および第二領域を設定する処理領域設定部と，
設定した前記第一領域及び前記第二領域においてそれぞれ物体検出を行う第一，第二の物体検出部とを備え，
前記第一の物体検出部が物体検出を行う際，物体パターンのみを用い，前記第二の物体検出部が物体検出を行う際，物体パターン及び当該物体パターンの背景パターンの両方を用いる，
ことを特徴とする外界認識装置。
【請求項７】
請求項６に記載の外界認識装置であって，
前記物体は車両であり，
前記第一領域は，前記第二領域より近傍の領域である，
ことを特徴とする外界認識装置。
【請求項８】
請求項７に記載の外界認識装置であって，
前記第一の物体検出部と前記第二の物体検出部は，それぞれ第一の識別器と第二の識別器を含み，
前記第一の識別器は，前記車両の背面パターンを捉える複数の弱識別器からなり，前記第二の識別器は，前記車両の背面パターンと背景パターンを捉える複数の弱識別器からなる，
ことを特徴とする外界認識装置。
【請求項９】
請求項８に記載の外界認識装置であって，
前記第二の物体検出部は，
前記第二領域で検出した前記背景パターンを含む物体矩形を，当該背景パターンを含まない物体矩形に補正する矩形補正部を含む，
ことを特徴とする外界認識装置。
【請求項１０】
請求項９に記載の外界認識装置であって，
前記第一の物体検出部が検出した物体矩形，あるいは前記矩形補正部が補正した前記補正後の物体矩形を用いて，当該物体矩形に対応する物体との衝突までの予測時間を算出する衝突予測時間算出部を更に備える，
ことを特徴とする外界認識装置。
【請求項１１】
請求項１０に記載の外界認識装置であって，
前記衝突予測時間算出部は，
前記第一の物体検出部が検出した物体矩形，あるいは前記矩形補正部が補正した前記補正後の物体矩形を用いて，前記車両の車両幅を生成し，前記車両幅に基づき，前記予測時間を算出する，
ことを特徴とする外界認識装置。
【請求項１２】
自車周辺を撮影した画像を解析して車両を検出する外界認識装置を備える車両システムであって，
前記外界認識装置は，処理部と記憶部とを備え，
前記記憶部は，
第一の識別器と，第二の識別器を記憶し，
前記処理部は，
前記画像内に，車両検出のための第一領域，および前記第一領域より遠方の第二領域を設定し，
前記第一領域において，前記第一の識別器を用い，車両パターンを捉えて，前記車両の車両矩形の検出を行い，
前記第二領域において，前記第二の識別器を用い，車両パターンと当該車両パターンの背景パターンを捉えて，前記車両の車両矩形の検出を行い，
前記第二領域において検出された前記車両矩形を補正し，
前記第一の識別器を用いて検出した前記車両矩形，或いは，前記第二の識別器を用いて検出され，且つ補正された前記車両矩形に基づき，自車との衝突までの衝突予測時間を算出する，
を備えることを特徴とする車両システム。
【請求項１３】
請求項１２に記載の車両システムであって，
前記処理部は，
前記画像中の車線の検出に基づき，前記第一領域および前記第二領域を設定する，
ことを特徴とする車両システム。
【請求項１４】
請求項１２に記載の車両システムであって，
前記処理部は，
ヨーレートに基づき，前記第一領域および前記第二領域を設定する，
ことを特徴とする車両システム。
【請求項１５】
請求項１２に記載の車両システムであって，
前記処理部は，
前記衝突予測時間に応じて自車が前記車両に衝突する衝突危険度を算出し，
算出した前記衝突危険度に応じて自車の衝突を回避するための制御を行う，
ことを特徴とする車両システム。
【請求項１】
撮影した画像を解析し，物体を検出する外界認識装置による外界認識方法であって，
前記外界認識装置は，
前記画像内に，物体検出のための第一領域，および第二領域を設定し，
設定した前記第二領域において物体検出を行う際，物体パターンと，当該物体パターンの背景パターンの両方を用いて物体検出を行う，
ことを特徴とする外界認識方法。
【請求項２】
請求項１に記載の外界認識方法であって，
前記第一領域は，前記第二領域より近傍の領域であり，
前記外界認識装置は，
前記第一領域において物体検出を行う際，物体パターンのみを用いて物体検出を行う，
ことを特徴とする外界認識方法。
【請求項３】
請求項１に記載の外界認識方法であって，
前記外界認識装置は，
前記第二領域で検出した前記背景パターンを含む物体矩形を，当該背景パターンを含まない物体矩形に補正する，
ことを特徴とする外界認識方法。
【請求項４】
請求項３に記載の外界認識方法であって，
前記外界認識装置は，
前記第一領域で検出した物体矩形，あるいは前記補正後の物体矩形を用いて，当該物体矩形に対応する物体との衝突までの予測時間を算出する，
【請求項５】
請求項４に記載の外界認識方法であって，
前記物体は車両であり，
前記外界認識装置は，
前記第一領域で検出した物体矩形，あるいは前記補正後の物体矩形から，前記車両の車両幅を生成し，前記車両幅に基づき，前記予測時間を算出する，
ことを特徴とする外界認識方法。
【請求項６】
撮影した画像を解析し，物体を検出する外界認識装置であって，
前記画像内に，物体検出のための第一領域および第二領域を設定する処理領域設定部と，
設定した前記第一領域及び前記第二領域においてそれぞれ物体検出を行う第一，第二の物体検出部とを備え，
前記第一の物体検出部が物体検出を行う際，物体パターンのみを用い，前記第二の物体検出部が物体検出を行う際，物体パターン及び当該物体パターンの背景パターンの両方を用いる，
ことを特徴とする外界認識装置。
【請求項７】
請求項６に記載の外界認識装置であって，
前記物体は車両であり，
前記第一領域は，前記第二領域より近傍の領域である，
ことを特徴とする外界認識装置。
【請求項８】
請求項７に記載の外界認識装置であって，
前記第一の物体検出部と前記第二の物体検出部は，それぞれ第一の識別器と第二の識別器を含み，
前記第一の識別器は，前記車両の背面パターンを捉える複数の弱識別器からなり，前記第二の識別器は，前記車両の背面パターンと背景パターンを捉える複数の弱識別器からなる，
ことを特徴とする外界認識装置。
【請求項９】
請求項８に記載の外界認識装置であって，
前記第二の物体検出部は，
前記第二領域で検出した前記背景パターンを含む物体矩形を，当該背景パターンを含まない物体矩形に補正する矩形補正部を含む，
ことを特徴とする外界認識装置。
【請求項１０】
請求項９に記載の外界認識装置であって，
前記第一の物体検出部が検出した物体矩形，あるいは前記矩形補正部が補正した前記補正後の物体矩形を用いて，当該物体矩形に対応する物体との衝突までの予測時間を算出する衝突予測時間算出部を更に備える，
ことを特徴とする外界認識装置。
【請求項１１】
請求項１０に記載の外界認識装置であって，
前記衝突予測時間算出部は，
前記第一の物体検出部が検出した物体矩形，あるいは前記矩形補正部が補正した前記補正後の物体矩形を用いて，前記車両の車両幅を生成し，前記車両幅に基づき，前記予測時間を算出する，
ことを特徴とする外界認識装置。
【請求項１２】
自車周辺を撮影した画像を解析して車両を検出する外界認識装置を備える車両システムであって，
前記外界認識装置は，処理部と記憶部とを備え，
前記記憶部は，
第一の識別器と，第二の識別器を記憶し，
前記処理部は，
前記画像内に，車両検出のための第一領域，および前記第一領域より遠方の第二領域を設定し，
前記第一領域において，前記第一の識別器を用い，車両パターンを捉えて，前記車両の車両矩形の検出を行い，
前記第二領域において，前記第二の識別器を用い，車両パターンと当該車両パターンの背景パターンを捉えて，前記車両の車両矩形の検出を行い，
前記第二領域において検出された前記車両矩形を補正し，
前記第一の識別器を用いて検出した前記車両矩形，或いは，前記第二の識別器を用いて検出され，且つ補正された前記車両矩形に基づき，自車との衝突までの衝突予測時間を算出する，
を備えることを特徴とする車両システム。
【請求項１３】
請求項１２に記載の車両システムであって，
前記処理部は，
前記画像中の車線の検出に基づき，前記第一領域および前記第二領域を設定する，
ことを特徴とする車両システム。
【請求項１４】
請求項１２に記載の車両システムであって，
前記処理部は，
ヨーレートに基づき，前記第一領域および前記第二領域を設定する，
ことを特徴とする車両システム。
【請求項１５】
請求項１２に記載の車両システムであって，
前記処理部は，
前記衝突予測時間に応じて自車が前記車両に衝突する衝突危険度を算出し，
算出した前記衝突危険度に応じて自車の衝突を回避するための制御を行う，
ことを特徴とする車両システム。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【公開番号】特開２０１３−６１９１９（Ｐ２０１３−６１９１９Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−２０１６６０（Ｐ２０１１−２０１６６０）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]