車両認識装置、車両、及び車両認識用プログラム
【課題】周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる車両認識装置、車両、及び車両認識用プログラムを提供する。
【解決手段】車両認識装置１０は、撮像手段２を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段１２と、抽出された特徴領域のうち、画像上で水平方向に並んでいる第１及び第２の特徴領域を特定するペアリング手段１３と、第１の特徴領域の上下又は第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、第１及び第２の特徴領域の中心線に対して第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段１４と、第１及び第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段１５とを備える。
【解決手段】車両認識装置１０は、撮像手段２を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段１２と、抽出された特徴領域のうち、画像上で水平方向に並んでいる第１及び第２の特徴領域を特定するペアリング手段１３と、第１の特徴領域の上下又は第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、第１及び第２の特徴領域の中心線に対して第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段１４と、第１及び第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段１５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段を介して取得した画像を用いて対象物を認識する装置、車両、及びその装置の処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来、撮像手段により周辺を撮像し、撮像された画像から周辺に存在する対象物を認識する技術が知られている（例えば、特許文献１を参照）。この技術により、例えば自車両が走行する道路上及びその周囲に存在する対象物を認識し、その認識結果に応じて、運転者への情報提示や車両の走行制御を行うことが可能となる。
【０００３】
特許文献１のストップランプ点灯検出装置では、自車両の前方を撮像したカラー画像から、画素の色情報と輝度情報を用いて点灯ランプを検出する手法を応用して、先行車両のストップランプを検出する。具体的には、この装置では、画像から特定色（ストップランプ色）およびその近似色が一定画素数以上連続する領域を抽出して、この抽出した領域から各画素の特定色への近似度の平均値が閾値以上の領域を特定し、さらに特定された領域の輝度値平均が閾値以上の場合にストップランプと判定する。これにより、先行車両が認識される。そして、このストップランプ点灯検出装置を車間距離接近警報装置と組み合わせて、先行車両のストップランプ検出結果に基づいて先行車両との接近状態を評価して警報を発する。
【特許文献１】特開平８−３３５３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このように車両のストップランプ（ブレーキランプ）を特徴として車両を検出する際には、周辺に複数の車両が存在した場合に、各車両のブレーキランプを区別することが必要である。しかしながら、特許文献１の装置では、複数の車両が存在する場合については全く考慮されていない。このため、特許文献１の装置では、複数の車両が重なって撮像され、画像中に複数のブレーキランプ群が存在する場合に、各車両のブレーキランプを区別してそれぞれ検出できないため、車両が適切に認識されないという不都合がある。
【０００５】
本発明は、かかる背景に鑑みてなされたものであり、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる車両認識装置、車両、及び車両認識用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために、本発明の車両認識装置は、自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する車両認識装置において、前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は該第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段とを備えることを特徴とする（第１発明）。
【０００７】
第１発明の車両認識装置によれば、特徴領域抽出手段により、周辺を撮像した画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する。これにより、ブレーキランプやヘッドランプ等の、車両の輝度や色が特徴的な部分に相当する領域が特徴領域として抽出される。このとき、周辺に複数の車両が存在する場合、画像上で複数の車両についての特徴領域が混在する。
【０００８】
これに対して、例えばブレーキランプは、車両の車幅方向（水平方向）の中心に対して左右対称に２つ設けられているので、画像上で水平方向に並ぶこととなる。そこで、ペアリング手段により、画像上で水平方向に並んでいる２つの特徴領域の組（第１の特徴領域と第２の特徴領域）を特定する。これにより、１台の車両の１対のブレーキランプに相当する可能性が高い組が特定される。ただし、このように特定された組には、２台の車両が水平方向に並んでいて、一方の車両のブレーキランプと他方の車両のブレーキランプとが組とされた場合も含まれ得る。
【０００９】
そこで、判定領域設定手段により、第１の特徴領域について、第１の特徴領域の上下又は第２の特徴領域方向の周辺域に第１の判定領域を設定すると共に、第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して第１の判定領域と線対称の位置に第２の判定領域を設定する。２つの特徴領域の組が１台の車両の１対のブレーキランプに相当する場合には、これらの判定領域は、同じ車両のブレーキランプ周辺の車体部分に相当する。そして、この場合は、同じ車両の車体部分は輝度や色が同じ部分が多いので、画像上での第１及び第２の判定領域の特徴が類似し、第１の判定領域と第２の判定領域との相関の度合が高くなる。
【００１０】
これに対して、２つの特徴領域の組が別の車両のブレーキランプからなる場合には、判定領域を２つの特徴領域の中心線方向の周辺域で設定すると、判定領域が車両以外の背景部分に相当する。この場合、背景部分では多様なものが撮像されるので、画像上での第１及び第２の判定領域の特徴が相違し、第１の判定領域と第２の判定領域との相関の度合が低くなる。また、判定領域を２つの特徴領域の上下の周辺域に設定すると、判定領域が異なる車両の車体部分に相当する。この場合、異なる車両の車体部分は輝度や色が異なることが多いので、画像上での第１及び第２の判定領域の特徴が相違し、第１の判定領域と第２の判定領域との相関の度合が低くなる。したがって、特徴領域判定手段により、第１の判定領域と第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定することで、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる。
【００１１】
また、第１発明の車両認識装置において、前記特徴領域抽出手段は、前記特徴領域として、輝度値が所定値以上となる画素からなる領域を抽出することが好ましい（第２発明）。
【００１２】
第２発明の車両認識装置によれば、ブレーキランプ等は一般的に輝度が高いことから、特徴領域抽出手段により輝度値が所定値以上となる画素からなる領域を抽出することで、ブレーキランプ等に相当する特徴領域を抽出することができる。
【００１３】
または、第１発明の車両認識装置において、前記撮像手段を介して取得された画像がカラー画像である場合に、前記特徴領域抽出手段は、前記特徴領域として、カラー成分が特定色に対応する範囲となる画素からなる領域を抽出することが好ましい（第３発明）。
【００１４】
第３発明の車両認識装置によれば、ブレーキランプ等は一般的に赤や黄などの特定色であることから、特徴領域抽出手段によりカラー成分が特定色に対応する範囲となる画素からなる領域を抽出することで、ブレーキランプ等に相当する特徴領域を抽出することができる。
【００１５】
また、第１〜第３発明のうちいずれかの車両認識装置において、前記ペアリング手段は、前記特徴領域のうち、前記画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定することが好ましい（第４発明）。
【００１６】
第４発明の車両認識装置によれば、例えば１台の車両の１対のブレーキランプは、車両の車幅方向（水平方向）の中心に対して左右対称に設けられているので、１台の車両の１対のブレーキランプに相当する２つの特徴領域の組では、一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が高くなると考えられる。よって、ペアリング手段により、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定することで、特徴領域のうち、１台の車両の１対のブレーキランプ等に相当する２つの特徴領域の組をより精度良く特定することができる。
【００１７】
また、第１〜第４発明のうちいずれかの車両認識装置において、前記特徴領域判定手段は、前記第１の判定領域の画素値の平均と前記第２の判定領域の画素値の平均との差が所定値以下である場合に、該第１及び第２の判定領域の相関の度合が高いと判定することが好ましい（第５発明）。
【００１８】
第５発明の車両認識装置によれば、第１及び第２の判定領域の画素値の平均は、各判定領域の特徴の傾向を示すものであるので、これらの画素値の平均の差が小さい場合に、第１及び第２の判定領域の相関の度合が高いことが把握される。なお、画素値としては、例えば画素の輝度値や、画像がカラー画像の場合、画素のカラー成分を用いることができる。よって、特徴領域判定手段により、第１及び第２の判定領域の画素値の平均の差が所定値以下である場合に、相関の度合が高いと判定することで、２つの特徴領域の組が１つの他の車両に対応することを適切に判定することができる。
【００１９】
次に、本発明の車両は、撮像手段を備え、該撮像手段を介して取得された画像に基づいて周辺に存在する他の車両を認識する機能を有する車両であって、前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段とを備えたことを特徴とする（第６発明）。
【００２０】
第６発明の車両によれば、第１発明の車両認識装置に関して説明したように、ペアリング手段により、画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定することで、１台の車両の１対のブレーキランプ等に相当する可能性が高い２つの特徴領域の組が特定される。そして、判定領域設定手段により、２つの特徴領域の組について、第１及び第２の特徴領域の上下又は該２つの特徴領域の中心線方向の周辺域で、第１及び第２の判定領域を該中心線に対して線対称な位置に設定することで、第１の判定領域と第２の判定領域との相関の度合が高いことから、２つの特徴領域の組が１台の車両の１対のブレーキランプ等に相当することを判定できる。よって、特徴領域判定手段により、第１の判定領域と第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定することで、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、周辺に存在する他の車両を適切に認識することができる。
【００２１】
次に、本発明の車両認識用プログラムは、自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する処理をコンピュータに実行させる車両認識用プログラムであって、前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出処理と、前記特徴領域抽出処理により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング処理と、前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定処理と、前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定処理とを前記コンピュータに実行させる機能を有することを特徴とする（第７発明）。
【００２２】
第７発明の車両認識用プログラムによれば、第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００２３】
本発明の一実施形態を、図１〜図４を参照して説明する。図１を参照して、車両認識装置１０は自車両１（本発明の車両）に搭載して使用され、自車両１の前方を撮像するカメラ２により撮像される画像から、自車両１の周辺に存在する他車両を検出し、他車両と自車両１との相対位置を認識するものである。なお、カメラ２（本発明の撮像手段）はＣＣＤカメラ等であり、自車両１のフロント部分に取り付けられている。
【００２４】
また、車線認識装置１０により認識された他車両と自車両１との相対位置のデータは、車両１のＥＣＵ（Electronic Control Unit）２０に出力される。ＥＣＵ２０は、他車両と車両１との相対位置に基いて、自車両１が他車両と接触する可能性を判定する接触判定処理と、自車両１が他車両との接触の可能性がある状況となったときに、注意喚起出力（図示しないスピーカからの音声出力等による）を行なう注意喚起出力処理と、自車両１と他車両との接触が回避されるように、自車両１のブレーキやステアリングをアシスト駆動する接触回避制御処理とを実行する。
【００２５】
次に、図２を参照して、車両認識装置１０は、その機能として画像取得手段１１と、特徴領域抽出手段１２と、ペアリング手段１３と、判定領域設定手段１４と、特徴領域判定手段１５とを備えている。
【００２６】
画像取得手段１１は、カメラ２から出力される画像信号を入力し、入力した画像信号から、画素データにより構成されるカラー画像を取得する。このとき、画素データは、Ｒ値、Ｇ値、Ｂ値からなるカラー成分で構成されている。
【００２７】
特徴領域抽出手段１２は、画像取得手段１１により取得されたカラー画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する。このとき、特徴領域抽出手段１２は、画素値として画素のカラー成分を用い、カラー成分が特定色（本実施形態では赤色）に対応する範囲となる画素からなる領域を抽出する。具体的には、特徴領域抽出手段１２は、画素のカラー成分（Ｒ，Ｇ，Ｂ）から算出される色相・彩度を用いて、カラー成分が特定色に対応する範囲となることを判断する。
【００２８】
ペアリング手段１３は、特徴領域抽出手段１２により抽出された特徴領域のうち、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定する。
【００２９】
判定領域設定手段１４は、ペアリング手段１３により特定された第１の特徴領域について、第２の特徴領域方向の周辺域で第１の判定領域を設定する。これと共に、判定領域設定手段１４は、ペアリング手段１３により特定された第２の特徴領域について、第１及び第２の特徴領域の中心線に対して第１の判定領域と線対称の位置に第２の判定領域を設定する。
【００３０】
特徴領域判定手段１５は、判定領域設定手段１４により設定された第１判定領域と第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する。具体的には、特徴領域判定手段１５は、第１の判定領域の画素値の平均と第２の判定領域の画素値の平均との差が所定値以下である場合に、該第１及び第２の判定領域の相関の度合が高いと判定する。このとき、特徴領域判定手段１５は、画素値として、画素のカラー成分（Ｒ，Ｇ，Ｂ）から算出される輝度値を用いる。
【００３１】
車線認識装置１０は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。車両認識装置１０は、該コンピュータに本発明の車両認識用プログラムを実行させることによって、該コンピュータが、特徴領域抽出手段１２と、ペアリング手段１３と、判定領域設定手段１４と、特徴領域判定手段１５として機能する。
【００３２】
次に、車両認識装置１０による作動（車両認識処理）を、図３に示したフローチャートに従って説明する。図３に示したフローチャートによる処理は、車両認識装置１０の制御周期毎に繰り返し実行される。
【００３３】
図３のＳＴＥＰ１で、画像取得手段１１は、カメラ２を介してカラー画像を取得する。取得されたカラー画像はＡ／Ｄ変換されて画像メモリに格納される。図４（ａ）に、ある制御周期の時刻においてカメラ２によって得られるカラー画像Ｉ1を例示する。なお、図４（ａ）に示した例は、自車両１の前方に前走車Ｔが存在している場合の例である。
【００３４】
次に、ＳＴＥＰ２で、特徴領域抽出手段１２は、ＳＴＥＰ１で取得したカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、下記式（１）（２）を用いて、ＨＳＶ色空間における画素の色相Ｈと彩度Ｓを算出する。
【００３５】
【数１】
【００３６】
なお、MAXは（Ｒ，Ｇ，Ｂ）の最大値、MINは（Ｒ，Ｇ，Ｂ）の最小値である。
【００３７】
次に、ＳＴＥＰ３で、特徴領域抽出手段１２は、算出した色相Ｈと彩度Ｓを用いて、カラー成分が赤色に対応する範囲となる画素からなる特徴領域を抽出する。具体的には、特徴領域抽出手段１２は、カメラ２を介して取得されたカラー画像に、色相Ｈが所定範囲Ｈth1〜Ｈth2内で、且つ彩度Ｓが所定範囲Ｓth1〜Ｓth2内となる画素を「１」（白）とし、これ以外の画素を「０」（黒）として２値化処理を施して、さらにラベリング処理等を施し、特徴領域を抽出する。所定範囲Ｈth1〜Ｈth2，Ｓth1〜Ｓth2は、赤色に対応する範囲として予め定められる。
【００３８】
図４（ｂ）に、図４（ａ）に示した画像Ｉ1から特徴領域を抽出した画像Ｉ2を例示する。図４（ｂ）においてハッチングを付した領域が抽出された特徴領域である。図（ｂ）に示した例では、前走車Ｔのブレーキランプに相当する特徴領域Ａ１，Ａ２と、前走車Ｔのストップランプに相当する特徴領域Ａ３とが抽出されている。
【００３９】
次に、ＳＴＥＰ４で、ペアリング手段１３は、抽出した特徴領域から、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合Ａが所定値Ａth以上となる２つの特徴領域の組（第１の特徴領域と第２の特徴領域）を特定する。所定値Ａthは、１台の車両の１対のブレーキランプに相当する２つの特徴領域の組が画像上で取り得る類似の度合の範囲として予め定められる。また、本実施形態のように、自車両１の前方を撮像するようにカメラ２を自車両１に取り付けて、自車両１の前方（正面及び斜め前方）に存在する他車両を認識する場合は、画像のＸ方向，Ｙ方向が、それぞれ実空間（世界座標系）における水平方向，垂直方向に相当している。
【００４０】
図４（ｂ）に示す例では、ペアリング手段１３は、水平方向に並んでいる特徴領域として、画像上の任意の水平線ＬＨについて、水平線ＬＨを含む所定幅Ｗの範囲Ｒに含まれる２つの特徴領域Ａ１，Ａ２を特定する。さらに、ペアリング手段１３は、特徴領域Ａ１の形状と、特徴領域Ａ２を水平方向にミラー反転した形状（図４（ｂ）中のＡ２’）との類似の度合Ａを算出し、この類似の度合Ａが所定値Ａth以上であることから、２つの特徴領域の組として第１，第２特徴領域Ａ１，Ａ２を特定する。
【００４１】
これにより、２つの特徴領域の組がｎ個特定される。例えば、図４（ｂ）に示す例では、２つの特徴領域の組（第１の特徴領域Ａ１と第２の特徴領域Ａ２）が１個特定されている。
【００４２】
次に、特定された各組について、ＳＴＥＰ５〜１０の処理が、それぞれ実行される。なお、以下では、各組の第１の特徴領域をＡ１i、第２の特徴領域をＡ２i（ｉ＝１，．．．，n）で表している。
【００４３】
まず、ＳＴＥＰ５で、判定領域設定手段１４は、第１の特徴領域Ａ１iの第２の特徴領域Ａ２i方向の周辺域（所定距離だけ離れた位置）に、第１の判定領域Ｂ１iを設定すると共に、第２の特徴領域Ａ２iの第１の特徴領域Ａ１i方向の周辺域（同じ所定距離だけ離れた位置）に、第２の判定領域Ｂ２iを設定する。第１の判定領域Ｂ１iと第２の判定領域Ｂ２iとは、第１，第２の特徴領域Ａ１i，Ａ２iの中心線Ｌvに対して線対称の位置になっている。図４（ｃ）の画像Ｉ3に、図４（ｂ）に示した第１，第２の特徴領域Ａ１，Ａ２について設定された第１，第２の判定領域Ｂ１，Ｂ２を示す。図４（ｃ）に示すように、第１，第２の特徴領域Ａ１，Ａ２が前走車Ｔの１対のブレーキランプに相当する場合、第１，第２の判定領域Ｂ１，Ｂ２は、前走車Ｔのブレーキランプ周辺の車体部分に相当する。
【００４４】
次に、ＳＴＥＰ６で、特徴領域判定手段１５は、ＳＴＥＰ１で取得したカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から画素の輝度値Ｙを算出して、第１の判定領域Ｂ１iの輝度値の平均と第２の判定領域Ｂ２iの輝度値の平均との差ΔＹを算出する。詳細には、特徴領域判定手段１５は、取得されたカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、Ｙ＝α×Ｒ＋β×Ｇ＋γ×Ｂにより画素の輝度値Ｙを算出する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。なお、特徴領域判定手段１５は、輝度値Ｙを、Ｒ値，Ｇ値，Ｂ値のうちの最大値MAX、最小値MINを用いて、Ｙ＝（MAX＋MIN）／２により算出してもよい。または、輝度値ＹとしてＧ値を用いるものとしてもよい。
【００４５】
次に、ＳＴＥＰ７で、特徴領域判定手段１５は、算出した輝度値の平均の差ΔＹが所定値ΔＹth以下であるか否かを判断する。ＳＴＥＰ７の判断結果がＹＥＳ（輝度値の平均の差ΔＹが所定値ΔＹth以下である）の場合は、第１の判定領域Ｂ１iと第２の判定領域Ｂ２iとの相関が高く、第１，第２の判定領域Ｂ１i，Ｂ２iが、同じ車両の車体部分に相当していると判断できる。よって、第１，第２の特徴領域Ａ１i，Ａ２iが同じ車両の１対のブレーキランプに相当すると考えられる。この場合、ＳＴＥＰ８に進み、特徴領域判定手段１５は、画像座標系における第１，第２の特徴領域Ａ１i，Ａ２iの中心座標Ｐiを算出する。この中心座標Ｐiは、他車両の重心座標に相当する。図４（ｃ）に示す例では、第１，第２の特徴領域Ａ１，Ａ２から、前走車Ｔの重心座標に相当する中心座標Ｐ1が算出される。
【００４６】
次に、ＳＴＥＰ９で、特徴領域判定手段１５は、中心座標Ｐiを世界座標系に座標変換する。詳細には、カメラ２の焦点距離や画素間隔等のカメラパラメータや、画像上での第１，第２の特徴領域Ａ１i，Ａ２iの大きさと実空間上でのブレーキランプが取り得る大きさとから推定される他車両の自車両１に対する距離に基いて座標変換される。これにより、ＳＴＥＰ１０で、車両認識装置１０により、他車両の自車両１に対する相対位置が取得され、他車両が認識される。
【００４７】
一方、ＳＴＥＰ７の判断結果がＮＯ（輝度値の平均の差ΔＹが所定値ΔＹth以下でない）の場合は、第１の判定領域Ｂ１iと第２の判定領域Ｂ２iとの相関が低く、第１，第２の特徴領域Ａ１i，Ａ２iが同じ車両の１対のブレーキランプに相当しないと考えられる。この場合はＳＴＥＰ５に戻り、次の組についてＳＴＥＰ５〜１０の処理が行われる。
【００４８】
上述のＳＴＥＰ５〜１０の処理を各組について実行することにより、複数の他車両が存在する場合に、それぞれの他車両の１対のブレーキランプに相当する２つの特徴領域の組を特定して、それぞれの他車両の自車両１に対する相対位置を取得することができる。
【００４９】
以上が、本実施形態の車両認識装置１０における車両認識処理である。本実施形態によれば、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる。
【００５０】
なお、本実施形態では、特徴領域抽出手段１２は、特定色として赤色を用いたが、他の実施形態として、赤色以外の特定色（例えば黄色等）を用いてもよい。また、特徴領域抽出手段１２は、色相・彩度を用いて特徴領域を抽出するものとしたが、色相・彩度以外の値を用いてもよい。
【００５１】
また、本実施形態では、特徴領域抽出手段１２は、特徴領域として、カラー成分が特定色に対応する範囲となる画素からなる領域（特定色領域）を抽出するものとしたが、他の実施形態として、輝度値が所定値以上となる画素からなる領域（高輝度領域）を抽出するものとしてもよい。
【００５２】
また、本実施形態では、ペアリング手段１３は、抽出した特徴領域から、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる２つの特徴領域の組を特定するものとしたが、他の実施形態として、形状を用いずに、画像上で水平方向に並ぶ２つの特徴領域の組を特定するものとしてもよい。
【００５３】
また、本実施形態では、判定領域設定手段１４は、第１及び第２の特徴領域の中心線方向の周辺域に第１及び第２の判定領域を設定するものとしたが、他の実施形態として、第１及び第２の特徴領域の上下の周辺域に第１及び第２の判定領域を設定するものとしてもよい。
【００５４】
また、本実施形態では、特徴領域判定手段１５は、第１及び第２の判定領域の輝度値の平均の差が所定値以下である場合に、第１及び第２の判定領域の相関の度合が高いと判定するものとしたが、他の手法により相関の度合を判定するものとしてもよい。また、特徴領域判定手段１５は、例えば色相・彩度などの、輝度値以外の値を用いて、第１及び第２の判定領域の相関の度合を判定するものとしてもよい。
【００５５】
また、本実施形態では、カメラ２を介してカラー画像を取得するものとしたが、画素データが輝度値で構成されるグレースケール画像を取得するものとしてもよい。この場合、特徴領域抽出手段１２は輝度値を用いて特徴領域を抽出し、特徴領域判定手段１５は輝度値を用いて第１及び第２の判定領域の相関の度合を判定する。
【００５６】
また、本実施形態において、画像取得手段２は、画素データのカラー成分がＲ値、Ｇ値、Ｂ値で構成されるものとしたが、画素データのカラー成分として、例えばＣＭＹ出力等を用いるものとしてもよい。
【００５７】
また、本実施形態において、カメラ２により自車両１の前方を撮像し、車両認識装置１０は自車両１の前方の他車両を認識するものとしたが、他の実施形態として、カメラにより自車両１の後方を撮像し、車両認識装置１０は、車両の１対のヘッドランプを車両の特徴的な部分として、自車両１の後方の他車両を認識するものとしてもよい。
【００５８】
また、他の実施形態として、自車両１に物体を検知するレーダ（例えばミリ波レーダ、超音波レーダ、レーザレーダ等）を備え、このレーダの検知結果として得られる物体の位置情報を、画像から認識される他車両と対応付けることで、他車両と自車両との相対位置を取得するものとしてもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の車両認識装置の自車両への搭載態様を示した説明図。
【図２】図１に示した車両認識装置の構成図。
【図３】図１に示した車両認識装置による他の車両を認識する車両認識処理を示すフローチャート。
【図４】図３の車両認識処理の説明図。
【符号の説明】
【００６０】
１…車両（自車両）、２…カメラ（撮像手段）、１０…車両認識装置、１１…画像取得手段、１２…特徴領域抽出手段、１３…ペアリング手段、１４…判定領域設定手段、１５…特徴領域判定手段、２０…ＥＣＵ。
【技術分野】
【０００１】
本発明は、撮像手段を介して取得した画像を用いて対象物を認識する装置、車両、及びその装置の処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来、撮像手段により周辺を撮像し、撮像された画像から周辺に存在する対象物を認識する技術が知られている（例えば、特許文献１を参照）。この技術により、例えば自車両が走行する道路上及びその周囲に存在する対象物を認識し、その認識結果に応じて、運転者への情報提示や車両の走行制御を行うことが可能となる。
【０００３】
特許文献１のストップランプ点灯検出装置では、自車両の前方を撮像したカラー画像から、画素の色情報と輝度情報を用いて点灯ランプを検出する手法を応用して、先行車両のストップランプを検出する。具体的には、この装置では、画像から特定色（ストップランプ色）およびその近似色が一定画素数以上連続する領域を抽出して、この抽出した領域から各画素の特定色への近似度の平均値が閾値以上の領域を特定し、さらに特定された領域の輝度値平均が閾値以上の場合にストップランプと判定する。これにより、先行車両が認識される。そして、このストップランプ点灯検出装置を車間距離接近警報装置と組み合わせて、先行車両のストップランプ検出結果に基づいて先行車両との接近状態を評価して警報を発する。
【特許文献１】特開平８−３３５３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このように車両のストップランプ（ブレーキランプ）を特徴として車両を検出する際には、周辺に複数の車両が存在した場合に、各車両のブレーキランプを区別することが必要である。しかしながら、特許文献１の装置では、複数の車両が存在する場合については全く考慮されていない。このため、特許文献１の装置では、複数の車両が重なって撮像され、画像中に複数のブレーキランプ群が存在する場合に、各車両のブレーキランプを区別してそれぞれ検出できないため、車両が適切に認識されないという不都合がある。
【０００５】
本発明は、かかる背景に鑑みてなされたものであり、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる車両認識装置、車両、及び車両認識用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために、本発明の車両認識装置は、自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する車両認識装置において、前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は該第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段とを備えることを特徴とする（第１発明）。
【０００７】
第１発明の車両認識装置によれば、特徴領域抽出手段により、周辺を撮像した画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する。これにより、ブレーキランプやヘッドランプ等の、車両の輝度や色が特徴的な部分に相当する領域が特徴領域として抽出される。このとき、周辺に複数の車両が存在する場合、画像上で複数の車両についての特徴領域が混在する。
【０００８】
これに対して、例えばブレーキランプは、車両の車幅方向（水平方向）の中心に対して左右対称に２つ設けられているので、画像上で水平方向に並ぶこととなる。そこで、ペアリング手段により、画像上で水平方向に並んでいる２つの特徴領域の組（第１の特徴領域と第２の特徴領域）を特定する。これにより、１台の車両の１対のブレーキランプに相当する可能性が高い組が特定される。ただし、このように特定された組には、２台の車両が水平方向に並んでいて、一方の車両のブレーキランプと他方の車両のブレーキランプとが組とされた場合も含まれ得る。
【０００９】
そこで、判定領域設定手段により、第１の特徴領域について、第１の特徴領域の上下又は第２の特徴領域方向の周辺域に第１の判定領域を設定すると共に、第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して第１の判定領域と線対称の位置に第２の判定領域を設定する。２つの特徴領域の組が１台の車両の１対のブレーキランプに相当する場合には、これらの判定領域は、同じ車両のブレーキランプ周辺の車体部分に相当する。そして、この場合は、同じ車両の車体部分は輝度や色が同じ部分が多いので、画像上での第１及び第２の判定領域の特徴が類似し、第１の判定領域と第２の判定領域との相関の度合が高くなる。
【００１０】
これに対して、２つの特徴領域の組が別の車両のブレーキランプからなる場合には、判定領域を２つの特徴領域の中心線方向の周辺域で設定すると、判定領域が車両以外の背景部分に相当する。この場合、背景部分では多様なものが撮像されるので、画像上での第１及び第２の判定領域の特徴が相違し、第１の判定領域と第２の判定領域との相関の度合が低くなる。また、判定領域を２つの特徴領域の上下の周辺域に設定すると、判定領域が異なる車両の車体部分に相当する。この場合、異なる車両の車体部分は輝度や色が異なることが多いので、画像上での第１及び第２の判定領域の特徴が相違し、第１の判定領域と第２の判定領域との相関の度合が低くなる。したがって、特徴領域判定手段により、第１の判定領域と第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定することで、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる。
【００１１】
また、第１発明の車両認識装置において、前記特徴領域抽出手段は、前記特徴領域として、輝度値が所定値以上となる画素からなる領域を抽出することが好ましい（第２発明）。
【００１２】
第２発明の車両認識装置によれば、ブレーキランプ等は一般的に輝度が高いことから、特徴領域抽出手段により輝度値が所定値以上となる画素からなる領域を抽出することで、ブレーキランプ等に相当する特徴領域を抽出することができる。
【００１３】
または、第１発明の車両認識装置において、前記撮像手段を介して取得された画像がカラー画像である場合に、前記特徴領域抽出手段は、前記特徴領域として、カラー成分が特定色に対応する範囲となる画素からなる領域を抽出することが好ましい（第３発明）。
【００１４】
第３発明の車両認識装置によれば、ブレーキランプ等は一般的に赤や黄などの特定色であることから、特徴領域抽出手段によりカラー成分が特定色に対応する範囲となる画素からなる領域を抽出することで、ブレーキランプ等に相当する特徴領域を抽出することができる。
【００１５】
また、第１〜第３発明のうちいずれかの車両認識装置において、前記ペアリング手段は、前記特徴領域のうち、前記画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定することが好ましい（第４発明）。
【００１６】
第４発明の車両認識装置によれば、例えば１台の車両の１対のブレーキランプは、車両の車幅方向（水平方向）の中心に対して左右対称に設けられているので、１台の車両の１対のブレーキランプに相当する２つの特徴領域の組では、一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が高くなると考えられる。よって、ペアリング手段により、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定することで、特徴領域のうち、１台の車両の１対のブレーキランプ等に相当する２つの特徴領域の組をより精度良く特定することができる。
【００１７】
また、第１〜第４発明のうちいずれかの車両認識装置において、前記特徴領域判定手段は、前記第１の判定領域の画素値の平均と前記第２の判定領域の画素値の平均との差が所定値以下である場合に、該第１及び第２の判定領域の相関の度合が高いと判定することが好ましい（第５発明）。
【００１８】
第５発明の車両認識装置によれば、第１及び第２の判定領域の画素値の平均は、各判定領域の特徴の傾向を示すものであるので、これらの画素値の平均の差が小さい場合に、第１及び第２の判定領域の相関の度合が高いことが把握される。なお、画素値としては、例えば画素の輝度値や、画像がカラー画像の場合、画素のカラー成分を用いることができる。よって、特徴領域判定手段により、第１及び第２の判定領域の画素値の平均の差が所定値以下である場合に、相関の度合が高いと判定することで、２つの特徴領域の組が１つの他の車両に対応することを適切に判定することができる。
【００１９】
次に、本発明の車両は、撮像手段を備え、該撮像手段を介して取得された画像に基づいて周辺に存在する他の車両を認識する機能を有する車両であって、前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段とを備えたことを特徴とする（第６発明）。
【００２０】
第６発明の車両によれば、第１発明の車両認識装置に関して説明したように、ペアリング手段により、画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定することで、１台の車両の１対のブレーキランプ等に相当する可能性が高い２つの特徴領域の組が特定される。そして、判定領域設定手段により、２つの特徴領域の組について、第１及び第２の特徴領域の上下又は該２つの特徴領域の中心線方向の周辺域で、第１及び第２の判定領域を該中心線に対して線対称な位置に設定することで、第１の判定領域と第２の判定領域との相関の度合が高いことから、２つの特徴領域の組が１台の車両の１対のブレーキランプ等に相当することを判定できる。よって、特徴領域判定手段により、第１の判定領域と第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定することで、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、周辺に存在する他の車両を適切に認識することができる。
【００２１】
次に、本発明の車両認識用プログラムは、自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する処理をコンピュータに実行させる車両認識用プログラムであって、前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出処理と、前記特徴領域抽出処理により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング処理と、前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定処理と、前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定処理とを前記コンピュータに実行させる機能を有することを特徴とする（第７発明）。
【００２２】
第７発明の車両認識用プログラムによれば、第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００２３】
本発明の一実施形態を、図１〜図４を参照して説明する。図１を参照して、車両認識装置１０は自車両１（本発明の車両）に搭載して使用され、自車両１の前方を撮像するカメラ２により撮像される画像から、自車両１の周辺に存在する他車両を検出し、他車両と自車両１との相対位置を認識するものである。なお、カメラ２（本発明の撮像手段）はＣＣＤカメラ等であり、自車両１のフロント部分に取り付けられている。
【００２４】
また、車線認識装置１０により認識された他車両と自車両１との相対位置のデータは、車両１のＥＣＵ（Electronic Control Unit）２０に出力される。ＥＣＵ２０は、他車両と車両１との相対位置に基いて、自車両１が他車両と接触する可能性を判定する接触判定処理と、自車両１が他車両との接触の可能性がある状況となったときに、注意喚起出力（図示しないスピーカからの音声出力等による）を行なう注意喚起出力処理と、自車両１と他車両との接触が回避されるように、自車両１のブレーキやステアリングをアシスト駆動する接触回避制御処理とを実行する。
【００２５】
次に、図２を参照して、車両認識装置１０は、その機能として画像取得手段１１と、特徴領域抽出手段１２と、ペアリング手段１３と、判定領域設定手段１４と、特徴領域判定手段１５とを備えている。
【００２６】
画像取得手段１１は、カメラ２から出力される画像信号を入力し、入力した画像信号から、画素データにより構成されるカラー画像を取得する。このとき、画素データは、Ｒ値、Ｇ値、Ｂ値からなるカラー成分で構成されている。
【００２７】
特徴領域抽出手段１２は、画像取得手段１１により取得されたカラー画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する。このとき、特徴領域抽出手段１２は、画素値として画素のカラー成分を用い、カラー成分が特定色（本実施形態では赤色）に対応する範囲となる画素からなる領域を抽出する。具体的には、特徴領域抽出手段１２は、画素のカラー成分（Ｒ，Ｇ，Ｂ）から算出される色相・彩度を用いて、カラー成分が特定色に対応する範囲となることを判断する。
【００２８】
ペアリング手段１３は、特徴領域抽出手段１２により抽出された特徴領域のうち、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定する。
【００２９】
判定領域設定手段１４は、ペアリング手段１３により特定された第１の特徴領域について、第２の特徴領域方向の周辺域で第１の判定領域を設定する。これと共に、判定領域設定手段１４は、ペアリング手段１３により特定された第２の特徴領域について、第１及び第２の特徴領域の中心線に対して第１の判定領域と線対称の位置に第２の判定領域を設定する。
【００３０】
特徴領域判定手段１５は、判定領域設定手段１４により設定された第１判定領域と第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する。具体的には、特徴領域判定手段１５は、第１の判定領域の画素値の平均と第２の判定領域の画素値の平均との差が所定値以下である場合に、該第１及び第２の判定領域の相関の度合が高いと判定する。このとき、特徴領域判定手段１５は、画素値として、画素のカラー成分（Ｒ，Ｇ，Ｂ）から算出される輝度値を用いる。
【００３１】
車線認識装置１０は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。車両認識装置１０は、該コンピュータに本発明の車両認識用プログラムを実行させることによって、該コンピュータが、特徴領域抽出手段１２と、ペアリング手段１３と、判定領域設定手段１４と、特徴領域判定手段１５として機能する。
【００３２】
次に、車両認識装置１０による作動（車両認識処理）を、図３に示したフローチャートに従って説明する。図３に示したフローチャートによる処理は、車両認識装置１０の制御周期毎に繰り返し実行される。
【００３３】
図３のＳＴＥＰ１で、画像取得手段１１は、カメラ２を介してカラー画像を取得する。取得されたカラー画像はＡ／Ｄ変換されて画像メモリに格納される。図４（ａ）に、ある制御周期の時刻においてカメラ２によって得られるカラー画像Ｉ1を例示する。なお、図４（ａ）に示した例は、自車両１の前方に前走車Ｔが存在している場合の例である。
【００３４】
次に、ＳＴＥＰ２で、特徴領域抽出手段１２は、ＳＴＥＰ１で取得したカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、下記式（１）（２）を用いて、ＨＳＶ色空間における画素の色相Ｈと彩度Ｓを算出する。
【００３５】
【数１】
【００３６】
なお、MAXは（Ｒ，Ｇ，Ｂ）の最大値、MINは（Ｒ，Ｇ，Ｂ）の最小値である。
【００３７】
次に、ＳＴＥＰ３で、特徴領域抽出手段１２は、算出した色相Ｈと彩度Ｓを用いて、カラー成分が赤色に対応する範囲となる画素からなる特徴領域を抽出する。具体的には、特徴領域抽出手段１２は、カメラ２を介して取得されたカラー画像に、色相Ｈが所定範囲Ｈth1〜Ｈth2内で、且つ彩度Ｓが所定範囲Ｓth1〜Ｓth2内となる画素を「１」（白）とし、これ以外の画素を「０」（黒）として２値化処理を施して、さらにラベリング処理等を施し、特徴領域を抽出する。所定範囲Ｈth1〜Ｈth2，Ｓth1〜Ｓth2は、赤色に対応する範囲として予め定められる。
【００３８】
図４（ｂ）に、図４（ａ）に示した画像Ｉ1から特徴領域を抽出した画像Ｉ2を例示する。図４（ｂ）においてハッチングを付した領域が抽出された特徴領域である。図（ｂ）に示した例では、前走車Ｔのブレーキランプに相当する特徴領域Ａ１，Ａ２と、前走車Ｔのストップランプに相当する特徴領域Ａ３とが抽出されている。
【００３９】
次に、ＳＴＥＰ４で、ペアリング手段１３は、抽出した特徴領域から、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合Ａが所定値Ａth以上となる２つの特徴領域の組（第１の特徴領域と第２の特徴領域）を特定する。所定値Ａthは、１台の車両の１対のブレーキランプに相当する２つの特徴領域の組が画像上で取り得る類似の度合の範囲として予め定められる。また、本実施形態のように、自車両１の前方を撮像するようにカメラ２を自車両１に取り付けて、自車両１の前方（正面及び斜め前方）に存在する他車両を認識する場合は、画像のＸ方向，Ｙ方向が、それぞれ実空間（世界座標系）における水平方向，垂直方向に相当している。
【００４０】
図４（ｂ）に示す例では、ペアリング手段１３は、水平方向に並んでいる特徴領域として、画像上の任意の水平線ＬＨについて、水平線ＬＨを含む所定幅Ｗの範囲Ｒに含まれる２つの特徴領域Ａ１，Ａ２を特定する。さらに、ペアリング手段１３は、特徴領域Ａ１の形状と、特徴領域Ａ２を水平方向にミラー反転した形状（図４（ｂ）中のＡ２’）との類似の度合Ａを算出し、この類似の度合Ａが所定値Ａth以上であることから、２つの特徴領域の組として第１，第２特徴領域Ａ１，Ａ２を特定する。
【００４１】
これにより、２つの特徴領域の組がｎ個特定される。例えば、図４（ｂ）に示す例では、２つの特徴領域の組（第１の特徴領域Ａ１と第２の特徴領域Ａ２）が１個特定されている。
【００４２】
次に、特定された各組について、ＳＴＥＰ５〜１０の処理が、それぞれ実行される。なお、以下では、各組の第１の特徴領域をＡ１i、第２の特徴領域をＡ２i（ｉ＝１，．．．，n）で表している。
【００４３】
まず、ＳＴＥＰ５で、判定領域設定手段１４は、第１の特徴領域Ａ１iの第２の特徴領域Ａ２i方向の周辺域（所定距離だけ離れた位置）に、第１の判定領域Ｂ１iを設定すると共に、第２の特徴領域Ａ２iの第１の特徴領域Ａ１i方向の周辺域（同じ所定距離だけ離れた位置）に、第２の判定領域Ｂ２iを設定する。第１の判定領域Ｂ１iと第２の判定領域Ｂ２iとは、第１，第２の特徴領域Ａ１i，Ａ２iの中心線Ｌvに対して線対称の位置になっている。図４（ｃ）の画像Ｉ3に、図４（ｂ）に示した第１，第２の特徴領域Ａ１，Ａ２について設定された第１，第２の判定領域Ｂ１，Ｂ２を示す。図４（ｃ）に示すように、第１，第２の特徴領域Ａ１，Ａ２が前走車Ｔの１対のブレーキランプに相当する場合、第１，第２の判定領域Ｂ１，Ｂ２は、前走車Ｔのブレーキランプ周辺の車体部分に相当する。
【００４４】
次に、ＳＴＥＰ６で、特徴領域判定手段１５は、ＳＴＥＰ１で取得したカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から画素の輝度値Ｙを算出して、第１の判定領域Ｂ１iの輝度値の平均と第２の判定領域Ｂ２iの輝度値の平均との差ΔＹを算出する。詳細には、特徴領域判定手段１５は、取得されたカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、Ｙ＝α×Ｒ＋β×Ｇ＋γ×Ｂにより画素の輝度値Ｙを算出する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。なお、特徴領域判定手段１５は、輝度値Ｙを、Ｒ値，Ｇ値，Ｂ値のうちの最大値MAX、最小値MINを用いて、Ｙ＝（MAX＋MIN）／２により算出してもよい。または、輝度値ＹとしてＧ値を用いるものとしてもよい。
【００４５】
次に、ＳＴＥＰ７で、特徴領域判定手段１５は、算出した輝度値の平均の差ΔＹが所定値ΔＹth以下であるか否かを判断する。ＳＴＥＰ７の判断結果がＹＥＳ（輝度値の平均の差ΔＹが所定値ΔＹth以下である）の場合は、第１の判定領域Ｂ１iと第２の判定領域Ｂ２iとの相関が高く、第１，第２の判定領域Ｂ１i，Ｂ２iが、同じ車両の車体部分に相当していると判断できる。よって、第１，第２の特徴領域Ａ１i，Ａ２iが同じ車両の１対のブレーキランプに相当すると考えられる。この場合、ＳＴＥＰ８に進み、特徴領域判定手段１５は、画像座標系における第１，第２の特徴領域Ａ１i，Ａ２iの中心座標Ｐiを算出する。この中心座標Ｐiは、他車両の重心座標に相当する。図４（ｃ）に示す例では、第１，第２の特徴領域Ａ１，Ａ２から、前走車Ｔの重心座標に相当する中心座標Ｐ1が算出される。
【００４６】
次に、ＳＴＥＰ９で、特徴領域判定手段１５は、中心座標Ｐiを世界座標系に座標変換する。詳細には、カメラ２の焦点距離や画素間隔等のカメラパラメータや、画像上での第１，第２の特徴領域Ａ１i，Ａ２iの大きさと実空間上でのブレーキランプが取り得る大きさとから推定される他車両の自車両１に対する距離に基いて座標変換される。これにより、ＳＴＥＰ１０で、車両認識装置１０により、他車両の自車両１に対する相対位置が取得され、他車両が認識される。
【００４７】
一方、ＳＴＥＰ７の判断結果がＮＯ（輝度値の平均の差ΔＹが所定値ΔＹth以下でない）の場合は、第１の判定領域Ｂ１iと第２の判定領域Ｂ２iとの相関が低く、第１，第２の特徴領域Ａ１i，Ａ２iが同じ車両の１対のブレーキランプに相当しないと考えられる。この場合はＳＴＥＰ５に戻り、次の組についてＳＴＥＰ５〜１０の処理が行われる。
【００４８】
上述のＳＴＥＰ５〜１０の処理を各組について実行することにより、複数の他車両が存在する場合に、それぞれの他車両の１対のブレーキランプに相当する２つの特徴領域の組を特定して、それぞれの他車両の自車両１に対する相対位置を取得することができる。
【００４９】
以上が、本実施形態の車両認識装置１０における車両認識処理である。本実施形態によれば、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる。
【００５０】
なお、本実施形態では、特徴領域抽出手段１２は、特定色として赤色を用いたが、他の実施形態として、赤色以外の特定色（例えば黄色等）を用いてもよい。また、特徴領域抽出手段１２は、色相・彩度を用いて特徴領域を抽出するものとしたが、色相・彩度以外の値を用いてもよい。
【００５１】
また、本実施形態では、特徴領域抽出手段１２は、特徴領域として、カラー成分が特定色に対応する範囲となる画素からなる領域（特定色領域）を抽出するものとしたが、他の実施形態として、輝度値が所定値以上となる画素からなる領域（高輝度領域）を抽出するものとしてもよい。
【００５２】
また、本実施形態では、ペアリング手段１３は、抽出した特徴領域から、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる２つの特徴領域の組を特定するものとしたが、他の実施形態として、形状を用いずに、画像上で水平方向に並ぶ２つの特徴領域の組を特定するものとしてもよい。
【００５３】
また、本実施形態では、判定領域設定手段１４は、第１及び第２の特徴領域の中心線方向の周辺域に第１及び第２の判定領域を設定するものとしたが、他の実施形態として、第１及び第２の特徴領域の上下の周辺域に第１及び第２の判定領域を設定するものとしてもよい。
【００５４】
また、本実施形態では、特徴領域判定手段１５は、第１及び第２の判定領域の輝度値の平均の差が所定値以下である場合に、第１及び第２の判定領域の相関の度合が高いと判定するものとしたが、他の手法により相関の度合を判定するものとしてもよい。また、特徴領域判定手段１５は、例えば色相・彩度などの、輝度値以外の値を用いて、第１及び第２の判定領域の相関の度合を判定するものとしてもよい。
【００５５】
また、本実施形態では、カメラ２を介してカラー画像を取得するものとしたが、画素データが輝度値で構成されるグレースケール画像を取得するものとしてもよい。この場合、特徴領域抽出手段１２は輝度値を用いて特徴領域を抽出し、特徴領域判定手段１５は輝度値を用いて第１及び第２の判定領域の相関の度合を判定する。
【００５６】
また、本実施形態において、画像取得手段２は、画素データのカラー成分がＲ値、Ｇ値、Ｂ値で構成されるものとしたが、画素データのカラー成分として、例えばＣＭＹ出力等を用いるものとしてもよい。
【００５７】
また、本実施形態において、カメラ２により自車両１の前方を撮像し、車両認識装置１０は自車両１の前方の他車両を認識するものとしたが、他の実施形態として、カメラにより自車両１の後方を撮像し、車両認識装置１０は、車両の１対のヘッドランプを車両の特徴的な部分として、自車両１の後方の他車両を認識するものとしてもよい。
【００５８】
また、他の実施形態として、自車両１に物体を検知するレーダ（例えばミリ波レーダ、超音波レーダ、レーザレーダ等）を備え、このレーダの検知結果として得られる物体の位置情報を、画像から認識される他車両と対応付けることで、他車両と自車両との相対位置を取得するものとしてもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の車両認識装置の自車両への搭載態様を示した説明図。
【図２】図１に示した車両認識装置の構成図。
【図３】図１に示した車両認識装置による他の車両を認識する車両認識処理を示すフローチャート。
【図４】図３の車両認識処理の説明図。
【符号の説明】
【００６０】
１…車両（自車両）、２…カメラ（撮像手段）、１０…車両認識装置、１１…画像取得手段、１２…特徴領域抽出手段、１３…ペアリング手段、１４…判定領域設定手段、１５…特徴領域判定手段、２０…ＥＣＵ。
【特許請求の範囲】
【請求項１】
自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する車両認識装置において、
前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、
前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、
前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、
前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段と
を備えることを特徴とする車両認識装置。
【請求項２】
請求項１記載の車両認識装置において、
前記特徴領域抽出手段は、前記特徴領域として、輝度値が所定値以上となる画素からなる領域を抽出することを特徴とする車両認識装置。
【請求項３】
請求項１記載の車両認識装置において、
前記撮像手段を介して取得された画像はカラー画像であり、
前記特徴領域抽出手段は、前記特徴領域として、カラー成分が特定色に対応する範囲となる画素からなる領域を抽出することを特徴とする車両認識装置。
【請求項４】
請求項１〜３のうちいずれか記載の車両認識装置において、
前記ペアリング手段は、前記特徴領域のうち、前記画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定することを特徴とする車両認識装置。
【請求項５】
請求項１〜４のうちいずれか記載の車両認識装置において、
前記特徴領域判定手段は、前記第１の判定領域の画素値の平均と前記第２の判定領域の画素値の平均との差が所定値以下である場合に、該第１及び第２の判定領域の相関の度合が高いと判定することを特徴とする車両認識装置。
【請求項６】
撮像手段を備え、該撮像手段を介して取得された画像に基づいて周辺に存在する他の車両を認識する機能を有する車両であって、
前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、
前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、
前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、
前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段とを備えたことを特徴とする車両。
【請求項７】
自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する処理をコンピュータに実行させる車両認識用プログラムであって、
前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出処理と、
前記特徴領域抽出処理により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング処理と、
前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定処理と、
前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定処理と
を前記コンピュータに実行させる機能を有することを特徴とする車両認識用プログラム。
【請求項１】
自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する車両認識装置において、
前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、
前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、
前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、
前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段と
を備えることを特徴とする車両認識装置。
【請求項２】
請求項１記載の車両認識装置において、
前記特徴領域抽出手段は、前記特徴領域として、輝度値が所定値以上となる画素からなる領域を抽出することを特徴とする車両認識装置。
【請求項３】
請求項１記載の車両認識装置において、
前記撮像手段を介して取得された画像はカラー画像であり、
前記特徴領域抽出手段は、前記特徴領域として、カラー成分が特定色に対応する範囲となる画素からなる領域を抽出することを特徴とする車両認識装置。
【請求項４】
請求項１〜３のうちいずれか記載の車両認識装置において、
前記ペアリング手段は、前記特徴領域のうち、前記画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定することを特徴とする車両認識装置。
【請求項５】
請求項１〜４のうちいずれか記載の車両認識装置において、
前記特徴領域判定手段は、前記第１の判定領域の画素値の平均と前記第２の判定領域の画素値の平均との差が所定値以下である場合に、該第１及び第２の判定領域の相関の度合が高いと判定することを特徴とする車両認識装置。
【請求項６】
撮像手段を備え、該撮像手段を介して取得された画像に基づいて周辺に存在する他の車両を認識する機能を有する車両であって、
前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、
前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、
前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、
前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段とを備えたことを特徴とする車両。
【請求項７】
自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する処理をコンピュータに実行させる車両認識用プログラムであって、
前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出処理と、
前記特徴領域抽出処理により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング処理と、
前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定処理と、
前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定処理と
を前記コンピュータに実行させる機能を有することを特徴とする車両認識用プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−２３０５３０（Ｐ２００９−２３０５３０Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７６１６１（Ｐ２００８−７６１６１）
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]