画像処理装置
【課題】ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出し、ドライバーにとってより安全な視界を提供する。
【解決手段】第１の撮像素子と第２の撮像素子で撮像した２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、第１の撮像素子で撮像した画像から検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、第１の距離情報と第２の距離情報を比較し、比較した比較結果に基づいて検知対象物候補から対象物を検知する対象物検知手段と、を有する。
【解決手段】第１の撮像素子と第２の撮像素子で撮像した２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、第１の撮像素子で撮像した画像から検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、第１の距離情報と第２の距離情報を比較し、比較した比較結果に基づいて検知対象物候補から対象物を検知する対象物検知手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載された撮像素子で撮影された画像から対象を検知する画像処理装置に関する。
【背景技術】
【０００２】
従来から、夜間、車載カメラの映像から光点を解析することで、対向車や先行車の有無を判断し、ヘッドライトのハイビーム、ロービームを自動的に切り替える配光制御技術の研究開発が行われている。
【０００３】
特許文献１では、カラーカメラの映像から、先行車のテールライトや対向車のヘッドライトを検出して先行車や対向車のドライバーを眩惑しないようにヘッドライトをハイビームからロービームに切り替える技術が記載されている。ドライバーは先行車や対向車に注意しながらハイビームやロービームの切り替えをする必要が無くなり、運転に集中することができる。
【０００４】
しかしながら、その制御のタイミングが適切でないと、ドライバーに違和感を与える恐れがある。制御が不適切になる一番の要因は、カメラによる先行車のテールライトや対向車のヘッドライトの検知漏れやその他光源の誤検知である。例えば、暗いテールライトを検知漏れしたり、路上のデリニエータや信号機、街灯などの外乱光を車両灯と誤検知したりすることがあり、この検知不具合によって誤動作が生じる。この検知不具合をいかにして減らすかが技術課題となる。
【０００５】
特許文献１では、２つの光源を光源対として検出する手段が記載されている。対向車のヘッドライトや先行車のテールライトは左右２つの光源が横に並んで対になっているので、それをペアリングして、ペアリングできたか否かで他車両の光源かどうかを判定する。また、光源対の間隔からおおよその距離を算出する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３５０３２３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来例ではペアリングできたか否かで他車両の光源かどうか判定しているため、交通量の多い交差点の信号機のように左右２基敷設されている場合、それらがペアリングされて他車両と誤判定されることがある。一般に信号機は上方に敷設されているので、近傍の場合は画面上でも上方に写り他車両の光源と区別できるが、２００〜３００ｍ以上の遠方の場合は画面上で消失点付近に写るため、高さ情報で区別することが難しくなる。
【０００８】
本発明の目的は、ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出し、ドライバーにとってより安全な視界を提供することである。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明は、第１の撮像素子と第２の撮像素子で撮像した２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、第１の撮像素子で撮像した画像から検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、第１の距離情報と第２の距離情報を比較し、比較した比較結果に基づいて検知対象物候補から対象物を検知する対象物検知手段と、を有する構成とする。
【発明の効果】
【００１０】
ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出し、ドライバーにとってより安全な視界を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理装置を含むヘッドライト配光制御方法の一構成例を示す図である。
【図２】図１のカメラ及び画像信号処理ユニットの一構成例を示す図である。
【図３】図１のカメラとヘッドライトの関係を説明する図である。
【図４】図２のＣＭＯＳのカラーフィルタのベイヤー配列を説明する図である。
【図５】図２のＣＭＯＳの色再生処理を説明する図である。
【図６】図２の色再生ＤＳＰのＵＶ画像を説明する図である。
【図７】本発明に係る画像処理装置の２値画像とラベル画像の関係を示す図である。
【図８】テールライトと信号機の光点の見え方を説明する図である。
【図９】テールライトと信号機の位置関係を説明する図である。
【図１０】本発明に係る画像処理装置の単眼カメラを用いた先行車テールライトまでの測距方法を説明する図である。
【図１１】本発明に係る画像処理装置のステレオカメラを用いた先行車テールライトまでの測距方法を説明する図である。
【図１２】本発明に係る画像処理装置の処理フローを示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の画像処理装置に関わる実施例である、ヘッドライト配光制御方法を実現するための全体の構成を示す概略図である。
【００１３】
撮像装置であるカメラ１０１は車両の前方の視界を捕らえられるように、ヘッドライト１０４は車両の前方を照らすように、それぞれヘッドライトユニット１０５内に設置される。カメラ１０１で撮像された車両前方画像は画像信号処理ユニット１０２に入力され、画像信号処理ユニット１０２は、車両前方に存在する対向車のヘッドライトおよび、先行車のテールライトの個数や位置を計算する。計算された情報は、ヘッドライト制御ユニット１０３に送られる。車両前方に存在する対向車のヘッドライトおよび、先行車のテールライトが存在しない場合は、画像処理装置である画像信号処理ユニット１０２は、存在しないという情報をヘッドライト制御ユニット１０３に送る。ヘッドライト制御ユニット１０３では、受け取った情報からヘッドライト１０４をハイビームにするかロービームにするかを判断して、ヘッドライト１０４を制御する。
【００１４】
各ユニットの配置に関しては、カメラ１０１とヘッドライト１０４をできるだけ近くに設置することが望ましい。そうすることで、光軸調整などのキャリブレーションの簡便化に繋がる。
【００１５】
しかし、ヘッドライトユニット１０５のスペースに余裕がなくカメラ１０１が収まらない場合は、カメラ１０１を車室内、たとえばルームミラーの奥等に設置して車両前方が写る位置に設置しても良い。
【００１６】
さらに、図３のように撮像装置であるカメラ１０１の光軸３０１とヘッドライト１０４の光軸３０２は平行にしておく。光軸を平行にしなければ、カメラ１０１で撮像された空間位置とヘッドライト１０４で投光する空間位置にずれが生じてしまうためである。また、カメラの画角３０３はヘッドライト１０４の照射角３０４と同等、もしくはそれ以上に合わせておく。
【００１７】
次に、カメラ１０１で対向車のヘッドライトと先行車のテールライトを検出する方法について説明する。
【００１８】
図１は、撮像装置であるカメラ１０１と、画像処理装置である画像信号処理ユニット１０２の内部構成を示した図である。
【００１９】
カメラ１０１は、ステレオカメラで左右２つ（第１の撮像装置である右カメラ１０１ｂ、第２の撮像装置である左カメラ１０１ａ）存在する。
【００２０】
各カメラは、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子であるＣＭＯＳ２０１ａ、２０１ｂ（Complementary Metal Oxide Semiconductor）を備え、各画素の表面には赤（Ｒ）・緑（Ｇ）・青（Ｂ）のカラーフィルタが図４のようにベイヤー配列で配置されている。
【００２１】
そのため、画素４０１には赤色の光だけ、画素４０２は緑色の光だけ、画素４０３は青色の光だけが入射する。このベイヤー配列のＣＭＯＳ２０１ａ、２０１ｂで得られたＲＡＷ画像は、それぞれ各カメラに設けた色再生処理部である色再生ＤＳＰ２０２ａ、２０２ｂに転送される。
【００２２】
色再生処理部である色再生ＤＳＰ２０２ａ、２０２ｂでは、色再生処理を行った後、ＲＧＢ画像をさらにＹ画像、ＵＶ画像に変換して、画像処理装置である画像信号処理ユニット１０２の画像入力Ｉ／Ｆ２０５に送信する。
【００２３】
ここで、ベイヤー配列をもつ一般的なカラーＣＭＯＳで行われる色再生（デモザイク）処理の仕組みを説明する。
【００２４】
各画素は赤（Ｒ）か、緑（Ｇ）か、青（Ｂ）かのいずれか１色の強度しか測定できないため、それ以外の色は周囲の色を参照して推定する。たとえば、図５（ａ）の中央のＧ22の画素のＲＧＢはそれぞれ次式（１）のようにして求められる。
【００２５】
【数１】
【００２６】
同様に、図５（ｂ）の中央のＲ22の画素のＲＧＢはそれぞれ次式（２）のようにして求められる。
【００２７】
【数２】
【００２８】
その他の画素も同様にして求められる。このように求めていくと、すべての画素でＲＧＢの３原色を計算することができ、ＲＧＢ画像を得ることができる。さらに、全画素での明度Ｙ、色差信号Ｕ、Ｖを、次式（３）から求めてＹ画像、ＵＶ画像を作成する。
【００２９】
【数３】
【００３０】
Ｙ画像は各画素が０から２５５の８ｂｉｔのデータになっていて、２５５に近いほど明るいことを意味している。
【００３１】
画像信号は連続的に送信されるがその先頭には同期信号が含まれており、画像入力Ｉ／Ｆ２０５で必要なタイミングの画像のみを取り込むことができる。
【００３２】
画像入力Ｉ／Ｆ２０５で取り込まれた画像は記憶部であるメモリ２０６に書き込まれ、画像処理ユニット２０４によって処理や解析が行われる。この処理の詳細は後述する。一連の処理はＦｌａｓｈ ＲＯＭに書き込まれたプログラム２０７に従って行われる。画像入力Ｉ／Ｆ２０５で画像を取り込んだり、画像処理ユニット２０４で画像処理を行わせたりするための制御および必要な計算はＣＰＵ２０３によって行われる。
【００３３】
各々の撮像素子であるＣＭＯＳ２０１ａ、２０１ｂは、露光制御を行うための露光制御ユニットと露光時間を設定するレジスタとを内蔵しており、ＣＭＯＳ２０１ａ、２０１ｂは、レジスタに設定された露光時間で撮像する。レジスタは、処理部であるＣＰＵ２０３から書き換え可能であり、書き換えられた露光時間は次フレーム、あるいは次フィールド以降の撮像時に反映される。露光時間は、電子制御可能で、ＣＭＯＳ２０１ａ、２０１ｂに当たる光の量が制限される。露光時間制御は前記のような電子シャッター方式によって実現できるが、メカニカルシャッターを開閉させる方式を用いても同様に実現可能である。また、絞りを調整することで露光量を変化させても良い。また、インターレースのように１ラインおきに操作する場合、奇数ラインと偶数ラインで露光量を変化させても良い。
【００３４】
ヘッドライトやテールライト検知では画像中の光点の位置を検出する必要がある。ヘッドライトの場合、高輝度の位置を見つければよいため、式（３）で得られたＹ画像を、あらかじめ設定された明度しきい値ＭｉｎＹで２値化する。ＭｉｎＹ以上であれば１、ＭｉｎＹ未満であれば０とすることで図７（ａ）のような２値画像ができ上がる。テールライトの場合、赤色の場合はＵＶ画像を解析して赤成分をもつ光点を検出する。具体的には、画像処理ユニット２０４を用いて、
【００３５】
【数４】
【００３６】
上式（４）のようにρ、θを計算しておき、明度しきい値ＭｉｎＹ＝３０、彩度しきい値ＭｉｎＲｈｏ＝３０、ＭｉｎＲｈｏ＝１８１色相しきい値ＭｉｎＴｈｅｔａ＝８０、ＭａｘＴｈｅｔａ＝１２０のように設定すれば、図６の赤色領域６０１の範囲の色をもつ、赤い色の光点が検知できる。
【００３７】
次にこの２値画像をラベリングして、光点領域を抽出する。ラベリングとは、つながっている画素に同じラベルを付ける画像処理である。ラベル画像は図７（ｂ）のようになる。光点領域ごとに異なるラベルが付けられるため、領域の解析が行いやすい。このラベル処理も画像処理ユニット２０４によって行われる。
【００３８】
図１２は、本実施例のメインとなるテールライト光点を識別するための処理の流れを表したフローチャートである。ヘッドライトでも同様であるが、ここでは特に赤信号を誤検知しやすいテールライト検知を例に説明する。
【００３９】
ステップＳ１でまず画像取得手段で画像を取得する。図２のようにステレオカメラの左のカメラの第２の撮像素子であるＣＭＯＳ２０１ａ、右のカメラの第１の撮像素子であるＣＭＯＳ２０１ｂからそれぞれ画像を得る。
【００４０】
ステップＳ２では光点ペア検知手段にて画像処理を行い画像中から光点のペアを検出する。まず、上述したように画像をＹＵＶ変換してＵＶ画像から赤色光点を抽出し、ラベリングする。次にラベリングした光点の位置、大きさを分析してペアリングを行う。ペアリングは、２つの光点の高さ（ｙ座標）がほぼ等しく、かつ大きさもほぼ等しく離れすぎていない、といった条件で行う。ペア光点が検出されたら、ステップＳ３の判定によって、ペアの回数だけ検証を行う。
【００４１】
ステップＳ４では、第２の距離情報算出手段にて、光点までの距離の計算を単眼方式で行う。図１０で、先行車までの距離（第２の距離情報）をＺ1、先行車のテールライト１００１の幅をＷ、レンズ９０１とＣＭＯＳ２０１の焦点距離をｆ、ＣＭＯＳ上に結像した先行車のテールライト１００１の幅をｗとすると、距離Ｚ1は三角形の相似比から、
【００４２】
【数５】
と定義できる。ここで、先行車のテールライト１００１の幅Ｗは計測できない未知数であるが、一般的な車幅、例えば１.７ｍと仮定しておくことで求めることができる。
【００４３】
ステップＳ５では、第１の距離情報算出手段にて、光点までの距離の計算をステレオ方式で行う。図１１で、先行車までの距離（第１の距離情報）をＺ2、左右の光軸間の距離である基線長をＢ、焦点距離をｆ、ＣＭＯＳ上の視差をｄとすると、距離Ｚ2は三角形の相似比から、
【００４４】
【数６】
で求めることができる。
【００４５】
ステップＳ６では、対象物検知手段にて、第２の距離情報である距離Ｚ1と第１の距離情報である距離Ｚ2の大きさを比較する、具体的には、距離Ｚ1と距離Ｚ2が等しいかどうかを判定する。図８（ａ）、（ｂ）の例の場合、先行車８０１と信号機８０２は、夜間光点しか見えない状態だと図８（ｃ）の光点８０３のように同じように写る。
【００４６】
図９は、図８の状況を上から見たときの位置関係を表した図で、実際には先行車８０１にくらべて信号機８０２はかなり遠方にある。
【００４７】
つまり、距離Ｚ1は先行車８０１も信号機８０２も同じだが、距離Ｚ2は先行車８０１よりも信号機８０２のほうが大きくなる。式（５）の先行車のテールライト１００１の幅をＷが先行車８０１に合わせてあるため、先行車８０１の場合、Ｚ1≒Ｚ2となり、信号機８０２の場合、Ｚ1＜＜Ｚ2となることがわかる。
【００４８】
そのため、距離がほぼ等しい場合はステップＳ７の車両のテールライト判定をされ、異なる場合はステップＳ８のノイズ光源判定がなされる。
【００４９】
本発明は、以上のように、対象物検知手段にて、ステレオ方式で算出された第１の距離情報と単眼方式で算出された第２の距離情報と、を比較し、比較した比較結果に基づいて検知対象物候補（ペア光点）から対象物（対向車のヘッドライトや先行車のテールライト）を検知する構成から、ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出することで、配光制御の信頼性が増しドライバーにとってより安全な視界を提供することができる。
【００５０】
なお、本実施例では、単眼カメラとステレオカメラの測距の違いを利用した場合について説明したが、単眼カメラとレーダの組み合わせでも同様に実現できる。
【符号の説明】
【００５１】
１０１ カメラ
１０２ 画像信号処理ユニット
１０３ ヘッドライト制御ユニット
１０４ ヘッドライト
２０１ａ、２０１ｂ ＣＭＯＳ
２０２ａ、２０２ｂ 色再生ＤＳＰ
２０３ ＣＰＵ
２０４ 画像処理ユニット
２０５ 画像入力Ｉ／Ｆ
２０６ メモリ
２０７ プログラム
２０８ ＣＡＮ Ｉ／Ｆ
３０１ カメラの光軸
３０２ ヘッドライトの光軸
３０３ カメラの画角
３０４ ヘッドライトの照射角
４０１、４０２、４０３ 画素
６０１ 赤色領域
８０１ 先行車
８０２ 信号機
８０３ 光点
９０１ レンズ
１００１ 先行車のテールライト
【技術分野】
【０００１】
本発明は、移動体に搭載された撮像素子で撮影された画像から対象を検知する画像処理装置に関する。
【背景技術】
【０００２】
従来から、夜間、車載カメラの映像から光点を解析することで、対向車や先行車の有無を判断し、ヘッドライトのハイビーム、ロービームを自動的に切り替える配光制御技術の研究開発が行われている。
【０００３】
特許文献１では、カラーカメラの映像から、先行車のテールライトや対向車のヘッドライトを検出して先行車や対向車のドライバーを眩惑しないようにヘッドライトをハイビームからロービームに切り替える技術が記載されている。ドライバーは先行車や対向車に注意しながらハイビームやロービームの切り替えをする必要が無くなり、運転に集中することができる。
【０００４】
しかしながら、その制御のタイミングが適切でないと、ドライバーに違和感を与える恐れがある。制御が不適切になる一番の要因は、カメラによる先行車のテールライトや対向車のヘッドライトの検知漏れやその他光源の誤検知である。例えば、暗いテールライトを検知漏れしたり、路上のデリニエータや信号機、街灯などの外乱光を車両灯と誤検知したりすることがあり、この検知不具合によって誤動作が生じる。この検知不具合をいかにして減らすかが技術課題となる。
【０００５】
特許文献１では、２つの光源を光源対として検出する手段が記載されている。対向車のヘッドライトや先行車のテールライトは左右２つの光源が横に並んで対になっているので、それをペアリングして、ペアリングできたか否かで他車両の光源かどうかを判定する。また、光源対の間隔からおおよその距離を算出する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３５０３２３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来例ではペアリングできたか否かで他車両の光源かどうか判定しているため、交通量の多い交差点の信号機のように左右２基敷設されている場合、それらがペアリングされて他車両と誤判定されることがある。一般に信号機は上方に敷設されているので、近傍の場合は画面上でも上方に写り他車両の光源と区別できるが、２００〜３００ｍ以上の遠方の場合は画面上で消失点付近に写るため、高さ情報で区別することが難しくなる。
【０００８】
本発明の目的は、ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出し、ドライバーにとってより安全な視界を提供することである。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明は、第１の撮像素子と第２の撮像素子で撮像した２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、第１の撮像素子で撮像した画像から検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、第１の距離情報と第２の距離情報を比較し、比較した比較結果に基づいて検知対象物候補から対象物を検知する対象物検知手段と、を有する構成とする。
【発明の効果】
【００１０】
ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出し、ドライバーにとってより安全な視界を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理装置を含むヘッドライト配光制御方法の一構成例を示す図である。
【図２】図１のカメラ及び画像信号処理ユニットの一構成例を示す図である。
【図３】図１のカメラとヘッドライトの関係を説明する図である。
【図４】図２のＣＭＯＳのカラーフィルタのベイヤー配列を説明する図である。
【図５】図２のＣＭＯＳの色再生処理を説明する図である。
【図６】図２の色再生ＤＳＰのＵＶ画像を説明する図である。
【図７】本発明に係る画像処理装置の２値画像とラベル画像の関係を示す図である。
【図８】テールライトと信号機の光点の見え方を説明する図である。
【図９】テールライトと信号機の位置関係を説明する図である。
【図１０】本発明に係る画像処理装置の単眼カメラを用いた先行車テールライトまでの測距方法を説明する図である。
【図１１】本発明に係る画像処理装置のステレオカメラを用いた先行車テールライトまでの測距方法を説明する図である。
【図１２】本発明に係る画像処理装置の処理フローを示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の画像処理装置に関わる実施例である、ヘッドライト配光制御方法を実現するための全体の構成を示す概略図である。
【００１３】
撮像装置であるカメラ１０１は車両の前方の視界を捕らえられるように、ヘッドライト１０４は車両の前方を照らすように、それぞれヘッドライトユニット１０５内に設置される。カメラ１０１で撮像された車両前方画像は画像信号処理ユニット１０２に入力され、画像信号処理ユニット１０２は、車両前方に存在する対向車のヘッドライトおよび、先行車のテールライトの個数や位置を計算する。計算された情報は、ヘッドライト制御ユニット１０３に送られる。車両前方に存在する対向車のヘッドライトおよび、先行車のテールライトが存在しない場合は、画像処理装置である画像信号処理ユニット１０２は、存在しないという情報をヘッドライト制御ユニット１０３に送る。ヘッドライト制御ユニット１０３では、受け取った情報からヘッドライト１０４をハイビームにするかロービームにするかを判断して、ヘッドライト１０４を制御する。
【００１４】
各ユニットの配置に関しては、カメラ１０１とヘッドライト１０４をできるだけ近くに設置することが望ましい。そうすることで、光軸調整などのキャリブレーションの簡便化に繋がる。
【００１５】
しかし、ヘッドライトユニット１０５のスペースに余裕がなくカメラ１０１が収まらない場合は、カメラ１０１を車室内、たとえばルームミラーの奥等に設置して車両前方が写る位置に設置しても良い。
【００１６】
さらに、図３のように撮像装置であるカメラ１０１の光軸３０１とヘッドライト１０４の光軸３０２は平行にしておく。光軸を平行にしなければ、カメラ１０１で撮像された空間位置とヘッドライト１０４で投光する空間位置にずれが生じてしまうためである。また、カメラの画角３０３はヘッドライト１０４の照射角３０４と同等、もしくはそれ以上に合わせておく。
【００１７】
次に、カメラ１０１で対向車のヘッドライトと先行車のテールライトを検出する方法について説明する。
【００１８】
図１は、撮像装置であるカメラ１０１と、画像処理装置である画像信号処理ユニット１０２の内部構成を示した図である。
【００１９】
カメラ１０１は、ステレオカメラで左右２つ（第１の撮像装置である右カメラ１０１ｂ、第２の撮像装置である左カメラ１０１ａ）存在する。
【００２０】
各カメラは、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子であるＣＭＯＳ２０１ａ、２０１ｂ（Complementary Metal Oxide Semiconductor）を備え、各画素の表面には赤（Ｒ）・緑（Ｇ）・青（Ｂ）のカラーフィルタが図４のようにベイヤー配列で配置されている。
【００２１】
そのため、画素４０１には赤色の光だけ、画素４０２は緑色の光だけ、画素４０３は青色の光だけが入射する。このベイヤー配列のＣＭＯＳ２０１ａ、２０１ｂで得られたＲＡＷ画像は、それぞれ各カメラに設けた色再生処理部である色再生ＤＳＰ２０２ａ、２０２ｂに転送される。
【００２２】
色再生処理部である色再生ＤＳＰ２０２ａ、２０２ｂでは、色再生処理を行った後、ＲＧＢ画像をさらにＹ画像、ＵＶ画像に変換して、画像処理装置である画像信号処理ユニット１０２の画像入力Ｉ／Ｆ２０５に送信する。
【００２３】
ここで、ベイヤー配列をもつ一般的なカラーＣＭＯＳで行われる色再生（デモザイク）処理の仕組みを説明する。
【００２４】
各画素は赤（Ｒ）か、緑（Ｇ）か、青（Ｂ）かのいずれか１色の強度しか測定できないため、それ以外の色は周囲の色を参照して推定する。たとえば、図５（ａ）の中央のＧ22の画素のＲＧＢはそれぞれ次式（１）のようにして求められる。
【００２５】
【数１】
【００２６】
同様に、図５（ｂ）の中央のＲ22の画素のＲＧＢはそれぞれ次式（２）のようにして求められる。
【００２７】
【数２】
【００２８】
その他の画素も同様にして求められる。このように求めていくと、すべての画素でＲＧＢの３原色を計算することができ、ＲＧＢ画像を得ることができる。さらに、全画素での明度Ｙ、色差信号Ｕ、Ｖを、次式（３）から求めてＹ画像、ＵＶ画像を作成する。
【００２９】
【数３】
【００３０】
Ｙ画像は各画素が０から２５５の８ｂｉｔのデータになっていて、２５５に近いほど明るいことを意味している。
【００３１】
画像信号は連続的に送信されるがその先頭には同期信号が含まれており、画像入力Ｉ／Ｆ２０５で必要なタイミングの画像のみを取り込むことができる。
【００３２】
画像入力Ｉ／Ｆ２０５で取り込まれた画像は記憶部であるメモリ２０６に書き込まれ、画像処理ユニット２０４によって処理や解析が行われる。この処理の詳細は後述する。一連の処理はＦｌａｓｈ ＲＯＭに書き込まれたプログラム２０７に従って行われる。画像入力Ｉ／Ｆ２０５で画像を取り込んだり、画像処理ユニット２０４で画像処理を行わせたりするための制御および必要な計算はＣＰＵ２０３によって行われる。
【００３３】
各々の撮像素子であるＣＭＯＳ２０１ａ、２０１ｂは、露光制御を行うための露光制御ユニットと露光時間を設定するレジスタとを内蔵しており、ＣＭＯＳ２０１ａ、２０１ｂは、レジスタに設定された露光時間で撮像する。レジスタは、処理部であるＣＰＵ２０３から書き換え可能であり、書き換えられた露光時間は次フレーム、あるいは次フィールド以降の撮像時に反映される。露光時間は、電子制御可能で、ＣＭＯＳ２０１ａ、２０１ｂに当たる光の量が制限される。露光時間制御は前記のような電子シャッター方式によって実現できるが、メカニカルシャッターを開閉させる方式を用いても同様に実現可能である。また、絞りを調整することで露光量を変化させても良い。また、インターレースのように１ラインおきに操作する場合、奇数ラインと偶数ラインで露光量を変化させても良い。
【００３４】
ヘッドライトやテールライト検知では画像中の光点の位置を検出する必要がある。ヘッドライトの場合、高輝度の位置を見つければよいため、式（３）で得られたＹ画像を、あらかじめ設定された明度しきい値ＭｉｎＹで２値化する。ＭｉｎＹ以上であれば１、ＭｉｎＹ未満であれば０とすることで図７（ａ）のような２値画像ができ上がる。テールライトの場合、赤色の場合はＵＶ画像を解析して赤成分をもつ光点を検出する。具体的には、画像処理ユニット２０４を用いて、
【００３５】
【数４】
【００３６】
上式（４）のようにρ、θを計算しておき、明度しきい値ＭｉｎＹ＝３０、彩度しきい値ＭｉｎＲｈｏ＝３０、ＭｉｎＲｈｏ＝１８１色相しきい値ＭｉｎＴｈｅｔａ＝８０、ＭａｘＴｈｅｔａ＝１２０のように設定すれば、図６の赤色領域６０１の範囲の色をもつ、赤い色の光点が検知できる。
【００３７】
次にこの２値画像をラベリングして、光点領域を抽出する。ラベリングとは、つながっている画素に同じラベルを付ける画像処理である。ラベル画像は図７（ｂ）のようになる。光点領域ごとに異なるラベルが付けられるため、領域の解析が行いやすい。このラベル処理も画像処理ユニット２０４によって行われる。
【００３８】
図１２は、本実施例のメインとなるテールライト光点を識別するための処理の流れを表したフローチャートである。ヘッドライトでも同様であるが、ここでは特に赤信号を誤検知しやすいテールライト検知を例に説明する。
【００３９】
ステップＳ１でまず画像取得手段で画像を取得する。図２のようにステレオカメラの左のカメラの第２の撮像素子であるＣＭＯＳ２０１ａ、右のカメラの第１の撮像素子であるＣＭＯＳ２０１ｂからそれぞれ画像を得る。
【００４０】
ステップＳ２では光点ペア検知手段にて画像処理を行い画像中から光点のペアを検出する。まず、上述したように画像をＹＵＶ変換してＵＶ画像から赤色光点を抽出し、ラベリングする。次にラベリングした光点の位置、大きさを分析してペアリングを行う。ペアリングは、２つの光点の高さ（ｙ座標）がほぼ等しく、かつ大きさもほぼ等しく離れすぎていない、といった条件で行う。ペア光点が検出されたら、ステップＳ３の判定によって、ペアの回数だけ検証を行う。
【００４１】
ステップＳ４では、第２の距離情報算出手段にて、光点までの距離の計算を単眼方式で行う。図１０で、先行車までの距離（第２の距離情報）をＺ1、先行車のテールライト１００１の幅をＷ、レンズ９０１とＣＭＯＳ２０１の焦点距離をｆ、ＣＭＯＳ上に結像した先行車のテールライト１００１の幅をｗとすると、距離Ｚ1は三角形の相似比から、
【００４２】
【数５】
と定義できる。ここで、先行車のテールライト１００１の幅Ｗは計測できない未知数であるが、一般的な車幅、例えば１.７ｍと仮定しておくことで求めることができる。
【００４３】
ステップＳ５では、第１の距離情報算出手段にて、光点までの距離の計算をステレオ方式で行う。図１１で、先行車までの距離（第１の距離情報）をＺ2、左右の光軸間の距離である基線長をＢ、焦点距離をｆ、ＣＭＯＳ上の視差をｄとすると、距離Ｚ2は三角形の相似比から、
【００４４】
【数６】
で求めることができる。
【００４５】
ステップＳ６では、対象物検知手段にて、第２の距離情報である距離Ｚ1と第１の距離情報である距離Ｚ2の大きさを比較する、具体的には、距離Ｚ1と距離Ｚ2が等しいかどうかを判定する。図８（ａ）、（ｂ）の例の場合、先行車８０１と信号機８０２は、夜間光点しか見えない状態だと図８（ｃ）の光点８０３のように同じように写る。
【００４６】
図９は、図８の状況を上から見たときの位置関係を表した図で、実際には先行車８０１にくらべて信号機８０２はかなり遠方にある。
【００４７】
つまり、距離Ｚ1は先行車８０１も信号機８０２も同じだが、距離Ｚ2は先行車８０１よりも信号機８０２のほうが大きくなる。式（５）の先行車のテールライト１００１の幅をＷが先行車８０１に合わせてあるため、先行車８０１の場合、Ｚ1≒Ｚ2となり、信号機８０２の場合、Ｚ1＜＜Ｚ2となることがわかる。
【００４８】
そのため、距離がほぼ等しい場合はステップＳ７の車両のテールライト判定をされ、異なる場合はステップＳ８のノイズ光源判定がなされる。
【００４９】
本発明は、以上のように、対象物検知手段にて、ステレオ方式で算出された第１の距離情報と単眼方式で算出された第２の距離情報と、を比較し、比較した比較結果に基づいて検知対象物候補（ペア光点）から対象物（対向車のヘッドライトや先行車のテールライト）を検知する構成から、ステレオカメラから得られた情報をもとに、夜間のさまざまな光点の中から、対向車のヘッドライトや先行車のテールライトのみを抽出することで、配光制御の信頼性が増しドライバーにとってより安全な視界を提供することができる。
【００５０】
なお、本実施例では、単眼カメラとステレオカメラの測距の違いを利用した場合について説明したが、単眼カメラとレーダの組み合わせでも同様に実現できる。
【符号の説明】
【００５１】
１０１ カメラ
１０２ 画像信号処理ユニット
１０３ ヘッドライト制御ユニット
１０４ ヘッドライト
２０１ａ、２０１ｂ ＣＭＯＳ
２０２ａ、２０２ｂ 色再生ＤＳＰ
２０３ ＣＰＵ
２０４ 画像処理ユニット
２０５ 画像入力Ｉ／Ｆ
２０６ メモリ
２０７ プログラム
２０８ ＣＡＮ Ｉ／Ｆ
３０１ カメラの光軸
３０２ ヘッドライトの光軸
３０３ カメラの画角
３０４ ヘッドライトの照射角
４０１、４０２、４０３ 画素
６０１ 赤色領域
８０１ 先行車
８０２ 信号機
８０３ 光点
９０１ レンズ
１００１ 先行車のテールライト
【特許請求の範囲】
【請求項１】
第１の撮像素子と第２の撮像素子で撮像した２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、
前記第１の撮像素子で撮像した画像から前記検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、
前記第１の距離情報と前記第２の距離情報を比較し、比較した比較結果に基づいて前記検知対象物候補から対象物を検知する対象物検知手段と、を有する画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が等しい場合は、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定する画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が異なる場合は、前記検知対象物候補は、検知対象物ではないと判定する画像処理装置。
【請求項４】
請求項１記載の画像処理装置において、
前記第１の撮像素子と前記第２の撮像素子で撮像した前記２つの画像から赤色光点を抽出し、抽出された赤色光点からペア光点を検知する光点ペア検知手段を有し、
前記第１の距離情報算出手段と前記第２の距離情報算出手段は、前記ペア光点までの距離を算出する画像処理装置。
【請求項５】
第１の撮像素子を有する第１の撮像装置と、
第２の撮像素子を有する第２の撮像装置と、
前記第１の撮像装置と前記第２の撮像装置からそれぞれ画像を取得し、対象物を検知する画像処理装置と、を有し、
前記画像処理装置は、
前記第１の撮像装置と前記第２の撮像装置から、それぞれ画像を取得する画像取得手段と、
２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、
前記第１の撮像装置から取得した画像から前記検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、
前記第１の距離情報と前記第２の距離情報を比較し、比較した比較結果に基づいて前記検知対象物候補から対象物を検知する対象物検知手段と、を有する画像処理システム。
【請求項６】
請求項５記載の画像処理システムにおいて、
前記第１の撮像素子及び第２の撮像素子は、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子である画像処理システム。
【請求項７】
請求項５記載の画像処理システムにおいて、
前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が等しい場合は、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定する画像処理システム。
【請求項８】
請求項５記載の画像処理システムにおいて、
前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が異なる場合は、前記検知対象物候補は、検知対象物ではないと判定する画像処理システム。
【請求項９】
請求項５記載の画像処理システムにおいて、
前記第１の撮像素子と前記第２の撮像素子で撮像した前記２つの画像から赤色光点を抽出し、抽出された赤色光点からペア光点を検知する光点ペア検知手段を有し、
前記第１の距離情報算出手段と前記第２の距離情報算出手段は、前記ペア光点までの距離を算出する画像処理システム。
【請求項１０】
第１の撮像素子を有する第１の撮像装置と、
第２の撮像素子を有する第２の撮像装置と、
前記第１の撮像装置と前記第２の撮像装置からそれぞれ画像を取得し、対象物を検知する画像処理装置と、
ヘッドライトと、
検知された前記対象物に基づいて前記ヘッドライトを制御するヘッドライト制御ユニットと、を有し、
前記画像処理装置は、
前記第１の撮像装置と前記第２の撮像装置から、それぞれ画像を取得する画像取得手段と、
２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、
前記第１の撮像装置から取得した画像から前記検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、
前記第１の距離情報と前記第２の距離情報を比較し、比較した比較結果に基づいて前記検知対象物候補から対象物を検知する対象物検知手段と、を有するヘッドライトユニット。
【請求項１１】
請求項１０記載のヘッドライトユニットにおいて、
前記画像処理装置の前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が等しい場合は、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定し、
前記ヘッドライト制御ユニットは、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定された場合は、ロービームとなるように制御されるヘッドライトユニット。
【請求項１２】
請求項１０記載のヘッドライトユニットにおいて、
前記画像処理装置の前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が異なる場合は、前記検知対象物候補は、検知対象物ではないと判定するヘッドライトユニット。
【請求項１３】
請求項１０記載のヘッドライトユニットにおいて、
前記画像処理装置は、前記第１の撮像素子と前記第２の撮像素子で撮像した前記２つの画像から赤色光点を抽出し、抽出された赤色光点からペア光点を検知する光点ペア検知手段を有し、
前記画像処理装置の前記第１の距離情報算出手段と前記第２の距離情報算出手段は、前記ペア光点までの距離を算出するヘッドライトユニット。
【請求項１４】
請求項１０記載のヘッドライトユニットにおいて、
前記第１の撮像装置と前記第２の撮像装置の光軸と前記ヘッドライトの光軸とは、平行であるヘッドライトユニット。
【請求項１】
第１の撮像素子と第２の撮像素子で撮像した２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、
前記第１の撮像素子で撮像した画像から前記検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、
前記第１の距離情報と前記第２の距離情報を比較し、比較した比較結果に基づいて前記検知対象物候補から対象物を検知する対象物検知手段と、を有する画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が等しい場合は、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定する画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が異なる場合は、前記検知対象物候補は、検知対象物ではないと判定する画像処理装置。
【請求項４】
請求項１記載の画像処理装置において、
前記第１の撮像素子と前記第２の撮像素子で撮像した前記２つの画像から赤色光点を抽出し、抽出された赤色光点からペア光点を検知する光点ペア検知手段を有し、
前記第１の距離情報算出手段と前記第２の距離情報算出手段は、前記ペア光点までの距離を算出する画像処理装置。
【請求項５】
第１の撮像素子を有する第１の撮像装置と、
第２の撮像素子を有する第２の撮像装置と、
前記第１の撮像装置と前記第２の撮像装置からそれぞれ画像を取得し、対象物を検知する画像処理装置と、を有し、
前記画像処理装置は、
前記第１の撮像装置と前記第２の撮像装置から、それぞれ画像を取得する画像取得手段と、
２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、
前記第１の撮像装置から取得した画像から前記検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、
前記第１の距離情報と前記第２の距離情報を比較し、比較した比較結果に基づいて前記検知対象物候補から対象物を検知する対象物検知手段と、を有する画像処理システム。
【請求項６】
請求項５記載の画像処理システムにおいて、
前記第１の撮像素子及び第２の撮像素子は、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子である画像処理システム。
【請求項７】
請求項５記載の画像処理システムにおいて、
前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が等しい場合は、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定する画像処理システム。
【請求項８】
請求項５記載の画像処理システムにおいて、
前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が異なる場合は、前記検知対象物候補は、検知対象物ではないと判定する画像処理システム。
【請求項９】
請求項５記載の画像処理システムにおいて、
前記第１の撮像素子と前記第２の撮像素子で撮像した前記２つの画像から赤色光点を抽出し、抽出された赤色光点からペア光点を検知する光点ペア検知手段を有し、
前記第１の距離情報算出手段と前記第２の距離情報算出手段は、前記ペア光点までの距離を算出する画像処理システム。
【請求項１０】
第１の撮像素子を有する第１の撮像装置と、
第２の撮像素子を有する第２の撮像装置と、
前記第１の撮像装置と前記第２の撮像装置からそれぞれ画像を取得し、対象物を検知する画像処理装置と、
ヘッドライトと、
検知された前記対象物に基づいて前記ヘッドライトを制御するヘッドライト制御ユニットと、を有し、
前記画像処理装置は、
前記第１の撮像装置と前記第２の撮像装置から、それぞれ画像を取得する画像取得手段と、
２つの画像から検知対象物候補までの第１の距離情報を算出する第１の距離情報算出手段と、
前記第１の撮像装置から取得した画像から前記検知対象物候補までの第２の距離情報を算出する第２の距離情報算出手段と、
前記第１の距離情報と前記第２の距離情報を比較し、比較した比較結果に基づいて前記検知対象物候補から対象物を検知する対象物検知手段と、を有するヘッドライトユニット。
【請求項１１】
請求項１０記載のヘッドライトユニットにおいて、
前記画像処理装置の前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が等しい場合は、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定し、
前記ヘッドライト制御ユニットは、前記検知対象物候補は、先行車のテールライト又は対向車のヘッドライトであると判定された場合は、ロービームとなるように制御されるヘッドライトユニット。
【請求項１２】
請求項１０記載のヘッドライトユニットにおいて、
前記画像処理装置の前記対象物検知手段は、前記第１の距離情報と前記第２の距離情報との距離が異なる場合は、前記検知対象物候補は、検知対象物ではないと判定するヘッドライトユニット。
【請求項１３】
請求項１０記載のヘッドライトユニットにおいて、
前記画像処理装置は、前記第１の撮像素子と前記第２の撮像素子で撮像した前記２つの画像から赤色光点を抽出し、抽出された赤色光点からペア光点を検知する光点ペア検知手段を有し、
前記画像処理装置の前記第１の距離情報算出手段と前記第２の距離情報算出手段は、前記ペア光点までの距離を算出するヘッドライトユニット。
【請求項１４】
請求項１０記載のヘッドライトユニットにおいて、
前記第１の撮像装置と前記第２の撮像装置の光軸と前記ヘッドライトの光軸とは、平行であるヘッドライトユニット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１０７４７６（Ｐ２０１３−１０７４７６Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３４２１（Ｐ２０１１−２５３４２１）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]