車両用画像処理装置
【課題】輝度情報が変化しても、正確にテンプレートをマッチングさせることにより、対象物を認識することが可能な車両用画像処理装置を提供する。
【解決手段】外界カメラ２と、第１画像に基づいて対象物のテンプレートを作成するテンプレート作成部３２と、第１画像と第２画像の撮像時における光源の位置を推定する光源位置推定部３５と、第１画像と第２画像の撮像時における外界カメラ２と対象物との位置関係を推定する対象物位置算出部３９と、位置関係及び光源位置に基づいて、第１画像中の対象物と第２画像中の対象物との間の輝度変化を推定する輝度変化量推定部４０と、輝度変化によりテンプレートの輝度を補正した補正テンプレートを作成するテンプレート輝度変換部４１と、補正テンプレートより第２画像に対してテンプレートマッチング処理を行い対象物を検出するテンプレートマッチング処理部４２とを備えた。
【解決手段】外界カメラ２と、第１画像に基づいて対象物のテンプレートを作成するテンプレート作成部３２と、第１画像と第２画像の撮像時における光源の位置を推定する光源位置推定部３５と、第１画像と第２画像の撮像時における外界カメラ２と対象物との位置関係を推定する対象物位置算出部３９と、位置関係及び光源位置に基づいて、第１画像中の対象物と第２画像中の対象物との間の輝度変化を推定する輝度変化量推定部４０と、輝度変化によりテンプレートの輝度を補正した補正テンプレートを作成するテンプレート輝度変換部４１と、補正テンプレートより第２画像に対してテンプレートマッチング処理を行い対象物を検出するテンプレートマッチング処理部４２とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用画像処理装置に係り、特にテンプレートを用いて画像認識処理により画像中の対象物を認識する車両用画像処理装置に関する。
【背景技術】
【０００２】
従来、予め用意したテンプレート画像を用いて、撮像画像中の対象物（道路標識等）の画像認識を行う技術が知られている（例えば、特許文献１参照）。
特許文献１に記載の装置では、実際の道路標識を撮影した画像データに対して、道路標識のテンプレート画像によりテンプレートマッチング処理が行われ、マッチング度合が所定レベルを超えるとマッチングが成立したものと判定され、画像データ中で道路標識が認識される。
【０００３】
【特許文献１】特開２００８−９９１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像画像中の対象物に対する照明状況は時間と共に変化するが、従来の画像間のマッチングでは、この照明状況の変化を考慮していないため、正確なマッチングを行うことができない場合があるという問題があった。すなわち、従来は、対象物を照明する光源の位置及び照度が一定であり、且つ、撮像手段と対象物との位置関係にかかわらず対象物から撮像手段へ入射する光量が変化せず、これにより、画像間において対象物の同一箇所の輝度情報が大きく変化しないことを前提としていた。
【０００５】
例えば、ある位置で撮像した画像によって作成した対象物のテンプレートを、対象物との位置関係が大きく異なる別の位置で対象物を撮像した画像に適用する場合、画像中の対象物の輝度情報は大きく変化する。また、テンプレートを作成した画像を撮像したのと同一位置で同一対象物を再度撮像した場合であっても、時間が経過し、太陽の位置が変化していると、画像の輝度情報は大きく変化する。また、夜間に自車両のヘッドライトを主光源として撮像された画像の場合、自車両の移動により光源位置が移動するので、同一対象物を撮像しても、画像の輝度情報は大きく変化する。さらに、自車両のヘッドライト以外に、他車両のヘッドライトや周囲店舗等からの照明によっても、画像の輝度情報が変化してしまう。
このように、従来は、輝度情報が大きく変化した画像では、正確にテンプレートマッチング処理を行うことができないという問題があった。
【０００６】
本発明は、このような課題を解決するためになされたものであり、対象物の輝度情報が変化しても、正確にテンプレートをマッチングさせることにより、対象物を認識することが可能な車両用画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明は、車両用画像処理装置であって、車両に搭載され、第１時間に車両周囲の対象物を含む第１画像を撮像し、第１時間から所定時間経過した第２時間に車両周囲の前記対象物を含む第２画像を撮像する撮像手段と、第１画像に基づいて対象物のテンプレートを作成するテンプレート作成手段と、第１画像と第２画像の撮像時における撮像手段に対する光源の位置を推定する光源位置推定手段と、第１画像と前記第２画像の撮像時における撮像手段と対象物との位置関係を推定する位置検出手段と、位置検出手段によって検出された位置関係、及び光源位置推定手段によって推定された光源位置に基づいて、第１画像中の対象物と第２画像中の対象物との間の輝度変化を推定する輝度変化推定手段と、輝度変化推定手段によって推定された輝度変化により、テンプレートの輝度を補正した補正テンプレートを作成する輝度補正手段と、補正テンプレートより、第２画像に対してテンプレートマッチング処理を行い、対象物を検出するマッチング手段と、を備えたことを特徴としている。
【０００８】
このように構成された本発明によれば、第１画像と第２画像の撮像時における、光源位置と撮像手段と対象物との位置関係の変化を検出し、検出した位置関係の変化に応じて、第１画像から作成した対象物のテンプレートの輝度変化を位置関係に応じて補正する。これにより、本発明によれば、第１画像と第２画像の撮像時において、対象物から撮像手段への反射光量が変化して画像中の対象物の輝度が変化しても、輝度補正した補正テンプレートによって、第２画像中から同一対象物をテンプレートマッチング処理によって精度よく検出することが可能となる。
【０００９】
また、本発明において好ましくは、光源位置推定手段は、撮像時間と撮像時における車両位置に基づいて、光源としての太陽の位置を推定する。このように構成された本発明によれば、光源である太陽の位置を特定して、太陽の移動に伴う輝度変化を補正することで、同一対象物を精度良く検出することができる。
【００１０】
また、本発明において好ましくは、光源位置推定手段は、第１画像及び第２画像中の撮像体及びこの撮像体の影の方向及び形状を利用して、光源位置を推定する。このように構成された本発明によれば、太陽に限らず他の種類の光源についても光源位置を特定して、自車両等の移動に伴う輝度変化を補正することで、同一対象物を精度良く検出することができる。
【００１１】
また、本発明において好ましくは、輝度変化推定手段は、対象物の形状と光源位置から反射光の光量を推定し、この光量の変化から輝度変化を推定する。このように構成された本発明によれば、対象物からの反射光を考慮して、同一対象物を精度良く検出することができる。
【００１２】
また、本発明において好ましくは、光源位置推定手段は、自車のヘッドライト点灯時には、ヘッドライトを光源に設定し、輝度変化推定手段は、自車のヘッドライトが光源に設定されているときは、対象物に対するヘッドライトの照射角度をさらに考慮して、輝度変化を推定する。このように構成された本発明によれば、自車のヘッドライトによる輝度変化を補正することで、同一対象物を精度良く検出することができる。
【発明の効果】
【００１３】
本発明の車両用画像処理装置によれば、対象物の輝度情報が変化しても、正確にテンプレートをマッチングさせることにより、対象物を認識することができる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して本発明の実施形態について説明する。図１は車両用画像処理装置の構成図、図２は光源方向推定処理の説明図、図３はフレーム画像撮像時の説明図、図４，図５はそれぞれ図３において位置Ｃ１，位置Ｃ２にて撮像されたフレーム画像及びそのヒストグラム、図６は補正テンプレート作成処理の説明図、図７は他のフレーム画像撮像時の説明図、図８は図７において撮像されたフレーム画像及びそのヒストグラム、図９は他の補正テンプレート作成処理の説明図である。
【００１５】
本実施形態の車両用画像処理装置１は、図１に示すように、外界カメラ２と、コントローラ３と、モニタ４と、測位センサ５と、車載センサ６と、地図データベース７と、距離センサ８と、通信機９とを備えている。
外界カメラ２は、ＣＣＤカメラやＣＭＯＳカメラ等の撮像手段であり、例えば車両走行方向前側を向くように車両１４に所定高さで搭載されている（図３参照）。この外界カメラ２は、車両前方の画像を所定のフレームレートで撮像し、撮像したフレーム画像をコントローラ３に出力するように構成されている。
モニタ４は、ＬＣＤ等の表示装置であり、コントローラ３から受け取ったフレーム画像を運転者に対して表示可能に構成されている。
【００１６】
測位センサ５は、ＧＰＳ，ＩＮＳ等の車両測位データを測定するために車両に搭載されたセンサであり、測位データをコントローラ３に出力する。この測位データにより、車両１４及び車両１４に搭載された外界カメラ２の測位変化を検出可能である。
車載センサ６は、車両速度，車両加速度，ヨー角，ロール角，ピッチ角，角速度等の車両の移動量，移動量変化を測定するために車両に搭載されたセンサであり、これらの測定データをコントローラ３に出力する。この測定データにより、車両１４及び車両１４に搭載された外界カメラ２の位置変化を検出可能である。
【００１７】
地図データベース７は、ＨＤＤ等の記憶装置で構成され、測位センサ５からの測位データ等と合わせて、自車両の位置を特定するための地図データを格納し、この地図データをコントローラ３に出力する。この地図データは、実際の道路網に対応して、ノード(交差点)に関係する情報と、リンク(ノードとノードを接続する道路)に関係する情報等から構成されている。さらに、この地図データには、信号機，建物や公園などの施設，鉄道，水系などの位置，名称，形状等の固定物データが格納されている。
【００１８】
距離センサ８は、レーザレーダ，ミリ波レーダ，赤外線ＴＯＦ装置等で構成することができ、任意の対象物までの距離データをコントローラ３に出力する。
通信機９は、車両１４に搭載され、外部の天気気象情報提供手段から天候気象情報を取得し、この情報をコントローラ３に出力する。この天気気象情報には、天気，太陽光の強さ（太陽光量）等の情報が含まれる。
【００１９】
コントローラ３は、車両１４内に配置されており、ＣＰＵ，プログラム等を記憶したメモリ等を備えたマイクロコンピュータを含んで構成されている。コントローラ３は、外界カメラ２から受け取ったフレーム画像に対して画像認識処理を行うことにより、道路標識等の対象物を認識して、認識した対象物を含むフレーム画像をモニタ４に出力するように構成されている。
なお、対象物は、道路標識以外にも、道路案内表示，交通規制表示，渋滞情報表示，信号機，路面上のマーク，ランドマーク，建造物等の撮像画像中に含まれる任意の撮像対象物であってよい。
【００２０】
本実施形態では、コントローラ３は、画像取得部３１，テンプレート作成部３２，日時情報取得部３３，天気気象情報取得部３４，光源位置推定部３５，影情報算出部３６，自車位置算出部３７，対象物形状算出部３８，対象物位置算出部３９，輝度変化量推定部４０，テンプレート輝度変換部４１，テンプレートマッチング処理部４２を備えている。これらは、ＣＰＵがプログラムを実行することにより実現される。また、コントローラ３は、ＨＤＤ等の記憶装置により構成される記憶手段であるテンプレートデータ蓄積部４３及び太陽軌道データベース４４を備えている。
【００２１】
テンプレートデータ蓄積部４３は、テンプレートマッチング処理のためのテンプレートを記憶する。太陽軌道データベース４４は、任意の時間における任意の車両位置に対する太陽の位置を特定するための太陽軌道データを記憶している。
画像取得部３１は、外界カメラ２からフレーム画像を取得し、このフレーム画像を各種の処理を行うために各機能部に出力する。
【００２２】
テンプレート作成部３２は、外界カメラ２からのフレーム画像を受け取り、このフレーム画像から道路標識等の対象物画像領域を切り出して、テンプレートマッチング処理のためのテンプレート画像を作成し、付属データと共にテンプレートデータ蓄積部３９に保存する。付属データには、テンプレートの対象となった対象物及び自車両の位置情報，テンプレート作成時の時間データ，天候気象情報等が含まれる。
【００２３】
テンプレート作成部３２は、連続する２枚のフレーム画像，距離センサ８からの距離データ，測位センサ５からの測位データ等に基づいて、ステレオ画像処理や、実測データの処理によってテンプレートの対象となっている対象物の３次元座標値を算出し、また、テンプレート作成画像を撮像した自車両の位置を取得し、これらを位置情報として付属データに含める。さらに、テンプレート作成部３２は、日時情報取得部３３から受け取ったテンプレート作成時の時間データと、天気気象情報取得部３４から受け取った天候気象情報を付属データに含める。
【００２４】
日時情報取得部３３は、測位センサ５から現在時刻を受け取り、これを光源位置推定部３５等に出力する。
天気気象情報取得部３４は、通信機９が外部から受け取った天気気象情報を取得し、この情報を光源位置推定部３５等に出力する。
光源位置推定部３５は、日時情報取得部３３，天気気象情報取得部３４，太陽軌道データベース４４，影情報算出部３６等からそれぞれデータを受け取り、自車両１４に対する光源位置を特定する。
【００２５】
影情報算出部３６は、画像取得部３１から受け取ったフレーム画像を画像処理することにより、フレーム画像中の建物や車両によって形成される影の数，濃淡，方向，形状を認識する。例えば、図２に示すフレーム画像には、駐車車両１５と、この車両１５によって形成された影１５ａが撮像されている。影情報算出部３６は、フレーム画像中で認識した車両１５と影１５ａに基づいて、自車位置データ等を更に用いて、３次元ステレオ画像処理によって、光源方向θを推定し、光源方向データを光源位置推定部３５に出力する。
【００２６】
自車位置算出部３７は、測位センサ５からの測位データ，車載センサ６から測定データ，地図データベース７からの地図データを用いて、自車位置を算出する。
対象物形状算出部３８は、画像取得部３１からフレーム画像，距離センサ８から距離データ，地図データベース７から形状データ等を受け取る。対象物形状算出部３８は、フレーム画像等を用いてステレオ画像処理することにより、フレーム画像中の対象物の形状を算出する。なお、対象物形状算出部３８は、地図データベース７の形状データから直接対象物の形状を特定してもよい。
【００２７】
対象物位置算出部３９は、自車位置算出部３７からの自車位置データ，距離センサ８からの距離データ，テンプレートの付属データ等を用いて、フレーム画像中の対象物と推定される撮像物の車両１４に対する相対位置を算出する。
【００２８】
輝度変化量推定部４０は、光源位置推定部３５からの光源位置データ，天気気象情報取得部３４からの天気気象情報，自車位置算出部３７からの自車位置データ，対象物位置算出部３９からの相対位置データ，対象物形状算出部３８からの対象物形状データ，テンプレート付属データ等を用いて、テンプレート作成時の光源の照射光量の程度及び対象物から外界カメラ２への反射光量の程度と、処理対象となるフレーム画像撮像時の照射光量の程度及びフレーム画像中の対象物（又は対象物と推定されている撮像物）からの反射光量の程度との間の変化を見積もる。そして、輝度変化量推定部４０は、テンプレート画像と、処理対象のフレーム画像の対象物画像領域との間の輝度変化量を推定する。このとき、輝度変化量推定部４０は、例えば、照射光量及び反射光量の段階をそれぞれ３段階で評価し、これらが変化した段階に応じて所定のマップデータに基づいて、輝度変化量又は輝度変化レベルを推定する。
【００２９】
テンプレート輝度変換部４１は、輝度変化量推定部４０からの輝度変化量データに基づいて、テンプレート画像の輝度補正を行い、補正テンプレート画像を作成する。テンプレート輝度変換部４１は、輝度変化量データに応じて、後述する諧調変換関数を導出又は選択し、この諧調変換関数によって、テンプレート画像の輝度補正を行う。
テンプレートマッチング処理部４２は、テンプレート輝度変換部４１で輝度補正された補正テンプレート画像を用いて、フレーム画像に対してテンプレートマッチング処理を行い、対象物を認識し、このフレーム画像をモニタ４に出力する。
【００３０】
次に、テンプレート画像の輝度補正処理について説明する。
図３は、晴天時に、車両１４が時間ｔ１から時間ｔ２にかけて、対象物である道路標識２０が設置された交差点を右折する状況を示している。車両１４は、時間ｔ１に位置Ｃ１に位置し、時間ｔ２に位置Ｃ２に位置している。このとき、外界カメラ２は、時間ｔ１に図４（Ａ）に示すフレーム画像Ａ１を撮像し、時間ｔ２に図５（Ａ）に示すフレーム画像Ａ２を撮像している。また、コントローラ３は、時間ｔ１に撮像したフレーム画像Ａ１から道路標識２０の画像領域２２を切り出して、テンプレート画像を作成するものとする。
【００３１】
図４（Ｂ）は、画像領域２２により形成されたテンプレート画像の濃淡ヒストグラムＢ１を示している。テンプレート画像を構成する各画素は、その濃淡を示す値である画素値（本例では、０から２５５までの２５６段階のレベル）を有しており、ヒストグラムＢ１は、画素値に対する頻度を示している。
【００３２】
一方、図５（Ｂ）は、フレーム画像Ａ２の道路標識２０を含む画像領域２３（図５（Ａ）参照）のヒストグラムＢ２を示している。このヒストグラムＢ２とヒストグラムＢ１を比較すると、ピーク数や頻度の全体的な高低差は同じであるが、コントラスト（すなわち、濃淡分布の広がり）が異なっていることが分かる。
【００３３】
図３に模式的に示すように、光源である太陽１００からの光線が道路標識２０で反射して外界カメラ２に届く反射光量は、位置Ｃ１よりも位置Ｃ２での方が大きくなっている。すなわち、外界カメラ２への反射光量は、外界カメラ２，道路標識２０及び太陽１００の位置関係によって変化する。また、対象物の形状によっても変化する。例えば、平面的な対象物（例えば、道路標識２０の表示面）は反射光量が大きくなるが、凹凸形状を有する対象物は反射光量が相対的に小さくなる。また、反射面の向きによっても反射光量は変化する。
【００３４】
位置Ｃ２でのフレーム画像Ａ２では、道路標識２０からの反射光量が相対的に大きいので、ヒストグラムＢ２は明るい画素値の割合が高くなっている。一方、位置Ｃ１でのフレーム画像Ａ１では、道路標識２０からの反射光量が相対的に小さいので、ヒストグラムＢ１は暗い画素値の割合が高くなっている。すなわち、ヒストグラムＢ２は、ヒストグラムＢ１と比べると、明るい方向にシフトしている。
【００３５】
したがって、フレーム画像Ａ１から作成したテンプレート画像を、フレーム画像Ａ２に適用してテンプレートマッチング処理を行った場合、テンプレート画像とフレーム画像Ａ２中の画像領域２３の輝度情報の相違に起因して、テンプレート画像を画像領域２３にマッチングさせることができず、道路標識２０を検出することができない場合がある。
【００３６】
本実施形態では、車両１４の移動等に伴うフレーム画像の輝度変化に起因して、マッチング不良が発生することを防止するため、処理対象となるフレーム画像に応じて、テンプレート画像の輝度を補正して補正テンプレートを作成し、この補正テンプレートによってテンプレートマッチング処理を行う。本実施形態では、このような補正テンプレートを作成するために、コントローラ３は、光源である太陽１００，外界カメラ２，対象物である道路標識２０の位置関係の変化や対象物形状等に応じて輝度変化量を見積もり、これに応じて諧調変換関数（トーンカーブ）を導出又は選択する。そして、コントローラ３は、この諧調変換関数によって、テンプレート画像の輝度を補正する。具体的には、諧調変換関数によって、画像の明るさやコントラスト等の画素値に分布が補正される。
【００３７】
図６は、テンプレート画像のヒストグラムＢ１（「補正前」、上図）と、テンプレート画像を諧調変換関数によって変換して得られた補正テンプレート画像のヒストグラムＫ１（「補正後」、下図）を示している。諧調変換関数は、中央図に示すような入力画素値と出力画素値との関係で与えられている。図６に示した諧調変換関数は、低輝度の画素の輝度を高輝度にシフトさせ、全体的にコントラストを低下させるものである。
【００３８】
このようにして輝度補正された補正テンプレート画像のヒストグラムＫ１は、図５（Ｂ）の画像領域２３のヒストグラムＢ２と傾向が略一致する。
したがって、フレーム画像Ａ２に対して補正テンプレート画像を適用してテンプレートマッチング処理した場合、補正テンプレート画像を画像領域２３に良好にマッチングさせることができる。これにより、道路標識２０を認識することが可能となる。
【００３９】
また、図７は、太陽１００が図３と同じ位置にある曇天時に、車両１４が図３と同一の交差点を右折する状況を示している。すなわち、図３と図７では、光源である太陽１００の照射光量のみが異なる。図８（Ａ）は、図７の状況において、位置Ｃ１で撮像したフレーム画像Ａ３であり、図８（Ｂ）は、フレーム画像Ａ３中の道路標識２０の画像領域２４のヒストグラムＢ３を示している。
【００４０】
このヒストグラムＢ３とヒストグラムＢ１を比較すると、ピーク数や頻度の全体的な高低差は同じであるが、コントラストが異なっていることが分かる。すなわち、曇天時には太陽１００による照射光量が低下し、道路標識２０からの反射光量が減少するので、ヒストグラムＢ３は、晴天時に撮像されたフレーム画像Ａ１によるテンプレート画像のヒストグラムＢ１よりも、暗い方向にシフトしている。
【００４１】
したがって、同じ位置Ｃ１で撮像したフレーム画像Ａ３にテンプレート画像を適用してテンプレートマッチング処理を行っても、テンプレート画像をこのフレーム画像Ａ３中の画像領域２４にマッチングさせることができず、道路標識２０を検出することができない場合がある。
【００４２】
本実施形態では、撮像位置の移動に加えて、このような天候，気象条件の変化による照射光量の変化をも考慮して輝度変化量を見積もり、これに応じて諧調変換関数を導出又は選択し、この諧調変換関数によって、テンプレート画像の輝度を補正する。
図９は、テンプレート画像のヒストグラムＢ１（「補正前」、上図）と、テンプレート画像を諧調変換関数によって変換して得られた補正テンプレート画像のヒストグラムＫ２（「補正後」、下図）と、諧調変換関数（中央図）を示している。図９に示した諧調変換関数は、高輝度の画素を低輝度の画素にシフトさせ、全体的にコントラストを低下させるものである。
【００４３】
このようにして輝度補正された補正テンプレート画像のヒストグラムＫ２は、図７の状況で撮像されたフレーム画像Ａ３中の画像領域２４のヒストグラムＢ３（図８（Ｂ））と傾向が略一致する。
したがって、図７によるフレーム画像に対して補正テンプレート画像を適用してテンプレートマッチング処理した場合、補正テンプレート画像を良好にマッチングさせることができる。これにより、道路標識２０を認識することが可能となる。
【００４４】
次に、図１０に基づいて、本実施形態のコントローラ３の処理フローについて説明する。
この処理は、コントローラ３によって所定間隔で繰り返し行われる。なお、この処理では、コントローラ３は、既に所定位置で撮像したフレーム画像に基づいて作成した対象物のテンプレートを記憶しており、さらに、このテンプレートを作成した位置付近を車両１４が走行中であることを検知し、このテンプレートをマッチング処理に用いるために読み込んでいる。
【００４５】
まず、コントローラ３の画像取得部３１は、外界カメラ２から車両１４の外部を撮像したフレーム画像を受け取る（ステップＳ１）。
輝度変化量推定部４０は、テンプレートを作成したフレーム画像撮像時から所定時間以上経過しているか否かを判定する（ステップＳ２）。
【００４６】
所定時間以上経過していない場合（ステップＳ２；Ｎｏ）、ステップＳ４の処理に移行する。これは、例えば、図３の状況で、位置Ｃ１でのフレーム画像Ａ１でテンプレートを作成し、位置Ｃ２でのフレーム画像Ａ２を受け取った場合である。
【００４７】
一方、所定時間以上経過している場合（ステップＳ２；Ｙｅｓ）、輝度変化量推定部４０は、天気気象情報取得部３４から受け取った天気気象情報と、テンプレートの付属データに含まれる天気気象情報とを用いて、天候や気象条件の変化に伴う照射光量の変化を見積もり（ステップＳ３）、ステップＳ４の処理に移行する。この処理を行うのは、例えば、図７の状況で、テンプレート作成時以降に再び位置Ｃ１を走行し、フレーム画像Ａ３を受け取った場合である。
【００４８】
そして、光源位置推定部３５は、日時情報取得部３３から取得した時間データと、太陽軌道データベース４４から取得した太陽軌道データから、光源位置を特定する（ステップＳ４）。
また、影情報算出部３６は、フレーム画像中の撮像体及びその影を認識して、これに基づいて、光源方向を推定する（ステップＳ５）。光源位置推定部３５は、太陽軌道データから特定した太陽位置を、影情報算出部３６からの光源方向データで補正し、最終的な光源位置を特定する。
【００４９】
自車位置算出部３７は、測位センサ５からの測位データ，地図データベース７からの地図データ，車載センサ６からの測定データから、自車位置を特定する（ステップＳ６）。
対象物位置算出部３９は、テンプレートの付属データ中の位置情報からテンプレートの対象物の位置を認識し、フレーム画像，特定された自車位置,カメラの光軸方向等のデータに基づいて、処理対象のフレーム画像中でテンプレートの対象物を推定し、特定された自車位置に対する、テンプレートの対象物（又は、対象物と推定される撮像体）の相対位置を算出する（ステップＳ７）。
【００５０】
また、対象物形状算出部３８は、フレーム画像，地図データ，距離データ等から、対象物の３次元形状を特定する（ステップＳ８）。
輝度変化量推定部４０は、テンプレートの付属データの位置情報及び時間データ，特定した光源位置，自車位置，対象物の相対位置等から、テンプレート作成時と現時点との間における、光源，外界カメラ２，対象物の位置関係の変化を算出する（ステップＳ９）。
【００５１】
そして、輝度変化量推定部４０は、天候や気象条件の変化に伴う照射光量の変化，算出した位置関係の変化及び対象物の形状等に基づいて、輝度変化量を推定する（ステップＳ１０）。例えば、この推定処理において、輝度変化量推定部４０は、対象物の３次元形状から、対象物の平面部分の法線方向を検出して、太陽光線の入射方向に対する対象物の平面部分からの反射方向を算出し、この反射方向からのずれに応じて反射光量の程度を推定し、これから輝度変化量を推定してもよい。
テンプレート輝度変換部４１は、推定された輝度変化量に基づいて、諧調変換関数を導出又は選択し、この諧調変換関数によって、テンプレート画像の輝度補正を行う（ステップＳ１１）。
【００５２】
テンプレートマッチング処理部４２は、テンプレート輝度変換部４１から輝度補正された補正テンプレート画像を受け取り、画像取得部３１から受け取った処理対象のフレーム画像に対して、補正テンプレート画像を適用して、テンプレートマッチング処理を実行し（ステップＳ１２）、処理を終了する。
【００５３】
このように、本実施形態では、時間データから太陽の軌道を算出して光源位置を特定すると共に、測位データや地図データ等に基づいて光源（太陽１００），車両１４（又は外界カメラ２）と対象物との位置関係を把握し、テンプレート作成時と処理対象のフレーム画像撮像時との間の位置関係及び天気気象条件の変化から、外界カメラ２に入射する対象物からの反射光量の変化を推定し、これによりテンプレート画像を輝度補正する。これにより、本実施形態では、車両１４の移動に伴って光源と対象物との位置関係が大きく変化したり、天気気象条件が変化したりしても、これらの変化によって生じる対象物からの反射光量の変化に応じてテンプレートを輝度補正することができ、テンプレートマッチング処理におけるマッチング不良を防止することが可能となる。
【００５４】
次に、図１１及び図１２に基づいて、第２実施形態の車両用画像処理装置１について説明する。この実施形態は、夜間に自車両１４のヘッドライト１４Ａが光源となる場合に適用されるものである。
図１１は、夜間に位置Ｄ１から位置Ｄ２にかけて走行路を走行中の車両１４を示している。走行路の車両右前方には対象物２５が配置されている。
【００５５】
対象物２５から遠い位置である位置Ｄ１，近い位置である位置Ｄ２では、それぞれヘッドライト１４Ａから一定の照射光量の照射光線が対象物２５に照射している。しかしながら、対象物２５での反射光量により外界カメラ２が受け取る光量は位置Ｄ１よりも位置Ｄ２での方が大きくなる。このため、各位置で撮像したフレーム画像中において、対象物２５の撮像画像領域の輝度は大きく異なっている。このため、位置Ｄ１で対象物２５のテンプレートを作成した場合、このテンプレートを用いて、位置Ｄ２で撮像したフレーム画像に対してテンプレートマッチング処理を実行しても、輝度変化に起因して、このフレーム画像で対象物をマッチングにより認識することができない。本実施形態では、このようなマッチング不良を防止するために、テンプレートの輝度を補正するように構成されている。
【００５６】
図１２に基づいて、第２実施形態によるコントローラ３の処理フローを説明する。なお、図１０の処理フローと同様な処理については重複する説明を省略する。また、本実施形態では、テンプレートデータ蓄積部４３には、既に作成されたテンプレートが保存されているものとする。
まず、コントローラ３の画像取得部３１はフレーム画像を受け取る（ステップＳ２１）。
【００５７】
自車位置算出部３７は、測位センサ５からの測位データ，地図データベース７からの地図データ，車載センサ６からの測定データから、自車位置を特定すると共に、光源位置推定部３５は、夜間走行中には光源位置を自車位置に設定し、ヘッドライト１４Ａの照射方向（光軸方向）Ｈを特定する（ステップＳ２２）。
対象物位置算出部３９は、テンプレートの付属データ中の位置情報，フレーム画像，特定された自車位置,カメラの光軸方向等のデータに基づいて、処理対象のフレーム画像中で対象物を推定又は追跡し、特定された自車位置に対する対象物の相対位置を算出する（ステップＳ２３）。
【００５８】
また、対象物形状算出部３８は、フレーム画像，地図データ，距離データ等から、対象物の３次元形状を特定する（ステップＳ２４）。
輝度変化量推定部４０は、テンプレートの付属データの位置情報及び時間データ，特定した光源位置，自車位置，対象物の相対位置等から、テンプレート作成時と現時点との間における、光源（ヘッドライト１４Ａ），外界カメラ２，対象物の位置関係の変化を算出する（ステップＳ２５）。
【００５９】
そして、輝度変化量推定部４０は、算出した位置関係の変化及び対象物の形状等に基づいて、輝度変化量を推定する（ステップＳ２６）。この処理では、輝度変化量推定部４０は、外界カメラ２と対象物との相対位置，ヘッドライト１４Ａの照射方向Ｈと照射方向Ｈに対する対象物の照射角度から照射光量を見積もり、外界カメラ２と対象物との相対位置，外界カメラ２の光軸方向と対象物の形状から反射光量を見積もり、これらの移動に伴う変化から輝度変化量を推定する。
【００６０】
テンプレート輝度変換部４１は、推定された輝度変化量に基づいて、諧調変換関数を導出又は選択し、これにより、テンプレート画像の輝度補正を行う（ステップＳ２７）。
テンプレートマッチング処理部４２は、処理対象のフレーム画像に対して、補正テンプレート画像を適用して、テンプレートマッチング処理を実行し（ステップＳ２８）、処理を終了する。
【００６１】
このように、本実施形態では、自車両１４のヘッドライト１４Ａが光源となって、フレーム画像中の対象物の輝度が車両走行に伴って大きく変化しても、この移動に伴う輝度変化を推定してテンプレートを輝度補正するので、確実に対象物を認識することが可能である。
【００６２】
次に、図１３及び図１４に基づいて、第３実施形態の車両用画像処理装置１について説明する。この実施形態は、自車両１４のヘッドライト１４Ａ，他車両１５のヘッドライト１５Ａ，街路灯等の固定光源１６が光源となる夜間に適用されるものである。
図１３は、夜間に位置Ｅ１から位置Ｅ２にかけて走行路を走行中の車両１４を示している。走行路の車両右前方には対象物２６が配置され、車両左前方には街路灯１６が配置されている。また、対向車線から他車両１５が接近してきている。
【００６３】
対象物２６には、３つの影２６ａ，２６ｂ，２６ｃが形成されている。影２６ａは自車両１４のヘッドライト１４Ａからの照射光線によって形成されたものであり、影２６ｂは他車両１５のヘッドライト１５Ａからの照射光線によって形成されたものであり、影２６ｃは街路灯１６からの照射光線によって形成されたものである。この場合、車両１４，１５によって形成されている影２６ａ，２６ｂは、車両の移動にしたがって向き，濃さ及び形状が変化するが、街路灯１６によって形成されている影２６ｃは一定状態に保持される。
【００６４】
このように、対象物２６は、３つの光源によって照射されており、車両１４，１５の移動に伴って、自車両１４と対象物２６と３つの光源との位置関係が変化する。これにより、外界カメラ２が位置Ｅ１で撮像したフレーム画像から作成した対象物２６のテンプレートを、位置Ｅ２で撮影したフレーム画像に適用してテンプレートマッチング処理を実行しても、対象物２６に対する照射状況が変化しているため、輝度変化に起因して、テンプレートを対象物２６の画像にマッチングさせることができず、対象物２６を認識することができない。本実施形態では、このようなマッチング不良を防止するために、テンプレートの輝度を補正するように構成されている。
【００６５】
図１４に基づいて、第３実施形態によるコントローラ３の処理フローを説明する。
ステップＳ３１からステップＳ３５の処理は、図１２のステップＳ２１からステップＳ２５の処理と同様であるので説明を省略する。
【００６６】
影情報算出部３６は、フレーム画像，自車位置と対象物の位置との関係等から、自車両１４のヘッドライト１４Ａによって形成されている対象物２６の影２６ａを認識し、影２６ａの方向，濃さ及び形状のデータを取得する（ステップＳ３６）。
さらに、影情報算出部３６は、処理対象のフレーム画像から、影２６ａを含めて、対象物２６に形成されている影の個数を認識する（ステップＳ３７）。
【００６７】
影情報算出部３６は、認識した影の個数が複数であるか否かを判定する（ステップＳ３８）。
認識した影の個数が複数でない場合（ステップＳ３８；Ｎｏ）、対象物２６を照射する光源はヘッドライト１４Ａのみであると判断して、ステップＳ４５の処理に移行する。
一方、認識した影の個数が複数である場合（ステップＳ３８；Ｙｅｓ）、自車両１４のヘッドライト１４Ａ以外の光源が存在すると判断して、影情報算出部３６は、ヘッドライト１４Ａ以外の光源によって形成されている影（例えば、影２６ｂ，２６ｃ）の方向，濃さ及び形状を認識し、光源位置推定部３５は光源方向を特定する（ステップＳ３９）。
【００６８】
そして、影情報算出部３６は、処理対象のフレーム画像及びそれ以前に受け取っていたフレーム画像とを用いて、認識されている影（影２６ａ，２６ｂ，２６ｃ）の方向，濃さ及び形状の変化を認識する（ステップＳ４０）。
さらに、影情報算出部３６は、認識されている影（影２６ａ，２６ｂ，２６ｃ）の方向，濃さ及び形状の変化から、自車両１４の移動に伴う変化分を取除き（ステップＳ４１）、自車両１４の移動以外の要因で影情報に変化が生じるか否かを判定する（ステップＳ４２）。
【００６９】
影情報に変化が生じない場合（ステップＳ４２；Ｎｏ）、自車両１４以外に移動する光源がないと判断して、ステップＳ４４の処理に移行する。
一方、影情報に変化が生じる場合（ステップＳ４２；Ｙｅｓ）、自車両１４以外に移動する光源があると判断して、影情報が変化する影（影２６ｂ）について、光源位置推定部３５は、影の方向，濃さ及び形状の変化から、移動する光源（ヘッドライト１５Ａ）の位置又は方向及び移動量を特定する（ステップＳ４３）。
【００７０】
輝度変化量推定部４０は、テンプレートの付属データの位置情報及び時間データ，特定した複数の光源位置，自車位置，対象物の相対位置等から、テンプレート作成時と現時点との間における、光源（ヘッドライト１４Ａ，ヘッドライト１５Ａ），外界カメラ２，対象物の位置関係の変化を算出する（ステップＳ４４）。
【００７１】
そして、輝度変化量推定部４０は、算出した位置関係の変化及び対象物の形状等に基づいて、輝度変化量を推定する（ステップＳ４５）。
テンプレート輝度変換部４１は、推定された輝度変化量に基づいて、諧調変換関数を導出又は選択し、これにより、テンプレート画像の輝度補正を行う（ステップＳ４６）。
テンプレートマッチング処理部４２は、処理対象のフレーム画像に対して、補正テンプレート画像を適用して、テンプレートマッチング処理を実行し（ステップＳ４７）、処理を終了する。
【００７２】
このように、本実施形態では、対象物２６を照射する光源が自車両１４のヘッドライト１４Ａ以外にも存在する場合であっても、自車両１４の移動に伴うフレーム画像中の対象物の輝度変化量を見積もってテンプレートを輝度補正するので、確実に対象物を認識することが可能である。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施形態による車両用画像処理装置の構成図である。
【図２】本発明の実施形態による光源方向推定処理の説明図である。
【図３】本発明の実施形態によるフレーム画像撮像時の説明図である。
【図４】図３において位置Ｃ１にて撮像されたフレーム画像及びそのヒストグラムである。
【図５】図３において位置Ｃ２にて撮像されたフレーム画像及びそのヒストグラムである。
【図６】本発明の実施形態による補正テンプレート作成処理の説明図である。
【図７】本発明の実施形態による他のフレーム画像撮像時の説明図である
【図８】図７において撮像されたフレーム画像及びそのヒストグラムである。
【図９】本発明の実施形態による他の補正テンプレート作成処理の説明図である。
【図１０】本発明の実施形態によるマッチング処理のフローチャートである。
【図１１】本発明の第２実施形態によるフレーム画像撮像時の説明図である。
【図１２】本発明の第２実施形態によるマッチング処理のフローチャートである。
【図１３】本発明の第３実施形態によるフレーム画像撮像時の説明図である。
【図１４】本発明の第３実施形態によるマッチング処理のフローチャートである。
【符号の説明】
【００７４】
１ 車両用画像処理装置
２ 外界カメラ
３ コントローラ
４ モニタ
５ 測位センサ
６ 車載センサ
７ 地図データベース
８ 距離センサ
９ 通信機
１４，１５ 車両
１４Ａ，１５Ａ ヘッドライト
１６ 街路灯
２０ 道路標識
２２，２３，２４ 画像領域
２５，２６ 対象物
２６ａ，２６ｂ，２６ｃ 影
【技術分野】
【０００１】
本発明は、車両用画像処理装置に係り、特にテンプレートを用いて画像認識処理により画像中の対象物を認識する車両用画像処理装置に関する。
【背景技術】
【０００２】
従来、予め用意したテンプレート画像を用いて、撮像画像中の対象物（道路標識等）の画像認識を行う技術が知られている（例えば、特許文献１参照）。
特許文献１に記載の装置では、実際の道路標識を撮影した画像データに対して、道路標識のテンプレート画像によりテンプレートマッチング処理が行われ、マッチング度合が所定レベルを超えるとマッチングが成立したものと判定され、画像データ中で道路標識が認識される。
【０００３】
【特許文献１】特開２００８−９９１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像画像中の対象物に対する照明状況は時間と共に変化するが、従来の画像間のマッチングでは、この照明状況の変化を考慮していないため、正確なマッチングを行うことができない場合があるという問題があった。すなわち、従来は、対象物を照明する光源の位置及び照度が一定であり、且つ、撮像手段と対象物との位置関係にかかわらず対象物から撮像手段へ入射する光量が変化せず、これにより、画像間において対象物の同一箇所の輝度情報が大きく変化しないことを前提としていた。
【０００５】
例えば、ある位置で撮像した画像によって作成した対象物のテンプレートを、対象物との位置関係が大きく異なる別の位置で対象物を撮像した画像に適用する場合、画像中の対象物の輝度情報は大きく変化する。また、テンプレートを作成した画像を撮像したのと同一位置で同一対象物を再度撮像した場合であっても、時間が経過し、太陽の位置が変化していると、画像の輝度情報は大きく変化する。また、夜間に自車両のヘッドライトを主光源として撮像された画像の場合、自車両の移動により光源位置が移動するので、同一対象物を撮像しても、画像の輝度情報は大きく変化する。さらに、自車両のヘッドライト以外に、他車両のヘッドライトや周囲店舗等からの照明によっても、画像の輝度情報が変化してしまう。
このように、従来は、輝度情報が大きく変化した画像では、正確にテンプレートマッチング処理を行うことができないという問題があった。
【０００６】
本発明は、このような課題を解決するためになされたものであり、対象物の輝度情報が変化しても、正確にテンプレートをマッチングさせることにより、対象物を認識することが可能な車両用画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明は、車両用画像処理装置であって、車両に搭載され、第１時間に車両周囲の対象物を含む第１画像を撮像し、第１時間から所定時間経過した第２時間に車両周囲の前記対象物を含む第２画像を撮像する撮像手段と、第１画像に基づいて対象物のテンプレートを作成するテンプレート作成手段と、第１画像と第２画像の撮像時における撮像手段に対する光源の位置を推定する光源位置推定手段と、第１画像と前記第２画像の撮像時における撮像手段と対象物との位置関係を推定する位置検出手段と、位置検出手段によって検出された位置関係、及び光源位置推定手段によって推定された光源位置に基づいて、第１画像中の対象物と第２画像中の対象物との間の輝度変化を推定する輝度変化推定手段と、輝度変化推定手段によって推定された輝度変化により、テンプレートの輝度を補正した補正テンプレートを作成する輝度補正手段と、補正テンプレートより、第２画像に対してテンプレートマッチング処理を行い、対象物を検出するマッチング手段と、を備えたことを特徴としている。
【０００８】
このように構成された本発明によれば、第１画像と第２画像の撮像時における、光源位置と撮像手段と対象物との位置関係の変化を検出し、検出した位置関係の変化に応じて、第１画像から作成した対象物のテンプレートの輝度変化を位置関係に応じて補正する。これにより、本発明によれば、第１画像と第２画像の撮像時において、対象物から撮像手段への反射光量が変化して画像中の対象物の輝度が変化しても、輝度補正した補正テンプレートによって、第２画像中から同一対象物をテンプレートマッチング処理によって精度よく検出することが可能となる。
【０００９】
また、本発明において好ましくは、光源位置推定手段は、撮像時間と撮像時における車両位置に基づいて、光源としての太陽の位置を推定する。このように構成された本発明によれば、光源である太陽の位置を特定して、太陽の移動に伴う輝度変化を補正することで、同一対象物を精度良く検出することができる。
【００１０】
また、本発明において好ましくは、光源位置推定手段は、第１画像及び第２画像中の撮像体及びこの撮像体の影の方向及び形状を利用して、光源位置を推定する。このように構成された本発明によれば、太陽に限らず他の種類の光源についても光源位置を特定して、自車両等の移動に伴う輝度変化を補正することで、同一対象物を精度良く検出することができる。
【００１１】
また、本発明において好ましくは、輝度変化推定手段は、対象物の形状と光源位置から反射光の光量を推定し、この光量の変化から輝度変化を推定する。このように構成された本発明によれば、対象物からの反射光を考慮して、同一対象物を精度良く検出することができる。
【００１２】
また、本発明において好ましくは、光源位置推定手段は、自車のヘッドライト点灯時には、ヘッドライトを光源に設定し、輝度変化推定手段は、自車のヘッドライトが光源に設定されているときは、対象物に対するヘッドライトの照射角度をさらに考慮して、輝度変化を推定する。このように構成された本発明によれば、自車のヘッドライトによる輝度変化を補正することで、同一対象物を精度良く検出することができる。
【発明の効果】
【００１３】
本発明の車両用画像処理装置によれば、対象物の輝度情報が変化しても、正確にテンプレートをマッチングさせることにより、対象物を認識することができる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して本発明の実施形態について説明する。図１は車両用画像処理装置の構成図、図２は光源方向推定処理の説明図、図３はフレーム画像撮像時の説明図、図４，図５はそれぞれ図３において位置Ｃ１，位置Ｃ２にて撮像されたフレーム画像及びそのヒストグラム、図６は補正テンプレート作成処理の説明図、図７は他のフレーム画像撮像時の説明図、図８は図７において撮像されたフレーム画像及びそのヒストグラム、図９は他の補正テンプレート作成処理の説明図である。
【００１５】
本実施形態の車両用画像処理装置１は、図１に示すように、外界カメラ２と、コントローラ３と、モニタ４と、測位センサ５と、車載センサ６と、地図データベース７と、距離センサ８と、通信機９とを備えている。
外界カメラ２は、ＣＣＤカメラやＣＭＯＳカメラ等の撮像手段であり、例えば車両走行方向前側を向くように車両１４に所定高さで搭載されている（図３参照）。この外界カメラ２は、車両前方の画像を所定のフレームレートで撮像し、撮像したフレーム画像をコントローラ３に出力するように構成されている。
モニタ４は、ＬＣＤ等の表示装置であり、コントローラ３から受け取ったフレーム画像を運転者に対して表示可能に構成されている。
【００１６】
測位センサ５は、ＧＰＳ，ＩＮＳ等の車両測位データを測定するために車両に搭載されたセンサであり、測位データをコントローラ３に出力する。この測位データにより、車両１４及び車両１４に搭載された外界カメラ２の測位変化を検出可能である。
車載センサ６は、車両速度，車両加速度，ヨー角，ロール角，ピッチ角，角速度等の車両の移動量，移動量変化を測定するために車両に搭載されたセンサであり、これらの測定データをコントローラ３に出力する。この測定データにより、車両１４及び車両１４に搭載された外界カメラ２の位置変化を検出可能である。
【００１７】
地図データベース７は、ＨＤＤ等の記憶装置で構成され、測位センサ５からの測位データ等と合わせて、自車両の位置を特定するための地図データを格納し、この地図データをコントローラ３に出力する。この地図データは、実際の道路網に対応して、ノード(交差点)に関係する情報と、リンク(ノードとノードを接続する道路)に関係する情報等から構成されている。さらに、この地図データには、信号機，建物や公園などの施設，鉄道，水系などの位置，名称，形状等の固定物データが格納されている。
【００１８】
距離センサ８は、レーザレーダ，ミリ波レーダ，赤外線ＴＯＦ装置等で構成することができ、任意の対象物までの距離データをコントローラ３に出力する。
通信機９は、車両１４に搭載され、外部の天気気象情報提供手段から天候気象情報を取得し、この情報をコントローラ３に出力する。この天気気象情報には、天気，太陽光の強さ（太陽光量）等の情報が含まれる。
【００１９】
コントローラ３は、車両１４内に配置されており、ＣＰＵ，プログラム等を記憶したメモリ等を備えたマイクロコンピュータを含んで構成されている。コントローラ３は、外界カメラ２から受け取ったフレーム画像に対して画像認識処理を行うことにより、道路標識等の対象物を認識して、認識した対象物を含むフレーム画像をモニタ４に出力するように構成されている。
なお、対象物は、道路標識以外にも、道路案内表示，交通規制表示，渋滞情報表示，信号機，路面上のマーク，ランドマーク，建造物等の撮像画像中に含まれる任意の撮像対象物であってよい。
【００２０】
本実施形態では、コントローラ３は、画像取得部３１，テンプレート作成部３２，日時情報取得部３３，天気気象情報取得部３４，光源位置推定部３５，影情報算出部３６，自車位置算出部３７，対象物形状算出部３８，対象物位置算出部３９，輝度変化量推定部４０，テンプレート輝度変換部４１，テンプレートマッチング処理部４２を備えている。これらは、ＣＰＵがプログラムを実行することにより実現される。また、コントローラ３は、ＨＤＤ等の記憶装置により構成される記憶手段であるテンプレートデータ蓄積部４３及び太陽軌道データベース４４を備えている。
【００２１】
テンプレートデータ蓄積部４３は、テンプレートマッチング処理のためのテンプレートを記憶する。太陽軌道データベース４４は、任意の時間における任意の車両位置に対する太陽の位置を特定するための太陽軌道データを記憶している。
画像取得部３１は、外界カメラ２からフレーム画像を取得し、このフレーム画像を各種の処理を行うために各機能部に出力する。
【００２２】
テンプレート作成部３２は、外界カメラ２からのフレーム画像を受け取り、このフレーム画像から道路標識等の対象物画像領域を切り出して、テンプレートマッチング処理のためのテンプレート画像を作成し、付属データと共にテンプレートデータ蓄積部３９に保存する。付属データには、テンプレートの対象となった対象物及び自車両の位置情報，テンプレート作成時の時間データ，天候気象情報等が含まれる。
【００２３】
テンプレート作成部３２は、連続する２枚のフレーム画像，距離センサ８からの距離データ，測位センサ５からの測位データ等に基づいて、ステレオ画像処理や、実測データの処理によってテンプレートの対象となっている対象物の３次元座標値を算出し、また、テンプレート作成画像を撮像した自車両の位置を取得し、これらを位置情報として付属データに含める。さらに、テンプレート作成部３２は、日時情報取得部３３から受け取ったテンプレート作成時の時間データと、天気気象情報取得部３４から受け取った天候気象情報を付属データに含める。
【００２４】
日時情報取得部３３は、測位センサ５から現在時刻を受け取り、これを光源位置推定部３５等に出力する。
天気気象情報取得部３４は、通信機９が外部から受け取った天気気象情報を取得し、この情報を光源位置推定部３５等に出力する。
光源位置推定部３５は、日時情報取得部３３，天気気象情報取得部３４，太陽軌道データベース４４，影情報算出部３６等からそれぞれデータを受け取り、自車両１４に対する光源位置を特定する。
【００２５】
影情報算出部３６は、画像取得部３１から受け取ったフレーム画像を画像処理することにより、フレーム画像中の建物や車両によって形成される影の数，濃淡，方向，形状を認識する。例えば、図２に示すフレーム画像には、駐車車両１５と、この車両１５によって形成された影１５ａが撮像されている。影情報算出部３６は、フレーム画像中で認識した車両１５と影１５ａに基づいて、自車位置データ等を更に用いて、３次元ステレオ画像処理によって、光源方向θを推定し、光源方向データを光源位置推定部３５に出力する。
【００２６】
自車位置算出部３７は、測位センサ５からの測位データ，車載センサ６から測定データ，地図データベース７からの地図データを用いて、自車位置を算出する。
対象物形状算出部３８は、画像取得部３１からフレーム画像，距離センサ８から距離データ，地図データベース７から形状データ等を受け取る。対象物形状算出部３８は、フレーム画像等を用いてステレオ画像処理することにより、フレーム画像中の対象物の形状を算出する。なお、対象物形状算出部３８は、地図データベース７の形状データから直接対象物の形状を特定してもよい。
【００２７】
対象物位置算出部３９は、自車位置算出部３７からの自車位置データ，距離センサ８からの距離データ，テンプレートの付属データ等を用いて、フレーム画像中の対象物と推定される撮像物の車両１４に対する相対位置を算出する。
【００２８】
輝度変化量推定部４０は、光源位置推定部３５からの光源位置データ，天気気象情報取得部３４からの天気気象情報，自車位置算出部３７からの自車位置データ，対象物位置算出部３９からの相対位置データ，対象物形状算出部３８からの対象物形状データ，テンプレート付属データ等を用いて、テンプレート作成時の光源の照射光量の程度及び対象物から外界カメラ２への反射光量の程度と、処理対象となるフレーム画像撮像時の照射光量の程度及びフレーム画像中の対象物（又は対象物と推定されている撮像物）からの反射光量の程度との間の変化を見積もる。そして、輝度変化量推定部４０は、テンプレート画像と、処理対象のフレーム画像の対象物画像領域との間の輝度変化量を推定する。このとき、輝度変化量推定部４０は、例えば、照射光量及び反射光量の段階をそれぞれ３段階で評価し、これらが変化した段階に応じて所定のマップデータに基づいて、輝度変化量又は輝度変化レベルを推定する。
【００２９】
テンプレート輝度変換部４１は、輝度変化量推定部４０からの輝度変化量データに基づいて、テンプレート画像の輝度補正を行い、補正テンプレート画像を作成する。テンプレート輝度変換部４１は、輝度変化量データに応じて、後述する諧調変換関数を導出又は選択し、この諧調変換関数によって、テンプレート画像の輝度補正を行う。
テンプレートマッチング処理部４２は、テンプレート輝度変換部４１で輝度補正された補正テンプレート画像を用いて、フレーム画像に対してテンプレートマッチング処理を行い、対象物を認識し、このフレーム画像をモニタ４に出力する。
【００３０】
次に、テンプレート画像の輝度補正処理について説明する。
図３は、晴天時に、車両１４が時間ｔ１から時間ｔ２にかけて、対象物である道路標識２０が設置された交差点を右折する状況を示している。車両１４は、時間ｔ１に位置Ｃ１に位置し、時間ｔ２に位置Ｃ２に位置している。このとき、外界カメラ２は、時間ｔ１に図４（Ａ）に示すフレーム画像Ａ１を撮像し、時間ｔ２に図５（Ａ）に示すフレーム画像Ａ２を撮像している。また、コントローラ３は、時間ｔ１に撮像したフレーム画像Ａ１から道路標識２０の画像領域２２を切り出して、テンプレート画像を作成するものとする。
【００３１】
図４（Ｂ）は、画像領域２２により形成されたテンプレート画像の濃淡ヒストグラムＢ１を示している。テンプレート画像を構成する各画素は、その濃淡を示す値である画素値（本例では、０から２５５までの２５６段階のレベル）を有しており、ヒストグラムＢ１は、画素値に対する頻度を示している。
【００３２】
一方、図５（Ｂ）は、フレーム画像Ａ２の道路標識２０を含む画像領域２３（図５（Ａ）参照）のヒストグラムＢ２を示している。このヒストグラムＢ２とヒストグラムＢ１を比較すると、ピーク数や頻度の全体的な高低差は同じであるが、コントラスト（すなわち、濃淡分布の広がり）が異なっていることが分かる。
【００３３】
図３に模式的に示すように、光源である太陽１００からの光線が道路標識２０で反射して外界カメラ２に届く反射光量は、位置Ｃ１よりも位置Ｃ２での方が大きくなっている。すなわち、外界カメラ２への反射光量は、外界カメラ２，道路標識２０及び太陽１００の位置関係によって変化する。また、対象物の形状によっても変化する。例えば、平面的な対象物（例えば、道路標識２０の表示面）は反射光量が大きくなるが、凹凸形状を有する対象物は反射光量が相対的に小さくなる。また、反射面の向きによっても反射光量は変化する。
【００３４】
位置Ｃ２でのフレーム画像Ａ２では、道路標識２０からの反射光量が相対的に大きいので、ヒストグラムＢ２は明るい画素値の割合が高くなっている。一方、位置Ｃ１でのフレーム画像Ａ１では、道路標識２０からの反射光量が相対的に小さいので、ヒストグラムＢ１は暗い画素値の割合が高くなっている。すなわち、ヒストグラムＢ２は、ヒストグラムＢ１と比べると、明るい方向にシフトしている。
【００３５】
したがって、フレーム画像Ａ１から作成したテンプレート画像を、フレーム画像Ａ２に適用してテンプレートマッチング処理を行った場合、テンプレート画像とフレーム画像Ａ２中の画像領域２３の輝度情報の相違に起因して、テンプレート画像を画像領域２３にマッチングさせることができず、道路標識２０を検出することができない場合がある。
【００３６】
本実施形態では、車両１４の移動等に伴うフレーム画像の輝度変化に起因して、マッチング不良が発生することを防止するため、処理対象となるフレーム画像に応じて、テンプレート画像の輝度を補正して補正テンプレートを作成し、この補正テンプレートによってテンプレートマッチング処理を行う。本実施形態では、このような補正テンプレートを作成するために、コントローラ３は、光源である太陽１００，外界カメラ２，対象物である道路標識２０の位置関係の変化や対象物形状等に応じて輝度変化量を見積もり、これに応じて諧調変換関数（トーンカーブ）を導出又は選択する。そして、コントローラ３は、この諧調変換関数によって、テンプレート画像の輝度を補正する。具体的には、諧調変換関数によって、画像の明るさやコントラスト等の画素値に分布が補正される。
【００３７】
図６は、テンプレート画像のヒストグラムＢ１（「補正前」、上図）と、テンプレート画像を諧調変換関数によって変換して得られた補正テンプレート画像のヒストグラムＫ１（「補正後」、下図）を示している。諧調変換関数は、中央図に示すような入力画素値と出力画素値との関係で与えられている。図６に示した諧調変換関数は、低輝度の画素の輝度を高輝度にシフトさせ、全体的にコントラストを低下させるものである。
【００３８】
このようにして輝度補正された補正テンプレート画像のヒストグラムＫ１は、図５（Ｂ）の画像領域２３のヒストグラムＢ２と傾向が略一致する。
したがって、フレーム画像Ａ２に対して補正テンプレート画像を適用してテンプレートマッチング処理した場合、補正テンプレート画像を画像領域２３に良好にマッチングさせることができる。これにより、道路標識２０を認識することが可能となる。
【００３９】
また、図７は、太陽１００が図３と同じ位置にある曇天時に、車両１４が図３と同一の交差点を右折する状況を示している。すなわち、図３と図７では、光源である太陽１００の照射光量のみが異なる。図８（Ａ）は、図７の状況において、位置Ｃ１で撮像したフレーム画像Ａ３であり、図８（Ｂ）は、フレーム画像Ａ３中の道路標識２０の画像領域２４のヒストグラムＢ３を示している。
【００４０】
このヒストグラムＢ３とヒストグラムＢ１を比較すると、ピーク数や頻度の全体的な高低差は同じであるが、コントラストが異なっていることが分かる。すなわち、曇天時には太陽１００による照射光量が低下し、道路標識２０からの反射光量が減少するので、ヒストグラムＢ３は、晴天時に撮像されたフレーム画像Ａ１によるテンプレート画像のヒストグラムＢ１よりも、暗い方向にシフトしている。
【００４１】
したがって、同じ位置Ｃ１で撮像したフレーム画像Ａ３にテンプレート画像を適用してテンプレートマッチング処理を行っても、テンプレート画像をこのフレーム画像Ａ３中の画像領域２４にマッチングさせることができず、道路標識２０を検出することができない場合がある。
【００４２】
本実施形態では、撮像位置の移動に加えて、このような天候，気象条件の変化による照射光量の変化をも考慮して輝度変化量を見積もり、これに応じて諧調変換関数を導出又は選択し、この諧調変換関数によって、テンプレート画像の輝度を補正する。
図９は、テンプレート画像のヒストグラムＢ１（「補正前」、上図）と、テンプレート画像を諧調変換関数によって変換して得られた補正テンプレート画像のヒストグラムＫ２（「補正後」、下図）と、諧調変換関数（中央図）を示している。図９に示した諧調変換関数は、高輝度の画素を低輝度の画素にシフトさせ、全体的にコントラストを低下させるものである。
【００４３】
このようにして輝度補正された補正テンプレート画像のヒストグラムＫ２は、図７の状況で撮像されたフレーム画像Ａ３中の画像領域２４のヒストグラムＢ３（図８（Ｂ））と傾向が略一致する。
したがって、図７によるフレーム画像に対して補正テンプレート画像を適用してテンプレートマッチング処理した場合、補正テンプレート画像を良好にマッチングさせることができる。これにより、道路標識２０を認識することが可能となる。
【００４４】
次に、図１０に基づいて、本実施形態のコントローラ３の処理フローについて説明する。
この処理は、コントローラ３によって所定間隔で繰り返し行われる。なお、この処理では、コントローラ３は、既に所定位置で撮像したフレーム画像に基づいて作成した対象物のテンプレートを記憶しており、さらに、このテンプレートを作成した位置付近を車両１４が走行中であることを検知し、このテンプレートをマッチング処理に用いるために読み込んでいる。
【００４５】
まず、コントローラ３の画像取得部３１は、外界カメラ２から車両１４の外部を撮像したフレーム画像を受け取る（ステップＳ１）。
輝度変化量推定部４０は、テンプレートを作成したフレーム画像撮像時から所定時間以上経過しているか否かを判定する（ステップＳ２）。
【００４６】
所定時間以上経過していない場合（ステップＳ２；Ｎｏ）、ステップＳ４の処理に移行する。これは、例えば、図３の状況で、位置Ｃ１でのフレーム画像Ａ１でテンプレートを作成し、位置Ｃ２でのフレーム画像Ａ２を受け取った場合である。
【００４７】
一方、所定時間以上経過している場合（ステップＳ２；Ｙｅｓ）、輝度変化量推定部４０は、天気気象情報取得部３４から受け取った天気気象情報と、テンプレートの付属データに含まれる天気気象情報とを用いて、天候や気象条件の変化に伴う照射光量の変化を見積もり（ステップＳ３）、ステップＳ４の処理に移行する。この処理を行うのは、例えば、図７の状況で、テンプレート作成時以降に再び位置Ｃ１を走行し、フレーム画像Ａ３を受け取った場合である。
【００４８】
そして、光源位置推定部３５は、日時情報取得部３３から取得した時間データと、太陽軌道データベース４４から取得した太陽軌道データから、光源位置を特定する（ステップＳ４）。
また、影情報算出部３６は、フレーム画像中の撮像体及びその影を認識して、これに基づいて、光源方向を推定する（ステップＳ５）。光源位置推定部３５は、太陽軌道データから特定した太陽位置を、影情報算出部３６からの光源方向データで補正し、最終的な光源位置を特定する。
【００４９】
自車位置算出部３７は、測位センサ５からの測位データ，地図データベース７からの地図データ，車載センサ６からの測定データから、自車位置を特定する（ステップＳ６）。
対象物位置算出部３９は、テンプレートの付属データ中の位置情報からテンプレートの対象物の位置を認識し、フレーム画像，特定された自車位置,カメラの光軸方向等のデータに基づいて、処理対象のフレーム画像中でテンプレートの対象物を推定し、特定された自車位置に対する、テンプレートの対象物（又は、対象物と推定される撮像体）の相対位置を算出する（ステップＳ７）。
【００５０】
また、対象物形状算出部３８は、フレーム画像，地図データ，距離データ等から、対象物の３次元形状を特定する（ステップＳ８）。
輝度変化量推定部４０は、テンプレートの付属データの位置情報及び時間データ，特定した光源位置，自車位置，対象物の相対位置等から、テンプレート作成時と現時点との間における、光源，外界カメラ２，対象物の位置関係の変化を算出する（ステップＳ９）。
【００５１】
そして、輝度変化量推定部４０は、天候や気象条件の変化に伴う照射光量の変化，算出した位置関係の変化及び対象物の形状等に基づいて、輝度変化量を推定する（ステップＳ１０）。例えば、この推定処理において、輝度変化量推定部４０は、対象物の３次元形状から、対象物の平面部分の法線方向を検出して、太陽光線の入射方向に対する対象物の平面部分からの反射方向を算出し、この反射方向からのずれに応じて反射光量の程度を推定し、これから輝度変化量を推定してもよい。
テンプレート輝度変換部４１は、推定された輝度変化量に基づいて、諧調変換関数を導出又は選択し、この諧調変換関数によって、テンプレート画像の輝度補正を行う（ステップＳ１１）。
【００５２】
テンプレートマッチング処理部４２は、テンプレート輝度変換部４１から輝度補正された補正テンプレート画像を受け取り、画像取得部３１から受け取った処理対象のフレーム画像に対して、補正テンプレート画像を適用して、テンプレートマッチング処理を実行し（ステップＳ１２）、処理を終了する。
【００５３】
このように、本実施形態では、時間データから太陽の軌道を算出して光源位置を特定すると共に、測位データや地図データ等に基づいて光源（太陽１００），車両１４（又は外界カメラ２）と対象物との位置関係を把握し、テンプレート作成時と処理対象のフレーム画像撮像時との間の位置関係及び天気気象条件の変化から、外界カメラ２に入射する対象物からの反射光量の変化を推定し、これによりテンプレート画像を輝度補正する。これにより、本実施形態では、車両１４の移動に伴って光源と対象物との位置関係が大きく変化したり、天気気象条件が変化したりしても、これらの変化によって生じる対象物からの反射光量の変化に応じてテンプレートを輝度補正することができ、テンプレートマッチング処理におけるマッチング不良を防止することが可能となる。
【００５４】
次に、図１１及び図１２に基づいて、第２実施形態の車両用画像処理装置１について説明する。この実施形態は、夜間に自車両１４のヘッドライト１４Ａが光源となる場合に適用されるものである。
図１１は、夜間に位置Ｄ１から位置Ｄ２にかけて走行路を走行中の車両１４を示している。走行路の車両右前方には対象物２５が配置されている。
【００５５】
対象物２５から遠い位置である位置Ｄ１，近い位置である位置Ｄ２では、それぞれヘッドライト１４Ａから一定の照射光量の照射光線が対象物２５に照射している。しかしながら、対象物２５での反射光量により外界カメラ２が受け取る光量は位置Ｄ１よりも位置Ｄ２での方が大きくなる。このため、各位置で撮像したフレーム画像中において、対象物２５の撮像画像領域の輝度は大きく異なっている。このため、位置Ｄ１で対象物２５のテンプレートを作成した場合、このテンプレートを用いて、位置Ｄ２で撮像したフレーム画像に対してテンプレートマッチング処理を実行しても、輝度変化に起因して、このフレーム画像で対象物をマッチングにより認識することができない。本実施形態では、このようなマッチング不良を防止するために、テンプレートの輝度を補正するように構成されている。
【００５６】
図１２に基づいて、第２実施形態によるコントローラ３の処理フローを説明する。なお、図１０の処理フローと同様な処理については重複する説明を省略する。また、本実施形態では、テンプレートデータ蓄積部４３には、既に作成されたテンプレートが保存されているものとする。
まず、コントローラ３の画像取得部３１はフレーム画像を受け取る（ステップＳ２１）。
【００５７】
自車位置算出部３７は、測位センサ５からの測位データ，地図データベース７からの地図データ，車載センサ６からの測定データから、自車位置を特定すると共に、光源位置推定部３５は、夜間走行中には光源位置を自車位置に設定し、ヘッドライト１４Ａの照射方向（光軸方向）Ｈを特定する（ステップＳ２２）。
対象物位置算出部３９は、テンプレートの付属データ中の位置情報，フレーム画像，特定された自車位置,カメラの光軸方向等のデータに基づいて、処理対象のフレーム画像中で対象物を推定又は追跡し、特定された自車位置に対する対象物の相対位置を算出する（ステップＳ２３）。
【００５８】
また、対象物形状算出部３８は、フレーム画像，地図データ，距離データ等から、対象物の３次元形状を特定する（ステップＳ２４）。
輝度変化量推定部４０は、テンプレートの付属データの位置情報及び時間データ，特定した光源位置，自車位置，対象物の相対位置等から、テンプレート作成時と現時点との間における、光源（ヘッドライト１４Ａ），外界カメラ２，対象物の位置関係の変化を算出する（ステップＳ２５）。
【００５９】
そして、輝度変化量推定部４０は、算出した位置関係の変化及び対象物の形状等に基づいて、輝度変化量を推定する（ステップＳ２６）。この処理では、輝度変化量推定部４０は、外界カメラ２と対象物との相対位置，ヘッドライト１４Ａの照射方向Ｈと照射方向Ｈに対する対象物の照射角度から照射光量を見積もり、外界カメラ２と対象物との相対位置，外界カメラ２の光軸方向と対象物の形状から反射光量を見積もり、これらの移動に伴う変化から輝度変化量を推定する。
【００６０】
テンプレート輝度変換部４１は、推定された輝度変化量に基づいて、諧調変換関数を導出又は選択し、これにより、テンプレート画像の輝度補正を行う（ステップＳ２７）。
テンプレートマッチング処理部４２は、処理対象のフレーム画像に対して、補正テンプレート画像を適用して、テンプレートマッチング処理を実行し（ステップＳ２８）、処理を終了する。
【００６１】
このように、本実施形態では、自車両１４のヘッドライト１４Ａが光源となって、フレーム画像中の対象物の輝度が車両走行に伴って大きく変化しても、この移動に伴う輝度変化を推定してテンプレートを輝度補正するので、確実に対象物を認識することが可能である。
【００６２】
次に、図１３及び図１４に基づいて、第３実施形態の車両用画像処理装置１について説明する。この実施形態は、自車両１４のヘッドライト１４Ａ，他車両１５のヘッドライト１５Ａ，街路灯等の固定光源１６が光源となる夜間に適用されるものである。
図１３は、夜間に位置Ｅ１から位置Ｅ２にかけて走行路を走行中の車両１４を示している。走行路の車両右前方には対象物２６が配置され、車両左前方には街路灯１６が配置されている。また、対向車線から他車両１５が接近してきている。
【００６３】
対象物２６には、３つの影２６ａ，２６ｂ，２６ｃが形成されている。影２６ａは自車両１４のヘッドライト１４Ａからの照射光線によって形成されたものであり、影２６ｂは他車両１５のヘッドライト１５Ａからの照射光線によって形成されたものであり、影２６ｃは街路灯１６からの照射光線によって形成されたものである。この場合、車両１４，１５によって形成されている影２６ａ，２６ｂは、車両の移動にしたがって向き，濃さ及び形状が変化するが、街路灯１６によって形成されている影２６ｃは一定状態に保持される。
【００６４】
このように、対象物２６は、３つの光源によって照射されており、車両１４，１５の移動に伴って、自車両１４と対象物２６と３つの光源との位置関係が変化する。これにより、外界カメラ２が位置Ｅ１で撮像したフレーム画像から作成した対象物２６のテンプレートを、位置Ｅ２で撮影したフレーム画像に適用してテンプレートマッチング処理を実行しても、対象物２６に対する照射状況が変化しているため、輝度変化に起因して、テンプレートを対象物２６の画像にマッチングさせることができず、対象物２６を認識することができない。本実施形態では、このようなマッチング不良を防止するために、テンプレートの輝度を補正するように構成されている。
【００６５】
図１４に基づいて、第３実施形態によるコントローラ３の処理フローを説明する。
ステップＳ３１からステップＳ３５の処理は、図１２のステップＳ２１からステップＳ２５の処理と同様であるので説明を省略する。
【００６６】
影情報算出部３６は、フレーム画像，自車位置と対象物の位置との関係等から、自車両１４のヘッドライト１４Ａによって形成されている対象物２６の影２６ａを認識し、影２６ａの方向，濃さ及び形状のデータを取得する（ステップＳ３６）。
さらに、影情報算出部３６は、処理対象のフレーム画像から、影２６ａを含めて、対象物２６に形成されている影の個数を認識する（ステップＳ３７）。
【００６７】
影情報算出部３６は、認識した影の個数が複数であるか否かを判定する（ステップＳ３８）。
認識した影の個数が複数でない場合（ステップＳ３８；Ｎｏ）、対象物２６を照射する光源はヘッドライト１４Ａのみであると判断して、ステップＳ４５の処理に移行する。
一方、認識した影の個数が複数である場合（ステップＳ３８；Ｙｅｓ）、自車両１４のヘッドライト１４Ａ以外の光源が存在すると判断して、影情報算出部３６は、ヘッドライト１４Ａ以外の光源によって形成されている影（例えば、影２６ｂ，２６ｃ）の方向，濃さ及び形状を認識し、光源位置推定部３５は光源方向を特定する（ステップＳ３９）。
【００６８】
そして、影情報算出部３６は、処理対象のフレーム画像及びそれ以前に受け取っていたフレーム画像とを用いて、認識されている影（影２６ａ，２６ｂ，２６ｃ）の方向，濃さ及び形状の変化を認識する（ステップＳ４０）。
さらに、影情報算出部３６は、認識されている影（影２６ａ，２６ｂ，２６ｃ）の方向，濃さ及び形状の変化から、自車両１４の移動に伴う変化分を取除き（ステップＳ４１）、自車両１４の移動以外の要因で影情報に変化が生じるか否かを判定する（ステップＳ４２）。
【００６９】
影情報に変化が生じない場合（ステップＳ４２；Ｎｏ）、自車両１４以外に移動する光源がないと判断して、ステップＳ４４の処理に移行する。
一方、影情報に変化が生じる場合（ステップＳ４２；Ｙｅｓ）、自車両１４以外に移動する光源があると判断して、影情報が変化する影（影２６ｂ）について、光源位置推定部３５は、影の方向，濃さ及び形状の変化から、移動する光源（ヘッドライト１５Ａ）の位置又は方向及び移動量を特定する（ステップＳ４３）。
【００７０】
輝度変化量推定部４０は、テンプレートの付属データの位置情報及び時間データ，特定した複数の光源位置，自車位置，対象物の相対位置等から、テンプレート作成時と現時点との間における、光源（ヘッドライト１４Ａ，ヘッドライト１５Ａ），外界カメラ２，対象物の位置関係の変化を算出する（ステップＳ４４）。
【００７１】
そして、輝度変化量推定部４０は、算出した位置関係の変化及び対象物の形状等に基づいて、輝度変化量を推定する（ステップＳ４５）。
テンプレート輝度変換部４１は、推定された輝度変化量に基づいて、諧調変換関数を導出又は選択し、これにより、テンプレート画像の輝度補正を行う（ステップＳ４６）。
テンプレートマッチング処理部４２は、処理対象のフレーム画像に対して、補正テンプレート画像を適用して、テンプレートマッチング処理を実行し（ステップＳ４７）、処理を終了する。
【００７２】
このように、本実施形態では、対象物２６を照射する光源が自車両１４のヘッドライト１４Ａ以外にも存在する場合であっても、自車両１４の移動に伴うフレーム画像中の対象物の輝度変化量を見積もってテンプレートを輝度補正するので、確実に対象物を認識することが可能である。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施形態による車両用画像処理装置の構成図である。
【図２】本発明の実施形態による光源方向推定処理の説明図である。
【図３】本発明の実施形態によるフレーム画像撮像時の説明図である。
【図４】図３において位置Ｃ１にて撮像されたフレーム画像及びそのヒストグラムである。
【図５】図３において位置Ｃ２にて撮像されたフレーム画像及びそのヒストグラムである。
【図６】本発明の実施形態による補正テンプレート作成処理の説明図である。
【図７】本発明の実施形態による他のフレーム画像撮像時の説明図である
【図８】図７において撮像されたフレーム画像及びそのヒストグラムである。
【図９】本発明の実施形態による他の補正テンプレート作成処理の説明図である。
【図１０】本発明の実施形態によるマッチング処理のフローチャートである。
【図１１】本発明の第２実施形態によるフレーム画像撮像時の説明図である。
【図１２】本発明の第２実施形態によるマッチング処理のフローチャートである。
【図１３】本発明の第３実施形態によるフレーム画像撮像時の説明図である。
【図１４】本発明の第３実施形態によるマッチング処理のフローチャートである。
【符号の説明】
【００７４】
１ 車両用画像処理装置
２ 外界カメラ
３ コントローラ
４ モニタ
５ 測位センサ
６ 車載センサ
７ 地図データベース
８ 距離センサ
９ 通信機
１４，１５ 車両
１４Ａ，１５Ａ ヘッドライト
１６ 街路灯
２０ 道路標識
２２，２３，２４ 画像領域
２５，２６ 対象物
２６ａ，２６ｂ，２６ｃ 影
【特許請求の範囲】
【請求項１】
車両用画像処理装置であって、
車両に搭載され、第１時間に車両周囲の対象物を含む第１画像を撮像し、第１時間から所定時間経過した第２時間に車両周囲の前記対象物を含む第２画像を撮像する撮像手段と、
前記第１画像に基づいて前記対象物のテンプレートを作成するテンプレート作成手段と、
前記第１画像と前記第２画像の撮像時における前記撮像手段に対する光源の位置を推定する光源位置推定手段と、
前記第１画像と前記第２画像の撮像時における前記撮像手段と前記対象物との位置関係を推定する位置検出手段と、
前記位置検出手段によって検出された位置関係、及び前記光源位置推定手段によって推定された光源位置に基づいて、前記第１画像中の対象物と前記第２画像中の対象物との間の輝度変化を推定する輝度変化推定手段と、
前記輝度変化推定手段によって推定された輝度変化により、前記テンプレートの輝度を補正した補正テンプレートを作成する輝度補正手段と、
前記補正テンプレートより、前記第２画像に対してテンプレートマッチング処理を行い、前記対象物を検出するマッチング手段と、を備えたことを特徴とする車両用画像処理装置。
【請求項２】
前記光源位置推定手段は、撮像時間と撮像時における車両位置に基づいて、光源としての太陽の位置を推定することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項３】
前記光源位置推定手段は、前記第１画像及び第２画像中の撮像体及びこの撮像体の影の方向及び形状を利用して、光源位置を推定することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項４】
前記輝度変化推定手段は、前記対象物の形状と光源位置から反射光の光量を推定し、この光量の変化から輝度変化を推定することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項５】
前記光源位置推定手段は、自車のヘッドライト点灯時には、ヘッドライトを光源に設定し、
前記輝度変化推定手段は、自車のヘッドライトが光源に設定されているときは、前記対象物に対するヘッドライトの照射角度をさらに考慮して、輝度変化を推定することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項１】
車両用画像処理装置であって、
車両に搭載され、第１時間に車両周囲の対象物を含む第１画像を撮像し、第１時間から所定時間経過した第２時間に車両周囲の前記対象物を含む第２画像を撮像する撮像手段と、
前記第１画像に基づいて前記対象物のテンプレートを作成するテンプレート作成手段と、
前記第１画像と前記第２画像の撮像時における前記撮像手段に対する光源の位置を推定する光源位置推定手段と、
前記第１画像と前記第２画像の撮像時における前記撮像手段と前記対象物との位置関係を推定する位置検出手段と、
前記位置検出手段によって検出された位置関係、及び前記光源位置推定手段によって推定された光源位置に基づいて、前記第１画像中の対象物と前記第２画像中の対象物との間の輝度変化を推定する輝度変化推定手段と、
前記輝度変化推定手段によって推定された輝度変化により、前記テンプレートの輝度を補正した補正テンプレートを作成する輝度補正手段と、
前記補正テンプレートより、前記第２画像に対してテンプレートマッチング処理を行い、前記対象物を検出するマッチング手段と、を備えたことを特徴とする車両用画像処理装置。
【請求項２】
前記光源位置推定手段は、撮像時間と撮像時における車両位置に基づいて、光源としての太陽の位置を推定することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項３】
前記光源位置推定手段は、前記第１画像及び第２画像中の撮像体及びこの撮像体の影の方向及び形状を利用して、光源位置を推定することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項４】
前記輝度変化推定手段は、前記対象物の形状と光源位置から反射光の光量を推定し、この光量の変化から輝度変化を推定することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項５】
前記光源位置推定手段は、自車のヘッドライト点灯時には、ヘッドライトを光源に設定し、
前記輝度変化推定手段は、自車のヘッドライトが光源に設定されているときは、前記対象物に対するヘッドライトの照射角度をさらに考慮して、輝度変化を推定することを特徴とする請求項１に記載の車両用画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−８６２６６（Ｐ２０１０−８６２６６Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５４３８４（Ｐ２００８−２５４３８４）
【出願日】平成２０年９月３０日（２００８．９．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＩＮＳ
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年９月３０日（２００８．９．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＩＮＳ
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]