車載用環境認識装置
【課題】より少ない処理負荷で周囲車両のヘッドライト光に起因した誤認識を防ぐことができる車載用環境認識装置を得ること。
【解決手段】車載用環境認識装置１００は、画像から光源を抽出する光源抽出部３００と、源の画像上の位置に基づいて光源が環境認識の際に誤検知要因となるライトを抽出し、ライトのライト強度と３次元位置と配光パターンの情報を含むライト情報を推定するライト情報部４００と、ライト情報に基づいてライトが路面で反射する画像上の路面反射推定画像領域を推定する路面反射推定部５００と、路面反射推定画像領域に基づいて自車両の周囲環境を認識する車載用環境認識部６００と、を有する。
【解決手段】車載用環境認識装置１００は、画像から光源を抽出する光源抽出部３００と、源の画像上の位置に基づいて光源が環境認識の際に誤検知要因となるライトを抽出し、ライトのライト強度と３次元位置と配光パターンの情報を含むライト情報を推定するライト情報部４００と、ライト情報に基づいてライトが路面で反射する画像上の路面反射推定画像領域を推定する路面反射推定部５００と、路面反射推定画像領域に基づいて自車両の周囲環境を認識する車載用環境認識部６００と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラにより撮像した画像に基づき自車両の周囲環境を認識する車載用環境認識装置に関する。
【背景技術】
【０００２】
近年、乗用車などの車両の周囲環境を認識するカメラの開発が進められている。カメラを利用した認識技術では、視認性の悪い夜間の認識が問題となりやすい。特に、リアカメラなどの場合には、撮像する路面を自車のヘッドランプで照明することができないので、得られる映像は暗いものとなり、視認性が低く、そのような暗い映像を画像処理することが求められる。また、後続車がいる場合には、周囲が暗いにもかかわらず、後続車のヘッドライトが非常に明るいため、リアカメラで撮像された映像では、そのヘッドライト部分が明るく白飛びしたような状態も発生し、正常な認識を妨げる存在となりやすい。
【０００３】
特許文献１には、視点の異なる２つのカメラから見た鏡面反射成分の強度の違いを利用することで、路面に鏡面反射光が存在するかどうかを判定し、鏡面反射光が存在する場合には、その鏡面反射光を除去する処理を行う技術が示されている。特許文献２には、実像である車両ライトと、虚像である路面反射の組み合わせを検出することで、虚像である路面反射を抑制した補正画像を生成する技術が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２０３４４６号公報
【特許文献２】特開２００９−６５３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両周囲の環境を認識する車載カメラにおいて、路面に生じる高輝度な鏡面反射領域だけでなく、低輝度な領域であっても周囲と比較して輝度が高い領域は画像認識アプリケーションにとって誤検知要因となる。特にリアカメラにおいては、自車両ヘッドライトがないため、夜間は低コントラストな映像から車線や車両などを検知する必要があり、低輝度であっても周囲の路面より輝度が高い反射領域が誤検知要因になる。
【０００６】
高輝度な反射領域だけを対象とすれば、公知例のような画像上から抽出する手法もあるが、低輝度な反射領域は画像上から探索することが困難である。
【０００７】
特許文献１では、ステレオカメラを利用することで、視点の異なる2つの画像から高輝度な鏡面反射成分を抽出しているものの、単眼カメラでは、同時刻の視点の異なる2枚の画像を確保することは難しい。特許文献２では、実像と虚像の組み合わせを利用した高輝度な鏡面反射の認識を行っているが、ビューと認識を兼ねたカメラでは、そもそもヘッドライトと路面反射が一体化して見えることや、画像認識アプリケーションの抑制しがたい誤検知要因は高輝度な反射領域よりも、低輝度な反射によるところが大きく、特許文献２のロジックをそのまま適用しても誤検知抑制という課題を解決することは困難である。そして、特許文献１、２では、画像処理により鏡面反射の認識処理を行っているため処理負荷が比較的大きく、画像処理を簡易的な高輝度領域を抽出することだけに限定して残りは推定計算で路面反射領域を推定する本実施例と比較すると、処理負荷が高いという問題を有している。
【０００８】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、より少ない処理負荷で周囲車両のヘッドライト光に起因した誤認識を防ぐことができる車載用環境認識装置を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決する本発明の車載用環境認識装置は、光源の画像上の位置に基づいて、環境認識の際に誤検知要因となるライトが路面で反射する画像上の路面反射推定画像領域を推定し、その路面反射推定画像領域に基づいて自車両の周囲環境を認識することを特徴としている。
【発明の効果】
【００１０】
本発明によれば、自車両の周囲環境を認識するための処理領域から、誤検知要因となるライトの路面反射推定画像領域を除くことができ、自車両の周囲環境を正確に認識することができる。
【図面の簡単な説明】
【００１１】
【図１】車載用環境認識装置の構成図。
【図２】光源抽出部の内部構成図。
【図３】ライト情報部の内部構成図。
【図４】路面反射推定部の内部構成図。
【図５】車載用環境認識部の内部構成図。
【図６】路面反射対策入りのレーン認識部の内部構成図。
【図７】路面反射対策入りの走行路認識部の内部構成図。
【図８】路面反射対策入りの路面標識認識部の内部構成図。
【図９】ライト３次元位置の推定方法を説明する図。
【図１０】照度別配光パターンを示す図。
【図１１】拡散反射と鏡面反射を説明する図。
【図１２】拡散反射領域推定法を説明する図。
【図１３】鏡面反射領域推定法を説明する図。
【図１４】昼夜別の反射対策の切り替え構成図。
【図１５】西日対策の路面反射情報部の構成図。
【図１６】西日対策の路面反射推定部の構成図。
【図１７】西日路面反射領域推定法を説明する図。
【図１８】車両検知部の内部構成図。
【発明を実施するための形態】
【００１２】
以下に、本実施の形態について図面を用いて説明する。
［実施例１］
本実施例の車載用環境認識装置は、自動車の車載カメラであって、例えば駐車支援用のリアカメラやサイドカメラで撮像した車両の周囲画像を運転者に表示する車載カメラ内に一体に構成されている。
【００１３】
図１は、本実施例における車載用環境認識装置の構成図である。
車載用環境認識装置100は、車載カメラのＥＣＵの内部機能として、図１に示すように、画像取得部200と、光源抽出部300と、ライト情報部400、路面反射推定部500、車載用環境認識部600を有している。
【００１４】
画像取得部200は、単眼カメラで撮像した自車周辺の画像を取得し、光源抽出部300は、画像取得部200で取得した画像から光源を抽出する。ライト情報部400は、光源抽出部300で抽出された光源が、環境認識の際に誤検知要因となるライトに該当するか否かを判定し、該当すると判定したときは、そのライトの3次元位置を予測し、照射範囲、配光パターンなどを推定する。
【００１５】
路面反射推定部500は、ライト情報部400によって予測等したライトの3次元位置、照射範囲、配光パターンなどから、路面に生じる鏡面反射や拡散反射などを推定し、画面上に生じる路面反射推定画像領域を推定する。車載用環境認識部600は、これらの路面反射情報を基に白線認識等の自車の周囲環境を認識する。
【００１６】
図２は、図１の光源抽出部の内部構成図である。
光源抽出部300は、画像から予め設定された閾値以上の面積を有する点光源を、光源として抽出するものであり、図２に示すように、撮像画像から予め設定された輝度値以上の光点を抽出するための2値化部310と、2値化した結果をラベリングし、ラベリング結果の面積が小さなノイズ要因と思われるラベリング結果は削除するラベリング部320と、このラベリング結果の外接矩形を抽出する外接矩形抽出部330と、ラベリング結果の面積を算出する面積抽出部340と、ラベリング結果の重心を抽出する重心抽出部350を有する。
【００１７】
図３は、図１のライト情報部の内部構成図である。
ライト情報部400は、光源抽出部300によって抽出された光源の画像上の位置に基づいて、光源が環境認識の際に誤検知要因となるライトを抽出し、そのライトのライト強度と３次元位置と配光パターンの情報を含むライト情報を推定する。
【００１８】
ライト情報部400は、図３に示すように、光源抽出部300で抽出された光源が車載用環境認識装置100にとって誤検知要因となりうるライトかどうかを判定するライト判定部410と、光源抽出部300で抽出された光源の面積などからライトの強度を推定するライト強度推定部420と、光源抽出部300で抽出した光源の3次元位置を推定するライト3次元位置推定部430と、ライトと判定された光源の照射範囲など配光パターンを設定する配光パターン設定部440を有する。なお、ライト判定部410では、レーダ部411や昼夜判定部312の結果を利用して判定してもよい。
【００１９】
図４は、図１の路面反射推定部の構成図である。
路面反射推定部500は、図４に示すように、路面の反射係数を決定する路面反射係数決定部510と、ライト情報部400から抽出された光源が路面に作り出す拡散反射の位置を推定する拡散反射位置推定部520と、同様にライト情報部から抽出された光源が路面に作り出す鏡面反射の位置を推定する鏡面反射位置推定部530と、これら拡散反射位置推定部520と鏡面反射位置推定部530から推定された3次元の路面反射位置から、誤検知要因となる画像上の路面反射推定画像領域を推定する路面反射画像領域推定部540を有する。
【００２０】
路面反射係数決定部510は、雨天や曇り、晴天など天候を判定する天候判定部511の結果に基づいて路面反射係数を決定する。雨天など路面が濡れているような状況においては、ヘッドライトが路面で鏡面反射しやすい状況にあるため、鏡面反射によって白飛びする領域が通常状態より大きくなる。このため誤検知要因となりうる推定鏡面反射領域は大きくなり、反対に晴天で乾燥した路面であれば鏡面反射は少なく、より拡散反射が生じやすくなる。このように路面状態に基づいて鏡面反射と拡散反射の路面反射係数を決定することで、レーン認識処理領域対象外とする反射領域を推定する。
【００２１】
また、路面反射係数決定部510は、天候ではなく路面が湿潤、乾燥、積雪などの路面状況を直接判定する路面状況判定部512の結果に基づいて、路面反射係数を決定し、光源が画像領域に及ぼす影響範囲の大小を変更してもよい。
【００２２】
そして、路面反射係数決定部510は、カーナビ513の地図情報による道路環境情報、走行方位などから路面反射係数を決定し、路面反射画像領域推定部540では、カーナビ513の太陽の位置関係、走行方向、などから光源が画像上に白飛びのように誤検知要因として影響を及ぼす可能性がある範囲の大小を変更してもよい。
【００２３】
さらに、路面反射係数決定部510は、ワイパー514の動作状況に応じて、天候状態を判定し、路面反射係数を決定してもよい。そして、路面反射画像領域推定部540は、時計部541の時間に応じて太陽の位置を予測し、昼夜を判定することで、路面反射が画像領域に及ぼす影響範囲の大小を調整しても良い。
【００２４】
図５は、図１の車載用環境認識部600の内部構成図である。
車載用環境認識部600は、図５に示すように、路面反射推定部500によって推定された画像上の路面反射推定画像領域に基づいて、各認識アプリケーションが誤検知しないように対策を実施する。各認識アプリケーションは、車線逸脱警報や車線逸脱抑制に利用されるレーンマークを認識するレーン認識部610、車両の走行領域逸脱警報や抑制に利用される路肩を認識する路肩認識部620、工事現場のように白線がないような環境においても車両が走行可能かどうかを判定する走行路認識部630、路面上に描かれた車速などの路面標識を認識する路面標識認識部640、路面の状況が乾燥か、湿潤か、積雪かなどを判定する路面状況認識部650、車線変更支援などに利用される他車両を検知する車両検知部660を有する。なお、車載用環境認識部600は、上記した各認識アプリケーション（610〜660）を全て有するものに限定されず、少なくともいずれか一つを含むものであってもよく、また、さらに、他の認識部を含むものであってもよい。
次に、各部の構成について詳細に説明する。
【００２５】
＜光源抽出部300について＞
光源抽出部300は、例えば、ヘッドライトの制御のために他車両のライトを検知することが目的ではなく、環境認識にとって誤検知要因となりうる光源の検知を目的としている。そのため、小さな点光源や、輝度が低い点光源などは、路面反射などを生じさせる可能性が低いので、光源抽出部300による抽出対象からは除外する。これにより、処理負荷の軽減と、過剰な誤検知対策を避ける効果を得ることができる。
【００２６】
また、路面反射が生じたとしても、車載用環境認識部600における認識アプリケーションの処理領域外となるような２車線隣の車両のヘッドライトなどは、そもそも光源を見つける画像処理領域の対象外としても良い。また、画像上の消失点より上に存在する光源は、カメラよりも高い位置にある光源であるとの認識から、街灯や信号機の光であるとみなして、処理対象から除外しても良い。
【００２７】
また、天候に応じて処理領域を変更しても良い。例えば、雨天や雨上がりの濡れた道路上では、路面上の鏡面反射が生じやすく、通常の乾いた道路では生じないような街灯や信号機の光の鏡面反射が、自車の周囲環境の認識の妨げ（誤検知要因）となりやすい。このため、天候や道路状況に応じた処理領域内の光源を抽出する。
【００２８】
図２の構成図に示した手法は、一つの例であって必ずしも内部の処理全てが必要ではなく、光源の画像上の位置を特定できる手法であればよい。また、本実施例における車載用環境認識装置100は、主として夜間に後続車のライトを誤検知するのを防ぐためのものであるので、これら光源抽出部300の光源抽出処理や、ライト情報部400のライト判定処理、路面反射推定部500の路面反射推定処理などは、周囲環境が明るい場合、例えば昼間や、照明された屋内駐車場、トンネルなどにおいて、必ずしも動作させる必要はない。
【００２９】
したがって、ナビ連携によるＧＰＳ位置からの時計（時刻）、トンネルなどの地図情報、などを利用して、光源抽出部300、ライト情報部400、路面反射推定500、の動作を停止してもよい。動作のＯＮ、ＯＦＦを切り替えるための情報として、ヘッドライトのＯＮ、ＯＦＦや、ヘッドライトのＯＮ、ＯＦＦを自動制御するための照度センサーなどの信号を利用してもよい。
【００３０】
また、昼夜判定部312により、カメラのシャッタースピードや、ゲイン、撮像結果を利用して昼夜の判定を実施し、その判定結果に基づいて、光源抽出部300、ライト情報部400、路面反射推定500の動作を停止してもよい。他にも、路車間通信、車々間通信、などの情報を利用しても良い。また、光源抽出部300の結果を利用して、ライト情報部400と路面反射推定部500の処理の一時停止を判定しても良い。もしくは、光源抽出部300とライト情報部400の結果を利用して、昼夜の判定を実施し、路面反射推定部500の動作を停止しても良い。また、必ずしも昼夜の判定を実施せずに、周囲の光源環境に基づいて、路面反射推定部500もしくは、光源抽出部300やライト情報部400の動作を停止しても良い。
【００３１】
＜ライト情報部400について＞
ライト判定部410は、画像上から抽出された光源について、路面反射が生じると推定されるライトかどうかを判定する処理を実施する。従来の公知例などでは、路面反射自体を認識する処理を実施していたために処理負荷が高いだけでなく、光源と路面反射が一体化したような後続車両のライトを一つのカメラで検知することは困難であった。また、路面反射の高輝度な鏡面反射領域が求められたとしても、高輝度領域（鏡面反射領域）の周囲に広がる低輝度な反射領域や拡散反射領域がどのような方向に、どの程度伸びているかを認識することは困難であった。
【００３２】
本手法では、ＣＧの陰影付けに利用されるPhong反射モデルを応用して、路面反射領域
を推定することで低輝度な反射領域をも推定し、画像認識の処理領域対象外に設定するこ
とで誤検知を抑制することに成功した。
【００３３】
Phong反射モデルは、物体表面の反射を「鏡面反射」、「拡散反射」、「環境反射」の３種類の反射成分で定義し、これら３種類の反射成分によって物体の陰影付けに利用している。このPhong反射モデルの3種類の反射成分から、夜間に他車のヘッドライトの反射により車載用環境認識部にとって誤検知要因となる反射成分を絞り込む。車載カメラで取得した映像を解析するとわかるように、環境反射は、他物体からの2次反射などによる光の反射を指しており物体に均一な色合いをつけるため、車載環境認識部の誤検知要因とはならない。次に、拡散反射光であるが、これは指向性のあるヘッドライトが路面を照らした場合に、ヘッドライトが向けられた路面の輝度が高く、遠方やライトの指向性の向きから離れるほど輝度が低下し、周辺の路面と輝度差が生じるため、誤検知要因の１つなることがわかる。最後に、鏡面反射光であるが、これはヘッドライトの光源から自車両カメラを結ぶ直線上の路面で鏡面反射した光が作り出す反射領域が、周囲の路面と比較し明るくなるために、これも誤検知要因となることが理解できる。
【００３４】
このため夜間に他車のヘッドライトによって生じる誤検知の対策としては、周囲の路面輝度と比較して輝度を高くする効果のある「鏡面反射」「拡散反射」の2つを利用して画像認識にとって誤検知の要因となりやすい反射領域を推定する。従来公知例では、そもそも鏡面反射のみを考慮していることや、高輝度な領域のみの判定は画像処理から抽出が容易であっても、低輝度ではあるが周囲よりも輝度が高いような反射領域を画像処理のみで探索することは容易ではない。本実施例は、比較的簡単に実施可能な高輝度領域の抽出のみを画像処理で実施し、抽出した光源から画像認識にとっての誤検知要因となる反射領域のみを推定することで、画像探索する量を大幅に抑制し、反射領域を推定計算することで、処理負荷を大幅に削減するとともに、従来手法では困難であった低輝度ではあるが周囲環境と比較して反射によって輝度が高くなっている領域を特定することに成功した。
【００３５】
更に、抽出した光源が自車両と同じ道を走る他車両のヘッドライトであることに限定することで、公知例などでは扱っていなかった拡散反射によって生じる反射領域をも、画像認識にとって誤検知要因となる反射領域として推定すること可能となった。これにより従来手法では困難であった拡散反射によって生じる反射領域の推定や、低輝度ではあるが周囲環境と比較して輝度の高い鏡面・拡散反射領域の推定に成功した。これにより各画像認識アプリケーションの対応をより的確に対応することが可能となり、各画像認識アプリケーションの適応範囲拡大に貢献する。
【００３６】
ヘッドライトによって生じる誤検知要因となりそうな領域を求めるために、phong反射モデルの反射成分から拡散反射成分と鏡面反射成分を利用して注目点の輝度Iを路面上の領域で算出する。注目点輝度Ｉは、拡散反射成分
と鏡面反射成分
の和で表現可能である。
【００３７】
図11(a)を基に考えると拡散反射成分は、路面でどの光が吸収されずに反射するかを示す入射光に対する拡散反射率Kdと、抽出した光源の位置より光線方向ベクトルＬ、物体はすべて水平な路面と仮定し鉛直上向きの法線ベクトルＮ、誤検知要因となる光源からの拡散光源の光強度idで表現する。拡散反射率は、本来、入射光の波長、すわなち、色によって異なるが、今回の場合、路面の色やライトも彩度が高い色ではないため、入射光の波長よる変化はないものと仮定して扱う。
【００３８】
図11(c)に示すように実際の鏡面反射光の収束具合もαの係数で仮定し、αを大きくした場合には図11(b)の状態に近く鏡のような反射に近くなることを意味する。路面がどの程度鏡面反射するかを示す鏡面反射係数Ksと、誤検知要因となるヘッドライトの鏡面反射光の強度is、カメラ方向ベクトルＶと光源方向ベクトルＲに依存して反射光の強度が変化すると仮定し、鏡面反射成分を推定する。
【００３９】
これら拡散反射成分と鏡面反射成分から路面輝度を推定し、反射誤検知要因となりそうな領域を推定する。
【００４０】
このように反射の要因となる光源を抽出し、反射領域を認識せずに推定することで、輝度が低い反射領域をも推定可能とし、誤検知削減に成功した。
【００４１】
まず、Phong反射モデルの一部である拡散反射成分と鏡面反射成分は、上記の式で成り立つが、ＣＧ環境とは異なり全てが既知ではないため、車載カメラの画像認識の環境では、そのまま計算することはできない。上記式を基本概念として、画像から得られる情報を利用してどのように反射領域推定の計算に当てはめるかを行ったかについて説明する。
【００４２】
光源の3次元位置について説明する。カメラ位置と路面位置、光源位置のそれぞれの相対関係が3次元的な位置関係で必要となる。まずは、全ての光源について反射領域を計算するのではなく、他車両のライトを対象とするために、路面反射が生じると推定されるライトか否かを、抽出された光源の画像上の位置に基づき判定する。ライト判定部410は、路面反射が生じると推定されるライトとして、例えば他車両のヘッドライトか否かを判定する。
【００４３】
先に、ライト３次元位置設定部430の計算を実施することで、画像抽出光源が路面反射を生じさせうるライトか否かの判定に利用しても良い。また、光源の形状やパターン、色情報を解析することで、路面反射が生じるライトか否かを判定しても良い。また、画像上のトラッキングを実施し、その動きを解析することで、路上の静止物か、他車両のヘッドライトかを判断し、誤検知のための路面反射対策を実施するか判断しても良い。また、レーダ部411の車両検知結果、もしくは立体物認識結果と比較して、他車両のヘッドライトか否かを判定しても良い。また、レーダ部411以外にも、ステレオカメラの立体物認識結果や、車々間通信の結果、路車間通信の結果を利用しても良い。
【００４４】
これにより自車両カメラと光源の相対的な3次元位置が既知となり、反射は水平な路面であると仮定するため、画像上でのある路面１点について反射光の強さを計算するための情報が揃ってくる。
【００４５】
まず、拡散光反射でいうと、光源への方向ベクトルは、画像上の路面１点を3次元位置推定すると、光源位置も路面１点も3次元位置が既知となり、その方向ベクトルを計算することは可能となる。また、物体の法線ベクトルに関しては、路面は水平であるとの仮定をおいたために、全て鉛直上向きである。これらを考慮すると、路面上の拡散反射係数とヘッドライトの拡散光強度がわかれば、あとは画像上路面の１点１点の輝度を計算することが可能となる。
【００４６】
路面は全て水平と仮定、光源からの方向ベクトルを考慮、あとは拡散光強度と拡散反射係数の掛け算の結果に対し比例的にその輝度が決定されることがわかる。つまり、図10のようにあらかじめ、車両のヘッドライト位置を基準として路面上の輝度がどのような等高線を示すかを計算しておけば、その結果に対して、拡散光強度と拡散反射係数の掛け算の結果を利用して比例的に等高線が変化することがわかる。つまり、リアルタイム計算においては、拡散反射係数と拡散光強度のみを演算する必要があり、他計算はあらかじめ初期化時に計算すれば良いことがわかる。
【００４７】
ただし、上記説明の通り拡散反射光成分を計算すると図10のように実際のヘッドライトで現れるような配光パターンとならない。これは、phong反射モデルで定義する光が点光源を基本に考えられており、そのままphongの式にあてはめれば、点光源直下の路面が最も明るく、そこから遠くなるにつれて暗くなる円状の等高線が推定される。そこで指向性のあるヘッドライトによる拡散光の路面反射成分を計算するためには、ヘッドライトが最も明るく照らす方向のベクトルと光源へのベクトルの内積から、角度が離れるに従って拡散光強度が減衰するように計算結果を補正すれば良い。本実施例では、そもそも個々の車両のヘッドライトの違いを細かく認識することは困難と考え、ある指向性の方向をあらかじめ定義し、これを基に先に図1０に示すような配光パターンを計算することに注力する。
【００４８】
なお、路面状況によって拡散反射が生じやすい場合などには、誤検知要因の対象を拡張して、ライト情報部400で取り扱う光源を、他車両のヘッドライトだけでなく、街灯などの他の光源も含むようにしても良い。ただし、指向性のない光源の場合の配光パターンなどもあらかじめ準備することで街灯による拡散反射の配光パターンを選択し、誤検知抑制に利用することもできる。
【００４９】
ライト判定部410では、路面に反射を生じさせないような光源を誤検知要因の対象から除外しているので、その分だけ、後述するライト強度推定部420、ライト３次元位置設定部430、配光パターン設定部440における不必要な処理負荷と、それ以降のレーン認識などの各アプリケーションにおける不必要な処理負荷を省くことができる。
【００５０】
ライト強度推定部420は、ライト判定部410で路面反射が生じると判定されたライトのライト強度（光強度）を推定する。このライトに、他車両のライトだけでなく、街灯などの他の光源も含まれる場合には、その光源の光強度も推定する。ライト強度推定部420は、画像上で白飛びしている領域の面積に基づいてライト強度を推定する。本実施例においては、画像上の白飛び面積に応じて拡散光強度と鏡面光強度を推定する。
【００５１】
実際のカメラのシャッタースピードやゲインなどの設定情報が得られる場合、もしくは解析可能な場合には、その値も利用することでライト強度を推定しても良い。しかしながら、後続車両の正確な位置や姿勢、ライトの地上からの高さ、道路の勾配など不明点がかなり多いため、最終的に必要とする反射領域の推定精度にもよるが、詳細な解析よりも画像上での光源面積が反射の大きさとの相関性で簡易的な計算を実施するだけでも十分に実用的である。ただし、これは最終的なアプリケーションが、レーン認識や路肩検知、走行路認識といったように、一部が処理領域から削除されても、その他の領域を利用することで認識可能なアプリケーションであるから成り立つともいえる。
【００５２】
歩行者検知や、車両検知については、処理領域対象外とすることは、その領域に来た車両が不検知になることを意味するため、車両が検知できない状況として、システムギブアップになる。このため、衝突防止、抑制のための歩行者検知や車両検知の場合には、完全に処理領域対象から外すのではなく、その領域は高輝度になり反射が生じている可能性が高いとして、認識処理の対象からは除外しないものの、他領域と比較してパラメータを変更する、もしくは異なる認識処理を実行させることで、対処する。
【００５３】
特に、アプリの中でも車線検知や、路肩認識では、画面上で輝度が高く線状のものを誤検知対象としやすい。高輝度な領域に関しては従来公知技術の画像処理による抽出方法にて路面反射である等の判断もし易いが、ヘッドライトから延びる光の反射の中で、高輝度ではなくなってはいるが路面と比較すればまだ輝度が高いような光の反射となると、従来公知技術を利用してもどこまでが反射でどこまでが路面なのかの区別は困難であった。本実施例では、後続車両のヘッドライトが要因で生じる反射の特徴をとらえ、簡素化したモデルにて路面反射領域の推定に成功している。
【００５４】
しかし、実際のカメラの設定情報が得られないような場合にも、白飛びしている面積の大きさからカメラに路面反射の影響をどの程度与えるかを推定することもできる。非常に縦長の白飛びの場合には、路面反射とライトの両方がつながった状態で白飛びしていると判断しても良い。
【００５５】
ここでは、画像上で輝度は高いが非常に小さい面積の点光源と見えるような場合には、遠方車両のヘッドライトなどの場合が多く、実際にそのライトが要因となる路面反射が誤検知要因となる可能性が非常に低い。
【００５６】
このように実際に車両のヘッドライトの光源であっても、路面反射による各認識アプリケーション610〜650の誤検知要因となりうるかを判定するために、ライト強度の推定を行い、ある強度未満のライトに関しては、反射対策の対象外とする。また、ある強度以上のライトで路面反射を引き起こすと考えられるライトに関しては、そのライトの路面反射がどの程度大きく広がり影響を及ぼすかどうかの指標とする。
【００５７】
ライト３次元位置設定部430は、画像上の光点からライトの３次元位置を推定する。ステレオカメラの場合には、三角測量の原理で３次元位置も推定可能であるが、単眼カメラの場合には画像上の位置情報しかなく、光源の３次元位置を特定することが困難である。
【００５８】
そこで、本実施例では、３次元的な制約条件を加えることで、ライトの３次元位置を推定し、各ライトの３次元位置として推定する。
【００５９】
図９は、ライト３次元位置推定方法を説明する図であり、図９（ａ）は、単眼カメラであるリアカメラで撮像して２値化した画像の模式図、図９（ｂ）は、カメラの高さ位置とライトの仮定高さ位置との関係を示す図である。なお、図９（ａ）で符号ＷＬは、車線を規定する白線を示す。
【００６０】
図９（ａ）に示すように、画像９１上で右上にある光点９２、９２の画像情報から、３次元世界上では一本の線上に光点９２、９２が存在することを特定することが可能である。他車両（図示せず）のライトの高さは特定できないものの、本実施例ではライト高さを地上より０．６ｍの高さに仮定し、ライト９２、９２の自車両からライトまでの車両前後方向の距離、車幅方向の距離、ライトの地面からの高さを推定する。
【００６１】
図９（ｂ）に示すように、カメラのレンズ中心と画像上の光点を結ぶ直線が、地上から高さ０．６ｍの平面と、交わる一点９６をライト３次元位置として推定する。
【００６２】
ここでは、ライト９２の３次元位置情報を利用して、ライト９２が路面反射を生じさせるライトであるか否かの判定に利用するだけでなく、ライト９２の３次元位置から路面上のどの３次元位置で路面反射が生じるか否かを推定する。
【００６３】
ここで推定したライトの3次元位置は既に路面上60ｃｍであるとの仮定を基に求めた3次元情報であるため、この3次元位置情報にはある程度の誤差が含まれる。また路面の勾配や凹凸なども正確に把握できるのであれば、考慮した路面反射推定を行う方が正確ではあるが、既に、車両のヘッドライトの高さ位置を60cmであるとの仮定から計算しているため、路面には凹凸がないと仮定した計算でも十分に利用価値のある反射領域の位置推定となる。
【００６４】
配光パターン設定部440は、ライト３次元位置設定部430で設定されたライトの３次元位置に基づいて、ライトの配光パターンを設定する。国別によって左右非対称な配光パターンを反転させても良い。また、光源がヘッドライトではないが拡散反射を生じると推定された点光源などの場合には、ヘッドライトとは異なる配光パターンを選択する。配光パターンは、基本的に拡散反射による路面反射位置を推定するために設定する。
【００６５】
ただし、図４にも示すように、この時点では、ライト強度は推定されているが、路面反射強度が推定されていないため、どのようなタイプの配光パターンであるかをここでは示すだけで、データの情報としては、図10に示すように世界座標上における等高線上のマップデータを、ライト情報部400では選択する。
【００６６】
図１０は、照度別の配光パターンを示す図であり、図１０（ａ）は平面図、図１０（ｂ）は側面図である。各車両のヘッドライトの形状や車体の姿勢もそれぞれ異なるが車種ごとに対応することは困難なため、本実施例では全車種同様のヘッドライト形状、後続車両は自車両と平行に直進していることを前提とした反射を計算した。指向性のあるヘッドライトの光軸ベクトルと光源への方向ベクトルの内積から指向性の光を表現し、更に光源方向ベクトルと法線ベクトルの内積から拡散反射成分を計算した。
【００６７】
図４に定義する路面反射推定部500の路面反射係数決定部では、拡散反射係数と鏡面反射係数を決定する。ここでは拡散反射係数の推定について説明する。
【００６８】
拡散反射係数は、路面の種別もしくは天候に応じて拡散反射係数のテーブル（表１）として扱い、それぞれ路面状況の変化や天候の状況に応じて変更させる。拡散反射係数は、路面が白いほど大きく、路面が乾いていると大きい。アスファルトの暗い路面や、雨が降って路面の色が暗く見える場合には、拡散反射係数が小さくなっている。路面が濡れている場合には、鏡面反射係数は大きくなるものの拡散反射係数は小さくなる。
【００６９】
【表１】
【００７０】
このように拡散反射係数を大まかにテーブル化し、路面状況や天候状況に応じて参照先を変更する。路面状況は、ナビの地図情報で判断、もしくは路面のアスファルトやコンクリートといった種別によらず一定としても良い。天候状況は、ワイパー情報から雨天を判断して拡散反射係数を変更する。等高線のように描かれた領域は、拡散反射係数と、拡散反射強度の積であらわした場合に、誤検知要因となるであろう推定領域の大小を示している。
【００７１】
路面反射係数とライトの強度をもとに、図10(a)に示す配光パターンのうち、どの等高線上の反射領域を利用するかを選択する。配光パターン自体はあらかじめ図10(ｂ)に示すように3次元的な反射が計算されているため、拡散反射位置推定部520において実際の画像上での領域に落とし込む必要がある。
【００７２】
配光パターンは、車両Ｖのヘッドライトが道路を照らした場合の、路面における反射光の光の強さを表し、同じ光強度（照度）になる位置を等高線のように示しており、等高線Ａ１〜Ａ４に移行するにしたがって光強度が小さくなるようになっている。
【００７３】
リアルタイム処理時には、画像上から抽出した高輝度領域の面積を基に、拡散光強度を決定し、拡散光強度と拡散反射率から配光パターンの大きさ（図10(a)のＡ１，Ａ２，Ａ３，Ａ４を参照）を選択する。このため推定処理では光源抽出処理、配光パターンの選択、配光パターンを画像上の2次元座標へ落とし込みの計算のみが必要となり、非常に簡易化されている。配光パターンの画像座標への落とし込みについても、それほど高解像度で求める必要もなく、レーン認識などを想定しているのであれば多少大きめの領域が反射の可能性があるとしても、レーン認識自体が不検知になる可能性は低い。何故なら白線認識であれば、かならず近距離の場所にレーンマークが入る瞬間があるため。後続車のヘッドライトから延びる反射光にマスクが多少入ったとしても完全に不認識になる可能性はかなり低いといえる。このため、粗いサンプリングで画像座標へ落とし込み、レーン認識等の認識系アプリの処理対象外にすることで、誤検知の抑制に役に立てる。
【００７４】
本実施例では、図１０に示すように、ヘッドライトが照らす照度別の配光パターンを使用し、ライトの強さと路面状況に応じてどの照度の領域が画像上で誤検知要因となる路面反射推定画像領域かを路面反射推定部500にて推定するものとする。
【００７５】
＜路面反射推定部500について＞
路面反射推定部500では、路面で生じるライトの路面反射を、Computer Graphics(CG)物体の陰影を表現するためによく利用される、Phong反射モデルを応用して推定する。Phong反射モデルでは、３つの光の成分で周囲環境からの光を表現し、その中に置かれた物体の陰影のレンダリングに利用している。
【００７６】
この３つの光成分とは、周囲からの拡散光を表現し物体に均一な明るさを与える環境光反射成分、入射する光が散乱することにより表面の輝度が視点によらず一定である拡散反射成分、鏡などによる完全な光の反射を示し入射角度と反射角度が等しい鏡面反射成分である。
【００７７】
このうち夜間の反射対策には、周囲の路面との輝度変化を生じさせる要因である拡散反射成分と鏡面反射成分のみを対象として選択する。図１１は、拡散反射と鏡面反射の入射光と反射光の関係を示す図であり、図１１（ａ）は拡散反射、図１１（ｂ）、（ｃ）は、鏡面反射について説明するものである。
【００７８】
図１１（ｂ）に示す完全鏡面反射は、鏡のように磨かれたような平面でしか成り立たない。したがって、本実施例では、路面における鏡面反射は、図１１（ｃ）に示すような、より実際の路面における鏡面反射に近い、入射角度と反射角度が等しい角度において最も反射強度が強く、角度が離れるにつれて急激に反射強度が低下する反射モデルを、鏡面反射モデルとして利用する。
【００７９】
先にも示した通り、鏡面反射成分は、下記の式で表現するがKsは鏡面反射係数、鏡面光強度がisで表現されるため、この二つが輝度の強さに影響する係数であり、上記のような路面上での反射の鋭さ、角度によって変化する鏡面の性質は下記の成分で表現する。
【００８０】
光線が完全に反射される方向ベクトルＲと、カメラに向かう方向ベクトルＶの二つの内積をとることで、ＲとＶが一致するときに最も強く光が反射することを示し、更に、この内積をα鏡面反射収束度によって、内積のα乗として計算することによって、路面での鏡面反射の収束の度合いを表現する。
【００８１】
本実施例では、夜間ヘッドライト路面反射による誤検知要因の主要因となる２つの光成分として、拡散反射成分と鏡面反射成分のみを取り扱い、路面反射推定画像領域の推定に利用する。このように反射成分を、拡散反射と鏡面反射に分けて取り扱うことで、実際に路面で生じる路面反射の白飛びによる誤検知要因を削除しながらも、不必要に認識率、検知率を下げない対策とすることができる。
【００８２】
この手法は、点光源を見つける画像処理部分以外は推定処理であり、実際の反射領域を見つけるために画像を走査するような処理は発生しない。このため、画像上の反射領域までも実際に画像処理するような特許文献１の技術と比較して、処理負荷を極めて小さくすることができ、リアルタイム処理に適しているといえる。
【００８３】
また、駐車支援用のリアカメラなど、認識用に露光制御をしていないカメラを利用した場合には、ライトと路面反射が一体化して白飛びするような場合も多々ある。このような場合に対して、本実施例では、白飛びした一体を巨大なライトとして認識するため、白飛び領域外にも大きく誤検知要因となりそうな路面反射推定画像領域をマスクすることが可能である。したがって、ライトと路面反射が必ずしも分離していないような状況で撮影されていたとしても、この路面反射対策は十分に有効に各アプリケーションの誤検知対策となりうる。ライトと路面反射が一体化して白飛びしているような環境では、その白飛びした領域の周囲に誤検知要因となりそうな光の筋などが発生する可能性が高い。
【００８４】
本実施例では、ライトと路面反射が一体化して白飛びしているのか、あるいは、巨大なライトが実際に存在しているのかは判定せずに、巨大なライトが存在していると想定して路面反射推定画像領域を推定している。したがって、実際には、ライトと路面反射が一体化している場合と比較すると、路面反射推定画像領域には、誤差が含まれることにはなる。
【００８５】
しかしながら、実際に巨大なライトが存在する場合と、ライトと路面反射が一体化して白飛びしている場合のいずれであっても、その周囲に光の筋のような誤検知要因が発生することに変わりはなく、巨大なライトが存在していると想定したまま路面反射推定画像領域を推定しても、実際に誤検知要因として削除したい領域を上手くマスクすることができ、誤検知要因となる路面反射を各認識アプリケーションの処理領域から除くための機能として上手く動作している。
【００８６】
路面反射推定部500では、路面反射係数決定部510において路面反射係数が決定される。路面反射係数決定部510は、走行環境に応じて路面反射係数を決定する。走行環境には、天候状況や路面状況、カーナビから供給される情報、ワイパーの動作状態、時刻の少なくとも一つが含まれている。
【００８７】
物体の光の反射を表現するには、光源環境と、物体表面の反射係数、物体と光源の位置関係と視点が決まれば良い。ライト情報部400において、すでにライト強度が推定され、配光パターンが設定されている。そして、ライトと自車両カメラの相対位置についても、ライト３次元位置が設定されている。例えば、ワイパーの動作に応じて天候を判定し、拡散反射係数及び鏡面反射係数を変更する。晴れの場合には、拡散反射による路面反射の影響を大きくし、雨の場合には、反対に鏡面反射の影響を大きくするように係数を変更する。
【００８８】
配光パターンを説明する際に、拡散反射係数テーブルについては説明したので、ここでは鏡面反射係数テーブル（表２）について説明する。鏡面反射成分は、路面が黒いほど、また路面表面が濡れている場合には大きくなりより鋭く光を反射するために鏡面反射係数を大きくする。反対に、路面が乾いており、コンクリートのような場合には、鏡面反射の影響は軽微なものとなるため、鏡面反射係数は小さくなる。
【００８９】
【表２】
【００９０】
このように、路面反射係数を動的に推定できるような場合には、反射係数を推定した結果に基づいて反射領域を推定することで、より正確に路面反射推定画像領域を推定することが可能となる。したがって、各認識アプリケーションにおける誤検知要因を適切に抑制すると共に、必要以上に処理領域を削減し、不検知の要因となるような悪影響を抑制することが可能となる。路面反射係数決定部510は、図４に示すように、天候判定部511や路面状況判定部512、カーナビ513、ワイパー514などの情報を利用し、路面反射係数を決定しても良い。
【００９１】
拡散反射位置推定部520は、路面上で生じる拡散反射が白飛びする３次元位置である拡散反射領域を推定する。拡散反射は、図１１（ａ）に示すように、光の入射角度に関係なく光が散乱することによる生じる反射であるため、図１０に示す配光パターンで囲まれた全ての領域からカメラに拡散反射が入射する。
【００９２】
ただし、配光パターンによって路面の場所に応じてライトの照射強度が異なるため、拡散反射が白飛びすると推定される拡散反射領域は限定される。本実施例では、ライト強度に応じて配光パターンの等高線Ａ１〜Ａ４のどの範囲まで白飛びするかを判定する。
【００９３】
図12は、拡散反射領域を推定する方法を説明する図であり、図１２（ａ）、（ｂ）は、
自車両と後方車両との位置、拡散反射の状態、およびマスク領域を示す図、図１２（ｃ）
は、自車両の魚眼リアカメラで撮像した画像の模式図である。
【００９４】
ライト情報部400において、ライト強度推定部420によりライト強度が推定され、３次元位置設定部430によりライトの３次元位置も設定されており、さらに、配光パターン設定部440によりライトの配光パターンも設定されている。このため、図１２に示すような、カメラに対する光の位置関係を既に決定できていると考えてよい。また、路面反射係数決定部510において拡散反射係数も決定されている。
【００９５】
このため、図１２（ａ）、（ｂ）に示すように、後続車両Ｖｏのヘッドライト位置から車両位置が判明し、そのヘッドライトの配光パターンとライト強度、拡散反射係数に基づいて、配光パターンの中からどの領域まで拡散反射による誤検知要因となる輝度差が生じるかを判定する。
【００９６】
つまり、ライト情報部400で推定したライト強度とライト位置、配光パターンと路面反射係数決定部510で決定した拡散反射係数に応じて、拡散反射領域を推定する。上記処理は、拡散反射位置推定部520において実施し、更に、図１０(a)に示す、どの等高線まで誤検知要因となる輝度差が生じるかを決定する。これにより、路面の３次元位置で、画像認識にとって誤検知要因となる反射領域を特定することができる。
【００９７】
例えば、図１２（ａ）、（ｂ）に示す場合では、図10における等高線Ａ２までを拡散反射領域Ｓａとして推定している。なお、図１２における符号Ｓｍは、認識アプリケーションによって設定されるマスク領域の一例である。図１２（ｃ）に示す例では、リアカメラの画像１２１で、２台の後続車両Ｖｏによって路面上で生じる拡散反射が要因で画像認識にとって誤検知要因となる3次元拡散反射領域Ｓａが推定されている。
【００９８】
鏡面反射位置推定部530は、路面上で生じる鏡面反射が要因で画像認識にとって誤検知要因となる３次元鏡面反射領域Sbを推定する。
【００９９】
図１３は、鏡面反射領域を推定する方法を説明する図であり、図１３（ａ）、（ｂ）は、自車両と後方車両との位置、鏡面反射の状態、およびマスク領域を示す図、図１３（ｃ）は、自車両の魚眼リアカメラで撮像した画像の模式図である。
【０１００】
鏡面反射は、図１１（ｂ）に示すように、光の入射角度と反射角度が等しい反射であるため、図１３（ａ）、（ｂ）に示すように、後続車両Ｖｏのヘッドライトが路面に反射し、反射した光が自車両Ｖｔのリアカメラに入射する。
【０１０１】
ただし、実際の路面では、図１１（ｂ）に示すように、鏡のような完全な鏡面反射が生じるわけではなく、鏡面反射は、図１１（ｃ）に示すように、入射角度に等しい反射角度の光強度が強くその周辺角度の光も強くなる性質がある。したがって、鏡面反射領域Ｓｂは、図１３に示すように、距離方向にも幅方向にもある程度の幅を持たせた領域Ｓｂを白飛びすると推定される領域に限定する。鏡面反射位置推定部530では，図13(a)に示すように×印をベースとして太枠で示された３次元世界上における反射領域Sbを推定する。
【０１０２】
本実施例では、ライト強度に応じて鏡面反射する幅や距離を変化させ、白飛びすると推定される領域を変更する。鏡面反射領域は、配光パターンにはほとんど影響を受けず、後続車両Ｖｏのヘッドライト位置と自車両Ｖｔのカメラ位置がメインになって決定される。
【０１０３】
ライト情報部400において、ライト強度推定部420によりライト強度が推定され、ライト３次元位置設定部430によりライトの３次元位置も取得されている。また、路面反射係数設定部510において鏡面反射係数が決定されている。先に鏡面反射係数のテーブルを記したように、道路状態や路面の乾燥や湿潤の状況に応じて、反射係数の選択を変更する。なお、配光パターン設定部440により後続車両Ｖｏのライトの配光パターンも設定されているが、鏡面反射位置推定では利用しない。したがって、図13（ａ）、（ｂ）に示すように、後続車両Ｖｏのヘッドライトの位置から車両位置が判明し、推定されたライト強度と鏡面反射係数から鏡面反射により白飛びする鏡面反射領域Ｓｂを推定することができる。
【０１０４】
鏡面反射領域Ｓｂは、自車両Ｖｔのリアカメラに向かって延出し、路面上の鏡面反射位置よりもさらに自車両Ｖｔ側まで延出する長さと、ヘッドライトの横幅とほぼ等しい横幅とを有するように設定されている。そして、例えば、図１３（ｃ）に示す場合では、リアカメラの画像131で、２台の後続車両Ｖｏのヘッドライトから自車両Ｖｔのリアカメラに向かって所定幅で延出するように鏡面反射白飛び領域Ｓｂが設定されている。
【０１０５】
路面反射画像領域推定部540は、拡散反射位置推定部520と鏡面反射位置推定部530において推定された拡散反射領域Ｓａと鏡面反射領域Ｓｂに基づいて、画像上における路面反射推定画像領域を計算する。路面反射推定画像領域は、路面上であることが特定できているので、路面反射画像領域推定部540は、高さを路面上に限定し、拡散反射位置推定部520と鏡面反射位置推定部530からそれぞれ領域Ｓａ、Ｓｂの位置情報を取得することで、路面平面上での３次元位置を決定することができる。
【０１０６】
路面反射画像領域推定部540では、カメラの設置情報や、カメラの画角など、カメラ内外部パラメータに応じて３次元位置情報から路面反射推定画像領域を特定し、これを各認識アプリケーションに画像領域情報を設定して渡すことで、誤検知抑制に利用する。このように、誤検知要因となるヘッドライトの反射成分を光のphong反射モデルに応じて拡散反射と鏡面反射に特定し、車載カメラ特有の条件を仮定し、拡散反射成分と鏡面反射成分を実用的に利用できる精度で計算式に当てはめて利用することで、画面上で誤検知要因となる路面反射推定画像領域を推定することで、誤検知を抑制することができる。特に、魚眼カメラでなければ画面下に延びる反射が、魚眼カメラの鏡面反射の場合には、自車カメラに向かって斜め方向に伸びる。カメラが魚眼カメラであろうが、正射影のノーマルカメラであろうとも、光の反射モデルに基づいた反射領域推定と、各カメラのカメラ幾何を利用することで、画像上の反射領域を正確に推定することができる。拡散反射位置推定部520と鏡面反射位置推定部530では、どのようなカメラであるかに関わらず、実世界上での路面上の領域を推定する。路面反射画像領域推定部540では、実世界の３次元位置から画像位置への座標変換を実施する。路面反射画像領域推定部540におけるカメラ幾何のモデルを魚眼カメラモデルか正射影カメラモデルに切り替えるだけで、画像上の反射領域を推定することができる構造とする。
【０１０７】
＜車載用環境認識部600について＞
ここでは、上記、路面反射画像領域推定部540において推定された路面反射推定画像領域を利用し、路面反射による誤検知抑制を各認識アプリケーションにおいてどのように実施するかについて説明する。
【０１０８】
車載用環境認識部600では、路面反射対策がなされた環境認識として、レーン認識、路肩認識、走行路認識、路面標識認識、路面状況認識が行われる。
【０１０９】
レーン認識部610は、車線逸脱警報や車線逸脱抑制に利用されるレーンマーク（白線）を認識する認識アプリケーションであり、図６に示すように、処理領域設定部611、反射領域マスク部612、白線特徴量抽出部613、画像上レーン抽出部614、車両座標上レーン推定部615を有する。
【０１１０】
従来のレーン認識では、他車両などのライトの路面反射があたかも白線のように見え、白線特徴量を誤抽出する問題があった。従来技術のような手法を利用すれば、高輝度な領域においては、鏡面反射であることを特定し、誤検知要因として削除することは可能であったが、その周囲に広がる薄く白い線上の反射などを、白線と間違えて誤検知していた。
【０１１１】
このため、本実施例の路面反射対策入りのレーン認識部610では、画像から白線特徴量を抽出しないように、処理領域から路面反射推定画像領域を削除するマスキング処理を行うことで、誤検知を抑制する。
【０１１２】
具体的には、処理領域設定部611で、白線特徴量を画像上から抽出するための処理領域を設定し、反射領域マスク部612で、その設定された処理領域から誤検知要因となる路面反射推定画像領域を削減し、白線特徴量抽出部613で、路面反射推定画像領域が削除された残りの処理領域から白線特徴量を抽出する処理が行われる。したがって、路面反射が生じ白い光の筋が発生すると推測される領域内では、白線特徴量を探索する処理を実施しないため、レーン認識用の処理領域内からは白線の特徴量が多く抽出される。
【０１１３】
たとえ、推定した領域の外に少しの反射が存在し、白線特徴量が誤抽出されたとしても、大半が白線特徴量であれば、画像上のレーンを抽出する処理、白線特徴量の直線性などからノイズ要因を削除することが可能であるため、誤検知を抑制することができる。
【０１１４】
そして、抽出した画像上の線を元に自車両の車線中での横位置、ヨー角、曲率などを画像座標上レーン推定部615で推定することで、誤検知抑制に成功した。特に車載リアカメラにおいては、ヘッドライトが存在しないために、自車両後方の白線は非常に見えづらい。このため反射によって見える白い光の筋が誤検知要因となりやすいが、光の反射の性質を利用したphong反射モデルにうまく車載カメラ環境で利用できる情報をあてはめて利用することで、誤検知抑制に利用した。
【０１１５】
路肩認識部620は、上記レーン認識部610と同様に、路肩特徴量を抽出するための処理領域を設定し、その処理領域から誤検知要因となりやすい路面反射推定画像領域を削除し、路面反射推定画像領域が削除された残りの処理領域から路肩特徴量を抽出する。したがって、誤検知要因から抽出される特徴量を除去することができ、誤検知を抑制できる。以降の処理は、レーン認識部610と同様の流れであり、路肩特徴量から画像上に線で並ぶ路肩位置を抽出し、車両座標上の路肩横位置、ヨー角、曲率を推定する。
【０１１６】
走行路認識部630は、図７に示すように、処理領域設定部631で処理領域を設定する。そして、走行路認識では立体物か路面かを判定できず誤検知要因となる路面反射領域における通常の平面領域抽出処理を行わないように、処理領域設定部631で設定された処理領域から反射領域マスク部632で反射領域を削減する。
【０１１７】
そして、設定された処理領域から通常の処理と同様に路面平面かどうかを判定すべく画像間幾何補正を画像間幾何補正部633で実施し、画像間の差分が小さい路面平面領域の抽出を平面領域抽出部634にて実施する。次に、路面反射領域と判定された領域を周囲の立体物判定の結果と、ライト判定の結果を利用してマスク領域補間部635にて補間し、最終的に走行路決定部636にて走行路を決定する。
【０１１８】
路面標識認識部640は、処理領域設定部641で処理領域を設定する。処理領域は、路面標識を認識したいタイミングで設定される。ナビなど地図情報やＧＰＳによる位置情報、自車挙動、通常の標識認識などから、路面標識を認識したいタイミングのみ処理するような方法でも良いし、常に処理領域を設けて認識するような手法でも良い。
【０１１９】
そして、反射領域マスク部642にて、処理領域から反射領域を削除し、特徴量抽出部643にて、上記反射領域の削除された処理領域から特徴量を抽出する処理が実施される。
【０１２０】
そして、パターンマッチング部644にて、上記抽出された特徴量を基にパターンマッチングを実施し、路面標識の認識を実施する。従来技術では、路面反射がノイズとなっているために、誤検知の要因となっていた。
【０１２１】
路面標識全体が路面反射で覆われた場合にはその路面標識を検知することは困難であるが、路面標識の一部に重なった程度であれば、路面反射の影響を受けた領域を路面反射推定画像領域としてマスクすることで、路面反射推定画像領域以外の部分のパターンがマッチングするかどうかをパターンマッチング部644で判断できる。したがって、路面標識の不検知、及び誤検知を削減できる。
【０１２２】
路面状況認識部650は、路面の乾燥、湿潤、積雪などの状況を認識し、その認識結果に応じて路面反射係数の決定にも利用する。まず、処理の流れは図８とほぼ同様で、路面状況を認識するための処理領域を設定し、その処理領域から路面反射推定画像領域を削除する。そして、路面反射推定画像領域が削除された残りの処理領域から路面状況特徴量を抽出し、パターンマッチングすることで、路面状況を認識する。したがって、誤検知要因となる特徴量を処理領域から除去することができ、路面状況の誤検知を抑制できる。
【０１２３】
また、図１８に記載のように、リアカメラの場合の車両検知部660では、自車両が車線変更する際に接触の可能性が高い車両を検知して、車線変更する際に警告もしくは車線変更しないように制御する。前方に取り付けられた車載カメラの場合には衝突防止や先行車追従などに利用する。
【０１２４】
車両検知では、まず、処理領域設定部661においてアプリケーションで見つけたい領域に処理領域を設定する。更に、反射領域設定部662において、このなかで路面反射が生じるような領域があれば、この処理領域の中から路面反射領域を特定する。これまで説明してきた他アプリケーションでは、路面反射が生じるような場所は全て処理領域対象外としてきたが車両検知では、路面反射がある領域のすぐ近くに検知対象である車両が存在する。
【０１２５】
このため路面反射領域や光源を処理領域対象とすれば、車両が不検知となることは明らかである。
【０１２６】
そこで車両が存在するとヘッドライトとその光によって路面反射が生じることも、車両検知の1つの情報であると考え、ヘッドライト、それによって生じる路面反射の位置を考慮し、車体やヘッドライト含めて、車両としての特徴量が抽出しやすいように、反射領域を考慮した領域別閾値設定を、領域別閾値設定部663において実施する。路面の反射領域は特徴量が出づらいように設定し、高輝度なヘッドライト自体は車両が存在する可能性が高いためそれ自体を特徴量として抽出、更に、ヘッドライトがない車体後方からは、車体としての特徴量が抽出しやすいように低閾値で車両特徴量を抽出する。この設定された閾値を基に、特徴量抽出部664において、車両特徴量を抽出する。抽出した特徴量を基に、形状解析を実施することで、見つかった特徴量が車両である可能性が高いかどうか形状解析部665にて判定する。車両である可能性が高い場合には、更に、特徴量の時間的な動きを解析し、これが他車両である可能性が高いかどうかを動き解析部666にて解析する。
【０１２７】
［実施例２］
本実施例において特徴的なことは、西日や朝日に起因して画面上に生じる路面反射推定画像領域を推定する構成としたことである。路面反射推定画像領域をマスクする基本的な処理の流れは、実施例１と同様であるため、主な相異部分の処理のみ詳細に示す。
【０１２８】
車両用環境認識装置100は、図１４に示すように、昼夜を判定する昼夜判定部312を有しており、昼夜判定部312の判定結果に基づいて、太陽光の考慮が不要な夜間にはライト情報部400と路面反射推定部500を利用し、太陽光の考慮が必要な朝昼夕などの日中には西日対策路面反射情報部4000と西日対策路面反射推定部5000を利用するように切り替えを行う。
【０１２９】
画像取得部200、光源抽出部300、車載用環境認識部600は、共通して利用可能な構成と
する。光源抽出位置、重心、外接矩形などの情報を入力情報とし、出力情報はマスキング
する画像上領域とすることで、他部分の共通化が図られている。
【０１３０】
本実施例では、ライト情報部400および路面反射推定部500と西日対策路面反射情報部4000および西日対策路面反射推定部5000とを互いに切り替えているが、これらの処理と内容は類似する部分が多い。このため、ライト情報部400などはそのままにして、一部の処理を切り替えることで、夜間ライト反射対策と西日路面反射対策を選択的に実施しても良い。また、常に並列に夜間ライト反射対策と西日路面反射対策の両方を実施しても良い。光源抽出部300、もしくはライト情報部400に西日対策路面反射情報部4000において光源がライトか路面反射かを判定し、路面反射対策を行っても良い。
【０１３１】
昼夜判定部312の結果に基づいて、光源抽出部300で抽出された光源がライトによる路面反射なのか、西日（もしくは朝日）による路面反射なのかを判定し、判定結果に基づいて路面反射対策を実施する。夜間でヘッドライトによる路面反射の場合には、ライト情報部400と路面反射推定部500の処理を実施することで、誤検知抑制を実施する。反対に、夜間で無く光源抽出されている場合には、西日もしくは朝日であると推定し、西日対策路面反射情報部4000と西日対策路面反射推定部5000の処理を実施することで、誤検知抑制を実施する。
【０１３２】
西日対策路面反射情報部4000における処理は、基本は路面反射推定部400における処理と類似しており、図１５に示すように、路面反射判定部4100において路面上の反射による光源かどうかを判定する。夜間ヘッドライトの光源抽出と異なるところは、夜間ヘッドライトの路面反射を推定する際には、路面より上の領域も探索し、光源自体となるヘッドライト自体を抽出した。しかしながら、太陽光による路面反射の場合には、太陽自体を検出するのではなく、路面反射自体の高輝度領域を抽出する。これは、路面反射領域が画像上にあっても必ずしも太陽が画像視野内に映っているとは限らないためである。また、太陽光の場合には、対象が大きすぎて、空一面が白飛びしている可能性もあり、太陽の位置をうまく抽出できるかも怪しいためである。
【０１３３】
また、路面反射領域を推定するもう1つの理由としては、太陽光による路面反射の誤検知を考慮した場合、周囲の路面と比較し輝度差を生じさせる主要因は、鏡面反射だけである。このため、拡散反射成分を求める場合のように光源の位置があらかじめ未知であっても鏡面反射であれば、カメラと路面反射の3次元位置から太陽の方向を導き出すことも可能となる。ここで太陽光の場合に、拡散反射が誤検知要因となりにくい理由は、太陽光は無限遠に存在する点光源と仮定して、拡散反射成分を考えるとその理由がよくわかる。指向性があり、しかも近距離に存在する点光源のヘッドライトであれば、その周囲では輝度差が等高線上に変化することは、数式からも明らかである。ところが無限遠の点光源を考慮した場合、無限遠の点光源への方向ベクトルと路面を仮定した物体法線ベクトルは路面上の至るところで変化しない。つまり無限遠の太陽の拡散反射は路面上では均一に明るく照らすだけであり周囲路面との輝度差が生じにくいグラデーションとなり、各認識アプリケーションにとっての誤検知要因とはなりにくい。太陽の路面における鏡面反射だけが、太陽光による誤検知要因となりやすい路面反射であることがわかる。
【０１３４】
このため路面反射領域を抽出し、更に反射強度推定部4200にて路面反射の光の強度を推定する。次に、反射が生じている路面３次元位置を反射３次元位置設定部4300において推定し、路面反射の要因となっている太陽の方角を太陽方角設定部4400において推定する。太陽方角設定部4400は、自車挙動4410を太陽と車両の方角の補正に利用しても良いし、カーナビ513のＧＰＳによる位置情報と走行方角から太陽方角を割り出しても良い。
【０１３５】
図１７は、西日路面反射領域を推定する方法を説明する図であり、図１７（ａ）は、自車両と太陽との位置、鏡面反射の状態を示す図、図１７（ｂ）は、自車両の魚眼リアカメラで撮像した画像の模式図である。実施例１の構成と異なる点は、図１７（ａ）に示すように、光源の位置が太陽171の位置となり、画像処理で抽出される領域が路面反射領域となる点である。このため、図１７（ｂ）の画像172に示すように、路面反射領域と太陽171の位置関係から誤認識要因となりうるような、白飛びはしていないが白っぽく伸びる光の筋がどちらの方向へ延びるかということを推定する。
【０１３６】
太陽位置と路面反射位置が特定できるので、後は西日対策路面反射推定部5000において、図１６に示すように、路面反射係数を路面反射係数決定部5100にて決定し、鏡面反射位置推定部5300において誤検知要因を含む拡散反射領域と鏡面反射領域を推定する。推定後の処理は、路面反射画像領域推定部5400により、実施例１の場合と同様に、拡散反射領域と鏡面反射領域から路面反射推定画像領域を推定し、これを各認識アプリケーションに渡し、各認識アプリケーションにおいて、路面反射推定画像領域で画像処理しないようにマスキングを実施する。
【０１３７】
実際には、西日路面反射において拡散反射成分は誤検知要因とならないと判断し、利用はしない。他光源や夕暮れ時のヘッドライトには利用しても、西日や朝日の反射には拡散反射係数は0.0として反射領域推定には利用しない。
【０１３８】
このようにライト以外の光の反射についても基本的な考え方を同様にして、誤検知要因となる光源を特定し、路面反射位置、路面反射係数などを推定することで、誤検知要因となりうる路面反射推定画像領域を推定し、これを各認識アプリケーションの認識対象外として処理領域からマスクすることにより誤検知を抑制する。
【０１３９】
また、このような物理的な光のモデルを利用することで、必要以上にマスキング領域を大きくすることを避けることが可能となり、必要以上の不検知も避けることができる。
【０１４０】
また、従来技術と比較して、ステレオカメラでなくとも反射対策が可能なだけでなく、例えば図１７（ｂ）に示すように、単眼カメラであっても鏡面反射の白飛びしていない領域まで画像をスキャンするような処理負荷の高い処理を必要としない。
【０１４１】
特に、光源抽出部300で実行される処理は、画像処理専用のハードウエアが得意とする処理内容であるため、画像処理専用のハードウエアを備えている環境では、より短い処理時間で光源抽出が可能である。そして、光源を抽出する以外の処理に関しては、画像をスキャンする処理がないため、処理時間を抑制しながらも路面反射の誤検知抑制が可能である。
【０１４２】
なお、本発明は、上述の各実施例の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１４３】
100…車載用環境認識部、200…画像取得部、300…光源抽出部、400…ライト情報部、410…ライト判定部、420…ライト強度推定部、430…ライト３次元位置設定部、440…配光パターン設定部、500…路面反射推定部、510…路面反射係数決定部、511…天候判定部、512…路面状況判定部、520…拡散反射位置推定部、530…鏡面反射位置推定部、540…路面反射画像領域推定部、541…時計部、600…車載用環境認識部、610…レーン認識部、620…路肩認識部、630…走行路認識部、640…路面標識認識部、650…路面状況認識部、4000…西日対策路面反射情報部、4100…路面反射判定部、4200…反射強度推定部、4300…反射３次元位置設定部、4400…太陽方角設定部、4410…西日対策路面反射情報部、5000…西日対策路面反射推定部、5100…路面反射係数決定部、5200…拡散反射位置推定部、5300…鏡面反射位置推定部、5400…路面反射画像領域推定部
【技術分野】
【０００１】
本発明は、車載カメラにより撮像した画像に基づき自車両の周囲環境を認識する車載用環境認識装置に関する。
【背景技術】
【０００２】
近年、乗用車などの車両の周囲環境を認識するカメラの開発が進められている。カメラを利用した認識技術では、視認性の悪い夜間の認識が問題となりやすい。特に、リアカメラなどの場合には、撮像する路面を自車のヘッドランプで照明することができないので、得られる映像は暗いものとなり、視認性が低く、そのような暗い映像を画像処理することが求められる。また、後続車がいる場合には、周囲が暗いにもかかわらず、後続車のヘッドライトが非常に明るいため、リアカメラで撮像された映像では、そのヘッドライト部分が明るく白飛びしたような状態も発生し、正常な認識を妨げる存在となりやすい。
【０００３】
特許文献１には、視点の異なる２つのカメラから見た鏡面反射成分の強度の違いを利用することで、路面に鏡面反射光が存在するかどうかを判定し、鏡面反射光が存在する場合には、その鏡面反射光を除去する処理を行う技術が示されている。特許文献２には、実像である車両ライトと、虚像である路面反射の組み合わせを検出することで、虚像である路面反射を抑制した補正画像を生成する技術が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２０３４４６号公報
【特許文献２】特開２００９−６５３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両周囲の環境を認識する車載カメラにおいて、路面に生じる高輝度な鏡面反射領域だけでなく、低輝度な領域であっても周囲と比較して輝度が高い領域は画像認識アプリケーションにとって誤検知要因となる。特にリアカメラにおいては、自車両ヘッドライトがないため、夜間は低コントラストな映像から車線や車両などを検知する必要があり、低輝度であっても周囲の路面より輝度が高い反射領域が誤検知要因になる。
【０００６】
高輝度な反射領域だけを対象とすれば、公知例のような画像上から抽出する手法もあるが、低輝度な反射領域は画像上から探索することが困難である。
【０００７】
特許文献１では、ステレオカメラを利用することで、視点の異なる2つの画像から高輝度な鏡面反射成分を抽出しているものの、単眼カメラでは、同時刻の視点の異なる2枚の画像を確保することは難しい。特許文献２では、実像と虚像の組み合わせを利用した高輝度な鏡面反射の認識を行っているが、ビューと認識を兼ねたカメラでは、そもそもヘッドライトと路面反射が一体化して見えることや、画像認識アプリケーションの抑制しがたい誤検知要因は高輝度な反射領域よりも、低輝度な反射によるところが大きく、特許文献２のロジックをそのまま適用しても誤検知抑制という課題を解決することは困難である。そして、特許文献１、２では、画像処理により鏡面反射の認識処理を行っているため処理負荷が比較的大きく、画像処理を簡易的な高輝度領域を抽出することだけに限定して残りは推定計算で路面反射領域を推定する本実施例と比較すると、処理負荷が高いという問題を有している。
【０００８】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、より少ない処理負荷で周囲車両のヘッドライト光に起因した誤認識を防ぐことができる車載用環境認識装置を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決する本発明の車載用環境認識装置は、光源の画像上の位置に基づいて、環境認識の際に誤検知要因となるライトが路面で反射する画像上の路面反射推定画像領域を推定し、その路面反射推定画像領域に基づいて自車両の周囲環境を認識することを特徴としている。
【発明の効果】
【００１０】
本発明によれば、自車両の周囲環境を認識するための処理領域から、誤検知要因となるライトの路面反射推定画像領域を除くことができ、自車両の周囲環境を正確に認識することができる。
【図面の簡単な説明】
【００１１】
【図１】車載用環境認識装置の構成図。
【図２】光源抽出部の内部構成図。
【図３】ライト情報部の内部構成図。
【図４】路面反射推定部の内部構成図。
【図５】車載用環境認識部の内部構成図。
【図６】路面反射対策入りのレーン認識部の内部構成図。
【図７】路面反射対策入りの走行路認識部の内部構成図。
【図８】路面反射対策入りの路面標識認識部の内部構成図。
【図９】ライト３次元位置の推定方法を説明する図。
【図１０】照度別配光パターンを示す図。
【図１１】拡散反射と鏡面反射を説明する図。
【図１２】拡散反射領域推定法を説明する図。
【図１３】鏡面反射領域推定法を説明する図。
【図１４】昼夜別の反射対策の切り替え構成図。
【図１５】西日対策の路面反射情報部の構成図。
【図１６】西日対策の路面反射推定部の構成図。
【図１７】西日路面反射領域推定法を説明する図。
【図１８】車両検知部の内部構成図。
【発明を実施するための形態】
【００１２】
以下に、本実施の形態について図面を用いて説明する。
［実施例１］
本実施例の車載用環境認識装置は、自動車の車載カメラであって、例えば駐車支援用のリアカメラやサイドカメラで撮像した車両の周囲画像を運転者に表示する車載カメラ内に一体に構成されている。
【００１３】
図１は、本実施例における車載用環境認識装置の構成図である。
車載用環境認識装置100は、車載カメラのＥＣＵの内部機能として、図１に示すように、画像取得部200と、光源抽出部300と、ライト情報部400、路面反射推定部500、車載用環境認識部600を有している。
【００１４】
画像取得部200は、単眼カメラで撮像した自車周辺の画像を取得し、光源抽出部300は、画像取得部200で取得した画像から光源を抽出する。ライト情報部400は、光源抽出部300で抽出された光源が、環境認識の際に誤検知要因となるライトに該当するか否かを判定し、該当すると判定したときは、そのライトの3次元位置を予測し、照射範囲、配光パターンなどを推定する。
【００１５】
路面反射推定部500は、ライト情報部400によって予測等したライトの3次元位置、照射範囲、配光パターンなどから、路面に生じる鏡面反射や拡散反射などを推定し、画面上に生じる路面反射推定画像領域を推定する。車載用環境認識部600は、これらの路面反射情報を基に白線認識等の自車の周囲環境を認識する。
【００１６】
図２は、図１の光源抽出部の内部構成図である。
光源抽出部300は、画像から予め設定された閾値以上の面積を有する点光源を、光源として抽出するものであり、図２に示すように、撮像画像から予め設定された輝度値以上の光点を抽出するための2値化部310と、2値化した結果をラベリングし、ラベリング結果の面積が小さなノイズ要因と思われるラベリング結果は削除するラベリング部320と、このラベリング結果の外接矩形を抽出する外接矩形抽出部330と、ラベリング結果の面積を算出する面積抽出部340と、ラベリング結果の重心を抽出する重心抽出部350を有する。
【００１７】
図３は、図１のライト情報部の内部構成図である。
ライト情報部400は、光源抽出部300によって抽出された光源の画像上の位置に基づいて、光源が環境認識の際に誤検知要因となるライトを抽出し、そのライトのライト強度と３次元位置と配光パターンの情報を含むライト情報を推定する。
【００１８】
ライト情報部400は、図３に示すように、光源抽出部300で抽出された光源が車載用環境認識装置100にとって誤検知要因となりうるライトかどうかを判定するライト判定部410と、光源抽出部300で抽出された光源の面積などからライトの強度を推定するライト強度推定部420と、光源抽出部300で抽出した光源の3次元位置を推定するライト3次元位置推定部430と、ライトと判定された光源の照射範囲など配光パターンを設定する配光パターン設定部440を有する。なお、ライト判定部410では、レーダ部411や昼夜判定部312の結果を利用して判定してもよい。
【００１９】
図４は、図１の路面反射推定部の構成図である。
路面反射推定部500は、図４に示すように、路面の反射係数を決定する路面反射係数決定部510と、ライト情報部400から抽出された光源が路面に作り出す拡散反射の位置を推定する拡散反射位置推定部520と、同様にライト情報部から抽出された光源が路面に作り出す鏡面反射の位置を推定する鏡面反射位置推定部530と、これら拡散反射位置推定部520と鏡面反射位置推定部530から推定された3次元の路面反射位置から、誤検知要因となる画像上の路面反射推定画像領域を推定する路面反射画像領域推定部540を有する。
【００２０】
路面反射係数決定部510は、雨天や曇り、晴天など天候を判定する天候判定部511の結果に基づいて路面反射係数を決定する。雨天など路面が濡れているような状況においては、ヘッドライトが路面で鏡面反射しやすい状況にあるため、鏡面反射によって白飛びする領域が通常状態より大きくなる。このため誤検知要因となりうる推定鏡面反射領域は大きくなり、反対に晴天で乾燥した路面であれば鏡面反射は少なく、より拡散反射が生じやすくなる。このように路面状態に基づいて鏡面反射と拡散反射の路面反射係数を決定することで、レーン認識処理領域対象外とする反射領域を推定する。
【００２１】
また、路面反射係数決定部510は、天候ではなく路面が湿潤、乾燥、積雪などの路面状況を直接判定する路面状況判定部512の結果に基づいて、路面反射係数を決定し、光源が画像領域に及ぼす影響範囲の大小を変更してもよい。
【００２２】
そして、路面反射係数決定部510は、カーナビ513の地図情報による道路環境情報、走行方位などから路面反射係数を決定し、路面反射画像領域推定部540では、カーナビ513の太陽の位置関係、走行方向、などから光源が画像上に白飛びのように誤検知要因として影響を及ぼす可能性がある範囲の大小を変更してもよい。
【００２３】
さらに、路面反射係数決定部510は、ワイパー514の動作状況に応じて、天候状態を判定し、路面反射係数を決定してもよい。そして、路面反射画像領域推定部540は、時計部541の時間に応じて太陽の位置を予測し、昼夜を判定することで、路面反射が画像領域に及ぼす影響範囲の大小を調整しても良い。
【００２４】
図５は、図１の車載用環境認識部600の内部構成図である。
車載用環境認識部600は、図５に示すように、路面反射推定部500によって推定された画像上の路面反射推定画像領域に基づいて、各認識アプリケーションが誤検知しないように対策を実施する。各認識アプリケーションは、車線逸脱警報や車線逸脱抑制に利用されるレーンマークを認識するレーン認識部610、車両の走行領域逸脱警報や抑制に利用される路肩を認識する路肩認識部620、工事現場のように白線がないような環境においても車両が走行可能かどうかを判定する走行路認識部630、路面上に描かれた車速などの路面標識を認識する路面標識認識部640、路面の状況が乾燥か、湿潤か、積雪かなどを判定する路面状況認識部650、車線変更支援などに利用される他車両を検知する車両検知部660を有する。なお、車載用環境認識部600は、上記した各認識アプリケーション（610〜660）を全て有するものに限定されず、少なくともいずれか一つを含むものであってもよく、また、さらに、他の認識部を含むものであってもよい。
次に、各部の構成について詳細に説明する。
【００２５】
＜光源抽出部300について＞
光源抽出部300は、例えば、ヘッドライトの制御のために他車両のライトを検知することが目的ではなく、環境認識にとって誤検知要因となりうる光源の検知を目的としている。そのため、小さな点光源や、輝度が低い点光源などは、路面反射などを生じさせる可能性が低いので、光源抽出部300による抽出対象からは除外する。これにより、処理負荷の軽減と、過剰な誤検知対策を避ける効果を得ることができる。
【００２６】
また、路面反射が生じたとしても、車載用環境認識部600における認識アプリケーションの処理領域外となるような２車線隣の車両のヘッドライトなどは、そもそも光源を見つける画像処理領域の対象外としても良い。また、画像上の消失点より上に存在する光源は、カメラよりも高い位置にある光源であるとの認識から、街灯や信号機の光であるとみなして、処理対象から除外しても良い。
【００２７】
また、天候に応じて処理領域を変更しても良い。例えば、雨天や雨上がりの濡れた道路上では、路面上の鏡面反射が生じやすく、通常の乾いた道路では生じないような街灯や信号機の光の鏡面反射が、自車の周囲環境の認識の妨げ（誤検知要因）となりやすい。このため、天候や道路状況に応じた処理領域内の光源を抽出する。
【００２８】
図２の構成図に示した手法は、一つの例であって必ずしも内部の処理全てが必要ではなく、光源の画像上の位置を特定できる手法であればよい。また、本実施例における車載用環境認識装置100は、主として夜間に後続車のライトを誤検知するのを防ぐためのものであるので、これら光源抽出部300の光源抽出処理や、ライト情報部400のライト判定処理、路面反射推定部500の路面反射推定処理などは、周囲環境が明るい場合、例えば昼間や、照明された屋内駐車場、トンネルなどにおいて、必ずしも動作させる必要はない。
【００２９】
したがって、ナビ連携によるＧＰＳ位置からの時計（時刻）、トンネルなどの地図情報、などを利用して、光源抽出部300、ライト情報部400、路面反射推定500、の動作を停止してもよい。動作のＯＮ、ＯＦＦを切り替えるための情報として、ヘッドライトのＯＮ、ＯＦＦや、ヘッドライトのＯＮ、ＯＦＦを自動制御するための照度センサーなどの信号を利用してもよい。
【００３０】
また、昼夜判定部312により、カメラのシャッタースピードや、ゲイン、撮像結果を利用して昼夜の判定を実施し、その判定結果に基づいて、光源抽出部300、ライト情報部400、路面反射推定500の動作を停止してもよい。他にも、路車間通信、車々間通信、などの情報を利用しても良い。また、光源抽出部300の結果を利用して、ライト情報部400と路面反射推定部500の処理の一時停止を判定しても良い。もしくは、光源抽出部300とライト情報部400の結果を利用して、昼夜の判定を実施し、路面反射推定部500の動作を停止しても良い。また、必ずしも昼夜の判定を実施せずに、周囲の光源環境に基づいて、路面反射推定部500もしくは、光源抽出部300やライト情報部400の動作を停止しても良い。
【００３１】
＜ライト情報部400について＞
ライト判定部410は、画像上から抽出された光源について、路面反射が生じると推定されるライトかどうかを判定する処理を実施する。従来の公知例などでは、路面反射自体を認識する処理を実施していたために処理負荷が高いだけでなく、光源と路面反射が一体化したような後続車両のライトを一つのカメラで検知することは困難であった。また、路面反射の高輝度な鏡面反射領域が求められたとしても、高輝度領域（鏡面反射領域）の周囲に広がる低輝度な反射領域や拡散反射領域がどのような方向に、どの程度伸びているかを認識することは困難であった。
【００３２】
本手法では、ＣＧの陰影付けに利用されるPhong反射モデルを応用して、路面反射領域
を推定することで低輝度な反射領域をも推定し、画像認識の処理領域対象外に設定するこ
とで誤検知を抑制することに成功した。
【００３３】
Phong反射モデルは、物体表面の反射を「鏡面反射」、「拡散反射」、「環境反射」の３種類の反射成分で定義し、これら３種類の反射成分によって物体の陰影付けに利用している。このPhong反射モデルの3種類の反射成分から、夜間に他車のヘッドライトの反射により車載用環境認識部にとって誤検知要因となる反射成分を絞り込む。車載カメラで取得した映像を解析するとわかるように、環境反射は、他物体からの2次反射などによる光の反射を指しており物体に均一な色合いをつけるため、車載環境認識部の誤検知要因とはならない。次に、拡散反射光であるが、これは指向性のあるヘッドライトが路面を照らした場合に、ヘッドライトが向けられた路面の輝度が高く、遠方やライトの指向性の向きから離れるほど輝度が低下し、周辺の路面と輝度差が生じるため、誤検知要因の１つなることがわかる。最後に、鏡面反射光であるが、これはヘッドライトの光源から自車両カメラを結ぶ直線上の路面で鏡面反射した光が作り出す反射領域が、周囲の路面と比較し明るくなるために、これも誤検知要因となることが理解できる。
【００３４】
このため夜間に他車のヘッドライトによって生じる誤検知の対策としては、周囲の路面輝度と比較して輝度を高くする効果のある「鏡面反射」「拡散反射」の2つを利用して画像認識にとって誤検知の要因となりやすい反射領域を推定する。従来公知例では、そもそも鏡面反射のみを考慮していることや、高輝度な領域のみの判定は画像処理から抽出が容易であっても、低輝度ではあるが周囲よりも輝度が高いような反射領域を画像処理のみで探索することは容易ではない。本実施例は、比較的簡単に実施可能な高輝度領域の抽出のみを画像処理で実施し、抽出した光源から画像認識にとっての誤検知要因となる反射領域のみを推定することで、画像探索する量を大幅に抑制し、反射領域を推定計算することで、処理負荷を大幅に削減するとともに、従来手法では困難であった低輝度ではあるが周囲環境と比較して反射によって輝度が高くなっている領域を特定することに成功した。
【００３５】
更に、抽出した光源が自車両と同じ道を走る他車両のヘッドライトであることに限定することで、公知例などでは扱っていなかった拡散反射によって生じる反射領域をも、画像認識にとって誤検知要因となる反射領域として推定すること可能となった。これにより従来手法では困難であった拡散反射によって生じる反射領域の推定や、低輝度ではあるが周囲環境と比較して輝度の高い鏡面・拡散反射領域の推定に成功した。これにより各画像認識アプリケーションの対応をより的確に対応することが可能となり、各画像認識アプリケーションの適応範囲拡大に貢献する。
【００３６】
ヘッドライトによって生じる誤検知要因となりそうな領域を求めるために、phong反射モデルの反射成分から拡散反射成分と鏡面反射成分を利用して注目点の輝度Iを路面上の領域で算出する。注目点輝度Ｉは、拡散反射成分
と鏡面反射成分
の和で表現可能である。
【００３７】
図11(a)を基に考えると拡散反射成分は、路面でどの光が吸収されずに反射するかを示す入射光に対する拡散反射率Kdと、抽出した光源の位置より光線方向ベクトルＬ、物体はすべて水平な路面と仮定し鉛直上向きの法線ベクトルＮ、誤検知要因となる光源からの拡散光源の光強度idで表現する。拡散反射率は、本来、入射光の波長、すわなち、色によって異なるが、今回の場合、路面の色やライトも彩度が高い色ではないため、入射光の波長よる変化はないものと仮定して扱う。
【００３８】
図11(c)に示すように実際の鏡面反射光の収束具合もαの係数で仮定し、αを大きくした場合には図11(b)の状態に近く鏡のような反射に近くなることを意味する。路面がどの程度鏡面反射するかを示す鏡面反射係数Ksと、誤検知要因となるヘッドライトの鏡面反射光の強度is、カメラ方向ベクトルＶと光源方向ベクトルＲに依存して反射光の強度が変化すると仮定し、鏡面反射成分を推定する。
【００３９】
これら拡散反射成分と鏡面反射成分から路面輝度を推定し、反射誤検知要因となりそうな領域を推定する。
【００４０】
このように反射の要因となる光源を抽出し、反射領域を認識せずに推定することで、輝度が低い反射領域をも推定可能とし、誤検知削減に成功した。
【００４１】
まず、Phong反射モデルの一部である拡散反射成分と鏡面反射成分は、上記の式で成り立つが、ＣＧ環境とは異なり全てが既知ではないため、車載カメラの画像認識の環境では、そのまま計算することはできない。上記式を基本概念として、画像から得られる情報を利用してどのように反射領域推定の計算に当てはめるかを行ったかについて説明する。
【００４２】
光源の3次元位置について説明する。カメラ位置と路面位置、光源位置のそれぞれの相対関係が3次元的な位置関係で必要となる。まずは、全ての光源について反射領域を計算するのではなく、他車両のライトを対象とするために、路面反射が生じると推定されるライトか否かを、抽出された光源の画像上の位置に基づき判定する。ライト判定部410は、路面反射が生じると推定されるライトとして、例えば他車両のヘッドライトか否かを判定する。
【００４３】
先に、ライト３次元位置設定部430の計算を実施することで、画像抽出光源が路面反射を生じさせうるライトか否かの判定に利用しても良い。また、光源の形状やパターン、色情報を解析することで、路面反射が生じるライトか否かを判定しても良い。また、画像上のトラッキングを実施し、その動きを解析することで、路上の静止物か、他車両のヘッドライトかを判断し、誤検知のための路面反射対策を実施するか判断しても良い。また、レーダ部411の車両検知結果、もしくは立体物認識結果と比較して、他車両のヘッドライトか否かを判定しても良い。また、レーダ部411以外にも、ステレオカメラの立体物認識結果や、車々間通信の結果、路車間通信の結果を利用しても良い。
【００４４】
これにより自車両カメラと光源の相対的な3次元位置が既知となり、反射は水平な路面であると仮定するため、画像上でのある路面１点について反射光の強さを計算するための情報が揃ってくる。
【００４５】
まず、拡散光反射でいうと、光源への方向ベクトルは、画像上の路面１点を3次元位置推定すると、光源位置も路面１点も3次元位置が既知となり、その方向ベクトルを計算することは可能となる。また、物体の法線ベクトルに関しては、路面は水平であるとの仮定をおいたために、全て鉛直上向きである。これらを考慮すると、路面上の拡散反射係数とヘッドライトの拡散光強度がわかれば、あとは画像上路面の１点１点の輝度を計算することが可能となる。
【００４６】
路面は全て水平と仮定、光源からの方向ベクトルを考慮、あとは拡散光強度と拡散反射係数の掛け算の結果に対し比例的にその輝度が決定されることがわかる。つまり、図10のようにあらかじめ、車両のヘッドライト位置を基準として路面上の輝度がどのような等高線を示すかを計算しておけば、その結果に対して、拡散光強度と拡散反射係数の掛け算の結果を利用して比例的に等高線が変化することがわかる。つまり、リアルタイム計算においては、拡散反射係数と拡散光強度のみを演算する必要があり、他計算はあらかじめ初期化時に計算すれば良いことがわかる。
【００４７】
ただし、上記説明の通り拡散反射光成分を計算すると図10のように実際のヘッドライトで現れるような配光パターンとならない。これは、phong反射モデルで定義する光が点光源を基本に考えられており、そのままphongの式にあてはめれば、点光源直下の路面が最も明るく、そこから遠くなるにつれて暗くなる円状の等高線が推定される。そこで指向性のあるヘッドライトによる拡散光の路面反射成分を計算するためには、ヘッドライトが最も明るく照らす方向のベクトルと光源へのベクトルの内積から、角度が離れるに従って拡散光強度が減衰するように計算結果を補正すれば良い。本実施例では、そもそも個々の車両のヘッドライトの違いを細かく認識することは困難と考え、ある指向性の方向をあらかじめ定義し、これを基に先に図1０に示すような配光パターンを計算することに注力する。
【００４８】
なお、路面状況によって拡散反射が生じやすい場合などには、誤検知要因の対象を拡張して、ライト情報部400で取り扱う光源を、他車両のヘッドライトだけでなく、街灯などの他の光源も含むようにしても良い。ただし、指向性のない光源の場合の配光パターンなどもあらかじめ準備することで街灯による拡散反射の配光パターンを選択し、誤検知抑制に利用することもできる。
【００４９】
ライト判定部410では、路面に反射を生じさせないような光源を誤検知要因の対象から除外しているので、その分だけ、後述するライト強度推定部420、ライト３次元位置設定部430、配光パターン設定部440における不必要な処理負荷と、それ以降のレーン認識などの各アプリケーションにおける不必要な処理負荷を省くことができる。
【００５０】
ライト強度推定部420は、ライト判定部410で路面反射が生じると判定されたライトのライト強度（光強度）を推定する。このライトに、他車両のライトだけでなく、街灯などの他の光源も含まれる場合には、その光源の光強度も推定する。ライト強度推定部420は、画像上で白飛びしている領域の面積に基づいてライト強度を推定する。本実施例においては、画像上の白飛び面積に応じて拡散光強度と鏡面光強度を推定する。
【００５１】
実際のカメラのシャッタースピードやゲインなどの設定情報が得られる場合、もしくは解析可能な場合には、その値も利用することでライト強度を推定しても良い。しかしながら、後続車両の正確な位置や姿勢、ライトの地上からの高さ、道路の勾配など不明点がかなり多いため、最終的に必要とする反射領域の推定精度にもよるが、詳細な解析よりも画像上での光源面積が反射の大きさとの相関性で簡易的な計算を実施するだけでも十分に実用的である。ただし、これは最終的なアプリケーションが、レーン認識や路肩検知、走行路認識といったように、一部が処理領域から削除されても、その他の領域を利用することで認識可能なアプリケーションであるから成り立つともいえる。
【００５２】
歩行者検知や、車両検知については、処理領域対象外とすることは、その領域に来た車両が不検知になることを意味するため、車両が検知できない状況として、システムギブアップになる。このため、衝突防止、抑制のための歩行者検知や車両検知の場合には、完全に処理領域対象から外すのではなく、その領域は高輝度になり反射が生じている可能性が高いとして、認識処理の対象からは除外しないものの、他領域と比較してパラメータを変更する、もしくは異なる認識処理を実行させることで、対処する。
【００５３】
特に、アプリの中でも車線検知や、路肩認識では、画面上で輝度が高く線状のものを誤検知対象としやすい。高輝度な領域に関しては従来公知技術の画像処理による抽出方法にて路面反射である等の判断もし易いが、ヘッドライトから延びる光の反射の中で、高輝度ではなくなってはいるが路面と比較すればまだ輝度が高いような光の反射となると、従来公知技術を利用してもどこまでが反射でどこまでが路面なのかの区別は困難であった。本実施例では、後続車両のヘッドライトが要因で生じる反射の特徴をとらえ、簡素化したモデルにて路面反射領域の推定に成功している。
【００５４】
しかし、実際のカメラの設定情報が得られないような場合にも、白飛びしている面積の大きさからカメラに路面反射の影響をどの程度与えるかを推定することもできる。非常に縦長の白飛びの場合には、路面反射とライトの両方がつながった状態で白飛びしていると判断しても良い。
【００５５】
ここでは、画像上で輝度は高いが非常に小さい面積の点光源と見えるような場合には、遠方車両のヘッドライトなどの場合が多く、実際にそのライトが要因となる路面反射が誤検知要因となる可能性が非常に低い。
【００５６】
このように実際に車両のヘッドライトの光源であっても、路面反射による各認識アプリケーション610〜650の誤検知要因となりうるかを判定するために、ライト強度の推定を行い、ある強度未満のライトに関しては、反射対策の対象外とする。また、ある強度以上のライトで路面反射を引き起こすと考えられるライトに関しては、そのライトの路面反射がどの程度大きく広がり影響を及ぼすかどうかの指標とする。
【００５７】
ライト３次元位置設定部430は、画像上の光点からライトの３次元位置を推定する。ステレオカメラの場合には、三角測量の原理で３次元位置も推定可能であるが、単眼カメラの場合には画像上の位置情報しかなく、光源の３次元位置を特定することが困難である。
【００５８】
そこで、本実施例では、３次元的な制約条件を加えることで、ライトの３次元位置を推定し、各ライトの３次元位置として推定する。
【００５９】
図９は、ライト３次元位置推定方法を説明する図であり、図９（ａ）は、単眼カメラであるリアカメラで撮像して２値化した画像の模式図、図９（ｂ）は、カメラの高さ位置とライトの仮定高さ位置との関係を示す図である。なお、図９（ａ）で符号ＷＬは、車線を規定する白線を示す。
【００６０】
図９（ａ）に示すように、画像９１上で右上にある光点９２、９２の画像情報から、３次元世界上では一本の線上に光点９２、９２が存在することを特定することが可能である。他車両（図示せず）のライトの高さは特定できないものの、本実施例ではライト高さを地上より０．６ｍの高さに仮定し、ライト９２、９２の自車両からライトまでの車両前後方向の距離、車幅方向の距離、ライトの地面からの高さを推定する。
【００６１】
図９（ｂ）に示すように、カメラのレンズ中心と画像上の光点を結ぶ直線が、地上から高さ０．６ｍの平面と、交わる一点９６をライト３次元位置として推定する。
【００６２】
ここでは、ライト９２の３次元位置情報を利用して、ライト９２が路面反射を生じさせるライトであるか否かの判定に利用するだけでなく、ライト９２の３次元位置から路面上のどの３次元位置で路面反射が生じるか否かを推定する。
【００６３】
ここで推定したライトの3次元位置は既に路面上60ｃｍであるとの仮定を基に求めた3次元情報であるため、この3次元位置情報にはある程度の誤差が含まれる。また路面の勾配や凹凸なども正確に把握できるのであれば、考慮した路面反射推定を行う方が正確ではあるが、既に、車両のヘッドライトの高さ位置を60cmであるとの仮定から計算しているため、路面には凹凸がないと仮定した計算でも十分に利用価値のある反射領域の位置推定となる。
【００６４】
配光パターン設定部440は、ライト３次元位置設定部430で設定されたライトの３次元位置に基づいて、ライトの配光パターンを設定する。国別によって左右非対称な配光パターンを反転させても良い。また、光源がヘッドライトではないが拡散反射を生じると推定された点光源などの場合には、ヘッドライトとは異なる配光パターンを選択する。配光パターンは、基本的に拡散反射による路面反射位置を推定するために設定する。
【００６５】
ただし、図４にも示すように、この時点では、ライト強度は推定されているが、路面反射強度が推定されていないため、どのようなタイプの配光パターンであるかをここでは示すだけで、データの情報としては、図10に示すように世界座標上における等高線上のマップデータを、ライト情報部400では選択する。
【００６６】
図１０は、照度別の配光パターンを示す図であり、図１０（ａ）は平面図、図１０（ｂ）は側面図である。各車両のヘッドライトの形状や車体の姿勢もそれぞれ異なるが車種ごとに対応することは困難なため、本実施例では全車種同様のヘッドライト形状、後続車両は自車両と平行に直進していることを前提とした反射を計算した。指向性のあるヘッドライトの光軸ベクトルと光源への方向ベクトルの内積から指向性の光を表現し、更に光源方向ベクトルと法線ベクトルの内積から拡散反射成分を計算した。
【００６７】
図４に定義する路面反射推定部500の路面反射係数決定部では、拡散反射係数と鏡面反射係数を決定する。ここでは拡散反射係数の推定について説明する。
【００６８】
拡散反射係数は、路面の種別もしくは天候に応じて拡散反射係数のテーブル（表１）として扱い、それぞれ路面状況の変化や天候の状況に応じて変更させる。拡散反射係数は、路面が白いほど大きく、路面が乾いていると大きい。アスファルトの暗い路面や、雨が降って路面の色が暗く見える場合には、拡散反射係数が小さくなっている。路面が濡れている場合には、鏡面反射係数は大きくなるものの拡散反射係数は小さくなる。
【００６９】
【表１】
【００７０】
このように拡散反射係数を大まかにテーブル化し、路面状況や天候状況に応じて参照先を変更する。路面状況は、ナビの地図情報で判断、もしくは路面のアスファルトやコンクリートといった種別によらず一定としても良い。天候状況は、ワイパー情報から雨天を判断して拡散反射係数を変更する。等高線のように描かれた領域は、拡散反射係数と、拡散反射強度の積であらわした場合に、誤検知要因となるであろう推定領域の大小を示している。
【００７１】
路面反射係数とライトの強度をもとに、図10(a)に示す配光パターンのうち、どの等高線上の反射領域を利用するかを選択する。配光パターン自体はあらかじめ図10(ｂ)に示すように3次元的な反射が計算されているため、拡散反射位置推定部520において実際の画像上での領域に落とし込む必要がある。
【００７２】
配光パターンは、車両Ｖのヘッドライトが道路を照らした場合の、路面における反射光の光の強さを表し、同じ光強度（照度）になる位置を等高線のように示しており、等高線Ａ１〜Ａ４に移行するにしたがって光強度が小さくなるようになっている。
【００７３】
リアルタイム処理時には、画像上から抽出した高輝度領域の面積を基に、拡散光強度を決定し、拡散光強度と拡散反射率から配光パターンの大きさ（図10(a)のＡ１，Ａ２，Ａ３，Ａ４を参照）を選択する。このため推定処理では光源抽出処理、配光パターンの選択、配光パターンを画像上の2次元座標へ落とし込みの計算のみが必要となり、非常に簡易化されている。配光パターンの画像座標への落とし込みについても、それほど高解像度で求める必要もなく、レーン認識などを想定しているのであれば多少大きめの領域が反射の可能性があるとしても、レーン認識自体が不検知になる可能性は低い。何故なら白線認識であれば、かならず近距離の場所にレーンマークが入る瞬間があるため。後続車のヘッドライトから延びる反射光にマスクが多少入ったとしても完全に不認識になる可能性はかなり低いといえる。このため、粗いサンプリングで画像座標へ落とし込み、レーン認識等の認識系アプリの処理対象外にすることで、誤検知の抑制に役に立てる。
【００７４】
本実施例では、図１０に示すように、ヘッドライトが照らす照度別の配光パターンを使用し、ライトの強さと路面状況に応じてどの照度の領域が画像上で誤検知要因となる路面反射推定画像領域かを路面反射推定部500にて推定するものとする。
【００７５】
＜路面反射推定部500について＞
路面反射推定部500では、路面で生じるライトの路面反射を、Computer Graphics(CG)物体の陰影を表現するためによく利用される、Phong反射モデルを応用して推定する。Phong反射モデルでは、３つの光の成分で周囲環境からの光を表現し、その中に置かれた物体の陰影のレンダリングに利用している。
【００７６】
この３つの光成分とは、周囲からの拡散光を表現し物体に均一な明るさを与える環境光反射成分、入射する光が散乱することにより表面の輝度が視点によらず一定である拡散反射成分、鏡などによる完全な光の反射を示し入射角度と反射角度が等しい鏡面反射成分である。
【００７７】
このうち夜間の反射対策には、周囲の路面との輝度変化を生じさせる要因である拡散反射成分と鏡面反射成分のみを対象として選択する。図１１は、拡散反射と鏡面反射の入射光と反射光の関係を示す図であり、図１１（ａ）は拡散反射、図１１（ｂ）、（ｃ）は、鏡面反射について説明するものである。
【００７８】
図１１（ｂ）に示す完全鏡面反射は、鏡のように磨かれたような平面でしか成り立たない。したがって、本実施例では、路面における鏡面反射は、図１１（ｃ）に示すような、より実際の路面における鏡面反射に近い、入射角度と反射角度が等しい角度において最も反射強度が強く、角度が離れるにつれて急激に反射強度が低下する反射モデルを、鏡面反射モデルとして利用する。
【００７９】
先にも示した通り、鏡面反射成分は、下記の式で表現するがKsは鏡面反射係数、鏡面光強度がisで表現されるため、この二つが輝度の強さに影響する係数であり、上記のような路面上での反射の鋭さ、角度によって変化する鏡面の性質は下記の成分で表現する。
【００８０】
光線が完全に反射される方向ベクトルＲと、カメラに向かう方向ベクトルＶの二つの内積をとることで、ＲとＶが一致するときに最も強く光が反射することを示し、更に、この内積をα鏡面反射収束度によって、内積のα乗として計算することによって、路面での鏡面反射の収束の度合いを表現する。
【００８１】
本実施例では、夜間ヘッドライト路面反射による誤検知要因の主要因となる２つの光成分として、拡散反射成分と鏡面反射成分のみを取り扱い、路面反射推定画像領域の推定に利用する。このように反射成分を、拡散反射と鏡面反射に分けて取り扱うことで、実際に路面で生じる路面反射の白飛びによる誤検知要因を削除しながらも、不必要に認識率、検知率を下げない対策とすることができる。
【００８２】
この手法は、点光源を見つける画像処理部分以外は推定処理であり、実際の反射領域を見つけるために画像を走査するような処理は発生しない。このため、画像上の反射領域までも実際に画像処理するような特許文献１の技術と比較して、処理負荷を極めて小さくすることができ、リアルタイム処理に適しているといえる。
【００８３】
また、駐車支援用のリアカメラなど、認識用に露光制御をしていないカメラを利用した場合には、ライトと路面反射が一体化して白飛びするような場合も多々ある。このような場合に対して、本実施例では、白飛びした一体を巨大なライトとして認識するため、白飛び領域外にも大きく誤検知要因となりそうな路面反射推定画像領域をマスクすることが可能である。したがって、ライトと路面反射が必ずしも分離していないような状況で撮影されていたとしても、この路面反射対策は十分に有効に各アプリケーションの誤検知対策となりうる。ライトと路面反射が一体化して白飛びしているような環境では、その白飛びした領域の周囲に誤検知要因となりそうな光の筋などが発生する可能性が高い。
【００８４】
本実施例では、ライトと路面反射が一体化して白飛びしているのか、あるいは、巨大なライトが実際に存在しているのかは判定せずに、巨大なライトが存在していると想定して路面反射推定画像領域を推定している。したがって、実際には、ライトと路面反射が一体化している場合と比較すると、路面反射推定画像領域には、誤差が含まれることにはなる。
【００８５】
しかしながら、実際に巨大なライトが存在する場合と、ライトと路面反射が一体化して白飛びしている場合のいずれであっても、その周囲に光の筋のような誤検知要因が発生することに変わりはなく、巨大なライトが存在していると想定したまま路面反射推定画像領域を推定しても、実際に誤検知要因として削除したい領域を上手くマスクすることができ、誤検知要因となる路面反射を各認識アプリケーションの処理領域から除くための機能として上手く動作している。
【００８６】
路面反射推定部500では、路面反射係数決定部510において路面反射係数が決定される。路面反射係数決定部510は、走行環境に応じて路面反射係数を決定する。走行環境には、天候状況や路面状況、カーナビから供給される情報、ワイパーの動作状態、時刻の少なくとも一つが含まれている。
【００８７】
物体の光の反射を表現するには、光源環境と、物体表面の反射係数、物体と光源の位置関係と視点が決まれば良い。ライト情報部400において、すでにライト強度が推定され、配光パターンが設定されている。そして、ライトと自車両カメラの相対位置についても、ライト３次元位置が設定されている。例えば、ワイパーの動作に応じて天候を判定し、拡散反射係数及び鏡面反射係数を変更する。晴れの場合には、拡散反射による路面反射の影響を大きくし、雨の場合には、反対に鏡面反射の影響を大きくするように係数を変更する。
【００８８】
配光パターンを説明する際に、拡散反射係数テーブルについては説明したので、ここでは鏡面反射係数テーブル（表２）について説明する。鏡面反射成分は、路面が黒いほど、また路面表面が濡れている場合には大きくなりより鋭く光を反射するために鏡面反射係数を大きくする。反対に、路面が乾いており、コンクリートのような場合には、鏡面反射の影響は軽微なものとなるため、鏡面反射係数は小さくなる。
【００８９】
【表２】
【００９０】
このように、路面反射係数を動的に推定できるような場合には、反射係数を推定した結果に基づいて反射領域を推定することで、より正確に路面反射推定画像領域を推定することが可能となる。したがって、各認識アプリケーションにおける誤検知要因を適切に抑制すると共に、必要以上に処理領域を削減し、不検知の要因となるような悪影響を抑制することが可能となる。路面反射係数決定部510は、図４に示すように、天候判定部511や路面状況判定部512、カーナビ513、ワイパー514などの情報を利用し、路面反射係数を決定しても良い。
【００９１】
拡散反射位置推定部520は、路面上で生じる拡散反射が白飛びする３次元位置である拡散反射領域を推定する。拡散反射は、図１１（ａ）に示すように、光の入射角度に関係なく光が散乱することによる生じる反射であるため、図１０に示す配光パターンで囲まれた全ての領域からカメラに拡散反射が入射する。
【００９２】
ただし、配光パターンによって路面の場所に応じてライトの照射強度が異なるため、拡散反射が白飛びすると推定される拡散反射領域は限定される。本実施例では、ライト強度に応じて配光パターンの等高線Ａ１〜Ａ４のどの範囲まで白飛びするかを判定する。
【００９３】
図12は、拡散反射領域を推定する方法を説明する図であり、図１２（ａ）、（ｂ）は、
自車両と後方車両との位置、拡散反射の状態、およびマスク領域を示す図、図１２（ｃ）
は、自車両の魚眼リアカメラで撮像した画像の模式図である。
【００９４】
ライト情報部400において、ライト強度推定部420によりライト強度が推定され、３次元位置設定部430によりライトの３次元位置も設定されており、さらに、配光パターン設定部440によりライトの配光パターンも設定されている。このため、図１２に示すような、カメラに対する光の位置関係を既に決定できていると考えてよい。また、路面反射係数決定部510において拡散反射係数も決定されている。
【００９５】
このため、図１２（ａ）、（ｂ）に示すように、後続車両Ｖｏのヘッドライト位置から車両位置が判明し、そのヘッドライトの配光パターンとライト強度、拡散反射係数に基づいて、配光パターンの中からどの領域まで拡散反射による誤検知要因となる輝度差が生じるかを判定する。
【００９６】
つまり、ライト情報部400で推定したライト強度とライト位置、配光パターンと路面反射係数決定部510で決定した拡散反射係数に応じて、拡散反射領域を推定する。上記処理は、拡散反射位置推定部520において実施し、更に、図１０(a)に示す、どの等高線まで誤検知要因となる輝度差が生じるかを決定する。これにより、路面の３次元位置で、画像認識にとって誤検知要因となる反射領域を特定することができる。
【００９７】
例えば、図１２（ａ）、（ｂ）に示す場合では、図10における等高線Ａ２までを拡散反射領域Ｓａとして推定している。なお、図１２における符号Ｓｍは、認識アプリケーションによって設定されるマスク領域の一例である。図１２（ｃ）に示す例では、リアカメラの画像１２１で、２台の後続車両Ｖｏによって路面上で生じる拡散反射が要因で画像認識にとって誤検知要因となる3次元拡散反射領域Ｓａが推定されている。
【００９８】
鏡面反射位置推定部530は、路面上で生じる鏡面反射が要因で画像認識にとって誤検知要因となる３次元鏡面反射領域Sbを推定する。
【００９９】
図１３は、鏡面反射領域を推定する方法を説明する図であり、図１３（ａ）、（ｂ）は、自車両と後方車両との位置、鏡面反射の状態、およびマスク領域を示す図、図１３（ｃ）は、自車両の魚眼リアカメラで撮像した画像の模式図である。
【０１００】
鏡面反射は、図１１（ｂ）に示すように、光の入射角度と反射角度が等しい反射であるため、図１３（ａ）、（ｂ）に示すように、後続車両Ｖｏのヘッドライトが路面に反射し、反射した光が自車両Ｖｔのリアカメラに入射する。
【０１０１】
ただし、実際の路面では、図１１（ｂ）に示すように、鏡のような完全な鏡面反射が生じるわけではなく、鏡面反射は、図１１（ｃ）に示すように、入射角度に等しい反射角度の光強度が強くその周辺角度の光も強くなる性質がある。したがって、鏡面反射領域Ｓｂは、図１３に示すように、距離方向にも幅方向にもある程度の幅を持たせた領域Ｓｂを白飛びすると推定される領域に限定する。鏡面反射位置推定部530では，図13(a)に示すように×印をベースとして太枠で示された３次元世界上における反射領域Sbを推定する。
【０１０２】
本実施例では、ライト強度に応じて鏡面反射する幅や距離を変化させ、白飛びすると推定される領域を変更する。鏡面反射領域は、配光パターンにはほとんど影響を受けず、後続車両Ｖｏのヘッドライト位置と自車両Ｖｔのカメラ位置がメインになって決定される。
【０１０３】
ライト情報部400において、ライト強度推定部420によりライト強度が推定され、ライト３次元位置設定部430によりライトの３次元位置も取得されている。また、路面反射係数設定部510において鏡面反射係数が決定されている。先に鏡面反射係数のテーブルを記したように、道路状態や路面の乾燥や湿潤の状況に応じて、反射係数の選択を変更する。なお、配光パターン設定部440により後続車両Ｖｏのライトの配光パターンも設定されているが、鏡面反射位置推定では利用しない。したがって、図13（ａ）、（ｂ）に示すように、後続車両Ｖｏのヘッドライトの位置から車両位置が判明し、推定されたライト強度と鏡面反射係数から鏡面反射により白飛びする鏡面反射領域Ｓｂを推定することができる。
【０１０４】
鏡面反射領域Ｓｂは、自車両Ｖｔのリアカメラに向かって延出し、路面上の鏡面反射位置よりもさらに自車両Ｖｔ側まで延出する長さと、ヘッドライトの横幅とほぼ等しい横幅とを有するように設定されている。そして、例えば、図１３（ｃ）に示す場合では、リアカメラの画像131で、２台の後続車両Ｖｏのヘッドライトから自車両Ｖｔのリアカメラに向かって所定幅で延出するように鏡面反射白飛び領域Ｓｂが設定されている。
【０１０５】
路面反射画像領域推定部540は、拡散反射位置推定部520と鏡面反射位置推定部530において推定された拡散反射領域Ｓａと鏡面反射領域Ｓｂに基づいて、画像上における路面反射推定画像領域を計算する。路面反射推定画像領域は、路面上であることが特定できているので、路面反射画像領域推定部540は、高さを路面上に限定し、拡散反射位置推定部520と鏡面反射位置推定部530からそれぞれ領域Ｓａ、Ｓｂの位置情報を取得することで、路面平面上での３次元位置を決定することができる。
【０１０６】
路面反射画像領域推定部540では、カメラの設置情報や、カメラの画角など、カメラ内外部パラメータに応じて３次元位置情報から路面反射推定画像領域を特定し、これを各認識アプリケーションに画像領域情報を設定して渡すことで、誤検知抑制に利用する。このように、誤検知要因となるヘッドライトの反射成分を光のphong反射モデルに応じて拡散反射と鏡面反射に特定し、車載カメラ特有の条件を仮定し、拡散反射成分と鏡面反射成分を実用的に利用できる精度で計算式に当てはめて利用することで、画面上で誤検知要因となる路面反射推定画像領域を推定することで、誤検知を抑制することができる。特に、魚眼カメラでなければ画面下に延びる反射が、魚眼カメラの鏡面反射の場合には、自車カメラに向かって斜め方向に伸びる。カメラが魚眼カメラであろうが、正射影のノーマルカメラであろうとも、光の反射モデルに基づいた反射領域推定と、各カメラのカメラ幾何を利用することで、画像上の反射領域を正確に推定することができる。拡散反射位置推定部520と鏡面反射位置推定部530では、どのようなカメラであるかに関わらず、実世界上での路面上の領域を推定する。路面反射画像領域推定部540では、実世界の３次元位置から画像位置への座標変換を実施する。路面反射画像領域推定部540におけるカメラ幾何のモデルを魚眼カメラモデルか正射影カメラモデルに切り替えるだけで、画像上の反射領域を推定することができる構造とする。
【０１０７】
＜車載用環境認識部600について＞
ここでは、上記、路面反射画像領域推定部540において推定された路面反射推定画像領域を利用し、路面反射による誤検知抑制を各認識アプリケーションにおいてどのように実施するかについて説明する。
【０１０８】
車載用環境認識部600では、路面反射対策がなされた環境認識として、レーン認識、路肩認識、走行路認識、路面標識認識、路面状況認識が行われる。
【０１０９】
レーン認識部610は、車線逸脱警報や車線逸脱抑制に利用されるレーンマーク（白線）を認識する認識アプリケーションであり、図６に示すように、処理領域設定部611、反射領域マスク部612、白線特徴量抽出部613、画像上レーン抽出部614、車両座標上レーン推定部615を有する。
【０１１０】
従来のレーン認識では、他車両などのライトの路面反射があたかも白線のように見え、白線特徴量を誤抽出する問題があった。従来技術のような手法を利用すれば、高輝度な領域においては、鏡面反射であることを特定し、誤検知要因として削除することは可能であったが、その周囲に広がる薄く白い線上の反射などを、白線と間違えて誤検知していた。
【０１１１】
このため、本実施例の路面反射対策入りのレーン認識部610では、画像から白線特徴量を抽出しないように、処理領域から路面反射推定画像領域を削除するマスキング処理を行うことで、誤検知を抑制する。
【０１１２】
具体的には、処理領域設定部611で、白線特徴量を画像上から抽出するための処理領域を設定し、反射領域マスク部612で、その設定された処理領域から誤検知要因となる路面反射推定画像領域を削減し、白線特徴量抽出部613で、路面反射推定画像領域が削除された残りの処理領域から白線特徴量を抽出する処理が行われる。したがって、路面反射が生じ白い光の筋が発生すると推測される領域内では、白線特徴量を探索する処理を実施しないため、レーン認識用の処理領域内からは白線の特徴量が多く抽出される。
【０１１３】
たとえ、推定した領域の外に少しの反射が存在し、白線特徴量が誤抽出されたとしても、大半が白線特徴量であれば、画像上のレーンを抽出する処理、白線特徴量の直線性などからノイズ要因を削除することが可能であるため、誤検知を抑制することができる。
【０１１４】
そして、抽出した画像上の線を元に自車両の車線中での横位置、ヨー角、曲率などを画像座標上レーン推定部615で推定することで、誤検知抑制に成功した。特に車載リアカメラにおいては、ヘッドライトが存在しないために、自車両後方の白線は非常に見えづらい。このため反射によって見える白い光の筋が誤検知要因となりやすいが、光の反射の性質を利用したphong反射モデルにうまく車載カメラ環境で利用できる情報をあてはめて利用することで、誤検知抑制に利用した。
【０１１５】
路肩認識部620は、上記レーン認識部610と同様に、路肩特徴量を抽出するための処理領域を設定し、その処理領域から誤検知要因となりやすい路面反射推定画像領域を削除し、路面反射推定画像領域が削除された残りの処理領域から路肩特徴量を抽出する。したがって、誤検知要因から抽出される特徴量を除去することができ、誤検知を抑制できる。以降の処理は、レーン認識部610と同様の流れであり、路肩特徴量から画像上に線で並ぶ路肩位置を抽出し、車両座標上の路肩横位置、ヨー角、曲率を推定する。
【０１１６】
走行路認識部630は、図７に示すように、処理領域設定部631で処理領域を設定する。そして、走行路認識では立体物か路面かを判定できず誤検知要因となる路面反射領域における通常の平面領域抽出処理を行わないように、処理領域設定部631で設定された処理領域から反射領域マスク部632で反射領域を削減する。
【０１１７】
そして、設定された処理領域から通常の処理と同様に路面平面かどうかを判定すべく画像間幾何補正を画像間幾何補正部633で実施し、画像間の差分が小さい路面平面領域の抽出を平面領域抽出部634にて実施する。次に、路面反射領域と判定された領域を周囲の立体物判定の結果と、ライト判定の結果を利用してマスク領域補間部635にて補間し、最終的に走行路決定部636にて走行路を決定する。
【０１１８】
路面標識認識部640は、処理領域設定部641で処理領域を設定する。処理領域は、路面標識を認識したいタイミングで設定される。ナビなど地図情報やＧＰＳによる位置情報、自車挙動、通常の標識認識などから、路面標識を認識したいタイミングのみ処理するような方法でも良いし、常に処理領域を設けて認識するような手法でも良い。
【０１１９】
そして、反射領域マスク部642にて、処理領域から反射領域を削除し、特徴量抽出部643にて、上記反射領域の削除された処理領域から特徴量を抽出する処理が実施される。
【０１２０】
そして、パターンマッチング部644にて、上記抽出された特徴量を基にパターンマッチングを実施し、路面標識の認識を実施する。従来技術では、路面反射がノイズとなっているために、誤検知の要因となっていた。
【０１２１】
路面標識全体が路面反射で覆われた場合にはその路面標識を検知することは困難であるが、路面標識の一部に重なった程度であれば、路面反射の影響を受けた領域を路面反射推定画像領域としてマスクすることで、路面反射推定画像領域以外の部分のパターンがマッチングするかどうかをパターンマッチング部644で判断できる。したがって、路面標識の不検知、及び誤検知を削減できる。
【０１２２】
路面状況認識部650は、路面の乾燥、湿潤、積雪などの状況を認識し、その認識結果に応じて路面反射係数の決定にも利用する。まず、処理の流れは図８とほぼ同様で、路面状況を認識するための処理領域を設定し、その処理領域から路面反射推定画像領域を削除する。そして、路面反射推定画像領域が削除された残りの処理領域から路面状況特徴量を抽出し、パターンマッチングすることで、路面状況を認識する。したがって、誤検知要因となる特徴量を処理領域から除去することができ、路面状況の誤検知を抑制できる。
【０１２３】
また、図１８に記載のように、リアカメラの場合の車両検知部660では、自車両が車線変更する際に接触の可能性が高い車両を検知して、車線変更する際に警告もしくは車線変更しないように制御する。前方に取り付けられた車載カメラの場合には衝突防止や先行車追従などに利用する。
【０１２４】
車両検知では、まず、処理領域設定部661においてアプリケーションで見つけたい領域に処理領域を設定する。更に、反射領域設定部662において、このなかで路面反射が生じるような領域があれば、この処理領域の中から路面反射領域を特定する。これまで説明してきた他アプリケーションでは、路面反射が生じるような場所は全て処理領域対象外としてきたが車両検知では、路面反射がある領域のすぐ近くに検知対象である車両が存在する。
【０１２５】
このため路面反射領域や光源を処理領域対象とすれば、車両が不検知となることは明らかである。
【０１２６】
そこで車両が存在するとヘッドライトとその光によって路面反射が生じることも、車両検知の1つの情報であると考え、ヘッドライト、それによって生じる路面反射の位置を考慮し、車体やヘッドライト含めて、車両としての特徴量が抽出しやすいように、反射領域を考慮した領域別閾値設定を、領域別閾値設定部663において実施する。路面の反射領域は特徴量が出づらいように設定し、高輝度なヘッドライト自体は車両が存在する可能性が高いためそれ自体を特徴量として抽出、更に、ヘッドライトがない車体後方からは、車体としての特徴量が抽出しやすいように低閾値で車両特徴量を抽出する。この設定された閾値を基に、特徴量抽出部664において、車両特徴量を抽出する。抽出した特徴量を基に、形状解析を実施することで、見つかった特徴量が車両である可能性が高いかどうか形状解析部665にて判定する。車両である可能性が高い場合には、更に、特徴量の時間的な動きを解析し、これが他車両である可能性が高いかどうかを動き解析部666にて解析する。
【０１２７】
［実施例２］
本実施例において特徴的なことは、西日や朝日に起因して画面上に生じる路面反射推定画像領域を推定する構成としたことである。路面反射推定画像領域をマスクする基本的な処理の流れは、実施例１と同様であるため、主な相異部分の処理のみ詳細に示す。
【０１２８】
車両用環境認識装置100は、図１４に示すように、昼夜を判定する昼夜判定部312を有しており、昼夜判定部312の判定結果に基づいて、太陽光の考慮が不要な夜間にはライト情報部400と路面反射推定部500を利用し、太陽光の考慮が必要な朝昼夕などの日中には西日対策路面反射情報部4000と西日対策路面反射推定部5000を利用するように切り替えを行う。
【０１２９】
画像取得部200、光源抽出部300、車載用環境認識部600は、共通して利用可能な構成と
する。光源抽出位置、重心、外接矩形などの情報を入力情報とし、出力情報はマスキング
する画像上領域とすることで、他部分の共通化が図られている。
【０１３０】
本実施例では、ライト情報部400および路面反射推定部500と西日対策路面反射情報部4000および西日対策路面反射推定部5000とを互いに切り替えているが、これらの処理と内容は類似する部分が多い。このため、ライト情報部400などはそのままにして、一部の処理を切り替えることで、夜間ライト反射対策と西日路面反射対策を選択的に実施しても良い。また、常に並列に夜間ライト反射対策と西日路面反射対策の両方を実施しても良い。光源抽出部300、もしくはライト情報部400に西日対策路面反射情報部4000において光源がライトか路面反射かを判定し、路面反射対策を行っても良い。
【０１３１】
昼夜判定部312の結果に基づいて、光源抽出部300で抽出された光源がライトによる路面反射なのか、西日（もしくは朝日）による路面反射なのかを判定し、判定結果に基づいて路面反射対策を実施する。夜間でヘッドライトによる路面反射の場合には、ライト情報部400と路面反射推定部500の処理を実施することで、誤検知抑制を実施する。反対に、夜間で無く光源抽出されている場合には、西日もしくは朝日であると推定し、西日対策路面反射情報部4000と西日対策路面反射推定部5000の処理を実施することで、誤検知抑制を実施する。
【０１３２】
西日対策路面反射情報部4000における処理は、基本は路面反射推定部400における処理と類似しており、図１５に示すように、路面反射判定部4100において路面上の反射による光源かどうかを判定する。夜間ヘッドライトの光源抽出と異なるところは、夜間ヘッドライトの路面反射を推定する際には、路面より上の領域も探索し、光源自体となるヘッドライト自体を抽出した。しかしながら、太陽光による路面反射の場合には、太陽自体を検出するのではなく、路面反射自体の高輝度領域を抽出する。これは、路面反射領域が画像上にあっても必ずしも太陽が画像視野内に映っているとは限らないためである。また、太陽光の場合には、対象が大きすぎて、空一面が白飛びしている可能性もあり、太陽の位置をうまく抽出できるかも怪しいためである。
【０１３３】
また、路面反射領域を推定するもう1つの理由としては、太陽光による路面反射の誤検知を考慮した場合、周囲の路面と比較し輝度差を生じさせる主要因は、鏡面反射だけである。このため、拡散反射成分を求める場合のように光源の位置があらかじめ未知であっても鏡面反射であれば、カメラと路面反射の3次元位置から太陽の方向を導き出すことも可能となる。ここで太陽光の場合に、拡散反射が誤検知要因となりにくい理由は、太陽光は無限遠に存在する点光源と仮定して、拡散反射成分を考えるとその理由がよくわかる。指向性があり、しかも近距離に存在する点光源のヘッドライトであれば、その周囲では輝度差が等高線上に変化することは、数式からも明らかである。ところが無限遠の点光源を考慮した場合、無限遠の点光源への方向ベクトルと路面を仮定した物体法線ベクトルは路面上の至るところで変化しない。つまり無限遠の太陽の拡散反射は路面上では均一に明るく照らすだけであり周囲路面との輝度差が生じにくいグラデーションとなり、各認識アプリケーションにとっての誤検知要因とはなりにくい。太陽の路面における鏡面反射だけが、太陽光による誤検知要因となりやすい路面反射であることがわかる。
【０１３４】
このため路面反射領域を抽出し、更に反射強度推定部4200にて路面反射の光の強度を推定する。次に、反射が生じている路面３次元位置を反射３次元位置設定部4300において推定し、路面反射の要因となっている太陽の方角を太陽方角設定部4400において推定する。太陽方角設定部4400は、自車挙動4410を太陽と車両の方角の補正に利用しても良いし、カーナビ513のＧＰＳによる位置情報と走行方角から太陽方角を割り出しても良い。
【０１３５】
図１７は、西日路面反射領域を推定する方法を説明する図であり、図１７（ａ）は、自車両と太陽との位置、鏡面反射の状態を示す図、図１７（ｂ）は、自車両の魚眼リアカメラで撮像した画像の模式図である。実施例１の構成と異なる点は、図１７（ａ）に示すように、光源の位置が太陽171の位置となり、画像処理で抽出される領域が路面反射領域となる点である。このため、図１７（ｂ）の画像172に示すように、路面反射領域と太陽171の位置関係から誤認識要因となりうるような、白飛びはしていないが白っぽく伸びる光の筋がどちらの方向へ延びるかということを推定する。
【０１３６】
太陽位置と路面反射位置が特定できるので、後は西日対策路面反射推定部5000において、図１６に示すように、路面反射係数を路面反射係数決定部5100にて決定し、鏡面反射位置推定部5300において誤検知要因を含む拡散反射領域と鏡面反射領域を推定する。推定後の処理は、路面反射画像領域推定部5400により、実施例１の場合と同様に、拡散反射領域と鏡面反射領域から路面反射推定画像領域を推定し、これを各認識アプリケーションに渡し、各認識アプリケーションにおいて、路面反射推定画像領域で画像処理しないようにマスキングを実施する。
【０１３７】
実際には、西日路面反射において拡散反射成分は誤検知要因とならないと判断し、利用はしない。他光源や夕暮れ時のヘッドライトには利用しても、西日や朝日の反射には拡散反射係数は0.0として反射領域推定には利用しない。
【０１３８】
このようにライト以外の光の反射についても基本的な考え方を同様にして、誤検知要因となる光源を特定し、路面反射位置、路面反射係数などを推定することで、誤検知要因となりうる路面反射推定画像領域を推定し、これを各認識アプリケーションの認識対象外として処理領域からマスクすることにより誤検知を抑制する。
【０１３９】
また、このような物理的な光のモデルを利用することで、必要以上にマスキング領域を大きくすることを避けることが可能となり、必要以上の不検知も避けることができる。
【０１４０】
また、従来技術と比較して、ステレオカメラでなくとも反射対策が可能なだけでなく、例えば図１７（ｂ）に示すように、単眼カメラであっても鏡面反射の白飛びしていない領域まで画像をスキャンするような処理負荷の高い処理を必要としない。
【０１４１】
特に、光源抽出部300で実行される処理は、画像処理専用のハードウエアが得意とする処理内容であるため、画像処理専用のハードウエアを備えている環境では、より短い処理時間で光源抽出が可能である。そして、光源を抽出する以外の処理に関しては、画像をスキャンする処理がないため、処理時間を抑制しながらも路面反射の誤検知抑制が可能である。
【０１４２】
なお、本発明は、上述の各実施例の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１４３】
100…車載用環境認識部、200…画像取得部、300…光源抽出部、400…ライト情報部、410…ライト判定部、420…ライト強度推定部、430…ライト３次元位置設定部、440…配光パターン設定部、500…路面反射推定部、510…路面反射係数決定部、511…天候判定部、512…路面状況判定部、520…拡散反射位置推定部、530…鏡面反射位置推定部、540…路面反射画像領域推定部、541…時計部、600…車載用環境認識部、610…レーン認識部、620…路肩認識部、630…走行路認識部、640…路面標識認識部、650…路面状況認識部、4000…西日対策路面反射情報部、4100…路面反射判定部、4200…反射強度推定部、4300…反射３次元位置設定部、4400…太陽方角設定部、4410…西日対策路面反射情報部、5000…西日対策路面反射推定部、5100…路面反射係数決定部、5200…拡散反射位置推定部、5300…鏡面反射位置推定部、5400…路面反射画像領域推定部
【特許請求の範囲】
【請求項１】
車載カメラで撮像した画像に基づいて自車両の周囲環境を認識する車載用環境認識装置であって、
前記画像から光源を抽出する光源抽出部と、
前記光源の前記画像上の位置に基づいて該光源が環境認識の際に誤検知要因となる路面反射を引き起こすライトを抽出するライト情報部と、
前記ライトが路面で反射する前記画像上の路面反射推定画像領域を推定する路面反射推定部と、
該路面反射推定画像領域に基づいて自車両の周囲環境を認識する車載用環境認識部と
を有することを特徴とする車載用環境認識装置。
【請求項２】
前記ライト情報部は、抽出されたライトのライト強度、もしくは３次元位置、もしくは配光パターンの情報のうち一つを含むライト情報を推定し、
前記路面反射推定部は、前記ライト情報に基づいて前記ライトが路面で反射する前記画像上の路面反射推定画像領域を推定する
ことを特徴とする請求項１に記載の車載用環境認識装置。
【請求項３】
光源抽出部は、前記画像から予め設定された閾値以上の面積を有する点光源を、前記光源として抽出することを特徴とする請求項２に記載の車載用環境認識装置。
【請求項４】
前記ライト情報部は、前記光源抽出部により抽出された光源の画像上の位置に基づき、前記光源が前記ライトであるか否かを判定するライト判定部と、
前記画像で前記ライトにより白飛びしている領域の面積に基づいて、前記ライトのライト強度を推定するライト強度推定部と、
前記ライトの画像上の位置に基づき、該ライトの３次元位置を設定するライト３次元位置設定部と、
該ライト３次元位置設定部により設定された前記ライトの３次元位置に基づいて前記ライトの配光パターンを設定する配光パターン設定部と、
を有しており、前記ライト強度推定部により推定されたライト強度が予め設定されたライト強度未満のライトを、誤検知要因となるライトの対象外と判定することを特徴とする請求項２に記載の車載用環境認識装置。
【請求項５】
前記路面反射推定部は、前記ライトが路面に作り出す拡散反射位置と鏡面反射位置を推定し、該推定した拡散反射位置と前記鏡面反射位置に基づいて、前記路面反射推定画像領域を推定することを特徴とする請求項１に記載の車載用環境認識装置。
【請求項６】
前記路面反射推定部は、走行環境に応じて路面反射係数を決定し、該路面反射係数に応じて、前記路面反射推定画像領域を変更することを特徴とする請求項５に記載の車載用環境認識装置。
【請求項７】
前記走行環境は、天候状況、路面状況、カーナビから供給される情報、ワイパーの動作状態、時刻の少なくとも一つであることを特徴とする請求項６に記載の車載用環境認識装置。
【請求項８】
前記車載用環境認識部は、前記路面反射推定画像領域を、前記車両の周囲環境を認識する認識アプリケーションにおける不検知領域とすることを特徴とする請求項１に記載の車載用環境認識装置。
【請求項９】
前記車載用環境認識部は、前記認識アプリケーションとして、レーン認識、路肩認識、走行路認識、路面標識認識、路面状況認識の少なくとも１つを含むことを特徴とする請求項８に記載の車載用環境認識装置。
【請求項１０】
昼夜を判定する昼夜判定部と、
該昼夜判定部により太陽光の考慮が必要な時間帯であると判定された場合に、前記光源抽出部により抽出された光源が環境認識の際に誤検知要因となる太陽光か否かを判定する西日対策路面反射情報部と、
該西日対策路面反射情報部により誤検知要因となると判定された太陽光が路面で反射する前記画像上の路面反射推定画像領域を推定する西日対策路面反射推定部と、
を有し、
前記車載用環境認識部は、
該西日対策路面反射推定部と前記路面反射推定部の少なくとも一方により推定された路面反射推定画像領域に基づいて、自車両の周囲環境を認識することを特徴とする請求項１に記載の車載用環境認識装置。
【請求項１１】
前記西日対策路面反射情報部は、
路面上の反射による光源かどうかを判定する路面反射判定部と、
路面反射の光の強度を推定する反射強度推定部と、
反射が生じている路面３次元位置を設定する反射３次元位置設定部と、
路面反射の要因となっている太陽の方角を設定する太陽方角設定部と、
を有することを特徴とする請求項１０に記載の車載用環境認識装置。
【請求項１２】
前記西日対策路面反射推定部は、前記光源が路面に作り出す拡散反射領域と鏡面反射領域を推定し、該推定した拡散反射領域と鏡面反射領域に基づいて、前記路面反射推定画像領域を推定することを特徴とする請求項１０に記載の車載用環境認識装置。
【請求項１】
車載カメラで撮像した画像に基づいて自車両の周囲環境を認識する車載用環境認識装置であって、
前記画像から光源を抽出する光源抽出部と、
前記光源の前記画像上の位置に基づいて該光源が環境認識の際に誤検知要因となる路面反射を引き起こすライトを抽出するライト情報部と、
前記ライトが路面で反射する前記画像上の路面反射推定画像領域を推定する路面反射推定部と、
該路面反射推定画像領域に基づいて自車両の周囲環境を認識する車載用環境認識部と
を有することを特徴とする車載用環境認識装置。
【請求項２】
前記ライト情報部は、抽出されたライトのライト強度、もしくは３次元位置、もしくは配光パターンの情報のうち一つを含むライト情報を推定し、
前記路面反射推定部は、前記ライト情報に基づいて前記ライトが路面で反射する前記画像上の路面反射推定画像領域を推定する
ことを特徴とする請求項１に記載の車載用環境認識装置。
【請求項３】
光源抽出部は、前記画像から予め設定された閾値以上の面積を有する点光源を、前記光源として抽出することを特徴とする請求項２に記載の車載用環境認識装置。
【請求項４】
前記ライト情報部は、前記光源抽出部により抽出された光源の画像上の位置に基づき、前記光源が前記ライトであるか否かを判定するライト判定部と、
前記画像で前記ライトにより白飛びしている領域の面積に基づいて、前記ライトのライト強度を推定するライト強度推定部と、
前記ライトの画像上の位置に基づき、該ライトの３次元位置を設定するライト３次元位置設定部と、
該ライト３次元位置設定部により設定された前記ライトの３次元位置に基づいて前記ライトの配光パターンを設定する配光パターン設定部と、
を有しており、前記ライト強度推定部により推定されたライト強度が予め設定されたライト強度未満のライトを、誤検知要因となるライトの対象外と判定することを特徴とする請求項２に記載の車載用環境認識装置。
【請求項５】
前記路面反射推定部は、前記ライトが路面に作り出す拡散反射位置と鏡面反射位置を推定し、該推定した拡散反射位置と前記鏡面反射位置に基づいて、前記路面反射推定画像領域を推定することを特徴とする請求項１に記載の車載用環境認識装置。
【請求項６】
前記路面反射推定部は、走行環境に応じて路面反射係数を決定し、該路面反射係数に応じて、前記路面反射推定画像領域を変更することを特徴とする請求項５に記載の車載用環境認識装置。
【請求項７】
前記走行環境は、天候状況、路面状況、カーナビから供給される情報、ワイパーの動作状態、時刻の少なくとも一つであることを特徴とする請求項６に記載の車載用環境認識装置。
【請求項８】
前記車載用環境認識部は、前記路面反射推定画像領域を、前記車両の周囲環境を認識する認識アプリケーションにおける不検知領域とすることを特徴とする請求項１に記載の車載用環境認識装置。
【請求項９】
前記車載用環境認識部は、前記認識アプリケーションとして、レーン認識、路肩認識、走行路認識、路面標識認識、路面状況認識の少なくとも１つを含むことを特徴とする請求項８に記載の車載用環境認識装置。
【請求項１０】
昼夜を判定する昼夜判定部と、
該昼夜判定部により太陽光の考慮が必要な時間帯であると判定された場合に、前記光源抽出部により抽出された光源が環境認識の際に誤検知要因となる太陽光か否かを判定する西日対策路面反射情報部と、
該西日対策路面反射情報部により誤検知要因となると判定された太陽光が路面で反射する前記画像上の路面反射推定画像領域を推定する西日対策路面反射推定部と、
を有し、
前記車載用環境認識部は、
該西日対策路面反射推定部と前記路面反射推定部の少なくとも一方により推定された路面反射推定画像領域に基づいて、自車両の周囲環境を認識することを特徴とする請求項１に記載の車載用環境認識装置。
【請求項１１】
前記西日対策路面反射情報部は、
路面上の反射による光源かどうかを判定する路面反射判定部と、
路面反射の光の強度を推定する反射強度推定部と、
反射が生じている路面３次元位置を設定する反射３次元位置設定部と、
路面反射の要因となっている太陽の方角を設定する太陽方角設定部と、
を有することを特徴とする請求項１０に記載の車載用環境認識装置。
【請求項１２】
前記西日対策路面反射推定部は、前記光源が路面に作り出す拡散反射領域と鏡面反射領域を推定し、該推定した拡散反射領域と鏡面反射領域に基づいて、前記路面反射推定画像領域を推定することを特徴とする請求項１０に記載の車載用環境認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−４７９３４（Ｐ２０１３−４７９３４Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−１４４３８９（Ｐ２０１２−１４４３８９）
【出願日】平成２４年６月２７日（２０１２．６．２７）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２４年６月２７日（２０１２．６．２７）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]