路面状態検出装置および路面状態検出方法
【課題】 環境光の影響を低減し、路面状態の検出を精度良く行うことが可能な路面状態検出装置を提供する。
【解決手段】 路面状態検出装置１は、路面を照射するヘッドライト１０と、路面のＳ偏光画像およびＰ偏光画像を撮像するカメラ１２と、Ｓ偏光画像およびＰ偏光画像に基づいて路面状態を判定する制御部１８とを備える。制御部１８は、車両の走行中に所定時間に亘って撮像した複数のフレームのＳ偏光画像およびＰ偏光画像に基づいて、複数のフレームの複数の画素のＳ偏光成分およびＰ偏光成分を求め、複数の画素についてＳ偏光成分とＰ偏光成分との差分を求め、求めた複数の差分の中央値を求め、中央値に基づいて路面状態を判定する。
【解決手段】 路面状態検出装置１は、路面を照射するヘッドライト１０と、路面のＳ偏光画像およびＰ偏光画像を撮像するカメラ１２と、Ｓ偏光画像およびＰ偏光画像に基づいて路面状態を判定する制御部１８とを備える。制御部１８は、車両の走行中に所定時間に亘って撮像した複数のフレームのＳ偏光画像およびＰ偏光画像に基づいて、複数のフレームの複数の画素のＳ偏光成分およびＰ偏光成分を求め、複数の画素についてＳ偏光成分とＰ偏光成分との差分を求め、求めた複数の差分の中央値を求め、中央値に基づいて路面状態を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路面の状態を検出する路面状態検出装置に関する。
【背景技術】
【０００２】
従来から、路面の状態を検出する技術として、路面の表面にセンサーを埋め込む技術と、カメラで撮像した路面の画像を分析する技術が知られている。前者は、多数のセンサーが必要となり、コストが高くなるので現実的ではない。後者の方法としては、水中から空気中への透過率がＳ偏光成分よりＰ偏光成分の方が高いという特性を利用し、路面によって反射されたＰ偏光成分およびＳ偏光成分を解析して路面状態を検出する技術が知られている。
【０００３】
画像処理によって路面状態を検出する方法では、街灯や対向車のヘッドライト等の環境光や路上ペイントからの反射光等が路面状態の検出に影響を与える。特許文献１は、走行中に変化する外光状態や車載カメラの設置俯角に起因して発生するノイズを取り除いて算出精度を向上した路面状態検出装置を開示している。この路面状態検出装置は、前回取得した偏光比強度と今回取得した偏光比強度とを比較し、その差分が所定の閾値より大きい場合に、今回取得した偏光比強度をノイズであると判断し、前回の偏光比強度に置き換える。
【特許文献１】特開２００４−２９９４４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された路面状態検出装置では、瞬間的に生じたノイズを除去することができるが、街灯や対向車のヘッドライト等のような環境光が継続的に入射されると、その入射光をノイズとして処理することはできない。従って、特許文献１に記載された路面状態検出装置では、街灯や対向車のヘッドライト等の環境光の影響を除去することはできなかった。
【０００５】
そこで、本発明は、上記背景に鑑み、路面状態の検出を精度良く行うことが可能な路面状態検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の路面状態検出装置は、路面からの反射光のＳ偏光成分およびＰ偏光成分を取得する偏光成分取得部と、前記Ｓ偏光成分および前記Ｐ偏光成分に基づいて路面状態を判定する路面状態判定部とを備え、前記路面状態判定部は、前記偏光成分取得部にて取得した複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求め、求めた複数の比較データの代表値を求め、前記代表値に基づいて路面状態を判定する。
【０００７】
このように、路面からの反射光の複数のＳ偏光成分とＰ偏光成分との比較データを求め、求めた比較データの代表値を求めることにより、環境光を含む比較データの影響を低減した代表値を求めることができる。この代表値を用いて路面状態を判定することにより、環境光の影響を低減し、路面状態を精度良く検出できる。なお、「比較データ」とは、Ｓ偏光成分とＰ偏光成分の差分であってもよいし、比であってもよい。
【０００８】
本発明の路面状態検出装置は、前記偏光成分取得部にて取得したＳ偏光成分およびＰ偏光成分のデータを用いて路面状態の判定を許可するか否かを判定する路面状態判定許可部を備え、路面状態の判定を許可すると判定された場合に、前記路面状態判定部にて路面状態の判定を行い、路面状態の判定を許可しないと判定された場合に、前記偏光成分取得部にてＳ偏光成分およびＰ偏光成分を取得してもよい。
【０００９】
このように路面状態判定許可部にて、路面状態の判定を許可するか否かを判定し、路面状態の判定を許可しない場合には、さらにＳ偏光成分およびＰ偏光成分を取得して、判定材料となるデータを増やすので、路面状態判定の精度の向上を図れる。
【００１０】
本発明の路面状態検出装置において、前記路面状態判定許可部は、取得したＳ偏光成分およびＰ偏光成分のデータ数に基づいて、路面状態の判定を許可するか否かを判定してもよい。
【００１１】
このように取得したＳ偏光成分およびＰ偏光成分のデータ数に基づいて路面状態の判定を許可するか否かを判定することにより、環境光の影響を低減するために十分な量のデータ数に基づいて、適切に路面状態の判定を行うことができる。
【００１２】
上記路面状態検出装置において、前記路面状態判定許可部は、新しく取得したＳ偏光成分およびＰ偏光成分の前記比較データを求め、新たに求めた前記比較データと前回までに得られた複数の比較データとを合わせた比較データから前記代表値を求める処理を繰り返し行ない、前記処理によって繰り返し算出される前記代表値の変動が収束した場合に、路面状態の判定を許可してもよい。
【００１３】
代表値を求めるための比較データを増やしていくと、一時的に環境光の多い路面でのデータを取得した場合であっても、徐々に環境光の少ない路面でのデータが多くなるので、比較データの代表値は環境光の影響の小さい代表値に収束する。従って、代表値の変動の収束によって路面状態の判定を許可する構成により、環境光の影響を低減した代表値を適切に求めることができる。
【００１４】
上記路面状態検出装置において、前記路面状態判定部は、あらかじめ定められた所定の単位ごとに前記比較データの中央値または平均値を求めて記憶し、記憶された中央値または平均値を用いて前記代表値を求めてもよい。
【００１５】
このように所定の単位ごとに平均値または中央値を求めて記憶し、記憶された平均値または中央値を用いて代表値を求めることにより、平均値または中央値を求めたフレームについては、Ｓ偏光成分、Ｐ偏光成分のデータを削除することが可能となる。これにより、容量の少ないメモリを利用して、多数の比較データの代表値を求めることが可能となる。
【００１６】
上記路面状態検出装置において、前記偏光成分取得部は、前記路面のＳ偏光画像およびＰ偏光画像を撮像する偏光画像撮像部を備え、撮像したＳ偏光画像およびＰ偏光画像自体の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分およびＰ偏光成分を求めてもよい。
【００１７】
この構成により、１回の撮像で得たＳ偏光画像およびＰ偏光画像から複数のＳ偏光成分およびＰ偏光成分を効率良く取得することができる。また、複数の画素を位置的な偏りなく選ぶことにより、部分的な要因による誤判定の可能性を低減できる。例えば、撮像範囲にバイク等の障害物があってその部分から路面からの反射光を取得できない場合でも、位置的な偏りなくＳ偏光成分およびＰ偏光成分を取得することにより、障害物のない路面におけるデータを取得できる。
【００１８】
上記路面状態検出装置において、前記偏光成分取得部は、車両の走行中に所定時間に亘って撮像した複数のフレームのＳ偏光画像およびＰ偏光画像に基づいて、前記複数のフレームの全画素の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分およびＰ偏光成分を求めてもよい。
【００１９】
発明者らは、実験により、周期的な環境光である街灯の影響を低減するためには、街灯間での路面画像を取得することが重要であることを見出した。さらに、一般に街灯間隔は２０〜３０ｍであるのに対し、街灯の影響を大きく受けている距離は８ｍ程度であることを実験により見出した。従って、街灯の影響の小さい路面の距離は１２ｍ以上ある。この区間における路面の画像を多く取得することにより、街灯の影響を低減し、判別精度を高めることができる。本発明の構成によれば、車両の走行中に所定時間に亘って路面を撮像することにより、路面状態を検出するための反射光を広い範囲から取得する。撮像した複数のフレームの全画素の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分とＰ偏光成分との比較データを求め、求めたすべての比較データの中から代表値を求めることにより、環境光を含む比較データの影響を低減した代表値を求めることができる。この代表値を用いて路面状態を判定することにより、路面状態を精度良く検出できる。
【００２０】
上記路面状態検出装置において、前記路面状態判定部は、前記代表値に基づいて、Ｐ偏光成分の方がＳ偏光成分より大きい場合に路面が湿潤状態と判定し、Ｓ偏光成分とＰ偏光成とがほぼ等しい場合に路面が乾燥状態と判定してもよい。
【００２１】
湿潤状態においては路面が水で覆われているので、路面での反射光は水中から空気中に透過する。Ｐ偏光成分の方がＳ偏光成分より、水から空気への透過率が高いので、Ｐ偏光成分が大きい場合に湿潤状態と判定することができる。
【００２２】
上記路面状態検出装置において、前記路面状態判定部は、前記偏光画像撮像部にて撮像したフレームが路上ペイントの画像を含むときに、そのフレームを路面判断から除外してもよい。
【００２３】
路上ペイントは反射率が高いため、環境光の反射光量が大きくなる。本発明の構成により、路上ペイントの画像を含むフレームを路面判断から除外することにより、路面状態を適切に検出できる。
【００２４】
上記路面状態検出装置は、路上ペイントの画像を含まないフレームを基準画像として記憶した基準画像記憶部を備え、前記路面状態判定部は、前記偏光画像撮像部にて撮像されたフレームの全画素の中から位置的な偏りなく選んだ画素のＳ偏光成分とＰ偏光成分の比較データのヒストグラムと、前記基準画像の全画素の中から位置的な偏りなく選んだ画素のＳ偏光成分とＰ偏光成分の比較データのヒストグラムとを比較することによって前記フレームに路上ペイントが含まれるか否かを判定してもよい。
【００２５】
このように基準画像と撮像画像の比較データのヒストグラムを比較することによって路上ペイントの有無を判定できる。なお、基準画像記憶部には、あらかじめ撮像した路上ペイントを含まない画像を記憶しておいてもよい。また、路上ペイントが含まれるか否かの判定により、路上ペイントが含まれないとされた画像によって、基準画像記憶部に記憶された画像を更新してもよい。
【００２６】
上記路面状態検出装置において、前記路面状態判定部は、地図情報および車両の現在位置の情報に基づいて車両が走行中の道路環境を取得し、前記道路環境に基づいて車両が路上ペイントの多い場所を走行しているか否かを判定し、路上ペイントの多い場所を走行中にＳ偏光成分およびＰ偏光成分の取得を停止するように前記偏光成分取得部を制御してもよい。
【００２７】
この構成により、路上ペイントが含まれる可能性の高い場所から得られたＳ偏光成分およびＰ偏光成分を路面判断から除外することができる。「道路環境」とは、走行中の車両の周囲の道路や施設の情報である。なお、道路環境は、路面状態検出装置が判別してもよいし、路面状態検出装置と連携したナビゲーション装置から取得してもよい。
【００２８】
上記路面状態検出装置において、前記路面状態判定部は、前記代表値として、複数の比較データの中央値を求めてもよい。
【００２９】
中央値は、有限個のデータをソートしたとき、中央に位置する値である。環境光の影響の大きい比較データを含んでいる場合でも、環境光の影響の小さい比較データの方が環境光の影響の大きい比較データより多ければ、中央には環境光の影響の小さい比較データが位置する。従って、代表値として中央値を用いることにより、環境光の影響の小さい比較データを用いて、適切に路面状態を判定することができる。
【００３０】
本発明の路面状態検出方法は、路面からの反射光に含まれる複数のＳ偏光成分およびＰ偏光成分を取得するステップと、前記複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求めるステップと、求めた複数の比較データの代表値を求めるステップと、前記代表値に基づいて路面状態を判定するステップとを備える。
【００３１】
この構成により、本発明の路面状態検出装置と同様に、路面からの反射光の複数のＳ偏光成分とＰ偏光成分との比較データの代表値を求めることにより、環境光の影響を低減し、路面状態を精度良く検出できる。また、本発明の路面状態検出装置の各種の構成を本発明の路面状態検出方法に適用することが可能である。
【００３２】
本発明のプログラムは、前記路面からの反射光のＳ偏光成分およびＰ偏光成分を取得する偏光成分取得部を備えるコンピュータによって、路面状態を検出するためのプログラムであって、前記コンピュータに、複数のＳ偏光成分およびＰ偏光成分を得るステップと、前記複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求めるステップと、求めた複数の比較データの代表値を求めるステップと、前記代表値に基づいて路面状態を判定するステップとを実行させる。
【００３３】
この構成により、本発明の路面状態検出装置と同様に、路面からの反射光の複数のＳ偏光成分とＰ偏光成分との比較データの代表値を求めることにより、環境光の影響を低減し、路面状態を精度良く検出できる。また、本発明の路面状態検出装置の各種の構成を本発明のプログラムに適用することが可能である。
【発明の効果】
【００３４】
本発明によれば、路面からの反射光の複数のＳ偏光成分とＰ偏光成分との比較データの代表値を求めることにより、環境光の影響を低減し、路面状態を精度良く検出できる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態の路面状態検出装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の路面状態検出装置１の構成を示す図である。路面状態検出装置１は、路面を照射するヘッドライト１０と、路面のＰ偏光画像およびＳ偏光画像を撮像するカメラ１２と、カメラ１２にて撮像したＰ偏光画像およびＳ偏光画像を用いて路面状態を検出する処理を行う制御部１８とを有している。
【００３６】
カメラ１２は、ヘッドライト１０からの光の反射光が強い範囲を撮像することが好ましい。なお、本明細書において、「環境光」は、自車両のヘッドライト以外の光源に基づく光であり、例えば、街灯や対向車のヘッドライト等の光である。「反射光」は、カメラ１２に入射される路面からの光全般を指し、全反射（鏡面反射）した光のみを指すものではない。ヘッドライト１０の光や環境光は、例えば、路面上に溜まった水によって鏡面反射し、路面の凹凸によって散乱するが、「反射光」はいずれも含む。カメラ１２は、Ｐ偏光画像取得部１４とＳ偏光画像取得部１６とを有している。カメラ１２に入射された路面からの光がハーフミラー等によって二分され、Ｐ偏光画像取得部１４およびＳ偏光画像取得部１６に入射される。従って、Ｐ偏光画像取得部１４とＳ偏光画像取得部１６は、同一の画像に対するＰ偏光画像とＳ偏光画像を取得する。Ｐ偏光画像取得部１４は、Ｐ偏光のみを透過するＰ偏光フィルタとＣＣＤ等の撮像デバイスとから構成されている。同様に、Ｓ偏光画像取得部１６は、Ｓ偏光のみを透過するＳ偏光フィルタとＣＣＤ等の撮像デバイスとから構成されている。
【００３７】
図２は、Ｐ偏光成分およびＳ偏光成分について説明するための図である。Ｐ偏光成分とは、図２に示すように、反射面に垂直な面内（反射面に立てた法線と光の進行方向を含む面）で振動する波である。Ｓ偏光成分とは、Ｐ偏光の振動面と垂直な面内で振動する波である。
【００３８】
図１を再び参照して路面状態検出装置１の構成について説明する。制御部１８は、カメラ画像取得制御部２０と、ノイズ除去部２２と、偏光差分データ算出部２４と、路面状態判定部３０とを有している。また、路面状態判定部３０は、路面状態判定許可部２５を有し、路面状態判定許可部２５は中央値計算部２６と収束判定部２８とを含んでいる。図１では、制御部１８が有する機能を機能ブロックで示しているが、制御部１８の機能は、例えば、メモリに格納したプログラムをＣＰＵによって実行することによって実現することができる。
【００３９】
図３は、路面状態検出装置１の制御部１８の機能を実現するための路面状態検出プログラム５０の例を示す図である。路面状態検出プログラム５０は、カメラ画像取得制御サブプログラム５２と、ノイズ除去サブプログラム５４と、偏光差分データ算出サブプログラム５６と、路面状態判定サブプログラム６２とを有している。また、路面状態判定サブプログラム６２は、路面状態判定許可サブプログラム５７を有しており、路面状態判定許可サブプログラム５７は、さらに中央値計算サブプログラム５８と収束判定サブプログラム６０とを含んでいる。カメラ画像取得制御サブプログラム５２をＣＰＵによって実行することにより、制御部１８のカメラ画像取得制御部２０の機能が実現される。これにより、路面状態検出装置１は、カメラ１２にて撮像したカメラ画像の取得制御を行う。ノイズ除去サブプログラム５４をＣＰＵによって実行することによりノイズ除去部２２の機能を実現する。同様に、偏光差分データ算出サブプログラム５６、路面状態判定許可サブプログラム５７、中央値計算サブプログラム５８、収束判定サブプログラム６０、路面状態判定サブプログラム６２をそれぞれ、ＣＰＵによって実行することにより、偏光差分データ算出部２４、路面状態判定許可部２５、中央値計算部２６、収束判定部２８、路面状態判定部３０の機能を実現する。
【００４０】
次に、制御部１８の構成について説明する。カメラ画像取得制御部２０は、カメラ１２が撮像した画像を取得するタイミングを制御する。カメラ１２は常時路面を撮像しており、カメラ画像取得制御部２０は、常時撮像したカメラ画像の中からカメラ画像を取得する。カメラ画像取得制御部２０は、車両の走行中に所定時間に亘ってカメラ画像を取得し、車両の停止中にはカメラ画像の取得を停止する。車両の停止中にカメラ画像を取得しても、路面の同じ部分の画像しか得られないため、その路面がたまたま環境光の影響が大きい場合だと、代表値は環境光の影響を受けてしまうからである。カメラ画像取得制御部２０は、車両の走行速度に応じてカメラ画像取得のタイミングを変えてもよい。例えば、車両が低速で走行しているときには、車両が高速で走行しているときより、カメラ画像を取得する時間を長くしてもよい。これにより、高速走行の場合と低速走行の場合とで、撮像対象となる路面の大きさをほぼ一定に保つことができる。
【００４１】
ノイズ除去部２２は、カメラ１２にて撮像したＰ偏光画像およびＳ偏光画像から、環境光によるものではないノイズを除去する処理を行う。例えば、カメラの受光感度の広さによっては、入射光の強度を輝度値として表現しきれないことがあるので、ノイズ除去部２２は、各画素の値が０〜２５５であるとした場合、画素値０および画素値２５５の画素をノイズであると判定し、その画素データを以下の計算に用いないように除去する。実際の明るさが画素値２５５に相当する明るさより明るい場合には、画素値としては２５５となってしまうので、画素値２５５は正しい値を表わしていない場合があるので、ノイズ除去部２２は、画素値２５５をノイズとして除去する。画素値０についても同様の理由からノイズとして処理する。なお、どの範囲の画素値をノイズとして扱うかは、カメラ１２によって適切な範囲を設定することとしてもよい。
【００４２】
偏光差分データ算出部２４は、カメラ１２にて撮像したＰ偏光画像およびＳ偏光画像に基づいて、画像内の各画素のＰ偏光強度とＳ偏光強度を求め、求めたＰ偏光強度とＳ偏光強度との差分を算出する。カメラ１２は、被写体からの光をハーフミラー等によって二分してＰ偏光画像およびＳ偏光画像を得ているので、路面上の同じ地点を映した画素のＰ偏光強度とＳ偏光強度とを求めることができる。なお、各画素のＰ偏光強度およびＳ偏光強度は所定の地点におけるＰ偏光成分およびＳ偏光成分である。従って、各画素のＰ偏光強度およびＳ偏光強度を求めるための、カメラ１２および偏光差分データ算出部２４の構成は、本発明の「偏光成分取得部」に相当する。
【００４３】
偏光差分データ算出部２４は、ノイズではない有効な画素について、Ｓ偏光画像の画素値からＰ偏光画像の画素値を減算することによって、画素値の差分を求める。以下、この差分のデータを「偏光差分データ」という。偏光差分データ算出部２４は、算出した偏光差分データを、偏光差分データ記憶部３２に記憶する。偏光差分データ記憶部３２には、路面状態の検出が完了するまで、偏光差分データ算出部２４にて求めた偏光差分データを記憶していく。
【００４４】
偏光差分データ算出部２４は、一のフレーム内の画素についてだけではなく複数のフレーム内にある画素について偏光差分データを求める。
図４（ａ）〜図４（ｃ）は、画像に含まれる全有効画素の偏光差分データのヒストグラムの一例を示す図である。図４（ａ）は複数フレームの画像に含まれる偏光差分データのヒストグラム、図４（ｂ）は環境光の影響の小さいフレームの画像に含まれる偏光差分データのヒストグラム、図４（ｃ）は環境光の影響の大きいフレームの画像に含まれる偏光差分データのヒストグラムである。図４（ｂ）に示すように、環境光の影響が小さいフレームの偏光差分データのヒストグラムでは、頻度のデータはマイナス側に多く分布する。図４（ｃ）に示すように、環境光の影響が大きいフレームの偏光差分データのヒストグラムでは、頻度のデータはプラス側に多く分布する。このように、フレーム毎の偏光差分データのヒストグラムは、環境光の影響の大きさに応じて異なる。複数フレームの偏光差分データのヒストグラムは、図４（ａ）に示すように、頻度のデータは、マイナス側にもプラス側にも分布するが、マイナス側の方の多くなる傾向がある。走行中に撮像された複数のフレームには、車両の走行に応じて路面の異なる部分が撮像されているので、撮像範囲の一部に環境光が含まれるとしても環境光の影響が小さい部分をも含む広い範囲から得られた反射光の偏光差分データを求めることができるためと考えられる。
【００４５】
路面状態判定部３０は、路面状態判定許可部２５を有し、路面状態の判定を許可するか否かを判定し、路面状態の判定を許可する場合に、偏光差分データを用いて路面状態を判定する。路面状態判定許可部２５は、中央値計算部２６と収束判定部２８とを有する。中央値計算部２６にて複数の偏光差分データの中央値を求め、収束判定部２８にて中央値が収束したか否かを判定し、中央値が収束した場合に、路面状態判定許可部２５は路面状態の判定を許可する。そして、路面状態判定部３０は、収束した中央値に基づいて路面の状態を判定する。以下、中央値計算部２６および収束判定部２８について説明する。
【００４６】
中央値計算部２６は、撮像された画像に含まれる全有効画素の偏光差分データの中央値を求める。中央値は、偏光差分データを大きさに応じてソートしたときに中央に位置する値である。中央値計算部２６は、カメラ１２から新しいフレームを取得する毎に新しいフレームから得られた偏光差分データを加えて、偏光差分データの中央値の計算を行う。具体的には、偏光差分データ記憶部３２に全有効画素の偏光差分データが記憶されているので、中央値計算部２６は、偏光差分データ記憶部３２に記憶された偏光差分データを用いて中央値を計算する。
【００４７】
収束判定部２８は、新しいフレームを取得する毎に計算される偏光差分データの中央値の変動が収束したか否かを判定する。
【００４８】
図５は、中央値計算部２６にて計算される中央値の変動を示す図である。図５に示す例では、１０フレームの撮像画像を用いて偏光差分データの中央値を求めると−３５となり、２０フレームでは−３０、４０フレームでは−２５となる。この例では、フレーム数が増えると、徐々に偏光差分データの中央値は大きくなり、４０〜８０フレームでは−２５〜−２３の範囲で変動する。このように計算に用いるフレーム数が増えると、環境光の影響を低減でき、偏光差分データの中央値の変動は収束する。なお、中央値は、路面の濡れ度合い、周辺の明るさ、またはカメラの受光感度によって変化する値であり、図５に示した偏光差分データの中央値は一例にすぎない。
【００４９】
収束判定部２８は、例えば、偏光差分データの中央値が所定の閾値の範囲内で変動する状態が所定のフレーム数に亘って継続した場合に、変動が収束したと判定する。路面状態許可部２５は、収束判定部２８にて変動が収束したと判定した場合には、路面状態判定を許可し、路面状態判定を許可するという判定結果をカメラ画像取得制御部２０に通知する。この通知を受けて、カメラ画像取得制御部２０は、カメラ画像の取得を停止するようにカメラ１２を制御する。
【００５０】
路面状態判定部３０は、中央値計算部２６および収束判定部２８にて求めた偏光差分データの中央値に基づいて、路面が乾燥状態であるか湿潤状態であるかを判定する。路面が乾燥状態の場合には、路面で散乱した光がカメラ１２に入射するので、Ｓ偏光強度とＰ偏光強度はほぼ等しくなる。路面が湿潤状態の場合には、路面で散乱した光が路面にある水分を透過してカメラ１２に入射する。水から空気中への光の透過率は、Ｐ偏光の方がＳ偏光より大きいので、カメラ１２が受ける光は、Ｐ偏光強度の方がＳ偏光強度より大きくなる。
【００５１】
図６は、路面状態と偏光差分データ（Ｓ−Ｐ）との関係を示す図である。図６に示すように路面が乾燥状態である場合には偏光差分データはほぼ０となる。若干の誤差があるので、図６では乾燥時の偏光差分データが０の近辺にばらついている。路面が湿潤状態である場合には、偏光差分データは、負の値となる。なお、カメラの受光感度によって、反射光の強度を示す値は変化するが、乾燥状態で偏光差分データが０の近辺の値をとり、湿潤状態で偏光差分データが負の値をとるという傾向は、カメラの受光感度に拘わらず同じである。従って、路面状態判定部３０は、誤差分を考慮して、例えば、偏光差分データが−１０以上の場合に乾燥状態と判定し、偏光差分データが−１０より小さい場合に湿潤状態と判定する。なお、路面状態の判定のための閾値は、カメラ１２の特性等に応じて適切に決定することができる。
【００５２】
図７は、第１の実施の形態の路面状態検出装置１の動作を示すフローチャートである。路面状態検出装置１は、車両の走行中に路面のＳ偏光画像およびＰ偏光画像をカメラ１２にて撮像する（Ｓ１０）。制御部１８は、１フレームのＳ偏光画像およびＰ偏光画像を撮像すると、撮像したＳ偏光画像およびＰ偏光画像から、環境光によるものではないノイズを除去する（Ｓ１２）。なお、本実施の形態では、１フレーム撮像する毎に画像処理を行う例について説明するが、複数フレーム撮像した段階でステップＳ１２以降の処理に移行することとしてもよい。続いて、路面状態検出装置１の制御部１８は、フレーム内にある有効な画素の偏光差分データを求め（Ｓ１４）、求めた偏光差分データを偏光差分データ記憶部３２に記憶する（Ｓ１６）。
【００５３】
次に、制御部１８は、偏光差分データ記憶部３２に記憶された全ての偏光差分データを読み出し、偏光差分データの中央値を求め（Ｓ１８）、中央値の変動が収束したか否かを判定する（Ｓ２０）。すなわち、制御部１８は、路面状態の判定を許可するか否か判定する。中央値の変動が収束していないと判定された場合（Ｓ２０でＮＯ）、すなわち、路面状態の判定を許可しないと判定された場合、路面状態検出装置１は、Ｓ偏光画像およびＰ偏光画像を撮像する処理（Ｓ１０）に移行する。路面状態検出装置１は、偏光差分データの中央値の変動が収束するまで、上記の処理を繰り返す。
【００５４】
最初のフレームを処理した段階では、偏光差分データ記憶部３２には１フレーム内にある有効画素の偏光差分データが記憶されており、この段階で初めて偏光差分データの中央値が求まったので、変動が収束していない。従って、路面状態検出装置１は、路面を撮像する処理に移行する（Ｓ１０）。路面状態検出装置１は、上記と同じ動作を繰り返し、２フレーム目に含まれる画素の偏光差分データを求め（Ｓ１４）、偏光差分データ記憶部３２に記憶する（Ｓ１６）。この段階で、偏光差分データ記憶部３２には、１フレームと２フレームの中にある画素の偏光差分データが記憶される。制御部１８は、偏光差分データ記憶部３２に記憶された偏光差分データを読み出し、１フレームと２フレームの中にある画素の偏光差分データの中央値を求める（Ｓ１８）。以下、同様に、新しくフレームを撮像し（Ｓ１０）、新しく撮像したフレームの偏光差分データを加えた全撮像フレームの画素の偏光差分データの中央値を求め（Ｓ１８）、中央値の変動が収束したか否かを判定する（Ｓ２０）。
【００５５】
中央値が収束したと判定された場合（Ｓ２０でＹＥＳ）、すなわち、路面状態の判定を許可すると判定された場合、制御部１８は、路面状態を判定する処理に移行する（Ｓ２２）。制御部１８は、カメラ１２による路面の撮像を停止してもよい。制御部１８は、偏光差分データの中央値と所定の閾値とを比較し、中央値が所定の閾値より小さい場合に路面が湿潤状態であると判定し、中央値が所定の閾値以上の場合に乾燥状態と判定する。
【００５６】
次に、路面状態判定装置１は、路面状態の判定結果を車両に通知し、車両は路面状態に基づいてヘッドライト１０の制御を行う（Ｓ２４）。具体的には、車両は、路面状態に基づいてヘッドライト１０の光軸を上下に制御する。路面状態が乾燥から湿潤に変わったときはヘッドライト１０の光軸を上げ、湿潤から乾燥に変わったときはヘッドライト１０の光軸を下げる。
以上、第１の実施の形態の路面状態検出装置１の構成および動作について説明した。
【００５７】
本実施の形態の路面状態検出装置１は、車両の走行中に所定時間に亘って撮像した画像から得られた複数の画素の偏光差分データの中央値を用いて路面状態を判定するので、一部に環境光のある路面の画像を含んでいても、環境光のある画像に起因する偏光差分データの影響を低減でき、環境光の少ない路面における偏光差分データに基づいて、適切に路面状態を判定することができる。
【００５８】
なお、本実施の形態の路面状態検出装置１は、路面上において、環境光の影響が少ない領域は環境光の影響が大きい領域より広いということを前提としている。例えば、周期的な環境光の原因となる街灯は、法規によって２０〜３０ｍおきに設置することが定められている。ただし、交差点や視界の悪い道路等では、設置間隔は短くなる。
【００５９】
図８は、街灯の間隔が３０ｍの場合を例として環境光の影響の大きい領域と、環境光の影響の小さい領域を示す図である。図８に示すように、街灯の影響が強い領域（距離）は、街灯間より短いので、環境光の影響が小さい街灯間の領域の方が環境光の影響が大きい領域より小さい。所定の道路空間（距離）において、路面状態を観測し、環境光（例えば街灯）の影響が小さい評価画像を環境光の影響が大きい評価画像より多く取得し、取得した評価画像の偏光差分データを大きさに応じてソートすると、環境光の影響の小さい偏光差分データが中央値となる。本実施の形態では、この中央値を用いて適切に路面状態を判定できる。なお、対向車のヘッドライトに関しては、対向車との距離が小さくなると、対向車のヘッドライトが照射する路面が横にくるため、自車のカメラから見えなくなり、影響が少なくなる。従って、所定の道路空間において路面状態を観測して、中央値を用いて路面状態を判定することにより、適切に路面状態を判定できる。
【００６０】
また、本実施の形態の路面状態検出装置１は、制御部１８にて中央値の変動が収束したか否かを判定し、変動が収束した場合に路面状態の判定を許可し、収束した中央値を用いて路面状態を求めるので、環境光の影響が小さい地点を映した画素の偏光差分データを路面状態の判定に用いることができる。
【００６１】
また、本実施の形態の路面状態検出装置１において、ヘッドライト１０は既存の設備を利用でき、カメラ１２は前方の状況をモニターするという他の用途にも利用可能なハードウェアである。すなわち、路面状態検出装置１は、路面状態を検出するためだけに必要な追加のハードウェアを用いないで実現できる。
【００６２】
（第２の実施の形態）
図９は、第２の実施の形態の路面状態検出装置２の構成を示す図である。第２の実施の形態の路面状態検出装置２の基本的な構成は、第１の実施の形態の路面状態検出装置１と同じであるが、中央値計算部２６による偏光差分データの中央値の求め方が異なる。
【００６３】
図１０（ａ）および図１０（ｂ）は、中央値計算部２６による中央値の計算の仕方の原理を説明する図である。図１０（ａ）に示すように、中央値計算部２６は、フレームごとに処理を行い、偏光差分データの各フレームの代表値を求める。代表値としては、フレーム内に含まれる画素の偏光差分データの中央値を用いてもよいし、平均値を用いてもよい。中央値計算部２６は、求めた代表値を代表値記憶部３４に記憶する。中央値計算部２６は、代表値記憶部３４から代表値を読み出し、図１０（ｂ）に示すように、代表値の中央値を求める。
【００６４】
図１１は、第２の実施の形態の路面状態検出装置２の動作を示すフローチャートである。路面状態検出装置２は、車両の走行中に路面のＳ偏光画像およびＰ偏光画像をカメラ１２にて撮像する（Ｓ３０）。路面状態検出装置２の制御部１８は、撮像したＳ偏光画像およびＰ偏光画像から、環境光の影響によるものでないノイズを除去し（Ｓ３２）、フレーム内にある有効な画素の偏光差分データを求め（Ｓ３４）、求めた偏光差分データを偏光差分データ記憶部３２に記憶する（Ｓ３６）。ここまでは、第１の実施の形態の路面状態検出装置１の動作と同じである。
【００６５】
偏光差分データ記憶部３２に偏光差分データを記憶した後（Ｓ３６）、制御部１８は、記憶された偏光差分データを用いて偏光差分データのフレームの代表値を計算する（Ｓ３８）。制御部１８は、代表値を代表値記憶部３４に記憶し（Ｓ４０）、偏光差分データ記憶部３２に記憶されたデータを削除する（Ｓ４２）。これにより、代表値記憶部３４には、各フレームの偏光差分データの代表値が記憶されていく。続いて、制御部１８は、代表値記憶部３４に記憶された偏光差分データのフレームの代表値を用いて、偏光差分データの中央値を求める（Ｓ４４）。
【００６６】
中央値を求めた後は、第１の実施の形態の路面状態検出装置１と同様に、中央値が収束したか否かを判定し（Ｓ４６）、中央値が収束していないと判定された場合には（Ｓ４６でＮＯ）、カメラ１２にて新しくＳ偏光画像、Ｐ偏光画像を撮像し（Ｓ３０）、上記した処理を繰り返す。中央値が収束したと判定された場合には（Ｓ４６でＹＥＳ）、その中央値を用いて路面状態を判定する（Ｓ４８）。路面状態を判定した後、路面状態判定装置２は、路面状態の判定結果を車両に通知し、車両は路面状態に基づいてヘッドライト１０の制御を行う（Ｓ４９）。
【００６７】
第２の実施の形態の路面状態検出装置２は、フレームごとに偏光差分データの代表値を求めて代表値記憶部３４に記憶し、代表値の計算が終了したフレームの偏光差分データを削除するので、路面状態の検出が完了するまで、全てのフレームの偏光差分データを記憶しておく必要がない。従って、小さいメモリによって広範囲の撮像データを処理することができる。
【００６８】
また、本実施の形態の路面状態検出装置２は、第１の実施の形態の路面状態検出装置１と同様に、環境光の影響を低減し、適切に路面状態を判定することができるという効果を有する。
【００６９】
なお、本実施の形態では、フレームの代表値を求め、複数のフレームのそれぞれの代表値の中央値を求める例について説明したが、フレームの中央値を求め、複数のフレームのそれぞれの中央値の代表値を求めることとしても、本実施の形態と同様に、適切に路面状態を判定できる。
【００７０】
（第３の実施の形態）
図１２は、第３の実施の形態の路面状態検出装置３の構成を示す図である。第３の実施の形態の路面状態検出装置３の基本的な構成は、第１の実施の形態の路面状態検出装置１と同じであるが、制御部１８が路上ペイント判定部３８を有する点が異なる。路上ペイント判定部３８は、撮像画像が路上ペイントを含むか否かの判定を行う。路上ペイントとは、例えば、交差点付近における右左折の車線案内のペイントや横断歩道等のペイントである。路上ペイントは、路上ペイントがない部分に比べて反射率が高い。特に白の路上ペイントはガラスビーズを含んでおり、極めて反射率が高い。このため、路上ペイントは、路面状態の誤検出の原因となる場合がある。
【００７１】
路面状態検出装置３は、路上ペイントを含まないＰ偏光画像およびＳ偏光画像を基準画像として記憶した基準画像記憶部３６を有している。基準画像記憶部３６には、路上ペイントを含まない典型的な画像をあらかじめ撮像して記憶しておく。
【００７２】
路上ペイント判定部３８は、基準画像記憶部３６から読み出した基準画像の偏光差分データのヒストグラムと、撮像された画像の偏光差分データのヒストグラムとを比較することによって、撮像された画像が路上ペイントを含む画像か否かを判定する。制御部１８は、撮像された画像が路上ペイントを含むと判定した場合には、その画像から得られた偏光差分データを偏光差分データ記憶部３２から削除する。これにより、路面状態検出装置３は、路上ペイントを含む画像から得られた偏光差分データを除く偏光差分データを用いて路面状態の判定を行う。
【００７３】
図１３は、第３の実施の形態の路面状態検出装置３の動作を示すフローチャートである。路面状態検出装置３は、車両の走行中に路面のＳ偏光画像およびＰ偏光画像をカメラ１２にて撮像する（Ｓ５０）。路面状態検出装置３の制御部１８は、撮像したＳ偏光画像およびＰ偏光画像から、環境光の影響によるものでないノイズを除去し（Ｓ５２）、フレーム内にある有効な画素の偏光差分データを求め（Ｓ５４）、求めた偏光差分データを偏光差分データ記憶部３２に記憶する（Ｓ５６）。ここまでは、第１の実施の形態の路面状態検出装置１の動作と同じである。
【００７４】
次に、制御部１８は、撮像した画像が路上ペイントを含むか否かを判定する路面ペイント判定処理を行う（Ｓ５８）。制御部１８は、偏光差分データ記憶部３２に記憶された偏光差分データのヒストグラムと、基準画像記憶部３６に記憶された基準画像の偏光差分データのヒストグラムとを比較することによって路上ペイントの有無を判定する。路上ペイント判定処理の一例については後述する。
【００７５】
制御部１８は、路上ペイント判定処理（Ｓ５８）の結果に基づいて、撮像した画像が路上ペイントを含むか否かを判定する（Ｓ６０）。撮像画像が路上ペイントを含むと判定された場合に（Ｓ６０でＹＥＳ）、制御部１８は、路上ペイントを含む画像に対応する偏光差分データを偏光差分データ記憶部３２から削除する処理を行う（Ｓ６２）。路上ペイントを含む画像の偏光差分データを削除した後、あるいは、路上ペイント判定処理において路上ペイントを含まないと判定された場合（Ｓ６０でＮＯ）、偏光差分データ記憶部３２に記憶された偏光差分データを読み出して、偏光差分データの中央値を計算する（Ｓ６４）。
【００７６】
中央値を求めた後は、第１の実施の形態の路面状態検出装置１と同様に、中央値が収束したか否かを判定し（Ｓ６６）、中央値が収束していないと判定された場合には（Ｓ６６でＮＯ）、カメラ１２にて新しくＳ偏光画像、Ｐ偏光画像を撮像し（Ｓ５０）、上記した処理を繰り返す。中央値が収束したと判定された場合には（Ｓ６６でＹＥＳ）、その中央値を用いて路面状態を判定する（Ｓ６８）。路面状態を判定した後、路面状態判定装置２は、路面状態の判定結果を車両に通知し、車両は路面状態に基づいてヘッドライト１０の制御を行う（Ｓ４９）。
【００７７】
次に、路上ペイント判定処理の一例について説明する。ただし、本発明の路上ペイント判定処理は、以下に説明する処理に限定されるものではない。
【００７８】
図１４は、路上ペイント判定処理の詳しい動作を示すフローチャートである。制御部１８は、基準画像記憶部３６に記憶された基準画像を読み出し（Ｓ７０）、読み出した基準画像に含まれる画素の偏光差分データを算出する（Ｓ７２）。次に、制御部１８は、基準画像の偏光差分データのヒストグラムを生成する（Ｓ７４）。なお、本実施の形態では、画像が路上ペイントの画像を含むか否かの判定を行う際に、基準画像記憶部３６から読み出した基準画像を用いて、偏光差分データのヒストグラムを求める例について説明するが、基準画像の偏光差分データのヒストグラムをあらかじめ求め、ヒストグラムを基準画像記憶部３６に記憶しておいてもよい。
【００７９】
次に、制御部１８は、偏光差分データ記憶部３２に記憶されたデータを用いて、判定対象のフレーム内にある画素の偏光差分データのヒストグラムを生成する（Ｓ７６）。この例では、判定対象の撮像画像は路上ペイントを含む画像として説明する。制御部１８は、基準画像の偏光差分データのヒストグラムと撮像画像の偏光差分データのヒストグラムの両方から、偏光差分データが「＋」の成分を除去する（Ｓ７８）。路上ペイントを含む画像は、偏光成分データの「−」の成分に特徴があるため、「−」の成分だけを比較すれば路上ペイントの有無を判断できるからである。
【００８０】
図１５（ａ）は、基準画像と撮像画像の偏光差分データのヒストグラムを示す図である。図１５（ａ）では、偏光差分データの「−」成分だけを記載している。図１５（ａ）に示すように、判定対象の撮像画像では、偏光差分データは−５０付近にピークを有している。つまり、この付近にピークを有することが、路上ペイントを含む画像の特徴である。
【００８１】
制御部１８は、基準画像のヒストグラムと撮像画像のヒストグラムの差分の絶対値を求める（Ｓ８０）。図１５（ａ）に、差分の絶対値のグラフを太線で示す。差分のグラフには２つのピークが現れるが、「−」成分の大きい方のピーク（図１５（ａ）における左側のピーク）を有する分布が路上ペイントからの反射光による分布である。従って、撮像画像のヒストグラムの分布が、撮像画像のヒストグラムの「−」成分の大きい方のピークを有する分布を有するか否かを判定することによって、撮像画像が路上ペイントの画像を含むか否かを判定できる。制御部１８は、差分のグラフの２つのピークの谷の部分が０になるように差分のグラフをシフトする（Ｓ８２）。
【００８２】
図１５（ｂ）は、シフト補正後の差分のグラフを示す図である。次に、制御部１８は、図１５（ｂ）に示す差分のグラフの「−」成分の平均値を計算し（Ｓ８４）、平均値と所定の閾値とを比較する（Ｓ８６）。制御部１８は、平均値が所定の閾値より大きいと判定された場合（Ｓ８６でＹＥＳ）、判定対象の画像が路上ペイントの画像を含むと判定し（Ｓ８８）、平均値が所定の閾値以下と判定された場合（Ｓ８６でＮＯ）、判定対象の画像は路上ペイントの画像を含まないと判定する（Ｓ９０）。なお、本実施の形態では、図１５（ｂ）に示すグラフの「−」成分の平均値に基づいて撮像画像が路上ペイントの画像を含むか否かを判定する例を説明したが、本発明は平均値を用いる方法に限定されず、例えば、「−」成分の分布の形を比較してもよい。以上、路上ペイント判定処理の動作について詳細に説明した。
【００８３】
第３の実施の形態の路面状態検出装置３は、撮像した画像に路上ペイントの画像が含まれるか否かを判定し、路上ペイントの画像が含まれる場合には、その画像に対応する偏光差分データを削除する。これにより、路上ペイントの画像が含まれていない画像だけを用いて路面状態を検出できるので、迅速に路面状態を検出することができる。路上ペイントを含む画像があっても、上記した第１の実施の形態または第２の実施の形態のように路面状態を適切に検出できるが、路上ペイントを含む画像を計算対象から除外することによって、偏光差分データの中央値がより速く収束する。
【００８４】
また、本実施の形態の路面状態検出装置３も、第１の実施の形態の路面状態検出装置１と同様に、環境光の影響を低減し、適切に路面状態を判定することができるという効果を有する。
【００８５】
（第４の実施の形態）
図１６は、第４の実施の形態の路面状態検出装置４の構成を示す図である。路面状態検出装置４は、ナビゲーション装置４６に接続されている。第４の実施の形態の路面状態検出装置４の基本的な構成は、第１の実施の形態の路面状態検出装置１と同じであるが、カメラ画像取得制御部２０によるカメラ画像取得制御の方法が異なる。
【００８６】
ナビゲーション装置４６は、車両の現在位置を検出する車両位置検出部４０と、道路や施設等の情報を含む地図情報を記憶した地図情報記憶部４２と、ナビゲーション装置４６の制御を行う制御部４４を有している。車両位置検出部４０は、車両の現在位置を検出する機能を有する。車両位置検出部４０としては、例えば、地磁気センサ、ジャイロスコープ、距離センサ、ＧＰＳ受信機、ステアリングの回転センサ、各転動輪の車両センサ等を用いることができる。車両位置検出部４０は、これらのいくつかのセンサを用いて構成してもよい。これらのセンサは、性質の異なる誤差を持っているので、複数のセンサで補完することにより、車両の現在位置を精度良く検出できる。制御部４４は、通常のナビゲーション装置の機能の他に、路面状態検出装置４からの要求に従って、車両が走行中の道路環境を取得する機能を有する。道路環境とは、走行中の車両の周囲の道路や施設の情報である。
【００８７】
カメラ画像取得制御部２０は、ナビゲーション装置４６から、車両が走行中の道路環境を取得する。カメラ画像取得制御部２０は、取得した道路環境に基づいて車両が交差点付近にいるか否かを判定し、交差点付近にいるときには、カメラ画像の取得を停止する。カメラ画像取得制御部２０は、あらかじめ所定の閾値（例えば１０ｍ等）を設定しておき、車両が交差点から閾値以内にあるときに交差点付近と判定し、車両が交差点から閾値以上離れているときに交差点付近ではないと判定することができる。
【００８８】
図１７は、第４の実施の形態の路面状態検出装置４の動作を示すフローチャートである。路面状態検出装置４は、まず、ナビゲーション装置４６から車両が走行中の道路環境を取得する（Ｓ１００）。この処理は、具体的には、ナビゲーション装置４６が路面状態検出装置４からの要求に応じて、車両の現在位置を検出し、検出した車両の現在位置と地図情報記憶部４２に記憶された地図情報とに基づいて、道路環境に関する情報を求める。そして、ナビゲーション装置４６は、求めた道路環境の情報を路面状態検出装置４に送信する。路面状態検出装置４は、道路環境の情報に基づいて、車両が交差点付近にあるか否かを判定する（Ｓ１０２）。
【００８９】
車両が交差点付近であると判定された場合（Ｓ１０２でＹＥＳ）、車両の現在位置を検出する処理（Ｓ１００）に戻り、車両が交差点付近にないと判定されるまで上記処理を繰り返す。車両が交差点付近にないと判定された場合（Ｓ１０２でＮＯ）、第１の実施の形態の路面状態検出装置１と同様の処理によって路面状態を検出する。
【００９０】
第４の実施の形態の路面状態検出装置４は、車両が交差点付近にあるときに路面の撮像を停止するので、交差点付近に多い路上ペイントを含む画像の撮像を回避し、路上ペイントを含まない画像を用いて路面状態の検出を行うことができる。
【００９１】
また、本実施の形態の路面状態検出装置４も、第１の実施の形態の路面状態検出装置１と同様に、環境光の影響を低減し、適切に路面状態を判定することができるという効果を有する。
【００９２】
なお、本実施の形態では、路上ペイントの多い場所として交差点を想定し、交差点付近において撮像を停止する例について説明したが、地図情報記憶部４２に、例えば、横断歩道や街灯等のある地点を記憶している場合には、横断歩道や街灯のある地点で撮像を停止することとしてもよい。
【００９３】
以上、本発明の路面状態検出装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００９４】
上記したいずれの実施の形態でもＳ偏光成分とＰ偏光成分との比較データとしてＳ変更成分とＰ偏光成分との差分を用いていたが、この比較データとしてＳ変更成分とＰ偏光成分との差分の代わりにＳ偏光成分とＰ偏光成分との比を用いても上述の実施形態と同様、路面状態を精度よく検出できる。
【００９５】
上記した実施の形態では、路面状態判定許可部２５は、偏光差分データの中央値の変動が収束したか否かに応じて、路面状態の判定を許可するか否かを判定したが、路面状態判定許可部２５による判定の方法は、上記した実施の形態に記載した方法に限定されない。例えば、路面状態判定許可部２５は、取得したＳ偏光成分およびＰ偏光成分のデータ数が所定の閾値を超えたか否かを判定し、データ数が所定の閾値を超えた場合に路面状態の判定を許可してもよい。閾値としては、例えば、十分大きいフレーム数（例えば１００フレーム）あるいは撮像時間（例えば、１０秒）を設定する。データ数が所定の閾値を超える場合には、広い範囲からＳ偏光成分およびＰ偏光成分を取得していることになるので、環境光の影響を低減し、路面状態の判定を適切に行うことができる。また、Ｓ偏光成分およびＰ偏光成分のデータを新たに取得する度に中央値の計算を行わなくてもよいので、プログラムを簡素化できる。また、このような構成をとることにより、一回の撮像で広範囲の画像を得られる場合に、一回の撮像にて得られた偏光画像を用いて路面状態を判定することが可能となる。
【００９６】
また、路面状態を検出するためのフレーム数や所定時間は、車両の走行速度に応じて変更してもよい。なお、ここでいう「所定時間」は、シャッター時間を意味するものではない。先に説明したように、街灯等の環境光の影響の少ない画像を取得するためには、所定の長さの路面を観測する必要があるので、車両の走行速度に応じてカメラ画像を取得する時間を変える必要がある。車両の走行速度が遅い場合には、走行速度が速い場合と同じ時間分のカメラ画像を取得しても、走行速度が速い場合に比べて小さい範囲の画像しか得られない。例えば、時速６０ｋｍで走行中の車両の場合に、６秒間に亘るカメラ画像を取得すれば１００ｍ分の画像を得られる。時速４０ｋｍで走行中の車両において、１００ｍ分の画像を得るためには、９秒間に亘るカメラ画像が必要となる。従って、走行速度が遅い場合には、長い時間撮像した画像を用いて路面状態を検出することが好ましい。
【００９７】
上記した実施の形態では、撮像したフレームのノイズでないと判定されたすべての画素を用いて路面状態の検出を行う例について説明したが、必ずしも全画素を用いる必要はない。例えば、撮像したフレームを複数のブロック（例えば５×５ブロック）に分割し、分割された各ブロックの中から１つずつ画素を選択し、選択した画素を用いて路面状態の検出を行なってもよい。これにより、少ないデータで路面状態の検出を行なえるので、偏光差分データを記憶する偏光差分データ記憶部３２を小容量のメモリによって構成することができる。なお、路面状態検出の計算に用いる画素を選択する場合には、環境光を含む画素だけを取得しないように、位置的な偏りなく画素を選択することが好ましい。
【００９８】
上記した第２の実施の形態では、フレームごとに代表値を求め、複数のフレームのそれぞれの代表値の中央値を求める例について説明したが、フレームごとの代表値を求めるのではなく、複数のフレームごとに代表値を求めることとしてもよい。この際、代表値を求める対象となる複数のフレームどうしの間で、一部を重複させることとしてもよい。例えば、フレーム１〜フレーム５の代表値、フレーム４〜フレーム８の代表値、フレーム７〜フレーム１１の代表値、・・・というように、２フレームずつ重複させた５フレームから代表値を求めてもよい。これにより、代表値を求める頻度を低下させることなく、代表値を求める対象となる範囲を広くすることができるので、迅速に路面状態を判定することができる。
【００９９】
上記した第３の実施の形態では、路上ペイントが含まれているか否かを撮像画像と基準画像とを比較することによって判定したが、別の方法によって路上ペイントの有無を判定してもよい。例えば、撮像画像に含まれる色を分析し、所定の閾値より白の画素が多い場合に、路上ペイントが含まれると判定してもよい。
【産業上の利用可能性】
【０１００】
以上説明したように、本発明は、路面状態を精度良く検出できるというすぐれた効果を有し、路面状態を検出して運転を支援する運転支援装置等に適用することができる。例えば、本発明をヘッドライトコントロールシステム（ＡＦＳ）に適用することにより、路面状態にかかわらず視認性を保持することができる。路面が乾燥状態の場合にはヘッドライトの光は路面で散乱して遠距離でも近距離でもほぼ一様の視認性を得られるが、路面が湿潤状態になると近距離においてヘッドライトの光の反射が強くなり、自車両のドライバにとってまぶしくなるので、視認性が低下する。本発明の路面状態検出装置によって路面状態を検出することにより、路面が湿潤状態になったときにヘッドライトを少し上げる。これにより、ヘッドライトの光の路面からの反射は、遠距離でも近距離でもほぼ一様となり、自車両のドライバの視認性が低下しないようにできる。また、別の例としては、路面が濡れているとタイヤと路面との間の摩擦が小さくなり滑りやすくなるので、路面状態の検出結果に基づいて車両制御を行うことにより、スリップを起こりにくくすることができる。
【図面の簡単な説明】
【０１０１】
【図１】第１の実施の形態の路面状態検出装置の構成を示す図である。
【図２】Ｐ偏光成分およびＳ偏光成分について説明する図である。
【図３】路面状態検出プログラムの例を示す図である。
【図４】（ａ）複数フレームの画像に含まれる偏光差分データのヒストグラムである。（ｂ）環境光の影響の小さいフレームの画像に含まれる偏光差分データのヒストグラムである。（ｃ）環境光の影響の大きいフレームの画像に含まれる偏光差分データのヒストグラムである。
【図５】偏光差分データの中央値とフレーム数との関係を示す図である。
【図６】偏光差分データと路面状態との関係を示す図である。
【図７】第１の実施の形態の路面状態検出装置の動作を示す図である。
【図８】環境光の影響の大きい領域と環境光の影響の小さい領域の例を示す図である。
【図９】第２の実施の形態の路面状態検出装置の構成を示す図である。
【図１０】（ａ）フレームごとの代表値を計算した例を示す図である。（ｂ）代表値の中央値を求めた例を示す図である。
【図１１】第２の実施の形態の路面状態検出装置の動作を示す図である。
【図１２】第３の実施の形態の路面状態検出装置の構成を示す図である。
【図１３】第３の実施の形態の路面状態検出装置の動作を示す図である。
【図１４】路上ペイント判定処理の動作を示す図である。
【図１５】（ａ）撮像画像、基準画像のヒストグラムおよびその差分を示す図である。（ｂ）差分をシフトした例を示す図である。
【図１６】第４の実施の形態の路面状態検出装置の構成を示す図である。
【図１７】第４の実施の形態の路面状態検出装置の動作を示す図である。
【符号の説明】
【０１０２】
１〜４ 路面状態検出装置
１０ ヘッドライト
１２ カメラ
１４ Ｐ偏光画像取得部
１６ Ｓ偏光画像取得部
１８ 制御部
２０ カメラ画像取得制御部
２２ ノイズ除去部
２４ 偏光差分データ算出部
２５ 路面状態判定許可部
２６ 中央値計算部
２８ 収束判定部
３０ 路面状態判定部
３２ 偏光差分データ記憶部
３４ 代表値記憶部
３６ 基準画像記憶部
３８ 路上ペイント判定部
４０ 車両位置検出部
４２ 地図情報記憶部
４４ 制御部
４６ ナビゲーション装置
５０ 路面状態検出プログラム
５２ カメラ画像取得制御サブプログラム
５４ ノイズ除去サブプログラム
５６ 偏光差分算出サブプログラム
５７ 路面状態判定許可サブプログラム
５８ 中央値計算サブプログラム
６０ 収束判定サブプログラム
６２ 路面状態判定サブプログラム
【技術分野】
【０００１】
本発明は、路面の状態を検出する路面状態検出装置に関する。
【背景技術】
【０００２】
従来から、路面の状態を検出する技術として、路面の表面にセンサーを埋め込む技術と、カメラで撮像した路面の画像を分析する技術が知られている。前者は、多数のセンサーが必要となり、コストが高くなるので現実的ではない。後者の方法としては、水中から空気中への透過率がＳ偏光成分よりＰ偏光成分の方が高いという特性を利用し、路面によって反射されたＰ偏光成分およびＳ偏光成分を解析して路面状態を検出する技術が知られている。
【０００３】
画像処理によって路面状態を検出する方法では、街灯や対向車のヘッドライト等の環境光や路上ペイントからの反射光等が路面状態の検出に影響を与える。特許文献１は、走行中に変化する外光状態や車載カメラの設置俯角に起因して発生するノイズを取り除いて算出精度を向上した路面状態検出装置を開示している。この路面状態検出装置は、前回取得した偏光比強度と今回取得した偏光比強度とを比較し、その差分が所定の閾値より大きい場合に、今回取得した偏光比強度をノイズであると判断し、前回の偏光比強度に置き換える。
【特許文献１】特開２００４−２９９４４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された路面状態検出装置では、瞬間的に生じたノイズを除去することができるが、街灯や対向車のヘッドライト等のような環境光が継続的に入射されると、その入射光をノイズとして処理することはできない。従って、特許文献１に記載された路面状態検出装置では、街灯や対向車のヘッドライト等の環境光の影響を除去することはできなかった。
【０００５】
そこで、本発明は、上記背景に鑑み、路面状態の検出を精度良く行うことが可能な路面状態検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の路面状態検出装置は、路面からの反射光のＳ偏光成分およびＰ偏光成分を取得する偏光成分取得部と、前記Ｓ偏光成分および前記Ｐ偏光成分に基づいて路面状態を判定する路面状態判定部とを備え、前記路面状態判定部は、前記偏光成分取得部にて取得した複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求め、求めた複数の比較データの代表値を求め、前記代表値に基づいて路面状態を判定する。
【０００７】
このように、路面からの反射光の複数のＳ偏光成分とＰ偏光成分との比較データを求め、求めた比較データの代表値を求めることにより、環境光を含む比較データの影響を低減した代表値を求めることができる。この代表値を用いて路面状態を判定することにより、環境光の影響を低減し、路面状態を精度良く検出できる。なお、「比較データ」とは、Ｓ偏光成分とＰ偏光成分の差分であってもよいし、比であってもよい。
【０００８】
本発明の路面状態検出装置は、前記偏光成分取得部にて取得したＳ偏光成分およびＰ偏光成分のデータを用いて路面状態の判定を許可するか否かを判定する路面状態判定許可部を備え、路面状態の判定を許可すると判定された場合に、前記路面状態判定部にて路面状態の判定を行い、路面状態の判定を許可しないと判定された場合に、前記偏光成分取得部にてＳ偏光成分およびＰ偏光成分を取得してもよい。
【０００９】
このように路面状態判定許可部にて、路面状態の判定を許可するか否かを判定し、路面状態の判定を許可しない場合には、さらにＳ偏光成分およびＰ偏光成分を取得して、判定材料となるデータを増やすので、路面状態判定の精度の向上を図れる。
【００１０】
本発明の路面状態検出装置において、前記路面状態判定許可部は、取得したＳ偏光成分およびＰ偏光成分のデータ数に基づいて、路面状態の判定を許可するか否かを判定してもよい。
【００１１】
このように取得したＳ偏光成分およびＰ偏光成分のデータ数に基づいて路面状態の判定を許可するか否かを判定することにより、環境光の影響を低減するために十分な量のデータ数に基づいて、適切に路面状態の判定を行うことができる。
【００１２】
上記路面状態検出装置において、前記路面状態判定許可部は、新しく取得したＳ偏光成分およびＰ偏光成分の前記比較データを求め、新たに求めた前記比較データと前回までに得られた複数の比較データとを合わせた比較データから前記代表値を求める処理を繰り返し行ない、前記処理によって繰り返し算出される前記代表値の変動が収束した場合に、路面状態の判定を許可してもよい。
【００１３】
代表値を求めるための比較データを増やしていくと、一時的に環境光の多い路面でのデータを取得した場合であっても、徐々に環境光の少ない路面でのデータが多くなるので、比較データの代表値は環境光の影響の小さい代表値に収束する。従って、代表値の変動の収束によって路面状態の判定を許可する構成により、環境光の影響を低減した代表値を適切に求めることができる。
【００１４】
上記路面状態検出装置において、前記路面状態判定部は、あらかじめ定められた所定の単位ごとに前記比較データの中央値または平均値を求めて記憶し、記憶された中央値または平均値を用いて前記代表値を求めてもよい。
【００１５】
このように所定の単位ごとに平均値または中央値を求めて記憶し、記憶された平均値または中央値を用いて代表値を求めることにより、平均値または中央値を求めたフレームについては、Ｓ偏光成分、Ｐ偏光成分のデータを削除することが可能となる。これにより、容量の少ないメモリを利用して、多数の比較データの代表値を求めることが可能となる。
【００１６】
上記路面状態検出装置において、前記偏光成分取得部は、前記路面のＳ偏光画像およびＰ偏光画像を撮像する偏光画像撮像部を備え、撮像したＳ偏光画像およびＰ偏光画像自体の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分およびＰ偏光成分を求めてもよい。
【００１７】
この構成により、１回の撮像で得たＳ偏光画像およびＰ偏光画像から複数のＳ偏光成分およびＰ偏光成分を効率良く取得することができる。また、複数の画素を位置的な偏りなく選ぶことにより、部分的な要因による誤判定の可能性を低減できる。例えば、撮像範囲にバイク等の障害物があってその部分から路面からの反射光を取得できない場合でも、位置的な偏りなくＳ偏光成分およびＰ偏光成分を取得することにより、障害物のない路面におけるデータを取得できる。
【００１８】
上記路面状態検出装置において、前記偏光成分取得部は、車両の走行中に所定時間に亘って撮像した複数のフレームのＳ偏光画像およびＰ偏光画像に基づいて、前記複数のフレームの全画素の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分およびＰ偏光成分を求めてもよい。
【００１９】
発明者らは、実験により、周期的な環境光である街灯の影響を低減するためには、街灯間での路面画像を取得することが重要であることを見出した。さらに、一般に街灯間隔は２０〜３０ｍであるのに対し、街灯の影響を大きく受けている距離は８ｍ程度であることを実験により見出した。従って、街灯の影響の小さい路面の距離は１２ｍ以上ある。この区間における路面の画像を多く取得することにより、街灯の影響を低減し、判別精度を高めることができる。本発明の構成によれば、車両の走行中に所定時間に亘って路面を撮像することにより、路面状態を検出するための反射光を広い範囲から取得する。撮像した複数のフレームの全画素の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分とＰ偏光成分との比較データを求め、求めたすべての比較データの中から代表値を求めることにより、環境光を含む比較データの影響を低減した代表値を求めることができる。この代表値を用いて路面状態を判定することにより、路面状態を精度良く検出できる。
【００２０】
上記路面状態検出装置において、前記路面状態判定部は、前記代表値に基づいて、Ｐ偏光成分の方がＳ偏光成分より大きい場合に路面が湿潤状態と判定し、Ｓ偏光成分とＰ偏光成とがほぼ等しい場合に路面が乾燥状態と判定してもよい。
【００２１】
湿潤状態においては路面が水で覆われているので、路面での反射光は水中から空気中に透過する。Ｐ偏光成分の方がＳ偏光成分より、水から空気への透過率が高いので、Ｐ偏光成分が大きい場合に湿潤状態と判定することができる。
【００２２】
上記路面状態検出装置において、前記路面状態判定部は、前記偏光画像撮像部にて撮像したフレームが路上ペイントの画像を含むときに、そのフレームを路面判断から除外してもよい。
【００２３】
路上ペイントは反射率が高いため、環境光の反射光量が大きくなる。本発明の構成により、路上ペイントの画像を含むフレームを路面判断から除外することにより、路面状態を適切に検出できる。
【００２４】
上記路面状態検出装置は、路上ペイントの画像を含まないフレームを基準画像として記憶した基準画像記憶部を備え、前記路面状態判定部は、前記偏光画像撮像部にて撮像されたフレームの全画素の中から位置的な偏りなく選んだ画素のＳ偏光成分とＰ偏光成分の比較データのヒストグラムと、前記基準画像の全画素の中から位置的な偏りなく選んだ画素のＳ偏光成分とＰ偏光成分の比較データのヒストグラムとを比較することによって前記フレームに路上ペイントが含まれるか否かを判定してもよい。
【００２５】
このように基準画像と撮像画像の比較データのヒストグラムを比較することによって路上ペイントの有無を判定できる。なお、基準画像記憶部には、あらかじめ撮像した路上ペイントを含まない画像を記憶しておいてもよい。また、路上ペイントが含まれるか否かの判定により、路上ペイントが含まれないとされた画像によって、基準画像記憶部に記憶された画像を更新してもよい。
【００２６】
上記路面状態検出装置において、前記路面状態判定部は、地図情報および車両の現在位置の情報に基づいて車両が走行中の道路環境を取得し、前記道路環境に基づいて車両が路上ペイントの多い場所を走行しているか否かを判定し、路上ペイントの多い場所を走行中にＳ偏光成分およびＰ偏光成分の取得を停止するように前記偏光成分取得部を制御してもよい。
【００２７】
この構成により、路上ペイントが含まれる可能性の高い場所から得られたＳ偏光成分およびＰ偏光成分を路面判断から除外することができる。「道路環境」とは、走行中の車両の周囲の道路や施設の情報である。なお、道路環境は、路面状態検出装置が判別してもよいし、路面状態検出装置と連携したナビゲーション装置から取得してもよい。
【００２８】
上記路面状態検出装置において、前記路面状態判定部は、前記代表値として、複数の比較データの中央値を求めてもよい。
【００２９】
中央値は、有限個のデータをソートしたとき、中央に位置する値である。環境光の影響の大きい比較データを含んでいる場合でも、環境光の影響の小さい比較データの方が環境光の影響の大きい比較データより多ければ、中央には環境光の影響の小さい比較データが位置する。従って、代表値として中央値を用いることにより、環境光の影響の小さい比較データを用いて、適切に路面状態を判定することができる。
【００３０】
本発明の路面状態検出方法は、路面からの反射光に含まれる複数のＳ偏光成分およびＰ偏光成分を取得するステップと、前記複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求めるステップと、求めた複数の比較データの代表値を求めるステップと、前記代表値に基づいて路面状態を判定するステップとを備える。
【００３１】
この構成により、本発明の路面状態検出装置と同様に、路面からの反射光の複数のＳ偏光成分とＰ偏光成分との比較データの代表値を求めることにより、環境光の影響を低減し、路面状態を精度良く検出できる。また、本発明の路面状態検出装置の各種の構成を本発明の路面状態検出方法に適用することが可能である。
【００３２】
本発明のプログラムは、前記路面からの反射光のＳ偏光成分およびＰ偏光成分を取得する偏光成分取得部を備えるコンピュータによって、路面状態を検出するためのプログラムであって、前記コンピュータに、複数のＳ偏光成分およびＰ偏光成分を得るステップと、前記複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求めるステップと、求めた複数の比較データの代表値を求めるステップと、前記代表値に基づいて路面状態を判定するステップとを実行させる。
【００３３】
この構成により、本発明の路面状態検出装置と同様に、路面からの反射光の複数のＳ偏光成分とＰ偏光成分との比較データの代表値を求めることにより、環境光の影響を低減し、路面状態を精度良く検出できる。また、本発明の路面状態検出装置の各種の構成を本発明のプログラムに適用することが可能である。
【発明の効果】
【００３４】
本発明によれば、路面からの反射光の複数のＳ偏光成分とＰ偏光成分との比較データの代表値を求めることにより、環境光の影響を低減し、路面状態を精度良く検出できる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態の路面状態検出装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の路面状態検出装置１の構成を示す図である。路面状態検出装置１は、路面を照射するヘッドライト１０と、路面のＰ偏光画像およびＳ偏光画像を撮像するカメラ１２と、カメラ１２にて撮像したＰ偏光画像およびＳ偏光画像を用いて路面状態を検出する処理を行う制御部１８とを有している。
【００３６】
カメラ１２は、ヘッドライト１０からの光の反射光が強い範囲を撮像することが好ましい。なお、本明細書において、「環境光」は、自車両のヘッドライト以外の光源に基づく光であり、例えば、街灯や対向車のヘッドライト等の光である。「反射光」は、カメラ１２に入射される路面からの光全般を指し、全反射（鏡面反射）した光のみを指すものではない。ヘッドライト１０の光や環境光は、例えば、路面上に溜まった水によって鏡面反射し、路面の凹凸によって散乱するが、「反射光」はいずれも含む。カメラ１２は、Ｐ偏光画像取得部１４とＳ偏光画像取得部１６とを有している。カメラ１２に入射された路面からの光がハーフミラー等によって二分され、Ｐ偏光画像取得部１４およびＳ偏光画像取得部１６に入射される。従って、Ｐ偏光画像取得部１４とＳ偏光画像取得部１６は、同一の画像に対するＰ偏光画像とＳ偏光画像を取得する。Ｐ偏光画像取得部１４は、Ｐ偏光のみを透過するＰ偏光フィルタとＣＣＤ等の撮像デバイスとから構成されている。同様に、Ｓ偏光画像取得部１６は、Ｓ偏光のみを透過するＳ偏光フィルタとＣＣＤ等の撮像デバイスとから構成されている。
【００３７】
図２は、Ｐ偏光成分およびＳ偏光成分について説明するための図である。Ｐ偏光成分とは、図２に示すように、反射面に垂直な面内（反射面に立てた法線と光の進行方向を含む面）で振動する波である。Ｓ偏光成分とは、Ｐ偏光の振動面と垂直な面内で振動する波である。
【００３８】
図１を再び参照して路面状態検出装置１の構成について説明する。制御部１８は、カメラ画像取得制御部２０と、ノイズ除去部２２と、偏光差分データ算出部２４と、路面状態判定部３０とを有している。また、路面状態判定部３０は、路面状態判定許可部２５を有し、路面状態判定許可部２５は中央値計算部２６と収束判定部２８とを含んでいる。図１では、制御部１８が有する機能を機能ブロックで示しているが、制御部１８の機能は、例えば、メモリに格納したプログラムをＣＰＵによって実行することによって実現することができる。
【００３９】
図３は、路面状態検出装置１の制御部１８の機能を実現するための路面状態検出プログラム５０の例を示す図である。路面状態検出プログラム５０は、カメラ画像取得制御サブプログラム５２と、ノイズ除去サブプログラム５４と、偏光差分データ算出サブプログラム５６と、路面状態判定サブプログラム６２とを有している。また、路面状態判定サブプログラム６２は、路面状態判定許可サブプログラム５７を有しており、路面状態判定許可サブプログラム５７は、さらに中央値計算サブプログラム５８と収束判定サブプログラム６０とを含んでいる。カメラ画像取得制御サブプログラム５２をＣＰＵによって実行することにより、制御部１８のカメラ画像取得制御部２０の機能が実現される。これにより、路面状態検出装置１は、カメラ１２にて撮像したカメラ画像の取得制御を行う。ノイズ除去サブプログラム５４をＣＰＵによって実行することによりノイズ除去部２２の機能を実現する。同様に、偏光差分データ算出サブプログラム５６、路面状態判定許可サブプログラム５７、中央値計算サブプログラム５８、収束判定サブプログラム６０、路面状態判定サブプログラム６２をそれぞれ、ＣＰＵによって実行することにより、偏光差分データ算出部２４、路面状態判定許可部２５、中央値計算部２６、収束判定部２８、路面状態判定部３０の機能を実現する。
【００４０】
次に、制御部１８の構成について説明する。カメラ画像取得制御部２０は、カメラ１２が撮像した画像を取得するタイミングを制御する。カメラ１２は常時路面を撮像しており、カメラ画像取得制御部２０は、常時撮像したカメラ画像の中からカメラ画像を取得する。カメラ画像取得制御部２０は、車両の走行中に所定時間に亘ってカメラ画像を取得し、車両の停止中にはカメラ画像の取得を停止する。車両の停止中にカメラ画像を取得しても、路面の同じ部分の画像しか得られないため、その路面がたまたま環境光の影響が大きい場合だと、代表値は環境光の影響を受けてしまうからである。カメラ画像取得制御部２０は、車両の走行速度に応じてカメラ画像取得のタイミングを変えてもよい。例えば、車両が低速で走行しているときには、車両が高速で走行しているときより、カメラ画像を取得する時間を長くしてもよい。これにより、高速走行の場合と低速走行の場合とで、撮像対象となる路面の大きさをほぼ一定に保つことができる。
【００４１】
ノイズ除去部２２は、カメラ１２にて撮像したＰ偏光画像およびＳ偏光画像から、環境光によるものではないノイズを除去する処理を行う。例えば、カメラの受光感度の広さによっては、入射光の強度を輝度値として表現しきれないことがあるので、ノイズ除去部２２は、各画素の値が０〜２５５であるとした場合、画素値０および画素値２５５の画素をノイズであると判定し、その画素データを以下の計算に用いないように除去する。実際の明るさが画素値２５５に相当する明るさより明るい場合には、画素値としては２５５となってしまうので、画素値２５５は正しい値を表わしていない場合があるので、ノイズ除去部２２は、画素値２５５をノイズとして除去する。画素値０についても同様の理由からノイズとして処理する。なお、どの範囲の画素値をノイズとして扱うかは、カメラ１２によって適切な範囲を設定することとしてもよい。
【００４２】
偏光差分データ算出部２４は、カメラ１２にて撮像したＰ偏光画像およびＳ偏光画像に基づいて、画像内の各画素のＰ偏光強度とＳ偏光強度を求め、求めたＰ偏光強度とＳ偏光強度との差分を算出する。カメラ１２は、被写体からの光をハーフミラー等によって二分してＰ偏光画像およびＳ偏光画像を得ているので、路面上の同じ地点を映した画素のＰ偏光強度とＳ偏光強度とを求めることができる。なお、各画素のＰ偏光強度およびＳ偏光強度は所定の地点におけるＰ偏光成分およびＳ偏光成分である。従って、各画素のＰ偏光強度およびＳ偏光強度を求めるための、カメラ１２および偏光差分データ算出部２４の構成は、本発明の「偏光成分取得部」に相当する。
【００４３】
偏光差分データ算出部２４は、ノイズではない有効な画素について、Ｓ偏光画像の画素値からＰ偏光画像の画素値を減算することによって、画素値の差分を求める。以下、この差分のデータを「偏光差分データ」という。偏光差分データ算出部２４は、算出した偏光差分データを、偏光差分データ記憶部３２に記憶する。偏光差分データ記憶部３２には、路面状態の検出が完了するまで、偏光差分データ算出部２４にて求めた偏光差分データを記憶していく。
【００４４】
偏光差分データ算出部２４は、一のフレーム内の画素についてだけではなく複数のフレーム内にある画素について偏光差分データを求める。
図４（ａ）〜図４（ｃ）は、画像に含まれる全有効画素の偏光差分データのヒストグラムの一例を示す図である。図４（ａ）は複数フレームの画像に含まれる偏光差分データのヒストグラム、図４（ｂ）は環境光の影響の小さいフレームの画像に含まれる偏光差分データのヒストグラム、図４（ｃ）は環境光の影響の大きいフレームの画像に含まれる偏光差分データのヒストグラムである。図４（ｂ）に示すように、環境光の影響が小さいフレームの偏光差分データのヒストグラムでは、頻度のデータはマイナス側に多く分布する。図４（ｃ）に示すように、環境光の影響が大きいフレームの偏光差分データのヒストグラムでは、頻度のデータはプラス側に多く分布する。このように、フレーム毎の偏光差分データのヒストグラムは、環境光の影響の大きさに応じて異なる。複数フレームの偏光差分データのヒストグラムは、図４（ａ）に示すように、頻度のデータは、マイナス側にもプラス側にも分布するが、マイナス側の方の多くなる傾向がある。走行中に撮像された複数のフレームには、車両の走行に応じて路面の異なる部分が撮像されているので、撮像範囲の一部に環境光が含まれるとしても環境光の影響が小さい部分をも含む広い範囲から得られた反射光の偏光差分データを求めることができるためと考えられる。
【００４５】
路面状態判定部３０は、路面状態判定許可部２５を有し、路面状態の判定を許可するか否かを判定し、路面状態の判定を許可する場合に、偏光差分データを用いて路面状態を判定する。路面状態判定許可部２５は、中央値計算部２６と収束判定部２８とを有する。中央値計算部２６にて複数の偏光差分データの中央値を求め、収束判定部２８にて中央値が収束したか否かを判定し、中央値が収束した場合に、路面状態判定許可部２５は路面状態の判定を許可する。そして、路面状態判定部３０は、収束した中央値に基づいて路面の状態を判定する。以下、中央値計算部２６および収束判定部２８について説明する。
【００４６】
中央値計算部２６は、撮像された画像に含まれる全有効画素の偏光差分データの中央値を求める。中央値は、偏光差分データを大きさに応じてソートしたときに中央に位置する値である。中央値計算部２６は、カメラ１２から新しいフレームを取得する毎に新しいフレームから得られた偏光差分データを加えて、偏光差分データの中央値の計算を行う。具体的には、偏光差分データ記憶部３２に全有効画素の偏光差分データが記憶されているので、中央値計算部２６は、偏光差分データ記憶部３２に記憶された偏光差分データを用いて中央値を計算する。
【００４７】
収束判定部２８は、新しいフレームを取得する毎に計算される偏光差分データの中央値の変動が収束したか否かを判定する。
【００４８】
図５は、中央値計算部２６にて計算される中央値の変動を示す図である。図５に示す例では、１０フレームの撮像画像を用いて偏光差分データの中央値を求めると−３５となり、２０フレームでは−３０、４０フレームでは−２５となる。この例では、フレーム数が増えると、徐々に偏光差分データの中央値は大きくなり、４０〜８０フレームでは−２５〜−２３の範囲で変動する。このように計算に用いるフレーム数が増えると、環境光の影響を低減でき、偏光差分データの中央値の変動は収束する。なお、中央値は、路面の濡れ度合い、周辺の明るさ、またはカメラの受光感度によって変化する値であり、図５に示した偏光差分データの中央値は一例にすぎない。
【００４９】
収束判定部２８は、例えば、偏光差分データの中央値が所定の閾値の範囲内で変動する状態が所定のフレーム数に亘って継続した場合に、変動が収束したと判定する。路面状態許可部２５は、収束判定部２８にて変動が収束したと判定した場合には、路面状態判定を許可し、路面状態判定を許可するという判定結果をカメラ画像取得制御部２０に通知する。この通知を受けて、カメラ画像取得制御部２０は、カメラ画像の取得を停止するようにカメラ１２を制御する。
【００５０】
路面状態判定部３０は、中央値計算部２６および収束判定部２８にて求めた偏光差分データの中央値に基づいて、路面が乾燥状態であるか湿潤状態であるかを判定する。路面が乾燥状態の場合には、路面で散乱した光がカメラ１２に入射するので、Ｓ偏光強度とＰ偏光強度はほぼ等しくなる。路面が湿潤状態の場合には、路面で散乱した光が路面にある水分を透過してカメラ１２に入射する。水から空気中への光の透過率は、Ｐ偏光の方がＳ偏光より大きいので、カメラ１２が受ける光は、Ｐ偏光強度の方がＳ偏光強度より大きくなる。
【００５１】
図６は、路面状態と偏光差分データ（Ｓ−Ｐ）との関係を示す図である。図６に示すように路面が乾燥状態である場合には偏光差分データはほぼ０となる。若干の誤差があるので、図６では乾燥時の偏光差分データが０の近辺にばらついている。路面が湿潤状態である場合には、偏光差分データは、負の値となる。なお、カメラの受光感度によって、反射光の強度を示す値は変化するが、乾燥状態で偏光差分データが０の近辺の値をとり、湿潤状態で偏光差分データが負の値をとるという傾向は、カメラの受光感度に拘わらず同じである。従って、路面状態判定部３０は、誤差分を考慮して、例えば、偏光差分データが−１０以上の場合に乾燥状態と判定し、偏光差分データが−１０より小さい場合に湿潤状態と判定する。なお、路面状態の判定のための閾値は、カメラ１２の特性等に応じて適切に決定することができる。
【００５２】
図７は、第１の実施の形態の路面状態検出装置１の動作を示すフローチャートである。路面状態検出装置１は、車両の走行中に路面のＳ偏光画像およびＰ偏光画像をカメラ１２にて撮像する（Ｓ１０）。制御部１８は、１フレームのＳ偏光画像およびＰ偏光画像を撮像すると、撮像したＳ偏光画像およびＰ偏光画像から、環境光によるものではないノイズを除去する（Ｓ１２）。なお、本実施の形態では、１フレーム撮像する毎に画像処理を行う例について説明するが、複数フレーム撮像した段階でステップＳ１２以降の処理に移行することとしてもよい。続いて、路面状態検出装置１の制御部１８は、フレーム内にある有効な画素の偏光差分データを求め（Ｓ１４）、求めた偏光差分データを偏光差分データ記憶部３２に記憶する（Ｓ１６）。
【００５３】
次に、制御部１８は、偏光差分データ記憶部３２に記憶された全ての偏光差分データを読み出し、偏光差分データの中央値を求め（Ｓ１８）、中央値の変動が収束したか否かを判定する（Ｓ２０）。すなわち、制御部１８は、路面状態の判定を許可するか否か判定する。中央値の変動が収束していないと判定された場合（Ｓ２０でＮＯ）、すなわち、路面状態の判定を許可しないと判定された場合、路面状態検出装置１は、Ｓ偏光画像およびＰ偏光画像を撮像する処理（Ｓ１０）に移行する。路面状態検出装置１は、偏光差分データの中央値の変動が収束するまで、上記の処理を繰り返す。
【００５４】
最初のフレームを処理した段階では、偏光差分データ記憶部３２には１フレーム内にある有効画素の偏光差分データが記憶されており、この段階で初めて偏光差分データの中央値が求まったので、変動が収束していない。従って、路面状態検出装置１は、路面を撮像する処理に移行する（Ｓ１０）。路面状態検出装置１は、上記と同じ動作を繰り返し、２フレーム目に含まれる画素の偏光差分データを求め（Ｓ１４）、偏光差分データ記憶部３２に記憶する（Ｓ１６）。この段階で、偏光差分データ記憶部３２には、１フレームと２フレームの中にある画素の偏光差分データが記憶される。制御部１８は、偏光差分データ記憶部３２に記憶された偏光差分データを読み出し、１フレームと２フレームの中にある画素の偏光差分データの中央値を求める（Ｓ１８）。以下、同様に、新しくフレームを撮像し（Ｓ１０）、新しく撮像したフレームの偏光差分データを加えた全撮像フレームの画素の偏光差分データの中央値を求め（Ｓ１８）、中央値の変動が収束したか否かを判定する（Ｓ２０）。
【００５５】
中央値が収束したと判定された場合（Ｓ２０でＹＥＳ）、すなわち、路面状態の判定を許可すると判定された場合、制御部１８は、路面状態を判定する処理に移行する（Ｓ２２）。制御部１８は、カメラ１２による路面の撮像を停止してもよい。制御部１８は、偏光差分データの中央値と所定の閾値とを比較し、中央値が所定の閾値より小さい場合に路面が湿潤状態であると判定し、中央値が所定の閾値以上の場合に乾燥状態と判定する。
【００５６】
次に、路面状態判定装置１は、路面状態の判定結果を車両に通知し、車両は路面状態に基づいてヘッドライト１０の制御を行う（Ｓ２４）。具体的には、車両は、路面状態に基づいてヘッドライト１０の光軸を上下に制御する。路面状態が乾燥から湿潤に変わったときはヘッドライト１０の光軸を上げ、湿潤から乾燥に変わったときはヘッドライト１０の光軸を下げる。
以上、第１の実施の形態の路面状態検出装置１の構成および動作について説明した。
【００５７】
本実施の形態の路面状態検出装置１は、車両の走行中に所定時間に亘って撮像した画像から得られた複数の画素の偏光差分データの中央値を用いて路面状態を判定するので、一部に環境光のある路面の画像を含んでいても、環境光のある画像に起因する偏光差分データの影響を低減でき、環境光の少ない路面における偏光差分データに基づいて、適切に路面状態を判定することができる。
【００５８】
なお、本実施の形態の路面状態検出装置１は、路面上において、環境光の影響が少ない領域は環境光の影響が大きい領域より広いということを前提としている。例えば、周期的な環境光の原因となる街灯は、法規によって２０〜３０ｍおきに設置することが定められている。ただし、交差点や視界の悪い道路等では、設置間隔は短くなる。
【００５９】
図８は、街灯の間隔が３０ｍの場合を例として環境光の影響の大きい領域と、環境光の影響の小さい領域を示す図である。図８に示すように、街灯の影響が強い領域（距離）は、街灯間より短いので、環境光の影響が小さい街灯間の領域の方が環境光の影響が大きい領域より小さい。所定の道路空間（距離）において、路面状態を観測し、環境光（例えば街灯）の影響が小さい評価画像を環境光の影響が大きい評価画像より多く取得し、取得した評価画像の偏光差分データを大きさに応じてソートすると、環境光の影響の小さい偏光差分データが中央値となる。本実施の形態では、この中央値を用いて適切に路面状態を判定できる。なお、対向車のヘッドライトに関しては、対向車との距離が小さくなると、対向車のヘッドライトが照射する路面が横にくるため、自車のカメラから見えなくなり、影響が少なくなる。従って、所定の道路空間において路面状態を観測して、中央値を用いて路面状態を判定することにより、適切に路面状態を判定できる。
【００６０】
また、本実施の形態の路面状態検出装置１は、制御部１８にて中央値の変動が収束したか否かを判定し、変動が収束した場合に路面状態の判定を許可し、収束した中央値を用いて路面状態を求めるので、環境光の影響が小さい地点を映した画素の偏光差分データを路面状態の判定に用いることができる。
【００６１】
また、本実施の形態の路面状態検出装置１において、ヘッドライト１０は既存の設備を利用でき、カメラ１２は前方の状況をモニターするという他の用途にも利用可能なハードウェアである。すなわち、路面状態検出装置１は、路面状態を検出するためだけに必要な追加のハードウェアを用いないで実現できる。
【００６２】
（第２の実施の形態）
図９は、第２の実施の形態の路面状態検出装置２の構成を示す図である。第２の実施の形態の路面状態検出装置２の基本的な構成は、第１の実施の形態の路面状態検出装置１と同じであるが、中央値計算部２６による偏光差分データの中央値の求め方が異なる。
【００６３】
図１０（ａ）および図１０（ｂ）は、中央値計算部２６による中央値の計算の仕方の原理を説明する図である。図１０（ａ）に示すように、中央値計算部２６は、フレームごとに処理を行い、偏光差分データの各フレームの代表値を求める。代表値としては、フレーム内に含まれる画素の偏光差分データの中央値を用いてもよいし、平均値を用いてもよい。中央値計算部２６は、求めた代表値を代表値記憶部３４に記憶する。中央値計算部２６は、代表値記憶部３４から代表値を読み出し、図１０（ｂ）に示すように、代表値の中央値を求める。
【００６４】
図１１は、第２の実施の形態の路面状態検出装置２の動作を示すフローチャートである。路面状態検出装置２は、車両の走行中に路面のＳ偏光画像およびＰ偏光画像をカメラ１２にて撮像する（Ｓ３０）。路面状態検出装置２の制御部１８は、撮像したＳ偏光画像およびＰ偏光画像から、環境光の影響によるものでないノイズを除去し（Ｓ３２）、フレーム内にある有効な画素の偏光差分データを求め（Ｓ３４）、求めた偏光差分データを偏光差分データ記憶部３２に記憶する（Ｓ３６）。ここまでは、第１の実施の形態の路面状態検出装置１の動作と同じである。
【００６５】
偏光差分データ記憶部３２に偏光差分データを記憶した後（Ｓ３６）、制御部１８は、記憶された偏光差分データを用いて偏光差分データのフレームの代表値を計算する（Ｓ３８）。制御部１８は、代表値を代表値記憶部３４に記憶し（Ｓ４０）、偏光差分データ記憶部３２に記憶されたデータを削除する（Ｓ４２）。これにより、代表値記憶部３４には、各フレームの偏光差分データの代表値が記憶されていく。続いて、制御部１８は、代表値記憶部３４に記憶された偏光差分データのフレームの代表値を用いて、偏光差分データの中央値を求める（Ｓ４４）。
【００６６】
中央値を求めた後は、第１の実施の形態の路面状態検出装置１と同様に、中央値が収束したか否かを判定し（Ｓ４６）、中央値が収束していないと判定された場合には（Ｓ４６でＮＯ）、カメラ１２にて新しくＳ偏光画像、Ｐ偏光画像を撮像し（Ｓ３０）、上記した処理を繰り返す。中央値が収束したと判定された場合には（Ｓ４６でＹＥＳ）、その中央値を用いて路面状態を判定する（Ｓ４８）。路面状態を判定した後、路面状態判定装置２は、路面状態の判定結果を車両に通知し、車両は路面状態に基づいてヘッドライト１０の制御を行う（Ｓ４９）。
【００６７】
第２の実施の形態の路面状態検出装置２は、フレームごとに偏光差分データの代表値を求めて代表値記憶部３４に記憶し、代表値の計算が終了したフレームの偏光差分データを削除するので、路面状態の検出が完了するまで、全てのフレームの偏光差分データを記憶しておく必要がない。従って、小さいメモリによって広範囲の撮像データを処理することができる。
【００６８】
また、本実施の形態の路面状態検出装置２は、第１の実施の形態の路面状態検出装置１と同様に、環境光の影響を低減し、適切に路面状態を判定することができるという効果を有する。
【００６９】
なお、本実施の形態では、フレームの代表値を求め、複数のフレームのそれぞれの代表値の中央値を求める例について説明したが、フレームの中央値を求め、複数のフレームのそれぞれの中央値の代表値を求めることとしても、本実施の形態と同様に、適切に路面状態を判定できる。
【００７０】
（第３の実施の形態）
図１２は、第３の実施の形態の路面状態検出装置３の構成を示す図である。第３の実施の形態の路面状態検出装置３の基本的な構成は、第１の実施の形態の路面状態検出装置１と同じであるが、制御部１８が路上ペイント判定部３８を有する点が異なる。路上ペイント判定部３８は、撮像画像が路上ペイントを含むか否かの判定を行う。路上ペイントとは、例えば、交差点付近における右左折の車線案内のペイントや横断歩道等のペイントである。路上ペイントは、路上ペイントがない部分に比べて反射率が高い。特に白の路上ペイントはガラスビーズを含んでおり、極めて反射率が高い。このため、路上ペイントは、路面状態の誤検出の原因となる場合がある。
【００７１】
路面状態検出装置３は、路上ペイントを含まないＰ偏光画像およびＳ偏光画像を基準画像として記憶した基準画像記憶部３６を有している。基準画像記憶部３６には、路上ペイントを含まない典型的な画像をあらかじめ撮像して記憶しておく。
【００７２】
路上ペイント判定部３８は、基準画像記憶部３６から読み出した基準画像の偏光差分データのヒストグラムと、撮像された画像の偏光差分データのヒストグラムとを比較することによって、撮像された画像が路上ペイントを含む画像か否かを判定する。制御部１８は、撮像された画像が路上ペイントを含むと判定した場合には、その画像から得られた偏光差分データを偏光差分データ記憶部３２から削除する。これにより、路面状態検出装置３は、路上ペイントを含む画像から得られた偏光差分データを除く偏光差分データを用いて路面状態の判定を行う。
【００７３】
図１３は、第３の実施の形態の路面状態検出装置３の動作を示すフローチャートである。路面状態検出装置３は、車両の走行中に路面のＳ偏光画像およびＰ偏光画像をカメラ１２にて撮像する（Ｓ５０）。路面状態検出装置３の制御部１８は、撮像したＳ偏光画像およびＰ偏光画像から、環境光の影響によるものでないノイズを除去し（Ｓ５２）、フレーム内にある有効な画素の偏光差分データを求め（Ｓ５４）、求めた偏光差分データを偏光差分データ記憶部３２に記憶する（Ｓ５６）。ここまでは、第１の実施の形態の路面状態検出装置１の動作と同じである。
【００７４】
次に、制御部１８は、撮像した画像が路上ペイントを含むか否かを判定する路面ペイント判定処理を行う（Ｓ５８）。制御部１８は、偏光差分データ記憶部３２に記憶された偏光差分データのヒストグラムと、基準画像記憶部３６に記憶された基準画像の偏光差分データのヒストグラムとを比較することによって路上ペイントの有無を判定する。路上ペイント判定処理の一例については後述する。
【００７５】
制御部１８は、路上ペイント判定処理（Ｓ５８）の結果に基づいて、撮像した画像が路上ペイントを含むか否かを判定する（Ｓ６０）。撮像画像が路上ペイントを含むと判定された場合に（Ｓ６０でＹＥＳ）、制御部１８は、路上ペイントを含む画像に対応する偏光差分データを偏光差分データ記憶部３２から削除する処理を行う（Ｓ６２）。路上ペイントを含む画像の偏光差分データを削除した後、あるいは、路上ペイント判定処理において路上ペイントを含まないと判定された場合（Ｓ６０でＮＯ）、偏光差分データ記憶部３２に記憶された偏光差分データを読み出して、偏光差分データの中央値を計算する（Ｓ６４）。
【００７６】
中央値を求めた後は、第１の実施の形態の路面状態検出装置１と同様に、中央値が収束したか否かを判定し（Ｓ６６）、中央値が収束していないと判定された場合には（Ｓ６６でＮＯ）、カメラ１２にて新しくＳ偏光画像、Ｐ偏光画像を撮像し（Ｓ５０）、上記した処理を繰り返す。中央値が収束したと判定された場合には（Ｓ６６でＹＥＳ）、その中央値を用いて路面状態を判定する（Ｓ６８）。路面状態を判定した後、路面状態判定装置２は、路面状態の判定結果を車両に通知し、車両は路面状態に基づいてヘッドライト１０の制御を行う（Ｓ４９）。
【００７７】
次に、路上ペイント判定処理の一例について説明する。ただし、本発明の路上ペイント判定処理は、以下に説明する処理に限定されるものではない。
【００７８】
図１４は、路上ペイント判定処理の詳しい動作を示すフローチャートである。制御部１８は、基準画像記憶部３６に記憶された基準画像を読み出し（Ｓ７０）、読み出した基準画像に含まれる画素の偏光差分データを算出する（Ｓ７２）。次に、制御部１８は、基準画像の偏光差分データのヒストグラムを生成する（Ｓ７４）。なお、本実施の形態では、画像が路上ペイントの画像を含むか否かの判定を行う際に、基準画像記憶部３６から読み出した基準画像を用いて、偏光差分データのヒストグラムを求める例について説明するが、基準画像の偏光差分データのヒストグラムをあらかじめ求め、ヒストグラムを基準画像記憶部３６に記憶しておいてもよい。
【００７９】
次に、制御部１８は、偏光差分データ記憶部３２に記憶されたデータを用いて、判定対象のフレーム内にある画素の偏光差分データのヒストグラムを生成する（Ｓ７６）。この例では、判定対象の撮像画像は路上ペイントを含む画像として説明する。制御部１８は、基準画像の偏光差分データのヒストグラムと撮像画像の偏光差分データのヒストグラムの両方から、偏光差分データが「＋」の成分を除去する（Ｓ７８）。路上ペイントを含む画像は、偏光成分データの「−」の成分に特徴があるため、「−」の成分だけを比較すれば路上ペイントの有無を判断できるからである。
【００８０】
図１５（ａ）は、基準画像と撮像画像の偏光差分データのヒストグラムを示す図である。図１５（ａ）では、偏光差分データの「−」成分だけを記載している。図１５（ａ）に示すように、判定対象の撮像画像では、偏光差分データは−５０付近にピークを有している。つまり、この付近にピークを有することが、路上ペイントを含む画像の特徴である。
【００８１】
制御部１８は、基準画像のヒストグラムと撮像画像のヒストグラムの差分の絶対値を求める（Ｓ８０）。図１５（ａ）に、差分の絶対値のグラフを太線で示す。差分のグラフには２つのピークが現れるが、「−」成分の大きい方のピーク（図１５（ａ）における左側のピーク）を有する分布が路上ペイントからの反射光による分布である。従って、撮像画像のヒストグラムの分布が、撮像画像のヒストグラムの「−」成分の大きい方のピークを有する分布を有するか否かを判定することによって、撮像画像が路上ペイントの画像を含むか否かを判定できる。制御部１８は、差分のグラフの２つのピークの谷の部分が０になるように差分のグラフをシフトする（Ｓ８２）。
【００８２】
図１５（ｂ）は、シフト補正後の差分のグラフを示す図である。次に、制御部１８は、図１５（ｂ）に示す差分のグラフの「−」成分の平均値を計算し（Ｓ８４）、平均値と所定の閾値とを比較する（Ｓ８６）。制御部１８は、平均値が所定の閾値より大きいと判定された場合（Ｓ８６でＹＥＳ）、判定対象の画像が路上ペイントの画像を含むと判定し（Ｓ８８）、平均値が所定の閾値以下と判定された場合（Ｓ８６でＮＯ）、判定対象の画像は路上ペイントの画像を含まないと判定する（Ｓ９０）。なお、本実施の形態では、図１５（ｂ）に示すグラフの「−」成分の平均値に基づいて撮像画像が路上ペイントの画像を含むか否かを判定する例を説明したが、本発明は平均値を用いる方法に限定されず、例えば、「−」成分の分布の形を比較してもよい。以上、路上ペイント判定処理の動作について詳細に説明した。
【００８３】
第３の実施の形態の路面状態検出装置３は、撮像した画像に路上ペイントの画像が含まれるか否かを判定し、路上ペイントの画像が含まれる場合には、その画像に対応する偏光差分データを削除する。これにより、路上ペイントの画像が含まれていない画像だけを用いて路面状態を検出できるので、迅速に路面状態を検出することができる。路上ペイントを含む画像があっても、上記した第１の実施の形態または第２の実施の形態のように路面状態を適切に検出できるが、路上ペイントを含む画像を計算対象から除外することによって、偏光差分データの中央値がより速く収束する。
【００８４】
また、本実施の形態の路面状態検出装置３も、第１の実施の形態の路面状態検出装置１と同様に、環境光の影響を低減し、適切に路面状態を判定することができるという効果を有する。
【００８５】
（第４の実施の形態）
図１６は、第４の実施の形態の路面状態検出装置４の構成を示す図である。路面状態検出装置４は、ナビゲーション装置４６に接続されている。第４の実施の形態の路面状態検出装置４の基本的な構成は、第１の実施の形態の路面状態検出装置１と同じであるが、カメラ画像取得制御部２０によるカメラ画像取得制御の方法が異なる。
【００８６】
ナビゲーション装置４６は、車両の現在位置を検出する車両位置検出部４０と、道路や施設等の情報を含む地図情報を記憶した地図情報記憶部４２と、ナビゲーション装置４６の制御を行う制御部４４を有している。車両位置検出部４０は、車両の現在位置を検出する機能を有する。車両位置検出部４０としては、例えば、地磁気センサ、ジャイロスコープ、距離センサ、ＧＰＳ受信機、ステアリングの回転センサ、各転動輪の車両センサ等を用いることができる。車両位置検出部４０は、これらのいくつかのセンサを用いて構成してもよい。これらのセンサは、性質の異なる誤差を持っているので、複数のセンサで補完することにより、車両の現在位置を精度良く検出できる。制御部４４は、通常のナビゲーション装置の機能の他に、路面状態検出装置４からの要求に従って、車両が走行中の道路環境を取得する機能を有する。道路環境とは、走行中の車両の周囲の道路や施設の情報である。
【００８７】
カメラ画像取得制御部２０は、ナビゲーション装置４６から、車両が走行中の道路環境を取得する。カメラ画像取得制御部２０は、取得した道路環境に基づいて車両が交差点付近にいるか否かを判定し、交差点付近にいるときには、カメラ画像の取得を停止する。カメラ画像取得制御部２０は、あらかじめ所定の閾値（例えば１０ｍ等）を設定しておき、車両が交差点から閾値以内にあるときに交差点付近と判定し、車両が交差点から閾値以上離れているときに交差点付近ではないと判定することができる。
【００８８】
図１７は、第４の実施の形態の路面状態検出装置４の動作を示すフローチャートである。路面状態検出装置４は、まず、ナビゲーション装置４６から車両が走行中の道路環境を取得する（Ｓ１００）。この処理は、具体的には、ナビゲーション装置４６が路面状態検出装置４からの要求に応じて、車両の現在位置を検出し、検出した車両の現在位置と地図情報記憶部４２に記憶された地図情報とに基づいて、道路環境に関する情報を求める。そして、ナビゲーション装置４６は、求めた道路環境の情報を路面状態検出装置４に送信する。路面状態検出装置４は、道路環境の情報に基づいて、車両が交差点付近にあるか否かを判定する（Ｓ１０２）。
【００８９】
車両が交差点付近であると判定された場合（Ｓ１０２でＹＥＳ）、車両の現在位置を検出する処理（Ｓ１００）に戻り、車両が交差点付近にないと判定されるまで上記処理を繰り返す。車両が交差点付近にないと判定された場合（Ｓ１０２でＮＯ）、第１の実施の形態の路面状態検出装置１と同様の処理によって路面状態を検出する。
【００９０】
第４の実施の形態の路面状態検出装置４は、車両が交差点付近にあるときに路面の撮像を停止するので、交差点付近に多い路上ペイントを含む画像の撮像を回避し、路上ペイントを含まない画像を用いて路面状態の検出を行うことができる。
【００９１】
また、本実施の形態の路面状態検出装置４も、第１の実施の形態の路面状態検出装置１と同様に、環境光の影響を低減し、適切に路面状態を判定することができるという効果を有する。
【００９２】
なお、本実施の形態では、路上ペイントの多い場所として交差点を想定し、交差点付近において撮像を停止する例について説明したが、地図情報記憶部４２に、例えば、横断歩道や街灯等のある地点を記憶している場合には、横断歩道や街灯のある地点で撮像を停止することとしてもよい。
【００９３】
以上、本発明の路面状態検出装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
【００９４】
上記したいずれの実施の形態でもＳ偏光成分とＰ偏光成分との比較データとしてＳ変更成分とＰ偏光成分との差分を用いていたが、この比較データとしてＳ変更成分とＰ偏光成分との差分の代わりにＳ偏光成分とＰ偏光成分との比を用いても上述の実施形態と同様、路面状態を精度よく検出できる。
【００９５】
上記した実施の形態では、路面状態判定許可部２５は、偏光差分データの中央値の変動が収束したか否かに応じて、路面状態の判定を許可するか否かを判定したが、路面状態判定許可部２５による判定の方法は、上記した実施の形態に記載した方法に限定されない。例えば、路面状態判定許可部２５は、取得したＳ偏光成分およびＰ偏光成分のデータ数が所定の閾値を超えたか否かを判定し、データ数が所定の閾値を超えた場合に路面状態の判定を許可してもよい。閾値としては、例えば、十分大きいフレーム数（例えば１００フレーム）あるいは撮像時間（例えば、１０秒）を設定する。データ数が所定の閾値を超える場合には、広い範囲からＳ偏光成分およびＰ偏光成分を取得していることになるので、環境光の影響を低減し、路面状態の判定を適切に行うことができる。また、Ｓ偏光成分およびＰ偏光成分のデータを新たに取得する度に中央値の計算を行わなくてもよいので、プログラムを簡素化できる。また、このような構成をとることにより、一回の撮像で広範囲の画像を得られる場合に、一回の撮像にて得られた偏光画像を用いて路面状態を判定することが可能となる。
【００９６】
また、路面状態を検出するためのフレーム数や所定時間は、車両の走行速度に応じて変更してもよい。なお、ここでいう「所定時間」は、シャッター時間を意味するものではない。先に説明したように、街灯等の環境光の影響の少ない画像を取得するためには、所定の長さの路面を観測する必要があるので、車両の走行速度に応じてカメラ画像を取得する時間を変える必要がある。車両の走行速度が遅い場合には、走行速度が速い場合と同じ時間分のカメラ画像を取得しても、走行速度が速い場合に比べて小さい範囲の画像しか得られない。例えば、時速６０ｋｍで走行中の車両の場合に、６秒間に亘るカメラ画像を取得すれば１００ｍ分の画像を得られる。時速４０ｋｍで走行中の車両において、１００ｍ分の画像を得るためには、９秒間に亘るカメラ画像が必要となる。従って、走行速度が遅い場合には、長い時間撮像した画像を用いて路面状態を検出することが好ましい。
【００９７】
上記した実施の形態では、撮像したフレームのノイズでないと判定されたすべての画素を用いて路面状態の検出を行う例について説明したが、必ずしも全画素を用いる必要はない。例えば、撮像したフレームを複数のブロック（例えば５×５ブロック）に分割し、分割された各ブロックの中から１つずつ画素を選択し、選択した画素を用いて路面状態の検出を行なってもよい。これにより、少ないデータで路面状態の検出を行なえるので、偏光差分データを記憶する偏光差分データ記憶部３２を小容量のメモリによって構成することができる。なお、路面状態検出の計算に用いる画素を選択する場合には、環境光を含む画素だけを取得しないように、位置的な偏りなく画素を選択することが好ましい。
【００９８】
上記した第２の実施の形態では、フレームごとに代表値を求め、複数のフレームのそれぞれの代表値の中央値を求める例について説明したが、フレームごとの代表値を求めるのではなく、複数のフレームごとに代表値を求めることとしてもよい。この際、代表値を求める対象となる複数のフレームどうしの間で、一部を重複させることとしてもよい。例えば、フレーム１〜フレーム５の代表値、フレーム４〜フレーム８の代表値、フレーム７〜フレーム１１の代表値、・・・というように、２フレームずつ重複させた５フレームから代表値を求めてもよい。これにより、代表値を求める頻度を低下させることなく、代表値を求める対象となる範囲を広くすることができるので、迅速に路面状態を判定することができる。
【００９９】
上記した第３の実施の形態では、路上ペイントが含まれているか否かを撮像画像と基準画像とを比較することによって判定したが、別の方法によって路上ペイントの有無を判定してもよい。例えば、撮像画像に含まれる色を分析し、所定の閾値より白の画素が多い場合に、路上ペイントが含まれると判定してもよい。
【産業上の利用可能性】
【０１００】
以上説明したように、本発明は、路面状態を精度良く検出できるというすぐれた効果を有し、路面状態を検出して運転を支援する運転支援装置等に適用することができる。例えば、本発明をヘッドライトコントロールシステム（ＡＦＳ）に適用することにより、路面状態にかかわらず視認性を保持することができる。路面が乾燥状態の場合にはヘッドライトの光は路面で散乱して遠距離でも近距離でもほぼ一様の視認性を得られるが、路面が湿潤状態になると近距離においてヘッドライトの光の反射が強くなり、自車両のドライバにとってまぶしくなるので、視認性が低下する。本発明の路面状態検出装置によって路面状態を検出することにより、路面が湿潤状態になったときにヘッドライトを少し上げる。これにより、ヘッドライトの光の路面からの反射は、遠距離でも近距離でもほぼ一様となり、自車両のドライバの視認性が低下しないようにできる。また、別の例としては、路面が濡れているとタイヤと路面との間の摩擦が小さくなり滑りやすくなるので、路面状態の検出結果に基づいて車両制御を行うことにより、スリップを起こりにくくすることができる。
【図面の簡単な説明】
【０１０１】
【図１】第１の実施の形態の路面状態検出装置の構成を示す図である。
【図２】Ｐ偏光成分およびＳ偏光成分について説明する図である。
【図３】路面状態検出プログラムの例を示す図である。
【図４】（ａ）複数フレームの画像に含まれる偏光差分データのヒストグラムである。（ｂ）環境光の影響の小さいフレームの画像に含まれる偏光差分データのヒストグラムである。（ｃ）環境光の影響の大きいフレームの画像に含まれる偏光差分データのヒストグラムである。
【図５】偏光差分データの中央値とフレーム数との関係を示す図である。
【図６】偏光差分データと路面状態との関係を示す図である。
【図７】第１の実施の形態の路面状態検出装置の動作を示す図である。
【図８】環境光の影響の大きい領域と環境光の影響の小さい領域の例を示す図である。
【図９】第２の実施の形態の路面状態検出装置の構成を示す図である。
【図１０】（ａ）フレームごとの代表値を計算した例を示す図である。（ｂ）代表値の中央値を求めた例を示す図である。
【図１１】第２の実施の形態の路面状態検出装置の動作を示す図である。
【図１２】第３の実施の形態の路面状態検出装置の構成を示す図である。
【図１３】第３の実施の形態の路面状態検出装置の動作を示す図である。
【図１４】路上ペイント判定処理の動作を示す図である。
【図１５】（ａ）撮像画像、基準画像のヒストグラムおよびその差分を示す図である。（ｂ）差分をシフトした例を示す図である。
【図１６】第４の実施の形態の路面状態検出装置の構成を示す図である。
【図１７】第４の実施の形態の路面状態検出装置の動作を示す図である。
【符号の説明】
【０１０２】
１〜４ 路面状態検出装置
１０ ヘッドライト
１２ カメラ
１４ Ｐ偏光画像取得部
１６ Ｓ偏光画像取得部
１８ 制御部
２０ カメラ画像取得制御部
２２ ノイズ除去部
２４ 偏光差分データ算出部
２５ 路面状態判定許可部
２６ 中央値計算部
２８ 収束判定部
３０ 路面状態判定部
３２ 偏光差分データ記憶部
３４ 代表値記憶部
３６ 基準画像記憶部
３８ 路上ペイント判定部
４０ 車両位置検出部
４２ 地図情報記憶部
４４ 制御部
４６ ナビゲーション装置
５０ 路面状態検出プログラム
５２ カメラ画像取得制御サブプログラム
５４ ノイズ除去サブプログラム
５６ 偏光差分算出サブプログラム
５７ 路面状態判定許可サブプログラム
５８ 中央値計算サブプログラム
６０ 収束判定サブプログラム
６２ 路面状態判定サブプログラム
【特許請求の範囲】
【請求項１】
路面からの反射光のＳ偏光成分およびＰ偏光成分を取得する偏光成分取得部と、
前記Ｓ偏光成分および前記Ｐ偏光成分に基づいて路面状態を判定する路面状態判定部と、
を備え、
前記路面状態判定部は、
前記偏光成分取得部にて取得した複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求め、求めた複数の比較データの代表値を求め、前記代表値に基づいて路面状態を判定する路面状態検出装置。
【請求項２】
前記偏光成分取得部にて取得したＳ偏光成分およびＰ偏光成分のデータを用いて路面状態の判定を許可するか否かを判定する路面状態判定許可部を備え、
路面状態の判定を許可すると判定された場合に、前記路面状態判定部にて路面状態の判定を行い、路面状態の判定を許可しないと判定された場合に、前記偏光成分取得部にてＳ偏光成分およびＰ偏光成分を取得する請求項１に記載の路面状態検出装置。
【請求項３】
前記路面状態判定許可部は、取得したＳ偏光成分およびＰ偏光成分のデータ数に基づいて、路面状態の判定を許可するか否かを判定する請求項２に記載の路面状態検出装置。
【請求項４】
前記路面状態判定許可部は、新しく取得したＳ偏光成分およびＰ偏光成分の前記比較データを求め、新たに求めた前記比較データと前回までに得られた複数の比較データとを合わせた比較データから前記代表値を求める処理を繰り返し行ない、前記処理によって繰り返し算出される前記代表値の変動が収束した場合に、路面状態の判定を許可する請求項２に記載の路面状態検出装置。
【請求項５】
前記路面状態判定部は、あらかじめ定められた所定の単位ごとに前記比較データの中央値または平均値を求めて記憶し、記憶された中央値または平均値を用いて前記代表値を求める請求項１〜４のいずれかに記載の路面状態検出装置。
【請求項６】
前記偏光成分取得部は、
前記路面のＳ偏光画像およびＰ偏光画像を撮像する偏光画像撮像部を備え、
撮像したＳ偏光画像およびＰ偏光画像自体の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分およびＰ偏光成分を求める請求項１〜５のいずれかに記載の路面状態検出装置。
【請求項７】
前記偏光成分取得部は、
車両の走行中に所定時間に亘って撮像した複数のフレームのＳ偏光画像およびＰ偏光画像に基づいて、前記複数のフレームの全画素の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分およびＰ偏光成分を求める請求項１〜５のいずれかに記載の路面状態検出装置。
【請求項８】
前記路面状態判定部は、前記代表値に基づいて、Ｐ偏光成分の方がＳ偏光成分より大きい場合に路面が湿潤状態と判定し、Ｓ偏光成分とＰ偏光成分とがほぼ等しい場合に路面が乾燥状態と判定する請求項１〜７のいずれかに記載の路面状態検出装置。
【請求項９】
前記路面状態判定部は、前記偏光画像撮像部にて撮像したフレームが路上ペイントの画像を含むときに、そのフレームを路面判断から除外する請求項６〜８のいずれかに記載の路面状態検出装置。
【請求項１０】
路上ペイントの画像を含まないフレームを基準画像として記憶した基準画像記憶部を備え、
前記路面状態判定部は、前記偏光画像撮像部にて撮像されたフレームの全画素の中から位置的な偏りなく選んだ画素のＳ偏光成分とＰ偏光成分の比較データのヒストグラムと、前記基準画像の全画素の中から位置的な偏りなく選んだ画素のＳ偏光成分とＰ偏光成分の比較データのヒストグラムとを比較することによって前記フレームに路上ペイントが含まれるか否かを判定する請求項９に記載の路面状態検出装置。
【請求項１１】
前記路面状態判定部は、地図情報および車両の現在位置の情報に基づいて車両が走行中の道路環境を取得し、前記道路環境に基づいて車両が路上ペイントの多い場所を走行しているか否かを判定し、路上ペイントの多い場所を走行中にＳ偏光成分およびＰ偏光成分の取得を停止するように前記偏光成分取得部を制御する請求項１〜１０のいずれかに記載の路面状態検出装置。
【請求項１２】
前記路面状態判定部は、前記代表値として、複数の比較データの中央値を求める請求項１〜１１のいずれかに記載の路面状態検出装置。
【請求項１３】
路面からの反射光に含まれる複数のＳ偏光成分およびＰ偏光成分を取得するステップと、
前記複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求めるステップと、
求めた複数の比較データの代表値を求めるステップと、
前記代表値に基づいて路面状態を判定するステップと、
を備える路面状態検出方法。
【請求項１４】
前記路面からの反射光のＳ偏光成分およびＰ偏光成分を取得する偏光成分取得部を備えるコンピュータによって、路面状態を検出するためのプログラムであって、前記コンピュータに、
複数のＳ偏光成分およびＰ偏光成分を得るステップと、
前記複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求めるステップと、
求めた複数の比較データの代表値を求めるステップと、
前記代表値に基づいて路面状態を判定するステップと、
を実行させるプログラム。
【請求項１】
路面からの反射光のＳ偏光成分およびＰ偏光成分を取得する偏光成分取得部と、
前記Ｓ偏光成分および前記Ｐ偏光成分に基づいて路面状態を判定する路面状態判定部と、
を備え、
前記路面状態判定部は、
前記偏光成分取得部にて取得した複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求め、求めた複数の比較データの代表値を求め、前記代表値に基づいて路面状態を判定する路面状態検出装置。
【請求項２】
前記偏光成分取得部にて取得したＳ偏光成分およびＰ偏光成分のデータを用いて路面状態の判定を許可するか否かを判定する路面状態判定許可部を備え、
路面状態の判定を許可すると判定された場合に、前記路面状態判定部にて路面状態の判定を行い、路面状態の判定を許可しないと判定された場合に、前記偏光成分取得部にてＳ偏光成分およびＰ偏光成分を取得する請求項１に記載の路面状態検出装置。
【請求項３】
前記路面状態判定許可部は、取得したＳ偏光成分およびＰ偏光成分のデータ数に基づいて、路面状態の判定を許可するか否かを判定する請求項２に記載の路面状態検出装置。
【請求項４】
前記路面状態判定許可部は、新しく取得したＳ偏光成分およびＰ偏光成分の前記比較データを求め、新たに求めた前記比較データと前回までに得られた複数の比較データとを合わせた比較データから前記代表値を求める処理を繰り返し行ない、前記処理によって繰り返し算出される前記代表値の変動が収束した場合に、路面状態の判定を許可する請求項２に記載の路面状態検出装置。
【請求項５】
前記路面状態判定部は、あらかじめ定められた所定の単位ごとに前記比較データの中央値または平均値を求めて記憶し、記憶された中央値または平均値を用いて前記代表値を求める請求項１〜４のいずれかに記載の路面状態検出装置。
【請求項６】
前記偏光成分取得部は、
前記路面のＳ偏光画像およびＰ偏光画像を撮像する偏光画像撮像部を備え、
撮像したＳ偏光画像およびＰ偏光画像自体の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分およびＰ偏光成分を求める請求項１〜５のいずれかに記載の路面状態検出装置。
【請求項７】
前記偏光成分取得部は、
車両の走行中に所定時間に亘って撮像した複数のフレームのＳ偏光画像およびＰ偏光画像に基づいて、前記複数のフレームの全画素の中から位置的な偏りなく選んだ複数の画素のＳ偏光成分およびＰ偏光成分を求める請求項１〜５のいずれかに記載の路面状態検出装置。
【請求項８】
前記路面状態判定部は、前記代表値に基づいて、Ｐ偏光成分の方がＳ偏光成分より大きい場合に路面が湿潤状態と判定し、Ｓ偏光成分とＰ偏光成分とがほぼ等しい場合に路面が乾燥状態と判定する請求項１〜７のいずれかに記載の路面状態検出装置。
【請求項９】
前記路面状態判定部は、前記偏光画像撮像部にて撮像したフレームが路上ペイントの画像を含むときに、そのフレームを路面判断から除外する請求項６〜８のいずれかに記載の路面状態検出装置。
【請求項１０】
路上ペイントの画像を含まないフレームを基準画像として記憶した基準画像記憶部を備え、
前記路面状態判定部は、前記偏光画像撮像部にて撮像されたフレームの全画素の中から位置的な偏りなく選んだ画素のＳ偏光成分とＰ偏光成分の比較データのヒストグラムと、前記基準画像の全画素の中から位置的な偏りなく選んだ画素のＳ偏光成分とＰ偏光成分の比較データのヒストグラムとを比較することによって前記フレームに路上ペイントが含まれるか否かを判定する請求項９に記載の路面状態検出装置。
【請求項１１】
前記路面状態判定部は、地図情報および車両の現在位置の情報に基づいて車両が走行中の道路環境を取得し、前記道路環境に基づいて車両が路上ペイントの多い場所を走行しているか否かを判定し、路上ペイントの多い場所を走行中にＳ偏光成分およびＰ偏光成分の取得を停止するように前記偏光成分取得部を制御する請求項１〜１０のいずれかに記載の路面状態検出装置。
【請求項１２】
前記路面状態判定部は、前記代表値として、複数の比較データの中央値を求める請求項１〜１１のいずれかに記載の路面状態検出装置。
【請求項１３】
路面からの反射光に含まれる複数のＳ偏光成分およびＰ偏光成分を取得するステップと、
前記複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求めるステップと、
求めた複数の比較データの代表値を求めるステップと、
前記代表値に基づいて路面状態を判定するステップと、
を備える路面状態検出方法。
【請求項１４】
前記路面からの反射光のＳ偏光成分およびＰ偏光成分を取得する偏光成分取得部を備えるコンピュータによって、路面状態を検出するためのプログラムであって、前記コンピュータに、
複数のＳ偏光成分およびＰ偏光成分を得るステップと、
前記複数のＳ偏光成分とＰ偏光成分のそれぞれの比較データを求めるステップと、
求めた複数の比較データの代表値を求めるステップと、
前記代表値に基づいて路面状態を判定するステップと、
を実行させるプログラム。
【図５】
【図６】
【図１０】
【図１５】
【図１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図６】
【図１０】
【図１５】
【図１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【公開番号】特開２００９−２５１９８（Ｐ２００９−２５１９８Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１８９７３１（Ｐ２００７−１８９７３１）
【出願日】平成１９年７月２０日（２００７．７．２０）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月２０日（２００７．７．２０）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]