路面状態検出装置及び方法
【課題】路面画像を演算処理することによって、路面の乾湿状態を低コストで精度よく判定できるようにする。
【解決手段】カメラ1で撮影された画像についてガボールフィルタ処理して、短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得る(処理部12)。この両データから正規化処理して(処理部13)、正規化値を所定のしきい値と比較することにより、路面の乾湿状態が判定される。
【解決手段】カメラ1で撮影された画像についてガボールフィルタ処理して、短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得る(処理部12)。この両データから正規化処理して(処理部13)、正規化値を所定のしきい値と比較することにより、路面の乾湿状態が判定される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、路面の乾湿状態を検出する路面状態検出装置及び方法に関するものである。
【背景技術】
【0002】
路面の乾湿状態、つまり路面が濡れているか乾燥しているかを知ることは、例えば自動車等の車両の安全走行の上で好ましいものとなる。路面の乾湿状態を検出するため、特許文献1には、路面から反射されるS偏光成分とP偏光の成分から比較データ代表値を求めて、この代表値に基づいて路面の乾湿状態を判定することが開示されている。また、特許文献2には、路面の水しぶきが発生する画像からフーリエ変換を行って、この変換後のデータに基づいて路面の乾湿状態を判定することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−25198号公報
【特許文献2】特開2007−322231号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
前述した特許文献2に記載のものでは、水しぶきが発生するような多量の雨水が路面に存在しないと湿潤状態であると判定することができないため、判定精度や汎用性の低いものとなる。また、特許文献1に記載のものでは、PとSとの偏光成分を得るために、カメラに対して別途ハーフミラーや偏光フィルタを設ける必要があり、高コストとなってしまう。
【0005】
本発明は以上のような事情を勘案してなされたもので、その目的は、撮影手段で撮影された路面画像を演算処理することによって、路面の乾湿状態を低コストで精度よく判定できるようにした路面状態検出装置及び方法を提供することにある。
【課題を解決するための手段】
【0006】
前記目的を達成するため、本発明にあっては、基本的に、撮影された路面画像に対して局所的空間周波数情報を抽出するフィルタ(例えばガボールフィルタ)にてフィルタ処理して、このフィルタ処理されたデータに基づいて路面が乾燥状態であるのか湿潤状態であるのかを判定する。つまり、例えばガボールフィルタを用いてフィルタ処理した場合、路面が乾燥状態のときはアスファルトなどの路面の小さな凹凸のために小さい周期(短周期)のガボールフィルタが強く反応し、路面が湿潤状態のときは路面の小さな凹凸が水で平滑化されるため小さい周期(短周期)のガボールフィルタの反応は弱いが、路面のうねりのために大きい周期(長周期)のガボールフィルタが強く反応するので、この反応の差を利用して路面の乾湿状態を精度良く判定することができる。
あるいは、撮影された路面画像に対して輝度ヒストグラムを作成し、この輝度ヒストグラムのデータに基づいて路面が乾燥状態であるのか湿潤状態であるのかを判定する。
【0007】
具体的には、本発明装置にあっては次のような第1の解決手法を採択してある。すなわち、特許請求の範囲における請求項1に記載のように、
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段によってフィルタ処理されたデータに基づいて路面の乾湿状態を判定する判定手段と、を備えている。
上記解決手法によれば、別途偏光フィルタ等を設けることなく、路面の乾湿状態を精度よく判定することができる。
【0008】
上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項2〜請求項10に記載のとおりである。すなわち、
前記撮影手段が、車両に搭載されて車両前方の路面を撮影する車載カメラとされ、
前記車載カメラの上下方向の撮影角度が、水平方向から下向きに6度〜12度の角度範囲とされている(請求項2対応)。
この場合、車両において、前方の路面の乾湿状態をあらかじめ知ることにより、例えば危険回避のための措置を行ったり、運転者に乾湿状態を報知する等のことが可能となって、安全走行の上で好ましいものとなる。
【0009】
前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データとの一方の強度平均を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項3対応)。
この場合、規格値により路面の乾湿状態を判定するという簡単な手法によって、処理負担を軽減しつつ路面の乾湿状態を精度良く判定することができる。
【0010】
前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項4対応)。
この場合、2種類のガボールフィルタ処理データの和と差の比により特徴量の相違を拡大した規格値として得ることが出来るため、精度良く路面の乾湿状態を判定することができる。
【0011】
前記フィルタ手段が、ガボールフィルタの第1振動方位のガボールフィルタ処理データと第2振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1振動方位のガボールフィルタ処理データと前記第2振動方位のガボールフィルタ処理データとの一方の強度平均を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項5対応)。
この場合、規格値により路面の乾湿状態を判定するという簡単な手法によって、処理負担を軽減しつつ路面の乾湿状態を精度良く判定することができる。さらに、振動方位を一定にしてガボール周期を変化させるのではなく,ガボール周期を、例えば短周期で一定にして振動方位を変化させることで,長周期の計算を実施しなくてすむという点で,処理負担を軽減することが出来る。
【0012】
前記フィルタ手段が、ガボールフィルタの第1振動方位のガボールフィルタ処理データと第2振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1振動方位のガボールフィルタ処理データと前記第2振動方位のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項6対応)。
この場合、2種類のガボールフィルタ処理データの和と差の比により特徴量の相違を拡大した規格値として得ることが出来るため、精度良く路面の乾湿状態を判定することができる。
【0013】
前記フィルタ手段が、ガボールフィルタの第1ガウス関数幅係数のガボールフィルタ処理データと第2ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1ガウス関数幅係数のガボールフィルタ処理データと前記第2ガウス関数幅係数のガボールフィルタ処理データとの一方の強度平均を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項7対応)。
この場合、規格値により路面の乾湿状態を判定するという簡単な手法によって、処理負担を軽減しつつ路面の乾湿状態を精度良く判定することができる。
【0014】
前記フィルタ手段が、ガボールフィルタの第1ガウス関数幅係数のガボールフィルタ処理データと第2ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1ガウス関数幅係数のガボールフィルタ処理データと前記第2ガウス関数幅係数のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項8対応)。
この場合、2種類のガボールフィルタ処理データの和と差の比により特徴量の相違を拡大した規格値として得ることが出来るため、精度良く路面の乾湿状態を判定することができる。
【0015】
前記判定手段は、路面が湿潤状態であると判定したときに、前記規格値により路面が積雪路面であるか否かを判定するように設定されている(請求項9対応)。
この場合、規格値を利用して、積雪路面であるか否かを判定することができる(簡易な計算で精度よく積雪路面を検出できる)。
【0016】
前記路面画像に占める白色の割合を得る白色割合処理手段をさらに備え、
前記判定手段は、路面画像に示す白色の割合を併用して、積雪路面であるか否かを判定するように設定されている(請求項10対応)。
この場合、積雪路面のときは路面画像中において白色の割合が極めて高くされるので、この白色の割合をみることによって、積雪路面であるか否かをより精度よく判定することができる。すなわち、簡易な計算で精度よく積雪路面を検出できる。
【0017】
また、本発明装置にあっては次のような第2の解決手法を採択してある。すなわち、特許請求の範囲における請求項11に記載のように、
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像から輝度ヒストグラムを得る輝度ヒストグラム処理手段と、
前記輝度ヒストグラム処理手段によって得られた輝度ヒストグラムに基づいて、路面の乾湿状態を判定する判定手段と、
を備えている。
この場合、別途偏光フィルタ等を設けることなく、輝度ヒストグラムを利用して、精度よく路面の乾湿状態を判定することができる。
【0018】
前記路面画像の彩度ヒストグラムを得る彩度ヒストグラム処理手段をさらに備え、
前記判定手段は、前記彩度ヒストグラムを用いて、路面標識の有無を判定するように設定されている(請求項12対応)。
【0019】
この場合、路面に標識が描かれていると、路面の乾湿状態を判定する上でノイズとなり易いが、路面標識の有無を彩度のヒストグラムを用いて精度よく判定することができ、路面の乾湿状態を誤って判定してしまう事態を防止する上で好ましいものとなる。
【0020】
前記目的を達成するため、本発明における路面状態検出方法にあっては次のような解決手法を採択してある。すなわち、特許請求の範囲における請求項13に記載のように、
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第1ステップと、
前記第1ステップで得られた路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理する第2ステップと、
前記第2ステップで得られたデータに基づいて路面の乾湿状態を判定する第3ステップと、
を備えている。上記解決手法によれば、請求項1に記載の路面状態検出装置と同様の効果を得ることができる。
【0021】
また、次のような解決手法も採択してある。すなわち、特許請求の範囲における請求項14に記載のように、
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第1ステップと、
前記第1ステップで得られた路面画像から輝度ヒストグラムを得るよう輝度ヒストグラム処理する第2ステップと、
前記第2ステップで得られた輝度ヒストグラムのデータに基づいて路面の乾湿状態を判定する第3ステップと、
を備えている。上記解決手法によれば、請求項11に記載の路面状態検出装置と同様の効果を得ることができる。
【発明の効果】
【0022】
本発明によれば、路面画像を演算処理することによって路面の乾湿状態を低コストで判定できる。また、路面の水量が少ないときでも湿潤状態であることを判定することができ、精度よく乾湿状態を判定することができる。
【図面の簡単な説明】
【0023】
【図1】本発明が適用された車両の簡略平面図。
【図2】図1に示す車両の簡略側面図。
【図3】本発明の制御系統をブロック図的に示す図。
【図4】車載カメラによって撮影された路面画像の一例を示す図。
【図5】カメラの下向き角度と路面の乾湿状態に応じたフィルタ処理後の正規化された値との関係を示す図。
【図6】本発明の制御例を示すフローチャート。
【図7】図6のS5に示す正規化処理の一例を示すフローチャート。
【図8】図6のS5に示す正規化処理の別の例を示すフローチャート。
【図9】図6のS5に示す正規化処理のさらに別の例を示すフローチャート。
【図10】本発明の第2の制御例を示すフローチャート。
【図11】本発明の第3の制御例を示すフローチャート。
【図12】本発明の第4の制御例を示すフローチャート
【図13】振動方位によって正規化したときの一例を示す図。
【図14】ガウス関数幅係数によって正規化したときの一例を示す図。
【図15】輝度ヒストグラムの一例を示す図。
【図16】路面標識がかすれているときの輝度ヒストグラムの一例を示す図。
【図17】路面標識が明瞭なときの輝度ヒストグラムの一例を示す図。
【図18】路面標識がかすれているときの彩度ヒストグラムの一例を示す図。
【図19】路面標識が明瞭なときの彩度ヒストグラムの一例を示す図。
【図20】2つのガボール特徴量の差と和の比で正規化したときの一例を示す図。
【図21】ガウス関数幅係数の異なる2つのガボール特徴量の差と和の比で正規化したときの一例を示す図。
【発明を実施するための形態】
【0024】
(第1実施形態)
図1、図2において、車両としての自動車Vは、輝度センサとしてのカメラ(撮影手段)1を有する。このカメラ1は、例えば車室内においてルームミラー付近に設けられて、前方路面を撮影するようになっている。図2に示すように、カメラ1は、水平線Hに対して下向き角度βとされて、自動車Vの前方距離Lは約20m付近(10〜30mの範囲となるように設定するのが好ましい)の路面を撮影するように設定されている。このカメラ1によって撮影された路面画像を、後述するように画像処理(実施形態ではガボールフィルタ処理)することによって、前方の路面が乾燥状態であるか、湿潤状態であるかを判定するようにしてある。路面が湿潤状態であると判定されたときは、安全のために、例えば自動ブレーキ用のアクチュエータ2,自動操舵用のアクチュエータ3を安全走行となるように自動作動させたり、この自動作動に加えてあるいは代えて警報装置4を作動させて運転者に注意喚起するようになっている。
【0025】
図3は、自動車Vに搭載されたマイクロコンピュータを利用して構成されたコントローラUの制御系統を示すものである。このコントローラUは、前述したカメラ1からの信号が入力される一方、前記各アクチュエータ2、3および警報装置4を制御するようになっている。コントローラUは、大別して、次のような各種の処理部や判定部を有している。すなわち、カメラ1で撮影された路面画像を保存する処理部11と、処理部11で処理された保存画像をガボールフィルタ処理する処理部12と、処理部12でガボールフィルタ処理されたデータを正規化する処理部13と、処理部13からのデータと記憶部14に記憶されている各種しきい値データとに基づいて路面の乾湿状態等を判定する判定部15とを有する。判定部15での判定をより精度よく行うために、処理部11で保存されている路面画像を輝度ヒストグラム処理する処理部16と、路面画像中の白色割合を算出する処理部17と、を有する。なお、処理部16に代えて、輝度と彩度との両方のヒストグラムを作成する処理部18を設定することもできる。判定部15は、路面の乾湿状態の判定に加えて、積雪路面の判定や、路面標識の有無を判定することもできる。
【0026】
なお、上記処理部12におけるガボールフィルタとは、ガウス関数に周期的に変化する関数を乗じた関数をインパルス応答とする局所的周波数情報を抽出するフィルタである。ここで、インパルス応答は,ある空間周波数成分を持つ関数と局在化関数(窓関数) の積から成り、入力データである画像データをガボールウェーブレット変換(Gabor Wavelet Transformation)(以下ガボール変換と記載)することによって,ある特定方位の空間周波数成分が画像のどの部分に分布しているかを算出でき,画像の局所的空間周波数情報を抽出することが出来る。
【0027】
ガボールフィルタのインパルス応答が式(1)に示され、この式(1)と画像データの畳み込みにより、局所的周波数情報が抽出される。
【0028】
【数1】
【0029】
【数2】
【0030】
【数3】
【0031】
式(1)において、最初のexpの因子は局在化関数であるガウス関数であり,括弧内の第1項は周期Tでの複素振動項,第2項はDC成分を0にするためのオフセット補正項である.最初のexp関数の前に付いた係数は規格化因子である.式(2),(3)は,2次元の回転行列を使用した角度θの座標回転を表している.すなわち,式(1)中、x’およびy’はそれぞれ回転後の座標であり、式(2)及び式(3)に示すとおり、フィルタの座標x、yと振動方位θとに基づいて算出される。ここで,Tをガボール周期、αをガウス(本実施形態では主には「2」が用いられる)、θを振動方位(以下の実施形態では、振動方位0度とは水平方向すなわち車幅方向のこと(カメラ画像上では左右方向)であり、90度とは垂直方向(カメラ画像上では上下方向))とよぶ。
【0032】
なお,式(1)は,ガウス関数幅を決定する係数の中に振動項の周期Tが含まれており,ガウス関数幅がTに連動するようになっており,Tが変わってもインパルス応答関数自体の形が変わらないウェーブレット変換になっている.以下の説明ではこれを用いているが,本発明では,必ずしもウェーブレット変換である必要はなく,ガウス関数幅がTに連動しない一般的なガボールフィルタでも適用可能である.
【0033】
式(1)中の角括弧中の第1項は,ガボール変換のインパルス応答の振動項であり、第2項は照明変化による影響を減らすための項である。第2項によって,照明の変化などへの影響を減らしている。
式(1)からわかるように,ガボールフィルタのパラメータである、周期T、振動方位θ、ガウス関数幅係数α、のいずれかを対象となる画像に応じて適正値とすることで、画像の特徴抽出を有効に行うことが出来る。
【0034】
図4は、カメラ1によって撮影された路面画像の一例が示される。実施形態では、カメラ1は例えば画素数が5Mpixelのデジタルカメラとされている。図4に示すような路面画像の中心部分(路面画像の幅Wに対して1/2W,高さHに対して1/2Hの部分)から、乾湿状態の判定用に例えば100×100pixelのデータAが切り出される。このデータAについてガボールフィルタ処理して後述のように正規化した値が、例えば図5に示すようになる。この図5において縦軸はフィルタ処理結果の正規化強度平均値であり、横軸は、カメラ1の俯角βを示す。この図5から明かなように、路面の乾燥状態と湿潤状態では、路面の濡れ量(雨水量の大小)にかかわらず、大きな有意差を有することが理解される。換言すれば、例えばカメラ1の設置俯角βを8度とした場合を選択したときは、正規化強度平均値に対するしきい値として例えば「1.0」を設定して、正規化値が1.0よりも大きい場合には路面が乾燥状態であると判定することができ、逆に正規化値が1.0以下のときは路面が湿潤状態であると判定することができる。勿論、上記のようなしきい値「1.0」は、記憶部14に記憶されているものである。
【0035】
また、図5における正規化強度平均値としては、図7(a)に示すように、長周期のガボールフィルタ処理データの強度(輝度)平均値で、短周期のガボールフィルタ処理データの強度平均値を除した値となる比であり、この比が正規化強度平均値となる。
図5のデータにおいては、長周期のガボールフィルタ処理として、ガボール周期Tが18pixel、振動方位θが0度、ガウス関数幅係数αが2の条件でガボール変換してある。これに対して、短周期のガボールフィルタ処理として、ガボール周期Tが4pixelとしてある(振動方位θ、ガウス関数幅係数αについては長周期の場合と同じ)。
【0036】
図5から容易に理解されるように、カメラ1の俯角βは、6度〜12度の範囲で、乾燥状態と湿潤状態との間で大きな有意差を有しているので、角度βの設定の自由度が高いものとなる。また、カメラ1の設置高さは、角度βが例えば6度〜12度の範囲となることを満足させつつ、おおむね自動車Vのバンパーからルーフまでの高さ範囲に設定するのが好ましいものとなる(40cm〜150cm程度の高さに設定するのが好ましい)。
また、図5において、「×」印によって、カメラ角度βが8度の場合において、路面が全体的に雪に覆われた積雪路面である場合の正規化強度平均値が示される。積雪路面の場合、正規化強度平均値は極めて小さい値となり、例えばしきい値「0.3」よりも小さいときは、積雪路面であると判定することが可能である。積雪路面の場合は、雨水で濡れた湿潤路面に比して正規化強度平均値に大きな有意差を生じる範囲があるので、この大きな有意差がある範囲での正規化値を選択することにより、雨水で濡れた湿潤状態と積雪状態とを区別することができる。
【0037】
次に、路面の乾湿状態の判定についてのコントローラUの具体的な制御例について、図6に示すフローチャートを参照しつつ説明する。なお、以下の説明でSはステップを示す。まず、S1において、カメラ1によって撮影された例えば図4に示すような路面画像が取り込まれて保存される。次いでS2において、路面画像から測定範囲の切り出しが行われて、切り出された画像Aを得る(図4に示す路面画像からA部分の切り出し)。
【0038】
S2の後、S3において、切り出された画像Aについて、ガボール変換処理が行われる。このガボール変換処理においては、短周期(例えばガボール周期T=4pixel)でのガボール変換処理と、長周期(例えばガボール周期T=18pixel)でのガボール変換処理とが行われる。この後、S4において、短周期と長周期の各ガボール変換処理のそれぞれについて、強度平均値が算出される(全画素のガボール変換結果の強度値を加算し、それを画素数で除することにより強度平均値が算出される)。この後、S5において、短周期のガボール変換処理の強度平均値を、長周期のガボール変換処理の強度平均値で除することにより、正規化強度平均値Bが算出される。S5での正規化強度平均値算出のための式の一例が、例えば図7(a)に示される。
【0039】
S5の後、S6において、S5で算出された正規化強度平均値Bがしきい値Y1以上であるか否かが判別される。このS6の判別でYESのときは、S7において、路面が乾燥状態であると判定される。
【0040】
上記S6の判別でNOのときは、S8において、正規化強度平均値Bがしきい値Y2よりも大きいか否かが判別される。このしきい値Y2は、雨水で濡れた湿潤状態と路面が雪で覆われた積雪状態とを区別するためのものである(図5の「×」印参照)。このS8の判別でYESのときは、S9において、湿潤路面であると判定される。また、S8の判別でNOのときは、S10において、積雪路面であると判定される。
【0041】
図6におけるS5での正規化処理を、上述した図7(a)に示すように、振動方位とガウス関数幅係数が同一である短周期のガボール変換結果の強度平均値を、長周期のガボール変換結果の強度平均値で除することで算出する方法に代えて、図7(b)に示すように、振動方位とガウス関数幅係数が同一である短周期のガボール変換結果の強度平均値と長周期のガボール変換結果の強度平均値の差の絶対値を、短周期のガボール変換結果の強度平均値と長周期のガボール変換結果の強度平均値の和の絶対値で除することで算出する方法としても良い。図7(b)において、ガウス関数幅係数α=2とし、短周期のガボール周期T=4pixel,長周期のガボール周期T=12pixelとして、振動方位θ=90度として算出された状態の一例が図20の実線(1)に、振動方位θ=0度として算出された状態の一例が図20の実線(2)に、示されている。
図20の縦軸は、ガボール変換結果の強度平均の差と和の比であるフィルタ処理結果の正規化強度平均値であり、横軸が画像の通し番号であり、カメラ俯角β=5度の場合の乾燥路面の画像(通し番号1〜5の5枚)と湿潤路面の画像(通し番号6〜10の5枚)、及びカメラ俯角β=8度の場合の乾燥路面の画像(通し番号11〜15の5枚)と湿潤路面の画像(通し番号16〜20の5枚)の解析結果を示している。
図20の実線(1)(2)に示されるように、カメラ俯角β=5度、8度のいずれにおいても、乾燥路面と湿潤路面との間では大きな有意差があることが理解され、振動方位θ=90度の場合の実線(1)に対しては、破線(1)で示す0.1〜0.2のしきい値を設定することにより、また振動方位θ=0度の場合の実線(2)に対しては、破線(2)で示す0.07〜0.08のしきい値を設定することにより、乾燥路面と湿潤路面を正確に判定することが出来る。
【0042】
またさらに、図6におけるS5での正規化処理を、上述した図7(a)(b)に示すように、ガボール周期による方法に代えて、図8(a)(b)に示すように、振動方位に基づいて行うこともできる。
このうち、図8(a)は、図7(a)の処理に対応していて、振動方位90度の強度平均値を振動方位0度の強度平均値で除することにより正規化してある。この図8(a)に示す式にしたがって正規化された状態が、図13に示され、ガボール周期を4pixel、ガウス関数幅係数を2として、ガボール変換処理した正規化強度平均値の乾燥路面と湿潤路面の振動方位に対する値を示すもので、横軸が振動方位0度から180度であり、縦軸がガボール変換処理した強度平均値を振動方位0度の強度平均値で正規化した値を示す。この図13より、振動方位90度において乾燥路面と湿潤路面との間では大きな有意差があることが理解される。勿論、図6のS6でのしきい値Y1およびS8でのしきい値Y2は、正規化の手法の変更に応じて変更される。
【0043】
また、図8(b)は、図7(b)の処理に対応していて、ガボール周期とガウス関数幅係数が同一である振動方位0度のガボール変換結果の強度平均値と振動方位90度のガボール変換結果の強度平均値の差の絶対値を、振動方位0度のガボール変換結果の強度平均値と振動方位90度のガボール変換結果の強度平均値の和の絶対値で除することで算出する方法を示す。図8(b)において、ガボール周期T=4pixel、ガウス関数幅係数α=2とし、振動方位θ=0度と90度として、算出された状態の一例が図20の実線(3)に示されている。これより振動方位による方法においても、カメラ俯角β=5度、8度のいずれにおいても、乾燥路面と湿潤路面との間では大きな有意差があることが理解され、破線(3)で示す0.15〜0.25のしきい値を設定することで、乾燥路面と湿潤路面を正確に判定することが出来る。
【0044】
同様に、図9(a)(b)は、図6のS5での正規化処理を、ガウス関数幅係数αで行うようにした場合の一例を示すものである。
このうち、図9(a)は、図7(a)図8(a)に対応していて、図9(a)に示す式においては、ガウス関数幅係数α=1における強度平均値を、ガウス関数幅係数α=5における強度平均値で除することにより正規化してある。この図9(a)に示す式にしたがって正規化された状態の一例が、図14に示され、ガボール周期を18pixel、振動方位を40度として、ガボール変換処理した正規化強度平均値の乾燥路面と湿潤路面のガウス関数幅係数に対する値を示すもので、横軸がガウス関数幅係数1から5であり、縦軸がガボール変換処理した強度平均値をガウス関数幅係数5の強度平均値で正規化した値を示す。この図14より、ガウス関数幅係数1において乾燥路面と湿潤路面との間では大きな有意差があることが理解される。勿論、図6のS6でのしきい値Y1およびS8でのしきい値Y2は、正規化の手法の変更に応じて変更される。
【0045】
また、図9(b)は、図7(b)図8(b)の処理に対応していて、ガボール周期及び振動方位が同一であるガウス関数幅係数α=5のガボール変換結果の強度平均値と、ガウス関数幅係数α=1のガボール変換結果の強度平均値の差の絶対値を、ガウス関数幅係数α=5のガボール変換結果の強度平均値と、ガウス関数幅係数α=1のガボール変換結果の強度平均値の和の絶対値で除することで算出する方法を示す。
この図9(b)に示す式にしたがって正規化された状態の一例が、図21に示され、ガボール周期を18pixel、振動方位を40度として、ガウス関数幅係数5でのガボール変換処理した強度平均値とガウス関数幅係数1〜5でのガボール変換処理した強度平均値の差の絶対値を、ガウス関数幅係数5でのガボール変換処理した強度平均値とガウス関数幅係数1〜5でのガボール変換処理した強度平均値の和の絶対値で除することにより正規化した値を示すもので、横軸がガウス関数幅係数1から5であり、縦軸がガボール変換処理した強度平均値を上述の方法により正規化した値を示す。この図21より、ガウス関数幅係数による和と差による方法においても、ガウス関数幅係数1〜2において乾燥路面と湿潤路面との間では大きな有意差があることが理解され、図9(b)のように、ガウス関数幅係数1とした場合、乾燥路面と湿潤路面を正確に判定することが出来る。
【0046】
(第2実施形態)
図10は、本発明の第2の実施形態を示すもので、輝度ヒストグラムを併用して、乾燥路面と湿潤路面との識別をより精度よく行うようにした場合の制御例を示す。ここで、輝度ヒストグラムは、保存されている画像Aをグレースケール化して求められる白黒画像の各画素の濃度の出現回数より求められるデータであり、すなわち、図15に示すように、横軸が各画素の輝度値、縦軸が各輝度値である画素の出現回数であり、出現回数がある所定値(例えば50)を超える輝度値の幅X1に着目すると、幅X1は、乾燥路面の場合の方が湿潤路面の場合に比して狭いということが判明した。より具体的には、幅X1の最小値については乾燥路面の場合が13で湿潤路面の場合は25であり、幅X1の最大値については乾燥路面の場合が23で湿潤路面の場合は75であった。よって、例えば幅X1が例えば24よりも小さければ乾燥路面であると判定することができ、また幅X1が25以上であれば湿潤路面であると判定することができる。
【0047】
図10の制御例について説明すると、S21〜S25の処理は図6のS1〜S5の処理と同じであり、また図10のS31〜S33の処理は図6のS8〜S10の処理と同じなので、その重複した説明は省略して、相違する部分のみ説明することとする。以上のことを前提として、まずS26においては、画像Aがグレースケール化されて画像Bに変換される。次いでS27において、画像Bの輝度ヒストグラムが作成される。この後S28において、出現回数が所定回数以上となる輝度ヒストグラムの幅C(図15の幅X1に相当する幅)が測定される。
【0048】
S28の後、S29において、S25での正規化値がしきい値Y1よりも大きくて、かつS28で得られた幅Cが所定のしきい値Y3よりも小さいか否かが判別される。このS29の判別でYESのときは、S30において、乾燥路面であると判定される。S29の判別でNOのときは、S31において、正規化強度平均値Bがしきい値Y2よりも大きいか否かが判別される。(このしきい値Y2は、上述の湿潤状態と積雪状態とを区別するためのものである)。このS31の判別でYESのときは、S32において、湿潤路面であると判定される。また、S31の判別でNOのときは、S33において、積雪路面であると判定される。
【0049】
なお、上記S29において、S25での正規化値がしきい値Y1よりも大きくて、かつS28で得られた幅Cが所定のしきい値Y3よりも小さいか否かを判別することに代えて、S28で得られた幅Cが所定のしきい値Y3よりも小さい場合、乾燥路面と判断することとしても良い。すなわち、輝度ヒストグラムである各画素の輝度値ごとの出現回数が、所定値を超える輝度値の幅X1が所定のしきい値Y3より小さければ乾燥路面としてS30へ移行し、しきい値Y3より大きければ乾燥路面以外としてS31へ移行することとしても良い。すなわち、輝度ヒストグラムのみにより乾燥路面か否かを判定することとしても良い。
【0050】
(第3実施形態)
図11は、本発明の第3の実施形態を示すもので、図10の制御例に比して、彩度ヒストグラムを用いて、道路標識の有無の判定を行うようにしてある。
すなわち、路面には、例えば横断歩道を示したり制限速度を示す等の各種の路面標識が表示されているが、路面標識が路面に明瞭かつ大きな面積で表示してあると、湿潤路面であるのか路面標識が描かれた乾燥路面であるかの識別が難しくなる。よって、路面標識を検出したときは、湿潤路面であるとの判定を行わないようにしてある。
【0051】
例えば、路面標識が削られてわずかに残存している(路面標識の痕跡が認められる程度)痕跡表示状態でかつ湿潤路面の場合の輝度ヒストグラムは図16に示すようになり、路面標識が明瞭に表示されている明瞭表示状態でかつ乾燥路面の場合の輝度ヒストグラムは図17に示すようになる。この図16、図17より、路面標識の表示状態によって、上述の輝度値の出現回数がある所定値を超える輝度値の幅が大きく変化することが明らかであり、単純に輝度ヒストグラムの幅の大小によって乾湿状態を判定すると、乾燥路面であっても路面標識が明瞭に表示されている場合に、湿潤路面であると誤判定するおそれがある。
【0052】
そこで,路面標識の検出を、彩度ヒストグラムを利用しておこなう。彩度ヒストグラムは、保存されている画像Aを例えばHLS色空間に変換処理(色相(Hue)、彩度(Saturation)、輝度(Lightness/Luminance または Intensity)の3つの成分からなる色空間への変換処理)して求められる各画素の彩度値(無彩色(白・黒・灰色)で0となり、無彩色軸から離れるにしたがい増し、純色で最大となる。)の出現回数より求められ、図18,図19に示すように、横軸が各画素の彩度値、縦軸が各彩度値である画素の出現回数であり、例えば、路面標識がわずかに残存する図16に対応する図18においては、彩度ヒストグラムの出現回数が最大となる彩度値である最大出現回数彩度値0.02と、画素の彩度値とその画素数を積算加算し総画素数で除した平均出現彩度値0.03の「差」が、「0.01」であるのに対し、路面標識が大きな面積で明瞭に表示されている図17に対応する図19においては、彩度ヒストグラムの出現回数が最大となる彩度値である最大出現回数彩度値0.02と平均出現彩度値0.24の「差」が、「0.22」となって大きな有意差を生じる。つまり、上記「差」が所定しきい値よりも大きい場合は、路面標識が大きな面積で明瞭に表示されている状態であると判定して、乾湿路面判定を禁止することで、湿潤路面であると誤判定してしまう事態を防止できることになる。
【0053】
次に、図11の制御例について説明するが、S41,S42は図10のS21、S22と,S48〜S58は図10のS23〜S33と同じであるので、相違するS43〜S47について説明する。まず、S43では、画像Aについて、HLS色空間に変換処理して画像Dが作成される。次いで、S44において、画像Dについて彩度ヒストグラムが作成される。この後S45において、彩度ヒストグラムの出現回数が最大となる最大出現回数彩度値と、平均出現彩度値との「差」が算出値Dとして算出される。
【0054】
S46において、S45での算出値Dが、所定のしきい値Y4よりも大きいか否かが判別される。このS46の判別でYESのときは、S47において道路標識有路面であると判定され乾湿路面判定を実施することなく処理が終了する。また、S46の判定でNOのときは、S48以下の処理が行われる。
【0055】
(第4実施形態)
図12は、本発明の第4の実施形態を示すもので、積雪路の判定に際して、カメラ1で撮影された画像そのものの全体について、あるいはそれから切り出された画像Aについて、白色の割合が所定のしきい値よりも大きいときに、積雪路であると判定するようにしてある。
【0056】
図12の制御例について説明するが、S61〜S69は図6のS1〜S9と同じであるので、相違するS70以下について説明する。まず、S68の判別でNOのときに、S70において、撮影画像全体について、あるいは画像Aについて、その白色の割合が算出される。次いでS71において、S70での白色割合が、所定のしきい値Y5よりも大きいか否かが判別される。このS71の判別でYESのときは、S72において、積雪路面であると判定される。また、S71の判別でNOのときは、S69において、湿潤路面であると判定される。
【0057】
ここで、全体的に地面の広い範囲に渡って雪に覆われているような場合でも、路面を多くの車両が通過することによってできる車輪の走行軌跡部分については部分的に雪がわずかに存在する程度の場合が往々にして生じる。このように、走行軌跡部分に雪がわずかに存在する部分を乾湿等の判定の画像として切り出されると、ガボールフィルタ処理結果後の正規化値が、雨水で濡れた湿潤路面の場合と大きな有意差を得られない場合が生じて、積雪路ではないと判定してしまうおそれがある。車両の走行においては、多くの車両の走行軌跡部分に雪がわずかに存在する場合やこの走行軌跡部分に雪がないときでも、路面が全体的に雪で覆われている場合と同様に十分注意して走行することが必要なので、画像中に占める白色の割合の大小に基づいて積雪路であるか否かの判定を精度よく行うようにしてある。
【0058】
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能であり、例えば次のような場合をも含むものである。
すなわち、上記実施例においては、いずれも、正規化強度平均値、輝度ヒストグラムの幅、彩度値などの各算出値をそれぞれの所定しきい値と比較することで、路面が乾燥しているか否か、積雪が有るか否かを判定しているが、上記算出値に対し、ファジー推定処理または公知の各種統計的識別処理を実施し、路面の乾湿度合いや積雪度合いを判定するようにしても良い。同様に、輝度ヒストグラムと彩度ヒストグラムと白色割合による各判定とを適宜組合せて、路面状態の判定を精度良く行うこととしても良い。
また、自動車等の車両に限らず、例えば路肩に設置した路面状況検出装置として固定設置することもできる。さらに、夜間であっても、ライト(車両の場合はヘッドライト)を路面に照射することにより、昼間と同様に精度よく乾湿判定を行うことができる。
勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。
【産業上の利用可能性】
【0059】
本発明は、例えば車両の安全走行のために利用することができる。
【符号の説明】
【0060】
V:車両
U:コントローラ
1:カメラ(撮影手段)
12:処理部(ガボール変換処理)
13:処理部(正規化処理)
14:記憶部(しきい値の記憶)
15:判定部(乾湿判定)
16:処理部(輝度ヒストグラム算出)がボール処理
17:処理部(白色割合算出)
18:処理部(輝度および彩度ヒストグラム算出)
【技術分野】
【0001】
本発明は、路面の乾湿状態を検出する路面状態検出装置及び方法に関するものである。
【背景技術】
【0002】
路面の乾湿状態、つまり路面が濡れているか乾燥しているかを知ることは、例えば自動車等の車両の安全走行の上で好ましいものとなる。路面の乾湿状態を検出するため、特許文献1には、路面から反射されるS偏光成分とP偏光の成分から比較データ代表値を求めて、この代表値に基づいて路面の乾湿状態を判定することが開示されている。また、特許文献2には、路面の水しぶきが発生する画像からフーリエ変換を行って、この変換後のデータに基づいて路面の乾湿状態を判定することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−25198号公報
【特許文献2】特開2007−322231号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
前述した特許文献2に記載のものでは、水しぶきが発生するような多量の雨水が路面に存在しないと湿潤状態であると判定することができないため、判定精度や汎用性の低いものとなる。また、特許文献1に記載のものでは、PとSとの偏光成分を得るために、カメラに対して別途ハーフミラーや偏光フィルタを設ける必要があり、高コストとなってしまう。
【0005】
本発明は以上のような事情を勘案してなされたもので、その目的は、撮影手段で撮影された路面画像を演算処理することによって、路面の乾湿状態を低コストで精度よく判定できるようにした路面状態検出装置及び方法を提供することにある。
【課題を解決するための手段】
【0006】
前記目的を達成するため、本発明にあっては、基本的に、撮影された路面画像に対して局所的空間周波数情報を抽出するフィルタ(例えばガボールフィルタ)にてフィルタ処理して、このフィルタ処理されたデータに基づいて路面が乾燥状態であるのか湿潤状態であるのかを判定する。つまり、例えばガボールフィルタを用いてフィルタ処理した場合、路面が乾燥状態のときはアスファルトなどの路面の小さな凹凸のために小さい周期(短周期)のガボールフィルタが強く反応し、路面が湿潤状態のときは路面の小さな凹凸が水で平滑化されるため小さい周期(短周期)のガボールフィルタの反応は弱いが、路面のうねりのために大きい周期(長周期)のガボールフィルタが強く反応するので、この反応の差を利用して路面の乾湿状態を精度良く判定することができる。
あるいは、撮影された路面画像に対して輝度ヒストグラムを作成し、この輝度ヒストグラムのデータに基づいて路面が乾燥状態であるのか湿潤状態であるのかを判定する。
【0007】
具体的には、本発明装置にあっては次のような第1の解決手法を採択してある。すなわち、特許請求の範囲における請求項1に記載のように、
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段によってフィルタ処理されたデータに基づいて路面の乾湿状態を判定する判定手段と、を備えている。
上記解決手法によれば、別途偏光フィルタ等を設けることなく、路面の乾湿状態を精度よく判定することができる。
【0008】
上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項2〜請求項10に記載のとおりである。すなわち、
前記撮影手段が、車両に搭載されて車両前方の路面を撮影する車載カメラとされ、
前記車載カメラの上下方向の撮影角度が、水平方向から下向きに6度〜12度の角度範囲とされている(請求項2対応)。
この場合、車両において、前方の路面の乾湿状態をあらかじめ知ることにより、例えば危険回避のための措置を行ったり、運転者に乾湿状態を報知する等のことが可能となって、安全走行の上で好ましいものとなる。
【0009】
前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データとの一方の強度平均を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項3対応)。
この場合、規格値により路面の乾湿状態を判定するという簡単な手法によって、処理負担を軽減しつつ路面の乾湿状態を精度良く判定することができる。
【0010】
前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項4対応)。
この場合、2種類のガボールフィルタ処理データの和と差の比により特徴量の相違を拡大した規格値として得ることが出来るため、精度良く路面の乾湿状態を判定することができる。
【0011】
前記フィルタ手段が、ガボールフィルタの第1振動方位のガボールフィルタ処理データと第2振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1振動方位のガボールフィルタ処理データと前記第2振動方位のガボールフィルタ処理データとの一方の強度平均を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項5対応)。
この場合、規格値により路面の乾湿状態を判定するという簡単な手法によって、処理負担を軽減しつつ路面の乾湿状態を精度良く判定することができる。さらに、振動方位を一定にしてガボール周期を変化させるのではなく,ガボール周期を、例えば短周期で一定にして振動方位を変化させることで,長周期の計算を実施しなくてすむという点で,処理負担を軽減することが出来る。
【0012】
前記フィルタ手段が、ガボールフィルタの第1振動方位のガボールフィルタ処理データと第2振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1振動方位のガボールフィルタ処理データと前記第2振動方位のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項6対応)。
この場合、2種類のガボールフィルタ処理データの和と差の比により特徴量の相違を拡大した規格値として得ることが出来るため、精度良く路面の乾湿状態を判定することができる。
【0013】
前記フィルタ手段が、ガボールフィルタの第1ガウス関数幅係数のガボールフィルタ処理データと第2ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1ガウス関数幅係数のガボールフィルタ処理データと前記第2ガウス関数幅係数のガボールフィルタ処理データとの一方の強度平均を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項7対応)。
この場合、規格値により路面の乾湿状態を判定するという簡単な手法によって、処理負担を軽減しつつ路面の乾湿状態を精度良く判定することができる。
【0014】
前記フィルタ手段が、ガボールフィルタの第1ガウス関数幅係数のガボールフィルタ処理データと第2ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1ガウス関数幅係数のガボールフィルタ処理データと前記第2ガウス関数幅係数のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている(請求項8対応)。
この場合、2種類のガボールフィルタ処理データの和と差の比により特徴量の相違を拡大した規格値として得ることが出来るため、精度良く路面の乾湿状態を判定することができる。
【0015】
前記判定手段は、路面が湿潤状態であると判定したときに、前記規格値により路面が積雪路面であるか否かを判定するように設定されている(請求項9対応)。
この場合、規格値を利用して、積雪路面であるか否かを判定することができる(簡易な計算で精度よく積雪路面を検出できる)。
【0016】
前記路面画像に占める白色の割合を得る白色割合処理手段をさらに備え、
前記判定手段は、路面画像に示す白色の割合を併用して、積雪路面であるか否かを判定するように設定されている(請求項10対応)。
この場合、積雪路面のときは路面画像中において白色の割合が極めて高くされるので、この白色の割合をみることによって、積雪路面であるか否かをより精度よく判定することができる。すなわち、簡易な計算で精度よく積雪路面を検出できる。
【0017】
また、本発明装置にあっては次のような第2の解決手法を採択してある。すなわち、特許請求の範囲における請求項11に記載のように、
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像から輝度ヒストグラムを得る輝度ヒストグラム処理手段と、
前記輝度ヒストグラム処理手段によって得られた輝度ヒストグラムに基づいて、路面の乾湿状態を判定する判定手段と、
を備えている。
この場合、別途偏光フィルタ等を設けることなく、輝度ヒストグラムを利用して、精度よく路面の乾湿状態を判定することができる。
【0018】
前記路面画像の彩度ヒストグラムを得る彩度ヒストグラム処理手段をさらに備え、
前記判定手段は、前記彩度ヒストグラムを用いて、路面標識の有無を判定するように設定されている(請求項12対応)。
【0019】
この場合、路面に標識が描かれていると、路面の乾湿状態を判定する上でノイズとなり易いが、路面標識の有無を彩度のヒストグラムを用いて精度よく判定することができ、路面の乾湿状態を誤って判定してしまう事態を防止する上で好ましいものとなる。
【0020】
前記目的を達成するため、本発明における路面状態検出方法にあっては次のような解決手法を採択してある。すなわち、特許請求の範囲における請求項13に記載のように、
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第1ステップと、
前記第1ステップで得られた路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理する第2ステップと、
前記第2ステップで得られたデータに基づいて路面の乾湿状態を判定する第3ステップと、
を備えている。上記解決手法によれば、請求項1に記載の路面状態検出装置と同様の効果を得ることができる。
【0021】
また、次のような解決手法も採択してある。すなわち、特許請求の範囲における請求項14に記載のように、
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第1ステップと、
前記第1ステップで得られた路面画像から輝度ヒストグラムを得るよう輝度ヒストグラム処理する第2ステップと、
前記第2ステップで得られた輝度ヒストグラムのデータに基づいて路面の乾湿状態を判定する第3ステップと、
を備えている。上記解決手法によれば、請求項11に記載の路面状態検出装置と同様の効果を得ることができる。
【発明の効果】
【0022】
本発明によれば、路面画像を演算処理することによって路面の乾湿状態を低コストで判定できる。また、路面の水量が少ないときでも湿潤状態であることを判定することができ、精度よく乾湿状態を判定することができる。
【図面の簡単な説明】
【0023】
【図1】本発明が適用された車両の簡略平面図。
【図2】図1に示す車両の簡略側面図。
【図3】本発明の制御系統をブロック図的に示す図。
【図4】車載カメラによって撮影された路面画像の一例を示す図。
【図5】カメラの下向き角度と路面の乾湿状態に応じたフィルタ処理後の正規化された値との関係を示す図。
【図6】本発明の制御例を示すフローチャート。
【図7】図6のS5に示す正規化処理の一例を示すフローチャート。
【図8】図6のS5に示す正規化処理の別の例を示すフローチャート。
【図9】図6のS5に示す正規化処理のさらに別の例を示すフローチャート。
【図10】本発明の第2の制御例を示すフローチャート。
【図11】本発明の第3の制御例を示すフローチャート。
【図12】本発明の第4の制御例を示すフローチャート
【図13】振動方位によって正規化したときの一例を示す図。
【図14】ガウス関数幅係数によって正規化したときの一例を示す図。
【図15】輝度ヒストグラムの一例を示す図。
【図16】路面標識がかすれているときの輝度ヒストグラムの一例を示す図。
【図17】路面標識が明瞭なときの輝度ヒストグラムの一例を示す図。
【図18】路面標識がかすれているときの彩度ヒストグラムの一例を示す図。
【図19】路面標識が明瞭なときの彩度ヒストグラムの一例を示す図。
【図20】2つのガボール特徴量の差と和の比で正規化したときの一例を示す図。
【図21】ガウス関数幅係数の異なる2つのガボール特徴量の差と和の比で正規化したときの一例を示す図。
【発明を実施するための形態】
【0024】
(第1実施形態)
図1、図2において、車両としての自動車Vは、輝度センサとしてのカメラ(撮影手段)1を有する。このカメラ1は、例えば車室内においてルームミラー付近に設けられて、前方路面を撮影するようになっている。図2に示すように、カメラ1は、水平線Hに対して下向き角度βとされて、自動車Vの前方距離Lは約20m付近(10〜30mの範囲となるように設定するのが好ましい)の路面を撮影するように設定されている。このカメラ1によって撮影された路面画像を、後述するように画像処理(実施形態ではガボールフィルタ処理)することによって、前方の路面が乾燥状態であるか、湿潤状態であるかを判定するようにしてある。路面が湿潤状態であると判定されたときは、安全のために、例えば自動ブレーキ用のアクチュエータ2,自動操舵用のアクチュエータ3を安全走行となるように自動作動させたり、この自動作動に加えてあるいは代えて警報装置4を作動させて運転者に注意喚起するようになっている。
【0025】
図3は、自動車Vに搭載されたマイクロコンピュータを利用して構成されたコントローラUの制御系統を示すものである。このコントローラUは、前述したカメラ1からの信号が入力される一方、前記各アクチュエータ2、3および警報装置4を制御するようになっている。コントローラUは、大別して、次のような各種の処理部や判定部を有している。すなわち、カメラ1で撮影された路面画像を保存する処理部11と、処理部11で処理された保存画像をガボールフィルタ処理する処理部12と、処理部12でガボールフィルタ処理されたデータを正規化する処理部13と、処理部13からのデータと記憶部14に記憶されている各種しきい値データとに基づいて路面の乾湿状態等を判定する判定部15とを有する。判定部15での判定をより精度よく行うために、処理部11で保存されている路面画像を輝度ヒストグラム処理する処理部16と、路面画像中の白色割合を算出する処理部17と、を有する。なお、処理部16に代えて、輝度と彩度との両方のヒストグラムを作成する処理部18を設定することもできる。判定部15は、路面の乾湿状態の判定に加えて、積雪路面の判定や、路面標識の有無を判定することもできる。
【0026】
なお、上記処理部12におけるガボールフィルタとは、ガウス関数に周期的に変化する関数を乗じた関数をインパルス応答とする局所的周波数情報を抽出するフィルタである。ここで、インパルス応答は,ある空間周波数成分を持つ関数と局在化関数(窓関数) の積から成り、入力データである画像データをガボールウェーブレット変換(Gabor Wavelet Transformation)(以下ガボール変換と記載)することによって,ある特定方位の空間周波数成分が画像のどの部分に分布しているかを算出でき,画像の局所的空間周波数情報を抽出することが出来る。
【0027】
ガボールフィルタのインパルス応答が式(1)に示され、この式(1)と画像データの畳み込みにより、局所的周波数情報が抽出される。
【0028】
【数1】
【0029】
【数2】
【0030】
【数3】
【0031】
式(1)において、最初のexpの因子は局在化関数であるガウス関数であり,括弧内の第1項は周期Tでの複素振動項,第2項はDC成分を0にするためのオフセット補正項である.最初のexp関数の前に付いた係数は規格化因子である.式(2),(3)は,2次元の回転行列を使用した角度θの座標回転を表している.すなわち,式(1)中、x’およびy’はそれぞれ回転後の座標であり、式(2)及び式(3)に示すとおり、フィルタの座標x、yと振動方位θとに基づいて算出される。ここで,Tをガボール周期、αをガウス(本実施形態では主には「2」が用いられる)、θを振動方位(以下の実施形態では、振動方位0度とは水平方向すなわち車幅方向のこと(カメラ画像上では左右方向)であり、90度とは垂直方向(カメラ画像上では上下方向))とよぶ。
【0032】
なお,式(1)は,ガウス関数幅を決定する係数の中に振動項の周期Tが含まれており,ガウス関数幅がTに連動するようになっており,Tが変わってもインパルス応答関数自体の形が変わらないウェーブレット変換になっている.以下の説明ではこれを用いているが,本発明では,必ずしもウェーブレット変換である必要はなく,ガウス関数幅がTに連動しない一般的なガボールフィルタでも適用可能である.
【0033】
式(1)中の角括弧中の第1項は,ガボール変換のインパルス応答の振動項であり、第2項は照明変化による影響を減らすための項である。第2項によって,照明の変化などへの影響を減らしている。
式(1)からわかるように,ガボールフィルタのパラメータである、周期T、振動方位θ、ガウス関数幅係数α、のいずれかを対象となる画像に応じて適正値とすることで、画像の特徴抽出を有効に行うことが出来る。
【0034】
図4は、カメラ1によって撮影された路面画像の一例が示される。実施形態では、カメラ1は例えば画素数が5Mpixelのデジタルカメラとされている。図4に示すような路面画像の中心部分(路面画像の幅Wに対して1/2W,高さHに対して1/2Hの部分)から、乾湿状態の判定用に例えば100×100pixelのデータAが切り出される。このデータAについてガボールフィルタ処理して後述のように正規化した値が、例えば図5に示すようになる。この図5において縦軸はフィルタ処理結果の正規化強度平均値であり、横軸は、カメラ1の俯角βを示す。この図5から明かなように、路面の乾燥状態と湿潤状態では、路面の濡れ量(雨水量の大小)にかかわらず、大きな有意差を有することが理解される。換言すれば、例えばカメラ1の設置俯角βを8度とした場合を選択したときは、正規化強度平均値に対するしきい値として例えば「1.0」を設定して、正規化値が1.0よりも大きい場合には路面が乾燥状態であると判定することができ、逆に正規化値が1.0以下のときは路面が湿潤状態であると判定することができる。勿論、上記のようなしきい値「1.0」は、記憶部14に記憶されているものである。
【0035】
また、図5における正規化強度平均値としては、図7(a)に示すように、長周期のガボールフィルタ処理データの強度(輝度)平均値で、短周期のガボールフィルタ処理データの強度平均値を除した値となる比であり、この比が正規化強度平均値となる。
図5のデータにおいては、長周期のガボールフィルタ処理として、ガボール周期Tが18pixel、振動方位θが0度、ガウス関数幅係数αが2の条件でガボール変換してある。これに対して、短周期のガボールフィルタ処理として、ガボール周期Tが4pixelとしてある(振動方位θ、ガウス関数幅係数αについては長周期の場合と同じ)。
【0036】
図5から容易に理解されるように、カメラ1の俯角βは、6度〜12度の範囲で、乾燥状態と湿潤状態との間で大きな有意差を有しているので、角度βの設定の自由度が高いものとなる。また、カメラ1の設置高さは、角度βが例えば6度〜12度の範囲となることを満足させつつ、おおむね自動車Vのバンパーからルーフまでの高さ範囲に設定するのが好ましいものとなる(40cm〜150cm程度の高さに設定するのが好ましい)。
また、図5において、「×」印によって、カメラ角度βが8度の場合において、路面が全体的に雪に覆われた積雪路面である場合の正規化強度平均値が示される。積雪路面の場合、正規化強度平均値は極めて小さい値となり、例えばしきい値「0.3」よりも小さいときは、積雪路面であると判定することが可能である。積雪路面の場合は、雨水で濡れた湿潤路面に比して正規化強度平均値に大きな有意差を生じる範囲があるので、この大きな有意差がある範囲での正規化値を選択することにより、雨水で濡れた湿潤状態と積雪状態とを区別することができる。
【0037】
次に、路面の乾湿状態の判定についてのコントローラUの具体的な制御例について、図6に示すフローチャートを参照しつつ説明する。なお、以下の説明でSはステップを示す。まず、S1において、カメラ1によって撮影された例えば図4に示すような路面画像が取り込まれて保存される。次いでS2において、路面画像から測定範囲の切り出しが行われて、切り出された画像Aを得る(図4に示す路面画像からA部分の切り出し)。
【0038】
S2の後、S3において、切り出された画像Aについて、ガボール変換処理が行われる。このガボール変換処理においては、短周期(例えばガボール周期T=4pixel)でのガボール変換処理と、長周期(例えばガボール周期T=18pixel)でのガボール変換処理とが行われる。この後、S4において、短周期と長周期の各ガボール変換処理のそれぞれについて、強度平均値が算出される(全画素のガボール変換結果の強度値を加算し、それを画素数で除することにより強度平均値が算出される)。この後、S5において、短周期のガボール変換処理の強度平均値を、長周期のガボール変換処理の強度平均値で除することにより、正規化強度平均値Bが算出される。S5での正規化強度平均値算出のための式の一例が、例えば図7(a)に示される。
【0039】
S5の後、S6において、S5で算出された正規化強度平均値Bがしきい値Y1以上であるか否かが判別される。このS6の判別でYESのときは、S7において、路面が乾燥状態であると判定される。
【0040】
上記S6の判別でNOのときは、S8において、正規化強度平均値Bがしきい値Y2よりも大きいか否かが判別される。このしきい値Y2は、雨水で濡れた湿潤状態と路面が雪で覆われた積雪状態とを区別するためのものである(図5の「×」印参照)。このS8の判別でYESのときは、S9において、湿潤路面であると判定される。また、S8の判別でNOのときは、S10において、積雪路面であると判定される。
【0041】
図6におけるS5での正規化処理を、上述した図7(a)に示すように、振動方位とガウス関数幅係数が同一である短周期のガボール変換結果の強度平均値を、長周期のガボール変換結果の強度平均値で除することで算出する方法に代えて、図7(b)に示すように、振動方位とガウス関数幅係数が同一である短周期のガボール変換結果の強度平均値と長周期のガボール変換結果の強度平均値の差の絶対値を、短周期のガボール変換結果の強度平均値と長周期のガボール変換結果の強度平均値の和の絶対値で除することで算出する方法としても良い。図7(b)において、ガウス関数幅係数α=2とし、短周期のガボール周期T=4pixel,長周期のガボール周期T=12pixelとして、振動方位θ=90度として算出された状態の一例が図20の実線(1)に、振動方位θ=0度として算出された状態の一例が図20の実線(2)に、示されている。
図20の縦軸は、ガボール変換結果の強度平均の差と和の比であるフィルタ処理結果の正規化強度平均値であり、横軸が画像の通し番号であり、カメラ俯角β=5度の場合の乾燥路面の画像(通し番号1〜5の5枚)と湿潤路面の画像(通し番号6〜10の5枚)、及びカメラ俯角β=8度の場合の乾燥路面の画像(通し番号11〜15の5枚)と湿潤路面の画像(通し番号16〜20の5枚)の解析結果を示している。
図20の実線(1)(2)に示されるように、カメラ俯角β=5度、8度のいずれにおいても、乾燥路面と湿潤路面との間では大きな有意差があることが理解され、振動方位θ=90度の場合の実線(1)に対しては、破線(1)で示す0.1〜0.2のしきい値を設定することにより、また振動方位θ=0度の場合の実線(2)に対しては、破線(2)で示す0.07〜0.08のしきい値を設定することにより、乾燥路面と湿潤路面を正確に判定することが出来る。
【0042】
またさらに、図6におけるS5での正規化処理を、上述した図7(a)(b)に示すように、ガボール周期による方法に代えて、図8(a)(b)に示すように、振動方位に基づいて行うこともできる。
このうち、図8(a)は、図7(a)の処理に対応していて、振動方位90度の強度平均値を振動方位0度の強度平均値で除することにより正規化してある。この図8(a)に示す式にしたがって正規化された状態が、図13に示され、ガボール周期を4pixel、ガウス関数幅係数を2として、ガボール変換処理した正規化強度平均値の乾燥路面と湿潤路面の振動方位に対する値を示すもので、横軸が振動方位0度から180度であり、縦軸がガボール変換処理した強度平均値を振動方位0度の強度平均値で正規化した値を示す。この図13より、振動方位90度において乾燥路面と湿潤路面との間では大きな有意差があることが理解される。勿論、図6のS6でのしきい値Y1およびS8でのしきい値Y2は、正規化の手法の変更に応じて変更される。
【0043】
また、図8(b)は、図7(b)の処理に対応していて、ガボール周期とガウス関数幅係数が同一である振動方位0度のガボール変換結果の強度平均値と振動方位90度のガボール変換結果の強度平均値の差の絶対値を、振動方位0度のガボール変換結果の強度平均値と振動方位90度のガボール変換結果の強度平均値の和の絶対値で除することで算出する方法を示す。図8(b)において、ガボール周期T=4pixel、ガウス関数幅係数α=2とし、振動方位θ=0度と90度として、算出された状態の一例が図20の実線(3)に示されている。これより振動方位による方法においても、カメラ俯角β=5度、8度のいずれにおいても、乾燥路面と湿潤路面との間では大きな有意差があることが理解され、破線(3)で示す0.15〜0.25のしきい値を設定することで、乾燥路面と湿潤路面を正確に判定することが出来る。
【0044】
同様に、図9(a)(b)は、図6のS5での正規化処理を、ガウス関数幅係数αで行うようにした場合の一例を示すものである。
このうち、図9(a)は、図7(a)図8(a)に対応していて、図9(a)に示す式においては、ガウス関数幅係数α=1における強度平均値を、ガウス関数幅係数α=5における強度平均値で除することにより正規化してある。この図9(a)に示す式にしたがって正規化された状態の一例が、図14に示され、ガボール周期を18pixel、振動方位を40度として、ガボール変換処理した正規化強度平均値の乾燥路面と湿潤路面のガウス関数幅係数に対する値を示すもので、横軸がガウス関数幅係数1から5であり、縦軸がガボール変換処理した強度平均値をガウス関数幅係数5の強度平均値で正規化した値を示す。この図14より、ガウス関数幅係数1において乾燥路面と湿潤路面との間では大きな有意差があることが理解される。勿論、図6のS6でのしきい値Y1およびS8でのしきい値Y2は、正規化の手法の変更に応じて変更される。
【0045】
また、図9(b)は、図7(b)図8(b)の処理に対応していて、ガボール周期及び振動方位が同一であるガウス関数幅係数α=5のガボール変換結果の強度平均値と、ガウス関数幅係数α=1のガボール変換結果の強度平均値の差の絶対値を、ガウス関数幅係数α=5のガボール変換結果の強度平均値と、ガウス関数幅係数α=1のガボール変換結果の強度平均値の和の絶対値で除することで算出する方法を示す。
この図9(b)に示す式にしたがって正規化された状態の一例が、図21に示され、ガボール周期を18pixel、振動方位を40度として、ガウス関数幅係数5でのガボール変換処理した強度平均値とガウス関数幅係数1〜5でのガボール変換処理した強度平均値の差の絶対値を、ガウス関数幅係数5でのガボール変換処理した強度平均値とガウス関数幅係数1〜5でのガボール変換処理した強度平均値の和の絶対値で除することにより正規化した値を示すもので、横軸がガウス関数幅係数1から5であり、縦軸がガボール変換処理した強度平均値を上述の方法により正規化した値を示す。この図21より、ガウス関数幅係数による和と差による方法においても、ガウス関数幅係数1〜2において乾燥路面と湿潤路面との間では大きな有意差があることが理解され、図9(b)のように、ガウス関数幅係数1とした場合、乾燥路面と湿潤路面を正確に判定することが出来る。
【0046】
(第2実施形態)
図10は、本発明の第2の実施形態を示すもので、輝度ヒストグラムを併用して、乾燥路面と湿潤路面との識別をより精度よく行うようにした場合の制御例を示す。ここで、輝度ヒストグラムは、保存されている画像Aをグレースケール化して求められる白黒画像の各画素の濃度の出現回数より求められるデータであり、すなわち、図15に示すように、横軸が各画素の輝度値、縦軸が各輝度値である画素の出現回数であり、出現回数がある所定値(例えば50)を超える輝度値の幅X1に着目すると、幅X1は、乾燥路面の場合の方が湿潤路面の場合に比して狭いということが判明した。より具体的には、幅X1の最小値については乾燥路面の場合が13で湿潤路面の場合は25であり、幅X1の最大値については乾燥路面の場合が23で湿潤路面の場合は75であった。よって、例えば幅X1が例えば24よりも小さければ乾燥路面であると判定することができ、また幅X1が25以上であれば湿潤路面であると判定することができる。
【0047】
図10の制御例について説明すると、S21〜S25の処理は図6のS1〜S5の処理と同じであり、また図10のS31〜S33の処理は図6のS8〜S10の処理と同じなので、その重複した説明は省略して、相違する部分のみ説明することとする。以上のことを前提として、まずS26においては、画像Aがグレースケール化されて画像Bに変換される。次いでS27において、画像Bの輝度ヒストグラムが作成される。この後S28において、出現回数が所定回数以上となる輝度ヒストグラムの幅C(図15の幅X1に相当する幅)が測定される。
【0048】
S28の後、S29において、S25での正規化値がしきい値Y1よりも大きくて、かつS28で得られた幅Cが所定のしきい値Y3よりも小さいか否かが判別される。このS29の判別でYESのときは、S30において、乾燥路面であると判定される。S29の判別でNOのときは、S31において、正規化強度平均値Bがしきい値Y2よりも大きいか否かが判別される。(このしきい値Y2は、上述の湿潤状態と積雪状態とを区別するためのものである)。このS31の判別でYESのときは、S32において、湿潤路面であると判定される。また、S31の判別でNOのときは、S33において、積雪路面であると判定される。
【0049】
なお、上記S29において、S25での正規化値がしきい値Y1よりも大きくて、かつS28で得られた幅Cが所定のしきい値Y3よりも小さいか否かを判別することに代えて、S28で得られた幅Cが所定のしきい値Y3よりも小さい場合、乾燥路面と判断することとしても良い。すなわち、輝度ヒストグラムである各画素の輝度値ごとの出現回数が、所定値を超える輝度値の幅X1が所定のしきい値Y3より小さければ乾燥路面としてS30へ移行し、しきい値Y3より大きければ乾燥路面以外としてS31へ移行することとしても良い。すなわち、輝度ヒストグラムのみにより乾燥路面か否かを判定することとしても良い。
【0050】
(第3実施形態)
図11は、本発明の第3の実施形態を示すもので、図10の制御例に比して、彩度ヒストグラムを用いて、道路標識の有無の判定を行うようにしてある。
すなわち、路面には、例えば横断歩道を示したり制限速度を示す等の各種の路面標識が表示されているが、路面標識が路面に明瞭かつ大きな面積で表示してあると、湿潤路面であるのか路面標識が描かれた乾燥路面であるかの識別が難しくなる。よって、路面標識を検出したときは、湿潤路面であるとの判定を行わないようにしてある。
【0051】
例えば、路面標識が削られてわずかに残存している(路面標識の痕跡が認められる程度)痕跡表示状態でかつ湿潤路面の場合の輝度ヒストグラムは図16に示すようになり、路面標識が明瞭に表示されている明瞭表示状態でかつ乾燥路面の場合の輝度ヒストグラムは図17に示すようになる。この図16、図17より、路面標識の表示状態によって、上述の輝度値の出現回数がある所定値を超える輝度値の幅が大きく変化することが明らかであり、単純に輝度ヒストグラムの幅の大小によって乾湿状態を判定すると、乾燥路面であっても路面標識が明瞭に表示されている場合に、湿潤路面であると誤判定するおそれがある。
【0052】
そこで,路面標識の検出を、彩度ヒストグラムを利用しておこなう。彩度ヒストグラムは、保存されている画像Aを例えばHLS色空間に変換処理(色相(Hue)、彩度(Saturation)、輝度(Lightness/Luminance または Intensity)の3つの成分からなる色空間への変換処理)して求められる各画素の彩度値(無彩色(白・黒・灰色)で0となり、無彩色軸から離れるにしたがい増し、純色で最大となる。)の出現回数より求められ、図18,図19に示すように、横軸が各画素の彩度値、縦軸が各彩度値である画素の出現回数であり、例えば、路面標識がわずかに残存する図16に対応する図18においては、彩度ヒストグラムの出現回数が最大となる彩度値である最大出現回数彩度値0.02と、画素の彩度値とその画素数を積算加算し総画素数で除した平均出現彩度値0.03の「差」が、「0.01」であるのに対し、路面標識が大きな面積で明瞭に表示されている図17に対応する図19においては、彩度ヒストグラムの出現回数が最大となる彩度値である最大出現回数彩度値0.02と平均出現彩度値0.24の「差」が、「0.22」となって大きな有意差を生じる。つまり、上記「差」が所定しきい値よりも大きい場合は、路面標識が大きな面積で明瞭に表示されている状態であると判定して、乾湿路面判定を禁止することで、湿潤路面であると誤判定してしまう事態を防止できることになる。
【0053】
次に、図11の制御例について説明するが、S41,S42は図10のS21、S22と,S48〜S58は図10のS23〜S33と同じであるので、相違するS43〜S47について説明する。まず、S43では、画像Aについて、HLS色空間に変換処理して画像Dが作成される。次いで、S44において、画像Dについて彩度ヒストグラムが作成される。この後S45において、彩度ヒストグラムの出現回数が最大となる最大出現回数彩度値と、平均出現彩度値との「差」が算出値Dとして算出される。
【0054】
S46において、S45での算出値Dが、所定のしきい値Y4よりも大きいか否かが判別される。このS46の判別でYESのときは、S47において道路標識有路面であると判定され乾湿路面判定を実施することなく処理が終了する。また、S46の判定でNOのときは、S48以下の処理が行われる。
【0055】
(第4実施形態)
図12は、本発明の第4の実施形態を示すもので、積雪路の判定に際して、カメラ1で撮影された画像そのものの全体について、あるいはそれから切り出された画像Aについて、白色の割合が所定のしきい値よりも大きいときに、積雪路であると判定するようにしてある。
【0056】
図12の制御例について説明するが、S61〜S69は図6のS1〜S9と同じであるので、相違するS70以下について説明する。まず、S68の判別でNOのときに、S70において、撮影画像全体について、あるいは画像Aについて、その白色の割合が算出される。次いでS71において、S70での白色割合が、所定のしきい値Y5よりも大きいか否かが判別される。このS71の判別でYESのときは、S72において、積雪路面であると判定される。また、S71の判別でNOのときは、S69において、湿潤路面であると判定される。
【0057】
ここで、全体的に地面の広い範囲に渡って雪に覆われているような場合でも、路面を多くの車両が通過することによってできる車輪の走行軌跡部分については部分的に雪がわずかに存在する程度の場合が往々にして生じる。このように、走行軌跡部分に雪がわずかに存在する部分を乾湿等の判定の画像として切り出されると、ガボールフィルタ処理結果後の正規化値が、雨水で濡れた湿潤路面の場合と大きな有意差を得られない場合が生じて、積雪路ではないと判定してしまうおそれがある。車両の走行においては、多くの車両の走行軌跡部分に雪がわずかに存在する場合やこの走行軌跡部分に雪がないときでも、路面が全体的に雪で覆われている場合と同様に十分注意して走行することが必要なので、画像中に占める白色の割合の大小に基づいて積雪路であるか否かの判定を精度よく行うようにしてある。
【0058】
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能であり、例えば次のような場合をも含むものである。
すなわち、上記実施例においては、いずれも、正規化強度平均値、輝度ヒストグラムの幅、彩度値などの各算出値をそれぞれの所定しきい値と比較することで、路面が乾燥しているか否か、積雪が有るか否かを判定しているが、上記算出値に対し、ファジー推定処理または公知の各種統計的識別処理を実施し、路面の乾湿度合いや積雪度合いを判定するようにしても良い。同様に、輝度ヒストグラムと彩度ヒストグラムと白色割合による各判定とを適宜組合せて、路面状態の判定を精度良く行うこととしても良い。
また、自動車等の車両に限らず、例えば路肩に設置した路面状況検出装置として固定設置することもできる。さらに、夜間であっても、ライト(車両の場合はヘッドライト)を路面に照射することにより、昼間と同様に精度よく乾湿判定を行うことができる。
勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。
【産業上の利用可能性】
【0059】
本発明は、例えば車両の安全走行のために利用することができる。
【符号の説明】
【0060】
V:車両
U:コントローラ
1:カメラ(撮影手段)
12:処理部(ガボール変換処理)
13:処理部(正規化処理)
14:記憶部(しきい値の記憶)
15:判定部(乾湿判定)
16:処理部(輝度ヒストグラム算出)がボール処理
17:処理部(白色割合算出)
18:処理部(輝度および彩度ヒストグラム算出)
【特許請求の範囲】
【請求項1】
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段によってフィルタ処理されたデータに基づいて路面の乾湿状態を判定する判定手段と、
を備えていることを特徴とする路面状態検出装置。
【請求項2】
請求項1において、
前記撮影手段が、車両に搭載されて車両前方の路面を撮影する車載カメラとされ、
前記車載カメラの上下方向の撮影角度が、水平方向から下向きに6度〜12度の角度範囲とされている、
ことを特徴とする路面状態検出装置。
【請求項3】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データとの一方を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項4】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項5】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの第1振動方位のガボールフィルタ処理データと第2振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1振動方位のガボールフィルタ処理データと前記第2振動方位のガボールフィルタ処理データとの一方を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項6】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの第1振動方位のガボールフィルタ処理データと第2振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1振動方位のガボールフィルタ処理データと前記第2振動方位のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項7】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの第1ガウス関数幅係数のガボールフィルタ処理データと第2ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1ガウス関数幅係数のガボールフィルタ処理データと前記第2ガウス関数幅係数のガボールフィルタ処理データとの一方を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項8】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの第1ガウス関数幅係数のガボールフィルタ処理データと第2ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1ガウス関数幅係数のガボールフィルタ処理データと前記第2ガウス関数幅係数のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項9】
請求項1〜8のいずれかにおいて、
前記判定手段が、路面が湿潤状態であると判定したときに、前記規格値により路面が積雪路面であるか否かを判定するように設定されている、ことを特徴とする路面状態検出装置。
【請求項10】
請求項9において、
前記路面画像に占める白色の割合を得る白色割合処理手段をさらに備え、
前記判定手段は、路面画像に示す白色の割合を併用して、積雪路面であるか否かを判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項11】
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像から輝度ヒストグラムを得る輝度ヒストグラム処理手段と、
前記輝度ヒストグラム処理手段によって得られた輝度ヒストグラムに基づいて、路面の乾湿状態を判定する判定手段と、
を備えていることを特徴とする路面状態検出装置。
【請求項12】
請求項11において、
前記路面画像の彩度ヒストグラムを得る彩度ヒストグラム処理手段をさらに備え、
前記判定手段は、前記彩度ヒストグラムを用いて、路面標識の有無を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項13】
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第1ステップと、
前記第1ステップで得られた路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理する第2ステップと、
前記第2ステップで得られたデータに基づいて路面の乾湿状態を判定する第3ステップと、
を備えていることを特徴とする路面状態検出方法。
【請求項14】
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第1ステップと、
前記第1ステップで得られた路面画像から輝度ヒストグラムを得るよう輝度ヒストグラム処理する第2ステップと、
前記第2ステップで得られた輝度ヒストグラムのデータに基づいて路面の乾湿状態を判定する第3ステップと、
を備えていることを特徴とする路面状態検出方法。
【請求項1】
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段によってフィルタ処理されたデータに基づいて路面の乾湿状態を判定する判定手段と、
を備えていることを特徴とする路面状態検出装置。
【請求項2】
請求項1において、
前記撮影手段が、車両に搭載されて車両前方の路面を撮影する車載カメラとされ、
前記車載カメラの上下方向の撮影角度が、水平方向から下向きに6度〜12度の角度範囲とされている、
ことを特徴とする路面状態検出装置。
【請求項3】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データとの一方を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項4】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項5】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの第1振動方位のガボールフィルタ処理データと第2振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1振動方位のガボールフィルタ処理データと前記第2振動方位のガボールフィルタ処理データとの一方を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項6】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの第1振動方位のガボールフィルタ処理データと第2振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1振動方位のガボールフィルタ処理データと前記第2振動方位のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項7】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの第1ガウス関数幅係数のガボールフィルタ処理データと第2ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1ガウス関数幅係数のガボールフィルタ処理データと前記第2ガウス関数幅係数のガボールフィルタ処理データとの一方を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項8】
請求項1または2において、
前記フィルタ手段が、ガボールフィルタの第1ガウス関数幅係数のガボールフィルタ処理データと第2ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第1ガウス関数幅係数のガボールフィルタ処理データと前記第2ガウス関数幅係数のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項9】
請求項1〜8のいずれかにおいて、
前記判定手段が、路面が湿潤状態であると判定したときに、前記規格値により路面が積雪路面であるか否かを判定するように設定されている、ことを特徴とする路面状態検出装置。
【請求項10】
請求項9において、
前記路面画像に占める白色の割合を得る白色割合処理手段をさらに備え、
前記判定手段は、路面画像に示す白色の割合を併用して、積雪路面であるか否かを判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項11】
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像から輝度ヒストグラムを得る輝度ヒストグラム処理手段と、
前記輝度ヒストグラム処理手段によって得られた輝度ヒストグラムに基づいて、路面の乾湿状態を判定する判定手段と、
を備えていることを特徴とする路面状態検出装置。
【請求項12】
請求項11において、
前記路面画像の彩度ヒストグラムを得る彩度ヒストグラム処理手段をさらに備え、
前記判定手段は、前記彩度ヒストグラムを用いて、路面標識の有無を判定するように設定されている、
ことを特徴とする路面状態検出装置。
【請求項13】
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第1ステップと、
前記第1ステップで得られた路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理する第2ステップと、
前記第2ステップで得られたデータに基づいて路面の乾湿状態を判定する第3ステップと、
を備えていることを特徴とする路面状態検出方法。
【請求項14】
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第1ステップと、
前記第1ステップで得られた路面画像から輝度ヒストグラムを得るよう輝度ヒストグラム処理する第2ステップと、
前記第2ステップで得られた輝度ヒストグラムのデータに基づいて路面の乾湿状態を判定する第3ステップと、
を備えていることを特徴とする路面状態検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2011−174794(P2011−174794A)
【公開日】平成23年9月8日(2011.9.8)
【国際特許分類】
【出願番号】特願2010−38593(P2010−38593)
【出願日】平成22年2月24日(2010.2.24)
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度地域科学技術振興事業委託事業「画像およびマイクロ波を用いた知的センシング技術の研究開発」委託研究、産業技術力強化法第19条の適用を受ける特許出願)
【出願人】(504174135)国立大学法人九州工業大学 (489)
【出願人】(000003137)マツダ株式会社 (6,115)
【Fターム(参考)】
【公開日】平成23年9月8日(2011.9.8)
【国際特許分類】
【出願日】平成22年2月24日(2010.2.24)
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度地域科学技術振興事業委託事業「画像およびマイクロ波を用いた知的センシング技術の研究開発」委託研究、産業技術力強化法第19条の適用を受ける特許出願)
【出願人】(504174135)国立大学法人九州工業大学 (489)
【出願人】(000003137)マツダ株式会社 (6,115)
【Fターム(参考)】
[ Back to top ]