物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
【課題】撮像領域内に存在する物体が置かれている環境が変化しても、その撮像画像中から適切にノイズ成分を除去することを課題とする。
【解決手段】偏光カメラ１０の撮像データに基づくモノクロ輝度及び差分偏光度から路面状態判定部２３が路面状態（乾燥状態か湿潤状態）を特定し、特定した路面状態に対応するノイズ除去用パラメータ（ε値）をパラメータ選択部２５がパラメータ記憶部２４から読み出し、ノイズ除去部２６は、そのノイズ除去用パラメータ（ε値）を用いてノイズ除去処理を行う。
【解決手段】偏光カメラ１０の撮像データに基づくモノクロ輝度及び差分偏光度から路面状態判定部２３が路面状態（乾燥状態か湿潤状態）を特定し、特定した路面状態に対応するノイズ除去用パラメータ（ε値）をパラメータ選択部２５がパラメータ記憶部２４から読み出し、ノイズ除去部２６は、そのノイズ除去用パラメータ（ε値）を用いてノイズ除去処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像領域内に存在する物体を識別する物体識別装置、並びに、この物体識別装置の識別結果を利用して、車両、船舶、航空機、あるいは、産業用ロボットなどの移動体の移動制御を行う移動体制御装置、及び、移動体の運転者に有益な情報を提供する情報提供装置に関するものである。
【背景技術】
【０００２】
この種の物体識別装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などに広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような車両走行支援システムにおいては、自車が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車の周囲に存在する障害物、先行車、車線などの物体を適切に区別して認識する（識別する）ことが必要となるので、従来から様々な物体識別装置が提案されている。
【０００３】
特許文献１には、撮影により得られた道路画像（撮像画像）から画像内のラインを検出することにより車両の走行レーンを区画する車線（白線）に対する自車の相対変位を検出するために、車線（物体）を識別するための物体識別装置が開示されている。この物体識別装置では、雨天により道路上に水たまりが存在する場合、太陽光等がこの水たまりで鏡面反射して、道路上の車線（白線）と同程度の輝度で撮影されることにより、水たまり部分を車線（白線）と誤認識してしまうという問題を解決するものである。具体的には、白線識別処理を行う前に道路画像から水たまり部分を取り除くため、撮影した道路画像から鏡面反射成分（ノイズ成分）のみを除去することにより水たまり部分を取り除き、残りの散乱光成分から白線を認識する。鏡面反射成分のみを除去する方法としては、鏡面反射の水平偏光成分はブリュースター角でほぼ０となること、及び、散乱光成分は垂直偏光成分と水平偏光成分がほぼ等量含まれていることを利用して、次のように行っている。すなわち、撮影した道路画像中の垂直偏光成分と水平偏光成分との差分を算出し、その差分値に対し、水平偏光成分中に含まれる入射角に応じた鏡面反射成分を除去するための補正係数を乗じることで、鏡面反射成分を算出する。そして、算出した鏡面反射成分を水平偏光成分から差し引くことで、道路画像から鏡面反射成分のみを除去した錯乱光成分の画像を得る。
【０００４】
特許文献２には、撮像した路面の垂直偏光画像および水平偏光画像の垂直偏光成分および水平偏光成分の各偏光成分の比である偏光比強度を算出し、算出した偏光比強度に基づいて路面が湿潤状態であるか乾燥状態であるかを検出する路面状態検出装置が開示されている。この装置は、走行中に変化する外光状態や車載カメラの設置俯角に起因して発生するノイズの影響を軽減するために、移動平均手法を用いてノイズを低減した偏光比強度を算出する。
【０００５】
特許文献３には、上記特許文献２に記載の装置と同様に路面が湿潤状態であるか乾燥状態であるかを検出する際に、街灯から断続的に入射される光のノイズを除去する装置が開示されている。この装置は、街灯の影響が小さい路面の画像をより多く取得し、その取得した画像における垂直偏光成分および水平偏光成分の各偏光成分の比や差に基づいて路面が湿潤状態であるか乾燥状態であるかを検出する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の物体識別装置は、撮像画像中の輝度の違いを利用して、路面上に存在する障害物（路端に存在する側壁、ガードレール、電信柱、街灯、歩行者通路の段差部等の路端障害物など）、先行車、車線などの識別対象物の境界（エッジ）を抽出し、そのエッジにより区画される領域を識別対象物の画像領域であると識別するものが多い。しかしながら、この方法では、撮像画像中にノイズ成分（識別精度を低下させる輝度情報）が含まれていて、例えば車線等が存在しない路面部分上に輝度が大きく異なる部分が存在するような撮像画像では、これらの部分間の境界をエッジであるとして抽出してしまい、路面の一部を車線等であると誤認識してしまう場合がある。このような誤認識は、例えばＡＣＣであれば誤認識した日陰部分を路端に存在する側壁等の障害物であるとして、衝突回避動作を実施してしまうなど、誤制御あるいは誤処理を引き起こす原因となる。
【０００７】
本出願人は、特願２００９−２９５９６３号において、撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに得られる当該２つの偏光画像間における輝度合計値に対する当該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出した結果を用いて路面上の立体物を識別する方法を提案した。詳しくは、算出した差分偏光度に基づいて識別対象物に対応する処理領域を特定し、識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域を識別対象物の画像領域であると識別する方法である。この方法によれば、輝度の違いを利用する従来の方法では撮像画像中の輝度に明確な違いがないために識別精度が悪い状況であっても、撮像画像中の立体物を高い精度で識別することが可能である。
【０００８】
撮像画像中の輝度の違いを利用して物体を識別する方法でも、上記特願２００９−２９５９６３号のように差分偏光度を利用して立体物を識別する方法でも、撮像画像中に識別対象物の識別精度を低下させるような輝度情報（ノイズ成分）が含まれていると、撮像画像中の識別対象物の画像領域を高い精度で識別できない場合がある。そのため、従来、このようなノイズ成分を、種々のノイズ除去用パラメータを用いた方法により撮像画像中から除去し、ノイズ除去後の撮像画像を用いて物体識別処理を行うものが種々提案されている。
【０００９】
しかしながら、従来のノイズ除去方法は、撮像領域内に存在する物体が置かれている環境の違い（晴天時と雨天時、日向と日陰、物体に照射される光の角度の違いなど）によって、その撮像画像中からノイズ成分を適切に除去できない場合があるという問題があった。これは、従来のノイズ除去方法では、撮像画像からノイズ成分を抽出するための基準となる閾値あるいは演算パラメータなどのノイズ除去用パラメータが、撮像領域内に存在する物体の環境によらず、一定であったことに起因する。
なお、上記問題は、運転者支援システムに用いられる物体識別装置に限らず、ロボット制御などに用いられる物体識別装置など、あらゆる物体識別装置においても同様に生じ得る問題である。
【００１０】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、撮像領域内に存在する物体が置かれている環境が変化しても、その撮像画像中から適切にノイズ成分を除去できる物体識別装置、並びに、この物体識別装置を備えた移動体制御装置及び情報提供装置に関するものである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、ノイズ除去用パラメータを用いて該撮像手段が撮像した２つの偏光画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段と、該撮像手段が撮像した２つの偏光画像をそれぞれ所定の識別処理領域に分割し、該識別処理領域ごとに、該ノイズ除去処理手段によりノイズ成分が除去された２つの偏光画像の輝度情報から物体識別用指標値を算出する指標値算出手段と、該指標値算出手段が算出した各識別処理領域の物体識別指標値に基づいて識別対象物に対応する識別処理領域を特定し、該識別対象物に対応する識別処理領域として特定した互いに近接する複数の識別処理領域を該識別対象物の画像領域であると識別する物体識別処理を行う物体識別処理手段とを有する物体識別装置において、撮像領域内に存在する物体の環境を特定するための環境情報を取得する環境情報取得手段と、該環境情報取得手段が取得した環境情報に基づいて撮像領域内に存在する物体の環境を特定する環境特定手段と、予め決められた互いに異なる複数の環境ごとに、当該環境下で撮像された２つの偏光画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータを記憶するパラメータ記憶手段とを有し、上記ノイズ除去処理手段は、上記環境特定手段が特定した環境に対応するノイズ除去用パラメータを上記パラメータ記憶手段から読み出し、該ノイズ除去用パラメータを用いてノイズ除去処理を行うことを特徴とする。
【００１２】
本発明においては、環境情報取得手段が取得する環境情報から、撮像領域内に存在する物体の環境を特定し、その特定した環境に対応するノイズ除去用パラメータをパラメータ記憶手段から読み出し、これを用いてノイズ除去処理を行う。パラメータ記憶手段に記憶されている各ノイズ除去用パラメータは、対応する環境下で撮像された２つの偏光画像中に含まれるノイズ成分を、別の環境に対応する他のノイズ除去用パラメータを用いて除去する場合よりも高い精度で除去できるパラメータである。本発明によれば、パラメータ記憶手段に記憶された複数のノイズ除去用パラメータが対応している環境下で撮像された撮像画像であれば、その撮像画像からノイズ成分を適切に除去することができる。
【発明の効果】
【００１３】
以上、本発明によれば、撮像領域内に存在する物体が置かれている環境が変化しても、その撮像画像中から適切にノイズ成分を除去できるという優れた効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムに利用可能な偏光カメラの一構成例を示す説明図である。
【図３】同運転者支援システムに利用可能な偏光カメラの他の構成例を示す説明図である。
【図４】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図５】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図６】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図７】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図８】εフィルタを用いたノイズ除去方法におけるフィルタ領域を示すノイズ除去処理の説明図である。
【図９】路端エッジ部と白線エッジ部を識別するための処理全体の流れを示すフローチャートである。
【図１０】ノイズ除去処理全体の流れを示すフローチャートである。
【図１１】撮像画像の一例を示す説明図である。
【図１２】（ａ）は、湿潤状態の路面を模式的に示した拡大図である。（ｂ）は、乾燥状態の路面を模式的に示した拡大図である。
【図１３】晴れの日で路面が乾燥状態であるときの高速道路のサンプル画像１００枚について、図１１に示した３点（Ａ点、Ｂ点、Ｃ点）の箇所における差分偏光度をプロットしたグラフである。
【図１４】雨の日で路面が湿潤状態であるときの高速道路のサンプル画像１００枚について、図１１に示した３点（Ａ点、Ｂ点、Ｃ点）の箇所における差分偏光度をプロットしたグラフである。
【図１５】物体識別処理の流れを示すフローチャートである。
【図１６】自車が直線道路を走行しているときの差分偏光度画像から特定される白線部分の候補点と、白線用の形状テンプレートに対応する白線部分とを重ねて表示した説明図である。
【図１７】自車が右に曲っている道路を走行しているときの差分偏光度画像から特定される白線部分の候補点と、白線用の形状テンプレートに対応する白線部分とを重ねて表示した説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明に係る物体識別装置を用いて、走行路面と路端障害物との境界である識別対象物としての路端エッジ部や白線エッジ部を識別し、その結果を用いて車両の運転者（ドライバー）の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。
本実施形態においては、天候状況（環境）に応じた各路面状態（乾燥状態、湿潤状態、積雪状態）にそれぞれ適したノイズ除去用パラメータを用いてノイズ除去処理を行うことにより、どの天候状況でも高い認識精度を得ることができるようにするものである。
【００１６】
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ１０により、移動体である車両が走行する路面（移動面）を含む自車周囲の風景を撮影し、画素（処理領域）ごとの垂直偏光強度（以下、単に「Ｓ偏光強度」という。）及び水平偏光強度（以下、単に「Ｐ偏光強度」という。）を含んだ偏光ＲＡＷ画像データを取得する。偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データは水平偏光画像メモリ１１に、偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データは垂直偏光画像メモリ１２にそれぞれ格納される。これらの画像データは、それぞれ、モノクロ画像処理部２１と、差分偏光度画像処理部２２と、ノイズ除去部２６に送信される。
【００１７】
偏光カメラ１０は、受光素子であるＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する周囲画像を撮像するものである。偏光カメラ１０は、リアルタイムに近い短い時間間隔で周囲画像を連続的に取得するのが好ましい。偏光カメラ１０は、例えばルームミラーに取り付けられ、車両前方の風景（路面を含むフロントビュー）を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の風景を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の風景を撮像するものであってもよい。本実施形態では、ルームミラーに取り付けられて車両前方の風景（路面を含むフロントビュー）を撮像する場合を例に挙げて説明する。
【００１８】
図２は、偏光カメラ１０の一構成例を示す説明図である。
この偏光カメラ１０Ａは、図２に示すように、ＣＣＤ等の撮像素子を備えた１台のカメラ１０１の前面に、回転駆動する回転偏光子１０２を配置したものである。この偏光カメラ１０Ａは、回転偏光子１０２の回転角に応じて通過する光の偏光方向が変化する。よって、カメラ１０１は、回転偏光子１０２を回転駆動させながら撮像することで、Ｐ偏光画像とＳ偏光画像とを交互に撮像することができる。
【００１９】
図３は、偏光カメラ１０の他の構成例を示す説明図である。
この偏光カメラ１０Ｂは、図３のように、ＣＣＤ等の撮像素子を備えた２台のカメラ１１１，１１２を用い、それぞれの前面に、Ｓ偏光を透過するＳ偏光フィルタ１１３とＰ偏光を透過するＰ偏光フィルタ１１４とを配置したものである。図２に示した偏光カメラ１０Ａでは、１台のカメラ１０１でＰ偏光画像とＳ偏光画像とを交互に撮像するため、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができなかったが、図３に示した偏光カメラ１０Ｂでは、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができる。
【００２０】
図４は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｃは、図４に示すように、撮像素子がＰ偏光画像とＳ偏光画像とについて個別に設けられている点では、図３に示した偏光カメラ１０Ｂと同様であるが、各撮像素子が図３に示した偏光カメラ１０Ｂの場合よりも近接配置されている点で大きく異なる。この偏光カメラ１０Ｃによれば、図３に示した偏光カメラ１０Ｂよりも小型化できる。図４に示す偏光カメラ１０Ｃは、レンズアレイ１２２と、遮光スペーサ１２３と、偏光フィルタ１２４と、スペーサ１２５と、固体撮像ユニット１２６とが積層されて形成されている。レンズアレイ１２２は、２つの撮像レンズ１２２ａ，１２２ｂを有する。この２つの撮像レンズ１２２ａ，１２２ｂは、互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、それぞれの光軸１２１ａ，１２１ｂが互いに平行となるように、かつ、同一平面上に配置している。遮光スペーサ１２３は、２つの開口部１２３ａ，１２３ｂを有し、レンズアレイ１２２に対して被写体側とは反対側に設けられている。２つの開口部１２３ａ，１２３ｂは、光軸１２１ａ，１２１ｂをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。偏光フィルタ１２４は、偏光面が９０度異なる２つの偏光子領域１２４ａ，１２４ｂを有する領域分割型の偏光子フィルタであり、遮光スペーサ１２３に対してレンズアレイ１２２とは反対側に設けられている。この偏光子領域１２４ａ，１２４ｂは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分（偏光成分）だけを透過させて直線偏光にする。なお、金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式を用いることで、境界部が明瞭な領域分割型の偏光子フィルタを得ることができる。スペーサ１２５は、偏光フィルタ１２４の偏光子領域偏光ａ，偏光ｂに対応する領域が貫通した開口部１２５ａを有する矩形枠状に形成され、偏光フィルタ１２４に対して遮光スペース１２３とは反対側に設けられている。固体撮像ユニット１２６は、基板１２７上に搭載された２つの固体撮像素子１２６ａ，１２６ｂを有し、スペーサ１２５に対して偏光フィルタ１２４とは反対側に設けられている。本実施形態では、モノクロのセンシングを行うため、これらの固体撮像素子１２６ａ，１２６ｂはカラーフィルタを備えていない。ただし、カラー画像のセンシングを行う場合には、カラーフィルタを配置する。
【００２１】
図５は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｄは、図５に示すように、１：１の透過性を備えるハーフミラー１３１と、反射ミラー１３２と、Ｓ偏光フィルタ１３３と、Ｐ偏光フィルタ１３４と、Ｓ偏光フィルタ１３３を介してＳ偏光を受光するＳ偏光用ＣＣＤ１３５と、Ｐ偏光フィルタ１３４を介してＰ偏光を受光するＰ偏光用ＣＣＤ１３６とを有する。図３や図４に示した偏光カメラ１０Ｂ，１０Ｃでは、Ｓ偏光画像とＰ偏光画像の同時撮影は可能であるものの、視差が生じてしまう。これに対し、図５に示した偏光カメラ１０Ｄでは、図示しない同一の撮像光学系（レンズ）を介して受光される同じ光を使ってＳ偏光画像とＰ偏光画像を同時撮影するため、視差が生じない。よって、視差ずれ補正などの処理が不要となる。
なお、ハーフミラー１３１に代えて、Ｐ偏光を反射し、かつ、Ｓ偏光を透過するプリズム等の偏光ビームスプリッタを用いてもよい。このような偏光ビームスプリッタを用いることで、Ｓ偏光フィルタ１３３やＰ偏光フィルタ１３４を省略することが可能となり、光学系の簡素化が図られるとともに、光利用効率も向上できる。
【００２２】
図６は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｅは、図６に示すように、撮像レンズ１４２ａの光軸１４１に沿ってカメラ構成要素が積層されたユニットである点では、図４に示した偏光カメラ１０Ｃと同様であるが、Ｓ偏光画像とＰ偏光画像を単一の撮像レンズ（撮像レンズは光軸に複数枚積層配置してもよい。）１４２で撮像する点で異なっている。この偏光カメラ１０Ｅによれば、図５に示した偏光カメラ１０Ｄと同様に、Ｓ偏光画像とＰ偏光画像との間で視差が生じない。しかも、図５に示した偏光カメラ１０Ｄよりも小型化できる。なお、図６に示した偏光カメラ１０Ｅの偏光フィルタ１４４は、偏光面が９０度異なる２種類の偏光子領域１４４ａ，１４４ｂが２つずつ設けられた領域分割型の偏光子フィルタとなっており、これに伴い、４つの固体撮像素子１４６ａ，１４６ｂ，１４６ｃ，１４６ｄが設けられている。
【００２３】
図７は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｆは、図７に示すように、領域分割型のフィルタを採用したものである。図７において、縦横に並ぶ正方形が各受光素子の受光部１５１を示し、縦線で示す領域がＳ偏光フィルタ１５２の領域を示し、横線で示す領域がＰ偏光フィルタ１５３の領域を示す。この偏光カメラ１０Ｆは、受光素子の画素に１：１で対応させたものではなく、各フィルタ１５２，１５３の領域は、横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは２、つまり横方向に１画素分進む間に縦方向に２画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも、画面全体で各フィルタ透過画像を再現することを可能とし、Ｓ偏光画像及びＰ偏光画像を撮像できる低コストの偏光カメラを実現できる。
【００２４】
モノクロ画像処理部２１は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとのモノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する。モノクロ画像処理部２１が算出したモノクロ輝度データは、環境特定手段としての路面状態判定部２３に出力される。
差分偏光度画像処理部２２は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに差分偏光度を算出する。差分偏光度は、下記の式（１）に示す計算式から求められる。すなわち、差分偏光度は、Ｐ偏光強度とＳ偏光強度との合計値（輝度合計値）に対するＰ偏光強度とＳ偏光強度との差分値（輝度差分値）の比率である。また、差分偏光度は、輝度合計値に対するＰ偏向強度の比率（Ｐ偏光比）と、輝度合計値に対するＳ偏向強度の比率（Ｓ偏光比）との差分値であると言い換えることもできる。なお、本実施形態では、Ｐ偏光強度からＳ偏光強度を差し引く場合について説明するが、Ｓ偏光強度からＰ偏光強度を差し引くようにしてもよい。また、差分偏光度に代えて、下記の式（２）に示す偏光比を用いてもよい。差分偏光度画像処理部１５が算出した差分偏光度のデータは、路面状態判定部２３に出力される。
差分偏光度＝（Ｐ偏光強度−Ｓ偏光強度）／（Ｐ偏光強度＋Ｓ偏光強度） ・・（１）
偏光比＝Ｐ偏光強度／Ｓ偏光強度 ・・・（２）
【００２５】
路面状態判定部２３は、モノクロ画像処理部２１が算出したモノクロ輝度データと、差分偏光度画像処理部２２が算出した差分偏光度のデータとを用いて、撮像領域内の路面状態を判断する処理を行う。この路面状態判断処理の詳細については後述する。路面状態判定部２３が判断した路面状態の情報は、ノイズ除去処理手段を構成するパラメータ選択部２５に出力される。
【００２６】
パラメータ記憶部２４は、予め決められた互いに異なる複数の環境（本実施形態では、乾燥状態、湿潤状態、積雪状態）ごとに、その環境下で撮像された撮像画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータを記憶している。本実施形態では、後述するように、εフィルタを用いたノイズ除去方法を採用してノイズ成分の除去を行うので、ノイズ除去用パラメータはε値である。本実施形態では、下記の表１に示すように、各路面状態とその路面状態に適したε値とが互いに関連付けられたデータテーブルがパラメータ記憶部２４に記憶されている。
【表１】
【００２７】
各路面状態に対する最適なε値は、事前に、各路面状態で撮像したサンプル画像をそれぞれ例えば１００枚程度、ノイズ除去フィルタ（εフィルタ）をかけることで決めることができる。ε値の具体的な値の一例としては、乾燥状態で最適なε値は４５〜５５であり、湿潤状態で最適なε値は６０〜７０である。このときのεフィルタのウィンドウサイズは７×７画素である。
【００２８】
パラメータ選択部２５は、パラメータ記憶部２４のデータテーブルを検索して、上記路面状態判定部２３で特定された路面状態に対する最適なノイズ除去用パラメータ（ε値）を読み出す処理を行う。読み出したノイズ除去用パラメータは、ノイズ除去処理手段を構成するノイズ除去部２６に出力される。
【００２９】
ノイズ除去部２６は、本実施形態ではεフィルタを用いたノイズ除去方法を用いてノイズ除去処理を実行する。具体的には、パラメータ選択部２５が出力したノイズ除去用パラメータ（ε値）を用いて、注目画素の周辺画素についての輝度データに対してノイズ除去処理を実行するものである。本実施形態では、一例として、５×５画素のεフィルタを用いたノイズ除去方法について説明する。εフィルタを用いたノイズ除去方法は、図８に示すように、注目画素を中心とした５×５画素のウィンドウ内にある周辺画素の中で、注目画素と周辺画素との輝度差の絶対値がノイズ除去用パラメータであるε値（閾値）を超えていない周辺画素のみを集めて平均化処理を行うノイズ除去方法である。注目画素と周辺画素との輝度差の絶対値がε値（閾値）を超えている周辺画素については、その周辺画素の輝度データはノイズであると判断し、平均化処理の対象としない。このノイズ除去方法によれば、注目画素から輝度値が大きく外れた周辺画素をノイズと判断して除外することができる。
【００３０】
このノイズ除去処理において、閾値であるε値を高く設定すると、ノイズを多く除去できるが、識別対象物の境界を示すエッジ成分もノイズとして除去される確率が高まるために撮像画像中のエッジ成分をノイズ除去後も保存する割合が減少する。そのため、ε値は、ノイズ成分とエッジ成分とを考慮して適切な値に調整することが必要となる。
【００３１】
なお、バイラテラルフィルタ、ウェーブレット変換等のεフィルタ以外のノイズ除去方法においても、それぞれのノイズ除去処理に用いられるノイズ除去用パラメータの決定が重要である。本明細書において、「ノイズ除去処理」とは、ノイズを含む撮像画像データについて、そのノイズを軽減または除去する画像処理を意味する。つまり、本明細書において、「ノイズ除去」は、ノイズを含む画像データから完全にノイズを除去することを意味するだけではなく、ノイズを軽減することも含む意味である。
【００３２】
モノクロ画像処理部１３は、上記ノイズ除去部２６でノイズが除去されたＰ偏光強度データ及びＳ偏光強度データから、画素ごとのモノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する。このモノクロ画像処理部１３での処理内容は、上述したモノクロ画像処理部２１での処理と同じであるが、その処理の対象は、ノイズ除去後の偏光画像データである。モノクロ画像処理部１３で算出されるモノクロ輝度データを用いてモノクロ画像が生成できる。モノクロ画像処理部１３が算出したモノクロ輝度データは、ライン検出手段としての白線識別部１４に出力される。
【００３３】
差分偏光度画像処理部１５は、上記ノイズ除去部２６でノイズが除去されたＰ偏光強度データ及びＳ偏光強度データから、画素ごとに差分偏光度（識別指標値）を算出する。この差分偏光度画像処理部１５での処理内容は、上述した差分偏光度画像処理部２２での処理と同じであるが、その処理の対象は、ノイズ除去後の偏光画像データである。差分偏光度画像処理部１５で算出される差分偏光度を用いて差分偏光度画像が生成できる。差分偏光度画像処理部１５が算出した差分偏光度のデータは、物体認識部１８に出力される。
【００３４】
白線識別部１４は、モノクロ画像処理部１３により算出されたノイズ除去後のモノクロ輝度データに基づき、以下の方法により走行路面上の白線を識別するものである。なお、ここでいう白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
通常の道路の車線（区画線）は、運転者が視認しやすいように、アスファルト等の黒い部分に対し、コントラストの高い色（白等）で形成されている。したがって、このような車線（ここでは白線とする。）の輝度は、その他の場所に存在するアスファルト等の物体よりも十分に大きい。よって、モノクロ輝度データが所定の閾値以上の部分を白線と判定することができる。なお、本実施形態で用いるモノクロ輝度データは、上述した偏光カメラ１０により得たＰ偏光強度とＳ偏光強度の合計値を用いている。
【００３５】
白線識別部１４により白線エッジ部を識別した結果は、様々な処理に利用することが可能である。
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の白線部分の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で白線を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と白線との相対位置関係を把握することができ、白線で区画される走行レーンを維持して走行させることが容易になる。
また、例えば、白線識別部１４により識別された白線の位置情報から、自車と白線との相対位置関係を把握する処理を行い、自車が白線で区画される走行レーン上の適正走行位置から外れて走行していないかどうかを判断し、適正走行位置から外れて走行しているときに警報音等を発する処理が挙げられる。あるいは、適正走行位置から外れて走行しているときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００３６】
本実施形態においては、白線識別部１４において白線エッジ部を識別できた場合、画像中における白線エッジ部の位置を特定するための情報を物体識別部１８に出力する。このとき、モノクロ画像処理部１３で処理されたモノクロ画像から白線部分を除去した白線無しのモノクロ画像を画像選択部１６に出力するようにしてもよい。
一方、白線識別部１４において白線エッジ部が識別できなかった場合、画像中における白線エッジ部の位置を特定するための情報は物体識別部１８に出力されない。
【００３７】
物体認識部１８は、後述する方法により、差分偏光度画像の差分偏光度を用いて路端エッジ部を特定し、その路端エッジ部の特定結果を、後述の形状記憶部１７に記憶されている形状テンプレートに照らし合わせて、最終的に路端の画像領域（位置）を識別する。なお、本実施形態では、識別対象物が、走行路面の路端近傍に存在する側壁、ガードレール、路端の段差部等の路端障害物と走行路面との境界である路端エッジ部である場合について説明するが、電信柱、街灯、標識などの障害物、走行路面上を走行する他の車両、走行路面上又は路肩に居る人、動物、自転車等の衝突回避物など、あらゆる物体を識別対象物とすることが可能である。また、本実施形態においては、白線識別部１４において白線エッジ部を識別できなかった場合には、白線エッジ部も識別対象物に含まれることになる。本実施形態では、路端エッジ部を識別することで、白線識別部１４で識別した白線と同様に、路端エッジ部の識別結果を運転者支援システムの様々な処理に利用する。
【００３８】
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の路端エッジ部の位置を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で路端を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と路端との相対位置関係を把握することができ、路端障害物に衝突することなく安全に走行することが容易になる。
また、例えば、物体認識部１８により識別された路端エッジ部の位置情報から、自車と路端エッジ部との相対位置関係を把握する処理を行い、自車が路端に近づいて走行していないかどうかを判断し、路端に近づいたときに警報音等を発する処理が挙げられる。あるいは、路端に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００３９】
形状情報記憶手段としての形状記憶部１７には、物体認識部１８で用いる形状情報としての各種形状テンプレートのデータが記憶されている。形状記憶部１７に記憶される形状テンプレートは、物体認識部１８で識別する識別対象物である路端エッジ部を、偏光カメラ１０により撮像したときの形状（撮像画像中における識別対象物の形状）を示すものである。したがって、本実施形態における形状テンプレートは、走行レーンに略平行に延びる直線形状のものとなる。なお、形状テンプレートは、サイズ情報が含まれていてもよい。形状テンプレートは識別対象物の形状に応じて適宜選択される。例えば、マンホールの蓋を特定するための形状テンプレート、ボッツドッツ又はキャッツアイからなる金属製区間線を特定するための形状テンプレート、高速道路や陸橋などの道路に存在する金属製の道路連結部を特定するための形状テンプレート、他の車両を特定するための形状テンプレート、電信柱や街灯を特定するための形状テンプレートなどが挙げられる。
【００４０】
次に、本実施形態に係る運転者支援システムにおいて識別対象物である路端エッジ部と白線エッジ部を識別するための処理の流れについて説明する。
図９は、路端エッジ部と白線エッジ部を識別するための処理全体の流れを示すフローチャートである。
偏光カメラ１０により偏光ＲＡＷ画像データを取得したら、その偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データを水平偏光画像メモリ１１に格納するとともに、その偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データを垂直偏光画像メモリ１２に格納する（Ｓ１）。その後、まず、差分偏光度画像処理部２２は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、上記式（１）に示す計算式より、差分偏光度（識別指標値）を算出する（Ｓ２）。この算出結果から得られる差分偏光度画像のデータは、差分偏光度画像処理部２２内の図示しない画像メモリに格納される。また、モノクロ画像処理部２１は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、モノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する（Ｓ３）。この算出結果から得られるモノクロ画像のデータは、モノクロ画像処理部２１内の図示しない画像メモリに格納される。そして、適切なノイズ除去用パラメータを用いてノイズ除去処理が行われる（Ｓ４）。
【００４１】
図１０は、上記Ｓ４におけるノイズ除去処理全体の流れを示すフローチャートである。
本実施形態において、モノクロ画像処理部２１が算出したモノクロ輝度データと、差分偏光度画像処理部１５が算出した差分偏光度のデータとを用いて、路面状態判定部２３が撮像領域内の路面状態を判断する処理を行う。以下、説明の簡略化のため、路面が乾燥状態であるか湿潤状態であるかを判定し、これらの状態にそれぞれ適したノイズ除去用パラメータ（ε値）を用いてノイズ除去処理を行う場合で説明する。
【００４２】
まず、路面状態判定部２３は、モノクロ画像処理部２１が算出したモノクロ輝度データが予め決められた第１閾値以上であるか否かを判断するとともに、差分偏光度画像処理部１５が算出した差分偏光度のデータが予め決められた第２閾値以上であるか否かを判断する（Ｓ１１）。この判断において、モノクロ輝度値が第１閾値未満であり、かつ、差分偏光度が第２閾値以上であると判断された場合（Ｓ１１のＹｅｓ）、路面状態判定部２３は、路面が湿潤状態であると判定する（Ｓ１２）。一方、モノクロ輝度値が第１閾値以上であるか、又は、差分偏光度が第２閾値未満であると判断された場合（Ｓ１１のＮｏ）、次に、図１１に示すように、撮像画像中における同一ライン上のＡ点（撮像画像中の左側地点）、Ｂ点（撮像画像中の中央地点）、Ｃ点（撮像画像中の右側地点）の３点について、Ａ−Ｂ点間における差分偏光度の差分値と、Ｂ−Ｃ点間における差分偏光度の差分値とを算出する（Ｓ１３）。そして、これらの差分値がいずれも第３閾値以上であるか否かを判断する（Ｓ１４）。この判断において、いずれも閾値未満であると判断された場合（Ｓ１４のＹｅｓ）、路面状態判定部２３は、路面が湿潤状態であると判定する（Ｓ１２）。一方、いずれか一方又は両方が閾値以上であると判断された場合（Ｓ１４のＮｏ）、路面状態判定部２３は、路面が乾燥状態であると判定する（Ｓ１５）。
【００４３】
図１２（ａ）は、湿潤状態の路面を模式的に示した拡大図である。図１２（ｂ）は、乾燥状態の路面を模式的に示した拡大図である。
湿潤状態の路面は、その表面全体が水で覆われており、そのような状況の路面での反射光は水中から空気中に透過して偏光カメラ１０に受光されることになる。そのため、Ｐ偏光成分はＳ偏光成分よりも水から空気への透過率が高いという特性を利用することで、Ｐ偏光成分が相対的に大きい場合には、路面が湿潤状態と判定することができる。あるいは、Ｓ偏光成分とＰ偏光成とがほぼ同等である場合には、路面が乾燥状態であると判定することもできる。したがって、本実施形態のように輝度値と差分偏光度を予め設定した閾値（第１閾値や第２閾値）と比較することで、路面状態を判定することができる。本実施形態では、この特性を利用して、上記Ｓ１１において、モノクロ輝度値が第１閾値未満であり、かつ、差分偏光度が第２閾値以上であると判断された場合には、路面が湿潤状態であると判定している。
【００４４】
図１３は、晴れの日で路面が乾燥状態であるときの高速道路のサンプル画像１００枚について、図１１に示した３点（Ａ点、Ｂ点、Ｃ点）の箇所における差分偏光度をプロットしたグラフである。
図１４は、雨の日で路面が湿潤状態であるときの高速道路のサンプル画像１００枚について、図１１に示した３点（Ａ点、Ｂ点、Ｃ点）の箇所における差分偏光度をプロットしたグラフである。
これらのグラフに示すとおり、３点間における差分偏光度のバラツキは、乾燥状態よりも湿潤状態の方が小さい。この特性を利用すれば、路面が乾燥状態であるか湿潤状態であるかを判別することができる。本実施形態では、この特性を利用して、上記Ｓ１３及び上記Ｓ１４において、Ａ−Ｂ点間及びＢ−Ｃ点間における差分偏光度の差分値を算出し、これらの差分値がいずれも第３閾値未満である場合には路面が湿潤状態であると判定している。
【００４５】
このようにして路面状態を判定したら、パラメータ選択部２５は、その判定結果の路面状態に対応するノイズ除去用パラメータ（ε値）をパラメータ記憶部２４のデータテーブルの中から選択して読み出す（Ｓ１６）。そして、ノイズ除去部２６は、上述したノイズ除去方法により、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データについて、パラメータ選択部２５が選択したε値を用いたεフィルタによるノイズ除去を行う（Ｓ１７）。
【００４６】
ここで、上記の例、すなわち、乾燥状態で最適なε値を４５〜５５とし、湿潤状態で最適なε値を６０〜７０とした場合に、１００枚のサンプル画像についてεフィルタを使ったノイズ除去処理を行ったときの評価結果について説明する。その評価関数には、下記の式（３）に示したノイズ低減率を示す標準偏差率（Standard Deviation Rate:ＳＤＲ）と、下記の式（４）に示したエッジの保存度を示すエッジの傾斜率（Edge Slope Rate）を用いた。ＳＤoriginalは、εフィルタをかける前の原画像上における４０×４０画素の輝度情報の標準偏差を表している。ＳＤfilteredは、εフィルタをかけた後の原画像上における４０×４０画素の輝度情報の標準偏差を表している。ＳＤＲの値は、大きいほどノイズが多く低減されていることを示す。また、ＥＳoriginalは、εフィルタをかける前の原画像上におけるエッジの傾きを表している。ＥＳfilteredは、εフィルタをかけた後の原画像上におけるエッジの傾きを表している。ＥＳＲの値は、大きいほど、ノイズ除去処理後にエッジがよく保存されていることを示す。
【数１】
【００４７】
上述した例のε値をそれぞれに対応する各路面状態の撮像画像に適用して評価を行ったところ、乾燥状態のＳＤＲ＝７４．５５％であり、乾燥状態のＥＳＲ＝８６．３８％であった。また、湿潤状態のＳＤＲ＝７６．４５％であり、湿潤状態のＥＳＲ＝８８．６７％であった。
【００４８】
以上のようなノイズ除去処理を終えたら、次に、図９に示すように、ノイズが除去された後のＰ偏光強度データ及びＳ偏光強度データからモノクロ画像処理部１３がモノクロ画像データを算出し、これを用いて白線識別部１４は上述した方法により白線認識処理を行う（Ｓ５）。
また、ノイズが除去された後のＰ偏光強度データ及びＳ偏光強度データから差分偏光度画像処理部１５が差分偏光度画像データを算出し、これを用いて物体認識部１８が識別対象物の物体識別処理を行う（Ｓ６）。以下の説明では、識別対象物が路端エッジ部である場合を例に挙げて説明するが、識別対象物が白線エッジ部であったりその他の物体であったりする場合も同様である。
【００４９】
図１５は、上記Ｓ６における物体識別処理の流れを示すフローチャートである。
本実施形態の物体識別処理では、上述したノイズ除去処理によりノイズ成分が除去された後の画像（ここでは差分偏光度画像とする。）を入力し（Ｓ２１）、その画像に対してエッジ判別処理を行う。このエッジ判別処理では、まず、ノイズ除去後の差分偏光度画像を元にエッジ画像を作成する（Ｓ２２）。このエッジ画像の作成は、処理対象として入力されたノイズ除去後の差分偏光度画像に対して公知のエッジ抽出処理を施して作成する。エッジ抽出処理を施すことにより、差分偏光度が急激に変化する部分の変化度合いに応じたエッジ値（エッジの強さ）が得られ、そのエッジ値の違いを輝度の違いで表現したエッジ画像を得ることができる。
【００５０】
具体的には、座標（ｘ，ｙ）における濃度の勾配を表す１次微分の値をベクトル量（ｆｘ，ｆｙ）として表現すると（ｆｘはｘ方向の微分を、ｆｙはｙ方向の微分を、それぞれ示す。）、エッジの強さは、下記の式（５）によって表される。このときの微分オペレータとしては、例えば下記の式（６）及び（７）に示すRobertsオペレータを利用することができる。
【数２】
【数３】
【００５１】
このようにしてエッジ画像を作成したら、次に、そのエッジ画像を２値化する処理を行う（Ｓ２３）。このときに用いるエッジ閾値としては、当該差分偏光度画像のモノクロ輝度及び差分偏光度や上記ノイズ除去用パラメータ（ε値）により適宜決められる値を用いる。
また、撮像画像の上方部分と下方部分とでは、物体からの反射光の強度に差がある。これは、撮像画像の上方部分は遠くに位置する物体を撮影した部分であるため、近くに位置する物体を撮影した下方部分よりも、反射光の強度は小さいものとなる。したがって、撮像画像の上方部分と下方部分とではコントラストが異なることになるため、この違いを考慮し、撮像画像の上方部分と下方部分とで、用いるエッジ閾値を異ならせるようにしてもよい。
【００５２】
次に、物体認識部１８は、作成した２値化エッジ画像を用いて、識別対象物である路端エッジ部の候補点を抽出する処理を行う（Ｓ２４）。この処理では、まず、２値化したエッジ画像に対して複数の処理ラインを設定する。本実施形態の処理ラインは、２値化エッジ画像内の横１列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、２値化エッジ画像内の全画素に対して設定される必要はなく、２値化エッジ画像内の適切に選択された一部の画素について設定するようにしてもよい。また、処理ラインではなく、処理ブロック（縦横それぞれ２画素以上からなるブロック）単位で行ってもよい。この場合、例えば、２値化エッジ画像に対して複数の処理ブロックを設定し、処理ブロックごとに、２値化エッジ画像のばらつき度合い（散らばり度合い）を示す標準偏差を算出し、算出した標準偏差が基準偏差閾値以上である場合にその処理ブロック内にエッジが存在すると判定することができる。なお、処理ブロックは、矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。処理ブロックの大きさは、例えば１０×１０画素程度であってよい。なお、各処理ブロックは、同じサイズであっても、異なるサイズであってもよい。また、標準偏差に代えて、分散や平均偏差等の統計量が用いられてもよい。
【００５３】
ここで、識別対象物である路端エッジ部は、白線よりも外側に位置するものである。したがって、白線識別部１４により走行レーンの両側に位置する２つの白線が識別できている場合には、処理の簡素化のため、各処理ラインについて、各白線位置より外側に向かってエッジを探索する処理を行う。そして、この処理を処理ライン全部について行うことで、各白線よりも外側に位置するエッジ部を路端エッジ部の候補点として抽出する。
なお、白線識別部１４により白線が識別できていない場合には、各処理ラインについて、例えば画像中央から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行い、これにより得られるエッジ部を路端エッジ部の候補点として抽出する。
また、白線識別部１４により１本の白線だけが識別できている場合には、各処理ラインについて、その白線の内側部分から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行うことで、その白線を除いた画像部分に存在するエッジ部を路端エッジ部の候補点として抽出する。
【００５４】
このようにして路端エッジ部の候補点を抽出した後、物体認識部１８は、その路端エッジ部の候補点について形状近似認識処理を施し（Ｓ２５）、路端エッジ部を特定する。具体的には、まず、物体認識部１８は、路端エッジ部の候補点から一塊りの形状を認識し、これを、形状記憶部１７に記憶されている路端エッジ部の形状テンプレートと比較する。そして、路端エッジ部の候補点からなる形状が形状テンプレートと一致した場合、その路端エッジ部の候補点が路端エッジ部であると特定し、その位置を記憶する。
【００５５】
この形状近似認識処理では、抽出した路端エッジ部の候補点に対して形状近似認識により近似曲線を取得する。形状を認識する手法としては、最小二乗法やハフ変換やモデル方程式などの手法を用いる。なお、近似曲線を取得する際、信頼性の高い撮像画像の下方部分に位置する路端エッジ部の候補点ほど形状近似の投票値に大きな重みを持たせるようにすることが望ましい。このようにすれば、信頼性の低い撮像画像の上方部分で誤認識された路端エッジ部の候補点が存在しても、信頼性の高い撮像画像の下方部分で正常に認識された路端エッジ部の候補点が存在すれば、路端エッジ部を適切に特定することができる。
【００５６】
また、路端エッジ部の認識精度を高めるために、次のような処理を付加してもよい。
上述した物体識別処理（Ｓ２１〜Ｓ２５）を、偏光カメラ１０にて所定の時間間隔で連続的に撮影して得られる偏光画像データについて行い。路端エッジ部であると特定された領域については、その処理結果が所定のメモリに記憶される。このメモリに記憶される過去の処理結果（例えば、直前に撮像された偏光画像データについての処理結果）を利用し、今回の処理により特定された路端エッジ部が、その領域に対応する過去の処理結果でも路端エッジ部であると特定されていれば、今回の処理結果が信頼度の高いものであると判断する。そして、この信頼度を路端エッジ部として特定する際に利用する。今回の処理結果に係る領域に対応する過去の処理結果は、例えば、今回の処理結果に係る領域の位置と自車の進行方向とから、対応する過去の処理結果に係る領域の位置を検索して、対応する過去の処理結果を特定する。
【００５７】
次に、物体認識部１８で行う物体識別処理において、形状テンプレートを用いて白線識別部１４で識別できなかった白線を識別する場合の補足説明を行う。
図１６は、自車が直線道路を走行しているときの差分偏光度画像から特定される白線部分の候補点と、白線用の形状テンプレート（白線テンプレート）に対応する白線部分とを重ねて表示した説明図である。
上述した路端エッジ部の場合と同様にして、差分偏光度画像処理部１５で生成される差分偏光度画像から白線部分の候補点を抽出したら、形状近似認識処理により白線テンプレートと比較する。ここで、物体認識部１８による物体識別処理の対象領域（物体識別対象領域）は、処理時間の短縮化等の観点から、撮像画像の全体ではなく、撮像画像の一部に制限することがある。例えば、図１６に示す例では、画像上端近傍と画像下端近傍については物体識別対象領域から除外されている。また、白線の識別に限って言えば、画像横方向中央部分についても物体識別対象領域から除外してもよい場合がある。
【００５８】
物体識別対象領域内の白線部分の候補点からなる形状と白線テンプレートとが一致した場合、その候補点が白線部分であると特定し、その位置を記憶する。このとき、白線部分の候補点がない物体識別対象領域外については、物体識別対象領域外の白線テンプレートの箇所を白線部分であると特定し、その位置を記憶する。これにより、物体識別対象領域が撮像画像の一部に制限されていても、撮像画像の全体にわたって白線部分を識別することができる。
【００５９】
図１７は、自車が右に曲っている道路を走行しているときの差分偏光度画像から特定される白線部分の候補点と、右カーブ用の白線テンプレートに対応する白線部分とを重ねて表示した説明図である。
図１７の例では、図中左側の白線部分に対応する候補点は白線テンプレートに一致しているが、図中右側の白線部分に対応する候補点は白線テンプレートに一致していない。このような場合、図中左側の白線部分に対応する候補点は白線テンプレートと一致しているので、その候補点が白線部分であると特定し、その位置を記憶する。一方、図中右側の白線部分に対応する候補点は白線テンプレートと一致していない。そのため、その候補点は白線ではないと判断してもよいが、図中右側の白線テンプレートの箇所を白線部分であると特定し、その位置を記憶してもよい。
【００６０】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
本態様に係る物体識別装置は、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光（Ｐ偏光成分及びＳ偏光成分）を受光して、それぞれの偏光画像（Ｐ偏光画像及びＳ偏光画像）を撮像する撮像手段としての偏光カメラ１０と、ノイズ除去用パラメータ（ε値）を用いて偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段としてのノイズ除去部２６と、偏光カメラ１０が撮像した２つの偏光画像をそれぞれ所定の識別処理領域（画素ごと）に分割し、画素ごとに、ノイズ除去部２６によりノイズ成分が除去されたＰ偏光画像及びＳ偏光画像の輝度情報から物体識別用指標値である差分偏光度やモノクロ輝度を算出する指標値算出手段としてのモノクロ画像処理部１３や差分偏光度画像処理部１５と、モノクロ画像処理部１３や差分偏光度画像処理部１５が算出した各画素の差分偏光度やモノクロ輝度に基づいて白線エッジ部や路端エッジ部に対応する画素を特定し、白線エッジ部や路端エッジ部に対応する画素として特定した互いに近接する複数の画素を白線エッジ部や路端エッジ部の画像領域であると識別する物体識別処理を行う物体識別処理手段としての白線識別部１４や物体認識部１８とを有している。更に、この物体識別装置は、撮像領域内に存在する物体の環境（乾燥状態か湿潤状態か積雪状態か）を特定するための環境情報としてのモノクロ輝度及び差分偏光度を取得する環境情報取得手段としてのモノクロ画像処理部２１や差分偏光度画像処理部２２と、取得した環境情報（モノクロ輝度及び差分偏光度）に基づいて撮像領域内に存在する物体の環境（乾燥状態か湿潤状態か積雪状態か）を特定する環境特定手段としての路面状態判定部２３と、予め決められた互いに異なる複数の環境（乾燥状態と湿潤状態と積雪状態）ごとに、当該環境下で撮像されたＰ偏光画像及びＳ偏光画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータ（ε値）を記憶するパラメータ記憶手段としてのパラメータ記憶部２４とを有している。そして、パラメータ選択部２５が路面状態判定部２３が特定した路面状態に対応するノイズ除去用パラメータ（ε値）をパラメータ記憶部２４から読み出し、ノイズ除去部２６は、そのノイズ除去用パラメータ（ε値）を用いてノイズ除去処理を行う。
これによれば、路面が乾燥状態であっても湿潤状態であっても、その撮像画像からノイズ成分を適切に除去することができるので、いずれの路面状態でも高い物体識別精度を得ることができる。
【００６１】
（態様Ｂ）
上記態様Ａにおいて、ノイズ除去用パラメータは、Ｐ偏光画像及びＳ偏光画像中の輝度情報がノイズ成分であるか否かを判断するための閾値であるε値であり、ノイズ除去処理は、このε値に基づいて偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像中の輝度情報がノイズ成分であるか否かを判断し、ノイズ成分であると判断された輝度情報がモノクロ画像処理部１３によるモノクロ輝度の算出や差分偏光度画像処理部１５による差分偏光度の算出で用いられないように除外するインパルスノイズ除去処理を含んでいる。
これによれば、路面が乾燥状態であっても湿潤状態であっても、その撮像画像からインパルスノイズを適切に除去することができる。
【００６２】
（態様Ｃ）
上記態様Ｂにおいて、上記インパルスノイズ除去処理は、Ｐ偏光画像及びＳ偏光画像中の注目画素と該注目画素周辺に位置する周辺画素との間の輝度差が上記ε値を超えるとき、当該周辺画素の輝度情報がノイズ成分であると判断して除外する処理である。
これによれば、簡易な処理でインパルスノイズを適切に除去できる。
【００６３】
（態様Ｄ）
上記態様Ｃにおいて、上記ノイズ除去処理は、上記インパルスノイズ除去処理を行った後に、Ｐ偏光画像及びＳ偏光画像中の注目画素の輝度情報と該注目画素周辺に位置する複数の周辺画素の輝度情報とに基づいて、該注目画素及び該複数の周辺画素により区画されるノイズ除去処理領域内の輝度情報に含まれる高周波ノイズを除去する高周波ノイズ除去処理を行う。
これによれば、路面が乾燥状態であっても湿潤状態であっても、その撮像画像から高周波ノイズを適切に除去することができる。
【００６４】
（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、パラメータ記憶部２４に記憶される各路面状態のノイズ除去用パラメータ（ε値）は、当該環境下において互いに異なる複数の撮像領域でＰ偏光画像及びＳ偏光画像を撮像して得られた複数（例えば１００枚）の偏光画像サンプルを用い、当該環境下で撮像されるＰ偏光画像及びＳ偏光画像のノイズ成分をノイズ除去処理により高い精度で除去できるように調整されたノイズ除去用パラメータ（ε値）である。
これによれば、各路面状態に最適化されたノイズ除去用パラメータ（ε値）の調整が容易である。
【００６５】
（態様Ｆ）
上記態様Ａ〜Ｄのいずれかの態様において、物体識別用指標値として、画素ごとに、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像間における輝度情報の比率を示す上記式（２）に示した偏光比を用いる。
（態様Ｇ）
上記態様Ａ〜Ｄのいずれかの態様において、物体識別用指標値として、画素ごとに、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像間における輝度合計値に対する該Ｐ偏光画像及びＳ偏光画像間における輝度差分値の比率を示す差分偏光度を用いる。
いずれの態様でも、モノクロ輝度を物体識別用指標値とした場合に物体識別精度が低い状況下で、高い物体識別精度を得ることが可能である。
【００６６】
（態様Ｈ）
上記態様Ｆ又は上記態様Ｇにおいて、環境情報として、物体識別用指標値（モノクロ輝度や差分偏光度）を採用し、この物体識別用指標値に基づいて路面状態を特定する。
これによれば、環境情報を取得するための別手段が不要となり、構成の簡素化を実現できる。
【００６７】
（態様Ｉ）
上記態様Ｈにおいて、撮像領域内の複数箇所（Ａ点、Ｂ点、Ｃ点）に対応した差分偏光度間のばらつきに応じて路面状態を特定する。
これによれば、路面が乾燥状態か湿潤状態かを高い精度に判別することができる。
【００６８】
（態様Ｊ）
上記態様Ａ〜Ｉのいずれかの態様に係る物体識別装置を、上述したように、当該物体識別装置による識別結果を利用して移動体である車両（自車）の移動制御を行う移動制御手段しての走行支援ＥＣＵを備えた移動体制御装置としての自動ブレーキシステムに適用する。
【００６９】
（態様Ｋ）
上記態様Ａ〜Ｉのいずれかの態様に係る物体識別装置を、上述したように、当該物体識別装置による識別結果を利用して移動体である車両（自車）を運転操作する運転者にとって有益な情報を生成し、生成した情報を当該運転者に報知する情報提供装置に適用する。
【００７０】
なお、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本実施形態では、撮像領域内における物体の環境として路面状態を特定する場合を例に挙げて説明したが、環境の違いによって物体の識別精度に影響を与えるような環境であれば、路面状態とは異なる環境についても適用可能である。その場合、特定する環境の種類に応じて、適切な環境特定方法を適宜選定する。
【符号の説明】
【００７１】
１０ 偏光カメラ
１１ 水平偏光画像メモリ
１２ 垂直偏光画像メモリ
１３ モノクロ画像処理部
１４ 白線識別部
１５ 差分偏光度画像処理部
１７ 形状記憶部
１８ 物体認識部
２１ モノクロ画像処理部
２２ 差分偏光度画像処理部
２３ 路面状態判定部
２４ パラメータ記憶部
２５ パラメータ選択部
２６ ノイズ除去部
【先行技術文献】
【特許文献】
【００７２】
【特許文献１】特開平１１−１７５７０２号公報
【特許文献２】特開２００４−２９９４４３号公報
【特許文献３】特開２００９−２５１９８号公報
【技術分野】
【０００１】
本発明は、撮像領域内に存在する物体を識別する物体識別装置、並びに、この物体識別装置の識別結果を利用して、車両、船舶、航空機、あるいは、産業用ロボットなどの移動体の移動制御を行う移動体制御装置、及び、移動体の運転者に有益な情報を提供する情報提供装置に関するものである。
【背景技術】
【０００２】
この種の物体識別装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などに広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような車両走行支援システムにおいては、自車が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車の周囲に存在する障害物、先行車、車線などの物体を適切に区別して認識する（識別する）ことが必要となるので、従来から様々な物体識別装置が提案されている。
【０００３】
特許文献１には、撮影により得られた道路画像（撮像画像）から画像内のラインを検出することにより車両の走行レーンを区画する車線（白線）に対する自車の相対変位を検出するために、車線（物体）を識別するための物体識別装置が開示されている。この物体識別装置では、雨天により道路上に水たまりが存在する場合、太陽光等がこの水たまりで鏡面反射して、道路上の車線（白線）と同程度の輝度で撮影されることにより、水たまり部分を車線（白線）と誤認識してしまうという問題を解決するものである。具体的には、白線識別処理を行う前に道路画像から水たまり部分を取り除くため、撮影した道路画像から鏡面反射成分（ノイズ成分）のみを除去することにより水たまり部分を取り除き、残りの散乱光成分から白線を認識する。鏡面反射成分のみを除去する方法としては、鏡面反射の水平偏光成分はブリュースター角でほぼ０となること、及び、散乱光成分は垂直偏光成分と水平偏光成分がほぼ等量含まれていることを利用して、次のように行っている。すなわち、撮影した道路画像中の垂直偏光成分と水平偏光成分との差分を算出し、その差分値に対し、水平偏光成分中に含まれる入射角に応じた鏡面反射成分を除去するための補正係数を乗じることで、鏡面反射成分を算出する。そして、算出した鏡面反射成分を水平偏光成分から差し引くことで、道路画像から鏡面反射成分のみを除去した錯乱光成分の画像を得る。
【０００４】
特許文献２には、撮像した路面の垂直偏光画像および水平偏光画像の垂直偏光成分および水平偏光成分の各偏光成分の比である偏光比強度を算出し、算出した偏光比強度に基づいて路面が湿潤状態であるか乾燥状態であるかを検出する路面状態検出装置が開示されている。この装置は、走行中に変化する外光状態や車載カメラの設置俯角に起因して発生するノイズの影響を軽減するために、移動平均手法を用いてノイズを低減した偏光比強度を算出する。
【０００５】
特許文献３には、上記特許文献２に記載の装置と同様に路面が湿潤状態であるか乾燥状態であるかを検出する際に、街灯から断続的に入射される光のノイズを除去する装置が開示されている。この装置は、街灯の影響が小さい路面の画像をより多く取得し、その取得した画像における垂直偏光成分および水平偏光成分の各偏光成分の比や差に基づいて路面が湿潤状態であるか乾燥状態であるかを検出する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の物体識別装置は、撮像画像中の輝度の違いを利用して、路面上に存在する障害物（路端に存在する側壁、ガードレール、電信柱、街灯、歩行者通路の段差部等の路端障害物など）、先行車、車線などの識別対象物の境界（エッジ）を抽出し、そのエッジにより区画される領域を識別対象物の画像領域であると識別するものが多い。しかしながら、この方法では、撮像画像中にノイズ成分（識別精度を低下させる輝度情報）が含まれていて、例えば車線等が存在しない路面部分上に輝度が大きく異なる部分が存在するような撮像画像では、これらの部分間の境界をエッジであるとして抽出してしまい、路面の一部を車線等であると誤認識してしまう場合がある。このような誤認識は、例えばＡＣＣであれば誤認識した日陰部分を路端に存在する側壁等の障害物であるとして、衝突回避動作を実施してしまうなど、誤制御あるいは誤処理を引き起こす原因となる。
【０００７】
本出願人は、特願２００９−２９５９６３号において、撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに得られる当該２つの偏光画像間における輝度合計値に対する当該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出した結果を用いて路面上の立体物を識別する方法を提案した。詳しくは、算出した差分偏光度に基づいて識別対象物に対応する処理領域を特定し、識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域を識別対象物の画像領域であると識別する方法である。この方法によれば、輝度の違いを利用する従来の方法では撮像画像中の輝度に明確な違いがないために識別精度が悪い状況であっても、撮像画像中の立体物を高い精度で識別することが可能である。
【０００８】
撮像画像中の輝度の違いを利用して物体を識別する方法でも、上記特願２００９−２９５９６３号のように差分偏光度を利用して立体物を識別する方法でも、撮像画像中に識別対象物の識別精度を低下させるような輝度情報（ノイズ成分）が含まれていると、撮像画像中の識別対象物の画像領域を高い精度で識別できない場合がある。そのため、従来、このようなノイズ成分を、種々のノイズ除去用パラメータを用いた方法により撮像画像中から除去し、ノイズ除去後の撮像画像を用いて物体識別処理を行うものが種々提案されている。
【０００９】
しかしながら、従来のノイズ除去方法は、撮像領域内に存在する物体が置かれている環境の違い（晴天時と雨天時、日向と日陰、物体に照射される光の角度の違いなど）によって、その撮像画像中からノイズ成分を適切に除去できない場合があるという問題があった。これは、従来のノイズ除去方法では、撮像画像からノイズ成分を抽出するための基準となる閾値あるいは演算パラメータなどのノイズ除去用パラメータが、撮像領域内に存在する物体の環境によらず、一定であったことに起因する。
なお、上記問題は、運転者支援システムに用いられる物体識別装置に限らず、ロボット制御などに用いられる物体識別装置など、あらゆる物体識別装置においても同様に生じ得る問題である。
【００１０】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、撮像領域内に存在する物体が置かれている環境が変化しても、その撮像画像中から適切にノイズ成分を除去できる物体識別装置、並びに、この物体識別装置を備えた移動体制御装置及び情報提供装置に関するものである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、ノイズ除去用パラメータを用いて該撮像手段が撮像した２つの偏光画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段と、該撮像手段が撮像した２つの偏光画像をそれぞれ所定の識別処理領域に分割し、該識別処理領域ごとに、該ノイズ除去処理手段によりノイズ成分が除去された２つの偏光画像の輝度情報から物体識別用指標値を算出する指標値算出手段と、該指標値算出手段が算出した各識別処理領域の物体識別指標値に基づいて識別対象物に対応する識別処理領域を特定し、該識別対象物に対応する識別処理領域として特定した互いに近接する複数の識別処理領域を該識別対象物の画像領域であると識別する物体識別処理を行う物体識別処理手段とを有する物体識別装置において、撮像領域内に存在する物体の環境を特定するための環境情報を取得する環境情報取得手段と、該環境情報取得手段が取得した環境情報に基づいて撮像領域内に存在する物体の環境を特定する環境特定手段と、予め決められた互いに異なる複数の環境ごとに、当該環境下で撮像された２つの偏光画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータを記憶するパラメータ記憶手段とを有し、上記ノイズ除去処理手段は、上記環境特定手段が特定した環境に対応するノイズ除去用パラメータを上記パラメータ記憶手段から読み出し、該ノイズ除去用パラメータを用いてノイズ除去処理を行うことを特徴とする。
【００１２】
本発明においては、環境情報取得手段が取得する環境情報から、撮像領域内に存在する物体の環境を特定し、その特定した環境に対応するノイズ除去用パラメータをパラメータ記憶手段から読み出し、これを用いてノイズ除去処理を行う。パラメータ記憶手段に記憶されている各ノイズ除去用パラメータは、対応する環境下で撮像された２つの偏光画像中に含まれるノイズ成分を、別の環境に対応する他のノイズ除去用パラメータを用いて除去する場合よりも高い精度で除去できるパラメータである。本発明によれば、パラメータ記憶手段に記憶された複数のノイズ除去用パラメータが対応している環境下で撮像された撮像画像であれば、その撮像画像からノイズ成分を適切に除去することができる。
【発明の効果】
【００１３】
以上、本発明によれば、撮像領域内に存在する物体が置かれている環境が変化しても、その撮像画像中から適切にノイズ成分を除去できるという優れた効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムに利用可能な偏光カメラの一構成例を示す説明図である。
【図３】同運転者支援システムに利用可能な偏光カメラの他の構成例を示す説明図である。
【図４】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図５】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図６】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図７】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図８】εフィルタを用いたノイズ除去方法におけるフィルタ領域を示すノイズ除去処理の説明図である。
【図９】路端エッジ部と白線エッジ部を識別するための処理全体の流れを示すフローチャートである。
【図１０】ノイズ除去処理全体の流れを示すフローチャートである。
【図１１】撮像画像の一例を示す説明図である。
【図１２】（ａ）は、湿潤状態の路面を模式的に示した拡大図である。（ｂ）は、乾燥状態の路面を模式的に示した拡大図である。
【図１３】晴れの日で路面が乾燥状態であるときの高速道路のサンプル画像１００枚について、図１１に示した３点（Ａ点、Ｂ点、Ｃ点）の箇所における差分偏光度をプロットしたグラフである。
【図１４】雨の日で路面が湿潤状態であるときの高速道路のサンプル画像１００枚について、図１１に示した３点（Ａ点、Ｂ点、Ｃ点）の箇所における差分偏光度をプロットしたグラフである。
【図１５】物体識別処理の流れを示すフローチャートである。
【図１６】自車が直線道路を走行しているときの差分偏光度画像から特定される白線部分の候補点と、白線用の形状テンプレートに対応する白線部分とを重ねて表示した説明図である。
【図１７】自車が右に曲っている道路を走行しているときの差分偏光度画像から特定される白線部分の候補点と、白線用の形状テンプレートに対応する白線部分とを重ねて表示した説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明に係る物体識別装置を用いて、走行路面と路端障害物との境界である識別対象物としての路端エッジ部や白線エッジ部を識別し、その結果を用いて車両の運転者（ドライバー）の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。
本実施形態においては、天候状況（環境）に応じた各路面状態（乾燥状態、湿潤状態、積雪状態）にそれぞれ適したノイズ除去用パラメータを用いてノイズ除去処理を行うことにより、どの天候状況でも高い認識精度を得ることができるようにするものである。
【００１６】
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ１０により、移動体である車両が走行する路面（移動面）を含む自車周囲の風景を撮影し、画素（処理領域）ごとの垂直偏光強度（以下、単に「Ｓ偏光強度」という。）及び水平偏光強度（以下、単に「Ｐ偏光強度」という。）を含んだ偏光ＲＡＷ画像データを取得する。偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データは水平偏光画像メモリ１１に、偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データは垂直偏光画像メモリ１２にそれぞれ格納される。これらの画像データは、それぞれ、モノクロ画像処理部２１と、差分偏光度画像処理部２２と、ノイズ除去部２６に送信される。
【００１７】
偏光カメラ１０は、受光素子であるＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する周囲画像を撮像するものである。偏光カメラ１０は、リアルタイムに近い短い時間間隔で周囲画像を連続的に取得するのが好ましい。偏光カメラ１０は、例えばルームミラーに取り付けられ、車両前方の風景（路面を含むフロントビュー）を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の風景を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の風景を撮像するものであってもよい。本実施形態では、ルームミラーに取り付けられて車両前方の風景（路面を含むフロントビュー）を撮像する場合を例に挙げて説明する。
【００１８】
図２は、偏光カメラ１０の一構成例を示す説明図である。
この偏光カメラ１０Ａは、図２に示すように、ＣＣＤ等の撮像素子を備えた１台のカメラ１０１の前面に、回転駆動する回転偏光子１０２を配置したものである。この偏光カメラ１０Ａは、回転偏光子１０２の回転角に応じて通過する光の偏光方向が変化する。よって、カメラ１０１は、回転偏光子１０２を回転駆動させながら撮像することで、Ｐ偏光画像とＳ偏光画像とを交互に撮像することができる。
【００１９】
図３は、偏光カメラ１０の他の構成例を示す説明図である。
この偏光カメラ１０Ｂは、図３のように、ＣＣＤ等の撮像素子を備えた２台のカメラ１１１，１１２を用い、それぞれの前面に、Ｓ偏光を透過するＳ偏光フィルタ１１３とＰ偏光を透過するＰ偏光フィルタ１１４とを配置したものである。図２に示した偏光カメラ１０Ａでは、１台のカメラ１０１でＰ偏光画像とＳ偏光画像とを交互に撮像するため、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができなかったが、図３に示した偏光カメラ１０Ｂでは、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができる。
【００２０】
図４は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｃは、図４に示すように、撮像素子がＰ偏光画像とＳ偏光画像とについて個別に設けられている点では、図３に示した偏光カメラ１０Ｂと同様であるが、各撮像素子が図３に示した偏光カメラ１０Ｂの場合よりも近接配置されている点で大きく異なる。この偏光カメラ１０Ｃによれば、図３に示した偏光カメラ１０Ｂよりも小型化できる。図４に示す偏光カメラ１０Ｃは、レンズアレイ１２２と、遮光スペーサ１２３と、偏光フィルタ１２４と、スペーサ１２５と、固体撮像ユニット１２６とが積層されて形成されている。レンズアレイ１２２は、２つの撮像レンズ１２２ａ，１２２ｂを有する。この２つの撮像レンズ１２２ａ，１２２ｂは、互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、それぞれの光軸１２１ａ，１２１ｂが互いに平行となるように、かつ、同一平面上に配置している。遮光スペーサ１２３は、２つの開口部１２３ａ，１２３ｂを有し、レンズアレイ１２２に対して被写体側とは反対側に設けられている。２つの開口部１２３ａ，１２３ｂは、光軸１２１ａ，１２１ｂをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。偏光フィルタ１２４は、偏光面が９０度異なる２つの偏光子領域１２４ａ，１２４ｂを有する領域分割型の偏光子フィルタであり、遮光スペーサ１２３に対してレンズアレイ１２２とは反対側に設けられている。この偏光子領域１２４ａ，１２４ｂは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分（偏光成分）だけを透過させて直線偏光にする。なお、金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式を用いることで、境界部が明瞭な領域分割型の偏光子フィルタを得ることができる。スペーサ１２５は、偏光フィルタ１２４の偏光子領域偏光ａ，偏光ｂに対応する領域が貫通した開口部１２５ａを有する矩形枠状に形成され、偏光フィルタ１２４に対して遮光スペース１２３とは反対側に設けられている。固体撮像ユニット１２６は、基板１２７上に搭載された２つの固体撮像素子１２６ａ，１２６ｂを有し、スペーサ１２５に対して偏光フィルタ１２４とは反対側に設けられている。本実施形態では、モノクロのセンシングを行うため、これらの固体撮像素子１２６ａ，１２６ｂはカラーフィルタを備えていない。ただし、カラー画像のセンシングを行う場合には、カラーフィルタを配置する。
【００２１】
図５は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｄは、図５に示すように、１：１の透過性を備えるハーフミラー１３１と、反射ミラー１３２と、Ｓ偏光フィルタ１３３と、Ｐ偏光フィルタ１３４と、Ｓ偏光フィルタ１３３を介してＳ偏光を受光するＳ偏光用ＣＣＤ１３５と、Ｐ偏光フィルタ１３４を介してＰ偏光を受光するＰ偏光用ＣＣＤ１３６とを有する。図３や図４に示した偏光カメラ１０Ｂ，１０Ｃでは、Ｓ偏光画像とＰ偏光画像の同時撮影は可能であるものの、視差が生じてしまう。これに対し、図５に示した偏光カメラ１０Ｄでは、図示しない同一の撮像光学系（レンズ）を介して受光される同じ光を使ってＳ偏光画像とＰ偏光画像を同時撮影するため、視差が生じない。よって、視差ずれ補正などの処理が不要となる。
なお、ハーフミラー１３１に代えて、Ｐ偏光を反射し、かつ、Ｓ偏光を透過するプリズム等の偏光ビームスプリッタを用いてもよい。このような偏光ビームスプリッタを用いることで、Ｓ偏光フィルタ１３３やＰ偏光フィルタ１３４を省略することが可能となり、光学系の簡素化が図られるとともに、光利用効率も向上できる。
【００２２】
図６は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｅは、図６に示すように、撮像レンズ１４２ａの光軸１４１に沿ってカメラ構成要素が積層されたユニットである点では、図４に示した偏光カメラ１０Ｃと同様であるが、Ｓ偏光画像とＰ偏光画像を単一の撮像レンズ（撮像レンズは光軸に複数枚積層配置してもよい。）１４２で撮像する点で異なっている。この偏光カメラ１０Ｅによれば、図５に示した偏光カメラ１０Ｄと同様に、Ｓ偏光画像とＰ偏光画像との間で視差が生じない。しかも、図５に示した偏光カメラ１０Ｄよりも小型化できる。なお、図６に示した偏光カメラ１０Ｅの偏光フィルタ１４４は、偏光面が９０度異なる２種類の偏光子領域１４４ａ，１４４ｂが２つずつ設けられた領域分割型の偏光子フィルタとなっており、これに伴い、４つの固体撮像素子１４６ａ，１４６ｂ，１４６ｃ，１４６ｄが設けられている。
【００２３】
図７は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｆは、図７に示すように、領域分割型のフィルタを採用したものである。図７において、縦横に並ぶ正方形が各受光素子の受光部１５１を示し、縦線で示す領域がＳ偏光フィルタ１５２の領域を示し、横線で示す領域がＰ偏光フィルタ１５３の領域を示す。この偏光カメラ１０Ｆは、受光素子の画素に１：１で対応させたものではなく、各フィルタ１５２，１５３の領域は、横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは２、つまり横方向に１画素分進む間に縦方向に２画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも、画面全体で各フィルタ透過画像を再現することを可能とし、Ｓ偏光画像及びＰ偏光画像を撮像できる低コストの偏光カメラを実現できる。
【００２４】
モノクロ画像処理部２１は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとのモノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する。モノクロ画像処理部２１が算出したモノクロ輝度データは、環境特定手段としての路面状態判定部２３に出力される。
差分偏光度画像処理部２２は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに差分偏光度を算出する。差分偏光度は、下記の式（１）に示す計算式から求められる。すなわち、差分偏光度は、Ｐ偏光強度とＳ偏光強度との合計値（輝度合計値）に対するＰ偏光強度とＳ偏光強度との差分値（輝度差分値）の比率である。また、差分偏光度は、輝度合計値に対するＰ偏向強度の比率（Ｐ偏光比）と、輝度合計値に対するＳ偏向強度の比率（Ｓ偏光比）との差分値であると言い換えることもできる。なお、本実施形態では、Ｐ偏光強度からＳ偏光強度を差し引く場合について説明するが、Ｓ偏光強度からＰ偏光強度を差し引くようにしてもよい。また、差分偏光度に代えて、下記の式（２）に示す偏光比を用いてもよい。差分偏光度画像処理部１５が算出した差分偏光度のデータは、路面状態判定部２３に出力される。
差分偏光度＝（Ｐ偏光強度−Ｓ偏光強度）／（Ｐ偏光強度＋Ｓ偏光強度） ・・（１）
偏光比＝Ｐ偏光強度／Ｓ偏光強度 ・・・（２）
【００２５】
路面状態判定部２３は、モノクロ画像処理部２１が算出したモノクロ輝度データと、差分偏光度画像処理部２２が算出した差分偏光度のデータとを用いて、撮像領域内の路面状態を判断する処理を行う。この路面状態判断処理の詳細については後述する。路面状態判定部２３が判断した路面状態の情報は、ノイズ除去処理手段を構成するパラメータ選択部２５に出力される。
【００２６】
パラメータ記憶部２４は、予め決められた互いに異なる複数の環境（本実施形態では、乾燥状態、湿潤状態、積雪状態）ごとに、その環境下で撮像された撮像画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータを記憶している。本実施形態では、後述するように、εフィルタを用いたノイズ除去方法を採用してノイズ成分の除去を行うので、ノイズ除去用パラメータはε値である。本実施形態では、下記の表１に示すように、各路面状態とその路面状態に適したε値とが互いに関連付けられたデータテーブルがパラメータ記憶部２４に記憶されている。
【表１】
【００２７】
各路面状態に対する最適なε値は、事前に、各路面状態で撮像したサンプル画像をそれぞれ例えば１００枚程度、ノイズ除去フィルタ（εフィルタ）をかけることで決めることができる。ε値の具体的な値の一例としては、乾燥状態で最適なε値は４５〜５５であり、湿潤状態で最適なε値は６０〜７０である。このときのεフィルタのウィンドウサイズは７×７画素である。
【００２８】
パラメータ選択部２５は、パラメータ記憶部２４のデータテーブルを検索して、上記路面状態判定部２３で特定された路面状態に対する最適なノイズ除去用パラメータ（ε値）を読み出す処理を行う。読み出したノイズ除去用パラメータは、ノイズ除去処理手段を構成するノイズ除去部２６に出力される。
【００２９】
ノイズ除去部２６は、本実施形態ではεフィルタを用いたノイズ除去方法を用いてノイズ除去処理を実行する。具体的には、パラメータ選択部２５が出力したノイズ除去用パラメータ（ε値）を用いて、注目画素の周辺画素についての輝度データに対してノイズ除去処理を実行するものである。本実施形態では、一例として、５×５画素のεフィルタを用いたノイズ除去方法について説明する。εフィルタを用いたノイズ除去方法は、図８に示すように、注目画素を中心とした５×５画素のウィンドウ内にある周辺画素の中で、注目画素と周辺画素との輝度差の絶対値がノイズ除去用パラメータであるε値（閾値）を超えていない周辺画素のみを集めて平均化処理を行うノイズ除去方法である。注目画素と周辺画素との輝度差の絶対値がε値（閾値）を超えている周辺画素については、その周辺画素の輝度データはノイズであると判断し、平均化処理の対象としない。このノイズ除去方法によれば、注目画素から輝度値が大きく外れた周辺画素をノイズと判断して除外することができる。
【００３０】
このノイズ除去処理において、閾値であるε値を高く設定すると、ノイズを多く除去できるが、識別対象物の境界を示すエッジ成分もノイズとして除去される確率が高まるために撮像画像中のエッジ成分をノイズ除去後も保存する割合が減少する。そのため、ε値は、ノイズ成分とエッジ成分とを考慮して適切な値に調整することが必要となる。
【００３１】
なお、バイラテラルフィルタ、ウェーブレット変換等のεフィルタ以外のノイズ除去方法においても、それぞれのノイズ除去処理に用いられるノイズ除去用パラメータの決定が重要である。本明細書において、「ノイズ除去処理」とは、ノイズを含む撮像画像データについて、そのノイズを軽減または除去する画像処理を意味する。つまり、本明細書において、「ノイズ除去」は、ノイズを含む画像データから完全にノイズを除去することを意味するだけではなく、ノイズを軽減することも含む意味である。
【００３２】
モノクロ画像処理部１３は、上記ノイズ除去部２６でノイズが除去されたＰ偏光強度データ及びＳ偏光強度データから、画素ごとのモノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する。このモノクロ画像処理部１３での処理内容は、上述したモノクロ画像処理部２１での処理と同じであるが、その処理の対象は、ノイズ除去後の偏光画像データである。モノクロ画像処理部１３で算出されるモノクロ輝度データを用いてモノクロ画像が生成できる。モノクロ画像処理部１３が算出したモノクロ輝度データは、ライン検出手段としての白線識別部１４に出力される。
【００３３】
差分偏光度画像処理部１５は、上記ノイズ除去部２６でノイズが除去されたＰ偏光強度データ及びＳ偏光強度データから、画素ごとに差分偏光度（識別指標値）を算出する。この差分偏光度画像処理部１５での処理内容は、上述した差分偏光度画像処理部２２での処理と同じであるが、その処理の対象は、ノイズ除去後の偏光画像データである。差分偏光度画像処理部１５で算出される差分偏光度を用いて差分偏光度画像が生成できる。差分偏光度画像処理部１５が算出した差分偏光度のデータは、物体認識部１８に出力される。
【００３４】
白線識別部１４は、モノクロ画像処理部１３により算出されたノイズ除去後のモノクロ輝度データに基づき、以下の方法により走行路面上の白線を識別するものである。なお、ここでいう白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
通常の道路の車線（区画線）は、運転者が視認しやすいように、アスファルト等の黒い部分に対し、コントラストの高い色（白等）で形成されている。したがって、このような車線（ここでは白線とする。）の輝度は、その他の場所に存在するアスファルト等の物体よりも十分に大きい。よって、モノクロ輝度データが所定の閾値以上の部分を白線と判定することができる。なお、本実施形態で用いるモノクロ輝度データは、上述した偏光カメラ１０により得たＰ偏光強度とＳ偏光強度の合計値を用いている。
【００３５】
白線識別部１４により白線エッジ部を識別した結果は、様々な処理に利用することが可能である。
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の白線部分の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で白線を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と白線との相対位置関係を把握することができ、白線で区画される走行レーンを維持して走行させることが容易になる。
また、例えば、白線識別部１４により識別された白線の位置情報から、自車と白線との相対位置関係を把握する処理を行い、自車が白線で区画される走行レーン上の適正走行位置から外れて走行していないかどうかを判断し、適正走行位置から外れて走行しているときに警報音等を発する処理が挙げられる。あるいは、適正走行位置から外れて走行しているときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００３６】
本実施形態においては、白線識別部１４において白線エッジ部を識別できた場合、画像中における白線エッジ部の位置を特定するための情報を物体識別部１８に出力する。このとき、モノクロ画像処理部１３で処理されたモノクロ画像から白線部分を除去した白線無しのモノクロ画像を画像選択部１６に出力するようにしてもよい。
一方、白線識別部１４において白線エッジ部が識別できなかった場合、画像中における白線エッジ部の位置を特定するための情報は物体識別部１８に出力されない。
【００３７】
物体認識部１８は、後述する方法により、差分偏光度画像の差分偏光度を用いて路端エッジ部を特定し、その路端エッジ部の特定結果を、後述の形状記憶部１７に記憶されている形状テンプレートに照らし合わせて、最終的に路端の画像領域（位置）を識別する。なお、本実施形態では、識別対象物が、走行路面の路端近傍に存在する側壁、ガードレール、路端の段差部等の路端障害物と走行路面との境界である路端エッジ部である場合について説明するが、電信柱、街灯、標識などの障害物、走行路面上を走行する他の車両、走行路面上又は路肩に居る人、動物、自転車等の衝突回避物など、あらゆる物体を識別対象物とすることが可能である。また、本実施形態においては、白線識別部１４において白線エッジ部を識別できなかった場合には、白線エッジ部も識別対象物に含まれることになる。本実施形態では、路端エッジ部を識別することで、白線識別部１４で識別した白線と同様に、路端エッジ部の識別結果を運転者支援システムの様々な処理に利用する。
【００３８】
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の路端エッジ部の位置を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で路端を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と路端との相対位置関係を把握することができ、路端障害物に衝突することなく安全に走行することが容易になる。
また、例えば、物体認識部１８により識別された路端エッジ部の位置情報から、自車と路端エッジ部との相対位置関係を把握する処理を行い、自車が路端に近づいて走行していないかどうかを判断し、路端に近づいたときに警報音等を発する処理が挙げられる。あるいは、路端に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００３９】
形状情報記憶手段としての形状記憶部１７には、物体認識部１８で用いる形状情報としての各種形状テンプレートのデータが記憶されている。形状記憶部１７に記憶される形状テンプレートは、物体認識部１８で識別する識別対象物である路端エッジ部を、偏光カメラ１０により撮像したときの形状（撮像画像中における識別対象物の形状）を示すものである。したがって、本実施形態における形状テンプレートは、走行レーンに略平行に延びる直線形状のものとなる。なお、形状テンプレートは、サイズ情報が含まれていてもよい。形状テンプレートは識別対象物の形状に応じて適宜選択される。例えば、マンホールの蓋を特定するための形状テンプレート、ボッツドッツ又はキャッツアイからなる金属製区間線を特定するための形状テンプレート、高速道路や陸橋などの道路に存在する金属製の道路連結部を特定するための形状テンプレート、他の車両を特定するための形状テンプレート、電信柱や街灯を特定するための形状テンプレートなどが挙げられる。
【００４０】
次に、本実施形態に係る運転者支援システムにおいて識別対象物である路端エッジ部と白線エッジ部を識別するための処理の流れについて説明する。
図９は、路端エッジ部と白線エッジ部を識別するための処理全体の流れを示すフローチャートである。
偏光カメラ１０により偏光ＲＡＷ画像データを取得したら、その偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データを水平偏光画像メモリ１１に格納するとともに、その偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データを垂直偏光画像メモリ１２に格納する（Ｓ１）。その後、まず、差分偏光度画像処理部２２は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、上記式（１）に示す計算式より、差分偏光度（識別指標値）を算出する（Ｓ２）。この算出結果から得られる差分偏光度画像のデータは、差分偏光度画像処理部２２内の図示しない画像メモリに格納される。また、モノクロ画像処理部２１は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、モノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する（Ｓ３）。この算出結果から得られるモノクロ画像のデータは、モノクロ画像処理部２１内の図示しない画像メモリに格納される。そして、適切なノイズ除去用パラメータを用いてノイズ除去処理が行われる（Ｓ４）。
【００４１】
図１０は、上記Ｓ４におけるノイズ除去処理全体の流れを示すフローチャートである。
本実施形態において、モノクロ画像処理部２１が算出したモノクロ輝度データと、差分偏光度画像処理部１５が算出した差分偏光度のデータとを用いて、路面状態判定部２３が撮像領域内の路面状態を判断する処理を行う。以下、説明の簡略化のため、路面が乾燥状態であるか湿潤状態であるかを判定し、これらの状態にそれぞれ適したノイズ除去用パラメータ（ε値）を用いてノイズ除去処理を行う場合で説明する。
【００４２】
まず、路面状態判定部２３は、モノクロ画像処理部２１が算出したモノクロ輝度データが予め決められた第１閾値以上であるか否かを判断するとともに、差分偏光度画像処理部１５が算出した差分偏光度のデータが予め決められた第２閾値以上であるか否かを判断する（Ｓ１１）。この判断において、モノクロ輝度値が第１閾値未満であり、かつ、差分偏光度が第２閾値以上であると判断された場合（Ｓ１１のＹｅｓ）、路面状態判定部２３は、路面が湿潤状態であると判定する（Ｓ１２）。一方、モノクロ輝度値が第１閾値以上であるか、又は、差分偏光度が第２閾値未満であると判断された場合（Ｓ１１のＮｏ）、次に、図１１に示すように、撮像画像中における同一ライン上のＡ点（撮像画像中の左側地点）、Ｂ点（撮像画像中の中央地点）、Ｃ点（撮像画像中の右側地点）の３点について、Ａ−Ｂ点間における差分偏光度の差分値と、Ｂ−Ｃ点間における差分偏光度の差分値とを算出する（Ｓ１３）。そして、これらの差分値がいずれも第３閾値以上であるか否かを判断する（Ｓ１４）。この判断において、いずれも閾値未満であると判断された場合（Ｓ１４のＹｅｓ）、路面状態判定部２３は、路面が湿潤状態であると判定する（Ｓ１２）。一方、いずれか一方又は両方が閾値以上であると判断された場合（Ｓ１４のＮｏ）、路面状態判定部２３は、路面が乾燥状態であると判定する（Ｓ１５）。
【００４３】
図１２（ａ）は、湿潤状態の路面を模式的に示した拡大図である。図１２（ｂ）は、乾燥状態の路面を模式的に示した拡大図である。
湿潤状態の路面は、その表面全体が水で覆われており、そのような状況の路面での反射光は水中から空気中に透過して偏光カメラ１０に受光されることになる。そのため、Ｐ偏光成分はＳ偏光成分よりも水から空気への透過率が高いという特性を利用することで、Ｐ偏光成分が相対的に大きい場合には、路面が湿潤状態と判定することができる。あるいは、Ｓ偏光成分とＰ偏光成とがほぼ同等である場合には、路面が乾燥状態であると判定することもできる。したがって、本実施形態のように輝度値と差分偏光度を予め設定した閾値（第１閾値や第２閾値）と比較することで、路面状態を判定することができる。本実施形態では、この特性を利用して、上記Ｓ１１において、モノクロ輝度値が第１閾値未満であり、かつ、差分偏光度が第２閾値以上であると判断された場合には、路面が湿潤状態であると判定している。
【００４４】
図１３は、晴れの日で路面が乾燥状態であるときの高速道路のサンプル画像１００枚について、図１１に示した３点（Ａ点、Ｂ点、Ｃ点）の箇所における差分偏光度をプロットしたグラフである。
図１４は、雨の日で路面が湿潤状態であるときの高速道路のサンプル画像１００枚について、図１１に示した３点（Ａ点、Ｂ点、Ｃ点）の箇所における差分偏光度をプロットしたグラフである。
これらのグラフに示すとおり、３点間における差分偏光度のバラツキは、乾燥状態よりも湿潤状態の方が小さい。この特性を利用すれば、路面が乾燥状態であるか湿潤状態であるかを判別することができる。本実施形態では、この特性を利用して、上記Ｓ１３及び上記Ｓ１４において、Ａ−Ｂ点間及びＢ−Ｃ点間における差分偏光度の差分値を算出し、これらの差分値がいずれも第３閾値未満である場合には路面が湿潤状態であると判定している。
【００４５】
このようにして路面状態を判定したら、パラメータ選択部２５は、その判定結果の路面状態に対応するノイズ除去用パラメータ（ε値）をパラメータ記憶部２４のデータテーブルの中から選択して読み出す（Ｓ１６）。そして、ノイズ除去部２６は、上述したノイズ除去方法により、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データについて、パラメータ選択部２５が選択したε値を用いたεフィルタによるノイズ除去を行う（Ｓ１７）。
【００４６】
ここで、上記の例、すなわち、乾燥状態で最適なε値を４５〜５５とし、湿潤状態で最適なε値を６０〜７０とした場合に、１００枚のサンプル画像についてεフィルタを使ったノイズ除去処理を行ったときの評価結果について説明する。その評価関数には、下記の式（３）に示したノイズ低減率を示す標準偏差率（Standard Deviation Rate:ＳＤＲ）と、下記の式（４）に示したエッジの保存度を示すエッジの傾斜率（Edge Slope Rate）を用いた。ＳＤoriginalは、εフィルタをかける前の原画像上における４０×４０画素の輝度情報の標準偏差を表している。ＳＤfilteredは、εフィルタをかけた後の原画像上における４０×４０画素の輝度情報の標準偏差を表している。ＳＤＲの値は、大きいほどノイズが多く低減されていることを示す。また、ＥＳoriginalは、εフィルタをかける前の原画像上におけるエッジの傾きを表している。ＥＳfilteredは、εフィルタをかけた後の原画像上におけるエッジの傾きを表している。ＥＳＲの値は、大きいほど、ノイズ除去処理後にエッジがよく保存されていることを示す。
【数１】
【００４７】
上述した例のε値をそれぞれに対応する各路面状態の撮像画像に適用して評価を行ったところ、乾燥状態のＳＤＲ＝７４．５５％であり、乾燥状態のＥＳＲ＝８６．３８％であった。また、湿潤状態のＳＤＲ＝７６．４５％であり、湿潤状態のＥＳＲ＝８８．６７％であった。
【００４８】
以上のようなノイズ除去処理を終えたら、次に、図９に示すように、ノイズが除去された後のＰ偏光強度データ及びＳ偏光強度データからモノクロ画像処理部１３がモノクロ画像データを算出し、これを用いて白線識別部１４は上述した方法により白線認識処理を行う（Ｓ５）。
また、ノイズが除去された後のＰ偏光強度データ及びＳ偏光強度データから差分偏光度画像処理部１５が差分偏光度画像データを算出し、これを用いて物体認識部１８が識別対象物の物体識別処理を行う（Ｓ６）。以下の説明では、識別対象物が路端エッジ部である場合を例に挙げて説明するが、識別対象物が白線エッジ部であったりその他の物体であったりする場合も同様である。
【００４９】
図１５は、上記Ｓ６における物体識別処理の流れを示すフローチャートである。
本実施形態の物体識別処理では、上述したノイズ除去処理によりノイズ成分が除去された後の画像（ここでは差分偏光度画像とする。）を入力し（Ｓ２１）、その画像に対してエッジ判別処理を行う。このエッジ判別処理では、まず、ノイズ除去後の差分偏光度画像を元にエッジ画像を作成する（Ｓ２２）。このエッジ画像の作成は、処理対象として入力されたノイズ除去後の差分偏光度画像に対して公知のエッジ抽出処理を施して作成する。エッジ抽出処理を施すことにより、差分偏光度が急激に変化する部分の変化度合いに応じたエッジ値（エッジの強さ）が得られ、そのエッジ値の違いを輝度の違いで表現したエッジ画像を得ることができる。
【００５０】
具体的には、座標（ｘ，ｙ）における濃度の勾配を表す１次微分の値をベクトル量（ｆｘ，ｆｙ）として表現すると（ｆｘはｘ方向の微分を、ｆｙはｙ方向の微分を、それぞれ示す。）、エッジの強さは、下記の式（５）によって表される。このときの微分オペレータとしては、例えば下記の式（６）及び（７）に示すRobertsオペレータを利用することができる。
【数２】
【数３】
【００５１】
このようにしてエッジ画像を作成したら、次に、そのエッジ画像を２値化する処理を行う（Ｓ２３）。このときに用いるエッジ閾値としては、当該差分偏光度画像のモノクロ輝度及び差分偏光度や上記ノイズ除去用パラメータ（ε値）により適宜決められる値を用いる。
また、撮像画像の上方部分と下方部分とでは、物体からの反射光の強度に差がある。これは、撮像画像の上方部分は遠くに位置する物体を撮影した部分であるため、近くに位置する物体を撮影した下方部分よりも、反射光の強度は小さいものとなる。したがって、撮像画像の上方部分と下方部分とではコントラストが異なることになるため、この違いを考慮し、撮像画像の上方部分と下方部分とで、用いるエッジ閾値を異ならせるようにしてもよい。
【００５２】
次に、物体認識部１８は、作成した２値化エッジ画像を用いて、識別対象物である路端エッジ部の候補点を抽出する処理を行う（Ｓ２４）。この処理では、まず、２値化したエッジ画像に対して複数の処理ラインを設定する。本実施形態の処理ラインは、２値化エッジ画像内の横１列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、２値化エッジ画像内の全画素に対して設定される必要はなく、２値化エッジ画像内の適切に選択された一部の画素について設定するようにしてもよい。また、処理ラインではなく、処理ブロック（縦横それぞれ２画素以上からなるブロック）単位で行ってもよい。この場合、例えば、２値化エッジ画像に対して複数の処理ブロックを設定し、処理ブロックごとに、２値化エッジ画像のばらつき度合い（散らばり度合い）を示す標準偏差を算出し、算出した標準偏差が基準偏差閾値以上である場合にその処理ブロック内にエッジが存在すると判定することができる。なお、処理ブロックは、矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。処理ブロックの大きさは、例えば１０×１０画素程度であってよい。なお、各処理ブロックは、同じサイズであっても、異なるサイズであってもよい。また、標準偏差に代えて、分散や平均偏差等の統計量が用いられてもよい。
【００５３】
ここで、識別対象物である路端エッジ部は、白線よりも外側に位置するものである。したがって、白線識別部１４により走行レーンの両側に位置する２つの白線が識別できている場合には、処理の簡素化のため、各処理ラインについて、各白線位置より外側に向かってエッジを探索する処理を行う。そして、この処理を処理ライン全部について行うことで、各白線よりも外側に位置するエッジ部を路端エッジ部の候補点として抽出する。
なお、白線識別部１４により白線が識別できていない場合には、各処理ラインについて、例えば画像中央から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行い、これにより得られるエッジ部を路端エッジ部の候補点として抽出する。
また、白線識別部１４により１本の白線だけが識別できている場合には、各処理ラインについて、その白線の内側部分から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行うことで、その白線を除いた画像部分に存在するエッジ部を路端エッジ部の候補点として抽出する。
【００５４】
このようにして路端エッジ部の候補点を抽出した後、物体認識部１８は、その路端エッジ部の候補点について形状近似認識処理を施し（Ｓ２５）、路端エッジ部を特定する。具体的には、まず、物体認識部１８は、路端エッジ部の候補点から一塊りの形状を認識し、これを、形状記憶部１７に記憶されている路端エッジ部の形状テンプレートと比較する。そして、路端エッジ部の候補点からなる形状が形状テンプレートと一致した場合、その路端エッジ部の候補点が路端エッジ部であると特定し、その位置を記憶する。
【００５５】
この形状近似認識処理では、抽出した路端エッジ部の候補点に対して形状近似認識により近似曲線を取得する。形状を認識する手法としては、最小二乗法やハフ変換やモデル方程式などの手法を用いる。なお、近似曲線を取得する際、信頼性の高い撮像画像の下方部分に位置する路端エッジ部の候補点ほど形状近似の投票値に大きな重みを持たせるようにすることが望ましい。このようにすれば、信頼性の低い撮像画像の上方部分で誤認識された路端エッジ部の候補点が存在しても、信頼性の高い撮像画像の下方部分で正常に認識された路端エッジ部の候補点が存在すれば、路端エッジ部を適切に特定することができる。
【００５６】
また、路端エッジ部の認識精度を高めるために、次のような処理を付加してもよい。
上述した物体識別処理（Ｓ２１〜Ｓ２５）を、偏光カメラ１０にて所定の時間間隔で連続的に撮影して得られる偏光画像データについて行い。路端エッジ部であると特定された領域については、その処理結果が所定のメモリに記憶される。このメモリに記憶される過去の処理結果（例えば、直前に撮像された偏光画像データについての処理結果）を利用し、今回の処理により特定された路端エッジ部が、その領域に対応する過去の処理結果でも路端エッジ部であると特定されていれば、今回の処理結果が信頼度の高いものであると判断する。そして、この信頼度を路端エッジ部として特定する際に利用する。今回の処理結果に係る領域に対応する過去の処理結果は、例えば、今回の処理結果に係る領域の位置と自車の進行方向とから、対応する過去の処理結果に係る領域の位置を検索して、対応する過去の処理結果を特定する。
【００５７】
次に、物体認識部１８で行う物体識別処理において、形状テンプレートを用いて白線識別部１４で識別できなかった白線を識別する場合の補足説明を行う。
図１６は、自車が直線道路を走行しているときの差分偏光度画像から特定される白線部分の候補点と、白線用の形状テンプレート（白線テンプレート）に対応する白線部分とを重ねて表示した説明図である。
上述した路端エッジ部の場合と同様にして、差分偏光度画像処理部１５で生成される差分偏光度画像から白線部分の候補点を抽出したら、形状近似認識処理により白線テンプレートと比較する。ここで、物体認識部１８による物体識別処理の対象領域（物体識別対象領域）は、処理時間の短縮化等の観点から、撮像画像の全体ではなく、撮像画像の一部に制限することがある。例えば、図１６に示す例では、画像上端近傍と画像下端近傍については物体識別対象領域から除外されている。また、白線の識別に限って言えば、画像横方向中央部分についても物体識別対象領域から除外してもよい場合がある。
【００５８】
物体識別対象領域内の白線部分の候補点からなる形状と白線テンプレートとが一致した場合、その候補点が白線部分であると特定し、その位置を記憶する。このとき、白線部分の候補点がない物体識別対象領域外については、物体識別対象領域外の白線テンプレートの箇所を白線部分であると特定し、その位置を記憶する。これにより、物体識別対象領域が撮像画像の一部に制限されていても、撮像画像の全体にわたって白線部分を識別することができる。
【００５９】
図１７は、自車が右に曲っている道路を走行しているときの差分偏光度画像から特定される白線部分の候補点と、右カーブ用の白線テンプレートに対応する白線部分とを重ねて表示した説明図である。
図１７の例では、図中左側の白線部分に対応する候補点は白線テンプレートに一致しているが、図中右側の白線部分に対応する候補点は白線テンプレートに一致していない。このような場合、図中左側の白線部分に対応する候補点は白線テンプレートと一致しているので、その候補点が白線部分であると特定し、その位置を記憶する。一方、図中右側の白線部分に対応する候補点は白線テンプレートと一致していない。そのため、その候補点は白線ではないと判断してもよいが、図中右側の白線テンプレートの箇所を白線部分であると特定し、その位置を記憶してもよい。
【００６０】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
本態様に係る物体識別装置は、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光（Ｐ偏光成分及びＳ偏光成分）を受光して、それぞれの偏光画像（Ｐ偏光画像及びＳ偏光画像）を撮像する撮像手段としての偏光カメラ１０と、ノイズ除去用パラメータ（ε値）を用いて偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段としてのノイズ除去部２６と、偏光カメラ１０が撮像した２つの偏光画像をそれぞれ所定の識別処理領域（画素ごと）に分割し、画素ごとに、ノイズ除去部２６によりノイズ成分が除去されたＰ偏光画像及びＳ偏光画像の輝度情報から物体識別用指標値である差分偏光度やモノクロ輝度を算出する指標値算出手段としてのモノクロ画像処理部１３や差分偏光度画像処理部１５と、モノクロ画像処理部１３や差分偏光度画像処理部１５が算出した各画素の差分偏光度やモノクロ輝度に基づいて白線エッジ部や路端エッジ部に対応する画素を特定し、白線エッジ部や路端エッジ部に対応する画素として特定した互いに近接する複数の画素を白線エッジ部や路端エッジ部の画像領域であると識別する物体識別処理を行う物体識別処理手段としての白線識別部１４や物体認識部１８とを有している。更に、この物体識別装置は、撮像領域内に存在する物体の環境（乾燥状態か湿潤状態か積雪状態か）を特定するための環境情報としてのモノクロ輝度及び差分偏光度を取得する環境情報取得手段としてのモノクロ画像処理部２１や差分偏光度画像処理部２２と、取得した環境情報（モノクロ輝度及び差分偏光度）に基づいて撮像領域内に存在する物体の環境（乾燥状態か湿潤状態か積雪状態か）を特定する環境特定手段としての路面状態判定部２３と、予め決められた互いに異なる複数の環境（乾燥状態と湿潤状態と積雪状態）ごとに、当該環境下で撮像されたＰ偏光画像及びＳ偏光画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータ（ε値）を記憶するパラメータ記憶手段としてのパラメータ記憶部２４とを有している。そして、パラメータ選択部２５が路面状態判定部２３が特定した路面状態に対応するノイズ除去用パラメータ（ε値）をパラメータ記憶部２４から読み出し、ノイズ除去部２６は、そのノイズ除去用パラメータ（ε値）を用いてノイズ除去処理を行う。
これによれば、路面が乾燥状態であっても湿潤状態であっても、その撮像画像からノイズ成分を適切に除去することができるので、いずれの路面状態でも高い物体識別精度を得ることができる。
【００６１】
（態様Ｂ）
上記態様Ａにおいて、ノイズ除去用パラメータは、Ｐ偏光画像及びＳ偏光画像中の輝度情報がノイズ成分であるか否かを判断するための閾値であるε値であり、ノイズ除去処理は、このε値に基づいて偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像中の輝度情報がノイズ成分であるか否かを判断し、ノイズ成分であると判断された輝度情報がモノクロ画像処理部１３によるモノクロ輝度の算出や差分偏光度画像処理部１５による差分偏光度の算出で用いられないように除外するインパルスノイズ除去処理を含んでいる。
これによれば、路面が乾燥状態であっても湿潤状態であっても、その撮像画像からインパルスノイズを適切に除去することができる。
【００６２】
（態様Ｃ）
上記態様Ｂにおいて、上記インパルスノイズ除去処理は、Ｐ偏光画像及びＳ偏光画像中の注目画素と該注目画素周辺に位置する周辺画素との間の輝度差が上記ε値を超えるとき、当該周辺画素の輝度情報がノイズ成分であると判断して除外する処理である。
これによれば、簡易な処理でインパルスノイズを適切に除去できる。
【００６３】
（態様Ｄ）
上記態様Ｃにおいて、上記ノイズ除去処理は、上記インパルスノイズ除去処理を行った後に、Ｐ偏光画像及びＳ偏光画像中の注目画素の輝度情報と該注目画素周辺に位置する複数の周辺画素の輝度情報とに基づいて、該注目画素及び該複数の周辺画素により区画されるノイズ除去処理領域内の輝度情報に含まれる高周波ノイズを除去する高周波ノイズ除去処理を行う。
これによれば、路面が乾燥状態であっても湿潤状態であっても、その撮像画像から高周波ノイズを適切に除去することができる。
【００６４】
（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、パラメータ記憶部２４に記憶される各路面状態のノイズ除去用パラメータ（ε値）は、当該環境下において互いに異なる複数の撮像領域でＰ偏光画像及びＳ偏光画像を撮像して得られた複数（例えば１００枚）の偏光画像サンプルを用い、当該環境下で撮像されるＰ偏光画像及びＳ偏光画像のノイズ成分をノイズ除去処理により高い精度で除去できるように調整されたノイズ除去用パラメータ（ε値）である。
これによれば、各路面状態に最適化されたノイズ除去用パラメータ（ε値）の調整が容易である。
【００６５】
（態様Ｆ）
上記態様Ａ〜Ｄのいずれかの態様において、物体識別用指標値として、画素ごとに、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像間における輝度情報の比率を示す上記式（２）に示した偏光比を用いる。
（態様Ｇ）
上記態様Ａ〜Ｄのいずれかの態様において、物体識別用指標値として、画素ごとに、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像間における輝度合計値に対する該Ｐ偏光画像及びＳ偏光画像間における輝度差分値の比率を示す差分偏光度を用いる。
いずれの態様でも、モノクロ輝度を物体識別用指標値とした場合に物体識別精度が低い状況下で、高い物体識別精度を得ることが可能である。
【００６６】
（態様Ｈ）
上記態様Ｆ又は上記態様Ｇにおいて、環境情報として、物体識別用指標値（モノクロ輝度や差分偏光度）を採用し、この物体識別用指標値に基づいて路面状態を特定する。
これによれば、環境情報を取得するための別手段が不要となり、構成の簡素化を実現できる。
【００６７】
（態様Ｉ）
上記態様Ｈにおいて、撮像領域内の複数箇所（Ａ点、Ｂ点、Ｃ点）に対応した差分偏光度間のばらつきに応じて路面状態を特定する。
これによれば、路面が乾燥状態か湿潤状態かを高い精度に判別することができる。
【００６８】
（態様Ｊ）
上記態様Ａ〜Ｉのいずれかの態様に係る物体識別装置を、上述したように、当該物体識別装置による識別結果を利用して移動体である車両（自車）の移動制御を行う移動制御手段しての走行支援ＥＣＵを備えた移動体制御装置としての自動ブレーキシステムに適用する。
【００６９】
（態様Ｋ）
上記態様Ａ〜Ｉのいずれかの態様に係る物体識別装置を、上述したように、当該物体識別装置による識別結果を利用して移動体である車両（自車）を運転操作する運転者にとって有益な情報を生成し、生成した情報を当該運転者に報知する情報提供装置に適用する。
【００７０】
なお、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本実施形態では、撮像領域内における物体の環境として路面状態を特定する場合を例に挙げて説明したが、環境の違いによって物体の識別精度に影響を与えるような環境であれば、路面状態とは異なる環境についても適用可能である。その場合、特定する環境の種類に応じて、適切な環境特定方法を適宜選定する。
【符号の説明】
【００７１】
１０ 偏光カメラ
１１ 水平偏光画像メモリ
１２ 垂直偏光画像メモリ
１３ モノクロ画像処理部
１４ 白線識別部
１５ 差分偏光度画像処理部
１７ 形状記憶部
１８ 物体認識部
２１ モノクロ画像処理部
２２ 差分偏光度画像処理部
２３ 路面状態判定部
２４ パラメータ記憶部
２５ パラメータ選択部
２６ ノイズ除去部
【先行技術文献】
【特許文献】
【００７２】
【特許文献１】特開平１１−１７５７０２号公報
【特許文献２】特開２００４−２９９４４３号公報
【特許文献３】特開２００９−２５１９８号公報
【特許請求の範囲】
【請求項１】
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
ノイズ除去用パラメータを用いて該撮像手段が撮像した２つの偏光画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段と、
該撮像手段が撮像した２つの偏光画像をそれぞれ所定の識別処理領域に分割し、該識別処理領域ごとに、該ノイズ除去処理手段によりノイズ成分が除去された２つの偏光画像の輝度情報から物体識別用指標値を算出する指標値算出手段と、
該指標値算出手段が算出した各識別処理領域の物体識別指標値に基づいて識別対象物に対応する識別処理領域を特定し、該識別対象物に対応する識別処理領域として特定した互いに近接する複数の識別処理領域を該識別対象物の画像領域であると識別する物体識別処理を行う物体識別処理手段とを有する物体識別装置において、
撮像領域内に存在する物体の環境を特定するための環境情報を取得する環境情報取得手段と、
該環境情報取得手段が取得した環境情報に基づいて撮像領域内に存在する物体の環境を特定する環境特定手段と、
予め決められた互いに異なる複数の環境ごとに、当該環境下で撮像された２つの偏光画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータを記憶するパラメータ記憶手段とを有し、
上記ノイズ除去処理手段は、上記環境特定手段が特定した環境に対応するノイズ除去用パラメータを上記パラメータ記憶手段から読み出し、該ノイズ除去用パラメータを用いてノイズ除去処理を行うことを特徴とする物体識別装置。
【請求項２】
請求項１の物体識別装置において、
上記ノイズ除去用パラメータは、上記２つの偏光画像中の輝度情報がノイズ成分であるか否かを判断するための閾値であり、
上記ノイズ除去処理は、上記ノイズ除去用パラメータにより特定される閾値に基づいて、上記撮像手段が撮像した２つの偏光画像中の輝度情報がノイズ成分であるか否かを判断し、ノイズ成分であると判断された輝度情報が上記指標値算出手段による物体識別用指標値の算出で用いられないように除外するインパルスノイズ除去処理を含むものであることを特徴とする物体識別装置。
【請求項３】
請求項２の物体識別装置において、
上記インパルスノイズ除去処理は、上記２つの偏光画像中の注目画素と該注目画素周辺に位置する周辺画素との間の輝度差が上記ノイズ除去用パラメータにより特定される閾値を超えるとき、当該周辺画素の輝度情報がノイズ成分であると判断して除外する処理であることを特徴とする物体識別装置。
【請求項４】
請求項３の物体識別装置において、
上記ノイズ除去処理は、上記インパルスノイズ除去処理を行った後に、上記２つの偏光画像中の注目画素の輝度情報と該注目画素周辺に位置する複数の周辺画素の輝度情報とに基づいて、該注目画素及び該複数の周辺画素により区画されるノイズ除去処理領域内の輝度情報に含まれる高周波ノイズを除去する高周波ノイズ除去処理を行うことを特徴とする物体識別装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の物体識別装置において、
上記パラメータ記憶手段に記憶される各環境のノイズ除去用パラメータは、当該環境下において互いに異なる複数の撮像領域で２つの偏光画像を撮像して得られた複数の偏光画像サンプルを用い、当該環境下で撮像される２つの偏光画像のノイズ成分を上記ノイズ除去処理により高い精度で除去できるように調整されたノイズ除去用パラメータであることを特徴とする物体識別装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の物体識別装置において、
上記物体識別用指標値として、上記識別処理領域ごとに、上記撮像手段が撮像した２つの偏光画像間における輝度情報の比率を示す偏光比を用いることを特徴とする物体識別装置。
【請求項７】
請求項１乃至５のいずれか１項に記載の物体識別装置において、
上記物体識別用指標値として、上記識別処理領域ごとに、上記撮像手段が撮像した２つの偏光画像間における輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を用いることを特徴とする物体識別装置。
【請求項８】
請求項６又は７の物体識別装置において、
上記環境情報取得手段は、上記環境情報として、上記指標値算出手段が算出した物体識別用指標値を取得し、
上記環境特定手段は、該環境情報取得手段が取得した物体識別用指標値に基づいて撮像領域内に存在する物体の環境を特定することを特徴とする物体識別装置。
【請求項９】
請求項８の物体識別装置において、
上記環境特定手段は、上記撮像領域内の複数箇所に対応した物体識別用指標値間のばらつきに応じて、該撮像領域内に存在する物体の環境を特定することを特徴とする物体識別装置。
【請求項１０】
移動体の移動制御を行う移動制御手段と、
該移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する物体を識別する物体識別手段とを有し、
上記移動制御手段は、上記物体識別手段による識別結果を用いて上記移動制御を行う移動体制御装置において、
上記物体識別手段として、請求項１乃至９のいずれか１項に記載の物体識別装置を用いたことを特徴とする移動体制御装置。
【請求項１１】
運転者による運転操作に従って移動する移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する物体を識別する物体識別手段と、
上記物体識別手段による識別結果を用いて該運転者にとって有益な情報を生成する有益情報生成手段と、
該有益情報生成手段が生成した情報を該運転者に報知する情報報知手段とを有する情報提供装置において、
上記物体識別手段として、請求項１乃至９のいずれか１項に記載の物体識別装置を用いたことを特徴とする情報提供装置。
【請求項１】
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
ノイズ除去用パラメータを用いて該撮像手段が撮像した２つの偏光画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段と、
該撮像手段が撮像した２つの偏光画像をそれぞれ所定の識別処理領域に分割し、該識別処理領域ごとに、該ノイズ除去処理手段によりノイズ成分が除去された２つの偏光画像の輝度情報から物体識別用指標値を算出する指標値算出手段と、
該指標値算出手段が算出した各識別処理領域の物体識別指標値に基づいて識別対象物に対応する識別処理領域を特定し、該識別対象物に対応する識別処理領域として特定した互いに近接する複数の識別処理領域を該識別対象物の画像領域であると識別する物体識別処理を行う物体識別処理手段とを有する物体識別装置において、
撮像領域内に存在する物体の環境を特定するための環境情報を取得する環境情報取得手段と、
該環境情報取得手段が取得した環境情報に基づいて撮像領域内に存在する物体の環境を特定する環境特定手段と、
予め決められた互いに異なる複数の環境ごとに、当該環境下で撮像された２つの偏光画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータを記憶するパラメータ記憶手段とを有し、
上記ノイズ除去処理手段は、上記環境特定手段が特定した環境に対応するノイズ除去用パラメータを上記パラメータ記憶手段から読み出し、該ノイズ除去用パラメータを用いてノイズ除去処理を行うことを特徴とする物体識別装置。
【請求項２】
請求項１の物体識別装置において、
上記ノイズ除去用パラメータは、上記２つの偏光画像中の輝度情報がノイズ成分であるか否かを判断するための閾値であり、
上記ノイズ除去処理は、上記ノイズ除去用パラメータにより特定される閾値に基づいて、上記撮像手段が撮像した２つの偏光画像中の輝度情報がノイズ成分であるか否かを判断し、ノイズ成分であると判断された輝度情報が上記指標値算出手段による物体識別用指標値の算出で用いられないように除外するインパルスノイズ除去処理を含むものであることを特徴とする物体識別装置。
【請求項３】
請求項２の物体識別装置において、
上記インパルスノイズ除去処理は、上記２つの偏光画像中の注目画素と該注目画素周辺に位置する周辺画素との間の輝度差が上記ノイズ除去用パラメータにより特定される閾値を超えるとき、当該周辺画素の輝度情報がノイズ成分であると判断して除外する処理であることを特徴とする物体識別装置。
【請求項４】
請求項３の物体識別装置において、
上記ノイズ除去処理は、上記インパルスノイズ除去処理を行った後に、上記２つの偏光画像中の注目画素の輝度情報と該注目画素周辺に位置する複数の周辺画素の輝度情報とに基づいて、該注目画素及び該複数の周辺画素により区画されるノイズ除去処理領域内の輝度情報に含まれる高周波ノイズを除去する高周波ノイズ除去処理を行うことを特徴とする物体識別装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の物体識別装置において、
上記パラメータ記憶手段に記憶される各環境のノイズ除去用パラメータは、当該環境下において互いに異なる複数の撮像領域で２つの偏光画像を撮像して得られた複数の偏光画像サンプルを用い、当該環境下で撮像される２つの偏光画像のノイズ成分を上記ノイズ除去処理により高い精度で除去できるように調整されたノイズ除去用パラメータであることを特徴とする物体識別装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の物体識別装置において、
上記物体識別用指標値として、上記識別処理領域ごとに、上記撮像手段が撮像した２つの偏光画像間における輝度情報の比率を示す偏光比を用いることを特徴とする物体識別装置。
【請求項７】
請求項１乃至５のいずれか１項に記載の物体識別装置において、
上記物体識別用指標値として、上記識別処理領域ごとに、上記撮像手段が撮像した２つの偏光画像間における輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を用いることを特徴とする物体識別装置。
【請求項８】
請求項６又は７の物体識別装置において、
上記環境情報取得手段は、上記環境情報として、上記指標値算出手段が算出した物体識別用指標値を取得し、
上記環境特定手段は、該環境情報取得手段が取得した物体識別用指標値に基づいて撮像領域内に存在する物体の環境を特定することを特徴とする物体識別装置。
【請求項９】
請求項８の物体識別装置において、
上記環境特定手段は、上記撮像領域内の複数箇所に対応した物体識別用指標値間のばらつきに応じて、該撮像領域内に存在する物体の環境を特定することを特徴とする物体識別装置。
【請求項１０】
移動体の移動制御を行う移動制御手段と、
該移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する物体を識別する物体識別手段とを有し、
上記移動制御手段は、上記物体識別手段による識別結果を用いて上記移動制御を行う移動体制御装置において、
上記物体識別手段として、請求項１乃至９のいずれか１項に記載の物体識別装置を用いたことを特徴とする移動体制御装置。
【請求項１１】
運転者による運転操作に従って移動する移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する物体を識別する物体識別手段と、
上記物体識別手段による識別結果を用いて該運転者にとって有益な情報を生成する有益情報生成手段と、
該有益情報生成手段が生成した情報を該運転者に報知する情報報知手段とを有する情報提供装置において、
上記物体識別手段として、請求項１乃至９のいずれか１項に記載の物体識別装置を用いたことを特徴とする情報提供装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１３】
【図１４】
【公開番号】特開２０１２−８４１２１（Ｐ２０１２−８４１２１Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１１−１５４６９５（Ｐ２０１１−１５４６９５）
【出願日】平成２３年７月１３日（２０１１．７．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２３年７月１３日（２０１１．７．１３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]