立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
【課題】撮像画像中の輝度に明確な違いがない立体物と平面物体との間を、撮像手段を用いて高い精度で識別することを課題とする。
【解決手段】撮像領域内に存在する立体物を識別する立体物識別装置であって、物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光（Ｐ偏光とＳ偏光）を受光してそれぞれの偏光画像（Ｐ偏光画像とＳ偏光画像）を撮像する偏光カメラ１０と、画素ごとにＰ偏光画像とＳ偏光画像との間における輝度差分値の輝度合計値に対する比率である差分偏光度を算出する差分偏光度画像処理部１５と、この差分偏光度を用いて撮像領域内の物体が立体物であるか否かの立体物識別処理を行う立体物識別部１８とを有する。
【解決手段】撮像領域内に存在する立体物を識別する立体物識別装置であって、物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光（Ｐ偏光とＳ偏光）を受光してそれぞれの偏光画像（Ｐ偏光画像とＳ偏光画像）を撮像する偏光カメラ１０と、画素ごとにＰ偏光画像とＳ偏光画像との間における輝度差分値の輝度合計値に対する比率である差分偏光度を算出する差分偏光度画像処理部１５と、この差分偏光度を用いて撮像領域内の物体が立体物であるか否かの立体物識別処理を行う立体物識別部１８とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像領域内に存在する立体物を識別する立体物識別装置、並びに、この立体物識別装置の識別結果を利用して、車両、船舶、航空機、あるいは、産業用ロボットなどの移動体の移動制御を行う移動体制御装置、及び、移動体の運転者に有益な情報を提供する情報提供装置に関するものである。
【背景技術】
【０００２】
この種の立体物識別装置としては、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような車両走行支援システムにおいては、自車が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車との車間距離を維持するための自車速度調整機能などの様々な機能を実現するために、自車の周囲に存在する障害物、先行車などの立体物を適切に区別して認識する（識別する）ことが必要となる。そのため、従来から様々な立体物識別装置が提案されている。
【０００３】
特許文献１には、同色の物体が２つ重なっても、これらの物体を正しく認識できるようにする立体物識別装置が開示されている。この立体物識別装置は、同色の物体でもこれらの偏光の主軸方向（偏光強度が最大となる方向）が同一とならないことを利用して、同色の物体が２つ重なっても、これらの物体を区別して認識するものである。具体的には、複数の偏光子を介して画像を取得し、偏光方向が異なる偏光子のそれぞれを介して得られる所定画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出する。そして、その偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分し、その区分された各領域の移動方向を算出して、移動方向が同一である領域の画像部分を１つの物体として識別する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の立体物識別装置は、撮像画像中の輝度の違いを利用して、所定平面内に存在する平面物体（例えば路面のアスファルト）と、その所定平面とは異なる方向を向いた外面を有する立体物（例えば先行車両）との間のエッジを抽出し、そのエッジにより区画される領域を立体物であると認識するものが一般的である。しかしながら、立体物と平面物体とを区別して認識する方法として輝度の違いを利用する従来の方法では、撮像画像中の輝度に明確な違いがない立体物と平面物体との間を高い精度で識別することができないという問題があった。
【０００５】
なお、この問題は、運転者支援システムに用いられる立体物識別装置に限らず、ロボット制御などに用いられる立体物識別装置など、あらゆる立体物識別装置においても同様に生じる問題である。
また、この問題を、撮像手段とは別の検出機器を新たに用意することで解決することは、コストが高騰するため好ましくない。よって、従来の立体物識別装置において立体物からの反射光強度（輝度）を検出するために一般に用いられている検出機器である撮像手段を用いて、上記問題を解決することができれば、コストの観点から有益である。
【０００６】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、撮像画像中の輝度に明確な違いがない立体物と平面物体との間を、撮像手段を用いて高い精度で識別することが可能な立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１の発明は、撮像領域内に存在し、所定平面とは異なる方向を向いた外面を有する立体物を識別する立体物識別装置において、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、該撮像手段が撮像した２つの偏光画像を用いて上記撮像領域内における各処理領域に対応した場所に存在する物体が上記立体物であるか否かの立体物識別処理を行う立体物識別処理手段とを有することを特徴とするものである。
また、請求項２の発明は、撮像領域内に存在し、所定平面とは異なる方向を向いた外面を有する立体物を識別する立体物識別装置において、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに該２つの偏光画像間における輝度差分値を算出する輝度差分値算出手段と、該輝度差分値算出手段が算出した輝度差分値から得られる識別指標値を用いて、上記撮像領域内における各処理領域に対応した場所に存在する物体が上記立体物であるか否かの立体物識別処理を行う立体物識別処理手段とを有することを特徴とするものである。
また、請求項３の発明は、請求項２の立体物識別装置において、上記立体物識別処理手段は、上記立体物と上記所定平面と同一平面内に存在する平面物体とについてそれぞれ定められる複数の数値範囲のいずれに上記識別指標値が属するかを判断する判断処理を行い、当該処理領域に対応した場所に存在する物体を、該判断処理により属すると判断された数値範囲に対応する物体であると識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とするものである。
また、請求項４の発明は、請求項３の立体物識別装置において、上記撮像手段は、移動面上を移動する移動体に搭載され、該移動面に対して斜め上方から該移動面を含む撮像領域を撮像するものであり、上記判断処理では、同一の物体に対して定められる数値範囲を、上記２つの偏光画像をそれぞれ上下方向に区分する少なくとも２つ以上の区域ごとにそれぞれ設定し、当該区域に属する処理領域の識別指標値が該区域に対して設定された数値範囲のいずれに属するかを判断することを特徴とするものである。
また、請求項５の発明は、請求項２乃至４のいずれか１項に記載の立体物識別装置において、上記立体物識別処理手段は、予め存在することが想定されている基準平面物体の存在場所に対応する基準処理領域について上記輝度差分値算出手段が算出した輝度差分値から得られる識別指標値を基準指標値とし、該基準処理領域とは異なる処理領域について該輝度差分値算出手段が算出した輝度差分値から得られる識別指標値の該基準指標値に対する相対値を算出し、該相対値に基づいて該処理領域に対応した場所に存在する物体を識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とするものである。
また、請求項６の発明は、請求項２乃至５のいずれか１項に記載の立体物識別装置において、上記識別指標値として、上記輝度差分値を算出する際に用いる２つの偏光画像間における輝度合計値に対する該輝度差分値の比率を示す差分偏光度を用いることを特徴とするものである。
また、請求項７の発明は、請求項２乃至６のいずれか１項に記載の立体物識別装置において、上記立体物識別処理手段が過去に行った上記立体物識別処理の結果を記憶する識別処理結果記憶手段を有し、上記立体物識別処理手段は、上記識別指標値とともに、上記識別処理結果記憶手段に記憶された過去の立体物識別処理の結果も用いて、上記立体物識別処理を行うことを特徴とするものである。
また、請求項８の発明は、請求項２乃至７のいずれか１項に記載の立体物識別装置において、所定の特定立体物を上記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、上記立体物識別処理手段は、上記立体物識別処理により同じ立体物であると識別された互いに近接する複数の処理領域により示される形状が上記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断し、近似していると判断したときには、該複数の処理領域に対応した場所に存在する立体物を上記特定立体物であると特定する立体物特定処理を行うことを特徴とするものである。
また、請求項９の発明は、移動体の移動制御を行う移動制御手段と、該移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段とを有し、上記移動制御手段は、上記立体物識別手段による識別結果を用いて上記移動制御を行う移動体制御装置において、上記立体物識別手段として、請求項１乃至８のいずれか１項に記載の立体物識別装置を用いたことを特徴とするものである。
また、請求項１０の発明は、運転者による運転操作に従って移動する移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段と、上記立体物識別手段による識別結果を用いて該運転者にとって有益な情報を生成する有益情報生成手段と、該有益情報生成手段が生成した情報を該運転者に報知する情報報知手段とを有する情報提供装置において、上記立体物識別手段として、請求項１乃至８のいずれか１項に記載の立体物識別装置を用いたことを特徴とするものである。
【０００８】
本発明においては、撮像手段が撮像した２つの偏光画像について、例えば、所定の処理領域ごとに、これらの偏光画像間における輝度差分値を算出し、その輝度差分値から得られる識別指標値を用いて各処理領域に対応した場所に存在する立体物の識別処理を行う。自然光や照明が照らされている同一場所からの反射光には、通常、偏光方向が互いに異なる複数の偏光が含まれている。これらの偏光は、その反射面（入射面）の向きが異なると、その反射光に含まれる偏光成分が変わってくるという性格がある。本発明者らは、この偏光の性格に着目し、鋭意研究の結果、反射光を反射した物体の面が向いている方向の違いからその物体が立体物であると識別できることを見出した。例えば、反射光を反射した物体の面が向いている方向の違いが、偏光方向が互いに異なる２つの偏光を受光して得られる２つの偏光画像間の輝度差分値に強く反映されることを利用して、立体物を識別できることを見出した。したがって、反射光から得られる２つの偏光画像間の輝度差分値から得られる識別指標値（当該輝度差分値そのものを含む。）を用いることで、その反射光を反射した物体が立体物であることを平面物体と区別して高い精度で識別することができる。
【発明の効果】
【０００９】
以上、本発明によれば、撮像手段により取得される２つの偏光画像間の輝度差分値から得られる識別指標値を用いることで、撮像画像中の輝度に明確な違いがない立体物と平面物体との間を高い精度で識別することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムに利用可能な偏光カメラの一構成例を示す説明図である。
【図３】同運転者支援システムに利用可能な偏光カメラの他の構成例を示す説明図である。
【図４】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図５】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図６】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図７】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図８】（ａ）は識別対象となり得るボッツドッツの上面図であり、（ｂ）は同ボッツドッツの側面図である。
【図９】（ａ）は識別対象となり得るキャッツアイの上面図であり、（ｂ）は同キャッツアイの斜視図である。
【図１０】実施形態における路面構造物特定処理の流れを示すフローチャートである。
【図１１】偏光カメラにて取得した偏光ＲＡＷ画像データからモノクロ画像処理部にて生成されたモノクロ画像（輝度画像）の一例を示す説明図である。
【図１２】同偏光ＲＡＷ画像データから差分偏光度画像処理部にて生成された差分偏光度画像を示す説明図である。
【図１３】図１１中の白色破線矢印に沿って得られる輝度値をプロットしたグラフである。
【図１４】図１２中の白色破線矢印に沿って得られる差分偏光度をプロットしたグラフである。
【図１５】実験室において、アスファルト面と金属表面に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化の一例を示すグラフである。
【図１６】フロントガラスの影響を説明するための説明図である。
【図１７】区間線としてボッツドッツが用いられている路面を偏光カメラで撮像し、これにより取得した偏光ＲＡＷ画像データからモノクロ画像処理部が生成したモノクロ画像（輝度画像）の一例を示す説明図である。
【図１８】同偏光ＲＡＷ画像データから差分偏光度画像処理部にて生成された差分偏光度画像を示す説明図である。
【図１９】実験室において、アスファルト面とスチールに塗料を塗布した塗装面に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化を示すグラフである。
【図２０】コールタールが付着した路面を偏光カメラで撮像し、これにより取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３が生成したモノクロ画像（輝度画像）の一例を示す説明図である。
【図２１】同偏光ＲＡＷ画像データから差分偏光度画像処理部にて生成された差分偏光度画像を示す説明図である。
【図２２】実施形態における立体物特定処理の流れを示すフローチャートである。
【図２３】偏光カメラにて取得した偏光ＲＡＷ画像データからモノクロ画像処理部にて生成されたモノクロ画像（輝度画像）の一例を示す説明図である。
【図２４】同偏光ＲＡＷ画像データから差分偏光度画像処理部にて生成された差分偏光度画像を示す説明図である。
【図２５】１００フレーム分について図２３中の白枠３箇所の輝度値分布をとったヒストグラムである。
【図２６】１００フレーム分について図２４中の白枠３箇所の差分偏光度分布をとったヒストグラムである。
【発明を実施するための形態】
【００１１】
以下、本発明を、移動体制御装置及び情報提供装置としての運転者支援システムに適用した一実施形態について説明する。
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ１０により、移動体である車両が走行する路面（移動面）を含む自車周囲の風景を撮影し、画素ごとの垂直偏光強度（以下、単に「Ｓ偏光強度」という。）及び水平偏光強度（以下、単に「Ｐ偏光強度」という。）を含んだ偏光ＲＡＷ画像データを取得する。偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データは水平偏光画像メモリ１１に、偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データは垂直偏光画像メモリ１２にそれぞれ格納される。これらの画像データは、それぞれ、輝度算出手段としてのモノクロ画像処理部１３と、輝度差分値算出手段としての差分偏光度画像処理部１５に送信される。
【００１２】
偏光カメラ１０は、受光素子であるＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する周囲画像を撮像するものである。偏光カメラ１０は、リアルタイムに近い短い時間間隔で周囲画像を連続的に取得するのが好ましい。偏光カメラ１０は、例えばルームミラーに取り付けられ、車両前方の風景（路面を含むフロントビュー）を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の風景を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の風景を撮像するものであってもよい。本実施形態では、ルームミラーに取り付けられて車両前方の風景（路面を含むフロントビュー）を撮像する場合を例に挙げて説明する。
【００１３】
図２は、偏光カメラ１０の一構成例を示す説明図である。
この偏光カメラ１０Ａは、図２に示すように、ＣＣＤ等の撮像素子を備えた１台のカメラ１０１の前面に、回転駆動する回転偏光子１０２を配置したものである。この偏光カメラ１０Ａは、回転偏光子１０２の回転角に応じて通過する光の偏光方向が変化する。よって、カメラ１０１は、回転偏光子１０２を回転駆動させながら撮像することで、Ｐ偏光画像とＳ偏光画像とを交互に撮像することができる。
【００１４】
図３は、偏光カメラ１０の他の構成例を示す説明図である。
この偏光カメラ１０Ｂは、図３のように、ＣＣＤ等の撮像素子を備えた２台のカメラ１１１，１１２を用い、それぞれの前面に、Ｓ偏光を透過するＳ偏光フィルタ１１３とＰ偏光を透過するＰ偏光フィルタ１１４とを配置したものである。図２に示した偏光カメラ１０Ａでは、１台のカメラ１０１でＰ偏光画像とＳ偏光画像とを交互に撮像するため、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができなかったが、図３に示した偏光カメラ１０Ｂでは、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができる。
【００１５】
図４は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｃは、図４に示すように、撮像素子がＰ偏光画像とＳ偏光画像とについて個別に設けられている点では、図３に示した偏光カメラ１０Ｂと同様であるが、各撮像素子が図３に示した偏光カメラ１０Ｂの場合よりも近接配置されている点で大きく異なる。この偏光カメラ１０Ｃによれば、図３に示した偏光カメラ１０Ｂよりも小型化できる。図４に示す偏光カメラ１０Ｃは、レンズアレイ１２２と、遮光スペーサ１２３と、偏光フィルタ１２４と、スペーサ１２５と、固体撮像ユニット１２６とが積層されて形成されている。レンズアレイ１２２は、２つの撮像レンズ１２２ａ，１２２ｂを有する。この２つの撮像レンズ１２２ａ，１２２ｂは、互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、それぞれの光軸１２１ａ，１２１ｂが互いに平行となるように、かつ、同一平面上に配置している。遮光スペーサ１２３は、２つの開口部１２３ａ，１２３ｂを有し、レンズアレイ１２２に対して被写体側とは反対側に設けられている。２つの開口部１２３ａ，１２３ｂは、光軸１２１ａ，１２１ｂをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。偏光フィルタ１２４は、偏光面が９０度異なる２つの偏光子領域１２４ａ，１２４ｂを有する領域分割型の偏光子フィルタであり、遮光スペーサ１２３に対してレンズアレイ１２２とは反対側に設けられている。この偏光子領域１２４ａ，１２４ｂは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分（偏光成分）だけを透過させて直線偏光にする。なお、金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式を用いることで、境界部が明瞭な領域分割型の偏光子フィルタを得ることができる。スペーサ１２５は、偏光フィルタ１２４の偏光子領域偏光ａ，偏光ｂに対応する領域が貫通した開口部１２５ａを有する矩形枠状に形成され、偏光フィルタ１２４に対して遮光スペース１２３とは反対側に設けられている。固体撮像ユニット１２６は、基板１２７上に搭載された２つの固体撮像素子１２６ａ，１２６ｂを有し、スペーサ１２５に対して偏光フィルタ１２４とは反対側に設けられている。本実施形態では、モノクロのセンシングを行うため、これらの固体撮像素子１２６ａ，１２６ｂはカラーフィルタを備えていない。ただし、カラー画像のセンシングを行う場合には、カラーフィルタを配置する。
【００１６】
図５は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｄは、図５に示すように、１：１の透過性を備えるハーフミラー１３１と、反射ミラー１３２と、Ｓ偏光フィルタ１３３と、Ｐ偏光フィルタ１３４と、Ｓ偏光フィルタ１３３を介してＳ偏光を受光するＳ偏光用ＣＣＤ１３５と、Ｐ偏光フィルタ１３４を介してＰ偏光を受光するＰ偏光用ＣＣＤ１３６とを有する。図３や図４に示した偏光カメラ１０Ｂ，１０Ｃでは、Ｓ偏光画像とＰ偏光画像の同時撮影は可能であるものの、視差が生じてしまう。これに対し、図５に示した偏光カメラ１０Ｄでは、図示しない同一の撮像光学系（レンズ）を介して受光される同じ光を使ってＳ偏光画像とＰ偏光画像を同時撮影するため、視差が生じない。よって、視差ずれ補正などの処理が不要となる。
なお、ハーフミラー１３１に代えて、Ｐ偏光を反射し、かつ、Ｓ偏光を透過するプリズム等の偏光ビームスプリッタを用いてもよい。このような偏光ビームスプリッタを用いることで、Ｓ偏光フィルタ１３３やＰ偏光フィルタ１３４を省略することが可能となり、光学系の簡素化が図られるとともに、光利用効率も向上できる。
【００１７】
図６は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｅは、図６に示すように、撮像レンズ１４２ａの光軸１４１に沿ってカメラ構成要素が積層されたユニットである点では、図４に示した偏光カメラ１０Ｃと同様であるが、Ｓ偏光画像とＰ偏光画像を単一の撮像レンズ（撮像レンズは光軸に複数枚積層配置してもよい。）１４２で撮像する点で異なっている。この偏光カメラ１０Ｅによれば、図５に示した偏光カメラ１０Ｄと同様に、Ｓ偏光画像とＰ偏光画像との間で視差が生じない。しかも、図５に示した偏光カメラ１０Ｄよりも小型化できる。なお、図６に示した偏光カメラ１０Ｅの偏光フィルタ１４４は、偏光面が９０度異なる２種類の偏光子領域１４４ａ，１４４ｂが２つずつ設けられた領域分割型の偏光子フィルタとなっており、これに伴い、４つの固体撮像素子１４６ａ，１４６ｂ，１４６ｃ，１４６ｄが設けられている。
【００１８】
図７は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｆは、図７に示すように、領域分割型のフィルタを採用したものである。図７において、縦横に並ぶ正方形が各受光素子の受光部１５１を示し、縦線で示す領域がＳ偏光フィルタ１５２の領域を示し、横線で示す領域がＰ偏光フィルタ１５３の領域を示す。この偏光カメラ１０Ｆは、受光素子の画素に１：１で対応させたものではなく、各フィルタ１５２，１５３の領域は、横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは２、つまり横方向に１画素分進む間に縦方向に２画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも、画面全体で各フィルタ透過画像を再現することを可能とし、Ｓ偏光画像及びＰ偏光画像を撮像できる低コストな偏光カメラを実現できる。
【００１９】
モノクロ画像処理部１３は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとのモノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する。このモノクロ輝度データを用いてモノクロ画像が生成できる。モノクロ画像処理部１３が算出したモノクロ輝度データは、ライン検出手段としての白線識別部１４に出力される。
差分偏光度画像処理部１５は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに差分偏光度（識別指標値）を算出する。この差分偏光度を用いて差分偏光度画像が生成できる。差分偏光度は、下記の式（１）に示す計算式から求められる。すなわち、差分偏光度は、Ｐ偏光強度とＳ偏光強度との合計値（輝度合計値）に対するＰ偏光強度とＳ偏光強度との差分値（輝度差分値）の比率である。また、差分偏光度は、輝度合計値に対するＰ偏向強度の比率（Ｐ偏光比）と、輝度合計値に対するＳ偏向強度の比率（Ｓ偏光比）との差分値であると言い換えることもできる。なお、本実施形態では、Ｐ偏光強度からＳ偏光強度を差し引く場合について説明するが、Ｓ偏光強度からＰ偏光強度を差し引くようにしてもよい。差分偏光度画像処理部１５が算出した差分偏光度のデータは、路面構造物識別部１６及び立体物識別処理手段としての立体物識別部１８に出力される。
差分偏光度＝（Ｐ偏光強度−Ｓ偏光強度）／（Ｐ偏光強度＋Ｓ偏光強度） ・・（１）
【００２０】
白線識別部１４は、モノクロ画像処理部１３により算出されたモノクロ輝度データに基づき、以下の方法により走行路面上の白線を識別するものである。なお、ここでいう白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
通常の道路の車線（区画線）は、運転者が視認しやすいように、アスファルト等の黒い部分に対し、コントラストの高い色（白等）で形成されている。したがって、このような車線（ここでは白線とする。）の輝度は、その他の場所に存在するアスファルト等の物体よりも十分に大きい。よって、モノクロ輝度データが所定の閾値以上の部分を白線と判定することができる。なお、本実施形態で用いるモノクロ輝度データは、上述した偏光カメラ１０により得たＰ偏光強度とＳ偏光強度の合計値を用いている。
【００２１】
本実施形態における白線識別処理の流れとしては、まず、上述した偏光カメラ１０により得た各画素のＰ偏光強度とＳ偏光強度の合計値を、モノクロ画像処理部１３にて各画素のモノクロ輝度として算出する。白線識別部１４は、このモノクロ輝度により得られるモノクロ画像に対し、複数の処理ラインを設定する。本実施形態の処理ラインは、差分偏光度画像内の横１列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、差分偏光度画像内の全画素に対して設定される必要はなく、差分偏光度画像内の適切に選択された一部の画素について設定するようにしてもよい。また、後述するように、処理ラインではなく、処理ブロック（縦横それぞれ２画素以上からなるブロック）単位で行ってもよい。白線識別部１４は、各処理ラインについて、隣接する２つの画素間におけるモノクロ輝度の差を算出し、その算出結果が所定の白線エッジ閾値以上であるか否かを判断する。この判断で白線エッジ閾値以上であると判断された場合、その判断に係る２つの隣接画素間を白線エッジとして記憶する。これを全処理ラインについて行うことで、モノクロ画像内における白線エッジを抽出することができる。
【００２２】
白線識別部１４により白線エッジを識別した結果は、様々な処理に利用することが可能である。
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の白線部分の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で白線を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と白線との相対位置関係を把握することができ、白線で区画される走行レーンを維持して走行させることが容易になる。
また、例えば、白線識別部１４により認識された白線の位置情報から、自車と白線との相対位置関係を把握する処理を行い、自車が白線で区画される走行レーン上の適正走行位置から外れて走行していないかどうかを判断し、適正走行位置から外れて走行しているときに警報音等を発する処理が挙げられる。あるいは、適正走行位置から外れて走行しているときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００２３】
路面構造物識別部１６は、差分偏光度画像処理部１５により算出された差分偏光度に基づき、後述する方法にて走行路面上に存在する構造物（以下。「路面構造物」という。）を識別するものである。路面構造物識別部１６は、その認識結果を路面構造物特定部１７と白線識別部１４に出力する。路面構造物としては、マンホールの蓋、高速道路や陸橋などの道路に存在する道路連結部などの金属物、走行レーンを区分する区間線を形成するボッツドッツやキャッツアイなどの金属物と反射板等から構成される複合物が挙げられる。また、ここではコールタールのような意図的に作られたものではない路面の一部を覆う異物も含むものとする。路面構造物識別部１６では、外面が路面と略同一面内に位置する平面物体を路面構造物として識別するが、その路面構造物が、マンホールの蓋なのか、道路連結部なのか、ボッツドッツやキャッツアイなのかについては、路面構造物特定部１７で特定する。
【００２４】
なお、路面構造物識別部１６は、上述した白線識別部１４による白線エッジの識別結果に基づいて差分偏光度画像から白線を除去し、白線が除去された差分偏光度画像に対して路面構造物識別処理を行ってもよい。この場合、白線を含むノイズを適切に除去して、路面構造物の識別精度を高めることができる。
【００２５】
ここでいうマンホールの蓋とは、マンホールの開口部に嵌められた金属板を指し、一般には強固かつ重量のある鋳鉄製のものである。
また、ボッツドッツＢは、主として北米で区間線として用いられる例えばセラミック製のものである。ボッツドッツＢは、図８（ｂ）に示すように直径１００ｍｍ程度の円形ドーム状の物体を路面に埋め込んだものであり、これを図８（ａ）に示すように路上の走行レーンに沿って多数配置することで、区間線として用いられる。
また、キャッツアイＣは、区間線として用いられるもので、図９（ｂ）に示すように、略矩形状の本体内部に、入射光を同一の方向に反射する特性を有する反射体Ｄが取り付けられたものである。キャッツアイＣは、図８（ａ）に示すように、路上の走行レーンに沿って多数配置されることで、区間線として用いられる。
なお、ボッツドッツ及びキャッツアイは、いずれも路面から僅かに突出した状態で配設される。
【００２６】
立体物識別部１８は、差分偏光度画像処理部１５により算出された差分偏光度に基づき、後述する方法にて偏光カメラ１０の撮像領域内に存在する立体物を識別するものである。このような立体物としては、走行路面上を走行する他の車両、走行路面の路端近傍に存在するガードレール、電信柱、街灯、標識、路端の段差部等の路外障害物、走行路面上又は路肩に居る人、動物、自転車等の衝突回避物など、走行路面とは異なる方向を向いた外面を有するあらゆる立体物が含まれる。立体物識別部１８は、その認識結果を立体物特定部１９に出力する。立体物識別部１８では、このような立体物を、路面、及び、外面が路面と略同一面内に存在する平面物体と区別して認識するが、その立体物が、他の車両なのか、路外障害物なのか、衝突回避物なのかについては、立体物特定部１９で特定する。
【００２７】
形状情報記憶手段としての形状記憶部２０には、路面構造物特定部１７及び立体物特定部１９で用いる形状情報としての各種形状テンプレートのデータが記憶されている。形状記憶部２０に記憶される形状テンプレートは、路面構造物特定部１７及び立体物特定部１９で特定する対象物（特定物体）を、偏光カメラ１０により撮像したときの形状（撮像画像中における特定物体の形状）を示すものである。例えば、マンホールの蓋（円形）の形状テンプレートは、偏光カメラ１０が路面上のマンホール蓋を斜め上方から撮影するため、楕円形状を示すものとなる。なお、形状テンプレートは、サイズ情報が含まれていてもよい。本実施形態において、路面構造物特定部１７で用いることが可能な形状テンプレートとしては、例えば、マンホールの蓋を特定するための形状テンプレート、ボッツドッツ又はキャッツアイからなる区間線を特定するための形状テンプレート、高速道路や陸橋などの道路に存在する道路連結部を特定するための形状テンプレートが挙げられる。また、立体物特定部１９で用いることが可能な形状テンプレートとしては、例えば、他の車両を特定するための形状テンプレート、電信柱や街灯を特定するための形状テンプレート、路端の段差部を特定するための形状テンプレートが挙げられる。もちろん、ここに例示した以外のものでも、その形状から物体の特定が可能な物体であれば、その物体を特定するためのテンプレートを用意してもよい。
【００２８】
路面構造物特定部１７は、路面構造物識別部１６の識別結果に基づき、路面構造物として識別された画像領域の形状を、形状記憶部２０に記憶されている形状テンプレートと照らし合わせ、その路面構造物が、マンホールの蓋なのか、道路連結部なのか、ボッツドッツ又はキャッツアイからなる区間線なのか、それともこれら以外の路面構造物なのかを、後述する方法にて特定する。
【００２９】
立体物特定部１９は、立体物識別部１８の識別結果に基づき、立体物として識別された画像領域の形状を、形状記憶部２０に記憶されている形状テンプレートと照らし合わせ、その立体物が、他の車両なのか、路外障害物なのか、衝突回避物なのか、それともこれら以外の立体物なのかを、後述する方法にて特定する。
【００３０】
次に、本実施形態に係る運転者支援システムにおいて路面構造物を特定する路面構造物特定処理の流れについて説明する。
図１０は、路面構造物特定処理の流れを示すフローチャートである。
偏光カメラ１０により偏光ＲＡＷ画像データを取得したら、その偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データを水平偏光画像メモリ１１に格納するとともに、その偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データを垂直偏光画像メモリ１２に格納する（Ｓ１）。その後、差分偏光度画像処理部１５は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、上記式（１）に示す計算式より、差分偏光度（識別指標値）を算出する（Ｓ２）。この算出結果から得られる差分偏光度画像のデータは、差分偏光度画像処理部１５内の図示しない画像メモリに格納される。
【００３１】
次に、エッジ判別処理について説明する。
差分偏光度画像を得た差分偏光度画像処理部１５は、その差分偏光度画像に対して複数の処理ラインを設定する。本実施形態の処理ラインは、差分偏光度画像内の横１列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、差分偏光度画像内の全画素に対して設定される必要はなく、差分偏光度画像内の適切に選択された一部の画素について設定するようにしてもよい。
【００３２】
また、処理ラインではなく、処理ブロック（縦横それぞれ２画素以上からなるブロック）単位で行ってもよい。この場合、例えば、後述するエッジ判別処理において、差分偏光度画像に対して複数の処理ブロックを設定し、処理ブロックごとに、差分偏光度のばらつき度合い（散らばり度合い）を示す標準偏差を算出し、算出した標準偏差が基準偏差閾値以上である場合にその処理ブロック内にエッジが存在すると判定することができる。なお、処理ブロックは、矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。処理ブロックの大きさは、例えば１０×１０画素程度であってよい。なお、各処理ブロックは、同じサイズであっても、異なるサイズであってもよい。また、標準偏差に代えて、分散や平均偏差等の統計量が用いられてもよい。
【００３３】
差分偏光度画像処理部１５は、各処理ラインについて、隣接する２つの画素間における差分偏光度の差を算出し、その算出結果が所定のエッジ閾値以上であるか否かを判断する（Ｓ３）。この判断でエッジ閾値以上であると判断された場合、その判断に係る２つの隣接画素間をエッジとして記憶する（Ｓ４）。これを全処理ラインについて行うことで（Ｓ５）、差分偏光度画像内における互いに異なる物体の境界線を特定することができる。
【００３４】
ここで、従来のエッジ判別処理では、各処理ラインについて、隣接する各画素のモノクロ輝度の差を算出し、その算出結果が所定のエッジ閾値以上であるか否かを判断する場合が多い。しかしながら、この従来のエッジ判別処理では、例えばマンホールの蓋とアスファルトのようにカメラで受光される反射光の強度（モノクロ輝度）が同程度の異種物体間については、そのエッジを判別することができなかった。これに対し、本実施形態におけるエッジ判別処理では、モノクロ輝度ではなく差分偏光度を用いてエッジ判別を行うため、反射光の強度が同程度の異種物体間のエッジを高精度に判別することができる。以下、この点について説明する。
【００３５】
図１１は、偏光カメラ１０にて取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３にて生成されたモノクロ画像（輝度画像）の一例を示す説明図である。
図１２は、同偏光ＲＡＷ画像データから差分偏光度画像処理部１５にて生成された差分偏光度画像を示す説明図である。
図１３は、図１１中の白色破線矢印に沿って得られる輝度値をプロットしたグラフである。
図１４は、図１２中の白色破線矢印に沿って得られる差分偏光度をプロットしたグラフである。
【００３６】
図１３に示すグラフからわかるように、輝度値については、アスファルトの領域もマンホール蓋の領域もほぼ同じ値（−０．４以上−０．５以下の範囲）を示し、これらの領域間において輝度値に変化が見られない。これに対し、図１４に示すグラフからわかるように、差分偏光度については、アスファルトの領域では約ゼロであるのに対し、マンホール蓋の領域では約−０．３であり、これらの領域間で差分偏光度に大きな変化が見られる。したがって、０〜−０．３の間の適切な閾値（例えば−０．２）を設定することで、差分偏光度の違いにより、モノクロ輝度では判別が困難であったアスファルトの領域とマンホール蓋の領域とのエッジを高い精度で判別することができる。
なお、本実施形態における物体識別において、差分偏光度ではなく、相対的差分偏光度を用いている理由については後述する。
【００３７】
次に、路面構造物識別部１６が行う路面構造物識別処理について説明する。
路面構造物識別処理を説明するにあたり、まず、差分偏光度から路面構造物を識別可能である理由について説明する。
物体で反射した反射光には、いわゆる「てかり」である鏡面反射成分、物体表面の微細な凹凸構造であるマットな反射成分である拡散反射成分、物体内部で散乱して出てきた内部散乱成分が含まれている。反射光の強度は、これら３つの成分の和として表現される。なお、鏡面反射成分は、拡散反射成分の一部という考え方もできる。拡散反射成分と内部散乱成分は、物体を照射する光源がいずれの方向に存在しても観測されるが（すなわち、入射角の依存性が低い。）、鏡面反射成分は、反射光の受光部に対してほぼ正反射方向に光源が存在する場合にのみ観測される入射角依存性の強い成分である。これは、偏光特性に関しても成り立つ。拡散反射成分と内部散乱成分は、上述したように、物体を照射する光源がいずれの方向に存在しても観測されるのであるが、その偏光特性は互いに異なっている。具体的には、拡散反射成分は、物体表面を微小領域に分け、それぞれの領域ではフレネルの反射特性を満足するものと想定できるため、無偏光の光が入射した場合にはＳ偏光成分がＰ偏光成分に比べて大きいという偏光特性がある。これに対し、内部散乱成分は、物体内部で散乱されて出てきた成分であるため、無偏光の光が入射した場合は、物体へ入射した光の偏光成分に影響されにくく、物体内部から外部に出てくる際にＰ偏光成分が強くなるという偏光特性がある。
【００３８】
そして、本実施形態のように、自車からのフロントビューを撮影する際にその撮影領域内に存在し得る物体（アスファルトやマンホールの蓋等）は、そのほとんどが表面に少なからず凹凸がある物体であるため、鏡面反射成分は少ないものと考えることができる。その結果、本実施形態では、偏光カメラ１０の撮像領域内に存在する物体からの反射光は、拡散反射成分及び内部散乱成分が支配的であると考えることができる。この結果、反射光中のＳ偏光成分及びＰ偏光成分の強さを比較することにより、Ｓ偏光成分が強ければ反射光には拡散反射成分が多く含まれていることが把握でき、Ｐ偏光成分が強ければ反射光には内部散乱成分が多く含まれていることが把握できる。
【００３９】
図１５は、実験室において、アスファルト面と金属表面（平滑な面）に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化の一例を示すグラフである。
このグラフは、横軸に入射角度（光源位置）をとり、縦軸に差分偏光度をとったものである。カメラ仰角は水平から１０度傾けた状態である。この差分偏光度は、各入射角度の撮影画像についての略中央部の輝度情報から算出したものである。このブラフにおける差分偏光度は、Ｐ偏光成分（Ｒｐ）とＳ偏光成分（Ｒｓ）の合計値に対する、Ｐ偏光成分からＳ偏光成分を差し引いた値の比率である。よって、Ｓ偏光成分よりもＰ偏光成分の方が強い場合には、差分偏光度は正の値をとり、Ｐ偏光成分よりもＳ偏光成分の方が強い場合には、差分偏光度は負の値をとることになる。
【００４０】
図１５に示すグラフからわかるように、アスファルト面については、入射角のほぼ全域にわたって、差分偏光度が負の値をとっている。すなわち、Ｐ偏光成分よりもＳ偏光成分の方が強いことを示している。これは、アスファルト面からの反射光は拡散反射成分が支配的であるためである。一方、金属面については、入射角が３０°を超えた領域全体にわたって、差分偏光度が正の値をとっている。すなわち、Ｓ偏光成分よりもＰ偏光成分の方が強いことを示している。これは、金属面からの反射光は内部散乱成分が支配的であるためである。
【００４１】
以上のように、反射光に含まれるＳ偏光成分とＰ偏光成分の差をとることで、その物体の反射特性について、拡散反射成分が強いのか、それとも内部散乱成分が強いのかを把握することができる。よって、拡散反射成分が強いアスファルトと内部散乱成分が強い路面構造物のように、互いに反射特性が異なる物体を、反射光に含まれるＳ偏光成分とＰ偏光成分の差に基づいて識別することができる。
また、一般に、材質が異なると屈折率も異なるため、この影響もＳ偏光成分とＰ偏光成分の差に現れる。よって、材質が異なる物体を、反射光に含まれるＳ偏光成分とＰ偏光成分の差に基づいて識別することができる。
【００４２】
なお、図１５に示したグラフの結果は、アスファルト面と金属表面との表面状態の違い（アスファルトは多数の凹凸が分布した表面であるのに対し、金属表面は平滑な表面である。）の影響も受けていると考えられる。したがって、識別対象の表面状態の違いによって検出されるＳ偏光成分及びＰ偏光成分の値は変わってくる。このことは、実際に使用される環境下での実験結果を示す図１４のグラフにおけるアスファルト領域や路上構造物であるマンホール蓋の差分偏光度が、図１５に示した実験室実験での結果と相違していることからも理解できる。しかしながら、材質が異なる物体間においては、その表面状態が互いに同じであっても、その材質の違いに起因して物体の反射特性（拡散反射成分と内部散乱成分の強弱、屈折率等）に違いが存在し、その違いは反射光に含まれるＳ偏光成分とＰ偏光成分との差に基づいて把握することが可能である。したがって、実環境を考慮して設定された閾値を用いることで、材質が異なる物体間の識別が可能である。
【００４３】
本実施形態の路面構造物識別処理では、上述したエッジ判別処理により判別されたエッジによって区分される各領域の差分偏光度を識別指標値として用いることで、当該領域が路面構造物であるか否かを判定する。路面構造物識別処理は、上述したとおり、Ｓ偏光強度とＰ偏光強度の差分値を識別指標値として用いても、当該領域が路面構造物であるか否かを判定することは可能である。しかしながら、明るさが足りない場合、識別指標値として算出されるＳ偏光強度とＰ偏光強度の差分値が小さい値をとる結果、路面構造物であるか否かの判定が困難になる。これに対し、本実施形態のように、この差分値をＳ偏光強度とＰ偏光強度の合計値（モノクロ輝度）で割った値である差分偏光度を用いれば、明るさが足りない場合でも、識別指標値としての差分偏光度は比較的大きな値をとることができ、路面構造物であるか否かの判定が可能となる。
【００４４】
本実施形態の路面構造物識別処理の流れについて説明すると、まず、上述したエッジ判別処理によって判別されたエッジにより区分される各領域について、その領域の差分偏光度と基準差分偏光度との差分を算出する（Ｓ６）。そして、この差分値が予め決められている路面構造物用の閾値以下であるか否かを判断する（Ｓ７）。この判断において、差分値が路面構造物用閾値以下であると判断した場合には、当該領域を路面構造物であると識別して記憶する（Ｓ８）。これを全領域について行うことで（Ｓ９）、撮像画像内における路面構造物を表示した領域を把握することができる。
【００４５】
本実施形態においては、当該領域の物体識別に用いる識別指標値として、その領域の差分偏光度（絶対量）を用いるのではなく、その領域の差分偏光度を基準差分偏光度から差し引いた相対的差分偏光度（相対量）を用いている。これは、撮影環境の違い等の影響で、識別対象領域の差分偏光度の算出値にズレが生じても、同じ影響でズレが生じている基準差分偏光度との相対量を用いることで、その影響を軽減することができるからである。なお、本実施形態では、基準差分偏光度として、路面上の大部分を占めるアスファルトの領域における差分偏光度を用いている。また、本実施形態において、路面構造物についての差分偏光度は、実環境下であれば、アスファルトについての差分偏光度よりも、少なくとも０．２以上大きい値をとることが実験的に判明している。よって、路面構造物についての相対的差分偏光度は、最低でも−０．２以下のマイナス値をとる。したがって、本実施形態では、路面構造物用閾値として−０．２を採用し、この閾値以下の範囲に属する相対的差分偏光度をもつ領域を路面構造物であると識別する。
【００４６】
ここで、撮像画像の上方部分と下方部分とでは、物体からの反射光の強度に差がある。これは、撮像画像の上方部分は遠くに位置する物体を撮影した部分であるため、近くに位置する物体を撮影した下方部分よりも、反射光の強度は小さいものとなる。したがって、この違いを考慮し、撮像画像の上方部分と下方部分とで、用いる路面構造物用閾値を異ならせるようにしてもよい。
また、近くに位置する物体を撮影した撮像画像の下方部分の方が、上方部分よりも物体識別精度が高いので、処理ラインの処理順序は、画像下方から上方に向かう順序とするのがよい。
【００４７】
次に、路面構造物特定部１７が行う路面構造物の種類特定処理について説明する。
路面構造物特定部１７は、まず、上述した路面構造物識別処理により路面構造物であると識別された領域の形状を認識し（Ｓ１０）、当該領域の形状に近似する形状テンプレートが存在するかどうかを判断する（Ｓ１１）。この判断において、近似する形状テンプレートが存在すると判断した場合には、当該領域の路面構造物を、その形状テンプレートに関連づけられた種類に特定し、記憶する（Ｓ１２）。例えば、楕円形状の形状テンプレートに近似する場合にはマンホールの蓋であると特定し、画像横方向に横断する棒状の形状テンプレートに近似する場合には道路連結部であると特定し、複数の路面構造物が自車の進行方向に沿って直線状に並んだ形状の形状テンプレートに記事する場合にはボッツドッツ又はキャッツアイからなる区間線であると特定する。これを全路面構造物について行ったら（Ｓ１３）、処理を終了する。
【００４８】
具体的には、路面構造物の領域のエッジ情報と、形状記憶部２０に記憶されている形状テンプレートの情報とを用いて、近似曲線を取得し、最小二乗法やハフ変換やモデル方程式などの手法を用いて、形状近似認識を行う。なお、近似曲線を取得する際、信頼性の高い撮像画像の下方部分に位置するエッジ情報ほど形状近似の投票値に大きな重みを持たせるようにすることが望ましい。このようにすれば、信頼性の低い撮像画像の上方部分で誤認識されたエッジ情報が存在しても、信頼性の高い撮像画像の下方部分で正常に認識されたエッジ情報が存在すれば、路面構造物の種類を適切に特定することができる。
また、例えばマンホールの蓋を特定する際には、そのマンホールの蓋よりも大きい物体に係る特徴点をモルフォロジー演算などにより事前に除去するようにしてもよい。これにより、マンホール蓋の特定精度を向上させることができる。
【００４９】
路面構造物の種類の特定精度を高めるために、次のような処理を付加してもよい。
本実施形態では、以上のような路面構造物特定処理（Ｓ１〜Ｓ１３）を、偏光カメラ１０にて所定の時間間隔で連続的に撮影して得られる偏光画像データについて行う。上述した路面構造物の種類特定処理（Ｓ１０〜Ｓ１３）により路面構造物の種類が特定された領域については、その処理結果が所定のメモリに記憶される。このメモリに記憶される過去の処理結果（例えば、直前に撮像された偏光画像データについての処理結果）を利用し、今回の処理により特定された路面構造物の種類が、その領域に対応する過去の処理結果と同じであれば、今回の処理結果が信頼度の高いものであると判断する。そして、この信頼度を最終的な路面構造物の種類の特定に利用する。今回の処理結果に係る領域に対応する過去の処理結果は、例えば、エッジ情報を利用し、今回の処理結果に係る領域の位置と自車の進行方向とから、対応する過去の処理結果に係る領域の位置を検索して、対応する過去の処理結果を特定する。
なお、ここでは、路面構造物の種類特定処理（Ｓ１０〜Ｓ１３）について説明したが、路面構造物識別処理（Ｓ６〜Ｓ９）についても同様に、その識別精度を高めるために、過去の処理結果を利用してもよい。
【００５０】
また、上述したエッジ判別処理の判断（Ｓ３）で用いるエッジ閾値や、路面構造物の識別処理の判断（Ｓ７）で用いる路面構造物用閾値は、撮影環境の違いに応じて適宜切り替えるようにしてもよい。具体例としては、昼間と夜間などの時間帯の違い 雨天と晴天などの天候の違いに応じて切り替えることが挙げられる。この切り替えは、時間情報やレインセンサや日照センサなどの情報を用いることが実現可能である。
【００５１】
また、本実施形態の偏光カメラ１０をルームミラー等の車内に取り付ける場合、偏光カメラ１０で撮像される画像は、フロントガラスの影響を受けるため、フロントガラスの偏光特性も考慮することが望ましい。フロントガラスは、通常、図１６に示すように、そのガラス面が偏光カメラ１０の光軸に対して所定の角度をもって配置される。一般に、ガラス平板が光路に対して斜めに配置された場合、その透過光の偏光状態は変化する。いわゆるフレネルの透過反射の計算が成立し、Ｐ偏光成分よりもＳ偏光成分の方がガラス面で反射される量が多く、その透過光の減衰率はＰ偏光成分よりもＳ偏光成分の方が大きい。具体的には、例えば、図１６に示した例では、Ｐ偏光成分はガラス面でのフレネル反射によって約８％減衰するのに対して、Ｓ偏光成分は約半分にまで減衰する。なお、この例では、フロントガラスでの屈折率が１．５とした。
【００５２】
このように、偏光カメラ１０に取り込まれる光の偏光情報には、フロントガラスの影響が含まれているので、これを考慮することが望まれる。例えば、差分偏光度の算出時（Ｓ２）に、Ｐ偏光強度及びＳ偏光強度のそれぞれについて、フロントガラスでの減衰成分をキャンセルする演算を行う。上記の例では、Ｓ偏光成分を約２倍し、Ｐ偏光成分を約１／０．９倍する。別の方法としては、例えば、フロントガラスと偏光カメラ１０との間に、Ｐ偏光強度及びＳ偏光強度それぞれの減衰成分をキャンセルする光学素子を配置する。この場合の光学素子としては、上記の例では、Ｓ偏光成分を不感帯透過し、Ｐ偏光成分を０．５／０．９倍にする光学素子を利用することが可能である。
【００５３】
今後は、軽量化・低コスト化などを狙い、プラスチック製のフロントガラスの利用が想定される。プラスチックはガラスに比べ、内部歪による複屈折を有することが知られている。この場合は、複屈折の影響も考慮する必要が生じてくる。具体的には、例えば、偏光カメラ１０で取り込む光の偏光成分に対し、複屈折によるＰ偏光成分とＳ偏光成分を考慮して差分偏光度の演算を行う。
【００５４】
路面構造物特定部１７により路面構造物の種類の特定結果は、様々な処理に利用することが可能である。
例えば、路面構造物特定部１７の処理結果を、白線識別部１４での白線エッジの識別処理に用いることが挙げられる。具体的には、路面構造物特定部１７の処理により路面構造物の種類が特定された領域は白線の領域ではないので、この領域を白線識別部１４による白線エッジの識別処理の対象から除外する。これにより、マンホール蓋等の路面構造物を白線と誤認識する可能性を少なくでき、白線の認識精度を向上させることができる。なお、ここでは、白線識別部１４による白線エッジの識別処理について説明したが、白線以外の物体を撮像画像から識別する処理を行う場合には、一般に、路面構造物特定部１７の処理により路面構造物の種類が特定された領域をその識別処理の対象から除外することで、その識別処理の識別精度を向上させることができる。具体例を挙げると、レーダの測距結果とカメラの撮影画像とに基づくセンサフュージョンにより先行車等の障害物を識別するシステムにおいては、マンホールの蓋等の各種路面構造物を障害物として誤認識することを避けることができる。その結果、各種路面構造物障害物として誤認識したことにより速度を急激に低下させてしまうような状態の発生を防止することができる。
【００５５】
また、例えば、カーナビゲーションシステムに利用することも挙げられる。具体例としては、路面構造物特定部１７の処理結果から特定されるマンホール蓋の位置から、自車とマンホール蓋との間の距離や角度等の自車位置情報を生成し、この自車位置情報を用いて、カーナビゲーションシステムにより算出される自車位置の範囲内において、自車の更なる詳細な位置を特定する。これにより、カーナビゲーションシステムにおける自車位置の特定精度を高めることができる。
【００５６】
図１７は、区間線としてボッツドッツが用いられている路面を偏光カメラ１０で撮像し、これにより取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３が生成したモノクロ画像（輝度画像）の一例を示す説明図である。
図１８は、同偏光ＲＡＷ画像データから差分偏光度画像処理部１５にて生成された差分偏光度画像を示す説明図である。
図１７と図１８を比較してわかるように、アスファルトとボッツドッツとのコントラストは、図１７に示すモノクロ画像（輝度画像）よりも、図１８に示す差分偏光度画像の方が高い。したがって、差分偏光度画像を用いれば、モノクロ輝度では判別が困難であったアスファルトの領域とボッツドッツの領域とのエッジを高い精度で判別することができる。
【００５７】
なお、本実施形態では、識別可能な材質として主に金属を例に挙げて説明したが、他の材質であっても識別可能である。
図１９は、実験室において、アスファルト面とスチールに塗料を塗布した塗装面に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化を示すグラフである。このグラフは、アスファルト面と金属面とを比較した図１５に示したグラフと同様の条件である。このグラフからわかるように、アスファルト面と塗装面とでは、差分偏光度に違いがある。そして、塗装面の差分偏光度は、図１５に示した金属面の差分偏光度とも異なっている。したがって、塗装面と金属面との間も、差分偏光度の違い（偏光特性の違い）により区別して認識することが可能である。
【００５８】
同様に、このような塗装面に限らず、工事中或いは路面の劣化などにより路面上に付着したコールタールのような路面構造物についても、差分偏光度画像を用いると、モノクロ輝度画像に比べてコントラスト高く検出することが可能である。
図２０は、コールタールが付着した路面を偏光カメラ１０で撮像し、これにより取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３が生成したモノクロ画像（輝度画像）の一例を示す説明図である。
図２１は、同偏光ＲＡＷ画像データから差分偏光度画像処理部１５にて生成された差分偏光度画像を示す説明図である。
図２０と図２１を比較してわかるように、アスファルトとコールタールとのコントラストは、図２０に示すモノクロ画像（輝度画像）よりも、図２１に示す差分偏光度画像の方が高い。したがって、差分偏光度画像を用いれば、モノクロ輝度では判別が困難であったアスファルトの領域とコールタールの領域とのエッジを高い精度で判別することができる。
【００５９】
次に、本実施形態に係る運転者支援システムにおいて立体物を特定する立体物特定処理の流れについて説明する。
図２２は、立体物特定処理の流れを示すフローチャートである。
なお、エッジ判別処理までの処理は、上述した路面構造物特定処理と同様であるため、説明を省略する。ただし、エッジ判別処理で用いるエッジ閾値は、上述した路面構造物特定処理とは異なる値を用いる。エッジ判別処理で用いるエッジ閾値の設定方法について、以下説明する。
【００６０】
図２３は、偏光カメラ１０にて取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３にて生成されたモノクロ画像（輝度画像）の一例を示す説明図である。
図２４は、同偏光ＲＡＷ画像データから差分偏光度画像処理部１５にて生成された差分偏光度画像を示す説明図である。
図２５は、１００フレーム分について図２３中の白枠３箇所の輝度値分布をとったヒストグラムである。
図２６は、１００フレーム分について図２４中の白枠３箇所の差分偏光度分布をとったヒストグラムである。
図２５に示すヒストグラムからわかるように、輝度値については、アスファルト領域の輝度分布と、他車の車両側面領域の輝度分布と、他車の車両後面領域の輝度分布とが、互いに重なり合っている。これに対し、図２６に示すヒストグラムからわかるように、差分偏光度については、アスファルト領域の輝度分布と、他車の車両側面領域の輝度分布と、他車の車両後面領域の輝度分布とが、互いに重ならず、区分可能となっている。したがって、これらの領域を区分できる適切な閾値を設定することで、差分偏光度の違いにより、モノクロ輝度では判別が困難であった、アスファルト領域、他車の車両側面領域、他車の車両後面領域のエッジを、高い精度で判別することができる。
【００６１】
次に、立体物識別部１８が行う立体物識別処理について説明する。
立体物識別処理を説明するにあたり、まず、差分偏光度から立体物を識別可能である理由について説明する。
物体で反射した反射光は、路面と、立体物の側面（その路面とは異なる方向を向いた外面）とでは、偏光カメラ１０に取り込まれる光の入射角が異なるため、Ｐ偏光強度とＳ偏光強度それぞれに違いが生じる。特に、立体物の側面が路面に対して略直立した面であると、立体物の側面からの反射光に含まれるＰ偏光成分とＳ偏光成分との間の相対関係は、路面からの反射光に含まれるＰ偏光成分とＳ偏光成分との間の相対関係を入れ替えたものに相当する。そして、一般に、反射光に含まれるＰ偏光成分とＳ偏光成分との相対関係は、入射面に対して平行な偏光成分であるＰ偏光成分よりも、入射面に対して垂直な偏光成分であるＳ偏光成分の方が大きいという関係がある。したがって、路面あるいは路面に平行な面からの反射光を偏光カメラ１０で受光した場合にはＰ偏光強度よりもＳ偏光成分の方が強く、路面に対して略直立した立体物側面からの反射光を偏光カメラ１０で受光した場合にはＳ偏光強度よりもＰ偏光成分の方が強い。このような路面と立体物との間の偏光特性の違いにより、偏光カメラ１０で受光した反射光中のＳ偏光成分及びＰ偏光成分の強さを比較することで、Ｓ偏光成分が強ければ路面に平行な面からの反射光であることが把握でき、Ｐ偏光成分が強ければ路面に垂直な面からの反射光であることが把握できる。その結果、偏光カメラ１０で受光した反射光中に含まれるＳ偏光成分とＰ偏光成分の差分値をとることで、その差分値の正負により、路面に平行な面を有する物体なのか、路面とは異なる方向を向いた外面を有する物体すなわち立体物なのかを把握することができる。
【００６２】
本実施形態の立体物識別処理では、上述したエッジ判別処理により判別されたエッジによって区分される各領域の差分偏光度を識別指標値として用いることで、当該領域が立体物であるか否かを判定する。立体物識別処理は、上述したとおり、Ｓ偏光強度とＰ偏光強度の差分値を識別指標値として用いても、当該領域が立体物であるか否かを判定することは可能である。しかしながら、明るさが足りない場合、識別指標値として算出されるＳ偏光強度とＰ偏光強度の差分値が小さい値をとる結果、立体物であるか否かの判定が困難になる。これに対し、本実施形態のように、この差分値をＳ偏光強度とＰ偏光強度の合計値（モノクロ輝度）で割った値である差分偏光度を用いれば、明るさが足りない場合でも、識別指標値としての差分偏光度は比較的大きな値をとることができ、立体物であるか否かの判定が可能となる。
【００６３】
本実施形態の立体物識別処理の流れについて説明すると、上述したエッジ判別処理によって判別されたエッジにより区分される各領域について、その領域の差分偏光度が予め決められている立体物用の閾値以下であるか否かを判断する（Ｓ２１）。本実施形態において、立体物についての差分偏光度は、図２６に示したヒストグラムからわかるように、正の値をとる。よって、本実施形態では、立体物用閾値としてゼロ近傍の正の値（例えば＋０．０５）を採用し、この閾値以上の範囲に属する差分偏光度をもつ領域を立体物であると識別する。なお、上述した路面構造物識別処理のように、相対的差分偏光度を用いても同様の処理が可能である。この判断において、差分偏光度が立体物用閾値以下であると判断した場合には、当該領域を立体物であると識別して記憶する（Ｓ２２）。これを全領域について行うことで（Ｓ２３）、撮像画像内における立体物を表示した領域を把握することができる。
【００６４】
また、撮像画像の上方部分と下方部分とでは、物体からの反射光の強度に差があるので、この違いを考慮し、撮像画像の上方部分と下方部分とで、用いる立体物用閾値を異ならせるようにしてもよい。
また、近くに位置する物体を撮影した撮像画像の下方部分の方が、上方部分よりも物体識別精度が高いので、処理ラインの処理順序は、画像下方から上方に向かう順序とするのがよい。
【００６５】
次に、立体物特定部１９が行う立体物の種類特定処理について説明する。
立体物特定部１９は、まず、上述した立体物識別処理により立体物であると識別された領域の形状を認識し（Ｓ２４）、当該領域の形状に近似する形状テンプレートが存在するかどうかを判断する（Ｓ２５）。この判断において、近似する形状テンプレートが存在すると判断した場合には、当該領域の立体物を、その形状テンプレートに関連づけられた種類に特定し、記憶する（Ｓ２６）。例えば、車形状の形状テンプレートに近似する場合には他の車両であると特定する。これを全立体物について行ったら（Ｓ２７）、処理を終了する。なお、立体物特定部１９における形状近似認識の方法は、上述した路面構造物特定部１７の処理方法と同様なので、説明を省略する。
【００６６】
立体物の種類特定処理や立体物識別処理の精度を高めるために、上述した路面構造物の種類特定の場合と同様、過去の処理結果を利用してもよい。
また、上述したエッジ判別処理の判断（Ｓ３）で用いるエッジ閾値や、立体物の識別処理の判断（Ｓ２１）で用いる立体物用閾値は、撮影環境の違いに応じて適宜切り替えるようにしてもよい。具体例としては、昼間と夜間などの時間帯の違い 雨天と晴天などの天候の違いに応じて切り替えることが挙げられる。この切り替えは、時間情報やレインセンサや日照センサなどの情報を用いることが実現可能である。
また、本実施形態の偏光カメラ１０をルームミラー等の車内に取り付ける場合、フロントガラスの偏光特性も考慮することが望ましい点も、上述した路面構造物特定処理の場合と同様である。
【００６７】
立体物特定部１９により立体物の種類の特定結果は、様々な処理に利用することが可能である。
例えば、立体物特定部１９による処理結果から、避けるべき障害物である認識された立体物の接近を、運転者に警告したり、自車の自動ブレーキシステムを制御することにより衝突回避あるいは衝突時の衝撃緩和等を行ったりする。
また、例えば、立体物特定部１９の処理結果を、白線識別部１４での白線エッジの識別処理に用いることが挙げられる。具体的には、立体物特定部１９の処理により立体物の種類が特定された領域は白線の領域ではないので、この領域を白線識別部１４による白線エッジの識別処理の対象から除外する。これにより、他の車両等の立体物を白線と誤認識する可能性を少なくでき、白線の認識精度を向上させることができる。なお、ここでは、白線識別部１４による白線エッジの識別処理について説明したが、白線以外の物体を撮像画像から識別する処理を行う場合には、一般に、立体物特定部１９の処理により立体物の種類が特定された領域をその識別処理の対象から除外することで、その識別処理の識別精度を向上させることができる。
【００６８】
また、例えば、カーナビゲーションシステムに利用することも挙げられる。具体例としては、立体物特定部１９の処理結果から特定される電信柱、街灯、標識等の路外障害物の位置から、自車と路外障害物との間の距離や角度等の自車位置情報を生成し、この自車位置情報を用いて、カーナビゲーションシステムにより算出される自車位置の範囲内において、自車の更なる詳細な位置を特定する。これにより、カーナビゲーションシステムにおける自車位置の特定精度を高めることができる。
【００６９】
また、例えば、立体物特定部１９の処理結果から、自車に対する各種立体物の位置や方向を把握できるので、これを利用して走行支援ＥＣＵ（Electronic Control Unit）などへ利用することも挙げられる。
特に、衝突を回避すべき立体物については、例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の立体物の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で当該立体物を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、その立体物の存在を確認することができ、衝突回避することが容易となる。
【００７０】
以上、本実施形態に係る立体物識別装置は、撮像領域内に存在し、所定平面（路面）とは異なる方向を向いた外面を有する立体物を識別するものであって、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光（Ｐ偏光とＳ偏光）を受光して、それぞれの偏光画像（Ｐ偏光画像とＳ偏光画像）を撮像する撮像手段としての偏光カメラ１０と、この偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像をそれぞれ所定の処理領域（一画素単位）に分割し、画素ごとにＰ偏光画像とＳ偏光画像との間における輝度差分値を算出する輝度差分値算出手段としての差分偏光度画像処理部１５と、この差分偏光度画像処理部１５が算出した輝度差分値から得られる識別指標値である差分偏光度を用いて、撮像領域内における各画素に対応した場所に存在する物体が立体物であるか否かの立体物識別処理を行う立体物識別処理手段としての立体物識別部１８とを有する。これにより、モノクロ輝度の差を用いる場合には識別できなかった路面と立体物との間を区別して認識することができる。
また、本実施形態において、立体物識別部１８は、路面と同一平面内に存在する平面物体（アスファルト）と立体物とについてそれぞれ定められる複数の数値範囲のいずれに差分偏光度が属するかを判断する判断処理を行い、当該処理領域に対応した場所に存在する物体を、該判断処理により属すると判断された数値範囲に対応する物体であると識別する処理を行うことにより、上記立体物識別処理を実施する。このような処理であれば、閾値との比較という簡単な処理により立体物識別処理を実現できる。
また、本実施形態において、偏光カメラ１０は、移動面である路面上を移動する移動体としての車両（自車）に搭載され、路面に対して斜め上方から当該路面を含む撮像領域を撮像するものであり、同一の物体に対して定められる数値範囲を、Ｐ偏光画像及びＳ偏光画像をそれぞれ上下方向に区分する少なくとも２つ以上の区域ごとにそれぞれ設定し、当該区域に属する処理領域の差分偏光度がその区域に対して設定された数値範囲のいずれに属するかを判断して、立体物識別処理を行う。これにより、Ｐ偏光画像及びＳ偏光画像の上下方向における偏光カメラ１０の受光量の違いを考慮した適切な識別が可能となる。
また、本実施形態において、立体物識別部１６は、差分偏光度を用いて立体物識別処理を行っているが、予め存在することが想定されている基準平面物体としてのアスファルトの存在場所に対応する基準処理領域について差分偏光度画像処理部１５が算出する差分偏光度を基準指標値とし、この基準処理領域とは異なる処理領域について差分偏光度画像処理部１５が算出した差分偏光度の当該基準指標値に対する相対値（相対的差分偏光度）を算出し、この相対的差分偏光度に基づいて当該処理領域に対応した場所に存在する物体が立体物であるか否かを識別する処理を行ってもよい。これにより、撮影環境の違い等の影響で識別対象領域の差分偏光度の算出値にズレが生じても、同じ影響でズレが生じている基準差分偏光度との相対量を用いることで、その影響を軽減することができる。
また、本実施形態では、識別指標値として、輝度合計値（Ｐ偏光強度＋Ｓ偏光強度）に対する輝度差分値（Ｐ偏光強度−Ｓ偏光強度）の比率を示す差分偏光度を用いているので、明るさが足りない場合でも、精度の高い認識が可能となる。
また、本実施形態では、立体物識別部１８が過去に行った識別処理の結果を記憶する識別処理結果記憶手段としてのメモリに保存しておき、立体物識別部１８は、差分偏光度とともに、メモリに保存しておいた過去の識別処理の結果も用いて、識別処理を行う。これにより、過去の識別結果と同じ結果が得られたか否かについて識別結果の信頼度を判断することが可能となる。
また、本実施形態では、所定の特定立体物を偏光カメラ１０により撮像したときの形状を示す形状情報である形状テンプレートを記憶する形状情報記憶手段としての形状記憶部２０を有し、物体識別処理手段としての立体物特定部１９は、立体物識別部１８の識別処理により同じ立体物であると識別された互いに近接する複数画素により示される形状が形状記憶部２０に記憶されている形状テンプレートの形状に近似しているかどうかを判断し、近似していると判断したときには、当該複数画素に対応した場所に存在する立体物を当該形状テンプレートに対応する特定立体物であると特定する立体物特定処理を行う。これにより、立体物の形状情報から、その立体物の種類を特定することができる。
また、本実施形態における立体物識別装置は、上述したように、当該立体物識別装置による識別結果を利用して移動体である車両（自車）の移動制御を行う移動制御手段しての走行支援ＥＣＵを備えた移動体制御装置としての自動ブレーキシステムに適用できる。
また、本実施形態における立体物識別装置は、上述したように、当該立体物識別装置による識別結果を利用して移動体である車両（自車）を運転操作する運転者にとって有益な情報を生成し、生成した情報を当該運転者に報知する情報提供装置にも適用できる。
【００７１】
なお、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本実施形態では、指標値として差分偏光度を用いているが、差分値そのものであってもよい。
【符号の説明】
【００７２】
１０ 偏光カメラ
１１ 水平偏光画像メモリ
１２ 垂直偏光画像メモリ
１３ モノクロ画像処理部
１４ 白線識別部
１５ 差分偏光度画像処理部
１６ 路面構造物識別部
１７ 路面構造物特定部
１８ 立体物識別部
１９ 立体物特定部
２０ 形状記憶部
１０１，１１１，１１２ カメラ
１０２ 回転偏光子
１１３，１１４，１２４，１３３，１３４，１４４，１５２，１５３ 偏光フィルタ
【先行技術文献】
【特許文献】
【００７３】
【特許文献１】特開２００９−５９２６０号公報
【技術分野】
【０００１】
本発明は、撮像領域内に存在する立体物を識別する立体物識別装置、並びに、この立体物識別装置の識別結果を利用して、車両、船舶、航空機、あるいは、産業用ロボットなどの移動体の移動制御を行う移動体制御装置、及び、移動体の運転者に有益な情報を提供する情報提供装置に関するものである。
【背景技術】
【０００２】
この種の立体物識別装置としては、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような車両走行支援システムにおいては、自車が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車との車間距離を維持するための自車速度調整機能などの様々な機能を実現するために、自車の周囲に存在する障害物、先行車などの立体物を適切に区別して認識する（識別する）ことが必要となる。そのため、従来から様々な立体物識別装置が提案されている。
【０００３】
特許文献１には、同色の物体が２つ重なっても、これらの物体を正しく認識できるようにする立体物識別装置が開示されている。この立体物識別装置は、同色の物体でもこれらの偏光の主軸方向（偏光強度が最大となる方向）が同一とならないことを利用して、同色の物体が２つ重なっても、これらの物体を区別して認識するものである。具体的には、複数の偏光子を介して画像を取得し、偏光方向が異なる偏光子のそれぞれを介して得られる所定画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出する。そして、その偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分し、その区分された各領域の移動方向を算出して、移動方向が同一である領域の画像部分を１つの物体として識別する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の立体物識別装置は、撮像画像中の輝度の違いを利用して、所定平面内に存在する平面物体（例えば路面のアスファルト）と、その所定平面とは異なる方向を向いた外面を有する立体物（例えば先行車両）との間のエッジを抽出し、そのエッジにより区画される領域を立体物であると認識するものが一般的である。しかしながら、立体物と平面物体とを区別して認識する方法として輝度の違いを利用する従来の方法では、撮像画像中の輝度に明確な違いがない立体物と平面物体との間を高い精度で識別することができないという問題があった。
【０００５】
なお、この問題は、運転者支援システムに用いられる立体物識別装置に限らず、ロボット制御などに用いられる立体物識別装置など、あらゆる立体物識別装置においても同様に生じる問題である。
また、この問題を、撮像手段とは別の検出機器を新たに用意することで解決することは、コストが高騰するため好ましくない。よって、従来の立体物識別装置において立体物からの反射光強度（輝度）を検出するために一般に用いられている検出機器である撮像手段を用いて、上記問題を解決することができれば、コストの観点から有益である。
【０００６】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、撮像画像中の輝度に明確な違いがない立体物と平面物体との間を、撮像手段を用いて高い精度で識別することが可能な立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１の発明は、撮像領域内に存在し、所定平面とは異なる方向を向いた外面を有する立体物を識別する立体物識別装置において、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、該撮像手段が撮像した２つの偏光画像を用いて上記撮像領域内における各処理領域に対応した場所に存在する物体が上記立体物であるか否かの立体物識別処理を行う立体物識別処理手段とを有することを特徴とするものである。
また、請求項２の発明は、撮像領域内に存在し、所定平面とは異なる方向を向いた外面を有する立体物を識別する立体物識別装置において、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに該２つの偏光画像間における輝度差分値を算出する輝度差分値算出手段と、該輝度差分値算出手段が算出した輝度差分値から得られる識別指標値を用いて、上記撮像領域内における各処理領域に対応した場所に存在する物体が上記立体物であるか否かの立体物識別処理を行う立体物識別処理手段とを有することを特徴とするものである。
また、請求項３の発明は、請求項２の立体物識別装置において、上記立体物識別処理手段は、上記立体物と上記所定平面と同一平面内に存在する平面物体とについてそれぞれ定められる複数の数値範囲のいずれに上記識別指標値が属するかを判断する判断処理を行い、当該処理領域に対応した場所に存在する物体を、該判断処理により属すると判断された数値範囲に対応する物体であると識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とするものである。
また、請求項４の発明は、請求項３の立体物識別装置において、上記撮像手段は、移動面上を移動する移動体に搭載され、該移動面に対して斜め上方から該移動面を含む撮像領域を撮像するものであり、上記判断処理では、同一の物体に対して定められる数値範囲を、上記２つの偏光画像をそれぞれ上下方向に区分する少なくとも２つ以上の区域ごとにそれぞれ設定し、当該区域に属する処理領域の識別指標値が該区域に対して設定された数値範囲のいずれに属するかを判断することを特徴とするものである。
また、請求項５の発明は、請求項２乃至４のいずれか１項に記載の立体物識別装置において、上記立体物識別処理手段は、予め存在することが想定されている基準平面物体の存在場所に対応する基準処理領域について上記輝度差分値算出手段が算出した輝度差分値から得られる識別指標値を基準指標値とし、該基準処理領域とは異なる処理領域について該輝度差分値算出手段が算出した輝度差分値から得られる識別指標値の該基準指標値に対する相対値を算出し、該相対値に基づいて該処理領域に対応した場所に存在する物体を識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とするものである。
また、請求項６の発明は、請求項２乃至５のいずれか１項に記載の立体物識別装置において、上記識別指標値として、上記輝度差分値を算出する際に用いる２つの偏光画像間における輝度合計値に対する該輝度差分値の比率を示す差分偏光度を用いることを特徴とするものである。
また、請求項７の発明は、請求項２乃至６のいずれか１項に記載の立体物識別装置において、上記立体物識別処理手段が過去に行った上記立体物識別処理の結果を記憶する識別処理結果記憶手段を有し、上記立体物識別処理手段は、上記識別指標値とともに、上記識別処理結果記憶手段に記憶された過去の立体物識別処理の結果も用いて、上記立体物識別処理を行うことを特徴とするものである。
また、請求項８の発明は、請求項２乃至７のいずれか１項に記載の立体物識別装置において、所定の特定立体物を上記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、上記立体物識別処理手段は、上記立体物識別処理により同じ立体物であると識別された互いに近接する複数の処理領域により示される形状が上記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断し、近似していると判断したときには、該複数の処理領域に対応した場所に存在する立体物を上記特定立体物であると特定する立体物特定処理を行うことを特徴とするものである。
また、請求項９の発明は、移動体の移動制御を行う移動制御手段と、該移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段とを有し、上記移動制御手段は、上記立体物識別手段による識別結果を用いて上記移動制御を行う移動体制御装置において、上記立体物識別手段として、請求項１乃至８のいずれか１項に記載の立体物識別装置を用いたことを特徴とするものである。
また、請求項１０の発明は、運転者による運転操作に従って移動する移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段と、上記立体物識別手段による識別結果を用いて該運転者にとって有益な情報を生成する有益情報生成手段と、該有益情報生成手段が生成した情報を該運転者に報知する情報報知手段とを有する情報提供装置において、上記立体物識別手段として、請求項１乃至８のいずれか１項に記載の立体物識別装置を用いたことを特徴とするものである。
【０００８】
本発明においては、撮像手段が撮像した２つの偏光画像について、例えば、所定の処理領域ごとに、これらの偏光画像間における輝度差分値を算出し、その輝度差分値から得られる識別指標値を用いて各処理領域に対応した場所に存在する立体物の識別処理を行う。自然光や照明が照らされている同一場所からの反射光には、通常、偏光方向が互いに異なる複数の偏光が含まれている。これらの偏光は、その反射面（入射面）の向きが異なると、その反射光に含まれる偏光成分が変わってくるという性格がある。本発明者らは、この偏光の性格に着目し、鋭意研究の結果、反射光を反射した物体の面が向いている方向の違いからその物体が立体物であると識別できることを見出した。例えば、反射光を反射した物体の面が向いている方向の違いが、偏光方向が互いに異なる２つの偏光を受光して得られる２つの偏光画像間の輝度差分値に強く反映されることを利用して、立体物を識別できることを見出した。したがって、反射光から得られる２つの偏光画像間の輝度差分値から得られる識別指標値（当該輝度差分値そのものを含む。）を用いることで、その反射光を反射した物体が立体物であることを平面物体と区別して高い精度で識別することができる。
【発明の効果】
【０００９】
以上、本発明によれば、撮像手段により取得される２つの偏光画像間の輝度差分値から得られる識別指標値を用いることで、撮像画像中の輝度に明確な違いがない立体物と平面物体との間を高い精度で識別することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムに利用可能な偏光カメラの一構成例を示す説明図である。
【図３】同運転者支援システムに利用可能な偏光カメラの他の構成例を示す説明図である。
【図４】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図５】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図６】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図７】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図８】（ａ）は識別対象となり得るボッツドッツの上面図であり、（ｂ）は同ボッツドッツの側面図である。
【図９】（ａ）は識別対象となり得るキャッツアイの上面図であり、（ｂ）は同キャッツアイの斜視図である。
【図１０】実施形態における路面構造物特定処理の流れを示すフローチャートである。
【図１１】偏光カメラにて取得した偏光ＲＡＷ画像データからモノクロ画像処理部にて生成されたモノクロ画像（輝度画像）の一例を示す説明図である。
【図１２】同偏光ＲＡＷ画像データから差分偏光度画像処理部にて生成された差分偏光度画像を示す説明図である。
【図１３】図１１中の白色破線矢印に沿って得られる輝度値をプロットしたグラフである。
【図１４】図１２中の白色破線矢印に沿って得られる差分偏光度をプロットしたグラフである。
【図１５】実験室において、アスファルト面と金属表面に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化の一例を示すグラフである。
【図１６】フロントガラスの影響を説明するための説明図である。
【図１７】区間線としてボッツドッツが用いられている路面を偏光カメラで撮像し、これにより取得した偏光ＲＡＷ画像データからモノクロ画像処理部が生成したモノクロ画像（輝度画像）の一例を示す説明図である。
【図１８】同偏光ＲＡＷ画像データから差分偏光度画像処理部にて生成された差分偏光度画像を示す説明図である。
【図１９】実験室において、アスファルト面とスチールに塗料を塗布した塗装面に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化を示すグラフである。
【図２０】コールタールが付着した路面を偏光カメラで撮像し、これにより取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３が生成したモノクロ画像（輝度画像）の一例を示す説明図である。
【図２１】同偏光ＲＡＷ画像データから差分偏光度画像処理部にて生成された差分偏光度画像を示す説明図である。
【図２２】実施形態における立体物特定処理の流れを示すフローチャートである。
【図２３】偏光カメラにて取得した偏光ＲＡＷ画像データからモノクロ画像処理部にて生成されたモノクロ画像（輝度画像）の一例を示す説明図である。
【図２４】同偏光ＲＡＷ画像データから差分偏光度画像処理部にて生成された差分偏光度画像を示す説明図である。
【図２５】１００フレーム分について図２３中の白枠３箇所の輝度値分布をとったヒストグラムである。
【図２６】１００フレーム分について図２４中の白枠３箇所の差分偏光度分布をとったヒストグラムである。
【発明を実施するための形態】
【００１１】
以下、本発明を、移動体制御装置及び情報提供装置としての運転者支援システムに適用した一実施形態について説明する。
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ１０により、移動体である車両が走行する路面（移動面）を含む自車周囲の風景を撮影し、画素ごとの垂直偏光強度（以下、単に「Ｓ偏光強度」という。）及び水平偏光強度（以下、単に「Ｐ偏光強度」という。）を含んだ偏光ＲＡＷ画像データを取得する。偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データは水平偏光画像メモリ１１に、偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データは垂直偏光画像メモリ１２にそれぞれ格納される。これらの画像データは、それぞれ、輝度算出手段としてのモノクロ画像処理部１３と、輝度差分値算出手段としての差分偏光度画像処理部１５に送信される。
【００１２】
偏光カメラ１０は、受光素子であるＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する周囲画像を撮像するものである。偏光カメラ１０は、リアルタイムに近い短い時間間隔で周囲画像を連続的に取得するのが好ましい。偏光カメラ１０は、例えばルームミラーに取り付けられ、車両前方の風景（路面を含むフロントビュー）を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の風景を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の風景を撮像するものであってもよい。本実施形態では、ルームミラーに取り付けられて車両前方の風景（路面を含むフロントビュー）を撮像する場合を例に挙げて説明する。
【００１３】
図２は、偏光カメラ１０の一構成例を示す説明図である。
この偏光カメラ１０Ａは、図２に示すように、ＣＣＤ等の撮像素子を備えた１台のカメラ１０１の前面に、回転駆動する回転偏光子１０２を配置したものである。この偏光カメラ１０Ａは、回転偏光子１０２の回転角に応じて通過する光の偏光方向が変化する。よって、カメラ１０１は、回転偏光子１０２を回転駆動させながら撮像することで、Ｐ偏光画像とＳ偏光画像とを交互に撮像することができる。
【００１４】
図３は、偏光カメラ１０の他の構成例を示す説明図である。
この偏光カメラ１０Ｂは、図３のように、ＣＣＤ等の撮像素子を備えた２台のカメラ１１１，１１２を用い、それぞれの前面に、Ｓ偏光を透過するＳ偏光フィルタ１１３とＰ偏光を透過するＰ偏光フィルタ１１４とを配置したものである。図２に示した偏光カメラ１０Ａでは、１台のカメラ１０１でＰ偏光画像とＳ偏光画像とを交互に撮像するため、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができなかったが、図３に示した偏光カメラ１０Ｂでは、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができる。
【００１５】
図４は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｃは、図４に示すように、撮像素子がＰ偏光画像とＳ偏光画像とについて個別に設けられている点では、図３に示した偏光カメラ１０Ｂと同様であるが、各撮像素子が図３に示した偏光カメラ１０Ｂの場合よりも近接配置されている点で大きく異なる。この偏光カメラ１０Ｃによれば、図３に示した偏光カメラ１０Ｂよりも小型化できる。図４に示す偏光カメラ１０Ｃは、レンズアレイ１２２と、遮光スペーサ１２３と、偏光フィルタ１２４と、スペーサ１２５と、固体撮像ユニット１２６とが積層されて形成されている。レンズアレイ１２２は、２つの撮像レンズ１２２ａ，１２２ｂを有する。この２つの撮像レンズ１２２ａ，１２２ｂは、互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、それぞれの光軸１２１ａ，１２１ｂが互いに平行となるように、かつ、同一平面上に配置している。遮光スペーサ１２３は、２つの開口部１２３ａ，１２３ｂを有し、レンズアレイ１２２に対して被写体側とは反対側に設けられている。２つの開口部１２３ａ，１２３ｂは、光軸１２１ａ，１２１ｂをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。偏光フィルタ１２４は、偏光面が９０度異なる２つの偏光子領域１２４ａ，１２４ｂを有する領域分割型の偏光子フィルタであり、遮光スペーサ１２３に対してレンズアレイ１２２とは反対側に設けられている。この偏光子領域１２４ａ，１２４ｂは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分（偏光成分）だけを透過させて直線偏光にする。なお、金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式を用いることで、境界部が明瞭な領域分割型の偏光子フィルタを得ることができる。スペーサ１２５は、偏光フィルタ１２４の偏光子領域偏光ａ，偏光ｂに対応する領域が貫通した開口部１２５ａを有する矩形枠状に形成され、偏光フィルタ１２４に対して遮光スペース１２３とは反対側に設けられている。固体撮像ユニット１２６は、基板１２７上に搭載された２つの固体撮像素子１２６ａ，１２６ｂを有し、スペーサ１２５に対して偏光フィルタ１２４とは反対側に設けられている。本実施形態では、モノクロのセンシングを行うため、これらの固体撮像素子１２６ａ，１２６ｂはカラーフィルタを備えていない。ただし、カラー画像のセンシングを行う場合には、カラーフィルタを配置する。
【００１６】
図５は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｄは、図５に示すように、１：１の透過性を備えるハーフミラー１３１と、反射ミラー１３２と、Ｓ偏光フィルタ１３３と、Ｐ偏光フィルタ１３４と、Ｓ偏光フィルタ１３３を介してＳ偏光を受光するＳ偏光用ＣＣＤ１３５と、Ｐ偏光フィルタ１３４を介してＰ偏光を受光するＰ偏光用ＣＣＤ１３６とを有する。図３や図４に示した偏光カメラ１０Ｂ，１０Ｃでは、Ｓ偏光画像とＰ偏光画像の同時撮影は可能であるものの、視差が生じてしまう。これに対し、図５に示した偏光カメラ１０Ｄでは、図示しない同一の撮像光学系（レンズ）を介して受光される同じ光を使ってＳ偏光画像とＰ偏光画像を同時撮影するため、視差が生じない。よって、視差ずれ補正などの処理が不要となる。
なお、ハーフミラー１３１に代えて、Ｐ偏光を反射し、かつ、Ｓ偏光を透過するプリズム等の偏光ビームスプリッタを用いてもよい。このような偏光ビームスプリッタを用いることで、Ｓ偏光フィルタ１３３やＰ偏光フィルタ１３４を省略することが可能となり、光学系の簡素化が図られるとともに、光利用効率も向上できる。
【００１７】
図６は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｅは、図６に示すように、撮像レンズ１４２ａの光軸１４１に沿ってカメラ構成要素が積層されたユニットである点では、図４に示した偏光カメラ１０Ｃと同様であるが、Ｓ偏光画像とＰ偏光画像を単一の撮像レンズ（撮像レンズは光軸に複数枚積層配置してもよい。）１４２で撮像する点で異なっている。この偏光カメラ１０Ｅによれば、図５に示した偏光カメラ１０Ｄと同様に、Ｓ偏光画像とＰ偏光画像との間で視差が生じない。しかも、図５に示した偏光カメラ１０Ｄよりも小型化できる。なお、図６に示した偏光カメラ１０Ｅの偏光フィルタ１４４は、偏光面が９０度異なる２種類の偏光子領域１４４ａ，１４４ｂが２つずつ設けられた領域分割型の偏光子フィルタとなっており、これに伴い、４つの固体撮像素子１４６ａ，１４６ｂ，１４６ｃ，１４６ｄが設けられている。
【００１８】
図７は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｆは、図７に示すように、領域分割型のフィルタを採用したものである。図７において、縦横に並ぶ正方形が各受光素子の受光部１５１を示し、縦線で示す領域がＳ偏光フィルタ１５２の領域を示し、横線で示す領域がＰ偏光フィルタ１５３の領域を示す。この偏光カメラ１０Ｆは、受光素子の画素に１：１で対応させたものではなく、各フィルタ１５２，１５３の領域は、横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは２、つまり横方向に１画素分進む間に縦方向に２画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも、画面全体で各フィルタ透過画像を再現することを可能とし、Ｓ偏光画像及びＰ偏光画像を撮像できる低コストな偏光カメラを実現できる。
【００１９】
モノクロ画像処理部１３は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとのモノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する。このモノクロ輝度データを用いてモノクロ画像が生成できる。モノクロ画像処理部１３が算出したモノクロ輝度データは、ライン検出手段としての白線識別部１４に出力される。
差分偏光度画像処理部１５は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに差分偏光度（識別指標値）を算出する。この差分偏光度を用いて差分偏光度画像が生成できる。差分偏光度は、下記の式（１）に示す計算式から求められる。すなわち、差分偏光度は、Ｐ偏光強度とＳ偏光強度との合計値（輝度合計値）に対するＰ偏光強度とＳ偏光強度との差分値（輝度差分値）の比率である。また、差分偏光度は、輝度合計値に対するＰ偏向強度の比率（Ｐ偏光比）と、輝度合計値に対するＳ偏向強度の比率（Ｓ偏光比）との差分値であると言い換えることもできる。なお、本実施形態では、Ｐ偏光強度からＳ偏光強度を差し引く場合について説明するが、Ｓ偏光強度からＰ偏光強度を差し引くようにしてもよい。差分偏光度画像処理部１５が算出した差分偏光度のデータは、路面構造物識別部１６及び立体物識別処理手段としての立体物識別部１８に出力される。
差分偏光度＝（Ｐ偏光強度−Ｓ偏光強度）／（Ｐ偏光強度＋Ｓ偏光強度） ・・（１）
【００２０】
白線識別部１４は、モノクロ画像処理部１３により算出されたモノクロ輝度データに基づき、以下の方法により走行路面上の白線を識別するものである。なお、ここでいう白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
通常の道路の車線（区画線）は、運転者が視認しやすいように、アスファルト等の黒い部分に対し、コントラストの高い色（白等）で形成されている。したがって、このような車線（ここでは白線とする。）の輝度は、その他の場所に存在するアスファルト等の物体よりも十分に大きい。よって、モノクロ輝度データが所定の閾値以上の部分を白線と判定することができる。なお、本実施形態で用いるモノクロ輝度データは、上述した偏光カメラ１０により得たＰ偏光強度とＳ偏光強度の合計値を用いている。
【００２１】
本実施形態における白線識別処理の流れとしては、まず、上述した偏光カメラ１０により得た各画素のＰ偏光強度とＳ偏光強度の合計値を、モノクロ画像処理部１３にて各画素のモノクロ輝度として算出する。白線識別部１４は、このモノクロ輝度により得られるモノクロ画像に対し、複数の処理ラインを設定する。本実施形態の処理ラインは、差分偏光度画像内の横１列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、差分偏光度画像内の全画素に対して設定される必要はなく、差分偏光度画像内の適切に選択された一部の画素について設定するようにしてもよい。また、後述するように、処理ラインではなく、処理ブロック（縦横それぞれ２画素以上からなるブロック）単位で行ってもよい。白線識別部１４は、各処理ラインについて、隣接する２つの画素間におけるモノクロ輝度の差を算出し、その算出結果が所定の白線エッジ閾値以上であるか否かを判断する。この判断で白線エッジ閾値以上であると判断された場合、その判断に係る２つの隣接画素間を白線エッジとして記憶する。これを全処理ラインについて行うことで、モノクロ画像内における白線エッジを抽出することができる。
【００２２】
白線識別部１４により白線エッジを識別した結果は、様々な処理に利用することが可能である。
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の白線部分の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で白線を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と白線との相対位置関係を把握することができ、白線で区画される走行レーンを維持して走行させることが容易になる。
また、例えば、白線識別部１４により認識された白線の位置情報から、自車と白線との相対位置関係を把握する処理を行い、自車が白線で区画される走行レーン上の適正走行位置から外れて走行していないかどうかを判断し、適正走行位置から外れて走行しているときに警報音等を発する処理が挙げられる。あるいは、適正走行位置から外れて走行しているときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００２３】
路面構造物識別部１６は、差分偏光度画像処理部１５により算出された差分偏光度に基づき、後述する方法にて走行路面上に存在する構造物（以下。「路面構造物」という。）を識別するものである。路面構造物識別部１６は、その認識結果を路面構造物特定部１７と白線識別部１４に出力する。路面構造物としては、マンホールの蓋、高速道路や陸橋などの道路に存在する道路連結部などの金属物、走行レーンを区分する区間線を形成するボッツドッツやキャッツアイなどの金属物と反射板等から構成される複合物が挙げられる。また、ここではコールタールのような意図的に作られたものではない路面の一部を覆う異物も含むものとする。路面構造物識別部１６では、外面が路面と略同一面内に位置する平面物体を路面構造物として識別するが、その路面構造物が、マンホールの蓋なのか、道路連結部なのか、ボッツドッツやキャッツアイなのかについては、路面構造物特定部１７で特定する。
【００２４】
なお、路面構造物識別部１６は、上述した白線識別部１４による白線エッジの識別結果に基づいて差分偏光度画像から白線を除去し、白線が除去された差分偏光度画像に対して路面構造物識別処理を行ってもよい。この場合、白線を含むノイズを適切に除去して、路面構造物の識別精度を高めることができる。
【００２５】
ここでいうマンホールの蓋とは、マンホールの開口部に嵌められた金属板を指し、一般には強固かつ重量のある鋳鉄製のものである。
また、ボッツドッツＢは、主として北米で区間線として用いられる例えばセラミック製のものである。ボッツドッツＢは、図８（ｂ）に示すように直径１００ｍｍ程度の円形ドーム状の物体を路面に埋め込んだものであり、これを図８（ａ）に示すように路上の走行レーンに沿って多数配置することで、区間線として用いられる。
また、キャッツアイＣは、区間線として用いられるもので、図９（ｂ）に示すように、略矩形状の本体内部に、入射光を同一の方向に反射する特性を有する反射体Ｄが取り付けられたものである。キャッツアイＣは、図８（ａ）に示すように、路上の走行レーンに沿って多数配置されることで、区間線として用いられる。
なお、ボッツドッツ及びキャッツアイは、いずれも路面から僅かに突出した状態で配設される。
【００２６】
立体物識別部１８は、差分偏光度画像処理部１５により算出された差分偏光度に基づき、後述する方法にて偏光カメラ１０の撮像領域内に存在する立体物を識別するものである。このような立体物としては、走行路面上を走行する他の車両、走行路面の路端近傍に存在するガードレール、電信柱、街灯、標識、路端の段差部等の路外障害物、走行路面上又は路肩に居る人、動物、自転車等の衝突回避物など、走行路面とは異なる方向を向いた外面を有するあらゆる立体物が含まれる。立体物識別部１８は、その認識結果を立体物特定部１９に出力する。立体物識別部１８では、このような立体物を、路面、及び、外面が路面と略同一面内に存在する平面物体と区別して認識するが、その立体物が、他の車両なのか、路外障害物なのか、衝突回避物なのかについては、立体物特定部１９で特定する。
【００２７】
形状情報記憶手段としての形状記憶部２０には、路面構造物特定部１７及び立体物特定部１９で用いる形状情報としての各種形状テンプレートのデータが記憶されている。形状記憶部２０に記憶される形状テンプレートは、路面構造物特定部１７及び立体物特定部１９で特定する対象物（特定物体）を、偏光カメラ１０により撮像したときの形状（撮像画像中における特定物体の形状）を示すものである。例えば、マンホールの蓋（円形）の形状テンプレートは、偏光カメラ１０が路面上のマンホール蓋を斜め上方から撮影するため、楕円形状を示すものとなる。なお、形状テンプレートは、サイズ情報が含まれていてもよい。本実施形態において、路面構造物特定部１７で用いることが可能な形状テンプレートとしては、例えば、マンホールの蓋を特定するための形状テンプレート、ボッツドッツ又はキャッツアイからなる区間線を特定するための形状テンプレート、高速道路や陸橋などの道路に存在する道路連結部を特定するための形状テンプレートが挙げられる。また、立体物特定部１９で用いることが可能な形状テンプレートとしては、例えば、他の車両を特定するための形状テンプレート、電信柱や街灯を特定するための形状テンプレート、路端の段差部を特定するための形状テンプレートが挙げられる。もちろん、ここに例示した以外のものでも、その形状から物体の特定が可能な物体であれば、その物体を特定するためのテンプレートを用意してもよい。
【００２８】
路面構造物特定部１７は、路面構造物識別部１６の識別結果に基づき、路面構造物として識別された画像領域の形状を、形状記憶部２０に記憶されている形状テンプレートと照らし合わせ、その路面構造物が、マンホールの蓋なのか、道路連結部なのか、ボッツドッツ又はキャッツアイからなる区間線なのか、それともこれら以外の路面構造物なのかを、後述する方法にて特定する。
【００２９】
立体物特定部１９は、立体物識別部１８の識別結果に基づき、立体物として識別された画像領域の形状を、形状記憶部２０に記憶されている形状テンプレートと照らし合わせ、その立体物が、他の車両なのか、路外障害物なのか、衝突回避物なのか、それともこれら以外の立体物なのかを、後述する方法にて特定する。
【００３０】
次に、本実施形態に係る運転者支援システムにおいて路面構造物を特定する路面構造物特定処理の流れについて説明する。
図１０は、路面構造物特定処理の流れを示すフローチャートである。
偏光カメラ１０により偏光ＲＡＷ画像データを取得したら、その偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データを水平偏光画像メモリ１１に格納するとともに、その偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データを垂直偏光画像メモリ１２に格納する（Ｓ１）。その後、差分偏光度画像処理部１５は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、上記式（１）に示す計算式より、差分偏光度（識別指標値）を算出する（Ｓ２）。この算出結果から得られる差分偏光度画像のデータは、差分偏光度画像処理部１５内の図示しない画像メモリに格納される。
【００３１】
次に、エッジ判別処理について説明する。
差分偏光度画像を得た差分偏光度画像処理部１５は、その差分偏光度画像に対して複数の処理ラインを設定する。本実施形態の処理ラインは、差分偏光度画像内の横１列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、差分偏光度画像内の全画素に対して設定される必要はなく、差分偏光度画像内の適切に選択された一部の画素について設定するようにしてもよい。
【００３２】
また、処理ラインではなく、処理ブロック（縦横それぞれ２画素以上からなるブロック）単位で行ってもよい。この場合、例えば、後述するエッジ判別処理において、差分偏光度画像に対して複数の処理ブロックを設定し、処理ブロックごとに、差分偏光度のばらつき度合い（散らばり度合い）を示す標準偏差を算出し、算出した標準偏差が基準偏差閾値以上である場合にその処理ブロック内にエッジが存在すると判定することができる。なお、処理ブロックは、矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。処理ブロックの大きさは、例えば１０×１０画素程度であってよい。なお、各処理ブロックは、同じサイズであっても、異なるサイズであってもよい。また、標準偏差に代えて、分散や平均偏差等の統計量が用いられてもよい。
【００３３】
差分偏光度画像処理部１５は、各処理ラインについて、隣接する２つの画素間における差分偏光度の差を算出し、その算出結果が所定のエッジ閾値以上であるか否かを判断する（Ｓ３）。この判断でエッジ閾値以上であると判断された場合、その判断に係る２つの隣接画素間をエッジとして記憶する（Ｓ４）。これを全処理ラインについて行うことで（Ｓ５）、差分偏光度画像内における互いに異なる物体の境界線を特定することができる。
【００３４】
ここで、従来のエッジ判別処理では、各処理ラインについて、隣接する各画素のモノクロ輝度の差を算出し、その算出結果が所定のエッジ閾値以上であるか否かを判断する場合が多い。しかしながら、この従来のエッジ判別処理では、例えばマンホールの蓋とアスファルトのようにカメラで受光される反射光の強度（モノクロ輝度）が同程度の異種物体間については、そのエッジを判別することができなかった。これに対し、本実施形態におけるエッジ判別処理では、モノクロ輝度ではなく差分偏光度を用いてエッジ判別を行うため、反射光の強度が同程度の異種物体間のエッジを高精度に判別することができる。以下、この点について説明する。
【００３５】
図１１は、偏光カメラ１０にて取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３にて生成されたモノクロ画像（輝度画像）の一例を示す説明図である。
図１２は、同偏光ＲＡＷ画像データから差分偏光度画像処理部１５にて生成された差分偏光度画像を示す説明図である。
図１３は、図１１中の白色破線矢印に沿って得られる輝度値をプロットしたグラフである。
図１４は、図１２中の白色破線矢印に沿って得られる差分偏光度をプロットしたグラフである。
【００３６】
図１３に示すグラフからわかるように、輝度値については、アスファルトの領域もマンホール蓋の領域もほぼ同じ値（−０．４以上−０．５以下の範囲）を示し、これらの領域間において輝度値に変化が見られない。これに対し、図１４に示すグラフからわかるように、差分偏光度については、アスファルトの領域では約ゼロであるのに対し、マンホール蓋の領域では約−０．３であり、これらの領域間で差分偏光度に大きな変化が見られる。したがって、０〜−０．３の間の適切な閾値（例えば−０．２）を設定することで、差分偏光度の違いにより、モノクロ輝度では判別が困難であったアスファルトの領域とマンホール蓋の領域とのエッジを高い精度で判別することができる。
なお、本実施形態における物体識別において、差分偏光度ではなく、相対的差分偏光度を用いている理由については後述する。
【００３７】
次に、路面構造物識別部１６が行う路面構造物識別処理について説明する。
路面構造物識別処理を説明するにあたり、まず、差分偏光度から路面構造物を識別可能である理由について説明する。
物体で反射した反射光には、いわゆる「てかり」である鏡面反射成分、物体表面の微細な凹凸構造であるマットな反射成分である拡散反射成分、物体内部で散乱して出てきた内部散乱成分が含まれている。反射光の強度は、これら３つの成分の和として表現される。なお、鏡面反射成分は、拡散反射成分の一部という考え方もできる。拡散反射成分と内部散乱成分は、物体を照射する光源がいずれの方向に存在しても観測されるが（すなわち、入射角の依存性が低い。）、鏡面反射成分は、反射光の受光部に対してほぼ正反射方向に光源が存在する場合にのみ観測される入射角依存性の強い成分である。これは、偏光特性に関しても成り立つ。拡散反射成分と内部散乱成分は、上述したように、物体を照射する光源がいずれの方向に存在しても観測されるのであるが、その偏光特性は互いに異なっている。具体的には、拡散反射成分は、物体表面を微小領域に分け、それぞれの領域ではフレネルの反射特性を満足するものと想定できるため、無偏光の光が入射した場合にはＳ偏光成分がＰ偏光成分に比べて大きいという偏光特性がある。これに対し、内部散乱成分は、物体内部で散乱されて出てきた成分であるため、無偏光の光が入射した場合は、物体へ入射した光の偏光成分に影響されにくく、物体内部から外部に出てくる際にＰ偏光成分が強くなるという偏光特性がある。
【００３８】
そして、本実施形態のように、自車からのフロントビューを撮影する際にその撮影領域内に存在し得る物体（アスファルトやマンホールの蓋等）は、そのほとんどが表面に少なからず凹凸がある物体であるため、鏡面反射成分は少ないものと考えることができる。その結果、本実施形態では、偏光カメラ１０の撮像領域内に存在する物体からの反射光は、拡散反射成分及び内部散乱成分が支配的であると考えることができる。この結果、反射光中のＳ偏光成分及びＰ偏光成分の強さを比較することにより、Ｓ偏光成分が強ければ反射光には拡散反射成分が多く含まれていることが把握でき、Ｐ偏光成分が強ければ反射光には内部散乱成分が多く含まれていることが把握できる。
【００３９】
図１５は、実験室において、アスファルト面と金属表面（平滑な面）に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化の一例を示すグラフである。
このグラフは、横軸に入射角度（光源位置）をとり、縦軸に差分偏光度をとったものである。カメラ仰角は水平から１０度傾けた状態である。この差分偏光度は、各入射角度の撮影画像についての略中央部の輝度情報から算出したものである。このブラフにおける差分偏光度は、Ｐ偏光成分（Ｒｐ）とＳ偏光成分（Ｒｓ）の合計値に対する、Ｐ偏光成分からＳ偏光成分を差し引いた値の比率である。よって、Ｓ偏光成分よりもＰ偏光成分の方が強い場合には、差分偏光度は正の値をとり、Ｐ偏光成分よりもＳ偏光成分の方が強い場合には、差分偏光度は負の値をとることになる。
【００４０】
図１５に示すグラフからわかるように、アスファルト面については、入射角のほぼ全域にわたって、差分偏光度が負の値をとっている。すなわち、Ｐ偏光成分よりもＳ偏光成分の方が強いことを示している。これは、アスファルト面からの反射光は拡散反射成分が支配的であるためである。一方、金属面については、入射角が３０°を超えた領域全体にわたって、差分偏光度が正の値をとっている。すなわち、Ｓ偏光成分よりもＰ偏光成分の方が強いことを示している。これは、金属面からの反射光は内部散乱成分が支配的であるためである。
【００４１】
以上のように、反射光に含まれるＳ偏光成分とＰ偏光成分の差をとることで、その物体の反射特性について、拡散反射成分が強いのか、それとも内部散乱成分が強いのかを把握することができる。よって、拡散反射成分が強いアスファルトと内部散乱成分が強い路面構造物のように、互いに反射特性が異なる物体を、反射光に含まれるＳ偏光成分とＰ偏光成分の差に基づいて識別することができる。
また、一般に、材質が異なると屈折率も異なるため、この影響もＳ偏光成分とＰ偏光成分の差に現れる。よって、材質が異なる物体を、反射光に含まれるＳ偏光成分とＰ偏光成分の差に基づいて識別することができる。
【００４２】
なお、図１５に示したグラフの結果は、アスファルト面と金属表面との表面状態の違い（アスファルトは多数の凹凸が分布した表面であるのに対し、金属表面は平滑な表面である。）の影響も受けていると考えられる。したがって、識別対象の表面状態の違いによって検出されるＳ偏光成分及びＰ偏光成分の値は変わってくる。このことは、実際に使用される環境下での実験結果を示す図１４のグラフにおけるアスファルト領域や路上構造物であるマンホール蓋の差分偏光度が、図１５に示した実験室実験での結果と相違していることからも理解できる。しかしながら、材質が異なる物体間においては、その表面状態が互いに同じであっても、その材質の違いに起因して物体の反射特性（拡散反射成分と内部散乱成分の強弱、屈折率等）に違いが存在し、その違いは反射光に含まれるＳ偏光成分とＰ偏光成分との差に基づいて把握することが可能である。したがって、実環境を考慮して設定された閾値を用いることで、材質が異なる物体間の識別が可能である。
【００４３】
本実施形態の路面構造物識別処理では、上述したエッジ判別処理により判別されたエッジによって区分される各領域の差分偏光度を識別指標値として用いることで、当該領域が路面構造物であるか否かを判定する。路面構造物識別処理は、上述したとおり、Ｓ偏光強度とＰ偏光強度の差分値を識別指標値として用いても、当該領域が路面構造物であるか否かを判定することは可能である。しかしながら、明るさが足りない場合、識別指標値として算出されるＳ偏光強度とＰ偏光強度の差分値が小さい値をとる結果、路面構造物であるか否かの判定が困難になる。これに対し、本実施形態のように、この差分値をＳ偏光強度とＰ偏光強度の合計値（モノクロ輝度）で割った値である差分偏光度を用いれば、明るさが足りない場合でも、識別指標値としての差分偏光度は比較的大きな値をとることができ、路面構造物であるか否かの判定が可能となる。
【００４４】
本実施形態の路面構造物識別処理の流れについて説明すると、まず、上述したエッジ判別処理によって判別されたエッジにより区分される各領域について、その領域の差分偏光度と基準差分偏光度との差分を算出する（Ｓ６）。そして、この差分値が予め決められている路面構造物用の閾値以下であるか否かを判断する（Ｓ７）。この判断において、差分値が路面構造物用閾値以下であると判断した場合には、当該領域を路面構造物であると識別して記憶する（Ｓ８）。これを全領域について行うことで（Ｓ９）、撮像画像内における路面構造物を表示した領域を把握することができる。
【００４５】
本実施形態においては、当該領域の物体識別に用いる識別指標値として、その領域の差分偏光度（絶対量）を用いるのではなく、その領域の差分偏光度を基準差分偏光度から差し引いた相対的差分偏光度（相対量）を用いている。これは、撮影環境の違い等の影響で、識別対象領域の差分偏光度の算出値にズレが生じても、同じ影響でズレが生じている基準差分偏光度との相対量を用いることで、その影響を軽減することができるからである。なお、本実施形態では、基準差分偏光度として、路面上の大部分を占めるアスファルトの領域における差分偏光度を用いている。また、本実施形態において、路面構造物についての差分偏光度は、実環境下であれば、アスファルトについての差分偏光度よりも、少なくとも０．２以上大きい値をとることが実験的に判明している。よって、路面構造物についての相対的差分偏光度は、最低でも−０．２以下のマイナス値をとる。したがって、本実施形態では、路面構造物用閾値として−０．２を採用し、この閾値以下の範囲に属する相対的差分偏光度をもつ領域を路面構造物であると識別する。
【００４６】
ここで、撮像画像の上方部分と下方部分とでは、物体からの反射光の強度に差がある。これは、撮像画像の上方部分は遠くに位置する物体を撮影した部分であるため、近くに位置する物体を撮影した下方部分よりも、反射光の強度は小さいものとなる。したがって、この違いを考慮し、撮像画像の上方部分と下方部分とで、用いる路面構造物用閾値を異ならせるようにしてもよい。
また、近くに位置する物体を撮影した撮像画像の下方部分の方が、上方部分よりも物体識別精度が高いので、処理ラインの処理順序は、画像下方から上方に向かう順序とするのがよい。
【００４７】
次に、路面構造物特定部１７が行う路面構造物の種類特定処理について説明する。
路面構造物特定部１７は、まず、上述した路面構造物識別処理により路面構造物であると識別された領域の形状を認識し（Ｓ１０）、当該領域の形状に近似する形状テンプレートが存在するかどうかを判断する（Ｓ１１）。この判断において、近似する形状テンプレートが存在すると判断した場合には、当該領域の路面構造物を、その形状テンプレートに関連づけられた種類に特定し、記憶する（Ｓ１２）。例えば、楕円形状の形状テンプレートに近似する場合にはマンホールの蓋であると特定し、画像横方向に横断する棒状の形状テンプレートに近似する場合には道路連結部であると特定し、複数の路面構造物が自車の進行方向に沿って直線状に並んだ形状の形状テンプレートに記事する場合にはボッツドッツ又はキャッツアイからなる区間線であると特定する。これを全路面構造物について行ったら（Ｓ１３）、処理を終了する。
【００４８】
具体的には、路面構造物の領域のエッジ情報と、形状記憶部２０に記憶されている形状テンプレートの情報とを用いて、近似曲線を取得し、最小二乗法やハフ変換やモデル方程式などの手法を用いて、形状近似認識を行う。なお、近似曲線を取得する際、信頼性の高い撮像画像の下方部分に位置するエッジ情報ほど形状近似の投票値に大きな重みを持たせるようにすることが望ましい。このようにすれば、信頼性の低い撮像画像の上方部分で誤認識されたエッジ情報が存在しても、信頼性の高い撮像画像の下方部分で正常に認識されたエッジ情報が存在すれば、路面構造物の種類を適切に特定することができる。
また、例えばマンホールの蓋を特定する際には、そのマンホールの蓋よりも大きい物体に係る特徴点をモルフォロジー演算などにより事前に除去するようにしてもよい。これにより、マンホール蓋の特定精度を向上させることができる。
【００４９】
路面構造物の種類の特定精度を高めるために、次のような処理を付加してもよい。
本実施形態では、以上のような路面構造物特定処理（Ｓ１〜Ｓ１３）を、偏光カメラ１０にて所定の時間間隔で連続的に撮影して得られる偏光画像データについて行う。上述した路面構造物の種類特定処理（Ｓ１０〜Ｓ１３）により路面構造物の種類が特定された領域については、その処理結果が所定のメモリに記憶される。このメモリに記憶される過去の処理結果（例えば、直前に撮像された偏光画像データについての処理結果）を利用し、今回の処理により特定された路面構造物の種類が、その領域に対応する過去の処理結果と同じであれば、今回の処理結果が信頼度の高いものであると判断する。そして、この信頼度を最終的な路面構造物の種類の特定に利用する。今回の処理結果に係る領域に対応する過去の処理結果は、例えば、エッジ情報を利用し、今回の処理結果に係る領域の位置と自車の進行方向とから、対応する過去の処理結果に係る領域の位置を検索して、対応する過去の処理結果を特定する。
なお、ここでは、路面構造物の種類特定処理（Ｓ１０〜Ｓ１３）について説明したが、路面構造物識別処理（Ｓ６〜Ｓ９）についても同様に、その識別精度を高めるために、過去の処理結果を利用してもよい。
【００５０】
また、上述したエッジ判別処理の判断（Ｓ３）で用いるエッジ閾値や、路面構造物の識別処理の判断（Ｓ７）で用いる路面構造物用閾値は、撮影環境の違いに応じて適宜切り替えるようにしてもよい。具体例としては、昼間と夜間などの時間帯の違い 雨天と晴天などの天候の違いに応じて切り替えることが挙げられる。この切り替えは、時間情報やレインセンサや日照センサなどの情報を用いることが実現可能である。
【００５１】
また、本実施形態の偏光カメラ１０をルームミラー等の車内に取り付ける場合、偏光カメラ１０で撮像される画像は、フロントガラスの影響を受けるため、フロントガラスの偏光特性も考慮することが望ましい。フロントガラスは、通常、図１６に示すように、そのガラス面が偏光カメラ１０の光軸に対して所定の角度をもって配置される。一般に、ガラス平板が光路に対して斜めに配置された場合、その透過光の偏光状態は変化する。いわゆるフレネルの透過反射の計算が成立し、Ｐ偏光成分よりもＳ偏光成分の方がガラス面で反射される量が多く、その透過光の減衰率はＰ偏光成分よりもＳ偏光成分の方が大きい。具体的には、例えば、図１６に示した例では、Ｐ偏光成分はガラス面でのフレネル反射によって約８％減衰するのに対して、Ｓ偏光成分は約半分にまで減衰する。なお、この例では、フロントガラスでの屈折率が１．５とした。
【００５２】
このように、偏光カメラ１０に取り込まれる光の偏光情報には、フロントガラスの影響が含まれているので、これを考慮することが望まれる。例えば、差分偏光度の算出時（Ｓ２）に、Ｐ偏光強度及びＳ偏光強度のそれぞれについて、フロントガラスでの減衰成分をキャンセルする演算を行う。上記の例では、Ｓ偏光成分を約２倍し、Ｐ偏光成分を約１／０．９倍する。別の方法としては、例えば、フロントガラスと偏光カメラ１０との間に、Ｐ偏光強度及びＳ偏光強度それぞれの減衰成分をキャンセルする光学素子を配置する。この場合の光学素子としては、上記の例では、Ｓ偏光成分を不感帯透過し、Ｐ偏光成分を０．５／０．９倍にする光学素子を利用することが可能である。
【００５３】
今後は、軽量化・低コスト化などを狙い、プラスチック製のフロントガラスの利用が想定される。プラスチックはガラスに比べ、内部歪による複屈折を有することが知られている。この場合は、複屈折の影響も考慮する必要が生じてくる。具体的には、例えば、偏光カメラ１０で取り込む光の偏光成分に対し、複屈折によるＰ偏光成分とＳ偏光成分を考慮して差分偏光度の演算を行う。
【００５４】
路面構造物特定部１７により路面構造物の種類の特定結果は、様々な処理に利用することが可能である。
例えば、路面構造物特定部１７の処理結果を、白線識別部１４での白線エッジの識別処理に用いることが挙げられる。具体的には、路面構造物特定部１７の処理により路面構造物の種類が特定された領域は白線の領域ではないので、この領域を白線識別部１４による白線エッジの識別処理の対象から除外する。これにより、マンホール蓋等の路面構造物を白線と誤認識する可能性を少なくでき、白線の認識精度を向上させることができる。なお、ここでは、白線識別部１４による白線エッジの識別処理について説明したが、白線以外の物体を撮像画像から識別する処理を行う場合には、一般に、路面構造物特定部１７の処理により路面構造物の種類が特定された領域をその識別処理の対象から除外することで、その識別処理の識別精度を向上させることができる。具体例を挙げると、レーダの測距結果とカメラの撮影画像とに基づくセンサフュージョンにより先行車等の障害物を識別するシステムにおいては、マンホールの蓋等の各種路面構造物を障害物として誤認識することを避けることができる。その結果、各種路面構造物障害物として誤認識したことにより速度を急激に低下させてしまうような状態の発生を防止することができる。
【００５５】
また、例えば、カーナビゲーションシステムに利用することも挙げられる。具体例としては、路面構造物特定部１７の処理結果から特定されるマンホール蓋の位置から、自車とマンホール蓋との間の距離や角度等の自車位置情報を生成し、この自車位置情報を用いて、カーナビゲーションシステムにより算出される自車位置の範囲内において、自車の更なる詳細な位置を特定する。これにより、カーナビゲーションシステムにおける自車位置の特定精度を高めることができる。
【００５６】
図１７は、区間線としてボッツドッツが用いられている路面を偏光カメラ１０で撮像し、これにより取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３が生成したモノクロ画像（輝度画像）の一例を示す説明図である。
図１８は、同偏光ＲＡＷ画像データから差分偏光度画像処理部１５にて生成された差分偏光度画像を示す説明図である。
図１７と図１８を比較してわかるように、アスファルトとボッツドッツとのコントラストは、図１７に示すモノクロ画像（輝度画像）よりも、図１８に示す差分偏光度画像の方が高い。したがって、差分偏光度画像を用いれば、モノクロ輝度では判別が困難であったアスファルトの領域とボッツドッツの領域とのエッジを高い精度で判別することができる。
【００５７】
なお、本実施形態では、識別可能な材質として主に金属を例に挙げて説明したが、他の材質であっても識別可能である。
図１９は、実験室において、アスファルト面とスチールに塗料を塗布した塗装面に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化を示すグラフである。このグラフは、アスファルト面と金属面とを比較した図１５に示したグラフと同様の条件である。このグラフからわかるように、アスファルト面と塗装面とでは、差分偏光度に違いがある。そして、塗装面の差分偏光度は、図１５に示した金属面の差分偏光度とも異なっている。したがって、塗装面と金属面との間も、差分偏光度の違い（偏光特性の違い）により区別して認識することが可能である。
【００５８】
同様に、このような塗装面に限らず、工事中或いは路面の劣化などにより路面上に付着したコールタールのような路面構造物についても、差分偏光度画像を用いると、モノクロ輝度画像に比べてコントラスト高く検出することが可能である。
図２０は、コールタールが付着した路面を偏光カメラ１０で撮像し、これにより取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３が生成したモノクロ画像（輝度画像）の一例を示す説明図である。
図２１は、同偏光ＲＡＷ画像データから差分偏光度画像処理部１５にて生成された差分偏光度画像を示す説明図である。
図２０と図２１を比較してわかるように、アスファルトとコールタールとのコントラストは、図２０に示すモノクロ画像（輝度画像）よりも、図２１に示す差分偏光度画像の方が高い。したがって、差分偏光度画像を用いれば、モノクロ輝度では判別が困難であったアスファルトの領域とコールタールの領域とのエッジを高い精度で判別することができる。
【００５９】
次に、本実施形態に係る運転者支援システムにおいて立体物を特定する立体物特定処理の流れについて説明する。
図２２は、立体物特定処理の流れを示すフローチャートである。
なお、エッジ判別処理までの処理は、上述した路面構造物特定処理と同様であるため、説明を省略する。ただし、エッジ判別処理で用いるエッジ閾値は、上述した路面構造物特定処理とは異なる値を用いる。エッジ判別処理で用いるエッジ閾値の設定方法について、以下説明する。
【００６０】
図２３は、偏光カメラ１０にて取得した偏光ＲＡＷ画像データからモノクロ画像処理部１３にて生成されたモノクロ画像（輝度画像）の一例を示す説明図である。
図２４は、同偏光ＲＡＷ画像データから差分偏光度画像処理部１５にて生成された差分偏光度画像を示す説明図である。
図２５は、１００フレーム分について図２３中の白枠３箇所の輝度値分布をとったヒストグラムである。
図２６は、１００フレーム分について図２４中の白枠３箇所の差分偏光度分布をとったヒストグラムである。
図２５に示すヒストグラムからわかるように、輝度値については、アスファルト領域の輝度分布と、他車の車両側面領域の輝度分布と、他車の車両後面領域の輝度分布とが、互いに重なり合っている。これに対し、図２６に示すヒストグラムからわかるように、差分偏光度については、アスファルト領域の輝度分布と、他車の車両側面領域の輝度分布と、他車の車両後面領域の輝度分布とが、互いに重ならず、区分可能となっている。したがって、これらの領域を区分できる適切な閾値を設定することで、差分偏光度の違いにより、モノクロ輝度では判別が困難であった、アスファルト領域、他車の車両側面領域、他車の車両後面領域のエッジを、高い精度で判別することができる。
【００６１】
次に、立体物識別部１８が行う立体物識別処理について説明する。
立体物識別処理を説明するにあたり、まず、差分偏光度から立体物を識別可能である理由について説明する。
物体で反射した反射光は、路面と、立体物の側面（その路面とは異なる方向を向いた外面）とでは、偏光カメラ１０に取り込まれる光の入射角が異なるため、Ｐ偏光強度とＳ偏光強度それぞれに違いが生じる。特に、立体物の側面が路面に対して略直立した面であると、立体物の側面からの反射光に含まれるＰ偏光成分とＳ偏光成分との間の相対関係は、路面からの反射光に含まれるＰ偏光成分とＳ偏光成分との間の相対関係を入れ替えたものに相当する。そして、一般に、反射光に含まれるＰ偏光成分とＳ偏光成分との相対関係は、入射面に対して平行な偏光成分であるＰ偏光成分よりも、入射面に対して垂直な偏光成分であるＳ偏光成分の方が大きいという関係がある。したがって、路面あるいは路面に平行な面からの反射光を偏光カメラ１０で受光した場合にはＰ偏光強度よりもＳ偏光成分の方が強く、路面に対して略直立した立体物側面からの反射光を偏光カメラ１０で受光した場合にはＳ偏光強度よりもＰ偏光成分の方が強い。このような路面と立体物との間の偏光特性の違いにより、偏光カメラ１０で受光した反射光中のＳ偏光成分及びＰ偏光成分の強さを比較することで、Ｓ偏光成分が強ければ路面に平行な面からの反射光であることが把握でき、Ｐ偏光成分が強ければ路面に垂直な面からの反射光であることが把握できる。その結果、偏光カメラ１０で受光した反射光中に含まれるＳ偏光成分とＰ偏光成分の差分値をとることで、その差分値の正負により、路面に平行な面を有する物体なのか、路面とは異なる方向を向いた外面を有する物体すなわち立体物なのかを把握することができる。
【００６２】
本実施形態の立体物識別処理では、上述したエッジ判別処理により判別されたエッジによって区分される各領域の差分偏光度を識別指標値として用いることで、当該領域が立体物であるか否かを判定する。立体物識別処理は、上述したとおり、Ｓ偏光強度とＰ偏光強度の差分値を識別指標値として用いても、当該領域が立体物であるか否かを判定することは可能である。しかしながら、明るさが足りない場合、識別指標値として算出されるＳ偏光強度とＰ偏光強度の差分値が小さい値をとる結果、立体物であるか否かの判定が困難になる。これに対し、本実施形態のように、この差分値をＳ偏光強度とＰ偏光強度の合計値（モノクロ輝度）で割った値である差分偏光度を用いれば、明るさが足りない場合でも、識別指標値としての差分偏光度は比較的大きな値をとることができ、立体物であるか否かの判定が可能となる。
【００６３】
本実施形態の立体物識別処理の流れについて説明すると、上述したエッジ判別処理によって判別されたエッジにより区分される各領域について、その領域の差分偏光度が予め決められている立体物用の閾値以下であるか否かを判断する（Ｓ２１）。本実施形態において、立体物についての差分偏光度は、図２６に示したヒストグラムからわかるように、正の値をとる。よって、本実施形態では、立体物用閾値としてゼロ近傍の正の値（例えば＋０．０５）を採用し、この閾値以上の範囲に属する差分偏光度をもつ領域を立体物であると識別する。なお、上述した路面構造物識別処理のように、相対的差分偏光度を用いても同様の処理が可能である。この判断において、差分偏光度が立体物用閾値以下であると判断した場合には、当該領域を立体物であると識別して記憶する（Ｓ２２）。これを全領域について行うことで（Ｓ２３）、撮像画像内における立体物を表示した領域を把握することができる。
【００６４】
また、撮像画像の上方部分と下方部分とでは、物体からの反射光の強度に差があるので、この違いを考慮し、撮像画像の上方部分と下方部分とで、用いる立体物用閾値を異ならせるようにしてもよい。
また、近くに位置する物体を撮影した撮像画像の下方部分の方が、上方部分よりも物体識別精度が高いので、処理ラインの処理順序は、画像下方から上方に向かう順序とするのがよい。
【００６５】
次に、立体物特定部１９が行う立体物の種類特定処理について説明する。
立体物特定部１９は、まず、上述した立体物識別処理により立体物であると識別された領域の形状を認識し（Ｓ２４）、当該領域の形状に近似する形状テンプレートが存在するかどうかを判断する（Ｓ２５）。この判断において、近似する形状テンプレートが存在すると判断した場合には、当該領域の立体物を、その形状テンプレートに関連づけられた種類に特定し、記憶する（Ｓ２６）。例えば、車形状の形状テンプレートに近似する場合には他の車両であると特定する。これを全立体物について行ったら（Ｓ２７）、処理を終了する。なお、立体物特定部１９における形状近似認識の方法は、上述した路面構造物特定部１７の処理方法と同様なので、説明を省略する。
【００６６】
立体物の種類特定処理や立体物識別処理の精度を高めるために、上述した路面構造物の種類特定の場合と同様、過去の処理結果を利用してもよい。
また、上述したエッジ判別処理の判断（Ｓ３）で用いるエッジ閾値や、立体物の識別処理の判断（Ｓ２１）で用いる立体物用閾値は、撮影環境の違いに応じて適宜切り替えるようにしてもよい。具体例としては、昼間と夜間などの時間帯の違い 雨天と晴天などの天候の違いに応じて切り替えることが挙げられる。この切り替えは、時間情報やレインセンサや日照センサなどの情報を用いることが実現可能である。
また、本実施形態の偏光カメラ１０をルームミラー等の車内に取り付ける場合、フロントガラスの偏光特性も考慮することが望ましい点も、上述した路面構造物特定処理の場合と同様である。
【００６７】
立体物特定部１９により立体物の種類の特定結果は、様々な処理に利用することが可能である。
例えば、立体物特定部１９による処理結果から、避けるべき障害物である認識された立体物の接近を、運転者に警告したり、自車の自動ブレーキシステムを制御することにより衝突回避あるいは衝突時の衝撃緩和等を行ったりする。
また、例えば、立体物特定部１９の処理結果を、白線識別部１４での白線エッジの識別処理に用いることが挙げられる。具体的には、立体物特定部１９の処理により立体物の種類が特定された領域は白線の領域ではないので、この領域を白線識別部１４による白線エッジの識別処理の対象から除外する。これにより、他の車両等の立体物を白線と誤認識する可能性を少なくでき、白線の認識精度を向上させることができる。なお、ここでは、白線識別部１４による白線エッジの識別処理について説明したが、白線以外の物体を撮像画像から識別する処理を行う場合には、一般に、立体物特定部１９の処理により立体物の種類が特定された領域をその識別処理の対象から除外することで、その識別処理の識別精度を向上させることができる。
【００６８】
また、例えば、カーナビゲーションシステムに利用することも挙げられる。具体例としては、立体物特定部１９の処理結果から特定される電信柱、街灯、標識等の路外障害物の位置から、自車と路外障害物との間の距離や角度等の自車位置情報を生成し、この自車位置情報を用いて、カーナビゲーションシステムにより算出される自車位置の範囲内において、自車の更なる詳細な位置を特定する。これにより、カーナビゲーションシステムにおける自車位置の特定精度を高めることができる。
【００６９】
また、例えば、立体物特定部１９の処理結果から、自車に対する各種立体物の位置や方向を把握できるので、これを利用して走行支援ＥＣＵ（Electronic Control Unit）などへ利用することも挙げられる。
特に、衝突を回避すべき立体物については、例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の立体物の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で当該立体物を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、その立体物の存在を確認することができ、衝突回避することが容易となる。
【００７０】
以上、本実施形態に係る立体物識別装置は、撮像領域内に存在し、所定平面（路面）とは異なる方向を向いた外面を有する立体物を識別するものであって、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光（Ｐ偏光とＳ偏光）を受光して、それぞれの偏光画像（Ｐ偏光画像とＳ偏光画像）を撮像する撮像手段としての偏光カメラ１０と、この偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像をそれぞれ所定の処理領域（一画素単位）に分割し、画素ごとにＰ偏光画像とＳ偏光画像との間における輝度差分値を算出する輝度差分値算出手段としての差分偏光度画像処理部１５と、この差分偏光度画像処理部１５が算出した輝度差分値から得られる識別指標値である差分偏光度を用いて、撮像領域内における各画素に対応した場所に存在する物体が立体物であるか否かの立体物識別処理を行う立体物識別処理手段としての立体物識別部１８とを有する。これにより、モノクロ輝度の差を用いる場合には識別できなかった路面と立体物との間を区別して認識することができる。
また、本実施形態において、立体物識別部１８は、路面と同一平面内に存在する平面物体（アスファルト）と立体物とについてそれぞれ定められる複数の数値範囲のいずれに差分偏光度が属するかを判断する判断処理を行い、当該処理領域に対応した場所に存在する物体を、該判断処理により属すると判断された数値範囲に対応する物体であると識別する処理を行うことにより、上記立体物識別処理を実施する。このような処理であれば、閾値との比較という簡単な処理により立体物識別処理を実現できる。
また、本実施形態において、偏光カメラ１０は、移動面である路面上を移動する移動体としての車両（自車）に搭載され、路面に対して斜め上方から当該路面を含む撮像領域を撮像するものであり、同一の物体に対して定められる数値範囲を、Ｐ偏光画像及びＳ偏光画像をそれぞれ上下方向に区分する少なくとも２つ以上の区域ごとにそれぞれ設定し、当該区域に属する処理領域の差分偏光度がその区域に対して設定された数値範囲のいずれに属するかを判断して、立体物識別処理を行う。これにより、Ｐ偏光画像及びＳ偏光画像の上下方向における偏光カメラ１０の受光量の違いを考慮した適切な識別が可能となる。
また、本実施形態において、立体物識別部１６は、差分偏光度を用いて立体物識別処理を行っているが、予め存在することが想定されている基準平面物体としてのアスファルトの存在場所に対応する基準処理領域について差分偏光度画像処理部１５が算出する差分偏光度を基準指標値とし、この基準処理領域とは異なる処理領域について差分偏光度画像処理部１５が算出した差分偏光度の当該基準指標値に対する相対値（相対的差分偏光度）を算出し、この相対的差分偏光度に基づいて当該処理領域に対応した場所に存在する物体が立体物であるか否かを識別する処理を行ってもよい。これにより、撮影環境の違い等の影響で識別対象領域の差分偏光度の算出値にズレが生じても、同じ影響でズレが生じている基準差分偏光度との相対量を用いることで、その影響を軽減することができる。
また、本実施形態では、識別指標値として、輝度合計値（Ｐ偏光強度＋Ｓ偏光強度）に対する輝度差分値（Ｐ偏光強度−Ｓ偏光強度）の比率を示す差分偏光度を用いているので、明るさが足りない場合でも、精度の高い認識が可能となる。
また、本実施形態では、立体物識別部１８が過去に行った識別処理の結果を記憶する識別処理結果記憶手段としてのメモリに保存しておき、立体物識別部１８は、差分偏光度とともに、メモリに保存しておいた過去の識別処理の結果も用いて、識別処理を行う。これにより、過去の識別結果と同じ結果が得られたか否かについて識別結果の信頼度を判断することが可能となる。
また、本実施形態では、所定の特定立体物を偏光カメラ１０により撮像したときの形状を示す形状情報である形状テンプレートを記憶する形状情報記憶手段としての形状記憶部２０を有し、物体識別処理手段としての立体物特定部１９は、立体物識別部１８の識別処理により同じ立体物であると識別された互いに近接する複数画素により示される形状が形状記憶部２０に記憶されている形状テンプレートの形状に近似しているかどうかを判断し、近似していると判断したときには、当該複数画素に対応した場所に存在する立体物を当該形状テンプレートに対応する特定立体物であると特定する立体物特定処理を行う。これにより、立体物の形状情報から、その立体物の種類を特定することができる。
また、本実施形態における立体物識別装置は、上述したように、当該立体物識別装置による識別結果を利用して移動体である車両（自車）の移動制御を行う移動制御手段しての走行支援ＥＣＵを備えた移動体制御装置としての自動ブレーキシステムに適用できる。
また、本実施形態における立体物識別装置は、上述したように、当該立体物識別装置による識別結果を利用して移動体である車両（自車）を運転操作する運転者にとって有益な情報を生成し、生成した情報を当該運転者に報知する情報提供装置にも適用できる。
【００７１】
なお、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
また、本実施形態では、指標値として差分偏光度を用いているが、差分値そのものであってもよい。
【符号の説明】
【００７２】
１０ 偏光カメラ
１１ 水平偏光画像メモリ
１２ 垂直偏光画像メモリ
１３ モノクロ画像処理部
１４ 白線識別部
１５ 差分偏光度画像処理部
１６ 路面構造物識別部
１７ 路面構造物特定部
１８ 立体物識別部
１９ 立体物特定部
２０ 形状記憶部
１０１，１１１，１１２ カメラ
１０２ 回転偏光子
１１３，１１４，１２４，１３３，１３４，１４４，１５２，１５３ 偏光フィルタ
【先行技術文献】
【特許文献】
【００７３】
【特許文献１】特開２００９−５９２６０号公報
【特許請求の範囲】
【請求項１】
撮像領域内に存在し、所定平面とは異なる方向を向いた外面を有する立体物を識別する立体物識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した２つの偏光画像を用いて上記撮像領域内における各処理領域に対応した場所に存在する物体が上記立体物であるか否かの立体物識別処理を行う立体物識別処理手段とを有することを特徴とする立体物識別装置。
【請求項２】
撮像領域内に存在し、所定平面とは異なる方向を向いた外面を有する立体物を識別する立体物識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに該２つの偏光画像間における輝度差分値を算出する輝度差分値算出手段と、
該輝度差分値算出手段が算出した輝度差分値から得られる識別指標値を用いて、上記撮像領域内における各処理領域に対応した場所に存在する物体が上記立体物であるか否かの立体物識別処理を行う立体物識別処理手段とを有することを特徴とする立体物識別装置。
【請求項３】
請求項２の立体物識別装置において、
上記立体物識別処理手段は、上記立体物と上記所定平面と同一平面内に存在する平面物体とについてそれぞれ定められる複数の数値範囲のいずれに上記識別指標値が属するかを判断する判断処理を行い、当該処理領域に対応した場所に存在する物体を、該判断処理により属すると判断された数値範囲に対応する物体であると識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とする立体物識別装置。
【請求項４】
請求項３の立体物識別装置において、
上記撮像手段は、移動面上を移動する移動体に搭載され、該移動面に対して斜め上方から該移動面を含む撮像領域を撮像するものであり、
上記判断処理では、同一の物体に対して定められる数値範囲を、上記２つの偏光画像をそれぞれ上下方向に区分する少なくとも２つ以上の区域ごとにそれぞれ設定し、当該区域に属する処理領域の識別指標値が該区域に対して設定された数値範囲のいずれに属するかを判断することを特徴とする立体物識別装置。
【請求項５】
請求項２乃至４のいずれか１項に記載の立体物識別装置において、
上記立体物識別処理手段は、予め存在することが想定されている基準平面物体の存在場所に対応する基準処理領域について上記輝度差分値算出手段が算出した輝度差分値から得られる識別指標値を基準指標値とし、該基準処理領域とは異なる処理領域について該輝度差分値算出手段が算出した輝度差分値から得られる識別指標値の該基準指標値に対する相対値を算出し、該相対値に基づいて該処理領域に対応した場所に存在する物体を識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とする立体物識別装置。
【請求項６】
請求項２乃至５のいずれか１項に記載の立体物識別装置において、
上記識別指標値として、上記輝度差分値を算出する際に用いる２つの偏光画像間における輝度合計値に対する該輝度差分値の比率を示す差分偏光度を用いることを特徴とする立体物識別装置。
【請求項７】
請求項２乃至６のいずれか１項に記載の立体物識別装置において、
上記立体物識別処理手段が過去に行った上記立体物識別処理の結果を記憶する識別処理結果記憶手段を有し、
上記立体物識別処理手段は、上記識別指標値とともに、上記識別処理結果記憶手段に記憶された過去の立体物識別処理の結果も用いて、上記立体物識別処理を行うことを特徴とする立体物識別装置。
【請求項８】
請求項２乃至７のいずれか１項に記載の立体物識別装置において、
所定の特定立体物を上記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、
上記立体物識別処理手段は、上記立体物識別処理により同じ立体物であると識別された互いに近接する複数の処理領域により示される形状が上記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断し、近似していると判断したときには、該複数の処理領域に対応した場所に存在する立体物を上記特定立体物であると特定する立体物特定処理を行うことを特徴とする立体物識別装置。
【請求項９】
移動体の移動制御を行う移動制御手段と、
該移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段とを有し、
上記移動制御手段は、上記立体物識別手段による識別結果を用いて上記移動制御を行う移動体制御装置において、
上記立体物識別手段として、請求項１乃至８のいずれか１項に記載の立体物識別装置を用いたことを特徴とする移動体制御装置。
【請求項１０】
運転者による運転操作に従って移動する移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段と、
上記立体物識別手段による識別結果を用いて該運転者にとって有益な情報を生成する有益情報生成手段と、
該有益情報生成手段が生成した情報を該運転者に報知する情報報知手段とを有する情報提供装置において、
上記立体物識別手段として、請求項１乃至８のいずれか１項に記載の立体物識別装置を用いたことを特徴とする情報提供装置。
【請求項１】
撮像領域内に存在し、所定平面とは異なる方向を向いた外面を有する立体物を識別する立体物識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した２つの偏光画像を用いて上記撮像領域内における各処理領域に対応した場所に存在する物体が上記立体物であるか否かの立体物識別処理を行う立体物識別処理手段とを有することを特徴とする立体物識別装置。
【請求項２】
撮像領域内に存在し、所定平面とは異なる方向を向いた外面を有する立体物を識別する立体物識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに該２つの偏光画像間における輝度差分値を算出する輝度差分値算出手段と、
該輝度差分値算出手段が算出した輝度差分値から得られる識別指標値を用いて、上記撮像領域内における各処理領域に対応した場所に存在する物体が上記立体物であるか否かの立体物識別処理を行う立体物識別処理手段とを有することを特徴とする立体物識別装置。
【請求項３】
請求項２の立体物識別装置において、
上記立体物識別処理手段は、上記立体物と上記所定平面と同一平面内に存在する平面物体とについてそれぞれ定められる複数の数値範囲のいずれに上記識別指標値が属するかを判断する判断処理を行い、当該処理領域に対応した場所に存在する物体を、該判断処理により属すると判断された数値範囲に対応する物体であると識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とする立体物識別装置。
【請求項４】
請求項３の立体物識別装置において、
上記撮像手段は、移動面上を移動する移動体に搭載され、該移動面に対して斜め上方から該移動面を含む撮像領域を撮像するものであり、
上記判断処理では、同一の物体に対して定められる数値範囲を、上記２つの偏光画像をそれぞれ上下方向に区分する少なくとも２つ以上の区域ごとにそれぞれ設定し、当該区域に属する処理領域の識別指標値が該区域に対して設定された数値範囲のいずれに属するかを判断することを特徴とする立体物識別装置。
【請求項５】
請求項２乃至４のいずれか１項に記載の立体物識別装置において、
上記立体物識別処理手段は、予め存在することが想定されている基準平面物体の存在場所に対応する基準処理領域について上記輝度差分値算出手段が算出した輝度差分値から得られる識別指標値を基準指標値とし、該基準処理領域とは異なる処理領域について該輝度差分値算出手段が算出した輝度差分値から得られる識別指標値の該基準指標値に対する相対値を算出し、該相対値に基づいて該処理領域に対応した場所に存在する物体を識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とする立体物識別装置。
【請求項６】
請求項２乃至５のいずれか１項に記載の立体物識別装置において、
上記識別指標値として、上記輝度差分値を算出する際に用いる２つの偏光画像間における輝度合計値に対する該輝度差分値の比率を示す差分偏光度を用いることを特徴とする立体物識別装置。
【請求項７】
請求項２乃至６のいずれか１項に記載の立体物識別装置において、
上記立体物識別処理手段が過去に行った上記立体物識別処理の結果を記憶する識別処理結果記憶手段を有し、
上記立体物識別処理手段は、上記識別指標値とともに、上記識別処理結果記憶手段に記憶された過去の立体物識別処理の結果も用いて、上記立体物識別処理を行うことを特徴とする立体物識別装置。
【請求項８】
請求項２乃至７のいずれか１項に記載の立体物識別装置において、
所定の特定立体物を上記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、
上記立体物識別処理手段は、上記立体物識別処理により同じ立体物であると識別された互いに近接する複数の処理領域により示される形状が上記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断し、近似していると判断したときには、該複数の処理領域に対応した場所に存在する立体物を上記特定立体物であると特定する立体物特定処理を行うことを特徴とする立体物識別装置。
【請求項９】
移動体の移動制御を行う移動制御手段と、
該移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段とを有し、
上記移動制御手段は、上記立体物識別手段による識別結果を用いて上記移動制御を行う移動体制御装置において、
上記立体物識別手段として、請求項１乃至８のいずれか１項に記載の立体物識別装置を用いたことを特徴とする移動体制御装置。
【請求項１０】
運転者による運転操作に従って移動する移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段と、
上記立体物識別手段による識別結果を用いて該運転者にとって有益な情報を生成する有益情報生成手段と、
該有益情報生成手段が生成した情報を該運転者に報知する情報報知手段とを有する情報提供装置において、
上記立体物識別手段として、請求項１乃至８のいずれか１項に記載の立体物識別装置を用いたことを特徴とする情報提供装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１３】
【図１４】
【図１５】
【図１６】
【図１９】
【図２２】
【図２５】
【図２６】
【図９】
【図１１】
【図１２】
【図１７】
【図１８】
【図２０】
【図２１】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１３】
【図１４】
【図１５】
【図１６】
【図１９】
【図２２】
【図２５】
【図２６】
【図９】
【図１１】
【図１２】
【図１７】
【図１８】
【図２０】
【図２１】
【図２３】
【図２４】
【公開番号】特開２０１１−１５０６８７（Ｐ２０１１−１５０６８７Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−２４３９５１（Ｐ２０１０−２４３９５１）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]