物体識別装置
【課題】差分偏光度を用いて撮像画像中における識別対象物の画像領域を識別することが困難な状況下であっても、その撮像画像中の識別対象物の画像領域を高い精度で識別することを課題とする。
【解決手段】撮像領域内のＰ偏光画像及びＳ偏光画像を偏光カメラ１０で撮像し、画素ごとに、Ｐ偏光画像及びＳ偏光画像間における輝度合計値（モノクロ輝度）と、当該輝度合計値に対するＰ偏光画像及びＳ偏光画像間における輝度差分値の比率を示す差分偏光度を算出する。そして、差分偏光度が所定の差分偏光度閾値以上であれば、差分偏光度画像処理部１５が算出した差分偏光度を用いて識別対象物である路端エッジ部を識別し、そうでなければ、モノクロ画像処理部１３が算出したモノクロ輝度を用いて路端エッジ部を識別する。
【解決手段】撮像領域内のＰ偏光画像及びＳ偏光画像を偏光カメラ１０で撮像し、画素ごとに、Ｐ偏光画像及びＳ偏光画像間における輝度合計値（モノクロ輝度）と、当該輝度合計値に対するＰ偏光画像及びＳ偏光画像間における輝度差分値の比率を示す差分偏光度を算出する。そして、差分偏光度が所定の差分偏光度閾値以上であれば、差分偏光度画像処理部１５が算出した差分偏光度を用いて識別対象物である路端エッジ部を識別し、そうでなければ、モノクロ画像処理部１３が算出したモノクロ輝度を用いて路端エッジ部を識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置に関するものである。
【背景技術】
【０００２】
この種の物体識別装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などに広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような車両走行支援システムにおいては、自車が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現するために、自車の周囲に存在する障害物、先行車、車線などの物体を適切に区別して認識する（識別する）ことが必要となる。そのため、従来から様々な物体識別装置が提案されている。
【０００３】
特許文献１には、撮影により得られた道路画像（撮像画像）から画像内のラインを検出することにより車両の走行レーンを区画する車線（白線）に対する自車の相対変位を検出するために、車線（物体）を識別するための物体識別装置が開示されている。この物体識別装置では、雨天により道路上に水たまりが存在する場合、太陽光等がこの水たまりで鏡面反射して、道路上の車線（白線）と同程度の輝度で撮影されることにより、水たまり部分を車線（白線）と誤認識してしまうという問題を解決するものである。具体的には、白線識別処理を行う前に道路画像から水たまり部分を取り除くため、撮影した道路画像から鏡面反射成分のみを除去することにより水たまり部分を取り除き、残りの散乱光成分から白線を認識する。鏡面反射成分のみを除去する方法としては、鏡面反射の水平偏光成分はブリュースター角でほぼ０となること、及び、散乱光成分は垂直偏光成分と水平偏光成分がほぼ等量含まれていることを利用して、次のように行っている。すなわち、撮影した道路画像中の垂直偏光成分と水平偏光成分との差分を算出し、その差分値に対し、水平偏光成分中に含まれる入射角に応じた鏡面反射成分を除去するための補正係数を乗じることで、鏡面反射成分を算出する。そして、算出した鏡面反射成分を水平偏光成分から差し引くことで、道路画像から鏡面反射成分のみを除去した錯乱光成分の画像を得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の物体識別装置の多くは、撮像画像中の輝度の違いを利用して、路面上に存在する障害物（路端に存在する側壁、ガードレール、電信柱、街灯、歩行者通路の段差部等の路端障害物など）、先行車、車線などの識別対象物の境界（エッジ）を抽出し、そのエッジにより区画される領域を識別対象物の画像領域であると識別するものが一般的である。しかしながら、この方法では、路面上に輝度が大きく異なる部分が存在すると、これらの部分間の境界をエッジであるとして抽出してしまい、路面の一部を車線等の識別対象物であると誤認識してしまう場合がある。特に、路面上の日向部分と日陰部分との間では輝度に大きな違いがあるため、路面上の日陰部分（輝度が小さい部分）を日向部分（輝度が大きい部分）の路面とは別の物体であると誤認識してしまう場合がある。このような誤認識は、例えばＡＣＣであれば誤認識した日陰部分を路端に存在する側壁等の障害物であるとして、衝突回避動作を実施してしまうなど、誤制御あるいは誤処理を引き起こす原因となる。
【０００５】
本出願人は、特願２００９−２９５９６３号において、撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに得られる当該２つの偏光画像間における輝度合計値に対する当該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出した結果を用いて路面上の立体物を識別する方法を提案した。詳しくは、算出した差分偏光度に基づいて識別対象物に対応する処理領域を特定し、識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域を識別対象物の画像領域であると識別する方法である。この方法によれば、輝度の違いを利用する従来の方法では撮像画像中の輝度に明確な違いがないために識別精度が悪い状況であっても、撮像画像中の立体物を高い精度で識別することが可能である。
【０００６】
しかしながら、本発明者らは、研究の結果、差分偏光度を用いて撮像画像中における立体物などの識別対象物の画像領域を識別する場合でも、その撮像状況によっては、高い識別精度が得られない場合があるという知見を得た。詳しくは、算出した差分偏光度により得られる差分偏光度画像のコントラストが低くなるような撮像状況下で撮像して得た撮像画像については、差分偏光度を用いても、その撮像画像中の識別対象物の画像領域を高い精度で識別できない場合があるという問題があることを見出したのである。具体例を挙げると、例えば晴れの日の順光時における路面上の路端障害物や車線を識別する場合には、差分偏光度を用いても高い識別精度で識別することができない場合がある。
【０００７】
以上の問題は、運転者支援システムに用いられる物体識別装置に限らず、ロボット制御などに用いられる物体識別装置など、あらゆる物体識別装置においても同様に生じ得る問題である。
また、この問題を、撮像手段とは別の検出機器を新たに用意して解決することは、コストが高騰するため好ましくない。よって、従来の物体識別装置において物体からの反射光強度（輝度）を検出するために一般に用いられている検出機器である撮像手段を用いて、上記問題を解決することができれば、コストの観点から有益である。
【０００８】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、差分偏光度を用いて撮像画像中における識別対象物の画像領域を識別することが困難な状況下であっても、その撮像画像中の識別対象物の画像領域を高い精度で識別することが可能な物体識別装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１の発明は、撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置において、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該２つの偏光画像間における輝度合計値を算出する輝度算出手段と、該処理領域ごとに、該輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、該差分偏光度算出手段が算出する差分偏光度が所定の選択条件を満たすか否かを判断する選択条件判断手段と、該選択条件判断手段が該所定の選択条件を満たすと判断した場合には、該差分偏光度算出手段が算出した差分偏光度に基づいて上記識別対象物に対応する処理領域を特定し、該選択条件判断手段が該所定の選択条件を満たさないと判断した場合には、該輝度算出手段が算出した輝度合計値に基づいて上記識別対象物に対応する処理領域を特定し、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域を該識別対象物の画像領域であると識別する物体識別処理を行う物体識別処理手段とを有することを特徴とするものである。
また、請求項２の発明は、請求項１の物体識別装置において、上記選択条件判断手段は、上記撮像手段が撮像した２つの偏光画像を区分して得られる複数の選定エリアごとに、上記差分偏光度算出手段が算出する差分偏光度が上記所定の選択条件を満たすか否かを判断し、上記物体識別処理手段は、該選択条件判断手段が該所定の選択条件を満たすと判断した選定エリアについては、該差分偏光度算出手段が算出した差分偏光度に基づいて上記識別対象物に対応する処理領域を特定し、該選択条件判断手段が該所定の選択条件を満たさないと判断した選定エリアについては、上記輝度算出手段が算出した輝度合計値に基づいて上記識別対象物に対応する処理領域を特定することを特徴とするものである。
また、請求項３の発明は、請求項１又は２の物体識別装置において、上記撮像手段が撮像した２つの偏光画像内に設定される所定箇所の輝度合計値及び差分偏光度の少なくとも一方から、上記所定の選択条件に用いる差分偏光度用閾値を設定する閾値設定手段を有し、上記所定の選択条件は、上記差分偏光度算出手段が算出する差分偏光度が上記差分偏光度用閾値以上であるという条件を含むことを特徴とするものである。
また、請求項４の発明は、請求項３の物体識別装置において、上記所定の選択条件は、上記輝度算出手段が算出する輝度合計値が所定の閾値未満であるという条件を含むことを特徴とするものである。
また、請求項５の発明は、請求項１乃至４のいずれか１項に記載の物体識別装置において、上記物体識別処理手段は、上記識別対象物に対応する処理領域を特定する処理として、互いに隣接する処理領域間の輝度もしくは差分偏光度の違いの大きさを示すエッジ値を算出するエッジ抽出処理を行い、これにより抽出したエッジ値に基づいて該識別対象物に対応する処理領域を特定する処理を行うことを特徴とするものである。
また、請求項６の発明は、請求項５の物体識別装置において、上記物体識別処理手段は、上記エッジ抽出処理により抽出したエッジ値を所定のエッジ閾値により２値化処理し、その２値化処理後の値に基づいて上記識別対象物に対応する処理領域を特定する処理を行うものであり、上記差分偏光度算出手段が算出した差分偏光度及び上記輝度算出手段が算出した輝度合計値の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段と、該状況判別手段が判別した状況に応じて該エッジ閾値を決定するエッジ閾値決定手段とを有することを特徴とするものである。
また、請求項７の発明は、請求項６の物体識別装置において、上記エッジ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記エッジ閾値を決定することを特徴とするものである。
また、請求項８の発明は、請求項５乃至７のいずれか１項に記載の物体識別装置において、上記識別対象物を上記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、上記物体識別処理手段は、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域により示される形状が上記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断する形状近似判断処理を行い、該形状近似判断処理により近似していると判断したときには、該複数の処理領域を該識別対象物の画像領域であると識別することを特徴とするものである。
また、請求項９の発明は、請求項８の物体識別装置において、上記物体識別処理手段が行う上記形状近似判断処理では、上記２つの偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる部分よりも撮像距離が近い区域に含まれる部分の方が判断結果に与える影響が大きいように重み付けを行うことを特徴とするものである。
また、請求項１０の発明は、請求項１乃至９のいずれか１項に記載の物体識別装置において、上記物体識別処理手段が過去に行った上記物体識別処理の結果を記憶する識別処理結果記憶手段を有し、上記物体識別処理手段は、上記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて上記物体識別処理を行うことを特徴とするものである。
【００１０】
本発明者らは、研究の結果、差分偏光度を用いて撮像画像中における識別対象物の画像領域を識別することが困難な状況下であっても、輝度を用いて識別を行うことにより、差分偏光度を用いて識別する場合よりも高い精度での識別が可能であるという知見を得た。この知見に基づき、本発明では、差分偏光度算出手段が算出する差分偏光度が所定の選択条件を満たすか否かを判断し、満たすと判断した場合は差分偏光度に基づいて識別対象物に対応する処理領域を特定するが、満たさないと判断した場合は輝度に基づいて識別対象物に対応する処理領域を特定する。これにより、差分偏光度を用いた場合には高い識別精度が得られない状況下では輝度を用いて識別を行うことが可能となり、そのような状況下であっても差分偏光度よりも高い識別精度を得ることが可能となる。
しかも、本発明によれば、識別に用いる輝度として、差分偏光度を算出するために用いる撮像手段が撮像した２つの偏光画像間の輝度合計値を使用するので、識別に用いる輝度を得るために新たな検出機器を設けることは不要である。
なお、差分偏光度を用いた場合には高い識別精度が得られない状況が撮像画像中の一部分に存在している場合には、当該一部分については輝度を用いて識別対象物に対応する処理領域を特定し、残りの部分は差分偏光度を用いて識別対象物に対応する処理領域を特定するようにしてもよい。
【発明の効果】
【００１１】
以上、本発明によれば、差分偏光度を用いて撮像画像中における識別対象物の画像領域を識別することが困難な状況下であっても、その撮像画像中の識別対象物の画像領域を高い精度で識別することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムに利用可能な偏光カメラの一構成例を示す説明図である。
【図３】同運転者支援システムに利用可能な偏光カメラの他の構成例を示す説明図である。
【図４】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図５】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図６】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図７】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図８】（ａ）〜（ｄ）は、雨の日あるいは曇りの日の昼間に、自動車に搭載した偏光カメラで走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図である。
【図９】（ａ）〜（ｄ）は、晴れの日の昼間に、自動車に搭載した偏光カメラで走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図である。
【図１０】（ａ）〜（ｄ）は、晴れの日の昼間に、日陰となっている場所において、自動車に搭載した偏光カメラで走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図である。
【図１１】実験室において、アスファルト面に対し、光源位置を変化させ、固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影する実験の概要を示す説明図である。
【図１２】同実験で得られた差分偏光度の変化の一例を示すグラフである。
【図１３】太陽からの光の散乱光成分を光源とした路面の差分偏光度を示すグラフである。
【図１４】路端エッジ部と白線エッジ部を識別する処理の流れを示すフローチャートである。
【図１５】画像選択処理の流れを示すフローチャートである。
【図１６】（ａ）〜（ｄ）は、それぞれ撮影状況が異なる場合のモノクロ画像を示す説明図である。
【図１７】物体識別処理の流れを示すフローチャートである。
【図１８】変形例１における物体識別処理で用いる差分偏光度閾値の設定変更用テーブルを示す説明図である。
【図１９】（ａ）〜（ｃ）は、図１８に示す設定変更用テーブルの各路面状態における外光の反射特性を説明するための説明図である。
【図２０】路面状態の判別処理の流れの一例を示すフローチャートである。
【図２１】（ａ）〜（ｄ）は、それぞれ撮影状況が異なる撮像領域を模式的に表した説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る物体識別装置を用いて、走行路面と路端障害物との境界である識別対象物としての路端エッジ部や白線エッジ部を識別し、その結果を用いて車両の運転者（ドライバー）の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ１０により、移動体である車両が走行する路面（移動面）を含む自車周囲の風景を撮影し、画素（処理領域）ごとの垂直偏光強度（以下、単に「Ｓ偏光強度」という。）及び水平偏光強度（以下、単に「Ｐ偏光強度」という。）を含んだ偏光ＲＡＷ画像データを取得する。偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データは水平偏光画像メモリ１１に、偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データは垂直偏光画像メモリ１２にそれぞれ格納される。これらの画像データは、それぞれ、輝度算出手段としてのモノクロ画像処理部１３と、差分偏光度算出手段としての差分偏光度画像処理部１５に送信される。
【００１４】
偏光カメラ１０は、受光素子であるＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する周囲画像を撮像するものである。偏光カメラ１０は、リアルタイムに近い短い時間間隔で周囲画像を連続的に取得するのが好ましい。偏光カメラ１０は、例えばルームミラーに取り付けられ、車両前方の風景（路面を含むフロントビュー）を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の風景を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の風景を撮像するものであってもよい。本実施形態では、ルームミラーに取り付けられて車両前方の風景（路面を含むフロントビュー）を撮像する場合を例に挙げて説明する。
【００１５】
図２は、偏光カメラ１０の一構成例を示す説明図である。
この偏光カメラ１０Ａは、図２に示すように、ＣＣＤ等の撮像素子を備えた１台のカメラ１０１の前面に、回転駆動する回転偏光子１０２を配置したものである。この偏光カメラ１０Ａは、回転偏光子１０２の回転角に応じて通過する光の偏光方向が変化する。よって、カメラ１０１は、回転偏光子１０２を回転駆動させながら撮像することで、Ｐ偏光画像とＳ偏光画像とを交互に撮像することができる。
【００１６】
図３は、偏光カメラ１０の他の構成例を示す説明図である。
この偏光カメラ１０Ｂは、図３のように、ＣＣＤ等の撮像素子を備えた２台のカメラ１１１，１１２を用い、それぞれの前面に、Ｓ偏光を透過するＳ偏光フィルタ１１３とＰ偏光を透過するＰ偏光フィルタ１１４とを配置したものである。図２に示した偏光カメラ１０Ａでは、１台のカメラ１０１でＰ偏光画像とＳ偏光画像とを交互に撮像するため、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができなかったが、図３に示した偏光カメラ１０Ｂでは、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができる。
【００１７】
図４は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｃは、図４に示すように、撮像素子がＰ偏光画像とＳ偏光画像とについて個別に設けられている点では、図３に示した偏光カメラ１０Ｂと同様であるが、各撮像素子が図３に示した偏光カメラ１０Ｂの場合よりも近接配置されている点で大きく異なる。この偏光カメラ１０Ｃによれば、図３に示した偏光カメラ１０Ｂよりも小型化できる。図４に示す偏光カメラ１０Ｃは、レンズアレイ１２２と、遮光スペーサ１２３と、偏光フィルタ１２４と、スペーサ１２５と、固体撮像ユニット１２６とが積層されて形成されている。レンズアレイ１２２は、２つの撮像レンズ１２２ａ，１２２ｂを有する。この２つの撮像レンズ１２２ａ，１２２ｂは、互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、それぞれの光軸１２１ａ，１２１ｂが互いに平行となるように、かつ、同一平面上に配置している。遮光スペーサ１２３は、２つの開口部１２３ａ，１２３ｂを有し、レンズアレイ１２２に対して被写体側とは反対側に設けられている。２つの開口部１２３ａ，１２３ｂは、光軸１２１ａ，１２１ｂをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。偏光フィルタ１２４は、偏光面が９０度異なる２つの偏光子領域１２４ａ，１２４ｂを有する領域分割型の偏光子フィルタであり、遮光スペーサ１２３に対してレンズアレイ１２２とは反対側に設けられている。この偏光子領域１２４ａ，１２４ｂは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分（偏光成分）だけを透過させて直線偏光にする。なお、金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式を用いることで、境界部が明瞭な領域分割型の偏光子フィルタを得ることができる。スペーサ１２５は、偏光フィルタ１２４の偏光子領域偏光ａ，偏光ｂに対応する領域が貫通した開口部１２５ａを有する矩形枠状に形成され、偏光フィルタ１２４に対して遮光スペース１２３とは反対側に設けられている。固体撮像ユニット１２６は、基板１２７上に搭載された２つの固体撮像素子１２６ａ，１２６ｂを有し、スペーサ１２５に対して偏光フィルタ１２４とは反対側に設けられている。本実施形態では、モノクロのセンシングを行うため、これらの固体撮像素子１２６ａ，１２６ｂはカラーフィルタを備えていない。ただし、カラー画像のセンシングを行う場合には、カラーフィルタを配置する。
【００１８】
図５は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｄは、図５に示すように、１：１の透過性を備えるハーフミラー１３１と、反射ミラー１３２と、Ｓ偏光フィルタ１３３と、Ｐ偏光フィルタ１３４と、Ｓ偏光フィルタ１３３を介してＳ偏光を受光するＳ偏光用ＣＣＤ１３５と、Ｐ偏光フィルタ１３４を介してＰ偏光を受光するＰ偏光用ＣＣＤ１３６とを有する。図３や図４に示した偏光カメラ１０Ｂ，１０Ｃでは、Ｓ偏光画像とＰ偏光画像の同時撮影は可能であるものの、視差が生じてしまう。これに対し、図５に示した偏光カメラ１０Ｄでは、図示しない同一の撮像光学系（レンズ）を介して受光される同じ光を使ってＳ偏光画像とＰ偏光画像を同時撮影するため、視差が生じない。よって、視差ずれ補正などの処理が不要となる。
なお、ハーフミラー１３１に代えて、Ｐ偏光を反射し、かつ、Ｓ偏光を透過するプリズム等の偏光ビームスプリッタを用いてもよい。このような偏光ビームスプリッタを用いることで、Ｓ偏光フィルタ１３３やＰ偏光フィルタ１３４を省略することが可能となり、光学系の簡素化が図られるとともに、光利用効率も向上できる。
【００１９】
図６は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｅは、図６に示すように、撮像レンズ１４２ａの光軸１４１に沿ってカメラ構成要素が積層されたユニットである点では、図４に示した偏光カメラ１０Ｃと同様であるが、Ｓ偏光画像とＰ偏光画像を単一の撮像レンズ（撮像レンズは光軸に複数枚積層配置してもよい。）１４２で撮像する点で異なっている。この偏光カメラ１０Ｅによれば、図５に示した偏光カメラ１０Ｄと同様に、Ｓ偏光画像とＰ偏光画像との間で視差が生じない。しかも、図５に示した偏光カメラ１０Ｄよりも小型化できる。なお、図６に示した偏光カメラ１０Ｅの偏光フィルタ１４４は、偏光面が９０度異なる２種類の偏光子領域１４４ａ，１４４ｂが２つずつ設けられた領域分割型の偏光子フィルタとなっており、これに伴い、４つの固体撮像素子１４６ａ，１４６ｂ，１４６ｃ，１４６ｄが設けられている。
【００２０】
図７は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｆは、図７に示すように、領域分割型のフィルタを採用したものである。図７において、縦横に並ぶ正方形が各受光素子の受光部１５１を示し、縦線で示す領域がＳ偏光フィルタ１５２の領域を示し、横線で示す領域がＰ偏光フィルタ１５３の領域を示す。この偏光カメラ１０Ｆは、受光素子の画素に１：１で対応させたものではなく、各フィルタ１５２，１５３の領域は、横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは２、つまり横方向に１画素分進む間に縦方向に２画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも、画面全体で各フィルタ透過画像を再現することを可能とし、Ｓ偏光画像及びＰ偏光画像を撮像できる低コストの偏光カメラを実現できる。
【００２１】
モノクロ画像処理部１３は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとのモノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する。このモノクロ輝度データを用いてモノクロ画像が生成できる。モノクロ画像処理部１３が算出したモノクロ輝度データは、ライン検出手段としての白線識別部１４に出力される。
差分偏光度画像処理部１５は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに差分偏光度（識別指標値）を算出する。この差分偏光度を用いて差分偏光度画像が生成できる。差分偏光度は、下記の式（１）に示す計算式から求められる。すなわち、差分偏光度は、Ｐ偏光強度とＳ偏光強度との合計値（輝度合計値）に対するＰ偏光強度とＳ偏光強度との差分値（輝度差分値）の比率である。また、差分偏光度は、輝度合計値に対するＰ偏向強度の比率（Ｐ偏光比）と、輝度合計値に対するＳ偏向強度の比率（Ｓ偏光比）との差分値であると言い換えることもできる。なお、本実施形態では、Ｐ偏光強度からＳ偏光強度を差し引く場合について説明するが、Ｓ偏光強度からＰ偏光強度を差し引くようにしてもよい。差分偏光度画像処理部１５が算出した差分偏光度のデータは、画像選択部１６に出力される。
差分偏光度＝（Ｐ偏光強度−Ｓ偏光強度）／（Ｐ偏光強度＋Ｓ偏光強度） ・・（１）
【００２２】
白線識別部１４は、モノクロ画像処理部１３により算出されたモノクロ輝度データに基づき、以下の方法により走行路面上の白線を識別するものである。なお、ここでいう白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
通常の道路の車線（区画線）は、運転者が視認しやすいように、アスファルト等の黒い部分に対し、コントラストの高い色（白等）で形成されている。したがって、このような車線（ここでは白線とする。）の輝度は、その他の場所に存在するアスファルト等の物体よりも十分に大きい。よって、モノクロ輝度データが所定の閾値以上の部分を白線と判定することができる。なお、本実施形態で用いるモノクロ輝度データは、上述した偏光カメラ１０により得たＰ偏光強度とＳ偏光強度の合計値を用いている。
【００２３】
白線識別部１４により白線エッジ部を識別した結果は、様々な処理に利用することが可能である。
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の白線部分の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で白線を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と白線との相対位置関係を把握することができ、白線で区画される走行レーンを維持して走行させることが容易になる。
また、例えば、白線識別部１４により識別された白線の位置情報から、自車と白線との相対位置関係を把握する処理を行い、自車が白線で区画される走行レーン上の適正走行位置から外れて走行していないかどうかを判断し、適正走行位置から外れて走行しているときに警報音等を発する処理が挙げられる。あるいは、適正走行位置から外れて走行しているときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００２４】
本実施形態においては、白線識別部１４において白線エッジ部を識別できた場合、画像中における白線エッジ部の位置を特定するための情報を画像選択部１６に出力する。このとき、モノクロ画像処理部１３で処理されたモノクロ画像から白線部分を除去した白線無しのモノクロ画像を画像選択部１６に出力するようにしてもよい。
一方、白線識別部１４において白線エッジ部が識別できなかった場合、画像中における白線エッジ部の位置を特定するための情報は画像選択部１６に出力されない。
【００２５】
画像選択部１６は、白線識別部１４から出力されたモノクロ画像と、差分偏光度画像処理部１５で処理された差分偏光度画像とのうち、後述する物体識別部１８で用いる画像を所定の選択条件に従って選択する処理を行う。この処理の具体的な内容については後述する。
【００２６】
物体識別部１８は、後述する方法により、画像選択部１６により選択されるモノクロ画像のモノクロ輝度あるいは差分偏光度画像の差分偏光度を用いて路端エッジ部を特定し、その路端エッジ部の特定結果を、後述の形状記憶部１７に記憶されている形状テンプレートに照らし合わせて、最終的に路端の画像領域（位置）を識別する。なお、本実施形態では、識別対象物が、走行路面の路端近傍に存在する側壁、ガードレール、路端の段差部等の路端障害物と走行路面との境界である路端エッジ部である場合について説明するが、電信柱、街灯、標識などの障害物、走行路面上を走行する他の車両、走行路面上又は路肩に居る人、動物、自転車等の衝突回避物など、あらゆる物体を識別対象物とすることが可能である。また、本実施形態においては、白線識別部１４において白線エッジ部を識別できなかった場合には、白線エッジ部も識別対象物に含まれることになる。本実施形態では、路端エッジ部を識別することで、白線識別部１４で識別した白線と同様に、路端エッジ部の識別結果を運転者支援システムの様々な処理に利用する。
【００２７】
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の路端エッジ部の位置を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で路端を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と路端との相対位置関係を把握することができ、路端障害物に衝突することなく安全に走行することが容易になる。
また、例えば、物体識別部１８により識別された路端エッジ部の位置情報から、自車と路端エッジ部との相対位置関係を把握する処理を行い、自車が路端に近づいて走行していないかどうかを判断し、路端に近づいたときに警報音等を発する処理が挙げられる。あるいは、路端に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００２８】
形状情報記憶手段としての形状記憶部１７には、物体識別部１８で用いる形状情報としての各種形状テンプレートのデータが記憶されている。形状記憶部１７に記憶される形状テンプレートは、物体識別部１８で識別する識別対象物である路端エッジ部を、偏光カメラ１０により撮像したときの形状（撮像画像中における識別対象物の形状）を示すものである。したがって、本実施形態における形状テンプレートは、走行レーンに略平行に延びる直線形状のものとなる。なお、形状テンプレートは、サイズ情報が含まれていてもよい。形状テンプレートは識別対象物の形状に応じて適宜選択される。例えば、マンホールの蓋を特定するための形状テンプレート、ボッツドッツ又はキャッツアイからなる金属製区間線を特定するための形状テンプレート、高速道路や陸橋などの道路に存在する金属製の道路連結部を特定するための形状テンプレート、他の車両を特定するための形状テンプレート、電信柱や街灯を特定するための形状テンプレートなどが挙げられる。
【００２９】
次に、画像選択部１６が、物体識別部１８で用いる画像を選択する画像選択処理について説明する。
天候に応じてあるいは日向と日影との違いに応じて、モノクロ画像処理部１３で算出されるモノクロ画像や差分偏光度画像処理部１５で算出される差分偏光度画像のコントラストは変化する。路端や白線などのラインを検出するにあたって、モノクロ画像、差分偏光度画像それぞれが得意とするシーン（識別精度が高い状況）、苦手とするシーン（識別精度が低い状況）がある。そして、本発明者らは、モノクロ画像が苦手とするシーンは差分偏光度画像が得意とするシーンであったり、反対に差分偏光度画像が苦手とするシーンはモノクロ画像が得意とするシーンであったりと、お互いが補間する関係にあることを、撮影実験等を通じて見出した。本実施形態は、モノクロ画像と差分偏光度画像との補間関係を利用し、状況に応じてこれらの画像を使い分け、差分偏光度画像では識別が困難な状況下においてモノクロ画像を用いることで、識別対象物（路端エッジ部）の識別精度を高めるものである。
【００３０】
図８（ａ）〜（ｄ）は、雨の日あるいは曇りの日の昼間に、自動車に搭載した偏光カメラ１０で走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図であり、図８（ａ）はモノクロ画像、図８（ｂ）は差分偏光度画像、図８（ｃ）は図８（ａ）のモノクロ画像から生成したエッジ画像、図８（ｄ）は図８（ｂ）の差分偏光度画像から生成したエッジ画像である。
雨の日あるいは曇りの日の昼間では、図８（ｄ）の差分偏光度を元にしたエッジ画像は、図８（ｃ）に示すモノクロ画像を元にしたエッジ画像に比べて、路端Ｒの境界位置を示すコントラスト（路端Ｒの境界位置が白色で示され、その周囲が黒色で示されている。）が明瞭であり、路端エッジ部ＲＥの認識率が高いことがわかる。
一方、白線Ｗの境界位置を示すコントラスト（白線Ｗの外縁エッジが白色で示され、その周囲が黒色で示されている。）の明瞭性は、図８（ｃ）及び図８（ｄ）に示すエッジ画像の間では同等である。したがって、白線エッジ部ＷＥの認識率に関しては、モノクロ画像と差分偏光度画像とでほとんど違いはない。
【００３１】
図９（ａ）〜（ｄ）は、晴れの日の昼間に、自動車に搭載した偏光カメラ１０で走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図であり、図９（ａ）はモノクロ画像、図９（ｂ）は差分偏光度画像、図９（ｃ）は図９（ａ）のモノクロ画像から生成したエッジ画像、図９（ｄ）は図９（ｂ）の差分偏光度画像から生成したエッジ画像である。
晴れの日の昼間については、路端エッジ部ＲＥ及び白線エッジ部ＷＥのいずれの認識率も、図９（ｄ）の差分偏光度を元にしたエッジ画像よりも、図９（ｃ）に示すモノクロ画像を元にしたエッジ画像の方が高いことがわかる。
【００３２】
図１０（ａ）〜（ｄ）は、晴れの日の昼間に、日陰となっている場所において、自動車に搭載した偏光カメラ１０で走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図であり、図１０（ａ）はモノクロ画像、図１０（ｂ）は差分偏光度画像、図１０（ｃ）は図１０（ａ）のモノクロ画像から生成したエッジ画像、図１０（ｄ）は図１０（ｂ）の差分偏光度画像から生成したエッジ画像である。
日陰となっている場所については、路端エッジ部ＲＥ及び白線エッジ部ＷＥのいずれの認識率も、図１０（ｃ）に示すモノクロ画像を元にしたエッジ画像よりも、図１０（ｄ）の差分偏光度を元にしたエッジ画像の方が高いことがわかる。
【００３３】
以上のような測定結果を踏まえ、本実施形態では、状況（シーン）ごとに、モノクロ画像と差分偏光度画像を使い分けることにより、それらの状況における路端エッジ部ＲＥ及び白線エッジ部ＷＥの識別精度を向上させ、識別結果についての信頼性を向上させる。
【００３４】
ここで、一般に、モノクロ画像に用いる輝度の情報に関しては、昼間の日向のシーン（太陽からの直射光が支配的な照明状況下）ではコントラストが高くなり、日影あるいは雨や曇りの日のような陽があたらないシーン（太陽からの光の散乱光成分が支配的な照明状況下）ではコントラストが低くなることは、日常生活からも人間が感じ取ることができる。これに対して、差分偏光度画像に用いる差分偏光度の情報は、人間に知覚されるような情報ではない。よって、以下、差分偏光度画像ではモノクロ画像とは異なるコントラストになる理由について説明する。
【００３５】
図１１は、実験室において、アスファルト面に対し、光源位置を変化させ、固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影する実験の概要を示す説明図である。
図１２は、この実験で得られた差分偏光度の変化の一例を示すグラフである。
図１２に示すグラフは、横軸に入射角度（光源位置）をとり、縦軸に差分偏光度をとったものである。カメラ仰角は水平から１０度傾けた状態である。この差分偏光度は、各入射角度の撮影画像についての略中央部におけるＰ偏光成分（Ｒｐ）とＳ偏光成分（Ｒｓ）から上記式（１）より算出したものである。したがって、Ｓ偏光成分よりもＰ偏光成分の方が強い場合には、差分偏光度はプラスの値をとり、Ｐ偏光成分よりもＳ偏光成分の方が強い場合には、差分偏光度はマイナスの値をとることになる。
【００３６】
図１２に示すグラフをもとにして、図８〜図１０に示した各状況における差分偏光度画像とモノクロ画像とのコントラストの違いについて説明する。
まず、図９に示した晴れの日の昼間（日向）のシーンについて説明する。
晴れの日の日向路面に照射される光の光源としては、太陽（太陽からの直射日光）、空（太陽からの光の散乱光成分）の２つに分類できるが、路面に照射される光成分は太陽からの直射日光が支配的成分である。すなわち、上述した実験状況とほぼ同様の状況であり、図１２に示した実験結果をそのまま適用することが可能である。図１２の実験結果から、差分偏光度は、光源（太陽）がカメラの前側にある逆光時には、マイナス側に大きくなる特性を有していることがわかる。一方、光源（太陽）がカメラの後側にある順光時には、アスファルト面（路面Ｓ）の差分偏光度は０となる。また、側壁等の路端障害物も、路面Ｓの場合と同様の拡散反射体であるため、差分偏光度が０になる。その結果、差分偏光度画像は画像全体でコントラストが下がり、ノイズが多いようなエッジ画像が得られることになる。
これに対し、モノクロ画像は、カメラで受光される輝度の違いがそのままコントラストに反映されるため、路面Ｓも、路端Ｒよりも路外に位置する路端障害物も、白線Ｗも、その反射特性に応じた適切なコントラストが得られる。
したがって、晴れの日の昼間の日向については、モノクロ画像を用いて白線エッジ部や路端エッジ部を識別することで、差分偏光度画像を用いる場合よりも高い識別精度を得ることができる。
【００３７】
次に、図１０に示した晴れの日の昼間（日影）のシーンについて説明する。
日影では、路面Ｓや側壁等の路端障害物に照射される光の光源は太陽からの直射光ではなく、空からの光（太陽からの光の散乱光成分）である。太陽からの直射光を光源とした差分偏光度は、その光源（太陽）の方位によって変化するので、図１２に示したグラフのような入射角依存性を有する。これに対し、空からの光は、天空からの各高度、各方位から均等に路面Ｓや路端障害物に照射されるので、図１２に示したグラフのような入射角依存性はない。そのため、空からの光（太陽からの光の散乱光成分）を光源とした路面Ｓの差分偏光度のグラフを描くと、図１３に示すように、その差分偏光度が一定値（図１２に示したグラフの略平均値に相当する値）をとることになる。
一方、側壁等の路端障害物や白線における差分偏光度についても、同様に一定値をとるものとなるが、路端障害物や白線（特に白線のエッジ部分）の光反射面は路面Ｓに対して角度を有するので、そのＰ偏光成分とＳ偏光成分の比率が異なるものとなる。したがって、その差分偏光度の一定値は、路面Ｓのものと異なるものとなる。特に、路面Ｓに対して直交する光反射面を有する路端障害物については、その差分偏光度の一定値が路面Ｓ一定値とは逆の極性を有するものとなる。その結果、晴れの日の昼間の日影については、路面Ｓと路端障害物や白線エッジ部との間でコントラストのある差分偏光度画像を得ることができる。
【００３８】
このように、晴れの日の昼間の日影については、空からの光（太陽からの光の散乱光成分）が支配的な照明状況下での撮影となるため、モノクロ画像のコントラストは低下するが、差分偏光度画像については識別に必要な部分のコントラストがある画像が得られる。 したがって、晴れの日の昼間の日影については、差分偏光度画像を用いて白線エッジ部や路端エッジ部を識別することで、モノクロ画像を用いる場合よりも高い識別精度を得ることができる。
【００３９】
次に、図８に示した雨の日や曇りの日のシーンについて説明する。
雨の日や曇りの日も、図１０に示した日影のシーンと同様に、太陽からの直射光が存在しないため、差分偏光度画像については、日陰のシーンと同様にコントラストのとれたものとなる。特に、雨で路面Ｓや側壁等の路端障害物が濡れると、その反射面の鏡面反射成分が強くなるため、よりコントラストの高い差分偏光度画像を得ることが可能となる。これに対し、モノクロ画像では、日陰のシーンと同様にコントラストが低く、特に雨で路面等が濡れている場合には、そのエッジ画像全体が黒っぽくなり、コントラストが大幅に低下する。したがって、雨の日や曇りの日、特に雨の日については、差分偏光度画像を用いて白線エッジ部や路端エッジ部を識別することで、モノクロ画像を用いる場合よりも高い識別精度を得ることができる。
【００４０】
以上のように、モノクロ画像のコントラストが生じにくい雨の日や曇りの日あるいは日影の場所のような太陽からの直射光が撮像領域内に照射されない状況下においては、差分偏光度画像の方がコントラストを大きくとることができるので、路端エッジ部や白線エッジ部等の識別対象物を高い精度で識別することができる。しかも、差分偏光度画像であれば、撮影方向（方位）による差異がないので、走行方向に関係なく安定して路端エッジ部や白線エッジ部の識別を行うことができる。したがって、このような状況下においては、差分偏光度画像を用いて識別することで、信頼性の高い識別結果を得ることができる。
しかしながら、また晴れの日の日向、特に順光時のように、太陽からの直射光が撮像領域内に照射される状況下においては、差分偏光度画像では十分なコントラストを得ることができない場合がある。一方、このような状況下では、モノクロ画像を用いることで高い識別精度を得ることが可能である。したがって、このような状況下では、モノクロ画像を用いて識別することで、信頼性の高い識別結果を得ることができる。
【００４１】
次に、本実施形態に係る運転者支援システムにおいて識別対象物である路端エッジ部と白線エッジ部を識別するための処理の流れについて説明する。
図１４は、路端エッジ部と白線エッジ部を識別する処理の流れを示すフローチャートである。
偏光カメラ１０により偏光ＲＡＷ画像データを取得したら、その偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データを水平偏光画像メモリ１１に格納するとともに、その偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データを垂直偏光画像メモリ１２に格納する（Ｓ１）。その後、差分偏光度画像処理部１５は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、上記式（１）に示す計算式より、差分偏光度（識別指標値）を算出する（Ｓ２）。この算出結果から得られる差分偏光度画像のデータは、差分偏光度画像処理部１５内の図示しない画像メモリに格納される。また、モノクロ画像処理部１３は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、モノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する（Ｓ３）。この算出結果から得られるモノクロ画像のデータは、モノクロ画像処理部１３内の図示しない画像メモリに格納される。そして、白線識別部１４では、モノクロ画像処理部１３内の図示しない画像メモリに格納されたモノクロ画像のデータを用いて、上述した方法により白線認識処理を行う（Ｓ４）。
【００４２】
続いて、画像選択部１６で行われる画像選択処理（Ｓ５）について説明する。
図１５は、画像選択処理の流れを示すフローチャートである。
本実施形態においては、１つの撮像画像（１フレームの画像）を左右２つの選定エリアに区分し、選定エリアごとに、識別に用いる画像を選択するようにしている。これは、自車が走行する右側領域と左側領域とでは撮影状況が異なる場合があるからである。具体的には、例えば、自車が走行する右側領域は日向であるが、左側領域は日陰になっているというような状況である。上述したように、日向と日陰では、認識に適した画像の種類（モノクロ画像か差分偏光度画像か）が変わるので、このように１つの撮像画像を複数の選定エリアに区分してそれぞれに適した種類の画像を用いて識別を行うことは、画像全体としての識別精度を向上させる上で有益である。
もちろん、このように複数の選定エリアに区分することは必須ではなく、１つの撮像画像全体についてモノクロ画像と差分偏光度画像のいずれかを用いて識別を行うようにしてもよい。
また、用途によって区分方法は適宜選定され、本実施形態のように左右２つの選定エリアに区分することに限定されるものではない。
【００４３】
図１６（ａ）〜（ｄ）は、それぞれ撮影状況が異なる場合のモノクロ画像を示す説明図である。
図１６（ａ）は、撮像領域全体が一様に晴れの日の日向となっている場合の例である。この場合、白線識別部１４によりモノクロ画像に基づいて白線を識別することができるので、画像選択部１６は、白線識別部１４で識別された白線の位置を基準に、その白線の外側（画像左右方向外側）近傍に判定基準エリアＰ１，Ｐ２を設定する（Ｓ１１）。各判定基準エリアＰ１，Ｐ２は、１つの撮像画像（１フレームの画像）を左右２つに区分して得られる選定エリア内それぞれに設定される。各判定基準エリアＰ１，Ｐ２の設定箇所は、路面Ｓである可能性が高い箇所に設定される。
図１６（ｂ）は、撮像領域全体が一様に晴れの日の日陰となっている場合（雨又は曇りの日の場合も同様）の例である。この場合、白線識別部１４によりモノクロ画像に基づいて白線を識別することができないので、画像選択部１６は、白線識別部１４で識別された白線の位置を基準に判定基準エリアＰ１，Ｐ２を設定できない。よって、この場合は、予め実験等により決められた各選定エリア内の箇所（路面Ｓである可能性が高い箇所）にそれぞれ判定基準エリアＰ１，Ｐ２を設定する（Ｓ１１）。
図１６（ｃ）は、晴れの日の日向において撮像画像中左側の選定エリア内に日陰がある場合の例である。この場合、画像選択部１６は、右側の選定エリアについては、図１６（ａ）の場合と同様に、白線識別部１４で識別された白線の位置を基準にその白線の外側近傍に判定基準エリアＰ２を設定し、左側の選定エリアについては、図１６（ｂ）の場合と同様に、予め実験等により決められた箇所に判定基準エリアＰ１を設定する（Ｓ１１）。
図１６（ｄ）は、晴れの日の日向において撮像画像中右側の選定エリア内に日陰がある場合の例である。この場合、画像選択部１６は、左側の選定エリアについては、図１６（ａ）の場合と同様に、白線識別部１４で識別された白線の位置を基準にその白線の外側近傍に判定基準エリアＰ１を設定し、右側の選定エリアについては、図１６（ｂ）の場合と同様に、予め実験等により決められた箇所に判定基準エリアＰ２を設定する（Ｓ１１）。
【００４４】
画像選択部１６は、以上のようにして設定した判定基準エリアＰ１，Ｐ２のモノクロ輝度と差分偏光度のデータを取得し（Ｓ１２）、各判定基準エリアＰ１，Ｐ２のモノクロ輝度について、それぞれ、予め設定されたモノクロ閾値以上であるか否かを判断する（Ｓ１３）。そして、判定基準エリアＰ１，Ｐ２のモノクロ輝度がモノクロ閾値未満（Ｓ１３のＮｏ）であると判断された選定エリアについては、物体識別部１８での識別に用いる画像として差分偏光度画像を選択する（Ｓ１４）。ここで用いるモノクロ閾値は、その選定エリアの状況が晴れの日の日向のようにモノクロ画像にとって高い識別精度が得られる状況かどうかを判別するための基準となるもので、実験等により予め設定しておくことが可能である。したがって、モノクロ輝度がモノクロ閾値未満（Ｓ１３のＮｏ）であると判断された選定エリアは、晴れの日の日向（差分偏光度画像による認識精度が低い状況）ではないので、ここでは差分偏光度画像を選択する。
【００４５】
一方、判定基準エリアＰ１，Ｐ２のモノクロ輝度がモノクロ閾値以上（Ｓ１３のＹｅｓ）であると判断された選定エリアについては、続いて、各判定基準エリアＰ１，Ｐ２の差分偏光度について、それぞれ、予め設定された差分偏光度閾値以上であるか否かを判断する（Ｓ１５）。そして、判定基準エリアＰ１，Ｐ２の差分偏光度が差分偏光度閾値以上であると判断された選定エリアについては、物体識別部１８での識別に用いる画像として差分偏光度画像を選択する（Ｓ１４）。ここで用いる差分偏光度閾値は、その選定エリアの状況が差分偏光度画像に十分なコントラストが得られているかどうかを判別するための基準となるもので、実験等により予め設定しておくことが可能である。したがって、差分偏光度が差分偏光度閾値以上（Ｓ１５のＹｅｓ）であると判断された選定エリアは、差分偏光度画像に十分なコントラストが得られており、晴れの日の日向のように差分偏光度画像による認識精度が低い状況ではないので、ここでは差分偏光度画像を選択する。
【００４６】
他方、判定基準エリアＰ１，Ｐ２の差分偏光度が差分偏光度閾値未満（Ｓ１５のＮｏ）であると判断された選定エリアについては、物体識別部１８での識別に用いる画像としてモノクロ画像を選択する（Ｓ１６）。この場合、その選定エリアは、差分偏光度画像に十分なコントラストが得られておらず、かつ、晴れの日の日向のようにモノクロ画像に十分なコントラストが得られている状況なので、モノクロ画像を選択する。
【００４７】
以上のような画像選択処理を行うことで、図１６（ａ）に示した状況（撮像領域全体が一様に晴れの日の日向となっている状況）では、左右いずれの選定エリアも、モノクロ画像を用いて認識が行われる。
また、図１６（ｂ）に示した状況（撮像領域全体が一様に晴れの日の日陰となっている状況）では、左右いずれの選定エリアも、差分偏光度画像を用いて認識が行われる。
また、図１６（ｃ）に示した状況（晴れの日の日向において撮像画像中左側の選定エリア内に日陰がある状況）では、左側の選定エリアについては差分偏光度画像を用いて認識が行われ、右側の選定エリアについてはモノクロ画像を用いて認識が行われる。
また、図１６（ｄ）に示した状況（晴れの日の日向において撮像画像中右側の選定エリア内に日陰がある状況）では、右側の選定エリアについては差分偏光度画像を用いて認識が行われ、左側の選定エリアについてはモノクロ画像を用いて認識が行われる。
【００４８】
画像選択処理（Ｓ５）を終えたら、次に、物体識別部１８は、画像選択処理で選択された画像を用いて識別対象物の物体識別処理を行う（Ｓ６）。以下の説明では、識別対象物が路端エッジ部である場合を例に挙げて説明するが、識別対象物が白線エッジ部であったりその他の物体であったりする場合も同様である。なお、エッジ判別処理の内容は、モノクロ画像を用いる場合も差分偏光度画像を用いる場合も同様であるので、以下、差分偏光度画像を用いる場合を例に挙げて説明する。
【００４９】
図１７は、物体識別処理の流れを示すフローチャートである。
本実施形態の物体識別処理では、選定エリアごとに、画像選択処理で選択された画像（ここでは差分偏光度画像とする。）を入力し（Ｓ２１）、その画像に対してエッジ判別処理を行う。このエッジ判別処理では、まず、画像選択処理で選択された差分偏光度画像を元にエッジ画像を作成する（Ｓ２２）。このエッジ画像の作成は、処理対象として入力された差分偏光度画像に対して公知のエッジ抽出処理を施して作成する。エッジ抽出処理を施すことにより、差分偏光度が急激に変化する部分の変化度合いに応じたエッジ値（エッジの強さ）が得られ、そのエッジ値の違いを輝度の違いで表現したエッジ画像（図８〜図１０を参照。）を得ることができる。
【００５０】
具体的には、座標（ｘ，ｙ）における濃度の勾配を表す１次微分の値をベクトル量（ｆｘ，ｆｙ）として表現すると（ｆｘはｘ方向の微分を、ｆｙはｙ方向の微分を、それぞれ示す。）、エッジの強さは、下記の式（２）によって表される。このときの微分オペレータとしては、例えば下記の式（３）及び（４）に示すRobertsオペレータを利用することができる。
【数１】
【数２】
【００５１】
このようにしてエッジ画像を作成したら、次に、そのエッジ画像を２値化する処理を行う（Ｓ２３）。このときに用いるエッジ閾値としては、上述した判定基準エリアＰ１，Ｐ２におけるモノクロ輝度及び差分偏光度により適宜決められる値を用いる。
また、上述した画像選択処理における上記Ｓ１３及び上記Ｓ１５の判断結果を用いることで、撮像領域内の状況（路面の乾湿、天気など）を推測することが可能である。よって、その判断結果から路面の乾湿状態を推測し、過去の差分偏光度画像及びモノクロ画像のサンプル画像を路面の乾湿状態ごとに学習して、推測した路面の乾湿状態に応じて適切なエッジ閾値を決めるようにしてもよい。この場合、例えば雨の日のように路面が濡れていると鏡面反射成分が強くなるので、これを考慮した適切なエッジ閾値を設定することが可能となる。
また、撮像画像の上方部分と下方部分とでは、物体からの反射光の強度に差がある。これは、撮像画像の上方部分は遠くに位置する物体を撮影した部分であるため、近くに位置する物体を撮影した下方部分よりも、反射光の強度は小さいものとなる。したがって、撮像画像の上方部分と下方部分とではコントラストが異なることになるため、この違いを考慮し、撮像画像の上方部分と下方部分とで、用いるエッジ閾値を異ならせるようにしてもよい。
【００５２】
次に、物体識別部１８は、作成した２値化エッジ画像を用いて、識別対象物である路端エッジ部の候補点を抽出する処理を行う（Ｓ２４）。この処理では、まず、２値化したエッジ画像に対して複数の処理ラインを設定する。本実施形態の処理ラインは、２値化エッジ画像内の横１列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、２値化エッジ画像内の全画素に対して設定される必要はなく、２値化エッジ画像内の適切に選択された一部の画素について設定するようにしてもよい。また、処理ラインではなく、処理ブロック（縦横それぞれ２画素以上からなるブロック）単位で行ってもよい。この場合、例えば、２値化エッジ画像に対して複数の処理ブロックを設定し、処理ブロックごとに、２値化エッジ画像のばらつき度合い（散らばり度合い）を示す標準偏差を算出し、算出した標準偏差が基準偏差閾値以上である場合にその処理ブロック内にエッジが存在すると判定することができる。なお、処理ブロックは、矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。処理ブロックの大きさは、例えば１０×１０画素程度であってよい。なお、各処理ブロックは、同じサイズであっても、異なるサイズであってもよい。また、標準偏差に代えて、分散や平均偏差等の統計量が用いられてもよい。
【００５３】
ここで、識別対象物である路端エッジ部は、白線よりも外側に位置するものである。したがって、白線識別部１４により走行レーンの両側に位置する２つの白線が識別できている場合には、処理の簡素化のため、各処理ラインについて、各白線位置より外側に向かってエッジを探索する処理を行う。そして、この処理を処理ライン全部について行うことで、各白線よりも外側に位置するエッジ部を路端エッジ部の候補点として抽出する。
なお、白線識別部１４により白線が識別できていない場合には、各処理ラインについて、例えば画像中央から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行い、これにより得られるエッジ部を路端エッジ部の候補点として抽出する。
また、白線識別部１４により１本の白線だけが識別できている場合には、各処理ラインについて、その白線の内側部分から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行うことで、その白線を除いた画像部分に存在するエッジ部を路端エッジ部の候補点として抽出する。
【００５４】
このようにして路端エッジ部の候補点を抽出した後、物体識別部１８は、その路端エッジ部の候補点について形状近似認識処理を施し（Ｓ２５）、路端エッジ部を特定する。具体的には、まず、物体識別部１８は、路端エッジ部の候補点から一塊りの形状を認識し、これを、形状記憶部１７に記憶されている路端エッジ部の形状テンプレートと比較する。そして、路端エッジ部の候補点からなる形状が形状テンプレートと一致した場合、その路端エッジ部の候補点が路端エッジ部であると特定し、その位置を記憶する。
【００５５】
この形状近似認識処理では、抽出した路端エッジ部の候補点に対して形状近似認識により近似曲線を取得する。形状を認識する手法としては、最小二乗法やハフ変換やモデル方程式などの手法を用いる。なお、近似曲線を取得する際、信頼性の高い撮像画像の下方部分に位置する路端エッジ部の候補点ほど形状近似の投票値に大きな重みを持たせるようにすることが望ましい。このようにすれば、信頼性の低い撮像画像の上方部分で誤認識された路端エッジ部の候補点が存在しても、信頼性の高い撮像画像の下方部分で正常に認識された路端エッジ部の候補点が存在すれば、路端エッジ部を適切に特定することができる。
【００５６】
また、路端エッジ部の特定精度を高めるために、次のような処理を付加してもよい。
上述した物体識別処理（Ｓ２１〜Ｓ２５）を、偏光カメラ１０にて所定の時間間隔で連続的に撮影して得られる偏光画像データについて行い。路端エッジ部であると特定された領域については、その処理結果が所定のメモリに記憶される。このメモリに記憶される過去の処理結果（例えば、直前に撮像された偏光画像データについての処理結果）を利用し、今回の処理により特定された路端エッジ部が、その領域に対応する過去の処理結果でも路端エッジ部であると特定されていれば、今回の処理結果が信頼度の高いものであると判断する。そして、この信頼度を路端エッジ部として特定する際に利用する。今回の処理結果に係る領域に対応する過去の処理結果は、例えば、今回の処理結果に係る領域の位置と自車の進行方向とから、対応する過去の処理結果に係る領域の位置を検索して、対応する過去の処理結果を特定する。
【００５７】
〔変形例１〕
次に、上記実施形態に係る物体識別装置において上記所定の選択条件に用いる差分偏光度閾値の設定を変更可能に構成した一変形例（以下、本変形例を「変形例１」という。）について説明する。
なお、本変形例１における物体識別装置の構成や動作において上記実施形態のものと同様の部分については説明を省略する。
【００５８】
本変形例１においても、１つの撮像画像（１フレームの画像）を左右２つの選定エリアに区分し、選定エリアごとに、識別に用いる画像を選択するようにしている。具体的には、画像選択部１６は、白線識別部１４で識別された白線の位置を基準に、その白線の外側（画像左右方向外側）近傍に判定基準エリアＰ１，Ｐ２を設定し、各判定基準エリアＰ１，Ｐ２のモノクロ輝度と差分偏光度のデータを取得する。そして、判定基準エリアＰ１，Ｐ２のモノクロ輝度が予め設定されたモノクロ閾値未満である場合、その選定エリアについては、物体識別部１８での識別に用いる画像として差分偏光度画像を選択する。一方、判定基準エリアＰ１，Ｐ２のモノクロ輝度が予め設定されたモノクロ閾値以上である場合、画像選択部１６は、その判定基準エリアＰ１，Ｐ２の差分偏光度が予め設定された差分偏光度閾値以上であるか否かを判断する。この判断において、判定基準エリアＰ１，Ｐ２の差分偏光度が差分偏光度閾値以上であると判断された選定エリアについては、物体識別部１８での識別に用いる画像として差分偏光度画像を選択する。一方、判定基準エリアＰ１，Ｐ２の差分偏光度が差分偏光度閾値未満であると判断された選定エリアについては、物体識別部１８での識別に用いる画像としてモノクロ画像を選択する。
【００５９】
ここで、路面Ｓである可能性が高い判定基準エリアＰ１，Ｐ２からの反射光を偏光カメラ１０で受光して得られるＰ偏光強度及びＳ偏光強度並びにこれらの合計値であるモノクロ輝度は、同じ判定基準エリアＰ１，Ｐ２であってもその路面状態に応じて異なる値をとる。したがって、各判定基準エリアＰ１，Ｐ２のＰ偏光強度及びＳ偏光強度に基づく差分変更度を用いて物体識別部１８での識別に適しているのは差分偏光度画像かモノクロ画像かを選択するための差分偏光度閾値の最適値も、判定基準エリアＰ１，Ｐ２の路面状態によって異なる値をなる。そこで、本変形例１では、判定基準エリアＰ１，Ｐ２の路面状態に応じて差分偏光度閾値を調整するようにしている。
【００６０】
図１８は、本変形例１における物体識別処理で用いる差分偏光度閾値の設定変更用テーブルを示す説明図である。
本変形例１においては、路面状態が、乾燥状態である場合、濡れた状態である場合、積雪状態である場合の３種類に区分し、その区分ごとに適した差分偏光度閾値を設定変更用テーブルに格納してある。路面状態は、１つの撮像画像（１フレームの画像）内の複数のサンプル箇所のＰ偏光強度やＳ偏光強度あるいは差分偏光度を用いることにより判別可能である。
【００６１】
図１９（ａ）〜（ｃ）は、図１８に示す設定変更用テーブルの各路面状態における外光の反射特性を説明するための説明図である。
図１９（ｂ）は、路面が濡れた状態であるときの外光の反射特性を示したものである。このような湿潤時の路面は、その表面（アスファルト等）の凹凸部分に水が溜まることによって鏡面に近い状態となる。そのため、その反射光は、鏡面における偏光特性を示す。鏡面における反射光のＳ偏光成分は、入射角がブリュースター角に等しいときにその反射光強度が０となり、Ｐ偏光成分は入射角の増大に伴ってその反射光強度が増加するという特性を示す。
【００６２】
図１９（ａ）は、路面が乾燥状態であるときの外光の反射特性を示したものである。乾燥時の路面は、その表面が粗面であるため、乱反射が支配的となる。そのため、乾燥時の路面からの反射光は、上述した湿潤時と比較して反射光の偏光特性が小さくなり、Ｓ偏光成分よりもＰ偏光成分の法が僅かに多くなる程度である。
【００６３】
図１９（ｃ）は、路面が積雪状態であるときの外光の反射特性を示したものである。上述した湿潤時、乾燥時の路面からの反射光は、図１９（ａ）や図１９（ｂ）に示したように、強い指向性を示す。これに対し、路面が積雪状態である場合には、図１９（ｃ）に示すように、路面からの反射光が全体に散乱し、その反射光は偏光特性を示さず、各偏光成分の反射率はほぼ等しくなる。
【００６４】
以上のような各路面状態における反射光の偏光特性の違いによって路面状態を判別することができる。例えば、濡れた状態の路面では差分偏光度が最も大きい値をとり、積雪状態の路面では差分偏光度がほぼ０を示すので最も小さい値をとるので、差分偏光度の違いによって路面状態を判別することができる。
【００６５】
図１８に示した設定変更用テーブルに記述する各区分の適した差分偏光度閾値は、例えば、各区分に対応する路面状態における差分偏光度画像及びモノクロ輝度画像のサンプル画像を複数用意し、これらのサンプル画像により学習して決定する。設定変更用テーブルは、所定のメモリに記憶しておく。
【００６６】
本変形例１における画像選択部１６は、差分偏光度閾値を用いた判断に先立って、撮像画像内の複数のサンプル箇所のＰ偏光強度やＳ偏光強度あるいは差分偏光度から、路面状態が、乾燥状態であるか、濡れた状態であるか、積雪状態であるかを判別する。そして、その判別結果に対応する差分偏光度閾値を設定変更用テーブルから読み出し、判定基準エリアＰ１，Ｐ２の差分偏光度がその差分偏光度閾値以上であるか否かを判断する。
【００６７】
図２０は、路面状態の判別処理の流れの一例を示すフローチャートである。
まず、上記Ｓ１１と同様にして判定基準エリアＰ１，Ｐ２を設定したら（Ｓ３１）、各判定基準エリアＰ１，Ｐ２のモノクロ輝度及び差分偏光度のデータを取得する（Ｓ３２）。そして、まず、取得したモノクロ輝度について、予め設定された第１閾値以上であるか否かを判断する（Ｓ３３）。モノクロ輝度が第１閾値以上である場合、その選定エリアの路面状態は、乾燥した路面又は積雪状態の路面である可能性が高く、濡れた路面である可能性が低い。そこで、判定基準エリアＰ１，Ｐ２のモノクロ輝度が第１閾値未満であると判断された選定エリアについては、次に、取得した差分偏光度について、予め設定された第２閾値以上であるか否かを判断する（Ｓ３４）。その結果、差分偏光度が第２閾値以上であると判断された選定エリアについては、その路面が濡れた状態であると判定する（Ｓ３５）。
【００６８】
一方、判定基準エリアＰ１，Ｐ２のモノクロ輝度が第１閾値以上であると判断された場合や、差分偏光度が第２閾値未満であると判断された選定エリアについては、次に、取得した差分偏光度が予め設定された第３閾値以上であるか否かを判断する（Ｓ３６）。ここで、差分偏光度が第３閾値以上であると判断された選定エリアについては、その路面が乾燥した状態であると判定する（Ｓ３７）。
他方、取得した差分偏光度が予め設定された第３閾値未満であると判断された選定エリアについては、その路面が積雪状態であると判定する（Ｓ３８）。
【００６９】
本変形例１によれば、物体識別部１８での識別に適しているのは差分偏光度画像かモノクロ画像かを選択するにあたり、路面状態の違いによって不適切な選択がなされることが少なくなり、物体識別精度を更に向上させることができる。
なお、本変形例１では、差分偏光度だけでなくモノクロ輝度も併用して路面状態を判定しているが、差分偏光度だけでも同様の判定が可能である。
【００７０】
〔変形例２〕
次に、上記実施形態に係る物体識別装置において判定基準エリアＰ１，Ｐ２の場所を変更した一変形例（以下、本変形例を「変形例２」という。）について説明する。
なお、本変形例２における物体識別装置の構成や動作において上記実施形態のものと同様の部分については説明を省略する。
【００７１】
上述したように、撮像画像の上方部分と下方部分とでは、遠くに位置する物体を撮影した部分である上方部分よりも近くに位置する物体を撮影した下方部分の方が反射光の強度が大きく、信頼度が高い。よって、本変形例２では、物体識別部１８での識別に適しているのは差分偏光度画像かモノクロ画像かを選択するためのＰ偏光強度及びＳ偏光強度を得る判定基準エリアＰ１，Ｐ２を、撮像画像の下方部分に設定する。
【００７２】
図２１（ａ）〜（ｄ）は、それぞれ撮影状況が異なる撮像領域を模式的に表した説明図である。
本変形例２においては、判定基準エリアＰ１，Ｐ２を設定するにあたり、画像選択部１６は、まず、撮像画像の下方部分を格子状に分割して、複数の判定基準対象ブロックを作成する。例えば、撮像画像の画像サイズが７５２×４８０［ｐｉｘｅｌ］である場合、画像上端から３６０ライン目と４００ライン目との間の画像部分を、５×５［ｐｉｘｅｌ］からなる判定基準対象ブロックに分割する。
【００７３】
図２１（ａ）は、自車両の走行レーンの両側にそれぞれ白線が検出される場合の例である。
この場合、画像選択部１６は、白線識別部１４で識別された２本の白線の位置を基準に、各白線の外側（画像左右方向外側）近傍に判定基準エリアＰ１，Ｐ２を設定する。具体的には、まず、判定基準対象ブロックについて撮像画像下側から上側に向けて走査し、白線識別部１４で識別された２本の白線の位置を特定する。２本の白線の位置を特定できたら、今度は各白線から外側（画像左右方向外側）へそれぞれ走査する。そして、対象の判定基準対象ブロックとその周囲の判定基準対象ブロックとの間で、Ｐ偏光強度やＳ偏光強度あるいは差分偏光度について同様のヒストグラム分布が得られたとき、当該対象の判定基準対象ブロックを判定基準エリアＰ１，Ｐ２として設定する。
【００７４】
図２１（ｂ）は、自車両の走行レーンの右側に白線が検出される場合の例である。
この場合、画像選択部１６は、まず、判定基準対象ブロックについて撮像画像下側から上側に向けて走査し、白線識別部１４で識別された１本の白線（画像右側）の位置を特定する。このように画像右側の白線位置を特定できたら、画像右側の選定エリアに対応する判定基準エリアＰ２を特定するための走査は、その白線から外側（画像右側）に向けて行う。一方、画像左側の選定エリアに対応する判定基準エリアＰ１を特定するための走査は、画像左右方向中央から左側に向けて行う。なお、判定基準エリアＰ１，Ｐ２とする判定基準対象ブロックを決定方法は、図２１（ａ）の場合と同様、対象の判定基準対象ブロックとその周囲の判定基準対象ブロックとの間で、Ｐ偏光強度やＳ偏光強度あるいは差分偏光度について同様のヒストグラム分布が得られたとき、当該対象の判定基準対象ブロックを判定基準エリアＰ１，Ｐ２として設定する。
【００７５】
図２１（ｃ）は、自車両の走行レーンの左側に白線が検出される場合の例である。
この場合、画像選択部１６は、まず、判定基準対象ブロックについて撮像画像下側から上側に向けて走査し、白線識別部１４で識別された１本の白線（画像左側）の位置を特定する。このように画像左側の白線位置を特定できたら、画像左側の選定エリアに対応する判定基準エリアＰ１を特定するための走査は、その白線から外側（画像左側）に向けて行う。一方、画像右側の選定エリアに対応する判定基準エリアＰ２を特定するための走査は、画像左右方向中央から右側に向けて行う。なお、判定基準エリアＰ１，Ｐ２とする判定基準対象ブロックを決定方法は、図２１（ａ）の場合と同様、対象の判定基準対象ブロックとその周囲の判定基準対象ブロックとの間で、Ｐ偏光強度やＳ偏光強度あるいは差分偏光度について同様のヒストグラム分布が得られたとき、当該対象の判定基準対象ブロックを判定基準エリアＰ１，Ｐ２として設定する。
【００７６】
図２１（ｄ）は、白線が検出されない場合の例である。
この場合、画像選択部１６は、画像左右方向中央から右側と左側に向けて走査する。そして、図２１（ａ）の場合と同様、対象の判定基準対象ブロックとその周囲の判定基準対象ブロックとの間で、Ｐ偏光強度やＳ偏光強度あるいは差分偏光度について同様のヒストグラム分布が得られたとき、当該対象の判定基準対象ブロックを判定基準エリアＰ１，Ｐ２として設定する。
【００７７】
なお、判定基準対象ブロックについて走査して得られた白線位置が、近い過去（例えば直近５フレーム前まで）の１つ以上の撮影画像における白線位置と同様の位置であった場合には、当該過去の撮影画像で設定した判定基準エリアＰ１，Ｐ２をそのまま用いるようにしてもよい。この場合、例えば直近５フレーム前までの撮影画像中のすべてから白線がロストしたときに、図２１（ａ）〜（ｄ）を参照して説明した上述の方法により判定基準エリアＰ１，Ｐ２を設定する。
【００７８】
以上、本実施形態に係る物体識別装置は、撮像領域内に存在する識別対象物である路端エッジ部を撮像した撮像画像中における路端エッジ部の画像領域を識別する物体識別装置である。この物体識別装置は、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像（Ｐ偏光画像及びＳ偏光画像）を撮像する撮像手段としての偏光カメラ１０と、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像をそれぞれ所定の処理領域（画素ごと）に分割し、画素ごとに、Ｐ偏光画像及びＳ偏光画像間における輝度合計値であるモノクロ輝度を算出する輝度算出手段としてのモノクロ画像処理部１３と、画素ごとに当該輝度合計値に対するＰ偏光画像及びＳ偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段としての差分偏光度画像処理部１５と、差分偏光度画像処理部１５が算出する差分偏光度が所定の選択条件を満たすか否かを判断する選択条件判断手段としての画像選択部１６と、画像選択部１６が所定の選択条件を満たすと判断した場合には、差分偏光度画像処理部１５が算出した差分偏光度に基づいて路端エッジ部に対応する画素を特定し、画像選択部１６が所定の選択条件を満たさないと判断した場合には、モノクロ画像処理部１３が算出したモノクロ輝度に基づいて路端エッジ部に対応する画素を特定し、路端エッジ部に対応する画素として特定した互いに近接する複数の画素を路端エッジ部の画像領域であると識別する物体識別処理を行う物体識別処理手段としての物体識別部１８とを有する。これにより、晴れの日の日向や日陰あるいは雨の日や曇りの日などの状況が違っても、高い識別精度で路端エッジ部を識別することができる。
また、本実施形態において、画像選択部１６は、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像を区分して得られる複数の選定エリア（画像を左右２つに区分して得られる選定エリア）ごとに、差分偏光度画像処理部１５が算出する差分偏光度が所定の選択条件を満たすか否かを判断し、物体識別部１８は、画像選択部１６が所定の選択条件を満たすと判断した選定エリアについては、差分偏光度画像処理部１５が算出した差分偏光度に基づいて路端エッジ部に対応する画素を特定し、画像選択部１６が所定の選択条件を満たさないと判断した選定エリアについては、モノクロ画像処理部１３が算出したモノクロ輝度に基づいて路端エッジ部に対応する画素を特定する。これにより、選定エリアごとに状況が異なる場合でも、各選定エリアをそれぞれの状況に応じた画像を用いて路端エッジ部を識別して、全体として高い識別精度を得ることができる。
また、本実施形態においては、上記変形例１で説明したように、画像選択部１６を、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像内に設定される所定箇所（判定基準エリアＰ１，Ｐ２）のモノクロ輝度及び差分偏光度の少なくとも一方から上記所定の選択条件に用いる差分偏光度閾値を設定する閾値設定手段として機能させ、上記所定の選択条件に、差分偏光度画像処理部１５が算出する差分偏光度が上記差分偏光度閾値以上であるという条件を含ませてもよい。これにより、差分偏光度画像について高いコントラストが得られる場合には、差分偏光度画像を用いて路端エッジ部の識別が行われるので、路端エッジ部を高い精度で識別することができる。
また、本実施形態では、更に、上記所定の選択条件に、モノクロ画像処理部１３が算出するモノクロ輝度がモノクロ閾値未満であるという条件を含んでいる。これにより、モノクロ画像では十分なコントラストが得られない状況下については、差分偏光度画像を用いて路端エッジ部の識別が行われる。多くの場合、モノクロ画像で十分なコントラストが得られない状況下では、差分偏光度画像によればモノクロ画像よりも高いコントラストが得られる。よって、そのような状況下でもより高い識別精度を得ることが可能となる。
また、本実施形態において、物体識別部１８は、路端エッジ部に対応する画素を特定する処理として、互いに隣接する処理領域間の輝度もしくは差分偏光度の違いの大きさを示すエッジ値を算出するエッジ抽出処理を行い、これにより抽出したエッジ値に基づいて路端エッジ部に対応する処理領域を特定する処理を行う。これにより、迅速かつ高い精度で路端エッジ部を識別することができる。
特に、本実施形態のように、エッジ抽出処理により抽出したエッジ値を所定のエッジ閾値により２値化処理し、その２値化処理後の値に基づいて路端エッジ部に対応する処理領域を特定する処理を行い、物体識別部１８を、差分偏光度画像処理部１５が算出した差分偏光度及びモノクロ画像処理部１３が算出したモノクロ輝度の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段、及び、判別した状況に応じてエッジ閾値を決定するエッジ閾値決定手段として機能させることで、状況の依存性が少ない安定した識別が可能となる。
この場合、本実施形態のように、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いてエッジ閾値を決定することで、より適切なエッジ閾値を用いることができ、より高い精度で路端エッジ部を識別することができる。
また、本実施形態では、路端エッジ部を偏光カメラ１０により撮像したときの形状を示す形状情報としての形状テンプレートを記憶する形状情報記憶手段しての形状記憶部１７を設け、物体識別部１８は、路端エッジ部に対応する画素として特定した互いに近接する複数の画素により示される形状が形状記憶部１７に記憶されている路端エッジ部の形状テンプレートの形状に近似しているかどうかを判断する形状近似判断処理を行い、その形状近似判断処理により近似していると判断したときには、当該複数の画素を路端エッジ部の画像領域であると識別する。これにより、より高い精度で路端エッジ部を識別することができる。
この場合、上記形状近似判断処理において、Ｐ偏光画像及びＳ偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域（上下２つ）に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる画像上方部分よりも撮像距離が近い区域に含まれる画像下方部分の方が判断結果に与える影響が大きいように重み付けを行う。これにより、より高い精度で路端エッジ部を識別することができる。
また、物体識別部１８が過去に行った識別処理の結果を記憶する識別処理結果記憶手段としてのメモリに保存しておき、物体識別部１８は、このメモリに保存しておいた過去の識別処理の結果も用いて識別処理を行う。これにより、過去の識別結果と同じ結果が得られたか否かについて識別結果の信頼度を判断することが可能となる。
【００７９】
なお、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
【符号の説明】
【００８０】
１０ 偏光カメラ
１１ 水平偏光画像メモリ
１２ 垂直偏光画像メモリ
１３ モノクロ画像処理部
１４ 白線識別部
１５ 差分偏光度画像処理部
１６ 画像選択部
１７ 形状記憶部
１８ 物体識別部
【先行技術文献】
【特許文献】
【００８１】
【特許文献１】特開平１１−１７５７０２号公報
【技術分野】
【０００１】
本発明は、撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置に関するものである。
【背景技術】
【０００２】
この種の物体識別装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などに広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような車両走行支援システムにおいては、自車が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現するために、自車の周囲に存在する障害物、先行車、車線などの物体を適切に区別して認識する（識別する）ことが必要となる。そのため、従来から様々な物体識別装置が提案されている。
【０００３】
特許文献１には、撮影により得られた道路画像（撮像画像）から画像内のラインを検出することにより車両の走行レーンを区画する車線（白線）に対する自車の相対変位を検出するために、車線（物体）を識別するための物体識別装置が開示されている。この物体識別装置では、雨天により道路上に水たまりが存在する場合、太陽光等がこの水たまりで鏡面反射して、道路上の車線（白線）と同程度の輝度で撮影されることにより、水たまり部分を車線（白線）と誤認識してしまうという問題を解決するものである。具体的には、白線識別処理を行う前に道路画像から水たまり部分を取り除くため、撮影した道路画像から鏡面反射成分のみを除去することにより水たまり部分を取り除き、残りの散乱光成分から白線を認識する。鏡面反射成分のみを除去する方法としては、鏡面反射の水平偏光成分はブリュースター角でほぼ０となること、及び、散乱光成分は垂直偏光成分と水平偏光成分がほぼ等量含まれていることを利用して、次のように行っている。すなわち、撮影した道路画像中の垂直偏光成分と水平偏光成分との差分を算出し、その差分値に対し、水平偏光成分中に含まれる入射角に応じた鏡面反射成分を除去するための補正係数を乗じることで、鏡面反射成分を算出する。そして、算出した鏡面反射成分を水平偏光成分から差し引くことで、道路画像から鏡面反射成分のみを除去した錯乱光成分の画像を得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の物体識別装置の多くは、撮像画像中の輝度の違いを利用して、路面上に存在する障害物（路端に存在する側壁、ガードレール、電信柱、街灯、歩行者通路の段差部等の路端障害物など）、先行車、車線などの識別対象物の境界（エッジ）を抽出し、そのエッジにより区画される領域を識別対象物の画像領域であると識別するものが一般的である。しかしながら、この方法では、路面上に輝度が大きく異なる部分が存在すると、これらの部分間の境界をエッジであるとして抽出してしまい、路面の一部を車線等の識別対象物であると誤認識してしまう場合がある。特に、路面上の日向部分と日陰部分との間では輝度に大きな違いがあるため、路面上の日陰部分（輝度が小さい部分）を日向部分（輝度が大きい部分）の路面とは別の物体であると誤認識してしまう場合がある。このような誤認識は、例えばＡＣＣであれば誤認識した日陰部分を路端に存在する側壁等の障害物であるとして、衝突回避動作を実施してしまうなど、誤制御あるいは誤処理を引き起こす原因となる。
【０００５】
本出願人は、特願２００９−２９５９６３号において、撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに得られる当該２つの偏光画像間における輝度合計値に対する当該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出した結果を用いて路面上の立体物を識別する方法を提案した。詳しくは、算出した差分偏光度に基づいて識別対象物に対応する処理領域を特定し、識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域を識別対象物の画像領域であると識別する方法である。この方法によれば、輝度の違いを利用する従来の方法では撮像画像中の輝度に明確な違いがないために識別精度が悪い状況であっても、撮像画像中の立体物を高い精度で識別することが可能である。
【０００６】
しかしながら、本発明者らは、研究の結果、差分偏光度を用いて撮像画像中における立体物などの識別対象物の画像領域を識別する場合でも、その撮像状況によっては、高い識別精度が得られない場合があるという知見を得た。詳しくは、算出した差分偏光度により得られる差分偏光度画像のコントラストが低くなるような撮像状況下で撮像して得た撮像画像については、差分偏光度を用いても、その撮像画像中の識別対象物の画像領域を高い精度で識別できない場合があるという問題があることを見出したのである。具体例を挙げると、例えば晴れの日の順光時における路面上の路端障害物や車線を識別する場合には、差分偏光度を用いても高い識別精度で識別することができない場合がある。
【０００７】
以上の問題は、運転者支援システムに用いられる物体識別装置に限らず、ロボット制御などに用いられる物体識別装置など、あらゆる物体識別装置においても同様に生じ得る問題である。
また、この問題を、撮像手段とは別の検出機器を新たに用意して解決することは、コストが高騰するため好ましくない。よって、従来の物体識別装置において物体からの反射光強度（輝度）を検出するために一般に用いられている検出機器である撮像手段を用いて、上記問題を解決することができれば、コストの観点から有益である。
【０００８】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、差分偏光度を用いて撮像画像中における識別対象物の画像領域を識別することが困難な状況下であっても、その撮像画像中の識別対象物の画像領域を高い精度で識別することが可能な物体識別装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１の発明は、撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置において、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該２つの偏光画像間における輝度合計値を算出する輝度算出手段と、該処理領域ごとに、該輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、該差分偏光度算出手段が算出する差分偏光度が所定の選択条件を満たすか否かを判断する選択条件判断手段と、該選択条件判断手段が該所定の選択条件を満たすと判断した場合には、該差分偏光度算出手段が算出した差分偏光度に基づいて上記識別対象物に対応する処理領域を特定し、該選択条件判断手段が該所定の選択条件を満たさないと判断した場合には、該輝度算出手段が算出した輝度合計値に基づいて上記識別対象物に対応する処理領域を特定し、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域を該識別対象物の画像領域であると識別する物体識別処理を行う物体識別処理手段とを有することを特徴とするものである。
また、請求項２の発明は、請求項１の物体識別装置において、上記選択条件判断手段は、上記撮像手段が撮像した２つの偏光画像を区分して得られる複数の選定エリアごとに、上記差分偏光度算出手段が算出する差分偏光度が上記所定の選択条件を満たすか否かを判断し、上記物体識別処理手段は、該選択条件判断手段が該所定の選択条件を満たすと判断した選定エリアについては、該差分偏光度算出手段が算出した差分偏光度に基づいて上記識別対象物に対応する処理領域を特定し、該選択条件判断手段が該所定の選択条件を満たさないと判断した選定エリアについては、上記輝度算出手段が算出した輝度合計値に基づいて上記識別対象物に対応する処理領域を特定することを特徴とするものである。
また、請求項３の発明は、請求項１又は２の物体識別装置において、上記撮像手段が撮像した２つの偏光画像内に設定される所定箇所の輝度合計値及び差分偏光度の少なくとも一方から、上記所定の選択条件に用いる差分偏光度用閾値を設定する閾値設定手段を有し、上記所定の選択条件は、上記差分偏光度算出手段が算出する差分偏光度が上記差分偏光度用閾値以上であるという条件を含むことを特徴とするものである。
また、請求項４の発明は、請求項３の物体識別装置において、上記所定の選択条件は、上記輝度算出手段が算出する輝度合計値が所定の閾値未満であるという条件を含むことを特徴とするものである。
また、請求項５の発明は、請求項１乃至４のいずれか１項に記載の物体識別装置において、上記物体識別処理手段は、上記識別対象物に対応する処理領域を特定する処理として、互いに隣接する処理領域間の輝度もしくは差分偏光度の違いの大きさを示すエッジ値を算出するエッジ抽出処理を行い、これにより抽出したエッジ値に基づいて該識別対象物に対応する処理領域を特定する処理を行うことを特徴とするものである。
また、請求項６の発明は、請求項５の物体識別装置において、上記物体識別処理手段は、上記エッジ抽出処理により抽出したエッジ値を所定のエッジ閾値により２値化処理し、その２値化処理後の値に基づいて上記識別対象物に対応する処理領域を特定する処理を行うものであり、上記差分偏光度算出手段が算出した差分偏光度及び上記輝度算出手段が算出した輝度合計値の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段と、該状況判別手段が判別した状況に応じて該エッジ閾値を決定するエッジ閾値決定手段とを有することを特徴とするものである。
また、請求項７の発明は、請求項６の物体識別装置において、上記エッジ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記エッジ閾値を決定することを特徴とするものである。
また、請求項８の発明は、請求項５乃至７のいずれか１項に記載の物体識別装置において、上記識別対象物を上記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、上記物体識別処理手段は、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域により示される形状が上記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断する形状近似判断処理を行い、該形状近似判断処理により近似していると判断したときには、該複数の処理領域を該識別対象物の画像領域であると識別することを特徴とするものである。
また、請求項９の発明は、請求項８の物体識別装置において、上記物体識別処理手段が行う上記形状近似判断処理では、上記２つの偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる部分よりも撮像距離が近い区域に含まれる部分の方が判断結果に与える影響が大きいように重み付けを行うことを特徴とするものである。
また、請求項１０の発明は、請求項１乃至９のいずれか１項に記載の物体識別装置において、上記物体識別処理手段が過去に行った上記物体識別処理の結果を記憶する識別処理結果記憶手段を有し、上記物体識別処理手段は、上記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて上記物体識別処理を行うことを特徴とするものである。
【００１０】
本発明者らは、研究の結果、差分偏光度を用いて撮像画像中における識別対象物の画像領域を識別することが困難な状況下であっても、輝度を用いて識別を行うことにより、差分偏光度を用いて識別する場合よりも高い精度での識別が可能であるという知見を得た。この知見に基づき、本発明では、差分偏光度算出手段が算出する差分偏光度が所定の選択条件を満たすか否かを判断し、満たすと判断した場合は差分偏光度に基づいて識別対象物に対応する処理領域を特定するが、満たさないと判断した場合は輝度に基づいて識別対象物に対応する処理領域を特定する。これにより、差分偏光度を用いた場合には高い識別精度が得られない状況下では輝度を用いて識別を行うことが可能となり、そのような状況下であっても差分偏光度よりも高い識別精度を得ることが可能となる。
しかも、本発明によれば、識別に用いる輝度として、差分偏光度を算出するために用いる撮像手段が撮像した２つの偏光画像間の輝度合計値を使用するので、識別に用いる輝度を得るために新たな検出機器を設けることは不要である。
なお、差分偏光度を用いた場合には高い識別精度が得られない状況が撮像画像中の一部分に存在している場合には、当該一部分については輝度を用いて識別対象物に対応する処理領域を特定し、残りの部分は差分偏光度を用いて識別対象物に対応する処理領域を特定するようにしてもよい。
【発明の効果】
【００１１】
以上、本発明によれば、差分偏光度を用いて撮像画像中における識別対象物の画像領域を識別することが困難な状況下であっても、その撮像画像中の識別対象物の画像領域を高い精度で識別することが可能となるという優れた効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムに利用可能な偏光カメラの一構成例を示す説明図である。
【図３】同運転者支援システムに利用可能な偏光カメラの他の構成例を示す説明図である。
【図４】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図５】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図６】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図７】同運転者支援システムに利用可能な偏光カメラの更に他の構成例を示す説明図である。
【図８】（ａ）〜（ｄ）は、雨の日あるいは曇りの日の昼間に、自動車に搭載した偏光カメラで走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図である。
【図９】（ａ）〜（ｄ）は、晴れの日の昼間に、自動車に搭載した偏光カメラで走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図である。
【図１０】（ａ）〜（ｄ）は、晴れの日の昼間に、日陰となっている場所において、自動車に搭載した偏光カメラで走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図である。
【図１１】実験室において、アスファルト面に対し、光源位置を変化させ、固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影する実験の概要を示す説明図である。
【図１２】同実験で得られた差分偏光度の変化の一例を示すグラフである。
【図１３】太陽からの光の散乱光成分を光源とした路面の差分偏光度を示すグラフである。
【図１４】路端エッジ部と白線エッジ部を識別する処理の流れを示すフローチャートである。
【図１５】画像選択処理の流れを示すフローチャートである。
【図１６】（ａ）〜（ｄ）は、それぞれ撮影状況が異なる場合のモノクロ画像を示す説明図である。
【図１７】物体識別処理の流れを示すフローチャートである。
【図１８】変形例１における物体識別処理で用いる差分偏光度閾値の設定変更用テーブルを示す説明図である。
【図１９】（ａ）〜（ｃ）は、図１８に示す設定変更用テーブルの各路面状態における外光の反射特性を説明するための説明図である。
【図２０】路面状態の判別処理の流れの一例を示すフローチャートである。
【図２１】（ａ）〜（ｄ）は、それぞれ撮影状況が異なる撮像領域を模式的に表した説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る物体識別装置を用いて、走行路面と路端障害物との境界である識別対象物としての路端エッジ部や白線エッジ部を識別し、その結果を用いて車両の運転者（ドライバー）の運転負荷を軽減させるための運転者支援システムに適用した一実施形態について説明する。
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ１０により、移動体である車両が走行する路面（移動面）を含む自車周囲の風景を撮影し、画素（処理領域）ごとの垂直偏光強度（以下、単に「Ｓ偏光強度」という。）及び水平偏光強度（以下、単に「Ｐ偏光強度」という。）を含んだ偏光ＲＡＷ画像データを取得する。偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データは水平偏光画像メモリ１１に、偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データは垂直偏光画像メモリ１２にそれぞれ格納される。これらの画像データは、それぞれ、輝度算出手段としてのモノクロ画像処理部１３と、差分偏光度算出手段としての差分偏光度画像処理部１５に送信される。
【００１４】
偏光カメラ１０は、受光素子であるＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する周囲画像を撮像するものである。偏光カメラ１０は、リアルタイムに近い短い時間間隔で周囲画像を連続的に取得するのが好ましい。偏光カメラ１０は、例えばルームミラーに取り付けられ、車両前方の風景（路面を含むフロントビュー）を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の風景を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の風景を撮像するものであってもよい。本実施形態では、ルームミラーに取り付けられて車両前方の風景（路面を含むフロントビュー）を撮像する場合を例に挙げて説明する。
【００１５】
図２は、偏光カメラ１０の一構成例を示す説明図である。
この偏光カメラ１０Ａは、図２に示すように、ＣＣＤ等の撮像素子を備えた１台のカメラ１０１の前面に、回転駆動する回転偏光子１０２を配置したものである。この偏光カメラ１０Ａは、回転偏光子１０２の回転角に応じて通過する光の偏光方向が変化する。よって、カメラ１０１は、回転偏光子１０２を回転駆動させながら撮像することで、Ｐ偏光画像とＳ偏光画像とを交互に撮像することができる。
【００１６】
図３は、偏光カメラ１０の他の構成例を示す説明図である。
この偏光カメラ１０Ｂは、図３のように、ＣＣＤ等の撮像素子を備えた２台のカメラ１１１，１１２を用い、それぞれの前面に、Ｓ偏光を透過するＳ偏光フィルタ１１３とＰ偏光を透過するＰ偏光フィルタ１１４とを配置したものである。図２に示した偏光カメラ１０Ａでは、１台のカメラ１０１でＰ偏光画像とＳ偏光画像とを交互に撮像するため、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができなかったが、図３に示した偏光カメラ１０Ｂでは、Ｐ偏光画像とＳ偏光画像とを同時に撮影することができる。
【００１７】
図４は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｃは、図４に示すように、撮像素子がＰ偏光画像とＳ偏光画像とについて個別に設けられている点では、図３に示した偏光カメラ１０Ｂと同様であるが、各撮像素子が図３に示した偏光カメラ１０Ｂの場合よりも近接配置されている点で大きく異なる。この偏光カメラ１０Ｃによれば、図３に示した偏光カメラ１０Ｂよりも小型化できる。図４に示す偏光カメラ１０Ｃは、レンズアレイ１２２と、遮光スペーサ１２３と、偏光フィルタ１２４と、スペーサ１２５と、固体撮像ユニット１２６とが積層されて形成されている。レンズアレイ１２２は、２つの撮像レンズ１２２ａ，１２２ｂを有する。この２つの撮像レンズ１２２ａ，１２２ｂは、互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、それぞれの光軸１２１ａ，１２１ｂが互いに平行となるように、かつ、同一平面上に配置している。遮光スペーサ１２３は、２つの開口部１２３ａ，１２３ｂを有し、レンズアレイ１２２に対して被写体側とは反対側に設けられている。２つの開口部１２３ａ，１２３ｂは、光軸１２１ａ，１２１ｂをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。偏光フィルタ１２４は、偏光面が９０度異なる２つの偏光子領域１２４ａ，１２４ｂを有する領域分割型の偏光子フィルタであり、遮光スペーサ１２３に対してレンズアレイ１２２とは反対側に設けられている。この偏光子領域１２４ａ，１２４ｂは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分（偏光成分）だけを透過させて直線偏光にする。なお、金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式を用いることで、境界部が明瞭な領域分割型の偏光子フィルタを得ることができる。スペーサ１２５は、偏光フィルタ１２４の偏光子領域偏光ａ，偏光ｂに対応する領域が貫通した開口部１２５ａを有する矩形枠状に形成され、偏光フィルタ１２４に対して遮光スペース１２３とは反対側に設けられている。固体撮像ユニット１２６は、基板１２７上に搭載された２つの固体撮像素子１２６ａ，１２６ｂを有し、スペーサ１２５に対して偏光フィルタ１２４とは反対側に設けられている。本実施形態では、モノクロのセンシングを行うため、これらの固体撮像素子１２６ａ，１２６ｂはカラーフィルタを備えていない。ただし、カラー画像のセンシングを行う場合には、カラーフィルタを配置する。
【００１８】
図５は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｄは、図５に示すように、１：１の透過性を備えるハーフミラー１３１と、反射ミラー１３２と、Ｓ偏光フィルタ１３３と、Ｐ偏光フィルタ１３４と、Ｓ偏光フィルタ１３３を介してＳ偏光を受光するＳ偏光用ＣＣＤ１３５と、Ｐ偏光フィルタ１３４を介してＰ偏光を受光するＰ偏光用ＣＣＤ１３６とを有する。図３や図４に示した偏光カメラ１０Ｂ，１０Ｃでは、Ｓ偏光画像とＰ偏光画像の同時撮影は可能であるものの、視差が生じてしまう。これに対し、図５に示した偏光カメラ１０Ｄでは、図示しない同一の撮像光学系（レンズ）を介して受光される同じ光を使ってＳ偏光画像とＰ偏光画像を同時撮影するため、視差が生じない。よって、視差ずれ補正などの処理が不要となる。
なお、ハーフミラー１３１に代えて、Ｐ偏光を反射し、かつ、Ｓ偏光を透過するプリズム等の偏光ビームスプリッタを用いてもよい。このような偏光ビームスプリッタを用いることで、Ｓ偏光フィルタ１３３やＰ偏光フィルタ１３４を省略することが可能となり、光学系の簡素化が図られるとともに、光利用効率も向上できる。
【００１９】
図６は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｅは、図６に示すように、撮像レンズ１４２ａの光軸１４１に沿ってカメラ構成要素が積層されたユニットである点では、図４に示した偏光カメラ１０Ｃと同様であるが、Ｓ偏光画像とＰ偏光画像を単一の撮像レンズ（撮像レンズは光軸に複数枚積層配置してもよい。）１４２で撮像する点で異なっている。この偏光カメラ１０Ｅによれば、図５に示した偏光カメラ１０Ｄと同様に、Ｓ偏光画像とＰ偏光画像との間で視差が生じない。しかも、図５に示した偏光カメラ１０Ｄよりも小型化できる。なお、図６に示した偏光カメラ１０Ｅの偏光フィルタ１４４は、偏光面が９０度異なる２種類の偏光子領域１４４ａ，１４４ｂが２つずつ設けられた領域分割型の偏光子フィルタとなっており、これに伴い、４つの固体撮像素子１４６ａ，１４６ｂ，１４６ｃ，１４６ｄが設けられている。
【００２０】
図７は、偏光カメラ１０の更に他の構成例を示す説明図である。
この偏光カメラ１０Ｆは、図７に示すように、領域分割型のフィルタを採用したものである。図７において、縦横に並ぶ正方形が各受光素子の受光部１５１を示し、縦線で示す領域がＳ偏光フィルタ１５２の領域を示し、横線で示す領域がＰ偏光フィルタ１５３の領域を示す。この偏光カメラ１０Ｆは、受光素子の画素に１：１で対応させたものではなく、各フィルタ１５２，１５３の領域は、横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは２、つまり横方向に１画素分進む間に縦方向に２画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも、画面全体で各フィルタ透過画像を再現することを可能とし、Ｓ偏光画像及びＰ偏光画像を撮像できる低コストの偏光カメラを実現できる。
【００２１】
モノクロ画像処理部１３は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとのモノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する。このモノクロ輝度データを用いてモノクロ画像が生成できる。モノクロ画像処理部１３が算出したモノクロ輝度データは、ライン検出手段としての白線識別部１４に出力される。
差分偏光度画像処理部１５は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに差分偏光度（識別指標値）を算出する。この差分偏光度を用いて差分偏光度画像が生成できる。差分偏光度は、下記の式（１）に示す計算式から求められる。すなわち、差分偏光度は、Ｐ偏光強度とＳ偏光強度との合計値（輝度合計値）に対するＰ偏光強度とＳ偏光強度との差分値（輝度差分値）の比率である。また、差分偏光度は、輝度合計値に対するＰ偏向強度の比率（Ｐ偏光比）と、輝度合計値に対するＳ偏向強度の比率（Ｓ偏光比）との差分値であると言い換えることもできる。なお、本実施形態では、Ｐ偏光強度からＳ偏光強度を差し引く場合について説明するが、Ｓ偏光強度からＰ偏光強度を差し引くようにしてもよい。差分偏光度画像処理部１５が算出した差分偏光度のデータは、画像選択部１６に出力される。
差分偏光度＝（Ｐ偏光強度−Ｓ偏光強度）／（Ｐ偏光強度＋Ｓ偏光強度） ・・（１）
【００２２】
白線識別部１４は、モノクロ画像処理部１３により算出されたモノクロ輝度データに基づき、以下の方法により走行路面上の白線を識別するものである。なお、ここでいう白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
通常の道路の車線（区画線）は、運転者が視認しやすいように、アスファルト等の黒い部分に対し、コントラストの高い色（白等）で形成されている。したがって、このような車線（ここでは白線とする。）の輝度は、その他の場所に存在するアスファルト等の物体よりも十分に大きい。よって、モノクロ輝度データが所定の閾値以上の部分を白線と判定することができる。なお、本実施形態で用いるモノクロ輝度データは、上述した偏光カメラ１０により得たＰ偏光強度とＳ偏光強度の合計値を用いている。
【００２３】
白線識別部１４により白線エッジ部を識別した結果は、様々な処理に利用することが可能である。
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の白線部分の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で白線を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と白線との相対位置関係を把握することができ、白線で区画される走行レーンを維持して走行させることが容易になる。
また、例えば、白線識別部１４により識別された白線の位置情報から、自車と白線との相対位置関係を把握する処理を行い、自車が白線で区画される走行レーン上の適正走行位置から外れて走行していないかどうかを判断し、適正走行位置から外れて走行しているときに警報音等を発する処理が挙げられる。あるいは、適正走行位置から外れて走行しているときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００２４】
本実施形態においては、白線識別部１４において白線エッジ部を識別できた場合、画像中における白線エッジ部の位置を特定するための情報を画像選択部１６に出力する。このとき、モノクロ画像処理部１３で処理されたモノクロ画像から白線部分を除去した白線無しのモノクロ画像を画像選択部１６に出力するようにしてもよい。
一方、白線識別部１４において白線エッジ部が識別できなかった場合、画像中における白線エッジ部の位置を特定するための情報は画像選択部１６に出力されない。
【００２５】
画像選択部１６は、白線識別部１４から出力されたモノクロ画像と、差分偏光度画像処理部１５で処理された差分偏光度画像とのうち、後述する物体識別部１８で用いる画像を所定の選択条件に従って選択する処理を行う。この処理の具体的な内容については後述する。
【００２６】
物体識別部１８は、後述する方法により、画像選択部１６により選択されるモノクロ画像のモノクロ輝度あるいは差分偏光度画像の差分偏光度を用いて路端エッジ部を特定し、その路端エッジ部の特定結果を、後述の形状記憶部１７に記憶されている形状テンプレートに照らし合わせて、最終的に路端の画像領域（位置）を識別する。なお、本実施形態では、識別対象物が、走行路面の路端近傍に存在する側壁、ガードレール、路端の段差部等の路端障害物と走行路面との境界である路端エッジ部である場合について説明するが、電信柱、街灯、標識などの障害物、走行路面上を走行する他の車両、走行路面上又は路肩に居る人、動物、自転車等の衝突回避物など、あらゆる物体を識別対象物とすることが可能である。また、本実施形態においては、白線識別部１４において白線エッジ部を識別できなかった場合には、白線エッジ部も識別対象物に含まれることになる。本実施形態では、路端エッジ部を識別することで、白線識別部１４で識別した白線と同様に、路端エッジ部の識別結果を運転者支援システムの様々な処理に利用する。
【００２７】
例えば、ＣＲＴや液晶等で構成される車内の情報報知手段である表示部（ディスプレイ）に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像（フロントビュー画像）を表示し、その画像中の路端エッジ部の位置を示す情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で路端を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と路端との相対位置関係を把握することができ、路端障害物に衝突することなく安全に走行することが容易になる。
また、例えば、物体識別部１８により識別された路端エッジ部の位置情報から、自車と路端エッジ部との相対位置関係を把握する処理を行い、自車が路端に近づいて走行していないかどうかを判断し、路端に近づいたときに警報音等を発する処理が挙げられる。あるいは、路端に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
【００２８】
形状情報記憶手段としての形状記憶部１７には、物体識別部１８で用いる形状情報としての各種形状テンプレートのデータが記憶されている。形状記憶部１７に記憶される形状テンプレートは、物体識別部１８で識別する識別対象物である路端エッジ部を、偏光カメラ１０により撮像したときの形状（撮像画像中における識別対象物の形状）を示すものである。したがって、本実施形態における形状テンプレートは、走行レーンに略平行に延びる直線形状のものとなる。なお、形状テンプレートは、サイズ情報が含まれていてもよい。形状テンプレートは識別対象物の形状に応じて適宜選択される。例えば、マンホールの蓋を特定するための形状テンプレート、ボッツドッツ又はキャッツアイからなる金属製区間線を特定するための形状テンプレート、高速道路や陸橋などの道路に存在する金属製の道路連結部を特定するための形状テンプレート、他の車両を特定するための形状テンプレート、電信柱や街灯を特定するための形状テンプレートなどが挙げられる。
【００２９】
次に、画像選択部１６が、物体識別部１８で用いる画像を選択する画像選択処理について説明する。
天候に応じてあるいは日向と日影との違いに応じて、モノクロ画像処理部１３で算出されるモノクロ画像や差分偏光度画像処理部１５で算出される差分偏光度画像のコントラストは変化する。路端や白線などのラインを検出するにあたって、モノクロ画像、差分偏光度画像それぞれが得意とするシーン（識別精度が高い状況）、苦手とするシーン（識別精度が低い状況）がある。そして、本発明者らは、モノクロ画像が苦手とするシーンは差分偏光度画像が得意とするシーンであったり、反対に差分偏光度画像が苦手とするシーンはモノクロ画像が得意とするシーンであったりと、お互いが補間する関係にあることを、撮影実験等を通じて見出した。本実施形態は、モノクロ画像と差分偏光度画像との補間関係を利用し、状況に応じてこれらの画像を使い分け、差分偏光度画像では識別が困難な状況下においてモノクロ画像を用いることで、識別対象物（路端エッジ部）の識別精度を高めるものである。
【００３０】
図８（ａ）〜（ｄ）は、雨の日あるいは曇りの日の昼間に、自動車に搭載した偏光カメラ１０で走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図であり、図８（ａ）はモノクロ画像、図８（ｂ）は差分偏光度画像、図８（ｃ）は図８（ａ）のモノクロ画像から生成したエッジ画像、図８（ｄ）は図８（ｂ）の差分偏光度画像から生成したエッジ画像である。
雨の日あるいは曇りの日の昼間では、図８（ｄ）の差分偏光度を元にしたエッジ画像は、図８（ｃ）に示すモノクロ画像を元にしたエッジ画像に比べて、路端Ｒの境界位置を示すコントラスト（路端Ｒの境界位置が白色で示され、その周囲が黒色で示されている。）が明瞭であり、路端エッジ部ＲＥの認識率が高いことがわかる。
一方、白線Ｗの境界位置を示すコントラスト（白線Ｗの外縁エッジが白色で示され、その周囲が黒色で示されている。）の明瞭性は、図８（ｃ）及び図８（ｄ）に示すエッジ画像の間では同等である。したがって、白線エッジ部ＷＥの認識率に関しては、モノクロ画像と差分偏光度画像とでほとんど違いはない。
【００３１】
図９（ａ）〜（ｄ）は、晴れの日の昼間に、自動車に搭載した偏光カメラ１０で走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図であり、図９（ａ）はモノクロ画像、図９（ｂ）は差分偏光度画像、図９（ｃ）は図９（ａ）のモノクロ画像から生成したエッジ画像、図９（ｄ）は図９（ｂ）の差分偏光度画像から生成したエッジ画像である。
晴れの日の昼間については、路端エッジ部ＲＥ及び白線エッジ部ＷＥのいずれの認識率も、図９（ｄ）の差分偏光度を元にしたエッジ画像よりも、図９（ｃ）に示すモノクロ画像を元にしたエッジ画像の方が高いことがわかる。
【００３２】
図１０（ａ）〜（ｄ）は、晴れの日の昼間に、日陰となっている場所において、自動車に搭載した偏光カメラ１０で走行中の車両から走行方向前方を撮影したときの各種画像を示す説明図であり、図１０（ａ）はモノクロ画像、図１０（ｂ）は差分偏光度画像、図１０（ｃ）は図１０（ａ）のモノクロ画像から生成したエッジ画像、図１０（ｄ）は図１０（ｂ）の差分偏光度画像から生成したエッジ画像である。
日陰となっている場所については、路端エッジ部ＲＥ及び白線エッジ部ＷＥのいずれの認識率も、図１０（ｃ）に示すモノクロ画像を元にしたエッジ画像よりも、図１０（ｄ）の差分偏光度を元にしたエッジ画像の方が高いことがわかる。
【００３３】
以上のような測定結果を踏まえ、本実施形態では、状況（シーン）ごとに、モノクロ画像と差分偏光度画像を使い分けることにより、それらの状況における路端エッジ部ＲＥ及び白線エッジ部ＷＥの識別精度を向上させ、識別結果についての信頼性を向上させる。
【００３４】
ここで、一般に、モノクロ画像に用いる輝度の情報に関しては、昼間の日向のシーン（太陽からの直射光が支配的な照明状況下）ではコントラストが高くなり、日影あるいは雨や曇りの日のような陽があたらないシーン（太陽からの光の散乱光成分が支配的な照明状況下）ではコントラストが低くなることは、日常生活からも人間が感じ取ることができる。これに対して、差分偏光度画像に用いる差分偏光度の情報は、人間に知覚されるような情報ではない。よって、以下、差分偏光度画像ではモノクロ画像とは異なるコントラストになる理由について説明する。
【００３５】
図１１は、実験室において、アスファルト面に対し、光源位置を変化させ、固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影する実験の概要を示す説明図である。
図１２は、この実験で得られた差分偏光度の変化の一例を示すグラフである。
図１２に示すグラフは、横軸に入射角度（光源位置）をとり、縦軸に差分偏光度をとったものである。カメラ仰角は水平から１０度傾けた状態である。この差分偏光度は、各入射角度の撮影画像についての略中央部におけるＰ偏光成分（Ｒｐ）とＳ偏光成分（Ｒｓ）から上記式（１）より算出したものである。したがって、Ｓ偏光成分よりもＰ偏光成分の方が強い場合には、差分偏光度はプラスの値をとり、Ｐ偏光成分よりもＳ偏光成分の方が強い場合には、差分偏光度はマイナスの値をとることになる。
【００３６】
図１２に示すグラフをもとにして、図８〜図１０に示した各状況における差分偏光度画像とモノクロ画像とのコントラストの違いについて説明する。
まず、図９に示した晴れの日の昼間（日向）のシーンについて説明する。
晴れの日の日向路面に照射される光の光源としては、太陽（太陽からの直射日光）、空（太陽からの光の散乱光成分）の２つに分類できるが、路面に照射される光成分は太陽からの直射日光が支配的成分である。すなわち、上述した実験状況とほぼ同様の状況であり、図１２に示した実験結果をそのまま適用することが可能である。図１２の実験結果から、差分偏光度は、光源（太陽）がカメラの前側にある逆光時には、マイナス側に大きくなる特性を有していることがわかる。一方、光源（太陽）がカメラの後側にある順光時には、アスファルト面（路面Ｓ）の差分偏光度は０となる。また、側壁等の路端障害物も、路面Ｓの場合と同様の拡散反射体であるため、差分偏光度が０になる。その結果、差分偏光度画像は画像全体でコントラストが下がり、ノイズが多いようなエッジ画像が得られることになる。
これに対し、モノクロ画像は、カメラで受光される輝度の違いがそのままコントラストに反映されるため、路面Ｓも、路端Ｒよりも路外に位置する路端障害物も、白線Ｗも、その反射特性に応じた適切なコントラストが得られる。
したがって、晴れの日の昼間の日向については、モノクロ画像を用いて白線エッジ部や路端エッジ部を識別することで、差分偏光度画像を用いる場合よりも高い識別精度を得ることができる。
【００３７】
次に、図１０に示した晴れの日の昼間（日影）のシーンについて説明する。
日影では、路面Ｓや側壁等の路端障害物に照射される光の光源は太陽からの直射光ではなく、空からの光（太陽からの光の散乱光成分）である。太陽からの直射光を光源とした差分偏光度は、その光源（太陽）の方位によって変化するので、図１２に示したグラフのような入射角依存性を有する。これに対し、空からの光は、天空からの各高度、各方位から均等に路面Ｓや路端障害物に照射されるので、図１２に示したグラフのような入射角依存性はない。そのため、空からの光（太陽からの光の散乱光成分）を光源とした路面Ｓの差分偏光度のグラフを描くと、図１３に示すように、その差分偏光度が一定値（図１２に示したグラフの略平均値に相当する値）をとることになる。
一方、側壁等の路端障害物や白線における差分偏光度についても、同様に一定値をとるものとなるが、路端障害物や白線（特に白線のエッジ部分）の光反射面は路面Ｓに対して角度を有するので、そのＰ偏光成分とＳ偏光成分の比率が異なるものとなる。したがって、その差分偏光度の一定値は、路面Ｓのものと異なるものとなる。特に、路面Ｓに対して直交する光反射面を有する路端障害物については、その差分偏光度の一定値が路面Ｓ一定値とは逆の極性を有するものとなる。その結果、晴れの日の昼間の日影については、路面Ｓと路端障害物や白線エッジ部との間でコントラストのある差分偏光度画像を得ることができる。
【００３８】
このように、晴れの日の昼間の日影については、空からの光（太陽からの光の散乱光成分）が支配的な照明状況下での撮影となるため、モノクロ画像のコントラストは低下するが、差分偏光度画像については識別に必要な部分のコントラストがある画像が得られる。 したがって、晴れの日の昼間の日影については、差分偏光度画像を用いて白線エッジ部や路端エッジ部を識別することで、モノクロ画像を用いる場合よりも高い識別精度を得ることができる。
【００３９】
次に、図８に示した雨の日や曇りの日のシーンについて説明する。
雨の日や曇りの日も、図１０に示した日影のシーンと同様に、太陽からの直射光が存在しないため、差分偏光度画像については、日陰のシーンと同様にコントラストのとれたものとなる。特に、雨で路面Ｓや側壁等の路端障害物が濡れると、その反射面の鏡面反射成分が強くなるため、よりコントラストの高い差分偏光度画像を得ることが可能となる。これに対し、モノクロ画像では、日陰のシーンと同様にコントラストが低く、特に雨で路面等が濡れている場合には、そのエッジ画像全体が黒っぽくなり、コントラストが大幅に低下する。したがって、雨の日や曇りの日、特に雨の日については、差分偏光度画像を用いて白線エッジ部や路端エッジ部を識別することで、モノクロ画像を用いる場合よりも高い識別精度を得ることができる。
【００４０】
以上のように、モノクロ画像のコントラストが生じにくい雨の日や曇りの日あるいは日影の場所のような太陽からの直射光が撮像領域内に照射されない状況下においては、差分偏光度画像の方がコントラストを大きくとることができるので、路端エッジ部や白線エッジ部等の識別対象物を高い精度で識別することができる。しかも、差分偏光度画像であれば、撮影方向（方位）による差異がないので、走行方向に関係なく安定して路端エッジ部や白線エッジ部の識別を行うことができる。したがって、このような状況下においては、差分偏光度画像を用いて識別することで、信頼性の高い識別結果を得ることができる。
しかしながら、また晴れの日の日向、特に順光時のように、太陽からの直射光が撮像領域内に照射される状況下においては、差分偏光度画像では十分なコントラストを得ることができない場合がある。一方、このような状況下では、モノクロ画像を用いることで高い識別精度を得ることが可能である。したがって、このような状況下では、モノクロ画像を用いて識別することで、信頼性の高い識別結果を得ることができる。
【００４１】
次に、本実施形態に係る運転者支援システムにおいて識別対象物である路端エッジ部と白線エッジ部を識別するための処理の流れについて説明する。
図１４は、路端エッジ部と白線エッジ部を識別する処理の流れを示すフローチャートである。
偏光カメラ１０により偏光ＲＡＷ画像データを取得したら、その偏光ＲＡＷ画像データに含まれるＰ偏光強度データから得られる水平偏光画像データを水平偏光画像メモリ１１に格納するとともに、その偏光ＲＡＷ画像データに含まれるＳ偏光強度データから得られる垂直偏光画像データを垂直偏光画像メモリ１２に格納する（Ｓ１）。その後、差分偏光度画像処理部１５は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、上記式（１）に示す計算式より、差分偏光度（識別指標値）を算出する（Ｓ２）。この算出結果から得られる差分偏光度画像のデータは、差分偏光度画像処理部１５内の図示しない画像メモリに格納される。また、モノクロ画像処理部１３は、水平偏光画像メモリ１１及び垂直偏光画像メモリ１２内のＰ偏光強度データ及びＳ偏光強度データから、画素ごとに、モノクロ輝度（当該画素のＰ偏光強度＋Ｓ偏光強度）を算出する（Ｓ３）。この算出結果から得られるモノクロ画像のデータは、モノクロ画像処理部１３内の図示しない画像メモリに格納される。そして、白線識別部１４では、モノクロ画像処理部１３内の図示しない画像メモリに格納されたモノクロ画像のデータを用いて、上述した方法により白線認識処理を行う（Ｓ４）。
【００４２】
続いて、画像選択部１６で行われる画像選択処理（Ｓ５）について説明する。
図１５は、画像選択処理の流れを示すフローチャートである。
本実施形態においては、１つの撮像画像（１フレームの画像）を左右２つの選定エリアに区分し、選定エリアごとに、識別に用いる画像を選択するようにしている。これは、自車が走行する右側領域と左側領域とでは撮影状況が異なる場合があるからである。具体的には、例えば、自車が走行する右側領域は日向であるが、左側領域は日陰になっているというような状況である。上述したように、日向と日陰では、認識に適した画像の種類（モノクロ画像か差分偏光度画像か）が変わるので、このように１つの撮像画像を複数の選定エリアに区分してそれぞれに適した種類の画像を用いて識別を行うことは、画像全体としての識別精度を向上させる上で有益である。
もちろん、このように複数の選定エリアに区分することは必須ではなく、１つの撮像画像全体についてモノクロ画像と差分偏光度画像のいずれかを用いて識別を行うようにしてもよい。
また、用途によって区分方法は適宜選定され、本実施形態のように左右２つの選定エリアに区分することに限定されるものではない。
【００４３】
図１６（ａ）〜（ｄ）は、それぞれ撮影状況が異なる場合のモノクロ画像を示す説明図である。
図１６（ａ）は、撮像領域全体が一様に晴れの日の日向となっている場合の例である。この場合、白線識別部１４によりモノクロ画像に基づいて白線を識別することができるので、画像選択部１６は、白線識別部１４で識別された白線の位置を基準に、その白線の外側（画像左右方向外側）近傍に判定基準エリアＰ１，Ｐ２を設定する（Ｓ１１）。各判定基準エリアＰ１，Ｐ２は、１つの撮像画像（１フレームの画像）を左右２つに区分して得られる選定エリア内それぞれに設定される。各判定基準エリアＰ１，Ｐ２の設定箇所は、路面Ｓである可能性が高い箇所に設定される。
図１６（ｂ）は、撮像領域全体が一様に晴れの日の日陰となっている場合（雨又は曇りの日の場合も同様）の例である。この場合、白線識別部１４によりモノクロ画像に基づいて白線を識別することができないので、画像選択部１６は、白線識別部１４で識別された白線の位置を基準に判定基準エリアＰ１，Ｐ２を設定できない。よって、この場合は、予め実験等により決められた各選定エリア内の箇所（路面Ｓである可能性が高い箇所）にそれぞれ判定基準エリアＰ１，Ｐ２を設定する（Ｓ１１）。
図１６（ｃ）は、晴れの日の日向において撮像画像中左側の選定エリア内に日陰がある場合の例である。この場合、画像選択部１６は、右側の選定エリアについては、図１６（ａ）の場合と同様に、白線識別部１４で識別された白線の位置を基準にその白線の外側近傍に判定基準エリアＰ２を設定し、左側の選定エリアについては、図１６（ｂ）の場合と同様に、予め実験等により決められた箇所に判定基準エリアＰ１を設定する（Ｓ１１）。
図１６（ｄ）は、晴れの日の日向において撮像画像中右側の選定エリア内に日陰がある場合の例である。この場合、画像選択部１６は、左側の選定エリアについては、図１６（ａ）の場合と同様に、白線識別部１４で識別された白線の位置を基準にその白線の外側近傍に判定基準エリアＰ１を設定し、右側の選定エリアについては、図１６（ｂ）の場合と同様に、予め実験等により決められた箇所に判定基準エリアＰ２を設定する（Ｓ１１）。
【００４４】
画像選択部１６は、以上のようにして設定した判定基準エリアＰ１，Ｐ２のモノクロ輝度と差分偏光度のデータを取得し（Ｓ１２）、各判定基準エリアＰ１，Ｐ２のモノクロ輝度について、それぞれ、予め設定されたモノクロ閾値以上であるか否かを判断する（Ｓ１３）。そして、判定基準エリアＰ１，Ｐ２のモノクロ輝度がモノクロ閾値未満（Ｓ１３のＮｏ）であると判断された選定エリアについては、物体識別部１８での識別に用いる画像として差分偏光度画像を選択する（Ｓ１４）。ここで用いるモノクロ閾値は、その選定エリアの状況が晴れの日の日向のようにモノクロ画像にとって高い識別精度が得られる状況かどうかを判別するための基準となるもので、実験等により予め設定しておくことが可能である。したがって、モノクロ輝度がモノクロ閾値未満（Ｓ１３のＮｏ）であると判断された選定エリアは、晴れの日の日向（差分偏光度画像による認識精度が低い状況）ではないので、ここでは差分偏光度画像を選択する。
【００４５】
一方、判定基準エリアＰ１，Ｐ２のモノクロ輝度がモノクロ閾値以上（Ｓ１３のＹｅｓ）であると判断された選定エリアについては、続いて、各判定基準エリアＰ１，Ｐ２の差分偏光度について、それぞれ、予め設定された差分偏光度閾値以上であるか否かを判断する（Ｓ１５）。そして、判定基準エリアＰ１，Ｐ２の差分偏光度が差分偏光度閾値以上であると判断された選定エリアについては、物体識別部１８での識別に用いる画像として差分偏光度画像を選択する（Ｓ１４）。ここで用いる差分偏光度閾値は、その選定エリアの状況が差分偏光度画像に十分なコントラストが得られているかどうかを判別するための基準となるもので、実験等により予め設定しておくことが可能である。したがって、差分偏光度が差分偏光度閾値以上（Ｓ１５のＹｅｓ）であると判断された選定エリアは、差分偏光度画像に十分なコントラストが得られており、晴れの日の日向のように差分偏光度画像による認識精度が低い状況ではないので、ここでは差分偏光度画像を選択する。
【００４６】
他方、判定基準エリアＰ１，Ｐ２の差分偏光度が差分偏光度閾値未満（Ｓ１５のＮｏ）であると判断された選定エリアについては、物体識別部１８での識別に用いる画像としてモノクロ画像を選択する（Ｓ１６）。この場合、その選定エリアは、差分偏光度画像に十分なコントラストが得られておらず、かつ、晴れの日の日向のようにモノクロ画像に十分なコントラストが得られている状況なので、モノクロ画像を選択する。
【００４７】
以上のような画像選択処理を行うことで、図１６（ａ）に示した状況（撮像領域全体が一様に晴れの日の日向となっている状況）では、左右いずれの選定エリアも、モノクロ画像を用いて認識が行われる。
また、図１６（ｂ）に示した状況（撮像領域全体が一様に晴れの日の日陰となっている状況）では、左右いずれの選定エリアも、差分偏光度画像を用いて認識が行われる。
また、図１６（ｃ）に示した状況（晴れの日の日向において撮像画像中左側の選定エリア内に日陰がある状況）では、左側の選定エリアについては差分偏光度画像を用いて認識が行われ、右側の選定エリアについてはモノクロ画像を用いて認識が行われる。
また、図１６（ｄ）に示した状況（晴れの日の日向において撮像画像中右側の選定エリア内に日陰がある状況）では、右側の選定エリアについては差分偏光度画像を用いて認識が行われ、左側の選定エリアについてはモノクロ画像を用いて認識が行われる。
【００４８】
画像選択処理（Ｓ５）を終えたら、次に、物体識別部１８は、画像選択処理で選択された画像を用いて識別対象物の物体識別処理を行う（Ｓ６）。以下の説明では、識別対象物が路端エッジ部である場合を例に挙げて説明するが、識別対象物が白線エッジ部であったりその他の物体であったりする場合も同様である。なお、エッジ判別処理の内容は、モノクロ画像を用いる場合も差分偏光度画像を用いる場合も同様であるので、以下、差分偏光度画像を用いる場合を例に挙げて説明する。
【００４９】
図１７は、物体識別処理の流れを示すフローチャートである。
本実施形態の物体識別処理では、選定エリアごとに、画像選択処理で選択された画像（ここでは差分偏光度画像とする。）を入力し（Ｓ２１）、その画像に対してエッジ判別処理を行う。このエッジ判別処理では、まず、画像選択処理で選択された差分偏光度画像を元にエッジ画像を作成する（Ｓ２２）。このエッジ画像の作成は、処理対象として入力された差分偏光度画像に対して公知のエッジ抽出処理を施して作成する。エッジ抽出処理を施すことにより、差分偏光度が急激に変化する部分の変化度合いに応じたエッジ値（エッジの強さ）が得られ、そのエッジ値の違いを輝度の違いで表現したエッジ画像（図８〜図１０を参照。）を得ることができる。
【００５０】
具体的には、座標（ｘ，ｙ）における濃度の勾配を表す１次微分の値をベクトル量（ｆｘ，ｆｙ）として表現すると（ｆｘはｘ方向の微分を、ｆｙはｙ方向の微分を、それぞれ示す。）、エッジの強さは、下記の式（２）によって表される。このときの微分オペレータとしては、例えば下記の式（３）及び（４）に示すRobertsオペレータを利用することができる。
【数１】
【数２】
【００５１】
このようにしてエッジ画像を作成したら、次に、そのエッジ画像を２値化する処理を行う（Ｓ２３）。このときに用いるエッジ閾値としては、上述した判定基準エリアＰ１，Ｐ２におけるモノクロ輝度及び差分偏光度により適宜決められる値を用いる。
また、上述した画像選択処理における上記Ｓ１３及び上記Ｓ１５の判断結果を用いることで、撮像領域内の状況（路面の乾湿、天気など）を推測することが可能である。よって、その判断結果から路面の乾湿状態を推測し、過去の差分偏光度画像及びモノクロ画像のサンプル画像を路面の乾湿状態ごとに学習して、推測した路面の乾湿状態に応じて適切なエッジ閾値を決めるようにしてもよい。この場合、例えば雨の日のように路面が濡れていると鏡面反射成分が強くなるので、これを考慮した適切なエッジ閾値を設定することが可能となる。
また、撮像画像の上方部分と下方部分とでは、物体からの反射光の強度に差がある。これは、撮像画像の上方部分は遠くに位置する物体を撮影した部分であるため、近くに位置する物体を撮影した下方部分よりも、反射光の強度は小さいものとなる。したがって、撮像画像の上方部分と下方部分とではコントラストが異なることになるため、この違いを考慮し、撮像画像の上方部分と下方部分とで、用いるエッジ閾値を異ならせるようにしてもよい。
【００５２】
次に、物体識別部１８は、作成した２値化エッジ画像を用いて、識別対象物である路端エッジ部の候補点を抽出する処理を行う（Ｓ２４）。この処理では、まず、２値化したエッジ画像に対して複数の処理ラインを設定する。本実施形態の処理ラインは、２値化エッジ画像内の横１列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、２値化エッジ画像内の全画素に対して設定される必要はなく、２値化エッジ画像内の適切に選択された一部の画素について設定するようにしてもよい。また、処理ラインではなく、処理ブロック（縦横それぞれ２画素以上からなるブロック）単位で行ってもよい。この場合、例えば、２値化エッジ画像に対して複数の処理ブロックを設定し、処理ブロックごとに、２値化エッジ画像のばらつき度合い（散らばり度合い）を示す標準偏差を算出し、算出した標準偏差が基準偏差閾値以上である場合にその処理ブロック内にエッジが存在すると判定することができる。なお、処理ブロックは、矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。処理ブロックの大きさは、例えば１０×１０画素程度であってよい。なお、各処理ブロックは、同じサイズであっても、異なるサイズであってもよい。また、標準偏差に代えて、分散や平均偏差等の統計量が用いられてもよい。
【００５３】
ここで、識別対象物である路端エッジ部は、白線よりも外側に位置するものである。したがって、白線識別部１４により走行レーンの両側に位置する２つの白線が識別できている場合には、処理の簡素化のため、各処理ラインについて、各白線位置より外側に向かってエッジを探索する処理を行う。そして、この処理を処理ライン全部について行うことで、各白線よりも外側に位置するエッジ部を路端エッジ部の候補点として抽出する。
なお、白線識別部１４により白線が識別できていない場合には、各処理ラインについて、例えば画像中央から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行い、これにより得られるエッジ部を路端エッジ部の候補点として抽出する。
また、白線識別部１４により１本の白線だけが識別できている場合には、各処理ラインについて、その白線の内側部分から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行うことで、その白線を除いた画像部分に存在するエッジ部を路端エッジ部の候補点として抽出する。
【００５４】
このようにして路端エッジ部の候補点を抽出した後、物体識別部１８は、その路端エッジ部の候補点について形状近似認識処理を施し（Ｓ２５）、路端エッジ部を特定する。具体的には、まず、物体識別部１８は、路端エッジ部の候補点から一塊りの形状を認識し、これを、形状記憶部１７に記憶されている路端エッジ部の形状テンプレートと比較する。そして、路端エッジ部の候補点からなる形状が形状テンプレートと一致した場合、その路端エッジ部の候補点が路端エッジ部であると特定し、その位置を記憶する。
【００５５】
この形状近似認識処理では、抽出した路端エッジ部の候補点に対して形状近似認識により近似曲線を取得する。形状を認識する手法としては、最小二乗法やハフ変換やモデル方程式などの手法を用いる。なお、近似曲線を取得する際、信頼性の高い撮像画像の下方部分に位置する路端エッジ部の候補点ほど形状近似の投票値に大きな重みを持たせるようにすることが望ましい。このようにすれば、信頼性の低い撮像画像の上方部分で誤認識された路端エッジ部の候補点が存在しても、信頼性の高い撮像画像の下方部分で正常に認識された路端エッジ部の候補点が存在すれば、路端エッジ部を適切に特定することができる。
【００５６】
また、路端エッジ部の特定精度を高めるために、次のような処理を付加してもよい。
上述した物体識別処理（Ｓ２１〜Ｓ２５）を、偏光カメラ１０にて所定の時間間隔で連続的に撮影して得られる偏光画像データについて行い。路端エッジ部であると特定された領域については、その処理結果が所定のメモリに記憶される。このメモリに記憶される過去の処理結果（例えば、直前に撮像された偏光画像データについての処理結果）を利用し、今回の処理により特定された路端エッジ部が、その領域に対応する過去の処理結果でも路端エッジ部であると特定されていれば、今回の処理結果が信頼度の高いものであると判断する。そして、この信頼度を路端エッジ部として特定する際に利用する。今回の処理結果に係る領域に対応する過去の処理結果は、例えば、今回の処理結果に係る領域の位置と自車の進行方向とから、対応する過去の処理結果に係る領域の位置を検索して、対応する過去の処理結果を特定する。
【００５７】
〔変形例１〕
次に、上記実施形態に係る物体識別装置において上記所定の選択条件に用いる差分偏光度閾値の設定を変更可能に構成した一変形例（以下、本変形例を「変形例１」という。）について説明する。
なお、本変形例１における物体識別装置の構成や動作において上記実施形態のものと同様の部分については説明を省略する。
【００５８】
本変形例１においても、１つの撮像画像（１フレームの画像）を左右２つの選定エリアに区分し、選定エリアごとに、識別に用いる画像を選択するようにしている。具体的には、画像選択部１６は、白線識別部１４で識別された白線の位置を基準に、その白線の外側（画像左右方向外側）近傍に判定基準エリアＰ１，Ｐ２を設定し、各判定基準エリアＰ１，Ｐ２のモノクロ輝度と差分偏光度のデータを取得する。そして、判定基準エリアＰ１，Ｐ２のモノクロ輝度が予め設定されたモノクロ閾値未満である場合、その選定エリアについては、物体識別部１８での識別に用いる画像として差分偏光度画像を選択する。一方、判定基準エリアＰ１，Ｐ２のモノクロ輝度が予め設定されたモノクロ閾値以上である場合、画像選択部１６は、その判定基準エリアＰ１，Ｐ２の差分偏光度が予め設定された差分偏光度閾値以上であるか否かを判断する。この判断において、判定基準エリアＰ１，Ｐ２の差分偏光度が差分偏光度閾値以上であると判断された選定エリアについては、物体識別部１８での識別に用いる画像として差分偏光度画像を選択する。一方、判定基準エリアＰ１，Ｐ２の差分偏光度が差分偏光度閾値未満であると判断された選定エリアについては、物体識別部１８での識別に用いる画像としてモノクロ画像を選択する。
【００５９】
ここで、路面Ｓである可能性が高い判定基準エリアＰ１，Ｐ２からの反射光を偏光カメラ１０で受光して得られるＰ偏光強度及びＳ偏光強度並びにこれらの合計値であるモノクロ輝度は、同じ判定基準エリアＰ１，Ｐ２であってもその路面状態に応じて異なる値をとる。したがって、各判定基準エリアＰ１，Ｐ２のＰ偏光強度及びＳ偏光強度に基づく差分変更度を用いて物体識別部１８での識別に適しているのは差分偏光度画像かモノクロ画像かを選択するための差分偏光度閾値の最適値も、判定基準エリアＰ１，Ｐ２の路面状態によって異なる値をなる。そこで、本変形例１では、判定基準エリアＰ１，Ｐ２の路面状態に応じて差分偏光度閾値を調整するようにしている。
【００６０】
図１８は、本変形例１における物体識別処理で用いる差分偏光度閾値の設定変更用テーブルを示す説明図である。
本変形例１においては、路面状態が、乾燥状態である場合、濡れた状態である場合、積雪状態である場合の３種類に区分し、その区分ごとに適した差分偏光度閾値を設定変更用テーブルに格納してある。路面状態は、１つの撮像画像（１フレームの画像）内の複数のサンプル箇所のＰ偏光強度やＳ偏光強度あるいは差分偏光度を用いることにより判別可能である。
【００６１】
図１９（ａ）〜（ｃ）は、図１８に示す設定変更用テーブルの各路面状態における外光の反射特性を説明するための説明図である。
図１９（ｂ）は、路面が濡れた状態であるときの外光の反射特性を示したものである。このような湿潤時の路面は、その表面（アスファルト等）の凹凸部分に水が溜まることによって鏡面に近い状態となる。そのため、その反射光は、鏡面における偏光特性を示す。鏡面における反射光のＳ偏光成分は、入射角がブリュースター角に等しいときにその反射光強度が０となり、Ｐ偏光成分は入射角の増大に伴ってその反射光強度が増加するという特性を示す。
【００６２】
図１９（ａ）は、路面が乾燥状態であるときの外光の反射特性を示したものである。乾燥時の路面は、その表面が粗面であるため、乱反射が支配的となる。そのため、乾燥時の路面からの反射光は、上述した湿潤時と比較して反射光の偏光特性が小さくなり、Ｓ偏光成分よりもＰ偏光成分の法が僅かに多くなる程度である。
【００６３】
図１９（ｃ）は、路面が積雪状態であるときの外光の反射特性を示したものである。上述した湿潤時、乾燥時の路面からの反射光は、図１９（ａ）や図１９（ｂ）に示したように、強い指向性を示す。これに対し、路面が積雪状態である場合には、図１９（ｃ）に示すように、路面からの反射光が全体に散乱し、その反射光は偏光特性を示さず、各偏光成分の反射率はほぼ等しくなる。
【００６４】
以上のような各路面状態における反射光の偏光特性の違いによって路面状態を判別することができる。例えば、濡れた状態の路面では差分偏光度が最も大きい値をとり、積雪状態の路面では差分偏光度がほぼ０を示すので最も小さい値をとるので、差分偏光度の違いによって路面状態を判別することができる。
【００６５】
図１８に示した設定変更用テーブルに記述する各区分の適した差分偏光度閾値は、例えば、各区分に対応する路面状態における差分偏光度画像及びモノクロ輝度画像のサンプル画像を複数用意し、これらのサンプル画像により学習して決定する。設定変更用テーブルは、所定のメモリに記憶しておく。
【００６６】
本変形例１における画像選択部１６は、差分偏光度閾値を用いた判断に先立って、撮像画像内の複数のサンプル箇所のＰ偏光強度やＳ偏光強度あるいは差分偏光度から、路面状態が、乾燥状態であるか、濡れた状態であるか、積雪状態であるかを判別する。そして、その判別結果に対応する差分偏光度閾値を設定変更用テーブルから読み出し、判定基準エリアＰ１，Ｐ２の差分偏光度がその差分偏光度閾値以上であるか否かを判断する。
【００６７】
図２０は、路面状態の判別処理の流れの一例を示すフローチャートである。
まず、上記Ｓ１１と同様にして判定基準エリアＰ１，Ｐ２を設定したら（Ｓ３１）、各判定基準エリアＰ１，Ｐ２のモノクロ輝度及び差分偏光度のデータを取得する（Ｓ３２）。そして、まず、取得したモノクロ輝度について、予め設定された第１閾値以上であるか否かを判断する（Ｓ３３）。モノクロ輝度が第１閾値以上である場合、その選定エリアの路面状態は、乾燥した路面又は積雪状態の路面である可能性が高く、濡れた路面である可能性が低い。そこで、判定基準エリアＰ１，Ｐ２のモノクロ輝度が第１閾値未満であると判断された選定エリアについては、次に、取得した差分偏光度について、予め設定された第２閾値以上であるか否かを判断する（Ｓ３４）。その結果、差分偏光度が第２閾値以上であると判断された選定エリアについては、その路面が濡れた状態であると判定する（Ｓ３５）。
【００６８】
一方、判定基準エリアＰ１，Ｐ２のモノクロ輝度が第１閾値以上であると判断された場合や、差分偏光度が第２閾値未満であると判断された選定エリアについては、次に、取得した差分偏光度が予め設定された第３閾値以上であるか否かを判断する（Ｓ３６）。ここで、差分偏光度が第３閾値以上であると判断された選定エリアについては、その路面が乾燥した状態であると判定する（Ｓ３７）。
他方、取得した差分偏光度が予め設定された第３閾値未満であると判断された選定エリアについては、その路面が積雪状態であると判定する（Ｓ３８）。
【００６９】
本変形例１によれば、物体識別部１８での識別に適しているのは差分偏光度画像かモノクロ画像かを選択するにあたり、路面状態の違いによって不適切な選択がなされることが少なくなり、物体識別精度を更に向上させることができる。
なお、本変形例１では、差分偏光度だけでなくモノクロ輝度も併用して路面状態を判定しているが、差分偏光度だけでも同様の判定が可能である。
【００７０】
〔変形例２〕
次に、上記実施形態に係る物体識別装置において判定基準エリアＰ１，Ｐ２の場所を変更した一変形例（以下、本変形例を「変形例２」という。）について説明する。
なお、本変形例２における物体識別装置の構成や動作において上記実施形態のものと同様の部分については説明を省略する。
【００７１】
上述したように、撮像画像の上方部分と下方部分とでは、遠くに位置する物体を撮影した部分である上方部分よりも近くに位置する物体を撮影した下方部分の方が反射光の強度が大きく、信頼度が高い。よって、本変形例２では、物体識別部１８での識別に適しているのは差分偏光度画像かモノクロ画像かを選択するためのＰ偏光強度及びＳ偏光強度を得る判定基準エリアＰ１，Ｐ２を、撮像画像の下方部分に設定する。
【００７２】
図２１（ａ）〜（ｄ）は、それぞれ撮影状況が異なる撮像領域を模式的に表した説明図である。
本変形例２においては、判定基準エリアＰ１，Ｐ２を設定するにあたり、画像選択部１６は、まず、撮像画像の下方部分を格子状に分割して、複数の判定基準対象ブロックを作成する。例えば、撮像画像の画像サイズが７５２×４８０［ｐｉｘｅｌ］である場合、画像上端から３６０ライン目と４００ライン目との間の画像部分を、５×５［ｐｉｘｅｌ］からなる判定基準対象ブロックに分割する。
【００７３】
図２１（ａ）は、自車両の走行レーンの両側にそれぞれ白線が検出される場合の例である。
この場合、画像選択部１６は、白線識別部１４で識別された２本の白線の位置を基準に、各白線の外側（画像左右方向外側）近傍に判定基準エリアＰ１，Ｐ２を設定する。具体的には、まず、判定基準対象ブロックについて撮像画像下側から上側に向けて走査し、白線識別部１４で識別された２本の白線の位置を特定する。２本の白線の位置を特定できたら、今度は各白線から外側（画像左右方向外側）へそれぞれ走査する。そして、対象の判定基準対象ブロックとその周囲の判定基準対象ブロックとの間で、Ｐ偏光強度やＳ偏光強度あるいは差分偏光度について同様のヒストグラム分布が得られたとき、当該対象の判定基準対象ブロックを判定基準エリアＰ１，Ｐ２として設定する。
【００７４】
図２１（ｂ）は、自車両の走行レーンの右側に白線が検出される場合の例である。
この場合、画像選択部１６は、まず、判定基準対象ブロックについて撮像画像下側から上側に向けて走査し、白線識別部１４で識別された１本の白線（画像右側）の位置を特定する。このように画像右側の白線位置を特定できたら、画像右側の選定エリアに対応する判定基準エリアＰ２を特定するための走査は、その白線から外側（画像右側）に向けて行う。一方、画像左側の選定エリアに対応する判定基準エリアＰ１を特定するための走査は、画像左右方向中央から左側に向けて行う。なお、判定基準エリアＰ１，Ｐ２とする判定基準対象ブロックを決定方法は、図２１（ａ）の場合と同様、対象の判定基準対象ブロックとその周囲の判定基準対象ブロックとの間で、Ｐ偏光強度やＳ偏光強度あるいは差分偏光度について同様のヒストグラム分布が得られたとき、当該対象の判定基準対象ブロックを判定基準エリアＰ１，Ｐ２として設定する。
【００７５】
図２１（ｃ）は、自車両の走行レーンの左側に白線が検出される場合の例である。
この場合、画像選択部１６は、まず、判定基準対象ブロックについて撮像画像下側から上側に向けて走査し、白線識別部１４で識別された１本の白線（画像左側）の位置を特定する。このように画像左側の白線位置を特定できたら、画像左側の選定エリアに対応する判定基準エリアＰ１を特定するための走査は、その白線から外側（画像左側）に向けて行う。一方、画像右側の選定エリアに対応する判定基準エリアＰ２を特定するための走査は、画像左右方向中央から右側に向けて行う。なお、判定基準エリアＰ１，Ｐ２とする判定基準対象ブロックを決定方法は、図２１（ａ）の場合と同様、対象の判定基準対象ブロックとその周囲の判定基準対象ブロックとの間で、Ｐ偏光強度やＳ偏光強度あるいは差分偏光度について同様のヒストグラム分布が得られたとき、当該対象の判定基準対象ブロックを判定基準エリアＰ１，Ｐ２として設定する。
【００７６】
図２１（ｄ）は、白線が検出されない場合の例である。
この場合、画像選択部１６は、画像左右方向中央から右側と左側に向けて走査する。そして、図２１（ａ）の場合と同様、対象の判定基準対象ブロックとその周囲の判定基準対象ブロックとの間で、Ｐ偏光強度やＳ偏光強度あるいは差分偏光度について同様のヒストグラム分布が得られたとき、当該対象の判定基準対象ブロックを判定基準エリアＰ１，Ｐ２として設定する。
【００７７】
なお、判定基準対象ブロックについて走査して得られた白線位置が、近い過去（例えば直近５フレーム前まで）の１つ以上の撮影画像における白線位置と同様の位置であった場合には、当該過去の撮影画像で設定した判定基準エリアＰ１，Ｐ２をそのまま用いるようにしてもよい。この場合、例えば直近５フレーム前までの撮影画像中のすべてから白線がロストしたときに、図２１（ａ）〜（ｄ）を参照して説明した上述の方法により判定基準エリアＰ１，Ｐ２を設定する。
【００７８】
以上、本実施形態に係る物体識別装置は、撮像領域内に存在する識別対象物である路端エッジ部を撮像した撮像画像中における路端エッジ部の画像領域を識別する物体識別装置である。この物体識別装置は、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像（Ｐ偏光画像及びＳ偏光画像）を撮像する撮像手段としての偏光カメラ１０と、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像をそれぞれ所定の処理領域（画素ごと）に分割し、画素ごとに、Ｐ偏光画像及びＳ偏光画像間における輝度合計値であるモノクロ輝度を算出する輝度算出手段としてのモノクロ画像処理部１３と、画素ごとに当該輝度合計値に対するＰ偏光画像及びＳ偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段としての差分偏光度画像処理部１５と、差分偏光度画像処理部１５が算出する差分偏光度が所定の選択条件を満たすか否かを判断する選択条件判断手段としての画像選択部１６と、画像選択部１６が所定の選択条件を満たすと判断した場合には、差分偏光度画像処理部１５が算出した差分偏光度に基づいて路端エッジ部に対応する画素を特定し、画像選択部１６が所定の選択条件を満たさないと判断した場合には、モノクロ画像処理部１３が算出したモノクロ輝度に基づいて路端エッジ部に対応する画素を特定し、路端エッジ部に対応する画素として特定した互いに近接する複数の画素を路端エッジ部の画像領域であると識別する物体識別処理を行う物体識別処理手段としての物体識別部１８とを有する。これにより、晴れの日の日向や日陰あるいは雨の日や曇りの日などの状況が違っても、高い識別精度で路端エッジ部を識別することができる。
また、本実施形態において、画像選択部１６は、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像を区分して得られる複数の選定エリア（画像を左右２つに区分して得られる選定エリア）ごとに、差分偏光度画像処理部１５が算出する差分偏光度が所定の選択条件を満たすか否かを判断し、物体識別部１８は、画像選択部１６が所定の選択条件を満たすと判断した選定エリアについては、差分偏光度画像処理部１５が算出した差分偏光度に基づいて路端エッジ部に対応する画素を特定し、画像選択部１６が所定の選択条件を満たさないと判断した選定エリアについては、モノクロ画像処理部１３が算出したモノクロ輝度に基づいて路端エッジ部に対応する画素を特定する。これにより、選定エリアごとに状況が異なる場合でも、各選定エリアをそれぞれの状況に応じた画像を用いて路端エッジ部を識別して、全体として高い識別精度を得ることができる。
また、本実施形態においては、上記変形例１で説明したように、画像選択部１６を、偏光カメラ１０が撮像したＰ偏光画像及びＳ偏光画像内に設定される所定箇所（判定基準エリアＰ１，Ｐ２）のモノクロ輝度及び差分偏光度の少なくとも一方から上記所定の選択条件に用いる差分偏光度閾値を設定する閾値設定手段として機能させ、上記所定の選択条件に、差分偏光度画像処理部１５が算出する差分偏光度が上記差分偏光度閾値以上であるという条件を含ませてもよい。これにより、差分偏光度画像について高いコントラストが得られる場合には、差分偏光度画像を用いて路端エッジ部の識別が行われるので、路端エッジ部を高い精度で識別することができる。
また、本実施形態では、更に、上記所定の選択条件に、モノクロ画像処理部１３が算出するモノクロ輝度がモノクロ閾値未満であるという条件を含んでいる。これにより、モノクロ画像では十分なコントラストが得られない状況下については、差分偏光度画像を用いて路端エッジ部の識別が行われる。多くの場合、モノクロ画像で十分なコントラストが得られない状況下では、差分偏光度画像によればモノクロ画像よりも高いコントラストが得られる。よって、そのような状況下でもより高い識別精度を得ることが可能となる。
また、本実施形態において、物体識別部１８は、路端エッジ部に対応する画素を特定する処理として、互いに隣接する処理領域間の輝度もしくは差分偏光度の違いの大きさを示すエッジ値を算出するエッジ抽出処理を行い、これにより抽出したエッジ値に基づいて路端エッジ部に対応する処理領域を特定する処理を行う。これにより、迅速かつ高い精度で路端エッジ部を識別することができる。
特に、本実施形態のように、エッジ抽出処理により抽出したエッジ値を所定のエッジ閾値により２値化処理し、その２値化処理後の値に基づいて路端エッジ部に対応する処理領域を特定する処理を行い、物体識別部１８を、差分偏光度画像処理部１５が算出した差分偏光度及びモノクロ画像処理部１３が算出したモノクロ輝度の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段、及び、判別した状況に応じてエッジ閾値を決定するエッジ閾値決定手段として機能させることで、状況の依存性が少ない安定した識別が可能となる。
この場合、本実施形態のように、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いてエッジ閾値を決定することで、より適切なエッジ閾値を用いることができ、より高い精度で路端エッジ部を識別することができる。
また、本実施形態では、路端エッジ部を偏光カメラ１０により撮像したときの形状を示す形状情報としての形状テンプレートを記憶する形状情報記憶手段しての形状記憶部１７を設け、物体識別部１８は、路端エッジ部に対応する画素として特定した互いに近接する複数の画素により示される形状が形状記憶部１７に記憶されている路端エッジ部の形状テンプレートの形状に近似しているかどうかを判断する形状近似判断処理を行い、その形状近似判断処理により近似していると判断したときには、当該複数の画素を路端エッジ部の画像領域であると識別する。これにより、より高い精度で路端エッジ部を識別することができる。
この場合、上記形状近似判断処理において、Ｐ偏光画像及びＳ偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域（上下２つ）に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる画像上方部分よりも撮像距離が近い区域に含まれる画像下方部分の方が判断結果に与える影響が大きいように重み付けを行う。これにより、より高い精度で路端エッジ部を識別することができる。
また、物体識別部１８が過去に行った識別処理の結果を記憶する識別処理結果記憶手段としてのメモリに保存しておき、物体識別部１８は、このメモリに保存しておいた過去の識別処理の結果も用いて識別処理を行う。これにより、過去の識別結果と同じ結果が得られたか否かについて識別結果の信頼度を判断することが可能となる。
【００７９】
なお、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、偏光カメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
【符号の説明】
【００８０】
１０ 偏光カメラ
１１ 水平偏光画像メモリ
１２ 垂直偏光画像メモリ
１３ モノクロ画像処理部
１４ 白線識別部
１５ 差分偏光度画像処理部
１６ 画像選択部
１７ 形状記憶部
１８ 物体識別部
【先行技術文献】
【特許文献】
【００８１】
【特許文献１】特開平１１−１７５７０２号公報
【特許請求の範囲】
【請求項１】
撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該２つの偏光画像間における輝度合計値を算出する輝度算出手段と、
該処理領域ごとに、該輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、
該差分偏光度算出手段が算出する差分偏光度が所定の選択条件を満たすか否かを判断する選択条件判断手段と、
該選択条件判断手段が該所定の選択条件を満たすと判断した場合には、該差分偏光度算出手段が算出した差分偏光度に基づいて上記識別対象物に対応する処理領域を特定し、該選択条件判断手段が該所定の選択条件を満たさないと判断した場合には、該輝度算出手段が算出した輝度合計値に基づいて上記識別対象物に対応する処理領域を特定し、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域を該識別対象物の画像領域であると識別する物体識別処理を行う物体識別処理手段とを有することを特徴とする物体識別装置。
【請求項２】
請求項１の物体識別装置において、
上記選択条件判断手段は、上記撮像手段が撮像した２つの偏光画像を区分して得られる複数の選定エリアごとに、上記差分偏光度算出手段が算出する差分偏光度が上記所定の選択条件を満たすか否かを判断し、
上記物体識別処理手段は、該選択条件判断手段が該所定の選択条件を満たすと判断した選定エリアについては、該差分偏光度算出手段が算出した差分偏光度に基づいて上記識別対象物に対応する処理領域を特定し、該選択条件判断手段が該所定の選択条件を満たさないと判断した選定エリアについては、上記輝度算出手段が算出した輝度合計値に基づいて上記識別対象物に対応する処理領域を特定することを特徴とする物体識別装置。
【請求項３】
請求項１又は２の物体識別装置において、
上記撮像手段が撮像した２つの偏光画像内に設定される所定箇所の輝度合計値及び差分偏光度の少なくとも一方から、上記所定の選択条件に用いる差分偏光度用閾値を設定する閾値設定手段を有し、
上記所定の選択条件は、上記差分偏光度算出手段が算出する差分偏光度が上記差分偏光度用閾値以上であるという条件を含むことを特徴とする物体識別装置。
【請求項４】
請求項３の物体識別装置において、
上記所定の選択条件は、上記輝度算出手段が算出する輝度合計値が所定の閾値未満であるという条件を含むことを特徴とする物体識別装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の物体識別装置において、
上記物体識別処理手段は、上記識別対象物に対応する処理領域を特定する処理として、互いに隣接する処理領域間の輝度もしくは差分偏光度の違いの大きさを示すエッジ値を算出するエッジ抽出処理を行い、これにより抽出したエッジ値に基づいて該識別対象物に対応する処理領域を特定する処理を行うことを特徴とする物体識別装置。
【請求項６】
請求項５の物体識別装置において、
上記物体識別処理手段は、上記エッジ抽出処理により抽出したエッジ値を所定のエッジ閾値により２値化処理し、その２値化処理後の値に基づいて上記識別対象物に対応する処理領域を特定する処理を行うものであり、
上記差分偏光度算出手段が算出した差分偏光度及び上記輝度算出手段が算出した輝度合計値の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段と、
該状況判別手段が判別した状況に応じて該エッジ閾値を決定するエッジ閾値決定手段とを有することを特徴とする物体識別装置。
【請求項７】
請求項６の物体識別装置において、
上記エッジ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記エッジ閾値を決定することを特徴とする物体識別装置。
【請求項８】
請求項５乃至７のいずれか１項に記載の物体識別装置において、
上記識別対象物を上記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、
上記物体識別処理手段は、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域により示される形状が上記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断する形状近似判断処理を行い、該形状近似判断処理により近似していると判断したときには、該複数の処理領域を該識別対象物の画像領域であると識別することを特徴とする物体識別装置。
【請求項９】
請求項８の物体識別装置において、
上記物体識別処理手段が行う上記形状近似判断処理では、上記２つの偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる部分よりも撮像距離が近い区域に含まれる部分の方が判断結果に与える影響が大きいように重み付けを行うことを特徴とする物体識別装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の物体識別装置において、
上記物体識別処理手段が過去に行った上記物体識別処理の結果を記憶する識別処理結果記憶手段を有し、
上記物体識別処理手段は、上記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて上記物体識別処理を行うことを特徴とする物体識別装置。
【請求項１】
撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該２つの偏光画像間における輝度合計値を算出する輝度算出手段と、
該処理領域ごとに、該輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、
該差分偏光度算出手段が算出する差分偏光度が所定の選択条件を満たすか否かを判断する選択条件判断手段と、
該選択条件判断手段が該所定の選択条件を満たすと判断した場合には、該差分偏光度算出手段が算出した差分偏光度に基づいて上記識別対象物に対応する処理領域を特定し、該選択条件判断手段が該所定の選択条件を満たさないと判断した場合には、該輝度算出手段が算出した輝度合計値に基づいて上記識別対象物に対応する処理領域を特定し、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域を該識別対象物の画像領域であると識別する物体識別処理を行う物体識別処理手段とを有することを特徴とする物体識別装置。
【請求項２】
請求項１の物体識別装置において、
上記選択条件判断手段は、上記撮像手段が撮像した２つの偏光画像を区分して得られる複数の選定エリアごとに、上記差分偏光度算出手段が算出する差分偏光度が上記所定の選択条件を満たすか否かを判断し、
上記物体識別処理手段は、該選択条件判断手段が該所定の選択条件を満たすと判断した選定エリアについては、該差分偏光度算出手段が算出した差分偏光度に基づいて上記識別対象物に対応する処理領域を特定し、該選択条件判断手段が該所定の選択条件を満たさないと判断した選定エリアについては、上記輝度算出手段が算出した輝度合計値に基づいて上記識別対象物に対応する処理領域を特定することを特徴とする物体識別装置。
【請求項３】
請求項１又は２の物体識別装置において、
上記撮像手段が撮像した２つの偏光画像内に設定される所定箇所の輝度合計値及び差分偏光度の少なくとも一方から、上記所定の選択条件に用いる差分偏光度用閾値を設定する閾値設定手段を有し、
上記所定の選択条件は、上記差分偏光度算出手段が算出する差分偏光度が上記差分偏光度用閾値以上であるという条件を含むことを特徴とする物体識別装置。
【請求項４】
請求項３の物体識別装置において、
上記所定の選択条件は、上記輝度算出手段が算出する輝度合計値が所定の閾値未満であるという条件を含むことを特徴とする物体識別装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の物体識別装置において、
上記物体識別処理手段は、上記識別対象物に対応する処理領域を特定する処理として、互いに隣接する処理領域間の輝度もしくは差分偏光度の違いの大きさを示すエッジ値を算出するエッジ抽出処理を行い、これにより抽出したエッジ値に基づいて該識別対象物に対応する処理領域を特定する処理を行うことを特徴とする物体識別装置。
【請求項６】
請求項５の物体識別装置において、
上記物体識別処理手段は、上記エッジ抽出処理により抽出したエッジ値を所定のエッジ閾値により２値化処理し、その２値化処理後の値に基づいて上記識別対象物に対応する処理領域を特定する処理を行うものであり、
上記差分偏光度算出手段が算出した差分偏光度及び上記輝度算出手段が算出した輝度合計値の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段と、
該状況判別手段が判別した状況に応じて該エッジ閾値を決定するエッジ閾値決定手段とを有することを特徴とする物体識別装置。
【請求項７】
請求項６の物体識別装置において、
上記エッジ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記エッジ閾値を決定することを特徴とする物体識別装置。
【請求項８】
請求項５乃至７のいずれか１項に記載の物体識別装置において、
上記識別対象物を上記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、
上記物体識別処理手段は、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域により示される形状が上記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断する形状近似判断処理を行い、該形状近似判断処理により近似していると判断したときには、該複数の処理領域を該識別対象物の画像領域であると識別することを特徴とする物体識別装置。
【請求項９】
請求項８の物体識別装置において、
上記物体識別処理手段が行う上記形状近似判断処理では、上記２つの偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる部分よりも撮像距離が近い区域に含まれる部分の方が判断結果に与える影響が大きいように重み付けを行うことを特徴とする物体識別装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の物体識別装置において、
上記物体識別処理手段が過去に行った上記物体識別処理の結果を記憶する識別処理結果記憶手段を有し、
上記物体識別処理手段は、上記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて上記物体識別処理を行うことを特徴とする物体識別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図８】
【図９】
【図１０】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図８】
【図９】
【図１０】
【図１６】
【公開番号】特開２０１２−３３１４９（Ｐ２０１２−３３１４９Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１１−１１４３３７（Ｐ２０１１−１１４３３７）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]