撮像装置、車載用撮像システム、路面外観認識方法及び物体識別装置
【課題】撮影環境によらずに簡易な構成で走行路面の境界を正確に検出することができ、安全な運転のための運転者への視認表示や車両制御への的確な情報を提供し得る撮像装置を提供する。
【解決手段】偏光カメラによって撮影した路面の垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成する。偏光カメラで撮影した画像の輝度情報に基づいて白線ＷＬを検出し、内側のそれぞれの偏光比（走査用基準偏光比）を使って、１走査線ごとに画面の下から画面の上まで中央から左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較することで、路端ＲＥを検出する。差分値が閾値以内の部分は×で表示し、閾値より大きい部分は黒丸で表示している。黒丸部分は路端ＲＥとして認識されたところである。
【解決手段】偏光カメラによって撮影した路面の垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成する。偏光カメラで撮影した画像の輝度情報に基づいて白線ＷＬを検出し、内側のそれぞれの偏光比（走査用基準偏光比）を使って、１走査線ごとに画面の下から画面の上まで中央から左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較することで、路端ＲＥを検出する。差分値が閾値以内の部分は×で表示し、閾値より大きい部分は黒丸で表示している。黒丸部分は路端ＲＥとして認識されたところである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車等の走行体ないし移動体が走行する路面（道路）の外観を撮影して走行領域における境界等の位置情報を得る撮像装置、該撮像装置を備えた車載用撮像システム、路面外観認識方法及び物体識別装置に関する。
【背景技術】
【０００２】
近年、車載カメラなどの撮像システムにおいては、センターライン越え等による車両の衝突や道路からの逸脱等の事故発生を防止するため、道路の白線（黄線を含む）位置を認識し、車両の操舵を制御して車線を維持しながら走行するシステムが提案されている。
この技術では、車両に搭載された白線認識装置がＣＣＤカメラ等の撮像手段により車両前方の道路画像を取り込み、白線位置で輝度が高いことを利用して白線を検出する。具体的には、例えば画像の微分処理および２値化処理によるエッジ（エッジ点列）抽出を行い、その抽出エッジについて白線エッジか否かの判定を行う。さらに、抽出エッジについて、直線検出法として知られるハフ（Hough）変換を行うことで、白線位置を決定することが開示され既に知られている。
【０００３】
特許文献１には、太陽光が路面に反射する場合であっても、安定して白線を検出することができるようにする目的で、透過させる光の偏光方向が各々異なる複数の偏光フィルタを、車両上下方向に配列した偏光フィルタ群を介して、自車両の前方を撮像するシステムが開示されている。
これは、撮像装置によって撮像された前方路面画像の複数の偏光フィルタに対応する複数のスキャンライン領域のうち、領域における各画素の輝度値の変化量が閾値以上となるスキャンライン領域の輝度値に基づいて、白線検出部によって路面上の白線を検出する方法を採っている。
特許文献２には、走行環境或いは撮影環境によらず道路画像から白線などのラインを検出する目的で、その１つとして、露光量の異なる二つの道路画像を撮影し、例えば車両がトンネルに進入する場合には露光量の多い画像を用いて、輝度差に基づくテンプレートマッチング手法により白線を検出する方法が開示されている。
また、水たまり部分を白線と誤認識するのを防止するために、垂直偏光画像と水平偏光画像を撮影し、その差分を演算して入射光が散乱光か鏡面反射光かを識別し、水たまり等による鏡面反射成分を除去する方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した従来の白線検出方法にあっては、垂直偏光および水平偏光の２枚の画像が必要であり、自動検出が可能なセンサシステムとして達成しようとする場合、テレビカメラの他に、偏光フィルタを回転制御するための機構などが必要となり、コスト高になるといった問題があった。
しかし、今までの白線を検出する装置では、装置構成が煩雑の問題と、検出精度を高めれば、画像処理の演算負担が大きくなり、画像処理の演算負担を小さくすれば、白線の検出精度は低下する問題と、曇りやトンネル等の撮像素子の入射光量が不足する撮影環境場合線などのラインを正しく検出することが難しい問題があった。
【０００５】
すなわち、このようなシステムでは、撮影された道路画像から白線をいかに正確に検出するかが重要な課題となっている。しかしながら、以下のような状況においては白線位置が認識できないという問題があった。
（１）白線が影内にある場合、白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
（２）逆光を浴びて路面が光っているとき、太陽光の反射による路面と白線との輝度差が小さいため、白線エッジを抽出できず、未認識となる。
（３）天候(雨、曇りのときなど)により、白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
（４）雨あがりなどで、路面がぬれて光っているときや水たまりがあるため、白線エッジを抽出できず、未認識となる。
（５）白線の外側に路肩、溝等が存在する場合、それらのエッジを白線エッジと判断し、誤認識となる。
（６）道路上における道路補修跡により、白線エッジを抽出できず、誤認識となる。
【０００６】
また、路面を車が安全に走行するには、センターラインや路側帯ラインなどの白線（黄色のＵターン禁止ライン等を含む）を認識するだけでなく、路端、すなわち走行路面と角度（高低差を含む）を有して隣接する路面領域外部材（中央分離帯や側壁、縁石、植栽、土手など）との境界を明確に認識する必要がある。
一般に路面はアスファルトで形成されており、樹脂材料で形成された白線とは光の反射率が大きく異なるため、白線検出には上述した従来の輝度差による認識手法が適用可能であるが、側壁等の路面と角度を有して隣接する路面領域外部材は材質がコンクリートやレンガ、土、植物などであるため、路面との反射率の違いが少ない場合が多く、白線を検出するのに比べて検出精度は低くなる。
夜間やトンネル内等のように入射光量が不足する撮影環境では、検出精度の低下はさらに困難となる。
垂直偏光画像と水平偏光画像の差分を用いる方式においても、輝度差による検出方式に変わりがないため、路端検出の適用において精度を高めることは困難であった。
【０００７】
従来の輝度差による検出手法において、検出精度を高めるためには、複数のカメラを備えたステレオ光学系などの測距機構が必要であり、装置構成が煩雑になるとともに、画像処理の演算負担が大きくなることを避けられない。
【０００８】
本発明はこのような事情に鑑みてなされたもので、撮影環境によらずに簡易な構成で白線や走行路面の境界を正確に検出することができ、安全な運転のための運転者への視認表示や車両制御への的確な情報を提供し得る撮像装置等の提供を、その主な目的とする。
【課題を解決するための手段】
【０００９】
まず、本発明が具体化されるに到った経緯を以下に説明する。
２つの屈折率の異なる材質の界面に、ある角度をもって光が入射する時、入射面に平行な偏光成分であるＰ偏光成分と、垂直な偏光成分であるＳ偏光成分では反射率が異なり、Ｐ偏光成分はある角度（ブリュースター角）で０まで減少し、その後増加する。Ｓ偏光成分は単調に増加することが知られている。
【００１０】
Ｐ偏光成分とＳ偏光成分の反射特性に差異が出るため、下記の式２で定義される偏光度も入射角や屈折率によって変化する。
偏光度＝（Ｐ偏光成分−Ｓ偏光成分）／（Ｐ偏光成分＋Ｓ偏光成分）・・・・・（式２）
偏光度は屈折率と光源からの被写体への入射角、被写体からカメラへの取り込み角度に応じて変化する。
一般に路面はアスファルトによって形成されている。一方、路面と角度を有して隣接する路面領域外部材はコンクリートや植栽、土といった材質の異なるものである。路面上に平面的に形成された白線等のラインもアスファルトとは材質が異なる。
材質が異なると屈折率も異なるため、路面とラインとの間または路面領域外部材との間で偏光度（偏光比）に違いが生じる。偏光度の違いは輝度差による認識方式の場合のように入射光量にあまり左右されないため、偏光比画像を生成することにより、路面とラインとの境界、または路面領域外部材のエッジに相当する路肩（路端）を検知することが可能となる。
【００１１】
また、路面に隣接する路面領域外部材は路面に対して角度を有して存在している。被写体の面の法線方向が異なると、被写体への光源からの入射角やカメラでの取り込み角度が異なるため、路面と隣接領域（路面領域外部材）との間で偏光度に違いが生じる。
この観点からも、偏光比画像を生成することにより、路面と隣接する路面領域外部材のエッジ（境界）に相当する路肩（路端）を検知することが可能となる。特に、路面領域外部材との間においては、材質の相違による偏光度の違いに、角度の相違による偏光度の違いが加味されるため、検出精度は高くなる。
このように偏光度の画像を生成することで、材質と角度の違いに基づき路面とライン間のエッジや、路面と路面領域外部材間のエッジ（路端）を検出することが可能となる。
偏光度は、式１に示す通り、Ｐ偏光成分とＳ偏光成分の差分値を、各々の和で規格化した値であるため、輝度差がない暗い環境下でも路端を検知することができるのである。
【００１２】
本発明は、このような技術思想の下、上記目的を達成すべく創案されたもので、請求項１に記載の発明は、走行する路面の垂直偏光画像および水平偏光画像を撮影可能な撮像手段と、前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成する偏光比画像生成手段と、前記偏光比画像上の偏光比情報により、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する異部材検出手段と、を有することを特徴とする撮像装置である。
【００１３】
請求項２に記載の発明は、請求項１に記載の撮像装置において、前記異部材検出手段は、前記偏光比画像を走査し、１走査線ごとの偏光比情報により異物を検出することを特徴とする。
請求項３に記載の発明は、請求項２に記載の撮像装置において、前記異部材検出手段は、走査に使用する偏光比と同じ走査線上にある偏光比との差分値を算出し、予め定められた閾値と比較することにより異部材を検出することを特徴とする。
請求項４に記載の発明は、請求項３に記載の撮像装置において、前記垂直偏光画像と水平偏光画像とから輝度情報を算出する輝度情報算出手段と、算出された輝度情報に基づいて前記ラインを検出するライン検出手段と、を有し、前記異部材検出手段は、検出された前記ラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
【００１４】
請求項５に記載の発明は、請求項４に記載の撮像装置において、前記異部材検出手段は、前記ラインを検出できなかった場合、過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
請求項６に記載の発明は、請求項４に記載の撮像装置において、前記異部材検出手段は、前記ラインが走行方向に途切れていた場合、ラインが無い領域では過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
請求項７に記載の発明は、請求項５または６に記載の撮像装置において、前記異部材検出手段は、過去の画像により抽出したラインが走行方向に途切れていた場合、同じ偏光比画像内の他の走査線で検出されたラインの仮想延長線を基準した偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
【００１５】
請求項８に記載の発明は、請求項４に記載の撮像装置において、前記異部材検出手段は、前記ラインを検出できなかった場合、路面中心部の偏光比を前記走査に使用する偏光比とすることを特徴とする。
請求項９に記載の発明は、請求項４〜８の何れか１つに記載の撮像装置において、前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記ライン検出手段は、輝度値画像を上方と下方の二つのエリアに分け、エリア毎に適用する輝度の閾値を設定することを特徴とする。
請求項１０に記載の発明は、請求項４〜９の何れか１つに記載の撮像装置において、前記ライン検出手段は、前記ラインを判断するためのエッジ候補からライン幅を算出し、算出したライン幅が規定範囲の場合にラインエッジと判断することを特徴とする。
【００１６】
請求項１１に記載の発明は、請求項４〜１０の何れか１つに記載の撮像装置において、前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記異部材検出手段または前記ライン検出手段は、画像の下方から上方へという順序で画像水平方向の走査線の中央から画像の左右方向へ走査して、異部材を検出することを特徴とする。
請求項１２に記載の発明は、請求項４〜１１の何れか１つに記載の撮像装置において、１フレーム以上の過去の撮影画像により認識した前記ラインと前記路面領域外部材との領域を記憶する領域記憶手段と、記憶された結果に基づいて次のフレームの探索位置を決める探索位置決定手段とを有していることを特徴とする。
請求項１３に記載の発明は、請求項９または１１に記載の撮像装置において、検出された前記ラインのエッジと前記路面領域外部材のエッジに対して形状近似認識により近似曲線を取得する近似曲線取得手段を有し、偏光比画像の下部で抽出した信頼性の高いラインエッジと前記路面領域外部材のエッジには形状近似の投票値に大きな重みを持たせることを特徴とする。
【００１７】
請求項１４に記載の発明は、車に取り付けられ、路面を撮影する撮像装置と、撮影された画像を表示する表示手段とを有する車載用撮像システムにおいて、前記撮像装置が、請求項１〜１３のいずれか１つに記載のものであることを特徴とする。
請求項１５に記載の発明は、走行する路面の垂直偏光画像および水平偏光画像を撮影し、前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成し、特定の偏光比を使用して前記偏光比画像を走査することにより、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出することを特徴とする路面外観認識方法である。
【００１８】
請求項１６に記載の発明は、撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置において、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該２つの偏光画像間における輝度合計値を算出する輝度算出手段と、該処理領域ごとに、該輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、該差分偏光度により差分偏光度画像を生成する差分偏光度画像生成手段と、該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に車両の走行レーンを区画する車線の車線候補点の検出を行う車線候補点検出手段と、該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に平面的に形成されて路面領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する路面形状推定手段と、該路面形状推定手段で推定された路面の形状に基づいて、車線領域を決定する車線探索領域決定手段と、該車線領域決定手段で決定した車線領域にある車線候補点に基づいて、走行車線を認識する車線検出手段と、を有することを特徴とする。
【００１９】
請求項１７に記載の発明は、請求項１６に記載の物体識別装置において、前記車線探索領域決定手段は、走行路面の傾きと幅とにより、車線の探索領域を決定することを特徴とする。
請求項１８に記載の発明は、請求項１６または１７に記載の物体識別装置において、前記車線探索領域内では、車線を認識できなかった場合、車線探索領域に対応する部分では、前記車線検出手段は適用する差分偏光度のパラメータ閾値を下げることを特徴とする。
請求項１９に記載の発明は、請求項１６に記載の物体識別装置において、前記路面形状推定手段は、差分偏光度画像を所定パラメータの閾値により２値化処理を行い、２値化処理後の値に基づいて、路面の特徴量を持つ領域内画像データの連結成分をラベリング処理により抽出し、抽出された前記連結成分を路面として、識別することを特徴とする。
【００２０】
請求項２０に記載の発明は、請求項１９に記載の物体識別装置において、前記差分偏光度画像を２値化するため、前記差分偏光度算出手段が算出した差分偏光度及び前記輝度算出手段が算出した輝度合計値の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段と、該状況判別手段が判別した状況に応じて該パラメータの閾値を決定するパラメータ閾値決定手段と、を有することを特徴とする。
請求項２１に記載の発明は、請求項２０に記載の物体識別装置において、上記パラメータ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記パラメータ閾値を決定することを特徴とする。
【００２１】
請求項２２に記載の発明は、請求項１６〜２１の何れか１つに記載の物体識別装置において、前記認識対象物を前記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、前記車線検出手段と前記路面形状推定手段は、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域により示される形状が前記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断する形状近似判断処理を行い、該形状近似判断処理により近似していると判断したときには、該複数の処理領域を該識別対象物の画像領域であると識別することを特徴とする。
【００２２】
請求項２３に記載の発明は、請求項１６〜２２の何れか１つに記載の物体識別装置において、前記車線検出手段と前記路面形状推定手段とが行う前記形状近似判断処理では、前記２つの偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる部分よりも撮像距離が近い区域に含まれる部分の方が判断結果に与える影響が大きいように重み付けを行うことを特徴とする。
請求項２４に記載の発明は、請求項１〜２３の何れか１つに記載の物体識別装置において、過去に行った物体識別処理の結果を記憶する識別処理結果記憶手段を有し、前記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて物体識別処理を行うことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、撮影環境の明暗によらずに簡易な構成で走行路面の境界（白線との境界及び路面領域外部材との境界）を正確に検出することができ、安全な運転のための運転者への視認表示や車両制御への的確な情報を提供することができる。
本発明によれば、撮影環境によらずに、路面反射光の差分偏光度成分の強度変化を利用して簡易の構成で白線を正確に検出することができる。
また、前方道路の差分偏光度成分から推測された路面の形状情報を利用し、白線の外側に路肩、溝等により、白線の未認識と誤認識を防止することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る車載用撮像システムの構成を示すブロック図である。
【図２】制御動作を示すフローチャートである。
【図３】白線と路端の走査順次を示す図で、（ａ）は偏光比画像を示す図、（ｂ）はその偏光比画像を走査している状態を示す図である。
【図４】高速道路における偏光比の変化箇所を示す図である。
【図５】偏光比と頻度の関係を示すグラフである。
【図６】サンプル画像の枚数と偏光比の変化を示す雨の日のデータによるグラフである。
【図７】サンプル画像の枚数と偏光比の変化を示す晴れの日のデータによるグラフである。
【図８】白線エッジ検出の処理動作を示すフローチャートである。
【図９】路端エッジ検出の処理動作を示すフローチャートである。
【図１０】路面上に白線が２本ある場合の路端検出のための走査状態を示す図である。
【図１１】路面上に白線が１本ある場合の路端検出のための走査状態を示す図である。
【図１２】路面上に白線が無い場合の過去画像のデータを利用した路端検出のための走査状態を示す図である。
【図１３】路面上に白線が無い場合に画像中央の偏光比を利用した路端検出のための走査状態を示す図である。
【図１４】路面上の白線が不連続となっている場合の過去画像のデータを利用した路端検出のための走査状態を示す図である。
【図１５】路面上の白線が途切れている場合の画像中央の偏光比を利用した路端検出のための走査状態を示す図である。
【図１６】路面に影がある場合の走査状態を示す図である。
【図１７】輝度画像と差分偏光度画像とでコントラストの差異が生じる理由を説明するための写真画像である。
【図１８】太陽からの光において、高度と方位によって縦横偏光度が変化することを示す図である。
【図１９】日陰の中の路面等に照射される空からの光は角度依存性がないことを示す図である。
【図２０】逆光を浴びて路面が光っているときのモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２１】曇天の日におけるモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２２】雨上がりで路面が濡れているときのモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２３】白線の外側に路肩、溝等が存在する場合のモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２４】本発明における車線の認識処理の工程を示す図である。
【図２５】車両前方路面のモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２６】差分偏光度画像を用いて車線っぽいエッジを検出する状態を示す写真画像である。
【図２７】差分偏光度画像を用いて、ラベリング処理により路面の形状を認識した状態を示す写真画像である。
【図２８】路面の幅及び傾きにより車線の探索範囲を決定した状態を示す写真画像である。
【図２９】車線探索領域にある抽出された車線エッジに基づいて、ハフ変換を用いて車線の形状を近似した状態を示す写真画像である。
【図３０】他の実施形態に係る車載用撮像システムの構成を示すブロック図である。
【図３１】全体処理の制御動作を示すフローチャートである。
【図３２】撮像手段の一具体例を示す図である。
【図３３】撮像手段の他の例を示す図である。
【図３４】撮像手段の他の例を示す図である。
【図３５】撮像手段の他の例を示す図である。
【図３６】撮像手段の他の例を示す図である。
【図３７】撮像手段の他の例を示す図である。
【図３８】車線候補点検出の処理制御を示すフローチャートである。
【図３９】路面形状推定手段の処理制御を示すフローチャートである。
【図４０】２値化した差分偏光度画像において路面の特徴により路面の連結成分を抽出した写真画像である。
【図４１】路面状態の学習によりパラメータ決定の制御を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の一実施形態を図を参照して説明する。
図１は、本実施形態に係る車載用撮像システム１０の全体構成（ハードウェア構成）を示すブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ１２により、車両が走行する道路の外観（ここでは走行方向前方の景色＝フロントビューとする）を撮影し、その垂直偏光成分（以下、単に「Ｓ成分」という）と水平偏光成分（以下、単に「Ｐ成分」という）及びこれを包含した偏光ＲＡＷ画像データを取得する。
撮影された水平偏光画像データはメモリ１に、垂直偏光画像データはメモリ２にそれぞれ格納される。
これらの画像データは、それぞれ輝度情報算出手段としてのモノクロ情報処理部１４と、偏光比画像生成手段としての偏光比情報処理部１６に送信される。偏光比情報処理部１６は取得されたＰ成分とＳ成分を用い、偏光比を算出して偏光比画像を生成する。
モノクロ情報処理部１４は、取得されたＰ成分とＳ成分を用い、モノクロ画像の生成と、輝度情報（生成されたモノクロ画像の画素ごとの輝度値）の算出を行う。
【００２６】
偏光比情報処理部１６は、式１に示す計算式により、それらの比率を計算することで、偏光比情報画像データを得る。偏光比の計算は、取得した偏光成分の比率を計算できればよいので、式２で計算してもよい。
また、偏光比情報処理部１６では、式３により輝度情報画像データも生成し、出力する。
偏光比＝Ｐ偏光成分／Ｓ偏光成分・・・・・（式１）
偏光比＝（Ｐ偏光成分−Ｓ偏光成分）／（Ｐ偏光成分＋Ｓ偏光成分）・・・・・（式２）
輝度データ＝（Ｐ偏光成分＋Ｓ偏光成分）・・・・・（式３）
【００２７】
ライン検出手段としての白線検出部１８は、モノクロ情報処理部１４により計算された輝度情報を元に、後述する方法にて走行路面上の白線領域を検出するものである。異部材検出手段としての路端検出部２０は、白線検出部１８により検出された白線情報に基づいて、偏光比情報処理部１６で計算された偏光比情報により、路端を検出するものである。
白線検出部１８により検出された白線や、路端検出部２０により検出された路端は、ＣＲＴや液晶等で構成される表示部（ディスプレイ）２２に、運転者が見やすい形態で表示される。路端検出部２０による検出データを車両制御部２４に送信して車両制御を行ってもよい。
メモリ１、メモリ２、モノクロ情報処理部１４、偏光比情報処理部１６、白線検出部１８及び路端検出部２０は、画像処理装置２６を構成している。
偏光カメラ１２、画像処理装置２６及び表示部２２は、車載用撮像システム１０を構成し、偏光カメラ１２及び画像処理装置２６は撮像装置２を構成する。
本実施形態に係る車載用撮像システム１０において、偏光カメラ１２、画像処理装置２６及び表示部２２のシステム全体を車両に搭載してもよく、偏光カメラ１２のみを搭載して、画像処理装置２６及び表示部２２は遠隔配置して車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
本実施形態に係る偏光カメラ１２は、１台で水平偏光画像と垂直偏光画像の両方を撮影できる構成を有しているが、水平偏光画像を撮影する偏光カメラと垂直偏光画像を撮影する偏光カメラとで撮像手段を構成してもよい。
【００２８】
図２に基づいて車載用撮像システム１０の制御動作を説明する。
偏光カメラ１２にて取得した車両前方路面のＳ成分とＰ成分及びこれを包含した偏光ＲＡＷ画像データを用いて、上述の式２と式３で偏光比情報と輝度情報を算出する。
得られた道路画像の輝度情報により後述する方法にて白線のエッジを検出する。検出された白線の内側の偏光比を「走査用基準偏光比」として用い、偏光比画像を走査する。偏光比画像を構成する画素ごとに偏光比が設定されており、路端検出部２０は偏光比情報処理部１６が生成した偏光比画像にアクセスして画素ライン（走査線）をビームで走査する。「走査線」とは、ディスプレイで電子ビームが走査する画面左端から右端までの軌跡のことである。
偏光比画像の左右方向へ同じ走査線上にある偏光比と比較し、偏光比の変化（走査用基準偏光比と走査した偏光比との差分値）が予め定められた閾値より小さい場合、同じ走査線上の次の画素位置へ走査し続ける。大きい場合には、路端エッジとして抽出する。
【００２９】
白線の内側の偏光比を走査用基準偏光比として用いる理由は、前方車両、街路樹、建物などの影の影響による路端エッジの誤認識を少なくすることができるからである。なお、走査線中央（偏光比画像の中央）の偏光比を走査用基準偏光比として用い、路端エッジを認識することもできる。
白線エッジと路端エッジを検出する際、信頼性が高い画像（画面）の下方から上方へという順序でｘ軸方向（画面縦方向）に走査線上を走査する。
一画面分の路端エッジと白線エッジを抽出した後、抽出した路端エッジと白線エッジに対して形状近似認識により近似曲線を取得する。この取得は近似曲線取得手段を兼ねる路端検出部２０により実行される。
形状を認識する手法に関しては、最小二乗法やハフ変換やモデル方程式などの手法を適用できる。近似曲線を取得する際、道路画像の下部（画面下部）で抽出した信頼性の高い白線エッジと路端エッジには形状近似の投票値に大きな重みを持たせる。このようにすれば、道路画像の上方走査範囲で白線エッジと路端エッジを誤認識しても、下方走査範囲で正しい白線エッジと路端エッジを抽出できていれば、白線と路端の認識を成功させることができる。
【００３０】
リアルタイムに白線と路端を検出する場合においては、一枚（フレーム）以上の過去の撮影画像（偏光比画像）に同じような白線と路端が見つかったら、信頼できると判断する。次のフレームから前のフレームの白線位置に基づいて、白線エッジと路端エッジを探索し、線を引く。５フレーム分の画像の白線エッジ位置と路端エッジ位置がロストしたら、最初の下方の走査線の中央位置から探し始める。最後に、検出した結果を使って車両制御してもよいし、白線、路端を運転者が見やすい形態でディスプレイに表示してもよい。
【００３１】
図３に基づいて、白線と路端の走査順次について説明する。
白線エッジと路端エッジを検出する際、信頼性が高い画像下方から上方へという順序でｘ軸方向に走査線ＢＬ上を走査する。図３（ｂ）に示すように、走査線の中央部ＣＴから画像の左右方向へ走行路面ＲＦの両端の白線ＷＬと路端ＲＥを検出する。図３において符号３０はディスプレイの表示面を、３２は車を示している。
図４〜図７に基づいて、１００枚のサンプル画像の偏光比変化について説明する。図４は高速道路での走行状態を示している。晴れの日と雨の日では、左側の路端ＲＥにある領域内の偏光比は、左側の白線ＷＬの内側領域内の偏光比と比べると、図６及び図７から急激に変化していることがわかる。これにより、路端領域と路面領域で偏光比は切り分け可能である。
この特徴を利用して、モノクロ画像には見えない違う材質のラインと角度がある路面領域外部材を検出することができる。
図５は、図４に示す一画面内の四ヶ所、Ｐ１（左側の路端）、Ｐ２（自車線の左側＝白線内側＝路面左）、Ｐ３（自車線＝路面真ん中）、Ｐ４（自車線の右側＝路面右）の領域での偏光比のヒストグラムを示している。
【００３２】
図８に基づいて、白線エッジ検出の処理フローについて説明する。
通常の道路はアスファルト等の黒い部分に白線が形成されており、白線の部分の輝度はその他の部分より十分大きいため、得られた路面の輝度が所定値以上の部分を白線と判定するこができる。
車両前方路面のＳ成分とＰ成分により路面の輝度情報（輝度値）を算出する。モノクロ情報処理部１４によって生成された輝度値画像において、白線検出部１８により路面の輝度データと予め設定された閾値とを大小比較することにより白線エッジの候補点を検出する。検出された白線エッジの候補点と予め定められた白線幅の閾値とを大小比較することにより路面上に描かれた一対の白線エッジを抽出する。
輝度の閾値設定のステップでは、画像上方と下方の白線のコントラストが違っているため、同一の閾値を用いて処理を行うと良好な結果が得られない。そこで、一フレームの画像に対して、ｘ方向において上方と下方の二つのエリアに分け、それぞれに適用する輝度の閾値を設定する。
【００３３】
図９に基づいて、路端エッジ検出の処理フローについて説明する。
上記と同様に、偏光比画像を生成して、走査用基準偏光比を設定するとともに閾値を設定する。
検出された白線の内側の偏光比を用いて、画面の左側のエリアにあれば、白線の内側から画面の左へ走査線ごとに同じ走査線にある偏光比との差分を算出する。画面の右側のエリアにあれば、白線の内側から画面の右へ走査線ごとに同じ走査線にある偏光比との差分を算出する。
差分値と閾値とを大小比較し、所定値以上の部分を路端と判定するこができる。
【００３４】
図１０〜図１５に基づいて、白線情報により路端を検出する方法について具体的に説明する。
図１０は走行路面上の二本の白線ＷＬにより路端ＲＥを認識するための走査状態を示す図である。図に示すように、認識された二本の白線の内側のそれぞれの偏光比（走査用基準偏光比）を使って、１走査線ごとに画面の下から画面の上まで中央から左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較することで、路端認識する。
差分値が閾値以内の部分は×で表示し、閾値より大きい部分は黒丸で表示している（他の図において同じ）。黒丸部分は路端として認識されたところである。
図１１は、走行路面上に一本の白線ＷＬしかない場合に、白線により路端を認識するための走査状態を示す図である。図に示すように認識された一本の白線ＷＬの内側の偏光比（走査用基準偏光比）を使って、１走査線ごとに画面の下から画面の上まで左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較する。図１０の場合と同様に路端を検出することができる。
【００３５】
図１２は、走行路面上の白線を抽出できなかった場合の走査方法を示している。（ｂ）に示すように白線を抽出できなかった場合、（ａ）に示す１フレーム前の過去画像で認識した白線（（ｂ）において一点鎖線で表示）の内側の偏光比を用いて、路端を探索する。
この場合、過去画像における白線と路端との領域は領域記憶手段５０（図１参照）に記憶されており、探索位置検定手段を兼ねる路端検出部２０は記憶された結果に基づいて次のフレーム（現フレーム）の探索位置を決定する。
図１３は、走行路面上の白線を抽出できなかった上に、（ａ）に示す１フレーム前の過去画像にも白線がなかった場合の走査方法を示している。この場合、（ｂ）に示すように走査線中心（画像中央、画面中央）の偏光比を使って、１走査線ごとに画面の下から画面の上まで中央から左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較することで、路端認識する。
【００３６】
図１４は走行路面上の白線が切れていた場合、すなわち、走行方向に不連続となっていた場合の走査方法を示している。この場合、切れていた白線が存在するラインの、（ａ）に示す１フレーム前の過去画像で認識した白線（（ｂ）において一点鎖線で表示）の内側の偏光比を用いて、路端を探索する。
図１５は、走行路面上の白線が途切れてなくなった場合の走査方法を示している。この場合、途切れた白線が存在するラインの、（ａ）に示す１フレーム前の過去画像でも白線が認識できなかった時、同じ画面内の他の走査線で見つけた結果の延長線（（ｂ）において一点鎖線で表示）上にある偏光比を用いて、路端を探索する。
【００３７】
図１６は、走行路面上に影がある場合の走査方法を示している。
走行路面上に影ＳＤがある場合、左側の白線の内側の領域と路端の隣の領域は同じ影の下にある。
この場合、輝度差で検出する方式では影によって入射光量が低下し、路面と路端の輝度差がなくなるため、検出が困難となるのに比べ、影のある部分とない部分とで偏光比の特性は変わるが、偏光比の差分レベルはそのまま残る。
したがって、路端と近い白線内の偏光比を用い、１走査線ごとに路面上の両端の路端を探索することで、影の影響を減らすことができる。
【００３８】
上記実施形態では、輝度情報に基づいてライン検出手段としての白線検出部１８で白線を検出するようにしたが、路端検出と同様に、例えば画像中央の偏光比を走査用基準偏光比として用い、走査して白線を検出するようにしてもよい。
この場合、図１におけるモノクロ情報処理部１４及び白線検出部１８は不要となる。
【００３９】
本発明の実施形態を実際の写真画像によりより詳細に説明する。
天候や日向・日影の差異に応じて、輝度画像や差分偏光度画像のコントラストは変化する。白線などのラインを検出するにあたって、輝度画像、差分偏光度画像それぞれが得意とするシーン、苦手とするシーンがある。
そして、輝度画像が苦手とするシーンは差分偏光度画像が得意とするシーンであったり、反対に差分偏光度画像が苦手とするシーンは輝度画像が得意とするシーンであったり、とお互いが補間する関係にあることを本発明者らは撮影実験を通して見出した。
このような輝度情報と差分偏光度情報の補間関係を利用しているので、撮影環境によらずに簡易の構成で白線の認識精度の信頼性を向上させることができる。
特に輝度情報では認識が困難とされるシーンについて具体例を挙げて説明する。なお撮影は車両前方を撮影するように車内に設置された撮像装置での異なるシーンの撮影結果を示す。
【００４０】
［１．白線が影内にある場合］
白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
図１７は晴れの日の影となっているシーンの撮影結果であり、図１７（ａ）は差分偏光度画像、図１７（ｂ）はモノクロ輝度画像である。モノクロ輝度画像に比べ、差分偏光度画像のほうが白線が鮮明に確認できる。
このように、輝度画像と差分偏光度画像でコントラストの差異が生じる理由について説明する。
一般に輝度情報に関しては、昼間の日向のシーンのコントラストが高くなり、日影や雨や曇りの日のような陽があたらないシーンではコントラストが低くなることは、我々の日常生活からも実感できる。これに対して、差分偏光度は不可視の情報でありコントラストの差異が生じる理由について説明を要する。
【００４１】
図１８は、実験室において、アスファルト面に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化の一例を示すグラフである。このグラフは、横軸に入射角度（光源位置）をとり、縦軸に差分偏光度をとったものである。カメラ仰角は水平から１０度傾けた状態である。この差分偏光度は、各入射角度の撮影画像についての略中央部の輝度情報から算出したものである。このブラフにおける差分偏光度は、Ｐ偏光成分（Ｒｐ）とＳ偏光成分（Ｒｓ）の合計値に対する、Ｐ偏光成分からＳ偏光成分を差し引いた値の比率である。
よって、Ｓ偏光成分よりもＰ偏光成分の方が強い場合には、差分偏光度は正の値をとり、Ｐ偏光成分よりもＳ偏光成分の方が強い場合には、差分偏光度は負の値をとることになる。
【００４２】
図１７の日影のシーンの撮影結果がどのような状態になっているかを、図１８の結果をもとにして説明する。
日影のなかの路面や側壁物に照射される光の光源は太陽からの直射光ではなく、空からの光である。太陽からの光はその高度と方位によって、縦横偏光度が変化するのに対して、空からの光は、天空からの各高度、各方位から均等に被検物である路面や側壁物に照射されている、よって図１８に示すような角度依存性はなく、図１９のような縦横偏光度と入射角特性のグラフを引くと、所定の値（図１８の略平均値相当）をとる。
一方、白線は散乱体を含む塗料を有するものであり、差分偏光度は入射角依存少なくほぼ０である。日影の路面と白線を撮影した場合、コントラストのある差分偏光度画像となる。日影については輝度画像のコントラストが低下するのに対して、差分偏光度についてはコントラストある画像がとれるため、日影については差分偏光度画像を使って白線の認識をしてやればよい。
【００４３】
［２．逆光を浴びて路面が光っている場合］
太陽光の反射による路面と白線（黄線）との輝度差が小さいため、白線エッジを抽出できず、未認識となる。
図２０は晴れの日の撮影結果であり、図２０（ａ）は差分偏光度画像、図２０（ｂ）はモノクロ輝度画像である。差分偏光度画像のほうが路端部、白線の認識率が高いことがわかる。
図２０の晴れのシーンについて説明する。晴れの日向路面に照射される光の光源としては、太陽、空（太陽からの光が散乱光成分）の２つに分類できるが、路面に照射される光成分は太陽からの光が支配的成分である。すなわち図１８の測定結果をそのまま適用することが可能である。
【００４４】
図１８の測定結果から、逆光時には差分偏光度は負側に大きくなる特性を有している。一方、太陽がカメラの後ろ側にある順光のときはアスファルト面の差分偏光度は０である。これに対して、白線は散乱体を含む塗料を有するものであり、差分偏光度は入射角依存少なくほぼ０である。逆光の路面と白線を撮影した場合、コントラストのある差分偏光度画像となる。逆光については、輝度画像の路面も反射光量が強くなり、白っぽく見えるようになり、白線との差異が低下するのに対して、差分偏光度についてはコントラストある画像がとれるため、逆光については差分偏光度画像を使って白線の認識をしてやればよい。
【００４５】
［３．天候が雨や曇りの場合］
白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
図２１は曇天の日の撮影結果であり、図２１（ａ）は差分偏光度画像、図２１（ｂ）はモノクロ輝度画像である。差分偏光度画像のほうが白線の認識率が高いことがわかる。
このような雨の日や曇りの日についても、日影のシーンと同様に太陽からの直射光は存在しないため、コントラストのとれた差分偏光度画像となる。曇天時の路面と白線を撮影した場合、コントラストのある差分偏光度画像となる。輝度画像のコントラストが低下するのに対して、差分偏光度についてはコントラストある画像がとれるため、曇天については差分偏光度画像を使って白線の認識をしてやればよい。
【００４６】
［４．雨上がりなどの場合］
路面がぬれて光っているときや水たまりがあるため、白線エッジを抽出できず、未認識となる。
さらに雨で路面が濡れると、鏡面反射成分が強くなるため、輝度画像では白線が見えにくくなる。輝度画像としては濡れて画像全体が黒くなりコントラストが低くなる方向である。これに対して、差分偏光度では鏡面反射成分を除いて、下層にある路面情報を検出することが可能である。そのため雨路についても図２２に示すように、差分偏光度で白線（黄線）の認識をしてやればよい。
【００４７】
［５．白線の外側に路肩、溝等が存在する場合］
それらのエッジを白線エッジと判断し、ご認識となる。
偏光情報は上述のように材質の違いを検出することが可能である。同時に角度の違いも検出することが可能である。例えば鏡面反射面を想定した場合、直交したもの同士では差分偏光度も反転する。
このような現象を用いることにより、モノクロ輝度画像では検出不可能な角度情報も検出できる。よって図２３のように側壁物があるシーンではその路面と側壁物の間で差分偏光度に差異が生じる。このような性質を併用することで図２３（ｂ）のモノクロ輝度画像では白線なのか壁なのかが区別できないようなシーンについても、図２３（ａ）に示すように、差分偏光度画像の情報を用いて壁と認識することが可能となる。
【００４８】
［６．道路上に補修跡が存在する場合］
この場合も白線エッジを抽出できず、誤認識となる。
図１８のアスファルトの反射特性はアスファルトの状態、例えば新しいか古いかで変化する。よって道路補修後のように路面の材質が異なると、そのアスファルト間で差分偏光度に差異が生じる。この差異を利用することで白線の認識率を上げられる。
【００４９】
以上のように、輝度画像のコントラストが生じにくい雨の日や曇りの日や日影のような太陽からの光が被検対象である路面に直接あたらない場合においては、路面と白線の差分偏光度のコントラストが大きくなるとともに、撮影方向による差異がなく安定的な撮影が可能であるので、これらのシーンについては、差分偏光度を使用することにより、路面外観認識方法の信頼性を向上させることができる。また晴れの日向、特に逆光時についても差分偏光度画像で認識処理を行ってやればよい。
一方、順光時はモノクロ輝度画像のほうがよい。このような輝度情報と差分偏光度情報の補間関係を利用しているので、撮影環境によらずに簡易の構成で白線の認識方法の信頼性を向上させることができる。
【００５０】
以下に本発明の他の実施形態を説明する。
まず、本実施形態に係る本発明の原理及び特徴を写真画像を含めて説明する。
本発明は、車線（白線、黄線）を検出する処理に際して、以下の特徴を有する。要するに、本発明は、差分偏光度画像のエッジ画像を用い、車線の候補点を検出する。また、差分偏光度画像で推定した路面の形状（幅、傾き）により、車線探索領域を決定し、該車線探索範囲内にある車線の候補点を用い、車線の認識処理を行うことが特徴になっている。
図２４（a）に示すように、差分偏光度画像のエッジ画像により、走行路面上の車線っぽいエッジを検出する。図２４（ｂ）に示すように、差分偏光度画像では、路面と路面隣接物を識別できる特性により、ラベリング処理を用いて、路面の形状を推定する。
図２４（ｃ）に示すように、推定した路面の幅と傾きにより、車線探索領域を決定する。図２４（ｄ）に示すように、車線探索領域にある抽出された車線エッジに基づいて、ハフ変換を用いて、車線の形状を近似する。
【００５１】
実際の処理の結果画像を用いて、具体的な処理のフローを説明する。
図２５は、撮影素子により撮影した車両前方路面のモノクロ輝度画像と差分偏光度画像である。
まず、差分偏光度画像を用いて、車線っぽいエッジを検出する。結果を図２６に示す。
次に、差分偏光度画像を用いて、ラベリング処理により路面の形状を認識する。認識結果を図２７に示す。
次に、路面の幅及び傾き（両端の黒い線の間の距離及び黒い線の傾き）により車線の探索範囲を決定する。結果を図２８に示す。
車線探索領域にある抽出された車線エッジに基づいて、ハフ変換を用いて、車線の形状を近似する。結果を図２９に示す。
図２５〜図２９までの処理により、図２３（ｂ）に示したようなモノクロ輝度画像では、左側の白い壁を白線としての誤認識や、白線と道路の輝度差が小さい時の白線エッジを抽出できない未認識などの問題を防止することができる。
【００５２】
図３０乃至３５に基づいて、本実施形態に係る車載用撮像システムを具体的に説明する。なお、上記実施形態と同一部分は同一符号で示す。
図３０に示すように、メモリ１、メモリ２、モノクロ情報処理部１４、差分変更度情報処理部１６、路面形状推定部３４、車線候補点検出部３６、車線探索領域決定部３８、車線検出部４０及び領域記憶手段５０は、画像処理装置２６を構成している。
偏光カメラ１２、画像処理装置２６及び表示部２２は、車載用撮像システム１０を構成し、偏光カメラ１２及び画像処理装置２６は撮像装置としての物体識別装置２を構成する。
全体の処理の流れとしては、撮像手段にて取得した車両前方路面の垂直偏光成分（Ｓ）と水平偏光成分（Ｐ）及びこれを包含した偏光ＲＡＷ画像データを用いて、差分偏光度情報とモノクロ輝度情報を算出する。得られた道路画像の差分偏光度情報により後述する方法にて路面と白線を検出する。
本実施形態において、画像処理装置２６は、状況判別手段、パラメータ閾値決定手段、物体識別処理手段を兼ね、領域記憶手段５０は、形状情報記憶手段、識別処理結果記憶手段を兼ねている。
【００５３】
図３０と図３１の処理の流れに従って、具体的な処理について説明する。
撮像手段（偏光カメラ）１２は、受光素子としてＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する路面を含む周囲画像を取得する。
撮像手段１２は、例えば車のルームミラーに取り付けられ、車両前方の路面を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の路面を撮像するものであってもよい。さらに、例えばバックドアに取り付けられ、車両後方の路面を撮像するものであってもよい。
【００５４】
本発明における撮像手段は輝度画像に加えて、差分偏光画像を取得できるものである。この差分偏光画像を形成するための撮像手段の構成例を以下に列記する。但し、本発明の撮像手段はこれに限定されない。
［撮像手段の構成例１］
図３２に示すように、１台のカメラ６０の前面に偏光子を回転自在に取り付けた構成を有し、計測対象６２を撮影する時に偏光子を回転しながら縦偏光画像と横偏光画像を取り込み、この２つの画像の差分偏光度画像を形成する。
［撮像手段の構成例２］
図３３に示すように、縦方向の偏光を透過する位置に偏光フィルタを配置し縦偏光画像を撮影するカメラ６４と、横方向の偏光を透過する位置に偏光フィルタを配置し横偏光画像を撮影するカメラ６４とを備えたものであってもよい。
撮像手段の構成例１での偏光フィルタを回転させる時間のズレはなく、縦偏光画像と横偏光画像が同時に撮影することが可能である。
［撮像手段の構成例３］
ステレオ方式とは異なり、２台のカメラは近接配置可能である。近年、機器の小型化のニーズが高いため、撮像手段の構成例２をさらに小型化する構成として、レンズアレイ、偏光子のフィルタアレイを介して、一つの受光素子で撮像するものであってもよい。
具体的には、図３４に示すように、複数のレンズを同一基板上に有するレンズアレイ６６と、該レンズアレイ６６の各レンズを透過した光束に応じて領域分離されたフィルタ６８と、該フィルタ６８の各領域を通過した光を受光して被写体像を撮影する複数の撮像領域を有する撮像ユニット７０とからなり、フィルタ６８は透過軸が直交する少なくとも２つの偏光子領域を有し、撮像ユニット７０のいずれかの撮像領域で縦偏光画像を撮影し、他の撮像領域で横偏光画像を撮影する。
［撮像手段の構成例４］
一つの撮像レンズ（レンズは同軸に複数枚でもよい）で画像を撮像し、レンズ後段で垂直偏光画像と水平偏光画像を分離し、それぞれの画像から差分偏光度画像を形成する。
図３５に示すように、縦偏光画像および横偏光画像を撮像するために、１：１の透過性を備えるハーフミラーボックスと、ミラーと、縦偏光フィルタと、横偏光フィルタと、縦偏光フィルタを介して視野像を撮像するＣＣＤと、横偏光フィルタを介して視野像を撮像するＣＣＤを有する構成であってもよい。
撮像手段の構成例２では、縦偏光画像と横偏光画像の同時撮影が可能であるが、視差が生じてしまう、これに対して本例の構成では同一の撮像光学系（レンズ）を介して撮影するために視差が生じないため、検出領域が小さくてすみ、また視差ずれ補正などの処理が不要となる。
［撮像手段の構成例５］
撮像手段の構成例４において、ハーフミラーの代わりに偏光ビームスプリッタであってもよい。偏光ビームスプリッタは、横偏光を反射し、縦偏光を透過するプリズムである。このようなプリズムを配置することにより、縦偏光フィルタ、横偏光フィルタを配置しなくてもよく、光学系の簡素化が図れるとともに、光利用効率も向上させられる。
［撮像手段の構成例５］
図３６に示すように、一つの撮像レンズ（レンズは同軸に複数枚でもよい）７２で撮像し、レンズ後段に縦偏光のみを通す偏光子領域と横偏光の光のみを通す偏光子領域を有する領域分割型のフィルタ７４を配置した構成であってもよい。なお偏光子領域としては金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式により境界部が明瞭な領域分割型の偏光子フィルタを形成できる。
撮像手段の構成例４では縦偏光画像と横偏光画像をプリズム分岐するために光学系が大型化するし、２つの受光素子が必要となる。これに対して本例の構成であれば、撮像レンズの同軸上の光学系で横偏光画像と縦偏光画像の取得が可能である。
［撮像手段の構成例６］
領域分割型のフィルタの構成としては、受光素子の画素に１：１対応させるものに限られない。例えば図３７に示すように、縦横に並ぶ正方形が各受光素子の受光部となる受光素子アレイとし、２種類の斜めの帯で縦横方向２種類の偏光フィルタ領域を形成する。各フィルタ領域は、幅１画素、つまり横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは２、つまり横方向に１画素分進む間に縦方向に２画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも画面全体で各フィルタ透過画像を再現することを可能とし、低コストにこのような撮像装置を実現できる。
以上のような偏光画像を取得可能な撮像手段は、好ましくはリアルタイムに周囲画像を取得し、取得された周囲画像は、画像処理装置に供給される。
【００５５】
図示しない車両に搭載された撮影手段としての偏光カメラ１２により、車両が走行する道路の外観（ここでは走行方向前方の景色＝フロントビューとする）を撮影し、その垂直偏光成分（Ｓ成分）と水平偏光成分（Ｐ成分）及びこれを包含した偏光ＲＡＷ画像データを取得する。
撮影された水平偏光画像データはメモリ１に、垂直偏光画像データはメモリ２にそれぞれ格納される。
これらの画像データは、それぞれモノクロ輝度情報生成手段としてのモノクロ輝度情報処理部１４と、差分偏光比画像生成手段としての差分偏光度情報処理部１６に送信される。差分偏光度情報処理部１６は取得されたＰ成分とＳ成分を用い、差分偏光比を算出して差分偏光比画像を生成する。
【００５６】
モノクロ輝度情報処理部１４は、取得されたＰ成分とＳ成分を用い、モノクロ画像の生成と、輝度情報（生成されたモノクロ画像の画素ごとの輝度値）の算出を行う。
差分偏光度情報処理部１６は、上記式２に示す計算式により、それらの比率を計算することで、差分偏光比情報画像データを得る。
また、モノクロ輝度情報処理部１４では、上記式３によりモノクロ輝度情報画像データを生成し、出力する。
図３８は、具体的な車線候補点検出の処理フローについて説明する図である。
車線候補点検出部３６では、差分偏光度情報の利用方法としては、従来から知られる白線検出などが行える。なお、車線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。車線検出部４０は、計算された差分偏光度情報を元に、後述する方法にて走行路面上の車線候補領域を抽出するものである。
通常の道路はアスファルト等の黒い部分に白線が形成されており、白線の部分の差分偏光度は無偏光状態になっており、差分偏光度はその他の部分より十分小さいため、得られた路面の差分偏光度が所定値以下の部分を白線と判定するこができる。
【００５７】
車両前方路面の垂直偏光成分（Ｓ）と水平偏光成分（Ｐ）により路面の差分偏光度を算出する。車線候補エッジを検出する際、走査線の中央付近の差分偏光度を用いて、１走査線ごとに走査線の中央から画像の左右方向へ差分偏光度データと閾値とを大小比較することにより白線エッジの候補点を検出する。
検出された白線エッジの候補点と予め定められた白線幅の閾値とを大小比較することにより路面上に描かれた白線候補エッジを抽出する。差分偏光度の閾値設定のステップでは、画像上方と下方の白線の差分偏光度コントラストが違っているため、同一の閾値を用いて処理を行うと良好な結果が得られない。
そこで、一フレームの画像に対して、上方と下方を二つのエリアを分け、それぞれに適用する差分偏光度の閾値を設定する。
【００５８】
図３９は、具体的な路面形状推定手段としての路面形状推定部３４の処理フローについて説明する図である。
路面形状推定部３４では、差分偏光度情報の利用方法としては、モノクロ輝度画像では検出が難しい走行路面の形状を認識することが行える。
差分偏光度画像を閾値により２値化する。２値化した差分偏光度画像に含まれる連結成分について、各連結成分の特徴をラベリング処理により調べ、路面の特徴により路面の連結成分を抽出する。
図４０に示したように、画面の両端の黒い線は路面形状により出した路面領域の線である。
車線探索領域決定部３８では、路面の幅と路面の傾き（黒い線の傾き）により車線の探索領域を決定することができる。車線の領域は少なくとも路面領域の内側にある。
車線探索領域内に車線が見つからなかった場合、車線エッジを検出パラメータの閾値を下げて、車線探索領域内にもう一回車線エッジを検出する。
【００５９】
車線検出部では、車線探索領域内にある検出された車線エッジに基づいて、形状近似認識により近似曲線を取得する。形状を認識する手法に関しては、最小二乗方やハフ変換やモデル方程式などの手法が適用する。近似曲線を取得際、道路画像の下部で抽出した信頼性の高い車線エッジには形状近似の投票値に大きな重みを持たせる。
このようにすれば、道路画像の上方走査範囲で車線エッジを誤認識しても、下方走査範囲で正しい車線エッジを抽出できていれば、車線の認識を成功させることができる。
最後に、検出した結果を使って、車両制御してもよいし、白線、路端を運転者が見やすい形態でディスプレイに表示してもよい。
以上のように、差分偏光度により、路面領域の認識と車線候補エッジを抽出し、当該認識結果に基づいて、車線領域と車線検出を実行することで、路肩と白壁を車線としての誤認識や、輝度のコントラストが低いための未認識などを適切に除去しつつ、車線を高精度に検出することも可能である。
【００６０】
図４１は、具体的な路面状態の学習によりパラメータを決定について説明する図である。
生成された差分偏光度画像とモノクロ輝度画像の路面に設けられた白線を除く路面領域に、同じエリア内で画像輝度が所定の輝度に対する予め設定した閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に前方路面が濡れた状態と判断している。
同輝度に対する閾値以上であると判別した場合に同じエリア内に取得した差分偏光度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、前方路面が濡れた状態と判断しており、同強度に対する閾値より小さいと判別した場合に上記前方路面が乾燥状態と判断することができる。輝度と差分偏光度の閾値は事前の実験により決められる。
【００６１】
また、この方法により、路面の乾湿と天気を推測できる。各路面状態の差分偏光度画像とモノクロ輝度画像のサンプル画像を学習し、各路面状態に応じる最適な２値化処理するパラメータを事前に決定する。
領域記憶手段では、リアルタイムに車線と車線探索領域を検出する場合においては、一枚以上の過去の撮影画像に同じような車線と車線探索領域が見つかったら、信頼できると判断する。次のフレームから前のフレーム車線探索領域位置に基づいて、車線エッジを探索し、形状を近似する。
５フレーム分の画像の車線エッジがある閾値以上検出できなかったら、最初の路面下方の走査線の中央位置から探し始まる。
【符号の説明】
【００６２】
１２ 撮像手段としての偏光カメラ
１４ 輝度情報算出手段としてのモノクロ情報処理部
１６ 偏光比画像生成手段としての偏光比情報処理部
１８ ライン検出手段としての白線検出部
２０ 異部材検出手段、探索位置決定手段、近似曲線取得手段としての路端検出部
３４ 路面形状推定手段
３６ 車線候補点検出手段
３８ 車線探索領域決定手段
４０ 車線検出手段
５０ 領域記憶手段
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２０１０−６４５３１号公報
【特許文献２】特開平１１−１７５７０２号公報
【技術分野】
【０００１】
本発明は、車等の走行体ないし移動体が走行する路面（道路）の外観を撮影して走行領域における境界等の位置情報を得る撮像装置、該撮像装置を備えた車載用撮像システム、路面外観認識方法及び物体識別装置に関する。
【背景技術】
【０００２】
近年、車載カメラなどの撮像システムにおいては、センターライン越え等による車両の衝突や道路からの逸脱等の事故発生を防止するため、道路の白線（黄線を含む）位置を認識し、車両の操舵を制御して車線を維持しながら走行するシステムが提案されている。
この技術では、車両に搭載された白線認識装置がＣＣＤカメラ等の撮像手段により車両前方の道路画像を取り込み、白線位置で輝度が高いことを利用して白線を検出する。具体的には、例えば画像の微分処理および２値化処理によるエッジ（エッジ点列）抽出を行い、その抽出エッジについて白線エッジか否かの判定を行う。さらに、抽出エッジについて、直線検出法として知られるハフ（Hough）変換を行うことで、白線位置を決定することが開示され既に知られている。
【０００３】
特許文献１には、太陽光が路面に反射する場合であっても、安定して白線を検出することができるようにする目的で、透過させる光の偏光方向が各々異なる複数の偏光フィルタを、車両上下方向に配列した偏光フィルタ群を介して、自車両の前方を撮像するシステムが開示されている。
これは、撮像装置によって撮像された前方路面画像の複数の偏光フィルタに対応する複数のスキャンライン領域のうち、領域における各画素の輝度値の変化量が閾値以上となるスキャンライン領域の輝度値に基づいて、白線検出部によって路面上の白線を検出する方法を採っている。
特許文献２には、走行環境或いは撮影環境によらず道路画像から白線などのラインを検出する目的で、その１つとして、露光量の異なる二つの道路画像を撮影し、例えば車両がトンネルに進入する場合には露光量の多い画像を用いて、輝度差に基づくテンプレートマッチング手法により白線を検出する方法が開示されている。
また、水たまり部分を白線と誤認識するのを防止するために、垂直偏光画像と水平偏光画像を撮影し、その差分を演算して入射光が散乱光か鏡面反射光かを識別し、水たまり等による鏡面反射成分を除去する方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した従来の白線検出方法にあっては、垂直偏光および水平偏光の２枚の画像が必要であり、自動検出が可能なセンサシステムとして達成しようとする場合、テレビカメラの他に、偏光フィルタを回転制御するための機構などが必要となり、コスト高になるといった問題があった。
しかし、今までの白線を検出する装置では、装置構成が煩雑の問題と、検出精度を高めれば、画像処理の演算負担が大きくなり、画像処理の演算負担を小さくすれば、白線の検出精度は低下する問題と、曇りやトンネル等の撮像素子の入射光量が不足する撮影環境場合線などのラインを正しく検出することが難しい問題があった。
【０００５】
すなわち、このようなシステムでは、撮影された道路画像から白線をいかに正確に検出するかが重要な課題となっている。しかしながら、以下のような状況においては白線位置が認識できないという問題があった。
（１）白線が影内にある場合、白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
（２）逆光を浴びて路面が光っているとき、太陽光の反射による路面と白線との輝度差が小さいため、白線エッジを抽出できず、未認識となる。
（３）天候(雨、曇りのときなど)により、白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
（４）雨あがりなどで、路面がぬれて光っているときや水たまりがあるため、白線エッジを抽出できず、未認識となる。
（５）白線の外側に路肩、溝等が存在する場合、それらのエッジを白線エッジと判断し、誤認識となる。
（６）道路上における道路補修跡により、白線エッジを抽出できず、誤認識となる。
【０００６】
また、路面を車が安全に走行するには、センターラインや路側帯ラインなどの白線（黄色のＵターン禁止ライン等を含む）を認識するだけでなく、路端、すなわち走行路面と角度（高低差を含む）を有して隣接する路面領域外部材（中央分離帯や側壁、縁石、植栽、土手など）との境界を明確に認識する必要がある。
一般に路面はアスファルトで形成されており、樹脂材料で形成された白線とは光の反射率が大きく異なるため、白線検出には上述した従来の輝度差による認識手法が適用可能であるが、側壁等の路面と角度を有して隣接する路面領域外部材は材質がコンクリートやレンガ、土、植物などであるため、路面との反射率の違いが少ない場合が多く、白線を検出するのに比べて検出精度は低くなる。
夜間やトンネル内等のように入射光量が不足する撮影環境では、検出精度の低下はさらに困難となる。
垂直偏光画像と水平偏光画像の差分を用いる方式においても、輝度差による検出方式に変わりがないため、路端検出の適用において精度を高めることは困難であった。
【０００７】
従来の輝度差による検出手法において、検出精度を高めるためには、複数のカメラを備えたステレオ光学系などの測距機構が必要であり、装置構成が煩雑になるとともに、画像処理の演算負担が大きくなることを避けられない。
【０００８】
本発明はこのような事情に鑑みてなされたもので、撮影環境によらずに簡易な構成で白線や走行路面の境界を正確に検出することができ、安全な運転のための運転者への視認表示や車両制御への的確な情報を提供し得る撮像装置等の提供を、その主な目的とする。
【課題を解決するための手段】
【０００９】
まず、本発明が具体化されるに到った経緯を以下に説明する。
２つの屈折率の異なる材質の界面に、ある角度をもって光が入射する時、入射面に平行な偏光成分であるＰ偏光成分と、垂直な偏光成分であるＳ偏光成分では反射率が異なり、Ｐ偏光成分はある角度（ブリュースター角）で０まで減少し、その後増加する。Ｓ偏光成分は単調に増加することが知られている。
【００１０】
Ｐ偏光成分とＳ偏光成分の反射特性に差異が出るため、下記の式２で定義される偏光度も入射角や屈折率によって変化する。
偏光度＝（Ｐ偏光成分−Ｓ偏光成分）／（Ｐ偏光成分＋Ｓ偏光成分）・・・・・（式２）
偏光度は屈折率と光源からの被写体への入射角、被写体からカメラへの取り込み角度に応じて変化する。
一般に路面はアスファルトによって形成されている。一方、路面と角度を有して隣接する路面領域外部材はコンクリートや植栽、土といった材質の異なるものである。路面上に平面的に形成された白線等のラインもアスファルトとは材質が異なる。
材質が異なると屈折率も異なるため、路面とラインとの間または路面領域外部材との間で偏光度（偏光比）に違いが生じる。偏光度の違いは輝度差による認識方式の場合のように入射光量にあまり左右されないため、偏光比画像を生成することにより、路面とラインとの境界、または路面領域外部材のエッジに相当する路肩（路端）を検知することが可能となる。
【００１１】
また、路面に隣接する路面領域外部材は路面に対して角度を有して存在している。被写体の面の法線方向が異なると、被写体への光源からの入射角やカメラでの取り込み角度が異なるため、路面と隣接領域（路面領域外部材）との間で偏光度に違いが生じる。
この観点からも、偏光比画像を生成することにより、路面と隣接する路面領域外部材のエッジ（境界）に相当する路肩（路端）を検知することが可能となる。特に、路面領域外部材との間においては、材質の相違による偏光度の違いに、角度の相違による偏光度の違いが加味されるため、検出精度は高くなる。
このように偏光度の画像を生成することで、材質と角度の違いに基づき路面とライン間のエッジや、路面と路面領域外部材間のエッジ（路端）を検出することが可能となる。
偏光度は、式１に示す通り、Ｐ偏光成分とＳ偏光成分の差分値を、各々の和で規格化した値であるため、輝度差がない暗い環境下でも路端を検知することができるのである。
【００１２】
本発明は、このような技術思想の下、上記目的を達成すべく創案されたもので、請求項１に記載の発明は、走行する路面の垂直偏光画像および水平偏光画像を撮影可能な撮像手段と、前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成する偏光比画像生成手段と、前記偏光比画像上の偏光比情報により、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する異部材検出手段と、を有することを特徴とする撮像装置である。
【００１３】
請求項２に記載の発明は、請求項１に記載の撮像装置において、前記異部材検出手段は、前記偏光比画像を走査し、１走査線ごとの偏光比情報により異物を検出することを特徴とする。
請求項３に記載の発明は、請求項２に記載の撮像装置において、前記異部材検出手段は、走査に使用する偏光比と同じ走査線上にある偏光比との差分値を算出し、予め定められた閾値と比較することにより異部材を検出することを特徴とする。
請求項４に記載の発明は、請求項３に記載の撮像装置において、前記垂直偏光画像と水平偏光画像とから輝度情報を算出する輝度情報算出手段と、算出された輝度情報に基づいて前記ラインを検出するライン検出手段と、を有し、前記異部材検出手段は、検出された前記ラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
【００１４】
請求項５に記載の発明は、請求項４に記載の撮像装置において、前記異部材検出手段は、前記ラインを検出できなかった場合、過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
請求項６に記載の発明は、請求項４に記載の撮像装置において、前記異部材検出手段は、前記ラインが走行方向に途切れていた場合、ラインが無い領域では過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
請求項７に記載の発明は、請求項５または６に記載の撮像装置において、前記異部材検出手段は、過去の画像により抽出したラインが走行方向に途切れていた場合、同じ偏光比画像内の他の走査線で検出されたラインの仮想延長線を基準した偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする。
【００１５】
請求項８に記載の発明は、請求項４に記載の撮像装置において、前記異部材検出手段は、前記ラインを検出できなかった場合、路面中心部の偏光比を前記走査に使用する偏光比とすることを特徴とする。
請求項９に記載の発明は、請求項４〜８の何れか１つに記載の撮像装置において、前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記ライン検出手段は、輝度値画像を上方と下方の二つのエリアに分け、エリア毎に適用する輝度の閾値を設定することを特徴とする。
請求項１０に記載の発明は、請求項４〜９の何れか１つに記載の撮像装置において、前記ライン検出手段は、前記ラインを判断するためのエッジ候補からライン幅を算出し、算出したライン幅が規定範囲の場合にラインエッジと判断することを特徴とする。
【００１６】
請求項１１に記載の発明は、請求項４〜１０の何れか１つに記載の撮像装置において、前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記異部材検出手段または前記ライン検出手段は、画像の下方から上方へという順序で画像水平方向の走査線の中央から画像の左右方向へ走査して、異部材を検出することを特徴とする。
請求項１２に記載の発明は、請求項４〜１１の何れか１つに記載の撮像装置において、１フレーム以上の過去の撮影画像により認識した前記ラインと前記路面領域外部材との領域を記憶する領域記憶手段と、記憶された結果に基づいて次のフレームの探索位置を決める探索位置決定手段とを有していることを特徴とする。
請求項１３に記載の発明は、請求項９または１１に記載の撮像装置において、検出された前記ラインのエッジと前記路面領域外部材のエッジに対して形状近似認識により近似曲線を取得する近似曲線取得手段を有し、偏光比画像の下部で抽出した信頼性の高いラインエッジと前記路面領域外部材のエッジには形状近似の投票値に大きな重みを持たせることを特徴とする。
【００１７】
請求項１４に記載の発明は、車に取り付けられ、路面を撮影する撮像装置と、撮影された画像を表示する表示手段とを有する車載用撮像システムにおいて、前記撮像装置が、請求項１〜１３のいずれか１つに記載のものであることを特徴とする。
請求項１５に記載の発明は、走行する路面の垂直偏光画像および水平偏光画像を撮影し、前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成し、特定の偏光比を使用して前記偏光比画像を走査することにより、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出することを特徴とする路面外観認識方法である。
【００１８】
請求項１６に記載の発明は、撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置において、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該２つの偏光画像間における輝度合計値を算出する輝度算出手段と、該処理領域ごとに、該輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、該差分偏光度により差分偏光度画像を生成する差分偏光度画像生成手段と、該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に車両の走行レーンを区画する車線の車線候補点の検出を行う車線候補点検出手段と、該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に平面的に形成されて路面領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する路面形状推定手段と、該路面形状推定手段で推定された路面の形状に基づいて、車線領域を決定する車線探索領域決定手段と、該車線領域決定手段で決定した車線領域にある車線候補点に基づいて、走行車線を認識する車線検出手段と、を有することを特徴とする。
【００１９】
請求項１７に記載の発明は、請求項１６に記載の物体識別装置において、前記車線探索領域決定手段は、走行路面の傾きと幅とにより、車線の探索領域を決定することを特徴とする。
請求項１８に記載の発明は、請求項１６または１７に記載の物体識別装置において、前記車線探索領域内では、車線を認識できなかった場合、車線探索領域に対応する部分では、前記車線検出手段は適用する差分偏光度のパラメータ閾値を下げることを特徴とする。
請求項１９に記載の発明は、請求項１６に記載の物体識別装置において、前記路面形状推定手段は、差分偏光度画像を所定パラメータの閾値により２値化処理を行い、２値化処理後の値に基づいて、路面の特徴量を持つ領域内画像データの連結成分をラベリング処理により抽出し、抽出された前記連結成分を路面として、識別することを特徴とする。
【００２０】
請求項２０に記載の発明は、請求項１９に記載の物体識別装置において、前記差分偏光度画像を２値化するため、前記差分偏光度算出手段が算出した差分偏光度及び前記輝度算出手段が算出した輝度合計値の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段と、該状況判別手段が判別した状況に応じて該パラメータの閾値を決定するパラメータ閾値決定手段と、を有することを特徴とする。
請求項２１に記載の発明は、請求項２０に記載の物体識別装置において、上記パラメータ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記パラメータ閾値を決定することを特徴とする。
【００２１】
請求項２２に記載の発明は、請求項１６〜２１の何れか１つに記載の物体識別装置において、前記認識対象物を前記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、前記車線検出手段と前記路面形状推定手段は、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域により示される形状が前記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断する形状近似判断処理を行い、該形状近似判断処理により近似していると判断したときには、該複数の処理領域を該識別対象物の画像領域であると識別することを特徴とする。
【００２２】
請求項２３に記載の発明は、請求項１６〜２２の何れか１つに記載の物体識別装置において、前記車線検出手段と前記路面形状推定手段とが行う前記形状近似判断処理では、前記２つの偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる部分よりも撮像距離が近い区域に含まれる部分の方が判断結果に与える影響が大きいように重み付けを行うことを特徴とする。
請求項２４に記載の発明は、請求項１〜２３の何れか１つに記載の物体識別装置において、過去に行った物体識別処理の結果を記憶する識別処理結果記憶手段を有し、前記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて物体識別処理を行うことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、撮影環境の明暗によらずに簡易な構成で走行路面の境界（白線との境界及び路面領域外部材との境界）を正確に検出することができ、安全な運転のための運転者への視認表示や車両制御への的確な情報を提供することができる。
本発明によれば、撮影環境によらずに、路面反射光の差分偏光度成分の強度変化を利用して簡易の構成で白線を正確に検出することができる。
また、前方道路の差分偏光度成分から推測された路面の形状情報を利用し、白線の外側に路肩、溝等により、白線の未認識と誤認識を防止することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る車載用撮像システムの構成を示すブロック図である。
【図２】制御動作を示すフローチャートである。
【図３】白線と路端の走査順次を示す図で、（ａ）は偏光比画像を示す図、（ｂ）はその偏光比画像を走査している状態を示す図である。
【図４】高速道路における偏光比の変化箇所を示す図である。
【図５】偏光比と頻度の関係を示すグラフである。
【図６】サンプル画像の枚数と偏光比の変化を示す雨の日のデータによるグラフである。
【図７】サンプル画像の枚数と偏光比の変化を示す晴れの日のデータによるグラフである。
【図８】白線エッジ検出の処理動作を示すフローチャートである。
【図９】路端エッジ検出の処理動作を示すフローチャートである。
【図１０】路面上に白線が２本ある場合の路端検出のための走査状態を示す図である。
【図１１】路面上に白線が１本ある場合の路端検出のための走査状態を示す図である。
【図１２】路面上に白線が無い場合の過去画像のデータを利用した路端検出のための走査状態を示す図である。
【図１３】路面上に白線が無い場合に画像中央の偏光比を利用した路端検出のための走査状態を示す図である。
【図１４】路面上の白線が不連続となっている場合の過去画像のデータを利用した路端検出のための走査状態を示す図である。
【図１５】路面上の白線が途切れている場合の画像中央の偏光比を利用した路端検出のための走査状態を示す図である。
【図１６】路面に影がある場合の走査状態を示す図である。
【図１７】輝度画像と差分偏光度画像とでコントラストの差異が生じる理由を説明するための写真画像である。
【図１８】太陽からの光において、高度と方位によって縦横偏光度が変化することを示す図である。
【図１９】日陰の中の路面等に照射される空からの光は角度依存性がないことを示す図である。
【図２０】逆光を浴びて路面が光っているときのモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２１】曇天の日におけるモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２２】雨上がりで路面が濡れているときのモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２３】白線の外側に路肩、溝等が存在する場合のモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２４】本発明における車線の認識処理の工程を示す図である。
【図２５】車両前方路面のモノクロ輝度画像と差分偏光度画像との差異を示す写真画像である。
【図２６】差分偏光度画像を用いて車線っぽいエッジを検出する状態を示す写真画像である。
【図２７】差分偏光度画像を用いて、ラベリング処理により路面の形状を認識した状態を示す写真画像である。
【図２８】路面の幅及び傾きにより車線の探索範囲を決定した状態を示す写真画像である。
【図２９】車線探索領域にある抽出された車線エッジに基づいて、ハフ変換を用いて車線の形状を近似した状態を示す写真画像である。
【図３０】他の実施形態に係る車載用撮像システムの構成を示すブロック図である。
【図３１】全体処理の制御動作を示すフローチャートである。
【図３２】撮像手段の一具体例を示す図である。
【図３３】撮像手段の他の例を示す図である。
【図３４】撮像手段の他の例を示す図である。
【図３５】撮像手段の他の例を示す図である。
【図３６】撮像手段の他の例を示す図である。
【図３７】撮像手段の他の例を示す図である。
【図３８】車線候補点検出の処理制御を示すフローチャートである。
【図３９】路面形状推定手段の処理制御を示すフローチャートである。
【図４０】２値化した差分偏光度画像において路面の特徴により路面の連結成分を抽出した写真画像である。
【図４１】路面状態の学習によりパラメータ決定の制御を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の一実施形態を図を参照して説明する。
図１は、本実施形態に係る車載用撮像システム１０の全体構成（ハードウェア構成）を示すブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ１２により、車両が走行する道路の外観（ここでは走行方向前方の景色＝フロントビューとする）を撮影し、その垂直偏光成分（以下、単に「Ｓ成分」という）と水平偏光成分（以下、単に「Ｐ成分」という）及びこれを包含した偏光ＲＡＷ画像データを取得する。
撮影された水平偏光画像データはメモリ１に、垂直偏光画像データはメモリ２にそれぞれ格納される。
これらの画像データは、それぞれ輝度情報算出手段としてのモノクロ情報処理部１４と、偏光比画像生成手段としての偏光比情報処理部１６に送信される。偏光比情報処理部１６は取得されたＰ成分とＳ成分を用い、偏光比を算出して偏光比画像を生成する。
モノクロ情報処理部１４は、取得されたＰ成分とＳ成分を用い、モノクロ画像の生成と、輝度情報（生成されたモノクロ画像の画素ごとの輝度値）の算出を行う。
【００２６】
偏光比情報処理部１６は、式１に示す計算式により、それらの比率を計算することで、偏光比情報画像データを得る。偏光比の計算は、取得した偏光成分の比率を計算できればよいので、式２で計算してもよい。
また、偏光比情報処理部１６では、式３により輝度情報画像データも生成し、出力する。
偏光比＝Ｐ偏光成分／Ｓ偏光成分・・・・・（式１）
偏光比＝（Ｐ偏光成分−Ｓ偏光成分）／（Ｐ偏光成分＋Ｓ偏光成分）・・・・・（式２）
輝度データ＝（Ｐ偏光成分＋Ｓ偏光成分）・・・・・（式３）
【００２７】
ライン検出手段としての白線検出部１８は、モノクロ情報処理部１４により計算された輝度情報を元に、後述する方法にて走行路面上の白線領域を検出するものである。異部材検出手段としての路端検出部２０は、白線検出部１８により検出された白線情報に基づいて、偏光比情報処理部１６で計算された偏光比情報により、路端を検出するものである。
白線検出部１８により検出された白線や、路端検出部２０により検出された路端は、ＣＲＴや液晶等で構成される表示部（ディスプレイ）２２に、運転者が見やすい形態で表示される。路端検出部２０による検出データを車両制御部２４に送信して車両制御を行ってもよい。
メモリ１、メモリ２、モノクロ情報処理部１４、偏光比情報処理部１６、白線検出部１８及び路端検出部２０は、画像処理装置２６を構成している。
偏光カメラ１２、画像処理装置２６及び表示部２２は、車載用撮像システム１０を構成し、偏光カメラ１２及び画像処理装置２６は撮像装置２を構成する。
本実施形態に係る車載用撮像システム１０において、偏光カメラ１２、画像処理装置２６及び表示部２２のシステム全体を車両に搭載してもよく、偏光カメラ１２のみを搭載して、画像処理装置２６及び表示部２２は遠隔配置して車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
本実施形態に係る偏光カメラ１２は、１台で水平偏光画像と垂直偏光画像の両方を撮影できる構成を有しているが、水平偏光画像を撮影する偏光カメラと垂直偏光画像を撮影する偏光カメラとで撮像手段を構成してもよい。
【００２８】
図２に基づいて車載用撮像システム１０の制御動作を説明する。
偏光カメラ１２にて取得した車両前方路面のＳ成分とＰ成分及びこれを包含した偏光ＲＡＷ画像データを用いて、上述の式２と式３で偏光比情報と輝度情報を算出する。
得られた道路画像の輝度情報により後述する方法にて白線のエッジを検出する。検出された白線の内側の偏光比を「走査用基準偏光比」として用い、偏光比画像を走査する。偏光比画像を構成する画素ごとに偏光比が設定されており、路端検出部２０は偏光比情報処理部１６が生成した偏光比画像にアクセスして画素ライン（走査線）をビームで走査する。「走査線」とは、ディスプレイで電子ビームが走査する画面左端から右端までの軌跡のことである。
偏光比画像の左右方向へ同じ走査線上にある偏光比と比較し、偏光比の変化（走査用基準偏光比と走査した偏光比との差分値）が予め定められた閾値より小さい場合、同じ走査線上の次の画素位置へ走査し続ける。大きい場合には、路端エッジとして抽出する。
【００２９】
白線の内側の偏光比を走査用基準偏光比として用いる理由は、前方車両、街路樹、建物などの影の影響による路端エッジの誤認識を少なくすることができるからである。なお、走査線中央（偏光比画像の中央）の偏光比を走査用基準偏光比として用い、路端エッジを認識することもできる。
白線エッジと路端エッジを検出する際、信頼性が高い画像（画面）の下方から上方へという順序でｘ軸方向（画面縦方向）に走査線上を走査する。
一画面分の路端エッジと白線エッジを抽出した後、抽出した路端エッジと白線エッジに対して形状近似認識により近似曲線を取得する。この取得は近似曲線取得手段を兼ねる路端検出部２０により実行される。
形状を認識する手法に関しては、最小二乗法やハフ変換やモデル方程式などの手法を適用できる。近似曲線を取得する際、道路画像の下部（画面下部）で抽出した信頼性の高い白線エッジと路端エッジには形状近似の投票値に大きな重みを持たせる。このようにすれば、道路画像の上方走査範囲で白線エッジと路端エッジを誤認識しても、下方走査範囲で正しい白線エッジと路端エッジを抽出できていれば、白線と路端の認識を成功させることができる。
【００３０】
リアルタイムに白線と路端を検出する場合においては、一枚（フレーム）以上の過去の撮影画像（偏光比画像）に同じような白線と路端が見つかったら、信頼できると判断する。次のフレームから前のフレームの白線位置に基づいて、白線エッジと路端エッジを探索し、線を引く。５フレーム分の画像の白線エッジ位置と路端エッジ位置がロストしたら、最初の下方の走査線の中央位置から探し始める。最後に、検出した結果を使って車両制御してもよいし、白線、路端を運転者が見やすい形態でディスプレイに表示してもよい。
【００３１】
図３に基づいて、白線と路端の走査順次について説明する。
白線エッジと路端エッジを検出する際、信頼性が高い画像下方から上方へという順序でｘ軸方向に走査線ＢＬ上を走査する。図３（ｂ）に示すように、走査線の中央部ＣＴから画像の左右方向へ走行路面ＲＦの両端の白線ＷＬと路端ＲＥを検出する。図３において符号３０はディスプレイの表示面を、３２は車を示している。
図４〜図７に基づいて、１００枚のサンプル画像の偏光比変化について説明する。図４は高速道路での走行状態を示している。晴れの日と雨の日では、左側の路端ＲＥにある領域内の偏光比は、左側の白線ＷＬの内側領域内の偏光比と比べると、図６及び図７から急激に変化していることがわかる。これにより、路端領域と路面領域で偏光比は切り分け可能である。
この特徴を利用して、モノクロ画像には見えない違う材質のラインと角度がある路面領域外部材を検出することができる。
図５は、図４に示す一画面内の四ヶ所、Ｐ１（左側の路端）、Ｐ２（自車線の左側＝白線内側＝路面左）、Ｐ３（自車線＝路面真ん中）、Ｐ４（自車線の右側＝路面右）の領域での偏光比のヒストグラムを示している。
【００３２】
図８に基づいて、白線エッジ検出の処理フローについて説明する。
通常の道路はアスファルト等の黒い部分に白線が形成されており、白線の部分の輝度はその他の部分より十分大きいため、得られた路面の輝度が所定値以上の部分を白線と判定するこができる。
車両前方路面のＳ成分とＰ成分により路面の輝度情報（輝度値）を算出する。モノクロ情報処理部１４によって生成された輝度値画像において、白線検出部１８により路面の輝度データと予め設定された閾値とを大小比較することにより白線エッジの候補点を検出する。検出された白線エッジの候補点と予め定められた白線幅の閾値とを大小比較することにより路面上に描かれた一対の白線エッジを抽出する。
輝度の閾値設定のステップでは、画像上方と下方の白線のコントラストが違っているため、同一の閾値を用いて処理を行うと良好な結果が得られない。そこで、一フレームの画像に対して、ｘ方向において上方と下方の二つのエリアに分け、それぞれに適用する輝度の閾値を設定する。
【００３３】
図９に基づいて、路端エッジ検出の処理フローについて説明する。
上記と同様に、偏光比画像を生成して、走査用基準偏光比を設定するとともに閾値を設定する。
検出された白線の内側の偏光比を用いて、画面の左側のエリアにあれば、白線の内側から画面の左へ走査線ごとに同じ走査線にある偏光比との差分を算出する。画面の右側のエリアにあれば、白線の内側から画面の右へ走査線ごとに同じ走査線にある偏光比との差分を算出する。
差分値と閾値とを大小比較し、所定値以上の部分を路端と判定するこができる。
【００３４】
図１０〜図１５に基づいて、白線情報により路端を検出する方法について具体的に説明する。
図１０は走行路面上の二本の白線ＷＬにより路端ＲＥを認識するための走査状態を示す図である。図に示すように、認識された二本の白線の内側のそれぞれの偏光比（走査用基準偏光比）を使って、１走査線ごとに画面の下から画面の上まで中央から左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較することで、路端認識する。
差分値が閾値以内の部分は×で表示し、閾値より大きい部分は黒丸で表示している（他の図において同じ）。黒丸部分は路端として認識されたところである。
図１１は、走行路面上に一本の白線ＷＬしかない場合に、白線により路端を認識するための走査状態を示す図である。図に示すように認識された一本の白線ＷＬの内側の偏光比（走査用基準偏光比）を使って、１走査線ごとに画面の下から画面の上まで左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較する。図１０の場合と同様に路端を検出することができる。
【００３５】
図１２は、走行路面上の白線を抽出できなかった場合の走査方法を示している。（ｂ）に示すように白線を抽出できなかった場合、（ａ）に示す１フレーム前の過去画像で認識した白線（（ｂ）において一点鎖線で表示）の内側の偏光比を用いて、路端を探索する。
この場合、過去画像における白線と路端との領域は領域記憶手段５０（図１参照）に記憶されており、探索位置検定手段を兼ねる路端検出部２０は記憶された結果に基づいて次のフレーム（現フレーム）の探索位置を決定する。
図１３は、走行路面上の白線を抽出できなかった上に、（ａ）に示す１フレーム前の過去画像にも白線がなかった場合の走査方法を示している。この場合、（ｂ）に示すように走査線中心（画像中央、画面中央）の偏光比を使って、１走査線ごとに画面の下から画面の上まで中央から左、右方向へ同じ走査線にある偏光比との差分を算出し、予め設定された閾値と比較することで、路端認識する。
【００３６】
図１４は走行路面上の白線が切れていた場合、すなわち、走行方向に不連続となっていた場合の走査方法を示している。この場合、切れていた白線が存在するラインの、（ａ）に示す１フレーム前の過去画像で認識した白線（（ｂ）において一点鎖線で表示）の内側の偏光比を用いて、路端を探索する。
図１５は、走行路面上の白線が途切れてなくなった場合の走査方法を示している。この場合、途切れた白線が存在するラインの、（ａ）に示す１フレーム前の過去画像でも白線が認識できなかった時、同じ画面内の他の走査線で見つけた結果の延長線（（ｂ）において一点鎖線で表示）上にある偏光比を用いて、路端を探索する。
【００３７】
図１６は、走行路面上に影がある場合の走査方法を示している。
走行路面上に影ＳＤがある場合、左側の白線の内側の領域と路端の隣の領域は同じ影の下にある。
この場合、輝度差で検出する方式では影によって入射光量が低下し、路面と路端の輝度差がなくなるため、検出が困難となるのに比べ、影のある部分とない部分とで偏光比の特性は変わるが、偏光比の差分レベルはそのまま残る。
したがって、路端と近い白線内の偏光比を用い、１走査線ごとに路面上の両端の路端を探索することで、影の影響を減らすことができる。
【００３８】
上記実施形態では、輝度情報に基づいてライン検出手段としての白線検出部１８で白線を検出するようにしたが、路端検出と同様に、例えば画像中央の偏光比を走査用基準偏光比として用い、走査して白線を検出するようにしてもよい。
この場合、図１におけるモノクロ情報処理部１４及び白線検出部１８は不要となる。
【００３９】
本発明の実施形態を実際の写真画像によりより詳細に説明する。
天候や日向・日影の差異に応じて、輝度画像や差分偏光度画像のコントラストは変化する。白線などのラインを検出するにあたって、輝度画像、差分偏光度画像それぞれが得意とするシーン、苦手とするシーンがある。
そして、輝度画像が苦手とするシーンは差分偏光度画像が得意とするシーンであったり、反対に差分偏光度画像が苦手とするシーンは輝度画像が得意とするシーンであったり、とお互いが補間する関係にあることを本発明者らは撮影実験を通して見出した。
このような輝度情報と差分偏光度情報の補間関係を利用しているので、撮影環境によらずに簡易の構成で白線の認識精度の信頼性を向上させることができる。
特に輝度情報では認識が困難とされるシーンについて具体例を挙げて説明する。なお撮影は車両前方を撮影するように車内に設置された撮像装置での異なるシーンの撮影結果を示す。
【００４０】
［１．白線が影内にある場合］
白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
図１７は晴れの日の影となっているシーンの撮影結果であり、図１７（ａ）は差分偏光度画像、図１７（ｂ）はモノクロ輝度画像である。モノクロ輝度画像に比べ、差分偏光度画像のほうが白線が鮮明に確認できる。
このように、輝度画像と差分偏光度画像でコントラストの差異が生じる理由について説明する。
一般に輝度情報に関しては、昼間の日向のシーンのコントラストが高くなり、日影や雨や曇りの日のような陽があたらないシーンではコントラストが低くなることは、我々の日常生活からも実感できる。これに対して、差分偏光度は不可視の情報でありコントラストの差異が生じる理由について説明を要する。
【００４１】
図１８は、実験室において、アスファルト面に対し、光源位置を変化させて固定配置されたカメラでＰ偏光画像とＳ偏光画像を撮影したときの差分偏光度の変化の一例を示すグラフである。このグラフは、横軸に入射角度（光源位置）をとり、縦軸に差分偏光度をとったものである。カメラ仰角は水平から１０度傾けた状態である。この差分偏光度は、各入射角度の撮影画像についての略中央部の輝度情報から算出したものである。このブラフにおける差分偏光度は、Ｐ偏光成分（Ｒｐ）とＳ偏光成分（Ｒｓ）の合計値に対する、Ｐ偏光成分からＳ偏光成分を差し引いた値の比率である。
よって、Ｓ偏光成分よりもＰ偏光成分の方が強い場合には、差分偏光度は正の値をとり、Ｐ偏光成分よりもＳ偏光成分の方が強い場合には、差分偏光度は負の値をとることになる。
【００４２】
図１７の日影のシーンの撮影結果がどのような状態になっているかを、図１８の結果をもとにして説明する。
日影のなかの路面や側壁物に照射される光の光源は太陽からの直射光ではなく、空からの光である。太陽からの光はその高度と方位によって、縦横偏光度が変化するのに対して、空からの光は、天空からの各高度、各方位から均等に被検物である路面や側壁物に照射されている、よって図１８に示すような角度依存性はなく、図１９のような縦横偏光度と入射角特性のグラフを引くと、所定の値（図１８の略平均値相当）をとる。
一方、白線は散乱体を含む塗料を有するものであり、差分偏光度は入射角依存少なくほぼ０である。日影の路面と白線を撮影した場合、コントラストのある差分偏光度画像となる。日影については輝度画像のコントラストが低下するのに対して、差分偏光度についてはコントラストある画像がとれるため、日影については差分偏光度画像を使って白線の認識をしてやればよい。
【００４３】
［２．逆光を浴びて路面が光っている場合］
太陽光の反射による路面と白線（黄線）との輝度差が小さいため、白線エッジを抽出できず、未認識となる。
図２０は晴れの日の撮影結果であり、図２０（ａ）は差分偏光度画像、図２０（ｂ）はモノクロ輝度画像である。差分偏光度画像のほうが路端部、白線の認識率が高いことがわかる。
図２０の晴れのシーンについて説明する。晴れの日向路面に照射される光の光源としては、太陽、空（太陽からの光が散乱光成分）の２つに分類できるが、路面に照射される光成分は太陽からの光が支配的成分である。すなわち図１８の測定結果をそのまま適用することが可能である。
【００４４】
図１８の測定結果から、逆光時には差分偏光度は負側に大きくなる特性を有している。一方、太陽がカメラの後ろ側にある順光のときはアスファルト面の差分偏光度は０である。これに対して、白線は散乱体を含む塗料を有するものであり、差分偏光度は入射角依存少なくほぼ０である。逆光の路面と白線を撮影した場合、コントラストのある差分偏光度画像となる。逆光については、輝度画像の路面も反射光量が強くなり、白っぽく見えるようになり、白線との差異が低下するのに対して、差分偏光度についてはコントラストある画像がとれるため、逆光については差分偏光度画像を使って白線の認識をしてやればよい。
【００４５】
［３．天候が雨や曇りの場合］
白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
図２１は曇天の日の撮影結果であり、図２１（ａ）は差分偏光度画像、図２１（ｂ）はモノクロ輝度画像である。差分偏光度画像のほうが白線の認識率が高いことがわかる。
このような雨の日や曇りの日についても、日影のシーンと同様に太陽からの直射光は存在しないため、コントラストのとれた差分偏光度画像となる。曇天時の路面と白線を撮影した場合、コントラストのある差分偏光度画像となる。輝度画像のコントラストが低下するのに対して、差分偏光度についてはコントラストある画像がとれるため、曇天については差分偏光度画像を使って白線の認識をしてやればよい。
【００４６】
［４．雨上がりなどの場合］
路面がぬれて光っているときや水たまりがあるため、白線エッジを抽出できず、未認識となる。
さらに雨で路面が濡れると、鏡面反射成分が強くなるため、輝度画像では白線が見えにくくなる。輝度画像としては濡れて画像全体が黒くなりコントラストが低くなる方向である。これに対して、差分偏光度では鏡面反射成分を除いて、下層にある路面情報を検出することが可能である。そのため雨路についても図２２に示すように、差分偏光度で白線（黄線）の認識をしてやればよい。
【００４７】
［５．白線の外側に路肩、溝等が存在する場合］
それらのエッジを白線エッジと判断し、ご認識となる。
偏光情報は上述のように材質の違いを検出することが可能である。同時に角度の違いも検出することが可能である。例えば鏡面反射面を想定した場合、直交したもの同士では差分偏光度も反転する。
このような現象を用いることにより、モノクロ輝度画像では検出不可能な角度情報も検出できる。よって図２３のように側壁物があるシーンではその路面と側壁物の間で差分偏光度に差異が生じる。このような性質を併用することで図２３（ｂ）のモノクロ輝度画像では白線なのか壁なのかが区別できないようなシーンについても、図２３（ａ）に示すように、差分偏光度画像の情報を用いて壁と認識することが可能となる。
【００４８】
［６．道路上に補修跡が存在する場合］
この場合も白線エッジを抽出できず、誤認識となる。
図１８のアスファルトの反射特性はアスファルトの状態、例えば新しいか古いかで変化する。よって道路補修後のように路面の材質が異なると、そのアスファルト間で差分偏光度に差異が生じる。この差異を利用することで白線の認識率を上げられる。
【００４９】
以上のように、輝度画像のコントラストが生じにくい雨の日や曇りの日や日影のような太陽からの光が被検対象である路面に直接あたらない場合においては、路面と白線の差分偏光度のコントラストが大きくなるとともに、撮影方向による差異がなく安定的な撮影が可能であるので、これらのシーンについては、差分偏光度を使用することにより、路面外観認識方法の信頼性を向上させることができる。また晴れの日向、特に逆光時についても差分偏光度画像で認識処理を行ってやればよい。
一方、順光時はモノクロ輝度画像のほうがよい。このような輝度情報と差分偏光度情報の補間関係を利用しているので、撮影環境によらずに簡易の構成で白線の認識方法の信頼性を向上させることができる。
【００５０】
以下に本発明の他の実施形態を説明する。
まず、本実施形態に係る本発明の原理及び特徴を写真画像を含めて説明する。
本発明は、車線（白線、黄線）を検出する処理に際して、以下の特徴を有する。要するに、本発明は、差分偏光度画像のエッジ画像を用い、車線の候補点を検出する。また、差分偏光度画像で推定した路面の形状（幅、傾き）により、車線探索領域を決定し、該車線探索範囲内にある車線の候補点を用い、車線の認識処理を行うことが特徴になっている。
図２４（a）に示すように、差分偏光度画像のエッジ画像により、走行路面上の車線っぽいエッジを検出する。図２４（ｂ）に示すように、差分偏光度画像では、路面と路面隣接物を識別できる特性により、ラベリング処理を用いて、路面の形状を推定する。
図２４（ｃ）に示すように、推定した路面の幅と傾きにより、車線探索領域を決定する。図２４（ｄ）に示すように、車線探索領域にある抽出された車線エッジに基づいて、ハフ変換を用いて、車線の形状を近似する。
【００５１】
実際の処理の結果画像を用いて、具体的な処理のフローを説明する。
図２５は、撮影素子により撮影した車両前方路面のモノクロ輝度画像と差分偏光度画像である。
まず、差分偏光度画像を用いて、車線っぽいエッジを検出する。結果を図２６に示す。
次に、差分偏光度画像を用いて、ラベリング処理により路面の形状を認識する。認識結果を図２７に示す。
次に、路面の幅及び傾き（両端の黒い線の間の距離及び黒い線の傾き）により車線の探索範囲を決定する。結果を図２８に示す。
車線探索領域にある抽出された車線エッジに基づいて、ハフ変換を用いて、車線の形状を近似する。結果を図２９に示す。
図２５〜図２９までの処理により、図２３（ｂ）に示したようなモノクロ輝度画像では、左側の白い壁を白線としての誤認識や、白線と道路の輝度差が小さい時の白線エッジを抽出できない未認識などの問題を防止することができる。
【００５２】
図３０乃至３５に基づいて、本実施形態に係る車載用撮像システムを具体的に説明する。なお、上記実施形態と同一部分は同一符号で示す。
図３０に示すように、メモリ１、メモリ２、モノクロ情報処理部１４、差分変更度情報処理部１６、路面形状推定部３４、車線候補点検出部３６、車線探索領域決定部３８、車線検出部４０及び領域記憶手段５０は、画像処理装置２６を構成している。
偏光カメラ１２、画像処理装置２６及び表示部２２は、車載用撮像システム１０を構成し、偏光カメラ１２及び画像処理装置２６は撮像装置としての物体識別装置２を構成する。
全体の処理の流れとしては、撮像手段にて取得した車両前方路面の垂直偏光成分（Ｓ）と水平偏光成分（Ｐ）及びこれを包含した偏光ＲＡＷ画像データを用いて、差分偏光度情報とモノクロ輝度情報を算出する。得られた道路画像の差分偏光度情報により後述する方法にて路面と白線を検出する。
本実施形態において、画像処理装置２６は、状況判別手段、パラメータ閾値決定手段、物体識別処理手段を兼ね、領域記憶手段５０は、形状情報記憶手段、識別処理結果記憶手段を兼ねている。
【００５３】
図３０と図３１の処理の流れに従って、具体的な処理について説明する。
撮像手段（偏光カメラ）１２は、受光素子としてＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する路面を含む周囲画像を取得する。
撮像手段１２は、例えば車のルームミラーに取り付けられ、車両前方の路面を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の路面を撮像するものであってもよい。さらに、例えばバックドアに取り付けられ、車両後方の路面を撮像するものであってもよい。
【００５４】
本発明における撮像手段は輝度画像に加えて、差分偏光画像を取得できるものである。この差分偏光画像を形成するための撮像手段の構成例を以下に列記する。但し、本発明の撮像手段はこれに限定されない。
［撮像手段の構成例１］
図３２に示すように、１台のカメラ６０の前面に偏光子を回転自在に取り付けた構成を有し、計測対象６２を撮影する時に偏光子を回転しながら縦偏光画像と横偏光画像を取り込み、この２つの画像の差分偏光度画像を形成する。
［撮像手段の構成例２］
図３３に示すように、縦方向の偏光を透過する位置に偏光フィルタを配置し縦偏光画像を撮影するカメラ６４と、横方向の偏光を透過する位置に偏光フィルタを配置し横偏光画像を撮影するカメラ６４とを備えたものであってもよい。
撮像手段の構成例１での偏光フィルタを回転させる時間のズレはなく、縦偏光画像と横偏光画像が同時に撮影することが可能である。
［撮像手段の構成例３］
ステレオ方式とは異なり、２台のカメラは近接配置可能である。近年、機器の小型化のニーズが高いため、撮像手段の構成例２をさらに小型化する構成として、レンズアレイ、偏光子のフィルタアレイを介して、一つの受光素子で撮像するものであってもよい。
具体的には、図３４に示すように、複数のレンズを同一基板上に有するレンズアレイ６６と、該レンズアレイ６６の各レンズを透過した光束に応じて領域分離されたフィルタ６８と、該フィルタ６８の各領域を通過した光を受光して被写体像を撮影する複数の撮像領域を有する撮像ユニット７０とからなり、フィルタ６８は透過軸が直交する少なくとも２つの偏光子領域を有し、撮像ユニット７０のいずれかの撮像領域で縦偏光画像を撮影し、他の撮像領域で横偏光画像を撮影する。
［撮像手段の構成例４］
一つの撮像レンズ（レンズは同軸に複数枚でもよい）で画像を撮像し、レンズ後段で垂直偏光画像と水平偏光画像を分離し、それぞれの画像から差分偏光度画像を形成する。
図３５に示すように、縦偏光画像および横偏光画像を撮像するために、１：１の透過性を備えるハーフミラーボックスと、ミラーと、縦偏光フィルタと、横偏光フィルタと、縦偏光フィルタを介して視野像を撮像するＣＣＤと、横偏光フィルタを介して視野像を撮像するＣＣＤを有する構成であってもよい。
撮像手段の構成例２では、縦偏光画像と横偏光画像の同時撮影が可能であるが、視差が生じてしまう、これに対して本例の構成では同一の撮像光学系（レンズ）を介して撮影するために視差が生じないため、検出領域が小さくてすみ、また視差ずれ補正などの処理が不要となる。
［撮像手段の構成例５］
撮像手段の構成例４において、ハーフミラーの代わりに偏光ビームスプリッタであってもよい。偏光ビームスプリッタは、横偏光を反射し、縦偏光を透過するプリズムである。このようなプリズムを配置することにより、縦偏光フィルタ、横偏光フィルタを配置しなくてもよく、光学系の簡素化が図れるとともに、光利用効率も向上させられる。
［撮像手段の構成例５］
図３６に示すように、一つの撮像レンズ（レンズは同軸に複数枚でもよい）７２で撮像し、レンズ後段に縦偏光のみを通す偏光子領域と横偏光の光のみを通す偏光子領域を有する領域分割型のフィルタ７４を配置した構成であってもよい。なお偏光子領域としては金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式により境界部が明瞭な領域分割型の偏光子フィルタを形成できる。
撮像手段の構成例４では縦偏光画像と横偏光画像をプリズム分岐するために光学系が大型化するし、２つの受光素子が必要となる。これに対して本例の構成であれば、撮像レンズの同軸上の光学系で横偏光画像と縦偏光画像の取得が可能である。
［撮像手段の構成例６］
領域分割型のフィルタの構成としては、受光素子の画素に１：１対応させるものに限られない。例えば図３７に示すように、縦横に並ぶ正方形が各受光素子の受光部となる受光素子アレイとし、２種類の斜めの帯で縦横方向２種類の偏光フィルタ領域を形成する。各フィルタ領域は、幅１画素、つまり横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは２、つまり横方向に１画素分進む間に縦方向に２画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも画面全体で各フィルタ透過画像を再現することを可能とし、低コストにこのような撮像装置を実現できる。
以上のような偏光画像を取得可能な撮像手段は、好ましくはリアルタイムに周囲画像を取得し、取得された周囲画像は、画像処理装置に供給される。
【００５５】
図示しない車両に搭載された撮影手段としての偏光カメラ１２により、車両が走行する道路の外観（ここでは走行方向前方の景色＝フロントビューとする）を撮影し、その垂直偏光成分（Ｓ成分）と水平偏光成分（Ｐ成分）及びこれを包含した偏光ＲＡＷ画像データを取得する。
撮影された水平偏光画像データはメモリ１に、垂直偏光画像データはメモリ２にそれぞれ格納される。
これらの画像データは、それぞれモノクロ輝度情報生成手段としてのモノクロ輝度情報処理部１４と、差分偏光比画像生成手段としての差分偏光度情報処理部１６に送信される。差分偏光度情報処理部１６は取得されたＰ成分とＳ成分を用い、差分偏光比を算出して差分偏光比画像を生成する。
【００５６】
モノクロ輝度情報処理部１４は、取得されたＰ成分とＳ成分を用い、モノクロ画像の生成と、輝度情報（生成されたモノクロ画像の画素ごとの輝度値）の算出を行う。
差分偏光度情報処理部１６は、上記式２に示す計算式により、それらの比率を計算することで、差分偏光比情報画像データを得る。
また、モノクロ輝度情報処理部１４では、上記式３によりモノクロ輝度情報画像データを生成し、出力する。
図３８は、具体的な車線候補点検出の処理フローについて説明する図である。
車線候補点検出部３６では、差分偏光度情報の利用方法としては、従来から知られる白線検出などが行える。なお、車線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。車線検出部４０は、計算された差分偏光度情報を元に、後述する方法にて走行路面上の車線候補領域を抽出するものである。
通常の道路はアスファルト等の黒い部分に白線が形成されており、白線の部分の差分偏光度は無偏光状態になっており、差分偏光度はその他の部分より十分小さいため、得られた路面の差分偏光度が所定値以下の部分を白線と判定するこができる。
【００５７】
車両前方路面の垂直偏光成分（Ｓ）と水平偏光成分（Ｐ）により路面の差分偏光度を算出する。車線候補エッジを検出する際、走査線の中央付近の差分偏光度を用いて、１走査線ごとに走査線の中央から画像の左右方向へ差分偏光度データと閾値とを大小比較することにより白線エッジの候補点を検出する。
検出された白線エッジの候補点と予め定められた白線幅の閾値とを大小比較することにより路面上に描かれた白線候補エッジを抽出する。差分偏光度の閾値設定のステップでは、画像上方と下方の白線の差分偏光度コントラストが違っているため、同一の閾値を用いて処理を行うと良好な結果が得られない。
そこで、一フレームの画像に対して、上方と下方を二つのエリアを分け、それぞれに適用する差分偏光度の閾値を設定する。
【００５８】
図３９は、具体的な路面形状推定手段としての路面形状推定部３４の処理フローについて説明する図である。
路面形状推定部３４では、差分偏光度情報の利用方法としては、モノクロ輝度画像では検出が難しい走行路面の形状を認識することが行える。
差分偏光度画像を閾値により２値化する。２値化した差分偏光度画像に含まれる連結成分について、各連結成分の特徴をラベリング処理により調べ、路面の特徴により路面の連結成分を抽出する。
図４０に示したように、画面の両端の黒い線は路面形状により出した路面領域の線である。
車線探索領域決定部３８では、路面の幅と路面の傾き（黒い線の傾き）により車線の探索領域を決定することができる。車線の領域は少なくとも路面領域の内側にある。
車線探索領域内に車線が見つからなかった場合、車線エッジを検出パラメータの閾値を下げて、車線探索領域内にもう一回車線エッジを検出する。
【００５９】
車線検出部では、車線探索領域内にある検出された車線エッジに基づいて、形状近似認識により近似曲線を取得する。形状を認識する手法に関しては、最小二乗方やハフ変換やモデル方程式などの手法が適用する。近似曲線を取得際、道路画像の下部で抽出した信頼性の高い車線エッジには形状近似の投票値に大きな重みを持たせる。
このようにすれば、道路画像の上方走査範囲で車線エッジを誤認識しても、下方走査範囲で正しい車線エッジを抽出できていれば、車線の認識を成功させることができる。
最後に、検出した結果を使って、車両制御してもよいし、白線、路端を運転者が見やすい形態でディスプレイに表示してもよい。
以上のように、差分偏光度により、路面領域の認識と車線候補エッジを抽出し、当該認識結果に基づいて、車線領域と車線検出を実行することで、路肩と白壁を車線としての誤認識や、輝度のコントラストが低いための未認識などを適切に除去しつつ、車線を高精度に検出することも可能である。
【００６０】
図４１は、具体的な路面状態の学習によりパラメータを決定について説明する図である。
生成された差分偏光度画像とモノクロ輝度画像の路面に設けられた白線を除く路面領域に、同じエリア内で画像輝度が所定の輝度に対する予め設定した閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に前方路面が濡れた状態と判断している。
同輝度に対する閾値以上であると判別した場合に同じエリア内に取得した差分偏光度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、前方路面が濡れた状態と判断しており、同強度に対する閾値より小さいと判別した場合に上記前方路面が乾燥状態と判断することができる。輝度と差分偏光度の閾値は事前の実験により決められる。
【００６１】
また、この方法により、路面の乾湿と天気を推測できる。各路面状態の差分偏光度画像とモノクロ輝度画像のサンプル画像を学習し、各路面状態に応じる最適な２値化処理するパラメータを事前に決定する。
領域記憶手段では、リアルタイムに車線と車線探索領域を検出する場合においては、一枚以上の過去の撮影画像に同じような車線と車線探索領域が見つかったら、信頼できると判断する。次のフレームから前のフレーム車線探索領域位置に基づいて、車線エッジを探索し、形状を近似する。
５フレーム分の画像の車線エッジがある閾値以上検出できなかったら、最初の路面下方の走査線の中央位置から探し始まる。
【符号の説明】
【００６２】
１２ 撮像手段としての偏光カメラ
１４ 輝度情報算出手段としてのモノクロ情報処理部
１６ 偏光比画像生成手段としての偏光比情報処理部
１８ ライン検出手段としての白線検出部
２０ 異部材検出手段、探索位置決定手段、近似曲線取得手段としての路端検出部
３４ 路面形状推定手段
３６ 車線候補点検出手段
３８ 車線探索領域決定手段
４０ 車線検出手段
５０ 領域記憶手段
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２０１０−６４５３１号公報
【特許文献２】特開平１１−１７５７０２号公報
【特許請求の範囲】
【請求項１】
走行する路面の垂直偏光画像および水平偏光画像を撮影可能な撮像手段と、
前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成する偏光比画像生成手段と、
前記偏光比画像上の偏光比情報により、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する異部材検出手段と、
を有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記異部材検出手段は、前記偏光比画像を走査し、１走査線ごとの偏光比情報により異物を検出することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記異部材検出手段は、走査に使用する偏光比と同じ走査線上にある偏光比との差分値を算出し、予め定められた閾値と比較することにより異部材を検出することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記垂直偏光画像と水平偏光画像とから輝度情報を算出する輝度情報算出手段と、算出された輝度情報に基づいて前記ラインを検出するライン検出手段と、を有し、
前記異部材検出手段は、検出された前記ラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記異部材検出手段は、前記ラインを検出できなかった場合、過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。
【請求項６】
請求項４に記載の撮像装置において、
前記異部材検出手段は、前記ラインが走行方向に途切れていた場合、ラインが無い領域では過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。
【請求項７】
請求項５または６に記載の撮像装置において、
前記異部材検出手段は、過去の画像により抽出したラインが走行方向に途切れていた場合、同じ偏光比画像内の他の走査線で検出されたラインの仮想延長線を基準した偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。
【請求項８】
請求項４に記載の撮像装置において、
前記異部材検出手段は、前記ラインを検出できなかった場合、路面中心部の偏光比を前記走査に使用する偏光比とすることを特徴とする撮像装置。
【請求項９】
請求項４〜８の何れか１つに記載の撮像装置において、
前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記ライン検出手段は、輝度値画像を上方と下方の二つのエリアに分け、エリア毎に適用する輝度の閾値を設定することを特徴とする撮像装置。
【請求項１０】
請求項４〜９の何れか１つに記載の撮像装置において、
前記ライン検出手段は、前記ラインを判断するためのエッジ候補からライン幅を算出し、算出したライン幅が規定範囲の場合にラインエッジと判断することを特徴とする撮像装置。
【請求項１１】
請求項４〜１０の何れか１つに記載の撮像装置において、
前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記異部材検出手段または前記ライン検出手段は、画像の下方から上方へという順序で画像水平方向の走査線の中央から画像の左右方向へ走査して、異部材を検出することを特徴とする撮像装置。
【請求項１２】
請求項４〜１１の何れか１つに記載の撮像装置において、
１フレーム以上の過去の撮影画像により認識した前記ラインと前記路面領域外部材との領域を記憶する領域記憶手段と、記憶された結果に基づいて次のフレームの探索位置を決める探索位置決定手段とを有していることを特徴とする撮像装置。
【請求項１３】
請求項９または１１に記載の撮像装置において、
検出された前記ラインのエッジと前記路面領域外部材のエッジに対して形状近似認識により近似曲線を取得する近似曲線取得手段を有し、偏光比画像の下部で抽出した信頼性の高いラインエッジと前記路面領域外部材のエッジには形状近似の投票値に大きな重みを持たせることを特徴とする撮像装置。
【請求項１４】
車に取り付けられ、路面を撮影する撮像装置と、撮影された画像を表示する表示手段とを有する車載用撮像システムにおいて、
前記撮像装置が、請求項１〜１３のいずれか１つに記載のものであることを特徴とする車載用撮像システム。
【請求項１５】
走行する路面の垂直偏光画像および水平偏光画像を撮影し、前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成し、特定の偏光比を使用して前記偏光比画像を走査することにより、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出することを特徴とする路面外観認識方法。
【請求項１６】
撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該２つの偏光画像間における輝度合計値を算出する輝度算出手段と、
該処理領域ごとに、該輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、
該差分偏光度により差分偏光度画像を生成する差分偏光度画像生成手段と、
該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に車両の走行レーンを区画する車線の車線候補点の検出を行う車線候補点検出手段と、
該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に平面的に形成されて路面領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する路面形状推定手段と、
該路面形状推定手段で推定された路面の形状に基づいて、車線領域を決定する車線探索領域決定手段と、
該車線領域決定手段で決定した車線領域にある車線候補点に基づいて、走行車線を認識する車線検出手段と、
を有することを特徴とする物体識別装置。
【請求項１７】
請求項１６に記載の物体識別装置において、
前記車線探索領域決定手段は、走行路面の傾きと幅とにより、車線の探索領域を決定することを特徴とする物体識別装置。
【請求項１８】
請求項１６または１７に記載の物体識別装置において、
前記車線探索領域内では、車線を認識できなかった場合、車線探索領域に対応する部分では、前記車線検出手段は適用する差分偏光度のパラメータ閾値を下げることを特徴とする物体識別装置。
【請求項１９】
請求項１６に記載の物体識別装置において、
前記路面形状推定手段は、差分偏光度画像を所定パラメータの閾値により２値化処理を行い、２値化処理後の値に基づいて、路面の特徴量を持つ領域内画像データの連結成分をラベリング処理により抽出し、抽出された前記連結成分を路面として、識別することを特徴とする物体識別装置。
【請求項２０】
請求項１９に記載の物体識別装置において、
前記差分偏光度画像を２値化するため、前記差分偏光度算出手段が算出した差分偏光度及び前記輝度算出手段が算出した輝度合計値の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段と、
該状況判別手段が判別した状況に応じて該パラメータの閾値を決定するパラメータ閾値決定手段と、
を有することを特徴とする物体識別装置。
【請求項２１】
請求項２０に記載の物体識別装置において、
上記パラメータ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記パラメータ閾値を決定することを特徴とする物体識別装置。
【請求項２２】
請求項１６〜２１の何れか１つに記載の物体識別装置において、
前記認識対象物を前記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、
前記車線検出手段と前記路面形状推定手段は、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域により示される形状が前記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断する形状近似判断処理を行い、該形状近似判断処理により近似していると判断したときには、該複数の処理領域を該識別対象物の画像領域であると識別することを特徴とする物体識別装置。
【請求項２３】
請求項１６〜２２の何れか１つに記載の物体識別装置において、
前記車線検出手段と前記路面形状推定手段とが行う前記形状近似判断処理では、前記２つの偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる部分よりも撮像距離が近い区域に含まれる部分の方が判断結果に与える影響が大きいように重み付けを行うことを特徴とする物体識別装置。
【請求項２４】
請求項１〜２３の何れか１つに記載の物体識別装置において、
過去に行った物体識別処理の結果を記憶する識別処理結果記憶手段を有し、
前記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて物体識別処理を行うことを特徴とする物体識別装置。
【請求項１】
走行する路面の垂直偏光画像および水平偏光画像を撮影可能な撮像手段と、
前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成する偏光比画像生成手段と、
前記偏光比画像上の偏光比情報により、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する異部材検出手段と、
を有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記異部材検出手段は、前記偏光比画像を走査し、１走査線ごとの偏光比情報により異物を検出することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記異部材検出手段は、走査に使用する偏光比と同じ走査線上にある偏光比との差分値を算出し、予め定められた閾値と比較することにより異部材を検出することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記垂直偏光画像と水平偏光画像とから輝度情報を算出する輝度情報算出手段と、算出された輝度情報に基づいて前記ラインを検出するライン検出手段と、を有し、
前記異部材検出手段は、検出された前記ラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記異部材検出手段は、前記ラインを検出できなかった場合、過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記路面領域外部材を検出するための前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。
【請求項６】
請求項４に記載の撮像装置において、
前記異部材検出手段は、前記ラインが走行方向に途切れていた場合、ラインが無い領域では過去の偏光比画像で検出されたラインを基準とした偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。
【請求項７】
請求項５または６に記載の撮像装置において、
前記異部材検出手段は、過去の画像により抽出したラインが走行方向に途切れていた場合、同じ偏光比画像内の他の走査線で検出されたラインの仮想延長線を基準した偏光比情報に基づいて、前記走査に使用する偏光比と前記閾値とを決定することを特徴とする撮像装置。
【請求項８】
請求項４に記載の撮像装置において、
前記異部材検出手段は、前記ラインを検出できなかった場合、路面中心部の偏光比を前記走査に使用する偏光比とすることを特徴とする撮像装置。
【請求項９】
請求項４〜８の何れか１つに記載の撮像装置において、
前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記ライン検出手段は、輝度値画像を上方と下方の二つのエリアに分け、エリア毎に適用する輝度の閾値を設定することを特徴とする撮像装置。
【請求項１０】
請求項４〜９の何れか１つに記載の撮像装置において、
前記ライン検出手段は、前記ラインを判断するためのエッジ候補からライン幅を算出し、算出したライン幅が規定範囲の場合にラインエッジと判断することを特徴とする撮像装置。
【請求項１１】
請求項４〜１０の何れか１つに記載の撮像装置において、
前記偏光比画像の走行方向前方に対応する部分を画像の上側とした場合、前記異部材検出手段または前記ライン検出手段は、画像の下方から上方へという順序で画像水平方向の走査線の中央から画像の左右方向へ走査して、異部材を検出することを特徴とする撮像装置。
【請求項１２】
請求項４〜１１の何れか１つに記載の撮像装置において、
１フレーム以上の過去の撮影画像により認識した前記ラインと前記路面領域外部材との領域を記憶する領域記憶手段と、記憶された結果に基づいて次のフレームの探索位置を決める探索位置決定手段とを有していることを特徴とする撮像装置。
【請求項１３】
請求項９または１１に記載の撮像装置において、
検出された前記ラインのエッジと前記路面領域外部材のエッジに対して形状近似認識により近似曲線を取得する近似曲線取得手段を有し、偏光比画像の下部で抽出した信頼性の高いラインエッジと前記路面領域外部材のエッジには形状近似の投票値に大きな重みを持たせることを特徴とする撮像装置。
【請求項１４】
車に取り付けられ、路面を撮影する撮像装置と、撮影された画像を表示する表示手段とを有する車載用撮像システムにおいて、
前記撮像装置が、請求項１〜１３のいずれか１つに記載のものであることを特徴とする車載用撮像システム。
【請求項１５】
走行する路面の垂直偏光画像および水平偏光画像を撮影し、前記垂直偏光画像と水平偏光画像とから偏光比を算出して偏光比画像を生成し、特定の偏光比を使用して前記偏光比画像を走査することにより、路面上に平面的に形成されて路面の領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出することを特徴とする路面外観認識方法。
【請求項１６】
撮像領域内に存在する識別対象物を撮像した撮像画像中における該識別対象物の画像領域を識別する物体識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる２つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した２つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該２つの偏光画像間における輝度合計値を算出する輝度算出手段と、
該処理領域ごとに、該輝度合計値に対する該２つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、
該差分偏光度により差分偏光度画像を生成する差分偏光度画像生成手段と、
該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に車両の走行レーンを区画する車線の車線候補点の検出を行う車線候補点検出手段と、
該差分偏光度算出手段で算出した差分偏光度に基づいて、路面上に平面的に形成されて路面領域を区画するライン、または路面に角度を有して隣接する路面領域外部材を検出する路面形状推定手段と、
該路面形状推定手段で推定された路面の形状に基づいて、車線領域を決定する車線探索領域決定手段と、
該車線領域決定手段で決定した車線領域にある車線候補点に基づいて、走行車線を認識する車線検出手段と、
を有することを特徴とする物体識別装置。
【請求項１７】
請求項１６に記載の物体識別装置において、
前記車線探索領域決定手段は、走行路面の傾きと幅とにより、車線の探索領域を決定することを特徴とする物体識別装置。
【請求項１８】
請求項１６または１７に記載の物体識別装置において、
前記車線探索領域内では、車線を認識できなかった場合、車線探索領域に対応する部分では、前記車線検出手段は適用する差分偏光度のパラメータ閾値を下げることを特徴とする物体識別装置。
【請求項１９】
請求項１６に記載の物体識別装置において、
前記路面形状推定手段は、差分偏光度画像を所定パラメータの閾値により２値化処理を行い、２値化処理後の値に基づいて、路面の特徴量を持つ領域内画像データの連結成分をラベリング処理により抽出し、抽出された前記連結成分を路面として、識別することを特徴とする物体識別装置。
【請求項２０】
請求項１９に記載の物体識別装置において、
前記差分偏光度画像を２値化するため、前記差分偏光度算出手段が算出した差分偏光度及び前記輝度算出手段が算出した輝度合計値の少なくとも一方に基づいて撮像領域内の状況を判別する状況判別手段と、
該状況判別手段が判別した状況に応じて該パラメータの閾値を決定するパラメータ閾値決定手段と、
を有することを特徴とする物体識別装置。
【請求項２１】
請求項２０に記載の物体識別装置において、
上記パラメータ閾値決定手段は、状況ごとの過去の差分偏光度及び輝度合計値の少なくとも一方を用いて学習した結果を用いて、上記パラメータ閾値を決定することを特徴とする物体識別装置。
【請求項２２】
請求項１６〜２１の何れか１つに記載の物体識別装置において、
前記認識対象物を前記撮像手段により撮像したときの形状を示す形状情報を記憶する形状情報記憶手段を有し、
前記車線検出手段と前記路面形状推定手段は、該識別対象物に対応する処理領域として特定した互いに近接する複数の処理領域により示される形状が前記形状情報記憶手段に記憶されている形状情報の形状に近似しているかどうかを判断する形状近似判断処理を行い、該形状近似判断処理により近似していると判断したときには、該複数の処理領域を該識別対象物の画像領域であると識別することを特徴とする物体識別装置。
【請求項２３】
請求項１６〜２２の何れか１つに記載の物体識別装置において、
前記車線検出手段と前記路面形状推定手段とが行う前記形状近似判断処理では、前記２つの偏光画像をそれぞれ撮像距離に応じて少なくとも２つ以上の区域に区分し、形状が近似しているかどうかの判断に際し、撮像距離が遠い区域に含まれる部分よりも撮像距離が近い区域に含まれる部分の方が判断結果に与える影響が大きいように重み付けを行うことを特徴とする物体識別装置。
【請求項２４】
請求項１〜２３の何れか１つに記載の物体識別装置において、
過去に行った物体識別処理の結果を記憶する識別処理結果記憶手段を有し、
前記識別処理結果記憶手段に記憶された過去の物体識別処理の結果も用いて物体識別処理を行うことを特徴とする物体識別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【公開番号】特開２０１１−１５０６８９（Ｐ２０１１−１５０６８９Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−２５４２１３（Ｐ２０１０−２５４２１３）
【出願日】平成２２年１１月１２日（２０１０．１１．１２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１１月１２日（２０１０．１１．１２）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]