車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法
【課題】本発明は、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができる新規な車両運転支援装置を提供することを目的とする。
【解決手段】車両の車軸方向（または車両の高さ方向）に２つの偏光カメラを配置して偏光画像撮像系を構築した上で、車軸方向の偏光成分の光強度（Ｈ）および当該車両の高さ方向の偏光成分の光強度（Ｖ）から算出される偏光状態特徴量を、画像において対をなす画素毎に比較し、その差分が所定の閾値を超える場合に、これを路肩として検出する。検出された路肩の位置情報に基づいて、操舵制御手段、走行速度制御手段および警告手段等を制御することによって車両の運転支援を行う。
【解決手段】車両の車軸方向（または車両の高さ方向）に２つの偏光カメラを配置して偏光画像撮像系を構築した上で、車軸方向の偏光成分の光強度（Ｈ）および当該車両の高さ方向の偏光成分の光強度（Ｖ）から算出される偏光状態特徴量を、画像において対をなす画素毎に比較し、その差分が所定の閾値を超える場合に、これを路肩として検出する。検出された路肩の位置情報に基づいて、操舵制御手段、走行速度制御手段および警告手段等を制御することによって車両の運転支援を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両運転支援装置および方法に関し、より詳細には、偏光情報を利用した車両運転支援装置および方法に関する。
【背景技術】
【０００２】
従来、ドライバーの運転負荷を軽減させるための車両走行支援システムが種々検討されている。この点につき、特開平５−２６５５４７号公報（特許文献１）は、車載カメラが撮像した道路画像を画像解析することによって走行レーンを区画する白線を検出して自車の操舵や速度を制御する車両走行支援システムを開示する。このように、従来の車両走行支援システムの多くは、走行可能領域の境界（センターラインや縁石ブロックなど）を撮像画像の輝度解析によって検出するものであった。
【０００３】
しかしながら、これまでの輝度解析によるシステムは、入射光量が不足する曇天・雨天時や、路面上に日向と日陰の境界が存在するような場合に、正確なエッジを検出することができず誤作動する虞があった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術における課題に鑑み、本出願人が先に出願した特願２０１０−１５１３３４号は、車載カメラが受光した光の偏光成分を解析することによって、車道に設けられた縁石ブロック領域を検出する方法を開示する。以下、当該方法の原理について説明する。
【０００５】
一般に、自動車専用道路と歩道の境界（路肩）に所定の高さの縁石ブロック帯を設けることが省令によって定められている。図１５は、路肩に縁石ブロック帯が設けられた自動車専用道路を示す。図１５に示すように、一般に、縁石ブロック帯１０２は、直方体のコンクリーブロックが連なって形成されており、縁石ブロック帯１０２は、その側面である路端面１０６が路面１０４に直交するように立設されている。ここで、路面１０４を形成するアスファルや縁石ブロック帯１０２を形成するコンクリートなどの不導体への入射光は、反射によって偏光状態が変化することが知られている。この点につき、図１６を参照して説明する。
【０００６】
図１６（ａ）に示すように、屈折率の異なる２つの物質の界面に光が所定の入射角θをもって入射する場合、電場の振動方向が入射面に平行な光の成分（ｐ成分）と電場の振動方向が入射面に垂直な光の成分（ｓ成分）は、図１６（ｂ）に示すように、反射率の角度依存性が異なるため、入射角θが０以上、ブリュースター角未満の場合、界面からの反射光は、図１７に示すように、ｐ成分よりもｓ成分を多く含む楕円偏光になることが知られている。
【０００７】
ここで、図１８（ａ）を参照して、偏光方向に偏りを持たない無偏光光線が路面１０４および路端面１０６に入射するケースを考える。この場合、いずれの反射光も楕円偏光になるが、路端面１０６と路面１０４が直交しているため、車両側から見ると２つの楕円偏光の長軸は直交する関係になる。したがって、車両側の観察系において、路面１０４に平行な成分（すなわち、車軸方向の成分）を水平成分Ｈ、路面１０４に垂直な成分（すなわち、車の高さ方向の成分）を垂直成分Ｖと定義すれば、路端面反射光の強度比（Ｖ／Ｈ）と路面反射光の強度比（Ｖ／Ｈ）は当然異なるものとなる。よって、偏光素子を備える受光素子１０８を用いて反射光の水平成分Ｈおよび垂直成分Ｖを検出することができれば、強度比（Ｖ／Ｈ）の違いを利用して路端面反射光と路面反射光を区別することができる。
【０００８】
しかしながら、実際の道路の周りには様々な建造物があるため、路面１０４や路端面１０６に入射する光は必ずしも無偏光光線ばかりではなく、これらの建造物に反射した楕円偏光を入射光として想定しなければならない。例えば、図１８（ｂ）に示すように、路面１０４に入射する楕円偏光の長軸と路端面１０６に入射する楕円偏光の長軸が車両側から見て垂直な関係にあった場合、車両側の観察系からみると、路端面反射光の強度比（Ｖ／Ｈ）と路面反射光の強度比（Ｖ／Ｈ）の間に有意な差を検出することができないため、路端面反射光と路面反射光を区別することが困難になる。
【０００９】
本発明は、この点に鑑みてなされたものであり、本発明は、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができる新規な車両運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明者は、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができる新規な車両運転支援装置につき鋭意検討した結果、車両の車軸方向（または車両の高さ方向）に２つの偏光カメラを配置してなる撮像系を構築した上で、車軸方向の偏光成分の光強度（Ｈ）および当該車両の高さ方向の偏光成分の光強度（Ｖ）から算出される偏光状態特徴量を、２つの偏光カメラによって取得された各偏光画像において対をなす画素毎に比較し、その差分が所定の閾値を超える場合に、これを路肩として検出する方法を見出し、本発明に至ったのである。
【００１１】
すなわち、本発明によれば、車両の車軸方向の偏光成分の光強度（Ｈ）および該車両の高さ方向の偏光成分の光強度（Ｖ）を画素毎に検出する第１および第２のカメラが該車軸方向または該車両の高さ方向に離間して配置してなる偏光画像撮像手段と、前記第１のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基づいて第１の偏光状態特徴量を前記画素毎の算出する第１の偏光状態特徴量算出部と、前記第２のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基いて第２の偏光状態特徴量を前記画素毎の算出する第２の偏光状態特徴量算出部と、画像において対をなす前記第１のカメラの前記画素および前記第２のカメラの前記画素について、前記第１の偏光状態特徴量と前記第２の偏光状態特徴量の差分を求め、該差分が閾値を超える前記画素の座標情報に基づいて道路の路肩の位置情報を取得する路肩検出部と、を含む車両運転支援装置が提供される。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の車両運転支援装置の機能ブロック図。
【図２】本実施形態における偏光画像撮像手段の構成を説明するための概念図。
【図３】比較すべき特徴量ＦＭと特徴量ＦＳの組み合わせを説明するための概念図。
【図４】本発明の原理を説明するための概念図。
【図５】本発明の原理を説明するための概念図。
【図６】本発明の原理を説明するための概念図。
【図７】本発明の原理を説明するための概念図。
【図８】本実施形態における路肩検出部のマーキング処理を説明するための概念図。
【図９】本実施形態における車両運転支援の態様を説明するための概念図。
【図１０】本実施形態における車両運転支援の態様を説明するための概念図。
【図１１】第２の実施形態の車両運転支援装置の機能ブロック図。
【図１２】本実施形態において定義される補正用領域を示す図。
【図１３】本実施形態において定義される補正係数を説明するための概念図。
【図１４】本実施形態における補正係数を最適化する方法を示す図。
【図１５】路肩に縁石ブロック帯が設けられた自動車専用道路を示す図。
【図１６】反射光における偏光状態の変化を説明するための概念図。
【図１７】反射光における偏光状態の変化を説明するための概念図。
【図１８】入射光が無偏光光線である場合のモデルを示す図。
【発明を実施するための形態】
【００１３】
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１４】
図１は、本発明に実施形態である車両運転支援装置１０の機能ブロック図を示す。図１に示すように、車両運転支援装置１０は、平行等位に配置された２台のカメラ１２０,１２０からなる偏光画像撮像手段１００を備える。本実施形態においては、２台のカメラ１２０,１２０は、車両の車軸方向（すなわち、路面に平行な方向）に離間して配設されることを前提とする。具体的には、図２（ａ）に示すように、車両のフロントガラスの両端部分に２台のカメラ１２０,１２０を取り付けることができる。この場合、偏光画像撮像手段１００は、その基線（２台のカメラ１２０,１２０のレンズの中心を結ぶ線）が車軸に平行になるように調整される。
【００１５】
カメラ１２０は、既存の３ＣＣＤ偏光カメラと同等の構成を備える偏光撮像装置として参照することができ、適切なレンズ光学系１２２と、偏光素子と受光素子が一体化したマトリックスアレイセンサ１３０を含んで構成される。図２（ｂ）は、マトリックスアレイセンサ１３０を拡大して示す。図２（ｂ）に示すように、マトリックスアレイセンサ１３０は、複数の受光ブロック１４０がマトリックス状に配列されてなる固体撮像素子として参照することができ、１つの受光ブロック１４０は、偏光画像撮像手段１００が撮像する画像の１つの画素（１ピクセル）に相当する。なお、本実施形態における撮像系は、光強度を取得するためのものであって、画像を描画するためのものではないので、縁石ブロック（高さ１５ｃｍ位）のようなスケールの構造物を検出することができる程度の解像度を備えていればよく、そのピクセルサイズは、当該解像度を実現することができる必要十分なサイズであればよい。
【００１６】
本実施形態における受光ブロック１４０は、図２（ｂ）に拡大して示すように直交する２つの偏光方向をもつ２種類の偏光素子１４２ａ，１４２ｂと、各偏光素子に固有の２つの受光素子１４４ａ，１４４ｂから構成されている。偏光素子１４２ａは、マトリックスアレイセンサ１３０のＸ座標軸方向に偏光方向をもち、偏光素子１４２ｂは、Ｙ座標軸方向に偏光方向を持っている。ここで、マトリックスアレイセンサ１３０のＸ座標軸およびＹ座標軸は、それぞれ、車両の車軸方向および高さ方向に対応しており、マトリックスアレイセンサ１３０の各受光ブロック１４０は、車両の車軸方向の偏光成分Ｈおよび高さ方向の偏光成分Ｖをそれぞれ別個に検出することができるように構成されている。
【００１７】
なお、図２（ｂ）には、理解の容易のために、直交する偏光方向をもつ偏光素子からなる受光ブロック１４０を示したが、これはあくまで例示であり、本実施形態における受光ブロック１４０は、入射光の光強度を直交する２つの偏光成分毎に検出することができるものであればどのような構成であってもよく、種々の設計変更が可能であることはいうまでもない。例えば、図２（ｂ）に破線で囲んで示すように、偏光素子として、直交する２方向に加えて、４５°の方向にスリットをもつ３種類の偏光フィルタと各偏光フィルタに固有の３つの受光素子から受光ブロック１４０を構成することによって、楕円偏光をより正確に検出することができる。また、適切な偏光プリズムを偏光素子として用いることによって、直交する偏光成分を２つの受光素子に振り分けるようにしてもよく、液晶シャッタを偏光素子として用いることによって、直交する偏光成分を時分割に検出するようにしてもよい。
【００１８】
再び、図１に戻って説明を続ける。２つのカメラ１２０（以下、便宜的に主カメラ１２０および副カメラ１２０と呼び分ける）のマトリックスアレイセンサ１３０が検出した車両の車軸方向の偏光成分Ｈの光強度（Ｈ）と高さ方向の偏光成分Ｖの光強度（Ｖ）は、各受光ブロック１４０のＸＹ座標値に対応づけられて情報処理部２００に出力される。
【００１９】
情報処理部２００は、主カメラ１２０および副カメラ１２０に対応して設けられる偏光状態特徴量算出部２１０，２１０と、路肩検出部２２０と、制御用信号生成部２３０とを含んで構成される。２つのカメラ１２０から出力された受光ブロック１４０毎の光強度（Ｈ）および光強度（Ｖ）は、それぞれ、偏光状態特徴量算出部２１０，２１０に入力される。各偏光状態特徴量算出部２１０は、入力された光強度（Ｈ）および光強度（Ｖ）に基づいて受光ブロック１４０毎に偏光状態特徴量を生成する。
【００２０】
本実施形態における偏光状態特徴量とは、各受光ブロック１４０が受光した光の偏光状態を表す特徴量Ｆとして定義されるものであり、本実施形態においては、下記式（１）〜（４）のいずれかの算出式によって特徴量Ｆを求めることができる。なお、下記式において、Ｈ＝車両の車軸方向の偏光成分の光強度とし、Ｖ＝車両の高さ方向の偏光成分の光強度とする。なお、光強度は、デジタルカメラの輝度値に対応する。
【００２１】
【数１】
【００２２】
各偏光状態特徴量算出部２１０は、算出した偏光状態特徴量をＸＹ座標系に紐付けたテーブル（以下、偏光状態特徴量テーブルとして参照する）を生成し、これを路肩検出部２２０に送信する。
【００２３】
路肩検出部２２０は、偏光状態特徴量比較部２２１を含んで構成されており、偏光状態特徴量比較部２２１は、主カメラ１２０および副カメラ１２０のそれぞれについて生成された偏光状態特徴量テーブルを用いて、受光ブロック１４０ごとに偏光状態特徴量を比較する。ここで、主カメラ１２０の受光ブロック１４０について算出された偏光状態特徴量を特徴量ＦＭとし、副カメラ１２０の受光ブロック１４０について算出された偏光状態特徴量を特徴量ＦＳとした場合、比較すべき特徴量ＦＭと特徴量ＦＳの組み合わせを何らかの方法で決定する必要がある。この点につき、図３に基づいて説明する。
【００２４】
図３（ａ）に示すように、偏光画像撮像手段１００が偏光を検出する路面部分は自動車両の車輪の延長線上であり、一般的な平坦な路面では主カメラ１２０（左カメラ）および副カメラ１２０（右カメラ）の画角が睨む領域は何時も同じであるので、左右同一の領域を睨み画角を領域毎に何らかの方法で記憶しておくことで簡単に対応関係が取れる。つまり、図３（ｂ）に示す様に、左右の受光ブロック１４０の対応関係をテーブル管理しておき、この管理テーブルに基づいて、左右の受光ブロック１４０ついて算出された偏光状態特徴量を比較すれば良い。またこの様な対応関係を記憶する方法以外に、左右の画像情報の相関を使ったパターンマッチングで対応する受光ブロック１４０を決定しても良い。これら対応する受光ブロック１４０の組み合わせを決定する方法は幾つか考えられるが、本発明は、その具体的な構成に限定されるものではなく、必要に応じて最適な方法を用いることができる。
【００２５】
以上、説明したように、偏光状態特徴量比較部２２１は、主カメラ１２０および副カメラ１２０がそれぞれ撮像した２つの偏光画像において対をなす２つの受光ブロックについて算出された特徴量ＦＭと特徴量ＦＳとを比較してその差分を求める。本実施形態の車両運転支援装置１０は、当該差分の大きさに基づいて道路の路肩領域を検出することができる。以下、そのメカニズムについて、説明する。
【００２６】
路肩１０２に沿って縁石ブロック帯が設けられた道路を走行する車両について考える。図４（ａ）に示すように、路肩１０２近傍の路面１０４上の点Ｐで反射する反射光について考えると、２つのカメラ１２０,１２０は、車軸に対して平行等位に設置されており、また、路面１０４は、車軸に対して平行であると考えられるので、路面１０４を基準とした２つのカメラ１２０,１２０の高さは等しくなる。したがって、図４（ｂ）に示すように、路肩に近い主カメラ１２０（以下、左カメラ１２０Ｌという）で検出される反射光の反射角の余画（θＬ）と、路端から遠い副カメラ１２０（以下、右カメラ１２０Ｒという）で検出される反射光の反射角の余画（θＲ）に大きな違いはない。つまり、路面１０４に対する入射角がほぼ等しい光の反射光が左カメラ１２０Ｌおよび右カメラ１２０Ｒによって受光されていると考えることができる。ここで、反射光の偏光状態は、入射角に依存するので、左カメラ１２０Ｌおよび右カメラ１２０Ｒによって受光される２つの反射光の偏光状態は、図５に示すように、ほぼ等しくなる。したがって、路面１０４上の点Ｐが結像する受光ブロック１４０が検出する光強度について考えれば、左カメラ１２０Ｌ側で検出される光強度（Ｈ、Ｖ）と、右カメラ１２０Ｒ側で検出される光強度（Ｈ、Ｖ）の特性に大きな違いは生じないので、左右のカメラ１２０について算出される特徴量ＦＭと特徴量ＦＳの間に有意な差は生じない。
【００２７】
一方、図６（ａ）に示すように、路肩１０２の路端面１０６上の点Ｑで反射する反射光について考えると、２つのカメラ１２０Ｌ,１２０Ｒは、車軸に対して平行等位に設置されており、また、路端面１０６は、車軸に対してほぼ垂直であると考えられるので、図６（ｂ）に示すように、路端に近い左カメラ１２０Ｌで検出される反射光の反射角の余画（θＬ）は、路端から遠い右カメラ１２０Ｒで検出される反射光の反射角の余画（θＲ）よりも必ず小さくなる。つまり、路端面１０６に対する入射角について見た場合、右カメラ１２０Ｒよりも左カメラ１２０Ｌのほうに、より大きな入射角をもった光の反射光が受光されていると考えることができる。ここで、反射光の偏光状態は、入射角に依存するので、左カメラ１２０Ｌによって受光される反射光の偏光状態と右カメラ１２０Ｒによって受光される反射光の偏光状態は、図７に示すように大きく異なる。したがって、路端面１０６上の点Ｑが結像する受光ブロック１４０が検出する光強度について考えれば、左カメラ１２０Ｌ側で検出される光強度（Ｈ、Ｖ）と、右カメラ１２０Ｒ側で検出される光強度（Ｈ、Ｖ）が異なった特性を示すため、左右のカメラ１２０について算出される特徴量ＦＭと特徴量ＦＳの間に有意な差が生じる。本実施形態は、この特徴量ＦＭと特徴量ＦＳの差分が予め定められた所定の閾値を超える領域を路肩として検出するものである。なお、路肩として検出するための閾値は、適切な予備実験やシミュレーションの結果に基づいて適宜設定することができる。
【００２８】
偏光状態特徴量比較部２２１は、上述した手順で主カメラ１２０の受光ブロック１４０について算出された特徴量ＦＭと、副カメラ１２０の受光ブロック１４０について算出された特徴量ＦＳを比較してその差分を求め、その差分が所定の閾値を超えた組につき、主カメラ１２０の画像座標系上でマーキングする。例えば、図８（ａ）に示すような道路が偏光画像撮像手段１００の視界に入っている場合、画像座標系において、路肩１０２の路端面１０６が結像している領域がマーキングされる。図８（ｂ）は、路端面１０６に対応する画像座標系がマーキングされた様子を概念的に示している。偏光状態特徴量比較部２２１は、偏光画像撮像手段１００が取得する画像の変化に応じてリアルタイムにマーキングを実行し、路肩検出部２２０は、路肩１０２としてマーキングされたＸＹ座標値を参照可能なメモリ領域に格納し、常に更新する。
【００２９】
本実施形態の車両運転支援装置１０は、さらに、制御用信号生成部２３０を含んで構成されている。本実施形態における制御用信号生成部２３０は、路肩検出部２２０が更新する路肩の位置情報（ＸＹ座標値）を監視しており、当該路肩の位置情報に基づいて、車両と路肩の間隔を導出する。この点につき、図９および図１０を参照して説明する。
【００３０】
例えば、図９（ａ）に示すような道路が偏光画像撮像手段１００の視界に入っている場合を考えると、偏光画像撮像手段１００の画角の左端と撮像系から見て奥行き４ｍのラインの交点について、特徴量の差分が閾値を超える結果、これが路肩領域として検出される。このような場合、図９（ｂ）に示すように撮像系の水平視野角を９０°とすれば、車両と路肩１０２の間隔が４ｍであることが導かれる。
【００３１】
一方、図１０（ａ）に示すような道路が偏光画像撮像手段１００の視界に入っている場合を考えると、偏光画像撮像手段１００の画角の左端と撮像系から見て奥行きが２ｍのラインの交点について、特徴量の差分が閾値を超える結果、これが路肩領域として検出される。このような場合、図１０（ｂ）に示すよう車両と路肩１０２の間隔が２ｍであることが導かれる。
【００３２】
制御用信号生成部２３０は、導出した車両と路肩の間隔の値に基づいて所定の制御ルールを参照し、必要に応じて適切な御用信号を生成して、適宜、操舵制御手段３１０、走行速度制御手段３２０、警告手段３３０に出力する。たとえば、車両と路肩の間隔が所定の閾値を下回ったことに応答して、パワーステアリングとして参照される操舵制御手段３１０に対して操舵信号を送信し、自動的に操舵をコントロールして車両と路端の間隔を取るようにしたり、運転席のハンドルに適切な操舵を促すフォースフィードバック（路端方向には重く、路端と距離を取る方向には軽くなるような）を行ったりするように構成することができる。また、車両と路肩の間隔が所定の閾値を下回ったことに応答して、燃料噴射装置やブレーキ装置として参照される走行速度制御手段３２０に対して速度制御信号を送信して制御することによって、自動的に速度を緩めたり、自動的にブレーキをかけたりするように構成することができる。あるいは、音声画像装置として参照される警告手段３３０に車両と路肩の間隔に関する情報を常に表示させ、車両と路肩の間隔が所定の閾値を下回ったことに応答して、ブザー等で運転者に警告するように構成することもできる。なお、これらはあくまで例示であって、本発明は、その制御対象の構成によって限定されるものではない。
【００３３】
さらに、本発明の好ましい実施形態においては、路肩検出の精度を向上させるための補正手段を備えることができる。以下、この点について、図１１〜図１３を参照して説明する。
【００３４】
本発明の車両運転支援装置は、偏光画像撮像系を構成する２つのカメラの撮影条件が均等であることを前提としているが、実際の使用状況によっては、必ずしもそうならない場合がある。例えば、車両のフロントガラスの汚れなどが原因で２つのカメラに入射する光量に差が生じる場合などはその一例である。このような場合、本来ならば主カメラ１２０側で取得される特徴量ＦＭと副カメラ１２０側で取得される特徴量ＦＳの間に有意な差が生じないはずの路面について、閾値を超える差分量が検出されてしまい、路面を誤って路肩として誤認識してしまう虞がある。この点につき、図１１に示す第２の実施形態の車両運転支援装置２０は、このような外乱の影響を低減するために、キャリブレーション部２４０を備える。以下、キャリブレーション部２４０について説明する。
【００３５】
車両運転支援装置２０は、図１２（ａ）に示すように、路面と推定される所定領域（例えば、車両のすぐ前方且つ車幅の内側の領域）を補正用領域Ｃと定義する。キャリブレーション部２４０は、図１２（ｂ）に示すように、補正用領域Ｃが撮像される画角に対応する所定の画素領域（補正用領域Ｃが結像するはずの複数の受光ブロック１４０）を補正値取得用画素領域として定義し、主カメラ１２０および副カメラ１２０のそれぞれについて、当該補正値取得用画素領域の光強度（Ｈ）および光強度（Ｖ）を取得する。
【００３６】
このとき、仮に、主カメラ１２０が設置されている側のフロントガラスが汚れていれば、図１３（ａ）に示すように、主カメラ１２０の補正値取得用画素領域の光強度と副カメラ１２０補正値取得用画素領域に入射する光強度に差異が生じるはずである。本実施形態においてはこの差異に着目して２つのカメラ１２０それぞれに固有の補正係数を定義する。すなわち、キャリブレーション部２４０は、各カメラ１２０の補正値取得用画素領域について取得された光強度（Ｈ）および光強度（Ｖ）を適切なルールで正規化した上で、主カメラ１２０について得られた正規値を副カメラ１２０用の補正係数Ｓとして定義し、副カメラ１２０について得られた値を主カメラ１２０用の補正係数Ｍとして定義する。
【００３７】
図１３（ｂ）は、２つのカメラ１２０に入射する走行中の路面の反射光の強度を示す。主カメラ１２０が設置されている側のフロントガラスが汚れている場合、図１３（ｂ）の上段に示すように、主カメラ１２０の各受光ブロック１４０で検出される光強度は、副カメラ１２０のそれよりも小さくなる。本実施形態においては、各カメラ１２０で検出された光強度の値に対してキャリブレーションモード時に取得した補正係数を乗じられる。すなわち、主カメラ１２０側の偏光状態特徴量算出部２１０は、主カメラ１２０側で検出された光強度（Ｈ）および光強度（Ｖ）の値に補正係数Ｍを乗じて得られた値に基づいて偏光状態特徴量を算出し、副カメラ１２０側の偏光状態特徴量算出部２１０は、副カメラ１２０側で検出された光強度（Ｈ）および光強度（Ｖ）の値に補正係数Ｓを乗じて得られた値に基づいて偏光状態特徴量を算出する。その結果、図１３（ｂ）の下段に示すように、両カメラで検出された光強度の値が外乱の影響をキャンセルするように適正に補正されるので、路面を誤って路肩として検出してしまうことが回避される。
【００３８】
なお、厳密には、図１４（ａ）に示すように、主カメラ１２０に入射する補正用領域Ｃの反射光の偏光軸と副カメラ１２０に入射する補正用領域Ｃの反射光の偏光軸は内側に傾いているので、キャリブレーション部２４０は、図１４（ｂ）に示すように、いずれか一方のカメラ（例えば、主カメラ１２０）の出力値を左右反転して両者の偏光軸を合致させた後に補正係数を求めることによって、補正係数をより適切な値とすることができる。
【００３９】
なお、外乱は常に変化するので、適切なタイミングで定期的にキャリブレーションを実行し、補正係数をリアルタイムで更新することが好ましい。ただし、補正用領域Ｃに障害物があることが推定されるような場合には、補正係数の更新を行わないことが必要である。したがって、車両の走行速度が基準値に満たない場合（停止中も含む）や、超音波ソナーなどによって測距された補正用領域Ｆの方向の距離が基準値に満たない場合には、補正用領域Ｃに障害物がある可能性が高いと判断して補正係数の更新を行わないようにすることが好ましい。
【００４０】
以上、説明したように、本発明によれば、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができるので、ドライバーに対してより的確な運転支援を行うことができる。なお、これまで本発明につき、偏光画像撮像手段の２台のカメラを車両の車軸方向に離間して配設する実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、２台のカメラを車両の高さ方向（すなわち、車軸方向に垂直な方向）に離間して配設しても良い。この場合、これまで説明した内容と逆になり、偏光状態特徴量の差分が所定の閾値に満たない領域が路肩として検出される。
【００４１】
さらに、上述した実施形態においては、偏光画像撮像系の画角全域に対応する面積のマトリックスアレイセンサ１３０を設けていたが、危険回避のためには、必要最低限の画角からの偏光情報を得れば事足りるので、上述したマトリックスアレイセンサ１３０に代えてそのような範囲をカバーすることが可能なラインセンサーを用いても良い。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００４２】
上述した実施形態の各機能は、アセンブリ言語、Ｃ、Ｖｉｓｕａｌ Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｊａｖａ（登録商標）Ａｐｐｌｅｔ、Ｊａｖａ（登録商標）Ｈｃｒｉｐｔ、Ｐｅｒｌ、Ｒｕｂｙなど、レガシープログラミング言語やオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、装置可読な記録媒体に格納して頒布することができる。
【符号の説明】
【００４３】
１０…車両運転支援装置
２０…車両運転支援装置
１００…偏光画像撮像手段
１０２…路肩（縁石ブロック帯）
１０４…路面
１０６…路端面
１０８…受光素子
１２０…カメラ
１２２…レンズ光学系
１３０…マトリックスアレイセンサ
１４０…受光ブロック
１４２…偏光素子
１４４…受光素子
２００…情報処理部
２１０…偏光状態特徴量算出部
２２０…路肩検出部
２２１…偏光状態特徴量比較部
２３０…制御用信号生成部
２４０…キャリブレーション部
３１０…操舵制御手段
３２０…走行速度制御手段
３３０…警告手段
【先行技術文献】
【特許文献】
【００４４】
【特許文献１】特開平５−２６５５４７号公報
【技術分野】
【０００１】
本発明は、車両運転支援装置および方法に関し、より詳細には、偏光情報を利用した車両運転支援装置および方法に関する。
【背景技術】
【０００２】
従来、ドライバーの運転負荷を軽減させるための車両走行支援システムが種々検討されている。この点につき、特開平５−２６５５４７号公報（特許文献１）は、車載カメラが撮像した道路画像を画像解析することによって走行レーンを区画する白線を検出して自車の操舵や速度を制御する車両走行支援システムを開示する。このように、従来の車両走行支援システムの多くは、走行可能領域の境界（センターラインや縁石ブロックなど）を撮像画像の輝度解析によって検出するものであった。
【０００３】
しかしながら、これまでの輝度解析によるシステムは、入射光量が不足する曇天・雨天時や、路面上に日向と日陰の境界が存在するような場合に、正確なエッジを検出することができず誤作動する虞があった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術における課題に鑑み、本出願人が先に出願した特願２０１０−１５１３３４号は、車載カメラが受光した光の偏光成分を解析することによって、車道に設けられた縁石ブロック領域を検出する方法を開示する。以下、当該方法の原理について説明する。
【０００５】
一般に、自動車専用道路と歩道の境界（路肩）に所定の高さの縁石ブロック帯を設けることが省令によって定められている。図１５は、路肩に縁石ブロック帯が設けられた自動車専用道路を示す。図１５に示すように、一般に、縁石ブロック帯１０２は、直方体のコンクリーブロックが連なって形成されており、縁石ブロック帯１０２は、その側面である路端面１０６が路面１０４に直交するように立設されている。ここで、路面１０４を形成するアスファルや縁石ブロック帯１０２を形成するコンクリートなどの不導体への入射光は、反射によって偏光状態が変化することが知られている。この点につき、図１６を参照して説明する。
【０００６】
図１６（ａ）に示すように、屈折率の異なる２つの物質の界面に光が所定の入射角θをもって入射する場合、電場の振動方向が入射面に平行な光の成分（ｐ成分）と電場の振動方向が入射面に垂直な光の成分（ｓ成分）は、図１６（ｂ）に示すように、反射率の角度依存性が異なるため、入射角θが０以上、ブリュースター角未満の場合、界面からの反射光は、図１７に示すように、ｐ成分よりもｓ成分を多く含む楕円偏光になることが知られている。
【０００７】
ここで、図１８（ａ）を参照して、偏光方向に偏りを持たない無偏光光線が路面１０４および路端面１０６に入射するケースを考える。この場合、いずれの反射光も楕円偏光になるが、路端面１０６と路面１０４が直交しているため、車両側から見ると２つの楕円偏光の長軸は直交する関係になる。したがって、車両側の観察系において、路面１０４に平行な成分（すなわち、車軸方向の成分）を水平成分Ｈ、路面１０４に垂直な成分（すなわち、車の高さ方向の成分）を垂直成分Ｖと定義すれば、路端面反射光の強度比（Ｖ／Ｈ）と路面反射光の強度比（Ｖ／Ｈ）は当然異なるものとなる。よって、偏光素子を備える受光素子１０８を用いて反射光の水平成分Ｈおよび垂直成分Ｖを検出することができれば、強度比（Ｖ／Ｈ）の違いを利用して路端面反射光と路面反射光を区別することができる。
【０００８】
しかしながら、実際の道路の周りには様々な建造物があるため、路面１０４や路端面１０６に入射する光は必ずしも無偏光光線ばかりではなく、これらの建造物に反射した楕円偏光を入射光として想定しなければならない。例えば、図１８（ｂ）に示すように、路面１０４に入射する楕円偏光の長軸と路端面１０６に入射する楕円偏光の長軸が車両側から見て垂直な関係にあった場合、車両側の観察系からみると、路端面反射光の強度比（Ｖ／Ｈ）と路面反射光の強度比（Ｖ／Ｈ）の間に有意な差を検出することができないため、路端面反射光と路面反射光を区別することが困難になる。
【０００９】
本発明は、この点に鑑みてなされたものであり、本発明は、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができる新規な車両運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明者は、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができる新規な車両運転支援装置につき鋭意検討した結果、車両の車軸方向（または車両の高さ方向）に２つの偏光カメラを配置してなる撮像系を構築した上で、車軸方向の偏光成分の光強度（Ｈ）および当該車両の高さ方向の偏光成分の光強度（Ｖ）から算出される偏光状態特徴量を、２つの偏光カメラによって取得された各偏光画像において対をなす画素毎に比較し、その差分が所定の閾値を超える場合に、これを路肩として検出する方法を見出し、本発明に至ったのである。
【００１１】
すなわち、本発明によれば、車両の車軸方向の偏光成分の光強度（Ｈ）および該車両の高さ方向の偏光成分の光強度（Ｖ）を画素毎に検出する第１および第２のカメラが該車軸方向または該車両の高さ方向に離間して配置してなる偏光画像撮像手段と、前記第１のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基づいて第１の偏光状態特徴量を前記画素毎の算出する第１の偏光状態特徴量算出部と、前記第２のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基いて第２の偏光状態特徴量を前記画素毎の算出する第２の偏光状態特徴量算出部と、画像において対をなす前記第１のカメラの前記画素および前記第２のカメラの前記画素について、前記第１の偏光状態特徴量と前記第２の偏光状態特徴量の差分を求め、該差分が閾値を超える前記画素の座標情報に基づいて道路の路肩の位置情報を取得する路肩検出部と、を含む車両運転支援装置が提供される。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の車両運転支援装置の機能ブロック図。
【図２】本実施形態における偏光画像撮像手段の構成を説明するための概念図。
【図３】比較すべき特徴量ＦＭと特徴量ＦＳの組み合わせを説明するための概念図。
【図４】本発明の原理を説明するための概念図。
【図５】本発明の原理を説明するための概念図。
【図６】本発明の原理を説明するための概念図。
【図７】本発明の原理を説明するための概念図。
【図８】本実施形態における路肩検出部のマーキング処理を説明するための概念図。
【図９】本実施形態における車両運転支援の態様を説明するための概念図。
【図１０】本実施形態における車両運転支援の態様を説明するための概念図。
【図１１】第２の実施形態の車両運転支援装置の機能ブロック図。
【図１２】本実施形態において定義される補正用領域を示す図。
【図１３】本実施形態において定義される補正係数を説明するための概念図。
【図１４】本実施形態における補正係数を最適化する方法を示す図。
【図１５】路肩に縁石ブロック帯が設けられた自動車専用道路を示す図。
【図１６】反射光における偏光状態の変化を説明するための概念図。
【図１７】反射光における偏光状態の変化を説明するための概念図。
【図１８】入射光が無偏光光線である場合のモデルを示す図。
【発明を実施するための形態】
【００１３】
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１４】
図１は、本発明に実施形態である車両運転支援装置１０の機能ブロック図を示す。図１に示すように、車両運転支援装置１０は、平行等位に配置された２台のカメラ１２０,１２０からなる偏光画像撮像手段１００を備える。本実施形態においては、２台のカメラ１２０,１２０は、車両の車軸方向（すなわち、路面に平行な方向）に離間して配設されることを前提とする。具体的には、図２（ａ）に示すように、車両のフロントガラスの両端部分に２台のカメラ１２０,１２０を取り付けることができる。この場合、偏光画像撮像手段１００は、その基線（２台のカメラ１２０,１２０のレンズの中心を結ぶ線）が車軸に平行になるように調整される。
【００１５】
カメラ１２０は、既存の３ＣＣＤ偏光カメラと同等の構成を備える偏光撮像装置として参照することができ、適切なレンズ光学系１２２と、偏光素子と受光素子が一体化したマトリックスアレイセンサ１３０を含んで構成される。図２（ｂ）は、マトリックスアレイセンサ１３０を拡大して示す。図２（ｂ）に示すように、マトリックスアレイセンサ１３０は、複数の受光ブロック１４０がマトリックス状に配列されてなる固体撮像素子として参照することができ、１つの受光ブロック１４０は、偏光画像撮像手段１００が撮像する画像の１つの画素（１ピクセル）に相当する。なお、本実施形態における撮像系は、光強度を取得するためのものであって、画像を描画するためのものではないので、縁石ブロック（高さ１５ｃｍ位）のようなスケールの構造物を検出することができる程度の解像度を備えていればよく、そのピクセルサイズは、当該解像度を実現することができる必要十分なサイズであればよい。
【００１６】
本実施形態における受光ブロック１４０は、図２（ｂ）に拡大して示すように直交する２つの偏光方向をもつ２種類の偏光素子１４２ａ，１４２ｂと、各偏光素子に固有の２つの受光素子１４４ａ，１４４ｂから構成されている。偏光素子１４２ａは、マトリックスアレイセンサ１３０のＸ座標軸方向に偏光方向をもち、偏光素子１４２ｂは、Ｙ座標軸方向に偏光方向を持っている。ここで、マトリックスアレイセンサ１３０のＸ座標軸およびＹ座標軸は、それぞれ、車両の車軸方向および高さ方向に対応しており、マトリックスアレイセンサ１３０の各受光ブロック１４０は、車両の車軸方向の偏光成分Ｈおよび高さ方向の偏光成分Ｖをそれぞれ別個に検出することができるように構成されている。
【００１７】
なお、図２（ｂ）には、理解の容易のために、直交する偏光方向をもつ偏光素子からなる受光ブロック１４０を示したが、これはあくまで例示であり、本実施形態における受光ブロック１４０は、入射光の光強度を直交する２つの偏光成分毎に検出することができるものであればどのような構成であってもよく、種々の設計変更が可能であることはいうまでもない。例えば、図２（ｂ）に破線で囲んで示すように、偏光素子として、直交する２方向に加えて、４５°の方向にスリットをもつ３種類の偏光フィルタと各偏光フィルタに固有の３つの受光素子から受光ブロック１４０を構成することによって、楕円偏光をより正確に検出することができる。また、適切な偏光プリズムを偏光素子として用いることによって、直交する偏光成分を２つの受光素子に振り分けるようにしてもよく、液晶シャッタを偏光素子として用いることによって、直交する偏光成分を時分割に検出するようにしてもよい。
【００１８】
再び、図１に戻って説明を続ける。２つのカメラ１２０（以下、便宜的に主カメラ１２０および副カメラ１２０と呼び分ける）のマトリックスアレイセンサ１３０が検出した車両の車軸方向の偏光成分Ｈの光強度（Ｈ）と高さ方向の偏光成分Ｖの光強度（Ｖ）は、各受光ブロック１４０のＸＹ座標値に対応づけられて情報処理部２００に出力される。
【００１９】
情報処理部２００は、主カメラ１２０および副カメラ１２０に対応して設けられる偏光状態特徴量算出部２１０，２１０と、路肩検出部２２０と、制御用信号生成部２３０とを含んで構成される。２つのカメラ１２０から出力された受光ブロック１４０毎の光強度（Ｈ）および光強度（Ｖ）は、それぞれ、偏光状態特徴量算出部２１０，２１０に入力される。各偏光状態特徴量算出部２１０は、入力された光強度（Ｈ）および光強度（Ｖ）に基づいて受光ブロック１４０毎に偏光状態特徴量を生成する。
【００２０】
本実施形態における偏光状態特徴量とは、各受光ブロック１４０が受光した光の偏光状態を表す特徴量Ｆとして定義されるものであり、本実施形態においては、下記式（１）〜（４）のいずれかの算出式によって特徴量Ｆを求めることができる。なお、下記式において、Ｈ＝車両の車軸方向の偏光成分の光強度とし、Ｖ＝車両の高さ方向の偏光成分の光強度とする。なお、光強度は、デジタルカメラの輝度値に対応する。
【００２１】
【数１】
【００２２】
各偏光状態特徴量算出部２１０は、算出した偏光状態特徴量をＸＹ座標系に紐付けたテーブル（以下、偏光状態特徴量テーブルとして参照する）を生成し、これを路肩検出部２２０に送信する。
【００２３】
路肩検出部２２０は、偏光状態特徴量比較部２２１を含んで構成されており、偏光状態特徴量比較部２２１は、主カメラ１２０および副カメラ１２０のそれぞれについて生成された偏光状態特徴量テーブルを用いて、受光ブロック１４０ごとに偏光状態特徴量を比較する。ここで、主カメラ１２０の受光ブロック１４０について算出された偏光状態特徴量を特徴量ＦＭとし、副カメラ１２０の受光ブロック１４０について算出された偏光状態特徴量を特徴量ＦＳとした場合、比較すべき特徴量ＦＭと特徴量ＦＳの組み合わせを何らかの方法で決定する必要がある。この点につき、図３に基づいて説明する。
【００２４】
図３（ａ）に示すように、偏光画像撮像手段１００が偏光を検出する路面部分は自動車両の車輪の延長線上であり、一般的な平坦な路面では主カメラ１２０（左カメラ）および副カメラ１２０（右カメラ）の画角が睨む領域は何時も同じであるので、左右同一の領域を睨み画角を領域毎に何らかの方法で記憶しておくことで簡単に対応関係が取れる。つまり、図３（ｂ）に示す様に、左右の受光ブロック１４０の対応関係をテーブル管理しておき、この管理テーブルに基づいて、左右の受光ブロック１４０ついて算出された偏光状態特徴量を比較すれば良い。またこの様な対応関係を記憶する方法以外に、左右の画像情報の相関を使ったパターンマッチングで対応する受光ブロック１４０を決定しても良い。これら対応する受光ブロック１４０の組み合わせを決定する方法は幾つか考えられるが、本発明は、その具体的な構成に限定されるものではなく、必要に応じて最適な方法を用いることができる。
【００２５】
以上、説明したように、偏光状態特徴量比較部２２１は、主カメラ１２０および副カメラ１２０がそれぞれ撮像した２つの偏光画像において対をなす２つの受光ブロックについて算出された特徴量ＦＭと特徴量ＦＳとを比較してその差分を求める。本実施形態の車両運転支援装置１０は、当該差分の大きさに基づいて道路の路肩領域を検出することができる。以下、そのメカニズムについて、説明する。
【００２６】
路肩１０２に沿って縁石ブロック帯が設けられた道路を走行する車両について考える。図４（ａ）に示すように、路肩１０２近傍の路面１０４上の点Ｐで反射する反射光について考えると、２つのカメラ１２０,１２０は、車軸に対して平行等位に設置されており、また、路面１０４は、車軸に対して平行であると考えられるので、路面１０４を基準とした２つのカメラ１２０,１２０の高さは等しくなる。したがって、図４（ｂ）に示すように、路肩に近い主カメラ１２０（以下、左カメラ１２０Ｌという）で検出される反射光の反射角の余画（θＬ）と、路端から遠い副カメラ１２０（以下、右カメラ１２０Ｒという）で検出される反射光の反射角の余画（θＲ）に大きな違いはない。つまり、路面１０４に対する入射角がほぼ等しい光の反射光が左カメラ１２０Ｌおよび右カメラ１２０Ｒによって受光されていると考えることができる。ここで、反射光の偏光状態は、入射角に依存するので、左カメラ１２０Ｌおよび右カメラ１２０Ｒによって受光される２つの反射光の偏光状態は、図５に示すように、ほぼ等しくなる。したがって、路面１０４上の点Ｐが結像する受光ブロック１４０が検出する光強度について考えれば、左カメラ１２０Ｌ側で検出される光強度（Ｈ、Ｖ）と、右カメラ１２０Ｒ側で検出される光強度（Ｈ、Ｖ）の特性に大きな違いは生じないので、左右のカメラ１２０について算出される特徴量ＦＭと特徴量ＦＳの間に有意な差は生じない。
【００２７】
一方、図６（ａ）に示すように、路肩１０２の路端面１０６上の点Ｑで反射する反射光について考えると、２つのカメラ１２０Ｌ,１２０Ｒは、車軸に対して平行等位に設置されており、また、路端面１０６は、車軸に対してほぼ垂直であると考えられるので、図６（ｂ）に示すように、路端に近い左カメラ１２０Ｌで検出される反射光の反射角の余画（θＬ）は、路端から遠い右カメラ１２０Ｒで検出される反射光の反射角の余画（θＲ）よりも必ず小さくなる。つまり、路端面１０６に対する入射角について見た場合、右カメラ１２０Ｒよりも左カメラ１２０Ｌのほうに、より大きな入射角をもった光の反射光が受光されていると考えることができる。ここで、反射光の偏光状態は、入射角に依存するので、左カメラ１２０Ｌによって受光される反射光の偏光状態と右カメラ１２０Ｒによって受光される反射光の偏光状態は、図７に示すように大きく異なる。したがって、路端面１０６上の点Ｑが結像する受光ブロック１４０が検出する光強度について考えれば、左カメラ１２０Ｌ側で検出される光強度（Ｈ、Ｖ）と、右カメラ１２０Ｒ側で検出される光強度（Ｈ、Ｖ）が異なった特性を示すため、左右のカメラ１２０について算出される特徴量ＦＭと特徴量ＦＳの間に有意な差が生じる。本実施形態は、この特徴量ＦＭと特徴量ＦＳの差分が予め定められた所定の閾値を超える領域を路肩として検出するものである。なお、路肩として検出するための閾値は、適切な予備実験やシミュレーションの結果に基づいて適宜設定することができる。
【００２８】
偏光状態特徴量比較部２２１は、上述した手順で主カメラ１２０の受光ブロック１４０について算出された特徴量ＦＭと、副カメラ１２０の受光ブロック１４０について算出された特徴量ＦＳを比較してその差分を求め、その差分が所定の閾値を超えた組につき、主カメラ１２０の画像座標系上でマーキングする。例えば、図８（ａ）に示すような道路が偏光画像撮像手段１００の視界に入っている場合、画像座標系において、路肩１０２の路端面１０６が結像している領域がマーキングされる。図８（ｂ）は、路端面１０６に対応する画像座標系がマーキングされた様子を概念的に示している。偏光状態特徴量比較部２２１は、偏光画像撮像手段１００が取得する画像の変化に応じてリアルタイムにマーキングを実行し、路肩検出部２２０は、路肩１０２としてマーキングされたＸＹ座標値を参照可能なメモリ領域に格納し、常に更新する。
【００２９】
本実施形態の車両運転支援装置１０は、さらに、制御用信号生成部２３０を含んで構成されている。本実施形態における制御用信号生成部２３０は、路肩検出部２２０が更新する路肩の位置情報（ＸＹ座標値）を監視しており、当該路肩の位置情報に基づいて、車両と路肩の間隔を導出する。この点につき、図９および図１０を参照して説明する。
【００３０】
例えば、図９（ａ）に示すような道路が偏光画像撮像手段１００の視界に入っている場合を考えると、偏光画像撮像手段１００の画角の左端と撮像系から見て奥行き４ｍのラインの交点について、特徴量の差分が閾値を超える結果、これが路肩領域として検出される。このような場合、図９（ｂ）に示すように撮像系の水平視野角を９０°とすれば、車両と路肩１０２の間隔が４ｍであることが導かれる。
【００３１】
一方、図１０（ａ）に示すような道路が偏光画像撮像手段１００の視界に入っている場合を考えると、偏光画像撮像手段１００の画角の左端と撮像系から見て奥行きが２ｍのラインの交点について、特徴量の差分が閾値を超える結果、これが路肩領域として検出される。このような場合、図１０（ｂ）に示すよう車両と路肩１０２の間隔が２ｍであることが導かれる。
【００３２】
制御用信号生成部２３０は、導出した車両と路肩の間隔の値に基づいて所定の制御ルールを参照し、必要に応じて適切な御用信号を生成して、適宜、操舵制御手段３１０、走行速度制御手段３２０、警告手段３３０に出力する。たとえば、車両と路肩の間隔が所定の閾値を下回ったことに応答して、パワーステアリングとして参照される操舵制御手段３１０に対して操舵信号を送信し、自動的に操舵をコントロールして車両と路端の間隔を取るようにしたり、運転席のハンドルに適切な操舵を促すフォースフィードバック（路端方向には重く、路端と距離を取る方向には軽くなるような）を行ったりするように構成することができる。また、車両と路肩の間隔が所定の閾値を下回ったことに応答して、燃料噴射装置やブレーキ装置として参照される走行速度制御手段３２０に対して速度制御信号を送信して制御することによって、自動的に速度を緩めたり、自動的にブレーキをかけたりするように構成することができる。あるいは、音声画像装置として参照される警告手段３３０に車両と路肩の間隔に関する情報を常に表示させ、車両と路肩の間隔が所定の閾値を下回ったことに応答して、ブザー等で運転者に警告するように構成することもできる。なお、これらはあくまで例示であって、本発明は、その制御対象の構成によって限定されるものではない。
【００３３】
さらに、本発明の好ましい実施形態においては、路肩検出の精度を向上させるための補正手段を備えることができる。以下、この点について、図１１〜図１３を参照して説明する。
【００３４】
本発明の車両運転支援装置は、偏光画像撮像系を構成する２つのカメラの撮影条件が均等であることを前提としているが、実際の使用状況によっては、必ずしもそうならない場合がある。例えば、車両のフロントガラスの汚れなどが原因で２つのカメラに入射する光量に差が生じる場合などはその一例である。このような場合、本来ならば主カメラ１２０側で取得される特徴量ＦＭと副カメラ１２０側で取得される特徴量ＦＳの間に有意な差が生じないはずの路面について、閾値を超える差分量が検出されてしまい、路面を誤って路肩として誤認識してしまう虞がある。この点につき、図１１に示す第２の実施形態の車両運転支援装置２０は、このような外乱の影響を低減するために、キャリブレーション部２４０を備える。以下、キャリブレーション部２４０について説明する。
【００３５】
車両運転支援装置２０は、図１２（ａ）に示すように、路面と推定される所定領域（例えば、車両のすぐ前方且つ車幅の内側の領域）を補正用領域Ｃと定義する。キャリブレーション部２４０は、図１２（ｂ）に示すように、補正用領域Ｃが撮像される画角に対応する所定の画素領域（補正用領域Ｃが結像するはずの複数の受光ブロック１４０）を補正値取得用画素領域として定義し、主カメラ１２０および副カメラ１２０のそれぞれについて、当該補正値取得用画素領域の光強度（Ｈ）および光強度（Ｖ）を取得する。
【００３６】
このとき、仮に、主カメラ１２０が設置されている側のフロントガラスが汚れていれば、図１３（ａ）に示すように、主カメラ１２０の補正値取得用画素領域の光強度と副カメラ１２０補正値取得用画素領域に入射する光強度に差異が生じるはずである。本実施形態においてはこの差異に着目して２つのカメラ１２０それぞれに固有の補正係数を定義する。すなわち、キャリブレーション部２４０は、各カメラ１２０の補正値取得用画素領域について取得された光強度（Ｈ）および光強度（Ｖ）を適切なルールで正規化した上で、主カメラ１２０について得られた正規値を副カメラ１２０用の補正係数Ｓとして定義し、副カメラ１２０について得られた値を主カメラ１２０用の補正係数Ｍとして定義する。
【００３７】
図１３（ｂ）は、２つのカメラ１２０に入射する走行中の路面の反射光の強度を示す。主カメラ１２０が設置されている側のフロントガラスが汚れている場合、図１３（ｂ）の上段に示すように、主カメラ１２０の各受光ブロック１４０で検出される光強度は、副カメラ１２０のそれよりも小さくなる。本実施形態においては、各カメラ１２０で検出された光強度の値に対してキャリブレーションモード時に取得した補正係数を乗じられる。すなわち、主カメラ１２０側の偏光状態特徴量算出部２１０は、主カメラ１２０側で検出された光強度（Ｈ）および光強度（Ｖ）の値に補正係数Ｍを乗じて得られた値に基づいて偏光状態特徴量を算出し、副カメラ１２０側の偏光状態特徴量算出部２１０は、副カメラ１２０側で検出された光強度（Ｈ）および光強度（Ｖ）の値に補正係数Ｓを乗じて得られた値に基づいて偏光状態特徴量を算出する。その結果、図１３（ｂ）の下段に示すように、両カメラで検出された光強度の値が外乱の影響をキャンセルするように適正に補正されるので、路面を誤って路肩として検出してしまうことが回避される。
【００３８】
なお、厳密には、図１４（ａ）に示すように、主カメラ１２０に入射する補正用領域Ｃの反射光の偏光軸と副カメラ１２０に入射する補正用領域Ｃの反射光の偏光軸は内側に傾いているので、キャリブレーション部２４０は、図１４（ｂ）に示すように、いずれか一方のカメラ（例えば、主カメラ１２０）の出力値を左右反転して両者の偏光軸を合致させた後に補正係数を求めることによって、補正係数をより適切な値とすることができる。
【００３９】
なお、外乱は常に変化するので、適切なタイミングで定期的にキャリブレーションを実行し、補正係数をリアルタイムで更新することが好ましい。ただし、補正用領域Ｃに障害物があることが推定されるような場合には、補正係数の更新を行わないことが必要である。したがって、車両の走行速度が基準値に満たない場合（停止中も含む）や、超音波ソナーなどによって測距された補正用領域Ｆの方向の距離が基準値に満たない場合には、補正用領域Ｃに障害物がある可能性が高いと判断して補正係数の更新を行わないようにすることが好ましい。
【００４０】
以上、説明したように、本発明によれば、楕円偏光が優勢な実際の道路環境においても正確に路肩を検出することができるので、ドライバーに対してより的確な運転支援を行うことができる。なお、これまで本発明につき、偏光画像撮像手段の２台のカメラを車両の車軸方向に離間して配設する実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、２台のカメラを車両の高さ方向（すなわち、車軸方向に垂直な方向）に離間して配設しても良い。この場合、これまで説明した内容と逆になり、偏光状態特徴量の差分が所定の閾値に満たない領域が路肩として検出される。
【００４１】
さらに、上述した実施形態においては、偏光画像撮像系の画角全域に対応する面積のマトリックスアレイセンサ１３０を設けていたが、危険回避のためには、必要最低限の画角からの偏光情報を得れば事足りるので、上述したマトリックスアレイセンサ１３０に代えてそのような範囲をカバーすることが可能なラインセンサーを用いても良い。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００４２】
上述した実施形態の各機能は、アセンブリ言語、Ｃ、Ｖｉｓｕａｌ Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｊａｖａ（登録商標）Ａｐｐｌｅｔ、Ｊａｖａ（登録商標）Ｈｃｒｉｐｔ、Ｐｅｒｌ、Ｒｕｂｙなど、レガシープログラミング言語やオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、装置可読な記録媒体に格納して頒布することができる。
【符号の説明】
【００４３】
１０…車両運転支援装置
２０…車両運転支援装置
１００…偏光画像撮像手段
１０２…路肩（縁石ブロック帯）
１０４…路面
１０６…路端面
１０８…受光素子
１２０…カメラ
１２２…レンズ光学系
１３０…マトリックスアレイセンサ
１４０…受光ブロック
１４２…偏光素子
１４４…受光素子
２００…情報処理部
２１０…偏光状態特徴量算出部
２２０…路肩検出部
２２１…偏光状態特徴量比較部
２３０…制御用信号生成部
２４０…キャリブレーション部
３１０…操舵制御手段
３２０…走行速度制御手段
３３０…警告手段
【先行技術文献】
【特許文献】
【００４４】
【特許文献１】特開平５−２６５５４７号公報
【特許請求の範囲】
【請求項１】
車両の車軸方向の偏光成分の光強度（Ｈ）および該車両の高さ方向の偏光成分の光強度（Ｖ）を画素毎に検出する第１および第２のカメラが該車軸方向または該車両の高さ方向に離間して配置してなる偏光画像撮像手段と、
前記第１のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基づいて第１の偏光状態特徴量を前記画素毎の算出する第１の偏光状態特徴量算出部と、
前記第２のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基いて第２の偏光状態特徴量を前記画素毎の算出する第２の偏光状態特徴量算出部と、
画像において対をなす前記第１のカメラの前記画素および前記第２のカメラの前記画素について、前記第１の偏光状態特徴量と前記第２の偏光状態特徴量の差分を求め、該差分が所定の閾値を超える前記画素の座標情報に基づいて道路の路肩の位置情報を取得する路肩検出部と、
を含む、
車両運転支援装置。
【請求項２】
前記偏光状態特徴量は、下記式（１）〜（４）に示すいずれか１つの算出式によって算出される、請求項１に記載の車両運転支援装置。
【数１】
（上記各式において、車両の車軸方向の偏光成分の光強度をＨとし、該車両の高さ方向の偏光成分の光強度をＶとし、偏光状態特徴量をＦとする）
【請求項３】
外乱の影響を低減するためのキャリブレーション部をさらに含み、該キャリブレーション部は、路面と推定される領域が撮像される画角に対応する所定の画素領域を補正値取得用画素領域として定義し、前記第１のカメラの前記補正値取得用画素領域について取得された前記光強度（Ｈ）および前記光強度（Ｖ）の正規値を前記第２のカメラ用の第２の補正係数として定義し、前記第２のカメラの前記補正値取得用画素領域について取得された前記光強度（Ｈ）および前記光強度（Ｖ）の正規値を前記第１のカメラ用の第１の補正係数として定義する、請求項１または２に記載の車両運転支援装置。
【請求項４】
前記第１の偏光状態特徴量算出部は、前記第１のカメラ側で検出された前記光強度（Ｈ）および前記光強度（Ｖ）の値に前記第１の補正係数を乗じて得られた値に基づいて前記第１の偏光状態特徴量を算出し、前記第２の偏光状態特徴量算出部は、前記第２のカメラ側で検出された前記光強度（Ｈ）および前記光強度（Ｖ）の値に前記第２の補正係数を乗じて得られた値に基づいて前記第１の偏光状態特徴量を算出する、請求項３に記載の車両運転支援装置。
【請求項５】
前記キャリブレーション部は、前記第１および第２の補正係数を定期的に更新する、請求項４に記載の車両運転支援装置。
【請求項６】
前記キャリブレーション部は、所定のルールに基づいて前記路面と推定される領域に障害物がある可能性が高いと判断した場合には補正係数の更新を行わない、請求項５に記載の車両運転支援装置。
【請求項７】
前記路肩検出部が取得した前記路肩の位置情報に基づいて車両搭載装置の制御用信号を生成する制御用信号生成部をさらに含む、請求項１〜６のいずれか一項に記載の車両運転支援装置。
【請求項８】
前記車両搭載装置は、操舵制御手段、走行速度制御手段および警告手段のうちの少なくとも１つである、請求項７に記載の車両運転支援装置。
【請求項９】
請求項８に記載の車両運転支援装置を搭載する自動車。
【請求項１０】
車両が走行する道路の路肩を検出する方法であって、
前記車両の車軸方向の偏光成分の光強度（Ｈ）および該車両の高さ方向の偏光成分の光強度（Ｖ）を画素毎に検出する第１および第２のカメラを該車軸方向または該高さ方向に離間して偏光画像撮像系を構築するステップと、
前記第１のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基づいて第１の偏光状態特徴量を前記画素毎の算出するステップと、
前記第２のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基いて第２の偏光状態特徴量を前記画素毎の算出するステップと、
画像において対をなす前記第１のカメラの前記画素および前記第２のカメラの前記画素について、前記第１の偏光状態特徴量と前記第２の偏光状態特徴量の差分を求め、該差分が閾値を超える前記画素の座標情報に基づいて前記路肩の位置情報を取得するステップと、
を含む、方法。
【請求項１１】
請求項１０に記載の方法によって取得された前記路肩の位置情報に基づいて、操舵制御手段、走行速度制御手段および警告手段から選択される少なくとも１つの車両搭載装置を制御して車両の運転支援を行う方法。
【請求項１】
車両の車軸方向の偏光成分の光強度（Ｈ）および該車両の高さ方向の偏光成分の光強度（Ｖ）を画素毎に検出する第１および第２のカメラが該車軸方向または該車両の高さ方向に離間して配置してなる偏光画像撮像手段と、
前記第１のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基づいて第１の偏光状態特徴量を前記画素毎の算出する第１の偏光状態特徴量算出部と、
前記第２のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基いて第２の偏光状態特徴量を前記画素毎の算出する第２の偏光状態特徴量算出部と、
画像において対をなす前記第１のカメラの前記画素および前記第２のカメラの前記画素について、前記第１の偏光状態特徴量と前記第２の偏光状態特徴量の差分を求め、該差分が所定の閾値を超える前記画素の座標情報に基づいて道路の路肩の位置情報を取得する路肩検出部と、
を含む、
車両運転支援装置。
【請求項２】
前記偏光状態特徴量は、下記式（１）〜（４）に示すいずれか１つの算出式によって算出される、請求項１に記載の車両運転支援装置。
【数１】
（上記各式において、車両の車軸方向の偏光成分の光強度をＨとし、該車両の高さ方向の偏光成分の光強度をＶとし、偏光状態特徴量をＦとする）
【請求項３】
外乱の影響を低減するためのキャリブレーション部をさらに含み、該キャリブレーション部は、路面と推定される領域が撮像される画角に対応する所定の画素領域を補正値取得用画素領域として定義し、前記第１のカメラの前記補正値取得用画素領域について取得された前記光強度（Ｈ）および前記光強度（Ｖ）の正規値を前記第２のカメラ用の第２の補正係数として定義し、前記第２のカメラの前記補正値取得用画素領域について取得された前記光強度（Ｈ）および前記光強度（Ｖ）の正規値を前記第１のカメラ用の第１の補正係数として定義する、請求項１または２に記載の車両運転支援装置。
【請求項４】
前記第１の偏光状態特徴量算出部は、前記第１のカメラ側で検出された前記光強度（Ｈ）および前記光強度（Ｖ）の値に前記第１の補正係数を乗じて得られた値に基づいて前記第１の偏光状態特徴量を算出し、前記第２の偏光状態特徴量算出部は、前記第２のカメラ側で検出された前記光強度（Ｈ）および前記光強度（Ｖ）の値に前記第２の補正係数を乗じて得られた値に基づいて前記第１の偏光状態特徴量を算出する、請求項３に記載の車両運転支援装置。
【請求項５】
前記キャリブレーション部は、前記第１および第２の補正係数を定期的に更新する、請求項４に記載の車両運転支援装置。
【請求項６】
前記キャリブレーション部は、所定のルールに基づいて前記路面と推定される領域に障害物がある可能性が高いと判断した場合には補正係数の更新を行わない、請求項５に記載の車両運転支援装置。
【請求項７】
前記路肩検出部が取得した前記路肩の位置情報に基づいて車両搭載装置の制御用信号を生成する制御用信号生成部をさらに含む、請求項１〜６のいずれか一項に記載の車両運転支援装置。
【請求項８】
前記車両搭載装置は、操舵制御手段、走行速度制御手段および警告手段のうちの少なくとも１つである、請求項７に記載の車両運転支援装置。
【請求項９】
請求項８に記載の車両運転支援装置を搭載する自動車。
【請求項１０】
車両が走行する道路の路肩を検出する方法であって、
前記車両の車軸方向の偏光成分の光強度（Ｈ）および該車両の高さ方向の偏光成分の光強度（Ｖ）を画素毎に検出する第１および第２のカメラを該車軸方向または該高さ方向に離間して偏光画像撮像系を構築するステップと、
前記第１のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基づいて第１の偏光状態特徴量を前記画素毎の算出するステップと、
前記第２のカメラが検出した前記光強度（Ｈ）および前記光強度（Ｖ）に基いて第２の偏光状態特徴量を前記画素毎の算出するステップと、
画像において対をなす前記第１のカメラの前記画素および前記第２のカメラの前記画素について、前記第１の偏光状態特徴量と前記第２の偏光状態特徴量の差分を求め、該差分が閾値を超える前記画素の座標情報に基づいて前記路肩の位置情報を取得するステップと、
を含む、方法。
【請求項１１】
請求項１０に記載の方法によって取得された前記路肩の位置情報に基づいて、操舵制御手段、走行速度制御手段および警告手段から選択される少なくとも１つの車両搭載装置を制御して車両の運転支援を行う方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−４５２２７（Ｐ２０１３−４５２２７Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８１５１４（Ｐ２０１１−１８１５１４）
【出願日】平成２３年８月２３日（２０１１．８．２３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２３日（２０１１．８．２３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]