車両周辺監視装置
【課題】赤外線カメラにより撮影された画像に含まれる対象物から車両のみをより確実に排除してさらなる信頼性の向上を図ることが可能な車両周辺監視装置を提供する。
【解決手段】赤外線カメラによって捉えられた画像から車両の灯体と思われる熱源を第１対象物として抽出する（Ｓ４１〜Ｓ４３）。第１対象物の周囲の窓候補領域と、第１対象物との距離を比較して第１対象物との距離が所定範囲内の第２対象物を抽出する（Ｓ４４〜Ｓ４６）。そして、第２対象物の赤外線量の時間的変化を検出（Ｓ５０）し、第２対象物から発生される赤外線量の時間的変化が所定の赤外線量の条件を満たすか否かを判定し（Ｓ５１，Ｓ５２）、赤外線量の時間的変化が所定の赤外線量の条件を満たす場合に、第１対象物と前記第２対象物とを含む物体が車両であると判定する（Ｓ５３）。
【解決手段】赤外線カメラによって捉えられた画像から車両の灯体と思われる熱源を第１対象物として抽出する（Ｓ４１〜Ｓ４３）。第１対象物の周囲の窓候補領域と、第１対象物との距離を比較して第１対象物との距離が所定範囲内の第２対象物を抽出する（Ｓ４４〜Ｓ４６）。そして、第２対象物の赤外線量の時間的変化を検出（Ｓ５０）し、第２対象物から発生される赤外線量の時間的変化が所定の赤外線量の条件を満たすか否かを判定し（Ｓ５１，Ｓ５２）、赤外線量の時間的変化が所定の赤外線量の条件を満たす場合に、第１対象物と前記第２対象物とを含む物体が車両であると判定する（Ｓ５３）。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、赤外線カメラにより撮影された画像の２値化処理により対象物抽出を行う車両周辺監視装置に関するものである。
【背景技術】
【０００２】
従来、自動車等の自車両に設けられた赤外線カメラにより撮影された車両周辺の画像を２値化処理することで歩行者と思われる対象物の抽出を行い、抽出された対象物と自車両との衝突可能性が高い場合にこの情報をドライバーに報知する車両周辺監視装置が知られている。
さらに近年、２つの赤外線カメラを用いて歩行者を対象物として抽出する車両周辺監視装置において、車両のテールライトなどの灯体と思われる高輝度物体の上部に探索領域を設定し、高輝度物体と同距離の物体が探索領域内に検索されて、且つ、探索領域の平均輝度が規定値より小さい場合に、この探索領域内の物体がウィンドシールドであると判定してこの物体が車両であると判定するものが提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００３−２３０１３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の車両周辺監視装置にあっては、高輝度物体の上部周辺に低輝度物体が存在すると車両以外の物体でも車両であると誤判定してしまう虞がある。
また、車両のウィンドシールドは、一般にガラスで形成されていることから赤外線を反射し易く、空、雲および周囲の風景などを反射したときに輝度が低い部位が存在しない状況となる場合があり、車両を対象物から排除できない虞があるという課題がある。
【０００４】
この発明は、上記事情に鑑みてなされたものであり、赤外線カメラにより撮影された画像に含まれる対象物から車両のみをより確実に排除してさらなる歩行者認識の精度向上を図ることが可能な車両周辺監視装置を提供するものである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、請求項１に記載した発明は、赤外線カメラ（例えば、実施の形態における赤外線カメラ２Ｒ，２Ｌ）によって捉えられた画像から車両の特徴部と思われる熱源を第１対象物（例えば、実施の形態におけるＯＢＪ［１］，ＯＢＪ［２］）として抽出する特徴部抽出手段（例えば、実施の形態におけるステップＳ４１〜Ｓ４３）と、該第１対象物の周囲の領域（例えば、実施の形態における窓候補領域Ａ）と、前記第１対象物との距離を比較して前記第１対象物との距離が所定範囲内の第２対象物を抽出する第２対象物抽出手段（例えば、実施の形態におけるステップＳ４４〜Ｓ４６）とを備え、前記第１対象物と前記第２対象物から発生される赤外線量とを比較することで、車両判別を行う車両周辺監視装置であって、前記第２対象物の赤外線量の時間的変化を検出する赤外線量変化検出手段（例えば、実施の形態におけるステップＳ５０）と、該赤外線量変化検出手段により、前記第２対象物から発生される赤外線量の時間的変化が所定の赤外線量の条件を満たすか否かを判定する赤外線量判定手段（例えば、実施の形態におけるステップＳ５１，Ｓ５２）と、該赤外線量判定手段により赤外線量の時間的変化が所定の赤外線量の条件を満たす場合に、前記第１対象物と前記第２対象物とを含む物体が車両であると判定する車両判定手段（例えば、実施の形態におけるステップＳ５３）とを設けたことを特徴とする。
【０００６】
請求項２に記載の発明は、車両の窓への映り込みが起こりやすい外部環境であるか判定する判定手段を備えることを特徴とする。
請求項３に記載の発明は、前記外部環境が、空模様の状況であることを特徴とする。
請求項４に記載の発明は、前記外部環境が、車両の走行路近傍の物体の状況であることを特徴とする。
【発明の効果】
【０００７】
請求項１に記載した発明によれば、特徴部抽出手段により抽出された第１対象物との距離が所定範囲内の第２対象物を第２対象物抽出手段により抽出して、第２対象物の赤外線量の時間的変化が所定の赤外線量の条件の場合に、第２対象物が車両のウィンドシールドなどのガラスである可能性が高いため、第１対象物と第２対象物とを含む物体が車両であると判定することができる。
したがって、第１対象物との距離が所定範囲内のウィンドシールドが周囲の風景などが反射して赤外線量の時間的変化の幅が大きくなった場合に物体が車両であると判定したり、快晴時の空や、雲一面の空が反射して赤外線量の時間的変化がなく一様である場合に物体が車両であると判定することができるため、車両のみを確実に排除して歩行者認識の精度向上に寄与することができる効果がある。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の第１の実施の形態について説明する。
図１は、本発明の第１の実施の形態の車両周辺監視装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【０００９】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display）７ａ等を含む画像表示装置７が接続されている。
【００１０】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１１】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１２】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の車両周辺監視装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１３】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１４】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域が、それぞれ対象物（２値化対象物）１から４として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００１５】
ここで、面積Ｓは、ラベルａの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１６】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物ａ、ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物ｃ、ｄと対象物ａ、ｂとの同一性判定を行う。そして、対象物ａ、ｂと対象物ｃ、ｄとが同一であると判定されたら、対象物ｃ、ｄをそれぞれ対象物ａ、ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００１７】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００１８】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１１より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００１９】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２０】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。距離ｚを求める式は後述する。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２１】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２２】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１６）。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２３】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２４】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００２５】
ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００２６】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
【００２７】
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００２８】
以上が、本実施の形態の車両周辺監視装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００２９】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３０】
次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００３１】
更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。
なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３２】
一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。歩行者判定処理は、グレースケール画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。
また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、グレースケール画像上で、例えば車両のような対象物を人工構造物と判定し、警報の対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【００３３】
従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。
【００３４】
一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【００３５】
次に、図８に示すフローチャートを参照して、図５に示したフローチャートのステップＳ３５における人工構造物判定処理について更に詳しく説明する。図８は、本実施の形態の人工構造物判定処理動作を示すフローチャートである。
図８において、まず、画像処理ユニット１は、図３に示したフローチャートのステップＳ８において算出された２値化対象物の重心Ｇ（ｘｃ、ｙｃ）、面積Ｓ、更に対象物の外接四角形の縦横比ＡＳＰＥＣＴ、及びステップＳ１３において算出された自車両１０と対象物との距離ｚに加えて、２値化対象物の外接四角形の高さｈｂと幅ｗｂ、及び外接四角形重心座標（ｘｂ、ｙｂ）の値を利用して、実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量を算出する（ステップＳ４１）。なお、求める２値化対象物形状特徴量は、カメラの基線長Ｄ［ｍ］、カメラ焦点距離ｆ［ｍ］、画素ピッチｐ［ｍ／ｐｉｘｅｌ］、及び左右映像の相関演算によって算出される視差Δｄ［ｐｉｘｅｌ］を用いて算出する。
【００３６】
具体的には、自車両１０と対象物との距離ｚは、
ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ・・・（１）
と表されるので、実空間における２値化対象物の幅ΔＷｂや高さΔＨｂは、
ΔＷｂ＝ｗｂ×ｚ×ｐ／ｆΔＨｂ＝ｈｂ×ｚ×ｐ／ｆ ・・・（２）
２値化対象物の上端位置座標（Ｘｔ，Ｙｔ，Ｚｔ）は、
Ｘｔ＝ｘｂ×ｚ×ｐ／ｆＹｔ
＝ｙｂ×ｚ×ｐ／ｆ−ΔＨｂ／２Ｚｔ
＝ｚ ・・・（３）で算出することができる。
【００３７】
次に、図３に示したフローチャートのステップＳ７において抽出された２値化対象物の中に、ステップＳ４１において取得された２値化対象物中で、対称な位置に存在する２値化対象物を探索する（ステップＳ４２）。具体的には、図９に示すようなＯＢＪ［Ｉ］（ＩはＯＢＪを区別するための番号）の中で、以下の（４）〜（６）式に示す条件を満たす２値化対象物を、対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］と判定する。
【００３８】
条件１：（４）式を満たして距離の差分が規定値ＴＨ１より小さく、同一距離とみなせる２値化対象物。
｜Ｚｔ［Ｘ］−Ｚｔ［Ｙ］｜＜ＴＨ１ ・・・（４）
条件２：（５）式を満たして上端高さ位置の差分が規定値ＴＨ２より小さく、同一高さに存在するとみなせる２値化対象物。
｜Ｙｔ［Ｘ］−Ｙｔ［Ｙ］｜＜ＴＨ２ ・・・（５）
条件３：（６）式を満たして左右のエッジ間（左側に位置する２値化対象物の左エッジと右側に位置する２値化対象物の右エッジとの間）の最大幅が、規定の車両の幅ＴＨ３［ｍ］より大きくＴＨ４［ｍ］より小さい２値化対象物。
ＴＨ３＜｜（Ｘｔ［Ｘ］＋ΔＷｂ［Ｘ］／２）−（Ｘｔ［Ｙ］−ΔＷｂ［Ｙ］／２）｜＜ＴＨ４ ・・・（６）
但し、Ｚｔ［Ｘ］、Ｚｔ［Ｙ］は、それぞれＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の距離を示し、Ｙｔ［Ｘ］、Ｙｔ［Ｙ］は、それぞれＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の上端高さ位置を示す。また、（６）式はＯＢＪ（Ｘ）がＯＢＪ（Ｙ）の右側に存在する場合を示す。
【００３９】
そして、対称な位置に存在する２つの２値化対象物の有無を判定し（ステップＳ４３）、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、該２つの２値化対象物の上方に複数の探索領域ＭＡＳＫ［ｉ］を設定する（ステップＳ４４）。探索領域ＭＡＳＫ［ｉ］は上下２列に配列され、図９に示すように、その上下の幅Ｌが、一般的な車両のウィンドシールドの上下幅程度に設定されている。
ここで、例えば（４）〜（６）式に示す条件を満たして対称な位置に存在する２値化対象物ＯＢＪ［１］とＯＢＪ［２］とが車両のライト（ヘッドライトやテールライト等の車両灯体）であれば、上方にはウィンドシールドが存在するため、探索領域ＭＡＳＫ［ｉ］に捉えられた物体の距離は、ライトと略同一距離とみなせる（近傍の距離を示す）。また、上述の２値化対象物が歩行者であれば、頭部の上端は空間であるため、探索領域ＭＡＳＫ［ｉ］に物体が捉えられず距離は不定となる。
【００４０】
そこで、探索領域ＭＡＳＫ［ｉ］の距離ＭＡＳＫ［ｉ］＿Ｚを相関演算により算出し（ステップＳ４５）、（７）式を満たして対称な位置に存在する２値化対象物ＯＢＪ[Ｘ］、ＯＢＪ［Ｙ］のいずれか一方（本実施の形態ではＯＢＪ［Ｘ］、また図９ではＸ＝１とする）と探索領域ＭＡＳＫ［ｉ］との距離の差分が規定値ＴＨ５より小さく、探索領域ＭＡＳＫ［ｉ］に捉えられた物体が２値化対象物と同一距離であるか否かを判定する（ステップＳ４６）。
｜ＭＡＳＫ［ｉ］＿Ｚ−Ｚｔ［Ｘ］｜＜ＴＨ５ ・・・（７）
但し、規定値ＴＨ５は、ヘッドライトやテールライトとウィンドシールドまでの距離、及び視差精度を考慮した値とする。
なお、図９においては、正方形の探索領域ＭＡＳＫ［ｉ］を水平方向に沿って上下２列に配列して設定する場合を示しているが、この構成に限られるものではなく、探索領域ＭＡＳＫ［ｉ］が設定される領域や形状についてはウィンドシールドを十分に含むものであればよい。
【００４１】
次に、複数の探索領域ＭＡＳＫ［ｉ］のうち、２値化対象物ＯＢＪ[Ｘ］、ＯＢＪ［Ｙ］と略同一距離にあるとみなせる物体を捉えた探索領域ＭＡＳＫ［ｉ］のみからなる領域（図１０，図１１参照）を、ウィンドシールドが存在すると推定される窓候補領域Ａとして設定する（ステップＳ４７）。
【００４２】
そして、この窓候補領域Ａ内の水平エッジおよび垂直エッジを算出し（ステップＳ４８）、図１１に示すように、これら水平エッジおよび垂直エッジよりも車両上下方向内側で且つ左右方向内側の領域内において最大となる略矩形の領域を輝度分散演算領域Ｂとして設定する（ステップＳ４９）。これにより、輝度分散演算領域Ｂがウィンドシールドの上縁、左右側縁およびワイパーを含まないウィンドシールドのガラス部分のみが存在すると推定される位置に設定される。なお、図１０の一例では、窓候補領域Ａを構成する探索領域ＭＡＳＫ［ｉ］において水平エッジおよび垂直エッジを含むものに丸印を付している。また、車両の特徴部に成り得る対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］としては、上述した車両の灯火類以外に、排気管（例えば、ＯＢＪ［３］）、タイヤ（例えば、ＯＢＪ［４］，［５］）、ピラーなどが挙げられる。
【００４３】
次に、輝度分散演算領域Ｂの輝度分散の時間的変化幅Ｗが所定の閾値ＴＨ６より小さいか判定する（ステップＳ５１）。輝度分散演算領域Ｂにおける輝度分散の時間的変化幅Ｗが所定の閾値ＴＨ６より大きい場合（ステップＳ５１でＮＯ）対象物は車両であると判定する（ステップＳ５３）。
【００４４】
ここで、時間的変化幅Ｗとは、現在から過去に赤外線カメラ２Ｒ，２Ｌにて撮影した所定枚数の赤外線画像Ｆｌａｍｅ［ｔ］（ｔ＝１〜ｎ）に含まれる輝度分散演算領域Ｂの輝度分散Ｖａｒ［ｔ］（ｔ＝１〜ｎ）の変化であり、つまり時間的変化幅Ｗは、輝度分散の最小値である最小輝度分散Ｍｉｎ＿Ｖａｒと輝度分散の最大値である最大輝度分散Ｍａｘ＿Ｖａｒとの差分として求められる。
Ｍａｘ＿Ｖａｒ−Ｍｉｎ＿Ｖａｒ＜ＴＨ６ ・・・（８）
そして、一般に、周囲の風景の赤外線が走行中の車両１０のウィンドシールドで反射される場合、ウィンドシールドの輝度分散の時間的変化幅Ｗが大きくなる傾向があるため、閾値ＴＨ６は、周囲の風景の反射による輝度分散の時間的変化幅Ｗであると分かる程度の比較的大きい輝度分散に設定される。
【００４５】
ステップＳ５１によって輝度分散演算領域Ｂにおける輝度分散の時間的変化が閾値ＴＨ６よりも小さいと判定された場合（ステップＳ５１でＹＥＳ）、輝度分散演算領域Ｂの輝度分散の時間的変化が一様か否かを判定する（ステップＳ５２）。輝度分散演算領域Ｂの輝度分散の時間的変化が一様である場合（ステップＳ５２でＹＥＳ）、対象物は車両であると判定（ステップＳ５３）し、一様でない場合（ステップＳ５２でＮＯ）、対象物は車両ではないと判定する（ステップＳ５４）。ここで、輝度分散演算領域Ｂにおける輝度分散の時間的変化が一様であるか否かの判定は、例えば、赤外線画像Ｆｌａｍｅ［ｔ］（ｔ＝１〜ｎ）において、全ての輝度分散Ｖａｒ［ｔ］（ｔ＝１〜ｎ）が所定の閾値ＴＨ７よりも小さい場合に輝度分散演算領域Ｂの輝度分散の時間的変化が一様であると判定することができる。
ＴＨ７＞Ｖａｒ［ｔ］ ・・・（９）
【００４６】
なお、上述のステップＳ４３において、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、ステップＳ４７において探索領域ＭＡＳＫ１にウィンドシールドが含まれているか否かを判定せずに、対称な２値化対象物を含む物体を車両と認識しても良い。
また、２値化対象物から削除したい車両の形状に合わせて、探索領域の大きさや位置を任意に調整できるようにしても良い。
更に、図９に示すＯＢＪ［４］、ＯＢＪ［５］の位置に、連続走行時間の少ないタイヤ等の平均輝度値の低い物体を探索するようにしても良い。
【００４７】
なお、本実施の形態では、画像処理ユニット１が、特徴部抽出手段と、第２対象物距離対象物抽出手段とを含んでいる。より具体的には、図３のＳ１〜Ｓ１３、及び図８のＳ４１〜Ｓ４３が特徴部抽出手段に相当し、図８のＳ４４〜Ｓ４６が第２対象物抽出手段に相当し、図８のステップＳ５０が赤外線量変化検出手段に相当する。また、図８のステップＳ５１，５２が赤外線量判定手段に相当し、図８のＳ５３が車両判定手段に相当する。
【００４８】
以上説明したように、本実施の形態の車両周辺監視装置は、赤外線カメラ２Ｌ，２Ｒにより撮影された画像のグレースケール画像から、２値化処理により２値化対象物ＯＢＪ［ｉ］を抽出する。そして、取得された２値化対象物中に、対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］が存在する場合、対称な位置に存在する２つの２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の上方に設定した輝度分散演算領域Ｂの輝度分散の時間的変化に基づいて、周囲の風景が反射したり、快晴時の空や個も一面の空が反射したウィンドシールドの存在を確認し、このウィンドシールドが存在する場合に２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］を含めて、この物体は車両であると認識する。
【００４９】
これにより、車両構造物における熱を発する物体とウィンドシールドの輝度分散の時間的変化の条件を満たした物体との組み合わせを用いて、比較的簡単な手順で、赤外線カメラ２Ｌ，２Ｒで捉えられた対象物から歩行者とは明らかに異なる特徴を持つ車両を予め除外し、歩行者認識の精度を向上させることができる。
【００５０】
なお、上述した第１の実施の形態の車両周辺監視装置においては、赤外線カメラ２Ｌ，２Ｒを備えるステレオ映像に基づいて探索領域ＭＡＳＫ［ｉ］と、それぞれ対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］との相対的な距離を算出する場合について説明したが、この構成に限られず、例えば他の態様として、一つの赤外線カメラを用いるいわゆる単眼映像より相対的な距離を算出するようにしても良い。この単眼映像により相対的な距離を算出する方法は、過去の映像の２値化対象物と、所定時間経過後の映像の２値化対象物との同一性判定を行うと共に、その２値化対象物の周囲の背景の変化に基づいて２値化対象物と周囲との相対的な位置関係を算出するというものである（例えば、特開２００８−１１３２９６号公報）。
【００５１】
また、上述した第１の実施の形態では、車両のウィンドシールドと推定される物体を抽出する一例を説明したが、灯体など対称な位置に存在する２値化対象物の上方に存在して赤外線を反射し易い物体としては、例えば、タンクローリーのタンクなどがあり、この場合も物体を車両と判定することができる。
【００５２】
次に、この発明の第２の実施の形態について、図１２のフローチャートを参照しながら説明する。なお、この第２の実施の形態は、上述した第１の実施の形態の構成に、ウィンドシールドへの映りこみが起こりやすい状況か予測する手段を追加したものであり、同一ステップに同一符号を付して重複部分の詳細な説明を省略する。
ここで、ウィンドシールドへの映りこみとは、何らかの物体がウィンドシールドのガラスに部分的に比較的短時間映り込む状況であり、このような状況においては、時間的な輝度分散の変化が大きくなる。そして、この状況が起こりやすい外部環境としては、走行路近傍の物体として比較的車両近傍に背の高い物体として、例えば、電柱、建物および樹木などの物体が、それぞれ十分に離間して存在している状況や、空模様がまだらで雲が一様ではない状況などがある。そして、上記の時間的変化が大きい場合としては、例えば、車両が林の中の走行路を駆け抜ける場合などがある。
【００５３】
まず、図８のフローチャートと同様に、ステップＳ４１〜Ｓ４９を行う。
次いで、車両の外部環境を検出する（ステップＳ６０）。ここで、外部環境の検出は、車両の外界を撮像するカメラにより検出したり、路車間通信などによる天気情報を取得することで検出するようにしても良い。
輝度分散演算領域内Ｂにウィンドシールドが存在する場合に、ウィンドシールドへの映りこみ可能性が高い外部環境か否かを判定する（ステップＳ６１）。
映り込み可能性が高い外部環境である場合（ステップＳ６０でＹＥＳ）は、輝度分散演算領域内Ｂの輝度分散の時間的変化を検出する（ステップＳ５０）。なお、上述したステップＳ６０〜Ｓ６１の処理が車両の窓への映り込みが起こりやすい外部環境であるか判定する判定手段に相当する。
【００５４】
そして、ステップＳ５１によって輝度分散演算領域Ｂにおける輝度分散の時間的変化が閾値ＴＨ６よりも小さいと判定された場合（ステップＳ５１でＹＥＳ）、対象物は車両ではないと判定し（ステップＳ５４）、輝度分散演算領域Ｂにおける輝度分散の時間的変化が閾値ＴＨ６以上と判定された場合（ステップＳ５１でＮＯ）、すなわち実際に輝度分散の時間的変化が大きいと判定された場合に、対象物は車両であると判定（ステップＳ５３）する。
【００５５】
一方、ウィンドシールドへの映り込み可能性が高い外部環境ではない場合（ステップＳ６１でＮＯ）、例えば、走行路近傍に比較的背の高い物体が検出されなかったり、空模様として一様となる、快晴であったり、雲一面の曇りや雨などの天候が検出された場合には、実際に輝度分散演算領域Ｂにおける輝度分散の時間的変化が一様か否か判定を行う（ステップＳ５２）。輝度分散演算領域Ｂにおける輝度分散の時間的変化が一様ではないと判定された場合（ステップＳ５２でＮＯ）、対象物は車両ではないと判定（ステップＳ５４）し、輝度分散演算領域Ｂにおける輝度分散の時間的変化が一様であると判定された場合（ステップＳ５２でＹＥＳ）、対象物は車両であると判定（ステップＳ５３）する。なお、輝度分散演算領域Ｂの時間的変化が一様であるか否かの判定は、上述した（９）式に基づいて判定する。
なお、ステップＳ５０の時間的変化の検出をする際の判定時間ついては、第２対象物であるウィンドシールドと走行路近傍の物体あるいは空模様との距離などの相関に基づいて変更するようにしても良い。
【００５６】
したがって、上述した第２の実施の形態によれば、第２対象物であるウィンドシールドへの映りこみ可能性を外部環境に基づいて判定し、映り込み可能性が高い場合には輝度分散演算領域Ｂの輝度分散の時間的変化が大きくなると予測されるので、実際に輝度分散の時間的変化が閾値ＴＨ６以上か判定して閾値ＴＨ６以上である場合に対象物を車両と判定し、また、映りこみ可能性が低い場合には輝度分散演算領域Ｂの輝度分散の時間的変化が一様になると予測されるので、実際に輝度分散の時間的変化が一様か判定して一様である場合に対象物を車両と判定することができるため、輝度分散の時間的変化だけに基づいて対象物を車両か否か判定する場合よりも映りこみ可能性を判定する分だけ判定精度を向上することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１の実施の形態の車両周辺監視装置の構成を示すブロック図である。
【図２】車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】第１の実施の形態の車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。
【図４】赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】第１の実施の形態の警報判定処理動作を示すフローチャートである。
【図６】衝突が発生しやすい場合を示す図である。
【図７】車両前方の領域区分を示す図である。
【図８】第１の実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図９】第１の実施の形態の探索領域の設定処理について示す図である。
【図１０】第１の実施の形態のエッジ抽出の処理について示す図である。
【図１１】第１の実施の形態の窓候補領域および輝度分散演算領域Ｂについて示す図である。
【図１２】第２の実施の形態の人工構造物判定処理動作を示すフローチャートである。
【符号の説明】
【００５８】
１ 画像処理ユニット
２Ｒ，２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ４１〜Ｓ４３ 特徴部抽出手段
Ｓ４４〜Ｓ４６ 第２対象物抽出手段
Ｓ５０ 赤外線量変化検出手段
Ｓ５１，Ｓ５２ 赤外線量判定手段
Ｓ５３ 車両判定手段
Ｓ６０〜Ｓ６１ 判定手段
【技術分野】
【０００１】
この発明は、赤外線カメラにより撮影された画像の２値化処理により対象物抽出を行う車両周辺監視装置に関するものである。
【背景技術】
【０００２】
従来、自動車等の自車両に設けられた赤外線カメラにより撮影された車両周辺の画像を２値化処理することで歩行者と思われる対象物の抽出を行い、抽出された対象物と自車両との衝突可能性が高い場合にこの情報をドライバーに報知する車両周辺監視装置が知られている。
さらに近年、２つの赤外線カメラを用いて歩行者を対象物として抽出する車両周辺監視装置において、車両のテールライトなどの灯体と思われる高輝度物体の上部に探索領域を設定し、高輝度物体と同距離の物体が探索領域内に検索されて、且つ、探索領域の平均輝度が規定値より小さい場合に、この探索領域内の物体がウィンドシールドであると判定してこの物体が車両であると判定するものが提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００３−２３０１３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の車両周辺監視装置にあっては、高輝度物体の上部周辺に低輝度物体が存在すると車両以外の物体でも車両であると誤判定してしまう虞がある。
また、車両のウィンドシールドは、一般にガラスで形成されていることから赤外線を反射し易く、空、雲および周囲の風景などを反射したときに輝度が低い部位が存在しない状況となる場合があり、車両を対象物から排除できない虞があるという課題がある。
【０００４】
この発明は、上記事情に鑑みてなされたものであり、赤外線カメラにより撮影された画像に含まれる対象物から車両のみをより確実に排除してさらなる歩行者認識の精度向上を図ることが可能な車両周辺監視装置を提供するものである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、請求項１に記載した発明は、赤外線カメラ（例えば、実施の形態における赤外線カメラ２Ｒ，２Ｌ）によって捉えられた画像から車両の特徴部と思われる熱源を第１対象物（例えば、実施の形態におけるＯＢＪ［１］，ＯＢＪ［２］）として抽出する特徴部抽出手段（例えば、実施の形態におけるステップＳ４１〜Ｓ４３）と、該第１対象物の周囲の領域（例えば、実施の形態における窓候補領域Ａ）と、前記第１対象物との距離を比較して前記第１対象物との距離が所定範囲内の第２対象物を抽出する第２対象物抽出手段（例えば、実施の形態におけるステップＳ４４〜Ｓ４６）とを備え、前記第１対象物と前記第２対象物から発生される赤外線量とを比較することで、車両判別を行う車両周辺監視装置であって、前記第２対象物の赤外線量の時間的変化を検出する赤外線量変化検出手段（例えば、実施の形態におけるステップＳ５０）と、該赤外線量変化検出手段により、前記第２対象物から発生される赤外線量の時間的変化が所定の赤外線量の条件を満たすか否かを判定する赤外線量判定手段（例えば、実施の形態におけるステップＳ５１，Ｓ５２）と、該赤外線量判定手段により赤外線量の時間的変化が所定の赤外線量の条件を満たす場合に、前記第１対象物と前記第２対象物とを含む物体が車両であると判定する車両判定手段（例えば、実施の形態におけるステップＳ５３）とを設けたことを特徴とする。
【０００６】
請求項２に記載の発明は、車両の窓への映り込みが起こりやすい外部環境であるか判定する判定手段を備えることを特徴とする。
請求項３に記載の発明は、前記外部環境が、空模様の状況であることを特徴とする。
請求項４に記載の発明は、前記外部環境が、車両の走行路近傍の物体の状況であることを特徴とする。
【発明の効果】
【０００７】
請求項１に記載した発明によれば、特徴部抽出手段により抽出された第１対象物との距離が所定範囲内の第２対象物を第２対象物抽出手段により抽出して、第２対象物の赤外線量の時間的変化が所定の赤外線量の条件の場合に、第２対象物が車両のウィンドシールドなどのガラスである可能性が高いため、第１対象物と第２対象物とを含む物体が車両であると判定することができる。
したがって、第１対象物との距離が所定範囲内のウィンドシールドが周囲の風景などが反射して赤外線量の時間的変化の幅が大きくなった場合に物体が車両であると判定したり、快晴時の空や、雲一面の空が反射して赤外線量の時間的変化がなく一様である場合に物体が車両であると判定することができるため、車両のみを確実に排除して歩行者認識の精度向上に寄与することができる効果がある。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の第１の実施の形態について説明する。
図１は、本発明の第１の実施の形態の車両周辺監視装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【０００９】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display）７ａ等を含む画像表示装置７が接続されている。
【００１０】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１１】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１２】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の車両周辺監視装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１３】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１４】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域が、それぞれ対象物（２値化対象物）１から４として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００１５】
ここで、面積Ｓは、ラベルａの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１６】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物ａ、ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物ｃ、ｄと対象物ａ、ｂとの同一性判定を行う。そして、対象物ａ、ｂと対象物ｃ、ｄとが同一であると判定されたら、対象物ｃ、ｄをそれぞれ対象物ａ、ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００１７】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００１８】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１１より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００１９】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２０】
ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。距離ｚを求める式は後述する。
次に、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２１】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２２】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１６）。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２３】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２４】
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。
【００２５】
ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００２６】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
【００２７】
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００２８】
以上が、本実施の形態の車両周辺監視装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳しく説明する。
図５は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００２９】
図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００３０】
次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００３１】
更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。
なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００３２】
一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。歩行者判定処理は、グレースケール画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。
また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。人工構造物判定処理は、グレースケール画像上で、例えば車両のような対象物を人工構造物と判定し、警報の対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【００３３】
従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。
【００３４】
一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【００３５】
次に、図８に示すフローチャートを参照して、図５に示したフローチャートのステップＳ３５における人工構造物判定処理について更に詳しく説明する。図８は、本実施の形態の人工構造物判定処理動作を示すフローチャートである。
図８において、まず、画像処理ユニット１は、図３に示したフローチャートのステップＳ８において算出された２値化対象物の重心Ｇ（ｘｃ、ｙｃ）、面積Ｓ、更に対象物の外接四角形の縦横比ＡＳＰＥＣＴ、及びステップＳ１３において算出された自車両１０と対象物との距離ｚに加えて、２値化対象物の外接四角形の高さｈｂと幅ｗｂ、及び外接四角形重心座標（ｘｂ、ｙｂ）の値を利用して、実空間での２値化対象物の形状の特徴を示す２値化対象物形状特徴量を算出する（ステップＳ４１）。なお、求める２値化対象物形状特徴量は、カメラの基線長Ｄ［ｍ］、カメラ焦点距離ｆ［ｍ］、画素ピッチｐ［ｍ／ｐｉｘｅｌ］、及び左右映像の相関演算によって算出される視差Δｄ［ｐｉｘｅｌ］を用いて算出する。
【００３６】
具体的には、自車両１０と対象物との距離ｚは、
ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ・・・（１）
と表されるので、実空間における２値化対象物の幅ΔＷｂや高さΔＨｂは、
ΔＷｂ＝ｗｂ×ｚ×ｐ／ｆΔＨｂ＝ｈｂ×ｚ×ｐ／ｆ ・・・（２）
２値化対象物の上端位置座標（Ｘｔ，Ｙｔ，Ｚｔ）は、
Ｘｔ＝ｘｂ×ｚ×ｐ／ｆＹｔ
＝ｙｂ×ｚ×ｐ／ｆ−ΔＨｂ／２Ｚｔ
＝ｚ ・・・（３）で算出することができる。
【００３７】
次に、図３に示したフローチャートのステップＳ７において抽出された２値化対象物の中に、ステップＳ４１において取得された２値化対象物中で、対称な位置に存在する２値化対象物を探索する（ステップＳ４２）。具体的には、図９に示すようなＯＢＪ［Ｉ］（ＩはＯＢＪを区別するための番号）の中で、以下の（４）〜（６）式に示す条件を満たす２値化対象物を、対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］と判定する。
【００３８】
条件１：（４）式を満たして距離の差分が規定値ＴＨ１より小さく、同一距離とみなせる２値化対象物。
｜Ｚｔ［Ｘ］−Ｚｔ［Ｙ］｜＜ＴＨ１ ・・・（４）
条件２：（５）式を満たして上端高さ位置の差分が規定値ＴＨ２より小さく、同一高さに存在するとみなせる２値化対象物。
｜Ｙｔ［Ｘ］−Ｙｔ［Ｙ］｜＜ＴＨ２ ・・・（５）
条件３：（６）式を満たして左右のエッジ間（左側に位置する２値化対象物の左エッジと右側に位置する２値化対象物の右エッジとの間）の最大幅が、規定の車両の幅ＴＨ３［ｍ］より大きくＴＨ４［ｍ］より小さい２値化対象物。
ＴＨ３＜｜（Ｘｔ［Ｘ］＋ΔＷｂ［Ｘ］／２）−（Ｘｔ［Ｙ］−ΔＷｂ［Ｙ］／２）｜＜ＴＨ４ ・・・（６）
但し、Ｚｔ［Ｘ］、Ｚｔ［Ｙ］は、それぞれＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の距離を示し、Ｙｔ［Ｘ］、Ｙｔ［Ｙ］は、それぞれＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の上端高さ位置を示す。また、（６）式はＯＢＪ（Ｘ）がＯＢＪ（Ｙ）の右側に存在する場合を示す。
【００３９】
そして、対称な位置に存在する２つの２値化対象物の有無を判定し（ステップＳ４３）、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、該２つの２値化対象物の上方に複数の探索領域ＭＡＳＫ［ｉ］を設定する（ステップＳ４４）。探索領域ＭＡＳＫ［ｉ］は上下２列に配列され、図９に示すように、その上下の幅Ｌが、一般的な車両のウィンドシールドの上下幅程度に設定されている。
ここで、例えば（４）〜（６）式に示す条件を満たして対称な位置に存在する２値化対象物ＯＢＪ［１］とＯＢＪ［２］とが車両のライト（ヘッドライトやテールライト等の車両灯体）であれば、上方にはウィンドシールドが存在するため、探索領域ＭＡＳＫ［ｉ］に捉えられた物体の距離は、ライトと略同一距離とみなせる（近傍の距離を示す）。また、上述の２値化対象物が歩行者であれば、頭部の上端は空間であるため、探索領域ＭＡＳＫ［ｉ］に物体が捉えられず距離は不定となる。
【００４０】
そこで、探索領域ＭＡＳＫ［ｉ］の距離ＭＡＳＫ［ｉ］＿Ｚを相関演算により算出し（ステップＳ４５）、（７）式を満たして対称な位置に存在する２値化対象物ＯＢＪ[Ｘ］、ＯＢＪ［Ｙ］のいずれか一方（本実施の形態ではＯＢＪ［Ｘ］、また図９ではＸ＝１とする）と探索領域ＭＡＳＫ［ｉ］との距離の差分が規定値ＴＨ５より小さく、探索領域ＭＡＳＫ［ｉ］に捉えられた物体が２値化対象物と同一距離であるか否かを判定する（ステップＳ４６）。
｜ＭＡＳＫ［ｉ］＿Ｚ−Ｚｔ［Ｘ］｜＜ＴＨ５ ・・・（７）
但し、規定値ＴＨ５は、ヘッドライトやテールライトとウィンドシールドまでの距離、及び視差精度を考慮した値とする。
なお、図９においては、正方形の探索領域ＭＡＳＫ［ｉ］を水平方向に沿って上下２列に配列して設定する場合を示しているが、この構成に限られるものではなく、探索領域ＭＡＳＫ［ｉ］が設定される領域や形状についてはウィンドシールドを十分に含むものであればよい。
【００４１】
次に、複数の探索領域ＭＡＳＫ［ｉ］のうち、２値化対象物ＯＢＪ[Ｘ］、ＯＢＪ［Ｙ］と略同一距離にあるとみなせる物体を捉えた探索領域ＭＡＳＫ［ｉ］のみからなる領域（図１０，図１１参照）を、ウィンドシールドが存在すると推定される窓候補領域Ａとして設定する（ステップＳ４７）。
【００４２】
そして、この窓候補領域Ａ内の水平エッジおよび垂直エッジを算出し（ステップＳ４８）、図１１に示すように、これら水平エッジおよび垂直エッジよりも車両上下方向内側で且つ左右方向内側の領域内において最大となる略矩形の領域を輝度分散演算領域Ｂとして設定する（ステップＳ４９）。これにより、輝度分散演算領域Ｂがウィンドシールドの上縁、左右側縁およびワイパーを含まないウィンドシールドのガラス部分のみが存在すると推定される位置に設定される。なお、図１０の一例では、窓候補領域Ａを構成する探索領域ＭＡＳＫ［ｉ］において水平エッジおよび垂直エッジを含むものに丸印を付している。また、車両の特徴部に成り得る対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］としては、上述した車両の灯火類以外に、排気管（例えば、ＯＢＪ［３］）、タイヤ（例えば、ＯＢＪ［４］，［５］）、ピラーなどが挙げられる。
【００４３】
次に、輝度分散演算領域Ｂの輝度分散の時間的変化幅Ｗが所定の閾値ＴＨ６より小さいか判定する（ステップＳ５１）。輝度分散演算領域Ｂにおける輝度分散の時間的変化幅Ｗが所定の閾値ＴＨ６より大きい場合（ステップＳ５１でＮＯ）対象物は車両であると判定する（ステップＳ５３）。
【００４４】
ここで、時間的変化幅Ｗとは、現在から過去に赤外線カメラ２Ｒ，２Ｌにて撮影した所定枚数の赤外線画像Ｆｌａｍｅ［ｔ］（ｔ＝１〜ｎ）に含まれる輝度分散演算領域Ｂの輝度分散Ｖａｒ［ｔ］（ｔ＝１〜ｎ）の変化であり、つまり時間的変化幅Ｗは、輝度分散の最小値である最小輝度分散Ｍｉｎ＿Ｖａｒと輝度分散の最大値である最大輝度分散Ｍａｘ＿Ｖａｒとの差分として求められる。
Ｍａｘ＿Ｖａｒ−Ｍｉｎ＿Ｖａｒ＜ＴＨ６ ・・・（８）
そして、一般に、周囲の風景の赤外線が走行中の車両１０のウィンドシールドで反射される場合、ウィンドシールドの輝度分散の時間的変化幅Ｗが大きくなる傾向があるため、閾値ＴＨ６は、周囲の風景の反射による輝度分散の時間的変化幅Ｗであると分かる程度の比較的大きい輝度分散に設定される。
【００４５】
ステップＳ５１によって輝度分散演算領域Ｂにおける輝度分散の時間的変化が閾値ＴＨ６よりも小さいと判定された場合（ステップＳ５１でＹＥＳ）、輝度分散演算領域Ｂの輝度分散の時間的変化が一様か否かを判定する（ステップＳ５２）。輝度分散演算領域Ｂの輝度分散の時間的変化が一様である場合（ステップＳ５２でＹＥＳ）、対象物は車両であると判定（ステップＳ５３）し、一様でない場合（ステップＳ５２でＮＯ）、対象物は車両ではないと判定する（ステップＳ５４）。ここで、輝度分散演算領域Ｂにおける輝度分散の時間的変化が一様であるか否かの判定は、例えば、赤外線画像Ｆｌａｍｅ［ｔ］（ｔ＝１〜ｎ）において、全ての輝度分散Ｖａｒ［ｔ］（ｔ＝１〜ｎ）が所定の閾値ＴＨ７よりも小さい場合に輝度分散演算領域Ｂの輝度分散の時間的変化が一様であると判定することができる。
ＴＨ７＞Ｖａｒ［ｔ］ ・・・（９）
【００４６】
なお、上述のステップＳ４３において、（４）〜（６）式に示す条件を満たして対称な位置に存在する２つの２値化対象物があった場合（ステップＳ４３のＹＥＳ）、ステップＳ４７において探索領域ＭＡＳＫ１にウィンドシールドが含まれているか否かを判定せずに、対称な２値化対象物を含む物体を車両と認識しても良い。
また、２値化対象物から削除したい車両の形状に合わせて、探索領域の大きさや位置を任意に調整できるようにしても良い。
更に、図９に示すＯＢＪ［４］、ＯＢＪ［５］の位置に、連続走行時間の少ないタイヤ等の平均輝度値の低い物体を探索するようにしても良い。
【００４７】
なお、本実施の形態では、画像処理ユニット１が、特徴部抽出手段と、第２対象物距離対象物抽出手段とを含んでいる。より具体的には、図３のＳ１〜Ｓ１３、及び図８のＳ４１〜Ｓ４３が特徴部抽出手段に相当し、図８のＳ４４〜Ｓ４６が第２対象物抽出手段に相当し、図８のステップＳ５０が赤外線量変化検出手段に相当する。また、図８のステップＳ５１，５２が赤外線量判定手段に相当し、図８のＳ５３が車両判定手段に相当する。
【００４８】
以上説明したように、本実施の形態の車両周辺監視装置は、赤外線カメラ２Ｌ，２Ｒにより撮影された画像のグレースケール画像から、２値化処理により２値化対象物ＯＢＪ［ｉ］を抽出する。そして、取得された２値化対象物中に、対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］が存在する場合、対称な位置に存在する２つの２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］の上方に設定した輝度分散演算領域Ｂの輝度分散の時間的変化に基づいて、周囲の風景が反射したり、快晴時の空や個も一面の空が反射したウィンドシールドの存在を確認し、このウィンドシールドが存在する場合に２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］を含めて、この物体は車両であると認識する。
【００４９】
これにより、車両構造物における熱を発する物体とウィンドシールドの輝度分散の時間的変化の条件を満たした物体との組み合わせを用いて、比較的簡単な手順で、赤外線カメラ２Ｌ，２Ｒで捉えられた対象物から歩行者とは明らかに異なる特徴を持つ車両を予め除外し、歩行者認識の精度を向上させることができる。
【００５０】
なお、上述した第１の実施の形態の車両周辺監視装置においては、赤外線カメラ２Ｌ，２Ｒを備えるステレオ映像に基づいて探索領域ＭＡＳＫ［ｉ］と、それぞれ対称な位置に存在する２値化対象物ＯＢＪ［Ｘ］、ＯＢＪ［Ｙ］との相対的な距離を算出する場合について説明したが、この構成に限られず、例えば他の態様として、一つの赤外線カメラを用いるいわゆる単眼映像より相対的な距離を算出するようにしても良い。この単眼映像により相対的な距離を算出する方法は、過去の映像の２値化対象物と、所定時間経過後の映像の２値化対象物との同一性判定を行うと共に、その２値化対象物の周囲の背景の変化に基づいて２値化対象物と周囲との相対的な位置関係を算出するというものである（例えば、特開２００８−１１３２９６号公報）。
【００５１】
また、上述した第１の実施の形態では、車両のウィンドシールドと推定される物体を抽出する一例を説明したが、灯体など対称な位置に存在する２値化対象物の上方に存在して赤外線を反射し易い物体としては、例えば、タンクローリーのタンクなどがあり、この場合も物体を車両と判定することができる。
【００５２】
次に、この発明の第２の実施の形態について、図１２のフローチャートを参照しながら説明する。なお、この第２の実施の形態は、上述した第１の実施の形態の構成に、ウィンドシールドへの映りこみが起こりやすい状況か予測する手段を追加したものであり、同一ステップに同一符号を付して重複部分の詳細な説明を省略する。
ここで、ウィンドシールドへの映りこみとは、何らかの物体がウィンドシールドのガラスに部分的に比較的短時間映り込む状況であり、このような状況においては、時間的な輝度分散の変化が大きくなる。そして、この状況が起こりやすい外部環境としては、走行路近傍の物体として比較的車両近傍に背の高い物体として、例えば、電柱、建物および樹木などの物体が、それぞれ十分に離間して存在している状況や、空模様がまだらで雲が一様ではない状況などがある。そして、上記の時間的変化が大きい場合としては、例えば、車両が林の中の走行路を駆け抜ける場合などがある。
【００５３】
まず、図８のフローチャートと同様に、ステップＳ４１〜Ｓ４９を行う。
次いで、車両の外部環境を検出する（ステップＳ６０）。ここで、外部環境の検出は、車両の外界を撮像するカメラにより検出したり、路車間通信などによる天気情報を取得することで検出するようにしても良い。
輝度分散演算領域内Ｂにウィンドシールドが存在する場合に、ウィンドシールドへの映りこみ可能性が高い外部環境か否かを判定する（ステップＳ６１）。
映り込み可能性が高い外部環境である場合（ステップＳ６０でＹＥＳ）は、輝度分散演算領域内Ｂの輝度分散の時間的変化を検出する（ステップＳ５０）。なお、上述したステップＳ６０〜Ｓ６１の処理が車両の窓への映り込みが起こりやすい外部環境であるか判定する判定手段に相当する。
【００５４】
そして、ステップＳ５１によって輝度分散演算領域Ｂにおける輝度分散の時間的変化が閾値ＴＨ６よりも小さいと判定された場合（ステップＳ５１でＹＥＳ）、対象物は車両ではないと判定し（ステップＳ５４）、輝度分散演算領域Ｂにおける輝度分散の時間的変化が閾値ＴＨ６以上と判定された場合（ステップＳ５１でＮＯ）、すなわち実際に輝度分散の時間的変化が大きいと判定された場合に、対象物は車両であると判定（ステップＳ５３）する。
【００５５】
一方、ウィンドシールドへの映り込み可能性が高い外部環境ではない場合（ステップＳ６１でＮＯ）、例えば、走行路近傍に比較的背の高い物体が検出されなかったり、空模様として一様となる、快晴であったり、雲一面の曇りや雨などの天候が検出された場合には、実際に輝度分散演算領域Ｂにおける輝度分散の時間的変化が一様か否か判定を行う（ステップＳ５２）。輝度分散演算領域Ｂにおける輝度分散の時間的変化が一様ではないと判定された場合（ステップＳ５２でＮＯ）、対象物は車両ではないと判定（ステップＳ５４）し、輝度分散演算領域Ｂにおける輝度分散の時間的変化が一様であると判定された場合（ステップＳ５２でＹＥＳ）、対象物は車両であると判定（ステップＳ５３）する。なお、輝度分散演算領域Ｂの時間的変化が一様であるか否かの判定は、上述した（９）式に基づいて判定する。
なお、ステップＳ５０の時間的変化の検出をする際の判定時間ついては、第２対象物であるウィンドシールドと走行路近傍の物体あるいは空模様との距離などの相関に基づいて変更するようにしても良い。
【００５６】
したがって、上述した第２の実施の形態によれば、第２対象物であるウィンドシールドへの映りこみ可能性を外部環境に基づいて判定し、映り込み可能性が高い場合には輝度分散演算領域Ｂの輝度分散の時間的変化が大きくなると予測されるので、実際に輝度分散の時間的変化が閾値ＴＨ６以上か判定して閾値ＴＨ６以上である場合に対象物を車両と判定し、また、映りこみ可能性が低い場合には輝度分散演算領域Ｂの輝度分散の時間的変化が一様になると予測されるので、実際に輝度分散の時間的変化が一様か判定して一様である場合に対象物を車両と判定することができるため、輝度分散の時間的変化だけに基づいて対象物を車両か否か判定する場合よりも映りこみ可能性を判定する分だけ判定精度を向上することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１の実施の形態の車両周辺監視装置の構成を示すブロック図である。
【図２】車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】第１の実施の形態の車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。
【図４】赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】第１の実施の形態の警報判定処理動作を示すフローチャートである。
【図６】衝突が発生しやすい場合を示す図である。
【図７】車両前方の領域区分を示す図である。
【図８】第１の実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図９】第１の実施の形態の探索領域の設定処理について示す図である。
【図１０】第１の実施の形態のエッジ抽出の処理について示す図である。
【図１１】第１の実施の形態の窓候補領域および輝度分散演算領域Ｂについて示す図である。
【図１２】第２の実施の形態の人工構造物判定処理動作を示すフローチャートである。
【符号の説明】
【００５８】
１ 画像処理ユニット
２Ｒ，２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ４１〜Ｓ４３ 特徴部抽出手段
Ｓ４４〜Ｓ４６ 第２対象物抽出手段
Ｓ５０ 赤外線量変化検出手段
Ｓ５１，Ｓ５２ 赤外線量判定手段
Ｓ５３ 車両判定手段
Ｓ６０〜Ｓ６１ 判定手段
【特許請求の範囲】
【請求項１】
赤外線カメラによって捉えられた画像から車両の特徴部と思われる熱源を第１対象物として抽出する特徴部抽出手段と、
該第１対象物の周囲の領域と、前記第１対象物との距離を比較して前記第１対象物との距離が所定範囲内の第２対象物を抽出する第２対象物抽出手段とを備え、
前記第１対象物と前記第２対象物から発生される赤外線量とを比較することで、車両判別を行う車両周辺監視装置であって、
前記第２対象物の赤外線量の時間的変化を検出する赤外線量変化検出手段と、
該赤外線量変化検出手段により、前記第２対象物から発生される赤外線量の時間的変化が所定の赤外線量の条件を満たすか否かを判定する赤外線量判定手段と、前記第１対象物と前記第２対象物とを含む物体が車両であると判定する車両判定手段とを設けたことを特徴とする車両周辺監視装置。
【請求項２】
車両の窓への映り込みが起こりやすい外部環境であるか判定する判定手段を備えることを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
前記外部環境は、空模様の状況であることを特徴とする請求項２に記載の車両周辺監視装置。
【請求項４】
前記外部環境は、車両の走行路近傍の物体の状況であることを特徴とする請求項２に記載の車両周辺監視装置。
【請求項１】
赤外線カメラによって捉えられた画像から車両の特徴部と思われる熱源を第１対象物として抽出する特徴部抽出手段と、
該第１対象物の周囲の領域と、前記第１対象物との距離を比較して前記第１対象物との距離が所定範囲内の第２対象物を抽出する第２対象物抽出手段とを備え、
前記第１対象物と前記第２対象物から発生される赤外線量とを比較することで、車両判別を行う車両周辺監視装置であって、
前記第２対象物の赤外線量の時間的変化を検出する赤外線量変化検出手段と、
該赤外線量変化検出手段により、前記第２対象物から発生される赤外線量の時間的変化が所定の赤外線量の条件を満たすか否かを判定する赤外線量判定手段と、前記第１対象物と前記第２対象物とを含む物体が車両であると判定する車両判定手段とを設けたことを特徴とする車両周辺監視装置。
【請求項２】
車両の窓への映り込みが起こりやすい外部環境であるか判定する判定手段を備えることを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
前記外部環境は、空模様の状況であることを特徴とする請求項２に記載の車両周辺監視装置。
【請求項４】
前記外部環境は、車両の走行路近傍の物体の状況であることを特徴とする請求項２に記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−９３７１５（Ｐ２０１０−９３７１５Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００８−２６４１２８（Ｐ２００８−２６４１２８）
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２０年１０月１０日（２００８．１０．１０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]