車両周辺監視装置

【課題】運転者が報知動作に煩わしさを感じてしまうことを防止しつつ、適切タイミングで報知動作を行なう。
【解決手段】車両周辺監視装置１０は、赤外線カメラ１２Ｌ，１２Ｒと、赤外線カメラ１２Ｌ，１２Ｒから出力された赤外線画像に基づき車両外部に存在する対象物を検出する対象物検出部３１と、対象物検出部３１により検出された対象物が車両外部の実空間の所定の報知対象領域内に存在する場合に運転者に報知を行なう報知制御部３６と、車両外部の照度変化を検出または推定により取得する外部照度取得部３２と、外部照度取得部３２により取得された照度変化が所定変化以上である場合に、所定期間に亘って報知対象領域を拡張する領域拡張部３５とを備える。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、例えば前照灯の配光領域以遠に注意喚起領域を設定して、赤外線カメラにより検出される対象物の所定時間経過後の位置が注意喚起領域内に存在する場合に、音声および表示により運転者に報知を行なう車両の周辺監視装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３９１９９７５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る車両の周辺監視装置のように、前照灯の配光領域内に存在する対象物は運転者による視認が可能であると判断して、この対象物に対して過剰な注意喚起が行なわれることを禁止することにより、運転者が報知動作に煩わしさを感じてしまうことを防止することができる。
しかしながら、単に、前照灯の配光領域内に存在する対象物に対する報知を禁止してしまうと、運転者が対象物を視認困難な場合に適切なタイミングで報知動作を行なうことができないという問題が生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、運転者が報知動作に煩わしさを感じてしまうことを防止しつつ、適切なタイミングで報知動作を行なうことが可能な車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る車両周辺監視装置は、車両に搭載され、赤外線領域で撮像して得た赤外線画像を出力する赤外線撮像手段（例えば、実施の形態での赤外線カメラ１２Ｌ，１２Ｒ）と、前記赤外線撮像手段から出力された前記赤外線画像に基づき車両外部に存在する対象物を検出する対象物検出手段（例えば、実施の形態での対象物検出部３１）と、前記対象物検出手段により検出された前記対象物が車両外部の実空間の所定領域（例えば、実施の形態での報知対象領域）内に存在する場合に運転者に報知を行なう報知手段（例えば、実施の形態での報知制御部３６）とを備える車両周辺監視装置であって、車両外部の照度変化を検出または推定により取得する外部照度取得手段（例えば、実施の形態での外部照度取得部３２）と、前記外部照度取得手段により取得された前記照度変化が所定変化以上である場合に、所定期間に亘って前記所定領域を拡張する領域拡張手段（例えば、実施の形態での領域拡張部３５）とを備える。
【０００７】
さらに、本発明の第２態様に係る車両周辺監視装置では、前記外部照度取得手段は、自車両に接近する対向車両を検出した場合と、前記赤外線画像上において所定輝度以上の輝度を有する熱源の出現または消失を検出した場合と、日没または日の出の時間帯を検出した場合とのうち、少なくとも何れか１つの場合に、前記所定変化以上の前記照度変化を取得する。
【０００８】
さらに、本発明の第３態様に係る車両周辺監視装置は、車両に搭載され、赤外線領域で撮像して得た赤外線画像を出力する赤外線撮像手段（例えば、実施の形態での赤外線カメラ１２Ｌ，１２Ｒ）と、前記赤外線撮像手段から出力された前記赤外線画像に基づき車両外部に存在する対象物を検出する対象物検出手段（例えば、実施の形態での対象物検出部３１）と、前記対象物検出手段により検出された前記対象物が車両外部の実空間の所定領域（例えば、実施の形態での報知対象領域）内に存在する場合に運転者に報知を行なう報知手段（例えば、実施の形態での報知制御部３６）とを備える車両周辺監視装置であって、運転者による車載表示装置の操作の有無を検出する操作検出手段（例えば、実施の形態での操作検出部３３）と、前記操作検出手段により検出された前記操作が所定時間以上に亘って行なわれた場合に、所定期間に亘って前記所定領域を拡張する領域拡張手段（例えば、実施の形態での領域拡張部３５）とを備える。
【０００９】
さらに、本発明の第４態様に係る車両周辺監視装置は、車両に搭載され、赤外線領域で撮像して得た赤外線画像を出力する赤外線撮像手段（例えば、実施の形態での赤外線カメラ１２Ｌ，１２Ｒ）と、前記赤外線撮像手段から出力された前記赤外線画像に基づき車両外部に存在する対象物を検出する対象物検出手段（例えば、実施の形態での対象物検出部３１）と、前記対象物検出手段により検出された前記対象物が車両外部の実空間の所定領域（例えば、実施の形態での報知対象領域）内に存在する場合に運転者に報知を行なう報知手段（例えば、実施の形態での報知制御部３６）とを備える車両周辺監視装置であって、運転者の瞳孔の状態を検出する瞳孔状態検出手段（例えば、実施の形態での瞳孔状態検出部３４）と、前記瞳孔状態検出手段により検出された前記瞳孔の状態の変化が所定変化以上である場合に、所定期間に亘って前記所定領域を拡張する領域拡張手段（例えば、実施の形態での領域拡張部３５）とを備える。
【発明の効果】
【００１０】
本発明の第１態様に係る車両周辺監視装置によれば、車両外部の照度変化が所定変化以上である場合に、運転者に報知を行なうか否かを判定するための所定領域を、所定期間に亘って拡張する。これにより、車両外部の照度変化に起因して運転者の外界視認能力が一時的に低下した場合であっても、適切なタイミングで報知動作を行なうことができ、運転者が報知動作に煩わしさを感じてしまうことをも防止することができる。
【００１１】
本発明の第２態様に係る車両周辺監視装置によれば、車両外部の照度変化を直接的に検出する必要無しに、所定変化以上の照度変化を取得することができる。
【００１２】
本発明の第３態様に係る車両周辺監視装置によれば、運転者による車載表示装置の操作が所定時間以上に亘って行なわれた場合に、運転者に報知を行なうか否かを判定するための所定領域を、所定期間に亘って拡張する。これにより、運転者による所定時間以上に亘る画面目視に起因して運転者の外界視認能力が一時的に低下した場合であっても、適切なタイミングで報知動作を行なうことができ、運転者が報知動作に煩わしさを感じてしまうことをも防止することができる。
【００１３】
本発明の第４態様に係る車両周辺監視装置によれば、運転者の瞳孔の状態の変化が所定変化以上である場合に、運転者に報知を行なうか否かを判定するための所定領域を、所定期間に亘って拡張する。これにより、運転者の瞳孔の収縮などに起因して運転者の外界視認能力が一時的に低下した場合であっても、適切なタイミングで報知動作を行なうことができ、運転者が報知動作に煩わしさを感じてしまうことをも防止することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示す車両周辺監視装置を搭載した車両を示す図である。
【図３】本発明の実施の形態に係る車両周辺監視装置の報知対象領域の例を示す図である。
【図４】本発明の実施の形態に係る車両周辺監視装置の報知対象領域の例を示す図である。
【図５】図１に示す車両周辺監視装置の動作を示すフローチャートである。
【図６】図５に示す報知判定処理を示すフローチャートである。
【図７】本発明の実施の形態に係る自車両と対象物との相対位置の一例を示す図である。
【図８】図６に示す領域判定処理を示すフローチャートである。
【図９】図６に示す領域判定処理を示すフローチャートである。
【図１０】図６に示す領域判定処理を示すフローチャートである。
【図１１】図６に示す領域判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態に係る車両周辺監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周辺監視装置１０は、例えば図１に示すように、車両周辺監視装置１０を制御するＣＰＵ（中央演算装置）を備えた処理ユニット１１と、車両外部の所定撮像領域に対して赤外線を検出可能な２つの赤外線カメラ１２Ｌ，１２Ｒと、自車両のヨーレートを検出するヨーレートセンサ１３と、自車両の走行速度（車速）を検出する車速センサ１４と、運転者によるブレーキ操作の有無を検出するブレーキセンサ１５と、車両外部の照度を検出する照度センサ１６と、運転者の眼を撮像する車室内カメラ１７と、スピーカ１８と、表示装置１９と、ナビゲーション装置２０とを備えて構成されている。
【００１６】
この車両周辺監視装置１０の処理ユニット１１は、例えば２つの赤外線カメラ１２Ｌ，１２Ｒの撮像により得られる自車両周辺の赤外線画像と、各センサ１３〜１６により検出される自車両の走行状態または自車両の走行環境に係る検出信号と、車室内カメラ１７の撮像により得られる運転者の状態に係る信号とから、自車両の進行方向前方に存在する物体および歩行者などの対象物を検出し、検出した対象物と自車両との接触が発生する可能性があると判断したときに、スピーカ１８または表示装置１９により警報を出力する。
なお、表示装置１９は、例えば自車両の各種走行状態量を表示する計器類と一体化された表示装置あるいはフロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するＨＵＤ（Head Up Display）１９ａなどを備えて構成されている。
【００１７】
また、処理ユニット１１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路（図示略）と、ディジタル化した画像信号を記憶する画像メモリ（図示略）と、各種演算処理を行うＣＰＵ（中央演算装置）（図示略）と、ＣＰＵが演算処理の実行時に各種のデータを記憶するために使用するＲＡＭ（Random Access Memory）（図示略）と、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）（図示略）と、スピーカ１８の駆動信号や表示装置１９の表示信号などを出力する出力回路（図示略）とを備えており、赤外線カメラ１２Ｌ，１２Ｒおよび各センサ１３〜１６および車室内カメラ１７などから出力される信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１８】
なお、例えば図２に示すように、赤外線カメラ１２Ｌ，１２Ｒは、自車両Ｐの前部において車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ１２Ｌ，１２Ｒの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ１２Ｌ，１２Ｒは、対象物の温度が高いほど、出力信号レベルが高くなる（つまり、輝度が増大する）特性を有している。
また、表示装置１９のＨＵＤ１９ａは、自車両Ｐのフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１９】
また、ナビゲーション装置２０は、例えば表示部２１と、位置測位部２２と、ナビゲーション処理部２３とを備えて構成されている。
位置測位部２２は、例えば人工衛星を利用して車両の位置を測定するためのＧＰＳ（Global Positioning System）信号などの測位信号を受信し、この測位信号によって自車両の現在位置を算出する。
ナビゲーション処理部２３は、例えば各センサ１３，１４などから出力される自車両のヨーレートおよび車速などの検出信号に基づく自律航法の算出処理によって、自車両の現在位置を算出する。
【００２０】
また、ナビゲーション処理部２３は、表示部２１に地図を表示するための地図表示用のデータおよび車両の現在位置に基づくマップマッチングの処理に必要とされる道路座標データを地図データとして備えている。さらに、ナビゲーション処理部２３は、経路探索や経路誘導などの処理に必要とされるデータ、例えば交差点および分岐点などの所定位置の緯度および経度からなる点であるノードと各ノード間を結ぶ線であるリンクとからなる道路データを地図データとして備えている。そして、ノードおよびリンクには各種の情報が付加されている。
そして、ナビゲーション処理部２３は、道路データに対して、測位信号および自律航法の算出処理のそれぞれ、又は、何れか一方から得られる自車両の現在位置の情報に基づいてマップマッチングを行い、位置検出の結果を補正する。
また、ナビゲーション処理部２３は、例えば操作者による入力操作に応じて自車両の経路探索や経路誘導などの処理を実行し、道路データと共に、例えば目的地までの経路情報や各種の付加情報を表示部２１に出力すると共に、各種の音声メッセージをスピーカ１８から出力する。
【００２１】
処理ユニット１１は、例えば図１に示すように、対象物検出部３１と、外部照度取得部３２と、操作検出部３３と、瞳孔状態検出部３４と、領域拡張部３５と、報知制御部３６とを備えて構成されている。
【００２２】
対象物検出部３１は、赤外線カメラ１２Ｌ，１２Ｒから出力された赤外線画像に基づき車両外部に存在する対象物を検出する。
外部照度取得部３２は、照度センサ１６から出力される検出信号に基づき車両外部の照度変化を検出したり、所定の推定動作により車両外部の照度変化の発生を推定する。
所定の推定動作は、例えば、対象物検出部３１により自車両に接近する対向車両を検出した場合と、赤外線カメラ１２Ｌ，１２Ｒから出力された赤外線画像上において所定輝度以上の輝度を有する熱源の出現または消失を検出した場合と、日没または日の出の時間帯を検出した場合とのうち、少なくとも何れか１つの場合に、所定変化以上の照度変化が生じたと推定する。
【００２３】
操作検出部３３は、運転者による表示装置１９の操作の有無と、ナビゲーション装置２０の操作の有無となどを検出する。
瞳孔状態検出部３４は、運転者の眼を撮像する車室内カメラ１７から出力される撮像画像に基づき、運転者の瞳孔の状態（例えば、瞳孔の大きさなどの変化が所定以上であるか否かなど）を検出する。
【００２４】
領域拡張部３５は、例えば、外部照度取得部３２により取得された車両外部の照度変化が所定変化以上である場合と、操作検出部３３により検出された所定の操作が所定時間以上に亘って行なわれた場合と、瞳孔状態検出部３４により検出された瞳孔の状態の変化が所定変化以上である場合とのうち、少なくとも１つの場合に所定期間に亘って所定の報知対象領域を拡張する。
なお、報知対象領域は、通常時においては、例えば図３（Ａ）に示すように、赤外線カメラ１２Ｌ，１２Ｒの所定撮像領域ＳＡのうち、自車両の前照灯の所定の配光領域ＬＡ以遠の領域（通常領域）ＷＡとされている。そして、領域拡張部３５により報知対象領域の領域拡張が指示されているときには、報知対象領域は、例えば図３（Ｂ）に示すように、赤外線カメラ１２Ｌ，１２Ｒの所定撮像領域ＳＡのうち、通常領域ＷＡと通常領域ＷＡから少なくとも自車両Ｐに向って配光領域ＬＡ内まで拡張された領域αとから構成される拡張領域ＥＡとされている。
【００２５】
なお、領域拡張時に通常領域ＷＡから配光領域ＬＡ内まで拡張される領域αは、例えば図４（Ａ）に示すように、自車両Ｐの車幅などに応じた所定幅ｘａで自車両Ｐに向かい拡張されて形成されてもよい。また、例えば図４（Ｂ）に示すように、自車両Ｐの車幅などに応じた所定幅ｘａが適宜の拡張幅ｘｂまで拡張されると共に、自車両Ｐに向かい拡張されて形成されてもよい。
【００２６】
報知制御部３６は、対象物検出部３１により検出された対象物が車両外部の実空間の所定の報知対象領域内に存在する場合に、少なくとも表示装置１９により運転者に報知を行なう。
【００２７】
本実施の形態による車両周辺監視装置１０は上記構成を備えており、次に、この車両周辺監視装置１０の動作、特に、報知対象領域の設定処理と、他車両や歩行者などの対象物に対する報知動作とについて添付図面を参照しながら説明する。
【００２８】
まず、例えば図５に示すステップＳ１において、処理ユニット１１は、赤外線カメラ１２Ｌ，１２Ｒの出力信号である赤外線画像を取得する。
次に、ステップＳ２においては、取得した赤外線画像をＡ／Ｄ変換する。
次に、ステップＳ３においては、中間階調情報を含むグレースケール画像を取得して、画像メモリに格納する。なお、この実施の形態では赤外線カメラ１２Ｒにより右画像が得られ、赤外線カメラ１２Ｌにより左画像が得られる。また、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（つまり、視差）により自車両から対象物までの距離を算出することができる。
【００２９】
次に、ステップＳ４においては、赤外線カメラ１２Ｒにより得られた右画像を基準画像とし、この画像信号の２値化処理、すなわち所定輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。
なお、以下のステップＳ４〜ステップＳ９の処理は、２値化処理により得た基準画像（例えば、右画像）について実行する。
次に、ステップＳ５においては、赤外線画像に２値化処理を実行して得た画像データをランレングスデータに変換する。ランレングスデータでは、２値化処理により白となった領域を画素レベルでラインとして表示し、各ラインはｙ方向に１画素の幅を有し、ｘ方向に適宜の画素数の長さを有するように設定されている
【００３０】
次に、ステップＳ６においては、ランレングスデータに変換された画像データにおいて、対象物のラベリングを行う。
次に、ステップＳ７においては、対象物のラベリングに応じて対象物を抽出する。ここでは、ランレングスデータにおける各ラインのうち、同等のｘ方向座標を含むライン同士がｙ方向で隣接する場合に、隣接するラインが単一の対象物を構成しているとみなす。
次に、ステップＳ８においては、抽出した対象物の重心Ｇと、面積Ｓと、外接四角形の縦横比ＡＳＰＥＣＴとを算出する。
【００３１】
ここで、面積Ｓは、ランレングスデータの長さを同一対象物において積算することにより算出する。重心Ｇの座標は、ランレングスデータの長さと、ランレングスデータの座標とを乗算して得た値を同一対象物において積算して得た値を、面積Ｓで除算することにより算出する。さらに、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、重心Ｇの座標は、外接四角形の重心座標で代用してもよい。
【００３２】
次に、ステップＳ９およびステップＳ１０の処理と、ステップＳ１１〜ステップＳ１３の処理とを並行して実行する。
まず、ステップＳ９においては、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う。この時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出した場合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定された場合には、対象物Ｃ、Ｄのラベルをそれぞれ対象物Ａ、Ｂのラベルに変更する。そして、認識された各対象物の位置座標（例えば、重心等）を、時系列位置データとして適宜のメモリに格納する。
【００３３】
次に、ステップＳ１０においては、車速センサ１４により検出された車速ＶＣＡＲおよびヨーレートセンサ１３より検出されたヨーレートＹＲを取得し、ヨーレートＹＲを時間積分して、自車両の回頭角θｒを算出する。
【００３４】
一方、ステップＳ９およびステップＳ１０の処理に並行して実行されるステップＳ１１〜ステップＳ１３においては、対象物と自車両との距離ｚを算出する。なお、このステップＳ１１の処理は、ステップＳ９およびステップＳ１０の処理よりも長い演算時間を要することから、ステップＳ９およびステップＳ１０よりも長い周期（例えば、ステップＳ１〜ステップＳ１０の実行周期の３倍程度の周期等）で実行されるようになっている。
先ず、ステップＳ１１においては、基準画像（例えば、右画像）を２値化処理して得た画像データ上で追跡される複数の対象物のうちから１つの対象物を選択し、例えば選択した対象物を外接四角形で囲む領域全体を探索画像Ｒ１として基準画像（例えば、右画像）から抽出する。
【００３５】
次に、ステップＳ１２においては、基準画像（例えば、右画像）に対応する画像（例えば、左画像）中から探索画像Ｒ１に対応する画像（対応画像）Ｒ２を探索する探索領域を設定し、相関演算を実行して対応画像Ｒ２を抽出する。ここでは、例えば探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域を設定し、探索領域内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この輝度差分総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像Ｒ２として抽出する。なお、この相関演算は、２値化処理して得た画像データではなく、グレースケール画像に対して実行する。また、同一対象物についての過去の位置データが存在する場合には、過去の位置データに基づいて探索領域を狭めることが可能である。
【００３６】
次に、ステップＳ１３においては、探索画像Ｒ１の重心位置と、対応画像Ｒ２の重心位置と、画素数単位での視差Δｄとを算出し、さらに、自車両と対象物との距離つまり赤外線カメラ１２Ｌ，１２Ｒのレンズと対象物との距離（対象物距離）ｚ（ｍ）を、例えば下記数式（１）に示すように、カメラ基線長、つまり赤外線カメラ１２Ｌ，１２Ｒの各撮像素子の中心位置間の水平距離Ｄ（ｍ）と、カメラ焦点距離、つまり赤外線カメラ１２Ｌ，１２Ｒの各レンズの焦点距離ｆ（ｍ）と、画素ピッチｐ（ｍ／ｐｉｘｅｌ）と、視差Δｄ（ｐｉｘｅｌ）とに基づき算出する。
【００３７】
【数１】

【００３８】
そして、ステップＳ１４においては、ステップＳ１０での回頭角θｒの算出と、ステップＳ１３での距離ｚの算出との完了後に、例えば下記数式（２）に示すように、画像データ上での対象物の座標（ｘ，ｙ）および距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、例えば図２に示すように、自車両Ｐの前部における赤外線カメラ１２Ｌ，１２Ｒの取り付け位置の中点の位置を原点Ｏとして設定され、画像データ上の座標は、画像データの中心を原点として水平方向をｘ方向、垂直方向をｙ方向として設定されている。また、座標（ｘｃ，ｙｃ）は、基準画像（例えば、右画像）上の座標（ｘ，ｙ）を、赤外線カメラ２Ｒの取付位置と、実空間の原点Ｏとの相対位置関係に基づいて、実空間の原点Ｏと画像データの中心とを一致させて得た仮想的な画像上の座標に変換して得た座標である。
【００３９】
【数２】

【００４０】
次に、ステップＳ１５においては、自車両が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。この回頭角補正は、時刻ｋから時刻（ｋ＋１）までの期間中に自車両が、例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ１２Ｌ，１２Ｒによって得られる画像データ上では、画像データの範囲がΔｘだけｘ方向にずれることを補正する処理であり、例えば下記数式（３）に示すように、実空間座標（Ｘ，Ｙ，Ｚ）を補正して得た補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を、新たに実空間座標（Ｘ，Ｙ，Ｚ）として設定する。
【００４１】
【数３】

【００４２】
次に、ステップＳ１６においては、同一対象物について所定時間ΔＴのモニタ期間内に得られた回頭角補正後のＮ（例えば、Ｎ＝１０程度）個の時系列データをなす実空間位置データから、対象物と自車両との相対移動ベクトルに対応する近似直線ＬＭＶを算出する。
このステップＳ１６においては、最新の位置座標Ｐ（０）と、（Ｎ−１）サンプル前（つまり、所定時間ΔＴ前）の位置座標Ｐ（Ｎ−１）とを、近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）およびＰｖ（Ｎ−１）を算出する。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このように所定時間ΔＴのモニタ期間内の複数（例えば、Ｎ個）の実空間位置データから対象物の自車両に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して自車両と対象物との接触発生の可能性を精度良く予測することが可能となる。
【００４３】
次に、ステップＳ１７においては、後述する報知判定処理を実行し、対象物が報知対象であるか否かを設定する。
次に、ステップＳ１８においては、報知対象が有るか否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１９に進む。
次に、ステップＳ１９においては、例えばブレーキセンサ１５から出力される検出結果の信号に基づき、自車両の運転者がブレーキ操作を行っているか否かなどに応じた警報出力判定処理により、警報出力が必要か否かを判定する。
この判定結果が「ＮＯ」の場合には、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２０に進む。
【００４４】
そして、ステップＳ２０においては、例えばスピーカ１８から出力される音声などの聴覚的警報や、例えばナビゲーション装置の表示部２１や表示装置１９から出力される表示などの視覚的警報や、例えばシートベルトに所定の張力を発生させて運転者が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させることによる触覚的警報を出力する。
次に、ステップＳ２１においては、表示装置１９において、例えば赤外線カメラ２Ｒにより得られる画像データを出力し、報知対象である対象物を強調映像として表示し、リターンに進む。
【００４５】
以下に、上述したステップＳ１７における報知判定処理について添付図面を参照しながら説明する。
先ず、例えば図６に示すステップＳ３１においては、対象物と自車両との接触可能性があるか否かを判定する。以下、この判定処理の一例として、例えば図７に示すように、自車両Ｐの進行方向（例えば、Ｚ方向）に対してほぼ直交する方向において速度Ｖｐで移動する対象物Ｑが存在する場合について説明する。対象物Ｑが所定時間ΔＴの間に自車両Ｐの進行方向に平行な方向に沿って距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両ＰのＺ方向での相対速度Ｖｓを算出し、自車両Ｐと対象物Ｑとが所定地上高Ｈ以内で相対速度Ｖｓを維持して移動すると仮定して、所定の余裕時間Ｔｓ以内に自車両Ｐと対象物Ｑとが接触するか否かを判定する。なお、余裕時間Ｔｓは、接触発生の可能性を、予測される接触発生時刻よりも所定時間Ｔｓだけ以前のタイミングで判定するための時間であって、例えば２〜５秒程度に設定される。また、所定地上高Ｈは、例えば自車両Ｐの車高の２倍程度の値に設定される。
この判定結果が「ＮＯ」の場合には、ステップＳ３２に進み、このステップＳ３２においては、対象物は報知対象ではないと判定して、リターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３３に進む。
【００４６】
次に、ステップＳ３３においては、後述する領域判定処理を実行する。
次に、ステップＳ３４においては、報知対象領域の領域拡張が指示されているか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ３５に進み、このステップＳ３５においては、報知対象領域を通常領域ＷＡとして、ステップＳ３７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３６に進み、このステップＳ３６においては、報知対象領域を拡張領域ＥＡへと拡張して、ステップＳ３７に進む。
次に、ステップＳ３７においては、対象物が報知対象領域内に存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ３２に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３８に進み、このステップＳ３８においては、対象物は報知対象であると判定して、リターンに進む。
【００４７】
以下に、上述したステップＳ３３における領域判定処理について添付図面を参照しながら説明する。
この領域判定処理は、報知対象領域を所定期間に亘って通常領域ＷＡから拡張領域ＥＡへと拡張することを指示する領域拡張指示の出力可否を設定する処理である。
領域拡張指示は、例えば運転者の瞳孔の大きさが一時的に小さくなったことに起因して、運転者の視認能力が一時的に低下した場合に出力される。例えば外部照度取得部３２により取得された車両外部の照度変化が所定変化以上である場合と、操作検出部３３により検出された所定の操作が所定時間以上に亘って行なわれた場合と、瞳孔状態検出部３４により検出された瞳孔の状態の変化が所定変化以上である場合とのうち、少なくとも１つの場合に領域拡張指示が出力される。
【００４８】
以下に、外部照度取得部３２により取得された車両外部の照度変化が所定変化以上である場合として、所定の推定動作により車両外部の照度変化の発生を推定し、この推定結果に応じて領域拡張指示の出力要否を設定する処理について説明する。
先ず、例えば図８に示すステップＳ４１においては、赤外線カメラ１２Ｌ，１２Ｒから出力された赤外線画像に基づき対象物検出部３１により検出された対向車両が、自車両に対するすれ違いなどによって消失してから所定時間以内か否かを判定する。
この判定結果が「ＹＥＳ」の場合には、例えば対向車両の前照灯により自車両の運転者の瞳孔の大きさが一時的に小さくなっていると判断して、ステップＳ４２に進み、このステップＳ４２においては、領域拡張指示を出力して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ４３に進む。
【００４９】
次に、ステップＳ４３においては、赤外線カメラ１２Ｌ，１２Ｒから出力された赤外線画像に基づき対象物検出部３１により検出された対象物が車両であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、領域拡張指示は出力せずにリターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４４に進む。
次に、ステップＳ４４においては、自車両に対する対象物（車両）の相対移動ベクトルを算出すると共に、所定のパターンマッチングの処理（例えば、前照灯の位置などによるパターンマッチングの処理）を行う。
次に、ステップＳ４５においては、相対移動ベクトルおよびパターンマッチングの演算結果に基づき、対象物（車両）が対向車両であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、領域拡張指示は出力せずにリターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、例えば対向車両の前照灯により自車両の運転者の瞳孔の大きさが一時的に小さくなっていると判断して、ステップＳ４２に進み、このステップＳ４２においては、領域拡張指示を出力して、リターンに進む。
【００５０】
また、例えば図９に示すステップ５１においては、赤外線カメラ１２Ｌ，１２Ｒから出力された赤外線画像に基づき対象物検出部３１により検出された対象物が、例えば灯火の点滅などにより消失してから所定時間以内か否かを判定する。
この判定結果が「ＹＥＳ」の場合には、例えば路上の信号機や灯火体などの対象物により自車両の運転者の瞳孔の大きさが一時的に小さくなっていると判断して、ステップＳ５２に進み、このステップＳ５２においては、領域拡張指示を出力して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ４３に進む。
【００５１】
次に、ステップ５３においては、赤外線カメラ１２Ｌ，１２Ｒから出力された赤外線画像に基づき対象物検出部３１により検出された対象物が、例えば灯火の点灯などにより出現してから所定時間以内か否かを判定する。
この判定結果が「ＹＥＳ」の場合には、例えば路上の信号機や灯火体などの対象物により自車両の運転者の瞳孔の大きさが一時的に小さくなっていると判断して、ステップＳ５２に進み、このステップＳ５２においては、領域拡張指示を出力して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ５４に進む。
【００５２】
次に、ステップＳ５４においては、赤外線カメラ１２Ｌ，１２Ｒから出力された赤外線画像に基づき対象物検出部３１により検出された対象物が人以外であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、領域拡張指示は出力せずにリターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ５５に進む。
次に、ステップＳ５５においては、赤外線カメラ１２Ｌ，１２Ｒから出力された赤外線画像に基づき対象物検出部３１により検出された対象物が、例えば路上の信号機や灯火体による灯火である場合に、灯火の大きさが所定値以上であるか否かを判定する。
なお、対象物が、例えば路上の信号機や灯火体による灯火であるか否かは、例えば人（歩行者）にはあり得ない特徴として、複数の発熱体が鉛直方向に沿って所定間隔を置いて配置されているか否かのパターンマッチングの処理などによって判定される。
この判定結果が「ＮＯ」の場合には、領域拡張指示は出力せずにリターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、例えば路上の信号機や灯火体による灯火により自車両の運転者の瞳孔の大きさが一時的に小さくなっていると判断して、ステップＳ５２に進み、このステップＳ５２においては、領域拡張指示を出力して、リターンに進む。
【００５３】
以下に、操作検出部３３により検出された所定の操作が所定時間以上に亘って行なわれた場合に領域拡張指示を出力する処理について説明する。
例えば図１０に示すステップ６１においては、表示装置１９およびナビゲーション装置２０などの各種の表示に係る装置の運転者による操作状態を検出する。
次に、ステップＳ６２においては、運転者によるナビゲーション装置２０の操作入力が有るか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、例えばナビゲーション装置２０の表示部２１を目視していることにより自車両の運転者の瞳孔の大きさが一時的に小さくなっていると判断して、ステップＳ６３に進み、このステップＳ６３においては、領域拡張指示を出力して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ６４に進む。
次に、ステップＳ６４においては、運転者による画面目視が所定時間以上継続したか否かを、直接的にあるいは間接的に判定する。なお、間接的な判定では、例えばナビゲーション装置２０などの各種装置の所定動作（例えば、ナビゲーション装置２０の経路誘導など）が実行されていることを判定することにより、運転者による所定時間以上の画面目視を伴う操作入力によって各種装置の所定動作の実行が指示されたと判断する。
この判定結果が「ＹＥＳ」の場合には、所定時間以上の画面目視により自車両の運転者の瞳孔の大きさが一時的に小さくなっていると判断して、ステップＳ６３に進み、このステップＳ６３においては、領域拡張指示を出力して、リターンに進む。
一方、この判定結果が「ＮＯ」の場合には、領域拡張指示は出力せずにリターンに進む。
【００５４】
以下に、瞳孔状態検出部３４により検出された瞳孔の状態の変化が所定変化以上である場合に領域拡張指示を出力する処理について説明する。
例えば図１１に示すステップ７１においては、運転者の眼を撮像する車室内カメラ１７から出力される撮像画像に基づき、運転者の瞳孔の状態（例えば、瞳孔の大きさなど）を検出する。
次に、ステップＳ７２においては、瞳孔の大きさが所定値以下であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、領域拡張指示は出力せずにリターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ７３に進む。
次に、ステップＳ７３においては、瞳孔の大きさが所定値以上である状態が所定時間以上継続したか否かを判定する。
この判定結果が「ＮＯ」の場合には、領域拡張指示は出力せずにリターンに進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ７４に進み、このステップＳ７４においては、領域拡張指示を出力して、リターンに進む。
【００５５】
上述したように、本実施の形態による車両周辺監視装置１０によれば、車両外部の照度変化が所定変化以上である場合と、運転者による車載表示装置の操作が所定時間以上に亘って行なわれた場合と、運転者の瞳孔の状態の変化が所定変化以上である場合とのうち、少なくとも１つの場合に、報知対象領域を所定期間に亘って拡張する。これにより、車両外部の照度変化あるいは運転者による所定時間以上に亘る画面目視あるいは運転者の瞳孔の収縮などに起因して、運転者の外界視認能力が一時的に低下した場合であっても、適切なタイミングで報知動作を行なうことができ、運転者が報知動作に煩わしさを感じてしまうことをも防止することができる。
しかも、外部照度取得部３２は、所定の推定動作により車両外部の照度変化の発生を推定することから、車両外部の照度変化を直接的に検出する必要無しに、所定変化以上の照度変化を取得することができる。
【００５６】
なお、上述した実施の形態においては、例えば運転者の瞳孔の大きさが一時的に小さくなったことなどに起因して、運転者の視認能力が一時的に低下した場合に、報知対象領域を所定期間に亘って通常領域ＷＡから拡張領域ＥＡへと自車両側に拡張するとしたが、これに限定されず、さらに、領域拡張指示が出力された場合には、各種警報の報知タイミングを早める処理を実行してもよい。
【００５７】
なお、上述した実施の形態において、例えば図６に示す報知判定処理では、ステップＳ３１での衝突可能性の有無の判定処理を省略してもよい。
【符号の説明】
【００５８】
１０車両周辺監視装置
１２Ｌ，１２ＲＬ赤外線カメラ（赤外線撮像手段）
３１対象物検出部（対象物検出手段）
３２外部照度取得部（外部照度取得手段）
３３操作検出部（操作検出手段）
３４瞳孔状態検出部（瞳孔状態検出手段）
３５領域拡張部（領域拡張手段）
３６報知制御部（報知手段）

【特許請求の範囲】
【請求項１】
車両に搭載され、赤外線領域で撮像して得た赤外線画像を出力する赤外線撮像手段と、
前記赤外線撮像手段から出力された前記赤外線画像に基づき車両外部に存在する対象物を検出する対象物検出手段と、
前記対象物検出手段により検出された前記対象物が車両外部の実空間の所定領域内に存在する場合に運転者に報知を行なう報知手段とを備える車両周辺監視装置であって、
車両外部の照度変化を検出または推定により取得する外部照度取得手段と、
前記外部照度取得手段により取得された前記照度変化が所定変化以上である場合に、所定期間に亘って前記所定領域を拡張する領域拡張手段とを備えることを特徴とする車両周辺監視装置。
【請求項２】
前記外部照度取得手段は、
自車両に接近する対向車両を検出した場合と、前記赤外線画像上において所定輝度以上の輝度を有する熱源の出現または消失を検出した場合と、日没または日の出の時間帯を検出した場合とのうち、少なくとも何れか１つの場合に、前記所定変化以上の前記照度変化を取得することを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
車両に搭載され、赤外線領域で撮像して得た赤外線画像を出力する赤外線撮像手段と、
前記赤外線撮像手段から出力された前記赤外線画像に基づき車両外部に存在する対象物を検出する対象物検出手段と、
前記対象物検出手段により検出された前記対象物が車両外部の実空間の所定領域内に存在する場合に運転者に報知を行なう報知手段とを備える車両周辺監視装置であって、
運転者による車載表示装置の操作の有無を検出する操作検出手段と、
前記操作検出手段により検出された前記操作が所定時間以上に亘って行なわれた場合に、所定期間に亘って前記所定領域を拡張する領域拡張手段とを備えることを特徴とする車両周辺監視装置。
【請求項４】
車両に搭載され、赤外線領域で撮像して得た赤外線画像を出力する赤外線撮像手段と、
前記赤外線撮像手段から出力された前記赤外線画像に基づき車両外部に存在する対象物を検出する対象物検出手段と、
前記対象物検出手段により検出された前記対象物が車両外部の実空間の所定領域内に存在する場合に運転者に報知を行なう報知手段とを備える車両周辺監視装置であって、
運転者の瞳孔の状態を検出する瞳孔状態検出手段と、
前記瞳孔状態検出手段により検出された前記瞳孔の状態の変化が所定変化以上である場合に、所定期間に亘って前記所定領域を拡張する領域拡張手段とを備えることを特徴とする車両周辺監視装置。

【図１】