車両の周辺監視装置
【課題】所望の対象物を背景から良好に抽出する。
【解決手段】車両に搭載された赤外線カメラと、赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて、全体の度数に対する所定の割合Ｓ（％）を用いて、累積度数が（１００−Ｓ）％となる低輝度範囲と、累積度数がＳ％となる高輝度範囲とに二分し、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する。抽出された対象物の候補について、検出すべき対象物かどうかを判定し、該判定に応じて、運転者への通報を行う。ここで、車両の周辺に、高温対象物が多く存在する状況か否かが推定される。該推定の結果に応じて、上記所定の割合Ｓを変更する。こうして、車両の周辺の状況に応じた適切な割合で、輝度値を二分することができるので、検出すべき対象物を良好に背景から分離して抽出することができる。
【解決手段】車両に搭載された赤外線カメラと、赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて、全体の度数に対する所定の割合Ｓ（％）を用いて、累積度数が（１００−Ｓ）％となる低輝度範囲と、累積度数がＳ％となる高輝度範囲とに二分し、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する。抽出された対象物の候補について、検出すべき対象物かどうかを判定し、該判定に応じて、運転者への通報を行う。ここで、車両の周辺に、高温対象物が多く存在する状況か否かが推定される。該推定の結果に応じて、上記所定の割合Ｓを変更する。こうして、車両の周辺の状況に応じた適切な割合で、輝度値を二分することができるので、検出すべき対象物を良好に背景から分離して抽出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の状況に応じて、対象物を抽出するための閾値を変更する装置に関する。
【背景技術】
【０００２】
従来より、画像において、所望の対象物を背景から分離する方法として、所定の閾値で二値化する手法がある。下記の特許文献１では、ＣＣＤなどの撮像素子を用いて撮像された画像において、認識すべき物体自身に明るさのむらがある場合でも、物体と背景とを分離するよう、二値化で用いる閾値を変更することが記載されている。
【０００３】
他方、赤外線カメラを用いて、車両の周辺を監視することが提案されている。歩行者および動物などの生体は、背景に比べて通常高温であるため、赤外線カメラを用いれば、これらの生体を背景から区別して検出することができる。赤外線カメラにより撮像された画像において、下記の特許文献２には、いわゆるモード法を利用した二値化の閾値設定手法が記載されている。モード法によると、輝度値ヒストグラムにおいて、背景に対応するピークと、高温対象物に対応するピークとの間で、画像中の輝度値を二分する閾値を決定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３１５１５３号公報
【特許文献２】特許３７５６４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
赤外線カメラで車両周辺を撮像した場合に、その撮像画像の輝度値ヒストグラムにおいて、背景に対応するピークと高温対象物に対応するピークの２つのピークが出現すれば、上記のようなモード法を利用して閾値を設定するのは有効である。
【０００６】
しかしながら、赤外線カメラによる撮像画像には、車両の周辺の状況によって様々な対象物が撮像されることがあり、２つのピークが明瞭に出現しないことがある。そのような場合、モード法を利用するのは困難である。他方、固定の閾値で輝度値を分類すると、検出すべき所望の対象物を、背景から良好に分離して抽出することができないおそれがある。
【０００７】
したがって、赤外線カメラを用いた撮像画像において、上記のような２つのピークが明瞭に出現しない場合でも、所望の対象物を背景から良好に抽出可能なように、輝度値を二分することができる手法が望まれている。
【課題を解決するための手段】
【０００８】
この発明の一つの側面によると、車両周辺監視装置は、車両に搭載された赤外線カメラと、前記赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて、全体の度数に対する所定の割合Ｓ（％）を用いて、累積度数が（１００−Ｓ）％となる低輝度範囲と、累積度数がＳ％となる高輝度範囲とに二分し、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する手段と、前記抽出された対象物の候補について、前記検出すべき対象物かどうかを判定する判定手段と、前記検出すべき対象物と判定されたとき、運転者への通報を行う手段と、を備える。さらに、該装置は、前記車両の周辺に、高温対象物が多く存在する状況か否かを推定する推定手段と、前記高温対象物が多く存在する状況か否かの推定結果に応じて、前記所定の割合を変更する手段と、を備える。
【０００９】
この発明では、いわゆるＰタイル法を利用する。Ｐタイル法によれば、輝度値ヒストグラムにおいて、全体の度数に対する所定の割合Ｓを用い、累積度数が（１００−Ｓ）％となる低輝度範囲と、累積度数がＳ％となる高輝度範囲とに二分するので、２つのピークが明瞭に出現しない画像にも適用可能である。車両の周辺の状況は、走行するに従って変化し、市街地のように高温対象物が多く存在する場所がある一方で、高速道路や郊外地のように高温対象物が少ない場所がある。車両の周辺の状況にかかわらず、上記の所定の割合Ｓを固定すると、高温対象物が多く存在する場所では、抽出される対象物の候補に、検出すべき対象物が含まれなくなるおそれがあり、他方、高温対象物が少ない場所では、抽出される対象物の候補に、背景が含まれるおそれがある。この発明によれば、車両の周辺に高温対象物が多く存在する状況かどうかを推定し、その推定結果に応じて上記所定の割合Ｓを変更するので、対象物の抽出処理において、検出すべき対象物が漏れたり、背景を含んだりというような現象を、より確実に防止することができ、対象物の抽出精度を向上させることができる。
【００１０】
この発明の一実施形態によると、前記推定手段は、前記撮像画像から、所定数以上の対象物が検出された場合、所定の種類の対象物が所定数以上検出された場合、該所定数以上の対象物が前記車両から所定距離内で検出された場合、および、該所定の種類の対象物が前記車両から所定距離内で所定数以上検出された場合の少なくともいずれかが満たされた場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする。
【００１１】
この発明によれば、撮像画像の対象物を用いて、車両の周辺の状況を推定することができる。すなわち、所定数以上の対象物が検出された場合には、歩行者等の高温対象物が多く存在する状況と推定することができる。また、所定の種類の対象物、たとえば所定の人工構造物（街灯等）が所定数以上検出されたならば、やはり、歩行者等の高温対象物が多く存在する状況と推定することができる。車両からの距離を考慮することにより、このような状況を、より正確に推定することができる。また、高温対象物が多く存在する状況ではないと推定された場合には、多く存在する状況であると推定された場合に比べて、所定の割合Ｓを低くするので、より適切な閾値で輝度値を二分することができ、検出すべき対象物を良好な精度で抽出することができる。
【００１２】
この発明の一実施形態によると、前記推定手段は、前記撮像画像の所定領域における輝度値の分散または平均が所定値以上である場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする。
【００１３】
この発明によれば、撮像画像の輝度値によって、車両の周辺の状況を推定することができる。すなわち、撮像画像の所定領域の輝度値の分散が高ければ、車両の周辺に歩行者や街灯等が存在することによって輝度値のばらつきが大きくなっており、よって、高温対象物が多く存在する状況であると推定することができる。また、撮像画像の所定領域の輝度値の平均値が高ければ、車両の周辺に歩行者や街灯等が存在することによって輝度値が全体的に高くなっており、よって、高温対象物が多く存在する状況であると推定することができる。さらに、高温対象物が多く存在する状況ではないと推定された場合には、多く存在する状況であると推定された場合に比べて、所定の割合Ｓを低くするので、より適切な閾値で輝度値を二分することができ、検出すべき対象物を良好な精度で抽出することができる。
【００１４】
この発明の一実施形態によると、前記車両の運転状態を検出する検出手段を備え、前記推定手段は、前記検出手段によって検出された車両の運転状態に応じて、前記高温対象物が多く存在する状況であるか否かを推定する。
【００１５】
この発明によれば、車両の運転状態から、車両の周辺の状況を推定することができる。たとえば、車速に応じて、高温対象物が周辺にほとんど存在しない高速道路を走行しているか否かを推定することができる。
【００１６】
この発明の一実施形態によると、前記車両の現在位置を検出する検出手段を備え、前記推定手段は、前記検出手段によって検出された車両の現在位置が存在する道路および地域の少なくとも一方について取得された情報に応じて、前記高温対象物が多く存在する状況であるか否かを推定する。
【００１７】
この発明によれば、車両のナビゲーション機能を利用して、車両の周辺の状況を推定することができる。たとえば、車両が、高温対象物が周辺にほとんど存在しない高速道路を走行しているか否かは、車両の現在位置の道路についての情報から推定することができる。また、車両が、高温対象物が存在しやすい比較的人口の多い場所を走行しているか否かは、車両の現在位置の地域に関する情報から推定することができる。
【００１８】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、カメラの取り付け位置を説明するための図。
【図３】モード法とＰタイル法の違いを説明するための図。
【図４】この発明の一実施例に従う、車両の周辺に高温対象物が多く存在する状況における所定の割合の設定、および、該高温対象物が多く存在しない状況における所定の割合の設定を説明するための図。
【図５】この発明の一実施例に従う、対象物判定プロセスを示すフローチャート。
【図６】この発明の一実施例に従う、車両の周辺の状況を推定するのに用いる撮像画像の領域の一例を示す図。
【図７】この発明の第２の実施例に従う、周辺監視装置の構成を示すブロック図。
【図８】この発明の第３の実施例に従う、周辺監視装置の構成を示すブロック図。
【図９】この発明の第３の実施例に従う、車両の周辺の状況を推定するためのプロセスのフローチャート。
【発明を実施するための形態】
【００２０】
次に図面を参照してこの発明の実施の形態を説明する。
【００２１】
図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。
【００２２】
この実施例では、図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
【００２３】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。
【００２４】
ここで、具体的な実施例を述べる前に、図３〜図５を参照して本願発明の基本的な考え方を述べる。
【００２５】
図３を参照すると、（ａ）は、一の撮像画像の輝度値ヒストグラムを示し、（ｂ）は、他の撮像画像の輝度値ヒストグラムを示す。撮像画像の輝度値を二分するのは、高温対象物領域を、それ以外の背景領域から区別するためである。前述したように、撮像画像の輝度値を二分する手法として、いわゆるモード法と呼ばれるものがある。（ａ）のように、背景に対応するピーク１１１と高温対象物に対応するピーク１１３が明瞭に出現した場合には、両者のピークの間に閾値ＴＨを設定することにより、高温対象物を、背景から良好に分離して抽出することができる。
【００２６】
しかしながら、車両の周辺の状況によっては、（ｂ）のように、上記のような２つのピークが明瞭に出現しない輝度値ヒストグラムが得られる場合もある。このような場合に対処するため、この発明では、Ｐタイル法を用いる。
【００２７】
Ｐタイル法は、周知のごとく、ヒストグラムの全体の度数（最小輝度値Ｌから最大輝度値Ｈまでの度数の和）に対して所定の割合Ｓ（％）を設定し、累積度数がＳ％となる高輝度範囲と、累積度数が（１００―Ｓ）％となる低輝度範囲とに、輝度値を二分する方法である。図には、高輝度範囲が、斜線が付された領域Ａ１によって示され、低輝度範囲は、領域Ａ２によって示されている。領域Ａ１と領域Ａ２の面積比率は、Ｓ：（１００−Ｓ）である。
【００２８】
たとえば、ヒストグラムの全体の度数を１０００個（撮像画像の画素数に相当する）とし、所定の割合Ｓを３０％とすると、輝度値の最大値Ｈから度数を加算していき、その累積度数が、１０００×Ｓ（％）である３００個に達した所の輝度値を、閾値ＴＨとする。撮像画像の輝度値は、閾値ＴＨ以上の高輝度範囲Ａ１と、ＴＨより低い低輝度範囲Ａ２とに、二分される。閾値ＴＨ以上の高輝度範囲Ａ１内の輝度値を有する対象物が、高温対象物として抽出される。
【００２９】
このように、Ｐタイル法を用いれば、２つのピークが出現しない撮像画像についても輝度値を二分することができる。しかしながら、上記の所定の割合（比率）Ｓを固定値にすると、所望の対象物を背景から良好に分離して抽出することは困難である。
【００３０】
この点について説明すると、図４の（ａ）は、市街地の幹線道路を走行している場合に車両に搭載されたカメラ１Ｒで撮像された画像（グレースケール画像）の一例を示し、図４の（ｂ）は、郊外の一般道路を走行している場合に車両に搭載されたカメラ１Ｒで撮像された画像（グレースケール画像）の一例を示す。赤外線カメラを用いているので、対象物が高温なほど、白い領域として撮像されている。
【００３１】
両者を比較して明らかなように、（ａ）のような場所を走行していると、歩行者１０１等の高温対象物だけでなく、他の車両１０３や街灯１０５のような比較的高温を呈する人工構造物が多く存在しており、そのために、撮像画像上には、白または白に近い画像領域が多く存在する。他方、（ｂ）のような場所を走行していると、車両の周辺には高温対象物がほとんど存在せず、この例では、動物１０７が存在しているにすぎない。そのため、（ａ）に比べて、白または白に近い画像領域が少ない。
【００３２】
（ｃ）は、（ａ）のような車両の周辺に高温対象物が多く存在している状況で撮像された画像の輝度値ヒストグラムを示し、（ｄ）は、（ｂ）のような車両の周辺に高温対象物がほとんど存在しない状況で撮像された画像の輝度値ヒストグラムを示す。両者を比較して明らかなように、（ｃ）では、矢印１２１に示すように、輝度の高い領域で度数が高くなっているが、（ｄ）では、矢印１２３に示すように、輝度の高い領域での度数が低い。
【００３３】
高温対象物を背景から良好に分離するためには、輝度の高い領域で度数が高くなっている部分（山の部分）のみを、他の部分と分離するのが望ましい。したがって、（ａ）では、上記のＰタイル法による所定の割合Ｓを、高めの値Ｓ２に設定し、（ｂ）では、該所定の割合Ｓを、低めの値Ｓ１（＜Ｓ２）に設定するのが好ましい。図には、所定の割合がＳ２である場合の閾値がＴＨ２で示され、所定の割合がＳ１である場合の閾値がＴＨ１で示されている。前述したように、閾値ＴＨ２は、（ｃ）の輝度値ヒストグラムにおいて、輝度値の最大値Ｈから度数を加算していき、その度数の合計が、全体の度数に対するＳ２（％）となった所の輝度値であり、閾値ＴＨ１は、（ｄ）の輝度値ヒストグラムにおいて、輝度値の最大値Ｈから度数を加算していき、その度数の合計が、全体の度数に対するＳ１（％）となった所の輝度値である。
【００３４】
（ｃ）では、閾値ＴＨ２以上の高輝度範囲Ａ１（斜線で示されている）内の輝度値を有する対象物が、高温対象物として抽出され、（ｄ）では、閾値ＴＨ１以上の高輝度範囲Ａ１（斜線で示されている）内の輝度値を有する対象物が、高温対象物として抽出される。
【００３５】
仮に、（ｃ）のような輝度値ヒストグラムに、所定の割合Ｓとして低めの値Ｓ１を設定すると、図の点線１２５で二分されることとなる。これでは、高温対象物として抽出すべき領域の一部が、高輝度範囲Ａ１から外れてしまい、よって、高温対象物のみを背景から分離することが困難となる。また、（ｄ）のような輝度値ヒストグラムに、所定の割合Ｓとして高めの値Ｓ２を設定すると、図の点線１２７で二分されることとなる。これでは、高温対象物として抽出される高輝度範囲に背景部分を含んでしまい、よって、高温対象物のみを背景から分離することが困難となる。
【００３６】
よって、この発明では、車両の周辺の状況を推定し、（ａ）のような高温対象物が多く存在する状況と推定されたならば、（ｃ）のように、所定の割合Ｓを高めの値Ｓ２に設定する。他方、車両の周辺の状況を推定し、（ｂ）のような高温対象物が多く存在する状況ではないと推定されたならば、（ｄ）のように、所定の割合Ｓを低めの値Ｓ１に設定する。車両の周辺の状況に応じて、輝度値を二分するための所定の割合Ｓを変更するので、車両の周辺の状況に適したように、撮像画像の輝度値を二分することができ、よって、高温対象物を背景から良好に分離して抽出することができる。
【００３７】
以下の実施例では、図４の（ａ）および（ｃ）のような、所定の割合Ｓに高めの値Ｓ２が設定されるべき状況、すなわち車両の周辺に高温の対象物が多く存在する状況を第１の状況とし、図４の（ｂ）および（ｄ）のような、所定の割合Ｓに低めの値Ｓ１が設定されるべき状況、すなわち車両の周辺に高温の対象物が多く存在しない状況を第２の状況と呼ぶ。
【００３８】
図５は、この発明の一実施例に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００３９】
ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。
【００４０】
ステップＳ１４において、グレースケール画像（右画像でよく、代替的に、左画像でもよい）の輝度値ヒストグラムを作成する。ステップＳ１５において、車両の周辺の状況を推定する。この推定手法についての詳細は後述される。
【００４１】
ステップＳ１６において、推定の結果、前述した第１の状況が推定されたならば、ステップＳ１７において、Ｐタイル法で用いる所定の割合Ｓを、所定値Ｓ２に設定する。前述した第２の状況が推定されたならば、ステップＳ１８において、該所定の割合Ｓを、所定値Ｓ１に設定する。ここで、Ｓ１＜Ｓ２である。こうして、第１の状況すなわち車両周辺に高温対象物が多く存在する状況が推定された場合には、所定の割合Ｓが高めの値Ｓ２に設定され、そうでない第２の状況では、所定の割合Ｓが低めの値Ｓ１に設定される。したがって、第１の状況においては、歩行者や動物等の生体が、抽出される高輝度範囲から外れて背景に分類されてしまうのを防止すると共に、第２の状況においては、背景が、抽出される高輝度範囲に含まれてしまうのを、より確実に防止することができる。結果として、車両の周辺の状況に適したように、輝度値を二分することができる。
【００４２】
ステップＳ２１において、右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を、所定の割合Ｓを用いたＰタイル法によって行う。所定の割合Ｓ（％）に所定値Ｓ１が設定された場合には、輝度値ヒストグラムの全体の度数Ｎに対し、該ヒストグラム上の最大輝度値Ｈから、Ｎ×Ｓ１（％）個分の輝度値の画素については「１」（白）とし、それ以外の輝度値の画素については「０」（黒）とする。言い換えれば、前述したように、該所定の割合Ｓ１に対応する閾値ＴＨ１を求め、該閾値ＴＨ１以上の輝度値の画素については「１」（白）とし、該閾値ＴＨ１より低い輝度値の画素については「黒」（０）とする。この２値化処理により、閾値ＴＨ１に対応する温度以上の対象物が、白領域として抽出される。所定の割合Ｓに所定値Ｓ２が設定された場合も、同様の手法で２値化が行われる。
【００４３】
ステップＳ２２において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。
【００４４】
ステップＳ２３およびＳ２４において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物の候補が抽出される。
【００４５】
ステップＳ２５において、抽出された対象物候補が、検出すべき対象物かどうかを判定するための対象物判定プロセスを実行する。具体的には、抽出された対象物が、歩行者であるか、動物であるか、人工構造物であるかの判定が行われる。これらの判定は、任意の既知の手法を用いて行われることができる。たとえば、歩行者判定処理は、特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。たとえば、動物判定処理は、特開２００７−３１０７０５号公報、特開２００７−３１０７０６号公報等に記載されている。たとえば、人工構造物判定処理については、特開２００７−３１０７０５号公報、特開２００８−２７６７８７号公報等に記載されている。
【００４６】
ステップＳ２６では、ステップＳ２５で判定された対象物が、検出すべき対象物ならば、通報（警報）を行う。この実施例では、検出すべき対象物は、歩行者や動物等の生体である。したがって、対象物が歩行者や動物等の生体であると判定された場合には、運転者に対して通報を出力する。通報は、任意の形態で出力されることができ、たとえば、ＨＵＤ４の表示画面４ａ上に撮像画像を表示し、該撮像画像上に撮像されている対象物を強調表示（たとえば、対象物を枠で囲んで表示）することができる。また、このような強調表示に加え、または強調表示に代えて、スピーカ３を介して対象物が存在することを運転者に知らせてもよい。他方、ステップＳ２５で判定された対象物が、人工構造物である場合には、警通報の対象物ではないので、通報することなく当該プロセスを抜ける。
【００４７】
なお、以上の処理に加え、過去の複数の撮像画像について、同一対象物を追跡（トラッキング）すると共に、対象物への距離を、カメラ１Ｒおよび１Ｌの２枚の撮像画像に基づいて算出し、対象物が、車両の周辺の所定範囲に存在するかどうか、および該所定範囲に侵入するおそれがあるかどうかを判定するようにしてもよい。これらの処理の詳細は、たとえば特開２００１−００６０９６号公報に記載されている。
【００４８】
以下に、ステップＳ１５で実施される、車両の周辺の状況を推定する処理について、いくつかの実施例を説明する。
【００４９】
第１の実施例では、ステップＳ１３で取得された撮像画像（グレースケール画像）を用いて、この推定を行う。撮像画像を用いた場合、さらに以下の２つの形態が考えられる。
１）撮像画像の輝度値を用いた形態
２）撮像画像に撮像されている対象物を用いた形態
【００５０】
上記１）について説明すると、図４の（ａ）と（ｂ）を比較して明らかなように、（ａ）の撮像画像においては、車両の左右周辺に、背景よりも高温の対象物が様々に点在しているのに対し、（ｂ）の撮像画像においては、車両の左右周辺においてこのような点在は見られず、ほとんど背景部分となっている。
【００５１】
したがって、図６（ａ）および（ｂ）に示すように、図４（ａ）および（ｂ）のそれぞれの撮像画像の所定の領域、好ましくは撮像画像の左右端に設定された所定領域１３１Ｌおよび１３１Ｒの輝度値の分散を算出する。（ａ）のような状況下では、上記のように様々な対象物が点在しているので、領域１３１Ｌおよび１３１Ｒの輝度値のばらつき、すなわち分散は高くなる。他方、（ｂ）のような状況下では、対象物が車両周辺にほとんど存在しないので、領域１３１Ｌおよび１３１Ｒの輝度値のばらつき、すなわち分散は低くなる。
【００５２】
したがって、一例では、撮像画像の所定領域１３１Ｌおよび１３１Ｒの輝度値の分散（標準偏差でもよい）を算出し、該分散の値が所定値より高ければ第１の状況と推定し、該所定値以下であれば第２の状況と推定する。
【００５３】
分散に代えて、平均値を用いてもよい。図６（ａ）の領域１３１Ｌおよび１３１Ｒには、車両の周辺に存在する対象物によって高輝度が多く含まれるのに対し、図６（ｂ）の領域１３１Ｌおよび１３１Ｒには、このような対象物がほとんど存在しないため、高輝度が含まれることも少ないからである。
【００５４】
したがって、他の例では、撮像画像の左右端の所定領域１３１Ｌおよび１３１Ｒの輝度値の平均値を算出し、該平均値が所定値より高ければ第１の状況と推定し、該所定値以下であれば第２の状況と推定する。
【００５５】
ここで、所定領域１３１Ｌおよび１３１Ｒは、図６に示すように、撮像画像の左右端に設定されるのが好ましい。車両が道路を走行しているとき、（ａ）のような市街地においては、該道路の左右に、歩行者や建物等の人工構造物が存在する。他方、撮像画像の中央の領域は、道路前方の領域であるので、これらの対象物が撮像されない可能性がある。したがって、該道路の左右に存在するこれらの対象物が撮像されるように、撮像画像の左右端に所定領域１３１Ｌおよび１３１Ｒは設定されるのがよい。さらに、道路の左右に存在する対象物が撮像されるように、所定領域１３１Ｌおよび１３１Ｒの水平方向の幅は設定されるのがよい。
【００５６】
また、所定領域を下方に伸長すると、該所定領域に道路が含まれるおそれがある。さらに、高い建物が無い場合には、所定領域を上方に伸長すると、該所定領域に空が含まれるおそれがある。道路や空の部分が所定領域に含まれると、（ａ）のような市街地でも、分散や平均が低く算出されるおそれがある。このようなことを防止するため、所定領域の垂直方向の長さは、道路や空を含まないように、画像の底辺から所定距離離れた所から、画像の上辺から所定距離離れた所まで伸長するよう設定されるのがよい。
【００５７】
次に、上記２）について説明すると、図４（ａ）のように、高温対象物が周辺に多く存在する状況で撮像された画像からは、図４（ｂ）のような撮像画像に比べて、抽出される対象物の個数が多い。この点に着目し、一例では、抽出される対象物の個数から、車両の周辺の状況を推定する。
【００５８】
具体的には、ステップＳ１５が実行される時点では、上で述べたように、今回撮像した画像については、未だ対象物の抽出処理は行われていない。他方、図５のプロセスは、よりリアルタイムに対象物の通報を行うため、その実行サイクル（周期）は比較的短く設定される（たとえば、１００ミリ秒）ので、今回の撮像画像と前回の撮像画像の差異は小さい。したがって、前回の撮像画像を用いることができる。
【００５９】
すなわち、前回のサイクルで図５のプロセスを実行した時点でステップＳ２４において抽出された対象物の個数が所定値以上ならば、第１の状況と推定し、該所定値より少なければ、第２の状況と推定する。代替的に、前回のサイクルまで連続して撮像された所定数の撮像画像に対する対象物抽出結果を用いてもよい。たとえば、撮像画像１枚あたりの対象物抽出個数の平均値を算出し、該平均値が所定値以上ならば、第１の状況と推定し、該所定値より小さければ、第２の状況と推定する。
【００６０】
また、他の例では、所定の種類の対象物の個数から、車両の周辺の状況を推定する。所定の種類の対象物として、一例では、人工構造物を用いる。図４（ａ）のように、高温対象物が車両周辺に多く存在する状況は、或る程度以上の人口が存在している場所で起こり、よって、人工構造物の数が多い場所で起こると考えることができる。したがって、人工構造物の数に応じて、車両周辺の状況を推定する。具体的には、人工構造物の判定処理は、図５のステップＳ２５で行われるので、今回の撮像画像については未だ人工構造物は判定されていない。したがって、前回の撮像画像を用いる。前回のサイクルで図５のプロセスを実行した時点でステップＳ２５において判定された人工構造物の個数が所定値以上ならば、第１の状況と推定し、該所定値より少なければ、第２の状況と推定する。代替的に、前回のサイクルまで連続して撮像された所定数の撮像画像に対する人工構造物判定結果を用いてもよい。たとえば、撮像画像１枚あたりの人工構造物の個数の平均値を算出し、該平均値が所定値以上ならば、第１の状況と推定し、該所定値より小さければ、第２の状況と推定する。
【００６１】
ここで、個数を数える対象となる人工構造物の種類を、さらに特定してもよい。該特定の種類の人工構造物が所定数以上存在するかどうかに応じて、第１または第２の状況を推定してもよい。該特定の種類は、高温対象物が多く存在する場所で存在する種類のものとして選択される。たとえば、市街地では、所定高さ以上の照明物（街灯、看板のライト、建物のライトを含む）が多く存在しており、これを、特定の種類の人工構造物とすることができる。特定する種類の数は、１つでもよく、複数でもよい。複数の場合は、いずれかの種類の人工構造物の数が所定数以上かどうかに応じて第１または第２の状況を推定してもよいし、すべての種類の人工構造物の数が所定数以上かどうかに応じて第１または第２の状況を推定してもよい。
【００６２】
なお、人工構造物の種類の判定は、ステップＳ２５の対象物判定処理に含めることができる。典型的には、形状および大きさの観点から、人工構造物の種類を特定することが行われる。たとえば、該特定の種類の人工構造物の形状をモデル化したテンプレートを用いて周知の形状マッチングを行うと共に、抽出された対象物の実空間での大きさが、該特定の種類の人工構造物に相当する範囲内かどうかを判断する。形状マッチングを行った結果の類似度（相関の程度）が所定値より高く、かつ算出された大きさが、該特定の種類の人工構造物に相当する範囲内であれば、対象物が、該特定の種類の人工構造物であると判定する。代替的に、形状および大きさのいずれか一方に基づいて、該特定の種類の人工構造物を判定してもよい。
【００６３】
上記の所定の種類の対象物として、他の例では、歩行者を用いる。歩行者の数が多ければ、高温対象物が周辺に多く存在する状況を示すからである。この場合、前回の撮像画像を用い、前回のサイクルで図５のプロセスを実行した時点でステップＳ２５において判定された歩行者の数が所定値以上ならば、第１の状況と推定し、該所定値より少なければ、第２の状況と推定する。人工構造物の場合と同様に、前回のサイクルまで連続して撮像された所定数の撮像画像に対する歩行者判定結果を用いてもよい。
【００６４】
なお、上記の対象物の数または所定の種類の対象物の数は、車両から所定の距離値内に存在するものを対象に数えるようにしてもよい。こうすることにより、車両の近傍の状況を、より確実に見極めることができる。ここで、対象物の車両からの距離は、この実施例では、図１に示すように一対のカメラ１Ｒおよび１Ｌを用いているので、周知の三角測量法を用いて算出されることができる。
【００６５】
以上述べた第１の実施例では、様々な条件を用いて車両の周辺の状況を推定しているが、これらの条件のうち、１つを用いてもよいし、任意の複数のものを用いてもよい。後者の場合には、いずれかの条件が満たされた場合、または任意の複数の条件が満たされた場合に第１の状況と推定し、それ以外の場合は第２の状況と判定してもよい。
【００６６】
次に、第２の実施例について説明する。図７は、第２の実施例に基づく、車両の周辺監視装置のブロック図を示す。図１と異なるのは、車両の運転状態を検出する運転状態検出手段２１が設けられており、運転状態検出手段２１によって検出された運転状態は、画像処理ユニット２に入力される点である。図５のプロセスは該第２の実施例にも同様に適用され、この場合、ステップＳ１５では、該検出された運転状態を用いて、車両の周辺の状況を推定する。
【００６７】
一例では、運転状態検出手段２１は、車速を検出する手段であり、たとえば車速センサにより実現されることができる。たとえば、高速道路では制限速度が通常設けられているので、所定時間間隔で車速を検出し、該車速が、該制限速度以上であって所定時間以上継続した場合には、高速道路を走行していると推定することができる。高速道路は、車両の周辺にほとんど高温対象物が存在しない。したがって、高速道路と推定された場合には、第２の状況と推定し、高速道路ではないと推定された場合には、第１の状況と推定する。
【００６８】
他方、図４（ａ）のような市街地を走行しているときには、図４（ｂ）のような郊外を走行しているときに比べ、信号や歩行者等の存在により、車両は頻繁に停止または低速で走行する。市街地は、高温対象物が的多く存在する場所である。したがって、所定時間間隔で車速を検出し、該検出された車速に基づいて所定時間の平均車速を算出し、該平均車速が所定値以下の場合には、第１の状況と推定し、該所定値より大きければ、第２の状況と推定してもよい。
【００６９】
他の例では、運転状態検出手段２１は、車両の舵角を検出する手段であり、たとえば舵角センサにより実現されることができる。図４（ａ）のような市街地を走行している場合には、図４（ｂ）のような郊外を走行している場合に比べ、より頻繁にハンドルの操舵が行われる。したがって、所定時間間隔で舵角を検出し、所定時間にわたり、該舵角が所定値以上の大きさで変化する頻度をカウントし、該頻度が所定値以上ならば、第１の状況と推定し、該所定値より小さければ、第２の状況と推定することができる。
【００７０】
さらなる他の例では、運転状態検出手段２１は、車両のヨー角（車両重心の垂直方向軸回りの回転角度）を検出する手段であり、たとえばヨーレートセンサによって実現されることができる。図４（ａ）のような市街地は、図４（ｂ）のような郊外を走行している場合に比べ、曲がり角が多い。したがって、所定時間間隔でヨー角を検出し、所定時間にわたり、該ヨー角が所定値以上の大きさで変化する頻度をカウントし、該頻度が所定値以上ならば、第１の状況と推定し、該所定値より小さければ、第２の状況と推定することができる。
【００７１】
次に、第３の実施例について説明する。図８は、第３の実施例に基づく、車両の周辺監視装置のブロック図を示す。図１と異なるのは、ナビゲーションユニット２５が画像処理ユニット２に接続されている点である。
【００７２】
ナビゲーションユニット２５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を受信し、該ＧＰＳ信号に基づいて、車両１０の現在位置を検出する。ナビゲーションユニット２５は、地図情報を記憶する地図情報記憶部２７を備える。地図情報記憶部２７は、任意の記憶装置（記録媒体やハードディスクドライブなど）に実現されることができる。ナビゲーションユニット２５は、地図情報記憶部２７に記憶された地図情報を読み出して、所定の表示装置（ＨＵＤ４でもよい）の表示画面上に表示することができる。
【００７３】
図５のプロセスは該第３の実施例にも同様に適用され、この場合、ステップＳ１５では、該ナビゲーションユニット２５を介して検出された車両の現在位置を取得すると共に、該現在位置が存在する道路および地域の少なくとも一方に関する情報を取得し、該情報を用いて、車両の周辺の状況を推定する。
【００７４】
まず、道路に関する情報を用いて車両の周辺の状況を推定する場合を述べる。この実施例では、道路に関する情報として、道路の種別情報を用いる。道路の種別は、ナビゲーションユニット２５の地図情報内に、各道路の属性情報として予め設定されている。たとえば、地図情報の道路種別情報は、高速道路、都市高速道路、有料道路、一般道路（国道、県道、その他）等を示す。したがって、車両が現在走行している位置の道路の道路種別情報を地図情報から取得することにより、該道路が高速道路かどうかを判断することができる。
【００７５】
代替的に、地図情報に道路種別情報が設定されていない場合には、地図情報とは別個のテーブルに、各道路について高速道路かどうかを示す情報を設定し（たとえば、高速道路か否かを示すフラグを、各道路の名称に対応づけて設定することができる）、該テーブルをメモリ等の記憶装置に記憶することができる。車両が現在走行している位置の道路の名称を地図情報から取得し、該取得した名称に基づいて該テーブルを参照することにより、道路が高速道路かどうかを判断することができる。
【００７６】
前述したように、高速道路は、周辺に高温対象物がほとんど存在しない状況である、したがって、高速道路と判断されたならば、第２の状況と推定し、そうでない場合には、第１の状況と推定する。
【００７７】
次に、地域に関する情報を用いて車両の周辺の状況を推定する場合を述べる。地域に関する情報として、「街」か否かを示す情報を用いる。ここで、「街」は、或る程度の数の人口が存在する場所である。「街」は、任意の情報源に基づいて、任意の適切な条件を満たす地域として定義されることができる。たとえば、日本の場合、市区町村の単位で「街」かどうかを決定し、人口密度が所定値以上であれば「街」に分類し、人口密度が該所定値より小さければ、「街」以外に分類することができる。また、人口密度に加え、その地域への就業や通学のための流入人口を考慮してもよい。たとえば、人工密度が該所定値より小さくても、流入人口が所定値以上ならば、その地域には企業等の人間が比較的多く存在しており、よって「街」に分類されることができる。また、通常、ビルや家屋等の建物の数が多いほど、人間が多く存在するため、建物の数が所定値以上であれば「街」に分類し、そうでなければ「街」以外に分類するようにしてもよい。
【００７８】
代替的に、所定の動物（たとえば、鹿などの所定の大型動物）について、過去に出没したとの情報、生息地域の情報、およびこれらの動物の出没の可能性を示す標識が設置されている場所の情報等に基づいて、動物が出没する可能性のある地域を特定し、これらの地域については「街」以外に分類し、そうでない地域については「街」に分類するようにしてもよい。
【００７９】
こうして、各市区町村に、「街」か否かを示す情報が関連づけられて、地図情報に予め記憶されることができる（たとえば、「街」か否かを示すフラグを、その地名に対して設定する）。代替的に、地図情報とは別個のテーブルに、各市区町村について、街か否かを示す情報（上記のようなフラグでよい）を設定してメモリ等に記憶してもよい。地図情報または該テーブルを参照することにより、車両の現在走行している場所が「街」に分類されているか否かを判断することができる。
【００８０】
「街」は、或る程度の人口が存在する場所であるから、高温対象物が多く存在する場所である。したがって、車両の現在位置の地域が、「街」であると判断されたならば、第１の状況と推定し、そうでない場合には、第２の状況と推定する。
【００８１】
なお、上で述べたような、道路の種別を表す情報および「街」かどうかを示す情報を、ユーザが登録することができるようにしてもよい。たとえば、表示装置上に表示された地図情報上で、ユーザが、「街」に分類されるべき市区町村を、たとえばタッチパネルを介して指定し、画像処理ユニット２は、該指定された地域に対し、「街」であることを示すフラグを設定して地図情報に記憶することができる。
【００８２】
また、ナビゲーションユニット２５の通信機能を利用して、これらの情報をリアルタイムに取得するようにしてもよい。たとえば、車両は、所定のコンピュータ（サーバ等）と通信し、該サーバには、各道路および各市区町村について、道路種別情報および「街」かどうかを示す情報が記憶されている。車両は、車両の現在位置をサーバに送信し、サーバは、該現在位置について設定されているこれらの情報を、車両に知らせることができる。また、既存のＶＩＣＳシステム等の交通情報を車両に提供するシステムを利用し、該交通情報の一貫として、これらの情報を車両に送信するようにしてもよい。
【００８３】
ここで、図９を参照して、ステップＳ１５で実行される、ナビゲーション機能を用いた車両周辺の状況を推定する処理のフローを説明する。
【００８４】
ステップＳ３１において、ナビゲーションユニット２５を介して、車両の現在位置を取得する。ステップＳ３２において、ナビゲーションユニット２５の地図情報から、該現在位置の道路の種別を取得する。前述したように、ナビゲーションユニット２５の地図情報には、各道路について、その属性情報として道路の種別を表す情報が設定されている。
【００８５】
ステップＳ３３において、取得した道路種別情報に基づいて、現在位置の道路が高速道路かどうかを判断する。高速道路ならば（ステップＳ３３がＹｅｓ）、ステップＳ３４においてフラグＲｏａｄ＿ｆｌａｇに値１を設定し、高速道路でなければ（ステップＳ３３がＮｏ）、ステップＳ３５においてフラグＲｏａｄ＿ｆｌａｇに値２を設定する。
【００８６】
ステップＳ３６において、ナビゲーションユニット２５の地図情報から、該現在位置が属する地域について設定されている「街」か否かを示す情報を取得する。前述したように、地図情報には、市区町村等の単位で、「街」かどうかを示す情報が設定されている。
【００８７】
ステップＳ３７において、取得した「街」か否かを示す情報に基づいて、現在位置の地域が「街」に分類されているかどうかを判断する。「街」であると判断されたならば（ステップＳ３７がＹｅｓ）、ステップＳ３８においてフラグＴｏｗｎ＿ｆｌａｇに値１を設定し、「街」ではないと判断されたならば（ステップＳ３７がＮｏ）、ステップＳ３９においてフラグＴｏｗｎ＿ｆｌａｇに値２を設定する。
【００８８】
ステップＳ４０において、Ｒｏａｄ＿ｆｌａｇが値１であるか、または、Ｔｏｗｎ＿ｆｌａｇが値２であるかどうかを判断する。Ｒｏａｄ＿ｆｌａｇが値１である、またはＴｏｗｎ＿ｆｌａｇが値２であるならば、車両の現在位置が、高速道路であるか、または「街」ではない地域に存在していることを示す。これは、高温対象物は多く存在しない状況を示すので、ステップＳ４１で第２の状況と推定する。他方、ステップＳ４０の判断がＮｏであるとき、Ｒｏａｄ＿ｆｌａｇが値２であるか、またはＴｏｗｎ＿ｆｌａｇが値１である場合を示し、これは、車両の現在位置が、高速道路ではないか、または「街」である地域に存在していることを示す。これは、高温対象物が多く存在する状況を示すので、ステップＳ４２で第１の状況と推定する。
【００８９】
以上述べてきた第１〜第３の実施例では、所定の割合Ｓとして、２つの値Ｓ１およびＳ２を用いているが、このような形態には限定されず、車両の周辺の状況に応じて、所定の割合Ｓを、値Ｓ１とＳ２の間で徐々に変化させるようにしてもよい。
【００９０】
たとえば、第１の実施例では、撮像画像の所定の領域の輝度値の分散または平均値の値が高くなるほど、低めの値Ｓ１から高めの値Ｓ２に向けて、所定の割合Ｓを徐々に変化させることができ、この逆も同様である。また、第１の実施例では、抽出された対象物の個数または所定の種類の対象物の個数が多いほど、低めの値Ｓ１から高めの値Ｓ２に向けて、所定の割合Ｓを徐々変化させることができ、この逆も同様である。
【００９１】
また、上で述べてきた第１〜第３実施例においては、所定の割合Ｓを、第１および第２の状況のいずれかが推定されたことに応じて２つの値Ｓ１およびＳ２の間で切り換えているが、この切り換えの際に、所定の割合Ｓを一時に値Ｓ１とＳ２の間で変化させるのではなく、徐々に変化させるようにしてもよい。
【００９２】
たとえば、前回のサイクルで第２の状況と推定され、今回のサイクルで第１の状況と推定されたとき、該今回のサイクルでは、所定の割合Ｓの前回値に所定の増分値α（ただし、｜α｜＜｜Ｓ２−Ｓ１｜）を加算した値を、所定の割合Ｓの今回値とする。次に第２の状況と推定されるまでの期間にわたり、高めの値Ｓ２を上限値として、サイクル毎に、所定の割合Ｓの前回値に増分値αが加算されていく。ここで、増分値αは、サイクル毎に一定であってもよいし、一定でなくてもよい。
【００９３】
同様に、前回のサイクルで第１の状況と推定され、今回のサイクルで第２の状況と推定されたとき、該今回のサイクルでは、所定の割合Ｓの前回値に所定の減分値α（負の値を有し、｜α｜＜｜Ｓ２−Ｓ１｜）を加算した値を、所定の割合Ｓの今回値とする。次に第１の状況と推定されるまでの期間にわたり、低めの値Ｓ１を下限値として、サイクル毎に、所定の割合Ｓの前回値に減分値αが加算されていく。ここで、減分値αは、サイクル毎に一定であってもよいし、一定でなくてもよい。
【００９４】
こうして、輝度値を二分する閾値の急激な変化を抑制することができる。特に、値Ｓ１からＳ２への切り換えを一時に行うと、高温対象物として抽出される面積の比率が一時に大きくなるため、車両の周辺の状況によっては、抽出される高輝度範囲に背景を含んでしまうおそれがある。上記のような切り換えにより、このような状況を回避することができる。
【００９５】
上で述べた実施例では、所定の割合Ｓの更新を行うステップＳ１４〜Ｓ１８は、図５のプロセスの一環として行われているが、代替的に、ステップＳ１４〜Ｓ１８を、他のステップとは別のプロセスとしてもよい。この場合、ステップＳ１４〜Ｓ１８のプロセスの実行サイクルを変更することにより、該所定の割合Ｓの更新周期を可変としてもよい。
たとえば、高温対象物が多く存在する市街地のような場所では、高温対象物の突然の出現や消滅が頻繁に起こることがある。このような高温対象物に対処するため、第１の状況と推定されている間は、所定の割合Ｓの更新周期を短くするのがよい。
【００９６】
他方、周辺に存在する高温対象物の大きさによっては、車両に接近するよう撮像されるにつれて、その高温対象物が撮像される面積が大きくなる。そのため、たとえば上記の第１の実施例の輝度値に基づいて第１または第２の状況を推定しているような場合に、短期間で所定の割合Ｓを更新していくと、所定の割合Ｓが、低めの値Ｓ１から高めの値Ｓ２に変更されたり、該高めの値Ｓ２に向けて増大するおそれがある。低めの値Ｓ１に設定すべき状況において高めの値Ｓ２が用いられると、図４を参照して説明したように、抽出される高輝度範囲に背景を含むおそれが生じる。このようなことを防止するため、第２の状況と推定されている間は、所定の割合Ｓの更新周期を長くするのがよい。
【００９７】
したがって、一例では、所定の割合Ｓに高めの値Ｓ２が設定される場合には、更新周期を短くし、低めの値Ｓ１が設定される場合には、更新周期を、それよりも長くすることができる。代替的に、所定の割合Ｓが、高めの値Ｓ２から低めの値Ｓ１に向かうにつれて、更新周期を徐々に長くするようにしてもよい。いずれの場合にも、一番短い周期を、図５のプロセスの周期と同じとなるよう設定することができる。
【００９８】
また、上記の実施形態では、図１に示すように、２つの赤外線カメラを用いた構成となっているが、この発明は、１つの赤外線カメラを用いて撮像された画像にも適用可能である。１つのカメラの場合、対象物までの距離値は、たとえばレーダなどを用いて検出するようにしてもよいし、該カメラの撮像画像において対象物が撮像された位置から、対象物までの距離を推定するようにしてもよい。
【００９９】
また、図５のプロセスでは、上記に述べたようにして設定された所定の割合Ｓを用いて、ステップＳ２１で画像の二値化して黒白画像を生成しているが、このような黒白画像を生成すること自体は、必ずしも行わなくてもよい。すなわち、グレースケール画像から、所定の割合Ｓによって規定される高輝度範囲に属する画素のみを直接抽出し、これらの画素に基づいて。ステップＳ２２以下を実施してもよい。
【０１００】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【０１０１】
１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ ヘッドアップディスプレイ
【技術分野】
【０００１】
この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の状況に応じて、対象物を抽出するための閾値を変更する装置に関する。
【背景技術】
【０００２】
従来より、画像において、所望の対象物を背景から分離する方法として、所定の閾値で二値化する手法がある。下記の特許文献１では、ＣＣＤなどの撮像素子を用いて撮像された画像において、認識すべき物体自身に明るさのむらがある場合でも、物体と背景とを分離するよう、二値化で用いる閾値を変更することが記載されている。
【０００３】
他方、赤外線カメラを用いて、車両の周辺を監視することが提案されている。歩行者および動物などの生体は、背景に比べて通常高温であるため、赤外線カメラを用いれば、これらの生体を背景から区別して検出することができる。赤外線カメラにより撮像された画像において、下記の特許文献２には、いわゆるモード法を利用した二値化の閾値設定手法が記載されている。モード法によると、輝度値ヒストグラムにおいて、背景に対応するピークと、高温対象物に対応するピークとの間で、画像中の輝度値を二分する閾値を決定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３１５１５３号公報
【特許文献２】特許３７５６４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
赤外線カメラで車両周辺を撮像した場合に、その撮像画像の輝度値ヒストグラムにおいて、背景に対応するピークと高温対象物に対応するピークの２つのピークが出現すれば、上記のようなモード法を利用して閾値を設定するのは有効である。
【０００６】
しかしながら、赤外線カメラによる撮像画像には、車両の周辺の状況によって様々な対象物が撮像されることがあり、２つのピークが明瞭に出現しないことがある。そのような場合、モード法を利用するのは困難である。他方、固定の閾値で輝度値を分類すると、検出すべき所望の対象物を、背景から良好に分離して抽出することができないおそれがある。
【０００７】
したがって、赤外線カメラを用いた撮像画像において、上記のような２つのピークが明瞭に出現しない場合でも、所望の対象物を背景から良好に抽出可能なように、輝度値を二分することができる手法が望まれている。
【課題を解決するための手段】
【０００８】
この発明の一つの側面によると、車両周辺監視装置は、車両に搭載された赤外線カメラと、前記赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて、全体の度数に対する所定の割合Ｓ（％）を用いて、累積度数が（１００−Ｓ）％となる低輝度範囲と、累積度数がＳ％となる高輝度範囲とに二分し、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する手段と、前記抽出された対象物の候補について、前記検出すべき対象物かどうかを判定する判定手段と、前記検出すべき対象物と判定されたとき、運転者への通報を行う手段と、を備える。さらに、該装置は、前記車両の周辺に、高温対象物が多く存在する状況か否かを推定する推定手段と、前記高温対象物が多く存在する状況か否かの推定結果に応じて、前記所定の割合を変更する手段と、を備える。
【０００９】
この発明では、いわゆるＰタイル法を利用する。Ｐタイル法によれば、輝度値ヒストグラムにおいて、全体の度数に対する所定の割合Ｓを用い、累積度数が（１００−Ｓ）％となる低輝度範囲と、累積度数がＳ％となる高輝度範囲とに二分するので、２つのピークが明瞭に出現しない画像にも適用可能である。車両の周辺の状況は、走行するに従って変化し、市街地のように高温対象物が多く存在する場所がある一方で、高速道路や郊外地のように高温対象物が少ない場所がある。車両の周辺の状況にかかわらず、上記の所定の割合Ｓを固定すると、高温対象物が多く存在する場所では、抽出される対象物の候補に、検出すべき対象物が含まれなくなるおそれがあり、他方、高温対象物が少ない場所では、抽出される対象物の候補に、背景が含まれるおそれがある。この発明によれば、車両の周辺に高温対象物が多く存在する状況かどうかを推定し、その推定結果に応じて上記所定の割合Ｓを変更するので、対象物の抽出処理において、検出すべき対象物が漏れたり、背景を含んだりというような現象を、より確実に防止することができ、対象物の抽出精度を向上させることができる。
【００１０】
この発明の一実施形態によると、前記推定手段は、前記撮像画像から、所定数以上の対象物が検出された場合、所定の種類の対象物が所定数以上検出された場合、該所定数以上の対象物が前記車両から所定距離内で検出された場合、および、該所定の種類の対象物が前記車両から所定距離内で所定数以上検出された場合の少なくともいずれかが満たされた場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする。
【００１１】
この発明によれば、撮像画像の対象物を用いて、車両の周辺の状況を推定することができる。すなわち、所定数以上の対象物が検出された場合には、歩行者等の高温対象物が多く存在する状況と推定することができる。また、所定の種類の対象物、たとえば所定の人工構造物（街灯等）が所定数以上検出されたならば、やはり、歩行者等の高温対象物が多く存在する状況と推定することができる。車両からの距離を考慮することにより、このような状況を、より正確に推定することができる。また、高温対象物が多く存在する状況ではないと推定された場合には、多く存在する状況であると推定された場合に比べて、所定の割合Ｓを低くするので、より適切な閾値で輝度値を二分することができ、検出すべき対象物を良好な精度で抽出することができる。
【００１２】
この発明の一実施形態によると、前記推定手段は、前記撮像画像の所定領域における輝度値の分散または平均が所定値以上である場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする。
【００１３】
この発明によれば、撮像画像の輝度値によって、車両の周辺の状況を推定することができる。すなわち、撮像画像の所定領域の輝度値の分散が高ければ、車両の周辺に歩行者や街灯等が存在することによって輝度値のばらつきが大きくなっており、よって、高温対象物が多く存在する状況であると推定することができる。また、撮像画像の所定領域の輝度値の平均値が高ければ、車両の周辺に歩行者や街灯等が存在することによって輝度値が全体的に高くなっており、よって、高温対象物が多く存在する状況であると推定することができる。さらに、高温対象物が多く存在する状況ではないと推定された場合には、多く存在する状況であると推定された場合に比べて、所定の割合Ｓを低くするので、より適切な閾値で輝度値を二分することができ、検出すべき対象物を良好な精度で抽出することができる。
【００１４】
この発明の一実施形態によると、前記車両の運転状態を検出する検出手段を備え、前記推定手段は、前記検出手段によって検出された車両の運転状態に応じて、前記高温対象物が多く存在する状況であるか否かを推定する。
【００１５】
この発明によれば、車両の運転状態から、車両の周辺の状況を推定することができる。たとえば、車速に応じて、高温対象物が周辺にほとんど存在しない高速道路を走行しているか否かを推定することができる。
【００１６】
この発明の一実施形態によると、前記車両の現在位置を検出する検出手段を備え、前記推定手段は、前記検出手段によって検出された車両の現在位置が存在する道路および地域の少なくとも一方について取得された情報に応じて、前記高温対象物が多く存在する状況であるか否かを推定する。
【００１７】
この発明によれば、車両のナビゲーション機能を利用して、車両の周辺の状況を推定することができる。たとえば、車両が、高温対象物が周辺にほとんど存在しない高速道路を走行しているか否かは、車両の現在位置の道路についての情報から推定することができる。また、車両が、高温対象物が存在しやすい比較的人口の多い場所を走行しているか否かは、車両の現在位置の地域に関する情報から推定することができる。
【００１８】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、カメラの取り付け位置を説明するための図。
【図３】モード法とＰタイル法の違いを説明するための図。
【図４】この発明の一実施例に従う、車両の周辺に高温対象物が多く存在する状況における所定の割合の設定、および、該高温対象物が多く存在しない状況における所定の割合の設定を説明するための図。
【図５】この発明の一実施例に従う、対象物判定プロセスを示すフローチャート。
【図６】この発明の一実施例に従う、車両の周辺の状況を推定するのに用いる撮像画像の領域の一例を示す図。
【図７】この発明の第２の実施例に従う、周辺監視装置の構成を示すブロック図。
【図８】この発明の第３の実施例に従う、周辺監視装置の構成を示すブロック図。
【図９】この発明の第３の実施例に従う、車両の周辺の状況を推定するためのプロセスのフローチャート。
【発明を実施するための形態】
【００２０】
次に図面を参照してこの発明の実施の形態を説明する。
【００２１】
図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。
【００２２】
この実施例では、図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
【００２３】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。
【００２４】
ここで、具体的な実施例を述べる前に、図３〜図５を参照して本願発明の基本的な考え方を述べる。
【００２５】
図３を参照すると、（ａ）は、一の撮像画像の輝度値ヒストグラムを示し、（ｂ）は、他の撮像画像の輝度値ヒストグラムを示す。撮像画像の輝度値を二分するのは、高温対象物領域を、それ以外の背景領域から区別するためである。前述したように、撮像画像の輝度値を二分する手法として、いわゆるモード法と呼ばれるものがある。（ａ）のように、背景に対応するピーク１１１と高温対象物に対応するピーク１１３が明瞭に出現した場合には、両者のピークの間に閾値ＴＨを設定することにより、高温対象物を、背景から良好に分離して抽出することができる。
【００２６】
しかしながら、車両の周辺の状況によっては、（ｂ）のように、上記のような２つのピークが明瞭に出現しない輝度値ヒストグラムが得られる場合もある。このような場合に対処するため、この発明では、Ｐタイル法を用いる。
【００２７】
Ｐタイル法は、周知のごとく、ヒストグラムの全体の度数（最小輝度値Ｌから最大輝度値Ｈまでの度数の和）に対して所定の割合Ｓ（％）を設定し、累積度数がＳ％となる高輝度範囲と、累積度数が（１００―Ｓ）％となる低輝度範囲とに、輝度値を二分する方法である。図には、高輝度範囲が、斜線が付された領域Ａ１によって示され、低輝度範囲は、領域Ａ２によって示されている。領域Ａ１と領域Ａ２の面積比率は、Ｓ：（１００−Ｓ）である。
【００２８】
たとえば、ヒストグラムの全体の度数を１０００個（撮像画像の画素数に相当する）とし、所定の割合Ｓを３０％とすると、輝度値の最大値Ｈから度数を加算していき、その累積度数が、１０００×Ｓ（％）である３００個に達した所の輝度値を、閾値ＴＨとする。撮像画像の輝度値は、閾値ＴＨ以上の高輝度範囲Ａ１と、ＴＨより低い低輝度範囲Ａ２とに、二分される。閾値ＴＨ以上の高輝度範囲Ａ１内の輝度値を有する対象物が、高温対象物として抽出される。
【００２９】
このように、Ｐタイル法を用いれば、２つのピークが出現しない撮像画像についても輝度値を二分することができる。しかしながら、上記の所定の割合（比率）Ｓを固定値にすると、所望の対象物を背景から良好に分離して抽出することは困難である。
【００３０】
この点について説明すると、図４の（ａ）は、市街地の幹線道路を走行している場合に車両に搭載されたカメラ１Ｒで撮像された画像（グレースケール画像）の一例を示し、図４の（ｂ）は、郊外の一般道路を走行している場合に車両に搭載されたカメラ１Ｒで撮像された画像（グレースケール画像）の一例を示す。赤外線カメラを用いているので、対象物が高温なほど、白い領域として撮像されている。
【００３１】
両者を比較して明らかなように、（ａ）のような場所を走行していると、歩行者１０１等の高温対象物だけでなく、他の車両１０３や街灯１０５のような比較的高温を呈する人工構造物が多く存在しており、そのために、撮像画像上には、白または白に近い画像領域が多く存在する。他方、（ｂ）のような場所を走行していると、車両の周辺には高温対象物がほとんど存在せず、この例では、動物１０７が存在しているにすぎない。そのため、（ａ）に比べて、白または白に近い画像領域が少ない。
【００３２】
（ｃ）は、（ａ）のような車両の周辺に高温対象物が多く存在している状況で撮像された画像の輝度値ヒストグラムを示し、（ｄ）は、（ｂ）のような車両の周辺に高温対象物がほとんど存在しない状況で撮像された画像の輝度値ヒストグラムを示す。両者を比較して明らかなように、（ｃ）では、矢印１２１に示すように、輝度の高い領域で度数が高くなっているが、（ｄ）では、矢印１２３に示すように、輝度の高い領域での度数が低い。
【００３３】
高温対象物を背景から良好に分離するためには、輝度の高い領域で度数が高くなっている部分（山の部分）のみを、他の部分と分離するのが望ましい。したがって、（ａ）では、上記のＰタイル法による所定の割合Ｓを、高めの値Ｓ２に設定し、（ｂ）では、該所定の割合Ｓを、低めの値Ｓ１（＜Ｓ２）に設定するのが好ましい。図には、所定の割合がＳ２である場合の閾値がＴＨ２で示され、所定の割合がＳ１である場合の閾値がＴＨ１で示されている。前述したように、閾値ＴＨ２は、（ｃ）の輝度値ヒストグラムにおいて、輝度値の最大値Ｈから度数を加算していき、その度数の合計が、全体の度数に対するＳ２（％）となった所の輝度値であり、閾値ＴＨ１は、（ｄ）の輝度値ヒストグラムにおいて、輝度値の最大値Ｈから度数を加算していき、その度数の合計が、全体の度数に対するＳ１（％）となった所の輝度値である。
【００３４】
（ｃ）では、閾値ＴＨ２以上の高輝度範囲Ａ１（斜線で示されている）内の輝度値を有する対象物が、高温対象物として抽出され、（ｄ）では、閾値ＴＨ１以上の高輝度範囲Ａ１（斜線で示されている）内の輝度値を有する対象物が、高温対象物として抽出される。
【００３５】
仮に、（ｃ）のような輝度値ヒストグラムに、所定の割合Ｓとして低めの値Ｓ１を設定すると、図の点線１２５で二分されることとなる。これでは、高温対象物として抽出すべき領域の一部が、高輝度範囲Ａ１から外れてしまい、よって、高温対象物のみを背景から分離することが困難となる。また、（ｄ）のような輝度値ヒストグラムに、所定の割合Ｓとして高めの値Ｓ２を設定すると、図の点線１２７で二分されることとなる。これでは、高温対象物として抽出される高輝度範囲に背景部分を含んでしまい、よって、高温対象物のみを背景から分離することが困難となる。
【００３６】
よって、この発明では、車両の周辺の状況を推定し、（ａ）のような高温対象物が多く存在する状況と推定されたならば、（ｃ）のように、所定の割合Ｓを高めの値Ｓ２に設定する。他方、車両の周辺の状況を推定し、（ｂ）のような高温対象物が多く存在する状況ではないと推定されたならば、（ｄ）のように、所定の割合Ｓを低めの値Ｓ１に設定する。車両の周辺の状況に応じて、輝度値を二分するための所定の割合Ｓを変更するので、車両の周辺の状況に適したように、撮像画像の輝度値を二分することができ、よって、高温対象物を背景から良好に分離して抽出することができる。
【００３７】
以下の実施例では、図４の（ａ）および（ｃ）のような、所定の割合Ｓに高めの値Ｓ２が設定されるべき状況、すなわち車両の周辺に高温の対象物が多く存在する状況を第１の状況とし、図４の（ｂ）および（ｄ）のような、所定の割合Ｓに低めの値Ｓ１が設定されるべき状況、すなわち車両の周辺に高温の対象物が多く存在しない状況を第２の状況と呼ぶ。
【００３８】
図５は、この発明の一実施例に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００３９】
ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。
【００４０】
ステップＳ１４において、グレースケール画像（右画像でよく、代替的に、左画像でもよい）の輝度値ヒストグラムを作成する。ステップＳ１５において、車両の周辺の状況を推定する。この推定手法についての詳細は後述される。
【００４１】
ステップＳ１６において、推定の結果、前述した第１の状況が推定されたならば、ステップＳ１７において、Ｐタイル法で用いる所定の割合Ｓを、所定値Ｓ２に設定する。前述した第２の状況が推定されたならば、ステップＳ１８において、該所定の割合Ｓを、所定値Ｓ１に設定する。ここで、Ｓ１＜Ｓ２である。こうして、第１の状況すなわち車両周辺に高温対象物が多く存在する状況が推定された場合には、所定の割合Ｓが高めの値Ｓ２に設定され、そうでない第２の状況では、所定の割合Ｓが低めの値Ｓ１に設定される。したがって、第１の状況においては、歩行者や動物等の生体が、抽出される高輝度範囲から外れて背景に分類されてしまうのを防止すると共に、第２の状況においては、背景が、抽出される高輝度範囲に含まれてしまうのを、より確実に防止することができる。結果として、車両の周辺の状況に適したように、輝度値を二分することができる。
【００４２】
ステップＳ２１において、右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を、所定の割合Ｓを用いたＰタイル法によって行う。所定の割合Ｓ（％）に所定値Ｓ１が設定された場合には、輝度値ヒストグラムの全体の度数Ｎに対し、該ヒストグラム上の最大輝度値Ｈから、Ｎ×Ｓ１（％）個分の輝度値の画素については「１」（白）とし、それ以外の輝度値の画素については「０」（黒）とする。言い換えれば、前述したように、該所定の割合Ｓ１に対応する閾値ＴＨ１を求め、該閾値ＴＨ１以上の輝度値の画素については「１」（白）とし、該閾値ＴＨ１より低い輝度値の画素については「黒」（０）とする。この２値化処理により、閾値ＴＨ１に対応する温度以上の対象物が、白領域として抽出される。所定の割合Ｓに所定値Ｓ２が設定された場合も、同様の手法で２値化が行われる。
【００４３】
ステップＳ２２において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。
【００４４】
ステップＳ２３およびＳ２４において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物の候補が抽出される。
【００４５】
ステップＳ２５において、抽出された対象物候補が、検出すべき対象物かどうかを判定するための対象物判定プロセスを実行する。具体的には、抽出された対象物が、歩行者であるか、動物であるか、人工構造物であるかの判定が行われる。これらの判定は、任意の既知の手法を用いて行われることができる。たとえば、歩行者判定処理は、特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。たとえば、動物判定処理は、特開２００７−３１０７０５号公報、特開２００７−３１０７０６号公報等に記載されている。たとえば、人工構造物判定処理については、特開２００７−３１０７０５号公報、特開２００８−２７６７８７号公報等に記載されている。
【００４６】
ステップＳ２６では、ステップＳ２５で判定された対象物が、検出すべき対象物ならば、通報（警報）を行う。この実施例では、検出すべき対象物は、歩行者や動物等の生体である。したがって、対象物が歩行者や動物等の生体であると判定された場合には、運転者に対して通報を出力する。通報は、任意の形態で出力されることができ、たとえば、ＨＵＤ４の表示画面４ａ上に撮像画像を表示し、該撮像画像上に撮像されている対象物を強調表示（たとえば、対象物を枠で囲んで表示）することができる。また、このような強調表示に加え、または強調表示に代えて、スピーカ３を介して対象物が存在することを運転者に知らせてもよい。他方、ステップＳ２５で判定された対象物が、人工構造物である場合には、警通報の対象物ではないので、通報することなく当該プロセスを抜ける。
【００４７】
なお、以上の処理に加え、過去の複数の撮像画像について、同一対象物を追跡（トラッキング）すると共に、対象物への距離を、カメラ１Ｒおよび１Ｌの２枚の撮像画像に基づいて算出し、対象物が、車両の周辺の所定範囲に存在するかどうか、および該所定範囲に侵入するおそれがあるかどうかを判定するようにしてもよい。これらの処理の詳細は、たとえば特開２００１−００６０９６号公報に記載されている。
【００４８】
以下に、ステップＳ１５で実施される、車両の周辺の状況を推定する処理について、いくつかの実施例を説明する。
【００４９】
第１の実施例では、ステップＳ１３で取得された撮像画像（グレースケール画像）を用いて、この推定を行う。撮像画像を用いた場合、さらに以下の２つの形態が考えられる。
１）撮像画像の輝度値を用いた形態
２）撮像画像に撮像されている対象物を用いた形態
【００５０】
上記１）について説明すると、図４の（ａ）と（ｂ）を比較して明らかなように、（ａ）の撮像画像においては、車両の左右周辺に、背景よりも高温の対象物が様々に点在しているのに対し、（ｂ）の撮像画像においては、車両の左右周辺においてこのような点在は見られず、ほとんど背景部分となっている。
【００５１】
したがって、図６（ａ）および（ｂ）に示すように、図４（ａ）および（ｂ）のそれぞれの撮像画像の所定の領域、好ましくは撮像画像の左右端に設定された所定領域１３１Ｌおよび１３１Ｒの輝度値の分散を算出する。（ａ）のような状況下では、上記のように様々な対象物が点在しているので、領域１３１Ｌおよび１３１Ｒの輝度値のばらつき、すなわち分散は高くなる。他方、（ｂ）のような状況下では、対象物が車両周辺にほとんど存在しないので、領域１３１Ｌおよび１３１Ｒの輝度値のばらつき、すなわち分散は低くなる。
【００５２】
したがって、一例では、撮像画像の所定領域１３１Ｌおよび１３１Ｒの輝度値の分散（標準偏差でもよい）を算出し、該分散の値が所定値より高ければ第１の状況と推定し、該所定値以下であれば第２の状況と推定する。
【００５３】
分散に代えて、平均値を用いてもよい。図６（ａ）の領域１３１Ｌおよび１３１Ｒには、車両の周辺に存在する対象物によって高輝度が多く含まれるのに対し、図６（ｂ）の領域１３１Ｌおよび１３１Ｒには、このような対象物がほとんど存在しないため、高輝度が含まれることも少ないからである。
【００５４】
したがって、他の例では、撮像画像の左右端の所定領域１３１Ｌおよび１３１Ｒの輝度値の平均値を算出し、該平均値が所定値より高ければ第１の状況と推定し、該所定値以下であれば第２の状況と推定する。
【００５５】
ここで、所定領域１３１Ｌおよび１３１Ｒは、図６に示すように、撮像画像の左右端に設定されるのが好ましい。車両が道路を走行しているとき、（ａ）のような市街地においては、該道路の左右に、歩行者や建物等の人工構造物が存在する。他方、撮像画像の中央の領域は、道路前方の領域であるので、これらの対象物が撮像されない可能性がある。したがって、該道路の左右に存在するこれらの対象物が撮像されるように、撮像画像の左右端に所定領域１３１Ｌおよび１３１Ｒは設定されるのがよい。さらに、道路の左右に存在する対象物が撮像されるように、所定領域１３１Ｌおよび１３１Ｒの水平方向の幅は設定されるのがよい。
【００５６】
また、所定領域を下方に伸長すると、該所定領域に道路が含まれるおそれがある。さらに、高い建物が無い場合には、所定領域を上方に伸長すると、該所定領域に空が含まれるおそれがある。道路や空の部分が所定領域に含まれると、（ａ）のような市街地でも、分散や平均が低く算出されるおそれがある。このようなことを防止するため、所定領域の垂直方向の長さは、道路や空を含まないように、画像の底辺から所定距離離れた所から、画像の上辺から所定距離離れた所まで伸長するよう設定されるのがよい。
【００５７】
次に、上記２）について説明すると、図４（ａ）のように、高温対象物が周辺に多く存在する状況で撮像された画像からは、図４（ｂ）のような撮像画像に比べて、抽出される対象物の個数が多い。この点に着目し、一例では、抽出される対象物の個数から、車両の周辺の状況を推定する。
【００５８】
具体的には、ステップＳ１５が実行される時点では、上で述べたように、今回撮像した画像については、未だ対象物の抽出処理は行われていない。他方、図５のプロセスは、よりリアルタイムに対象物の通報を行うため、その実行サイクル（周期）は比較的短く設定される（たとえば、１００ミリ秒）ので、今回の撮像画像と前回の撮像画像の差異は小さい。したがって、前回の撮像画像を用いることができる。
【００５９】
すなわち、前回のサイクルで図５のプロセスを実行した時点でステップＳ２４において抽出された対象物の個数が所定値以上ならば、第１の状況と推定し、該所定値より少なければ、第２の状況と推定する。代替的に、前回のサイクルまで連続して撮像された所定数の撮像画像に対する対象物抽出結果を用いてもよい。たとえば、撮像画像１枚あたりの対象物抽出個数の平均値を算出し、該平均値が所定値以上ならば、第１の状況と推定し、該所定値より小さければ、第２の状況と推定する。
【００６０】
また、他の例では、所定の種類の対象物の個数から、車両の周辺の状況を推定する。所定の種類の対象物として、一例では、人工構造物を用いる。図４（ａ）のように、高温対象物が車両周辺に多く存在する状況は、或る程度以上の人口が存在している場所で起こり、よって、人工構造物の数が多い場所で起こると考えることができる。したがって、人工構造物の数に応じて、車両周辺の状況を推定する。具体的には、人工構造物の判定処理は、図５のステップＳ２５で行われるので、今回の撮像画像については未だ人工構造物は判定されていない。したがって、前回の撮像画像を用いる。前回のサイクルで図５のプロセスを実行した時点でステップＳ２５において判定された人工構造物の個数が所定値以上ならば、第１の状況と推定し、該所定値より少なければ、第２の状況と推定する。代替的に、前回のサイクルまで連続して撮像された所定数の撮像画像に対する人工構造物判定結果を用いてもよい。たとえば、撮像画像１枚あたりの人工構造物の個数の平均値を算出し、該平均値が所定値以上ならば、第１の状況と推定し、該所定値より小さければ、第２の状況と推定する。
【００６１】
ここで、個数を数える対象となる人工構造物の種類を、さらに特定してもよい。該特定の種類の人工構造物が所定数以上存在するかどうかに応じて、第１または第２の状況を推定してもよい。該特定の種類は、高温対象物が多く存在する場所で存在する種類のものとして選択される。たとえば、市街地では、所定高さ以上の照明物（街灯、看板のライト、建物のライトを含む）が多く存在しており、これを、特定の種類の人工構造物とすることができる。特定する種類の数は、１つでもよく、複数でもよい。複数の場合は、いずれかの種類の人工構造物の数が所定数以上かどうかに応じて第１または第２の状況を推定してもよいし、すべての種類の人工構造物の数が所定数以上かどうかに応じて第１または第２の状況を推定してもよい。
【００６２】
なお、人工構造物の種類の判定は、ステップＳ２５の対象物判定処理に含めることができる。典型的には、形状および大きさの観点から、人工構造物の種類を特定することが行われる。たとえば、該特定の種類の人工構造物の形状をモデル化したテンプレートを用いて周知の形状マッチングを行うと共に、抽出された対象物の実空間での大きさが、該特定の種類の人工構造物に相当する範囲内かどうかを判断する。形状マッチングを行った結果の類似度（相関の程度）が所定値より高く、かつ算出された大きさが、該特定の種類の人工構造物に相当する範囲内であれば、対象物が、該特定の種類の人工構造物であると判定する。代替的に、形状および大きさのいずれか一方に基づいて、該特定の種類の人工構造物を判定してもよい。
【００６３】
上記の所定の種類の対象物として、他の例では、歩行者を用いる。歩行者の数が多ければ、高温対象物が周辺に多く存在する状況を示すからである。この場合、前回の撮像画像を用い、前回のサイクルで図５のプロセスを実行した時点でステップＳ２５において判定された歩行者の数が所定値以上ならば、第１の状況と推定し、該所定値より少なければ、第２の状況と推定する。人工構造物の場合と同様に、前回のサイクルまで連続して撮像された所定数の撮像画像に対する歩行者判定結果を用いてもよい。
【００６４】
なお、上記の対象物の数または所定の種類の対象物の数は、車両から所定の距離値内に存在するものを対象に数えるようにしてもよい。こうすることにより、車両の近傍の状況を、より確実に見極めることができる。ここで、対象物の車両からの距離は、この実施例では、図１に示すように一対のカメラ１Ｒおよび１Ｌを用いているので、周知の三角測量法を用いて算出されることができる。
【００６５】
以上述べた第１の実施例では、様々な条件を用いて車両の周辺の状況を推定しているが、これらの条件のうち、１つを用いてもよいし、任意の複数のものを用いてもよい。後者の場合には、いずれかの条件が満たされた場合、または任意の複数の条件が満たされた場合に第１の状況と推定し、それ以外の場合は第２の状況と判定してもよい。
【００６６】
次に、第２の実施例について説明する。図７は、第２の実施例に基づく、車両の周辺監視装置のブロック図を示す。図１と異なるのは、車両の運転状態を検出する運転状態検出手段２１が設けられており、運転状態検出手段２１によって検出された運転状態は、画像処理ユニット２に入力される点である。図５のプロセスは該第２の実施例にも同様に適用され、この場合、ステップＳ１５では、該検出された運転状態を用いて、車両の周辺の状況を推定する。
【００６７】
一例では、運転状態検出手段２１は、車速を検出する手段であり、たとえば車速センサにより実現されることができる。たとえば、高速道路では制限速度が通常設けられているので、所定時間間隔で車速を検出し、該車速が、該制限速度以上であって所定時間以上継続した場合には、高速道路を走行していると推定することができる。高速道路は、車両の周辺にほとんど高温対象物が存在しない。したがって、高速道路と推定された場合には、第２の状況と推定し、高速道路ではないと推定された場合には、第１の状況と推定する。
【００６８】
他方、図４（ａ）のような市街地を走行しているときには、図４（ｂ）のような郊外を走行しているときに比べ、信号や歩行者等の存在により、車両は頻繁に停止または低速で走行する。市街地は、高温対象物が的多く存在する場所である。したがって、所定時間間隔で車速を検出し、該検出された車速に基づいて所定時間の平均車速を算出し、該平均車速が所定値以下の場合には、第１の状況と推定し、該所定値より大きければ、第２の状況と推定してもよい。
【００６９】
他の例では、運転状態検出手段２１は、車両の舵角を検出する手段であり、たとえば舵角センサにより実現されることができる。図４（ａ）のような市街地を走行している場合には、図４（ｂ）のような郊外を走行している場合に比べ、より頻繁にハンドルの操舵が行われる。したがって、所定時間間隔で舵角を検出し、所定時間にわたり、該舵角が所定値以上の大きさで変化する頻度をカウントし、該頻度が所定値以上ならば、第１の状況と推定し、該所定値より小さければ、第２の状況と推定することができる。
【００７０】
さらなる他の例では、運転状態検出手段２１は、車両のヨー角（車両重心の垂直方向軸回りの回転角度）を検出する手段であり、たとえばヨーレートセンサによって実現されることができる。図４（ａ）のような市街地は、図４（ｂ）のような郊外を走行している場合に比べ、曲がり角が多い。したがって、所定時間間隔でヨー角を検出し、所定時間にわたり、該ヨー角が所定値以上の大きさで変化する頻度をカウントし、該頻度が所定値以上ならば、第１の状況と推定し、該所定値より小さければ、第２の状況と推定することができる。
【００７１】
次に、第３の実施例について説明する。図８は、第３の実施例に基づく、車両の周辺監視装置のブロック図を示す。図１と異なるのは、ナビゲーションユニット２５が画像処理ユニット２に接続されている点である。
【００７２】
ナビゲーションユニット２５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を受信し、該ＧＰＳ信号に基づいて、車両１０の現在位置を検出する。ナビゲーションユニット２５は、地図情報を記憶する地図情報記憶部２７を備える。地図情報記憶部２７は、任意の記憶装置（記録媒体やハードディスクドライブなど）に実現されることができる。ナビゲーションユニット２５は、地図情報記憶部２７に記憶された地図情報を読み出して、所定の表示装置（ＨＵＤ４でもよい）の表示画面上に表示することができる。
【００７３】
図５のプロセスは該第３の実施例にも同様に適用され、この場合、ステップＳ１５では、該ナビゲーションユニット２５を介して検出された車両の現在位置を取得すると共に、該現在位置が存在する道路および地域の少なくとも一方に関する情報を取得し、該情報を用いて、車両の周辺の状況を推定する。
【００７４】
まず、道路に関する情報を用いて車両の周辺の状況を推定する場合を述べる。この実施例では、道路に関する情報として、道路の種別情報を用いる。道路の種別は、ナビゲーションユニット２５の地図情報内に、各道路の属性情報として予め設定されている。たとえば、地図情報の道路種別情報は、高速道路、都市高速道路、有料道路、一般道路（国道、県道、その他）等を示す。したがって、車両が現在走行している位置の道路の道路種別情報を地図情報から取得することにより、該道路が高速道路かどうかを判断することができる。
【００７５】
代替的に、地図情報に道路種別情報が設定されていない場合には、地図情報とは別個のテーブルに、各道路について高速道路かどうかを示す情報を設定し（たとえば、高速道路か否かを示すフラグを、各道路の名称に対応づけて設定することができる）、該テーブルをメモリ等の記憶装置に記憶することができる。車両が現在走行している位置の道路の名称を地図情報から取得し、該取得した名称に基づいて該テーブルを参照することにより、道路が高速道路かどうかを判断することができる。
【００７６】
前述したように、高速道路は、周辺に高温対象物がほとんど存在しない状況である、したがって、高速道路と判断されたならば、第２の状況と推定し、そうでない場合には、第１の状況と推定する。
【００７７】
次に、地域に関する情報を用いて車両の周辺の状況を推定する場合を述べる。地域に関する情報として、「街」か否かを示す情報を用いる。ここで、「街」は、或る程度の数の人口が存在する場所である。「街」は、任意の情報源に基づいて、任意の適切な条件を満たす地域として定義されることができる。たとえば、日本の場合、市区町村の単位で「街」かどうかを決定し、人口密度が所定値以上であれば「街」に分類し、人口密度が該所定値より小さければ、「街」以外に分類することができる。また、人口密度に加え、その地域への就業や通学のための流入人口を考慮してもよい。たとえば、人工密度が該所定値より小さくても、流入人口が所定値以上ならば、その地域には企業等の人間が比較的多く存在しており、よって「街」に分類されることができる。また、通常、ビルや家屋等の建物の数が多いほど、人間が多く存在するため、建物の数が所定値以上であれば「街」に分類し、そうでなければ「街」以外に分類するようにしてもよい。
【００７８】
代替的に、所定の動物（たとえば、鹿などの所定の大型動物）について、過去に出没したとの情報、生息地域の情報、およびこれらの動物の出没の可能性を示す標識が設置されている場所の情報等に基づいて、動物が出没する可能性のある地域を特定し、これらの地域については「街」以外に分類し、そうでない地域については「街」に分類するようにしてもよい。
【００７９】
こうして、各市区町村に、「街」か否かを示す情報が関連づけられて、地図情報に予め記憶されることができる（たとえば、「街」か否かを示すフラグを、その地名に対して設定する）。代替的に、地図情報とは別個のテーブルに、各市区町村について、街か否かを示す情報（上記のようなフラグでよい）を設定してメモリ等に記憶してもよい。地図情報または該テーブルを参照することにより、車両の現在走行している場所が「街」に分類されているか否かを判断することができる。
【００８０】
「街」は、或る程度の人口が存在する場所であるから、高温対象物が多く存在する場所である。したがって、車両の現在位置の地域が、「街」であると判断されたならば、第１の状況と推定し、そうでない場合には、第２の状況と推定する。
【００８１】
なお、上で述べたような、道路の種別を表す情報および「街」かどうかを示す情報を、ユーザが登録することができるようにしてもよい。たとえば、表示装置上に表示された地図情報上で、ユーザが、「街」に分類されるべき市区町村を、たとえばタッチパネルを介して指定し、画像処理ユニット２は、該指定された地域に対し、「街」であることを示すフラグを設定して地図情報に記憶することができる。
【００８２】
また、ナビゲーションユニット２５の通信機能を利用して、これらの情報をリアルタイムに取得するようにしてもよい。たとえば、車両は、所定のコンピュータ（サーバ等）と通信し、該サーバには、各道路および各市区町村について、道路種別情報および「街」かどうかを示す情報が記憶されている。車両は、車両の現在位置をサーバに送信し、サーバは、該現在位置について設定されているこれらの情報を、車両に知らせることができる。また、既存のＶＩＣＳシステム等の交通情報を車両に提供するシステムを利用し、該交通情報の一貫として、これらの情報を車両に送信するようにしてもよい。
【００８３】
ここで、図９を参照して、ステップＳ１５で実行される、ナビゲーション機能を用いた車両周辺の状況を推定する処理のフローを説明する。
【００８４】
ステップＳ３１において、ナビゲーションユニット２５を介して、車両の現在位置を取得する。ステップＳ３２において、ナビゲーションユニット２５の地図情報から、該現在位置の道路の種別を取得する。前述したように、ナビゲーションユニット２５の地図情報には、各道路について、その属性情報として道路の種別を表す情報が設定されている。
【００８５】
ステップＳ３３において、取得した道路種別情報に基づいて、現在位置の道路が高速道路かどうかを判断する。高速道路ならば（ステップＳ３３がＹｅｓ）、ステップＳ３４においてフラグＲｏａｄ＿ｆｌａｇに値１を設定し、高速道路でなければ（ステップＳ３３がＮｏ）、ステップＳ３５においてフラグＲｏａｄ＿ｆｌａｇに値２を設定する。
【００８６】
ステップＳ３６において、ナビゲーションユニット２５の地図情報から、該現在位置が属する地域について設定されている「街」か否かを示す情報を取得する。前述したように、地図情報には、市区町村等の単位で、「街」かどうかを示す情報が設定されている。
【００８７】
ステップＳ３７において、取得した「街」か否かを示す情報に基づいて、現在位置の地域が「街」に分類されているかどうかを判断する。「街」であると判断されたならば（ステップＳ３７がＹｅｓ）、ステップＳ３８においてフラグＴｏｗｎ＿ｆｌａｇに値１を設定し、「街」ではないと判断されたならば（ステップＳ３７がＮｏ）、ステップＳ３９においてフラグＴｏｗｎ＿ｆｌａｇに値２を設定する。
【００８８】
ステップＳ４０において、Ｒｏａｄ＿ｆｌａｇが値１であるか、または、Ｔｏｗｎ＿ｆｌａｇが値２であるかどうかを判断する。Ｒｏａｄ＿ｆｌａｇが値１である、またはＴｏｗｎ＿ｆｌａｇが値２であるならば、車両の現在位置が、高速道路であるか、または「街」ではない地域に存在していることを示す。これは、高温対象物は多く存在しない状況を示すので、ステップＳ４１で第２の状況と推定する。他方、ステップＳ４０の判断がＮｏであるとき、Ｒｏａｄ＿ｆｌａｇが値２であるか、またはＴｏｗｎ＿ｆｌａｇが値１である場合を示し、これは、車両の現在位置が、高速道路ではないか、または「街」である地域に存在していることを示す。これは、高温対象物が多く存在する状況を示すので、ステップＳ４２で第１の状況と推定する。
【００８９】
以上述べてきた第１〜第３の実施例では、所定の割合Ｓとして、２つの値Ｓ１およびＳ２を用いているが、このような形態には限定されず、車両の周辺の状況に応じて、所定の割合Ｓを、値Ｓ１とＳ２の間で徐々に変化させるようにしてもよい。
【００９０】
たとえば、第１の実施例では、撮像画像の所定の領域の輝度値の分散または平均値の値が高くなるほど、低めの値Ｓ１から高めの値Ｓ２に向けて、所定の割合Ｓを徐々に変化させることができ、この逆も同様である。また、第１の実施例では、抽出された対象物の個数または所定の種類の対象物の個数が多いほど、低めの値Ｓ１から高めの値Ｓ２に向けて、所定の割合Ｓを徐々変化させることができ、この逆も同様である。
【００９１】
また、上で述べてきた第１〜第３実施例においては、所定の割合Ｓを、第１および第２の状況のいずれかが推定されたことに応じて２つの値Ｓ１およびＳ２の間で切り換えているが、この切り換えの際に、所定の割合Ｓを一時に値Ｓ１とＳ２の間で変化させるのではなく、徐々に変化させるようにしてもよい。
【００９２】
たとえば、前回のサイクルで第２の状況と推定され、今回のサイクルで第１の状況と推定されたとき、該今回のサイクルでは、所定の割合Ｓの前回値に所定の増分値α（ただし、｜α｜＜｜Ｓ２−Ｓ１｜）を加算した値を、所定の割合Ｓの今回値とする。次に第２の状況と推定されるまでの期間にわたり、高めの値Ｓ２を上限値として、サイクル毎に、所定の割合Ｓの前回値に増分値αが加算されていく。ここで、増分値αは、サイクル毎に一定であってもよいし、一定でなくてもよい。
【００９３】
同様に、前回のサイクルで第１の状況と推定され、今回のサイクルで第２の状況と推定されたとき、該今回のサイクルでは、所定の割合Ｓの前回値に所定の減分値α（負の値を有し、｜α｜＜｜Ｓ２−Ｓ１｜）を加算した値を、所定の割合Ｓの今回値とする。次に第１の状況と推定されるまでの期間にわたり、低めの値Ｓ１を下限値として、サイクル毎に、所定の割合Ｓの前回値に減分値αが加算されていく。ここで、減分値αは、サイクル毎に一定であってもよいし、一定でなくてもよい。
【００９４】
こうして、輝度値を二分する閾値の急激な変化を抑制することができる。特に、値Ｓ１からＳ２への切り換えを一時に行うと、高温対象物として抽出される面積の比率が一時に大きくなるため、車両の周辺の状況によっては、抽出される高輝度範囲に背景を含んでしまうおそれがある。上記のような切り換えにより、このような状況を回避することができる。
【００９５】
上で述べた実施例では、所定の割合Ｓの更新を行うステップＳ１４〜Ｓ１８は、図５のプロセスの一環として行われているが、代替的に、ステップＳ１４〜Ｓ１８を、他のステップとは別のプロセスとしてもよい。この場合、ステップＳ１４〜Ｓ１８のプロセスの実行サイクルを変更することにより、該所定の割合Ｓの更新周期を可変としてもよい。
たとえば、高温対象物が多く存在する市街地のような場所では、高温対象物の突然の出現や消滅が頻繁に起こることがある。このような高温対象物に対処するため、第１の状況と推定されている間は、所定の割合Ｓの更新周期を短くするのがよい。
【００９６】
他方、周辺に存在する高温対象物の大きさによっては、車両に接近するよう撮像されるにつれて、その高温対象物が撮像される面積が大きくなる。そのため、たとえば上記の第１の実施例の輝度値に基づいて第１または第２の状況を推定しているような場合に、短期間で所定の割合Ｓを更新していくと、所定の割合Ｓが、低めの値Ｓ１から高めの値Ｓ２に変更されたり、該高めの値Ｓ２に向けて増大するおそれがある。低めの値Ｓ１に設定すべき状況において高めの値Ｓ２が用いられると、図４を参照して説明したように、抽出される高輝度範囲に背景を含むおそれが生じる。このようなことを防止するため、第２の状況と推定されている間は、所定の割合Ｓの更新周期を長くするのがよい。
【００９７】
したがって、一例では、所定の割合Ｓに高めの値Ｓ２が設定される場合には、更新周期を短くし、低めの値Ｓ１が設定される場合には、更新周期を、それよりも長くすることができる。代替的に、所定の割合Ｓが、高めの値Ｓ２から低めの値Ｓ１に向かうにつれて、更新周期を徐々に長くするようにしてもよい。いずれの場合にも、一番短い周期を、図５のプロセスの周期と同じとなるよう設定することができる。
【００９８】
また、上記の実施形態では、図１に示すように、２つの赤外線カメラを用いた構成となっているが、この発明は、１つの赤外線カメラを用いて撮像された画像にも適用可能である。１つのカメラの場合、対象物までの距離値は、たとえばレーダなどを用いて検出するようにしてもよいし、該カメラの撮像画像において対象物が撮像された位置から、対象物までの距離を推定するようにしてもよい。
【００９９】
また、図５のプロセスでは、上記に述べたようにして設定された所定の割合Ｓを用いて、ステップＳ２１で画像の二値化して黒白画像を生成しているが、このような黒白画像を生成すること自体は、必ずしも行わなくてもよい。すなわち、グレースケール画像から、所定の割合Ｓによって規定される高輝度範囲に属する画素のみを直接抽出し、これらの画素に基づいて。ステップＳ２２以下を実施してもよい。
【０１００】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【０１０１】
１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ ヘッドアップディスプレイ
【特許請求の範囲】
【請求項１】
車両に搭載された赤外線カメラと、
前記赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて、全体の度数に対する所定の割合Ｓ（％）を用いて、累積度数が（１００−Ｓ）％となる低輝度範囲と、累積度数がＳ％となる高輝度範囲とに二分し、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する手段と、
前記抽出された対象物の候補について、前記検出すべき対象物かどうかを判定する判定手段と、
前記検出すべき対象物と判定されたとき、運転者への通報を行う手段と、を備える車両周辺監視装置であって、
前記車両の周辺に、高温対象物が多く存在する状況か否かを推定する推定手段と、
前記高温対象物が多く存在する状況か否かの推定結果に応じて、前記所定の割合を変更する手段と、
を備える、車両周辺監視装置。
【請求項２】
前記推定手段は、前記撮像画像から、所定数以上の対象物が検出された場合、所定の種類の対象物が所定数以上検出された場合、該所定数以上の対象物が前記車両から所定距離内で検出された場合、および、該所定の種類の対象物が前記車両から所定距離内で所定数以上検出された場合の少なくともいずれかが満たされた場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、
前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする、
請求項１に記載の車両周辺監視装置。
【請求項３】
前記推定手段は、前記撮像画像の所定領域における輝度値の分散または平均が所定値以上である場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、
前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする、
請求項１に記載の車両周辺監視装置。
【請求項４】
前記車両の運転状態を検出する検出手段を備え、
前記推定手段は、前記検出手段によって検出された車両の運転状態に応じて、前記高温対象物が多く存在する状況であるか否かを推定する、
請求項１に記載の車両周辺監視装置。
【請求項５】
前記車両の現在位置を検出する検出手段を備え、
前記推定手段は、前記検出手段によって検出された車両の現在位置が存在する道路および地域の少なくとも一方について取得された情報に応じて、前記高温対象物が多く存在する状況であるか否かを推定する、
請求項１に記載の車両周辺監視装置。
【請求項１】
車両に搭載された赤外線カメラと、
前記赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて、全体の度数に対する所定の割合Ｓ（％）を用いて、累積度数が（１００−Ｓ）％となる低輝度範囲と、累積度数がＳ％となる高輝度範囲とに二分し、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する手段と、
前記抽出された対象物の候補について、前記検出すべき対象物かどうかを判定する判定手段と、
前記検出すべき対象物と判定されたとき、運転者への通報を行う手段と、を備える車両周辺監視装置であって、
前記車両の周辺に、高温対象物が多く存在する状況か否かを推定する推定手段と、
前記高温対象物が多く存在する状況か否かの推定結果に応じて、前記所定の割合を変更する手段と、
を備える、車両周辺監視装置。
【請求項２】
前記推定手段は、前記撮像画像から、所定数以上の対象物が検出された場合、所定の種類の対象物が所定数以上検出された場合、該所定数以上の対象物が前記車両から所定距離内で検出された場合、および、該所定の種類の対象物が前記車両から所定距離内で所定数以上検出された場合の少なくともいずれかが満たされた場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、
前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする、
請求項１に記載の車両周辺監視装置。
【請求項３】
前記推定手段は、前記撮像画像の所定領域における輝度値の分散または平均が所定値以上である場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、
前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする、
請求項１に記載の車両周辺監視装置。
【請求項４】
前記車両の運転状態を検出する検出手段を備え、
前記推定手段は、前記検出手段によって検出された車両の運転状態に応じて、前記高温対象物が多く存在する状況であるか否かを推定する、
請求項１に記載の車両周辺監視装置。
【請求項５】
前記車両の現在位置を検出する検出手段を備え、
前記推定手段は、前記検出手段によって検出された車両の現在位置が存在する道路および地域の少なくとも一方について取得された情報に応じて、前記高温対象物が多く存在する状況であるか否かを推定する、
請求項１に記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図４】
【図６】
【図２】
【図３】
【図５】
【図７】
【図８】
【図９】
【図４】
【図６】
【公開番号】特開２０１０−２３７８７４（Ｐ２０１０−２３７８７４Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８３６９２（Ｐ２００９−８３６９２）
【出願日】平成２１年３月３０日（２００９．３．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３０日（２００９．３．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]