車両周辺監視装置
【課題】 赤外線カメラにより温度一様表面を有するデバイスを用いることなく、グレースケール画像中の対象物の輝度（輝度値）を推定することを可能とする車両周辺監視装置を提供する。
【解決手段】
予め求めておいた路面温度Ｔｒと外気温Ｔａの対応関係の特性１０２に基づき検出した外気温Ｔａから推定される路面温度Ｔｒと、この路面温度Ｔｒに対応するグレースケール画像中の路面領域の輝度（路面輝度という。）との対応関係から、グレースケール画像中の対象物の輝度（輝度値）を推定する。
【解決手段】
予め求めておいた路面温度Ｔｒと外気温Ｔａの対応関係の特性１０２に基づき検出した外気温Ｔａから推定される路面温度Ｔｒと、この路面温度Ｔｒに対応するグレースケール画像中の路面領域の輝度（路面輝度という。）との対応関係から、グレースケール画像中の対象物の輝度（輝度値）を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、赤外線カメラにより撮影した赤外線画像（グレースケール画像）に基づき、車両周辺に存在する対象物を検出する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、車両周辺監視装置では、赤外線カメラにより捉えた自車両周辺の画像から、自車両との接触の可能性がある歩行者等の対象物の情報を検出し、その情報を自車両の運転者に提供する。
【０００３】
この装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮影した自車両周辺の画像において温度が高い部分を前記対象物にすると共に、左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな対象物を検出して警報を出力する（特許文献１、２参照。）。
【０００４】
そして、特許文献１に係る装置では、２値化画像上の対象物の特徴量と、グレースケール画像上の対象物の特徴量との比較結果に基づいて、対象物画像の輝度分散の採否等を判定し、歩行者の認識処理方法を変更するようにして、歩行者認識の信頼性を向上させている。
【０００５】
特許文献２には、グレースケール画像から輝度の高い（温度の高い）対象物（人体）の頭部候補を検知し、検知した頭部候補が人体の頭部の横幅（頭幅）よりも大きいか否かを判定することで、人体か人工構造物かを判別する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−７９９９９号公報（［０１４２］〜［０１４４］）
【特許文献２】特許第３９７０８７６号公報（［００３５］、［００３８］、[００４０]、[００４１]、図７）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、赤外線カメラは、赤外線の強さに比例して出力レベルが高くなる撮像素子（センサ素子又はセンサ画素ともいう。）の集合的構成（マトリクス構成）、いわゆるＦＰＡ（Ｆｏｃａｌｅ Ｐｌａｎｅ Ａｒｒａｙ）構成とされている。
【０００８】
そして、赤外線カメラは、出力レベルが高くなると、通常、センサ画素の輝度（映像出力輝度）が高くなるように構成されているので、赤外線が強いと、１画素は白っぽく表示される。
【０００９】
その一方、撮像素子（センサ画素）は、図１３に示すように、素子温度が高くなると出力レベル（なお、出力レベルの数値は、Ａ／Ｄ変換器の分解能等によって異なるので参考値である。以下同じ。）が高くなる特性１００（菱形で示す測定点の近似直線）を有している。なお、この図１３の特性１００は、赤外線カメラにより温度一様面を撮像しているときの特性を示している。
【００１０】
そして、赤外線カメラを搭載する車両周辺監視装置では、特に、夕方から夜間において、当該赤外線カメラにより車両周辺に存在する動物あるいは人体（哺乳動物）を対象物として検出する。
【００１１】
しかしながら、従来技術に係る赤外線カメラでは、例えば、図１４に示すように、素子温度Ｔｅが例えば、Ｔｅ＝Ｔｅ１＝４２．９４［℃］と、Ｔｅ＝Ｔｅ２＝５３．０２［℃］、Ｔｅ＝Ｔｅ３＝６２．９７［℃］とでは、対象物温度［℃］に対する赤外線カメラの出力レベル（輝度値）が変化してしまい、結果として、輝度値から哺乳動物等の対象物を特定することが困難になるという課題がある。
【００１２】
しかも、図１３に示した素子温度に対する出力レベルは、経年劣化等により特性が変化する可能性があり、そのときには、素子温度を計測することが必要になり、定期的に特性１００を作り直さなければならないという煩雑さもある。
【００１３】
これらの課題を解決するために、フィードバック制御等により所定の既知の値に温度が保持される温度一様表面（基準面）を有するデバイスを赤外線カメラにより撮像し、既知の温度に基づき赤外線カメラの出力レベルを校正（補正）することも考えられるが、温度一様表面を有するデバイスの取り扱い方等、赤外線カメラのシステムが複雑化し、車載用としては、部品コスト及び取り付けコストが、共にアップしてしまうという課題がある。
【００１４】
この発明はこのような課題を考慮してなされたものであり、温度一様表面を有するデバイスを用いることなく、グレースケール画像中の対象物の輝度（輝度値）を推定することを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
この発明に係る車両周辺監視装置は、車両に搭載された赤外線カメラにより取得されるグレースケール画像に基づいて前記車両の周辺に存在する対象物を検出する車両周辺監視装置において、外気温を検出する外気温検出部と、前記グレースケール画像の中から路面領域を検出する路面領域検出部と、予め求めておいた路面温度と外気温の対応特性に基づいて、前記外気温検出部により検出した前記外気温に対応する、前記路面領域検出部により検出した前記路面領域の温度（路面温度という。）を算出する路面温度算出部と、算出した前記路面領域の温度と、前記路面領域検出部により検出した前記グレースケール画像の中の路面領域の輝度との対応関係に基づいて、前記対象物の輝度を推定する対象物輝度推定部と、を備えることを特徴とする。
【００１６】
この発明によれば、予め求めておいた路面温度と外気温の対応特性に基づき外気温から推定される路面温度と、この路面温度に対応するグレースケール画像中の路面領域の輝度（路面輝度という。）との対応関係から、グレースケール画像中の対象物の輝度（輝度値）を推定することができる。
【００１７】
この場合、推定したグレースケール画像中の対象物の輝度（輝度値）に基づいて、グレースケール画像の階調補正（校正）を行うことで、グレースケール画像から対象物の抽出が容易になる。
【００１８】
また、推定した対象物の輝度に基づき、前記グレースケール画像又は当該グレースケール画像の２値化画像から対象物を検出する対象物検出部をさらに備え、前記対象物検出部は、前記対象物を哺乳動物とし、当該哺乳動物に対応する輝度範囲を算出し、算出した輝度範囲内の検出物に対してのみ前記哺乳動物であるか否かの判定を行うようにすることで、哺乳動物であるか否かを迅速に判別することができる。
【００１９】
さらに、前記車両に、車両周辺に存在する物体の位置及びサイズを検出するレーダを搭載することで、前記路面領域検出部は、前記レーダが閾値サイズを上回る物体を検出しない領域を前記路面領域と検出するようにできるので、より迅速に路面領域を検出することができる。
【００２０】
なお、前記車両には、さらに、当該車両が走行する周辺に舗装路面が存在する第１可能性情報、又は前記舗装路面上にノイズが存在する第２可能性情報を検出する車両周辺情報検出部が備えられ、前記車両周辺情報検出部による前記第１及び第２可能性情報の検出結果に基づいて、前記路面領域検出部による路面領域検出の仕方を変更するようにしてもよい。第１可能性情報を検出した場合、対象物の検出精度が高くなると判断し、第２可能性情報を検出した場合、対象物の検出精度が低くなると判断する。
【発明の効果】
【００２１】
この発明によれば、温度一様表面を有するデバイスを用いることなく、路面温度と外気温との対応関係に基づき、前記路面温度を有する路面領域が撮像されたグレースケール画像中の対象物の輝度（輝度値）を、簡易に推定することができる。
【図面の簡単な説明】
【００２２】
【図１】この発明の第１実施例に係る車両周辺監視装置の構成を示すブロック図である。
【図２】第１実施例の車両周辺監視装置が搭載された車両の模式図である。
【図３】外気温と路面温度の対応関係を示す特性図である。
【図４】第１実施例の動作説明に供されるフローチャートである。
【図５】階調補正前のグレースケール画像の例示図である。
【図６】対象物温度範囲対出力レベル範囲との対応関係の補正説明図である。
【図７】図５のグレースケール画像の階調補正（輝度補正）後のグレースケール画像の説明図である。
【図８】第２実施例に係る車両周辺監視装置の構成を示すブロック図である。
【図９】第２実施例の車両周辺監視装置が搭載された車両の模式図である。
【図１０】第２実施例の動作説明に供されるフローチャートである。
【図１１】レーダ装置による探索範囲の説明に供される模式的鳥瞰図である。
【図１２】図１１の鳥瞰図に対応した後続車両の運転者が視認する景色の模式図である。
【図１３】赤外線センサにおける素子温度に対する出力レベルの変化特性図である。
【図１４】素子温度をパラメータとして、対象物温度と出力レベルの対応関係の変化を示す特性図である。
【発明を実施するための形態】
【００２３】
以下、この発明の実施形態について図面を参照して説明する。
【００２４】
［第１実施例］
図１は、この発明の第１実施例に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示した車両周辺監視装置１０が搭載された車両１２の模式図である。
【００２５】
図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４（処理装置）と、この画像処理ユニット１４に接続される左右の赤外線カメラ１６Ｒ、１６Ｌ（撮像装置）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、車両１２が置かれている外気温度（気温、環境温度）Ｔａを検出する温度センサ２８（外気温検出部）と、音声で警報等を発するためのスピーカ２４（通知部）と、赤外線カメラ１６Ｒ、１６Ｌにより撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物）を車両の運転者に認識させるためのＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）２６ａ等を含む画像表示装置２６（通知部）と、を備える。
【００２６】
画像表示装置２６としては、ＨＵＤ２６ａに限らず、ナビゲーションシステムのディスプレイを利用することができる。
【００２７】
画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者等の動く物体を検出し、接触の可能性が高いと判断したときにスピーカ２４を通じて警報を発する。
【００２８】
ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃ、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍ、スピーカ２４の駆動信号と画像表示装置２６の表示信号などを出力する出力回路等を備えており、赤外線カメラ１６Ｒ、１６Ｌ、ヨーレートセンサ２２、車速センサ１８、ブレーキセンサ２０、及び温度センサ２８の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。
【００２９】
画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込んでプログラムを実行することで、次に述べる各種機能部（機能手段ともいう。）として機能し、スピーカ２４及び画像表示装置２６に警告に係る駆動信号（音声信号や表示信号）を送出する。
【００３０】
いわゆるステレオカメラとして機能する赤外線カメラ１６Ｒ、１６Ｌは、図２に示すように、自車両１２の前部バンパー部に、自車両１２の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ１６Ｒ、１６Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００３１】
また、ＨＵＤ２６ａは、自車両１２のフロントウインドシールドの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００３２】
この第１実施例において、ＣＰＵ１４ｃは、路面領域検出部３０、路面温度算出部３２、路面輝度算出部３３、対象物輝度推定部３４、階調補正部３５、及び対象物検出部３６等として動作（機能）する。
【００３３】
この第１実施例において、記憶部１４ｍには、図３に示すように、外気温Ｔａと路面温度Ｔｒ（ここでは、アスファルト路面の表面温度）の対応関係を表す、菱形で示す実測点の近似直線である特性１０２（外気温Ｔａと路面温度Ｔｒとの既知の対応関係）をマップあるいは計算式として予め記憶されている。外気温Ｔａと路面温度Ｔｒは、概ね正比例の関係にあり、その差Δは、４．３［℃］（路面温度Ｔｒが外気温Ｔａより概ね４［℃］程度高い。）であった。また、アスファルト路面の路面温度Ｔｒは、夕方から日没後、真夜中にかけて、略一定であることを確認している。
【００３４】
なお、この特性１０２を、季節｛夏と冬と春（秋）｝、時間帯（例えば、太陽が出たての夜明け等の朝時は、外気温Ｔａが同じであっても、昼時より路面温度Ｔｒが低い。）、天候（晴れ、雨や曇り等）等に応じて変更することが好ましく、変更することもこの発明に含まれる。この場合、季節、時間帯は、図示しないカレンダ・タイマにより、また、天候は、図示しない照度計や雨滴検知センサあるいは晴雨計等又は通信システムにより情報センタから地域毎の気象情報を得ることにより判断することができる。
【００３５】
さらに、図３に示す特性１０２を、路面の属性・種類、例えば、アスファルト路面であるか、コンクリート路面であるが、未舗装の路面（草地や土）であるか等に応じて変更することもこの発明に含まれる。路面の属性・種類は、予め、ナビゲーションシステムの道路地図情報に属性として持たせたり、通信により情報センタから無線により取得するように構成することができる。
【００３６】
次に、基本的には以上のように構成される第１実施例に係る車両周辺監視装置１０の動作について図面を参照して説明する。
【００３７】
図４は、画像処理ユニット１４による歩行者等の対象物の検出、グレースケール画像の輝度の校正（階調補正）等の動作説明に供されるフローチャートである。
図４のステップＳ１において、画像処理ユニット１４の路面温度算出部３２は、温度センサ２８（外気温検出部）を通じて外気温Ｔａを検出し、記憶部１４ｍに取り込み、さらに、図３の特性１０２を参照し、検出した外気温Ｔａに対応する路面温度（路面領域の温度）Ｔｒを推定（算出）する。
【００３８】
次いで、ステップＳ２において、車速センサ１８により検出される車速Ｖｓ等から車両１２の走行状態（走行中か停車中）を判定し、停車中である場合には、処理を停止する。なお、停車中であっても路面領域が比較的に明瞭である結果、信頼性が高い場合には、路面領域の検出をしてもよい。停車中であっても、ステップＳ３以降の処理を行うようにしてもよい。
【００３９】
走行中である場合には、ステップＳ３において、画像処理ユニット１４は、赤外線カメラ１６Ｒ、１６Ｌによりフレーム毎に撮影された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、グレースケール画像を画像メモリに格納する。なお、赤外線カメラ１６Ｒによりグレースケール右画像が得られ、赤外線カメラ１６Ｌによりグレースケール左画像が得られる。また、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）により対象物までの距離を算出することができる。以下、基準画像をグレースケール右画像として、単にグレースケール画像という。図５は、例としてのグレースケール画像４８を示している。このグレースケール画像４８では、赤外線カメラ１６Ｒを構成する赤外線センサの素子温度が高く、対象物５２及び路面領域５０の輝度が共に飽和領域近傍となっており、対象物５２と路面領域５０とを峻別することがきわめて困難になっていることに留意する。
【００４０】
次いで、ステップＳ４において、路面領域検出部３０は、グレースケール画像４８から路面領域５０を検出する。
【００４１】
路面領域５０の検出は、路面領域は、一般に、温度が略一様であり、従って輝度が略一様である点に留意して検出される。また、路面領域は、通常、グレースケール画像４８の下側領域に撮像される点に留意して検出される。よって、グレースケール画像４８中、下側領域において、輝度分散の小さい値が連続した場合には、路面領域５０と推定し路面領域５０を検出することができる。
【００４２】
次いで、ステップＳ５において、路面輝度算出部３３は、検出した路面領域５０の複数画素の輝度値（Ａ／Ｄ変換値）を画像メモリから取得し、複数画素の輝度の平均値を路面輝度Ｒｂとして算出する。複数画素の輝度の平均値をとることで、ノイズを低減することができる。なお、路面輝度Ｒｂは、よりノイズを低減するために、グレースケール画像４８の複数回撮像に係る複数フレームの平均値を用いることがより好ましい。
【００４３】
次いで、ステップＳ６において、ステップＳ１で推定した路面温度Ｔｒと、ステップＳ５で算出した路面輝度Ｒｂの対応関係から、人体を含む哺乳動物（対象物）の表面温度（対象物温度という。）Ｔｍ、具体例としては、人体では頭部、特に額の温度範囲（３５［℃］前後で一定である既知）に対応するステップＳ３で得たグレースケール画像４８（図５参照）中の輝度範囲を求める。
【００４４】
この場合、対象物輝度推定部３４は、ステップＳ３で得たグレースケール画像中の路面輝度Ｒｂと路面温度Ｔｒと対象物温度Ｔｍ（既知）との対応関係から、対象物温度Ｔｍの輝度（対象物輝度）Ｂｔを、次の（１）式により求める（推定する）ことができる。
対象物輝度（Ｂｔ）
＝路面輝度（Ｒｂ）×対象物温度（Ｔｍ）／路面温度（Ｔｒ） …（１）
【００４５】
次いで、ステップＳ７において、階調補正部３５は、対象物検出部３６が検出対象とする対象物の所定の輝度範囲に、グレースケール画像４８中の対象物５２が入るように階調補正を行う。
【００４６】
この例では、図６に示すように、対象物温度範囲対出力レベル範囲との対応関係６０が、対応関係５８に示すように、輝度値が低くなるようにグレースケール画像４８の階調を補正する（対象物５２を予め定めてある閾値輝度により検出し易い輝度範囲に変換する）。この階調補正は、デジタルデータであるグレースケール画像４８に対して行っても一定の効果が得られるが、Ａ／Ｄ変換器の分解能を精度よく使うために、Ａ／Ｄ変換器に入力するアナログ信号に対して行うことがより好ましい。
【００４７】
そうすると、図７の階調補正後のグレースケール画像４８Ａに示すように、路面領域５０Ａと人体対象物Ｐの輝度差を容易に峻別できるようになり、ステップＳ８において、対象物検出部３６により前記所定閾値輝度以上の輝度を有する対象物を哺乳動物（人又は動物）、特に、人体対象物Ｐとして捉えることができ、次に、人体対象物Ｐの外接四角形（人体の大きさは、１７０[ｃｍ]×５０[ｃｍ]程度と仮定する。）より僅かに大きい領域にマスク領域５４を設定し、所定閾値以上の輝度を有し、所定の形状を有する対象物を人体対象物Ｐと推定することで、人体対象物Ｐを検出することができる。なお、人体対象物Ｐを検出する際、グレースケール画像４８Ａに対して、人体を検出するための所定閾値輝度以上の輝度を有する部分を「１」、未満の部分を「０」とする２値化処理を行ってもよい。
【００４８】
なお、上述したように、グレースケール画像４８の輝度を補正して処理することが好ましいが、図３に示したように、路面温度Ｔｒと外気温Ｔａとの対応関係の特性１０２が分かっているので、人体対象物Ｐの輝度範囲をグレースケール画像４８から直接推定することもできる。
【００４９】
次に、ステップＳ９において、経時的にフレーム毎に得られるグレースケール画像４８Ａ等及びその２値化画像から、温度の高い部分の動体（動いているもの）を対象物である人体Ｐ等として検出し、動体の移動ベクトル（速度と方向）を検出する。また、このステップＳ９において、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、ステップＳ７で検出した対象物までの距離Ｚｒとに基づき、当該車両１２の対象物検出部３６が検出した対象物に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合には、ステップＳ１０において、運転者に情報を提供する。具体的には、当該歩行者のグレースケール画像４８ＡをＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に接触の回避操作を促す。グレースケール画像４８Ａは、階調が補正された画像（図７）であるので、運転者が人体対象物Ｐを認識し易い。
【００５０】
以上説明したように、上述した第１実施例に係る車両周辺監視装置１０は、車両１２に搭載された赤外線カメラ１６Ｌ、１６Ｒにより取得されるグレースケール画像４８に基づいて車両１２の周辺に存在する対象物５２（Ｐ）を検出する際、外気温検出部としての温度センサ２８により外気温Ｔａを検出する。次に、路面領域検出部３０により、グレースケール画像４８の中から画面の下側に存在して輝度分散の小さい領域が続く領域を路面領域５０として検出する。次いで、路面温度算出部３２は、予め求めておいた路面温度Ｔｒと外気温Ｔａの対応関係の特性１０２に基づいて、温度センサ２８により検出した外気温Ｔａに対応する、路面領域検出部３０により検出した路面温度Ｔｒを算出する。そして、対象物輝度推定部３４は、算出した路面温度Ｔｒと、路面領域検出部３０により検出したグレースケール画像４８の中の路面領域５０の輝度（路面輝度Ｒｂ）との対応関係に基づいて、対象物５２の輝度（対象物輝度Ｂｔ）を、既知の対象物温度（Ｔｍ）を用いて上記（１）式で示したように推定することができる。
【００５１】
この場合、推定したグレースケール画像中の対象物５２の輝度（輝度値）に基づいて、グレースケール画像の階調補正（校正）を行うことで、図７に示した階調補正後のグレースケール画像４８Ａから対象物Ｐの抽出が容易になる。
【００５２】
前記の対象物検出部３６は、対象物Ｐを哺乳動物、例えば人とし、当該人に対応する輝度範囲を算出し、算出した輝度範囲内の検出物に対してのみ人であるか否かの判定を行うようにすることで、人であるか否かを迅速に判別することができる。
【００５３】
［第２実施例］
図８は、この発明の第２実施例に係る車両周辺監視装置１０Ａの構成を示すブロック図である。図９は、図８に示した車両周辺監視装置１０Ａが搭載された車両１２Ａの模式図である。
【００５４】
第２実施例に係る車両周辺監視装置１０Ａと車両１２Ａの構成要素及びその作用について、第１実施例に係る車両周辺監視装置１０と車両１２の構成要素と同一のものあるいは対応するものには同一の参照符号をつけてその詳細な説明を省略する。
【００５５】
この第２実施例に係る車両周辺監視装置１０Ａでは、対象物までの距離の検出並びに路面領域の検出をレーダ画像により行う点で、第１実施例に係る車両周辺監視装置１０と構成及び作用が異なる。
【００５６】
公知のように、レーダ装置６２により対象物の位置（距離と方位）を検出することができるので、赤外線カメラは、いわゆるステレオカメラの構成とする必要がなく、図９に示すように、単一の赤外線カメラ１６が、車両１２Ａの前部バンパー部上、自車両１２の車幅方向中心部に配置される。レーダ装置６２は、その図９に示すように、車両１２Ａのフロントグリルの中央に、赤外線カメラ１６の上方に配置される。
【００５７】
レーダ装置６２は、赤外線カメラ１６の水平画角（撮影領域）よりも狭いビーム幅の電波を車両１２Ａの前方に送信し、かつ左右方向所定範囲に走査する。そして、物体からの反射波を受信し、反射強度、反射方向と受信時間とから物体を検出するとともに、後述するように、路面領域検出部３０の機能を備えるので、第２実施例の画像処理ユニット１４Ａから路面領域検出部３０が削除されている。また、上述した路面領域検出部３０による路面領域の検出処理であるステップＳ４の処理も省略される。なお、レーダ装置６２では、受信電波の反射強度により物体の大略の大きさと位置（距離と方向）を検出する。人体対象物の精度の確保された大きさは赤外線カメラ１６の画像から検出する。
【００５８】
赤外線カメラ１６は、遠赤外線を多量に発する人を含む哺乳動物を対象物とし、かつその対象部分を高輝度部分とするグレースケール画像を出力する。
【００５９】
この第２実施例において、図８に示すナビゲーション装置７０は、車両周辺情報検出部として機能し、当該車両１２Ａが走行する周辺に舗装路面が存在する第１可能性情報、又は前記舗装路面上にノイズが存在する、例えば、工事中等の路面が存在する等の第２可能性情報を検出する。ナビゲーション装置７０から第１可能性情報を検出した場合、対象物の検出精度が高くなると判断し、第２可能性情報を検出した場合、対象物の検出精度が低くなると判断する。
【００６０】
次に、図１０に示すフローチャートを参照して、第２実施例の車両周辺監視装置１０Ａの動作について説明する。
【００６１】
なお、図１０に示すフローチャートの処理に関し、上記した図４に示したフローチャートの処理と対応する処理あるいは同一の処理には、同一のステップ番号（処理番号）を付け、その詳細な説明を省略する。
【００６２】
ステップＳ１の外気温Ｔａから路面温度Ｔｒの推定処理後に、ステップＳ２１において、レーダ装置６２により、図１１の鳥瞰図に示すように、一点鎖線で囲んだ扇形の所定探索範囲６４内の車両前方の障害物（対象物を含む物体）６８の位置、距離、及びサイズ（大きさ）を計測し、記憶部１４ｍに取り込む。なお、図１２は、図１１の鳥瞰図に対応した車両１２Ａの運転者が視認する景色を模式的に示している。
【００６３】
次に、ステップＳ２Ａにおいて、車両１２Ａの手前の所定範囲６６内に障害物６８｛閾値サイズを上回る物体（立体物）｝が存在するか否か（障害物６８の有無）を判定し、障害物６８が存在しないと判別した場合には、その所定範囲６６の領域は、路面領域であると判別し、ステップＳ３の処理に進む。ステップＳ２Ａの処理が、上述した路面領域検出部３０の処理に対応する。
【００６４】
ステップＳ３において、図５に示したグレースケール画像４８が得られるが、グレースケール画像４８の下側領域は、路面領域５０であり、ステップＳ５において、上述したようにその路面領域５０から路面輝度が算出される。ステップＳ５以降の処理は、第１実施例の処理と同一であるので、その説明を省略する。
【００６５】
上述した第２実施例によれば、車両１２Ａに、車両周辺に存在する物体の位置（距離と方位）及びサイズ（大きさ）を検出するレーダ装置６２を搭載しているので、路面領域検出部として機能するレーダ装置６２が閾値サイズを上回る物体を検出しない領域を路面領域５０と検出するようにでき、より迅速に路面領域５０を検出することができる。
【００６６】
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【符号の説明】
【００６７】
１０、１０Ａ…車両周辺監視装置 １２、１２Ａ…車両
１４…画像処理ユニット １６、１６Ｌ、１６Ｒ…赤外線カメラ
２６ａ…ＨＵＤ ２８…温度センサ
３０…路面領域検出部 ３２…路面温度算出部
３３…路面輝度算出部 ３４…対象物輝度推定部
３５…階調補正部 ３６…対象物検出部
６２…レーダ装置 ７０…ナビゲーション装置
【技術分野】
【０００１】
この発明は、赤外線カメラにより撮影した赤外線画像（グレースケール画像）に基づき、車両周辺に存在する対象物を検出する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、車両周辺監視装置では、赤外線カメラにより捉えた自車両周辺の画像から、自車両との接触の可能性がある歩行者等の対象物の情報を検出し、その情報を自車両の運転者に提供する。
【０００３】
この装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮影した自車両周辺の画像において温度が高い部分を前記対象物にすると共に、左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな対象物を検出して警報を出力する（特許文献１、２参照。）。
【０００４】
そして、特許文献１に係る装置では、２値化画像上の対象物の特徴量と、グレースケール画像上の対象物の特徴量との比較結果に基づいて、対象物画像の輝度分散の採否等を判定し、歩行者の認識処理方法を変更するようにして、歩行者認識の信頼性を向上させている。
【０００５】
特許文献２には、グレースケール画像から輝度の高い（温度の高い）対象物（人体）の頭部候補を検知し、検知した頭部候補が人体の頭部の横幅（頭幅）よりも大きいか否かを判定することで、人体か人工構造物かを判別する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−７９９９９号公報（［０１４２］〜［０１４４］）
【特許文献２】特許第３９７０８７６号公報（［００３５］、［００３８］、[００４０]、[００４１]、図７）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、赤外線カメラは、赤外線の強さに比例して出力レベルが高くなる撮像素子（センサ素子又はセンサ画素ともいう。）の集合的構成（マトリクス構成）、いわゆるＦＰＡ（Ｆｏｃａｌｅ Ｐｌａｎｅ Ａｒｒａｙ）構成とされている。
【０００８】
そして、赤外線カメラは、出力レベルが高くなると、通常、センサ画素の輝度（映像出力輝度）が高くなるように構成されているので、赤外線が強いと、１画素は白っぽく表示される。
【０００９】
その一方、撮像素子（センサ画素）は、図１３に示すように、素子温度が高くなると出力レベル（なお、出力レベルの数値は、Ａ／Ｄ変換器の分解能等によって異なるので参考値である。以下同じ。）が高くなる特性１００（菱形で示す測定点の近似直線）を有している。なお、この図１３の特性１００は、赤外線カメラにより温度一様面を撮像しているときの特性を示している。
【００１０】
そして、赤外線カメラを搭載する車両周辺監視装置では、特に、夕方から夜間において、当該赤外線カメラにより車両周辺に存在する動物あるいは人体（哺乳動物）を対象物として検出する。
【００１１】
しかしながら、従来技術に係る赤外線カメラでは、例えば、図１４に示すように、素子温度Ｔｅが例えば、Ｔｅ＝Ｔｅ１＝４２．９４［℃］と、Ｔｅ＝Ｔｅ２＝５３．０２［℃］、Ｔｅ＝Ｔｅ３＝６２．９７［℃］とでは、対象物温度［℃］に対する赤外線カメラの出力レベル（輝度値）が変化してしまい、結果として、輝度値から哺乳動物等の対象物を特定することが困難になるという課題がある。
【００１２】
しかも、図１３に示した素子温度に対する出力レベルは、経年劣化等により特性が変化する可能性があり、そのときには、素子温度を計測することが必要になり、定期的に特性１００を作り直さなければならないという煩雑さもある。
【００１３】
これらの課題を解決するために、フィードバック制御等により所定の既知の値に温度が保持される温度一様表面（基準面）を有するデバイスを赤外線カメラにより撮像し、既知の温度に基づき赤外線カメラの出力レベルを校正（補正）することも考えられるが、温度一様表面を有するデバイスの取り扱い方等、赤外線カメラのシステムが複雑化し、車載用としては、部品コスト及び取り付けコストが、共にアップしてしまうという課題がある。
【００１４】
この発明はこのような課題を考慮してなされたものであり、温度一様表面を有するデバイスを用いることなく、グレースケール画像中の対象物の輝度（輝度値）を推定することを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
この発明に係る車両周辺監視装置は、車両に搭載された赤外線カメラにより取得されるグレースケール画像に基づいて前記車両の周辺に存在する対象物を検出する車両周辺監視装置において、外気温を検出する外気温検出部と、前記グレースケール画像の中から路面領域を検出する路面領域検出部と、予め求めておいた路面温度と外気温の対応特性に基づいて、前記外気温検出部により検出した前記外気温に対応する、前記路面領域検出部により検出した前記路面領域の温度（路面温度という。）を算出する路面温度算出部と、算出した前記路面領域の温度と、前記路面領域検出部により検出した前記グレースケール画像の中の路面領域の輝度との対応関係に基づいて、前記対象物の輝度を推定する対象物輝度推定部と、を備えることを特徴とする。
【００１６】
この発明によれば、予め求めておいた路面温度と外気温の対応特性に基づき外気温から推定される路面温度と、この路面温度に対応するグレースケール画像中の路面領域の輝度（路面輝度という。）との対応関係から、グレースケール画像中の対象物の輝度（輝度値）を推定することができる。
【００１７】
この場合、推定したグレースケール画像中の対象物の輝度（輝度値）に基づいて、グレースケール画像の階調補正（校正）を行うことで、グレースケール画像から対象物の抽出が容易になる。
【００１８】
また、推定した対象物の輝度に基づき、前記グレースケール画像又は当該グレースケール画像の２値化画像から対象物を検出する対象物検出部をさらに備え、前記対象物検出部は、前記対象物を哺乳動物とし、当該哺乳動物に対応する輝度範囲を算出し、算出した輝度範囲内の検出物に対してのみ前記哺乳動物であるか否かの判定を行うようにすることで、哺乳動物であるか否かを迅速に判別することができる。
【００１９】
さらに、前記車両に、車両周辺に存在する物体の位置及びサイズを検出するレーダを搭載することで、前記路面領域検出部は、前記レーダが閾値サイズを上回る物体を検出しない領域を前記路面領域と検出するようにできるので、より迅速に路面領域を検出することができる。
【００２０】
なお、前記車両には、さらに、当該車両が走行する周辺に舗装路面が存在する第１可能性情報、又は前記舗装路面上にノイズが存在する第２可能性情報を検出する車両周辺情報検出部が備えられ、前記車両周辺情報検出部による前記第１及び第２可能性情報の検出結果に基づいて、前記路面領域検出部による路面領域検出の仕方を変更するようにしてもよい。第１可能性情報を検出した場合、対象物の検出精度が高くなると判断し、第２可能性情報を検出した場合、対象物の検出精度が低くなると判断する。
【発明の効果】
【００２１】
この発明によれば、温度一様表面を有するデバイスを用いることなく、路面温度と外気温との対応関係に基づき、前記路面温度を有する路面領域が撮像されたグレースケール画像中の対象物の輝度（輝度値）を、簡易に推定することができる。
【図面の簡単な説明】
【００２２】
【図１】この発明の第１実施例に係る車両周辺監視装置の構成を示すブロック図である。
【図２】第１実施例の車両周辺監視装置が搭載された車両の模式図である。
【図３】外気温と路面温度の対応関係を示す特性図である。
【図４】第１実施例の動作説明に供されるフローチャートである。
【図５】階調補正前のグレースケール画像の例示図である。
【図６】対象物温度範囲対出力レベル範囲との対応関係の補正説明図である。
【図７】図５のグレースケール画像の階調補正（輝度補正）後のグレースケール画像の説明図である。
【図８】第２実施例に係る車両周辺監視装置の構成を示すブロック図である。
【図９】第２実施例の車両周辺監視装置が搭載された車両の模式図である。
【図１０】第２実施例の動作説明に供されるフローチャートである。
【図１１】レーダ装置による探索範囲の説明に供される模式的鳥瞰図である。
【図１２】図１１の鳥瞰図に対応した後続車両の運転者が視認する景色の模式図である。
【図１３】赤外線センサにおける素子温度に対する出力レベルの変化特性図である。
【図１４】素子温度をパラメータとして、対象物温度と出力レベルの対応関係の変化を示す特性図である。
【発明を実施するための形態】
【００２３】
以下、この発明の実施形態について図面を参照して説明する。
【００２４】
［第１実施例］
図１は、この発明の第１実施例に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示した車両周辺監視装置１０が搭載された車両１２の模式図である。
【００２５】
図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４（処理装置）と、この画像処理ユニット１４に接続される左右の赤外線カメラ１６Ｒ、１６Ｌ（撮像装置）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、車両１２が置かれている外気温度（気温、環境温度）Ｔａを検出する温度センサ２８（外気温検出部）と、音声で警報等を発するためのスピーカ２４（通知部）と、赤外線カメラ１６Ｒ、１６Ｌにより撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物）を車両の運転者に認識させるためのＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）２６ａ等を含む画像表示装置２６（通知部）と、を備える。
【００２６】
画像表示装置２６としては、ＨＵＤ２６ａに限らず、ナビゲーションシステムのディスプレイを利用することができる。
【００２７】
画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者等の動く物体を検出し、接触の可能性が高いと判断したときにスピーカ２４を通じて警報を発する。
【００２８】
ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃ、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍ、スピーカ２４の駆動信号と画像表示装置２６の表示信号などを出力する出力回路等を備えており、赤外線カメラ１６Ｒ、１６Ｌ、ヨーレートセンサ２２、車速センサ１８、ブレーキセンサ２０、及び温度センサ２８の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。
【００２９】
画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込んでプログラムを実行することで、次に述べる各種機能部（機能手段ともいう。）として機能し、スピーカ２４及び画像表示装置２６に警告に係る駆動信号（音声信号や表示信号）を送出する。
【００３０】
いわゆるステレオカメラとして機能する赤外線カメラ１６Ｒ、１６Ｌは、図２に示すように、自車両１２の前部バンパー部に、自車両１２の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ１６Ｒ、１６Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００３１】
また、ＨＵＤ２６ａは、自車両１２のフロントウインドシールドの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００３２】
この第１実施例において、ＣＰＵ１４ｃは、路面領域検出部３０、路面温度算出部３２、路面輝度算出部３３、対象物輝度推定部３４、階調補正部３５、及び対象物検出部３６等として動作（機能）する。
【００３３】
この第１実施例において、記憶部１４ｍには、図３に示すように、外気温Ｔａと路面温度Ｔｒ（ここでは、アスファルト路面の表面温度）の対応関係を表す、菱形で示す実測点の近似直線である特性１０２（外気温Ｔａと路面温度Ｔｒとの既知の対応関係）をマップあるいは計算式として予め記憶されている。外気温Ｔａと路面温度Ｔｒは、概ね正比例の関係にあり、その差Δは、４．３［℃］（路面温度Ｔｒが外気温Ｔａより概ね４［℃］程度高い。）であった。また、アスファルト路面の路面温度Ｔｒは、夕方から日没後、真夜中にかけて、略一定であることを確認している。
【００３４】
なお、この特性１０２を、季節｛夏と冬と春（秋）｝、時間帯（例えば、太陽が出たての夜明け等の朝時は、外気温Ｔａが同じであっても、昼時より路面温度Ｔｒが低い。）、天候（晴れ、雨や曇り等）等に応じて変更することが好ましく、変更することもこの発明に含まれる。この場合、季節、時間帯は、図示しないカレンダ・タイマにより、また、天候は、図示しない照度計や雨滴検知センサあるいは晴雨計等又は通信システムにより情報センタから地域毎の気象情報を得ることにより判断することができる。
【００３５】
さらに、図３に示す特性１０２を、路面の属性・種類、例えば、アスファルト路面であるか、コンクリート路面であるが、未舗装の路面（草地や土）であるか等に応じて変更することもこの発明に含まれる。路面の属性・種類は、予め、ナビゲーションシステムの道路地図情報に属性として持たせたり、通信により情報センタから無線により取得するように構成することができる。
【００３６】
次に、基本的には以上のように構成される第１実施例に係る車両周辺監視装置１０の動作について図面を参照して説明する。
【００３７】
図４は、画像処理ユニット１４による歩行者等の対象物の検出、グレースケール画像の輝度の校正（階調補正）等の動作説明に供されるフローチャートである。
図４のステップＳ１において、画像処理ユニット１４の路面温度算出部３２は、温度センサ２８（外気温検出部）を通じて外気温Ｔａを検出し、記憶部１４ｍに取り込み、さらに、図３の特性１０２を参照し、検出した外気温Ｔａに対応する路面温度（路面領域の温度）Ｔｒを推定（算出）する。
【００３８】
次いで、ステップＳ２において、車速センサ１８により検出される車速Ｖｓ等から車両１２の走行状態（走行中か停車中）を判定し、停車中である場合には、処理を停止する。なお、停車中であっても路面領域が比較的に明瞭である結果、信頼性が高い場合には、路面領域の検出をしてもよい。停車中であっても、ステップＳ３以降の処理を行うようにしてもよい。
【００３９】
走行中である場合には、ステップＳ３において、画像処理ユニット１４は、赤外線カメラ１６Ｒ、１６Ｌによりフレーム毎に撮影された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、グレースケール画像を画像メモリに格納する。なお、赤外線カメラ１６Ｒによりグレースケール右画像が得られ、赤外線カメラ１６Ｌによりグレースケール左画像が得られる。また、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）により対象物までの距離を算出することができる。以下、基準画像をグレースケール右画像として、単にグレースケール画像という。図５は、例としてのグレースケール画像４８を示している。このグレースケール画像４８では、赤外線カメラ１６Ｒを構成する赤外線センサの素子温度が高く、対象物５２及び路面領域５０の輝度が共に飽和領域近傍となっており、対象物５２と路面領域５０とを峻別することがきわめて困難になっていることに留意する。
【００４０】
次いで、ステップＳ４において、路面領域検出部３０は、グレースケール画像４８から路面領域５０を検出する。
【００４１】
路面領域５０の検出は、路面領域は、一般に、温度が略一様であり、従って輝度が略一様である点に留意して検出される。また、路面領域は、通常、グレースケール画像４８の下側領域に撮像される点に留意して検出される。よって、グレースケール画像４８中、下側領域において、輝度分散の小さい値が連続した場合には、路面領域５０と推定し路面領域５０を検出することができる。
【００４２】
次いで、ステップＳ５において、路面輝度算出部３３は、検出した路面領域５０の複数画素の輝度値（Ａ／Ｄ変換値）を画像メモリから取得し、複数画素の輝度の平均値を路面輝度Ｒｂとして算出する。複数画素の輝度の平均値をとることで、ノイズを低減することができる。なお、路面輝度Ｒｂは、よりノイズを低減するために、グレースケール画像４８の複数回撮像に係る複数フレームの平均値を用いることがより好ましい。
【００４３】
次いで、ステップＳ６において、ステップＳ１で推定した路面温度Ｔｒと、ステップＳ５で算出した路面輝度Ｒｂの対応関係から、人体を含む哺乳動物（対象物）の表面温度（対象物温度という。）Ｔｍ、具体例としては、人体では頭部、特に額の温度範囲（３５［℃］前後で一定である既知）に対応するステップＳ３で得たグレースケール画像４８（図５参照）中の輝度範囲を求める。
【００４４】
この場合、対象物輝度推定部３４は、ステップＳ３で得たグレースケール画像中の路面輝度Ｒｂと路面温度Ｔｒと対象物温度Ｔｍ（既知）との対応関係から、対象物温度Ｔｍの輝度（対象物輝度）Ｂｔを、次の（１）式により求める（推定する）ことができる。
対象物輝度（Ｂｔ）
＝路面輝度（Ｒｂ）×対象物温度（Ｔｍ）／路面温度（Ｔｒ） …（１）
【００４５】
次いで、ステップＳ７において、階調補正部３５は、対象物検出部３６が検出対象とする対象物の所定の輝度範囲に、グレースケール画像４８中の対象物５２が入るように階調補正を行う。
【００４６】
この例では、図６に示すように、対象物温度範囲対出力レベル範囲との対応関係６０が、対応関係５８に示すように、輝度値が低くなるようにグレースケール画像４８の階調を補正する（対象物５２を予め定めてある閾値輝度により検出し易い輝度範囲に変換する）。この階調補正は、デジタルデータであるグレースケール画像４８に対して行っても一定の効果が得られるが、Ａ／Ｄ変換器の分解能を精度よく使うために、Ａ／Ｄ変換器に入力するアナログ信号に対して行うことがより好ましい。
【００４７】
そうすると、図７の階調補正後のグレースケール画像４８Ａに示すように、路面領域５０Ａと人体対象物Ｐの輝度差を容易に峻別できるようになり、ステップＳ８において、対象物検出部３６により前記所定閾値輝度以上の輝度を有する対象物を哺乳動物（人又は動物）、特に、人体対象物Ｐとして捉えることができ、次に、人体対象物Ｐの外接四角形（人体の大きさは、１７０[ｃｍ]×５０[ｃｍ]程度と仮定する。）より僅かに大きい領域にマスク領域５４を設定し、所定閾値以上の輝度を有し、所定の形状を有する対象物を人体対象物Ｐと推定することで、人体対象物Ｐを検出することができる。なお、人体対象物Ｐを検出する際、グレースケール画像４８Ａに対して、人体を検出するための所定閾値輝度以上の輝度を有する部分を「１」、未満の部分を「０」とする２値化処理を行ってもよい。
【００４８】
なお、上述したように、グレースケール画像４８の輝度を補正して処理することが好ましいが、図３に示したように、路面温度Ｔｒと外気温Ｔａとの対応関係の特性１０２が分かっているので、人体対象物Ｐの輝度範囲をグレースケール画像４８から直接推定することもできる。
【００４９】
次に、ステップＳ９において、経時的にフレーム毎に得られるグレースケール画像４８Ａ等及びその２値化画像から、温度の高い部分の動体（動いているもの）を対象物である人体Ｐ等として検出し、動体の移動ベクトル（速度と方向）を検出する。また、このステップＳ９において、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、ステップＳ７で検出した対象物までの距離Ｚｒとに基づき、当該車両１２の対象物検出部３６が検出した対象物に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合には、ステップＳ１０において、運転者に情報を提供する。具体的には、当該歩行者のグレースケール画像４８ＡをＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に接触の回避操作を促す。グレースケール画像４８Ａは、階調が補正された画像（図７）であるので、運転者が人体対象物Ｐを認識し易い。
【００５０】
以上説明したように、上述した第１実施例に係る車両周辺監視装置１０は、車両１２に搭載された赤外線カメラ１６Ｌ、１６Ｒにより取得されるグレースケール画像４８に基づいて車両１２の周辺に存在する対象物５２（Ｐ）を検出する際、外気温検出部としての温度センサ２８により外気温Ｔａを検出する。次に、路面領域検出部３０により、グレースケール画像４８の中から画面の下側に存在して輝度分散の小さい領域が続く領域を路面領域５０として検出する。次いで、路面温度算出部３２は、予め求めておいた路面温度Ｔｒと外気温Ｔａの対応関係の特性１０２に基づいて、温度センサ２８により検出した外気温Ｔａに対応する、路面領域検出部３０により検出した路面温度Ｔｒを算出する。そして、対象物輝度推定部３４は、算出した路面温度Ｔｒと、路面領域検出部３０により検出したグレースケール画像４８の中の路面領域５０の輝度（路面輝度Ｒｂ）との対応関係に基づいて、対象物５２の輝度（対象物輝度Ｂｔ）を、既知の対象物温度（Ｔｍ）を用いて上記（１）式で示したように推定することができる。
【００５１】
この場合、推定したグレースケール画像中の対象物５２の輝度（輝度値）に基づいて、グレースケール画像の階調補正（校正）を行うことで、図７に示した階調補正後のグレースケール画像４８Ａから対象物Ｐの抽出が容易になる。
【００５２】
前記の対象物検出部３６は、対象物Ｐを哺乳動物、例えば人とし、当該人に対応する輝度範囲を算出し、算出した輝度範囲内の検出物に対してのみ人であるか否かの判定を行うようにすることで、人であるか否かを迅速に判別することができる。
【００５３】
［第２実施例］
図８は、この発明の第２実施例に係る車両周辺監視装置１０Ａの構成を示すブロック図である。図９は、図８に示した車両周辺監視装置１０Ａが搭載された車両１２Ａの模式図である。
【００５４】
第２実施例に係る車両周辺監視装置１０Ａと車両１２Ａの構成要素及びその作用について、第１実施例に係る車両周辺監視装置１０と車両１２の構成要素と同一のものあるいは対応するものには同一の参照符号をつけてその詳細な説明を省略する。
【００５５】
この第２実施例に係る車両周辺監視装置１０Ａでは、対象物までの距離の検出並びに路面領域の検出をレーダ画像により行う点で、第１実施例に係る車両周辺監視装置１０と構成及び作用が異なる。
【００５６】
公知のように、レーダ装置６２により対象物の位置（距離と方位）を検出することができるので、赤外線カメラは、いわゆるステレオカメラの構成とする必要がなく、図９に示すように、単一の赤外線カメラ１６が、車両１２Ａの前部バンパー部上、自車両１２の車幅方向中心部に配置される。レーダ装置６２は、その図９に示すように、車両１２Ａのフロントグリルの中央に、赤外線カメラ１６の上方に配置される。
【００５７】
レーダ装置６２は、赤外線カメラ１６の水平画角（撮影領域）よりも狭いビーム幅の電波を車両１２Ａの前方に送信し、かつ左右方向所定範囲に走査する。そして、物体からの反射波を受信し、反射強度、反射方向と受信時間とから物体を検出するとともに、後述するように、路面領域検出部３０の機能を備えるので、第２実施例の画像処理ユニット１４Ａから路面領域検出部３０が削除されている。また、上述した路面領域検出部３０による路面領域の検出処理であるステップＳ４の処理も省略される。なお、レーダ装置６２では、受信電波の反射強度により物体の大略の大きさと位置（距離と方向）を検出する。人体対象物の精度の確保された大きさは赤外線カメラ１６の画像から検出する。
【００５８】
赤外線カメラ１６は、遠赤外線を多量に発する人を含む哺乳動物を対象物とし、かつその対象部分を高輝度部分とするグレースケール画像を出力する。
【００５９】
この第２実施例において、図８に示すナビゲーション装置７０は、車両周辺情報検出部として機能し、当該車両１２Ａが走行する周辺に舗装路面が存在する第１可能性情報、又は前記舗装路面上にノイズが存在する、例えば、工事中等の路面が存在する等の第２可能性情報を検出する。ナビゲーション装置７０から第１可能性情報を検出した場合、対象物の検出精度が高くなると判断し、第２可能性情報を検出した場合、対象物の検出精度が低くなると判断する。
【００６０】
次に、図１０に示すフローチャートを参照して、第２実施例の車両周辺監視装置１０Ａの動作について説明する。
【００６１】
なお、図１０に示すフローチャートの処理に関し、上記した図４に示したフローチャートの処理と対応する処理あるいは同一の処理には、同一のステップ番号（処理番号）を付け、その詳細な説明を省略する。
【００６２】
ステップＳ１の外気温Ｔａから路面温度Ｔｒの推定処理後に、ステップＳ２１において、レーダ装置６２により、図１１の鳥瞰図に示すように、一点鎖線で囲んだ扇形の所定探索範囲６４内の車両前方の障害物（対象物を含む物体）６８の位置、距離、及びサイズ（大きさ）を計測し、記憶部１４ｍに取り込む。なお、図１２は、図１１の鳥瞰図に対応した車両１２Ａの運転者が視認する景色を模式的に示している。
【００６３】
次に、ステップＳ２Ａにおいて、車両１２Ａの手前の所定範囲６６内に障害物６８｛閾値サイズを上回る物体（立体物）｝が存在するか否か（障害物６８の有無）を判定し、障害物６８が存在しないと判別した場合には、その所定範囲６６の領域は、路面領域であると判別し、ステップＳ３の処理に進む。ステップＳ２Ａの処理が、上述した路面領域検出部３０の処理に対応する。
【００６４】
ステップＳ３において、図５に示したグレースケール画像４８が得られるが、グレースケール画像４８の下側領域は、路面領域５０であり、ステップＳ５において、上述したようにその路面領域５０から路面輝度が算出される。ステップＳ５以降の処理は、第１実施例の処理と同一であるので、その説明を省略する。
【００６５】
上述した第２実施例によれば、車両１２Ａに、車両周辺に存在する物体の位置（距離と方位）及びサイズ（大きさ）を検出するレーダ装置６２を搭載しているので、路面領域検出部として機能するレーダ装置６２が閾値サイズを上回る物体を検出しない領域を路面領域５０と検出するようにでき、より迅速に路面領域５０を検出することができる。
【００６６】
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【符号の説明】
【００６７】
１０、１０Ａ…車両周辺監視装置 １２、１２Ａ…車両
１４…画像処理ユニット １６、１６Ｌ、１６Ｒ…赤外線カメラ
２６ａ…ＨＵＤ ２８…温度センサ
３０…路面領域検出部 ３２…路面温度算出部
３３…路面輝度算出部 ３４…対象物輝度推定部
３５…階調補正部 ３６…対象物検出部
６２…レーダ装置 ７０…ナビゲーション装置
【特許請求の範囲】
【請求項１】
車両に搭載された赤外線カメラにより取得されるグレースケール画像に基づいて前記車両の周辺に存在する対象物を検出する車両周辺監視装置において、
外気温を検出する外気温検出部と、
前記グレースケール画像の中から路面領域を検出する路面領域検出部と、
予め求めておいた路面温度と外気温の対応特性に基づいて、前記外気温検出部により検出した前記外気温に対応する、前記路面領域検出部により検出した前記路面領域の温度（路面温度という。）を算出する路面温度算出部と、
算出した前記路面領域の温度と、前記路面領域検出部により検出した前記グレースケール画像の中の路面領域の輝度との対応関係に基づいて、前記対象物の輝度を推定する対象物輝度推定部と、
を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
さらに、推定した対象物の輝度に基づき、前記グレースケール画像又は当該グレースケール画像の２値化画像から対象物を検出する対象物検出部、を備え、
前記対象物検出部は、前記対象物を哺乳動物とし、当該哺乳動物に対応する輝度範囲を算出し、算出した輝度範囲内の検出物に対してのみ前記哺乳動物であるか否かの判定を行う
ことを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は２記載の車両周辺監視装置において、
前記車両には、さらに、車両周辺に存在する物体の位置及びサイズを検出するレーダが搭載され、
前記路面領域検出部は、前記レーダが閾値サイズを上回る物体を検出しない領域を前記路面領域として検出する
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜３のいずれか１項に記載の車両周辺監視装置において、
前記車両には、さらに、当該車両が走行する周辺に舗装路面が存在する第１可能性情報、又は前記舗装路面上にノイズが存在する第２可能性情報を検出する車両周辺情報検出部が備えられ、
前記車両周辺情報検出部による前記第１及び第２可能性情報の検出結果に基づいて、前記路面領域検出部による路面領域検出の仕方を変更する
ことを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載された赤外線カメラにより取得されるグレースケール画像に基づいて前記車両の周辺に存在する対象物を検出する車両周辺監視装置において、
外気温を検出する外気温検出部と、
前記グレースケール画像の中から路面領域を検出する路面領域検出部と、
予め求めておいた路面温度と外気温の対応特性に基づいて、前記外気温検出部により検出した前記外気温に対応する、前記路面領域検出部により検出した前記路面領域の温度（路面温度という。）を算出する路面温度算出部と、
算出した前記路面領域の温度と、前記路面領域検出部により検出した前記グレースケール画像の中の路面領域の輝度との対応関係に基づいて、前記対象物の輝度を推定する対象物輝度推定部と、
を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
さらに、推定した対象物の輝度に基づき、前記グレースケール画像又は当該グレースケール画像の２値化画像から対象物を検出する対象物検出部、を備え、
前記対象物検出部は、前記対象物を哺乳動物とし、当該哺乳動物に対応する輝度範囲を算出し、算出した輝度範囲内の検出物に対してのみ前記哺乳動物であるか否かの判定を行う
ことを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は２記載の車両周辺監視装置において、
前記車両には、さらに、車両周辺に存在する物体の位置及びサイズを検出するレーダが搭載され、
前記路面領域検出部は、前記レーダが閾値サイズを上回る物体を検出しない領域を前記路面領域として検出する
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜３のいずれか１項に記載の車両周辺監視装置において、
前記車両には、さらに、当該車両が走行する周辺に舗装路面が存在する第１可能性情報、又は前記舗装路面上にノイズが存在する第２可能性情報を検出する車両周辺情報検出部が備えられ、
前記車両周辺情報検出部による前記第１及び第２可能性情報の検出結果に基づいて、前記路面領域検出部による路面領域検出の仕方を変更する
ことを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１０７９５２（Ｐ２０１１−１０７９５２Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６１８５０（Ｐ２００９−２６１８５０）
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]