車両の周辺監視装置
【課題】運転者に車両周辺の危険性を短時間で認識させる。
【解決手段】車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の所定の対象物を検出し、該撮像画像に基づいて生成される表示画像を、車両の乗員が視認可能なように表示装置上に表示するとともに、対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物に対し強調表示を行う。さらに、車両の速度を検出し、前記表示画像上に、該車速に基づいて算出される異なる予想到達時間に応じた複数の補助線を表示するとともに、それぞれの該補助線の色および形状の少なくとも一方を異ならせる。車両の到達時間に応じた複数の補助線の異なる色ないし形状表示によって、運転者に、危険性の度合いを段階的に、かつ速やかに認識させることができる。
【解決手段】車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の所定の対象物を検出し、該撮像画像に基づいて生成される表示画像を、車両の乗員が視認可能なように表示装置上に表示するとともに、対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物に対し強調表示を行う。さらに、車両の速度を検出し、前記表示画像上に、該車速に基づいて算出される異なる予想到達時間に応じた複数の補助線を表示するとともに、それぞれの該補助線の色および形状の少なくとも一方を異ならせる。車両の到達時間に応じた複数の補助線の異なる色ないし形状表示によって、運転者に、危険性の度合いを段階的に、かつ速やかに認識させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の監視に応じて表示の形態を制御する装置に関する。
【背景技術】
【０００２】
従来より、車両の周辺の対象物を検出するための装置を該車両に搭載し、該検出された対象物について警報を発行することが行われている。下記の特許文献１には、レーダで検知した障害物への到達時間を予測し、該到達時間が２秒以内であれば直ちに警報音を発し、該到達時間が２秒以上であれば、表示警報を提示する装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２３０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような警報は、運転者に、危険性を認知させることができるような形態で発せられるのが好ましい。特に、運転者が視認するのに視線移動を必要とする場所に表示装置が設けられている場合、該表示装置上での警報は、運転者に、より短時間で危険性を認知させることができるような形態で表示されるのが望ましい。
【０００５】
上記の特許文献では、障害物への到達時間を予測し、予測した到達時間が所定時間以内か否かで、警報形態を変更している。しかしながら、警報表示の具体的な形態については記載されていない。
【０００６】
したがって、この発明の一つの目的は、より短い時間で、危険性の度合いを運転者に認識させることができるような表示を行う手法を提供することである。
【課題を解決するための手段】
【０００７】
この発明の一つの側面によると、車両の周辺監視装置は、車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の所定の対象物を検出する手段と、前記撮像画像に基づいて生成される表示画像を、車両の乗員が視認可能なように表示装置上に表示するとともに、前記対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物に対し強調表示を行う表示手段と、車両の速度を検出する手段と、を備え、前記表示手段は、さらに、前記表示画像上に、前記車速に基づいて算出される異なる予想到達時間に応じた複数の補助線を表示するとともに、それぞれの該補助線の色および形状の少なくとも一方を異ならせる。
【０００８】
この発明によれば、車両の到達時間ごとに補助線を表示するので、運転者は、該補助線の色または形状により、車両が所定時間後に到達する位置を、段階的かつ速やかに認識することができる。したがって、危険性の度合いを速やかに認識することができる。また、対象物が、たとえば予測された車両の進路内に存在して表示装置上に強調表示される場合には、該対象物と補助線との位置関係を瞬時に理解できるので、該対象物に対する衝突の危険性の度合いを、速やかに認識することができる。
【０００９】
この発明の一実施形態によると、前記複数の補助線のうち、前記検出された対象物に最も近い補助線を特定し、該対象物に対する前記強調表示の色および形状の少なくとも一方を、該特定した補助線の色および形状の少なくとも一方と相関を持たせるように表示する。
【００１０】
このような相関を持たせることにより、運転者は、対象物が、どの程度危険な位置に存在するかを瞬時に把握することができる。たとえば、ｔ秒後の到達時間に対応する補助線と相関を持つように対象物が表示された場合には、運転者は、ｔ秒後に該対象物に到達する危険があることを速やかに認識することができる。
【００１１】
この発明の一実施形態によると、前記車両の進路を予測する手段を備え、前記対象物が、該予測した進路に存在しない場合には、該対象物に対する強調表示の強調度合いを低減する。こうして、車両の進路に存在せず、危険性が低い対象物については、強調度合いを低減することにより、運転者に、危険性は低いものの対象物が存在していることを知らせることができる。
【００１２】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【００１３】
【図１】この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、表示装置およびカメラの取り付け位置を示す図。
【図３】この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【図４】この発明の一実施例に従う、車両の到達時間ごとの補助線の表示の一例を示す図。
【図５】この発明の一実施例に従う、対象物検出処理のプロセスを示すフローチャート。
【発明を実施するための形態】
【００１４】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、ナビゲーション装置の表示装置を利用した、車両の周辺監視装置の構成を示すブロック図であり、図２は、表示装置とカメラの車両への取り付けを示す図である。
【００１５】
車両には、ナビゲーション装置が搭載されており、該ナビゲーション装置は、ナビゲーションユニット５と、表示装置４とを備えている。表示装置４は、図２の（ａ）に示すように、車両のハンドル（ステアリング・ホイール）２１の中心を通り、かつ車両の前後方向に伸長する線Ｌ１（図には、わかりやすいよう図の垂直方向に伸長するよう示されている）に対して所定距離だけ離れた位置に、運転者が視認可能なように取り付けられている。この実施例では、表示装置４は、車両のダッシュボード２３にはめこまれている。
【００１６】
ナビゲーションユニット５は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータで実現される。ナビゲーションユニット５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を、該ナビゲーションユニット５に備えられた通信装置（図示せず）を介して受信し、該ＧＰＳ信号に基づいて、車両の現在位置を検出する。ナビゲーションユニット５は、車両の周辺の地図情報（これは、ナビゲーション装置の記憶装置に記憶されることもできるし、該通信装置を介して所定のサーバから受信することもできる）に、該現在位置を示す画像を重畳させて、表示装置４の表示画面２５に表示する。また、表示装置４の表示画面２５はタッチパネルを構成しており、該タッチパネルを介して、またはキーやボタン等の他の入力装置２７を介して、乗員はナビゲーションユニット５に目的地を入力することができる。ナビゲーションユニット５は、該目的地までの車両の最適経路を算出し、該最適経路を示す画像を地図情報に重畳させて、表示装置４の表示画面２５に表示することができる。
【００１７】
また、ナビゲーションユニット５には、スピーカ３が接続されており、必要に応じて、たとえば一時停止や交差点等の経路案内を行う際に、表示装置４上への表示だけでなく、スピーカ３を介して音または音声によって乗員に知らせることができる。なお、最近のナビゲーション装置には、交通情報の提供や車両近傍の施設案内等、他にも様々な機能が搭載されており、この実施形態では、任意の適切なナビゲーション装置を利用することができる。
【００１８】
車両の周辺監視装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって撮像された画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、を備えている。画像処理ユニット２は、表示装置４およびスピーカ３に接続されている。表示装置４は、カメラ１Ｒまたは１Ｌの撮像を介して得られた画像を表示すると共に、該画像から検出された車両周辺の対象物の存在について警報表示を行うのに利用される。また、スピーカ３は、該対象物の検出結果に基づいて音または音声で警報を発行するのに利用される。
【００１９】
この実施例では、図２の（ｂ）に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
【００２０】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号および表示装置４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。
【００２１】
走行状態検出部７は、車両の速度を検出するセンサを含む。車両の速度を検出するためのセンサは、いわゆる車速センサでもよいし、代替的に、加速度センサや車輪速センサでもよい。さらに、この実施形態では、走行状態検出部７は、車両の進路を予測するのに用いられる他の走行状態を検出するためのセンサを含む。一実施形態では、車両のヨーレートを検出するためのヨーレートセンサや、車両の操舵角を検出するための舵角センサを含むことができる。
【００２２】
走行状態検出部７によって検出された車両の走行状態を示すデータは、画像処理ユニット２に送られる。画像処理ユニット２は、検出された該走行状態に基づいて、車両の進路を予測すると共に、カメラ１Ｒ、１Ｌによって撮像され表示装置４上に表示される画像上の該予測進路の領域に、運転者に危険性の度合いを知らせるための補助線の表示を行う。
【００２３】
このように、この実施例では、ナビゲーション装置の表示装置４を、カメラ１Ｒおよび１Ｌによる撮像を介して得られた画像の表示、および該画像から検出された所定の対象物の存在を運転者に通知（警報）するための表示に利用する。 前述したように、フロントウィンドウ上の、運転者の前方位置に画面が表示されるように設けられたヘッドアップディスプレイ（ＨＵＤ）と異なり、表示装置４は、ハンドル２１から、車幅方向に所定距離だけ離れた位置に設けられているので、ＨＵＤに比べて、運転者が運転中に表示装置４の画面を視認するには水平方向に視線を移動させる必要がある。したがって、より短時間で、運転者に危険性の度合いを認識させることのできる表示を行うのが好ましい。本願発明は、これを、補助線の表示によって実現するものであり、この具体的な手法を、以下に述べる。
【００２４】
図３は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００２５】
ステップＳ１１で、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像であり、これが、表示装置４上に表示される画像（表示画像）となる。
【００２６】
ステップＳ１２において、走行状態検出部７によって検出された車両の走行状態に基づいて、車両の進路を予測する。該進路の予測手法には、任意の適切な手法を用いることができる。一実施形態では、検出された車速およびヨーレートに基づいて、車両の進路を予測することができる。たとえば、特開平７−１０４０６２号公報に記載された手法を用いることができる。ヨーレートに代えて、舵角センサによって検出された操舵角を用いてもよい。車速と操舵角に基づいて車両の進路を予測する手法は、たとえば特開２００９−１６６６３号公報に記載されている。
【００２７】
なお、進路の予測に、ナビゲーションユニット５によって取得される情報を用いてもよい。たとえば、車両が現在の進行方向を維持すると仮定して、車両の現在位置から進路となる経路を、地図情報に基づいて求める。たとえば、或る道路を走行している車両の場合、該道路を”道なり”に進行する経路が、予測された進路となる。あるいは、ナビゲーションユニット５によって算出された最適経路に沿って車両が誘導されている場合には、該最適経路を、予測進路としてもよい。
【００２８】
ステップＳ１３において、走行状態検出部７によって検出された車両の速度に基づいて、車両の所定の予想到達時間ＴＴＣに対応する位置を算出する。この実施形態では、予想到達時間ＴＴＣ（秒）として、第１のＴＴＣ時間、第２のＴＴＣ時間、第３のＴＴＣ時間という３つの値を用いる。ここで、第１のＴＴＣ時間＞第２のＴＴＣ時間＞第３のＴＴＣ時間の関係にある。予想到達時間ＴＴＣが第１のＴＴＣ時間である場合の対応位置（第１のＴＴＣ位置と呼ぶ）は、車両が、検出された現在の速度で、上記の予測された進路を現時点から、第１のＴＴＣ時間にわたって走行した場合に該車両が到達する位置を示す。したがって、車両の現在の速度をＶとし、第１のＴＴＣ時間をｔ１秒とすると、車両の現在位置から、Ｖ×ｔ１により算出された距離だけ予測進路を進んだ位置が、第１のＴＴＣ位置として特定される。第２のＴＴＣ時間に対応する第２のＴＴＣ位置、および第３のＴＴＣ時間に対応する第３のＴＴＣ位置についても同様である。結果として、車両からの距離は、第１のＴＴＣ位置＞第２のＴＴＣ位置＞第３のＴＴＣ位置となる。
【００２９】
好ましくは、第３のＴＴＣ位置の車両からの距離が、現時点で所定の減速度のブレーキ操作により停止可能な距離となるように、第３のＴＴＣ時間を決定する。たとえば、ブレーキの所定の減速度（正値で表す）をＧとすると、速度Ｖ２／（２・Ｇ）が、車両の停止可能な最小の距離値となる。したがって、第３のＴＴＣ位置の車両からの距離が、当該距離値以上の値を有するように、第３のＴＴＣ時間を決定するのが好ましい。こうすることにより、第３のＴＴＣ位置に対象物が存在したことを認知したことに応じてブレーキ操作を行った場合でも、該対象物をより確実に回避することができる。
【００３０】
ステップＳ１４において、ステップＳ１１で得られた表示画像上で、予測進路に対応する画像領域を見極め、該予測進路上の、第１〜第３のＴＴＣ位置に対応する画像上の位置に、所定のＴＴＣ表示を重畳し、該重畳した画像を、表示装置４上に表示する。ここで、第１〜第３のＴＴＣ位置に重畳表示されるＴＴＣ表示は、互いに、異なる色、および（または）異なる形状で表示される。
【００３１】
ここで、図４（ａ）を参照すると、表示画像１０１上に重畳表示されたＴＴＣ表示の一例が示されている。前述したように、表示画像は、撮像を介して得られたグレースケール画像であり（なお、図では、見やすくするため、細かい輝度変化は示されていない）、該画像上で、ライン１０３と１０５で囲まれた領域が、予測された進路に対応する画像領域である。ＴＴＣ表示は、該予測進路上に、補助線１１１〜１１３として重畳表示されており、第１の補助線１１１が、第１のＴＴＣ位置に対応し、第２の補助線１１２が、第２のＴＴＣ位置に対応し、第３の補助線１１３が、第３のＴＴＣ位置に対応している。
【００３２】
この実施例では、これらの補助線は、互いに異なる色で表示されており（図には、ハッチングの異なる種類によって示されている）、たとえば、第１の補助線は緑ないし青色で表示され、第２の補助線１１２は、黄色で表示され、第３の補助線１１３は、赤色で表示される。こうして、信号機と同様に、最も危険性の高い第３のＴＴＣ位置に対しては赤色表示が行われ、最も危険性の低い第１のＴＴＣ位置に対しては緑または青色表示が行われる。このような色表示とすることにより、運転者に、第１から第３の補助線に向かうにつれて危険性が高いことを速やかに知らせることができ、また、危険性が高、中、低の位置が、車両からどの程度の場所に存在するかを、運転者に実感させることができる。
【００３３】
この例では、第１〜第３の補助線１１１〜１１３は、互いに異なる色で表示されるが、代替的に、または該色の相違に加え、互いに異なる形状で表示してもよい。たとえば、第１のＴＴＣ位置に表示される第１の補助線１１１を、最も細い線で表示し、第３のＴＴＣ位置に表示される第３の補助線１１３を、最も太い線で表示し、第２のＴＴＣ位置に表示される補助線１１２を、その中間の太さの線で表示することができる。こうして運転者は、色または形状の違いにより、危険性の度合いを瞬時に把握することができる。また、対象物が撮像されている場合には、該対象物と補助線との位置関係から、該対象物の危険性の度合いを瞬時に理解することができる。したがって、運転者が、対象物がどの辺りに存在するかを見極めようとして表示装置４上に視線を釘付けにするのを回避することができる。
【００３４】
図３に戻り、ステップＳ２１以下において、撮像画像から検出された所定の対象物（この処理は、図５を参照して後述される）についての警報表示に関する処理が行われる。ステップＳ２１では、該検出された所定の対象物が、予測された進路内に存在するかどうかを判断する。存在するならば（Ｓ２１がＹｅｓ）、ステップＳ２２において、該対象物までの予想到達時間ＴＴＣを算出する。具体的には、該対象物までの自車両からの距離と、該車両の該対象物に対する相対速度に基づいて、該予想到達時間ＴＴＣ（＝距離／相対速度）を算出することができる。一実施形態では、車両の進路を横切る対象物を想定し、該相対速度に、自車両の速度Ｖを設定することができる。代替的に、対象物を時間的に追跡して、対象物の車両に対する相対速度を算出するようにしてもよく、この具体的な手法は、たとえば特開２００１−６０９６号公報に記載されている。
【００３５】
ステップＳ２３において、第１〜第３のＴＴＣ時間のうち、該対象物について算出された予想到達時間ＴＴＣに最も近いＴＴＣ時間を選択し、該選択したＴＴＣ時間に対応するＴＴＣ位置を特定する。こうして、対象物までの予想到達時間ＴＴＣと、第１〜第３のＴＴＣ時間を互いに比較することにより、対象物が存在している位置が、どの程度の危険性を有するかを判断することができる。代替的に、第１〜第３のＴＴＣ位置のうち、対象物の車両からの現在の距離に最も近いＴＴＣ位置を選択するようにしてもよい。
【００３６】
ステップＳ２４において、ステップＳ２３で特定されたＴＴＣ位置における上記のＴＴＣ表示と相関を持たせて、表示画像上の該対象物に対する強調表示を行う。
【００３７】
ここで、図４（ｂ）を参照すると、図４（ａ）のような表示画像１０１に対し、対象物の強調表示が行われた場合の一例が示されている。この例では、前述したように、第１のＴＴＣ位置には、緑または青色の第１の補助線１１１が表示される。したがって、対象物の予想到達時間ＴＴＣに最も近いＴＴＣ時間に対応するＴＴＣ位置が第１のＴＴＣ位置であると特定されたならば、符号１３１に示すように、該対象物を緑または青色で表示する。同様に、対象物の予想到達時間ＴＴＣに最も近いＴＴＣ時間に対応するＴＴＣ位置が第２のＴＴＣ位置であると特定されたならば、符号１３２に示すように、該対象物を黄色で表示する。対象物の予想到達時間ＴＴＣに最も近いＴＴＣ時間に対応するＴＴＣ位置が第３のＴＴＣ位置であると特定されたならば、符号１３３に示すように、該対象物を赤色で表示する。
【００３８】
なお、対象物を所定の色で表示する手法は、たとえば、対象物として抽出された領域の画素の色を、該所定の色に変換して表示してもよいし、該所定の色の人間を模したアイコン画像を、該対象物として抽出された領域上に重畳表示させてもよい。こうして、対象物は、最も近いと判定されたＴＴＣ位置の色と相関を持つように表示される。
【００３９】
上記のように、対象物を、各ＴＴＣ位置に応じた色で表示することに代えて、該対象物を囲むように強調枠を表示し、該強調枠の色を、各ＴＴＣ位置に応じた色としてもよい。
【００４０】
また、第１〜第３の補助線１１１〜１１３の形状が互いに異なる場合には、対象物を、上記のように特定された最も近いＴＴＣ位置の形状と相関を持つように表示してもよい。たとえば、それぞれの補助線に、互いに異なるマークを付して表示する。そして、最も近いと判定されたＴＴＣ位置に付されたマークと同じマークを、その対象物にも付して表示する。このようにすることにより、互いに関連していることをマークで表すことができる。
【００４１】
こうして、対象物を、対応するＴＴＣ位置と同様の表示形態となるよう表示させることにより、どの到達時間に関連した対象物が存在するかを、運転者は速やかに把握することができる。ＴＴＣ位置が、危険の度合いに応じて段階的に表示されるので、対象物に対する危険性を、瞬時に見極めることができる。
【００４２】
図３に戻り、ステップＳ２５は、対象物が存在することを、上述したような強調表示による警報表示だけでなく、スピーカ３を介した警報音でも知らせるために設けられており、これは、任意の処理である。この警報音についても、ＴＴＣ位置毎に異ならせることができる。たとえば、対象物が第１のＴＴＣ位置と相関するよう表示された場合には、１つの短い音（たとえば、ピッという音）を出力し、対象物が第２のＴＴＣ位置と相関するよう表示された場合には、２つの短い音（たとえば、ピッピッという音）を出力し、対象物が第３のＴＴＣ位置と相関するよう表示された場合には、１つの長い音（たとえば、ピーーッという音）を出力することができる。なお、複数の対象物が予測進路内に存在し、それぞれが異なるＴＴＣ位置と相関するよう表示された場合には、最も危険性の高いＴＴＣ位置用の警報音を出力すればよい。たとえば、図４の（ｂ）に示すように、第１〜第３のＴＴＣ位置に相関して３人の歩行者１３１〜１３３が存在する場合には、最も危険性の度合いが大きい第３のＴＴＣ位置用の警報音を出力する。
【００４３】
ステップＳ２１に戻り、撮像画像から検出された所定の対象物が、予測された進路内に存在しなければ（Ｓ２１がＮｏ）、これは、該対象物が予測進路外に存在することを示す。この場合、ステップＳ２６に進み、該対象物を、ステップＳ２４での対象物に対する強調表示に比べて、強調度合いを低減した状態で表示する。一例では、該対象物には、何ら強調表示を施さないようにすることができる。他の例では、ステップＳ２４の強調表示に比べて見分けにくい（識別しにくい）所定の色で該対象物を表示することができる。たとえば、ステップＳ２４では、カラーを用いて強調表示を行ったが、ステップＳ２６では、モノクロの色（たとえば、白と黒の間の中間色）で、該対象物を強調表示する。たとえば、所定のモノクロの色で、該対象物を表示してもよいし、該モノクロの色の枠で、該対象物を囲むようにしてもよい。ステップＳ２４の強調表示と明瞭に区別するため、ステップＳ２６では、第１〜第３のＴＴＣ位置に関連して用いた色とは異なる色を用いるのがよい。
【００４４】
図４の（ｂ）には、このような対象物の表示例も示されており、符号１３５に示す歩行者は、予測進路外に存在しているため、所定のグレー値に着色されて表示されている。こうして、予測された進路外にいる対象物については、危険性が低いため、単なる通知にとどめることができる。
【００４５】
なお、当然ながら、撮像を介して取得された画像から所定の対象物が検出されなかった場合には、ステップＳ２１以下の処理を実行することなく、補助線が表示された表示画像のみを表示装置４上に表示すればよい。
【００４６】
図５は、撮像画像から対象物を検出するプロセスのフローチャートを示す。 ステップＳ３１において、カメラ１Ｒで撮像された右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、たとえば生体のような所定の温度より高い対象物が、白領域として抽出される。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。
【００４７】
ステップＳ３２において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。
【００４８】
ステップＳ３３およびＳ３４において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出される。
【００４９】
ステップＳ３５において、こうして抽出された対象物のそれぞれについて、注意すべき所定の対象物か否かを判定する。この実施形態では、該注意すべき所定の対象物は、歩行者であり、該歩行者に加えて動物を含めてもよい。ここで、対象物が歩行者か動物かを判定する処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。動物についても、同様に判定することができる。このような判定処理の例示として、歩行者かどうかを判定する処理は、たとえば特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。動物かどうかを判定する処理は、たとえば特開２００７−３１０７０５号公報、特開２００７−３１０７０６号公報等に記載されている。
【００５０】
こうして、歩行者（動物を含めてもよい）と判定された対象物について、図３のステップＳ２１以下の処理が実行されることとなる。
【００５１】
なお、車両から所定の距離の範囲内にある対象物について、上記のステップＳ２４およびＳ２６のような強調表示を行うようにしてもよい。この場合、該所定の距離は、上記の第１のＴＴＣ位置の距離以上を有するように設定されるのがよい。たとえば、第１のＴＴＣ時間がｔ１秒とすると、“ｔ２（≧ｔ１）×車両の速度Ｖ”により算出される値を、該所定の距離とすることができる。図５のステップＳ３５では、ステップＳ３４で抽出された対象物のうち、該所定の距離の範囲内に対する対象物について判定を行い、その結果、歩行者（動物を含めてもよい）と判定された対象物について、図３のステップＳ２１以下の処理を実行すればよい。
【００５２】
上記の実施形態では、ナビゲーション装置に備えられた表示装置を用いている。上記に述べたように、本願発明では、車両の到達時間毎に異なる色または形状の補助線を表示するので、運転者による視線移動が必要な該表示装置を用いても、危険性の度合いを速やかに運転者に認識させることができる。しかしながら、表示装置として、前述したようなＨＵＤを用いてもよい。
【００５３】
さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ（たとえば、可視カメラ）にも適用可能である。
【００５４】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【００５５】
１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ 表示装置
【技術分野】
【０００１】
この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の監視に応じて表示の形態を制御する装置に関する。
【背景技術】
【０００２】
従来より、車両の周辺の対象物を検出するための装置を該車両に搭載し、該検出された対象物について警報を発行することが行われている。下記の特許文献１には、レーダで検知した障害物への到達時間を予測し、該到達時間が２秒以内であれば直ちに警報音を発し、該到達時間が２秒以上であれば、表示警報を提示する装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２３０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような警報は、運転者に、危険性を認知させることができるような形態で発せられるのが好ましい。特に、運転者が視認するのに視線移動を必要とする場所に表示装置が設けられている場合、該表示装置上での警報は、運転者に、より短時間で危険性を認知させることができるような形態で表示されるのが望ましい。
【０００５】
上記の特許文献では、障害物への到達時間を予測し、予測した到達時間が所定時間以内か否かで、警報形態を変更している。しかしながら、警報表示の具体的な形態については記載されていない。
【０００６】
したがって、この発明の一つの目的は、より短い時間で、危険性の度合いを運転者に認識させることができるような表示を行う手法を提供することである。
【課題を解決するための手段】
【０００７】
この発明の一つの側面によると、車両の周辺監視装置は、車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の所定の対象物を検出する手段と、前記撮像画像に基づいて生成される表示画像を、車両の乗員が視認可能なように表示装置上に表示するとともに、前記対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物に対し強調表示を行う表示手段と、車両の速度を検出する手段と、を備え、前記表示手段は、さらに、前記表示画像上に、前記車速に基づいて算出される異なる予想到達時間に応じた複数の補助線を表示するとともに、それぞれの該補助線の色および形状の少なくとも一方を異ならせる。
【０００８】
この発明によれば、車両の到達時間ごとに補助線を表示するので、運転者は、該補助線の色または形状により、車両が所定時間後に到達する位置を、段階的かつ速やかに認識することができる。したがって、危険性の度合いを速やかに認識することができる。また、対象物が、たとえば予測された車両の進路内に存在して表示装置上に強調表示される場合には、該対象物と補助線との位置関係を瞬時に理解できるので、該対象物に対する衝突の危険性の度合いを、速やかに認識することができる。
【０００９】
この発明の一実施形態によると、前記複数の補助線のうち、前記検出された対象物に最も近い補助線を特定し、該対象物に対する前記強調表示の色および形状の少なくとも一方を、該特定した補助線の色および形状の少なくとも一方と相関を持たせるように表示する。
【００１０】
このような相関を持たせることにより、運転者は、対象物が、どの程度危険な位置に存在するかを瞬時に把握することができる。たとえば、ｔ秒後の到達時間に対応する補助線と相関を持つように対象物が表示された場合には、運転者は、ｔ秒後に該対象物に到達する危険があることを速やかに認識することができる。
【００１１】
この発明の一実施形態によると、前記車両の進路を予測する手段を備え、前記対象物が、該予測した進路に存在しない場合には、該対象物に対する強調表示の強調度合いを低減する。こうして、車両の進路に存在せず、危険性が低い対象物については、強調度合いを低減することにより、運転者に、危険性は低いものの対象物が存在していることを知らせることができる。
【００１２】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【００１３】
【図１】この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、表示装置およびカメラの取り付け位置を示す図。
【図３】この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【図４】この発明の一実施例に従う、車両の到達時間ごとの補助線の表示の一例を示す図。
【図５】この発明の一実施例に従う、対象物検出処理のプロセスを示すフローチャート。
【発明を実施するための形態】
【００１４】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、ナビゲーション装置の表示装置を利用した、車両の周辺監視装置の構成を示すブロック図であり、図２は、表示装置とカメラの車両への取り付けを示す図である。
【００１５】
車両には、ナビゲーション装置が搭載されており、該ナビゲーション装置は、ナビゲーションユニット５と、表示装置４とを備えている。表示装置４は、図２の（ａ）に示すように、車両のハンドル（ステアリング・ホイール）２１の中心を通り、かつ車両の前後方向に伸長する線Ｌ１（図には、わかりやすいよう図の垂直方向に伸長するよう示されている）に対して所定距離だけ離れた位置に、運転者が視認可能なように取り付けられている。この実施例では、表示装置４は、車両のダッシュボード２３にはめこまれている。
【００１６】
ナビゲーションユニット５は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータで実現される。ナビゲーションユニット５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を、該ナビゲーションユニット５に備えられた通信装置（図示せず）を介して受信し、該ＧＰＳ信号に基づいて、車両の現在位置を検出する。ナビゲーションユニット５は、車両の周辺の地図情報（これは、ナビゲーション装置の記憶装置に記憶されることもできるし、該通信装置を介して所定のサーバから受信することもできる）に、該現在位置を示す画像を重畳させて、表示装置４の表示画面２５に表示する。また、表示装置４の表示画面２５はタッチパネルを構成しており、該タッチパネルを介して、またはキーやボタン等の他の入力装置２７を介して、乗員はナビゲーションユニット５に目的地を入力することができる。ナビゲーションユニット５は、該目的地までの車両の最適経路を算出し、該最適経路を示す画像を地図情報に重畳させて、表示装置４の表示画面２５に表示することができる。
【００１７】
また、ナビゲーションユニット５には、スピーカ３が接続されており、必要に応じて、たとえば一時停止や交差点等の経路案内を行う際に、表示装置４上への表示だけでなく、スピーカ３を介して音または音声によって乗員に知らせることができる。なお、最近のナビゲーション装置には、交通情報の提供や車両近傍の施設案内等、他にも様々な機能が搭載されており、この実施形態では、任意の適切なナビゲーション装置を利用することができる。
【００１８】
車両の周辺監視装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって撮像された画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、を備えている。画像処理ユニット２は、表示装置４およびスピーカ３に接続されている。表示装置４は、カメラ１Ｒまたは１Ｌの撮像を介して得られた画像を表示すると共に、該画像から検出された車両周辺の対象物の存在について警報表示を行うのに利用される。また、スピーカ３は、該対象物の検出結果に基づいて音または音声で警報を発行するのに利用される。
【００１９】
この実施例では、図２の（ｂ）に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
【００２０】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号および表示装置４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。
【００２１】
走行状態検出部７は、車両の速度を検出するセンサを含む。車両の速度を検出するためのセンサは、いわゆる車速センサでもよいし、代替的に、加速度センサや車輪速センサでもよい。さらに、この実施形態では、走行状態検出部７は、車両の進路を予測するのに用いられる他の走行状態を検出するためのセンサを含む。一実施形態では、車両のヨーレートを検出するためのヨーレートセンサや、車両の操舵角を検出するための舵角センサを含むことができる。
【００２２】
走行状態検出部７によって検出された車両の走行状態を示すデータは、画像処理ユニット２に送られる。画像処理ユニット２は、検出された該走行状態に基づいて、車両の進路を予測すると共に、カメラ１Ｒ、１Ｌによって撮像され表示装置４上に表示される画像上の該予測進路の領域に、運転者に危険性の度合いを知らせるための補助線の表示を行う。
【００２３】
このように、この実施例では、ナビゲーション装置の表示装置４を、カメラ１Ｒおよび１Ｌによる撮像を介して得られた画像の表示、および該画像から検出された所定の対象物の存在を運転者に通知（警報）するための表示に利用する。 前述したように、フロントウィンドウ上の、運転者の前方位置に画面が表示されるように設けられたヘッドアップディスプレイ（ＨＵＤ）と異なり、表示装置４は、ハンドル２１から、車幅方向に所定距離だけ離れた位置に設けられているので、ＨＵＤに比べて、運転者が運転中に表示装置４の画面を視認するには水平方向に視線を移動させる必要がある。したがって、より短時間で、運転者に危険性の度合いを認識させることのできる表示を行うのが好ましい。本願発明は、これを、補助線の表示によって実現するものであり、この具体的な手法を、以下に述べる。
【００２４】
図３は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００２５】
ステップＳ１１で、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像であり、これが、表示装置４上に表示される画像（表示画像）となる。
【００２６】
ステップＳ１２において、走行状態検出部７によって検出された車両の走行状態に基づいて、車両の進路を予測する。該進路の予測手法には、任意の適切な手法を用いることができる。一実施形態では、検出された車速およびヨーレートに基づいて、車両の進路を予測することができる。たとえば、特開平７−１０４０６２号公報に記載された手法を用いることができる。ヨーレートに代えて、舵角センサによって検出された操舵角を用いてもよい。車速と操舵角に基づいて車両の進路を予測する手法は、たとえば特開２００９−１６６６３号公報に記載されている。
【００２７】
なお、進路の予測に、ナビゲーションユニット５によって取得される情報を用いてもよい。たとえば、車両が現在の進行方向を維持すると仮定して、車両の現在位置から進路となる経路を、地図情報に基づいて求める。たとえば、或る道路を走行している車両の場合、該道路を”道なり”に進行する経路が、予測された進路となる。あるいは、ナビゲーションユニット５によって算出された最適経路に沿って車両が誘導されている場合には、該最適経路を、予測進路としてもよい。
【００２８】
ステップＳ１３において、走行状態検出部７によって検出された車両の速度に基づいて、車両の所定の予想到達時間ＴＴＣに対応する位置を算出する。この実施形態では、予想到達時間ＴＴＣ（秒）として、第１のＴＴＣ時間、第２のＴＴＣ時間、第３のＴＴＣ時間という３つの値を用いる。ここで、第１のＴＴＣ時間＞第２のＴＴＣ時間＞第３のＴＴＣ時間の関係にある。予想到達時間ＴＴＣが第１のＴＴＣ時間である場合の対応位置（第１のＴＴＣ位置と呼ぶ）は、車両が、検出された現在の速度で、上記の予測された進路を現時点から、第１のＴＴＣ時間にわたって走行した場合に該車両が到達する位置を示す。したがって、車両の現在の速度をＶとし、第１のＴＴＣ時間をｔ１秒とすると、車両の現在位置から、Ｖ×ｔ１により算出された距離だけ予測進路を進んだ位置が、第１のＴＴＣ位置として特定される。第２のＴＴＣ時間に対応する第２のＴＴＣ位置、および第３のＴＴＣ時間に対応する第３のＴＴＣ位置についても同様である。結果として、車両からの距離は、第１のＴＴＣ位置＞第２のＴＴＣ位置＞第３のＴＴＣ位置となる。
【００２９】
好ましくは、第３のＴＴＣ位置の車両からの距離が、現時点で所定の減速度のブレーキ操作により停止可能な距離となるように、第３のＴＴＣ時間を決定する。たとえば、ブレーキの所定の減速度（正値で表す）をＧとすると、速度Ｖ２／（２・Ｇ）が、車両の停止可能な最小の距離値となる。したがって、第３のＴＴＣ位置の車両からの距離が、当該距離値以上の値を有するように、第３のＴＴＣ時間を決定するのが好ましい。こうすることにより、第３のＴＴＣ位置に対象物が存在したことを認知したことに応じてブレーキ操作を行った場合でも、該対象物をより確実に回避することができる。
【００３０】
ステップＳ１４において、ステップＳ１１で得られた表示画像上で、予測進路に対応する画像領域を見極め、該予測進路上の、第１〜第３のＴＴＣ位置に対応する画像上の位置に、所定のＴＴＣ表示を重畳し、該重畳した画像を、表示装置４上に表示する。ここで、第１〜第３のＴＴＣ位置に重畳表示されるＴＴＣ表示は、互いに、異なる色、および（または）異なる形状で表示される。
【００３１】
ここで、図４（ａ）を参照すると、表示画像１０１上に重畳表示されたＴＴＣ表示の一例が示されている。前述したように、表示画像は、撮像を介して得られたグレースケール画像であり（なお、図では、見やすくするため、細かい輝度変化は示されていない）、該画像上で、ライン１０３と１０５で囲まれた領域が、予測された進路に対応する画像領域である。ＴＴＣ表示は、該予測進路上に、補助線１１１〜１１３として重畳表示されており、第１の補助線１１１が、第１のＴＴＣ位置に対応し、第２の補助線１１２が、第２のＴＴＣ位置に対応し、第３の補助線１１３が、第３のＴＴＣ位置に対応している。
【００３２】
この実施例では、これらの補助線は、互いに異なる色で表示されており（図には、ハッチングの異なる種類によって示されている）、たとえば、第１の補助線は緑ないし青色で表示され、第２の補助線１１２は、黄色で表示され、第３の補助線１１３は、赤色で表示される。こうして、信号機と同様に、最も危険性の高い第３のＴＴＣ位置に対しては赤色表示が行われ、最も危険性の低い第１のＴＴＣ位置に対しては緑または青色表示が行われる。このような色表示とすることにより、運転者に、第１から第３の補助線に向かうにつれて危険性が高いことを速やかに知らせることができ、また、危険性が高、中、低の位置が、車両からどの程度の場所に存在するかを、運転者に実感させることができる。
【００３３】
この例では、第１〜第３の補助線１１１〜１１３は、互いに異なる色で表示されるが、代替的に、または該色の相違に加え、互いに異なる形状で表示してもよい。たとえば、第１のＴＴＣ位置に表示される第１の補助線１１１を、最も細い線で表示し、第３のＴＴＣ位置に表示される第３の補助線１１３を、最も太い線で表示し、第２のＴＴＣ位置に表示される補助線１１２を、その中間の太さの線で表示することができる。こうして運転者は、色または形状の違いにより、危険性の度合いを瞬時に把握することができる。また、対象物が撮像されている場合には、該対象物と補助線との位置関係から、該対象物の危険性の度合いを瞬時に理解することができる。したがって、運転者が、対象物がどの辺りに存在するかを見極めようとして表示装置４上に視線を釘付けにするのを回避することができる。
【００３４】
図３に戻り、ステップＳ２１以下において、撮像画像から検出された所定の対象物（この処理は、図５を参照して後述される）についての警報表示に関する処理が行われる。ステップＳ２１では、該検出された所定の対象物が、予測された進路内に存在するかどうかを判断する。存在するならば（Ｓ２１がＹｅｓ）、ステップＳ２２において、該対象物までの予想到達時間ＴＴＣを算出する。具体的には、該対象物までの自車両からの距離と、該車両の該対象物に対する相対速度に基づいて、該予想到達時間ＴＴＣ（＝距離／相対速度）を算出することができる。一実施形態では、車両の進路を横切る対象物を想定し、該相対速度に、自車両の速度Ｖを設定することができる。代替的に、対象物を時間的に追跡して、対象物の車両に対する相対速度を算出するようにしてもよく、この具体的な手法は、たとえば特開２００１−６０９６号公報に記載されている。
【００３５】
ステップＳ２３において、第１〜第３のＴＴＣ時間のうち、該対象物について算出された予想到達時間ＴＴＣに最も近いＴＴＣ時間を選択し、該選択したＴＴＣ時間に対応するＴＴＣ位置を特定する。こうして、対象物までの予想到達時間ＴＴＣと、第１〜第３のＴＴＣ時間を互いに比較することにより、対象物が存在している位置が、どの程度の危険性を有するかを判断することができる。代替的に、第１〜第３のＴＴＣ位置のうち、対象物の車両からの現在の距離に最も近いＴＴＣ位置を選択するようにしてもよい。
【００３６】
ステップＳ２４において、ステップＳ２３で特定されたＴＴＣ位置における上記のＴＴＣ表示と相関を持たせて、表示画像上の該対象物に対する強調表示を行う。
【００３７】
ここで、図４（ｂ）を参照すると、図４（ａ）のような表示画像１０１に対し、対象物の強調表示が行われた場合の一例が示されている。この例では、前述したように、第１のＴＴＣ位置には、緑または青色の第１の補助線１１１が表示される。したがって、対象物の予想到達時間ＴＴＣに最も近いＴＴＣ時間に対応するＴＴＣ位置が第１のＴＴＣ位置であると特定されたならば、符号１３１に示すように、該対象物を緑または青色で表示する。同様に、対象物の予想到達時間ＴＴＣに最も近いＴＴＣ時間に対応するＴＴＣ位置が第２のＴＴＣ位置であると特定されたならば、符号１３２に示すように、該対象物を黄色で表示する。対象物の予想到達時間ＴＴＣに最も近いＴＴＣ時間に対応するＴＴＣ位置が第３のＴＴＣ位置であると特定されたならば、符号１３３に示すように、該対象物を赤色で表示する。
【００３８】
なお、対象物を所定の色で表示する手法は、たとえば、対象物として抽出された領域の画素の色を、該所定の色に変換して表示してもよいし、該所定の色の人間を模したアイコン画像を、該対象物として抽出された領域上に重畳表示させてもよい。こうして、対象物は、最も近いと判定されたＴＴＣ位置の色と相関を持つように表示される。
【００３９】
上記のように、対象物を、各ＴＴＣ位置に応じた色で表示することに代えて、該対象物を囲むように強調枠を表示し、該強調枠の色を、各ＴＴＣ位置に応じた色としてもよい。
【００４０】
また、第１〜第３の補助線１１１〜１１３の形状が互いに異なる場合には、対象物を、上記のように特定された最も近いＴＴＣ位置の形状と相関を持つように表示してもよい。たとえば、それぞれの補助線に、互いに異なるマークを付して表示する。そして、最も近いと判定されたＴＴＣ位置に付されたマークと同じマークを、その対象物にも付して表示する。このようにすることにより、互いに関連していることをマークで表すことができる。
【００４１】
こうして、対象物を、対応するＴＴＣ位置と同様の表示形態となるよう表示させることにより、どの到達時間に関連した対象物が存在するかを、運転者は速やかに把握することができる。ＴＴＣ位置が、危険の度合いに応じて段階的に表示されるので、対象物に対する危険性を、瞬時に見極めることができる。
【００４２】
図３に戻り、ステップＳ２５は、対象物が存在することを、上述したような強調表示による警報表示だけでなく、スピーカ３を介した警報音でも知らせるために設けられており、これは、任意の処理である。この警報音についても、ＴＴＣ位置毎に異ならせることができる。たとえば、対象物が第１のＴＴＣ位置と相関するよう表示された場合には、１つの短い音（たとえば、ピッという音）を出力し、対象物が第２のＴＴＣ位置と相関するよう表示された場合には、２つの短い音（たとえば、ピッピッという音）を出力し、対象物が第３のＴＴＣ位置と相関するよう表示された場合には、１つの長い音（たとえば、ピーーッという音）を出力することができる。なお、複数の対象物が予測進路内に存在し、それぞれが異なるＴＴＣ位置と相関するよう表示された場合には、最も危険性の高いＴＴＣ位置用の警報音を出力すればよい。たとえば、図４の（ｂ）に示すように、第１〜第３のＴＴＣ位置に相関して３人の歩行者１３１〜１３３が存在する場合には、最も危険性の度合いが大きい第３のＴＴＣ位置用の警報音を出力する。
【００４３】
ステップＳ２１に戻り、撮像画像から検出された所定の対象物が、予測された進路内に存在しなければ（Ｓ２１がＮｏ）、これは、該対象物が予測進路外に存在することを示す。この場合、ステップＳ２６に進み、該対象物を、ステップＳ２４での対象物に対する強調表示に比べて、強調度合いを低減した状態で表示する。一例では、該対象物には、何ら強調表示を施さないようにすることができる。他の例では、ステップＳ２４の強調表示に比べて見分けにくい（識別しにくい）所定の色で該対象物を表示することができる。たとえば、ステップＳ２４では、カラーを用いて強調表示を行ったが、ステップＳ２６では、モノクロの色（たとえば、白と黒の間の中間色）で、該対象物を強調表示する。たとえば、所定のモノクロの色で、該対象物を表示してもよいし、該モノクロの色の枠で、該対象物を囲むようにしてもよい。ステップＳ２４の強調表示と明瞭に区別するため、ステップＳ２６では、第１〜第３のＴＴＣ位置に関連して用いた色とは異なる色を用いるのがよい。
【００４４】
図４の（ｂ）には、このような対象物の表示例も示されており、符号１３５に示す歩行者は、予測進路外に存在しているため、所定のグレー値に着色されて表示されている。こうして、予測された進路外にいる対象物については、危険性が低いため、単なる通知にとどめることができる。
【００４５】
なお、当然ながら、撮像を介して取得された画像から所定の対象物が検出されなかった場合には、ステップＳ２１以下の処理を実行することなく、補助線が表示された表示画像のみを表示装置４上に表示すればよい。
【００４６】
図５は、撮像画像から対象物を検出するプロセスのフローチャートを示す。 ステップＳ３１において、カメラ１Ｒで撮像された右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、たとえば生体のような所定の温度より高い対象物が、白領域として抽出される。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。
【００４７】
ステップＳ３２において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。
【００４８】
ステップＳ３３およびＳ３４において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出される。
【００４９】
ステップＳ３５において、こうして抽出された対象物のそれぞれについて、注意すべき所定の対象物か否かを判定する。この実施形態では、該注意すべき所定の対象物は、歩行者であり、該歩行者に加えて動物を含めてもよい。ここで、対象物が歩行者か動物かを判定する処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。動物についても、同様に判定することができる。このような判定処理の例示として、歩行者かどうかを判定する処理は、たとえば特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。動物かどうかを判定する処理は、たとえば特開２００７−３１０７０５号公報、特開２００７−３１０７０６号公報等に記載されている。
【００５０】
こうして、歩行者（動物を含めてもよい）と判定された対象物について、図３のステップＳ２１以下の処理が実行されることとなる。
【００５１】
なお、車両から所定の距離の範囲内にある対象物について、上記のステップＳ２４およびＳ２６のような強調表示を行うようにしてもよい。この場合、該所定の距離は、上記の第１のＴＴＣ位置の距離以上を有するように設定されるのがよい。たとえば、第１のＴＴＣ時間がｔ１秒とすると、“ｔ２（≧ｔ１）×車両の速度Ｖ”により算出される値を、該所定の距離とすることができる。図５のステップＳ３５では、ステップＳ３４で抽出された対象物のうち、該所定の距離の範囲内に対する対象物について判定を行い、その結果、歩行者（動物を含めてもよい）と判定された対象物について、図３のステップＳ２１以下の処理を実行すればよい。
【００５２】
上記の実施形態では、ナビゲーション装置に備えられた表示装置を用いている。上記に述べたように、本願発明では、車両の到達時間毎に異なる色または形状の補助線を表示するので、運転者による視線移動が必要な該表示装置を用いても、危険性の度合いを速やかに運転者に認識させることができる。しかしながら、表示装置として、前述したようなＨＵＤを用いてもよい。
【００５３】
さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ（たとえば、可視カメラ）にも適用可能である。
【００５４】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【００５５】
１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ 表示装置
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の所定の対象物を検出する手段と、前記撮像画像に基づいて生成される表示画像を、車両の乗員が視認可能なように表示装置上に表示するとともに、前記対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物に対し強調表示を行う表示手段と、車両の速度を検出する手段と、を有する車両の周辺監視装置であって、
前記表示手段は、さらに、前記表示画像上に、前記車速に基づいて算出される異なる予想到達時間に応じた複数の補助線を表示するとともに、それぞれの該補助線の色および形状の少なくとも一方を異ならせることを特徴とする、車両の周辺監視装置。
【請求項２】
前記表示手段は、前記複数の補助線のうち、前記検出された対象物に最も近い補助線を特定し、該対象物に対する前記強調表示の色および形状の少なくとも一方を、該特定した補助線の色および形状の少なくとも一方と相関を持たせるように表示する、
請求項１に記載の車両の周辺監視装置。
【請求項３】
さらに、前記車両の進路を予測する手段を備え、
前記表示手段は、前記対象物が、該予測した進路に存在しない場合には、該対象物に対する強調表示の強調度合いを低減して表示する、
請求項１または２に記載の車両の周辺監視装置。
【請求項１】
車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の所定の対象物を検出する手段と、前記撮像画像に基づいて生成される表示画像を、車両の乗員が視認可能なように表示装置上に表示するとともに、前記対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物に対し強調表示を行う表示手段と、車両の速度を検出する手段と、を有する車両の周辺監視装置であって、
前記表示手段は、さらに、前記表示画像上に、前記車速に基づいて算出される異なる予想到達時間に応じた複数の補助線を表示するとともに、それぞれの該補助線の色および形状の少なくとも一方を異ならせることを特徴とする、車両の周辺監視装置。
【請求項２】
前記表示手段は、前記複数の補助線のうち、前記検出された対象物に最も近い補助線を特定し、該対象物に対する前記強調表示の色および形状の少なくとも一方を、該特定した補助線の色および形状の少なくとも一方と相関を持たせるように表示する、
請求項１に記載の車両の周辺監視装置。
【請求項３】
さらに、前記車両の進路を予測する手段を備え、
前記表示手段は、前記対象物が、該予測した進路に存在しない場合には、該対象物に対する強調表示の強調度合いを低減して表示する、
請求項１または２に記載の車両の周辺監視装置。
【図１】
【図２】
【図３】
【図５】
【図４】
【図２】
【図３】
【図５】
【図４】
【公開番号】特開２０１１−１９１８５９（Ｐ２０１１−１９１８５９Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５５５６７（Ｐ２０１０−５５５６７）
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]