車両用表示装置、車両用表示装置の表示方法
【課題】障害物が強調表示された暗視画像を実景に重畳するように表示させても、道路標識の視認性が損なわれない車両用表示装置及び車両用表示装置の表示方法を提供すること。
【解決手段】車両前方の障害物が強調表示された暗視画像を実景に重畳させて表示する車両用表示装置１０において、道路標識１２を検出する標識形状認識部３と、道路標識１２が検出された暗視画像の領域の輝度を小さくする表示制御部８と、を有することを特徴とする車両用表示装置を提供する。
【解決手段】車両前方の障害物が強調表示された暗視画像を実景に重畳させて表示する車両用表示装置１０において、道路標識１２を検出する標識形状認識部３と、道路標識１２が検出された暗視画像の領域の輝度を小さくする表示制御部８と、を有することを特徴とする車両用表示装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺に存在する歩行者を検出して表示する車両用表示装置に関し、特に、表示と実景とが概略重畳している車両用表示装置に関する。
【背景技術】
【０００２】
車載された撮影装置により進行方向など車両の周辺を撮影し表示装置に表示して運転者の状況把握を支援する技術が知られている。例えば、夜間に赤外線を照射した状態で車両の前方を暗視カメラにより撮影すれば、赤外線を反射する対象物を検出することが容易になるので、検出された歩行者を強調して表示装置に表示する車両用表示装置が提案されている（例えば、特許文献１参照。）。
【０００３】
特許文献１記載の車両用表示装置では、歩行者の形状に近い対象物の画像領域について画像の濃度情報から構造物を除外して歩行者を検出する。検出された歩行者の画像領域は点線等で囲み、また、歩行者以外の領域を濃度ゼロと置き直して表示装置に表示する。表示装置としてＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）を用い、フロントガラスの車両前方の実景に重畳するように暗視映像を出力すると、歩行者のみが強調して表示されることになる。
【特許文献１】特開２００５−１５９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の車両用表示装置では、歩行者以外の領域について実景のみ表示されるため、夜間に暗視映像が得られるべき構造物（例えば、コーナーポール等）まで強調表示されなくなるため、暗視カメラの本来の役割が期待できない可能性がある。
【０００５】
このように、暗視カメラでは歩行者以外の構造物等の画像処理については考慮されない場合が多いが、赤外線を照射して撮影する場合、可視光と異なり対象物の色情報を取得できないため、暗視映像からは道路標識の表示内容を読み取りにくいという問題がある。また、道路標識は運転者から視認性がよいように配置されているため赤外線の反射効率が高く、暗視映像の道路標識は高い輝度領域となる。
【０００６】
実景と重畳するように暗視映像をＨＵＤに投影すると、実景の道路標識が輝度の高い暗視映像に隠れてしまい、運転者が道路標識の表示内容を視認しにくいという問題が生じる。
【０００７】
本発明は、上記課題に鑑み、障害物が強調表示された暗視画像を実景に重畳するように表示させても、道路標識の視認性が損なわれない車両用表示装置及びその表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題に鑑み、本発明は、車両前方の障害物が強調表示された暗視画像を実景に重畳させて表示する車両用表示装置において、道路標識を検出する標識形状認識部と、道路標識が検出された暗視画像の領域の輝度を小さくする表示制御部と、を有することを特徴とする。
【０００９】
本発明によれば、障害物が強調表示された暗視画像を実景に重畳させて表示させても、道路標識の視認性が優れた車両用表示装置を提供することができる。なお、「道路標識が検出された暗視画像の領域」とは、道路標識の表示内容が視認できる領域、すなわち道路標識より大きくても若干小さくてもよい。
【００１０】
また、本発明の車両用表示装置の一形態において、暗視画像は近赤外線画像であるが、夜間の画像を撮影可能ならいわゆる可視光画像であっても
また、本発明の車両用表示装置の一形態において、標識形状認識部は、暗視画像から所定の閾値よりも輝度が大きい領域を前記道路標識として検出する、ことを特徴とする。
【００１１】
本発明によれば、道路標識からの反射光が強くてもその部分の輝度を下げるので、道路標識を運転者が視認しやすい。
【発明の効果】
【００１２】
障害物が強調表示された暗視画像を実景に重畳するように表示させても、道路標識の視認性が損なわれない車両用表示装置及び車両用表示装置の表示方法を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
図１は、車両用表示装置１０の全体構成図を示す。車両用表示装置１０は、近赤外線投射ランプ６、画像投影器４、暗視カメラ５及び画像処理部７とを有する。車両用表示装置１０は、日射センサなどにより夜間であることが検出された場合であって、所定の起動スイッチがオンとされた場合に作動する。暗視カメラ５は、近赤外線投影ランプ６により近赤外線が投影された車両の前方を撮影する。画像処理部７は撮影された暗視映像から歩行者及び道路標識を検出し、歩行者を強調表示すると共に道路標識の輝度を調整する。画像投影機４は、このように処理された画像をフロントガラスに投影用画像Ａとして投影する。投影された画像像は運転者から見ると虚像Ｂとなって車両の前方に視認され、運転者の視点から見ると虚像Ｂと実景とが重畳する。
【００１４】
画像処理部７は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＮＶ−ＲＡＭ（Non Volatile ＲＡＭ）、入出力インターフェイス等が相互にバスで接続されたコンピュータとして構成される。ＲＯＭには、標識形状認識部３、表示制御部２及び歩行者検出部１の機能を実現するためのプログラムが格納されており、ＣＰＵがこのプログラムを実行すると、本実施形態で説明する画像処理が実現される。
【００１５】
近赤外線投射ランプ６は、近赤外の波長の光を投射するものであり、前部バンパの左右やヘッドランプのハウジング内に設けられている。暗視カメラ５は、フロントガラス付近の車幅方向の中心に、光軸が車両前方に向くように固定されている。暗視カメラ５は、近赤外の波長の光に感度を有する固体撮像素子を有し、対象物から反射される近赤外の反射光を光電変換する。したがって、近赤外線の反射が多い領域ほど、出力信号レベルが高くなる（輝度が増加する）特性を有している。光電変換された各画素の荷電は増幅された後、Ａ／Ｄ変換により所定階調（例えば８ビットなら２５６階調）の画素値とされ、各画素の画素値により構成される１枚の画像データ（以下、元画像という）として画像処理部７に出力される。暗視カメラ５はこのような元画像の出力を所定のフレーム速度で繰り返す。
【００１６】
画像処理部７は元画像から道路標識を検出する標識形状認識部３と、歩行者を検出する歩行者検出部１と、元画像の道路標識の領域の画素値を調整しまた歩行者を強調表示して画像投影機４に出力する表示制御部２と、を有する。
【００１７】
図２（ａ）は、運転席からフロントガラス越しに見られる実景の一例を、図２（ｂ）はこの実景を暗視カメラ５により撮影した画像データを示す。図２（ａ）に示すように、車両前方に歩行者１１が存在し道路標識２があるため、元画像は歩行者１１及び道路標識１２の領域の輝度が周囲の領域よりも高い濃淡画像（色情報は含まない）となる。歩行者検出部１はこのような濃淡画像から歩行者を検出し、標識形状認識部３は道路標識を検出する。
【００１８】
始めに、歩行者の検出について簡単に説明する。まず、歩行者に反射して得られる輝度の範囲を定めておき、歩行者候補領域をいくつか抽出する。そして、例えば、歩行者は他の構造物と異なり車両の進行とは無関係に移動するので、時系列的に撮影された元画像を比較し、周囲の画素と異なる移動ベクトルの歩行者候補領域を歩行者の領域として検出する。
【００１９】
また、歩行者の外観の典型的ないくつかの形状を標準テンプレートとして準備し、歩行者候補領域からテンプレートマッチングにより歩行者を検出してもよい。歩行者の外観をテンプレートマッチングにより検出することは、ＣＰＵに負荷がかかりやすいことから、歩行者候補領域の外接矩形を抽出し、当該外接矩形の縦横比が人間と同程度の場合に歩行者として検出してもよい。なお、歩行者の検出については種々提案されているので、どのように歩行者を検出してもよい。
【００２０】
歩行者が検出された場合、画像処理部７はその領域を点線の枠で囲んだり枠を点滅させるなどして強調する。また、所定以上に車両と歩行者が接近したら警報などアラームを吹聴する。
【００２１】
なお、歩行者の検出は、車速が所定値以上の場合にのみ行えばよい。これは、低速時では、遠距離の前方歩行者に注意を向ける必要が少なく、また、中近距離の歩行者は目視により認知することが可能なためである。
【００２２】
道路標識の検出について説明する。標識形状認識部３は、図２（ｂ）のような濃淡画像から道路標識１２を検出する。
【００２３】
Ｓ１．元画像には、実景におけるその他の領域（路面、建築物等）が濃淡を有して撮影されているため、まず、道路標識でないことが明らかな領域を除外する。道路標識は近赤外線の反射効率が高く元画像における輝度が高いので、所定の閾値以下（例えば１００以下）の輝度の領域の画素を全てゼロ（黒）に置き換える。これにより所定以上の輝度の領域が抽出された背景取捨画像が得られる。
【００２４】
なお、この閾値は元画像の濃度ヒストグラムから濃度分布の谷に相当する濃度に設定する方法や、濃度ヒストグラムの上位から２０％程度の輝度や、全体濃度の平均＋αなど、可変とすることが好適である。
【００２５】
Ｓ２．ついで、標識形状認識部３は背景取捨画像を２値化する。これにより所定の閾値以上の輝度の領域は白画像にその他の領域は黒画像に分けられる。
【００２６】
図２（ｃ）は２値化された背景取捨画像の一例を示す。図２（ｃ）の斜線部は黒画像であり道路標識１２と歩行者１１が白画像となる。
【００２７】
Ｓ３．標識形状認識部３は背景取捨画像からパターンマッチング等により道路標識を検出する。道路標識の形状は決まっているので、道路標識毎に標準パターンを予め備えておけばよい。なお、道路標識の位置は道路の左右側や上部であるので、それ以外の領域を検出対象から除いてもよい。この場合、車両がカーブを走行している場合には、ステアリングセンサからの出力により検出領域を変更する。
【００２８】
図３は道路標識と対応する標準パターンを示す図である。使用頻度の高い道路標識は５〜６種類程度であるので、それら道路標識の形状の標準パターンを予め記憶しておく。標準パターンは一様な白画像（２値化された道路標識と同じ画素値（輝度））である。 背景取捨画像における道路標識の大きさは、道路標識と車両との距離によって不定であるが、図１に示したように虚像Ｂの表示位置と大きさは決まっているので、その範囲でいくつかの大きさの標準パターンを各道路標識毎に記憶しておく。
【００２９】
標識形状認識部３は、道路上で使用される頻度の高い標準パターンから順に標準パターンとして用い、背景取捨画像と１画素毎に輝度を比較し、所定以上に相関する領域がある場合にその標準パターンの道路標識が存在するものとして道路標識を検出する。道路標識の画素の位置は画像処理部７が元画像毎に保持する。
【００３０】
なお、２値化画像から黒白に反転するエッジを検出し、エッジ部の形状だけをパターンマッチングすれば、道路標識の検出を高速化できる。
【００３１】
また、道路標識は近赤外線の反射効率が高く、他の対象物よりも道路標識の領域は輝度の変化が少ないので、ステップＳ２において、２値化せずに輝度の変化が少ない領域を道路標識としてもよい。このように処理する場合ステップＳ２は次のように変形できる。
【００３２】
Ｓ２’．標識形状認識部３は 背景取捨画像の輝度値を縦方向及び横方向に微分して、輝度変化が所定よりも小さい領域を道路標識の領域として検出する。この場合には、パターンマッチングせずに道路標識が検出される。
【００３３】
道路標識が検出されたら表示制御部２は、元画像の道路標識の画素の輝度を下げて投影用画像を生成する。道路標識の画素は位置が検出されているので、表示制御部２は元画像において対応する画素位置の輝度を例えば１／５〜１／１０程度に小さくする。
【００３４】
図４は、元画像と投影用画像において道路標識が検出された画素の輝度の関係を示す図である。図４に示すように、道路標識の画素を元画像にくらべ輝度を小さくする。なお、道路標識が検出された画素を完全に黒色の画素としてもよい。
【００３５】
画像投影器４は投影用画像Ｂをフロントガラスに投影する。画像投影機４は、運転者から投影用画像Ａを見ると、実景と概略重畳するような位置および角度に投影用画像Ａを投影する。運転者のアイポイントは運転者によって異なるが、運転者のアイレンジの目安を定める「ＪｌＳ（Ｊａｐａｎ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ） Ｄ００２１」の９０％アイレンジは上下±４０ｍｍ、左右±８０ｍｍであり、３０ｍ先でも上下左右に１〜２ｍ程度の誤差としかならない。
【００３６】
投影用画像Ａにより、例えば３０ｍ先に投影用画像の虚像Ｂが見えるように定めることで、アイポイントと投影用画像の虚像Ｂの位置（互いを結ぶ直線）が決まるので、この直線とフロントガラスの交差する点を反射点として投影用画像Ａをフロントガラスに投影する。なお、フロントガラスへの投影位置は運転者が調整することもできる。
【００３７】
このように投影用画像Ａを投影することで、その虚像Ｂは実景と概略重畳するように運転者から見ることができる。運転者は視線移動しなくても、道路標識や歩行者を、実景を視認しながら認識することができる。
【００３８】
なお、車両の進行によって撮影される元画像も対象物との距離に応じたものとなるので、車両が進行しても実景と重畳する虚像が表示される。
【００３９】
図５は車両用表示装置１０が投影用画像を投影するまでの処理手順を示すフローチャート図である。図５の処理は、車両用表示装置１０を起動することでスタートする。
【００４０】
近赤外線投射ランプ６が車両の進行方向を投射した状態で暗視カメラ５が撮影した元画像が画像処理部７に入力される（Ｓ１１）。
【００４１】
歩行者検出部１は、元画像から歩行者を検出する（Ｓ１２）。歩行者が検出された画素位置は元画像と対応づけてＲＡＭに保存しておく。
【００４２】
ついで、標識形状認識部３は元画像から道路標識が検出されるか否かを判定する（Ｓ１３）。上述したように、標識形状認識部３は、所定の閾値以下の輝度の領域の画素を全てゼロに置き換え２値化して背景取捨画像を取得する。そして、背景取捨画像からパターンマッチング等により道路標識を検出する。道路標識が検出されない場合（Ｓ１３のＮｏ）、ステップＳ１５に進み、歩行者強調処理を行う。
【００４３】
道路標識が検出された場合（Ｓ１３のＹｅｓ）、表示制御部２は元画像の道路標識の領域の輝度を１／１０程度にして投影用画像を生成する。
【００４４】
ついで、表示用制御部８は、投影用画像における歩行者の領域を強調する処理を行い（Ｓ１５）、画像投影器４から投影用画像を投影する（Ｓ１６）。
【００４５】
図６は運転席から見られる実景に投影用画像の虚像が重畳した図を示す。図６に示すように、投影用画像の虚像Ａは実景と重畳しているが、道路標識１２の領域の輝度が小さいため、運転者が道路標識１２の表示内容（図では速度制限の数字）を視認できる。また、歩行者が強調表示されているので、夜間でも十分手前から歩行者に気づいて回避行動を取ることができる。
【００４６】
〔変形例〕
本実施の形態の変形例について説明する。図６では道路標識の形状に合わせて輝度をちいさくしたが、図７（ａ）に示すように道路標識の外接矩形１３を求め、外接矩形１３の内部の輝度を小さくしてもよい。道路標識の形状に合わせて輝度を調整することで画像処理時間を短縮できる。
【００４７】
また、輝度を下げると共に、Ｒ，Ｇ、Ｂ等のカラー表示するための画素値を道路標識のエッジ部や外接矩形に付与してもよい。このような処理により歩行者と同様に道路標識を強調することができる。
【００４８】
また、道路標識に近赤外線が投射されなければ撮影された画像の輝度が過度に大きくなることもないので、道路標識が検出された場合は、近赤外線投射ランプ６の投射範囲を狭めてもよい。通常、道路標識は歩行者よりも高い位置にあるので、投射範囲を下側７５％程度に狭める。これにより、運転者は道路標識の内容は肉眼で視認して、歩行者は暗視カメラの投影画像から視認できる。なお、道路標識は道路の右左の路側にあることが多いので、近赤外線投射ランプ６の投射範囲を中央部に限定するように狭めてもよい。
【００４９】
また、本実施の形態の表示方法は、障害物の検出を特に行わずに、元画像をそのままフロントガラスに投影する車両用表示装置においても好適に適用できる。この場合も近赤外線が歩行者、標識、構造物など障害物に反射するので、元画像をそのまま投影してもこれらが強調表示された画像となる。
【００５０】
また、道路標識の表示内容により投影用画像の道路標識の領域を置き換えてもよい。図７（ｂ）は道路標識の表示内容を投影用画像に表示できる車両用表示装置１０の概略ブロック図を示す。図７（ｂ）の車両用表示装置１０は、可視光カメラ１４及び表示内容抽出部１５を有する点で図１と異なる。なお、図７（ｂ）において図１と同一部分の説明は省略する。
【００５１】
可視光カメラ１４は、車両前方の画像をヘッドライトの明かりの下で撮影する撮影装置である。可視光カメラ１４により撮影された画像データ（以下、可視画像という）は、肉眼と同様に撮影される画像である。
【００５２】
標識形状認識部３は上述したように道路標識の画素の位置を検出して、表示内容抽出部１５に通知する。可視光カメラ１４と暗視カメラ５はいずれも車両に固定されているので、撮影範囲は異なっていても可視光カメラ１４と暗視カメラ５に撮影された画像データの
画素毎の対応は既知である。表示内容抽出部１５は、通知された道路標識の画素位置から可視画像の道路標識を抽出する。これにより、文字や数字など表示内容が明瞭な道路標識の画像が得られる。
【００５３】
表示内容抽出部１５は道路標識の画像を表示制御部２に送出するので、表示制御部２は道路標識の画像により画素を置き換え、歩行者の強調処理の後、画像投影器４に投影させる。
【００５４】
このような処理により車両用表示装置１０は、実景と重畳するように歩行者を強調すると共に、肉眼と同様に視認される道路標識を表示することができる。
【００５５】
以上のように本実施の形態の車両用表示装置１０によれば、暗視カメラの暗視画像から道路標識を検出して、道路標識の領域の輝度を下げるので、暗視画像を実景と重畳して表示した場合でも道路標識の内容を視認できる。
【図面の簡単な説明】
【００５６】
【図１】車両用表示装置の全体構成図である。
【図２】運転席からフロントガラス越しに見られる実景及びその画像等を示す図である。
【図３】道路標識と対応する標準パターンを示す図である。
【図４】元画像と投影用画像において道路標識が検出された画素の輝度の関係を示す図である。
【図５】車両用表示装置が投影用画像を投影するまでの処理手順を示すフローチャート図である
【図６】運転席から見られる実景に投影用画像の虚像が重畳した図の一例を示す。
【図７】道路標識の表示内容を投影用画像に表示できる車両用表示装置の概略ブロック図である。
【符号の説明】
【００５７】
１ 歩行者検出部
２ 表示制御部
３ 標識形状認識部
４ 画像投影器
５ 暗視カメラ
６ 金赤外線投射ランプ
７ 画像処理部
１０ 車両用表示装置
１１ 歩行者
１２ 道路標識
【技術分野】
【０００１】
本発明は、車両の周辺に存在する歩行者を検出して表示する車両用表示装置に関し、特に、表示と実景とが概略重畳している車両用表示装置に関する。
【背景技術】
【０００２】
車載された撮影装置により進行方向など車両の周辺を撮影し表示装置に表示して運転者の状況把握を支援する技術が知られている。例えば、夜間に赤外線を照射した状態で車両の前方を暗視カメラにより撮影すれば、赤外線を反射する対象物を検出することが容易になるので、検出された歩行者を強調して表示装置に表示する車両用表示装置が提案されている（例えば、特許文献１参照。）。
【０００３】
特許文献１記載の車両用表示装置では、歩行者の形状に近い対象物の画像領域について画像の濃度情報から構造物を除外して歩行者を検出する。検出された歩行者の画像領域は点線等で囲み、また、歩行者以外の領域を濃度ゼロと置き直して表示装置に表示する。表示装置としてＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）を用い、フロントガラスの車両前方の実景に重畳するように暗視映像を出力すると、歩行者のみが強調して表示されることになる。
【特許文献１】特開２００５−１５９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の車両用表示装置では、歩行者以外の領域について実景のみ表示されるため、夜間に暗視映像が得られるべき構造物（例えば、コーナーポール等）まで強調表示されなくなるため、暗視カメラの本来の役割が期待できない可能性がある。
【０００５】
このように、暗視カメラでは歩行者以外の構造物等の画像処理については考慮されない場合が多いが、赤外線を照射して撮影する場合、可視光と異なり対象物の色情報を取得できないため、暗視映像からは道路標識の表示内容を読み取りにくいという問題がある。また、道路標識は運転者から視認性がよいように配置されているため赤外線の反射効率が高く、暗視映像の道路標識は高い輝度領域となる。
【０００６】
実景と重畳するように暗視映像をＨＵＤに投影すると、実景の道路標識が輝度の高い暗視映像に隠れてしまい、運転者が道路標識の表示内容を視認しにくいという問題が生じる。
【０００７】
本発明は、上記課題に鑑み、障害物が強調表示された暗視画像を実景に重畳するように表示させても、道路標識の視認性が損なわれない車両用表示装置及びその表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題に鑑み、本発明は、車両前方の障害物が強調表示された暗視画像を実景に重畳させて表示する車両用表示装置において、道路標識を検出する標識形状認識部と、道路標識が検出された暗視画像の領域の輝度を小さくする表示制御部と、を有することを特徴とする。
【０００９】
本発明によれば、障害物が強調表示された暗視画像を実景に重畳させて表示させても、道路標識の視認性が優れた車両用表示装置を提供することができる。なお、「道路標識が検出された暗視画像の領域」とは、道路標識の表示内容が視認できる領域、すなわち道路標識より大きくても若干小さくてもよい。
【００１０】
また、本発明の車両用表示装置の一形態において、暗視画像は近赤外線画像であるが、夜間の画像を撮影可能ならいわゆる可視光画像であっても
また、本発明の車両用表示装置の一形態において、標識形状認識部は、暗視画像から所定の閾値よりも輝度が大きい領域を前記道路標識として検出する、ことを特徴とする。
【００１１】
本発明によれば、道路標識からの反射光が強くてもその部分の輝度を下げるので、道路標識を運転者が視認しやすい。
【発明の効果】
【００１２】
障害物が強調表示された暗視画像を実景に重畳するように表示させても、道路標識の視認性が損なわれない車両用表示装置及び車両用表示装置の表示方法を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
図１は、車両用表示装置１０の全体構成図を示す。車両用表示装置１０は、近赤外線投射ランプ６、画像投影器４、暗視カメラ５及び画像処理部７とを有する。車両用表示装置１０は、日射センサなどにより夜間であることが検出された場合であって、所定の起動スイッチがオンとされた場合に作動する。暗視カメラ５は、近赤外線投影ランプ６により近赤外線が投影された車両の前方を撮影する。画像処理部７は撮影された暗視映像から歩行者及び道路標識を検出し、歩行者を強調表示すると共に道路標識の輝度を調整する。画像投影機４は、このように処理された画像をフロントガラスに投影用画像Ａとして投影する。投影された画像像は運転者から見ると虚像Ｂとなって車両の前方に視認され、運転者の視点から見ると虚像Ｂと実景とが重畳する。
【００１４】
画像処理部７は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＮＶ−ＲＡＭ（Non Volatile ＲＡＭ）、入出力インターフェイス等が相互にバスで接続されたコンピュータとして構成される。ＲＯＭには、標識形状認識部３、表示制御部２及び歩行者検出部１の機能を実現するためのプログラムが格納されており、ＣＰＵがこのプログラムを実行すると、本実施形態で説明する画像処理が実現される。
【００１５】
近赤外線投射ランプ６は、近赤外の波長の光を投射するものであり、前部バンパの左右やヘッドランプのハウジング内に設けられている。暗視カメラ５は、フロントガラス付近の車幅方向の中心に、光軸が車両前方に向くように固定されている。暗視カメラ５は、近赤外の波長の光に感度を有する固体撮像素子を有し、対象物から反射される近赤外の反射光を光電変換する。したがって、近赤外線の反射が多い領域ほど、出力信号レベルが高くなる（輝度が増加する）特性を有している。光電変換された各画素の荷電は増幅された後、Ａ／Ｄ変換により所定階調（例えば８ビットなら２５６階調）の画素値とされ、各画素の画素値により構成される１枚の画像データ（以下、元画像という）として画像処理部７に出力される。暗視カメラ５はこのような元画像の出力を所定のフレーム速度で繰り返す。
【００１６】
画像処理部７は元画像から道路標識を検出する標識形状認識部３と、歩行者を検出する歩行者検出部１と、元画像の道路標識の領域の画素値を調整しまた歩行者を強調表示して画像投影機４に出力する表示制御部２と、を有する。
【００１７】
図２（ａ）は、運転席からフロントガラス越しに見られる実景の一例を、図２（ｂ）はこの実景を暗視カメラ５により撮影した画像データを示す。図２（ａ）に示すように、車両前方に歩行者１１が存在し道路標識２があるため、元画像は歩行者１１及び道路標識１２の領域の輝度が周囲の領域よりも高い濃淡画像（色情報は含まない）となる。歩行者検出部１はこのような濃淡画像から歩行者を検出し、標識形状認識部３は道路標識を検出する。
【００１８】
始めに、歩行者の検出について簡単に説明する。まず、歩行者に反射して得られる輝度の範囲を定めておき、歩行者候補領域をいくつか抽出する。そして、例えば、歩行者は他の構造物と異なり車両の進行とは無関係に移動するので、時系列的に撮影された元画像を比較し、周囲の画素と異なる移動ベクトルの歩行者候補領域を歩行者の領域として検出する。
【００１９】
また、歩行者の外観の典型的ないくつかの形状を標準テンプレートとして準備し、歩行者候補領域からテンプレートマッチングにより歩行者を検出してもよい。歩行者の外観をテンプレートマッチングにより検出することは、ＣＰＵに負荷がかかりやすいことから、歩行者候補領域の外接矩形を抽出し、当該外接矩形の縦横比が人間と同程度の場合に歩行者として検出してもよい。なお、歩行者の検出については種々提案されているので、どのように歩行者を検出してもよい。
【００２０】
歩行者が検出された場合、画像処理部７はその領域を点線の枠で囲んだり枠を点滅させるなどして強調する。また、所定以上に車両と歩行者が接近したら警報などアラームを吹聴する。
【００２１】
なお、歩行者の検出は、車速が所定値以上の場合にのみ行えばよい。これは、低速時では、遠距離の前方歩行者に注意を向ける必要が少なく、また、中近距離の歩行者は目視により認知することが可能なためである。
【００２２】
道路標識の検出について説明する。標識形状認識部３は、図２（ｂ）のような濃淡画像から道路標識１２を検出する。
【００２３】
Ｓ１．元画像には、実景におけるその他の領域（路面、建築物等）が濃淡を有して撮影されているため、まず、道路標識でないことが明らかな領域を除外する。道路標識は近赤外線の反射効率が高く元画像における輝度が高いので、所定の閾値以下（例えば１００以下）の輝度の領域の画素を全てゼロ（黒）に置き換える。これにより所定以上の輝度の領域が抽出された背景取捨画像が得られる。
【００２４】
なお、この閾値は元画像の濃度ヒストグラムから濃度分布の谷に相当する濃度に設定する方法や、濃度ヒストグラムの上位から２０％程度の輝度や、全体濃度の平均＋αなど、可変とすることが好適である。
【００２５】
Ｓ２．ついで、標識形状認識部３は背景取捨画像を２値化する。これにより所定の閾値以上の輝度の領域は白画像にその他の領域は黒画像に分けられる。
【００２６】
図２（ｃ）は２値化された背景取捨画像の一例を示す。図２（ｃ）の斜線部は黒画像であり道路標識１２と歩行者１１が白画像となる。
【００２７】
Ｓ３．標識形状認識部３は背景取捨画像からパターンマッチング等により道路標識を検出する。道路標識の形状は決まっているので、道路標識毎に標準パターンを予め備えておけばよい。なお、道路標識の位置は道路の左右側や上部であるので、それ以外の領域を検出対象から除いてもよい。この場合、車両がカーブを走行している場合には、ステアリングセンサからの出力により検出領域を変更する。
【００２８】
図３は道路標識と対応する標準パターンを示す図である。使用頻度の高い道路標識は５〜６種類程度であるので、それら道路標識の形状の標準パターンを予め記憶しておく。標準パターンは一様な白画像（２値化された道路標識と同じ画素値（輝度））である。 背景取捨画像における道路標識の大きさは、道路標識と車両との距離によって不定であるが、図１に示したように虚像Ｂの表示位置と大きさは決まっているので、その範囲でいくつかの大きさの標準パターンを各道路標識毎に記憶しておく。
【００２９】
標識形状認識部３は、道路上で使用される頻度の高い標準パターンから順に標準パターンとして用い、背景取捨画像と１画素毎に輝度を比較し、所定以上に相関する領域がある場合にその標準パターンの道路標識が存在するものとして道路標識を検出する。道路標識の画素の位置は画像処理部７が元画像毎に保持する。
【００３０】
なお、２値化画像から黒白に反転するエッジを検出し、エッジ部の形状だけをパターンマッチングすれば、道路標識の検出を高速化できる。
【００３１】
また、道路標識は近赤外線の反射効率が高く、他の対象物よりも道路標識の領域は輝度の変化が少ないので、ステップＳ２において、２値化せずに輝度の変化が少ない領域を道路標識としてもよい。このように処理する場合ステップＳ２は次のように変形できる。
【００３２】
Ｓ２’．標識形状認識部３は 背景取捨画像の輝度値を縦方向及び横方向に微分して、輝度変化が所定よりも小さい領域を道路標識の領域として検出する。この場合には、パターンマッチングせずに道路標識が検出される。
【００３３】
道路標識が検出されたら表示制御部２は、元画像の道路標識の画素の輝度を下げて投影用画像を生成する。道路標識の画素は位置が検出されているので、表示制御部２は元画像において対応する画素位置の輝度を例えば１／５〜１／１０程度に小さくする。
【００３４】
図４は、元画像と投影用画像において道路標識が検出された画素の輝度の関係を示す図である。図４に示すように、道路標識の画素を元画像にくらべ輝度を小さくする。なお、道路標識が検出された画素を完全に黒色の画素としてもよい。
【００３５】
画像投影器４は投影用画像Ｂをフロントガラスに投影する。画像投影機４は、運転者から投影用画像Ａを見ると、実景と概略重畳するような位置および角度に投影用画像Ａを投影する。運転者のアイポイントは運転者によって異なるが、運転者のアイレンジの目安を定める「ＪｌＳ（Ｊａｐａｎ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ） Ｄ００２１」の９０％アイレンジは上下±４０ｍｍ、左右±８０ｍｍであり、３０ｍ先でも上下左右に１〜２ｍ程度の誤差としかならない。
【００３６】
投影用画像Ａにより、例えば３０ｍ先に投影用画像の虚像Ｂが見えるように定めることで、アイポイントと投影用画像の虚像Ｂの位置（互いを結ぶ直線）が決まるので、この直線とフロントガラスの交差する点を反射点として投影用画像Ａをフロントガラスに投影する。なお、フロントガラスへの投影位置は運転者が調整することもできる。
【００３７】
このように投影用画像Ａを投影することで、その虚像Ｂは実景と概略重畳するように運転者から見ることができる。運転者は視線移動しなくても、道路標識や歩行者を、実景を視認しながら認識することができる。
【００３８】
なお、車両の進行によって撮影される元画像も対象物との距離に応じたものとなるので、車両が進行しても実景と重畳する虚像が表示される。
【００３９】
図５は車両用表示装置１０が投影用画像を投影するまでの処理手順を示すフローチャート図である。図５の処理は、車両用表示装置１０を起動することでスタートする。
【００４０】
近赤外線投射ランプ６が車両の進行方向を投射した状態で暗視カメラ５が撮影した元画像が画像処理部７に入力される（Ｓ１１）。
【００４１】
歩行者検出部１は、元画像から歩行者を検出する（Ｓ１２）。歩行者が検出された画素位置は元画像と対応づけてＲＡＭに保存しておく。
【００４２】
ついで、標識形状認識部３は元画像から道路標識が検出されるか否かを判定する（Ｓ１３）。上述したように、標識形状認識部３は、所定の閾値以下の輝度の領域の画素を全てゼロに置き換え２値化して背景取捨画像を取得する。そして、背景取捨画像からパターンマッチング等により道路標識を検出する。道路標識が検出されない場合（Ｓ１３のＮｏ）、ステップＳ１５に進み、歩行者強調処理を行う。
【００４３】
道路標識が検出された場合（Ｓ１３のＹｅｓ）、表示制御部２は元画像の道路標識の領域の輝度を１／１０程度にして投影用画像を生成する。
【００４４】
ついで、表示用制御部８は、投影用画像における歩行者の領域を強調する処理を行い（Ｓ１５）、画像投影器４から投影用画像を投影する（Ｓ１６）。
【００４５】
図６は運転席から見られる実景に投影用画像の虚像が重畳した図を示す。図６に示すように、投影用画像の虚像Ａは実景と重畳しているが、道路標識１２の領域の輝度が小さいため、運転者が道路標識１２の表示内容（図では速度制限の数字）を視認できる。また、歩行者が強調表示されているので、夜間でも十分手前から歩行者に気づいて回避行動を取ることができる。
【００４６】
〔変形例〕
本実施の形態の変形例について説明する。図６では道路標識の形状に合わせて輝度をちいさくしたが、図７（ａ）に示すように道路標識の外接矩形１３を求め、外接矩形１３の内部の輝度を小さくしてもよい。道路標識の形状に合わせて輝度を調整することで画像処理時間を短縮できる。
【００４７】
また、輝度を下げると共に、Ｒ，Ｇ、Ｂ等のカラー表示するための画素値を道路標識のエッジ部や外接矩形に付与してもよい。このような処理により歩行者と同様に道路標識を強調することができる。
【００４８】
また、道路標識に近赤外線が投射されなければ撮影された画像の輝度が過度に大きくなることもないので、道路標識が検出された場合は、近赤外線投射ランプ６の投射範囲を狭めてもよい。通常、道路標識は歩行者よりも高い位置にあるので、投射範囲を下側７５％程度に狭める。これにより、運転者は道路標識の内容は肉眼で視認して、歩行者は暗視カメラの投影画像から視認できる。なお、道路標識は道路の右左の路側にあることが多いので、近赤外線投射ランプ６の投射範囲を中央部に限定するように狭めてもよい。
【００４９】
また、本実施の形態の表示方法は、障害物の検出を特に行わずに、元画像をそのままフロントガラスに投影する車両用表示装置においても好適に適用できる。この場合も近赤外線が歩行者、標識、構造物など障害物に反射するので、元画像をそのまま投影してもこれらが強調表示された画像となる。
【００５０】
また、道路標識の表示内容により投影用画像の道路標識の領域を置き換えてもよい。図７（ｂ）は道路標識の表示内容を投影用画像に表示できる車両用表示装置１０の概略ブロック図を示す。図７（ｂ）の車両用表示装置１０は、可視光カメラ１４及び表示内容抽出部１５を有する点で図１と異なる。なお、図７（ｂ）において図１と同一部分の説明は省略する。
【００５１】
可視光カメラ１４は、車両前方の画像をヘッドライトの明かりの下で撮影する撮影装置である。可視光カメラ１４により撮影された画像データ（以下、可視画像という）は、肉眼と同様に撮影される画像である。
【００５２】
標識形状認識部３は上述したように道路標識の画素の位置を検出して、表示内容抽出部１５に通知する。可視光カメラ１４と暗視カメラ５はいずれも車両に固定されているので、撮影範囲は異なっていても可視光カメラ１４と暗視カメラ５に撮影された画像データの
画素毎の対応は既知である。表示内容抽出部１５は、通知された道路標識の画素位置から可視画像の道路標識を抽出する。これにより、文字や数字など表示内容が明瞭な道路標識の画像が得られる。
【００５３】
表示内容抽出部１５は道路標識の画像を表示制御部２に送出するので、表示制御部２は道路標識の画像により画素を置き換え、歩行者の強調処理の後、画像投影器４に投影させる。
【００５４】
このような処理により車両用表示装置１０は、実景と重畳するように歩行者を強調すると共に、肉眼と同様に視認される道路標識を表示することができる。
【００５５】
以上のように本実施の形態の車両用表示装置１０によれば、暗視カメラの暗視画像から道路標識を検出して、道路標識の領域の輝度を下げるので、暗視画像を実景と重畳して表示した場合でも道路標識の内容を視認できる。
【図面の簡単な説明】
【００５６】
【図１】車両用表示装置の全体構成図である。
【図２】運転席からフロントガラス越しに見られる実景及びその画像等を示す図である。
【図３】道路標識と対応する標準パターンを示す図である。
【図４】元画像と投影用画像において道路標識が検出された画素の輝度の関係を示す図である。
【図５】車両用表示装置が投影用画像を投影するまでの処理手順を示すフローチャート図である
【図６】運転席から見られる実景に投影用画像の虚像が重畳した図の一例を示す。
【図７】道路標識の表示内容を投影用画像に表示できる車両用表示装置の概略ブロック図である。
【符号の説明】
【００５７】
１ 歩行者検出部
２ 表示制御部
３ 標識形状認識部
４ 画像投影器
５ 暗視カメラ
６ 金赤外線投射ランプ
７ 画像処理部
１０ 車両用表示装置
１１ 歩行者
１２ 道路標識
【特許請求の範囲】
【請求項１】
車両前方の障害物が強調表示された暗視画像を実景に重畳させて表示する車両用表示装置において、
道路標識を検出する標識形状認識部と、
道路標識が検出された前記暗視画像の領域の輝度を小さくする表示制御部と、
を有することを特徴とする車両用表示装置。
【請求項２】
前記暗視画像は近赤外線画像である、ことを特徴とする請求項１記載の車両用表示装置。
【請求項３】
前記標識形状認識部は、前記暗視画像から所定の閾値よりも輝度が大きい領域を前記道路標識として検出する、
ことを特徴とする請求項１又は２記載の車両用表示装置。
【請求項４】
車両前方の暗視画像から障害物を検出し、前記障害物が強調表示された前記暗視画像を実景に重畳させて表示する車両用表示装置の表示方法において、
前記暗視画像から道路標識が検出された場合、道路標識が検出された前記暗視画像の領域の輝度を小さくする、
を有することを特徴とする車両用表示装置の表示方法。
【請求項１】
車両前方の障害物が強調表示された暗視画像を実景に重畳させて表示する車両用表示装置において、
道路標識を検出する標識形状認識部と、
道路標識が検出された前記暗視画像の領域の輝度を小さくする表示制御部と、
を有することを特徴とする車両用表示装置。
【請求項２】
前記暗視画像は近赤外線画像である、ことを特徴とする請求項１記載の車両用表示装置。
【請求項３】
前記標識形状認識部は、前記暗視画像から所定の閾値よりも輝度が大きい領域を前記道路標識として検出する、
ことを特徴とする請求項１又は２記載の車両用表示装置。
【請求項４】
車両前方の暗視画像から障害物を検出し、前記障害物が強調表示された前記暗視画像を実景に重畳させて表示する車両用表示装置の表示方法において、
前記暗視画像から道路標識が検出された場合、道路標識が検出された前記暗視画像の領域の輝度を小さくする、
を有することを特徴とする車両用表示装置の表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−２８８６５７（Ｐ２００７−２８８６５７Ａ）
【公開日】平成１９年１１月１日（２００７．１１．１）
【国際特許分類】
【出願番号】特願２００６−１１５６２４（Ｐ２００６−１１５６２４）
【出願日】平成１８年４月１９日（２００６．４．１９）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１９年１１月１日（２００７．１１．１）
【国際特許分類】
【出願日】平成１８年４月１９日（２００６．４．１９）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]