説明

車両用表示装置

【課題】前方車両により生成される死角領域の画像をフロントガラス上での前方車両の位置に表示することができると共に、運転者からの前方車両の視認性を高めることができる車両用表示装置を提供すること。
【解決手段】車両用表示装置10は、前方車両により生成される死角領域の画像を取得する画像取得手段11と、画像取得手段11により取得した画像を加工して運転者の視点から見た画像に相当する修正画像を作成する画像作成手段21と、画像作成手段21により作成された修正画像の一部を表示しないようマスクするマスク手段23と、マスク手段23により一部がマスクされた修正画像を運転者の前記視点から見たフロントガラス上での前方車両の位置に表示する画像表示手段13と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用表示装置に関し、特に、前方車両により生成される死角領域を撮像した画像を加工して運転者の視点から見た画像に相当する修正画像を作成し、修正画像をフロントガラス上での前方車両の位置に表示する車両用表示装置に関する。
【背景技術】
【0002】
従来、前方車両により生成される死角領域を補完する車両用表示装置が知られている(例えば、特許文献1参照)。この車両用表示装置は、通信装置を介して前方車両のカメラで撮影された画像を取得し、取得した画像をカメラの設定位置を運転者の視点位置に変更した場合に映し出される画像に変換する。この視点変換画像データをヘッドアップディスプレイによってフロントガラスの位置に表示する。フロントガラスにマーカが表示され、運転者がマーカに焦点を合わせると、角膜に結像したマーカ像を眼球撮影用カメラが検出し、このマーカ像が検出された場合に、視点変換画像データが表示される。視点変換画像データには、運転者の視野内に位置する前方車両により生成される死角領域が含まれており、この画像がフロントガラスの位置に重ねて表示される。このため、前方車両に重ねて、死角領域の透過画像が映し出され、運転者には、あたかも前方車両を透かして向こう側の景色が視認できるように認識される。
【特許文献1】特開2004−114709号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記従来の車両用表示装置では、前方車両に重ねて、死角領域の透過画像がフロントガラスの位置に映し出されるので、運転者からの前方車両の視認性が低下する。
【0004】
本発明は、上記課題に鑑みてなされたものであって、前方車両により生成される死角領域の画像をフロントガラス上での前方車両の位置に表示することができると共に、運転者からの前方車両の視認性を高めることができる車両用表示装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
前記目的を達成するため、第1の発明は、前方車両により生成される死角領域の画像を取得する画像取得手段と、
前記画像取得手段により取得した前記画像を加工して運転者の視点から見た画像に相当する修正画像を作成する画像作成手段と、
前記画像作成手段により作成された前記修正画像の一部を表示しないようマスクするマスク手段と、
前記マスク手段により一部がマスクされた前記修正画像をフロントガラス上での前記前方車両の位置に表示する画像表示手段と、
を備える車両用表示装置である。
【0006】
第2の発明は、第1の発明に係る車両用表示装置であって、前記運転者の前記視点から見た前記フロントガラス上での前記前方車両の所定物の位置を認識する位置認識手段を備え、
前記マスク手段は、前記位置認識手段により認識される前記位置に対応する部分をマスクする。
【0007】
第3の発明は、第2の発明に係る車両用表示装置であって、前記所定物は、運転者、運転席、輪郭、前照灯、方向指示器、ブレーキランプ、及びナンバープレートの少なくともいずれか1つである。
【0008】
第4の発明は、第1〜第3のいずれか1つの発明に係る車両用表示装置であって、前記前方車両が緊急車両であるか否かを判定する車種判定手段と、
前記車種判定手段によって前記前方車両が緊急車両であると判定されると、前記画像表示手段による表示を制限する画像表示制限手段と、
を更に備える。
【発明の効果】
【0009】
本発明によれば、前方車両により生成される死角領域の画像をフロントガラス上での前方車両の位置に表示することができると共に、運転者からの前方車両の視認性を高めることができる車両用表示装置を提供することができる。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【0011】
図1は、本発明の車両用表示装置の構成の一実施例を示す機能ブロック図である。本実施例の車両用表示装置10は、車両に搭載される画像表示ECU20を中心に構成される。画像表示ECU20には、CAN(Controller Area Network)等の車内ネットワークを介して、無線通信機11aやビーコン受信機11b等の画像取得手段11、ヘッドアップディスプレイ(HUD)13a等の画像表示手段13、ナビゲーションECU15、車内カメラ17、及び車外カメラ19が接続されている。
【0012】
画像表示ECU20は、マイクロコンピュータによって構成され、例えば、CPU、制御プログラムを格納するROM、演算結果等を格納する読書き可能なRAM、時間を計測するタイマ、演算等の処理の回数を計測するカウンタ、入力インターフェイス、及び出力インターフェイス等を有する。この画像表示ECU20は、画像作成手段21、マスク手段23、位置認識手段25、車種判定手段27、及び画像表示制限手段29に対応するプログラムをROM等のメモリに格納して、それらプログラムの処理をCPUに実行させて各手段を実現する。
【0013】
無線通信機11aは、前方車両が提供する情報を取得するものである。例えば、無線通信機11aは、所定のスイッチ操作に応じて、前方車両の無線通信機との交信を開始し、前方車両が提供する情報を取得する。或いは、無線通信機11aは、車外カメラ19により前方車両を検出すると自動的に前方車両の無線通信機との交信を開始し、前方車両が提供する情報を取得してよい。
【0014】
前方車両は、車両外装の前後左右に設置される車外カメラを用いて、前方車両周辺の画像を収集している。この車外カメラは、例えば、ボディパネル、バンパー、フロントグリル、ナンバープレート付近等に設置されるCCDカメラやCMOSカメラであり、広角撮像が可能な魚眼カメラや全方位カメラ、夜間での撮像が可能な赤外線カメラ等であってもよい。また、この車外カメラは、単一のカメラであっても、複数のカメラであってもよく、また、動画像を撮像するカメラであっても、静止画像を撮像するカメラであってもよい。
【0015】
前方車両の車外カメラで撮像した前方車両周辺の画像には、前方車両により生成される死角領域を撮像した画像が含まれており、画像信号として、車外カメラの設置場所や撮影方向等の位置情報と共に、前方車両の無線通信機から自車両に対して送信される。
【0016】
また、前方車両は、GPS(Global Positioning System)受信機によるGPS衛星からの受信情報、ジャイロセンサで検出される車両の方位情報、車速センサで検出される車速情報、ナビゲーションECUの地図データベース内の地図情報に基づいて、地図上での位置情報を収集している。前方車両の位置情報は、前方車両の無線通信機から自車両に対して送信される。
【0017】
ビーコン受信機11bは、道路交通情報通信システム(VICS)センターが提供する情報を受信するものである。例えば、ビーコン受信機11bは、所定のスイッチ操作に応じて、道路等に沿って多数設置された光ビーコンから情報を受信する。或いは、ビーコン受信機11bは、車外カメラ19により前方車両を検出すると自動的に光ビーコンから情報を受信する。
【0018】
VICS センターは、国道や県道等の幹線道路に多数設置された監視カメラを用いて、各道路における渋滞情報等の交通情報を収集している。道路に設置される監視カメラは、上述の車外カメラと同様に、CCDカメラやCMOSカメラ等で構成される。監視カメラが撮像した画像には、前方車両により生成される死角領域を撮像した画像が含まれており、画像信号として、監視カメラの設置場所や撮影方向等の位置情報と共に、光ビーコンから自車両に対して送信される。
【0019】
HUD13aは、画像を投影する光学ユニットと透明なコンバイナとから構成される。光学ユニットは運転席前方のダッシュボードや、運転席上方の天井等に配置され、コンバイナにはフロントガラスが用いられる。光学ユニットから投影された画像は、フロントガラスの位置に設けられたコンバイナで運転者に向けて反射される。したがって、運転者には、フロントガラスの位置に外部の景色と虚像とが重なって見える。
【0020】
このHUD13aは、例えば、所定のスイッチ操作に応じて画像の投影を開始する。或いは、車外カメラ19により前方車両を検出すると自動的に画像の投影を開始してよい。
【0021】
ナビゲーションECU15は、上述したように、GPS受信機31によるGPS衛星からの受信情報及び地図データベース内の地図情報に基づいて、自車両の地図上での位置を認識するものである。この自車両の地図上での位置の認識には、GPS受信機31以外にも、自車両の車速を検出する車速センサ33、自車両の移動方向を検出するジャイロセンサ35が用いられる。
【0022】
車内カメラ17は、車室内、特に運転者を撮像するものであり、例えば、車室内天井やルームミラー付近等に設置される。この車内カメラ17は、上述の前方車両の車外カメラと同様に、CCDカメラやCMOSカメラ等で構成される。
【0023】
車外カメラ19は、車両前方を撮像するものであり、例えば、フロントグリル等の車両の前部に設置される。この車外カメラ19は、上述の前方車両の車外カメラと同様に、CCDカメラやCMOSカメラ等で構成される。
【0024】
次に、画像表示ECU20が有する各種手段21、23、25、27、29について説明する。
【0025】
画像作成手段21は、画像取得手段11により取得した画像を加工して自車両の運転者の視点から見た画像に相当する修正画像を作成するものである。例えば、画像作成手段21は、前方車両の車外カメラや道路の監視カメラと自車両との相対的な位置関係に基づいて、画像の中心点を左右に移動させたり、画像を拡大縮小させたりして修正画像を作成する。
【0026】
また、画像作成手段21は、車内カメラ17により車内の運転者の眼の位置を認識し、運転者の眼の位置を考慮して修正画像を作成する。なお、車内カメラ17を用いることなく、車内の運転者の眼の位置を仮想的に設定し、修正画像を作成してもよい。
【0027】
また、画像作成手段21は、画像取得手段11により取得した画像の座標系を前方車両の車外カメラや道路の監視カメラの位置を基準とする座標系から運転者の眼の位置を基準とする座標系に座標変換した上で、画像の中心点を移動させ、或いは画像を拡大縮小させたりトリミングさせたりして、歪みのない修正画像を作成する。
【0028】
HUD13aは、運転者の視界に適合するよう修正された修正画像をフロントガラスの位置に投影して、前方車両により生成される死角領域の画像を運転者が視認できるようにする。この際、HUD13aは、前方車両と自車両との相対的な位置関係に基づいて、修正画像を自車両の運転者の視点から見たフロントガラス上での前方車両の位置に投影する。
【0029】
このため、前方車両に重ねて、死角領域の透過画像が映し出され、運転者には、あたかも前方車両を透かして向こう側の景色が視認できるように認識される。したがって、運転者は、フロントガラスから眼を離すことなく、死角領域の画像を視認できる。
【0030】
マスク手段23は、修正画像の一部を表示させないようにマスクするものである。例えば、マスク手段23は、HUD13aによりフロントガラス上での前方車両の位置に投影される修正画像の一部を画像処理によってマスクする(以下、「マスク処理」という)。
【0031】
マスク手段23は、修正画像のうちマスクする部分(XY座標で表される画素)を所定色(例えば、黒色)で塗りつぶすようにしてマスク処理を行う。或いは、マスク手段23は、マスクする部分だけを所定色(例えば、黒色)で表示したマスク画像(例えば、修正画像と同じ画像サイズを有する。)を修正画像とは別に用意し、その上で修正画像とマスク画像とを重ね合わせることでマスク処理を行うようにしてもよい。
【0032】
HUD13aは、マスク処理された修正画像を投影することにより、修正画像の一部を投影しないようにすることができる。修正画像を投影する光学ユニットは、例えば、液晶プロジェクタで構成される。液晶プロジェクタの場合、赤、青、緑の光源のそれぞれに対応する液晶パネルにおいて、マスクする部分に対応する液晶を配向制御して、その部分を光が透過しないよう光を遮断する。これにより、マスクする部分を投影しないようにする。
【0033】
マスク処理される部分は、前方車両により生成される死角領域を除く部分であったり、後述の位置認識手段25により認識される位置に対応する部分であったりする。
【0034】
前方車両により生成される死角領域を除く部分は、修正画像をフロントガラスに投影せずとも、運転者が視認することができる。また、死角領域を除く部分をマスク処理することにより、投影光がフロントガラスから外部へ漏れ出すのを抑制することができる。これにより、修正画像の投影によるハレーションを抑制することができる。なお、死角領域を除く部分は、前方車両と自車両との相対的な位置関係に基づいて認識される。
【0035】
位置認識手段25は、自車両の運転者の視点から見たフロントガラス上での前方車両の所定物の位置を認識するものである。この所定物は、自車両と前方車両との進行方向が異なる場合、例えば、運転者、輪郭、前照灯、方向指示器、及びナンバープレートである。なお、運転者の位置を認識することが困難な場合には、運転者の代わりに、運転席の位置を認識してもよい。また、所定物は、自車両と前方車両との進行方向が同じ場合、前照灯の代わりに、ブレーキランプである。
【0036】
位置認識手段25は、例えば、前方車両と自車両との相対的な位置関係に基づいて、フロントガラス上での前方車両の位置及び大きさを認識する。
【0037】
また、位置認識手段25は、車外カメラ19により前方車両を撮像し、画像処理して、前方車両の所定物及びその座標位置を認識してよい。例えば、位置認識手段25は、エッジ処理、ガンマ補正、二値化処理等の画像処理を行い、予め登録された画像データによるマッチング処理を行うことで前方車両の所定物及びその座標位置を認識する。
【0038】
また、位置認識手段25は、上述の画像処理の代わりに、無線通信機11aによる前方車両との通信結果に基づいて、前方車両の所定物及びその座標位置を認識してよい。例えば、通信によって前方車両の車種を特定し、予め登録された車種データを参照して前方車両の所定物及びその座標位置を認識してよい。また、通信によって前方車両の車内カメラで撮像された車内画像を取得して、前方車両の運転者及びその座標位置を認識してよい。
【0039】
車両用表示装置10は、位置認識手段25によりフロントガラス上での前方車両の所定物の位置を認識し、マスク手段23により前方車両の所定物の位置に対応する部分をマスク処理する。
【0040】
マスク処理を行わなければ、フロントガラス上での前方車両の所定物の位置に修正画像が投影される。このため、フロントガラスを介して運転者が視認できる実際の景色と投影される修正画像とが重なり合い、運転者が前方車両の所定物を視認し難くなる。
【0041】
車両用表示装置10では、前方車両により生成される死角領域の画像を自車両の運転者の視点から見たフロントガラス上での前方車両の位置に表示することができると共に、前方車両の所定物を運転者が容易に視認することができる。
【0042】
また、車両用表示装置10は、前方車両の運転者、輪郭、前照灯、方向指示器、及びブレーキランプの位置に対応する部分をマスク処理する。このため、前方車両の運転者の身振り手振り、前方車両までの距離、及び前方車両の右左折や減速の信号を運転者が容易に視認することができる。
【0043】
また、車両用表示装置10は、前方車両のナンバープレートの位置に対応する部分をマスク処理するので、前方車両の登録番号を運転者が容易に視認することができ、事故時に容易に番号確認することができる。
【0044】
車種判定手段27は、前方車両が緊急車両であるか否かを判定するものである。車種判定手段27は、例えば、車外カメラ19により前方車両を撮像し、画像処理して、予め登録された画像データによるマッチング処理を行うことで、消防車や救急車等の緊急車両であることの認識を行う。なお、車種判定手段27は、画像処理の代わりに、無線通信機11aによる前方車両との通信結果に基づいて、消防車、救急車、パトロールカー等の緊急車両であることの認識を行ってよい。
【0045】
画像表示制限手段29は、前方車両が緊急車両であると判定されると、HUD13aによる表示を制限するものである。具体的には、例えば、修正画像の投影を中止して、或いは、投影光の光量を削減して、HUD13aによる表示を制限する。
【0046】
車両用表示装置10は、車種判定手段27により前方車両が緊急車両であるか否かを判定し、前方車両が緊急車両であるとの判定に応じて、画像表示制限手段29によりHUD13aによる表示を制限する。
【0047】
前方車両が緊急車両である場合、一般車両は、緊急車両の走行を妨げないよう道路を譲り、緊急車両が通過するまで道路左右の端によって徐行又は停車しなければならない。そして、緊急車両が通過した後では、緊急車両により生成される死角領域が消滅するので、HUD13aによる表示をする必要性が低い。また、仮にHUD13aによる表示をすると、フロントガラスを介して運転者が視認できる実際の景色と投影される修正画像とが重なり合い、運転者が緊急車両を視認し難くなる。
【0048】
本実施例の車両用表示装置10では、前方車両が緊急車両である場合、HUD13aによる表示を制限するので、前方車両が緊急車両であることを運転者が容易に視認することができる。
【0049】
次に、図2、図3を参照しながら車両用表示装置10が投影画像を生成する処理の一例について説明する。図2は、車両用表示装置10を搭載した車両の走行状態の一例を模式的に示す上面図である。図2において、Aは自車両、Bは反対車線上の前方車両、Cは歩行者、Dは前方車両Bにより生成される自車両Aの運転者の死角領域、Eは前方車両Bのバックカメラで撮像可能な領域である。図3は、図2の自車両AのフロントガラスG上での景色を示す模式図である。
【0050】
自車両Aは、図2に示すように、交差点で右折待ちをしており、対向車である前方車両Bも、交差点で右折待ちをしている状態である。これに対し、歩行者Cは、前方車両Bにより生成される死角領域Dを歩いている状態である。したがって、自車両Aの運転者からは、前方車両Bの後方にいる歩行者Cを視認することができない。歩行者Cは、自車両Aの進行方向の横断歩道を渡る予定である。
【0051】
図3(a)は、車両用表示装置10が作動する前のフロントガラスG上での景色を示す模式図である。フロントガラスG上には、前方車両Bの運転者B1、輪郭B2、前照灯B3、方向指示器B4、ナンバープレートB5が映っている。このフロントガラスG上には、歩行者Cの姿は、前方車両Bの後方に隠れ、映っていない。
【0052】
図3(b)は、画像作成手段21により作成された修正画像をフロントガラスの位置に投影したものであり、前方車両Bの後方を歩いている歩行者Cを示す。この修正画像は、前方車両Bのバックカメラの画像を自車両Aの運転者の視点から見た画像に補正したものである。
【0053】
図3(c)は、マスク手段23により作成されたマスク画像をフロントガラスの位置に投影したものであり、位置認識手段25により認識される位置に対応する部分P、及び前方車両Bにより生成される死角領域Dを除く部分Qがマスク処理された状態を示す。図3(c)において、P1は運転者B1の位置に対応する部分、P2は輪郭B2の位置に対応する部分、P3は前照灯B3の位置に対応する部分、P4は方向指示器B4の位置に対応する部分、P5はナンバープレートB5の位置に対応する部分である。
【0054】
図3(d)は、図3(b)の修正画像と図3(c)のマスク画像とを重ね合わせて合成し、合成画像をHUD13aによってフロントガラスGの位置に投影させたときに運転者が視認する景色を示す模式図である。図3(d)において、フロントガラスG上での前方車両Bの位置には、HUD13aによる投影画像が投影されている。歩行者Cは、HUD13aによる投影画像であり、前方車両Bの位置に重ねて映し出されている。したがって、自車両Aの運転者には、あたかも前方車両Bを透かして向こう側の景色が視認できるように認識される。これにより、安全性を高めることができる。
【0055】
一方、フロントガラスG上での前方車両Bの運転者B1、輪郭B2、前照灯B3、方向指示器B4、ナンバープレートB5の位置には、マスク画像によりHUD13aからの投影光が照射されない。例えば、図3(d)に示すように、前方車両Bの方向指示器B4の位置には、歩行者Cの一部(足の部分)がマスク画像により投影されない。したがって、自車両Aの運転者は、前方車両Bの所定物B1、B2、B3、B4、B5を容易に視認できる。これにより、前方車両Bの運転者B1の身振り手振り、前方車両Bまでの距離、及び前方車両Bの右左折や減速の信号を運転者が容易に視認することができる。また、前方車両Bの登録番号を運転者から容易に視認することができ、事故時に容易に番号確認することができる。
【0056】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【0057】
例えば、本実施例の車両用表示装置10では、画像表示手段13としてHUD13aを用いたが、HUD13aの代わりに、液晶ディスプレイを用いてよい。この液晶ディスプレイは、フロントガラスの位置に設置され、運転者の視点から見たフロントガラス上での前方車両の位置に修正画像の一部を表示する。また、修正画像を表示する代わりに、修正画像と自車両の車外カメラ19で撮像された前方車両の画像とを重ね合わせて合成した合成画像を表示してよい。
【図面の簡単な説明】
【0058】
【図1】本発明の車両用表示装置の構成の一実施例を示す機能ブロック図である。
【図2】車両用表示装置10を搭載した車両の走行状態の一例を模式的に示す上面図である。
【図3】図2の自車両Aのフロントガラス上での景色を示す模式図である。
【符号の説明】
【0059】
10 車両用表示装置
11 画像取得手段
11a 無線通信機
11b ビーコン受信機
13 画像表示手段
13a ヘッドアップディスプレイ(HUD)
15 ナビゲーションECU
17 車内カメラ
19 車外カメラ
20 画像表示ECU
21 画像作成手段
23 マスク手段
25 位置認識手段
27 車種判定手段
29 画像表示制限手段
31 GPS受信機
33 車速センサ
35 ジャイロセンサ

【特許請求の範囲】
【請求項1】
前方車両により生成される死角領域の画像を取得する画像取得手段と、
前記画像取得手段により取得した前記画像を加工して運転者の視点から見た画像に相当する修正画像を作成する画像作成手段と、
前記画像作成手段により作成された前記修正画像の一部を表示しないようマスクするマスク手段と、
前記マスク手段により一部がマスクされた前記修正画像を前記運転者の前記視点から見たフロントガラス上での前記前方車両の位置に表示する画像表示手段と、
を備える車両用表示装置。
【請求項2】
前記運転者の前記視点から見た前記フロントガラス上での前記前方車両の所定物の位置を認識する位置認識手段を備え、
前記マスク手段は、前記位置認識手段により認識される前記位置に対応する部分をマスクする請求項1記載の車両用表示装置。
【請求項3】
前記所定物は、運転者、運転席、輪郭、前照灯、方向指示器、ブレーキランプ、及びナンバープレートの少なくともいずれか1つである請求項2記載の車両用表示装置。
【請求項4】
前記前方車両が緊急車両であるか否かを判定する車種判定手段と、
前記車種判定手段によって前記前方車両が緊急車両であると判定されると、前記画像表示手段による表示を制限する画像表示制限手段と、
を更に備える請求項1〜3いずれか一項記載の車両用表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2009−214831(P2009−214831A)
【公開日】平成21年9月24日(2009.9.24)
【国際特許分類】
【出願番号】特願2008−63096(P2008−63096)
【出願日】平成20年3月12日(2008.3.12)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.VICS
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】