情報表示装置
【課題】 運転者に伝達すべき情報(例えば緊急度が高い情報や重要度が高い情報)をできるだけ確実に運転者へ伝達することができる情報表示装置を提供すること。
【解決手段】 車両と接触する可能性のある物体を識別し、その危険度に応じて二種類の警告表示を行う。具体的には、危険度が所定の閾値よりも低い場合は、二次元の矢印63を運転者に認識させることによって警告を行い、危険度が所定の閾値よりも高い場合は、運転者に向く三次元の矢印67(円柱と円錐によって構成された矢印)を運転者に認識させることによって警告を行う。このように危険度に応じて二種類の警告を行うことにより、危険度が高い場合の警告がより効果的になる。
【解決手段】 車両と接触する可能性のある物体を識別し、その危険度に応じて二種類の警告表示を行う。具体的には、危険度が所定の閾値よりも低い場合は、二次元の矢印63を運転者に認識させることによって警告を行い、危険度が所定の閾値よりも高い場合は、運転者に向く三次元の矢印67(円柱と円錐によって構成された矢印)を運転者に認識させることによって警告を行う。このように危険度に応じて二種類の警告を行うことにより、危険度が高い場合の警告がより効果的になる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の運行に伴う情報を乗員に表示する技術に関する。
【背景技術】
【0002】
近年、夜間の歩行者や障害物を検知してその存在を表示する表示装置(いわゆるナイトビジョン)が車両に搭載されるようになった。ナイトビジョンの表示器は、運転者の運転視野の下方(例えば、インスツルメントパネル内)に設けられることが一般的であるが、運転者はその表示を見るために、視線を運転時に見る視線から少しそらせる必要がある。また、表示イメージに距離感が少ないため、運転者が表示内容を認識するのに時間がかかるおそれがある。そのため、車両のフロントウィンドウに安全運転を支援する画像を表示し、運転者が視線をそらさなくても安全情報を提供するシステムが必要である。
【0003】
例えば、運転時の視線をほとんどそらさなくて済む位置に安全運転情報を表示する技術として、下記の特許文献1に記載の技術が知られている。この技術は、ヘッドアップディスプレイ用のプロジェクタを車両に搭載させ、車両の進行方向に応じてヘッドアップディスプレイ表示画像の表示位置を運転者正面からずらすようにしたものである。具体的には、右折の場合には表示画像を運転者正面から右側にずらせた位置に表示させ、左折の場合には表示画像を運転者正面から左側にずらさせた位置に表示させるようにしたものである。その結果、まず周辺視によりその表示の存在を認識でき、しかも誘導表示が運転者正面から左右にオフセットして前景内の対応する側に表示されるので、表示像が前景視認を妨げることがなく煩わしさが防止され、違和感なく、素早く次の交差点での曲がり方向が判断できるという効果を奏する。
【特許文献1】特開平8−83397号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術では、緊急状態が発生した場合(例えば衝突の危険が迫っている場合)や報知すべき重要な情報が発生した場合(例えば燃料が残り少なくなった場合)の表示に関しては何ら考慮されておらず、仮に誘導表示と同様の方法で緊急情報を表示したとすると、運転者が瞬時に的確に情報を認識することができるかどうか不明である(∵表示画像を運転者正面からずらして表示させるようになっているため)。
【0005】
また、安全運転支援情報(現在危険な状態でないが、安全に運転が行えるように支援するための情報)と、緊急情報(現在危険が差し迫っている状態であり、何らかの危険回避操作を運転者に緊急に行わせるための情報)とでは、その表示形式を大幅に変えないと、運転者はとっさの判断が行えないおそれがある。
【0006】
本発明は、このような問題に鑑みなされたものであり、運転者に伝達すべき情報(例えば緊急度が高い情報や重要度が高い情報)をできるだけ確実に運転者へ伝達することができる情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するためになされた請求項1に記載の情報表示装置は、表示手段と、車両運行情報取得手段と、表示データ記憶手段と、制御手段とを備える。表示手段は、平面表示および視差を利用した立体表示を、車両の外部の景色と重畳させて表示することができるものである。また、車両運行情報取得手段は、車両の運行に伴う情報を取得するものである。また、表示データ記憶手段は、立体表示用の表示データおよび平面表示用の表示データを記憶するものである。また、制御手段は、車両運行情報取得手段が取得した情報に応じて表示データ記憶手段から立体表示用の表示データまたは平面表示用の表示データの何れかを読み出し、読み出した表示データを画像オブジェクトとして表示手段に平面表示または立体表示させるものである。なお、ここで言う「画像オブジェクト」というのは、図形のオブジェクトに限らず文字のオブジェクトも含むものである。
【0008】
一般的に、人は景色(立体物)を見ている状況において、自身とその景色との間にあるスクリーンに平面的な画像オブジェクトが表示された場合と、立体的な画像オブジェクトが表示された場合とを比較すると、立体的な画像オブジェクトが表示された場合の方がインパクトが大きい。また、常に立体的な画像オブジェクトが表示されるようになっている場合と、通常時は平面的な画像オブジェクトが表示され、特別な時にのみ立体的な画像オブジェクトが表示されるようになっている場合とでは、後者の方が立体的な画像オブジェクトが表示された場合のインパクトが大きい。
【0009】
したがって、上述した情報表示装置のように、取得した情報に応じて平面表示および立体表示を行うようになっていれば、真に運転者に伝達した情報を確実に伝達することができる。
【0010】
ところで、情報を評価する場合の観点としては様々なもの、例えば、緊急度、重要度、信頼度等があるが、上述した制御手段は、例えば、車両運行情報取得手段が取得した情報の緊急度が所定の閾値よりも高い場合には、表示データ記憶手段から立体表示用の表示データを読み出し、車両運行情報取得手段が取得した情報の緊急度が所定の閾値よりも低い場合には、平面表示用の表示データを読み出すようになっているとよい(請求項2)。なお、ここで言う「所定の閾値」というのは、任意に設定可能なものであり、運転者等の好みにより変更可能になっているとよい。
【0011】
このようになっていれば、車両運行情報取得手段が取得した情報の緊急度に応じて平面表示と立体表示とが切り替えられて画像オブジェクトが表示されるため、緊急度の高い情報を確実に運転者に伝達することができる。
【0012】
また、制御手段は、例えば、車両運行情報取得手段が取得した情報の重要度が所定の閾値よりも高い場合には、表示データ記憶手段から立体表示用の表示データを読み出し、車両運行情報取得手段が取得した情報の重要が所定の閾値よりも低い場合には、平面表示用の表示データを読み出すようになっていてもよい(請求項3)。なお、ここで言う「所定の閾値」というのは、任意に設定可能なものであり、運転者等の好みにより変更可能になっているとよい。
【0013】
このようになっていれば、車両運行情報取得手段が取得した情報の重要度に応じて平面表示と立体表示とが切り替えられて画像オブジェクトが表示されるため、重要度の高い情報を確実に運転者に伝達することができる。
【0014】
また、制御手段は、車両運行情報取得手段が取得した車両周辺の危険箇所情報と当該車両の現在位置情報とから危険箇所への接近度合いを判定する危険箇所接近度判定手段と、車両運行情報取得手段が取得した車両周辺の物体の存在情報および移動情報から当該車両の危険走行度合いを判定する危険走行度判定手段と、を備え、危険箇所接近度判定手段によって判定された判定結果および危険走行度判定手段によって判定された判定結果に基づいて表示データ記憶手段から立体表示用の表示データまたは平面表示用の表示データの何れかを読み出すようになっていてもよい(請求項4)。具体的には、判定された接近度合いや危険走行度合いが所定の閾値を超えた場合に立体表示用の表示データを読み出すようにし、そうでない場合には平面表示用の表示データを読み出すようになっているとよい。
【0015】
このようになっていれば、危険箇所に車両が接近しているという事実や車両周辺に存在する物体と接触するおそれがあるという事実のうち、特に運転者にその事実を伝達したい場合に効果的に立体表示によって伝達することができる。
【0016】
また、危険走行度判定手段は、運転者の運転操作の開始タイミングおよび操作量を考慮して危険走行度合いを判定するようになっていてもよい(請求項5)。
このようになっていれば、例えば、危険箇所に接近したことを運転者が認識して回避操作を行ったことが考慮されるため、より正確に危険走行度合いを判定することができる。
【0017】
ところで、画像オブジェクトは、運転者の視界の範囲内であればどこに表示するようになっていてもよいが、特に効果的な場所は危険箇所や物体に重なる位置である。したがって、請求項6に記載のように、情報表示装置は、さらに、運転者の視点を検知する視点検知手段と、視点検知手段が検知した運転者の視点に基づき、運転者による画像オブジェクトの視認位置が危険箇所または物体に重なるように画像オブジェクトの表示位置を決定する表示位置決定手段と、を備え、制御手段は、表示手段に平面表示または立体表示をさせる際、表示位置決定手段により決定された表示位置に画像オブジェクトを表示させるようになっているとよい。
【0018】
このようになっていれば、運転者に伝達しようとしている情報の対象が何であるのかを、運転者は直感的に知ることができるため、より効果的に情報を運転者へ伝達することができる。
【0019】
ところで、上述したように画像オブジェクトを表示させたとしても、それを運転者が見なければ情報は何ら伝達されない。そこで、請求項7に記載のように、視線検知手段と移動位置決定手段とを備えるように情報表示装置を構成するとよい。すなわち、視線検知手段が、運転者の視線方向を検知し、移動位置決定手段が、視点検知手段により検知された視点における、視線検知手段により検知された視線方向が、視点における、表示手段に表示された画像オブジェクトの方向に一致しない場合、一致するように画像オブジェクトの移動位置を決定する。そして、制御手段は、移動位置決定手段により移動位置が決定された場合、移動位置に画像オブジェクトを移動させて前記表示手段に表示させるようになっているとよい。このようになっていれば、確実に画像オブジェクトを運転者に見させることができる。
【0020】
なお、視線検知手段は、運転者の顔面における特徴点の位置と、運転者の目の位置との関係から視線方向を推定するように構成するとよい(請求項8)。ここで言う「運転者の顔面における特徴点」というのは、例えば、鼻、口、あご、耳等である。
【0021】
このように視線検知手段を構成すれば、視線方向を検知する他の手法(例えば、眼球運動を検出して視線方向を推定する手法等)を用いる場合と比較して簡易な構成で視線方向を推定することができる。
【0022】
ところで、運転者が運転中に遠方を見ているとき、立体表示された画像オブジェクトが表示されると、運転者はその画像オブジェクトに焦点を合わせるために両目を中央方向に移動させる必要がある。この移動量は、立体表示された画像オブジェクト(虚像)までの距離が一定であれば、画像オブジェクトの背景が遠景であればあるほど多くなる。したがって、この両目の移動を支援するような表示がなされるとよい。つまり、請求項9に記載のように、立体表示させる画像オブジェクトの立体視を支援するためのマーカを画像オブジェクトの表示位置に応じた位置に表示させるマーカ表示手段を備えるようするとよい。具体的には、例えば、画像オブジェクトの表示に先立ち、2つのマーカ(点)を背景の距離に応じた間隔で画像オブジェクトの表示位置の近傍に表示するとよい。なお、ここで言う「背景の距離に応じた」というのは、画像オブジェクトが表示される場所の背景が遠景であれば、2つのマーカの間隔を狭めて表示し、画像オブジェクトが表示される場所の背景が近景であれば、2つのマーカの間隔を広げて表示することを意味する。
【0023】
また、マーカの間隔を変更する代わりに、マーカの大きさを変えてもよい。例えば、画像オブジェクトが表示される場所の背景が遠景であれば、小さなマーカを表示し、画像オブジェクトが表示される場所の背景が近景であれば、大きなマーカ表示してもよい。
【0024】
このようになっていれば、運転者は画像オブジェクトの表示位置が予めわかると共に、立体表示された画像オブジェクトに容易に焦点をあわせることができる。
ところで、上述した表示手段は、平面表示および視差を利用した立体表示として画像オブジェクトを車両の外部の景色と重畳させて表示することが可能であるものであればどのようなものでもよいが、例えば請求項10に記載のような表示手段であるとよい。つまり、表示手段は、左目用の画像を投射する第一の投射手段と、右目用の画像を投射する第二の投射手段と、3次元の楕円方程式によって表される形状の反射面を有する透視可能な投射画像反射手段とを備えるようになっているとよい。このような投射手段は、ダッシュボード上や、運転者の頭上付近や、運転者が装着しているメガネ,ゴーグル等に設置されることを想定している。また、投射画像反射手段は、フロントウィンドウと運転者の間に設けられたスクリーンとして構成することや、運転者が装着しているメガネ,ゴーグル等のレンズ部として構成することを想定している。
【0025】
このように表示手段を構成することにより、運転者に確実に立体視させることができ、上述した効果をより高めることができる。
また、制御手段は、さらに請求項11に記載のような機能を有しているとよい。つまり、制御手段は、表示手段に平面表示用の表示データを画像オブジェクトとして平面表示させた後に所定の条件を満たす場合、平面表示用の表示データに対応する立体表示用の表示データを表示データ記憶手段から読み出し、読み出した立体表示用の表示データを表示手段に画像オブジェクトとして立体表示させるようになっているとよい。
【0026】
なお、ここで言う「所定の条件」というのは、例えば、危険箇所への接近度合いがさらに高まった状況になった場合や、車両の進行方向にある物体との接触可能性がさらに高まった状況になった場合のように、より強く警告を発すべき状況に合致する条件である。
【0027】
このように二段階の方法によって情報を運転者へ伝達することによって、より効果的に運転者に情報が伝わる。
【発明を実施するための最良の形態】
【0028】
以下、本発明が適用された実施形態について図面を用いて説明する。尚、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【0029】
[構成の説明]
本実施形態の情報表示装置11は、車両に搭載されて用いられるものであり、図1のブロック図に示すように、表示データ記憶部12と、表示制御器13と、顔面撮影カメラ14と、右目用プロジェクタ15と、左目用プロジェクタ16と、スクリーン17とを備える。また、情報表示装置11には、ハンドル舵角センサ21と、ブレーキペダルセンサ22と、ナビゲーション装置23と、ミリ波レーダー装置24とが接続されている。
【0030】
表示データ記憶部12は、SRAM等の不揮発性のメモリーやハードディスク等から構成され、例えば注意を促すためのマークや文字等の画像オブジェクトを表示するための表示データを備える。なお、表示データは、画像オブジェクト毎に、立体表示用の表示データと平面表示用の表示データとから構成される。
【0031】
表示制御器13は、CPU、RAM、ROM、I/Oインタフェース等から構成され、表示データ記憶部12、顔面撮影カメラ14、ハンドル舵角センサ21、ブレーキペダルセンサ22、ナビゲーション装置23およびミリ波レーダー装置24から情報を入力して後述する処理を実行し、右目用プロジェクタ15、左目用プロジェクタ16およびスクリーン17に情報を出力する。
【0032】
顔面撮影カメラ14は、運転者の顔面を撮影するカメラであり、運転席の天井部分に設置されている。なお、顔面撮影カメラ14は、ダッシュボード上やインスツルメントパネル内やルームミラー付近等に設置してもよい。この顔面撮影カメラ14によって撮影された画像に基づいて運転者の視点や視線方向が検出される。
【0033】
右目用プロジェクタ15は、運転者の右目に入射させるための映像を出力するプロジェクタであり、運転席の天井部分に設置されている。設置状態の詳細については後述する。
左目用プロジェクタ16は、運転者の左目に入射させるための映像を出力するプロジェクタであり、運転席の天井部分に設置されている。設置状態の詳細については後述する。る。
【0034】
スクリーン17は、右目用プロジェクタ15および左目用プロジェクタ16から出力された映像を投影させるためのアクリル製(屈折率1.492、透過率91%、表面反射率4%で角度依存性を有する材質)のスクリーンである。そして、未使用時には運転席の天井部分に設けられたケース内に格納されているが、使用時には運転席の天井部から運転者の正面に下りてくるようになっている。詳細については後述する。
【0035】
ハンドル舵角センサ21は、ハンドルの舵角を検出するセンサである。
ブレーキペダルセンサ22は、ブレーキペダルの操作量を検出するセンサである。
ナビゲーション装置23は、広く知られたナビゲーション装置であるが、ナビゲーション装置23が有する地図データには、危険箇所に関する情報(危険の種類および位置情報)が記憶されている。
【0036】
ミリ波レーダー装置24は、車両前方に存在する他の車両や歩行者等の障害物の位置および移動速度を検知する装置である。
ここで、図2を用い、右目用プロジェクタ15、左目用プロジェクタ16およびスクリーン17の設置状態の詳細について説明する。
【0037】
図2(a)は、車両を上方から見た際の透過模式図である。車両の天井部分にスクリーンケース31が設けられ、その内部に車両前方側からスクリーン17が収納可能になっている。そして、スクリーン17は、レール32およびモータ33により、収納位置と使用位置とを移動可能になっている。ここで言う、使用可能位置というのは、運転者とフロントウィンドウの間の位置であり、右目用プロジェクタ15および左目用プロジェクタ16から出力された映像がスクリーン17によって反射されて運転者の目に届くようになる位置である。詳細は後述する。
【0038】
また、車両の天井部分には、スクリーン17の移動を妨げない状態で右目用プロジェクタ15および左目用プロジェクタ16が設置されている。なお、右目用プロジェクタ15が車両の左側に、左目用プロジェクタ16が車両の右側に設置されている。
【0039】
図2(b)は、車両を側方から見た際の透過模式図である。スクリーン17は、使用可能位置にある場合、図示するように、運転者34の運転時における前方の視野35がスクリーン17を透過したものとなるような位置に配置される。
【0040】
次に、図3を用いて右目用プロジェクタ15および左目用プロジェクタ16について説明する。図3は、右目用プロジェクタ15および左目用プロジェクタ16を車両上方から見た図と、車両前方から見た図である。右目用プロジェクタ15および左目用プロジェクタ16は、それぞれ射出瞳15aおよび射出瞳16aとを有し、この部位から映像が出力されるようになっている。また、右目用プロジェクタ15および左目用プロジェクタ16はそれぞれ右目用、左目用という形の専用品であるとよいが、本実施形態では同形式のものを、射出瞳15aの中心と射出瞳16aの中心が水平になるよう、かつ、これらの間の距離が運転者の両目の距離と一致するように、一方を回転させて設置している。なお、射出瞳15aと射出瞳16aは、直径ができるだけ大きいものが好ましく、本実施形態では直径が25mmのものを用いている。
【0041】
次に、図4を用いてスクリーン17について説明する。図4(a)は、運転者の両目間の中心を原点とした座標軸(車両の右方向がX軸の正方向、車両の上方がY軸の正方向、車両の前方方向がZ軸の正方向)において、車両上方からスクリーン17を見た場合の模式図である。また、図4(b)は、同様の座標軸において、車両右方向からスクリーン17を見た場合の模式図である。
【0042】
スクリーン17のX軸方向の長さは150mmであり、スクリーン17のY軸方向の長さは100mmであり、スクリーン17は原点から車両前方500mmの位置に配置されている。また、スクリーン17は、運転者側の面が数式1で示される楕円方程式によって表される楕円面を有している。
【0043】
【数1】
したがって、スクリーン17の運転者側の面は焦点を2つ有する。つまり、一方の焦点から出た光は他方の焦点に集まる。このため、一方の焦点(焦点A)に光源を配置して他の焦点(焦点B)に目を置けば、光源から出た光が目に集まることになる。本実施形態では、2台のプロジェクタ(右目用プロジェクタ15の射出瞳15aおよび左目用プロジェクタ16の射出瞳16a)の中間位置が焦点Aになるように、右目用プロジェクタ15および左目用プロジェクタ16を配置した。
【0044】
なお、スクリーン17は、強度が維持できる程度の厚さを有しているため、スクリーン17のフロントウィンドウ側の面でも反射が起こり、この反射についても考慮する必要がある。そこで本実施形態では、フロントウィンドウ側での反射について、一方の焦点(焦点A)に光源を配置したときに他方の焦点(焦点C)が、運転者が顔を移動させる範囲内にないようにスクリーン17のフロントウィンドウ側の面を設計した。具体的には、焦点Cが焦点Bから30mm以上離れるように設計した。このようにすれば、像が二重に見えることを防止できる。
【0045】
次に、図5を用いて本実施形態における立体視の原理を説明する。図5(a)は、車両側方から、右目用プロジェクタ15、左目用プロジェクタ16、スクリーン17および運転者41を見た模式図である。右目用プロジェクタ15の射出瞳15aの中心と左目用プロジェクタ16の射出瞳16aの中心とを結ぶ中点に、スクリーン17の焦点の1つがあり、運転者41の両目の中点にスクリーン17の焦点のもう1つがある。
【0046】
図5(b)は、車両上方から、右目用プロジェクタ15、左目用プロジェクタ16、スクリーン17を見た模式図である。車両前方(図5(b)では左方)を向いた場合の右側に左目用プロジェクタ16が設置され、左側に右目用プロジェクタ15が設置されている。本実施形態における左目用プロジェクタ16とスクリーン17の垂線とのなす角度43は、約3.7度(∵運転者41とスクリーン17の距離=500mm、運転者41の両目の距離=64mm)である。
【0047】
したがって、図5(a)に示すように、射出瞳15a,16aから出力された光束は、スクリーン17の手前で像(実像)を結び、その後スクリーン17で反射されて運転者41に届く(右目用プロジェクタ15から出力された光束が運転者41の右目に届き、左目用プロジェクタ16から出力された光束が運転者41の左目に届く)。
【0048】
本実施形態の情報表示装置11は、このような構成を有しているため、視差を有した画像を右目用プロジェクタ15および左目用プロジェクタ16が出力することにより、運転者41は、スクリーン17の先(図5(a)では左方)に像(虚像)を見ることができる。なお、この運転者41に届く領域(目の位置が変わっても映像を視認可能な領域)が視域42であり、射出瞳15a,16aと同形状の領域となる。
【0049】
次に、図6を用いてスクリーン17に表示されるマーカについて説明する。図6は運転者の視点からスクリーン17を通して車両前方を見た際の模式図である。スクリーン17は、縦方向に4つの領域に仮想的に分けられ、それぞれの領域に2つずつ発光体51が埋め込まれている。この発光体51は例えば発光ダイオードや有機ELによって構成されているとよい。そして、この発光体51は、スクリーン17を通して視認できる背景までの距離に対応して、スクリーン17の4つの領域の上から下に向かって発光体51の直径が大きくなっている。
【0050】
そして、この発光体51は、立体視可能な画像オブジェクトが表示される直前に、その画像オブジェクトが表示される領域の発光体51が発光するようになっている。このため、運転者は立体視可能な画像オブジェクトが表示される領域が予めわかると共に、発光体51の大きさに比例して焦点合わせを行えばよいため(発光体51が大きければ近くに画像オブジェクトが表示され、発光体51が小さければ遠くに画像オブジェクトが表示されるということがわかっていれば、条件反射的に焦点調整を行うことが可能であるため)、立体表示された画像オブジェクトに容易に焦点をあわせることができる。
【0051】
なお、本実施形態では、発光体51がスクリーンケース17に埋め込まれているが、右目用プロジェクタ15および左目用プロジェクタ16によって発光体51と同様のものをスクリーン17上に投影させてもよい。
【0052】
[動作の説明]
次に、表示制御器13が実行する処理について説明する。
(1)危険箇所レイヤー作成処理
まず、危険箇所レイヤー作成処理について図7のフローチャートを用いて説明する。危険箇所レイヤー作成処理は、情報表示装置11への電力供給が開始されると実行が開始される。
【0053】
表示制御器13が危険箇所レイヤー作成処理の実行を開始すると、まず、情報表示装置11が搭載された車両の現在位置を特定するための情報をナビゲーション装置23から取得する(S110)。
【0054】
続いて、車両周辺の危険箇所に関する情報(危険の種類および位置情報)をナビゲーション装置23から取得する(S120)。ここでいう「車両周辺」というのは、車両の進行方向を考慮して車両の現在位置から例えば500m程度前方の道路周辺を意味する。また、ここで言う「危険箇所」というのは、例えば、事故多発箇所(交差点、分岐地点、合流地点、カーブ、長い直線路等)や、工事箇所等を意味する。
【0055】
続いて、S120で危険箇所に関する情報を取得できたか否かを判定する(S130)。危険箇所に関する情報を取得できたと判定した場合はS140に処理を移行し、危険箇所に関する情報を取得できなかったと判定した場合はS110に処理を戻し、上述した各ステップを繰り返す。
【0056】
S140では、S120で取得した危険箇所に関する情報に基づいて、平面表示の画像レイヤーと立体表示の画像レイヤーを表示制御器13が有するRAM内に生成する。具体的な画像レイヤーについては危険物レイヤー作成処理の項で説明する。画像レイヤーを生成するとS110に処理を戻し、上述した各ステップを繰り返す。
【0057】
(2)危険箇所レイヤー表示処理
次に、危険箇所レイヤー表示処理について図8のフローチャートを用いて説明する。危険箇所レイヤー表示処理は、情報表示装置11への電力供給が開始されると実行が開始される。なお、上述した危険箇所レイヤー作成処理とは並行して実行される。
【0058】
表示制御器13が危険箇所レイヤー表示処理に実行を開始すると、まず、現在表示している画像レイヤーの表示を取りやめる(S210)。表示している画像レイヤーがなければ本ステップはスキップする。
【0059】
続いて、情報表示装置11が搭載された車両の現在位置を特定するための情報と、走行ベクトルとをナビゲーション装置23から取得する(S215)。ここで言う「走行ベクトル」というのは、車両の走行方向と速さである。
【0060】
続いて、車両周辺の危険箇所に関する情報(危険の種類および位置情報)をナビゲーション装置23から取得する(S220)。ここでいう「車両周辺」というのは、車両の進行方向を考慮して車両の現在位置から例えば500m程度前方の道路周辺を意味する。また、ここで言う「危険箇所」というのは、例えば、事故多発箇所(交差点、分岐地点、合流地点、カーブ、長い直線路等)や、工事箇所等を意味する。
【0061】
続いて、S220で危険箇所に関する情報を取得できたか否かを判定する(S225)。危険箇所に関する情報を取得できたと判定した場合はS230に処理を移行し、危険箇所に関する情報を取得できなかったと判定した場合はS210に処理を戻し、上述した各ステップを繰り返す。
【0062】
S230では、S215で取得した車両の現在位置を特定するための情報および走行ベクトル、並びに、S220において取得した危険箇所に関する情報から、危険度を算出する。この「危険度」というのは、危険度合いを数値化したものであり、例えば、危険箇所までの到達時間の逆数(つまり緊急度)を危険度としたり、危険箇所の重要性を危険度としたり、危険箇所までの距離の逆数を危険度としたり、これらを重み付けして足し合わせることにより危険度とする方法が考えられる。
【0063】
続いて、S230で算出した危険度が平面表示の閾値を超えているか否かを判定する(S235)。具体的には、例えば危険箇所までの到達時間[秒]の逆数を危険度として求めた場合に、危険度が1/10以上であるか否かを判定する。このS235において、S230で算出した危険度が平面表示の閾値を超えていると判定した場合はS240に処理を移行し、S230で算出した危険度が平面表示の閾値を超えていないと判定した場合はS210に処理を戻す。
【0064】
S240では、S230で算出した危険度が立体表示の閾値を超えているか否かを判定する。具体的には、例えば危険箇所までの到達時間[秒]の逆数を危険度として求めた場合に、危険度が1/5以上であるか否かを判定する。このS240において、S230で算出した危険度が立体表示の閾値を超えていると判定した場合はS250に処理を移行し、S230で算出した危険度が立体表示に所定の閾値を超えていないと判定した場合はS245に処理を移行する。
【0065】
危険度が立体表示の閾値を超えていないと判定した場合に進むS245では、RAMに記憶されている当該危険箇所に対応する平面表示用の画像レイヤーを右目用プロジェクタ15および左目用プロジェクタ16に映像として出力さて、スクリーン17に投影させる。そして、一定時間経過後(例えば1秒経過後)、S210に処理を戻す。
【0066】
一方、危険度が立体表示の閾値を超えていると判定した場合に進むS250では、RAMに記憶されている当該危険箇所に対応する立体表示用の画像レイヤーを右目用プロジェクタ15および左目用プロジェクタ16に映像として出力させて、スクリーン17に投影させる(これに先立ち、スクリーン17に埋め込まれた発光体51が発光するようになっていることは上述した通りである)。そして、一定時間経過後(例えば1秒経過後)、S210に処理を戻す。
【0067】
(3)危険物レイヤー作成処理
次に、危険物レイヤー表示処理について図9のフローチャートを用いて説明する。危険物レイヤー表示処理は、情報表示装置11への電力供給が開始されると実行が開始される。なお、上述した危険箇所レイヤー作成処理等とは並行して実行される。
【0068】
表示制御器13が危険物レイヤー作成処理の実行を開始すると、まず、情報表示装置11が搭載された車両の現在位置を特定するための情報をナビゲーション装置23から取得する(S310)。
【0069】
続いて、車両周辺に存在する物体に関する情報(存在位置、移動速度)をミリ波レーダー装置24から取得する(S320)。ここでいう「車両周辺」というのは、車両の進行方向を考慮して車両の現在位置から例えば500m程度前方の道路周辺を意味する。また、ここで言う「物体」というのは、例えば、車両や、人や、自転車や、ガードレール等の構造物を意味する。
【0070】
続いて、S320で物体に関する情報を取得できたか否かを判定する(S330)。物体に関する情報を取得できたと判定した場合はS340に処理を移行し、物体に関する情報を取得できなかったと判定した場合はS310に処理を戻し、上述した各ステップを繰り返す。
【0071】
S340では、S320で取得した物体に関する情報に基づいて、平面表示の画像レイヤーと立体表示の画像レイヤーを表示制御器13が有するRAM内に生成する。
ここで具体的な画像レイヤーについて図10を用いて説明する。図10(a)は、平面表示の場合に、運転者が視認するイメージ図である。人61が図面右方向に歩いており、車両と接触する可能性がある状況では、人61に対応した位置(重なった位置)に右方向の二次元の矢印63が描かれた画像レイヤーが、平面表示用の画像レイヤーとして生成される。このようなイメージとなる画像レイヤーが生成されて表示される結果、運転者は、車両と接触の可能性のある人61の存在を確実に認識することができる。
【0072】
また、図10(b)は、立体表示の場合に、運転者が視認するイメージ図である。人65が図面右方向に歩いており、車両と接触する可能性がある状況では、人65に対応した位置(重なった位置)に運転者に向く三次元の矢印67(円柱と円錐によって構成された矢印)が描かれた画像レイヤーが、立体表示用の画像レイヤーとして生成される。このようなイメージとなる画像レイヤーが生成されて表示される結果、運転者は、車両と接触の可能性のある人65の存在をさらに確実に認識することができる。なお、危険箇所レイヤー作成処理で作成される画像レイヤーも対象が異なるだけで同様である。
【0073】
このような画像レイヤーを生成するとS310に処理を戻し、上述した各ステップを繰り返す。
(4)危険物レイヤー表示処理
次に、危険物レイヤー表示処理について図11のフローチャートを用いて説明する。危険物レイヤー表示処理は、情報表示装置11への電力供給が開始されると実行が開始される。なお、上述した危険物レイヤー作成処理等とは並行して実行される。
【0074】
表示制御器13が危険物レイヤー表示処理に実行を開始すると、まず、現在表示している画像レイヤーの表示を取りやめる(S410)。表示している画像レイヤーがなければ本ステップはスキップする。
【0075】
続いて、情報表示装置11が搭載された車両の現在位置を特定するための情報と、走行ベクトルとをナビゲーション装置23から取得する(S415)。ここで言う「走行ベクトル」というのは、車両の走行方向と速さである。
【0076】
続いて、車両周辺に存在する物体のうち、接触可能性のある物体に関する情報をミリ波レーダー装置24から取得する(S420)。ここでいう「車両周辺」というのは、車両の進行方向を考慮して車両の現在位置から例えば500m程度前方の道路周辺を意味する。また、ここで言う「物体」というのは、例えば、車両や、人や、自転車や、ガードレール等の構造物を意味する。
【0077】
続いて、S420で物体に関する情報を取得できたか否かを判定する(S425)。物体に関する情報を取得できたと判定した場合はS430に処理を移行し、物体に関する情報を取得できなかったと判定した場合はS410に処理を戻し、上述した各ステップを繰り返す。
【0078】
S430では、S415で取得した車両の現在位置を特定するための情報および走行ベクトル、並びに、S420において取得した接触可能性のある物体に関する情報から、危険度を算出する。この「危険度」というのは、危険度合いを数値化したものであり、例えば、衝突確率を危険度としたり、衝突までの時間の逆数(つまり緊急度)を危険度としたり、これらを重み付けして足し合わせることにより危険度とする方法が考えられる。
【0079】
なお、ハンドル舵角センサ21やブレーキペダルセンサ22から情報を取得し、接触可能性のある物体を避ける運転操作を取ったと判断できる場合や、接触可能性のある物体を認識したと認められる場合は、危険度を下げるように補正するようになっているとよい。
【0080】
続いて、S430で算出した危険度が平面表示の閾値を超えているか否かを判定する(S435)。具体的には、例えば衝突確率を危険度として求めた場合に、衝突確率が30%以上であるか否かを判定することである。このS435において、S430で算出した危険度が平面表示の閾値を超えていると判定した場合はS440に処理を移行し、S430で算出した危険度が平面表示の閾値を超えていないと判定した場合はS410に処理を戻す。
【0081】
S440では、S430で算出した危険度が立体表示の閾値を超えているか否かを判定する。具体的には、例えば衝突確率を危険度として求めた場合に、衝突確率が60%以上であるか否かを判定することである。このS440において、S430で算出した危険度が立体表示の閾値を超えていると判定した場合はS450に処理を移行し、S230で算出した危険度が立体表示に所定の閾値を超えていないと判定した場合はS445に処理を移行する。
【0082】
危険度が立体表示の閾値を超えていないと判定した場合に進むS445では、RAMに記憶されている当該物体に対応する平面表示用の画像レイヤーを右目用プロジェクタ15および左目用プロジェクタ16に映像として出力さて、スクリーン17に投影させる。そして、一定時間経過後(例えば1秒経過後)、S410に処理を戻す。
【0083】
一方、危険度が立体表示の閾値を超えていると判定した場合に進むS450では、RAMに記憶されている当該物体に対応する立体表示用の画像レイヤーを右目用プロジェクタ15および左目用プロジェクタ16に映像として出力させて、スクリーン17に投影させる(これに先立ち、スクリーン17に埋め込まれた発光体51が発光するようになっていることは上述した通りである)。そして、一定時間経過後(例えば1秒経過後)、S410に処理を戻す。
【0084】
[実施形態の効果]
次に、上述した実施形態の効果について説明する。上記実施形態の情報表示装置11は、危険箇所レイヤー表示処理や危険物レイヤー表示処理において算出した危険度が、平面表示に対応づけられた閾値を超えている場合には平面表示によって、立体表示に対応づけられた閾値を超えている場合には立体表示によって、危険箇所が近づいていることや接触可能性のある物体が存在することを運転者に伝達するようになっている。
【0085】
このように危険度に応じて適切な表示方法が選択されるため、運転者に対して適切なインパクトで情報を伝達することができる。
また、一旦、平面表示をした場合であっても、危険度が、立体表示に対応づけられた閾値を超えた場合は立体表示を行うようになっている。このように、状況に推移に合わせて表示方法が選択されるため、効果的に運転者に情報を伝達することができる。
【0086】
また、スクリーン17に表示される画像オブジェクトは、対象物(危険箇所や接触可能性のある物体)の視認位置に重ねて表示されるようになっているため、運転者は画像オブジェクトが何に対するものなのか直感的に知ることができる。
【0087】
[他の実施形態]
(1)上記実施形態では、危険物レイヤー表示処理における危険度算出の際にだけ、ハンドル舵角センサ21やブレーキペダルセンサ22からの情報によって危険度を補正するようになっていたが、危険箇所レイヤー表示処理における危険度算出の際にもハンドル舵角センサ21やブレーキペダルセンサ22からの情報によって危険度を補正するようになっていてもよい。
【0088】
このようになっていれば、例えば、危険箇所に接近したことを運転者が認識して十分に回避操作を行った際に、画像オブジェクトの表示が抑制されて無用な警告表示が行われなくなる。
【0089】
(2)上記実施形態では、平面表示用の画像オブジェクトや立体表示用の画像オブジェクトが、伝達対象の危険箇所や接触可能性のある物体に重なって見えるように画像レイヤーを作成するようになっていたが、画像レイヤーが表示された際に、その画像レイヤーに含まれる画像オブジェクトを運転者が見なければ情報は何ら伝達されない。したがって、顔面撮影カメラ14を用いて運転者の視点と視線位置を検出し、運転者の視線方向と画像オブジェクト表示方向とが一致しているか否かを検知するようになっているとよい。そして、一致していない場合、画像オブジェクトが運転者の視線方向に位置にある画像レイヤーを作成して表示するようになっているとよい。このようになっていれば、確実に画像オブジェクトを運転者に見させることができる。
【0090】
ここで、顔面撮影カメラ14を用いて運転者の視点と視線方向を検出する方法について図12を用いて説明する。なお、ここで説明する方法は、上下方向の視線方向のみを検出する方法である。
【0091】
図12(a)は、運転者が運転席に座った状態で水平方向を見ている場合における運転者の正面図と側面図である。まず、この状態における運転者の視点の高さ(視点の基準高さ71)とあごの高さ(あごの基準高さ72)を、顔面撮影カメラ14により撮影された顔面画像の特徴を解析することによって特定して記憶しておく。
【0092】
図12(b)は、運転者が下方を見ている場合における運転者の正面図と側面図であるが、運転者が下方を見ている場合、視点の高さ73は、視点の基準高さ71よりも低く、あごの高さ74も、あごの基準高さ72よりも低い。したがって、視点の高さおよびあごの高さの両方が、水平方向を見ているときよりも低ければ、運転者は水平方向よりも下方を見ていると推定することができる。
【0093】
図12(c)は、運転者が上方を見ている場合における運転者の正面図と側面図であるが、運転者が上方を見ている場合、視点の高さ75は、視点の基準高さ71よりも高く、あごの高さ76も、あごの基準高さ72よりも高い。したがって、視点の高さおよびあごの高さの両方が、水平方向を見ているときよりも低ければ、運転者は水平方向よりも上方を見ていると推定することができる。
【0094】
このようにして運転者の視線方向を検出するようになっていれば、簡易な構成で運転者の視線方向を検出することができる。
[特許請求の範囲との対応]
上記実施形態における用語と特許請求の範囲の用語との対応を示す。
【0095】
表示データ記憶部12が表示データ記憶手段に相当し、表示制御器13が制御手段,表示位置決定手段,移動位置決定手段に相当する。
また、表示制御器13において、ナビゲーション装置23およびミリ波レーダー装置24によって提供される情報を取得する部位が車両運行情報取得手段に相当する。
【0096】
また、表示制御器13における、危険箇所レイヤー表示処理のS230の機能が、危険箇所接近度判定手段の機能に相当し、表示制御器13における、危険物レイヤー表示処理におけるS430の機能が、危険走行度判定手段の機能に相当する。
【0097】
また、顔面撮影カメラ14が視点検知手段および視線検知手段に相当し、発光体51がマーカ表示手段に相当し、左目用プロジェクタ16が第一の投射手段に相当し、右目用プロジェクタ15が第二の投射手段に相当し、スクリーン17が投射画像反射手段に相当する。
【図面の簡単な説明】
【0098】
【図1】実施形態の情報表示装置の概略構成を示すブロック図である。
【図2】プロジェクタおよびスクリーンの設置状態を説明するための模式図である。
【図3】プロジェクタを説明するための模式図である。
【図4】スクリーンを説明するための模式図である。
【図5】立体視の原理を説明するための模式図である。
【図6】マーカを説明するための模式図である。
【図7】危険箇所レイヤー作成処理を説明するためのフローチャートである。
【図8】危険箇所レイヤー表示処理を説明するためのフローチャートである。
【図9】危険物レイヤー作成処理を説明するためのフローチャートである。
【図10】運転者の認識イメージである。
【図11】危険物レイヤー表示処理を説明するためのフローチャートである。
【図12】運転者の視線方向の検出方法を説明するための説明図である。
【符号の説明】
【0099】
11…情報表示装置、12…表示データ記憶部、13…表示制御器、14…顔面撮影カメラ、15…右目用プロジェクタ、16…左目用プロジェクタ、17…スクリーン、21…ハンドル舵角センサ、22…ブレーキペダルセンサ、23…ナビゲーション装置、24…ミリ波レーダー装置。
【技術分野】
【0001】
本発明は、車両の運行に伴う情報を乗員に表示する技術に関する。
【背景技術】
【0002】
近年、夜間の歩行者や障害物を検知してその存在を表示する表示装置(いわゆるナイトビジョン)が車両に搭載されるようになった。ナイトビジョンの表示器は、運転者の運転視野の下方(例えば、インスツルメントパネル内)に設けられることが一般的であるが、運転者はその表示を見るために、視線を運転時に見る視線から少しそらせる必要がある。また、表示イメージに距離感が少ないため、運転者が表示内容を認識するのに時間がかかるおそれがある。そのため、車両のフロントウィンドウに安全運転を支援する画像を表示し、運転者が視線をそらさなくても安全情報を提供するシステムが必要である。
【0003】
例えば、運転時の視線をほとんどそらさなくて済む位置に安全運転情報を表示する技術として、下記の特許文献1に記載の技術が知られている。この技術は、ヘッドアップディスプレイ用のプロジェクタを車両に搭載させ、車両の進行方向に応じてヘッドアップディスプレイ表示画像の表示位置を運転者正面からずらすようにしたものである。具体的には、右折の場合には表示画像を運転者正面から右側にずらせた位置に表示させ、左折の場合には表示画像を運転者正面から左側にずらさせた位置に表示させるようにしたものである。その結果、まず周辺視によりその表示の存在を認識でき、しかも誘導表示が運転者正面から左右にオフセットして前景内の対応する側に表示されるので、表示像が前景視認を妨げることがなく煩わしさが防止され、違和感なく、素早く次の交差点での曲がり方向が判断できるという効果を奏する。
【特許文献1】特開平8−83397号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術では、緊急状態が発生した場合(例えば衝突の危険が迫っている場合)や報知すべき重要な情報が発生した場合(例えば燃料が残り少なくなった場合)の表示に関しては何ら考慮されておらず、仮に誘導表示と同様の方法で緊急情報を表示したとすると、運転者が瞬時に的確に情報を認識することができるかどうか不明である(∵表示画像を運転者正面からずらして表示させるようになっているため)。
【0005】
また、安全運転支援情報(現在危険な状態でないが、安全に運転が行えるように支援するための情報)と、緊急情報(現在危険が差し迫っている状態であり、何らかの危険回避操作を運転者に緊急に行わせるための情報)とでは、その表示形式を大幅に変えないと、運転者はとっさの判断が行えないおそれがある。
【0006】
本発明は、このような問題に鑑みなされたものであり、運転者に伝達すべき情報(例えば緊急度が高い情報や重要度が高い情報)をできるだけ確実に運転者へ伝達することができる情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するためになされた請求項1に記載の情報表示装置は、表示手段と、車両運行情報取得手段と、表示データ記憶手段と、制御手段とを備える。表示手段は、平面表示および視差を利用した立体表示を、車両の外部の景色と重畳させて表示することができるものである。また、車両運行情報取得手段は、車両の運行に伴う情報を取得するものである。また、表示データ記憶手段は、立体表示用の表示データおよび平面表示用の表示データを記憶するものである。また、制御手段は、車両運行情報取得手段が取得した情報に応じて表示データ記憶手段から立体表示用の表示データまたは平面表示用の表示データの何れかを読み出し、読み出した表示データを画像オブジェクトとして表示手段に平面表示または立体表示させるものである。なお、ここで言う「画像オブジェクト」というのは、図形のオブジェクトに限らず文字のオブジェクトも含むものである。
【0008】
一般的に、人は景色(立体物)を見ている状況において、自身とその景色との間にあるスクリーンに平面的な画像オブジェクトが表示された場合と、立体的な画像オブジェクトが表示された場合とを比較すると、立体的な画像オブジェクトが表示された場合の方がインパクトが大きい。また、常に立体的な画像オブジェクトが表示されるようになっている場合と、通常時は平面的な画像オブジェクトが表示され、特別な時にのみ立体的な画像オブジェクトが表示されるようになっている場合とでは、後者の方が立体的な画像オブジェクトが表示された場合のインパクトが大きい。
【0009】
したがって、上述した情報表示装置のように、取得した情報に応じて平面表示および立体表示を行うようになっていれば、真に運転者に伝達した情報を確実に伝達することができる。
【0010】
ところで、情報を評価する場合の観点としては様々なもの、例えば、緊急度、重要度、信頼度等があるが、上述した制御手段は、例えば、車両運行情報取得手段が取得した情報の緊急度が所定の閾値よりも高い場合には、表示データ記憶手段から立体表示用の表示データを読み出し、車両運行情報取得手段が取得した情報の緊急度が所定の閾値よりも低い場合には、平面表示用の表示データを読み出すようになっているとよい(請求項2)。なお、ここで言う「所定の閾値」というのは、任意に設定可能なものであり、運転者等の好みにより変更可能になっているとよい。
【0011】
このようになっていれば、車両運行情報取得手段が取得した情報の緊急度に応じて平面表示と立体表示とが切り替えられて画像オブジェクトが表示されるため、緊急度の高い情報を確実に運転者に伝達することができる。
【0012】
また、制御手段は、例えば、車両運行情報取得手段が取得した情報の重要度が所定の閾値よりも高い場合には、表示データ記憶手段から立体表示用の表示データを読み出し、車両運行情報取得手段が取得した情報の重要が所定の閾値よりも低い場合には、平面表示用の表示データを読み出すようになっていてもよい(請求項3)。なお、ここで言う「所定の閾値」というのは、任意に設定可能なものであり、運転者等の好みにより変更可能になっているとよい。
【0013】
このようになっていれば、車両運行情報取得手段が取得した情報の重要度に応じて平面表示と立体表示とが切り替えられて画像オブジェクトが表示されるため、重要度の高い情報を確実に運転者に伝達することができる。
【0014】
また、制御手段は、車両運行情報取得手段が取得した車両周辺の危険箇所情報と当該車両の現在位置情報とから危険箇所への接近度合いを判定する危険箇所接近度判定手段と、車両運行情報取得手段が取得した車両周辺の物体の存在情報および移動情報から当該車両の危険走行度合いを判定する危険走行度判定手段と、を備え、危険箇所接近度判定手段によって判定された判定結果および危険走行度判定手段によって判定された判定結果に基づいて表示データ記憶手段から立体表示用の表示データまたは平面表示用の表示データの何れかを読み出すようになっていてもよい(請求項4)。具体的には、判定された接近度合いや危険走行度合いが所定の閾値を超えた場合に立体表示用の表示データを読み出すようにし、そうでない場合には平面表示用の表示データを読み出すようになっているとよい。
【0015】
このようになっていれば、危険箇所に車両が接近しているという事実や車両周辺に存在する物体と接触するおそれがあるという事実のうち、特に運転者にその事実を伝達したい場合に効果的に立体表示によって伝達することができる。
【0016】
また、危険走行度判定手段は、運転者の運転操作の開始タイミングおよび操作量を考慮して危険走行度合いを判定するようになっていてもよい(請求項5)。
このようになっていれば、例えば、危険箇所に接近したことを運転者が認識して回避操作を行ったことが考慮されるため、より正確に危険走行度合いを判定することができる。
【0017】
ところで、画像オブジェクトは、運転者の視界の範囲内であればどこに表示するようになっていてもよいが、特に効果的な場所は危険箇所や物体に重なる位置である。したがって、請求項6に記載のように、情報表示装置は、さらに、運転者の視点を検知する視点検知手段と、視点検知手段が検知した運転者の視点に基づき、運転者による画像オブジェクトの視認位置が危険箇所または物体に重なるように画像オブジェクトの表示位置を決定する表示位置決定手段と、を備え、制御手段は、表示手段に平面表示または立体表示をさせる際、表示位置決定手段により決定された表示位置に画像オブジェクトを表示させるようになっているとよい。
【0018】
このようになっていれば、運転者に伝達しようとしている情報の対象が何であるのかを、運転者は直感的に知ることができるため、より効果的に情報を運転者へ伝達することができる。
【0019】
ところで、上述したように画像オブジェクトを表示させたとしても、それを運転者が見なければ情報は何ら伝達されない。そこで、請求項7に記載のように、視線検知手段と移動位置決定手段とを備えるように情報表示装置を構成するとよい。すなわち、視線検知手段が、運転者の視線方向を検知し、移動位置決定手段が、視点検知手段により検知された視点における、視線検知手段により検知された視線方向が、視点における、表示手段に表示された画像オブジェクトの方向に一致しない場合、一致するように画像オブジェクトの移動位置を決定する。そして、制御手段は、移動位置決定手段により移動位置が決定された場合、移動位置に画像オブジェクトを移動させて前記表示手段に表示させるようになっているとよい。このようになっていれば、確実に画像オブジェクトを運転者に見させることができる。
【0020】
なお、視線検知手段は、運転者の顔面における特徴点の位置と、運転者の目の位置との関係から視線方向を推定するように構成するとよい(請求項8)。ここで言う「運転者の顔面における特徴点」というのは、例えば、鼻、口、あご、耳等である。
【0021】
このように視線検知手段を構成すれば、視線方向を検知する他の手法(例えば、眼球運動を検出して視線方向を推定する手法等)を用いる場合と比較して簡易な構成で視線方向を推定することができる。
【0022】
ところで、運転者が運転中に遠方を見ているとき、立体表示された画像オブジェクトが表示されると、運転者はその画像オブジェクトに焦点を合わせるために両目を中央方向に移動させる必要がある。この移動量は、立体表示された画像オブジェクト(虚像)までの距離が一定であれば、画像オブジェクトの背景が遠景であればあるほど多くなる。したがって、この両目の移動を支援するような表示がなされるとよい。つまり、請求項9に記載のように、立体表示させる画像オブジェクトの立体視を支援するためのマーカを画像オブジェクトの表示位置に応じた位置に表示させるマーカ表示手段を備えるようするとよい。具体的には、例えば、画像オブジェクトの表示に先立ち、2つのマーカ(点)を背景の距離に応じた間隔で画像オブジェクトの表示位置の近傍に表示するとよい。なお、ここで言う「背景の距離に応じた」というのは、画像オブジェクトが表示される場所の背景が遠景であれば、2つのマーカの間隔を狭めて表示し、画像オブジェクトが表示される場所の背景が近景であれば、2つのマーカの間隔を広げて表示することを意味する。
【0023】
また、マーカの間隔を変更する代わりに、マーカの大きさを変えてもよい。例えば、画像オブジェクトが表示される場所の背景が遠景であれば、小さなマーカを表示し、画像オブジェクトが表示される場所の背景が近景であれば、大きなマーカ表示してもよい。
【0024】
このようになっていれば、運転者は画像オブジェクトの表示位置が予めわかると共に、立体表示された画像オブジェクトに容易に焦点をあわせることができる。
ところで、上述した表示手段は、平面表示および視差を利用した立体表示として画像オブジェクトを車両の外部の景色と重畳させて表示することが可能であるものであればどのようなものでもよいが、例えば請求項10に記載のような表示手段であるとよい。つまり、表示手段は、左目用の画像を投射する第一の投射手段と、右目用の画像を投射する第二の投射手段と、3次元の楕円方程式によって表される形状の反射面を有する透視可能な投射画像反射手段とを備えるようになっているとよい。このような投射手段は、ダッシュボード上や、運転者の頭上付近や、運転者が装着しているメガネ,ゴーグル等に設置されることを想定している。また、投射画像反射手段は、フロントウィンドウと運転者の間に設けられたスクリーンとして構成することや、運転者が装着しているメガネ,ゴーグル等のレンズ部として構成することを想定している。
【0025】
このように表示手段を構成することにより、運転者に確実に立体視させることができ、上述した効果をより高めることができる。
また、制御手段は、さらに請求項11に記載のような機能を有しているとよい。つまり、制御手段は、表示手段に平面表示用の表示データを画像オブジェクトとして平面表示させた後に所定の条件を満たす場合、平面表示用の表示データに対応する立体表示用の表示データを表示データ記憶手段から読み出し、読み出した立体表示用の表示データを表示手段に画像オブジェクトとして立体表示させるようになっているとよい。
【0026】
なお、ここで言う「所定の条件」というのは、例えば、危険箇所への接近度合いがさらに高まった状況になった場合や、車両の進行方向にある物体との接触可能性がさらに高まった状況になった場合のように、より強く警告を発すべき状況に合致する条件である。
【0027】
このように二段階の方法によって情報を運転者へ伝達することによって、より効果的に運転者に情報が伝わる。
【発明を実施するための最良の形態】
【0028】
以下、本発明が適用された実施形態について図面を用いて説明する。尚、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【0029】
[構成の説明]
本実施形態の情報表示装置11は、車両に搭載されて用いられるものであり、図1のブロック図に示すように、表示データ記憶部12と、表示制御器13と、顔面撮影カメラ14と、右目用プロジェクタ15と、左目用プロジェクタ16と、スクリーン17とを備える。また、情報表示装置11には、ハンドル舵角センサ21と、ブレーキペダルセンサ22と、ナビゲーション装置23と、ミリ波レーダー装置24とが接続されている。
【0030】
表示データ記憶部12は、SRAM等の不揮発性のメモリーやハードディスク等から構成され、例えば注意を促すためのマークや文字等の画像オブジェクトを表示するための表示データを備える。なお、表示データは、画像オブジェクト毎に、立体表示用の表示データと平面表示用の表示データとから構成される。
【0031】
表示制御器13は、CPU、RAM、ROM、I/Oインタフェース等から構成され、表示データ記憶部12、顔面撮影カメラ14、ハンドル舵角センサ21、ブレーキペダルセンサ22、ナビゲーション装置23およびミリ波レーダー装置24から情報を入力して後述する処理を実行し、右目用プロジェクタ15、左目用プロジェクタ16およびスクリーン17に情報を出力する。
【0032】
顔面撮影カメラ14は、運転者の顔面を撮影するカメラであり、運転席の天井部分に設置されている。なお、顔面撮影カメラ14は、ダッシュボード上やインスツルメントパネル内やルームミラー付近等に設置してもよい。この顔面撮影カメラ14によって撮影された画像に基づいて運転者の視点や視線方向が検出される。
【0033】
右目用プロジェクタ15は、運転者の右目に入射させるための映像を出力するプロジェクタであり、運転席の天井部分に設置されている。設置状態の詳細については後述する。
左目用プロジェクタ16は、運転者の左目に入射させるための映像を出力するプロジェクタであり、運転席の天井部分に設置されている。設置状態の詳細については後述する。る。
【0034】
スクリーン17は、右目用プロジェクタ15および左目用プロジェクタ16から出力された映像を投影させるためのアクリル製(屈折率1.492、透過率91%、表面反射率4%で角度依存性を有する材質)のスクリーンである。そして、未使用時には運転席の天井部分に設けられたケース内に格納されているが、使用時には運転席の天井部から運転者の正面に下りてくるようになっている。詳細については後述する。
【0035】
ハンドル舵角センサ21は、ハンドルの舵角を検出するセンサである。
ブレーキペダルセンサ22は、ブレーキペダルの操作量を検出するセンサである。
ナビゲーション装置23は、広く知られたナビゲーション装置であるが、ナビゲーション装置23が有する地図データには、危険箇所に関する情報(危険の種類および位置情報)が記憶されている。
【0036】
ミリ波レーダー装置24は、車両前方に存在する他の車両や歩行者等の障害物の位置および移動速度を検知する装置である。
ここで、図2を用い、右目用プロジェクタ15、左目用プロジェクタ16およびスクリーン17の設置状態の詳細について説明する。
【0037】
図2(a)は、車両を上方から見た際の透過模式図である。車両の天井部分にスクリーンケース31が設けられ、その内部に車両前方側からスクリーン17が収納可能になっている。そして、スクリーン17は、レール32およびモータ33により、収納位置と使用位置とを移動可能になっている。ここで言う、使用可能位置というのは、運転者とフロントウィンドウの間の位置であり、右目用プロジェクタ15および左目用プロジェクタ16から出力された映像がスクリーン17によって反射されて運転者の目に届くようになる位置である。詳細は後述する。
【0038】
また、車両の天井部分には、スクリーン17の移動を妨げない状態で右目用プロジェクタ15および左目用プロジェクタ16が設置されている。なお、右目用プロジェクタ15が車両の左側に、左目用プロジェクタ16が車両の右側に設置されている。
【0039】
図2(b)は、車両を側方から見た際の透過模式図である。スクリーン17は、使用可能位置にある場合、図示するように、運転者34の運転時における前方の視野35がスクリーン17を透過したものとなるような位置に配置される。
【0040】
次に、図3を用いて右目用プロジェクタ15および左目用プロジェクタ16について説明する。図3は、右目用プロジェクタ15および左目用プロジェクタ16を車両上方から見た図と、車両前方から見た図である。右目用プロジェクタ15および左目用プロジェクタ16は、それぞれ射出瞳15aおよび射出瞳16aとを有し、この部位から映像が出力されるようになっている。また、右目用プロジェクタ15および左目用プロジェクタ16はそれぞれ右目用、左目用という形の専用品であるとよいが、本実施形態では同形式のものを、射出瞳15aの中心と射出瞳16aの中心が水平になるよう、かつ、これらの間の距離が運転者の両目の距離と一致するように、一方を回転させて設置している。なお、射出瞳15aと射出瞳16aは、直径ができるだけ大きいものが好ましく、本実施形態では直径が25mmのものを用いている。
【0041】
次に、図4を用いてスクリーン17について説明する。図4(a)は、運転者の両目間の中心を原点とした座標軸(車両の右方向がX軸の正方向、車両の上方がY軸の正方向、車両の前方方向がZ軸の正方向)において、車両上方からスクリーン17を見た場合の模式図である。また、図4(b)は、同様の座標軸において、車両右方向からスクリーン17を見た場合の模式図である。
【0042】
スクリーン17のX軸方向の長さは150mmであり、スクリーン17のY軸方向の長さは100mmであり、スクリーン17は原点から車両前方500mmの位置に配置されている。また、スクリーン17は、運転者側の面が数式1で示される楕円方程式によって表される楕円面を有している。
【0043】
【数1】
したがって、スクリーン17の運転者側の面は焦点を2つ有する。つまり、一方の焦点から出た光は他方の焦点に集まる。このため、一方の焦点(焦点A)に光源を配置して他の焦点(焦点B)に目を置けば、光源から出た光が目に集まることになる。本実施形態では、2台のプロジェクタ(右目用プロジェクタ15の射出瞳15aおよび左目用プロジェクタ16の射出瞳16a)の中間位置が焦点Aになるように、右目用プロジェクタ15および左目用プロジェクタ16を配置した。
【0044】
なお、スクリーン17は、強度が維持できる程度の厚さを有しているため、スクリーン17のフロントウィンドウ側の面でも反射が起こり、この反射についても考慮する必要がある。そこで本実施形態では、フロントウィンドウ側での反射について、一方の焦点(焦点A)に光源を配置したときに他方の焦点(焦点C)が、運転者が顔を移動させる範囲内にないようにスクリーン17のフロントウィンドウ側の面を設計した。具体的には、焦点Cが焦点Bから30mm以上離れるように設計した。このようにすれば、像が二重に見えることを防止できる。
【0045】
次に、図5を用いて本実施形態における立体視の原理を説明する。図5(a)は、車両側方から、右目用プロジェクタ15、左目用プロジェクタ16、スクリーン17および運転者41を見た模式図である。右目用プロジェクタ15の射出瞳15aの中心と左目用プロジェクタ16の射出瞳16aの中心とを結ぶ中点に、スクリーン17の焦点の1つがあり、運転者41の両目の中点にスクリーン17の焦点のもう1つがある。
【0046】
図5(b)は、車両上方から、右目用プロジェクタ15、左目用プロジェクタ16、スクリーン17を見た模式図である。車両前方(図5(b)では左方)を向いた場合の右側に左目用プロジェクタ16が設置され、左側に右目用プロジェクタ15が設置されている。本実施形態における左目用プロジェクタ16とスクリーン17の垂線とのなす角度43は、約3.7度(∵運転者41とスクリーン17の距離=500mm、運転者41の両目の距離=64mm)である。
【0047】
したがって、図5(a)に示すように、射出瞳15a,16aから出力された光束は、スクリーン17の手前で像(実像)を結び、その後スクリーン17で反射されて運転者41に届く(右目用プロジェクタ15から出力された光束が運転者41の右目に届き、左目用プロジェクタ16から出力された光束が運転者41の左目に届く)。
【0048】
本実施形態の情報表示装置11は、このような構成を有しているため、視差を有した画像を右目用プロジェクタ15および左目用プロジェクタ16が出力することにより、運転者41は、スクリーン17の先(図5(a)では左方)に像(虚像)を見ることができる。なお、この運転者41に届く領域(目の位置が変わっても映像を視認可能な領域)が視域42であり、射出瞳15a,16aと同形状の領域となる。
【0049】
次に、図6を用いてスクリーン17に表示されるマーカについて説明する。図6は運転者の視点からスクリーン17を通して車両前方を見た際の模式図である。スクリーン17は、縦方向に4つの領域に仮想的に分けられ、それぞれの領域に2つずつ発光体51が埋め込まれている。この発光体51は例えば発光ダイオードや有機ELによって構成されているとよい。そして、この発光体51は、スクリーン17を通して視認できる背景までの距離に対応して、スクリーン17の4つの領域の上から下に向かって発光体51の直径が大きくなっている。
【0050】
そして、この発光体51は、立体視可能な画像オブジェクトが表示される直前に、その画像オブジェクトが表示される領域の発光体51が発光するようになっている。このため、運転者は立体視可能な画像オブジェクトが表示される領域が予めわかると共に、発光体51の大きさに比例して焦点合わせを行えばよいため(発光体51が大きければ近くに画像オブジェクトが表示され、発光体51が小さければ遠くに画像オブジェクトが表示されるということがわかっていれば、条件反射的に焦点調整を行うことが可能であるため)、立体表示された画像オブジェクトに容易に焦点をあわせることができる。
【0051】
なお、本実施形態では、発光体51がスクリーンケース17に埋め込まれているが、右目用プロジェクタ15および左目用プロジェクタ16によって発光体51と同様のものをスクリーン17上に投影させてもよい。
【0052】
[動作の説明]
次に、表示制御器13が実行する処理について説明する。
(1)危険箇所レイヤー作成処理
まず、危険箇所レイヤー作成処理について図7のフローチャートを用いて説明する。危険箇所レイヤー作成処理は、情報表示装置11への電力供給が開始されると実行が開始される。
【0053】
表示制御器13が危険箇所レイヤー作成処理の実行を開始すると、まず、情報表示装置11が搭載された車両の現在位置を特定するための情報をナビゲーション装置23から取得する(S110)。
【0054】
続いて、車両周辺の危険箇所に関する情報(危険の種類および位置情報)をナビゲーション装置23から取得する(S120)。ここでいう「車両周辺」というのは、車両の進行方向を考慮して車両の現在位置から例えば500m程度前方の道路周辺を意味する。また、ここで言う「危険箇所」というのは、例えば、事故多発箇所(交差点、分岐地点、合流地点、カーブ、長い直線路等)や、工事箇所等を意味する。
【0055】
続いて、S120で危険箇所に関する情報を取得できたか否かを判定する(S130)。危険箇所に関する情報を取得できたと判定した場合はS140に処理を移行し、危険箇所に関する情報を取得できなかったと判定した場合はS110に処理を戻し、上述した各ステップを繰り返す。
【0056】
S140では、S120で取得した危険箇所に関する情報に基づいて、平面表示の画像レイヤーと立体表示の画像レイヤーを表示制御器13が有するRAM内に生成する。具体的な画像レイヤーについては危険物レイヤー作成処理の項で説明する。画像レイヤーを生成するとS110に処理を戻し、上述した各ステップを繰り返す。
【0057】
(2)危険箇所レイヤー表示処理
次に、危険箇所レイヤー表示処理について図8のフローチャートを用いて説明する。危険箇所レイヤー表示処理は、情報表示装置11への電力供給が開始されると実行が開始される。なお、上述した危険箇所レイヤー作成処理とは並行して実行される。
【0058】
表示制御器13が危険箇所レイヤー表示処理に実行を開始すると、まず、現在表示している画像レイヤーの表示を取りやめる(S210)。表示している画像レイヤーがなければ本ステップはスキップする。
【0059】
続いて、情報表示装置11が搭載された車両の現在位置を特定するための情報と、走行ベクトルとをナビゲーション装置23から取得する(S215)。ここで言う「走行ベクトル」というのは、車両の走行方向と速さである。
【0060】
続いて、車両周辺の危険箇所に関する情報(危険の種類および位置情報)をナビゲーション装置23から取得する(S220)。ここでいう「車両周辺」というのは、車両の進行方向を考慮して車両の現在位置から例えば500m程度前方の道路周辺を意味する。また、ここで言う「危険箇所」というのは、例えば、事故多発箇所(交差点、分岐地点、合流地点、カーブ、長い直線路等)や、工事箇所等を意味する。
【0061】
続いて、S220で危険箇所に関する情報を取得できたか否かを判定する(S225)。危険箇所に関する情報を取得できたと判定した場合はS230に処理を移行し、危険箇所に関する情報を取得できなかったと判定した場合はS210に処理を戻し、上述した各ステップを繰り返す。
【0062】
S230では、S215で取得した車両の現在位置を特定するための情報および走行ベクトル、並びに、S220において取得した危険箇所に関する情報から、危険度を算出する。この「危険度」というのは、危険度合いを数値化したものであり、例えば、危険箇所までの到達時間の逆数(つまり緊急度)を危険度としたり、危険箇所の重要性を危険度としたり、危険箇所までの距離の逆数を危険度としたり、これらを重み付けして足し合わせることにより危険度とする方法が考えられる。
【0063】
続いて、S230で算出した危険度が平面表示の閾値を超えているか否かを判定する(S235)。具体的には、例えば危険箇所までの到達時間[秒]の逆数を危険度として求めた場合に、危険度が1/10以上であるか否かを判定する。このS235において、S230で算出した危険度が平面表示の閾値を超えていると判定した場合はS240に処理を移行し、S230で算出した危険度が平面表示の閾値を超えていないと判定した場合はS210に処理を戻す。
【0064】
S240では、S230で算出した危険度が立体表示の閾値を超えているか否かを判定する。具体的には、例えば危険箇所までの到達時間[秒]の逆数を危険度として求めた場合に、危険度が1/5以上であるか否かを判定する。このS240において、S230で算出した危険度が立体表示の閾値を超えていると判定した場合はS250に処理を移行し、S230で算出した危険度が立体表示に所定の閾値を超えていないと判定した場合はS245に処理を移行する。
【0065】
危険度が立体表示の閾値を超えていないと判定した場合に進むS245では、RAMに記憶されている当該危険箇所に対応する平面表示用の画像レイヤーを右目用プロジェクタ15および左目用プロジェクタ16に映像として出力さて、スクリーン17に投影させる。そして、一定時間経過後(例えば1秒経過後)、S210に処理を戻す。
【0066】
一方、危険度が立体表示の閾値を超えていると判定した場合に進むS250では、RAMに記憶されている当該危険箇所に対応する立体表示用の画像レイヤーを右目用プロジェクタ15および左目用プロジェクタ16に映像として出力させて、スクリーン17に投影させる(これに先立ち、スクリーン17に埋め込まれた発光体51が発光するようになっていることは上述した通りである)。そして、一定時間経過後(例えば1秒経過後)、S210に処理を戻す。
【0067】
(3)危険物レイヤー作成処理
次に、危険物レイヤー表示処理について図9のフローチャートを用いて説明する。危険物レイヤー表示処理は、情報表示装置11への電力供給が開始されると実行が開始される。なお、上述した危険箇所レイヤー作成処理等とは並行して実行される。
【0068】
表示制御器13が危険物レイヤー作成処理の実行を開始すると、まず、情報表示装置11が搭載された車両の現在位置を特定するための情報をナビゲーション装置23から取得する(S310)。
【0069】
続いて、車両周辺に存在する物体に関する情報(存在位置、移動速度)をミリ波レーダー装置24から取得する(S320)。ここでいう「車両周辺」というのは、車両の進行方向を考慮して車両の現在位置から例えば500m程度前方の道路周辺を意味する。また、ここで言う「物体」というのは、例えば、車両や、人や、自転車や、ガードレール等の構造物を意味する。
【0070】
続いて、S320で物体に関する情報を取得できたか否かを判定する(S330)。物体に関する情報を取得できたと判定した場合はS340に処理を移行し、物体に関する情報を取得できなかったと判定した場合はS310に処理を戻し、上述した各ステップを繰り返す。
【0071】
S340では、S320で取得した物体に関する情報に基づいて、平面表示の画像レイヤーと立体表示の画像レイヤーを表示制御器13が有するRAM内に生成する。
ここで具体的な画像レイヤーについて図10を用いて説明する。図10(a)は、平面表示の場合に、運転者が視認するイメージ図である。人61が図面右方向に歩いており、車両と接触する可能性がある状況では、人61に対応した位置(重なった位置)に右方向の二次元の矢印63が描かれた画像レイヤーが、平面表示用の画像レイヤーとして生成される。このようなイメージとなる画像レイヤーが生成されて表示される結果、運転者は、車両と接触の可能性のある人61の存在を確実に認識することができる。
【0072】
また、図10(b)は、立体表示の場合に、運転者が視認するイメージ図である。人65が図面右方向に歩いており、車両と接触する可能性がある状況では、人65に対応した位置(重なった位置)に運転者に向く三次元の矢印67(円柱と円錐によって構成された矢印)が描かれた画像レイヤーが、立体表示用の画像レイヤーとして生成される。このようなイメージとなる画像レイヤーが生成されて表示される結果、運転者は、車両と接触の可能性のある人65の存在をさらに確実に認識することができる。なお、危険箇所レイヤー作成処理で作成される画像レイヤーも対象が異なるだけで同様である。
【0073】
このような画像レイヤーを生成するとS310に処理を戻し、上述した各ステップを繰り返す。
(4)危険物レイヤー表示処理
次に、危険物レイヤー表示処理について図11のフローチャートを用いて説明する。危険物レイヤー表示処理は、情報表示装置11への電力供給が開始されると実行が開始される。なお、上述した危険物レイヤー作成処理等とは並行して実行される。
【0074】
表示制御器13が危険物レイヤー表示処理に実行を開始すると、まず、現在表示している画像レイヤーの表示を取りやめる(S410)。表示している画像レイヤーがなければ本ステップはスキップする。
【0075】
続いて、情報表示装置11が搭載された車両の現在位置を特定するための情報と、走行ベクトルとをナビゲーション装置23から取得する(S415)。ここで言う「走行ベクトル」というのは、車両の走行方向と速さである。
【0076】
続いて、車両周辺に存在する物体のうち、接触可能性のある物体に関する情報をミリ波レーダー装置24から取得する(S420)。ここでいう「車両周辺」というのは、車両の進行方向を考慮して車両の現在位置から例えば500m程度前方の道路周辺を意味する。また、ここで言う「物体」というのは、例えば、車両や、人や、自転車や、ガードレール等の構造物を意味する。
【0077】
続いて、S420で物体に関する情報を取得できたか否かを判定する(S425)。物体に関する情報を取得できたと判定した場合はS430に処理を移行し、物体に関する情報を取得できなかったと判定した場合はS410に処理を戻し、上述した各ステップを繰り返す。
【0078】
S430では、S415で取得した車両の現在位置を特定するための情報および走行ベクトル、並びに、S420において取得した接触可能性のある物体に関する情報から、危険度を算出する。この「危険度」というのは、危険度合いを数値化したものであり、例えば、衝突確率を危険度としたり、衝突までの時間の逆数(つまり緊急度)を危険度としたり、これらを重み付けして足し合わせることにより危険度とする方法が考えられる。
【0079】
なお、ハンドル舵角センサ21やブレーキペダルセンサ22から情報を取得し、接触可能性のある物体を避ける運転操作を取ったと判断できる場合や、接触可能性のある物体を認識したと認められる場合は、危険度を下げるように補正するようになっているとよい。
【0080】
続いて、S430で算出した危険度が平面表示の閾値を超えているか否かを判定する(S435)。具体的には、例えば衝突確率を危険度として求めた場合に、衝突確率が30%以上であるか否かを判定することである。このS435において、S430で算出した危険度が平面表示の閾値を超えていると判定した場合はS440に処理を移行し、S430で算出した危険度が平面表示の閾値を超えていないと判定した場合はS410に処理を戻す。
【0081】
S440では、S430で算出した危険度が立体表示の閾値を超えているか否かを判定する。具体的には、例えば衝突確率を危険度として求めた場合に、衝突確率が60%以上であるか否かを判定することである。このS440において、S430で算出した危険度が立体表示の閾値を超えていると判定した場合はS450に処理を移行し、S230で算出した危険度が立体表示に所定の閾値を超えていないと判定した場合はS445に処理を移行する。
【0082】
危険度が立体表示の閾値を超えていないと判定した場合に進むS445では、RAMに記憶されている当該物体に対応する平面表示用の画像レイヤーを右目用プロジェクタ15および左目用プロジェクタ16に映像として出力さて、スクリーン17に投影させる。そして、一定時間経過後(例えば1秒経過後)、S410に処理を戻す。
【0083】
一方、危険度が立体表示の閾値を超えていると判定した場合に進むS450では、RAMに記憶されている当該物体に対応する立体表示用の画像レイヤーを右目用プロジェクタ15および左目用プロジェクタ16に映像として出力させて、スクリーン17に投影させる(これに先立ち、スクリーン17に埋め込まれた発光体51が発光するようになっていることは上述した通りである)。そして、一定時間経過後(例えば1秒経過後)、S410に処理を戻す。
【0084】
[実施形態の効果]
次に、上述した実施形態の効果について説明する。上記実施形態の情報表示装置11は、危険箇所レイヤー表示処理や危険物レイヤー表示処理において算出した危険度が、平面表示に対応づけられた閾値を超えている場合には平面表示によって、立体表示に対応づけられた閾値を超えている場合には立体表示によって、危険箇所が近づいていることや接触可能性のある物体が存在することを運転者に伝達するようになっている。
【0085】
このように危険度に応じて適切な表示方法が選択されるため、運転者に対して適切なインパクトで情報を伝達することができる。
また、一旦、平面表示をした場合であっても、危険度が、立体表示に対応づけられた閾値を超えた場合は立体表示を行うようになっている。このように、状況に推移に合わせて表示方法が選択されるため、効果的に運転者に情報を伝達することができる。
【0086】
また、スクリーン17に表示される画像オブジェクトは、対象物(危険箇所や接触可能性のある物体)の視認位置に重ねて表示されるようになっているため、運転者は画像オブジェクトが何に対するものなのか直感的に知ることができる。
【0087】
[他の実施形態]
(1)上記実施形態では、危険物レイヤー表示処理における危険度算出の際にだけ、ハンドル舵角センサ21やブレーキペダルセンサ22からの情報によって危険度を補正するようになっていたが、危険箇所レイヤー表示処理における危険度算出の際にもハンドル舵角センサ21やブレーキペダルセンサ22からの情報によって危険度を補正するようになっていてもよい。
【0088】
このようになっていれば、例えば、危険箇所に接近したことを運転者が認識して十分に回避操作を行った際に、画像オブジェクトの表示が抑制されて無用な警告表示が行われなくなる。
【0089】
(2)上記実施形態では、平面表示用の画像オブジェクトや立体表示用の画像オブジェクトが、伝達対象の危険箇所や接触可能性のある物体に重なって見えるように画像レイヤーを作成するようになっていたが、画像レイヤーが表示された際に、その画像レイヤーに含まれる画像オブジェクトを運転者が見なければ情報は何ら伝達されない。したがって、顔面撮影カメラ14を用いて運転者の視点と視線位置を検出し、運転者の視線方向と画像オブジェクト表示方向とが一致しているか否かを検知するようになっているとよい。そして、一致していない場合、画像オブジェクトが運転者の視線方向に位置にある画像レイヤーを作成して表示するようになっているとよい。このようになっていれば、確実に画像オブジェクトを運転者に見させることができる。
【0090】
ここで、顔面撮影カメラ14を用いて運転者の視点と視線方向を検出する方法について図12を用いて説明する。なお、ここで説明する方法は、上下方向の視線方向のみを検出する方法である。
【0091】
図12(a)は、運転者が運転席に座った状態で水平方向を見ている場合における運転者の正面図と側面図である。まず、この状態における運転者の視点の高さ(視点の基準高さ71)とあごの高さ(あごの基準高さ72)を、顔面撮影カメラ14により撮影された顔面画像の特徴を解析することによって特定して記憶しておく。
【0092】
図12(b)は、運転者が下方を見ている場合における運転者の正面図と側面図であるが、運転者が下方を見ている場合、視点の高さ73は、視点の基準高さ71よりも低く、あごの高さ74も、あごの基準高さ72よりも低い。したがって、視点の高さおよびあごの高さの両方が、水平方向を見ているときよりも低ければ、運転者は水平方向よりも下方を見ていると推定することができる。
【0093】
図12(c)は、運転者が上方を見ている場合における運転者の正面図と側面図であるが、運転者が上方を見ている場合、視点の高さ75は、視点の基準高さ71よりも高く、あごの高さ76も、あごの基準高さ72よりも高い。したがって、視点の高さおよびあごの高さの両方が、水平方向を見ているときよりも低ければ、運転者は水平方向よりも上方を見ていると推定することができる。
【0094】
このようにして運転者の視線方向を検出するようになっていれば、簡易な構成で運転者の視線方向を検出することができる。
[特許請求の範囲との対応]
上記実施形態における用語と特許請求の範囲の用語との対応を示す。
【0095】
表示データ記憶部12が表示データ記憶手段に相当し、表示制御器13が制御手段,表示位置決定手段,移動位置決定手段に相当する。
また、表示制御器13において、ナビゲーション装置23およびミリ波レーダー装置24によって提供される情報を取得する部位が車両運行情報取得手段に相当する。
【0096】
また、表示制御器13における、危険箇所レイヤー表示処理のS230の機能が、危険箇所接近度判定手段の機能に相当し、表示制御器13における、危険物レイヤー表示処理におけるS430の機能が、危険走行度判定手段の機能に相当する。
【0097】
また、顔面撮影カメラ14が視点検知手段および視線検知手段に相当し、発光体51がマーカ表示手段に相当し、左目用プロジェクタ16が第一の投射手段に相当し、右目用プロジェクタ15が第二の投射手段に相当し、スクリーン17が投射画像反射手段に相当する。
【図面の簡単な説明】
【0098】
【図1】実施形態の情報表示装置の概略構成を示すブロック図である。
【図2】プロジェクタおよびスクリーンの設置状態を説明するための模式図である。
【図3】プロジェクタを説明するための模式図である。
【図4】スクリーンを説明するための模式図である。
【図5】立体視の原理を説明するための模式図である。
【図6】マーカを説明するための模式図である。
【図7】危険箇所レイヤー作成処理を説明するためのフローチャートである。
【図8】危険箇所レイヤー表示処理を説明するためのフローチャートである。
【図9】危険物レイヤー作成処理を説明するためのフローチャートである。
【図10】運転者の認識イメージである。
【図11】危険物レイヤー表示処理を説明するためのフローチャートである。
【図12】運転者の視線方向の検出方法を説明するための説明図である。
【符号の説明】
【0099】
11…情報表示装置、12…表示データ記憶部、13…表示制御器、14…顔面撮影カメラ、15…右目用プロジェクタ、16…左目用プロジェクタ、17…スクリーン、21…ハンドル舵角センサ、22…ブレーキペダルセンサ、23…ナビゲーション装置、24…ミリ波レーダー装置。
【特許請求の範囲】
【請求項1】
平面表示および視差を利用した立体表示を、車両の外部の景色と重畳させて表示することができる表示手段と、
車両の運行に伴う情報を取得する車両運行情報取得手段と、
立体表示用の表示データおよび平面表示用の表示データを記憶する表示データ記憶手段と、
前記車両運行情報取得手段が取得した前記情報に応じて前記表示データ記憶手段から前記立体表示用の表示データまたは前記平面表示用の表示データの何れかを読み出し、読み出した前記表示データを画像オブジェクトとして前記表示手段に平面表示または立体表示させる制御手段と、
を備えることを特徴とする情報表示装置。
【請求項2】
請求項1に記載の情報表示装置において、
前記制御手段は、前記車両運行情報取得手段が取得した前記情報の緊急度が所定の閾値よりも高い場合には、前記表示データ記憶手段から前記立体表示用の表示データを読み出し、前記車両運行情報取得手段が取得した前記情報の緊急度が前記所定の閾値よりも低い場合には、前記平面表示用の表示データを読み出すことを特徴とする情報表示装置。
【請求項3】
請求項1に記載の情報表示装置において、
前記制御手段は、前記車両運行情報取得手段が取得した前記情報の重要度が所定の閾値よりも高い場合には、前記表示データ記憶手段から前記立体表示用の表示データを読み出し、前記車両運行情報取得手段が取得した前記情報の重要度が前記所定の閾値よりも低い場合には、前記平面表示用の表示データを読み出すことを特徴とする情報表示装置。
【請求項4】
請求項1に記載の情報表示装置において、
前記制御手段は、
車両運行情報取得手段が取得した車両周辺の危険箇所情報と当該車両の現在位置情報とから危険箇所への接近度合いを判定する危険箇所接近度判定手段と、
前記車両運行情報取得手段が取得した車両周辺の物体の存在情報および移動情報から当該車両の危険走行度合いを判定する危険走行度判定手段と、
を備え、
前記危険箇所接近度判定手段によって判定された判定結果および前記危険走行度判定手段によって判定された判定結果に基づいて前記表示データ記憶手段から前記立体表示用の表示データまたは前記平面表示用の表示データの何れかを読み出すことを特徴とする情報表示装置。
【請求項5】
請求項4に記載の情報表示装置において、
前記危険走行度判定手段は、運転者の運転操作の開始タイミングおよび操作量を考慮して前記危険走行度合いを判定することを特徴とする情報表示装置。
【請求項6】
請求項4または請求項5に記載の情報表示装置において、
さらに、
運転者の視点を検知する視点検知手段と、
前記視点検知手段が検知した運転者の視点に基づき、運転者による前記画像オブジェクトの視認位置が前記危険箇所または前記物体に重なるように前記画像オブジェクトの表示位置を決定する表示位置決定手段と、
を備え、
前記制御手段は、前記表示手段に前記平面表示または前記立体表示をさせる際、前記表示位置決定手段により決定された前記表示位置に前記画像オブジェクトを表示させることを特徴とする情報表示装置。
【請求項7】
請求項6に記載の情報表示装置において、
さらに、
運転者の視線方向を検知する視線検知手段と、
前記視点検知手段により検知された前記視点における、前記視線検知手段により検知された前記視線方向が、前記視点における、前記表示手段に表示された前記画像オブジェクトの方向に一致しない場合、一致するように前記画像オブジェクトの移動位置を決定する移動位置決定手段と、
を備え、
前記制御手段は、前記移動位置決定手段により前記移動位置が決定された場合、前記移動位置に前記画像オブジェクトを移動させて前記表示手段に表示させること、
を特徴とする情報表示装置。
【請求項8】
請求項7に記載の情報表示装置において、
前記視線検知手段は、前記運転者の顔面における特徴点の位置と、前記運転者の目の位置との関係から前記視線方向を推定することを特徴とする情報表示装置。
【請求項9】
請求項1〜請求項8の何れかに記載の情報表示装置において、
さらに、前記立体表示させる前記画像オブジェクトの立体視を支援するためのマーカを前記画像オブジェクトの表示位置に応じた位置に表示させるマーカ表示手段を備えることを特徴とする情報表示装置。
【請求項10】
請求項1〜請求項9の何れかに記載の情報表示装置において、
前記表示手段は、
左目用の画像を投射する第一の投射手段と、
右目用の画像を投射する第二の投射手段と、
3次元の楕円方程式によって表される形状の反射面を有する透視可能な投射画像反射手段と、
を備えることを特徴とする情報表示装置。
【請求項11】
請求項1〜請求項10の何れかに記載の情報表示装置において、
前記制御手段は、前記表示手段に前記平面表示用の表示データを画像オブジェクトとして平面表示させた後に所定の条件を満たす場合、前記平面表示用の表示データに対応する前記立体表示用の表示データを前記表示データ記憶手段から読み出し、読み出した前記立体表示用の表示データを前記表示手段に画像オブジェクトとして立体表示させることを特徴とする情報表示装置。
【請求項1】
平面表示および視差を利用した立体表示を、車両の外部の景色と重畳させて表示することができる表示手段と、
車両の運行に伴う情報を取得する車両運行情報取得手段と、
立体表示用の表示データおよび平面表示用の表示データを記憶する表示データ記憶手段と、
前記車両運行情報取得手段が取得した前記情報に応じて前記表示データ記憶手段から前記立体表示用の表示データまたは前記平面表示用の表示データの何れかを読み出し、読み出した前記表示データを画像オブジェクトとして前記表示手段に平面表示または立体表示させる制御手段と、
を備えることを特徴とする情報表示装置。
【請求項2】
請求項1に記載の情報表示装置において、
前記制御手段は、前記車両運行情報取得手段が取得した前記情報の緊急度が所定の閾値よりも高い場合には、前記表示データ記憶手段から前記立体表示用の表示データを読み出し、前記車両運行情報取得手段が取得した前記情報の緊急度が前記所定の閾値よりも低い場合には、前記平面表示用の表示データを読み出すことを特徴とする情報表示装置。
【請求項3】
請求項1に記載の情報表示装置において、
前記制御手段は、前記車両運行情報取得手段が取得した前記情報の重要度が所定の閾値よりも高い場合には、前記表示データ記憶手段から前記立体表示用の表示データを読み出し、前記車両運行情報取得手段が取得した前記情報の重要度が前記所定の閾値よりも低い場合には、前記平面表示用の表示データを読み出すことを特徴とする情報表示装置。
【請求項4】
請求項1に記載の情報表示装置において、
前記制御手段は、
車両運行情報取得手段が取得した車両周辺の危険箇所情報と当該車両の現在位置情報とから危険箇所への接近度合いを判定する危険箇所接近度判定手段と、
前記車両運行情報取得手段が取得した車両周辺の物体の存在情報および移動情報から当該車両の危険走行度合いを判定する危険走行度判定手段と、
を備え、
前記危険箇所接近度判定手段によって判定された判定結果および前記危険走行度判定手段によって判定された判定結果に基づいて前記表示データ記憶手段から前記立体表示用の表示データまたは前記平面表示用の表示データの何れかを読み出すことを特徴とする情報表示装置。
【請求項5】
請求項4に記載の情報表示装置において、
前記危険走行度判定手段は、運転者の運転操作の開始タイミングおよび操作量を考慮して前記危険走行度合いを判定することを特徴とする情報表示装置。
【請求項6】
請求項4または請求項5に記載の情報表示装置において、
さらに、
運転者の視点を検知する視点検知手段と、
前記視点検知手段が検知した運転者の視点に基づき、運転者による前記画像オブジェクトの視認位置が前記危険箇所または前記物体に重なるように前記画像オブジェクトの表示位置を決定する表示位置決定手段と、
を備え、
前記制御手段は、前記表示手段に前記平面表示または前記立体表示をさせる際、前記表示位置決定手段により決定された前記表示位置に前記画像オブジェクトを表示させることを特徴とする情報表示装置。
【請求項7】
請求項6に記載の情報表示装置において、
さらに、
運転者の視線方向を検知する視線検知手段と、
前記視点検知手段により検知された前記視点における、前記視線検知手段により検知された前記視線方向が、前記視点における、前記表示手段に表示された前記画像オブジェクトの方向に一致しない場合、一致するように前記画像オブジェクトの移動位置を決定する移動位置決定手段と、
を備え、
前記制御手段は、前記移動位置決定手段により前記移動位置が決定された場合、前記移動位置に前記画像オブジェクトを移動させて前記表示手段に表示させること、
を特徴とする情報表示装置。
【請求項8】
請求項7に記載の情報表示装置において、
前記視線検知手段は、前記運転者の顔面における特徴点の位置と、前記運転者の目の位置との関係から前記視線方向を推定することを特徴とする情報表示装置。
【請求項9】
請求項1〜請求項8の何れかに記載の情報表示装置において、
さらに、前記立体表示させる前記画像オブジェクトの立体視を支援するためのマーカを前記画像オブジェクトの表示位置に応じた位置に表示させるマーカ表示手段を備えることを特徴とする情報表示装置。
【請求項10】
請求項1〜請求項9の何れかに記載の情報表示装置において、
前記表示手段は、
左目用の画像を投射する第一の投射手段と、
右目用の画像を投射する第二の投射手段と、
3次元の楕円方程式によって表される形状の反射面を有する透視可能な投射画像反射手段と、
を備えることを特徴とする情報表示装置。
【請求項11】
請求項1〜請求項10の何れかに記載の情報表示装置において、
前記制御手段は、前記表示手段に前記平面表示用の表示データを画像オブジェクトとして平面表示させた後に所定の条件を満たす場合、前記平面表示用の表示データに対応する前記立体表示用の表示データを前記表示データ記憶手段から読み出し、読み出した前記立体表示用の表示データを前記表示手段に画像オブジェクトとして立体表示させることを特徴とする情報表示装置。
【図1】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図11】
【図12】
【図2】
【図10】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図11】
【図12】
【図2】
【図10】
【公開番号】特開2006−350934(P2006−350934A)
【公開日】平成18年12月28日(2006.12.28)
【国際特許分類】
【出願番号】特願2005−179537(P2005−179537)
【出願日】平成17年6月20日(2005.6.20)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
【公開日】平成18年12月28日(2006.12.28)
【国際特許分類】
【出願日】平成17年6月20日(2005.6.20)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
[ Back to top ]