説明

車載用表示システム及び表示方法

【課題】車両の姿勢及び方位と背景との傾きの差による違和感を低減した車載用表示システム及び表示方法を提供する。
【解決手段】表示オブジェクトを有する映像を含む光束を観視者の片目に向けて投影する映像投影部と、前記観視者が搭乗する車両の姿勢及び方位の少なくともいずれかの角度に関する車両角度情報、及び、前記車両の外界の背景における前記表示オブジェクトのターゲットの位置での背景物の角度に関する外界角度情報の少なくともいずれかを取得する角度情報取得部と、を備え、前記映像投影部は、前記角度情報取得部によって取得された前記車両角度情報及び前記外界角度情報の少なくともいずれかに基づいて、前記表示オブジェクトの前記映像内における角度を変化させることを特徴とする車載用表示システムを提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載用表示システム及び表示方法に関する。
【背景技術】
【0002】
車載用表示装置として、ヘッドアップディスプレイ(Head-Up Display:HUD)と呼ばれる一群の表示装置がある。これらの表示装置は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)などの画像形成装置により呈示された映像を、光学系を介してハーフミラーなどの半透過反射体に反射させ、車両を運転する観察者に与えるものである。半透過反射体はコンバイナと呼ばれ、反射させて観察者に至る画像形成装置の画像と、透過して観察者に至る外界情報と、を重畳させて観察者に与える。その結果、観察者は外界情報と画像形成装置による画像情報とを同時に視認することが可能となる。
【0003】
このような表示装置に対して、背景となる外界情報と、呈示される画像情報と、を実質的に重畳させ、例えば、外界情報の空間位置に対応する位置に、呈示画像情報を配置して投影する、といった要望が強い。特に、車載用のカーナビゲーションに用いるために、車両の経路情報をより背景の外界情報に適合させた状態で呈示する試みが行われている。
【0004】
例えば、特許文献1には、車両の進むべき方向を示す動画像の矢印を表示する際、車両の走行状態や車両の周囲の交通状況に応じて、矢印の表示態様を動的に変更する技術が開示されている。この技術においては、車両の走行状態や車両の周囲の交通状況に応じて、安全度合いを判定し、矢印の表示位置、色彩、透明度、動作、形状、大きさなどの表示態様を変更する。
【0005】
また、例えば特許文献2には、移動体のフロントガラスの前方に見える風景に重なるように、矢印等の像の大きさを移動体の移動に伴う時間経過に沿って変化させながら掲示する技術が公開されている。
【0006】
しかしながら、これらのような従来のHUDにおいては、例えば、車両の姿勢(例えば、前後の傾きや、左右の傾き等)と、車両の前方の道の形状(例えば、上り下りや、左右方向の傾き等)と、がずれた場合における表示のずれに関しては何ら考慮されていない。このため、車両の姿勢と道の形状とがずれた場合に、HUDで表示する例えば矢印と道とがずれてしまい、違和感がある。
【0007】
また、上記のような従来のHUDにおいては、呈示情報の主観的奥行き位置(奥行き知覚位置)が、虚像として観察される虚像距離に一致してしまうために、どのような呈示情報を与えようとも、呈示情報の奥行き知覚位置を実際の空間位置と一致させることは困難である。
【特許文献1】特開2006−284458号公報
【特許文献2】特開2006−17626号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
本発明は、車両の姿勢及び方位と背景との傾きの差による違和感を低減した車載用表示システム及び表示方法を提供する。
【課題を解決するための手段】
【0009】
本発明の一態様によれば、表示オブジェクトを有する映像を含む光束を観視者の片目に向けて投影する映像投影部と、前記観視者が搭乗する車両の姿勢及び方位の少なくともいずれかの角度に関する車両角度情報、及び、前記車両の外界の背景における前記表示オブジェクトのターゲットの位置での背景物の角度に関する外界角度情報の少なくともいずれかを取得する角度情報取得部と、を備え、前記映像投影部は、前記角度情報取得部によって取得された前記車両角度情報及び前記外界角度情報の少なくともいずれかに基づいて、前記表示オブジェクトの前記映像内における角度を変化させることを特徴とする車載用表示システムが提供される。
【0010】
また、本発明の他の一態様によれば、観視者が搭乗する車両の姿勢及び方位の少なくともいずれかの角度に関する車両角度情報、及び、前記車両の外界の背景における前記表示オブジェクトのターゲットの位置での背景物の角度に関する外界角度情報の少なくともいずれかを取得し、前記取得した前記車両角度情報及び前記外界角度情報の少なくともいずれかに基づいて、表示オブジェクトの映像内における角度を変化させ、前記表示オブジェクトを含む前記映像を有する光束を前記観視者の片目に向けて投影することを特徴とする表示方法が提供される。
【発明の効果】
【0011】
本発明によれば、車両の姿勢及び方位と背景との傾きの差による違和感を低減した車載用表示システム及び表示方法が提供される。
【発明を実施するための最良の形態】
【0012】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。なお、説明中の上下左右前後は、図面中の記載を基準とした相対的なものである。
【0013】
(第1の実施の形態)
図1は、本発明の第1の実施形態に係る車載用表示システムの構成を例示する模式図である。
図1に表したように、本発明の第1の実施形態に係わる車載用表示システム10は、角度情報取得部401と映像投影部115とを備える。
【0014】
角度情報取得部401は、車両730(移動体)の姿勢及び方位の角度(車両730の軸の角度)に関する車両角度情報、車両730の外界の背景における表示オブジェクトのターゲットに位置での背景物の角度(背景物の軸の角度)に関する外界角度情報、の少なくともいずれか1つの角度に関する情報を取得する。
【0015】
車両730は、車載用表示システム10が呈示する映像を観視する観視者100が搭乗する自動車や二輪車などの各種の移動体である。観視者100は、車両730に搭乗するヒトであり、例えば、車両730を操縦する操縦者(運転者)とすることができる。
車両730の軸は、例えば、車両730の後方から前方に向けた軸とすることができる。但し、車両730の軸は、空間内における車両730の姿勢及び方向を示す軸であれば良く、車両730に関係する任意の軸を用いることができる。
【0016】
車両730の軸の角度は、車両730の姿勢及び方位の少なくともいずれかの角度である。すなわち、車両730の軸の角度は、後述するように、例えば、車両730におけるピッチ方向の角度(ピッチ角)、ロール方向の角度(ロール角)及びヨー方向の角度(ヨー角)の少なくともいずれかを含むことができる。
【0017】
車両730の外界は、車両730において観視者100が搭乗する空間(車内)の外側の空間であり、特に、車両730の進路前方における外側の空間である。
車両730の外界における背景物の軸は、例えば、進路前方の道の延在方向に関する軸とすることができる。背景物の軸は、空間内における背景物の方向を示す軸であれば良く、外界の背景物に関係する任意の軸を用いることができる。
背景物の軸の角度(背景物の角度)は、後述するように、例えば、道の登り下りの角度、道の左右方向の傾きの角度、及び、道の方位方向の角度、の少なくともいずれかを含むことができる。
【0018】
映像投影部115は、表示オブジェクトを有する映像を含む光束112を、観視者100の片目101に向けて投影する。すなわち、映像投影部115は、表示オブジェクトを前記映像内において、前記進路前方の背景内の対応する位置に生成し、前記生成した表示オブジェクトを有する映像を含む光束112を、前記観視者100の片目101に向けて投影する。
【0019】
表示オブジェクトとは、車載用表示システム10が観視者100に呈示する映像に設けられるものであり、例えば、車載用表示システム10が搭載される車両730の運行情報に関する、進行方向を示す矢印等の他、速度、注意及び警告等を含む表示の内容物である。
【0020】
そして、映像投影部115は、角度情報取得部401によって取得された上記の車両角度情報及び外界角度情報の少なくともいずれかに基づいて、表示オブジェクトの前記映像内における角度を変化させる。
【0021】
図1に例示したように、車載用表示システム10は、例えば車両730の中、すなわち、例えば、観視者100から見て車両730のダッシュボード720の奥に設けられる。
【0022】
映像投影部115は、例えば、映像生成部130と、映像形成部110と、投影部120と、を有する。
【0023】
映像生成部130は、表示オブジェクトを含む映像に対応する映像信号を生成し、映像形成部110に供給する。
【0024】
なお、映像生成部130には、映像の基となる画像データを格納する画像メモリ131(画像データ格納部)を設けることができる。画像メモリ131には、例えば後述する矢印等の表示オブジェクトに関する画像データを格納することができる。この時、画像メモリは、仮想的な3次元空間である仮想空間内における表示オブジェクトのデータを格納することができ、また、仮想空間内における表示オブジェクトの3次元レンダリング処理の際のメモリとして機能することができる。また、画像メモリ131は、2次元画像としての表示オブジェクトに関する各種の画像データを格納することもでき、さらに、この画像データに基づいて例えばそれらを用いて補間して生成された画像データも格納することもできる。なお、この画像メモリ131は、映像生成部130とは別に設けても良く、また、映像投影部115とは別に設けても良い。
【0025】
映像形成部110としては、例えば、液晶表示装置(LCD)やDMD(Digital Micromirror Device)、及び、MEMS(Micro-electro-mechanical System)等の各種光スイッチを用いることができる。そして、映像生成部130から所定の映像を含む映像信号が映像形成部110に供給され、映像形成部110は、映像形成部110の画面に映像を形成する。
また、映像形成部110には、レーザプロジェクタやLEDプロジェクタなどを用いることもでき、その場合は、レーザビームやLEDからの光により映像を形成する。
【0026】
そして、投影部120は、映像形成部110で形成された映像を観視者100の片目101に投影する。
【0027】
投影部120には、例えば、各種の光源、投影レンズ、ミラー、及び、発散角(拡散角)を制御する各種の光学素子が用いられる。
本具体例では、投影部120には、例えば、光源121、テーパライトガイド122、第1レンズ123、可変アパーチャ124、第2レンズ125、例えば凹面状の可動式のミラー126、及び、非球面フレネルレンズ127が用いられている。
【0028】
なお、光源121には、LED(Light Emitting Diode)や高圧水銀ランプ、ハロゲンランプ、レーザなど各種のものを用いることができる。また、非球面フレネルレンズ127は、例えば、フロントガラス710の形状に合わせて光束112の形(断面形状など)を制御できるように設計することができる。
なお、例えば、第1レンズ123の焦点距離をf1、第2レンズ125の焦点距離をf2とすると、可変アパーチャ124は、第1レンズ123からf1の距離で、第2レンズ125からf2の距離の位置に設置されている。
【0029】
そして、第2レンズ125から出射した光束は、映像形成部110に入射し、映像形成部110で形成された映像に基づいて変調された光束112となる。
【0030】
その光束112は、ミラー126及び非球面フレネルレンズ127を経て、車載用表示システム10が搭載される車両730の例えばフロントガラス710(ウインドシールド、透明板)により反射され、観視者100の片目101に投影される。そして観視者100は、フロントガラス710を介して、虚像形成位置181aの位置に形成された虚像181を知覚する。フロントガラス710には、必要に応じて反射体711を設けることができる。反射体711は、透光性と反射性の両方を有するように設計され、観視者100は、外界の背景と、光束112に含まれる表示オブジェクトを有する映像と、を同時に見る。このように、車載用表示システム10は、HUDとして使用できる。すなわち、虚像181として、表示オブジェクトに基づく像が用いられる。
【0031】
このように、発散角が制御されて光束112が観視者100に到達し、観視者100は片目101で映像を観視する。この時、観視者100の両眼の間隔は平均6cmであるので、観視者100の頭部105上における光束112の幅を6cm程度に制御すると両眼に映像が投影されることがなく、片目101に光束112を投影することができる。なお、映像の見易さから観視者100の優位眼に映像を投影することが好ましい。
【0032】
なお、上記では、光束112の発散角を制御する手段として可変アパーチャ124を用いたが、この他に、レンチキュラーレンズ及び拡散角度を制御した拡散板などを用いることもできる。
【0033】
なお、本具体例では、観視者位置検出部210をさらに備える。観視者位置検出部210は、車両730に搭乗する観視者100の位置を検出する。観視者位置検出部210は、例えば観視者100の片目101の位置を検出する。
観視者位置検出部210は、例えば、観視者100を撮像する撮像部211と、撮像部211によって撮像された撮像画像を画像処理する画像処理部212と、画像処理部212で画像処理されたデータに基づいて、観視者100の片目101の位置を判断し、検出する演算部213と、を含むことができる。
【0034】
演算部213においては、例えば、特許第3279913号公報などに記載されている人物認証に関する技術を用いて、観視者100の顔認識と顔部品としての眼球位置を算出し、観視者100の映像を投影すべき片目101の位置を判断して検出する。
【0035】
なお、撮像部211は、例えば、車両730の運転席の前方や側方に配置され、例えば、操縦者である観視者100の顔面の像を撮像し、上記のように、観視者100の片目101の位置を検出する。
【0036】
そして、本実施形態に係る車載用表示システム10においては、映像投影部115は、生成した表示オブジェクトを有する映像を含む光束112を、観視者位置検出部210により検出された観視者100の位置(例えば片目101の位置)に基づいて、前記観視者100の片目101に向けて投影することができる。これにより、片目101に正確に投影することができる。
【0037】
例えば、ミラー126は、駆動部126aによって角度調整ができるようにすることができる。この時、観視者位置検出部210により検出された観視者100の位置(例えば片目101の位置)に基づいて、ミラー126の角度を駆動部126aによって角度調整する。
【0038】
さらに、本具体例では、制御部250がさらに設けられている。制御部250は、観視者位置検出部210で検出された観視者100の位置(例えば片目101の位置)に基づいて表示オブジェクトの映像内における角度と光束112の投影範囲114aと投影位置114との少なくともいずれかを調整する。
【0039】
制御部250は、例えば、本具体例の場合、投影部120の一部を構成するミラー126に連結された駆動部126aを制御して、ミラー126の角度を制御することによって、投影位置114を制御する。
【0040】
また、制御部250は、例えば、投影部120を構成する各種の光学部品を制御して、投影範囲114aを制御することができる。
【0041】
これにより、観視者100の頭部105が動いた際にも、それに追従して、映像の呈示位置及び呈示範囲の少なくともいずれかを制御することが可能となり、観視者100の頭部105の移動による映像呈示位置からの外れがなくなり、実用的な観視範囲を広くすることが可能になる。
【0042】
なお、制御部250は、例えば、映像形成部110を制御して映像の輝度やコントラストなどを調整しても良い。
【0043】
なお、上記の具体例では、検出された観視者100の位置(例えば片目101の位置)に基づいて、光束112の投影範囲114aと投影位置114の少なくともいずれかを制御部250によって自動的に調整するが、本発明はこれに限らない。例えば、検出された観視者100の位置(例えば片目101の位置)に基づいて光束112の投影範囲114aと投影位置114の少なくともいずれかを手動で調整するようにしても良い。この場合は、例えば、投影部120によって撮像された観視者100の頭部105の画像を何らかのディスプレイで見ながら、駆動部126aを手動で制御して、ミラー126の角度を制御することができる。
【0044】
ミラー126として、平面鏡以外に、パワーを持った反射面として、凹面ミラーを用いることができ、この場合も駆動部126aによって、その角度を変えることができる。なお、表示される映像において、ミラー126の角度などに依存したひずみが発生することがあるが、映像生成部130においてひずみ補正を行うことで、ひずみのない映像を観視者100に呈示することができる。
なお、映像投影部115は、上記の具体例の他に、後述するように各種の変形が可能である。
【0045】
このように、本実施形態に係わる車載用表示システム10は、単眼視の表示システムである。
【0046】
図2は、本発明の第1の実施形態に係る車載用表示システムの動作状態を例示する模式図である。
図2に表したように、本実施形態に係る車載用表示システム10においては、表示する表示オブジェクト180として、例えば、車両730の進路を示す矢印310等が用いられ、矢印310の像がフロントガラス710(または図示しない反射体711)に投影して表示される。これにより、運転者(観視者)100は、外界の背景物520と表示オブジェクト180とを同時に見ることができる。このように、車載用表示システム10は車載用のHUDとして用いられる。
【0047】
この時、例えば、矢印310が道の分岐点などにおいて選択すべき進路を示す場合に、背景におけるこの分岐点の位置に対応するように(例えば重ね合わされるように)、車載用表示システム10が呈示する映像内の位置に、矢印310が配置されることができる。これにより、より自然に分かり易い表示が可能となる。すなわち、矢印310は、それが対応する外界の空間内の奥行きや上下左右方向の所定の位置に配置される。このように、矢印310等の表示オブジェクト180が対応する外界の空間内の位置を、表示オブジェクト180の「ターゲットの位置」ということにする。
【0048】
なお、表示オブジェクト180は、進路を示す矢印310の他に、例えば、外界の任意の場所の番地等の位置情報511、及び、道路の名称や周辺の建物等の名称情報512等の任意の外界情報を含むことができる。すなわち、この場合も、外界の位置情報511や名称情報512等は、それらが対応する外界の背景のターゲットの位置に対応して表示されることができる。
【0049】
表示オブジェクト180は、上記の矢印310や外界の位置情報511や名称情報512等の他に、例えば、車両730の現在位置や速度や燃料等の車両情報514等の車両730の運行に関係する任意の情報を含むことができる。
【0050】
HUDは背景に重畳した表示ができるため、運転者(観視者100)は直感的に表示を理解し易い。特に、車載用表示システム10は、単眼視HUDであるため、運転者の注視点が遠くにあってもHUD表示も同時に見ることが可能であり、見易い表示を呈示できる。
【0051】
そして、車載用表示システム10によれば、表示オブジェクト180を外界の背景に対応させて表示することで、分かり易い表示が可能である。特に、車両730の進むべき進路を示す矢印310を、道の形状や位置、奥行きに対応して表示させることで、見易い表示が可能となる。以下では、説明を簡単にするために、表示オブジェクト180として、進路を示す矢印310を用いる場合について説明する。
【0052】
なお、上記のように、表示オブジェクト180として矢印310を表示する場合、その矢印310に対応する道が、背景物520となる。従って矢印310を表示する場合、外界角度情報とは、外界の背景における矢印310(表示オブジェクト180)のターゲットの位置での、背景物520である道の角度に関する情報となる。
【0053】
図1に表したように、本実施形態に係る車載用表示システム10においては、角度情報取得部401は、車両730の軸の角度を検出する車両軸角検出部402を有している。これによって、車両730の軸と、車両730の進路前方の背景物520の軸と、がずれた場合においても、それを補正した表示を呈示できるので、矢印310等の表示オブジェクト180をより自然に知覚させることができる。
【0054】
なお、角度情報取得部401は、車両730の軸の角度に関する車両角度情報、及び、車両730における外界の背景物520の軸の角度に関する外界角度情報の少なくともいずれかを取得するが、まず、車両730の軸の角度を検出する場合として、角度情報取得部401が車両軸角検出部402を有する場合について説明する。
【0055】
なお、車両730の軸の角度は、例えば、地磁気の方向、重力の方向、及び、地球の緯度及び経度に基づく軸の少なくともいずれかを基準にした角度とすることができる。また、車両730の軸の角度は、ある時刻における車両730の軸を基準にして別の時刻における車両730の軸を定義しても良い。
【0056】
一方、車両730の外界の背景物520の軸の角度は、例えば、地磁気の方向、重力の方向、及び、地球の緯度及び経度に基づく軸の少なくともいずれかを基準にした角度とすることができる。また、背景物520の軸の角度は、また、ある時刻における車両730の外界の背景物520の軸を基準にして別の時刻における車両730の外界の背景物520の軸を定義しても良い。
【0057】
さらに、車両730の軸の角度は、外界の背景物520の軸を基準にした角度とすることもできる。また、背景物520の軸の角度は、車両730の軸を基準にした角度とすることもできる。すなわち、本実施形態において、車両730の空間内における軸と、外界の映像と、のずれが補正できるように、車両730の軸の角度と、外界の背景物520の軸を基準にした角度と、が、地磁気の方向、重力の方向、及び、地球の緯度及び経度に基づく軸等のように別の基準によって定められるだけでなく、両者の関係が相対的に定められるだけでも良い。
【0058】
図3は、本発明の第1の実施形態に係る車載用表示システムにおける座標系を例示する模式図である。
図3に表したように、本実施形態に係る車載用表示システム10が搭載される車両730の後方から前方に向けた方向をx軸とする。そして、車両730における左方から右方に向けた方向をy軸とする。そして、x軸とy軸とに垂直な方向をz軸とする。車両730が平坦で水平な面を走行または駐停車している場合は、x−y平面は水平面であり、z軸は重力の方向、すなわち、鉛直方向に対して平行な方向である。車両730が平坦で水平な面を直進している場合は、車両730の進行方向はx軸の方向となる。
【0059】
そして、車載用表示システム10における映像DIの画面を、便宜的にy−z平面とする。すなわち、車載用表示システム10においては、既に説明したように、映像投影部115から出射した光束112が、車両730のフロントガラス710に入射し、フロントガラス710で反射した光束112が観視者100の片目101に投影されるが、一般に、フロントガラス710は上記のx軸から傾斜している。このため、フロントガラス710はx軸に対して所定の角度を有す。また、映像DIは一般に長方形の形状を有している。この時、光束112がフロントガラス710に投影される際に、映像DIの形状は例えば台形の形状になることがあるが、映像データを調整することによって映像DIの形状を補正して、映像DIを長方形の形状にすることができる。そして、観視者100は、フロントガラス710で反射した映像DIを観視した時、知覚される映像DIは略長方形であり、また、映像DIの映像面はあたかもx軸に垂直な平面であると知覚される。このため、説明を簡単にするために上記のように、映像DIの画面をy−z平面とする。そして、映像DIの画面内において、y軸に平行な軸を横軸Haとし、z軸に平行な軸を縦軸Vaとする。
【0060】
そして、映像DI内の仮想空間VSにおいて、例えば直交する3つの軸である、α軸、β軸及びγ軸が設定される。α軸、β軸及びγ軸は、それぞれ上記のx軸、y軸及びz軸に対応させることができる。すなわち、α軸は車両730の進行方向とすることができる。
【0061】
仮想空間VS内において、任意の位置に、例えば仮想視点101a(仮想式な視点)が設定される。仮想空間VS内における仮想視点101aの位置は、実空間内における観視者100の片目101の位置に設定することができる。そして、実空間内における観視者100の片目101の位置が移動した時には、仮想空間VS内における仮想視点101aの位置もそれに連動して移動させることができる。
【0062】
一方、映像DI内の仮想空間VSにおいて、表示オブジェクト180(例えば矢印310)が配置される。
そして、表示オブジェクト180(例えば矢印310)は、仮想空間VS内において、任意の方向に任意の角度で回転させられることができる。例えば、表示オブジェクト180(例えば矢印310)は、α軸、β軸及びγ軸の少なくともいずれかの軸を中心として任意の角度で回転され、これにより、仮想視点101aから見た時に表示オブジェクト180は任意の方向に向けられる。すなわち、表示オブジェクト180の角度が変化させられる。
【0063】
すなわち、表示オブジェクト180の映像DI内における角度は、映像内の仮想空間VS内において、車両730の後方から前方への方向に対応する第1方向(α軸)を軸とした第1回転角と、車両730の左右方向に対応する第2方向(β軸)を軸とした第2回転角と、第1方向と前記第2方向とに直交する第3方向(γ軸)を軸とした第3回転角と、の少なくともいずれかの角度を含むことができる。
【0064】
また、仮想空間VS内において仮想視点101aの位置が移動した時には、それに連動して表示オブジェクト180の向き(角度)が変えられ、移動した仮想視点101aの位置から表示オブジェクト180を見た時の像が生成される。
【0065】
さらに、仮想視点101aと表示オブジェクト180との間の距離も任意に変更でき、例えば、仮想視点101aと表示オブジェクト180との間の距離が長くなると表示オブジェクト180の大きさが小さくされる。すなわち、仮想視点101aから表示オブジェクト180を見た時の距離感に適合するように、表示オブジェクト180の大きさが変えられる。
【0066】
このように、仮想空間VS内において、仮想視点101a及び表示オブジェクト180の相対角度と相対距離の少なくともいずれかが任意に変えられ、相対角度と相対距離の少なくともいずれかに対応して、表示オブジェクト180の角度及び大きさが変化させられることが可能である。このような動作は、コンピュータグラフィックスの3次元レンダリングの手法を用いて実現することができる。
【0067】
これにより、仮想空間VS内における表示オブジェクト180の向きの角度及び大きさに変更に連動して、映像DI内の2次元平面(Va−Ha平面)において、表示オブジェクト180の像は、その形状、大きさ及び位置が変えられる。すなわち、表示オブジェクト180の映像DI内における角度は、2次元の映像DI内における表示オブジェクト180の形状、大きさ及び位置に対応した角度である。そして、この角度を変えることにより、観視者100は、映像DI内の表示オブジェクト180を観視した際に、表示オブジェクト180が回転して見えたり、距離感が違って見えたりする。
【0068】
なお、上記のように、仮想空間VS内において、仮想視点101aは任意の位置に配置され得るが、以下では、簡単のため、実空間内における観視者100の片目101の位置が固定され、すなわち、仮想空間VS内における仮想視点101aの位置が固定されている場合として説明する。
【0069】
上記のように、映像DIに表示オブジェクト180である矢印310が表示され、観視者100は片目101で観視する。そして、観視者100は、背景物520となる例えば道530の像と重畳して表示オブジェクト180を有する映像DIを同時に観視する。そして、観視者100は、表示オブジェクト180の虚像である矢印310を知覚する。
【0070】
そして、表示オブジェクト180に対応する、背景物520におけるターゲットの位置521に対応する映像DIにおける位置に、表示オブジェクト180が配置される。
【0071】
例えば表示オブジェクト180である矢印310は、道路の分岐点等において、進行方向を誘導する。この時、その表示オブジェクト180である矢印310は、該当する分岐点の位置(ターゲットの位置521)に対応する映像DI内の位置に表示される。
【0072】
このように、表示オブジェクト180が表示される映像DI内における位置は、背景物520におけるターゲットの位置521に対応する位置とされる。これにより、観視者100は、誘導のための矢印310によって示された分岐点等を正確に把握できる。
【0073】
ここで、背景物520におけるターゲットの位置521における道530の延在方向をx1軸とする。そして道530の表面に対して平行な平面内において、x1軸方向に対して垂直である方向をy1軸とする。そして、x1軸とy1軸とに垂直な方向をz1軸とする。例えば、ターゲットの位置521において道530が平坦であり水平である(登り下りの勾配がなく、左右方向にも傾斜がない)場合は、x1−y1平面は、道の表面に平行な平面に対して平行であり、x1軸とy1軸とは、重力の方向、すなわち、鉛直方向に対して垂直である。そして、z1軸は重力の方向、すなわち、鉛直方向に対して平行な方向である。
【0074】
例えば、道530が一定の道幅を有し、そして一定の範囲内において直進している場合は、x1軸はその直進している方向であり、y1軸は道幅の方向である。道530がカーブしている場合は、ターゲットの位置521における道530のカーブの接線の方向が道の延在方向となり、ターゲットの位置521における道530の接線の方向をx1軸とすることができる。そしてこの時、y1軸は、道530の表面に平行な平面内においてx1軸に対して垂直な方向とすることができる。また、道530の幅が変化している時においても、x1軸は、道530の延在方向であり、y1軸はx1軸に対して垂直である。
【0075】
また、例えば、道530が延在方向に対して垂直な方向で傾斜している、すなわち、左右方向で傾斜している時は、y1軸はその傾斜した方向となり、そして、z1軸は、例えば重力の方向から傾く。
【0076】
このように、車両730の軸として、上記のx軸、y軸及びz軸を用いることができる。そして、外界の背景物520の軸として、上記のx1軸、y1軸及びz1軸を用いることができ、特に、表示される表示オブジェクト180が対応する外界の背景物520のターゲットの位置521におけるx1軸、y1軸及びz1軸を用いることができる。
【0077】
本具体例では、進行方向を表す矢印310は、例えば、道530の表面に対して実質的に平行に配置されるものとする。これにより、矢印310によって道530における進行方向を違和感なく自然に知覚できる。
【0078】
車両730の軸(例えば、x軸、y軸及びz軸)は、例えば車両730が存在する場所の地形の傾斜等の変化によって変化する。すなわち、車両730が存在する場所が車両730の進行方向に対して、上り下りの傾斜や、左右の傾斜がある場合に、y軸やx軸を中心とした回転の方向に車両730の軸は変化する。また、進行方向に対して車両730が例えば左右の方向に向いている場合は、z軸を中心とした回転の方向に車両730の軸は変化する。
【0079】
一方、外界の背景物520の軸(例えば、x1軸、y1軸及びz1軸)も、進路前方の外界の背景における表示オブジェクト180のターゲットの位置521での地形等によって変化する。具体的には、ターゲットの位置521における道の地形や道の延在方向によって、外界の背景物520の軸であるx1軸、y1軸及びz1軸が変化する。
【0080】
そして、車両730の軸と外界の背景物520の軸とは、互いにそれぞれ独立して変化する。この時、これらの軸が互いに異なっている状態で表示オブジェクト180を映像DI内に表示すると違和感が生じるが、本実施形態に係る車載用表示システム10においては、車両730の軸と外界の背景物520の軸との差を補正して表示オブジェクト180の映像DI内における角度を変化させるので、表示オブジェクト180を違和感がなく自然に知覚させることができる。この表示オブジェクト180の映像DI内における角度を変化は、例えば上記の仮想空間VS内における表示オブジェクトの3次元レンダリングによって実現される。
【0081】
以下では、まず、外界の背景物520の軸(例えば、x1軸、y1軸及びz1軸)が一定であり、すなわち、前方の背景における道530が直進しており、道530が左右水平であり、登り下りの勾配もない場合であり、車両730の軸(例えば、x軸、y軸及びz軸)が変化する場合について説明する。
【0082】
車両730におけるx軸、y軸及びz軸の変化は、車載用表示システム10に設けられ角度情報取得部401の車両軸角検出部402によって検出され得る。例えば、x軸を回転軸としたy軸及びz軸の変化は、車両730のロール角の変化に相当する。また、y軸を回転軸としたx軸及びz軸の変化は、車両730のピッチ角の変化に相当する。また、z軸を回転軸としたx軸及びy軸の変化は、車両730のヨー角の変化に相当する。このように、車両730の軸の角度は、車両730のロール角、ピッチ角及びヨー角の少なくともいずれかを含むことができる。
【0083】
なお、上記のロール角、ピッチ角及びヨー角の変化は、例えば、地磁気の方向と車両730の軸との変化を検出する方式や、液体式や、鉛直振り子式や、ジャイロ式等の各種の傾斜センサや、各種の加速度センサ、角速度センサ、角加速度センサ等を応用することで検出することができる。すなわち、車両軸角検出部402は、傾斜センサ、加速度センサ、角速度センサ及び角加速度センサの少なくともいずれかを含むことができる。そして、上記の傾斜センサには、地磁気式、液体式、鉛直振り子式及びジャイロ式の少なくともいずれか傾斜センサを用いることができる。
【0084】
まず、車両730のピッチ角の変化を補正する場合について説明する。
図4は、本発明の第1の実施形態に係る車載用表示システムが適用される車両の状態を例示する模式図である。
すなわち、同図は車載用表示システム10が搭載されている車両730の3種類の姿勢を例示しており、車両730と道530とを車両730の側方から見た時の図である。そして、この例では、道530は左右方向において水平とする。
【0085】
図4(a)に表したように、車両730が走行または駐停車している場所が水平であり、矢印310が対応するターゲットの位置521においても道530は水平である。この時、車両730に対応するx軸、y軸及びz軸と、ターゲットの位置521の道530に対応するx1軸、y1軸及びz1軸と、は、それぞれ平行であり、それぞれの軸の方向は一致する。
【0086】
一方、図4(b)に表したように、車両730が走行または駐停車している場所が下り坂である場合は、鉛直方向を基準にすると、x軸及びz軸は、y軸を中心にして回転する。この回転の角度をピッチ角θpとする。この例では、この回転は時計回りの回転であり、ピッチ角θpは負とする。ピッチ角θpは、車両730が走行または駐停車している場所の坂の勾配の角度に実質的に等しい。
【0087】
一方、この場合においても、矢印310のターゲットの位置521において、道530は水平である。このため、車両730に対応するx軸及びz軸と、前方の道530に対応するx1軸及びz1軸と、は、ピッチ角θpだけずれる。
【0088】
この時、もし、矢印310に対応する表示オブジェクト180を補正しないで映像DI内に配置すると、補正前矢印310bは道530の中に埋め込まれたように見え不自然であるが、本実施形態に係る車載用表示システム10では、後述するように、表示オブジェクト180を仮想空間VS内において回転させ、映像DI内に生成するので、補正後の補正後矢印310aが知覚され、違和感がない自然な映像を呈示できる。
【0089】
一方、図4(c)に表したように、車両730が走行または駐停車している場所が登り坂である場合は、x軸及びz軸は、y軸を中心にして、反時計回りに回転し、ピッチ角θpは正である。この場合も、ピッチ角θpは、車両730が位置する場所の坂の勾配の角度に実質的に等しい。
【0090】
一方、この場合においても、矢印310のターゲットの位置521において、道530は水平である。このため、車両730に対応するx軸及びz軸と、前方の道530に対応するx1軸及びz1軸と、は、ピッチ角θpだけずれる。
【0091】
この時、もし、矢印310に対応する表示オブジェクト180を補正しないで映像DI内に配置すると、補正前矢印310bは道530の上空に浮いて見え不自然であるが、本実施形態に係る車載用表示システム10では、表示オブジェクト180を仮想空間VS内において回転させ、映像DI内に生成するので、補正された補正後矢印310aが知覚され、違和感がない自然な映像を呈示される。
【0092】
図5は、本発明の第1の実施形態に係る車載用表示システムの動作を例示する模式図である。
すなわち、図5(a)、(b)及び(c)は、観視者100が知覚する表示オブジェクト180である矢印310及び補正後矢印310aと道530の形状とを例示しており、それぞれ、図4(a)、(b)及び(c)で例示した車両730の姿勢に対応する図である。また、図5(d)、(e)及び(f)は、映像DIにおける矢印310及び補正後矢印310aの形状を例示しており、それぞれ、図4(a)、(b)及び(c)で例示した車両730の姿勢に対応する図である。
【0093】
図5(a)に表したように、車両730及び前方の道530が共に水平である場合は、車両730の軸(x軸、y軸及びz軸)と、前方の道530のターゲットの位置521における軸(x1軸、y1軸及びz1軸)と、は、それぞれ平行であり、それぞれの軸の方向は一致している。
この時、例えば、表示オブジェクト180の仮想空間VS内における向き並びに映像DI内における形状、大きさ及び位置は、補正されなくて良い。
【0094】
例えば、図5(d)に表したように、映像DI内において、矢印310の上部310uの端は、映像DIの横軸Haの基準軸Ha0から距離Pu1の距離にあるとする。そして、矢印310の下部310dの端は、映像DIの横軸Haの基準軸Ha0から距離Pd1の距離にあるとする。そして、矢印310の上部310uの表示の大きさは、下部310dの表示の大きさに比べて相対的に小さくなっている。すなわち、下部310dよりも上部310uの方が、前方の道において遠方に配置されるのでその遠近観に対応する大きさに従って、矢印310の上部310u及び下部310dの大きさが変形されている。これにより、矢印310は、観視者100によってターゲットの位置521において道530の表面に沿うように知覚され、自然に見える映像が観視者100に呈示される。
【0095】
このように、車両730の軸(x軸、y軸及びz軸)と、前方の道530のターゲットの位置521における軸(x1軸、y1軸及びz1軸)と、がそれぞれ一致している場合は、表示オブジェクト180の映像DI内における形状、大きさ及び位置に対して補正処理を行わなくても、前方の道530のターゲットの位置521において、矢印310は道530と平行に配置されて知覚され、自然に見える。
【0096】
一方、図5(b)に表したように、車両730が下り坂にあり、ターゲットの位置521における道530が水平である場合は、観視者100を基準にしてみると、前方の道は相対的に登り坂に相当するように見える。この時、映像DI内において矢印310の像を補正する前の補正前矢印310bは、観視者100から見てx軸と平行な方向(すなわち、前方の道530の表面よりも下方)であると知覚され、この結果、道530に埋め込まれて見え、不自然である。
【0097】
これに対して、本実施形態に係る車載用表示システム10においては、車両730の軸と、前方の道530のターゲットの位置521における軸と、の相対的な角度の差に基づいて、表示オブジェクト180である矢印310が、仮想空間VS内において回転される。
【0098】
本具体例では、補正後矢印310aの向きは、x軸に対して平行な方向から、前方の道530のターゲットの位置521におけるx1軸に対して平行な方向へと回転される。すなわち、車両730が下方向(負の方向)にピッチ角θpで傾斜している時は、表示オブジェクト180である矢印310を、仮想空間VS内でピッチ角θpの大きさで逆方向(正の方向)に回転させる。
【0099】
この結果、図5(e)に表したように、映像DI内においては、補正後矢印310aの上部310uの端は、映像DIの横軸Haの基準軸Ha0から距離Pu2の距離にあり、補正後矢印310aの下部310dの端は、映像DIの横軸Haの基準軸Ha0から距離Pd2の距離にある。そして、距離Pu2は距離Pu1よりも長く、距離Pd2は距離Pd1よりも長い。すなわち、補正後矢印310aの縦軸Va方向の長さは、補正前の矢印310の縦軸Va方向の長さよりも長い。
【0100】
そして、この場合も矢印310の上部310uの表示の大きさは、下部310dの表示の大きさに比べて相対的に小さくなっているが、その比率は、図5(d)に例示した場合よりも低くなっている。すなわち、図5(d)の場合に比べて、上部310uの表示の大きさは下部310dの表示の大きさに近くなっている。すなわち、図5(d)の場合よりも図5(e)の場合の方が、矢印の先端が観視者100に対して手間側に相対的に近接するような遠近観に対応する大きさに従って、矢印310の上部310uと下部310dとの大きさが変形される。
【0101】
このように、仮想空間VS内において矢印310を回転させる。この結果、映像DI内においては、矢印310の縦軸Vaの方向の長さと、上部310uと下部310dとの大きさの比率と、の少なくともいずれかが変化させられる。これにより、補正後矢印310aは、観視者100によってターゲットの位置521において道530の表面に沿うように知覚され、自然に見える映像が観視者100に呈示される。
【0102】
逆に、図5(c)に表したように、車両730が登り坂にあり、ターゲットの位置521における道530が水平である場合は、観視者100を基準にしてみると、前方の道530は相対的に下り坂に相当するように見える。この時、映像DI内において矢印310の像を補正する前の補正前矢印310bは、観視者100から見てx軸と平行な方向(すなわち、前方の道530よりも上方)であると知覚され、この結果、道530の表面から上空に浮いて見え、不自然である。
【0103】
これに対して、本実施形態に係る車載用表示システム10においては、車両730の軸と、前方の道530のターゲットの位置521における軸と、の相対的な角度の差に基づいて、表示オブジェクト180である矢印310が仮想空間VS内において回転される。
【0104】
本具体例では、補正後矢印310aの向きは、x軸に対して平行な方向から、前方の道530のターゲットの位置521におけるx1軸に対して平行な方向へと回転される。すなわち、車両730が上方向(正の方向)にピッチ角θpで傾斜している時は、表示オブジェクト180である矢印310を、映像DI内でピッチ角θpの大きさで逆方向(負の方向)に回転させる。
【0105】
この結果、図5(f)に表したように、映像DI内においては、補正後矢印310aの上部310uの端は、映像DIの横軸Haの基準軸Ha0から距離Pu3の距離にあり、補正後矢印310aの下部310dの端は、映像DIの横軸Haの基準軸Ha0から距離Pd3の距離にある。そして、距離Pu3は距離Pu1よりも短く、距離Pd3は距離Pd1よりも長い。すなわち、補正後矢印310aの縦軸Va方向の長さは、補正前の矢印310の縦軸Va方向の長さよりも短い。
【0106】
そして、この場合も矢印310の上部310uの表示の大きさは、下部310dの表示の大きさに比べて相対的に小さくなっているが、その比率は、図5(d)に例示した場合よりも高くなっている。すなわち、図5(d)の場合に比べて、上部310uの表示の大きさは下部310dの表示よりもより大きくなっている。すなわち、図5(d)の場合よりも図5(e)の場合の方が、矢印310の先端が観視者100に対して奥側に相対的に離れるような遠近観に対応する大きさに従って、矢印310の上部310uと下部310dの大きさが変形される。
【0107】
このように、仮想空間VS内において矢印310を回転させる。この結果、映像DI内において、矢印310の縦軸Vaの方向の長さと、上部310uと下部310dとの大きさの比率と、の少なくともいずれかが変化させられる。これにより、補正後矢印310aは、観視者100によってターゲットの位置521において道530の表面に沿うように知覚され、自然に見える映像が観視者100に呈示される。
【0108】
なお、図5(d)、(e)及び図5(f)に例示した映像の例では、矢印310の映像DI内における位置も変えられている。すなわち、図5(d)における矢印310の位置よりも、図5(e)における補正後矢印310aの位置は、映像DI内において上方に補正されている。これにより、補正後矢印310aは道530の上方の所定の位置に配置される。一方、図5(d)における矢印310の位置よりも、図5(f)における補正後矢印310aの位置は、映像DI内において下方に補正されている。これにより、補正後矢印310aは道530の上方の所定の位置に配置される。このように、仮想空間VS内において表示オブジェクト180を回転、すなわち、角度を変えると、それに伴い仮想空間VS内における表示オブジェクト180の位置は変化させることができる。
【0109】
上記の図5(d)、(e)及び(f)に例示した映像DI内の矢印310及び補正後矢印310a(表示オブジェクト180)の像は、仮想空間VS内における矢印310(表示オブジェクト180)の3次元レンダリングの操作によって得られているが、本発明は、これに限らない。すなわち、仮想空間VS内における表示オブジェクト180の回転に相当する操作は、映像DI内において、表示オブジェクト180の像の形状、大きさ及び位置の少なくともいずれか変化させることでも実現できる。すなわち、図5(d)、(e)及び(f)に例示したように、例えば、矢印310の縦軸Vaの方向の長さと、上部310uと下部310dとの大きさの比率と、位置の少なくともいずれかを補正することで、矢印310が回転したように知覚させる。なお、後述するように、矢印310の縦軸Vaの方向の長さと、上部310uと下部310dとの大きさの比率と、位置、の少なくともいずれかの補正は、各種の角度に対応する矢印310の各種の形状のデータを予め格納しておき、必要な角度に対応する矢印の形状をそれらのデータを補間することで生成することができる。
【0110】
以下においても、仮想空間VS内での表示オブジェクト180の回転の状態と、映像DIにおける表示オブジェクト180の像の形状についても説明する。そして、この時、2次元の映像DIにおける表示オブジェクト180の像は、仮想空間VS内でのデータの操作によって得られるだけでなく、上記のように、2次元の映像DI内のデータの操作によっても得られる。
【0111】
次に、車両730のロール角の変化を補正する場合について説明する。
図6は、本発明の第1の実施形態に係る車載用表示システムが適用される車両の別の状態を例示する模式図である。
すなわち、同図は車載用表示システム10が搭載されている車両730の3種類の姿勢を例示しており、車両730と道530を、車両730の後方から見た時の図である。そして、この例では、道530の進行方向に関しての傾斜(すなわち、登り下り)はなく、そして、矢印310のターゲットの位置521における道530は左右方向で水平とする。
【0112】
図6(a)に表したように、車両730走行または駐停車している場所が左右方向で水平であり、矢印310が対応するターゲットの位置521においても、道530が左右方向で水平である時は、車両730に対応するx軸、y軸及びz軸と、前方の道530に対応するx1軸、y1軸及びz1軸と、は、それぞれ平行であり、それぞれの軸の方向は一致する。
【0113】
一方、図6(b)に表したように、車両730が走行または駐停車している場所が、左よりも右が低い傾斜である場所である場合は、y軸及びz軸は、x軸を中心にして回転する。この回転の角度を、ロール角θrとする。この例では、この回転は時計回りの回転であり、ロール角θrは負とする。
そして、図6(c)に表したように、車両730が走行または駐停車している場所が、右よりも左が低い傾斜である場所である場合は、y軸及びz軸は、x軸を中心にして回転する。この例では、この回転は反時計回りの回転であり、ロール角θrは正とする。
図6(b)及び図6(c)の場合においても、矢印310のターゲットの位置521において、道530は左右方向で水平である。このため、車両730に対応するy軸及びz軸と、前方の道530に対応するy1軸及びz1軸は、ロール角θrだけずれる。
【0114】
この時、もし、矢印310に対応する表示オブジェクト180を補正しないで映像DI内に配置すると、補正前矢印310b(図示しない)は道530の表面に対して傾いて見え、不自然であるが、本実施形態に係る車載用表示システム10では、後述するように、表示オブジェクト180を仮想空間VS内において回転させ、映像DI内に生成するので、補正後矢印310aが知覚され、違和感がない自然な映像を呈示できる。
【0115】
図7は、本発明の第1の実施形態に係る車載用表示システムの別の動作を例示する模式図である。
すなわち、図7(a)、(b)及び(c)は、観視者100が知覚する表示オブジェクト180である矢印310及び補正後矢印310aと道530の形状とを例示しており、それぞれ、図6(a)、(b)及び(c)で例示した車両730の姿勢に対応する図である。また、図7(d)、(e)及び(f)は、映像DIにおける矢印310及び補正後矢印310aの形状を例示しており、それぞれ、図6(a)、(b)及び(c)で例示した車両730の姿勢に対応する図である。
【0116】
図7(a)に表したように、車両730及び前方の道530が左右方向で水平である場合は、車両730の軸(x軸、y軸及びz軸)と、前方の道におけるターゲットの位置521における軸(x1軸、y1軸及びz1軸)とは、それぞれ平行であり、それぞれの軸の方向は一致している。
この時、例えば、表示オブジェクト180の仮想空間VS内における向き並びに映像DI内における形状、大きさ及び位置は、補正されなくて良い。
例えば、図7(d)に表したように、映像DI内において、矢印310の軸310vは映像DIの縦軸Vaと平行である。なお、この時も、矢印310の上部310uの表示の大きさは、遠近観に対応するように、下部310dの表示の大きさに比べて相対的に小さくなっている。これにより、矢印310は、観視者100によってターゲットの位置521において道530の表面に沿うように知覚され、自然に見える映像が観視者100に呈示される。
【0117】
一方、図7(b)に表したように、車両730が左よりも右が低い傾斜の面に存在し、ターゲットの位置521の道530が左右水平である場合は、観視者100を基準にしてみると、前方の道530は相対的に右よりも左が低い傾斜の面に相当して見える。この時、映像DI内において矢印310の像を補正する前の補正前矢印310bは、観視者100から見てy軸(すなわち左右方向で傾いた軸)と平行であると知覚され、前方の道530の左右方向のy1軸とは差異があり、不自然である。
【0118】
これに対して、本実施形態に係る車載用表示システム10においては、車両730の軸と、前方の道530のターゲットの位置521における軸と、の相対的な角度の差に基づいて、表示オブジェクト180である矢印310が、仮想空間VS内において回転される。
【0119】
本具体例では、補正後矢印310aの向きは、y軸(すなわち左右方向で傾いた軸)に対して平行な方向から、前方の道530のターゲットの位置521におけるy1軸(すなわち左右水平な軸)に対して平行な方向へ回転される。すなわち、車両730が右下がり方向(負の方向)にロール角θrで傾斜している時は、表示オブジェクト180である矢印310を、映像DI内でロール角θr分だけ逆方向に回転させる。
【0120】
この結果、図7(e)に表したように、映像DI内においては、補正後矢印310aの軸310vは、映像DIの縦軸Vaに対して、ロール補正角θirで回転させられる。このロール補正角θirは、例えば、車両730のロール角θrと同じ大きさで逆方向(正の方向)である。すなわち、補正後矢印310aはロール角θrと同じ角度で逆方向に回転させられている。なお、同図においては、見やすさのため、図面の紙面に対して映像DIをロール角θrだけ回転させている。
【0121】
このように、補正後矢印310aの軸310vが映像DI内で回転して補正されることで、補正後矢印310aは、観視者100によってターゲットの位置521の道530の表面に沿うように知覚され、自然に見える映像が観視者100に呈示される。
【0122】
逆に、図7(c)に表したように、車両730が右よりも左が低い傾斜の面に存在し、前方の道のターゲットの位置521が左右水平である場合も、車両730の軸と、前方の道530のターゲットの位置521における軸と、の相対的な角度の差に基づいて、表示オブジェクト180である矢印310が、仮想空間VS内で回転される。
【0123】
すなわち、本具体例では、車両730が左下がり方向(正の方向)にロール角θrで傾斜しており、この時は、表示オブジェクト180である矢印310を、映像DI内でロール角θr分だけ逆方向に回転させる。
【0124】
この結果、図7(f)に表したように、映像DI内においては、補正後矢印310aの軸310vは、映像DIの縦軸Vaに対して、ロール補正角θirで回転させられる。このロール補正角θirは、例えば、車両730のロール角θrと同じ大きさで逆方向(負の方向)である。すなわち、補正後矢印310aはロール角θrと同じ角度で逆方向に回転して補正される。なお、同図においても、見やすさのため、図面の紙面に対して映像DIをロール角θrだけ回転させている。
【0125】
このように、補正後矢印310aの軸310vが映像DI内で回転して補正されることで、補正後矢印310aは、観視者100によってターゲットの位置521において道530の表面に沿うように知覚され、自然に見える映像が観視者100に呈示される。
【0126】
次に、車両730のヨー角の変化を補正する場合について説明する。
図8は、本発明の第1の実施形態に係る車載用表示システムが適用される車両の別の状態を例示する模式図である。
すなわち、同図は車載用表示システム10が搭載されている車両730の3種類の方向を例示しており、車両730及び道530を、車両730の上方から見た時の図である。そして、この例では、道530において、道530の進行方向に関しての傾斜(登り下り)や、左右方向に関しての傾斜はなく、道は水平であり、また、道530は実質的に直線で一方向に延在し、道530の幅も一定とする。
【0127】
図8(a)に表したように、車両730が道530の延在方向と平行な方向を向いている場合は、車両730に対応するx軸、y軸及びz軸と、前方の道530に対応するx1軸、y1軸及びz1軸と、は、それぞれ平行であり、それぞれの軸の方向は一致している。
【0128】
一方、図8(b)に表したように、車両730の向きが、道530の延在方向に対して右方向(上方から見て時計周りの方向)に向いている場合は、x軸及びy軸は、z軸を中心にして回転する。この回転の角度をヨー角θyとする。この例では、この回転は時計回りの回転であり、ヨー角θyは負とする。
【0129】
また、図8(c)に表したように、車両730の向きが、道530の延在方向に対して左方向(上方から見て反時計周りの方向)に向いている場合も、x軸及びy軸は、z軸を中心にして回転し、この時のヨー角θyを正とする。
【0130】
一方、図8(b)及び(c)のいずれの場合においても、車両730の前方である表示オブジェクト180である矢印310が対応するターゲットの位置521において、道530は直進しており、車両730に対応するx軸及びy軸と、前方の道530に対応するx1軸及びy1軸と、は、ヨー角θyだけずれる。
【0131】
この時、もし、矢印310に対応する表示オブジェクト180の向きを仮想空間VS内で補正しない場合は、補正前矢印310bは道530の延在方向からずれて見えるため不自然であるが、本実施形態に係る車載用表示システム10では、後述するように、表示オブジェクト180を仮想空間VS内において回転させ、映像DI内に生成するので、補正された補正後矢印310aが知覚され、違和感がない自然な映像を呈示できる。
【0132】
図9は、本発明の第1の実施形態に係る車載用表示システムの別の動作を例示する模式図である。
すなわち、図9(a)、(b)及び(c)は、観視者100が知覚する表示オブジェクト180である矢印310及び補正後矢印310a並びに道530の形状を例示しており、それぞれ、図8(a)、(b)及び(c)で例示した車両730の方向に対応する図である。また、図9(d)、(e)及び(f)は、映像DIにおける矢印310及び補正後矢印310aの形状を例示しており、それぞれ、図8(a)、(b)及び(c)で例示した車両730の方向に対応する図である。
【0133】
図9(a)に表したように、道530が直進しており、車両730が道530の延在方向に対して平行な方向を向いている場合は、車両730の軸(x軸、y軸及びz軸)と、前方の道におけるターゲットの位置521における軸(x1軸、y1軸及びz1軸)と、は、それぞれ平行であり、それぞれの軸の方向は一致している。
この時、例えば、表示オブジェクト180の仮想空間VS内における向き並びに映像DI内における形状、大きさ及び位置は、補正されなくて良い。
【0134】
例えば、図9(d)に表したように、映像DI内において、矢印310の左部310lの端は、映像DIの縦軸Vaの基準軸Va0から距離Pl1の距離にあるとする。そして、矢印310の右部310rの端は、映像DIの縦軸Vaの基準軸Va0から距離Pr1の距離にあるとする。そして、距離Pl1と距離Pr1とは互いに実質的に等しい。そして、矢印310の左部310lの表示の大きさと、右部310rの表示の大きさは実質的に同じとされている。これにより、矢印310の向きは、道530の延在方向と平行な方向であると知覚され、自然に見える映像が観視者100に呈示される。
【0135】
一方、図9(b)に表したように、車両730が右を向いている場合は、観視者100を基準にしてみると、前方の道530は相対的に左回りに回転しているように見える。この時、映像DI内において矢印310の像を補正する前の補正前矢印310bは、観視者100から見てx軸と平行な方向であると知覚され、この結果、道530の延在方向(x1軸方向)からずれて見え、不自然である。
【0136】
これに対して、本実施形態に係る車載用表示システム10においては、車両730の軸と、前方の道530のターゲットの位置521における軸と、の相対的な角度の差に基づいて、表示オブジェクト180である矢印310が、仮想空間VS内において回転される。
【0137】
本具体例では、補正後矢印310aの向きは、x軸に対して平行な方向から、ターゲットの位置521における道530の延在方向(x1軸の方向)へ、回転される。すなわち、車両730がヨー角θyで右方向(負の方向)に向いている時は、表示オブジェクト180である矢印310を、映像DI内でヨー角θyの大きさで逆方向(正の方向)に補正する。
【0138】
その結果、例えば、図9(e)に表したように、補正後矢印310aの左部310lの表示の大きさは、右部310rの表示の大きさに比べて相対的に大きくする。これにより、補正後矢印310aは、左部310lの方が右部310rに比べて観視者100に対して手前側に相対的に近接するように見える。すなわち、遠近観に対応する大きさに従って、矢印310の左部310lと右部310rの大きさが変形される。
【0139】
また、この場合、映像DI内における補正後矢印310aの位置は、補正前よりも左の方向に移動させられている。
【0140】
なお、映像DI内において、補正後矢印310aの左部310lの端は、映像DIの縦軸Vaの基準軸Va0から距離Pl2の距離にあり、補正後矢印310aの右部310rの端は、映像DIの縦軸Vaの基準軸Va0から距離Pr2の距離にある。そして、距離Pl1に対する距離Pl2及び距離Pr1に対する距離Pr2、すなわち、補正後矢印310aの左右方向の長さは、映像DI内における矢印310の回転に対応して変化させることができる。すなわち、矢印310の軸方向と幅方向との比率及び、ヨー角θyの大きさによって、補正後矢印310aの左右方向の長さが補正されることができる。
【0141】
このように、矢印310において、左部310lと下部310dとの大きさの比率と、映像DI内における位置と、横軸Haの方向の長さと、の少なくともいずれかを修正して補正することで、補正後矢印310aは、観視者100によってターゲットの位置521において道530の延在方向に沿うように知覚され、自然に見える映像が観視者100に呈示される。
【0142】
一方、図9(c)に表したように、車両730が左を向いている場合は、観視者100を基準にしてみると、前方の道530は相対的に右回りに回転しているように見える。この時、映像DI内において矢印310の像を補正する前の補正前矢印310bは、観視者100から見てx軸と平行な方向であると知覚され、この結果、道530の延在方向(x1軸方向)からずれて見え、不自然である。
【0143】
これに対して、本実施形態に係る車載用表示システム10においては、車両730の軸と、前方の道530のターゲットの位置521における軸と、の相対的な角度の差に基づいて、表示オブジェクト180である矢印310が、仮想空間VS内において回転される。
【0144】
本具体例では、車両730がヨー角θyで左方向(正の方向)に向いており、表示オブジェクト180である矢印310を、映像DI内でヨー角θyの大きさで逆方向(負の方向)に補正する。
【0145】
この結果、図9(f)に表したように、映像DI内においては、補正後矢印310aの左部310lの表示の大きさは、右部310rの表示の大きさに比べて相対的に小さくなる。これにより、補正後矢印310aは、左部310lの方が右部310rに比べて観視者100に対して奥の側に相対的に遠ざかるように見える。すなわち、遠近観に対応する大きさに従って、矢印310の左部310lと右部310rの大きさが変形される。
【0146】
また、この場合、映像DI内における補正後矢印310aの位置は、補正前よりも右の方向に移動させられている。
【0147】
また、この場合、映像DI内において、補正後矢印310aの左部310lの端は、映像DIの縦軸Vaの基準軸Va0から距離Pl3の距離にあり、補正後矢印310aの右部310rの端は、映像DIの縦軸Vaの基準軸Va0から距離Pr3の距離にある。そして、距離Pl1に対する距離Pl3及び距離Pr1に対する距離Pr3、すなわち、補正後矢印310aの左右方向の長さは、映像DI内における矢印310の回転に対応して変化させることができる。すなわち、矢印310の軸方向と幅方向との比率及び、ヨー角θyの大きさによって、補正後矢印310aの左右方向の長さが補正されることができる。
【0148】
このように、矢印310において、左部310lと下部310dとの大きさの比率と、映像DI内における位置と、横軸Haの方向の長さと、の少なくともいずれかを修正して補正することで、補正後矢印310aは、観視者100によってターゲットの位置521において道530の延在方向に沿うように知覚され、自然に見える映像が観視者100に呈示される。
【0149】
以上のように、本実施形態に係る車載用表示システム10は、角度情報取得部401が車両730の軸の角度を検出する車両軸角検出部402を有しており、これにより、車両730の軸の角度に関する車両角度情報を取得する。例えば、車両軸角検出部402は、車両730のロール角、ピッチ角及びヨー角の少なくともいずれかを検出する。すなわち、車両730の軸に関する車両角度情報は、ピッチ角、ロール角及びヨー角の少なくともいずれかを含むことができる。
そして、これらの角度を補正して表示オブジェクト180である例えば矢印310を仮想空間VS内で補正して回転し(角度を変化させ)、そして、映像DI内において表示オブジェクト180の形状、大きさ及び位置の少なくともいずれかを補正して配置する。これにより、車両の軸がずれても、車両の姿勢及び方位と背景との傾きの差による違和感を低減した単眼式の車載用表示システムが提供できる。
【0150】
また、単眼式の車載用表示システムによって両眼の輻輳情報が排除されるので、呈示画像情報と外界情報とが適切にマッチングされ、車載用表示システム10による映像の奥行き知覚位置を任意の奥行き位置に呈示し易くなる。本実施形態に係る車載用表示システム10において、呈示画像情報と外界情報との高いマッチング感を有したまま、車両の姿勢が傾いた場合等のように呈示画像情報(例えば表示する矢印)と外界情報(前方の道に関する情報)との傾きが空間的に一致しない時に観察者に与える、強い違和感を軽減する事ができる。
【0151】
なお、既に説明したように、仮想空間VS内において表示オブジェクト180を回転、すなわち、角度を変えると、それに伴い仮想空間VS内における表示オブジェクト180の位置は変化させることができる。
【0152】
図10は、本発明の第1の実施形態に係る車載用表示システムの動作を例示する模式図である。
図10に表したように、車載用表示システム10においては、まず、角度情報取得部401の車両軸角検出部402により、車両730の軸に関するデータを検出する(ステップS402a)。そして、検出された車両730の軸に関するデータに対し、ローパスフィルタ処理が行われ(ステップS402b)、車両730の軸に関するデータから、車両730の振動などによるノイズを除去し、車両730の軸の角度に関する車両角度情報402dが得られる。
【0153】
この車両角度情報402dは、映像投影部115に提供される。すなわち、映像投影部115の例えば映像生成部130に提供される。
【0154】
映像生成部130では、所定の表示オブジェクト180として例えば矢印310を含む映像データを生成する(ステップS130a)。そして、角度情報取得部401から提供された車両角度情報402dに基づいて、表示オブジェクト180である矢印310を仮想空間VS内で回転させて映像データを補正する(ステップS130b)。
その結果、映像DI内における表示オブジェクト180の形状、大きさ及び位置の少なくともいずれかが変えられる。
また、仮想空間VSを使わず、映像DI内において、例えば、予め格納された各種の角度に対応する表示オブジェクト180のデータを基に、表示オブジェクト180のデータを補正しても良い。
【0155】
そして、補正された映像データが、映像形成部110に提供され、映像形成部110は表示オブジェクト180である例えば矢印310を含む映像DIを形成する(ステップS110a)。
【0156】
そして、投影部120は、形成された映像DIを、観視者100の片目101に投影する(ステップS120a)。
【0157】
このように、本実施形態に係る車載用表示システム10は、車両730の車体に例えば傾斜センサが設けられており、これによって車両730の傾斜等の姿勢と方向を検知し、この情報を映像投影部115の画像処理装置に伝達する。画像処理装置は、この車体の傾斜に関する情報に基づき、HUD上に表示する映像を回転させ、車体の傾斜に伴う像ずれを補正するように表示を行う。これにより、車両の姿勢及び方位と背景との傾きの差による違和感を低減した単眼式の車載用表示システムが提供できる。
【0158】
もし、表示オブジェクト180を補正しない場合は、車両730の傾きによって背景に対して傾いた方向に映像が重畳される。観視者100は視空間に対して垂直・水平の方向感覚を保つので、表示映像は知覚視空間に対して傾き、観視者100は視覚的な違和感を覚えるだけではなく、表示映像が示す空間的位置を誤認する可能性がある。これに対し、車載用表示システム10によれば、表示オブジェクト180を補正することで、表示オブジェクト180の視空間における背景との不一致を低減できる。
【0159】
上記において、車両軸角検出部402は、例えば車両730のピッチ、ロール及びヨーの少なくともいずれかに関する車両の軸を検出すれば良い。そして、本具体例では、車両軸角検出部402は、角度情報取得部401の内部に設けられているが、本発明はこれに限らない。例えば、車両軸角検出部402は、角度情報取得部401とは別に設けられても良く、車両730に設けられることができる。
【0160】
さらに、車両軸角検出部402は、車両730の外部に設けられ、車両730の外部に設けられた車両軸角検出部402によって検出された車両730の軸に関する車両角度情報402dを、例えば無線などの通信手段によって角度情報取得部401が取得しても良い。例えば、道路に設けられる各種のセンサや通信衛星などによって、車両730の軸の方向が検出され、その検出結果を車両730の車両角度情報402dとして取得しても良い。
【0161】
例えば、車両730のヨー角θyは、例えばGPS(Global Positioning System)等によって比較的高い精度で検出されることができ、これをGPS受信装置等によって取得するができる。このように、車両730の軸に関するデータは、車両730内に設けられたセンサによって検出されても良く、車両730とは別に設けられた検出部によって検出されても良い。少なくとも、車載用表示システム10においては、角度情報取得部401が、これらから、車両730の軸の角度に関する車両角度情報402dの少なくとも一部を取得できれば良い。
【0162】
(第2の実施の形態)
図11は、本発明の第2の実施形態に係る車載用表示システムの構成を例示する模式図である。
図11に表したように、本発明の第2の実施形態に係わる車載用表示システム20においては、角度情報取得部401において、車両軸角検出部402が設けられておらず、外界角度情報取得部410が設けられている。これ以外は、車載用表示システム10と同様とすることができるの説明を省略する。なお、同図においては、観視者位置検出部210及び制御部250の図示が省略されているが、車載用表示システム20もこれらをさらに備えることができ、同様の動作を行うことができる。
【0163】
外界角度情報取得部410は、車両730において観視者100が搭乗する空間の外側の外界における背景物520の角度に関する外界角度情報を取得する。本具体例では、外界角度情報取得部410は、車両730の位置を取得する車両位置取得部411と、例えば車両730の外界の情報を格納する外界情報格納部412と、を有する。
【0164】
車両位置取得部411には、例えばGPS受信装置等を用いることができる。また、道路や交差点等に設けられた各種のマーカーやITS(Intelligent Transport Systems)等によって車両730の位置を検出する装置など任意の装置を用いることができる。すなわち、例えば、任意のホストから車両730の位置を特定できる情報を取得する装置を車両位置取得部411に用いることができる。
【0165】
一方、外界情報格納部412は、道及び交差点等の形状、配置、大きさ、勾配、傾斜及び方位等の情報を含む地形や地図等の、車両730の外界の情報を格納する。なお、外界の情報としては、道等に関するものだけでなく、山、川及び田畑等のように道以外のもの、並びに建造物等に関する情報も含むことができる。
【0166】
そして、外界角度情報取得部410は、車両位置取得部411によって取得された車両730の位置と、外界情報格納部412に格納された車両730の外界の情報に基づいて、車両730の外界における背景物520の角度に関する外界角度情報を取得する。
【0167】
背景物520の軸の角度は、例えば、道の登り下りの角度、左右方向の傾きの角度、及び、方位方向の角度とすることができる。
すなわち、背景物520の軸の角度は、車両730の進路の前方の道530の表示オブジェクト180のターゲットの位置521における、道530の延在方向に沿った方向における勾配の角度(後述する勾配角θp1)、道530の延在方向に対して直交する左右方向に沿った方向における傾斜の角度(後述する左右傾斜角θr1)、及び、道530の延在方向の方位の角度(後述する方位角θy1)、の少なくともいずれかを含む。
【0168】
まず、道の勾配、すなわち、登り下りについて説明する。
図12は、本発明の第2の実施形態に係る車載用表示システムが適用される外界の状態を例示する模式図である。
すなわち、同図は車載用表示システム10が搭載されている車両730の進路前方の外界の3種類の状態を例示しており、車両730と道530とを車両730の側方から見た時の図である。そして、この例では、道530は、道530の左右方向において、水平とする。
【0169】
図12(a)に表したように、車両730が走行または駐停車している場所が水平であり、矢印310が対応するターゲットの位置521においても道530は水平である時は、x軸、y軸及びz軸と、x1軸、y1軸及びz1軸と、は、それぞれ平行であり、それぞれの軸の方向は一致する。
【0170】
一方、図12(b)に表したように、車両730が走行または駐停車している場所が水平であり、前方の道530が登り坂である場合は、鉛直方向を基準にすると、x1軸及びz1軸は、y1軸を中心にして回転する。この回転の角度を勾配角θp1とする。この例では、この回転は半時計回りの回転であり、勾配角θp1は正とする。
【0171】
この時、もし、矢印310に対応する表示オブジェクト180を補正しないで映像DI内に配置すると、補正前矢印310bは道530の中に埋め込まれたように見え不自然であるが、本実施形態に係る車載用表示システム10では、表示オブジェクト180を仮想空間VS内において反時計回りに回転させ、映像DI内に生成するので、補正後の補正後矢印310aが道530に沿うように知覚され、違和感がない自然な映像を呈示できる。
【0172】
一方、図12(c)に表したように、車両730が走行または駐停車している場所が水平であり前方の道530が下り坂である場合も、x1軸及びz1軸は、y1軸を中心にして回転する。この例では、この回転は時計回りの回転であり、勾配角θp1は負とする。
【0173】
この時、もし、矢印310に対応する表示オブジェクト180を補正しないで映像DI内に配置すると、補正前矢印310bは道530の上空に浮いて見え不自然であるが、本実施形態に係る車載用表示システム10では、表示オブジェクト180を仮想空間VS内において時計回りに回転させ、映像DI内に生成するので、補正された補正後矢印310aが道530に沿うように知覚され、違和感がない自然な映像を呈示される。
【0174】
次に、道の左右方向の傾きについて説明する。
図13は、本発明の第2の実施形態に係る車載用表示システムが適用される外界の別の状態を例示する模式図である。
すなわち、同図は車載用表示システム10が搭載されている車両730の進路前方の外界の3種類の状態を例示しており、車両730と道530とを車両730の後方から見た時の図である。そして、この例では、道530の延在方向に関しての勾配、すなわち、登り下りはなく、車両730から見て近傍のターゲットの位置523においては、道は左右水平であり、車両730から見て遠方であるターゲットの位置522では、道530は左右方向に傾斜している例である。
【0175】
そして、図13(a)、(b)及び(c)は、車両730と道530とを模式的に例示している。そして、図13(d)、(e)及び(f)は、それぞれ図13(a)、(b)及び(c)に対応する図であり、道530と、それに重ねて表示される表示オブジェクト180である矢印310と、を例示している。なお、図13(d)、(e)及び(f)においては、車両730から見て遠方のターゲットの位置522に対応する矢印310及び補正後矢印310aと、車両730から見て近傍のターゲットの位置523における矢印311が例示されている。
【0176】
図13(a)に表したように、前方の道530が近傍及び遠方において左右水平である場合は、ターゲットの位置522及び523において、道の軸に対応するx1軸、y1軸及びz1軸は、それぞれ車両の軸に対応するx軸、y軸及びz軸に対してそれぞれ平行であり、それぞれの軸の方向は一致する。
【0177】
そして、この時、図13(d)に表したように、近傍のターゲットの位置523において矢印311が補正されず、そして、遠方のターゲットの位置522においても矢印310は補正されない。
【0178】
一方、図13(b)に表したように、車両730から見て近傍のターゲットの位置523においては、道530は左右水平であり、車両730から見て遠方であるターゲットの位置522では、道530は右部に対して左部が低くなる左右方向の傾斜を有している。
【0179】
この時、近傍のターゲットの位置523ではx1軸、y1軸及びz1軸は、それぞれx軸、y軸及びz1軸に対してそれぞれ平行であるが、遠方のターゲットの位置522ではy1軸及びz1軸がx1軸を中心として回転し、y1軸及びz1軸が、それぞれy軸及びz軸からずれる。
【0180】
この場合は、図13(e)に表したように、近傍のターゲットの位置523においては、矢印311を補正せず、遠方のターゲットの位置522では矢印310を補正し、補正後矢印310aを生成する。例えば、遠方のターゲットの位置522において、y1軸及びz1軸の回転の角度を左右傾斜角θr1とする。この場合は、y1軸及びz1軸の回転の方向は半時計回りであり、左右傾斜角θr1は正とする。そして、遠方のターゲットの位置522においては、矢印310を仮想空間VS内において、左右傾斜角θr1の角度で同じ方向(正の方向)に回転させ、映像DI内に生成する。これにより、回転された補正後矢印310aが道530に沿うように知覚され、違和感がない自然な映像を呈示できる。
【0181】
また、図13(c)に表したように、車両730から見て近傍のターゲットの位置523においては、道530は左右水平であり、車両730から見て遠方であるターゲットの位置522では、道530は左部に対して右部が低くなる左右方向の傾斜を有している。例えば、遠方のターゲットの位置522において、y1軸及びz1軸の回転の方向は時計回りであり、左右傾斜角θr1は負である。
【0182】
この場合は、図13(f)に表したように、近傍のターゲットの位置523においては、矢印311を補正せず、遠方のターゲットの位置522では矢印310を仮想空間VS内において、左右傾斜角θr1の角度で同じ方向(負の方向)に回転させ、映像DI内に生成する。これにより、回転された補正後矢印310aが道530に沿うように知覚され、違和感がない自然な映像を呈示できる。
【0183】
次に、道の方位方向の角度の変化について説明する。
図14は、本発明の第2の実施形態に係る車載用表示システムが適用される外界の別の状態を例示する模式図である。
すなわち、同図は車載用表示システム10が搭載されている車両730の前方の道530の3種類の状態を例示しており、車両730及び道530を、車両730の上方から見た時の図である。そして、この例では、道530の進行方向に関しての傾斜(登り下り)や、左右方向に関しての傾斜はなく、道は水平である例である。
【0184】
図14(a)に表したように、ターゲットの位置521において、車両730の進行方向に対して道530が直進している場合は、車両730に対応するx軸、y軸及びz軸と、前方の道530に対応するx1軸、y1軸及びz1軸と、は、それぞれ平行であり、それぞれの軸の方向は一致している。そして、この時、矢印310は補正されなくても自然に見える。
【0185】
一方、図14(b)に表したように、道530の延在方向が、車両730の前方のターゲットの位置521において、左方向(上方から見て反時計周りの方向)である場合は、x1軸及びy1軸は、z1軸を中心にして回転する。この回転の角度を道の方位角θy1とする。この例では、この回転は反時計回りの回転であり、方位角θy1は正とする。
【0186】
この場合は、x1軸及びy1軸の回転に対応させて、矢印を仮想空間VS内において、方位角θy1の角度で同じ方向(正の方向)に回転させ、映像DI内に生成する。これにより、回転された補正後矢印310aが道530に沿うように知覚され、違和感がない自然な映像を呈示できる。
【0187】
また、図14(c)に表したように、道530の延在方向が、車両730の前方のターゲットの位置521において、右方向(上方から見て時計周りの方向)である場合は、x1軸及びy1軸は、z1軸を中心にして回転し、方位角θy1は負となる。
【0188】
この場合は、x1軸及びy1軸の回転に対応させて、矢印を仮想空間VS内において、方位角θy1の角度で同じ方向(負の方向)に回転させ、映像DI内に生成する。これにより、回転された補正後矢印310aが道530に沿うように知覚され、違和感がない自然な映像を呈示できる。
【0189】
なお、矢印310の仮想空間VS内における上記の勾配角θp1、左右傾斜角θr1及び方位角θy1に対応した回転は、例えば、図5、図7及び図9に関して説明した方法を採用することができる。すなわち、道530の軸である勾配角θp1、左右傾斜角θr1及び方位角θy1が変化する場合には、車両730の軸の角度であるピッチ角θp、ロール角θr及びヨー角θyが変化する場合のそれぞれに対して、角度の補正の方向を相対的に逆にすれば良い。そして、同様に仮想空間VS内における角度を変化させ、そして、映像DI内における表示オブジェクト180の形状、大きさ及び位置の少なくともいずれかを変化させれば良い。
これにより、例えば、道の登り下り、左右方向の傾き、及び、方位方向の少なくともいずれかを含む背景物520の軸を補正して、車両730の軸と一致させて表示することができる。これにより、車両の姿勢及び方位と背景との傾きの差による違和感を低減した単眼式の車載用表示システムが提供できる。
【0190】
なお、本具体例では、車載用表示システム20の角度情報取得部401に、車両位置取得部411である例えばGPS受信装置が設けられているが、本発明はこれには限らない。例えば、GPS受信装置等を有する車両位置取得部は、車載用表示システム20が搭載される車両730に設けられ、その車両位置取得部で取得された車両730の位置に関するデータを角度情報取得部401の外界角度情報取得部410で取得しても良い。
【0191】
また、本具体例では、車載用表示システム20の角度情報取得部401に、外界情報格納部412が設けられているが、本発明はこれには限らない。例えば、外界情報格納部は、車載用表示システム20が搭載される車両730に設けられ、その外界情報格納部に格納された外界情報に関するデータを用いても良い。さらに、外界情報格納部は、車載用表示システム20が搭載される車両730以外に設けられ、その外界情報格納部に格納された外界情報に関するデータを、角度情報取得部401の外界角度情報取得部410によって、例えば無線通信等の手法によって取得しても良い。
【0192】
なお、第1の実施形態に係る車載用表示システム10は、背景物520の軸、すなわち、勾配角θp1、左右傾斜角θr1及び方位角θy1が実質的に一定であり、車両730の軸の角度(ピッチ角θp、ロール角θr及びヨー角θy)が変化する場合において、有効に効果を発揮できる。一方、第2の実施形態に係る車載用表示システム20は、車両730の軸の角度が実質的に一定であり、背景物520の軸(すなわち、勾配角θp1、左右傾斜角θr1及び方位角θy1)が変化する場合において、有効に効果を発揮できる。
【0193】
このように、背景物520の軸と車両730の軸は独立して制御しても良いが、以下に説明するように、背景物520の軸と車両730の軸との相対的な角度の差に基づいて、表示オブジェクト180を制御することで、車両の姿勢及び方位と背景との傾きの差による違和感をより低減した単眼式の車載用表示システムが提供できる。
【0194】
(第3の実施の形態)
図15は、本発明の第3の実施形態に係る車載用表示システムの構成を例示する模式図である。
図15に表したように、本発明の第3の実施形態に係わる車載用表示システム30においては、角度情報取得部401が、車両軸角検出部402及び外界角度情報取得部410を有している。そして、車両軸角検出部402及び外界角度情報取得部410の出力を取得して背景物520の軸と車両730の軸との相対的な角度の差を導出する角度演算部415をさらに有している。これ以外は、車載用表示システム10と同様とすることができるので説明を省略する。
【0195】
車両軸角検出部402及び外界角度情報取得部410の動作は既に説明したものと同様である。車載用表示システム30においては、車両軸角検出部402で得られた車両730の軸の角度(ピッチ角θp、ロール角θr及びヨー角θy)と、外界角度情報取得部410で得られた背景物520の軸の角度(勾配角θp1、左右傾斜角θr1及び方位角θy1)と、に基づいて、角度演算部415においてそれらの相対的な角度の差を算出し、この角度の差に基づいて、その差を補正するように、表示オブジェクト180を仮想空間VS内で回転する。その結果、映像DI内における表示オブジェクト180の形状、大きさ及び位置の少なくともいずれかが変えられる。
また、仮想空間VSを使わず、映像DI内において、例えば、予め格納された各種の角度に対応する表示オブジェクト180のデータを基に、表示オブジェクト180のデータを補正しても良い。
【0196】
図16は、本発明の第3の実施形態に係る車載用表示システムの動作を例示する模式図である。
図16に表したように、車載用表示システム30においては、角度情報取得部401の車両軸角検出部402により、車両730の軸に関するデータを検出し(ステップS402a)、ローパスフィルタ処理が行われ(ステップS402b)、車両角度情報402dが得られ、車両角度情報402dは角度演算部415に出力される。
【0197】
一方、外界角度情報取得部410の車両位置取得部411により、GPS等に基づいて、車両730の現在の位置が取得される(ステップS411)。
そして、取得された車両730の現在の位置に基づいて、外界情報格納部412に格納されている道及び交差点等の形状や傾き等を含む、車両730の現在の位置に対応する外界の情報を読み出して取得する(ステップS412)。
そして、外界角度情報取得部410は、車両730の現在の位置に対応する外界の情報に基づいて、車両730の外界における背景物520の軸の角度に関する外界角度情報410dを取得(ステップS410a)し、外界角度情報410dを角度演算部415に出力する。外界角度情報410dは、既に説明した、例えば、道の登り下りの勾配角θp1、左右方向の傾きの左右傾斜角θr1及び方位角θy1である。
【0198】
そして、角度演算部415では、車両角度情報402d及び外界角度情報410dから、車両730の軸に関する角度(ピッチ角θp、ロール角θr及びヨー角θy)と、背景物520の軸の角度(道の登り下りの勾配角θp1、左右方向の傾きの左右傾斜角θr1及び方位角θy1)と、の相対的な角度の差を、軸差データ401dとして算出する(ステップS415)。
そして、この軸差データ401dは、映像投影部115に提供される。すなわち、映像投影部115の例えば映像生成部130に提供される。
【0199】
映像生成部130では、所定の表示オブジェクト180として例えば矢印310を含む映像データを生成する(ステップS130a)。そして、角度情報取得部401から提供された軸差データ401dに基づいて、表示オブジェクト180である矢印310を仮想空間VS内で回転させて映像データを補正する(ステップS130b)。
その結果、映像DI内における表示オブジェクト180の形状、大きさ及び位置の少なくともいずれかが変えられる。
また、仮想空間VSを使わず、映像DI内において、例えば、予め格納された各種の角度に対応する表示オブジェクト180のデータを基に、表示オブジェクト180のデータを補正しても良い。
【0200】
そして、補正された映像データが、映像形成部110に提供され、映像形成部110は表示オブジェクト180である例えば矢印310を含む映像DIを形成する(ステップS110a)。
【0201】
そして、投影部120は、形成された映像DIを、観視者100の片目101に投影する(ステップS120a)。
【0202】
このように、本実施形態に係る車載用表示システム30は、車両軸角検出部402で得られた車両730の軸の角度と、外界角度情報取得部410で得られた背景物520の軸の角度と、の相対的な角度の差に基づいて、その差を補正するように、表示オブジェクト180を補正する。これにより、車両の姿勢及び方位と背景との傾きの差による違和感をより低減した単眼式の車載用表示システムが提供できる。
【0203】
図17は、本発明の第3の実施形態に係る車載用表示システムの動作を例示する模式図である。
すなわち、図17(a)は、車両730の軸が前後左右方向に水平であり、前方の道において登り下りの傾斜がある場合、すなわち、図12(b)に例示した状態における車載用表示システム30の動作を例示している。一方、図17(b)は、車両730がロールしている場合、すなわち、図6(b)に例示した状態における車載用表示システム30の動作を例示している。なお、図17(b)では、車両730のロールに合わせて、車両730から見た時の前方の背景を回転して例示している。
【0204】
図17(a)に表したように、前方の道は、登り下りの傾斜を有しており、表示オブジェクトである矢印のターゲットの位置521においては登りの傾斜を有している。この時、図12(b)において既に説明したように、水平方向を向いている補正前矢印310bから上方に回転された補正後矢印310aに補正される。これにより、図17(a)に表したように、道の勾配に沿って補正後矢印310aが上方を向き、補正後矢印310aは自然に知覚される。
【0205】
一方、図17(b)に表したように、車両730が時計回りにロールしている場合、車両730の左右の軸(y軸)と、前方の道の左右の軸(y1軸)と、がずれる。この時、図7(b)及び(e)に関して説明したように、車両730のロール角θrに合わせて、左右水平方向の補正前矢印310bから補正後矢印310aに反時計回りに回転して補正される。これにより、図17(b)に表したように、車両730がロールしていた場合においても、補正後矢印310aは道にそって表示され、補正後矢印310aは自然に知覚される。
【0206】
図18は、比較例の車載用表示システムの動作を例示する模式図である。
比較例の車載用表示システムは、角度情報取得部401が設けられていないものである。従って、車両の姿勢及び方位と背景とで傾きにずれが合った場合においても、表示オブジェクトは補正されない。
【0207】
そして、図18(a)及び(b)は、図17(b)に例示した車両730がロールしている場合の比較例における表示の例である。同図(a)は、背景の道を基準にして図示しており、背景の道が紙面の縦方向に沿うように図示されている。一方、同図(b)は、同じ車両730の状態を、ロールしている車両730を基準にして図示しており、車両730の軸が紙面の縦方向に沿うように図示されている。
なお、この場合も、ターゲットの位置521においては前方の道は上りの勾配を有している。
【0208】
図18(a)に表したように、比較例の車載表示システムにおいては、前方の道が登りで車両730がロールしている場合においても、これらを反映した補正が行われないので、矢印310は、前方の道の登り坂に突き刺さされ埋め込まれるように知覚される。それと同時に、車両730のロールに伴い、矢印310は左右に傾いて知覚される。このように、比較例の場合は、矢印310は不自然に知覚される。
【0209】
そして、18(b)に表したように、ロールしている車両730を基準にしてみると、前方の道が左右に傾いて見える。そして、矢印310は道に突き刺さされて埋め込まれて見える。すなわち、矢印310が水平であり、矢印310は道に沿ってはおらず、矢印310は不自然に知覚される。
【0210】
このように、比較例の場合は、矢印310が不自然に知覚され、見難いだけでなく、観視者100である運転者への負担を大きくし、場合によっては運転の安全度に悪影響を与える可能性がある。
【0211】
これに対して、本実施形態に係る車載用表示システム30によれば、車両の姿勢及び方位と背景との傾きの差による違和感を低減し、見やすく安全度の高い、単眼式の車載用表示システムが提供できる。
【0212】
なお、本具体例では、上記において、角度演算部415は角度情報取得部401の内部に設けられているが、本発明はこれに限らない。例えば、角度演算部415は、映像投影部115に設けても良い。具体的には、例えば、映像投影部115の映像生成部130の内部に角度演算部415を設け、車両位置取得部411により取得された車両角度情報402d及び外界角度情報取得部410により取得された外界角度情報410dを、映像生成部130の内部の角度演算部415に入力しても良い。
【0213】
図19は、本発明の第3の実施形態に係る別の車載用表示システムの構成を例示する模式図である。
図19に表したように、本発明の第3の実施形態に係わる別の車載用表示システム31においても、角度情報取得部401が、車両軸角検出部402及び外界角度情報取得部410を有している。なお、この場合も角度演算部415が角度情報取得部401に設けられている。なお、同図においては、観視者位置検出部210及び制御部250が省略されているが、車載用表示システム20もこれらをさらに備えることができ、同様の動作を行うことができる。
【0214】
車載用表示システム31においては、外界角度情報取得部410は、車両730の前方の外界の背景の情報を検出する外界情報検出部420を有している。本具体例では、外界情報検出部420は、外界撮像部421(カメラ)と、外界撮像部421で撮像した画像を画像解析する画像解析部422と、画像解析部422で解析された画像から、道路や交差点の形状、勾配、傾斜及び方位等に関する各種の情報を抽出し、外界の情報を生成する外界情報生成部423と、を有している。
【0215】
外界撮像部421は、例えば、時々刻々と変化する車両730の前方をリアルタイムで撮像する。これにより、車両730の外界における背景物520の軸の角度に関する外界角度情報410dがリアルタイムで取得できる。
【0216】
車載用表示システム31においては、車両軸角検出部402で得られた車両730の軸の角度(ピッチ角θp、ロール角θr及びヨー角θy)と、外界角度情報取得部410でリアルタイムに得られた背景物520の軸の角度(道の登り下りの勾配角θp1、左右方向の傾きの左右傾斜角θr1及び方位角θy1)と、に基づいて角度演算部415においてそれらの相対的な角度の差を算出し、この差に基づいて、その差を補正するように、表示オブジェクト180を仮想空間VS内で回転する。その結果、映像DI内における表示オブジェクト180の形状、大きさ及び位置の少なくともいずれかが変えられる。
また、仮想空間VSを使わず、映像DI内において、例えば、予め格納された各種の角度に対応する表示オブジェクト180のデータを基に、表示オブジェクト180のデータを補正しても良い。
【0217】
本実施形態に係る別の車載用表示システム31によれば、リアルタイムで前方の情報を取得することで、車両の姿勢及び方位と背景との傾きのずれをリアルタイムで取得し、これによる違和感を低減した単眼式の車載用表示システムが提供できる。
図20は、本発明の第3の実施形態に係る別の車載用表示システムの動作を例示する模式図である。
図20に表したように、車載用表示システム31においては、角度情報取得部401の車両軸角検出部402により、車両730の軸に関するデータを検出し(ステップS402a)、ローパスフィルタ処理が行われ(ステップS402b)、車両角度情報402dが得られ、車両角度情報402dは角度演算部415に出力される。
【0218】
一方、外界角度情報取得部410の外界情報検出部420において、まず、外界撮像部421により車両730の外界を撮像する(ステップS421)。そして、必要に応じて撮像された外界の画像のデータがフィルタ処理される(ステップS420a)。これにより、例えば外界情報検出部420が搭載される車両730の振動などによるノイズ成分を除去する。
そして、フィルタ処理された外界の画像データを、画像解析部422により画像解析する(ステップS422)。
そして、外界情報生成部423により、解析された画像から、道路や交差点の形状、勾配、傾斜及び方位等に関する各種の情報を抽出し、外界の情報を生成する(ステップS423)。
そして、この外界の情報から、外界角度情報410dが取得される(ステップS410a)。そして、外界角度情報410dは角度演算部415に出力される。
【0219】
以下、角度演算部415、映像生成部130、映像形成部110、映像形成部110、及び投影部120の動作は既に説明したものと同様なので説明を省略する。
【0220】
このように、本実施形態に係る車載用表示システム31は、車両軸角検出部402で得られた車両730の軸の角度と、外界角度情報取得部410でリアルタイムに得られた背景物520の軸の角度と、の相対的な角度の差に基づいて、その差を補正するように、表示オブジェクト180を補正する。これにより、車両の姿勢及び方位と背景との傾きの差による違和感をより低減した単眼式の車載用表示システムが提供できる。
【0221】
なお、外界撮像部421には、単体のカメラ(単眼のカメラ)を用いても良く、また、複数のカメラを有するステレオカメラを用いても良い。ステレオカメラを用いた場合には、奥行き方向における背景の情報をより精度高く取得することができる。
【0222】
また、外界撮像部421は、外界の情報として、道等の地形だけではなく、車両730の進路前方を走行する先行車両がある場合には、その先行車両の像を撮像して、これに基づいて、外界の情報を取得しても良い。これにより、より精度の高い外界の情報が取得でき、外界の背景物520の軸に関するデータをより精度良く取得することができる。
【0223】
また、外界角度情報取得部410に、上記の外界情報検出部420と同時に、既に説明した車両位置取得部411(例えばGPS等)及び外界情報格納部412を同時に設けても良い。これにより、より精度の高い外界の情報が高速で得られ、また、外界情報検出部420におけるデータの処理を軽減することができる。また、既に説明したように、車載用表示システムとは別に設けた車両位置取得部411及び外界情報格納部412と、上記の外界情報検出部420と、を組み合わせて動作させても良い。
【0224】
なお、本具体例では、角度情報取得部401が、車両軸角検出部402と、外界情報検出部420を有する外界角度情報取得部410と、を有している例であるが、場合によっては、角度情報取得部401は外界情報検出部420を有する外界角度情報取得部410のみを有していても良い。この場合は、第2の実施形態に係る車載用表示システム20のように、車両730の軸の角度が実質的に一定であり、背景物520の軸(すなわち、道の登り下りの勾配角θp1、左右方向の傾きの左右傾斜角θr1及び方位角θy1)が変化する場合において、有効に効果を発揮できる。
【0225】
図21は、本発明の第3の実施形態に係る別の車載用表示システムの構成を例示する模式図である。
図21に表したように、本発明の第3の実施形態に係わる別の車載用表示システム32においても、角度情報取得部401が、車両軸角検出部402及び外界角度情報取得部410を有している。なお、この場合も角度演算部415が角度情報取得部401に設けられている。なお、同図においては、観視者位置検出部210及び制御部250が省略されているが、車載用表示システム32もこれらをさらに備えることができ、同様の動作を行うことができる。
【0226】
車載用表示システム32においては、外界角度情報取得部410は、車両位置取得部411と、車両730の外部に設けられるホスト600と通信可能な通信部430と、を有している。
【0227】
車両位置取得部411には、例えばGPS受信装置等を用いることができ、その動作についての説明は省略する。
一方、通信部430には、例えば各種の無線装置を用いることができる。
ホスト600には、道や地形などに関する各種のデータが格納されている。ホスト600に格納される各種のデータは、予め保管されたデータの他に、車両730やそれとは別の車両から道や地形や交通状況などに関するデータが時々刻々と発信され、これを受信したものを追加して、また修正して保管しても良い。
そして、ホスト600と通信部430とは、例えば、地上の道や交差点に設けられる各種の基地局や衛星などに設けられる衛星局などを介して通信することができる。
【0228】
例えば、車両位置取得部411によって取得された車両730の現在位置に基づいて、それに対応する車両730の外界の各種の情報を、通信部430を介してホスト600から取得する。
【0229】
そして、これにより、外界角度情報取得部410は、車両位置取得部411によって取得された車両730の位置と、ホスト600から取得した車両730の外界の情報に基づいて、車両730の外界における背景物520の軸の角度に関する外界角度情報410dを取得する。
【0230】
図22は、本発明の第3の実施形態に係る別の車載用表示システムの動作を例示する模式図である。
図22に表したように、車載用表示システム32においては、角度情報取得部401の車両軸角検出部402により、車両730の軸に関するデータを検出し(ステップS402a)、ローパスフィルタ処理が行われ(ステップS402b)、車両角度情報402dが得られ、車両角度情報402dは角度演算部415に出力される。
【0231】
一方、外界角度情報取得部410の車両位置取得部411により、GPS等に基づいて、車両730の現在の位置が取得される(ステップS411)。
そして、取得された車両730の現在の位置に基づいて、通信部430は、図示しないホスト600から、車両730の現在の位置に対応する外界の情報を取得する(ステップS430)。
そして、外界角度情報取得部410は、車両730の現在の位置に対応する外界の情報に基づいて、車両730の外界における背景物520の軸の角度に関する外界角度情報410dを取得(ステップS410a)し、外界角度情報410dを角度演算部415に出力する。
【0232】
以下、角度演算部415、映像生成部130、映像形成部110、映像形成部110、及び投影部120の動作は既に説明したものと同様なので説明を省略する。
【0233】
このように、本実施形態に係る車載用表示システム32は、車両軸角検出部402で得られた車両730の軸の角度と、外界角度情報取得部410の通信部430によってホスト600から取得した背景物520の軸の角度と、の相対的な角度の差に基づいて、その差を補正するように、表示オブジェクト180を補正する。これにより、車両の姿勢及び方位と背景との傾きの差による違和感をより低減した単眼式の車載用表示システムが提供できる。
【0234】
なお、車載用表示システム32の内部または、車載用表示システム32が搭載される車両730には、ナビゲーションシステムを設けることができる。この場合、ナビゲーションシステムによって作成された進行経路の道について、外界の情報を一括して、例えばホスト600から取得することができる。また、車両730の現在位置から所定の距離内における道についての外界の情報を、ある区切られた範囲のブロックごとに取得するようにしても良い。これにより、効率の高いデータ通信が可能になり便利である。
【0235】
図23は、本発明の第3の実施形態に係る別の車載用表示システムの構成を例示する模式図である。
図23に表したように、本発明の第3の実施形態に係わる別の車載用表示システム33においても、角度情報取得部401が、車両軸角検出部402及び外界角度情報取得部410を有している。なお、この場合も角度演算部415が角度情報取得部401に設けられている。なお、同図においては、観視者位置検出部210及び制御部250が省略されているが、車載用表示システム33もこれらをさらに備えることができ、同様の動作を行うことができる。
【0236】
車載用表示システム33においては、外界角度情報取得部410は、車両位置取得部411と、車載用表示システム33が搭載される車両730とは別の他車両730aと通信可能な車車間通信部431と、を有している。なお、他車両730aは、車両730の進路前方を進行する先行車両とすることができる。そして、他車両730aにも車車間通信部431が設けられており、他車両730aと車両730とは直接通信可能とされている。
【0237】
そして、他車両730aにも、車両軸角検出部402及び車両位置取得部411が設けられているものとする。これにより、他車両730aが進行するに従って、その他車両730aの位置に対応した他車両730aの軸の角度(ピッチ角θp、ロール角θr及びヨー角θy)に関するデータが取得される。他車両730aの軸の角度(ピッチ角θp、ロール角θr及びヨー角θy)は、道の勾配角θp1、左右傾斜角θr1、及び方位角θy1に対応すると見なすことができる。
【0238】
従って、他車両730aに設けられた車両軸角検出部402で得られた他車両730aの軸の角度(ピッチ角θp、ロール角θr及びヨー角θy)を、その位置の情報と伴に、他車両730aから取得することで、車両730における外界の情報を得ることができる。そして、このように、他車両730aから得られた外界の情報に基づいて、ターゲットの位置521における背景物520の軸の角度(勾配角θp1、左右傾斜角θr1及び方位角θy1)を求める。
【0239】
そして、既に説明したように、車両730の軸と、外界の軸と、に基づいて角度演算部415においてそれらの相対的な角度の差を算出し、この算出結果に基づいて、表示オブジェクト180を補正する。
【0240】
これにより、車両の姿勢及び方位と背景との傾きの差による違和感をより低減した単眼式の車載用表示システムが提供できる。
なお、他車両730aにより取得された他車両730aの車両の軸に関するデータが、一旦ホスト600に送信され、ホスト600を介して、他車両730aの車両の軸に関するデータを取得して、それに基づいて外界の背景物520の軸を求める場合は、既に説明した車載用表示システム32を用いれば良い。
【0241】
図24は、本発明の第3の実施形態に係る別の車載用表示システムの構成を例示する模式図である。
図24に表したように、本発明の第3の実施形態に係わる別の車載用表示システム34においても、角度情報取得部401が、車両軸角検出部402及び外界角度情報取得部410を有している。なお、この場合も角度演算部415が角度情報取得部401に設けられている。なお、同図においては、観視者位置検出部210及び制御部250が省略されているが、車載用表示システム34もこれらをさらに備えることができ、同様の動作を行うことができる。
【0242】
車載用表示システム34においては、外界角度情報取得部410は、受信装置432を有する。受信装置432には、送信機能と受信機能を有するものを用いることができ、この場合は、例えばレーダ装置などを用いることができる。これにより、車両730の例えば進路前方の道の形状、勾配、傾斜及び方位等の外界の情報を取得する。
【0243】
これに基づき、背景物520の軸の角度(勾配角θp1、左右傾斜角θr1及び方位角θy1)を求める。
そして、既に説明したように、車両730の軸と、外界の軸と、に基づいて角度演算部415においてそれらの相対的な角度の差を算出し、この算出結果に基づいて、表示オブジェクト180を補正する。
【0244】
これにより、車両の姿勢及び方位と背景との傾きの差による違和感をより低減した単眼式の車載用表示システムが提供できる。
また、車両730が走行している道に発信器などのマーカーが敷設されている場合は、そのマーカーから発信される信号を、受信装置432により受信することで、道の勾配、左右方向の傾斜及び方位(カーブ)等に関するデータを取得することができる。これを用いて背景物520の軸の角度を求めても良い。
【0245】
(第4の実施の形態)
図25は、本発明の第4の実施形態に係る車載用表示システムの構成を例示する模式図である。
図25に表したように、本発明の第4の実施形態に係る車載用表示システム40は、映像投影部115と角度情報取得部401と観視者位置検出部210とを備える。
【0246】
そして、角度情報取得部401は、車両軸角検出部402及び外界角度情報取得部410を有している。本具体例は、外界角度情報取得部410が、車両位置取得部411と外界情報格納部412とを有する例であるが、外界角度情報取得部410の構成は既に説明した任意の構成の少なくともいずれかを用いることができる。
【0247】
第1〜第3の実施形態に係る車載用表示システムにおいては、表示オブジェクト180の角度が、角度情報取得部401によって取得された車両角度情報402d及び外界角度情報410dの少なくともいずれかに基づいて変化させられたが、本実施形態に係る車載用表示システム40においては、表示オブジェクト180は、さらに、観視者100の位置(例えば片目101の位置)にも基づいて変化させられる。
【0248】
すなわち、既に図3に関して説明したように、仮想空間VS内において、仮想視点101aは任意の位置に配置され得る。第1〜第3の実施形態に係る車載用表示システムにおいては、この仮想視点101aが固定されている場合について説明した。仮想視点101aは、実空間内においては観視者100の片目101の位置に対応するが、車両730の内部において運転者である観視者100の位置は比較的固定されているので、片目101の位置は比較的固定されている。
【0249】
しかしながら、運転者の姿勢はある範囲に限られているとは言え、変化するので、片目101の位置も移動する。車載用表示システム40においては、片目101の位置を観視者位置検出部210によって検出し、この片目101の位置の変化に対応させ、仮想空間VS内における仮想視点101aの位置を変化させ、その変化に対応させて表示オブジェクト180である矢印310に対して角度の回転や位置の移動などの操作を行う。
【0250】
これにより、観視者100の片目101の位置が移動した場合においても、それを補正することができるので、車両の姿勢及び方位と背景との傾きの差、及び、観視者100の片目101の位置のずれによる違和感をより低減し、より見や易い単眼式の車載用表示システムが提供できる。
【0251】
なお、観視者100の片目101が移動する場合において、表示オブジェクト180の像が形成される虚像181の位置は、背景の中において、角度だけでなく、位置もずれるので、その両方を補正するように、表示オブジェクト180の角度と位置を補正することができる。
【0252】
なお、仮想視点101aが移動した場合の表示オブジェクト180の角度と位置の補正は、コンピュータグラフィックスの3次元レンダリングの手法を用いて実現することができる。
【0253】
なお、本具体例では、角度演算部415が角度情報取得部401内に設けられず、角度情報取得部401によって取得された車両角度情報402d及び外界角度情報410dが直接映像投影部115の映像生成部130に提供される。
【0254】
そして、例えば、映像生成部130の内部に角度演算部415に相当する部分(図示しない)が設けられ、これに対して、車両角度情報402d及び外界角度情報410dが入力される。そして、映像生成部130には、観視者位置検出部210で検出された観視者100の位置(例えば片目101の位置)に関するデータである観視者位置情報210dが入力される。これにより、映像生成部130において、車両角度情報402d、外界角度情報410d及び観視者位置情報210dの少なくともいずれかに基づいて、表示オブジェクト180の映像内における角度を変化させる。すなわち、仮想空間VS内において表示オブジェクト180を回転して角度を補正し、及び位置を移動して位置を補正する。
【0255】
なお、以上説明した観視者位置情報210dによって表示オブジェクト180を補正する動作は、観視者100の位置(例えば片目101の位置)を検出する観視者位置検出部210が備えられる場合において、既に説明した本発明の実施形態に係る車載用表示システムのいずれかにおいても適用できる。
【0256】
図26は、本発明の実施形態に係る車載用表示システムの動作を例示する模式図である。
すなわち、同図は、表示オブジェクト180である矢印310の車両730のピッチ角θpに伴う変形を例示している。ここでは、説明の簡単のために道は平坦の場合とする。
【0257】
図26に表したように、ピッチ角θp=0の場合の矢印310は、正面の方向を向いている。そして、矢印310は道の例えば50cm程度の上空に配置されるので、観視者100からに見て下方に見える。このため、矢印310の形状は、矢印310に対して手前側の上方から見た形状となっている。
【0258】
そして、ピッチ角θp=−5度、−10度p、−15度、−20度及び−25度にそれぞれ対応する矢印321a、321b、321c、321d及び321eでは、元の矢印310に対して、上向きに回転されている。すなわち、矢印の先が観視者100から見て手前側に配置されるように回転されている。そして、ピッチ角θp=5度、10度p、15度、20度及び25度にそれぞれ対応する矢印321f、321g、321h、321i及び321jでは、元の矢印310に対して、下向きに回転されている。
このような矢印321a〜321jの画像データを、補正後矢印310aの画像データとして用いることができる。
なお、車両730が水平であり、前方の道が登り下りを有している場合もこのような矢印321a〜321jが補正後矢印310aとして用いられる。
【0259】
図27は、本発明の実施形態に係る車載用表示システムの別の動作を例示する模式図である。
すなわち、同図は、表示オブジェクト180である矢印310の車両730のロール角θrに伴う変形を例示している。ここでは、説明の簡単のために道は平坦の場合とする。
【0260】
図27に表したように、ロール角θr=0の場合の矢印310は、左右水平の形状である。
そして、ロール角θr=−5度、−10度p、−15度、−20度及び−25度にそれぞれ対応する矢印322a、322b、322c、322d及び322eでは、元の矢印310に対して、反時計回りに回転されている。そして、ロール角θr=5度、10度p、15度、20度及び25度にそれぞれ対応する矢印322f、322g、322h、322i及び322jでは、元の矢印310に対して、時計回りに回転されている。
【0261】
このような矢印322a〜322jの画像データを、補正後矢印310aの画像データとして用いることができる。
なお、車両730が水平であり、前方の道が左右方向に傾斜を有している場合もこのような矢印322a〜322jが補正後矢印310aとして用いられる。
【0262】
図28は、本発明の実施形態に係る車載用表示システムの別の動作を例示する模式図である。
すなわち、同図は、表示オブジェクト180である矢印310の車両730のヨー角θyに伴う変形を例示している。ここでは、説明の簡単のために道は直進しているとする。
【0263】
図28に表したように、ヨー角θy=0の場合の矢印310は、正面の方向を向いている。
そして、ヨー角θy=−5度、−10度p、−15度、−20度及び−25度にそれぞれ対応する矢印323a、323b、323c、323d及び323eでは、元の矢印310に対して、上方から見て反時計回りに回転されている。そして、ヨー角θy=5度、10度p、15度、20度及び25度にそれぞれ対応する矢印323f、323g、323h、323i及び323jでは、元の矢印310に対して、時計回りに回転されている。
【0264】
このような矢印323a〜323jの画像データを、補正後矢印310aの画像データとして用いることができる。
なお、前方の道のターゲットの位置521において左右の方位の方向にカーブしている場合もこのような矢印323a〜323jが補正後矢印310aとして用いられる。
【0265】
そして、既に説明したように、矢印321a〜321j、矢印322a〜322j及び矢印323a〜323jの画像データは、矢印310を仮想空間VS内で回転させることで得られる。
【0266】
さらに、例えば、これらのような矢印321a〜321j、矢印322a〜322j及び矢印323a〜323jの画像データを予め格納しておき、これらの画像データから、所望の角度に対応するように、画像データを補間して、所望の角度に対応した画像データを得ることもできる。このようにすることで、コンピュータグラフィックスの3次元レンダリングの手法を用いなくても、2次元上の画像データに基づいて、比較的効率良く、高速に表示オブジェクト180の補正を実現することができる。
【0267】
上記の画像データは、例えば、映像生成部130に設けられる画像メモリ131に格納することができる。この際、画像データは、例えば画素ごとのデータとして格納されても良く、また、例えばベクトルデータとして格納されても良い。
【0268】
図29は、本発明の実施形態に係る車載用表示システムの変形例を例示する模式図である。
図29に表したように、変形例の車載用表示システム30aは、第3の実施形態に係る車載用表示システム30において、映像投影部115の構成を変形したものである。すなわち、映像投影部115において、映像形成部110及び投影部120の構成が変形されている。
【0269】
すなわち、映像形成部110としては、LEDバックライトを有するLCDが用いられている。そして、投影部120として、結像レンズ120a、発散角を制御するレンチキュラーレンズ120b、ミラー126及び非球面フレネルレンズ127が用いられている。
【0270】
このような構成を用いた場合においても、車載用表示システム30と同様に動作させることができる。また、映像形成部には例えば有機EL表示装置などのように自発光型の表示装置を用いても良い。
【0271】
なお、本具体例の映像形成部110と投影部120との組み合わせは、既に説明した本発明の実施形態に係る車載用表示装置のいずれかにおいても適用することができる。
このように、映像投影部115の構成は、任意の構成を採用することができる。
【0272】
(第5の実施の形態)
図30は、本発明の第5の実施形態に係る表示方法を例示するフローチャート図である。
図30に表したように、本実施形態に係る表示方法では、まず、観視者100が搭乗する車両730の軸の角度に関する車両角度情報402d、及び、車両730において観視者100が搭乗する空間の外側の外界における背景物520の軸の角度に関する外界角度情報410dの少なくともいずれかを取得する(ステップS10)。
【0273】
車両角度情報402dの取得には、例えば、既に説明した車両軸角検出部402を用いることができる。
また、外界角度情報410dの取得には、例えば、既に説明した外界角度情報取得部410を用いることができる。そして、外界角度情報取得部410には、既に説明したように、車両730の位置を取得する車両位置取得部411(例えばGPS受信装置)と、車両730の外界の情報を格納する外界情報格納部412と、を用いることができる。また、外界角度情報取得部410には、車両位置取得部411と、車両730の外部に設けられるホスト600と通信可能な通信部430と、を用いることができる。また、外界角度情報取得部410には、車両730とは別の他車両730aと通信可能な車車間通信部431を用いることができる。また、外界角度情報取得部410には、車両730の外界を撮像する外界撮像部421を有する外界情報検出部420を用いることができる。さらに、外界角度情報取得部410には、車両730の外界の地形を検出する受信装置432(例えばレーダ装置)を用いることができる。
【0274】
そして、取得した車両角度情報402d及び外界角度情報410dの少なくともいずれかに基づいて、表示オブジェクト180の映像DI内における角度を変化させる(ステップS20)。
この時、例えば、取得した車両角度情報402d及び外界角度情報410dに基づいて、例えば角度演算部415によって、車両730の軸の角度と、背景物520の軸の角度と、の相対的な差を算出し、この相対的な差に基づいて表示オブジェクト180の映像DI内における角度を変化させることができる。
【0275】
そして、角度が変化させられた表示オブジェクト180を含む映像DIを有する光束112を観視者100の片目101に向けて投影する(ステップS30)。
【0276】
これにより、車両の姿勢及び方位と背景との傾きの差による違和感を低減した単眼式の車載用に応用できる表示方法が提供できる。
【0277】
上記のステップS20において、例えば観視者位置検出部210によって観視者100の位置(例えば片目101の位置)を検出し、検出された観視者100の位置(例えば片目101の位置)にさらに基づいて、表示オブジェクト180の映像DI内における角度を変化させることができる。この時、例えば仮想空間VS内における仮想視点の位置を検出された片目101の位置とすることができる。これにより、片目101の位置が変化した際にも、その変化に対応して適正な表示オブジェクトの像を生成することができ、より自然な映像を呈示できる。
【0278】
また、上記のステップS30において、例えば、観視者位置検出部210によって検出された観視者100の位置(例えば片目101の位置)に基づき、例えば制御部250によって、映像投影部115を制御して、光束112の投影範囲と投影位置の少なくともいずれかを調整して、光束112を観視者100の片目101に向けて投影することができる。これにより、観視者100の頭部105が動いた際にも、その動きによる映像呈示位置と片目101の位置との外れがなくなり、実用的な観視範囲を広くすることが可能になり、より便利な表示方法を提供できる。
【0279】
なお、上記では、表示オブジェクト180として進路を示す矢印310を用いる場合について説明したが、これ以外に、表示オブジェクト180として、例えば、外界の任意の場所の番地等の位置情報511、及び、道路の名称や周辺の建物等の名称情報512等の任意の外界情報を用いても良い。この場合においても、外界の位置情報511や名称情報512等は、それらが対応する外界の背景物520のターゲットの位置に対応して表示され、この時、矢印310の場合と同様に、車両730の軸と背景物520の軸との相対的な角度の差に基づいて、表示オブジェクト180の映像内における角度を変化させる。例えば、地形にそってその番地を表示させることができ、また、道の延在する勾配、傾斜及び方位に沿ってその道の名称等を表示させることもでき、また、建造物等の形状に沿ってその建造物の名称等を表示することができ、これにより、違和感がなく自然な表示を提供できる。
【0280】
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、車載用表示システム及び表示方法を構成する各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
【0281】
その他、本発明の実施の形態として上述した車載用表示システム及び表示方法を基にして、当業者が適宜設計変更して実施し得る全ての車載用表示システム及び表示方法も、本発明の要旨を包含する限り、本発明の範囲に属する。
【0282】
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
【図面の簡単な説明】
【0283】
【図1】本発明の第1の実施形態に係る車載用表示システムの構成を例示する模式図である。
【図2】本発明の第1の実施形態に係る車載用表示システムの動作状態を例示する模式図である。
【図3】本発明の第1の実施形態に係る車載用表示システムにおける座標系を例示する模式図である。
【図4】本発明の第1の実施形態に係る車載用表示システムが適用される車両の状態を例示する模式図である。
【図5】本発明の第1の実施形態に係る車載用表示システムの動作を例示する模式図である。
【図6】本発明の第1の実施形態に係る車載用表示システムが適用される車両の別の状態を例示する模式図である。
【図7】本発明の第1の実施形態に係る車載用表示システムの別の動作を例示する模式図である。
【図8】本発明の第1の実施形態に係る車載用表示システムが適用される車両の別の状態を例示する模式図である。
【図9】本発明の第1の実施形態に係る車載用表示システムの別の動作を例示する模式図である。
【図10】本発明の第1の実施形態に係る車載用表示システムの動作を例示する模式図である。
【図11】本発明の第2の実施形態に係る車載用表示システムの構成を例示する模式図である。
【図12】本発明の第2の実施形態に係る車載用表示システムが適用される外界の状態を例示する模式図である。
【図13】本発明の第2の実施形態に係る車載用表示システムが適用される外界の別の状態を例示する模式図である。
【図14】本発明の第2の実施形態に係る車載用表示システムが適用される外界の別の状態を例示する模式図である。
【図15】本発明の第3の実施形態に係る車載用表示システムの構成を例示する模式図である。
【図16】本発明の第3の実施形態に係る車載用表示システムの動作を例示する模式図である。
【図17】本発明の第3の実施形態に係る車載用表示システムの動作を例示する模式図である。
【図18】比較例の車載用表示システムの動作を例示する模式図である。
【図19】本発明の第3の実施形態に係る別の車載用表示システムの構成を例示する模式図である。
【図20】本発明の第3の実施形態に係る別の車載用表示システムの動作を例示する模式図である。
【図21】本発明の第3の実施形態に係る別の車載用表示システムの構成を例示する模式図である。
【図22】本発明の第3の実施形態に係る別の車載用表示システムの動作を例示する模式図である。
【図23】本発明の第3の実施形態に係る別の車載用表示システムの構成を例示する模式図である。
【図24】本発明の第3の実施形態に係る別の車載用表示システムの構成を例示する模式図である。
【図25】本発明の第4の実施形態に係る車載用表示システムの構成を例示する模式図である。
【図26】本発明の実施形態に係る車載用表示システムの動作を例示する模式図である。
【図27】本発明の実施形態に係る車載用表示システムの別の動作を例示する模式図である。
【図28】本発明の実施形態に係る車載用表示システムの別の動作を例示する模式図である。
【図29】本発明の実施形態に係る車載用表示システムの変形例を例示する模式図である。
【図30】本発明の第5の実施形態に係る表示方法を例示するフローチャート図である。
【符号の説明】
【0284】
10、20、30、30a、31〜34、40 車載用表示システム
100 観視者
101 片目
101a 仮想的な視点(仮想視点)
105 頭部
110 映像形成部
112 光束
114 投影位置
114a 投影範囲
115 映像投影部
120 投影部
120a 結像レンズ
120b レンチキュラーレンズ
121 光源
122 テーパライトガイド
123 第1レンズ
124 可変アパーチャ
125 第2レンズ
126 ミラー
126a 駆動部
127 非球面フレネルレンズ
130 映像生成部
131 画像メモリ
180 表示オブジェクト
181 虚像
181a 虚像形成位置
210 観視者位置検出部
210d 観視者位置情報
211 撮像部
212 画像処理部
213 演算部
250 制御部
310 矢印
310a 補正後矢印
310b 補正前矢印
310d 下部
310l 左部
310r 右部
310u 上部
310v 軸
311 矢印
321a〜321j、322a〜322j、323a〜323j 矢印
401 角度情報取得部
401d 軸差データ
402 車両軸角検出部
402d 車両角度情報
410 外界角度情報取得部
410d 外界角度情報
411 車両位置取得部
412 外界情報格納部
415 角度演算部
420 外界情報検出部
421 外界撮像部
422 画像解析部
423 外界情報生成部
430 通信部
431 車車間通信部
432 受信装置
511 位置情報
512 名称情報
514 車両情報
520 背景物
521、522、523 ターゲットの位置
530 道
600 ホスト
710 フロントガラス
711 反射体
720 ダッシュボード
730 車両(移動体)
730a 他車両
DI 映像
VS 仮想空間
θir ロール補正角
θp ピッチ角
θp1 勾配角
θr ロール角
θr1 左右傾斜角
θy ヨー角
θy1 方位角

【特許請求の範囲】
【請求項1】
表示オブジェクトを有する映像を含む光束を観視者の片目に向けて投影する映像投影部と、
前記観視者が搭乗する車両の姿勢及び方位の少なくともいずれかの角度に関する車両角度情報、及び、前記車両の外界の背景における前記表示オブジェクトのターゲットの位置での背景物の角度に関する外界角度情報の少なくともいずれかを取得する角度情報取得部と、
を備え、
前記映像投影部は、前記角度情報取得部によって取得された前記車両角度情報及び前記外界角度情報の少なくともいずれかに基づいて、前記表示オブジェクトの前記映像内における角度を変化させることを特徴とする車載用表示システム。
【請求項2】
前記映像投影部は、前記車両の姿勢及び方向の少なくともいずれかの角度と、前記背景物の角度と、の相対的な差に基づいて、前記表示オブジェクトの前記映像内における角度を変化させることを特徴とする請求項1記載の車載用表示システム。
【請求項3】
前記背景物の角度は、前記車両の進路の前方の道における前記表示オブジェクトのターゲットの位置での、前記道の延在方向に沿った方向における勾配の角度、前記道の延在方向に対して直交する左右方向に沿った方向における傾斜の角度、及び、前記道の延在方向の方位の角度、の少なくともいずれかを含むことを特徴とする請求項1または2に記載の車載用表示システム。
【請求項4】
前記表示オブジェクトの前記映像内における前記角度は、前記映像に対応する仮想空間内における前記表示オブジェクトの3次元的な角度であることを特徴とする請求項1〜3のいずれか1つに記載の車載用表示システム。
【請求項5】
前記表示オブジェクトの前記映像内における前記角度は、前記観視者の前記片目の位置を前記仮想空間における仮想視点としたときの角度であることを特徴とする請求項4記載の車載用表示システム。
【請求項6】
前記映像投影部は、前記車両の姿勢及び方位の少なくともいずれかの角度及び前記背景物の角度の少なくともいずれかに対応する前記表示オブジェクトの画像データを格納する画像データ格納部をさらに有し、
前記映像投影部は、前記画像データ格納部に格納された前記画像データに基づいて、前記表示オブジェクトの前記映像内における前記角度を変化させることを特徴とする請求項1〜5のいずれか1つに記載の車載用表示システム。
【請求項7】
前記観視者の位置を検出する観視者位置検出部と、
前記観視者位置検出部によって検出された前記観視者の位置に基づいて、前記表示オブジェクトの前記映像内における前記角度と前記光束の投影範囲と投影位置との少なくともいずれかを調整する制御部と、
をさらに備えたことを特徴とする請求項1〜6のいずれか1つに記載の車載用表示システム。
【請求項8】
前記角度取得部は、前記外界角度情報を取得する外界角度情報取得部を有し、
前記外界角度情報取得部は、前記外界の情報を格納する外界情報格納部を有することを特徴とする請求項1〜7のいずれか1つに記載の車載用表示システム。
【請求項9】
前記映像投影部は、前記観視者に、前記光束を反射して前記観視者の片目に向けて投影する反射体を介して前記映像を観視可能とさせることを特徴とする請求項1〜8のいずれか1つに記載の車載用表示システム。
【請求項10】
観視者が搭乗する車両の姿勢及び方位の少なくともいずれかの角度に関する車両角度情報、及び、前記車両の外界の背景における前記表示オブジェクトのターゲットの位置での背景物の角度に関する外界角度情報の少なくともいずれかを取得し、
前記取得した前記車両角度情報及び前記外界角度情報の少なくともいずれかに基づいて、表示オブジェクトの映像内における角度を変化させ、
前記表示オブジェクトを含む前記映像を有する光束を前記観視者の片目に向けて投影することを特徴とする表示方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate


【公開番号】特開2010−156608(P2010−156608A)
【公開日】平成22年7月15日(2010.7.15)
【国際特許分類】
【出願番号】特願2008−334949(P2008−334949)
【出願日】平成20年12月26日(2008.12.26)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】