情報表示装置
【課題】実風景における位置と地図画像との対応関係をユーザに呈示する情報表示装置を提供することを目的とする。
【解決手段】情報表示装置(IDA、IDAr)において、実写画像取得部(1)は実写画像(IC)を取得し、地図情報記憶部(4)は地図情報(IG)を記憶すると共に地図画像(IM)を生成し、画像表示部(7、8)は実写画像(IC)及び地図画像(IM)を表示し、入力部(6)はユーザの動作に基づいて実写画像(IC)及び地図画像(IM)のいずれか一方に表示される構造物(Rc/Rg)の少なくとも1つを指定し、構造物対応関係取得部(5)は実写画像(IC)に表示される構造物と地図画像(IM)に表示される構造物との対応関係(ICb)を取得する。
【解決手段】情報表示装置(IDA、IDAr)において、実写画像取得部(1)は実写画像(IC)を取得し、地図情報記憶部(4)は地図情報(IG)を記憶すると共に地図画像(IM)を生成し、画像表示部(7、8)は実写画像(IC)及び地図画像(IM)を表示し、入力部(6)はユーザの動作に基づいて実写画像(IC)及び地図画像(IM)のいずれか一方に表示される構造物(Rc/Rg)の少なくとも1つを指定し、構造物対応関係取得部(5)は実写画像(IC)に表示される構造物と地図画像(IM)に表示される構造物との対応関係(ICb)を取得する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、実写画像と地図画像の間の対応関係を表示することによりユーザに地理的情報を教示する情報表示装置に関する。
【背景技術】
【0002】
従来、現在位置及びその周辺に関する地理的情報をユーザに教示するシステムの代表的な例として、様々な種類のカーナビゲーション装置が広く普及している。従来のカーナビゲーション装置においては、HDD(ハードディスク装置)やDVD等の記録媒体に地図画像と共に格納されている地図上の車両位置に関する周辺情報をディスプレイ上に表示することによりユーザに周辺の地理的情報を教示するものがある。
【0003】
さらに近年、ユーザが周辺情報をより直感的に理解できるよう、実写画像を利用して周辺の地理的情報をユーザに教示する検索型景観ラベリング装置が提案されている(特許文献1参照)。この検索型景観ラベリング装置は、実写画像上に構造物の名称等の地理的情報を重畳表示することによりユーザに周辺情報を教示する。
【0004】
そのために検索型景観ラベリング装置は、景観画像として実写画像を撮影する時にカメラの位置、角度、焦点距離、及び画像サイズ等の撮影条件情報を取得する。そして、所得した撮影条件情報に基づいて、コンピュータ上の三次元地図空間内で実風景撮影時の位置とカメラの角度と焦点距離から眺望した場合のCG画像を作成することにより、景観画像中の構造物とCG画像中の構造物の対応付けを行い、景観画像の構造物に地理的情報を付与する。
【特許文献1】特開平11−66350号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上述のカーナビゲーションシステムにおいては、実風景の構造物と地図に示される構造物の間の対応関係をユーザが容易に認識できることが非常に望ましい。具体的に言えば、自動車を運転するドライバが、目の前に見えている実風景から得られる目視情報と、地図画像により得られる道路やビルなどの構造物の相対的な位置情報を比較して、実風景上の構造物と地図上の構造物の対応関係を把握することにより所定の目的地への運転が容易となる。
【0006】
しかしながら、検索型景観ラベリング装置を組み込んだカーナビゲーションシステムにおいては、ユーザが二次元である地図画像上の任意の位置と、三次元画像である実風景における任意の対象物との関係を正しく認識することは容易ではない。さらに、実際に車を運転中のドライバや同乗者が、地図画像と実風景が車の移動につれて逐次変化する状態ではなおさら困難である。
【0007】
上述の問題に鑑みて、本発明は、実風景における位置と地図画像との対応関係をユーザに呈示する情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明は、
実写画像を取得する実写画像取得手段と、
地図情報を記憶する地図情報記憶手段と、
前記地図情報に基づいて地図画像を生成する手段と、
前記実写画像及び前記地図画像を表示する画像表示手段と、
ユーザの動作に基づいて、前記実写画像及び前記地図画像のいずれか一方に表示される構造物の少なくとも1つを指定する入力手段と、
前記実写画像に表示される構造物と、前記地図画像に表示される構造物との対応関係を取得する構造物対応関係取得手段とを備え、
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方に表示されている構造物が指定された時に、他方に表示されている構造物の内で、当該指定された構造物に対応する構造物を強調表示することを特徴とする。
【発明の効果】
【0009】
本発明にかかる情報表示装置においては、ユーザが実写画像と地図画像のいずれか一方の構造物を指定すると、もう一方の画像中の対応する構造物が強調表示される。結果、ユーザは実風景を撮像した実写画像上の構造物と地図画像上の構造物間の対応関係、つまり実風景と地図との対応関係を容易に理解できる。
【発明を実施するための最良の形態】
【0010】
以下に、図面を参照して、本発明の実施の形態にかかる情報表示装置について説明する。なお、各図面においては視認性を考慮して、本発明の実施に特に重要でない要素は割愛されている。なお、情報表示装置について具体的に説明する前に、本発明の基本的な概念について説明する。本発明においては、カメラ等で実際に撮像される実写画像及び予め取得しておいた地図画像のそれぞれにおいて表示される任意の部分の対応関係を呈示することによって、ユーザが実風景と地図との対応関係を容易に理解できることを補助するものである。なお、本発明をカーナビゲーションシステムに適応した場合には、指定される任意の部分とは、建物や道路などの構造物あるいはその位置が当てはまる。
【0011】
(第1の実施の形態)
図1に示すように、本発明の第1の実施の形態にかかる情報表示装置IDAは、実写画像取得部1、位置情報取得部2、カメラ属性情報取得部3、地図情報記憶部4、構造物対応関係取得部5、入力部6、画像表示部7、及び制御部8を含む。実写画像取得部1は、実風景を撮像して実写画像データDIcを生成するカメラを含む。撮像される画像は、静止画であっても動画であってもよい。本実施の形態においては、カメラは自動車の前方を撮像するように取り付けられているものとする。なお、カメラによって撮影された実風景画像は実写画像データDIcとして出力される。なお、便宜上実写画像データDIcが表す実写風景画像を実写画像ICと称する。
【0012】
位置情報取得部2は、実写画像取得部1が実写画像を取得する際のカメラ位置を取得する、例えばGPS受信機である。つまり、カメラ位置は道路などを移動あるいは停止している車に搭載されているカメラの実際の位置を示すカメラ位置情報IPcを意味する。なお、GPS受信機とカメラの位置関係に基づいて、GPS受信機で得られた位置情報を補正してカメラ位置情報IPcとしてもよい。
【0013】
カメラ属性情報取得部3は、実写画像取得部1による実風景の撮像方向と撮像範囲を定めるパラメータであるカメラ属性情報IAcを取得する。カメラ属性情報IAcは、カメラ角(水平角、仰角)、焦点距離、及び画像サイズを含む。なお、撮像方向と撮像範囲が定まるものであれば、画角等の他のパラメータに基づいて、カメラ属性情報IAcを換算してもよい。また、カメラ属性情報IAcは、カメラに設定されている値を取得してもよ
いし、カメラに取り付けられた三次元コンパスによって取得してもよい。
【0014】
地図情報記憶部4は、例えばHDDやDVDなどの媒体に、予め準備された道路や施設の位置や名称等を表す地理的情報IGを格納する。なお、地理的情報IGには、構造物の高さ情報を含む三次元地図データDMtも含まれる。
【0015】
構造物対応関係取得部5は、制御部8を介して入力されるカメラ位置情報IPc、カメラ属性情報IAc、地理的情報IG、及びユーザ指示情報IIuに基づいて、実写画像中の構造物と地図画像中の構造物の対応付けを行い、構造物対応関係情報ICbを生成する。なお、後ほど図4を参照して、構造物対応関係取得部5について詳述する。
【0016】
入力部6は、ユーザの操作を受け付ける、例えば、タッチパネルやリモコンで構成される。入力部6は、さらに受け付けたユーザの操作に基づいて、ユーザの入力指示を表すユーザ指示情報IIuを生成する。
【0017】
画像表示部7は、制御部8を介して供給される画像データDIに基づいて、地図画像IMと実写画像ICとを表示する、例えばディスプレイである。画像表示部7が表示する地図画像IMは2D(二次元)地図であっても、3D(三次元)地図であってもよい。また、上述の入力部6は、画像表示部7の表示面上に設けられたタッチパネルとして構成される。
【0018】
図2に示すように、画像表示部7の画面は好ましくは、2分割されて地図画像IM及び実写画像ICがそれぞれ表示されている。上述のように、実写画像ICはユーザが搭乗している車に搭載された情報表示装置IDAの実写画像取得部1によって撮影された、進行方向前方の実風景である。そして、実写画像ICの左下部に、進行方向に対して左側に伸びる道路RcとのT字路が見える。
【0019】
なお、地図画像IMにおいて、符号Cは情報表示装置IDAが搭載された自車を示し、符号Rgは実写画像ICにおける道路Rcに対応する道路が表示されている。なお、図2を見れば、実写画像ICにおいて手前の建造物等で隠れている構造物等も含めて、地図画像IMには表示されることが分かる。
【0020】
図1に戻って、制御部8は、実写画像取得部1、位置情報取得部2、カメラ属性情報取得部3、地図情報記憶部4、構造物対応関係取得部5、及び入力部6から入力される実写画像データDIc、カメラ位置情報IPc、カメラ属性情報IAc、地理的情報IG、構造物対応関係情報ICb、及びユーザ指示情報IIuに基づいて、情報表示装置IDAの全体の動作を制御する。制御部8は、例えばCPUで構成される。
【0021】
次に、図4、及び図5を参照して、情報表示装置IDAが、ユーザの指定に対応する地図画像IM上の構造物を強調表示する場合の動作について説明を行う。なお、本動作は、ユーザが入力部6を操作して、画像表示部7の実写画像IC上に表示されている構造物中から、地図画像IM上の位置を確認したい構造物を指定した時点で開始する。そして、図4に示す処理を経て、地図画像IM上の対応する構造物の画像が点滅等によってユーザに対して表示される。
【0022】
図3に示すように、本例においては、実写画像IC上の道路Rcの部分をタッチすることによって、地図画像IMでの対応部分を表示させる対象として選択される。そして、その選択に応じて、地図画像IM上の道路Rgが点滅等によって対応していることが示される。なお、図3においては、作図上の都合により、道路Rgは黒塗りの状態で示されている。つまり、ユーザが実写画像ICの道路Rcの画像をタッチすることにより、構造物対応関係取得部5が構造物(道路Rc)の特定を行い、地図画像IM上の道路Rgを強調表示する。これにより、ユーザは実写画像IC中の構造物と地図画像IM中の構造物間の対応関係(実写上に写っている構造物が地図上のどの構造物に当たるか)を容易に認識することができる。
【0023】
図4を参照して、情報表示装置IDAにおける対応する構造物の強調表示処理について説明する。
上述のように、ユーザUが実写画像IC上の任意の部分をタッチすることによって選択した時点で強調表示処理が開始する。なお、本例においては、入力部6としてタッチパネルを用いているが、ユーザが実写画像IC上の任意の位置を特定できる手段であれば、リモコン等の手段であってもよい。
【0024】
ステップS2において、ユーザよるタッチパネル(入力部6)の実写画像IC上の特定の部分のタッチに対応して、入力部6からユーザ指示情報IIuが制御部8に出力される。そして、制御は次のステップS4に進む。
【0025】
ステップS4において、構造物対応関係取得部5は、制御部8から入力されるユーザ指示情報IIu、カメラ属性情報IAc(カメラ角、焦点距離、および画像サイズ)、及びカメラ位置情報IPcに基づいて、地理的情報IGより求められる三次元地図空間上で、カメラ位置とユーザが指示した点に対応する方向(以降、「指示方向ベクトル」と称す)を求める。そして、制御は次のステップS6に進む。
【0026】
ステップS6において、構造物対応関係取得部5は、ユーザが実写画像IC上で指示した構造物を特定して、構造物対応関係情報ICbを生成する。なお、上述のステップS4とS6は、第1の構造物特定ルーティン#10Aを構成している。そして、制御は次のステップS8に進む。
【0027】
ステップS8において、制御部8は構造物対応関係情報ICbに基づいて、地図画像IM上の特定された構造物を表す部分を強調表示させるべく画像データDIを生成する。画像表示部7は、画像データDIに基づいて、ユーザが実写画像IC上で特定した構造物に対応する地図画像IM上の特定された部分を点滅させる。そして、制御は終了する。なお、強調表示としては、点滅以外に、表示色や明るさ等の変化、輪郭の強調、対象物構造物の名称等の重畳表示、反転、彩色、及び照度の増減という光学的にユーザの注意を引く方法であれば何でもよい。つまり、これらに限らず、ユーザが実写画像IC上で指定した構造物と対応するものであることが認識できれば他のどのような手段を用いてもよい。反転、彩色、及び照度の増減という光学的に注意を引く方法であれば何でもよい。
【0028】
図5を参照して、上述の第1の構造物特定ルーティン#10A(ステップS4及びS6)によって実現される、構造物の特定方法について具体的に説明する。同図において、符号Qはユーザが指定する現実の構造物(本例においては道路)を示し、符号Scは実写画像取得部1のカメラ画面を示し、そして、符号Eはカメラ位置である視点を示している。同図に示すような三次元地図空間において、視点Eからカメラ角方向に焦点距離fだけ進んだ点Fを求め、そこに画像サイズに相当する横x縦yの平面(カメラ画面Sc)を視点Eと点Fを結んだ基準ベクトルVに垂直になるように設定する。
【0029】
そして、例えば、ユーザがカメラ画面Sc上の点Pを指示した時には、視点Eから点Pを結ぶ指示方向ベクトルViが三次元地図空間においてどの構造物を指しているかを求め、ユーザが指示した構造物Qを特定する。
【0030】
<第1の変形例>
次に、図6を参照して、上述の第1の実施の形態にかかる情報表示装置IDAの第1の変形例について説明する。本例においては、構造物特定方法のみが上述の第1の実施の形態にかかる情報表示装置IDAと異なる。図6に示すフローチャートは、図4に示したフローチャートにおけるステップS4およびS6をステップS3、S5、S7、及びS16で置き換えたものである。つまり、ステップS3、S5、S7、及びS16は、第2の構造物特定ルーティン#10Bを構成している。
【0031】
具体的には、第2の構造物特定ルーティン#10Bは以下の如く実行される。つまり、ステップS3において、図5に示した視点Eからカメラ画面の4隅の点を結ぶ半直線がつくる三次元空間が視野空間として設定される。なお、視野空間は理論上無限遠まで延びるが、視点から適当な距離だけ離れたところで打ち切ってもよい。そして、制御は次のステップS5に進む。
【0032】
ステップS5において、三次元地図空間において、視野空間内に存在する構造物が求められる。そして、制御は次のステップS7に進む。
【0033】
ステップS7において、求められた構造物が、図5に示すカメラ画面Scに投影する処理が実行される。投影処理を行う際には、視点Eから見た時の構造物の重なりを考慮して隠面処理を行い、視点Eから見える部分と他の構造物に遮られて見えない部分を分類する。隠面処理には、Zバッファ法、スキャンライン法、及び光線追跡法などの周知の手法を用いることができる。なお、投影処理は、視野空間全体に対しては行わず、ユーザが指定した位置の近傍のみを対象にして行うようにしてもよい。そして、制御は次のステップS16に進む。
【0034】
ステップS16において、実写画像ICに表示されている構造物と、視野空間内の構造物をカメラ画面Sc上に投影した画像(以下、「CG画像」と称す)上の構造物の対応付けを行うマッチング処理が実行される。マッチング処理は、実写画像IC及びCG画像のそれぞれにおいて、構造物ごとに分けられた領域に分割する領域分割処理を行い、次に、両者の領域の対応付けを、例えば、テンプレートマッチング法を用いて行う。なお、実写画像ICの領域分割は、エッジ検出及びラベリング処理等の周知の画像処理技術を用いて行うことができる。
【0035】
CG画像は、地図情報記憶部4に格納されている三次元地図データである地理的情報IGに基づいて作成されたものであるため、CG画像上の各領域がどの構造物に該当するかは既知である。したがって、マッチング処理により、実写画像IC中の構造物とCG画像中の構造物を対応付けることにより、実写画像IC中の構造物を特定できる。
【0036】
すなわち、ユーザが指定した実写画像IC上の位置がどの領域に属しているかを求めることにより、ユーザが指定した構造物を特定できる。これによって、構造物対応関係情報ICbが生成される。なお、上述の例では、実写画像IC及びCG画像の共に領域分割処理を行っているが、処理負荷軽減を図るために、CG画像で行った領域分割の結果をそのまま実写画像ICに割り付けてもよい。
【0037】
<第2の変形例>
図7を参照して、本発明の第1の実施の形態にかかる情報表示装置の第2の変形例について説明する。図7に示すフローチャートは、図6に示したフローチャートにおいてステップS2をステップS10の直前に移動させ、ステップS8を削除し、ステップS2と第2の構造物特定ルーティン#10Bの間に、実写画像上に補助表示を重畳するステップS17を新たに追加して構成されている。
【0038】
本変形例においては、ユーザによる実写画像IC上の対象物の指定(ステップS2)が実行されずに、第2の構造物特定ルーティン#10Bが実行される。この時点で、ユーザが実写画像IC上で指定可能な構造物が特定される。そして、制御はステップS17に進む。
【0039】
ステップS17において、特定された構造物に対し実写画像IC上で輪郭を強調するなどの補助表示が重畳されて、指定可能であることが示される。これにより、ユーザは実写画像IC上で構造物を指定する操作を容易に行うことができる。つまり、ユーザが構造物を指定する時点において、既に構造物の存在する領域が特定されているので、上述の実施の形態におけるように画面上の点を指定するという構造物の指定方法だけでなく、領域ごとに番号を付与しユーザがその番号を指定する、若しくは、リモコン等で領域を選択するといった構造物の指定方法が可能である。そして、制御は次のステップS2に進む。
【0040】
ステップS2において、ユーザが実写画像IC上で構造物を指定すると(S13)、既に構造物の対応付けは完了しているので、上述の構造物対抗関係情報生成ステップS8の処理を必要とすることなく、ステップS10において、該当する地図画像IM上の構造物が強調表示される。
【0041】
また、ユーザが実写画像IC中の構造物を指定する際に、実写画像IC中で他の構造物に一部若しくは全体が隠蔽されている構造物については、実写画像IC上に該当構造物が存在することを示す補助表示を重畳してもよい。この場合も、ユーザが構造物を指定する前に、第2の構造物特定ルーティン#10B(ステップS3〜S16)におけるのと同様の処理が行われる。しかし、投影処理での隠面処理において一部若しくは全体が、他の構造物の背後に在るとされた構造物については、スケルトン表示するなどの補助表示により実写画像IC上に該当構造物が存在することを示す。
【0042】
例えば、補助表示に対応付けて該当構造物指定用のボタンを設置することにより、ユーザがそれを選択できるようにする。これにより、ユーザは他の構造物に隠蔽されて見えなくなっている構造物についても容易に選択することができる。
【0043】
さらに、前方車両のような三次元地図に記憶されていない構造物を検出する障害物検出手段を備えていてもよい。この場合、画像認識やその他周知の障害物検出手段によって障害物の方向、距離、形状を検出し、それをカメラ画面上に投影することによって、実写画像IC上の障害物の範囲を求める。なお、障害物検出は、実写画像IC取得手段1で取得した画像を用いて行ってもよい。この場合には、検出した障害物をカメラ画面上に投影する処理は不要である。
【0044】
<第3の変形例>
次に、図8及び図9を参照して、第1の実施の形態にかかる情報表示装置の第3の変形例について説明する。本変形例においては、画像表示部7に表示される実写画像ICにおいては、障害物によって隠蔽されて実際には目視できない構造物をスケルトン表示などの補助表示することによって、実写画像IC上に該当構造物が存在することを示してユーザが容易に認識できることを図るものである。そのために、障害物を検出する手段が設けられている。
【0045】
図8は、図2と同様に画像表示部7の画面には地図画像IM及び実写画像ICがそれぞれ表示されている。しかしながら、実写画像ICにおいて、本来目視できる建造物Bc、手前の構造物、及び進行中の道路が、道路Rcを通行中の車両Vcに遮られて表示できない。そのために、点線で示すように建造物Bc、手前の構造物、及び進行中の道路が車両Vc中にスケルトン表示されている。結果、ユーザは車両Vcで遮られている建造物の存在を認識できる。
【0046】
そして、例えば、建造物Bcのスケルトン表示をユーザがタッチすることにより、地図画像IM上の建造物Bgが強調表示される。このように、ユーザは前方車両等の地図に記憶されていない障害物によって隠蔽されている構造物についても実写画像IC上で容易に選択することができる。
【0047】
(第2の実施の形態)
以下に、図9及び図10を参照して、本発明の第2の実施の形態にかかる情報表示装置について説明する。上述の第1の実施の形態にかかる情報表示装置IDAにおいては、画像表示部7に表示されている実写画像IC上の構造物を指定することに応答して、地図画像IM上の対応する構造物が強調表示されている。しかしながら、本実施の形態にかかる情報表示装置IDAr(図示せず)においては、ユーザが地図画像IM上の構造物を指定することに応答して、実写画像IC上の構造物が強調表示される。なお、情報表示装置IDArは基本的に、情報表示装置IDAと同様に構成される。
【0048】
図9においては、ユーザ、つまり情報表示装置IDArが搭載された車は、基本的に上述の図2(及び図3)に示されたのと同じ状況にある。よって、画像表示部7に表示される地図画像IM及び実写画像ICも図2におけると同じである。ただし、図9に示されるように、本例においては、ユーザが地図画像IM上の道路Rgの部分をタッチすることによって、実写画像ICでの対応部分を表示させる対象として選択される。そして、その選択に応じて、実写画像IC上の道路Rcが対応していることが点滅等によって示される。なお、図9においては、作図上の都合により、道路Rcの上下にそれぞれ3本の斜線を附して強調表示状態であることが示されている。
【0049】
つまり、地図画像IMの道路Rgの画像をタッチすることにより、構造物対応関係取得部5が構造物(道路Rg)の特定を行い、実写画像IC上の道路Rcを強調表示する。これにより、ユーザは地図画像IM中の構造物と実写画像IC中の構造物間の対応関係(地図上の構造物が、実写画像IC上に写っているどの構造物に当たるか)を容易に認識することができる。
【0050】
図10を参照して、情報表示装置IDArにおける対応する構造物の強調表示処理について説明する。図10に示すフローチャートは、上述の図6の示すフローチャートにおいてステップS2、第2の構造物特定ルーティン#10B、ステップS8、及びステップS10がそれぞれ、ステップS102、第3の構造物特定ルーティン#10C、ステップS108に置き換えられて構成されている。なお、第3の構造物特定ルーティン#10Cは、ステップS16がステップS116に置き換えられている点を除けば、図6に示した第2の構造物特定ルーティン#10Bと同様である。
【0051】
つまり、ステップS102において、ユーザよるタッチパネル(入力部6)の地図画像IM上の特定の部分へのタッチに対応して、入力部6からユーザ指示情報IIuが制御部8に出力される。そして、制御は第3の構造物特定ルーティン#10Cに進む。
【0052】
第3の構造物特定ルーティン#10Cにおいては、上述の如くステップS3、S5、及びS7を経て、ステップS116において、基本的に上述のステップS16におけるのと同様の処理が実行される。しかしながら、本ステップにおいては、ユーザが地図画像IM上で指定した構造物に関してマッチング処理により領域の対応付けが行われる。そして、ユーザが地図画像IM上で指定した構造物が実写画像IC上のどこに存在するかが特定される。
【0053】
構造物対応関係取得部5は、ユーザが地図画像IMで指示した構造物を特定して、構造物対応関係情報ICbを生成する。そして、制御は次のステップS108に進む。
【0054】
ステップS108において、制御部8は構造物対応関係情報ICbに基づいて、実写画像IC上の特定の構造物を表す部分を強調表示させるべく画像データDIを生成する。画像表示部7は、画像データDIに基づいて、ユーザが地図画像IM上で特定した構造物に対応する実写画像IC上の特定された部分を点滅させる。そして、制御は終了する。
【0055】
<第1の変形例>
図11を参照して、第2の実施の形態にかかる情報表示装置IDArの第1の変形例について説明する。本例においては、図11に示すように、ユーザが地図画像IM上で指定した構造物が実写画像IC中で他の構造物に一部若しくは全体が隠蔽されている場合には、実写画像IC上に該当構造物が存在することを示す補助表示(例えばスケルトン表示)を重畳して表示するものである。具体的には、図11においては、ユーザ、つまり情報表示装置IDArが搭載された車は、基本的に上述の図9に示されたのと同じ状況にある。つまり、画像表示部7に表示される実写画像ICにおいては、図2に示したのと同様に、本来目視できる建造物Bc、手前の構造物、及び進行中の道路が、道路Rcを通行中の車両Vcに遮られて表示できない。点線で示すように建造物Bcが車両Vc中にスケルトン表示されている。
【0056】
このように、情報表示装置IDArが前方車両のような三次元地図に記憶されていない構造物を検出する障害物検出手段を備えている場合には、ユーザが地図画像IM上で指定した構造物が実写画像ICにおいては障害物によって隠蔽されている場合においても、スケルトン表示するなどして実写画像IC上に該当構造物が存在することを示すことができる。
【0057】
つまり、ユーザが地図画像IM上の建造物Bgの部分をタッチすると、構造物対応関係取得部5はそれが実写画像IC上のどこに存在しているかを特定する。さらに、構造物対応関係取得部5は、建造物Bgの実写画像IC上の位置(建造物Bc)が、障害物検出手段が検出した実写画像IC上の障害物(前方車両B)の範囲内にあることを検出し、実写画像IC上で建造物Bcをスケルトン表示する。
【0058】
これにより、ユーザは前方車両等の障害物に隠蔽されて見えなくなっている構造物についても実写画像ICにおける位置を把握することができる。なお、ユーザが地図画像IM上で指定した構造物が実写画像IC中で他の構造物に隠蔽されているかどうかは、図10に示したフローチャートにおけるステップS7での投影処理(隠面処理)にて算出できる。これにより、ユーザは他の構造物に隠蔽されて見えなくなっている構造物についても実写画像ICにおける位置を把握することができる。
【0059】
なお、上述の例では、前方車両のような三次元地図に記憶されていない構造物に他の構造物が隠蔽されている場合について説明したが、三次元地図に記憶されている構造物に他の構造物が隠蔽されている場合においても、同様にスケルトン表示を行うことにより隠蔽された構造物の実写画像ICにおける位置を把握することができる。
【0060】
また、ユーザが地図画像IM中の構造物を指定する際に、地図画像IM上にユーザが選択可能な構造物を示すための補助表示を重畳してもよい。この場合、ユーザが構造物を指定する前に、上述の第3の構造物特定ルーティン#10Cにおける処理と同様に、三次元地図空間においてカメラの視野空間内に存在する構造物を求め、さらに投影処理、マッチング処理を行うことにより、実写画像IC中の構造物と地図画像IM中の構造物の対応付けを行う。
【0061】
これにより、ユーザが地図画像IM上で指定可能な構造物が特定される。そして、特定された構造物を地図画像IM上で輪郭を強調するなどして指定可能であることを示すことにより、ユーザは地図画像IM上で構造物を指定する操作を容易に行うことができる。
【0062】
(第3の実施の形態)
次に、図12を参照して、本発明の第3の実施の形態にかかる情報表示装置IDArr(図示せず)について説明する。上述の実施の形態およびその変形例においては、ユーザが実写画像IC若しくは地図画像IM中の構造物を指定した時に、もう一方の画像中の対応する構造物を強調表示することにより、ユーザは実風景を撮像した実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を容易に理解することができる。なお、ユーザが実写画像IC中の構造物を指定する場合と、地図画像IM中の構造物を指定する場合の両方の場合に有効な手段として、ユーザが指定した順番によって、構造物の強調方法を変えてもよい。
【0063】
図12を参照して、本実施の形態にかかる情報表示装置IDArr」の動作について説明する。なお、図12に示すフローチャートは、ステップS102、第3の構造物特定ルーティン#10C、およびステップS108がそれぞれ、ステップS202、第4の構造物特定ルーティン#10D、およびステップS208に変更されている点を除いて、上述の図10に示したフローチャートと同様に構成されている。なお、第4の構造物特定ルーティン#10Dは、ステップS116がステップS216に変更されている点を除いて、第3の構造物特定ルーティン#10Cと同様に構成されている。
【0064】
先ず、ステップS202において、ユーザよるタッチパネル(入力部6)の実写画像IC上の特定の部分へのタッチに対応して、入力部6からユーザ指示情報IIuが制御部8に出力される。つまり、ユーザは実写画像IC上に表示されている構造物の中から地図画像IM上の位置を確認したいものを複数選択する、あるいは地図画像IM上に表示されている構造物の中から実写画像ICの位置を確認したいものを複数選択すると、それに応じてユーザ指示情報IIuが生成される。そして、制御は第4の構造物特定ルーティン#10Dに進む。
【0065】
第4の構造物特定ルーティン#10Dにおいては、上述のステップS3、S5、及びS7を経て、ステップS216において、実写画像IC上の構造物と、地図画像IM上の構造物との対応付けが行われる。そして、ユーザが複数個指定した実写画像IC上の構造物を、地図画像IM上で特定して、構造物対応関係情報ICbを生成する。あるいはユーザが複数個指定した地図画像IM上の構造物を実写画像IC上で特定して構造物対応関係情報ICbを生成する。なお、構造物対応関係情報ICbにはユーザが複数の構造物を指定した順番の情報が含まれる。そして、制御は次のステップS208に進む。
【0066】
ステップS208において、画像表示部7でユーザが指定した複数の構造物が地図画像IM上あるいは実写画像IC上で、指定した順番に強調表示される。強調表示の一例としては、ユーザが1番目に指定した構造物を赤、2番目に指定した構造物を黄、3番目に指定した構造物を青というように、指定した順番に応じ色を変化させて表示する。このように、ユーザが指定した順番によって、構造物の強調方法を変えることにより、ユーザは複数の構造物を指定した場合においても、実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を容易に理解できる。
【0067】
なお、強調表示の方法は、色により関連付けをすることに限らず、その他、強調表示の大きさあるいは形状を変化させてもよく、文字情報等を用いてもよく、また実写画像IC上と地図画像IM上の対応する構造物同士を線などで結ぶように表示してもよい。
【0068】
また、ユーザが指定した順番の他に構造物の属性によって、構造物の強調方法を変えてもよい。この場合も、特にユーザが複数の構造物を指定した場合において、ユーザが実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を理解することが容易となる。なお、複数の構造物を指定する場合においては、画面上に強調表示される構造物が増え過ぎてかえって視認性が悪化するのを防ぐために、例えば、一定数以上は強調表示を行わない、ユーザ入力により強調表示を終了させる等の処理を入れることが有用である。
【0069】
また、実写画像ICの視野空間内にある構造物が前記地図画像IM上に表示されるように地図表示範囲を設定してもよい。これは、例えば、ユーザが実写画像IC上の構造物を指定した際にカメラの視野空間と地図表示範囲がずれていて対応する構造物が地図画像IM上に表示されていない場合や、地図表示範囲が大きすぎて地図画像IM上の構造物が適切な大きさで表示できないような場合において、地図を適切な縮尺、表示範囲に設定した上で、対応する構造物を強調表示するものである。
【0070】
また、ユーザが地図画像IM上で構造物を指定しようとした時に(例えば、「構造物指定」ボタンを押下した時)、地図を適切な縮尺、表示範囲に設定してもよい。これにより、ユーザは地図画面においてカメラの視野空間内にある構造物を指定することが容易となり、また、地図画面上でユーザが実写画像ICで指定した構造物を強調表示する際の視認性が向上する。
【0071】
また、構造物の属性によって入力方法が異なっていてもよい。例えば、道路を指定する場合には道路をなぞる操作を行い、建物を指定する場合には、建物上で長押しをするなど構造物の属性により入力方法を変える。これにより、ユーザが入力ミスをしてしまう可能性を下げることができる。
【0072】
また、実写画像ICと地図画像IMを2画面表示し、実写画像ICと地図画像IMのいずれか一方の画像中の構造物をユーザが指定している間、もう一方の画像中の対応する構造物を強調表示してもよい。これは、例えば、ユーザが実写画像IC中の構造物をタッチしている間は地図画像IM中の対応する構造物を強調し続け、ユーザがタッチするのをやめるのに応じて、強調表示を終了するものである。これにより、ユーザの操作と表示の連動性がより高くなるため、ユーザは実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を理解することがさらに容易となる。
【0073】
(第4の実施の形態)
次に、図13を参照して、第4の実施の形態にかかる情報表示装置について説明する。本実施の形態においては、カメラの撮像方向や撮像倍率が変更可能に構成される。これにより、例えば、ユーザが地図画像IMにおいて実写画像ICの視野空間内にない構造物を指定した場合には、カメラの撮像方向を変更することにより、対応する構造物を強調表示できる。
【0074】
図13に示すフローチャートを参照して、本実施の形態における構造物の強調表示方法について説明する。なお、図13は、図10に示すフローチャートに示すフローチャートにおいてステップS102と第3の構造物特定ルーティン#10Cとの間にステップS103及びS104が追加されて構成されている。
【0075】
つまり、ステップS102において、ユーザによる地図画像IM上の構造物の指定が検出されると、ステップS103において、構造物対応関係取得部5は、三次元地図空間において、ユーザが指定した構造物が実写画像ICの視野空間内にあるかどうかを判定する。
【0076】
指定された地図画像IM上の構造物が実写画像IC上の視野空間内にない場合には、ステップS104において、ユーザが指定した構造物が視野空間内に入るようにカメラ撮像方向が変更される。結果、ユーザが指定した構造物が視野空間内に入った時点で、ステップS103においてYesと判断されて、制御は第3の構造物特定ルーティン#10Cに進み、上述の処理が施され、選択された構造物が実写画像IC上で強調表示される。
【0077】
このようにカメラ撮像方向を変更することにより、より広い範囲の構造物について実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を認識できる。なお、上述の例では、ユーザが地図上の構造物を指定することに応じてカメラの撮像方向を変更させたが、ユーザがカメラの撮像方向を変更させてカメラの視野空間に入った構造物を指定するようにしてもよい。また、撮像方向の代わりに撮像倍率を変更させるようにしてもよい。
【0078】
なお、ここまで述べてきた例では、画像表示部7は、1つのディスプレイに実写画像ICと地図画像IMを2画面表示させているが、2つのディスプレイに各々を表示するようにしてもよい。また、実写画像ICと地図画像IMは同時に表示されなくてもよい。この場合、例えば、はじめ地図画像IMのみがディスプレイに表示されており、ユーザが構造物を指定すると、画面が実写画像ICに切り替わり、対応する構造物が強調表示される。また、ユーザが構造物を指定した後、地図画像IMと実写画像ICの2画面表示に切り替えてもよい。これらは、はじめに実写画像ICが表示されており、そこから構造物を指定する場合においても同様である。
【0079】
このように、ユーザが構造物を指定する際には、実写画像IC又は地図画像IMのいずれか一方を表示するようにすることにより、1つのディスプレイで2画面表示を行う場合と比べて画像を大きなサイズで表示できるため、構造物を指定しやすくなる。
【0080】
また、上述の例では、カメラは自動車に取り付けられているとしたが、これに限らず、携帯電話や船舶、飛行機等の移動体に取り付けられていてもよいし、建物等に据え付けられていてもよい。また、カメラとディスプレイは、離れた場所に存在していてもよい。
【0081】
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形ができることは言うまでもない。
【産業上の利用可能性】
【0082】
本発明の情報表示装置は、車両内に設置されるカーナビゲーション装置、車載情報端末、およびディスプレイなどの映像表示装置等として有用である。また、歩行者に携行される携帯電話や、船舶や航空機などの移動体におけるナビゲーション装置としても利用できる。
【図面の簡単な説明】
【0083】
【図1】本発明の第1の実施の形態にかかる情報表示装置の構成を示すブロック図
【図2】図1に示した情報表示装置において画像表示部に表示される地図画像及び実写画像の一例を示す説明図
【図3】図2に示した情報表示装置において、実写画像上に表示されている構造物が指定された時に、地図画像IM上に対応する構造物が強調表示される様子を示す説明図
【図4】図1に示した情報表示装置において、実写画像上に表示されている構造物の指定に応じて、地図画像IM上に対応する構造物が強調表示させる動作を表すフローチャート
【図5】図4に示した第1の構造物特定ルーティンにおける動作の説明図
【図6】図1に示した情報表示装置の第1の変形例における構造物の強調表示動作を表すフローチャート
【図7】図1に示した情報表示装置の第2の変形例における構造物の強調表示動作を表すフローチャート
【図8】図1に示した情報表示装置の第3の変形例において、画像表示部に表示される地図画像及び実写画像の一例を示す説明図
【図9】本発明の第2の実施の形態にかかる情報表示装置において、地図画像上に表示されている構造物が指定された時に、実写画像に対応する構造物が強調表示される様子を示す説明図
【図10】本発明の第2の実施の形態にかかる情報表示装置における構造物の強調表示動作を表すフローチャート
【図11】本発明の第2の実施の形態にかかる情報表示装置の第1の変形例において、地図画像上に表示されている構造物が指定された時に、実写画像に対応する構造物が強調表示される様子を示す説明図
【図12】本発明の第3の実施の形態にかかる情報表示装置における構造物の強調表示動作を表すフローチャート
【図13】本発明の第4の実施の形態にかかる情報表示装置における構造物の強調表示動作を表すフローチャート
【符号の説明】
【0084】
IDA、IDAr 情報表示装置
1 実写画像取得部
2 位置情報取得部
3 カメラ属性情報取得部
4 地図情報記憶部
5 構造物対応関係取得部
6 入力部
7 画像表示部
IC 実写画像
IM 地図画像
U ユーザ
【技術分野】
【0001】
本発明は、実写画像と地図画像の間の対応関係を表示することによりユーザに地理的情報を教示する情報表示装置に関する。
【背景技術】
【0002】
従来、現在位置及びその周辺に関する地理的情報をユーザに教示するシステムの代表的な例として、様々な種類のカーナビゲーション装置が広く普及している。従来のカーナビゲーション装置においては、HDD(ハードディスク装置)やDVD等の記録媒体に地図画像と共に格納されている地図上の車両位置に関する周辺情報をディスプレイ上に表示することによりユーザに周辺の地理的情報を教示するものがある。
【0003】
さらに近年、ユーザが周辺情報をより直感的に理解できるよう、実写画像を利用して周辺の地理的情報をユーザに教示する検索型景観ラベリング装置が提案されている(特許文献1参照)。この検索型景観ラベリング装置は、実写画像上に構造物の名称等の地理的情報を重畳表示することによりユーザに周辺情報を教示する。
【0004】
そのために検索型景観ラベリング装置は、景観画像として実写画像を撮影する時にカメラの位置、角度、焦点距離、及び画像サイズ等の撮影条件情報を取得する。そして、所得した撮影条件情報に基づいて、コンピュータ上の三次元地図空間内で実風景撮影時の位置とカメラの角度と焦点距離から眺望した場合のCG画像を作成することにより、景観画像中の構造物とCG画像中の構造物の対応付けを行い、景観画像の構造物に地理的情報を付与する。
【特許文献1】特開平11−66350号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上述のカーナビゲーションシステムにおいては、実風景の構造物と地図に示される構造物の間の対応関係をユーザが容易に認識できることが非常に望ましい。具体的に言えば、自動車を運転するドライバが、目の前に見えている実風景から得られる目視情報と、地図画像により得られる道路やビルなどの構造物の相対的な位置情報を比較して、実風景上の構造物と地図上の構造物の対応関係を把握することにより所定の目的地への運転が容易となる。
【0006】
しかしながら、検索型景観ラベリング装置を組み込んだカーナビゲーションシステムにおいては、ユーザが二次元である地図画像上の任意の位置と、三次元画像である実風景における任意の対象物との関係を正しく認識することは容易ではない。さらに、実際に車を運転中のドライバや同乗者が、地図画像と実風景が車の移動につれて逐次変化する状態ではなおさら困難である。
【0007】
上述の問題に鑑みて、本発明は、実風景における位置と地図画像との対応関係をユーザに呈示する情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明は、
実写画像を取得する実写画像取得手段と、
地図情報を記憶する地図情報記憶手段と、
前記地図情報に基づいて地図画像を生成する手段と、
前記実写画像及び前記地図画像を表示する画像表示手段と、
ユーザの動作に基づいて、前記実写画像及び前記地図画像のいずれか一方に表示される構造物の少なくとも1つを指定する入力手段と、
前記実写画像に表示される構造物と、前記地図画像に表示される構造物との対応関係を取得する構造物対応関係取得手段とを備え、
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方に表示されている構造物が指定された時に、他方に表示されている構造物の内で、当該指定された構造物に対応する構造物を強調表示することを特徴とする。
【発明の効果】
【0009】
本発明にかかる情報表示装置においては、ユーザが実写画像と地図画像のいずれか一方の構造物を指定すると、もう一方の画像中の対応する構造物が強調表示される。結果、ユーザは実風景を撮像した実写画像上の構造物と地図画像上の構造物間の対応関係、つまり実風景と地図との対応関係を容易に理解できる。
【発明を実施するための最良の形態】
【0010】
以下に、図面を参照して、本発明の実施の形態にかかる情報表示装置について説明する。なお、各図面においては視認性を考慮して、本発明の実施に特に重要でない要素は割愛されている。なお、情報表示装置について具体的に説明する前に、本発明の基本的な概念について説明する。本発明においては、カメラ等で実際に撮像される実写画像及び予め取得しておいた地図画像のそれぞれにおいて表示される任意の部分の対応関係を呈示することによって、ユーザが実風景と地図との対応関係を容易に理解できることを補助するものである。なお、本発明をカーナビゲーションシステムに適応した場合には、指定される任意の部分とは、建物や道路などの構造物あるいはその位置が当てはまる。
【0011】
(第1の実施の形態)
図1に示すように、本発明の第1の実施の形態にかかる情報表示装置IDAは、実写画像取得部1、位置情報取得部2、カメラ属性情報取得部3、地図情報記憶部4、構造物対応関係取得部5、入力部6、画像表示部7、及び制御部8を含む。実写画像取得部1は、実風景を撮像して実写画像データDIcを生成するカメラを含む。撮像される画像は、静止画であっても動画であってもよい。本実施の形態においては、カメラは自動車の前方を撮像するように取り付けられているものとする。なお、カメラによって撮影された実風景画像は実写画像データDIcとして出力される。なお、便宜上実写画像データDIcが表す実写風景画像を実写画像ICと称する。
【0012】
位置情報取得部2は、実写画像取得部1が実写画像を取得する際のカメラ位置を取得する、例えばGPS受信機である。つまり、カメラ位置は道路などを移動あるいは停止している車に搭載されているカメラの実際の位置を示すカメラ位置情報IPcを意味する。なお、GPS受信機とカメラの位置関係に基づいて、GPS受信機で得られた位置情報を補正してカメラ位置情報IPcとしてもよい。
【0013】
カメラ属性情報取得部3は、実写画像取得部1による実風景の撮像方向と撮像範囲を定めるパラメータであるカメラ属性情報IAcを取得する。カメラ属性情報IAcは、カメラ角(水平角、仰角)、焦点距離、及び画像サイズを含む。なお、撮像方向と撮像範囲が定まるものであれば、画角等の他のパラメータに基づいて、カメラ属性情報IAcを換算してもよい。また、カメラ属性情報IAcは、カメラに設定されている値を取得してもよ
いし、カメラに取り付けられた三次元コンパスによって取得してもよい。
【0014】
地図情報記憶部4は、例えばHDDやDVDなどの媒体に、予め準備された道路や施設の位置や名称等を表す地理的情報IGを格納する。なお、地理的情報IGには、構造物の高さ情報を含む三次元地図データDMtも含まれる。
【0015】
構造物対応関係取得部5は、制御部8を介して入力されるカメラ位置情報IPc、カメラ属性情報IAc、地理的情報IG、及びユーザ指示情報IIuに基づいて、実写画像中の構造物と地図画像中の構造物の対応付けを行い、構造物対応関係情報ICbを生成する。なお、後ほど図4を参照して、構造物対応関係取得部5について詳述する。
【0016】
入力部6は、ユーザの操作を受け付ける、例えば、タッチパネルやリモコンで構成される。入力部6は、さらに受け付けたユーザの操作に基づいて、ユーザの入力指示を表すユーザ指示情報IIuを生成する。
【0017】
画像表示部7は、制御部8を介して供給される画像データDIに基づいて、地図画像IMと実写画像ICとを表示する、例えばディスプレイである。画像表示部7が表示する地図画像IMは2D(二次元)地図であっても、3D(三次元)地図であってもよい。また、上述の入力部6は、画像表示部7の表示面上に設けられたタッチパネルとして構成される。
【0018】
図2に示すように、画像表示部7の画面は好ましくは、2分割されて地図画像IM及び実写画像ICがそれぞれ表示されている。上述のように、実写画像ICはユーザが搭乗している車に搭載された情報表示装置IDAの実写画像取得部1によって撮影された、進行方向前方の実風景である。そして、実写画像ICの左下部に、進行方向に対して左側に伸びる道路RcとのT字路が見える。
【0019】
なお、地図画像IMにおいて、符号Cは情報表示装置IDAが搭載された自車を示し、符号Rgは実写画像ICにおける道路Rcに対応する道路が表示されている。なお、図2を見れば、実写画像ICにおいて手前の建造物等で隠れている構造物等も含めて、地図画像IMには表示されることが分かる。
【0020】
図1に戻って、制御部8は、実写画像取得部1、位置情報取得部2、カメラ属性情報取得部3、地図情報記憶部4、構造物対応関係取得部5、及び入力部6から入力される実写画像データDIc、カメラ位置情報IPc、カメラ属性情報IAc、地理的情報IG、構造物対応関係情報ICb、及びユーザ指示情報IIuに基づいて、情報表示装置IDAの全体の動作を制御する。制御部8は、例えばCPUで構成される。
【0021】
次に、図4、及び図5を参照して、情報表示装置IDAが、ユーザの指定に対応する地図画像IM上の構造物を強調表示する場合の動作について説明を行う。なお、本動作は、ユーザが入力部6を操作して、画像表示部7の実写画像IC上に表示されている構造物中から、地図画像IM上の位置を確認したい構造物を指定した時点で開始する。そして、図4に示す処理を経て、地図画像IM上の対応する構造物の画像が点滅等によってユーザに対して表示される。
【0022】
図3に示すように、本例においては、実写画像IC上の道路Rcの部分をタッチすることによって、地図画像IMでの対応部分を表示させる対象として選択される。そして、その選択に応じて、地図画像IM上の道路Rgが点滅等によって対応していることが示される。なお、図3においては、作図上の都合により、道路Rgは黒塗りの状態で示されている。つまり、ユーザが実写画像ICの道路Rcの画像をタッチすることにより、構造物対応関係取得部5が構造物(道路Rc)の特定を行い、地図画像IM上の道路Rgを強調表示する。これにより、ユーザは実写画像IC中の構造物と地図画像IM中の構造物間の対応関係(実写上に写っている構造物が地図上のどの構造物に当たるか)を容易に認識することができる。
【0023】
図4を参照して、情報表示装置IDAにおける対応する構造物の強調表示処理について説明する。
上述のように、ユーザUが実写画像IC上の任意の部分をタッチすることによって選択した時点で強調表示処理が開始する。なお、本例においては、入力部6としてタッチパネルを用いているが、ユーザが実写画像IC上の任意の位置を特定できる手段であれば、リモコン等の手段であってもよい。
【0024】
ステップS2において、ユーザよるタッチパネル(入力部6)の実写画像IC上の特定の部分のタッチに対応して、入力部6からユーザ指示情報IIuが制御部8に出力される。そして、制御は次のステップS4に進む。
【0025】
ステップS4において、構造物対応関係取得部5は、制御部8から入力されるユーザ指示情報IIu、カメラ属性情報IAc(カメラ角、焦点距離、および画像サイズ)、及びカメラ位置情報IPcに基づいて、地理的情報IGより求められる三次元地図空間上で、カメラ位置とユーザが指示した点に対応する方向(以降、「指示方向ベクトル」と称す)を求める。そして、制御は次のステップS6に進む。
【0026】
ステップS6において、構造物対応関係取得部5は、ユーザが実写画像IC上で指示した構造物を特定して、構造物対応関係情報ICbを生成する。なお、上述のステップS4とS6は、第1の構造物特定ルーティン#10Aを構成している。そして、制御は次のステップS8に進む。
【0027】
ステップS8において、制御部8は構造物対応関係情報ICbに基づいて、地図画像IM上の特定された構造物を表す部分を強調表示させるべく画像データDIを生成する。画像表示部7は、画像データDIに基づいて、ユーザが実写画像IC上で特定した構造物に対応する地図画像IM上の特定された部分を点滅させる。そして、制御は終了する。なお、強調表示としては、点滅以外に、表示色や明るさ等の変化、輪郭の強調、対象物構造物の名称等の重畳表示、反転、彩色、及び照度の増減という光学的にユーザの注意を引く方法であれば何でもよい。つまり、これらに限らず、ユーザが実写画像IC上で指定した構造物と対応するものであることが認識できれば他のどのような手段を用いてもよい。反転、彩色、及び照度の増減という光学的に注意を引く方法であれば何でもよい。
【0028】
図5を参照して、上述の第1の構造物特定ルーティン#10A(ステップS4及びS6)によって実現される、構造物の特定方法について具体的に説明する。同図において、符号Qはユーザが指定する現実の構造物(本例においては道路)を示し、符号Scは実写画像取得部1のカメラ画面を示し、そして、符号Eはカメラ位置である視点を示している。同図に示すような三次元地図空間において、視点Eからカメラ角方向に焦点距離fだけ進んだ点Fを求め、そこに画像サイズに相当する横x縦yの平面(カメラ画面Sc)を視点Eと点Fを結んだ基準ベクトルVに垂直になるように設定する。
【0029】
そして、例えば、ユーザがカメラ画面Sc上の点Pを指示した時には、視点Eから点Pを結ぶ指示方向ベクトルViが三次元地図空間においてどの構造物を指しているかを求め、ユーザが指示した構造物Qを特定する。
【0030】
<第1の変形例>
次に、図6を参照して、上述の第1の実施の形態にかかる情報表示装置IDAの第1の変形例について説明する。本例においては、構造物特定方法のみが上述の第1の実施の形態にかかる情報表示装置IDAと異なる。図6に示すフローチャートは、図4に示したフローチャートにおけるステップS4およびS6をステップS3、S5、S7、及びS16で置き換えたものである。つまり、ステップS3、S5、S7、及びS16は、第2の構造物特定ルーティン#10Bを構成している。
【0031】
具体的には、第2の構造物特定ルーティン#10Bは以下の如く実行される。つまり、ステップS3において、図5に示した視点Eからカメラ画面の4隅の点を結ぶ半直線がつくる三次元空間が視野空間として設定される。なお、視野空間は理論上無限遠まで延びるが、視点から適当な距離だけ離れたところで打ち切ってもよい。そして、制御は次のステップS5に進む。
【0032】
ステップS5において、三次元地図空間において、視野空間内に存在する構造物が求められる。そして、制御は次のステップS7に進む。
【0033】
ステップS7において、求められた構造物が、図5に示すカメラ画面Scに投影する処理が実行される。投影処理を行う際には、視点Eから見た時の構造物の重なりを考慮して隠面処理を行い、視点Eから見える部分と他の構造物に遮られて見えない部分を分類する。隠面処理には、Zバッファ法、スキャンライン法、及び光線追跡法などの周知の手法を用いることができる。なお、投影処理は、視野空間全体に対しては行わず、ユーザが指定した位置の近傍のみを対象にして行うようにしてもよい。そして、制御は次のステップS16に進む。
【0034】
ステップS16において、実写画像ICに表示されている構造物と、視野空間内の構造物をカメラ画面Sc上に投影した画像(以下、「CG画像」と称す)上の構造物の対応付けを行うマッチング処理が実行される。マッチング処理は、実写画像IC及びCG画像のそれぞれにおいて、構造物ごとに分けられた領域に分割する領域分割処理を行い、次に、両者の領域の対応付けを、例えば、テンプレートマッチング法を用いて行う。なお、実写画像ICの領域分割は、エッジ検出及びラベリング処理等の周知の画像処理技術を用いて行うことができる。
【0035】
CG画像は、地図情報記憶部4に格納されている三次元地図データである地理的情報IGに基づいて作成されたものであるため、CG画像上の各領域がどの構造物に該当するかは既知である。したがって、マッチング処理により、実写画像IC中の構造物とCG画像中の構造物を対応付けることにより、実写画像IC中の構造物を特定できる。
【0036】
すなわち、ユーザが指定した実写画像IC上の位置がどの領域に属しているかを求めることにより、ユーザが指定した構造物を特定できる。これによって、構造物対応関係情報ICbが生成される。なお、上述の例では、実写画像IC及びCG画像の共に領域分割処理を行っているが、処理負荷軽減を図るために、CG画像で行った領域分割の結果をそのまま実写画像ICに割り付けてもよい。
【0037】
<第2の変形例>
図7を参照して、本発明の第1の実施の形態にかかる情報表示装置の第2の変形例について説明する。図7に示すフローチャートは、図6に示したフローチャートにおいてステップS2をステップS10の直前に移動させ、ステップS8を削除し、ステップS2と第2の構造物特定ルーティン#10Bの間に、実写画像上に補助表示を重畳するステップS17を新たに追加して構成されている。
【0038】
本変形例においては、ユーザによる実写画像IC上の対象物の指定(ステップS2)が実行されずに、第2の構造物特定ルーティン#10Bが実行される。この時点で、ユーザが実写画像IC上で指定可能な構造物が特定される。そして、制御はステップS17に進む。
【0039】
ステップS17において、特定された構造物に対し実写画像IC上で輪郭を強調するなどの補助表示が重畳されて、指定可能であることが示される。これにより、ユーザは実写画像IC上で構造物を指定する操作を容易に行うことができる。つまり、ユーザが構造物を指定する時点において、既に構造物の存在する領域が特定されているので、上述の実施の形態におけるように画面上の点を指定するという構造物の指定方法だけでなく、領域ごとに番号を付与しユーザがその番号を指定する、若しくは、リモコン等で領域を選択するといった構造物の指定方法が可能である。そして、制御は次のステップS2に進む。
【0040】
ステップS2において、ユーザが実写画像IC上で構造物を指定すると(S13)、既に構造物の対応付けは完了しているので、上述の構造物対抗関係情報生成ステップS8の処理を必要とすることなく、ステップS10において、該当する地図画像IM上の構造物が強調表示される。
【0041】
また、ユーザが実写画像IC中の構造物を指定する際に、実写画像IC中で他の構造物に一部若しくは全体が隠蔽されている構造物については、実写画像IC上に該当構造物が存在することを示す補助表示を重畳してもよい。この場合も、ユーザが構造物を指定する前に、第2の構造物特定ルーティン#10B(ステップS3〜S16)におけるのと同様の処理が行われる。しかし、投影処理での隠面処理において一部若しくは全体が、他の構造物の背後に在るとされた構造物については、スケルトン表示するなどの補助表示により実写画像IC上に該当構造物が存在することを示す。
【0042】
例えば、補助表示に対応付けて該当構造物指定用のボタンを設置することにより、ユーザがそれを選択できるようにする。これにより、ユーザは他の構造物に隠蔽されて見えなくなっている構造物についても容易に選択することができる。
【0043】
さらに、前方車両のような三次元地図に記憶されていない構造物を検出する障害物検出手段を備えていてもよい。この場合、画像認識やその他周知の障害物検出手段によって障害物の方向、距離、形状を検出し、それをカメラ画面上に投影することによって、実写画像IC上の障害物の範囲を求める。なお、障害物検出は、実写画像IC取得手段1で取得した画像を用いて行ってもよい。この場合には、検出した障害物をカメラ画面上に投影する処理は不要である。
【0044】
<第3の変形例>
次に、図8及び図9を参照して、第1の実施の形態にかかる情報表示装置の第3の変形例について説明する。本変形例においては、画像表示部7に表示される実写画像ICにおいては、障害物によって隠蔽されて実際には目視できない構造物をスケルトン表示などの補助表示することによって、実写画像IC上に該当構造物が存在することを示してユーザが容易に認識できることを図るものである。そのために、障害物を検出する手段が設けられている。
【0045】
図8は、図2と同様に画像表示部7の画面には地図画像IM及び実写画像ICがそれぞれ表示されている。しかしながら、実写画像ICにおいて、本来目視できる建造物Bc、手前の構造物、及び進行中の道路が、道路Rcを通行中の車両Vcに遮られて表示できない。そのために、点線で示すように建造物Bc、手前の構造物、及び進行中の道路が車両Vc中にスケルトン表示されている。結果、ユーザは車両Vcで遮られている建造物の存在を認識できる。
【0046】
そして、例えば、建造物Bcのスケルトン表示をユーザがタッチすることにより、地図画像IM上の建造物Bgが強調表示される。このように、ユーザは前方車両等の地図に記憶されていない障害物によって隠蔽されている構造物についても実写画像IC上で容易に選択することができる。
【0047】
(第2の実施の形態)
以下に、図9及び図10を参照して、本発明の第2の実施の形態にかかる情報表示装置について説明する。上述の第1の実施の形態にかかる情報表示装置IDAにおいては、画像表示部7に表示されている実写画像IC上の構造物を指定することに応答して、地図画像IM上の対応する構造物が強調表示されている。しかしながら、本実施の形態にかかる情報表示装置IDAr(図示せず)においては、ユーザが地図画像IM上の構造物を指定することに応答して、実写画像IC上の構造物が強調表示される。なお、情報表示装置IDArは基本的に、情報表示装置IDAと同様に構成される。
【0048】
図9においては、ユーザ、つまり情報表示装置IDArが搭載された車は、基本的に上述の図2(及び図3)に示されたのと同じ状況にある。よって、画像表示部7に表示される地図画像IM及び実写画像ICも図2におけると同じである。ただし、図9に示されるように、本例においては、ユーザが地図画像IM上の道路Rgの部分をタッチすることによって、実写画像ICでの対応部分を表示させる対象として選択される。そして、その選択に応じて、実写画像IC上の道路Rcが対応していることが点滅等によって示される。なお、図9においては、作図上の都合により、道路Rcの上下にそれぞれ3本の斜線を附して強調表示状態であることが示されている。
【0049】
つまり、地図画像IMの道路Rgの画像をタッチすることにより、構造物対応関係取得部5が構造物(道路Rg)の特定を行い、実写画像IC上の道路Rcを強調表示する。これにより、ユーザは地図画像IM中の構造物と実写画像IC中の構造物間の対応関係(地図上の構造物が、実写画像IC上に写っているどの構造物に当たるか)を容易に認識することができる。
【0050】
図10を参照して、情報表示装置IDArにおける対応する構造物の強調表示処理について説明する。図10に示すフローチャートは、上述の図6の示すフローチャートにおいてステップS2、第2の構造物特定ルーティン#10B、ステップS8、及びステップS10がそれぞれ、ステップS102、第3の構造物特定ルーティン#10C、ステップS108に置き換えられて構成されている。なお、第3の構造物特定ルーティン#10Cは、ステップS16がステップS116に置き換えられている点を除けば、図6に示した第2の構造物特定ルーティン#10Bと同様である。
【0051】
つまり、ステップS102において、ユーザよるタッチパネル(入力部6)の地図画像IM上の特定の部分へのタッチに対応して、入力部6からユーザ指示情報IIuが制御部8に出力される。そして、制御は第3の構造物特定ルーティン#10Cに進む。
【0052】
第3の構造物特定ルーティン#10Cにおいては、上述の如くステップS3、S5、及びS7を経て、ステップS116において、基本的に上述のステップS16におけるのと同様の処理が実行される。しかしながら、本ステップにおいては、ユーザが地図画像IM上で指定した構造物に関してマッチング処理により領域の対応付けが行われる。そして、ユーザが地図画像IM上で指定した構造物が実写画像IC上のどこに存在するかが特定される。
【0053】
構造物対応関係取得部5は、ユーザが地図画像IMで指示した構造物を特定して、構造物対応関係情報ICbを生成する。そして、制御は次のステップS108に進む。
【0054】
ステップS108において、制御部8は構造物対応関係情報ICbに基づいて、実写画像IC上の特定の構造物を表す部分を強調表示させるべく画像データDIを生成する。画像表示部7は、画像データDIに基づいて、ユーザが地図画像IM上で特定した構造物に対応する実写画像IC上の特定された部分を点滅させる。そして、制御は終了する。
【0055】
<第1の変形例>
図11を参照して、第2の実施の形態にかかる情報表示装置IDArの第1の変形例について説明する。本例においては、図11に示すように、ユーザが地図画像IM上で指定した構造物が実写画像IC中で他の構造物に一部若しくは全体が隠蔽されている場合には、実写画像IC上に該当構造物が存在することを示す補助表示(例えばスケルトン表示)を重畳して表示するものである。具体的には、図11においては、ユーザ、つまり情報表示装置IDArが搭載された車は、基本的に上述の図9に示されたのと同じ状況にある。つまり、画像表示部7に表示される実写画像ICにおいては、図2に示したのと同様に、本来目視できる建造物Bc、手前の構造物、及び進行中の道路が、道路Rcを通行中の車両Vcに遮られて表示できない。点線で示すように建造物Bcが車両Vc中にスケルトン表示されている。
【0056】
このように、情報表示装置IDArが前方車両のような三次元地図に記憶されていない構造物を検出する障害物検出手段を備えている場合には、ユーザが地図画像IM上で指定した構造物が実写画像ICにおいては障害物によって隠蔽されている場合においても、スケルトン表示するなどして実写画像IC上に該当構造物が存在することを示すことができる。
【0057】
つまり、ユーザが地図画像IM上の建造物Bgの部分をタッチすると、構造物対応関係取得部5はそれが実写画像IC上のどこに存在しているかを特定する。さらに、構造物対応関係取得部5は、建造物Bgの実写画像IC上の位置(建造物Bc)が、障害物検出手段が検出した実写画像IC上の障害物(前方車両B)の範囲内にあることを検出し、実写画像IC上で建造物Bcをスケルトン表示する。
【0058】
これにより、ユーザは前方車両等の障害物に隠蔽されて見えなくなっている構造物についても実写画像ICにおける位置を把握することができる。なお、ユーザが地図画像IM上で指定した構造物が実写画像IC中で他の構造物に隠蔽されているかどうかは、図10に示したフローチャートにおけるステップS7での投影処理(隠面処理)にて算出できる。これにより、ユーザは他の構造物に隠蔽されて見えなくなっている構造物についても実写画像ICにおける位置を把握することができる。
【0059】
なお、上述の例では、前方車両のような三次元地図に記憶されていない構造物に他の構造物が隠蔽されている場合について説明したが、三次元地図に記憶されている構造物に他の構造物が隠蔽されている場合においても、同様にスケルトン表示を行うことにより隠蔽された構造物の実写画像ICにおける位置を把握することができる。
【0060】
また、ユーザが地図画像IM中の構造物を指定する際に、地図画像IM上にユーザが選択可能な構造物を示すための補助表示を重畳してもよい。この場合、ユーザが構造物を指定する前に、上述の第3の構造物特定ルーティン#10Cにおける処理と同様に、三次元地図空間においてカメラの視野空間内に存在する構造物を求め、さらに投影処理、マッチング処理を行うことにより、実写画像IC中の構造物と地図画像IM中の構造物の対応付けを行う。
【0061】
これにより、ユーザが地図画像IM上で指定可能な構造物が特定される。そして、特定された構造物を地図画像IM上で輪郭を強調するなどして指定可能であることを示すことにより、ユーザは地図画像IM上で構造物を指定する操作を容易に行うことができる。
【0062】
(第3の実施の形態)
次に、図12を参照して、本発明の第3の実施の形態にかかる情報表示装置IDArr(図示せず)について説明する。上述の実施の形態およびその変形例においては、ユーザが実写画像IC若しくは地図画像IM中の構造物を指定した時に、もう一方の画像中の対応する構造物を強調表示することにより、ユーザは実風景を撮像した実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を容易に理解することができる。なお、ユーザが実写画像IC中の構造物を指定する場合と、地図画像IM中の構造物を指定する場合の両方の場合に有効な手段として、ユーザが指定した順番によって、構造物の強調方法を変えてもよい。
【0063】
図12を参照して、本実施の形態にかかる情報表示装置IDArr」の動作について説明する。なお、図12に示すフローチャートは、ステップS102、第3の構造物特定ルーティン#10C、およびステップS108がそれぞれ、ステップS202、第4の構造物特定ルーティン#10D、およびステップS208に変更されている点を除いて、上述の図10に示したフローチャートと同様に構成されている。なお、第4の構造物特定ルーティン#10Dは、ステップS116がステップS216に変更されている点を除いて、第3の構造物特定ルーティン#10Cと同様に構成されている。
【0064】
先ず、ステップS202において、ユーザよるタッチパネル(入力部6)の実写画像IC上の特定の部分へのタッチに対応して、入力部6からユーザ指示情報IIuが制御部8に出力される。つまり、ユーザは実写画像IC上に表示されている構造物の中から地図画像IM上の位置を確認したいものを複数選択する、あるいは地図画像IM上に表示されている構造物の中から実写画像ICの位置を確認したいものを複数選択すると、それに応じてユーザ指示情報IIuが生成される。そして、制御は第4の構造物特定ルーティン#10Dに進む。
【0065】
第4の構造物特定ルーティン#10Dにおいては、上述のステップS3、S5、及びS7を経て、ステップS216において、実写画像IC上の構造物と、地図画像IM上の構造物との対応付けが行われる。そして、ユーザが複数個指定した実写画像IC上の構造物を、地図画像IM上で特定して、構造物対応関係情報ICbを生成する。あるいはユーザが複数個指定した地図画像IM上の構造物を実写画像IC上で特定して構造物対応関係情報ICbを生成する。なお、構造物対応関係情報ICbにはユーザが複数の構造物を指定した順番の情報が含まれる。そして、制御は次のステップS208に進む。
【0066】
ステップS208において、画像表示部7でユーザが指定した複数の構造物が地図画像IM上あるいは実写画像IC上で、指定した順番に強調表示される。強調表示の一例としては、ユーザが1番目に指定した構造物を赤、2番目に指定した構造物を黄、3番目に指定した構造物を青というように、指定した順番に応じ色を変化させて表示する。このように、ユーザが指定した順番によって、構造物の強調方法を変えることにより、ユーザは複数の構造物を指定した場合においても、実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を容易に理解できる。
【0067】
なお、強調表示の方法は、色により関連付けをすることに限らず、その他、強調表示の大きさあるいは形状を変化させてもよく、文字情報等を用いてもよく、また実写画像IC上と地図画像IM上の対応する構造物同士を線などで結ぶように表示してもよい。
【0068】
また、ユーザが指定した順番の他に構造物の属性によって、構造物の強調方法を変えてもよい。この場合も、特にユーザが複数の構造物を指定した場合において、ユーザが実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を理解することが容易となる。なお、複数の構造物を指定する場合においては、画面上に強調表示される構造物が増え過ぎてかえって視認性が悪化するのを防ぐために、例えば、一定数以上は強調表示を行わない、ユーザ入力により強調表示を終了させる等の処理を入れることが有用である。
【0069】
また、実写画像ICの視野空間内にある構造物が前記地図画像IM上に表示されるように地図表示範囲を設定してもよい。これは、例えば、ユーザが実写画像IC上の構造物を指定した際にカメラの視野空間と地図表示範囲がずれていて対応する構造物が地図画像IM上に表示されていない場合や、地図表示範囲が大きすぎて地図画像IM上の構造物が適切な大きさで表示できないような場合において、地図を適切な縮尺、表示範囲に設定した上で、対応する構造物を強調表示するものである。
【0070】
また、ユーザが地図画像IM上で構造物を指定しようとした時に(例えば、「構造物指定」ボタンを押下した時)、地図を適切な縮尺、表示範囲に設定してもよい。これにより、ユーザは地図画面においてカメラの視野空間内にある構造物を指定することが容易となり、また、地図画面上でユーザが実写画像ICで指定した構造物を強調表示する際の視認性が向上する。
【0071】
また、構造物の属性によって入力方法が異なっていてもよい。例えば、道路を指定する場合には道路をなぞる操作を行い、建物を指定する場合には、建物上で長押しをするなど構造物の属性により入力方法を変える。これにより、ユーザが入力ミスをしてしまう可能性を下げることができる。
【0072】
また、実写画像ICと地図画像IMを2画面表示し、実写画像ICと地図画像IMのいずれか一方の画像中の構造物をユーザが指定している間、もう一方の画像中の対応する構造物を強調表示してもよい。これは、例えば、ユーザが実写画像IC中の構造物をタッチしている間は地図画像IM中の対応する構造物を強調し続け、ユーザがタッチするのをやめるのに応じて、強調表示を終了するものである。これにより、ユーザの操作と表示の連動性がより高くなるため、ユーザは実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を理解することがさらに容易となる。
【0073】
(第4の実施の形態)
次に、図13を参照して、第4の実施の形態にかかる情報表示装置について説明する。本実施の形態においては、カメラの撮像方向や撮像倍率が変更可能に構成される。これにより、例えば、ユーザが地図画像IMにおいて実写画像ICの視野空間内にない構造物を指定した場合には、カメラの撮像方向を変更することにより、対応する構造物を強調表示できる。
【0074】
図13に示すフローチャートを参照して、本実施の形態における構造物の強調表示方法について説明する。なお、図13は、図10に示すフローチャートに示すフローチャートにおいてステップS102と第3の構造物特定ルーティン#10Cとの間にステップS103及びS104が追加されて構成されている。
【0075】
つまり、ステップS102において、ユーザによる地図画像IM上の構造物の指定が検出されると、ステップS103において、構造物対応関係取得部5は、三次元地図空間において、ユーザが指定した構造物が実写画像ICの視野空間内にあるかどうかを判定する。
【0076】
指定された地図画像IM上の構造物が実写画像IC上の視野空間内にない場合には、ステップS104において、ユーザが指定した構造物が視野空間内に入るようにカメラ撮像方向が変更される。結果、ユーザが指定した構造物が視野空間内に入った時点で、ステップS103においてYesと判断されて、制御は第3の構造物特定ルーティン#10Cに進み、上述の処理が施され、選択された構造物が実写画像IC上で強調表示される。
【0077】
このようにカメラ撮像方向を変更することにより、より広い範囲の構造物について実写画像IC上の構造物と地図画像IM上の構造物間の対応関係を認識できる。なお、上述の例では、ユーザが地図上の構造物を指定することに応じてカメラの撮像方向を変更させたが、ユーザがカメラの撮像方向を変更させてカメラの視野空間に入った構造物を指定するようにしてもよい。また、撮像方向の代わりに撮像倍率を変更させるようにしてもよい。
【0078】
なお、ここまで述べてきた例では、画像表示部7は、1つのディスプレイに実写画像ICと地図画像IMを2画面表示させているが、2つのディスプレイに各々を表示するようにしてもよい。また、実写画像ICと地図画像IMは同時に表示されなくてもよい。この場合、例えば、はじめ地図画像IMのみがディスプレイに表示されており、ユーザが構造物を指定すると、画面が実写画像ICに切り替わり、対応する構造物が強調表示される。また、ユーザが構造物を指定した後、地図画像IMと実写画像ICの2画面表示に切り替えてもよい。これらは、はじめに実写画像ICが表示されており、そこから構造物を指定する場合においても同様である。
【0079】
このように、ユーザが構造物を指定する際には、実写画像IC又は地図画像IMのいずれか一方を表示するようにすることにより、1つのディスプレイで2画面表示を行う場合と比べて画像を大きなサイズで表示できるため、構造物を指定しやすくなる。
【0080】
また、上述の例では、カメラは自動車に取り付けられているとしたが、これに限らず、携帯電話や船舶、飛行機等の移動体に取り付けられていてもよいし、建物等に据え付けられていてもよい。また、カメラとディスプレイは、離れた場所に存在していてもよい。
【0081】
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形ができることは言うまでもない。
【産業上の利用可能性】
【0082】
本発明の情報表示装置は、車両内に設置されるカーナビゲーション装置、車載情報端末、およびディスプレイなどの映像表示装置等として有用である。また、歩行者に携行される携帯電話や、船舶や航空機などの移動体におけるナビゲーション装置としても利用できる。
【図面の簡単な説明】
【0083】
【図1】本発明の第1の実施の形態にかかる情報表示装置の構成を示すブロック図
【図2】図1に示した情報表示装置において画像表示部に表示される地図画像及び実写画像の一例を示す説明図
【図3】図2に示した情報表示装置において、実写画像上に表示されている構造物が指定された時に、地図画像IM上に対応する構造物が強調表示される様子を示す説明図
【図4】図1に示した情報表示装置において、実写画像上に表示されている構造物の指定に応じて、地図画像IM上に対応する構造物が強調表示させる動作を表すフローチャート
【図5】図4に示した第1の構造物特定ルーティンにおける動作の説明図
【図6】図1に示した情報表示装置の第1の変形例における構造物の強調表示動作を表すフローチャート
【図7】図1に示した情報表示装置の第2の変形例における構造物の強調表示動作を表すフローチャート
【図8】図1に示した情報表示装置の第3の変形例において、画像表示部に表示される地図画像及び実写画像の一例を示す説明図
【図9】本発明の第2の実施の形態にかかる情報表示装置において、地図画像上に表示されている構造物が指定された時に、実写画像に対応する構造物が強調表示される様子を示す説明図
【図10】本発明の第2の実施の形態にかかる情報表示装置における構造物の強調表示動作を表すフローチャート
【図11】本発明の第2の実施の形態にかかる情報表示装置の第1の変形例において、地図画像上に表示されている構造物が指定された時に、実写画像に対応する構造物が強調表示される様子を示す説明図
【図12】本発明の第3の実施の形態にかかる情報表示装置における構造物の強調表示動作を表すフローチャート
【図13】本発明の第4の実施の形態にかかる情報表示装置における構造物の強調表示動作を表すフローチャート
【符号の説明】
【0084】
IDA、IDAr 情報表示装置
1 実写画像取得部
2 位置情報取得部
3 カメラ属性情報取得部
4 地図情報記憶部
5 構造物対応関係取得部
6 入力部
7 画像表示部
IC 実写画像
IM 地図画像
U ユーザ
【特許請求の範囲】
【請求項1】
実写画像を取得する実写画像取得手段と、
地図情報を記憶する地図情報記憶手段と、
前記地図情報に基づいて地図画像を生成する手段と、
前記実写画像及び前記地図画像を表示する画像表示手段と、
ユーザの動作に基づいて、前記実写画像及び前記地図画像の何れか一方に表示される構造物の少なくとも1つを指定する入力手段と、
前記実写画像に表示される構造物と、前記地図画像に表示される構造物との対応関係を取得する構造物対応関係取得手段とを備え、
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方に表示されている構造物が指定された時に、他方に表示されている構造物の内で、当該指定された構造物に対応する構造物を強調表示することを特徴とする情報表示装置。
【請求項2】
前記画像表示手段は、前記実写画像及び前記地図画像を同時に表示することを特徴とする請求項1に記載の情報表示装置。
【請求項3】
前記画像表示手段は、前記入力手段により構造物が指定される時には、前記実写画像及び地図画像の少なくとも一方を表示し、当該指定された構造物に対応する構造物を強調表示する際には、当該実写画像及び当該地図画像の内で少なくとも当該強調表示される構造物を表示する方を表示することを特徴とする請求項1に記載の情報表示装置。
【請求項4】
前記入力手段はタッチパネルであり、
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方に表示されている構造物がタッチされた時、他方に表示されている構造物の内で当該タッチされた構造物に対応するものを強調表示することを特徴とする請求項1に記載の情報表示装置。
【請求項5】
前記実写画像取得手段は、前記実写画像を撮像するカメラを備え、
前記構造物対応関係取得手段は、前記実写画像の撮像時の前記カメラの位置と、撮像方向と撮像範囲を定めるパラメータであるカメラ属性とに基づいて、前記実写画像に表示される構造物と前記地図画像に表示される構造物との対応関係を取得することを特徴とする請求項1に記載の情報表示装置。
【請求項6】
前記カメラ属性は、前記実写画像を撮像した時の前記カメラのカメラ角と焦点距離と画像サイズであることを特徴とする請求項5に記載の情報表示装置。
【請求項7】
前記画像表示手段は、前記実写画像及び前記地図画像上にユーザが指定可能な構造物を示すための補助表示を重畳することを特徴とする請求項1に記載の情報表示装置。
【請求項8】
前記画像表示手段は、前記実写画像において他の構造物によって、少なくともその一部が隠蔽されている構造物について、当該実写画像上に当該隠蔽されている構造物が存在することを示す補助表示を重畳することを特徴とする請求項1に記載の情報表示装置。
【請求項9】
前記実写画像の視野空間内にある障害物を検出する障害物検出手段をさらに備え、
前記画像表示手段は、前記実写画像中で前記障害物検出手段によって検出された障害物に少なくともその一部が隠蔽されている構造物が存在することを示す補助表示を当該実写画像上に重畳することを特徴とする請求項8に記載の情報表示装置。
【請求項10】
前記画像表示手段は、前記実写画像及び前記地図画像の何れか一方の画像中に表示されている構造物が指定される間、他方に表示されている構造物の内で、当該指定された構造物に対応する構造物を強調表示することを特徴とする情報表示装置。
【請求項11】
前記画像表示手段は、前記構造物が指定される順番及び前記構造物の属性の何れか一方に基づいて、当該指定された構造物に対応する構造物の強調表示方法を変えることを特徴とする請求項1に記載の情報表示装置。
【請求項12】
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方において指定された構造物と、他方において当該指定された構造物に対応する構造物とを、共に強調表示することを特徴とする請求項1に記載の情報表示装置。
【請求項13】
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方において指定された構造物と、他方において当該指定された構造物に対応する構造物とを、関連付けて強調表示することを特徴とする請求項12に記載の情報表示装置。
【請求項14】
前記画像表示手段は、前記実写画像の視野空間内に在る構造物が前記地図画像上に表示されるように地図表示範囲を設定することを特徴とする請求項1に記載の情報表示装置。
【請求項15】
前記入力手段は、構造物の属性によって指定方法が異なることを特徴とする請求項1に記載の情報表示装置。
【請求項16】
前記実写画像取得手段は、前記実写画像の撮像方向及び撮像倍率の少なくとも一方が変更可能であることを特徴とする請求項5に記載の情報表示装置。
【請求項17】
前記実写画像取得手段は、前記地図画像において前記実写画像の視野空間内にない構造物を指定した時に、前記撮像方向及び前記撮像倍率の少なくとも一方を変更することを特徴とする請求項16に記載の情報表示装置。
【請求項1】
実写画像を取得する実写画像取得手段と、
地図情報を記憶する地図情報記憶手段と、
前記地図情報に基づいて地図画像を生成する手段と、
前記実写画像及び前記地図画像を表示する画像表示手段と、
ユーザの動作に基づいて、前記実写画像及び前記地図画像の何れか一方に表示される構造物の少なくとも1つを指定する入力手段と、
前記実写画像に表示される構造物と、前記地図画像に表示される構造物との対応関係を取得する構造物対応関係取得手段とを備え、
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方に表示されている構造物が指定された時に、他方に表示されている構造物の内で、当該指定された構造物に対応する構造物を強調表示することを特徴とする情報表示装置。
【請求項2】
前記画像表示手段は、前記実写画像及び前記地図画像を同時に表示することを特徴とする請求項1に記載の情報表示装置。
【請求項3】
前記画像表示手段は、前記入力手段により構造物が指定される時には、前記実写画像及び地図画像の少なくとも一方を表示し、当該指定された構造物に対応する構造物を強調表示する際には、当該実写画像及び当該地図画像の内で少なくとも当該強調表示される構造物を表示する方を表示することを特徴とする請求項1に記載の情報表示装置。
【請求項4】
前記入力手段はタッチパネルであり、
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方に表示されている構造物がタッチされた時、他方に表示されている構造物の内で当該タッチされた構造物に対応するものを強調表示することを特徴とする請求項1に記載の情報表示装置。
【請求項5】
前記実写画像取得手段は、前記実写画像を撮像するカメラを備え、
前記構造物対応関係取得手段は、前記実写画像の撮像時の前記カメラの位置と、撮像方向と撮像範囲を定めるパラメータであるカメラ属性とに基づいて、前記実写画像に表示される構造物と前記地図画像に表示される構造物との対応関係を取得することを特徴とする請求項1に記載の情報表示装置。
【請求項6】
前記カメラ属性は、前記実写画像を撮像した時の前記カメラのカメラ角と焦点距離と画像サイズであることを特徴とする請求項5に記載の情報表示装置。
【請求項7】
前記画像表示手段は、前記実写画像及び前記地図画像上にユーザが指定可能な構造物を示すための補助表示を重畳することを特徴とする請求項1に記載の情報表示装置。
【請求項8】
前記画像表示手段は、前記実写画像において他の構造物によって、少なくともその一部が隠蔽されている構造物について、当該実写画像上に当該隠蔽されている構造物が存在することを示す補助表示を重畳することを特徴とする請求項1に記載の情報表示装置。
【請求項9】
前記実写画像の視野空間内にある障害物を検出する障害物検出手段をさらに備え、
前記画像表示手段は、前記実写画像中で前記障害物検出手段によって検出された障害物に少なくともその一部が隠蔽されている構造物が存在することを示す補助表示を当該実写画像上に重畳することを特徴とする請求項8に記載の情報表示装置。
【請求項10】
前記画像表示手段は、前記実写画像及び前記地図画像の何れか一方の画像中に表示されている構造物が指定される間、他方に表示されている構造物の内で、当該指定された構造物に対応する構造物を強調表示することを特徴とする情報表示装置。
【請求項11】
前記画像表示手段は、前記構造物が指定される順番及び前記構造物の属性の何れか一方に基づいて、当該指定された構造物に対応する構造物の強調表示方法を変えることを特徴とする請求項1に記載の情報表示装置。
【請求項12】
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方において指定された構造物と、他方において当該指定された構造物に対応する構造物とを、共に強調表示することを特徴とする請求項1に記載の情報表示装置。
【請求項13】
前記画像表示手段は、前記実写画像及び前記地図画像のいずれか一方において指定された構造物と、他方において当該指定された構造物に対応する構造物とを、関連付けて強調表示することを特徴とする請求項12に記載の情報表示装置。
【請求項14】
前記画像表示手段は、前記実写画像の視野空間内に在る構造物が前記地図画像上に表示されるように地図表示範囲を設定することを特徴とする請求項1に記載の情報表示装置。
【請求項15】
前記入力手段は、構造物の属性によって指定方法が異なることを特徴とする請求項1に記載の情報表示装置。
【請求項16】
前記実写画像取得手段は、前記実写画像の撮像方向及び撮像倍率の少なくとも一方が変更可能であることを特徴とする請求項5に記載の情報表示装置。
【請求項17】
前記実写画像取得手段は、前記地図画像において前記実写画像の視野空間内にない構造物を指定した時に、前記撮像方向及び前記撮像倍率の少なくとも一方を変更することを特徴とする請求項16に記載の情報表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−127437(P2007−127437A)
【公開日】平成19年5月24日(2007.5.24)
【国際特許分類】
【出願番号】特願2005−318341(P2005−318341)
【出願日】平成17年11月1日(2005.11.1)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】
【公開日】平成19年5月24日(2007.5.24)
【国際特許分類】
【出願日】平成17年11月1日(2005.11.1)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]