拡張現実表現システムおよび方法
【課題】現実環境の景色を透過型ディスプレイを通して眺望したときに、眺望している景色に存在する地物の地理的位置情報に基づいて、その地物に関連する情報を、景色に重畳するように透過型ディスプレイ上に表示する拡張現実表現システムおよび方法を提供する。
【解決手段】記憶手段18を備えたコンピュータ19と、当該コンピュータ19とデータ通信回線で接続された眺望者Hの前方に設置された透過型ディスプレイ10と、透過型ディスプレイ10の設置されている場所の地理座標(Xg,Yg,Zg)を計測する地理位置計測センサ11および眺望者Hの視点位置eyeを計測する視点位置計測センサ12とからなり、当該コンピュータ19は、位置・姿勢算出部13と、ディスプレイ位置算出部14と、視点位置算出部15と、描画方法指定部17と、CG描画部16とを含む。
【解決手段】記憶手段18を備えたコンピュータ19と、当該コンピュータ19とデータ通信回線で接続された眺望者Hの前方に設置された透過型ディスプレイ10と、透過型ディスプレイ10の設置されている場所の地理座標(Xg,Yg,Zg)を計測する地理位置計測センサ11および眺望者Hの視点位置eyeを計測する視点位置計測センサ12とからなり、当該コンピュータ19は、位置・姿勢算出部13と、ディスプレイ位置算出部14と、視点位置算出部15と、描画方法指定部17と、CG描画部16とを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実環境の景色を透過型ディスプレイを通して眺望したときに、眺望している景色に存在する地物の地理的位置情報に基づいて、その地物に関連するテキスト、アイコン、映像などの情報を、景色に重畳するように透過型ディスプレイ上に表示する拡張現実表現システムおよび方法に関する。
【背景技術】
【0002】
拡張現実(拡張現実感ともいう)とは、現実環境にコンピュータを用いて情報を付加提示する技術、および情報を付加提示された環境そのものをいう。
【0003】
インターネットや携帯電話などのデジタルネットワークの発達、衛星測位やこれを補完する位置の把握に必要な電波等の送信と受信機の普及により、拡張現実技術にモバイルデバイスにおける位置情報技術を組み合わせたサービスが浮揚している。
【0004】
そのひとつとして、モバイル端末に付属するカメラを通して現実環境を撮影し、モバイル端末のディスプレイに表示させる際に、モバイル端末に付属する全地球測位システム(GPS)機能や電子コンパスで測位した撮影地点の位置情報をトリガーに、その場所に関するインターネット上の投稿情報などを付加表示する拡張現実感体験サービスがある。
【0005】
このようなサービスに使われるメディアは、多くがスマートフォンや携帯電話で、それらのアプリケーションが多く開発されてきている。
【0006】
また、屋外・店頭・公共空間・交通機関などに、ネットワークに接続した平面ディスプレイやプロジェクタなどの電子的な表示機器を設置し、表示機器周辺の人の存在や視線を感知して、表示機器の前を移動していく往来者に対して、広告などの映像や情報を表示する電子看板(デジタルサイネージ)がある。
【0007】
拡張現実感体験サービスやデジタルサイネージなどの拡張現実技術は、デジタル情報を扱うため、情報の選別や切り替えが可能になり、情報の多言語化や、ユーザの属性(性別や年齢層、嗜好など)により分類して、個々のグループあるいは個々人に関連が強い情報を選択的に提供するパーソナルセグメンテーションなどの検索技術と組み合わせ、広告やアミューズメント分野だけでなく、実用的な分野でも利用されてきている。
【0008】
例えば、特許文献1に開示されているように、ナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に認識できるように、移動体の姿勢を推定し、ナビゲーション情報の画像を、移動体に搭載したカメラで撮影した前方の道路の実写映像中(または実景中)の適切な位置に合成して表示する移動休ナビゲート情報表示装置が開発されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】国際公開第2006/035755号
【発明の概要】
【発明が解決しようとする課題】
【0010】
多くの拡張現実感体験サービスに用いられるモバイル端末は、手でかざす、角度を変える、視点を動かすなど、絶えず意識していろいろな動作をする必要があり、歩きながら街の雰囲気を感じ取っていくといった自然な情報の発見ができない。また、高齢者やこどもなど、画面や操作ボタンが小さい端末や、高機能ゆえに複雑になった端末操作を苦手とする人たちにとって、恩恵を受ける機会の損失になっている。
【0011】
拡張現実感体験サービスやデジタルサイネージでは、あらかじめ記憶媒体に記憶させておいた映像や、カメラで撮影している現在の映像を表示しているディスプレイ上に、情報を合成して表示する。したがって、あらかじめ記録している映像ではディスプレイに表示されている物体のディスプレイ上の位置は、どこから見ても決まっているため、情報を表示する位置も容易に決定できる。また、手持ちのカメラで現在の映像を表示している場合は、撮影対象とカメラとの2つの位置関係で決まる。
【0012】
しかし、人が目で見ている景色では、その人の立っている位置や視点の位置によって、視野の中のどの位置にどの物体が見えているかは異なってくる。そのため、人の周辺あるいは少し離れた場所に透明ディスプレイを設置して情報を表示しようとしたとき、現在開発されている拡張現実技術では、人が見ている景色に対して、適切な位置に情報を表示することはできない。
【0013】
たとえば、特許文献1に開示された技術では、ナビゲーション情報の画像を、移動体に搭載したカメラで撮影した前方の道路の実写映像中の適切な位置に合成して、ダッシュボード上に設置された液晶表示パネルのような表示装置に表示する。
【0014】
これは、上述したように、表示装置であるディスプレイに表示された実写映像に対して、ナビゲーション情報を表示するのに適切な位置に決定しているため、ドライバーがどの角度から見ていても構わない。
【0015】
一方、特許文献1には、実視景観と重なるように、ナビゲーション情報を運転席前面の透明窓の内側表面に投影することも可能であると記載されている。しかし、ドライバーの座高や姿勢、運転席の背もたれをどれぐらい傾けて運転するかによって、ドライバーの視点が異なってしまう。そのため、厳密には、ドライバーからは、実視景観の正しい位置にナビゲーション情報が見えない場合も生じる。
【0016】
以上にように、従来の拡張現実技術では、ディスプレイに表示される映像に対しては、ディスプレイと対象物の位置が分かれば適切な位置に情報を表示することができても、人とディスプレイと対象物のそれぞれが動くことを前提とした人が実際に見ている景色に対しては、適切な位置に情報を表示することはできないという課題があった。
【課題を解決するための手段】
【0017】
本発明の拡張現実表現システムは、記憶手段を備えたコンピュータと、当該コンピュータとデータ通信回線で接続された、眺望者の乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、移動体の地理座標系の位置と傾きを計測し送信するGPSアンテナを含む地理位置計測センサと、眺望者の視点位置を計測し、視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサとからなり、記憶手段は、透過型ディスプレイの4隅の位置と視点位置計測センサの位置をGPSアンテナの位置を原点とした移動体座標系で表した移動体座標と、視点位置計測センサの傾きから算出した第2の回転行列とをあらかじめ格納したキャリブレーション情報データベースと、透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、関連情報である地物属性、描画形状、描画属性を含む地物情報をあらかじめ格納した地物情報データベースとを含み、コンピュータは、地理位置計測センサに接続され、移動体座標系の原点として地理位置計測センサによって計測されるGPSアンテナの設置位置の地理座標と、地理位置計測センサによって計測されるGPSアンテナの設置場所の傾きから算出した第1の回転行列を出力する位置・姿勢算出部と、位置・姿勢算出部とキャリブレーション情報データベースに接続され、キャリブレーション情報データベースから透過型ディスプレイの4隅の移動体座標を読み出し、位置・姿勢算出部から受信する移動体座標系の原点の地理座標および第1の回転行列を用いて、透過型ディスプレイの4隅の地理座標を算出するディスプレイ位置算出部と、視点位置計測センサと、位置・姿勢算出部およびキャリブレーション情報データベースに接続され、キャリブレーション情報データベースから視点位置計測センサの移動体座標および第2の回転行列を読み出し、視点位置計測センサから受信する視点センサ座標を移動体座標系で表した視点移動体座標に変換し、位置・姿勢算出部から受信する移動体座標系の原点の地理座標および第1の回転行列を用いて、視点移動体座標を地理座標系で表した視点地理座標に変換する視点位置算出部と、透過型ディスプレイと、地物情報データベースと、視点位置算出部と、位置・姿勢算出部に接続され、視点地理座標と透過型ディスプレイの4隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された地物情報を地物情報データベースより読み出し、描画形状と描画属性に基づいて、透過型ディスプレイ上における眺望者が見ている地物の位置に投影されるように地物属性をCG合成し、透過型ディスプレイ上に表示するCG描画部とを含むことを要旨とする。
【0018】
また、本発明の拡張現実表現方法は、眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、移動体の位置と傾きを計測し送信するGPSアンテナを含む地理位置計測センサと、眺望者の視点位置を計測し視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサのそれぞれとデータ通信回線で接続された記憶手段を備えたコンピュータによる拡張現実表現方法であって、コンピュータは、記憶手段に、透過型ディスプレイの4隅の位置と視点位置計測センサの位置をGPSアンテナの位置を原点とした移動体座標系で表した移動体座標と、視点位置計測センサの傾きから算出した第2の回転行列とからなるキャリブレーション情報データベースと、透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、関連情報である地物属性、描画形状、描画属性を含む地物情報からなる地物情報データベースを格納し、移動体座標系の原点として地理位置計測センサによって計測されるGPSアンテナの設置位置の地理座標を受信し、地理位置計測センサによって計測されるGPSアンテナの設置場所の傾きから第1の回転行列を算出し、キャリブレーション情報データベースから透過型ディスプレイの4隅の移動体座標を読み出し、移動体座標系の原点の地理座標および第1の回転行列を用いて、透過型ディスプレイの4隅の地理座標を算出し、キャリブレーション情報データベースから視点位置計測センサの移動体座標および第2の回転行列を読み出し、視点位置計測センサの移動体座標および第2の回転行列を用いて、視点位置計測センサから受信する視点センサ座標を移動体座標系で表した視点移動体座標に変換し、移動体座標系の原点の地理座標および第1の回転行列を用いて、視点移動体座標を地理座標系で表した視点地理座標に変換し、視点地理座標と透過型ディスプレイの4隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された地物情報を地物情報データベースより読み出し、描画形状と描画属性に基づいて、透過型ディスプレイ上における眺望者が見ている地物の位置に投影されるように地物属性をCG合成し、透過型ディスプレイ上に表示することを要旨とする。
【発明の効果】
【0019】
本発明によれば、人が実際に見ている景色に対して、人の視点から適切な位置に情報を表示することができる。
【0020】
また、本発明によれば、デバイスを位置や操作を意識することなく拡張現実体験ができ、移動しながらでも、自然な体勢で関連情報を見ることができる。
【0021】
さらに、本発明によれば、景色を見ている人の現在地点に限定されず、見ている景色に含まれる近傍の場所に関する情報を、見ている人の個別情報としてICチップ等にあらかじめ設定された属性に従って選択的に提供することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の拡張現実表現システムの模式図
【図2】本発明の拡張現実表現システムの構成図
【図3】(a)キャリブレーション情報データベースの構成図、(b)地物情報データベースの構成図
【図4】視体積の模式図
【図5】準備工程のフローチャート
【図6】位置決定工程のフローチャート(その1)
【図7】位置決定工程のフローチャート(その2)
【図8】地物情報表示工程のフローチャート
【図9】透過型ディスプレイ上の表示位置決定の模式図
【図10】実施例1のバスの窓の場合の表示例
【図11】実施例1の電車の窓の場合の表示例
【図12】実施例2の窓付エレベータの窓の場合の表示例
【図13】実施例3の展望台の窓の場合の表示例
【発明を実施するための形態】
【0023】
本発明の拡張現実表現システムは、図1の模式図に示したように、眺望者Hの前方に設置された透過型ディスプレイ10上に、GPSアンテナ11aを含む地理位置計測センサ11と視点位置計測センサ12によって計測した位置情報に基づいて、透過型ディスプレイ10の4隅w1、w2、w3、およびw4の位置や眺望者Hの視点の地理的位置情報を算出し、透過型ディスプレイ10を通して眺望者Hが見ている景色内に存在する地物の情報を、景色の適切な位置に重畳して見えるように、透過型ディスプレイ10上に表示するシステムである。
【0024】
(語句の定義)
本発明の拡張現実表現システムの説明にあたり、使用する語句の意味について定義する。
【0025】
眺望者H:透過型ディスプレイ10を通して、透過型ディスプレイ10の向こう側にある現実空間の景色を見ている人をいう。
【0026】
地理座標系Pg:地球上の任意の位置nを表す3次元座標系であり、緯度・経度・標高と変換可能であるとする。平面直角座標系、UTM座標系、地心座標系等がある。本発明の説明では、位置nの地理座標(Xgn,Ygn,Zgn)をPg(n)と表記する。
【0027】
移動体座標系Pv:透過型ディスプレイ10の据えられた移動体に設置されたGPSアンテナ11aの位置v0を座標系の原点とし、移動体の高さ方向をZ軸、移動体の前方向をX軸とする右手座標系であり、移動体に設置されたものの位置nの移動体座標(Xvn,Yvn,Zvn)をPv(n)と表記する。
【0028】
具体的には、GPSアンテナ11aの位置v0は、地理座標Pg(v0)=(Xgv0,Ygv0,Zgv0)であり、移動体座標Pv(v0)=(0,0,0)となる。
【0029】
センサ座標系Ps:移動体に設置された視点位置計測センサ12の位置s0を座標系の原点とし、視点位置計測センサ12に対する眺望者Hの視点(瞳)の位置を表す座標系であり、計測された位置nのセンサ座標(Xsn,Ysn,Zsn)をPs(n)と表記する。
具体的には、視点位置計測センサ12の位置s0は、移動体座標Pv(s0)=(Xvs0,Yvs0,Zvs0)であり、センサ座標Ps(s0)=(0,0,0)となる。
【0030】
第1の回転行列Rv:移動体座標系Pvで表されたものの位置nを地理座標系Pgで表すために、移動体座標Pv(n)の値を地理座標Pg(n)の値に変換する下記の式1で用いられる回転行列をいう。
【0031】
Pg(n) = Rv ・ Pv(n) + Pg(v0) ・・・・・(式1)
第2の回転行列Rs:センサ座標系Psで表された眺望者Hの視点の位置nを移動体座標Pvで表すために、センサ座標Ps(n)の値を移動体座標Pv(n)の値に変換する下記の式2で用いられる回転行列をいう。
【0032】
Pv(n) = Rs ・ Ps(n) + Pv(s0) ・・・・・(式2)
(システム構成の説明)
本発明の拡張現実表現システムは、図2に示すように、記憶手段18を備えたコンピュータ19と、当該コンピュータ19とデータ通信回線で接続された眺望者Hの前方に設置された透過型ディスプレイ10と、透過型ディスプレイ10の設置されている場所の地理座標(Xg,Yg,Zg)を計測する地理位置計測センサ11および眺望者Hの視点位置eyeを計測する視点位置計測センサ12とからなる。
【0033】
コンピュータ19は、位置・姿勢算出部13と、ディスプレイ位置算出部14と、視点位置算出部15と、描画方法指定部17と、CG描画部16とを含み、記憶手段18には、キャリブレーション情報データベース18aと地物情報データベース18bが記憶される。
【0034】
透過型ディスプレイ10とは、ディスプレイの向こう側が透けて見えるように情報の表示面を透明にした、文字や、画像や、動画などの情報を表示するための平面ディスプレイであり、有機ELパネル、リアプロジェクション等を用いる。
【0035】
透過型ディスプレイ10は、人が指で触れることで操作できるタッチパネル式であることが望ましく、移動体に据える場合は、移動体に設けられた窓20の透明ガラス平面に隣接または密着させて据える。
【0036】
地理位置計測センサ11とは、GPSアンテナ11aの設置位置v0の地理座標Pg(v0)を計測するGPSと、GPSアンテナ11aを設置した場所(例えば、移動体)の傾き(姿勢)を計測する慣性計測装置(IMU)11bからなる。
【0037】
視点位置計測センサ12とは、リアルタイム画像処理等の手法により、眺望者Hの視点位置eyeを計測する部位であり、眺望者Hの視点位置eyeをセンサ座標系Psにて表された視点センサ座標Ps(eye)として出力する。近年利用されている瞳位置抽出センサやステレオ画像センサが利用でき、透過型ディスプレイ10の前に存在する眺望者Hの顔をモニタできる位置に設置する。
【0038】
キャリブレーション情報データベース18aには、図3(a)に示すように、透過型ディスプレイ10と、GPSアンテナ11aと、視点位置計測センサ12とを設置する際に、GPSアンテナ11aを基準点(原点)とした透過型ディスプレイ10の4隅w1、w2、w3、およびw4の位置と、視点位置計測センサ12の位置s0および傾きを測量した結果を、移動体座標系Pvにて表された移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)、センサ座標系の原点の移動体座標Pv(s0)および第2の回転行列Rsとしてあらかじめ格納しておく。
【0039】
地物情報データベース18bには、透過型ディスプレイ10に情報を描画するための地物情報を格納する。地物情報は、図3(b)に示すように、基本的に、(1)地物の位置を代表する地点の地理座標、(2)地物を示すための1点の地理座標、もしくは線や面を示す複数地点の地理座標の列によりなる描画形状、(3)道路や家屋等の地物の種別、(4)地物名称や表示したい情報等の地物属性、および(5)描画色・描画線太さ・塗りつぶしパターン・塗りつぶし色・テクスチャ画像等の描画属性から構成される。
【0040】
位置・姿勢算出部13は、地理位置計測センサ11に接続され、GPSによって計測されたGPSアンテナ11aの設置位置v0の地理座標Pg(v0)を移動体座標系Pvの原点とし出力するとともに、IMU11bによって計測されたGPSアンテナ11aの設置場所における移動体座標系の地理座標系に対する傾きを示すロール・ピッチ・ヨー等の角度から、式1に適用するための第1の回転行列Rvを算出して出力する。
【0041】
ディスプレイ位置算出部14は、位置・姿勢算出部13とキャリブレーション情報データベース18aに接続され、キャリブレーション情報データベース18aから透過型ディスプレイ10の4隅の移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)を読み出し、位置・姿勢算出部13から受信する移動体座標系Pvの原点の地理座標Pg(v0)および第1の回転行列Rvを用いて、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を式1により算出する。
【0042】
視点位置算出部15は、視点位置計測センサ12と、位置・姿勢算出部13およびキャリブレーション情報データベース18aに接続され、キャリブレーション情報データベース18aからセンサ座標系Psの原点の移動体座標Pv(s0)および第2の回転行列Rsを読み出し、視点位置計測センサ12から受信する視点センサ座標Ps(eye)を式2を用いて視点移動体座標Pv(eye)に変換する。
【0043】
次に、視点位置算出部15は、位置・姿勢算出部13から受信する移動体座標系Pvの原点の地理座標Pg(v0)および第1の回転行列Rvを用いて、式1により視点移動体座標Pv(eye)を視点地理座標Pg(eye)に変換する。
【0044】
描画方法指定部17は、透過型ディスプレイ10に接続され、透過型ディスプレイ10上に描画方法を指定するメニューGUIを表示し、眺望者HがメニューGUIから指定した描画の有無や地物の種別などの項目をCG描画部16に送信する。
【0045】
CG描画部16は、透過型ディスプレイ10と、地物情報データベース18bと、視点位置算出部15と、位置・姿勢算出部13および描画方法指定部17に接続され、描画方法指定部17から指定された地物の種別と、視点地理座標Pg(eye)と透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を結ぶ線で形成される図4に示した四角錐(視体積30という)に重なる、もしくは含まれる地理座標Pg(n)とが設定された地物情報を地物情報データベース18bより読み出す。
【0046】
続いて、CG描画部16は、地物情報に設定された描画形状と描画属性に基づいて、地物属性として設定されている地物名称や表示したい情報を、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を結ぶ平面上における眺望者Hが見ている地物の位置に投影されるようにCG合成し、透過型ディスプレイ10上に表示する。
【0047】
(システムの処理フローの説明)
次に、本システムの運用に関する各工程の処理について、図5から図8に示した処理フローに従って説明する。
【0048】
準備工程:
S100:本システムの透過型ディスプレイ10と、GPSアンテナ11aと、視点位置計測センサ12とを設置する際に、GPSアンテナ11aを基準点(原点)とした透過型ディスプレイ10の4隅w1、w2、w3、およびw4の位置と、視点位置計測センサ12の位置s0および傾きを測量する。この際、座標軸は移動体前方をX,移動体の側面左方向をY,移動体上方をZとする。
【0049】
S101:透過型ディスプレイ10の4隅w1、w2、w3、およびw4の位置の測量結果を、移動体座標系Pvにて表された移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)として、キャリブレーション情報データベース18aに格納する。
【0050】
S102:さらに、視点位置計測センサ12の位置s0および傾きの測量結果から、センサ座標系Psの原点の移動体座標Pv(s0)および第2の回転行列Rsを算出して、キャリブレーション情報データベース18aに格納する。
【0051】
S103:また、本システムにより透過型ディスプレイ10に情報を描画するための地物情報を、地物情報データベース18bに格納する。
【0052】
位置決定工程:
S200:地理位置計測センサ11は、一定間隔で、GPSアンテナ11aの設置位置v0の地理座標Pg(v0)とGPSアンテナ11aを設置した場所の傾きの計測を繰り返し、計測結果を位置・姿勢算出部13に送信する。
【0053】
S201:計測結果を受信した位置・姿勢算出部13は、GPSアンテナ11aの設置位置v0の地理座標Pg(v0)と、計測された傾きから算出した第1の回転行列Rvを、ディスプレイ位置算出部14と視点位置算出部15に出力する。
【0054】
ここで、位置・姿勢算出部13からディスプレイ位置算出部14と視点位置算出部15に、地理座標Pg(v0)と第1の回転行列Rvを出力するタイミングは、地理位置計測センサ11から計測結果を受信する毎であってもよいし、前回の計測結果と異なる計測結果を受信した場合、つまり位置に変化が生じた場合のみであってもよい。
【0055】
S202:位置・姿勢算出部13から地理座標Pg(v0)と第1の回転行列Rvを受信したディスプレイ位置算出部14は、キャリブレーション情報データベース18aから透過型ディスプレイ10の4隅の移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)を読み出す。
【0056】
S203:次に、ディスプレイ位置算出部14は、位置・姿勢算出部13から受信した地理座標Pg(v0)および第1の回転行列Rvと、透過型ディスプレイ10の4隅の移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)を式1に代入して、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を算出する。
【0057】
S204:ディスプレイ位置算出部14は、算出した透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)をCG描画部16に出力する。
【0058】
S300:一方、視点位置計測センサ12は、透過型ディスプレイ10の前に現れた眺望者Hの視点位置eyeを計測し、視点位置が変化する毎に、センサ座標系Psにて表された視点センサ座標Ps(eye)として視点位置算出部15に出力する。
【0059】
S301:視点位置算出部15は、視点位置計測センサ12から視点センサ座標Ps(eye)を受信する毎に、キャリブレーション情報データベース18aからセンサ座標系Psの原点の移動体座標Pv(s0)および第2の回転行列Rsを読み出す。
【0060】
S302:次に、視点位置算出部15は、読み出した移動体座標Pv(s0)および第2の回転行列Rsと、視点位置計測センサ12から受信した視点センサ座標Ps(eye)を式2に代入して、視点移動体座標Pv(eye)を算出する。
【0061】
S303:続いて、視点位置算出部15は、算出した視点移動体座標Pv(eye)と、位置・姿勢算出部13から受信した地理座標Pg(v0)および第1の回転行列Rvを式1に代入して、視点地理座標Pg(eye)を算出する。
【0062】
S304:視点位置算出部15は、算出した視点地理座標Pg(eye)をCG描画部16に出力する。
【0063】
地物情報表示工程:
S400:描画方法指定部17は、透過型ディスプレイ10上に表示した描画方法を指定するメニューGUIから、眺望者Hが指定した描画の有無や地物の種別などの項目をCG描画部16に送信する。
【0064】
S401:CG描画部16は、ディスプレイ位置算出部14から受信した透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)と、視点位置算出部15から受信した視点地理座標Pg(eye)を結ぶ線で形成される図4に示したような視体積30の3次元空間を想定する。
【0065】
S402:CG描画部16は、視体積30の3次元空間に含まれる地理座標Pg(n)が設定された地物情報を地物情報データベース18bから読み出す。
【0066】
S403:さらに、CG描画部16は、読み出した地物情報のうちで、描画方法指定部17から指定された地物の種別などの項目を含むものを抽出する。
【0067】
S404:続いて、CG描画部16は、抽出した地物情報に設定された描画形状と描画属性に基づいて、地物属性として設定されている地物名称や表示したい情報を、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を結ぶ平面上における眺望者Hが見ている地物の位置に投影されるようにCG合成(レンダリングともいう)し、透過型ディスプレイ10上に表示する。
【0068】
S404の地物情報のCG合成について、図9に示した模式図を参照しながら説明する。
【0069】
例えば、同じ地物(富士山)を眺望者Hが見ていたとしても、第1の視点位置Pg(eye1)にいる場合は、景色Aのように見えている。ここで、眺望者Hまたは移動体が動くことによって、眺望者Hの視点が第2の視点位置Pg(eye2)に移動すると、景色Bのように地物(富士山)の見える位置が変化する。
【0070】
このため、眺望者Hがどの位置に移動しても、地物(富士山)の見える位置に地物情報を表示するため、視体積30の仮想空間上で地物情報を表示させるラベル位置Pg(L)を決め、景色Aでは、第1の視点位置Pg(eye1)とラベル位置Pg(L)を結んだ直線と透過型ディスプレイ10との交点にあたる第1の表示位置Pg(a)を求め、透過型ディスプレイ10の第1の表示位置Pg(a)に地物情報を表示する。
【0071】
また、同様に、景色Bでは、第2の視点位置Pg(eye2)とラベル位置Pg(L)を結んだ直線と透過型ディスプレイ10との交点にあたる第2の表示位置Pg(b)を求め、透過型ディスプレイ10の第2の表示位置Pg(b)に地物情報を表示する。
【0072】
こうすることで、図9の景色Aと景色Bに示したように、眺望者Hが見ている富士山の位置に、「富士山」という文字情報が正しく表示される。
【0073】
ラベル位置Pg(L)は、地物情報データベース18bに格納した地物情報に含まれる地物の代表地理座標を利用してもよい。
【0074】
また、図2には図示していないが、描画方法指定部17に代えて、または描画方法指定部17の他に、CG描画部16に接続されたICカード読取り部を備えるようにしてもよい。
【0075】
ICカード読取り部は、眺望者Hが所持するICカードから眺望者Hの個別情報を読み取り、CG描画部16に出力する。
【0076】
CG描画部16は、地物情報データベース18bから読み出した地物情報のうちで、受信した個別情報に関連するものを選択的に抽出し、透過型ディスプレイ10に表示する。
【0077】
(実施例1)
本発明の実施例1は、図10に示したように、移動体であるバスの窓20aに透過型ディスプレイ10を設置したシステムである。
【0078】
バスの天井等に地理位置計測センサ11を設置し、座席上部や窓20枠の上部に眺望者Hである乗客の顔をモニタできるように視点位置計測センサ12を設置する。
【0079】
透過型ディスプレイ10には、図10に示したように、バスの通過している場所の町名の文字情報や地図の画像、道路の名称、店舗の広告等の文字情報が表示される。
【0080】
また、描画方法指定部17によって透過型ディスプレイ10に表示される描画方法指定メニューGUIを例示していて、言語の選択や、表示の有無(ON/OFF)の選択ができるようにしている。乗客はこのメニューをタッチして所望の条件を設定できる。
【0081】
同様に、図11に示したように、移動体である電車の窓20bに透過型ディスプレイ10を設置することもできる。
【0082】
乗客が見ている地物をタッチした時に、当該地物に関連した情報を透過型ディスプレイ10に表示するようにすることもできる。
【0083】
(実施例2)
本発明の実施例2は、図12に示したように、移動体である窓付エレベータの窓20cに透過型ディスプレイ10を設置したシステムである。
【0084】
エレベータの設備に地理位置計測センサ11を設置し、エレベータの籠の上部に眺望者Hの顔をモニタできるように視点位置計測センサ12を設置する。
【0085】
ただし、エレベータ制御のために地理位置計測センサ11以外の制御設備によって位置情報を計測する場合もあり、地理位置計測センサ11を設置せずに、エレベータ制御のための位置情報を利用しても構わない。
【0086】
さらに、窓付エレベータの窓20cは視野の範囲が狭く、眺望者Hが視点を移動させても、地物の見える位置にはほとんど変化が生じないため、視点位置計測センサ12の設置を省略しても構わない。
【0087】
図12には、文字情報や地物名称の他に、高さを比較できるものとしてタワーのCG画像を表示している例を示している。
【0088】
(実施例3)
本発明の実施例3は、図13に示したように、展望台の窓20dに透過型ディスプレイ10を設置したシステムである。
【0089】
展望台は移動しないので地理位置計測センサ11は不要であり、移動体座標系Pvによる位置表現も、移動体座標系Pvを地理座標系Pgに変換する計算も不要となる。
【0090】
透過型ディスプレイ10と視点位置計測センサ12の位置は不動となるので、センサ座標系の原点の移動体座標キャリブレーション情報データベース18aには、透過型ディスプレイ10の4隅の移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)と、センサ座標系の原点の移動体座標Pv(s0)に代わって、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)と、視点位置計測センサ12の地理座標Pg(s0)をあらかじめ設定する。
【0091】
つまり、実施例3では、位置・姿勢算出部13とディスプレイ位置算出部14が不要である。
【0092】
図13には、文字情報や地物名称の他に、地物形状やアイコンを表示している例を示している。
【0093】
以上、図10から図13に例示した透過型ディスプレイ10上に表示される情報は、それぞれの実施例に限定するものではなく、どの実施例においても表示できる。
【符号の説明】
【0094】
10 透過型ディスプレイ
11 地理位置計測センサ
11a GPSアンテナ
11b 慣性計測装置
12 視点位置計測センサ
13 位置・姿勢算出部
14 ディスプレイ位置算出部
15 視点位置算出部
16 CG描画部
17 描画方法指定部
18 記憶手段
18a キャリブレーション情報データベース
18b 地物情報データベース
19 コンピュータ
20 窓
20a バスの窓
20b 電車の窓
20c 窓付エレベータの窓
20d 展望台の窓
30 視体積
H 眺望者
【技術分野】
【0001】
本発明は、現実環境の景色を透過型ディスプレイを通して眺望したときに、眺望している景色に存在する地物の地理的位置情報に基づいて、その地物に関連するテキスト、アイコン、映像などの情報を、景色に重畳するように透過型ディスプレイ上に表示する拡張現実表現システムおよび方法に関する。
【背景技術】
【0002】
拡張現実(拡張現実感ともいう)とは、現実環境にコンピュータを用いて情報を付加提示する技術、および情報を付加提示された環境そのものをいう。
【0003】
インターネットや携帯電話などのデジタルネットワークの発達、衛星測位やこれを補完する位置の把握に必要な電波等の送信と受信機の普及により、拡張現実技術にモバイルデバイスにおける位置情報技術を組み合わせたサービスが浮揚している。
【0004】
そのひとつとして、モバイル端末に付属するカメラを通して現実環境を撮影し、モバイル端末のディスプレイに表示させる際に、モバイル端末に付属する全地球測位システム(GPS)機能や電子コンパスで測位した撮影地点の位置情報をトリガーに、その場所に関するインターネット上の投稿情報などを付加表示する拡張現実感体験サービスがある。
【0005】
このようなサービスに使われるメディアは、多くがスマートフォンや携帯電話で、それらのアプリケーションが多く開発されてきている。
【0006】
また、屋外・店頭・公共空間・交通機関などに、ネットワークに接続した平面ディスプレイやプロジェクタなどの電子的な表示機器を設置し、表示機器周辺の人の存在や視線を感知して、表示機器の前を移動していく往来者に対して、広告などの映像や情報を表示する電子看板(デジタルサイネージ)がある。
【0007】
拡張現実感体験サービスやデジタルサイネージなどの拡張現実技術は、デジタル情報を扱うため、情報の選別や切り替えが可能になり、情報の多言語化や、ユーザの属性(性別や年齢層、嗜好など)により分類して、個々のグループあるいは個々人に関連が強い情報を選択的に提供するパーソナルセグメンテーションなどの検索技術と組み合わせ、広告やアミューズメント分野だけでなく、実用的な分野でも利用されてきている。
【0008】
例えば、特許文献1に開示されているように、ナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に認識できるように、移動体の姿勢を推定し、ナビゲーション情報の画像を、移動体に搭載したカメラで撮影した前方の道路の実写映像中(または実景中)の適切な位置に合成して表示する移動休ナビゲート情報表示装置が開発されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】国際公開第2006/035755号
【発明の概要】
【発明が解決しようとする課題】
【0010】
多くの拡張現実感体験サービスに用いられるモバイル端末は、手でかざす、角度を変える、視点を動かすなど、絶えず意識していろいろな動作をする必要があり、歩きながら街の雰囲気を感じ取っていくといった自然な情報の発見ができない。また、高齢者やこどもなど、画面や操作ボタンが小さい端末や、高機能ゆえに複雑になった端末操作を苦手とする人たちにとって、恩恵を受ける機会の損失になっている。
【0011】
拡張現実感体験サービスやデジタルサイネージでは、あらかじめ記憶媒体に記憶させておいた映像や、カメラで撮影している現在の映像を表示しているディスプレイ上に、情報を合成して表示する。したがって、あらかじめ記録している映像ではディスプレイに表示されている物体のディスプレイ上の位置は、どこから見ても決まっているため、情報を表示する位置も容易に決定できる。また、手持ちのカメラで現在の映像を表示している場合は、撮影対象とカメラとの2つの位置関係で決まる。
【0012】
しかし、人が目で見ている景色では、その人の立っている位置や視点の位置によって、視野の中のどの位置にどの物体が見えているかは異なってくる。そのため、人の周辺あるいは少し離れた場所に透明ディスプレイを設置して情報を表示しようとしたとき、現在開発されている拡張現実技術では、人が見ている景色に対して、適切な位置に情報を表示することはできない。
【0013】
たとえば、特許文献1に開示された技術では、ナビゲーション情報の画像を、移動体に搭載したカメラで撮影した前方の道路の実写映像中の適切な位置に合成して、ダッシュボード上に設置された液晶表示パネルのような表示装置に表示する。
【0014】
これは、上述したように、表示装置であるディスプレイに表示された実写映像に対して、ナビゲーション情報を表示するのに適切な位置に決定しているため、ドライバーがどの角度から見ていても構わない。
【0015】
一方、特許文献1には、実視景観と重なるように、ナビゲーション情報を運転席前面の透明窓の内側表面に投影することも可能であると記載されている。しかし、ドライバーの座高や姿勢、運転席の背もたれをどれぐらい傾けて運転するかによって、ドライバーの視点が異なってしまう。そのため、厳密には、ドライバーからは、実視景観の正しい位置にナビゲーション情報が見えない場合も生じる。
【0016】
以上にように、従来の拡張現実技術では、ディスプレイに表示される映像に対しては、ディスプレイと対象物の位置が分かれば適切な位置に情報を表示することができても、人とディスプレイと対象物のそれぞれが動くことを前提とした人が実際に見ている景色に対しては、適切な位置に情報を表示することはできないという課題があった。
【課題を解決するための手段】
【0017】
本発明の拡張現実表現システムは、記憶手段を備えたコンピュータと、当該コンピュータとデータ通信回線で接続された、眺望者の乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、移動体の地理座標系の位置と傾きを計測し送信するGPSアンテナを含む地理位置計測センサと、眺望者の視点位置を計測し、視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサとからなり、記憶手段は、透過型ディスプレイの4隅の位置と視点位置計測センサの位置をGPSアンテナの位置を原点とした移動体座標系で表した移動体座標と、視点位置計測センサの傾きから算出した第2の回転行列とをあらかじめ格納したキャリブレーション情報データベースと、透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、関連情報である地物属性、描画形状、描画属性を含む地物情報をあらかじめ格納した地物情報データベースとを含み、コンピュータは、地理位置計測センサに接続され、移動体座標系の原点として地理位置計測センサによって計測されるGPSアンテナの設置位置の地理座標と、地理位置計測センサによって計測されるGPSアンテナの設置場所の傾きから算出した第1の回転行列を出力する位置・姿勢算出部と、位置・姿勢算出部とキャリブレーション情報データベースに接続され、キャリブレーション情報データベースから透過型ディスプレイの4隅の移動体座標を読み出し、位置・姿勢算出部から受信する移動体座標系の原点の地理座標および第1の回転行列を用いて、透過型ディスプレイの4隅の地理座標を算出するディスプレイ位置算出部と、視点位置計測センサと、位置・姿勢算出部およびキャリブレーション情報データベースに接続され、キャリブレーション情報データベースから視点位置計測センサの移動体座標および第2の回転行列を読み出し、視点位置計測センサから受信する視点センサ座標を移動体座標系で表した視点移動体座標に変換し、位置・姿勢算出部から受信する移動体座標系の原点の地理座標および第1の回転行列を用いて、視点移動体座標を地理座標系で表した視点地理座標に変換する視点位置算出部と、透過型ディスプレイと、地物情報データベースと、視点位置算出部と、位置・姿勢算出部に接続され、視点地理座標と透過型ディスプレイの4隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された地物情報を地物情報データベースより読み出し、描画形状と描画属性に基づいて、透過型ディスプレイ上における眺望者が見ている地物の位置に投影されるように地物属性をCG合成し、透過型ディスプレイ上に表示するCG描画部とを含むことを要旨とする。
【0018】
また、本発明の拡張現実表現方法は、眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、移動体の位置と傾きを計測し送信するGPSアンテナを含む地理位置計測センサと、眺望者の視点位置を計測し視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサのそれぞれとデータ通信回線で接続された記憶手段を備えたコンピュータによる拡張現実表現方法であって、コンピュータは、記憶手段に、透過型ディスプレイの4隅の位置と視点位置計測センサの位置をGPSアンテナの位置を原点とした移動体座標系で表した移動体座標と、視点位置計測センサの傾きから算出した第2の回転行列とからなるキャリブレーション情報データベースと、透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、関連情報である地物属性、描画形状、描画属性を含む地物情報からなる地物情報データベースを格納し、移動体座標系の原点として地理位置計測センサによって計測されるGPSアンテナの設置位置の地理座標を受信し、地理位置計測センサによって計測されるGPSアンテナの設置場所の傾きから第1の回転行列を算出し、キャリブレーション情報データベースから透過型ディスプレイの4隅の移動体座標を読み出し、移動体座標系の原点の地理座標および第1の回転行列を用いて、透過型ディスプレイの4隅の地理座標を算出し、キャリブレーション情報データベースから視点位置計測センサの移動体座標および第2の回転行列を読み出し、視点位置計測センサの移動体座標および第2の回転行列を用いて、視点位置計測センサから受信する視点センサ座標を移動体座標系で表した視点移動体座標に変換し、移動体座標系の原点の地理座標および第1の回転行列を用いて、視点移動体座標を地理座標系で表した視点地理座標に変換し、視点地理座標と透過型ディスプレイの4隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された地物情報を地物情報データベースより読み出し、描画形状と描画属性に基づいて、透過型ディスプレイ上における眺望者が見ている地物の位置に投影されるように地物属性をCG合成し、透過型ディスプレイ上に表示することを要旨とする。
【発明の効果】
【0019】
本発明によれば、人が実際に見ている景色に対して、人の視点から適切な位置に情報を表示することができる。
【0020】
また、本発明によれば、デバイスを位置や操作を意識することなく拡張現実体験ができ、移動しながらでも、自然な体勢で関連情報を見ることができる。
【0021】
さらに、本発明によれば、景色を見ている人の現在地点に限定されず、見ている景色に含まれる近傍の場所に関する情報を、見ている人の個別情報としてICチップ等にあらかじめ設定された属性に従って選択的に提供することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の拡張現実表現システムの模式図
【図2】本発明の拡張現実表現システムの構成図
【図3】(a)キャリブレーション情報データベースの構成図、(b)地物情報データベースの構成図
【図4】視体積の模式図
【図5】準備工程のフローチャート
【図6】位置決定工程のフローチャート(その1)
【図7】位置決定工程のフローチャート(その2)
【図8】地物情報表示工程のフローチャート
【図9】透過型ディスプレイ上の表示位置決定の模式図
【図10】実施例1のバスの窓の場合の表示例
【図11】実施例1の電車の窓の場合の表示例
【図12】実施例2の窓付エレベータの窓の場合の表示例
【図13】実施例3の展望台の窓の場合の表示例
【発明を実施するための形態】
【0023】
本発明の拡張現実表現システムは、図1の模式図に示したように、眺望者Hの前方に設置された透過型ディスプレイ10上に、GPSアンテナ11aを含む地理位置計測センサ11と視点位置計測センサ12によって計測した位置情報に基づいて、透過型ディスプレイ10の4隅w1、w2、w3、およびw4の位置や眺望者Hの視点の地理的位置情報を算出し、透過型ディスプレイ10を通して眺望者Hが見ている景色内に存在する地物の情報を、景色の適切な位置に重畳して見えるように、透過型ディスプレイ10上に表示するシステムである。
【0024】
(語句の定義)
本発明の拡張現実表現システムの説明にあたり、使用する語句の意味について定義する。
【0025】
眺望者H:透過型ディスプレイ10を通して、透過型ディスプレイ10の向こう側にある現実空間の景色を見ている人をいう。
【0026】
地理座標系Pg:地球上の任意の位置nを表す3次元座標系であり、緯度・経度・標高と変換可能であるとする。平面直角座標系、UTM座標系、地心座標系等がある。本発明の説明では、位置nの地理座標(Xgn,Ygn,Zgn)をPg(n)と表記する。
【0027】
移動体座標系Pv:透過型ディスプレイ10の据えられた移動体に設置されたGPSアンテナ11aの位置v0を座標系の原点とし、移動体の高さ方向をZ軸、移動体の前方向をX軸とする右手座標系であり、移動体に設置されたものの位置nの移動体座標(Xvn,Yvn,Zvn)をPv(n)と表記する。
【0028】
具体的には、GPSアンテナ11aの位置v0は、地理座標Pg(v0)=(Xgv0,Ygv0,Zgv0)であり、移動体座標Pv(v0)=(0,0,0)となる。
【0029】
センサ座標系Ps:移動体に設置された視点位置計測センサ12の位置s0を座標系の原点とし、視点位置計測センサ12に対する眺望者Hの視点(瞳)の位置を表す座標系であり、計測された位置nのセンサ座標(Xsn,Ysn,Zsn)をPs(n)と表記する。
具体的には、視点位置計測センサ12の位置s0は、移動体座標Pv(s0)=(Xvs0,Yvs0,Zvs0)であり、センサ座標Ps(s0)=(0,0,0)となる。
【0030】
第1の回転行列Rv:移動体座標系Pvで表されたものの位置nを地理座標系Pgで表すために、移動体座標Pv(n)の値を地理座標Pg(n)の値に変換する下記の式1で用いられる回転行列をいう。
【0031】
Pg(n) = Rv ・ Pv(n) + Pg(v0) ・・・・・(式1)
第2の回転行列Rs:センサ座標系Psで表された眺望者Hの視点の位置nを移動体座標Pvで表すために、センサ座標Ps(n)の値を移動体座標Pv(n)の値に変換する下記の式2で用いられる回転行列をいう。
【0032】
Pv(n) = Rs ・ Ps(n) + Pv(s0) ・・・・・(式2)
(システム構成の説明)
本発明の拡張現実表現システムは、図2に示すように、記憶手段18を備えたコンピュータ19と、当該コンピュータ19とデータ通信回線で接続された眺望者Hの前方に設置された透過型ディスプレイ10と、透過型ディスプレイ10の設置されている場所の地理座標(Xg,Yg,Zg)を計測する地理位置計測センサ11および眺望者Hの視点位置eyeを計測する視点位置計測センサ12とからなる。
【0033】
コンピュータ19は、位置・姿勢算出部13と、ディスプレイ位置算出部14と、視点位置算出部15と、描画方法指定部17と、CG描画部16とを含み、記憶手段18には、キャリブレーション情報データベース18aと地物情報データベース18bが記憶される。
【0034】
透過型ディスプレイ10とは、ディスプレイの向こう側が透けて見えるように情報の表示面を透明にした、文字や、画像や、動画などの情報を表示するための平面ディスプレイであり、有機ELパネル、リアプロジェクション等を用いる。
【0035】
透過型ディスプレイ10は、人が指で触れることで操作できるタッチパネル式であることが望ましく、移動体に据える場合は、移動体に設けられた窓20の透明ガラス平面に隣接または密着させて据える。
【0036】
地理位置計測センサ11とは、GPSアンテナ11aの設置位置v0の地理座標Pg(v0)を計測するGPSと、GPSアンテナ11aを設置した場所(例えば、移動体)の傾き(姿勢)を計測する慣性計測装置(IMU)11bからなる。
【0037】
視点位置計測センサ12とは、リアルタイム画像処理等の手法により、眺望者Hの視点位置eyeを計測する部位であり、眺望者Hの視点位置eyeをセンサ座標系Psにて表された視点センサ座標Ps(eye)として出力する。近年利用されている瞳位置抽出センサやステレオ画像センサが利用でき、透過型ディスプレイ10の前に存在する眺望者Hの顔をモニタできる位置に設置する。
【0038】
キャリブレーション情報データベース18aには、図3(a)に示すように、透過型ディスプレイ10と、GPSアンテナ11aと、視点位置計測センサ12とを設置する際に、GPSアンテナ11aを基準点(原点)とした透過型ディスプレイ10の4隅w1、w2、w3、およびw4の位置と、視点位置計測センサ12の位置s0および傾きを測量した結果を、移動体座標系Pvにて表された移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)、センサ座標系の原点の移動体座標Pv(s0)および第2の回転行列Rsとしてあらかじめ格納しておく。
【0039】
地物情報データベース18bには、透過型ディスプレイ10に情報を描画するための地物情報を格納する。地物情報は、図3(b)に示すように、基本的に、(1)地物の位置を代表する地点の地理座標、(2)地物を示すための1点の地理座標、もしくは線や面を示す複数地点の地理座標の列によりなる描画形状、(3)道路や家屋等の地物の種別、(4)地物名称や表示したい情報等の地物属性、および(5)描画色・描画線太さ・塗りつぶしパターン・塗りつぶし色・テクスチャ画像等の描画属性から構成される。
【0040】
位置・姿勢算出部13は、地理位置計測センサ11に接続され、GPSによって計測されたGPSアンテナ11aの設置位置v0の地理座標Pg(v0)を移動体座標系Pvの原点とし出力するとともに、IMU11bによって計測されたGPSアンテナ11aの設置場所における移動体座標系の地理座標系に対する傾きを示すロール・ピッチ・ヨー等の角度から、式1に適用するための第1の回転行列Rvを算出して出力する。
【0041】
ディスプレイ位置算出部14は、位置・姿勢算出部13とキャリブレーション情報データベース18aに接続され、キャリブレーション情報データベース18aから透過型ディスプレイ10の4隅の移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)を読み出し、位置・姿勢算出部13から受信する移動体座標系Pvの原点の地理座標Pg(v0)および第1の回転行列Rvを用いて、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を式1により算出する。
【0042】
視点位置算出部15は、視点位置計測センサ12と、位置・姿勢算出部13およびキャリブレーション情報データベース18aに接続され、キャリブレーション情報データベース18aからセンサ座標系Psの原点の移動体座標Pv(s0)および第2の回転行列Rsを読み出し、視点位置計測センサ12から受信する視点センサ座標Ps(eye)を式2を用いて視点移動体座標Pv(eye)に変換する。
【0043】
次に、視点位置算出部15は、位置・姿勢算出部13から受信する移動体座標系Pvの原点の地理座標Pg(v0)および第1の回転行列Rvを用いて、式1により視点移動体座標Pv(eye)を視点地理座標Pg(eye)に変換する。
【0044】
描画方法指定部17は、透過型ディスプレイ10に接続され、透過型ディスプレイ10上に描画方法を指定するメニューGUIを表示し、眺望者HがメニューGUIから指定した描画の有無や地物の種別などの項目をCG描画部16に送信する。
【0045】
CG描画部16は、透過型ディスプレイ10と、地物情報データベース18bと、視点位置算出部15と、位置・姿勢算出部13および描画方法指定部17に接続され、描画方法指定部17から指定された地物の種別と、視点地理座標Pg(eye)と透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を結ぶ線で形成される図4に示した四角錐(視体積30という)に重なる、もしくは含まれる地理座標Pg(n)とが設定された地物情報を地物情報データベース18bより読み出す。
【0046】
続いて、CG描画部16は、地物情報に設定された描画形状と描画属性に基づいて、地物属性として設定されている地物名称や表示したい情報を、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を結ぶ平面上における眺望者Hが見ている地物の位置に投影されるようにCG合成し、透過型ディスプレイ10上に表示する。
【0047】
(システムの処理フローの説明)
次に、本システムの運用に関する各工程の処理について、図5から図8に示した処理フローに従って説明する。
【0048】
準備工程:
S100:本システムの透過型ディスプレイ10と、GPSアンテナ11aと、視点位置計測センサ12とを設置する際に、GPSアンテナ11aを基準点(原点)とした透過型ディスプレイ10の4隅w1、w2、w3、およびw4の位置と、視点位置計測センサ12の位置s0および傾きを測量する。この際、座標軸は移動体前方をX,移動体の側面左方向をY,移動体上方をZとする。
【0049】
S101:透過型ディスプレイ10の4隅w1、w2、w3、およびw4の位置の測量結果を、移動体座標系Pvにて表された移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)として、キャリブレーション情報データベース18aに格納する。
【0050】
S102:さらに、視点位置計測センサ12の位置s0および傾きの測量結果から、センサ座標系Psの原点の移動体座標Pv(s0)および第2の回転行列Rsを算出して、キャリブレーション情報データベース18aに格納する。
【0051】
S103:また、本システムにより透過型ディスプレイ10に情報を描画するための地物情報を、地物情報データベース18bに格納する。
【0052】
位置決定工程:
S200:地理位置計測センサ11は、一定間隔で、GPSアンテナ11aの設置位置v0の地理座標Pg(v0)とGPSアンテナ11aを設置した場所の傾きの計測を繰り返し、計測結果を位置・姿勢算出部13に送信する。
【0053】
S201:計測結果を受信した位置・姿勢算出部13は、GPSアンテナ11aの設置位置v0の地理座標Pg(v0)と、計測された傾きから算出した第1の回転行列Rvを、ディスプレイ位置算出部14と視点位置算出部15に出力する。
【0054】
ここで、位置・姿勢算出部13からディスプレイ位置算出部14と視点位置算出部15に、地理座標Pg(v0)と第1の回転行列Rvを出力するタイミングは、地理位置計測センサ11から計測結果を受信する毎であってもよいし、前回の計測結果と異なる計測結果を受信した場合、つまり位置に変化が生じた場合のみであってもよい。
【0055】
S202:位置・姿勢算出部13から地理座標Pg(v0)と第1の回転行列Rvを受信したディスプレイ位置算出部14は、キャリブレーション情報データベース18aから透過型ディスプレイ10の4隅の移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)を読み出す。
【0056】
S203:次に、ディスプレイ位置算出部14は、位置・姿勢算出部13から受信した地理座標Pg(v0)および第1の回転行列Rvと、透過型ディスプレイ10の4隅の移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)を式1に代入して、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を算出する。
【0057】
S204:ディスプレイ位置算出部14は、算出した透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)をCG描画部16に出力する。
【0058】
S300:一方、視点位置計測センサ12は、透過型ディスプレイ10の前に現れた眺望者Hの視点位置eyeを計測し、視点位置が変化する毎に、センサ座標系Psにて表された視点センサ座標Ps(eye)として視点位置算出部15に出力する。
【0059】
S301:視点位置算出部15は、視点位置計測センサ12から視点センサ座標Ps(eye)を受信する毎に、キャリブレーション情報データベース18aからセンサ座標系Psの原点の移動体座標Pv(s0)および第2の回転行列Rsを読み出す。
【0060】
S302:次に、視点位置算出部15は、読み出した移動体座標Pv(s0)および第2の回転行列Rsと、視点位置計測センサ12から受信した視点センサ座標Ps(eye)を式2に代入して、視点移動体座標Pv(eye)を算出する。
【0061】
S303:続いて、視点位置算出部15は、算出した視点移動体座標Pv(eye)と、位置・姿勢算出部13から受信した地理座標Pg(v0)および第1の回転行列Rvを式1に代入して、視点地理座標Pg(eye)を算出する。
【0062】
S304:視点位置算出部15は、算出した視点地理座標Pg(eye)をCG描画部16に出力する。
【0063】
地物情報表示工程:
S400:描画方法指定部17は、透過型ディスプレイ10上に表示した描画方法を指定するメニューGUIから、眺望者Hが指定した描画の有無や地物の種別などの項目をCG描画部16に送信する。
【0064】
S401:CG描画部16は、ディスプレイ位置算出部14から受信した透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)と、視点位置算出部15から受信した視点地理座標Pg(eye)を結ぶ線で形成される図4に示したような視体積30の3次元空間を想定する。
【0065】
S402:CG描画部16は、視体積30の3次元空間に含まれる地理座標Pg(n)が設定された地物情報を地物情報データベース18bから読み出す。
【0066】
S403:さらに、CG描画部16は、読み出した地物情報のうちで、描画方法指定部17から指定された地物の種別などの項目を含むものを抽出する。
【0067】
S404:続いて、CG描画部16は、抽出した地物情報に設定された描画形状と描画属性に基づいて、地物属性として設定されている地物名称や表示したい情報を、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)を結ぶ平面上における眺望者Hが見ている地物の位置に投影されるようにCG合成(レンダリングともいう)し、透過型ディスプレイ10上に表示する。
【0068】
S404の地物情報のCG合成について、図9に示した模式図を参照しながら説明する。
【0069】
例えば、同じ地物(富士山)を眺望者Hが見ていたとしても、第1の視点位置Pg(eye1)にいる場合は、景色Aのように見えている。ここで、眺望者Hまたは移動体が動くことによって、眺望者Hの視点が第2の視点位置Pg(eye2)に移動すると、景色Bのように地物(富士山)の見える位置が変化する。
【0070】
このため、眺望者Hがどの位置に移動しても、地物(富士山)の見える位置に地物情報を表示するため、視体積30の仮想空間上で地物情報を表示させるラベル位置Pg(L)を決め、景色Aでは、第1の視点位置Pg(eye1)とラベル位置Pg(L)を結んだ直線と透過型ディスプレイ10との交点にあたる第1の表示位置Pg(a)を求め、透過型ディスプレイ10の第1の表示位置Pg(a)に地物情報を表示する。
【0071】
また、同様に、景色Bでは、第2の視点位置Pg(eye2)とラベル位置Pg(L)を結んだ直線と透過型ディスプレイ10との交点にあたる第2の表示位置Pg(b)を求め、透過型ディスプレイ10の第2の表示位置Pg(b)に地物情報を表示する。
【0072】
こうすることで、図9の景色Aと景色Bに示したように、眺望者Hが見ている富士山の位置に、「富士山」という文字情報が正しく表示される。
【0073】
ラベル位置Pg(L)は、地物情報データベース18bに格納した地物情報に含まれる地物の代表地理座標を利用してもよい。
【0074】
また、図2には図示していないが、描画方法指定部17に代えて、または描画方法指定部17の他に、CG描画部16に接続されたICカード読取り部を備えるようにしてもよい。
【0075】
ICカード読取り部は、眺望者Hが所持するICカードから眺望者Hの個別情報を読み取り、CG描画部16に出力する。
【0076】
CG描画部16は、地物情報データベース18bから読み出した地物情報のうちで、受信した個別情報に関連するものを選択的に抽出し、透過型ディスプレイ10に表示する。
【0077】
(実施例1)
本発明の実施例1は、図10に示したように、移動体であるバスの窓20aに透過型ディスプレイ10を設置したシステムである。
【0078】
バスの天井等に地理位置計測センサ11を設置し、座席上部や窓20枠の上部に眺望者Hである乗客の顔をモニタできるように視点位置計測センサ12を設置する。
【0079】
透過型ディスプレイ10には、図10に示したように、バスの通過している場所の町名の文字情報や地図の画像、道路の名称、店舗の広告等の文字情報が表示される。
【0080】
また、描画方法指定部17によって透過型ディスプレイ10に表示される描画方法指定メニューGUIを例示していて、言語の選択や、表示の有無(ON/OFF)の選択ができるようにしている。乗客はこのメニューをタッチして所望の条件を設定できる。
【0081】
同様に、図11に示したように、移動体である電車の窓20bに透過型ディスプレイ10を設置することもできる。
【0082】
乗客が見ている地物をタッチした時に、当該地物に関連した情報を透過型ディスプレイ10に表示するようにすることもできる。
【0083】
(実施例2)
本発明の実施例2は、図12に示したように、移動体である窓付エレベータの窓20cに透過型ディスプレイ10を設置したシステムである。
【0084】
エレベータの設備に地理位置計測センサ11を設置し、エレベータの籠の上部に眺望者Hの顔をモニタできるように視点位置計測センサ12を設置する。
【0085】
ただし、エレベータ制御のために地理位置計測センサ11以外の制御設備によって位置情報を計測する場合もあり、地理位置計測センサ11を設置せずに、エレベータ制御のための位置情報を利用しても構わない。
【0086】
さらに、窓付エレベータの窓20cは視野の範囲が狭く、眺望者Hが視点を移動させても、地物の見える位置にはほとんど変化が生じないため、視点位置計測センサ12の設置を省略しても構わない。
【0087】
図12には、文字情報や地物名称の他に、高さを比較できるものとしてタワーのCG画像を表示している例を示している。
【0088】
(実施例3)
本発明の実施例3は、図13に示したように、展望台の窓20dに透過型ディスプレイ10を設置したシステムである。
【0089】
展望台は移動しないので地理位置計測センサ11は不要であり、移動体座標系Pvによる位置表現も、移動体座標系Pvを地理座標系Pgに変換する計算も不要となる。
【0090】
透過型ディスプレイ10と視点位置計測センサ12の位置は不動となるので、センサ座標系の原点の移動体座標キャリブレーション情報データベース18aには、透過型ディスプレイ10の4隅の移動体座標Pv(w1)、Pv(w2)、Pv(w3)、およびPv(w4)と、センサ座標系の原点の移動体座標Pv(s0)に代わって、透過型ディスプレイ10の4隅の地理座標Pg(w1)、Pg(w2)、Pg(w3)、およびPg(w4)と、視点位置計測センサ12の地理座標Pg(s0)をあらかじめ設定する。
【0091】
つまり、実施例3では、位置・姿勢算出部13とディスプレイ位置算出部14が不要である。
【0092】
図13には、文字情報や地物名称の他に、地物形状やアイコンを表示している例を示している。
【0093】
以上、図10から図13に例示した透過型ディスプレイ10上に表示される情報は、それぞれの実施例に限定するものではなく、どの実施例においても表示できる。
【符号の説明】
【0094】
10 透過型ディスプレイ
11 地理位置計測センサ
11a GPSアンテナ
11b 慣性計測装置
12 視点位置計測センサ
13 位置・姿勢算出部
14 ディスプレイ位置算出部
15 視点位置算出部
16 CG描画部
17 描画方法指定部
18 記憶手段
18a キャリブレーション情報データベース
18b 地物情報データベース
19 コンピュータ
20 窓
20a バスの窓
20b 電車の窓
20c 窓付エレベータの窓
20d 展望台の窓
30 視体積
H 眺望者
【特許請求の範囲】
【請求項1】
記憶手段を備えたコンピュータと、当該コンピュータとデータ通信回線で接続された、
眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、
前記移動体の位置と傾きを計測し送信するGPSアンテナを含む地理位置計測センサと、
前記眺望者の視点位置を計測し、視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサとからなり、
前記記憶手段は、
前記透過型ディスプレイの4隅の位置と前記視点位置計測センサの位置を前記GPSアンテナの位置を原点とした移動体座標系で表した移動体座標と、前記視点位置計測センサの傾きから算出した第2の回転行列とをあらかじめ格納したキャリブレーション情報データベースと、
前記透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、前記関連情報である地物属性、描画形状、描画属性を含む地物情報をあらかじめ格納した地物情報データベース
とを含み、
前記コンピュータは、
前記地理位置計測センサに接続され、前記移動体座標系の原点として前記地理位置計測センサによって計測される前記GPSアンテナの設置位置の地理座標と、前記地理位置計測センサによって計測される前記GPSアンテナの設置場所の傾きから算出した第1の回転行列を出力する位置・姿勢算出部と、
前記位置・姿勢算出部と前記キャリブレーション情報データベースに接続され、前記キャリブレーション情報データベースから前記透過型ディスプレイの4隅の移動体座標を読み出し、前記位置・姿勢算出部から受信する前記移動体座標系の原点の地理座標および前記第1の回転行列を用いて、前記透過型ディスプレイの4隅の地理座標を算出するディスプレイ位置算出部と、
前記視点位置計測センサと、前記位置・姿勢算出部および前記キャリブレーション情報データベースに接続され、前記キャリブレーション情報データベースから前記視点位置計測センサの移動体座標および前記第2の回転行列を読み出し、前記視点位置計測センサから受信する前記視点センサ座標を前記移動体座標系で表した視点移動体座標に変換し、前記位置・姿勢算出部から受信する前記移動体座標系の原点の地理座標および前記第1の回転行列を用いて、前記視点移動体座標を地理座標系で表した視点地理座標に変換する視点位置算出部と、
前記透過型ディスプレイと、前記地物情報データベースと、前記視点位置算出部と、前記位置・姿勢算出部に接続され、前記視点地理座標と前記透過型ディスプレイの4隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された前記地物情報を前記地物情報データベースより読み出し、前記描画形状と前記描画属性に基づいて、前記透過型ディスプレイ上における前記眺望者が見ている地物の位置に投影されるように前記地物属性をCG合成し、前記透過型ディスプレイ上に表示するCG描画部
とを含むことを特徴とする拡張現実表現システム。
【請求項2】
前記コンピュータは、前記透過型ディスプレイと前記CG描画部に接続され、前記透過型ディスプレイ上に描画方法を指定するメニューGUIを表示し、前記眺望者が前記メニューGUIから指定した項目を前記CG描画部に送信する描画方法指定部をさらに含み、
前記CG描画部は、前記地物情報データベースから読み出した前記地物情報から、前記描画方法指定部から指定された項目に該当する地物情報を抽出して、前記透過型ディスプレイ上に表示する請求項1に記載の拡張現実表現システム。
【請求項3】
前記コンピュータは、前記透過型ディスプレイと前記CG描画部に接続され、前記眺望者が所持するICカードから前記眺望者の個別情報を読み取り、前記CG描画部に出力するICカード読取り部をさらに含み
前記CG描画部は、前記地物情報データベースから読み出した前記地物情報のうちで、前記ICカード読取り部から受信した前記個別情報に関連するものを選択的に抽出し、前記透過型ディスプレイに表示する請求項1または2に記載の拡張現実表現システム。
【請求項4】
眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、前記移動体の地理座標系の位置と傾きを計測し送信するGPSアンテナを含む地理位置計測センサと、前記眺望者の視点位置を計測し視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサのそれぞれとデータ通信回線で接続された記憶手段を備えたコンピュータによる拡張現実表現方法であって、
前記コンピュータは、
前記記憶手段に、前記透過型ディスプレイの4隅の位置と前記視点位置計測センサの位置を前記GPSアンテナの位置を原点とした移動体座標系で表した移動体座標と、前記視点位置計測センサの傾きから算出した第2の回転行列とからなるキャリブレーション情報データベースと、前記透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、前記関連情報である地物属性、描画形状、描画属性を含む地物情報からなる地物情報データベースを格納し、
前記移動体座標系の原点として前記地理位置計測センサによって計測される前記GPSアンテナの設置位置の地理座標を受信し、
前記地理位置計測センサによって計測される前記GPSアンテナの設置場所の傾きから第1の回転行列を算出し、
前記キャリブレーション情報データベースから前記透過型ディスプレイの4隅の移動体座標を読み出し、
前記移動体座標系の原点の地理座標および前記第1の回転行列を用いて、前記透過型ディスプレイの4隅の地理座標を算出し、
前記キャリブレーション情報データベースから前記視点位置計測センサの移動体座標および前記第2の回転行列を読み出し、
前記視点位置計測センサの移動体座標および前記第2の回転行列を用いて、前記視点位置計測センサから受信する前記視点センサ座標を前記移動体座標系で表した視点移動体座標に変換し、
前記移動体座標系の原点の地理座標および前記第1の回転行列を用いて、前記視点移動体座標を地理座標系で表した視点地理座標に変換し、
前記視点地理座標と前記透過型ディスプレイの4隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された前記地物情報を前記地物情報データベースより読み出し、
前記描画形状と前記描画属性に基づいて、前記透過型ディスプレイ上における前記眺望者が見ている地物の位置に投影されるように前記地物属性をCG合成し、前記透過型ディスプレイ上に表示する
ことを特徴とする拡張現実表現方法。
【請求項5】
前記コンピュータは、
前記透過型ディスプレイ上に描画方法を指定するメニューGUIを表示し、
前記眺望者が前記メニューGUIから指定した項目を受信し、
前記地物情報データベースから読み出した前記地物情報から、前記指定された項目に該当する地物情報を抽出して、前記透過型ディスプレイ上に表示する請求項4に記載の拡張現実表現方法。
【請求項6】
前記コンピュータは、
前記眺望者が所持するICカードから前記眺望者の個別情報を読み取り、
前記地物情報データベースから読み出した前記地物情報のうちで、前記個別情報に関連するものを選択的に抽出し、前記透過型ディスプレイに表示する請求項4または5に記載の拡張現実表現方法。
【請求項1】
記憶手段を備えたコンピュータと、当該コンピュータとデータ通信回線で接続された、
眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、
前記移動体の位置と傾きを計測し送信するGPSアンテナを含む地理位置計測センサと、
前記眺望者の視点位置を計測し、視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサとからなり、
前記記憶手段は、
前記透過型ディスプレイの4隅の位置と前記視点位置計測センサの位置を前記GPSアンテナの位置を原点とした移動体座標系で表した移動体座標と、前記視点位置計測センサの傾きから算出した第2の回転行列とをあらかじめ格納したキャリブレーション情報データベースと、
前記透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、前記関連情報である地物属性、描画形状、描画属性を含む地物情報をあらかじめ格納した地物情報データベース
とを含み、
前記コンピュータは、
前記地理位置計測センサに接続され、前記移動体座標系の原点として前記地理位置計測センサによって計測される前記GPSアンテナの設置位置の地理座標と、前記地理位置計測センサによって計測される前記GPSアンテナの設置場所の傾きから算出した第1の回転行列を出力する位置・姿勢算出部と、
前記位置・姿勢算出部と前記キャリブレーション情報データベースに接続され、前記キャリブレーション情報データベースから前記透過型ディスプレイの4隅の移動体座標を読み出し、前記位置・姿勢算出部から受信する前記移動体座標系の原点の地理座標および前記第1の回転行列を用いて、前記透過型ディスプレイの4隅の地理座標を算出するディスプレイ位置算出部と、
前記視点位置計測センサと、前記位置・姿勢算出部および前記キャリブレーション情報データベースに接続され、前記キャリブレーション情報データベースから前記視点位置計測センサの移動体座標および前記第2の回転行列を読み出し、前記視点位置計測センサから受信する前記視点センサ座標を前記移動体座標系で表した視点移動体座標に変換し、前記位置・姿勢算出部から受信する前記移動体座標系の原点の地理座標および前記第1の回転行列を用いて、前記視点移動体座標を地理座標系で表した視点地理座標に変換する視点位置算出部と、
前記透過型ディスプレイと、前記地物情報データベースと、前記視点位置算出部と、前記位置・姿勢算出部に接続され、前記視点地理座標と前記透過型ディスプレイの4隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された前記地物情報を前記地物情報データベースより読み出し、前記描画形状と前記描画属性に基づいて、前記透過型ディスプレイ上における前記眺望者が見ている地物の位置に投影されるように前記地物属性をCG合成し、前記透過型ディスプレイ上に表示するCG描画部
とを含むことを特徴とする拡張現実表現システム。
【請求項2】
前記コンピュータは、前記透過型ディスプレイと前記CG描画部に接続され、前記透過型ディスプレイ上に描画方法を指定するメニューGUIを表示し、前記眺望者が前記メニューGUIから指定した項目を前記CG描画部に送信する描画方法指定部をさらに含み、
前記CG描画部は、前記地物情報データベースから読み出した前記地物情報から、前記描画方法指定部から指定された項目に該当する地物情報を抽出して、前記透過型ディスプレイ上に表示する請求項1に記載の拡張現実表現システム。
【請求項3】
前記コンピュータは、前記透過型ディスプレイと前記CG描画部に接続され、前記眺望者が所持するICカードから前記眺望者の個別情報を読み取り、前記CG描画部に出力するICカード読取り部をさらに含み
前記CG描画部は、前記地物情報データベースから読み出した前記地物情報のうちで、前記ICカード読取り部から受信した前記個別情報に関連するものを選択的に抽出し、前記透過型ディスプレイに表示する請求項1または2に記載の拡張現実表現システム。
【請求項4】
眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、前記移動体の地理座標系の位置と傾きを計測し送信するGPSアンテナを含む地理位置計測センサと、前記眺望者の視点位置を計測し視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサのそれぞれとデータ通信回線で接続された記憶手段を備えたコンピュータによる拡張現実表現方法であって、
前記コンピュータは、
前記記憶手段に、前記透過型ディスプレイの4隅の位置と前記視点位置計測センサの位置を前記GPSアンテナの位置を原点とした移動体座標系で表した移動体座標と、前記視点位置計測センサの傾きから算出した第2の回転行列とからなるキャリブレーション情報データベースと、前記透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、前記関連情報である地物属性、描画形状、描画属性を含む地物情報からなる地物情報データベースを格納し、
前記移動体座標系の原点として前記地理位置計測センサによって計測される前記GPSアンテナの設置位置の地理座標を受信し、
前記地理位置計測センサによって計測される前記GPSアンテナの設置場所の傾きから第1の回転行列を算出し、
前記キャリブレーション情報データベースから前記透過型ディスプレイの4隅の移動体座標を読み出し、
前記移動体座標系の原点の地理座標および前記第1の回転行列を用いて、前記透過型ディスプレイの4隅の地理座標を算出し、
前記キャリブレーション情報データベースから前記視点位置計測センサの移動体座標および前記第2の回転行列を読み出し、
前記視点位置計測センサの移動体座標および前記第2の回転行列を用いて、前記視点位置計測センサから受信する前記視点センサ座標を前記移動体座標系で表した視点移動体座標に変換し、
前記移動体座標系の原点の地理座標および前記第1の回転行列を用いて、前記視点移動体座標を地理座標系で表した視点地理座標に変換し、
前記視点地理座標と前記透過型ディスプレイの4隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された前記地物情報を前記地物情報データベースより読み出し、
前記描画形状と前記描画属性に基づいて、前記透過型ディスプレイ上における前記眺望者が見ている地物の位置に投影されるように前記地物属性をCG合成し、前記透過型ディスプレイ上に表示する
ことを特徴とする拡張現実表現方法。
【請求項5】
前記コンピュータは、
前記透過型ディスプレイ上に描画方法を指定するメニューGUIを表示し、
前記眺望者が前記メニューGUIから指定した項目を受信し、
前記地物情報データベースから読み出した前記地物情報から、前記指定された項目に該当する地物情報を抽出して、前記透過型ディスプレイ上に表示する請求項4に記載の拡張現実表現方法。
【請求項6】
前記コンピュータは、
前記眺望者が所持するICカードから前記眺望者の個別情報を読み取り、
前記地物情報データベースから読み出した前記地物情報のうちで、前記個別情報に関連するものを選択的に抽出し、前記透過型ディスプレイに表示する請求項4または5に記載の拡張現実表現方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−68481(P2012−68481A)
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願番号】特願2010−213921(P2010−213921)
【出願日】平成22年9月24日(2010.9.24)
【出願人】(591074161)アジア航測株式会社 (48)
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願日】平成22年9月24日(2010.9.24)
【出願人】(591074161)アジア航測株式会社 (48)
[ Back to top ]