仮想物体表示装置
【課題】仮想物体表示装置において、仮想物体の表示位置は観察者の位置と姿勢によって一意に決定されるため、観察者は自分の求める仮想物体を取得するためには、仮想物体が表示される位置に自らが赴き、姿勢をあわす必要がある。
【解決手段】三次元仮想空間の仮想物体を生成し、二つ以上の画像表示方式を備えることを特徴とするものであり、観察者の位置姿勢と、複数の画像表示方式から、選択された表示方式に基づいて三次元仮想空間内での提示対象とする仮想物体の提示位置の基準となる座標系を決定し、基準座標系と観察者の位置姿勢から三次元仮想空間内での提示対象の仮想物体の座標変換を行い、座標計算部３０６の計算した結果である仮想物体を基準座標決定部３０５により決定された座標系で観察者に提示する。
【解決手段】三次元仮想空間の仮想物体を生成し、二つ以上の画像表示方式を備えることを特徴とするものであり、観察者の位置姿勢と、複数の画像表示方式から、選択された表示方式に基づいて三次元仮想空間内での提示対象とする仮想物体の提示位置の基準となる座標系を決定し、基準座標系と観察者の位置姿勢から三次元仮想空間内での提示対象の仮想物体の座標変換を行い、座標計算部３０６の計算した結果である仮想物体を基準座標決定部３０５により決定された座標系で観察者に提示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元仮想空間の仮想物体を生成し、観察者に表示する仮想物体表示装置に関する。さらに詳しくは、観察者の位置姿勢から仮想物体の表示位置を決定して表示する仮想物体表示装置に関するものである。
【背景技術】
【０００２】
近年、現実空間上にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）や文字情報などの仮想物体を重畳して表示する拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を用いたサービスが盛んに行われている。拡張現実には、ビデオカメラ等で撮影された現実空間の画像に仮想物体を重畳するビデオシースルー方式と、現実空間をハーフミラーを通して直接見て仮想物体と重ね合わせる光学シースルー方式がある。
【０００３】
視覚情報を提示するデバイスとしては、携帯電話等の小型情報端末や、ヘッドマウンテッドディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等が利用される。
【０００４】
このような拡張現実感を利用したサービスの一つに頓智ドット株式会社が提供するアプリケーション、「セカイカメラ」やオランダのＳＰＲＸｍｏｂｉｌｅ社が提供する「Ｌａｙａｒ」などがある（「セカイカメラ」、「Ｌａｙａｒ」は、各社の商標または登録商標である）。これらのアプリケーションでは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等で得られる位置情報を利用し、携帯電話を現実空間にかざすと、携帯のカメラで撮影している風景に施設情報が重畳して表示される。
【０００５】
また、画像認識技術を用いて、特定のパターン（マーカー）を認識し、その上に仮想物体を重畳して表示する技術も多く見られる。
【０００６】
上記に代表されるような、拡張現実の世界においては、仮想物体を三次元空間上のどこに重畳するかを決定することが重要になる。
【０００７】
位置情報と観察者の姿勢に基づいて仮想物体の表示位置を決定する方法が知られている（例えば、特許文献１参照）。特許文献１では、現実世界と仮想物体の位置あわせを容易にするための技術を考案している。
【０００８】
図１は、従来の仮想物体表示装置の簡単な構成をあらわしたものである。
【０００９】
図１において、姿勢センサ１０１は観察者の姿勢計測をする。姿勢情報出力部１０２でセンサ座標系から世界座標系に仮想物体の座標系を変換する際に、必要に応じてメモリ１０３に保存された補正情報を取得し、画像生成部１０５で出力画像の生成を行う。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第３８４０１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら従来の構成では、観察者に対し、仮想物体を正確に連動させることは可能であるが、仮想物体の表示位置は観察者の位置と姿勢位置によって一意に決定され、ユーザーは仮想物体の位置をユーザーの好きなように移動させることができない。このため、観察者は自分の求める仮想物体を取得するためには、仮想物体が表示される位置に自らが赴き、姿勢をあわす必要があった。
【課題を解決するための手段】
【００１２】
従来の課題を解決するために、本発明の仮想物体表示装置は、観察者の位置姿勢を取得する位置姿勢取得部と、複数の画像表示方式から一つの表示方式を決定する表示方式決定部と、表示方式決定部で決定された表示方式に表示方式を切り替える表示方式切替部と、表示方式決定部で決定された表示方式に基づいて表示対象とする仮想物体の三次元仮想空間内での表示位置の基準となる座標系を決定する基準座標系決定部と、仮想物体のデータを取得するデータ取得部と、基準座標系決定部により決定された基準となる座標系と位置姿勢取得部により取得された観察者の位置姿勢から、三次元仮想空間内での表示対象の仮想物体の座標変換を行う座標計算部と、データ取得部で取得した仮想物体のデータを基準座標系決定部で決定された座標系によって座標計算部で座標変換された三次元仮想空間内での所定の位置に重畳して表示部に表示する表示画面合成部とを備える。
【００１３】
かかる構成によって、用途に合わせて仮想物体の表示位置を柔軟に切り替えることが可能になる。
【発明の効果】
【００１４】
本発明によれば、仮想物体を観察者の嗜好に合わせて表示位置を容易に変更することが可能になり、容易に所望の仮想物体を取得することが可能になる。例えば、旅先の観光地で取得できるランドマークに関する仮想物体をそのランドマークを写した写真に紐付けて表示させたりすることで、あたかも仮想物体を持ち歩いたり、ブックマークしたような感覚を観察者に提供することができる。
【図面の簡単な説明】
【００１５】
【図１】従来の仮想物体表示装置の構成を表す図である。
【図２】本発明にかかる仮想物体表示装置の使用形態を示す図である。
【図３】表示装置の内部構成を示すブロック図である。
【図４】各表示方式で基準座標をどのように決定するかについて説明した図である。
【図５】位置固定表示方式が選択された際の表示画面の一例を表す図である。
【図６】オブジェクト固定表示方式が選択された際の表示画面の一例を表す図である。
【図７】常時表示方式が選択された際の表示画面の一例を表す図である。
【図８】姿勢固定表示方式が選択された際の表示画面の一例を表す図である。
【図９】実施の形態１における基準座標を設定するまでの処理手順を説明するフローチャートである。
【図１０】仮想物体の状態遷移を表す図である。
【図１１】観察者が表示方式を選択する際の表示画面の一例を表す図である。
【図１２】仮想物体データを取得して表示部に表示するまでの処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１６】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１７】
（実施の形態１）
図２は、本発明にかかる実施の形態の一例である仮想物体表示装置を説明するための図である。
【００１８】
表示装置２００は、例えば、撮像部２０１、表示部２０２、センサ群２０３、システム制御部２０４により形成され、サーバー２０５と通信する。観察者は、表示装置２００をメガネのようにかけることにより、表示部２０２に表示された画像を観察することができる。センサ群２０３は、例えば位置センサ、姿勢センサなどを有するものである。
【００１９】
本実施の形態では、表示装置はヘッドマウントディスプレイ（ＨＭＤ）を想定するが、本実施の形態の変形としては撮像部２０１とセンサ群２０３を備えていれば、表示装置は観察者が観察可能な装置であれば良い（例えば携帯電話端末）。
【００２０】
また、本実施の形態では、撮像部２０１および表示部２０２をそれぞれ左右二つずつ備え、左右で別々の画像を表示することにより、両眼立体視で視聴することができることを前提として説明するが、本実施の形態の変形としては両眼立体視画像に限定するものではない。
【００２１】
次に本実施の形態にかかる表示装置２００の詳細について説明する。
【００２２】
図３は、表示装置２００の内部構成を示すブロック図である。本発明の仮想物体表示装置を用いたシステムは、位置センサ３０１、姿勢センサ３０２、撮像部２０１、位置姿勢取得部３０３、表示方式切替部３０４、基準座標決定部３０５、座標計算部３０６、イベント検出部３０７、表示方式決定部３０８、表示画像合成部３０９、データ取得部３１０、表示部２０２、サーバー２０５によって構成される。
【００２３】
位置姿勢取得部３０３、表示方式切替部３０４、基準座標決定部３０５、座標計算部３０６、イベント検出部３０７、表示方式決定部３０８、表示画像合成部３０９、データ取得部３１０は例えば、図２のシステム制御部２０４に組み込まれるような構成としても良い。この場合、仮想物体表示装置を用いたシステムは、表示装置２００とサーバー２０５とを有する構成となる。
【００２４】
または、位置姿勢取得部３０３、表示方式切替部３０４、基準座標決定部３０５、座標計算部３０６、イベント検出部３０７、表示方式決定部３０８、表示画像合成部３０９、データ取得部３１０は例えば、表示装置２００とは別の観察者が観察可能な装置（例えば、携帯電話端末）に含まれるような構成としても良い。この場合、仮想物体表示装置を用いたシステムは、表示装置２００と、表示装置２００とは別の観察者が観察可能な装置（図示せず）と、サーバ２０５とを有する構成となる。
【００２５】
位置センサ３０１とは、例えばＧＰＳのような観察者が地球上のどこにいるかの絶対値を計測するするセンサである。姿勢センサ３０２とは、例えば、ジャイロセンサと加速器センサを組み合わせたものであり、観察者の姿勢を少なくとも３自由度以上で測定するためのセンサである。なお、姿勢センサ３０２を備える代わりに、ユーザーの視野をステレオカメラで撮影することでユーザーの姿勢を求めても構わない。
【００２６】
データ取得部３１０は、サーバー２０５と通信する。サーバー２０５には、表示する仮想物体のデータが格納されている。
【００２７】
本実施の形態では、データ取得部３１０がサーバー２０５と通信することで仮想物体データを取得するが、本実施の形態の変形としては、通信部を備えず、表示データ記録部を備えることで仮想物体データを取得しても構わない。
【００２８】
表示部２０２は、観察者に合成した画像を表示する。この表示部２０２は、合成画像を表示し、観察者に計算された三次元画像を見せる。また、以降の説明では、実世界を撮像した映像に仮想物体を重畳することを前提として説明するが、本実施の形態の変形としてはディスプレイ素子がそのまま透明で素通しで見える光学シースルー方式であっても良いし、仮想世界の映像に仮想物体を重畳するＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間での使用であっても構わない。
【００２９】
撮像部２０１は、観察者の視野に入る像を撮影する。ヘッドマウントディスプレイ（ＨＭＤ）を表示装置２００としている場合には、表示装置２００を装着していないときの観察者の視野に入る像を撮像部２０１は、撮影することになる。
【００３０】
表示装置２００において、表示部２０２を構成するディスプレイ素子がそのまま透明で素通しで見える光学シースルー方式を採用する場合には、観察者の視野に入る実世界の像を撮像部２０１は、撮影することになる。
【００３１】
イベント検出部３０７は、例えば撮像部２０１で撮影された画像を用いて観察者のジェスチャを認識し、イベントが入力されたか否かを監視する。イベント入力が発生すると、表示方式決定部３０８が仮想物体の表示方式を決定する。
【００３２】
表示方式決定部３０８は、例えばイベントに関連付けた表示方式に関する情報を保持している。
【００３３】
イベント検出部３０７において、イベントが検出されたとき、表示方式決定部３０８は、保持する情報の中から検出されたイベントに対応する表示方式を調べ、表示方式の決定を行う。
【００３４】
本実施の形態では、撮像した画像からイベント入力の有無を判断しているが、本実施の形態の変形としては、観察者の視線入力や、表示装置に取り付けられた物理デバイス、その他のリモートコントローラ等の入力デバイスを使用してイベント入力の有無を判断しても構わない。
【００３５】
表示方式切替部３０４は、表示方式決定部３０８の決定に従って表示方式を切り替えるとともに、切り替えた表示方式に関する情報を格納する記憶部（図示せず）を有する。記憶部を有することにより、表示方式決定部３０８から送られる表示方式に関する情報と、記憶部に記憶されている情報とを比較することにより、表示方式決定部３０８から新たに送られる表示方式に関する情報が、以前の表示方式と同じかどうかの判断ができる。
【００３６】
基準座標決定部３０５は、選択された表示方式に基づいて三次元仮想空間内での提示対象とする仮想物体の提示位置の基準となる座標系を決定する。
【００３７】
データ取得部３１０は、表示すべき仮想物体を判定し、サーバー２０５から仮想物体のデータを取得する。
【００３８】
座標計算部３０６は、計測された観察者の位置、姿勢、撮影された映像から、表示対象の仮想物体の座標変換を行う。ＵＩ画像生成部３１１は、イベント検出部の結果を判断して、種々のグラフィックユーザーインターフェースを生成する。表示画像合成部３０９は、ＵＩ画像生成部３１１で生成されたグラフィックユーザーインターフェース、座標変換された仮想物体、撮像された現実世界の映像を重畳、合成して表示部２０２に出力する。
【００３９】
本発明にかかる仮想物体表示装置は、複数の表示方式を有する。表示方式には、例えば以下の４つの形式がある。
【００４０】
１、仮想物体を物理的な位置（例えば、ＧＰＳでとった情報）に表示する位置固定表示方式
２、仮想物体をマーカーなどの特定の物体（オブジェクト）からの相対位置で表示することオブジェクト固定表示方式
３、観察者の視界に常に表示し続ける常時表示方式
４、物理的な位置や、特定の物体には紐づかず、観察者が特定の姿勢をした場合に仮想物体を表示する表示する姿勢固定表示方式
ここで、特定の姿勢とは、例えば、上、下、左、右、後方のことであり、観察者は上を向いたと判断されたときのみ仮想物体を表示するといった表示方式である。
【００４１】
本実施の形態では、上記４つの表示方式を備えることを前提として説明するが、もちろんこの４つの形式全てを備えなくてもかまわない。また、上記４つの表示方式以外の表示方式を備えていても構わない。
【００４２】
図４を用いて各表示方式で基準座標をどのように決定するか説明する。
【００４３】
同図において、固定の世界座標系４００におけるセンサ座標系４０１の姿勢をＲＢＷ、センサ座標系４０１における姿勢センサ３０２の姿勢をＲＳＢ、姿勢センサ３０２から見た観察者の視点４０３の相対的な姿勢をＲｖｓ、世界座標系４００における観察者の姿勢をＲＶＷとする。ここで世界座標系４００は観察者位置を原点とする座標系である。
【００４４】
ここでＲは４×４の行列であって、ＲＢＡは、座標系Ａにおける対象Ｂの姿勢記述するものであり、すなわち座標系ＡからＢへの変換行列である。
【００４５】
また、行列Ｒは、Ｘ軸周りの回転角θによって定義される回転行列ＲＸ、Ｙ軸周りの回転角φによって定義されるＲＹ、Ｚ軸周りの回転角ψによって定義されＲＺ、平行移動を表すＲＴの積により構成されており、Ｒ＝ＲＺＲＸＲＹＲＴの関係が成立する。
【００４６】
このとき、世界座標系４００における観察者の視点ＲＶＷは、ＲＶＷ＝ＲＶＳ・ＲＳＢ・ＲＢＷで表すことができる。
【００４７】
物理的な位置に仮想物体を表示する位置固定表示方式の場合、基準座標を物理的な位置Ｂを原点とする座標系４０４に置く。座標系４０４における観察者の視線は、位置センサから取得できる位置Ａの値と位置Ｂの値を用いて得られる座標系４０１から座標系４０４への変換行列ＲＢＷを用いてＲＶＢ＝ＲＢＷ・Ｒｖｗ＝ＲＢＷ・ＲＶＳ・ＲＳＢ・ＲＢＷで表すことができる。
【００４８】
マーカーなど、特定のオブジェクトを原点にした座標系を基準座標として仮想物体を表示するオブジェクト固定表示方式の場合は、基準座標系をオブジェクトの上面の中心Ｃを原点とする座標系４０５に置く。観察者の視点から見た位置Ｃは、撮像部２０１で得られる画像から画像認識技術等を用いて得ることができる。
【００４９】
観察者の視界に常に表示し続ける常時表示方式および観察者の姿勢に合わせて表示する姿勢固定表示方式の場合は、基準座標を視線座標系に固定する。
【００５０】
図５は、位置固定表示方式で表示した場合の観察者の視界を示す。
【００５１】
現実世界のある地点を原点に基準座標系が設けられ、この座標系で描画された仮想物体が表示される。
【００５２】
図６は、オブジェクト固定表示方式で表示した場合の観察者の視界を示す。
【００５３】
現実世界のあるオブジェクトを原点に基準座標系が設けられ、この座標系で描画された仮想物体が表示される。
【００５４】
図７は、常時表示方式で表示した場合の観察者の視界を示す。
【００５５】
観察者の位置、姿勢に関わらず、観察者の視界の特定の位置に仮想物体が表示される。
【００５６】
図８は、姿勢固定表示方式で表示した場合の観察者の視界を示す。観察者が特定の姿勢をした場合にのみ、観察者の視界の特定の位置に仮想物体が描画される。
【００５７】
次に、仮想物体を描画する際の具体的な処理を説明する。
【００５８】
図９は、本実施の形態１における基準座標を設定するまでの処理手順を説明するフローチャートである。
【００５９】
まず、ステップＳ９００において、イベント検出部３０７が、表示方式切替イベントが発生したか否かを監視する。イベント入力が発生したことを検出すると、表示方式決定部３０８は、発生したイベントに対応する表示方式を決定し、表示方式切替部３０４に決定した表示方式に関する情報を送る。表示方式切替部３０４は記憶部（図示せず）に格納された表示方式が現在の表示方式と同一かどうか判断する（Ｓ９０１）。同一でない場合は、表示方式決定部３０８で決められた表示方式に変更し、変更した表示方式に関する情報を記憶部（図示せず）に記憶するとともに、基準座標決定部３０５に通知する（Ｓ９０２）。切り替えた表示方式が、位置固定表示方式の場合は（Ｓ９０３のＹｅｓ）、表示方式が仮想物体の属性情報に仮想物体を表示する位置情報を書き込む（Ｓ９０４）。仮想物体の属性情報は、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）により記述される。切り替えた表示方式がオブジェクト固定表示方式の場合は（Ｓ９０５のＹｅｓ）、撮像データより、三次元仮想空間内での表示位置の基準となるオブジェクトの特徴点を抽出し（Ｓ９０６）、仮想物体の属性情報に基準となるオブジェクトの特徴点データを追加する（Ｓ９０７）。切り替えた表示方式が姿勢固定表示方式の場合（Ｓ９０８のＹｅｓ）は、姿勢センサ３０２より観察者の姿勢を取得し（Ｓ９０９）、取得した姿勢を仮想物体表示姿勢として仮想物体の属性情報に追加する（Ｓ９１０）。前記基準座標の決定フローにより、仮想物体を表示する座標系を基準座標に設定する（Ｓ９１１）。
【００６０】
なお、ステップＳ９０３、ステップＳ９０５およびステップＳ９０８のいずれもＮｏの場合、切り替えた表示方式は常時表示方式であり、この場合はステップＳ９１１の処理を行うことになる。
【００６１】
以上の説明により、観察者のジェスチャに基づいて表示方式を制御することができる。
【００６２】
上述の説明では、観察者のジェスチャ対応する表示方式を決めるような構成としたが、観察者の一つまたは複数のジェスチャにより、表示方式を選択するための画面をＵＩ画面表示し、ＵＩ画面から表示方式の切替命令を入力する構成としても良い。
【００６３】
以下に、ＵＩ画面を介して表示方式の切替命令が発生する際の本装置の動作について説明する。
【００６４】
図１０は、仮想物体の状態遷移を表す。仮想物体は初期状態では非選択状態にある。使用者が仮想物体を手でつまむ動作を行うことをイベント検出部３０７が検出すると、仮想物体は選択状態に遷移する。使用者が仮想物体をつまんだ状態を維持したまま、オブジェクトを動かす動作をイベント検出部３０７が検出すると、例えばコンピュータ上でのドラッグ操作と同一の処理が行われ、仮想物体は移動状態に遷移する。次に、使用者が仮想物体をつまむ操作を終了し、手を放す動作をイベント検出部３０７が検出すると、ドラッグ処理が終了したと判断し、仮想物体は表示方式選択状態に遷移する。表示方式選択状態に遷移するとイベント検出部３０７は、ＵＩ画像生成部３１１にＵＩ画面を作成するための命令を出力する。
【００６５】
ＵＩ画像生成部３１１は、イベント検出部３０７からの出力を受け、観察者が表示方式を選択するためのグラフィックユーザーインターフェース画面（つまりＵＩ画面）を作成する。ＵＩ画像生成部３１１により作成されたＵＩ画面は、表示画像合成部３０９により合成される。合成された画像は、表示部２０２により表示される。
【００６６】
図１１は、表示方式選択状態の際に表示部に現れる画面の一例を表す。グラフィックユーザーインターフェースは、各々の表示方式を表すアイコンを表示する。使用者は、表示された選択肢の中から、表示方式を選択する。表示方式が選択されると、イベント検出部３０７は表示方式切替イベントを検知し、仮想物体は再び非選択状態に遷移する。
【００６７】
このとき、表示方式決定部３０８は、選択された表示方式を表示方式切替部３０８に出力する。
【００６８】
次に、本装置が仮想物体のデータを取得して、表示部２０２に表示するまでの処理を図１２を用いて説明する。データ取得部３１０は、表示方式決定部より、現在の表示方式を取得する（Ｓ１２００）。
【００６９】
取得した表示方式が位置固定表示方式の場合（Ｓ１２０１のＹｅｓ）、位置姿勢取得部３０３より、観察者の現在の地球上での位置Ｐｃを取得する（Ｓ１２０２）。次にステップＳ７０３により保存された基準座標の位置情報Ｐｏを取得し（Ｓ１２０３）、ＰｏがＰｃと十分近いか判定する。ここで、十分近いとする範囲は、あらかじめ定められた固定値でも良いし、基準座標ごとに定められていても良い。ＰｏとＰｃが十分の近いと判断された場合、Ｐｏは表示範囲内に含まれていると判断され（Ｓ１２０４）、サーバー２０５から仮想物体のデータが取得される（Ｓ１２１３）。
【００７０】
取得した表示方式がオブジェクト固定表示方式の場合（Ｓ１２０５のＹｅｓ）は、ステップＳ９０６で保存された基準座標の特徴点を取得する。撮像部２０１で取得された観察者の視野画像中に、前記特徴点と一致する特徴点があるか照合する（Ｓ１２０７）。特徴点が一致すると判断された場合（Ｓ１２０８のＹｅｓ）サーバー２０５から仮想物体のデータが取得される（Ｓ１２１３）。
【００７１】
取得した表示方式が姿勢固定表示方式の場合（Ｓ１２０９のＹｅｓ）は、位置姿勢取得部３０３より、観察者の現在の姿勢を取得する（Ｓ１２１０）。次にステップＳ９０９で仮想物体の属性情報に保存された仮想物体表示姿勢Ａｏを取得する（Ｓ１２１１）。ＡｃとＡｏが同一の方向を向いているか否か（つまり、Ａｃは表示範囲か否か）を判断し（Ｓ１２１２）、同一の方向を向いている場合（つまり、Ａｃは表示範囲である場合）は、サーバー２０５から仮想物体のデータが取得される（Ｓ１２１３）。座標計算部３０６は、基準となる座標系と位置姿勢取得部３０３により取得された観察者の位置姿勢から、取得されたデータより生成される仮想物体の三次元仮想空間内での座標変換を行う（Ｓ１２１４）、座標変換された仮想物体は、表示部でレンダリングされる（Ｓ１２１５）。
【００７２】
（変形例１）
本実施の形態の変形例として、位置情報を利用した拡張現実サービスを応用しても良い。位置情報を利用した拡張現実サービスでは、現在の位置情報をサーバー送信し、表示する仮想物体を取得する。位置固定表示方式において位置Ｐで表示される仮想物体について、位置固定表示方式から異なる表示方式が選択された場合、ステップＳ１２１３において、サーバーに擬似的に位置Ｐを送信し、所望の仮想物体を取得するという方法をとっても構わない。
【００７３】
かかる構成により、位置固定表示方式でない表示方式においても、位置情報を利用した拡張現実サービスを利用することができる。
【００７４】
（変形例２）
本実施の形態では、一つの仮想物体を表示する際の処理について説明したが、仮想物体は一つに限定されるものではなく、複数あって良い。この場合、仮想物体Ａは位置固定モードであるが、仮想オブジェクトＢは姿勢固定モードとするように、仮想物体によって表示方式を変えても良いし、各々の仮想物体に基準座標が定められて良い。
【００７５】
かかる構成により、複数の仮想物体を複数の表示方式で重畳表示することができるため、観察者にさらに多彩な拡張現実感を提供できる。
【００７６】
（変形例３）
本実施の形態では、観察者入力のよって表示方式を切り替えることを前提に説明したが、切替判定は観察者の入力ではなく、システムが仮想物体の属性から自動的に判断しても構わない。例えば、ＴＯＤＯリストのような仮想物体であれば常時表示方式、カレンダーや時計のような仮想物体であれば左を向いたときに表示する姿勢固定表示方式、商品の広告に関する仮想物体であればオブジェクト固定表示方式、不動産広告に関する仮想物体であれば、位置固定表示方式に自動的に判断するといった具合である。
【００７７】
下記に、表示方式を自動的に判断する処理の一例を説明する。
【００７８】
仮想物体の属性情報には、表示方式に関するフラグが表示方式の数だけ存在し、各々の表示方式に対応する。表示方式フラグは排他的であり、ある表示方式のフラグが１（ＴＲＵＥ）に設定されると、その他のフラグは０（ＦＡＬＳＥ）に設定される。本フラグは、例えば仮想物体を追加または編集する際に、設定することが可能である。表示方式決定部３０８は仮想物体の属性情報より表示方式フラグ群を取得し、フラグが１に設定されている表示形式を仮想物体の表示形式として決定する。表示方式を決定した後はステップＳ９０１以降と同じ処理を行う。
【００７９】
かかる構成により、観察者の煩わしさを低減させながら、仮想物体の特性に応じた最もふさわしい表示形式を自動的に表示させることができる。
【００８０】
（変形例４）
本実施の形態では、位置固定表示方式、オブジェクト固定表示方式、常時表示方式、姿勢固定表示方式の４つの表示方式を持つことを前提として説明したが、もちろんこの４つの形式全てを備えなくても構わない。また、上記４つの表示方式以外の表示方式を備えていても構わない。
【００８１】
例えば、他に、第三者の視界画像、姿勢位置、位置情報等を受信して、第三者の視界に表示される仮想オブジェトを自分の視界にも表示する他者目線表示方式等があっても良い。
【００８２】
かかる構成により、別の場所にいる他者の視界情報を得られ、疑似体験等をすることができる。
【産業上の利用可能性】
【００８３】
本発明の仮想物体表示装置によれば、仮想物体の操作を容易且つ高自由度で操作することが可能になる。拡張現実を利用したクーポンサービスや、コミュニケーションサービス、アイテムを集めるような仮想空間内でのゲーム等への応用が期待される。
【符号の説明】
【００８４】
１０１ 姿勢センサ
１０２ 姿勢情報出力部
１０３ メモリ
１０５ 画像生成部
１０６ 表示画像
２００ 表示装置
２０１ 撮像部
２０２ 表示部
２０３ センサ群
２０４ システム制御部
２０５ サーバー
３０１ 位置センサ
３０２ 姿勢センサ
３０３ 位置姿勢取得部
３０４ 表示方式切替部
３０５ 基準座標決定部
３０６ 座標計算部
３０７ イベント検出部
３０８ 表示方式決定部
３０９ 表示画像合成部
３１０ データ取得部
３１１ ＵＩ画像生成部
【技術分野】
【０００１】
本発明は、三次元仮想空間の仮想物体を生成し、観察者に表示する仮想物体表示装置に関する。さらに詳しくは、観察者の位置姿勢から仮想物体の表示位置を決定して表示する仮想物体表示装置に関するものである。
【背景技術】
【０００２】
近年、現実空間上にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）や文字情報などの仮想物体を重畳して表示する拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を用いたサービスが盛んに行われている。拡張現実には、ビデオカメラ等で撮影された現実空間の画像に仮想物体を重畳するビデオシースルー方式と、現実空間をハーフミラーを通して直接見て仮想物体と重ね合わせる光学シースルー方式がある。
【０００３】
視覚情報を提示するデバイスとしては、携帯電話等の小型情報端末や、ヘッドマウンテッドディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等が利用される。
【０００４】
このような拡張現実感を利用したサービスの一つに頓智ドット株式会社が提供するアプリケーション、「セカイカメラ」やオランダのＳＰＲＸｍｏｂｉｌｅ社が提供する「Ｌａｙａｒ」などがある（「セカイカメラ」、「Ｌａｙａｒ」は、各社の商標または登録商標である）。これらのアプリケーションでは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等で得られる位置情報を利用し、携帯電話を現実空間にかざすと、携帯のカメラで撮影している風景に施設情報が重畳して表示される。
【０００５】
また、画像認識技術を用いて、特定のパターン（マーカー）を認識し、その上に仮想物体を重畳して表示する技術も多く見られる。
【０００６】
上記に代表されるような、拡張現実の世界においては、仮想物体を三次元空間上のどこに重畳するかを決定することが重要になる。
【０００７】
位置情報と観察者の姿勢に基づいて仮想物体の表示位置を決定する方法が知られている（例えば、特許文献１参照）。特許文献１では、現実世界と仮想物体の位置あわせを容易にするための技術を考案している。
【０００８】
図１は、従来の仮想物体表示装置の簡単な構成をあらわしたものである。
【０００９】
図１において、姿勢センサ１０１は観察者の姿勢計測をする。姿勢情報出力部１０２でセンサ座標系から世界座標系に仮想物体の座標系を変換する際に、必要に応じてメモリ１０３に保存された補正情報を取得し、画像生成部１０５で出力画像の生成を行う。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第３８４０１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら従来の構成では、観察者に対し、仮想物体を正確に連動させることは可能であるが、仮想物体の表示位置は観察者の位置と姿勢位置によって一意に決定され、ユーザーは仮想物体の位置をユーザーの好きなように移動させることができない。このため、観察者は自分の求める仮想物体を取得するためには、仮想物体が表示される位置に自らが赴き、姿勢をあわす必要があった。
【課題を解決するための手段】
【００１２】
従来の課題を解決するために、本発明の仮想物体表示装置は、観察者の位置姿勢を取得する位置姿勢取得部と、複数の画像表示方式から一つの表示方式を決定する表示方式決定部と、表示方式決定部で決定された表示方式に表示方式を切り替える表示方式切替部と、表示方式決定部で決定された表示方式に基づいて表示対象とする仮想物体の三次元仮想空間内での表示位置の基準となる座標系を決定する基準座標系決定部と、仮想物体のデータを取得するデータ取得部と、基準座標系決定部により決定された基準となる座標系と位置姿勢取得部により取得された観察者の位置姿勢から、三次元仮想空間内での表示対象の仮想物体の座標変換を行う座標計算部と、データ取得部で取得した仮想物体のデータを基準座標系決定部で決定された座標系によって座標計算部で座標変換された三次元仮想空間内での所定の位置に重畳して表示部に表示する表示画面合成部とを備える。
【００１３】
かかる構成によって、用途に合わせて仮想物体の表示位置を柔軟に切り替えることが可能になる。
【発明の効果】
【００１４】
本発明によれば、仮想物体を観察者の嗜好に合わせて表示位置を容易に変更することが可能になり、容易に所望の仮想物体を取得することが可能になる。例えば、旅先の観光地で取得できるランドマークに関する仮想物体をそのランドマークを写した写真に紐付けて表示させたりすることで、あたかも仮想物体を持ち歩いたり、ブックマークしたような感覚を観察者に提供することができる。
【図面の簡単な説明】
【００１５】
【図１】従来の仮想物体表示装置の構成を表す図である。
【図２】本発明にかかる仮想物体表示装置の使用形態を示す図である。
【図３】表示装置の内部構成を示すブロック図である。
【図４】各表示方式で基準座標をどのように決定するかについて説明した図である。
【図５】位置固定表示方式が選択された際の表示画面の一例を表す図である。
【図６】オブジェクト固定表示方式が選択された際の表示画面の一例を表す図である。
【図７】常時表示方式が選択された際の表示画面の一例を表す図である。
【図８】姿勢固定表示方式が選択された際の表示画面の一例を表す図である。
【図９】実施の形態１における基準座標を設定するまでの処理手順を説明するフローチャートである。
【図１０】仮想物体の状態遷移を表す図である。
【図１１】観察者が表示方式を選択する際の表示画面の一例を表す図である。
【図１２】仮想物体データを取得して表示部に表示するまでの処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１６】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１７】
（実施の形態１）
図２は、本発明にかかる実施の形態の一例である仮想物体表示装置を説明するための図である。
【００１８】
表示装置２００は、例えば、撮像部２０１、表示部２０２、センサ群２０３、システム制御部２０４により形成され、サーバー２０５と通信する。観察者は、表示装置２００をメガネのようにかけることにより、表示部２０２に表示された画像を観察することができる。センサ群２０３は、例えば位置センサ、姿勢センサなどを有するものである。
【００１９】
本実施の形態では、表示装置はヘッドマウントディスプレイ（ＨＭＤ）を想定するが、本実施の形態の変形としては撮像部２０１とセンサ群２０３を備えていれば、表示装置は観察者が観察可能な装置であれば良い（例えば携帯電話端末）。
【００２０】
また、本実施の形態では、撮像部２０１および表示部２０２をそれぞれ左右二つずつ備え、左右で別々の画像を表示することにより、両眼立体視で視聴することができることを前提として説明するが、本実施の形態の変形としては両眼立体視画像に限定するものではない。
【００２１】
次に本実施の形態にかかる表示装置２００の詳細について説明する。
【００２２】
図３は、表示装置２００の内部構成を示すブロック図である。本発明の仮想物体表示装置を用いたシステムは、位置センサ３０１、姿勢センサ３０２、撮像部２０１、位置姿勢取得部３０３、表示方式切替部３０４、基準座標決定部３０５、座標計算部３０６、イベント検出部３０７、表示方式決定部３０８、表示画像合成部３０９、データ取得部３１０、表示部２０２、サーバー２０５によって構成される。
【００２３】
位置姿勢取得部３０３、表示方式切替部３０４、基準座標決定部３０５、座標計算部３０６、イベント検出部３０７、表示方式決定部３０８、表示画像合成部３０９、データ取得部３１０は例えば、図２のシステム制御部２０４に組み込まれるような構成としても良い。この場合、仮想物体表示装置を用いたシステムは、表示装置２００とサーバー２０５とを有する構成となる。
【００２４】
または、位置姿勢取得部３０３、表示方式切替部３０４、基準座標決定部３０５、座標計算部３０６、イベント検出部３０７、表示方式決定部３０８、表示画像合成部３０９、データ取得部３１０は例えば、表示装置２００とは別の観察者が観察可能な装置（例えば、携帯電話端末）に含まれるような構成としても良い。この場合、仮想物体表示装置を用いたシステムは、表示装置２００と、表示装置２００とは別の観察者が観察可能な装置（図示せず）と、サーバ２０５とを有する構成となる。
【００２５】
位置センサ３０１とは、例えばＧＰＳのような観察者が地球上のどこにいるかの絶対値を計測するするセンサである。姿勢センサ３０２とは、例えば、ジャイロセンサと加速器センサを組み合わせたものであり、観察者の姿勢を少なくとも３自由度以上で測定するためのセンサである。なお、姿勢センサ３０２を備える代わりに、ユーザーの視野をステレオカメラで撮影することでユーザーの姿勢を求めても構わない。
【００２６】
データ取得部３１０は、サーバー２０５と通信する。サーバー２０５には、表示する仮想物体のデータが格納されている。
【００２７】
本実施の形態では、データ取得部３１０がサーバー２０５と通信することで仮想物体データを取得するが、本実施の形態の変形としては、通信部を備えず、表示データ記録部を備えることで仮想物体データを取得しても構わない。
【００２８】
表示部２０２は、観察者に合成した画像を表示する。この表示部２０２は、合成画像を表示し、観察者に計算された三次元画像を見せる。また、以降の説明では、実世界を撮像した映像に仮想物体を重畳することを前提として説明するが、本実施の形態の変形としてはディスプレイ素子がそのまま透明で素通しで見える光学シースルー方式であっても良いし、仮想世界の映像に仮想物体を重畳するＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間での使用であっても構わない。
【００２９】
撮像部２０１は、観察者の視野に入る像を撮影する。ヘッドマウントディスプレイ（ＨＭＤ）を表示装置２００としている場合には、表示装置２００を装着していないときの観察者の視野に入る像を撮像部２０１は、撮影することになる。
【００３０】
表示装置２００において、表示部２０２を構成するディスプレイ素子がそのまま透明で素通しで見える光学シースルー方式を採用する場合には、観察者の視野に入る実世界の像を撮像部２０１は、撮影することになる。
【００３１】
イベント検出部３０７は、例えば撮像部２０１で撮影された画像を用いて観察者のジェスチャを認識し、イベントが入力されたか否かを監視する。イベント入力が発生すると、表示方式決定部３０８が仮想物体の表示方式を決定する。
【００３２】
表示方式決定部３０８は、例えばイベントに関連付けた表示方式に関する情報を保持している。
【００３３】
イベント検出部３０７において、イベントが検出されたとき、表示方式決定部３０８は、保持する情報の中から検出されたイベントに対応する表示方式を調べ、表示方式の決定を行う。
【００３４】
本実施の形態では、撮像した画像からイベント入力の有無を判断しているが、本実施の形態の変形としては、観察者の視線入力や、表示装置に取り付けられた物理デバイス、その他のリモートコントローラ等の入力デバイスを使用してイベント入力の有無を判断しても構わない。
【００３５】
表示方式切替部３０４は、表示方式決定部３０８の決定に従って表示方式を切り替えるとともに、切り替えた表示方式に関する情報を格納する記憶部（図示せず）を有する。記憶部を有することにより、表示方式決定部３０８から送られる表示方式に関する情報と、記憶部に記憶されている情報とを比較することにより、表示方式決定部３０８から新たに送られる表示方式に関する情報が、以前の表示方式と同じかどうかの判断ができる。
【００３６】
基準座標決定部３０５は、選択された表示方式に基づいて三次元仮想空間内での提示対象とする仮想物体の提示位置の基準となる座標系を決定する。
【００３７】
データ取得部３１０は、表示すべき仮想物体を判定し、サーバー２０５から仮想物体のデータを取得する。
【００３８】
座標計算部３０６は、計測された観察者の位置、姿勢、撮影された映像から、表示対象の仮想物体の座標変換を行う。ＵＩ画像生成部３１１は、イベント検出部の結果を判断して、種々のグラフィックユーザーインターフェースを生成する。表示画像合成部３０９は、ＵＩ画像生成部３１１で生成されたグラフィックユーザーインターフェース、座標変換された仮想物体、撮像された現実世界の映像を重畳、合成して表示部２０２に出力する。
【００３９】
本発明にかかる仮想物体表示装置は、複数の表示方式を有する。表示方式には、例えば以下の４つの形式がある。
【００４０】
１、仮想物体を物理的な位置（例えば、ＧＰＳでとった情報）に表示する位置固定表示方式
２、仮想物体をマーカーなどの特定の物体（オブジェクト）からの相対位置で表示することオブジェクト固定表示方式
３、観察者の視界に常に表示し続ける常時表示方式
４、物理的な位置や、特定の物体には紐づかず、観察者が特定の姿勢をした場合に仮想物体を表示する表示する姿勢固定表示方式
ここで、特定の姿勢とは、例えば、上、下、左、右、後方のことであり、観察者は上を向いたと判断されたときのみ仮想物体を表示するといった表示方式である。
【００４１】
本実施の形態では、上記４つの表示方式を備えることを前提として説明するが、もちろんこの４つの形式全てを備えなくてもかまわない。また、上記４つの表示方式以外の表示方式を備えていても構わない。
【００４２】
図４を用いて各表示方式で基準座標をどのように決定するか説明する。
【００４３】
同図において、固定の世界座標系４００におけるセンサ座標系４０１の姿勢をＲＢＷ、センサ座標系４０１における姿勢センサ３０２の姿勢をＲＳＢ、姿勢センサ３０２から見た観察者の視点４０３の相対的な姿勢をＲｖｓ、世界座標系４００における観察者の姿勢をＲＶＷとする。ここで世界座標系４００は観察者位置を原点とする座標系である。
【００４４】
ここでＲは４×４の行列であって、ＲＢＡは、座標系Ａにおける対象Ｂの姿勢記述するものであり、すなわち座標系ＡからＢへの変換行列である。
【００４５】
また、行列Ｒは、Ｘ軸周りの回転角θによって定義される回転行列ＲＸ、Ｙ軸周りの回転角φによって定義されるＲＹ、Ｚ軸周りの回転角ψによって定義されＲＺ、平行移動を表すＲＴの積により構成されており、Ｒ＝ＲＺＲＸＲＹＲＴの関係が成立する。
【００４６】
このとき、世界座標系４００における観察者の視点ＲＶＷは、ＲＶＷ＝ＲＶＳ・ＲＳＢ・ＲＢＷで表すことができる。
【００４７】
物理的な位置に仮想物体を表示する位置固定表示方式の場合、基準座標を物理的な位置Ｂを原点とする座標系４０４に置く。座標系４０４における観察者の視線は、位置センサから取得できる位置Ａの値と位置Ｂの値を用いて得られる座標系４０１から座標系４０４への変換行列ＲＢＷを用いてＲＶＢ＝ＲＢＷ・Ｒｖｗ＝ＲＢＷ・ＲＶＳ・ＲＳＢ・ＲＢＷで表すことができる。
【００４８】
マーカーなど、特定のオブジェクトを原点にした座標系を基準座標として仮想物体を表示するオブジェクト固定表示方式の場合は、基準座標系をオブジェクトの上面の中心Ｃを原点とする座標系４０５に置く。観察者の視点から見た位置Ｃは、撮像部２０１で得られる画像から画像認識技術等を用いて得ることができる。
【００４９】
観察者の視界に常に表示し続ける常時表示方式および観察者の姿勢に合わせて表示する姿勢固定表示方式の場合は、基準座標を視線座標系に固定する。
【００５０】
図５は、位置固定表示方式で表示した場合の観察者の視界を示す。
【００５１】
現実世界のある地点を原点に基準座標系が設けられ、この座標系で描画された仮想物体が表示される。
【００５２】
図６は、オブジェクト固定表示方式で表示した場合の観察者の視界を示す。
【００５３】
現実世界のあるオブジェクトを原点に基準座標系が設けられ、この座標系で描画された仮想物体が表示される。
【００５４】
図７は、常時表示方式で表示した場合の観察者の視界を示す。
【００５５】
観察者の位置、姿勢に関わらず、観察者の視界の特定の位置に仮想物体が表示される。
【００５６】
図８は、姿勢固定表示方式で表示した場合の観察者の視界を示す。観察者が特定の姿勢をした場合にのみ、観察者の視界の特定の位置に仮想物体が描画される。
【００５７】
次に、仮想物体を描画する際の具体的な処理を説明する。
【００５８】
図９は、本実施の形態１における基準座標を設定するまでの処理手順を説明するフローチャートである。
【００５９】
まず、ステップＳ９００において、イベント検出部３０７が、表示方式切替イベントが発生したか否かを監視する。イベント入力が発生したことを検出すると、表示方式決定部３０８は、発生したイベントに対応する表示方式を決定し、表示方式切替部３０４に決定した表示方式に関する情報を送る。表示方式切替部３０４は記憶部（図示せず）に格納された表示方式が現在の表示方式と同一かどうか判断する（Ｓ９０１）。同一でない場合は、表示方式決定部３０８で決められた表示方式に変更し、変更した表示方式に関する情報を記憶部（図示せず）に記憶するとともに、基準座標決定部３０５に通知する（Ｓ９０２）。切り替えた表示方式が、位置固定表示方式の場合は（Ｓ９０３のＹｅｓ）、表示方式が仮想物体の属性情報に仮想物体を表示する位置情報を書き込む（Ｓ９０４）。仮想物体の属性情報は、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）により記述される。切り替えた表示方式がオブジェクト固定表示方式の場合は（Ｓ９０５のＹｅｓ）、撮像データより、三次元仮想空間内での表示位置の基準となるオブジェクトの特徴点を抽出し（Ｓ９０６）、仮想物体の属性情報に基準となるオブジェクトの特徴点データを追加する（Ｓ９０７）。切り替えた表示方式が姿勢固定表示方式の場合（Ｓ９０８のＹｅｓ）は、姿勢センサ３０２より観察者の姿勢を取得し（Ｓ９０９）、取得した姿勢を仮想物体表示姿勢として仮想物体の属性情報に追加する（Ｓ９１０）。前記基準座標の決定フローにより、仮想物体を表示する座標系を基準座標に設定する（Ｓ９１１）。
【００６０】
なお、ステップＳ９０３、ステップＳ９０５およびステップＳ９０８のいずれもＮｏの場合、切り替えた表示方式は常時表示方式であり、この場合はステップＳ９１１の処理を行うことになる。
【００６１】
以上の説明により、観察者のジェスチャに基づいて表示方式を制御することができる。
【００６２】
上述の説明では、観察者のジェスチャ対応する表示方式を決めるような構成としたが、観察者の一つまたは複数のジェスチャにより、表示方式を選択するための画面をＵＩ画面表示し、ＵＩ画面から表示方式の切替命令を入力する構成としても良い。
【００６３】
以下に、ＵＩ画面を介して表示方式の切替命令が発生する際の本装置の動作について説明する。
【００６４】
図１０は、仮想物体の状態遷移を表す。仮想物体は初期状態では非選択状態にある。使用者が仮想物体を手でつまむ動作を行うことをイベント検出部３０７が検出すると、仮想物体は選択状態に遷移する。使用者が仮想物体をつまんだ状態を維持したまま、オブジェクトを動かす動作をイベント検出部３０７が検出すると、例えばコンピュータ上でのドラッグ操作と同一の処理が行われ、仮想物体は移動状態に遷移する。次に、使用者が仮想物体をつまむ操作を終了し、手を放す動作をイベント検出部３０７が検出すると、ドラッグ処理が終了したと判断し、仮想物体は表示方式選択状態に遷移する。表示方式選択状態に遷移するとイベント検出部３０７は、ＵＩ画像生成部３１１にＵＩ画面を作成するための命令を出力する。
【００６５】
ＵＩ画像生成部３１１は、イベント検出部３０７からの出力を受け、観察者が表示方式を選択するためのグラフィックユーザーインターフェース画面（つまりＵＩ画面）を作成する。ＵＩ画像生成部３１１により作成されたＵＩ画面は、表示画像合成部３０９により合成される。合成された画像は、表示部２０２により表示される。
【００６６】
図１１は、表示方式選択状態の際に表示部に現れる画面の一例を表す。グラフィックユーザーインターフェースは、各々の表示方式を表すアイコンを表示する。使用者は、表示された選択肢の中から、表示方式を選択する。表示方式が選択されると、イベント検出部３０７は表示方式切替イベントを検知し、仮想物体は再び非選択状態に遷移する。
【００６７】
このとき、表示方式決定部３０８は、選択された表示方式を表示方式切替部３０８に出力する。
【００６８】
次に、本装置が仮想物体のデータを取得して、表示部２０２に表示するまでの処理を図１２を用いて説明する。データ取得部３１０は、表示方式決定部より、現在の表示方式を取得する（Ｓ１２００）。
【００６９】
取得した表示方式が位置固定表示方式の場合（Ｓ１２０１のＹｅｓ）、位置姿勢取得部３０３より、観察者の現在の地球上での位置Ｐｃを取得する（Ｓ１２０２）。次にステップＳ７０３により保存された基準座標の位置情報Ｐｏを取得し（Ｓ１２０３）、ＰｏがＰｃと十分近いか判定する。ここで、十分近いとする範囲は、あらかじめ定められた固定値でも良いし、基準座標ごとに定められていても良い。ＰｏとＰｃが十分の近いと判断された場合、Ｐｏは表示範囲内に含まれていると判断され（Ｓ１２０４）、サーバー２０５から仮想物体のデータが取得される（Ｓ１２１３）。
【００７０】
取得した表示方式がオブジェクト固定表示方式の場合（Ｓ１２０５のＹｅｓ）は、ステップＳ９０６で保存された基準座標の特徴点を取得する。撮像部２０１で取得された観察者の視野画像中に、前記特徴点と一致する特徴点があるか照合する（Ｓ１２０７）。特徴点が一致すると判断された場合（Ｓ１２０８のＹｅｓ）サーバー２０５から仮想物体のデータが取得される（Ｓ１２１３）。
【００７１】
取得した表示方式が姿勢固定表示方式の場合（Ｓ１２０９のＹｅｓ）は、位置姿勢取得部３０３より、観察者の現在の姿勢を取得する（Ｓ１２１０）。次にステップＳ９０９で仮想物体の属性情報に保存された仮想物体表示姿勢Ａｏを取得する（Ｓ１２１１）。ＡｃとＡｏが同一の方向を向いているか否か（つまり、Ａｃは表示範囲か否か）を判断し（Ｓ１２１２）、同一の方向を向いている場合（つまり、Ａｃは表示範囲である場合）は、サーバー２０５から仮想物体のデータが取得される（Ｓ１２１３）。座標計算部３０６は、基準となる座標系と位置姿勢取得部３０３により取得された観察者の位置姿勢から、取得されたデータより生成される仮想物体の三次元仮想空間内での座標変換を行う（Ｓ１２１４）、座標変換された仮想物体は、表示部でレンダリングされる（Ｓ１２１５）。
【００７２】
（変形例１）
本実施の形態の変形例として、位置情報を利用した拡張現実サービスを応用しても良い。位置情報を利用した拡張現実サービスでは、現在の位置情報をサーバー送信し、表示する仮想物体を取得する。位置固定表示方式において位置Ｐで表示される仮想物体について、位置固定表示方式から異なる表示方式が選択された場合、ステップＳ１２１３において、サーバーに擬似的に位置Ｐを送信し、所望の仮想物体を取得するという方法をとっても構わない。
【００７３】
かかる構成により、位置固定表示方式でない表示方式においても、位置情報を利用した拡張現実サービスを利用することができる。
【００７４】
（変形例２）
本実施の形態では、一つの仮想物体を表示する際の処理について説明したが、仮想物体は一つに限定されるものではなく、複数あって良い。この場合、仮想物体Ａは位置固定モードであるが、仮想オブジェクトＢは姿勢固定モードとするように、仮想物体によって表示方式を変えても良いし、各々の仮想物体に基準座標が定められて良い。
【００７５】
かかる構成により、複数の仮想物体を複数の表示方式で重畳表示することができるため、観察者にさらに多彩な拡張現実感を提供できる。
【００７６】
（変形例３）
本実施の形態では、観察者入力のよって表示方式を切り替えることを前提に説明したが、切替判定は観察者の入力ではなく、システムが仮想物体の属性から自動的に判断しても構わない。例えば、ＴＯＤＯリストのような仮想物体であれば常時表示方式、カレンダーや時計のような仮想物体であれば左を向いたときに表示する姿勢固定表示方式、商品の広告に関する仮想物体であればオブジェクト固定表示方式、不動産広告に関する仮想物体であれば、位置固定表示方式に自動的に判断するといった具合である。
【００７７】
下記に、表示方式を自動的に判断する処理の一例を説明する。
【００７８】
仮想物体の属性情報には、表示方式に関するフラグが表示方式の数だけ存在し、各々の表示方式に対応する。表示方式フラグは排他的であり、ある表示方式のフラグが１（ＴＲＵＥ）に設定されると、その他のフラグは０（ＦＡＬＳＥ）に設定される。本フラグは、例えば仮想物体を追加または編集する際に、設定することが可能である。表示方式決定部３０８は仮想物体の属性情報より表示方式フラグ群を取得し、フラグが１に設定されている表示形式を仮想物体の表示形式として決定する。表示方式を決定した後はステップＳ９０１以降と同じ処理を行う。
【００７９】
かかる構成により、観察者の煩わしさを低減させながら、仮想物体の特性に応じた最もふさわしい表示形式を自動的に表示させることができる。
【００８０】
（変形例４）
本実施の形態では、位置固定表示方式、オブジェクト固定表示方式、常時表示方式、姿勢固定表示方式の４つの表示方式を持つことを前提として説明したが、もちろんこの４つの形式全てを備えなくても構わない。また、上記４つの表示方式以外の表示方式を備えていても構わない。
【００８１】
例えば、他に、第三者の視界画像、姿勢位置、位置情報等を受信して、第三者の視界に表示される仮想オブジェトを自分の視界にも表示する他者目線表示方式等があっても良い。
【００８２】
かかる構成により、別の場所にいる他者の視界情報を得られ、疑似体験等をすることができる。
【産業上の利用可能性】
【００８３】
本発明の仮想物体表示装置によれば、仮想物体の操作を容易且つ高自由度で操作することが可能になる。拡張現実を利用したクーポンサービスや、コミュニケーションサービス、アイテムを集めるような仮想空間内でのゲーム等への応用が期待される。
【符号の説明】
【００８４】
１０１ 姿勢センサ
１０２ 姿勢情報出力部
１０３ メモリ
１０５ 画像生成部
１０６ 表示画像
２００ 表示装置
２０１ 撮像部
２０２ 表示部
２０３ センサ群
２０４ システム制御部
２０５ サーバー
３０１ 位置センサ
３０２ 姿勢センサ
３０３ 位置姿勢取得部
３０４ 表示方式切替部
３０５ 基準座標決定部
３０６ 座標計算部
３０７ イベント検出部
３０８ 表示方式決定部
３０９ 表示画像合成部
３１０ データ取得部
３１１ ＵＩ画像生成部
【特許請求の範囲】
【請求項１】
観察者の位置姿勢を取得する位置姿勢取得部と、
複数の画像表示方式から、一つの表示方式を決定する表示方式決定部と、
前記表示方式決定部で決定された表示方式に、前記表示方式を切り替える表示方式切替部と、
前記表示方式決定部で決定された表示方式に基づいて、表示対象とする仮想物体の三次元仮想空間内での表示位置の基準となる座標系を決定する基準座標系決定部と、
前記仮想物体のデータを取得するデータ取得部と、
前記基準座標系決定部により決定された基準となる座標系と前記位置姿勢取得部により取得された前記観察者の位置姿勢から、三次元仮想空間内での表示対象の前記仮想物体の座標変換を行う座標計算部と、
前記データ取得部で取得した前記仮想物体のデータを、前記基準座標系決定部で決定された座標系によって、前記座標計算部で座標変換された三次元仮想空間内での所定の位置に重畳して表示部に表示する表示画面合成部と、
を備える仮想物体表示装置。
【請求項２】
前記表示方式決定部は、前記観察者からのイベント入力に応じて表示方式を決定する請求項１に記載の仮想物体表示装置。
【請求項３】
前記表示方式決定部は、前記観察者が画像表示方式を選択するためのグラフィックユーザーインターフェースを表示する請求項２に記載の仮想物体表示装置。
【請求項４】
前記表示方式決定部は、表示対象の前記仮想物体の特徴に応じて表示方式を決定する請求項１に記載の仮想物体表示装置。
【請求項５】
前記複数の画像表示方式の一つは、前記仮想物体を地球上の緯度、経度、高度のような絶対値の位置に表示する請求項１から４のいずれか１項に記載の仮想物体表示装置。
【請求項６】
前記複数の画像表示方式の一つは、現実または仮想の特定の物体が前記観察者の視界に入っている場合に、前記仮想物体を特定の物体からの相対位置で表示する請求項１から４のいずれか１項に記載の仮想物体表示装置。
【請求項７】
前記複数の画像表示方式の一つは、前記観察者の位置姿勢に関わらず、常に前記観察者の視界の特定の位置に前記仮想物体を表示する請求項１から４のいずれか１項に記載の仮想物体表示装置。
【請求項８】
前記複数の画像表示方式の一つは、前記観察者の位置に関わらず、前記観察者の姿勢が、特定の姿勢と一致した場合に前記仮想物体を表示する請求項１から４のいずれか１項に記載の仮想物体表示装置。
【請求項９】
前記データ取得部で取得される前記仮想物体のデータには、前記仮想物体に対応した表示方式を決定するための属性情報が含まれ、
前記表示方式決定部は、前記属性情報を用いて前記表示方式を自動的に決定する請求項１記載の仮想物体表示装置。
【請求項１】
観察者の位置姿勢を取得する位置姿勢取得部と、
複数の画像表示方式から、一つの表示方式を決定する表示方式決定部と、
前記表示方式決定部で決定された表示方式に、前記表示方式を切り替える表示方式切替部と、
前記表示方式決定部で決定された表示方式に基づいて、表示対象とする仮想物体の三次元仮想空間内での表示位置の基準となる座標系を決定する基準座標系決定部と、
前記仮想物体のデータを取得するデータ取得部と、
前記基準座標系決定部により決定された基準となる座標系と前記位置姿勢取得部により取得された前記観察者の位置姿勢から、三次元仮想空間内での表示対象の前記仮想物体の座標変換を行う座標計算部と、
前記データ取得部で取得した前記仮想物体のデータを、前記基準座標系決定部で決定された座標系によって、前記座標計算部で座標変換された三次元仮想空間内での所定の位置に重畳して表示部に表示する表示画面合成部と、
を備える仮想物体表示装置。
【請求項２】
前記表示方式決定部は、前記観察者からのイベント入力に応じて表示方式を決定する請求項１に記載の仮想物体表示装置。
【請求項３】
前記表示方式決定部は、前記観察者が画像表示方式を選択するためのグラフィックユーザーインターフェースを表示する請求項２に記載の仮想物体表示装置。
【請求項４】
前記表示方式決定部は、表示対象の前記仮想物体の特徴に応じて表示方式を決定する請求項１に記載の仮想物体表示装置。
【請求項５】
前記複数の画像表示方式の一つは、前記仮想物体を地球上の緯度、経度、高度のような絶対値の位置に表示する請求項１から４のいずれか１項に記載の仮想物体表示装置。
【請求項６】
前記複数の画像表示方式の一つは、現実または仮想の特定の物体が前記観察者の視界に入っている場合に、前記仮想物体を特定の物体からの相対位置で表示する請求項１から４のいずれか１項に記載の仮想物体表示装置。
【請求項７】
前記複数の画像表示方式の一つは、前記観察者の位置姿勢に関わらず、常に前記観察者の視界の特定の位置に前記仮想物体を表示する請求項１から４のいずれか１項に記載の仮想物体表示装置。
【請求項８】
前記複数の画像表示方式の一つは、前記観察者の位置に関わらず、前記観察者の姿勢が、特定の姿勢と一致した場合に前記仮想物体を表示する請求項１から４のいずれか１項に記載の仮想物体表示装置。
【請求項９】
前記データ取得部で取得される前記仮想物体のデータには、前記仮想物体に対応した表示方式を決定するための属性情報が含まれ、
前記表示方式決定部は、前記属性情報を用いて前記表示方式を自動的に決定する請求項１記載の仮想物体表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１２８７７９（Ｐ２０１２−１２８７７９Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８１５９０（Ｐ２０１０−２８１５９０）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]