実空間をベースにした仮想空間表示システム
【課題】 ユーザの実空間における位置移動と仮想空間における視点移動を対応させ、ヘッドマウントディスプレイに実空間と仮想空間を一体化表示する。
【解決手段】 床に配置して固有のＩＤデータを送信するＩＤタグとＩＤタグから送信されたＩＤデータを受信するＩＤリーダと、そのＩＤデータをユーザの位置情報に変換するＩＤデータ処理手段と、ヘッドトラッキングセンサを含むヘッドマウントディスプレイと、ＩＤデータ処理手段からユーザの位置情報を入力し、ヘッドトラッキングセンサからユーザの視線情報を入力し、ユーザの位置情報および視線情報をもとに、ユーザがいる実空間とジオメトリ構造が同じ仮想空間を表示するための仮想空間情報を生成し、ヘッドマウントディスプレイに出力する仮想空間情報処理手段とを備える。
【解決手段】 床に配置して固有のＩＤデータを送信するＩＤタグとＩＤタグから送信されたＩＤデータを受信するＩＤリーダと、そのＩＤデータをユーザの位置情報に変換するＩＤデータ処理手段と、ヘッドトラッキングセンサを含むヘッドマウントディスプレイと、ＩＤデータ処理手段からユーザの位置情報を入力し、ヘッドトラッキングセンサからユーザの視線情報を入力し、ユーザの位置情報および視線情報をもとに、ユーザがいる実空間とジオメトリ構造が同じ仮想空間を表示するための仮想空間情報を生成し、ヘッドマウントディスプレイに出力する仮想空間情報処理手段とを備える。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、実空間とジオメトリ構造が同じ仮想空間を表示し、ユーザの実空間における移動と仮想空間における移動を一体化する実空間をベースにした仮想空間表示システムに関する。
【０００２】
【従来の技術】ユーザが装着するヘッドマウントディスプレイに仮想空間を表示し、ユーザの頭の向きを変えるだけで、その方向の仮想空間がディスプレイの正面方向に表示されるシステムがある。これは、ヘッドマウントディスプレイに取り付けたヘッドトラッキングセンサが頭の動きを測定し、それを視線方向の変化として画像処理することにより可能であり、ユーザは仮想空間内に実際に入り込んだような感覚を得ることができる。
【０００３】
【発明が解決しようとする課題】ヘッドマウントディスプレイを用いた従来の仮想空間表示システムは、ユーザが停止した状態で使用するものであり、ヘッドマウントディスプレイを装着したユーザが実際に実空間を動き回ることは想定されていない。
【０００４】ところで、実空間とヘッドマウントディスプレイに表示される仮想空間を重ね合わせ、実空間におけるユーザの動きを仮想空間内に持ち込むことができれば、ユーザは仮想空間内で実際に歩き回るような感覚を体験することができる。そのためには、ユーザの頭の向きを視線方向として検出するだけでなく、ユーザの位置を正確に検出し、その位置移動を仮想空間表示に反映させる必要がある。例えば、実空間で前に１歩進めば、仮想空間内でも前に１歩進むような処理が必要になる。
【０００５】ここで、従来はユーザの位置をリアルタイムで測定する方法として、限定された狭い領域では磁気センサを用いる方法があり、屋外などの広い範囲ではＰＨＳ（Personal Handy-phone System)やＧＰＳ (Global Positioning System)を用いる方法がある。
【０００６】しかし、磁気センサは、非常に高精度で位置を測定することができるが、磁気が乱されない環境を必要とし、実験室等の限られた設備でのみ利用可能であった。一方、ＰＨＳは広い範囲で位置を測定することができるが、測定精度が低く、上記の用途には利用不可能であった。また、ＧＰＳも広い範囲で位置を測定することができるが、衛星からの電波を受信できる屋外などに限られ、かつ測定精度を上げるためには装置が大型化する問題があり、同様に上記の用途には利用困難であった。
【０００７】本発明は、ユーザの頭の向きに応じた仮想空間を表示するヘッドマウントディスプレイを用い、ユーザの実空間における位置移動と仮想空間における視点移動を対応させ、実空間と仮想空間を一体化表示することができる実空間をベースにした仮想空間表示システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】本発明の実空間をベースにした仮想空間表示システムは、ユーザが移動する床に所定の間隔で配置され、電磁誘導方式により電力の供給を受け、それぞれ固有のＩＤデータを送信するＩＤタグと、ユーザに取り付けられ、ＩＤタグに電力を供給してそのＩＤタグから送信されたＩＤデータを受信するＩＤリーダと、ＩＤリーダに受信されたＩＤデータを入力し、そのＩＤデータと床上の空間位置を対応付けるマッピングテーブルを基にユーザの位置情報に変換するＩＤデータ処理手段と、ユーザの頭の向きを視線情報として検出するヘッドトラッキングセンサを含み、入力される仮想空間情報を表示するヘッドマウントディスプレイと、ＩＤデータ処理手段からユーザの位置情報を入力し、ヘッドトラッキングセンサからユーザの視線情報を入力し、ユーザの位置情報および視線情報をもとに、ユーザがいる実空間とジオメトリ構造が同じ仮想空間を表示するための仮想空間情報を生成し、ヘッドマウントディスプレイに出力する仮想空間情報処理手段とを備える。
【０００９】また、仮想空間情報処理手段は、ユーザ以外の移動体または非移動体の位置情報を入力し、仮想空間の対応する位置に移動体または非移動体を仮想オブジェクトとして配置した仮想空間情報を生成する構成としてもよい。さらに、移動体にＩＤリーダを取り付け、受信したＩＤデータをＩＤデータ処理手段で位置情報に変換する構成としてもよい。
【００１０】また、ユーザ、移動体、非移動体がそれぞれＩＤデータ処理手段を備え、各ＩＤデータ処理手段で得られるユーザ、移動体、非移動体の位置情報を仮想空間情報処理手段に伝送する構成としてもよい。また、仮想空間情報生成手段がＩＤデータ処理手段を備え、ユーザ、移動体、非移動体の各ＩＤリーダに受信したＩＤデータを仮想空間情報処理手段のＩＤデータ処理手段に伝送する構成としてもよい。
【００１１】
【発明の実施の形態】（実空間をベースにした仮想空間表示システムの基本構成）図１は、本発明の実空間をベースにした仮想空間表示システムの基本構成を示す。
【００１２】図において、ユーザ１０が移動する床１１には、複数のＩＤタグ１２が埋め込まれる。一方、ユーザ１０はヘッドマウントディスプレイ１３を装着し、さらに例えば靴底にＩＤタグ１２との通信を行うアンテナを含むＩＤリーダ１４を取り付ける。ＩＤリーダ１４との通信圏内に入ったＩＤタグ１２は、電力の供給を受けてそれぞれ固有のＩＤデータを送信する。ＩＤリーダ１４が受信したＩＤデータと、ヘッドマウントディスプレイ１３のヘッドトラッキングセンサで検出された頭の向きに対応する視線情報は、ユーザ１０が携帯する入出力装置１５に転送される。入出力装置１５は、ＩＤデータを実空間における位置情報に変換し、この位置情報と視線情報を仮想空間情報処理装置１６に送信する。また、入出力装置１５は、仮想空間情報処理装置１６から送信された仮想空間情報を受信し、ヘッドマウントディスプレイ１３に転送して表示する。なお、ＩＤリーダ１４と入出力装置１５、あるいは入出力装置１５とヘッドマウントディスプレイ１３が一体になっていてもよい。
【００１３】ここで、仮想空間情報処理装置１６は、ユーザ１０の位置情報および視線情報をもとに、ユーザ１０がいる実空間とジオメトリ構造が同じ仮想空間を表示するための仮想空間情報を生成し、ヘッドマウントディスプレイ１３に出力する機能を有する。例えば、ユーザ１０が直方体形状の部屋にいる場合には、ヘッドマウントディスプレイ１３には実際の直方体形状の空間と同じ構造をもつ仮想空間が表示される。このとき、実空間の部屋の壁の位置と仮想空間の壁の位置が一致するようにキャリブレーションを行う。そして、ユーザ１０の実空間での動き（例えば位置情報の変化）を仮想空間での動きに対応させる。
【００１４】これにより、ユーザ１０がいる実空間と同じ構造の仮想空間において、ユーザ１０の位置を視点とし、ユーザ１０の頭の向きに対応する視線方向の仮想空間をヘッドマウントディスプレイ１３に表示することができる。すなわち、ユーザ１０が前に進めば仮想空間内で前に移動し、ユーザ１０が右を向けば右方向の仮想空間が正面に現れる。さらに、仮想空間で壁になっているところは実空間でも壁があるために、仮想空間に完全に没入していても支障なく動き回ることができる。
【００１５】（ＩＤタグとＩＤリーダの概略構成）図２は、ＩＤタグ１２とＩＤリーダ１４の概略構成を示す。図において、ＩＤリーダ１４は、変調回路２１、復調回路２２、アンテナ２３、通信制御回路２４を備える。電源部は省略している。変調回路２１から出力された信号（電力供給信号およびＩＤ要求信号）はアンテナ２３から送信され、アンテナ２３に受信した信号（ＩＤデータ）は復調回路２２で復調される。通信制御回路２４は、変調回路２１および復調回路２２の送受信制御と、外部の入出力装置１５に対する送信処理を行う。
【００１６】ＩＤタグ１２は、アンテナ３１、電源回路３２、変調回路３３、復調回路３４、制御回路３５を備える。電源回路３２は、アンテナ３１に受信した電力供給信号を直流電力に変換して各部に供給する。アンテナ３１に受信したＩＤ要求信号は復調回路３４で復調され、制御回路３５に通知される。制御回路３５は、ＩＤタグに予め割り当てられた固有のＩＤデータを変調回路３３に出力する。変調回路３３で変調されたＩＤデータはアンテナ３１から送信される。
【００１７】このように、ＩＤタグ１２は電源をもたず、ＩＤリーダ１４から電磁誘導方式により供給される電力により動作し、それぞれ固有のＩＤデータを応答する構成になっている。ＩＤリーダ１４が受信したＩＤデータは、図１に示す入出力装置１５（または仮想空間情報処理装置１６）のＩＤデータ処理部に転送され、ＩＤデータと実空間との関係を示すマッピングテーブルとの照合により、受信ユーザ１０の位置情報（二次元座標）に変換される。以上は、ＩＤタグを利用した位置測定システムの基本的な構成および動作である。
【００１８】（複数のＩＤタグとＩＤリーダの関係）ここで、本発明の構成では、１つのＩＤリーダが複数のＩＤタグから一度に複数のＩＤデータを取得し、位置測定に利用することが可能になっている。図３は、ＩＤタグとＩＤリーダの交信範囲の関係を示す。ここでは、簡単のためにＩＤタグの交信範囲４１を点で表す。
【００１９】ＩＤリーダの交信範囲４２に少なくとも１つのＩＤタグの交信範囲４１が含まれるように配置し、アンチコリジョン技術を利用して一度に複数のＩＤデータを読み取るようにする。例えば、ＩＤリーダの交信範囲４２を直径ａの円形とした場合に、ＩＤタグをその内接正方形の間隔（ａ／√2 ）以下で規則的に並べることにより、ＩＤリーダの位置に関わらず最低１つのＩＤタグからＩＤデータを読み取ることができる。さらに、ＩＤリーダの位置に応じて複数のＩＤデータを読み取ることができる。
【００２０】この各ＩＤデータを処理装置に転送し、それぞれ座標変換する。このとき、読み取り可能な複数のＩＤデータの数をＮ、各変換座標を（ｘ1 ，ｙ1 ）、（ｘ2，ｙ2 ）、・・・、（ｘN ，ｙN ）とすると、ＩＤリーダの座標値は、（（ｘ1＋ｘ2＋・・・＋ｘN)／Ｎ，（ｙ1＋ｙ2＋・・・＋ｙN)／Ｎ）
と表すことができる。すなわち、図４に示すように、ＩＤリーダが４つのＩＤデータを取得した場合には４つのＩＤタグの中間地点５１を測定位置とし、ＩＤリーダが３つのＩＤデータを取得した場合には３つのＩＤタグの中間地点５２を測定位置とし、２つのＩＤデータを取得した場合には２つのＩＤタグの中間地点５３を測定位置とし、１つのＩＤデータを取得した場合にはそのＩＤタグの地点５４を測定位置する。
【００２１】このように、本発明では、最低１つのＩＤタグからＩＤデータを取得して確実に位置が測定できるだけでなく、複数のＩＤタグからＩＤデータを取得することにより、ＩＤタグの間隔以上の精度で位置を測定することができる。ただし、実際にはＩＤタグの交信範囲４１は点ではなく所定の範囲を有するので、その分の精度誤差は避けられないが、複数のＩＤデータを取得することによりＩＤタグの交信範囲４１に伴う精度誤差を最小限に抑えることができる。
【００２２】なお、ユーザの両足にＩＤリーダを取り付け、両足の位置情報からユーザの向きを検出するようにしてもよい。この場合には、ユーザ１０の体の向きと、ヘッドマウントディスプレイ１３で検出される頭の向きは独立に検出されるので、両者の整合をとって仮想空間の表示制御を行う必要がある。
【００２３】（実空間をベースにした仮想空間表示システムの機能構成）図５は、本発明の実空間をベースにした仮想空間表示システムの機能構成の一例を示す。図において、ユーザ１０は、ヘッドマウントディスプレイ１３、ＩＤタグ１２との通信によりＩＤデータを受信するＩＤリーダ１４、ＩＤリーダに受信したＩＤデータを位置情報に変換するＩＤデータ処理部６１、仮想空間のキャリブレーションその他の仮想空間制御情報を出力する仮想空間制御部６２、仮想空間情報処理装置１６との通信を行う送受信部６３を備える。ヘッドマウントディスプレイ１３は、頭の向きを検出して視線情報として出力するヘッドトラッキングセンサ６４および入力される仮想空間情報を表示する表示部６５を備える。なお、図１に示す入出力装置１５は、ＩＤデータ処理部６１、仮想空間制御部６２、送受信部６３を含む。
【００２４】移動体１７および非移動体１８は、それぞれＩＤタグ１２との通信によりＩＤデータを受信するＩＤリーダ、ＩＤリーダに受信したＩＤデータを位置情報に変換するＩＤデータ処理部、仮想空間情報処理装置１６に位置情報を送信する送信部を備える。なお、移動体１７は他のユーザであってもよく、非移動体１８とともに複数あってもよい。
【００２５】仮想空間情報処理装置１６は、ユーザ１０の入出力装置１５から送信された位置情報、視線情報、仮想空間制御情報を受信し、ユーザ１０がいる実空間に対応する仮想空間情報を生成してユーザ１０の入出力装置１５に送信する。また、仮想空間情報処理装置１６は、移動体１７および非移動体１８の位置情報を受信し、仮想空間のそれぞれ対応する位置に仮想オブジェクトとして表示した仮想空間情報を生成する。
【００２６】なお、入出力装置１５のＩＤデータ処理部６１を仮想空間情報処理装置１６側に配置し、入出力装置１５から仮想空間情報処理装置１６へはＩＤデータを送信するようにしてもよい。同様に、移動体１７および非移動体１８からその位置に対応するＩＤデータを仮想空間情報処理装置１６のＩＤデータ処理部へ送信するようにしてもよい。また、移動体１７および非移動体１８の位置情報がＩＤリーダを用いずに別途得られる場合には、その位置情報を仮想空間情報処理装置１６に直接入力してもよい。
【００２７】以下、図１、図５および図６を参照して本発明システムの動作例について説明する。ユーザ１０のＩＤデータ処理部６１は、ＩＤリーダ１４に受信したＩＤデータを位置情報に変換する。ヘッドマウントディスプレイ１３のヘッドトラッキングセンサ６４は、ユーザ１０の頭の向きを検出して視線情報として出力する。この位置情報および視線情報と、仮想空間制御部６２から出力される仮想空間制御情報は、送受信部６３から仮想空間情報処理装置１６へ送信される。仮想空間情報処理装置１６は、ユーザ１０から送信された各情報をもとにユーザ１０がいる実空間と同じジオメトリ構造の仮想空間情報を生成し、ヘッドマウントディスプレイ１３に表示する。
【００２８】ここで、仮想空間情報処理装置１６に、移動体１７として図６に示すような他のユーザ１０ｂの位置情報が得られる場合には、仮想空間上の対応する位置にコンピュータグラフィックス（ＣＧ）で作成した仮想オブジェクト１９を表示し、実空間との整合を図る。これにより、仮想空間に没入していても他のユーザなどの移動体１７や非移動体１８にぶつかることなく歩行することができる。
【００２９】また、ヘッドマウントディスプレイ１３に表示される壁などは、実空間と仮想空間が一致するようになっている。したがって、仮想の表示であるので壁紙の模様などをユーザの設定により自由に変えることが可能であり、さらに例えば家具などの仮想オブジェクトを表示させることも可能である。これにより、例えば部屋のインテリアの配置シミュレーションなどに利用することができる。
【００３０】また、ユーザ１０のいる場所として例えば図書館を設定した場合に、ヘッドマウントディスプレイ１３に書架などの構造物とジャンルごとに分類した書籍をモデリングした仮想図書館を表示する。本発明では、実空間と仮想空間が一致しているので、ユーザ１０はこの仮想図書館の表示を見ながら実際の図書館を歩き回ることができる。ここで、ユーザ１０が希望する書籍のジャンルを指定すると、その書籍が置かれている部分がビデオシースルーになって実際の本が見えるように設定する。そして、本を手に取るとヘッドマウントディスプレイ１３が完全にシースルー状態になり、実物の本を読める状態に設定する。これにより、より簡単に希望する書籍の場所を見つけることができる。これは、物品の出庫作業や在庫管理などにも応用することができる。
【００３１】
【発明の効果】以上説明したように、本発明の実空間をベースにした仮想空間表示システムは、まずユーザの位置情報を高精度に検出することができる。この位置情報とヘッドマウントディスプレイにより検出されるユーザの視線情報に応じて、実空間と同じジオメトリ構造の仮想空間を表示することにより、ユーザの実空間での動きを仮想空間での動きに対応させることができる。これにより、仮想空間に完全に没入していても支障なく動き回ることができる。
【図面の簡単な説明】
【図１】本発明の実空間をベースにした仮想空間表示システムの基本構成を示す図。
【図２】ＩＤタグ１２とＩＤリーダ１４の概略構成を示すブロック図。
【図３】ＩＤタグとＩＤリーダの交信範囲の関係を説明する図。
【図４】複数のＩＤデータを用いた位置決定アルゴリズムを説明する図。
【図５】本発明の実空間をベースにした仮想空間表示システムの機能構成の一例を示すブロック図。
【図６】本発明システムの動作例を示す図。
【符号の説明】
１０ ユーザ
１１ 床
１２ ＩＤタグ
１３ ヘッドマウントディスプレイ
１４ ＩＤリーダ
１５ 入出力装置
１６ 仮想空間情報処理装置
１７ 移動体
１８ 非移動体
１９ 仮想オブジェクト
２１ 変調回路
２２ 復調回路
２３ アンテナ
２４ 通信制御回路
３１ アンテナ
３２ 電源回路
３３ 変調回路
３４ 復調回路
３５ 制御回路
４１ ＩＤタグの交信範囲
４２ ＩＤリーダの交信範囲
６１ ＩＤデータ処理部
６２ 仮想空間制御部
６３ 送受信部
６４ ヘッドトラッキングセンサ
６５ 表示部
【０００１】
【発明の属する技術分野】本発明は、実空間とジオメトリ構造が同じ仮想空間を表示し、ユーザの実空間における移動と仮想空間における移動を一体化する実空間をベースにした仮想空間表示システムに関する。
【０００２】
【従来の技術】ユーザが装着するヘッドマウントディスプレイに仮想空間を表示し、ユーザの頭の向きを変えるだけで、その方向の仮想空間がディスプレイの正面方向に表示されるシステムがある。これは、ヘッドマウントディスプレイに取り付けたヘッドトラッキングセンサが頭の動きを測定し、それを視線方向の変化として画像処理することにより可能であり、ユーザは仮想空間内に実際に入り込んだような感覚を得ることができる。
【０００３】
【発明が解決しようとする課題】ヘッドマウントディスプレイを用いた従来の仮想空間表示システムは、ユーザが停止した状態で使用するものであり、ヘッドマウントディスプレイを装着したユーザが実際に実空間を動き回ることは想定されていない。
【０００４】ところで、実空間とヘッドマウントディスプレイに表示される仮想空間を重ね合わせ、実空間におけるユーザの動きを仮想空間内に持ち込むことができれば、ユーザは仮想空間内で実際に歩き回るような感覚を体験することができる。そのためには、ユーザの頭の向きを視線方向として検出するだけでなく、ユーザの位置を正確に検出し、その位置移動を仮想空間表示に反映させる必要がある。例えば、実空間で前に１歩進めば、仮想空間内でも前に１歩進むような処理が必要になる。
【０００５】ここで、従来はユーザの位置をリアルタイムで測定する方法として、限定された狭い領域では磁気センサを用いる方法があり、屋外などの広い範囲ではＰＨＳ（Personal Handy-phone System)やＧＰＳ (Global Positioning System)を用いる方法がある。
【０００６】しかし、磁気センサは、非常に高精度で位置を測定することができるが、磁気が乱されない環境を必要とし、実験室等の限られた設備でのみ利用可能であった。一方、ＰＨＳは広い範囲で位置を測定することができるが、測定精度が低く、上記の用途には利用不可能であった。また、ＧＰＳも広い範囲で位置を測定することができるが、衛星からの電波を受信できる屋外などに限られ、かつ測定精度を上げるためには装置が大型化する問題があり、同様に上記の用途には利用困難であった。
【０００７】本発明は、ユーザの頭の向きに応じた仮想空間を表示するヘッドマウントディスプレイを用い、ユーザの実空間における位置移動と仮想空間における視点移動を対応させ、実空間と仮想空間を一体化表示することができる実空間をベースにした仮想空間表示システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】本発明の実空間をベースにした仮想空間表示システムは、ユーザが移動する床に所定の間隔で配置され、電磁誘導方式により電力の供給を受け、それぞれ固有のＩＤデータを送信するＩＤタグと、ユーザに取り付けられ、ＩＤタグに電力を供給してそのＩＤタグから送信されたＩＤデータを受信するＩＤリーダと、ＩＤリーダに受信されたＩＤデータを入力し、そのＩＤデータと床上の空間位置を対応付けるマッピングテーブルを基にユーザの位置情報に変換するＩＤデータ処理手段と、ユーザの頭の向きを視線情報として検出するヘッドトラッキングセンサを含み、入力される仮想空間情報を表示するヘッドマウントディスプレイと、ＩＤデータ処理手段からユーザの位置情報を入力し、ヘッドトラッキングセンサからユーザの視線情報を入力し、ユーザの位置情報および視線情報をもとに、ユーザがいる実空間とジオメトリ構造が同じ仮想空間を表示するための仮想空間情報を生成し、ヘッドマウントディスプレイに出力する仮想空間情報処理手段とを備える。
【０００９】また、仮想空間情報処理手段は、ユーザ以外の移動体または非移動体の位置情報を入力し、仮想空間の対応する位置に移動体または非移動体を仮想オブジェクトとして配置した仮想空間情報を生成する構成としてもよい。さらに、移動体にＩＤリーダを取り付け、受信したＩＤデータをＩＤデータ処理手段で位置情報に変換する構成としてもよい。
【００１０】また、ユーザ、移動体、非移動体がそれぞれＩＤデータ処理手段を備え、各ＩＤデータ処理手段で得られるユーザ、移動体、非移動体の位置情報を仮想空間情報処理手段に伝送する構成としてもよい。また、仮想空間情報生成手段がＩＤデータ処理手段を備え、ユーザ、移動体、非移動体の各ＩＤリーダに受信したＩＤデータを仮想空間情報処理手段のＩＤデータ処理手段に伝送する構成としてもよい。
【００１１】
【発明の実施の形態】（実空間をベースにした仮想空間表示システムの基本構成）図１は、本発明の実空間をベースにした仮想空間表示システムの基本構成を示す。
【００１２】図において、ユーザ１０が移動する床１１には、複数のＩＤタグ１２が埋め込まれる。一方、ユーザ１０はヘッドマウントディスプレイ１３を装着し、さらに例えば靴底にＩＤタグ１２との通信を行うアンテナを含むＩＤリーダ１４を取り付ける。ＩＤリーダ１４との通信圏内に入ったＩＤタグ１２は、電力の供給を受けてそれぞれ固有のＩＤデータを送信する。ＩＤリーダ１４が受信したＩＤデータと、ヘッドマウントディスプレイ１３のヘッドトラッキングセンサで検出された頭の向きに対応する視線情報は、ユーザ１０が携帯する入出力装置１５に転送される。入出力装置１５は、ＩＤデータを実空間における位置情報に変換し、この位置情報と視線情報を仮想空間情報処理装置１６に送信する。また、入出力装置１５は、仮想空間情報処理装置１６から送信された仮想空間情報を受信し、ヘッドマウントディスプレイ１３に転送して表示する。なお、ＩＤリーダ１４と入出力装置１５、あるいは入出力装置１５とヘッドマウントディスプレイ１３が一体になっていてもよい。
【００１３】ここで、仮想空間情報処理装置１６は、ユーザ１０の位置情報および視線情報をもとに、ユーザ１０がいる実空間とジオメトリ構造が同じ仮想空間を表示するための仮想空間情報を生成し、ヘッドマウントディスプレイ１３に出力する機能を有する。例えば、ユーザ１０が直方体形状の部屋にいる場合には、ヘッドマウントディスプレイ１３には実際の直方体形状の空間と同じ構造をもつ仮想空間が表示される。このとき、実空間の部屋の壁の位置と仮想空間の壁の位置が一致するようにキャリブレーションを行う。そして、ユーザ１０の実空間での動き（例えば位置情報の変化）を仮想空間での動きに対応させる。
【００１４】これにより、ユーザ１０がいる実空間と同じ構造の仮想空間において、ユーザ１０の位置を視点とし、ユーザ１０の頭の向きに対応する視線方向の仮想空間をヘッドマウントディスプレイ１３に表示することができる。すなわち、ユーザ１０が前に進めば仮想空間内で前に移動し、ユーザ１０が右を向けば右方向の仮想空間が正面に現れる。さらに、仮想空間で壁になっているところは実空間でも壁があるために、仮想空間に完全に没入していても支障なく動き回ることができる。
【００１５】（ＩＤタグとＩＤリーダの概略構成）図２は、ＩＤタグ１２とＩＤリーダ１４の概略構成を示す。図において、ＩＤリーダ１４は、変調回路２１、復調回路２２、アンテナ２３、通信制御回路２４を備える。電源部は省略している。変調回路２１から出力された信号（電力供給信号およびＩＤ要求信号）はアンテナ２３から送信され、アンテナ２３に受信した信号（ＩＤデータ）は復調回路２２で復調される。通信制御回路２４は、変調回路２１および復調回路２２の送受信制御と、外部の入出力装置１５に対する送信処理を行う。
【００１６】ＩＤタグ１２は、アンテナ３１、電源回路３２、変調回路３３、復調回路３４、制御回路３５を備える。電源回路３２は、アンテナ３１に受信した電力供給信号を直流電力に変換して各部に供給する。アンテナ３１に受信したＩＤ要求信号は復調回路３４で復調され、制御回路３５に通知される。制御回路３５は、ＩＤタグに予め割り当てられた固有のＩＤデータを変調回路３３に出力する。変調回路３３で変調されたＩＤデータはアンテナ３１から送信される。
【００１７】このように、ＩＤタグ１２は電源をもたず、ＩＤリーダ１４から電磁誘導方式により供給される電力により動作し、それぞれ固有のＩＤデータを応答する構成になっている。ＩＤリーダ１４が受信したＩＤデータは、図１に示す入出力装置１５（または仮想空間情報処理装置１６）のＩＤデータ処理部に転送され、ＩＤデータと実空間との関係を示すマッピングテーブルとの照合により、受信ユーザ１０の位置情報（二次元座標）に変換される。以上は、ＩＤタグを利用した位置測定システムの基本的な構成および動作である。
【００１８】（複数のＩＤタグとＩＤリーダの関係）ここで、本発明の構成では、１つのＩＤリーダが複数のＩＤタグから一度に複数のＩＤデータを取得し、位置測定に利用することが可能になっている。図３は、ＩＤタグとＩＤリーダの交信範囲の関係を示す。ここでは、簡単のためにＩＤタグの交信範囲４１を点で表す。
【００１９】ＩＤリーダの交信範囲４２に少なくとも１つのＩＤタグの交信範囲４１が含まれるように配置し、アンチコリジョン技術を利用して一度に複数のＩＤデータを読み取るようにする。例えば、ＩＤリーダの交信範囲４２を直径ａの円形とした場合に、ＩＤタグをその内接正方形の間隔（ａ／√2 ）以下で規則的に並べることにより、ＩＤリーダの位置に関わらず最低１つのＩＤタグからＩＤデータを読み取ることができる。さらに、ＩＤリーダの位置に応じて複数のＩＤデータを読み取ることができる。
【００２０】この各ＩＤデータを処理装置に転送し、それぞれ座標変換する。このとき、読み取り可能な複数のＩＤデータの数をＮ、各変換座標を（ｘ1 ，ｙ1 ）、（ｘ2，ｙ2 ）、・・・、（ｘN ，ｙN ）とすると、ＩＤリーダの座標値は、（（ｘ1＋ｘ2＋・・・＋ｘN)／Ｎ，（ｙ1＋ｙ2＋・・・＋ｙN)／Ｎ）
と表すことができる。すなわち、図４に示すように、ＩＤリーダが４つのＩＤデータを取得した場合には４つのＩＤタグの中間地点５１を測定位置とし、ＩＤリーダが３つのＩＤデータを取得した場合には３つのＩＤタグの中間地点５２を測定位置とし、２つのＩＤデータを取得した場合には２つのＩＤタグの中間地点５３を測定位置とし、１つのＩＤデータを取得した場合にはそのＩＤタグの地点５４を測定位置する。
【００２１】このように、本発明では、最低１つのＩＤタグからＩＤデータを取得して確実に位置が測定できるだけでなく、複数のＩＤタグからＩＤデータを取得することにより、ＩＤタグの間隔以上の精度で位置を測定することができる。ただし、実際にはＩＤタグの交信範囲４１は点ではなく所定の範囲を有するので、その分の精度誤差は避けられないが、複数のＩＤデータを取得することによりＩＤタグの交信範囲４１に伴う精度誤差を最小限に抑えることができる。
【００２２】なお、ユーザの両足にＩＤリーダを取り付け、両足の位置情報からユーザの向きを検出するようにしてもよい。この場合には、ユーザ１０の体の向きと、ヘッドマウントディスプレイ１３で検出される頭の向きは独立に検出されるので、両者の整合をとって仮想空間の表示制御を行う必要がある。
【００２３】（実空間をベースにした仮想空間表示システムの機能構成）図５は、本発明の実空間をベースにした仮想空間表示システムの機能構成の一例を示す。図において、ユーザ１０は、ヘッドマウントディスプレイ１３、ＩＤタグ１２との通信によりＩＤデータを受信するＩＤリーダ１４、ＩＤリーダに受信したＩＤデータを位置情報に変換するＩＤデータ処理部６１、仮想空間のキャリブレーションその他の仮想空間制御情報を出力する仮想空間制御部６２、仮想空間情報処理装置１６との通信を行う送受信部６３を備える。ヘッドマウントディスプレイ１３は、頭の向きを検出して視線情報として出力するヘッドトラッキングセンサ６４および入力される仮想空間情報を表示する表示部６５を備える。なお、図１に示す入出力装置１５は、ＩＤデータ処理部６１、仮想空間制御部６２、送受信部６３を含む。
【００２４】移動体１７および非移動体１８は、それぞれＩＤタグ１２との通信によりＩＤデータを受信するＩＤリーダ、ＩＤリーダに受信したＩＤデータを位置情報に変換するＩＤデータ処理部、仮想空間情報処理装置１６に位置情報を送信する送信部を備える。なお、移動体１７は他のユーザであってもよく、非移動体１８とともに複数あってもよい。
【００２５】仮想空間情報処理装置１６は、ユーザ１０の入出力装置１５から送信された位置情報、視線情報、仮想空間制御情報を受信し、ユーザ１０がいる実空間に対応する仮想空間情報を生成してユーザ１０の入出力装置１５に送信する。また、仮想空間情報処理装置１６は、移動体１７および非移動体１８の位置情報を受信し、仮想空間のそれぞれ対応する位置に仮想オブジェクトとして表示した仮想空間情報を生成する。
【００２６】なお、入出力装置１５のＩＤデータ処理部６１を仮想空間情報処理装置１６側に配置し、入出力装置１５から仮想空間情報処理装置１６へはＩＤデータを送信するようにしてもよい。同様に、移動体１７および非移動体１８からその位置に対応するＩＤデータを仮想空間情報処理装置１６のＩＤデータ処理部へ送信するようにしてもよい。また、移動体１７および非移動体１８の位置情報がＩＤリーダを用いずに別途得られる場合には、その位置情報を仮想空間情報処理装置１６に直接入力してもよい。
【００２７】以下、図１、図５および図６を参照して本発明システムの動作例について説明する。ユーザ１０のＩＤデータ処理部６１は、ＩＤリーダ１４に受信したＩＤデータを位置情報に変換する。ヘッドマウントディスプレイ１３のヘッドトラッキングセンサ６４は、ユーザ１０の頭の向きを検出して視線情報として出力する。この位置情報および視線情報と、仮想空間制御部６２から出力される仮想空間制御情報は、送受信部６３から仮想空間情報処理装置１６へ送信される。仮想空間情報処理装置１６は、ユーザ１０から送信された各情報をもとにユーザ１０がいる実空間と同じジオメトリ構造の仮想空間情報を生成し、ヘッドマウントディスプレイ１３に表示する。
【００２８】ここで、仮想空間情報処理装置１６に、移動体１７として図６に示すような他のユーザ１０ｂの位置情報が得られる場合には、仮想空間上の対応する位置にコンピュータグラフィックス（ＣＧ）で作成した仮想オブジェクト１９を表示し、実空間との整合を図る。これにより、仮想空間に没入していても他のユーザなどの移動体１７や非移動体１８にぶつかることなく歩行することができる。
【００２９】また、ヘッドマウントディスプレイ１３に表示される壁などは、実空間と仮想空間が一致するようになっている。したがって、仮想の表示であるので壁紙の模様などをユーザの設定により自由に変えることが可能であり、さらに例えば家具などの仮想オブジェクトを表示させることも可能である。これにより、例えば部屋のインテリアの配置シミュレーションなどに利用することができる。
【００３０】また、ユーザ１０のいる場所として例えば図書館を設定した場合に、ヘッドマウントディスプレイ１３に書架などの構造物とジャンルごとに分類した書籍をモデリングした仮想図書館を表示する。本発明では、実空間と仮想空間が一致しているので、ユーザ１０はこの仮想図書館の表示を見ながら実際の図書館を歩き回ることができる。ここで、ユーザ１０が希望する書籍のジャンルを指定すると、その書籍が置かれている部分がビデオシースルーになって実際の本が見えるように設定する。そして、本を手に取るとヘッドマウントディスプレイ１３が完全にシースルー状態になり、実物の本を読める状態に設定する。これにより、より簡単に希望する書籍の場所を見つけることができる。これは、物品の出庫作業や在庫管理などにも応用することができる。
【００３１】
【発明の効果】以上説明したように、本発明の実空間をベースにした仮想空間表示システムは、まずユーザの位置情報を高精度に検出することができる。この位置情報とヘッドマウントディスプレイにより検出されるユーザの視線情報に応じて、実空間と同じジオメトリ構造の仮想空間を表示することにより、ユーザの実空間での動きを仮想空間での動きに対応させることができる。これにより、仮想空間に完全に没入していても支障なく動き回ることができる。
【図面の簡単な説明】
【図１】本発明の実空間をベースにした仮想空間表示システムの基本構成を示す図。
【図２】ＩＤタグ１２とＩＤリーダ１４の概略構成を示すブロック図。
【図３】ＩＤタグとＩＤリーダの交信範囲の関係を説明する図。
【図４】複数のＩＤデータを用いた位置決定アルゴリズムを説明する図。
【図５】本発明の実空間をベースにした仮想空間表示システムの機能構成の一例を示すブロック図。
【図６】本発明システムの動作例を示す図。
【符号の説明】
１０ ユーザ
１１ 床
１２ ＩＤタグ
１３ ヘッドマウントディスプレイ
１４ ＩＤリーダ
１５ 入出力装置
１６ 仮想空間情報処理装置
１７ 移動体
１８ 非移動体
１９ 仮想オブジェクト
２１ 変調回路
２２ 復調回路
２３ アンテナ
２４ 通信制御回路
３１ アンテナ
３２ 電源回路
３３ 変調回路
３４ 復調回路
３５ 制御回路
４１ ＩＤタグの交信範囲
４２ ＩＤリーダの交信範囲
６１ ＩＤデータ処理部
６２ 仮想空間制御部
６３ 送受信部
６４ ヘッドトラッキングセンサ
６５ 表示部
【特許請求の範囲】
【請求項１】 ユーザが移動する床に所定の間隔で配置され、電磁誘導方式により電力の供給を受け、それぞれ固有のＩＤデータを送信するＩＤタグと、前記ユーザに取り付けられ、前記ＩＤタグに電力を供給してそのＩＤタグから送信されたＩＤデータを受信するＩＤリーダと、前記ＩＤリーダに受信されたＩＤデータを入力し、そのＩＤデータと前記床上の空間位置を対応付けるマッピングテーブルを基に前記ユーザの位置情報に変換するＩＤデータ処理手段と、前記ユーザの頭の向きを視線情報として検出するヘッドトラッキングセンサを含み、入力される仮想空間情報を表示するヘッドマウントディスプレイと、前記ＩＤデータ処理手段から前記ユーザの位置情報を入力し、前記ヘッドトラッキングセンサから前記ユーザの視線情報を入力し、前記ユーザの位置情報および視線情報をもとに、前記ユーザがいる実空間とジオメトリ構造が同じ仮想空間を表示するための仮想空間情報を生成し、前記ヘッドマウントディスプレイに出力する仮想空間情報処理手段とを備えたことを特徴とする実空間をベースにした仮想空間表示システム。
【請求項２】 請求項１に記載の実空間をベースにした仮想空間表示システムにおいて、前記仮想空間情報処理手段は、前記ユーザ以外の移動体または非移動体の位置情報を入力し、前記仮想空間の対応する位置に移動体または非移動体を仮想オブジェクトとして配置した仮想空間情報を生成する構成であることを特徴とする実空間をベースにした仮想空間表示システム。
【請求項３】 請求項２に記載の実空間をベースにした仮想空間表示システムにおいて、前記移動体または前記非移動体に前記ＩＤリーダを取り付け、受信したＩＤデータを前記ＩＤデータ処理手段で位置情報に変換する構成であることを特徴とする実空間をベースにした仮想空間表示システム。
【請求項４】 請求項１または請求項３に記載の実空間をベースにした仮想空間表示システムにおいて、前記ユーザ、前記移動体、前記非移動体がそれぞれ前記ＩＤデータ処理手段を備え、各ＩＤデータ処理手段で得られるユーザ、移動体、非移動体の位置情報を前記仮想空間情報処理手段に伝送する構成であることを特徴とする実空間をベースにした仮想空間表示システム。
【請求項５】 請求項１または請求項３に記載の実空間をベースにした仮想空間表示システムにおいて、前記仮想空間情報生成手段が前記ＩＤデータ処理手段を備え、前記ユーザ、前記移動体、前記非移動体の各ＩＤリーダに受信したＩＤデータを前記仮想空間情報処理手段のＩＤデータ処理手段に伝送する構成であることを特徴とする実空間をベースにした仮想空間表示システム。
【請求項１】 ユーザが移動する床に所定の間隔で配置され、電磁誘導方式により電力の供給を受け、それぞれ固有のＩＤデータを送信するＩＤタグと、前記ユーザに取り付けられ、前記ＩＤタグに電力を供給してそのＩＤタグから送信されたＩＤデータを受信するＩＤリーダと、前記ＩＤリーダに受信されたＩＤデータを入力し、そのＩＤデータと前記床上の空間位置を対応付けるマッピングテーブルを基に前記ユーザの位置情報に変換するＩＤデータ処理手段と、前記ユーザの頭の向きを視線情報として検出するヘッドトラッキングセンサを含み、入力される仮想空間情報を表示するヘッドマウントディスプレイと、前記ＩＤデータ処理手段から前記ユーザの位置情報を入力し、前記ヘッドトラッキングセンサから前記ユーザの視線情報を入力し、前記ユーザの位置情報および視線情報をもとに、前記ユーザがいる実空間とジオメトリ構造が同じ仮想空間を表示するための仮想空間情報を生成し、前記ヘッドマウントディスプレイに出力する仮想空間情報処理手段とを備えたことを特徴とする実空間をベースにした仮想空間表示システム。
【請求項２】 請求項１に記載の実空間をベースにした仮想空間表示システムにおいて、前記仮想空間情報処理手段は、前記ユーザ以外の移動体または非移動体の位置情報を入力し、前記仮想空間の対応する位置に移動体または非移動体を仮想オブジェクトとして配置した仮想空間情報を生成する構成であることを特徴とする実空間をベースにした仮想空間表示システム。
【請求項３】 請求項２に記載の実空間をベースにした仮想空間表示システムにおいて、前記移動体または前記非移動体に前記ＩＤリーダを取り付け、受信したＩＤデータを前記ＩＤデータ処理手段で位置情報に変換する構成であることを特徴とする実空間をベースにした仮想空間表示システム。
【請求項４】 請求項１または請求項３に記載の実空間をベースにした仮想空間表示システムにおいて、前記ユーザ、前記移動体、前記非移動体がそれぞれ前記ＩＤデータ処理手段を備え、各ＩＤデータ処理手段で得られるユーザ、移動体、非移動体の位置情報を前記仮想空間情報処理手段に伝送する構成であることを特徴とする実空間をベースにした仮想空間表示システム。
【請求項５】 請求項１または請求項３に記載の実空間をベースにした仮想空間表示システムにおいて、前記仮想空間情報生成手段が前記ＩＤデータ処理手段を備え、前記ユーザ、前記移動体、前記非移動体の各ＩＤリーダに受信したＩＤデータを前記仮想空間情報処理手段のＩＤデータ処理手段に伝送する構成であることを特徴とする実空間をベースにした仮想空間表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００２−１３２２４１（Ｐ２００２−１３２２４１Ａ）
【公開日】平成１４年５月９日（２００２．５．９）
【国際特許分類】
【出願番号】特願２０００−３２９４７９（Ｐ２０００−３２９４７９）
【出願日】平成１２年１０月２７日（２０００．１０．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１４年５月９日（２００２．５．９）
【国際特許分類】
【出願日】平成１２年１０月２７日（２０００．１０．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]