拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
【課題】使用者に自身が入力した仮想オブジェクトを表示する拡張現実システムを提供する。
【解決手段】拡張現実システムは、仮想オブジェクトを使用者が入力する際、拡張現実装置の位置および方向に関する情報を取得し、取得した位置および方向に関する情報を仮想オブジェクトの情報と共に記録する。使用者が拡張現実システムを使用する際、自身が入力した仮想オブジェクトに関する位置および方向にさしかかった場合に、自身が入力した仮想オブジェクトを現実の環境に重ねて表示する。
【解決手段】拡張現実システムは、仮想オブジェクトを使用者が入力する際、拡張現実装置の位置および方向に関する情報を取得し、取得した位置および方向に関する情報を仮想オブジェクトの情報と共に記録する。使用者が拡張現実システムを使用する際、自身が入力した仮想オブジェクトに関する位置および方向にさしかかった場合に、自身が入力した仮想オブジェクトを現実の環境に重ねて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポータブルデバイスにおける拡張現実の技術に関する。
【背景技術】
【０００２】
カメラデバイスとディスプレイデバイスが実装されたポータブルデバイスにおいて、カメラデバイスによって撮影されている画像で、リアルタイムにディスプレイデバイスに映し出したものに対して、あらかじめ用意された仮想画像データを表示する技術がある（例えば、特許文献１参照）。かかる技術によれば、現実の環境から知覚に与えられる情報に対して、機械的に作り出した画像データを重ね合わせ、現実の視覚情報に対して補足的な情報を与えることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】 特許公表２００８−５１０２５４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、現実の環境に対してあらかじめ用意された画像データを重ねて表示する技術においては、あらかじめ用意された画像データを表示することが前提となっており、本技術を使用する前に画像データを生成し、あらかじめポータブルデバイスに蓄積しておく必要があった。また、画像データはテキストファイルなどと比較し相対的にデータ容量が大きい。あらゆるシーンで拡張現実の環境を表現するためには多数の画像データを用意する必要があり、画像データを格納するために大容量の保存領域を確保する必要があった。さらに、画像データは視覚的な表現を得意とする仮想オブジェクトである一方、拡張現実において有益となるテキスト情報を表現することを苦手としていた。そこで、本発明は、ディスプレイデバイス上に表示された現実の環境の上に、使用者自身が仮想オブジェクトを生成し、現実の環境の位置データと併せて前記仮想オブジェクトを蓄積し、随時前記仮想オブジェクトと前記位置データを呼び出して現実の環境の上に表示する拡張現実技術を実現する。
【課題を解決するための手段】
【０００５】
本発明に係る拡張現実システムは、現実の環境における画像を取得する第１の取得手段と、画像の取得の基準位置を示す位置マーカを取得する第２の取得手段と、画像の取得の基準方向を示す方向マーカを取得する第３の取得手段と、前記第２の取得手段により取得される位置マーカと前記第３の取得手段により取得される方向マーカとに対応する仮想オブジェクトを生成する第４の取得手段と、前記仮想オブジェクトを前記位置マーカと前記方向マーカの関連情報として記録する記録手段と、前記仮想オブジェクトを前記画像に重ねて表示する表示手段とを備える。この構成によれば、画像を取得した位置および方向に対応した仮想オブジェクトを使用者自身が生成し、前記画像を取得した位置および方向に対応する前記仮想オブジェクトを前記画像に重ねてすることが可能である。こうすることにより、使用者自身が任意の拡張現実の位置において任意の前記仮想オブジェクトを配置できることを特徴とする。前記仮想オブジェクトは例えばテキスト情報でもよく、その場合は情報容量が小さくなるという特徴もある。
【０００６】
本発明に係る拡張現実システムは、前記第２の算出手段が、前記画像を取得する位置の変化に応じて前記第２の位置マーカの算出を繰り返し、かつ、前記第３の算出手段が、前記画像を取得する方向の変化に応じて前記第３の方向マーカの算出を繰り返し、前記仮想オブジェクトの生成の要求があったならば、前記第２の算出手段により算出された第２の位置マーカと、前記第３の算出手段により算出された第３の方向マーカとを記録し、前記仮想オブジェクトが入力された位置および方向を取得する構成を採用することができる。この構成によれば、第１の取得手段によって前記画像を取得した位置および方向に対し、前記仮想オブジェクトの入力があった位置および方向が一意に決定されるため、前記画像の位置および方向が前記仮想オブジェクトの入力があった位置および方向と一致する条件において、前記仮想オブジェクトを前記画像に重ねて表示することが可能である。
【０００７】
本発明に係る拡張現実システムは、前記仮想オブジェクトの生成と、前記位置マーカの生成と、前記方向マーカの生成とが同時に実施されることから、前記仮想オブジェクトが取得された位置マーカと方向マーカを前記仮想オブジェクトの関連情報として記録することが可能となる。前記位置マーカと前記方向マーカを前記仮想オブジェクトの関連情報として同時に記録することにより、所定の条件が満たされる場合に、前記第１の現実の環境の画像の上に、前記蓄積された仮想オブジェクトを重ねて表示させるものである。
【０００８】
本発明に係るプログラムは、コンピュータに、画像を取得するステップと、画像の取得の基準位置を示す位置マーカを取得するステップと、前記位置情報が示す基準位置からの画像の取得方向を示す方向マーカを取得するステップと、任意の位置および方向において使用者からの要求に基づき仮想オブジェクトの生成を行うステップと、前記仮想オブジェクトを前記位置マーカと前記方向マーカとともに記録するステップと、前記画像を取得するステップにおいて前記仮想オブジェクトが同時に記録した位置および方向と一致する位置および方向にさしかかったときに前記仮想オブジェクトを前記画像に重ねて表示するステップとを実行させるためのものである。
【発明の効果】
【０００９】
本発明によれば、拡張現実システムにおいて、画像を取得する際に、位置情報および方向情報と紐づけて入力された仮想オブジェクトを記録し、次回以降使用者が画像を取得する際に、位置情報と方向情報に応じて以前記録した前記仮想オブジェクトを実画像に重ねて表示することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】 拡張現実システムの構成を示す図
【図２】 拡張現実装置の構成を示すブロック図
【図３】 データベースサーバおけるデータベースの構成図
【図４】 撮影デバイスの構成を示す図
【図５】 入力デバイスおよび表示デバイスの構成を示す図
【図６】 仮想オブジェクトの入力を示す図
【図７】 仮想オブジェクトの表示を示す図
【発明を実施するための形態】
【００１１】
［実施形態］
図１は、本発明の一実施形態である拡張現実システムの構成を示す図である。同図に示すように、本実施形態の拡張現実システムは、複数の拡張現実装置１００と、データベースサーバ１０とを備える。拡張現実装置１００とデータベースサーバ１０とは、ネットワークＮＷ１を介して通信可能に接続される。本実施形態の拡張現実装置１００は、本実施形態の拡張現実装置１００は、持ち運び可能な構造を有しており、典型的な例としては、携帯電話情報端末（すなわち無線通信端末）である。この場合、ネットワークＮＷ１は、無線の移動体通信網を含む。
【００１２】
図２は、本実施形態における拡張現実装置の構成を示すブロック図である。同図に示すように、拡張現実装置１００は制御部１１０と、通信部１２０と、撮影デバイス１３０と、方向センサ１４０と、位置センサ１５０と、入力デバイス１６０と、表示デバイス１７０とを備える。
【００１３】
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置やメモリを備え、プログラムを実行することによって拡張現実装置１００の各部の動作を制御する。
【００１４】
通信部１２０は、ネットワークＮＷ１と通信を行うためのインターフェースを備え、データベースサーバ１０との間でデータの送受信を行う。通信部１２０が送受信するデータには、自装置が有する拡張現実装置識別情報と、自装置における仮想オブジェクトデータと、位置マーカと、方向マーカとが含まれる。
【００１５】
自装置が有する拡張現実装置識別情報は、データベースサーバが複数の拡張現実装置を管理するために用意されるものである。拡張現実装置識別情報は、拡張現実装置ごとに異なるユニークな情報を有しており、その情報は文字列、数字または記号により構成される。これにより、拡張現実システムでは、複数の拡張現実装置が同時に動作することが可能であり、それぞれの拡張現実装置が独自のデータを管理されることが可能である。
【００１６】
撮影デバイス１３０については、図４とともに説明する。撮影デバイス１３０は、拡張現実装置において、後述する表示デバイス１７０が実装されている面とは異なる面に実装されており、典型的な携帯電話情報端末においては、携帯電話情報端末の裏面に実装される。撮影デバイス１３０は、画像又は映像を撮影するための撮影機能を備えており、撮影する画像又は映像は、制御部１１０に供給され、後述する表示デバイス１７０に対してリアルタイムに表示を行うことができる。
【００１７】
方向センサ１４０は、撮影の基準となる位置からの撮影方向を検知するセンサを備える。方向センサ１４０は、例えば、地球の重力を検知する重力センサを少なくとも備えており地磁気に基づいて方位を検知する地磁気センサや、変位および角速度を検知するためのセンサを備える。方向センサ１４０は、撮影の方向を示す方向マーカを制御部１１０に供給する。方向マーカは、撮影方向を少なくとも示す。
【００１８】
位置センサ１５０は、撮影の基準となる位置を示す位置情報を取得するための情報を受信し、制御部１１０に供給する。本実施形態の位置情報は、位置を緯度及び経度により示す情報である。本実施形態の位置センサ１５０は、いわゆるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波を受信するものであってもよい。または通信装置（移動体通信網の基地局や無線ＬＡＮのアクセスポイントに関する情報など）から識別情報を受信するものであってもよい。
【００１９】
入力デバイス１６０については、図５とともに説明する。入力デバイス１６０は、使用者がパネル上の表示を押すことで機器を操作する位置入力装置であり、無色透明なガラスもしくはアクリル等のセンサーパネルで構成されている。入力デバイス１６０は、使用者が点または領域に手で触れることにより、触れられたセンサーパネル領域位置の情報を感知して制御部１１０へ供給する。
【００２０】
表示デバイス１７０については、図５とともに説明する。表示デバイス１７０は、液晶ディスプレイ装置等に代表される表示装置である。表示デバイス１７０は、入力デバイス１６０との２層方式となっており、上層が入力デバイス１６０、下層が表示デバイス１７０という構成となっている。表示デバイス１７０が表示した絵や画像などの点または領域に手で触れることにより、入力デバイス１６０を通じてその領域位置の情報を制御部１１０へ供給することも可能である。なお、図５において表示入力１７０と入力デバイス１６０の位置がずれて配置されているが、これは異なる２つのデバイスが実装されていることを示すためのものであり、実際には同一の位置に重ねられている。表示デバイス１７０は、制御部１１０を通じて、撮影デバイス１３０が撮影する画像又は映像をリアルタイムに表示することが可能である。
【００２１】
データベースサーバにおけるデータベースの構成を、図３とともに説明する。データベースサーバにおけるデータベースは、拡張現実装置識別情報と、仮想オブジェクトデータと、位置マーカと、方向マーカで構成される。拡張現実装置識別情報は、拡張現実装置毎に割り当てられた情報であり、どの拡張現実装置における記録情報かを特定するためのものである。仮想オブジェクトデータは、後述する方法により入力された文字列の情報である。位置マーカは、位置センサ１５０から得られた測定位置に関する情報である。方向マーカは、方向センサ１４０から得られた測定方向に関する情報である。本データベースにおいて、拡張現実装置１０からの書き込み要求に応じて、拡張現実装置識別情報と、仮想オブジェクトデータと、位置マーカと、方向マーカとの項目を一定としながら、仮想オブジェクトデータの追加に応じることができる。また、本データベースにおいて、拡張現実装置１０からの読み込み要求に応じて、読み込み要求があった拡張現実装置１０の拡張現実装置識別番号に対応する要素のみを抽出し、該当する拡張現実装置１０にのみ送信することが可能である。
【００２２】
本実施形態の拡張現実システムの構成は、以上のとおりである。この構成のもと、使用者は、屋外または屋内の適当な位置において、拡張現実装置１００の使用を開始する。拡張現実装置１００は、かかる操作に応じて、以下の記録処理（以下、「仮想オブジェクト記録処理」という。）を実行し、仮想オブジェクトデータ、位置マーカおよび方向マーカを記録データベースサーバ１０に記録する。
【００２３】
仮想オブシェクト記録処理における仮想オブジェクトの生成方法について、図６とともに説明する。図６において、使用者は文字入力キーパッド２００を通じて文字の入力を行うと、入力された文字は入力コンソール２１０に表示され、自身が入力した文字列を確認することができる。使用者は、文字の入力を繰り返すことにより文字列を作成し、入力キーパッド２００の決定キーを押下することにより入力内容を確定する。この作業により確定された文字列が、仮想オブジェクトデータとなる。仮想オブジェクトデータは、仮想オブジェクトデータが生成された時点で、方向センサ１４０から得られる方向マーカと、位置センサ１５０から得られる位置マーカと共に、通信部１２０を通じてデータベースサーバ１０に送信される。この際、拡張識別装置情報が同時に送信される。
【００２４】
データベースサーバ１０では、拡張現実装置１００から受信した情報に基づき、拡張識別装置情報と、仮想オブジェクトデータと、位置マーカと、方向マーカとをデータベースに記録する。この際、データベースに対して正常に記録が行われたことを示す情報を、該当する拡張現実装置に対して送信してもよい。以上をもって、仮想オブジェクト記録処理が完了する。
【００２５】
拡張現実装置１００は、使用者の操作に応じて、以下の仮想現実表示処理（以下、「仮想オブジェクト表示処理」という。）を実行し、仮想オブジェクトデータ、位置マーカおよび方向マーカを記録データベースサーバ１０から読み出すことにより仮想現実表示を実現する。
【００２６】
仮想オブジェクト表示処理について図７とともに説明する。拡張現実装置１００において、撮影デバイス１３０が撮影する画像又は映像をリアルタイムに表示デバイス１７０に表示している状態で、拡張現実装置１０の現在方向に関する情報を方向センサ１４０が、現在位置に関する情報を位置センサ１５０が取得し、一定時間毎に制御部１１０に送信する。拡張現実装置１００から自装置に関わる情報の取得要求がデータベースサーバ１０に対して行われると、データベースサーバ１０におけるデータベースに記録された該当する拡張現実装置に関わる仮想オブジェクトデータ、位置マーカ、方向マーカを、取得要求があった拡張現実装置１００に対して送信する。拡張現実装置１００における通信部１２０は、データベースサーバ１０から受信した前記データ群を制御部１１０へ送信する。
【００２７】
制御部１１０では、表示デバイス１７０に対して表示する仮想オブジェクトを決定し、仮想オブジェクト３００を表示デバイス内のどの位置に表示するかを決定する。データベースサーバ１０から送信されてきた位置マーカおよび方向マーカから、仮想オブジェクト記録処理が実行された際の、自装置の位置および方向の基準となるポイントを図７における仮想オブジェクト位置Ｐ１として決定する。仮想オブジェクト位置Ｐ１は、説明上図７に明記しているが、実際には使用者には見えない。制御部１１０では、方向センサ１４０および位置センサ１５０から得ている現在位置に関する情報および現在方向に関する情報から、仮想オブジェクト位置Ｐ１の表示を制御する。仮想オブジェクト位置Ｐ１は、自装置の動きに合わせて表示デバイス１７０内を移動するが、仮想オブジェクト位置Ｐ１は位置と方向により示される３次元で表現できる空間情報であるため、制御部１１０では実環境における位置に対応した仮想オブジェクト位置Ｐ１を表示デバイス１７０の中で特定する。
【００２８】
制御部１１０は仮想オブジェクト記録処理が行われた際に記録された仮想オブジェクトデータを、表示デバイス１７０における仮想オブジェクト位置Ｐ１の位置に重ねて表示する。図７に示すとおり、文字列として記録されていた仮想オブジェクトデータを、仮想オブジェクト３００として表示デバイス１７０に表示する。仮想オブジェクト３００は、仮想オブジェクト位置Ｐ１と一定の位置関係において表示されるものであるから、拡張現実装置１００の動きに合わせて表示デバイス１７０内にて仮想オブジェクト位置Ｐ１が移動すると、同じ移動量および移動方向に仮想オブジェクト３００も移動する。これにより、使用者自身が入力した仮想オブジェクトデータを拡張現実として実環境に重ねて表示することが可能となる。以上をもって、仮想オブジェクト表示処理が完了する。
【００２９】
（変形例１）
仮想オブジェクト記録処理の際、仮想オブジェクト３００として、文字列の入力のほかに、入力デバイス１６０を通じて描かれた手書きのペン、撮影デバイス１３０を通じて記録された画像または映像などを埋め込む実装としてもよい。この場合、仮想オブジェクト表示処理においても、実環境に対してそれぞれ記録された仮想オブジェクトが表示される。
【００３０】
（変形例２）
仮想オブジェクト表示処理の際、複数の仮想オブジェクト３００を同時に表示デバイス１７０の中に表示してもよい。
【００３１】
（変形例３）
データベースサーバ１０に相当する機能を、通信部１２０に代わって自装置内に持たせ、ネットワークＮＷ１を通じたデータベースサーバ１０と自装置との通信を発生させずに、自装置内で仮想オブジェクト記録処理および仮想オブジェクト表示処理を行ってもよい。
【符号の説明】
【００３２】
１０…データベースサーバ、１００…拡張現実装置、１１０…制御部、１２０…通信部、１３０…撮影デバイス、１４０…方向センサ、１５０…位置センサ、１６０…入力デバイス、１７０…表示デバイス、２００…文字入力キーパッド、２１０…入力コンソール、３００…仮想オブジェクト
【技術分野】
【０００１】
本発明は、ポータブルデバイスにおける拡張現実の技術に関する。
【背景技術】
【０００２】
カメラデバイスとディスプレイデバイスが実装されたポータブルデバイスにおいて、カメラデバイスによって撮影されている画像で、リアルタイムにディスプレイデバイスに映し出したものに対して、あらかじめ用意された仮想画像データを表示する技術がある（例えば、特許文献１参照）。かかる技術によれば、現実の環境から知覚に与えられる情報に対して、機械的に作り出した画像データを重ね合わせ、現実の視覚情報に対して補足的な情報を与えることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】 特許公表２００８−５１０２５４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、現実の環境に対してあらかじめ用意された画像データを重ねて表示する技術においては、あらかじめ用意された画像データを表示することが前提となっており、本技術を使用する前に画像データを生成し、あらかじめポータブルデバイスに蓄積しておく必要があった。また、画像データはテキストファイルなどと比較し相対的にデータ容量が大きい。あらゆるシーンで拡張現実の環境を表現するためには多数の画像データを用意する必要があり、画像データを格納するために大容量の保存領域を確保する必要があった。さらに、画像データは視覚的な表現を得意とする仮想オブジェクトである一方、拡張現実において有益となるテキスト情報を表現することを苦手としていた。そこで、本発明は、ディスプレイデバイス上に表示された現実の環境の上に、使用者自身が仮想オブジェクトを生成し、現実の環境の位置データと併せて前記仮想オブジェクトを蓄積し、随時前記仮想オブジェクトと前記位置データを呼び出して現実の環境の上に表示する拡張現実技術を実現する。
【課題を解決するための手段】
【０００５】
本発明に係る拡張現実システムは、現実の環境における画像を取得する第１の取得手段と、画像の取得の基準位置を示す位置マーカを取得する第２の取得手段と、画像の取得の基準方向を示す方向マーカを取得する第３の取得手段と、前記第２の取得手段により取得される位置マーカと前記第３の取得手段により取得される方向マーカとに対応する仮想オブジェクトを生成する第４の取得手段と、前記仮想オブジェクトを前記位置マーカと前記方向マーカの関連情報として記録する記録手段と、前記仮想オブジェクトを前記画像に重ねて表示する表示手段とを備える。この構成によれば、画像を取得した位置および方向に対応した仮想オブジェクトを使用者自身が生成し、前記画像を取得した位置および方向に対応する前記仮想オブジェクトを前記画像に重ねてすることが可能である。こうすることにより、使用者自身が任意の拡張現実の位置において任意の前記仮想オブジェクトを配置できることを特徴とする。前記仮想オブジェクトは例えばテキスト情報でもよく、その場合は情報容量が小さくなるという特徴もある。
【０００６】
本発明に係る拡張現実システムは、前記第２の算出手段が、前記画像を取得する位置の変化に応じて前記第２の位置マーカの算出を繰り返し、かつ、前記第３の算出手段が、前記画像を取得する方向の変化に応じて前記第３の方向マーカの算出を繰り返し、前記仮想オブジェクトの生成の要求があったならば、前記第２の算出手段により算出された第２の位置マーカと、前記第３の算出手段により算出された第３の方向マーカとを記録し、前記仮想オブジェクトが入力された位置および方向を取得する構成を採用することができる。この構成によれば、第１の取得手段によって前記画像を取得した位置および方向に対し、前記仮想オブジェクトの入力があった位置および方向が一意に決定されるため、前記画像の位置および方向が前記仮想オブジェクトの入力があった位置および方向と一致する条件において、前記仮想オブジェクトを前記画像に重ねて表示することが可能である。
【０００７】
本発明に係る拡張現実システムは、前記仮想オブジェクトの生成と、前記位置マーカの生成と、前記方向マーカの生成とが同時に実施されることから、前記仮想オブジェクトが取得された位置マーカと方向マーカを前記仮想オブジェクトの関連情報として記録することが可能となる。前記位置マーカと前記方向マーカを前記仮想オブジェクトの関連情報として同時に記録することにより、所定の条件が満たされる場合に、前記第１の現実の環境の画像の上に、前記蓄積された仮想オブジェクトを重ねて表示させるものである。
【０００８】
本発明に係るプログラムは、コンピュータに、画像を取得するステップと、画像の取得の基準位置を示す位置マーカを取得するステップと、前記位置情報が示す基準位置からの画像の取得方向を示す方向マーカを取得するステップと、任意の位置および方向において使用者からの要求に基づき仮想オブジェクトの生成を行うステップと、前記仮想オブジェクトを前記位置マーカと前記方向マーカとともに記録するステップと、前記画像を取得するステップにおいて前記仮想オブジェクトが同時に記録した位置および方向と一致する位置および方向にさしかかったときに前記仮想オブジェクトを前記画像に重ねて表示するステップとを実行させるためのものである。
【発明の効果】
【０００９】
本発明によれば、拡張現実システムにおいて、画像を取得する際に、位置情報および方向情報と紐づけて入力された仮想オブジェクトを記録し、次回以降使用者が画像を取得する際に、位置情報と方向情報に応じて以前記録した前記仮想オブジェクトを実画像に重ねて表示することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】 拡張現実システムの構成を示す図
【図２】 拡張現実装置の構成を示すブロック図
【図３】 データベースサーバおけるデータベースの構成図
【図４】 撮影デバイスの構成を示す図
【図５】 入力デバイスおよび表示デバイスの構成を示す図
【図６】 仮想オブジェクトの入力を示す図
【図７】 仮想オブジェクトの表示を示す図
【発明を実施するための形態】
【００１１】
［実施形態］
図１は、本発明の一実施形態である拡張現実システムの構成を示す図である。同図に示すように、本実施形態の拡張現実システムは、複数の拡張現実装置１００と、データベースサーバ１０とを備える。拡張現実装置１００とデータベースサーバ１０とは、ネットワークＮＷ１を介して通信可能に接続される。本実施形態の拡張現実装置１００は、本実施形態の拡張現実装置１００は、持ち運び可能な構造を有しており、典型的な例としては、携帯電話情報端末（すなわち無線通信端末）である。この場合、ネットワークＮＷ１は、無線の移動体通信網を含む。
【００１２】
図２は、本実施形態における拡張現実装置の構成を示すブロック図である。同図に示すように、拡張現実装置１００は制御部１１０と、通信部１２０と、撮影デバイス１３０と、方向センサ１４０と、位置センサ１５０と、入力デバイス１６０と、表示デバイス１７０とを備える。
【００１３】
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置やメモリを備え、プログラムを実行することによって拡張現実装置１００の各部の動作を制御する。
【００１４】
通信部１２０は、ネットワークＮＷ１と通信を行うためのインターフェースを備え、データベースサーバ１０との間でデータの送受信を行う。通信部１２０が送受信するデータには、自装置が有する拡張現実装置識別情報と、自装置における仮想オブジェクトデータと、位置マーカと、方向マーカとが含まれる。
【００１５】
自装置が有する拡張現実装置識別情報は、データベースサーバが複数の拡張現実装置を管理するために用意されるものである。拡張現実装置識別情報は、拡張現実装置ごとに異なるユニークな情報を有しており、その情報は文字列、数字または記号により構成される。これにより、拡張現実システムでは、複数の拡張現実装置が同時に動作することが可能であり、それぞれの拡張現実装置が独自のデータを管理されることが可能である。
【００１６】
撮影デバイス１３０については、図４とともに説明する。撮影デバイス１３０は、拡張現実装置において、後述する表示デバイス１７０が実装されている面とは異なる面に実装されており、典型的な携帯電話情報端末においては、携帯電話情報端末の裏面に実装される。撮影デバイス１３０は、画像又は映像を撮影するための撮影機能を備えており、撮影する画像又は映像は、制御部１１０に供給され、後述する表示デバイス１７０に対してリアルタイムに表示を行うことができる。
【００１７】
方向センサ１４０は、撮影の基準となる位置からの撮影方向を検知するセンサを備える。方向センサ１４０は、例えば、地球の重力を検知する重力センサを少なくとも備えており地磁気に基づいて方位を検知する地磁気センサや、変位および角速度を検知するためのセンサを備える。方向センサ１４０は、撮影の方向を示す方向マーカを制御部１１０に供給する。方向マーカは、撮影方向を少なくとも示す。
【００１８】
位置センサ１５０は、撮影の基準となる位置を示す位置情報を取得するための情報を受信し、制御部１１０に供給する。本実施形態の位置情報は、位置を緯度及び経度により示す情報である。本実施形態の位置センサ１５０は、いわゆるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波を受信するものであってもよい。または通信装置（移動体通信網の基地局や無線ＬＡＮのアクセスポイントに関する情報など）から識別情報を受信するものであってもよい。
【００１９】
入力デバイス１６０については、図５とともに説明する。入力デバイス１６０は、使用者がパネル上の表示を押すことで機器を操作する位置入力装置であり、無色透明なガラスもしくはアクリル等のセンサーパネルで構成されている。入力デバイス１６０は、使用者が点または領域に手で触れることにより、触れられたセンサーパネル領域位置の情報を感知して制御部１１０へ供給する。
【００２０】
表示デバイス１７０については、図５とともに説明する。表示デバイス１７０は、液晶ディスプレイ装置等に代表される表示装置である。表示デバイス１７０は、入力デバイス１６０との２層方式となっており、上層が入力デバイス１６０、下層が表示デバイス１７０という構成となっている。表示デバイス１７０が表示した絵や画像などの点または領域に手で触れることにより、入力デバイス１６０を通じてその領域位置の情報を制御部１１０へ供給することも可能である。なお、図５において表示入力１７０と入力デバイス１６０の位置がずれて配置されているが、これは異なる２つのデバイスが実装されていることを示すためのものであり、実際には同一の位置に重ねられている。表示デバイス１７０は、制御部１１０を通じて、撮影デバイス１３０が撮影する画像又は映像をリアルタイムに表示することが可能である。
【００２１】
データベースサーバにおけるデータベースの構成を、図３とともに説明する。データベースサーバにおけるデータベースは、拡張現実装置識別情報と、仮想オブジェクトデータと、位置マーカと、方向マーカで構成される。拡張現実装置識別情報は、拡張現実装置毎に割り当てられた情報であり、どの拡張現実装置における記録情報かを特定するためのものである。仮想オブジェクトデータは、後述する方法により入力された文字列の情報である。位置マーカは、位置センサ１５０から得られた測定位置に関する情報である。方向マーカは、方向センサ１４０から得られた測定方向に関する情報である。本データベースにおいて、拡張現実装置１０からの書き込み要求に応じて、拡張現実装置識別情報と、仮想オブジェクトデータと、位置マーカと、方向マーカとの項目を一定としながら、仮想オブジェクトデータの追加に応じることができる。また、本データベースにおいて、拡張現実装置１０からの読み込み要求に応じて、読み込み要求があった拡張現実装置１０の拡張現実装置識別番号に対応する要素のみを抽出し、該当する拡張現実装置１０にのみ送信することが可能である。
【００２２】
本実施形態の拡張現実システムの構成は、以上のとおりである。この構成のもと、使用者は、屋外または屋内の適当な位置において、拡張現実装置１００の使用を開始する。拡張現実装置１００は、かかる操作に応じて、以下の記録処理（以下、「仮想オブジェクト記録処理」という。）を実行し、仮想オブジェクトデータ、位置マーカおよび方向マーカを記録データベースサーバ１０に記録する。
【００２３】
仮想オブシェクト記録処理における仮想オブジェクトの生成方法について、図６とともに説明する。図６において、使用者は文字入力キーパッド２００を通じて文字の入力を行うと、入力された文字は入力コンソール２１０に表示され、自身が入力した文字列を確認することができる。使用者は、文字の入力を繰り返すことにより文字列を作成し、入力キーパッド２００の決定キーを押下することにより入力内容を確定する。この作業により確定された文字列が、仮想オブジェクトデータとなる。仮想オブジェクトデータは、仮想オブジェクトデータが生成された時点で、方向センサ１４０から得られる方向マーカと、位置センサ１５０から得られる位置マーカと共に、通信部１２０を通じてデータベースサーバ１０に送信される。この際、拡張識別装置情報が同時に送信される。
【００２４】
データベースサーバ１０では、拡張現実装置１００から受信した情報に基づき、拡張識別装置情報と、仮想オブジェクトデータと、位置マーカと、方向マーカとをデータベースに記録する。この際、データベースに対して正常に記録が行われたことを示す情報を、該当する拡張現実装置に対して送信してもよい。以上をもって、仮想オブジェクト記録処理が完了する。
【００２５】
拡張現実装置１００は、使用者の操作に応じて、以下の仮想現実表示処理（以下、「仮想オブジェクト表示処理」という。）を実行し、仮想オブジェクトデータ、位置マーカおよび方向マーカを記録データベースサーバ１０から読み出すことにより仮想現実表示を実現する。
【００２６】
仮想オブジェクト表示処理について図７とともに説明する。拡張現実装置１００において、撮影デバイス１３０が撮影する画像又は映像をリアルタイムに表示デバイス１７０に表示している状態で、拡張現実装置１０の現在方向に関する情報を方向センサ１４０が、現在位置に関する情報を位置センサ１５０が取得し、一定時間毎に制御部１１０に送信する。拡張現実装置１００から自装置に関わる情報の取得要求がデータベースサーバ１０に対して行われると、データベースサーバ１０におけるデータベースに記録された該当する拡張現実装置に関わる仮想オブジェクトデータ、位置マーカ、方向マーカを、取得要求があった拡張現実装置１００に対して送信する。拡張現実装置１００における通信部１２０は、データベースサーバ１０から受信した前記データ群を制御部１１０へ送信する。
【００２７】
制御部１１０では、表示デバイス１７０に対して表示する仮想オブジェクトを決定し、仮想オブジェクト３００を表示デバイス内のどの位置に表示するかを決定する。データベースサーバ１０から送信されてきた位置マーカおよび方向マーカから、仮想オブジェクト記録処理が実行された際の、自装置の位置および方向の基準となるポイントを図７における仮想オブジェクト位置Ｐ１として決定する。仮想オブジェクト位置Ｐ１は、説明上図７に明記しているが、実際には使用者には見えない。制御部１１０では、方向センサ１４０および位置センサ１５０から得ている現在位置に関する情報および現在方向に関する情報から、仮想オブジェクト位置Ｐ１の表示を制御する。仮想オブジェクト位置Ｐ１は、自装置の動きに合わせて表示デバイス１７０内を移動するが、仮想オブジェクト位置Ｐ１は位置と方向により示される３次元で表現できる空間情報であるため、制御部１１０では実環境における位置に対応した仮想オブジェクト位置Ｐ１を表示デバイス１７０の中で特定する。
【００２８】
制御部１１０は仮想オブジェクト記録処理が行われた際に記録された仮想オブジェクトデータを、表示デバイス１７０における仮想オブジェクト位置Ｐ１の位置に重ねて表示する。図７に示すとおり、文字列として記録されていた仮想オブジェクトデータを、仮想オブジェクト３００として表示デバイス１７０に表示する。仮想オブジェクト３００は、仮想オブジェクト位置Ｐ１と一定の位置関係において表示されるものであるから、拡張現実装置１００の動きに合わせて表示デバイス１７０内にて仮想オブジェクト位置Ｐ１が移動すると、同じ移動量および移動方向に仮想オブジェクト３００も移動する。これにより、使用者自身が入力した仮想オブジェクトデータを拡張現実として実環境に重ねて表示することが可能となる。以上をもって、仮想オブジェクト表示処理が完了する。
【００２９】
（変形例１）
仮想オブジェクト記録処理の際、仮想オブジェクト３００として、文字列の入力のほかに、入力デバイス１６０を通じて描かれた手書きのペン、撮影デバイス１３０を通じて記録された画像または映像などを埋め込む実装としてもよい。この場合、仮想オブジェクト表示処理においても、実環境に対してそれぞれ記録された仮想オブジェクトが表示される。
【００３０】
（変形例２）
仮想オブジェクト表示処理の際、複数の仮想オブジェクト３００を同時に表示デバイス１７０の中に表示してもよい。
【００３１】
（変形例３）
データベースサーバ１０に相当する機能を、通信部１２０に代わって自装置内に持たせ、ネットワークＮＷ１を通じたデータベースサーバ１０と自装置との通信を発生させずに、自装置内で仮想オブジェクト記録処理および仮想オブジェクト表示処理を行ってもよい。
【符号の説明】
【００３２】
１０…データベースサーバ、１００…拡張現実装置、１１０…制御部、１２０…通信部、１３０…撮影デバイス、１４０…方向センサ、１５０…位置センサ、１６０…入力デバイス、１７０…表示デバイス、２００…文字入力キーパッド、２１０…入力コンソール、３００…仮想オブジェクト
【特許請求の範囲】
【請求項１】
実環境の画像データを取得する手段と、
前記画像データの取得位置に対応する位置マーカを生成する手段と、
前記画像データの取得方向に対応する方向マーカを生成する手段と、
前記位置マーカおよび前記方向マーカに対応する仮想オブジェクトを生成する手段と、
前記位置マーカおよび前記方向マーカを関連情報として前記仮想オブジェクトを記録する手段と、
前記位置マーカおよび前記方向マーカの対応する位置および方向において、記録された前記仮想オブジェクトを呼び出し、実環境の画像データに前記仮想オブジェクトを重ね合わせる手段と、
を具備する拡張現実システム。
【請求項２】
前記仮想オブジェクトは、テキスト入力データ、ペン入力データ、音声入力データ、撮影画像データのうち少なくとも１つを含む使用者入力データを記録することを特徴とする拡張現実システム。
【請求項１】
実環境の画像データを取得する手段と、
前記画像データの取得位置に対応する位置マーカを生成する手段と、
前記画像データの取得方向に対応する方向マーカを生成する手段と、
前記位置マーカおよび前記方向マーカに対応する仮想オブジェクトを生成する手段と、
前記位置マーカおよび前記方向マーカを関連情報として前記仮想オブジェクトを記録する手段と、
前記位置マーカおよび前記方向マーカの対応する位置および方向において、記録された前記仮想オブジェクトを呼び出し、実環境の画像データに前記仮想オブジェクトを重ね合わせる手段と、
を具備する拡張現実システム。
【請求項２】
前記仮想オブジェクトは、テキスト入力データ、ペン入力データ、音声入力データ、撮影画像データのうち少なくとも１つを含む使用者入力データを記録することを特徴とする拡張現実システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−６０２５４（Ｐ２０１１−６０２５４Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２３２８１８（Ｐ２００９−２３２８１８）
【出願日】平成２１年９月１１日（２００９．９．１１）
【出願人】（５０９２７８２８７）
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月１１日（２００９．９．１１）
【出願人】（５０９２７８２８７）
【Ｆターム（参考）】
[ Back to top ]