拡張現実（ＡＲ）を提供するユーザ装置及び方法
【課題】拡張現実（ＡＲ）サービスを提供するユーザ装置及び方法を提供する。
【解決手段】
ＡＲサービスを提供するユーザ装置は、ターゲットオブジェクトの画像をキャプチャする撮影部と、ターゲットオブジェクトのキャプチャした画像のコンテキスト情報を収集する情報収集部と、コンテキスト情報に対応する第１の方向のＡＲタグを生成するタグ生成部と、ターゲットオブジェクトの画像及びＡＲタグを表示する表示部とを備える。ＡＲサービスを提供する方法は、カメラでターゲットオブジェクトの画像をキャプチャすることと、ターゲットオブジェクトのキャプチャした画像の位置情報及びターゲットオブジェクトとカメラ間の第１の方位角情報を含むコンテキスト情報を収集することと、コンテキスト情報に対応するＡＲタグを生成することと、ターゲットオブジェクトのキャプチャした画像及び生成したＡＲタグを表示することとを含む。
【解決手段】
ＡＲサービスを提供するユーザ装置は、ターゲットオブジェクトの画像をキャプチャする撮影部と、ターゲットオブジェクトのキャプチャした画像のコンテキスト情報を収集する情報収集部と、コンテキスト情報に対応する第１の方向のＡＲタグを生成するタグ生成部と、ターゲットオブジェクトの画像及びＡＲタグを表示する表示部とを備える。ＡＲサービスを提供する方法は、カメラでターゲットオブジェクトの画像をキャプチャすることと、ターゲットオブジェクトのキャプチャした画像の位置情報及びターゲットオブジェクトとカメラ間の第１の方位角情報を含むコンテキスト情報を収集することと、コンテキスト情報に対応するＡＲタグを生成することと、ターゲットオブジェクトのキャプチャした画像及び生成したＡＲタグを表示することとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実（ＡＲ）サービスを提供するユーザ装置及び方法に関し、特にユーザが方位角に基づいてＡＲタグ情報を生成し得るサービスを提供するユーザ装置及び方法に関する。
【背景技術】
【０００２】
拡張現実（ＡＲ）とは、仮想現実技術の一分野であり、現実世界環境の画像を仮想オブジェクトまたは仮想情報と組み合わせるコンピュータグラフィックス技術である。ＡＲ技術は、仮想空間に仮想オブジェクトを提供する一般的な仮想現実技術とは異なり、現実世界環境を仮想オブジェクトまたは情報と組み合わせることにより、現実世界環境で得ることが困難であり得る補足的な情報を追加する。ＡＲ技術は現実世界環境の画像内で識別されたオブジェクトにフィルタをかけて、ユーザが求める対象仮想オブジェクトまたは仮想情報を現実環境から取り出すことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、従来のＡＲサービスでは提供できる情報量に限界があった。概して従来のＡＲサービスは、オブジェクトのグローバルポジショニングシステム（ＧＰＳ）情報を用いたＡＲ技術により基本情報を提供し得るものである。すなわち、従来のＡＲサービスは、オブジェクトを見ているユーザの位置が変化しても同一の情報を提供し得るものであった。
【課題を解決するための手段】
【０００４】
本発明の例示的実施形態は、ユーザが見ているオブジェクトに向かう方向の方位角（ａｚｉｍｕｔｈ）に基づいてＡＲタグを生成することができる拡張現実（ＡＲ）サービスを提供するユーザ装置及び方法を提供する。
【０００５】
本発明のさらなる特徴を以下に説明する。特徴の一部は以下の記載から明らかであるか、あるいは本発明を実施することにより学習し得る。
【０００６】
本発明の例示的実施形態は、ＡＲサービスを提供するユーザ装置であって、ターゲットオブジェクトの画像をキャプチャする撮影部と、前記撮影部の位置情報及び前記ターゲットオブジェクトと前記撮影部間の第１の方位角情報を含む、前記ターゲットオブジェクトの前記キャプチャした画像のコンテキスト情報を収集する情報収集部と、第１の方向のＡＲタグであって前記コンテキスト情報に対応するＡＲタグを生成するタグ生成部と、前記ターゲットオブジェクトの前記画像及び前記ＡＲタグを表示する表示部とを備えることを特徴とするユーザ装置を提供する。
【０００７】
本発明の例示的実施形態は、ＡＲサービスを提供するユーザ装置であって、ターゲットオブジェクトの画像をキャプチャする撮影部と、前記撮影部の位置情報及び前記ターゲットオブジェクトの画像データを含む、前記ターゲットオブジェクトの前記キャプチャした画像のコンテキスト情報を収集する情報収集部と、前記収集したコンテキスト情報をＡＲ管理サーバに送信し、前記ＡＲ管理サーバから前記ターゲットオブジェクトのＡＲ情報を受信する通信部であって、前記ＡＲ管理サーバは、前記キャプチャした画像の方位角情報に基づいて前記ターゲットオブジェクトの前記ＡＲ情報を格納している、通信部と、前記ターゲットオブジェクトと前記撮影部間の第１の方位角に対応するＡＲ情報を用いてＡＲタグを生成するタグ生成部と、前記ターゲットオブジェクトの前記キャプチャした画像及び前記生成したＡＲタグを表示する表示部とを備えることを特徴とするユーザ装置を提供する。
【０００８】
本発明の例示的実施形態は、ＡＲサービスを提供する方法であって、カメラを用いてターゲットオブジェクトの画像をキャプチャすることと、前記ターゲットオブジェクトの前記キャプチャした画像の位置情報及び前記ターゲットオブジェクトと前記カメラ間の第１の方位角情報を含むコンテキスト情報を収集することと、前記コンテキスト情報に対応するＡＲタグを生成することと、前記ターゲットオブジェクトの前記キャプチャした画像及び前記生成したＡＲタグを表示することとを含むことを特徴とする方法を提供する。
【０００９】
本発明の例示的実施形態は、ＡＲサービスを提供する方法であって、ターゲットオブジェクトの画像をキャプチャすることと、前記ターゲットオブジェクトをキャプチャするカメラの位置情報であって端末（ｔｅｒｍｉｎａｌ）からの位置情報、及び前記画像から得られた前記ターゲットオブジェクトの画像データを含むコンテキスト情報（ｃｏｎｔｅｘｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）を収集することと、前記収集したコンテキスト情報をＡＲ管理サーバに送信して前記ターゲットオブジェクトのＡＲ情報を第１の方位角用に格納することと、前記ターゲットオブジェクトの前記ＡＲ情報を前記ＡＲ管理サーバから受信することと、前記ターゲットオブジェクトとカメラ間の前記第１の方位角に対応する前記ＡＲ情報を用いてＡＲタグを生成することと、前記ターゲットオブジェクトの前記キャプチャした画像及び前記ＡＲタグを表示することとを含むＡＲサービスを提供する方法を提供する。
【００１０】
上記の概説及び以下の詳細な説明は一例であり本発明を説明するものであり、請求の範囲に記載する本発明をさらに説明するためのものであることを理解されたい。他の特徴及び局面は以下の詳細な説明、図面及び請求の範囲から明らかとなる。
【００１１】
添付の図面は本発明のさらなる理解のために含めており、本明細書に組み込まれて本明細書の一部を成す。添付の図面は本発明の実施形態を示しており、本明細書の記載と共に本発明の原理を説明する一助となる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の例示的実施形態による、拡張現実（ＡＲ）サービスを提供する第１のユーザ装置を示すブロック図である。
【図２】図２は、本発明の例示的実施形態による、ＡＲサービスを提供する第２のユーザ装置を示すブロック図である。
【図３】図３は、本発明の例示的実施形態による第２の情報収集部及び第２の情報分析部を示すブロック図である。
【図４Ａ】図４Ａは、本発明の例示的実施形態による第２の表示部上に表示されたＡＲタグを示す図である。
【図４Ｂ】図４Ｂは、本発明の例示的実施形態による第２の表示部上に表示されたＡＲタグを示す図である。
【図４Ｃ】図４Ｃは、本発明の例示的実施形態による第２の表示部上に表示されたＡＲタグを示す図である。
【図５】図５は、本発明の例示的実施形態による、ＡＲタグにタッチすることによりＡＲ情報を表示する方法を示す図である。
【図６】図６は、本発明の例示的実施形態による、第２のユーザ装置を移動させることによりＡＲタグのＡＲ情報を表示する方法を示す図である。
【図７】図７は、本発明の例示的実施形態によるＡＲ管理サーバのブロック図である。
【図８】図８は、本発明の例示的実施形態による、ＡＲサービスを提供する第３のユーザ装置のブロック図である。
【図９】図９は、本発明の例示的実施形態による、ＡＲサービスを提供する第４のユーザ装置のブロック図である。
【図１０】図１０は、本発明の例示的実施形態によるユーザ装置においてＡＲサービスを提供する方法を示すフローチャートである。
【図１１】図１１は、本発明の例示的実施形態によるユーザ装置においてＡＲサービスを提供する方法を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照して本発明をより詳細に述べる。図面には本発明の実施形態を示す。しかし本発明は多くの異なる形態で実施可能であり、本発明に述べる実施形態に限定されると解釈すべきではない。むしろこれらの実施形態は、本開示が本発明の詳細な記載であり、当業者に対して本発明の範囲を十分に示すために提供される。本開示の目的のために、「〜のうち少なくとも一つ」は、それに続いて列挙する要素のいずれの組み合わせをも含み、列挙した要素のうち複数の要素の組み合わせをも含むと解釈されることを理解されたい。例えば、「Ｘ、Ｙ及びＺのうち少なくとも一つ」は、Ｘのみ、Ｙのみ、Ｚのみ、またはＸ、Ｙ及びＺのうちの２つ以上の組み合わせ（例：ＸＹＺ、ＸＺ、ＹＺ）を意味すると解釈されたい。図面及び詳細な説明の全体において、特にことわりがない限り、図中の同一の参照符号は同一の要素、特徴及び構造を示すと理解されたい。これらの要素の相対的サイズ及び描写は、明瞭性のため、例示のため、及び便宜上、誇張することがある。
【００１４】
さらに、ある要素が別の要素に「接続」されていると述べた場合、直接接続されている場合もあれば、介在する要素が存在する場合もあることを理解されたい。逆にある要素が別の要素に「直接接続」されていると述べた場合、介在する要素は存在しない。
【００１５】
図１は、本発明の例示的実施形態による、拡張現実（ＡＲ）サービスを提供する第１のユーザ装置１００を示すブロック図である。
【００１６】
図１を参照すると、第１のユーザ装置１００は、スマートフォン、携帯電話、ラップトップコンピュータ、タブレット型コンピュータなどの持ち運び可能な装置であってもよい。図１に示すように、第１の装置１００は、第１の撮影部１１０と、第１の情報収集部１２０と、第１のタグ生成部１３０と、第１の表示部１４０とを含む。
【００１７】
第１の撮影部１１０は、ターゲットオブジェクトの画像を撮影またはキャプチャし得、例えば、埋め込み型カメラまたは外部カメラであってもよい。得られた画像は、第１の撮影部１１０または別体の画像プロセッサによって処理されて表示可能な信号になり得る。
【００１８】
第１の情報収集部１２０は、第１のユーザ装置１００の現在位置に関する情報、第１の撮影部１１０が撮影またはキャプチャしたターゲットオブジェクトの位置情報、第１の撮影部１１０が現在見ている方向に関する方向情報、及び第１のユーザ装置１００とターゲットオブジェクト間の方位角情報を含むコンテキスト情報を収集し得る。さらに、上記位置情報、方向情報及び方位角情報などは、キャプチャした画像、ユーザ装置または他のソースと連動したデータから収集し得る。方位角情報は、第１のユーザ装置１００とターゲットオブジェクト間の方位角を示す数値を含み得る。一例では、方位角は水平線から測定した角度を参照し得る。すなわち、方位角情報は、ユーザ装置１００上の参照点からターゲットオブジェクトまでの角度であって水平線に対して測定した角度を含み得る。ユーザ装置１００上の参照点は、上部点、エッジまたは表面、あるいは下部点、エッジまたは表面として定義してもよいし、撮影部１００の焦点レンズから定義してもよい。
【００１９】
第１のタグ生成部１３０は、第１の情報収集部１２０が収集したコンテキスト情報に対応するＡＲタグを生成し得る。上記したように、コンテキスト情報は、位置情報、方向情報及び方位角情報を含み得る。ＡＲタグは、ターゲットオブジェクトのＡＲ情報を表示する窓という形態または形状で生成し得る。従ってＡＲタグはターゲットオブジェクトを撮影またはキャプチャするために用いた方位角に基づいて生成し得る。ターゲットオブジェクトのＡＲ情報は、１以上のコンテキスト情報用に、第１のユーザ装置１００内に格納してもよいし、ＡＲ管理サーバ（図示せず）内に格納してもよい。
【００２０】
第１の表示部１４０は、生成したＡＲタグを、ターゲットオブジェクト上に重なるように表示する。
【００２１】
図２は、本発明の例示的実施形態による、ＡＲサービスを提供する第２のユーザ装置２００を示すブロック図である。図３は、本発明の例示的実施形態による、第２の情報収集部及び第２の情報分析部を示す詳細なブロック図である。
【００２２】
図２に示すように、第２のユーザ装置２００は、第２のユーザインターフェース（ＵＩ）部２１０と、第２のストレージ部２２０と、第２の撮影部２３０と、第２の画像処理部２４０と、第２の情報収集部２５０と、第２の情報分析部２６０と、第２の通信処理部２７０と、第２の通信部２７５と、第２のタグ生成部２８０と、第２の制御部２９０とを含む。
【００２３】
第２のＵＩ部２１０は、ユーザ装置２００とインターフェースする能力をユーザに提供し得、第２のユーザ入力部２１１と第２の表示部２１３とを含み得る。
【００２４】
第２のユーザ入力部２１１は、ユーザのコマンド入力を受信する操作パネルであってもよく、様々なインターフェースを含み得る。例えばインターフェースは、ターゲットオブジェクトを撮影またはキャプチャするボタン、方向キー及びタッチパネルなどを含み得る。特にユーザは、第２のユーザ入力部２１１を操作することにより、方位角に基づくＡＲタグの表示を要求することができる。またユーザが第２の表示部２１３上に表示されたＡＲタグにタッチすると、第２のユーザ入力部２１１はユーザのタッチの方向を感知し得る。より具体的には、ユーザが第２の表示部２１３上に表示された複数の面を有するＡＲタグにタッチしドラッグしてＡＲタグの異なる面が見えるように回転させると、第２のユーザ入力部２１１はそのタッチ及びドラッグの動作を感知し得る。
【００２５】
第２の撮影部２３０から入力された画像が処理されて信号になると、第２の表示部２１３は処理された画像を表示し得る。ユーザ装置２００がタッチによる入力方法を提供すると、第２の表示部２１３はタッチパネルのＵＩを表示し得る。
【００２６】
第２のストレージ部２２０は、ユーザ装置２００を作動させるために用いるプログラム、様々なデータ及び情報などを格納し得る。また第２のストレージ部２２０は、ターゲットオブジェクトのコンテキスト情報にマッピングした、ターゲットオブジェクトのＡＲ情報を格納し得る。
【００２７】
第２の撮影部２３０は、ターゲットオブジェクトの画像を撮影またはキャプチャして画像データを獲得し得る。一例では、第２の撮影部２３０は埋め込み型カメラまたは外部カメラを含む。
【００２８】
第２の画像処理部２４０は、第２の撮影部２３０が得た画像を分析し得、分析結果を用いて画像を処理して表示可能な信号にし得る。一例では、第２の画像処理部２４０は、画像プロセッサであってもよい。
【００２９】
第２の情報収集部２５０は、ユーザ装置２００の位置、チルト位置及び方位角に関連する情報を含むコンテキスト情報を収集し得、これらの情報は、キャプチャした画像、ユーザ装置または他のソースと連動したデータから収集し得る。図３を参照すると、第２の情報収集部２５０は、位置情報収集部２５１と、方位角情報収集部２５３と、チルト情報収集部２５５とを含み得る。
【００３０】
位置情報収集部２５１は、ユーザ装置２００の現在位置に関する位置情報及び第２の撮影部２３０が現在見ているターゲットオブジェクトに向かう方向に関する方向情報を収集し得る。また位置情報収集部２５１は、ターゲットオブジェクトの現在位置情報をさらに収集し得る。一例では、位置情報収集部２５１は、グローバルポジショニングシステム（ＧＰＳ）及び位置情報サービス（ＬＢＳ）などを用いて現在位置を感知し収集し得る。さらに位置情報収集部２５１は、デジタルコンパスを用いて方向をも感知し収集し得る。位置情報収集部２５１が収集した位置情報及び方向情報は、位置分析部２６１に提供し得る。
【００３１】
方位角情報収集部２５３は、ユーザ装置２００とターゲットオブジェクト間の方位角に関する方位角情報を収集し得る。方位角情報収集部２５３が収集した方位角情報は、方位角分析部２６３に提供し得る。
【００３２】
チルト情報収集部２５５は、ユーザ装置２００のチルトに関するチルト情報を収集し得る。チルト情報は、ユーザ装置２００のチルト位置に関する情報であってもよい。ユーザ装置２００は、ターゲットオブジェクトを撮影またはキャプチャする前にユーザの操作によって様々な方向に頻繁にチルトしてもよい。一例では、チルト情報収集部２５５は、例えば３軸ジャイロスコープセンサと３軸（ｘ、ｙ、ｚ）加速度センサとを含む６軸動作センサを用いてチルト情報を感知し収集し得る。チルト情報収集部２５５が収集したチルト情報は、チルト分析部２６５に提供し得る。チルト情報は必要に応じて収集してもよい。
【００３３】
第２の情報分析部２６０は、第２の情報収集部２５０が収集した情報を、処理可能信号を用いて分析し得る。図３を参照すると、第２の情報分析部２６０は、位置分析部２６１と、方位角分析部２６３と、チルト分析部２６５とを含み得る。
【００３４】
位置分析部２６１は、位置情報収集部２５１が収集した位置情報及び方向情報を、処理可能信号を用いて分析し得る。
【００３５】
方位角分析部２６３は、方位角情報収集部２５３が収集した方位角情報を、処理可能信号を用いて分析し得る。
【００３６】
チルト分析部２６５は、チルト情報収集部２５５が収集したチルト情報を、処理可能信号を用いて分析し得る。
【００３７】
図２を参照すると、第２の通信処理部２７０は、ターゲットオブジェクトの分析したコンテキスト情報及び画像データを、第２の制御部２９０による送信プロトコルに基づくデータに変換し得る。
【００３８】
第２の通信部２７５は、第２の通信処理部２７０から入力されたデータを、通信ネットワーク１０を介してＡＲ管理サーバ７００に送信し得る。また第２の通信部２７５は、コンテキスト情報に対応するＡＲ情報をＡＲ管理サーバ７００から受信し得る。ＡＲ管理サーバ７００は、様々な異なるコンテキスト情報に対応するＡＲ情報を格納し得る。ＡＲ管理サーバ７００については、図７を参照して後述する。
【００３９】
第２の通信処理部２７０は、受信したＡＲ情報を第２のユーザ装置２００で利用可能なデータに変換し得る。
【００４０】
第２のタグ生成部２８０は、第２の情報収集部２５０が収集したコンテキスト情報に対応するＡＲタグを生成し得る。より具体的には、ＡＲタグは、第２の通信処理部２７０が変換したＡＲ情報を用いて生成される。ＡＲタグは、ターゲットオブジェクトのＡＲ情報を表示する窓の形態で生成し得る。第２のタグ生成部２８０は、ターゲットオブジェクトのＡＲ情報及びコンテキスト情報の両方を表示するＡＲタグを生成し得る。
【００４１】
また第２のタグ生成部２８０は、ターゲットオブジェクトの輪郭に沿った１以上の面を有するＡＲタグを生成し得る。ターゲットオブジェクトと第２の撮影部２３０間の方位角に基づくＡＲ情報が、ＡＲタグの１以上の面上に表示され得る。例えば、ターゲットオブジェクトが建物であれば、第２のタグ生成部２８０は三次元立方体のＡＲタグを生成し得るし、ターゲットオブジェクトが球であれば、第２のタグ生成部２８０は球状のＡＲタグを生成し得る。
【００４２】
第２の表示部２１３は、第２のタグ生成部２８０が生成したＡＲタグを表示し得る。
【００４３】
第２の制御部２９０は、第２のユーザ装置２００の動作を制御し得る。特に第２の制御部２９０は、オブジェクトの分析したコンテキスト情報及び画像データをＡＲ管理サーバ７００に送信することにより、ＡＲ管理部７００に対して、コンテキスト情報に対応するターゲットオブジェクトのＡＲ情報を提供するように要求し得る。
【００４４】
第２の制御部２９０は、ＡＲ管理部７００に対してＡＲ情報の提供を要求する前に、コンテキスト情報に対応するＡＲ情報が第２のストレージ部２２０に格納されているか否かをチェックしてもよい。コンテキスト情報に対応するＡＲ情報が第２のストレージ部２２０に格納されていれば、第２の制御部２９０は第２のタグ生成部２８０を制御して、第２のストレージ部２２０に格納されているＡＲ情報を用いてＡＲタグを生成させ得る。コンテキスト情報に対応するＡＲ情報が第２のストレージ部２２０に格納されていなければ、第２の制御部２９０はＡＲ管理サーバ７００に対してＡＲ情報を送信するように要求し得る。
【００４５】
図４Ａ、図４Ｂ及び図４Ｃは、本発明の例示的実施形態による第２の表示部上に表示されたＡＲタグを示す図である。
【００４６】
図４Ａを参照すると、ユーザが、ユーザ装置２００の第２の撮影部２３０を用いてターゲットオブジェクト「南大門（Ｎａｍｄａｅｍｕｎ）」を撮影またはキャプチャした場合、第２の表示部２１３はターゲットオブジェクト「南大門」を表示し得る。ユーザ装置２００が現在位置における「南大門」のＡＲタグを表示するようにというユーザからの要求を受信すると、第２の情報収集部２５０は、現在位置に関する位置情報、方向情報、方位角情報及びチルト情報を含むコンテキスト情報を収集し得る。第２の情報分析部２６０は、収集されたコンテキスト情報を分析し得、第２のタグ生成部２８０は、コンテキスト情報に対応するＡＲ情報を用いてＡＲタグ２１３ａを生成し得る。コンテキスト情報に対応するＡＲ情報は、第２のストレージ部２２０に格納されているものでもよいし、ＡＲ管理サーバ７００から提供されたものでもよい。
【００４７】
ユーザが、「南大門」の裏門を見ることができる位置に移動してからＡＲタグを表示するように要求した場合、第２のタグ生成部２８０は、移動先の位置のコンテキスト情報に対応するＡＲ情報を用いてＡＲタグ２１３ｂを生成し得る。すなわち、同一のターゲットオブジェクトのＡＲタグであって、異なる方位角に基づく異なるＡＲタグが生成され表示され得る。
【００４８】
図４Ｂを参照すると、ターゲットオブジェクト「南大門」は建物であるため、第２のタグ生成部２８０はさらに、６面を有する立方体ＡＲタグ２１３ｃを生成し得る。ＡＲタグ２１３ｃの各面上に同一または異なるＡＲ情報が表示され得る。異なるＡＲ情報が表示されると、第２のユーザ装置２００は、１以上の方位角に対応するＡＲ情報をＡＲ管理サーバ７００から受信し得る。従ってユーザは、異なる方位角で生成されたターゲットオブジェクトのＡＲ情報をＡＲタグ２１３ｃを用いてチェックすることができる。
【００４９】
図４Ｃを参照すると、第２のタグ生成部２８０は、ユーザの現在位置におけるターゲットオブジェクトの右側面に対応するＡＲタグ２１４ｄを生成し得る。より具体的には、ユーザの現在位置からは、ターゲットオブジェクトの右側面は見えないか、または部分的にしか見えないため、ＡＲタグ２１４ｄは角度をもって表示され得、一例ではユーザは、ユーザが見ることができる方位角範囲を設定またはプリセット（ｐｒｅｓｅｔ）することができ、第２のタグ生成部２８０は、設定された範囲内の方位角に対応するＡＲタグを生成し得る。図４Ｃでは、ユーザは方位角範囲を例えば３６０度と設定することができるため、ターゲットオブジェクトの右側面に対応するＡＲタグ２１４ｄが表示され得る。
【００５０】
図５は、本発明の例示的実施形態による、ＡＲタグにタッチすることによりＡＲ情報を表示する方法を示す図である。
【００５１】
図５を参照すると、第２のタグ生成部２８０は、複数の面を有する立方体形状の立方体ＡＲタグ５００を生成し得る。第２のタグ生成部２８０は、ターゲットオブジェクトに向かう方向の方位角によって、異なるＡＲ情報をＡＲタグ５００の１以上の面上に表示し得る。第２のユーザ装置２００の現在位置とターゲットオブジェクト間の方位角に対応するＡＲ情報は、ＡＲタグ５００の第１の面５１０上に表示し得る。表示されるＡＲタグ５００を表示し、さらに上方向、下方向、左方向及び右方向を含む様々な方向に回転させて表示することができる。
【００５２】
例えば、ユーザが、表示されている第２の面５２０にタッチするか、あるいはＡＲタグ５００にタッチして左方向に回転させた場合、第２のユーザ入力部２１１は、タッチされた面５２０及び／またはユーザのタッチの方向をそれぞれ感知し得る。第２のタグ生成部２８０は、ＡＲタグ５００をタッチによって選択されたいずれかの面まで回転させるか、及び／またはＡＲタグ５００をユーザが入力したタッチ方向に応じて回転させることによって、ターゲットオブジェクトの第２の方位角に対応するＡＲ情報を正面方向に表示可能とし得る。一例では、ＡＲタグ５００は、図５に示すように感知されたタッチ面に応じて回転し得るか、及び／または、ＡＲタグ５００をタッチ及びドラッグして上記タッチ方向に回転させることにより回転し得、それによってユーザは面５２０を正面から見ることができる。またユーザがサブビューを要求した場合、第２のタグ生成部２８０はサブビューを生成し得、ＡＲタグ５００の現在表示されているＡＲ情報の方位角及び／または方向が、サブビュー内で上記情報を示すコンパス矢印を用いてチェックできるようにし得る。すなわち、サブビューのコンパス矢印は方位角及び／または方向を示し得る。
【００５３】
図６は、本発明の例示的実施形態による、第２のユーザ装置２００を移動させることによりＡＲタグのＡＲ情報を表示する方法を示す図である。
【００５４】
図６を参照すると、第２のタグ生成部２８０は、ターゲットオブジェクトのＡＲタグを、複数の面を有する立方体ＡＲタグ６００として生成し得る。ＡＲタグ６００の移動が困難または望ましくなく、ターゲットオブジェクトを撮影またはキャプチャしている第２のユーザ装置２００が任意の方向に回転した場合、第２のタグ生成部２８０は、ターゲットオブジェクトに対して回転した方向に見えるターゲットオブジェクトに向かう方向の方位角に対応するＡＲタグを生成し得る。例えば、第２のユーザ装置２００が右方向に回転するか、またはＡＲタグ６００の第１の面が正面方向に表示された後でユーザが身体を右方向に回転させた場合、第２のタグ生成部２８０は、ＡＲタグ６００の右側面６１０すなわち第２の面に対応するＡＲ情報が正面方向に表示できるようにし得る。従って第２のタグ生成部２８０は、ＡＲタグ６００を上方向、下方向、左方向及び右方向に直接回転させることにより、ユーザが求めるターゲット画像を提供し得る。
【００５５】
図７は、本発明の例示的実施形態によるＡＲ管理サーバ７００のブロック図である。
【００５６】
図７を参照すると、ＡＲ管理サーバ７００は、１以上のユーザ装置が生成したＡＲタグ情報をコンテキスト情報と共に格納し管理し得る。図７を参照すると、ＡＲ管理サーバ７００は、データベース（ＤＢ）７１０と、サーバ通信部７２０と、送信／受信処理部７３０と、情報処理部７４０と、サーバ制御部７５０とを含み得る。
【００５７】
ＤＢ７１０は、１以上のコンテキスト情報にマッピングされたターゲットオブジェクトのＡＲ情報を格納し管理し得る。従って同一のターゲットオブジェクトのＡＲ情報が、ターゲットオブジェクトの撮影またはキャプチャによって収集された１以上のコンテキスト情報用に格納し管理され得る。上記したようにコンテキスト情報は、ターゲットオブジェクトを撮影またはキャプチャするために用いた位置及び方向に関する情報、並びにターゲットオブジェクトの位置情報、方位角情報及びチルト情報を含み得る。一例では、ＤＢ７１０に格納されたコンテキスト情報のうち、方位角情報は参照範囲として格納し得る。例えば、格納されているＡＲ情報が方位角２００度に対応する情報であれば、２００°±α（αは誤差）がＡＲ情報に対応する方位角情報としてＤＢ７１０に格納され得る。方位角範囲はユーザまたはオペレータが手動で設定してもよいし、サーバ制御部７５０が自動的に設定してもよい。ＤＢ７１０に格納されたＡＲ情報は１以上のユーザ装置によって共有し得る。
【００５８】
サーバ通信部７２０は、第２のユーザ装置２００を含む１以上のユーザ装置と通信ネットワークを介して通信し得る。以下、第２のユーザ装置２００を例として説明する。サーバ通信部７２０は、ＡＲ情報の提供を要求する信号を受信し得、コンテキスト情報を第２のユーザ装置２００から受信し得る。サーバ通信部７２０はさらに、ターゲットオブジェクトの画像データを受信し得る。
【００５９】
送信／受信処理部７３０は、受信したＡＲ情報及び受信したコンテキスト情報が利用可能か否かを判定し得る。より具体的には、送信／受信処理部７３０は、ＡＲ情報及びコンテキスト情報を受信した際にエラーが起こったか否か、または受信したＡＲ情報及びコンテキスト情報が不適切な情報を含んでいるか否かを判定し得る。ＡＲ情報及びコンテキスト情報が利用可能であれば、送信／受信処理部７３０は、信号及びコンテキスト情報を情報処理部７４０に提供し得る。
【００６０】
情報処理部７４０は、ＤＢ７１０を検索してコンテキスト情報のうち位置情報に対応するＡＲ情報を探す。情報処理部７４０は、検索情報生成部７４１と情報検索部７４３とを含み得る。
【００６１】
検索情報生成部７４１は、ＤＢ７１０へのクエリに対する検索情報を設定し得る。検索情報は、受信したコンテキスト情報のうち位置情報に対応するＡＲ情報がＤＢ７１０に格納されているか否かに関する検索に関して用い得る。検索情報生成部７４１は、送信／受信処理部７３０から入力されたコンテキスト情報を処理することにより検索情報を設定し得、ヘッダタイプ（ｔｙｐｅ ｏｆ ａ ｈｅａｄｅｒ）に検索情報を生成し得る。一例では、検索情報は第２のユーザ装置２００の位置情報であってもよい。
【００６２】
情報検索部７４１は、検索情報を用いてＤＢ７１０を検索し得、位置情報に対応するＡＲ情報を抽出し得る。
【００６３】
サーバ制御部７５０は、コンテキスト情報の方位角情報に対応するＡＲ情報をチェックし得る。サーバ制御部７５０は、送信／受信処理部７３０及びサーバ通信部７２０を制御して、方位角情報に対応するＡＲ情報を第２のユーザ装置２００に提供させ得る。抽出されたＡＲ情報に対応する方位角情報が方位角範囲として格納されていれば、サーバ制御部７５０は、コンテキスト情報の方位角情報に最も近い方位角範囲に対応するＡＲ情報を提供し得る。
【００６４】
またサーバ制御部７５０は、方位角情報に対応するＡＲ情報を用いてＡＲタグを構築し得、ＡＲタグ構築データを第２のユーザ装置２００に提供し得る。方位角情報以外のコンテキスト情報を第２のユーザ装置２００から受信すると、サーバ制御部７５０は、基本的ＡＲタグを構築し得、ＡＲタグ構築データを第２のユーザ装置２００に提供し得る。
【００６５】
送信／受信処理部７３０は、方位角情報に対応するＡＲ情報を送信プロトコルに基づくデータに変換し得る。サーバ通信部７２０は、変換されたＡＲ情報を第２のユーザ装置２００に送信し得る。
【００６６】
第２のユーザ装置２００は、ＡＲ情報を受信した後、撮影またはキャプチャ中のターゲットオブジェクトのＡＲ情報を処理してＡＲタグを生成し得、ＡＲタグを第２の表示部２１３上に表示し得る。
【００６７】
図８は、本発明の例示的実施形態による、ＡＲサービスを提供する第３のユーザ装置８００のブロック図である。
【００６８】
図８を参照すると、第３のユーザ装置８００は、第３の撮影部８１０と、第３の情報収集部８２０と、第３のタグ生成部８３０と、第３の通信部８４０と、第３の表示部８５０とを含み得る。図８の第３の撮影部８１０、第３の情報収集部８２０、第３のタグ生成部８３０及び第３の表示部８５０は、図１の第１の撮影部１１０、第１の情報収集部１２０、第１のタグ生成部１３０及び第１の表示部１４０とそれぞれ似ており、従ってここでは、これらの詳細な説明は省略する。
【００６９】
第３の通信部８４０は、位置情報、方向情報及び方位角情報を含むコンテキスト情報をＡＲ管理サーバ７００（図８には図示せず）に送信することにより、ＡＲ管理部７００に対して、ターゲットオブジェクトのＡＲ情報を提供するように要求し得る。より具体的には、コンテキスト情報は、第３の情報収集部８２０が収集した第３のユーザ装置８００の現在位置、第３の撮影部８１０が撮影またはキャプチャしたターゲットオブジェクトの位置情報、第３の撮影部８１０が見ているターゲットオブジェクトに向かう方向に関する方向情報、及び第３のユーザ装置８００とターゲットオブジェクト間の方位角情報を含み得る。また第３の通信部８４０は、ＡＲ管理サーバ７００からターゲットオブジェクトのＡＲ情報を受信し得る。ＡＲ管理サーバ７００は、方位角に基づくターゲットオブジェクトのＡＲ情報を格納し得る。従ってＡＲ管理サーバ７００は、格納しているターゲットオブジェクトのＡＲ情報の一部または全体を第３のユーザ装置８００に送信し得る。
【００７０】
第３のタグ生成部８３０は、受信したターゲットオブジェクトのＡＲ情報のうちターゲットオブジェクトと第３の撮影部８１０間の方位角情報に対応するＡＲ情報を用いてＡＲタグを生成し得る。
【００７１】
図９は、本発明の例示的実施形態による、ＡＲサービスを提供する第４のユーザ装置９００のブロック図である。
【００７２】
図９を参照すると、第４のユーザ装置９００は、第４のＵＩ部９１０と、第４のストレージ部９２０と、第４の撮影部９３０と、第４の画像処理部９４０と、第４の情報収集部９５０と、第４の情報分析部９６０と、第４の通信処理部９７０と、第４の通信部９７５と、第４のタグ生成部９８０と、第４の制御部９９０とを含み得る。図９の第４のストレージ部９２０、第４の撮影部９３０及び第４の画像処理部９４０の動作は、図２の第２のストレージ部２２０、第２の撮影部２３０及び第２の画像処理部２４０の動作に非常に似ている。従ってここでは、これらの詳細な説明は省略する。
【００７３】
第４のＵＩ部９１０は、ユーザとユーザ装置９００とのインターフェースを提供してユーザの入力を受信し、受信したユーザの入力に対する応答を表示し得る。さらに第４のＵＩ部９１０は、第４のユーザ入力部９１１と第４の表示部９１３とを含み得る。
【００７４】
第４のストレージ部９２０は、ユーザ装置９００を作動させるために用いるプログラム、様々なデータ及び情報などを格納し得る。
【００７５】
第４の撮影部９３０は、ターゲットオブジェクトの画像を撮影またはキャプチャしてターゲットオブジェクトの画像データを獲得し得、例えば、埋め込み型カメラまたは外部カメラであってもよい。
【００７６】
第４の画像処理部９４０は、第４の撮影部９３０から得られた画像を分析し得、分析結果を用いて画像を処理して表示可能な信号にし得る。
【００７７】
第４の情報収集部９５０は、ユーザ装置９００の位置、チルト位置及び方位角に関連する情報を含むコンテキスト情報を収集し得る。一例では、方位角に基づくＡＲタグを表示するようにという要求をユーザから受信すると、第４の情報収集部９５０は方位角情報を収集し得る。
【００７８】
第４の情報分析部９６０は、第４の情報収集部９５０が収集した情報を、図２及び図３の第２の情報分析部２６０で用いたものに似た処理可能信号を用いて分析し得る。従ってここでは、これ以上の説明は省略する。
【００７９】
第４の通信処理部９７０は、ターゲットオブジェクトの位置情報、方向情報及び画像データを、第４の制御部９９０の制御により、送信プロトコルに基づくデータに変換し得る。
【００８０】
第４の通信部９７５は、第４の通信処理部９７０から入力されたデータを、通信ネットワーク（図９には図示せず）を介してＡＲ管理サーバ（図９には図示せず）に送信し得る。また第４の通信部９７５は、ＡＲ管理サーバから、ターゲットオブジェクトの少なくとも一つのＡＲ情報を受信し得る。ＡＲ管理サーバは、１以上のコンテキスト情報に対応するターゲットオブジェクトのＡＲ情報を格納し得る。より具体的には、ＡＲ管理サーバは、様々な異なる方位角に対応するＡＲ情報を格納し得る。
【００８１】
第４の通信処理部９７０は、受信したＡＲ情報を、第４のユーザ装置９００で利用可能なデータに変換し得る。
【００８２】
第４のタグ生成部９８０は、第４の通信処理部９７０が変換したＡＲ情報を用いて、第４の情報収集部９５０が収集したコンテキスト情報に対応するＡＲタグを生成し得る。ユーザが方位角に基づくＡＲタグを表示するように要求すれば、第４のタグ生成部９８０は、第４の情報収集部９５０が収集した方位角に対応するＡＲ情報を用いてＡＲタグを生成し得る。生成したＡＲタグは、図４Ａ、図４Ｂ、図４Ｃ、図５及び図６を参照して述べたＵＩの画像内に表示し得る。
【００８３】
第４の表示部９１３は、第４のタグ生成部９８０が生成したＡＲタグを表示し得る。
【００８４】
第４の制御部９９０は、第４のユーザ装置９００の動作全体を制御し得る。特に第４の制御部９９０は、ターゲットオブジェクトの位置情報、方向情報及び画像データを含む様々な情報をＡＲ管理サーバに送信することにより、ＡＲ管理部に対して、ターゲットオブジェクトのＡＲ情報を提供するように要求し得る。
【００８５】
第４の制御部９９０は、方位角に基づくＡＲ情報を表示するようにという要求をユーザから受信すると、第４の情報収集部９５０を制御して方位角情報を収集させ得る。方位角情報が収集されると、第４の制御部９９０は、ＡＲ管理サーバから受信した１以上のＡＲ情報のうち、第４の情報収集部９５０が収集した方位角に対応するＡＲ情報を抽出し得、そのＡＲ情報を第４のタグ生成部９８０に提供し得る。
【００８６】
図１０は、本発明の例示的実施形態によるユーザ装置においてＡＲサービスを提供する方法を示すフローチャートである。
【００８７】
図１０の方法の１以上の動作は、図１の第１のユーザ装置１００または図２の第２のユーザ装置２００の制御部またはプロセッサによって実施され得るが、これらに限定されない。
【００８８】
動作１０１０で、ユーザが、カメラを用いてターゲットオブジェクトの画像を撮影またはキャプチャしてターゲットオブジェクトの画像データを獲得し得る。
【００８９】
動作１０２０で、ユーザ装置は、ターゲットオブジェクトに関連するコンテキスト情報を収集し得る。コンテキスト情報は、ターゲットオブジェクトを撮影またはキャプチャした際のユーザ装置の位置情報、ターゲットオブジェクトとカメラ間の方位角情報、及びユーザ装置のチルト情報のうち少なくとも一つを含み得る。
【００９０】
動作１０３０で、ユーザ装置は、ＡＲタグを表示するようにという要求をユーザから受信し得る。
【００９１】
動作１０４０で、ユーザ装置は、コンテキスト情報に対応するＡＲ情報がユーザ装置のメモリに格納されているか否かをチェックし得る。
【００９２】
動作１０４０でコンテキスト情報に対応するＡＲ情報がユーザ装置のメモリに格納されていると判定された場合、ユーザ装置は動作１０５０で、メモリに格納されているＡＲ情報を用いて、収集したコンテキスト情報に対応するＡＲタグを生成し表示し得る。従ってユーザとターゲットオブジェクト間の方位角によって異なるＡＲタグがユーザに提供され得る。
【００９３】
前記動作１０４０でコンテキスト情報に対応するＡＲ情報が前もってユーザ装置のメモリに格納されていないと判定された場合、ユーザ装置は動作１０６０で、ＡＲ管理サーバに対して、コンテキスト情報に対応するＡＲ情報の提供を要求し得る。ＡＲ管理サーバに対して、コンテキスト情報に対応するＡＲ情報の提供を要求するために、ユーザ装置は動作１０６０で、動作１０１０で得たターゲットオブジェクトの画像データ及び動作１０２０で収集したコンテキスト情報をＡＲ管理サーバに送信し得る。
【００９４】
動作１０７０で、ユーザ装置は、ＡＲ管理サーバから、コンテキスト情報に対応するＡＲ情報を含むＡＲタグ構築データを受信し得る。
【００９５】
動作１０８０で、ユーザ装置は、受信したＡＲ情報を含むＡＲタグ構築データを用いて、ＡＲタグを生成し表示し得る。ユーザ装置は、動作１０７０でＡＲ情報を受信した場合、そのＡＲ情報を用いてＡＲタグを生成し得る。
【００９６】
図１１は、本発明の例示的実施形態によるユーザ装置においてＡＲサービスを提供する方法を示すフローチャートである。
【００９７】
図１１の方法の各動作は、第３のユーザ装置８００または第４のユーザ装置９００の制御部またはプロセッサによって実施され得る。
【００９８】
動作１１００で、ユーザが、カメラを用いてターゲットオブジェクトの画像を撮影またはキャプチャしてターゲットオブジェクトの画像データを獲得し得る。
【００９９】
動作１１２０で、ユーザ装置は、ターゲットオブジェクトに関連するコンテキスト情報を収集し得る。コンテキスト情報は、ターゲットオブジェクトを撮影またはキャプチャした際のユーザ装置の位置情報、方向情報、及びチルト情報のうち少なくとも一つを含み得る。しかし本発明の局面はこれに限定されず、例えばチルト情報は省略してもよい。
【０１００】
動作１１３０で、ユーザ装置は、ＡＲタグを表示するようにという要求をユーザから受信し得る。
【０１０１】
動作１１４０で、ユーザ装置は、ＡＲ管理サーバに対して、収集したコンテキスト情報に対応するＡＲ情報を提供するように要求し得る。ＡＲ管理サーバに対して、収集したコンテキスト情報に対応するＡＲ情報の提供を要求するために、ユーザ装置は動作１１６０で、動作１１１０で得たターゲットオブジェクトの画像データ及び動作１１２０で収集したコンテキスト情報をＡＲ管理サーバに送信し得る。
【０１０２】
動作１１５０で、ユーザ装置は、コンテキスト情報に対応する少なくとも一つのＡＲ情報をＡＲ管理サーバから受信し得る。例えば、同一のターゲットオブジェクトのＡＲ情報であるが方位角に基づいて異なるＡＲ情報がＡＲ管理サーバに格納されている場合、ユーザ装置は格納されているターゲットオブジェクトのＡＲ情報の一部または全体を受信し得る。
【０１０３】
ユーザ装置は、動作１１６０で、方位角に基づくＡＲタグを表示するようにという要求をユーザから受信しなかった場合、動作１１７０で、受信した少なくとも一つのＡＲ情報を用いてＡＲタグを生成し表示し得る。受信したＡＲ情報が複数であれば、ユーザ装置は高い頻度または正確さを有するＡＲ情報を用いてＡＲタグを生成し得る。
【０１０４】
ユーザ装置は、動作１１６０で、方位角に基づくＡＲタグを表示するようにという要求をユーザから受信した場合、動作１１８０で、ターゲットオブジェクトとカメラ間の方位角情報を収集し得る。
【０１０５】
動作１１９０で、ユーザ装置は、上記少なくとも一つの収集したＡＲ情報のうち、収集した方位角情報に対応するＡＲ情報を抽出し得る。
【０１０６】
動作１１９５で、ユーザ装置は、抽出したＡＲ情報を用いてＡＲタグを生成し表示し得る。
【０１０７】
図１０の動作１０８０または図１１の動作１１９５で表示したＡＲタグが図５のＡＲタグであり、ユーザがＡＲタグをタッチした方向が感知され得る場合、ユーザ装置は、ＡＲタグをユーザがタッチしたいずれかの面まで回転させるか、または感知したタッチ方向にＡＲタグを回転させることにより、異なる方位角に対応するターゲットオブジェクトのＡＲ情報を正面方向に表示し得る。
【０１０８】
図１０の動作１０８０または図１１の動作１１９５で表示したＡＲタグは図６のＡＲタグに似ていることがあり得る。従ってユーザがユーザ装置を任意の方向に回転させた場合、ユーザ装置は、その任意の方向で見られるオブジェクトに向かう方向の方位角に対応するＡＲ情報が正面方向に表示できるようにし得る。より具体的には、一例では、図６を参照すると、元々第１の面に対向していたユーザ装置が右方向に回転して第２の面に対向した場合、第２の面が正面方向として見られ得る。
【０１０９】
本発明の例示的実施形態によると、ユーザ装置及び方法は、拡張現実（ＡＲ）サービスであって、ユーザが見ているオブジェクトに向かう方向の方位角に基づいてＡＲタグを選択的に提供することができ、それによりユーザが対象となる情報を見ることができるＡＲサービスを提供する。
【０１１０】
またユーザ装置及び方法は、ＡＲサービスであって、三次元立方体ＡＲタグを提供することができ、受信したユーザ入力に応じてＡＲタグを回転することができ、それによって異なる視点（ｖｉｅｗ）で提供されたＡＲ情報を含むターゲットオブジェクトの様々な異なるＡＲ情報を、ユーザが移動して物理的に回転することなく提供することができるＡＲサービスを提供する。
【０１１１】
またユーザ装置及び方法は、ＡＲサービスであって、ユーザがユーザ装置を任意の方向に回転させて、回転方向に対応するターゲットオブジェクトのＡＲ情報を提供することができるＡＲサービスを提供する。
【０１１２】
上記した本発明の例示的実施形態によると、ユーザの位置とターゲットオブジェクト間の方位角によって様々な異なるＡＲ情報を提供し得る。この特徴は、三次元立方体ＡＲタグの提供に貢献し得、ここに記載した様々な応用を何らの制限なく可能にし得る。
【０１１３】
第１に、立方体ＡＲタグが建物の内壁と同一方向に表示された場合、ユーザは建物の外から内部を見ることができる。６面を有するＡＲタグの各面を建物内部の各面と合致させ、建物内部の各面をＡＲタグの対応する面上に表示することにより、これが可能となり得る。ユーザが建物の外からユーザ装置のカメラを通して建物の１面を見た場合、ＡＲタグの利用可能な複数の面のうちユーザの方向を向いているＡＲタグの前面（第１の面）を透明に表示してもよい。さらにＡＲタグの他の３面、すなわち建物の右側面、左側面、及び後面を立体的に表示してもよい。またＡＲタグを介して表示する画像が動画カメラを用いてリアルタイムに更新される場合、建物の外から建物内部の状態をリアルタイムに認識することが可能である。
【０１１４】
第２に、本発明の例示的実施形態は、水平及び／または垂直の角度を含むチルト角の情報、すなわち方位角のみならずユーザ装置のチルトに関する情報も考慮しているため、様々な角度に対応するＡＲタグをユーザに提供することができる。また高さ情報を含む場合、ＡＲタグを水平方向の配置よりもむしろ空間的配置で表示してもよく、それにより現実的なビューを提供することができる。従ってユーザは水平方向で見られるＡＲタグを見ることができ、さらにカメラを通してターゲットオブジェクトを見上げたり見下げたりすると、三次元の空間的配置に置かれた近傍のＡＲタグを様々な方向及び様々な角度で見ることができる。
【０１１５】
第３に、ＡＲタグはサインまたは告知物として用いてもよい。例えばユーザが立っている位置またはそれに対応する方向に基づくＡＲタグとして想像上のサインまたは告知物が表示された場合、そのサインまたは告知物を、ユーザとは逆の方向にいる別のユーザには表示しないようにしてもよく、これにより混乱を避けることができる。一例では、停止の標識に対向しているユーザには停止の標識を示すが、停止の標識を通過した他の人々または停止の標識のある道路と交差する高速道路上を運転している他の人々には示さないようにすれば、道路標識に関する混乱を避けることができる。
【０１１６】
第４に、ユーザ装置はセンサを用いて、ターゲットオブジェクトとユーザ装置間の方位角をリアルタイムで表示してもよい。この特徴を用いれば、ユーザがある特定の位置でターゲットオブジェクトの画像を撮像した場合、ユーザは専門家が推薦する上記特定の位置で生成されたＡＲタグを用いることができる。より具体的には、ユーザはカメラを配置して専門家が推薦する方位角でターゲットオブジェクトを撮影またはキャプチャすることができる。専門家が生成したＡＲタグは、オブジェクトを撮影またはキャプチャするために用いたカメラ設定情報及び方位角情報を示してもよい。
【０１１７】
第５に、ユーザ装置は、上に星座が重なったＡＲタグを提供してもよい。星座はユーザが見ている夜空に向かう方向の方位角に基づいてユーザ位置で観察される。この場合、ユーザ装置は、時間情報を追加した星座をＡＲタグに重ねてもよい。これによりユーザはユーザの目で星座に関連する情報を見ることができる。
【０１１８】
第６に、例えば複数の出口を有する建物または地下鉄の場合、ユーザ装置は現在位置の方位角に基づいてＡＲタグを表示してもよい。これによりユーザは現在位置において、正面方向に表示されている出口が表門であるのか裏門であるのかをＡＲタグを介して認識することができる。
【０１１９】
第７に、ユーザが山中で道に迷った場合、ユーザ装置は現在位置から山道（ｔｒａｉｌ）への方向に関する情報を提供してもよい。さらにユーザ装置はＡＲタグを介してシェルターまたは近くの地勢に関する情報を提供してもよい。
【０１２０】
第８に、ユーザ装置のカメラが駐車場の方向を向いている場合、ユーザ装置はＡＲタグを用いて車を停められる位置を表示してもよい。さらにユーザが停車した後、建物の出口または入口までユーザを案内してもよい。
【０１２１】
第９に、ユーザ装置は様々な形状のＡＲタグ及び方位角によって様々なコンテンツのＡＲタグを表示してもよい。これによりユーザはＡＲタグ及び方位角を容易に認識することができる。
【０１２２】
第１０に、ユーザ装置は方位角に基づいて表示されたＡＲタグのＡＲ情報を提供してもよく、さらに方位角とは無関係にＡＲタグの共通の情報を提供してもよい。ユーザが地図を見れば情報が提供されるようにしてもよい。
【０１２３】
第１１に、方位角に基づくＡＲタグの特徴を用いて単一の面を表示した場合、様々なタグを天体または惑星上で生成してもよい。他の惑星も地球も軌道上を移動し軸回りに回転しているため、表示される面は時間とともに変化し得る。この場合、ユーザは所望の面にタグを設定することができる。
【０１２４】
第１２に、ユーザ装置は方位角によって様々な面、例えば建物の床、天井及び屋根などにＡＲタグを表示してもよい。これは壁面及び大きな建物のフロアマップ用の情報として有用であり得る。
【０１２５】
本発明による例示的実施形態は、プログラム命令を含む、一時的でなくコンピュータ読み取り可能な媒体に記録され得、コンピュータによって実施される様々な動作を実行する。媒体はさらに、単一またはプログラム命令と組み合わされた形態で、データファイル及びデータ構造などを含み得る。媒体及びプログラム命令は、本発明の目的のために特別に設計され構築されたものであってもよいし、コンピュータソフトウェアの分野の当業者に周知で利用可能な種類のものであってもよい。一時的でなくコンピュータ読み取り可能な媒体の例は、ハードディスク、フロッピーディスク（登録商標）、磁気テープなどの磁気媒体、ＣＤ ＲＯＭディスク及びＤＶＤなどの光媒体、光ディスクなどの光磁気媒体、ならびにリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）及びフラッシュメモリなどの、プログラム命令を格納し実行するために特に構築されたハードウェアデバイスを含む。プログラム命令の例は、コンパイラによって生成されるマシンコードと、インタープリタを用いてコンピュータによって実行され得る高レベルコードを含むファイルとの両方を含む。上記のハードウェアデバイスは、本発明の上記実施形態の動作を実施するために１以上のソフトウェアモジュールとして作用するように構築され得る。
【０１２６】
本発明は、その精神又は範囲から逸脱することなく、様々な改変及び変形が可能であることは当業者には明らかである。従って、本発明は、添付の特許請求の範囲及びその均等物の範囲内に含まれる発明の改変及び変形をカバーすることを意図する。
【技術分野】
【０００１】
本発明は、拡張現実（ＡＲ）サービスを提供するユーザ装置及び方法に関し、特にユーザが方位角に基づいてＡＲタグ情報を生成し得るサービスを提供するユーザ装置及び方法に関する。
【背景技術】
【０００２】
拡張現実（ＡＲ）とは、仮想現実技術の一分野であり、現実世界環境の画像を仮想オブジェクトまたは仮想情報と組み合わせるコンピュータグラフィックス技術である。ＡＲ技術は、仮想空間に仮想オブジェクトを提供する一般的な仮想現実技術とは異なり、現実世界環境を仮想オブジェクトまたは情報と組み合わせることにより、現実世界環境で得ることが困難であり得る補足的な情報を追加する。ＡＲ技術は現実世界環境の画像内で識別されたオブジェクトにフィルタをかけて、ユーザが求める対象仮想オブジェクトまたは仮想情報を現実環境から取り出すことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、従来のＡＲサービスでは提供できる情報量に限界があった。概して従来のＡＲサービスは、オブジェクトのグローバルポジショニングシステム（ＧＰＳ）情報を用いたＡＲ技術により基本情報を提供し得るものである。すなわち、従来のＡＲサービスは、オブジェクトを見ているユーザの位置が変化しても同一の情報を提供し得るものであった。
【課題を解決するための手段】
【０００４】
本発明の例示的実施形態は、ユーザが見ているオブジェクトに向かう方向の方位角（ａｚｉｍｕｔｈ）に基づいてＡＲタグを生成することができる拡張現実（ＡＲ）サービスを提供するユーザ装置及び方法を提供する。
【０００５】
本発明のさらなる特徴を以下に説明する。特徴の一部は以下の記載から明らかであるか、あるいは本発明を実施することにより学習し得る。
【０００６】
本発明の例示的実施形態は、ＡＲサービスを提供するユーザ装置であって、ターゲットオブジェクトの画像をキャプチャする撮影部と、前記撮影部の位置情報及び前記ターゲットオブジェクトと前記撮影部間の第１の方位角情報を含む、前記ターゲットオブジェクトの前記キャプチャした画像のコンテキスト情報を収集する情報収集部と、第１の方向のＡＲタグであって前記コンテキスト情報に対応するＡＲタグを生成するタグ生成部と、前記ターゲットオブジェクトの前記画像及び前記ＡＲタグを表示する表示部とを備えることを特徴とするユーザ装置を提供する。
【０００７】
本発明の例示的実施形態は、ＡＲサービスを提供するユーザ装置であって、ターゲットオブジェクトの画像をキャプチャする撮影部と、前記撮影部の位置情報及び前記ターゲットオブジェクトの画像データを含む、前記ターゲットオブジェクトの前記キャプチャした画像のコンテキスト情報を収集する情報収集部と、前記収集したコンテキスト情報をＡＲ管理サーバに送信し、前記ＡＲ管理サーバから前記ターゲットオブジェクトのＡＲ情報を受信する通信部であって、前記ＡＲ管理サーバは、前記キャプチャした画像の方位角情報に基づいて前記ターゲットオブジェクトの前記ＡＲ情報を格納している、通信部と、前記ターゲットオブジェクトと前記撮影部間の第１の方位角に対応するＡＲ情報を用いてＡＲタグを生成するタグ生成部と、前記ターゲットオブジェクトの前記キャプチャした画像及び前記生成したＡＲタグを表示する表示部とを備えることを特徴とするユーザ装置を提供する。
【０００８】
本発明の例示的実施形態は、ＡＲサービスを提供する方法であって、カメラを用いてターゲットオブジェクトの画像をキャプチャすることと、前記ターゲットオブジェクトの前記キャプチャした画像の位置情報及び前記ターゲットオブジェクトと前記カメラ間の第１の方位角情報を含むコンテキスト情報を収集することと、前記コンテキスト情報に対応するＡＲタグを生成することと、前記ターゲットオブジェクトの前記キャプチャした画像及び前記生成したＡＲタグを表示することとを含むことを特徴とする方法を提供する。
【０００９】
本発明の例示的実施形態は、ＡＲサービスを提供する方法であって、ターゲットオブジェクトの画像をキャプチャすることと、前記ターゲットオブジェクトをキャプチャするカメラの位置情報であって端末（ｔｅｒｍｉｎａｌ）からの位置情報、及び前記画像から得られた前記ターゲットオブジェクトの画像データを含むコンテキスト情報（ｃｏｎｔｅｘｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）を収集することと、前記収集したコンテキスト情報をＡＲ管理サーバに送信して前記ターゲットオブジェクトのＡＲ情報を第１の方位角用に格納することと、前記ターゲットオブジェクトの前記ＡＲ情報を前記ＡＲ管理サーバから受信することと、前記ターゲットオブジェクトとカメラ間の前記第１の方位角に対応する前記ＡＲ情報を用いてＡＲタグを生成することと、前記ターゲットオブジェクトの前記キャプチャした画像及び前記ＡＲタグを表示することとを含むＡＲサービスを提供する方法を提供する。
【００１０】
上記の概説及び以下の詳細な説明は一例であり本発明を説明するものであり、請求の範囲に記載する本発明をさらに説明するためのものであることを理解されたい。他の特徴及び局面は以下の詳細な説明、図面及び請求の範囲から明らかとなる。
【００１１】
添付の図面は本発明のさらなる理解のために含めており、本明細書に組み込まれて本明細書の一部を成す。添付の図面は本発明の実施形態を示しており、本明細書の記載と共に本発明の原理を説明する一助となる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の例示的実施形態による、拡張現実（ＡＲ）サービスを提供する第１のユーザ装置を示すブロック図である。
【図２】図２は、本発明の例示的実施形態による、ＡＲサービスを提供する第２のユーザ装置を示すブロック図である。
【図３】図３は、本発明の例示的実施形態による第２の情報収集部及び第２の情報分析部を示すブロック図である。
【図４Ａ】図４Ａは、本発明の例示的実施形態による第２の表示部上に表示されたＡＲタグを示す図である。
【図４Ｂ】図４Ｂは、本発明の例示的実施形態による第２の表示部上に表示されたＡＲタグを示す図である。
【図４Ｃ】図４Ｃは、本発明の例示的実施形態による第２の表示部上に表示されたＡＲタグを示す図である。
【図５】図５は、本発明の例示的実施形態による、ＡＲタグにタッチすることによりＡＲ情報を表示する方法を示す図である。
【図６】図６は、本発明の例示的実施形態による、第２のユーザ装置を移動させることによりＡＲタグのＡＲ情報を表示する方法を示す図である。
【図７】図７は、本発明の例示的実施形態によるＡＲ管理サーバのブロック図である。
【図８】図８は、本発明の例示的実施形態による、ＡＲサービスを提供する第３のユーザ装置のブロック図である。
【図９】図９は、本発明の例示的実施形態による、ＡＲサービスを提供する第４のユーザ装置のブロック図である。
【図１０】図１０は、本発明の例示的実施形態によるユーザ装置においてＡＲサービスを提供する方法を示すフローチャートである。
【図１１】図１１は、本発明の例示的実施形態によるユーザ装置においてＡＲサービスを提供する方法を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照して本発明をより詳細に述べる。図面には本発明の実施形態を示す。しかし本発明は多くの異なる形態で実施可能であり、本発明に述べる実施形態に限定されると解釈すべきではない。むしろこれらの実施形態は、本開示が本発明の詳細な記載であり、当業者に対して本発明の範囲を十分に示すために提供される。本開示の目的のために、「〜のうち少なくとも一つ」は、それに続いて列挙する要素のいずれの組み合わせをも含み、列挙した要素のうち複数の要素の組み合わせをも含むと解釈されることを理解されたい。例えば、「Ｘ、Ｙ及びＺのうち少なくとも一つ」は、Ｘのみ、Ｙのみ、Ｚのみ、またはＸ、Ｙ及びＺのうちの２つ以上の組み合わせ（例：ＸＹＺ、ＸＺ、ＹＺ）を意味すると解釈されたい。図面及び詳細な説明の全体において、特にことわりがない限り、図中の同一の参照符号は同一の要素、特徴及び構造を示すと理解されたい。これらの要素の相対的サイズ及び描写は、明瞭性のため、例示のため、及び便宜上、誇張することがある。
【００１４】
さらに、ある要素が別の要素に「接続」されていると述べた場合、直接接続されている場合もあれば、介在する要素が存在する場合もあることを理解されたい。逆にある要素が別の要素に「直接接続」されていると述べた場合、介在する要素は存在しない。
【００１５】
図１は、本発明の例示的実施形態による、拡張現実（ＡＲ）サービスを提供する第１のユーザ装置１００を示すブロック図である。
【００１６】
図１を参照すると、第１のユーザ装置１００は、スマートフォン、携帯電話、ラップトップコンピュータ、タブレット型コンピュータなどの持ち運び可能な装置であってもよい。図１に示すように、第１の装置１００は、第１の撮影部１１０と、第１の情報収集部１２０と、第１のタグ生成部１３０と、第１の表示部１４０とを含む。
【００１７】
第１の撮影部１１０は、ターゲットオブジェクトの画像を撮影またはキャプチャし得、例えば、埋め込み型カメラまたは外部カメラであってもよい。得られた画像は、第１の撮影部１１０または別体の画像プロセッサによって処理されて表示可能な信号になり得る。
【００１８】
第１の情報収集部１２０は、第１のユーザ装置１００の現在位置に関する情報、第１の撮影部１１０が撮影またはキャプチャしたターゲットオブジェクトの位置情報、第１の撮影部１１０が現在見ている方向に関する方向情報、及び第１のユーザ装置１００とターゲットオブジェクト間の方位角情報を含むコンテキスト情報を収集し得る。さらに、上記位置情報、方向情報及び方位角情報などは、キャプチャした画像、ユーザ装置または他のソースと連動したデータから収集し得る。方位角情報は、第１のユーザ装置１００とターゲットオブジェクト間の方位角を示す数値を含み得る。一例では、方位角は水平線から測定した角度を参照し得る。すなわち、方位角情報は、ユーザ装置１００上の参照点からターゲットオブジェクトまでの角度であって水平線に対して測定した角度を含み得る。ユーザ装置１００上の参照点は、上部点、エッジまたは表面、あるいは下部点、エッジまたは表面として定義してもよいし、撮影部１００の焦点レンズから定義してもよい。
【００１９】
第１のタグ生成部１３０は、第１の情報収集部１２０が収集したコンテキスト情報に対応するＡＲタグを生成し得る。上記したように、コンテキスト情報は、位置情報、方向情報及び方位角情報を含み得る。ＡＲタグは、ターゲットオブジェクトのＡＲ情報を表示する窓という形態または形状で生成し得る。従ってＡＲタグはターゲットオブジェクトを撮影またはキャプチャするために用いた方位角に基づいて生成し得る。ターゲットオブジェクトのＡＲ情報は、１以上のコンテキスト情報用に、第１のユーザ装置１００内に格納してもよいし、ＡＲ管理サーバ（図示せず）内に格納してもよい。
【００２０】
第１の表示部１４０は、生成したＡＲタグを、ターゲットオブジェクト上に重なるように表示する。
【００２１】
図２は、本発明の例示的実施形態による、ＡＲサービスを提供する第２のユーザ装置２００を示すブロック図である。図３は、本発明の例示的実施形態による、第２の情報収集部及び第２の情報分析部を示す詳細なブロック図である。
【００２２】
図２に示すように、第２のユーザ装置２００は、第２のユーザインターフェース（ＵＩ）部２１０と、第２のストレージ部２２０と、第２の撮影部２３０と、第２の画像処理部２４０と、第２の情報収集部２５０と、第２の情報分析部２６０と、第２の通信処理部２７０と、第２の通信部２７５と、第２のタグ生成部２８０と、第２の制御部２９０とを含む。
【００２３】
第２のＵＩ部２１０は、ユーザ装置２００とインターフェースする能力をユーザに提供し得、第２のユーザ入力部２１１と第２の表示部２１３とを含み得る。
【００２４】
第２のユーザ入力部２１１は、ユーザのコマンド入力を受信する操作パネルであってもよく、様々なインターフェースを含み得る。例えばインターフェースは、ターゲットオブジェクトを撮影またはキャプチャするボタン、方向キー及びタッチパネルなどを含み得る。特にユーザは、第２のユーザ入力部２１１を操作することにより、方位角に基づくＡＲタグの表示を要求することができる。またユーザが第２の表示部２１３上に表示されたＡＲタグにタッチすると、第２のユーザ入力部２１１はユーザのタッチの方向を感知し得る。より具体的には、ユーザが第２の表示部２１３上に表示された複数の面を有するＡＲタグにタッチしドラッグしてＡＲタグの異なる面が見えるように回転させると、第２のユーザ入力部２１１はそのタッチ及びドラッグの動作を感知し得る。
【００２５】
第２の撮影部２３０から入力された画像が処理されて信号になると、第２の表示部２１３は処理された画像を表示し得る。ユーザ装置２００がタッチによる入力方法を提供すると、第２の表示部２１３はタッチパネルのＵＩを表示し得る。
【００２６】
第２のストレージ部２２０は、ユーザ装置２００を作動させるために用いるプログラム、様々なデータ及び情報などを格納し得る。また第２のストレージ部２２０は、ターゲットオブジェクトのコンテキスト情報にマッピングした、ターゲットオブジェクトのＡＲ情報を格納し得る。
【００２７】
第２の撮影部２３０は、ターゲットオブジェクトの画像を撮影またはキャプチャして画像データを獲得し得る。一例では、第２の撮影部２３０は埋め込み型カメラまたは外部カメラを含む。
【００２８】
第２の画像処理部２４０は、第２の撮影部２３０が得た画像を分析し得、分析結果を用いて画像を処理して表示可能な信号にし得る。一例では、第２の画像処理部２４０は、画像プロセッサであってもよい。
【００２９】
第２の情報収集部２５０は、ユーザ装置２００の位置、チルト位置及び方位角に関連する情報を含むコンテキスト情報を収集し得、これらの情報は、キャプチャした画像、ユーザ装置または他のソースと連動したデータから収集し得る。図３を参照すると、第２の情報収集部２５０は、位置情報収集部２５１と、方位角情報収集部２５３と、チルト情報収集部２５５とを含み得る。
【００３０】
位置情報収集部２５１は、ユーザ装置２００の現在位置に関する位置情報及び第２の撮影部２３０が現在見ているターゲットオブジェクトに向かう方向に関する方向情報を収集し得る。また位置情報収集部２５１は、ターゲットオブジェクトの現在位置情報をさらに収集し得る。一例では、位置情報収集部２５１は、グローバルポジショニングシステム（ＧＰＳ）及び位置情報サービス（ＬＢＳ）などを用いて現在位置を感知し収集し得る。さらに位置情報収集部２５１は、デジタルコンパスを用いて方向をも感知し収集し得る。位置情報収集部２５１が収集した位置情報及び方向情報は、位置分析部２６１に提供し得る。
【００３１】
方位角情報収集部２５３は、ユーザ装置２００とターゲットオブジェクト間の方位角に関する方位角情報を収集し得る。方位角情報収集部２５３が収集した方位角情報は、方位角分析部２６３に提供し得る。
【００３２】
チルト情報収集部２５５は、ユーザ装置２００のチルトに関するチルト情報を収集し得る。チルト情報は、ユーザ装置２００のチルト位置に関する情報であってもよい。ユーザ装置２００は、ターゲットオブジェクトを撮影またはキャプチャする前にユーザの操作によって様々な方向に頻繁にチルトしてもよい。一例では、チルト情報収集部２５５は、例えば３軸ジャイロスコープセンサと３軸（ｘ、ｙ、ｚ）加速度センサとを含む６軸動作センサを用いてチルト情報を感知し収集し得る。チルト情報収集部２５５が収集したチルト情報は、チルト分析部２６５に提供し得る。チルト情報は必要に応じて収集してもよい。
【００３３】
第２の情報分析部２６０は、第２の情報収集部２５０が収集した情報を、処理可能信号を用いて分析し得る。図３を参照すると、第２の情報分析部２６０は、位置分析部２６１と、方位角分析部２６３と、チルト分析部２６５とを含み得る。
【００３４】
位置分析部２６１は、位置情報収集部２５１が収集した位置情報及び方向情報を、処理可能信号を用いて分析し得る。
【００３５】
方位角分析部２６３は、方位角情報収集部２５３が収集した方位角情報を、処理可能信号を用いて分析し得る。
【００３６】
チルト分析部２６５は、チルト情報収集部２５５が収集したチルト情報を、処理可能信号を用いて分析し得る。
【００３７】
図２を参照すると、第２の通信処理部２７０は、ターゲットオブジェクトの分析したコンテキスト情報及び画像データを、第２の制御部２９０による送信プロトコルに基づくデータに変換し得る。
【００３８】
第２の通信部２７５は、第２の通信処理部２７０から入力されたデータを、通信ネットワーク１０を介してＡＲ管理サーバ７００に送信し得る。また第２の通信部２７５は、コンテキスト情報に対応するＡＲ情報をＡＲ管理サーバ７００から受信し得る。ＡＲ管理サーバ７００は、様々な異なるコンテキスト情報に対応するＡＲ情報を格納し得る。ＡＲ管理サーバ７００については、図７を参照して後述する。
【００３９】
第２の通信処理部２７０は、受信したＡＲ情報を第２のユーザ装置２００で利用可能なデータに変換し得る。
【００４０】
第２のタグ生成部２８０は、第２の情報収集部２５０が収集したコンテキスト情報に対応するＡＲタグを生成し得る。より具体的には、ＡＲタグは、第２の通信処理部２７０が変換したＡＲ情報を用いて生成される。ＡＲタグは、ターゲットオブジェクトのＡＲ情報を表示する窓の形態で生成し得る。第２のタグ生成部２８０は、ターゲットオブジェクトのＡＲ情報及びコンテキスト情報の両方を表示するＡＲタグを生成し得る。
【００４１】
また第２のタグ生成部２８０は、ターゲットオブジェクトの輪郭に沿った１以上の面を有するＡＲタグを生成し得る。ターゲットオブジェクトと第２の撮影部２３０間の方位角に基づくＡＲ情報が、ＡＲタグの１以上の面上に表示され得る。例えば、ターゲットオブジェクトが建物であれば、第２のタグ生成部２８０は三次元立方体のＡＲタグを生成し得るし、ターゲットオブジェクトが球であれば、第２のタグ生成部２８０は球状のＡＲタグを生成し得る。
【００４２】
第２の表示部２１３は、第２のタグ生成部２８０が生成したＡＲタグを表示し得る。
【００４３】
第２の制御部２９０は、第２のユーザ装置２００の動作を制御し得る。特に第２の制御部２９０は、オブジェクトの分析したコンテキスト情報及び画像データをＡＲ管理サーバ７００に送信することにより、ＡＲ管理部７００に対して、コンテキスト情報に対応するターゲットオブジェクトのＡＲ情報を提供するように要求し得る。
【００４４】
第２の制御部２９０は、ＡＲ管理部７００に対してＡＲ情報の提供を要求する前に、コンテキスト情報に対応するＡＲ情報が第２のストレージ部２２０に格納されているか否かをチェックしてもよい。コンテキスト情報に対応するＡＲ情報が第２のストレージ部２２０に格納されていれば、第２の制御部２９０は第２のタグ生成部２８０を制御して、第２のストレージ部２２０に格納されているＡＲ情報を用いてＡＲタグを生成させ得る。コンテキスト情報に対応するＡＲ情報が第２のストレージ部２２０に格納されていなければ、第２の制御部２９０はＡＲ管理サーバ７００に対してＡＲ情報を送信するように要求し得る。
【００４５】
図４Ａ、図４Ｂ及び図４Ｃは、本発明の例示的実施形態による第２の表示部上に表示されたＡＲタグを示す図である。
【００４６】
図４Ａを参照すると、ユーザが、ユーザ装置２００の第２の撮影部２３０を用いてターゲットオブジェクト「南大門（Ｎａｍｄａｅｍｕｎ）」を撮影またはキャプチャした場合、第２の表示部２１３はターゲットオブジェクト「南大門」を表示し得る。ユーザ装置２００が現在位置における「南大門」のＡＲタグを表示するようにというユーザからの要求を受信すると、第２の情報収集部２５０は、現在位置に関する位置情報、方向情報、方位角情報及びチルト情報を含むコンテキスト情報を収集し得る。第２の情報分析部２６０は、収集されたコンテキスト情報を分析し得、第２のタグ生成部２８０は、コンテキスト情報に対応するＡＲ情報を用いてＡＲタグ２１３ａを生成し得る。コンテキスト情報に対応するＡＲ情報は、第２のストレージ部２２０に格納されているものでもよいし、ＡＲ管理サーバ７００から提供されたものでもよい。
【００４７】
ユーザが、「南大門」の裏門を見ることができる位置に移動してからＡＲタグを表示するように要求した場合、第２のタグ生成部２８０は、移動先の位置のコンテキスト情報に対応するＡＲ情報を用いてＡＲタグ２１３ｂを生成し得る。すなわち、同一のターゲットオブジェクトのＡＲタグであって、異なる方位角に基づく異なるＡＲタグが生成され表示され得る。
【００４８】
図４Ｂを参照すると、ターゲットオブジェクト「南大門」は建物であるため、第２のタグ生成部２８０はさらに、６面を有する立方体ＡＲタグ２１３ｃを生成し得る。ＡＲタグ２１３ｃの各面上に同一または異なるＡＲ情報が表示され得る。異なるＡＲ情報が表示されると、第２のユーザ装置２００は、１以上の方位角に対応するＡＲ情報をＡＲ管理サーバ７００から受信し得る。従ってユーザは、異なる方位角で生成されたターゲットオブジェクトのＡＲ情報をＡＲタグ２１３ｃを用いてチェックすることができる。
【００４９】
図４Ｃを参照すると、第２のタグ生成部２８０は、ユーザの現在位置におけるターゲットオブジェクトの右側面に対応するＡＲタグ２１４ｄを生成し得る。より具体的には、ユーザの現在位置からは、ターゲットオブジェクトの右側面は見えないか、または部分的にしか見えないため、ＡＲタグ２１４ｄは角度をもって表示され得、一例ではユーザは、ユーザが見ることができる方位角範囲を設定またはプリセット（ｐｒｅｓｅｔ）することができ、第２のタグ生成部２８０は、設定された範囲内の方位角に対応するＡＲタグを生成し得る。図４Ｃでは、ユーザは方位角範囲を例えば３６０度と設定することができるため、ターゲットオブジェクトの右側面に対応するＡＲタグ２１４ｄが表示され得る。
【００５０】
図５は、本発明の例示的実施形態による、ＡＲタグにタッチすることによりＡＲ情報を表示する方法を示す図である。
【００５１】
図５を参照すると、第２のタグ生成部２８０は、複数の面を有する立方体形状の立方体ＡＲタグ５００を生成し得る。第２のタグ生成部２８０は、ターゲットオブジェクトに向かう方向の方位角によって、異なるＡＲ情報をＡＲタグ５００の１以上の面上に表示し得る。第２のユーザ装置２００の現在位置とターゲットオブジェクト間の方位角に対応するＡＲ情報は、ＡＲタグ５００の第１の面５１０上に表示し得る。表示されるＡＲタグ５００を表示し、さらに上方向、下方向、左方向及び右方向を含む様々な方向に回転させて表示することができる。
【００５２】
例えば、ユーザが、表示されている第２の面５２０にタッチするか、あるいはＡＲタグ５００にタッチして左方向に回転させた場合、第２のユーザ入力部２１１は、タッチされた面５２０及び／またはユーザのタッチの方向をそれぞれ感知し得る。第２のタグ生成部２８０は、ＡＲタグ５００をタッチによって選択されたいずれかの面まで回転させるか、及び／またはＡＲタグ５００をユーザが入力したタッチ方向に応じて回転させることによって、ターゲットオブジェクトの第２の方位角に対応するＡＲ情報を正面方向に表示可能とし得る。一例では、ＡＲタグ５００は、図５に示すように感知されたタッチ面に応じて回転し得るか、及び／または、ＡＲタグ５００をタッチ及びドラッグして上記タッチ方向に回転させることにより回転し得、それによってユーザは面５２０を正面から見ることができる。またユーザがサブビューを要求した場合、第２のタグ生成部２８０はサブビューを生成し得、ＡＲタグ５００の現在表示されているＡＲ情報の方位角及び／または方向が、サブビュー内で上記情報を示すコンパス矢印を用いてチェックできるようにし得る。すなわち、サブビューのコンパス矢印は方位角及び／または方向を示し得る。
【００５３】
図６は、本発明の例示的実施形態による、第２のユーザ装置２００を移動させることによりＡＲタグのＡＲ情報を表示する方法を示す図である。
【００５４】
図６を参照すると、第２のタグ生成部２８０は、ターゲットオブジェクトのＡＲタグを、複数の面を有する立方体ＡＲタグ６００として生成し得る。ＡＲタグ６００の移動が困難または望ましくなく、ターゲットオブジェクトを撮影またはキャプチャしている第２のユーザ装置２００が任意の方向に回転した場合、第２のタグ生成部２８０は、ターゲットオブジェクトに対して回転した方向に見えるターゲットオブジェクトに向かう方向の方位角に対応するＡＲタグを生成し得る。例えば、第２のユーザ装置２００が右方向に回転するか、またはＡＲタグ６００の第１の面が正面方向に表示された後でユーザが身体を右方向に回転させた場合、第２のタグ生成部２８０は、ＡＲタグ６００の右側面６１０すなわち第２の面に対応するＡＲ情報が正面方向に表示できるようにし得る。従って第２のタグ生成部２８０は、ＡＲタグ６００を上方向、下方向、左方向及び右方向に直接回転させることにより、ユーザが求めるターゲット画像を提供し得る。
【００５５】
図７は、本発明の例示的実施形態によるＡＲ管理サーバ７００のブロック図である。
【００５６】
図７を参照すると、ＡＲ管理サーバ７００は、１以上のユーザ装置が生成したＡＲタグ情報をコンテキスト情報と共に格納し管理し得る。図７を参照すると、ＡＲ管理サーバ７００は、データベース（ＤＢ）７１０と、サーバ通信部７２０と、送信／受信処理部７３０と、情報処理部７４０と、サーバ制御部７５０とを含み得る。
【００５７】
ＤＢ７１０は、１以上のコンテキスト情報にマッピングされたターゲットオブジェクトのＡＲ情報を格納し管理し得る。従って同一のターゲットオブジェクトのＡＲ情報が、ターゲットオブジェクトの撮影またはキャプチャによって収集された１以上のコンテキスト情報用に格納し管理され得る。上記したようにコンテキスト情報は、ターゲットオブジェクトを撮影またはキャプチャするために用いた位置及び方向に関する情報、並びにターゲットオブジェクトの位置情報、方位角情報及びチルト情報を含み得る。一例では、ＤＢ７１０に格納されたコンテキスト情報のうち、方位角情報は参照範囲として格納し得る。例えば、格納されているＡＲ情報が方位角２００度に対応する情報であれば、２００°±α（αは誤差）がＡＲ情報に対応する方位角情報としてＤＢ７１０に格納され得る。方位角範囲はユーザまたはオペレータが手動で設定してもよいし、サーバ制御部７５０が自動的に設定してもよい。ＤＢ７１０に格納されたＡＲ情報は１以上のユーザ装置によって共有し得る。
【００５８】
サーバ通信部７２０は、第２のユーザ装置２００を含む１以上のユーザ装置と通信ネットワークを介して通信し得る。以下、第２のユーザ装置２００を例として説明する。サーバ通信部７２０は、ＡＲ情報の提供を要求する信号を受信し得、コンテキスト情報を第２のユーザ装置２００から受信し得る。サーバ通信部７２０はさらに、ターゲットオブジェクトの画像データを受信し得る。
【００５９】
送信／受信処理部７３０は、受信したＡＲ情報及び受信したコンテキスト情報が利用可能か否かを判定し得る。より具体的には、送信／受信処理部７３０は、ＡＲ情報及びコンテキスト情報を受信した際にエラーが起こったか否か、または受信したＡＲ情報及びコンテキスト情報が不適切な情報を含んでいるか否かを判定し得る。ＡＲ情報及びコンテキスト情報が利用可能であれば、送信／受信処理部７３０は、信号及びコンテキスト情報を情報処理部７４０に提供し得る。
【００６０】
情報処理部７４０は、ＤＢ７１０を検索してコンテキスト情報のうち位置情報に対応するＡＲ情報を探す。情報処理部７４０は、検索情報生成部７４１と情報検索部７４３とを含み得る。
【００６１】
検索情報生成部７４１は、ＤＢ７１０へのクエリに対する検索情報を設定し得る。検索情報は、受信したコンテキスト情報のうち位置情報に対応するＡＲ情報がＤＢ７１０に格納されているか否かに関する検索に関して用い得る。検索情報生成部７４１は、送信／受信処理部７３０から入力されたコンテキスト情報を処理することにより検索情報を設定し得、ヘッダタイプ（ｔｙｐｅ ｏｆ ａ ｈｅａｄｅｒ）に検索情報を生成し得る。一例では、検索情報は第２のユーザ装置２００の位置情報であってもよい。
【００６２】
情報検索部７４１は、検索情報を用いてＤＢ７１０を検索し得、位置情報に対応するＡＲ情報を抽出し得る。
【００６３】
サーバ制御部７５０は、コンテキスト情報の方位角情報に対応するＡＲ情報をチェックし得る。サーバ制御部７５０は、送信／受信処理部７３０及びサーバ通信部７２０を制御して、方位角情報に対応するＡＲ情報を第２のユーザ装置２００に提供させ得る。抽出されたＡＲ情報に対応する方位角情報が方位角範囲として格納されていれば、サーバ制御部７５０は、コンテキスト情報の方位角情報に最も近い方位角範囲に対応するＡＲ情報を提供し得る。
【００６４】
またサーバ制御部７５０は、方位角情報に対応するＡＲ情報を用いてＡＲタグを構築し得、ＡＲタグ構築データを第２のユーザ装置２００に提供し得る。方位角情報以外のコンテキスト情報を第２のユーザ装置２００から受信すると、サーバ制御部７５０は、基本的ＡＲタグを構築し得、ＡＲタグ構築データを第２のユーザ装置２００に提供し得る。
【００６５】
送信／受信処理部７３０は、方位角情報に対応するＡＲ情報を送信プロトコルに基づくデータに変換し得る。サーバ通信部７２０は、変換されたＡＲ情報を第２のユーザ装置２００に送信し得る。
【００６６】
第２のユーザ装置２００は、ＡＲ情報を受信した後、撮影またはキャプチャ中のターゲットオブジェクトのＡＲ情報を処理してＡＲタグを生成し得、ＡＲタグを第２の表示部２１３上に表示し得る。
【００６７】
図８は、本発明の例示的実施形態による、ＡＲサービスを提供する第３のユーザ装置８００のブロック図である。
【００６８】
図８を参照すると、第３のユーザ装置８００は、第３の撮影部８１０と、第３の情報収集部８２０と、第３のタグ生成部８３０と、第３の通信部８４０と、第３の表示部８５０とを含み得る。図８の第３の撮影部８１０、第３の情報収集部８２０、第３のタグ生成部８３０及び第３の表示部８５０は、図１の第１の撮影部１１０、第１の情報収集部１２０、第１のタグ生成部１３０及び第１の表示部１４０とそれぞれ似ており、従ってここでは、これらの詳細な説明は省略する。
【００６９】
第３の通信部８４０は、位置情報、方向情報及び方位角情報を含むコンテキスト情報をＡＲ管理サーバ７００（図８には図示せず）に送信することにより、ＡＲ管理部７００に対して、ターゲットオブジェクトのＡＲ情報を提供するように要求し得る。より具体的には、コンテキスト情報は、第３の情報収集部８２０が収集した第３のユーザ装置８００の現在位置、第３の撮影部８１０が撮影またはキャプチャしたターゲットオブジェクトの位置情報、第３の撮影部８１０が見ているターゲットオブジェクトに向かう方向に関する方向情報、及び第３のユーザ装置８００とターゲットオブジェクト間の方位角情報を含み得る。また第３の通信部８４０は、ＡＲ管理サーバ７００からターゲットオブジェクトのＡＲ情報を受信し得る。ＡＲ管理サーバ７００は、方位角に基づくターゲットオブジェクトのＡＲ情報を格納し得る。従ってＡＲ管理サーバ７００は、格納しているターゲットオブジェクトのＡＲ情報の一部または全体を第３のユーザ装置８００に送信し得る。
【００７０】
第３のタグ生成部８３０は、受信したターゲットオブジェクトのＡＲ情報のうちターゲットオブジェクトと第３の撮影部８１０間の方位角情報に対応するＡＲ情報を用いてＡＲタグを生成し得る。
【００７１】
図９は、本発明の例示的実施形態による、ＡＲサービスを提供する第４のユーザ装置９００のブロック図である。
【００７２】
図９を参照すると、第４のユーザ装置９００は、第４のＵＩ部９１０と、第４のストレージ部９２０と、第４の撮影部９３０と、第４の画像処理部９４０と、第４の情報収集部９５０と、第４の情報分析部９６０と、第４の通信処理部９７０と、第４の通信部９７５と、第４のタグ生成部９８０と、第４の制御部９９０とを含み得る。図９の第４のストレージ部９２０、第４の撮影部９３０及び第４の画像処理部９４０の動作は、図２の第２のストレージ部２２０、第２の撮影部２３０及び第２の画像処理部２４０の動作に非常に似ている。従ってここでは、これらの詳細な説明は省略する。
【００７３】
第４のＵＩ部９１０は、ユーザとユーザ装置９００とのインターフェースを提供してユーザの入力を受信し、受信したユーザの入力に対する応答を表示し得る。さらに第４のＵＩ部９１０は、第４のユーザ入力部９１１と第４の表示部９１３とを含み得る。
【００７４】
第４のストレージ部９２０は、ユーザ装置９００を作動させるために用いるプログラム、様々なデータ及び情報などを格納し得る。
【００７５】
第４の撮影部９３０は、ターゲットオブジェクトの画像を撮影またはキャプチャしてターゲットオブジェクトの画像データを獲得し得、例えば、埋め込み型カメラまたは外部カメラであってもよい。
【００７６】
第４の画像処理部９４０は、第４の撮影部９３０から得られた画像を分析し得、分析結果を用いて画像を処理して表示可能な信号にし得る。
【００７７】
第４の情報収集部９５０は、ユーザ装置９００の位置、チルト位置及び方位角に関連する情報を含むコンテキスト情報を収集し得る。一例では、方位角に基づくＡＲタグを表示するようにという要求をユーザから受信すると、第４の情報収集部９５０は方位角情報を収集し得る。
【００７８】
第４の情報分析部９６０は、第４の情報収集部９５０が収集した情報を、図２及び図３の第２の情報分析部２６０で用いたものに似た処理可能信号を用いて分析し得る。従ってここでは、これ以上の説明は省略する。
【００７９】
第４の通信処理部９７０は、ターゲットオブジェクトの位置情報、方向情報及び画像データを、第４の制御部９９０の制御により、送信プロトコルに基づくデータに変換し得る。
【００８０】
第４の通信部９７５は、第４の通信処理部９７０から入力されたデータを、通信ネットワーク（図９には図示せず）を介してＡＲ管理サーバ（図９には図示せず）に送信し得る。また第４の通信部９７５は、ＡＲ管理サーバから、ターゲットオブジェクトの少なくとも一つのＡＲ情報を受信し得る。ＡＲ管理サーバは、１以上のコンテキスト情報に対応するターゲットオブジェクトのＡＲ情報を格納し得る。より具体的には、ＡＲ管理サーバは、様々な異なる方位角に対応するＡＲ情報を格納し得る。
【００８１】
第４の通信処理部９７０は、受信したＡＲ情報を、第４のユーザ装置９００で利用可能なデータに変換し得る。
【００８２】
第４のタグ生成部９８０は、第４の通信処理部９７０が変換したＡＲ情報を用いて、第４の情報収集部９５０が収集したコンテキスト情報に対応するＡＲタグを生成し得る。ユーザが方位角に基づくＡＲタグを表示するように要求すれば、第４のタグ生成部９８０は、第４の情報収集部９５０が収集した方位角に対応するＡＲ情報を用いてＡＲタグを生成し得る。生成したＡＲタグは、図４Ａ、図４Ｂ、図４Ｃ、図５及び図６を参照して述べたＵＩの画像内に表示し得る。
【００８３】
第４の表示部９１３は、第４のタグ生成部９８０が生成したＡＲタグを表示し得る。
【００８４】
第４の制御部９９０は、第４のユーザ装置９００の動作全体を制御し得る。特に第４の制御部９９０は、ターゲットオブジェクトの位置情報、方向情報及び画像データを含む様々な情報をＡＲ管理サーバに送信することにより、ＡＲ管理部に対して、ターゲットオブジェクトのＡＲ情報を提供するように要求し得る。
【００８５】
第４の制御部９９０は、方位角に基づくＡＲ情報を表示するようにという要求をユーザから受信すると、第４の情報収集部９５０を制御して方位角情報を収集させ得る。方位角情報が収集されると、第４の制御部９９０は、ＡＲ管理サーバから受信した１以上のＡＲ情報のうち、第４の情報収集部９５０が収集した方位角に対応するＡＲ情報を抽出し得、そのＡＲ情報を第４のタグ生成部９８０に提供し得る。
【００８６】
図１０は、本発明の例示的実施形態によるユーザ装置においてＡＲサービスを提供する方法を示すフローチャートである。
【００８７】
図１０の方法の１以上の動作は、図１の第１のユーザ装置１００または図２の第２のユーザ装置２００の制御部またはプロセッサによって実施され得るが、これらに限定されない。
【００８８】
動作１０１０で、ユーザが、カメラを用いてターゲットオブジェクトの画像を撮影またはキャプチャしてターゲットオブジェクトの画像データを獲得し得る。
【００８９】
動作１０２０で、ユーザ装置は、ターゲットオブジェクトに関連するコンテキスト情報を収集し得る。コンテキスト情報は、ターゲットオブジェクトを撮影またはキャプチャした際のユーザ装置の位置情報、ターゲットオブジェクトとカメラ間の方位角情報、及びユーザ装置のチルト情報のうち少なくとも一つを含み得る。
【００９０】
動作１０３０で、ユーザ装置は、ＡＲタグを表示するようにという要求をユーザから受信し得る。
【００９１】
動作１０４０で、ユーザ装置は、コンテキスト情報に対応するＡＲ情報がユーザ装置のメモリに格納されているか否かをチェックし得る。
【００９２】
動作１０４０でコンテキスト情報に対応するＡＲ情報がユーザ装置のメモリに格納されていると判定された場合、ユーザ装置は動作１０５０で、メモリに格納されているＡＲ情報を用いて、収集したコンテキスト情報に対応するＡＲタグを生成し表示し得る。従ってユーザとターゲットオブジェクト間の方位角によって異なるＡＲタグがユーザに提供され得る。
【００９３】
前記動作１０４０でコンテキスト情報に対応するＡＲ情報が前もってユーザ装置のメモリに格納されていないと判定された場合、ユーザ装置は動作１０６０で、ＡＲ管理サーバに対して、コンテキスト情報に対応するＡＲ情報の提供を要求し得る。ＡＲ管理サーバに対して、コンテキスト情報に対応するＡＲ情報の提供を要求するために、ユーザ装置は動作１０６０で、動作１０１０で得たターゲットオブジェクトの画像データ及び動作１０２０で収集したコンテキスト情報をＡＲ管理サーバに送信し得る。
【００９４】
動作１０７０で、ユーザ装置は、ＡＲ管理サーバから、コンテキスト情報に対応するＡＲ情報を含むＡＲタグ構築データを受信し得る。
【００９５】
動作１０８０で、ユーザ装置は、受信したＡＲ情報を含むＡＲタグ構築データを用いて、ＡＲタグを生成し表示し得る。ユーザ装置は、動作１０７０でＡＲ情報を受信した場合、そのＡＲ情報を用いてＡＲタグを生成し得る。
【００９６】
図１１は、本発明の例示的実施形態によるユーザ装置においてＡＲサービスを提供する方法を示すフローチャートである。
【００９７】
図１１の方法の各動作は、第３のユーザ装置８００または第４のユーザ装置９００の制御部またはプロセッサによって実施され得る。
【００９８】
動作１１００で、ユーザが、カメラを用いてターゲットオブジェクトの画像を撮影またはキャプチャしてターゲットオブジェクトの画像データを獲得し得る。
【００９９】
動作１１２０で、ユーザ装置は、ターゲットオブジェクトに関連するコンテキスト情報を収集し得る。コンテキスト情報は、ターゲットオブジェクトを撮影またはキャプチャした際のユーザ装置の位置情報、方向情報、及びチルト情報のうち少なくとも一つを含み得る。しかし本発明の局面はこれに限定されず、例えばチルト情報は省略してもよい。
【０１００】
動作１１３０で、ユーザ装置は、ＡＲタグを表示するようにという要求をユーザから受信し得る。
【０１０１】
動作１１４０で、ユーザ装置は、ＡＲ管理サーバに対して、収集したコンテキスト情報に対応するＡＲ情報を提供するように要求し得る。ＡＲ管理サーバに対して、収集したコンテキスト情報に対応するＡＲ情報の提供を要求するために、ユーザ装置は動作１１６０で、動作１１１０で得たターゲットオブジェクトの画像データ及び動作１１２０で収集したコンテキスト情報をＡＲ管理サーバに送信し得る。
【０１０２】
動作１１５０で、ユーザ装置は、コンテキスト情報に対応する少なくとも一つのＡＲ情報をＡＲ管理サーバから受信し得る。例えば、同一のターゲットオブジェクトのＡＲ情報であるが方位角に基づいて異なるＡＲ情報がＡＲ管理サーバに格納されている場合、ユーザ装置は格納されているターゲットオブジェクトのＡＲ情報の一部または全体を受信し得る。
【０１０３】
ユーザ装置は、動作１１６０で、方位角に基づくＡＲタグを表示するようにという要求をユーザから受信しなかった場合、動作１１７０で、受信した少なくとも一つのＡＲ情報を用いてＡＲタグを生成し表示し得る。受信したＡＲ情報が複数であれば、ユーザ装置は高い頻度または正確さを有するＡＲ情報を用いてＡＲタグを生成し得る。
【０１０４】
ユーザ装置は、動作１１６０で、方位角に基づくＡＲタグを表示するようにという要求をユーザから受信した場合、動作１１８０で、ターゲットオブジェクトとカメラ間の方位角情報を収集し得る。
【０１０５】
動作１１９０で、ユーザ装置は、上記少なくとも一つの収集したＡＲ情報のうち、収集した方位角情報に対応するＡＲ情報を抽出し得る。
【０１０６】
動作１１９５で、ユーザ装置は、抽出したＡＲ情報を用いてＡＲタグを生成し表示し得る。
【０１０７】
図１０の動作１０８０または図１１の動作１１９５で表示したＡＲタグが図５のＡＲタグであり、ユーザがＡＲタグをタッチした方向が感知され得る場合、ユーザ装置は、ＡＲタグをユーザがタッチしたいずれかの面まで回転させるか、または感知したタッチ方向にＡＲタグを回転させることにより、異なる方位角に対応するターゲットオブジェクトのＡＲ情報を正面方向に表示し得る。
【０１０８】
図１０の動作１０８０または図１１の動作１１９５で表示したＡＲタグは図６のＡＲタグに似ていることがあり得る。従ってユーザがユーザ装置を任意の方向に回転させた場合、ユーザ装置は、その任意の方向で見られるオブジェクトに向かう方向の方位角に対応するＡＲ情報が正面方向に表示できるようにし得る。より具体的には、一例では、図６を参照すると、元々第１の面に対向していたユーザ装置が右方向に回転して第２の面に対向した場合、第２の面が正面方向として見られ得る。
【０１０９】
本発明の例示的実施形態によると、ユーザ装置及び方法は、拡張現実（ＡＲ）サービスであって、ユーザが見ているオブジェクトに向かう方向の方位角に基づいてＡＲタグを選択的に提供することができ、それによりユーザが対象となる情報を見ることができるＡＲサービスを提供する。
【０１１０】
またユーザ装置及び方法は、ＡＲサービスであって、三次元立方体ＡＲタグを提供することができ、受信したユーザ入力に応じてＡＲタグを回転することができ、それによって異なる視点（ｖｉｅｗ）で提供されたＡＲ情報を含むターゲットオブジェクトの様々な異なるＡＲ情報を、ユーザが移動して物理的に回転することなく提供することができるＡＲサービスを提供する。
【０１１１】
またユーザ装置及び方法は、ＡＲサービスであって、ユーザがユーザ装置を任意の方向に回転させて、回転方向に対応するターゲットオブジェクトのＡＲ情報を提供することができるＡＲサービスを提供する。
【０１１２】
上記した本発明の例示的実施形態によると、ユーザの位置とターゲットオブジェクト間の方位角によって様々な異なるＡＲ情報を提供し得る。この特徴は、三次元立方体ＡＲタグの提供に貢献し得、ここに記載した様々な応用を何らの制限なく可能にし得る。
【０１１３】
第１に、立方体ＡＲタグが建物の内壁と同一方向に表示された場合、ユーザは建物の外から内部を見ることができる。６面を有するＡＲタグの各面を建物内部の各面と合致させ、建物内部の各面をＡＲタグの対応する面上に表示することにより、これが可能となり得る。ユーザが建物の外からユーザ装置のカメラを通して建物の１面を見た場合、ＡＲタグの利用可能な複数の面のうちユーザの方向を向いているＡＲタグの前面（第１の面）を透明に表示してもよい。さらにＡＲタグの他の３面、すなわち建物の右側面、左側面、及び後面を立体的に表示してもよい。またＡＲタグを介して表示する画像が動画カメラを用いてリアルタイムに更新される場合、建物の外から建物内部の状態をリアルタイムに認識することが可能である。
【０１１４】
第２に、本発明の例示的実施形態は、水平及び／または垂直の角度を含むチルト角の情報、すなわち方位角のみならずユーザ装置のチルトに関する情報も考慮しているため、様々な角度に対応するＡＲタグをユーザに提供することができる。また高さ情報を含む場合、ＡＲタグを水平方向の配置よりもむしろ空間的配置で表示してもよく、それにより現実的なビューを提供することができる。従ってユーザは水平方向で見られるＡＲタグを見ることができ、さらにカメラを通してターゲットオブジェクトを見上げたり見下げたりすると、三次元の空間的配置に置かれた近傍のＡＲタグを様々な方向及び様々な角度で見ることができる。
【０１１５】
第３に、ＡＲタグはサインまたは告知物として用いてもよい。例えばユーザが立っている位置またはそれに対応する方向に基づくＡＲタグとして想像上のサインまたは告知物が表示された場合、そのサインまたは告知物を、ユーザとは逆の方向にいる別のユーザには表示しないようにしてもよく、これにより混乱を避けることができる。一例では、停止の標識に対向しているユーザには停止の標識を示すが、停止の標識を通過した他の人々または停止の標識のある道路と交差する高速道路上を運転している他の人々には示さないようにすれば、道路標識に関する混乱を避けることができる。
【０１１６】
第４に、ユーザ装置はセンサを用いて、ターゲットオブジェクトとユーザ装置間の方位角をリアルタイムで表示してもよい。この特徴を用いれば、ユーザがある特定の位置でターゲットオブジェクトの画像を撮像した場合、ユーザは専門家が推薦する上記特定の位置で生成されたＡＲタグを用いることができる。より具体的には、ユーザはカメラを配置して専門家が推薦する方位角でターゲットオブジェクトを撮影またはキャプチャすることができる。専門家が生成したＡＲタグは、オブジェクトを撮影またはキャプチャするために用いたカメラ設定情報及び方位角情報を示してもよい。
【０１１７】
第５に、ユーザ装置は、上に星座が重なったＡＲタグを提供してもよい。星座はユーザが見ている夜空に向かう方向の方位角に基づいてユーザ位置で観察される。この場合、ユーザ装置は、時間情報を追加した星座をＡＲタグに重ねてもよい。これによりユーザはユーザの目で星座に関連する情報を見ることができる。
【０１１８】
第６に、例えば複数の出口を有する建物または地下鉄の場合、ユーザ装置は現在位置の方位角に基づいてＡＲタグを表示してもよい。これによりユーザは現在位置において、正面方向に表示されている出口が表門であるのか裏門であるのかをＡＲタグを介して認識することができる。
【０１１９】
第７に、ユーザが山中で道に迷った場合、ユーザ装置は現在位置から山道（ｔｒａｉｌ）への方向に関する情報を提供してもよい。さらにユーザ装置はＡＲタグを介してシェルターまたは近くの地勢に関する情報を提供してもよい。
【０１２０】
第８に、ユーザ装置のカメラが駐車場の方向を向いている場合、ユーザ装置はＡＲタグを用いて車を停められる位置を表示してもよい。さらにユーザが停車した後、建物の出口または入口までユーザを案内してもよい。
【０１２１】
第９に、ユーザ装置は様々な形状のＡＲタグ及び方位角によって様々なコンテンツのＡＲタグを表示してもよい。これによりユーザはＡＲタグ及び方位角を容易に認識することができる。
【０１２２】
第１０に、ユーザ装置は方位角に基づいて表示されたＡＲタグのＡＲ情報を提供してもよく、さらに方位角とは無関係にＡＲタグの共通の情報を提供してもよい。ユーザが地図を見れば情報が提供されるようにしてもよい。
【０１２３】
第１１に、方位角に基づくＡＲタグの特徴を用いて単一の面を表示した場合、様々なタグを天体または惑星上で生成してもよい。他の惑星も地球も軌道上を移動し軸回りに回転しているため、表示される面は時間とともに変化し得る。この場合、ユーザは所望の面にタグを設定することができる。
【０１２４】
第１２に、ユーザ装置は方位角によって様々な面、例えば建物の床、天井及び屋根などにＡＲタグを表示してもよい。これは壁面及び大きな建物のフロアマップ用の情報として有用であり得る。
【０１２５】
本発明による例示的実施形態は、プログラム命令を含む、一時的でなくコンピュータ読み取り可能な媒体に記録され得、コンピュータによって実施される様々な動作を実行する。媒体はさらに、単一またはプログラム命令と組み合わされた形態で、データファイル及びデータ構造などを含み得る。媒体及びプログラム命令は、本発明の目的のために特別に設計され構築されたものであってもよいし、コンピュータソフトウェアの分野の当業者に周知で利用可能な種類のものであってもよい。一時的でなくコンピュータ読み取り可能な媒体の例は、ハードディスク、フロッピーディスク（登録商標）、磁気テープなどの磁気媒体、ＣＤ ＲＯＭディスク及びＤＶＤなどの光媒体、光ディスクなどの光磁気媒体、ならびにリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）及びフラッシュメモリなどの、プログラム命令を格納し実行するために特に構築されたハードウェアデバイスを含む。プログラム命令の例は、コンパイラによって生成されるマシンコードと、インタープリタを用いてコンピュータによって実行され得る高レベルコードを含むファイルとの両方を含む。上記のハードウェアデバイスは、本発明の上記実施形態の動作を実施するために１以上のソフトウェアモジュールとして作用するように構築され得る。
【０１２６】
本発明は、その精神又は範囲から逸脱することなく、様々な改変及び変形が可能であることは当業者には明らかである。従って、本発明は、添付の特許請求の範囲及びその均等物の範囲内に含まれる発明の改変及び変形をカバーすることを意図する。
【特許請求の範囲】
【請求項１】
拡張現実（ＡＲ）サービスを提供するユーザ装置であって、前記ユーザ装置は、
ターゲットオブジェクトの画像をキャプチャする撮影部と、
前記撮影部の位置情報及び前記ターゲットオブジェクトと前記撮影部間の第１の方位角情報を含む、前記ターゲットオブジェクトの前記キャプチャした画像のコンテキスト情報を収集する情報収集部と、
第１の方向に基づいたＡＲタグであって前記コンテキスト情報に対応するＡＲタグを生成するタグ生成部と、
前記ターゲットオブジェクトの前記キャプチャした画像及び前記ＡＲタグを表示する表示部と、
を備えることを特徴とするユーザ装置。
【請求項２】
前記コンテキスト情報に対応するＡＲ情報を格納するＡＲ管理サーバと、
前記ＡＲ管理サーバと通信する通信部と、
前記通信部を制御して前記ＡＲ管理サーバに前記ＡＲ情報を送信させる制御部と、
をさらに備えることを特徴とする請求項１に記載のユーザ装置。
【請求項３】
前記コンテキスト情報に対応するＡＲ情報を格納するストレージ部、をさらに備え、
前記タグ生成部は、前記ストレージ部から収集した前記ＡＲ情報に基づいて前記ＡＲタグを生成することを特徴とする請求項１に記載のユーザ装置。
【請求項４】
前記タグ生成部は、前記ＡＲ情報に基づいて三次元ＡＲタグを生成することを特徴とする請求項１に記載のユーザ装置。
【請求項５】
前記タグ生成部は、前記ターゲットオブジェクトの輪郭に沿った１以上の面を有するＡＲタグを生成することを特徴とする請求項４に記載のユーザ装置。
【請求項６】
前記ターゲットオブジェクトと前記撮影部間の方位角に基づく様々な異なるＡＲ情報が前記ＡＲタグの前記１以上の面上に表示されることを特徴とする請求項５に記載のユーザ装置。
【請求項７】
前記表示されたＡＲタグを回転させるようにというユーザ入力を受信するユーザ入力部、をさらに備え、
前記タグ生成部は、前記受信したユーザ入力に応じて前記表示されたＡＲタグを回転させることにより、前記ターゲットオブジェクトのＡＲ情報であって第２の方位角に対応するＡＲ情報を提供することを特徴とする請求項４に記載のユーザ装置。
【請求項８】
前記ＡＲタグを表示する第２の面が選択されたということを受信するユーザ入力部、をさらに備え、
前記タグ生成部は、前記選択された第２の面に応じて前記ＡＲタグを回転させ、それにより前記第２の面をユーザに対向させ、前記ターゲットオブジェクトのＡＲ情報であって第２の方位角に対応するＡＲ情報を前記第２の面上に提供することを特徴とする請求項１に記載のユーザ装置。
【請求項９】
前記ターゲットオブジェクトをキャプチャしている前記ユーザ装置が前記ターゲットオブジェクトに対する第２の方向に移動した場合、前記タグ生成部は、前記第２の方向に見られる前記ターゲットオブジェクトに向かう方向の前記第１の方位角に対応するＡＲタグを生成することを特徴とする請求項１に記載のユーザ装置。
【請求項１０】
拡張現実（ＡＲ）サービスを提供するユーザ装置であって、前記ユーザ装置は、
ターゲットオブジェクトの画像をキャプチャする撮影部と、
前記撮影部の位置情報及び前記ターゲットオブジェクトの画像データを含む、前記ターゲットオブジェクトの前記キャプチャした画像のコンテキスト情報を収集する情報収集部と、
前記収集したコンテキスト情報をＡＲ管理サーバに送信し、前記ＡＲ管理サーバから前記ターゲットオブジェクトのＡＲ情報を受信する通信部であって、前記ＡＲ管理サーバは、前記キャプチャした画像の方位角情報に基づいて前記ターゲットオブジェクトの前記ＡＲ情報を格納している、通信部と、
前記ターゲットオブジェクトと前記撮影部間の第１の方位角に対応するＡＲ情報に基づいてＡＲタグを生成するタグ生成部と、
前記ターゲットオブジェクトの前記キャプチャした画像及び前記生成したＡＲタグを表示する表示部と、
を備えることを特徴とするユーザ装置。
【請求項１１】
前記情報収集部は、前記ターゲットオブジェクトと前記撮影部間の前記第１の方位角の方位角情報をさらに収集し、
前記収集した方位角情報が変化した場合、前記タグ生成部は、第２の方位角情報に対応するＡＲ情報に基づいてＡＲタグを生成することを特徴とする請求項１０に記載のユーザ装置。
【請求項１２】
前記タグ生成部は、前記ＡＲ情報に基づいて三次元ＡＲタグを生成することを特徴とする請求項１０に記載のユーザ装置。
【請求項１３】
前記タグ生成部は、前記オブジェクトの輪郭に沿った１以上の面を有するＡＲタグを生成することを特徴とする請求項１２に記載のユーザ装置。
【請求項１４】
前記ターゲットオブジェクトと前記撮影部間の方位角に基づく前記ＡＲ情報が、前記ＡＲタグの１以上の面上に表示されることを特徴とする請求項１３に記載のユーザ装置。
【請求項１５】
前記表示されたＡＲタグを回転させるようにというユーザ入力を受信するユーザ入力部であって、前記表示されたＡＲタグは前記受け取ったユーザ入力に応じた第２の位置まで回転する、ユーザ入力部を、さらに備え、
前記タグ生成部は、前記ターゲットオブジェクトのＡＲ情報であって前記ＡＲタグの前記第２の位置に対応する第２の方位角に対応するＡＲ情報を提供することを特徴とする請求項１２に記載のユーザ装置。
【請求項１６】
前記ユーザ装置が回転した場合、前記タグ生成部は、前記ターゲットオブジェクトに対する第２の位置で見られる前記ターゲットオブジェクトに向かう方向の第２の方位角に対応するＡＲタグを生成することを特徴とする請求項１０に記載のユーザ装置。
【請求項１７】
拡張現実（ＡＲ）サービスを提供する方法であって、前記方法は、
カメラでターゲットオブジェクトの画像をキャプチャすることと、
前記ターゲットオブジェクトの前記キャプチャした画像の位置情報及び前記ターゲットオブジェクトと前記カメラ間の第１の方位角情報を含むコンテキスト情報を収集することと、
前記コンテキスト情報に対応するＡＲタグを生成することと、
前記ターゲットオブジェクトの前記キャプチャした画像及び前記生成したＡＲタグを表示することと、
を含むことを特徴とする方法。
【請求項１８】
前記ＡＲ情報を格納しているＡＲ管理サーバに対して、前記コンテキスト情報に対応するＡＲ情報を提供するように要求することと、
前記ＡＲ管理サーバから前記ＡＲ情報を受信することと、
をさらに含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記ＡＲタグを生成することは、前記コンテキスト情報に対応する前記ＡＲ情報に基づいて前記ＡＲタグを生成することを含み、前記コンテキストはユーザ装置に格納されていることを特徴とする請求項１７に記載の方法。
【請求項２０】
前記タグ生成を生成することは、ＡＲ情報に基づいて三次元ＡＲタグを生成することを含むことを特徴とする請求項１７に記載の方法。
【請求項２１】
前記ＡＲタグを生成することは、前記ターゲットオブジェクトの輪郭に沿った１以上の面を有するＡＲタグを生成することを含むことを特徴とする請求項２０に記載の方法。
【請求項２２】
前記表示することは、前記ターゲットオブジェクトと前記カメラ間の前記第１の方位角に基づくＡＲ情報を、前記ＡＲタグの前記１以上の面上に表示することを含むことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記表示されたＡＲタグを回転させるようにというユーザ入力を受信することと、
前記受信したユーザ入力に応じて前記表示されたＡＲタグを回転させることにより、前記ターゲットオブジェクトのＡＲ情報であって第２の方位角に対応するＡＲ情報を提供することと、
をさらに含むことを特徴とする請求項２０に記載の方法。
【請求項２４】
前記生成したＡＲタグの第２の面が選択されたことを感知することと、
前記選択された第２の面に応じて前記ＡＲタグを回転させ、それにより前記第２の面がユーザに対向するようにすることと、
前記ターゲットオブジェクトのＡＲ情報であって第２の方位角に対応するＡＲ情報を前記第２の面上に表示することと、
をさらに含むことを特徴とする請求項２１に記載の方法。
【請求項２５】
前記ターゲットオブジェクトをキャプチャしているユーザ装置が回転した場合、前記ターゲットオブジェクトに対する第２の位置で見られる前記ターゲットオブジェクトに向かう方向の第２の方位角に対応するＡＲタグを生成することをさらに含むことを特徴とする請求項１７に記載の方法。
【請求項２６】
拡張現実（ＡＲ）サービスを提供する方法であって、前記方法は、
ターゲットオブジェクトの画像をキャプチャすることと、
前記キャプチャした画像の位置情報及び前記キャプチャした画像の画像データを含むコンテキスト情報を収集することと、
前記収集したコンテキスト情報をＡＲ管理サーバに送信して前記ターゲットオブジェクトのＡＲ情報を第１の方位角用に格納することと、
前記ターゲットオブジェクトの前記ＡＲ情報を前記ＡＲ管理サーバから受信することと、
前記ターゲットオブジェクトとカメラ間の前記第１の方位角に対応する前記ＡＲ情報に基づいてＡＲタグを生成することと、
前記ターゲットオブジェクトの前記キャプチャした画像及び前記ＡＲタグを表示することと、
を含むことを特徴とする方法。
【請求項２７】
前記コンテキスト情報は、前記ターゲットオブジェクトと前記カメラ間の第２の方位角の方位角情報をさらに含み、
前記ＡＲタグを生成することは、前記第２の方位角情報に対応するＡＲ情報に基づいて前記ＡＲタグを生成することを含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
前記ＡＲタグを生成することは、前記コンテキスト情報に対応するＡＲ情報に基づいて三次元ＡＲタグを生成することを含むことを特徴とする請求項２６に記載の方法。
【請求項２９】
前記ＡＲタグを生成することは、前記ターゲットオブジェクトの輪郭に沿った１以上の面を有する前記ＡＲタグを生成することと、
前記ＡＲタグの１以上の面に、前記ターゲットオブジェクトと前記カメラ間の前記第１の方位角に基づく前記ＡＲ情報を表示することと、
をさらに含むことを特徴とする請求項２６に記載の方法。
【請求項１】
拡張現実（ＡＲ）サービスを提供するユーザ装置であって、前記ユーザ装置は、
ターゲットオブジェクトの画像をキャプチャする撮影部と、
前記撮影部の位置情報及び前記ターゲットオブジェクトと前記撮影部間の第１の方位角情報を含む、前記ターゲットオブジェクトの前記キャプチャした画像のコンテキスト情報を収集する情報収集部と、
第１の方向に基づいたＡＲタグであって前記コンテキスト情報に対応するＡＲタグを生成するタグ生成部と、
前記ターゲットオブジェクトの前記キャプチャした画像及び前記ＡＲタグを表示する表示部と、
を備えることを特徴とするユーザ装置。
【請求項２】
前記コンテキスト情報に対応するＡＲ情報を格納するＡＲ管理サーバと、
前記ＡＲ管理サーバと通信する通信部と、
前記通信部を制御して前記ＡＲ管理サーバに前記ＡＲ情報を送信させる制御部と、
をさらに備えることを特徴とする請求項１に記載のユーザ装置。
【請求項３】
前記コンテキスト情報に対応するＡＲ情報を格納するストレージ部、をさらに備え、
前記タグ生成部は、前記ストレージ部から収集した前記ＡＲ情報に基づいて前記ＡＲタグを生成することを特徴とする請求項１に記載のユーザ装置。
【請求項４】
前記タグ生成部は、前記ＡＲ情報に基づいて三次元ＡＲタグを生成することを特徴とする請求項１に記載のユーザ装置。
【請求項５】
前記タグ生成部は、前記ターゲットオブジェクトの輪郭に沿った１以上の面を有するＡＲタグを生成することを特徴とする請求項４に記載のユーザ装置。
【請求項６】
前記ターゲットオブジェクトと前記撮影部間の方位角に基づく様々な異なるＡＲ情報が前記ＡＲタグの前記１以上の面上に表示されることを特徴とする請求項５に記載のユーザ装置。
【請求項７】
前記表示されたＡＲタグを回転させるようにというユーザ入力を受信するユーザ入力部、をさらに備え、
前記タグ生成部は、前記受信したユーザ入力に応じて前記表示されたＡＲタグを回転させることにより、前記ターゲットオブジェクトのＡＲ情報であって第２の方位角に対応するＡＲ情報を提供することを特徴とする請求項４に記載のユーザ装置。
【請求項８】
前記ＡＲタグを表示する第２の面が選択されたということを受信するユーザ入力部、をさらに備え、
前記タグ生成部は、前記選択された第２の面に応じて前記ＡＲタグを回転させ、それにより前記第２の面をユーザに対向させ、前記ターゲットオブジェクトのＡＲ情報であって第２の方位角に対応するＡＲ情報を前記第２の面上に提供することを特徴とする請求項１に記載のユーザ装置。
【請求項９】
前記ターゲットオブジェクトをキャプチャしている前記ユーザ装置が前記ターゲットオブジェクトに対する第２の方向に移動した場合、前記タグ生成部は、前記第２の方向に見られる前記ターゲットオブジェクトに向かう方向の前記第１の方位角に対応するＡＲタグを生成することを特徴とする請求項１に記載のユーザ装置。
【請求項１０】
拡張現実（ＡＲ）サービスを提供するユーザ装置であって、前記ユーザ装置は、
ターゲットオブジェクトの画像をキャプチャする撮影部と、
前記撮影部の位置情報及び前記ターゲットオブジェクトの画像データを含む、前記ターゲットオブジェクトの前記キャプチャした画像のコンテキスト情報を収集する情報収集部と、
前記収集したコンテキスト情報をＡＲ管理サーバに送信し、前記ＡＲ管理サーバから前記ターゲットオブジェクトのＡＲ情報を受信する通信部であって、前記ＡＲ管理サーバは、前記キャプチャした画像の方位角情報に基づいて前記ターゲットオブジェクトの前記ＡＲ情報を格納している、通信部と、
前記ターゲットオブジェクトと前記撮影部間の第１の方位角に対応するＡＲ情報に基づいてＡＲタグを生成するタグ生成部と、
前記ターゲットオブジェクトの前記キャプチャした画像及び前記生成したＡＲタグを表示する表示部と、
を備えることを特徴とするユーザ装置。
【請求項１１】
前記情報収集部は、前記ターゲットオブジェクトと前記撮影部間の前記第１の方位角の方位角情報をさらに収集し、
前記収集した方位角情報が変化した場合、前記タグ生成部は、第２の方位角情報に対応するＡＲ情報に基づいてＡＲタグを生成することを特徴とする請求項１０に記載のユーザ装置。
【請求項１２】
前記タグ生成部は、前記ＡＲ情報に基づいて三次元ＡＲタグを生成することを特徴とする請求項１０に記載のユーザ装置。
【請求項１３】
前記タグ生成部は、前記オブジェクトの輪郭に沿った１以上の面を有するＡＲタグを生成することを特徴とする請求項１２に記載のユーザ装置。
【請求項１４】
前記ターゲットオブジェクトと前記撮影部間の方位角に基づく前記ＡＲ情報が、前記ＡＲタグの１以上の面上に表示されることを特徴とする請求項１３に記載のユーザ装置。
【請求項１５】
前記表示されたＡＲタグを回転させるようにというユーザ入力を受信するユーザ入力部であって、前記表示されたＡＲタグは前記受け取ったユーザ入力に応じた第２の位置まで回転する、ユーザ入力部を、さらに備え、
前記タグ生成部は、前記ターゲットオブジェクトのＡＲ情報であって前記ＡＲタグの前記第２の位置に対応する第２の方位角に対応するＡＲ情報を提供することを特徴とする請求項１２に記載のユーザ装置。
【請求項１６】
前記ユーザ装置が回転した場合、前記タグ生成部は、前記ターゲットオブジェクトに対する第２の位置で見られる前記ターゲットオブジェクトに向かう方向の第２の方位角に対応するＡＲタグを生成することを特徴とする請求項１０に記載のユーザ装置。
【請求項１７】
拡張現実（ＡＲ）サービスを提供する方法であって、前記方法は、
カメラでターゲットオブジェクトの画像をキャプチャすることと、
前記ターゲットオブジェクトの前記キャプチャした画像の位置情報及び前記ターゲットオブジェクトと前記カメラ間の第１の方位角情報を含むコンテキスト情報を収集することと、
前記コンテキスト情報に対応するＡＲタグを生成することと、
前記ターゲットオブジェクトの前記キャプチャした画像及び前記生成したＡＲタグを表示することと、
を含むことを特徴とする方法。
【請求項１８】
前記ＡＲ情報を格納しているＡＲ管理サーバに対して、前記コンテキスト情報に対応するＡＲ情報を提供するように要求することと、
前記ＡＲ管理サーバから前記ＡＲ情報を受信することと、
をさらに含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記ＡＲタグを生成することは、前記コンテキスト情報に対応する前記ＡＲ情報に基づいて前記ＡＲタグを生成することを含み、前記コンテキストはユーザ装置に格納されていることを特徴とする請求項１７に記載の方法。
【請求項２０】
前記タグ生成を生成することは、ＡＲ情報に基づいて三次元ＡＲタグを生成することを含むことを特徴とする請求項１７に記載の方法。
【請求項２１】
前記ＡＲタグを生成することは、前記ターゲットオブジェクトの輪郭に沿った１以上の面を有するＡＲタグを生成することを含むことを特徴とする請求項２０に記載の方法。
【請求項２２】
前記表示することは、前記ターゲットオブジェクトと前記カメラ間の前記第１の方位角に基づくＡＲ情報を、前記ＡＲタグの前記１以上の面上に表示することを含むことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記表示されたＡＲタグを回転させるようにというユーザ入力を受信することと、
前記受信したユーザ入力に応じて前記表示されたＡＲタグを回転させることにより、前記ターゲットオブジェクトのＡＲ情報であって第２の方位角に対応するＡＲ情報を提供することと、
をさらに含むことを特徴とする請求項２０に記載の方法。
【請求項２４】
前記生成したＡＲタグの第２の面が選択されたことを感知することと、
前記選択された第２の面に応じて前記ＡＲタグを回転させ、それにより前記第２の面がユーザに対向するようにすることと、
前記ターゲットオブジェクトのＡＲ情報であって第２の方位角に対応するＡＲ情報を前記第２の面上に表示することと、
をさらに含むことを特徴とする請求項２１に記載の方法。
【請求項２５】
前記ターゲットオブジェクトをキャプチャしているユーザ装置が回転した場合、前記ターゲットオブジェクトに対する第２の位置で見られる前記ターゲットオブジェクトに向かう方向の第２の方位角に対応するＡＲタグを生成することをさらに含むことを特徴とする請求項１７に記載の方法。
【請求項２６】
拡張現実（ＡＲ）サービスを提供する方法であって、前記方法は、
ターゲットオブジェクトの画像をキャプチャすることと、
前記キャプチャした画像の位置情報及び前記キャプチャした画像の画像データを含むコンテキスト情報を収集することと、
前記収集したコンテキスト情報をＡＲ管理サーバに送信して前記ターゲットオブジェクトのＡＲ情報を第１の方位角用に格納することと、
前記ターゲットオブジェクトの前記ＡＲ情報を前記ＡＲ管理サーバから受信することと、
前記ターゲットオブジェクトとカメラ間の前記第１の方位角に対応する前記ＡＲ情報に基づいてＡＲタグを生成することと、
前記ターゲットオブジェクトの前記キャプチャした画像及び前記ＡＲタグを表示することと、
を含むことを特徴とする方法。
【請求項２７】
前記コンテキスト情報は、前記ターゲットオブジェクトと前記カメラ間の第２の方位角の方位角情報をさらに含み、
前記ＡＲタグを生成することは、前記第２の方位角情報に対応するＡＲ情報に基づいて前記ＡＲタグを生成することを含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
前記ＡＲタグを生成することは、前記コンテキスト情報に対応するＡＲ情報に基づいて三次元ＡＲタグを生成することを含むことを特徴とする請求項２６に記載の方法。
【請求項２９】
前記ＡＲタグを生成することは、前記ターゲットオブジェクトの輪郭に沿った１以上の面を有する前記ＡＲタグを生成することと、
前記ＡＲタグの１以上の面に、前記ターゲットオブジェクトと前記カメラ間の前記第１の方位角に基づく前記ＡＲ情報を表示することと、
をさらに含むことを特徴とする請求項２６に記載の方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−８４１４６（Ｐ２０１２−８４１４６Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１１−２２０７８９（Ｐ２０１１−２２０７８９）
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（５０５４６３１０２）パンテック カンパニー リミテッド (89)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（５０５４６３１０２）パンテック カンパニー リミテッド (89)
【Ｆターム（参考）】
[ Back to top ]