拡張現実サービスのためのマーカ検索システム
ＡＲサービスのための検索システム、ユーザデバイスおよびサーバが開示される。検索システムは、ユーザの入力に応じてウェブコンテンツおよびマーカを検索するように構成された検索エンジンと、検索されたウェブコンテンツを検索されたマーカとマッチングするように構成されたマッチングユニットと、検索されたウェブコンテンツおよび検索されたマーカを含むドキュメントをユーザに送信するように構成された出力ユニットとを含む。
【発明の詳細な説明】
【背景技術】
【０００１】
拡張現実（ＡＲ）技術は、実世界環境の要素を仮想現実データと併合することによって、新たに混合された現実感を作り出す。娯楽、テレビ、ゲーム、教育、音楽または映画などの様々な分野でＡＲアプリケーションを実装する際、マーカが使用される場合がある。マーカは、仮想現実データ情報を識別する２次元画像であり、一般にランダムなパターンを使用する。ＡＲアプリケーションのための画像およびビデオファイルは、（例えばＪＰＧまたはＭＰＥＧなどの）特定の形式に標準化されているので、標準化されたマーカ形式について関心が高まっている。
【発明の概要】
【０００２】
本明細書では、拡張現実サービスのためのマーカ検索システムの様々な実施形態が開示される。一実施形態で、システムは、ユーザの入力に応じてウェブコンテンツおよびマーカを検索するように構成された検索エンジンと、検索されたウェブコンテンツと検索されたマーカをマッチングするように構成されたマッチングユニットと、検索されたウェブコンテンツおよび検索されたマーカを含むドキュメントをユーザに送信するように構成された出力ユニットとを含む。
【０００３】
別の実施形態では、拡張現実（ＡＲ）サービスサーバが提供される。ＡＲサービスサーバは、ＡＲユーザデバイスと通信している。ＡＲサービスサーバは、ＡＲユーザデバイスからマーカデータを受信するように構成されたマーカデータレシーバと、仮想現実（ＶＲ）データを保存するように構成されたＶＲデータデータベースと、マーカデータレシーバからマーカデータを受け取り、ＶＲデータデータベースにアクセスして受け取ったマーカデータに対応するＶＲデータを検索するように構成されたＶＲデータレトリーバと、検索されたＶＲデータをＡＲユーザデバイスに送信するように構成されたＶＲデータトランスミッタとを含む。
【０００４】
さらに別の実施形態では、仮想現実（ＡＲ）ユーザデバイスが提供される。ＡＲユーザデバイスは、ＡＲサービスサーバと通信しており、カメラが撮影した実世界の画像からマーカを感知し、抽出するように構成されたマーカセンサと、マーカのマーカデータをＡＲサービスサーバに送信するように構成されたマーカデータトランスミッタと、マーカデータに対応する仮想現実（ＶＲ）データをＡＲサービスサーバから受信するように構成されたＶＲデータレシーバと、受信されたＶＲデータおよび実世界画像を使用してＡＲデータを生成するように構成されたＡＲデータジェネレータとを含む。
【０００５】
上記の要約は単なる例示であり、決して限定的なものではない。上述の例示的な態様、実施形態および特徴に加えて、さらなる態様、実施形態および特徴は、図面および以下の詳細な説明を参照することで明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１ａ】検索システムの例示的実施形態が実装される環境を示す概略図である。
【図１ｂ】ＡＲサービスの例示的実施形態が実装される環境を示す概略図である。
【図２】図１ａに示す検索システムの例示的実施形態のブロック図である。
【図３】図２に示すマーカＤＢの中に保存されたマーカの例示的実施形態の概略図である。
【図４】図１ｂに示すＡＲユーザデバイスおよびＡＲサービスサーバの例示的実施形態の概略図である。
【図５】マーカ検索結果を提供するための方法の例示的実施形態の流れ図である。
【図６】図１ｂに示すマーカのマーカメタデータの例示的実施形態を示す図である。
【図７】ＡＲサービスを提供するための方法の別の例示的実施形態の概略図である。
【発明を実施するための形態】
【０００７】
以下の詳細な説明では、本明細書の一部をなす添付の図面を参照する。図中、文脈が別途定めない限り、同様の記号は通常、同様の構成要素を識別する。詳細な説明、図面および特許請求の範囲の中で述べる例示的実施形態は、限定的なものではない。本明細書で示す主題の精神または範囲から逸脱することなく、他の実施形態が利用されてもよく、他の変更がなされてもよい。本開示の態様は、一般に本明細書で説明し、図に示すように、配置、置換、結合、分離、および様々な異なる構成で設計されることが可能であり、それらのすべては本明細書で明示的に企図されるということが容易に理解されよう。
【０００８】
図１ａは、検索システムの例示的実施形態が実装される環境を示す概略図である。図１ａは、１つまたは複数のクライアントシステム２００と通信する検索システム１００を示す。検索システム１００は、図２を参照して以下で詳細に説明するが、クライアントシステム２００から受信されるキーワードに応じてウェブコンテンツおよび対応するマーカを検索し、ウェブコンテンツおよびマーカを含むドキュメントを準備する。本明細書で使用する「マーカ」という用語は、ＡＲサービスを提供するために使用される仮想現実（ＶＲ）データを識別する２次元画像のことを指す。クライアントシステム２００は、ユーザが検索システム１００にアクセスする装置である。クライアントシステム２００は入力ユニット、ディスプレイユニットおよび通信ユニットを含むことが可能である。例えば、限定されないが、ＰＣ、ＰＤＡ（パーソナルデジタルデバイス）、モバイルフォン、スマートフォン、キオスクがクライアントシステム２００として実装されることが可能である。
【０００９】
いくつかの実施形態では、検索システム１００はクライアントシステム２００とワイヤレスで交信することが可能であり、（例えばＭＳ Ｅｘｐｌｏｒｅｒ（商標））ウェブブラウザを介して（例えばＧｏｏｇｌｅ（商標）およびＹａｈｏｏ（商標））一般的な検索ポータルサイトなどの検索インターフェースをクライアントシステム２００に提供する。例えば、ユーザがクライアントシステム２００にキーワードを入力すると、クライアントシステム２００は、検索システム１００にキーワードを送信する。
【００１０】
検索システム１００は、クライアントシステム２００から受信されるキーワードに応じて、（例えばドキュメント、ニュース、ブログ、画像、ビデオなどの）ウェブコンテンツおよびそのウェブコンテンツに対応するマーカを検索する。一実施形態では、検索システム１００は、以下で論じられるが、キーワードに応じてウェブコンテンツおよび対応するマーカを見つけるために、ウェブブラウザでまたはそのデータベースを検索することができる。次いで、検索システム１００は、検索されたウェブコンテンツおよびそれらの対応するマーカを有するドキュメントをクライアントシステム２００に送信する。例えばドキュメントは、図１ａに示すように、検索されたウェブコンテンツおよび対応するマーカ（例えば２０１、２０２および２０３など）を参照するハイパーリンク（例えば２１０、２２０および２３０など）のリストを有してもよい。例として、ユーザが「サッカー」というキーワードをクライアントシステム２００に入力すると、クライアントシステム２００は、「サッカー」というキーワードを有する検索要求を検索システム１００に送信することができる。検索要求に応じて、検索システム１００は、「サッカー」というキーワードに対応するウェブコンテンツおよびマーカを検索し、検索結果をクライアントシステム２００に送信することができる。クライアントシステム２００はその画面に、ウェブブラウザを介して取り出した、検索されたウェブコンテンツおよび対応するマーカを参照するハイパーリンクを一覧表示することができる。上述のようなウェブコンテンツおよび対応するマーカを検索する検索システム１００の構成は、以下で図２を参照して詳細に説明する。
【００１１】
図１ｂは、ＡＲサービスが実装される例示的実施形態の環境を示す概略図である。図１ｂは、ＡＲユーザデバイス４００が、ＡＲサービスサーバ３００から受信された仮想現実（ＶＲ）データ、ならびにクライアントシステム２００に表示された、検索されたウェブコンテンツおよび対応するマーカを使用して、ＡＲサービスを提供することを示す。
【００１２】
ＡＲユーザデバイス４００は、実世界画像を撮影し、その実世界画像からマーカを抽出する。さらに、ＡＲユーザデバイス４００は抽出したマーカをＡＲサービスサーバ３００に送信し、マーカに応じてＶＲデータをＡＲサービスサーバ３００から受信する。その結果、ＡＲユーザデバイス４００は、ＶＲデータを実世界画像に重ね合わせることによってユーザにＡＲサービスを提供する。一実施形態では、ＡＲユーザデバイス４００は、実世界画像を取り込むためのカメラ、実世界画像からマーカを感知し、抽出するためのマーカセンサ、マーカデータトランスミッタおよびＶＲデータレシーバなどのＡＲサービスサーバ３００とのワイヤレス通信のための通信ユニット、ＶＲデータと実世界画像を結合することによってＡＲデータを生成するためのＡＲデータジェネレータ、および画面に拡張現実を表示するためのディスプレイユニットを含んでもよい。ＡＲユーザデバイス４００の構成は、図４を参照して以下で詳細に説明する。図１ｂは、ＡＲユーザデバイス４００の一例としてモバイルフォンを示しているが、ＡＲユーザデバイス４００は任意の種類のデバイスとして実装されることが可能なことが当業者には明らかであろう。例えば、ＡＲユーザデバイス４００はスマートフォン、ＰＤＡ、ＵＭＰＣ（ウルトラモバイルＰＣ）、ヘッドマウントディスプレイ（ＨＭＤ）などとして実装されてもよい。
【００１３】
ＡＲサービスサーバ３００は、ＡＲユーザデバイス４００から送信されたマーカに応じてＶＲデータを検索し、検索されたＶＲデータをＡＲユーザデバイス４００に送信する。ＡＲサービスサーバ３００の構成は、図４を参照して以下で詳細に説明する。
【００１４】
一実施形態で、ＡＲユーザデバイス４００は、ＡＲユーザデバイス４００のカメラを使用して、クライアントシステム２００の画面画像を取り込んでもよい。クライアントシステム２００の画面画像は、ユーザのキーワードに応じて検索システム１００によって検索されたウェブコンテンツおよび対応するマーカを示してもよい。特に、図１ａを参照して上で述べたように、クライアントシステム２００はユーザのキーワードを含む検索要求を検索システム１００に送信してもよく、クライアントシステム２００は、検索システム１００によって検索され、送信されたウェブコンテンツおよび対応するマーカを表示してもよい。検索されたウェブコンテンツおよび対応するマーカは、ハイパーリンクとしてクライアントシステム２００の画面に表示されてもよいので、ユーザはハイパーリンクのうちの１つを選択することができ、次いでクライアントシステム２００は、（例えば２０１などの）対応するマーカとともにウェブページを介して取り出された、（例えば２１１などの）選択されたウェブコンテンツを画面に表示することができる。例示的な一例として、図１ｂは、ＡＲユーザデバイス４００がクライアントシステム２００の画面画像を取り込み、マーカ２０１に対応するＶＲデータ４０１として、画面４０２にサッカーをプレイする画像を表示することを示す。
【００１５】
ＡＲユーザデバイス４００はさらに、取り込まれた（例えば４０１などの）画面画像から（例えば２０１などの）マーカを感知して抽出し、抽出されたマーカ２０１のデータをＡＲサービスサーバ３００に送信する。取り込まれた画像からマーカを抽出するための方法は、図４に関して以下で詳細に説明される。ＡＲサービスサーバ３００は、受信されたマーカ２０１に対応するＶＲデータ４０１をＶＲデータデータベースから検索し、検索されたＶＲデータ４０１をＡＲユーザデバイス４００に送信してもよい。ＡＲユーザデバイス４００は、ＶＲデータ４０１を取り込まれた画面画像に重ね合わせて、ＡＲ画像を作り出してもよい。例として、ユーザがウェブコンテンツとしてサッカー選手「Ｂｅｃｋａｍ」を選択すると、選択されたウェブコンテンツおよび対応するマーカは、クライアントシステム２００に表示されることが可能である。次いで、ＡＲユーザデバイス４００はウェブコンテンツおよびマーカを取り込んで、マーカをＡＲサービスサーバ３００に送信することができる。送信されたマーカに応じて、ＡＲサービスサーバ３００は（例えば「Ｂｅｃｋｍａｎ」の画像、ビデオまたは３Ｄオブジェクトなどの）ＶＲデータを検索し、ＡＲユーザデバイス４００に送信することができる。したがって、ＡＲユーザデバイス４００は（例えばＢｅｃｋｍａｎの画像などの）送信されたＶＲデータを、画面４０２に表示されている取り込まれたウェブコンテンツ画像と重ね合わせることができる。
【００１６】
ＶＲデータ４０１は、画像の他にも（例えばビデオまたは３Ｄオブジェクトなどの）様々な情報を含むことができる。したがって、ＶＲデータ４０１と実世界画像を結合することによって、ＡＲサービスを作り出すことが可能である。さらに、ＡＲサービスは、ユーザの要求に応じてインタラクティブに様々な情報を提供することができる。例えば、ＶＲデータ４０１は、ユーザが入力した要求に応じて、回転された画像、ビデオまたは３Ｄオブジェクトを提供することができる。
【００１７】
図２は、図１ａに示した検索システムの例示的実施形態のブロック図である。一実施形態で、検索システム１００は、検索ユーザインターフェース（ＵＩ）ユニット１１１、検索エンジン１１２、ウェブコンテンツデータベース（ＤＢ）１１３、マーカＤＢ１１４、マッチングユニット１１５、出力ユニット１１６およびマーカ入力ユニット１１７を含んでもよい。別の実施形態では、ウェブコンテンツＤＢ１１３、マーカＤＢ１１４およびマーカ入力ユニット１１７のうちの１つまたは複数は任意で省略されてもよい。例えば、ウェブコンテンツＤＢ１１３、マーカＤＢ１１４およびマーカ入力ユニット１１７のうちの１つまたは複数は外部デバイスで実装されてもよく、それらの動作は遠隔から実行されてもよい。
【００１８】
検索ＵＩユニット１１１は、ユーザによって入力されたキーワードを含む検索要求をクライアントシステム２００から受信する。
【００１９】
検索エンジン１１２は、検索ＵＩユニット１１１からのキーワードを含む検索要求を受け取り、ウェブコンテンツＤＢ１１３およびマーカＤＢ１１４にアクセスして、キーワードに対応するウェブコンテンツおよびマーカを検索する。一実施形態で、ウェブコンテンツＤＢ１１３およびマーカＤＢ１１４のうちの１つまたは複数は、外部サーバに実装されてもよい。この場合、検索エンジン１１２は、インターネット、イントラネット、付加価値ネットワークまたは公衆交換データネットワークなどのネットワークを介して、外部サーバのアドレスを使用することによって外部サーバにアクセスすることができる。検索エンジン１１２は、様々な種類の検索エンジンソフトウェアによって実装されることが可能である。例えば、検索エンジン１１２は検索キーワードに応じて、限定されないが単語、サブジェクト、インデックス、ならびにカテゴリ、およびマーカを含むウェブコンテンツを検索することができる検索エンジンソフトウェアによって実装されることが可能である。
【００２０】
ウェブコンテンツＤＢ１１３はウェブコンテンツを保存し、検索エンジン１１２の検索要求に応じて、ウェブコンテンツまたはそのようなウェブコンテンツのアドレスを検索エンジン１１２に提供する。マーカＤＢ１１４はマーカおよびそれらのインデックスを保存し、検索エンジン１１２からの検索要求に応じて、マーカおよびインデックスを検索エンジン１１２に提供する。本明細書で使用するマーカの「インデックス」という用語は、マーカのＶＲデータを記述する１つまたは複数の用語のことを指す。例示的なインデックスの例は、図３を参照して後に詳細に説明される。一実施形態で、検索エンジン１１２は、キーワードと各マーカのインデックスの間の類似度を計算することによって、キーワードに対応するマーカを検索してもよい。
【００２１】
マッチングユニット１１５は、検索されたウェブコンテンツを検索エンジン１１２から受信し、ルックアップテーブルに基づいて、検索されたウェブコンテンツをマーカとマッチングする。このテーブルは、ウェブコンテンツＤＢ１１４およびマーカＤＢ１１４を介して検索されたウェブコンテンツとマーカとの間の相関関係を示す。一実施形態で、マッチングユニット１１５は、ユーザによって入力されたキーワードの相関値を使用して、検索されたウェブコンテンツを検索されたマーカとマッチングしてもよい。本明細書では、キーワードの「相関値」という用語は、キーワードのバイナリコードをマーカのインデックスのバイナリコードと（またはウェブコンテンツの中のテキストのバイナリコードと）相関させることによって計算される値のことを指す。キーワードの相関値が大きくなると、キーワードとマーカ（またはウェブコンテンツ）の間の類似度は増す。例として、マッチングユニット１１５は検索されたウェブコンテンツと検索されたマーカを、それぞれキーワードの相関値に基づいて降順でソートし、次いで順番に、検索されたウェブコンテンツの各々を検索されたマーカの各々とマッチングしてもよい。マッチングユニット１１５は、所定のテンプレートを使用して、マッチングしたウェブコンテンツとマーカを含むドキュメントを作成してもよい。例として、ハイパーテキストマークアップ言語ドキュメントがある。当業者であれば、例えばハイパーテキストマークアップ言語（ＨＴＭＬ）、汎用マークアップ言語（ＳＧＭＬ）、拡張マークアップ言語（ＸＭＬ）などの様々なマークアップ言語を使用することによって、ドキュメントを作成するであろう。
【００２２】
出力ユニット１１６は、検索されたウェブコンテンツおよびマーカを含むドキュメントをマッチングユニット１１５から受信し、そのドキュメントをクライアントシステム２００に送信する。多数のウェブコンテンツおよびマーカが検索された場合、出力ユニット１１６は、検索されたウェブコンテンツおよびマーカを含むドキュメントのリストを生成して、そのリストをクライアントシステム２００に送信してもよい。
【００２３】
マーカ入力ユニット１１７は、例えばＡＲサービスサーバ３００などの外部からマーカおよびインデックスを受信し、受信されたマーカおよびインデックスをマーカＤＢ１１４に送信する。一実施形態で、マーカ入力ユニット１１７は、マーカおよびインデックスの入力が承認されるかどうかを確認してもよい。例えば、マーカ入力ユニット１１７は、マーカおよびインデックスの入力前に、ユーザのＩＤまたはパスワードを入力するようにユーザまたは外部デバイスに要求し、その後、承認されたユーザまたは外部デバイスがマーカ入力ユニット１１７にマーカおよびインデックスを入力することを許可してもよい。マーカ入力ユニット１１７はユーザまたは外部デバイスに、ユーザまたは外部デバイスがマーカおよびそのインデックスを入力することができるユーザインターフェースを含むウェブページを提供してもよい。上述のように、いくつかの実施形態では、マーカ入力ユニット１１７は外部デバイスで実装され、そして、マーカＤＢ１１４に送信するためにマーカおよびインデックスをユーザから受信してもよい。
【００２４】
上述のように、検索システム１００は、検索要求に含まれたキーワードに応じて、ウェブコンテンツとマーカを一緒に提供してもよい。さらに、いくつかの実施形態では、検索システム１００は継続的に、例えばマーカ入力ユニット１１７を介して外部からマーカを受信して保存してもよく、したがって、集めたマーカをさらなるマーカ検索のために使用してもよい。
【００２５】
図３は、図２に示すマーカＤＢに保存されたマーカの例示的実施形態の概略図である。マーカＤＢ１１４は、マーカ（１１４−１、１１４−２、１１４−３および１１４−４）およびそれらの対応するインデックスを保存する。上述のように、マーカの「インデックス」という用語は、マーカのＶＲデータを記述する１つまたは複数の用語のことを指す。さらに、インデックスは、ＶＲデータを記述する上位の用語または下位の用語を含む。このような上位または下位の用語は、（高い概念から低い概念への）降順または（低い概念から高い概念への）昇順で一覧表示されてもよい。例えば、「スポーツ」という用語については、その下位の用語は「サッカー」、「ワールドカップ」などである。ここでは、「ワールドカップ」という用語は「サッカー」という用語の下位にある。同様に、「自動車」、「ジープ」または「エンジン」などのインデックスは、順に保存されてもよい。検索エンジン１１２は、マーカＤＢ１１４に保存されたマーカのインデックスを使用して、ユーザによって入力されたキーワードに関連したマーカを検索することができる。図４は、図１ｂに示すＡＲユーザデバイスおよびＡＲサービスサーバの例示的実施形態の概略図を示す。一実施形態では、ＡＲユーザデバイス４００はカメラ４１０、画像プロセッサ４２０、マーカセンサ４３０、マーカアナライザ４４０、マーカデータトランスミッタ４５０、ＶＲデータレシーバ４６０、ＡＲデータジェネレータ４７０およびディスプレイユニット４８０を含んでもよい。別の実施形態では、カメラ４１０、画像プロセッサ４２０、マーカアナライザ４４０およびディスプレイユニット４８０のうちの１つまたは複数は、任意で省略されてもよい。例えば、カメラ４１０、画像プロセッサ４２０、マーカアナライザ４４０およびディスプレイユニット４８０のうちの１つまたは複数は外部デバイスで実装されてもよく、それらの動作は遠隔から実行されてもよい。
【００２６】
カメラ４１０は、マーカを含む実世界画像を取り込む。図４は、ＡＲユーザデバイス４００がカメラ４１０を含むことを示しているが、カメラ４１０はＡＲユーザデバイス４００に動作可能に結合された外部デバイスに設置されてもよいことが、当業者には理解されよう。
【００２７】
画像プロセッサ４２０は、カメラ４１０によって取り込まれた実世界画像を、例えばファイル形式ｊｐｅｇ、ｔｉｆｆ、ｇｉｆ、ｂｍｐなどのデジタル画像データに変換する。一実施形態で、画像プロセッサ４２０は、蓄積された多数のデジタル画像データを、例えばファイル形式ａｖｉ、ｆｌｖ、ｍｐｅｇ、ｗｍｖなどのビデオデータに変換してもよい。別の実施形態で、画像プロセッサ４２０は外部デバイスにカメラ４１０とともに設置されてもよい。
【００２８】
マーカセンサ４３０は画像プロセッサ４２０からデジタル画像を受け取り、デジタル画像データからマーカを感知して抽出する。例として、マーカが黒い四角のバーコードなどの特定のパターンの画像を有する場合、マーカ４３０はデジタル画像からマーカのコーナーおよびピクセルを検出することによってマーカを感知し、それを抽出してもよい。例えば、連続した黒ピクセルを検出するためのアルゴリズム、およびＨａｒｒｉｓコーナー検出アルゴリズムなどのコーナー検出アルゴリズムは、黒い四角のバーコード型のマーカを感知し、抽出するために使用されることが可能である。
【００２９】
マーカアナライザ４４０は、抽出されたマーカをマーカセンサ４３０から受け取り、抽出されたマーカを分析してマーカデータを生成する。本明細書では、「マーカデータ」は、マーカ自体とマーカメタデータのうちの少なくとも１つを含むデータのことを指す。一実施形態で、マーカアナライザ４４０は、マーカを分析した結果として、マーカメタデータを生成してもよい。本明細書で使用する「マーカ」という用語は、マーカの（例えばマーカ識別子（ＩＤ）、ＡＲサービスサーバのアドレス、カテゴリ、バージョン、検索システムのアドレスなどの）プロパティを記述する抽象データのことを指す。マーカメタデータの構成は、図６を参照して以下で詳細に説明する。別の実施形態で、マーカデータはマーカ自体であってもよい。この場合、マーカアナライザ４４０は任意で省略されてもよく、マーカ自体がマーカデータとして使用されることが可能である。
【００３０】
マーカデータトランスミッタ４５０は、生成されたマーカデータをマーカアナライザ４４０から受け取り、ＡＲサービスサーバ３００にマーカデータを送信する。マーカデータがマーカ自体である場合、マーカデータトランスミッタ４５０はマーカセンサ４３０から直接マーカデータ（すなわちマーカ自体）を受け取ってもよい。上述のように、マーカデータはマーカ自体であってもよいし、またはマーカメタデータの少なくとも一部を含んでもよい。マーカデータトランスミッタ４５０は、ワイヤードまたはワイヤレス通信ネットワークを介して、マーカデータをＡＲサービスサーバ３００に送信する。ＡＲユーザデバイス４００がポータブルデバイスである場合、マーカメタデータはワイヤレス通信ネットワークを介してマーカデータトランスミッタ４５０からＡＲサービスサーバ３００に送信されてもよい。この場合、ＣＤＭＡ（符号分割多元接続）、ＴＤＭＡ（時分割多元接続）、ＯＦＤＭＡ（直交周波数分割多元接続）、３ＧＰＰ、３ＧＰＰ２またはモバイルＷｉｍａｘなどの様々なワイヤレス通信技術が使用可能である。
【００３１】
ＡＲサービスサーバ３００は、マーカデータトランスミッタ４５０からマーカデータを受信し、マーカデータに対応するＶＲデータを検索した後、ワイヤードまたはワイヤレス通信ネットワークを介して、マーカデータに対応するＶＲデータをＶＲデータレシーバ４６０に送信する。ＶＲデータは、マーカデータに対応する画像、ビデオまたは３Ｄオブジェクトを含んでもよい。特に、ＡＲサービスサーバ３００は、マーカデータの各々に対応するＶＲデータを保存し、ＡＲユーザデバイス４００のマーカデータトランスミッタ４５０から送信されたマーカデータに応じて、ＶＲデータを検索して送信してもよい。一実施形態で、ＶＲデータは、ユーザの要求に応じてインタラクティブに変更されてもよい。例えば、ＶＲデータは、ユーザの要求に応じて回転された画像、ビデオまたは３Ｄオブジェクトをさらに提供するように実装されることが可能である。
【００３２】
ＡＲデータジェネレータ４７０は、ＶＲデータをＶＲデータレシーバ４６０から受け取り、受け取ったＶＲデータを取り込まれたデジタル画像に重ね合わせることによってＡＲデータを生成する。一実施形態で、ＡＲデータジェネレータ４７０は、多数の画像を使用してビデオデータを生成し、ＶＲデータをビデオデータに重ね合わせることによってＡＲデータを生成してもよい。
【００３３】
ディスプレイユニット４８０は、生成されたＡＲデータを表示する。ディスプレイユニット４８０は、図１ｂに示すように、検索されたウェブコンテンツおよびＶＲデータの画像をユーザに示すことができる。一実施形態で、ディスプレイユニット４８０は任意で省略され、ＰＣモニタ、テレビまたはプロジェクタなどの外部デバイスで実装されてもよい。その場合、外部デバイスは、ワイヤードまたはワイヤレス通信ネットワークを介してＡＲデータジェネレータ４７０に動作可能に結合されることが可能である。
【００３４】
一実施形態で、ＡＲサービスサーバ３００はマーカデータレシーバ３１０、ＶＲデータレトリーバ３２０、ＶＲデータＤＢ３３０およびＶＲデータトランスミッタ３４０を含んでもよい。別の実施形態で、ＡＲサービスサーバ３００は任意でＶＲデータジェネレータ３５０および／またはマーカジェネレータ３６０をさらに含んでもよい。
【００３５】
マーカデータレシーバ３１０は、ワイヤレスまたはワイヤード通信ネットワークを介して、（例えばマーカデータトランスミッタ４５０などの）ＡＲユーザデバイス４００から送信されたマーカデータを受信する。上述のように、マーカデータはマーカ自体であってもよく、またはマーカメタデータの少なくとも一部を含んでもよい。
【００３６】
ＶＲデータレトリーバ３２０は、マーカデータをマーカデータレシーバ３１０から受け取り、受け取ったマーカデータに対応するＶＲデータをＶＲデータＤＢ３３０から検索する。一実施形態で、ＶＲデータレトリーバ３２０は、マーカデータに対応するＶＲデータを検索するために、マーカ識別子（ＩＤ）を使用してもよい。ＶＲデータレトリーバ３２０は、マーカデータがマーカ自体である場合、マーカからマーカＩＤを抽出してもよい。例えば、ＶＲデータレトリーバ３２０は、マーカとマーカＩＤが相関されたルックアップテーブルを使用することによって、マーカＩＤを抽出してもよい。この場合、ＶＲデータレトリーバ３２０はルックアップテーブルを含んでもよい。別の実施形態で、ＶＲデータレトリーバ３２０は、マーカデータが、マーカＩＤが記録されたマーカメタデータを含む場合には、マーカメタデータの所定のフィールドからマーカＩＤを取得してもよい。その場合、ＶＲデータレトリーバ３２０は、所定のフィールドから取得されたマーカＩＤを使用してＶＲデータを検索してもよい。
【００３７】
ＶＲデータトランスミッタ３４０は、検索されたＶＲデータをＶＲデータレトリーバ３２０から受け取り、ワイヤードまたはワイヤレス通信ネットワークを介して、検索されたＶＲデータをＡＲユーザデバイス４００に送信する。ＡＲユーザデバイス４００がポータブルデバイスである場合、ＶＲデータはワイヤレス通信ネットワークを介して送信される。
【００３８】
一実施形態で、上述のように、ＡＲサービスサーバ４００は任意で、ＶＲデータおよび対応するマーカをＶＲデータＤＢ３３０に提供するために、ＶＲデータジェネレータ３５０およびマーカジェネレータ３６０をさらに含んでもよい。
【００３９】
ＶＲデータジェネレータ３５０はＡＲサービスのために使用されるＶＲデータを生成し、生成されたＶＲデータをＶＲデータＤＢ３３０に提供する。ＶＲデータは画像、ビデオ、３Ｄオブジェクトなどを含む。一実施形態で、ＶＲデータジェネレータ３５０は、ＶＲデータのプロパティによって適切なオーサリングツール（例えばＰｈｏｔｏｓｈｏｐ（商標）、Ｆｌａｓｈ（商標）、３Ｄ−ＭＡＸ（商標））を使用してＶＲデータを生成してもよい。
【００４０】
マーカジェネレータ３６０は生成されたＶＲデータをＶＲデータジェネレータ３５０から受け取り、生成されたＶＲデータに対応するマーカを生成する。各マーカは、マーカＩＤによって識別されてもよい。一実施形態で、マーカを生成したユーザは、生成されたマーカにマーカＩＤを割り当てることができる。別の実施形態では、マーカジェネレータ３６０は自動的にマーカＩＤを生成し、生成されたマーカＩＤを生成されたマーカに割り当てることができる。マーカジェネレータ３６０は、ＶＲデータに対応するマーカＩＤを有するマーカをＶＲデータＤＢ３３０に送る。したがって、ＶＲデータＤＢ３３０はＶＲデータおよびマーカＩＤを有するマーカを保存してもよい。
【００４１】
上述のように、ＡＲユーザデバイス４００は、カメラ４１０を使用してマーカを含む実世界データを取得し、通信ネットワークを介してマーカデータをＡＲサービスサーバ３００に送信する。ＡＲサービスサーバ３００は、送信されたマーカデータに応じて、ＶＲデータをＡＲユーザデバイス４００に与える。与えられたＶＲデータは、ＡＲユーザデバイス４００によってＡＲサービスを提供するために使用される。
【００４２】
図５は、マーカ検索結果を提供するための方法の例示的実施形態の流れ図である。例示的実施形態で、この方法は、検索システム１００、クライアントシステム２００、ＡＲサービスサーバ３００およびＡＲユーザデバイス４００がワイヤードまたはワイヤレスで互いに通信するネットワークの中で実行されてもよい。ＡＲサービスサーバ３００は、マーカおよびそのインデックスを検索システム１００に入力してもよい（５１０）。この場合、ＡＲサービスサーバ３００は、マーカ入力ユニット１１７を介してユーザまたは外部デバイスからマーカおよびそのインデックスを受信し、その後マーカおよびそのインデックスをマーカＤＢ１１４（図２および３参照）に保存してもよい。マーカ入力ユニット１１７が外部デバイスで実装される別の実施形態では、ユーザは、マーカ入力ユニット１１７によって提供されるウェブページを使用することによって、マーカおよびそのインデックスを検索システム１００に入力してもよい。
【００４３】
クライアントシステム２００は、マーカを検索するために、検索システム１００にキーワードを送信してもよい（５２０）。クライアントシステム２００は、キーワード入力ユニット、ディスプレイユニットおよび通信ユニットを含む装置として実装されることが可能である。例として、限定されないがＰＣ、ＰＤＡ（パーソナルデジタルデバイス）、モバイルフォン、スマートフォンまたはキオスクが、クライアントシステム２００として実装されることが可能である。
【００４４】
キーワードを受信した検索システム１００は、各々キーワードに対応するウェブコンテンツおよびマーカを検索し、検索されたウェブコンテンツおよびマーカをクライアントシステム２００に送信する（５３０）。送信された、検索されたウェブコンテンツおよびマーカは、クライアントシステム２００のディスプレイユニットを介してユーザに表示されることが可能である。クライアントシステム２００のディスプレイユニットは、ウェブブラウザを介して取り出された、検索されたウェブコンテンツおよび対応するマーカを参照するハイパーリンクを画面に一覧表示することができる。したがって、ユーザはハイパーリンクから所望のウェブコンテンツを選択してもよい。この場合、選択されたウェブコンテンツは、その対応するマーカとともに表示されるべきである。
【００４５】
ＡＲユーザデバイス４００は、ウェブコンテンツおよびマーカを表示する画面画像を取り込むことができる。上述のように、ＡＲユーザデバイス４００は、外部デバイスに設置されたカメラを使用することによって、ウェブコンテンツおよびマーカを表示する画像を取り込むことができる。ＡＲユーザデバイス４００は、表示されたウェブコンテンツの取り込まれた画像上でマーカを感知し、感知されたマーカを分析することによってマーカデータを生成する。一実施形態で、マーカデータはマーカ画像自体であってもよい。別の実施形態で、マーカデータは、マーカから取得されることが可能なマーカメタデータの少なくとも一部を含んでもよい。この場合、ＡＲユーザデバイス４００（例えばマーカアナライザ４４０）は、マーカからマーカメタデータを取得するためにマーカを分析することができる。ＡＲユーザデバイス４００は、通信ユニットを使用することによって、ワイヤードまたはワイヤレス通信ネットワークを介して生成されたマーカデータをＡＲサービスサーバ３００に送信することができる（５４０）。
【００４６】
ＡＲサービスサーバ３００は、ＶＲデータＤＢ３３０から送られたマーカデータを使用して、マーカデータに対応するＶＲデータを検索する（図４参照）。対応するＶＲデータが存在する場合、ＡＲサービスサーバ３００は、ワイヤードまたはワイヤレス通信ネットワークを介して、検索されたＶＲデータをＡＲユーザデバイス４００に送信する（５５０）。
【００４７】
ＡＲユーザデバイス４００はＶＲデータを受信し、ＶＲデータを、取り込まれたクライアントシステム２００の画面画像に重ね合わせることによってＡＲデータを生成し、そのＡＲデータを表示する（５６０）。
【００４８】
図６は、図１ｂに示すマーカのマーカメタデータの例示的実施形態を示す。上述のように、「マーカメタデータ」は、マーカのプロパティを記述する抽象データのことを指す。一実施形態で、マーカ２０１’のマーカメタデータはサーバアドレスフィールド２０１Ａ、マーカＩＤフィールド２０１Ｂ、カテゴリフィールド２０１Ｃ、バージョンフィールド２０１Ｄおよび／または検索システムアドレスフィールド２０１Ｅを含んでもよい。マーカメタデータは、ＡＲユーザデバイス４００のマーカアナライザ４４０によって取得されることが可能である。
【００４９】
サーバアドレスフィールド２０１Ａは、ＡＲユーザデバイス４００がマーカデータを送信するＡＲサービスサーバ３００のアドレス情報を保存してもよい。例えば、アドレス情報は、マーカデータが送信されるＡＲサービスサーバ３００のＵＲＬ（ユニバーサルリソースロケータ）またはＩＰアドレスであることが可能である。ＡＲユーザデバイス４００は、ＡＲサービスサーバ３００のアドレス情報を使用することによって、ＶＲデータを提供するサーバのアドレスを識別することができる。ＡＲサービスサーバ３００のアドレスが事前設定されている場合、サーバアドレスフィールド２０１Ａは省略されることが可能である。
【００５０】
マーカＩＤフィールド２０１Ｂは、マーカ２０１’に割り当てられたＩＤを保存してもよい。マーカＩＤは、限定されないが一連の数字、文字またはそれらの組み合わせから構成されてもよい。マーカＩＤは、ＡＲサービスサーバ３００によって受け取られたマーカ２０１’に対応するＶＲデータを検索するために使用される。ＡＲユーザデバイス４００がマーカ２０１’自体をマーカデータとして送信する場合、マーカＩＤフィールド２０１Ｂは任意で省略されてもよい。
【００５１】
カテゴリフィールド２０１Ｃは、マーカ２０１が属するカテゴリを保存してもよい。ＡＲサービスサーバ３００がたくさんのＶＲデータを保存している場合、カテゴリフィールド２０１Ｃに保存された情報は、ＶＲデータの検索範囲を減らすために使用されることが可能である。ＡＲサービスサーバ３００は、カテゴリフィールド２０１Ｃに保存されたカテゴリ情報を使用することによって、効率的にＶＲデータを検索することができる。ＡＲサービスサーバ３００がＶＲデータの検索にカテゴリを使用しない場合、カテゴリフィールド２０１Ｃは任意で省略されてもよい。
【００５２】
バージョンフィールド２０１Ｄは、マーカ２０１’のバージョン情報を保存してもよい。バージョン情報は、バージョン番号、マーカ２０１’が生成された日時などを含んでもよい。例として、より大きなバージョン番号は、より最近開発したＶＲデータに対応するマーカを示してもよい。ＡＲサービスサーバ３００は、送信されたメタデータのバージョン情報に従って、検索システム３００がより新しいＶＲデータに対応するマーカを有するかどうかを判定することができる。ＡＲサービスサーバ３００がマーカ２０１’のバージョンを確認しないのであれば、バージョンフィールド２０１Ｄは任意で省略されてもよい。
【００５３】
検索システムアドレスフィールド２０１Ｅは、マーカ２０１’が保存されている検索システムのアドレスを保存してもよい。検索システムアドレスフィールド２０１Ｅは、マーカ２０１’のために検索した（例えば検索システム１００などの）検索システムのＵＲＬ（ユニバーサルリソースロケータ）またはＩＰアドレスを保存してもよい。したがって、ＡＲサービスサーバ３００は、どの検索システムが送信されたマーカデータを検索したのかを追跡してもよい。ＡＲサービスサーバ３００が、送信されたマーカデータを検索した検索システムを追跡しない場合、検索システムアドレスフィールド２０１Ｅは任意で省略されてもよい。
【００５４】
図７は、ＡＲサービスを提供するための方法の別の例示的実施形態の概略図である。図７は、多数のＡＲサービスサーバ７０１、７０２および７０３、ならびにゲートウェイ７２０を含むＡＲサービスサーバプール７００を示す。ゲートウェイ７２０は、ＡＲユーザデバイス４００とＡＲサービスサーバプール７００を相互接続する。ＡＲサービスサーバ７０１、７０２および７０３は、ＡＲサービスサーバ３００と同じ仕方で動作するように構成されている。
【００５５】
図７に示すＡＲサービスは、ＡＲユーザデバイス４００’がマーカを分析することはないが、マーカを所定のゲートウェイ７２０に送信するという点で、上述のＡＲサービスとは異なっている。ゲートウェイ７２０は、マーカアナライザ７２２およびサーバセレクタ７２４を含む。マーカアナライザ７２２は、マーカを分析することによって、図６に示すようにマーカからメタデータを抽出する。より具体的には、マーカアナライザ７２２は、（例えば図６の２０１Ａなどの）サーバアドレスフィールドからＡＲサーバ７０１、７０２および７０３のうちの任意の１つのアドレスを抽出し、抽出されたアドレスをサーバセレクタ７２４に送信してもよい。
【００５６】
サーバセレクタ７２４は、抽出されたアドレスに基づいてＡＲサービスサーバ７０１、７０２および７０３のうちの任意の１つを選択し、マーカを選択されたＡＲサービスサーバに送ることができる。したがって、ゲートウェイ７２０はマーカを選択されたＡＲサービスサーバに送り、送られたマーカに対応するＶＲデータを選択されたＡＲサービスサーバから受け取ってもよい。ゲートウェイ７２０を介して送られたマーカに対応するＶＲデータは、再びゲートウェイ７２０を介してＡＲユーザデバイス４００’に送信される。
【００５７】
図４に示す実施形態と比較して、マーカアナライザ４４０は任意で、ＡＲユーザデバイス４００’で省略されてもよい。すなわち、ＡＲユーザデバイス４００’は、所定のアドレスを有するゲートウェイ７２０にマーカを送信する。したがって、図７に示す実施形態によれば、図４に示すマーカアナライザ４４０は任意で省略されてもよいので、ＡＲユーザデバイス４００’の構成は単純でありうる。
【００５８】
当業者には、本明細書で開示するこの、ならびに他のプロセスおよび方法について、プロセスおよび方法の中で実行される機能は異なる順序で実施されてもよいということが理解されよう。さらに、概説されたステップおよび動作は単に例として示され、ステップおよび動作のうちのいくつかは任意であってもよく、開示する実施形態の本質を損なうことなく、より少ないステップおよび動作に結合されるか、またはさらなるステップおよび動作に拡大されてもよい。
【００５９】
本開示は、様々な態様の例示として意図された本出願で説明する特定の実施形態に関して限定されることはない。当業者には理解されるように、その精神および範囲から逸脱することなく、多くの修正および変更がなされうる。本明細書で列挙するものに加えて、本開示の範囲内にある機能的に同等の方法および装置は、上記の説明から当業者には明らかであろう。そのような修正形態および変更形態は、添付の特許請求の範囲内に入ることが意図されている。本開示は、そのような特許請求項が権利付与される均等物の完全な範囲とともに、添付の特許請求の範囲の条項によってのみ限定される。本開示は、当然のことながら異なる可能性のある特定の方法、試薬、化合物の組成または生物システムに限定されないことが理解されよう。また、本明細書で使用する用語は、単に特定の実施形態を説明するためのものであり、限定を意図してはいない。
【００６０】
例示的実施形態で、本明細書で説明する任意の動作、プロセスなどは、コンピュータ可読媒体で保存されるコンピュータ可読命令として実装されることが可能である。コンピュータ可読命令は、モバイルユニット、ネットワーク要素および／または任意のその他コンピューティングデバイスによって実行されることが可能である。
【００６１】
システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に（いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になりうるという点で）コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび／またはシステムおよび／または他の技術をもたらすことができる様々な達成手段があり（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい達成手段は、プロセスおよび／またはシステムおよび／または他の技術が導入される状況によって異なる。例えば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび／またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、さらに別の代替案として、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアの何らかの組み合わせを選択することができる。
【００６２】
前述の詳細な説明では、ブロック図、フローチャート、および／または例の使用によって、装置および／またはプロセスの様々な実施形態を説明してきた。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステム上で動作する１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサ上で動作する１つまたは複数のプログラムとして）、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムを様々な形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピーディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。
【００６３】
本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループおよびコントロールモータを含むコントロールシステム（例えば、位置検知用および／もしくは速度検知用フィードバック、コンポーネントの移動用および／もしくは数量の調整用コントロールモータ）を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。
【００６４】
本明細書に記載された主題は、様々なコンポーネントをしばしば例示しており、これらのコンポーネントは、他の様々なコンポーネントに包含されるか、または他の様々なコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例示にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されているとみなすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」とみなすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。
【００６５】
本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。様々な単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【００６６】
通常、本明細書において、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（例えば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。例えば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。
【００６７】
さらに、本開示の特徴または態様がマーカッシュグループに関して説明される個所では、本開示もまた、マーカッシュグループの任意の個人メンバーまたはメンバーのサブグループに関して述べられていることが当業者には理解されよう。
【００６８】
当業者には理解されるように、例えば書面による説明を提供することに関してなど、任意のおよびすべての目的のために、本明細書で開示するすべての範囲はまた、任意のおよびすべての可能な部分的範囲およびその部分的範囲の組み合わせを包含する。任意の一覧表示される範囲は、十分に説明された、同じ範囲が少なくとも２等分、３等分、４等分、５等分、１０等分などに分割されることを可能にするものとして、容易に認識されうる。非限定的な例として、本明細書で論じられる各範囲は、２番目の３分の１、真ん中の３分の１および最初の３分の１などに容易に分割されることが可能である。これもまた当業者によって理解されるように、「最大」、「少なくとも」などのすべての言葉は記載される番号を含み、後で上述のような部分的範囲に分割されることが可能な範囲のことを指す。最後に、当業者には理解されるように、範囲は各々の個々のメンバーを含む。したがって、１〜３のセルを有するグループのことを１、２または３セルを有するグループと呼ぶ。同様に、１〜５のセルを有するグループのことを１、２、３、４または５セルを有するグループと呼ぶ、などとする。
【００６９】
以上から、本開示の様々な実施形態は、本明細書で例示を目的として説明されており、本開示の範囲および精神から逸脱することなく、様々な変更がなされてもよいことが理解されよう。したがって、本明細書で開示する様々な実施形態は限定されることは意図されておらず、以下の特許請求の範囲によって示される真の範囲および精神を伴う。
【背景技術】
【０００１】
拡張現実（ＡＲ）技術は、実世界環境の要素を仮想現実データと併合することによって、新たに混合された現実感を作り出す。娯楽、テレビ、ゲーム、教育、音楽または映画などの様々な分野でＡＲアプリケーションを実装する際、マーカが使用される場合がある。マーカは、仮想現実データ情報を識別する２次元画像であり、一般にランダムなパターンを使用する。ＡＲアプリケーションのための画像およびビデオファイルは、（例えばＪＰＧまたはＭＰＥＧなどの）特定の形式に標準化されているので、標準化されたマーカ形式について関心が高まっている。
【発明の概要】
【０００２】
本明細書では、拡張現実サービスのためのマーカ検索システムの様々な実施形態が開示される。一実施形態で、システムは、ユーザの入力に応じてウェブコンテンツおよびマーカを検索するように構成された検索エンジンと、検索されたウェブコンテンツと検索されたマーカをマッチングするように構成されたマッチングユニットと、検索されたウェブコンテンツおよび検索されたマーカを含むドキュメントをユーザに送信するように構成された出力ユニットとを含む。
【０００３】
別の実施形態では、拡張現実（ＡＲ）サービスサーバが提供される。ＡＲサービスサーバは、ＡＲユーザデバイスと通信している。ＡＲサービスサーバは、ＡＲユーザデバイスからマーカデータを受信するように構成されたマーカデータレシーバと、仮想現実（ＶＲ）データを保存するように構成されたＶＲデータデータベースと、マーカデータレシーバからマーカデータを受け取り、ＶＲデータデータベースにアクセスして受け取ったマーカデータに対応するＶＲデータを検索するように構成されたＶＲデータレトリーバと、検索されたＶＲデータをＡＲユーザデバイスに送信するように構成されたＶＲデータトランスミッタとを含む。
【０００４】
さらに別の実施形態では、仮想現実（ＡＲ）ユーザデバイスが提供される。ＡＲユーザデバイスは、ＡＲサービスサーバと通信しており、カメラが撮影した実世界の画像からマーカを感知し、抽出するように構成されたマーカセンサと、マーカのマーカデータをＡＲサービスサーバに送信するように構成されたマーカデータトランスミッタと、マーカデータに対応する仮想現実（ＶＲ）データをＡＲサービスサーバから受信するように構成されたＶＲデータレシーバと、受信されたＶＲデータおよび実世界画像を使用してＡＲデータを生成するように構成されたＡＲデータジェネレータとを含む。
【０００５】
上記の要約は単なる例示であり、決して限定的なものではない。上述の例示的な態様、実施形態および特徴に加えて、さらなる態様、実施形態および特徴は、図面および以下の詳細な説明を参照することで明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１ａ】検索システムの例示的実施形態が実装される環境を示す概略図である。
【図１ｂ】ＡＲサービスの例示的実施形態が実装される環境を示す概略図である。
【図２】図１ａに示す検索システムの例示的実施形態のブロック図である。
【図３】図２に示すマーカＤＢの中に保存されたマーカの例示的実施形態の概略図である。
【図４】図１ｂに示すＡＲユーザデバイスおよびＡＲサービスサーバの例示的実施形態の概略図である。
【図５】マーカ検索結果を提供するための方法の例示的実施形態の流れ図である。
【図６】図１ｂに示すマーカのマーカメタデータの例示的実施形態を示す図である。
【図７】ＡＲサービスを提供するための方法の別の例示的実施形態の概略図である。
【発明を実施するための形態】
【０００７】
以下の詳細な説明では、本明細書の一部をなす添付の図面を参照する。図中、文脈が別途定めない限り、同様の記号は通常、同様の構成要素を識別する。詳細な説明、図面および特許請求の範囲の中で述べる例示的実施形態は、限定的なものではない。本明細書で示す主題の精神または範囲から逸脱することなく、他の実施形態が利用されてもよく、他の変更がなされてもよい。本開示の態様は、一般に本明細書で説明し、図に示すように、配置、置換、結合、分離、および様々な異なる構成で設計されることが可能であり、それらのすべては本明細書で明示的に企図されるということが容易に理解されよう。
【０００８】
図１ａは、検索システムの例示的実施形態が実装される環境を示す概略図である。図１ａは、１つまたは複数のクライアントシステム２００と通信する検索システム１００を示す。検索システム１００は、図２を参照して以下で詳細に説明するが、クライアントシステム２００から受信されるキーワードに応じてウェブコンテンツおよび対応するマーカを検索し、ウェブコンテンツおよびマーカを含むドキュメントを準備する。本明細書で使用する「マーカ」という用語は、ＡＲサービスを提供するために使用される仮想現実（ＶＲ）データを識別する２次元画像のことを指す。クライアントシステム２００は、ユーザが検索システム１００にアクセスする装置である。クライアントシステム２００は入力ユニット、ディスプレイユニットおよび通信ユニットを含むことが可能である。例えば、限定されないが、ＰＣ、ＰＤＡ（パーソナルデジタルデバイス）、モバイルフォン、スマートフォン、キオスクがクライアントシステム２００として実装されることが可能である。
【０００９】
いくつかの実施形態では、検索システム１００はクライアントシステム２００とワイヤレスで交信することが可能であり、（例えばＭＳ Ｅｘｐｌｏｒｅｒ（商標））ウェブブラウザを介して（例えばＧｏｏｇｌｅ（商標）およびＹａｈｏｏ（商標））一般的な検索ポータルサイトなどの検索インターフェースをクライアントシステム２００に提供する。例えば、ユーザがクライアントシステム２００にキーワードを入力すると、クライアントシステム２００は、検索システム１００にキーワードを送信する。
【００１０】
検索システム１００は、クライアントシステム２００から受信されるキーワードに応じて、（例えばドキュメント、ニュース、ブログ、画像、ビデオなどの）ウェブコンテンツおよびそのウェブコンテンツに対応するマーカを検索する。一実施形態では、検索システム１００は、以下で論じられるが、キーワードに応じてウェブコンテンツおよび対応するマーカを見つけるために、ウェブブラウザでまたはそのデータベースを検索することができる。次いで、検索システム１００は、検索されたウェブコンテンツおよびそれらの対応するマーカを有するドキュメントをクライアントシステム２００に送信する。例えばドキュメントは、図１ａに示すように、検索されたウェブコンテンツおよび対応するマーカ（例えば２０１、２０２および２０３など）を参照するハイパーリンク（例えば２１０、２２０および２３０など）のリストを有してもよい。例として、ユーザが「サッカー」というキーワードをクライアントシステム２００に入力すると、クライアントシステム２００は、「サッカー」というキーワードを有する検索要求を検索システム１００に送信することができる。検索要求に応じて、検索システム１００は、「サッカー」というキーワードに対応するウェブコンテンツおよびマーカを検索し、検索結果をクライアントシステム２００に送信することができる。クライアントシステム２００はその画面に、ウェブブラウザを介して取り出した、検索されたウェブコンテンツおよび対応するマーカを参照するハイパーリンクを一覧表示することができる。上述のようなウェブコンテンツおよび対応するマーカを検索する検索システム１００の構成は、以下で図２を参照して詳細に説明する。
【００１１】
図１ｂは、ＡＲサービスが実装される例示的実施形態の環境を示す概略図である。図１ｂは、ＡＲユーザデバイス４００が、ＡＲサービスサーバ３００から受信された仮想現実（ＶＲ）データ、ならびにクライアントシステム２００に表示された、検索されたウェブコンテンツおよび対応するマーカを使用して、ＡＲサービスを提供することを示す。
【００１２】
ＡＲユーザデバイス４００は、実世界画像を撮影し、その実世界画像からマーカを抽出する。さらに、ＡＲユーザデバイス４００は抽出したマーカをＡＲサービスサーバ３００に送信し、マーカに応じてＶＲデータをＡＲサービスサーバ３００から受信する。その結果、ＡＲユーザデバイス４００は、ＶＲデータを実世界画像に重ね合わせることによってユーザにＡＲサービスを提供する。一実施形態では、ＡＲユーザデバイス４００は、実世界画像を取り込むためのカメラ、実世界画像からマーカを感知し、抽出するためのマーカセンサ、マーカデータトランスミッタおよびＶＲデータレシーバなどのＡＲサービスサーバ３００とのワイヤレス通信のための通信ユニット、ＶＲデータと実世界画像を結合することによってＡＲデータを生成するためのＡＲデータジェネレータ、および画面に拡張現実を表示するためのディスプレイユニットを含んでもよい。ＡＲユーザデバイス４００の構成は、図４を参照して以下で詳細に説明する。図１ｂは、ＡＲユーザデバイス４００の一例としてモバイルフォンを示しているが、ＡＲユーザデバイス４００は任意の種類のデバイスとして実装されることが可能なことが当業者には明らかであろう。例えば、ＡＲユーザデバイス４００はスマートフォン、ＰＤＡ、ＵＭＰＣ（ウルトラモバイルＰＣ）、ヘッドマウントディスプレイ（ＨＭＤ）などとして実装されてもよい。
【００１３】
ＡＲサービスサーバ３００は、ＡＲユーザデバイス４００から送信されたマーカに応じてＶＲデータを検索し、検索されたＶＲデータをＡＲユーザデバイス４００に送信する。ＡＲサービスサーバ３００の構成は、図４を参照して以下で詳細に説明する。
【００１４】
一実施形態で、ＡＲユーザデバイス４００は、ＡＲユーザデバイス４００のカメラを使用して、クライアントシステム２００の画面画像を取り込んでもよい。クライアントシステム２００の画面画像は、ユーザのキーワードに応じて検索システム１００によって検索されたウェブコンテンツおよび対応するマーカを示してもよい。特に、図１ａを参照して上で述べたように、クライアントシステム２００はユーザのキーワードを含む検索要求を検索システム１００に送信してもよく、クライアントシステム２００は、検索システム１００によって検索され、送信されたウェブコンテンツおよび対応するマーカを表示してもよい。検索されたウェブコンテンツおよび対応するマーカは、ハイパーリンクとしてクライアントシステム２００の画面に表示されてもよいので、ユーザはハイパーリンクのうちの１つを選択することができ、次いでクライアントシステム２００は、（例えば２０１などの）対応するマーカとともにウェブページを介して取り出された、（例えば２１１などの）選択されたウェブコンテンツを画面に表示することができる。例示的な一例として、図１ｂは、ＡＲユーザデバイス４００がクライアントシステム２００の画面画像を取り込み、マーカ２０１に対応するＶＲデータ４０１として、画面４０２にサッカーをプレイする画像を表示することを示す。
【００１５】
ＡＲユーザデバイス４００はさらに、取り込まれた（例えば４０１などの）画面画像から（例えば２０１などの）マーカを感知して抽出し、抽出されたマーカ２０１のデータをＡＲサービスサーバ３００に送信する。取り込まれた画像からマーカを抽出するための方法は、図４に関して以下で詳細に説明される。ＡＲサービスサーバ３００は、受信されたマーカ２０１に対応するＶＲデータ４０１をＶＲデータデータベースから検索し、検索されたＶＲデータ４０１をＡＲユーザデバイス４００に送信してもよい。ＡＲユーザデバイス４００は、ＶＲデータ４０１を取り込まれた画面画像に重ね合わせて、ＡＲ画像を作り出してもよい。例として、ユーザがウェブコンテンツとしてサッカー選手「Ｂｅｃｋａｍ」を選択すると、選択されたウェブコンテンツおよび対応するマーカは、クライアントシステム２００に表示されることが可能である。次いで、ＡＲユーザデバイス４００はウェブコンテンツおよびマーカを取り込んで、マーカをＡＲサービスサーバ３００に送信することができる。送信されたマーカに応じて、ＡＲサービスサーバ３００は（例えば「Ｂｅｃｋｍａｎ」の画像、ビデオまたは３Ｄオブジェクトなどの）ＶＲデータを検索し、ＡＲユーザデバイス４００に送信することができる。したがって、ＡＲユーザデバイス４００は（例えばＢｅｃｋｍａｎの画像などの）送信されたＶＲデータを、画面４０２に表示されている取り込まれたウェブコンテンツ画像と重ね合わせることができる。
【００１６】
ＶＲデータ４０１は、画像の他にも（例えばビデオまたは３Ｄオブジェクトなどの）様々な情報を含むことができる。したがって、ＶＲデータ４０１と実世界画像を結合することによって、ＡＲサービスを作り出すことが可能である。さらに、ＡＲサービスは、ユーザの要求に応じてインタラクティブに様々な情報を提供することができる。例えば、ＶＲデータ４０１は、ユーザが入力した要求に応じて、回転された画像、ビデオまたは３Ｄオブジェクトを提供することができる。
【００１７】
図２は、図１ａに示した検索システムの例示的実施形態のブロック図である。一実施形態で、検索システム１００は、検索ユーザインターフェース（ＵＩ）ユニット１１１、検索エンジン１１２、ウェブコンテンツデータベース（ＤＢ）１１３、マーカＤＢ１１４、マッチングユニット１１５、出力ユニット１１６およびマーカ入力ユニット１１７を含んでもよい。別の実施形態では、ウェブコンテンツＤＢ１１３、マーカＤＢ１１４およびマーカ入力ユニット１１７のうちの１つまたは複数は任意で省略されてもよい。例えば、ウェブコンテンツＤＢ１１３、マーカＤＢ１１４およびマーカ入力ユニット１１７のうちの１つまたは複数は外部デバイスで実装されてもよく、それらの動作は遠隔から実行されてもよい。
【００１８】
検索ＵＩユニット１１１は、ユーザによって入力されたキーワードを含む検索要求をクライアントシステム２００から受信する。
【００１９】
検索エンジン１１２は、検索ＵＩユニット１１１からのキーワードを含む検索要求を受け取り、ウェブコンテンツＤＢ１１３およびマーカＤＢ１１４にアクセスして、キーワードに対応するウェブコンテンツおよびマーカを検索する。一実施形態で、ウェブコンテンツＤＢ１１３およびマーカＤＢ１１４のうちの１つまたは複数は、外部サーバに実装されてもよい。この場合、検索エンジン１１２は、インターネット、イントラネット、付加価値ネットワークまたは公衆交換データネットワークなどのネットワークを介して、外部サーバのアドレスを使用することによって外部サーバにアクセスすることができる。検索エンジン１１２は、様々な種類の検索エンジンソフトウェアによって実装されることが可能である。例えば、検索エンジン１１２は検索キーワードに応じて、限定されないが単語、サブジェクト、インデックス、ならびにカテゴリ、およびマーカを含むウェブコンテンツを検索することができる検索エンジンソフトウェアによって実装されることが可能である。
【００２０】
ウェブコンテンツＤＢ１１３はウェブコンテンツを保存し、検索エンジン１１２の検索要求に応じて、ウェブコンテンツまたはそのようなウェブコンテンツのアドレスを検索エンジン１１２に提供する。マーカＤＢ１１４はマーカおよびそれらのインデックスを保存し、検索エンジン１１２からの検索要求に応じて、マーカおよびインデックスを検索エンジン１１２に提供する。本明細書で使用するマーカの「インデックス」という用語は、マーカのＶＲデータを記述する１つまたは複数の用語のことを指す。例示的なインデックスの例は、図３を参照して後に詳細に説明される。一実施形態で、検索エンジン１１２は、キーワードと各マーカのインデックスの間の類似度を計算することによって、キーワードに対応するマーカを検索してもよい。
【００２１】
マッチングユニット１１５は、検索されたウェブコンテンツを検索エンジン１１２から受信し、ルックアップテーブルに基づいて、検索されたウェブコンテンツをマーカとマッチングする。このテーブルは、ウェブコンテンツＤＢ１１４およびマーカＤＢ１１４を介して検索されたウェブコンテンツとマーカとの間の相関関係を示す。一実施形態で、マッチングユニット１１５は、ユーザによって入力されたキーワードの相関値を使用して、検索されたウェブコンテンツを検索されたマーカとマッチングしてもよい。本明細書では、キーワードの「相関値」という用語は、キーワードのバイナリコードをマーカのインデックスのバイナリコードと（またはウェブコンテンツの中のテキストのバイナリコードと）相関させることによって計算される値のことを指す。キーワードの相関値が大きくなると、キーワードとマーカ（またはウェブコンテンツ）の間の類似度は増す。例として、マッチングユニット１１５は検索されたウェブコンテンツと検索されたマーカを、それぞれキーワードの相関値に基づいて降順でソートし、次いで順番に、検索されたウェブコンテンツの各々を検索されたマーカの各々とマッチングしてもよい。マッチングユニット１１５は、所定のテンプレートを使用して、マッチングしたウェブコンテンツとマーカを含むドキュメントを作成してもよい。例として、ハイパーテキストマークアップ言語ドキュメントがある。当業者であれば、例えばハイパーテキストマークアップ言語（ＨＴＭＬ）、汎用マークアップ言語（ＳＧＭＬ）、拡張マークアップ言語（ＸＭＬ）などの様々なマークアップ言語を使用することによって、ドキュメントを作成するであろう。
【００２２】
出力ユニット１１６は、検索されたウェブコンテンツおよびマーカを含むドキュメントをマッチングユニット１１５から受信し、そのドキュメントをクライアントシステム２００に送信する。多数のウェブコンテンツおよびマーカが検索された場合、出力ユニット１１６は、検索されたウェブコンテンツおよびマーカを含むドキュメントのリストを生成して、そのリストをクライアントシステム２００に送信してもよい。
【００２３】
マーカ入力ユニット１１７は、例えばＡＲサービスサーバ３００などの外部からマーカおよびインデックスを受信し、受信されたマーカおよびインデックスをマーカＤＢ１１４に送信する。一実施形態で、マーカ入力ユニット１１７は、マーカおよびインデックスの入力が承認されるかどうかを確認してもよい。例えば、マーカ入力ユニット１１７は、マーカおよびインデックスの入力前に、ユーザのＩＤまたはパスワードを入力するようにユーザまたは外部デバイスに要求し、その後、承認されたユーザまたは外部デバイスがマーカ入力ユニット１１７にマーカおよびインデックスを入力することを許可してもよい。マーカ入力ユニット１１７はユーザまたは外部デバイスに、ユーザまたは外部デバイスがマーカおよびそのインデックスを入力することができるユーザインターフェースを含むウェブページを提供してもよい。上述のように、いくつかの実施形態では、マーカ入力ユニット１１７は外部デバイスで実装され、そして、マーカＤＢ１１４に送信するためにマーカおよびインデックスをユーザから受信してもよい。
【００２４】
上述のように、検索システム１００は、検索要求に含まれたキーワードに応じて、ウェブコンテンツとマーカを一緒に提供してもよい。さらに、いくつかの実施形態では、検索システム１００は継続的に、例えばマーカ入力ユニット１１７を介して外部からマーカを受信して保存してもよく、したがって、集めたマーカをさらなるマーカ検索のために使用してもよい。
【００２５】
図３は、図２に示すマーカＤＢに保存されたマーカの例示的実施形態の概略図である。マーカＤＢ１１４は、マーカ（１１４−１、１１４−２、１１４−３および１１４−４）およびそれらの対応するインデックスを保存する。上述のように、マーカの「インデックス」という用語は、マーカのＶＲデータを記述する１つまたは複数の用語のことを指す。さらに、インデックスは、ＶＲデータを記述する上位の用語または下位の用語を含む。このような上位または下位の用語は、（高い概念から低い概念への）降順または（低い概念から高い概念への）昇順で一覧表示されてもよい。例えば、「スポーツ」という用語については、その下位の用語は「サッカー」、「ワールドカップ」などである。ここでは、「ワールドカップ」という用語は「サッカー」という用語の下位にある。同様に、「自動車」、「ジープ」または「エンジン」などのインデックスは、順に保存されてもよい。検索エンジン１１２は、マーカＤＢ１１４に保存されたマーカのインデックスを使用して、ユーザによって入力されたキーワードに関連したマーカを検索することができる。図４は、図１ｂに示すＡＲユーザデバイスおよびＡＲサービスサーバの例示的実施形態の概略図を示す。一実施形態では、ＡＲユーザデバイス４００はカメラ４１０、画像プロセッサ４２０、マーカセンサ４３０、マーカアナライザ４４０、マーカデータトランスミッタ４５０、ＶＲデータレシーバ４６０、ＡＲデータジェネレータ４７０およびディスプレイユニット４８０を含んでもよい。別の実施形態では、カメラ４１０、画像プロセッサ４２０、マーカアナライザ４４０およびディスプレイユニット４８０のうちの１つまたは複数は、任意で省略されてもよい。例えば、カメラ４１０、画像プロセッサ４２０、マーカアナライザ４４０およびディスプレイユニット４８０のうちの１つまたは複数は外部デバイスで実装されてもよく、それらの動作は遠隔から実行されてもよい。
【００２６】
カメラ４１０は、マーカを含む実世界画像を取り込む。図４は、ＡＲユーザデバイス４００がカメラ４１０を含むことを示しているが、カメラ４１０はＡＲユーザデバイス４００に動作可能に結合された外部デバイスに設置されてもよいことが、当業者には理解されよう。
【００２７】
画像プロセッサ４２０は、カメラ４１０によって取り込まれた実世界画像を、例えばファイル形式ｊｐｅｇ、ｔｉｆｆ、ｇｉｆ、ｂｍｐなどのデジタル画像データに変換する。一実施形態で、画像プロセッサ４２０は、蓄積された多数のデジタル画像データを、例えばファイル形式ａｖｉ、ｆｌｖ、ｍｐｅｇ、ｗｍｖなどのビデオデータに変換してもよい。別の実施形態で、画像プロセッサ４２０は外部デバイスにカメラ４１０とともに設置されてもよい。
【００２８】
マーカセンサ４３０は画像プロセッサ４２０からデジタル画像を受け取り、デジタル画像データからマーカを感知して抽出する。例として、マーカが黒い四角のバーコードなどの特定のパターンの画像を有する場合、マーカ４３０はデジタル画像からマーカのコーナーおよびピクセルを検出することによってマーカを感知し、それを抽出してもよい。例えば、連続した黒ピクセルを検出するためのアルゴリズム、およびＨａｒｒｉｓコーナー検出アルゴリズムなどのコーナー検出アルゴリズムは、黒い四角のバーコード型のマーカを感知し、抽出するために使用されることが可能である。
【００２９】
マーカアナライザ４４０は、抽出されたマーカをマーカセンサ４３０から受け取り、抽出されたマーカを分析してマーカデータを生成する。本明細書では、「マーカデータ」は、マーカ自体とマーカメタデータのうちの少なくとも１つを含むデータのことを指す。一実施形態で、マーカアナライザ４４０は、マーカを分析した結果として、マーカメタデータを生成してもよい。本明細書で使用する「マーカ」という用語は、マーカの（例えばマーカ識別子（ＩＤ）、ＡＲサービスサーバのアドレス、カテゴリ、バージョン、検索システムのアドレスなどの）プロパティを記述する抽象データのことを指す。マーカメタデータの構成は、図６を参照して以下で詳細に説明する。別の実施形態で、マーカデータはマーカ自体であってもよい。この場合、マーカアナライザ４４０は任意で省略されてもよく、マーカ自体がマーカデータとして使用されることが可能である。
【００３０】
マーカデータトランスミッタ４５０は、生成されたマーカデータをマーカアナライザ４４０から受け取り、ＡＲサービスサーバ３００にマーカデータを送信する。マーカデータがマーカ自体である場合、マーカデータトランスミッタ４５０はマーカセンサ４３０から直接マーカデータ（すなわちマーカ自体）を受け取ってもよい。上述のように、マーカデータはマーカ自体であってもよいし、またはマーカメタデータの少なくとも一部を含んでもよい。マーカデータトランスミッタ４５０は、ワイヤードまたはワイヤレス通信ネットワークを介して、マーカデータをＡＲサービスサーバ３００に送信する。ＡＲユーザデバイス４００がポータブルデバイスである場合、マーカメタデータはワイヤレス通信ネットワークを介してマーカデータトランスミッタ４５０からＡＲサービスサーバ３００に送信されてもよい。この場合、ＣＤＭＡ（符号分割多元接続）、ＴＤＭＡ（時分割多元接続）、ＯＦＤＭＡ（直交周波数分割多元接続）、３ＧＰＰ、３ＧＰＰ２またはモバイルＷｉｍａｘなどの様々なワイヤレス通信技術が使用可能である。
【００３１】
ＡＲサービスサーバ３００は、マーカデータトランスミッタ４５０からマーカデータを受信し、マーカデータに対応するＶＲデータを検索した後、ワイヤードまたはワイヤレス通信ネットワークを介して、マーカデータに対応するＶＲデータをＶＲデータレシーバ４６０に送信する。ＶＲデータは、マーカデータに対応する画像、ビデオまたは３Ｄオブジェクトを含んでもよい。特に、ＡＲサービスサーバ３００は、マーカデータの各々に対応するＶＲデータを保存し、ＡＲユーザデバイス４００のマーカデータトランスミッタ４５０から送信されたマーカデータに応じて、ＶＲデータを検索して送信してもよい。一実施形態で、ＶＲデータは、ユーザの要求に応じてインタラクティブに変更されてもよい。例えば、ＶＲデータは、ユーザの要求に応じて回転された画像、ビデオまたは３Ｄオブジェクトをさらに提供するように実装されることが可能である。
【００３２】
ＡＲデータジェネレータ４７０は、ＶＲデータをＶＲデータレシーバ４６０から受け取り、受け取ったＶＲデータを取り込まれたデジタル画像に重ね合わせることによってＡＲデータを生成する。一実施形態で、ＡＲデータジェネレータ４７０は、多数の画像を使用してビデオデータを生成し、ＶＲデータをビデオデータに重ね合わせることによってＡＲデータを生成してもよい。
【００３３】
ディスプレイユニット４８０は、生成されたＡＲデータを表示する。ディスプレイユニット４８０は、図１ｂに示すように、検索されたウェブコンテンツおよびＶＲデータの画像をユーザに示すことができる。一実施形態で、ディスプレイユニット４８０は任意で省略され、ＰＣモニタ、テレビまたはプロジェクタなどの外部デバイスで実装されてもよい。その場合、外部デバイスは、ワイヤードまたはワイヤレス通信ネットワークを介してＡＲデータジェネレータ４７０に動作可能に結合されることが可能である。
【００３４】
一実施形態で、ＡＲサービスサーバ３００はマーカデータレシーバ３１０、ＶＲデータレトリーバ３２０、ＶＲデータＤＢ３３０およびＶＲデータトランスミッタ３４０を含んでもよい。別の実施形態で、ＡＲサービスサーバ３００は任意でＶＲデータジェネレータ３５０および／またはマーカジェネレータ３６０をさらに含んでもよい。
【００３５】
マーカデータレシーバ３１０は、ワイヤレスまたはワイヤード通信ネットワークを介して、（例えばマーカデータトランスミッタ４５０などの）ＡＲユーザデバイス４００から送信されたマーカデータを受信する。上述のように、マーカデータはマーカ自体であってもよく、またはマーカメタデータの少なくとも一部を含んでもよい。
【００３６】
ＶＲデータレトリーバ３２０は、マーカデータをマーカデータレシーバ３１０から受け取り、受け取ったマーカデータに対応するＶＲデータをＶＲデータＤＢ３３０から検索する。一実施形態で、ＶＲデータレトリーバ３２０は、マーカデータに対応するＶＲデータを検索するために、マーカ識別子（ＩＤ）を使用してもよい。ＶＲデータレトリーバ３２０は、マーカデータがマーカ自体である場合、マーカからマーカＩＤを抽出してもよい。例えば、ＶＲデータレトリーバ３２０は、マーカとマーカＩＤが相関されたルックアップテーブルを使用することによって、マーカＩＤを抽出してもよい。この場合、ＶＲデータレトリーバ３２０はルックアップテーブルを含んでもよい。別の実施形態で、ＶＲデータレトリーバ３２０は、マーカデータが、マーカＩＤが記録されたマーカメタデータを含む場合には、マーカメタデータの所定のフィールドからマーカＩＤを取得してもよい。その場合、ＶＲデータレトリーバ３２０は、所定のフィールドから取得されたマーカＩＤを使用してＶＲデータを検索してもよい。
【００３７】
ＶＲデータトランスミッタ３４０は、検索されたＶＲデータをＶＲデータレトリーバ３２０から受け取り、ワイヤードまたはワイヤレス通信ネットワークを介して、検索されたＶＲデータをＡＲユーザデバイス４００に送信する。ＡＲユーザデバイス４００がポータブルデバイスである場合、ＶＲデータはワイヤレス通信ネットワークを介して送信される。
【００３８】
一実施形態で、上述のように、ＡＲサービスサーバ４００は任意で、ＶＲデータおよび対応するマーカをＶＲデータＤＢ３３０に提供するために、ＶＲデータジェネレータ３５０およびマーカジェネレータ３６０をさらに含んでもよい。
【００３９】
ＶＲデータジェネレータ３５０はＡＲサービスのために使用されるＶＲデータを生成し、生成されたＶＲデータをＶＲデータＤＢ３３０に提供する。ＶＲデータは画像、ビデオ、３Ｄオブジェクトなどを含む。一実施形態で、ＶＲデータジェネレータ３５０は、ＶＲデータのプロパティによって適切なオーサリングツール（例えばＰｈｏｔｏｓｈｏｐ（商標）、Ｆｌａｓｈ（商標）、３Ｄ−ＭＡＸ（商標））を使用してＶＲデータを生成してもよい。
【００４０】
マーカジェネレータ３６０は生成されたＶＲデータをＶＲデータジェネレータ３５０から受け取り、生成されたＶＲデータに対応するマーカを生成する。各マーカは、マーカＩＤによって識別されてもよい。一実施形態で、マーカを生成したユーザは、生成されたマーカにマーカＩＤを割り当てることができる。別の実施形態では、マーカジェネレータ３６０は自動的にマーカＩＤを生成し、生成されたマーカＩＤを生成されたマーカに割り当てることができる。マーカジェネレータ３６０は、ＶＲデータに対応するマーカＩＤを有するマーカをＶＲデータＤＢ３３０に送る。したがって、ＶＲデータＤＢ３３０はＶＲデータおよびマーカＩＤを有するマーカを保存してもよい。
【００４１】
上述のように、ＡＲユーザデバイス４００は、カメラ４１０を使用してマーカを含む実世界データを取得し、通信ネットワークを介してマーカデータをＡＲサービスサーバ３００に送信する。ＡＲサービスサーバ３００は、送信されたマーカデータに応じて、ＶＲデータをＡＲユーザデバイス４００に与える。与えられたＶＲデータは、ＡＲユーザデバイス４００によってＡＲサービスを提供するために使用される。
【００４２】
図５は、マーカ検索結果を提供するための方法の例示的実施形態の流れ図である。例示的実施形態で、この方法は、検索システム１００、クライアントシステム２００、ＡＲサービスサーバ３００およびＡＲユーザデバイス４００がワイヤードまたはワイヤレスで互いに通信するネットワークの中で実行されてもよい。ＡＲサービスサーバ３００は、マーカおよびそのインデックスを検索システム１００に入力してもよい（５１０）。この場合、ＡＲサービスサーバ３００は、マーカ入力ユニット１１７を介してユーザまたは外部デバイスからマーカおよびそのインデックスを受信し、その後マーカおよびそのインデックスをマーカＤＢ１１４（図２および３参照）に保存してもよい。マーカ入力ユニット１１７が外部デバイスで実装される別の実施形態では、ユーザは、マーカ入力ユニット１１７によって提供されるウェブページを使用することによって、マーカおよびそのインデックスを検索システム１００に入力してもよい。
【００４３】
クライアントシステム２００は、マーカを検索するために、検索システム１００にキーワードを送信してもよい（５２０）。クライアントシステム２００は、キーワード入力ユニット、ディスプレイユニットおよび通信ユニットを含む装置として実装されることが可能である。例として、限定されないがＰＣ、ＰＤＡ（パーソナルデジタルデバイス）、モバイルフォン、スマートフォンまたはキオスクが、クライアントシステム２００として実装されることが可能である。
【００４４】
キーワードを受信した検索システム１００は、各々キーワードに対応するウェブコンテンツおよびマーカを検索し、検索されたウェブコンテンツおよびマーカをクライアントシステム２００に送信する（５３０）。送信された、検索されたウェブコンテンツおよびマーカは、クライアントシステム２００のディスプレイユニットを介してユーザに表示されることが可能である。クライアントシステム２００のディスプレイユニットは、ウェブブラウザを介して取り出された、検索されたウェブコンテンツおよび対応するマーカを参照するハイパーリンクを画面に一覧表示することができる。したがって、ユーザはハイパーリンクから所望のウェブコンテンツを選択してもよい。この場合、選択されたウェブコンテンツは、その対応するマーカとともに表示されるべきである。
【００４５】
ＡＲユーザデバイス４００は、ウェブコンテンツおよびマーカを表示する画面画像を取り込むことができる。上述のように、ＡＲユーザデバイス４００は、外部デバイスに設置されたカメラを使用することによって、ウェブコンテンツおよびマーカを表示する画像を取り込むことができる。ＡＲユーザデバイス４００は、表示されたウェブコンテンツの取り込まれた画像上でマーカを感知し、感知されたマーカを分析することによってマーカデータを生成する。一実施形態で、マーカデータはマーカ画像自体であってもよい。別の実施形態で、マーカデータは、マーカから取得されることが可能なマーカメタデータの少なくとも一部を含んでもよい。この場合、ＡＲユーザデバイス４００（例えばマーカアナライザ４４０）は、マーカからマーカメタデータを取得するためにマーカを分析することができる。ＡＲユーザデバイス４００は、通信ユニットを使用することによって、ワイヤードまたはワイヤレス通信ネットワークを介して生成されたマーカデータをＡＲサービスサーバ３００に送信することができる（５４０）。
【００４６】
ＡＲサービスサーバ３００は、ＶＲデータＤＢ３３０から送られたマーカデータを使用して、マーカデータに対応するＶＲデータを検索する（図４参照）。対応するＶＲデータが存在する場合、ＡＲサービスサーバ３００は、ワイヤードまたはワイヤレス通信ネットワークを介して、検索されたＶＲデータをＡＲユーザデバイス４００に送信する（５５０）。
【００４７】
ＡＲユーザデバイス４００はＶＲデータを受信し、ＶＲデータを、取り込まれたクライアントシステム２００の画面画像に重ね合わせることによってＡＲデータを生成し、そのＡＲデータを表示する（５６０）。
【００４８】
図６は、図１ｂに示すマーカのマーカメタデータの例示的実施形態を示す。上述のように、「マーカメタデータ」は、マーカのプロパティを記述する抽象データのことを指す。一実施形態で、マーカ２０１’のマーカメタデータはサーバアドレスフィールド２０１Ａ、マーカＩＤフィールド２０１Ｂ、カテゴリフィールド２０１Ｃ、バージョンフィールド２０１Ｄおよび／または検索システムアドレスフィールド２０１Ｅを含んでもよい。マーカメタデータは、ＡＲユーザデバイス４００のマーカアナライザ４４０によって取得されることが可能である。
【００４９】
サーバアドレスフィールド２０１Ａは、ＡＲユーザデバイス４００がマーカデータを送信するＡＲサービスサーバ３００のアドレス情報を保存してもよい。例えば、アドレス情報は、マーカデータが送信されるＡＲサービスサーバ３００のＵＲＬ（ユニバーサルリソースロケータ）またはＩＰアドレスであることが可能である。ＡＲユーザデバイス４００は、ＡＲサービスサーバ３００のアドレス情報を使用することによって、ＶＲデータを提供するサーバのアドレスを識別することができる。ＡＲサービスサーバ３００のアドレスが事前設定されている場合、サーバアドレスフィールド２０１Ａは省略されることが可能である。
【００５０】
マーカＩＤフィールド２０１Ｂは、マーカ２０１’に割り当てられたＩＤを保存してもよい。マーカＩＤは、限定されないが一連の数字、文字またはそれらの組み合わせから構成されてもよい。マーカＩＤは、ＡＲサービスサーバ３００によって受け取られたマーカ２０１’に対応するＶＲデータを検索するために使用される。ＡＲユーザデバイス４００がマーカ２０１’自体をマーカデータとして送信する場合、マーカＩＤフィールド２０１Ｂは任意で省略されてもよい。
【００５１】
カテゴリフィールド２０１Ｃは、マーカ２０１が属するカテゴリを保存してもよい。ＡＲサービスサーバ３００がたくさんのＶＲデータを保存している場合、カテゴリフィールド２０１Ｃに保存された情報は、ＶＲデータの検索範囲を減らすために使用されることが可能である。ＡＲサービスサーバ３００は、カテゴリフィールド２０１Ｃに保存されたカテゴリ情報を使用することによって、効率的にＶＲデータを検索することができる。ＡＲサービスサーバ３００がＶＲデータの検索にカテゴリを使用しない場合、カテゴリフィールド２０１Ｃは任意で省略されてもよい。
【００５２】
バージョンフィールド２０１Ｄは、マーカ２０１’のバージョン情報を保存してもよい。バージョン情報は、バージョン番号、マーカ２０１’が生成された日時などを含んでもよい。例として、より大きなバージョン番号は、より最近開発したＶＲデータに対応するマーカを示してもよい。ＡＲサービスサーバ３００は、送信されたメタデータのバージョン情報に従って、検索システム３００がより新しいＶＲデータに対応するマーカを有するかどうかを判定することができる。ＡＲサービスサーバ３００がマーカ２０１’のバージョンを確認しないのであれば、バージョンフィールド２０１Ｄは任意で省略されてもよい。
【００５３】
検索システムアドレスフィールド２０１Ｅは、マーカ２０１’が保存されている検索システムのアドレスを保存してもよい。検索システムアドレスフィールド２０１Ｅは、マーカ２０１’のために検索した（例えば検索システム１００などの）検索システムのＵＲＬ（ユニバーサルリソースロケータ）またはＩＰアドレスを保存してもよい。したがって、ＡＲサービスサーバ３００は、どの検索システムが送信されたマーカデータを検索したのかを追跡してもよい。ＡＲサービスサーバ３００が、送信されたマーカデータを検索した検索システムを追跡しない場合、検索システムアドレスフィールド２０１Ｅは任意で省略されてもよい。
【００５４】
図７は、ＡＲサービスを提供するための方法の別の例示的実施形態の概略図である。図７は、多数のＡＲサービスサーバ７０１、７０２および７０３、ならびにゲートウェイ７２０を含むＡＲサービスサーバプール７００を示す。ゲートウェイ７２０は、ＡＲユーザデバイス４００とＡＲサービスサーバプール７００を相互接続する。ＡＲサービスサーバ７０１、７０２および７０３は、ＡＲサービスサーバ３００と同じ仕方で動作するように構成されている。
【００５５】
図７に示すＡＲサービスは、ＡＲユーザデバイス４００’がマーカを分析することはないが、マーカを所定のゲートウェイ７２０に送信するという点で、上述のＡＲサービスとは異なっている。ゲートウェイ７２０は、マーカアナライザ７２２およびサーバセレクタ７２４を含む。マーカアナライザ７２２は、マーカを分析することによって、図６に示すようにマーカからメタデータを抽出する。より具体的には、マーカアナライザ７２２は、（例えば図６の２０１Ａなどの）サーバアドレスフィールドからＡＲサーバ７０１、７０２および７０３のうちの任意の１つのアドレスを抽出し、抽出されたアドレスをサーバセレクタ７２４に送信してもよい。
【００５６】
サーバセレクタ７２４は、抽出されたアドレスに基づいてＡＲサービスサーバ７０１、７０２および７０３のうちの任意の１つを選択し、マーカを選択されたＡＲサービスサーバに送ることができる。したがって、ゲートウェイ７２０はマーカを選択されたＡＲサービスサーバに送り、送られたマーカに対応するＶＲデータを選択されたＡＲサービスサーバから受け取ってもよい。ゲートウェイ７２０を介して送られたマーカに対応するＶＲデータは、再びゲートウェイ７２０を介してＡＲユーザデバイス４００’に送信される。
【００５７】
図４に示す実施形態と比較して、マーカアナライザ４４０は任意で、ＡＲユーザデバイス４００’で省略されてもよい。すなわち、ＡＲユーザデバイス４００’は、所定のアドレスを有するゲートウェイ７２０にマーカを送信する。したがって、図７に示す実施形態によれば、図４に示すマーカアナライザ４４０は任意で省略されてもよいので、ＡＲユーザデバイス４００’の構成は単純でありうる。
【００５８】
当業者には、本明細書で開示するこの、ならびに他のプロセスおよび方法について、プロセスおよび方法の中で実行される機能は異なる順序で実施されてもよいということが理解されよう。さらに、概説されたステップおよび動作は単に例として示され、ステップおよび動作のうちのいくつかは任意であってもよく、開示する実施形態の本質を損なうことなく、より少ないステップおよび動作に結合されるか、またはさらなるステップおよび動作に拡大されてもよい。
【００５９】
本開示は、様々な態様の例示として意図された本出願で説明する特定の実施形態に関して限定されることはない。当業者には理解されるように、その精神および範囲から逸脱することなく、多くの修正および変更がなされうる。本明細書で列挙するものに加えて、本開示の範囲内にある機能的に同等の方法および装置は、上記の説明から当業者には明らかであろう。そのような修正形態および変更形態は、添付の特許請求の範囲内に入ることが意図されている。本開示は、そのような特許請求項が権利付与される均等物の完全な範囲とともに、添付の特許請求の範囲の条項によってのみ限定される。本開示は、当然のことながら異なる可能性のある特定の方法、試薬、化合物の組成または生物システムに限定されないことが理解されよう。また、本明細書で使用する用語は、単に特定の実施形態を説明するためのものであり、限定を意図してはいない。
【００６０】
例示的実施形態で、本明細書で説明する任意の動作、プロセスなどは、コンピュータ可読媒体で保存されるコンピュータ可読命令として実装されることが可能である。コンピュータ可読命令は、モバイルユニット、ネットワーク要素および／または任意のその他コンピューティングデバイスによって実行されることが可能である。
【００６１】
システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に（いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になりうるという点で）コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび／またはシステムおよび／または他の技術をもたらすことができる様々な達成手段があり（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい達成手段は、プロセスおよび／またはシステムおよび／または他の技術が導入される状況によって異なる。例えば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび／またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、さらに別の代替案として、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアの何らかの組み合わせを選択することができる。
【００６２】
前述の詳細な説明では、ブロック図、フローチャート、および／または例の使用によって、装置および／またはプロセスの様々な実施形態を説明してきた。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステム上で動作する１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサ上で動作する１つまたは複数のプログラムとして）、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムを様々な形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピーディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。
【００６３】
本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループおよびコントロールモータを含むコントロールシステム（例えば、位置検知用および／もしくは速度検知用フィードバック、コンポーネントの移動用および／もしくは数量の調整用コントロールモータ）を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。
【００６４】
本明細書に記載された主題は、様々なコンポーネントをしばしば例示しており、これらのコンポーネントは、他の様々なコンポーネントに包含されるか、または他の様々なコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例示にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されているとみなすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」とみなすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。
【００６５】
本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。様々な単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【００６６】
通常、本明細書において、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（例えば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。例えば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。
【００６７】
さらに、本開示の特徴または態様がマーカッシュグループに関して説明される個所では、本開示もまた、マーカッシュグループの任意の個人メンバーまたはメンバーのサブグループに関して述べられていることが当業者には理解されよう。
【００６８】
当業者には理解されるように、例えば書面による説明を提供することに関してなど、任意のおよびすべての目的のために、本明細書で開示するすべての範囲はまた、任意のおよびすべての可能な部分的範囲およびその部分的範囲の組み合わせを包含する。任意の一覧表示される範囲は、十分に説明された、同じ範囲が少なくとも２等分、３等分、４等分、５等分、１０等分などに分割されることを可能にするものとして、容易に認識されうる。非限定的な例として、本明細書で論じられる各範囲は、２番目の３分の１、真ん中の３分の１および最初の３分の１などに容易に分割されることが可能である。これもまた当業者によって理解されるように、「最大」、「少なくとも」などのすべての言葉は記載される番号を含み、後で上述のような部分的範囲に分割されることが可能な範囲のことを指す。最後に、当業者には理解されるように、範囲は各々の個々のメンバーを含む。したがって、１〜３のセルを有するグループのことを１、２または３セルを有するグループと呼ぶ。同様に、１〜５のセルを有するグループのことを１、２、３、４または５セルを有するグループと呼ぶ、などとする。
【００６９】
以上から、本開示の様々な実施形態は、本明細書で例示を目的として説明されており、本開示の範囲および精神から逸脱することなく、様々な変更がなされてもよいことが理解されよう。したがって、本明細書で開示する様々な実施形態は限定されることは意図されておらず、以下の特許請求の範囲によって示される真の範囲および精神を伴う。
【特許請求の範囲】
【請求項１】
ユーザの入力に応じて、ウェブコンテンツおよびマーカを検索するように構成された検索エンジンと、
前記検索されたウェブコンテンツを前記検索されたマーカとマッチングするように構成されたマッチングユニットと、
前記検索されたウェブコンテンツおよび前記検索されたマーカを含むドキュメントをユーザに送信するように構成された出力ユニットとを備えるシステム。
【請求項２】
多数のウェブコンテンツを保存するように構成されたウェブコンテンツデータベースと、
多数のマーカを保存するように構成されたマーカデータベースとをさらに備え、
前記検索エンジンが、前記ユーザの前記入力に応じて、前記ウェブコンテンツおよび前記マーカを検索するために前記ウェブコンテンツおよび前記マーカデータベースにアクセスする請求項１に記載のシステム。
【請求項３】
マーカおよびその対応するインデックスを外部デバイスから受信し、前記受信されたマーカおよび前記インデックスを前記マーカデータベースに送信するように構成されたマーカ入力ユニットをさらに備える請求項２に記載のシステム。
【請求項４】
前記マーカ入力ユニットは、前記マーカおよび前記インデックスを前記外部デバイスから受信するように構成されたユーザインターフェースを含む請求項３に記載のシステム。
【請求項５】
前記マーカの前記インデックスは、仮想現実（ＶＲ）データを記述する上位または下位の用語を含む請求項３に記載のシステム。
【請求項６】
前記ドキュメントは、前記検索されたウェブコンテンツおよび前記検索されたマーカを含むウェブページである請求項１に記載のシステム。
【請求項７】
拡張現実（ＡＲ）ユーザデバイスと通信するＡＲサービスサーバであって、
前記ＡＲユーザデバイスからマーカデータを受信するように構成されたマーカデータレシーバと、
仮想現実（ＶＲ）データを保存するように構成されたＶＲデータデータベースと、
前記マーカデータレシーバから前記マーカデータを受け取り、前記ＶＲデータデータベースにアクセスして、前記受け取ったマーカデータに対応するＶＲデータを検索するように構成されたＶＲデータレトリーバと、
前記検索されたＶＲデータを前記ＡＲユーザデバイスに送信するように構成されたＶＲデータトランスミッタとを備えるＡＲサービスサーバ。
【請求項８】
前記マーカデータは前記マーカの識別子（ＩＤ）を含み、前記ＶＲデータレトリーバは、前記マーカの前記ＩＤを使用することによって、前記受け取ったマーカデータに対応する前記ＶＲデータを検索するようにさらに構成されている請求項７に記載のＡＲサービスサーバ。
【請求項９】
前記ＶＲデータを生成し、前記生成されたＶＲデータを前記ＶＲデータデータベースに提供するように構成されたＶＲデータジェネレータと、
前記生成されたＶＲデータに対応する前記マーカを生成し、前記生成されたマーカを前記ＶＲデータデータベースに提供するように構成されたマーカジェネレータとをさらに備える請求項７に記載のＡＲサービスサーバ。
【請求項１０】
拡張現実（ＡＲ）サービスサーバと通信するＡＲユーザデバイスであって、
カメラによって取り込まれた実世界画像からマーカを感知し、抽出するように構成されたマーカセンサと、
前記マーカのマーカデータを前記ＡＲサービスサーバに送信するように構成されたマーカデータトランスミッタと、
前記マーカデータに対応するＶＲデータを前記ＡＲサービスサーバから受信するように構成された仮想現実（ＶＲ）データレシーバと、
前記受信されたＶＲデータおよび前記実世界画像を使用することによってＡＲデータを生成するように構成されたＡＲデータジェネレータとを備えるＡＲユーザデバイス。
【請求項１１】
前記実世界画像は、ウェブコンテンツおよび前記マーカを含む請求項１０に記載のＡＲユーザデバイス。
【請求項１２】
前記ウェブコンテンツおよび前記マーカは、前記ＡＲユーザデバイスと通信する検索システムから受信される請求項１１に記載のＡＲユーザデバイス。
【請求項１３】
前記実世界画像をデジタル画像データに変換し、前記デジタル画像データを前記マーカセンサに送るように構成された画像プロセッサをさらに備える請求項１０に記載のＡＲユーザデバイス。
【請求項１４】
前記マーカセンサから受け取った前記抽出されたマーカを分析し、前記マーカデータトランスミッタへ送るための前記マーカデータを生成するように構成されたマーカアナライザをさらに備える請求項１０に記載のＡＲユーザデバイス。
【請求項１５】
前記マーカデータは、前記マーカの画像を含む請求項１０に記載のＡＲユーザデバイス。
【請求項１６】
前記マーカデータは、前記ＡＲサービスサーバのアドレスおよびマーカ識別子（ＩＤ）のうちの少なくとも１つを含む請求項１０に記載のＡＲユーザデバイス。
【請求項１７】
前記マーカデータは、前記検索システムのアドレスを含む請求項１２に記載のＡＲユーザデバイス。
【請求項１８】
前記ＡＲユーザデバイスはゲートウェイを介して多数のＡＲサービスサーバと通信し、前記ゲートウェイは、前記マーカデータを使用することによって、前記多数の前記ＡＲサービスサーバのうちの１つを選択して、前記マーカを前記選択されたＡＲサービスサーバに送信する請求項１６に記載のＡＲユーザデバイス。
【請求項１９】
前記ゲートウェイは、前記マーカデータから前記ＡＲサービスサーバの前記アドレスを抽出することによって、前記多数の前記ＡＲサービスサーバのうちの１つを選択する請求項１８に記載のＡＲユーザデバイス。
【請求項２０】
前記ゲートウェイは、前記選択されたＡＲサービスサーバから前記ＶＲデータを受信し、前記ＶＲデータを前記ＡＲユーザデバイスに送信する請求項１９に記載のＡＲユーザデバイス。
【請求項１】
ユーザの入力に応じて、ウェブコンテンツおよびマーカを検索するように構成された検索エンジンと、
前記検索されたウェブコンテンツを前記検索されたマーカとマッチングするように構成されたマッチングユニットと、
前記検索されたウェブコンテンツおよび前記検索されたマーカを含むドキュメントをユーザに送信するように構成された出力ユニットとを備えるシステム。
【請求項２】
多数のウェブコンテンツを保存するように構成されたウェブコンテンツデータベースと、
多数のマーカを保存するように構成されたマーカデータベースとをさらに備え、
前記検索エンジンが、前記ユーザの前記入力に応じて、前記ウェブコンテンツおよび前記マーカを検索するために前記ウェブコンテンツおよび前記マーカデータベースにアクセスする請求項１に記載のシステム。
【請求項３】
マーカおよびその対応するインデックスを外部デバイスから受信し、前記受信されたマーカおよび前記インデックスを前記マーカデータベースに送信するように構成されたマーカ入力ユニットをさらに備える請求項２に記載のシステム。
【請求項４】
前記マーカ入力ユニットは、前記マーカおよび前記インデックスを前記外部デバイスから受信するように構成されたユーザインターフェースを含む請求項３に記載のシステム。
【請求項５】
前記マーカの前記インデックスは、仮想現実（ＶＲ）データを記述する上位または下位の用語を含む請求項３に記載のシステム。
【請求項６】
前記ドキュメントは、前記検索されたウェブコンテンツおよび前記検索されたマーカを含むウェブページである請求項１に記載のシステム。
【請求項７】
拡張現実（ＡＲ）ユーザデバイスと通信するＡＲサービスサーバであって、
前記ＡＲユーザデバイスからマーカデータを受信するように構成されたマーカデータレシーバと、
仮想現実（ＶＲ）データを保存するように構成されたＶＲデータデータベースと、
前記マーカデータレシーバから前記マーカデータを受け取り、前記ＶＲデータデータベースにアクセスして、前記受け取ったマーカデータに対応するＶＲデータを検索するように構成されたＶＲデータレトリーバと、
前記検索されたＶＲデータを前記ＡＲユーザデバイスに送信するように構成されたＶＲデータトランスミッタとを備えるＡＲサービスサーバ。
【請求項８】
前記マーカデータは前記マーカの識別子（ＩＤ）を含み、前記ＶＲデータレトリーバは、前記マーカの前記ＩＤを使用することによって、前記受け取ったマーカデータに対応する前記ＶＲデータを検索するようにさらに構成されている請求項７に記載のＡＲサービスサーバ。
【請求項９】
前記ＶＲデータを生成し、前記生成されたＶＲデータを前記ＶＲデータデータベースに提供するように構成されたＶＲデータジェネレータと、
前記生成されたＶＲデータに対応する前記マーカを生成し、前記生成されたマーカを前記ＶＲデータデータベースに提供するように構成されたマーカジェネレータとをさらに備える請求項７に記載のＡＲサービスサーバ。
【請求項１０】
拡張現実（ＡＲ）サービスサーバと通信するＡＲユーザデバイスであって、
カメラによって取り込まれた実世界画像からマーカを感知し、抽出するように構成されたマーカセンサと、
前記マーカのマーカデータを前記ＡＲサービスサーバに送信するように構成されたマーカデータトランスミッタと、
前記マーカデータに対応するＶＲデータを前記ＡＲサービスサーバから受信するように構成された仮想現実（ＶＲ）データレシーバと、
前記受信されたＶＲデータおよび前記実世界画像を使用することによってＡＲデータを生成するように構成されたＡＲデータジェネレータとを備えるＡＲユーザデバイス。
【請求項１１】
前記実世界画像は、ウェブコンテンツおよび前記マーカを含む請求項１０に記載のＡＲユーザデバイス。
【請求項１２】
前記ウェブコンテンツおよび前記マーカは、前記ＡＲユーザデバイスと通信する検索システムから受信される請求項１１に記載のＡＲユーザデバイス。
【請求項１３】
前記実世界画像をデジタル画像データに変換し、前記デジタル画像データを前記マーカセンサに送るように構成された画像プロセッサをさらに備える請求項１０に記載のＡＲユーザデバイス。
【請求項１４】
前記マーカセンサから受け取った前記抽出されたマーカを分析し、前記マーカデータトランスミッタへ送るための前記マーカデータを生成するように構成されたマーカアナライザをさらに備える請求項１０に記載のＡＲユーザデバイス。
【請求項１５】
前記マーカデータは、前記マーカの画像を含む請求項１０に記載のＡＲユーザデバイス。
【請求項１６】
前記マーカデータは、前記ＡＲサービスサーバのアドレスおよびマーカ識別子（ＩＤ）のうちの少なくとも１つを含む請求項１０に記載のＡＲユーザデバイス。
【請求項１７】
前記マーカデータは、前記検索システムのアドレスを含む請求項１２に記載のＡＲユーザデバイス。
【請求項１８】
前記ＡＲユーザデバイスはゲートウェイを介して多数のＡＲサービスサーバと通信し、前記ゲートウェイは、前記マーカデータを使用することによって、前記多数の前記ＡＲサービスサーバのうちの１つを選択して、前記マーカを前記選択されたＡＲサービスサーバに送信する請求項１６に記載のＡＲユーザデバイス。
【請求項１９】
前記ゲートウェイは、前記マーカデータから前記ＡＲサービスサーバの前記アドレスを抽出することによって、前記多数の前記ＡＲサービスサーバのうちの１つを選択する請求項１８に記載のＡＲユーザデバイス。
【請求項２０】
前記ゲートウェイは、前記選択されたＡＲサービスサーバから前記ＶＲデータを受信し、前記ＶＲデータを前記ＡＲユーザデバイスに送信する請求項１９に記載のＡＲユーザデバイス。
【図１ａ】
【図１ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２０１３−５２０７４３（Ｐ２０１３−５２０７４３Ａ）
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１２−５５４８９１（Ｐ２０１２−５５４８９１）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００８９８６
【国際公開番号】ＷＯ２０１１／１２９５１３
【国際公開日】平成２３年１０月２０日（２０１１．１０．２０）
【出願人】（５１２０９９８１７）ビズモードライン カンパニー リミテッド (4)
【Ｆターム（参考）】
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００８９８６
【国際公開番号】ＷＯ２０１１／１２９５１３
【国際公開日】平成２３年１０月２０日（２０１１．１０．２０）
【出願人】（５１２０９９８１７）ビズモードライン カンパニー リミテッド (4)
【Ｆターム（参考）】
[ Back to top ]