情報処理システム、その制御方法及びプログラム
【課題】オブジェクトから見て有用な方位範囲の地点であるか、そうでない方位範囲の地点であるかに応じて、当該オブジェクトに関するコンピュータグラフィックス画像データの見せ方を変える。
【解決手段】携帯端末１０は、自らの位置及び姿勢を検知する。タグ管理サーバ２０は、その検知結果に基づいて、現実空間のオブジェクトの位置から見て携帯端末１０がどの方位範囲に属するか解析し、携帯端末１０において提示させる当該オブジェクトに関するコンピュータグラフィックス画像データを切り替える。
【解決手段】携帯端末１０は、自らの位置及び姿勢を検知する。タグ管理サーバ２０は、その検知結果に基づいて、現実空間のオブジェクトの位置から見て携帯端末１０がどの方位範囲に属するか解析し、携帯端末１０において提示させる当該オブジェクトに関するコンピュータグラフィックス画像データを切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な技術に関するものである。
【背景技術】
【０００２】
従来、「時間」、「距離」、「エアタグの種類」を指定すると、指定した条件に合致するタグのみを表示し、煩雑に表示されていたタグを整理する技術が知られている（例えば、非特許文献１参照）。
【０００３】
また、タグが集まっているところをユーザが長押しすると、周りのタグが吸い寄せられて、螺旋状に回り出し、奥から手前にタグが順々に回り、ユーザは気になるタグを見つけたらタップして当該タグに係る詳細を参照することができる技術が知られている（例えば、非特許文献２参照）。
【０００４】
ところで、ＡＲ（Augmented Reality）は、現実空間に情報を付加させる技術であり、現実空間に関する情報は、方位が非常に大きな意味を持つ。例えば、「日本に初めて訪れた外国人が、雷門を目印に浅草寺を探し、お参りする」といった場合、往路に至っては雷門の位置を知らせる情報（例えば、“雷門”と大きく書かれたタグ）が価値ある情報であるが、復路に至っては既に知っている情報なので、情報の価値は半減する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｓｅｋａｉ Ｃａｍｅｒａ Ｓｕｐｐｏｒｔ Ｃｅｎｔｅｒ、インターネット＜http://support.sekaicamera.com/ja/service＞
【非特許文献２】ふぉーんなハナシ セカイカメラのセカイを楽しむ小技、インターネット＜http://plusd.itmedia.co.jp/mobile/articles/0910/01/news114.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１、２に開示された技術は何れの場合も、雷門に向けてスマートフォンを翳せば、一様に“雷門”と大きくタグが表示されてしまう。このように現実空間の映像に付加される情報は、方位によって情報の価値は変わるのに、それが考慮されないまま一様に表示されていた。
【０００７】
そこで、本発明の目的は、オブジェクトから見て有用な方位範囲の地点であるか、そうでない方位範囲の地点であるかに応じて、当該オブジェクトに関するコンピュータグラフィックス画像データの見せ方を変えることにある。
【課題を解決するための手段】
【０００８】
本発明の情報処理システムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムであって、前記拡張現実感提示装置の位置及び姿勢を検知する検知手段と、前記検知手段による検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第１の解析手段と、前記第１の解析手段による解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御手段とを有することを特徴とする。
本発明の情報処理システムの制御方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法であって、前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップとを含むことを特徴とする。
本発明のプログラムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法をコンピュータに実行させるためのプログラムであって、前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本実施形態によれば、オブジェクトから見て有用な方位範囲の地点であるか、そうでない方位範囲の地点であるかに応じて、当該オブジェクトに関するコンピュータグラフィックス画像データの見せ方を変えることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。
【図２−１】本発明の実施形態におけるタグ管理サーバのハードウェア構成を示す図である。
【図２−２】本発明の実施形態における携帯端末のハードウェア構成を示す図である。
【図３】本発明の実施形態に係るＡＲタグ表示システムの処理の流れを示すフローチャートである。
【図４】本実施形態に係るＡＲタグ表示システムの動作を具体的に説明するためのストーリーを示す図である。
【図５−１】図４の４０１、４０３に示す経路をユーザが携帯端末を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明するための図である。
【図５−２】携帯端末の画面表示例を示す図である。
【図６−１】図４の４０２、４０４に示す経路をユーザが携帯端末を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明するための図である。
【図６−２】携帯端末の画面表示例を示す図である。
【図７】ユーザが携帯端末の画面上に表示されているタグをタップした場合に起動する処理を示すフローチャートである。
【図８】ユーザによって設定された散歩道に基づいて、タグ管理テーブルの評価値を更新する処理を具体的に説明するための図である。
【図９】本発明の第３の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。
【図１０】本発明の第３の実施形態に係るＡＲ表示システムの動作を示すフローチャートである。
【図１１】図１０のステップＳ１００４〜Ｓ１００８を具体的に説明するための図である。
【図１２】本発明の第４の実施形態において使用する三次元タグの一例を説明するための図である。
【図１３】本発明の第４の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。図１に示すように、本実施形態に係るＡＲタグ表示システムは、ユーザが所持するカメラ機能付き携帯端末１０と、現実空間の映像に合成表示されるタグを管理するためのタグ管理サーバ２０とで構成される。なお、図１においては、説明の簡単のため、携帯端末１０、タグ管理サーバ２０をそれぞれ一つずつ示しているが、実際にはそれぞれが任意数あって構わない。
【００１３】
携帯端末１０は、位置姿勢検知部１０１、評価受付部１０２及び提示部１０３を備える。提示部１０３は、タグを表すコンピュータグラフィックス画像データを、現実空間の映像と合成して表示する。即ち、携帯端末１０は、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示した現実空間の映像にコンピュータグラフィックス画像データを合成表示することにより、拡張された現実感を演出する。以下では、このように拡張された現実感を与えるコンピュータグラフィックス画像データの合成表示を、ＡＲ（Augmented Reality）表示と称することがある。
【００１４】
なお、以下で説明する実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例として携帯端末型のＡＲ表示デバイスを挙げているが、これに限られない。例えば、ユーザの頭部に装着される眼鏡型のＨＭＤ（Head Mounted Display）も適用できる。ＨＭＤは、現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。また、ＨＭＤには、非透過型、ビデオ透過型、光学透過型等の様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤのレンズに映し出される現実空間の映像に対し、その映像に整合する位置にコンピュータグラフィックス画像データを合成表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示される。その他、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。
【００１５】
また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、本実施形態においては、位置姿勢検知部１０１が携帯端末１０の位置（緯度、経度）と姿勢（方向、仰角）とを検知し、提示部１０３が位置及び姿勢に基づいて携帯端末１０を所持するユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成する。
【００１６】
評価受付部１０２は、携帯端末１０の画面上に表示されるタグがユーザによってタップされると、その回数に応じた評価値の入力を受け付ける。例えば、ユーザによって或るタグが３回タップされると、当該タグに対する＋３ポイントの評価値の入力を受け付ける。なお、タップに限定する必要はなく、ユーザの音声をマイクロフォンとAD変換器によりデジタル信号として記録し、スペクトラムアナライザなどを用いて音声解析した結果を、評価値の入力として受け付けても良い。例えば、ユーザが「雷門最高！」としゃべると、音声解析の結果とそれを自然言語処理することで、雷門に関するタグに対する＋１００ポイントの評価値の入力を受け付ける。その他、ユーザの位置をGPS等で計測して、ユーザが当該タグの傍を通過したか否かを判別し、通過すれば当該タグに対する＋１０ポイントの評価値の入力を受け付けても良い。その他、タグをユーザが凝視する行為等、タグを意識しているとする動作のパターンに応じた評価値の入力動作が考えられる。
【００１７】
タグ管理サーバ２０は、表示タグ解析部２０１、タグ表示指示部２０２、タグ管理テーブル２０３及び表示態様管理テーブル２０４を備える。表示タグ解析部２０１は、携帯端末１０から位置及び姿勢を受信し、ユーザが現実空間のどのオブジェクトを見ているか解析する。そして、表示タグ解析部２０１は、そのオブジェクトから見てユーザがどの方位範囲に位置するかを解析し、オブジェクトのタグのタグＩＤ及び解析した方位範囲に対応する評価点をタグ管理テーブル２０３から取得する。表示タグ解析部２０１は、オブジェクトのタグのタグＩＤ、位置及び評価点をタグ表示指示部２０２に対して出力する。
【００１８】
タグ管理テーブル２０３には、タグＩＤ及び位置毎に、方位範囲、評価点が管理されている。ここでいう位置とは、現実空間におけるオブジェクトの位置であり、当該オブジェクトに対応するタグが合成表示される位置でもある。また、方位範囲とは、オブジェクトの位置を基準として見た方位範囲を意味する。タグ管理サーバ２０は、携帯端末１０の評価受付部１０２から評価値を受信すると、タグ管理テーブル２０３の該当するレコードの評価値を更新する。
【００１９】
表示態様管理テーブル２０４は、評価点に対応する表示態様が管理されている。タグ表示指示部２０２は、表示タグ解析部２０１からタグＩＤ、位置及び評価点を取得すると、評価点に対応する表示態様を表示態様管理テーブル２０４から取得する。タグ表示指示部２０２は、タグＩＤに対応するコンピュータグラフィックス画像データ、位置及び表示態様を携帯端末１０に対して送信する。なお、図１に示す表示態様管理テーブル２０４では、０から５０までの評価点に対しては「小サイズ表示」が対応付けられ、５１以上の評価点に対しては「大サイズ表示」が対応付けられている。他の実施形態として、０から５０までの評価点に対しては「非表示」、５１以上の評価点に対しては「表示」というように表示自体を制御してもよい。その他の表示態様としては、評価点が高い方を、より目立つ色や太い字体で表示する、或いは、重ねて見せる際に評価点が高い方をより前面に表示するなど、評価点に応じて目立つデザインやレイアウトに表示態様を制御してもよい。
【００２０】
携帯端末１０の提示部１０３は、コンピュータグラフィックス画像データ、位置及び表示態様を受信すると、コンピュータグラフィックス画像データをその表示態様で現実空間の映像に合成表示する。即ち、「小サイズ表示」の表示態様であれば、提示部１０３はコンピュータグラフィックス画像データを小サイズで表示し、「大サイズ表示」の表示態様であれば、提示部１０３はコンピュータグラフィックス画像データを大サイズで表示する。なお、携帯端末１０にキャッシュ（高速な記憶装置）機能を備え、上記タグ表示指示部２０２が携帯端末１０に対して送信したコンピュータグラフィックス画像データ等をキャッシュして、処理の高速化を図ってもよい。この場合、提示部１０３は、キャッシュよりコンピュータグラフィックス画像データ、位置及び表示態様等を受信し、コンピュータグラフィックス画像データをその表示態様で現実空間の映像に合成表示する。
【００２１】
図２−１は、本実施形態におけるタグ管理サーバ２０のハードウェア構成を示す図である。図２−１において、ＣＰＵ１２１０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１２１０２或いはＨＤＤ１２１０５には、ＣＰＵ１２１０１の制御プログラムであるオペレーティングシステム（ＯＳ）や、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ１２１０３は、ＣＰＵ１２１０１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ１２１０４は、ネットワークを介して外部機器（例えば、携帯端末１０）との通信制御処理を実行する。なお、ＨＤＤ１２１０５の代替手段として、ＳＤＤ（Solid State Drive）を用いてもよい。
【００２２】
図２−２は、本実施形態における携帯端末１０のハードウェア構成を示す図である。図２−２において、ＣＰＵ１２２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１２２０２には、ＣＰＵ１２２０１の制御プログラムであるＯＳや、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ１２２０３は、ＣＰＵ１２２０１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ１２２０４は、ネットワークを介して外部機器（例えば、タグ管理サーバ２０）との通信制御処理を実行する。ディスプレイコントローラ１２２０５は、ディスプレイ１２２０６における画像表示を制御する。
【００２３】
図３は、本実施形態に係るＡＲタグ表示システムの処理の流れを示すフローチャートである。以下、図１及び図３を参照しながら、本実施形態に係るＡＲタグ表示システムの処理について説明する。
【００２４】
携帯端末１０の位置姿勢検知部１０１は、携帯端末１０の位置及び姿勢を検知する（ステップＳ３０１）。次に、携帯端末１０は、位置姿勢検知部１０１によって検知された位置及び姿勢をタグ管理サーバ２０に対して送信する（ステップＳ３０２）。
【００２５】
タグ管理サーバ２０は、携帯端末１０から位置及び姿勢を受信する（ステップＳ３０３）。次に、タグ管理サーバ２０の表示タグ解析部２０１は、上記位置及び姿勢に基づいて、携帯端末１０を所持するユーザがどのオブジェクトを見ているかを解析する。そして、表示タグ解析部２０１は、オブジェクトから見てユーザがどの方位範囲に位置するかを解析し、オブジェクトのタグのタグＩＤ及び当該方位範囲に対応する評価点をタグ管理テーブル２０３から取得し、タグＩＤ、位置及び評価点をタグ表示指示部２０２に対して出力する（ステップＳ３０４）。
【００２６】
次に、タグ表示指示部２０２は、表示タグ解析部２０１からタグＩＤ、位置及び評価点を取得し、評価点に対応する表示態様を表示態様管理テーブル２０４から取得する（ステップＳ３０５）。タグ表示指示部２０２は、タグＩＤに対応するコンピュータグラフィックス画像データ、位置及び表示態様を携帯端末１０に対して送信する（ステップＳ３０６）。
【００２７】
携帯端末１０は、タグ管理サーバ２０から、コンピュータグラフィックス画像データ、位置及び表示態様を受信する（ステップＳ３０７）。次に、携帯端末１０の提示部１０３は、その表示態様でコンピュータグラフィックス画像データを現実空間の映像に合成表示する（ステップＳ３０８）。
【００２８】
以下、具体的なストーリーを例に挙げて、本実施形態に係るＡＲタグ表示システムの動作を具体的に説明する。ここで例に挙げるストーリーは、「ユーザは、浅草駅から雷門を目印に浅草寺に向かい、浅草寺でお参りをした後、仲見世通りにある「雷おこし本舗」にてお土産を買って、浅草駅に帰る」である。図４は、当該ストーリーにおけるユーザの経路を示す図である。図４の４０１及び４０２は、当該ストーリーの往路の一部を示しており、４０３及び４０４は、当該ストーリーの復路の一部を示している。図４の４０１は、浅草駅から雷門の近くの地点Ａまでの経路である。図４の４０２は、雷門をくぐって雷おこし本舗の近くの地点Ｂまでの経路である。図４の４０３は、浅草寺から雷おこし本舗の近くの地点Ｃまでの経路である。図４の４０４は、雷おこし本舗から雷門の近くの地点Ｄまでの経路である。
【００２９】
先ず、図５−１を参照しながら、図４の４０１に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図５−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら雷門付近の地点Ａまで歩いてくると、表示タグ解析部２０１は、携帯端末１０が地点Ａに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、ユーザが携帯端末１０の画面上で雷門を閲覧しており、且つ、ユーザが雷門の位置（ｘ1，ｙ1）から見て１°〜９０°の方位範囲に位置することを解析し、タグ管理テーブル２０３から該当するレコードの評価点を取得する。
【００３０】
図５−１（ｂ）は、タグ管理テーブル２０３の関連個所を抜粋した図である。表示タグ解析部２０１は、携帯端末１０から受信した携帯端末１０の位置及び姿勢に基づいて、ユーザが携帯端末１０の画面上でどのオブジェクトをどの方位範囲から見ているかを解析し、その解析結果に該当するレコードの評価点をタグ管理テーブル２０３から取得する。ここでは、ユーザが見ているオブジェクトは位置（ｘ1，ｙ1）の雷門であり、且つ、ユーザは当該雷門のタグから見て方位範囲１°〜９０°に位置する。従って、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード５０１の評価点＋９０を取得する。
【００３１】
表示タグ解析部２０１は、レコード５０１から取得した評価点＋９０、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ及び位置（ｘ1，ｙ1）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ、「大サイズ表示」を示す表示態様及び位置（ｘ1，ｙ1）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、タグＩＤ“００１”に対応する雷門のタグのコンピュータグラフィックス画像データを、「大サイズ表示」の表示態様で、現実空間の位置（ｘ1，ｙ1）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら浅草駅から雷門付近の地点Ａに到着すると、携帯端末１０の画面上において、雷門のタグのコンピュータグラフィックス画像データが大きなサイズで表示されることになる。
【００３２】
図５−２（ａ）は、ユーザが携帯端末１０を翳しながら浅草駅から雷門付近の地点Ａに到着した場合における携帯端末１０の画面表示例を示す図である。図５−２（ａ）に示すように、携帯端末１０の画面上では、現実空間における雷門の映像５２１の近傍に、雷門のタグのコンピュータグラフィックス画像データ５２２が大きなサイズで表示される。
【００３３】
次に、同じく図５−１を参照しながら、図４の４０３に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図５−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら雷おこし本舗から雷門付近の地点Ｄまで歩いてくると、ユーザは携帯端末１０の画面上で位置（ｘ1，ｙ1）の雷門を見ており、且つ、ユーザは雷門の位置（ｘ1，ｙ1）から見て方位１８１°〜２７０°の方位範囲に位置する。表示タグ解析部２０１は、携帯端末１０が地点Ｄに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、これらの事項を解析し、タグ解析テーブル２０３から該当するレコードの評価点を取得する。従って、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード５０２の評価点＋２０を取得する。
【００３４】
表示タグ解析部２０１は、レコード５０２から取得した評価点＋２０、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ及び位置（ｘ1，ｙ1）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ、「小サイズ表示」を示す表示態様及び位置（ｘ1，ｙ1）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、タグＩＤ“００１”に対応する雷門のタグのコンピュータグラフィックス画像データを「小サイズ表示」の表示態様で、現実空間の位置（ｘ1，ｙ1）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら浅草寺から雷付近の地点Ｄに到着すると、携帯端末１０の画面上において、雷門のタグのコンピュータグラフィックス画像データが小さなサイズで表示されることになる。
【００３５】
図５−２（ｂ）は、ユーザが携帯端末１０を翳しながら浅草寺から雷門付近の地点Ｄに到着した場合における携帯端末１０の画面表示例を示す図である。図５−２（ｂ）に示すように、携帯端末１０の画面上では、現実空間における雷門の映像５２３の近傍に、雷門のタグのコンピュータグラフィックス画像データ５２４が小さなサイズで表示される。
【００３６】
次に、図６−１を参照しながら、図４の４０２に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図６−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら雷門から雷おこし本舗付近の地点Ｂまで歩いてくると、ユーザは携帯端末１０の画面上で位置（ｘ2，ｙ2）の雷おこし本舗を見ており、且つ、ユーザは雷おこし本舗の位置（ｘ2，ｙ2）から見て２７１°〜３６０°の方位範囲に位置する。表示タグ解析部２０１は、携帯端末１０が地点Ｂに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、これらの事項を解析し、タグ管理テーブル２０３から該当するレコードの評価点を取得する。
【００３７】
図６−１（ｂ）は、タグ管理テーブル２０３の関連箇所を抜粋した図である。上述したように、ユーザは携帯端末１０の画面上で位置（ｘ2，ｙ2）の雷おこし本舗を見ており、且つ、ユーザは雷おこし本舗（位置（ｘ2，ｙ2））から見て２７１°〜３６０°の方位範囲に位置する。そのため、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード６０１の評価点＋２５を取得する。
【００３８】
表示タグ解析部２０１は、レコード６０１から取得した評価点＋２５、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ及び位置（ｘ2，ｙ2）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ、「小サイズ表示」を示す表示態様及び位置（ｘ2，ｙ2）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、雷おこし本舗のタグのコンピュータグラフィックス画像データを、「小サイズ表示」の表示態様で、現実空間の位置（ｘ2，ｙ2）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら雷門から雷おこし本舗付近の地点Ｂに到着すると、携帯端末１０の画面上において、雷おこし本舗のタグのコンピュータグラフィックス画像データが小さなサイズで表示されることになる。
【００３９】
図６−２（ａ）は、ユーザが携帯端末１０を翳しながら雷門から雷おこし本舗付近の地点Ｂに到着した場合における携帯端末１０の画面表示例を示す図である。図６−２（ａ）に示すように、携帯端末１０の画面上では、現実空間における雷おこし本舗の映像６２１の近傍に、雷おこし本舗のタグのコンピュータグラフィックス画像データ６２２が小さなサイズで表示される。
【００４０】
次に、同じく図６−１を参照しながら、図４の４０３に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図６−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら浅草寺から雷おこし本舗付近の地点Ｃまで歩いてくると、ユーザは携帯端末１０の画面上で位置（ｘ2，ｙ2）の雷おこし本舗を見ており、且つ、ユーザは雷おこし本舗の位置（ｘ2，ｙ2）から見て１８１°〜２７０°の方位範囲に位置する。表示タグ解析部２０１は、携帯端末１０が地点Ｃに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、これらの事項を解析し、タグ解析テーブル２０３から該当するレコードの評価点を取得する。従って、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード６０２の評価点＋８０を取得する。
【００４１】
表示タグ解析部２０１は、レコード６０２から参照した評価点＋８０、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ及び位置（ｘ2，ｙ2）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ、「大サイズ表示」を示す表示態様及び位置（ｘ2，ｙ2）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、タグＩＤ“００２”に対応する雷おこし本舗のタグのコンピュータグラフィックス画像データを、「大サイズ表示」の表示態様で、現実空間の位置（ｘ2，ｙ2）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら浅草寺から雷おこし本舗付近の地点Ｃに到着すると、携帯端末１０の画面上において、雷おこし本舗のタグのコンピュータグラフィックス画像データが大きなサイズで表示されることになる。
【００４２】
図６−２（ｂ）は、ユーザが携帯端末１０を翳しながら浅草寺から雷おこし本舗付近の地点Ｃに到着した場合における携帯端末１０の画面表示例を示す図である。図６−２（ｂ）に示すように、携帯端末１０の画面上では、現実空間の雷おこし本舗の映像６２３の近傍に、雷おこし本舗のタグのコンピュータグラフィックス画像データ６２４が大きなサイズで表示される。
【００４３】
図７は、ユーザが携帯端末１０の画面上に表示されているタグをタップした場合に起動する、評価点の設定処理を示すフローチャートである。ここで説明するユーザとは、上述した説明におけるユーザとは必ずしも一致しない。即ち、上述した説明におけるユーザは単に携帯端末１０に表示されるタグを頼りにしながら街中を歩く観光者であるのに対し、図７の説明で登場するユーザとは、このような観光者に対して、各オブジェクトについてタグを表示するのに有用であると考える方位範囲を推奨する者である。
【００４４】
以下、図７を用いて、評価点の設定処理について説明する。ユーザは、携帯端末１０を翳しながら歩いている際に、画面上に表示されるタグのうち、表示が有用であったと考えるタグをタップする。タグがタップされると、携帯端末１０の評価受付部１０２は、タップされた回数を示す回数情報と、タップされたタグのタグＩＤと、タップされた時点において位置姿勢検知部１０１が検知した携帯端末１０の位置及び姿勢とをタグ管理サーバ２０に対して送信する（ステップＳ７０１）。
【００４５】
タグ管理サーバ２０は、携帯端末１０から、回数情報とタグＩＤと携帯端末１０の位置及び姿勢とを受信する（ステップＳ７０２）。タグ管理サーバ２０は、携帯端末１０の位置及び姿勢に基づいて、当該タグＩＤのオブジェクトから見て携帯端末１０がどの方位範囲に位置するかを解析し、当該タグＩＤ及び解析した方位範囲に該当するレコードの評価点を、回数情報で示される回数分のポイントを加算する（ステップＳ７０３）。
【００４６】
ユーザは、自分にとって有用であると思ったタグに対してはタップ操作を行うことにより、その時点における当該タグに対応するオブジェクトから見た携帯端末１０の属する方位範囲の評価点を加算する。図４の例では、４０１の経路は雷門を初めて通過する経路であるため、地点Ａでは雷門のタグは有用なものとして当該タグをタップする。これにより、図５−１（ｂ）の５０１のレコードに示すように、評価点が高く設定されることになる。また、図４の４０２の経路は雷おこし本舗の近くを通過するが、雷おこし本舗は浅草寺にお参りした後に立ち寄るオブジェクトであるため、ユーザは地点Ｂでは雷おこし本舗のタグをタップしない。従って、図６−１（ｂ）の６０１のレコードに示すように、評価点は低いままとなる。
【００４７】
また、図４の４０２の経路は浅草寺にお参りした後に雷おこし本舗の近くを通過するものであるが、このとき、雷おこし本舗のタグは有用なものとなるので、地点Ｃでは雷おこし本舗のタグをタップする。これにより、図５−１（ｂ）の５０２のレコードに示すように、評価点が高く設定されることになる。また、図４の４０４の経路は雷おこし本舗を通過して雷門に向かう経路であるが、このとき、雷門は２度目の通過であるため、地点Ｄでは雷門のタグをタップしない。従って、図６−１（ｂ）のレコードに示すように、評価点は低いままとなる。
【００４８】
以上の評価点の設定処理を行うことにより、各オブジェクトから見て有用な方位範囲と考えられる地点では当該オブジェクトのタグを目立つように表示し、そうでないと考えられる方位範囲の地点では当該オブジェクトのタグは目立たないように表示することが可能となる。即ち、本実施形態によれば、オブジェクトから見て有用な方位範囲の地点であるかそうでない方位範囲の地点であるかに応じて、当該オブジェクトのタグの見せ方を変えることができる。
【００４９】
なお、本実施形態では、タップされた回数分、評価値のポイントを加算することについてのみ説明したが、ユーザが所定の操作を行うことにより、評価値のポイントを減算するようにしてもよい。これにより、例えば子供等には案内したくないようなオブジェクトについては、タグの表示を消極的な方向に制御することが可能となる。
【００５０】
また、有用なタグをタップするのではなく、ユーザが携帯端末１０を操作して、そのタグを含む画像データを撮影し、タグ管理サーバ２０に対して送信するようにしてもよい。タグ管理サーバ２０は、携帯端末１０から送信された画像データを解析することにより、携帯端末１０が翳されているオブジェクトと、当該オブジェクトから見てどの方位範囲に携帯端末１０が位置するかを判定し、タグ管理テーブル２０３の該当するレコードの評価値を更新するようにしてもよい。この場合、タグ管理サーバ２０は、画像データ解析のために必要な画像マッチング用の画像データを予め準備しており、携帯端末１０から受信した画像データと画像マッチング用の画像データとを照合することにより、上述した解析が行われる。
【００５１】
次に、本発明の第２の実施形態について説明する。本実施形態は、ユーザがお気に入りの散歩道を設定し、設定された散歩道に従って評価点を更新するものである。なお、ここでの散歩道の設定では、携帯端末１０の画面上に表示される地図情報を、オブジェクト間を結ぶようにユーザが指でなぞることにより（例えば、浅草駅→雷門→浅草寺→雷おこし本舗→浅草寺）、散歩道の経路及び進行方向を設定する。散歩道の設定方法は、その経路及び進行方向が設定できればよいため、上記の方法に限定されない。例えば、携帯端末１０を所持するユーザが実際に歩いた経路及び進行方向をＧＰＳ（global positioning system）で検知し、その検知結果を散歩道として設定してもよい。また、本実施形態に係るＡＲタグ表示システムの構成は、図１に示した構成と同様であるため、以下の説明においても図１の符号を用いるものとする。
【００５２】
携帯端末１０は、設定された散歩道をタグ管理サーバ２０に対して送信する。タグ管理サーバ２０は、受信した散歩道から、各オブジェクトについてユーザにとって有用であると推定される方位範囲には評価値を加算し、そうではないと推定される方位範囲には評価値を加算しない。
【００５３】
ユーザにとって有用であると推定される方位範囲とは、ユーザの経路が属する方位範囲であって、且つ、その方位範囲がユーザの進行方向とは逆の方位を含む方位範囲である。即ち、ユーザによって有用であると推定される方位範囲とは、ユーザがオブジェクトに対して近付く動きをする方位範囲である。反対に、ユーザにとって有用でないと推定される方位範囲とは、ユーザの経路が属しない方位範囲であるか、或いは、ユーザの経路が属する方位範囲であるが、その方位範囲がユーザの進行方向とは逆の方位を含まない方位範囲である。即ち、ユーザにとって有用でないと推定される方位範囲とは、ユーザがオブジェクトに対して近付く動きをしない方位範囲である。但し、同じオブジェクトを２回目以降に通過する場合には、２回目以降の通過時にはタグの表示価値は低く、２回目以降の通過時に関する有用な方位範囲の推定は行わない。
【００５４】
図８は、ユーザによって設定された散歩道に基づいて、タグ管理テーブル２０３の評価値を更新する処理を具体的に説明するための図である。上述した方位範囲の定義によれば、浅草駅から雷門へ向かう際の地点Ａは、雷門から見て１°〜９０°の方位範囲に位置し、且つ、この方位範囲はユーザの進行方向の逆の方位を含むため、雷門から見て１°〜９０°の方位範囲は、ユーザにとって有用な方位範囲となる。
【００５５】
また、雷門から浅草寺に向かう際の地点Ｂは、雷門から見て１８１°〜２７０°の方位範囲に位置するが、この方位範囲はユーザの進行方向の逆の方位を含まない。従って、雷門から見て１８１°〜２７０°の方位範囲は、ユーザにとって有用な方位範囲ではない。また、地点Ｂは、雷おこし本舗から見て２７１°〜３６０°の方位範囲に位置するが、この方位範囲はユーザの進行方向の逆の方位を含まない。従って、雷おこし本舗から見て２７１°〜３６０°の方位範囲も、ユーザにとって有用な方位範囲ではない。
【００５６】
浅草寺から雷おこし本舗に向かう際の地点Ｃは、雷おこし本舗から見て１８１°〜２７０°の方位範囲に位置し、且つ、この方位範囲はユーザの進行方向の逆の方位を含むため、雷おこし本舗から見て１８１°〜２７０°の方位範囲は、ユーザにとって有用な方位範囲となる。
【００５７】
また、雷おこし本舗から雷門に向かう際の地点Ｄは、雷門は２回目以降の通過となるため、有用な方位範囲の推定は行われない。従って、図８において、雷門、雷おこし本舗の各オブジェクトについて斜線で示す方位範囲について評価値の加算が行われる。
【００５８】
以上により、ユーザのお気に入りの散歩道がタグ管理テーブル２０３における評価値に反映される。これにより、他のユーザが上記散歩道を携帯端末１０を翳しながら歩いた場合、浅草駅から雷門に向かう際の地点Ａでは雷門のタグが大きく表示される傾向となる。また、浅草寺から雷おこし本舗に向かう際の地点Ｃでも雷おこし本舗のタグは大きく表示される傾向となる。このように本実施形態によれば、或るユーザが設定したお気に入りの散歩道から有用な方位範囲を自動的に推定し、その推定結果を他のユーザが同じような散歩道を歩いた場合のタグ表示に反映させている。
【００５９】
次に、本発明の第３の実施形態について説明する。図９は、本発明の第３の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。図９に示すように、本実施形態に係るＡＲタグ表示システムは、ユーザが所持するカメラ機能付き携帯端末１１０と、現実空間の映像に合成表示されるタグを管理するためのタグ管理サーバ１２０とで構成される。なお、図９においては、説明の簡単のため、携帯端末１１０、タグ管理サーバ１２０をそれぞれ一つずつ示しているが、実際にはそれぞれが任意数あって構わない。また、携帯端末１１０、タグ管理サーバ１２０のハードウェア構成は図２−１、図２−２に示した構成と同様である。
【００６０】
本実施形態における携帯端末１１０は、位置姿勢検知部１１０１及び提示部１１０３を備える。位置姿勢検知部１１０１は図１の位置姿勢検知部１０１と同じ構成であり、提示部１１０３は図１の提示部１０３と同じ構成である。
【００６１】
本実施形態におけるタグ管理サーバ１２０は、表示タグ解析部１２０１、広告料金算出部１２０２及びタグ管理テーブル１２０３を備える。タグ管理テーブル１２０３には、現実空間における位置、タグＩＤ、方位範囲、広告提供主ＩＤ、広告料金（円／日）、広告期間が対応付けて管理されている。例えば、現実空間における位置（ｘ3,ｙ3）に関しては、タグＩＤ“００３”とタグＩＤ“００４”とが対応付けられている。即ち、位置（ｘ3,ｙ3）にはタグＩＤ“００３”とタグＩＤ“００４”との２つのタグが存在することが定義されている。
【００６２】
タグＩＤ“００３”には、方位範囲１°〜１８０°が対応付けられている。これは、携帯端末１１０が位置（ｘ3,ｙ3）から見て方位範囲１°〜１８０°に位置し、且つ、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されている場合、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データが携帯端末１１０上で表示されることを意味する。また、タグＩＤ“００４”には、方位範囲１８１°〜３６０°が対応付けられている。これは、携帯端末１１０が位置（ｘ3,ｙ3）から見て方位範囲１８１°〜３６０°に位置し、且つ、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されている場合、タグＩＤ“００４”のタグのコンピュータグラフィックス画像データが携帯端末１１０上で表示されることを意味する。
【００６３】
例えば、携帯端末１１０が位置（ｘ3,ｙ3）から見て方位範囲１°〜１８０°に位置し、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されているかどうかの判断は、携帯端末１１０の位置及び姿勢に基づいて行われる。即ち、携帯端末１１０の位置が位置（ｘ3,ｙ3）から見て方位範囲１°〜１８０°に属するかどうかが判定され、また、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されているかどうかは、携帯端末１１０の位置及び姿勢から携帯端末１１０のカメラが現実空間の位置（ｘ3,ｙ3）側を向いているかどうかを判定することによって識別される。
【００６４】
表示タグ解析部１２０１は、携帯端末１１０の位置及び姿勢を携帯端末１１０から受信すると、携帯端末１１０がどの位置から見てどの方位範囲に位置し、携帯端末１１０が当該位置側に翳されているかを解析し、解析結果に合致するレコードをタグ管理テーブル１２０３から抽出する。例えば、表示タグ解析部１２０１は、携帯端末１１０が位置（ｘ3，ｙ3）から見て１°〜１８０°の方位範囲に位置し、且つ、携帯端末１１０が位置（ｘ3，ｙ3）に対して翳されていると解析した場合、タグ管理テーブル１２０３の最上段のレコードを抽出する。レコードを抽出すると、表示タグ解析部１２０１は、当該レコードにおけるタグＩＤ“００３”のタグのコンピュータグラフィックス画像データを携帯端末１１０に対して送信する。携帯端末１１０は、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データを、現実空間の位置（ｘ3，ｙ3）に合成表示する。これにより、ユーザは、携帯端末１０の画面上においてタグＩＤ“００３”のタグを閲覧することができる。
【００６５】
また、タグＩＤ“００３”には、広告提供主ＩＤ“ａａａ”が対応付けられており、タグＩＤ“００４”には、広告提供主ＩＤ“ｂｂｂ”が対応付けられている。これは、タグＩＤ“００３”のタグは、広告提供主ＩＤ“ａａａ”の広告提供主による広告であり、タグＩＤ“００４”のタグは、広告提供主ＩＤ“ｂｂｂ”の広告提供主による広告であることを意味している。即ち、タグＩＤ“００３”のタグ及びタグＩＤ“００４”のタグは、携帯端末１１０の画面上で現実空間に合成表示されることによって、それを参照するユーザに対する広告としての機能を果たす。
【００６６】
また、タグＩＤ“００３”には、広告料金（円／日）“１０，０００”が対応付けられており、タグＩＤ“００４”には、広告料金（円／日）“５，０００”が対応付けられている。これは、タグＩＤ“００３”のタグの１日当たりの広告料金が１０，０００円であり、タグＩＤ“００４”のタグの１日当たりの広告料金が５，０００円であることを意味する。
【００６７】
また、タグＩＤ“００３”には、広告期間“Ｈ２２，８，１〜”が対応付けられており、タグＩＤ“００４”には、広告期間“Ｈ２２，８，５〜”が対応付けられている。これは、タグＩＤ“００３”のタグを広告として掲載（合成表示）している期間が平成２０年８月１日から現在に至るまでであることを意味し、タグＩＤ“００４”のタグを広告として形成（合成表示）している期間が平成２０年８月５日から現在に至るまでであることを意味する。
【００６８】
広告料金算出部１２０２は、タグ毎或いは広告提供主毎に広告料金を算出する。タグ毎に広告料金を算出する場合、広告料金算出部１２０２は、タグ管理テーブル１２０３のレコード毎に広告料金（円／日）と広告期間とを乗算し、タグＩＤをキーにして集計する。また、広告提供主毎に広告料金を算出する場合、広告料金算出部１２０２は、タグ管理テーブル１２０３のレコード毎に広告料金（円／日）と広告期間とを乗算し、広告提供主ＩＤをキーにして集計する。
【００６９】
図１０は、本発明の第３の実施形態に係るＡＲ表示システムの動作を示すフローチャートである。先ず携帯端末１１０は、携帯端末１１０の位置及び姿勢を検知する（ステップＳ１００１）。次に携帯端末１１０は、検知した位置及び姿勢をタグ管理サーバ１２０に対して送信する（ステップＳ１００２）。
【００７０】
タグ管理サーバ１２０は、携帯端末１１０から位置及び姿勢を受信する（ステップＳ１００３）。次にタグ管理サーバ１２０は、携帯端末１１０の位置及び姿勢に基づいて、携帯端末１１０がどの位置に対して翳され、また、携帯端末１１０が当該位置から見てどの方位範囲に位置するかを解析する（ステップＳ１００４）。次にタグ管理サーバ１２０は、ステップＳ１００４の解析結果に合致するレコードをタグ管理テーブル１２０３から抽出する（ステップＳ１００５）。次にタグ管理サーバ１２０は、抽出した各レコードのタグＩＤのタグのコンピュータグラフィックス画像データ及び位置を携帯端末１１０に対して送信する（ステップＳ１００６）。
【００７１】
携帯端末１１０は、タグ管理サーバ１２０からタグのコンピュータグラフィックス画像データ及び位置を受信する（ステップＳ１００７）。次に携帯端末１１０は、タグのコンピュータグラフィックス画像データを現実空間の当該位置に合成表示する（ステップＳ１００８）。
【００７２】
図１１は、図１０のステップＳ１００４〜Ｓ１００８を具体的に説明するための図である。図１１において、携帯端末１１０が地点Ｇに位置し、位置（ｘ3，ｙ3）に向けて翳されている場合、タグ管理サーバ１２０の表示タグ解析部１２０１は、携帯端末１１０の位置及び姿勢から、携帯端末１１０が位置（ｘ3，ｙ3）に翳され、且つ、携帯端末１１０が位置（ｘ3，ｙ3）から見て１°〜１８０°の方位範囲に位置すると判定する。従って、表示タグ解析部１２０１は、タグ管理テーブル１２０３の最上段のレコードを抽出し、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データ及び位置（ｘ3，ｙ3）を携帯端末１１０に対して送信する。これにより、携帯端末１１０は、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データを現実空間における位置（ｘ3，ｙ3）に合成表示する。
【００７３】
一方、携帯端末１１０が地点Ｈに位置し、位置（ｘ3，ｙ3）に向けて翳されている場合、タグ管理サーバ１２０の表示タグ解析部１２０１は、携帯端末１１０の位置及び姿勢から、携帯端末１１０が位置（ｘ3，ｙ3）に翳され、且つ、携帯端末１１０が位置（ｘ3，ｙ3）から見て１８１°〜３６０°の方位範囲に位置すると判定する。従って、表示タグ解析部１２０１は、タグ管理テーブル１２０３の上から２段目のレコードを抽出し、タグＩＤ“００４”のタグのコンピュータグラフィックス画像データ及び位置（ｘ3，ｙ3）を携帯端末１１０に対して送信する。これにより、携帯端末１１０は、タグＩＤ“００４”のタグのコンピュータグラフィックス画像データを現実空間における位置（ｘ3，ｙ3）に合成表示する。
【００７４】
このように本実施形態においては、同じ位置に対して携帯端末１１０が翳されていても、当該位置から見てどの方位範囲から携帯端末１１０が翳されているかに応じて異なるタグを当該位置に合成表示させている。例えば、タグの位置から見て交通量が多い方位範囲から翳された携帯端末１１０には広告料金の高いタグを提示し、交通量の少ない方位範囲から翳された携帯端末１１０には広告料金の低いタグを提示するようにしてもよい。これにより、方位によって生じる広告効果を考慮した広告を提供することができる。
【００７５】
次に、本発明の第４の実施形態について説明する。図１２は、本発明の第４の実施形態において使用する三次元タグの一例を説明するための図である。本実施形態において、図１２に示す三次元タグは現実空間における（ｘ5，ｙ5）の位置に合成表示される。図１２（ａ）は、初期状態における三次元タグの状態を側面から示しており、図１２（ｂ）は、初期状態における三次元タグの状態を上方から示している。図１２に示す例の三次元タグは円柱形状であり、側面に広告ａのタグ、広告ｂのタグ、広告ｃのタグ、広告ｄのタグが配置されている。即ち、図１２（ｂ）に示すように、三次元タグの位置（ｘ5，ｙ5）から見て１°〜９０°には広告ａのタグが配置され、（ｘ5，ｙ5）から見て９１°〜１８０°には広告ｂのタグが配置され、（ｘ5，ｙ5）から見て１８１°〜２７０°には広告ｃのタグが配置され、（ｘ5，ｙ5）から見て２７１°〜３６０°には広告ｄのタグが配置されている。
【００７６】
三次元タグは、ユーザの１回のタップ操作毎に、位置（ｘ5，ｙ5）を軸に９０°回転する。初期状態においては、広告ａのタグが携帯端末１１０の画面の正面を向いており、ユーザのタップ操作の度に三次元タグが９０°ずつ回転し、広告ｂのタグ→広告ｃのタグ→広告ｄ→広告ａの順で画面の正面を向くようにしている。
【００７７】
図１３は、本発明の第４の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。図１３に示すように、本実施形態に係るＡＲタグ表示システムは、ユーザが所持するカメラ機能付き携帯端末２１０と、現実空間の映像に合成表示されるタグを管理するためのタグ管理サーバ２２０とで構成される。なお、図１３においては、説明の簡単のため、携帯端末２１０、タグ管理サーバ２２０をそれぞれ一つずつ示しているが、実際にはそれぞれが任意数あって構わない。また、携帯端末２１０、タグ管理サーバ２２０のハードウェア構成は図２−１、図２−２に示した構成と同様である。
【００７８】
本実施形態における携帯端末２１０は、位置姿勢検知部２１０１及び提示部２１０３を備える。位置姿勢検知部２１０１は図１の位置姿勢検知部１０１と同じ構成であり、提示部２１０３は図１の提示部１０３と同じ構成である。
【００７９】
本実施形態におけるタグ管理サーバ２２０は、表示タグ解析部２２０１、広告料金算出部２２０２及びタグ管理テーブル２２０３を備える。タグ管理テーブル２２０３には、現実空間における位置、タグＩＤ、方位範囲、広告提供主ＩＤ、広告料金（円／回数）、参照回数が対応付けられて管理されている。現実空間における位置（ｘ5，ｙ5）に関しては、タグＩＤ“００７”、タグＩＤ“００８”、タグＩＤ“００９”、タグＩＤ“０１０”が対応付けられている。即ち、位置（ｘ5，ｙ5）には、タグＩＤ“００７”のタグ、タグＩＤ“００８”のタグ、タグＩＤ“００９”のタグ、タグＩＤ“０１０”のタグの４つのタグが合成表示されることが定義されている。つまり、図１２に示すように、位置（ｘ5，ｙ5）において４つのタグ（広告ａのタグ、広告ｂのタグ、広告ｃのタグ、広告ｄのタグ）が配置されていることを意味している。
【００８０】
タグ管理テーブル２２０３においては、第３の実施形態と同様に、位置、タグＩＤ、方位範囲、広告提供主ＩＤ、広告料金（円／回数）が管理されている。これらを管理する意義は第３の実施形態と同様である。また、タグ管理テーブル２２０３においては参照回数が管理されている。参照回数は、該当するタグが画面の正面を向くように表示され、ユーザによって閲覧できるようにした回数である。即ち、ユーザのタップ操作によって各タグが順次画面の正面を向くように表示される度に、夫々のタグの参照回数が加算されていく。
【００８１】
広告料金算出部２２０２は、所定の期間毎、又は管理者の操作に応じて、タグ毎或いは広告提供主毎に広告料金を算出する。タグ毎に広告料金を算出する場合、広告料金算出部２２０２は、タグ管理テーブル２２０３のレコード毎に広告料金（円／回数）と参照回数とを乗算し、タグＩＤをキーにして集計する。また、広告提供主毎に広告料金を算出する場合、広告料金算出部１２０２は、タグ管理テーブル１２０３のレコード毎に広告料金（円／回数）と参照回数とを乗算し、広告提供主ＩＤをキーにして集計する。
【００８２】
上述した実施形態においては、タグ管理サーバが携帯端末の位置及び姿勢に基づいて合成表示させるタグを解析していたが、この解析処理を携帯端末側に実行させるようにしてもよい。即ち、携帯端末側に、上述した表示タグ解析部、タグ表示指示部、タグ管理テーブル及び表示態様管理テーブルを備え、携帯端末が自らの位置及び姿勢に基づいて、合成表示させるタグやその表示サイズを判断すればよい。さらに、携帯端末の位置及び姿勢だけで合成表示させるタグを判定するのではなく、各オブジェクトから携帯端末までの距離に所定の閾値を設け、携帯端末からその閾値より遠い距離のオブジェクトのタグは表示させないようにしてもよい。携帯端末からあまりにも遠い位置にあるオブジェクトのタグは表示させても意味がないので、この閾値を設けることにより不要なタグを振り分けることができる。
【００８３】
上述した実施形態においては、説明の分かり易さの便宜上、位置姿勢検知部は方位角を扱っていたが、方位角だけでなく仰角を加えても良い。例えば、地磁気センサーやジャイロセンサーや画像解析等或いはそれら組み合わせによって仰角に関する情報を取得し、位置座標や方位角や仰角によって、タグの表示を制御することができる。これにより、角度によって見え難さが変わる場合を考慮した表示制御が可能になる。
【符号の説明】
【００８４】
１０、１１０、２１０：携帯端末、２０、１２０、２２０：タグ管理サーバ、１０１、１１０１、２１０１：位置姿勢検知部、１０２：評価受付部、１０３、１１０３、２１０３：提示部、２０１、１２０１、２２０１：表示タグ解析部、２０２：タグ表示指示部、２０３、１２０３、２２０３：タグ管理テーブル、２０４：表示態様管理テーブル、１２０２、２２０２：広告料金算出部
【技術分野】
【０００１】
本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な技術に関するものである。
【背景技術】
【０００２】
従来、「時間」、「距離」、「エアタグの種類」を指定すると、指定した条件に合致するタグのみを表示し、煩雑に表示されていたタグを整理する技術が知られている（例えば、非特許文献１参照）。
【０００３】
また、タグが集まっているところをユーザが長押しすると、周りのタグが吸い寄せられて、螺旋状に回り出し、奥から手前にタグが順々に回り、ユーザは気になるタグを見つけたらタップして当該タグに係る詳細を参照することができる技術が知られている（例えば、非特許文献２参照）。
【０００４】
ところで、ＡＲ（Augmented Reality）は、現実空間に情報を付加させる技術であり、現実空間に関する情報は、方位が非常に大きな意味を持つ。例えば、「日本に初めて訪れた外国人が、雷門を目印に浅草寺を探し、お参りする」といった場合、往路に至っては雷門の位置を知らせる情報（例えば、“雷門”と大きく書かれたタグ）が価値ある情報であるが、復路に至っては既に知っている情報なので、情報の価値は半減する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｓｅｋａｉ Ｃａｍｅｒａ Ｓｕｐｐｏｒｔ Ｃｅｎｔｅｒ、インターネット＜http://support.sekaicamera.com/ja/service＞
【非特許文献２】ふぉーんなハナシ セカイカメラのセカイを楽しむ小技、インターネット＜http://plusd.itmedia.co.jp/mobile/articles/0910/01/news114.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１、２に開示された技術は何れの場合も、雷門に向けてスマートフォンを翳せば、一様に“雷門”と大きくタグが表示されてしまう。このように現実空間の映像に付加される情報は、方位によって情報の価値は変わるのに、それが考慮されないまま一様に表示されていた。
【０００７】
そこで、本発明の目的は、オブジェクトから見て有用な方位範囲の地点であるか、そうでない方位範囲の地点であるかに応じて、当該オブジェクトに関するコンピュータグラフィックス画像データの見せ方を変えることにある。
【課題を解決するための手段】
【０００８】
本発明の情報処理システムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムであって、前記拡張現実感提示装置の位置及び姿勢を検知する検知手段と、前記検知手段による検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第１の解析手段と、前記第１の解析手段による解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御手段とを有することを特徴とする。
本発明の情報処理システムの制御方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法であって、前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップとを含むことを特徴とする。
本発明のプログラムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法をコンピュータに実行させるためのプログラムであって、前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本実施形態によれば、オブジェクトから見て有用な方位範囲の地点であるか、そうでない方位範囲の地点であるかに応じて、当該オブジェクトに関するコンピュータグラフィックス画像データの見せ方を変えることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。
【図２−１】本発明の実施形態におけるタグ管理サーバのハードウェア構成を示す図である。
【図２−２】本発明の実施形態における携帯端末のハードウェア構成を示す図である。
【図３】本発明の実施形態に係るＡＲタグ表示システムの処理の流れを示すフローチャートである。
【図４】本実施形態に係るＡＲタグ表示システムの動作を具体的に説明するためのストーリーを示す図である。
【図５−１】図４の４０１、４０３に示す経路をユーザが携帯端末を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明するための図である。
【図５−２】携帯端末の画面表示例を示す図である。
【図６−１】図４の４０２、４０４に示す経路をユーザが携帯端末を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明するための図である。
【図６−２】携帯端末の画面表示例を示す図である。
【図７】ユーザが携帯端末の画面上に表示されているタグをタップした場合に起動する処理を示すフローチャートである。
【図８】ユーザによって設定された散歩道に基づいて、タグ管理テーブルの評価値を更新する処理を具体的に説明するための図である。
【図９】本発明の第３の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。
【図１０】本発明の第３の実施形態に係るＡＲ表示システムの動作を示すフローチャートである。
【図１１】図１０のステップＳ１００４〜Ｓ１００８を具体的に説明するための図である。
【図１２】本発明の第４の実施形態において使用する三次元タグの一例を説明するための図である。
【図１３】本発明の第４の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。図１に示すように、本実施形態に係るＡＲタグ表示システムは、ユーザが所持するカメラ機能付き携帯端末１０と、現実空間の映像に合成表示されるタグを管理するためのタグ管理サーバ２０とで構成される。なお、図１においては、説明の簡単のため、携帯端末１０、タグ管理サーバ２０をそれぞれ一つずつ示しているが、実際にはそれぞれが任意数あって構わない。
【００１３】
携帯端末１０は、位置姿勢検知部１０１、評価受付部１０２及び提示部１０３を備える。提示部１０３は、タグを表すコンピュータグラフィックス画像データを、現実空間の映像と合成して表示する。即ち、携帯端末１０は、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示した現実空間の映像にコンピュータグラフィックス画像データを合成表示することにより、拡張された現実感を演出する。以下では、このように拡張された現実感を与えるコンピュータグラフィックス画像データの合成表示を、ＡＲ（Augmented Reality）表示と称することがある。
【００１４】
なお、以下で説明する実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例として携帯端末型のＡＲ表示デバイスを挙げているが、これに限られない。例えば、ユーザの頭部に装着される眼鏡型のＨＭＤ（Head Mounted Display）も適用できる。ＨＭＤは、現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。また、ＨＭＤには、非透過型、ビデオ透過型、光学透過型等の様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤのレンズに映し出される現実空間の映像に対し、その映像に整合する位置にコンピュータグラフィックス画像データを合成表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示される。その他、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。
【００１５】
また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、本実施形態においては、位置姿勢検知部１０１が携帯端末１０の位置（緯度、経度）と姿勢（方向、仰角）とを検知し、提示部１０３が位置及び姿勢に基づいて携帯端末１０を所持するユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成する。
【００１６】
評価受付部１０２は、携帯端末１０の画面上に表示されるタグがユーザによってタップされると、その回数に応じた評価値の入力を受け付ける。例えば、ユーザによって或るタグが３回タップされると、当該タグに対する＋３ポイントの評価値の入力を受け付ける。なお、タップに限定する必要はなく、ユーザの音声をマイクロフォンとAD変換器によりデジタル信号として記録し、スペクトラムアナライザなどを用いて音声解析した結果を、評価値の入力として受け付けても良い。例えば、ユーザが「雷門最高！」としゃべると、音声解析の結果とそれを自然言語処理することで、雷門に関するタグに対する＋１００ポイントの評価値の入力を受け付ける。その他、ユーザの位置をGPS等で計測して、ユーザが当該タグの傍を通過したか否かを判別し、通過すれば当該タグに対する＋１０ポイントの評価値の入力を受け付けても良い。その他、タグをユーザが凝視する行為等、タグを意識しているとする動作のパターンに応じた評価値の入力動作が考えられる。
【００１７】
タグ管理サーバ２０は、表示タグ解析部２０１、タグ表示指示部２０２、タグ管理テーブル２０３及び表示態様管理テーブル２０４を備える。表示タグ解析部２０１は、携帯端末１０から位置及び姿勢を受信し、ユーザが現実空間のどのオブジェクトを見ているか解析する。そして、表示タグ解析部２０１は、そのオブジェクトから見てユーザがどの方位範囲に位置するかを解析し、オブジェクトのタグのタグＩＤ及び解析した方位範囲に対応する評価点をタグ管理テーブル２０３から取得する。表示タグ解析部２０１は、オブジェクトのタグのタグＩＤ、位置及び評価点をタグ表示指示部２０２に対して出力する。
【００１８】
タグ管理テーブル２０３には、タグＩＤ及び位置毎に、方位範囲、評価点が管理されている。ここでいう位置とは、現実空間におけるオブジェクトの位置であり、当該オブジェクトに対応するタグが合成表示される位置でもある。また、方位範囲とは、オブジェクトの位置を基準として見た方位範囲を意味する。タグ管理サーバ２０は、携帯端末１０の評価受付部１０２から評価値を受信すると、タグ管理テーブル２０３の該当するレコードの評価値を更新する。
【００１９】
表示態様管理テーブル２０４は、評価点に対応する表示態様が管理されている。タグ表示指示部２０２は、表示タグ解析部２０１からタグＩＤ、位置及び評価点を取得すると、評価点に対応する表示態様を表示態様管理テーブル２０４から取得する。タグ表示指示部２０２は、タグＩＤに対応するコンピュータグラフィックス画像データ、位置及び表示態様を携帯端末１０に対して送信する。なお、図１に示す表示態様管理テーブル２０４では、０から５０までの評価点に対しては「小サイズ表示」が対応付けられ、５１以上の評価点に対しては「大サイズ表示」が対応付けられている。他の実施形態として、０から５０までの評価点に対しては「非表示」、５１以上の評価点に対しては「表示」というように表示自体を制御してもよい。その他の表示態様としては、評価点が高い方を、より目立つ色や太い字体で表示する、或いは、重ねて見せる際に評価点が高い方をより前面に表示するなど、評価点に応じて目立つデザインやレイアウトに表示態様を制御してもよい。
【００２０】
携帯端末１０の提示部１０３は、コンピュータグラフィックス画像データ、位置及び表示態様を受信すると、コンピュータグラフィックス画像データをその表示態様で現実空間の映像に合成表示する。即ち、「小サイズ表示」の表示態様であれば、提示部１０３はコンピュータグラフィックス画像データを小サイズで表示し、「大サイズ表示」の表示態様であれば、提示部１０３はコンピュータグラフィックス画像データを大サイズで表示する。なお、携帯端末１０にキャッシュ（高速な記憶装置）機能を備え、上記タグ表示指示部２０２が携帯端末１０に対して送信したコンピュータグラフィックス画像データ等をキャッシュして、処理の高速化を図ってもよい。この場合、提示部１０３は、キャッシュよりコンピュータグラフィックス画像データ、位置及び表示態様等を受信し、コンピュータグラフィックス画像データをその表示態様で現実空間の映像に合成表示する。
【００２１】
図２−１は、本実施形態におけるタグ管理サーバ２０のハードウェア構成を示す図である。図２−１において、ＣＰＵ１２１０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１２１０２或いはＨＤＤ１２１０５には、ＣＰＵ１２１０１の制御プログラムであるオペレーティングシステム（ＯＳ）や、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ１２１０３は、ＣＰＵ１２１０１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ１２１０４は、ネットワークを介して外部機器（例えば、携帯端末１０）との通信制御処理を実行する。なお、ＨＤＤ１２１０５の代替手段として、ＳＤＤ（Solid State Drive）を用いてもよい。
【００２２】
図２−２は、本実施形態における携帯端末１０のハードウェア構成を示す図である。図２−２において、ＣＰＵ１２２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１２２０２には、ＣＰＵ１２２０１の制御プログラムであるＯＳや、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ１２２０３は、ＣＰＵ１２２０１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ１２２０４は、ネットワークを介して外部機器（例えば、タグ管理サーバ２０）との通信制御処理を実行する。ディスプレイコントローラ１２２０５は、ディスプレイ１２２０６における画像表示を制御する。
【００２３】
図３は、本実施形態に係るＡＲタグ表示システムの処理の流れを示すフローチャートである。以下、図１及び図３を参照しながら、本実施形態に係るＡＲタグ表示システムの処理について説明する。
【００２４】
携帯端末１０の位置姿勢検知部１０１は、携帯端末１０の位置及び姿勢を検知する（ステップＳ３０１）。次に、携帯端末１０は、位置姿勢検知部１０１によって検知された位置及び姿勢をタグ管理サーバ２０に対して送信する（ステップＳ３０２）。
【００２５】
タグ管理サーバ２０は、携帯端末１０から位置及び姿勢を受信する（ステップＳ３０３）。次に、タグ管理サーバ２０の表示タグ解析部２０１は、上記位置及び姿勢に基づいて、携帯端末１０を所持するユーザがどのオブジェクトを見ているかを解析する。そして、表示タグ解析部２０１は、オブジェクトから見てユーザがどの方位範囲に位置するかを解析し、オブジェクトのタグのタグＩＤ及び当該方位範囲に対応する評価点をタグ管理テーブル２０３から取得し、タグＩＤ、位置及び評価点をタグ表示指示部２０２に対して出力する（ステップＳ３０４）。
【００２６】
次に、タグ表示指示部２０２は、表示タグ解析部２０１からタグＩＤ、位置及び評価点を取得し、評価点に対応する表示態様を表示態様管理テーブル２０４から取得する（ステップＳ３０５）。タグ表示指示部２０２は、タグＩＤに対応するコンピュータグラフィックス画像データ、位置及び表示態様を携帯端末１０に対して送信する（ステップＳ３０６）。
【００２７】
携帯端末１０は、タグ管理サーバ２０から、コンピュータグラフィックス画像データ、位置及び表示態様を受信する（ステップＳ３０７）。次に、携帯端末１０の提示部１０３は、その表示態様でコンピュータグラフィックス画像データを現実空間の映像に合成表示する（ステップＳ３０８）。
【００２８】
以下、具体的なストーリーを例に挙げて、本実施形態に係るＡＲタグ表示システムの動作を具体的に説明する。ここで例に挙げるストーリーは、「ユーザは、浅草駅から雷門を目印に浅草寺に向かい、浅草寺でお参りをした後、仲見世通りにある「雷おこし本舗」にてお土産を買って、浅草駅に帰る」である。図４は、当該ストーリーにおけるユーザの経路を示す図である。図４の４０１及び４０２は、当該ストーリーの往路の一部を示しており、４０３及び４０４は、当該ストーリーの復路の一部を示している。図４の４０１は、浅草駅から雷門の近くの地点Ａまでの経路である。図４の４０２は、雷門をくぐって雷おこし本舗の近くの地点Ｂまでの経路である。図４の４０３は、浅草寺から雷おこし本舗の近くの地点Ｃまでの経路である。図４の４０４は、雷おこし本舗から雷門の近くの地点Ｄまでの経路である。
【００２９】
先ず、図５−１を参照しながら、図４の４０１に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図５−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら雷門付近の地点Ａまで歩いてくると、表示タグ解析部２０１は、携帯端末１０が地点Ａに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、ユーザが携帯端末１０の画面上で雷門を閲覧しており、且つ、ユーザが雷門の位置（ｘ1，ｙ1）から見て１°〜９０°の方位範囲に位置することを解析し、タグ管理テーブル２０３から該当するレコードの評価点を取得する。
【００３０】
図５−１（ｂ）は、タグ管理テーブル２０３の関連個所を抜粋した図である。表示タグ解析部２０１は、携帯端末１０から受信した携帯端末１０の位置及び姿勢に基づいて、ユーザが携帯端末１０の画面上でどのオブジェクトをどの方位範囲から見ているかを解析し、その解析結果に該当するレコードの評価点をタグ管理テーブル２０３から取得する。ここでは、ユーザが見ているオブジェクトは位置（ｘ1，ｙ1）の雷門であり、且つ、ユーザは当該雷門のタグから見て方位範囲１°〜９０°に位置する。従って、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード５０１の評価点＋９０を取得する。
【００３１】
表示タグ解析部２０１は、レコード５０１から取得した評価点＋９０、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ及び位置（ｘ1，ｙ1）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ、「大サイズ表示」を示す表示態様及び位置（ｘ1，ｙ1）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、タグＩＤ“００１”に対応する雷門のタグのコンピュータグラフィックス画像データを、「大サイズ表示」の表示態様で、現実空間の位置（ｘ1，ｙ1）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら浅草駅から雷門付近の地点Ａに到着すると、携帯端末１０の画面上において、雷門のタグのコンピュータグラフィックス画像データが大きなサイズで表示されることになる。
【００３２】
図５−２（ａ）は、ユーザが携帯端末１０を翳しながら浅草駅から雷門付近の地点Ａに到着した場合における携帯端末１０の画面表示例を示す図である。図５−２（ａ）に示すように、携帯端末１０の画面上では、現実空間における雷門の映像５２１の近傍に、雷門のタグのコンピュータグラフィックス画像データ５２２が大きなサイズで表示される。
【００３３】
次に、同じく図５−１を参照しながら、図４の４０３に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図５−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら雷おこし本舗から雷門付近の地点Ｄまで歩いてくると、ユーザは携帯端末１０の画面上で位置（ｘ1，ｙ1）の雷門を見ており、且つ、ユーザは雷門の位置（ｘ1，ｙ1）から見て方位１８１°〜２７０°の方位範囲に位置する。表示タグ解析部２０１は、携帯端末１０が地点Ｄに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、これらの事項を解析し、タグ解析テーブル２０３から該当するレコードの評価点を取得する。従って、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード５０２の評価点＋２０を取得する。
【００３４】
表示タグ解析部２０１は、レコード５０２から取得した評価点＋２０、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ及び位置（ｘ1，ｙ1）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ、「小サイズ表示」を示す表示態様及び位置（ｘ1，ｙ1）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、タグＩＤ“００１”に対応する雷門のタグのコンピュータグラフィックス画像データを「小サイズ表示」の表示態様で、現実空間の位置（ｘ1，ｙ1）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら浅草寺から雷付近の地点Ｄに到着すると、携帯端末１０の画面上において、雷門のタグのコンピュータグラフィックス画像データが小さなサイズで表示されることになる。
【００３５】
図５−２（ｂ）は、ユーザが携帯端末１０を翳しながら浅草寺から雷門付近の地点Ｄに到着した場合における携帯端末１０の画面表示例を示す図である。図５−２（ｂ）に示すように、携帯端末１０の画面上では、現実空間における雷門の映像５２３の近傍に、雷門のタグのコンピュータグラフィックス画像データ５２４が小さなサイズで表示される。
【００３６】
次に、図６−１を参照しながら、図４の４０２に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図６−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら雷門から雷おこし本舗付近の地点Ｂまで歩いてくると、ユーザは携帯端末１０の画面上で位置（ｘ2，ｙ2）の雷おこし本舗を見ており、且つ、ユーザは雷おこし本舗の位置（ｘ2，ｙ2）から見て２７１°〜３６０°の方位範囲に位置する。表示タグ解析部２０１は、携帯端末１０が地点Ｂに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、これらの事項を解析し、タグ管理テーブル２０３から該当するレコードの評価点を取得する。
【００３７】
図６−１（ｂ）は、タグ管理テーブル２０３の関連箇所を抜粋した図である。上述したように、ユーザは携帯端末１０の画面上で位置（ｘ2，ｙ2）の雷おこし本舗を見ており、且つ、ユーザは雷おこし本舗（位置（ｘ2，ｙ2））から見て２７１°〜３６０°の方位範囲に位置する。そのため、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード６０１の評価点＋２５を取得する。
【００３８】
表示タグ解析部２０１は、レコード６０１から取得した評価点＋２５、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ及び位置（ｘ2，ｙ2）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ、「小サイズ表示」を示す表示態様及び位置（ｘ2，ｙ2）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、雷おこし本舗のタグのコンピュータグラフィックス画像データを、「小サイズ表示」の表示態様で、現実空間の位置（ｘ2，ｙ2）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら雷門から雷おこし本舗付近の地点Ｂに到着すると、携帯端末１０の画面上において、雷おこし本舗のタグのコンピュータグラフィックス画像データが小さなサイズで表示されることになる。
【００３９】
図６−２（ａ）は、ユーザが携帯端末１０を翳しながら雷門から雷おこし本舗付近の地点Ｂに到着した場合における携帯端末１０の画面表示例を示す図である。図６−２（ａ）に示すように、携帯端末１０の画面上では、現実空間における雷おこし本舗の映像６２１の近傍に、雷おこし本舗のタグのコンピュータグラフィックス画像データ６２２が小さなサイズで表示される。
【００４０】
次に、同じく図６−１を参照しながら、図４の４０３に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図６−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら浅草寺から雷おこし本舗付近の地点Ｃまで歩いてくると、ユーザは携帯端末１０の画面上で位置（ｘ2，ｙ2）の雷おこし本舗を見ており、且つ、ユーザは雷おこし本舗の位置（ｘ2，ｙ2）から見て１８１°〜２７０°の方位範囲に位置する。表示タグ解析部２０１は、携帯端末１０が地点Ｃに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、これらの事項を解析し、タグ解析テーブル２０３から該当するレコードの評価点を取得する。従って、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード６０２の評価点＋８０を取得する。
【００４１】
表示タグ解析部２０１は、レコード６０２から参照した評価点＋８０、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ及び位置（ｘ2，ｙ2）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ、「大サイズ表示」を示す表示態様及び位置（ｘ2，ｙ2）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、タグＩＤ“００２”に対応する雷おこし本舗のタグのコンピュータグラフィックス画像データを、「大サイズ表示」の表示態様で、現実空間の位置（ｘ2，ｙ2）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら浅草寺から雷おこし本舗付近の地点Ｃに到着すると、携帯端末１０の画面上において、雷おこし本舗のタグのコンピュータグラフィックス画像データが大きなサイズで表示されることになる。
【００４２】
図６−２（ｂ）は、ユーザが携帯端末１０を翳しながら浅草寺から雷おこし本舗付近の地点Ｃに到着した場合における携帯端末１０の画面表示例を示す図である。図６−２（ｂ）に示すように、携帯端末１０の画面上では、現実空間の雷おこし本舗の映像６２３の近傍に、雷おこし本舗のタグのコンピュータグラフィックス画像データ６２４が大きなサイズで表示される。
【００４３】
図７は、ユーザが携帯端末１０の画面上に表示されているタグをタップした場合に起動する、評価点の設定処理を示すフローチャートである。ここで説明するユーザとは、上述した説明におけるユーザとは必ずしも一致しない。即ち、上述した説明におけるユーザは単に携帯端末１０に表示されるタグを頼りにしながら街中を歩く観光者であるのに対し、図７の説明で登場するユーザとは、このような観光者に対して、各オブジェクトについてタグを表示するのに有用であると考える方位範囲を推奨する者である。
【００４４】
以下、図７を用いて、評価点の設定処理について説明する。ユーザは、携帯端末１０を翳しながら歩いている際に、画面上に表示されるタグのうち、表示が有用であったと考えるタグをタップする。タグがタップされると、携帯端末１０の評価受付部１０２は、タップされた回数を示す回数情報と、タップされたタグのタグＩＤと、タップされた時点において位置姿勢検知部１０１が検知した携帯端末１０の位置及び姿勢とをタグ管理サーバ２０に対して送信する（ステップＳ７０１）。
【００４５】
タグ管理サーバ２０は、携帯端末１０から、回数情報とタグＩＤと携帯端末１０の位置及び姿勢とを受信する（ステップＳ７０２）。タグ管理サーバ２０は、携帯端末１０の位置及び姿勢に基づいて、当該タグＩＤのオブジェクトから見て携帯端末１０がどの方位範囲に位置するかを解析し、当該タグＩＤ及び解析した方位範囲に該当するレコードの評価点を、回数情報で示される回数分のポイントを加算する（ステップＳ７０３）。
【００４６】
ユーザは、自分にとって有用であると思ったタグに対してはタップ操作を行うことにより、その時点における当該タグに対応するオブジェクトから見た携帯端末１０の属する方位範囲の評価点を加算する。図４の例では、４０１の経路は雷門を初めて通過する経路であるため、地点Ａでは雷門のタグは有用なものとして当該タグをタップする。これにより、図５−１（ｂ）の５０１のレコードに示すように、評価点が高く設定されることになる。また、図４の４０２の経路は雷おこし本舗の近くを通過するが、雷おこし本舗は浅草寺にお参りした後に立ち寄るオブジェクトであるため、ユーザは地点Ｂでは雷おこし本舗のタグをタップしない。従って、図６−１（ｂ）の６０１のレコードに示すように、評価点は低いままとなる。
【００４７】
また、図４の４０２の経路は浅草寺にお参りした後に雷おこし本舗の近くを通過するものであるが、このとき、雷おこし本舗のタグは有用なものとなるので、地点Ｃでは雷おこし本舗のタグをタップする。これにより、図５−１（ｂ）の５０２のレコードに示すように、評価点が高く設定されることになる。また、図４の４０４の経路は雷おこし本舗を通過して雷門に向かう経路であるが、このとき、雷門は２度目の通過であるため、地点Ｄでは雷門のタグをタップしない。従って、図６−１（ｂ）のレコードに示すように、評価点は低いままとなる。
【００４８】
以上の評価点の設定処理を行うことにより、各オブジェクトから見て有用な方位範囲と考えられる地点では当該オブジェクトのタグを目立つように表示し、そうでないと考えられる方位範囲の地点では当該オブジェクトのタグは目立たないように表示することが可能となる。即ち、本実施形態によれば、オブジェクトから見て有用な方位範囲の地点であるかそうでない方位範囲の地点であるかに応じて、当該オブジェクトのタグの見せ方を変えることができる。
【００４９】
なお、本実施形態では、タップされた回数分、評価値のポイントを加算することについてのみ説明したが、ユーザが所定の操作を行うことにより、評価値のポイントを減算するようにしてもよい。これにより、例えば子供等には案内したくないようなオブジェクトについては、タグの表示を消極的な方向に制御することが可能となる。
【００５０】
また、有用なタグをタップするのではなく、ユーザが携帯端末１０を操作して、そのタグを含む画像データを撮影し、タグ管理サーバ２０に対して送信するようにしてもよい。タグ管理サーバ２０は、携帯端末１０から送信された画像データを解析することにより、携帯端末１０が翳されているオブジェクトと、当該オブジェクトから見てどの方位範囲に携帯端末１０が位置するかを判定し、タグ管理テーブル２０３の該当するレコードの評価値を更新するようにしてもよい。この場合、タグ管理サーバ２０は、画像データ解析のために必要な画像マッチング用の画像データを予め準備しており、携帯端末１０から受信した画像データと画像マッチング用の画像データとを照合することにより、上述した解析が行われる。
【００５１】
次に、本発明の第２の実施形態について説明する。本実施形態は、ユーザがお気に入りの散歩道を設定し、設定された散歩道に従って評価点を更新するものである。なお、ここでの散歩道の設定では、携帯端末１０の画面上に表示される地図情報を、オブジェクト間を結ぶようにユーザが指でなぞることにより（例えば、浅草駅→雷門→浅草寺→雷おこし本舗→浅草寺）、散歩道の経路及び進行方向を設定する。散歩道の設定方法は、その経路及び進行方向が設定できればよいため、上記の方法に限定されない。例えば、携帯端末１０を所持するユーザが実際に歩いた経路及び進行方向をＧＰＳ（global positioning system）で検知し、その検知結果を散歩道として設定してもよい。また、本実施形態に係るＡＲタグ表示システムの構成は、図１に示した構成と同様であるため、以下の説明においても図１の符号を用いるものとする。
【００５２】
携帯端末１０は、設定された散歩道をタグ管理サーバ２０に対して送信する。タグ管理サーバ２０は、受信した散歩道から、各オブジェクトについてユーザにとって有用であると推定される方位範囲には評価値を加算し、そうではないと推定される方位範囲には評価値を加算しない。
【００５３】
ユーザにとって有用であると推定される方位範囲とは、ユーザの経路が属する方位範囲であって、且つ、その方位範囲がユーザの進行方向とは逆の方位を含む方位範囲である。即ち、ユーザによって有用であると推定される方位範囲とは、ユーザがオブジェクトに対して近付く動きをする方位範囲である。反対に、ユーザにとって有用でないと推定される方位範囲とは、ユーザの経路が属しない方位範囲であるか、或いは、ユーザの経路が属する方位範囲であるが、その方位範囲がユーザの進行方向とは逆の方位を含まない方位範囲である。即ち、ユーザにとって有用でないと推定される方位範囲とは、ユーザがオブジェクトに対して近付く動きをしない方位範囲である。但し、同じオブジェクトを２回目以降に通過する場合には、２回目以降の通過時にはタグの表示価値は低く、２回目以降の通過時に関する有用な方位範囲の推定は行わない。
【００５４】
図８は、ユーザによって設定された散歩道に基づいて、タグ管理テーブル２０３の評価値を更新する処理を具体的に説明するための図である。上述した方位範囲の定義によれば、浅草駅から雷門へ向かう際の地点Ａは、雷門から見て１°〜９０°の方位範囲に位置し、且つ、この方位範囲はユーザの進行方向の逆の方位を含むため、雷門から見て１°〜９０°の方位範囲は、ユーザにとって有用な方位範囲となる。
【００５５】
また、雷門から浅草寺に向かう際の地点Ｂは、雷門から見て１８１°〜２７０°の方位範囲に位置するが、この方位範囲はユーザの進行方向の逆の方位を含まない。従って、雷門から見て１８１°〜２７０°の方位範囲は、ユーザにとって有用な方位範囲ではない。また、地点Ｂは、雷おこし本舗から見て２７１°〜３６０°の方位範囲に位置するが、この方位範囲はユーザの進行方向の逆の方位を含まない。従って、雷おこし本舗から見て２７１°〜３６０°の方位範囲も、ユーザにとって有用な方位範囲ではない。
【００５６】
浅草寺から雷おこし本舗に向かう際の地点Ｃは、雷おこし本舗から見て１８１°〜２７０°の方位範囲に位置し、且つ、この方位範囲はユーザの進行方向の逆の方位を含むため、雷おこし本舗から見て１８１°〜２７０°の方位範囲は、ユーザにとって有用な方位範囲となる。
【００５７】
また、雷おこし本舗から雷門に向かう際の地点Ｄは、雷門は２回目以降の通過となるため、有用な方位範囲の推定は行われない。従って、図８において、雷門、雷おこし本舗の各オブジェクトについて斜線で示す方位範囲について評価値の加算が行われる。
【００５８】
以上により、ユーザのお気に入りの散歩道がタグ管理テーブル２０３における評価値に反映される。これにより、他のユーザが上記散歩道を携帯端末１０を翳しながら歩いた場合、浅草駅から雷門に向かう際の地点Ａでは雷門のタグが大きく表示される傾向となる。また、浅草寺から雷おこし本舗に向かう際の地点Ｃでも雷おこし本舗のタグは大きく表示される傾向となる。このように本実施形態によれば、或るユーザが設定したお気に入りの散歩道から有用な方位範囲を自動的に推定し、その推定結果を他のユーザが同じような散歩道を歩いた場合のタグ表示に反映させている。
【００５９】
次に、本発明の第３の実施形態について説明する。図９は、本発明の第３の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。図９に示すように、本実施形態に係るＡＲタグ表示システムは、ユーザが所持するカメラ機能付き携帯端末１１０と、現実空間の映像に合成表示されるタグを管理するためのタグ管理サーバ１２０とで構成される。なお、図９においては、説明の簡単のため、携帯端末１１０、タグ管理サーバ１２０をそれぞれ一つずつ示しているが、実際にはそれぞれが任意数あって構わない。また、携帯端末１１０、タグ管理サーバ１２０のハードウェア構成は図２−１、図２−２に示した構成と同様である。
【００６０】
本実施形態における携帯端末１１０は、位置姿勢検知部１１０１及び提示部１１０３を備える。位置姿勢検知部１１０１は図１の位置姿勢検知部１０１と同じ構成であり、提示部１１０３は図１の提示部１０３と同じ構成である。
【００６１】
本実施形態におけるタグ管理サーバ１２０は、表示タグ解析部１２０１、広告料金算出部１２０２及びタグ管理テーブル１２０３を備える。タグ管理テーブル１２０３には、現実空間における位置、タグＩＤ、方位範囲、広告提供主ＩＤ、広告料金（円／日）、広告期間が対応付けて管理されている。例えば、現実空間における位置（ｘ3,ｙ3）に関しては、タグＩＤ“００３”とタグＩＤ“００４”とが対応付けられている。即ち、位置（ｘ3,ｙ3）にはタグＩＤ“００３”とタグＩＤ“００４”との２つのタグが存在することが定義されている。
【００６２】
タグＩＤ“００３”には、方位範囲１°〜１８０°が対応付けられている。これは、携帯端末１１０が位置（ｘ3,ｙ3）から見て方位範囲１°〜１８０°に位置し、且つ、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されている場合、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データが携帯端末１１０上で表示されることを意味する。また、タグＩＤ“００４”には、方位範囲１８１°〜３６０°が対応付けられている。これは、携帯端末１１０が位置（ｘ3,ｙ3）から見て方位範囲１８１°〜３６０°に位置し、且つ、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されている場合、タグＩＤ“００４”のタグのコンピュータグラフィックス画像データが携帯端末１１０上で表示されることを意味する。
【００６３】
例えば、携帯端末１１０が位置（ｘ3,ｙ3）から見て方位範囲１°〜１８０°に位置し、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されているかどうかの判断は、携帯端末１１０の位置及び姿勢に基づいて行われる。即ち、携帯端末１１０の位置が位置（ｘ3,ｙ3）から見て方位範囲１°〜１８０°に属するかどうかが判定され、また、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されているかどうかは、携帯端末１１０の位置及び姿勢から携帯端末１１０のカメラが現実空間の位置（ｘ3,ｙ3）側を向いているかどうかを判定することによって識別される。
【００６４】
表示タグ解析部１２０１は、携帯端末１１０の位置及び姿勢を携帯端末１１０から受信すると、携帯端末１１０がどの位置から見てどの方位範囲に位置し、携帯端末１１０が当該位置側に翳されているかを解析し、解析結果に合致するレコードをタグ管理テーブル１２０３から抽出する。例えば、表示タグ解析部１２０１は、携帯端末１１０が位置（ｘ3，ｙ3）から見て１°〜１８０°の方位範囲に位置し、且つ、携帯端末１１０が位置（ｘ3，ｙ3）に対して翳されていると解析した場合、タグ管理テーブル１２０３の最上段のレコードを抽出する。レコードを抽出すると、表示タグ解析部１２０１は、当該レコードにおけるタグＩＤ“００３”のタグのコンピュータグラフィックス画像データを携帯端末１１０に対して送信する。携帯端末１１０は、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データを、現実空間の位置（ｘ3，ｙ3）に合成表示する。これにより、ユーザは、携帯端末１０の画面上においてタグＩＤ“００３”のタグを閲覧することができる。
【００６５】
また、タグＩＤ“００３”には、広告提供主ＩＤ“ａａａ”が対応付けられており、タグＩＤ“００４”には、広告提供主ＩＤ“ｂｂｂ”が対応付けられている。これは、タグＩＤ“００３”のタグは、広告提供主ＩＤ“ａａａ”の広告提供主による広告であり、タグＩＤ“００４”のタグは、広告提供主ＩＤ“ｂｂｂ”の広告提供主による広告であることを意味している。即ち、タグＩＤ“００３”のタグ及びタグＩＤ“００４”のタグは、携帯端末１１０の画面上で現実空間に合成表示されることによって、それを参照するユーザに対する広告としての機能を果たす。
【００６６】
また、タグＩＤ“００３”には、広告料金（円／日）“１０，０００”が対応付けられており、タグＩＤ“００４”には、広告料金（円／日）“５，０００”が対応付けられている。これは、タグＩＤ“００３”のタグの１日当たりの広告料金が１０，０００円であり、タグＩＤ“００４”のタグの１日当たりの広告料金が５，０００円であることを意味する。
【００６７】
また、タグＩＤ“００３”には、広告期間“Ｈ２２，８，１〜”が対応付けられており、タグＩＤ“００４”には、広告期間“Ｈ２２，８，５〜”が対応付けられている。これは、タグＩＤ“００３”のタグを広告として掲載（合成表示）している期間が平成２０年８月１日から現在に至るまでであることを意味し、タグＩＤ“００４”のタグを広告として形成（合成表示）している期間が平成２０年８月５日から現在に至るまでであることを意味する。
【００６８】
広告料金算出部１２０２は、タグ毎或いは広告提供主毎に広告料金を算出する。タグ毎に広告料金を算出する場合、広告料金算出部１２０２は、タグ管理テーブル１２０３のレコード毎に広告料金（円／日）と広告期間とを乗算し、タグＩＤをキーにして集計する。また、広告提供主毎に広告料金を算出する場合、広告料金算出部１２０２は、タグ管理テーブル１２０３のレコード毎に広告料金（円／日）と広告期間とを乗算し、広告提供主ＩＤをキーにして集計する。
【００６９】
図１０は、本発明の第３の実施形態に係るＡＲ表示システムの動作を示すフローチャートである。先ず携帯端末１１０は、携帯端末１１０の位置及び姿勢を検知する（ステップＳ１００１）。次に携帯端末１１０は、検知した位置及び姿勢をタグ管理サーバ１２０に対して送信する（ステップＳ１００２）。
【００７０】
タグ管理サーバ１２０は、携帯端末１１０から位置及び姿勢を受信する（ステップＳ１００３）。次にタグ管理サーバ１２０は、携帯端末１１０の位置及び姿勢に基づいて、携帯端末１１０がどの位置に対して翳され、また、携帯端末１１０が当該位置から見てどの方位範囲に位置するかを解析する（ステップＳ１００４）。次にタグ管理サーバ１２０は、ステップＳ１００４の解析結果に合致するレコードをタグ管理テーブル１２０３から抽出する（ステップＳ１００５）。次にタグ管理サーバ１２０は、抽出した各レコードのタグＩＤのタグのコンピュータグラフィックス画像データ及び位置を携帯端末１１０に対して送信する（ステップＳ１００６）。
【００７１】
携帯端末１１０は、タグ管理サーバ１２０からタグのコンピュータグラフィックス画像データ及び位置を受信する（ステップＳ１００７）。次に携帯端末１１０は、タグのコンピュータグラフィックス画像データを現実空間の当該位置に合成表示する（ステップＳ１００８）。
【００７２】
図１１は、図１０のステップＳ１００４〜Ｓ１００８を具体的に説明するための図である。図１１において、携帯端末１１０が地点Ｇに位置し、位置（ｘ3，ｙ3）に向けて翳されている場合、タグ管理サーバ１２０の表示タグ解析部１２０１は、携帯端末１１０の位置及び姿勢から、携帯端末１１０が位置（ｘ3，ｙ3）に翳され、且つ、携帯端末１１０が位置（ｘ3，ｙ3）から見て１°〜１８０°の方位範囲に位置すると判定する。従って、表示タグ解析部１２０１は、タグ管理テーブル１２０３の最上段のレコードを抽出し、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データ及び位置（ｘ3，ｙ3）を携帯端末１１０に対して送信する。これにより、携帯端末１１０は、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データを現実空間における位置（ｘ3，ｙ3）に合成表示する。
【００７３】
一方、携帯端末１１０が地点Ｈに位置し、位置（ｘ3，ｙ3）に向けて翳されている場合、タグ管理サーバ１２０の表示タグ解析部１２０１は、携帯端末１１０の位置及び姿勢から、携帯端末１１０が位置（ｘ3，ｙ3）に翳され、且つ、携帯端末１１０が位置（ｘ3，ｙ3）から見て１８１°〜３６０°の方位範囲に位置すると判定する。従って、表示タグ解析部１２０１は、タグ管理テーブル１２０３の上から２段目のレコードを抽出し、タグＩＤ“００４”のタグのコンピュータグラフィックス画像データ及び位置（ｘ3，ｙ3）を携帯端末１１０に対して送信する。これにより、携帯端末１１０は、タグＩＤ“００４”のタグのコンピュータグラフィックス画像データを現実空間における位置（ｘ3，ｙ3）に合成表示する。
【００７４】
このように本実施形態においては、同じ位置に対して携帯端末１１０が翳されていても、当該位置から見てどの方位範囲から携帯端末１１０が翳されているかに応じて異なるタグを当該位置に合成表示させている。例えば、タグの位置から見て交通量が多い方位範囲から翳された携帯端末１１０には広告料金の高いタグを提示し、交通量の少ない方位範囲から翳された携帯端末１１０には広告料金の低いタグを提示するようにしてもよい。これにより、方位によって生じる広告効果を考慮した広告を提供することができる。
【００７５】
次に、本発明の第４の実施形態について説明する。図１２は、本発明の第４の実施形態において使用する三次元タグの一例を説明するための図である。本実施形態において、図１２に示す三次元タグは現実空間における（ｘ5，ｙ5）の位置に合成表示される。図１２（ａ）は、初期状態における三次元タグの状態を側面から示しており、図１２（ｂ）は、初期状態における三次元タグの状態を上方から示している。図１２に示す例の三次元タグは円柱形状であり、側面に広告ａのタグ、広告ｂのタグ、広告ｃのタグ、広告ｄのタグが配置されている。即ち、図１２（ｂ）に示すように、三次元タグの位置（ｘ5，ｙ5）から見て１°〜９０°には広告ａのタグが配置され、（ｘ5，ｙ5）から見て９１°〜１８０°には広告ｂのタグが配置され、（ｘ5，ｙ5）から見て１８１°〜２７０°には広告ｃのタグが配置され、（ｘ5，ｙ5）から見て２７１°〜３６０°には広告ｄのタグが配置されている。
【００７６】
三次元タグは、ユーザの１回のタップ操作毎に、位置（ｘ5，ｙ5）を軸に９０°回転する。初期状態においては、広告ａのタグが携帯端末１１０の画面の正面を向いており、ユーザのタップ操作の度に三次元タグが９０°ずつ回転し、広告ｂのタグ→広告ｃのタグ→広告ｄ→広告ａの順で画面の正面を向くようにしている。
【００７７】
図１３は、本発明の第４の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。図１３に示すように、本実施形態に係るＡＲタグ表示システムは、ユーザが所持するカメラ機能付き携帯端末２１０と、現実空間の映像に合成表示されるタグを管理するためのタグ管理サーバ２２０とで構成される。なお、図１３においては、説明の簡単のため、携帯端末２１０、タグ管理サーバ２２０をそれぞれ一つずつ示しているが、実際にはそれぞれが任意数あって構わない。また、携帯端末２１０、タグ管理サーバ２２０のハードウェア構成は図２−１、図２−２に示した構成と同様である。
【００７８】
本実施形態における携帯端末２１０は、位置姿勢検知部２１０１及び提示部２１０３を備える。位置姿勢検知部２１０１は図１の位置姿勢検知部１０１と同じ構成であり、提示部２１０３は図１の提示部１０３と同じ構成である。
【００７９】
本実施形態におけるタグ管理サーバ２２０は、表示タグ解析部２２０１、広告料金算出部２２０２及びタグ管理テーブル２２０３を備える。タグ管理テーブル２２０３には、現実空間における位置、タグＩＤ、方位範囲、広告提供主ＩＤ、広告料金（円／回数）、参照回数が対応付けられて管理されている。現実空間における位置（ｘ5，ｙ5）に関しては、タグＩＤ“００７”、タグＩＤ“００８”、タグＩＤ“００９”、タグＩＤ“０１０”が対応付けられている。即ち、位置（ｘ5，ｙ5）には、タグＩＤ“００７”のタグ、タグＩＤ“００８”のタグ、タグＩＤ“００９”のタグ、タグＩＤ“０１０”のタグの４つのタグが合成表示されることが定義されている。つまり、図１２に示すように、位置（ｘ5，ｙ5）において４つのタグ（広告ａのタグ、広告ｂのタグ、広告ｃのタグ、広告ｄのタグ）が配置されていることを意味している。
【００８０】
タグ管理テーブル２２０３においては、第３の実施形態と同様に、位置、タグＩＤ、方位範囲、広告提供主ＩＤ、広告料金（円／回数）が管理されている。これらを管理する意義は第３の実施形態と同様である。また、タグ管理テーブル２２０３においては参照回数が管理されている。参照回数は、該当するタグが画面の正面を向くように表示され、ユーザによって閲覧できるようにした回数である。即ち、ユーザのタップ操作によって各タグが順次画面の正面を向くように表示される度に、夫々のタグの参照回数が加算されていく。
【００８１】
広告料金算出部２２０２は、所定の期間毎、又は管理者の操作に応じて、タグ毎或いは広告提供主毎に広告料金を算出する。タグ毎に広告料金を算出する場合、広告料金算出部２２０２は、タグ管理テーブル２２０３のレコード毎に広告料金（円／回数）と参照回数とを乗算し、タグＩＤをキーにして集計する。また、広告提供主毎に広告料金を算出する場合、広告料金算出部１２０２は、タグ管理テーブル１２０３のレコード毎に広告料金（円／回数）と参照回数とを乗算し、広告提供主ＩＤをキーにして集計する。
【００８２】
上述した実施形態においては、タグ管理サーバが携帯端末の位置及び姿勢に基づいて合成表示させるタグを解析していたが、この解析処理を携帯端末側に実行させるようにしてもよい。即ち、携帯端末側に、上述した表示タグ解析部、タグ表示指示部、タグ管理テーブル及び表示態様管理テーブルを備え、携帯端末が自らの位置及び姿勢に基づいて、合成表示させるタグやその表示サイズを判断すればよい。さらに、携帯端末の位置及び姿勢だけで合成表示させるタグを判定するのではなく、各オブジェクトから携帯端末までの距離に所定の閾値を設け、携帯端末からその閾値より遠い距離のオブジェクトのタグは表示させないようにしてもよい。携帯端末からあまりにも遠い位置にあるオブジェクトのタグは表示させても意味がないので、この閾値を設けることにより不要なタグを振り分けることができる。
【００８３】
上述した実施形態においては、説明の分かり易さの便宜上、位置姿勢検知部は方位角を扱っていたが、方位角だけでなく仰角を加えても良い。例えば、地磁気センサーやジャイロセンサーや画像解析等或いはそれら組み合わせによって仰角に関する情報を取得し、位置座標や方位角や仰角によって、タグの表示を制御することができる。これにより、角度によって見え難さが変わる場合を考慮した表示制御が可能になる。
【符号の説明】
【００８４】
１０、１１０、２１０：携帯端末、２０、１２０、２２０：タグ管理サーバ、１０１、１１０１、２１０１：位置姿勢検知部、１０２：評価受付部、１０３、１１０３、２１０３：提示部、２０１、１２０１、２２０１：表示タグ解析部、２０２：タグ表示指示部、２０３、１２０３、２２０３：タグ管理テーブル、２０４：表示態様管理テーブル、１２０２、２２０２：広告料金算出部
【特許請求の範囲】
【請求項１】
現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムであって、
前記拡張現実感提示装置の位置及び姿勢を検知する検知手段と、
前記検知手段による検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第１の解析手段と、
前記第１の解析手段による解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御手段とを有することを特徴とする情報処理システム。
【請求項２】
前記制御手段は、前記第１の解析手段による解析結果に応じて、前記コンピュータグラフィックス画像データの表示態様を切り替えることを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する第１の管理手段と、
前記拡張現実感提示装置において提示される前記コンピュータグラフィックス画像データに対する所定の操作を受け付ける受付手段と、
前記受付手段により前記コンピュータグラフィックス画像データに対する前記所定の操作を受け付けた場合、当該受付時における前記拡張現実感提示装置の位置及び姿勢に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第２の解析手段と、
前記第２の解析手段による解析結果に応じて、前記第１の管理手段における該当する方位範囲の評価情報を更新する更新手段とを更に有し、
前記制御手段は、前記第１の解析手段による解析結果に対応する前記第１の管理手段における方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する第２の管理手段と、
経路及び進行方向を設定する設定手段と、
前記設定手段により設定された経路及び進行方向に基づいて、前記コンピュータグラフィックス画像データに対応するオブジェクトの現実空間の位置から見て有用な方位範囲を推定する推定手段と、
前記推定手段による推定結果に応じて、前記第２の管理手段における該当する方位範囲の評価情報を更新する更新手段とを更に有し、
前記制御手段は、前記第１の解析手段による解析結果に対応する前記第２の管理手段における方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする請求項１又は２に記載の情報処理システム。
【請求項５】
前記制御手段は、前記第１の解析手段による解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データの種類を切り替えることを特徴とする請求項１に記載の情報処理システム。
【請求項６】
前記制御手段は、前記拡張現実感提示装置における所定の操作を受け付けることにより、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データの種類を切り替えることを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記コンピュータグラフィックス画像データの種類毎に、単位期間当たりの料金と提示期間とを管理する第３の管理手段を更に有することを特徴とする請求項５に記載の情報処理システム。
【請求項８】
前記コンピュータグラフィックス画像データの種類毎に、単位提示回数当たりの料金と提示回数とを管理する第４の管理手段を更に有することを特徴とする請求項６に記載の情報処理システム。
【請求項９】
現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法であって、
前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、
前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、
前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップとを含むことを特徴とする情報処理システムの制御方法。
【請求項１０】
現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法をコンピュータに実行させるためのプログラムであって、
前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、
前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、
前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムであって、
前記拡張現実感提示装置の位置及び姿勢を検知する検知手段と、
前記検知手段による検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第１の解析手段と、
前記第１の解析手段による解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御手段とを有することを特徴とする情報処理システム。
【請求項２】
前記制御手段は、前記第１の解析手段による解析結果に応じて、前記コンピュータグラフィックス画像データの表示態様を切り替えることを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する第１の管理手段と、
前記拡張現実感提示装置において提示される前記コンピュータグラフィックス画像データに対する所定の操作を受け付ける受付手段と、
前記受付手段により前記コンピュータグラフィックス画像データに対する前記所定の操作を受け付けた場合、当該受付時における前記拡張現実感提示装置の位置及び姿勢に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第２の解析手段と、
前記第２の解析手段による解析結果に応じて、前記第１の管理手段における該当する方位範囲の評価情報を更新する更新手段とを更に有し、
前記制御手段は、前記第１の解析手段による解析結果に対応する前記第１の管理手段における方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する第２の管理手段と、
経路及び進行方向を設定する設定手段と、
前記設定手段により設定された経路及び進行方向に基づいて、前記コンピュータグラフィックス画像データに対応するオブジェクトの現実空間の位置から見て有用な方位範囲を推定する推定手段と、
前記推定手段による推定結果に応じて、前記第２の管理手段における該当する方位範囲の評価情報を更新する更新手段とを更に有し、
前記制御手段は、前記第１の解析手段による解析結果に対応する前記第２の管理手段における方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする請求項１又は２に記載の情報処理システム。
【請求項５】
前記制御手段は、前記第１の解析手段による解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データの種類を切り替えることを特徴とする請求項１に記載の情報処理システム。
【請求項６】
前記制御手段は、前記拡張現実感提示装置における所定の操作を受け付けることにより、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データの種類を切り替えることを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記コンピュータグラフィックス画像データの種類毎に、単位期間当たりの料金と提示期間とを管理する第３の管理手段を更に有することを特徴とする請求項５に記載の情報処理システム。
【請求項８】
前記コンピュータグラフィックス画像データの種類毎に、単位提示回数当たりの料金と提示回数とを管理する第４の管理手段を更に有することを特徴とする請求項６に記載の情報処理システム。
【請求項９】
現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法であって、
前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、
前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、
前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップとを含むことを特徴とする情報処理システムの制御方法。
【請求項１０】
現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法をコンピュータに実行させるためのプログラムであって、
前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、
前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、
前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２−１】
【図２−２】
【図３】
【図４】
【図５−１】
【図５−２】
【図６−１】
【図６−２】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２−１】
【図２−２】
【図３】
【図４】
【図５−１】
【図５−２】
【図６−１】
【図６−２】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１１８８８２（Ｐ２０１２−１１８８８２Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６９６３５（Ｐ２０１０−２６９６３５）
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（０００１９１０７６）新日鉄ソリューションズ株式会社 (136)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（０００１９１０７６）新日鉄ソリューションズ株式会社 (136)
【Ｆターム（参考）】
[ Back to top ]