拡張現実提供装置、拡張現実提供システム、拡張現実提供方法及びプログラム
【課題】少ないマーカの種類で多様なコンピュータグラフィックス画像データを重畳表示することを可能とする技術を提供することを目的とする。
【解決手段】識別情報を含む画像を撮影する撮影手段と、撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶手段と、認識手段により認識された識別情報に対応するコンピュータグラフィックス画像データを決定する決定手段と、決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを有し、認識手段により同一の識別情報が複数認識された場合、前記ルール記憶手段より同一複数の識別情報に対する対応関係ルールに基づいてコンピュータグラフィックス画像データを合成して重畳表示することによって課題を解決する。
【解決手段】識別情報を含む画像を撮影する撮影手段と、撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶手段と、認識手段により認識された識別情報に対応するコンピュータグラフィックス画像データを決定する決定手段と、決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを有し、認識手段により同一の識別情報が複数認識された場合、前記ルール記憶手段より同一複数の識別情報に対する対応関係ルールに基づいてコンピュータグラフィックス画像データを合成して重畳表示することによって課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な技術に関するものである。
【背景技術】
【０００２】
近年、現実空間に仮想物体が存在するかのように重畳表示させる拡張現実感（Augmented Reality）技術が知られている。このような拡張現実感技術の一方式として、現実空間を撮影し、撮影した画像の中のマーカ（識別情報）を認識すると、マーカの種類、大きさ、位置に応じて、各マーカに設定された文字、図形、静止画、動画等のコンピュータで管理されたデータ（以下、コンピュータグラフィックス画像データ）を撮影画像中の所定の位置に合成して重畳表示する技術がある。このように、マーカに様々な模様等のパターンを設定することで各マーカに対応した様々なコンピュータグラフィックス画像データを重畳表示することができる。
【０００３】
例えば特許文献１には、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示する方法が開示されている。より具体的には、それぞれ識別情報を持つとともに互いの位置関係が既知である複数のマーカが配設された物体数示指標をカメラで撮影して、この撮影画像を基に物体数示指標を特定するとともに、現実空間に配置された３次元位置・姿勢を取得し、仮想空間において、検出した識別情報に対応する３次元モデルを、物体数示指標から求められた３次元位置・姿勢に配置することによって、複合現実空間を作成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２５６８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、多様なコンピュータグラフィックス画像データを表示するためにはこれらに対応して多様な模様等のパターンを設定したマーカが必要であり、多様なマーカを設定するのは手間のかかる作業であった。また、多様なコンピュータグラフィックス画像データを表示するためにマーカの種類を増やすと、マーカを誤認識する可能性が高まり、意図するコンピュータグラフィックス画像データと異なるコンピュータグラフィックス画像データが合成されて重畳表示されてしまうという問題が発生する。すなわち、多様なマーカを設定することでマーカ同士の識別が難しくなり、正確にマーカを識別するためにカメラ等の解像度を高くしたり、大きなマーカを作成したりしなければならなくなるという問題が発生する。
【０００６】
また、多様なマーカを設定するほど、マーカに対応したコンピュータグラフィックス画像のデータを抽出するのに時間がかかり、コンピュータグラフィックス画像データを表示するまでの処理が遅くなるという問題も発生する。そこで、少ないマーカの種類で多様な情報を重畳表示できる仕組みが望まれている。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、少ないマーカの種類で多様な情報を重畳表示することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
そこで、本発明の拡張現実提供装置は、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置であって、識別情報を含む画像を撮影する撮影手段と、前記撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶手段と、前記認識手段により認識された前記識別情報に対応するコンピュータグラフィックス画像データを前記対応関係ルールに基づいて決定する決定手段と、前記決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを有し、前記認識手段により同一の前記識別情報が複数認識された場合、前記ルール記憶手段より同一複数の識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする。
【０００９】
また、本発明の拡張現実提供システムは、情報処理端末と情報処理装置がと通信可能に接続され、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供システムであって、前記情報処理端末は、識別情報を含む画像を撮影する撮影手段と、前記情報処理装置の決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを備え、前記情報処理装置は、前記撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶手段と、前記認識手段により認識された前記識別情報に対応するコンピュータグラフィックス画像データを前記対応関係ルールに基づいて決定する決定手段とを備え、前記認識手段により同一の前記識別情報が複数認識された場合、前記ルール記憶手段より同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする。
【００１０】
また、本発明の拡張現実提供方法は、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置によって実行される拡張現実提供方法であって、識別情報を含む画像を撮影する撮影ステップと、撮影された前記画像の画像データに含まれる前記識別情報を認識する認識ステップと、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶ステップと、同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを決定する決定ステップと、決定された前記コンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示させる表示ステップと、を有することを特徴とする。
【００１１】
また、本発明のプログラムは、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置によって実行される拡張現実提供方法をコンピュータに実行させるためのプログラムであって、識別情報を含む画像を撮影する撮影ステップと、撮影された前記画像の画像データに含まれる前記識別情報を認識する認識ステップと、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶ステップと、同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを決定する決定ステップと、決定された前記コンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示させる表示ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、少ないマーカの種類で多様な情報を重畳表示することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態におけるＡＲ提供システムの構成の一例を示す図である。
【図２】本発明の実施形態におけるＡＲ提供装置のハードウェア構成の一例を示す図である。
【図３】本発明の実施形態におけるＡＲ提供装置のソフトウェア構成の一例を示す図である。
【図４】本発明の実施形態におけるサーバ装置のハードウェア構成の一例を示す図である。
【図５】本発明の実施形態におけるサーバ装置のソフトウェア構成の一例を示す図である。
【図６】本発明の実施形態における拡張現実提供システムの処理の流れを示すフローチャートである。
【図７】本発明の実施形態における優先順位テーブルの一例を示す図である。
【図８】本発明の第２の実施形態におけるＡＲ提供システムの構成の一例を示す図である。
【図９】本発明の第２の実施形態における優先順位テーブルの一例を示す図である。
【図１０】本発明の第３の実施形態における優先順位テーブルの一例を示す図である。
【図１１】本発明の第３の実施形態における重畳表示の一例を示す図である。
【図１２】本発明の第４の実施形態における優先順位テーブルの一例を示す図である。
【図１３】本発明の第４の実施形態における重畳表示の一例を示す図である。
【図１４】本発明の第５の実施形態における重畳表示の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について添付図面を参照しながら説明する。なお、以下に説明する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なもので置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００１５】
＜第１の実施形態＞
先ず、本発明の第１の実施形態について説明する。図１は、本実施形態における拡張現実提供システムの構成の一例を示す図である。図１に示されるように、第１の実施形態における拡張現実提供システムは、情報処理端末（ＡＲ提供装置）１００と情報処理装置（サーバ装置）２００とを有する。ＡＲ提供装置１００とサーバ装置２００とは、互いに無線通信回線などのネットワークを介して通信可能に接続されている。
【００１６】
ＡＲ提供装置１００は、携帯情報端末、携帯電話、ＨＭＤ（Head Mounted Display）、デジタルカメラ等であり、少なくとも画像を撮影するための撮影装置と、撮影装置で撮影した画像やコンピュータグラフィックス画像データを表示するための表示装置を備えている。ＡＲ提供装置１００を介して知覚できる現実空間に整合する位置に、サーバ装置２００で認識したマーカ３００に対応するコンピュータグラフィックス画像データを重畳表示することにより、拡張された現実感（ＡＲ：Augmented Reality）を提供する。なお、本発明では、全く同一のマーカを複数設置することを許容しており、全く同一のマーカでありながら異なるコンピュータグラフィックス画像データを重畳表示することができるようにしている。
【００１７】
図２は、本発明の実施形態におけるＡＲ提供装置１００のハードウェア構成の一例を示す図である。図２に示されるように、ＡＲ提供装置１００は、ハードウェア構成として、制御装置１０１、記憶装置１０２、通信装置１０３、表示装置１０４、及び撮影装置１０５を有し、バスを介して接続された構成を有する。
【００１８】
制御装置１０１は、例えばＣＰＵ（Central Processing Unit）であり、必要に応じて、記憶装置１０２よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、ＡＲ提供装置１００における後述の機能、及び後述のフローチャートに係る処理が実現される。
【００１９】
記憶装置１０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、プログラムを記憶したり、制御装置１０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。より詳細に説明すると、記憶装置（ＲＯＭ）１０２は、ＡＲ提供装置１００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置（ＲＡＭ）１０２は、ＡＲ提供装置１００のメインメモリとして機能する。また、記憶装置（ＨＤ）１０２は、外部メモリとして機能する。
【００２０】
なお、ＡＲ提供装置１００は、記憶装置１０２に記憶される各種の情報を、ＣＤ−ＲＯＭ等の記録媒体から取得してもよいし、ネットワークを通じてダウンロードしてもよい。
【００２１】
通信装置１０３は、サーバ装置２００とネットワークを介して通信を行い、サーバ装置２００への画像データの送信や、サーバ装置２００からの各種情報の受信などを行う。通信装置１０３で受信された各種情報は、記憶装置１０２に記憶される。表示装置１０４は、液晶ディスプレイ等であり、各種画像を表示する。撮影装置１０５は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。
【００２２】
図３は、本発明の実施形態におけるＡＲ提供装置１００のソフトウェア構成の一例を示す図である。図３に示されるように、ＡＲ提供装置１００は、ソフトウェア構成（機能構成）として、取込部１００１、表示制御部１００２、及び画像取得部１００３を有する。取込部１００１、表示制御部１００２、及び画像取得部１００３は、例えばＨＤ内に記憶され、必要に応じてＲＡＭにロードされるプログラム及びそれを実行するＣＰＵによって実現される構成である。
【００２３】
取込部１００1は、サーバ装置２００が有する後述の記憶装置２０２から、重畳表示する際に必要な情報を取り込む。表示制御部１００２は、画像取得部１００３及び取込部１００１で取り込まれた情報等に基づいて、重畳表示する画像を生成して表示装置１０４に表示する。このとき、表示制御部１００２は、現実空間の表示対象箇所にコンピュータグラフィックス画像データを整合させて表示装置１０４に表示するために、座標合せを行う。
【００２４】
図４は、本発明の実施形態におけるサーバ装置２００のハードウェア構成の一例を示す図である。サーバ装置２００は、ＡＲ提供装置１００に重畳表示する様々なコンピュータグラフィックス画像データを管理する。図４に示されるように、サーバ装置２００は、制御装置２０１、記憶装置２０２、通信装置２０３、表示装置２０４、及び入力装置２０５を有し、バスを介して接続された構成を有する。
【００２５】
制御装置２０１は、例えばＣＰＵ（Central Processing Unit）であり、必要に応じて、記憶装置２０２よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、サーバ装置２００における後述の機能、及び後述のフローチャートに係る処理が実現される。
【００２６】
記憶装置２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、プログラムを記憶したり、制御装置２０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。より詳細に説明すると、記憶装置（ＲＯＭ）２０２は、サーバ装置２００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置（ＲＡＭ）２０２は、サーバ装置２００のメインメモリとして機能する。また、記憶装置（ＨＤ）２０２は、外部メモリとして機能する。なお、サーバ装置２００は、記憶装置２００に記憶される各種の情報を、ＣＤ−ＲＯＭ等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
【００２７】
通信装置２０３は、ＡＲ提供装置１００とネットワークを介して通信を行い、ＡＲ提供装置１００からの画像データの受信や、ＡＲ提供装置１００へのコンピュータグラフィックス画像データの送信等を行う。表示装置２０４は、液晶ディスプレイ等であり、各種情報を表示する。入力装置２０５は、ユーザが操作するキーボード及びマウス等であり、サーバ装置２００に各種情報を入力する。
【００２８】
サーバ装置２００は、各マーカに対応するＡＲ提供装置１００に表示するコンピュータグラフィックス画像データを管理する。サーバ装置２００はＡＲ提供装置１００から画像データを受信すると、画像データに含まれるマーカ３００を認識し、当該マーカ３００に対応するコンピュータグラフィックス画像データを記憶装置２０２から読み出し、ＡＲ提供装置１００へコンピュータグラフィックス画像データを送信する。ＡＲ提供装置１００はサーバ装置２００からコンピュータグラフィックス画像データを受信すると、表示装置１０４に表示される現実空間の画像にコンピュータグラフィックス画像を合成して重畳表示する。
【００２９】
図５は、本発明の実施形態におけるサーバ装置２００のソフトウェア構成の一例を示す図である。図５に示されるように、サーバ装置２００は、ソフトウェア構成（機能構成）として、マーカ認識部２００１及び決定部２００２を含む。マーカ認識部２００１、決定部２００２は、例えばＨＤ内に記憶され、必要に応じてＲＡＭにロードされるプログラム及びそれを実行するＣＰＵによって実現される構成である。マーカ認識部２００１は、ＡＲ提供装置１００の撮影装置１０５により撮影され送信される撮影画像の画像データの中からマーカ３００を認識する処理を行う。マーカ認識部２００１は、マーカ３００の模様等のパターンの認識により、マーカ３００の種類、大きさ、位置等を特定する。
【００３０】
サーバ装置２００には、マーカ３００の種類に対応したコンピュータグラフィックス画像データが格納されている。決定部２００２はサーバ装置２００の記憶装置２０２に格納されているコンピュータグラフィックス画像データの中から、認識部２００１により認識されたマーカ３００の種類に対応したコンピュータグラフィックス画像データを選択し、重畳表示を行うためのデータとして決定する。
【００３１】
ＡＲ提供装置１００の表示装置１０４は、撮影装置１０５により撮影された画像データと、決定部２００２により決定されたコンピュータグラフィックス画像データとを合成して重畳表示する。
【００３２】
図６は、本発明の実施形態における拡張現実提供システムの処理の流れを示すフローチャートである。以下、図１、及び図６を参照しながら、本実施形態における拡張現実提供システムの処理について説明する。
【００３３】
ユーザは、ステップＳ１０１において、マーカ３００を含む画像をＡＲ提供装置１００の撮影装置１０５で捉え、撮影装置１０５は捉えた画像の画像データを生成する。ＡＲ提供装置１００は、ステップＳ１０１において生成した画像データを、通信装置１０３によりネットワークを介してサーバ装置２００に対して送信する（ステップＳ１０２）。
【００３４】
サーバ装置２００は、ＡＲ提供装置１００から送信された撮影画像の画像データを受信する（ステップＳ２０１）。ステップ２０１において受信した画像データの中からマーカ３００を認識する処理を行う（ステップＳ２０２）。マーカ３００を認識するとマーカ３００の模様等のパターンにより、マーカ３００の種類を特定すると共に、画像データ中のマーカ３００の位置について、座標情報（X,Y）を対応付ける処理を行う（ステップＳ２０３）。
【００３５】
続いて、画像データの中に同じ種類のマーカ３００が複数含まれているか否かの判定を行う（ステップＳ２０４）。このとき、画像データの中に同じ種類のマーカ３００が複数認識された場合、記憶装置２０２に記憶される所定のルール（ステップＳ２０５）に従って、同じ種類のマーカ３００に対して異なるコンピュータグラフィックス画像データを決定し（ステップＳ２０７）、ＡＲ提供装置１００へコンピュータグラフィックス画像データを送信する（ステップＳ２０８）。
【００３６】
一方、画像データの中に同じ種類のマーカ３００が認識されなかった場合、予め定められたマーカ３００の種類とコンピュータグラフィックス画像データとが１対１に対応付けられた対応テーブル（ステップＳ２０６）より、重畳表示するコンピュータグラフィックス画像データを決定し（ステップＳ２０７）、コンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する（ステップＳ２０８）。なお、後述する優先順位テーブルの優先順位が一番目のマーカ３００に対応するコンピュータグラフィックス画像データを選択するようにしてもよい。
【００３７】
サーバ装置２００の記憶装置１０２に記憶される所定のルールは、例えば、図７に示す、優先順位テーブル４００であって、優先順位テーブル４００に従って、異なるコンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００３８】
本実施形態において、同じ種類のマーカＭ１を三つ同時に捉えた場合、優先順位が一番目のマーカＭ１に対しては"ＡＢＣ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。同様に、優先順位が二番目のマーカＭ１に対しては"ＤＥＦ"、優先順位が三番目のマーカＭ１に対しては"ＧＨＩ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。
【００３９】
このとき、三つのマーカＭ１それぞれについて、予め対応付けられた座標情報とそれぞれのマーカＭ１の優先順位とに基づいて、例えば座標（X1,Y1）のＭ１が優先順位一番目、座標（X2,Y2）のＭ１が二番目、座標（X3,Y3）のＭ１が三番目、と指定することで、同じ種類のマーカＭ１であっても異なるコンピュータグラフィックス画像データが重畳表示することができる。
【００４０】
なお、マーカの優先順位は、例えば、ＡＲ提供装置１００とマーカ３００との距離に応じて、距離が近いマーカ３００がより優先順位が高いように設定する。同じ大きさのマーカ３００を使用することによりＡＲ提供装置１００とマーカ３００との距離は、マーカ３００の大きさを比較することで判定することができる。すなわち、同一サイズ・同一模様のマーカ３００においては、より大きいほど手前に存在し、より小さいほど離れていると判定する。
【００４１】
また、マーカ３００の優先順位は、マーカ３００のサイズに関係なく表示画面の中央により近いマーカ３００の優先順位を高くするなど、目的に応じて設定してもよい。例えば表示画面上の中央座標（X0,Y0）と各マーカ３００の座標（Xa,Ya）とに基づき、中央座標と各マーカ３００との距離を比較することができる。
【００４２】
また、優先順位の高いマーカ３００ほど、重畳表示するコンピュータグラフィックス画像データを大きく表示し、優先順位が低いマーカ３００ほど、重畳表示するコンピュータグラフィックス画像データを小さく表示してもよい。
【００４３】
ステップＳ１０３において、ＡＲ提供装置１００は、サーバ装置２００にて決定され送信されたコンピュータグラフィックス画像データを受信する。ＡＲ提供装置１００は、ステップＳ１０３にて受信したコンピュータグラフィックス画像データと現実空間の画像を合成し（ステップＳ１０４）、表示画面上にコンピュータグラフィックス画像データなどを重畳表示する（ステップＳ１０５）。
【００４４】
本実施形態によれば、同じ種類のマーカ３００を現実空間に設置し、同時に同じマーカ３００を複数捉えた場合に、それぞれのマーカ３００に対して異なるコンピュータグラフィックス画像データを表示するようにしたため、少ないマーカ３００の種類で多様な情報を表示することができる。
【００４５】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態では、上述した実施形態とは異なる点を説明する。本実施形態では、マーカ３００がバスや電車などの車両、或いは飛行機などに付されており、車両や機体に対して広告情報や地域情報などのコンピュータグラフィックス画像データを重畳表示する。
【００４６】
図８に示すように、ユーザが所持するＡＲ提供装置１００で車両等の画像を撮影すると、撮影した画像の画像データをサーバ装置２００に送信する。サーバ装置２００はＡＲ提供装置１００より送信された画像データを受信すると、受信した画像データの中からマーカ３０１を認識する処理を行う。なお、従来より車両等に描かれているオリジナルカラーの特徴点をマーカ３０１として利用するのが好ましい。このような構成とすることで、新たにマーカを付す手間が軽減される。
【００４７】
サーバ装置２００は、車両のオリジナルカラーであるマーカ３０１を認識すると、マーカ３０１の種類、大きさ、位置を特定し、画像データの中に同じ種類のマーカ３０１が複数含まれているか否かの判定を行う。
【００４８】
このとき、同じ種類のマーカ３０１が複数認識された場合、サーバ装置２００の記憶装置２０２に記憶される優先順位テーブル４０１（図９）に従って、同じ種類のマーカ３０１に対して異なるコンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００４９】
一方、画像データの中に同じ種類のマーカ３０１が認識されなかった場合、予め定められたマーカ３０１の種類とコンピュータグラフィックス画像データとが１対１に対応付けられた対応テーブル（図示せず）より、重畳表示するコンピュータグラフィックス画像データを決定し、コンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００５０】
同じ種類のマーカ３０１が複数認識された場合、優先順位テーブル４０１で、優先順位の高い情報ほどＡＲ提供装置１００に表示される画像中において、より手前に表示する制御を行う。
【００５１】
本実施形態において、同じ種類のマーカＭ１（本実施形態における図８の車両のオリジナルカラーであるマーカ３０１をＭ１とする）を三つ同時に捉えた場合、優先順位が一番目のマーカＭ１に対しては"百貨店Ａ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。同様に、優先順位が二番目のマーカＭ１に対しては"スーパーＢ"、三番目のマーカＭ１に対しては"商店Ｃ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。
【００５２】
また、画像データの中に二種類のマーカＭ１、Ｍ２がそれぞれ複数認識された場合においては、上述に加え、Ｍ２の優先順位が一番目のマーカＭ２に対して"レストランＤ"、二番目のマーカＭ２に対しては"レストランＥ"、三番目のマーカＭ２に対しては"ラーメンＦ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。
【００５３】
本実施形態によれば、従来から行われている車両等への塗装やシールの貼り付け等によるラッピング広告と比較して、広告内容の変更が容易であり、また、同時に同じ種類のマーカを複数捉えた場合に、それぞれのマーカに対して異なるコンピュータグラフィックス画像データを表示するようにしたため多様な広告や地域情報等を効果的にユーザに提示する技術を提供することができる。
【００５４】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態では、上述した実施形態とは異なる点を説明する。本実施形態では、ユーザの所持するＧＰＳ機能付きのＡＲ提供装置１００により、地域（位置）に応じた広告情報や地域情報などのコンピュータグラフィックス画像データを重畳表示する。
【００５５】
ユーザの所持するＧＰＳ機能付きＡＲ提供装置１００は、ソフトウェア構成として位置情報算出部を含む。ＡＲ提供装置１００で車両等を含む画像を撮影すると、撮影した画像の画像データを生成すると共に、ＧＰＳ衛星から受信するデータに基づいて当該ＡＲ提供装置１００の位置情報（ここでは、緯度、経度）を算出する。ＡＲ提供装置１００は、生成した画像データと共に、算出した位置情報をサーバ装置２００に送信する。
【００５６】
サーバ装置２００はＡＲ提供装置１００より送信された画像データおよび位置情報を受信すると、受信した画像データの中からマーカ３００を認識すると共に、位置情報に基づいて地域を特定する。なお、この場合も通常のマーカ３００だけでなく、実施形態２のように車両のオリジナルカラーをマーカ３０１として利用してもよい。
【００５７】
ここで、位置情報に基づく地域の特定は、緯度および経度に対応する地域を予め設定した地域特定テーブルなどにより地域を特定してもよい。例えば、（緯度ｘ1，経度ｙ1）に対応する地域は"新川地区"、（緯度ｘ2，経度ｙ2）に対応する地域は"丸の内地区"のように特定する。
【００５８】
マーカ３００を認識すると、マーカ３００の種類を特定し、地域特定テーブルにおいて特定された地域における優先順位テーブル（図１０）４０２、４０３、４０４に基づいて、コンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。図１１は、本発明の第３の実施形態における重畳表示の一例を示す図である。図１１に示すように、ＡＲ提供装置１００は、特定された地域の優先順テーブル４０２、４０３、４０４に基づき、マーカＭ１に対して、新川地区では"百貨店Ａ"を重畳表示し、丸の内地区では"スーパーＢ"を重畳表示し、八重洲地区では"商店Ｃ"を重畳表示する。
【００５９】
なお、図１０では、マーカＭ２の優先順位一番目に対して、新川地区では"レストランＤ"を重畳表示し、丸の地区及び八重洲地区では"ラーメンＦ"を重畳表示するようにしている。
【００６０】
また、ＡＲ提供装置１００からサーバ装置２００に対して最新の位置情報を送信する処理は、所定の時間間隔毎に行ってもよいし、ＡＲ提供装置１００が最新の位置情報を算出する度に行ってもよい。
【００６１】
本実施形態によれば、同じ種類のマーカ３００であってもユーザが滞在している地域によって表示させるコンピュータグラフィックス画像データを様々に設定することができ、地域毎にマーカ３００を作成する必要がないので、多様な広告や地域情報等を地域に応じて効果的にユーザに提示する技術を提供することができる。
【００６２】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。なお、第４の実施形態では、上述した実施形態とは異なる点を説明する。本実施形態では、ユーザの所持する時刻計測機能付きのＡＲ提供装置１００により、時刻に応じた広告情報や地域情報などのコンピュータグラフィックス画像データを重畳表示する。
【００６３】
ユーザの所持する時刻計測機能付きのＡＲ提供装置１００は、ソフトウェア構成として時刻を計測する時刻計測部を含む。ＡＲ提供装置１００で車両等を含む画像を撮影すると、撮影した画像の画像データを生成すると共に、時刻計測部により時刻を計測する。ＡＲ提供装置１００は、生成した画像データと共に、計測した時刻情報をサーバ装置２００に送信する。
サーバ装置２００はＡＲ提供装置１００より送信された画像データおよび時刻情報を受信すると、受信した画像データの中からマーカ３００を認識しマーカ３００の種類、大きさ、位置を特定すると共に、時刻情報に基づいて図１２に示す優先順位テーブル４０５、４０６、４０７の中から何れかの優先順位テーブルを選択する。時刻に基づいて選択された優先順位テーブルの優先順位に基づいて、コンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００６４】
図１３は、本発明の第４の実施形態における重畳表示の一例を示す図である。図１３に示すように、優先順位１番目のマーカＭ１に対して、現在の時刻が「9：00」の場合、時間帯「6：00-10：00」の優先順位テーブル４０５に含まれていると判定し、時間帯「6：00-10：00」の優先順位テーブル４０５に従って、"モーニングセット"の広告を重畳表示する。現在の時刻が「18：00」の場合、先ず、時間帯「6：00-10：00」の優先順位テーブル４０５に含まれているか否かを判定する。含まれていないと判定されると、次に時間帯「17：00-21：00」の優先順位テーブル４０６に含まれているか否かを判定する。ここで、時間帯「17：00-21：00」の優先順位テーブル４０６に含まれていると判定されると、時間帯「17：00-21：00」の優先順位テーブル４０６に従って、"ディナーセット"の広告を重畳表示する。現在の時刻が「15：00」の場合、「6：00-10：00」及び「17：00-21：00」のどちらにも含まれていないと判定し、「その他」の優先順位テーブル４０７に従って、"おすすめセット"の広告を重畳表示する。
【００６５】
なお、上述のように特定の時刻に対応する優先順位テーブルを設定する以外にも、例えば適用時間を指定した優先順位テーブルを設定し、３つの優先順位テーブルＡ，Ｂ，Ｃを５時間毎にＡ→Ｂ→Ｃ→Ａ→・・・、と切り替えるようにするなどしてもよい。
【００６６】
また、時刻計測機能をサーバ装置側２００に持たせ、ＡＲ提供装置１００から画像データを受信した時刻に基づいて、コンピュータグラフィックス画像データを重畳表示するようにしてもよい。
【００６７】
本実施形態によれば、同じ種類のマーカ３００であってもユーザが滞在している時刻によって表示させるコンピュータグラフィックス画像データを様々に設定することができ、時刻毎にマーカ３００を作成する必要がないので、多様な広告や地域情報等を時刻に応じて効果的にユーザに提示する技術を提供することができる。
【００６８】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。なお、第５の実施形態では、上述した実施形態とは異なる点を説明する。本実施形態では、同じ種類のマーカ３００を複数認識した場合に、所定のルールに基づいて、大きなコンピュータグラフィックス画像データを重畳表示する。
【００６９】
ユーザが所持するＡＲ提供装置１００で車両等の画像を撮影すると、撮影した画像の画像データをサーバ装置２００に送信する。サーバ装置２００はＡＲ提供装置１００より送信された画像データを受信すると、受信した画像データの中からマーカ３００を認識する処理を行う。
【００７０】
マーカ３００を認識すると、マーカ３００の種類、大きさ、位置を特定し、同じ種類のマーカ３００が複数認識された場合、サーバ装置２００の記憶装置２０２に記憶されるテーブルに従って、複数のマーカ３００に対して一つのコンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００７１】
本実施形態においては、マーカＭ１を一つだけ捉えたときには通常のＡＲ技術同様に、マーカＭ１に対応するコンピュータグラフィックス画像データをＡＲ提供装置１００へ送信するが、例えば図１４に示すように、現実空間における車両に付されたマーカＭ１を二つ捉えた場合に、ＡＲ提供装置１００の表示画面上では一つの大きな広告を重畳表示するようにする。
【００７２】
本実施形態によれば、同じ種類のマーカを複数捉えた場合に、一つの大きなコンピュータグラフィックス画像データを表示することができるので、多様な広告や地域情報等を効果的にユーザに提示する技術を提供することができる。
【００７３】
なお、上記説明では、マーカＭ１二つに対して、一つの広告を重畳表示する場合を例示したが、例えば、マーカＭ１三つに対して、一つの広告を重畳表示するようにしてもよいし、四つ以上に対して一つの広告を重畳表示するようにしてもよい。また、複数のマーカＭ１を捉え、それらが所定の配置例えば図１４に示すように直線的に並んで捉えたときにだけ一つの大きな広告を重畳表示するようにし、所定の配置以外の時には、上述した他の実施形態と同様な処理を行ってもよい。
【００７４】
＜その他の実施形態＞
上述した実施形態では、ＡＲ提供装置１００とサーバ装置２００とで、それぞれ機能分担させたが、これらは１つの装置で行ってもよく、例えば、サーバ装置２００として説明した機能の全部をＡＲ提供装置１００に持たせるようにしてもよい。
【００７５】
また、サーバ装置２００がＡＲ提供装置１００で撮影された画像データとコンピュータグラフィックス画像データとを合成するようにしてもよい。また、優先順位テーブルに設定された数を超えてマーカ３００を捉えた場合には、再度優先順位上位のコンピュータグラフィックス画像データから優先順位下位のコンピュータグラフィックス画像データへ繰り返し表示するようにしてもよい。
【００７６】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００７７】
１００：ＡＲ提供装置
２００：サーバ装置
３００：マーカ
【技術分野】
【０００１】
本発明は、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な技術に関するものである。
【背景技術】
【０００２】
近年、現実空間に仮想物体が存在するかのように重畳表示させる拡張現実感（Augmented Reality）技術が知られている。このような拡張現実感技術の一方式として、現実空間を撮影し、撮影した画像の中のマーカ（識別情報）を認識すると、マーカの種類、大きさ、位置に応じて、各マーカに設定された文字、図形、静止画、動画等のコンピュータで管理されたデータ（以下、コンピュータグラフィックス画像データ）を撮影画像中の所定の位置に合成して重畳表示する技術がある。このように、マーカに様々な模様等のパターンを設定することで各マーカに対応した様々なコンピュータグラフィックス画像データを重畳表示することができる。
【０００３】
例えば特許文献１には、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示する方法が開示されている。より具体的には、それぞれ識別情報を持つとともに互いの位置関係が既知である複数のマーカが配設された物体数示指標をカメラで撮影して、この撮影画像を基に物体数示指標を特定するとともに、現実空間に配置された３次元位置・姿勢を取得し、仮想空間において、検出した識別情報に対応する３次元モデルを、物体数示指標から求められた３次元位置・姿勢に配置することによって、複合現実空間を作成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２５６８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、多様なコンピュータグラフィックス画像データを表示するためにはこれらに対応して多様な模様等のパターンを設定したマーカが必要であり、多様なマーカを設定するのは手間のかかる作業であった。また、多様なコンピュータグラフィックス画像データを表示するためにマーカの種類を増やすと、マーカを誤認識する可能性が高まり、意図するコンピュータグラフィックス画像データと異なるコンピュータグラフィックス画像データが合成されて重畳表示されてしまうという問題が発生する。すなわち、多様なマーカを設定することでマーカ同士の識別が難しくなり、正確にマーカを識別するためにカメラ等の解像度を高くしたり、大きなマーカを作成したりしなければならなくなるという問題が発生する。
【０００６】
また、多様なマーカを設定するほど、マーカに対応したコンピュータグラフィックス画像のデータを抽出するのに時間がかかり、コンピュータグラフィックス画像データを表示するまでの処理が遅くなるという問題も発生する。そこで、少ないマーカの種類で多様な情報を重畳表示できる仕組みが望まれている。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、少ないマーカの種類で多様な情報を重畳表示することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
そこで、本発明の拡張現実提供装置は、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置であって、識別情報を含む画像を撮影する撮影手段と、前記撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶手段と、前記認識手段により認識された前記識別情報に対応するコンピュータグラフィックス画像データを前記対応関係ルールに基づいて決定する決定手段と、前記決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを有し、前記認識手段により同一の前記識別情報が複数認識された場合、前記ルール記憶手段より同一複数の識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする。
【０００９】
また、本発明の拡張現実提供システムは、情報処理端末と情報処理装置がと通信可能に接続され、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供システムであって、前記情報処理端末は、識別情報を含む画像を撮影する撮影手段と、前記情報処理装置の決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを備え、前記情報処理装置は、前記撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶手段と、前記認識手段により認識された前記識別情報に対応するコンピュータグラフィックス画像データを前記対応関係ルールに基づいて決定する決定手段とを備え、前記認識手段により同一の前記識別情報が複数認識された場合、前記ルール記憶手段より同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする。
【００１０】
また、本発明の拡張現実提供方法は、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置によって実行される拡張現実提供方法であって、識別情報を含む画像を撮影する撮影ステップと、撮影された前記画像の画像データに含まれる前記識別情報を認識する認識ステップと、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶ステップと、同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを決定する決定ステップと、決定された前記コンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示させる表示ステップと、を有することを特徴とする。
【００１１】
また、本発明のプログラムは、現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置によって実行される拡張現実提供方法をコンピュータに実行させるためのプログラムであって、識別情報を含む画像を撮影する撮影ステップと、撮影された前記画像の画像データに含まれる前記識別情報を認識する認識ステップと、前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶ステップと、同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを決定する決定ステップと、決定された前記コンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示させる表示ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、少ないマーカの種類で多様な情報を重畳表示することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態におけるＡＲ提供システムの構成の一例を示す図である。
【図２】本発明の実施形態におけるＡＲ提供装置のハードウェア構成の一例を示す図である。
【図３】本発明の実施形態におけるＡＲ提供装置のソフトウェア構成の一例を示す図である。
【図４】本発明の実施形態におけるサーバ装置のハードウェア構成の一例を示す図である。
【図５】本発明の実施形態におけるサーバ装置のソフトウェア構成の一例を示す図である。
【図６】本発明の実施形態における拡張現実提供システムの処理の流れを示すフローチャートである。
【図７】本発明の実施形態における優先順位テーブルの一例を示す図である。
【図８】本発明の第２の実施形態におけるＡＲ提供システムの構成の一例を示す図である。
【図９】本発明の第２の実施形態における優先順位テーブルの一例を示す図である。
【図１０】本発明の第３の実施形態における優先順位テーブルの一例を示す図である。
【図１１】本発明の第３の実施形態における重畳表示の一例を示す図である。
【図１２】本発明の第４の実施形態における優先順位テーブルの一例を示す図である。
【図１３】本発明の第４の実施形態における重畳表示の一例を示す図である。
【図１４】本発明の第５の実施形態における重畳表示の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について添付図面を参照しながら説明する。なお、以下に説明する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なもので置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００１５】
＜第１の実施形態＞
先ず、本発明の第１の実施形態について説明する。図１は、本実施形態における拡張現実提供システムの構成の一例を示す図である。図１に示されるように、第１の実施形態における拡張現実提供システムは、情報処理端末（ＡＲ提供装置）１００と情報処理装置（サーバ装置）２００とを有する。ＡＲ提供装置１００とサーバ装置２００とは、互いに無線通信回線などのネットワークを介して通信可能に接続されている。
【００１６】
ＡＲ提供装置１００は、携帯情報端末、携帯電話、ＨＭＤ（Head Mounted Display）、デジタルカメラ等であり、少なくとも画像を撮影するための撮影装置と、撮影装置で撮影した画像やコンピュータグラフィックス画像データを表示するための表示装置を備えている。ＡＲ提供装置１００を介して知覚できる現実空間に整合する位置に、サーバ装置２００で認識したマーカ３００に対応するコンピュータグラフィックス画像データを重畳表示することにより、拡張された現実感（ＡＲ：Augmented Reality）を提供する。なお、本発明では、全く同一のマーカを複数設置することを許容しており、全く同一のマーカでありながら異なるコンピュータグラフィックス画像データを重畳表示することができるようにしている。
【００１７】
図２は、本発明の実施形態におけるＡＲ提供装置１００のハードウェア構成の一例を示す図である。図２に示されるように、ＡＲ提供装置１００は、ハードウェア構成として、制御装置１０１、記憶装置１０２、通信装置１０３、表示装置１０４、及び撮影装置１０５を有し、バスを介して接続された構成を有する。
【００１８】
制御装置１０１は、例えばＣＰＵ（Central Processing Unit）であり、必要に応じて、記憶装置１０２よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、ＡＲ提供装置１００における後述の機能、及び後述のフローチャートに係る処理が実現される。
【００１９】
記憶装置１０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、プログラムを記憶したり、制御装置１０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。より詳細に説明すると、記憶装置（ＲＯＭ）１０２は、ＡＲ提供装置１００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置（ＲＡＭ）１０２は、ＡＲ提供装置１００のメインメモリとして機能する。また、記憶装置（ＨＤ）１０２は、外部メモリとして機能する。
【００２０】
なお、ＡＲ提供装置１００は、記憶装置１０２に記憶される各種の情報を、ＣＤ−ＲＯＭ等の記録媒体から取得してもよいし、ネットワークを通じてダウンロードしてもよい。
【００２１】
通信装置１０３は、サーバ装置２００とネットワークを介して通信を行い、サーバ装置２００への画像データの送信や、サーバ装置２００からの各種情報の受信などを行う。通信装置１０３で受信された各種情報は、記憶装置１０２に記憶される。表示装置１０４は、液晶ディスプレイ等であり、各種画像を表示する。撮影装置１０５は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。
【００２２】
図３は、本発明の実施形態におけるＡＲ提供装置１００のソフトウェア構成の一例を示す図である。図３に示されるように、ＡＲ提供装置１００は、ソフトウェア構成（機能構成）として、取込部１００１、表示制御部１００２、及び画像取得部１００３を有する。取込部１００１、表示制御部１００２、及び画像取得部１００３は、例えばＨＤ内に記憶され、必要に応じてＲＡＭにロードされるプログラム及びそれを実行するＣＰＵによって実現される構成である。
【００２３】
取込部１００1は、サーバ装置２００が有する後述の記憶装置２０２から、重畳表示する際に必要な情報を取り込む。表示制御部１００２は、画像取得部１００３及び取込部１００１で取り込まれた情報等に基づいて、重畳表示する画像を生成して表示装置１０４に表示する。このとき、表示制御部１００２は、現実空間の表示対象箇所にコンピュータグラフィックス画像データを整合させて表示装置１０４に表示するために、座標合せを行う。
【００２４】
図４は、本発明の実施形態におけるサーバ装置２００のハードウェア構成の一例を示す図である。サーバ装置２００は、ＡＲ提供装置１００に重畳表示する様々なコンピュータグラフィックス画像データを管理する。図４に示されるように、サーバ装置２００は、制御装置２０１、記憶装置２０２、通信装置２０３、表示装置２０４、及び入力装置２０５を有し、バスを介して接続された構成を有する。
【００２５】
制御装置２０１は、例えばＣＰＵ（Central Processing Unit）であり、必要に応じて、記憶装置２０２よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、サーバ装置２００における後述の機能、及び後述のフローチャートに係る処理が実現される。
【００２６】
記憶装置２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤ（Hard Disk）等であり、プログラムを記憶したり、制御装置２０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。より詳細に説明すると、記憶装置（ＲＯＭ）２０２は、サーバ装置２００の電源投入時に最初に読み込まれるプログラム等を記憶する。また、記憶装置（ＲＡＭ）２０２は、サーバ装置２００のメインメモリとして機能する。また、記憶装置（ＨＤ）２０２は、外部メモリとして機能する。なお、サーバ装置２００は、記憶装置２００に記憶される各種の情報を、ＣＤ−ＲＯＭ等の記録媒体から取得してもよいし、ネットワーク等を通じてダウンロードしてもよい。
【００２７】
通信装置２０３は、ＡＲ提供装置１００とネットワークを介して通信を行い、ＡＲ提供装置１００からの画像データの受信や、ＡＲ提供装置１００へのコンピュータグラフィックス画像データの送信等を行う。表示装置２０４は、液晶ディスプレイ等であり、各種情報を表示する。入力装置２０５は、ユーザが操作するキーボード及びマウス等であり、サーバ装置２００に各種情報を入力する。
【００２８】
サーバ装置２００は、各マーカに対応するＡＲ提供装置１００に表示するコンピュータグラフィックス画像データを管理する。サーバ装置２００はＡＲ提供装置１００から画像データを受信すると、画像データに含まれるマーカ３００を認識し、当該マーカ３００に対応するコンピュータグラフィックス画像データを記憶装置２０２から読み出し、ＡＲ提供装置１００へコンピュータグラフィックス画像データを送信する。ＡＲ提供装置１００はサーバ装置２００からコンピュータグラフィックス画像データを受信すると、表示装置１０４に表示される現実空間の画像にコンピュータグラフィックス画像を合成して重畳表示する。
【００２９】
図５は、本発明の実施形態におけるサーバ装置２００のソフトウェア構成の一例を示す図である。図５に示されるように、サーバ装置２００は、ソフトウェア構成（機能構成）として、マーカ認識部２００１及び決定部２００２を含む。マーカ認識部２００１、決定部２００２は、例えばＨＤ内に記憶され、必要に応じてＲＡＭにロードされるプログラム及びそれを実行するＣＰＵによって実現される構成である。マーカ認識部２００１は、ＡＲ提供装置１００の撮影装置１０５により撮影され送信される撮影画像の画像データの中からマーカ３００を認識する処理を行う。マーカ認識部２００１は、マーカ３００の模様等のパターンの認識により、マーカ３００の種類、大きさ、位置等を特定する。
【００３０】
サーバ装置２００には、マーカ３００の種類に対応したコンピュータグラフィックス画像データが格納されている。決定部２００２はサーバ装置２００の記憶装置２０２に格納されているコンピュータグラフィックス画像データの中から、認識部２００１により認識されたマーカ３００の種類に対応したコンピュータグラフィックス画像データを選択し、重畳表示を行うためのデータとして決定する。
【００３１】
ＡＲ提供装置１００の表示装置１０４は、撮影装置１０５により撮影された画像データと、決定部２００２により決定されたコンピュータグラフィックス画像データとを合成して重畳表示する。
【００３２】
図６は、本発明の実施形態における拡張現実提供システムの処理の流れを示すフローチャートである。以下、図１、及び図６を参照しながら、本実施形態における拡張現実提供システムの処理について説明する。
【００３３】
ユーザは、ステップＳ１０１において、マーカ３００を含む画像をＡＲ提供装置１００の撮影装置１０５で捉え、撮影装置１０５は捉えた画像の画像データを生成する。ＡＲ提供装置１００は、ステップＳ１０１において生成した画像データを、通信装置１０３によりネットワークを介してサーバ装置２００に対して送信する（ステップＳ１０２）。
【００３４】
サーバ装置２００は、ＡＲ提供装置１００から送信された撮影画像の画像データを受信する（ステップＳ２０１）。ステップ２０１において受信した画像データの中からマーカ３００を認識する処理を行う（ステップＳ２０２）。マーカ３００を認識するとマーカ３００の模様等のパターンにより、マーカ３００の種類を特定すると共に、画像データ中のマーカ３００の位置について、座標情報（X,Y）を対応付ける処理を行う（ステップＳ２０３）。
【００３５】
続いて、画像データの中に同じ種類のマーカ３００が複数含まれているか否かの判定を行う（ステップＳ２０４）。このとき、画像データの中に同じ種類のマーカ３００が複数認識された場合、記憶装置２０２に記憶される所定のルール（ステップＳ２０５）に従って、同じ種類のマーカ３００に対して異なるコンピュータグラフィックス画像データを決定し（ステップＳ２０７）、ＡＲ提供装置１００へコンピュータグラフィックス画像データを送信する（ステップＳ２０８）。
【００３６】
一方、画像データの中に同じ種類のマーカ３００が認識されなかった場合、予め定められたマーカ３００の種類とコンピュータグラフィックス画像データとが１対１に対応付けられた対応テーブル（ステップＳ２０６）より、重畳表示するコンピュータグラフィックス画像データを決定し（ステップＳ２０７）、コンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する（ステップＳ２０８）。なお、後述する優先順位テーブルの優先順位が一番目のマーカ３００に対応するコンピュータグラフィックス画像データを選択するようにしてもよい。
【００３７】
サーバ装置２００の記憶装置１０２に記憶される所定のルールは、例えば、図７に示す、優先順位テーブル４００であって、優先順位テーブル４００に従って、異なるコンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００３８】
本実施形態において、同じ種類のマーカＭ１を三つ同時に捉えた場合、優先順位が一番目のマーカＭ１に対しては"ＡＢＣ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。同様に、優先順位が二番目のマーカＭ１に対しては"ＤＥＦ"、優先順位が三番目のマーカＭ１に対しては"ＧＨＩ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。
【００３９】
このとき、三つのマーカＭ１それぞれについて、予め対応付けられた座標情報とそれぞれのマーカＭ１の優先順位とに基づいて、例えば座標（X1,Y1）のＭ１が優先順位一番目、座標（X2,Y2）のＭ１が二番目、座標（X3,Y3）のＭ１が三番目、と指定することで、同じ種類のマーカＭ１であっても異なるコンピュータグラフィックス画像データが重畳表示することができる。
【００４０】
なお、マーカの優先順位は、例えば、ＡＲ提供装置１００とマーカ３００との距離に応じて、距離が近いマーカ３００がより優先順位が高いように設定する。同じ大きさのマーカ３００を使用することによりＡＲ提供装置１００とマーカ３００との距離は、マーカ３００の大きさを比較することで判定することができる。すなわち、同一サイズ・同一模様のマーカ３００においては、より大きいほど手前に存在し、より小さいほど離れていると判定する。
【００４１】
また、マーカ３００の優先順位は、マーカ３００のサイズに関係なく表示画面の中央により近いマーカ３００の優先順位を高くするなど、目的に応じて設定してもよい。例えば表示画面上の中央座標（X0,Y0）と各マーカ３００の座標（Xa,Ya）とに基づき、中央座標と各マーカ３００との距離を比較することができる。
【００４２】
また、優先順位の高いマーカ３００ほど、重畳表示するコンピュータグラフィックス画像データを大きく表示し、優先順位が低いマーカ３００ほど、重畳表示するコンピュータグラフィックス画像データを小さく表示してもよい。
【００４３】
ステップＳ１０３において、ＡＲ提供装置１００は、サーバ装置２００にて決定され送信されたコンピュータグラフィックス画像データを受信する。ＡＲ提供装置１００は、ステップＳ１０３にて受信したコンピュータグラフィックス画像データと現実空間の画像を合成し（ステップＳ１０４）、表示画面上にコンピュータグラフィックス画像データなどを重畳表示する（ステップＳ１０５）。
【００４４】
本実施形態によれば、同じ種類のマーカ３００を現実空間に設置し、同時に同じマーカ３００を複数捉えた場合に、それぞれのマーカ３００に対して異なるコンピュータグラフィックス画像データを表示するようにしたため、少ないマーカ３００の種類で多様な情報を表示することができる。
【００４５】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態では、上述した実施形態とは異なる点を説明する。本実施形態では、マーカ３００がバスや電車などの車両、或いは飛行機などに付されており、車両や機体に対して広告情報や地域情報などのコンピュータグラフィックス画像データを重畳表示する。
【００４６】
図８に示すように、ユーザが所持するＡＲ提供装置１００で車両等の画像を撮影すると、撮影した画像の画像データをサーバ装置２００に送信する。サーバ装置２００はＡＲ提供装置１００より送信された画像データを受信すると、受信した画像データの中からマーカ３０１を認識する処理を行う。なお、従来より車両等に描かれているオリジナルカラーの特徴点をマーカ３０１として利用するのが好ましい。このような構成とすることで、新たにマーカを付す手間が軽減される。
【００４７】
サーバ装置２００は、車両のオリジナルカラーであるマーカ３０１を認識すると、マーカ３０１の種類、大きさ、位置を特定し、画像データの中に同じ種類のマーカ３０１が複数含まれているか否かの判定を行う。
【００４８】
このとき、同じ種類のマーカ３０１が複数認識された場合、サーバ装置２００の記憶装置２０２に記憶される優先順位テーブル４０１（図９）に従って、同じ種類のマーカ３０１に対して異なるコンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００４９】
一方、画像データの中に同じ種類のマーカ３０１が認識されなかった場合、予め定められたマーカ３０１の種類とコンピュータグラフィックス画像データとが１対１に対応付けられた対応テーブル（図示せず）より、重畳表示するコンピュータグラフィックス画像データを決定し、コンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００５０】
同じ種類のマーカ３０１が複数認識された場合、優先順位テーブル４０１で、優先順位の高い情報ほどＡＲ提供装置１００に表示される画像中において、より手前に表示する制御を行う。
【００５１】
本実施形態において、同じ種類のマーカＭ１（本実施形態における図８の車両のオリジナルカラーであるマーカ３０１をＭ１とする）を三つ同時に捉えた場合、優先順位が一番目のマーカＭ１に対しては"百貨店Ａ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。同様に、優先順位が二番目のマーカＭ１に対しては"スーパーＢ"、三番目のマーカＭ１に対しては"商店Ｃ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。
【００５２】
また、画像データの中に二種類のマーカＭ１、Ｍ２がそれぞれ複数認識された場合においては、上述に加え、Ｍ２の優先順位が一番目のマーカＭ２に対して"レストランＤ"、二番目のマーカＭ２に対しては"レストランＥ"、三番目のマーカＭ２に対しては"ラーメンＦ"をコンピュータグラフィックス画像データとして決定し、ＡＲ提供装置１００へ送信する。
【００５３】
本実施形態によれば、従来から行われている車両等への塗装やシールの貼り付け等によるラッピング広告と比較して、広告内容の変更が容易であり、また、同時に同じ種類のマーカを複数捉えた場合に、それぞれのマーカに対して異なるコンピュータグラフィックス画像データを表示するようにしたため多様な広告や地域情報等を効果的にユーザに提示する技術を提供することができる。
【００５４】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態では、上述した実施形態とは異なる点を説明する。本実施形態では、ユーザの所持するＧＰＳ機能付きのＡＲ提供装置１００により、地域（位置）に応じた広告情報や地域情報などのコンピュータグラフィックス画像データを重畳表示する。
【００５５】
ユーザの所持するＧＰＳ機能付きＡＲ提供装置１００は、ソフトウェア構成として位置情報算出部を含む。ＡＲ提供装置１００で車両等を含む画像を撮影すると、撮影した画像の画像データを生成すると共に、ＧＰＳ衛星から受信するデータに基づいて当該ＡＲ提供装置１００の位置情報（ここでは、緯度、経度）を算出する。ＡＲ提供装置１００は、生成した画像データと共に、算出した位置情報をサーバ装置２００に送信する。
【００５６】
サーバ装置２００はＡＲ提供装置１００より送信された画像データおよび位置情報を受信すると、受信した画像データの中からマーカ３００を認識すると共に、位置情報に基づいて地域を特定する。なお、この場合も通常のマーカ３００だけでなく、実施形態２のように車両のオリジナルカラーをマーカ３０１として利用してもよい。
【００５７】
ここで、位置情報に基づく地域の特定は、緯度および経度に対応する地域を予め設定した地域特定テーブルなどにより地域を特定してもよい。例えば、（緯度ｘ1，経度ｙ1）に対応する地域は"新川地区"、（緯度ｘ2，経度ｙ2）に対応する地域は"丸の内地区"のように特定する。
【００５８】
マーカ３００を認識すると、マーカ３００の種類を特定し、地域特定テーブルにおいて特定された地域における優先順位テーブル（図１０）４０２、４０３、４０４に基づいて、コンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。図１１は、本発明の第３の実施形態における重畳表示の一例を示す図である。図１１に示すように、ＡＲ提供装置１００は、特定された地域の優先順テーブル４０２、４０３、４０４に基づき、マーカＭ１に対して、新川地区では"百貨店Ａ"を重畳表示し、丸の内地区では"スーパーＢ"を重畳表示し、八重洲地区では"商店Ｃ"を重畳表示する。
【００５９】
なお、図１０では、マーカＭ２の優先順位一番目に対して、新川地区では"レストランＤ"を重畳表示し、丸の地区及び八重洲地区では"ラーメンＦ"を重畳表示するようにしている。
【００６０】
また、ＡＲ提供装置１００からサーバ装置２００に対して最新の位置情報を送信する処理は、所定の時間間隔毎に行ってもよいし、ＡＲ提供装置１００が最新の位置情報を算出する度に行ってもよい。
【００６１】
本実施形態によれば、同じ種類のマーカ３００であってもユーザが滞在している地域によって表示させるコンピュータグラフィックス画像データを様々に設定することができ、地域毎にマーカ３００を作成する必要がないので、多様な広告や地域情報等を地域に応じて効果的にユーザに提示する技術を提供することができる。
【００６２】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。なお、第４の実施形態では、上述した実施形態とは異なる点を説明する。本実施形態では、ユーザの所持する時刻計測機能付きのＡＲ提供装置１００により、時刻に応じた広告情報や地域情報などのコンピュータグラフィックス画像データを重畳表示する。
【００６３】
ユーザの所持する時刻計測機能付きのＡＲ提供装置１００は、ソフトウェア構成として時刻を計測する時刻計測部を含む。ＡＲ提供装置１００で車両等を含む画像を撮影すると、撮影した画像の画像データを生成すると共に、時刻計測部により時刻を計測する。ＡＲ提供装置１００は、生成した画像データと共に、計測した時刻情報をサーバ装置２００に送信する。
サーバ装置２００はＡＲ提供装置１００より送信された画像データおよび時刻情報を受信すると、受信した画像データの中からマーカ３００を認識しマーカ３００の種類、大きさ、位置を特定すると共に、時刻情報に基づいて図１２に示す優先順位テーブル４０５、４０６、４０７の中から何れかの優先順位テーブルを選択する。時刻に基づいて選択された優先順位テーブルの優先順位に基づいて、コンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００６４】
図１３は、本発明の第４の実施形態における重畳表示の一例を示す図である。図１３に示すように、優先順位１番目のマーカＭ１に対して、現在の時刻が「9：00」の場合、時間帯「6：00-10：00」の優先順位テーブル４０５に含まれていると判定し、時間帯「6：00-10：00」の優先順位テーブル４０５に従って、"モーニングセット"の広告を重畳表示する。現在の時刻が「18：00」の場合、先ず、時間帯「6：00-10：00」の優先順位テーブル４０５に含まれているか否かを判定する。含まれていないと判定されると、次に時間帯「17：00-21：00」の優先順位テーブル４０６に含まれているか否かを判定する。ここで、時間帯「17：00-21：00」の優先順位テーブル４０６に含まれていると判定されると、時間帯「17：00-21：00」の優先順位テーブル４０６に従って、"ディナーセット"の広告を重畳表示する。現在の時刻が「15：00」の場合、「6：00-10：00」及び「17：00-21：00」のどちらにも含まれていないと判定し、「その他」の優先順位テーブル４０７に従って、"おすすめセット"の広告を重畳表示する。
【００６５】
なお、上述のように特定の時刻に対応する優先順位テーブルを設定する以外にも、例えば適用時間を指定した優先順位テーブルを設定し、３つの優先順位テーブルＡ，Ｂ，Ｃを５時間毎にＡ→Ｂ→Ｃ→Ａ→・・・、と切り替えるようにするなどしてもよい。
【００６６】
また、時刻計測機能をサーバ装置側２００に持たせ、ＡＲ提供装置１００から画像データを受信した時刻に基づいて、コンピュータグラフィックス画像データを重畳表示するようにしてもよい。
【００６７】
本実施形態によれば、同じ種類のマーカ３００であってもユーザが滞在している時刻によって表示させるコンピュータグラフィックス画像データを様々に設定することができ、時刻毎にマーカ３００を作成する必要がないので、多様な広告や地域情報等を時刻に応じて効果的にユーザに提示する技術を提供することができる。
【００６８】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。なお、第５の実施形態では、上述した実施形態とは異なる点を説明する。本実施形態では、同じ種類のマーカ３００を複数認識した場合に、所定のルールに基づいて、大きなコンピュータグラフィックス画像データを重畳表示する。
【００６９】
ユーザが所持するＡＲ提供装置１００で車両等の画像を撮影すると、撮影した画像の画像データをサーバ装置２００に送信する。サーバ装置２００はＡＲ提供装置１００より送信された画像データを受信すると、受信した画像データの中からマーカ３００を認識する処理を行う。
【００７０】
マーカ３００を認識すると、マーカ３００の種類、大きさ、位置を特定し、同じ種類のマーカ３００が複数認識された場合、サーバ装置２００の記憶装置２０２に記憶されるテーブルに従って、複数のマーカ３００に対して一つのコンピュータグラフィックス画像データをＡＲ提供装置１００へ送信する。
【００７１】
本実施形態においては、マーカＭ１を一つだけ捉えたときには通常のＡＲ技術同様に、マーカＭ１に対応するコンピュータグラフィックス画像データをＡＲ提供装置１００へ送信するが、例えば図１４に示すように、現実空間における車両に付されたマーカＭ１を二つ捉えた場合に、ＡＲ提供装置１００の表示画面上では一つの大きな広告を重畳表示するようにする。
【００７２】
本実施形態によれば、同じ種類のマーカを複数捉えた場合に、一つの大きなコンピュータグラフィックス画像データを表示することができるので、多様な広告や地域情報等を効果的にユーザに提示する技術を提供することができる。
【００７３】
なお、上記説明では、マーカＭ１二つに対して、一つの広告を重畳表示する場合を例示したが、例えば、マーカＭ１三つに対して、一つの広告を重畳表示するようにしてもよいし、四つ以上に対して一つの広告を重畳表示するようにしてもよい。また、複数のマーカＭ１を捉え、それらが所定の配置例えば図１４に示すように直線的に並んで捉えたときにだけ一つの大きな広告を重畳表示するようにし、所定の配置以外の時には、上述した他の実施形態と同様な処理を行ってもよい。
【００７４】
＜その他の実施形態＞
上述した実施形態では、ＡＲ提供装置１００とサーバ装置２００とで、それぞれ機能分担させたが、これらは１つの装置で行ってもよく、例えば、サーバ装置２００として説明した機能の全部をＡＲ提供装置１００に持たせるようにしてもよい。
【００７５】
また、サーバ装置２００がＡＲ提供装置１００で撮影された画像データとコンピュータグラフィックス画像データとを合成するようにしてもよい。また、優先順位テーブルに設定された数を超えてマーカ３００を捉えた場合には、再度優先順位上位のコンピュータグラフィックス画像データから優先順位下位のコンピュータグラフィックス画像データへ繰り返し表示するようにしてもよい。
【００７６】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００７７】
１００：ＡＲ提供装置
２００：サーバ装置
３００：マーカ
【特許請求の範囲】
【請求項１】
現実空間の画像とコンピュータグラフィック画像データとを合成して表示させることが可能な拡張現実提供装置であって、
識別情報を含む画像を撮影する撮影手段と、
前記撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、
前記識別情報と前記コンピュータグラフィック画像データとの対応関係ルールを記憶するルール記憶手段と、
前記認識手段により認識された前記識別情報に対応するコンピュータグラフィックス画像データを前記対応関係ルールに基づいて決定する決定手段と、
前記決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを有し、
前記認識手段により同一の前記識別情報が複数認識された場合、前記ルール記憶手段より同一複数の識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする拡張現実提供装置。
【請求項２】
前記認識手段により同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対して異なるコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする請求項１に記載の拡張現実提供装置。
【請求項３】
前記認識手段により同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対して一つのコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする請求項１に記載の拡張現実提供装置。
【請求項４】
位置情報を算出する位置情報算出手段をさらに有し、前記位置情報に対応する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする請求項１乃至３の何れか１項に記載の拡張現実提供装置。
【請求項５】
時刻を計測する計測手段をさらに有し、計測した前記時刻に対応する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と重畳表示することを特徴とする請求項１乃至４の何れか１項に記載の拡張現実提供装置。
【請求項６】
情報処理端末と情報処理装置がと通信可能に接続され、現実空間の画像とコンピュータグラフィックス画像データとを合成して重畳表示させることが可能な拡張現実提供システムであって、
前記情報処理端末は、
識別情報を含む画像を撮影する撮影手段と、
前記情報処理装置の決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを備え、
前記情報処理装置は、
前記撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、
前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶手段と、
前記認識手段により認識された前記識別情報に対応するコンピュータグラフィックス画像データを前記対応関係ルールに基づいて決定する決定手段とを備え、
前記認識手段により同一の前記識別情報が複数認識された場合、前記ルール記憶手段より同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする拡張現実提供システム。
【請求項７】
現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置によって実行される拡張現実提供方法であって、
識別情報を含む画像を撮影する撮影ステップと、
撮影された前記画像の画像データに含まれる前記識別情報を認識する認識ステップと、
前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶ステップと、
同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを決定する決定ステップと、
決定された前記コンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示させる表示ステップと、
を有することを特徴とする拡張現実提供方法。
【請求項８】
現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置によって実行される拡張現実提供方法をコンピュータに実行させるためのプログラムであって、
識別情報を含む画像を撮影する撮影ステップと、
撮影された前記画像の画像データに含まれる前記識別情報を認識する認識ステップと、
前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶ステップと、
同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを決定する決定ステップと、
決定された前記コンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示させる表示ステップと、
をコンピュータに実行させるためのプログラム。
【請求項１】
現実空間の画像とコンピュータグラフィック画像データとを合成して表示させることが可能な拡張現実提供装置であって、
識別情報を含む画像を撮影する撮影手段と、
前記撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、
前記識別情報と前記コンピュータグラフィック画像データとの対応関係ルールを記憶するルール記憶手段と、
前記認識手段により認識された前記識別情報に対応するコンピュータグラフィックス画像データを前記対応関係ルールに基づいて決定する決定手段と、
前記決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを有し、
前記認識手段により同一の前記識別情報が複数認識された場合、前記ルール記憶手段より同一複数の識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする拡張現実提供装置。
【請求項２】
前記認識手段により同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対して異なるコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする請求項１に記載の拡張現実提供装置。
【請求項３】
前記認識手段により同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対して一つのコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする請求項１に記載の拡張現実提供装置。
【請求項４】
位置情報を算出する位置情報算出手段をさらに有し、前記位置情報に対応する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする請求項１乃至３の何れか１項に記載の拡張現実提供装置。
【請求項５】
時刻を計測する計測手段をさらに有し、計測した前記時刻に対応する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と重畳表示することを特徴とする請求項１乃至４の何れか１項に記載の拡張現実提供装置。
【請求項６】
情報処理端末と情報処理装置がと通信可能に接続され、現実空間の画像とコンピュータグラフィックス画像データとを合成して重畳表示させることが可能な拡張現実提供システムであって、
前記情報処理端末は、
識別情報を含む画像を撮影する撮影手段と、
前記情報処理装置の決定手段により決定されたコンピュータグラフィックス画像データを現実空間の画像と合成して表示させる表示手段とを備え、
前記情報処理装置は、
前記撮影手段により撮影された画像の画像データに含まれる識別情報を認識する認識手段と、
前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶手段と、
前記認識手段により認識された前記識別情報に対応するコンピュータグラフィックス画像データを前記対応関係ルールに基づいて決定する決定手段とを備え、
前記認識手段により同一の前記識別情報が複数認識された場合、前記ルール記憶手段より同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示することを特徴とする拡張現実提供システム。
【請求項７】
現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置によって実行される拡張現実提供方法であって、
識別情報を含む画像を撮影する撮影ステップと、
撮影された前記画像の画像データに含まれる前記識別情報を認識する認識ステップと、
前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶ステップと、
同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを決定する決定ステップと、
決定された前記コンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示させる表示ステップと、
を有することを特徴とする拡張現実提供方法。
【請求項８】
現実空間の画像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実提供装置によって実行される拡張現実提供方法をコンピュータに実行させるためのプログラムであって、
識別情報を含む画像を撮影する撮影ステップと、
撮影された前記画像の画像データに含まれる前記識別情報を認識する認識ステップと、
前記識別情報と前記コンピュータグラフィックス画像データとの対応関係ルールを記憶するルール記憶ステップと、
同一の前記識別情報が複数認識された場合、同一複数の前記識別情報に対する前記対応関係ルールに基づいてコンピュータグラフィックス画像データを決定する決定ステップと、
決定された前記コンピュータグラフィックス画像データを読み出して現実空間の画像と合成して重畳表示させる表示ステップと、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１４１７７９（Ｐ２０１２−１４１７７９Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９３９５２（Ｐ２０１０−２９３９５２）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００１９１０７６）新日鉄ソリューションズ株式会社 (136)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００１９１０７６）新日鉄ソリューションズ株式会社 (136)
【Ｆターム（参考）】
[ Back to top ]