端末装置のプログラム、端末装置および端末装置の制御方法
【課題】タグを簡易な手続きで選択することができる端末装置のプログラム等を提供すること。
【解決手段】ＣＰＵ１１は、カメラ部２７が撮影したことにより得た第１画像データが含んでいる、ＡＲタグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を、記憶部１２に記憶させる。またＣＰＵ１１は、記憶部１２が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるＡＲタグと同じＡＲタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、記憶部１２が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるＡＲタグと同じＡＲタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、パネル１８に画像を表示させる。
【解決手段】ＣＰＵ１１は、カメラ部２７が撮影したことにより得た第１画像データが含んでいる、ＡＲタグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を、記憶部１２に記憶させる。またＣＰＵ１１は、記憶部１２が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるＡＲタグと同じＡＲタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、記憶部１２が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるＡＲタグと同じＡＲタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、パネル１８に画像を表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、タグを簡易な手続きで選択することができる端末装置のプログラム、端末装置および端末装置の制御方法に関する。
【背景技術】
【０００２】
特許文献１に記載の技術では、撮影装置が撮影することで取得した現実物体の画像を示す現実画像データを記憶する。そして、現実画像データと、予め記憶している仮想物体の仮想画像を示す仮想画像データとを用いて、現実画像と仮想画像を重ねて表示する。具体例としては、タッチパネルに現実空間の画像が表示されるとともに、当該現実空間の画像に重ねて仮想画像であるボタンの画像が表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１２６９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、ユーザ等によって選択された現実物体についての仮想画像を選択的に表示する技術については記載がない。すると、例えば、撮影装置が撮影することで取得した画像内に複数の現実物体が写っている場合には、複数の現実物体の各々に対応して複数の仮想画像が表示されることになる。この場合、ユーザが所定の仮想画像を見つけにくくなる事態や、ユーザが閲覧を所望する仮想画像が見にくくなる事態が発生する場合がある。本明細書では、このような不便性を解消することができる技術を提供する。
【課題を解決するための手段】
【０００５】
本願に記載のプログラムは、端末装置のコンピュータが読み取り可能なプログラムであって、コンピュータを、撮影部が撮影したことにより得た第１画像データが含んでいる、タグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を記憶部に記憶させるタグ画像データ記憶制御手段と、タグ画像データ情報を記憶部が記憶している状態で撮影部が撮影したことにより得た第２画像データの中に、記憶部が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、表示部に画像を表示させる表示制御手段と、して機能させる。
【０００６】
本願に記載のプログラムでは、第１画像データに含まれているが、第２画像データに含まれないタグ画像データ情報を、利用者等によって選択されたタグ画像データ情報として検出することができる。そして、選択されたタグ画像データ情報に基づく付帯データに基づいて、表示部に画像を表示させることができる。すなわち、利用者が所望するタグについての画像を、選択的に表示することが可能となる。これにより例えば、撮影部が撮影することで取得した画像内に複数のタグが写っている場合においても、複数のタグの各々に対応する画像の全てが表示されてしまう事態を防止することができるため、利用者の利便性を高めることができる。
【０００７】
また、本願に記載のプログラムでは、第１の条件が成立することに応じて、選択されたタグ画像データ情報に基づく付帯データのみを取得することができる。これにより、不要な付帯データを取得してしまうことが防止できる。
【０００８】
また、本願に記載のプログラムでは、第１の条件が成立する前に、予め、タグ画像データ記憶制御手段によって取得されたタグ画像データ情報に基づく付帯データを全て取得することができる。これにより、第１の条件が成立した後において、より短い待機時間で画像を表示させることが可能となる。
【０００９】
また、本願に記載のプログラムでは、タグが所定の物体で隠された場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、利用者が意図しない態様でタグが隠されてしまった場合に、当該タグが選択されたと誤って判断されてしまう事態を防止することができる。
【００１０】
また、本願に記載のプログラムでは、第１画像内のタグの位置と第２画像内のタグの位置が第１距離以上異なるタグについてのタグ画像データを、利用者等によって移動されたタグであるとして検出することができる。そして、検出されたタグ画像データに基づく付帯データに基づいて、表示部に画像を表示させることができる。これにより、利用者が所望するタグについての画像を、選択的に表示することが可能となる。
【００１１】
また、本願に記載のプログラムでは、第２の条件が成立することに応じて、選択されたタグ画像データに基づく付帯データのみを取得することができる。これにより、不要な付帯データを取得してしまうことが防止できる。
【００１２】
また、本願に記載のプログラムでは、第２の条件が成立する前に、予め、第１タグ画像データ記憶制御手段によって取得されたタグ画像データに基づく付帯データを全て取得することができる。これにより、第２の条件が成立した後において、より短い待機時間で画像を表示させることが可能となる。
【００１３】
また、本願に記載のプログラムでは、撮影部とタグとの距離が第２距離以内である場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、利用者が意図しない態様でタグが隠されたり移動してしまった場合に、当該タグが選択されたと誤って判断されてしまう事態を防止することができる。
【００１４】
また、本願に記載のプログラムでは、タグ画像データに対応するタグの画像が再現される第１画像内の位置から所定の範囲内に、マーカーの画像が再現されない場合に、当該タグ画像データが利用者等によって選択されたとして検出することができる。そして、選択されたタグ画像データに基づく付帯データに基づいて、表示部に画像を表示させることができる。これにより、利用者が所望するタグについての画像を、選択的に表示することが可能となる。
【００１５】
また、本願に記載のプログラムでは、第４の条件が成立することに応じて、選択されたタグ画像データに基づく付帯データのみを取得することができる。これにより、不要な付帯データを取得してしまうことが防止できる。
【００１６】
また、本願に記載のプログラムでは、第４の条件が成立する前に、予め、タグ画像データ記憶制御手段によって取得されたタグ画像データに基づく付帯データを全て取得することができる。これにより、第４の条件が成立した後において、より短い待機時間で画像を表示させることが可能となる。
【００１７】
また、本願に記載のプログラムでは、マーカーが所定の物体で隠された場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、利用者が意図しない態様でマーカーが隠されてしまった場合に、当該タグが選択されたと誤って判断されてしまう事態を防止することができる。
【図面の簡単な説明】
【００１８】
【図１】拡張現実感提供システム１のブロック図である。
【図２】ＨＭＤの動作フローチャート（その１）を示す図である。
【図３】ＨＭＤの動作フローチャート（その２）を示す図である。
【図４】第１画像データの画像の一例を示す図である。
【図５】第２画像データの画像の一例を示す図である。
【図６】第２画像データの画像の一例を示す図である。
【図７】ＨＭＤの動作フローチャート（その３）を示す図である。
【図８】ＡＲタグの一例を示す図である。
【発明を実施するための形態】
【００１９】
＜第１実施形態＞
図１に、本願に係る第１実施形態として例示される拡張現実感提供システム１のブロック図を示す。拡張現実感提供システム１は、ＨＭＤ（Head Mounted Display）１０、アクセスポイント６２、インターネット７０、サーバ７１、を備える。
【００２０】
ＨＭＤ１０について説明する。ＨＭＤは、頭部に装着する小型のディスプレイ装置である。ＨＭＤ１０は、現実空間の画像と仮想空間の画像とを合成した画像を、使用者の眼前に提供する装置である。図１に示すように、ＨＭＤ１０は、ＣＰＵ（Central Processing Unit）１１、記憶部１２、無線送受信部１５、無線アンテナ部１６、ボタン入力部１７、パネル１８、カメラ部２７、を主に備えている。
【００２１】
カメラ部２７は、ＣＣＤ等により、利用者の位置姿勢に応じた所定範囲を撮影することで画像データを取得する部位である。パネル１８は、利用者がＨＭＤ１０を頭部に装着したときに眼前に位置するように、ＨＭＤ１０に装着されている。パネル１８は、画像信号に基づいた画像を表示する。無線送受信部１５は、無線アンテナ部１６を介して、無線ＬＡＮのインフラストラクチャーモードに準拠する無線通信２０１を行う。そして、無線送受信部１５により、各種のデータを構成するデジタル信号が送受信される。ボタン入力部１７は、ＨＭＤ１０の使用者による操作を受け付ける。
【００２２】
ＣＰＵ１１は、記憶部１２に記憶されるプログラムに従って処理を実行する。以降、表示プログラム２８や基本プログラムなど、プログラムを実行するＣＰＵ１１のことを、単にプログラム名でも記載する場合がある。例えば「表示プログラム２８が」という記載は、表示プログラム２８を実行するＣＰＵ１１が」を意味する場合がある。
【００２３】
記憶部１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（ハードディスク）、ＣＰＵ１１が備えるバッファなどが組み合わされて構成されている。記憶部１２は、プログラム２１を記憶する。プログラム２１は、基本プログラム（図示省略）、表示プログラム２８等を含む。基本プログラムは、カメラ部２７が撮影することで取得した現実空間の画像をパネル１８に表示させるためのプログラム、現実空間の画像に重ねて仮想画像をパネル１８に表示させるためのプログラム、無線送受信部１５に無線通信２０１を実行させるためのプログラム、等を含む。また基本プログラムは、カメラ部２７が取得した画像データを各プログラムが取得するためのＡＰＩ（Application Programming Interface）を提供するプログラムでもある。また表示プログラム２８は、後述する拡張現実感提供システム１の動作フローをＣＰＵ１１に実行させるためのプログラムである。
【００２４】
また記憶部１２は、設定値記憶領域１２ａを備える。設定値記憶領域１２ａには、後述する、所定時間、第１距離、第２距離、などが記憶される。これらの値は、使用者等によって予め記憶されるとしてもよい。
【００２５】
サーバ７１の構成について説明する。サーバ７１は、ＣＰＵ７２、記憶部７３、通信部７４、を主に備えている。サーバ７１は、ネットワークにおいて、ＨＭＤ１０などのクライアント装置に対し、自身の持っている機能やデータを提供する装置である。ＣＰＵ７２は、各機能の制御を行う。記憶部７３は、データベース７５を記憶する。データベース７５は、タグ画像データ情報の各々に対応して、付帯データを記憶している。通信部７４は、様々な情報をＨＭＤ１０との間で通信する。
【００２６】
なお、ＨＭＤ１０とアクセスポイント６２とは、無線ＬＡＮ方式のインフラストラクチャーモード（複数の無線ＬＡＮ端末装置が、アクセスポイントを介してデータ通信するモード）に準拠する無線通信（電波を用いたデータ通信）２０１を行うことが可能とされている。また、アクセスポイント６２とサーバ７１とは、インターネット７０を介して通信可能とされている。すなわち、ＨＭＤ１０は、アクセスポイント６２へアクセスし、無線ＬＡＮのインフラストラクチャーモードに準拠する無線通信２０１を行える状態になれば、ＨＭＤ１０は、アクセスポイント６２を介して、サーバ７１とデータ通信することが可能になる。なお、無線ＬＡＮ方式の例としては、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎの規格で定められる通信方式が挙げられる。
【００２７】
拡張現実感提供システム１の動作の概略を説明する。拡張現実感提供システム１は、カメラ部２７が取得した画像データを解析し、当該画像データ内にＡＲ（拡張現実）タグの撮影によって取得したタグ画像データが存在することを認識すれば、サーバ７１内のデータベース７５からそのＡＲタグに対応した付帯データを取得する。また、取得した付帯データに基づいて、ＣＧ（コンピュータグラフィックス）で描画された仮想画像を生成する。そして、画像データから画像を再現した場合にその画像上の、タグ画像データに基づくタグ画像が再現される位置を基準として、仮想画像を現実画像に合成して表示するシステムである。ここでＡＲタグとは、各種の情報を表示するための表示物である。ＡＲタグの一例としては、ＱＲコード（登録商標）などの２次元バーコードが挙げられる。
【００２８】
第１実施形態に係る拡張現実感提供システム１の動作を、図２ないし図６を用いて説明する。図２および図３を用いて、ＨＭＤ１０で行われるフローを説明する。図２および図３のフローは、ＨＭＤ１０の表示プログラム２８を起動することに応じて、実行が開始される。なお、第１実施形態は、ＡＲタグが複数存在する場合に、使用者によって少なくとも一部が隠されたＡＲタグ、または使用者によって移動されたＡＲタグを、使用者によって選択されたＡＲタグとして取り扱う形態である。第１実施形態の説明例では、ＡＲタグが２次元バーコードである場合を説明する。また、ＡＲタグに埋め込まれている情報が、付帯データを記憶しているデータベース７５へアクセスするためのＵＲＬ（Uniform Resource Locator）である場合を説明する。また、タグ画像データ情報は、タグ画像データを解析して得たＵＲＬである場合を説明する。
【００２９】
図２のＳ１１３において、ＣＰＵ１１は、カメラ部２７が撮影することで取得した第１画像データを取得する。そしてＣＰＵ１１は、画像処理により、第１画像データ内にタグ画像データが含まれているかを判断する。タグ画像データは、ＡＲタグを撮影したことにより得られる画像データである。ＣＰＵ１１は、第１画像データ内にタグ画像データが含まれている場合には、タグ画像データ情報を取得し、記憶部１２に記憶させる。タグ画像データ情報は、タグ画像データに関連する各種の情報である。第１実施形態の説明例では、タグ画像データ情報は、データベース７５へアクセスするためのＵＲＬである場合を説明している。
【００３０】
Ｓ１１３における、第１実施形態の説明例での第１画像データについて説明する。図４は、第１画像データを再現した画像１１０を示す図である。ＣＰＵ１１は、第１画像データに、タグ１２１ないし１２３のタグ画像データの３つが含まれていることを判断する。そして、タグ１２１に関するタグ画像データ情報（http://www.ABC.com/data1）、タグ１２２に関するタグ画像データ情報（http://www.ABC.com/data2）、タグ１２３に関するタグ画像データ情報（http://www.ABC.com/data3）、を取得し、記憶部１２に記憶させる。
【００３１】
Ｓ１１５において、ＣＰＵ１１は、所定時間待機する。なお、所定時間は、設定値記憶領域１２ａに記憶されている。
【００３２】
Ｓ１１７において、ＣＰＵ１１は、カメラ部２７が撮影することで取得した第２画像についての第２画像データを取得する。第２画像データは、第１画像データの取得が行われてから所定時間が経過した後に取得された、画像データである。そしてＣＰＵ１１は、画像処理により、第２画像データ内にタグ画像データが含まれているかを判断する。ＣＰＵ１１は、第２画像データ内にタグ画像データが含まれている場合には、タグ画像データ情報を取得し、記憶部１２に記憶させる。
【００３３】
Ｓ１１７における、第１実施形態の説明例での動作を説明する。図５は、第２画像データを再現した画像２１０を示す図である。ＣＰＵ１１は、第２画像データ内に、タグ２２１および２２３のタグ画像データの２つが含まれていることを判断する。そして、タグ２２１に関するタグ画像データ情報（http://www.ABC.com/data1）、および、タグ２２３に関するタグ画像データ情報（http://www.ABC.com/data3）を取得する。
【００３４】
Ｓ１２１において、ＣＰＵ１１は、第１画像データおよび第２画像データに、タグ画像データが含まれているか否かを判断する。含まれていない場合（Ｓ１２１：ＮＯ）にはフローが終了され、含まれている場合（Ｓ１２１：ＹＥＳ）にはＳ１２３へ進む。Ｓ１２３において、ＣＰＵ１１は、第１画像データに含まれているタグ画像データの全てが、第２画像データに含まれているか否かを判断する。第１画像データに含まれているタグ画像データの全てが、第２画像データに含まれていない場合（Ｓ１２３：ＮＯ）には、Ｓ１２７（図３）へ進む。
【００３５】
第１実施形態の説明例では、第１画像データの画像１１０（図４）にはタグ１２１ないし１２３の画像が含まれている。また、第２画像データの画像２１０（図５）にはタグ２２１および２２３の画像が含まれている（Ｓ１２１：ＹＥＳ）。しかし、第２画像データの画像２１０には、第１画像データの画像１１０内のタグ１２２に対応するタグ画像データが含まれていない（Ｓ１２３：ＮＯ）。よって、Ｓ１２７へ進む。
【００３６】
Ｓ１２７において、ＣＰＵ１１は、第１画像データには含まれているが第２画像データには含まれていないＡＲタグが、手によって隠されているか否かを判断する。具体的には、第１画像データを再現した第１画像内の、該当するＡＲタグの画像が再現される位置について、第２画像データを再現した第２画像内ではその位置に、人間の手の画像が再現されるか否かを、周知の画像認識技術によって判断する。第１画像データには含まれているが第２画像データには含まれていないＡＲタグが、手によって隠されていることが判明した場合（Ｓ１２７：ＹＥＳ）には、Ｓ１２８へ進む。そして、手によって隠されているＡＲタグが、使用者によって選択されたＡＲタグ（選択タグ）に設定される。そしてＳ１３７へ進む。
【００３７】
第１実施形態の説明例では、図４および図５に示すように、タグ１２２（図４）の画像は、第１画像データの画像１１０には含まれているが、第２画像データの画像２１０には含まれていない（Ｓ１２３：ＮＯ）。また、第２画像データの画像２１０（図５）において、タグ１２２（図４）が、人間の手２３０によって少なくとも一部が隠されていることが判断される（Ｓ１２７：ＹＥＳ）。よって、タグ１２２（図４）が、選択タグに設定される（Ｓ１２８）。
【００３８】
Ｓ１３７において、ＣＰＵ１１は、選択タグとカメラ部２７との離反距離を解析する。具体的には、第１画像内における、選択タグのタグ画像の大きさを画像解析することで、離反距離が算出される。第１実施形態の説明例では、図４において、タグ１２２の画像の、第１画像データの画像１１０内での大きさが解析される。
【００３９】
Ｓ１３９において、ＣＰＵ１１は、Ｓ１３７で算出した離反距離が、予め定められた第２距離以内である、という条件が成立しているか否かを判断する。第２距離は、一般的な使用者の手の届く距離（肩から指先までの距離）に設定してもよい。当該条件が成立していない場合（Ｓ１３９：ＮＯ）にはフローが終了され、当該条件が成立している場合（Ｓ１３９：ＹＥＳ）にはＳ１４１へ進む。
【００４０】
Ｓ１４１において、ＣＰＵ１１は、選択タグに対応する付帯データを無線送受信部１５に取得させる。具体的には、無線送受信部１５に、無線通信２０１、アクセスポイント６２、インターネット７０を介してサーバ７１と通信を実行させる。
【００４１】
第１実施形態の説明例では、選択タグ（タグ画像データの画像の基となるタグ１２２（図４））に関するタグ画像データ情報（http://www.ABC.com/data2）に基づいて、サーバ７１のデータベース７５にアクセスする。そして、付帯データ（タイトル：ＡＡＡ、著者：ＢＢＢ、出版年：ＣＣＣ年）を取得する。
【００４２】
Ｓ１４３において、ＣＰＵ１１は、選択タグのタグ画像データ情報に基づく付帯データに基づいて、仮想画像を生成する。そして、パネル１８において、第１実施形態の説明例では、図６に示すように、付帯データを表す仮想画像２４０が、第２画像データの画像２１０に重ねて表示される（現実画像に仮想画像を重ねた合成画像が表示される）。
【００４３】
また、Ｓ１２３（図２）において、ＣＰＵ１１が、第１画像データに含まれているタグ画像データの全てが、第２画像データに含まれていると判断する場合（Ｓ１２３：ＹＥＳ）には、Ｓ１３１へ進む。Ｓ１３１において、ＣＰＵ１１は、第１画像データおよび第２画像データの各々において、タグ画像データが複数個含まれているか否かを判断する。タグ画像データが複数個含まれている場合（Ｓ１３１：ＹＥＳ）には、Ｓ１３３へ進む。
【００４４】
Ｓ１３３において、ＣＰＵ１１は、第１画像データによって再現される第１画像内での位置と、第２画像データによって再現される第２画像内での位置とが異なるＡＲタグが１つのみ存在するか否かを判断する。具体的には、第１画像内において、タグ画像データの基であるＡＲタグの画像が再現される位置が取得される。また、第２画像内において、タグ画像データの基であるＡＲタグの画像が再現される位置が取得される。ここで、ＡＲタグの画像が再現される位置は、第１画像や第２画像のフレームを基準とした位置ではなく、ＡＲタグ周囲の背景を基準とした位置である。よって、第１画像と第２画像との間でカメラ部２７の撮影方向が変化している場合においても、ＡＲタグの位置は、当該撮影方向の変化によって影響を受けづらい。
【００４５】
そして、ＣＰＵ１１は、第１画像内のＡＲタグの画像位置と第２画像内のＡＲタグの画像位置とが所定の第１距離以上異なるという条件が成立するか否かを判断する。当該条件が成立するＡＲタグの画像が１つのみでない場合（Ｓ１３３：ＮＯ）には、フローが終了される。一方、当該条件が成立するＡＲタグの画像が１つのみである場合（Ｓ１３３：ＹＥＳ）、すなわち、１つのＡＲタグが物理的に移動された場合には、Ｓ１３６へ進む。Ｓ１３６において、移動されたＡＲタグが使用者によって選択されたＡＲタグ（選択タグ）に設定され、Ｓ１３７（図３）へ進む。Ｓ１３７以降のステップについては前述の通りであるため、ここでは説明を省略する。
【００４６】
また、Ｓ１３１において、第１画像データおよび第２画像データの各々において、タグ画像データが含まれている数が１つである場合（Ｓ１３１：ＮＯ）には、Ｓ１３５へ進む。
【００４７】
Ｓ１３５において、ＣＰＵ１１は、第１画像データによって再現される第１画像と、第２画像データによって再現される第２画像とを比較し、その１つのＡＲタグの位置が第１距離以上移動しているという条件が成立しているか否かを判断する。なお、移動の判断方法は、Ｓ１３３で用いた方法と同様であるため、ここでは説明を省略する。当該条件が成立しない場合（Ｓ１３５：ＮＯ）にはフローが終了される。一方、当該条件が成立する場合（Ｓ１３５：ＹＥＳ）には、１つのＡＲタグが物理的に移動されたと判断され、Ｓ１３６へ進む。Ｓ１３６において、移動されたＡＲタグが使用者によって選択されたＡＲタグ（選択タグ）に設定され、Ｓ１３７（図３）へ進む。Ｓ１３７以降のステップについては前述の通りであるため、ここでは説明を省略する。
【００４８】
以上説明した、第１実施形態の説明例に係る拡張現実感提供システム１の効果を説明する。第１実施形態では、第１画像データに含まれているが、第２画像データに含まれないタグ画像データ情報を、利用者等によって選択されたタグ画像データ情報として検出することができる（Ｓ１２５）。そして、選択されたタグ画像データ情報に基づく付帯データに基づいて、パネル１８に画像を表示させることができる（Ｓ１４３）。すなわち、利用者によって隠されたＡＲタグを選択し、選択したタグについての付帯データのみをパネル１８に表示させることが可能となる。これにより例えば、図４に示すようにカメラ部２７が撮影することで取得した第１画像データの画像１１０内に複数のタグ１２１ないし１２３が写っている場合においても、図６に示すように、手２３０によって隠されたタグについての付帯データを示す仮想画像２４０のみをパネル１８に表示させることができる。よって、複数のタグの各々に対応する画像の全てが表示されてしまう事態を防止することができるため、利用者の利便性を高めることができる。またこれにより、タグを選択するための別途のユーザインタフェース（選択ボタン等）を追加することなく、タグを選択することが可能となる。
【００４９】
また、第１実施形態では、タグが人間の手で隠された場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、他の障害物等がカメラ部２７とタグの間に割り込んできた場合など、利用者が意図しない態様でタグが隠されてしまった場合に、当該タグが利用者によって選択されたと誤判断されてしまう事態を防止することができる。
【００５０】
また、第１実施形態では、第１画像内のＡＲタグの画像位置と第２画像内のＡＲタグの画像位置とが所定の第１距離以上異なる場合に、当該ＡＲタグが利用者等によって選択されたタグであると検出することができる（Ｓ１３３、Ｓ１３５）。そして、選択されたタグ画像データに基づく付帯データに基づいて、パネル１８に画像を表示させることができる（Ｓ１４３）。すなわち、（ＡＲタグの付された物体を利用者が手に取るなどによって）利用者によって移動されたＡＲタグを選択し、選択したタグについての付帯データのみをパネル１８に表示させることが可能となる。これにより、利用者が選択したタグについての付帯データを、選択的に表示させることが可能となる。
【００５１】
また、第１実施形態では、カメラ部２７とＡＲタグとの離反距離が第２距離以内である場合のみに、当該ＡＲタグが利用者等によって選択されたことを検出することができる（Ｓ１３９）。これにより、利用者から遠く離れたＡＲタグを他人が移動させた場合など、利用者が意図しない態様でタグが移動してしまった場合に、当該タグが利用者によって選択されたと誤判断されてしまう事態を防止することができる。
【００５２】
＜第２実施形態＞
第２実施形態を説明する。第２実施形態は、マーカーを備えるＡＲタグを用いる形態である。そして、使用者によってマーカーが隠されたＡＲタグを、使用者によって選択されたＡＲタグとして取り扱う形態である。図８に、第２実施形態で用いられるＡＲタグの一例を示す。ＡＲタグ３０１は、タグ部３１１とマーカー３１２を備える。タグ部３１１は、各種の情報を表示させるための２次元バーコードである。マーカー３１２は、目印になる形や色を持つ対象物である。またマーカー３１２は、タグ部３１１を基準とした、予め定められた所定の位置に配置される。図８の例では、マーカー３１２は、タグ部３１１の下方側に、中心位置Ｐ１から距離Ｄ１離れて配置されている。なお、第２実施形態に係る拡張現実感提供システム１は、第１実施形態と同様であるため、ここでは詳細な説明は省略する。
【００５３】
第１実施形態に係る拡張現実感提供システム１の動作を、図７を用いて説明する。Ｓ２１３において、ＣＰＵ１１は、カメラ部２７が撮影することで取得した第１画像についての第１画像データを取得する。そしてＣＰＵ１１は、画像処理により、第１画像データ内にタグ画像データが含まれているかを判断する。第１画像データ内にタグ画像データが含まれている場合には、ＣＰＵ１１はタグ画像データ情報を取得し、記憶部１２に記憶させる。
【００５４】
Ｓ２１７においてＣＰＵ１１は、第１画像データに、タグ画像データが１つ以上含まれているか否かを判断する。含まれていない場合（Ｓ２１７：ＮＯ）にはフローが終了され、含まれている場合（Ｓ２１７：ＹＥＳ）にはＳ２１９へ進む。
【００５５】
Ｓ２１９において、ＣＰＵ１１は、マーカー画像が写っていないタグ画像が存在するか否かを判断する。具体的には、第１画像データに基づいて第１画像を再現し、第１画像内においてタグ画像が再現される中心位置を特定する。そして、特定した中心位置から所定の範囲内に、マーカー画像が存在するか否かを、周知の画像処理技術によって判定する。図８のＡＲタグ３０１の例では、タグ部３１１の中心位置Ｐ１からの半径が距離Ｄ１の範囲内に、マーカー３１２の画像が存在するか否かが判定される。マーカー画像が写っていないタグ画像が存在しない場合（Ｓ２１９：ＮＯ）には、フローが終了される。一方、マーカー画像が写っていないタグ画像が存在する場合（Ｓ２１９：ＹＥＳ）には、Ｓ２２１へ進む。
【００５６】
Ｓ２２１において、ＣＰＵ１１は、指によって隠されることで、第１画像内にマーカー画像が存在しない状態とされているか否かを判断する。具体的には、タグ画像を基準として、マーカー画像が存在すべき位置を特定する。そして、特定した位置に、人間の指が存在するか否かを、周知の画像認識技術によって判断する。指によってマーカーが隠されていないと判断される場合（Ｓ２２１：ＮＯ）には、ＡＲタグにマーカーが元々備えられていないと判断され、フローが終了される。一方、指によってマーカーが隠されていること判断される場合（Ｓ２２１：ＹＥＳ）には、Ｓ２２２へ進み、指によって隠されているマーカーを備えているＡＲタグが、使用者によって選択されたＡＲタグ（選択タグ）に設定される。そしてＳ２２３へ進む。
【００５７】
Ｓ２２３において、ＣＰＵ１１は、選択タグに対応する付帯データ取得する処理を行う。なお、Ｓ２２３の内容の詳細は、Ｓ１４１（図３）の内容と同様であるため、ここでは説明を省略する。
【００５８】
Ｓ２２５において、ＣＰＵ１１は、選択タグのタグ画像データ情報に基づく付帯データに基づいて、パネル１８に画像を表示させる。なお、Ｓ２２５の内容の詳細は、Ｓ１４３（図３）の内容と同様であるため、ここでは説明を省略する。
【００５９】
以上説明した、第２実施形態の説明例に係る拡張現実感提供システム１の効果を説明する。第２実施形態では、タグ画像データに対応するタグ画像が再現される第１画像内の位置から所定の範囲内に、マーカー画像が再現されない場合に、当該タグ画像データを、利用者等によって選択されたタグ画像データとして検出することができる（Ｓ２２２）。そして、選択されたタグ画像データに基づく付帯データに基づいて、表示部に画像を表示させることができる（Ｓ２２５）。これにより、利用者によってマーカーが隠されたＡＲタグを選択タグに設定し、選択タグについての付帯データのみをパネル１８に表示させることが可能となる。
【００６０】
また、本願に記載のプログラムでは、マーカーが指で隠された場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、他の障害物等がカメラ部２７とマーカーの間に割り込んできた場合など、利用者が意図しない態様でマーカーが隠されてしまった場合に、当該タグが選択されたと誤って判断されてしまう事態を防止することができる。
【００６１】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。以下に変形例を説明する。
【００６２】
＜変形例＞
第１実施形態および第２実施形態では、選択タグが決定した後に、選択タグに対応する付帯データを取得する（Ｓ１４１、Ｓ２２３）としたが、この形態に限られない。付帯データを取得するタイミングは、様々なタイミングであってよい。例えば、タグ画像データ情報が取得できたタイミング（第１実施形態のＳ１１３およびＳ１１７、第２実施形態のＳ２１３、など）で、付帯データを取得して記憶部１２に記憶させておくとしてもよい。そして、選択タグが決定した後に、選択タグに対応する付帯データを記憶部１２から読み出すとしてもよい。これにより、選択タグが決定された後において、より短い待機時間で付帯データに関する画像を表示させることが可能となる。
【００６３】
またタグ画像データ情報は、ＵＲＬに限られず、様々な情報であってよい。例えばタグ画像データ情報は、タグ画像データそのもの、タグ画像データを解析して得たデータ、タグ画像データを解析して得たＵＲＬに基づいてサーバから得たデータ、などであってよい。
【００６４】
なお、タグ画像データ情報が、タグ画像データそのものである場合は、Ｓ１２３において、第２画像データに含まれるタグ画像データを得て、記憶部１２に記憶された第１画像データのタグ画像データと比較すればよい。また、タグ画像データ情報が、タグ画像データを解析して得たデータである場合は、Ｓ１２３において、第２画像データに含まれるタグ画像データを解析してタグ画像データ情報（ＵＲＬなど）を取得し、記憶部１２に記憶されている第１画像データに関するタグ画像データ情報（ＵＲＬなど）と比較すればよい。これにより、第１画像データおよび第２画像データに含まれているタグ画像データは、同一のＡＲタグに基づくタグ画像データであるか否かを判断することができる。
【００６５】
またデータベース７５が保持される場所は、サーバ７１の記憶部７３に限られず、例えば、ＨＭＤ１０の記憶部１２に保持されてもよい。これにより、付帯データを取得する際に、無線送受信部１５や無線通信２０１を用いた通信を不要とすることが可能となる。
【００６６】
また第１実施形態のフロー（図３）において、Ｓ１３７およびＳ１３９を省略することも可能である。
【００６７】
本開示の技術では、カメラ部２７で取得される画像は、静止画に限られず動画も含まれる。すなわち、第１実施形態のＳ１１３、Ｓ１１７や第２実施形態のＳ２１３は、カメラ部２７に静止画の撮影を指令し、指令に従ってカメラ部２７が画像データを取得する構成でもよいし、動画の撮影を行っているカメラ部２７に、Ｓ１１３、Ｓ１１７、Ｓ２１３のタイミングで、撮影した動画の１シーンの画像データを取得するよう指令する構成でもよい。
【００６８】
Ｓ１２３（図２）において、第１画像データに含まれているタグ画像データが１つであり、第２画像データにタグ画像データが含まれていない場合には、Ｓ１２７へ進むとしてもよい。そして、その１つのタグ画像データが手によって隠されていることが判明した場合（Ｓ１２７：ＹＥＳ）には、その１つのタグ画像データの基となるＡＲタグを、選択タグに設定してもよい。
【００６９】
本実施形態では、ＡＲタグが２次元バーコードである場合を説明したが、この形態に限られない。ＡＲタグは、各種の情報を表示できる形態であれば何れの画像であってもよく、例えば、特定のキャラクター画像や枠画像などであってもよい。
【００７０】
本実施形態では、ＨＭＤ１０を構成する装置を利用者が装着しているが、ユーザが複合現実空間を体験できる形態であれば、ＨＭＤ１０は必ずしも利用者が装着する必要はない。
【００７１】
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【００７２】
ＨＭＤ１０は端末装置の一例である。ＣＰＵ１１はコンピュータの一例である。カメラ部２７は撮影部の一例である。Ｓ１１３に到る処理を実行するＣＰＵ１１は、タグ画像データ記憶制御手段、タグ画像データ記憶制御ステップの一例である。Ｓ１１３を実行するＣＰＵ１１は、タグ画像データ記憶手段の一例である。パネル１８は表示部の一例である。Ｓ１４３、Ｓ２２５に到る処理を実行するＣＰＵ１１は、表示制御手段、表示制御ステップの一例である。Ｓ１４３、Ｓ２２５を実行するＣＰＵ１１は、表示手段の一例である。無線送受信部１５は取得部の一例である。手２３０は所定の物体の一例である。
【００７３】
第１画像データに含まれているタグ画像データの全てが、第２画像データに含まれていない場合（Ｓ１２３：ＮＯ）は、第１の条件が成立する場合の一例である。第１画像内のＡＲタグの画像位置と第２画像内のＡＲタグの画像位置とが所定の第１距離以上異なるというＡＲタグの画像が１つのみである場合（Ｓ１３３：ＹＥＳ）、および、１つのＡＲタグの位置が第１距離以上移動している場合（Ｓ１３５：ＹＥＳ）は、第２の条件が成立する場合の一例である。離反距離が予め定められた第２距離以内である場合（Ｓ１３９：ＹＥＳ）は、第３の条件が成立する場合の一例である。マーカー画像が写っていないタグ画像が存在する場合（Ｓ２１９：ＹＥＳ）は、第４の条件が成立する場合の一例である。
【００７４】
なお、各プログラムは一つのプログラムモジュールから構成されるものであってもよいし、複数のプログラムモジュールから構成されるものであってもよい。また、各一例は置換可能な他の構成であってもよく、本発明の範疇である。プログラム（表示プログラム２８など）に基づく処理を実行するコンピュータ（ＣＰＵ１１など）であってもよいし、基本プログラムや他のアプリケーションなど、画像処理プログラム以外のプログラムに基づく処理を実行するコンピュータであってもよいし、コンピュータの指示に従って動作するハード構成（パネル１８など）であってもよいし、コンピュータとハード構成とが連動した構成であってもよい。もちろん、複数のプログラムに基づく処理を連動させて処理を実行するコンピュータであってもよいし、複数のプログラムに基づく処理を連動させて処理を実行するコンピュータの指示に従って動作するハード構成であってもよい。
【符号の説明】
【００７５】
１：拡張現実感提供システム、１０：ＨＭＤ、１１：ＣＰＵ、１２：記憶部、１５：無線送受信部、１８：パネル、２７：カメラ部、２８：表示プログラム
【技術分野】
【０００１】
本願は、タグを簡易な手続きで選択することができる端末装置のプログラム、端末装置および端末装置の制御方法に関する。
【背景技術】
【０００２】
特許文献１に記載の技術では、撮影装置が撮影することで取得した現実物体の画像を示す現実画像データを記憶する。そして、現実画像データと、予め記憶している仮想物体の仮想画像を示す仮想画像データとを用いて、現実画像と仮想画像を重ねて表示する。具体例としては、タッチパネルに現実空間の画像が表示されるとともに、当該現実空間の画像に重ねて仮想画像であるボタンの画像が表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１２６９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、ユーザ等によって選択された現実物体についての仮想画像を選択的に表示する技術については記載がない。すると、例えば、撮影装置が撮影することで取得した画像内に複数の現実物体が写っている場合には、複数の現実物体の各々に対応して複数の仮想画像が表示されることになる。この場合、ユーザが所定の仮想画像を見つけにくくなる事態や、ユーザが閲覧を所望する仮想画像が見にくくなる事態が発生する場合がある。本明細書では、このような不便性を解消することができる技術を提供する。
【課題を解決するための手段】
【０００５】
本願に記載のプログラムは、端末装置のコンピュータが読み取り可能なプログラムであって、コンピュータを、撮影部が撮影したことにより得た第１画像データが含んでいる、タグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を記憶部に記憶させるタグ画像データ記憶制御手段と、タグ画像データ情報を記憶部が記憶している状態で撮影部が撮影したことにより得た第２画像データの中に、記憶部が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、表示部に画像を表示させる表示制御手段と、して機能させる。
【０００６】
本願に記載のプログラムでは、第１画像データに含まれているが、第２画像データに含まれないタグ画像データ情報を、利用者等によって選択されたタグ画像データ情報として検出することができる。そして、選択されたタグ画像データ情報に基づく付帯データに基づいて、表示部に画像を表示させることができる。すなわち、利用者が所望するタグについての画像を、選択的に表示することが可能となる。これにより例えば、撮影部が撮影することで取得した画像内に複数のタグが写っている場合においても、複数のタグの各々に対応する画像の全てが表示されてしまう事態を防止することができるため、利用者の利便性を高めることができる。
【０００７】
また、本願に記載のプログラムでは、第１の条件が成立することに応じて、選択されたタグ画像データ情報に基づく付帯データのみを取得することができる。これにより、不要な付帯データを取得してしまうことが防止できる。
【０００８】
また、本願に記載のプログラムでは、第１の条件が成立する前に、予め、タグ画像データ記憶制御手段によって取得されたタグ画像データ情報に基づく付帯データを全て取得することができる。これにより、第１の条件が成立した後において、より短い待機時間で画像を表示させることが可能となる。
【０００９】
また、本願に記載のプログラムでは、タグが所定の物体で隠された場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、利用者が意図しない態様でタグが隠されてしまった場合に、当該タグが選択されたと誤って判断されてしまう事態を防止することができる。
【００１０】
また、本願に記載のプログラムでは、第１画像内のタグの位置と第２画像内のタグの位置が第１距離以上異なるタグについてのタグ画像データを、利用者等によって移動されたタグであるとして検出することができる。そして、検出されたタグ画像データに基づく付帯データに基づいて、表示部に画像を表示させることができる。これにより、利用者が所望するタグについての画像を、選択的に表示することが可能となる。
【００１１】
また、本願に記載のプログラムでは、第２の条件が成立することに応じて、選択されたタグ画像データに基づく付帯データのみを取得することができる。これにより、不要な付帯データを取得してしまうことが防止できる。
【００１２】
また、本願に記載のプログラムでは、第２の条件が成立する前に、予め、第１タグ画像データ記憶制御手段によって取得されたタグ画像データに基づく付帯データを全て取得することができる。これにより、第２の条件が成立した後において、より短い待機時間で画像を表示させることが可能となる。
【００１３】
また、本願に記載のプログラムでは、撮影部とタグとの距離が第２距離以内である場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、利用者が意図しない態様でタグが隠されたり移動してしまった場合に、当該タグが選択されたと誤って判断されてしまう事態を防止することができる。
【００１４】
また、本願に記載のプログラムでは、タグ画像データに対応するタグの画像が再現される第１画像内の位置から所定の範囲内に、マーカーの画像が再現されない場合に、当該タグ画像データが利用者等によって選択されたとして検出することができる。そして、選択されたタグ画像データに基づく付帯データに基づいて、表示部に画像を表示させることができる。これにより、利用者が所望するタグについての画像を、選択的に表示することが可能となる。
【００１５】
また、本願に記載のプログラムでは、第４の条件が成立することに応じて、選択されたタグ画像データに基づく付帯データのみを取得することができる。これにより、不要な付帯データを取得してしまうことが防止できる。
【００１６】
また、本願に記載のプログラムでは、第４の条件が成立する前に、予め、タグ画像データ記憶制御手段によって取得されたタグ画像データに基づく付帯データを全て取得することができる。これにより、第４の条件が成立した後において、より短い待機時間で画像を表示させることが可能となる。
【００１７】
また、本願に記載のプログラムでは、マーカーが所定の物体で隠された場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、利用者が意図しない態様でマーカーが隠されてしまった場合に、当該タグが選択されたと誤って判断されてしまう事態を防止することができる。
【図面の簡単な説明】
【００１８】
【図１】拡張現実感提供システム１のブロック図である。
【図２】ＨＭＤの動作フローチャート（その１）を示す図である。
【図３】ＨＭＤの動作フローチャート（その２）を示す図である。
【図４】第１画像データの画像の一例を示す図である。
【図５】第２画像データの画像の一例を示す図である。
【図６】第２画像データの画像の一例を示す図である。
【図７】ＨＭＤの動作フローチャート（その３）を示す図である。
【図８】ＡＲタグの一例を示す図である。
【発明を実施するための形態】
【００１９】
＜第１実施形態＞
図１に、本願に係る第１実施形態として例示される拡張現実感提供システム１のブロック図を示す。拡張現実感提供システム１は、ＨＭＤ（Head Mounted Display）１０、アクセスポイント６２、インターネット７０、サーバ７１、を備える。
【００２０】
ＨＭＤ１０について説明する。ＨＭＤは、頭部に装着する小型のディスプレイ装置である。ＨＭＤ１０は、現実空間の画像と仮想空間の画像とを合成した画像を、使用者の眼前に提供する装置である。図１に示すように、ＨＭＤ１０は、ＣＰＵ（Central Processing Unit）１１、記憶部１２、無線送受信部１５、無線アンテナ部１６、ボタン入力部１７、パネル１８、カメラ部２７、を主に備えている。
【００２１】
カメラ部２７は、ＣＣＤ等により、利用者の位置姿勢に応じた所定範囲を撮影することで画像データを取得する部位である。パネル１８は、利用者がＨＭＤ１０を頭部に装着したときに眼前に位置するように、ＨＭＤ１０に装着されている。パネル１８は、画像信号に基づいた画像を表示する。無線送受信部１５は、無線アンテナ部１６を介して、無線ＬＡＮのインフラストラクチャーモードに準拠する無線通信２０１を行う。そして、無線送受信部１５により、各種のデータを構成するデジタル信号が送受信される。ボタン入力部１７は、ＨＭＤ１０の使用者による操作を受け付ける。
【００２２】
ＣＰＵ１１は、記憶部１２に記憶されるプログラムに従って処理を実行する。以降、表示プログラム２８や基本プログラムなど、プログラムを実行するＣＰＵ１１のことを、単にプログラム名でも記載する場合がある。例えば「表示プログラム２８が」という記載は、表示プログラム２８を実行するＣＰＵ１１が」を意味する場合がある。
【００２３】
記憶部１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（ハードディスク）、ＣＰＵ１１が備えるバッファなどが組み合わされて構成されている。記憶部１２は、プログラム２１を記憶する。プログラム２１は、基本プログラム（図示省略）、表示プログラム２８等を含む。基本プログラムは、カメラ部２７が撮影することで取得した現実空間の画像をパネル１８に表示させるためのプログラム、現実空間の画像に重ねて仮想画像をパネル１８に表示させるためのプログラム、無線送受信部１５に無線通信２０１を実行させるためのプログラム、等を含む。また基本プログラムは、カメラ部２７が取得した画像データを各プログラムが取得するためのＡＰＩ（Application Programming Interface）を提供するプログラムでもある。また表示プログラム２８は、後述する拡張現実感提供システム１の動作フローをＣＰＵ１１に実行させるためのプログラムである。
【００２４】
また記憶部１２は、設定値記憶領域１２ａを備える。設定値記憶領域１２ａには、後述する、所定時間、第１距離、第２距離、などが記憶される。これらの値は、使用者等によって予め記憶されるとしてもよい。
【００２５】
サーバ７１の構成について説明する。サーバ７１は、ＣＰＵ７２、記憶部７３、通信部７４、を主に備えている。サーバ７１は、ネットワークにおいて、ＨＭＤ１０などのクライアント装置に対し、自身の持っている機能やデータを提供する装置である。ＣＰＵ７２は、各機能の制御を行う。記憶部７３は、データベース７５を記憶する。データベース７５は、タグ画像データ情報の各々に対応して、付帯データを記憶している。通信部７４は、様々な情報をＨＭＤ１０との間で通信する。
【００２６】
なお、ＨＭＤ１０とアクセスポイント６２とは、無線ＬＡＮ方式のインフラストラクチャーモード（複数の無線ＬＡＮ端末装置が、アクセスポイントを介してデータ通信するモード）に準拠する無線通信（電波を用いたデータ通信）２０１を行うことが可能とされている。また、アクセスポイント６２とサーバ７１とは、インターネット７０を介して通信可能とされている。すなわち、ＨＭＤ１０は、アクセスポイント６２へアクセスし、無線ＬＡＮのインフラストラクチャーモードに準拠する無線通信２０１を行える状態になれば、ＨＭＤ１０は、アクセスポイント６２を介して、サーバ７１とデータ通信することが可能になる。なお、無線ＬＡＮ方式の例としては、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎの規格で定められる通信方式が挙げられる。
【００２７】
拡張現実感提供システム１の動作の概略を説明する。拡張現実感提供システム１は、カメラ部２７が取得した画像データを解析し、当該画像データ内にＡＲ（拡張現実）タグの撮影によって取得したタグ画像データが存在することを認識すれば、サーバ７１内のデータベース７５からそのＡＲタグに対応した付帯データを取得する。また、取得した付帯データに基づいて、ＣＧ（コンピュータグラフィックス）で描画された仮想画像を生成する。そして、画像データから画像を再現した場合にその画像上の、タグ画像データに基づくタグ画像が再現される位置を基準として、仮想画像を現実画像に合成して表示するシステムである。ここでＡＲタグとは、各種の情報を表示するための表示物である。ＡＲタグの一例としては、ＱＲコード（登録商標）などの２次元バーコードが挙げられる。
【００２８】
第１実施形態に係る拡張現実感提供システム１の動作を、図２ないし図６を用いて説明する。図２および図３を用いて、ＨＭＤ１０で行われるフローを説明する。図２および図３のフローは、ＨＭＤ１０の表示プログラム２８を起動することに応じて、実行が開始される。なお、第１実施形態は、ＡＲタグが複数存在する場合に、使用者によって少なくとも一部が隠されたＡＲタグ、または使用者によって移動されたＡＲタグを、使用者によって選択されたＡＲタグとして取り扱う形態である。第１実施形態の説明例では、ＡＲタグが２次元バーコードである場合を説明する。また、ＡＲタグに埋め込まれている情報が、付帯データを記憶しているデータベース７５へアクセスするためのＵＲＬ（Uniform Resource Locator）である場合を説明する。また、タグ画像データ情報は、タグ画像データを解析して得たＵＲＬである場合を説明する。
【００２９】
図２のＳ１１３において、ＣＰＵ１１は、カメラ部２７が撮影することで取得した第１画像データを取得する。そしてＣＰＵ１１は、画像処理により、第１画像データ内にタグ画像データが含まれているかを判断する。タグ画像データは、ＡＲタグを撮影したことにより得られる画像データである。ＣＰＵ１１は、第１画像データ内にタグ画像データが含まれている場合には、タグ画像データ情報を取得し、記憶部１２に記憶させる。タグ画像データ情報は、タグ画像データに関連する各種の情報である。第１実施形態の説明例では、タグ画像データ情報は、データベース７５へアクセスするためのＵＲＬである場合を説明している。
【００３０】
Ｓ１１３における、第１実施形態の説明例での第１画像データについて説明する。図４は、第１画像データを再現した画像１１０を示す図である。ＣＰＵ１１は、第１画像データに、タグ１２１ないし１２３のタグ画像データの３つが含まれていることを判断する。そして、タグ１２１に関するタグ画像データ情報（http://www.ABC.com/data1）、タグ１２２に関するタグ画像データ情報（http://www.ABC.com/data2）、タグ１２３に関するタグ画像データ情報（http://www.ABC.com/data3）、を取得し、記憶部１２に記憶させる。
【００３１】
Ｓ１１５において、ＣＰＵ１１は、所定時間待機する。なお、所定時間は、設定値記憶領域１２ａに記憶されている。
【００３２】
Ｓ１１７において、ＣＰＵ１１は、カメラ部２７が撮影することで取得した第２画像についての第２画像データを取得する。第２画像データは、第１画像データの取得が行われてから所定時間が経過した後に取得された、画像データである。そしてＣＰＵ１１は、画像処理により、第２画像データ内にタグ画像データが含まれているかを判断する。ＣＰＵ１１は、第２画像データ内にタグ画像データが含まれている場合には、タグ画像データ情報を取得し、記憶部１２に記憶させる。
【００３３】
Ｓ１１７における、第１実施形態の説明例での動作を説明する。図５は、第２画像データを再現した画像２１０を示す図である。ＣＰＵ１１は、第２画像データ内に、タグ２２１および２２３のタグ画像データの２つが含まれていることを判断する。そして、タグ２２１に関するタグ画像データ情報（http://www.ABC.com/data1）、および、タグ２２３に関するタグ画像データ情報（http://www.ABC.com/data3）を取得する。
【００３４】
Ｓ１２１において、ＣＰＵ１１は、第１画像データおよび第２画像データに、タグ画像データが含まれているか否かを判断する。含まれていない場合（Ｓ１２１：ＮＯ）にはフローが終了され、含まれている場合（Ｓ１２１：ＹＥＳ）にはＳ１２３へ進む。Ｓ１２３において、ＣＰＵ１１は、第１画像データに含まれているタグ画像データの全てが、第２画像データに含まれているか否かを判断する。第１画像データに含まれているタグ画像データの全てが、第２画像データに含まれていない場合（Ｓ１２３：ＮＯ）には、Ｓ１２７（図３）へ進む。
【００３５】
第１実施形態の説明例では、第１画像データの画像１１０（図４）にはタグ１２１ないし１２３の画像が含まれている。また、第２画像データの画像２１０（図５）にはタグ２２１および２２３の画像が含まれている（Ｓ１２１：ＹＥＳ）。しかし、第２画像データの画像２１０には、第１画像データの画像１１０内のタグ１２２に対応するタグ画像データが含まれていない（Ｓ１２３：ＮＯ）。よって、Ｓ１２７へ進む。
【００３６】
Ｓ１２７において、ＣＰＵ１１は、第１画像データには含まれているが第２画像データには含まれていないＡＲタグが、手によって隠されているか否かを判断する。具体的には、第１画像データを再現した第１画像内の、該当するＡＲタグの画像が再現される位置について、第２画像データを再現した第２画像内ではその位置に、人間の手の画像が再現されるか否かを、周知の画像認識技術によって判断する。第１画像データには含まれているが第２画像データには含まれていないＡＲタグが、手によって隠されていることが判明した場合（Ｓ１２７：ＹＥＳ）には、Ｓ１２８へ進む。そして、手によって隠されているＡＲタグが、使用者によって選択されたＡＲタグ（選択タグ）に設定される。そしてＳ１３７へ進む。
【００３７】
第１実施形態の説明例では、図４および図５に示すように、タグ１２２（図４）の画像は、第１画像データの画像１１０には含まれているが、第２画像データの画像２１０には含まれていない（Ｓ１２３：ＮＯ）。また、第２画像データの画像２１０（図５）において、タグ１２２（図４）が、人間の手２３０によって少なくとも一部が隠されていることが判断される（Ｓ１２７：ＹＥＳ）。よって、タグ１２２（図４）が、選択タグに設定される（Ｓ１２８）。
【００３８】
Ｓ１３７において、ＣＰＵ１１は、選択タグとカメラ部２７との離反距離を解析する。具体的には、第１画像内における、選択タグのタグ画像の大きさを画像解析することで、離反距離が算出される。第１実施形態の説明例では、図４において、タグ１２２の画像の、第１画像データの画像１１０内での大きさが解析される。
【００３９】
Ｓ１３９において、ＣＰＵ１１は、Ｓ１３７で算出した離反距離が、予め定められた第２距離以内である、という条件が成立しているか否かを判断する。第２距離は、一般的な使用者の手の届く距離（肩から指先までの距離）に設定してもよい。当該条件が成立していない場合（Ｓ１３９：ＮＯ）にはフローが終了され、当該条件が成立している場合（Ｓ１３９：ＹＥＳ）にはＳ１４１へ進む。
【００４０】
Ｓ１４１において、ＣＰＵ１１は、選択タグに対応する付帯データを無線送受信部１５に取得させる。具体的には、無線送受信部１５に、無線通信２０１、アクセスポイント６２、インターネット７０を介してサーバ７１と通信を実行させる。
【００４１】
第１実施形態の説明例では、選択タグ（タグ画像データの画像の基となるタグ１２２（図４））に関するタグ画像データ情報（http://www.ABC.com/data2）に基づいて、サーバ７１のデータベース７５にアクセスする。そして、付帯データ（タイトル：ＡＡＡ、著者：ＢＢＢ、出版年：ＣＣＣ年）を取得する。
【００４２】
Ｓ１４３において、ＣＰＵ１１は、選択タグのタグ画像データ情報に基づく付帯データに基づいて、仮想画像を生成する。そして、パネル１８において、第１実施形態の説明例では、図６に示すように、付帯データを表す仮想画像２４０が、第２画像データの画像２１０に重ねて表示される（現実画像に仮想画像を重ねた合成画像が表示される）。
【００４３】
また、Ｓ１２３（図２）において、ＣＰＵ１１が、第１画像データに含まれているタグ画像データの全てが、第２画像データに含まれていると判断する場合（Ｓ１２３：ＹＥＳ）には、Ｓ１３１へ進む。Ｓ１３１において、ＣＰＵ１１は、第１画像データおよび第２画像データの各々において、タグ画像データが複数個含まれているか否かを判断する。タグ画像データが複数個含まれている場合（Ｓ１３１：ＹＥＳ）には、Ｓ１３３へ進む。
【００４４】
Ｓ１３３において、ＣＰＵ１１は、第１画像データによって再現される第１画像内での位置と、第２画像データによって再現される第２画像内での位置とが異なるＡＲタグが１つのみ存在するか否かを判断する。具体的には、第１画像内において、タグ画像データの基であるＡＲタグの画像が再現される位置が取得される。また、第２画像内において、タグ画像データの基であるＡＲタグの画像が再現される位置が取得される。ここで、ＡＲタグの画像が再現される位置は、第１画像や第２画像のフレームを基準とした位置ではなく、ＡＲタグ周囲の背景を基準とした位置である。よって、第１画像と第２画像との間でカメラ部２７の撮影方向が変化している場合においても、ＡＲタグの位置は、当該撮影方向の変化によって影響を受けづらい。
【００４５】
そして、ＣＰＵ１１は、第１画像内のＡＲタグの画像位置と第２画像内のＡＲタグの画像位置とが所定の第１距離以上異なるという条件が成立するか否かを判断する。当該条件が成立するＡＲタグの画像が１つのみでない場合（Ｓ１３３：ＮＯ）には、フローが終了される。一方、当該条件が成立するＡＲタグの画像が１つのみである場合（Ｓ１３３：ＹＥＳ）、すなわち、１つのＡＲタグが物理的に移動された場合には、Ｓ１３６へ進む。Ｓ１３６において、移動されたＡＲタグが使用者によって選択されたＡＲタグ（選択タグ）に設定され、Ｓ１３７（図３）へ進む。Ｓ１３７以降のステップについては前述の通りであるため、ここでは説明を省略する。
【００４６】
また、Ｓ１３１において、第１画像データおよび第２画像データの各々において、タグ画像データが含まれている数が１つである場合（Ｓ１３１：ＮＯ）には、Ｓ１３５へ進む。
【００４７】
Ｓ１３５において、ＣＰＵ１１は、第１画像データによって再現される第１画像と、第２画像データによって再現される第２画像とを比較し、その１つのＡＲタグの位置が第１距離以上移動しているという条件が成立しているか否かを判断する。なお、移動の判断方法は、Ｓ１３３で用いた方法と同様であるため、ここでは説明を省略する。当該条件が成立しない場合（Ｓ１３５：ＮＯ）にはフローが終了される。一方、当該条件が成立する場合（Ｓ１３５：ＹＥＳ）には、１つのＡＲタグが物理的に移動されたと判断され、Ｓ１３６へ進む。Ｓ１３６において、移動されたＡＲタグが使用者によって選択されたＡＲタグ（選択タグ）に設定され、Ｓ１３７（図３）へ進む。Ｓ１３７以降のステップについては前述の通りであるため、ここでは説明を省略する。
【００４８】
以上説明した、第１実施形態の説明例に係る拡張現実感提供システム１の効果を説明する。第１実施形態では、第１画像データに含まれているが、第２画像データに含まれないタグ画像データ情報を、利用者等によって選択されたタグ画像データ情報として検出することができる（Ｓ１２５）。そして、選択されたタグ画像データ情報に基づく付帯データに基づいて、パネル１８に画像を表示させることができる（Ｓ１４３）。すなわち、利用者によって隠されたＡＲタグを選択し、選択したタグについての付帯データのみをパネル１８に表示させることが可能となる。これにより例えば、図４に示すようにカメラ部２７が撮影することで取得した第１画像データの画像１１０内に複数のタグ１２１ないし１２３が写っている場合においても、図６に示すように、手２３０によって隠されたタグについての付帯データを示す仮想画像２４０のみをパネル１８に表示させることができる。よって、複数のタグの各々に対応する画像の全てが表示されてしまう事態を防止することができるため、利用者の利便性を高めることができる。またこれにより、タグを選択するための別途のユーザインタフェース（選択ボタン等）を追加することなく、タグを選択することが可能となる。
【００４９】
また、第１実施形態では、タグが人間の手で隠された場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、他の障害物等がカメラ部２７とタグの間に割り込んできた場合など、利用者が意図しない態様でタグが隠されてしまった場合に、当該タグが利用者によって選択されたと誤判断されてしまう事態を防止することができる。
【００５０】
また、第１実施形態では、第１画像内のＡＲタグの画像位置と第２画像内のＡＲタグの画像位置とが所定の第１距離以上異なる場合に、当該ＡＲタグが利用者等によって選択されたタグであると検出することができる（Ｓ１３３、Ｓ１３５）。そして、選択されたタグ画像データに基づく付帯データに基づいて、パネル１８に画像を表示させることができる（Ｓ１４３）。すなわち、（ＡＲタグの付された物体を利用者が手に取るなどによって）利用者によって移動されたＡＲタグを選択し、選択したタグについての付帯データのみをパネル１８に表示させることが可能となる。これにより、利用者が選択したタグについての付帯データを、選択的に表示させることが可能となる。
【００５１】
また、第１実施形態では、カメラ部２７とＡＲタグとの離反距離が第２距離以内である場合のみに、当該ＡＲタグが利用者等によって選択されたことを検出することができる（Ｓ１３９）。これにより、利用者から遠く離れたＡＲタグを他人が移動させた場合など、利用者が意図しない態様でタグが移動してしまった場合に、当該タグが利用者によって選択されたと誤判断されてしまう事態を防止することができる。
【００５２】
＜第２実施形態＞
第２実施形態を説明する。第２実施形態は、マーカーを備えるＡＲタグを用いる形態である。そして、使用者によってマーカーが隠されたＡＲタグを、使用者によって選択されたＡＲタグとして取り扱う形態である。図８に、第２実施形態で用いられるＡＲタグの一例を示す。ＡＲタグ３０１は、タグ部３１１とマーカー３１２を備える。タグ部３１１は、各種の情報を表示させるための２次元バーコードである。マーカー３１２は、目印になる形や色を持つ対象物である。またマーカー３１２は、タグ部３１１を基準とした、予め定められた所定の位置に配置される。図８の例では、マーカー３１２は、タグ部３１１の下方側に、中心位置Ｐ１から距離Ｄ１離れて配置されている。なお、第２実施形態に係る拡張現実感提供システム１は、第１実施形態と同様であるため、ここでは詳細な説明は省略する。
【００５３】
第１実施形態に係る拡張現実感提供システム１の動作を、図７を用いて説明する。Ｓ２１３において、ＣＰＵ１１は、カメラ部２７が撮影することで取得した第１画像についての第１画像データを取得する。そしてＣＰＵ１１は、画像処理により、第１画像データ内にタグ画像データが含まれているかを判断する。第１画像データ内にタグ画像データが含まれている場合には、ＣＰＵ１１はタグ画像データ情報を取得し、記憶部１２に記憶させる。
【００５４】
Ｓ２１７においてＣＰＵ１１は、第１画像データに、タグ画像データが１つ以上含まれているか否かを判断する。含まれていない場合（Ｓ２１７：ＮＯ）にはフローが終了され、含まれている場合（Ｓ２１７：ＹＥＳ）にはＳ２１９へ進む。
【００５５】
Ｓ２１９において、ＣＰＵ１１は、マーカー画像が写っていないタグ画像が存在するか否かを判断する。具体的には、第１画像データに基づいて第１画像を再現し、第１画像内においてタグ画像が再現される中心位置を特定する。そして、特定した中心位置から所定の範囲内に、マーカー画像が存在するか否かを、周知の画像処理技術によって判定する。図８のＡＲタグ３０１の例では、タグ部３１１の中心位置Ｐ１からの半径が距離Ｄ１の範囲内に、マーカー３１２の画像が存在するか否かが判定される。マーカー画像が写っていないタグ画像が存在しない場合（Ｓ２１９：ＮＯ）には、フローが終了される。一方、マーカー画像が写っていないタグ画像が存在する場合（Ｓ２１９：ＹＥＳ）には、Ｓ２２１へ進む。
【００５６】
Ｓ２２１において、ＣＰＵ１１は、指によって隠されることで、第１画像内にマーカー画像が存在しない状態とされているか否かを判断する。具体的には、タグ画像を基準として、マーカー画像が存在すべき位置を特定する。そして、特定した位置に、人間の指が存在するか否かを、周知の画像認識技術によって判断する。指によってマーカーが隠されていないと判断される場合（Ｓ２２１：ＮＯ）には、ＡＲタグにマーカーが元々備えられていないと判断され、フローが終了される。一方、指によってマーカーが隠されていること判断される場合（Ｓ２２１：ＹＥＳ）には、Ｓ２２２へ進み、指によって隠されているマーカーを備えているＡＲタグが、使用者によって選択されたＡＲタグ（選択タグ）に設定される。そしてＳ２２３へ進む。
【００５７】
Ｓ２２３において、ＣＰＵ１１は、選択タグに対応する付帯データ取得する処理を行う。なお、Ｓ２２３の内容の詳細は、Ｓ１４１（図３）の内容と同様であるため、ここでは説明を省略する。
【００５８】
Ｓ２２５において、ＣＰＵ１１は、選択タグのタグ画像データ情報に基づく付帯データに基づいて、パネル１８に画像を表示させる。なお、Ｓ２２５の内容の詳細は、Ｓ１４３（図３）の内容と同様であるため、ここでは説明を省略する。
【００５９】
以上説明した、第２実施形態の説明例に係る拡張現実感提供システム１の効果を説明する。第２実施形態では、タグ画像データに対応するタグ画像が再現される第１画像内の位置から所定の範囲内に、マーカー画像が再現されない場合に、当該タグ画像データを、利用者等によって選択されたタグ画像データとして検出することができる（Ｓ２２２）。そして、選択されたタグ画像データに基づく付帯データに基づいて、表示部に画像を表示させることができる（Ｓ２２５）。これにより、利用者によってマーカーが隠されたＡＲタグを選択タグに設定し、選択タグについての付帯データのみをパネル１８に表示させることが可能となる。
【００６０】
また、本願に記載のプログラムでは、マーカーが指で隠された場合のみに、タグが利用者等によって選択されたことを検出することができる。これにより、他の障害物等がカメラ部２７とマーカーの間に割り込んできた場合など、利用者が意図しない態様でマーカーが隠されてしまった場合に、当該タグが選択されたと誤って判断されてしまう事態を防止することができる。
【００６１】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。以下に変形例を説明する。
【００６２】
＜変形例＞
第１実施形態および第２実施形態では、選択タグが決定した後に、選択タグに対応する付帯データを取得する（Ｓ１４１、Ｓ２２３）としたが、この形態に限られない。付帯データを取得するタイミングは、様々なタイミングであってよい。例えば、タグ画像データ情報が取得できたタイミング（第１実施形態のＳ１１３およびＳ１１７、第２実施形態のＳ２１３、など）で、付帯データを取得して記憶部１２に記憶させておくとしてもよい。そして、選択タグが決定した後に、選択タグに対応する付帯データを記憶部１２から読み出すとしてもよい。これにより、選択タグが決定された後において、より短い待機時間で付帯データに関する画像を表示させることが可能となる。
【００６３】
またタグ画像データ情報は、ＵＲＬに限られず、様々な情報であってよい。例えばタグ画像データ情報は、タグ画像データそのもの、タグ画像データを解析して得たデータ、タグ画像データを解析して得たＵＲＬに基づいてサーバから得たデータ、などであってよい。
【００６４】
なお、タグ画像データ情報が、タグ画像データそのものである場合は、Ｓ１２３において、第２画像データに含まれるタグ画像データを得て、記憶部１２に記憶された第１画像データのタグ画像データと比較すればよい。また、タグ画像データ情報が、タグ画像データを解析して得たデータである場合は、Ｓ１２３において、第２画像データに含まれるタグ画像データを解析してタグ画像データ情報（ＵＲＬなど）を取得し、記憶部１２に記憶されている第１画像データに関するタグ画像データ情報（ＵＲＬなど）と比較すればよい。これにより、第１画像データおよび第２画像データに含まれているタグ画像データは、同一のＡＲタグに基づくタグ画像データであるか否かを判断することができる。
【００６５】
またデータベース７５が保持される場所は、サーバ７１の記憶部７３に限られず、例えば、ＨＭＤ１０の記憶部１２に保持されてもよい。これにより、付帯データを取得する際に、無線送受信部１５や無線通信２０１を用いた通信を不要とすることが可能となる。
【００６６】
また第１実施形態のフロー（図３）において、Ｓ１３７およびＳ１３９を省略することも可能である。
【００６７】
本開示の技術では、カメラ部２７で取得される画像は、静止画に限られず動画も含まれる。すなわち、第１実施形態のＳ１１３、Ｓ１１７や第２実施形態のＳ２１３は、カメラ部２７に静止画の撮影を指令し、指令に従ってカメラ部２７が画像データを取得する構成でもよいし、動画の撮影を行っているカメラ部２７に、Ｓ１１３、Ｓ１１７、Ｓ２１３のタイミングで、撮影した動画の１シーンの画像データを取得するよう指令する構成でもよい。
【００６８】
Ｓ１２３（図２）において、第１画像データに含まれているタグ画像データが１つであり、第２画像データにタグ画像データが含まれていない場合には、Ｓ１２７へ進むとしてもよい。そして、その１つのタグ画像データが手によって隠されていることが判明した場合（Ｓ１２７：ＹＥＳ）には、その１つのタグ画像データの基となるＡＲタグを、選択タグに設定してもよい。
【００６９】
本実施形態では、ＡＲタグが２次元バーコードである場合を説明したが、この形態に限られない。ＡＲタグは、各種の情報を表示できる形態であれば何れの画像であってもよく、例えば、特定のキャラクター画像や枠画像などであってもよい。
【００７０】
本実施形態では、ＨＭＤ１０を構成する装置を利用者が装着しているが、ユーザが複合現実空間を体験できる形態であれば、ＨＭＤ１０は必ずしも利用者が装着する必要はない。
【００７１】
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【００７２】
ＨＭＤ１０は端末装置の一例である。ＣＰＵ１１はコンピュータの一例である。カメラ部２７は撮影部の一例である。Ｓ１１３に到る処理を実行するＣＰＵ１１は、タグ画像データ記憶制御手段、タグ画像データ記憶制御ステップの一例である。Ｓ１１３を実行するＣＰＵ１１は、タグ画像データ記憶手段の一例である。パネル１８は表示部の一例である。Ｓ１４３、Ｓ２２５に到る処理を実行するＣＰＵ１１は、表示制御手段、表示制御ステップの一例である。Ｓ１４３、Ｓ２２５を実行するＣＰＵ１１は、表示手段の一例である。無線送受信部１５は取得部の一例である。手２３０は所定の物体の一例である。
【００７３】
第１画像データに含まれているタグ画像データの全てが、第２画像データに含まれていない場合（Ｓ１２３：ＮＯ）は、第１の条件が成立する場合の一例である。第１画像内のＡＲタグの画像位置と第２画像内のＡＲタグの画像位置とが所定の第１距離以上異なるというＡＲタグの画像が１つのみである場合（Ｓ１３３：ＹＥＳ）、および、１つのＡＲタグの位置が第１距離以上移動している場合（Ｓ１３５：ＹＥＳ）は、第２の条件が成立する場合の一例である。離反距離が予め定められた第２距離以内である場合（Ｓ１３９：ＹＥＳ）は、第３の条件が成立する場合の一例である。マーカー画像が写っていないタグ画像が存在する場合（Ｓ２１９：ＹＥＳ）は、第４の条件が成立する場合の一例である。
【００７４】
なお、各プログラムは一つのプログラムモジュールから構成されるものであってもよいし、複数のプログラムモジュールから構成されるものであってもよい。また、各一例は置換可能な他の構成であってもよく、本発明の範疇である。プログラム（表示プログラム２８など）に基づく処理を実行するコンピュータ（ＣＰＵ１１など）であってもよいし、基本プログラムや他のアプリケーションなど、画像処理プログラム以外のプログラムに基づく処理を実行するコンピュータであってもよいし、コンピュータの指示に従って動作するハード構成（パネル１８など）であってもよいし、コンピュータとハード構成とが連動した構成であってもよい。もちろん、複数のプログラムに基づく処理を連動させて処理を実行するコンピュータであってもよいし、複数のプログラムに基づく処理を連動させて処理を実行するコンピュータの指示に従って動作するハード構成であってもよい。
【符号の説明】
【００７５】
１：拡張現実感提供システム、１０：ＨＭＤ、１１：ＣＰＵ、１２：記憶部、１５：無線送受信部、１８：パネル、２７：カメラ部、２８：表示プログラム
【特許請求の範囲】
【請求項１】
端末装置のコンピュータが読み取り可能なプログラムであって、
前記コンピュータを、
撮影部が撮影したことにより得た第１画像データが含んでいる、タグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を記憶部に記憶させるタグ画像データ記憶制御手段と、
タグ画像データ情報を前記記憶部が記憶している状態で前記撮影部が撮影したことにより得た第２画像データの中に、前記記憶部が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、表示部に画像を表示させる表示制御手段と、
して機能させるプログラム。
【請求項２】
前記表示制御手段は、前記第１の条件が成立することに応じて、
取得部に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが前記第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データを取得させ、
前記表示部に前記取得部が取得した付帯データに基づく画像を表示させることを特徴とする請求項１に記載のプログラム。
【請求項３】
前記表示制御手段は、
取得部にタグ画像データ情報に基づく付帯データを少なくとも１つ取得させ、
前記第１の条件が成立することに応じて、表示部に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが前記第２画像データの中に含まれていないタグ画像データに基づく付帯データに基づいて画像を表示させることを特徴とする請求項１に記載のプログラム。
【請求項４】
前記表示制御手段は、前記第２画像データに対して画像解析を行うことにより、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグが所定の物体によって隠されていることが判明した場合に、前記第１の条件が成立したと判断することを特徴とする請求項１ないし３の何れか１項に記載のプログラム。
【請求項５】
端末装置のコンピュータが読み取り可能なプログラムであって、
前記コンピュータを、
撮影部が撮影したことにより得た第１画像データに基づく第１画像を再現した場合に、その第１画像データが含んでいる、タグを撮影したことにより得られる第１タグ画像データの基であるタグの画像が再現される前記第１画像内の位置と、前記撮影部が前記第１画像データを得た後で前記撮影部が撮影したことにより得た第２画像データに基づく第２画像を再現した場合に、その第２画像データが含んでいる、第１タグ画像データの基であるタグを撮影したことにより得られる第２タグ画像データの基であるタグの画像が再現される前記第２画像内の位置と、が所定の第１距離以上異なるという第２の条件が成立した場合に、位置が前記第１距離以上変化したタグを基とする第１タグ画像データまたは第２タグ画像データに基づく付帯データに基づいて、表示部に画像を表示させる表示制御手段と、
して機能させるプログラム。
【請求項６】
前記表示制御手段は、前記第２の条件が成立することに応じて、
取得部に位置が前記第１距離以上変化したタグを基とする第１タグ画像データまたは第２タグ画像データに基づく付帯データを取得させ、
前記表示部に前記取得部が取得した付帯データに基づく画像を表示させることを特徴とする請求項５に記載のプログラム。
【請求項７】
前記表示制御手段は、
取得部に第１タグ画像データに基づく付帯データを少なくとも１つ取得させ、
前記第２の条件が成立することに応じて、表示部に、位置が前記第１距離以上変化したタグにより得られる第１タグ画像データに基づく付帯データに基づいて画像を表示させることを特徴とする請求項５に記載のプログラム。
【請求項８】
前記表示制御手段は、前記第１画像データまたは前記第２画像データに対して画像解析を行うことにより、前記撮影部とタグとの距離が予め定められた第２距離以内であるという第３の条件が成立したことを検出した場合に、前記表示部に画像を表示させることを特徴とする請求項１ないし７の何れか１項に記載のプログラム。
【請求項９】
端末装置のコンピュータが読み取り可能なプログラムであって、
前記コンピュータを、
撮影部が撮影したことにより得た画像データに基づく画像を再現した場合に、その画像データが含んでいる、タグを撮影したことにより得られるタグ画像データの基であるタグの画像が再現される前記第１画像内の位置から所定の範囲内に、マーカーを撮影したことにより得られるマーカー画像データの基であるマーカーの画像が再現されないという第４の条件が成立した場合に、タグ画像データに基づく付帯データに基づいて、表示部に画像を表示させる表示制御手段と、して機能させるプログラム。
【請求項１０】
前記表示制御手段は、前記第４の条件が成立することに応じて、取得部にタグ画像データに基づく付帯データを取得させ、前記表示部に前記取得部が取得した付帯データに基づく画像を表示させることを特徴とする請求項９に記載のプログラム。
【請求項１１】
前記表示制御手段は、
取得部にタグ画像データに基づく付帯データを少なくとも１つ取得させ、
前記第４の条件が成立することに応じて、表示部に、タグ画像データに基づく付帯データに基づいて画像を表示させることを特徴とする請求項９に記載のプログラム。
【請求項１２】
前記表示制御手段は、前記第１画像データに対して画像解析を行うことにより、タグ画像データに対応するマーカーが所定の物体によって隠されていることが判明した場合に、前記第４の条件が成立したと判断することを特徴とする請求項９ないし１１の何れか１項に記載のプログラム。
【請求項１３】
端末装置の制御方法であって、
撮影したことにより得た第１画像データが含んでいる、タグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を記憶部に記憶するタグ画像データ記憶制御ステップと、
タグ画像データ情報を前記記憶部が記憶している状態で前記撮影部が撮影したことにより得た第２画像データの中に、前記記憶部が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、画像を表示する表示制御ステップと、
を備える制御方法。
【請求項１４】
撮影したことにより得た第１画像データが含んでいる、タグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を記憶部に記憶するタグ画像データ記憶手段と、
タグ画像データ情報を前記記憶部が記憶している状態で前記撮影部が撮影したことにより得た第２画像データの中に、前記記憶部が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、画像を表示する表示手段と、
を備える端末装置。
【請求項１】
端末装置のコンピュータが読み取り可能なプログラムであって、
前記コンピュータを、
撮影部が撮影したことにより得た第１画像データが含んでいる、タグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を記憶部に記憶させるタグ画像データ記憶制御手段と、
タグ画像データ情報を前記記憶部が記憶している状態で前記撮影部が撮影したことにより得た第２画像データの中に、前記記憶部が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、表示部に画像を表示させる表示制御手段と、
して機能させるプログラム。
【請求項２】
前記表示制御手段は、前記第１の条件が成立することに応じて、
取得部に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが前記第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データを取得させ、
前記表示部に前記取得部が取得した付帯データに基づく画像を表示させることを特徴とする請求項１に記載のプログラム。
【請求項３】
前記表示制御手段は、
取得部にタグ画像データ情報に基づく付帯データを少なくとも１つ取得させ、
前記第１の条件が成立することに応じて、表示部に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが前記第２画像データの中に含まれていないタグ画像データに基づく付帯データに基づいて画像を表示させることを特徴とする請求項１に記載のプログラム。
【請求項４】
前記表示制御手段は、前記第２画像データに対して画像解析を行うことにより、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグが所定の物体によって隠されていることが判明した場合に、前記第１の条件が成立したと判断することを特徴とする請求項１ないし３の何れか１項に記載のプログラム。
【請求項５】
端末装置のコンピュータが読み取り可能なプログラムであって、
前記コンピュータを、
撮影部が撮影したことにより得た第１画像データに基づく第１画像を再現した場合に、その第１画像データが含んでいる、タグを撮影したことにより得られる第１タグ画像データの基であるタグの画像が再現される前記第１画像内の位置と、前記撮影部が前記第１画像データを得た後で前記撮影部が撮影したことにより得た第２画像データに基づく第２画像を再現した場合に、その第２画像データが含んでいる、第１タグ画像データの基であるタグを撮影したことにより得られる第２タグ画像データの基であるタグの画像が再現される前記第２画像内の位置と、が所定の第１距離以上異なるという第２の条件が成立した場合に、位置が前記第１距離以上変化したタグを基とする第１タグ画像データまたは第２タグ画像データに基づく付帯データに基づいて、表示部に画像を表示させる表示制御手段と、
して機能させるプログラム。
【請求項６】
前記表示制御手段は、前記第２の条件が成立することに応じて、
取得部に位置が前記第１距離以上変化したタグを基とする第１タグ画像データまたは第２タグ画像データに基づく付帯データを取得させ、
前記表示部に前記取得部が取得した付帯データに基づく画像を表示させることを特徴とする請求項５に記載のプログラム。
【請求項７】
前記表示制御手段は、
取得部に第１タグ画像データに基づく付帯データを少なくとも１つ取得させ、
前記第２の条件が成立することに応じて、表示部に、位置が前記第１距離以上変化したタグにより得られる第１タグ画像データに基づく付帯データに基づいて画像を表示させることを特徴とする請求項５に記載のプログラム。
【請求項８】
前記表示制御手段は、前記第１画像データまたは前記第２画像データに対して画像解析を行うことにより、前記撮影部とタグとの距離が予め定められた第２距離以内であるという第３の条件が成立したことを検出した場合に、前記表示部に画像を表示させることを特徴とする請求項１ないし７の何れか１項に記載のプログラム。
【請求項９】
端末装置のコンピュータが読み取り可能なプログラムであって、
前記コンピュータを、
撮影部が撮影したことにより得た画像データに基づく画像を再現した場合に、その画像データが含んでいる、タグを撮影したことにより得られるタグ画像データの基であるタグの画像が再現される前記第１画像内の位置から所定の範囲内に、マーカーを撮影したことにより得られるマーカー画像データの基であるマーカーの画像が再現されないという第４の条件が成立した場合に、タグ画像データに基づく付帯データに基づいて、表示部に画像を表示させる表示制御手段と、して機能させるプログラム。
【請求項１０】
前記表示制御手段は、前記第４の条件が成立することに応じて、取得部にタグ画像データに基づく付帯データを取得させ、前記表示部に前記取得部が取得した付帯データに基づく画像を表示させることを特徴とする請求項９に記載のプログラム。
【請求項１１】
前記表示制御手段は、
取得部にタグ画像データに基づく付帯データを少なくとも１つ取得させ、
前記第４の条件が成立することに応じて、表示部に、タグ画像データに基づく付帯データに基づいて画像を表示させることを特徴とする請求項９に記載のプログラム。
【請求項１２】
前記表示制御手段は、前記第１画像データに対して画像解析を行うことにより、タグ画像データに対応するマーカーが所定の物体によって隠されていることが判明した場合に、前記第４の条件が成立したと判断することを特徴とする請求項９ないし１１の何れか１項に記載のプログラム。
【請求項１３】
端末装置の制御方法であって、
撮影したことにより得た第１画像データが含んでいる、タグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を記憶部に記憶するタグ画像データ記憶制御ステップと、
タグ画像データ情報を前記記憶部が記憶している状態で前記撮影部が撮影したことにより得た第２画像データの中に、前記記憶部が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、画像を表示する表示制御ステップと、
を備える制御方法。
【請求項１４】
撮影したことにより得た第１画像データが含んでいる、タグを撮影したことにより得られるタグ画像データを示すタグ画像データ情報を記憶部に記憶するタグ画像データ記憶手段と、
タグ画像データ情報を前記記憶部が記憶している状態で前記撮影部が撮影したことにより得た第２画像データの中に、前記記憶部が記憶しているタグ画像データ情報の少なくとも１つについて、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないという第１の条件が成立した場合に、前記記憶部が記憶しているタグ画像データ情報のうち、そのタグ画像データ情報の基であるタグと同じタグを撮影したことにより得られるタグ画像データが第２画像データの中に含まれていないタグ画像データ情報に基づく付帯データに基づいて、画像を表示する表示手段と、
を備える端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２４８０９６（Ｐ２０１２−２４８０９６Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２０７９８（Ｐ２０１１−１２０７９８）
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３０日（２０１１．５．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]