説明

拡張現実表示方法

【課題】カメラ及び表示画面を有する端末装置上に拡張現実を表示する拡張現実表示方法であって、マーカーを変更することなく、様々なコンテンツを切り替えて提供できる方法を提供する。
【解決手段】ARコンテンツサーバ1の条件記憶部32には、商品パッケージに付される1つのマーカー毎に、複数のコンテンツと、当該複数のコンテンツの各々の提供条件とが関連付けて記憶される。端末装置22からARコンテンツサーバ1へとコンテンツ提供が送信されると、条件記憶部32に記憶される提供条件に基づいて、複数のコンテンツの1つが選択される。ARコンテンツサーバ1は、選択したコンテンツを端末装置22を送信し、端末装置22は、ARコンテンツサーバ1から受信したコンテンツとカメラ23の撮影画像とを重畳してディスプレイ28に表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ及び表示装置を有し、ネットワーク経由でサーバにアクセス可能な端末装置上で拡張現実を表示するための拡張現実表示方法に関する。
【背景技術】
【0002】
商品の包装材の外面に、POSシステムで利用されるバーコードの他に、商品情報を提供するサイトのURLやQRコード(登録商標)などの二次元コードが付されたものが知られている。特に、近年のカメラ付き携帯電話機やスマートフォンの普及に伴い、カメラで読み込むだけで簡単に商品情報やキャンペーンのアクセス先を取得できる二次元コードの利用が増加している。
【0003】
また、カメラで撮影した画像(現実環境)に、文字や画像等の他の情報を付加して提示する技術として、拡張現実(AR:Augmented Reality)が知られている(例えば、特許文献2及び3参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−286860号公報
【特許文献2】特開2009−211251号公報
【特許文献3】特開2010−272085号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
包装材に記載されたURLは、文字が小さく見づらい上に、キーやタッチパネル等から1文字ずつ入力する必要があるため、利便性が良くない。二次元コードは、カメラで読み取ることによって、アクセス先等の埋め込み情報を簡単に取得することができるが、取得したアクセス先に実際にアクセスする操作が必要となるので、所望の情報を得るまでの手順が依然として煩雑であると言える。また、二次元コードに埋め込んだURLにアクセスしてコンテンツを提供する手法では、コンテンツの表現方法がある程度限定されてしまう。
【0006】
また、特許文献2及び3に拡張現実の技術を利用すれば、包装材にマーカーを印刷し、これをカメラで撮影するだけで、端末装置が簡単に付加情報を取得できる。ただし、付加情報の内容を切り替えるためには、特許文献2に記載のように、表示したい内容毎にマーカーを用意したり、特許文献3に記載のように、マーカーと識別番号とを組み合わせたりして、マーカー部分に一意性を持たせる必要がある。商品の包装材に付与するマーカーを一意にするには、マーカー部分を含む包装材全体のデザインを変更する必要が生じ、包装材のコストアップに繋がる。
【0007】
それ故に、本発明は、カメラ及び表示画面を有する端末装置上に拡張現実を表示する拡張現実表示方法であって、商品パッケージのデザインを変更することなく、様々なコンテンツを切り替えて提供できる方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、カメラ及び表示装置を有し、ネットワークを介してサーバにアクセス可能な端末装置上で拡張現実を表示する拡張現実表示方法に関する。本発明に係る拡張現実表示方法は、サーバにおいて、商品パッケージに付される1つのマーカー毎に、複数のコンテンツと、当該複数のコンテンツの各々の提供条件とを関連付けて予め記憶するステップと、端末装置からサーバへと、カメラによって撮影された商品パッケージのマーカーをサーバへと送信し、コンテンツの提供を要求するステップと、サーバにおいて、提供条件に基づいて、端末装置から受信したマーカーに関連付けられた複数のコンテンツの1つを選択するステップと、サーバから端末装置へと、サーバにおいて選択されたコンテンツを送信するステップと、端末装置において、カメラによって撮影された画像に、サーバから受信したコンテンツを重畳して表示するステップとを備える。
【発明の効果】
【0009】
本発明によれば、1つのマーカーに複数のコンテンツが対応付けられ、提供条件に基づいて、提供される1つのコンテンツが選択されるので、商品パッケージのデザインを変更することなく、様々なコンテンツを切り替えて提供することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明に係る拡張現実表示方法を実現するための機器構成を示す図
【図2】ARマーカーを付した包装材の例を示す図
【図3】本発明に係る拡張現実表示方法の具体例を説明する図
【図4】第1の実施形態に係る拡張現実表示システムの機能ブロック図
【図5】図4に示した条件記憶部に格納される条件テーブルの例を示す図
【図6】第1の実施形態に係る拡張現実表示方法のフローチャート
【図7】第2の実施形態に係る拡張現実表示システムの機能ブロック図
【図8】図7に示した条件記憶部に格納される条件テーブルの例を示す図
【図9】第2の実施形態に係る拡張現実表示方法のフローチャート
【発明を実施するための形態】
【0011】
(本発明の概要)
図1は、本発明に係る拡張現実表示方法を実現するための機器構成を示す図である。
【0012】
本発明に係る拡張現実表示方法は、カメラ及び表示装置を有し、かつ、ネットワーク経由でサーバにアクセス可能な端末装置の表示画面上に、拡張現実を提示するためのものである。
【0013】
図1では、ARコンテンツサーバ1と、ネットワーク経由でARコンテンツサーバ1に接続可能な端末装置として、デジタルサイネージ7と、携帯電話機8と、スマートフォン9と、ノート型パーソナルコンピュータ10と、タブレットコンピュータ11とが示されている。
【0014】
ARコンテンツサーバ1は、CPU2と、メモリ3と、ハードディスクドライブ等の記憶装置4と、ネットワークインタフェース5とを備える。CPU2と、メモリ3と、記憶装置4と、ネットワークインタフェース5とは、データバス6を介して接続されている。
【0015】
デジタルサイネージ7は、ネットワーク経由で通信を行って、表示内容を様々に変更することが可能な電子看板であり、カメラ12及びディスプレイ13の他に、図示しない通信装置や、記憶装置、表示制御装置を備える。携帯電話機8、スマートフォン9、ノート型パーソナルコンピュータ10、タブレットコンピュータ11もまた、カメラ及びディスプレイを備える。
【0016】
図2は、ARマーカーを付した包装材の例を示す図である。
【0017】
図2(a)のパッケージ15には、文字列と囲みとからなるARマーカー16が印刷されている。一方、図2(b)のパッケージ17には、図形と囲みとからなるARマーカー18が印刷されている。ARマーカーの形態や色、位置、大きさは特に限定されず様々なものを利用可能であるが、コンテンツの向きとカメラによる撮影画像の向きとを合わせるためには、カメラとARマーカーとの相対的な位置関係を一意に特定できる(すなわち、上下左右が一意に定まる)デザインであることが必要である。ARマーカーは、パッケージに印刷しても良いし、ステッカーに印刷したものをパッケージに貼り付けても良い
【0018】
図3は、本発明に係る拡張現実表示方法の具体例を説明する図である。
【0019】
図3(a)〜(d)に示されるように、本発明に係る拡張現実表示方法では、端末装置のカメラを用いて、商品のパッケージ15に付されたARマーカー16を読み取り、読み取ったARマーカー16に対応するコンテンツをARコンテンツサーバから端末装置に送信し、ARコンテンツサーバからダウンロードしたコンテンツをカメラの撮影画像に重畳して端末装置の表示画面上に表示することにより、端末装置のユーザに拡張現実感を提示する。
【0020】
図3(a)の例では、スマートフォン9のカメラ(図示していないが、ディスプレイ20と反対側の面に配置されている)を用いて撮影したパッケージ15の画像上に、セール情報が重ねて表示されている。
【0021】
図3(b)の例では、スマートフォン9のカメラで撮影したパッケージ15の画像上に、おまけやプレゼントの内容が重ねて表示されている。
【0022】
図3(c)の例では、パッケージ15を手に持ったユーザが、スマートフォン9で自分の顔とパッケージ15とを撮影している。スマートフォン9の画面上には、ARコンテンツサーバからダウンロードされたイメージキャラクタの画像が、カメラの撮影画像と重ねて表示され、ユーザとイメージキャラクタとが並んで写真撮影したかのような画像を撮影することができる。
【0023】
図3(d)の例では、パッケージ15を手に持ったユーザが、デジタルサイネージ7の前に立って、パッケージ15に付されたARマーカーをカメラ12に向けている。デジタルサイネージ7のディスプレイ13には、カメラ12によって撮影されたパッケージ15の画像に、商品情報が重ねて表示されている。
【0024】
このように、本発明に係る拡張現実表示方法では、カメラで撮影したARマーカー16に対応するコンテンツを撮影画像と共に表示するためのものであるが、1つのARマーカー16に対して複数のコンテンツを予め用意しておき、ARコンテンツサーバでいずれか1つのコンテンツを選択して端末装置に提供する点に特徴がある。以下、本発明に係る拡張現実表示方法の特徴を詳細に説明する。
【0025】
(第1の実施形態)
第1の実施形態では、端末装置22からARコンテンツサーバ1に対して、いつコンテンツの送信要求がなされたかによって、ARサーバ1から端末装置22に提供するコンテンツが選択される。
【0026】
図4は、第1の実施形態に係る拡張現実表示システムの機能ブロック図であり、図5は、図4に示した条件記憶部に格納される条件テーブルの例を示す図である。
【0027】
ARコンテンツサーバ1は、コンテンツ記憶部30と、マーカー識別子記憶部31と、条件記憶部32と、コンテンツ要求受信部33と、マーカー解析部34と、システムクロック35と、検索部36と、コンテンツ取得部37と、コンテンツ送信部38とを備える。
【0028】
コンテンツ記憶部30は、端末装置22に提供するためのコンテンツを複数記憶する。コンテンツ記憶部30に記憶されるコンテンツは、一意なコンテンツ識別子C_idによって識別される。
【0029】
マーカー識別子記憶部31は、一意なマーカー識別子M_idと、パッケージに付されたARマーカーとを対応付けて記憶する。端末装置22のカメラで撮影されたARマーカーの情報は画像である。そこで、ARコンテンツサーバ1内でARマーカーを容易に識別できるようにするため、ARマーカーの画像情報を直接取り扱うことに代えて、このマーカー識別子M_idが用いられる。
【0030】
条件記憶部32は、端末装置22に提供するコンテンツの提供条件を記憶する。条件記憶部32には、例えば図5に示すように、マーカー識別子M_idと、提供可能期間と、複数のコンテンツ識別子C_idとが対応付けられて記憶されている。本実施形態では、コンテンツの提供可能期間は、年月日・曜日・時間の組み合わせによって定義されている。尚、図5において、空白は、条件が設定されていないことを表す。
【0031】
図5において、マーカー識別子「M01」には、5つのコンテンツ識別子「C01A」〜「C01E」が関連付けられ、更に、各コンテンツ識別子について提供可能期間が設定されている。図5の1〜5行目のレコードには、マーカー識別子「M01」で識別されるARマーカーに対応するコンテンツが要求された場合の条件が定義されている。
【0032】
図5の1行目のレコードは、コンテンツの送信要求を受け付けた日時が、期間「2011/01/01〜2011/03/31、月〜金、5:00〜9:59」の範囲内の場合に、コンテンツ識別子「C01A」で識別されるコンテンツを選択することを意味する。
【0033】
図5の2行目のレコードは、コンテンツの送信要求を受け付けた日時が、期間「2011/01/01〜2011/03/31、月〜金、10:00〜16:59」の範囲内の場合に、コンテンツ識別子「C01B」で識別されるコンテンツを選択することを意味する。
【0034】
図5の3行目のレコードは、コンテンツの送信要求を受け付けた日時が、期間「2011/01/01〜2011/03/31、月〜金、17:00〜4:59」の範囲内の場合に、コンテンツ識別子「C01C」で識別されるコンテンツを選択することを意味する。
【0035】
図5の4行目のレコードは、コンテンツの送信要求を受け付けた日時が、期間「2011/01/01〜2011/03/31、土・日」の範囲内の場合に、コンテンツ識別子「C01D」で識別されるコンテンツを選択することを意味する。
【0036】
図5の5行目のレコードは、コンテンツの送信要求を受け付けた日時が、期間「2011/04/1〜2011/06/30」の範囲内の場合に、コンテンツ識別子「C01E」で識別されるコンテンツを選択することを意味する。
【0037】
また、図5において、マーカー識別子「M02」には、2つのコンテンツ識別子「C02A」及び「C02B」が関連付けられ、更に、各コンテンツ識別子について提供可能期間が設定されている。図5の6及び7行目のレコードには、マーカー識別子「M02」で識別されるARマーカーに対応するコンテンツが要求された場合の条件が定義されている。
【0038】
図5の6行目のレコードは、コンテンツの送信要求を受け付けた日時が、「2011/04/01〜2011/04/30、土・日、12:00〜23:59」の範囲内の場合に、コンテンツ識別子「C02A」で識別されるコンテンツを選択することを意味する。
【0039】
図5の7行目のレコードは、デフォルトの条件として、コンテンツの送信要求を受け付けた日時にかかわらず、コンテンツ識別子「C02B」で識別されるコンテンツを選択することを意味する。すなわち、6行目の条件を満たす場合に、コンテンツ識別子「C02A」で識別されるコンテンツが選択され、それ以外の場合には、コンテンツ識別子「C02B」で識別されるコンテンツが選択される。
【0040】
尚、ここでは、提供条件として、年月日・曜日・時間の組み合わせを用いる場合を例示したが、図5のテーブルは一例に過ぎず、データ項目の数及び内容は任意である。
【0041】
このように、本実施の形態に係る条件記憶部32は、1つのマーカー識別子M_idと、複数のコンテンツ識別子C_idと、各コンテンツ識別子C_id毎の提供可能期間とを関連付けて記憶している。
【0042】
図4に戻って、コンテンツ要求受信部33は、端末装置22から送信されるコンテンツ送信要求「Req(Img)」を受信し、コンテンツ送信要求「Req(Img)」に含まれているARマーカーを含む画像Imgをマーカー解析部34へと出力する。
【0043】
マーカー解析部34は、コンテンツ要求受信部33から出力された画像Imgを解析して、画像Imgに含まれるARマーカーを認識する。マーカー解析部34は、マーカー識別子記憶部31を参照して、認識したARマーカーに付与されたマーカー識別子M_idを取得する。マーカー解析部34は、取得したマーカー識別子M_idを検索部36に出力する。
【0044】
システムクロック35は、ARコンテンツサーバ1に内蔵される時計である。
【0045】
検索部36は、マーカー解析部34からマーカー識別子M_idを取得すると共に、システムクロック35から現在時刻Tmを取得する。検索部36は、条件記憶部32に格納されるテーブルから、取得したM_idと等しいマーカー識別子を有し、かつ、提供可能期間に取得した時刻Tmを含むレコードを検索し、検索したレコードのコンテンツ識別子C_idを取得する。検索部36は、取得したコンテンツ識別子C_idをコンテンツ取得部37に出力する。
【0046】
コンテンツ取得部37は、コンテンツ記憶部30から、検索部36によって検索されたコンテンツ識別子C_idで識別されるコンテンツCtを取得し、取得したコンテンツCtをコンテンツ送信部38に出力する。
【0047】
コンテンツ送信部38は、コンテンツ取得部37がコンテンツ記憶部30から取得したコンテンツCtを端末装置22に出力する。
【0048】
尚、図4に示したARコンテンツサーバ1の機能ブロックのうち、コンテンツ記憶部30と、マーカー識別子記憶部31と、条件記憶部32とは、図1に示した記憶装置4によって実現される。残りのコンテンツ要求受信部33と、マーカー解析部34と、システムクロック35と、検索部36と、コンテンツ取得部37と、コンテンツ送信部38とは、図1に示したCPU2がメモリ3に展開されたプログラムを実行することによって実現できる。
【0049】
次に、端末装置22は、カメラ23と、マーカー検出部24と、コンテンツ要求送信部25と、コンテンツ受信部26と、表示制御部27と、ディスプレイ28とを備える。
【0050】
カメラ23は、撮像素子及び撮像光学系を含み、撮像光学系によって撮像素子の受光面上に形成された光学像を電気的な画像Imgに変換する。
【0051】
マーカー検出部24は、カメラ23から出力された画像ImgにARマーカーが含まれているか否かを検出する。このARマーカーの認識方法は、特に限定されず、公知のあらゆる手法を利用できる。マーカー検出部24は、カメラ23から出力された画像ImgからARマーカーを検出した場合、この画像Imgをコンテンツ要求送信部25に出力し、コンテンツ要求の送信を指示する。
【0052】
コンテンツ要求送信部25は、マーカー検出部24からの指示に従い、ARマーカーを含む画像Imgを含むコンテンツ送信要求「Req(Img)」を生成し、生成したコンテンツ送信要求「Req(Img)」をARコンテンツサーバ1に送信する。
【0053】
コンテンツ受信部26は、端末装置22からのコンテンツ送信要求「Req(Img)」に応答してARコンテンツサーバ1から送信されるコンテンツCtを受信し、受信したコンテンツCtを表示制御部27に出力する。
【0054】
表示制御部27は、カメラから出力される画像Imgに、コンテンツ受信部26から送信されたコンテンツCtを重畳した出力画像を生成し、生成した出力画像をディスプレイ28に表示させる。
【0055】
ディスプレイ28は、例えば液晶ディスプレイや有機ELディスプレイであり、表示制御部27による制御に従って表示画面上に出力画像を表示する。
【0056】
尚、図4に示した端末装置22の機能ブロックのうち、カメラ23及びディスプレイ28はハードウェアであるが、残りのマーカー検出部24と、コンテンツ要求送信部25と、コンテンツ受信部26と、表示制御部27とは、LSI等のハードウェアで実現しても良いし、プロセッサがメモリ上のプログラムを実行することによって実現しても良い。
【0057】
図6は、第1の実施形態に係る拡張現実表示方法のフローチャートである。
【0058】
以下、図4及び6を併せて参照しながら、本実施形態に係る拡張現実表示処理を説明する。尚、図示は省略しているが、図6に示した制御フローの実行前に、図4に示したコンテンツ記憶部30、マーカー識別子記憶部31、条件記憶部32に対し、マーカー識別子と、複数のコンテンツと、提供条件とを関連付けて登録する処理が行われる。
【0059】
ステップS1において、マーカー検出部24は、カメラ23が撮影した画像ImgからARマーカーを検出する処理を行う。カメラ23が撮影した画像ImgからARが検出された場合、マーカー検出部24は、当該画像Imgをコンテンツ要求送信部25に渡して、コンテンツ要求の送信を指示する。
【0060】
ステップS2において、コンテンツ要求送信部25は、マーカー検出部24から受け取った画像Imgを含むコンテンツ送信要求「Req(Img)」を作成し、作成した「コンテンツ送信要求Req(Img)」をネットワーク経由でARコンテンツサーバ1に送信する。
【0061】
ステップS3において、ARコンテンツサーバ1のコンテンツ要求受信部33が「コンテンツ送信要求Req(Img)」を受信する。コンテンツ要求受信部33は、受信した「コンテンツ送信要求Req(Img)」に含まれるARマーカーの画像Imgをマーカー解析部34に渡す。
【0062】
ステップS4において、マーカー解析部34は、コンテンツ要求受信部33から受け取った画像Imgに含まれるARマーカーを認識し、マーカー識別子記憶部31から、認識したARマーカーに対応するマーカー識別子M_idを取得する。マーカー解析部34は、取得したマーカー識別子M_idを検索部36に渡す。
【0063】
ステップS5において、検索部36は、マーカー解析部34から受け取ったマーカー識別子M_idと、システムクロック35から取得した現在時刻Tmとを用いて、条件記憶部提供条件を満たすコンテンツのコンテンツ識別子C_idをコンテンツ取得部37に渡す。
【0064】
ステップS6において、コンテンツ取得部37は、検索部36によって検索されたコンテンツ識別子C_idに対応するコンテンツをコンテンツ記憶部30から取得する。
【0065】
ステップS7において、コンテンツ送信部38は、コンテンツ取得部37によって取得されたコンテンツCtをネットワーク経由で端末装置22へ送信する。
【0066】
ステップS8において、端末装置22のコンテンツ受信部は、ARコンテンツサーバ1から送信されたコンテンツCtを受信する。
【0067】
ステップS9において、表示制御部27は、カメラ23から出力される画像Imgに、コンテンツ受信部26が受信したコンテンツCtを重畳させてディスプレイ28に表示させる。
【0068】
以上の制御処理を行うことによって、条件記憶部32に格納される提供条件によって予め提供期間が設定された複数のコンテンツの中から、コンテンツ送信要求の受信時点で提供可能なコンテンツを選択し、端末装置22に提供することができる。この結果、1種類のARマーカーを用いて、端末装置22の表示画面上に、年月日、曜日、時刻に応じて、様々な拡張現実を切り替えて表示することが可能となる。
【0069】
尚、本実施形態では、コンテンツ要求を受け付けた時刻Tmを検索部36が検索時に取得しているが、この受付時刻は、コンテンツ要求受信部33で行っても良い。あるいは、端末装置22から送信されるコンテンツ送信要求に、更に、要求時刻を含ませても良い。この場合、コンテンツ要求送信部25が端末装置22のシステムクロックから時刻を取得すれば良い。
【0070】
(第2の実施形態)
第2の実施形態では、端末装置22からARコンテンツサーバ1に対して、端末装置22の位置を特定するための位置情報を送信し、どこからコンテンツの送信要求がなされたかによって、ARサーバ1から端末装置22に提供するコンテンツが選択される。
【0071】
本実施形態に係る拡張現実表示システムの基本的な構成は、第1の実施形態で説明したものと同じである。したがって、以下では、第2の実施形態と第1の実施形態との相違点を中心に説明する。
【0072】
図7は、第2の実施形態に係る拡張現実表示システムの機能ブロック図であり、図8は、図7に示した条件記憶部に格納される条件テーブルの例を示す図である。
【0073】
まず、本実施形態に係る端末装置22は、第1の実施形態に係る端末装置(図4)のコンテンツ要求送信部25をコンテンツ要求送信部42に置き換え、位置情報取得部41を更に加えたものである。
【0074】
位置情報取得部41は、端末装置22の位置情報Posを取得し、取得した位置情報Posをコンテンツ要求送信部42に出力する。位置情報取得部41としては、例えばGPS受信機を利用できる。また、位置情報取得部41は、無線基地局によって特定される端末装置22の位置情報や、住所、電話番号、郵便番号などのユーザ入力を位置情報として受け付けても良い。住所、電話番号、郵便番号を位置情報として予め登録しておく場合は、位置情報取得部41は、これらの情報を端末装置22が備える記憶装置から取得しても良い。
【0075】
コンテンツ要求送信部42は、マーカー検出部24から取得した、ARマーカーを含む画像Imgと、位置情報取得部41から取得した端末装置22の位置情報Posとを含むコンテンツ送信要求「Req(Img,Pos)」を作成し、作成したReq(Img,Pos)をARコンテンツサーバ1に送信する。
【0076】
次に、本実施形態に係るARコンテンツサーバ1は、第1の実施形態に係る端末装置(図4)の条件記憶部32、コンテンツ要求受信部33、検索部36を、条件記憶部43、コンテンツ要求受信部44、検索部45に置き換えたものである。尚、本実施形態に係るARコンテンツサーバ1では、条件記憶部43の検索を行う上では、システムクロックは必須ではない。
【0077】
条件記憶部43は、第1の実施形態と同様に、端末装置22に提供するコンテンツの提供条件を記憶するが、コンテンツ識別子毎にコンテンツの提供可能区域が定義されている点で、第1の実施形態とは異なる。条件記憶部43には、図8(a)及び(b)に示すように、マーカー識別子M_idと、提供可能区域と、コンテンツ識別子C_idとが対応付けられて記憶されている。
【0078】
図8(a)の例では、マーカー識別子「M03」で識別されるARマーカーに対応するコンテンツが要求された場合の条件として、提供可能区域が緯度及び経度によって定義されている。
【0079】
図8(a)の1行目のレコードは、位置情報によって特定される端末装置22の位置が、「緯度35〜36°、経度135〜137°の区域」の範囲内の場合に、コンテンツ識別子「C03」で識別されるコンテンツを選択することを意味する。
【0080】
図8(b)の2行目のレコードは、位置情報によって特定される端末装置22の位置が、端末装置22の位置が、「経度135°以上の区域」に含まれる場合に、コンテンツ識別子「C04」で識別されるコンテンツを選択することを意味する。
【0081】
一方、図8(b)の例では、マーカー識別子「M04」で識別されるARマーカーに対応するコンテンツが要求された場合の条件として、提供可能区域が都道府県や都市の名称によって定義されている。
【0082】
図8(b)の1行目のレコードは、位置情報で特定される端末装置22の位置が、「大阪府、京都府、兵庫県」のいずれかに含まれる場合に、コンテンツ識別子「C05」で識別されるコンテンツを選択することを意味する。
【0083】
図8(b)の2行目のレコードは、位置情報で特定される端末装置22の位置が、「東京23区、横浜市、名古屋市、大阪市」のいずれかに含まれる場合に、コンテンツ識別子「C06」で識別されるコンテンツを選択することを意味する。
【0084】
尚、図8(b)のように提供可能区域を特定する場合であって、位置情報取得部41が取得する位置情報が、緯度及び経度、郵便番号、電話番号等の数値データである場合には、取得した数値データを提供可能区域に変換するための変換テーブルを更に用意すれば良い。
【0085】
また、位置情報として郵便番号や電話番号を利用する場合は、提供可能区域も郵便番号や電話番号で定義すれば良い。
【0086】
図7に戻って、コンテンツ要求受信部44は、端末装置22から送信されるコンテンツ送信要求「Req(Img,Pos)」を受信し、「コンテンツ送信要求Req(Img)」に含まれているARマーカーを含む画像Imgをマーカー解析部34へと出力し、位置情報Posを検索部45に出力する。
【0087】
検索部45は、マーカー解析部34からマーカー識別子M_idを取得すると共に、コンテンツ要求受信部44から位置情報Posを取得する。検索部45は、条件記憶部43に格納されるテーブルから、マーカー識別子が取得したM_idと等しく、かつ、提供可能区域に取得した位置情報Posを含むレコードを検索し、検索したレコードのコンテンツ識別子C_idを取得する。検索部45は、取得したコンテンツ識別子C_idをコンテンツ取得部37に出力する。
【0088】
図9は、第2の実施形態に係る拡張現実表示方法のフローチャートである。
【0089】
以下、図7及び9を併せて参照しながら、本実施形態に係る拡張現実表示処理を説明する。尚、図示は省略しているが、図9に示した制御フローの実行前に、図7に示したコンテンツ記憶部30、マーカー識別子記憶部31、条件記憶部43に対し、、マーカー識別子と、複数のコンテンツと、提供条件とを関連付けて登録する処理が行われる。
【0090】
ステップS11において、マーカー検出部24は、カメラ23が撮影した画像ImgからARマーカーを検出する処理を行う。カメラ23が撮影した画像ImgからARが検出された場合、マーカー検出部24は、当該画像Imgをコンテンツ要求送信部42に渡して、コンテンツ要求の送信を指示する。
【0091】
ステップS12において、位置情報取得部41は、端末装置22の現在地を特定するための位置情報Posを取得する。
【0092】
ステップS13において、コンテンツ要求送信部42は、マーカー検出部24から受け取った画像Imgと、位置情報取得部41から取得した位置情報Posとを含むコンテンツ送信要求「Req(Img,Pos)」を作成し、作成したコンテンツ送信要求「Req(Img,Pos)」をネットワーク経由でARコンテンツサーバ1に送信する。
【0093】
ステップS14において、ARコンテンツサーバ1のコンテンツ要求受信部44がコンテンツ送信要求「Req(Img,Pos)」を受信する。コンテンツ要求受信部44は、受信したコンテンツ送信要求「Req(Img,Pos)」に含まれるARマーカーの画像Imgをマーカー解析部34に渡し、位置情報Posを検索部45に渡す。
【0094】
ステップS15において、マーカー解析部34は、コンテンツ要求受信部44から受け取った画像Imgに含まれるARマーカーを認識し、マーカー識別子記憶部31から、認識したARマーカーに対応するマーカー識別子M_idを取得する。マーカー解析部34は、取得したマーカー識別子M_idを検索部45に渡す。
【0095】
ステップS16において、検索部45は、マーカー解析部34から受け取ったマーカー識別子M_idと、コンテンツ要求受信部44から受け取った位置情報Posとを用いて、条件記憶部43から提供条件を満たすコンテンツのコンテンツ識別子C_idを検索し、検索されたコンテンツ識別子C_idをコンテンツ取得部37に渡す。
【0096】
ステップS17において、コンテンツ取得部37は、検索部45によって検索されたコンテンツ識別子C_idに対応するコンテンツをコンテンツ記憶部30から取得する。
【0097】
ステップS18において、コンテンツ送信部38は、コンテンツ取得部37によって取得されたコンテンツCtをネットワーク経由で端末装置22へ送信する。
【0098】
ステップS19において、端末装置22のコンテンツ受信部26は、ARコンテンツサーバ1から送信されたコンテンツCtを受信する。
【0099】
ステップS20において、表示制御部27は、カメラ23から出力される画像Imgに、コンテンツ受信部26が受信したコンテンツCtを重畳させてディスプレイ28に表示させる。
【0100】
以上の制御処理を行うことによって、条件記憶部43に格納される提供条件によって予め提供区域が設定された複数のコンテンツの中から、端末装置22の現在地に応じて提供可能なコンテンツを選択し、端末装置22に提供することができる。この結果、1つのARマーカーを用いて、端末装置22の画面上に、端末装置22の現在地に応じて様々な拡張現実を切り替えて表示することが可能となる。
【0101】
(その他の変形例)
尚、上記の各実施形態では、パッケージにARマーカーを付与し、このARマーカーの認識に基づいて拡張現実を表示する構成を説明したが、拡張現実表示専用のARマーカーの代わりに、パッケージのデザインの一部または全部をマーカーとして使用する、いわゆる自然マーカーを利用した拡張現実表現方法にも、本発明は適用可能である。
【0102】
また、上記の各実施形態を組み合わせて、提供可能期間と提供可能区域との両方で、更に細かくコンテンツの提供条件を定義することも可能である。この場合、図7のARコンテンツサーバ1に図4のシステムクロックを付加し、マーカー識別子と現在時刻と位置情報とを用いて条件記憶部を検索するようにすれば良い。条件記憶部に格納する提供条件は、図5及び図8のテーブルの項目を組み合わせれば良い。
【0103】
更に、上記の各実施形態では、1つのARマーカーがカメラで撮影された場合の例を説明したが、2以上のARマーカーを同時に撮影した場合に、1つのARマーカーを撮影した場合に表示されるものとは別のコンテンツを表示するようにしても良い。この場合、商品パッケージに付された2以上のARマーカーを同時に撮影した場合や、商品パッケージに付された1つのARマーカー及び店頭ポスター等に付された1つのARマーカーを同時に撮影した場合に、端末装置上に表示される拡張現実を変化させることができるので、表現方法を更に広げることが可能となる。
【産業上の利用可能性】
【0104】
本発明は、カメラ及び表示画面を備えた端末装置上で拡張現実を提示するシステムに利用できる。
【符号の説明】
【0105】
1 ARコンテンツサーバ
15 パッケージ
16 ARマーカー
17 パッケージ
18 ARマーカー
22 端末装置
23 カメラ
24 マーカー検出部
25 コンテンツ要求送信部
26 コンテンツ受信部
27 表示制御部
28 ディスプレイ
30 コンテンツ記憶部
31 マーカー識別子記憶部
32 条件記憶部
33 コンテンツ要求受信部
34 マーカー解析部
35 システムクロック
36 検索部
37 コンテンツ取得部
38 コンテンツ送信部
41 位置情報取得部
41 コンテンツ要求送信部
43 条件記憶部
44 コンテンツ要求受信部
45 検索部

【特許請求の範囲】
【請求項1】
カメラ及び表示装置を有し、ネットワークを介してサーバにアクセス可能な端末装置上で拡張現実を表示する拡張現実表示方法であって、
前記サーバにおいて、商品パッケージに付される1つのマーカー毎に、複数のコンテンツと、当該複数のコンテンツの各々の提供条件とを関連付けて予め記憶するステップと、
前記端末装置から前記サーバへと、前記カメラによって撮影された商品パッケージのマーカーを前記サーバへと送信し、コンテンツの提供を要求するステップと、
前記サーバにおいて、前記提供条件に基づいて、前記端末装置から受信したマーカーに関連付けられた複数のコンテンツの1つを選択するステップと、
前記サーバから前記端末装置へと、前記サーバにおいて選択されたコンテンツを送信するステップと、
前記端末装置において、前記カメラによって撮影された画像に、前記サーバから受信したコンテンツを重畳して表示するステップとを備える、拡張現実表示方法。
【請求項2】
前記提供条件として、前記複数のコンテンツ毎に提供可能な期間が定義されており、
前記複数のコンテンツの1つを選択するステップにおいて、前記端末装置から前記コンテンツの提供が要求された時刻を取得し、取得した時刻に提供可能なコンテンツを選択する、請求項1に記載の拡張現実表示方法。
【請求項3】
前記提供条件として、前記複数のコンテンツ毎に提供可能な区域が定義されており、
前記コンテンツの提供を要求するステップにおいて、更に、前記端末装置が自装置の所在地を表す位置情報を取得し、取得した位置情報を撮影されたマーカーと共に前記サーバに送信し、
前記複数のコンテンツの1つを選択するステップにおいて、前記端末装置から送信された位置情報で表される区域に提供可能なコンテンツを選択する、請求項1に記載の拡張現実表示方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−215989(P2012−215989A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−79820(P2011−79820)
【出願日】平成23年3月31日(2011.3.31)
【出願人】(000003193)凸版印刷株式会社 (10,630)
【Fターム(参考)】