説明

図柄表示具、及び合成画像表示システム

【課題】AR技術を用いた新たなコンテンツの提供方法を提示し、視聴者の興趣を向上させることを課題とする。
【解決手段】図柄表示具は、識別図柄が複数描かれた第1部材と、当該識別図柄を表示する表示窓を備える第2部材と、を有し、表示窓に表示される識別図柄が第1部材の動きに伴って変動する構成とする。一方、合成画像表示装置は、撮影手段により図柄表示具を撮影した撮影画像に含まれている識別図柄を特定し、当該識別図柄に対応する仮想オブジェクト画像を撮影画像に重ねて合成画像を生成し表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実世界の映像に仮想的なオブジェクトの画像を重ね合わせることによって、その仮想オブジェクトがあたかも現実世界の中に存在するかのように表現するAugmented Reality(以下、「AR」)の技術分野に関する。
【背景技術】
【0002】
従来、スマートフォンで表現される動画コンテンツ及び音楽コンテンツを、絵本と組み合わせて視聴者に視聴させるフォンブック(登録商標)が好評を博している。フォンブックでは、絵本の一部にスマートフォンを据え付けられるようになっており、視聴者は絵本のページをめくりつつ、開かれたページと関連したコンテンツをスマートフォンで視聴できるようになっている。
【0003】
一方で、現実世界を強化するARと呼ばれる技術が開示されている(例えば、特許文献1乃至3)。ARとは、現実世界の映像に、仮想的なオブジェクト(以下、「仮想オブジェクト」と称する)の画像を重ね合わせることによって、その仮想オブジェクトがあたかも現実世界の中に存在するかのような画像を提供するものである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−213673号公報
【特許文献2】特表2004−534963号公報
【特許文献3】特表2005−507109号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、AR技術を用いた新たなコンテンツの提供方法を提示し、視聴者の興趣を向上させることを課題とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、請求項1に記載の発明は、撮影手段と、前記撮影手段により撮影された撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、前記生成された合成画像を表示手段に表示させる表示制御部と、を備える合成画像表示装置における前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第1部材と、前記第1部材に描かれた識別図柄を表示する表示窓を備える第2部材と、を有する図柄表示具であって、前記表示窓に表示される識別図柄が前記第1部材の動きに伴って変動することを特徴とする。
【0007】
この構成によれば、合成画像表示装置は、撮影手段が撮影した撮影画像に含まれている識別図柄を特定し、当該特定した識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得し、当該取得した仮想オブジェクト画像を、識別図柄を含む撮影画像に重ねて合成画像を生成し、当該生成した合成画像を表示手段に表示させる。また、図柄表示具の表示窓に表示される識別図柄は第1部材の動きに伴って変動する。
【0008】
この発明によれば、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第1部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。
【0009】
請求項2に記載の発明は、請求項1に記載の図柄表示具であって、前記第1部材に描かれる複数の識別図柄は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す前記仮想オブジェクト画像と対応する識別図柄であり、各識別図柄は当該所定のストーリーの進行に応じた順序で描かれており、前記第1部材は、前記順序通りに前記識別図柄が前記表示窓に表示されるように動くことを特徴とする。
【0010】
この発明によれば、表示手段に表示される合成画像の仮想オブジェクト画像は、所定のストーリーの各進行段階を表す画像であるとともに、仮想オブジェクト画像が当該所定のストーリーの進行に応じた順序で変化するので、視聴者はストーリーを楽しむことができる。
【0011】
請求項3に記載の発明は、請求項1又は2に記載の図柄表示具であって、前記第2部材における前記表示窓の周囲の少なくとも一部には、所定の図柄の一部が描かれており、前記第1部材に描かれる識別図柄は、前記表示窓に表示された際、前記第2部材に描かれた図柄の一部とともに前記所定の図柄を形成することを特徴とする。
【0012】
この発明によれば、表示窓に識別図柄が表示された際に所定の図柄が図柄表示具に表示されることから、視聴者は図柄表示具全体を、或いは表示手段に表示される合成画像を違和感なく視聴することができる。
【0013】
請求項4に記載の発明は、合成画像表示装置と、識別図柄を表示する図柄表示具とを有する合成画像表示システムであって、前記合成画像表示装置は、撮影手段と、前記撮影手段により撮影された撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、前記生成された合成画像を表示手段に表示させる表示制御部と、を備え、前記図柄表示具は、前記合成画像表示装置における前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第1部材と、前記第1部材に描かれた識別図柄を表示する表示窓を備える第2部材と、を有し、前記表示窓に表示される識別図柄が前記第1部材の動きに伴って変動することを特徴とする。
【0014】
この発明によれば、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第1部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。
【0015】
請求項5に記載の発明は、請求項4に記載の合成画像表示システムであって、前記第1部材に描かれる複数の識別図柄は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す前記仮想オブジェクト画像と対応する識別図柄であり、各識別図柄は当該所定のストーリーの進行に応じた順序で描かれており、前記第1部材は、前記順序通りに前記識別図柄が前記表示窓に表示されるように動くことを特徴とする。
【0016】
この発明によれば、表示手段に表示される合成画像の仮想オブジェクト画像は、所定のストーリーの各進行段階を表す画像であるとともに、仮想オブジェクト画像が当該所定のストーリーの進行に応じた順序で変化するので、視聴者はストーリーを楽しむことができる。
【0017】
請求項6に記載の発明は、請求項4又は5に記載の合成画像表示システムであって、前記第2部材における前記表示窓の周囲の少なくとも一部には、所定の図柄の一部が描かれており、前記第1部材に描かれる識別図柄は、前記表示窓に表示された際、前記第2部材に描かれた図柄の一部とともに前記所定の図柄を形成することを特徴とする。
【0018】
この発明によれば、表示窓に識別図柄が表示された際に所定の図柄が図柄表示具に表示されることから、視聴者は図柄表示具全体を、或いは表示手段に表示される合成画像を違和感なく視聴することができる。
【0019】
請求項7に記載の発明は、請求項4乃至6の何れか一項に記載の合成画像表示システムであって、前記合成画像表示装置は、前記識別図柄に対応する前記仮想オブジェクト画像を記憶する仮想オブジェクト画像記憶手段、を更に備え、前記仮想オブジェクト画像取得手段は、前記識別図柄特定手段により特定された識別図柄に対応する仮想オブジェクト画像が前記仮想オブジェクト画像記憶手段に記憶されていない場合に、所定のサーバ装置から当該特定された識別図柄に対応する仮想オブジェクト画像をダウンロードすることを特徴とする。
【0020】
この発明によれば、仮想オブジェクト画像が仮想オブジェクト画像記憶手段に記憶されていない場合であっても、合成画像を生成し表示させることができる。また、仮想オブジェクト画像記憶手段に全ての識別図柄に対応する仮想オブジェクト画像を記憶させなくてもよいので、仮想オブジェクト画像記憶手段の記憶領域を節約することができる。
【0021】
請求項8に記載の発明は、撮影手段と、前記撮影手段により撮影された撮影画像を合成画像生成サーバに送信する撮影画像送信手段と、前記合成画像生成サーバが前記撮影画像に含まれている識別図柄を特定し、当該特定した識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を当該撮影画像に重ねて生成した合成画像を、当該合成画像生成サーバから受信する合成画像受信手段と、前記受信した合成画像を表示手段に表示させる表示制御部と、を備える合成画像表示装置とネットワークを介して接続される前記合成画像生成サーバが特定可能な前記識別図柄が複数描かれた第1部材と、前記第1部材に描かれた識別図柄を表示する表示窓を備える第2部材と、を有する図柄表示具であって、前記表示窓に表示される識別図柄が前記第1部材の動きに伴って変動することを特徴とする。
【0022】
この構成によれば、合成画像表示装置は、合成画像生成サーバが生成した合成画像を受信し、当該受信した合成画像を表示手段に表示させる。また、図柄表示具の表示窓に表示される識別図柄は第1部材の動きに伴って変動する。したがって、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第1部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。
【0023】
請求項9に記載の発明は、合成画像表示装置と、合成画像生成サーバと、識別図柄を表示する図柄表示具とを有する合成画像表示システムであって、前記合成画像表示装置は、撮影手段と、前記撮影手段により撮影された撮影画像を前記合成画像生成サーバに送信する撮影画像送信手段と、前記合成画像生成サーバが生成した合成画像を当該合成画像生成サーバから受信する合成画像受信手段と、前記受信した合成画像を表示手段に表示させる表示制御部と、を備え、前記合成画像生成サーバは、前記合成画像表示装置から受信した撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、前記生成した合成画像を前記合成画像表示装置に送信する合成画像送信手段と、を備え、前記図柄表示具は、前記合成画像生成サーバにおける前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第1部材と、前記第1部材に描かれた識別図柄を表示する表示窓を備える第2部材と、を有し、前記表示窓に表示される識別図柄が前記第1部材の動きに伴って変動することを特徴とする。
【0024】
この発明によれば、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第1部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。
【発明の効果】
【0025】
本発明によれば、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第1部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。
【図面の簡単な説明】
【0026】
【図1】(a)ストーリーボード1の外観の一例を示す図である。(b)ストーリーシート2の外観の一例を示す図である。
【図2】ストーリーボードセットの使用例を示す図である。
【図3】携帯端末Mの概要構成を示すブロック図である。
【図4】コンテンツテーブル1024に記述される内容の一例を示す図である。
【図5】ストーリーボードセットを携帯端末Mのカメラ106で撮影した際の画面例を示す図である。
【図6】ストーリーボードセットを携帯端末Mのカメラ106で撮影した際の画面例を示す図である。
【図7】ストーリーボードセットを携帯端末Mのカメラ106で撮影した際の画面例を示す図である。
【図8】携帯端末Mの動作例を示すフローチャートである。
【図9】(a)変形例1におけるストーリーボード1Aの外観の一例を示す図である。(b)変形例1におけるストーリーシート2の外観の一例を示す図である。(c)変形例1におけるストーリーシート4の外観の一例を示す図である。
【図10】コンテンツテーブル1024Aに記述される内容の一例を示す図である。
【図11】変形例1におけるストーリーボードセットを携帯端末Mのカメラ106で撮影した際の画面例を示す図である。
【図12】変形例1におけるストーリーボードセットを携帯端末Mのカメラ106で撮影した際の画面例を示す図である。
【図13】(a)変形例2におけるストーリーボードセット1Bの外観の一例を示す図である。(b)変形例2におけるストーリーシート5の外観の一例を示す図である。
【図14】変形例3における携帯端末Mの動作例を示すフローチャートである。
【図15】変形例4におけるコンテンツ処理サーバSVの概要構成を示すブロック図である。
【発明を実施するための形態】
【0027】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施形態は、ストーリー提供システムについて本発明を適用した場合の実施形態である。
【0028】
本実施形態のストーリー提供システムは、ストーリーボードセットと、ストーリー提供アプリケーションプログラム(「ストーリー提供アプリ」)がインストールされた携帯端末Mとを含み、ユーザに所定のストーリーを提供するシステムである。
【0029】
[1.ストーリーボードセットの構成]
先ず、図1及び図2を用いて本実施形態に係るストーリーボードセットの構成について説明する。
【0030】
ストーリーボードセットは、図1(a)に示すストーリーボード1と、図1(b)に示すストーリーシート2とを有する。ストーリーボード1の絵表示部11には所定のストーリーを表す絵の一部が印刷されている。また、ストーリーボード1にはストーリーシート2を差し込んで通せるようなスリット12LS、12RSが設けられ、スリット12LSとスリット12RSの間に表示窓12が形成されている。ストーリーボードセットにおいては、ストーリーシート2を、矢印29の向きにストーリーボード1の裏面からスリット12LSに差し込み、ストーリーボード1の表面の表示窓12を通過させて、スリット12RSに差し込み裏面に通すことにより、ストーリーシート2をストーリーボード1にセットすることができる。
【0031】
ストーリーシート2にはマーカー図柄21〜23が印刷されている。ストーリーシート2がストーリーボード1にセットされ、所定の位置にスライドされると、マーカー図柄21〜23が表示窓12に表示されるようになっている。また、マーカー図柄21〜23は絵表示部11に印刷された絵の一部と組み合わせることにより一つの絵を形成するようになっている。
【0032】
図2(a)に示すように、ストーリーシート2をストーリーボード1にセットし、右へスライドさせると、表示窓12にマーカー図柄21が表示される。このとき、ストーリーボード1を眺めると、絵表示部11に印刷された絵の一部(少年の頭部と上半身を表す絵)と、マーカー図柄21を兼ねる絵(少年の口とお菓子を持った手を表す絵)とによって、一つの絵(少年がお菓子を食べる様子を表す絵)を形成するようになっている。
【0033】
次いで、更にストーリーシート2を右へスライドさせると、図2(b)に示すように、表示窓12にマーカー図柄22が表示される。このとき、ストーリーボード1を眺めると、絵表示部11に印刷された絵の一部(少年の頭部と上半身を表す絵)と、マーカー図柄22を兼ねる絵(少年の手と、虫歯菌を示すキャラクタを表す絵)とによって、一つの絵(少年が虫歯になった様子を表す絵)を形成するようになっている。
【0034】
次いで、更にストーリーシート2を右へスライドさせると、図2(c)に示すように、表示窓12にマーカー図柄23が表示される。このとき、ストーリーボード1を眺めると、絵表示部11に印刷された絵の一部(少年の頭部と上半身を表す絵)と、マーカー図柄23を兼ねる絵(少年の口と歯ブラシを持った手を表す絵)とによって、一つの絵(少年が歯を磨いている様子を表す絵)を形成するようになっている。
【0035】
このように、本実施形態におけるストーリーボードセットは、ストーリーシート2をストーリーボード1にセットし、右へスライドさせることにより、(1)少年がお菓子を食べ、(2)虫歯になり、(3)歯を磨くようになる、という一連のストーリーをユーザに提供するようになっている。
【0036】
[2.携帯端末Mの構成]
次に、図3及び図4を用いて携帯端末Mの構成について説明する。
【0037】
図3に示すように、携帯端末Mは、制御部101、記憶部102、通信部103、タッチパネル104、ボタン操作部105、及びカメラ106を有する。
【0038】
通信部103は、インターネット、移動体通信網(基地局等を含む)、及びゲートウェイ等により構築されたネットワークを介した、他の電話機との通話やデータ通信、又はサーバ等とのデータ通信に関する制御等を行う。
【0039】
カメラ106は、所謂デジタルカメラであり、静止画及び動画を撮影することができる。また、後述するストーリー提供アプリが起動されるとカメラ106も起動するようになっており、ストーリー提供アプリの起動中は、レンズ及び画像素子等により取得される撮影画像を1秒間に所定フレーム数(例えば、30フレーム)分ずつ取得するようになっている。これらの取得された撮影画像は、制御部101の制御の下、リアルタイムでタッチパネル104に連続して表示される。また、これらの撮影画像は、タッチパネル104に表示させるため、及び後述する比較用画像と比較するため、一時的に記憶部102に記憶される。
【0040】
タッチパネル104は、例えば、静電容量方式のタッチセンサと表示装置とからなり、入力装置及び表示装置として機能する。また、ボタン操作部105は、ユーザが押下することによりボタン押下信号が制御部101に送信され、例えば、表示装置により表示されている画面が閉じられるようになっている。つまり、ユーザは、タッチパネル104とボタン操作部105に対する入力操作により、携帯端末Mに情報を入力することができるようになっている。
【0041】
記憶部102は、例えば、不揮発性メモリ等により構成されており、オペレーティングシステムや、アプリケーションプログラム等の各種プログラムを記憶する。特に、本実施形態の記憶部102には、ストーリー提供アプリがインストールされている。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークNWを介して取得されるようにしても良いし、記録媒体に記録されて外付けドライブ装置を介して読み込まれるようにしても良い。
【0042】
また、記憶部102には、ストーリー提供アプリの一部として、ストーリーシート2に印刷されたマーカー図柄21〜23をそれぞれデジタル化した比較用画像21C〜23Cが記憶されている。また、記憶部102には、ストーリー提供アプリの一部として、各比較用画像にそれぞれ対応するコンテンツファイル1021〜1023が記憶されている。更に、記憶部102には、ストーリー提供アプリの一部として、図4に示すコンテンツテーブル1024が記憶されている。コンテンツテーブル1024は、撮影画像の一部と一致する比較用画像の種別に応じて、コンテンツファイルを取得できるように、比較用画像IDとコンテンツファイルIDとを対応付けている。なお、比較用画像IDは、比較用画像を識別するためのIDであり、コンテンツファイルIDは、コンテンツファイル1021〜1023を識別するためのIDである。
【0043】
コンテンツファイル1021〜1023は、カメラ106によって撮影された撮影画像に仮想オブジェクト画像を重ねて表示させるなどの諸機能を実現するコンテンツ実行プログラムと、当該仮想オブジェクト画像とを含んでいる。
【0044】
制御部101は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成されている。そして、CPUが、ROMや記憶部102に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
【0045】
制御部101は、ストーリー提供アプリの起動中において、カメラ106により撮影された撮影画像内に、比較用画像21C〜23Cと一致する部分が含まれているかを所定時間毎に確認する。制御部101は、一致する部分が含まれていることを確認した場合には、コンテンツテーブル1024を参照して、当該比較用画像21C〜23Cの比較用画像IDに対応するコンテンツファイルIDを特定し、コンテンツファイル1021〜1023を取得する。制御部101は、コンテンツファイル1021〜1023を取得すると、これに含まれるコンテンツ実行プログラムを実行し、カメラ106により撮影された撮影画像に、取得したコンテンツファイル1021〜1023に含まれる仮想オブジェクト画像を重ねることにより合成画像を生成し、タッチパネル104に表示させる。なお、コンテンツ実行プログラムには、撮影画像に含まれる比較用画像21C〜23Cの中心を原点とする何れの座標位置に仮想オブジェクト画像を重ねるかが規定されている。また、撮影画像は上述したように1秒間に所定フレーム数分ずつ撮影されるので、制御部101は、それぞれの撮影画像に仮想オブジェクト画像を重ねて合成画像を生成し、タッチパネル104に連続表示させる。
【0046】
[3.ストーリーボードセット及びストーリー提供アプリの利用方法]
次に、図5乃至7を用いてストーリーボードセット及びストーリー提供アプリの利用方法について説明する。なお、図5は、表示窓12にマーカー図柄21が表示された状態のストーリーボード1を、ストーリー提供アプリが起動された携帯端末Mのカメラ106により撮影した場合における、タッチパネル104に表示される画面例を説明するための図である。同様に、図6及び図7は、それぞれ、表示窓12にマーカー図柄22、23が表示された状態のストーリーボード1を、カメラ106により撮影した場合におけるタッチパネル104に表示される画面例を説明するための図である。
【0047】
まず、ユーザは携帯端末Mのストーリー提供アプリを起動させ、カメラ106により、表示窓12がフレーム内に含まれるようにストーリーボード1を撮影しながら、ストーリーボード1にセットしたストーリーシート2をスライドさせる。このとき、携帯端末Mの制御部101はカメラ106により撮影された撮影画像内に比較用画像21C〜23Cと一致する部分が含まれているかを所定時間毎に確認する。
【0048】
そして、図5に示すように、表示窓12にマーカー図柄21が表示されると、制御部101は撮影画像に比較用画像21Cと一致する部分が含まれていることを確認し、比較用画像21Cに対応するコンテンツファイル1021を取得する。次いで、制御部101は、コンテンツファイル1021に含まれるコンテンツ実行プログラムに従って、カメラ106により撮影された撮影画像に、コンテンツファイル1021に含まれる「音符」を表す仮想オブジェクト画像3A(「音符オブジェクト3A」)を重ねて合成画像を生成し、タッチパネル104に表示させる。このとき、連続撮影された撮影画像毎に少しずつ音符オブジェクト3Aの位置を変化させるアニメーション演出や、音符オブジェクト3Aを点滅させる点滅演出を加えたり、更には、図示しないスピーカから、お菓子を食べるときに相応しい音楽を出力させたりしてもよい。これらにより、ユーザは、少年が鼻歌を歌いながらお菓子を食べる様子を、タッチパネル104等を通して視聴することができる。
【0049】
次いで、ユーザが更にストーリーシート2を右にスライドさせ、図6に示すように、表示窓12にマーカー図柄22が表示されると、制御部101は撮影画像に比較用画像22Cと一致する部分が含まれていることを確認し、比較用画像22Cに対応するコンテンツファイル1022を取得する。次いで、制御部101は、コンテンツファイル1022に含まれるコンテンツ実行プログラムに従って、カメラ106により撮影された撮影画像に、コンテンツファイル1022に含まれる「涙」を表す仮想オブジェクト画像3B(「涙オブジェクト3B」)及び「星型七角形」を表す仮想オブジェクト画像3C(「星型七角形オブジェクト3C」)を重ねて合成画像を生成し、タッチパネル104に表示させる。このとき、連続撮影された撮影画像毎に少しずつ、涙オブジェクト3B及び星型七角形オブジェクト3Cの少なくとも何れか一方の位置を変化させるアニメーション演出や点滅させる点滅演出を加えたり、更には、図示しないスピーカから、痛みを表すのに相応しい音楽を出力させたりしてもよい。これらにより、ユーザは、少年が虫歯になって痛がっている様子を、タッチパネル104等を通して視聴することができる。
【0050】
次いで、ユーザが更にストーリーシート2を右にスライドさせ、図7に示すように、表示窓12にマーカー図柄23が表示されると、制御部101は撮影画像に比較用画像23Cと一致する部分が含まれていることを確認し、比較用画像23Cに対応するコンテンツファイル1023を取得する。次いで、制御部101は、コンテンツファイル1023に含まれるコンテンツ実行プログラムに従って、カメラ106により撮影された撮影画像に、コンテンツファイル1023に含まれる「星型四角形」を表す仮想オブジェクト画像3D(「星型四角形オブジェクト3D」)を重ねて合成画像を生成し、タッチパネル104に表示させる。このとき、連続撮影された撮影画像毎に少しずつ星型四角形オブジェクト3Dの位置を変化させるアニメーション演出や点滅させる点滅演出を加えたり、更には、図示しないスピーカから、楽しい様子或いは歯を磨いている様子を表すのに相応しい音楽を出力させたりしてもよい。これらにより、ユーザは、少年が楽しそうに歯を磨いている様子を、タッチパネル104等を通して視聴することができる。
【0051】
[4.携帯端末Mの動作例]
次に、図8に示すフローチャートを用いて、ストーリー提供アプリ起動中における携帯端末Mの動作例について説明する。なお、図8に示す処理は、携帯端末Mの制御部101が、ユーザによるストーリー提供アプリを起動させるために操作(「アプリ起動操作」)を検出した場合に開始され、ユーザによるストーリー提供アプリを終了させるための操作(「アプリ終了操作」)、或いは携帯端末Mの電源を切断するための操作(「電源オフ操作」)が検出された場合などに終了する。
【0052】
まず、携帯端末Mの制御部101は、アプリ起動操作を検出するとストーリー提供アプリを起動させる(ステップS1)。次いで、制御部101は、カメラ106を起動させる(ステップS2)。カメラ106が起動すると、カメラ106により連続撮影された各撮影画像がタッチパネル104に連続表示される。このとき、ユーザはタッチパネル104に映し出される画像(映像)を確認しながら、フレーム内に表示窓12が含まれるように携帯端末Mの位置や向きを変位させる。
【0053】
制御部101は、カメラ106を起動させると、カメラ106により撮影された撮影画像と、各比較用画像21C〜23Cを比較し(ステップS3)、撮影画像に、何れかの比較用画像21C〜23Cが含まれているか否かを判定する(ステップS4)。制御部101は、撮影画像に、何れの比較用画像21C〜23Cも含まれていないと判定した場合には(ステップS4:NO)、ステップS3の処理に移行する。一方、制御部101は、撮影画像に、何れかの比較用画像21C〜23Cが含まれていると判定した場合には(ステップS4:YES)、コンテンツファイルテーブル1024を参照し、当該含まれていると判定した比較用画像の比較用画像IDに対応するコンテンツファイルIDを特定し、当該特定したコンテンツファイルIDに基づいてコンテンツファイルを取得する(ステップS5)。
【0054】
次いで、制御部101は、ステップS5の処理で取得したコンテンツファイルに含まれるコンテンツ実行プログラムを実行し、仮想オブジェクト画像を撮影画像に重ねて合成画像を生成し、タッチパネル104に表示させる(ステップS6)。このとき、制御部101は、カメラ106により連続撮影された各撮影画像に仮想オブジェクト画像を重ねた合成画像を生成し、タッチパネル104に連続表示させる。
【0055】
次いで、制御部101は、その時点で撮影された撮影画像内にステップS4の処理で含まれていると判定した比較用画像が未だに含まれているか否かを判定する(ステップS7)。制御部101は、撮影画像内に比較用画像がまだ含まれていると判定した場合には(ステップS7:YES)、ステップS7の処理を繰り返す。一方、ストーリーシート2がスライドさせられたなどの理由により、制御部101は、撮影画像内に比較用画像が含まれていないと判定した場合には(ステップS7:NO)、ステップS3の処理に移行する。
【0056】
以上説明したように、本実施形態のストーリー提供システムは、携帯端末M(「合成画像表示装置」の一例)と、マーカー図柄21〜23(「識別図柄」の一例)を表示するストーリーボードセット(「図柄表示具」の一例)とを有する。携帯端末Mの制御部101(「識別図柄特定手段」、「仮想オブジェクト画像取得手段」、「合成画像生成手段」、「表示制御部」の一例)は、カメラ106(「撮影手段」の一例)により撮影された撮影画像に含まれているマーカー図柄21〜23を特定し、当該特定したマーカー図柄21〜23に対応する仮想オブジェクトの画像である仮想オブジェクト画像3A〜3Dを取得し、当該取得した仮想オブジェクト画像3A〜3Dを、マーカー図柄21〜23を含む撮影画像に重ねて合成画像を生成し、当該生成した合成画像をタッチパネル104(「表示手段」の一例)に表示させる。一方、ストーリーボードセットは、携帯端末Mの制御部101が特定可能なマーカー図柄21〜23が複数描かれたストーリーシート2(「第1部材」の一例)と、ストーリーシート2に描かれたマーカー図柄21〜23を表示する表示窓12を備えるストーリーボード1(「第2部材」の一例)と、を有し、表示窓12に表示されるマーカー図柄21〜23はストーリーシート2の動き(スライド)に伴って変動するようになっている。
【0057】
したがって、ストーリー提供システムによれば現実世界の画像(撮影画像)に仮想オブジェクト画像3A〜3Dを重ねた合成画像がタッチパネル104に表示され、当該表示される合成画像の仮想オブジェクト画像3A〜3Dはストーリーシート2の動きに伴って変化するので、視聴者の興趣を向上させることができる。
【0058】
また、ストーリーシート2に描かれる複数のマーカー図柄21〜23は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す仮想オブジェクト画像3A〜3Dと対応するマーカー図柄21〜23であり、各マーカー図柄21〜23は当該所定のストーリーの進行に応じた順序で描かれており、ストーリーシート2は、当該順序通りにマーカー図柄21〜23が表示窓12に表示されるように動く(スライドする)ようになっている。
【0059】
したがって、タッチパネル104に表示される合成画像の仮想オブジェクト画像3A〜3Dは、所定のストーリーの各進行段階を表す画像であるとともに、仮想オブジェクト画像3A〜3Dが当該所定のストーリーの進行に応じた順序で変化するので、視聴者は所定のストーリーを楽しむことができる。
【0060】
また、ストーリーボード1における表示窓12の周囲の少なくとも一部には、所定の絵(図柄)の一部が描かれており、ストーリーシート2に描かれるマーカー図柄21〜23は、表示窓12に表示された際、ストーリーボード1に描かれた絵(図柄)の一部とともに所定の絵(図柄)を形成するようになっている。
【0061】
したがって、表示窓12にマーカー図柄21〜23が表示された際に所定の絵(図柄)がストーリーボード1に表示されることから、視聴者はストーリーボード1全体を、或いはタッチパネル104に表示される合成画像を違和感なく視聴することができる。なお、後述する変形例3で説明するように、マーカー図柄21〜23の代わりに2次元コードを用いた場合には、表示窓12に2次元コードが表示されるので、視聴者に違和感を与える場合があるが、本実施形態では違和感なく視聴させることができる。
【0062】
なお、コンテンツファイル1021〜1023に含まれるコンテンツ実行プログラムは、撮影画像に仮想オブジェクト画像を重ねた合成画像を表示させた後、所定の条件(例えば、表示開始から所定時間が経過したことという条件、又は、ユーザによる所定の操作が検出されたことという条件など)が満足された場合に、携帯端末Mにインストールされているwebブラウザアプリケーションを起動させ、所定のwebサイトにアクセスすることとしてもよい。
【0063】
[5.変形例]
次いで、本実施形態の変形例について説明する。なお、変形例の説明では、上述した実施形態との差異点を中心に説明することとし、同様の点については説明を省略する。また、同一の部材については同じ符号を用いて説明する。
【0064】
[5.1.変形例1]
[5.1.1.ストーリーボードセットの構成]
まず、図9乃至12を用いて変形例1について説明する。変形例1におけるストーリーボードセットは、図9(a)に示すストーリーボード1Aと、図9(b)に示すストーリーシート2と、図9(c)に示すストーリーシート4と、を有する。ストーリーボード1Aは、上記実施形態におけるストーリーボード1を大きくし、新たにストーリーシート4を差し込んで通せるようなスリット13LS、13RSを設けたものであり、スリット13LSとスリット13RSの間に表示窓13が形成されている。
【0065】
ストーリーシート4にはマーカー図柄41、42が印刷されている。ストーリーシート4がストーリーボード1Aにセットされ、所定の位置にスライドされると、マーカー図柄41、42が表示窓13に表示されるようになっている。なお、マーカー図柄41、42は、上記実施形態におけるマーカー図柄21〜23とは異なり、絵表示部11に印刷された絵の一部と組み合わせることにより一つの絵を形成するようにはなっていないが、絵表示部11に印刷された絵の一部と組み合わせることにより一つの絵を形成するようにしてもよい。
【0066】
[5.1.2.携帯端末Mの構成]
一方、変形例1における携帯端末Mの記憶部102には、ストーリーシート4に印刷されたマーカー図柄41、42をそれぞれデジタル化した比較用画像41C、42Cが記憶されている。また、記憶部102には、ストーリー提供アプリの一部として、比較用画像41C、42Cにそれぞれ対応するコンテンツファイルが記憶されている。
【0067】
また、変形例1における記憶部102には、図10に示すコンテンツテーブル1024Aが記憶されている。コンテンツテーブル1024Aは、撮影画像の一部と一致する比較用画像の数とその種別に応じて、コンテンツファイルを取得できるように、比較用画像IDとコンテンツファイルIDとを対応付けている。例えば、撮影画像の一部と一致する比較用画像が比較用画像ID「PIC0021」の画像一枚である場合には、コンテンツファイルID「CN0021」のコンテンツファイルが取得されるようになっている。また、撮影画像の一部と一致する比較用画像が比較用画像ID「PIC0021」、「PIC0041」の二枚である場合には、コンテンツファイルID「CN0021」、「CN00X1」の2つのコンテンツファイルが取得されるようになっている。
【0068】
変形例1における制御部101は、ストーリー提供アプリの起動中において、カメラ106により撮影された撮影画像内に、比較用画像と一致する部分が含まれているかを所定時間毎に確認する。このとき、制御部101は、撮影画像内に、比較用画像と一致する部分が2つ(すなわち、表示窓12及び表示窓13に対応する部分)あることを確認した場合には、コンテンツテーブル1024Aを参照して、2つのコンテンツファイルを取得する。また、制御部101は、2つのコンテンツファイルを取得した場合には、それぞれに含まれるコンテンツ実行プログラムを実行する。なお、撮影画像内に、比較用画像と一致する部分が一つあることを確認した場合については、上記実施形態と同様であるので説明を省略する。
【0069】
[5.1.3.ストーリーボードセット及びストーリー提供アプリの利用方法]
次に、図11及び図12を用いて、変形例1におけるストーリーボードセット及びストーリー提供アプリの利用方法について説明する。なお、図11は、表示窓12にマーカー図柄22が表示され、表示窓13にマーカー図柄41が表示された状態のストーリーボード1Aを、ストーリー提供アプリが起動された携帯端末Mのカメラ106により撮影した場合における、タッチパネル104に表示される画面例を説明するための図である。同様に、図12は、表示窓13にマーカー図柄42が表示された状態のストーリーボード1Aを、カメラ106により撮影した場合における、タッチパネル104に表示される画面例を説明するための図である。
【0070】
図11に示すように、表示窓12にマーカー図柄22が表示されるとともに、表示窓13にマーカー図柄41が表示されると、制御部101は、撮影画像内にこれらに対応する比較用画像が含まれていることを確認し、コンテンツテーブル1024Aを参照して、それぞれの比較用画像ID「PIC0022」、「PIC0041」に基づいてコンテンツファイルID「CN0022」及び「CN00Y1」を特定し、コンテンツファイルを取得する。そして、制御部101は、コンテンツファイルIDが「CN0022」であるコンテンツファイル1022に基づいて涙オブジェクト3B及び星型七角形オブジェクト3Cを撮影画像に重ねるとともに、コンテンツファイルIDが「CN00Y1」であるコンテンツファイルに基づいて「虫歯メッセージ」を表す仮想オブジェクト画像3E(「虫歯メッセージオブジェクト3E」)を撮影画像に重ねて、タッチパネル104に表示させる。
【0071】
次いで、ユーザが更にストーリーシート4を右にスライドさせ、図12に示すように、表示窓12にマーカー図柄22が表示されるとともに、表示窓13にマーカー図柄42が表示されると、制御部101は、撮影画像内にマーカー図柄22に対応する比較用画像(比較用画像ID:「PIC0022」)及びマーカー図柄42に対応する比較用画像(比較用画像ID:「PIC0042」)が含まれていることを確認し、コンテンツテーブル1024Aを参照して、それぞれの比較用画像ID「PIC0022」、「PIC0042」に基づいてコンテンツファイルID「CN0022」及び「CN00Y2」を特定し、コンテンツファイルを取得する。そして、制御部101は、コンテンツファイルIDが「CN0022」であるコンテンツファイル1022に基づいて涙オブジェクト3B及び星型七角形オブジェクト3Cを撮影画像に重ねるとともに、コンテンツファイルIDが「CN00Y2」であるコンテンツファイルに基づいて「歯磨きメッセージ」を表す仮想オブジェクト画像3F(「歯磨きメッセージオブジェクト3F」)を撮影画像に重ねて合成画像を生成し、タッチパネル104に表示させる。
【0072】
このように変形例1では、表示窓12及び表示窓13にそれぞれ表示されたマーカー図柄の組合せによって、それぞれ異なるメッセージを表す仮想オブジェクト画像が撮影画像に重ねられるようになっている。すなわち、多種多様な仮想オブジェクト画像を撮影画像に重ねることができ、ユーザに提供するストーリーを多様化させることができる。
【0073】
なお、変形例1では、撮影画像内に比較用画像と一致する部分が2つある場合に、それぞれに対応するコンテンツファイルを取得することとしたが、両者のコンテンツファイルの機能を統合したコンテンツファイルを作成し、2つの比較用画像IDに基づいて当該統合した一つのコンテンツファイルを取得するようにしてもよい。この場合、制御部101は、2つのコンテンツファイルに含まれる各コンテンツ実行プログラムを実行する必要が無く、統合された一つのコンテンツファイルに含まれる各コンテンツ実行プログラムを実行すればよい。
【0074】
また、携帯端末Mの制御部101の処理に関して、変形例1と上述した実施形態との主な差異点は、カメラ106により撮影された撮影画像内に、比較用画像と一致する部分が2つある場合に、それらの組合せに基づいてコンテンツファイルを取得する点である。
【0075】
[5.2.変形例2]
次に、変形例2について説明する。変形例2におけるストーリーボードセットは、図13(a)に示すように、表示窓14が設けられたストーリーボード1Bと、ストーリーボード1Bの裏側にピンPにより回転可能に取り付けられたストーリーシート5とを有する。図13(b)に示すように、ストーリーシート5は円形であり、マーカー図柄51〜54が表示窓14から視認できるように、中心から所定距離の位置に印刷されている。なお、図13(a)では、ストーリーボード1Bの絵表示部11Bに印刷された絵を図示することを省略しているが、実際には絵表示部11Bには絵が印刷されているものとする。
【0076】
変形例2における携帯端末Mの構成及び動作については、上記実施形態と同様なので詳細な説明は省略するが、携帯端末Mの記憶部102には、マーカー図柄51〜54にそれぞれ対応する比較用画像及びコンテンツファイルが記憶されている。そして、携帯端末Mの制御部101は、カメラ106により撮影された撮影画像に記憶部102に記憶された比較用画像と一致する部分が含まれているかを確認し、含まれている場合には当該比較用画像に対応するコンテンツファイルを取得し、コンテンツ実行プログラムを実行するようになっている。
【0077】
変形例2におけるストーリーボードセットにおいては、ユーザはカメラ106により表示窓がフレーム内に含まれるように撮影しながら、ストーリーシート5を回転させる。これにより、表示窓14内にマーカー図柄51〜54が表示された際、携帯端末Mのタッチパネル104には、カメラ106により撮影された撮影画像に、マーカー図柄51〜54に対応する仮想オブジェクト画像が重ねられて表示される。
【0078】
[5.3.変形例3]
次に、変形例3について説明する。上記実施形態では、ストーリーシート2に絵柄を表したマーカー図柄21〜23を印刷しておき、携帯端末Mの制御部101がマーカー図柄21〜23に対応する仮想オブジェクト画像を撮影画像に重ねることとしていたが、変形例3では、絵柄を表したマーカー図柄21〜23の代わりに2次元コードを用いることとする。変形例3における2次元コードは、コンテンツファイルIDを所定の規則に従ってエンコードすることにより得られ、所定の規則に従ってデコードすることにより元のコンテンツファイルIDを取得可能な2次元コードである。このような2次元コードとしては、公知の2次元コードを用いることができ、例えば「Cyber Code(登録商標)」を用いることができる。
【0079】
[5.3.1.携帯端末Mの構成]
変形例3において、携帯端末Mにインストールされるストーリー提供アプリには、ストーリーシート2に印刷された2次元コードをデコードし、元のコンテンツファイルIDを取得するための2次元コード解析プログラムが組み込まれている。また、携帯端末Mの制御部101は、2次元コード解析プログラムを実行し、カメラ106により撮影された撮影画像に含まれる2次元コードからコンテンツファイルIDを取得すると、当該取得したコンテンツファイルIDに対応するコンテンツファイルを記憶部102にて検索する。制御部101は、記憶部102にコンテンツファイルIDに対応するコンテンツファイルが記憶されていない場合には、通信部103を介して、図示しない所定のコンテンツサーバにアクセスし、コンテンツファイルIDに対応するコンテンツファイルをダウンロードする。なお、このとき、制御部101は、ダウンロード対象のコンテンツファイルに関連するコンテンツファイル(例えば、ダウンロード対象のコンテンツファイルに対応する2次元コードが印刷されたストーリーシートに含まれる他の2次元コードに対応するコンテンツファイル)も併せて一括ダウンロードすることとする。これにより、携帯端末Mがコンテンツサーバに繰り返しアクセスする必要がなくなる。
【0080】
[5.3.2.携帯端末Mの動作例]
次に、図14に示すフローチャートを用いて、ストーリー提供アプリ起動中における携帯端末Mの動作例について説明する。なお、図14に示す処理は、携帯端末Mの制御部101が、ユーザによるアプリ起動操作を検出した場合に開始され、ユーザによるアプリ終了操作或いは電源オフ操作が検出された場合などに終了する。
【0081】
まず、携帯端末Mの制御部101は、アプリ起動操作を検出するとストーリー提供アプリを起動させる(ステップS101)。次いで、制御部101は、カメラ106を起動させる(ステップS102)。
【0082】
次いで、制御部101は、カメラ106により撮影された撮影画像を解析し(ステップS103)、撮影画像にデコード可能な2次元コードが含まれているか否かを判定する(ステップS104)。制御部101は、撮影画像にデコード可能な2次元コードが含まれていないと判定した場合には(ステップS104:NO)、ステップS103の処理に移行する。一方、制御部101は、撮影画像にデコード可能な2次元コードが含まれていると判定した場合には(ステップS104:YES)、2次元コードからコンテンツファイルIDを取得する(ステップS105)。
【0083】
次いで、制御部101は、取得したコンテンツファイルIDに対応するコンテンツファイルを記憶部102に記憶されているコンテンツファイルの中から検索する(ステップS106)。次いで、制御部101は、コンテンツファイルが見つかったか否かを判定し(ステップS107)、見つかった場合には(ステップS107:YES)、ステップS109の処理に移行する。一方、制御部101は、コンテンツファイルが見つからなかった場合には(ステップS107:NO)、コンテンツサーバにアクセスし、ステップS105の処理で取得したコンテンツファイルIDに対応するコンテンツファイルをダウンロードする(ステップS108)。
【0084】
次いで、制御部101は、ステップS106の処理で検索したコンテンツファイル、又は、ステップS108の処理でダウンロードしたコンテンツファイルに含まれるコンテンツ実行プログラムを実行し、仮想オブジェクト画像を、撮影画像に重ねて合成画像を生成し、タッチパネル104に表示させる(ステップS109)。
【0085】
次いで、制御部101は、その時点で撮影された撮影画像内にステップS104の処理でデコード可能と判定した2次元コードが含まれているか否かを判定する(ステップS110)。制御部101は、撮影画像内にデコード可能と判定した2次元コードが含まれていると判定した場合には(ステップS110:YES)、ステップS110の処理を繰り返す。一方、制御部101は、撮影画像内にデコード可能と判定した2次元コードが含まれていないと判定した場合には(ステップS110:NO)、ステップS103の処理に移行する。
【0086】
以上説明した変形例3においては、携帯端末Mの記憶部102(「仮想オブジェクト画像記憶手段」の一例)は、2次元コード(「識別図柄」の一例)に対応するコンテンツファイルを記憶し、制御部101は、撮影画像に含まれる2次元コードに対応するコンテンツファイルが記憶部102に記憶されていない場合に、コンテンツサーバ(「所定のサーバ装置」の一例)から当該2次元コードに対応するコンテンツファイルをダウンロードする。
【0087】
したがって変形例3によれば、携帯端末Mはコンテンツファイルが記憶部102に記憶されていない場合であっても、合成画像を生成し表示させることができる。また、記憶部102に全ての2次元コードに対応するコンテンツファイルを記憶させなくてもよいので、記憶部102の記憶領域を節約することができる。
【0088】
[5.4.変形例4]
次に、変形例4について説明する。上記実施形態では、携帯端末Mが、カメラ106により撮影された撮影画像に含まれるマーカー図柄21〜23(比較用画像21C〜23C)に基づいて対応するコンテンツファイルを取得し、当該撮影画像に仮想オブジェクト画像を重ねて合成画像を生成し、タッチパネル104に表示させることとしたが、変形例4では、仮想オブジェクト画像を重ねる処理などの一部の処理を、ネットワークを介して接続可能なコンテンツ処理サーバに行わせることとする。
【0089】
ここで、変形例4におけるコンテンツ処理サーバSVについて説明する。図15に示すように変形例4におけるコンテンツ処理サーバSVは、制御部121、記憶部122、及び通信部123を有している。通信部123は、ネットワークを介した携帯端末Mとの通信に関する制御等を行う。
【0090】
記憶部122には、比較用画像21C〜23Cや、各比較用画像にそれぞれ対応する仮想オブジェクト画像と、各比較用画像にそれぞれ対応するストーリーを表す文章テキストが記憶されている。
【0091】
制御部121は、携帯端末Mから撮影画像が添付されたEメールを受け付ける。次いで、制御部121は、受信したEメールに添付された撮影画像に比較用画像21C〜23Cと一致する部分が含まれているか否かを判定し、含まれていると判定した場合には、当該一致した比較用画像に対応する仮想オブジェクト画像を撮影画像に重ねて合成画像を生成する画像合成処理を行う。次いで、制御部121は、一致した比較用画像21C〜23Cに対応する文章テキストを本文とする返信Eメールを作成し、画像合成処理により生成した合成画像を添付して、送信元の携帯端末Mに送信する。
【0092】
一方、変形例4における携帯端末Mの制御部101は、ユーザの操作に基づいて撮影されたマーカー図柄21〜23を含む撮影画像を、Eメールに添付してコンテンツ処理サーバSVに送信する。すると、コンテンツ処理サーバSVから返信Eメールが送信されるので、携帯端末Mの制御部101は、ユーザの操作に基づいて、返信Eメールの本文や、返信Eメールに添付されている合成画像をタッチパネル104に表示させる。
【0093】
すなわち、変形例4におけるストーリー提供システムは、携帯端末M(「合成画像表示装置」の一例)と、コンテンツ処理サーバSV(「合成画像生成サーバ」の一例)と、マーカー図柄21〜23(「識別図柄」の一例)を表示するストーリーボードセットとを有する。携帯端末Mの制御部101(「撮影画像送信手段」、「合成画像受信手段」、「表示制御部」の一例)は、カメラ106(「撮影手段」の一例)により撮影された撮影画像をコンテンツ処理サーバSVに送信し、コンテンツ処理サーバSVが生成した合成画像をコンテンツ処理サーバSVから受信し、当該受信した合成画像をタッチパネル104(「表示手段」の一例)に表示させる。また、コンテンツ処理サーバSVの制御部121(「識別図柄特定手段」、「仮想オブジェクト画像取得手段」、「合成画像生成手段」、「合成画像送信手段」の一例)は、携帯端末Mから受信した撮影画像に含まれているマーカー図柄21〜23を特定し、特定したマーカー図柄21〜23に対応する仮想オブジェクト画像を取得し、当該取得した仮想オブジェクト画像を、マーカー図柄21〜23を含む撮影画像に重ねて合成画像を生成し、当該生成した合成画像を携帯端末Mに送信する。さらに、ストーリーボードセットは、コンテンツ処理サーバSVの制御部121が特定可能なマーカー図柄21〜23が複数描かれたストーリーシート2(「第1部材」の一例)と、ストーリーシート2に描かれたマーカー図柄21〜23を表示する表示窓12を備えるストーリーボード1(「第2部材」の一例)と、を有し、表示窓12に表示されるマーカー図柄21〜23はストーリーシート2の動き(スライド)に伴って変動するようになっている。
【0094】
このように、変形例4においては、携帯端末Mの制御部101の代わりに、コンテンツ処理サーバSVの制御部121が画像合成処理を行うことにより、処理能力の低い携帯端末Mであっても仮想オブジェクト画像が重ねられた合成画像をタッチパネル104に表示することができる。
【0095】
なお、変形例4において、コンテンツ処理サーバSVの制御部121は、画像合成処理により生成された合成画像を返信Eメールに添付するのではなく、記憶部122に記憶させておくこととし、当該記憶された位置を示すURL(Uniform Resource Locator)を返信Eメールに記述して送信することとしてもよい。この場合、携帯端末Mの制御部101は、ユーザの操作に基づいて、返信Eメールに記述されたURLを用いて記憶部122にアクセスし、合成画像をダウンロードすることとなる。
【0096】
また、変形例4において、コンテンツ処理サーバSVの制御部121が行う処理は、複数のサーバで分担して行うこととしてもよい。例えば、携帯端末Mとの間でEメールを送受信するサーバ、画像合成処理を行うサーバ、返信EメールにURLを記述する場合における合成画像を記憶するサーバなどに分担することができる。
【符号の説明】
【0097】
1、1A、1B ストーリーボード
11 絵表示部
12、13、14 表示窓
2、4、5 ストーリーシート
21〜23、41、42 マーカー図柄
M 携帯端末
101 制御部
102 記憶部
21C〜23C 比較用画像
1021〜1023 コンテンツファイル
1024、1024A コンテンツテーブル
103 通信部
104 タッチパネル
105 ボタン操作部
106 カメラ
3A〜3F 仮想オブジェクト画像
SV コンテンツ処理サーバ
121 制御部
122 記憶部
123 通信部

【特許請求の範囲】
【請求項1】
撮影手段と、
前記撮影手段により撮影された撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、
前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、
前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、
前記生成された合成画像を表示手段に表示させる表示制御部と、
を備える合成画像表示装置における前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第1部材と、
前記第1部材に描かれた識別図柄を表示する表示窓を備える第2部材と、
を有する図柄表示具であって、
前記表示窓に表示される識別図柄が前記第1部材の動きに伴って変動することを特徴とする図柄表示具。
【請求項2】
請求項1に記載の図柄表示具であって、
前記第1部材に描かれる複数の識別図柄は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す前記仮想オブジェクト画像と対応する識別図柄であり、各識別図柄は当該所定のストーリーの進行に応じた順序で描かれており、
前記第1部材は、前記順序通りに前記識別図柄が前記表示窓に表示されるように動くことを特徴とする図柄表示具。
【請求項3】
請求項1又は2に記載の図柄表示具であって、
前記第2部材における前記表示窓の周囲の少なくとも一部には、所定の図柄の一部が描かれており、
前記第1部材に描かれる識別図柄は、前記表示窓に表示された際、前記第2部材に描かれた図柄の一部とともに前記所定の図柄を形成することを特徴とする図柄表示具。
【請求項4】
合成画像表示装置と、識別図柄を表示する図柄表示具とを有する合成画像表示システムであって、
前記合成画像表示装置は、
撮影手段と、
前記撮影手段により撮影された撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、
前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、
前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、
前記生成された合成画像を表示手段に表示させる表示制御部と、
を備え、
前記図柄表示具は、
前記合成画像表示装置における前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第1部材と、
前記第1部材に描かれた識別図柄を表示する表示窓を備える第2部材と、
を有し、
前記表示窓に表示される識別図柄が前記第1部材の動きに伴って変動することを特徴とする合成画像表示システム。
【請求項5】
請求項4に記載の合成画像表示システムであって、
前記第1部材に描かれる複数の識別図柄は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す前記仮想オブジェクト画像と対応する識別図柄であり、各識別図柄は当該所定のストーリーの進行に応じた順序で描かれており、
前記第1部材は、前記順序通りに前記識別図柄が前記表示窓に表示されるように動くことを特徴とする合成画像表示システム。
【請求項6】
請求項4又は5に記載の合成画像表示システムであって、
前記第2部材における前記表示窓の周囲の少なくとも一部には、所定の図柄の一部が描かれており、
前記第1部材に描かれる識別図柄は、前記表示窓に表示された際、前記第2部材に描かれた図柄の一部とともに前記所定の図柄を形成することを特徴とする合成画像表示システム。
【請求項7】
請求項4乃至6の何れか一項に記載の合成画像表示システムであって、
前記合成画像表示装置は、
前記識別図柄に対応する前記仮想オブジェクト画像を記憶する仮想オブジェクト画像記憶手段、
を更に備え、
前記仮想オブジェクト画像取得手段は、前記識別図柄特定手段により特定された識別図柄に対応する仮想オブジェクト画像が前記仮想オブジェクト画像記憶手段に記憶されていない場合に、所定のサーバ装置から当該特定された識別図柄に対応する仮想オブジェクト画像をダウンロードすることを特徴とする合成画像表示システム。
【請求項8】
撮影手段と、
前記撮影手段により撮影された撮影画像を合成画像生成サーバに送信する撮影画像送信手段と、
前記合成画像生成サーバが前記撮影画像に含まれている識別図柄を特定し、当該特定した識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を当該撮影画像に重ねて生成した合成画像を、当該合成画像生成サーバから受信する合成画像受信手段と、
前記受信した合成画像を表示手段に表示させる表示制御部と、
を備える合成画像表示装置とネットワークを介して接続される前記合成画像生成サーバが特定可能な前記識別図柄が複数描かれた第1部材と、
前記第1部材に描かれた識別図柄を表示する表示窓を備える第2部材と、
を有する図柄表示具であって、
前記表示窓に表示される識別図柄が前記第1部材の動きに伴って変動することを特徴とする図柄表示具。
【請求項9】
合成画像表示装置と、合成画像生成サーバと、識別図柄を表示する図柄表示具とを有する合成画像表示システムであって、
前記合成画像表示装置は、
撮影手段と、
前記撮影手段により撮影された撮影画像を前記合成画像生成サーバに送信する撮影画像送信手段と、
前記合成画像生成サーバが生成した合成画像を当該合成画像生成サーバから受信する合成画像受信手段と、
前記受信した合成画像を表示手段に表示させる表示制御部と、
を備え、
前記合成画像生成サーバは、
前記合成画像表示装置から受信した撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、
前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、
前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、
前記生成した合成画像を前記合成画像表示装置に送信する合成画像送信手段と、
を備え、
前記図柄表示具は、
前記合成画像生成サーバにおける前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第1部材と、
前記第1部材に描かれた識別図柄を表示する表示窓を備える第2部材と、
を有し、
前記表示窓に表示される識別図柄が前記第1部材の動きに伴って変動することを特徴とする合成画像表示システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2012−181748(P2012−181748A)
【公開日】平成24年9月20日(2012.9.20)
【国際特許分類】
【出願番号】特願2011−45216(P2011−45216)
【出願日】平成23年3月2日(2011.3.2)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】