拡張現実感表示システム
【課題】電源が不要で携帯性に優れながら多くのパターンを表現できるマーカを用い、各マーカに対応した電子情報を映像に重畳する際に不要な電子情報が映像に重畳されることは回避できる拡張現実感表示システムを提供する。
【解決手段】拡張現実感表示システム１は、表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカ４と、マーカ４を含む領域を撮影するカメラ３と、カメラ３で撮影された映像に電子情報を重畳して表示する拡張現実感表示装置２とを備え、拡張現実感表示装置２は、カメラ３で撮影された映像中のマーカ４を検出するマーカ検出部２４２と、マーカ４のパターンに対応した電子情報を映像に重畳する重畳部２４３と、電子情報が重畳された映像を表示する表示部２３とを備える。
【解決手段】拡張現実感表示システム１は、表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカ４と、マーカ４を含む領域を撮影するカメラ３と、カメラ３で撮影された映像に電子情報を重畳して表示する拡張現実感表示装置２とを備え、拡張現実感表示装置２は、カメラ３で撮影された映像中のマーカ４を検出するマーカ検出部２４２と、マーカ４のパターンに対応した電子情報を映像に重畳する重畳部２４３と、電子情報が重畳された映像を表示する表示部２３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実感（ＡＲ：Augmented Reality）技術を用いた拡張現実感表示システムに関する。
【背景技術】
【０００２】
従来、カメラによって撮影された現実環境（現実空間）の映像にコンピュータグラフィックス（ＣＧ）により作成された画像、文字情報等の電子情報を重畳して表示することにより、現実環境の情報を拡張する拡張現実感技術が知られている。
【０００３】
この拡張現実感技術において、カメラで撮影された映像に電子情報を重畳するための目印としてマーカを用いる方法がある（例えば、特許文献１参照）。
【０００４】
この場合に用いられるマーカは、例えば、紙等からなるシートに予め設定された大きさの黒い矩形の枠を印刷等により形成したものである。複数種類のマーカを使用する場合には、枠の内部にマーカの種類を特定するための文字、模様等からなるパターンが設けられる。
【０００５】
このようなマーカを用いた拡張現実感表示システムでは、現実環境に置かれたマーカをカメラで撮影し、映像中のマーカの位置、向き、サイズ、パターンを検出する。そして、拡張現実感表示システムは、検出結果に応じて映像に重畳する電子情報の位置、向き、サイズを決定し、マーカのパターンに応じた電子情報を映像に重畳する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−４８４８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述のように、マーカを用いた拡張現実感表示システムでは、映像に重畳する電子情報を変えるために、複数種類のマーカを用いる。
【０００８】
シートの両面にそれぞれ１種類ずつマーカを形成すると、１枚のシートあたりに最大で２種類のマーカしか設けられない。したがって、多くの種類のマーカが必要な場合は、多くの枚数のマーカシートを用意しなければならず、携帯等に不便である。
【０００９】
これに対し、１枚のシートの両面にそれぞれ複数種類のマーカを形成すれば、１枚のシートあたりに形成できるマーカの種類を増やすことができる。しかし、このようなマーカシートでは、１つの種類のマーカだけを検出したい場合でも、同じ面上の他のマーカも検出してしまい、その結果、不要な電子情報が映像に重畳されてしまうおそれがある。
【００１０】
また、液晶表示装置等の電子表示装置を用いて、複数種類のマーカを切り替え表示可能とする方法もあるが、電子機器のため電源が必要であり、重量やフレキシブル性の点で携帯に不便であるという不都合がある。
【００１１】
本発明は上記に鑑みてなされたもので、電源が不要で携帯性に優れながら多くのパターンを表現できるマーカを用い、各マーカに対応した電子情報を映像に重畳する際に不要な電子情報が映像に重畳されることは回避できる拡張現実感表示システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明に係る拡張現実感表示システムの第１の特徴は、表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、前記着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカと、前記マーカを含む領域を撮影する撮影装置と、前記撮影装置で撮影された映像に電子情報を重畳して表示する拡張現実感表示装置とを備え、前記拡張現実感表示装置は、前記撮影装置で撮影された映像中の前記マーカを検出するマーカ検出部と、前記マーカ検出部で検出した前記マーカのパターンに対応した電子情報を、前記撮影装置で撮影された映像に重畳する重畳部と、前記重畳部で電子情報が重畳された映像を表示する表示部とを備えることにある。
【００１３】
本発明に係る拡張現実感表示システムの第２の特徴は、表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、前記着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカと、前記マーカを含む領域を撮影する撮影装置と、前記撮影装置で撮影された映像をネットワークを介して取得し、取得した映像に電子情報を重畳するサーバ装置と、前記サーバ装置で電子情報が重畳された映像をネットワークを介して取得して表示する拡張現実感表示装置とを備え、前記サーバ装置は、前記撮影装置で撮影された映像中の前記マーカを検出するマーカ検出部と、前記マーカ検出部で検出した前記マーカのパターンに対応した電子情報を、前記撮影装置で撮影された映像に重畳する重畳部とを備えることにある。
【００１４】
本発明に係る拡張現実感表示システムおいて、前記マーカは、前記複数のパターンにより、文字および記号の少なくともいずれか一方を含む文字記号列を表現可能であり、前記重畳部は、前記文字記号列の示す情報に関連する電子情報を映像に重畳することが好ましい。
【発明の効果】
【００１５】
本発明に係る拡張現実感表示システムの第１の特徴によれば、折られることで着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカを用いるので、マーカは電源が不要で携帯性に優れながら多くのパターンを表現でき、また、所望のパターンが完成したときには、１つのマーカのみが表現されているため、マーカに対応した電子情報を映像に重畳する際に不要な電子情報が映像に重畳されることを回避できる。
【００１６】
本発明に係る拡張現実感表示システムの第２の特徴によれば、上記第１の特徴と同様の効果とともに、電子情報を映像に重畳する処理をサーバ装置で行うことで、拡張現実感表示装置には拡張現実感技術に関するソフトウェアをインストールしなくても、電子情報が重畳された映像をユーザに提供できるという効果が得られる。
【００１７】
また、マーカのパターンにより文字記号列を表現可能とし、この文字記号列の示す情報に関連する電子情報を映像に重畳するようにすることで、ユーザに電子情報の内容を強く印象付けることができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施の形態に係る拡張現実感表示システムの概略構成図である。
【図２】第１の実施の形態に係る拡張現実感表示システムの機能構成を示すブロック図である。
【図３】第１の実施の形態におけるマーカを形成するためのシートの構成を示す図である。
【図４】第１の実施の形態におけるシートの一例を示す図である。
【図５】第１の実施の形態におけるシートにより形成可能な各パターンの一例を示す図である。
【図６】拡張現実感表示装置のハードウェア構成例を示す図である。
【図７】電子情報が重畳された映像の一例を示す図である。
【図８】第２の実施の形態に係る拡張現実感表示システムの機能構成を示すブロック図である。
【図９】第２の実施の形態におけるマーカの構成を示す図である。
【図１０】第２の実施の形態のマーカにおけるシートの折り方の一例を示す図である。
【図１１】第２の実施の形態のマーカにおけるシートで表現可能なパターンの具体例を示す図である。
【図１２】電子情報が重畳された映像の他の例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図面を通じて同一もしくは同等の部位や構成要素には、同一もしくは同等の符号を付し、その説明を省略もしくは簡略化する。
【００２０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る拡張現実感表示システムの概略構成図、図２は、図１に示す拡張現実感表示システムの機能構成を示すブロック図である。
【００２１】
図１、図２に示すように、第１の実施の形態に係る拡張現実感表示システム１は、パーソナルコンピュータ（ＰＣ）等の情報処理装置からなる拡張現実感表示装置２と、カメラ（撮影装置）３と、拡張現実感技術で用いられるマーカ４とを備える。
【００２２】
拡張現実感表示装置２は、図２に示すように、入力部２１と、記憶部２２と、表示部２３と、制御部２４と、通信部２５とを備える。
【００２３】
入力部２１は、ユーザによる各種入力操作を受け付け、操作に基づく操作信号を出力する。
【００２４】
記憶部２２は、マーカ４で表現可能なすべてのパターンに対応する電子情報を記憶している。記憶部２２に記憶される電子情報は、拡張現実感表示装置２や外部装置等を用いて予め生成されたものである。電子情報は、記録媒体から読み取って拡張現実感表示装置２に取り込んでもよいし、通信部２５によりネットワーク等を介して拡張現実感表示装置２に取り込んでもよい。電子情報としては、コンピュータグラフィックスにより作成された３次元（３Ｄ）モデル、実画像、アニメーション、文字情報等を用いることができる。
【００２５】
表示部２３は、カメラ３で撮影された映像、およびその映像に重畳された電子情報を表示する。
【００２６】
制御部２４は、拡張現実感表示装置２に接続されたカメラ３を制御するカメラ制御部２４１と、カメラ３で撮影された映像中のマーカ４を検出するマーカ検出部２４２と、マーカ検出部２４２で検出したマーカ４のパターンに対応した電子情報をカメラ３で撮影された映像に重畳する重畳部２４３と、表示部２３の表示を制御する表示制御部２４４とを備える。
【００２７】
通信部２５は、拡張現実感表示装置２をインターネット等のネットワークに接続するためのものである。
【００２８】
カメラ３は、拡張現実感表示装置２に接続されたウェブカメラ等からなる。カメラ３は、ユーザ操作等に応じて、その撮影する方向を変えられるように構成されている。
【００２９】
マーカ４は、黒い矩形の枠と、この枠の内部に表示される文字、模様等からなるパターンとにより構成される。枠内のパターンによりマーカの種類が特定される。
【００３０】
本実施の形態におけるマーカ４は、図３に示すようなシート５を用いて構成される。シート５は、紙等の薄いシート状の折り曲げ可能な材質からなり、外形が正方形で、その中央部分がくり抜かれた形状を有する。シート５のくり抜かれた中央部分は、その一辺が外形の一辺の半分の長さの正方形になっている。
【００３１】
そして、図３（ａ），（ｂ）に示すように、シート５の両面それぞれに、図中の破線で区切られる１２個の正方形のマス目が形成されている。各マス目を区切る破線は、ユーザによって山折りまたは谷折りにされる折り目線を示す。
【００３２】
図中の各マス目に示した「Ａ」〜「Ｆ」のアルファベットは、各マス目の対応関係を示している。同じアルファベットのマス目を組み合わせることで、１種類のマーカが形成されるようになっている。
【００３３】
例えば、図３（ａ）における折り目線６ａ，６ｃ，６ｆ，６ｈを谷折りし、折り目線６ｂ，６ｄ，６ｅ，６ｇを山折りすることで、図３（ｃ）に示すような、「Ａ」に対応したマス目を組み合わせたマーカ４が形成される。なお、上記の折り方は一例であり、他の折り方でも「Ａ」に対応したマーカ４を形成可能である。
【００３４】
「Ａ」に対応する４つの各マス目には、例えば、図４（ａ）に示すような図柄が形成されている。図４（ａ）中において黒く塗られている部分は、シート５において黒く着色された部分であり、着色されていない他の部分は、シート５の地の色である白い部分である。なお、他のアルファベット「Ｂ」〜「Ｆ」に対応するマス目にも、それぞれに対応したパターンを有するマーカを形成するための着色部分が形成されているが、ここでは図示を省略している。
【００３５】
図４（ａ）のようなシート５を上述の手順で折る作業をユーザが行うことで、図４（ｂ）のような、黒い枠と、その内部に「ａｂｃｄ」という文字からなるパターンを有するマーカ４が形成される。
【００３６】
このように、シート５は、ユーザが折る作業を行うことでマーカ４を完成させる折り紙パズルになっている。各マス目に形成された着色部分と他の部分とにより、「Ａ」〜「Ｆ」に対応した６種類のマーカ４を１枚のシート５で個別に表現可能である。
【００３７】
上記のようなシート５において、折り曲げたシート５の弾性でマーカ４において各マス目に高低差が生じると、光の陰影の影響により拡張現実感表示装置２でマーカ４が検出されにくくなるおそれがある。これを避けるために、無色透明のアクリル板等を用いてマーカ４を挟み込むようにしてもよい。
【００３８】
なお、１枚のシート５で表現可能な各パターンを文字または記号とし、各パターンにより、意味のある文字記号列を表現可能であるようにすることが望ましい。さらに、この文字記号列の示す情報に関連する電子情報を映像に重畳するようにすることが望ましい。
【００３９】
例えば、シート５で表現可能な各パターンのマーカにより、図５に示すように、「プリンターＸ」という文字列を表現できるようにする。そして、このようなマーカに対応して映像に重畳される電子情報を、プリンター（印刷装置）に関する情報とする。このようにすることで、ユーザに折り紙パズルの完成の動機付けを与えるとともに、電子情報の内容を強く印象付けることができる。
【００４０】
ここで、拡張現実感表示装置２の具体的なハードウェア構成について説明する。図６は、拡張現実感表示装置２のハードウェア構成例を示す図である。
【００４１】
図６において、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、および入出力インタフェース１０８が、バス１０９を介して接続されている。入出力インタフェース１０８には、入力装置１０４、記憶装置１０５、表示装置１０６、および通信制御装置１０７が接続されている。
【００４２】
ＣＰＵ１０１は、拡張現実感表示装置２全体を制御する中央演算処理装置であり、図２の制御部２４の機能を果たすものである。
【００４３】
ＲＡＭ１０２は、一時的なデータの保存や演算時におけるＣＰＵ１０１のワークエリアとして使用される。ＲＯＭ１０３は、起動時の動作プログラム等を格納する。
【００４４】
入力装置１０４は、キーボードやマウス等からなり、図２の入力部２１の機能を果たすものである。
【００４５】
記憶装置１０５は、ハードディスク等からなり、図２の記憶部２２の機能を果たすものであり、カメラ３で撮影された映像に重畳する電子情報を記憶する。また、記憶装置１０５は、拡張現実感技術に関するアプリケーションソフト等の各種のプログラムを格納している。ＣＰＵ１０１が記憶装置１０５からＲＡＭ１０２へプログラムを読み込んで実行すること等により、図２の制御部２４のカメラ制御部２４１、マーカ検出部２４２、重畳部２４３、表示制御部２４４の機能が実現される。
【００４６】
表示装置１０６は、液晶ディスプレイ等からなり、図２の表示部２３に該当するものである。
【００４７】
通信制御装置１０７は、図２の通信部２５の機能を果たすものであり、拡張現実感表示装置２をインターネット等のネットワークに接続して通信を行うための装置である。
【００４８】
次に、第１の実施の形態における拡張現実感表示システム１の動作について説明する。
【００４９】
本実施の形態では、図３に示したシート５における「Ａ」〜「Ｆ」に対応した手順でユーザが折る作業を行うことにより、図５に示すような「プ」、「リ」、「ン」、「タ」、「ー」、「Ｘ」という６つの文字のパターンのマーカ４を形成できるような図柄が、シート５の各マス目に形成されているものとする。また、このようなマーカ４に対応して映像に重畳される電子情報が記憶部２２に記憶されているものとする。また、図５のように「プ」→「リ」→「ン」→「タ」→「ー」→「Ｘ」の順でマーカを完成させるべきであるものとする。
【００５０】
拡張現実感表示システム１において、カメラ３により撮影される領域にマーカ４が置かれていない状態では、カメラ３で撮影された映像が拡張現実感表示装置２の表示部２３にそのまま表示される。
【００５１】
ユーザが、シート５により「プ」のパターンのマーカ４を完成させ、そのマーカ４をカメラ３で撮影される領域内に置くと、マーカ検出部２４２は、カメラ３で撮影された映像から、映像上のマーカ４の位置、向き、サイズを検出するとともに、公知のテンプレートマッチングの手法等を用いてマーカ４のパターンを検出する。
【００５２】
次いで、重畳部２４３は、マーカ検出部２４２で検出したマーカ４のパターンに対応する電子情報を記憶部２２から取得し、この電子情報をカメラ３で撮影された映像に重畳する。この際、重畳部２４３は、マーカ検出部２４２で検出したマーカ４の位置、向き、サイズに基づいて、拡張現実感技術により、映像に重畳する電子情報の位置、向き、サイズを決定する。
【００５３】
そして、表示制御部２４４は、重畳部２４３により電子情報が重畳された映像を表示部２３に表示するよう制御する。
【００５４】
表示部２３に表示される電子情報が重畳された映像の一例を図７に示す。なお、図７では、簡略化のため、マーカ４以外の被写体は図示を省略している。
【００５５】
本実施の形態では、映像に重畳される電子情報は、印刷装置の新製品である「プリンターＸ」に関する情報であるものとする。図７に示す映像では、「プ」のパターンに対応する電子情報として、印刷装置の外観を示す画像３０と、新製品の案内であることを示す文字情報３１とが重畳されている。
【００５６】
なお、拡張現実感技術では、撮影中にカメラ３の向きが変わったり、マーカ４が移動されたりしたことにより映像中のマーカの位置、向き、サイズが変動した場合、それに連動して、映像に重畳される電子情報の表示位置等も変動する。特に３Ｄモデルでは、マーカの向きに応じて３Ｄモデルのアングルが変動する。そこで、印刷装置の画像３０を３Ｄモデルとすると、ユーザはマーカ４の姿勢を変化させること等により、さまざまなアングルの印刷装置の３Ｄモデルを見ることができる。
【００５７】
「プ」のパターンに対応する電子情報が重畳された画像を確認すると、次にユーザが完成させるべきなのは、「リ」のパターンのマーカ４である。図７に示すように、この順番をユーザに知らせるための文字情報３２を映像に重畳するようにしてもよい。
【００５８】
ユーザが、「リ」のパターンのマーカ４を完成させ、そのマーカ４をカメラ３で撮影される領域内に置くと、拡張現実感表示装置２は、上記説明と同様の手順により、「リ」のパターンに対応する電子情報を重畳した映像（図示せず）を表示する。以下、「ン」、「タ」、「ー」、「Ｘ」の各パターンについても同様である。
【００５９】
この例では、各パターンに応じて映像に重畳表示される電子情報は、印刷装置の新製品に関する情報であるが、パターン順に応じて順に表示される各電子情報の内容が、連続性、ストーリー性、規則性等を有するようにすることが望ましい。このようにすることで、ユーザに電子情報の内容をより強く印象付けることができる。
【００６０】
以上説明したように、第１の実施の形態によれば、折り紙パズルを構成するシート５を用いることで、少ない枚数のシート５で多くのパターンのマーカ４を形成できる。シート５は紙等で構成されるため、電源が不要で携帯性に優れる。
【００６１】
また、ユーザは、折り紙パズルを楽しみつつ、拡張現実感技術により映像に重畳された情報を得ることができる。
【００６２】
また、所望のパターンが完成したときには、１つのマーカのみが表現されているため、他のマーカが映像中に検出され、その結果として不要な電子情報が映像に重畳されることを回避できる。
【００６３】
（第２の実施の形態）
図８は、本発明の第２の実施の形態に係る拡張現実感表示システムの機能構成を示すブロック図である。図８に示すように、第２の実施の形態に係る拡張現実感表示システム１Ａは、拡張現実感表示装置２Ａと、カメラ３と、マーカ４と、サーバ装置６とを備えて概略構成される。拡張現実感表示装置２Ａとサーバ装置６とはインターネット等のネットワーク１０を介して接続可能である。
【００６４】
拡張現実感表示装置２Ａは、入力部２１と、表示部２３と、通信部２５と、制御部２６とを備える。
【００６５】
入力部２１、表示部２３、および通信部２５は、図２に示した第１の実施の形態の拡張現実感表示装置２におけるものと同様である。
【００６６】
制御部２６は、拡張現実感表示装置２Ａに接続されたカメラ３を制御するカメラ制御部２６１と、ネットワーク１０上でサーバ装置６が公開するウェブサイトを閲覧するためのブラウザ部２６２とを備える。
【００６７】
カメラ３は、拡張現実感表示装置２Ａに接続されたウェブカメラである。マーカ４は、第１の実施の形態で説明した折り紙パズルを構成するシート５からなる。
【００６８】
サーバ装置６は、ネットワーク１０を介してアクセスされる拡張現実感表示装置２Ａに対し、カメラ３で撮影された映像に拡張現実感技術により電子情報を重畳し、この電子情報が重畳された映像を提供する機能を有している。サーバ装置６は、記憶部６１と、制御部６２と、通信部６３とを備える。
【００６９】
記憶部６１は、マーカ４で表現可能な各パターンに対応する電子情報を記憶している。
【００７０】
制御部６２は、拡張現実感表示装置２Ａから送られてくるカメラ３で撮影された映像中のマーカ４を検出するマーカ検出部６２１と、マーカ検出部６２１で検出したマーカ４のパターンに対応した電子情報をカメラ３で撮影された映像に重畳する重畳部６２２とを備える。
【００７１】
通信部６３は、ネットワーク１０を介して拡張現実感表示装置２Ａとの通信を行い、映像等のデータの送受信を行う。
【００７２】
上記のような拡張現実感表示装置２Ａおよびサーバ装置６も、図５に示した構成と同等のハードウェア構成で実現可能である。
【００７３】
次に、第２の実施の形態における拡張現実感表示システム１Ａの動作について説明する。
【００７４】
ここでは、業者がダイレクトメールを利用してマーカ４（シート５）をユーザに提供し、マーカ４を用いる拡張現実感技術を利用したサービスを提供するものとする。そして、サーバ装置６は、ダイレクトメールの送付元の業者のウェブサイトを公開するサーバであるとする。
【００７５】
拡張現実感表示装置２Ａのブラウザ部２６２は、ユーザの操作に応じて、ダイレクトメールの送付元の業者のウェブサイトにおける、拡張現実感技術による映像を見るためのウェブページにアクセスする。そして、ブラウザ部２６２は、カメラ３により撮影された映像を、サーバ装置６に送信する。
【００７６】
サーバ装置６のマーカ検出部６２１は、拡張現実感表示装置２Ａから受信した映像から、マーカ４を検出する処理を行う。映像中にマーカ４が検出されない場合は、重畳部６２２による電子情報を重畳する処理は行わず、制御部６２は、ウェブページの所定領域に拡張現実感表示装置２Ａから受信した映像を加えたデータを拡張現実感表示装置２Ａに送信する。
【００７７】
サーバ装置６からのデータを受信すると、拡張現実感表示装置２Ａのブラウザ部２６２は、ブラウザ画面中に映像を表示する領域を有するウェブページを表示部２３に表示させる。カメラ３により撮影される領域にマーカ４が置かれていない状態では、カメラ３で撮影された映像がそのままブラウザ画面中に表示される。
【００７８】
ユーザが、シート５から「プ」のパターンのマーカ４を完成させ、そのマーカ４をカメラ３で撮影される領域内に置くと、サーバ装置６のマーカ検出部６２１は、拡張現実感表示装置２Ａから受信した、カメラ３で撮影された映像から、映像上のマーカ４の位置、向き、サイズを検出するとともに、マーカ４のパターンを検出する。
【００７９】
次いで、重畳部６２２は、マーカ検出部６２１で検出したマーカ４のパターンに対応する電子情報を記憶部６１から取得し、この電子情報をカメラ３で撮影された映像に重畳する。この際、重畳部６２２は、マーカ検出部６２１で検出したマーカ４の位置、向き、サイズに基づいて、拡張現実感技術により、映像に重畳する電子情報の位置、向き、サイズを決定する。
【００８０】
そして、重畳部６２２は、電子情報が重畳された映像を、通信部６３を介して拡張現実感表示装置２Ａに送信する。
【００８１】
拡張現実感表示装置２Ａのブラウザ部２６２は、サーバ装置６において重畳部６２２により電子情報が重畳された映像をブラウザ画面中に表示させる。
【００８２】
これにより、第１の実施の形態で示した図７と同様の、電子情報が重畳された映像がブラウザ画面中に表示される。以下、第１の実施の形態と同様に、ユーザが各パターンのマーカ４を順次完成させ、そのマーカ４をカメラ３で撮影される領域内に置くと、それに応じて、各パターンに対応した電子情報が重畳された映像がブラウザ画面中に表示される。
【００８３】
このような第２の実施の形態においても、１枚で複数種類のマーカ４を個別に形成できる折り紙パズルからなるシート５を用いることで、第１の実施の形態と同様の効果が得られる。また、拡張現実感技術より電子情報を映像に重畳する処理をサーバ装置６で行うので、拡張現実感表示装置２Ａには拡張現実感技術に関するソフトウェアをインストールしなくても、電子情報が重畳された映像をユーザに提供できる。
【００８４】
なお、上記各実施の形態では、図３に示したようなシート５を用いて形成されるマーカ４を用いたが、マーカはこのようなものに限らず、折られることにより、表面および裏面の少なくともいずれか一方の少なくとも一部に形成された着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するものであればよい。例えば、図９に示すような、シート７ａとマーカ枠７ｂとにより構成されるマーカ７を用いてもよい。
【００８５】
シート７ａは、紙等の薄いシート状の折り曲げ可能な材質からなり、図９（ａ）に示すように、外形が正方形で、一方の面がシート７ａの地の色である白になっており、他方の面が黒く着色されている。
【００８６】
シート７ａを折ることにより、例えば図９（ｂ）に示すようなパターンができる。このパターンに折られたシート７ａを、図９（ｃ）に示すように黒い矩形のマーカ枠７ｂの枠内に置くことで、マーカ７が形成される。
【００８７】
マーカ枠７ｂは、例えば、無色透明のアクリル板に形成し、折り上がったシート７ａを、このアクリル板と、白い板との間に挟みこむようにすればよい。これにより、図９（ｃ）に示すように、シート７ａの着色部分以外の領域を白くすることができる。
【００８８】
図９（ｂ）に示すパターンは、例えば、図１０に示す手順でシート７ａを折ることにより形成される。まず、シート７ａの頂点の１つを図１０（ａ）のように折る。次いで、図１０（ａ）の手順でできたものを裏返し、図１０（ｂ）に示すように、図中右側から３分の１だけ折り返す。そして、図１０（ｃ）に示すように、図中上側から３分の１だけ折り返すことにより完成する。
【００８９】
シート７ａのようなシートは、折り方により、さまざまなパターンを形成できる。例えば、折り上がりの外形が正方形で、図１１に示すようなさまざまなパターンを形成できる折り方があることが知られている。
【００９０】
なお、図１１では、各パターンの外形を同じ大きさで描いているが、大きさは同じとは限らない。また、図１１に示したような折り上がりが正方形になるパターン以外にもさまざまなパターンが形成可能である。マーカ枠７ｂの内寸をシート７ａの外寸と同程度以上にすれば、どのようなパターンでも折り上がったシート７ａをマーカ枠７ｂの枠内に納めることができる。
【００９１】
このようなマーカ７を用いれば、１枚のシート７ａから、上記各実施の形態におけるマーカ４よりもさらに多くのパターンを形成できる。拡張現実感表示システム１，１Ａにおいては、マーカ７で形成可能な複数のパターン予め設定しておき、これらのパターンに対応する電子情報を、記憶部２２，６１に記憶しておく。
【００９２】
なお、このようなマーカ７は、上記各実施の形態におけるマーカ４のような、各パターンにより意味のある文字記号列を表現する用途に用いることには好適でない。そこで、娯楽としての折り紙パズルをユーザに提供する用途として、マーカ７を用いるようにしてもよい。この場合、例えば、ユーザが所定のパターンを完成した場合に、拡張現実感表示システム１，１Ａにおいて、図１２に示すような電子情報３３を重畳した映像を表示するようにすればよい。
【符号の説明】
【００９３】
１，１Ａ 拡張現実感表示システム
２，２Ａ 拡張現実感表示装置
３ カメラ
４，７ マーカ
５，７ａ シート
７ｂ マーカ枠
６ サーバ装置
２１ 入力部
２２，６１ 記憶部
２３ 表示部
２４，２６，６２ 制御部
２５，６３ 通信部
２４１，２６１ カメラ制御部
２４２，６２１ マーカ検出部
２４３，６２２ 重畳部
２４４ 表示制御部
２６２ ブラウザ部
【技術分野】
【０００１】
本発明は、拡張現実感（ＡＲ：Augmented Reality）技術を用いた拡張現実感表示システムに関する。
【背景技術】
【０００２】
従来、カメラによって撮影された現実環境（現実空間）の映像にコンピュータグラフィックス（ＣＧ）により作成された画像、文字情報等の電子情報を重畳して表示することにより、現実環境の情報を拡張する拡張現実感技術が知られている。
【０００３】
この拡張現実感技術において、カメラで撮影された映像に電子情報を重畳するための目印としてマーカを用いる方法がある（例えば、特許文献１参照）。
【０００４】
この場合に用いられるマーカは、例えば、紙等からなるシートに予め設定された大きさの黒い矩形の枠を印刷等により形成したものである。複数種類のマーカを使用する場合には、枠の内部にマーカの種類を特定するための文字、模様等からなるパターンが設けられる。
【０００５】
このようなマーカを用いた拡張現実感表示システムでは、現実環境に置かれたマーカをカメラで撮影し、映像中のマーカの位置、向き、サイズ、パターンを検出する。そして、拡張現実感表示システムは、検出結果に応じて映像に重畳する電子情報の位置、向き、サイズを決定し、マーカのパターンに応じた電子情報を映像に重畳する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−４８４８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述のように、マーカを用いた拡張現実感表示システムでは、映像に重畳する電子情報を変えるために、複数種類のマーカを用いる。
【０００８】
シートの両面にそれぞれ１種類ずつマーカを形成すると、１枚のシートあたりに最大で２種類のマーカしか設けられない。したがって、多くの種類のマーカが必要な場合は、多くの枚数のマーカシートを用意しなければならず、携帯等に不便である。
【０００９】
これに対し、１枚のシートの両面にそれぞれ複数種類のマーカを形成すれば、１枚のシートあたりに形成できるマーカの種類を増やすことができる。しかし、このようなマーカシートでは、１つの種類のマーカだけを検出したい場合でも、同じ面上の他のマーカも検出してしまい、その結果、不要な電子情報が映像に重畳されてしまうおそれがある。
【００１０】
また、液晶表示装置等の電子表示装置を用いて、複数種類のマーカを切り替え表示可能とする方法もあるが、電子機器のため電源が必要であり、重量やフレキシブル性の点で携帯に不便であるという不都合がある。
【００１１】
本発明は上記に鑑みてなされたもので、電源が不要で携帯性に優れながら多くのパターンを表現できるマーカを用い、各マーカに対応した電子情報を映像に重畳する際に不要な電子情報が映像に重畳されることは回避できる拡張現実感表示システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明に係る拡張現実感表示システムの第１の特徴は、表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、前記着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカと、前記マーカを含む領域を撮影する撮影装置と、前記撮影装置で撮影された映像に電子情報を重畳して表示する拡張現実感表示装置とを備え、前記拡張現実感表示装置は、前記撮影装置で撮影された映像中の前記マーカを検出するマーカ検出部と、前記マーカ検出部で検出した前記マーカのパターンに対応した電子情報を、前記撮影装置で撮影された映像に重畳する重畳部と、前記重畳部で電子情報が重畳された映像を表示する表示部とを備えることにある。
【００１３】
本発明に係る拡張現実感表示システムの第２の特徴は、表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、前記着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカと、前記マーカを含む領域を撮影する撮影装置と、前記撮影装置で撮影された映像をネットワークを介して取得し、取得した映像に電子情報を重畳するサーバ装置と、前記サーバ装置で電子情報が重畳された映像をネットワークを介して取得して表示する拡張現実感表示装置とを備え、前記サーバ装置は、前記撮影装置で撮影された映像中の前記マーカを検出するマーカ検出部と、前記マーカ検出部で検出した前記マーカのパターンに対応した電子情報を、前記撮影装置で撮影された映像に重畳する重畳部とを備えることにある。
【００１４】
本発明に係る拡張現実感表示システムおいて、前記マーカは、前記複数のパターンにより、文字および記号の少なくともいずれか一方を含む文字記号列を表現可能であり、前記重畳部は、前記文字記号列の示す情報に関連する電子情報を映像に重畳することが好ましい。
【発明の効果】
【００１５】
本発明に係る拡張現実感表示システムの第１の特徴によれば、折られることで着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカを用いるので、マーカは電源が不要で携帯性に優れながら多くのパターンを表現でき、また、所望のパターンが完成したときには、１つのマーカのみが表現されているため、マーカに対応した電子情報を映像に重畳する際に不要な電子情報が映像に重畳されることを回避できる。
【００１６】
本発明に係る拡張現実感表示システムの第２の特徴によれば、上記第１の特徴と同様の効果とともに、電子情報を映像に重畳する処理をサーバ装置で行うことで、拡張現実感表示装置には拡張現実感技術に関するソフトウェアをインストールしなくても、電子情報が重畳された映像をユーザに提供できるという効果が得られる。
【００１７】
また、マーカのパターンにより文字記号列を表現可能とし、この文字記号列の示す情報に関連する電子情報を映像に重畳するようにすることで、ユーザに電子情報の内容を強く印象付けることができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施の形態に係る拡張現実感表示システムの概略構成図である。
【図２】第１の実施の形態に係る拡張現実感表示システムの機能構成を示すブロック図である。
【図３】第１の実施の形態におけるマーカを形成するためのシートの構成を示す図である。
【図４】第１の実施の形態におけるシートの一例を示す図である。
【図５】第１の実施の形態におけるシートにより形成可能な各パターンの一例を示す図である。
【図６】拡張現実感表示装置のハードウェア構成例を示す図である。
【図７】電子情報が重畳された映像の一例を示す図である。
【図８】第２の実施の形態に係る拡張現実感表示システムの機能構成を示すブロック図である。
【図９】第２の実施の形態におけるマーカの構成を示す図である。
【図１０】第２の実施の形態のマーカにおけるシートの折り方の一例を示す図である。
【図１１】第２の実施の形態のマーカにおけるシートで表現可能なパターンの具体例を示す図である。
【図１２】電子情報が重畳された映像の他の例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図面を通じて同一もしくは同等の部位や構成要素には、同一もしくは同等の符号を付し、その説明を省略もしくは簡略化する。
【００２０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る拡張現実感表示システムの概略構成図、図２は、図１に示す拡張現実感表示システムの機能構成を示すブロック図である。
【００２１】
図１、図２に示すように、第１の実施の形態に係る拡張現実感表示システム１は、パーソナルコンピュータ（ＰＣ）等の情報処理装置からなる拡張現実感表示装置２と、カメラ（撮影装置）３と、拡張現実感技術で用いられるマーカ４とを備える。
【００２２】
拡張現実感表示装置２は、図２に示すように、入力部２１と、記憶部２２と、表示部２３と、制御部２４と、通信部２５とを備える。
【００２３】
入力部２１は、ユーザによる各種入力操作を受け付け、操作に基づく操作信号を出力する。
【００２４】
記憶部２２は、マーカ４で表現可能なすべてのパターンに対応する電子情報を記憶している。記憶部２２に記憶される電子情報は、拡張現実感表示装置２や外部装置等を用いて予め生成されたものである。電子情報は、記録媒体から読み取って拡張現実感表示装置２に取り込んでもよいし、通信部２５によりネットワーク等を介して拡張現実感表示装置２に取り込んでもよい。電子情報としては、コンピュータグラフィックスにより作成された３次元（３Ｄ）モデル、実画像、アニメーション、文字情報等を用いることができる。
【００２５】
表示部２３は、カメラ３で撮影された映像、およびその映像に重畳された電子情報を表示する。
【００２６】
制御部２４は、拡張現実感表示装置２に接続されたカメラ３を制御するカメラ制御部２４１と、カメラ３で撮影された映像中のマーカ４を検出するマーカ検出部２４２と、マーカ検出部２４２で検出したマーカ４のパターンに対応した電子情報をカメラ３で撮影された映像に重畳する重畳部２４３と、表示部２３の表示を制御する表示制御部２４４とを備える。
【００２７】
通信部２５は、拡張現実感表示装置２をインターネット等のネットワークに接続するためのものである。
【００２８】
カメラ３は、拡張現実感表示装置２に接続されたウェブカメラ等からなる。カメラ３は、ユーザ操作等に応じて、その撮影する方向を変えられるように構成されている。
【００２９】
マーカ４は、黒い矩形の枠と、この枠の内部に表示される文字、模様等からなるパターンとにより構成される。枠内のパターンによりマーカの種類が特定される。
【００３０】
本実施の形態におけるマーカ４は、図３に示すようなシート５を用いて構成される。シート５は、紙等の薄いシート状の折り曲げ可能な材質からなり、外形が正方形で、その中央部分がくり抜かれた形状を有する。シート５のくり抜かれた中央部分は、その一辺が外形の一辺の半分の長さの正方形になっている。
【００３１】
そして、図３（ａ），（ｂ）に示すように、シート５の両面それぞれに、図中の破線で区切られる１２個の正方形のマス目が形成されている。各マス目を区切る破線は、ユーザによって山折りまたは谷折りにされる折り目線を示す。
【００３２】
図中の各マス目に示した「Ａ」〜「Ｆ」のアルファベットは、各マス目の対応関係を示している。同じアルファベットのマス目を組み合わせることで、１種類のマーカが形成されるようになっている。
【００３３】
例えば、図３（ａ）における折り目線６ａ，６ｃ，６ｆ，６ｈを谷折りし、折り目線６ｂ，６ｄ，６ｅ，６ｇを山折りすることで、図３（ｃ）に示すような、「Ａ」に対応したマス目を組み合わせたマーカ４が形成される。なお、上記の折り方は一例であり、他の折り方でも「Ａ」に対応したマーカ４を形成可能である。
【００３４】
「Ａ」に対応する４つの各マス目には、例えば、図４（ａ）に示すような図柄が形成されている。図４（ａ）中において黒く塗られている部分は、シート５において黒く着色された部分であり、着色されていない他の部分は、シート５の地の色である白い部分である。なお、他のアルファベット「Ｂ」〜「Ｆ」に対応するマス目にも、それぞれに対応したパターンを有するマーカを形成するための着色部分が形成されているが、ここでは図示を省略している。
【００３５】
図４（ａ）のようなシート５を上述の手順で折る作業をユーザが行うことで、図４（ｂ）のような、黒い枠と、その内部に「ａｂｃｄ」という文字からなるパターンを有するマーカ４が形成される。
【００３６】
このように、シート５は、ユーザが折る作業を行うことでマーカ４を完成させる折り紙パズルになっている。各マス目に形成された着色部分と他の部分とにより、「Ａ」〜「Ｆ」に対応した６種類のマーカ４を１枚のシート５で個別に表現可能である。
【００３７】
上記のようなシート５において、折り曲げたシート５の弾性でマーカ４において各マス目に高低差が生じると、光の陰影の影響により拡張現実感表示装置２でマーカ４が検出されにくくなるおそれがある。これを避けるために、無色透明のアクリル板等を用いてマーカ４を挟み込むようにしてもよい。
【００３８】
なお、１枚のシート５で表現可能な各パターンを文字または記号とし、各パターンにより、意味のある文字記号列を表現可能であるようにすることが望ましい。さらに、この文字記号列の示す情報に関連する電子情報を映像に重畳するようにすることが望ましい。
【００３９】
例えば、シート５で表現可能な各パターンのマーカにより、図５に示すように、「プリンターＸ」という文字列を表現できるようにする。そして、このようなマーカに対応して映像に重畳される電子情報を、プリンター（印刷装置）に関する情報とする。このようにすることで、ユーザに折り紙パズルの完成の動機付けを与えるとともに、電子情報の内容を強く印象付けることができる。
【００４０】
ここで、拡張現実感表示装置２の具体的なハードウェア構成について説明する。図６は、拡張現実感表示装置２のハードウェア構成例を示す図である。
【００４１】
図６において、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、および入出力インタフェース１０８が、バス１０９を介して接続されている。入出力インタフェース１０８には、入力装置１０４、記憶装置１０５、表示装置１０６、および通信制御装置１０７が接続されている。
【００４２】
ＣＰＵ１０１は、拡張現実感表示装置２全体を制御する中央演算処理装置であり、図２の制御部２４の機能を果たすものである。
【００４３】
ＲＡＭ１０２は、一時的なデータの保存や演算時におけるＣＰＵ１０１のワークエリアとして使用される。ＲＯＭ１０３は、起動時の動作プログラム等を格納する。
【００４４】
入力装置１０４は、キーボードやマウス等からなり、図２の入力部２１の機能を果たすものである。
【００４５】
記憶装置１０５は、ハードディスク等からなり、図２の記憶部２２の機能を果たすものであり、カメラ３で撮影された映像に重畳する電子情報を記憶する。また、記憶装置１０５は、拡張現実感技術に関するアプリケーションソフト等の各種のプログラムを格納している。ＣＰＵ１０１が記憶装置１０５からＲＡＭ１０２へプログラムを読み込んで実行すること等により、図２の制御部２４のカメラ制御部２４１、マーカ検出部２４２、重畳部２４３、表示制御部２４４の機能が実現される。
【００４６】
表示装置１０６は、液晶ディスプレイ等からなり、図２の表示部２３に該当するものである。
【００４７】
通信制御装置１０７は、図２の通信部２５の機能を果たすものであり、拡張現実感表示装置２をインターネット等のネットワークに接続して通信を行うための装置である。
【００４８】
次に、第１の実施の形態における拡張現実感表示システム１の動作について説明する。
【００４９】
本実施の形態では、図３に示したシート５における「Ａ」〜「Ｆ」に対応した手順でユーザが折る作業を行うことにより、図５に示すような「プ」、「リ」、「ン」、「タ」、「ー」、「Ｘ」という６つの文字のパターンのマーカ４を形成できるような図柄が、シート５の各マス目に形成されているものとする。また、このようなマーカ４に対応して映像に重畳される電子情報が記憶部２２に記憶されているものとする。また、図５のように「プ」→「リ」→「ン」→「タ」→「ー」→「Ｘ」の順でマーカを完成させるべきであるものとする。
【００５０】
拡張現実感表示システム１において、カメラ３により撮影される領域にマーカ４が置かれていない状態では、カメラ３で撮影された映像が拡張現実感表示装置２の表示部２３にそのまま表示される。
【００５１】
ユーザが、シート５により「プ」のパターンのマーカ４を完成させ、そのマーカ４をカメラ３で撮影される領域内に置くと、マーカ検出部２４２は、カメラ３で撮影された映像から、映像上のマーカ４の位置、向き、サイズを検出するとともに、公知のテンプレートマッチングの手法等を用いてマーカ４のパターンを検出する。
【００５２】
次いで、重畳部２４３は、マーカ検出部２４２で検出したマーカ４のパターンに対応する電子情報を記憶部２２から取得し、この電子情報をカメラ３で撮影された映像に重畳する。この際、重畳部２４３は、マーカ検出部２４２で検出したマーカ４の位置、向き、サイズに基づいて、拡張現実感技術により、映像に重畳する電子情報の位置、向き、サイズを決定する。
【００５３】
そして、表示制御部２４４は、重畳部２４３により電子情報が重畳された映像を表示部２３に表示するよう制御する。
【００５４】
表示部２３に表示される電子情報が重畳された映像の一例を図７に示す。なお、図７では、簡略化のため、マーカ４以外の被写体は図示を省略している。
【００５５】
本実施の形態では、映像に重畳される電子情報は、印刷装置の新製品である「プリンターＸ」に関する情報であるものとする。図７に示す映像では、「プ」のパターンに対応する電子情報として、印刷装置の外観を示す画像３０と、新製品の案内であることを示す文字情報３１とが重畳されている。
【００５６】
なお、拡張現実感技術では、撮影中にカメラ３の向きが変わったり、マーカ４が移動されたりしたことにより映像中のマーカの位置、向き、サイズが変動した場合、それに連動して、映像に重畳される電子情報の表示位置等も変動する。特に３Ｄモデルでは、マーカの向きに応じて３Ｄモデルのアングルが変動する。そこで、印刷装置の画像３０を３Ｄモデルとすると、ユーザはマーカ４の姿勢を変化させること等により、さまざまなアングルの印刷装置の３Ｄモデルを見ることができる。
【００５７】
「プ」のパターンに対応する電子情報が重畳された画像を確認すると、次にユーザが完成させるべきなのは、「リ」のパターンのマーカ４である。図７に示すように、この順番をユーザに知らせるための文字情報３２を映像に重畳するようにしてもよい。
【００５８】
ユーザが、「リ」のパターンのマーカ４を完成させ、そのマーカ４をカメラ３で撮影される領域内に置くと、拡張現実感表示装置２は、上記説明と同様の手順により、「リ」のパターンに対応する電子情報を重畳した映像（図示せず）を表示する。以下、「ン」、「タ」、「ー」、「Ｘ」の各パターンについても同様である。
【００５９】
この例では、各パターンに応じて映像に重畳表示される電子情報は、印刷装置の新製品に関する情報であるが、パターン順に応じて順に表示される各電子情報の内容が、連続性、ストーリー性、規則性等を有するようにすることが望ましい。このようにすることで、ユーザに電子情報の内容をより強く印象付けることができる。
【００６０】
以上説明したように、第１の実施の形態によれば、折り紙パズルを構成するシート５を用いることで、少ない枚数のシート５で多くのパターンのマーカ４を形成できる。シート５は紙等で構成されるため、電源が不要で携帯性に優れる。
【００６１】
また、ユーザは、折り紙パズルを楽しみつつ、拡張現実感技術により映像に重畳された情報を得ることができる。
【００６２】
また、所望のパターンが完成したときには、１つのマーカのみが表現されているため、他のマーカが映像中に検出され、その結果として不要な電子情報が映像に重畳されることを回避できる。
【００６３】
（第２の実施の形態）
図８は、本発明の第２の実施の形態に係る拡張現実感表示システムの機能構成を示すブロック図である。図８に示すように、第２の実施の形態に係る拡張現実感表示システム１Ａは、拡張現実感表示装置２Ａと、カメラ３と、マーカ４と、サーバ装置６とを備えて概略構成される。拡張現実感表示装置２Ａとサーバ装置６とはインターネット等のネットワーク１０を介して接続可能である。
【００６４】
拡張現実感表示装置２Ａは、入力部２１と、表示部２３と、通信部２５と、制御部２６とを備える。
【００６５】
入力部２１、表示部２３、および通信部２５は、図２に示した第１の実施の形態の拡張現実感表示装置２におけるものと同様である。
【００６６】
制御部２６は、拡張現実感表示装置２Ａに接続されたカメラ３を制御するカメラ制御部２６１と、ネットワーク１０上でサーバ装置６が公開するウェブサイトを閲覧するためのブラウザ部２６２とを備える。
【００６７】
カメラ３は、拡張現実感表示装置２Ａに接続されたウェブカメラである。マーカ４は、第１の実施の形態で説明した折り紙パズルを構成するシート５からなる。
【００６８】
サーバ装置６は、ネットワーク１０を介してアクセスされる拡張現実感表示装置２Ａに対し、カメラ３で撮影された映像に拡張現実感技術により電子情報を重畳し、この電子情報が重畳された映像を提供する機能を有している。サーバ装置６は、記憶部６１と、制御部６２と、通信部６３とを備える。
【００６９】
記憶部６１は、マーカ４で表現可能な各パターンに対応する電子情報を記憶している。
【００７０】
制御部６２は、拡張現実感表示装置２Ａから送られてくるカメラ３で撮影された映像中のマーカ４を検出するマーカ検出部６２１と、マーカ検出部６２１で検出したマーカ４のパターンに対応した電子情報をカメラ３で撮影された映像に重畳する重畳部６２２とを備える。
【００７１】
通信部６３は、ネットワーク１０を介して拡張現実感表示装置２Ａとの通信を行い、映像等のデータの送受信を行う。
【００７２】
上記のような拡張現実感表示装置２Ａおよびサーバ装置６も、図５に示した構成と同等のハードウェア構成で実現可能である。
【００７３】
次に、第２の実施の形態における拡張現実感表示システム１Ａの動作について説明する。
【００７４】
ここでは、業者がダイレクトメールを利用してマーカ４（シート５）をユーザに提供し、マーカ４を用いる拡張現実感技術を利用したサービスを提供するものとする。そして、サーバ装置６は、ダイレクトメールの送付元の業者のウェブサイトを公開するサーバであるとする。
【００７５】
拡張現実感表示装置２Ａのブラウザ部２６２は、ユーザの操作に応じて、ダイレクトメールの送付元の業者のウェブサイトにおける、拡張現実感技術による映像を見るためのウェブページにアクセスする。そして、ブラウザ部２６２は、カメラ３により撮影された映像を、サーバ装置６に送信する。
【００７６】
サーバ装置６のマーカ検出部６２１は、拡張現実感表示装置２Ａから受信した映像から、マーカ４を検出する処理を行う。映像中にマーカ４が検出されない場合は、重畳部６２２による電子情報を重畳する処理は行わず、制御部６２は、ウェブページの所定領域に拡張現実感表示装置２Ａから受信した映像を加えたデータを拡張現実感表示装置２Ａに送信する。
【００７７】
サーバ装置６からのデータを受信すると、拡張現実感表示装置２Ａのブラウザ部２６２は、ブラウザ画面中に映像を表示する領域を有するウェブページを表示部２３に表示させる。カメラ３により撮影される領域にマーカ４が置かれていない状態では、カメラ３で撮影された映像がそのままブラウザ画面中に表示される。
【００７８】
ユーザが、シート５から「プ」のパターンのマーカ４を完成させ、そのマーカ４をカメラ３で撮影される領域内に置くと、サーバ装置６のマーカ検出部６２１は、拡張現実感表示装置２Ａから受信した、カメラ３で撮影された映像から、映像上のマーカ４の位置、向き、サイズを検出するとともに、マーカ４のパターンを検出する。
【００７９】
次いで、重畳部６２２は、マーカ検出部６２１で検出したマーカ４のパターンに対応する電子情報を記憶部６１から取得し、この電子情報をカメラ３で撮影された映像に重畳する。この際、重畳部６２２は、マーカ検出部６２１で検出したマーカ４の位置、向き、サイズに基づいて、拡張現実感技術により、映像に重畳する電子情報の位置、向き、サイズを決定する。
【００８０】
そして、重畳部６２２は、電子情報が重畳された映像を、通信部６３を介して拡張現実感表示装置２Ａに送信する。
【００８１】
拡張現実感表示装置２Ａのブラウザ部２６２は、サーバ装置６において重畳部６２２により電子情報が重畳された映像をブラウザ画面中に表示させる。
【００８２】
これにより、第１の実施の形態で示した図７と同様の、電子情報が重畳された映像がブラウザ画面中に表示される。以下、第１の実施の形態と同様に、ユーザが各パターンのマーカ４を順次完成させ、そのマーカ４をカメラ３で撮影される領域内に置くと、それに応じて、各パターンに対応した電子情報が重畳された映像がブラウザ画面中に表示される。
【００８３】
このような第２の実施の形態においても、１枚で複数種類のマーカ４を個別に形成できる折り紙パズルからなるシート５を用いることで、第１の実施の形態と同様の効果が得られる。また、拡張現実感技術より電子情報を映像に重畳する処理をサーバ装置６で行うので、拡張現実感表示装置２Ａには拡張現実感技術に関するソフトウェアをインストールしなくても、電子情報が重畳された映像をユーザに提供できる。
【００８４】
なお、上記各実施の形態では、図３に示したようなシート５を用いて形成されるマーカ４を用いたが、マーカはこのようなものに限らず、折られることにより、表面および裏面の少なくともいずれか一方の少なくとも一部に形成された着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するものであればよい。例えば、図９に示すような、シート７ａとマーカ枠７ｂとにより構成されるマーカ７を用いてもよい。
【００８５】
シート７ａは、紙等の薄いシート状の折り曲げ可能な材質からなり、図９（ａ）に示すように、外形が正方形で、一方の面がシート７ａの地の色である白になっており、他方の面が黒く着色されている。
【００８６】
シート７ａを折ることにより、例えば図９（ｂ）に示すようなパターンができる。このパターンに折られたシート７ａを、図９（ｃ）に示すように黒い矩形のマーカ枠７ｂの枠内に置くことで、マーカ７が形成される。
【００８７】
マーカ枠７ｂは、例えば、無色透明のアクリル板に形成し、折り上がったシート７ａを、このアクリル板と、白い板との間に挟みこむようにすればよい。これにより、図９（ｃ）に示すように、シート７ａの着色部分以外の領域を白くすることができる。
【００８８】
図９（ｂ）に示すパターンは、例えば、図１０に示す手順でシート７ａを折ることにより形成される。まず、シート７ａの頂点の１つを図１０（ａ）のように折る。次いで、図１０（ａ）の手順でできたものを裏返し、図１０（ｂ）に示すように、図中右側から３分の１だけ折り返す。そして、図１０（ｃ）に示すように、図中上側から３分の１だけ折り返すことにより完成する。
【００８９】
シート７ａのようなシートは、折り方により、さまざまなパターンを形成できる。例えば、折り上がりの外形が正方形で、図１１に示すようなさまざまなパターンを形成できる折り方があることが知られている。
【００９０】
なお、図１１では、各パターンの外形を同じ大きさで描いているが、大きさは同じとは限らない。また、図１１に示したような折り上がりが正方形になるパターン以外にもさまざまなパターンが形成可能である。マーカ枠７ｂの内寸をシート７ａの外寸と同程度以上にすれば、どのようなパターンでも折り上がったシート７ａをマーカ枠７ｂの枠内に納めることができる。
【００９１】
このようなマーカ７を用いれば、１枚のシート７ａから、上記各実施の形態におけるマーカ４よりもさらに多くのパターンを形成できる。拡張現実感表示システム１，１Ａにおいては、マーカ７で形成可能な複数のパターン予め設定しておき、これらのパターンに対応する電子情報を、記憶部２２，６１に記憶しておく。
【００９２】
なお、このようなマーカ７は、上記各実施の形態におけるマーカ４のような、各パターンにより意味のある文字記号列を表現する用途に用いることには好適でない。そこで、娯楽としての折り紙パズルをユーザに提供する用途として、マーカ７を用いるようにしてもよい。この場合、例えば、ユーザが所定のパターンを完成した場合に、拡張現実感表示システム１，１Ａにおいて、図１２に示すような電子情報３３を重畳した映像を表示するようにすればよい。
【符号の説明】
【００９３】
１，１Ａ 拡張現実感表示システム
２，２Ａ 拡張現実感表示装置
３ カメラ
４，７ マーカ
５，７ａ シート
７ｂ マーカ枠
６ サーバ装置
２１ 入力部
２２，６１ 記憶部
２３ 表示部
２４，２６，６２ 制御部
２５，６３ 通信部
２４１，２６１ カメラ制御部
２４２，６２１ マーカ検出部
２４３，６２２ 重畳部
２４４ 表示制御部
２６２ ブラウザ部
【特許請求の範囲】
【請求項１】
表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、前記着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカと、
前記マーカを含む領域を撮影する撮影装置と、
前記撮影装置で撮影された映像に電子情報を重畳して表示する拡張現実感表示装置とを備え、
前記拡張現実感表示装置は、
前記撮影装置で撮影された映像中の前記マーカを検出するマーカ検出部と、
前記マーカ検出部で検出した前記マーカのパターンに対応した電子情報を、前記撮影装置で撮影された映像に重畳する重畳部と、
前記重畳部で電子情報が重畳された映像を表示する表示部と
を備えることを特徴とする拡張現実感表示システム。
【請求項２】
表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、前記着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカと、
前記マーカを含む領域を撮影する撮影装置と、
前記撮影装置で撮影された映像をネットワークを介して取得し、取得した映像に電子情報を重畳するサーバ装置と、
前記サーバ装置で電子情報が重畳された映像をネットワークを介して取得して表示する拡張現実感表示装置とを備え、
前記サーバ装置は、
前記撮影装置で撮影された映像中の前記マーカを検出するマーカ検出部と、
前記マーカ検出部で検出した前記マーカのパターンに対応した電子情報を、前記撮影装置で撮影された映像に重畳する重畳部と
を備えることを特徴とする拡張現実感表示システム。
【請求項１】
表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、前記着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカと、
前記マーカを含む領域を撮影する撮影装置と、
前記撮影装置で撮影された映像に電子情報を重畳して表示する拡張現実感表示装置とを備え、
前記拡張現実感表示装置は、
前記撮影装置で撮影された映像中の前記マーカを検出するマーカ検出部と、
前記マーカ検出部で検出した前記マーカのパターンに対応した電子情報を、前記撮影装置で撮影された映像に重畳する重畳部と、
前記重畳部で電子情報が重畳された映像を表示する表示部と
を備えることを特徴とする拡張現実感表示システム。
【請求項２】
表面および裏面の少なくともいずれか一方の少なくとも一部に着色部分が形成され、複数通りの手順で折られることで、前記着色部分と他の部分とにより複数のパターンを個別に表現可能なシートを有するマーカと、
前記マーカを含む領域を撮影する撮影装置と、
前記撮影装置で撮影された映像をネットワークを介して取得し、取得した映像に電子情報を重畳するサーバ装置と、
前記サーバ装置で電子情報が重畳された映像をネットワークを介して取得して表示する拡張現実感表示装置とを備え、
前記サーバ装置は、
前記撮影装置で撮影された映像中の前記マーカを検出するマーカ検出部と、
前記マーカ検出部で検出した前記マーカのパターンに対応した電子情報を、前記撮影装置で撮影された映像に重畳する重畳部と
を備えることを特徴とする拡張現実感表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−３５９８（Ｐ２０１２−３５９８Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３９４３１（Ｐ２０１０−１３９４３１）
【出願日】平成２２年６月１８日（２０１０．６．１８）
【出願人】（０００２５０５０２）理想科学工業株式会社 (1,191)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１８日（２０１０．６．１８）
【出願人】（０００２５０５０２）理想科学工業株式会社 (1,191)
【Ｆターム（参考）】
[ Back to top ]