案内情報提供システム、制御装置、案内情報提供方法、及びプログラム
【課題】 紙媒体という馴染みのある媒体を利用して、直感的な方法で、拡張現実感のある案内を行う案内情報提供システム等を提供する。
【解決手段】 撮像装置２によってユーザ７が手に持って見ているパンフレット８を撮像すると、制御装置５は撮像情報から紙面の印刷内容を認識し、この段階で紙面に印刷されている全てのマーカに対して第２投影装置４によりスポットコンテンツ４１を投影させる。そして、制御装置５は、紙面のいずれかのマーカが指示されたと認識した段階で、指示されたマーカに対して第２投影装置４によりスポットコンテンツ４３を投影させる。更に、認識された指示マーカに応じた適切な情報コンテンツを第１投影装置３により床面等の情報コンテンツ表示エリア６に表示させる。これにより、ユーザ７が紙面を指差すとユーザの視点７からは床面に拡がるように情報コンテンツが見えるようになる。
【解決手段】 撮像装置２によってユーザ７が手に持って見ているパンフレット８を撮像すると、制御装置５は撮像情報から紙面の印刷内容を認識し、この段階で紙面に印刷されている全てのマーカに対して第２投影装置４によりスポットコンテンツ４１を投影させる。そして、制御装置５は、紙面のいずれかのマーカが指示されたと認識した段階で、指示されたマーカに対して第２投影装置４によりスポットコンテンツ４３を投影させる。更に、認識された指示マーカに応じた適切な情報コンテンツを第１投影装置３により床面等の情報コンテンツ表示エリア６に表示させる。これにより、ユーザ７が紙面を指差すとユーザの視点７からは床面に拡がるように情報コンテンツが見えるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙媒体に対する指示動作に応じて適切な案内表示を行う案内情報提供システム等に関する。
【背景技術】
【０００２】
従来より、地図上で目的地への経路情報を案内するナビゲーションシステムが開発されている。例えば、車載用ナビゲーションシステムでは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して現在位置を測位し、地図上に方向や矢印等を表示してナビゲーションを行うものがある。また、特許文献１に示すような携帯用ナビゲーション装置も提案されている。特許文献１に示す携帯用ナビゲーション装置では、装置本体の方位と実際の方位とを一致させて地図を表示させている。
また、経路情報を地図上に表示するもの以外にも様々な手法でユーザに提供するものが提案されている。例えば、特許文献２には、施設内を移動する操作装置（カート）からの操作に従って、操作装置の現在位置や目的地情報を取得すると、目的地への経路情報を生成して施設内の最寄の出力装置に案内情報を出力する案内情報提供システムについて記載されている。また、特許文献３には、経路誘導エリア内の交差点や駅構内の通路の分岐点等に方向表示器を設置し、方向表示器が歩行者の保持する携帯端末の接近を感知すると、携帯端末の保持する目的地座標に基づいて案内センタ装置により探索された経路情報を取得して、方向表示器に経路情報を表示させる経路誘導システムについて記載されている。
【０００３】
ところで、近年ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実感）と呼ばれる技術が開発されている。ＡＲでは、所定の画像パターンを有するマーカをカメラにて検出し、検出したマーカの動きを追跡しつつ、対応する仮想物体を実写画像内に合成表示することにより、現実の空間と仮想的な物体とを融合させた特殊な映像を作成することが可能となっている。ＡＲにおけるマーカ認識に関しては、例えば、非特許文献１や特許文献４等に示すような研究が行われている。非特許文献１には、マーカ位置検出法とそのキャリブレーション法について記載されており、特許文献４には、ＡＲ技術をより柔軟にシミュレーション画像生成に利用するため、基準マーカと対象（絵画）とを正規化する手法について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２８０５８３号公報
【特許文献２】特開２００４−３４７４５９号公報
【特許文献３】特開２００２−５４９４５号公報
【特許文献４】特開２００９−２７１８２２号公報
【非特許文献】
【０００５】
【非特許文献１】加藤博一、他３名、「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」、論文誌、日本バーチャルリアリティ学会、１９９９、第４巻、第４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の経路誘導に関する技術は、いずれも携帯端末やカート等の操作装置をユーザが所持する必要があった。例えば、展示会の経路誘導において上述の特許文献等に示される手法を用いて経路誘導を行う場合には、入場者に対して携帯端末や移動装置を提供する必要があり、また、場合によっては、入場者がそれらの機器の操作を習熟する必要があった。更に、展示会や遊戯施設等の運営者の立場からは、訪問者の関心を集めるような方法で案内情報を提供することが望まれていた。
【０００７】
本発明は、このような課題に鑑みてなされたもので、その目的とするところは、紙媒体という馴染みのある媒体を利用して、直感的な方法で、拡張現実感のある案内を行う案内情報提供システム等を提供することである。
【課題を解決するための手段】
【０００８】
前述した課題を解決するため第１の発明は、ユーザが所持している紙媒体を画像情報として取得する撮像手段と、前記ユーザの視点から視認可能な領域に情報コンテンツを表示する表示手段と、複数のマーカの画像パターン及び各マーカに対応する情報コンテンツを記憶する記憶手段と、前記撮像手段及び前記表示手段を制御する制御装置と、を備えた案内情報提供システムであって、前記制御装置は、前記撮像手段により撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識手段と、前記画像認識手段により認識された前記マーカに応じて前記記憶手段から対応する情報コンテンツを読み出し、前記表示手段に表示させる表示制御手段と、を備えることを特徴とする案内情報提供システムである。
【０００９】
ここで、マーカとは、紙媒体の印刷内容のうち、予め登録された画像パターンを有するものを意味する。マーカには、枠で囲まれた図案全体、及び枠内の図案そのものが含まれる。図案には、図形、イラスト、図案化された文字が含まれる。
【００１０】
第１の発明の案内情報提供システムによれば、撮像手段によって、ユーザが所持している紙媒体を画像情報として取得すると、前記制御装置の画像認識手段は、前記撮像手段により撮像された画像情報に基づいて前記紙媒体上でユーザが指示したマーカを認識し、表示制御手段は、認識された前記マーカに対応する情報コンテンツを前記記憶手段から読み出し、前記表示手段によって、該情報コンテンツを前記ユーザの視点から視認可能な領域に表示させる。
【００１１】
これにより、ユーザが持っている紙媒体の印刷内容のうちいずれかのマーカをユーザが指等で指し示すと、指し示したマーカに応じた適切な情報コンテンツがユーザの視点から見える領域に表示されるようになる。よって、ユーザに簡単に提供できる媒体である紙媒体を利用して、直感的な方法で案内情報を提供できるようになる。また、非電子媒体である普通の紙への指示動作であるにもかかわらず、現実の空間に案内情報（情報コンテンツ）が表示されるという拡張現実感のある興趣に満ちた情報提供を行えるようになる。
【００１２】
また、第１の発明において、前記記憶手段にはマーカと紙媒体の紙面との関係付けを表したテーブルが格納されており、前記画像認識手段は、前記撮像手段により撮像された画像情報に基づいてユーザが所持している紙媒体の紙面を識別可能であること望ましい。
ここで、「紙媒体の紙面の識別」という語の意味は、紙媒体の「種類」の識別、及び紙媒体の「頁（表・裏等）」の識別の両者を含むものとする。
これにより、画像認識手段は、前記テーブルを参照することにより、撮像手段により撮像された画像情報に含まれるマーカから紙媒体の紙面（紙媒体の種類や紙媒体の頁）を識別できる。
【００１３】
また、第１の発明の案内情報提供システムにおいて、前記紙媒体に対する投影を行う投影手段を更に備え、前記表示制御手段は、前記画像認識手段により前記紙媒体の紙面が識別された段階で、前記紙媒体に印刷されている全てのマーカに対して前記投影手段によってスポットコンテンツを投影する全マーカ明示手段と、前記画像認識手段によりいずれかのマーカが指示されたと認識された段階で、指示されたマーカに対して前記投影手段によってスポットコンテンツを投影する指示マーカ明示手段と、を更に備えることが望ましい。
ユーザは、全マーカ明示手段により投影されるスポットコンテンツによって、紙媒体の印刷内容のうち指示可能な画像（マーカ）を直感的に認識できる。また、指示マーカ明示手段によって投影されるスポットコンテンツにより、指示したマーカを装置が認識したことを直感的に認識できる。そのため、ユーザにとって使用しやすい案内情報提供システムを提供できる。
【００１４】
ここで、投影手段により投影されるスポットコンテンツは、単に投影対象を局所的に照らす光のみならず、スポットコンテンツ自体が形状や情報等を示すものであってもよい。
【００１５】
また、第１の発明の案内情報提供システムにおいて、前記表示手段は、前記撮像手段が撮影する空間の周囲の床面を含む領域を表示領域とすることが望ましい。
これにより、ユーザが前記紙媒体を持って見ている姿勢のままで、ユーザの視点からは紙から床へ拡張するように情報コンテンツが投影されるように見える。これによりユーザは持っている紙よりも広範囲に拡張表示された情報コンテンツを自然に見ることが可能となる。
【００１６】
また、第１の発明の案内情報提供システムにおいて、前記画像認識手段は、前記撮像手段により撮影された画像内に前記紙媒体に印刷された全てのマーカが収まっているか否かを判定する第１判定手段と、前記第１判定手段により全てのマーカが収まっていると判定された場合に、前記全てのマーカのうち、認識されないマーカがあるか否かを判定する第２判定手段と、前記第２判定手段により認識されないマーカがあると判定された場合に、認識されないマーカの配置に基づいて、前記ユーザが指示したマーカを決定する指示マーカ決定手段と、を備えることが望ましい。
これにより、撮像した画像を用いて、ユーザにより指示されたマーカを認識することが可能となる。
【００１７】
第２の発明は、複数のマーカの画像パターンと各マーカに対応する情報コンテンツを関係付けて記憶する記憶手段を備えた制御装置であって、ユーザが所持している紙媒体を撮像する撮像手段により撮像された画像情報に基づいて前記ユーザが紙面上で指示したマーカを認識する画像認識手段と、前記画像認識手段により認識された前記ユーザによる指示マーカに応じて前記記憶手段から対応する情報コンテンツを読み出し、前記ユーザの視点から視認可能な領域に情報コンテンツを表示する表示手段に前記対応する情報コンテンツを表示させる表示制御手段と、を備えることを特徴とする制御装置である。
【００１８】
第２の発明の制御装置によれば、第１の発明と同様に、撮像手段によって、ユーザが所持している紙媒体を画像情報として取得すると、画像認識手段は、前記撮像手段により撮像された画像情報に基づいて前記ユーザが紙面上で指示したマーカを認識し、表示制御手段は、認識されたマーカに対応する情報コンテンツを記憶装置から読み出して前記ユーザの視点から視認可能な領域に表示させる。
【００１９】
これにより、ユーザが持っている紙媒体上でいずれかのマーカを指等で指し示すと、指し示したマーカに応じた適切な情報コンテンツがユーザの視点から見える領域に表示されるようになる。よって、ユーザに簡単に提供できる媒体である紙媒体を利用して、直感的な方法で案内表示を行えるようになる。また、非電子媒体である普通の紙への指示動作であるにもかかわらず、現実の空間に案内（情報コンテンツ）が表示されるという拡張現実感のある興趣に満ちた案内表示を行うことが可能となる。
【００２０】
第３の発明は、ユーザが所持している紙媒体を画像情報として取得する撮像ステップと、撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識ステップと、複数のマーカの画像パターンに対応する情報コンテンツが記憶された記憶装置から、認識した前記マーカに対応する情報コンテンツを読み出し、前記ユーザの視点から視認可能な領域に情報コンテンツを表示させる表示制御ステップと、を含むことを特徴とする案内情報提供方法である。
【００２１】
第３の発明の案内情報提供方法によれば、第１及び第２の発明と同様に、ユーザが所持している紙媒体を画像情報として取得すると、画像情報に基づいて、前記ユーザが紙面上で指示したマーカを認識し、記憶装置から、認識したマーカに対応する情報コンテンツを読み出し、該情報コンテンツを前記ユーザの視点から視認可能な領域に表示させる。
【００２２】
これにより、持っている紙媒体上でいずれかのマーカをユーザが指等で指し示すと、指し示したマーカに応じた適切な情報コンテンツがユーザの視点から見える領域に表示されるようになる。よって、ユーザにとって馴染みのある媒体である紙媒体を利用して、直感的な方法で案内表示を行えるようになる。また、非電子媒体である普通の紙への指示動作であるにもかかわらず、現実の空間に案内（情報コンテンツ）が表示されるという拡張現実感のある興趣に満ちた案内表示を行うことが可能となる。
【００２３】
第４の発明は、コンピュータにより読み取り可能な形式で記述されたプログラムであって、撮像手段により所定の空間内に入場したユーザが所持している紙媒体を画像情報として取得する撮像ステップと、撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識ステップと、認識した前記マーカに応じて、複数のマーカの画像パターンに対応する複数の情報コンテンツが記憶された記憶装置から対応する情報コンテンツを読み出し、表示装置に該情報コンテンツを出力する表示制御ステップと、を含む処理をコンピュータに実行させるためのプログラムである。
【００２４】
第４の発明により、コンピュータを第１の発明の案内情報提供システムの制御装置として機能させることが可能となる。
【発明の効果】
【００２５】
本発明によれば、ユーザにとって馴染みのある媒体である紙媒体を利用して、直感的な方法で、拡張現実感のある案内を表示する案内情報提供システム等を提供できる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る案内情報提供システム１のハードウエア構成を示す図
【図２】案内情報提供システム１の内部構成を示すブロック図
【図３】マーカと紙面との関連付けテーブル５６の一例を示す図
【図４】本発明で利用される紙（パンフレット８）の印刷内容と、全マーカ８ａ〜８ｆに対して投影されるスポットコンテンツ４１の一例を示す図
【図５】指示マーカ８ｆに対して投影されるスポットコンテンツ４３の一例を示す図
【図６】床面（コンテンツ表示エリア６）への表示内容の一例を示す図
【図７】ユーザ視点から見た紙面（パンフレット８）と床面（コンテンツ表示エリア６）の投影イメージ図
【図８】案内情報提供システム１における処理の流れを示すシーケンス図
【図９】画像認識処理の流れを説明するフローチャート
【発明を実施するための形態】
【００２７】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
まず、図１〜図２を参照して本発明に係る案内情報提供システム１の構成について説明する。
【００２８】
図１は、本発明に係る案内情報提供システム１のハードウエア構成を示す図であり、図２は、案内情報提供システム１の内部構成を示すブロック図である。
【００２９】
図１及び図２に示すように、案内情報提供システム１は、ユーザ７が入場する空間の所定の撮像エリア１１を撮像する撮像装置２と、床面等の所定のコンテンツ表示エリア６に情報コンテンツを表示する第１投影装置３と、パンフレット８（紙媒体）の紙面にスポットコンテンツを投影したりユーザ７の立ち位置付近に所定のコンテンツを投影する第２投影装置４とが制御装置５に接続されて構成される。撮像装置２、第１投影装置３、及び第２投影装置４は、架台１０に設置されている。
【００３０】
図１の例では、撮像装置２及び第２投影装置４は、ユーザ７の立ち位置の上部に設置され、また、第１投影装置３はユーザ７の視点から視認可能なコンテンツ表示エリア６内に所定の表示内容を投影することが可能な位置に設置されているが、この例に限定されない。ただし、撮像装置２の設置位置は、ユーザ７が持って見ているパンフレット８の印刷内容を認識可能な距離としつつ、ユーザ７の動きを妨げない広さの撮像エリア１１を確保できるような距離とすることが望ましい。
【００３１】
撮像装置２は、所定の撮像エリア１１内を撮像する装置であり、例えば、赤外線カメラ等により構成される。撮像エリア１１は、当該案内情報提供システム１の設置空間内に入場したユーザ７が手に持って見ているパンフレット８全体を撮像できる範囲とする。本実施の形態の案内情報提供システム１では、後述するように、パンフレット８にスポットコンテンツが投影された状態と投影されない状態との両方の状態でパンフレット８の印刷内容を撮像する必要がある（図４参照）。このため、撮像対象の明るさによらず撮像が可能な赤外線カメラを用いることが好適である。
【００３２】
第１投影装置３は、案内情報提供システム１の設置空間内にいるユーザ７の視点から視認可能な範囲にあるコンテンツ表示エリア６に所定のコンテンツを表示する装置であり、例えば、プロジェクタ等が用いられる。コンテンツ表示エリア６は、図１に示すように床面とすることが好適であるが、壁面等を含むようにしてもよい。また、第１投影装置３に代えて、ユーザ７が視認可能な位置に設置されたモニタ等を利用してもよい。また、第１投影装置３とモニタとを組み合わせた表示媒体としてもよい。
第１投影装置３による情報コンテンツの表示のさせ方については後述する（図６、図７参照）。
また、第１投影装置３は、投影内容に同期した音声情報を発するスピーカ等を備えるようにしてもよい。
【００３３】
第２投影装置４は、案内情報提供システム１の設置空間内にいるユーザ７の持つパンフレット８の紙面や、ユーザ７の立ち位置付近（投影エリア１２）に所定の表示内容を表示させる装置であり、例えば、プロジェクタ等が用いられる。第２投影装置４は、ユーザ７の動作に応じてパンフレット８の印刷内容に所定のスポットコンテンツを投影する（全マーカ明示または指示マーカ明示）。また、撮像エリア１１内にユーザ７がいない状態では、投影エリア１２の床面に立ち位置マークやガイドメッセージ等を投影する。第２投影装置４から投影されるスポットコンテンツについては後述する（図４、図５参照）。
【００３４】
制御装置５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク等の記憶装置、通信Ｉ／Ｆ、周辺機器Ｉ／Ｆ等を備えた、例えばパーソナルコンピュータ等により構成される。
第１投影装置３、第２投影装置４、及び撮像装置２等と、制御装置５との接続は周辺機器Ｉ／Ｆを介して行なわれることとなる。
【００３５】
図２に示すように、制御装置５のＣＰＵは、画像認識部５１及び表示制御部５３として機能する。また、制御装置５のＲＯＭ，ＲＡＭ，または記憶装置は、マーカＤＢ（データベース）５５、及びコンテンツＤＢ（データベース）５７として機能する。マーカＤＢ５５及びコンテンツＤＢ５７は、制御装置５の記憶装置に予め記憶される構成としてもよいし、所定の記憶媒体等に記憶され、周辺機器Ｉ／Ｆにより読み込まれるものとしてもよい。
【００３６】
画像認識部５１は、撮像装置２により撮影された画像の内容を認識する処理を行う。具体的には、画像認識部５１は、撮像装置２によって撮像されたパンフレット８の印刷内容から紙面を識別し、紙面に印刷されたマーカ８ａ〜８ｆのマーカＩＤや配置を解析し、パンフレット８の識別情報（紙面ＩＤ）と位置姿勢情報とを生成する。パンフレット８の位置姿勢情報とは、ユーザ７の向きやパンフレット８の持ち方の状態を表す情報である。なお、マーカの認識やその認識精度を向上させるために、特開２００９−２７１８２２号公報や“マーカー追跡に基づく拡張現実感システムとそのキャリブレーション”（加藤博一、他３名、日本バーチャルリアリティ学会論文誌Vol.4，No.4，1999）に記載されるような周知の方法を用いればよい。
【００３７】
パンフレット８の識別（紙面ＩＤの識別）を行なう際、画像認識部５１は、取得した撮像画像内からマーカＤＢ５５に登録されているマーカの画像パターンに該当するマーカを抽出し、抽出した各マーカのマーカＩＤをそれぞれ特定する。更に、画像認識部５１は、パンフレット８に含まれるマーカＩＤのパターン（どのマーカが存在するか）に基づいてパンフレット８の紙面ＩＤを識別する。パンフレット８の紙面とマーカとの関連付けは、図３に示すマーカと紙面との関連付けテーブル５６に予め登録されている。
なお、パンフレット８の識別という語の意味としては、パンフレット８の「種類」の識別、及びパンフレット８の「頁（表・裏等）」の識別の両者を含むものとする。
【００３８】
マーカＤＢ５５には、複数のマーカの画像パターンと、図３に示すマーカと紙面との関連付けテーブル５６とが格納される。例えば、紙面ＩＤ「１」のパンフレット８には、マーカＩＤ「Ａ」、「Ｂ」、「Ｃ」のマーカが含まれる。また、紙面ＩＤ「２」のパンフレット８には、マーカＩＤ「Ｄ」、「Ｅ」、「Ｆ」のマーカが含まれる。図３の例の場合、画像認識部５１は、マーカＩＤ「Ａ」、「Ｂ」、「Ｃ」のマーカが撮像した画像に含まれると、紙面ＩＤを「１」と判定し、マーカＩＤ「Ｄ」、「Ｅ」、「Ｆ」のマーカが撮像した画像に含まれると、紙面ＩＤを「２」と判定する。
【００３９】
また、複数のマーカＩＤの位置関係により、紙面ＩＤを判定する手法も考えられる。例えば、同じ展示会のパンフレット８であるが言語の異なるものについて、言語の違いを識別するために、各言語で同一の複数のマーカを使用しつつも、マーカの配置が異なるように印刷されるものとする。画像認識部５１は、含まれるマーカの種類で紙面ＩＤを識別し、更に各マーカの位置関係から言語を識別する。
【００４０】
また、画像認識部５１は、紙面ＩＤ認識後、撮像画像に存在すべき全てのマーカのうち、いずれかのマーカが認識されない場合は、そのマーカがユーザ７によって指差しされている状態であると認識する。すなわち、ユーザ７により隠されたマーカを指示マーカとして認識する。複数のマーカが隠されている場合は、マーカの配置による優先順位に基づいて指示マーカを決定する。
【００４１】
すなわち、画像認識部５１は、紙面に印刷されている全てのマーカを認識すると、それらのマーカＩＤを紙面での配置に基づいてナンバリングする。例えば、図４に示すパンフレット８において、上段のマーカ８ａ，８ｂ，８ｃについて左から順に、「１」，「２」，「３」、下段のマーカ８ｄ，８ｅ，８ｆについて左から順に「４」，「５」，「６」のようにナンバリングする。そして、マーカが２つ以上隠されている場合は、隠されているマーカのうち最も番号が小さいマーカＩＤを指示マーカとして決定する。例えば、「１」，「４」とナンバリングされたマーカ８ａ，８ｄが隠されている場合は、最も番号の小さい「１」のマーカ８ａが指示マーカとされる。同様に、「２」，「５」，「６」とナンバリングされたマーカ８ｂ，８ｅ，８ｆが隠されている場合は、最も小さい「２」のマーカ８ｂが指示マーカとされる。なお、この例は、ユーザ７が右利きであることを想定して上段優先かつ左優先として指示マーカを決定している。
【００４２】
表示制御部５３は、画像認識部５１により認識されたマーカの情報や紙面の位置姿勢情報に基づいて適切な投影情報（情報コンテンツ及びスポットコンテンツ）を第１投影装置３や第２投影装置４に出力し、適切な位置に表示させる処理を実行する。
【００４３】
具体的には、図４に示すように、表示制御部５３は、画像認識部５１がパンフレット８の紙面ＩＤを識別した段階で、そのパンフレット８に印刷されている全てのマーカ８ａ〜８ｆに対して、第２投影装置４によりスポットコンテンツ４１を投影させる（全マーカ明示手段）。
図４は、パンフレット８の各マーカ８ａ，８ｂ，８ｃ，８ｄ，８ｅ，８ｆに対して第２投影装置４によりスポットコンテンツ４１が投影された状態を示している。図中符号４１の点線内が第２投影装置４にて明示される。スポットコンテンツ４１により、各マーカ８ａ，８ｂ，８ｃ，８ｄ，８ｅ，８ｆが存在することや各マーカの位置がはっきりと明示されるため、ユーザ７は明示された部分を指差し可能なものとして認識できる。また、装置が紙面を識別し、指差し可能な状態にあることを認識できる。
【００４４】
また表示制御部５３は、図５に示すように、画像認識部５１が指示マーカ８ｆを認識した段階で、指示マーカ８ｆに対して第２投影装置４によってスポットコンテンツ４３を投影させる（指示マーカ明示手段）。
図５は、パンフレット８のマーカ８ｆに対して第２投影装置４によりスポットコンテンツ４３が投影された状態を示している。スポットコンテンツ４３により、ユーザ７は指で差した部分（マーカ８ｆ）を装置側が認識したことを認識できる。
【００４５】
なお、スポットコンテンツ４１，４３は、図４及び図５の例では、各マーカを局所的に照らす光であるが、これに限定されない。例えば、スポットコンテンツ自体が何らかの情報や形状等を示してもよい。
【００４６】
更に表示制御部５３は、図６に示すように、画像認識部５１により認識された指示マーカに応じて、第１投影装置３に適切な情報コンテンツをコンテンツ表示エリア６に表示させる。第１投影装置３が表示する情報コンテンツ、及び情報コンテンツとマーカとを関連付けるテーブルは、コンテンツＤＢ５７に予め記憶されている。例えばマーカＩＤ「Ａ」が指示されると、表示制御部５３はコンテンツＤＢ５７の関連付けテーブルからマーカＩＤ「Ａ」に関連付けられるコンテンツを特定し、そのコンテンツを読み出し、第１投影装置３に投影を要求する。第１投影装置３は、制御装置５に制御されて情報コンテンツを投影する。
【００４７】
図６に示すように、床面等のコンテンツ表示エリア６に投影される情報コンテンツには、動画、静止画、テキスト等で表現されたコンテンツ６１の他、目的地のマーク６３や、目的地へのルート６５、目的地への到達手段（徒歩の場合は足のマーク６２、階段やエレベータ等を使う場合はそれらのマーク等）、目的地への距離６４等が含まれる。
なお、コンテンツ６１の再生に同期して音声情報が再生されるようにしてもよい。この場合は、図示しない音声装置が案内情報提供システム１に付加されることとなる。
【００４８】
また、表示制御部５３により、情報コンテンツやスポットコンテンツの表示位置を、ユーザ７が指示したマーカの位置に追従させるように制御してもよい。
例えば、ユーザ７の視点からコンテンツ表示エリア６を見たときに、パンフレット８の位置や保持角度から情報コンテンツ６１〜６５がコンテンツ表示エリア６へ連続するように表示させる。すなわち、画像認識部５１は、撮像した動画の各フレーム画像についてそれぞれ画像認識処理を実行し、各フレーム画像から指示マーカを検出すると、その指示マーカの移動方向や移動量を追跡し、追跡情報を表示制御部５３に出力する。表示制御部５３は、追跡情報に従ってコンテンツの表示角度や表示位置を変更させる。
【００４９】
図７に示すように、ユーザ７の視点からは、情報コンテンツ６１〜６４が、パンフレット８の紙面から床に拡張表示されたような見え方となる。また、図７の点線４５に示すように、パンフレット８の指示マーカ８ｆとコンテンツ表示エリア６の表示内容とを連続的に表示させるための軌跡コンテンツ４５を紙面に第２投影装置４によって投影させるようにしてもよい。
【００５０】
パンフレット８は、図４及び図５等に示すように、任意の内容が印刷された紙媒体であり、紙やインクの材質を問わない。ただし、赤外線カメラ（撮像装置２）からマーカを識別できるコントラストが得られる材質とする。特に、紙面表面はマット紙等を用いると効果的である。また、パンフレット８の印刷内容には、１または複数のマーカが含まれる。
【００５１】
マーカは、図４、図５の８ａ〜８ｆに示すように、所定形状の枠で囲まれた図案全体のみならず、枠に囲まれない図案も含めるものとする。図案には、図形、イラスト、図案化された文字等が含まれるものとする。マーカの画像パターンは、マーカＤＢ５５に予め登録されるものとする。
【００５２】
また、パンフレット８に印刷されるマーカには、言語を識別するマーカが含まれてもよい。また、紙面デザイン等の制約等がなければ、紙面の位置姿勢を認識させるためのマーカが紙面の所定位置に印刷されていてもよい。また、マーカ以外の印刷内容については任意である。
【００５３】
次に、案内情報提供システム１の動作を説明する。
図８は、ユーザ７の動作に応答して行なわれる案内情報提供システム１の各部の動作の流れを説明するシーケンス図である。
【００５４】
図８に示すように、まずユーザ７がパンフレット８を持って撮像エリア１１内に入場し（ステップＵ１）、パンフレット８を撮像エリア１１にかざすと（ステップＵ２）、撮像装置２は、撮像エリア１１内のパンフレット８を撮影する。撮像精度を向上するために第２投影装置４等で立ち位置にマークを投影してもよい。また、ユーザ７がパンフレットをかざす動作は、撮像装置２がパンフレット８の紙面全体を撮像できる位置や姿勢でパンフレット８が保持される程度でよい。
【００５５】
撮像装置２は、ユーザ７がかざした（手に持って見ている）パンフレット８を撮像し、撮像情報を制御装置５の画像認識部５１へ送出する（ステップＳ１）。画像認識部５１は、撮像装置２の撮像情報をもとにパンフレット８の紙面の識別と位置姿勢の状態を演算する（ステップＳ２）。画像認識部５１は、パンフレット８の識別情報及び位置姿勢情報をもとにパンフレット８の種類と印刷されているマーカを特定し、該当する投影情報を表示するようリクエストする（ステップＳ３）。表示制御部５３は、画像認識部５１からのリクエストに応答して、該当する投影情報をコンテンツＤＢ５７から読み出し、該当する投影装置３，４に投影させる（ステップＳ４）。第２投影装置４は、表示制御部５３から送出された制御情報に従って、パンフレット８の紙面に所定の投影情報（スポットコンテンツ４１，４３、軌跡コンテンツ４５等を含む）を投影する（ステップＳ５）。また、第１投影装置３では、表示制御部５３から送出された制御情報に従って、出力された情報コンテンツ６１〜６５を床面等のコンテンツ表示エリア６に投影する（ステップＳ６）。
ユーザ７は、パンフレット８上の投影情報を見たり（ステップＵ３）、床面（コンテンツ表示エリア６）上の投影情報を見たりすることが可能となる（ステップＵ４）。
【００５６】
また、ユーザ７がパンフレット８上の所望のマーカを指差した状態も（ステップＵ５）、撮像装置２に撮像され（ステップＳ１）、その撮像情報は画像認識部５１により認識演算される（ステップＳ２）。認識された情報に基づいて、該当する投影情報が該当する投影装置３，４によって投影される（ステップＳ３〜Ｓ６）
【００５７】
ここで、図９を参照して、画像認識部５１において実行される画像認識処理を説明する。
【００５８】
画像認識部５１は、撮像装置２による撮像画像を取り込み（ステップＳ２１）、画像内のマーカを検索する（ステップＳ２２）。マーカが存在しない場合は（ステップＳ２３；Ｎｏ）は、紙面が正しい位置にないと判定して（ステップＳ２４）、紙面ＩＤに「０」を設定する（ステップＳ２５）。この場合、画像認識部５１は、コンテンツの投影を要求せずに（ステップＳ２６）、次の画像フレームの処理を行う（ステップＳ２７）。
【００５９】
マーカが撮像した画像内に１つでもある場合（ステップＳ２３；Ｙｅｓ）、画像認識部５１は、現在設定されている紙面ＩＤを判定する（ステップＳ２８）。現在設定されている紙面ＩＤが「０」の場合は、マーカＤＢ５５に登録されているマーカと紙面との関連付けテーブル５６を参照して、各紙面ＩＤについて、それぞれ紐付けられている全てのマーカが存在するか否かを判定する（ステップＳ２９）。いずれの紙面ＩＤについても紐付けられている全てのマーカが存在しない場合は（ステップＳ２９；Ｎｏ）、紙面が正しい位置にないと判定して（ステップＳ２４）、紙面ＩＤに「０」を設定する（ステップＳ２５）。この場合、コンテンツの投影を要求せずに（ステップＳ２６）、次の画像フレームの処理を行う（ステップＳ２７）。
【００６０】
マーカが画像内に１つ以上あり（ステップＳ２３；Ｙｅｓ）、現在設定されている紙面ＩＤが「０」である場合（ステップＳ２８；Ｙｅｓ）において、画像内にいずれかの紙面ＩＤに紐付けられている全てのマーカが存在すると判定した場合は（ステップＳ２９；Ｙｅｓ）、紙面が正しい位置にあると判定して（ステップＳ３０）、該当する紙面ＩＤに変更する（ステップＳ３１）。この段階で、画像認識部５１は、マーカ非選択時のスポットコンテンツ４１を紙面に表示させるよう表示制御部５３に要求する（ステップＳ３２）。このとき、マーカ非選択時の情報コンテンツを床面等のコンテンツ表示エリア６に表示させるよう表示制御部５３に要求してもよい。
パンフレット８の紙面の各マーカ８ａ〜８ｆには、図４に示すようなスポットコンテンツ４１が投影される。マーカ非選択時は、紙面の全てのマーカ８ａ〜８ｆにスポットコンテンツ４１がそれぞれ投影される。
【００６１】
ステップＳ２８において、現在設定されている紙面ＩＤが「０」でないと判定した場合は、画像認識部５１は、設定されている紙面ＩＤに紐付けられた全マーカが画像内に存在するか否かを判定する（ステップＳ３３）。
設定されている紙面ＩＤに紐付けられた全マーカが画像内に存在する場合は（ステップＳ３３；ＹＥＳ）、ユーザ７がマーカを指差していないと判定し（ステップＳ３４）、ステップＳ３２と同様の表示状態とする。すなわち、画像認識部５１は、マーカ非選択時のスポットコンテンツ４１を紙面に表示させるよう表示制御部５３に要求し、また、マーカ非選択時の情報コンテンツを床面等のコンテンツ表示エリア６に表示させるよう表示制御部５３に要求する（ステップＳ３２）。
【００６２】
ステップＳ２８において、現在設定されている紙面ＩＤが「０」でなく、設定されている紙面ＩＤに紐付けられた全マーカのうちがいくつかのマーカが画像内に存在しない場合（ステップＳ３３；ＮＯ）は、画像認識部５１は、ユーザ７がマーカを指差していると判定する（ステップＳ３５）。ステップＳ３５にて複数のマーカが認識されない場合は、認識されないマーカのうち、優先順位の高いマーカ（例えば、上段優先かつ左優先）を指示マーカとして決定する（ステップＳ３６）。
【００６３】
この段階で、画像認識部５１は、マーカ選択時のスポットコンテンツ４３を紙面に表示させるよう表示制御部５３に要求し、また、選択されたマーカに該当する情報コンテンツを床面等のコンテンツ表示エリア６に表示させるよう表示制御部５３に要求する（ステップＳ３７）。
パンフレット８の紙面には、図５に示すようなスポットコンテンツ４３が投影される。マーカ選択時は、選択されたマーカ８ｆにだけスポットコンテンツ４３が投影される。
【００６４】
ユーザ７が撮像エリア１１から退場すると（図８のステップＵ６）、撮像装置２の撮像エリア１１には紙面情報が何も撮像されない状態となる（ステップＳ７）。この場合、画像認識部５１は、ユーザ７が撮像エリア１１から退場したと特定し（ステップＳ８）、ユーザ退場に該当する投影情報を表示制御部５３にリクエストする（ステップＳ９）。
表示制御部５３は、画像認識部５１からのリクエストに応答して、該当する投影情報をコンテンツＤＢ５７から読み出し、該当する投影装置３，４に投影させる（ステップＳ１０）。例えば、第１投影装置３では、表示制御部５３から送出された制御情報に従って、所定の情報コンテンツを床面等のコンテンツ表示エリア６に投影する（ステップＳ１１）。
次に入場したユーザ７は、床面等の投影情報を見ることが可能となる（ステップＵ７）。
【００６５】
以上説明したように、本実施の形態の案内情報表示システム１は、撮像装置２、第１投影装置３、第２投影装置４、及び制御装置５を備え、撮像装置２によってユーザ７が手に持って見ているパンフレット８を撮像し、制御装置５の画像認識部５１によって、撮像情報からパンフレット８の紙面に印刷されたマーカを抽出する。そして、画像認識部５１によって、ユーザ７により紙面上で指示されたマーカを認識し、表示制御部５３によって、認識された指示マーカに応じた適切な情報コンテンツを床面等の情報コンテンツ表示エリア６に表示させる。
【００６６】
また、画像認識部５１がパンフレット８の紙面を識別した段階で、表示制御部５３及び第２投影装置４によって全てのマーカに対してスポットコンテンツ４１を投影させ、画像認識部５１が指示マーカを認識した段階で、表示制御部５３及び第２投影装置４によって指示マーカに対してスポットコンテンツ４３を投影させる。
【００６７】
これにより、ユーザ７が持っているパンフレット８の印刷内容のうちいずれかのマーカをユーザ７が指等で指し示すと、指し示したマーカに応じた適切な情報コンテンツがユーザ７の視点から見える領域（コンテンツ表示エリア６）に表示されるようになる。よって、ユーザ７に簡単に提供でき、馴染みのある媒体である紙媒体を利用して、直感的な方法で案内情報を提供できるようになる。また、非電子媒体である普通の紙への指示動作であるにもかかわらず、現実の空間に案内情報（情報コンテンツ）が表示されるという拡張現実感のある興趣に満ちた情報提供を行えるようになる。
【００６８】
また、画像認識部５１が紙面を認識した段階で、指示可能な全てのマーカにスポットコンテンツ４１が投影されるので、ユーザ７は、パンフレット８の印刷内容のうち指示可能な部分（マーカ）がどこであるかを直感的に認識できる。また、ユーザ７が指示したマーカを画像認識部５１が認識すると、指示マーカのみにスポットコンテンツ４３が投影されるので、ユーザ７は、装置が指示マーカを認識したことを直感的に認識できる。そのため、ユーザ７にとって使用しやすい案内情報提供システム１を提供できる。
【００６９】
また、情報コンテンツの表示エリア６をユーザ７の立ち位置の周囲の床面を含む領域とすれば、ユーザ７がパンフレット８を持って見ている姿勢のままで、ユーザ７の視点からは紙面から床面へ拡張するように情報コンテンツが投影されるように見える。これによりユーザ７は紙よりも広範囲に拡張表示された情報コンテンツを自然に見ることが可能となる。
【００７０】
また、制御装置５の画像認識部５１は、前記撮像手段により撮像された画像内にパンフレット８に印刷された全てのマーカが収まっているか否かを判定し、全てのマーカが収まっていると判定した場合に、全てのマーカのうち、認識されないマーカがあるか否かを判定し、認識されないマーカがあると判定した場合に、認識されないマーカの配置に基づいて、ユーザ７が指示したマーカを決定する。これにより、画像認識部５１は、撮像した画像からユーザ７により指示されたマーカを認識することが可能となる。
【００７１】
なお、本実施の形態の案内情報表示システム１は、撮像装置２を１箇所に設け、撮像エリア１１を撮像するものとしたが、撮像装置２の設置箇所は複数であってもよい。また投影装置３，４の設置位置や設置箇所についても複数設けてもよい。
複数の撮像エリア１１、複数の表示エリア６を設ける場合は、ユーザ７の立ち位置に応じて撮像可能な撮像エリア１１によってパンフレット８を撮像し、指差したマーカを認識して、最適な表示エリア６に表示させる。また、コンテンツ表示エリア６は、ユーザ７の前方のみならず、ユーザ７の周囲としてもよい。この場合、第１投影装置３は、設定した表示エリア６に投影可能な位置に設置される。また、第１投影装置とモニタとを組み合わせて、情報コンテンツを表示するようにしてもよい。
また、ユーザ７による紙面への指差し動作は、指を使う場合に限定されず、物を利用して指示マーカを隠すようにしてもよい。
その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７２】
１・・・案内情報提供システム
２・・・撮像装置
３・・・第１投影装置
４・・・第２投影装置
４１・・・マーカ非選択時のスポットコンテンツ
４３・・・マーカ選択時のスポットコンテンツ
４５・・・軌跡コンテンツ
５・・・制御装置
５１・・・画像認識部
５３・・・表示制御部
５５・・・マーカＤＢ
５７・・・コンテンツＤＢ
６・・・コンテンツ情報表示エリア
７・・・ユーザ
８・・・パンフレット
８ａ，８ｂ，８ｃ，８ｄ，８ｅ，８ｆ・・・・マーカ
１０・・・架台
１１・・・撮像エリア
【技術分野】
【０００１】
本発明は、紙媒体に対する指示動作に応じて適切な案内表示を行う案内情報提供システム等に関する。
【背景技術】
【０００２】
従来より、地図上で目的地への経路情報を案内するナビゲーションシステムが開発されている。例えば、車載用ナビゲーションシステムでは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して現在位置を測位し、地図上に方向や矢印等を表示してナビゲーションを行うものがある。また、特許文献１に示すような携帯用ナビゲーション装置も提案されている。特許文献１に示す携帯用ナビゲーション装置では、装置本体の方位と実際の方位とを一致させて地図を表示させている。
また、経路情報を地図上に表示するもの以外にも様々な手法でユーザに提供するものが提案されている。例えば、特許文献２には、施設内を移動する操作装置（カート）からの操作に従って、操作装置の現在位置や目的地情報を取得すると、目的地への経路情報を生成して施設内の最寄の出力装置に案内情報を出力する案内情報提供システムについて記載されている。また、特許文献３には、経路誘導エリア内の交差点や駅構内の通路の分岐点等に方向表示器を設置し、方向表示器が歩行者の保持する携帯端末の接近を感知すると、携帯端末の保持する目的地座標に基づいて案内センタ装置により探索された経路情報を取得して、方向表示器に経路情報を表示させる経路誘導システムについて記載されている。
【０００３】
ところで、近年ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実感）と呼ばれる技術が開発されている。ＡＲでは、所定の画像パターンを有するマーカをカメラにて検出し、検出したマーカの動きを追跡しつつ、対応する仮想物体を実写画像内に合成表示することにより、現実の空間と仮想的な物体とを融合させた特殊な映像を作成することが可能となっている。ＡＲにおけるマーカ認識に関しては、例えば、非特許文献１や特許文献４等に示すような研究が行われている。非特許文献１には、マーカ位置検出法とそのキャリブレーション法について記載されており、特許文献４には、ＡＲ技術をより柔軟にシミュレーション画像生成に利用するため、基準マーカと対象（絵画）とを正規化する手法について記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２８０５８３号公報
【特許文献２】特開２００４−３４７４５９号公報
【特許文献３】特開２００２−５４９４５号公報
【特許文献４】特開２００９−２７１８２２号公報
【非特許文献】
【０００５】
【非特許文献１】加藤博一、他３名、「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」、論文誌、日本バーチャルリアリティ学会、１９９９、第４巻、第４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の経路誘導に関する技術は、いずれも携帯端末やカート等の操作装置をユーザが所持する必要があった。例えば、展示会の経路誘導において上述の特許文献等に示される手法を用いて経路誘導を行う場合には、入場者に対して携帯端末や移動装置を提供する必要があり、また、場合によっては、入場者がそれらの機器の操作を習熟する必要があった。更に、展示会や遊戯施設等の運営者の立場からは、訪問者の関心を集めるような方法で案内情報を提供することが望まれていた。
【０００７】
本発明は、このような課題に鑑みてなされたもので、その目的とするところは、紙媒体という馴染みのある媒体を利用して、直感的な方法で、拡張現実感のある案内を行う案内情報提供システム等を提供することである。
【課題を解決するための手段】
【０００８】
前述した課題を解決するため第１の発明は、ユーザが所持している紙媒体を画像情報として取得する撮像手段と、前記ユーザの視点から視認可能な領域に情報コンテンツを表示する表示手段と、複数のマーカの画像パターン及び各マーカに対応する情報コンテンツを記憶する記憶手段と、前記撮像手段及び前記表示手段を制御する制御装置と、を備えた案内情報提供システムであって、前記制御装置は、前記撮像手段により撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識手段と、前記画像認識手段により認識された前記マーカに応じて前記記憶手段から対応する情報コンテンツを読み出し、前記表示手段に表示させる表示制御手段と、を備えることを特徴とする案内情報提供システムである。
【０００９】
ここで、マーカとは、紙媒体の印刷内容のうち、予め登録された画像パターンを有するものを意味する。マーカには、枠で囲まれた図案全体、及び枠内の図案そのものが含まれる。図案には、図形、イラスト、図案化された文字が含まれる。
【００１０】
第１の発明の案内情報提供システムによれば、撮像手段によって、ユーザが所持している紙媒体を画像情報として取得すると、前記制御装置の画像認識手段は、前記撮像手段により撮像された画像情報に基づいて前記紙媒体上でユーザが指示したマーカを認識し、表示制御手段は、認識された前記マーカに対応する情報コンテンツを前記記憶手段から読み出し、前記表示手段によって、該情報コンテンツを前記ユーザの視点から視認可能な領域に表示させる。
【００１１】
これにより、ユーザが持っている紙媒体の印刷内容のうちいずれかのマーカをユーザが指等で指し示すと、指し示したマーカに応じた適切な情報コンテンツがユーザの視点から見える領域に表示されるようになる。よって、ユーザに簡単に提供できる媒体である紙媒体を利用して、直感的な方法で案内情報を提供できるようになる。また、非電子媒体である普通の紙への指示動作であるにもかかわらず、現実の空間に案内情報（情報コンテンツ）が表示されるという拡張現実感のある興趣に満ちた情報提供を行えるようになる。
【００１２】
また、第１の発明において、前記記憶手段にはマーカと紙媒体の紙面との関係付けを表したテーブルが格納されており、前記画像認識手段は、前記撮像手段により撮像された画像情報に基づいてユーザが所持している紙媒体の紙面を識別可能であること望ましい。
ここで、「紙媒体の紙面の識別」という語の意味は、紙媒体の「種類」の識別、及び紙媒体の「頁（表・裏等）」の識別の両者を含むものとする。
これにより、画像認識手段は、前記テーブルを参照することにより、撮像手段により撮像された画像情報に含まれるマーカから紙媒体の紙面（紙媒体の種類や紙媒体の頁）を識別できる。
【００１３】
また、第１の発明の案内情報提供システムにおいて、前記紙媒体に対する投影を行う投影手段を更に備え、前記表示制御手段は、前記画像認識手段により前記紙媒体の紙面が識別された段階で、前記紙媒体に印刷されている全てのマーカに対して前記投影手段によってスポットコンテンツを投影する全マーカ明示手段と、前記画像認識手段によりいずれかのマーカが指示されたと認識された段階で、指示されたマーカに対して前記投影手段によってスポットコンテンツを投影する指示マーカ明示手段と、を更に備えることが望ましい。
ユーザは、全マーカ明示手段により投影されるスポットコンテンツによって、紙媒体の印刷内容のうち指示可能な画像（マーカ）を直感的に認識できる。また、指示マーカ明示手段によって投影されるスポットコンテンツにより、指示したマーカを装置が認識したことを直感的に認識できる。そのため、ユーザにとって使用しやすい案内情報提供システムを提供できる。
【００１４】
ここで、投影手段により投影されるスポットコンテンツは、単に投影対象を局所的に照らす光のみならず、スポットコンテンツ自体が形状や情報等を示すものであってもよい。
【００１５】
また、第１の発明の案内情報提供システムにおいて、前記表示手段は、前記撮像手段が撮影する空間の周囲の床面を含む領域を表示領域とすることが望ましい。
これにより、ユーザが前記紙媒体を持って見ている姿勢のままで、ユーザの視点からは紙から床へ拡張するように情報コンテンツが投影されるように見える。これによりユーザは持っている紙よりも広範囲に拡張表示された情報コンテンツを自然に見ることが可能となる。
【００１６】
また、第１の発明の案内情報提供システムにおいて、前記画像認識手段は、前記撮像手段により撮影された画像内に前記紙媒体に印刷された全てのマーカが収まっているか否かを判定する第１判定手段と、前記第１判定手段により全てのマーカが収まっていると判定された場合に、前記全てのマーカのうち、認識されないマーカがあるか否かを判定する第２判定手段と、前記第２判定手段により認識されないマーカがあると判定された場合に、認識されないマーカの配置に基づいて、前記ユーザが指示したマーカを決定する指示マーカ決定手段と、を備えることが望ましい。
これにより、撮像した画像を用いて、ユーザにより指示されたマーカを認識することが可能となる。
【００１７】
第２の発明は、複数のマーカの画像パターンと各マーカに対応する情報コンテンツを関係付けて記憶する記憶手段を備えた制御装置であって、ユーザが所持している紙媒体を撮像する撮像手段により撮像された画像情報に基づいて前記ユーザが紙面上で指示したマーカを認識する画像認識手段と、前記画像認識手段により認識された前記ユーザによる指示マーカに応じて前記記憶手段から対応する情報コンテンツを読み出し、前記ユーザの視点から視認可能な領域に情報コンテンツを表示する表示手段に前記対応する情報コンテンツを表示させる表示制御手段と、を備えることを特徴とする制御装置である。
【００１８】
第２の発明の制御装置によれば、第１の発明と同様に、撮像手段によって、ユーザが所持している紙媒体を画像情報として取得すると、画像認識手段は、前記撮像手段により撮像された画像情報に基づいて前記ユーザが紙面上で指示したマーカを認識し、表示制御手段は、認識されたマーカに対応する情報コンテンツを記憶装置から読み出して前記ユーザの視点から視認可能な領域に表示させる。
【００１９】
これにより、ユーザが持っている紙媒体上でいずれかのマーカを指等で指し示すと、指し示したマーカに応じた適切な情報コンテンツがユーザの視点から見える領域に表示されるようになる。よって、ユーザに簡単に提供できる媒体である紙媒体を利用して、直感的な方法で案内表示を行えるようになる。また、非電子媒体である普通の紙への指示動作であるにもかかわらず、現実の空間に案内（情報コンテンツ）が表示されるという拡張現実感のある興趣に満ちた案内表示を行うことが可能となる。
【００２０】
第３の発明は、ユーザが所持している紙媒体を画像情報として取得する撮像ステップと、撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識ステップと、複数のマーカの画像パターンに対応する情報コンテンツが記憶された記憶装置から、認識した前記マーカに対応する情報コンテンツを読み出し、前記ユーザの視点から視認可能な領域に情報コンテンツを表示させる表示制御ステップと、を含むことを特徴とする案内情報提供方法である。
【００２１】
第３の発明の案内情報提供方法によれば、第１及び第２の発明と同様に、ユーザが所持している紙媒体を画像情報として取得すると、画像情報に基づいて、前記ユーザが紙面上で指示したマーカを認識し、記憶装置から、認識したマーカに対応する情報コンテンツを読み出し、該情報コンテンツを前記ユーザの視点から視認可能な領域に表示させる。
【００２２】
これにより、持っている紙媒体上でいずれかのマーカをユーザが指等で指し示すと、指し示したマーカに応じた適切な情報コンテンツがユーザの視点から見える領域に表示されるようになる。よって、ユーザにとって馴染みのある媒体である紙媒体を利用して、直感的な方法で案内表示を行えるようになる。また、非電子媒体である普通の紙への指示動作であるにもかかわらず、現実の空間に案内（情報コンテンツ）が表示されるという拡張現実感のある興趣に満ちた案内表示を行うことが可能となる。
【００２３】
第４の発明は、コンピュータにより読み取り可能な形式で記述されたプログラムであって、撮像手段により所定の空間内に入場したユーザが所持している紙媒体を画像情報として取得する撮像ステップと、撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識ステップと、認識した前記マーカに応じて、複数のマーカの画像パターンに対応する複数の情報コンテンツが記憶された記憶装置から対応する情報コンテンツを読み出し、表示装置に該情報コンテンツを出力する表示制御ステップと、を含む処理をコンピュータに実行させるためのプログラムである。
【００２４】
第４の発明により、コンピュータを第１の発明の案内情報提供システムの制御装置として機能させることが可能となる。
【発明の効果】
【００２５】
本発明によれば、ユーザにとって馴染みのある媒体である紙媒体を利用して、直感的な方法で、拡張現実感のある案内を表示する案内情報提供システム等を提供できる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る案内情報提供システム１のハードウエア構成を示す図
【図２】案内情報提供システム１の内部構成を示すブロック図
【図３】マーカと紙面との関連付けテーブル５６の一例を示す図
【図４】本発明で利用される紙（パンフレット８）の印刷内容と、全マーカ８ａ〜８ｆに対して投影されるスポットコンテンツ４１の一例を示す図
【図５】指示マーカ８ｆに対して投影されるスポットコンテンツ４３の一例を示す図
【図６】床面（コンテンツ表示エリア６）への表示内容の一例を示す図
【図７】ユーザ視点から見た紙面（パンフレット８）と床面（コンテンツ表示エリア６）の投影イメージ図
【図８】案内情報提供システム１における処理の流れを示すシーケンス図
【図９】画像認識処理の流れを説明するフローチャート
【発明を実施するための形態】
【００２７】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
まず、図１〜図２を参照して本発明に係る案内情報提供システム１の構成について説明する。
【００２８】
図１は、本発明に係る案内情報提供システム１のハードウエア構成を示す図であり、図２は、案内情報提供システム１の内部構成を示すブロック図である。
【００２９】
図１及び図２に示すように、案内情報提供システム１は、ユーザ７が入場する空間の所定の撮像エリア１１を撮像する撮像装置２と、床面等の所定のコンテンツ表示エリア６に情報コンテンツを表示する第１投影装置３と、パンフレット８（紙媒体）の紙面にスポットコンテンツを投影したりユーザ７の立ち位置付近に所定のコンテンツを投影する第２投影装置４とが制御装置５に接続されて構成される。撮像装置２、第１投影装置３、及び第２投影装置４は、架台１０に設置されている。
【００３０】
図１の例では、撮像装置２及び第２投影装置４は、ユーザ７の立ち位置の上部に設置され、また、第１投影装置３はユーザ７の視点から視認可能なコンテンツ表示エリア６内に所定の表示内容を投影することが可能な位置に設置されているが、この例に限定されない。ただし、撮像装置２の設置位置は、ユーザ７が持って見ているパンフレット８の印刷内容を認識可能な距離としつつ、ユーザ７の動きを妨げない広さの撮像エリア１１を確保できるような距離とすることが望ましい。
【００３１】
撮像装置２は、所定の撮像エリア１１内を撮像する装置であり、例えば、赤外線カメラ等により構成される。撮像エリア１１は、当該案内情報提供システム１の設置空間内に入場したユーザ７が手に持って見ているパンフレット８全体を撮像できる範囲とする。本実施の形態の案内情報提供システム１では、後述するように、パンフレット８にスポットコンテンツが投影された状態と投影されない状態との両方の状態でパンフレット８の印刷内容を撮像する必要がある（図４参照）。このため、撮像対象の明るさによらず撮像が可能な赤外線カメラを用いることが好適である。
【００３２】
第１投影装置３は、案内情報提供システム１の設置空間内にいるユーザ７の視点から視認可能な範囲にあるコンテンツ表示エリア６に所定のコンテンツを表示する装置であり、例えば、プロジェクタ等が用いられる。コンテンツ表示エリア６は、図１に示すように床面とすることが好適であるが、壁面等を含むようにしてもよい。また、第１投影装置３に代えて、ユーザ７が視認可能な位置に設置されたモニタ等を利用してもよい。また、第１投影装置３とモニタとを組み合わせた表示媒体としてもよい。
第１投影装置３による情報コンテンツの表示のさせ方については後述する（図６、図７参照）。
また、第１投影装置３は、投影内容に同期した音声情報を発するスピーカ等を備えるようにしてもよい。
【００３３】
第２投影装置４は、案内情報提供システム１の設置空間内にいるユーザ７の持つパンフレット８の紙面や、ユーザ７の立ち位置付近（投影エリア１２）に所定の表示内容を表示させる装置であり、例えば、プロジェクタ等が用いられる。第２投影装置４は、ユーザ７の動作に応じてパンフレット８の印刷内容に所定のスポットコンテンツを投影する（全マーカ明示または指示マーカ明示）。また、撮像エリア１１内にユーザ７がいない状態では、投影エリア１２の床面に立ち位置マークやガイドメッセージ等を投影する。第２投影装置４から投影されるスポットコンテンツについては後述する（図４、図５参照）。
【００３４】
制御装置５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスク等の記憶装置、通信Ｉ／Ｆ、周辺機器Ｉ／Ｆ等を備えた、例えばパーソナルコンピュータ等により構成される。
第１投影装置３、第２投影装置４、及び撮像装置２等と、制御装置５との接続は周辺機器Ｉ／Ｆを介して行なわれることとなる。
【００３５】
図２に示すように、制御装置５のＣＰＵは、画像認識部５１及び表示制御部５３として機能する。また、制御装置５のＲＯＭ，ＲＡＭ，または記憶装置は、マーカＤＢ（データベース）５５、及びコンテンツＤＢ（データベース）５７として機能する。マーカＤＢ５５及びコンテンツＤＢ５７は、制御装置５の記憶装置に予め記憶される構成としてもよいし、所定の記憶媒体等に記憶され、周辺機器Ｉ／Ｆにより読み込まれるものとしてもよい。
【００３６】
画像認識部５１は、撮像装置２により撮影された画像の内容を認識する処理を行う。具体的には、画像認識部５１は、撮像装置２によって撮像されたパンフレット８の印刷内容から紙面を識別し、紙面に印刷されたマーカ８ａ〜８ｆのマーカＩＤや配置を解析し、パンフレット８の識別情報（紙面ＩＤ）と位置姿勢情報とを生成する。パンフレット８の位置姿勢情報とは、ユーザ７の向きやパンフレット８の持ち方の状態を表す情報である。なお、マーカの認識やその認識精度を向上させるために、特開２００９−２７１８２２号公報や“マーカー追跡に基づく拡張現実感システムとそのキャリブレーション”（加藤博一、他３名、日本バーチャルリアリティ学会論文誌Vol.4，No.4，1999）に記載されるような周知の方法を用いればよい。
【００３７】
パンフレット８の識別（紙面ＩＤの識別）を行なう際、画像認識部５１は、取得した撮像画像内からマーカＤＢ５５に登録されているマーカの画像パターンに該当するマーカを抽出し、抽出した各マーカのマーカＩＤをそれぞれ特定する。更に、画像認識部５１は、パンフレット８に含まれるマーカＩＤのパターン（どのマーカが存在するか）に基づいてパンフレット８の紙面ＩＤを識別する。パンフレット８の紙面とマーカとの関連付けは、図３に示すマーカと紙面との関連付けテーブル５６に予め登録されている。
なお、パンフレット８の識別という語の意味としては、パンフレット８の「種類」の識別、及びパンフレット８の「頁（表・裏等）」の識別の両者を含むものとする。
【００３８】
マーカＤＢ５５には、複数のマーカの画像パターンと、図３に示すマーカと紙面との関連付けテーブル５６とが格納される。例えば、紙面ＩＤ「１」のパンフレット８には、マーカＩＤ「Ａ」、「Ｂ」、「Ｃ」のマーカが含まれる。また、紙面ＩＤ「２」のパンフレット８には、マーカＩＤ「Ｄ」、「Ｅ」、「Ｆ」のマーカが含まれる。図３の例の場合、画像認識部５１は、マーカＩＤ「Ａ」、「Ｂ」、「Ｃ」のマーカが撮像した画像に含まれると、紙面ＩＤを「１」と判定し、マーカＩＤ「Ｄ」、「Ｅ」、「Ｆ」のマーカが撮像した画像に含まれると、紙面ＩＤを「２」と判定する。
【００３９】
また、複数のマーカＩＤの位置関係により、紙面ＩＤを判定する手法も考えられる。例えば、同じ展示会のパンフレット８であるが言語の異なるものについて、言語の違いを識別するために、各言語で同一の複数のマーカを使用しつつも、マーカの配置が異なるように印刷されるものとする。画像認識部５１は、含まれるマーカの種類で紙面ＩＤを識別し、更に各マーカの位置関係から言語を識別する。
【００４０】
また、画像認識部５１は、紙面ＩＤ認識後、撮像画像に存在すべき全てのマーカのうち、いずれかのマーカが認識されない場合は、そのマーカがユーザ７によって指差しされている状態であると認識する。すなわち、ユーザ７により隠されたマーカを指示マーカとして認識する。複数のマーカが隠されている場合は、マーカの配置による優先順位に基づいて指示マーカを決定する。
【００４１】
すなわち、画像認識部５１は、紙面に印刷されている全てのマーカを認識すると、それらのマーカＩＤを紙面での配置に基づいてナンバリングする。例えば、図４に示すパンフレット８において、上段のマーカ８ａ，８ｂ，８ｃについて左から順に、「１」，「２」，「３」、下段のマーカ８ｄ，８ｅ，８ｆについて左から順に「４」，「５」，「６」のようにナンバリングする。そして、マーカが２つ以上隠されている場合は、隠されているマーカのうち最も番号が小さいマーカＩＤを指示マーカとして決定する。例えば、「１」，「４」とナンバリングされたマーカ８ａ，８ｄが隠されている場合は、最も番号の小さい「１」のマーカ８ａが指示マーカとされる。同様に、「２」，「５」，「６」とナンバリングされたマーカ８ｂ，８ｅ，８ｆが隠されている場合は、最も小さい「２」のマーカ８ｂが指示マーカとされる。なお、この例は、ユーザ７が右利きであることを想定して上段優先かつ左優先として指示マーカを決定している。
【００４２】
表示制御部５３は、画像認識部５１により認識されたマーカの情報や紙面の位置姿勢情報に基づいて適切な投影情報（情報コンテンツ及びスポットコンテンツ）を第１投影装置３や第２投影装置４に出力し、適切な位置に表示させる処理を実行する。
【００４３】
具体的には、図４に示すように、表示制御部５３は、画像認識部５１がパンフレット８の紙面ＩＤを識別した段階で、そのパンフレット８に印刷されている全てのマーカ８ａ〜８ｆに対して、第２投影装置４によりスポットコンテンツ４１を投影させる（全マーカ明示手段）。
図４は、パンフレット８の各マーカ８ａ，８ｂ，８ｃ，８ｄ，８ｅ，８ｆに対して第２投影装置４によりスポットコンテンツ４１が投影された状態を示している。図中符号４１の点線内が第２投影装置４にて明示される。スポットコンテンツ４１により、各マーカ８ａ，８ｂ，８ｃ，８ｄ，８ｅ，８ｆが存在することや各マーカの位置がはっきりと明示されるため、ユーザ７は明示された部分を指差し可能なものとして認識できる。また、装置が紙面を識別し、指差し可能な状態にあることを認識できる。
【００４４】
また表示制御部５３は、図５に示すように、画像認識部５１が指示マーカ８ｆを認識した段階で、指示マーカ８ｆに対して第２投影装置４によってスポットコンテンツ４３を投影させる（指示マーカ明示手段）。
図５は、パンフレット８のマーカ８ｆに対して第２投影装置４によりスポットコンテンツ４３が投影された状態を示している。スポットコンテンツ４３により、ユーザ７は指で差した部分（マーカ８ｆ）を装置側が認識したことを認識できる。
【００４５】
なお、スポットコンテンツ４１，４３は、図４及び図５の例では、各マーカを局所的に照らす光であるが、これに限定されない。例えば、スポットコンテンツ自体が何らかの情報や形状等を示してもよい。
【００４６】
更に表示制御部５３は、図６に示すように、画像認識部５１により認識された指示マーカに応じて、第１投影装置３に適切な情報コンテンツをコンテンツ表示エリア６に表示させる。第１投影装置３が表示する情報コンテンツ、及び情報コンテンツとマーカとを関連付けるテーブルは、コンテンツＤＢ５７に予め記憶されている。例えばマーカＩＤ「Ａ」が指示されると、表示制御部５３はコンテンツＤＢ５７の関連付けテーブルからマーカＩＤ「Ａ」に関連付けられるコンテンツを特定し、そのコンテンツを読み出し、第１投影装置３に投影を要求する。第１投影装置３は、制御装置５に制御されて情報コンテンツを投影する。
【００４７】
図６に示すように、床面等のコンテンツ表示エリア６に投影される情報コンテンツには、動画、静止画、テキスト等で表現されたコンテンツ６１の他、目的地のマーク６３や、目的地へのルート６５、目的地への到達手段（徒歩の場合は足のマーク６２、階段やエレベータ等を使う場合はそれらのマーク等）、目的地への距離６４等が含まれる。
なお、コンテンツ６１の再生に同期して音声情報が再生されるようにしてもよい。この場合は、図示しない音声装置が案内情報提供システム１に付加されることとなる。
【００４８】
また、表示制御部５３により、情報コンテンツやスポットコンテンツの表示位置を、ユーザ７が指示したマーカの位置に追従させるように制御してもよい。
例えば、ユーザ７の視点からコンテンツ表示エリア６を見たときに、パンフレット８の位置や保持角度から情報コンテンツ６１〜６５がコンテンツ表示エリア６へ連続するように表示させる。すなわち、画像認識部５１は、撮像した動画の各フレーム画像についてそれぞれ画像認識処理を実行し、各フレーム画像から指示マーカを検出すると、その指示マーカの移動方向や移動量を追跡し、追跡情報を表示制御部５３に出力する。表示制御部５３は、追跡情報に従ってコンテンツの表示角度や表示位置を変更させる。
【００４９】
図７に示すように、ユーザ７の視点からは、情報コンテンツ６１〜６４が、パンフレット８の紙面から床に拡張表示されたような見え方となる。また、図７の点線４５に示すように、パンフレット８の指示マーカ８ｆとコンテンツ表示エリア６の表示内容とを連続的に表示させるための軌跡コンテンツ４５を紙面に第２投影装置４によって投影させるようにしてもよい。
【００５０】
パンフレット８は、図４及び図５等に示すように、任意の内容が印刷された紙媒体であり、紙やインクの材質を問わない。ただし、赤外線カメラ（撮像装置２）からマーカを識別できるコントラストが得られる材質とする。特に、紙面表面はマット紙等を用いると効果的である。また、パンフレット８の印刷内容には、１または複数のマーカが含まれる。
【００５１】
マーカは、図４、図５の８ａ〜８ｆに示すように、所定形状の枠で囲まれた図案全体のみならず、枠に囲まれない図案も含めるものとする。図案には、図形、イラスト、図案化された文字等が含まれるものとする。マーカの画像パターンは、マーカＤＢ５５に予め登録されるものとする。
【００５２】
また、パンフレット８に印刷されるマーカには、言語を識別するマーカが含まれてもよい。また、紙面デザイン等の制約等がなければ、紙面の位置姿勢を認識させるためのマーカが紙面の所定位置に印刷されていてもよい。また、マーカ以外の印刷内容については任意である。
【００５３】
次に、案内情報提供システム１の動作を説明する。
図８は、ユーザ７の動作に応答して行なわれる案内情報提供システム１の各部の動作の流れを説明するシーケンス図である。
【００５４】
図８に示すように、まずユーザ７がパンフレット８を持って撮像エリア１１内に入場し（ステップＵ１）、パンフレット８を撮像エリア１１にかざすと（ステップＵ２）、撮像装置２は、撮像エリア１１内のパンフレット８を撮影する。撮像精度を向上するために第２投影装置４等で立ち位置にマークを投影してもよい。また、ユーザ７がパンフレットをかざす動作は、撮像装置２がパンフレット８の紙面全体を撮像できる位置や姿勢でパンフレット８が保持される程度でよい。
【００５５】
撮像装置２は、ユーザ７がかざした（手に持って見ている）パンフレット８を撮像し、撮像情報を制御装置５の画像認識部５１へ送出する（ステップＳ１）。画像認識部５１は、撮像装置２の撮像情報をもとにパンフレット８の紙面の識別と位置姿勢の状態を演算する（ステップＳ２）。画像認識部５１は、パンフレット８の識別情報及び位置姿勢情報をもとにパンフレット８の種類と印刷されているマーカを特定し、該当する投影情報を表示するようリクエストする（ステップＳ３）。表示制御部５３は、画像認識部５１からのリクエストに応答して、該当する投影情報をコンテンツＤＢ５７から読み出し、該当する投影装置３，４に投影させる（ステップＳ４）。第２投影装置４は、表示制御部５３から送出された制御情報に従って、パンフレット８の紙面に所定の投影情報（スポットコンテンツ４１，４３、軌跡コンテンツ４５等を含む）を投影する（ステップＳ５）。また、第１投影装置３では、表示制御部５３から送出された制御情報に従って、出力された情報コンテンツ６１〜６５を床面等のコンテンツ表示エリア６に投影する（ステップＳ６）。
ユーザ７は、パンフレット８上の投影情報を見たり（ステップＵ３）、床面（コンテンツ表示エリア６）上の投影情報を見たりすることが可能となる（ステップＵ４）。
【００５６】
また、ユーザ７がパンフレット８上の所望のマーカを指差した状態も（ステップＵ５）、撮像装置２に撮像され（ステップＳ１）、その撮像情報は画像認識部５１により認識演算される（ステップＳ２）。認識された情報に基づいて、該当する投影情報が該当する投影装置３，４によって投影される（ステップＳ３〜Ｓ６）
【００５７】
ここで、図９を参照して、画像認識部５１において実行される画像認識処理を説明する。
【００５８】
画像認識部５１は、撮像装置２による撮像画像を取り込み（ステップＳ２１）、画像内のマーカを検索する（ステップＳ２２）。マーカが存在しない場合は（ステップＳ２３；Ｎｏ）は、紙面が正しい位置にないと判定して（ステップＳ２４）、紙面ＩＤに「０」を設定する（ステップＳ２５）。この場合、画像認識部５１は、コンテンツの投影を要求せずに（ステップＳ２６）、次の画像フレームの処理を行う（ステップＳ２７）。
【００５９】
マーカが撮像した画像内に１つでもある場合（ステップＳ２３；Ｙｅｓ）、画像認識部５１は、現在設定されている紙面ＩＤを判定する（ステップＳ２８）。現在設定されている紙面ＩＤが「０」の場合は、マーカＤＢ５５に登録されているマーカと紙面との関連付けテーブル５６を参照して、各紙面ＩＤについて、それぞれ紐付けられている全てのマーカが存在するか否かを判定する（ステップＳ２９）。いずれの紙面ＩＤについても紐付けられている全てのマーカが存在しない場合は（ステップＳ２９；Ｎｏ）、紙面が正しい位置にないと判定して（ステップＳ２４）、紙面ＩＤに「０」を設定する（ステップＳ２５）。この場合、コンテンツの投影を要求せずに（ステップＳ２６）、次の画像フレームの処理を行う（ステップＳ２７）。
【００６０】
マーカが画像内に１つ以上あり（ステップＳ２３；Ｙｅｓ）、現在設定されている紙面ＩＤが「０」である場合（ステップＳ２８；Ｙｅｓ）において、画像内にいずれかの紙面ＩＤに紐付けられている全てのマーカが存在すると判定した場合は（ステップＳ２９；Ｙｅｓ）、紙面が正しい位置にあると判定して（ステップＳ３０）、該当する紙面ＩＤに変更する（ステップＳ３１）。この段階で、画像認識部５１は、マーカ非選択時のスポットコンテンツ４１を紙面に表示させるよう表示制御部５３に要求する（ステップＳ３２）。このとき、マーカ非選択時の情報コンテンツを床面等のコンテンツ表示エリア６に表示させるよう表示制御部５３に要求してもよい。
パンフレット８の紙面の各マーカ８ａ〜８ｆには、図４に示すようなスポットコンテンツ４１が投影される。マーカ非選択時は、紙面の全てのマーカ８ａ〜８ｆにスポットコンテンツ４１がそれぞれ投影される。
【００６１】
ステップＳ２８において、現在設定されている紙面ＩＤが「０」でないと判定した場合は、画像認識部５１は、設定されている紙面ＩＤに紐付けられた全マーカが画像内に存在するか否かを判定する（ステップＳ３３）。
設定されている紙面ＩＤに紐付けられた全マーカが画像内に存在する場合は（ステップＳ３３；ＹＥＳ）、ユーザ７がマーカを指差していないと判定し（ステップＳ３４）、ステップＳ３２と同様の表示状態とする。すなわち、画像認識部５１は、マーカ非選択時のスポットコンテンツ４１を紙面に表示させるよう表示制御部５３に要求し、また、マーカ非選択時の情報コンテンツを床面等のコンテンツ表示エリア６に表示させるよう表示制御部５３に要求する（ステップＳ３２）。
【００６２】
ステップＳ２８において、現在設定されている紙面ＩＤが「０」でなく、設定されている紙面ＩＤに紐付けられた全マーカのうちがいくつかのマーカが画像内に存在しない場合（ステップＳ３３；ＮＯ）は、画像認識部５１は、ユーザ７がマーカを指差していると判定する（ステップＳ３５）。ステップＳ３５にて複数のマーカが認識されない場合は、認識されないマーカのうち、優先順位の高いマーカ（例えば、上段優先かつ左優先）を指示マーカとして決定する（ステップＳ３６）。
【００６３】
この段階で、画像認識部５１は、マーカ選択時のスポットコンテンツ４３を紙面に表示させるよう表示制御部５３に要求し、また、選択されたマーカに該当する情報コンテンツを床面等のコンテンツ表示エリア６に表示させるよう表示制御部５３に要求する（ステップＳ３７）。
パンフレット８の紙面には、図５に示すようなスポットコンテンツ４３が投影される。マーカ選択時は、選択されたマーカ８ｆにだけスポットコンテンツ４３が投影される。
【００６４】
ユーザ７が撮像エリア１１から退場すると（図８のステップＵ６）、撮像装置２の撮像エリア１１には紙面情報が何も撮像されない状態となる（ステップＳ７）。この場合、画像認識部５１は、ユーザ７が撮像エリア１１から退場したと特定し（ステップＳ８）、ユーザ退場に該当する投影情報を表示制御部５３にリクエストする（ステップＳ９）。
表示制御部５３は、画像認識部５１からのリクエストに応答して、該当する投影情報をコンテンツＤＢ５７から読み出し、該当する投影装置３，４に投影させる（ステップＳ１０）。例えば、第１投影装置３では、表示制御部５３から送出された制御情報に従って、所定の情報コンテンツを床面等のコンテンツ表示エリア６に投影する（ステップＳ１１）。
次に入場したユーザ７は、床面等の投影情報を見ることが可能となる（ステップＵ７）。
【００６５】
以上説明したように、本実施の形態の案内情報表示システム１は、撮像装置２、第１投影装置３、第２投影装置４、及び制御装置５を備え、撮像装置２によってユーザ７が手に持って見ているパンフレット８を撮像し、制御装置５の画像認識部５１によって、撮像情報からパンフレット８の紙面に印刷されたマーカを抽出する。そして、画像認識部５１によって、ユーザ７により紙面上で指示されたマーカを認識し、表示制御部５３によって、認識された指示マーカに応じた適切な情報コンテンツを床面等の情報コンテンツ表示エリア６に表示させる。
【００６６】
また、画像認識部５１がパンフレット８の紙面を識別した段階で、表示制御部５３及び第２投影装置４によって全てのマーカに対してスポットコンテンツ４１を投影させ、画像認識部５１が指示マーカを認識した段階で、表示制御部５３及び第２投影装置４によって指示マーカに対してスポットコンテンツ４３を投影させる。
【００６７】
これにより、ユーザ７が持っているパンフレット８の印刷内容のうちいずれかのマーカをユーザ７が指等で指し示すと、指し示したマーカに応じた適切な情報コンテンツがユーザ７の視点から見える領域（コンテンツ表示エリア６）に表示されるようになる。よって、ユーザ７に簡単に提供でき、馴染みのある媒体である紙媒体を利用して、直感的な方法で案内情報を提供できるようになる。また、非電子媒体である普通の紙への指示動作であるにもかかわらず、現実の空間に案内情報（情報コンテンツ）が表示されるという拡張現実感のある興趣に満ちた情報提供を行えるようになる。
【００６８】
また、画像認識部５１が紙面を認識した段階で、指示可能な全てのマーカにスポットコンテンツ４１が投影されるので、ユーザ７は、パンフレット８の印刷内容のうち指示可能な部分（マーカ）がどこであるかを直感的に認識できる。また、ユーザ７が指示したマーカを画像認識部５１が認識すると、指示マーカのみにスポットコンテンツ４３が投影されるので、ユーザ７は、装置が指示マーカを認識したことを直感的に認識できる。そのため、ユーザ７にとって使用しやすい案内情報提供システム１を提供できる。
【００６９】
また、情報コンテンツの表示エリア６をユーザ７の立ち位置の周囲の床面を含む領域とすれば、ユーザ７がパンフレット８を持って見ている姿勢のままで、ユーザ７の視点からは紙面から床面へ拡張するように情報コンテンツが投影されるように見える。これによりユーザ７は紙よりも広範囲に拡張表示された情報コンテンツを自然に見ることが可能となる。
【００７０】
また、制御装置５の画像認識部５１は、前記撮像手段により撮像された画像内にパンフレット８に印刷された全てのマーカが収まっているか否かを判定し、全てのマーカが収まっていると判定した場合に、全てのマーカのうち、認識されないマーカがあるか否かを判定し、認識されないマーカがあると判定した場合に、認識されないマーカの配置に基づいて、ユーザ７が指示したマーカを決定する。これにより、画像認識部５１は、撮像した画像からユーザ７により指示されたマーカを認識することが可能となる。
【００７１】
なお、本実施の形態の案内情報表示システム１は、撮像装置２を１箇所に設け、撮像エリア１１を撮像するものとしたが、撮像装置２の設置箇所は複数であってもよい。また投影装置３，４の設置位置や設置箇所についても複数設けてもよい。
複数の撮像エリア１１、複数の表示エリア６を設ける場合は、ユーザ７の立ち位置に応じて撮像可能な撮像エリア１１によってパンフレット８を撮像し、指差したマーカを認識して、最適な表示エリア６に表示させる。また、コンテンツ表示エリア６は、ユーザ７の前方のみならず、ユーザ７の周囲としてもよい。この場合、第１投影装置３は、設定した表示エリア６に投影可能な位置に設置される。また、第１投影装置とモニタとを組み合わせて、情報コンテンツを表示するようにしてもよい。
また、ユーザ７による紙面への指差し動作は、指を使う場合に限定されず、物を利用して指示マーカを隠すようにしてもよい。
その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７２】
１・・・案内情報提供システム
２・・・撮像装置
３・・・第１投影装置
４・・・第２投影装置
４１・・・マーカ非選択時のスポットコンテンツ
４３・・・マーカ選択時のスポットコンテンツ
４５・・・軌跡コンテンツ
５・・・制御装置
５１・・・画像認識部
５３・・・表示制御部
５５・・・マーカＤＢ
５７・・・コンテンツＤＢ
６・・・コンテンツ情報表示エリア
７・・・ユーザ
８・・・パンフレット
８ａ，８ｂ，８ｃ，８ｄ，８ｅ，８ｆ・・・・マーカ
１０・・・架台
１１・・・撮像エリア
【特許請求の範囲】
【請求項１】
ユーザが所持している紙媒体を画像情報として取得する撮像手段と、
前記ユーザの視点から視認可能な領域に情報コンテンツを表示する表示手段と、
複数のマーカの画像パターン及び各マーカに対応する情報コンテンツを記憶する記憶手段と、
前記撮像手段及び前記表示手段を制御する制御装置と、
を備えた案内情報提供システムであって、
前記制御装置は、
前記撮像手段により撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識手段と、
前記画像認識手段により認識された前記マーカに応じて前記記憶手段から対応する情報コンテンツを読み出し、前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする案内情報提供システム。
【請求項２】
前記記憶手段にはマーカと紙媒体の紙面との関係付けを表したテーブルが格納されており、前記画像認識手段は、前記撮像手段により撮像された画像情報に基づいてユーザが所持している紙媒体の紙面を識別可能であることを特徴とする請求項１に記載の案内情報提供システム。
【請求項３】
前記紙媒体に対する投影を行う投影手段を更に備え、
前記表示制御手段は、
前記画像認識手段により前記紙媒体の紙面が識別された段階で、前記紙媒体に印刷されている全てのマーカに対して前記投影手段によってスポットコンテンツを投影する全マーカ明示手段と、
前記画像認識手段によりいずれかのマーカが指示されたと認識された段階で、指示されたマーカに対して前記投影手段によってスポットコンテンツを投影する指示マーカ明示手段と、
を更に備えることを特徴とする請求項２に記載の案内情報提供システム。
【請求項４】
前記表示手段は、前記撮像手段が撮影する空間の周囲の床面を含む領域を表示領域とすることを特徴とする請求項１に記載の案内情報提供システム。
【請求項５】
前記画像認識手段は、
前記撮像手段により撮像された画像内に前記紙媒体に印刷された全てのマーカが収まっているか否かを判定する第１判定手段と、
前記第１判定手段により全てのマーカが収まっていると判定された場合に、前記全てのマーカのうち、認識されないマーカがあるか否かを判定する第２判定手段と、
前記第２判定手段により認識されないマーカがあると判定された場合に、認識されないマーカの配置に基づいて、前記ユーザが指示したマーカを決定する指示マーカ決定手段と、
を備えることを特徴とする請求項１に記載の案内情報提供システム。
【請求項６】
複数のマーカの画像パターンと各マーカに対応する情報コンテンツを関係付けて記憶する記憶手段を備えた制御装置であって、
ユーザが所持している紙媒体を撮像する撮像手段により撮像された画像情報に基づいて前記ユーザが紙面上で指示したマーカを認識する画像認識手段と、
前記画像認識手段により認識された前記ユーザによる指示マーカに応じて前記記憶手段から対応する情報コンテンツを読み出し、前記ユーザの視点から視認可能な領域に情報コンテンツを表示する表示手段に前記対応する情報コンテンツを表示させる表示制御手段と、
を備えることを特徴とする制御装置。
【請求項７】
ユーザが所持している紙媒体を画像情報として取得する撮像ステップと、
撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識ステップと、
複数のマーカの画像パターンに対応する情報コンテンツが記憶された記憶装置から、認識した前記マーカに対応する情報コンテンツを読み出し、前記ユーザの視点から視認可能な領域に情報コンテンツを表示させる表示制御ステップと、
を含むことを特徴とする案内情報提供方法。
【請求項８】
コンピュータにより読み取り可能な形式で記述されたプログラムであって、
撮像手段により所定の空間内に入場したユーザが所持している紙媒体を画像情報として取得する撮像ステップと、
撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識ステップと、
認識した前記マーカに応じて、複数のマーカの画像パターンに対応する複数の情報コンテンツが記憶された記憶装置から対応する情報コンテンツを読み出し、表示装置に該情報コンテンツを出力する表示制御ステップと、
を含む処理をコンピュータに実行させるためのプログラム。
【請求項１】
ユーザが所持している紙媒体を画像情報として取得する撮像手段と、
前記ユーザの視点から視認可能な領域に情報コンテンツを表示する表示手段と、
複数のマーカの画像パターン及び各マーカに対応する情報コンテンツを記憶する記憶手段と、
前記撮像手段及び前記表示手段を制御する制御装置と、
を備えた案内情報提供システムであって、
前記制御装置は、
前記撮像手段により撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識手段と、
前記画像認識手段により認識された前記マーカに応じて前記記憶手段から対応する情報コンテンツを読み出し、前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする案内情報提供システム。
【請求項２】
前記記憶手段にはマーカと紙媒体の紙面との関係付けを表したテーブルが格納されており、前記画像認識手段は、前記撮像手段により撮像された画像情報に基づいてユーザが所持している紙媒体の紙面を識別可能であることを特徴とする請求項１に記載の案内情報提供システム。
【請求項３】
前記紙媒体に対する投影を行う投影手段を更に備え、
前記表示制御手段は、
前記画像認識手段により前記紙媒体の紙面が識別された段階で、前記紙媒体に印刷されている全てのマーカに対して前記投影手段によってスポットコンテンツを投影する全マーカ明示手段と、
前記画像認識手段によりいずれかのマーカが指示されたと認識された段階で、指示されたマーカに対して前記投影手段によってスポットコンテンツを投影する指示マーカ明示手段と、
を更に備えることを特徴とする請求項２に記載の案内情報提供システム。
【請求項４】
前記表示手段は、前記撮像手段が撮影する空間の周囲の床面を含む領域を表示領域とすることを特徴とする請求項１に記載の案内情報提供システム。
【請求項５】
前記画像認識手段は、
前記撮像手段により撮像された画像内に前記紙媒体に印刷された全てのマーカが収まっているか否かを判定する第１判定手段と、
前記第１判定手段により全てのマーカが収まっていると判定された場合に、前記全てのマーカのうち、認識されないマーカがあるか否かを判定する第２判定手段と、
前記第２判定手段により認識されないマーカがあると判定された場合に、認識されないマーカの配置に基づいて、前記ユーザが指示したマーカを決定する指示マーカ決定手段と、
を備えることを特徴とする請求項１に記載の案内情報提供システム。
【請求項６】
複数のマーカの画像パターンと各マーカに対応する情報コンテンツを関係付けて記憶する記憶手段を備えた制御装置であって、
ユーザが所持している紙媒体を撮像する撮像手段により撮像された画像情報に基づいて前記ユーザが紙面上で指示したマーカを認識する画像認識手段と、
前記画像認識手段により認識された前記ユーザによる指示マーカに応じて前記記憶手段から対応する情報コンテンツを読み出し、前記ユーザの視点から視認可能な領域に情報コンテンツを表示する表示手段に前記対応する情報コンテンツを表示させる表示制御手段と、
を備えることを特徴とする制御装置。
【請求項７】
ユーザが所持している紙媒体を画像情報として取得する撮像ステップと、
撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識ステップと、
複数のマーカの画像パターンに対応する情報コンテンツが記憶された記憶装置から、認識した前記マーカに対応する情報コンテンツを読み出し、前記ユーザの視点から視認可能な領域に情報コンテンツを表示させる表示制御ステップと、
を含むことを特徴とする案内情報提供方法。
【請求項８】
コンピュータにより読み取り可能な形式で記述されたプログラムであって、
撮像手段により所定の空間内に入場したユーザが所持している紙媒体を画像情報として取得する撮像ステップと、
撮像された画像情報に基づいて前記紙媒体上で前記ユーザが指示したマーカを認識する画像認識ステップと、
認識した前記マーカに応じて、複数のマーカの画像パターンに対応する複数の情報コンテンツが記憶された記憶装置から対応する情報コンテンツを読み出し、表示装置に該情報コンテンツを出力する表示制御ステップと、
を含む処理をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１４６０６（Ｐ２０１２−１４６０６Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５２７１０（Ｐ２０１０−１５２７１０）
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【出願人】（０００２２１６１６）東日本旅客鉄道株式会社 (833)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【出願人】（０００２２１６１６）東日本旅客鉄道株式会社 (833)
【Ｆターム（参考）】
[ Back to top ]