情報提供方法及び情報提供システム
【課題】情報提供方法及び情報提供システムにおいて、マーカを付与された対象物の美感を損ねることなく、移動可能な対象物自体にマーカを付与し、しかもマーカを正確に検出する。
【解決手段】不可視マーカ７は、再帰性反射特性を有する透明な物質で構成される。カメラ３は、赤外光を照射するための赤外線ＬＥＤ３１と、赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能なＣＭＯＳ３３と、赤外線ＬＥＤ３１を用いて対象物６に可視光下で赤外光を照射した状態で、可視光と赤外光の下での画像（以下、可視赤外画像という）をＣＭＯＳ３３により撮像する処理と、赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像する処理とを実行するように制御するＦＰＧＡ３４とを有する。ウェアラブルコンピュータ５は、可視赤外画像と可視画像との差分画像を生成して、この差分画像に含まれる不可視マーカ７を検出する。
【解決手段】不可視マーカ７は、再帰性反射特性を有する透明な物質で構成される。カメラ３は、赤外光を照射するための赤外線ＬＥＤ３１と、赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能なＣＭＯＳ３３と、赤外線ＬＥＤ３１を用いて対象物６に可視光下で赤外光を照射した状態で、可視光と赤外光の下での画像（以下、可視赤外画像という）をＣＭＯＳ３３により撮像する処理と、赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像する処理とを実行するように制御するＦＰＧＡ３４とを有する。ウェアラブルコンピュータ５は、可視赤外画像と可視画像との差分画像を生成して、この差分画像に含まれる不可視マーカ７を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の付加情報をユーザに提供する情報提供方法、及び情報提供システムに関する。
【背景技術】
【０００２】
対象物に付加情報を付与しておき、当該対象物に接するときに、情報読取機器でその付加情報を簡便に得る方法としては、バーコードやＱＲコードといったビジュアルマーカ(ビジュアルタグ)、及びパッシブタグやアクティブタグといったＩＣタグなどを用いる方法が知られている。
【０００３】
しかし、それぞれの対象物に高価なＩＣタグを取り付けることは、コストアップにつながり、しかも、ＩＣタグを付与できる対象物の構造には制約がある。このため、ＩＣタグは、対象物の存在する場所に取り付けられることが多い。特に、アクティブタグ型のＩＣタグは、電源が必要になるという問題があるため、対象物自体ではなく、対象物の存在する場所に取り付ける必要性がある。従って、パッシブタグやアクティブタグといったＩＣタグは、一般的に、販売店に陳列された衣料品やＤＶＤ等の、移動が前提となる（移動可能な）対象物に取り付けるのには向いていない。
【０００４】
これに対して、バーコードやＱＲコードといったビジュアルマーカは、移動可能な対象物に付与され得るし、電源も不要である。しかしながら、従来のビジュアルマーカを対象物自体に付与すると、当該対象物の美感を損ねる。また、従来のビジュアルマーカを対象物の周囲の場所に付与する方法では、対象物周辺の場所の景観を損ねると共に、移動可能な対象物自体にマーカを付与できない。
【０００５】
また、上記従来のビジュアルマーカが持つ、対象物周辺の場所の景観を損ねるという問題を解消するために、半透明の再帰性反射材シートを用いたマーカを天井に取り付けて、このマーカを赤外線ＬＥＤ付赤外線カメラ（赤外線領域の光を撮像可能なカメラ）を用いて検出することにより、このマーカに対応した位置情報を得るウェアラブルＡＲ（Augmented Reality）システムが知られている（非特許文献１参照）。しかしながら、上記の半透明の再帰性反射材シートを、模様や装飾が施された場所や、移動可能な対象物に取り付けた場合には、美感上の問題が残る。しかも、上記のウェアラブルＡＲシステムには、通常のカメラと赤外線カメラの両方が必要になるという問題があった。
【０００６】
また、上記システムと同様な不可視マーカを用いたＡＲシステムの分野において、同一光軸上に設けられた赤外線カメラと通常のカラーカメラを用いて、カラーカメラで認識物体を追跡し、物体に印刷された赤外線インク（赤外光を照射することにより読み取り可能なインク）による不可視マーカを赤外線カメラで読み取るようにしたものが知られている（非特許文献２参照）。しかしながら、一般に、赤外線インクは、あくまでインクの一種であるため、紙等の、適度にインクを吸収する対象物にしか印刷することができない。また、非特許文献２に記載されたＡＲシステムにも、非特許文献１に記載されたウェアラブルＡＲシステムと同様に、通常のカラーカメラと赤外線カメラの両方が必要になるという問題があった。
【０００７】
さらにまた、上記と同様な不可視マーカを用いたＡＲシステムの分野において、不可視マーカを赤外線カメラを用いて撮像した画像に基いて、不可視マーカを検出するＨＭＤ（Head Mounted Display）システムが知られている（特許文献１参照）。しかしながら、このシステムは、通常のカメラによる撮影画像と赤外線カメラによる撮像画像とを比較する方式を採用せず、赤外線カメラによる撮像画像のみに基いて不可視マーカを検出するので、必ずしも不可視マーカを正確に検出することができない。
【特許文献１】特開２０００−３４７１２８号公報
【非特許文献１】中里祐介、外２名、「ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定」、日本バーチャルリアリティ学会論文誌、日本バーチャルリアリティ学会、平成１７年９月、第１０巻、第３号、ｐ．295−304
【非特許文献２】ハンフン・パク（Hanhoon Park）、外１名、「不可視マーカに基づく拡張現実感システム」（"Invisible Marker Based Augumented Reality System"）、視覚的通信手順と画像処理２００５（"Proceedings of Visual Communications and Image Processing (VCIP) 2005"）、平成１７年７月、中華人民共和国、第５９６０巻、ｐ．501−508
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上記の問題を解決するためになされたものであり、マーカを付与された対象物の美感を損ねることなく、移動可能な対象物自体にマーカを付与することができ、しかもマーカを正確に検出することが可能な情報提供方法及び情報提供システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために請求項１の発明は、移動可能な対象物上に、再帰性反射特性を有する透明な物質で構成され、前記対象物自体の付加情報に対応するマーカパターンからなる不可視マーカを予め配置しておき、この不可視マーカに対応する前記対象物自体の付加情報をユーザに提供する情報提供方法であって、前記対象物に、可視光下で赤外光を照射して、可視光と赤外光の下での画像（以下、可視赤外画像という）を撮像するステップと、前記赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像するステップと、前記可視赤外画像と可視画像との差分画像を生成するステップと、前記差分画像に含まれる不可視マーカを検出するステップと、前記検出した不可視マーカに対応する前記対象物自体の付加情報をユーザに提供するステップとを含むものである。
【００１０】
請求項２の発明は、請求項１に記載の情報提供方法において、赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な１台のカメラに設けられた赤外光発光手段を用いて、赤外光の点灯状態と消灯状態とで、前記可視赤外画像と前記可視画像とを撮像するものである。
【００１１】
請求項３の発明は、請求項２に記載の情報提供方法において、前記カメラは、ユーザが携帯又は装着可能なものである。
【００１２】
請求項４の発明は、請求項１乃至請求項３のいずれか１項に記載の情報提供方法において、前記検出した不可視マーカに対応する前記対象物自体の付加情報を、表示手段に表示させてユーザに提供するものである。
【００１３】
請求項５の発明は、請求項４に記載の情報提供方法において、前記表示手段は、ユーザが携帯又は装着可能なディスプレイであるものである。
【００１４】
請求項６の発明は、請求項１乃至請求項５のいずれか１項に記載の情報提供方法において、前記移動可能な対象物上に前記不可視マーカを塗布することにより、前記対象物上に前記不可視マーカを配置するものである。
【００１５】
請求項７の発明は、移動可能な対象物に配置された、該対象物自体の付加情報に対応するマーカパターンからなる不可視マーカと、１台のカメラと、前記不可視マーカに対応する前記対象物自体の付加情報をユーザに提供するための情報提供手段とを含む情報提供システムであって、前記不可視マーカは、再帰性反射特性を有する透明な物質で構成され、前記カメラは、赤外光を照射するための赤外光発光手段と、赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な撮像手段と、前記赤外光発光手段を用いて前記対象物に可視光下で赤外光を照射した状態で、可視光と赤外光の下での画像（以下、可視赤外画像という）を前記撮像手段により撮像する処理と、前記赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像する処理とを実行するように制御する撮像制御手段とを有し、前記可視赤外画像と可視画像との差分画像を生成する差分画像生成手段と、前記差分画像に含まれる不可視マーカを検出する不可視マーカ検出手段とをさらに備えるものである。
【００１６】
請求項８の発明は、請求項７に記載の情報提供システムにおいて、前記情報提供手段は、前記対象物自体の付加情報を表示する表示手段であるものである。
【００１７】
請求項９の発明は、請求項８に記載の情報提供システムにおいて、前記表示手段は、ユーザが携帯又は装着可能なディスプレイであるものである。
【００１８】
請求項１０の発明は、請求項７乃至請求項９のいずれか１項に記載の情報提供システムにおいて、前記カメラは、ユーザが携帯又は装着可能なものである。
【００１９】
請求項１１の発明は、請求項７乃至請求項１０のいずれか１項に記載の情報提供システムにおいて、前記不可視マーカは、前記移動可能な対象物上に塗布されることにより、前記対象物上に配置されるものである。
【発明の効果】
【００２０】
請求項１の発明によれば、移動可能な対象物上に、再帰性反射特性を有する透明な物質で構成された不可視マーカを配置する方法を採用したことにより、従来のビジュアルマーカを付与した場合やＩＣタグを取り付けた場合と異なり、マーカを付与された対象物の美感を損ねることなく、移動可能な対象物自体にマーカを付与することができる。また、上記非特許文献２に記載されたＡＲシステムと異なり、マーカが付与される対象物が実質的に紙類に限定されることがなく、例えばＤＶＤのケースや衣類にもマーカを付与することができる。
【００２１】
さらにまた、上記特許文献１に記載された発明と異なり、可視赤外画像と可視画像との差分画像を用いて不可視マーカを検出する方法を採用したことにより、不可視マーカを正確に検出することができる。上記特許文献１に記載された発明のように、マーカが位置に応じた付加情報を表す場合と比べて、本願請求項１の発明のように、不可視マーカが移動可能な対象物自体の付加情報を表す場合には、マーカパターンの種類が多くならざるを得ないので、上記のように差分画像を用いて、種々のパターンよりなる不可視マーカを正確に検出（判別）する必要性がある。
【００２２】
請求項２の発明によれば、赤外光発光手段をカメラに設けたことにより、赤外光発光手段をカメラとは別に設ける必要がなくなる。また、１台のカメラで可視赤外画像と可視画像とを撮像することができるので、非特許文献１の発明や非特許文献２の発明と異なり、通常のカラーカメラと赤外線カメラの両方が必要になるという問題が生じない。
【００２３】
請求項３、５、９及び１０の発明によれば、本発明のウェアラブルＡＲ（Augmented Reality）システムへの適用が容易になる。
【００２４】
請求項４及び請求項８の発明によれば、上記請求項１又は請求項２に記載の発明の効果を的確に得ることができる。
【００２５】
請求項６及び請求項１１の発明によれば、移動可能な対象物上に不可視マーカを塗布する方法を採用したことにより、仮に非特許文献１に記載された半透明の再帰性反射材シートを用いたマーカを移動可能な対象物に取り付けた場合と比べて、対象物の美感を損ねることなく、移動可能な対象物自体にマーカを容易に付与することができる。
【００２６】
請求項７の発明によれば、上記請求項１及び請求項２に記載の発明の効果と同様な効果を得ることができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の一実施形態に係る情報提供方法及び情報提供システムについて、図面を参照して説明する。図１は、本実施形態による情報提供システムの主要部を構成するカメラ付ＨＭＤ（Head Mounted Display）１をユーザ４が装着した様子を示す。図１に示されるように、カメラ付ＨＭＤ１は、ＬＣＤ表示部（図３参照）を有するＨＭＤ本体２（請求項における「情報提供手段」、「表示手段」及び「携帯又は装着可能なディスプレイ」）と、赤外線領域まで撮像可能な（赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な）ＣＭＯＳ（図３参照）及び赤外線ＬＥＤを有する赤外線ＬＥＤ付カメラ３とを備えている。ＨＭＤ本体２とウェアラブルコンピュータ（図３参照）との間は、ＵＳＢケーブル１２で接続されており、また、赤外線ＬＥＤ付カメラ３とウェアラブルコンピュータとの間は、ＵＳＢケーブル１１で接続されている。本情報提供システムは、その全体をユーザが装着可能であり、いわゆるウェアラブルＡＲ（Augmented Reality）システムの一種である。
【００２８】
本実施形態に用いられるＨＭＤ本体２は、赤外線ＬＥＤ付カメラ３で撮像した実像と、ウェアラブルコンピュータ５を用いて取得した仮想像との合成画像を表示してユーザに提供するビデオ透過型のヘッドマウントディスプレイである。図２中の８は、ユーザの目を示し、図２中の１ａは、ＬＣＤ表示部２２からの光の光路を示す。図２に示されるように、ＬＣＤ表示部２２からの光は、自由曲線タイプのプリズム２１に入射し、プリズム２１の面２１ａと凹面２１ｂにて全反射した後、面２１ａを透過してユーザの目８に達する。図１に示されるように、対象物６に塗布された不可視マーカ７が赤外線ＬＥＤ付カメラ３の撮像エリア内（ユーザ４の前方）に存在するときには、本情報提供システムは、上記のウェアラブルコンピュータを用いて生成された、不可視マーカ７に対応する対象物６自体の付加情報の仮想像と、赤外線ＬＥＤ付カメラ３で撮像したユーザ前方の実像（実世界の像）との合成画像を、ＬＣＤ表示部２２に表示させてユーザ４に見せることができる。言い換えれば、本情報提供システムは、対象物６に塗布された不可視マーカ７を検出したときには、検出した不可視マーカ７に対応する対象物６自体の付加情報を、ＨＭＤ本体２のＬＣＤ表示部２２に表示させてユーザに提供する。
【００２９】
図３は、情報提供システム１０の構成を示す。図３中の太い矢印は、主なデータの流れを示す。図に示されるように、情報提供システム１０は、移動可能な対象物６に塗布された、該対象物自体の付加情報に対応する不可視マーカ７と、上記のカメラ付ＨＭＤ１と、ウェアラブルコンピュータ５とを備えている。上記のように、カメラ付ＨＭＤ１は、ＨＭＤ本体２と赤外線ＬＥＤ付カメラ３とを有している。ＨＭＤ本体２は、上記のＬＣＤ表示部２２に加えて、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）２３を備えている。赤外線ＬＥＤ付カメラ３は、対象物６に赤外光を照射するための赤外線ＬＥＤ３１（図３中のＩＲ；請求項における赤外光発光手段）と、撮影レンズ等より構成される撮像光学系３２と、赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能なＣＭＯＳ３３（撮像手段）と、カメラ全体の制御を行うＦＰＧＡ３４（撮像制御手段）と、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）３５とを備えている。
【００３０】
上記のウェアラブルコンピュータ５は、このコンピュータ全体の制御を行うＣＰＵ５１（請求項における差分画像生成手段及び不可視マーカ検出手段）と、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）５２と、赤外線ＬＥＤ付カメラ３から画像を取り込むためのビデオキャプチャボード５３と、ビデオキャプチャボード５３で取り込んだ画像等を一時的に保存するためのメモリ５６と、インターネット等の外部通信回線を介した通信を行うための外部回線通信部５４と、ウェアラブルコンピュータ５への指示操作を行うための操作部５５と、各種のデータを格納するＨＤＤ５７とを備えている。ＨＤＤ５７内には、各種のマーカパターン（図９の８５参照）についてのデータや、これらのマーカ（パターン）に対応する（リンクする）対象物６自体の付加情報を示すデータ（例えばホームページのアドレス等）が格納されており、これらのデータは、ウェアラブルコンピュータ５の起動時に、ＨＤＤ５７から読み出されて、メモリ５６上に展開される。
【００３１】
また、図３中の１ｃに示される赤外線ＬＥＤ３１から照射された赤外光は、不可視マーカ７により反射される。そして、この不可視マーカ７からの反射光は、１ｄに示されるように、赤外線ＬＥＤ付カメラ３の撮像光学系３２により集光されてＣＭＯＳ３３上に結像される。
【００３２】
不可視マーカ７を構成する透明な再帰性反射材は、図４に示されるように、透明な合成樹脂系塗料７ａと、微小なガラスビーズ（反射球）７ｂとから構成されている。この再帰性反射材は、含有するガラスビーズ７ｂが入射光１ｅを再帰反射（入射光が、入射角度に係らず再び入射方向に戻る反射現象）することにより、強力な反射性能を持つと共に、反射光１ｆを光源の方向に導く性質を有している。このため、赤外線ＬＥＤ３１を有する赤外線ＬＥＤ付カメラ３によって不可視マーカ７の画像（後述する可視赤外画像）を得ることはできるが、赤外線ＬＥＤ付カメラ３の存在する方向（矢印１ｃ，１ｄに沿った方向）以外の方向からは、不可視マーカ７を視認することも、不可視マーカ７の画像を得る（撮像する）こともできない。
【００３３】
上記の不可視マーカ７は、図５に示される衣類６１やＤＶＤのケース（図１０の９１参照）等の移動可能な対象物自体に容易に塗布され得る。また、赤外光が照射されない場合には、ユーザ４が移動可能な対象物に塗布された不可視マーカ７を視認することができず、しかも、赤外光が照射された場合でも赤外光の光源と同じ方向からでなければ、ユーザ４が不可視マーカ７を視認することができないので、従来のビジュアルマーカを付与した場合やＩＣタグを取り付けた場合と異なり、マーカを付与された対象物の美感を損ねることがない。
【００３４】
次に、本情報提供システム１０における赤外線ＬＥＤ付カメラ３側の処理について、図６を参照して説明する。赤外線ＬＥＤ付カメラ３におけるＦＰＧＡ３４は、赤外線ＬＥＤ３１を用いて対象物６に可視光下で赤外光を照射（赤外線ＬＥＤ３１を発光）した状態で（Ｓ１）、可視光（環境光）と赤外光の下での画像（以下、可視赤外画像という）をＣＭＯＳ３３により撮像する処理（Ｓ２）と、赤外光を照射しないで（赤外線ＬＥＤ３１を消灯して）（Ｓ３）、可視光のみの下における画像（以下、可視画像という）をＣＭＯＳ３３により撮像する処理（Ｓ４）とを交互に実行するように制御する。すなわち、ＦＰＧＡ３４は、可視光下で赤外線ＬＥＤ３１を点滅させながら、この点滅の周期と同期させて、上記の可視赤外画像と可視画像とをＣＭＯＳ３３により交互に撮像する。そして、ＦＰＧＡ３４は、上記の可視画像をＵＳＢインタフェース３５を介してウェアラブルコンピュータ５に出力すると共に（Ｓ５）、上記の可視赤外画像と可視画像との差分画像を生成して、この差分画像をウェアラブルコンピュータ５に出力する（Ｓ６）。
【００３５】
図７は、上記の図６に示される差分画像生成処理の具体例を示す図である。この例では、画像Ａの撮像の途中で赤外線ＬＥＤ３１を点灯させ、画像Ｂの撮像の途中で赤外線ＬＥＤ３１を消灯させて、カラー画像Ｃ（可視画像）８２の撮像中には全く赤外線ＬＥＤ３１を点灯させなかったものとする。この場合には、図に示されるように、差分画像８３における各画素の輝度値は、画像Ａの各画素の輝度値と画像Ｂの各画素の輝度値との平均値から、可視画像であるカラー画像Ｃ８２の各画素の輝度値を減ずることにより算出された輝度値である。
【００３６】
次に、本情報提供システム１０におけるウェアラブルコンピュータ５側の処理について、図８及び図９を参照して説明する。まず、図８のフローチャートに示されるように、ウェアラブルコンピュータ５のＣＰＵ５１は、赤外線ＬＥＤ付カメラ３側から出力された可視画像（カラー画像）８２と差分画像８３（図９参照）を、図３に示されるＵＳＢインタフェース５２を用いて交互に取り込むと（Ｓ１１）、グレイスケール画像である上記の差分画像８３を濃度階調変換によってコントラストの高い画像に変換した後、変換後の画像を二値化する（Ｓ１２）。次に、ＣＰＵ５１は、この二値化した画像に対して膨張収縮処理を繰り返し行うことで、オープニングとクロージングを行う。オープニングは、膨張を行った後に収縮を行うことで、このオープニングを実行することにより、黒色画素の集合の中に現れる白色画素の「ごま塩ノイズ」を取り除くことができる。また、クロージングは、オープニングとは逆に、収縮の後に膨張を行うことで、このクロージングを実行することにより、白色画素の集合の中に現れる黒色画素の「ごま塩ノイズ」を取り除くことができる。上記の膨張収縮処理を繰り返し行うことにより、Ｓ１２の処理で得られた二値化画像からノイズの除去を行う（Ｓ１３）。
【００３７】
次に、ＣＰＵ５１は、Ｓ１３のノイズ除去処理が施された画像に対して輪郭（線）の追跡処理を実行することにより（Ｓ１４）、不可視マーカ７が写っている可能性のある領域を抽出する。そして、ＣＰＵ５１は、抽出された各輪郭に対して多角形近似を行った後に（Ｓ１５）、得られた多角形領域のうち四角形領域をマーカ候補領域として（Ｓ１６でＹＥＳ）、図９に示される四角形領域内の画像８４とメモリ５６上の各種マーカパターン８５とのテンプレートマッチングを実行する（Ｓ１７）。具体的には、ＣＰＵ５１は、四角形領域内の画像８４をメモリ５６上の各種マーカパターン８５と同じサイズの矩形領域に正規化した上で、図９に示されるように、正規化した画像８４とメモリ５６上の各種マーカパターン８５とのマッチング処理を行う。
【００３８】
ＣＰＵ５１は、上記のテンプレートマッチングの結果、不可視マーカ７を認識することができた場合（Ｓ１８でＹＥＳ）、この不可視マーカ７に対応する対象物６自体の付加情報を示すデータ（例えば、付加情報が格納されているファイル名や、ホームページのアドレス等）をメモリ５６から読み込んで、このデータに対応する付加情報を、ＨＤＤ５７から読み込んだり、外部回線通信部５４を介してインターネット上のサイトにアクセスしたりして取得し（Ｓ１９）、取得した（対象物自体の）付加情報と可視画像８２との合成画像を、ＨＭＤ本体２のＬＣＤ表示部２２に表示させてユーザに提供する（Ｓ２０）。図９の例の場合、対象物６は、展覧会の案内用のチラシであり、この対象物６自体の付加情報を示すデータは、展覧会の案内用のＷｅｂページのＵＲＬであり、対象物６自体の付加情報８６は、展覧会の案内用のＷｅｂページである。従って、この例の場合、ＣＰＵ５１は、展覧会の案内用のチラシ上の不可視マーカ７を認識すると、展覧会の案内用のＷｅｂページをＨＭＤ本体２のＬＣＤ表示部２２に表示させてユーザに提供する。
【００３９】
本情報提供システム１０では、上記Ｓ１９の付加情報提供処理において、以下のような工夫を採用している。具体的には、ウェアラブルコンピュータ５のＣＰＵ５１が、同じマーカパターンの不可視マーカ７を検出したとしても、赤外線ＬＥＤ付カメラ３側から出力された差分画像８３内に、不可視マーカ７と共に何が写っているかによって、ユーザに提供する付加情報を変更する。例えば不可視マーカ７を付与する対象物６が、ＤＶＤの入ったケース９１のときに、ウェアラブルコンピュータ５のＣＰＵ５１が、上記の赤外線ＬＥＤ付カメラ３側から出力された差分画像８３に基づいて、不可視マーカ７を認識したとする。この場合、図１０に示されるように、赤外線ＬＥＤ付カメラ３の撮像エリア４１内に、ＤＶＤの入った（不可視マーカ付きの）ケース９１と、店のレジスタ９２とが入っているので、ＣＰＵ５１は、この状態で得られた差分画像８３に基づいて、その時点で、ユーザが店でＤＶＤ（の入ったケース９１）を見ていると判定して、不可視マーカ７に対応する対象物６（ＤＶＤの入ったケース９１）自体の付加情報として、ＤＶＤに格納されたコンテンツの予告編の映像を、赤外線ＬＥＤ付カメラ３で撮像した撮像エリア４１内の実像（実世界の像）と共にＬＣＤ表示部２２に表示させて、この予告編の映像をユーザに提供する。
【００４０】
これに対して、ユーザがＨＭＤ本体２を介して見ている視野内に、図１１に示されるＤＶＤの入ったケース９１とテレビジョン受像機２８とが入っている場合は、赤外線ＬＥＤ付カメラ３の撮像エリア４１も上記の視野と略同じになる。この状態では、赤外線ＬＥＤ付カメラ３の撮像エリア４１内に、ＤＶＤの入った（不可視マーカ付きの）ケース９１と、テレビジョン受像機２８とが入っているので、ＣＰＵ５１は、この状態で得られた差分画像８３に基づいて、その時点で、ユーザが家でＤＶＤ（の入ったケース９１）を見ていると判定して、不可視マーカ７に対応する対象物６（ＤＶＤの入ったケース９１）自体の付加情報として、図１１に示されるように、ＤＶＤに格納されたコンテンツの各チャプターや特典映像の再生を選択するための（インタフェース用の画面である）選択画面２７をＬＣＤ表示部２２に表示させて、この選択画面２７の映像をユーザに提供する。ユーザは、この選択画面２７がＬＣＤ表示部２２に表示された状態では、ＨＭＤ本体２を用いて、図に示されるような実像２６と選択画面２７の仮想像の合成画像２５を見ることができる。この状態において、ユーザは、ウェアラブルコンピュータ５の操作部５５を用いて、選択画面２７内の各チャプター又は特典映像の再生を選択することができる。
【００４１】
以上のように、本実施形態の情報提供システム１０及びその情報提供方法によれば、移動可能な対象物６上に、透明な再帰性反射材で構成された不可視マーカ７を塗布（配置）する方法を採用したことにより、従来のビジュアルマーカを付与した場合やＩＣタグを取り付けた場合と異なり、マーカを付与された対象物６の美感を損ねることなく、移動可能な対象物自体にマーカを付与することができる。また、上記のように、移動可能な対象物６上に、透明な再帰性反射材で構成された不可視マーカ７を塗布（配置）する方法を採用したことにより、仮に非特許文献１に記載された半透明の再帰性反射材シートを用いたマーカ７を移動可能な対象物６に取り付けた場合と比べて、対象物６の美感を損ねることなく、移動可能な対象物自体にマーカを容易に付与することができる。さらにまた、上記非特許文献２に記載されたＡＲシステムと異なり、マーカが付与される対象物が実質的に紙類に限定されることがなく、例えばＤＶＤのケース９１や衣類６１にも不可視マーカ７を付与することができる。
【００４２】
また、上記特許文献１に記載された発明と異なり、可視赤外画像と可視画像との差分画像８３を用いて不可視マーカ７を検出する方法を採用したことにより、不可視マーカ７を正確に検出することができる。さらにまた、赤外線ＬＥＤ３１を、赤外線ＬＥＤ付カメラ３に設けたことにより、赤外光発光装置をカメラとは別に設ける必要がなくなる。さらにまた、１台の赤外線ＬＥＤ付カメラ３で可視赤外画像と可視画像とを撮像することができるので、非特許文献１の発明や非特許文献２の発明と異なり、通常のカラーカメラと赤外線カメラの両方が必要になるという問題が生じない。また、赤外線ＬＥＤ付カメラ３及びＨＭＤ本体２をユーザが携帯又は装着可能なものとしたことにより、本発明のウェアラブルＡＲ（Augmented Reality）システムへの適用が容易になる。
【００４３】
なお、本発明は、上記実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。例えば、上記実施形態では、ユーザが携帯又は装着可能なディスプレイが、ＨＭＤである場合の例について説明したが、付加情報の表示に使用されるディスプレイは、これに限られず、例えば携帯電話等の携帯可能な情報機器の表示装置であってもよい。また、上記実施形態では、移動可能な対象物６上に、透明な再帰性反射材で構成された不可視マーカ７を塗布するようにした場合の例について説明したが、本発明における不可視マーカは、再帰性反射特性を有する透明な物質で構成されていればよく、不可視マーカを対象物上に配置する方法も、塗布する方法に限られず、例えばシート状の不可視マーカを接着や溶着（熱溶着、高周波溶着、超音波溶着）により対象物上に配置してもよい。さらにまた、検出した不可視マーカに対応する対象物自体の付加情報を音声情報とし、この音声情報をスピーカから出力することによりユーザに提供してもよい。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態に係る情報提供システムの主要部を構成するカメラ付ＨＭＤをユーザが装着した様子を示す図。
【図２】同情報提供システムにおけるＨＭＤ本体を介してユーザが見る像の説明図。
【図３】同情報提供システムの電気的ブロック図。
【図４】同情報提供システムにおける不可視マーカを構成する透明な再帰性反射材の説明図。
【図５】同不可視マーカを衣類に塗布した様子を示す図。
【図６】同情報提供システムにおける赤外線ＬＥＤ付カメラ側の処理を示すフローチャート。
【図７】図６に示される処理の具体例の説明図。
【図８】同情報提供システムにおけるウェアラブルコンピュータ側の処理を示すフローチャート。
【図９】図８に示される処理の具体例の説明図。
【図１０】同情報提供システムの付加情報提供処理における工夫の説明図。
【図１１】同情報提供システムの付加情報提供処理における工夫の説明図。
【符号の説明】
【００４５】
１ カメラ付ＨＭＤ
２ ＨＭＤ本体（情報提供手段、表示手段、携帯又は装着可能なディスプレイ）
３ 赤外線ＬＥＤ付カメラ（カメラ）
６ 対象物
７ 不可視マーカ
１０ 情報提供システム
３１ 赤外線ＬＥＤ（赤外光発光手段）
３３ ＣＭＯＳ（撮像手段）
３４ ＦＰＧＡ（撮像制御手段）
５１ ＣＰＵ（差分画像生成手段、不可視マーカ検出手段）
８２ カラー画像Ｃ（可視画像）
８３ 差分画像
８５ マーカパターン
【技術分野】
【０００１】
本発明は、対象物の付加情報をユーザに提供する情報提供方法、及び情報提供システムに関する。
【背景技術】
【０００２】
対象物に付加情報を付与しておき、当該対象物に接するときに、情報読取機器でその付加情報を簡便に得る方法としては、バーコードやＱＲコードといったビジュアルマーカ(ビジュアルタグ)、及びパッシブタグやアクティブタグといったＩＣタグなどを用いる方法が知られている。
【０００３】
しかし、それぞれの対象物に高価なＩＣタグを取り付けることは、コストアップにつながり、しかも、ＩＣタグを付与できる対象物の構造には制約がある。このため、ＩＣタグは、対象物の存在する場所に取り付けられることが多い。特に、アクティブタグ型のＩＣタグは、電源が必要になるという問題があるため、対象物自体ではなく、対象物の存在する場所に取り付ける必要性がある。従って、パッシブタグやアクティブタグといったＩＣタグは、一般的に、販売店に陳列された衣料品やＤＶＤ等の、移動が前提となる（移動可能な）対象物に取り付けるのには向いていない。
【０００４】
これに対して、バーコードやＱＲコードといったビジュアルマーカは、移動可能な対象物に付与され得るし、電源も不要である。しかしながら、従来のビジュアルマーカを対象物自体に付与すると、当該対象物の美感を損ねる。また、従来のビジュアルマーカを対象物の周囲の場所に付与する方法では、対象物周辺の場所の景観を損ねると共に、移動可能な対象物自体にマーカを付与できない。
【０００５】
また、上記従来のビジュアルマーカが持つ、対象物周辺の場所の景観を損ねるという問題を解消するために、半透明の再帰性反射材シートを用いたマーカを天井に取り付けて、このマーカを赤外線ＬＥＤ付赤外線カメラ（赤外線領域の光を撮像可能なカメラ）を用いて検出することにより、このマーカに対応した位置情報を得るウェアラブルＡＲ（Augmented Reality）システムが知られている（非特許文献１参照）。しかしながら、上記の半透明の再帰性反射材シートを、模様や装飾が施された場所や、移動可能な対象物に取り付けた場合には、美感上の問題が残る。しかも、上記のウェアラブルＡＲシステムには、通常のカメラと赤外線カメラの両方が必要になるという問題があった。
【０００６】
また、上記システムと同様な不可視マーカを用いたＡＲシステムの分野において、同一光軸上に設けられた赤外線カメラと通常のカラーカメラを用いて、カラーカメラで認識物体を追跡し、物体に印刷された赤外線インク（赤外光を照射することにより読み取り可能なインク）による不可視マーカを赤外線カメラで読み取るようにしたものが知られている（非特許文献２参照）。しかしながら、一般に、赤外線インクは、あくまでインクの一種であるため、紙等の、適度にインクを吸収する対象物にしか印刷することができない。また、非特許文献２に記載されたＡＲシステムにも、非特許文献１に記載されたウェアラブルＡＲシステムと同様に、通常のカラーカメラと赤外線カメラの両方が必要になるという問題があった。
【０００７】
さらにまた、上記と同様な不可視マーカを用いたＡＲシステムの分野において、不可視マーカを赤外線カメラを用いて撮像した画像に基いて、不可視マーカを検出するＨＭＤ（Head Mounted Display）システムが知られている（特許文献１参照）。しかしながら、このシステムは、通常のカメラによる撮影画像と赤外線カメラによる撮像画像とを比較する方式を採用せず、赤外線カメラによる撮像画像のみに基いて不可視マーカを検出するので、必ずしも不可視マーカを正確に検出することができない。
【特許文献１】特開２０００−３４７１２８号公報
【非特許文献１】中里祐介、外２名、「ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定」、日本バーチャルリアリティ学会論文誌、日本バーチャルリアリティ学会、平成１７年９月、第１０巻、第３号、ｐ．295−304
【非特許文献２】ハンフン・パク（Hanhoon Park）、外１名、「不可視マーカに基づく拡張現実感システム」（"Invisible Marker Based Augumented Reality System"）、視覚的通信手順と画像処理２００５（"Proceedings of Visual Communications and Image Processing (VCIP) 2005"）、平成１７年７月、中華人民共和国、第５９６０巻、ｐ．501−508
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上記の問題を解決するためになされたものであり、マーカを付与された対象物の美感を損ねることなく、移動可能な対象物自体にマーカを付与することができ、しかもマーカを正確に検出することが可能な情報提供方法及び情報提供システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために請求項１の発明は、移動可能な対象物上に、再帰性反射特性を有する透明な物質で構成され、前記対象物自体の付加情報に対応するマーカパターンからなる不可視マーカを予め配置しておき、この不可視マーカに対応する前記対象物自体の付加情報をユーザに提供する情報提供方法であって、前記対象物に、可視光下で赤外光を照射して、可視光と赤外光の下での画像（以下、可視赤外画像という）を撮像するステップと、前記赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像するステップと、前記可視赤外画像と可視画像との差分画像を生成するステップと、前記差分画像に含まれる不可視マーカを検出するステップと、前記検出した不可視マーカに対応する前記対象物自体の付加情報をユーザに提供するステップとを含むものである。
【００１０】
請求項２の発明は、請求項１に記載の情報提供方法において、赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な１台のカメラに設けられた赤外光発光手段を用いて、赤外光の点灯状態と消灯状態とで、前記可視赤外画像と前記可視画像とを撮像するものである。
【００１１】
請求項３の発明は、請求項２に記載の情報提供方法において、前記カメラは、ユーザが携帯又は装着可能なものである。
【００１２】
請求項４の発明は、請求項１乃至請求項３のいずれか１項に記載の情報提供方法において、前記検出した不可視マーカに対応する前記対象物自体の付加情報を、表示手段に表示させてユーザに提供するものである。
【００１３】
請求項５の発明は、請求項４に記載の情報提供方法において、前記表示手段は、ユーザが携帯又は装着可能なディスプレイであるものである。
【００１４】
請求項６の発明は、請求項１乃至請求項５のいずれか１項に記載の情報提供方法において、前記移動可能な対象物上に前記不可視マーカを塗布することにより、前記対象物上に前記不可視マーカを配置するものである。
【００１５】
請求項７の発明は、移動可能な対象物に配置された、該対象物自体の付加情報に対応するマーカパターンからなる不可視マーカと、１台のカメラと、前記不可視マーカに対応する前記対象物自体の付加情報をユーザに提供するための情報提供手段とを含む情報提供システムであって、前記不可視マーカは、再帰性反射特性を有する透明な物質で構成され、前記カメラは、赤外光を照射するための赤外光発光手段と、赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な撮像手段と、前記赤外光発光手段を用いて前記対象物に可視光下で赤外光を照射した状態で、可視光と赤外光の下での画像（以下、可視赤外画像という）を前記撮像手段により撮像する処理と、前記赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像する処理とを実行するように制御する撮像制御手段とを有し、前記可視赤外画像と可視画像との差分画像を生成する差分画像生成手段と、前記差分画像に含まれる不可視マーカを検出する不可視マーカ検出手段とをさらに備えるものである。
【００１６】
請求項８の発明は、請求項７に記載の情報提供システムにおいて、前記情報提供手段は、前記対象物自体の付加情報を表示する表示手段であるものである。
【００１７】
請求項９の発明は、請求項８に記載の情報提供システムにおいて、前記表示手段は、ユーザが携帯又は装着可能なディスプレイであるものである。
【００１８】
請求項１０の発明は、請求項７乃至請求項９のいずれか１項に記載の情報提供システムにおいて、前記カメラは、ユーザが携帯又は装着可能なものである。
【００１９】
請求項１１の発明は、請求項７乃至請求項１０のいずれか１項に記載の情報提供システムにおいて、前記不可視マーカは、前記移動可能な対象物上に塗布されることにより、前記対象物上に配置されるものである。
【発明の効果】
【００２０】
請求項１の発明によれば、移動可能な対象物上に、再帰性反射特性を有する透明な物質で構成された不可視マーカを配置する方法を採用したことにより、従来のビジュアルマーカを付与した場合やＩＣタグを取り付けた場合と異なり、マーカを付与された対象物の美感を損ねることなく、移動可能な対象物自体にマーカを付与することができる。また、上記非特許文献２に記載されたＡＲシステムと異なり、マーカが付与される対象物が実質的に紙類に限定されることがなく、例えばＤＶＤのケースや衣類にもマーカを付与することができる。
【００２１】
さらにまた、上記特許文献１に記載された発明と異なり、可視赤外画像と可視画像との差分画像を用いて不可視マーカを検出する方法を採用したことにより、不可視マーカを正確に検出することができる。上記特許文献１に記載された発明のように、マーカが位置に応じた付加情報を表す場合と比べて、本願請求項１の発明のように、不可視マーカが移動可能な対象物自体の付加情報を表す場合には、マーカパターンの種類が多くならざるを得ないので、上記のように差分画像を用いて、種々のパターンよりなる不可視マーカを正確に検出（判別）する必要性がある。
【００２２】
請求項２の発明によれば、赤外光発光手段をカメラに設けたことにより、赤外光発光手段をカメラとは別に設ける必要がなくなる。また、１台のカメラで可視赤外画像と可視画像とを撮像することができるので、非特許文献１の発明や非特許文献２の発明と異なり、通常のカラーカメラと赤外線カメラの両方が必要になるという問題が生じない。
【００２３】
請求項３、５、９及び１０の発明によれば、本発明のウェアラブルＡＲ（Augmented Reality）システムへの適用が容易になる。
【００２４】
請求項４及び請求項８の発明によれば、上記請求項１又は請求項２に記載の発明の効果を的確に得ることができる。
【００２５】
請求項６及び請求項１１の発明によれば、移動可能な対象物上に不可視マーカを塗布する方法を採用したことにより、仮に非特許文献１に記載された半透明の再帰性反射材シートを用いたマーカを移動可能な対象物に取り付けた場合と比べて、対象物の美感を損ねることなく、移動可能な対象物自体にマーカを容易に付与することができる。
【００２６】
請求項７の発明によれば、上記請求項１及び請求項２に記載の発明の効果と同様な効果を得ることができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の一実施形態に係る情報提供方法及び情報提供システムについて、図面を参照して説明する。図１は、本実施形態による情報提供システムの主要部を構成するカメラ付ＨＭＤ（Head Mounted Display）１をユーザ４が装着した様子を示す。図１に示されるように、カメラ付ＨＭＤ１は、ＬＣＤ表示部（図３参照）を有するＨＭＤ本体２（請求項における「情報提供手段」、「表示手段」及び「携帯又は装着可能なディスプレイ」）と、赤外線領域まで撮像可能な（赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な）ＣＭＯＳ（図３参照）及び赤外線ＬＥＤを有する赤外線ＬＥＤ付カメラ３とを備えている。ＨＭＤ本体２とウェアラブルコンピュータ（図３参照）との間は、ＵＳＢケーブル１２で接続されており、また、赤外線ＬＥＤ付カメラ３とウェアラブルコンピュータとの間は、ＵＳＢケーブル１１で接続されている。本情報提供システムは、その全体をユーザが装着可能であり、いわゆるウェアラブルＡＲ（Augmented Reality）システムの一種である。
【００２８】
本実施形態に用いられるＨＭＤ本体２は、赤外線ＬＥＤ付カメラ３で撮像した実像と、ウェアラブルコンピュータ５を用いて取得した仮想像との合成画像を表示してユーザに提供するビデオ透過型のヘッドマウントディスプレイである。図２中の８は、ユーザの目を示し、図２中の１ａは、ＬＣＤ表示部２２からの光の光路を示す。図２に示されるように、ＬＣＤ表示部２２からの光は、自由曲線タイプのプリズム２１に入射し、プリズム２１の面２１ａと凹面２１ｂにて全反射した後、面２１ａを透過してユーザの目８に達する。図１に示されるように、対象物６に塗布された不可視マーカ７が赤外線ＬＥＤ付カメラ３の撮像エリア内（ユーザ４の前方）に存在するときには、本情報提供システムは、上記のウェアラブルコンピュータを用いて生成された、不可視マーカ７に対応する対象物６自体の付加情報の仮想像と、赤外線ＬＥＤ付カメラ３で撮像したユーザ前方の実像（実世界の像）との合成画像を、ＬＣＤ表示部２２に表示させてユーザ４に見せることができる。言い換えれば、本情報提供システムは、対象物６に塗布された不可視マーカ７を検出したときには、検出した不可視マーカ７に対応する対象物６自体の付加情報を、ＨＭＤ本体２のＬＣＤ表示部２２に表示させてユーザに提供する。
【００２９】
図３は、情報提供システム１０の構成を示す。図３中の太い矢印は、主なデータの流れを示す。図に示されるように、情報提供システム１０は、移動可能な対象物６に塗布された、該対象物自体の付加情報に対応する不可視マーカ７と、上記のカメラ付ＨＭＤ１と、ウェアラブルコンピュータ５とを備えている。上記のように、カメラ付ＨＭＤ１は、ＨＭＤ本体２と赤外線ＬＥＤ付カメラ３とを有している。ＨＭＤ本体２は、上記のＬＣＤ表示部２２に加えて、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）２３を備えている。赤外線ＬＥＤ付カメラ３は、対象物６に赤外光を照射するための赤外線ＬＥＤ３１（図３中のＩＲ；請求項における赤外光発光手段）と、撮影レンズ等より構成される撮像光学系３２と、赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能なＣＭＯＳ３３（撮像手段）と、カメラ全体の制御を行うＦＰＧＡ３４（撮像制御手段）と、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）３５とを備えている。
【００３０】
上記のウェアラブルコンピュータ５は、このコンピュータ全体の制御を行うＣＰＵ５１（請求項における差分画像生成手段及び不可視マーカ検出手段）と、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）５２と、赤外線ＬＥＤ付カメラ３から画像を取り込むためのビデオキャプチャボード５３と、ビデオキャプチャボード５３で取り込んだ画像等を一時的に保存するためのメモリ５６と、インターネット等の外部通信回線を介した通信を行うための外部回線通信部５４と、ウェアラブルコンピュータ５への指示操作を行うための操作部５５と、各種のデータを格納するＨＤＤ５７とを備えている。ＨＤＤ５７内には、各種のマーカパターン（図９の８５参照）についてのデータや、これらのマーカ（パターン）に対応する（リンクする）対象物６自体の付加情報を示すデータ（例えばホームページのアドレス等）が格納されており、これらのデータは、ウェアラブルコンピュータ５の起動時に、ＨＤＤ５７から読み出されて、メモリ５６上に展開される。
【００３１】
また、図３中の１ｃに示される赤外線ＬＥＤ３１から照射された赤外光は、不可視マーカ７により反射される。そして、この不可視マーカ７からの反射光は、１ｄに示されるように、赤外線ＬＥＤ付カメラ３の撮像光学系３２により集光されてＣＭＯＳ３３上に結像される。
【００３２】
不可視マーカ７を構成する透明な再帰性反射材は、図４に示されるように、透明な合成樹脂系塗料７ａと、微小なガラスビーズ（反射球）７ｂとから構成されている。この再帰性反射材は、含有するガラスビーズ７ｂが入射光１ｅを再帰反射（入射光が、入射角度に係らず再び入射方向に戻る反射現象）することにより、強力な反射性能を持つと共に、反射光１ｆを光源の方向に導く性質を有している。このため、赤外線ＬＥＤ３１を有する赤外線ＬＥＤ付カメラ３によって不可視マーカ７の画像（後述する可視赤外画像）を得ることはできるが、赤外線ＬＥＤ付カメラ３の存在する方向（矢印１ｃ，１ｄに沿った方向）以外の方向からは、不可視マーカ７を視認することも、不可視マーカ７の画像を得る（撮像する）こともできない。
【００３３】
上記の不可視マーカ７は、図５に示される衣類６１やＤＶＤのケース（図１０の９１参照）等の移動可能な対象物自体に容易に塗布され得る。また、赤外光が照射されない場合には、ユーザ４が移動可能な対象物に塗布された不可視マーカ７を視認することができず、しかも、赤外光が照射された場合でも赤外光の光源と同じ方向からでなければ、ユーザ４が不可視マーカ７を視認することができないので、従来のビジュアルマーカを付与した場合やＩＣタグを取り付けた場合と異なり、マーカを付与された対象物の美感を損ねることがない。
【００３４】
次に、本情報提供システム１０における赤外線ＬＥＤ付カメラ３側の処理について、図６を参照して説明する。赤外線ＬＥＤ付カメラ３におけるＦＰＧＡ３４は、赤外線ＬＥＤ３１を用いて対象物６に可視光下で赤外光を照射（赤外線ＬＥＤ３１を発光）した状態で（Ｓ１）、可視光（環境光）と赤外光の下での画像（以下、可視赤外画像という）をＣＭＯＳ３３により撮像する処理（Ｓ２）と、赤外光を照射しないで（赤外線ＬＥＤ３１を消灯して）（Ｓ３）、可視光のみの下における画像（以下、可視画像という）をＣＭＯＳ３３により撮像する処理（Ｓ４）とを交互に実行するように制御する。すなわち、ＦＰＧＡ３４は、可視光下で赤外線ＬＥＤ３１を点滅させながら、この点滅の周期と同期させて、上記の可視赤外画像と可視画像とをＣＭＯＳ３３により交互に撮像する。そして、ＦＰＧＡ３４は、上記の可視画像をＵＳＢインタフェース３５を介してウェアラブルコンピュータ５に出力すると共に（Ｓ５）、上記の可視赤外画像と可視画像との差分画像を生成して、この差分画像をウェアラブルコンピュータ５に出力する（Ｓ６）。
【００３５】
図７は、上記の図６に示される差分画像生成処理の具体例を示す図である。この例では、画像Ａの撮像の途中で赤外線ＬＥＤ３１を点灯させ、画像Ｂの撮像の途中で赤外線ＬＥＤ３１を消灯させて、カラー画像Ｃ（可視画像）８２の撮像中には全く赤外線ＬＥＤ３１を点灯させなかったものとする。この場合には、図に示されるように、差分画像８３における各画素の輝度値は、画像Ａの各画素の輝度値と画像Ｂの各画素の輝度値との平均値から、可視画像であるカラー画像Ｃ８２の各画素の輝度値を減ずることにより算出された輝度値である。
【００３６】
次に、本情報提供システム１０におけるウェアラブルコンピュータ５側の処理について、図８及び図９を参照して説明する。まず、図８のフローチャートに示されるように、ウェアラブルコンピュータ５のＣＰＵ５１は、赤外線ＬＥＤ付カメラ３側から出力された可視画像（カラー画像）８２と差分画像８３（図９参照）を、図３に示されるＵＳＢインタフェース５２を用いて交互に取り込むと（Ｓ１１）、グレイスケール画像である上記の差分画像８３を濃度階調変換によってコントラストの高い画像に変換した後、変換後の画像を二値化する（Ｓ１２）。次に、ＣＰＵ５１は、この二値化した画像に対して膨張収縮処理を繰り返し行うことで、オープニングとクロージングを行う。オープニングは、膨張を行った後に収縮を行うことで、このオープニングを実行することにより、黒色画素の集合の中に現れる白色画素の「ごま塩ノイズ」を取り除くことができる。また、クロージングは、オープニングとは逆に、収縮の後に膨張を行うことで、このクロージングを実行することにより、白色画素の集合の中に現れる黒色画素の「ごま塩ノイズ」を取り除くことができる。上記の膨張収縮処理を繰り返し行うことにより、Ｓ１２の処理で得られた二値化画像からノイズの除去を行う（Ｓ１３）。
【００３７】
次に、ＣＰＵ５１は、Ｓ１３のノイズ除去処理が施された画像に対して輪郭（線）の追跡処理を実行することにより（Ｓ１４）、不可視マーカ７が写っている可能性のある領域を抽出する。そして、ＣＰＵ５１は、抽出された各輪郭に対して多角形近似を行った後に（Ｓ１５）、得られた多角形領域のうち四角形領域をマーカ候補領域として（Ｓ１６でＹＥＳ）、図９に示される四角形領域内の画像８４とメモリ５６上の各種マーカパターン８５とのテンプレートマッチングを実行する（Ｓ１７）。具体的には、ＣＰＵ５１は、四角形領域内の画像８４をメモリ５６上の各種マーカパターン８５と同じサイズの矩形領域に正規化した上で、図９に示されるように、正規化した画像８４とメモリ５６上の各種マーカパターン８５とのマッチング処理を行う。
【００３８】
ＣＰＵ５１は、上記のテンプレートマッチングの結果、不可視マーカ７を認識することができた場合（Ｓ１８でＹＥＳ）、この不可視マーカ７に対応する対象物６自体の付加情報を示すデータ（例えば、付加情報が格納されているファイル名や、ホームページのアドレス等）をメモリ５６から読み込んで、このデータに対応する付加情報を、ＨＤＤ５７から読み込んだり、外部回線通信部５４を介してインターネット上のサイトにアクセスしたりして取得し（Ｓ１９）、取得した（対象物自体の）付加情報と可視画像８２との合成画像を、ＨＭＤ本体２のＬＣＤ表示部２２に表示させてユーザに提供する（Ｓ２０）。図９の例の場合、対象物６は、展覧会の案内用のチラシであり、この対象物６自体の付加情報を示すデータは、展覧会の案内用のＷｅｂページのＵＲＬであり、対象物６自体の付加情報８６は、展覧会の案内用のＷｅｂページである。従って、この例の場合、ＣＰＵ５１は、展覧会の案内用のチラシ上の不可視マーカ７を認識すると、展覧会の案内用のＷｅｂページをＨＭＤ本体２のＬＣＤ表示部２２に表示させてユーザに提供する。
【００３９】
本情報提供システム１０では、上記Ｓ１９の付加情報提供処理において、以下のような工夫を採用している。具体的には、ウェアラブルコンピュータ５のＣＰＵ５１が、同じマーカパターンの不可視マーカ７を検出したとしても、赤外線ＬＥＤ付カメラ３側から出力された差分画像８３内に、不可視マーカ７と共に何が写っているかによって、ユーザに提供する付加情報を変更する。例えば不可視マーカ７を付与する対象物６が、ＤＶＤの入ったケース９１のときに、ウェアラブルコンピュータ５のＣＰＵ５１が、上記の赤外線ＬＥＤ付カメラ３側から出力された差分画像８３に基づいて、不可視マーカ７を認識したとする。この場合、図１０に示されるように、赤外線ＬＥＤ付カメラ３の撮像エリア４１内に、ＤＶＤの入った（不可視マーカ付きの）ケース９１と、店のレジスタ９２とが入っているので、ＣＰＵ５１は、この状態で得られた差分画像８３に基づいて、その時点で、ユーザが店でＤＶＤ（の入ったケース９１）を見ていると判定して、不可視マーカ７に対応する対象物６（ＤＶＤの入ったケース９１）自体の付加情報として、ＤＶＤに格納されたコンテンツの予告編の映像を、赤外線ＬＥＤ付カメラ３で撮像した撮像エリア４１内の実像（実世界の像）と共にＬＣＤ表示部２２に表示させて、この予告編の映像をユーザに提供する。
【００４０】
これに対して、ユーザがＨＭＤ本体２を介して見ている視野内に、図１１に示されるＤＶＤの入ったケース９１とテレビジョン受像機２８とが入っている場合は、赤外線ＬＥＤ付カメラ３の撮像エリア４１も上記の視野と略同じになる。この状態では、赤外線ＬＥＤ付カメラ３の撮像エリア４１内に、ＤＶＤの入った（不可視マーカ付きの）ケース９１と、テレビジョン受像機２８とが入っているので、ＣＰＵ５１は、この状態で得られた差分画像８３に基づいて、その時点で、ユーザが家でＤＶＤ（の入ったケース９１）を見ていると判定して、不可視マーカ７に対応する対象物６（ＤＶＤの入ったケース９１）自体の付加情報として、図１１に示されるように、ＤＶＤに格納されたコンテンツの各チャプターや特典映像の再生を選択するための（インタフェース用の画面である）選択画面２７をＬＣＤ表示部２２に表示させて、この選択画面２７の映像をユーザに提供する。ユーザは、この選択画面２７がＬＣＤ表示部２２に表示された状態では、ＨＭＤ本体２を用いて、図に示されるような実像２６と選択画面２７の仮想像の合成画像２５を見ることができる。この状態において、ユーザは、ウェアラブルコンピュータ５の操作部５５を用いて、選択画面２７内の各チャプター又は特典映像の再生を選択することができる。
【００４１】
以上のように、本実施形態の情報提供システム１０及びその情報提供方法によれば、移動可能な対象物６上に、透明な再帰性反射材で構成された不可視マーカ７を塗布（配置）する方法を採用したことにより、従来のビジュアルマーカを付与した場合やＩＣタグを取り付けた場合と異なり、マーカを付与された対象物６の美感を損ねることなく、移動可能な対象物自体にマーカを付与することができる。また、上記のように、移動可能な対象物６上に、透明な再帰性反射材で構成された不可視マーカ７を塗布（配置）する方法を採用したことにより、仮に非特許文献１に記載された半透明の再帰性反射材シートを用いたマーカ７を移動可能な対象物６に取り付けた場合と比べて、対象物６の美感を損ねることなく、移動可能な対象物自体にマーカを容易に付与することができる。さらにまた、上記非特許文献２に記載されたＡＲシステムと異なり、マーカが付与される対象物が実質的に紙類に限定されることがなく、例えばＤＶＤのケース９１や衣類６１にも不可視マーカ７を付与することができる。
【００４２】
また、上記特許文献１に記載された発明と異なり、可視赤外画像と可視画像との差分画像８３を用いて不可視マーカ７を検出する方法を採用したことにより、不可視マーカ７を正確に検出することができる。さらにまた、赤外線ＬＥＤ３１を、赤外線ＬＥＤ付カメラ３に設けたことにより、赤外光発光装置をカメラとは別に設ける必要がなくなる。さらにまた、１台の赤外線ＬＥＤ付カメラ３で可視赤外画像と可視画像とを撮像することができるので、非特許文献１の発明や非特許文献２の発明と異なり、通常のカラーカメラと赤外線カメラの両方が必要になるという問題が生じない。また、赤外線ＬＥＤ付カメラ３及びＨＭＤ本体２をユーザが携帯又は装着可能なものとしたことにより、本発明のウェアラブルＡＲ（Augmented Reality）システムへの適用が容易になる。
【００４３】
なお、本発明は、上記実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。例えば、上記実施形態では、ユーザが携帯又は装着可能なディスプレイが、ＨＭＤである場合の例について説明したが、付加情報の表示に使用されるディスプレイは、これに限られず、例えば携帯電話等の携帯可能な情報機器の表示装置であってもよい。また、上記実施形態では、移動可能な対象物６上に、透明な再帰性反射材で構成された不可視マーカ７を塗布するようにした場合の例について説明したが、本発明における不可視マーカは、再帰性反射特性を有する透明な物質で構成されていればよく、不可視マーカを対象物上に配置する方法も、塗布する方法に限られず、例えばシート状の不可視マーカを接着や溶着（熱溶着、高周波溶着、超音波溶着）により対象物上に配置してもよい。さらにまた、検出した不可視マーカに対応する対象物自体の付加情報を音声情報とし、この音声情報をスピーカから出力することによりユーザに提供してもよい。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態に係る情報提供システムの主要部を構成するカメラ付ＨＭＤをユーザが装着した様子を示す図。
【図２】同情報提供システムにおけるＨＭＤ本体を介してユーザが見る像の説明図。
【図３】同情報提供システムの電気的ブロック図。
【図４】同情報提供システムにおける不可視マーカを構成する透明な再帰性反射材の説明図。
【図５】同不可視マーカを衣類に塗布した様子を示す図。
【図６】同情報提供システムにおける赤外線ＬＥＤ付カメラ側の処理を示すフローチャート。
【図７】図６に示される処理の具体例の説明図。
【図８】同情報提供システムにおけるウェアラブルコンピュータ側の処理を示すフローチャート。
【図９】図８に示される処理の具体例の説明図。
【図１０】同情報提供システムの付加情報提供処理における工夫の説明図。
【図１１】同情報提供システムの付加情報提供処理における工夫の説明図。
【符号の説明】
【００４５】
１ カメラ付ＨＭＤ
２ ＨＭＤ本体（情報提供手段、表示手段、携帯又は装着可能なディスプレイ）
３ 赤外線ＬＥＤ付カメラ（カメラ）
６ 対象物
７ 不可視マーカ
１０ 情報提供システム
３１ 赤外線ＬＥＤ（赤外光発光手段）
３３ ＣＭＯＳ（撮像手段）
３４ ＦＰＧＡ（撮像制御手段）
５１ ＣＰＵ（差分画像生成手段、不可視マーカ検出手段）
８２ カラー画像Ｃ（可視画像）
８３ 差分画像
８５ マーカパターン
【特許請求の範囲】
【請求項１】
移動可能な対象物上に、再帰性反射特性を有する透明な物質で構成され、前記対象物自体の付加情報に対応するマーカパターンからなる不可視マーカを予め配置しておき、この不可視マーカに対応する前記対象物自体の付加情報をユーザに提供する情報提供方法であって、
前記対象物に、可視光下で赤外光を照射して、可視光と赤外光の下での画像（以下、可視赤外画像という）を撮像するステップと、
前記赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像するステップと、
前記可視赤外画像と可視画像との差分画像を生成するステップと、
前記差分画像に含まれる不可視マーカを検出するステップと、
前記検出した不可視マーカに対応する前記対象物自体の付加情報をユーザに提供するステップとを含むことを特徴とする情報提供方法。
【請求項２】
赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な１台のカメラに設けられた赤外光発光手段を用いて、赤外光の点灯状態と消灯状態とで、前記可視赤外画像と前記可視画像とを撮像することを特徴とする請求項１に記載の情報提供方法。
【請求項３】
前記カメラは、ユーザが携帯又は装着可能であることを特徴とする請求項２に記載の情報提供方法。
【請求項４】
前記検出した不可視マーカに対応する前記対象物自体の付加情報を、表示手段に表示させてユーザに提供することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報提供方法。
【請求項５】
前記表示手段は、ユーザが携帯又は装着可能なディスプレイであることを特徴とする請求項４に記載の情報提供方法。
【請求項６】
前記移動可能な対象物上に前記不可視マーカを塗布することにより、前記対象物上に前記不可視マーカを配置することを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報提供方法。
【請求項７】
移動可能な対象物に配置された、該対象物自体の付加情報に対応するマーカパターンからなる不可視マーカと、１台のカメラと、前記不可視マーカに対応する前記対象物自体の付加情報をユーザに提供するための情報提供手段とを含む情報提供システムであって、
前記不可視マーカは、再帰性反射特性を有する透明な物質で構成され、
前記カメラは、
赤外光を照射するための赤外光発光手段と、
赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な撮像手段と、
前記赤外光発光手段を用いて前記対象物に可視光下で赤外光を照射した状態で、可視光と赤外光の下での画像（以下、可視赤外画像という）を前記撮像手段により撮像する処理と、前記赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像する処理とを実行するように制御する撮像制御手段とを有し、
前記可視赤外画像と可視画像との差分画像を生成する差分画像生成手段と、
前記差分画像に含まれる不可視マーカを検出する不可視マーカ検出手段とをさらに備えることを特徴とする情報提供システム。
【請求項８】
前記情報提供手段は、前記対象物自体の付加情報を表示する表示手段であることを特徴とする請求項７に記載の情報提供システム。
【請求項９】
前記表示手段は、ユーザが携帯又は装着可能なディスプレイであることを特徴とする請求項８に記載の情報提供システム。
【請求項１０】
前記カメラは、ユーザが携帯又は装着可能であることを特徴とする請求項７乃至請求項９のいずれか１項に記載の情報提供システム。
【請求項１１】
前記不可視マーカは、前記移動可能な対象物上に塗布されることにより、前記対象物上に配置されることを特徴とする請求項７乃至請求項１０のいずれか１項に記載の情報提供システム。
【請求項１】
移動可能な対象物上に、再帰性反射特性を有する透明な物質で構成され、前記対象物自体の付加情報に対応するマーカパターンからなる不可視マーカを予め配置しておき、この不可視マーカに対応する前記対象物自体の付加情報をユーザに提供する情報提供方法であって、
前記対象物に、可視光下で赤外光を照射して、可視光と赤外光の下での画像（以下、可視赤外画像という）を撮像するステップと、
前記赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像するステップと、
前記可視赤外画像と可視画像との差分画像を生成するステップと、
前記差分画像に含まれる不可視マーカを検出するステップと、
前記検出した不可視マーカに対応する前記対象物自体の付加情報をユーザに提供するステップとを含むことを特徴とする情報提供方法。
【請求項２】
赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な１台のカメラに設けられた赤外光発光手段を用いて、赤外光の点灯状態と消灯状態とで、前記可視赤外画像と前記可視画像とを撮像することを特徴とする請求項１に記載の情報提供方法。
【請求項３】
前記カメラは、ユーザが携帯又は装着可能であることを特徴とする請求項２に記載の情報提供方法。
【請求項４】
前記検出した不可視マーカに対応する前記対象物自体の付加情報を、表示手段に表示させてユーザに提供することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報提供方法。
【請求項５】
前記表示手段は、ユーザが携帯又は装着可能なディスプレイであることを特徴とする請求項４に記載の情報提供方法。
【請求項６】
前記移動可能な対象物上に前記不可視マーカを塗布することにより、前記対象物上に前記不可視マーカを配置することを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報提供方法。
【請求項７】
移動可能な対象物に配置された、該対象物自体の付加情報に対応するマーカパターンからなる不可視マーカと、１台のカメラと、前記不可視マーカに対応する前記対象物自体の付加情報をユーザに提供するための情報提供手段とを含む情報提供システムであって、
前記不可視マーカは、再帰性反射特性を有する透明な物質で構成され、
前記カメラは、
赤外光を照射するための赤外光発光手段と、
赤外線領域及び可視光領域の両方の周波数領域の光を撮像可能な撮像手段と、
前記赤外光発光手段を用いて前記対象物に可視光下で赤外光を照射した状態で、可視光と赤外光の下での画像（以下、可視赤外画像という）を前記撮像手段により撮像する処理と、前記赤外光を照射しないで、可視光のみの下における画像（以下、可視画像という）を撮像する処理とを実行するように制御する撮像制御手段とを有し、
前記可視赤外画像と可視画像との差分画像を生成する差分画像生成手段と、
前記差分画像に含まれる不可視マーカを検出する不可視マーカ検出手段とをさらに備えることを特徴とする情報提供システム。
【請求項８】
前記情報提供手段は、前記対象物自体の付加情報を表示する表示手段であることを特徴とする請求項７に記載の情報提供システム。
【請求項９】
前記表示手段は、ユーザが携帯又は装着可能なディスプレイであることを特徴とする請求項８に記載の情報提供システム。
【請求項１０】
前記カメラは、ユーザが携帯又は装着可能であることを特徴とする請求項７乃至請求項９のいずれか１項に記載の情報提供システム。
【請求項１１】
前記不可視マーカは、前記移動可能な対象物上に塗布されることにより、前記対象物上に配置されることを特徴とする請求項７乃至請求項１０のいずれか１項に記載の情報提供システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図７】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図７】
【図９】
【公開番号】特開２０１０−５０７５７（Ｐ２０１０−５０７５７Ａ）
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願番号】特願２００８−２１３３７３（Ｐ２００８−２１３３７３）
【出願日】平成２０年８月２１日（２００８．８．２１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り １．平成２０年２月２６日、関西学院大学主催の「関西学院大学理工学部情報科学科２００７年度卒業研究発表会（Ｇ３）」において発表
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５０３０９２１８０）学校法人関西学院 (71)
【Ｆターム（参考）】
【公開日】平成２２年３月４日（２０１０．３．４）
【国際特許分類】
【出願日】平成２０年８月２１日（２００８．８．２１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り １．平成２０年２月２６日、関西学院大学主催の「関西学院大学理工学部情報科学科２００７年度卒業研究発表会（Ｇ３）」において発表
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５０３０９２１８０）学校法人関西学院 (71)
【Ｆターム（参考）】
[ Back to top ]