情報表示システム、情報表示装置、および、プログラム
【課題】ARを用いたサービスの利便性を向上させる。
【解決手段】照合処理部113は、キー情報取得部130を制御し、位置情報などのキー情報を取得し、通信部120により外部装置に通知する。照合処理部113は、取得したキー情報を外部装置から取得した識別情報と対応づけて記憶部160に格納する。照合処理部113は、外部装置から取得するARデータを記録するテーブルに、取得した識別情報がない場合、当該識別情報を外部装置に通知することでARデータを取得する。キー情報を記録するテーブルに空きレコードがない場合、利用日時が古いキー情報を削除対象とするが、当該キー情報が現在位置付近を示す場合には削除対象から除外する。また、ARデータを記録するテーブルに空きレコードがない場合、利用日時が古いARデータを削除対象とするが、対応するキー情報が削除除外となっている場合には、当該ARデータも削除対象から除外する。
【解決手段】照合処理部113は、キー情報取得部130を制御し、位置情報などのキー情報を取得し、通信部120により外部装置に通知する。照合処理部113は、取得したキー情報を外部装置から取得した識別情報と対応づけて記憶部160に格納する。照合処理部113は、外部装置から取得するARデータを記録するテーブルに、取得した識別情報がない場合、当該識別情報を外部装置に通知することでARデータを取得する。キー情報を記録するテーブルに空きレコードがない場合、利用日時が古いキー情報を削除対象とするが、当該キー情報が現在位置付近を示す場合には削除対象から除外する。また、ARデータを記録するテーブルに空きレコードがない場合、利用日時が古いARデータを削除対象とするが、対応するキー情報が削除除外となっている場合には、当該ARデータも削除対象から除外する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報表示システム、情報表示装置、および、プログラムに関し、特に、AR技術を用いた情報表示に好適な情報表示システム、情報表示装置、および、プログラムに関する。
【背景技術】
【0002】
いわゆるスマートフォンなどのような、撮像機能を備える高性能な携帯通信端末が普及しつつあり、このような端末装置にAR(Augmented Reality:拡張現実感)技術を適用したサービス(以下、「ARサービス」とする)が実現されている。ARサービスでは、端末で撮像している実写画像上に付加情報がリアルタイムで重畳されるので、撮影している場所における種々の情報を容易に得ることができる(例えば、特許文献1)。
【0003】
実写画像上に情報を重畳する場合において、画像内に複数の被写体がある場合、各被写体と重畳すべき情報とを正確に対応させるための位置合わせが必要となる。位置合わせの方法として、撮影された実写画像上で画像認識をおこない、ネットワーク上のサーバやデータベースなどに蓄積されている種々の実写画像と照合することによって、被写体の特定をおこなうことも考えられている(例えば、特許文献2)。
【0004】
この方法の場合、ARサービスが充実するにつれ、様々なものがARサービスの対象となり、サーバへの問い合わせ回数が増大する。また、膨大な照合画像がデータベースに蓄積されることになり、問い合わせに対して提供される情報の量も多くなり、ネットワークのトラフィック負荷を増大させてしまう。
【0005】
また、提供された情報を利用する端末においても、取得する情報量が多くなるため、メモリ使用量が増大する他、照合対象の数も増えるので、照合に時間がかかってしまう。この結果、ARサービス利用時のパフォーマンスが低下し、利便性が損なわれてしまう。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2008−510254号公報
【特許文献2】特開2009−230255号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上記実状を鑑みてなされたものであり、ARサービスにおける利便性の向上を図ることができる情報表示システム、情報表示装置、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の第1の観点にかかる情報表示システムは、
撮像手段を備え、外部から提供された情報を前記撮像手段によって撮像された撮像画像上に重畳表示する情報表示装置と、
前記情報表示装置による撮像画像上に重畳させる情報を前記情報表示装置に提供する情報提供装置と、から構成された、拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示システムにおいて、
前記情報提供装置は、
前記撮像画像における被写体と照合するための照合画像と、当該照合画像と照合された被写体が写った前記撮像画像に重畳表示させる重畳情報とを含んだARデータを、当該ARデータを識別するための識別情報と、前記情報表示装置から通知されうるキー情報とに対応づけて記憶するARデータ記憶手段と、
前記情報表示装置からキー情報が提供された場合には、当該キー情報に対応する識別情報を該情報表示装置に送信し、前記情報表示装置から識別情報が提供された場合には、当該識別情報に対応するARデータを該情報表示装置に送信する情報提供手段と、を備え、
前記情報表示装置は、
前記撮像画像における被写体を特定するためのキー情報を取得するキー情報取得手段と、
前記キー情報が取得される毎に前記情報提供装置に通知するキー情報通知手段と、
前記キー情報の通知に応じて前記情報提供装置から提供される識別情報を取得する識別情報取得手段と、
前記キー情報と前記識別情報を対応づけて複数記録する第1のテーブルに、前記識別情報が取得される毎に新たな前記キー情報と前記識別情報を対応づけて前記第1のテーブルに追加して記録するキー情報記録手段と、
前記第1のテーブルに記録されているいずれかの識別情報を前記情報提供装置に通知する識別情報通知手段と、
前記識別情報の通知に応じて前記情報提供装置から提供される、前記AR表示に用いられるARデータを取得するARデータ取得手段と、
前記ARデータ取得手段が取得したARデータを用いて前記AR表示をおこなうAR表示手段と、を備える、
ことを特徴とする。
上記情報表示システムにおいて、
レコード数が規定されている第2のテーブルに、取得したARデータを、前記第1のテーブルと対応づけて記録するARデータ記録手段を、更に備え、
前記AR表示手段は、前記ARデータ記録手段が記録したARデータを用いて前記AR表示をおこなうことが望ましい。
【0009】
上記目的を達成するため、本発明の第2の観点にかかる情報表示装置は、
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示装置であって、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得するキー情報取得手段と、
前記キー情報取得手段が取得したキー情報を、通信ネットワークを介して前記外部装置に通知するキー情報通知手段と、
前記キー情報通知手段によるキー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだARデータを示す識別情報を、前記通信ネットワークを介して取得する識別情報取得手段と、
前記キー情報取得手段が取得したキー情報を、当該キー情報の利用日時と、前記識別情報取得手段が取得した識別情報とに対応づけて、レコード数が規定されている第1のテーブルに記録するキー情報記録手段と、
前記第1のテーブルに記録されている識別情報を、前記通信ネットワークを介して前記外部装置に通知する識別情報通知手段と、
前記識別情報通知手段による識別情報の通知に応じて前記外部装置が送信した前記ARデータを取得するARデータ取得手段と、
前記ARデータ取得手段が取得したARデータを、前記通知した識別情報と、当該ARデータの利用日時とに対応づけて、レコード数が規定されている第2のテーブルに記録するARデータ記録手段と、
前記第2のテーブルに記録されているARデータを用いてAR表示をおこなうAR表示手段と、を備え、
前記識別情報通知手段は、前記第1のテーブルに記録されている識別情報が前記第2のテーブルに記録されていない場合、当該識別情報を前記外部装置に通知し、
前記キー情報記録手段は、前記キー情報取得手段がキー情報を取得した際に前記第1のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこない、
前記ARデータ記録手段は、前記識別情報通知手段が識別情報を通知する際に前記第2のテーブルに空きレコードがない場合、既に記録されているARデータの利用日時に基づいた削除をおこなう、
ことを特徴とする。
【0010】
上記情報表示装置において、
前記キー情報記録手段は、当該キー情報を取得した日時を利用日時として記録し、該キー情報に対応する前記ARデータを用いたAR表示がおこなわれた際の日時で更新し、
前記ARデータ記録手段は、当該ARデータを取得した日時を利用日時として記録し、該ARデータを用いたAR表示がおこなわれた際の日時で更新し、
前記キー情報記録手段および前記ARデータ記録手段は、最も古い日時が利用日時として記録されているレコードを削除対象として特定することが望ましい。
【0011】
上記情報表示装置において、
前記キー情報は、前記撮像手段による撮像時の前記情報表示装置の位置を示す位置情報を含んでいることが望ましく、この場合、
前記キー情報記録手段は、削除対象として特定したレコードに記録されているキー情報が位置情報である場合、当該位置情報が示す位置と前記情報表示装置の現在位置との距離を算出し、算出した距離が所定の閾値よりも小さい場合、当該レコードを削除対象から除外することが望ましい。
【0012】
上記情報表示装置において、
前記ARデータ記録手段は、削除対象として特定したレコードに記録されている識別情報が前記第1のテーブルに記録されており、かつ、該第1のテーブルにおいて当該識別情報を記録しているレコードが前記キー情報記録手段によって削除対象から除外されている場合、前記特定したレコードを削除対象から除外することが望ましい。
【0013】
上記目的を達成するため、本発明の第3の観点にかかるプログラムは、
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示装置を制御するコンピュータに、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得する機能と、
取得したキー情報を、通信ネットワークを介して前記外部装置に通知する機能と、
キー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだARデータを示す識別情報を、前記通信ネットワークを介して取得する機能と、
前記取得したキー情報を、当該キー情報の利用日時と、前記取得した識別情報とに対応づけて、レコード数が規定されている第1のテーブルに記録する機能と、
前記外部装置から取得した識別情報とARデータとを対応づけて記録する第2のテーブルに、前記第1のテーブルに記録されている識別情報が記録されていない場合に、当該識別情報を、前記通信ネットワークを介して前記外部装置に通知する機能と、
前記識別情報の通知に応じて前記外部装置が送信した前記ARデータを取得する機能と、
取得したARデータを、前記通知した識別情報と、当該ARデータの利用日時とに対応づけて、レコード数が規定されている前記第2のテーブルに記録する機能と、
前記第2のテーブルに記録されているARデータを用いてAR表示をおこなう機能と、
キー情報を取得した際に前記第1のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこなう機能と、
前記外部装置に識別情報を通知する際に前記第2のテーブルに空きレコードがない場合、既に記録されているARデータの利用日時に基づいた削除をおこなう機能と、
を実現させることを特徴とする。
【発明の効果】
【0014】
本発明によれば、AR技術を用いたサービスを利用する際の利便性を向上させることができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態にかかる情報表示システムを示す模式図である。
【図2】図1に示す情報表示装置の外観構成を示す模式図であり、(a)は主面側の外観構成を示し、(b)は背面側の外観構成を示す。
【図3】図1に示す情報表示装置の構成を示すブロック図である。
【図4】図3に示す制御部によって実現される機能を示す機能ブロック図である。
【図5】図1に示す情報提供装置の構成を示すブロック図である。
【図6】図5に示す制御部によって実現される機能を示す機能ブロック図である。
【図7】図5に示す記憶部に格納される「照合画像格納テーブル」の例を示す図である。
【図8】本発明の実施形態1にかかる「AR表示処理(1)」を説明するためのフローチャートである。
【図9】本発明の実施形態1にかかる「AR情報提供処理(1)」を説明するためのフローチャートである。
【図10】本発明の実施形態1にかかる動作を説明するための図であり、(a)は想定される場面の例を示し、(b)は用いられる照合画像の例を示す。
【図11】図8に示した「AR表示処理(1)」にかかる画面表示例を示す図であり、(a)は分布表示の例を示し、(b)は分布表示にガイドを表示した例を示す。
【図12】図8に示した「AR表示処理(1)」にかかる画面表示例を示す図であり、(a)はガイドが移動した際の表示例を示し、(b)は重畳情報を表示した例を示す。
【図13】ガイド表示の他の例を示す図であり、(a)は被写体への接近を促すガイド表示の例を示し、(b)は被写体から離れることを促すガイド表示の例を示し、(c)は必要な画角を示すガイド表示の例を示す。
【図14】本発明の実施形態2にかかる「AR表示処理(2)」を説明するためのフローチャートである。
【図15】本発明の実施形態2かかる「照合画像格納テーブル」の例を示す図である。
【図16】図14に示した「AR表示処理(2)」で実行される「キー情報管理処理」を説明するためのフローチャートを示す。
【図17】図14に示した「AR表示処理(2)」で実行される「ARデータ管理処理」を説明するためのフローチャートを示す。
【図18】図14に示した「AR表示処理(2)」で用いられるテーブルを説明するための図であり、(a)は「キー情報管理テーブル」の例を示し、(b)は「ARデータ管理テーブル」の例を示す。
【図19】本発明の実施形態3にかかる「AR表示処理(3)」を説明するためのフローチャートである。
【図20】図19に示した「AR表示処理(3)」における照合画像と3Dモデリングデータを説明するための図であり、(a)は対象物に対する視線方向を模式的に示し、(b)は照合画像の例を示し、(c)は生成された3Dモデリングデータの例を示し、(d)は視線を変更させた3Dモデリングデータの例を示す。
【発明を実施するための形態】
【0016】
本発明にかかる実施形態を、図面を参照して以下に説明する。
【0017】
(実施形態1)
本発明の実施形態にかかる情報表示システム1を、図1を参照して説明する。図1は、実施形態にかかる情報表示システム1の構成を示すブロック図である。
【0018】
図示するように、本実施形態にかかる情報表示システム1は、通信ネットワークNWによって接続された、情報表示装置100、情報提供装置200、などから構成されている。
【0019】
本実施形態にかかる通信ネットワークNWは、例えば、インターネットなどのIP網や移動体通信用のセルラ網などを含んだWAN(Wide Area Network:広域通信網)である。
【0020】
本実施形態にかかる情報表示装置100は、少なくとも、通信機能と、撮像機能と、表示機能とを備えている携帯型端末装置であり、いわゆるスマートフォンが好適な形態である。本実施形態では、図1に示すようなスマートフォンであるものとする。本実施形態では、このような情報表示装置100を含んだ情報表示システム1により、AR(Augmented Reality:拡張現実感)技術を適用したサービス(以下、「ARサービス」とする)が実現されているものとする。すなわち、情報表示装置100の撮像機能によって撮影された実写画像上に、当該画像内の被写体に関する情報をリアルタイムに重畳して表示する。
【0021】
情報表示装置100の構成を、図2および図3を参照して説明する。図2は、情報表示装置100の外観構成を示す模式図であり、図2(a)は、情報表示装置100の主面側を示し、図2(b)は、情報表示装置100の背面側を示している。また、図3は、情報表示装置100の構成を示すブロック図である。
【0022】
上記各図に示すように、本実施形態にかかる情報表示装置100は、制御部110、通信部120、キー情報取得部130、撮像部140、入出力部150、記憶部160、などから構成されている。
【0023】
制御部110は、例えば、CPU(Central Processing Unit:中央演算処理装置)やRAM(Random Access Memory)などから構成され、情報表示装置100の各部を制御するとともに、プログラムを実行することで後述する各処理をおこなう。
【0024】
通信部120は、通信ネットワークNWを介した通信をおこなうための構成であり、例えば、CDMA2000方式などのセルラ通信モジュールやIEEE 802.16e(いわゆる、モバイルWiMAX)用の通信モジュールなどといった、WANに直接アクセスできる通信モジュール、及び/又は、例えば、WANにアクセスできる外部通信装置(例えば、モバイルルータなど)や公衆無線LANのアクセスポイントなどと通信するためのIEEE 802.11シリーズ(無線LAN)用の通信モジュールなどから構成される。
【0025】
キー情報取得部130は、ARサービスを受ける際に必要となるキー情報を取得するための構成であり、例えば、GPS(Global Positioning System:全地球測位システム)モジュール、RFID(Radio Frequency IDentification)、IrDA(Infrared Data Association)、Bluetooth(商標)、などといった近距離ワイヤレス通信モジュール、可視光通信モジュールなどから構成され、外部から提供されるキー情報を取得する。
【0026】
ここでの「キー情報」は、例えば、情報表示装置100の現在位置を示す位置情報(緯度・経度情報)の他、ARサービスで重畳される情報を情報提供装置200に登録している店舗などの各種施設等に付与されているID情報などであり、情報表示装置100が取得したキー情報を情報提供装置200に送信することで、位置合わせに必要となる照合画像やARサービスで提供される情報の選択がおこなわれる。
【0027】
よって、情報表示装置100の現在位置情報を取得するための構成としてGPSモジュールなどが用いられる。その他、各種の施設等で取得可能なID情報を取得するための構成として、近距離ワイヤレス通信モジュールや可視光通信モジュールなどが用いられる。これらの構成は、例えば、図2(b)に示すように、情報表示装置100の外面上や内部などに適宜構成されている。なお、これらの構成のすべてが備えられていなくてもよいが、本実施形態では、少なくとも、位置情報を取得するための構成(GPSモジュールなど)が備えられているものとする。
【0028】
本実施形態では、少なくとも現在位置を取得するための構成(GPSモジュールなど)がキー情報取得部130に含まれているものとし、ID情報を取得するための構成については任意に備えられているものとする。また、GPS以外の方法によって現在位置情報を取得してもよく、例えば、セルラ通信によってアクセスした基地局や無線LANによってアクセスしたアクセスポイントから位置情報を取得してもよい。この場合、キー情報取得部130にはこれらの通信をおこなうための通信部120が含まれることになる。
【0029】
撮像部140は、情報表示装置100の撮像機能を実現するための構成であり、例えば、固体撮像素子を用いたデジタルカメラモジュールなどから構成される。本実施形態では、撮像部140によって得られるライブビュー画像としての動画(実写画像)上にARサービスによって提供される情報が重畳されることになる。
【0030】
なお、上述したキー情報が、例えば、QRコード(商標)のような2次元コードなどの視覚的なオブジェクトで提供される場合、撮像部140の撮像動作によってキー情報が取得されることになる。この場合、キー情報取得部130には撮像部140が含まれることになる。
【0031】
また、撮像部140は、図2(b)に示すような、2眼式のステレオカメラであることが望ましい。すなわち、視差に相当する間隔にて水平方向に並列した2つのレンズを有する撮像装置である。このようなステレオカメラとすることで、3角測量の原理による被写体までの測距や3Dモデリングデータの生成をおこなうことができる。
【0032】
入出力部150は、少なくとも、撮像部140による撮像画像やARサービスによって提供される情報などを表示出力する表示装置、情報表示装置100のユーザによる入力操作を受け付ける入力装置を含むものであり、本実施形態では、表示機能と入力機能とが一体的に実現されるタッチパネル(タッチスクリーン)が入出力部150として構成される。また、スマートフォンにおける通話機能などの音声入出力に用いられるスピーカやマイクロフォンなども入出力部150に含まれるものとする。
【0033】
記憶部160は、例えば、フラッシュメモリなどの半導体記憶装置などから構成され、制御部110が実行するプログラム、各種処理の際に用いられるデータ、各種処理によって生成されるデータ、通信部120やキー情報取得部130の動作によって取得されたデータ、などを格納する。
【0034】
記憶部160に格納されているプログラムを制御部110が実行することで実現される機能を、図4を参照して説明する。図4は、制御部110によって実現される機能を示した機能ブロック図である。
【0035】
本実施形態では、図示するように、AR処理部111、撮像処理部112、照合処理部113、などの機能が制御部110によって実現される。
【0036】
AR処理部111は、ユーザ操作に基づく入出力部150からの入力信号などに基づいて、記憶部160に格納されているARサービスにかかるアプリケーション(以下、「ARアプリケーション」とする)を実行してその動作を制御し、ARサービスにかかる表示動作(以下、「AR表示」とする)に必要となる画像処理をおこなって入出力部150に表示出力する。この場合、記憶部160に格納されている画像データなどを用いた画像処理をおこなうことでAR表示をおこなう。
【0037】
撮像処理部112は、撮像部140を制御することで、情報表示装置100の撮像機能にかかる動作を制御する。本実施形態では、AR処理部111によって実行されたARアプリケーションで必要となる撮像動作を制御する。
【0038】
照合処理部113は、通信部120やキー情報取得部130を制御することで、情報提供装置200や種々の外部装置から情報を取得することで、AR表示における位置合わせに必要となる照合動作をおこなう。ここでは、ARアプリケーションの実行に応じて、キー情報を取得するようキー情報取得部130を制御し、取得したキー情報を記憶部160に格納するとともに、取得したキー情報を情報提供装置200などに送信してARアプリケーションの実行に必要となる照合画像や重畳情報を情報提供装置200から取得するよう通信部120を制御する。そして、取得した照合画像や重畳画像を記憶部160に格納し、撮像処理部112によって取得された撮像画像と照合画像との照合をおこなう。
【0039】
本実施形態では、これらの機能が制御部110によって論理的に実現されるものとするが、これらの一部もしくはすべてが、例えば、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)などのハードウェアによって実現されていてもよい。
【0040】
上述した情報表示装置100の各構成は、本発明を実現するために必要な構成であり、スマートフォンとして機能するために必要なその他の構成については、適宜備えられているものとする。
【0041】
次に、情報提供装置200について説明する。情報提供装置200は、例えば、ASP(Application Service Provider)サーバなどのような情報処理装置であり、本実施形態では、通信ネットワークNWを介して接続される情報表示装置100にARサービスを提供する。このような情報提供装置200の構成を、図5を参照して説明する。図5は、情報提供装置200の構成を示すブロック図である。
【0042】
図示するように、情報提供装置200は、制御部210、通信部220、入出力部230、記憶部240、などから構成されている。
【0043】
制御部210は、例えば、CPUやRAMなどから構成され、情報提供装置200の各部を制御するとともに、プログラムを実行することで後述する各処理をおこなう。
【0044】
通信部220は、通信ネットワークNWを介した通信をおこなうための構成であり、例えば、NIC(Network Interface Card)やルータ、モデムなどの通信用デバイスから構成され、好適な通信プロトコルを用いたデータ送受信をおこなう。
【0045】
入出力部230は、例えば、キーボードやマウスなどといった、情報提供装置200のオペレータによる操作に応じた入力をおこなう入力装置と、ディスプレイ装置などのような、処理結果の出力をおこなう出力装置とから構成される。
【0046】
記憶部240は、例えば、ハードディスク装置などといった記憶装置から構成され、制御部210が実行するプログラムを格納する他、プログラムの実行によりおこなわれる各処理に必要となるデータおよび処理によって生成されたデータなどを格納する。
【0047】
記憶部240に格納されているプログラムを制御部210が実行することで実現される機能を、図6を参照して説明する。図6は、制御部210によって実現される機能を示した機能ブロック図である。
【0048】
本実施形態では、図示するように、通信処理部211、情報登録部212、情報検索部213、などの機能が制御部210によって実現される。
【0049】
通信処理部211は、通信部220を制御し、通信ネットワークNWを介した情報表示装置100との通信をおこなう。本実施形態では、情報表示装置100から送信されたキー情報の受信をおこなう他、後述する情報検索部213によって検索された情報を情報表示装置100に送信する。
【0050】
情報登録部212は、ARサービスの提供に必要な情報を記憶部240に登録するための処理をおこなう。記憶部240に登録される情報の例を図7に示す。本実施形態では、図示するような「照合画像格納テーブル」が記憶部240に作成され、ARサービスの提供に必要となる各種の情報が格納される。
【0051】
この照合画像格納テーブルには、ARサービスを利用する情報表示装置100が撮像した実写画像に写っている被写体を照合するために用意されている複数の照合画像に、各照合画像のインデックスとなる情報(以下、「インデックス情報」とする)や、照合画像によって照合される被写体に重畳して表示させる情報(以下、「重畳情報」とする)などが対応づけられて格納される。
【0052】
ここで、本実施形態における「照合画像」とは、ARサービスによって情報が重畳されることになる対象が被写体として写っている画像であり、例えば、店舗などのような建築物の外観が被写体となっている画像や、商品などのような物品等が被写体となっている画像が照合画像として登録される。
【0053】
このような照合画像に対応づけられるインデックス情報は、例えば、当該被写体が存在する場所を示す位置情報(緯度・経度情報)などである。これらの情報は、例えば、GPS機能を備えた撮像装置による撮像画像を照合画像とすることで、Exif(Exchangeable Image File Format)の付加情報などとして得られる他、記憶部240への登録時に、情報提供装置200のオペレータが入出力部230を操作することで入力される。
【0054】
このようなインデックス情報の他に、図7に示すような「スケール情報」と「単位スケール」が照合画像格納テーブルに記録される。
【0055】
スケール情報は、当該照合画像にかかる撮影データのうち、被写体のスケールを特定するために用いられる情報であり、ここでは、当該画像の画像サイズ(ピクセル数)、撮像素子のサイズ(センササイズ)、被写体までの距離、レンズの焦点距離、などがスケール情報として記録される。これらの情報は、照合画像にかかるExifデータなどの付加情報から取得される他、オペレータ操作による入力などによって記録される。
【0056】
また、スケール情報には、画角を示す情報も含まれるものとする。画角については、上記のスケール情報から算出して記録されるものとする。この場合、例えば、数1を演算することで画角[度]が算出される。
【0057】
(数1)
2×tan<sup>‐1</sup>{センササイズ[mm]/(2×焦点距離[mm])}
【0058】
ここで、撮像素子のサイズは、縦または横のいずれかのサイズであり、焦点距離は、例えば、スチルカメラにおける35ミリ判でのレンズ焦点距離に換算した値とする。
【0059】
単位スケールは、上記スケール情報に基づいて算出される、被写体のスケールを示す情報であり、本実施形態では、例えば、1ピクセル(画素)が相当する実寸のサイズを単位スケールとして記録する。このような単位スケールの計算は、照合画像の登録時に情報登録部212によっておこなわれる。もしくは、予め算出された値がオペレータによって入力されてもよい。
【0060】
単位スケールの計算は、例えば、次のような手順でおこなう。まず、被写体までの距離、撮像素子のサイズ、レンズの焦点距離から数2を演算することで、照合画像内の被写体のサイズを算出する。
【0061】
(数2)
(被写体までの距離[mm]×センササイズ[mm])/焦点距離[mm]
【0062】
ここで、撮像素子のサイズは縦または横のいずれかのサイズであり、焦点距離は、例えば、スチルカメラにおける35ミリ判でのレンズ焦点距離に換算した値とする。上記演算により、代入した撮像素子サイズの方向(縦または横)における被写体の実際のサイズ[mm]が特定される。
【0063】
このように算出された被写体サイズを、演算に用いた撮像サイズの方向(縦または横)における画像サイズ(ピクセル数)で除することにより、1ピクセルが相当する実寸のサイズが算出される。
【0064】
情報検索部213は、通信処理部211によって受信された情報表示装置100からのキー情報に基づいて照合画像格納テーブルを検索し、該当するレコードを取得する。ここでは、情報表示装置100の現在位置を示す位置情報などがキー情報として取得され、取得したキー情報がインデックス情報となっているレコードを特定する。特定されたレコードに記録されている情報のうち、少なくとも、照合画像の画像データ、重畳情報、スケール情報、単位スケール、など(以下、「ARデータ」とする)が通信処理部211によって情報表示装置100に送信される。
【0065】
本実施形態では、上記各機能が制御部210によって論理的に実現されるものとするが、これらの機能の一部もしくはすべてが、例えば、ASICなどのハードウェアによって実現されていてもよい。
【0066】
以上説明したような構成の情報表示装置100および情報提供装置200による動作例を以下に説明する。
【0067】
まず、情報表示装置100の動作を、図8に示すフローチャートを参照して説明する。図8は、本実施形態にかかる情報表示装置100において実行される「AR表示処理(1)」を説明するためのフローチャートである。
【0068】
AR処理部111によりARアプリケーションが開始されると、AR処理部111は、その旨を撮像処理部112および照合処理部113に通知する。通知を受けた撮像処理部112は、撮像部140を制御し、撮像動作が開始される(ステップS1101)。
【0069】
撮像動作が開始されると、照合処理部113はキー情報取得部130を制御することで、キー情報の取得動作がおこなわれる。ここでは、少なくともGPSモジュールなどによる位置情報の取得がおこなわれ、位置情報の取得が成功した場合に、他のキー情報についての取得を試みるものとする。なお、位置情報の取得ができない場合は、ARサービスを受けることができないので、取得できるまで待機するか本処理を終了するなどのエラー処理がおこなわれるものとする。
【0070】
そして、少なくとも位置情報を含むキー情報が取得されると、照合処理部113は、取得したキー情報を記憶部160に記録する(ステップS1102)。ここで記録されたキー情報は、本処理の終了時に削除されるものとする。
【0071】
ここで、照合処理部113は、記録したキー情報に変動があるか否かを判別する(ステップS1103)。処理開始直後にキー情報を取得した場合においては、前回の記録がないため、「変動あり」と判別する(ステップS1103:Yes)。
【0072】
この場合、照合処理部113は、通信部120を制御することで、取得したキー情報を、通信ネットワークNWを介して情報提供装置200に送信する(ステップS1104)。
【0073】
このようにして情報表示装置100から送信されたキー情報を情報提供装置200が受信すると、ARデータを情報表示装置100に送信するための「AR情報提供処理(1)」が情報提供装置200において実行される。本実施形態にかかる情報提供装置200で実行される「AR情報提供処理(1)」を、図9に示すフローチャートを参照して説明する。
【0074】
情報表示装置100が送信したキー情報を通信処理部211が受信すると、情報検索部213は、照合画像格納テーブルにおけるインデックス情報に該当する情報を、受信したキー情報から取得する(ステップS1201)。ここでは、情報表示装置100での撮影場所を示す位置情報がキー情報から取得される。
【0075】
情報検索部213は、取得したインデックス情報(位置情報)を検索対象として記憶部240の照合画像格納テーブルを検索し(ステップS1202)、撮影場所に対応する位置情報が記録されているレコードがあるか判別する(ステップS1203)。なお、位置情報に基づく検索にあたっては、位置情報の完全一致ではなく、撮影場所付近が含まれるよう、所定範囲の近似値を示す位置情報が記録されたレコードを検索するものとする。
【0076】
情報表示装置100による撮影場所に対応する位置情報が記録されたレコードがある場合(ステップS1203:Yes)、情報検索部213は、当該レコードからARデータを取得し(ステップS1204)、通信処理部211に引き渡す。
【0077】
通信処理部211は、通信部220を制御し、情報検索部213が取得したARデータを、通信ネットワークNWを介して情報表示装置100に送信して(ステップS1205)、処理を終了する。
【0078】
一方、撮影場所に対応する位置情報を記録したレコードが照合画像格納テーブルに存在しない場合(ステップS1203:No)、情報提供装置200はARデータを情報表示装置100に送信せずに処理を終了する。この場合、情報提供装置200は、現在位置ではARサービスを提供できない旨を示す通知情報などを情報表示装置100に送信してもよい。
【0079】
以上のような情報表示装置100との送受信動作は、例えば、CGI(Common Gateway Interface)技術などを用いた既知のトランザクション技術を利用するなどして実現されているものとする。
【0080】
図8のフローチャートに戻り、ARデータが返送された情報表示装置100の動作を説明する。
【0081】
ARデータが情報提供装置200から送信されると、情報表示装置100の通信部120が通信ネットワークNWを介して受信する。このような受信がなされると(ステップS1105:Yes)、照合処理部113は、受信したARデータを記憶部160に格納するとともに、その旨をAR処理部111に通知する。
【0082】
AR処理部111は、入出力部150を制御することで、撮像部140が現在撮像しているライブビュー画像を表示出力するとともに、受信したARデータの単位スケールに基づいて、受信した照合画像の分布を示す画像を生成して入出力部150に表示出力する(ステップS1106)。
【0083】
ここで、想定されうる場面の例に基づいた図面を参照しながら処理内容を説明する。本実施形態では、図10(a)に示すような、店舗A〜店舗Eがある街においてARサービスを利用する場面を想定することとする。ここで、店舗Aについては、情報提供装置200に照合画像等が登録されており、ARサービスを提供できるものとするが、他の店舗B〜Eについては、情報提供装置200に情報が登録されていないため、ARサービスの対象外であるものとする。
【0084】
そして、店舗Aについては、図10(b)に示すような照合画像が情報提供装置200に登録されているものとする。図示するように、ここでは、店舗Aの外観を撮影した照合画像AAの他、店舗A内で販売されている商品を撮影した照合画像AB〜AZが情報提供装置200に登録されているものとする。これらの照合画像の画像サイズはすべて同一であるものとする。
【0085】
そして、照合画像においては、対象となる被写体のみが画像サイズ内に収まるように撮影されているものとする。このように複数の被写体についての複数の照合画像が用意されている場合、被写体の大きさも一様ではないため、画像毎の被写体のスケールも異なる。つまり、照合画像AAは建造物の外観が画角一杯に撮影されているのに対し、照合画像AZは商品であるペンが画角一杯に撮影されているので、1ピクセルが相当する実寸サイズが大きく異なる。
【0086】
この場合、実写画像の画角一杯に店舗Aの外観を撮影すれば、照合画像AAを使った照合をおこなうことができるが、そこに商品のペンが写り込んでいても、スケールが小さすぎてしまい、照合画像AZとの照合はできないことになる。すなわち、対象とする被写体に応じて適切な画角で撮影しなければ、ARサービスによって提供される情報を適切に得られないことになる。
【0087】
このような不都合を解消するため、本実施形態では、情報提供装置200の照合画像格納テーブルに照合画像とともに登録されている単位スケールを用いることで、ユーザが適切な画角で撮影できるようガイドする。
【0088】
このために、本実施形態では、ステップS1106において、情報提供装置200から受信した照合画像の単位スケールに基づいた分布表示をおこなう。この場合の表示例を図11(a)に示す。図示するように、入出力部150に「撮像画像表示領域」と「ガイド表示領域」を設定し、撮像画像表示領域には、撮像部140によるライブビュー画像を表示する。そして、ガイド表示領域では、図11(a)に示すような分布表示をおこなう。
【0089】
この分布表示は、図示するように、例えば、上下方向の両矢印が表示され、その右側に単位スケールに基づいた照合画像の分布がグラフ状に表示されるものである。図11(a)の例では、両矢印の上側が情報表示装置100(=カメラ)から被写体までの距離が遠いことを示し、下側が情報表示装置100(=カメラ)から被写体までの距離が近いことを示している。
【0090】
すなわち、単位スケールは、1ピクセルが相当する実寸のサイズであるため、照合画像AA(図10(b))のような建造物の外観を撮影した画像では値が比較的大きくなり、照合画像AZのようなペンを撮影した画像では値が比較的小さくなる。よって、単位スケールの値が大きい程、被写体から離れて撮影したことになり、単位スケールの値が小さいほど、被写体に近づいて撮影したことになる。
【0091】
このため、図11(a)に示す分布表示においては、単位スケールの値が大きい程、より遠いことを示している両矢印の上側に分布が表示され、値が小さい程、より近いことを示している下側に分布が表示される。そして、分布表示の横方向は、当該単位スケールの画像数を表している。図11(a)の例においては、最も上側での分布に該当する照合画像が、店舗の外観を撮影した照合画像AA(図10(a))であり、それよりも下における複数の分布は、商品を撮影した複数の照合画像AB〜AZ(図11(b))となる。
【0092】
ここで、図8のフローチャートに戻り、処理の説明を続ける。上述のようにして、ステップS1106で分布表示をおこなうと、AR処理部111は、撮像部140によって現在撮像されている画像についての単位スケールを算出する(ステップS1107)。ここでは、撮像部140の性能情報(センササイズなど)、そのときの撮影設定(画像サイズ、レンズ焦点距離、など)、および、測距動作によって得られた被写体までの距離、などを用い、上述した情報提供装置200の情報登録部212と同様の方法で単位スケールを算出する。ここで、撮像部140がステレオカメラであれば、3角測量の原理を用いた測距をおこなうことができるので、被写体までの距離をより正確に求めることができる。
【0093】
撮像画像についての単位スケールを算出すると、AR処理部111は、図11(b)に示すようなガイドを、ガイド表示領域に表示する(ステップS1108)。このガイドは、算出した撮像画像の単位スケールを反映したものであり、例えば、分布表示における両矢印の左側に表示される。
【0094】
ここで、図11(b)の撮像画像表示領域に表示されているライブビュー画像では、ARサービスの対象となっている店舗Aだけではなく、サービス対象外の店舗B〜Eまでが写り込んだ広い画角となっている。このような場合、店舗Aが画角内に含まれていても、画像全体におけるサイズが小さいため、照合画像AA(図10(b))のスケールと異なってしまい、適切に照合できないことがある。
【0095】
この場合、図11(b)に示すように、撮像画像の単位スケールを反映したガイドは、照合画像AAを表している分布表示よりも上側に位置するよう表示される。図11(b)の例においては、ガイドの位置に画像分布が存在しないので、ユーザは、被写体に近づくか、ズームによって望遠側の画角にしなければ、AR表示をおこなうための照合をおこなうことができないと認識することができる。
【0096】
このように、現在の撮像画像では、情報提供装置200から取得した照合画像を用いた照合ができない場合(ステップS1109:No)、ステップS1107に戻り、撮像画像の単位スケールを再度算出する。すなわち、ガイド表示によって照合不可であることを認識したユーザが、被写体に近づいたりズームを望遠側にしたりすることで、図12(a)に示すように画角を狭めると、その撮像画像についての単位スケールが算出されることになる(ステップS1107)。
【0097】
この場合、算出された単位スケールに応じてガイド表示がなされるが(ステップS1108)、図12(a)に示すように、ガイドが下側に移動するように表示される。図示するように、照合画像AAの分布に相当する位置に移動すると、現在の画角で照合画像AAとの照合が可能ということになる(ステップS1109:Yes)。
【0098】
この場合、照合処理部113は、AR表示における既知の画像処理をおこなうことで、対応する単位スケールの照合画像(この場合、照合画像AA)と撮像画像との照合をおこない(ステップS1110)、撮像画像内での店舗Aの位置を認識する。このようにして照合がなされると、AR処理部111により、例えば、図12(b)に示すように、撮像画像が全画面表示されるとともに、照合画像AAに対応づけられて情報提供装置200から提供された重畳情報が、撮像画像内の店舗Aの位置に重畳表示される(ステップS1111)。
【0099】
そして、例えば、ARアプリケーションの終了指示や情報表示装置100の電源オフなどといった所定の終了イベントが発生しなければ(ステップS1112:No)、ステップS1102以降の処理が繰り返しおこなわれる。ここで、ステップS1102においてキー情報の取得動作がおこなわれるが、情報表示装置100が大幅に移動するなどしなければ、前回取得されたキー情報から変動しない(ステップS1103:No)。このような場合は、ステップS1107に進み、現在の単位スケールに基づいたガイド表示(画角変化に応じたガイド位置の更新)がおこなわれることになる。
【0100】
一方、新たに取得したキー情報に変動がある場合(ステップS1103:Yes)は、当該キー情報を改めて情報提供装置200に送信し(ステップS1104)、当該キー情報に基づいて提供されたARデータを用いて以降の処理がおこなわれる(ステップS1105〜)。
【0101】
なお、情報表示装置100から送信したキー情報に該当する照合画像が情報提供装置200にない場合は、上述したように、情報提供装置200からARデータが送信されないか、あるいは、ARサービスを提供できない旨の通知情報が送信される。このような場合(ステップS1105:No)は、ステップS1112に進み、終了イベントの発生有無に応じた動作がおこなわれることになる。すなわち、終了イベントが発生しなければ(ステップS1112:No)、再度キー情報の取得動作から処理が繰り返される(ステップS1102〜)。
【0102】
ここで、終了イベントが発生した場合(ステップS1112:Yes)は、記憶部160に記録したキー情報を消去して、処理を終了する。
【0103】
以上説明したように、本実施形態によれば、端末装置でAR表示をおこなう際に、その撮影場所において用意されている照合画像の被写体スケールに基づいた分布が表示されるとともに、撮像画像における被写体のスケールが当該分布表示上でガイド表示されるので、提供された照合画像を用いた照合に適した画角や撮影位置とすることが容易におこなうことができ、AR表示を利用する際の利便性を向上させることができる。
【0104】
なお、本実施形態では、図11および図12に示したようなガイド表示を例示したが、ガイド表示の方法や形態は任意であり、これらに限られるものではない。例えば、被写体から離れているために撮像画像内での被写体像が小さい場合は、被写体への接近もしくはズームインによる画角変更を促す、図13(a)に示すような、上向きの矢印画像をガイドとして表示してもよい。
【0105】
逆に、被写体に接近しすぎているために被写体像が画角内に収まっていないような場合は、被写体を遠ざけるもしくはズームアウトによる画角変更を促す、図13(b)に示すような、下向きの矢印画像をガイドとして表示してもよい。
【0106】
あるいは、図13(c)に示すような、照合に必要な画角を示す矩形枠をガイドとして表示し、当該矩形枠一杯に被写体像が収まるよう画角変更を促すようにしてもよい。
【0107】
これらのガイド表示は、例えば、撮像画像と照合画像の単位スケールが近い場合において、より適切な画角に近づけさせる際に有効であり、より直感的なガイド表示とすることで、効率的な画角変更を促すことができる。よって、まず、図11に例示したようなガイド表示をおこなって、ある程度単位スケールが近似した段階で図13に示したようなガイド表示に切り替えるようにしてもよい。あるいは、照合画像の数が少ない場合などには、最初から図13に示したようなガイド表示とするようにしてもよい。
【0108】
本実施形態においては、単位スケールを算出するために必要となる被写体までの距離をステレオカメラによる測距で得ることでより正確な距離情報を得るようにしたが、被写体までの距離が得られるのであれば、その方法は任意である。例えば、レンズの合焦距離を用いることとしてもよい。この場合、情報表示装置100に備えられる撮像部140は、例示したようなステレオカメラでなくてもよく、一般的な単眼式のカメラモジュールにて撮像部140を構成してもよい。
【0109】
(実施形態2)
上記実施形態1では、GPSなどによって位置情報などのキー情報を情報表示装置100が取得すると、そのキー情報に基づいて情報提供装置200がARデータを検索して情報表示装置100に提供していたが、ARサービスの対象が拡大すると、現在位置付近でのARサービスの対象が増大するため、情報提供装置200への問い合わせ回数が多くなる他、1度に提供されるARデータの量も多くなり、トラフィック負荷や情報表示装置100内でのメモリ使用量が増大し、パフォーマンスの低下を招くおそれがある。
【0110】
また、上述したように、情報表示装置100が取得するキー情報は複数種類あるため、場合によっては、複数のキー情報に対応した大量の照合画像を交互に照合しなければならないことも考えられ、同様に情報表示装置100のパフォーマンス低下の要因となる。
【0111】
また、同じ種類のキー情報を用いる場合であっても、例えば、GPSによる位置情報を用いる場合においては、ユーザが目的の場所にたどり着く前に、経路を戻るような行動をとる場合もある。このようなときに、位置情報の変動に応じて情報提供装置200にアクセスしていては、情報表示装置100のパフォーマンスが低下し、ユーザの利便性にとっても好ましくない。
【0112】
この場合、できるだけ多くのARデータを情報表示装置100内に蓄積しておけば、情報提供装置200へのアクセス回数を低減させることができるが、情報表示装置100内で照合をおこなう以上、蓄積しているARデータが多いと照合処理に時間がかかってしまうので、パフォーマンスの低下は免れない。
【0113】
本実施形態では、取得したキー情報およびARデータの管理により、情報提供装置200への問い合わせ回数の低減と、情報表示装置100におけるメモリ使用の効率化を図る。
【0114】
このために情報表示装置100で実行される「AR表示処理(2)」を、図14のフローチャートを参照して説明する。この処理は、実施形態1の「AR表示処理(1)」に代えて実行されるものとする。
【0115】
ここで、上記実施形態1では、GPSなどによって取得される位置情報をキー情報として必須であるものとしたが、本実施形態では、位置情報が取得されずに他の種類のキー情報が取得された場合であっても情報提供装置200への問い合わせをおこなうものとする。
【0116】
上述したように、キー情報は店舗などの施設等から発信される場合もある。例えば、店舗の店頭などに近距離ワイヤレス通信や可視光通信による発信装置を設置し、当該店舗についてのARデータにかかるキー情報を発信していれば、当該店舗に近づいた際にキー情報を取得することができる。この場合に発信されるキー情報は、例えば、GPSに相当する位置情報などとすることができる他、当該施設が情報提供装置200にARデータなどを登録している場合においては、当該施設を示す識別情報をキー情報として発信していてもよい。
【0117】
このような場合、情報提供装置200の照合画像格納テーブルには、図15に示すような「グループID」がインデックス情報として付加されているものとする。1つのグループIDに対して複数のARデータを対応づけることで、情報提供装置200における検索の効率を向上させることができる。
【0118】
また、本実施形態では、図15に示すように、各ARデータに一意の識別情報(ARデータ識別情報)が付与されているものとする。この場合、本実施形態にかかる情報提供装置200は、情報表示装置100からキー情報が送信された際には、当該キー情報に対応する識別情報(ARデータ識別情報)を情報表示装置100に返信し、情報表示装置100から識別情報(ARデータ識別情報)が送信された際には、当該識別情報(ARデータ識別情報)に対応するARデータを情報表示装置100に返信する。
【0119】
なお、情報表示装置100が取得するキー情報には、例えば、店舗内で販売される商品などに付加されているプライスカードなどに付けられているRFIDチップから発信されるものや、表示されている2次元コードによって表されているものも含み、これらのキー情報は、当該商品についてのARデータと対応づけられた識別情報となる。本実施形態では、このような識別情報は、上述したARデータ識別情報と同じであることとする。
【0120】
以上のような想定において実行される「AR表示処理(2)」による動作を説明する。なお、実施形態1と同様、ユーザによるARアプリケーションの実行指示を契機に処理が開始されるものとする。
【0121】
処理が開始されると、撮像処理部112は、撮像部140を制御し、撮像動作が開始されるとともに(ステップS2101)、照合処理部113がキー情報取得部130を制御することで、キー情報の取得動作がおこなわれる(ステップS2102)。取得されたキー情報は、例えば、RAMなどの記憶領域上に一時的に保持される。
【0122】
実施形態1の例と同様、取得したキー情報を記憶部160に記録することになるが、本実施形態では、図18(a)に示すような「キー情報管理テーブル」が記憶部160に作成され、取得されたキー情報と付加情報がこのテーブルに格納される。
【0123】
このキー情報管理テーブルは、図18(a)に示すように、レコードNo.をキーとしたレコードによって構成される。ここで、テーブルを構成するレコード数は、例えば、記憶部160の容量のうちでARアプリケーションに割り当てられている容量や情報表示装置100の処理能力などによって規定されているものとする。すなわち、記録されるキー情報が、ARアプリケーションの実行にかかるパフォーマンスが低下しない程度のデータ量となるようなレコード数が規定される。本実施形態では、例えば、n個のレコードによってテーブルが構成されているものとする。
【0124】
また、ステップS2102で取得されたキー情報の数をN(個)とする。上述したように、複数の方法でキー情報が取得されるので、同じ場所でキー情報取得動作をおこなった場合に、例えば、GPSによって位置情報が取得されるとともに、近距離ワイヤレス通信によってグループIDが取得されるなどといった、複数のキー情報が同時に取得される場合もあるので、キー情報の数Nは、N≧1ということになる。
【0125】
このようなキー情報管理テーブルには、図18(a)に示すように、取得されたキー情報(例えば、位置情報、グループID、識別情報、など)、当該キー情報を取得した方法の種類を示す情報(例えば、GPS、可視光通信、RFID、IrDA、Bluetooth(商標)、2次元コード、などの別)、利用日時、当該キー情報に対して情報提供装置200から送信された識別情報(ARデータ識別情報)、削除対象から除外すべきレコードであることを示すフラグ(「除外フラグ」)、などが記録されることになる。
【0126】
ここで、「利用日時」には、取得されたキー情報が記録されたときの日時が記録される。また、既にキー情報管理テーブルに記録されているキー情報が再度取得された際には、そのときの日時に更新されるものとする。
【0127】
このようなキー情報管理テーブルにキー情報を格納するための処理として、「キー情報管理処理」が実行される(ステップS2200)。この「キー情報管理処理」を、図16に示すフローチャートを参照して説明する。
【0128】
処理が開始されると、照合処理部113は、記憶部160のキー情報管理テーブルにアクセスし、RAMに保持しているキー情報と同じキー情報がキー情報管理テーブルに格納されている場合、当該キー情報についての「利用日時」を、現在日時に更新する(ステップS2201)。ここで、RAMに保持されている、今回取得したキー情報のうち、このようなキー情報管理テーブルに記録済のキー情報については、利用日時の更新後、RAMから削除する。
【0129】
既に記録済のキー情報をRAMから削除した後にRAMに残存しているキー情報は、キー情報管理テーブルに未記録のキー情報ということになる。今回取得したキー情報に、キー情報管理テーブルに未記録のものがない場合(ステップS2202:No)は、利用日時の更新をおこなうのみで処理を終了して、「AR表示処理(2)」(図14)のフローに戻る。
【0130】
一方、キー情報管理テーブルに未記録のキー情報がある場合(ステップS2202:Yes)、照合処理部113は、このような未記録のキー情報を、キー情報管理テーブルに追加可能であるか否かを判別する(ステップS2203)。上述したように、本実施形態にかかるキー情報管理テーブルは、記憶部160の容量などに基づいて、レコード数がn個までに制限されている。このようなn個のレコードのうち、空きレコードが1以上あれば、キー情報を追加可能であると判別する(ステップS2203:Yes)。
【0131】
この場合、照合処理部113は、RAMに残存しているキー情報のうちの1つについて、当該キー情報とその取得方法を示す情報、および、取得日時として現在日時を示す情報を空きレコードの1つに記録する(ステップS2209)。この場合、照合処理部113は、RAM上の当該キー情報を削除する。
【0132】
今回取得したキー情報の1つをキー情報管理テーブルに記録すると、照合処理部113は、通信部120を制御することで、当該キー情報を、通信ネットワークNWを介して情報提供装置200に送信し、対応する識別情報(ARデータ識別情報)を、通信ネットワークNWを介して情報提供装置200から取得する(ステップS2210)。
【0133】
この場合、情報提供装置200においては、情報表示装置100から送信されたキー情報を通信部220が受信すると、情報検索部213が記憶部240にアクセスし、図15に示した照合画像格納テーブルから、受信したキー情報に対応づけられている識別情報(ARデータ識別情報)を検索し、通信部220がこれを情報表示装置100に送信する。
【0134】
このようにして情報提供装置200が識別情報(ARデータ識別情報)を送信すると、情報表示装置100の通信部120が受信する。照合処理部113は、受信された識別情報(ARデータ識別情報)を、ステップS2209でキー情報管理テーブルに記録したキー情報のレコードに記録する(ステップS2211)。
【0135】
1つのレコードへのキー情報の記録が完了すると、照合処理部113は、今回取得したキー情報がRAM上に残存しているか否かを判別することで、キー管理情報テーブルに未記録であったキー情報がすべて記録されたか否かを判別する(ステップS2212)。
【0136】
今回取得したキー情報がまだRAMに残存しているのであれば(ステップS2212:No)、ステップS2203に戻る。ここで、n個のレコードすべてに情報が記録されている場合、照合処理部113は、キー情報が追加できないと判別し(ステップS2203:No)、いずれかのレコードの内容を削除することで空きレコードを用意する。
【0137】
この場合、照合処理部113は、キー情報管理テーブルに記録されている利用日時を走査し、最も古い利用日時が記録されているレコードを特定する(ステップS2204)。そして、そのレコードに記録されているキー情報が、位置情報以外のもの(グループIDや識別情報など)であるか否かを判別する(ステップS2205)。
【0138】
位置情報以外のキー情報が記録されているレコードである場合(ステップS2205:Yes)、照合処理部113は、当該レコードの内容を削除する(ステップS2208)。これにより空きレコードが1つ用意できたので、ステップS2209以降の処理により、当該空きレコードに該当する情報が記録される。
【0139】
一方、最も古い利用日時が記録されているレコードのキー情報が、位置情報である場合(ステップS2205:No)、照合処理部113は、当該位置情報と現在位置から、当該レコードに記録されている位置情報が現在位置に近い位置であるか否かを判別する(ステップS2206)。
【0140】
ここで、今回取得したキー情報に位置情報が含まれているのであれば、当該位置情報が示す位置を現在位置とし、含まれていなければ、キー情報取得部130を制御することで現在位置情報の取得をおこなう。そして、各位置を示す緯度・経度から2点間の距離を演算し、算出された距離と所定の閾値とを比較することで、現在位置に近いか否かを判別する。この場合の閾値は任意であり、情報表示装置100の製造者によって設定される他、使用者によって任意に設定できるものであってもよい。
【0141】
このような動作により、利用日時が最も古いレコードに記録されている位置情報が、現在位置に近い位置を示すものであれば(ステップS2206:Yes)、照合処理部113は、当該レコードを削除対象から除外し(ステップS2207)、ステップS2204に戻る。この場合、例えば、削除対象から除外すべきレコードであることを示すフラグ(除外フラグ)を当該レコードに立てるものとする。
【0142】
一方、現在位置から遠い位置を示す位置情報が記録されているレコードであれば(ステップS2206:No)、ステップS2208に進み、当該レコードの内容を削除する。そして、ステップS2209以降の処理をおこなうことで、当該レコードに各種情報が記録される。
【0143】
このようにして、今回取得されたキー情報のすべてがキー情報管理テーブルに記録されると(ステップS2212:Yes)、本処理を終了し、「AR表示処理(2)」(図14)のフローに戻る。
【0144】
ここで、本実施形態では、情報提供装置200から取得したARデータが、記憶部160に作成された図18(b)に示すような「ARデータ管理テーブル」に記録されるものとする。
【0145】
図示するように、「ARデータ管理テーブル」においては、レコードNo.をキーとしたレコードが作成され、各レコードには、キー情報に対応する識別情報(ARデータ識別情報)が記録されるとともに、当該識別情報(ARデータ識別情報)に対応するARデータ(すなわち、照合画像、重畳情報、スケール情報、単位スケール情報、など)と、当該ARデータの利用日時を示す情報、などが記録される。ここで、「利用日時」には、当該ARデータを情報提供装置200から取得したときの日時が記録される。
【0146】
なお、ARデータ管理テーブルを構成するレコード数についても、ARアプリケーションに割り当てられている記憶部160の容量や情報表示装置100の処理能力などによって規定されているものとする。すなわち、ARアプリケーションの実行にかかるパフォーマンスが低下しない情報量が記録されるようレコード数が規定されている。本実施形態では、m個のレコードによってテーブルが構成されているものとする。
【0147】
上述した「キー情報管理処理」(ステップS2200)の実行後、「AR表示処理(2)」では、このようなARデータ管理テーブルにARデータを記録するための「ARデータ管理処理」が実行される(ステップS2300)。このARデータ管理処理を、図17に示すフローチャートを参照して説明する。
【0148】
処理が開始されると、照合処理部113はまず、記憶部160のキー情報管理テーブル(図18(a))にアクセスし、今回のキー情報取得動作に対応する日時が利用日時として記録されているレコードを特定し、当該レコードに記録されている識別情報(ARデータ識別情報)を特定する。すなわち、今回取得したキー情報に対応づけられている識別情報(ARデータ識別情報)を特定する。この場合、照合処理部113は、特定した識別情報(ARデータ識別情報)をキー情報管理テーブルから取得し(ステップS2301)、RAM上に一時的に保持する。
【0149】
次に照合処理部113は、記憶部160のARデータ管理テーブル(図18(b))にアクセスし、ステップS2301で取得した識別情報(ARデータ識別情報)がすでに記録されているレコードを特定し、当該レコードの「利用日時」を、現在日時に更新する(ステップS2302)。すなわち、今回取得したキー情報に対応づけられているARデータが既にARデータ管理テーブルに記録済である場合、このときに情報提供装置200からARデータが取得されたものとして、「利用日時」を更新する。
【0150】
このような、ARデータ管理テーブルに記録済のARデータを示す識別情報(ARデータ識別情報)について「利用日時」を更新すると、当該識別情報をRAMから削除する。このような削除をおこなった後にRAMに識別情報が残存していれば、当該識別情報によって示されるARデータは、ARデータ管理テーブルに未記録であるということになる。
【0151】
また、RAM上に識別情報が残存しなければ、今回取得したキー情報に対応するARデータはすべてARデータ管理テーブルに記録済ということになる。この場合(ステップS2303:No)は、今回取得したキー情報に対応するARデータについての「利用日時」を更新するのみで処理を終了して、「AR表示処理(2)」(図14)のフローに戻る。
【0152】
一方、ARデータ管理テーブルに記録されていないARデータがある場合(ステップS2303:Yes)、照合処理部113は、ARデータ管理テーブルに追加可能であるか否かを判別する(ステップS2304)。上述したように、本実施形態にかかるARデータ管理テーブルは、記憶部160の容量などに基づいて、レコード数がm個までに制限されている。このようなm個のレコードのうち、空きレコードが1以上あれば、ARデータを追加可能であると判別する(ステップS2304:Yes)。
【0153】
この場合、照合処理部113は、RAMに保持されている識別情報(ARデータ識別情報)のうちの1つを選択する。そして、通信部120を制御し、選択した識別情報(ARデータ識別情報)を、通信ネットワークNWを介して情報提供装置200に送信することで、当該識別情報(ARデータ識別情報)に対応づけられているARデータを情報提供装置200から取得する(ステップS2310)。
【0154】
このとき、情報提供装置200においては、情報表示装置100から送信された識別情報(ARデータ識別情報)を通信部220が受信すると、情報検索部213が記憶部240にアクセスし、図15に示した照合画像格納テーブルから、受信した識別情報(ARデータ識別情報)に対応づけられているARデータを検索し、通信部220がこれを情報表示装置100に送信する。
【0155】
このようにして情報提供装置200がARデータを送信すると、情報表示装置100の通信部120が受信する。照合処理部113は、受信されたARデータを、空きレコードの1つに記録する(ステップS2311)。照合処理部113はまた、このときの現在日時を示す情報を、当該ARデータの利用日時として記録する。このとき照合処理部113は、RAMに保持されている識別情報(ARデータ識別情報)のうち、ARデータ管理テーブルに記録したARデータについての識別情報(ARデータ識別情報)を、RAMから削除する。
【0156】
照合処理部113は、RAM上に識別情報(ARデータ識別情報)が残存しているか否かを判別することで、ARデータ管理テーブルに記録されていなかったARデータのすべてがARデータ管理テーブルに記録されたか否かを判別する(ステップS2312)。
【0157】
RAM上に識別情報(ARデータ識別情報)が残存している場合(ステップS2312:No)、ステップS2304に戻り、それらの識別情報(ARデータ識別情報)について、ARデータの取得と記録がおこなわれる。ここで、ARデータ管理テーブルのm個のレコードすべてに情報が記録されている場合、照合処理部113は、ARデータが追加できないと判別し(ステップS2304:No)、いずれかのレコードの内容を削除することで空きレコードを用意する。
【0158】
この場合、照合処理部113は、ARデータ管理テーブルに記録されている利用日時を走査し、最も古い利用日時が記録されているレコードを特定する(ステップS2305)。そして、そのレコードに記録されている識別情報(ARデータ識別情報)を特定する。
【0159】
次に照合処理部113は、キー情報管理テーブルにアクセスし、特定した識別情報(ARデータ識別情報)が記録されているレコードがないか判別する。すなわち、利用日時が最も古いARデータに対応するキー情報が、現在のキー情報管理テーブルに残存しているか否かを判別する(ステップS2306)。
【0160】
キー情報管理テーブルに、対応するキー情報が残存していない場合(ステップS2306:No)、照合処理部113は、ARデータ管理テーブルから、ステップS2305で特定したレコードの内容を削除する(ステップS2307)。これにより空きレコードが1つ用意できたので、ステップS2310以降の処理により、当該レコードに該当する情報が記録される。
【0161】
一方、利用日時が最も古いARデータに対応するキー情報が、現在のキー情報管理テーブルに残存している場合(ステップS2306:Yes)、照合処理部113は、当該キー情報のレコードで「除外フラグ」が立てられているか否かを判別することで、当該キー情報が、「キー情報管理処理」(図16)のステップS2207において、削除対象から除外されたものであるか否かを判別する(ステップS2308)。
【0162】
ここで、ステップS2305で特定したARデータに対応するキー情報が、キー情報管理テーブルにおいて削除対象から除外されていた場合(ステップS2308:Yes)、照合処理部113は、ステップS2305で特定したレコードについても、削除対象から除外し(ステップS2309)、ステップS2305に戻る。この場合、例えば、対象除外であることを示すフラグを立てるなどして示すことができる他、当該レコードの利用日時を現在の日時に更新することで除外されるようにしてもよい。
【0163】
上述した「キー情報管理処理」(図16)により、キー情報管理テーブルには、比較的最近に取得されたキー情報、もしくは、利用日時は古いが現在位置に近い位置を示すキー情報が残るように管理されている。よって、ステップS2305で特定されたARデータに対応するキー情報がキー情報管理テーブルに残存し、かつ、削除対象から除外されていたのであれば、ARデータの利用日時が古くても、今回取得されたキー情報を用いたAR表示もしくは近い将来に取得されうるキー情報を用いたAR表示に利用される可能性が高い。よって、このようなARデータは、ARデータ管理テーブルからの削除対象から除外することで、AR管理テーブルに残存させる。
【0164】
このような除外処理の後、ステップS2305に戻り、削除対象とできるレコードが検索され、その内容が削除される(ステップS2305〜ステップS2307)。そして、このようにして用意された空きレコードに、新たに取得されるARデータが記録される(ステップS2310〜ステップS2311)。
【0165】
一方、対応するキー情報がキー情報管理テーブルに残存しているものであっても、削除対象から除外されたものでなければ(ステップS2308:No)、当該キー情報は、キー情報管理テーブルに残存しているものの中でも比較的利用日時が古く現在位置に近くないものであり、かつ、対応するARデータについてはその利用日時が最も古いことになる。このため、ステップS2305で特定したレコードに記録されているARデータが今回もしくは近い将来に用いられる可能性は低いとみなし、当該レコードの内容を削除して空きレコードを用意する(ステップS2307)。
【0166】
以上のような動作を、対象となっているすべてのARデータが記録されるまで繰り返しおこなわれ(ステップS2312:No)、すべてのARデータが記録されると(ステップS2312:Yes)、本処理を終了して、「AR表示処理(2)」(図14)のフローに戻る。
【0167】
「AR表示処理(2)」では、ステップS2102で取得されたキー情報に対応するARデータを用いたAR表示をおこなう。ここでは、実施形態1で説明した「AR表示処理(1)」(図8)のステップS1106〜ステップS1111と同様の動作をおこなうことにより、取得済のARデータを用いたAR表示がおこなわれる(ステップS2103)。
【0168】
そして、所定の終了イベントが発生しなければ(ステップS2104:No)、ステップS2102以降の処理が繰り返し実行されることで、AR表示がおこなわれる。そして、終了イベントの発生により(ステップS2104:Yes)、本処理を終了する。
【0169】
以上のように、本実施形態によれば、情報表示装置100で利用できるメモリ資源や処理能力などに応じて、情報表示装置100にて保持するキー情報やARデータが、効率的なAR表示に寄与できるよう適切に管理されるとともに、情報提供装置200から情報表示装置100へARデータを提供するためのデータ転送を効果的に低減させることができるので、トラフィック負荷を低減する他、情報表示装置100のパフォーマンス低下を防止することができ、ARサービスの利用にかかる利便性の向上を図ることができる。
【0170】
すなわち、情報表示装置100でキー情報が取得された際には、当該キー情報に対応する識別情報のみを情報提供装置200から取得するので、照合画像などのような比較的データサイズの大きいARデータの転送を伴わない。そして、取得した識別情報に基づいて、情報表示装置100が保持しているARデータに該当するARデータが含まれていない場合にのみ、情報提供装置200からARデータの提供を受ける。これにより、キー情報を取得する度にARデータを情報提供装置200から取得する場合に比べ、通信ネットワークNW上でのデータ転送量を大幅に削減することができる。
【0171】
また、情報表示装置100内には、比較的最近に取得されたキー情報と現在位置に近い位置情報を示すキー情報が優先的に残るように保持され、これらのキー情報に対応するARデータは削除されないように管理されているので、現在もしくは直近の将来に利用される可能性の高いARデータが優先的に情報表示装置100内に保持されることになり、ARデータを取得するための情報提供装置200とのトランザクション回数をさらに低減させることができる。
【0172】
なお、本実施形態においては、そのとき取得したキー情報に対応するARデータが既にARデータ管理テーブルに記録済である場合に、当該ARデータについての「利用日時」を更新するものとした(「ARデータ管理処理」(図17)のステップS2302)が、ARデータ管理テーブルに記録されているARデータをAR表示に用いた際にも「利用日時」を更新するようにしてもよい。これにより、実際にAR表示に用いられたARデータを優先的に情報表示装置100に保持させることができる。
【0173】
また、キー情報管理テーブルからキー情報を削除した際(「キー情報管理処理」(図16)のステップS2208)に、当該キー情報に対応づけられているARデータをARデータ管理テーブルから削除してもよく、ARデータ管理テーブルからARデータを削除した際(「ARデータ管理処理」(図17)のステップS2307)に、当該ARデータの識別情報(ARデータ識別情報)が対応づけられているキー情報をキー情報管理テーブルから削除してもよい。これにより、キー情報もしくはARデータのいずれかにおいて削除対象とされた際に、互いに対応するARデータもしくはキー情報も併せて削除されるので、キー情報管理テーブルおよびARデータ管理テーブルのいずれにおいても、空きレコードが予め用意されている可能性を高めることができる。
【0174】
(実施形態3)
上記実施形態2においては、店舗などの施設等から発信するキー情報として、グループIDを例示したが、このような方法によって、キー情報だけでなく、ARデータ(照合画像)をその場で取得できるようにしてもよい。この場合、例えば、GPSによる位置情報の取得ができない場合でも、ARサービスの利用に必要となるARデータを取得することができる他、情報提供装置200などにアクセスせずにARデータを取得できるので、通信ネットワークNWにおけるトラフィック負荷の低減にも寄与することができる。
【0175】
この形態では、店舗などの施設等に設置された近距離ワイヤレス通信装置や可視光通信装置が情報提供装置200として機能することになるが、上記各実施形態で例示した情報提供装置200とは異なり、設置場所に関する情報のみを保持して発信すればよいため、小規模かつ簡易的に実現できる他、膨大なARデータの提供を分散しておこなうことができる。
【0176】
このように提供される照合画像として、上記各実施形態では、写真画像などのいわゆる2D画像を用いるものとした。この場合、照合画像を撮影したカメラからの視線方向と一致する視線方向から撮影した場合でないと照合がうまくおこなえない場合がある。特に、店舗などの内部において多数の商品それぞれについてAR表示をおこなうような場合、店舗内部が狭かったり、対象物が近接していたりすることがあると、必ずしも照合画像の視線方向と同じ視線方向で撮影できるとは限らない。また、照合動作はバックグラウンドでおこなわれるため、どのような照合画像が用いられているかユーザが認識することもないため、照合画像の視線方向に合わせた撮影を能動的におこなうことも通常はできない。
【0177】
ここで、撮像部140をステレオカメラで構成した情報表示装置100の場合、撮像画像から3Dモデリングデータを生成することができるので、このような3Dモデリングデータを照合画像と照合させることで、上記のような問題の解消を図ることができる。本実施形態では、この場合の動作例を以下に説明する。
【0178】
情報表示装置100が3Dモデリングデータを用いて照合をおこなう場合の「AR表示処理(3)」を、図18に示すフローチャートを参照して説明する。なお、本実施形態では、店舗などの施設等に設置されている近距離ワイヤレス通信装置や可視光通信装置によってARデータが情報表示装置100に提供されるものとする。
【0179】
処理が開始されると、撮像処理部112によってステレオカメラである撮像部140が制御され、撮像動作が開始される(ステップS3101)。本実施形態では、例えば、VRAM(Video RAM)などのような、画像処理のために画像データが展開される記憶装置が記憶部160に含まれるものとする。この場合、照合処理部113は、記憶部160に展開された画像データに対し、3Dモデリングにおける既知の技術を用いて、撮像画像から被写体を抽出するとともに、奥行き推定をおこなうことで、抽出した被写体の3Dモデリングデータを生成する(ステップS3102)。
【0180】
3Dモデリングデータを生成すると、照合処理部113は、画像処理における既知の技術を用いて、撮像画像で3Dモデリングデータを生成した被写体について、例えば、SIFT(Scale Invariant Feature Transform)やSURF(Speeded Up Robust Features)などによって、特徴点の抽出や特徴量の算出をおこなう(ステップS3103)。
【0181】
また、照合処理部113は、キー情報取得部130などを制御することで、店舗などの施設等に設置されている近距離ワイヤレス通信装置や可視光通信装置から発信されているARデータを取得して、記憶部160に記録する(ステップS3104)。ARデータの記録にあたっては、実施形態2で例示したような、ARデータ管理テーブルなどに記録する。
【0182】
取得したARデータに含まれる照合画像が複数含まれる場合、照合処理部113は、生成した3Dモデリングデータとこれらの照合画像との照合を順次おこなうため、処理対象とする照合画像のインデックス番号iに初期値「0」を設定した後(ステップS3105)、iの値を+1することで(ステップS3106)、1番目の照合画像を指定する。
【0183】
照合処理部113は、記憶部160に格納されている当該照合画像(i番目の照合画像)について、ステップS3103での処理と同様の処理をおこなうことで、SIFTやSURFなどによって、特徴点の抽出や特徴量の算出をおこなう(ステップS3107)。
【0184】
ここで、現在撮像されている被写体が図19(a)に示すような立体物である場合において、用意されている照合画像は、図19(a)における「照合画像の視線」が示す方向から撮影された図19(b)に示すような写真画像(2D画像)であるものとする。ここで、情報表示装置100による現在の撮像方向が、図19(a)における「現在のカメラ視線」が示す方向であるとすると、ステップS3102で生成された3Dモデリングデータは、図19(c)に示すようなものとなる。
【0185】
この場合、照合画像の視線と現在の撮像における視線が異なるので、生成した3Dモデリングデータでは、照合画像を用いた照合をおこなうことができない。このため、照合処理部113は、撮像画像の特徴点・特徴量と、照合画像の特徴点・特徴量とを比較し、照合画像の視線となるよう、3Dモデリングデータの視線方向を変更する(ステップS3108)。このように視線変更した3Dモデリングデータは、図19(d)に示すように、照合画像と相似するので、照合画像を用いた照合をおこなうことができる。
【0186】
なお、現在比較している照合画像が、3Dモデリングデータを生成した被写体についてのものではない場合、3Dモデリングデータの視線を変更しても照合が成功しないことになる(ステップS3109:No)。この場合はステップS3106に戻り、対象とする照合画像のインデックス番号iを+1することで、次の照合画像について上述した処理をおこなう。
【0187】
そして、照合が成功した場合(ステップS3109:Yes)には、実施形態1で例示した「AR表示処理(1)」(図8)のステップS1106〜ステップS1111と同様の処理をおこなうことにより、AR表示をおこなう(ステップS3110)。
【0188】
そして、上記各実施形態で例示したような所定の終了イベントが発生しなければ(ステップS3111:No)、ステップS3104に戻り、以降の処理を繰り返しおこない、終了イベントの発生により(ステップS3111:Yes)、本処理を終了する。
【0189】
以上のような本実施形態によれば、撮像画像と照合画像から抽出した特徴点や特徴量に基づいて、撮像画像から生成した3Dモデリングデータの視線方向を変更するので、照合画像の視線方向とは異なる方向から撮影している場合であっても適切に照合をおこなうことができ、アバウトな撮影であっても的確にAR表示をおこなうことができる。すなわち、ARサービスの拡大によって、あらゆるものがARサービスの対象になった場合でも、正確なAR表示をおこなうことができ、ユーザの利便性を向上させることができる。
【0190】
なお、本実施形態では、店舗などの施設等に設置されている近距離ワイヤレス通信装置や可視光通信装置から、写真画像としての照合画像を取得するものとしたが、このように提供される照合画像自体を3Dモデリングデータとしてもよい。これは、実施形態1や実施形態2で例示した情報提供装置200が照合画像を提供する場合も同様に3Dモデリングデータとすることができる。3Dモデリングデータ同士の照合であれば、画像処理をおこなわずに数値演算に基づいたより正確な照合動作をおこなうことができる。
【0191】
以上説明したように、本発明にかかる上記各実施形態によれば、ARサービスを利用する場合において、対象が膨大となった場合であっても、ユーザの利便性を向上させることができる。
【0192】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【0193】
例えば、上記各実施形態で示した規格やフォーマットなどは一例であり、同様の効果が得られるものであれば、採用できる規格やフォーマットは任意である。
【0194】
また、上記各実施形態では、情報表示装置100としてスマートフォンを例示したが、少なくとも、撮像機能と、キー情報及び/又はARデータを取得できる構成を有しているのであれば、スマートフォンに限られず、任意の装置を情報表示装置100として用いることができる。
【0195】
このような、情報表示装置100として採用可能な任意の装置において、上述した制御部110が実現する機能を有していないものであっても、プログラムを適用することにより、図4に示したような機能構成を実現できるのであれば、既存の装置を本発明にかかる情報表示装置として機能させることができる。
【0196】
同様に、汎用のサーバ装置などにプログラムを適用することで、図6に示したような機能構成を実現できるのであれば、既存の情報処理装置などを本発明にかかる情報提供装置として機能させることができる。
【0197】
このようなプログラムの適用方法は任意であり、例えば、CD−ROMやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。
【符号の説明】
【0198】
1…情報表示システム、NW…通信ネットワーク、100…情報表示装置、110…制御部、111…AR処理部、112…撮像処理部、113…照合処理部、120…通信部、130…キー情報取得部、140…撮像部、150…入出力部、160…記憶部、200…上報提供装置、210…制御部、211…通信処理部、212…情報登録部、213…情報検索部、220…通信部、230…入出力部、240…記憶部
【技術分野】
【0001】
本発明は、情報表示システム、情報表示装置、および、プログラムに関し、特に、AR技術を用いた情報表示に好適な情報表示システム、情報表示装置、および、プログラムに関する。
【背景技術】
【0002】
いわゆるスマートフォンなどのような、撮像機能を備える高性能な携帯通信端末が普及しつつあり、このような端末装置にAR(Augmented Reality:拡張現実感)技術を適用したサービス(以下、「ARサービス」とする)が実現されている。ARサービスでは、端末で撮像している実写画像上に付加情報がリアルタイムで重畳されるので、撮影している場所における種々の情報を容易に得ることができる(例えば、特許文献1)。
【0003】
実写画像上に情報を重畳する場合において、画像内に複数の被写体がある場合、各被写体と重畳すべき情報とを正確に対応させるための位置合わせが必要となる。位置合わせの方法として、撮影された実写画像上で画像認識をおこない、ネットワーク上のサーバやデータベースなどに蓄積されている種々の実写画像と照合することによって、被写体の特定をおこなうことも考えられている(例えば、特許文献2)。
【0004】
この方法の場合、ARサービスが充実するにつれ、様々なものがARサービスの対象となり、サーバへの問い合わせ回数が増大する。また、膨大な照合画像がデータベースに蓄積されることになり、問い合わせに対して提供される情報の量も多くなり、ネットワークのトラフィック負荷を増大させてしまう。
【0005】
また、提供された情報を利用する端末においても、取得する情報量が多くなるため、メモリ使用量が増大する他、照合対象の数も増えるので、照合に時間がかかってしまう。この結果、ARサービス利用時のパフォーマンスが低下し、利便性が損なわれてしまう。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2008−510254号公報
【特許文献2】特開2009−230255号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上記実状を鑑みてなされたものであり、ARサービスにおける利便性の向上を図ることができる情報表示システム、情報表示装置、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の第1の観点にかかる情報表示システムは、
撮像手段を備え、外部から提供された情報を前記撮像手段によって撮像された撮像画像上に重畳表示する情報表示装置と、
前記情報表示装置による撮像画像上に重畳させる情報を前記情報表示装置に提供する情報提供装置と、から構成された、拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示システムにおいて、
前記情報提供装置は、
前記撮像画像における被写体と照合するための照合画像と、当該照合画像と照合された被写体が写った前記撮像画像に重畳表示させる重畳情報とを含んだARデータを、当該ARデータを識別するための識別情報と、前記情報表示装置から通知されうるキー情報とに対応づけて記憶するARデータ記憶手段と、
前記情報表示装置からキー情報が提供された場合には、当該キー情報に対応する識別情報を該情報表示装置に送信し、前記情報表示装置から識別情報が提供された場合には、当該識別情報に対応するARデータを該情報表示装置に送信する情報提供手段と、を備え、
前記情報表示装置は、
前記撮像画像における被写体を特定するためのキー情報を取得するキー情報取得手段と、
前記キー情報が取得される毎に前記情報提供装置に通知するキー情報通知手段と、
前記キー情報の通知に応じて前記情報提供装置から提供される識別情報を取得する識別情報取得手段と、
前記キー情報と前記識別情報を対応づけて複数記録する第1のテーブルに、前記識別情報が取得される毎に新たな前記キー情報と前記識別情報を対応づけて前記第1のテーブルに追加して記録するキー情報記録手段と、
前記第1のテーブルに記録されているいずれかの識別情報を前記情報提供装置に通知する識別情報通知手段と、
前記識別情報の通知に応じて前記情報提供装置から提供される、前記AR表示に用いられるARデータを取得するARデータ取得手段と、
前記ARデータ取得手段が取得したARデータを用いて前記AR表示をおこなうAR表示手段と、を備える、
ことを特徴とする。
上記情報表示システムにおいて、
レコード数が規定されている第2のテーブルに、取得したARデータを、前記第1のテーブルと対応づけて記録するARデータ記録手段を、更に備え、
前記AR表示手段は、前記ARデータ記録手段が記録したARデータを用いて前記AR表示をおこなうことが望ましい。
【0009】
上記目的を達成するため、本発明の第2の観点にかかる情報表示装置は、
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示装置であって、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得するキー情報取得手段と、
前記キー情報取得手段が取得したキー情報を、通信ネットワークを介して前記外部装置に通知するキー情報通知手段と、
前記キー情報通知手段によるキー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだARデータを示す識別情報を、前記通信ネットワークを介して取得する識別情報取得手段と、
前記キー情報取得手段が取得したキー情報を、当該キー情報の利用日時と、前記識別情報取得手段が取得した識別情報とに対応づけて、レコード数が規定されている第1のテーブルに記録するキー情報記録手段と、
前記第1のテーブルに記録されている識別情報を、前記通信ネットワークを介して前記外部装置に通知する識別情報通知手段と、
前記識別情報通知手段による識別情報の通知に応じて前記外部装置が送信した前記ARデータを取得するARデータ取得手段と、
前記ARデータ取得手段が取得したARデータを、前記通知した識別情報と、当該ARデータの利用日時とに対応づけて、レコード数が規定されている第2のテーブルに記録するARデータ記録手段と、
前記第2のテーブルに記録されているARデータを用いてAR表示をおこなうAR表示手段と、を備え、
前記識別情報通知手段は、前記第1のテーブルに記録されている識別情報が前記第2のテーブルに記録されていない場合、当該識別情報を前記外部装置に通知し、
前記キー情報記録手段は、前記キー情報取得手段がキー情報を取得した際に前記第1のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこない、
前記ARデータ記録手段は、前記識別情報通知手段が識別情報を通知する際に前記第2のテーブルに空きレコードがない場合、既に記録されているARデータの利用日時に基づいた削除をおこなう、
ことを特徴とする。
【0010】
上記情報表示装置において、
前記キー情報記録手段は、当該キー情報を取得した日時を利用日時として記録し、該キー情報に対応する前記ARデータを用いたAR表示がおこなわれた際の日時で更新し、
前記ARデータ記録手段は、当該ARデータを取得した日時を利用日時として記録し、該ARデータを用いたAR表示がおこなわれた際の日時で更新し、
前記キー情報記録手段および前記ARデータ記録手段は、最も古い日時が利用日時として記録されているレコードを削除対象として特定することが望ましい。
【0011】
上記情報表示装置において、
前記キー情報は、前記撮像手段による撮像時の前記情報表示装置の位置を示す位置情報を含んでいることが望ましく、この場合、
前記キー情報記録手段は、削除対象として特定したレコードに記録されているキー情報が位置情報である場合、当該位置情報が示す位置と前記情報表示装置の現在位置との距離を算出し、算出した距離が所定の閾値よりも小さい場合、当該レコードを削除対象から除外することが望ましい。
【0012】
上記情報表示装置において、
前記ARデータ記録手段は、削除対象として特定したレコードに記録されている識別情報が前記第1のテーブルに記録されており、かつ、該第1のテーブルにおいて当該識別情報を記録しているレコードが前記キー情報記録手段によって削除対象から除外されている場合、前記特定したレコードを削除対象から除外することが望ましい。
【0013】
上記目的を達成するため、本発明の第3の観点にかかるプログラムは、
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示装置を制御するコンピュータに、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得する機能と、
取得したキー情報を、通信ネットワークを介して前記外部装置に通知する機能と、
キー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだARデータを示す識別情報を、前記通信ネットワークを介して取得する機能と、
前記取得したキー情報を、当該キー情報の利用日時と、前記取得した識別情報とに対応づけて、レコード数が規定されている第1のテーブルに記録する機能と、
前記外部装置から取得した識別情報とARデータとを対応づけて記録する第2のテーブルに、前記第1のテーブルに記録されている識別情報が記録されていない場合に、当該識別情報を、前記通信ネットワークを介して前記外部装置に通知する機能と、
前記識別情報の通知に応じて前記外部装置が送信した前記ARデータを取得する機能と、
取得したARデータを、前記通知した識別情報と、当該ARデータの利用日時とに対応づけて、レコード数が規定されている前記第2のテーブルに記録する機能と、
前記第2のテーブルに記録されているARデータを用いてAR表示をおこなう機能と、
キー情報を取得した際に前記第1のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこなう機能と、
前記外部装置に識別情報を通知する際に前記第2のテーブルに空きレコードがない場合、既に記録されているARデータの利用日時に基づいた削除をおこなう機能と、
を実現させることを特徴とする。
【発明の効果】
【0014】
本発明によれば、AR技術を用いたサービスを利用する際の利便性を向上させることができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態にかかる情報表示システムを示す模式図である。
【図2】図1に示す情報表示装置の外観構成を示す模式図であり、(a)は主面側の外観構成を示し、(b)は背面側の外観構成を示す。
【図3】図1に示す情報表示装置の構成を示すブロック図である。
【図4】図3に示す制御部によって実現される機能を示す機能ブロック図である。
【図5】図1に示す情報提供装置の構成を示すブロック図である。
【図6】図5に示す制御部によって実現される機能を示す機能ブロック図である。
【図7】図5に示す記憶部に格納される「照合画像格納テーブル」の例を示す図である。
【図8】本発明の実施形態1にかかる「AR表示処理(1)」を説明するためのフローチャートである。
【図9】本発明の実施形態1にかかる「AR情報提供処理(1)」を説明するためのフローチャートである。
【図10】本発明の実施形態1にかかる動作を説明するための図であり、(a)は想定される場面の例を示し、(b)は用いられる照合画像の例を示す。
【図11】図8に示した「AR表示処理(1)」にかかる画面表示例を示す図であり、(a)は分布表示の例を示し、(b)は分布表示にガイドを表示した例を示す。
【図12】図8に示した「AR表示処理(1)」にかかる画面表示例を示す図であり、(a)はガイドが移動した際の表示例を示し、(b)は重畳情報を表示した例を示す。
【図13】ガイド表示の他の例を示す図であり、(a)は被写体への接近を促すガイド表示の例を示し、(b)は被写体から離れることを促すガイド表示の例を示し、(c)は必要な画角を示すガイド表示の例を示す。
【図14】本発明の実施形態2にかかる「AR表示処理(2)」を説明するためのフローチャートである。
【図15】本発明の実施形態2かかる「照合画像格納テーブル」の例を示す図である。
【図16】図14に示した「AR表示処理(2)」で実行される「キー情報管理処理」を説明するためのフローチャートを示す。
【図17】図14に示した「AR表示処理(2)」で実行される「ARデータ管理処理」を説明するためのフローチャートを示す。
【図18】図14に示した「AR表示処理(2)」で用いられるテーブルを説明するための図であり、(a)は「キー情報管理テーブル」の例を示し、(b)は「ARデータ管理テーブル」の例を示す。
【図19】本発明の実施形態3にかかる「AR表示処理(3)」を説明するためのフローチャートである。
【図20】図19に示した「AR表示処理(3)」における照合画像と3Dモデリングデータを説明するための図であり、(a)は対象物に対する視線方向を模式的に示し、(b)は照合画像の例を示し、(c)は生成された3Dモデリングデータの例を示し、(d)は視線を変更させた3Dモデリングデータの例を示す。
【発明を実施するための形態】
【0016】
本発明にかかる実施形態を、図面を参照して以下に説明する。
【0017】
(実施形態1)
本発明の実施形態にかかる情報表示システム1を、図1を参照して説明する。図1は、実施形態にかかる情報表示システム1の構成を示すブロック図である。
【0018】
図示するように、本実施形態にかかる情報表示システム1は、通信ネットワークNWによって接続された、情報表示装置100、情報提供装置200、などから構成されている。
【0019】
本実施形態にかかる通信ネットワークNWは、例えば、インターネットなどのIP網や移動体通信用のセルラ網などを含んだWAN(Wide Area Network:広域通信網)である。
【0020】
本実施形態にかかる情報表示装置100は、少なくとも、通信機能と、撮像機能と、表示機能とを備えている携帯型端末装置であり、いわゆるスマートフォンが好適な形態である。本実施形態では、図1に示すようなスマートフォンであるものとする。本実施形態では、このような情報表示装置100を含んだ情報表示システム1により、AR(Augmented Reality:拡張現実感)技術を適用したサービス(以下、「ARサービス」とする)が実現されているものとする。すなわち、情報表示装置100の撮像機能によって撮影された実写画像上に、当該画像内の被写体に関する情報をリアルタイムに重畳して表示する。
【0021】
情報表示装置100の構成を、図2および図3を参照して説明する。図2は、情報表示装置100の外観構成を示す模式図であり、図2(a)は、情報表示装置100の主面側を示し、図2(b)は、情報表示装置100の背面側を示している。また、図3は、情報表示装置100の構成を示すブロック図である。
【0022】
上記各図に示すように、本実施形態にかかる情報表示装置100は、制御部110、通信部120、キー情報取得部130、撮像部140、入出力部150、記憶部160、などから構成されている。
【0023】
制御部110は、例えば、CPU(Central Processing Unit:中央演算処理装置)やRAM(Random Access Memory)などから構成され、情報表示装置100の各部を制御するとともに、プログラムを実行することで後述する各処理をおこなう。
【0024】
通信部120は、通信ネットワークNWを介した通信をおこなうための構成であり、例えば、CDMA2000方式などのセルラ通信モジュールやIEEE 802.16e(いわゆる、モバイルWiMAX)用の通信モジュールなどといった、WANに直接アクセスできる通信モジュール、及び/又は、例えば、WANにアクセスできる外部通信装置(例えば、モバイルルータなど)や公衆無線LANのアクセスポイントなどと通信するためのIEEE 802.11シリーズ(無線LAN)用の通信モジュールなどから構成される。
【0025】
キー情報取得部130は、ARサービスを受ける際に必要となるキー情報を取得するための構成であり、例えば、GPS(Global Positioning System:全地球測位システム)モジュール、RFID(Radio Frequency IDentification)、IrDA(Infrared Data Association)、Bluetooth(商標)、などといった近距離ワイヤレス通信モジュール、可視光通信モジュールなどから構成され、外部から提供されるキー情報を取得する。
【0026】
ここでの「キー情報」は、例えば、情報表示装置100の現在位置を示す位置情報(緯度・経度情報)の他、ARサービスで重畳される情報を情報提供装置200に登録している店舗などの各種施設等に付与されているID情報などであり、情報表示装置100が取得したキー情報を情報提供装置200に送信することで、位置合わせに必要となる照合画像やARサービスで提供される情報の選択がおこなわれる。
【0027】
よって、情報表示装置100の現在位置情報を取得するための構成としてGPSモジュールなどが用いられる。その他、各種の施設等で取得可能なID情報を取得するための構成として、近距離ワイヤレス通信モジュールや可視光通信モジュールなどが用いられる。これらの構成は、例えば、図2(b)に示すように、情報表示装置100の外面上や内部などに適宜構成されている。なお、これらの構成のすべてが備えられていなくてもよいが、本実施形態では、少なくとも、位置情報を取得するための構成(GPSモジュールなど)が備えられているものとする。
【0028】
本実施形態では、少なくとも現在位置を取得するための構成(GPSモジュールなど)がキー情報取得部130に含まれているものとし、ID情報を取得するための構成については任意に備えられているものとする。また、GPS以外の方法によって現在位置情報を取得してもよく、例えば、セルラ通信によってアクセスした基地局や無線LANによってアクセスしたアクセスポイントから位置情報を取得してもよい。この場合、キー情報取得部130にはこれらの通信をおこなうための通信部120が含まれることになる。
【0029】
撮像部140は、情報表示装置100の撮像機能を実現するための構成であり、例えば、固体撮像素子を用いたデジタルカメラモジュールなどから構成される。本実施形態では、撮像部140によって得られるライブビュー画像としての動画(実写画像)上にARサービスによって提供される情報が重畳されることになる。
【0030】
なお、上述したキー情報が、例えば、QRコード(商標)のような2次元コードなどの視覚的なオブジェクトで提供される場合、撮像部140の撮像動作によってキー情報が取得されることになる。この場合、キー情報取得部130には撮像部140が含まれることになる。
【0031】
また、撮像部140は、図2(b)に示すような、2眼式のステレオカメラであることが望ましい。すなわち、視差に相当する間隔にて水平方向に並列した2つのレンズを有する撮像装置である。このようなステレオカメラとすることで、3角測量の原理による被写体までの測距や3Dモデリングデータの生成をおこなうことができる。
【0032】
入出力部150は、少なくとも、撮像部140による撮像画像やARサービスによって提供される情報などを表示出力する表示装置、情報表示装置100のユーザによる入力操作を受け付ける入力装置を含むものであり、本実施形態では、表示機能と入力機能とが一体的に実現されるタッチパネル(タッチスクリーン)が入出力部150として構成される。また、スマートフォンにおける通話機能などの音声入出力に用いられるスピーカやマイクロフォンなども入出力部150に含まれるものとする。
【0033】
記憶部160は、例えば、フラッシュメモリなどの半導体記憶装置などから構成され、制御部110が実行するプログラム、各種処理の際に用いられるデータ、各種処理によって生成されるデータ、通信部120やキー情報取得部130の動作によって取得されたデータ、などを格納する。
【0034】
記憶部160に格納されているプログラムを制御部110が実行することで実現される機能を、図4を参照して説明する。図4は、制御部110によって実現される機能を示した機能ブロック図である。
【0035】
本実施形態では、図示するように、AR処理部111、撮像処理部112、照合処理部113、などの機能が制御部110によって実現される。
【0036】
AR処理部111は、ユーザ操作に基づく入出力部150からの入力信号などに基づいて、記憶部160に格納されているARサービスにかかるアプリケーション(以下、「ARアプリケーション」とする)を実行してその動作を制御し、ARサービスにかかる表示動作(以下、「AR表示」とする)に必要となる画像処理をおこなって入出力部150に表示出力する。この場合、記憶部160に格納されている画像データなどを用いた画像処理をおこなうことでAR表示をおこなう。
【0037】
撮像処理部112は、撮像部140を制御することで、情報表示装置100の撮像機能にかかる動作を制御する。本実施形態では、AR処理部111によって実行されたARアプリケーションで必要となる撮像動作を制御する。
【0038】
照合処理部113は、通信部120やキー情報取得部130を制御することで、情報提供装置200や種々の外部装置から情報を取得することで、AR表示における位置合わせに必要となる照合動作をおこなう。ここでは、ARアプリケーションの実行に応じて、キー情報を取得するようキー情報取得部130を制御し、取得したキー情報を記憶部160に格納するとともに、取得したキー情報を情報提供装置200などに送信してARアプリケーションの実行に必要となる照合画像や重畳情報を情報提供装置200から取得するよう通信部120を制御する。そして、取得した照合画像や重畳画像を記憶部160に格納し、撮像処理部112によって取得された撮像画像と照合画像との照合をおこなう。
【0039】
本実施形態では、これらの機能が制御部110によって論理的に実現されるものとするが、これらの一部もしくはすべてが、例えば、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)などのハードウェアによって実現されていてもよい。
【0040】
上述した情報表示装置100の各構成は、本発明を実現するために必要な構成であり、スマートフォンとして機能するために必要なその他の構成については、適宜備えられているものとする。
【0041】
次に、情報提供装置200について説明する。情報提供装置200は、例えば、ASP(Application Service Provider)サーバなどのような情報処理装置であり、本実施形態では、通信ネットワークNWを介して接続される情報表示装置100にARサービスを提供する。このような情報提供装置200の構成を、図5を参照して説明する。図5は、情報提供装置200の構成を示すブロック図である。
【0042】
図示するように、情報提供装置200は、制御部210、通信部220、入出力部230、記憶部240、などから構成されている。
【0043】
制御部210は、例えば、CPUやRAMなどから構成され、情報提供装置200の各部を制御するとともに、プログラムを実行することで後述する各処理をおこなう。
【0044】
通信部220は、通信ネットワークNWを介した通信をおこなうための構成であり、例えば、NIC(Network Interface Card)やルータ、モデムなどの通信用デバイスから構成され、好適な通信プロトコルを用いたデータ送受信をおこなう。
【0045】
入出力部230は、例えば、キーボードやマウスなどといった、情報提供装置200のオペレータによる操作に応じた入力をおこなう入力装置と、ディスプレイ装置などのような、処理結果の出力をおこなう出力装置とから構成される。
【0046】
記憶部240は、例えば、ハードディスク装置などといった記憶装置から構成され、制御部210が実行するプログラムを格納する他、プログラムの実行によりおこなわれる各処理に必要となるデータおよび処理によって生成されたデータなどを格納する。
【0047】
記憶部240に格納されているプログラムを制御部210が実行することで実現される機能を、図6を参照して説明する。図6は、制御部210によって実現される機能を示した機能ブロック図である。
【0048】
本実施形態では、図示するように、通信処理部211、情報登録部212、情報検索部213、などの機能が制御部210によって実現される。
【0049】
通信処理部211は、通信部220を制御し、通信ネットワークNWを介した情報表示装置100との通信をおこなう。本実施形態では、情報表示装置100から送信されたキー情報の受信をおこなう他、後述する情報検索部213によって検索された情報を情報表示装置100に送信する。
【0050】
情報登録部212は、ARサービスの提供に必要な情報を記憶部240に登録するための処理をおこなう。記憶部240に登録される情報の例を図7に示す。本実施形態では、図示するような「照合画像格納テーブル」が記憶部240に作成され、ARサービスの提供に必要となる各種の情報が格納される。
【0051】
この照合画像格納テーブルには、ARサービスを利用する情報表示装置100が撮像した実写画像に写っている被写体を照合するために用意されている複数の照合画像に、各照合画像のインデックスとなる情報(以下、「インデックス情報」とする)や、照合画像によって照合される被写体に重畳して表示させる情報(以下、「重畳情報」とする)などが対応づけられて格納される。
【0052】
ここで、本実施形態における「照合画像」とは、ARサービスによって情報が重畳されることになる対象が被写体として写っている画像であり、例えば、店舗などのような建築物の外観が被写体となっている画像や、商品などのような物品等が被写体となっている画像が照合画像として登録される。
【0053】
このような照合画像に対応づけられるインデックス情報は、例えば、当該被写体が存在する場所を示す位置情報(緯度・経度情報)などである。これらの情報は、例えば、GPS機能を備えた撮像装置による撮像画像を照合画像とすることで、Exif(Exchangeable Image File Format)の付加情報などとして得られる他、記憶部240への登録時に、情報提供装置200のオペレータが入出力部230を操作することで入力される。
【0054】
このようなインデックス情報の他に、図7に示すような「スケール情報」と「単位スケール」が照合画像格納テーブルに記録される。
【0055】
スケール情報は、当該照合画像にかかる撮影データのうち、被写体のスケールを特定するために用いられる情報であり、ここでは、当該画像の画像サイズ(ピクセル数)、撮像素子のサイズ(センササイズ)、被写体までの距離、レンズの焦点距離、などがスケール情報として記録される。これらの情報は、照合画像にかかるExifデータなどの付加情報から取得される他、オペレータ操作による入力などによって記録される。
【0056】
また、スケール情報には、画角を示す情報も含まれるものとする。画角については、上記のスケール情報から算出して記録されるものとする。この場合、例えば、数1を演算することで画角[度]が算出される。
【0057】
(数1)
2×tan<sup>‐1</sup>{センササイズ[mm]/(2×焦点距離[mm])}
【0058】
ここで、撮像素子のサイズは、縦または横のいずれかのサイズであり、焦点距離は、例えば、スチルカメラにおける35ミリ判でのレンズ焦点距離に換算した値とする。
【0059】
単位スケールは、上記スケール情報に基づいて算出される、被写体のスケールを示す情報であり、本実施形態では、例えば、1ピクセル(画素)が相当する実寸のサイズを単位スケールとして記録する。このような単位スケールの計算は、照合画像の登録時に情報登録部212によっておこなわれる。もしくは、予め算出された値がオペレータによって入力されてもよい。
【0060】
単位スケールの計算は、例えば、次のような手順でおこなう。まず、被写体までの距離、撮像素子のサイズ、レンズの焦点距離から数2を演算することで、照合画像内の被写体のサイズを算出する。
【0061】
(数2)
(被写体までの距離[mm]×センササイズ[mm])/焦点距離[mm]
【0062】
ここで、撮像素子のサイズは縦または横のいずれかのサイズであり、焦点距離は、例えば、スチルカメラにおける35ミリ判でのレンズ焦点距離に換算した値とする。上記演算により、代入した撮像素子サイズの方向(縦または横)における被写体の実際のサイズ[mm]が特定される。
【0063】
このように算出された被写体サイズを、演算に用いた撮像サイズの方向(縦または横)における画像サイズ(ピクセル数)で除することにより、1ピクセルが相当する実寸のサイズが算出される。
【0064】
情報検索部213は、通信処理部211によって受信された情報表示装置100からのキー情報に基づいて照合画像格納テーブルを検索し、該当するレコードを取得する。ここでは、情報表示装置100の現在位置を示す位置情報などがキー情報として取得され、取得したキー情報がインデックス情報となっているレコードを特定する。特定されたレコードに記録されている情報のうち、少なくとも、照合画像の画像データ、重畳情報、スケール情報、単位スケール、など(以下、「ARデータ」とする)が通信処理部211によって情報表示装置100に送信される。
【0065】
本実施形態では、上記各機能が制御部210によって論理的に実現されるものとするが、これらの機能の一部もしくはすべてが、例えば、ASICなどのハードウェアによって実現されていてもよい。
【0066】
以上説明したような構成の情報表示装置100および情報提供装置200による動作例を以下に説明する。
【0067】
まず、情報表示装置100の動作を、図8に示すフローチャートを参照して説明する。図8は、本実施形態にかかる情報表示装置100において実行される「AR表示処理(1)」を説明するためのフローチャートである。
【0068】
AR処理部111によりARアプリケーションが開始されると、AR処理部111は、その旨を撮像処理部112および照合処理部113に通知する。通知を受けた撮像処理部112は、撮像部140を制御し、撮像動作が開始される(ステップS1101)。
【0069】
撮像動作が開始されると、照合処理部113はキー情報取得部130を制御することで、キー情報の取得動作がおこなわれる。ここでは、少なくともGPSモジュールなどによる位置情報の取得がおこなわれ、位置情報の取得が成功した場合に、他のキー情報についての取得を試みるものとする。なお、位置情報の取得ができない場合は、ARサービスを受けることができないので、取得できるまで待機するか本処理を終了するなどのエラー処理がおこなわれるものとする。
【0070】
そして、少なくとも位置情報を含むキー情報が取得されると、照合処理部113は、取得したキー情報を記憶部160に記録する(ステップS1102)。ここで記録されたキー情報は、本処理の終了時に削除されるものとする。
【0071】
ここで、照合処理部113は、記録したキー情報に変動があるか否かを判別する(ステップS1103)。処理開始直後にキー情報を取得した場合においては、前回の記録がないため、「変動あり」と判別する(ステップS1103:Yes)。
【0072】
この場合、照合処理部113は、通信部120を制御することで、取得したキー情報を、通信ネットワークNWを介して情報提供装置200に送信する(ステップS1104)。
【0073】
このようにして情報表示装置100から送信されたキー情報を情報提供装置200が受信すると、ARデータを情報表示装置100に送信するための「AR情報提供処理(1)」が情報提供装置200において実行される。本実施形態にかかる情報提供装置200で実行される「AR情報提供処理(1)」を、図9に示すフローチャートを参照して説明する。
【0074】
情報表示装置100が送信したキー情報を通信処理部211が受信すると、情報検索部213は、照合画像格納テーブルにおけるインデックス情報に該当する情報を、受信したキー情報から取得する(ステップS1201)。ここでは、情報表示装置100での撮影場所を示す位置情報がキー情報から取得される。
【0075】
情報検索部213は、取得したインデックス情報(位置情報)を検索対象として記憶部240の照合画像格納テーブルを検索し(ステップS1202)、撮影場所に対応する位置情報が記録されているレコードがあるか判別する(ステップS1203)。なお、位置情報に基づく検索にあたっては、位置情報の完全一致ではなく、撮影場所付近が含まれるよう、所定範囲の近似値を示す位置情報が記録されたレコードを検索するものとする。
【0076】
情報表示装置100による撮影場所に対応する位置情報が記録されたレコードがある場合(ステップS1203:Yes)、情報検索部213は、当該レコードからARデータを取得し(ステップS1204)、通信処理部211に引き渡す。
【0077】
通信処理部211は、通信部220を制御し、情報検索部213が取得したARデータを、通信ネットワークNWを介して情報表示装置100に送信して(ステップS1205)、処理を終了する。
【0078】
一方、撮影場所に対応する位置情報を記録したレコードが照合画像格納テーブルに存在しない場合(ステップS1203:No)、情報提供装置200はARデータを情報表示装置100に送信せずに処理を終了する。この場合、情報提供装置200は、現在位置ではARサービスを提供できない旨を示す通知情報などを情報表示装置100に送信してもよい。
【0079】
以上のような情報表示装置100との送受信動作は、例えば、CGI(Common Gateway Interface)技術などを用いた既知のトランザクション技術を利用するなどして実現されているものとする。
【0080】
図8のフローチャートに戻り、ARデータが返送された情報表示装置100の動作を説明する。
【0081】
ARデータが情報提供装置200から送信されると、情報表示装置100の通信部120が通信ネットワークNWを介して受信する。このような受信がなされると(ステップS1105:Yes)、照合処理部113は、受信したARデータを記憶部160に格納するとともに、その旨をAR処理部111に通知する。
【0082】
AR処理部111は、入出力部150を制御することで、撮像部140が現在撮像しているライブビュー画像を表示出力するとともに、受信したARデータの単位スケールに基づいて、受信した照合画像の分布を示す画像を生成して入出力部150に表示出力する(ステップS1106)。
【0083】
ここで、想定されうる場面の例に基づいた図面を参照しながら処理内容を説明する。本実施形態では、図10(a)に示すような、店舗A〜店舗Eがある街においてARサービスを利用する場面を想定することとする。ここで、店舗Aについては、情報提供装置200に照合画像等が登録されており、ARサービスを提供できるものとするが、他の店舗B〜Eについては、情報提供装置200に情報が登録されていないため、ARサービスの対象外であるものとする。
【0084】
そして、店舗Aについては、図10(b)に示すような照合画像が情報提供装置200に登録されているものとする。図示するように、ここでは、店舗Aの外観を撮影した照合画像AAの他、店舗A内で販売されている商品を撮影した照合画像AB〜AZが情報提供装置200に登録されているものとする。これらの照合画像の画像サイズはすべて同一であるものとする。
【0085】
そして、照合画像においては、対象となる被写体のみが画像サイズ内に収まるように撮影されているものとする。このように複数の被写体についての複数の照合画像が用意されている場合、被写体の大きさも一様ではないため、画像毎の被写体のスケールも異なる。つまり、照合画像AAは建造物の外観が画角一杯に撮影されているのに対し、照合画像AZは商品であるペンが画角一杯に撮影されているので、1ピクセルが相当する実寸サイズが大きく異なる。
【0086】
この場合、実写画像の画角一杯に店舗Aの外観を撮影すれば、照合画像AAを使った照合をおこなうことができるが、そこに商品のペンが写り込んでいても、スケールが小さすぎてしまい、照合画像AZとの照合はできないことになる。すなわち、対象とする被写体に応じて適切な画角で撮影しなければ、ARサービスによって提供される情報を適切に得られないことになる。
【0087】
このような不都合を解消するため、本実施形態では、情報提供装置200の照合画像格納テーブルに照合画像とともに登録されている単位スケールを用いることで、ユーザが適切な画角で撮影できるようガイドする。
【0088】
このために、本実施形態では、ステップS1106において、情報提供装置200から受信した照合画像の単位スケールに基づいた分布表示をおこなう。この場合の表示例を図11(a)に示す。図示するように、入出力部150に「撮像画像表示領域」と「ガイド表示領域」を設定し、撮像画像表示領域には、撮像部140によるライブビュー画像を表示する。そして、ガイド表示領域では、図11(a)に示すような分布表示をおこなう。
【0089】
この分布表示は、図示するように、例えば、上下方向の両矢印が表示され、その右側に単位スケールに基づいた照合画像の分布がグラフ状に表示されるものである。図11(a)の例では、両矢印の上側が情報表示装置100(=カメラ)から被写体までの距離が遠いことを示し、下側が情報表示装置100(=カメラ)から被写体までの距離が近いことを示している。
【0090】
すなわち、単位スケールは、1ピクセルが相当する実寸のサイズであるため、照合画像AA(図10(b))のような建造物の外観を撮影した画像では値が比較的大きくなり、照合画像AZのようなペンを撮影した画像では値が比較的小さくなる。よって、単位スケールの値が大きい程、被写体から離れて撮影したことになり、単位スケールの値が小さいほど、被写体に近づいて撮影したことになる。
【0091】
このため、図11(a)に示す分布表示においては、単位スケールの値が大きい程、より遠いことを示している両矢印の上側に分布が表示され、値が小さい程、より近いことを示している下側に分布が表示される。そして、分布表示の横方向は、当該単位スケールの画像数を表している。図11(a)の例においては、最も上側での分布に該当する照合画像が、店舗の外観を撮影した照合画像AA(図10(a))であり、それよりも下における複数の分布は、商品を撮影した複数の照合画像AB〜AZ(図11(b))となる。
【0092】
ここで、図8のフローチャートに戻り、処理の説明を続ける。上述のようにして、ステップS1106で分布表示をおこなうと、AR処理部111は、撮像部140によって現在撮像されている画像についての単位スケールを算出する(ステップS1107)。ここでは、撮像部140の性能情報(センササイズなど)、そのときの撮影設定(画像サイズ、レンズ焦点距離、など)、および、測距動作によって得られた被写体までの距離、などを用い、上述した情報提供装置200の情報登録部212と同様の方法で単位スケールを算出する。ここで、撮像部140がステレオカメラであれば、3角測量の原理を用いた測距をおこなうことができるので、被写体までの距離をより正確に求めることができる。
【0093】
撮像画像についての単位スケールを算出すると、AR処理部111は、図11(b)に示すようなガイドを、ガイド表示領域に表示する(ステップS1108)。このガイドは、算出した撮像画像の単位スケールを反映したものであり、例えば、分布表示における両矢印の左側に表示される。
【0094】
ここで、図11(b)の撮像画像表示領域に表示されているライブビュー画像では、ARサービスの対象となっている店舗Aだけではなく、サービス対象外の店舗B〜Eまでが写り込んだ広い画角となっている。このような場合、店舗Aが画角内に含まれていても、画像全体におけるサイズが小さいため、照合画像AA(図10(b))のスケールと異なってしまい、適切に照合できないことがある。
【0095】
この場合、図11(b)に示すように、撮像画像の単位スケールを反映したガイドは、照合画像AAを表している分布表示よりも上側に位置するよう表示される。図11(b)の例においては、ガイドの位置に画像分布が存在しないので、ユーザは、被写体に近づくか、ズームによって望遠側の画角にしなければ、AR表示をおこなうための照合をおこなうことができないと認識することができる。
【0096】
このように、現在の撮像画像では、情報提供装置200から取得した照合画像を用いた照合ができない場合(ステップS1109:No)、ステップS1107に戻り、撮像画像の単位スケールを再度算出する。すなわち、ガイド表示によって照合不可であることを認識したユーザが、被写体に近づいたりズームを望遠側にしたりすることで、図12(a)に示すように画角を狭めると、その撮像画像についての単位スケールが算出されることになる(ステップS1107)。
【0097】
この場合、算出された単位スケールに応じてガイド表示がなされるが(ステップS1108)、図12(a)に示すように、ガイドが下側に移動するように表示される。図示するように、照合画像AAの分布に相当する位置に移動すると、現在の画角で照合画像AAとの照合が可能ということになる(ステップS1109:Yes)。
【0098】
この場合、照合処理部113は、AR表示における既知の画像処理をおこなうことで、対応する単位スケールの照合画像(この場合、照合画像AA)と撮像画像との照合をおこない(ステップS1110)、撮像画像内での店舗Aの位置を認識する。このようにして照合がなされると、AR処理部111により、例えば、図12(b)に示すように、撮像画像が全画面表示されるとともに、照合画像AAに対応づけられて情報提供装置200から提供された重畳情報が、撮像画像内の店舗Aの位置に重畳表示される(ステップS1111)。
【0099】
そして、例えば、ARアプリケーションの終了指示や情報表示装置100の電源オフなどといった所定の終了イベントが発生しなければ(ステップS1112:No)、ステップS1102以降の処理が繰り返しおこなわれる。ここで、ステップS1102においてキー情報の取得動作がおこなわれるが、情報表示装置100が大幅に移動するなどしなければ、前回取得されたキー情報から変動しない(ステップS1103:No)。このような場合は、ステップS1107に進み、現在の単位スケールに基づいたガイド表示(画角変化に応じたガイド位置の更新)がおこなわれることになる。
【0100】
一方、新たに取得したキー情報に変動がある場合(ステップS1103:Yes)は、当該キー情報を改めて情報提供装置200に送信し(ステップS1104)、当該キー情報に基づいて提供されたARデータを用いて以降の処理がおこなわれる(ステップS1105〜)。
【0101】
なお、情報表示装置100から送信したキー情報に該当する照合画像が情報提供装置200にない場合は、上述したように、情報提供装置200からARデータが送信されないか、あるいは、ARサービスを提供できない旨の通知情報が送信される。このような場合(ステップS1105:No)は、ステップS1112に進み、終了イベントの発生有無に応じた動作がおこなわれることになる。すなわち、終了イベントが発生しなければ(ステップS1112:No)、再度キー情報の取得動作から処理が繰り返される(ステップS1102〜)。
【0102】
ここで、終了イベントが発生した場合(ステップS1112:Yes)は、記憶部160に記録したキー情報を消去して、処理を終了する。
【0103】
以上説明したように、本実施形態によれば、端末装置でAR表示をおこなう際に、その撮影場所において用意されている照合画像の被写体スケールに基づいた分布が表示されるとともに、撮像画像における被写体のスケールが当該分布表示上でガイド表示されるので、提供された照合画像を用いた照合に適した画角や撮影位置とすることが容易におこなうことができ、AR表示を利用する際の利便性を向上させることができる。
【0104】
なお、本実施形態では、図11および図12に示したようなガイド表示を例示したが、ガイド表示の方法や形態は任意であり、これらに限られるものではない。例えば、被写体から離れているために撮像画像内での被写体像が小さい場合は、被写体への接近もしくはズームインによる画角変更を促す、図13(a)に示すような、上向きの矢印画像をガイドとして表示してもよい。
【0105】
逆に、被写体に接近しすぎているために被写体像が画角内に収まっていないような場合は、被写体を遠ざけるもしくはズームアウトによる画角変更を促す、図13(b)に示すような、下向きの矢印画像をガイドとして表示してもよい。
【0106】
あるいは、図13(c)に示すような、照合に必要な画角を示す矩形枠をガイドとして表示し、当該矩形枠一杯に被写体像が収まるよう画角変更を促すようにしてもよい。
【0107】
これらのガイド表示は、例えば、撮像画像と照合画像の単位スケールが近い場合において、より適切な画角に近づけさせる際に有効であり、より直感的なガイド表示とすることで、効率的な画角変更を促すことができる。よって、まず、図11に例示したようなガイド表示をおこなって、ある程度単位スケールが近似した段階で図13に示したようなガイド表示に切り替えるようにしてもよい。あるいは、照合画像の数が少ない場合などには、最初から図13に示したようなガイド表示とするようにしてもよい。
【0108】
本実施形態においては、単位スケールを算出するために必要となる被写体までの距離をステレオカメラによる測距で得ることでより正確な距離情報を得るようにしたが、被写体までの距離が得られるのであれば、その方法は任意である。例えば、レンズの合焦距離を用いることとしてもよい。この場合、情報表示装置100に備えられる撮像部140は、例示したようなステレオカメラでなくてもよく、一般的な単眼式のカメラモジュールにて撮像部140を構成してもよい。
【0109】
(実施形態2)
上記実施形態1では、GPSなどによって位置情報などのキー情報を情報表示装置100が取得すると、そのキー情報に基づいて情報提供装置200がARデータを検索して情報表示装置100に提供していたが、ARサービスの対象が拡大すると、現在位置付近でのARサービスの対象が増大するため、情報提供装置200への問い合わせ回数が多くなる他、1度に提供されるARデータの量も多くなり、トラフィック負荷や情報表示装置100内でのメモリ使用量が増大し、パフォーマンスの低下を招くおそれがある。
【0110】
また、上述したように、情報表示装置100が取得するキー情報は複数種類あるため、場合によっては、複数のキー情報に対応した大量の照合画像を交互に照合しなければならないことも考えられ、同様に情報表示装置100のパフォーマンス低下の要因となる。
【0111】
また、同じ種類のキー情報を用いる場合であっても、例えば、GPSによる位置情報を用いる場合においては、ユーザが目的の場所にたどり着く前に、経路を戻るような行動をとる場合もある。このようなときに、位置情報の変動に応じて情報提供装置200にアクセスしていては、情報表示装置100のパフォーマンスが低下し、ユーザの利便性にとっても好ましくない。
【0112】
この場合、できるだけ多くのARデータを情報表示装置100内に蓄積しておけば、情報提供装置200へのアクセス回数を低減させることができるが、情報表示装置100内で照合をおこなう以上、蓄積しているARデータが多いと照合処理に時間がかかってしまうので、パフォーマンスの低下は免れない。
【0113】
本実施形態では、取得したキー情報およびARデータの管理により、情報提供装置200への問い合わせ回数の低減と、情報表示装置100におけるメモリ使用の効率化を図る。
【0114】
このために情報表示装置100で実行される「AR表示処理(2)」を、図14のフローチャートを参照して説明する。この処理は、実施形態1の「AR表示処理(1)」に代えて実行されるものとする。
【0115】
ここで、上記実施形態1では、GPSなどによって取得される位置情報をキー情報として必須であるものとしたが、本実施形態では、位置情報が取得されずに他の種類のキー情報が取得された場合であっても情報提供装置200への問い合わせをおこなうものとする。
【0116】
上述したように、キー情報は店舗などの施設等から発信される場合もある。例えば、店舗の店頭などに近距離ワイヤレス通信や可視光通信による発信装置を設置し、当該店舗についてのARデータにかかるキー情報を発信していれば、当該店舗に近づいた際にキー情報を取得することができる。この場合に発信されるキー情報は、例えば、GPSに相当する位置情報などとすることができる他、当該施設が情報提供装置200にARデータなどを登録している場合においては、当該施設を示す識別情報をキー情報として発信していてもよい。
【0117】
このような場合、情報提供装置200の照合画像格納テーブルには、図15に示すような「グループID」がインデックス情報として付加されているものとする。1つのグループIDに対して複数のARデータを対応づけることで、情報提供装置200における検索の効率を向上させることができる。
【0118】
また、本実施形態では、図15に示すように、各ARデータに一意の識別情報(ARデータ識別情報)が付与されているものとする。この場合、本実施形態にかかる情報提供装置200は、情報表示装置100からキー情報が送信された際には、当該キー情報に対応する識別情報(ARデータ識別情報)を情報表示装置100に返信し、情報表示装置100から識別情報(ARデータ識別情報)が送信された際には、当該識別情報(ARデータ識別情報)に対応するARデータを情報表示装置100に返信する。
【0119】
なお、情報表示装置100が取得するキー情報には、例えば、店舗内で販売される商品などに付加されているプライスカードなどに付けられているRFIDチップから発信されるものや、表示されている2次元コードによって表されているものも含み、これらのキー情報は、当該商品についてのARデータと対応づけられた識別情報となる。本実施形態では、このような識別情報は、上述したARデータ識別情報と同じであることとする。
【0120】
以上のような想定において実行される「AR表示処理(2)」による動作を説明する。なお、実施形態1と同様、ユーザによるARアプリケーションの実行指示を契機に処理が開始されるものとする。
【0121】
処理が開始されると、撮像処理部112は、撮像部140を制御し、撮像動作が開始されるとともに(ステップS2101)、照合処理部113がキー情報取得部130を制御することで、キー情報の取得動作がおこなわれる(ステップS2102)。取得されたキー情報は、例えば、RAMなどの記憶領域上に一時的に保持される。
【0122】
実施形態1の例と同様、取得したキー情報を記憶部160に記録することになるが、本実施形態では、図18(a)に示すような「キー情報管理テーブル」が記憶部160に作成され、取得されたキー情報と付加情報がこのテーブルに格納される。
【0123】
このキー情報管理テーブルは、図18(a)に示すように、レコードNo.をキーとしたレコードによって構成される。ここで、テーブルを構成するレコード数は、例えば、記憶部160の容量のうちでARアプリケーションに割り当てられている容量や情報表示装置100の処理能力などによって規定されているものとする。すなわち、記録されるキー情報が、ARアプリケーションの実行にかかるパフォーマンスが低下しない程度のデータ量となるようなレコード数が規定される。本実施形態では、例えば、n個のレコードによってテーブルが構成されているものとする。
【0124】
また、ステップS2102で取得されたキー情報の数をN(個)とする。上述したように、複数の方法でキー情報が取得されるので、同じ場所でキー情報取得動作をおこなった場合に、例えば、GPSによって位置情報が取得されるとともに、近距離ワイヤレス通信によってグループIDが取得されるなどといった、複数のキー情報が同時に取得される場合もあるので、キー情報の数Nは、N≧1ということになる。
【0125】
このようなキー情報管理テーブルには、図18(a)に示すように、取得されたキー情報(例えば、位置情報、グループID、識別情報、など)、当該キー情報を取得した方法の種類を示す情報(例えば、GPS、可視光通信、RFID、IrDA、Bluetooth(商標)、2次元コード、などの別)、利用日時、当該キー情報に対して情報提供装置200から送信された識別情報(ARデータ識別情報)、削除対象から除外すべきレコードであることを示すフラグ(「除外フラグ」)、などが記録されることになる。
【0126】
ここで、「利用日時」には、取得されたキー情報が記録されたときの日時が記録される。また、既にキー情報管理テーブルに記録されているキー情報が再度取得された際には、そのときの日時に更新されるものとする。
【0127】
このようなキー情報管理テーブルにキー情報を格納するための処理として、「キー情報管理処理」が実行される(ステップS2200)。この「キー情報管理処理」を、図16に示すフローチャートを参照して説明する。
【0128】
処理が開始されると、照合処理部113は、記憶部160のキー情報管理テーブルにアクセスし、RAMに保持しているキー情報と同じキー情報がキー情報管理テーブルに格納されている場合、当該キー情報についての「利用日時」を、現在日時に更新する(ステップS2201)。ここで、RAMに保持されている、今回取得したキー情報のうち、このようなキー情報管理テーブルに記録済のキー情報については、利用日時の更新後、RAMから削除する。
【0129】
既に記録済のキー情報をRAMから削除した後にRAMに残存しているキー情報は、キー情報管理テーブルに未記録のキー情報ということになる。今回取得したキー情報に、キー情報管理テーブルに未記録のものがない場合(ステップS2202:No)は、利用日時の更新をおこなうのみで処理を終了して、「AR表示処理(2)」(図14)のフローに戻る。
【0130】
一方、キー情報管理テーブルに未記録のキー情報がある場合(ステップS2202:Yes)、照合処理部113は、このような未記録のキー情報を、キー情報管理テーブルに追加可能であるか否かを判別する(ステップS2203)。上述したように、本実施形態にかかるキー情報管理テーブルは、記憶部160の容量などに基づいて、レコード数がn個までに制限されている。このようなn個のレコードのうち、空きレコードが1以上あれば、キー情報を追加可能であると判別する(ステップS2203:Yes)。
【0131】
この場合、照合処理部113は、RAMに残存しているキー情報のうちの1つについて、当該キー情報とその取得方法を示す情報、および、取得日時として現在日時を示す情報を空きレコードの1つに記録する(ステップS2209)。この場合、照合処理部113は、RAM上の当該キー情報を削除する。
【0132】
今回取得したキー情報の1つをキー情報管理テーブルに記録すると、照合処理部113は、通信部120を制御することで、当該キー情報を、通信ネットワークNWを介して情報提供装置200に送信し、対応する識別情報(ARデータ識別情報)を、通信ネットワークNWを介して情報提供装置200から取得する(ステップS2210)。
【0133】
この場合、情報提供装置200においては、情報表示装置100から送信されたキー情報を通信部220が受信すると、情報検索部213が記憶部240にアクセスし、図15に示した照合画像格納テーブルから、受信したキー情報に対応づけられている識別情報(ARデータ識別情報)を検索し、通信部220がこれを情報表示装置100に送信する。
【0134】
このようにして情報提供装置200が識別情報(ARデータ識別情報)を送信すると、情報表示装置100の通信部120が受信する。照合処理部113は、受信された識別情報(ARデータ識別情報)を、ステップS2209でキー情報管理テーブルに記録したキー情報のレコードに記録する(ステップS2211)。
【0135】
1つのレコードへのキー情報の記録が完了すると、照合処理部113は、今回取得したキー情報がRAM上に残存しているか否かを判別することで、キー管理情報テーブルに未記録であったキー情報がすべて記録されたか否かを判別する(ステップS2212)。
【0136】
今回取得したキー情報がまだRAMに残存しているのであれば(ステップS2212:No)、ステップS2203に戻る。ここで、n個のレコードすべてに情報が記録されている場合、照合処理部113は、キー情報が追加できないと判別し(ステップS2203:No)、いずれかのレコードの内容を削除することで空きレコードを用意する。
【0137】
この場合、照合処理部113は、キー情報管理テーブルに記録されている利用日時を走査し、最も古い利用日時が記録されているレコードを特定する(ステップS2204)。そして、そのレコードに記録されているキー情報が、位置情報以外のもの(グループIDや識別情報など)であるか否かを判別する(ステップS2205)。
【0138】
位置情報以外のキー情報が記録されているレコードである場合(ステップS2205:Yes)、照合処理部113は、当該レコードの内容を削除する(ステップS2208)。これにより空きレコードが1つ用意できたので、ステップS2209以降の処理により、当該空きレコードに該当する情報が記録される。
【0139】
一方、最も古い利用日時が記録されているレコードのキー情報が、位置情報である場合(ステップS2205:No)、照合処理部113は、当該位置情報と現在位置から、当該レコードに記録されている位置情報が現在位置に近い位置であるか否かを判別する(ステップS2206)。
【0140】
ここで、今回取得したキー情報に位置情報が含まれているのであれば、当該位置情報が示す位置を現在位置とし、含まれていなければ、キー情報取得部130を制御することで現在位置情報の取得をおこなう。そして、各位置を示す緯度・経度から2点間の距離を演算し、算出された距離と所定の閾値とを比較することで、現在位置に近いか否かを判別する。この場合の閾値は任意であり、情報表示装置100の製造者によって設定される他、使用者によって任意に設定できるものであってもよい。
【0141】
このような動作により、利用日時が最も古いレコードに記録されている位置情報が、現在位置に近い位置を示すものであれば(ステップS2206:Yes)、照合処理部113は、当該レコードを削除対象から除外し(ステップS2207)、ステップS2204に戻る。この場合、例えば、削除対象から除外すべきレコードであることを示すフラグ(除外フラグ)を当該レコードに立てるものとする。
【0142】
一方、現在位置から遠い位置を示す位置情報が記録されているレコードであれば(ステップS2206:No)、ステップS2208に進み、当該レコードの内容を削除する。そして、ステップS2209以降の処理をおこなうことで、当該レコードに各種情報が記録される。
【0143】
このようにして、今回取得されたキー情報のすべてがキー情報管理テーブルに記録されると(ステップS2212:Yes)、本処理を終了し、「AR表示処理(2)」(図14)のフローに戻る。
【0144】
ここで、本実施形態では、情報提供装置200から取得したARデータが、記憶部160に作成された図18(b)に示すような「ARデータ管理テーブル」に記録されるものとする。
【0145】
図示するように、「ARデータ管理テーブル」においては、レコードNo.をキーとしたレコードが作成され、各レコードには、キー情報に対応する識別情報(ARデータ識別情報)が記録されるとともに、当該識別情報(ARデータ識別情報)に対応するARデータ(すなわち、照合画像、重畳情報、スケール情報、単位スケール情報、など)と、当該ARデータの利用日時を示す情報、などが記録される。ここで、「利用日時」には、当該ARデータを情報提供装置200から取得したときの日時が記録される。
【0146】
なお、ARデータ管理テーブルを構成するレコード数についても、ARアプリケーションに割り当てられている記憶部160の容量や情報表示装置100の処理能力などによって規定されているものとする。すなわち、ARアプリケーションの実行にかかるパフォーマンスが低下しない情報量が記録されるようレコード数が規定されている。本実施形態では、m個のレコードによってテーブルが構成されているものとする。
【0147】
上述した「キー情報管理処理」(ステップS2200)の実行後、「AR表示処理(2)」では、このようなARデータ管理テーブルにARデータを記録するための「ARデータ管理処理」が実行される(ステップS2300)。このARデータ管理処理を、図17に示すフローチャートを参照して説明する。
【0148】
処理が開始されると、照合処理部113はまず、記憶部160のキー情報管理テーブル(図18(a))にアクセスし、今回のキー情報取得動作に対応する日時が利用日時として記録されているレコードを特定し、当該レコードに記録されている識別情報(ARデータ識別情報)を特定する。すなわち、今回取得したキー情報に対応づけられている識別情報(ARデータ識別情報)を特定する。この場合、照合処理部113は、特定した識別情報(ARデータ識別情報)をキー情報管理テーブルから取得し(ステップS2301)、RAM上に一時的に保持する。
【0149】
次に照合処理部113は、記憶部160のARデータ管理テーブル(図18(b))にアクセスし、ステップS2301で取得した識別情報(ARデータ識別情報)がすでに記録されているレコードを特定し、当該レコードの「利用日時」を、現在日時に更新する(ステップS2302)。すなわち、今回取得したキー情報に対応づけられているARデータが既にARデータ管理テーブルに記録済である場合、このときに情報提供装置200からARデータが取得されたものとして、「利用日時」を更新する。
【0150】
このような、ARデータ管理テーブルに記録済のARデータを示す識別情報(ARデータ識別情報)について「利用日時」を更新すると、当該識別情報をRAMから削除する。このような削除をおこなった後にRAMに識別情報が残存していれば、当該識別情報によって示されるARデータは、ARデータ管理テーブルに未記録であるということになる。
【0151】
また、RAM上に識別情報が残存しなければ、今回取得したキー情報に対応するARデータはすべてARデータ管理テーブルに記録済ということになる。この場合(ステップS2303:No)は、今回取得したキー情報に対応するARデータについての「利用日時」を更新するのみで処理を終了して、「AR表示処理(2)」(図14)のフローに戻る。
【0152】
一方、ARデータ管理テーブルに記録されていないARデータがある場合(ステップS2303:Yes)、照合処理部113は、ARデータ管理テーブルに追加可能であるか否かを判別する(ステップS2304)。上述したように、本実施形態にかかるARデータ管理テーブルは、記憶部160の容量などに基づいて、レコード数がm個までに制限されている。このようなm個のレコードのうち、空きレコードが1以上あれば、ARデータを追加可能であると判別する(ステップS2304:Yes)。
【0153】
この場合、照合処理部113は、RAMに保持されている識別情報(ARデータ識別情報)のうちの1つを選択する。そして、通信部120を制御し、選択した識別情報(ARデータ識別情報)を、通信ネットワークNWを介して情報提供装置200に送信することで、当該識別情報(ARデータ識別情報)に対応づけられているARデータを情報提供装置200から取得する(ステップS2310)。
【0154】
このとき、情報提供装置200においては、情報表示装置100から送信された識別情報(ARデータ識別情報)を通信部220が受信すると、情報検索部213が記憶部240にアクセスし、図15に示した照合画像格納テーブルから、受信した識別情報(ARデータ識別情報)に対応づけられているARデータを検索し、通信部220がこれを情報表示装置100に送信する。
【0155】
このようにして情報提供装置200がARデータを送信すると、情報表示装置100の通信部120が受信する。照合処理部113は、受信されたARデータを、空きレコードの1つに記録する(ステップS2311)。照合処理部113はまた、このときの現在日時を示す情報を、当該ARデータの利用日時として記録する。このとき照合処理部113は、RAMに保持されている識別情報(ARデータ識別情報)のうち、ARデータ管理テーブルに記録したARデータについての識別情報(ARデータ識別情報)を、RAMから削除する。
【0156】
照合処理部113は、RAM上に識別情報(ARデータ識別情報)が残存しているか否かを判別することで、ARデータ管理テーブルに記録されていなかったARデータのすべてがARデータ管理テーブルに記録されたか否かを判別する(ステップS2312)。
【0157】
RAM上に識別情報(ARデータ識別情報)が残存している場合(ステップS2312:No)、ステップS2304に戻り、それらの識別情報(ARデータ識別情報)について、ARデータの取得と記録がおこなわれる。ここで、ARデータ管理テーブルのm個のレコードすべてに情報が記録されている場合、照合処理部113は、ARデータが追加できないと判別し(ステップS2304:No)、いずれかのレコードの内容を削除することで空きレコードを用意する。
【0158】
この場合、照合処理部113は、ARデータ管理テーブルに記録されている利用日時を走査し、最も古い利用日時が記録されているレコードを特定する(ステップS2305)。そして、そのレコードに記録されている識別情報(ARデータ識別情報)を特定する。
【0159】
次に照合処理部113は、キー情報管理テーブルにアクセスし、特定した識別情報(ARデータ識別情報)が記録されているレコードがないか判別する。すなわち、利用日時が最も古いARデータに対応するキー情報が、現在のキー情報管理テーブルに残存しているか否かを判別する(ステップS2306)。
【0160】
キー情報管理テーブルに、対応するキー情報が残存していない場合(ステップS2306:No)、照合処理部113は、ARデータ管理テーブルから、ステップS2305で特定したレコードの内容を削除する(ステップS2307)。これにより空きレコードが1つ用意できたので、ステップS2310以降の処理により、当該レコードに該当する情報が記録される。
【0161】
一方、利用日時が最も古いARデータに対応するキー情報が、現在のキー情報管理テーブルに残存している場合(ステップS2306:Yes)、照合処理部113は、当該キー情報のレコードで「除外フラグ」が立てられているか否かを判別することで、当該キー情報が、「キー情報管理処理」(図16)のステップS2207において、削除対象から除外されたものであるか否かを判別する(ステップS2308)。
【0162】
ここで、ステップS2305で特定したARデータに対応するキー情報が、キー情報管理テーブルにおいて削除対象から除外されていた場合(ステップS2308:Yes)、照合処理部113は、ステップS2305で特定したレコードについても、削除対象から除外し(ステップS2309)、ステップS2305に戻る。この場合、例えば、対象除外であることを示すフラグを立てるなどして示すことができる他、当該レコードの利用日時を現在の日時に更新することで除外されるようにしてもよい。
【0163】
上述した「キー情報管理処理」(図16)により、キー情報管理テーブルには、比較的最近に取得されたキー情報、もしくは、利用日時は古いが現在位置に近い位置を示すキー情報が残るように管理されている。よって、ステップS2305で特定されたARデータに対応するキー情報がキー情報管理テーブルに残存し、かつ、削除対象から除外されていたのであれば、ARデータの利用日時が古くても、今回取得されたキー情報を用いたAR表示もしくは近い将来に取得されうるキー情報を用いたAR表示に利用される可能性が高い。よって、このようなARデータは、ARデータ管理テーブルからの削除対象から除外することで、AR管理テーブルに残存させる。
【0164】
このような除外処理の後、ステップS2305に戻り、削除対象とできるレコードが検索され、その内容が削除される(ステップS2305〜ステップS2307)。そして、このようにして用意された空きレコードに、新たに取得されるARデータが記録される(ステップS2310〜ステップS2311)。
【0165】
一方、対応するキー情報がキー情報管理テーブルに残存しているものであっても、削除対象から除外されたものでなければ(ステップS2308:No)、当該キー情報は、キー情報管理テーブルに残存しているものの中でも比較的利用日時が古く現在位置に近くないものであり、かつ、対応するARデータについてはその利用日時が最も古いことになる。このため、ステップS2305で特定したレコードに記録されているARデータが今回もしくは近い将来に用いられる可能性は低いとみなし、当該レコードの内容を削除して空きレコードを用意する(ステップS2307)。
【0166】
以上のような動作を、対象となっているすべてのARデータが記録されるまで繰り返しおこなわれ(ステップS2312:No)、すべてのARデータが記録されると(ステップS2312:Yes)、本処理を終了して、「AR表示処理(2)」(図14)のフローに戻る。
【0167】
「AR表示処理(2)」では、ステップS2102で取得されたキー情報に対応するARデータを用いたAR表示をおこなう。ここでは、実施形態1で説明した「AR表示処理(1)」(図8)のステップS1106〜ステップS1111と同様の動作をおこなうことにより、取得済のARデータを用いたAR表示がおこなわれる(ステップS2103)。
【0168】
そして、所定の終了イベントが発生しなければ(ステップS2104:No)、ステップS2102以降の処理が繰り返し実行されることで、AR表示がおこなわれる。そして、終了イベントの発生により(ステップS2104:Yes)、本処理を終了する。
【0169】
以上のように、本実施形態によれば、情報表示装置100で利用できるメモリ資源や処理能力などに応じて、情報表示装置100にて保持するキー情報やARデータが、効率的なAR表示に寄与できるよう適切に管理されるとともに、情報提供装置200から情報表示装置100へARデータを提供するためのデータ転送を効果的に低減させることができるので、トラフィック負荷を低減する他、情報表示装置100のパフォーマンス低下を防止することができ、ARサービスの利用にかかる利便性の向上を図ることができる。
【0170】
すなわち、情報表示装置100でキー情報が取得された際には、当該キー情報に対応する識別情報のみを情報提供装置200から取得するので、照合画像などのような比較的データサイズの大きいARデータの転送を伴わない。そして、取得した識別情報に基づいて、情報表示装置100が保持しているARデータに該当するARデータが含まれていない場合にのみ、情報提供装置200からARデータの提供を受ける。これにより、キー情報を取得する度にARデータを情報提供装置200から取得する場合に比べ、通信ネットワークNW上でのデータ転送量を大幅に削減することができる。
【0171】
また、情報表示装置100内には、比較的最近に取得されたキー情報と現在位置に近い位置情報を示すキー情報が優先的に残るように保持され、これらのキー情報に対応するARデータは削除されないように管理されているので、現在もしくは直近の将来に利用される可能性の高いARデータが優先的に情報表示装置100内に保持されることになり、ARデータを取得するための情報提供装置200とのトランザクション回数をさらに低減させることができる。
【0172】
なお、本実施形態においては、そのとき取得したキー情報に対応するARデータが既にARデータ管理テーブルに記録済である場合に、当該ARデータについての「利用日時」を更新するものとした(「ARデータ管理処理」(図17)のステップS2302)が、ARデータ管理テーブルに記録されているARデータをAR表示に用いた際にも「利用日時」を更新するようにしてもよい。これにより、実際にAR表示に用いられたARデータを優先的に情報表示装置100に保持させることができる。
【0173】
また、キー情報管理テーブルからキー情報を削除した際(「キー情報管理処理」(図16)のステップS2208)に、当該キー情報に対応づけられているARデータをARデータ管理テーブルから削除してもよく、ARデータ管理テーブルからARデータを削除した際(「ARデータ管理処理」(図17)のステップS2307)に、当該ARデータの識別情報(ARデータ識別情報)が対応づけられているキー情報をキー情報管理テーブルから削除してもよい。これにより、キー情報もしくはARデータのいずれかにおいて削除対象とされた際に、互いに対応するARデータもしくはキー情報も併せて削除されるので、キー情報管理テーブルおよびARデータ管理テーブルのいずれにおいても、空きレコードが予め用意されている可能性を高めることができる。
【0174】
(実施形態3)
上記実施形態2においては、店舗などの施設等から発信するキー情報として、グループIDを例示したが、このような方法によって、キー情報だけでなく、ARデータ(照合画像)をその場で取得できるようにしてもよい。この場合、例えば、GPSによる位置情報の取得ができない場合でも、ARサービスの利用に必要となるARデータを取得することができる他、情報提供装置200などにアクセスせずにARデータを取得できるので、通信ネットワークNWにおけるトラフィック負荷の低減にも寄与することができる。
【0175】
この形態では、店舗などの施設等に設置された近距離ワイヤレス通信装置や可視光通信装置が情報提供装置200として機能することになるが、上記各実施形態で例示した情報提供装置200とは異なり、設置場所に関する情報のみを保持して発信すればよいため、小規模かつ簡易的に実現できる他、膨大なARデータの提供を分散しておこなうことができる。
【0176】
このように提供される照合画像として、上記各実施形態では、写真画像などのいわゆる2D画像を用いるものとした。この場合、照合画像を撮影したカメラからの視線方向と一致する視線方向から撮影した場合でないと照合がうまくおこなえない場合がある。特に、店舗などの内部において多数の商品それぞれについてAR表示をおこなうような場合、店舗内部が狭かったり、対象物が近接していたりすることがあると、必ずしも照合画像の視線方向と同じ視線方向で撮影できるとは限らない。また、照合動作はバックグラウンドでおこなわれるため、どのような照合画像が用いられているかユーザが認識することもないため、照合画像の視線方向に合わせた撮影を能動的におこなうことも通常はできない。
【0177】
ここで、撮像部140をステレオカメラで構成した情報表示装置100の場合、撮像画像から3Dモデリングデータを生成することができるので、このような3Dモデリングデータを照合画像と照合させることで、上記のような問題の解消を図ることができる。本実施形態では、この場合の動作例を以下に説明する。
【0178】
情報表示装置100が3Dモデリングデータを用いて照合をおこなう場合の「AR表示処理(3)」を、図18に示すフローチャートを参照して説明する。なお、本実施形態では、店舗などの施設等に設置されている近距離ワイヤレス通信装置や可視光通信装置によってARデータが情報表示装置100に提供されるものとする。
【0179】
処理が開始されると、撮像処理部112によってステレオカメラである撮像部140が制御され、撮像動作が開始される(ステップS3101)。本実施形態では、例えば、VRAM(Video RAM)などのような、画像処理のために画像データが展開される記憶装置が記憶部160に含まれるものとする。この場合、照合処理部113は、記憶部160に展開された画像データに対し、3Dモデリングにおける既知の技術を用いて、撮像画像から被写体を抽出するとともに、奥行き推定をおこなうことで、抽出した被写体の3Dモデリングデータを生成する(ステップS3102)。
【0180】
3Dモデリングデータを生成すると、照合処理部113は、画像処理における既知の技術を用いて、撮像画像で3Dモデリングデータを生成した被写体について、例えば、SIFT(Scale Invariant Feature Transform)やSURF(Speeded Up Robust Features)などによって、特徴点の抽出や特徴量の算出をおこなう(ステップS3103)。
【0181】
また、照合処理部113は、キー情報取得部130などを制御することで、店舗などの施設等に設置されている近距離ワイヤレス通信装置や可視光通信装置から発信されているARデータを取得して、記憶部160に記録する(ステップS3104)。ARデータの記録にあたっては、実施形態2で例示したような、ARデータ管理テーブルなどに記録する。
【0182】
取得したARデータに含まれる照合画像が複数含まれる場合、照合処理部113は、生成した3Dモデリングデータとこれらの照合画像との照合を順次おこなうため、処理対象とする照合画像のインデックス番号iに初期値「0」を設定した後(ステップS3105)、iの値を+1することで(ステップS3106)、1番目の照合画像を指定する。
【0183】
照合処理部113は、記憶部160に格納されている当該照合画像(i番目の照合画像)について、ステップS3103での処理と同様の処理をおこなうことで、SIFTやSURFなどによって、特徴点の抽出や特徴量の算出をおこなう(ステップS3107)。
【0184】
ここで、現在撮像されている被写体が図19(a)に示すような立体物である場合において、用意されている照合画像は、図19(a)における「照合画像の視線」が示す方向から撮影された図19(b)に示すような写真画像(2D画像)であるものとする。ここで、情報表示装置100による現在の撮像方向が、図19(a)における「現在のカメラ視線」が示す方向であるとすると、ステップS3102で生成された3Dモデリングデータは、図19(c)に示すようなものとなる。
【0185】
この場合、照合画像の視線と現在の撮像における視線が異なるので、生成した3Dモデリングデータでは、照合画像を用いた照合をおこなうことができない。このため、照合処理部113は、撮像画像の特徴点・特徴量と、照合画像の特徴点・特徴量とを比較し、照合画像の視線となるよう、3Dモデリングデータの視線方向を変更する(ステップS3108)。このように視線変更した3Dモデリングデータは、図19(d)に示すように、照合画像と相似するので、照合画像を用いた照合をおこなうことができる。
【0186】
なお、現在比較している照合画像が、3Dモデリングデータを生成した被写体についてのものではない場合、3Dモデリングデータの視線を変更しても照合が成功しないことになる(ステップS3109:No)。この場合はステップS3106に戻り、対象とする照合画像のインデックス番号iを+1することで、次の照合画像について上述した処理をおこなう。
【0187】
そして、照合が成功した場合(ステップS3109:Yes)には、実施形態1で例示した「AR表示処理(1)」(図8)のステップS1106〜ステップS1111と同様の処理をおこなうことにより、AR表示をおこなう(ステップS3110)。
【0188】
そして、上記各実施形態で例示したような所定の終了イベントが発生しなければ(ステップS3111:No)、ステップS3104に戻り、以降の処理を繰り返しおこない、終了イベントの発生により(ステップS3111:Yes)、本処理を終了する。
【0189】
以上のような本実施形態によれば、撮像画像と照合画像から抽出した特徴点や特徴量に基づいて、撮像画像から生成した3Dモデリングデータの視線方向を変更するので、照合画像の視線方向とは異なる方向から撮影している場合であっても適切に照合をおこなうことができ、アバウトな撮影であっても的確にAR表示をおこなうことができる。すなわち、ARサービスの拡大によって、あらゆるものがARサービスの対象になった場合でも、正確なAR表示をおこなうことができ、ユーザの利便性を向上させることができる。
【0190】
なお、本実施形態では、店舗などの施設等に設置されている近距離ワイヤレス通信装置や可視光通信装置から、写真画像としての照合画像を取得するものとしたが、このように提供される照合画像自体を3Dモデリングデータとしてもよい。これは、実施形態1や実施形態2で例示した情報提供装置200が照合画像を提供する場合も同様に3Dモデリングデータとすることができる。3Dモデリングデータ同士の照合であれば、画像処理をおこなわずに数値演算に基づいたより正確な照合動作をおこなうことができる。
【0191】
以上説明したように、本発明にかかる上記各実施形態によれば、ARサービスを利用する場合において、対象が膨大となった場合であっても、ユーザの利便性を向上させることができる。
【0192】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【0193】
例えば、上記各実施形態で示した規格やフォーマットなどは一例であり、同様の効果が得られるものであれば、採用できる規格やフォーマットは任意である。
【0194】
また、上記各実施形態では、情報表示装置100としてスマートフォンを例示したが、少なくとも、撮像機能と、キー情報及び/又はARデータを取得できる構成を有しているのであれば、スマートフォンに限られず、任意の装置を情報表示装置100として用いることができる。
【0195】
このような、情報表示装置100として採用可能な任意の装置において、上述した制御部110が実現する機能を有していないものであっても、プログラムを適用することにより、図4に示したような機能構成を実現できるのであれば、既存の装置を本発明にかかる情報表示装置として機能させることができる。
【0196】
同様に、汎用のサーバ装置などにプログラムを適用することで、図6に示したような機能構成を実現できるのであれば、既存の情報処理装置などを本発明にかかる情報提供装置として機能させることができる。
【0197】
このようなプログラムの適用方法は任意であり、例えば、CD−ROMやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。
【符号の説明】
【0198】
1…情報表示システム、NW…通信ネットワーク、100…情報表示装置、110…制御部、111…AR処理部、112…撮像処理部、113…照合処理部、120…通信部、130…キー情報取得部、140…撮像部、150…入出力部、160…記憶部、200…上報提供装置、210…制御部、211…通信処理部、212…情報登録部、213…情報検索部、220…通信部、230…入出力部、240…記憶部
【特許請求の範囲】
【請求項1】
撮像手段を備え、外部から提供された情報を前記撮像手段によって撮像された撮像画像上に重畳表示する情報表示装置と、
前記情報表示装置による撮像画像上に重畳させる情報を前記情報表示装置に提供する情報提供装置と、から構成された、拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示システムにおいて、
前記情報提供装置は、
前記撮像画像における被写体と照合するための照合画像と、当該照合画像と照合された被写体が写った前記撮像画像に重畳表示させる重畳情報とを含んだARデータを、当該ARデータを識別するための識別情報と、前記情報表示装置から通知されうるキー情報とに対応づけて記憶するARデータ記憶手段と、
前記情報表示装置からキー情報が提供された場合には、当該キー情報に対応する識別情報を該情報表示装置に送信し、前記情報表示装置から識別情報が提供された場合には、当該識別情報に対応するARデータを該情報表示装置に送信する情報提供手段と、を備え、
前記情報表示装置は、
前記撮像画像における被写体を特定するためのキー情報を取得するキー情報取得手段と、
前記キー情報が取得される毎に前記情報提供装置に通知するキー情報通知手段と、
前記キー情報の通知に応じて前記情報提供装置から提供される識別情報を取得する識別情報取得手段と、
前記キー情報と前記識別情報を対応づけて複数記録する第1のテーブルに、前記識別情報が取得される毎に新たな前記キー情報と前記識別情報を対応づけて前記第1のテーブルに追加して記録するキー情報記録手段と、
前記第1のテーブルに記録されているいずれかの識別情報を前記情報提供装置に通知する識別情報通知手段と、
前記識別情報の通知に応じて前記情報提供装置から提供される、前記AR表示に用いられるARデータを取得するARデータ取得手段と、
前記ARデータ取得手段が取得したARデータを用いて前記AR表示をおこなうAR表示手段と、を備える、
ことを特徴とする情報表示システム。
【請求項2】
レコード数が規定されている第2のテーブルに、取得したARデータを、前記第1のテーブルと対応づけて記録するARデータ記録手段を、更に備え、
前記AR表示手段は、前記ARデータ記録手段が記録したARデータを用いて前記AR表示をおこなう、
ことを特徴とする請求項1に記載の情報表示システム。
【請求項3】
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示装置であって、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得するキー情報取得手段と、
前記キー情報取得手段が取得したキー情報を、通信ネットワークを介して前記外部装置に通知するキー情報通知手段と、
前記キー情報通知手段によるキー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだARデータを示す識別情報を、前記通信ネットワークを介して取得する識別情報取得手段と、
前記キー情報取得手段が取得したキー情報を、当該キー情報の利用日時と、前記識別情報取得手段が取得した識別情報とに対応づけて、レコード数が規定されている第1のテーブルに記録するキー情報記録手段と、
前記第1のテーブルに記録されている識別情報を、前記通信ネットワークを介して前記外部装置に通知する識別情報通知手段と、
前記識別情報通知手段による識別情報の通知に応じて前記外部装置が送信した前記ARデータを取得するARデータ取得手段と、
前記ARデータ取得手段が取得したARデータを、前記通知した識別情報と、当該ARデータの利用日時とに対応づけて、レコード数が規定されている第2のテーブルに記録するARデータ記録手段と、
前記第2のテーブルに記録されているARデータを用いてAR表示をおこなうAR表示手段と、を備え、
前記識別情報通知手段は、前記第1のテーブルに記録されている識別情報が前記第2のテーブルに記録されていない場合、当該識別情報を前記外部装置に通知し、
前記キー情報記録手段は、前記キー情報取得手段がキー情報を取得した際に前記第1のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこない、
前記ARデータ記録手段は、前記識別情報通知手段が識別情報を通知する際に前記第2のテーブルに空きレコードがない場合、既に記録されているARデータの利用日時に基づいた削除をおこなう、
ことを特徴とする情報表示装置。
【請求項4】
前記キー情報記録手段は、当該キー情報を取得した日時を利用日時として記録し、該キー情報に対応する前記ARデータを用いたAR表示がおこなわれた際の日時で更新し、
前記ARデータ記録手段は、当該ARデータを取得した日時を利用日時として記録し、
該ARデータを用いたAR表示がおこなわれた際の日時で更新し、
前記キー情報記録手段および前記ARデータ記録手段は、最も古い日時が利用日時として記録されているレコードを削除対象として特定する、
ことを特徴とする請求項3に記載の情報表示装置。
【請求項5】
前記キー情報は、前記撮像手段による撮像時の前記情報表示装置の位置を示す位置情報を含み、
前記キー情報記録手段は、削除対象として特定したレコードに記録されているキー情報が位置情報である場合、当該位置情報が示す位置と前記情報表示装置の現在位置との距離を算出し、算出した距離が所定の閾値よりも小さい場合、当該レコードを削除対象から除外する、
ことを特徴とする請求項4に記載の情報表示装置。
【請求項6】
前記ARデータ記録手段は、削除対象として特定したレコードに記録されている識別情報が前記第1のテーブルに記録されており、かつ、該第1のテーブルにおいて当該識別情報を記録しているレコードが前記キー情報記録手段によって削除対象から除外されている場合、前記特定したレコードを削除対象から除外する、
ことを特徴とする請求項5に記載の情報表示装置。
【請求項7】
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示装置を制御するコンピュータに、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得する機能と、
取得したキー情報を、通信ネットワークを介して前記外部装置に通知する機能と、
キー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだARデータを示す識別情報を、前記通信ネットワークを介して取得する機能と、
前記取得したキー情報を、当該キー情報の利用日時と、前記取得した識別情報とに対応づけて、レコード数が規定されている第1のテーブルに記録する機能と、
前記外部装置から取得した識別情報とARデータとを対応づけて記録する第2のテーブルに、前記第1のテーブルに記録されている識別情報が記録されていない場合に、当該識別情報を、前記通信ネットワークを介して前記外部装置に通知する機能と、
前記識別情報の通知に応じて前記外部装置が送信した前記ARデータを取得する機能と、
取得したARデータを、前記通知した識別情報と、当該ARデータの利用日時とに対応づけて、レコード数が規定されている前記第2のテーブルに記録する機能と、
前記第2のテーブルに記録されているARデータを用いてAR表示をおこなう機能と、
キー情報を取得した際に前記第1のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこなう機能と、
前記外部装置に識別情報を通知する際に前記第2のテーブルに空きレコードがない場合、既に記録されているARデータの利用日時に基づいた削除をおこなう機能と、
を実現させることを特徴とするプログラム。
【請求項1】
撮像手段を備え、外部から提供された情報を前記撮像手段によって撮像された撮像画像上に重畳表示する情報表示装置と、
前記情報表示装置による撮像画像上に重畳させる情報を前記情報表示装置に提供する情報提供装置と、から構成された、拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示システムにおいて、
前記情報提供装置は、
前記撮像画像における被写体と照合するための照合画像と、当該照合画像と照合された被写体が写った前記撮像画像に重畳表示させる重畳情報とを含んだARデータを、当該ARデータを識別するための識別情報と、前記情報表示装置から通知されうるキー情報とに対応づけて記憶するARデータ記憶手段と、
前記情報表示装置からキー情報が提供された場合には、当該キー情報に対応する識別情報を該情報表示装置に送信し、前記情報表示装置から識別情報が提供された場合には、当該識別情報に対応するARデータを該情報表示装置に送信する情報提供手段と、を備え、
前記情報表示装置は、
前記撮像画像における被写体を特定するためのキー情報を取得するキー情報取得手段と、
前記キー情報が取得される毎に前記情報提供装置に通知するキー情報通知手段と、
前記キー情報の通知に応じて前記情報提供装置から提供される識別情報を取得する識別情報取得手段と、
前記キー情報と前記識別情報を対応づけて複数記録する第1のテーブルに、前記識別情報が取得される毎に新たな前記キー情報と前記識別情報を対応づけて前記第1のテーブルに追加して記録するキー情報記録手段と、
前記第1のテーブルに記録されているいずれかの識別情報を前記情報提供装置に通知する識別情報通知手段と、
前記識別情報の通知に応じて前記情報提供装置から提供される、前記AR表示に用いられるARデータを取得するARデータ取得手段と、
前記ARデータ取得手段が取得したARデータを用いて前記AR表示をおこなうAR表示手段と、を備える、
ことを特徴とする情報表示システム。
【請求項2】
レコード数が規定されている第2のテーブルに、取得したARデータを、前記第1のテーブルと対応づけて記録するARデータ記録手段を、更に備え、
前記AR表示手段は、前記ARデータ記録手段が記録したARデータを用いて前記AR表示をおこなう、
ことを特徴とする請求項1に記載の情報表示システム。
【請求項3】
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示装置であって、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得するキー情報取得手段と、
前記キー情報取得手段が取得したキー情報を、通信ネットワークを介して前記外部装置に通知するキー情報通知手段と、
前記キー情報通知手段によるキー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだARデータを示す識別情報を、前記通信ネットワークを介して取得する識別情報取得手段と、
前記キー情報取得手段が取得したキー情報を、当該キー情報の利用日時と、前記識別情報取得手段が取得した識別情報とに対応づけて、レコード数が規定されている第1のテーブルに記録するキー情報記録手段と、
前記第1のテーブルに記録されている識別情報を、前記通信ネットワークを介して前記外部装置に通知する識別情報通知手段と、
前記識別情報通知手段による識別情報の通知に応じて前記外部装置が送信した前記ARデータを取得するARデータ取得手段と、
前記ARデータ取得手段が取得したARデータを、前記通知した識別情報と、当該ARデータの利用日時とに対応づけて、レコード数が規定されている第2のテーブルに記録するARデータ記録手段と、
前記第2のテーブルに記録されているARデータを用いてAR表示をおこなうAR表示手段と、を備え、
前記識別情報通知手段は、前記第1のテーブルに記録されている識別情報が前記第2のテーブルに記録されていない場合、当該識別情報を前記外部装置に通知し、
前記キー情報記録手段は、前記キー情報取得手段がキー情報を取得した際に前記第1のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこない、
前記ARデータ記録手段は、前記識別情報通知手段が識別情報を通知する際に前記第2のテーブルに空きレコードがない場合、既に記録されているARデータの利用日時に基づいた削除をおこなう、
ことを特徴とする情報表示装置。
【請求項4】
前記キー情報記録手段は、当該キー情報を取得した日時を利用日時として記録し、該キー情報に対応する前記ARデータを用いたAR表示がおこなわれた際の日時で更新し、
前記ARデータ記録手段は、当該ARデータを取得した日時を利用日時として記録し、
該ARデータを用いたAR表示がおこなわれた際の日時で更新し、
前記キー情報記録手段および前記ARデータ記録手段は、最も古い日時が利用日時として記録されているレコードを削除対象として特定する、
ことを特徴とする請求項3に記載の情報表示装置。
【請求項5】
前記キー情報は、前記撮像手段による撮像時の前記情報表示装置の位置を示す位置情報を含み、
前記キー情報記録手段は、削除対象として特定したレコードに記録されているキー情報が位置情報である場合、当該位置情報が示す位置と前記情報表示装置の現在位置との距離を算出し、算出した距離が所定の閾値よりも小さい場合、当該レコードを削除対象から除外する、
ことを特徴とする請求項4に記載の情報表示装置。
【請求項6】
前記ARデータ記録手段は、削除対象として特定したレコードに記録されている識別情報が前記第1のテーブルに記録されており、かつ、該第1のテーブルにおいて当該識別情報を記録しているレコードが前記キー情報記録手段によって削除対象から除外されている場合、前記特定したレコードを削除対象から除外する、
ことを特徴とする請求項5に記載の情報表示装置。
【請求項7】
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感(AR)による情報表示(AR表示)をおこなう情報表示装置を制御するコンピュータに、
前記外部装置が前記情報表示装置に提供する情報を特定するために用いるキー情報を取得する機能と、
取得したキー情報を、通信ネットワークを介して前記外部装置に通知する機能と、
キー情報の通知に応じて前記外部装置が送信した、前記撮像手段で撮像された被写体における被写体と照合される照合画像と、当該照合画像と照合された被写体が写った前記撮影画像上に重畳表示させる重畳情報とを含んだARデータを示す識別情報を、前記通信ネットワークを介して取得する機能と、
前記取得したキー情報を、当該キー情報の利用日時と、前記取得した識別情報とに対応づけて、レコード数が規定されている第1のテーブルに記録する機能と、
前記外部装置から取得した識別情報とARデータとを対応づけて記録する第2のテーブルに、前記第1のテーブルに記録されている識別情報が記録されていない場合に、当該識別情報を、前記通信ネットワークを介して前記外部装置に通知する機能と、
前記識別情報の通知に応じて前記外部装置が送信した前記ARデータを取得する機能と、
取得したARデータを、前記通知した識別情報と、当該ARデータの利用日時とに対応づけて、レコード数が規定されている前記第2のテーブルに記録する機能と、
前記第2のテーブルに記録されているARデータを用いてAR表示をおこなう機能と、
キー情報を取得した際に前記第1のテーブルに空きレコードがない場合、既に記録されているキー情報の利用日時に基づいた削除をおこなう機能と、
前記外部装置に識別情報を通知する際に前記第2のテーブルに空きレコードがない場合、既に記録されているARデータの利用日時に基づいた削除をおこなう機能と、
を実現させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2013−84313(P2013−84313A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2013−18665(P2013−18665)
【出願日】平成25年2月1日(2013.2.1)
【分割の表示】特願2010−272834(P2010−272834)の分割
【原出願日】平成22年12月7日(2010.12.7)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願日】平成25年2月1日(2013.2.1)
【分割の表示】特願2010−272834(P2010−272834)の分割
【原出願日】平成22年12月7日(2010.12.7)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]