情報処理システム、情報処理方法及びプログラム
【課題】買物予定商品の商品情報を容易に取得できるようにする。
【解決手段】携帯端末２００は、画角に捉えたちらしの画像データを撮像し、ちらしの画像データに基づいて、ちらしに対するユーザによる商品の指定動作を検知する。次に、携帯端末２００は、指定動作の対象となった商品に係る画像データを取得し、買物管理サーバ１００に送信する。買物管理サーバ１００は、ちらしに掲載されている各商品に係る画像データを蓄積する。そして、買物管理サーバ１００が、携帯２００から商品に係る画像データを受信し、各商品に係る画像データとマッチングすることによりユーザの指定した商品を特定し、ユーザとの対応付けを行う。次に、買物管理サーバ１００は、ユーザに対応付けられた商品に関する商品情報を取得し、携帯端末２００に送信する。携帯端末２００は、商品情報を示すコンピュータグラフィック画像データを現実空間に整合するよう重畳表示する。
【解決手段】携帯端末２００は、画角に捉えたちらしの画像データを撮像し、ちらしの画像データに基づいて、ちらしに対するユーザによる商品の指定動作を検知する。次に、携帯端末２００は、指定動作の対象となった商品に係る画像データを取得し、買物管理サーバ１００に送信する。買物管理サーバ１００は、ちらしに掲載されている各商品に係る画像データを蓄積する。そして、買物管理サーバ１００が、携帯２００から商品に係る画像データを受信し、各商品に係る画像データとマッチングすることによりユーザの指定した商品を特定し、ユーザとの対応付けを行う。次に、買物管理サーバ１００は、ユーザに対応付けられた商品に関する商品情報を取得し、携帯端末２００に送信する。携帯端末２００は、商品情報を示すコンピュータグラフィック画像データを現実空間に整合するよう重畳表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して重畳表示させる拡張現実技術を利用した情報処理システム、情報処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
目的地までの道案内や作業時における作業手順の提示等、様々な分野でナビゲーション技術が利用されている。ナビゲーション技術とは、ある行為を遂行し易くするよう支援を行う技術であるため、出来るだけ直感的に理解できるような仕組みが以前から求められている。そのような仕組みの一つとして、文字や画像等のコンピュータで管理されているデータを、現実の環境へ重畳表示させ、現実の環境に補足的な情報を与える拡張現実と呼ばれる技術を利用したナビゲーション技術が存在する。
【０００３】
テーマパークやショッピングモールにおいて、お目当てのアトラクションへのルートや店側が推す商品の陳列情報を拡張現実（Augmented Reality、以下ＡＲ）を利用して３次元的にナビゲーションする技術が開示されている（例えば、特許文献１参照）。具体的には、撮影時の携帯情報端末の位置姿勢を演算し、携帯情報端末にて撮影した画像に写っているマーカを用いて、当該マーカに予め関連付けられた所定の情報を撮影した画像上に重畳表示する技術である。なお、ＡＲとは文字、図形、静止画、動画等のコンピュータで管理されたデータ（以下、コンピュータグラフィックス画像データ）を、現実の環境へ重畳表示させ、補足的な情報を与える技術である。
【０００４】
また、買物予定の商品を予め携帯端末のリストに登録しておき、リストに登録された商品の近くを歩くと、当該商品の商品情報が携帯端末に表示される技術が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−４８６７４号公報
【特許文献２】特開平１０−１９８７３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示される技術においては、ナビゲーション情報の中には、店側にとってはお勧めの情報であっても、ユーザにとっては必要のない情報が含まれていることもある。これに対して、特許文献２に開示される技術は、予めリストに登録しておいた買物予定の商品の商品情報を携帯端末に表示させることができるが、リスト登録時にすぐに買物に行くとは限らないので、買物に行く時に買物予定の商品の在庫が切れていたり、買物予定の商品の価格が変動している可能性がある。
【０００７】
更に、商品の価格や在庫状況のような、常に状況が変化しうる環境において、直感的に理解できるようにするには、情報の得られるタイミングや情報の種類等に関して限りなく現実に近く、即時に知覚できるような状態で提示することが求められていた。そこで、本発明の目的は、任意のタイミングで買物予定商品の商品情報や案内情報を容易に取得できるように支援することにある。
【課題を解決するための手段】
【０００８】
本発明の情報処理システムは、透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムであって、前記拡張現実感提示装置は、前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像手段と、前記撮像手段により撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知手段と、前記検知手段により検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得手段と、前記第１の取得手段により取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信手段とを有し、前記管理装置は、前記ちらしに掲載されている各商品に係る画像データを蓄積するちらし情報蓄積手段と、前記拡張現実感提示装置の前記第１の送信手段から前記商品に係る画像データを受信し、前記商品に係る画像データを、前記ちらし情報蓄積手段に蓄積されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定手段と、前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得手段と、前記第２の取得手段により取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信手段とを有し、前記拡張現実感提示装置は、前記ディスプレイに、前記管理装置の前記第２の送信手段から送信された商品情報を示すコンピュータグラフィック画像データを、現実空間に整合するよう重畳表示する提示手段を更に有することを特徴とする。
本発明の情報処理方法は、透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムによって実行される情報処理方法であって、前記拡張現実感提示装置は、前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像ステップと、前記撮像ステップにより撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知ステップと、前記検知ステップにより検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得ステップと、前記第１の取得ステップにより取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信ステップとを有し、前記管理装置は、前記拡張現実感提示装置から前記商品に係る画像データを受信し、前記商品に係る画像データを、ちらし情報蓄積手段において蓄積される前記ちらしに掲載されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定ステップと、前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得ステップと、前記第２の取得ステップにより取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信ステップとを有することを特徴とする。
本発明のプログラムは、透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムによって実行される情報処理方法をコンピュータに実行させるためのプログラムであって、前記拡張現実感提示装置のコンピュータに、前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像ステップと、前記撮像ステップにより撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知ステップと、前記検知ステップにより検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得ステップと、前記第１の取得ステップにより取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信ステップとを実行させ、前記管理装置のコンピュータに、前記拡張現実感提示装置から前記商品に係る画像データを受信し、前記商品に係る画像データを、ちらし情報蓄積手段において蓄積される前記ちらしに掲載されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定ステップと、前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得ステップと、前記第２の取得ステップにより取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信ステップとを実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、任意のタイミングで買物予定商品の商品情報や案内情報を容易に取得できるように支援することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る買物ナビゲーションシステムの構成を概略的に示す図である。
【図２−１】本発明の実施形態に係る買物管理サーバのハードウェア構成を示す図である。
【図２−２】本発明の実施形態に係る携帯端末のハードウェア構成を示す図である。
【図３−１】本発明の実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。
【図３−２】本発明の実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。
【図４】ユーザがちらしに掲載される購入予定商品を指差し、その状態を携帯端末の撮像部の画角に捉えた状態を示す図である。
【図５】商品情報のコンピュータグラフィックス画像データを現実空間の映像と合成した表示例を示す図である。
【図６】ユーザの購入予定商品であるリンゴの商品情報が３店舗分取得できた場合のＡＲ表示の例を示す図である。
【図７】ちらし情報ＤＢのデータベース構造の例を模式的に示す図である。
【図８】ユーザ情報ＤＢのデータベース構造の例を模式的に示す図である。
【図９】商品情報ＤＢのデータベース構造の例を模式的に示す図である。
【図１０】本発明の他の実施形態に係る買物ナビゲーションシステムの構成を概略的に示す図である。
【図１１−１】本発明の他の実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。
【図１１−２】本発明の他の実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。
【図１２】買物リストの例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
図１は、本発明の実施形態に係る買物ナビゲーションシステムの構成を概略的に示す図である。図１に示すように、本実施形態に係る買物ナビゲーションシステムは、買物管理サーバ１００と携帯端末２００とを備え、互いに無線通信回線を介して通信可能に接続されている。
【００１３】
ユーザは、ちらし３００を閲覧し、ちらし３００に掲載される商品から購入予定商品を選択する。次にユーザは選択した購入予定商品を指差し、その状態を携帯端末２００の撮像部の画角に捉えることで、購入予定商品を指差しした状態の画像データが撮像部によって生成される。携帯端末２００は、撮像部によって生成された画像データから購入予定商品の画像データを検出する。購入予定商品の画像データの検出方法としては、例えば、指差しした状態における指の形状パターンを幾つか用意しておき、画像データ内にそれらの指の形状パターンと一致又は類似する画像データが検出された場合、当該画像データを指と認識し、その指の向きに当該指から一定の距離以内に存在するオブジェクトを購入予定商品として検出する方法等が考えられる。
【００１４】
携帯端末２００は、購入予定商品の画像データを検出すると、購入予定商品の画像データを買物管理サーバ１００に対して送信する。買物管理サーバ１００は、携帯端末２００から購入予定商品の画像データを受信すると、商品マッチング部１０６において、ちらし情報ＤＢ１０２に格納される、ちらし３００に掲載されている各商品の画像データと、携帯端末２００から受信した購入予定商品の画像データとの一致性を判定し、購入予定商品がちらし３００に掲載されている商品であるか否かを判定する。購入予定商品がちらし３００に掲載されている商品である場合、登録／照会部１０５は、購入予定商品とユーザとを対応付けてユーザ情報ＤＢ１０１に登録する。これにより、ユーザの購入予定商品が買物管理サーバ１００において登録される。
【００１５】
購入予定商品が買物管理サーバ１００において登録された後、ユーザがその購入予定商品の価格情報や在庫情報の推移を知りたい場合には、再度ちらし３００に対して携帯端末２００をかざし、携帯端末２００の撮像部の画角に購入予定商品を捉えるようにする。これにより、携帯端末２００から購入予定商品の画像データが買物管理サーバ１００に対して送信される。買物管理サーバ１００の商品マッチング部１０６は、携帯端末２００から受信される画像データを解析することにより、当該画像データがちらし３００に掲載されている商品の画像データであることを検知する。そして登録／照会部１０５は、その商品がユーザの購入予定商品であると判定する。そして商品情報検索部１０７は、購入予定商品の最新（現在）の販売価格や在庫情報等の商品情報を取得し、携帯端末２００に対して送信する。携帯端末２００は、購入予定商品の最新の商品情報を示すコンピュータグラフィックス画像データを現実空間の映像と合成してディスプレイ上に表示する。このとき、商品情報を示すコンピュータグラフィックス画像データは、商品情報が購入予定商品と関連していることを把握しやすくするために、購入予定商品の近傍に表示されるように現実空間の映像との合成が行われる。
【００１６】
地図情報検索部１０８は、携帯端末２００の現在地情報を取得するとともに購入予定商品を販売している店舗の住所情報を取得し、現在地情報で示される位置と住所情報で示される位置とを含む地図情報を地図情報ＤＢ１０４から取得する。そして、地図情報検索部１０８は、取得した地図情報を用いて、携帯端末２００の現在地から購入予定商品を販売している店舗までの経路を案内するための案内情報を生成し、携帯端末２００に対して送信する。携帯端末２００は、案内情報を用いて、現在地から購入予定商品を販売している店舗までの経路を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して表示する。これにより、携帯端末２００の撮像部の画角に街頭を捉えることにより、ユーザは街頭の現実空間の映像にコンピュータグラフィックス画像データによる経路案内が合成された画像を携帯端末２００のディスプレイ上で確認しながら、店舗まで移動することができる。
【００１７】
本実施形態においては、携帯端末２００のディスプレイ上において現実空間の映像に整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を提示している。以下では、このような拡張された現実感を与えるコンピュータグラフィックス画像データの表示を、ＡＲ（Augmented Reality）表示と称することがある。なお、ＨＭＤには、非透過型やビデオ透過型、光学透過型等様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤのレンズ部分に映し出される現実空間の映像に対し、整合する位置にコンピュータグラフィックス画像データを重畳表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して重畳表示される。
【００１８】
また、上記の携帯端末２００は、撮像部によって撮影された現実空間の映像をディスプレイに表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示する携帯端末型のＡＲ表示デバイスを想定しているが、本実施形態に適用可能なＡＲ表示デバイスはこれに限定されない。例えば、ユーザの頭部に装着される眼鏡型のＡＲ表示デバイスであって、光学的に透過してレンズ部分に映し出される現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示するＡＲ表示デバイス（ＨＭＤ）であってもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。
【００１９】
また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、携帯端末２００の位置（緯度、経度）と姿勢（方向、仰角）とに基づいて携帯端末２００を所持するユーザが撮像部越しに現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよいし、現実空間のオブジェクトにマーカを付けておき、そのマーカを撮像部で撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。さらに、撮像部で捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。
【００２０】
図２−１は、本実施形態に係る買物管理サーバ１００のハードウェア構成を示す図である。ＣＰＵ１００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１００３又はＨＤ（ハードディスク）１００９には、ＣＰＵ１００１の制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムプログラム、例えば図３−１及び図３−２に示す処理のうちの買物管理サーバ１００が実行する処理のプログラム等が記憶されている。
【００２１】
なお、図２−１の例では、ＨＤ１００９は買物管理サーバ１００の内部に配置された構成としているが、他の実施形態としてＨＤ１００９に相当する構成が買物管理サーバ１００の外部に配置された構成としてもよい。また、本実施形態に係る例えば図３−１及び図３−２に示す処理を行うためのプログラムは、フレキシブルディスク（ＦＤ）やＣＤ−ＲＯＭ等、コンピュータ読み取り可能な記録媒体に記録され、それらの記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。
【００２２】
ＲＡＭ１００２は、ＣＰＵ１００１の主メモリ、ワークエリア等として機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。
【００２３】
ＨＤ１００９やＦＤ１００８は、外部メモリとして機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。
【００２４】
ディスクコントローラ１００７は、ＨＤ１００７やＦＤ１００８等の外部メモリへのアクセスを制御する。通信Ｉ／Ｆコントローラ１００６は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。
【００２５】
ディスプレイコントローラ１０１０は、ディスプレイ１０１１における画像表示を制御する。
【００２６】
ＫＢコントローラ１００４は、ＫＢ（キーボード）１００５からの操作入力を受け付け、ＣＰＵ１００１に対して送信する。なお、図示していないが、ＫＢ１００５の他に、マウス等のポインティングデバイスもユーザの操作手段として本実施形態に係る買物管理サーバ１００に適用可能である。
【００２７】
図１に示す登録／照会部１０５、商品マッチング部１０６、商品情報検索部１０７、地図情報検索部１０８は、例えばＨＤ１００９内に記憶され、必要に応じてＲＡＭ１００２にロードされるプログラム及びそれを実行するＣＰＵ１００１によって実現される構成である。また、ユーザ情報ＤＢ１０１、ちらし情報ＤＢ１０２、商品情報ＤＢ１０３、地図情報ＤＢ１０４は、ＨＤ１００９における一部記憶領域に相当する構成である。
【００２８】
図２−２は、本実施形態に係る携帯端末２００のハードウェア構成を示す図である。ＣＰＵ２００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ２００３には、例えば図３−１及び図３−２に示す処理のうちの携帯端末２００が実行する処理のプログラム等が記憶されている。なお、図３−１及び図３−２に示す処理を行うためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。
【００２９】
ＲＡＭ２００２は、ＣＰＵ２００１の主メモリ、ワークメモリ等として機能する。ＣＰＵ２００１は、処理の実行に際して必要なプログラム等をＲＡＭ２００２にロードして、プログラムを実行することで各種動作を実現するものである。通信Ｉ／Ｆコントローラ２００５は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。
【００３０】
撮像部２００４は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。ディスプレイコントローラ２００６は、ディスプレイ２００７における画像表示を制御する。本実施形態においてディスプレイ２００７は液晶ディスプレイを採用しているものとする。
【００３１】
図３−１は、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。先ずユーザは、ちらし３００に掲載される購入予定商品を指差し、その状態を携帯端末２００の撮像部２００７の画角に捉える。これにより、ステップＳ１０１において、撮像部２００７は画角に捉えた画像データを生成し、携帯端末２００はこの画像データを解析することにより、指差しによって指定された購入予定商品の画像データを検出する。ステップＳ１０２において、携帯端末２００は、ステップＳ１０１にて検出した購入予定商品の画像データを買物管理サーバ１００に対して送信する。
【００３２】
図４は、ユーザがちらし３００に掲載される購入予定商品を指差し、その状態を携帯端末２００の撮像部２００７の画角に捉えた状態を示す図である。ユーザはちらし３００に掲載される商品のうち、リンゴを購入予定商品に選択して指差ししており、図４の例では、携帯端末２００の撮影部はこの状態を画角に収め、ちらし３００上の購入予定商品（リンゴ）をユーザが指差した状態の映像がディスプレイ２００７に表示されている。従って、図４の例では、リンゴの画像データが購入予定商品の画像データとして検出されることになる。なお、上述した方法以外に、例えば、ユーザがちらし上のリンゴの周りを囲むように指を動かし、それを撮像部２００７の画角に捉えることによって購入予定商品を指定してもよい。この場合、携帯端末２００は、ユーザの指の軌道を検知し、その軌道内に収まっている商品を購入予定商品として判定する。以上のような購入予定商品の指定方法を採用することで、簡便に購入予定商品の指定することが可能となる。
【００３３】
ステップＳ２０１において、買物管理サーバ１００は、購入予定商品の画像データを携帯端末２００から受信する。ステップＳ２０２において、商品マッチング部１０６は、ちらし情報ＤＢ１０２からちらし３００に掲載されている各商品の画像データを取得し、携帯端末２００から受信した購入予定商品の画像データと比較する。ステップＳ２０３において、商品マッチング部１０６は、購入予定商品の画像データとちらし３００に掲載されている商品の画像データとの一致性を判定することにより、購入予定商品はちらし３００に掲載されている商品であるか否かを判定する。この一致性の判定は、購入予定商品の画像データとちらし３００に掲載されている商品の画像データとのパターンマッチングを行い、双方が一致又は類似していると判定された場合に、購入予定商品はちらし３００に掲載されている商品であると判定する。購入予定商品がちらし３００に掲載されている商品と判定された場合、処理はステップＳ２０４に移行する。一方、購入予定商品がちらし３００に掲載されている商品ではないと判定された場合、処理はステップＳ２０１に戻り、新たな購入予定商品の画像データの受信を待つ。
【００３４】
図７は、ちらし情報ＤＢ１０２のデータベース構造の例を模式的に示す図である。図７において、ちらし情報ＤＢ１０２は、ちらし３００に掲載されている各商品のＩＤ（商品ＩＤ）と画像データとを対応付けて管理している。ステップＳ２０１において、買物管理サーバ１００が例えばリンゴの画像データを携帯端末２００から受信した場合、ステップＳ２０３において、商品マッチング部１０６は、購入予定商品の画像データとちらし３００に掲載されている各商品の画像データとを比較した結果、購入予定商品の画像データは７０１のリンゴの画像データと一致又は類似していると判定し、購入予定商品はリンゴであると判定する。
【００３５】
ステップＳ２０４において、登録／照会部１０５は、購入予定商品と判定された商品の画像データに対応付けてある商品ＩＤを、商品マッチング部１０６を介してちらし情報ＤＢ１０２から取得する。また、登録／照会部１０５は、ステップＳ２０１で受信された購入予定商品の画像データのヘッダ情報から送信元のユーザＩＤを取得する。そして、登録／照会部１０５は、ユーザＩＤと購入予定商品の商品ＩＤとを対応付けてユーザ情報ＤＢ１０１に対して登録する。
【００３６】
図８は、ユーザ情報ＤＢ１０１のデータベース構造の例を模式的に示す図である。図８において、ユーザ情報ＤＢ１０１は、ユーザＩＤ及び購入予定商品ＩＤを対応付けて管理している。例えば、購入予定商品の商品ＩＤが"１０１１"であり、購入予定商品の画像データのヘッダ情報からユーザＩＤ"ａａａ"を取得することができた場合、８０１のレコードに示すように、ユーザＩＤ"ａａａ"及び購入予定商品ＩＤ"１０１１"が対応付けて管理される。
【００３７】
図３−２は、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。例えばユーザが既に買物管理サーバ１００に登録してある購入予定商品の最新の価格情報や在庫情報等を把握したい場合に、再度ちらし３００に掲載される購入予定商品に対して携帯端末２００をかざし、撮像部２００７の画角に購入予定商品を捉える。これにより、ステップＳ１０３において、携帯端末２００の撮像部２００７は購入予定商品の画像データを生成する。ステップＳ１０４において、携帯端末２００は、購入予定商品の画像データを買物管理サーバ１００に対して送信する。
【００３８】
ステップＳ２０５において、買物管理サーバ１００は、携帯端末２００から購入予定商品の画像データを受信する。ステップＳ２０６において、商品マッチング部１０６は、ちらし情報ＤＢ１０２からちらし３００に掲載されている各商品の画像データを取得し、携帯端末２００から受信した購入予定商品の画像データと比較する。ステップＳ２０７において、商品マッチング部１０６は、購入予定商品の画像データとちらし３００に掲載されている商品の画像データとの一致性を判定することにより、購入予定商品はちらし３００に掲載されている商品であるか否かを判定する。購入予定商品がちらし３００に掲載されている商品と判定された場合、処理はステップＳ２１３に移行する。一方、購入予定商品がちらし３００に掲載されている商品と判定されなかった場合、処理はステップＳ２０５に戻る。
【００３９】
ステップＳ２１３において、登録／照会部１０５は、購入予定商品と判定された商品の画像データに対応付けてある商品ＩＤを、商品マッチング部１０６を介してちらし情報ＤＢ１０２から取得する。また、登録／照会部１０５は、ステップＳ２０５にて受信された画像データのヘッダ情報から送信元のユーザＩＤを取得する。ステップＳ２０８において、登録／照会部１０５は、ステップＳ２１３にて取得した商品ＩＤが上記ユーザＩＤと対応付けてユーザ情報ＤＢ１０１で管理されているか否かを判定する。商品ＩＤと上記ユーザＩＤとが対応付けてあった場合、処理はステップＳ２０９に移行する。一方、商品ＩＤと上記ユーザＩＤとが対応付けてない場合、処理はステップＳ２０５に戻る。
【００４０】
ステップＳ２０９において、商品情報検索部１０７は、ステップＳ２１３で取得された商品ＩＤに該当する商品情報を商品情報ＤＢ１０３から検索し、携帯端末２００に対して送信する。
【００４１】
図９は、商品情報ＤＢ１０３のデータベース構造の例を模式的に示す図である。図９において、商品情報ＤＢ１０３は、商品ＩＤ、商品名、価格（価格１、価格２、・・・）、店舗、在庫量及び商品属性が対応付けて管理している。商品属性としては、当該商品が食品であれば、生産地、生産日等が管理され、当該商品が衣服であれば、色、サイズ等が管理される。なお、商品情報ＤＢ１０３で管理されるデータは、図１に図示されていないＰＯＳシステム（Point Of Sales system）と連携し、任意のタイミングで更新されていてもよい。例えば、ステップＳ２１３において取得された商品ＩＤが"１０１１"である場合、ステップＳ２０９では、図９に示す商品情報ＤＢ１０３から９０１のレコードが検索され、レコード９０１に登録される商品情報が携帯端末２００に送信される。なお、商品情報に含まれる価格及び在庫量に関しては、最新の情報が携帯端末２００に対して送信される。商品情報ＤＢ１０３において、ちらし３００に掲載された当該商品の価格が始めの価格（価格１）として登録され、価格が更新される度に価格が追加登録されていく（価格２、価格３、・・・）。ステップＳ２０９では、このように登録された価格の履歴から、最後に登録された価格が携帯端末２００に対して送信される。これにより、携帯端末２００では購入予定商品の最新（現在）の価格が表示されることになる。なお、商品情報ＤＢ１０３において、価格の履歴を管理しておき、価格自体は上書きされ、最新の価格のみが管理される方式でもよい。また、商品情報ＤＢ１０３において、在庫量は所定のタイミングで上書きされ、最新の在庫量のみが管理される。従って、ステップＳ２０９においては最新の在庫量が携帯端末２００に対して送信される。これにより、携帯端末２００では購入予定商品の最新の在庫量が表示されることになる。
【００４２】
ステップＳ１０５において、携帯端末２００は、買物管理サーバ１００から商品情報を受信する。ステップＳ１０６において、携帯端末２００は、受信した商品情報のコンピュータグラフィックス画像データを現実空間の映像と合成して表示する。図５は、商品情報のコンピュータグラフィックス画像データを現実空間の映像と合成した表示例を示す図である。図５の例においては、購入予定商品の近傍に、商品情報５０１を示すコンピュータグラフィックス画像データと経路案内を要求するための操作スイッチであるタグ５０２を示すコンピュータグラフィックス画像データが表示されている。
【００４３】
ステップＳ１１０において、携帯端末２００は、経路案内（ナビゲーション）の要求があったか否かを判定する。即ち、携帯端末２００はタグ５０２が操作されたか否かを判定する。タグ５０２が操作された場合、処理はステップＳ１０７に移行する。一方、タグ５０２が操作されてない場合、処理は終了する。ステップＳ１０７において、携帯端末２００は、買物管理サーバ１００に対して経路案内の要求を発行する。
【００４４】
ステップＳ２１０において、買物管理サーバ１００は、携帯端末２００から経路案内の要求を受け付ける。ステップＳ２１１において、地図情報検索部１０８は、携帯端末２００の現在地情報を取得するとともに、購入予定商品を販売している店舗情報を商品検索部１０７から取得する。なお、携帯端末２００の現在地はＧＰＳ（Global Positioning System）を使用することにより取得することが可能である。また、図９には図示していないが、商品情報ＤＢ１０３は商品を販売している店舗の住所情報を含み、地図情報検索部１０８は、商品情報検索部１０７を介して商品情報ＤＢ１０３から購入予定商品を販売している店舗の住所情報を取得するものとする。ステップＳ２１１において、地図情報検索部１０８は、携帯端末２００の現在地情報により示される位置と購入予定商品を販売している店舗の住所情報により示される位置とを含む地図情報を検索する。ステップＳ２１２において、地図情報検索部１０８は、検索した地図情報を用いて、携帯端末２００の現在地から購入予定商品を販売している店舗までの経路を案内するための案内情報を生成し、携帯端末２００に対して送信する。
【００４５】
ステップＳ１０８において、携帯端末２００は、案内情報を買物管理サーバ１００から受信する。ステップＳ１０９において、携帯端末２００は、受信した案内情報を用いて、携帯端末２００の現在地から購入予定商品を販売している店舗までの経路を案内するコンピュータグラフィックス画像データを現実空間の映像に合成してディスプレイ２００７に表示する。
【００４６】
上述した実施形態においては、ユーザは登録しておいた買物予定商品の商品情報を知りたくなった場合には、ちらし上の買物予定商品に対して所定の指定動作を行い、これを撮像部２００４の画角に捉えることで、当該買物予定商品の最新の在庫量や価格等の商品情報を容易に得ることができる。また、ユーザ情報ＤＢ８０１に対してユーザＩＤと購入予定商品の商品ＩＤとの対応付けが登録される際に、当該購入予定商品の商品情報を携帯端末２００に通知できるようにするためには、図３−１のステップＳ２０４の後に図３−２のステップＳ２０９を実行すればよい。即ち、買物管理サーバ１００は、ステップＳ２０４においてユーザＩＤと購入予定商品の商品ＩＤとの対応付けをユーザ情報ＤＢ８０１に対して登録すると、続くステップＳ２０９において当該商品ＩＤに該当する商品情報を商品情報ＤＢ１０３から検索し、携帯端末２００に対して送信する。このようにすることで、ユーザＩＤと購入予定商品の商品ＩＤとの対応付けの登録時に、当該購入予定商品の商品情報を携帯端末２００に通知することが可能となる。
【００４７】
なお、上述した実施形態では、ユーザが購入予定商品の商品情報の提示処理において、再度ちらし３００に対して携帯端末２００をかざす必要があったが、これに限らない。再度ちらし３００に対して携帯端末２００をかざす必要がない他の実施形態について、上述した実施形態とは異なる点を中心に説明する。
【００４８】
図１０は、他の実施形態に係る買物ナビゲーションシステムの構成を概略的に示す図である。図１０に示されるように、本実施形態のシステムは、上述の実施形態のシステムと比較して、ユーザ情報ＤＢ１０１を買物管理サーバ１００に備えておらず、代わりに、買物リスト２０１を携帯端末２００に備えている。なお、買物リスト２０１とは、購入予定の商品の商品ＩＤを記録したファイルであり、例えば図１２に示すように、商品画像や商品名等と対応付けて管理されている。
【００４９】
図１１−１は、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。図３−１と比較して、ステップＳ１１０１が追加され、ステップＳ２０４が削除された代わりにステップＳ１２０１が追加されている。
【００５０】
ステップＳ１２０１において、登録／照会部１０５は、購入予定商品と判定された商品の画像データに対応付けられた商品ＩＤを、商品マッチング部１０６を介してちらし情報ＤＢ１０２から取得する。そして、取得した商品ＩＤを携帯端末２００へ送信する。
【００５１】
ステップＳ１１０１において、携帯端末２００より商品ＩＤを受信する。そして、受信した商品ＩＤをＲＯＭ２００３に記憶する。
【００５２】
次に、図１１−２は、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。図３−２と比較して、図３−２のステップＳ１０３及びステップＳ１０４が削除された代わりにステップＳ１１０２が追加されている。また、図３−２のステップＳ２０５からステップＳ２０８が削除された代わりにステップＳ１２０２が追加されている。以下、上述した実施形態との相違点を主眼において本実施形態について説明する。
【００５３】
例えばユーザが既に図１１−１のステップＳ１１０１にて携帯端末２００に登録した購入予定商品の最新の価格情報や在庫情報等を把握したい場合に、図１１−２のステップＳ１１０２において、携帯端末２００は、当該商品の商品ＩＤを買物管理サーバ１００へ送信する。当該商品の商品ＩＤの特定方法としては、例えば、買物リストが図１２に示すように携帯端末２００に表示されており、買物リストに表示された商品名をタップすると当該商品名に対応する携帯端末２００に登録されている商品ＩＤが選択され、買物管理サーバ１００へ送信される。
【００５４】
ステップＳ１２０２において、買物管理サーバ１００は、商品ＩＤを取得する。以降は、図３−２と同様のステップＳ２０９の処理へと移行する。本実施形態の構成によれば、ユーザは購入予定商品の在庫情報や価格情報を取得する際に、ちらし３０を必要としないため、より容易に取得することが可能になる。
【００５５】
なお、上述した実施形態では、ユーザがちらし３００に掲載される商品から購入予定商品を選択すると、その購入予定商品を販売している店舗における当該購入予定商品の商品情報をＡＲ表示するようにしているが、これに限らない。例えば、ユーザの購入予定商品が複数店舗で販売されていることもあり、このような場合、上述のステップＳ２０９において、当該商品を販売している複数店舗における商品情報が検索され、それら商品情報をＡＲ表示することもできる。即ち、ちらし情報ＤＢ１０２において、複数店舗のちらしの商品の画像データと商品ＩＤとの対応付けを管理しておき、購入予定商品の画像データと一致又は類似する商品の画像データが複数存在し、それら全ての画像データに対応付けられている各商品ＩＤのうちの何れか一つと、購入予定商品の画像データのヘッダに記録されるユーザＩＤとの組み合わせがユーザ情報ＤＢ１０１に存在する場合、上記各商品ＩＤに該当する全ての商品情報が商品情報ＤＢ１０３から取得されるようにしてもよい。或いは、ちらし情報ＤＢ１０２より、購入予定商品の画像データと一致又は類似する画像データに対応する商品ＩＤ全てを特定する方式でもよい。或いは、図７には図示していないが、 ちらし情報ＤＢ１０２において、商品名を管理する列を追加し、購入予定商品の画像データと一致又は類似する商品の商品名と同一或いは類似の商品名が、列"商品名"にて管理されている商品の商品ＩＤ全てを特定する方式でもよい。或いは、購入予定商品の画像データではなく、携帯端末２００より受信した商品ＩＤに対応付けて管理されている商品名或いは商品の画像データと一致又は類似する商品の商品ＩＤ全てを特定する方式でもよい。そして、取得された全ての商品情報が買物管理サーバ１００から携帯端末２００に対して送信され、携帯端末２００では、購入予定商品に関して、複数の店舗の商品情報をＡＲ表示することができる。
【００５６】
図６は、ユーザの購入予定商品であるリンゴの商品情報が３店舗分取得できた場合のＡＲ表示の例を示す図である。図６において、６０１、６０２、６０３は夫々、Ａ店舗、Ｂ店舗、Ｃ店舗のリンゴに関する商品情報であり、各店舗における現在のリンゴの価格や在庫量等を示している。これにより、ユーザはちらしを発行したＡ店舗以外のリンゴの商品情報を参照することができる。例えば、仮にＡ店舗以外の店舗でＡ店舗より安い価格でリンゴを販売している場合や、Ａ店舗で在庫がなくなっており、他店舗で在庫が残っていた場合、他店舗でリンゴを買うように買物先を変更してもよい。この場合、ステップＳ１１０において、携帯端末２００は、商品情報がＡＲ表示された複数店舗のうち、どの店舗の商品に関するタグ６０４が操作されたか否かを判定し、次に、ステップＳ１０７において、携帯端末２００は、買物管理サーバ１００に対して、当該店舗までの経路案内の要求を発行する。なお、図６には、経路案内を要求するための操作スイッチであるタグ６０４の店舗の選択形態がプルダウンメニューで表示されているが、これ以外も可能である。例えば、複数店舗夫々のタグを設けてもよいし、ユーザが発声した店舗名を認識する音声認識を用いてもよい。
【００５７】
また、Ａ店舗で当初リンゴを購入する予定だったが、他店舗でＡ店舗より安い価格でリンゴを販売している場合や、Ａ店舗では在庫がなくなり、他店舗では在庫がある場合において、買物管理サーバ１００が自動的にそれを検知して携帯端末２００に対して当該多店舗へナビゲートするための案内情報を生成し、携帯端末２００に対して送信するようにしてもよい。このとき、買物物理サーバ１００は、ステップＳ２１１及びステップＳ２１２において、上述のステップＳ２０９において検索された複数店舗における商品情報について任意のタイミングで比較し、所定のルールに基づいた案内情報を生成する。当該ルールは、ＲＯＭ１００３又はＨＤ（ハードディスク）１００９に記憶されており、例えば、現在地とステップＳ２０９において検索された複数店舗のうち、距離が最も近い店舗へのルートを案内する、或いは、ステップＳ２０９において検索された複数店舗のうち最も在庫が多い店舗へのルートを案内する、或いは、ステップＳ２０９において検索された複数店舗の各ルートにおける人の混雑状況を示す情報を別途取得し、最もスムーズに通りやすいルートを案内する等が考えられる。なお一つのルールを固定的に適用するのではなく、複数のルールを組み合わせて適用させたり、組み合わせを動的に変更して適用させたりしてもよい。例えば、最初は「距離が最も近い店舗へのルートを案内する」というルールを適用することによってＡ店舗への案内情報が生成され、携帯端末２００においてＡＲ表示された情報に基づきユーザがＡ店舗へ向かっている途中で、買物管理サーバ１００が商品情報ＤＢ１０３を参照して商品の在庫が無い事を把握した場合、別のルール「最も在庫が多い店舗へのルートを案内する」に基づいて、買物管理サーバ１００が、新たな案内情報を生成し、携帯端末２００においてＡＲ表示される。また、現在地から店舗までの経路を案内するだけでなく、店舗内において目当ての商品が陳列されている場所までを案内するようにしてもよい。さらに、ユーザが目当ての商品の周辺まで辿り着いているが商品を見つけられない場合は、携帯端末２００の姿勢検知機能によって姿勢を検知し、ユーザが見るべき方向を案内してもよい。
【００５８】
また、携帯端末２００に対してＡＲ表示される情報の他の例として、現在ユーザが見ているちらしに過去に登録した商品が掲載されているというアラーム、当該商品の値引き価格や値引き期間等がある。即ち、ユーザにとって定期的に必要となる例えば粉ミルクやティッシュ等の消耗品を図３−１で説明した方法で一度登録しておくと、以降発行されるちらしにユーザが携帯端末２００をかざし、ちらし内に登録した商品が掲載されていると、それを図３−２で説明した方法（ステップＳ２０５〜Ｓ２０８）で検知し、ステップＳ２０９と同様の処理により、アラームと当該商品の値引き価格や値引き期間等を携帯端末２００に送信すればよい。これにより、ユーザが携帯端末２００越しにちらしを見た状態でアラーム等の情報がＡＲ表示されることになる。
【００５９】
また、本発明の他の実施形態として、買物管理サーバ１００がユーザの嗜好に応じた商品をちらしから自動的に選択し、選択した商品や当該商品を扱っている店舗をユーザに対して案内してもよい。具体的には、買物管理サーバ１００に対して、ユーザのマスタ情報を登録しておく。マスタ情報として登録される情報として、個人の趣向（品質重視であるか否か、旬の物重視であるか否か、アレルギーがあるか否か、一週間の目標食費、一日の目標カロリー、同じ材料且つ途中まで同じ料理手順で品数を増やしたいか否か、近場で買い物を済ませたいか否か）、家族の趣向（父：油控え目、子供：肉中心、大人：辛口カレー、子供：甘口カレー）、料理の履歴（料理を成功したか失敗したか、食べ残し履歴、家族の反応）が挙げられる。また、買物管理サーバ１００は、各店舗のちらし情報を取得する。ちらし情報の取得方法としては、各店舗のサイトの電子ちらしデータから商品の画像、価格等を取得したり、新聞の折り込みちらしをカメラで撮影し、撮影により得られた画像データから商品の画像、価格等を取得したりする方法が挙げられる。なお、ちらし情報は複数の店舗のちらし情報を取得するようにしてもよい。例えば、スーパーマーケットであるＡ店舗からはカレーの具材に関するちらし情報を取得し、格安酒店である店舗Ｂからは調味料に関するちらし情報を取得すること等が考えられる。一方、ユーザは携帯端末２００上で料理番組、レストラン紹介番組、料理研究家のブログ、お勧め料理のレシピを見て、画面上で例えば「美味しそう」というボタンを操作すると、携帯端末２００は画像認識、音声認識、文字認識等を行い、この解析結果とマスタ情報及びちらし情報とを引き合わせ、食材及び販売店舗を選定する。
【００６０】
買物管理サーバ１００は、このようにして選定された食材及び販売店舗に基づいて、携帯端末２００の現在地から販売店舗までの経路を案内するための案内情報を生成し、携帯端末２００に対して送信する。携帯端末２００では、案内情報を用いて、現在地から販売店舗まで案内するコンピュータグラフィックス画像データを現実空間の映像と合成して表示する。これにより、ユーザの嗜好に合った食材を購入できる店舗までの経路が自動的に案内される。また、販売店舗内にユーザが移動し、携帯端末２００を店舗内でかざすと、食材が置いてある棚が写った現実空間の映像に対し、当該食材の価格、在庫量、生産地等の商品情報を示すコンピュータグラフィックス画像データを合成して表示してもよいし、もし、棚の位置を指し示す矢印表示のコンピュータグラフィックス画像データを現実空間の映像に合成表示してもよい。
【００６１】
また、ユーザが実際に購入した食材の履歴をマスタ情報に登録し、次回の食材の選択の際に利用してもよい。さらに、購入した食材の履歴を家計簿の一部の情報として出力するようにしてもよい。
【００６２】
上述した実施形態では、購入予定商品の登録時や購入予定商品の商品情報の取得時において、購入予定商品の画像データを撮像部２００４で撮影し、当該画像データを携帯端末２００から買物管理サーバ１００に対して送信するようにしているが、これに限定されない。即ち、ちらし上に商品に対応するマーカが掲載されている場合、撮像部２００４でマーカを撮影し、当該マーカの画像データを携帯端末２００から買物管理サーバ１００に対して送信してもよい。買物管理サーバ１００は、マーカと商品との対応付けを管理しており、受信したマーカの画像データを解析することにより、当該マーカに対応する購入予定商品を識別する。そして、買物管理サーバ１００は、ちらし情報ＤＢ１０２に格納されるちらし３００に掲載されている各商品のＩＤと購入予定商品のＩＤとを比較し、一致する商品がある場合、当該購入予定商品はちらしに掲載されている商品であると判定し、ユーザ情報ＤＢ１０１にユーザと購入予定商品とを対応付けて管理する。
【００６３】
また、当該購入予定商品の商品情報を得たい場合には、同じくユーザは撮像部２００４で当該購入予定商品に対応するマーカを撮影し、当該マーカの画像データを携帯端末２００から買物管理サーバ１００に対して送信する。買物管理サーバ１００は、受信したマーカの画像データを解析することにより、当該マーカに対応する購入予定商品を識別する。そして、買物管理サーバ１００は、ちらし情報ＤＢ１０２に格納されるちらし３００に掲載されている各商品のＩＤと購入予定商品のＩＤとを比較する。一致する商品がある場合、買物管理サーバ１００は、当該購入予定商品のＩＤとユーザとの対応付けがユーザ情報ＤＢ１０１に登録されているか否かを判定する。当該購入予定商品のＩＤとユーザとの対応付けがユーザ情報ＤＢ１０１に登録されている場合、当該購入予定商品は当該ユーザが過去に指定したものであると判定される。従って、買物管理サーバ１００は、当該ユーザの携帯端末２００に対して当該購入予定商品の商品情報を送信する。以上のように、ちらしに掲載されている各商品に対応するマーカを使用することによっても同様に、任意のタイミングで購入予定商品の商品情報を容易に得ることが可能である。
【００６４】
なお、上述の実施形態において、ちらしを例に説明したが、街中に貼られたポスターやＴＶのＣＭ等あらゆる広告媒体についても、同様に実施可能であることはいうまでもない。
【符号の説明】
【００６５】
１００：買物管理サーバ、２００：携帯端末、３００：ちらし、１０１：ユーザ情報ＤＢ、１０２：ちらし情報ＤＢ、１０３：商品情報ＤＢ、１０４：地図情報ＤＢ、１０５：登録／照会部、１０６：商品マッチング部、１０７：商品情報検索部、１０８：地図情報検索部
【技術分野】
【０００１】
本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して重畳表示させる拡張現実技術を利用した情報処理システム、情報処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
目的地までの道案内や作業時における作業手順の提示等、様々な分野でナビゲーション技術が利用されている。ナビゲーション技術とは、ある行為を遂行し易くするよう支援を行う技術であるため、出来るだけ直感的に理解できるような仕組みが以前から求められている。そのような仕組みの一つとして、文字や画像等のコンピュータで管理されているデータを、現実の環境へ重畳表示させ、現実の環境に補足的な情報を与える拡張現実と呼ばれる技術を利用したナビゲーション技術が存在する。
【０００３】
テーマパークやショッピングモールにおいて、お目当てのアトラクションへのルートや店側が推す商品の陳列情報を拡張現実（Augmented Reality、以下ＡＲ）を利用して３次元的にナビゲーションする技術が開示されている（例えば、特許文献１参照）。具体的には、撮影時の携帯情報端末の位置姿勢を演算し、携帯情報端末にて撮影した画像に写っているマーカを用いて、当該マーカに予め関連付けられた所定の情報を撮影した画像上に重畳表示する技術である。なお、ＡＲとは文字、図形、静止画、動画等のコンピュータで管理されたデータ（以下、コンピュータグラフィックス画像データ）を、現実の環境へ重畳表示させ、補足的な情報を与える技術である。
【０００４】
また、買物予定の商品を予め携帯端末のリストに登録しておき、リストに登録された商品の近くを歩くと、当該商品の商品情報が携帯端末に表示される技術が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−４８６７４号公報
【特許文献２】特開平１０−１９８７３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示される技術においては、ナビゲーション情報の中には、店側にとってはお勧めの情報であっても、ユーザにとっては必要のない情報が含まれていることもある。これに対して、特許文献２に開示される技術は、予めリストに登録しておいた買物予定の商品の商品情報を携帯端末に表示させることができるが、リスト登録時にすぐに買物に行くとは限らないので、買物に行く時に買物予定の商品の在庫が切れていたり、買物予定の商品の価格が変動している可能性がある。
【０００７】
更に、商品の価格や在庫状況のような、常に状況が変化しうる環境において、直感的に理解できるようにするには、情報の得られるタイミングや情報の種類等に関して限りなく現実に近く、即時に知覚できるような状態で提示することが求められていた。そこで、本発明の目的は、任意のタイミングで買物予定商品の商品情報や案内情報を容易に取得できるように支援することにある。
【課題を解決するための手段】
【０００８】
本発明の情報処理システムは、透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムであって、前記拡張現実感提示装置は、前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像手段と、前記撮像手段により撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知手段と、前記検知手段により検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得手段と、前記第１の取得手段により取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信手段とを有し、前記管理装置は、前記ちらしに掲載されている各商品に係る画像データを蓄積するちらし情報蓄積手段と、前記拡張現実感提示装置の前記第１の送信手段から前記商品に係る画像データを受信し、前記商品に係る画像データを、前記ちらし情報蓄積手段に蓄積されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定手段と、前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得手段と、前記第２の取得手段により取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信手段とを有し、前記拡張現実感提示装置は、前記ディスプレイに、前記管理装置の前記第２の送信手段から送信された商品情報を示すコンピュータグラフィック画像データを、現実空間に整合するよう重畳表示する提示手段を更に有することを特徴とする。
本発明の情報処理方法は、透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムによって実行される情報処理方法であって、前記拡張現実感提示装置は、前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像ステップと、前記撮像ステップにより撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知ステップと、前記検知ステップにより検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得ステップと、前記第１の取得ステップにより取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信ステップとを有し、前記管理装置は、前記拡張現実感提示装置から前記商品に係る画像データを受信し、前記商品に係る画像データを、ちらし情報蓄積手段において蓄積される前記ちらしに掲載されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定ステップと、前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得ステップと、前記第２の取得ステップにより取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信ステップとを有することを特徴とする。
本発明のプログラムは、透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムによって実行される情報処理方法をコンピュータに実行させるためのプログラムであって、前記拡張現実感提示装置のコンピュータに、前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像ステップと、前記撮像ステップにより撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知ステップと、前記検知ステップにより検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得ステップと、前記第１の取得ステップにより取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信ステップとを実行させ、前記管理装置のコンピュータに、前記拡張現実感提示装置から前記商品に係る画像データを受信し、前記商品に係る画像データを、ちらし情報蓄積手段において蓄積される前記ちらしに掲載されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定ステップと、前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得ステップと、前記第２の取得ステップにより取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信ステップとを実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、任意のタイミングで買物予定商品の商品情報や案内情報を容易に取得できるように支援することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る買物ナビゲーションシステムの構成を概略的に示す図である。
【図２−１】本発明の実施形態に係る買物管理サーバのハードウェア構成を示す図である。
【図２−２】本発明の実施形態に係る携帯端末のハードウェア構成を示す図である。
【図３−１】本発明の実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。
【図３−２】本発明の実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。
【図４】ユーザがちらしに掲載される購入予定商品を指差し、その状態を携帯端末の撮像部の画角に捉えた状態を示す図である。
【図５】商品情報のコンピュータグラフィックス画像データを現実空間の映像と合成した表示例を示す図である。
【図６】ユーザの購入予定商品であるリンゴの商品情報が３店舗分取得できた場合のＡＲ表示の例を示す図である。
【図７】ちらし情報ＤＢのデータベース構造の例を模式的に示す図である。
【図８】ユーザ情報ＤＢのデータベース構造の例を模式的に示す図である。
【図９】商品情報ＤＢのデータベース構造の例を模式的に示す図である。
【図１０】本発明の他の実施形態に係る買物ナビゲーションシステムの構成を概略的に示す図である。
【図１１−１】本発明の他の実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。
【図１１−２】本発明の他の実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。
【図１２】買物リストの例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
図１は、本発明の実施形態に係る買物ナビゲーションシステムの構成を概略的に示す図である。図１に示すように、本実施形態に係る買物ナビゲーションシステムは、買物管理サーバ１００と携帯端末２００とを備え、互いに無線通信回線を介して通信可能に接続されている。
【００１３】
ユーザは、ちらし３００を閲覧し、ちらし３００に掲載される商品から購入予定商品を選択する。次にユーザは選択した購入予定商品を指差し、その状態を携帯端末２００の撮像部の画角に捉えることで、購入予定商品を指差しした状態の画像データが撮像部によって生成される。携帯端末２００は、撮像部によって生成された画像データから購入予定商品の画像データを検出する。購入予定商品の画像データの検出方法としては、例えば、指差しした状態における指の形状パターンを幾つか用意しておき、画像データ内にそれらの指の形状パターンと一致又は類似する画像データが検出された場合、当該画像データを指と認識し、その指の向きに当該指から一定の距離以内に存在するオブジェクトを購入予定商品として検出する方法等が考えられる。
【００１４】
携帯端末２００は、購入予定商品の画像データを検出すると、購入予定商品の画像データを買物管理サーバ１００に対して送信する。買物管理サーバ１００は、携帯端末２００から購入予定商品の画像データを受信すると、商品マッチング部１０６において、ちらし情報ＤＢ１０２に格納される、ちらし３００に掲載されている各商品の画像データと、携帯端末２００から受信した購入予定商品の画像データとの一致性を判定し、購入予定商品がちらし３００に掲載されている商品であるか否かを判定する。購入予定商品がちらし３００に掲載されている商品である場合、登録／照会部１０５は、購入予定商品とユーザとを対応付けてユーザ情報ＤＢ１０１に登録する。これにより、ユーザの購入予定商品が買物管理サーバ１００において登録される。
【００１５】
購入予定商品が買物管理サーバ１００において登録された後、ユーザがその購入予定商品の価格情報や在庫情報の推移を知りたい場合には、再度ちらし３００に対して携帯端末２００をかざし、携帯端末２００の撮像部の画角に購入予定商品を捉えるようにする。これにより、携帯端末２００から購入予定商品の画像データが買物管理サーバ１００に対して送信される。買物管理サーバ１００の商品マッチング部１０６は、携帯端末２００から受信される画像データを解析することにより、当該画像データがちらし３００に掲載されている商品の画像データであることを検知する。そして登録／照会部１０５は、その商品がユーザの購入予定商品であると判定する。そして商品情報検索部１０７は、購入予定商品の最新（現在）の販売価格や在庫情報等の商品情報を取得し、携帯端末２００に対して送信する。携帯端末２００は、購入予定商品の最新の商品情報を示すコンピュータグラフィックス画像データを現実空間の映像と合成してディスプレイ上に表示する。このとき、商品情報を示すコンピュータグラフィックス画像データは、商品情報が購入予定商品と関連していることを把握しやすくするために、購入予定商品の近傍に表示されるように現実空間の映像との合成が行われる。
【００１６】
地図情報検索部１０８は、携帯端末２００の現在地情報を取得するとともに購入予定商品を販売している店舗の住所情報を取得し、現在地情報で示される位置と住所情報で示される位置とを含む地図情報を地図情報ＤＢ１０４から取得する。そして、地図情報検索部１０８は、取得した地図情報を用いて、携帯端末２００の現在地から購入予定商品を販売している店舗までの経路を案内するための案内情報を生成し、携帯端末２００に対して送信する。携帯端末２００は、案内情報を用いて、現在地から購入予定商品を販売している店舗までの経路を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して表示する。これにより、携帯端末２００の撮像部の画角に街頭を捉えることにより、ユーザは街頭の現実空間の映像にコンピュータグラフィックス画像データによる経路案内が合成された画像を携帯端末２００のディスプレイ上で確認しながら、店舗まで移動することができる。
【００１７】
本実施形態においては、携帯端末２００のディスプレイ上において現実空間の映像に整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を提示している。以下では、このような拡張された現実感を与えるコンピュータグラフィックス画像データの表示を、ＡＲ（Augmented Reality）表示と称することがある。なお、ＨＭＤには、非透過型やビデオ透過型、光学透過型等様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤのレンズ部分に映し出される現実空間の映像に対し、整合する位置にコンピュータグラフィックス画像データを重畳表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して重畳表示される。
【００１８】
また、上記の携帯端末２００は、撮像部によって撮影された現実空間の映像をディスプレイに表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示する携帯端末型のＡＲ表示デバイスを想定しているが、本実施形態に適用可能なＡＲ表示デバイスはこれに限定されない。例えば、ユーザの頭部に装着される眼鏡型のＡＲ表示デバイスであって、光学的に透過してレンズ部分に映し出される現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示するＡＲ表示デバイス（ＨＭＤ）であってもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。
【００１９】
また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、携帯端末２００の位置（緯度、経度）と姿勢（方向、仰角）とに基づいて携帯端末２００を所持するユーザが撮像部越しに現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよいし、現実空間のオブジェクトにマーカを付けておき、そのマーカを撮像部で撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。さらに、撮像部で捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。
【００２０】
図２−１は、本実施形態に係る買物管理サーバ１００のハードウェア構成を示す図である。ＣＰＵ１００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１００３又はＨＤ（ハードディスク）１００９には、ＣＰＵ１００１の制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムプログラム、例えば図３−１及び図３−２に示す処理のうちの買物管理サーバ１００が実行する処理のプログラム等が記憶されている。
【００２１】
なお、図２−１の例では、ＨＤ１００９は買物管理サーバ１００の内部に配置された構成としているが、他の実施形態としてＨＤ１００９に相当する構成が買物管理サーバ１００の外部に配置された構成としてもよい。また、本実施形態に係る例えば図３−１及び図３−２に示す処理を行うためのプログラムは、フレキシブルディスク（ＦＤ）やＣＤ−ＲＯＭ等、コンピュータ読み取り可能な記録媒体に記録され、それらの記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。
【００２２】
ＲＡＭ１００２は、ＣＰＵ１００１の主メモリ、ワークエリア等として機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。
【００２３】
ＨＤ１００９やＦＤ１００８は、外部メモリとして機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。
【００２４】
ディスクコントローラ１００７は、ＨＤ１００７やＦＤ１００８等の外部メモリへのアクセスを制御する。通信Ｉ／Ｆコントローラ１００６は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。
【００２５】
ディスプレイコントローラ１０１０は、ディスプレイ１０１１における画像表示を制御する。
【００２６】
ＫＢコントローラ１００４は、ＫＢ（キーボード）１００５からの操作入力を受け付け、ＣＰＵ１００１に対して送信する。なお、図示していないが、ＫＢ１００５の他に、マウス等のポインティングデバイスもユーザの操作手段として本実施形態に係る買物管理サーバ１００に適用可能である。
【００２７】
図１に示す登録／照会部１０５、商品マッチング部１０６、商品情報検索部１０７、地図情報検索部１０８は、例えばＨＤ１００９内に記憶され、必要に応じてＲＡＭ１００２にロードされるプログラム及びそれを実行するＣＰＵ１００１によって実現される構成である。また、ユーザ情報ＤＢ１０１、ちらし情報ＤＢ１０２、商品情報ＤＢ１０３、地図情報ＤＢ１０４は、ＨＤ１００９における一部記憶領域に相当する構成である。
【００２８】
図２−２は、本実施形態に係る携帯端末２００のハードウェア構成を示す図である。ＣＰＵ２００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ２００３には、例えば図３−１及び図３−２に示す処理のうちの携帯端末２００が実行する処理のプログラム等が記憶されている。なお、図３−１及び図３−２に示す処理を行うためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。
【００２９】
ＲＡＭ２００２は、ＣＰＵ２００１の主メモリ、ワークメモリ等として機能する。ＣＰＵ２００１は、処理の実行に際して必要なプログラム等をＲＡＭ２００２にロードして、プログラムを実行することで各種動作を実現するものである。通信Ｉ／Ｆコントローラ２００５は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。
【００３０】
撮像部２００４は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。ディスプレイコントローラ２００６は、ディスプレイ２００７における画像表示を制御する。本実施形態においてディスプレイ２００７は液晶ディスプレイを採用しているものとする。
【００３１】
図３−１は、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。先ずユーザは、ちらし３００に掲載される購入予定商品を指差し、その状態を携帯端末２００の撮像部２００７の画角に捉える。これにより、ステップＳ１０１において、撮像部２００７は画角に捉えた画像データを生成し、携帯端末２００はこの画像データを解析することにより、指差しによって指定された購入予定商品の画像データを検出する。ステップＳ１０２において、携帯端末２００は、ステップＳ１０１にて検出した購入予定商品の画像データを買物管理サーバ１００に対して送信する。
【００３２】
図４は、ユーザがちらし３００に掲載される購入予定商品を指差し、その状態を携帯端末２００の撮像部２００７の画角に捉えた状態を示す図である。ユーザはちらし３００に掲載される商品のうち、リンゴを購入予定商品に選択して指差ししており、図４の例では、携帯端末２００の撮影部はこの状態を画角に収め、ちらし３００上の購入予定商品（リンゴ）をユーザが指差した状態の映像がディスプレイ２００７に表示されている。従って、図４の例では、リンゴの画像データが購入予定商品の画像データとして検出されることになる。なお、上述した方法以外に、例えば、ユーザがちらし上のリンゴの周りを囲むように指を動かし、それを撮像部２００７の画角に捉えることによって購入予定商品を指定してもよい。この場合、携帯端末２００は、ユーザの指の軌道を検知し、その軌道内に収まっている商品を購入予定商品として判定する。以上のような購入予定商品の指定方法を採用することで、簡便に購入予定商品の指定することが可能となる。
【００３３】
ステップＳ２０１において、買物管理サーバ１００は、購入予定商品の画像データを携帯端末２００から受信する。ステップＳ２０２において、商品マッチング部１０６は、ちらし情報ＤＢ１０２からちらし３００に掲載されている各商品の画像データを取得し、携帯端末２００から受信した購入予定商品の画像データと比較する。ステップＳ２０３において、商品マッチング部１０６は、購入予定商品の画像データとちらし３００に掲載されている商品の画像データとの一致性を判定することにより、購入予定商品はちらし３００に掲載されている商品であるか否かを判定する。この一致性の判定は、購入予定商品の画像データとちらし３００に掲載されている商品の画像データとのパターンマッチングを行い、双方が一致又は類似していると判定された場合に、購入予定商品はちらし３００に掲載されている商品であると判定する。購入予定商品がちらし３００に掲載されている商品と判定された場合、処理はステップＳ２０４に移行する。一方、購入予定商品がちらし３００に掲載されている商品ではないと判定された場合、処理はステップＳ２０１に戻り、新たな購入予定商品の画像データの受信を待つ。
【００３４】
図７は、ちらし情報ＤＢ１０２のデータベース構造の例を模式的に示す図である。図７において、ちらし情報ＤＢ１０２は、ちらし３００に掲載されている各商品のＩＤ（商品ＩＤ）と画像データとを対応付けて管理している。ステップＳ２０１において、買物管理サーバ１００が例えばリンゴの画像データを携帯端末２００から受信した場合、ステップＳ２０３において、商品マッチング部１０６は、購入予定商品の画像データとちらし３００に掲載されている各商品の画像データとを比較した結果、購入予定商品の画像データは７０１のリンゴの画像データと一致又は類似していると判定し、購入予定商品はリンゴであると判定する。
【００３５】
ステップＳ２０４において、登録／照会部１０５は、購入予定商品と判定された商品の画像データに対応付けてある商品ＩＤを、商品マッチング部１０６を介してちらし情報ＤＢ１０２から取得する。また、登録／照会部１０５は、ステップＳ２０１で受信された購入予定商品の画像データのヘッダ情報から送信元のユーザＩＤを取得する。そして、登録／照会部１０５は、ユーザＩＤと購入予定商品の商品ＩＤとを対応付けてユーザ情報ＤＢ１０１に対して登録する。
【００３６】
図８は、ユーザ情報ＤＢ１０１のデータベース構造の例を模式的に示す図である。図８において、ユーザ情報ＤＢ１０１は、ユーザＩＤ及び購入予定商品ＩＤを対応付けて管理している。例えば、購入予定商品の商品ＩＤが"１０１１"であり、購入予定商品の画像データのヘッダ情報からユーザＩＤ"ａａａ"を取得することができた場合、８０１のレコードに示すように、ユーザＩＤ"ａａａ"及び購入予定商品ＩＤ"１０１１"が対応付けて管理される。
【００３７】
図３−２は、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。例えばユーザが既に買物管理サーバ１００に登録してある購入予定商品の最新の価格情報や在庫情報等を把握したい場合に、再度ちらし３００に掲載される購入予定商品に対して携帯端末２００をかざし、撮像部２００７の画角に購入予定商品を捉える。これにより、ステップＳ１０３において、携帯端末２００の撮像部２００７は購入予定商品の画像データを生成する。ステップＳ１０４において、携帯端末２００は、購入予定商品の画像データを買物管理サーバ１００に対して送信する。
【００３８】
ステップＳ２０５において、買物管理サーバ１００は、携帯端末２００から購入予定商品の画像データを受信する。ステップＳ２０６において、商品マッチング部１０６は、ちらし情報ＤＢ１０２からちらし３００に掲載されている各商品の画像データを取得し、携帯端末２００から受信した購入予定商品の画像データと比較する。ステップＳ２０７において、商品マッチング部１０６は、購入予定商品の画像データとちらし３００に掲載されている商品の画像データとの一致性を判定することにより、購入予定商品はちらし３００に掲載されている商品であるか否かを判定する。購入予定商品がちらし３００に掲載されている商品と判定された場合、処理はステップＳ２１３に移行する。一方、購入予定商品がちらし３００に掲載されている商品と判定されなかった場合、処理はステップＳ２０５に戻る。
【００３９】
ステップＳ２１３において、登録／照会部１０５は、購入予定商品と判定された商品の画像データに対応付けてある商品ＩＤを、商品マッチング部１０６を介してちらし情報ＤＢ１０２から取得する。また、登録／照会部１０５は、ステップＳ２０５にて受信された画像データのヘッダ情報から送信元のユーザＩＤを取得する。ステップＳ２０８において、登録／照会部１０５は、ステップＳ２１３にて取得した商品ＩＤが上記ユーザＩＤと対応付けてユーザ情報ＤＢ１０１で管理されているか否かを判定する。商品ＩＤと上記ユーザＩＤとが対応付けてあった場合、処理はステップＳ２０９に移行する。一方、商品ＩＤと上記ユーザＩＤとが対応付けてない場合、処理はステップＳ２０５に戻る。
【００４０】
ステップＳ２０９において、商品情報検索部１０７は、ステップＳ２１３で取得された商品ＩＤに該当する商品情報を商品情報ＤＢ１０３から検索し、携帯端末２００に対して送信する。
【００４１】
図９は、商品情報ＤＢ１０３のデータベース構造の例を模式的に示す図である。図９において、商品情報ＤＢ１０３は、商品ＩＤ、商品名、価格（価格１、価格２、・・・）、店舗、在庫量及び商品属性が対応付けて管理している。商品属性としては、当該商品が食品であれば、生産地、生産日等が管理され、当該商品が衣服であれば、色、サイズ等が管理される。なお、商品情報ＤＢ１０３で管理されるデータは、図１に図示されていないＰＯＳシステム（Point Of Sales system）と連携し、任意のタイミングで更新されていてもよい。例えば、ステップＳ２１３において取得された商品ＩＤが"１０１１"である場合、ステップＳ２０９では、図９に示す商品情報ＤＢ１０３から９０１のレコードが検索され、レコード９０１に登録される商品情報が携帯端末２００に送信される。なお、商品情報に含まれる価格及び在庫量に関しては、最新の情報が携帯端末２００に対して送信される。商品情報ＤＢ１０３において、ちらし３００に掲載された当該商品の価格が始めの価格（価格１）として登録され、価格が更新される度に価格が追加登録されていく（価格２、価格３、・・・）。ステップＳ２０９では、このように登録された価格の履歴から、最後に登録された価格が携帯端末２００に対して送信される。これにより、携帯端末２００では購入予定商品の最新（現在）の価格が表示されることになる。なお、商品情報ＤＢ１０３において、価格の履歴を管理しておき、価格自体は上書きされ、最新の価格のみが管理される方式でもよい。また、商品情報ＤＢ１０３において、在庫量は所定のタイミングで上書きされ、最新の在庫量のみが管理される。従って、ステップＳ２０９においては最新の在庫量が携帯端末２００に対して送信される。これにより、携帯端末２００では購入予定商品の最新の在庫量が表示されることになる。
【００４２】
ステップＳ１０５において、携帯端末２００は、買物管理サーバ１００から商品情報を受信する。ステップＳ１０６において、携帯端末２００は、受信した商品情報のコンピュータグラフィックス画像データを現実空間の映像と合成して表示する。図５は、商品情報のコンピュータグラフィックス画像データを現実空間の映像と合成した表示例を示す図である。図５の例においては、購入予定商品の近傍に、商品情報５０１を示すコンピュータグラフィックス画像データと経路案内を要求するための操作スイッチであるタグ５０２を示すコンピュータグラフィックス画像データが表示されている。
【００４３】
ステップＳ１１０において、携帯端末２００は、経路案内（ナビゲーション）の要求があったか否かを判定する。即ち、携帯端末２００はタグ５０２が操作されたか否かを判定する。タグ５０２が操作された場合、処理はステップＳ１０７に移行する。一方、タグ５０２が操作されてない場合、処理は終了する。ステップＳ１０７において、携帯端末２００は、買物管理サーバ１００に対して経路案内の要求を発行する。
【００４４】
ステップＳ２１０において、買物管理サーバ１００は、携帯端末２００から経路案内の要求を受け付ける。ステップＳ２１１において、地図情報検索部１０８は、携帯端末２００の現在地情報を取得するとともに、購入予定商品を販売している店舗情報を商品検索部１０７から取得する。なお、携帯端末２００の現在地はＧＰＳ（Global Positioning System）を使用することにより取得することが可能である。また、図９には図示していないが、商品情報ＤＢ１０３は商品を販売している店舗の住所情報を含み、地図情報検索部１０８は、商品情報検索部１０７を介して商品情報ＤＢ１０３から購入予定商品を販売している店舗の住所情報を取得するものとする。ステップＳ２１１において、地図情報検索部１０８は、携帯端末２００の現在地情報により示される位置と購入予定商品を販売している店舗の住所情報により示される位置とを含む地図情報を検索する。ステップＳ２１２において、地図情報検索部１０８は、検索した地図情報を用いて、携帯端末２００の現在地から購入予定商品を販売している店舗までの経路を案内するための案内情報を生成し、携帯端末２００に対して送信する。
【００４５】
ステップＳ１０８において、携帯端末２００は、案内情報を買物管理サーバ１００から受信する。ステップＳ１０９において、携帯端末２００は、受信した案内情報を用いて、携帯端末２００の現在地から購入予定商品を販売している店舗までの経路を案内するコンピュータグラフィックス画像データを現実空間の映像に合成してディスプレイ２００７に表示する。
【００４６】
上述した実施形態においては、ユーザは登録しておいた買物予定商品の商品情報を知りたくなった場合には、ちらし上の買物予定商品に対して所定の指定動作を行い、これを撮像部２００４の画角に捉えることで、当該買物予定商品の最新の在庫量や価格等の商品情報を容易に得ることができる。また、ユーザ情報ＤＢ８０１に対してユーザＩＤと購入予定商品の商品ＩＤとの対応付けが登録される際に、当該購入予定商品の商品情報を携帯端末２００に通知できるようにするためには、図３−１のステップＳ２０４の後に図３−２のステップＳ２０９を実行すればよい。即ち、買物管理サーバ１００は、ステップＳ２０４においてユーザＩＤと購入予定商品の商品ＩＤとの対応付けをユーザ情報ＤＢ８０１に対して登録すると、続くステップＳ２０９において当該商品ＩＤに該当する商品情報を商品情報ＤＢ１０３から検索し、携帯端末２００に対して送信する。このようにすることで、ユーザＩＤと購入予定商品の商品ＩＤとの対応付けの登録時に、当該購入予定商品の商品情報を携帯端末２００に通知することが可能となる。
【００４７】
なお、上述した実施形態では、ユーザが購入予定商品の商品情報の提示処理において、再度ちらし３００に対して携帯端末２００をかざす必要があったが、これに限らない。再度ちらし３００に対して携帯端末２００をかざす必要がない他の実施形態について、上述した実施形態とは異なる点を中心に説明する。
【００４８】
図１０は、他の実施形態に係る買物ナビゲーションシステムの構成を概略的に示す図である。図１０に示されるように、本実施形態のシステムは、上述の実施形態のシステムと比較して、ユーザ情報ＤＢ１０１を買物管理サーバ１００に備えておらず、代わりに、買物リスト２０１を携帯端末２００に備えている。なお、買物リスト２０１とは、購入予定の商品の商品ＩＤを記録したファイルであり、例えば図１２に示すように、商品画像や商品名等と対応付けて管理されている。
【００４９】
図１１−１は、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の登録処理の流れを示すフローチャートである。図３−１と比較して、ステップＳ１１０１が追加され、ステップＳ２０４が削除された代わりにステップＳ１２０１が追加されている。
【００５０】
ステップＳ１２０１において、登録／照会部１０５は、購入予定商品と判定された商品の画像データに対応付けられた商品ＩＤを、商品マッチング部１０６を介してちらし情報ＤＢ１０２から取得する。そして、取得した商品ＩＤを携帯端末２００へ送信する。
【００５１】
ステップＳ１１０１において、携帯端末２００より商品ＩＤを受信する。そして、受信した商品ＩＤをＲＯＭ２００３に記憶する。
【００５２】
次に、図１１−２は、本実施形態に係る買物ナビゲーションシステムにおける、購入予定商品の商品情報の提示処理と現在地から店舗までのナビゲーション処理とを示すフローチャートである。図３−２と比較して、図３−２のステップＳ１０３及びステップＳ１０４が削除された代わりにステップＳ１１０２が追加されている。また、図３−２のステップＳ２０５からステップＳ２０８が削除された代わりにステップＳ１２０２が追加されている。以下、上述した実施形態との相違点を主眼において本実施形態について説明する。
【００５３】
例えばユーザが既に図１１−１のステップＳ１１０１にて携帯端末２００に登録した購入予定商品の最新の価格情報や在庫情報等を把握したい場合に、図１１−２のステップＳ１１０２において、携帯端末２００は、当該商品の商品ＩＤを買物管理サーバ１００へ送信する。当該商品の商品ＩＤの特定方法としては、例えば、買物リストが図１２に示すように携帯端末２００に表示されており、買物リストに表示された商品名をタップすると当該商品名に対応する携帯端末２００に登録されている商品ＩＤが選択され、買物管理サーバ１００へ送信される。
【００５４】
ステップＳ１２０２において、買物管理サーバ１００は、商品ＩＤを取得する。以降は、図３−２と同様のステップＳ２０９の処理へと移行する。本実施形態の構成によれば、ユーザは購入予定商品の在庫情報や価格情報を取得する際に、ちらし３０を必要としないため、より容易に取得することが可能になる。
【００５５】
なお、上述した実施形態では、ユーザがちらし３００に掲載される商品から購入予定商品を選択すると、その購入予定商品を販売している店舗における当該購入予定商品の商品情報をＡＲ表示するようにしているが、これに限らない。例えば、ユーザの購入予定商品が複数店舗で販売されていることもあり、このような場合、上述のステップＳ２０９において、当該商品を販売している複数店舗における商品情報が検索され、それら商品情報をＡＲ表示することもできる。即ち、ちらし情報ＤＢ１０２において、複数店舗のちらしの商品の画像データと商品ＩＤとの対応付けを管理しておき、購入予定商品の画像データと一致又は類似する商品の画像データが複数存在し、それら全ての画像データに対応付けられている各商品ＩＤのうちの何れか一つと、購入予定商品の画像データのヘッダに記録されるユーザＩＤとの組み合わせがユーザ情報ＤＢ１０１に存在する場合、上記各商品ＩＤに該当する全ての商品情報が商品情報ＤＢ１０３から取得されるようにしてもよい。或いは、ちらし情報ＤＢ１０２より、購入予定商品の画像データと一致又は類似する画像データに対応する商品ＩＤ全てを特定する方式でもよい。或いは、図７には図示していないが、 ちらし情報ＤＢ１０２において、商品名を管理する列を追加し、購入予定商品の画像データと一致又は類似する商品の商品名と同一或いは類似の商品名が、列"商品名"にて管理されている商品の商品ＩＤ全てを特定する方式でもよい。或いは、購入予定商品の画像データではなく、携帯端末２００より受信した商品ＩＤに対応付けて管理されている商品名或いは商品の画像データと一致又は類似する商品の商品ＩＤ全てを特定する方式でもよい。そして、取得された全ての商品情報が買物管理サーバ１００から携帯端末２００に対して送信され、携帯端末２００では、購入予定商品に関して、複数の店舗の商品情報をＡＲ表示することができる。
【００５６】
図６は、ユーザの購入予定商品であるリンゴの商品情報が３店舗分取得できた場合のＡＲ表示の例を示す図である。図６において、６０１、６０２、６０３は夫々、Ａ店舗、Ｂ店舗、Ｃ店舗のリンゴに関する商品情報であり、各店舗における現在のリンゴの価格や在庫量等を示している。これにより、ユーザはちらしを発行したＡ店舗以外のリンゴの商品情報を参照することができる。例えば、仮にＡ店舗以外の店舗でＡ店舗より安い価格でリンゴを販売している場合や、Ａ店舗で在庫がなくなっており、他店舗で在庫が残っていた場合、他店舗でリンゴを買うように買物先を変更してもよい。この場合、ステップＳ１１０において、携帯端末２００は、商品情報がＡＲ表示された複数店舗のうち、どの店舗の商品に関するタグ６０４が操作されたか否かを判定し、次に、ステップＳ１０７において、携帯端末２００は、買物管理サーバ１００に対して、当該店舗までの経路案内の要求を発行する。なお、図６には、経路案内を要求するための操作スイッチであるタグ６０４の店舗の選択形態がプルダウンメニューで表示されているが、これ以外も可能である。例えば、複数店舗夫々のタグを設けてもよいし、ユーザが発声した店舗名を認識する音声認識を用いてもよい。
【００５７】
また、Ａ店舗で当初リンゴを購入する予定だったが、他店舗でＡ店舗より安い価格でリンゴを販売している場合や、Ａ店舗では在庫がなくなり、他店舗では在庫がある場合において、買物管理サーバ１００が自動的にそれを検知して携帯端末２００に対して当該多店舗へナビゲートするための案内情報を生成し、携帯端末２００に対して送信するようにしてもよい。このとき、買物物理サーバ１００は、ステップＳ２１１及びステップＳ２１２において、上述のステップＳ２０９において検索された複数店舗における商品情報について任意のタイミングで比較し、所定のルールに基づいた案内情報を生成する。当該ルールは、ＲＯＭ１００３又はＨＤ（ハードディスク）１００９に記憶されており、例えば、現在地とステップＳ２０９において検索された複数店舗のうち、距離が最も近い店舗へのルートを案内する、或いは、ステップＳ２０９において検索された複数店舗のうち最も在庫が多い店舗へのルートを案内する、或いは、ステップＳ２０９において検索された複数店舗の各ルートにおける人の混雑状況を示す情報を別途取得し、最もスムーズに通りやすいルートを案内する等が考えられる。なお一つのルールを固定的に適用するのではなく、複数のルールを組み合わせて適用させたり、組み合わせを動的に変更して適用させたりしてもよい。例えば、最初は「距離が最も近い店舗へのルートを案内する」というルールを適用することによってＡ店舗への案内情報が生成され、携帯端末２００においてＡＲ表示された情報に基づきユーザがＡ店舗へ向かっている途中で、買物管理サーバ１００が商品情報ＤＢ１０３を参照して商品の在庫が無い事を把握した場合、別のルール「最も在庫が多い店舗へのルートを案内する」に基づいて、買物管理サーバ１００が、新たな案内情報を生成し、携帯端末２００においてＡＲ表示される。また、現在地から店舗までの経路を案内するだけでなく、店舗内において目当ての商品が陳列されている場所までを案内するようにしてもよい。さらに、ユーザが目当ての商品の周辺まで辿り着いているが商品を見つけられない場合は、携帯端末２００の姿勢検知機能によって姿勢を検知し、ユーザが見るべき方向を案内してもよい。
【００５８】
また、携帯端末２００に対してＡＲ表示される情報の他の例として、現在ユーザが見ているちらしに過去に登録した商品が掲載されているというアラーム、当該商品の値引き価格や値引き期間等がある。即ち、ユーザにとって定期的に必要となる例えば粉ミルクやティッシュ等の消耗品を図３−１で説明した方法で一度登録しておくと、以降発行されるちらしにユーザが携帯端末２００をかざし、ちらし内に登録した商品が掲載されていると、それを図３−２で説明した方法（ステップＳ２０５〜Ｓ２０８）で検知し、ステップＳ２０９と同様の処理により、アラームと当該商品の値引き価格や値引き期間等を携帯端末２００に送信すればよい。これにより、ユーザが携帯端末２００越しにちらしを見た状態でアラーム等の情報がＡＲ表示されることになる。
【００５９】
また、本発明の他の実施形態として、買物管理サーバ１００がユーザの嗜好に応じた商品をちらしから自動的に選択し、選択した商品や当該商品を扱っている店舗をユーザに対して案内してもよい。具体的には、買物管理サーバ１００に対して、ユーザのマスタ情報を登録しておく。マスタ情報として登録される情報として、個人の趣向（品質重視であるか否か、旬の物重視であるか否か、アレルギーがあるか否か、一週間の目標食費、一日の目標カロリー、同じ材料且つ途中まで同じ料理手順で品数を増やしたいか否か、近場で買い物を済ませたいか否か）、家族の趣向（父：油控え目、子供：肉中心、大人：辛口カレー、子供：甘口カレー）、料理の履歴（料理を成功したか失敗したか、食べ残し履歴、家族の反応）が挙げられる。また、買物管理サーバ１００は、各店舗のちらし情報を取得する。ちらし情報の取得方法としては、各店舗のサイトの電子ちらしデータから商品の画像、価格等を取得したり、新聞の折り込みちらしをカメラで撮影し、撮影により得られた画像データから商品の画像、価格等を取得したりする方法が挙げられる。なお、ちらし情報は複数の店舗のちらし情報を取得するようにしてもよい。例えば、スーパーマーケットであるＡ店舗からはカレーの具材に関するちらし情報を取得し、格安酒店である店舗Ｂからは調味料に関するちらし情報を取得すること等が考えられる。一方、ユーザは携帯端末２００上で料理番組、レストラン紹介番組、料理研究家のブログ、お勧め料理のレシピを見て、画面上で例えば「美味しそう」というボタンを操作すると、携帯端末２００は画像認識、音声認識、文字認識等を行い、この解析結果とマスタ情報及びちらし情報とを引き合わせ、食材及び販売店舗を選定する。
【００６０】
買物管理サーバ１００は、このようにして選定された食材及び販売店舗に基づいて、携帯端末２００の現在地から販売店舗までの経路を案内するための案内情報を生成し、携帯端末２００に対して送信する。携帯端末２００では、案内情報を用いて、現在地から販売店舗まで案内するコンピュータグラフィックス画像データを現実空間の映像と合成して表示する。これにより、ユーザの嗜好に合った食材を購入できる店舗までの経路が自動的に案内される。また、販売店舗内にユーザが移動し、携帯端末２００を店舗内でかざすと、食材が置いてある棚が写った現実空間の映像に対し、当該食材の価格、在庫量、生産地等の商品情報を示すコンピュータグラフィックス画像データを合成して表示してもよいし、もし、棚の位置を指し示す矢印表示のコンピュータグラフィックス画像データを現実空間の映像に合成表示してもよい。
【００６１】
また、ユーザが実際に購入した食材の履歴をマスタ情報に登録し、次回の食材の選択の際に利用してもよい。さらに、購入した食材の履歴を家計簿の一部の情報として出力するようにしてもよい。
【００６２】
上述した実施形態では、購入予定商品の登録時や購入予定商品の商品情報の取得時において、購入予定商品の画像データを撮像部２００４で撮影し、当該画像データを携帯端末２００から買物管理サーバ１００に対して送信するようにしているが、これに限定されない。即ち、ちらし上に商品に対応するマーカが掲載されている場合、撮像部２００４でマーカを撮影し、当該マーカの画像データを携帯端末２００から買物管理サーバ１００に対して送信してもよい。買物管理サーバ１００は、マーカと商品との対応付けを管理しており、受信したマーカの画像データを解析することにより、当該マーカに対応する購入予定商品を識別する。そして、買物管理サーバ１００は、ちらし情報ＤＢ１０２に格納されるちらし３００に掲載されている各商品のＩＤと購入予定商品のＩＤとを比較し、一致する商品がある場合、当該購入予定商品はちらしに掲載されている商品であると判定し、ユーザ情報ＤＢ１０１にユーザと購入予定商品とを対応付けて管理する。
【００６３】
また、当該購入予定商品の商品情報を得たい場合には、同じくユーザは撮像部２００４で当該購入予定商品に対応するマーカを撮影し、当該マーカの画像データを携帯端末２００から買物管理サーバ１００に対して送信する。買物管理サーバ１００は、受信したマーカの画像データを解析することにより、当該マーカに対応する購入予定商品を識別する。そして、買物管理サーバ１００は、ちらし情報ＤＢ１０２に格納されるちらし３００に掲載されている各商品のＩＤと購入予定商品のＩＤとを比較する。一致する商品がある場合、買物管理サーバ１００は、当該購入予定商品のＩＤとユーザとの対応付けがユーザ情報ＤＢ１０１に登録されているか否かを判定する。当該購入予定商品のＩＤとユーザとの対応付けがユーザ情報ＤＢ１０１に登録されている場合、当該購入予定商品は当該ユーザが過去に指定したものであると判定される。従って、買物管理サーバ１００は、当該ユーザの携帯端末２００に対して当該購入予定商品の商品情報を送信する。以上のように、ちらしに掲載されている各商品に対応するマーカを使用することによっても同様に、任意のタイミングで購入予定商品の商品情報を容易に得ることが可能である。
【００６４】
なお、上述の実施形態において、ちらしを例に説明したが、街中に貼られたポスターやＴＶのＣＭ等あらゆる広告媒体についても、同様に実施可能であることはいうまでもない。
【符号の説明】
【００６５】
１００：買物管理サーバ、２００：携帯端末、３００：ちらし、１０１：ユーザ情報ＤＢ、１０２：ちらし情報ＤＢ、１０３：商品情報ＤＢ、１０４：地図情報ＤＢ、１０５：登録／照会部、１０６：商品マッチング部、１０７：商品情報検索部、１０８：地図情報検索部
【特許請求の範囲】
【請求項１】
透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムであって、
前記拡張現実感提示装置は、
前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像手段と、
前記撮像手段により撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知手段と、
前記検知手段により検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得手段と、
前記第１の取得手段により取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信手段とを有し、
前記管理装置は、
前記ちらしに掲載されている各商品に係る画像データを蓄積するちらし情報蓄積手段と、
前記拡張現実感提示装置の前記第１の送信手段から前記商品に係る画像データを受信し、前記商品に係る画像データを、前記ちらし情報蓄積手段に蓄積されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定手段と、
前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得手段と、
前記第２の取得手段により取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信手段とを有し、
前記拡張現実感提示装置は、
前記ディスプレイに、前記管理装置の前記第２の送信手段から送信された商品情報を示すコンピュータグラフィック画像データを、現実空間に整合するよう重畳表示する提示手段を更に有することを特徴とする情報処理システム。
【請求項２】
前記拡張現実感提示装置の前記撮像手段は、前記ちらしに商品に対応するマーカが掲載されている場合、前記商品に係る画像データとして、当該商品に対応するマーカの画像データを撮像し、
前記管理装置は、前記マーカと前記ちらしに掲載される各商品との対応関係を管理し、前記管理装置の前記特定手段は、前記拡張現実感提示装置から受信した前記商品に対応するマーカの画像データを解析することにより、前記ユーザの指定した商品を特定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記管理装置の前記第２の取得手段は、前記ユーザに対応付けられた商品に関する最新の在庫情報を、当該商品に関する商品情報として取得することを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記管理装置の前記第２の取得手段は、最後に登録された商品情報を取得し、前記管理装置の前記第２の送信手段は、当該最後に登録された商品情報を前記拡張現実感提示装置に対して送信することを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
【請求項５】
前記管理装置の前記特定手段は、更に、前記管理装置に備えられたデータベースに、前記ユーザと前記特定した商品との対応付けを登録し、
前記管理装置の前記第２の取得手段は、前記拡張現実感提示装置から、前記ちらしに掲載される商品に係る画像データを受信した場合、当該画像データのヘッダに記録される前記ユーザに係るユーザ情報と当該画像データとの組み合わせが、前記データベースに登録される前記ユーザと前記特定した商品との対応付けと一致するか否かを判定し、一致した場合、前記ユーザに対応付けられる商品に関する商品情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。
【請求項６】
前記管理装置の前記第２の送信手段は、前記ユーザ情報と前記画像データとの組み合わせと、前記データベースに登録される前記ユーザと前記特定した商品との対応付けとが一致した場合、前記ちらしに掲載された前記商品が前記データベースにおいて過去に登録された商品であることを通知するための情報も、前記拡張現実感提示装置に対して送信することを特徴とする請求項５に記載の情報処理システム。
【請求項７】
前記管理装置の前記第２の取得手段は、前記ユーザの個人情報に応じた商品を選択し、当該商品に関する商品情報を取得し、前記管理装置の前記第２の送信手段は、当該商品に関する商品情報を前記拡張現実感提示装置に対して送信することを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
【請求項８】
前記管理装置は、所定のルールに基づいて、前記案内情報を生成することを特徴とする請求項１乃至７の何れか１項に記載の情報処理システム。
【請求項９】
前記所定のルールは、複数のルールのうちから動的に選択されるルールであることを特徴とする請求項８に記載の情報処理システム。
【請求項１０】
前記複数のルールは、前記拡張現実感提示装置の現在地から前記商品を販売するまでの店舗までの距離に係るルールと、前記商品の在庫に係るルールとを含むことを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
前記拡張現実感提示装置は、
前記拡張現実感提示装置の姿勢を検知する検知手段を更に有し、
前記拡張現実感提示装置の前記提示手段は、前記検知手段により検知された前記拡張現実感提示装置の姿勢に基づいて、前記商品の陳列場所に関してユーザが見るべき方向を提示することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理システム。
【請求項１２】
透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムによって実行される情報処理方法であって、
前記拡張現実感提示装置は、
前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像ステップと、
前記撮像ステップにより撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知ステップと、
前記検知ステップにより検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得ステップと、
前記第１の取得ステップにより取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信ステップとを有し、
前記管理装置は、
前記拡張現実感提示装置から前記商品に係る画像データを受信し、前記商品に係る画像データを、ちらし情報蓄積手段において蓄積される前記ちらしに掲載されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定ステップと、
前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得ステップと、
前記第２の取得ステップにより取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信ステップとを有することを特徴とする情報処理方法。
【請求項１３】
透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムによって実行される情報処理方法をコンピュータに実行させるためのプログラムであって、
前記拡張現実感提示装置のコンピュータに、
前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像ステップと、
前記撮像ステップにより撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知ステップと、
前記検知ステップにより検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得ステップと、
前記第１の取得ステップにより取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信ステップとを実行させ、
前記管理装置のコンピュータに、
前記拡張現実感提示装置から前記商品に係る画像データを受信し、前記商品に係る画像データを、ちらし情報蓄積手段において蓄積される前記ちらしに掲載されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定ステップと、
前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得ステップと、
前記第２の取得ステップにより取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信ステップとを実行させることを特徴とするプログラム。
【請求項１】
透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムであって、
前記拡張現実感提示装置は、
前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像手段と、
前記撮像手段により撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知手段と、
前記検知手段により検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得手段と、
前記第１の取得手段により取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信手段とを有し、
前記管理装置は、
前記ちらしに掲載されている各商品に係る画像データを蓄積するちらし情報蓄積手段と、
前記拡張現実感提示装置の前記第１の送信手段から前記商品に係る画像データを受信し、前記商品に係る画像データを、前記ちらし情報蓄積手段に蓄積されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定手段と、
前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得手段と、
前記第２の取得手段により取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信手段とを有し、
前記拡張現実感提示装置は、
前記ディスプレイに、前記管理装置の前記第２の送信手段から送信された商品情報を示すコンピュータグラフィック画像データを、現実空間に整合するよう重畳表示する提示手段を更に有することを特徴とする情報処理システム。
【請求項２】
前記拡張現実感提示装置の前記撮像手段は、前記ちらしに商品に対応するマーカが掲載されている場合、前記商品に係る画像データとして、当該商品に対応するマーカの画像データを撮像し、
前記管理装置は、前記マーカと前記ちらしに掲載される各商品との対応関係を管理し、前記管理装置の前記特定手段は、前記拡張現実感提示装置から受信した前記商品に対応するマーカの画像データを解析することにより、前記ユーザの指定した商品を特定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記管理装置の前記第２の取得手段は、前記ユーザに対応付けられた商品に関する最新の在庫情報を、当該商品に関する商品情報として取得することを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記管理装置の前記第２の取得手段は、最後に登録された商品情報を取得し、前記管理装置の前記第２の送信手段は、当該最後に登録された商品情報を前記拡張現実感提示装置に対して送信することを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
【請求項５】
前記管理装置の前記特定手段は、更に、前記管理装置に備えられたデータベースに、前記ユーザと前記特定した商品との対応付けを登録し、
前記管理装置の前記第２の取得手段は、前記拡張現実感提示装置から、前記ちらしに掲載される商品に係る画像データを受信した場合、当該画像データのヘッダに記録される前記ユーザに係るユーザ情報と当該画像データとの組み合わせが、前記データベースに登録される前記ユーザと前記特定した商品との対応付けと一致するか否かを判定し、一致した場合、前記ユーザに対応付けられる商品に関する商品情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。
【請求項６】
前記管理装置の前記第２の送信手段は、前記ユーザ情報と前記画像データとの組み合わせと、前記データベースに登録される前記ユーザと前記特定した商品との対応付けとが一致した場合、前記ちらしに掲載された前記商品が前記データベースにおいて過去に登録された商品であることを通知するための情報も、前記拡張現実感提示装置に対して送信することを特徴とする請求項５に記載の情報処理システム。
【請求項７】
前記管理装置の前記第２の取得手段は、前記ユーザの個人情報に応じた商品を選択し、当該商品に関する商品情報を取得し、前記管理装置の前記第２の送信手段は、当該商品に関する商品情報を前記拡張現実感提示装置に対して送信することを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
【請求項８】
前記管理装置は、所定のルールに基づいて、前記案内情報を生成することを特徴とする請求項１乃至７の何れか１項に記載の情報処理システム。
【請求項９】
前記所定のルールは、複数のルールのうちから動的に選択されるルールであることを特徴とする請求項８に記載の情報処理システム。
【請求項１０】
前記複数のルールは、前記拡張現実感提示装置の現在地から前記商品を販売するまでの店舗までの距離に係るルールと、前記商品の在庫に係るルールとを含むことを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
前記拡張現実感提示装置は、
前記拡張現実感提示装置の姿勢を検知する検知手段を更に有し、
前記拡張現実感提示装置の前記提示手段は、前記検知手段により検知された前記拡張現実感提示装置の姿勢に基づいて、前記商品の陳列場所に関してユーザが見るべき方向を提示することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理システム。
【請求項１２】
透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムによって実行される情報処理方法であって、
前記拡張現実感提示装置は、
前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像ステップと、
前記撮像ステップにより撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知ステップと、
前記検知ステップにより検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得ステップと、
前記第１の取得ステップにより取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信ステップとを有し、
前記管理装置は、
前記拡張現実感提示装置から前記商品に係る画像データを受信し、前記商品に係る画像データを、ちらし情報蓄積手段において蓄積される前記ちらしに掲載されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定ステップと、
前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得ステップと、
前記第２の取得ステップにより取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信ステップとを有することを特徴とする情報処理方法。
【請求項１３】
透過型或いは非透過型のディスプレイを備えた拡張現実感提示装置と、ちらしに掲載される各商品に関する商品情報を管理する管理装置とを、ネットワークを介して接続する情報処理システムによって実行される情報処理方法をコンピュータに実行させるためのプログラムであって、
前記拡張現実感提示装置のコンピュータに、
前記拡張現実感提示装置のユーザが購入予定の商品を指定する際に、画角に捉えた前記ちらしの画像データを撮像する撮像ステップと、
前記撮像ステップにより撮像された前記ちらしの画像データに基づいて、前記ちらしに対する前記ユーザによる商品の指定動作を検知する検知ステップと、
前記検知ステップにより検知された指定動作の対象となった前記商品に係る画像データを取得する第１の取得ステップと、
前記第１の取得ステップにより取得された前記商品に係る画像データを前記管理装置に対して送信する第１の送信ステップとを実行させ、
前記管理装置のコンピュータに、
前記拡張現実感提示装置から前記商品に係る画像データを受信し、前記商品に係る画像データを、ちらし情報蓄積手段において蓄積される前記ちらしに掲載されている各商品に係る画像データとマッチングすることにより前記ユーザの指定した商品を特定し、前記ユーザと前記特定した商品との対応付けを行う特定ステップと、
前記ユーザに対応付けられた商品に関する商品情報を取得する第２の取得ステップと、
前記第２の取得ステップにより取得された商品情報を前記拡張現実感提示装置に対して送信する第２の送信ステップとを実行させることを特徴とするプログラム。
【図１】
【図２−１】
【図２−２】
【図３−１】
【図３−２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１−１】
【図１１−２】
【図１２】
【図２−１】
【図２−２】
【図３−１】
【図３−２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１−１】
【図１１−２】
【図１２】
【公開番号】特開２０１３−７７３２８（Ｐ２０１３−７７３２８Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１３−５４０１（Ｐ２０１３−５４０１）
【出願日】平成２５年１月１６日（２０１３．１．１６）
【分割の表示】特願２０１１−６１３７５（Ｐ２０１１−６１３７５）の分割
【原出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００１９１０７６）新日鉄住金ソリューションズ株式会社 (136)
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２５年１月１６日（２０１３．１．１６）
【分割の表示】特願２０１１−６１３７５（Ｐ２０１１−６１３７５）の分割
【原出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００１９１０７６）新日鉄住金ソリューションズ株式会社 (136)
[ Back to top ]