説明

情報サービスシステムおよび情報サービス方法

【課題】ユーザのそのときの状況等に応じて、柔軟に多彩な情報を出力する。
【解決手段】携帯端末が、被写体を撮像して画像を生成して表示部に順次表示し、自端末の位置を示す位置情報を生成し、撮像した画像を識別する画像識別情報と位置情報とをサーバ装置に送信し、サーバ装置が、定められた画像識別情報と定められた位置を示す位置情報とに対応付けられた出力情報を記憶し、携帯端末から送信された画像識別情報と位置情報とに対応する出力情報を読み出し、読み出した出力情報を、携帯端末に送信し、携帯端末が、サーバ装置から送信される出力情報を受信して、受信した出力情報を、表示部に順次表示されている画像に重ねて表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、いわゆるAR技術を利用した情報サービスシステムおよび情報サービス方法に関する。
【背景技術】
【0002】
処理速度や記憶容量、通信帯域などが向上して高機能化するスマートフォン等の携帯端末を用いて、現実環境に情報を付加して表示するAR(Augmented Reality:拡張現実、強化現実)技術が研究されている。例えば、携帯端末がGPS(Global Positioning System)機能等により位置情報を取得し、その位置に応じた情報(アノテーション)を撮像している画像に重ねて表示する。これにより、例えば、視覚的、感覚的に、店舗情報や道案内情報等を提供することができる。
ところで、特許文献1には、携帯端末から送信された位置情報に関連する店舗情報を提供する技術が示されている。特許文献2には、ある店舗を利用したユーザの嗜好に近い店舗情報を、他のユーザの購買傾向に基づいて提供する技術が示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−242459号公報
【特許文献2】特開2007−286974号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、位置情報のみに応じた情報を表示する方法では、出力する情報の内容が固定的となり、必ずしもユーザにとって有用な情報を提供できていない場合があると考えられる。そこで、このようなAR技術を用いて、ユーザのそのときの状況等に応じて、より柔軟に多彩な情報を提供することが望ましい。
【0005】
本発明は、このような状況に鑑みてなされたもので、AR技術を用いて、ユーザのそのときの状況等に応じて、より柔軟に多彩な情報を出力する情報サービスシステムおよび情報サービス方法を提供する。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明は、ユーザの携帯端末と、携帯端末とネットワークを介して接続されたサーバ装置とを備えた情報サービスシステムであって、携帯端末は、定められた画像と、画像を識別する画像識別情報とが対応付けられて記憶される画像識別情報記憶部と、被写体を撮像して画像を生成する撮像部と、撮像部によって撮像された画像が順次表示される表示部と、撮像部によって撮像された画像に対応付けられて画像識別情報記憶部に記憶されている画像識別情報を読み出す画像識別情報検索部と、自端末の位置を示す位置情報を生成する位置情報生成部と、画像識別情報検索部によって読み出された画像識別情報と、位置情報生成部によって生成された位置情報とをサーバ装置に送信する条件送信部と、条件送信部が送信した画像識別情報と位置情報とに応じて、サーバ装置から送信される出力情報を受信して、受信した出力情報を、表示部に順次表示されている画像に重ねて表示させる画像制御部と、を備え、サーバ装置は、定められた画像識別情報と定められた位置を示す位置情報とに対応付けられた出力情報が記憶されている出力情報記憶部と、携帯端末から送信された画像識別情報と位置情報とに対応する出力情報を、出力情報記憶部から読み出す出力情報検索部と、出力情報検索部によって読み出された出力情報を、携帯端末に送信する出力情報送信部と、を備えることを特徴とする。
【0007】
また、本発明は、携帯端末が、撮像部によって生成された画像から定められた画像特徴点を抽出する画像特徴点抽出部を備え、画像識別情報記憶部には、定められた画像特徴点と位置情報とに対応付けられて出力情報が記憶されており、画像識別情報検索部は、撮像部によって生成された画像に基づいて画像特徴点抽出部によって検出された画像特徴点と、位置情報とに対応する出力情報を読み出すことを特徴とする。
【0008】
また、本発明は、サーバ装置が、ユーザの属性を示す属性情報が含まれるユーザ情報が記憶されているユーザ情報記憶部を備え、出力情報記憶部には、出力情報に対応する属性情報が記憶されており、出力情報検索部は、画像と位置情報とを送信してきた携帯端末のユーザに対応するユーザ情報を、ユーザ情報記憶部から読み出し、読み出したユーザ情報に対応する出力情報を読み出すことを特徴とする。
【0009】
また、本発明は、定められた画像と、画像を識別する画像識別情報とが対応付けられて記憶される画像識別情報記憶部を有するユーザの携帯端末と、携帯端末とネットワークを介して接続され、定められた画像識別情報と定められた位置を示す位置情報とに対応付けられた出力情報が記憶されている出力情報記憶部を有するサーバ装置とを備えた情報サービスシステムの情報サービス方法であって、携帯端末が、被写体を撮像して画像を生成するステップと、撮像した画像を表示部に順次表示させるステップと、撮像した画像に対応付けられて画像識別情報記憶部に記憶されている画像識別情報を読み出すステップと、自端末の位置を示す位置情報を生成するステップと、読み出した画像識別情報と、生成した位置情報とをサーバ装置に送信するステップと、サーバ装置が、携帯端末から送信された画像識別情報と位置情報とに対応する出力情報を、出力情報記憶部から読み出すステップと、読み出した出力情報を、携帯端末に送信するステップと、携帯端末が、サーバ装置から送信される出力情報を受信して、受信した出力情報を、表示部に順次表示されている画像に重ねて表示させるステップと、を備えることを特徴とする。
【発明の効果】
【0010】
以上説明したように、本発明によれば、携帯端末が、被写体を撮像して画像を生成して表示部に順次表示し、自端末の位置を示す位置情報を生成し、撮像した画像を識別する画像識別情報と位置情報とをサーバ装置に送信し、サーバ装置が、定められた画像識別情報と定められた位置を示す位置情報とに対応付けられた出力情報を記憶し、携帯端末から送信された画像識別情報と位置情報とに対応する出力情報を読み出し、読み出した出力情報を、携帯端末に送信し、携帯端末が、サーバ装置から送信される出力情報を受信して、受信した出力情報を、表示部に順次表示されている画像に重ねて表示するようにしたので、ユーザのそのときの状況等に応じて、柔軟に多彩な情報を出力する情報サービスシステムおよび情報サービス方法を提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態による情報サービスシステムの構成を示すブロック図である。
【図2】本発明の一実施形態による情報サービスの概要を説明する図である。
【図3】本発明の一実施形態による画像ID記憶部に記憶されるデータ例を示す図である。
【図4】本発明の一実施形態による出力情報記憶部に記憶されるデータ例を示す図である。
【図5】本発明の一実施形態による情報サービスシステムによる情報提供処理の動作例を示すフローチャートである。
【図6】本発明の一実施形態による様々な業種形態における情報サービスシステムの適用例を示す図である。
【図7】本発明の一実施形態によるパターンAの適用例を示す図である。
【図8】本発明の一実施形態による情報サービスシステムの動作例を示すシーケンス図である。
【図9】本発明の一実施形態によるパターンBの適用例を示す図である。
【図10】本発明の一実施形態によるパターンCの適用例を示す図である。
【図11】本発明の一実施形態によるパターンDの適用例を示す図である。
【図12】本発明の一実施形態によるパターンEの適用例を示す図である。
【図13】本発明の一実施形態によるパターンFの適用例を示す図である。
【図14】本発明の一実施形態によるパターンGの適用例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本実施形態による情報サービスシステム1の構成を示すブロック図である。情報サービスシステム1は、携帯端末10と、携帯端末10にネットワークを介して接続されたサーバ装置20とを備えている。ここで、図2を参照して、本実施形態による情報サービスの概要を説明する。例えば、ユーザは、自身の携帯端末10の、本実施形態による情報サービスを実行するアプリケーション(以下、アプリともいう)を起動させ、鉄道の駅に設置された鉄道のロゴを撮像するように携帯端末10をかざす(符号a)。
【0013】
携帯端末10は、撮像した画像から符号bに示すようなロゴを抽出して、抽出したロゴに対応付けられて予め記憶している画像ID(識別情報)を読み出す。携帯端末10は、読み出した画像IDと、GPS機能等によって生成した現在の位置情報との条件を、サーバ装置20に送信する。サーバ装置20は条件を受信し、符号cに示すような、画像認識により抽出したロゴ画像の画像ID、位置情報、付近にいる他のユーザの人数、予め登録されたユーザの嗜好、その時の天気・気温等の様々な要素を考慮して、そのユーザに対して提供する情報を決定する。ここで、例えば近辺に存在するアイスクリーム屋のロゴが検出されると、符号dに示すように、携帯端末10のディスプレイに表示される画像に、アイスクリーム屋のロゴ(符号e)が重ねられて(オーバーレイ)表示される。これにより、ユーザは、ユーザのそのときの状況等を示す様々な要素に応じた、有用な情報を知ることができる。
【0014】
図1に戻り、携帯端末10は、撮像部11と、表示部12と、位置情報生成部13と、画像ID記憶部14と、画像特徴点抽出部15と、画像ID検索部16と、条件送信部17と、画像制御部18とを備えている。携帯端末10には、以下に説明するAR動作の制御を行うプログラム(アプリ)が記憶されている。
撮像部11は、被写体を撮像して画像を生成するカメラである。
表示部12には、撮像部11によって撮像された画像が順次表示される。すなわち、表示部12には、撮像部11によって撮像された画像が動画状態で表示される。
位置情報生成部13は、自端末の位置を示す位置情報を生成する。例えば、位置情報生成部13は、GPS受信機の機能を備えており、GPS衛星から送信される電波に基づいて、自端末の位置を示す緯度と経度との情報を生成する。
【0015】
画像ID記憶部14には、画像IDに対応付けられて、定められた画像の画像特徴点が記憶されている。図3は、画像ID記憶部14に記憶されるデータ例を示す図である。画像特徴点とは、ロゴマークやJAN(Japanese Article Number)コードのような画像(マーカー)を一意に特徴付ける情報である。具体的には、画像をRGB変換し、画像のコーナーや角を特定して比較するための情報である。例えば、画像中の全ての画素から、その画素の上下左右の画素の輝度値に一定以上の差が存在すると判定される場合には、その画素にエッジが存在すると判定できる。画像に含まれる全ての画素からこのようなエッジを検出することによって、画像のコーナーや角を検出することができる。このようなコーナーや角に基づく画像特徴点を、画像の傾斜等を補正して比較し、パターンマッチングを行うことにより、複数の画像同士が一致するか否かを判定することができる。画像ID記憶部14には、出力情報を提供する条件であるロゴマークやJANコード等の画像の画像特徴点が、予め抽出されて記憶されている。また、本実施形態では、画像ID記憶部14に記憶されている情報は、アプリの起動時にサーバ装置20から読み出し、記憶されるものとする。
【0016】
画像特徴点抽出部15は、撮像部11によって撮像された画像から、定められた画像特徴点を抽出する。例えば、画像特徴点抽出部15は、上述のような、画像に含まれるエッジを抽出し、抽出したエッジに基づくコーナーや角の情報を画像特徴点として抽出する。
画像ID検索部16は、画像特徴点抽出部15によって抽出された画像特徴点に一致する画像特徴点を画像ID記憶部14から検出し、検出した画像特徴点に対応付けられた画像IDを読み出す。
条件送信部17は、撮像部11によって撮像された画像に基づいて画像ID検索部16に読み出された画像IDと、位置情報生成部13によって生成された位置情報との条件をサーバ装置20に送信する。ここで、撮像部11に撮像される画像と、位置情報生成部13に生成される位置情報とは時々刻々と変化するものであるため、条件送信部17は、画像IDと位置情報とを順次サーバ装置20に送信する。
【0017】
画像制御部18は、撮像部11によって撮像された画像を、表示部12に表示させる。また、画像制御部18は、条件送信部17が送信した画像IDと位置情報とに応じて、サーバ装置20から送信される出力情報を受信して、受信した出力情報を、表示部12に順次表示されている画像に重ねて表示させる。ここで、出力情報とは、例えば画像情報や動画情報、テキスト情報などであり、図2の符号eに示したような情報である。また、この出力情報には、その出力情報に関連する情報(店舗の詳細情報等)を取得するためのリンク(URL)が付されているようにして、リンクを押下することで出力情報に関する詳細な情報を取得できるようにすることができる。
【0018】
サーバ装置20は、画像ID記憶部21と、画像ID送信部22と、条件受信部23と、出力情報記憶部24と、ユーザ情報記憶部25と、外部情報取得部26と、出力情報検索部27と、出力情報送信部28とを備えている。
画像ID記憶部21は、画像ID記憶部14に記憶されている情報と同様のデータが記憶されている。
画像ID送信部22は、携帯端末10においてアプリが起動された際に、画像ID記憶部21に記憶されている情報を読み出し、携帯端末10に送信する。
条件受信部23は、携帯端末10から送信される条件を受信する。
【0019】
出力情報記憶部24には、定められた画像と定められた位置を示す位置情報とに対応付けられた出力情報が記憶されている。さらに、出力情報記憶部24には、出力情報に対応する属性情報等の条件が記憶されている。図4は、出力情報記憶部24に記憶されるデータ例を示す図である。出力情報記憶部24には、位置情報と、画像IDと、外部情報(天気、時間等)と、ユーザ情報(性別、お気に入り等)等の条件に対応付けられて、出力情報が記憶されている。位置情報は、緯度、経度を示す情報である。画像IDは、画像ID記憶部21に記憶されている画像特徴点に対応する情報である。外部情報は、例えば天気や時間などの情報であり、位置情報でも画像IDでもユーザ情報でもない各種の情報が含まれる。ユーザ情報は、予め登録されたユーザ情報に含まれる属性情報である。例えば、ユーザ情報には、性別、年齢、住所、お気に入りの各種ジャンル等の情報が含まれる。これらの情報は、ユーザに提供する出力情報を検出するための条件である。これらの条件を示す情報は、一定の範囲をもつ値でも良い。例えば、位置情報である緯度、経度は、一点を示す情報ではなく、一定の範囲をもつ値でも良い。出力情報は、AR技術によってユーザの携帯端末10のディスプレイにオーバーレイして表示させる画像や動画やテキスト等の情報である。
【0020】
ここで、本実施形態では、画像ID記憶部21に画像IDと画像特徴点とが対応付けられて記憶され、出力情報記憶部24に画像IDと出力情報等とが対応付けられて記憶されることとしたが、出力情報記憶部24に、画像IDと、画像特徴点と、出力情報等とを対応付けて記憶するようにしても良い。
【0021】
ユーザ情報記憶部25には、携帯端末10のユーザの属性を示す属性情報が含まれるユーザ情報が記憶されている。ユーザ情報は、専用アプリやウェブサイト等を用いて、ユーザによって予め登録された情報である。ユーザ情報には、例えば、ユーザを識別するユーザIDに対応付けて、ユーザの性別、年齢、住所、お気に入りの各種ジャンル等の属性情報が記憶されている。
【0022】
外部情報取得部26は、天気や時間等の情報を取得する。例えば、外部のサーバ等と接続して、API(Application Program Interface)等により提供される現在の天気の情報や天気予報の情報等を取得して、自身の記憶領域に記憶する。あるいは、外部情報取得部26は計時機能を備えており、現在時刻である時間を取得する。他にも、外部情報取得部26は、季節、道路交通情報等の情報を取得して、自身の記憶領域に記憶することができる。
【0023】
出力情報検索部27は、携帯端末10から送信された画像IDと位置情報とに対応する出力情報を、出力情報記憶部24から読み出す。この際、出力情報検索部27は、画像IDと位置情報とを送信してきた携帯端末10のユーザに対応するユーザ情報をユーザ情報記憶部25から読み出し、読み出したユーザ情報と、外部情報取得部26が取得した外部情報とを条件として、これらの条件に対応する出力情報を読み出す。
出力情報送信部28は、出力情報検索部27によって読み出された出力情報を、携帯端末10に送信する。
【0024】
次に、本実施形態による情報サービスシステム1の動作例を説明する。図5は、情報サービスシステム1による情報提供処理の動作例を示すフローチャートである。
まず、携帯端末10は、ユーザから入力される操作情報に基づいて、予め記憶されている、本実施形態によるAR動作の制御を行うアプリを起動させる。サーバ装置20の画像ID送信部22は、画像ID記憶部21に記憶されている情報を携帯端末10に送信し、携帯端末10の画像ID記憶部14に記憶させる。携帯端末10の撮像部11は、被写体の撮像を開始する。画像制御部18は、撮像部11によって撮像された画像を表示部12に順次表示させる(ステップS1)。
【0025】
位置情報生成部13は、GPS機能に基づいて位置情報を生成する(ステップS2)。携帯端末10の画像特徴点抽出部15は、撮像部11が撮像した画像から画像特徴点を抽出する(ステップS3)。画像ID検索部16は、画像特徴点抽出部15が抽出した画像特徴点に対応する画像IDを、画像ID記憶部14から読み出す。条件送信部17は、画像IDと位置情報との条件を、サーバ装置20に送信する(ステップS4)。サーバ装置20の条件受信部23は、携帯端末10から送信された条件を受信する。サーバ装置20は、例えば携帯端末10におけるアプリの起動時に、携帯端末10からユーザIDを受信し、受信したユーザIDに対応するユーザ情報をユーザ情報記憶部25から読み出す。外部情報取得部26は、外部情報を取得する。
【0026】
出力情報検索部27は、携帯端末10から送信された画像IDおよび位置情報と、ユーザ情報記憶部25から読み出したユーザ情報と、外部情報取得部26によって取得された外部情報とを条件にして、出力情報記憶部24に記憶されている出力情報を読み出す(ステップS5)。出力情報送信部28は、ステップS4において読み出された出力情報を、携帯端末10に送信する(ステップS6)。携帯端末10が、サーバ装置20から送信された出力情報を受信すると、画像制御部18は、受信した出力情報を、撮像部11が撮像した画像に重ねて表示部12に表示させる(ステップS7)。
【0027】
このような、携帯端末10によって撮像される画像と位置情報とに応じて情報を提供する処理は、様々な場面に適用できる。例えば、図6は、様々な業種形態における情報サービスシステム1の適用例を示す図である。ここでは、本実施形態の適用が特に有効と思われる7つの適用パターン(パターンA、パターンB、パターンC、パターンD、パターンE、パターンF、パターンG)を示している。例えば、コンビニエンスストア(コンビニ)の情報を提供する場合には、パターンAとパターンBとが特に有効と思われる。
【0028】
図7は、パターンAの適用例を示す図である。パターンAは、上述した実施形態の例と同様である。すなわち、(1)携帯端末10のアプリが起動され、撮像部11が鉄道のロゴマークに向けられると、(2)携帯端末10は、ロゴマークの画像IDと位置情報とをサーバ装置20に送信する。(3)サーバ装置20が、受信したロゴマークの画像IDと位置情報とに対応する出力情報を携帯端末10に送信すると、携帯端末10は、サーバ装置20から送信された出力情報を表示部12に表示させる。(4)表示部12上に表示された出力情報をタッチすると、ネットワークを介して詳細情報が取得され、表示される。
【0029】
このようなサービスは、ランドマーク(ロゴマーク)付近の消費者や、小売店や飲食店の利用者にとって有用な情報を提供できる。例えば、ユーザがランドマーク付近に訪れた際に、近隣の小売店、飲食店等を探す際に有用である。これにより、ユーザにとっては、携帯端末10を操作して検索サイト等を利用するような煩雑な操作を行うことなく、ランドマークに携帯端末10のカメラを向けるだけで、近隣店舗の情報を得ることができる。店舗等にとっては、小売店、飲食店等の割引、お買い得情報を出力情報としてユーザの携帯端末10に表示させることにより、顧客の新規獲得や囲い込みが期待できる。
【0030】
ここで、例えば、携帯端末10の通信会社において、予め許可された他のユーザの位置情報を検索するサービスを提供している場合には、このような位置情報サービスを用いて、同じエリアにいる複数のユーザ同士の人数に応じて提供する情報を出し分けるようにしても良い。図8は、このような適用例を示すシーケンス図である。ここでは、情報サービスシステム1は、店舗における割引情報等を出力情報として送信するコンテンツプロバイダシステム30と、携帯端末10の位置情報を管理する通信会社システム40とにネットワークを介して接続されている。また、出力情報の提供を受けるユーザの端末を携帯端末10−1、携帯端末10−1のユーザの友人である他のユーザの端末を携帯端末10−2として説明する。
【0031】
通信会社システム40は、携帯端末10−2にポーリングを行って位置情報を取得し、サーバ装置20に提供する(ステップS11)。携帯端末10−1は、サーバ装置20に問い合わせと行い、携帯端末10−2の位置情報を取得する。携帯端末10−1が、マーカーを撮像すると(ステップS13)、マーカーを解析して画像特徴点を抽出し(ステップS14)、画像特徴点に対応する画像IDを取得する(ステップS15)。
【0032】
携帯端末10−1は、自身のユーザIDと、画像IDとをサーバ装置20に送信する(ステップS16)。サーバ装置20は、携帯端末10−1のユーザIDに予め対応付けられて記憶されている携帯端末10−2のユーザのユーザIDを抽出する(ステップS17)。サーバ装置20は、携帯端末10−1のユーザと同じ位置に存在する他のユーザの数を、集団に分類する(ステップS18)。サーバ装置20は、画像ID、位置情報(緯度、経度)、時間、集団に対応する場所と業態とを抽出し(ステップS19)、コンテンツプロバイダシステム30に送信する(ステップS20)。
【0033】
コンテンツプロバイダシステム30は、サーバ装置20から送信された場所と業態とに対応する店舗情報を抽出し(ステップS21)、サーバ装置20に送信する(ステップS22)。サーバ装置20は、コンテンツプロバイダシステム30から送信された店舗情報を、AR技術により表示させる出力情報に変換し(ステップS23)、携帯端末10−1に送信する(ステップS24)。携帯端末10−1は、受信した出力情報をAR表示し、出力情報がクリックされると(ステップS25)、店舗の詳細情報取得依頼を、コンテンツプロバイダシステム30に送信する(ステップS26)。コンテンツプロバイダシステム30は、携帯端末10−1から送信された店舗の詳細情報取得依頼に応じて、店舗詳細情報を携帯端末10−1に送信する(ステップS27)。
【0034】
図9は、パターンBの適用例を示す図である。パターンBでは、(1)携帯端末10のアプリが起動され、撮像部11が小売店におけるJANコードに向けられると、(2)携帯端末10は、撮像したJANコードの画像IDと位置情報とをサーバ装置20に送信する。(3)サーバ装置20が、受信したJANコードの画像IDと位置情報とに対応する出力情報を携帯端末10に送信すると、携帯端末10は、サーバ装置20から送信された出力情報を表示部12に表示させる。(4)表示部12上に表示された出力情報をタッチすると、ネットワークを介して関連商品の情報が取得され、表示される。
【0035】
このようなサービスは、小売店での商品購入者にとって有用な情報を提供できる。例えば、ユーザが商品を手に取った際に、その商品に関連する商品が表示される。あるいは、商品に関連したレシピが表示され、関連商品が表示される。これにより、ユーザにとっては、関連商品を提示されることにより、買い忘れを防ぐことができる。店舗等にとっては、位置情報により、店舗ごとに応じた商品を提示することができる。これにより、ユーザの追加購入を促すことができる。
【0036】
図10は、パターンCの適用例を示す図である。パターンCでは、(1)携帯端末10のアプリが起動され、撮像部11が小売店におけるJANコードに向けられると、(2)携帯端末10は、撮像したJANコードの画像IDと位置情報とをサーバ装置20に送信する。(3)サーバ装置20が、受信したJANコードの画像IDと位置情報とに対応する出力情報を携帯端末10に送信すると、携帯端末10は、サーバ装置20から送信された出力情報を表示部12に表示させる。
【0037】
このようなサービスは、小売店での商品の新規購入者や既存の利用者にとって有用な情報を提供できる。例えば、商品の情報を確認したい時に、商品に関する情報や、商品の使い方が表示される。これにより、ユーザにとっては、商品の情報を確認したい時に、その場ですぐに確認することができる。あるいは、利用した商品を使い切った場合、位置情報に基づいて、その商品を購入出来る周辺の店舗を探すことができる。店舗等にとっては、購入可能店舗を提示することで、店舗や商品の継続利用を促すことができる。
【0038】
図11は、パターンDの適用例を示す図である。パターンDでは、(1)携帯端末10のアプリが起動され、撮像部11がテーマパークにロゴマークに向けられると、(2)携帯端末10は、撮像したロゴマークの画像IDと位置情報とをサーバ装置20に送信する。(3)サーバ装置20が、受信したロゴマークの画像IDと位置情報とに対応する出力情報を携帯端末10に送信すると、携帯端末10は、サーバ装置20から送信された、施設の混雑状況等の出力情報を表示部12に表示させる。(4)ユーザは、表示された情報に基づいて、施設に分散する。
【0039】
このようなサービスは、テーマパークの利用者にとって有用な情報を提供できる。例えば、テーマパークを訪れた際に、施設の混雑状況を確認することができる。これにより、ユーザは、効率よくテーマパークの施設を回ることが可能となる。テーマパークにとっては、混雑状況に関する情報を提供することにより、施設の稼働率を効率化することができる。
【0040】
図12は、パターンEの適用例を示す図である。パターンEでは、(1)携帯端末10のアプリが起動され、撮像部11が飲食店にロゴマークに向けられると、(2)携帯端末10は、撮像したロゴマークの画像IDと位置情報とをサーバ装置20に送信する。(3)サーバ装置20が、受信したロゴマークの画像IDと位置情報とに対応する出力情報を携帯端末10に送信すると、携帯端末10は、サーバ装置20から送信された出力情報に基づいて店舗に関する掲示板情報を表示させる。
【0041】
このようなサービスは、飲食店の利用者にとって有用な情報を提供できる。例えば、飲食店舗に関する掲示板、口コミ情報がAR表示されることにより、ユーザは、訪問しようとしている飲食店の掲示板、口コミ情報をその場で直ぐに確認することができる。店舗にとっては、利用者の意見を把握することが可能となる。
【0042】
図13は、パターンFの適用例を示す図である。パターンFでは、(1)携帯端末10のアプリが起動され、撮像部11が缶ジュースのJANコードに向けられると、(2)携帯端末10は、撮像したJANコードの画像IDと位置情報とをサーバ装置20に送信する。(3)サーバ装置20が、受信したJANコードの画像IDと位置情報とに対応する出力情報であるゲームのアイテム情報を携帯端末10に送信すると、携帯端末10は、サーバ装置20から送信された出力情報を表示部12に表示させる。(4)このように、AR技術に応じてゲームにおけるアイテムを収集して、ゲームを進行するようにすることができる。
【0043】
このようなサービスは、小売店での商品購入者にとって有用な情報を提供できる。例えば、ユーザが商品を購入した後に、JANコードを撮像し、ゲームのアイテムを獲得する。これにより、ユーザにとっては、ゲームの進行度合いにより、景品等が獲得できる。また、ゲーム上でユーザ間の交流ができる。店舗等にとっては、ユーザに商品を継続購入させることができる。さらに、位置情報により、地域毎でどの缶ジュースが好まれているかといったマーケティング情報を取得することができる。
【0044】
図14は、パターンGの適用例を示す図である。パターンGでは、(1)携帯端末10のアプリが起動され、撮像部11が定められたマーカーに向けられると、(2)携帯端末10は、撮像したマーカーの画像IDと位置情報とをサーバ装置20に送信する。(3)サーバ装置20が、受信したマーカーの画像IDと位置情報とに対応する出力情報である家具の画像を携帯端末10に送信すると、携帯端末10は、サーバ装置20から送信された出力情報を表示部12に表示させる。(4)そして、画面上にAR表示された家具の画像をタッチすることで、その家具の購入可能店舗を表示させる。
【0045】
このようなサービスは、商品の購入予定者にとって有用な情報を提供できる。例えば、ユーザの商品購入検討の際、AR用マーカーを用いることで、商品配置のシミュレーションを行うことができる。これにより、ユーザにとっては、商品配置のシミュレーションにより、家具購入後のアンマッチをなくすことができる。店舗等にとっては、商品の返品等を軽減させることができる。あるいは、商品に店舗情報を付加することで、ユーザを店舗に誘導することができる。
【0046】
なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報提供を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0047】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【符号の説明】
【0048】
1 情報サービスシステム
10 携帯端末
11 撮像部
12 表示部
13 位置情報生成部
14 画像ID記憶部
15 画像特徴点抽出部
16 画像ID検索部
17 条件送信部
18 画像制御部
20 サーバ装置
21 画像ID記憶部
22 画像ID送信部
23 条件受信部
24 出力情報記憶部
25 ユーザ情報記憶部
26 外部情報取得部
27 出力情報検索部
28 出力情報送信部
30 コンテンツプロバイダシステム
40 通信会社システム

【特許請求の範囲】
【請求項1】
ユーザの携帯端末と、当該携帯端末とネットワークを介して接続されたサーバ装置とを備えた情報サービスシステムであって、
前記携帯端末は、
定められた画像と、当該画像を識別する画像識別情報とが対応付けられて記憶される画像識別情報記憶部と、
被写体を撮像して画像を生成する撮像部と、
前記撮像部によって撮像された前記画像が順次表示される表示部と、
前記撮像部によって撮像された前記画像に対応付けられて前記画像識別情報記憶部に記憶されている前記画像識別情報を読み出す画像識別情報検索部と、
自端末の位置を示す位置情報を生成する位置情報生成部と、
前記画像識別情報検索部によって読み出された前記画像識別情報と、前記位置情報生成部によって生成された前記位置情報とを前記サーバ装置に送信する条件送信部と、
前記条件送信部が送信した前記画像識別情報と前記位置情報とに応じて、前記サーバ装置から送信される出力情報を受信して、受信した当該出力情報を、前記表示部に順次表示されている前記画像に重ねて表示させる画像制御部と、を備え、
前記サーバ装置は、
定められた画像識別情報と定められた位置を示す位置情報とに対応付けられた出力情報が記憶されている出力情報記憶部と、
前記携帯端末から送信された前記画像識別情報と前記位置情報とに対応する前記出力情報を、前記出力情報記憶部から読み出す出力情報検索部と、
前記出力情報検索部によって読み出された前記出力情報を、前記携帯端末に送信する出力情報送信部と、
を備えることを特徴とする情報サービスシステム。
【請求項2】
前記携帯端末は、
前記撮像部によって生成された前記画像から定められた画像特徴点を抽出する画像特徴点抽出部を備え、
前記画像識別情報記憶部には、定められた画像特徴点と前記位置情報とに対応付けられて前記出力情報が記憶されており、
前記画像識別情報検索部は、前記撮像部によって生成された前記画像に基づいて前記画像特徴点抽出部によって検出された前記画像特徴点と、前記位置情報とに対応する前記出力情報を読み出す
ことを特徴とする請求項1に記載の情報サービスシステム。
【請求項3】
前記サーバ装置は、
前記ユーザの属性を示す属性情報が含まれるユーザ情報が記憶されているユーザ情報記憶部を備え、
前記出力情報記憶部には、前記出力情報に対応する属性情報が記憶されており、
前記出力情報検索部は、前記画像と前記位置情報とを送信してきた前記携帯端末のユーザに対応する前記ユーザ情報を、前記ユーザ情報記憶部から読み出し、読み出したユーザ情報に対応する前記出力情報を読み出す
ことを特徴とする請求項1また請求項2に記載の情報サービスシステム。
【請求項4】
定められた画像と、当該画像を識別する画像識別情報とが対応付けられて記憶される画像識別情報記憶部を有するユーザの携帯端末と、当該携帯端末とネットワークを介して接続され、定められた画像識別情報と定められた位置を示す位置情報とに対応付けられた出力情報が記憶されている出力情報記憶部を有するサーバ装置とを備えた情報サービスシステムの情報サービス方法であって、
前記携帯端末が、
被写体を撮像して画像を生成するステップと、
撮像した画像を表示部に順次表示させるステップと、
撮像した前記画像に対応付けられて前記画像識別情報記憶部に記憶されている前記画像識別情報を読み出すステップと、
自端末の位置を示す位置情報を生成するステップと、
読み出した前記画像識別情報と、生成した前記位置情報とを前記サーバ装置に送信するステップと、
前記サーバ装置が、
前記携帯端末から送信された前記画像識別情報と前記位置情報とに対応する前記出力情報を、前記出力情報記憶部から読み出すステップと、
読み出した前記出力情報を、前記携帯端末に送信するステップと、
前記携帯端末が、
前記サーバ装置から送信される前記出力情報を受信して、受信した当該出力情報を、前記表示部に順次表示されている前記画像に重ねて表示させるステップと、
を備えることを特徴とする情報サービス方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate