サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
【課題】画像認識結果を有効利用して位置情報を取得できるサーバシステム等の提供。
【解決手段】サーバシステムは、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、撮影画像の画像認識結果に基づいて、撮影画像の撮影場所の位置情報を取得する位置情報取得部と、取得された位置情報に対応するコンテンツ情報をコンテンツデータベースから抽出し、コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部を含む。
【解決手段】サーバシステムは、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、撮影画像の画像認識結果に基づいて、撮影画像の撮影場所の位置情報を取得する位置情報取得部と、取得された位置情報に対応するコンテンツ情報をコンテンツデータベースから抽出し、コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等に関する。
【背景技術】
【０００２】
従来より、カメラで撮影した商品等を画像認識処理を利用して検索する画像検索システムが知られている。例えば特許文献１には、ユーザが所望の商品を撮影して、ネットワークを介して撮影画像をサーバに送信すると、サーバが、撮影画像に基づいて商品情報を検索し、検索された商品情報をユーザの端末装置に返信するシステムが開示されている。
【０００３】
しかしながら、これまでの画像検索システムでは、画像認識結果は、商品等の画像検索のみに利用されており、画像認識結果を利用して位置情報を特定するようなシステムについては提案されていなかった。
【０００４】
また、これまでの画像検索システムでは、撮影画像は商品検索等に利用されるだけであり、画像検索の対象となった撮影画像をシステム側に保存して、ユーザに再提示するようなシステムについても提案されていなかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２８５６５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、画像認識結果を有効利用して位置情報を取得できるサーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部と、取得された前記位置情報に対応するコンテンツ情報をコンテンツデータベースから抽出し、前記コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部とを含むサーバシステムに関係する。
【０００８】
本発明の一態様では、ユーザの撮影画像についての送信データがネットワークを介して受信されると、受信した撮影画像の画像認識が行われ、画像認識結果に基づいて、撮影場所の位置情報が取得される。そして取得された位置情報に対応するコンテンツ情報がコンテンツデータベースから抽出されてユーザに提示される。従って、撮影画像の画像認識を行いながら、その画像認識の結果を有効活用して撮影場所の位置情報を取得してコンテンツ情報を提供できる。また画像認識結果から位置情報を取得することで、単なる緯度・経度の情報からは取得できない、意味のある位置情報（例えばユーザが何を見ていて何に関心があるのかといった情報）の取得が可能になる。
【０００９】
また本発明の一態様では、前記コンテンツ提示部は、取得された前記位置情報に基づいて、前記撮影場所でのリコメンド情報を前記コンテンツデータベースから選択し、選択された前記リコメンド情報をユーザに提示するための処理を行ってもよい。
【００１０】
このようにすれば、画像を撮影したユーザに対して、撮影画像の画像認識結果により特定された撮影場所でのリコメンド情報を提示できるようになる。
【００１１】
また本発明の一態様では、前記コンテンツ提示部は、ユーザに対してリコメンドルートを提示し、ユーザが前記リコメンドルートを選択した場合には、前記リコメンドルートにおけるリコメンド情報を、ユーザに提示するための処理を行ってもよい。
【００１２】
このようにすれば、画像を撮影したユーザに対して、撮影画像の画像認識結果により特定された撮影場所でのリコメンドルートを提示できるようになる。
【００１３】
また本発明の一態様では、前記コンテンツ提示部は、他ユーザについて取得された前記位置情報に基づいて、前記リコメンドルートを作成してもよい。
【００１４】
このようにすれば、様々なユーザの撮影画像から取得された位置情報に基づいて、リコメンドルートを作成して、各ユーザに提示できるようになる。
【００１５】
また本発明の一態様では、前記位置情報に基づき特定されたユーザの所在地の周辺店舗用の情報処理装置に対して、ユーザが所在していることを知らせる通知情報を送信する処理を行う送信処理部を含んでもよい。
【００１６】
このようにすれば、画像認識結果により取得された撮影場所の位置情報によりユーザの所在地が特定され、その所在地の周辺の店舗用の情報処理装置に対して、ユーザが近くに所在していることを知らせることが可能になる。
【００１７】
また本発明の一態様では、前記送信処理部は、前記位置情報に基づき予測されるユーザの移動経路の周辺店舗用の情報処理装置に対して、前記通知情報を送信する処理を行ってもよい。
【００１８】
このようにすれば、予測されるユーザの移動経路の周辺の店舗用の情報処理装置に対して、ユーザが近くに所在していることを知らせることが可能になる。
【００１９】
また本発明の一態様では、前記コンテンツ提示部は、前記通知情報を受信した前記情報処理装置が、広告情報の配信を要求した場合に、前記広告情報をユーザに提示するための処理を行ってもよい。
【００２０】
このようにすれば、ユーザが近くに所在していることを知らされた周辺店舗用の情報処理装置からの広告情報を、ユーザに提示できる。
【００２１】
また本発明の一態様では、複数のユーザについて取得された前記位置情報の集計処理を行う集計処理部と、前記撮影場所の周辺店舗用の情報処理装置に対して、前記集計処理により得られた集計情報を送信する処理を行う送信処理部を含んでもよい。
【００２２】
このようにすれば、画像認識により取得された位置情報の集計情報を、撮影場所の周辺店舗用の情報処理装置に対して通知できる。
【００２３】
また本発明の一態様では、前記送信処理部は、前記撮影場所でのユーザの人数の集計情報を前記情報処理装置に対して送信する処理を行ってもよい。
【００２４】
このようにすれば、周辺店舗用の情報処理装置は、撮影場所に所在するユーザの人数の集計情報を知ることが可能になる。
【００２５】
また本発明の他の態様では、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部を含み、前記位置情報取得部は、前記検索結果データにより表示される検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグであると判断し、前記確定名称タグに基づいて、前記撮影場所の前記位置情報を取得するサーバシステムに関係する。
【００２６】
このようにすれば、検索結果画面の複数の候補名称タグのいずれかをユーザが選択すると、選択された確定名称タグが、撮影画像の被写体の名称を示すものであると判断して、撮影場所の位置情報を取得できるようになる。
【００２７】
また本発明の他の態様では、前記撮影画像に類似する前記複数の登録画像を前記画像データベースから検索する画像検索部と、検索された前記複数の登録画像に関連づけられた前記複数の名称タグから、前記複数の候補名称タグを取得するタグ処理部を含んでもよい。
【００２８】
このようにすれば、撮影画像の画像検索により候補名称タグを取得できるようになる
また本発明の他の態様では、前記タグ処理部は、前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得してもよい。
【００２９】
このようにすれば、名称タグの出現数に応じて候補名称タグを選択して取得できるようになる。
【００３０】
また本発明の他の態様では、前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部を含み、前記アルバム登録部は、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、前記撮影画像の前記確定名称タグを、前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００３１】
このようにすれば、画像検索の対象となった撮影画像がアルバムとして閲覧可能になり、これまでにないタイプの画像検索を実現できる。
【００３２】
また本発明の他の態様では、前記受信処理部は、前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、前記アルバム登録部は、受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録してもよい。
【００３３】
このようにすれば、撮影画像が添付されたメールをユーザが送信するだけで、そのメールアドレスにより特定される格納場所に撮影画像が登録されるようになるため、ユーザの利便性を向上できる。
【００３４】
また本発明の他の態様では、前記アルバム登録部は、取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００３５】
このようにすれば、ユーザが選択した確定名称タグにより撮影画像の撮影場所の位置情報を特定して、アルバムデータベースに登録できるようになる。
【００３６】
また本発明の他の態様では、前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含んでもよい。
【００３７】
このようにすれば、ユーザは、画像検索の対象となった撮影画像が自動的に登録されるアルバムを閲覧して楽しむことが可能になる。
【００３８】
また本発明の他の態様では、前記アルバム閲覧部は、前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行ってもよい。
【００３９】
このようにすれば、撮影画像の撮影場所等がマップ画面上に軌跡として残るようになるため、旅行の余韻等をユーザは楽しむことが可能になる。
【００４０】
また本発明の他の態様では、前記アルバム閲覧部は、取得された前記撮影場所の前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定してもよい。
【００４１】
このようにすれば、確定名称タグを活用して撮影場所の位置情報を特定して、撮影場所やその移動履歴をマップ画面上に表示できる。
【００４２】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、前記撮影画像に類似する複数の登録画像を画像データベースから検索する画像検索部と、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得するタグ処理部と、前記撮影画像の画像検索の検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグと判断し、前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部とを含むサーバシステムに関係する。
【００４３】
本発明の他の態様によれば、ユーザの撮影画像についての送信データがネットワークを介して受信されると、受信した撮影画像に類似する登録画像が検索され、登録画像の名称タグから撮影画像の候補名称タグが取得される。そして画像検索の検索結果画面において、候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグを撮影画像の確定名称タグと判断し、確定名称タグに基づいて、撮影場所の位置情報を取得できる。従って、単なる緯度・経度の情報からは取得できない、意味のある位置情報を取得できるようになる。
【００４４】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像を取得する画像取得部と、取得された前記撮影画像についての送信データをネットワークを介して送信する処理を行う送信処理部と、前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、表示部の表示制御を行う表示制御部とを含み、前記表示制御部は、前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報が取得され、取得された前記位置情報に応じたコンテンツ情報がコンテンツデータベースから抽出された場合に、前記コンテンツ情報を前記表示部に表示する制御を行う端末装置に関係する。また本発明の態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００４５】
本発明の他の態様によれば、画像検索の対象となる撮影画像が取得されると、その撮影画像がネットワークを介して送信される。そして、撮影画像の画像認識が行われると、その画像認識結果に基づいて、撮影画像の撮影場所の位置情報が取得され、取得された位置情報に応じたコンテンツ情報が、表示部に表示される。従って、撮影画像の画像認識を行いながら、その画像認識の結果を有効活用して位置情報を取得して、コンテンツ情報を提供できるようになる。
【００４６】
また本発明の他の態様では、前記表示制御部は、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、前記送信処理部は、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記位置情報を取得するための確定名称タグとして、ネットワークを介して送信する処理を行ってもよい。
【００４７】
このようにすれば、検索結果画面の複数の候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグが、位置情報を取得するための確定名称タグとして送信されるようになる。
【００４８】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像に類似する複数の登録画像を画像データベースから検索し、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、取得された前記複数の候補名称タグが表示された検索結果画面を表示し、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグと判断し、前記確定名称タグに基づいて、前記撮影画像の撮影場所を取得する画像検索方法に関係する。
【図面の簡単な説明】
【００４９】
【図１】本実施形態のシステム構成例。
【図２】本実施形態の基本的な動作を説明するための第１の処理フロー。
【図３】本実施形態の基本的な動作を説明するための第２の処理フロー。
【図４】本実施形態の基本的な動作を説明するための第３の処理フロー。
【図５】本実施形態の詳細な動作を説明するための処理フロー。
【図６】図６（Ａ）、図６（Ｂ）は結果通知メールや検索結果画面の例。
【図７】図７（Ａ）、図７（Ｂ）は観光情報画面、周辺店舗情報画面の例。
【図８】店舗情報画面の例。
【図９】図９（Ａ）、図９（Ｂ）はアルバム閲覧画面の例。
【図１０】画像詳細画面の例。
【図１１】図１１（Ａ）、図１１（Ｂ）はアルバムデータベースや画像データベースのデータ構造の例。
【図１２】図１２（Ａ）、図１２（Ｂ）はタグ処理の説明図。
【図１３】本実施形態の詳細な処理フロー。
【図１４】本実施形態の詳細な処理フロー。
【図１５】本実施形態の詳細な処理フロー。
【図１６】本実施形態の詳細な処理フロー。
【発明を実施するための形態】
【００５０】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５１】
１．システム構成
図１に本実施形態の画像検索システムのシステム構成を示す。この画像検索システムは、管理サーバ１０や画像検索サーバ６０により実現されるサーバシステムや、端末装置１１０（通信端末、携帯端末装置、電子機器）、情報処理装置２００などにより実現される。これらの管理サーバ１０、画像検索サーバ６０、端末装置１１０、情報処理装置２００はネットワーク１００により通信接続されている。なおネットワーク１００に他の外部サーバや端末装置を通信接続してもよい。
【００５２】
図２に、本実施形態の基本的な動作を説明するための第１の処理フローを示す。本実施形態では管理サーバ１０は、撮像画像についての送信データを受信すると、撮像画像の画像認識結果（候補名称タグ等）に基づいて、撮影画像の撮影場所の位置情報を取得する（ステップＳ４０１、Ｓ４０２）。そして取得された位置情報に対応するリコメンド情報、広告情報等のコンテンツ情報を、コンテンツデータベース５０から抽出し、端末装置１１０の表示部１８０に表示する（ステップＳ４０３、Ｓ４０４）。
【００５３】
具体的には、ユーザがカメラ付き携帯電話機等の端末装置１１０により画像を撮影すると、画像検索サーバ６０は、画像データベース９０を参照して、ユーザの撮影画像に類似（合致）する登録画像を検索する。そして検索された登録画像の名称タグ（広義にはタグ）に基づいて、撮影画像の候補名称タグを取得する。例えば撮影画像の被写体が寺である場合には、撮影画像の被写体に類似（合致）する寺の名称の候補が、候補名称タグとして取得される。
【００５４】
そして、取得された候補名称タグを含む検索結果データを作成し、後述する図６（Ｂ）に示すような検索結果画面を作成する。これにより端末装置１１０の表示部１８０には、作成された検索結果画面が表示される。例えば図６（Ｂ）の検索結果画面では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の名称が、画像認識結果である候補名称タグとして表示されている。
【００５５】
ユーザは、検索結果画面に表示されるこれらの候補名称タグの中から、自身が正解と思う名称タグを選択する。例えば図６（Ｂ）のＢ４では、ユーザは、自身が撮影した寺は「Ｅ１寺」であると判断したため、「Ｅ１寺」の名称タグを選択している。このようにユーザにより選択された名称タグは、確定名称タグ（正解タグ）であると判断される。そしてこの確定名称タグに基づいて撮影画像の撮影場所の位置情報が取得され、取得された位置情報に応じたコンテンツ情報がユーザに提示される。例えば図６（Ｂ）のＢ４のように「Ｅ１寺」が確定名称タグとして選択されると、「Ｅ１寺」の位置情報が取得される。そして図７（Ａ）のＤ１に示すように、「Ｅ１寺」の位置情報に基づいて、「Ｅ１寺」の周辺のリコメンドルート等のリコメンド情報がユーザに表示される。またＤ２に示すように、周辺店舗の広告情報も表示される。更に例えばユーザがＤ３の「周辺店舗を検索」をクリックすると、図７（Ｂ）に示すような周辺店舗情報が表示され、Ｄ４をクリックすると、図８に示すような詳細な店舗情報が表示される。
【００５６】
図３は本実施形態の基本的な動作を説明するための第２の処理フローである。図３では、管理サーバ１０は、撮像画像の画像認識結果に基づいて、撮影場所の位置情報が取得されると、取得された位置情報に基づいて、ユーザの所在地の特定又は移動経路の予測を行う（ステップＳ４１１、Ｓ４１２、Ｓ４１３）。そして、ユーザの所在地又は移動経路の周辺店舗用の情報処理装置２００に対して、ユーザが所在していることを知らせる通知情報を送信する（ステップＳ４１４）。そして、周辺店舗用の情報処理装置２００から、広告情報の配信要求が来ると、図７（Ａ）のＤ２に示すように、広告情報が端末装置１１０の表示部１８０に表示される（ステップＳ４１５、Ｓ４１６）。このようにすれば、撮影画像の画像認識結果から、ユーザの所在地を特定したり、移動経路を予測し、ユーザの所在地や移動経路の周辺にある店舗の情報処理装置からの広告情報を、ユーザに提示できる。
【００５７】
図４は本実施形態の基本的な動作を説明するための第３の処理フローである。図４では、管理サーバ１０は、撮像画像の画像認識結果に基づいて、撮影場所の位置情報が取得されると、取得された位置情報に基づいて、ユーザの人数等の集計処理を行う（ステップＳ４２１、Ｓ４２２、Ｓ４２３）。そして、ユーザの人数等の集計情報を、撮影場所の周辺店舗用の情報処理装置２００に送信する（ステップＳ４２４）。そして、周辺店舗用の情報処理装置２００から、広告情報の配信要求が来ると、広告情報が端末装置１１０の表示部１８０に表示される（ステップＳ４２５、Ｓ４２６）。このようにすれば、画像認識結果により得られた位置情報の集計処理を行い、その集計情報を、撮影場所の周辺にある店舗の情報処理装置に対して通知できる。
【００５８】
以下、本実施形態の構成について図１を用いて具体的に説明する。なお、管理サーバ１０、画像検索サーバ６０、端末装置１１０等は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また本実施形態のサーバシステムは、例えば管理サーバ１０及び画像検索サーバ６０の一方により実現したり、管理サーバ１０及び画像検索サーバ６０の両方により実現することができる。
【００５９】
ネットワーク１００（通信網）は、移動通信網、インターネット網等の公衆網、或いは固定電話網等を含むことができる。端末装置１１０と通信接続するための移動通信網は、ＣＤＭＡ（Code Division Multiple Access）方式やＰＤＣ（Personal Digital Cellular）方式等の移動電話網や、ＰＤＣ−Ｐ（PDC-Packet）方式等の移動データ通信網を含むことができる。このネットワーク１００は、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などにより実現することができ、有線・無線を問わない。
【００６０】
管理サーバ１０は、サーバシステムにおける管理処理等を担当するサーバであり、例えばウェブサーバやメールサーバなどである。画像検索サーバ６０は、画像検索やタグ処理を担当するサーバである。これらの管理サーバ１０、画像検索サーバ６０の機能は、情報処理装置などのハードウェアと、ＣＧＩプログラムなどのプログラムにより実現できる。
【００６１】
端末装置１１０は、例えばユーザが所持するカメラ付き携帯電話機、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）、カメラ機能を有する情報処理端末、もしくは、例えばカメラ機能を有する情報処理端末から画像を転送可能な装置（ＰＣ）などであり、撮影画像を取得する機能や、ネットワーク１００を介して管理サーバ１０や画像検索サーバ６０と通信する機能を有する。情報処理装置２００は、店舗用やユーザ用のＰＣ（Personal Computer）等である。
【００６２】
管理サーバ１０は、処理部２０、アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０、通信部５８を含む。処理部２０は、システム全体の管理処理やデータベースの管理処理やデータ作成処理などを行うものであり、その機能は、各種プロセッサ（ＣＰＵ等）などのハードウェアやＰＨＰPHP:Hypertext Preprocessor）やＰｅｒｌなどの言語により記述されたＣＧＩプログラムなどにより実現できる。
【００６３】
アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０は、例えばＭｙＳＱＬなどで実現されるリレーショナルデータベースである。アルバムデータベース４０は、ユーザの撮影画像をアルバム情報として記憶する。また撮影画像に関連づけて、その名称タグ（確定名称タグ）や、その撮影場所（ユーザ）の位置情報などを、アルバム情報として記憶する。個人情報データベース４２は、各種のユーザ情報を記憶する。コンテンツデータベース５０は、各種のコンテンツ情報を記憶するものであり、観光情報データベース５２、リコメンド情報データベース５４、広告情報データベース５６などを含むことができる。通信部５８は、ネットワーク１００を介して端末装置１１０や情報処理装置２００や他の外部サーバとの間で情報を通信するためのものである。
【００６４】
画像検索サーバ６０は、処理部７０、画像データベース９０、通信部９８を含む。処理部７０は、画像検索処理やタグ処理などを行うものであり、その機能は各種プロセッサやプログラムなどにより実現できる。
【００６５】
画像データベース９０は、画像検索のための登録画像を記憶するリレーショナルデータベースである。通信部９８は、ネットワーク１００を介して管理サーバ１０等との間で情報を通信するためのものである。
【００６６】
端末装置１１０は、処理部１２０、記憶部１４０、情報記憶媒体１５０、通信部１５８、撮像部１６０、操作部１７０、表示部１８０を含む。
【００６７】
処理部１２０は、操作部１７０からの操作情報や、通信部１５８が受信した情報等に基づいて、種々の処理を行う。この処理部１２０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、情報記憶媒体１５０に記憶されたプログラムなどにより実現できる。
【００６８】
記憶部１４０は、処理部１２０、通信部１５８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００６９】
情報記憶媒体１５０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）やＩＣカード（メモリカード）などにより実現できる。処理部１２０は、情報記憶媒体１５０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１５０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００７０】
通信部１５８は、ネットワーク１００を介して管理サーバ１０、画像検索サーバ６０や他の端末装置との間で情報を通信するためのものである。撮像部１６０は、被写体を撮像（撮影）するためのものであり、例えばＣＣＤやＣＭＯＳセンサなどにより実現できる。操作部１７０は、ユーザが端末装置１１０の各種操作を行うためのものであり、各種ボタン（シャッターボタン）やＧＵＩ（Graphical User Interface）などにより実現できる。表示部１８０は各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや有機ＥＬディスプレイやＣＲＴなどにより実現できる。
【００７１】
管理サーバ１０の処理部２０は、受信処理部２２、送信処理部２４、アルバム登録部２６、データ作成部２８、位置情報取得部３０、アルバム閲覧部３２、コンテンツ提示部３４、集計処理部３６を含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００７２】
受信処理部２２はデータの受信処理を行い、送信処理部２４はデータの送信処理を行う。例えば受信処理部２２は、画像検索の対象となるユーザの撮影画像（広義には検索対象画像、画像）についての送信データを、ネットワーク１００を介して例えば端末装置１１０から受信する。ここで、撮影画像についての送信データは、撮影画像データそのものであってもよいし、撮影画像の認識用データ（画像認識用データ）であってもよい。認識用データとしては、例えば撮影画像の特徴量データ（特徴データ）や検索対象画像を指定するデータなどを想定できる。
【００７３】
アルバム登録部２６はアルバムデータベース４０へのアルバム情報（画像、タグ、位置等）の登録処理を行う。具体的にはネットワーク１００を介して受信した撮影画像（撮影画像データ）をアルバムデータベース４０に登録する処理（書き込む処理）を行う。例えば受信処理部２２が、撮影画像についての送信データが添付されたユーザからのメールを受信したとする。この場合にはアルバム登録部２６は、受信したメールのメールアドレス（マイページＩＤ、ユーザＩＤ）により特定されるアルバムデータベース４０の格納場所（登録場所）に、撮影画像や確定名称タグ（正解タグ）を登録する。
【００７４】
データ作成部（検索結果画面作成部）２８は、検索結果データ等の各種データを作成する。例えば撮影画像に類似する複数の登録画像が画像データベース９０から検索され、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）が取得されたとする。この場合にはデータ作成部２８は、取得された複数の候補名称タグを含む検索結果データを作成する。即ち、図６（Ｂ）に示す検索結果画面を表示するためのデータを作成する。
【００７５】
そして図６（Ｂ）の検索結果画面において、複数の候補名称タグのいずれかをユーザが選択すると、アルバム登録部２６は、選択された候補名称タグを、撮影画像の確定名称タグ（正解タグ、選択タグ）として、アルバムデータベース４０の撮影画像（アルバム登録画像）に関連づけて登録する。これによりユーザは、自身が撮った画像と自身が選択した名称タグとが表示されるアルバムを閲覧できるようになる。
【００７６】
位置情報取得部３０は、撮影画像の画像認識結果に基づいて、撮影画像の撮影場所（ユーザの所在地）等の位置情報を取得する。具体的には、例えば確定名称タグに基づいて撮影場所の位置情報を取得する。例えばユーザが選択した確定名称タグが図６（Ｂ）の「Ｅ１寺」である場合には、観光情報ＤＢの観光情報等に基づいて、「Ｅ１寺」の位置を、撮影画像の撮影場所の位置情報として取得する。そしてアルバム登録部２６は、取得された撮影場所の位置情報を、アルバムデータベース４０の撮影画像に関連づけて登録する。こうすることで、例えばＧＰＳ等を利用しなくても、各撮影画像の撮影場所の位置情報を簡素な処理で取得できる。なおＧＰＳ、簡易位置情報等を用いて位置情報を取得してもよい。
【００７７】
アルバム閲覧部３２は、アルバムデータベース４０の撮影画像等のアルバム情報をユーザが閲覧するための処理を行う。具体的には図９（Ａ）〜図１０に示すような各種のアルバム閲覧画面を作成して表示するための処理を行う。
【００７８】
例えば図９（Ａ）のＣ３では、撮影場所に関するマップ画面（地図）が表示されている。そして、このマップ画面上には、アルバムに登録されている撮影画像の撮影場所の表示位置やその移動履歴（移動軌跡）が表示されている。例えばユーザが大阪の「Ｆ１タワー」を撮影した後、「Ｆ２神社」を撮影し、次に「Ｆ３城」を撮影したことが表示されている。この場合にアルバム閲覧部３２は、例えば位置情報取得部３０により取得された位置情報に基づいて、図９（Ａ）のマップ画面上での撮影場所の表示位置や移動履歴を特定する。
【００７９】
またアルバム閲覧部３２は、ユーザがアルバム情報の閲覧を選択すると、図９（Ｂ）に示すように、アルバムデータベース４０に登録されている撮影画像の一覧画面を作成して表示する。またアルバム閲覧部３２は、この一覧画面に表示されている撮影画像に対して、ユーザがコメントを入力すると、入力されたコメントをアルバムデータベース４０の撮影画像に関連づけて登録する。例えば図９（Ｂ）の一覧画面においてユーザが所望の撮影画像を選択すると、図１０に示すような画像詳細情報が表示される。そして、この画像詳細情報には、Ｃ１１に示すようにユーザがその撮影画像に対して入力したコメントが表示される。なお、入力したコメントを図９（Ｂ）の一覧画面において各撮影画像に対応づけて表示してもよい。
【００８０】
またアルバム登録部２６は図９（Ａ）、図９（Ｂ）のアルバム閲覧時に、ユーザにより画像のアップロードの選択が行われた場合には、アップロード画像をアルバムデータベース４０に登録する処理を行う。
【００８１】
なお、本実施形態では、検索結果画面やアルバム閲覧画面等の各種画面をサーバ側で作成する場合の例について説明しているが、これらの各種画面を端末装置側のアプリケーションプログラムにより作成してもよい。例えばサーバ側のデータ作成部２８が、検索結果画面等の各種画面を表示するためのデータ（検索結果データ等）を作成して送信すると、端末装置側のアプリケーションプログラムが、作成されたデータに基づいて各種画面を作成して、表示部１８０に表示してもよい。またソフトウェアとしてのブロックは、ハードウェア上一体であってもよく、例えば画像認識処理を端末装置側のアプリケーション処理として実行してもよい。
【００８２】
コンテンツ提示部３４は、各種のコンテンツ情報の提示処理（表示処理）を行う。例えば位置情報取得部３０により取得された位置情報に対応するコンテンツ情報（撮影場所でのリコメンド情報や広告情報等）をコンテンツデータベース５０から読み出す。そして読み出されたコンテンツ情報をユーザに提示するための処理を行う。具体的には図７（Ａ）〜図８に示すようなコンテンツ情報を端末装置１１０の表示部１８０に表示するための処理を行う。
【００８３】
例えばコンテンツ提示部３４は、ユーザに対してリコメンドルート（お勧めルート）を提示し、ユーザがリコメンドルートを選択すると、リコメンドルートにおけるリコメンド情報（周辺店舗や周辺スポット情報）を、ユーザに提示するための処理を行う。例えば図６（Ｂ）のＢ４のようにユーザが「Ｅ１寺」を確定名称タグとして選択すると、図７（Ａ）のＤ１に示すように、「Ｅ１寺」の周辺のリコメンドルートをユーザに提示する。この場合に、他ユーザについて取得された位置情報（位置情報を時系列に地図上に配置することにより得られる移動履歴情報を含む）に基づいて、リコメンドルートを作成することが望ましい。例えば図７（Ａ）のＤ１では、他ユーザについて取得された位置情報（位置情報のログ、移動情報、移動履歴）に基づいて、他ユーザリコメンドルート等が作成されている。
【００８４】
また、位置情報取得部３０により取得された位置情報に基づき、ユーザの所在地（滞在場所）が特定されたり、ユーザの移動経路が予測されたとする。この場合には送信処理部２４は、ユーザの所在地の周辺の店舗や予測移動経路の周辺の店舗のために用意された情報処理装置２００に対して、ユーザが所在していることを知らせる通知情報（ユーザの接近を知らせる通知情報）を送信する処理を行う。そしてコンテンツ提示部３４は、通知情報を受信した情報処理装置２００が、広告情報の配信を要求した場合に、広告情報をユーザに提示するための処理を行う。例えば広告情報データベース５６に予め登録されている広告情報を、端末装置１１０の表示部１８０に表示したり、メール等を利用してユーザに提示する。
【００８５】
集計処理部３６は、取得された位置情報についての集計処理を行う。例えば複数のユーザについて取得された位置情報の集計処理を行う。そして送信処理部２４は、撮影場所の周辺店舗用の情報処理装置２００に対して、集計処理により得られた集計情報を送信する。具体的には、撮影場所でのユーザの人数の集計情報を情報処理装置２００に対して送信する。例えば図６（Ｂ）のＢ４のように「Ｅ１寺」を選択したユーザの人数を集計し、人数の集計情報を「Ｅ１寺」の周辺店舗の情報処理装置２００に送信する。これにより周辺店舗は、「Ｅ１寺」の周囲に所在するユーザの人数を把握できるため、これらのユーザに対して広告情報を送信するか否かを判断できる。例えばユーザの人数が所定人数よりも多い場合に広告情報のメールを配信するというような判断が可能になる。
【００８６】
画像検索サーバ６０の処理部７０は、受信処理部７２、送信処理部７４、画像検索部７６、タグ処理部７８、画像管理部８０を含む。
【００８７】
受信処理部７２は、撮影画像のデータ等を例えば管理サーバ１０から受信する処理を行う。なお撮影画像のデータを端末装置１１０から受信するようにしてもよい。
【００８８】
画像検索部７６は画像検索処理を行う。具体的には、撮影画像に類似（合致）する複数の登録画像（1又は複数の登録画像）を画像データベース９０から検索する。
【００８９】
タグ処理部７８は、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）を取得する。具体的には、複数の名称タグの出現数（出現頻度）を集計し、集計結果に基づいて複数の名称タグのソーティング処理を行って、複数の候補名称タグを取得する。例えば複数の名称タグを、出現数が多い順に並べ替えて、重複する名称タグを１つの名称タグにまとめる名寄せ処理等を行って、候補名称タグを取得する。そして送信処理部７４は、取得された候補名称タグ（タグ情報）を管理サーバ１０に送信する処理を行う。
【００９０】
なお、名称タグの集計処理は、名称タグの出現数を単純にカウントする処理には限定されない。例えば、撮影画像に類似する画像として抽出された登録画像の類似度等に基づいて重み付け係数を求め、この重み付け係数と出現数に基づいてタグの集計処理を行うなどの種々の変形実施が可能である。例えば出現数が少なくても、撮影画像に対する登録画像の類似度が高い場合には、その登録画像の名称タグの集計値を大きくするようにしてもよい。
【００９１】
画像管理部８０は画像データベース９０の管理処理を行う。例えば画像データベース９０への画像の登録処理や、画像データベース９０の登録画像の削除処理（クリーニング処理）などを行う。例えば図６（Ｂ）に示す画像検索の検索結果画面において、複数の候補名称タグのいずれかをユーザが選択したとする。この場合には画像管理部８０は、選択された候補名称タグを撮影画像の確定名称タグとして、撮影画像に関連づけて画像データベース９０に登録する。即ち、ユーザの撮影画像とユーザが選択した確定名称タグを、画像データベース９０に登録する。
【００９２】
また画像管理部８０は、画像データベース９０に登録された撮影画像である登録撮影画像を、画像データベース９０から抽出する（読み出す）。そして、抽出された登録撮影画像が所定条件を満たさない場合には、その登録撮影画像を画像データベース９０から削除する処理を行う。
【００９３】
端末装置１１０の処理部１２０は、画像取得部１２２、送信処理部１２４、受信処理部１２６、表示制御部１２８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００９４】
画像取得部１２２は検索対象となる撮影画像を取得する。例えば、撮像部１６０により被写体を撮像することで得られた撮影画像（被写体画像）を取り込む。なお、例えばメモリカードなどに保存された撮影画像を読み出して取得してもよい。
【００９５】
送信処理部１２４は、取得された撮影画像についての送信データを、ネットワーク１００を介して管理サーバ１０（広義にはサーバシステム）に送信する処理を行う。受信処理部１２６は、撮影画像の類似画像検索の検索結果データをネットワーク１００を介して受信する処理を行う。
【００９６】
表示制御部１２８は、撮影画像の画像認識結果（候補名称タグ等）に基づいて、撮影画像の撮影場所の位置情報が取得され、取得された位置情報に応じたコンテンツ情報がコンテンツデータベース５０から抽出された場合に、レコメンド情報や広告情報などのコンテンツ情報を表示部１８０に表示する制御を行う。
【００９７】
具体的には表示制御部１２８は、撮影画像に類似する登録画像が検索され、検索結果により候補名称タグが取得されると、取得された候補名称タグが表示される検索結果画面を、表示部１８０に表示する制御を行う。そして送信処理部１２４は、この検索結果画面において、複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、位置情報を取得するための確定名称タグとして、ネットワーク１００を介して送信する。そしてこの確定名称タグに基づいて位置情報が取得され、取得された位置情報に基づいてコンテンツ情報がコンテンツデータベース５０から読み出されると、表示制御部１２８は、このコンテンツ情報を表示部１８０に表示する制御を行う。また表示制御部１２８は、図９（Ａ）〜図１０に示すように、アルバムデータベース４０のアルバム情報に基づくアルバム閲覧画面を表示する制御を行う。具体的には図９（Ａ）に示すように、アルバムデータベース４０に登録されている撮影画像の撮影場所や移動履歴が表示されたマップ画面を表示する制御を行う。
【００９８】
２．動作
次に本実施形態の詳細な動作について図５の処理フローを用いて説明する。なお以下では「データベース」は、適宜、「ＤＢ」と記載する。
【００９９】
ユーザは端末装置１１０のカメラ（撮像部）で被写体を撮影すると、その撮影画像が添付されたメールを、特定のメールアドレス先に送信する（ステップＳ３０１）。管理サーバ１０は、ユーザからのメールを受信すると、メールに添付されている撮影画像をアルバムＤＢに登録（蓄積）すると共にその撮影画像を画像検索サーバ６０に送信する（ステップＳ３０２、Ｓ３０３、Ｓ３０４）。
【０１００】
画像検索サーバ６０は、撮影画像を受信すると、画像ＤＢを参照して画像認識処理を行う（ステップＳ３０５、Ｓ３０６）。具体的には、撮影画像（検索対象画像）と、画像ＤＢの各登録画像とを照合し、撮影画像に類似（合致する場合を含む）する登録画像のうち、上位の所定数の登録画像を抽出する。そして画像認識処理の結果に基づいて候補名称タグを取得し、取得された候補名称タグを管理サーバ１０に送信する（ステップＳ３０７、Ｓ３０８）。具体的には、撮影画像に類似する上位の所定数の登録画像に関連づけられた名称タグの集計処理（名寄せ処理）を行って、候補名称タグを取得し、管理サーバ１０に送信する。
【０１０１】
管理サーバ１０は、候補名称タグを受信すると、観光情報ＤＢから候補名称タグに対応する観光情報を抽出し、結果通知メールをユーザの端末装置１１０に送信する（ステップＳ３０９、Ｓ３１０、Ｓ３１１）。
【０１０２】
図６（Ａ）に結果通知メールの例を示す。この結果通知メールは、Ｂ１、Ｂ２に示すように、撮影画像の候補名称タグや、検索結果画面等を表示するためのマイページのＵＲＬ（Uniform Resource Locator）を含むメールになっている。そしてユーザがＢ２のマイページＵＲＬをクリックすると、図６（Ｂ）に示すような検索結果画面が表示される（ステップＳ３１３、Ｓ３１４）。
【０１０３】
図６（Ｂ）の検索結果画面では、Ｂ３に示すように撮影画像の候補名称タグと各候補名称タグに対応するアイコン画像（撮影画像に類似する登録画像）が表示される。具体的には「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の候補名称タグと、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」を表すアイコン画像が表示される。ユーザは、これらの候補名称タグやアイコン画像を参照して、自身が正解と考えた候補名称タグ（アイコン画像）を選択する（ステップＳ３１５）。例えば図６（Ｂ）ではＢ４に示す「Ｅ１寺」の候補名称タグを選択している。
【０１０４】
すると管理サーバ１０は、観光情報ＤＢ等のコンテンツＤＢを参照して、各種のコンテンツ情報を抽出して、図７（Ａ）に示すようなコンテンツ情報画面（観光情報画面）を表示する（ステップＳ３１６、Ｓ３１７）。これによりユーザは、図７（Ａ）に示すように観光地情報やレコメンド情報や広告情報などの各種のコンテンツ情報を閲覧できるようになる（ステップＳ３１８）。
【０１０５】
具体的には、ユーザが図６（Ｂ）のＢ３に示す候補名称タグの中から、Ｂ４に示す「Ｅ１寺」の名称タグを選択すると、選択された「Ｅ１寺」の名称タグは確定名称タグであると判断される。そして確定名称タグである「Ｅ１寺」の位置情報が観光情報ＤＢから取得され、図７（Ａ）のＤ１に示すように、「Ｅ１寺」の周囲のリコメンドルート等のリコメンド情報が表示される。
【０１０６】
そしてユーザが図７（Ａ）のＤ３の「周辺店舗を検索する」をクリックすると、図７（Ｂ）に示すような周辺店舗情報画面が表示される。更に、図７（Ｂ）のＤ４に示すように特定の周辺店舗をクリックすることで、図８に示すように、その周辺店舗の詳細情報が表示される。
【０１０７】
なお、ユーザにより選択された確定名称タグは、撮影画像と共に画像ＤＢに登録される（ステップＳ３１９）。即ち、ユーザの撮影画像が画像ＤＢの登録撮影画像として登録されると共に、ユーザが選択した確定名称タグが、登録撮影画像の正解タグとして登録される。また、ユーザにより選択された確定名称タグは、アルバムＤＢにも登録される（ステップＳ３２０）。即ちユーザの撮影画像に関連づけて「Ｅ１寺」の確定名称タグが登録される。これにより、ユーザが画像検索を行った撮影画像と、それに対してユーザが選択した確定名称タグが、アルバムＤＢに次々に登録されるようになる。
【０１０８】
図６（Ｂ）のＢ５に示すように、ユーザに対しては、送付した撮影画像がユーザのアルバムに登録された旨が通知される。そしてユーザが、どのようなアルバムが作成されたのかに興味を持って、Ｂ６のアルバム閲覧をクリックすると、図９（Ａ）に示すようなアルバム閲覧画面が表示される（ステップＳ３２１、Ｓ３２２）。
【０１０９】
図９（Ａ）では、Ｃ１に示すように、「大阪アルバム」や「滋賀アルバム」というようにユーザが過去に旅行に行った場所のアルバムを閲覧することができ、ここでは最も最近に行った「大阪アルバム」が表示されている。なお、アルバムは日付単位（撮影日単位等）でグループ化されるものであってもよい。
【０１１０】
図９（Ａ）のＣ２に示すように、ユーザは大阪の旅行で「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の写真を撮っており、その撮影画像の画像検索を行っている。そしてユーザは図６（Ｂ）の検索結果画面において、これらの観光地の確定名称タグを選択しており、これらの撮影画像や確定名称タグがアルバムＤＢに登録されている。すると管理サーバ１０は、これらの「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の確定名称タグから、その観光地の場所を特定して、Ｃ３に示すマップ画面上に表示している。例えばＣ４、Ｃ５、Ｃ６の星マークは、各々、「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の位置を表し、Ｃ７、Ｃ８の矢印マークは、ユーザ（撮影場所）の移動履歴（移動経路）を表している。ユーザは、これらのマークを見ることで、大阪の旅行においてどのようなルートで観光を行ったのかを思い出すことができる。
【０１１１】
そしてユーザが、Ｃ９に示す「アルバムを見る」をクリックすると、図９（Ｂ）に示すように、大阪アルバムにおける撮影画像の一覧画面が表示される。即ちアルバムＤＢのアルバム情報に基づいて撮影画像の一覧画面が作成されて表示される。ユーザは、このような一覧画面を見ることで、大阪で撮影した画像を閲覧することができ、旅行の思い出を楽しむことができる。
【０１１２】
また図９（Ｂ）の一覧画面において、ユーザが、Ｃ１０に示す「詳細を観る」をクリックすると、図１０に示すような画像詳細画面が表示される。この画像詳細画面においては、Ｃ１１に示すように、ユーザは写真に対するコメントを入力できる。これによりユーザは、どのような状況・経緯等で写真が撮影されたかをコメントにより書き留めておくことができ、ユーザの旅行を振り返ることが可能になる。
【０１１３】
また図５のステップＳ３１５においてユーザが候補名称タグを選択すると、その確定名称タグに基づいて観光情報ＤＢ等からその観光地等の位置情報が取得される（ステップＳ３３０）。これにより、ユーザの所在地が特定され、その所在地の周辺店舗用の情報処理装置（ＰＣ）２００に対して、ユーザが所在（接近）していることを知らせる通知メールが送信される（ステップＳ３３１）。
【０１１４】
情報処理装置２００は、この通知メールを受信すると、広告メール配信の対象ユーザを抽出して、抽出された対象ユーザの中から、通知メールを配信するユーザを選択する（ステップＳ３３２、Ｓ３３３、Ｓ３３４）。例えばユーザの個人情報ＤＢからの情報に基づき、年齢層、性別等に応じて広告メール配信の対象ユーザを絞り込んで選択する。そして選択された対象ユーザに対して、登録された広告内容に対応する広告メールを配信することを、管理サーバ１０に対して要求する（ステップＳ３３５）。なお、広告内容の登録は、管理サーバ１０からの通知メールの受信前に予め行っておくことが望ましい。
【０１１５】
管理サーバ１０は、広告メールの配信要求を受信すると、広告情報ＤＢからの広告情報を読み出して、広告メールを作成する（ステップＳ３３６）。広告情報ＤＢには、情報処理装置２００により予め登録された内容の広告情報が記憶されている。そして管理サーバ１０が作成した広告メールを送信し、端末装置１１０が広告メールを受信すると、端末装置１１０の表示部１８０にその周辺店舗の広告メールが表示されるようになる（ステップＳ３３７、Ｓ３３８）。
【０１１６】
例えばユーザが観光地である「Ｅ１寺」で写真を撮影し、図６（Ｂ）の検索結果画面において、「Ｅ１寺」を確定名称タグとして選択したとする。すると、観光情報ＤＢから「Ｅ１寺」の位置情報が抽出され、この位置情報に基づいてユーザの所在地が特定され、その所在地の周辺店舗に対して通知メールが送信される。そしてその周辺店舗の情報処理装置２００から、広告メールの配信要求があると、例えば図７（Ａ）のＤ２に示すように、その周辺店舗の広告情報が表示される。このようにすれば、画像検索により得られた確定名称タグを有効活用して，ユーザの所在地を特定し、その所在地の周辺店舗の広告情報をリアルタイムにユーザに提示できるようになる。
【０１１７】
以上に説明した本実施形態の手法によれば、ユーザがカメラ付き携帯電話機やデジタルカメラで写真を撮影し、その撮影画像の画像認識をサーバ側に依頼すると、画像認識結果として、図６（Ｂ）に示すような検索結果画面（画像認識結果画面）が表示される。そしてこの検索結果画面において、ユーザが、候補名称タグの中から正解となる名称タグを選択すると、選択された名称タグは確定名称タグであると判断され、この確定名称タグに基づいて撮影画像の撮影場所の位置情報が特定される。そして、特定された位置情報に対応するリコメンド情報や広告情報などのコンテンツ情報が、ユーザに提示される。従って、ＧＰＳや基地局情報等を利用しなくても、撮影画像の画像認識結果により撮影場所の位置情報を特定して、特定された位置情報に対応するコンテンツ情報が抽出されるため、撮影場所に対応する適切なコンテンツ情報をユーザに提示できる。
【０１１８】
即ち、ＧＰＳ等により得られる位置情報は、緯度・経度そのものであり、このような緯度・経度のみでは、ユーザがその撮影場所において、どのような対象に興味を持って写真を撮影したのかを一意的に特定することは難しい。
【０１１９】
これに対して図６（Ｂ）のＢ４に示すように、ユーザが、撮影画像の確定名称タグとして「Ｅ１寺」を選択した場合には、ユーザの撮影対象が「Ｅ１寺」であり、ユーザの撮影場所が「Ｅ１寺」の場所であることを、一意的に特定できる。従って、「Ｅ１寺」の位置情報に対応するリコメンド情報や広告情報などのコンテンツ情報を提示すれば、「Ｅ１寺」の撮影場所に対応する適切なコンテンツ情報をユーザに提示できる。なお、ユーザの位置情報の特定に、ＧＰＳや基地局情報により取得される位置情報を併せて使用することも可能である。
【０１２０】
また本実施形態では、画像認識結果により取得された位置情報に基づいてユーザの所在地が特定された場合に、特定された所在地の周辺店舗の情報処理装置に対して、ユーザが所在していることを知らせる通知情報が通知される。そしてこの情報処理装置から広告情報の配信の要求があった場合には、図７（Ａ）のＤ２に示すように、ユーザの端末装置１１０にその周辺店舗の広告情報が表示される。従って、ユーザが移動しながら写真を撮影し、撮影画像の画像検索をサーバ側に依頼すると、ユーザの撮影場所に応じて、図７（Ａ）のＤ２に表示される広告情報もリアルタイムに変化するようになる。従って、ユーザの撮影場所に応じた適切な広告情報をユーザの端末装置に表示でき、これまでにない広告配信システムを実現できる。
【０１２１】
また、取得された位置情報やその集計情報を、周辺店舗の情報処理装置に送信すれば、広告情報を配信するか否かについての適切な判断材料を、周辺店舗に知らせることができる。例えば周辺店舗の情報処理装置は、サーバシステムからのユーザの人数の集計情報に基づいて、その場所に所在するユーザの人数が所定人数以上であると判断された場合に、広告情報を配信する処理が可能になる。また、位置情報や集計情報に加えて、年齢層や性別等のユーザ情報についても情報処理装置に送信すれば、広告情報の配信に関する更に適切な判断材料を、周辺店舗に提供できる。
【０１２２】
また本実施形態では、旅行中や観光中（オントラベル中）においては、ユーザは、カメラ付き携帯電話機やデジタルカメラで写真を撮影し、その撮影画像の画像検索をサーバ側に依頼すると、図６（Ｂ）に示すような検索結果画面が表示され、図７（Ａ）〜図８に示すような観光情報等のガイド情報を見ることができる。従って、携帯電話機等で写真を撮って、その写真を特定のメールアドレスに送信するだけで、このようなガイド情報が表示されるため、ユーザは、旅行中にガイドブックを持ち歩かなくても済むようになる。これにより、ガイドブックに比べて、携行性や利便性の高いガイド情報の提供が可能になる。
【０１２３】
またユーザが画像検索を依頼した撮影画像は、ユーザが意識しなくても自動的にアルバムＤＢに登録されて保存される。そしてユーザが図６（Ｂ）の検索結果画面において、その撮影画像の名称タグを確定する選択を行うと、その確定名称タグが撮影画像に関連づけて登録され、その撮影画像の名称が自動的に付与されるようになる。従って、ユーザが撮影した画像を個人単位でストレージして、ウェブアルバムとしてユーザに提供できるようになるため、ユーザは保存容量を気にせずに写真を撮影してサーバに保存しておくことが可能になる。
【０１２４】
またユーザが画像検索を目的として写真を撮影した場合にも、図６（Ｂ）のＢ６に示すように、撮影画像がアルバムに登録された旨がユーザに知らされ、ユーザは図９（Ａ）〜図１０のアルバム閲覧画面で撮影画像を閲覧できる。従って、オントラベルにおけるガイド情報の提供のみならず、アフタートラベルにおいて旅行の思い出を振り返るための情報をユーザに提供できる。また図９（Ａ）のＣ３に示すように、撮影画像の撮影場所の位置情報を活用して旅行中の移動履歴をマップ画面上に軌跡として残すことで、ユーザは、旅行の余韻を視覚的に楽しむことが可能になる。従って、多くの撮影画像が閲覧されずに保存されたままになってしまうという事態を防止でき、アルバムの閲覧を介して撮影画像の有効活用を図れる。
【０１２５】
また図１０のＣ１１に示すように、ウェブアルバムのアルバム情報に対して、ユーザはコメントや評価を入力できる。従って、ウェブアルバムのマップ画面、撮影画像、コメントが連動したブログやＳＮＳ（Social Networking Service）、アルバム公開、アルバム写真のスライドショーの提供も可能になる。
【０１２６】
３．データベース構造
次に本実施形態で使用されるアルバムＤＢや画像ＤＢのデータ構造について説明する。図１１（Ａ）にアルバムＤＢのデータ構造の例を示す。図１１（Ａ）においてマイページＩＤはユーザＩＤに相当し、例えばＭＰＩＤＡはユーザＡのマイページＩＤであり、ＭＰＩＤＢはユーザＢのマイページＩＤである。例えば新規ユーザが、特定のメールアドレスに対して、撮影画像を添付したメールを送信して、ユーザ登録を行うと、例えば登録ユーザのメールアドレスに１対１に対応してマイページＩＤが付与される。すると、そのユーザのメールに添付された撮影画像は、そのマイページＩＤに対応するアルバムＤＢの格納場所に書き込まれるようになる。例えばユーザＡがユーザ登録を行い、マイページＩＤ＝ＭＰＩＤＡが付与された場合には、ユーザＡのメールに添付された撮影画像は、図１１（Ａ）のマイページＩＤ＝ＭＰＩＤＡの格納場所に登録される。また図６（Ｂ）のＢ４に示すようにユーザが候補名称タグから確定名称タグを選択すると、図１１（Ａ）に示すようにその確定名称タグは、撮影画像に関連づけて登録される。このように本実施形態では、受信したユーザのメールのメールアドレスにより特定されるアルバムＤＢの格納場所に、撮影画像や確定名称タグが登録される。
【０１２７】
また例えば確定名称タグにより位置情報が取得された場合に、図１１（Ａ）に示すように、その位置情報についても撮影画像に関連づけて登録することが望ましい。このようにすれば、図９（Ａ）のＣ４〜Ｃ８に示すように、登録された位置情報を用いて、撮影画像の撮影場所や移動履歴を特定して、マップ画面上に表示する処理を容易化できる。この場合に、例えばアルバムＤＢに登録された位置情報をユーザが編集できるようにしてもよい。このようにすれば、ユーザは図９（Ａ）のＣ３のマップ画面において、撮影場所の位置を微調整することなどが可能になり、ユーザの利便性を向上できる。なお位置情報をアルバムＤＢに記憶しないようにしてもよい。例えば必要に応じて観光情報ＤＢ等を参照して、位置情報を取得してもよい。
【０１２８】
図１１（Ｂ）に画像ＤＢのデータ構造例を示す。この画像ＤＢでは、各登録画像データに対して各名称タグが関連づけて登録されている。なお、１つの登録画像データに対して複数の名称タグを関連づけるようにしてもよい。
【０１２９】
そして本実施形態では、例えばユーザの撮影画像の画像検索が行われ、図６（Ｂ）のＢ４に示すように確定名称タグをユーザが選択すると、画像検索が行われた撮影画像とその確定名称タグが、画像ＤＢにも登録される。即ちユーザの撮影画像及びその確定名称タグが、画像検索のための登録画像及びその名称タグとして画像ＤＢに登録される。このようにすれば、様々なユーザが画像検索を行うことで、画像ＤＢに対してその撮影画像が登録画像として次々に追加されるようになる。即ち、ユーザの利用により画像ＤＢのリファレンス画像となる登録画像が増え、画像ＤＢが成長するようになる。従って、様々な撮影画像に対して画像ＤＢが対応できるようになり、ユーザの利便性等を向上できる。
【０１３０】
４．候補名称タグの取得
次に候補名称タグの取得手法の一例について説明する。例えば図１２（Ａ）では、ユーザの撮影画像に類似する登録画像として、ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６・・・が画像ＤＢから抽出されている。図１２（Ａ）では、登録画像は類似度が高い順に上位列挙されており、登録画像ＩＭＴ１の類似度が最も高く、登録画像ＩＭＴ２の類似度がその次に高くなっている。
【０１３１】
また登録画像ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６に対しては、各々、名称タグである「Ｅ１寺」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」が関連づけられている。この場合に本実施形態では、これらの名称タグの出現数（出現頻度）を集計し、集計結果に基づいて候補名称タグを取得する。例えば図１２（Ａ）では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の出現数は、各々、３回、２回、１回になっている。このため、図１２（Ａ）の名称タグを、出現数が多い順に並び替えて出現数が上位の所定数の名称タグだけを残すことで、図１２（Ｂ）に示すような候補名称タグが取得される。この場合に、重複する名称タグを削除して１つにする名寄せ処理も行われる。
【０１３２】
なお集計処理における出現数のカウントの際に、その画像の類似度に応じた重み付け計数を乗算するようにしてもよい。また、出現数のカウントを行わずに、類似度の高い順に並べた名称タグに対して名寄せ処理を行い、名寄せ処理後の上位の所定数の名称タグを、候補名称タグとして取得してもよい。
【０１３３】
５．画像認識
次に画像認識処理の詳細例について説明する。画像検索のための画像認識処理としては、例えば、特徴点を利用した画像認識と、画像全体の特徴を利用した画像認識がある。
【０１３４】
５．１ 特徴点を利用した画像認識（合致検索）
特徴点を利用した画像認識では、まず、原画像に対して段階的にブラー処理を行って、ブラー画像を作成する。そしてブラー画像間の差分を取り、差分画像を作成し、差分画像の中で、その値が極値となる座標（周囲よりも値が大きい又は小さくなる座標）にある画素を特徴点とする。通常、１枚の画像から複数の特徴点が抽出される。
【０１３５】
各特徴点の特徴量は１２８次元のベクトルで表現され、これを特徴ベクトルと呼ぶ。この特徴ベクトルは、上述のようにして求められた特徴点を中心とした一定の範囲（以下、ピックアップ範囲と呼ぶ）におけるブラー画像の微分値を、対応する次元に足し込むことで求められる。
【０１３６】
足し込む微分値は、特徴点に近いほど値が大きくなるように重み付けをする。足し込む次元のインデックスは、ピックアップ範囲の各画素の座標（以下、ピックアップ座標と呼ぶ）を、４×４に丸めた座標と、ピックアップ座標の微分方位を８方向に丸めた方位から求める。そして複数の特徴点の全てについて、この特徴量を求める。
【０１３７】
次に、登録画像と、質問画像（検索対象画像）に対して、上述の処理を行って、特徴点を抽出すると共に特徴量を抽出する。そして質問画像から抽出された特徴点の特徴量に最も近い特徴量を、登録画像の中から検索する。ここで、特徴量の近さは、特徴ベクトルの距離によって表現される。
【０１３８】
このように、検索対象画像から抽出された特徴点に対応する登録画像の特徴点を求め、対応する特徴点を最も多く有する登録画像を、正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、対応する特徴点を多く有する画像から順に上位Ｊ個（Ｊは２以上の整数）の画像を、正解画像（類似画像）として返送する。
【０１３９】
５．２ 画像全体の特徴を利用した画像認識（類似検索）
画像全体の特徴を利用した画像認識では、まず画像全体をグレースケール化し、輝度画像に変換する。この輝度画像を１６×１６の画素に縮小し、例えば２５６次元のベクトルにしたものを構図特徴とする。
【０１４０】
画素全体の色相を例えば１０区間に分け、そのヒストグラムを画像全体の色特徴とし、１０次元のベクトルとして表現する。また画像全体を５１２色に分け、そのうち占有面積の上位３０色を代表色の色特徴とする。
【０１４１】
登録画像と質問画像に対して、上述の処理を行い、特徴量を算出する。そして質問画像に最も近い特徴を持つ登録画像を正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、質問画像に近い画像から順に上位Ｊ個の画像を返送する。特徴の近さは、各特徴ベクトルの距離によって表現される。また構図特徴と色特徴のどちらを重視するかにより、重み付けを変更する。
【０１４２】
６．詳細な処理
次に本実施形態の詳細な処理例について図１３〜図１６の処理フローを用いて説明する。
【０１４３】
図１３、図１４は、撮影画像の画像検索により候補名称タグを取得し、ユーザの選択により得られた確定候補名称タグを撮影画像に関連づけてアルバムＤＢや画像ＤＢに登録する処理のフローである。
【０１４４】
ユーザが端末装置１１０により被写体を撮影して、撮影画像を添付したメールを送信すると、管理サーバ１０が受信して、メールアドレスをチェックする（ステップＳ１〜Ｓ４）。そして、メールアドレスにより特定されるユーザが新規ユーザである場合には、ユーザＩＤとなるマイページＩＤを発行し、個人情報ＤＢにユーザの情報を登録する（ステップＳ５、Ｓ６）。一方、既にサービスを利用している既存のユーザである場合には、そのマイページＩＤを撮影画像に付与して、撮影画像を画像検索サーバ６０に送信すると共にアルバムＤＢに登録する（ステップＳ７〜Ｓ９）。
【０１４５】
画像検索サーバ６０は、撮影画像を受信すると、撮影画像の特徴点を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１０〜Ｓ１２）。即ち上述した特徴点を利用した画像認識（合致検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否か（認識結果が出たか否か）を判断する（ステップＳ１３、Ｓ１４）。
【０１４６】
画像認識に成功しなかった場合には、画像の構図を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１５、Ｓ１６）。即ち、上述の画像全体の特徴を利用した画像認識（類似検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否かを判断する（ステップＳ１７、Ｓ１８）。
【０１４７】
ステップＳ１４又はＳ１８で画像認識に成功したと判断された場合には、検索された登録画像の名称タグを類似度順に上位列挙して、名称タグの集計処理（名寄せ処理）を行い、候補名称タグを取得し、管理サーバ１０に送信する（ステップＳ１９〜Ｓ２２）。一方、ステップＳ１８で画像認識に成功しなかったと判断された場合には、画像検索サーバ６０はエラー結果を送信する（ステップＳ５１）。そして管理サーバ１０は、エラー結果を受信すると、エラーメールを作成して端末装置１１０に送信する（ステップＳ５２〜Ｓ５４）。端末装置１１０のユーザが、エラーメールの受領を確認して、メール内のＵＲＬをクリックすると、トップ画面が表示される（ステップＳ５５〜Ｓ５７）。このトップ画面でユーザが画像認識検索を選択すると、メーラーが起動してステップＳ１に戻り，テキスト検索を選択するとテキスト検索が行われる（ステップＳ５８〜Ｓ６１）。
【０１４８】
管理サーバ１０は、画像検索サーバ６０から候補名称タグを受信すると、候補名称タグに基づき観光情報ＤＢを検索して、図６（Ｂ）に示すような検索結果画面を作成する（ステップＳ２３〜Ｓ２５）。そして、作成した検索結果画面のＵＲＬを知らせる図６（Ａ）の結果通知メールを端末装置１１０に送信する（ステップＳ２６）。
【０１４９】
端末装置１１０のユーザが結果通知メールの受領を確認して、ＵＲＬにより検索結果画面の閲覧を選択すると、図６（Ｂ）の検索結果画面が表示される（ステップＳ２７〜Ｓ２９）。そしてユーザが、図６（Ｂ）のＢ４に示すように正解と考える候補名称タグを選択すると、図７（Ａ）に示すような観光情報画面（ガイド情報画面）が表示され、ユーザはこの観光情報画面を閲覧する（ステップＳ３０〜Ｓ３３）。そして管理サーバ１０は、選択された候補名称タグを確定名称タグであると判断して、撮影画像及び確定名称タグを画像検索サーバ６０に送信する（ステップＳ３４、Ｓ３５）。また確定名称タグに基づいて観光情報ＤＢを参照することで、撮影画像の撮影場所の位置情報を取得する（ステップＳ３６）。図６（Ｂ）のＢ４を例にとれば、「Ｅ１寺」の位置情報が観光情報ＤＢから取得される。そして確定名称タグ及び位置情報を撮影画像に関連づけてアルバムＤＢに登録する（ステップＳ３７）。
【０１５０】
一方、撮影画像及び確定名称タグを受信した画像検索サーバ６０は、受信した撮影画像及び確定名称タグを画像ＤＢに登録する（ステップＳ３８、Ｓ３９）。これにより、撮影画像は、画像検索のリファレンスとなる登録画像として画像ＤＢに登録されることになる。
【０１５１】
なお図６（Ｂ）のＢ７に示すように検索結果画面においてユーザが画像検索を選択すると、メーラーが起動して図１３のステップＳ１に戻る（ステップＳ４０、Ｓ４１）。またＢ８に示すようにテキスト検索を選択すると、観光情報ＤＢを参照したテキスト検索が実行され、観光情報ＤＢから所望の情報が検索された場合には、テキスト検索の検索結果画面が表示される（ステップＳ６１〜Ｓ６３、Ｓ２９）。一方、情報を検索できなかった場合には、外部サイトによる検索を実行し、外部サイトからの検索結果を受信して、検索結果画面を表示する（ステップＳ６４〜Ｓ６６、Ｓ２９）。
【０１５２】
図１５は、取得された位置情報に基づいてリコメンド情報や広告情報等のコンテンツ情報をユーザに提示する処理のフローである。
【０１５３】
ユーザによる観光情報の選択により、図７（Ａ）に示すような観光情報画面が表示され、ユーザは観光地情報を閲覧する（ステップＳ２２１、Ｓ２２２、Ｓ２２３）。そしてユーザが図７（Ａ）のＤ１をクリックして、リコメンドルートを選択すると、管理サーバ１０は観光情報ＤＢを参照して、撮影場所（ユーザの所在地）の位置情報を取得する（ステップＳ２２４、Ｓ２２５）。そしてレコメンド情報ＤＢを参照して、情報（ルート）別の周辺施設検索を行い、観光情報ＤＢから周辺施設情報を抽出する（ステップＳ２２６、Ｓ２２７）。またログ情報ＤＢを参照して、他ユーザの閲覧回数のログを取得して、リコメンドルート画面を作成する（ステップＳ２２８、Ｓ２２９）。即ち、他ユーザについて取得された位置情報（位置情報を時系列に地図上に配置することにより得られる移動履歴情報を含む）に基づいて、リコメンドルートを作成する。これによりユーザは、他ユーザのリコメンドルートを閲覧できるようになる（ステップＳ２３０）。
【０１５４】
一方、ユーザが図７（Ａ）のＤ３をクリックして、周辺店舗検索を選択すると、管理サーバ１０は、観光情報ＤＢを参照して、撮影場所（ユーザの所在地）の位置情報を取得する（ステップＳ２３１、Ｓ２３２）。そして店舗情報ＤＢを参照して、周辺店舗の検索／抽出を実行する（ステップＳ２３３）。また広告情報ＤＢを参照して、広告出稿店舗の検索／抽出を実行する（ステップＳ２３４）。そして図７（Ｂ）、図８に示すような周辺店舗情報画面を作成する（ステップＳ２３５）。これによりユーザは周辺店舗情報を閲覧できるようになる（ステップＳ２３６）。
【０１５５】
図１６は、取得された位置情報に基づきユーザの所在地を特定し、所在地の周辺店舗の情報処理装置に対して、通知情報を送信し、その周辺店舗の広告情報をユーザに提示する処理のフローである。
【０１５６】
まず、ログ情報を参照して、ユーザの位置情報等に関するログ情報を解析して、現時点のユーザ所在地を特定する（ステップＳ２４１、Ｓ２４２）。またユーザのログ情報に基づいて、ユーザの移動経路を予測する（ステップＳ２４３）。例えばユーザが場所Ｐ１からＰ２に移動し、場所Ｐ２からＰ３に移動した場合に、これらの場所Ｐ１、Ｐ２、Ｐ３の位置情報やその移動軌跡から、次の移動場所Ｐ４を予測する。そして、これらのユーザの所在地や移動経路を知らせる通知メールを、周辺店舗ＰＣ（情報処理装置）に送信する（ステップＳ２４４）。
【０１５７】
管理画面にログインした周辺店舗ＰＣは、通知メールを受信すると、広告メールの配信対象者を抽出し、広告メールの配信数を確定する（ステップＳ２４５〜Ｓ２４８）。例えば管理サーバ１０から、ユーザの年齢層や性別等のユーザ情報が知らされている場合や、ユーザの人数の集計情報が知らされている場合には、これらのユーザ情報や集計情報に基づいて、広告メールの配信対象者を抽出したり、広告メールの配信数を確定する。
【０１５８】
次に、広告情報ＤＢからテンプレートを抽出し、過去に登録したテンプレートがある場合には、それらのテンプレートの中から所望のテンプレートを選択する（ステップＳ２４９〜Ｓ２５１）。一方、テンプレートが無い場合には、広告店舗側が、広告内容の新規入力を行い、テンプレートとして広告情報ＤＢに登録する（ステップＳ２５２、Ｓ２５３）。そして広告メールの配信要求を広告情報ＤＢに登録する（ステップＳ２５４）。
【０１５９】
管理サーバ１０は、取得された位置情報を設定し、広告情報ＤＢを参照して、周辺店舗による広告出稿があるか否かを確認する（ステップＳ２６１、Ｓ２６２）。そして、広告出稿がある場合には、周辺店舗により登録された店舗広告情報を広告情報ＤＢから抽出する（ステップＳ２６３、Ｓ２６４）。そしてメールを作成してユーザの端末装置１１０に配信する（ステップＳ２６５）。メールを受信したユーザが、店舗情報にアクセスすると、管理サーバ１０は店舗情報画面を作成して表示する（ステップＳ２６６〜Ｓ２６８）。これにより、ユーザは、周辺店舗情報画面を閲覧して、周辺店舗の広告情報等を見ることが可能になる（ステップＳ２６９）。なお、ステップＳ２６５でユーザに配信するメール自体が広告情報となっていて、ユーザがメールを見ることにより広告情報の配信が完結するようにしてもよい。また、周辺店舗情報画面では閲覧者が広告メール受信者であることを識別し、ユーザに応じた広告情報画面を作成することにより、ユーザが店舗でユーザ毎に異なる優待（割引・サービス追加等）を受けるようにすることも可能である。
【０１６０】
以上のようにすることで、取得された位置情報によりユーザの所在地を特定し、周辺店舗からの広告情報をユーザの所在地に応じてリアルタイムに配信できるようになる。
【０１６１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またサーバシステム、端末装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６２】
１０ 管理サーバ、２０ 処理部、２２ 受信処理部、２４ 送信処理部、
２６ アルバム登録部、２８ データ作成部、３０ 位置情報取得部、
３２ アルバム閲覧部、３４ コンテンツ提示部、３６ 集計処理部、
４０ アルバムデータベース、４２ 個人情報データベース、
５０ コンテンツデータベース、５２ 観光情報データベース、
５４ リコメンド情報データベース、５６ 広告情報データベース、５８ 通信部、
６０ 画像検索サーバ、７０ 処理部、７２ 受信処理部、７４ 送信処理部、
７６ 画像検索部、７８ タグ処理部、８０ 画像管理部、
９０ 画像データベース、９８ 通信部、１００ ネットワーク、１１０ 端末装置、
１２０ 処理部、１２２ 画像取得部、１２４ 送信処理部、１２６ 受信処理部、
１２８ 表示制御部、１４０ 記憶部、１５０ 情報記憶媒体、１６０ 撮像部、
１７０ 操作部、１８０ 表示部、２００ 情報処理装置
【技術分野】
【０００１】
本発明は、サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等に関する。
【背景技術】
【０００２】
従来より、カメラで撮影した商品等を画像認識処理を利用して検索する画像検索システムが知られている。例えば特許文献１には、ユーザが所望の商品を撮影して、ネットワークを介して撮影画像をサーバに送信すると、サーバが、撮影画像に基づいて商品情報を検索し、検索された商品情報をユーザの端末装置に返信するシステムが開示されている。
【０００３】
しかしながら、これまでの画像検索システムでは、画像認識結果は、商品等の画像検索のみに利用されており、画像認識結果を利用して位置情報を特定するようなシステムについては提案されていなかった。
【０００４】
また、これまでの画像検索システムでは、撮影画像は商品検索等に利用されるだけであり、画像検索の対象となった撮影画像をシステム側に保存して、ユーザに再提示するようなシステムについても提案されていなかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２８５６５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、画像認識結果を有効利用して位置情報を取得できるサーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部と、取得された前記位置情報に対応するコンテンツ情報をコンテンツデータベースから抽出し、前記コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部とを含むサーバシステムに関係する。
【０００８】
本発明の一態様では、ユーザの撮影画像についての送信データがネットワークを介して受信されると、受信した撮影画像の画像認識が行われ、画像認識結果に基づいて、撮影場所の位置情報が取得される。そして取得された位置情報に対応するコンテンツ情報がコンテンツデータベースから抽出されてユーザに提示される。従って、撮影画像の画像認識を行いながら、その画像認識の結果を有効活用して撮影場所の位置情報を取得してコンテンツ情報を提供できる。また画像認識結果から位置情報を取得することで、単なる緯度・経度の情報からは取得できない、意味のある位置情報（例えばユーザが何を見ていて何に関心があるのかといった情報）の取得が可能になる。
【０００９】
また本発明の一態様では、前記コンテンツ提示部は、取得された前記位置情報に基づいて、前記撮影場所でのリコメンド情報を前記コンテンツデータベースから選択し、選択された前記リコメンド情報をユーザに提示するための処理を行ってもよい。
【００１０】
このようにすれば、画像を撮影したユーザに対して、撮影画像の画像認識結果により特定された撮影場所でのリコメンド情報を提示できるようになる。
【００１１】
また本発明の一態様では、前記コンテンツ提示部は、ユーザに対してリコメンドルートを提示し、ユーザが前記リコメンドルートを選択した場合には、前記リコメンドルートにおけるリコメンド情報を、ユーザに提示するための処理を行ってもよい。
【００１２】
このようにすれば、画像を撮影したユーザに対して、撮影画像の画像認識結果により特定された撮影場所でのリコメンドルートを提示できるようになる。
【００１３】
また本発明の一態様では、前記コンテンツ提示部は、他ユーザについて取得された前記位置情報に基づいて、前記リコメンドルートを作成してもよい。
【００１４】
このようにすれば、様々なユーザの撮影画像から取得された位置情報に基づいて、リコメンドルートを作成して、各ユーザに提示できるようになる。
【００１５】
また本発明の一態様では、前記位置情報に基づき特定されたユーザの所在地の周辺店舗用の情報処理装置に対して、ユーザが所在していることを知らせる通知情報を送信する処理を行う送信処理部を含んでもよい。
【００１６】
このようにすれば、画像認識結果により取得された撮影場所の位置情報によりユーザの所在地が特定され、その所在地の周辺の店舗用の情報処理装置に対して、ユーザが近くに所在していることを知らせることが可能になる。
【００１７】
また本発明の一態様では、前記送信処理部は、前記位置情報に基づき予測されるユーザの移動経路の周辺店舗用の情報処理装置に対して、前記通知情報を送信する処理を行ってもよい。
【００１８】
このようにすれば、予測されるユーザの移動経路の周辺の店舗用の情報処理装置に対して、ユーザが近くに所在していることを知らせることが可能になる。
【００１９】
また本発明の一態様では、前記コンテンツ提示部は、前記通知情報を受信した前記情報処理装置が、広告情報の配信を要求した場合に、前記広告情報をユーザに提示するための処理を行ってもよい。
【００２０】
このようにすれば、ユーザが近くに所在していることを知らされた周辺店舗用の情報処理装置からの広告情報を、ユーザに提示できる。
【００２１】
また本発明の一態様では、複数のユーザについて取得された前記位置情報の集計処理を行う集計処理部と、前記撮影場所の周辺店舗用の情報処理装置に対して、前記集計処理により得られた集計情報を送信する処理を行う送信処理部を含んでもよい。
【００２２】
このようにすれば、画像認識により取得された位置情報の集計情報を、撮影場所の周辺店舗用の情報処理装置に対して通知できる。
【００２３】
また本発明の一態様では、前記送信処理部は、前記撮影場所でのユーザの人数の集計情報を前記情報処理装置に対して送信する処理を行ってもよい。
【００２４】
このようにすれば、周辺店舗用の情報処理装置は、撮影場所に所在するユーザの人数の集計情報を知ることが可能になる。
【００２５】
また本発明の他の態様では、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部を含み、前記位置情報取得部は、前記検索結果データにより表示される検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグであると判断し、前記確定名称タグに基づいて、前記撮影場所の前記位置情報を取得するサーバシステムに関係する。
【００２６】
このようにすれば、検索結果画面の複数の候補名称タグのいずれかをユーザが選択すると、選択された確定名称タグが、撮影画像の被写体の名称を示すものであると判断して、撮影場所の位置情報を取得できるようになる。
【００２７】
また本発明の他の態様では、前記撮影画像に類似する前記複数の登録画像を前記画像データベースから検索する画像検索部と、検索された前記複数の登録画像に関連づけられた前記複数の名称タグから、前記複数の候補名称タグを取得するタグ処理部を含んでもよい。
【００２８】
このようにすれば、撮影画像の画像検索により候補名称タグを取得できるようになる
また本発明の他の態様では、前記タグ処理部は、前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得してもよい。
【００２９】
このようにすれば、名称タグの出現数に応じて候補名称タグを選択して取得できるようになる。
【００３０】
また本発明の他の態様では、前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部を含み、前記アルバム登録部は、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、前記撮影画像の前記確定名称タグを、前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００３１】
このようにすれば、画像検索の対象となった撮影画像がアルバムとして閲覧可能になり、これまでにないタイプの画像検索を実現できる。
【００３２】
また本発明の他の態様では、前記受信処理部は、前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、前記アルバム登録部は、受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録してもよい。
【００３３】
このようにすれば、撮影画像が添付されたメールをユーザが送信するだけで、そのメールアドレスにより特定される格納場所に撮影画像が登録されるようになるため、ユーザの利便性を向上できる。
【００３４】
また本発明の他の態様では、前記アルバム登録部は、取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００３５】
このようにすれば、ユーザが選択した確定名称タグにより撮影画像の撮影場所の位置情報を特定して、アルバムデータベースに登録できるようになる。
【００３６】
また本発明の他の態様では、前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含んでもよい。
【００３７】
このようにすれば、ユーザは、画像検索の対象となった撮影画像が自動的に登録されるアルバムを閲覧して楽しむことが可能になる。
【００３８】
また本発明の他の態様では、前記アルバム閲覧部は、前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行ってもよい。
【００３９】
このようにすれば、撮影画像の撮影場所等がマップ画面上に軌跡として残るようになるため、旅行の余韻等をユーザは楽しむことが可能になる。
【００４０】
また本発明の他の態様では、前記アルバム閲覧部は、取得された前記撮影場所の前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定してもよい。
【００４１】
このようにすれば、確定名称タグを活用して撮影場所の位置情報を特定して、撮影場所やその移動履歴をマップ画面上に表示できる。
【００４２】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、前記撮影画像に類似する複数の登録画像を画像データベースから検索する画像検索部と、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得するタグ処理部と、前記撮影画像の画像検索の検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグと判断し、前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部とを含むサーバシステムに関係する。
【００４３】
本発明の他の態様によれば、ユーザの撮影画像についての送信データがネットワークを介して受信されると、受信した撮影画像に類似する登録画像が検索され、登録画像の名称タグから撮影画像の候補名称タグが取得される。そして画像検索の検索結果画面において、候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグを撮影画像の確定名称タグと判断し、確定名称タグに基づいて、撮影場所の位置情報を取得できる。従って、単なる緯度・経度の情報からは取得できない、意味のある位置情報を取得できるようになる。
【００４４】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像を取得する画像取得部と、取得された前記撮影画像についての送信データをネットワークを介して送信する処理を行う送信処理部と、前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、表示部の表示制御を行う表示制御部とを含み、前記表示制御部は、前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報が取得され、取得された前記位置情報に応じたコンテンツ情報がコンテンツデータベースから抽出された場合に、前記コンテンツ情報を前記表示部に表示する制御を行う端末装置に関係する。また本発明の態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００４５】
本発明の他の態様によれば、画像検索の対象となる撮影画像が取得されると、その撮影画像がネットワークを介して送信される。そして、撮影画像の画像認識が行われると、その画像認識結果に基づいて、撮影画像の撮影場所の位置情報が取得され、取得された位置情報に応じたコンテンツ情報が、表示部に表示される。従って、撮影画像の画像認識を行いながら、その画像認識の結果を有効活用して位置情報を取得して、コンテンツ情報を提供できるようになる。
【００４６】
また本発明の他の態様では、前記表示制御部は、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、前記送信処理部は、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記位置情報を取得するための確定名称タグとして、ネットワークを介して送信する処理を行ってもよい。
【００４７】
このようにすれば、検索結果画面の複数の候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグが、位置情報を取得するための確定名称タグとして送信されるようになる。
【００４８】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像に類似する複数の登録画像を画像データベースから検索し、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、取得された前記複数の候補名称タグが表示された検索結果画面を表示し、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグと判断し、前記確定名称タグに基づいて、前記撮影画像の撮影場所を取得する画像検索方法に関係する。
【図面の簡単な説明】
【００４９】
【図１】本実施形態のシステム構成例。
【図２】本実施形態の基本的な動作を説明するための第１の処理フロー。
【図３】本実施形態の基本的な動作を説明するための第２の処理フロー。
【図４】本実施形態の基本的な動作を説明するための第３の処理フロー。
【図５】本実施形態の詳細な動作を説明するための処理フロー。
【図６】図６（Ａ）、図６（Ｂ）は結果通知メールや検索結果画面の例。
【図７】図７（Ａ）、図７（Ｂ）は観光情報画面、周辺店舗情報画面の例。
【図８】店舗情報画面の例。
【図９】図９（Ａ）、図９（Ｂ）はアルバム閲覧画面の例。
【図１０】画像詳細画面の例。
【図１１】図１１（Ａ）、図１１（Ｂ）はアルバムデータベースや画像データベースのデータ構造の例。
【図１２】図１２（Ａ）、図１２（Ｂ）はタグ処理の説明図。
【図１３】本実施形態の詳細な処理フロー。
【図１４】本実施形態の詳細な処理フロー。
【図１５】本実施形態の詳細な処理フロー。
【図１６】本実施形態の詳細な処理フロー。
【発明を実施するための形態】
【００５０】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５１】
１．システム構成
図１に本実施形態の画像検索システムのシステム構成を示す。この画像検索システムは、管理サーバ１０や画像検索サーバ６０により実現されるサーバシステムや、端末装置１１０（通信端末、携帯端末装置、電子機器）、情報処理装置２００などにより実現される。これらの管理サーバ１０、画像検索サーバ６０、端末装置１１０、情報処理装置２００はネットワーク１００により通信接続されている。なおネットワーク１００に他の外部サーバや端末装置を通信接続してもよい。
【００５２】
図２に、本実施形態の基本的な動作を説明するための第１の処理フローを示す。本実施形態では管理サーバ１０は、撮像画像についての送信データを受信すると、撮像画像の画像認識結果（候補名称タグ等）に基づいて、撮影画像の撮影場所の位置情報を取得する（ステップＳ４０１、Ｓ４０２）。そして取得された位置情報に対応するリコメンド情報、広告情報等のコンテンツ情報を、コンテンツデータベース５０から抽出し、端末装置１１０の表示部１８０に表示する（ステップＳ４０３、Ｓ４０４）。
【００５３】
具体的には、ユーザがカメラ付き携帯電話機等の端末装置１１０により画像を撮影すると、画像検索サーバ６０は、画像データベース９０を参照して、ユーザの撮影画像に類似（合致）する登録画像を検索する。そして検索された登録画像の名称タグ（広義にはタグ）に基づいて、撮影画像の候補名称タグを取得する。例えば撮影画像の被写体が寺である場合には、撮影画像の被写体に類似（合致）する寺の名称の候補が、候補名称タグとして取得される。
【００５４】
そして、取得された候補名称タグを含む検索結果データを作成し、後述する図６（Ｂ）に示すような検索結果画面を作成する。これにより端末装置１１０の表示部１８０には、作成された検索結果画面が表示される。例えば図６（Ｂ）の検索結果画面では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の名称が、画像認識結果である候補名称タグとして表示されている。
【００５５】
ユーザは、検索結果画面に表示されるこれらの候補名称タグの中から、自身が正解と思う名称タグを選択する。例えば図６（Ｂ）のＢ４では、ユーザは、自身が撮影した寺は「Ｅ１寺」であると判断したため、「Ｅ１寺」の名称タグを選択している。このようにユーザにより選択された名称タグは、確定名称タグ（正解タグ）であると判断される。そしてこの確定名称タグに基づいて撮影画像の撮影場所の位置情報が取得され、取得された位置情報に応じたコンテンツ情報がユーザに提示される。例えば図６（Ｂ）のＢ４のように「Ｅ１寺」が確定名称タグとして選択されると、「Ｅ１寺」の位置情報が取得される。そして図７（Ａ）のＤ１に示すように、「Ｅ１寺」の位置情報に基づいて、「Ｅ１寺」の周辺のリコメンドルート等のリコメンド情報がユーザに表示される。またＤ２に示すように、周辺店舗の広告情報も表示される。更に例えばユーザがＤ３の「周辺店舗を検索」をクリックすると、図７（Ｂ）に示すような周辺店舗情報が表示され、Ｄ４をクリックすると、図８に示すような詳細な店舗情報が表示される。
【００５６】
図３は本実施形態の基本的な動作を説明するための第２の処理フローである。図３では、管理サーバ１０は、撮像画像の画像認識結果に基づいて、撮影場所の位置情報が取得されると、取得された位置情報に基づいて、ユーザの所在地の特定又は移動経路の予測を行う（ステップＳ４１１、Ｓ４１２、Ｓ４１３）。そして、ユーザの所在地又は移動経路の周辺店舗用の情報処理装置２００に対して、ユーザが所在していることを知らせる通知情報を送信する（ステップＳ４１４）。そして、周辺店舗用の情報処理装置２００から、広告情報の配信要求が来ると、図７（Ａ）のＤ２に示すように、広告情報が端末装置１１０の表示部１８０に表示される（ステップＳ４１５、Ｓ４１６）。このようにすれば、撮影画像の画像認識結果から、ユーザの所在地を特定したり、移動経路を予測し、ユーザの所在地や移動経路の周辺にある店舗の情報処理装置からの広告情報を、ユーザに提示できる。
【００５７】
図４は本実施形態の基本的な動作を説明するための第３の処理フローである。図４では、管理サーバ１０は、撮像画像の画像認識結果に基づいて、撮影場所の位置情報が取得されると、取得された位置情報に基づいて、ユーザの人数等の集計処理を行う（ステップＳ４２１、Ｓ４２２、Ｓ４２３）。そして、ユーザの人数等の集計情報を、撮影場所の周辺店舗用の情報処理装置２００に送信する（ステップＳ４２４）。そして、周辺店舗用の情報処理装置２００から、広告情報の配信要求が来ると、広告情報が端末装置１１０の表示部１８０に表示される（ステップＳ４２５、Ｓ４２６）。このようにすれば、画像認識結果により得られた位置情報の集計処理を行い、その集計情報を、撮影場所の周辺にある店舗の情報処理装置に対して通知できる。
【００５８】
以下、本実施形態の構成について図１を用いて具体的に説明する。なお、管理サーバ１０、画像検索サーバ６０、端末装置１１０等は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また本実施形態のサーバシステムは、例えば管理サーバ１０及び画像検索サーバ６０の一方により実現したり、管理サーバ１０及び画像検索サーバ６０の両方により実現することができる。
【００５９】
ネットワーク１００（通信網）は、移動通信網、インターネット網等の公衆網、或いは固定電話網等を含むことができる。端末装置１１０と通信接続するための移動通信網は、ＣＤＭＡ（Code Division Multiple Access）方式やＰＤＣ（Personal Digital Cellular）方式等の移動電話網や、ＰＤＣ−Ｐ（PDC-Packet）方式等の移動データ通信網を含むことができる。このネットワーク１００は、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などにより実現することができ、有線・無線を問わない。
【００６０】
管理サーバ１０は、サーバシステムにおける管理処理等を担当するサーバであり、例えばウェブサーバやメールサーバなどである。画像検索サーバ６０は、画像検索やタグ処理を担当するサーバである。これらの管理サーバ１０、画像検索サーバ６０の機能は、情報処理装置などのハードウェアと、ＣＧＩプログラムなどのプログラムにより実現できる。
【００６１】
端末装置１１０は、例えばユーザが所持するカメラ付き携帯電話機、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）、カメラ機能を有する情報処理端末、もしくは、例えばカメラ機能を有する情報処理端末から画像を転送可能な装置（ＰＣ）などであり、撮影画像を取得する機能や、ネットワーク１００を介して管理サーバ１０や画像検索サーバ６０と通信する機能を有する。情報処理装置２００は、店舗用やユーザ用のＰＣ（Personal Computer）等である。
【００６２】
管理サーバ１０は、処理部２０、アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０、通信部５８を含む。処理部２０は、システム全体の管理処理やデータベースの管理処理やデータ作成処理などを行うものであり、その機能は、各種プロセッサ（ＣＰＵ等）などのハードウェアやＰＨＰPHP:Hypertext Preprocessor）やＰｅｒｌなどの言語により記述されたＣＧＩプログラムなどにより実現できる。
【００６３】
アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０は、例えばＭｙＳＱＬなどで実現されるリレーショナルデータベースである。アルバムデータベース４０は、ユーザの撮影画像をアルバム情報として記憶する。また撮影画像に関連づけて、その名称タグ（確定名称タグ）や、その撮影場所（ユーザ）の位置情報などを、アルバム情報として記憶する。個人情報データベース４２は、各種のユーザ情報を記憶する。コンテンツデータベース５０は、各種のコンテンツ情報を記憶するものであり、観光情報データベース５２、リコメンド情報データベース５４、広告情報データベース５６などを含むことができる。通信部５８は、ネットワーク１００を介して端末装置１１０や情報処理装置２００や他の外部サーバとの間で情報を通信するためのものである。
【００６４】
画像検索サーバ６０は、処理部７０、画像データベース９０、通信部９８を含む。処理部７０は、画像検索処理やタグ処理などを行うものであり、その機能は各種プロセッサやプログラムなどにより実現できる。
【００６５】
画像データベース９０は、画像検索のための登録画像を記憶するリレーショナルデータベースである。通信部９８は、ネットワーク１００を介して管理サーバ１０等との間で情報を通信するためのものである。
【００６６】
端末装置１１０は、処理部１２０、記憶部１４０、情報記憶媒体１５０、通信部１５８、撮像部１６０、操作部１７０、表示部１８０を含む。
【００６７】
処理部１２０は、操作部１７０からの操作情報や、通信部１５８が受信した情報等に基づいて、種々の処理を行う。この処理部１２０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、情報記憶媒体１５０に記憶されたプログラムなどにより実現できる。
【００６８】
記憶部１４０は、処理部１２０、通信部１５８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００６９】
情報記憶媒体１５０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）やＩＣカード（メモリカード）などにより実現できる。処理部１２０は、情報記憶媒体１５０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１５０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００７０】
通信部１５８は、ネットワーク１００を介して管理サーバ１０、画像検索サーバ６０や他の端末装置との間で情報を通信するためのものである。撮像部１６０は、被写体を撮像（撮影）するためのものであり、例えばＣＣＤやＣＭＯＳセンサなどにより実現できる。操作部１７０は、ユーザが端末装置１１０の各種操作を行うためのものであり、各種ボタン（シャッターボタン）やＧＵＩ（Graphical User Interface）などにより実現できる。表示部１８０は各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや有機ＥＬディスプレイやＣＲＴなどにより実現できる。
【００７１】
管理サーバ１０の処理部２０は、受信処理部２２、送信処理部２４、アルバム登録部２６、データ作成部２８、位置情報取得部３０、アルバム閲覧部３２、コンテンツ提示部３４、集計処理部３６を含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００７２】
受信処理部２２はデータの受信処理を行い、送信処理部２４はデータの送信処理を行う。例えば受信処理部２２は、画像検索の対象となるユーザの撮影画像（広義には検索対象画像、画像）についての送信データを、ネットワーク１００を介して例えば端末装置１１０から受信する。ここで、撮影画像についての送信データは、撮影画像データそのものであってもよいし、撮影画像の認識用データ（画像認識用データ）であってもよい。認識用データとしては、例えば撮影画像の特徴量データ（特徴データ）や検索対象画像を指定するデータなどを想定できる。
【００７３】
アルバム登録部２６はアルバムデータベース４０へのアルバム情報（画像、タグ、位置等）の登録処理を行う。具体的にはネットワーク１００を介して受信した撮影画像（撮影画像データ）をアルバムデータベース４０に登録する処理（書き込む処理）を行う。例えば受信処理部２２が、撮影画像についての送信データが添付されたユーザからのメールを受信したとする。この場合にはアルバム登録部２６は、受信したメールのメールアドレス（マイページＩＤ、ユーザＩＤ）により特定されるアルバムデータベース４０の格納場所（登録場所）に、撮影画像や確定名称タグ（正解タグ）を登録する。
【００７４】
データ作成部（検索結果画面作成部）２８は、検索結果データ等の各種データを作成する。例えば撮影画像に類似する複数の登録画像が画像データベース９０から検索され、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）が取得されたとする。この場合にはデータ作成部２８は、取得された複数の候補名称タグを含む検索結果データを作成する。即ち、図６（Ｂ）に示す検索結果画面を表示するためのデータを作成する。
【００７５】
そして図６（Ｂ）の検索結果画面において、複数の候補名称タグのいずれかをユーザが選択すると、アルバム登録部２６は、選択された候補名称タグを、撮影画像の確定名称タグ（正解タグ、選択タグ）として、アルバムデータベース４０の撮影画像（アルバム登録画像）に関連づけて登録する。これによりユーザは、自身が撮った画像と自身が選択した名称タグとが表示されるアルバムを閲覧できるようになる。
【００７６】
位置情報取得部３０は、撮影画像の画像認識結果に基づいて、撮影画像の撮影場所（ユーザの所在地）等の位置情報を取得する。具体的には、例えば確定名称タグに基づいて撮影場所の位置情報を取得する。例えばユーザが選択した確定名称タグが図６（Ｂ）の「Ｅ１寺」である場合には、観光情報ＤＢの観光情報等に基づいて、「Ｅ１寺」の位置を、撮影画像の撮影場所の位置情報として取得する。そしてアルバム登録部２６は、取得された撮影場所の位置情報を、アルバムデータベース４０の撮影画像に関連づけて登録する。こうすることで、例えばＧＰＳ等を利用しなくても、各撮影画像の撮影場所の位置情報を簡素な処理で取得できる。なおＧＰＳ、簡易位置情報等を用いて位置情報を取得してもよい。
【００７７】
アルバム閲覧部３２は、アルバムデータベース４０の撮影画像等のアルバム情報をユーザが閲覧するための処理を行う。具体的には図９（Ａ）〜図１０に示すような各種のアルバム閲覧画面を作成して表示するための処理を行う。
【００７８】
例えば図９（Ａ）のＣ３では、撮影場所に関するマップ画面（地図）が表示されている。そして、このマップ画面上には、アルバムに登録されている撮影画像の撮影場所の表示位置やその移動履歴（移動軌跡）が表示されている。例えばユーザが大阪の「Ｆ１タワー」を撮影した後、「Ｆ２神社」を撮影し、次に「Ｆ３城」を撮影したことが表示されている。この場合にアルバム閲覧部３２は、例えば位置情報取得部３０により取得された位置情報に基づいて、図９（Ａ）のマップ画面上での撮影場所の表示位置や移動履歴を特定する。
【００７９】
またアルバム閲覧部３２は、ユーザがアルバム情報の閲覧を選択すると、図９（Ｂ）に示すように、アルバムデータベース４０に登録されている撮影画像の一覧画面を作成して表示する。またアルバム閲覧部３２は、この一覧画面に表示されている撮影画像に対して、ユーザがコメントを入力すると、入力されたコメントをアルバムデータベース４０の撮影画像に関連づけて登録する。例えば図９（Ｂ）の一覧画面においてユーザが所望の撮影画像を選択すると、図１０に示すような画像詳細情報が表示される。そして、この画像詳細情報には、Ｃ１１に示すようにユーザがその撮影画像に対して入力したコメントが表示される。なお、入力したコメントを図９（Ｂ）の一覧画面において各撮影画像に対応づけて表示してもよい。
【００８０】
またアルバム登録部２６は図９（Ａ）、図９（Ｂ）のアルバム閲覧時に、ユーザにより画像のアップロードの選択が行われた場合には、アップロード画像をアルバムデータベース４０に登録する処理を行う。
【００８１】
なお、本実施形態では、検索結果画面やアルバム閲覧画面等の各種画面をサーバ側で作成する場合の例について説明しているが、これらの各種画面を端末装置側のアプリケーションプログラムにより作成してもよい。例えばサーバ側のデータ作成部２８が、検索結果画面等の各種画面を表示するためのデータ（検索結果データ等）を作成して送信すると、端末装置側のアプリケーションプログラムが、作成されたデータに基づいて各種画面を作成して、表示部１８０に表示してもよい。またソフトウェアとしてのブロックは、ハードウェア上一体であってもよく、例えば画像認識処理を端末装置側のアプリケーション処理として実行してもよい。
【００８２】
コンテンツ提示部３４は、各種のコンテンツ情報の提示処理（表示処理）を行う。例えば位置情報取得部３０により取得された位置情報に対応するコンテンツ情報（撮影場所でのリコメンド情報や広告情報等）をコンテンツデータベース５０から読み出す。そして読み出されたコンテンツ情報をユーザに提示するための処理を行う。具体的には図７（Ａ）〜図８に示すようなコンテンツ情報を端末装置１１０の表示部１８０に表示するための処理を行う。
【００８３】
例えばコンテンツ提示部３４は、ユーザに対してリコメンドルート（お勧めルート）を提示し、ユーザがリコメンドルートを選択すると、リコメンドルートにおけるリコメンド情報（周辺店舗や周辺スポット情報）を、ユーザに提示するための処理を行う。例えば図６（Ｂ）のＢ４のようにユーザが「Ｅ１寺」を確定名称タグとして選択すると、図７（Ａ）のＤ１に示すように、「Ｅ１寺」の周辺のリコメンドルートをユーザに提示する。この場合に、他ユーザについて取得された位置情報（位置情報を時系列に地図上に配置することにより得られる移動履歴情報を含む）に基づいて、リコメンドルートを作成することが望ましい。例えば図７（Ａ）のＤ１では、他ユーザについて取得された位置情報（位置情報のログ、移動情報、移動履歴）に基づいて、他ユーザリコメンドルート等が作成されている。
【００８４】
また、位置情報取得部３０により取得された位置情報に基づき、ユーザの所在地（滞在場所）が特定されたり、ユーザの移動経路が予測されたとする。この場合には送信処理部２４は、ユーザの所在地の周辺の店舗や予測移動経路の周辺の店舗のために用意された情報処理装置２００に対して、ユーザが所在していることを知らせる通知情報（ユーザの接近を知らせる通知情報）を送信する処理を行う。そしてコンテンツ提示部３４は、通知情報を受信した情報処理装置２００が、広告情報の配信を要求した場合に、広告情報をユーザに提示するための処理を行う。例えば広告情報データベース５６に予め登録されている広告情報を、端末装置１１０の表示部１８０に表示したり、メール等を利用してユーザに提示する。
【００８５】
集計処理部３６は、取得された位置情報についての集計処理を行う。例えば複数のユーザについて取得された位置情報の集計処理を行う。そして送信処理部２４は、撮影場所の周辺店舗用の情報処理装置２００に対して、集計処理により得られた集計情報を送信する。具体的には、撮影場所でのユーザの人数の集計情報を情報処理装置２００に対して送信する。例えば図６（Ｂ）のＢ４のように「Ｅ１寺」を選択したユーザの人数を集計し、人数の集計情報を「Ｅ１寺」の周辺店舗の情報処理装置２００に送信する。これにより周辺店舗は、「Ｅ１寺」の周囲に所在するユーザの人数を把握できるため、これらのユーザに対して広告情報を送信するか否かを判断できる。例えばユーザの人数が所定人数よりも多い場合に広告情報のメールを配信するというような判断が可能になる。
【００８６】
画像検索サーバ６０の処理部７０は、受信処理部７２、送信処理部７４、画像検索部７６、タグ処理部７８、画像管理部８０を含む。
【００８７】
受信処理部７２は、撮影画像のデータ等を例えば管理サーバ１０から受信する処理を行う。なお撮影画像のデータを端末装置１１０から受信するようにしてもよい。
【００８８】
画像検索部７６は画像検索処理を行う。具体的には、撮影画像に類似（合致）する複数の登録画像（1又は複数の登録画像）を画像データベース９０から検索する。
【００８９】
タグ処理部７８は、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）を取得する。具体的には、複数の名称タグの出現数（出現頻度）を集計し、集計結果に基づいて複数の名称タグのソーティング処理を行って、複数の候補名称タグを取得する。例えば複数の名称タグを、出現数が多い順に並べ替えて、重複する名称タグを１つの名称タグにまとめる名寄せ処理等を行って、候補名称タグを取得する。そして送信処理部７４は、取得された候補名称タグ（タグ情報）を管理サーバ１０に送信する処理を行う。
【００９０】
なお、名称タグの集計処理は、名称タグの出現数を単純にカウントする処理には限定されない。例えば、撮影画像に類似する画像として抽出された登録画像の類似度等に基づいて重み付け係数を求め、この重み付け係数と出現数に基づいてタグの集計処理を行うなどの種々の変形実施が可能である。例えば出現数が少なくても、撮影画像に対する登録画像の類似度が高い場合には、その登録画像の名称タグの集計値を大きくするようにしてもよい。
【００９１】
画像管理部８０は画像データベース９０の管理処理を行う。例えば画像データベース９０への画像の登録処理や、画像データベース９０の登録画像の削除処理（クリーニング処理）などを行う。例えば図６（Ｂ）に示す画像検索の検索結果画面において、複数の候補名称タグのいずれかをユーザが選択したとする。この場合には画像管理部８０は、選択された候補名称タグを撮影画像の確定名称タグとして、撮影画像に関連づけて画像データベース９０に登録する。即ち、ユーザの撮影画像とユーザが選択した確定名称タグを、画像データベース９０に登録する。
【００９２】
また画像管理部８０は、画像データベース９０に登録された撮影画像である登録撮影画像を、画像データベース９０から抽出する（読み出す）。そして、抽出された登録撮影画像が所定条件を満たさない場合には、その登録撮影画像を画像データベース９０から削除する処理を行う。
【００９３】
端末装置１１０の処理部１２０は、画像取得部１２２、送信処理部１２４、受信処理部１２６、表示制御部１２８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００９４】
画像取得部１２２は検索対象となる撮影画像を取得する。例えば、撮像部１６０により被写体を撮像することで得られた撮影画像（被写体画像）を取り込む。なお、例えばメモリカードなどに保存された撮影画像を読み出して取得してもよい。
【００９５】
送信処理部１２４は、取得された撮影画像についての送信データを、ネットワーク１００を介して管理サーバ１０（広義にはサーバシステム）に送信する処理を行う。受信処理部１２６は、撮影画像の類似画像検索の検索結果データをネットワーク１００を介して受信する処理を行う。
【００９６】
表示制御部１２８は、撮影画像の画像認識結果（候補名称タグ等）に基づいて、撮影画像の撮影場所の位置情報が取得され、取得された位置情報に応じたコンテンツ情報がコンテンツデータベース５０から抽出された場合に、レコメンド情報や広告情報などのコンテンツ情報を表示部１８０に表示する制御を行う。
【００９７】
具体的には表示制御部１２８は、撮影画像に類似する登録画像が検索され、検索結果により候補名称タグが取得されると、取得された候補名称タグが表示される検索結果画面を、表示部１８０に表示する制御を行う。そして送信処理部１２４は、この検索結果画面において、複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、位置情報を取得するための確定名称タグとして、ネットワーク１００を介して送信する。そしてこの確定名称タグに基づいて位置情報が取得され、取得された位置情報に基づいてコンテンツ情報がコンテンツデータベース５０から読み出されると、表示制御部１２８は、このコンテンツ情報を表示部１８０に表示する制御を行う。また表示制御部１２８は、図９（Ａ）〜図１０に示すように、アルバムデータベース４０のアルバム情報に基づくアルバム閲覧画面を表示する制御を行う。具体的には図９（Ａ）に示すように、アルバムデータベース４０に登録されている撮影画像の撮影場所や移動履歴が表示されたマップ画面を表示する制御を行う。
【００９８】
２．動作
次に本実施形態の詳細な動作について図５の処理フローを用いて説明する。なお以下では「データベース」は、適宜、「ＤＢ」と記載する。
【００９９】
ユーザは端末装置１１０のカメラ（撮像部）で被写体を撮影すると、その撮影画像が添付されたメールを、特定のメールアドレス先に送信する（ステップＳ３０１）。管理サーバ１０は、ユーザからのメールを受信すると、メールに添付されている撮影画像をアルバムＤＢに登録（蓄積）すると共にその撮影画像を画像検索サーバ６０に送信する（ステップＳ３０２、Ｓ３０３、Ｓ３０４）。
【０１００】
画像検索サーバ６０は、撮影画像を受信すると、画像ＤＢを参照して画像認識処理を行う（ステップＳ３０５、Ｓ３０６）。具体的には、撮影画像（検索対象画像）と、画像ＤＢの各登録画像とを照合し、撮影画像に類似（合致する場合を含む）する登録画像のうち、上位の所定数の登録画像を抽出する。そして画像認識処理の結果に基づいて候補名称タグを取得し、取得された候補名称タグを管理サーバ１０に送信する（ステップＳ３０７、Ｓ３０８）。具体的には、撮影画像に類似する上位の所定数の登録画像に関連づけられた名称タグの集計処理（名寄せ処理）を行って、候補名称タグを取得し、管理サーバ１０に送信する。
【０１０１】
管理サーバ１０は、候補名称タグを受信すると、観光情報ＤＢから候補名称タグに対応する観光情報を抽出し、結果通知メールをユーザの端末装置１１０に送信する（ステップＳ３０９、Ｓ３１０、Ｓ３１１）。
【０１０２】
図６（Ａ）に結果通知メールの例を示す。この結果通知メールは、Ｂ１、Ｂ２に示すように、撮影画像の候補名称タグや、検索結果画面等を表示するためのマイページのＵＲＬ（Uniform Resource Locator）を含むメールになっている。そしてユーザがＢ２のマイページＵＲＬをクリックすると、図６（Ｂ）に示すような検索結果画面が表示される（ステップＳ３１３、Ｓ３１４）。
【０１０３】
図６（Ｂ）の検索結果画面では、Ｂ３に示すように撮影画像の候補名称タグと各候補名称タグに対応するアイコン画像（撮影画像に類似する登録画像）が表示される。具体的には「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の候補名称タグと、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」を表すアイコン画像が表示される。ユーザは、これらの候補名称タグやアイコン画像を参照して、自身が正解と考えた候補名称タグ（アイコン画像）を選択する（ステップＳ３１５）。例えば図６（Ｂ）ではＢ４に示す「Ｅ１寺」の候補名称タグを選択している。
【０１０４】
すると管理サーバ１０は、観光情報ＤＢ等のコンテンツＤＢを参照して、各種のコンテンツ情報を抽出して、図７（Ａ）に示すようなコンテンツ情報画面（観光情報画面）を表示する（ステップＳ３１６、Ｓ３１７）。これによりユーザは、図７（Ａ）に示すように観光地情報やレコメンド情報や広告情報などの各種のコンテンツ情報を閲覧できるようになる（ステップＳ３１８）。
【０１０５】
具体的には、ユーザが図６（Ｂ）のＢ３に示す候補名称タグの中から、Ｂ４に示す「Ｅ１寺」の名称タグを選択すると、選択された「Ｅ１寺」の名称タグは確定名称タグであると判断される。そして確定名称タグである「Ｅ１寺」の位置情報が観光情報ＤＢから取得され、図７（Ａ）のＤ１に示すように、「Ｅ１寺」の周囲のリコメンドルート等のリコメンド情報が表示される。
【０１０６】
そしてユーザが図７（Ａ）のＤ３の「周辺店舗を検索する」をクリックすると、図７（Ｂ）に示すような周辺店舗情報画面が表示される。更に、図７（Ｂ）のＤ４に示すように特定の周辺店舗をクリックすることで、図８に示すように、その周辺店舗の詳細情報が表示される。
【０１０７】
なお、ユーザにより選択された確定名称タグは、撮影画像と共に画像ＤＢに登録される（ステップＳ３１９）。即ち、ユーザの撮影画像が画像ＤＢの登録撮影画像として登録されると共に、ユーザが選択した確定名称タグが、登録撮影画像の正解タグとして登録される。また、ユーザにより選択された確定名称タグは、アルバムＤＢにも登録される（ステップＳ３２０）。即ちユーザの撮影画像に関連づけて「Ｅ１寺」の確定名称タグが登録される。これにより、ユーザが画像検索を行った撮影画像と、それに対してユーザが選択した確定名称タグが、アルバムＤＢに次々に登録されるようになる。
【０１０８】
図６（Ｂ）のＢ５に示すように、ユーザに対しては、送付した撮影画像がユーザのアルバムに登録された旨が通知される。そしてユーザが、どのようなアルバムが作成されたのかに興味を持って、Ｂ６のアルバム閲覧をクリックすると、図９（Ａ）に示すようなアルバム閲覧画面が表示される（ステップＳ３２１、Ｓ３２２）。
【０１０９】
図９（Ａ）では、Ｃ１に示すように、「大阪アルバム」や「滋賀アルバム」というようにユーザが過去に旅行に行った場所のアルバムを閲覧することができ、ここでは最も最近に行った「大阪アルバム」が表示されている。なお、アルバムは日付単位（撮影日単位等）でグループ化されるものであってもよい。
【０１１０】
図９（Ａ）のＣ２に示すように、ユーザは大阪の旅行で「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の写真を撮っており、その撮影画像の画像検索を行っている。そしてユーザは図６（Ｂ）の検索結果画面において、これらの観光地の確定名称タグを選択しており、これらの撮影画像や確定名称タグがアルバムＤＢに登録されている。すると管理サーバ１０は、これらの「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の確定名称タグから、その観光地の場所を特定して、Ｃ３に示すマップ画面上に表示している。例えばＣ４、Ｃ５、Ｃ６の星マークは、各々、「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の位置を表し、Ｃ７、Ｃ８の矢印マークは、ユーザ（撮影場所）の移動履歴（移動経路）を表している。ユーザは、これらのマークを見ることで、大阪の旅行においてどのようなルートで観光を行ったのかを思い出すことができる。
【０１１１】
そしてユーザが、Ｃ９に示す「アルバムを見る」をクリックすると、図９（Ｂ）に示すように、大阪アルバムにおける撮影画像の一覧画面が表示される。即ちアルバムＤＢのアルバム情報に基づいて撮影画像の一覧画面が作成されて表示される。ユーザは、このような一覧画面を見ることで、大阪で撮影した画像を閲覧することができ、旅行の思い出を楽しむことができる。
【０１１２】
また図９（Ｂ）の一覧画面において、ユーザが、Ｃ１０に示す「詳細を観る」をクリックすると、図１０に示すような画像詳細画面が表示される。この画像詳細画面においては、Ｃ１１に示すように、ユーザは写真に対するコメントを入力できる。これによりユーザは、どのような状況・経緯等で写真が撮影されたかをコメントにより書き留めておくことができ、ユーザの旅行を振り返ることが可能になる。
【０１１３】
また図５のステップＳ３１５においてユーザが候補名称タグを選択すると、その確定名称タグに基づいて観光情報ＤＢ等からその観光地等の位置情報が取得される（ステップＳ３３０）。これにより、ユーザの所在地が特定され、その所在地の周辺店舗用の情報処理装置（ＰＣ）２００に対して、ユーザが所在（接近）していることを知らせる通知メールが送信される（ステップＳ３３１）。
【０１１４】
情報処理装置２００は、この通知メールを受信すると、広告メール配信の対象ユーザを抽出して、抽出された対象ユーザの中から、通知メールを配信するユーザを選択する（ステップＳ３３２、Ｓ３３３、Ｓ３３４）。例えばユーザの個人情報ＤＢからの情報に基づき、年齢層、性別等に応じて広告メール配信の対象ユーザを絞り込んで選択する。そして選択された対象ユーザに対して、登録された広告内容に対応する広告メールを配信することを、管理サーバ１０に対して要求する（ステップＳ３３５）。なお、広告内容の登録は、管理サーバ１０からの通知メールの受信前に予め行っておくことが望ましい。
【０１１５】
管理サーバ１０は、広告メールの配信要求を受信すると、広告情報ＤＢからの広告情報を読み出して、広告メールを作成する（ステップＳ３３６）。広告情報ＤＢには、情報処理装置２００により予め登録された内容の広告情報が記憶されている。そして管理サーバ１０が作成した広告メールを送信し、端末装置１１０が広告メールを受信すると、端末装置１１０の表示部１８０にその周辺店舗の広告メールが表示されるようになる（ステップＳ３３７、Ｓ３３８）。
【０１１６】
例えばユーザが観光地である「Ｅ１寺」で写真を撮影し、図６（Ｂ）の検索結果画面において、「Ｅ１寺」を確定名称タグとして選択したとする。すると、観光情報ＤＢから「Ｅ１寺」の位置情報が抽出され、この位置情報に基づいてユーザの所在地が特定され、その所在地の周辺店舗に対して通知メールが送信される。そしてその周辺店舗の情報処理装置２００から、広告メールの配信要求があると、例えば図７（Ａ）のＤ２に示すように、その周辺店舗の広告情報が表示される。このようにすれば、画像検索により得られた確定名称タグを有効活用して，ユーザの所在地を特定し、その所在地の周辺店舗の広告情報をリアルタイムにユーザに提示できるようになる。
【０１１７】
以上に説明した本実施形態の手法によれば、ユーザがカメラ付き携帯電話機やデジタルカメラで写真を撮影し、その撮影画像の画像認識をサーバ側に依頼すると、画像認識結果として、図６（Ｂ）に示すような検索結果画面（画像認識結果画面）が表示される。そしてこの検索結果画面において、ユーザが、候補名称タグの中から正解となる名称タグを選択すると、選択された名称タグは確定名称タグであると判断され、この確定名称タグに基づいて撮影画像の撮影場所の位置情報が特定される。そして、特定された位置情報に対応するリコメンド情報や広告情報などのコンテンツ情報が、ユーザに提示される。従って、ＧＰＳや基地局情報等を利用しなくても、撮影画像の画像認識結果により撮影場所の位置情報を特定して、特定された位置情報に対応するコンテンツ情報が抽出されるため、撮影場所に対応する適切なコンテンツ情報をユーザに提示できる。
【０１１８】
即ち、ＧＰＳ等により得られる位置情報は、緯度・経度そのものであり、このような緯度・経度のみでは、ユーザがその撮影場所において、どのような対象に興味を持って写真を撮影したのかを一意的に特定することは難しい。
【０１１９】
これに対して図６（Ｂ）のＢ４に示すように、ユーザが、撮影画像の確定名称タグとして「Ｅ１寺」を選択した場合には、ユーザの撮影対象が「Ｅ１寺」であり、ユーザの撮影場所が「Ｅ１寺」の場所であることを、一意的に特定できる。従って、「Ｅ１寺」の位置情報に対応するリコメンド情報や広告情報などのコンテンツ情報を提示すれば、「Ｅ１寺」の撮影場所に対応する適切なコンテンツ情報をユーザに提示できる。なお、ユーザの位置情報の特定に、ＧＰＳや基地局情報により取得される位置情報を併せて使用することも可能である。
【０１２０】
また本実施形態では、画像認識結果により取得された位置情報に基づいてユーザの所在地が特定された場合に、特定された所在地の周辺店舗の情報処理装置に対して、ユーザが所在していることを知らせる通知情報が通知される。そしてこの情報処理装置から広告情報の配信の要求があった場合には、図７（Ａ）のＤ２に示すように、ユーザの端末装置１１０にその周辺店舗の広告情報が表示される。従って、ユーザが移動しながら写真を撮影し、撮影画像の画像検索をサーバ側に依頼すると、ユーザの撮影場所に応じて、図７（Ａ）のＤ２に表示される広告情報もリアルタイムに変化するようになる。従って、ユーザの撮影場所に応じた適切な広告情報をユーザの端末装置に表示でき、これまでにない広告配信システムを実現できる。
【０１２１】
また、取得された位置情報やその集計情報を、周辺店舗の情報処理装置に送信すれば、広告情報を配信するか否かについての適切な判断材料を、周辺店舗に知らせることができる。例えば周辺店舗の情報処理装置は、サーバシステムからのユーザの人数の集計情報に基づいて、その場所に所在するユーザの人数が所定人数以上であると判断された場合に、広告情報を配信する処理が可能になる。また、位置情報や集計情報に加えて、年齢層や性別等のユーザ情報についても情報処理装置に送信すれば、広告情報の配信に関する更に適切な判断材料を、周辺店舗に提供できる。
【０１２２】
また本実施形態では、旅行中や観光中（オントラベル中）においては、ユーザは、カメラ付き携帯電話機やデジタルカメラで写真を撮影し、その撮影画像の画像検索をサーバ側に依頼すると、図６（Ｂ）に示すような検索結果画面が表示され、図７（Ａ）〜図８に示すような観光情報等のガイド情報を見ることができる。従って、携帯電話機等で写真を撮って、その写真を特定のメールアドレスに送信するだけで、このようなガイド情報が表示されるため、ユーザは、旅行中にガイドブックを持ち歩かなくても済むようになる。これにより、ガイドブックに比べて、携行性や利便性の高いガイド情報の提供が可能になる。
【０１２３】
またユーザが画像検索を依頼した撮影画像は、ユーザが意識しなくても自動的にアルバムＤＢに登録されて保存される。そしてユーザが図６（Ｂ）の検索結果画面において、その撮影画像の名称タグを確定する選択を行うと、その確定名称タグが撮影画像に関連づけて登録され、その撮影画像の名称が自動的に付与されるようになる。従って、ユーザが撮影した画像を個人単位でストレージして、ウェブアルバムとしてユーザに提供できるようになるため、ユーザは保存容量を気にせずに写真を撮影してサーバに保存しておくことが可能になる。
【０１２４】
またユーザが画像検索を目的として写真を撮影した場合にも、図６（Ｂ）のＢ６に示すように、撮影画像がアルバムに登録された旨がユーザに知らされ、ユーザは図９（Ａ）〜図１０のアルバム閲覧画面で撮影画像を閲覧できる。従って、オントラベルにおけるガイド情報の提供のみならず、アフタートラベルにおいて旅行の思い出を振り返るための情報をユーザに提供できる。また図９（Ａ）のＣ３に示すように、撮影画像の撮影場所の位置情報を活用して旅行中の移動履歴をマップ画面上に軌跡として残すことで、ユーザは、旅行の余韻を視覚的に楽しむことが可能になる。従って、多くの撮影画像が閲覧されずに保存されたままになってしまうという事態を防止でき、アルバムの閲覧を介して撮影画像の有効活用を図れる。
【０１２５】
また図１０のＣ１１に示すように、ウェブアルバムのアルバム情報に対して、ユーザはコメントや評価を入力できる。従って、ウェブアルバムのマップ画面、撮影画像、コメントが連動したブログやＳＮＳ（Social Networking Service）、アルバム公開、アルバム写真のスライドショーの提供も可能になる。
【０１２６】
３．データベース構造
次に本実施形態で使用されるアルバムＤＢや画像ＤＢのデータ構造について説明する。図１１（Ａ）にアルバムＤＢのデータ構造の例を示す。図１１（Ａ）においてマイページＩＤはユーザＩＤに相当し、例えばＭＰＩＤＡはユーザＡのマイページＩＤであり、ＭＰＩＤＢはユーザＢのマイページＩＤである。例えば新規ユーザが、特定のメールアドレスに対して、撮影画像を添付したメールを送信して、ユーザ登録を行うと、例えば登録ユーザのメールアドレスに１対１に対応してマイページＩＤが付与される。すると、そのユーザのメールに添付された撮影画像は、そのマイページＩＤに対応するアルバムＤＢの格納場所に書き込まれるようになる。例えばユーザＡがユーザ登録を行い、マイページＩＤ＝ＭＰＩＤＡが付与された場合には、ユーザＡのメールに添付された撮影画像は、図１１（Ａ）のマイページＩＤ＝ＭＰＩＤＡの格納場所に登録される。また図６（Ｂ）のＢ４に示すようにユーザが候補名称タグから確定名称タグを選択すると、図１１（Ａ）に示すようにその確定名称タグは、撮影画像に関連づけて登録される。このように本実施形態では、受信したユーザのメールのメールアドレスにより特定されるアルバムＤＢの格納場所に、撮影画像や確定名称タグが登録される。
【０１２７】
また例えば確定名称タグにより位置情報が取得された場合に、図１１（Ａ）に示すように、その位置情報についても撮影画像に関連づけて登録することが望ましい。このようにすれば、図９（Ａ）のＣ４〜Ｃ８に示すように、登録された位置情報を用いて、撮影画像の撮影場所や移動履歴を特定して、マップ画面上に表示する処理を容易化できる。この場合に、例えばアルバムＤＢに登録された位置情報をユーザが編集できるようにしてもよい。このようにすれば、ユーザは図９（Ａ）のＣ３のマップ画面において、撮影場所の位置を微調整することなどが可能になり、ユーザの利便性を向上できる。なお位置情報をアルバムＤＢに記憶しないようにしてもよい。例えば必要に応じて観光情報ＤＢ等を参照して、位置情報を取得してもよい。
【０１２８】
図１１（Ｂ）に画像ＤＢのデータ構造例を示す。この画像ＤＢでは、各登録画像データに対して各名称タグが関連づけて登録されている。なお、１つの登録画像データに対して複数の名称タグを関連づけるようにしてもよい。
【０１２９】
そして本実施形態では、例えばユーザの撮影画像の画像検索が行われ、図６（Ｂ）のＢ４に示すように確定名称タグをユーザが選択すると、画像検索が行われた撮影画像とその確定名称タグが、画像ＤＢにも登録される。即ちユーザの撮影画像及びその確定名称タグが、画像検索のための登録画像及びその名称タグとして画像ＤＢに登録される。このようにすれば、様々なユーザが画像検索を行うことで、画像ＤＢに対してその撮影画像が登録画像として次々に追加されるようになる。即ち、ユーザの利用により画像ＤＢのリファレンス画像となる登録画像が増え、画像ＤＢが成長するようになる。従って、様々な撮影画像に対して画像ＤＢが対応できるようになり、ユーザの利便性等を向上できる。
【０１３０】
４．候補名称タグの取得
次に候補名称タグの取得手法の一例について説明する。例えば図１２（Ａ）では、ユーザの撮影画像に類似する登録画像として、ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６・・・が画像ＤＢから抽出されている。図１２（Ａ）では、登録画像は類似度が高い順に上位列挙されており、登録画像ＩＭＴ１の類似度が最も高く、登録画像ＩＭＴ２の類似度がその次に高くなっている。
【０１３１】
また登録画像ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６に対しては、各々、名称タグである「Ｅ１寺」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」が関連づけられている。この場合に本実施形態では、これらの名称タグの出現数（出現頻度）を集計し、集計結果に基づいて候補名称タグを取得する。例えば図１２（Ａ）では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の出現数は、各々、３回、２回、１回になっている。このため、図１２（Ａ）の名称タグを、出現数が多い順に並び替えて出現数が上位の所定数の名称タグだけを残すことで、図１２（Ｂ）に示すような候補名称タグが取得される。この場合に、重複する名称タグを削除して１つにする名寄せ処理も行われる。
【０１３２】
なお集計処理における出現数のカウントの際に、その画像の類似度に応じた重み付け計数を乗算するようにしてもよい。また、出現数のカウントを行わずに、類似度の高い順に並べた名称タグに対して名寄せ処理を行い、名寄せ処理後の上位の所定数の名称タグを、候補名称タグとして取得してもよい。
【０１３３】
５．画像認識
次に画像認識処理の詳細例について説明する。画像検索のための画像認識処理としては、例えば、特徴点を利用した画像認識と、画像全体の特徴を利用した画像認識がある。
【０１３４】
５．１ 特徴点を利用した画像認識（合致検索）
特徴点を利用した画像認識では、まず、原画像に対して段階的にブラー処理を行って、ブラー画像を作成する。そしてブラー画像間の差分を取り、差分画像を作成し、差分画像の中で、その値が極値となる座標（周囲よりも値が大きい又は小さくなる座標）にある画素を特徴点とする。通常、１枚の画像から複数の特徴点が抽出される。
【０１３５】
各特徴点の特徴量は１２８次元のベクトルで表現され、これを特徴ベクトルと呼ぶ。この特徴ベクトルは、上述のようにして求められた特徴点を中心とした一定の範囲（以下、ピックアップ範囲と呼ぶ）におけるブラー画像の微分値を、対応する次元に足し込むことで求められる。
【０１３６】
足し込む微分値は、特徴点に近いほど値が大きくなるように重み付けをする。足し込む次元のインデックスは、ピックアップ範囲の各画素の座標（以下、ピックアップ座標と呼ぶ）を、４×４に丸めた座標と、ピックアップ座標の微分方位を８方向に丸めた方位から求める。そして複数の特徴点の全てについて、この特徴量を求める。
【０１３７】
次に、登録画像と、質問画像（検索対象画像）に対して、上述の処理を行って、特徴点を抽出すると共に特徴量を抽出する。そして質問画像から抽出された特徴点の特徴量に最も近い特徴量を、登録画像の中から検索する。ここで、特徴量の近さは、特徴ベクトルの距離によって表現される。
【０１３８】
このように、検索対象画像から抽出された特徴点に対応する登録画像の特徴点を求め、対応する特徴点を最も多く有する登録画像を、正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、対応する特徴点を多く有する画像から順に上位Ｊ個（Ｊは２以上の整数）の画像を、正解画像（類似画像）として返送する。
【０１３９】
５．２ 画像全体の特徴を利用した画像認識（類似検索）
画像全体の特徴を利用した画像認識では、まず画像全体をグレースケール化し、輝度画像に変換する。この輝度画像を１６×１６の画素に縮小し、例えば２５６次元のベクトルにしたものを構図特徴とする。
【０１４０】
画素全体の色相を例えば１０区間に分け、そのヒストグラムを画像全体の色特徴とし、１０次元のベクトルとして表現する。また画像全体を５１２色に分け、そのうち占有面積の上位３０色を代表色の色特徴とする。
【０１４１】
登録画像と質問画像に対して、上述の処理を行い、特徴量を算出する。そして質問画像に最も近い特徴を持つ登録画像を正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、質問画像に近い画像から順に上位Ｊ個の画像を返送する。特徴の近さは、各特徴ベクトルの距離によって表現される。また構図特徴と色特徴のどちらを重視するかにより、重み付けを変更する。
【０１４２】
６．詳細な処理
次に本実施形態の詳細な処理例について図１３〜図１６の処理フローを用いて説明する。
【０１４３】
図１３、図１４は、撮影画像の画像検索により候補名称タグを取得し、ユーザの選択により得られた確定候補名称タグを撮影画像に関連づけてアルバムＤＢや画像ＤＢに登録する処理のフローである。
【０１４４】
ユーザが端末装置１１０により被写体を撮影して、撮影画像を添付したメールを送信すると、管理サーバ１０が受信して、メールアドレスをチェックする（ステップＳ１〜Ｓ４）。そして、メールアドレスにより特定されるユーザが新規ユーザである場合には、ユーザＩＤとなるマイページＩＤを発行し、個人情報ＤＢにユーザの情報を登録する（ステップＳ５、Ｓ６）。一方、既にサービスを利用している既存のユーザである場合には、そのマイページＩＤを撮影画像に付与して、撮影画像を画像検索サーバ６０に送信すると共にアルバムＤＢに登録する（ステップＳ７〜Ｓ９）。
【０１４５】
画像検索サーバ６０は、撮影画像を受信すると、撮影画像の特徴点を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１０〜Ｓ１２）。即ち上述した特徴点を利用した画像認識（合致検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否か（認識結果が出たか否か）を判断する（ステップＳ１３、Ｓ１４）。
【０１４６】
画像認識に成功しなかった場合には、画像の構図を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１５、Ｓ１６）。即ち、上述の画像全体の特徴を利用した画像認識（類似検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否かを判断する（ステップＳ１７、Ｓ１８）。
【０１４７】
ステップＳ１４又はＳ１８で画像認識に成功したと判断された場合には、検索された登録画像の名称タグを類似度順に上位列挙して、名称タグの集計処理（名寄せ処理）を行い、候補名称タグを取得し、管理サーバ１０に送信する（ステップＳ１９〜Ｓ２２）。一方、ステップＳ１８で画像認識に成功しなかったと判断された場合には、画像検索サーバ６０はエラー結果を送信する（ステップＳ５１）。そして管理サーバ１０は、エラー結果を受信すると、エラーメールを作成して端末装置１１０に送信する（ステップＳ５２〜Ｓ５４）。端末装置１１０のユーザが、エラーメールの受領を確認して、メール内のＵＲＬをクリックすると、トップ画面が表示される（ステップＳ５５〜Ｓ５７）。このトップ画面でユーザが画像認識検索を選択すると、メーラーが起動してステップＳ１に戻り，テキスト検索を選択するとテキスト検索が行われる（ステップＳ５８〜Ｓ６１）。
【０１４８】
管理サーバ１０は、画像検索サーバ６０から候補名称タグを受信すると、候補名称タグに基づき観光情報ＤＢを検索して、図６（Ｂ）に示すような検索結果画面を作成する（ステップＳ２３〜Ｓ２５）。そして、作成した検索結果画面のＵＲＬを知らせる図６（Ａ）の結果通知メールを端末装置１１０に送信する（ステップＳ２６）。
【０１４９】
端末装置１１０のユーザが結果通知メールの受領を確認して、ＵＲＬにより検索結果画面の閲覧を選択すると、図６（Ｂ）の検索結果画面が表示される（ステップＳ２７〜Ｓ２９）。そしてユーザが、図６（Ｂ）のＢ４に示すように正解と考える候補名称タグを選択すると、図７（Ａ）に示すような観光情報画面（ガイド情報画面）が表示され、ユーザはこの観光情報画面を閲覧する（ステップＳ３０〜Ｓ３３）。そして管理サーバ１０は、選択された候補名称タグを確定名称タグであると判断して、撮影画像及び確定名称タグを画像検索サーバ６０に送信する（ステップＳ３４、Ｓ３５）。また確定名称タグに基づいて観光情報ＤＢを参照することで、撮影画像の撮影場所の位置情報を取得する（ステップＳ３６）。図６（Ｂ）のＢ４を例にとれば、「Ｅ１寺」の位置情報が観光情報ＤＢから取得される。そして確定名称タグ及び位置情報を撮影画像に関連づけてアルバムＤＢに登録する（ステップＳ３７）。
【０１５０】
一方、撮影画像及び確定名称タグを受信した画像検索サーバ６０は、受信した撮影画像及び確定名称タグを画像ＤＢに登録する（ステップＳ３８、Ｓ３９）。これにより、撮影画像は、画像検索のリファレンスとなる登録画像として画像ＤＢに登録されることになる。
【０１５１】
なお図６（Ｂ）のＢ７に示すように検索結果画面においてユーザが画像検索を選択すると、メーラーが起動して図１３のステップＳ１に戻る（ステップＳ４０、Ｓ４１）。またＢ８に示すようにテキスト検索を選択すると、観光情報ＤＢを参照したテキスト検索が実行され、観光情報ＤＢから所望の情報が検索された場合には、テキスト検索の検索結果画面が表示される（ステップＳ６１〜Ｓ６３、Ｓ２９）。一方、情報を検索できなかった場合には、外部サイトによる検索を実行し、外部サイトからの検索結果を受信して、検索結果画面を表示する（ステップＳ６４〜Ｓ６６、Ｓ２９）。
【０１５２】
図１５は、取得された位置情報に基づいてリコメンド情報や広告情報等のコンテンツ情報をユーザに提示する処理のフローである。
【０１５３】
ユーザによる観光情報の選択により、図７（Ａ）に示すような観光情報画面が表示され、ユーザは観光地情報を閲覧する（ステップＳ２２１、Ｓ２２２、Ｓ２２３）。そしてユーザが図７（Ａ）のＤ１をクリックして、リコメンドルートを選択すると、管理サーバ１０は観光情報ＤＢを参照して、撮影場所（ユーザの所在地）の位置情報を取得する（ステップＳ２２４、Ｓ２２５）。そしてレコメンド情報ＤＢを参照して、情報（ルート）別の周辺施設検索を行い、観光情報ＤＢから周辺施設情報を抽出する（ステップＳ２２６、Ｓ２２７）。またログ情報ＤＢを参照して、他ユーザの閲覧回数のログを取得して、リコメンドルート画面を作成する（ステップＳ２２８、Ｓ２２９）。即ち、他ユーザについて取得された位置情報（位置情報を時系列に地図上に配置することにより得られる移動履歴情報を含む）に基づいて、リコメンドルートを作成する。これによりユーザは、他ユーザのリコメンドルートを閲覧できるようになる（ステップＳ２３０）。
【０１５４】
一方、ユーザが図７（Ａ）のＤ３をクリックして、周辺店舗検索を選択すると、管理サーバ１０は、観光情報ＤＢを参照して、撮影場所（ユーザの所在地）の位置情報を取得する（ステップＳ２３１、Ｓ２３２）。そして店舗情報ＤＢを参照して、周辺店舗の検索／抽出を実行する（ステップＳ２３３）。また広告情報ＤＢを参照して、広告出稿店舗の検索／抽出を実行する（ステップＳ２３４）。そして図７（Ｂ）、図８に示すような周辺店舗情報画面を作成する（ステップＳ２３５）。これによりユーザは周辺店舗情報を閲覧できるようになる（ステップＳ２３６）。
【０１５５】
図１６は、取得された位置情報に基づきユーザの所在地を特定し、所在地の周辺店舗の情報処理装置に対して、通知情報を送信し、その周辺店舗の広告情報をユーザに提示する処理のフローである。
【０１５６】
まず、ログ情報を参照して、ユーザの位置情報等に関するログ情報を解析して、現時点のユーザ所在地を特定する（ステップＳ２４１、Ｓ２４２）。またユーザのログ情報に基づいて、ユーザの移動経路を予測する（ステップＳ２４３）。例えばユーザが場所Ｐ１からＰ２に移動し、場所Ｐ２からＰ３に移動した場合に、これらの場所Ｐ１、Ｐ２、Ｐ３の位置情報やその移動軌跡から、次の移動場所Ｐ４を予測する。そして、これらのユーザの所在地や移動経路を知らせる通知メールを、周辺店舗ＰＣ（情報処理装置）に送信する（ステップＳ２４４）。
【０１５７】
管理画面にログインした周辺店舗ＰＣは、通知メールを受信すると、広告メールの配信対象者を抽出し、広告メールの配信数を確定する（ステップＳ２４５〜Ｓ２４８）。例えば管理サーバ１０から、ユーザの年齢層や性別等のユーザ情報が知らされている場合や、ユーザの人数の集計情報が知らされている場合には、これらのユーザ情報や集計情報に基づいて、広告メールの配信対象者を抽出したり、広告メールの配信数を確定する。
【０１５８】
次に、広告情報ＤＢからテンプレートを抽出し、過去に登録したテンプレートがある場合には、それらのテンプレートの中から所望のテンプレートを選択する（ステップＳ２４９〜Ｓ２５１）。一方、テンプレートが無い場合には、広告店舗側が、広告内容の新規入力を行い、テンプレートとして広告情報ＤＢに登録する（ステップＳ２５２、Ｓ２５３）。そして広告メールの配信要求を広告情報ＤＢに登録する（ステップＳ２５４）。
【０１５９】
管理サーバ１０は、取得された位置情報を設定し、広告情報ＤＢを参照して、周辺店舗による広告出稿があるか否かを確認する（ステップＳ２６１、Ｓ２６２）。そして、広告出稿がある場合には、周辺店舗により登録された店舗広告情報を広告情報ＤＢから抽出する（ステップＳ２６３、Ｓ２６４）。そしてメールを作成してユーザの端末装置１１０に配信する（ステップＳ２６５）。メールを受信したユーザが、店舗情報にアクセスすると、管理サーバ１０は店舗情報画面を作成して表示する（ステップＳ２６６〜Ｓ２６８）。これにより、ユーザは、周辺店舗情報画面を閲覧して、周辺店舗の広告情報等を見ることが可能になる（ステップＳ２６９）。なお、ステップＳ２６５でユーザに配信するメール自体が広告情報となっていて、ユーザがメールを見ることにより広告情報の配信が完結するようにしてもよい。また、周辺店舗情報画面では閲覧者が広告メール受信者であることを識別し、ユーザに応じた広告情報画面を作成することにより、ユーザが店舗でユーザ毎に異なる優待（割引・サービス追加等）を受けるようにすることも可能である。
【０１６０】
以上のようにすることで、取得された位置情報によりユーザの所在地を特定し、周辺店舗からの広告情報をユーザの所在地に応じてリアルタイムに配信できるようになる。
【０１６１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またサーバシステム、端末装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６２】
１０ 管理サーバ、２０ 処理部、２２ 受信処理部、２４ 送信処理部、
２６ アルバム登録部、２８ データ作成部、３０ 位置情報取得部、
３２ アルバム閲覧部、３４ コンテンツ提示部、３６ 集計処理部、
４０ アルバムデータベース、４２ 個人情報データベース、
５０ コンテンツデータベース、５２ 観光情報データベース、
５４ リコメンド情報データベース、５６ 広告情報データベース、５８ 通信部、
６０ 画像検索サーバ、７０ 処理部、７２ 受信処理部、７４ 送信処理部、
７６ 画像検索部、７８ タグ処理部、８０ 画像管理部、
９０ 画像データベース、９８ 通信部、１００ ネットワーク、１１０ 端末装置、
１２０ 処理部、１２２ 画像取得部、１２４ 送信処理部、１２６ 受信処理部、
１２８ 表示制御部、１４０ 記憶部、１５０ 情報記憶媒体、１６０ 撮像部、
１７０ 操作部、１８０ 表示部、２００ 情報処理装置
【特許請求の範囲】
【請求項１】
画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、
前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部と、
取得された前記位置情報に対応するコンテンツ情報をコンテンツデータベースから抽出し、前記コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部とを含むことを特徴とするサーバシステム。
【請求項２】
請求項１において、
前記コンテンツ提示部は、
取得された前記位置情報に基づいて、前記撮影場所でのリコメンド情報を前記コンテンツデータベースから選択し、選択された前記リコメンド情報をユーザに提示するための処理を行うことを特徴とするサーバシステム。
【請求項３】
請求項２において、
前記コンテンツ提示部は、
ユーザに対してリコメンドルートを提示し、ユーザが前記リコメンドルートを選択した場合には、前記リコメンドルートにおけるリコメンド情報を、ユーザに提示するための処理を行うことを特徴とするサーバシステム。
【請求項４】
請求項３において、
前記コンテンツ提示部は、
他ユーザについて取得された前記位置情報に基づいて、前記リコメンドルートを作成することを特徴とするサーバシステム。
【請求項５】
請求項1乃至４のいずれかにおいて、
前記位置情報に基づき特定されたユーザの所在地の周辺店舗用の情報処理装置に対して、ユーザが所在していることを知らせる通知情報を送信する処理を行う送信処理部を含むことを特徴とするサーバシステム。
【請求項６】
請求項５において、
前記送信処理部は、
前記位置情報に基づき予測されるユーザの移動経路の周辺店舗用の情報処理装置に対して、前記通知情報を送信する処理を行うことを特徴とするサーバシステム。
【請求項７】
請求項５又は６において、
前記コンテンツ提示部は、
前記通知情報を受信した前記情報処理装置が、広告情報の配信を要求した場合に、前記広告情報をユーザに提示するための処理を行うことを特徴とするサーバシステム。
【請求項８】
請求項1乃至４のいずれかにおいて、
複数のユーザについて取得された前記位置情報の集計処理を行う集計処理部と、
前記撮影場所の周辺店舗用の情報処理装置に対して、前記集計処理により得られた集計情報を送信する処理を行う送信処理部を含むことを特徴とするサーバシステム。
【請求項９】
請求項８において、
前記送信処理部は、
前記撮影場所でのユーザの人数の集計情報を前記情報処理装置に対して送信する処理を行うことを特徴とするサーバシステム。
【請求項１０】
請求項1乃至９のいずれかにおいて、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部を含み、
前記位置情報取得部は、
前記検索結果データにより表示される検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグであると判断し、前記確定名称タグに基づいて、前記撮影場所の前記位置情報を取得することを特徴とするサーバシステム。
【請求項１１】
請求項１０において、
前記撮影画像に類似する前記複数の登録画像を前記画像データベースから検索する画像検索部と、
検索された前記複数の登録画像に関連づけられた前記複数の名称タグから、前記複数の候補名称タグを取得するタグ処理部を含むことを特徴とするサーバシステム。
【請求項１２】
請求項１１において、
前記タグ処理部は、
前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得することを特徴とするサーバシステム。
【請求項１３】
請求項１０乃至１２のいずれかにおいて、
前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部を含み、
前記アルバム登録部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、前記撮影画像の前記確定名称タグを、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項１４】
請求項１３において、
前記受信処理部は、
前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、
前記アルバム登録部は、
受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録することを特徴とするサーバシステム。
【請求項１５】
請求項１３又は１４において、
前記アルバム登録部は、
取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項１６】
請求項１３乃至１５のいずれかにおいて、
前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含むことを特徴とするサーバシステム。
【請求項１７】
請求項１６において、
前記アルバム閲覧部は、
前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行うことを特徴とするサーバシステム。
【請求項１８】
請求項１７において、
前記アルバム閲覧部は、
取得された前記撮影場所の前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定することを特徴とするサーバシステム。
【請求項１９】
画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、
前記撮影画像に類似する複数の登録画像を画像データベースから検索する画像検索部と、
検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得するタグ処理部と、
前記撮影画像の画像検索の検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグと判断し、前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部と、
を含むことを特徴とするサーバシステム。
【請求項２０】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データをネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、
表示部の表示制御を行う表示制御部とを含み、
前記表示制御部は、
前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報が取得され、取得された前記位置情報に応じたコンテンツ情報がコンテンツデータベースから抽出された場合に、前記コンテンツ情報を前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項２１】
請求項２０において、
前記表示制御部は、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記位置情報を取得するための確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とする端末装置。
【請求項２２】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データをネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、
表示部の表示制御を行う表示制御部として、
コンピュータを機能させ、
前記表示制御部は、
前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報が取得され、取得された前記位置情報に応じたコンテンツ情報がコンテンツデータベースから抽出された場合に、前記コンテンツ情報を前記表示部に表示する制御を行うことを特徴とするプログラム。
【請求項２３】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２２に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２４】
画像検索の対象となるユーザの撮影画像に類似する複数の登録画像を画像データベースから検索し、
検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、
取得された前記複数の候補名称タグが表示された検索結果画面を表示し、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグと判断し、前記確定名称タグに基づいて、前記撮影画像の撮影場所を取得することを特徴とする画像検索方法。
【請求項１】
画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、
前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部と、
取得された前記位置情報に対応するコンテンツ情報をコンテンツデータベースから抽出し、前記コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部とを含むことを特徴とするサーバシステム。
【請求項２】
請求項１において、
前記コンテンツ提示部は、
取得された前記位置情報に基づいて、前記撮影場所でのリコメンド情報を前記コンテンツデータベースから選択し、選択された前記リコメンド情報をユーザに提示するための処理を行うことを特徴とするサーバシステム。
【請求項３】
請求項２において、
前記コンテンツ提示部は、
ユーザに対してリコメンドルートを提示し、ユーザが前記リコメンドルートを選択した場合には、前記リコメンドルートにおけるリコメンド情報を、ユーザに提示するための処理を行うことを特徴とするサーバシステム。
【請求項４】
請求項３において、
前記コンテンツ提示部は、
他ユーザについて取得された前記位置情報に基づいて、前記リコメンドルートを作成することを特徴とするサーバシステム。
【請求項５】
請求項1乃至４のいずれかにおいて、
前記位置情報に基づき特定されたユーザの所在地の周辺店舗用の情報処理装置に対して、ユーザが所在していることを知らせる通知情報を送信する処理を行う送信処理部を含むことを特徴とするサーバシステム。
【請求項６】
請求項５において、
前記送信処理部は、
前記位置情報に基づき予測されるユーザの移動経路の周辺店舗用の情報処理装置に対して、前記通知情報を送信する処理を行うことを特徴とするサーバシステム。
【請求項７】
請求項５又は６において、
前記コンテンツ提示部は、
前記通知情報を受信した前記情報処理装置が、広告情報の配信を要求した場合に、前記広告情報をユーザに提示するための処理を行うことを特徴とするサーバシステム。
【請求項８】
請求項1乃至４のいずれかにおいて、
複数のユーザについて取得された前記位置情報の集計処理を行う集計処理部と、
前記撮影場所の周辺店舗用の情報処理装置に対して、前記集計処理により得られた集計情報を送信する処理を行う送信処理部を含むことを特徴とするサーバシステム。
【請求項９】
請求項８において、
前記送信処理部は、
前記撮影場所でのユーザの人数の集計情報を前記情報処理装置に対して送信する処理を行うことを特徴とするサーバシステム。
【請求項１０】
請求項1乃至９のいずれかにおいて、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部を含み、
前記位置情報取得部は、
前記検索結果データにより表示される検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグであると判断し、前記確定名称タグに基づいて、前記撮影場所の前記位置情報を取得することを特徴とするサーバシステム。
【請求項１１】
請求項１０において、
前記撮影画像に類似する前記複数の登録画像を前記画像データベースから検索する画像検索部と、
検索された前記複数の登録画像に関連づけられた前記複数の名称タグから、前記複数の候補名称タグを取得するタグ処理部を含むことを特徴とするサーバシステム。
【請求項１２】
請求項１１において、
前記タグ処理部は、
前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得することを特徴とするサーバシステム。
【請求項１３】
請求項１０乃至１２のいずれかにおいて、
前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部を含み、
前記アルバム登録部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、前記撮影画像の前記確定名称タグを、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項１４】
請求項１３において、
前記受信処理部は、
前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、
前記アルバム登録部は、
受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録することを特徴とするサーバシステム。
【請求項１５】
請求項１３又は１４において、
前記アルバム登録部は、
取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項１６】
請求項１３乃至１５のいずれかにおいて、
前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含むことを特徴とするサーバシステム。
【請求項１７】
請求項１６において、
前記アルバム閲覧部は、
前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行うことを特徴とするサーバシステム。
【請求項１８】
請求項１７において、
前記アルバム閲覧部は、
取得された前記撮影場所の前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定することを特徴とするサーバシステム。
【請求項１９】
画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、
前記撮影画像に類似する複数の登録画像を画像データベースから検索する画像検索部と、
検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得するタグ処理部と、
前記撮影画像の画像検索の検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグと判断し、前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部と、
を含むことを特徴とするサーバシステム。
【請求項２０】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データをネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、
表示部の表示制御を行う表示制御部とを含み、
前記表示制御部は、
前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報が取得され、取得された前記位置情報に応じたコンテンツ情報がコンテンツデータベースから抽出された場合に、前記コンテンツ情報を前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項２１】
請求項２０において、
前記表示制御部は、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記位置情報を取得するための確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とする端末装置。
【請求項２２】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データをネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、
表示部の表示制御を行う表示制御部として、
コンピュータを機能させ、
前記表示制御部は、
前記撮影画像の画像認識結果に基づいて、前記撮影画像の撮影場所の位置情報が取得され、取得された前記位置情報に応じたコンテンツ情報がコンテンツデータベースから抽出された場合に、前記コンテンツ情報を前記表示部に表示する制御を行うことを特徴とするプログラム。
【請求項２３】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２２に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２４】
画像検索の対象となるユーザの撮影画像に類似する複数の登録画像を画像データベースから検索し、
検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、
取得された前記複数の候補名称タグが表示された検索結果画面を表示し、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグと判断し、前記確定名称タグに基づいて、前記撮影画像の撮影場所を取得することを特徴とする画像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２１８３７３（Ｐ２０１０−２１８３７３Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６６０２０（Ｐ２００９−６６０２０）
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]