サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
【課題】画像検索の対象となった撮影画像を閲覧可能にするサーバシステム等の提供。
【解決手段】サーバシステムは、撮影画像についての送信データをネットワークを介して受信する処理を行う受信処理部と、撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、撮影画像に類似する複数の登録画像が画像データベースから検索され、複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、複数の候補名称タグを含む検索結果データを作成するデータ作成部を含む。アルバム登録部は、検索結果データにより表示される検索結果画面において、複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、撮影画像の確定名称タグとして、アルバムデータベースの撮影画像に関連づけて登録する。
【解決手段】サーバシステムは、撮影画像についての送信データをネットワークを介して受信する処理を行う受信処理部と、撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、撮影画像に類似する複数の登録画像が画像データベースから検索され、複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、複数の候補名称タグを含む検索結果データを作成するデータ作成部を含む。アルバム登録部は、検索結果データにより表示される検索結果画面において、複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、撮影画像の確定名称タグとして、アルバムデータベースの撮影画像に関連づけて登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等に関する。
【背景技術】
【０００２】
従来より、カメラで撮影した商品等を画像認識処理を利用して検索する画像検索システムが知られている。例えば特許文献１には、カメラ付きの携帯電話機により、ユーザが所望する商品を撮影し、撮影画像をインターネットを介して送信することで、その商品の購入が可能な店舗を検索するシステムが開示されている。
【０００３】
しかしながら、これまでの画像検索システムでは、撮影画像は商品検索等に利用されるだけであり、画像検索の対象となった撮影画像をシステム側に保存して、ユーザに再提示するようなシステムについては提案されていなかった。
【０００４】
また、近年のデジタルカメラの普及により、ユーザは撮影枚数を気にすることなく、手軽に写真を撮影できるようになったが、その反面、ユーザにより撮影された写真の多くは、閲覧されることなく、保存されるだけという状況になっている。例えば撮影しても半分以上の写真が長期間に亘って閲覧されることがなく、ハードディスク等のストレージに保存されたままになっている。このため、過去に撮り溜めた撮影画像をユーザが気軽に閲覧でき、旅行に行った時の思い出等を気軽に楽しむことができるシステムの提供が望まれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１２２７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、画像検索の対象となった撮影画像を閲覧可能にするサーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部とを含み、前記アルバム登録部は、前記検索結果データにより表示される検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録するサーバシステムに関係する。
【０００８】
本発明の一態様では、ユーザの撮影画像についての送信データがネットワークを介して受信されると、受信した撮影画像はアルバムデータベースに登録される。また撮影画像に類似する登録画像が検索され、登録画像の名称タグから撮影画像の候補名称タグが取得されると、取得された候補名称タグを含む検索結果データが作成される。そして検索結果データにより表示される検索結果画面において、候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグが、撮影画像の確定名称タグとして、アルバムデータベースに登録される。これにより、画像検索の対象となった撮影画像がアルバムとして閲覧可能になり、これまでにないタイプの画像検索を実現できる。
【０００９】
また本発明の一態様では、前記受信処理部は、前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、前記アルバム登録部は、受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録してもよい。
【００１０】
このようにすれば、撮影画像が添付されたメールをユーザが送信するだけで、そのメールアドレスにより特定される格納場所に撮影画像が登録されるようになるため、ユーザの利便性を向上できる。
【００１１】
また本発明の一態様では、前記データ作成部は、ユーザが前記確定名称タグの選択を行わずに、テキスト検索を選択した場合には、前記テキスト検索により前記コンテンツデータベースからコンテンツ情報を検索し、検索されたコンテンツ情報を含む検索結果データを作成してもよい。
【００１２】
このようにすれば、ユーザは、自身が正解と考える候補名称タグが表示されなかった場合にも、テキスト検索を利用してその撮影画像に関するコンテンツ情報を取得できる。
【００１３】
また本発明の一態様では、前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部を含み、前記アルバム登録部は、取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００１４】
このようにすれば、ユーザが選択した確定名称タグにより撮影画像の撮影場所の位置情報を特定して、アルバムデータベースに登録できるようになる。
【００１５】
また本発明の一態様では、前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含んでもよい。
【００１６】
このようにすれば、ユーザは、画像検索の対象となった撮影画像が自動的に登録されるアルバムを閲覧して楽しむことが可能になる。
【００１７】
また本発明の一態様では、前記アルバム閲覧部は、前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行ってもよい。
【００１８】
このようにすれば、撮影画像の撮影場所等がマップ画面上に軌跡として残るようになるため、旅行の余韻等をユーザは楽しむことが可能になる。
【００１９】
また本発明の一態様では、前記確定名称タグに基づいて、前記撮影画像の前記撮影場所の位置情報を取得する位置情報取得部を含み、前記アルバム閲覧部は、取得された前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定してもよい。
【００２０】
このようにすれば、確定名称タグを活用して撮影場所の位置情報を特定して、撮影場所やその移動履歴をマップ画面上に表示できる。
【００２１】
また本発明の一態様では、前記アルバム閲覧部は、ユーザが前記アルバム情報の閲覧を選択した場合には、前記アルバムデータベースに登録されている前記撮影画像の一覧画面を作成してもよい。
【００２２】
このようにすれば、ユーザは、自身が撮影して画像検索を依頼した撮影画像の一覧を、アルバムとして閲覧できる。
【００２３】
また本発明の一態様では、前記アルバム閲覧部は、前記一覧画面に表示される前記撮影画像に対して、ユーザがコメントを入力した場合には、入力されたコメントを前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００２４】
このようにすれば、ユーザは、撮影時の状況や経緯等を、アルバムの画像に対してコメントとして書き留めておくことが可能になる。
【００２５】
また本発明の一態様では、前記確定名称タグに基づいてコンテンツデータベースを参照して、前記確定名称タグに対応するコンテンツ情報を取得し、取得された前記コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部を含んでもよい。
【００２６】
このようにすれば、ユーザは、確定名称タグを選択すると、その確定名称タグに対応するコンテンツ情報を閲覧できるようになる。
【００２７】
また本発明の一態様では、前記コンテンツ提示部は、前記コンテンツ情報として、前記確定名称タグに対応する観光情報又はリコメンド情報を取得し、ユーザに提示する処理を行ってもよい。
【００２８】
このようにすれば、ユーザは、確定名称タグに対応する観光情報やリコメンド情報を閲覧できる。
【００２９】
また本発明の一態様では、前記アルバム登録部は、ユーザのアルバム閲覧時に、ユーザにより画像のアップロードが選択された場合には、アップロード画像を前記アルバムデータベースに登録してもよい。
【００３０】
このようにすれば、ユーザは、撮影画像のみならず、所望のアップロード画像をアルバムデータベースに登録できるようになる。
【００３１】
また本発明の一態様では、前記アルバム登録部は、前記画像データベースを用いた前記アップロード画像の画像検索により、前記アップロード画像の名称タグが取得された場合に、取得された前記名称タグを前記アップロード画像に関連づけて前記アルバムデータベースに登録してもよい。
【００３２】
このようにすれば、アップロード画像の名称タグが画像検索により自動的に取得されて、アルバムデータベースに登録されるようになる。
【００３３】
また本発明の一態様では、前記データ作成部は、前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグを含む検索結果データを作成し、前記アルバム登録部は、前記検索結果データにより表示される検索結果画面において、前記複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグをアップロード画像用確定名称タグとして、前記アルバムデータベースの前記アップロード画像に関連づけて登録してもよい。
【００３４】
このようにすれば、アップロード画像の画像検索により取得された候補名称タグの中からユーザが確定名称タグを選択すると、その確定名称タグがアップロード画像に関連づけて登録されるようになる。
【００３５】
また本発明の一態様では、前記撮影画像に類似する前記複数の登録画像を前記画像データベースから検索する画像検索部と、検索された前記複数の登録画像に関連づけられた前記複数の名称タグから、前記複数の候補名称タグを取得するタグ処理部を含んでもよい。
【００３６】
このようにすれば、撮影画像の画像検索により候補名称タグを取得できるようになる。
【００３７】
また本発明の一態様では、前記タグ処理部は、前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得してもよい。
【００３８】
このようにすれば、名称タグの出現数に応じて候補名称タグを選択して取得できるようになる。
【００３９】
また本発明の一態様では、ユーザの位置情報を取得する位置情報取得部を含み、前記画像検索部は、前記撮影画像の画像認識に成功しなかった場合に、ユーザの前記位置情報の取得を前記位置情報取得部に指示し、取得された前記位置情報に基づいて検索対象を絞り込んで、画像検索を行ってもよい。
【００４０】
このようにすれば、画像認識に成功しなかった場合にも、ユーザの位置情報を利用して検索対象を絞り込んで、画像検索を再度実行できる。
【００４１】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部と、前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部とを含むサーバシステムに関係する。
【００４２】
本発明の他の態様によれば、ネットワークを介してユーザの撮影画像を受信すると、受信した撮影画像はアルバムデータベースに登録される。そして撮影画像から取得された候補名称タグが、検索結果画面に表示される。更にユーザは、画像検索の対象となった撮影画像をアルバムとして閲覧できるため、これまでにないタイプの画像検索システムを提供できる。
【００４３】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像を取得する画像取得部と、取得された前記撮影画像についての送信データを、ネットワークを介して送信する処理を行う送信処理部と、前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、受信した前記検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、前記表示制御部は、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、前記送信処理部は、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アルバムデータベースに登録される前記撮影画像の確定名称タグとして、ネットワークを介して送信する処理を行う端末装置に関係する。また本発明の他の態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００４４】
本発明の他の態様によれば、画像検索の対象となる撮影画像が取得されると、その撮影画像がネットワークを介して送信される。そして撮影画像の画像検索の検索結果データが受信されると、撮影画像から取得された候補名称タグが検索結果画面に表示される。そして検索結果画面において、候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグが、アルバムデータベースに登録される撮影画像の確定名称タグとして、ネットワークを介して送信される。これにより、画像検索の対象となった撮影画像がアルバムとして閲覧可能になり、これまでにないタイプの画像検索を実現できる。
【００４５】
また本発明の他の態様では、前記表示制御部は、前記アルバムデータベースのアルバム情報に基づくアルバム閲覧画面を、前記表示部に表示する制御を行ってもよい。
【００４６】
このようにすれば、ユーザは、画像検索の対象となった撮影画像をアルバム閲覧画面により閲覧できるようになる。
【００４７】
また本発明の他の態様では、前記表示制御部は、前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方が表示されたマップ画面を、前記表示部に表示する制御を行ってもよい。
【００４８】
このようにすれば、撮影画像の撮影場所等がマップ画面上に軌跡として残るようになるため、旅行の余韻等をユーザは楽しむことが可能になる。
【００４９】
また本発明の他の態様では、前記表示制御部は、ユーザのアルバム閲覧時に、ユーザによる画像のアップロードが行われ、前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、前記送信処理部は、前記検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アップロード画像用確定名称タグとして、ネットワークを介して送信する処理を行ってもよい。
【００５０】
このようにすれば、アップロード画像の画像検索により取得された候補名称タグの中からユーザが確定名称タグを選択すると、その確定名称タグが、アップロード画像用確定名称タグとしてネットワークを介して送信されるようになる。
【００５１】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像をアルバムデータベースに登録し、前記撮影画像に類似する複数の登録画像を画像データベースから検索し、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、取得された前記複数の候補名称タグが表示された検索結果画面を表示し、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、ユーザにより選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録する画像検索方法に関係する。
【図面の簡単な説明】
【００５２】
【図１】本実施形態のシステム構成例。
【図２】本実施形態の動作の説明図。
【図３】図３（Ａ）、図３（Ｂ）は結果通知メールや検索結果画面の例。
【図４】観光情報画面の例。
【図５】図５（Ａ）、図５（Ｂ）はアルバム閲覧画面の例。
【図６】画像詳細画面の例。
【図７】図７（Ａ）、図７（Ｂ）はアルバムデータベースや画像データベースのデータ構造の例。
【図８】図８（Ａ）、図８（Ｂ）はタグ処理の説明図。
【図９】アップロード画像の検索結果画面の例。
【図１０】本実施形態の詳細な処理フロー。
【図１１】本実施形態の詳細な処理フロー。
【図１２】本実施形態の詳細な処理フロー。
【図１３】本実施形態の詳細な処理フロー。
【図１４】本実施形態の詳細な処理フロー。
【図１５】本実施形態の詳細な処理フロー。
【図１６】本実施形態の詳細な処理フロー。
【発明を実施するための形態】
【００５３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５４】
１．システム構成
図１に本実施形態の画像検索システムのシステム構成を示す。この画像検索システムは、管理サーバ１０や画像検索サーバ６０により実現されるサーバシステムや、端末装置１１０（通信端末、携帯端末装置、電子機器）などにより実現される。これらの管理サーバ１０、画像検索サーバ６０、端末装置１１０等はネットワーク１００により通信接続されている。なおネットワーク１００に他の外部サーバや端末装置を通信接続してもよい。
【００５５】
本実施形態では、ユーザからメール等により送信された画像の被写体となる観光地、施設、文化財、店舗、建物等を、画像認識により特定し、その詳細な情報及びその後の観光ルート等の地域情報を提供する。また、メールに添付した画像を、ユーザ単位で自動的に編集し、画像に位置情報を付与した上で、マップ（地図）上の撮影場所を特定・表示するアルバムとして提供する。
【００５６】
具体的には、ユーザがカメラ付き携帯電話機等の端末装置１１０により画像を撮影すると、その撮影画像は端末装置１１０から管理サーバ１０に送信され、管理サーバ１０は、受信した撮影画像をアルバムデータベース４０に登録する。これによりユーザは、後述する図５（Ａ）〜図６に示すように、過去に画像検索を実行した一連の撮影画像を、自身のアルバムとして閲覧できるようになる。
【００５７】
また画像検索サーバ６０は、画像データベース９０を参照して、ユーザの撮影画像に類似（合致）する登録画像を検索し、検索された登録画像の名称タグ（広義にはタグ）に基づいて、撮影画像の候補名称タグを取得する。例えば撮影画像の被写体が寺である場合には、撮影画像の被写体に類似（合致）する寺の名称の候補が、候補名称タグとして取得される。
【００５８】
そして管理サーバ１０は、取得された候補名称タグを含む検索結果データを作成し、後述する図３（Ｂ）に示すような検索結果画面を作成する。これにより端末装置１１０の表示部１８０には、作成された検索結果画面が表示される。例えば図３（Ｂ）の検索結果画面では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の名称が、候補名称タグとして表示されている。
【００５９】
ユーザは、検索結果画面に表示されるこれらの候補名称タグの中から、自身が正解と思う名称タグを選択する。例えば図３（Ｂ）のＢ４では、ユーザは、自身が撮影した寺は「Ｅ１寺」であると判断したため、「Ｅ１寺」の名称タグを選択している。このようにユーザにより選択された名称タグは、確定名称タグ（正解タグ）であると判断されて、ユーザの撮影画像（Ｅ１寺の撮影画像）に関連づけてアルバムデータベース４０に登録される。このようにすれば、例えば撮影画像の被写体が観光地であった場合には、ユーザはアルバムを閲覧することで、過去に旅行で行った観光地を思い出すことなどが可能になる。
【００６０】
以下、本実施形態の構成について図１を用いて具体的に説明する。なお、管理サーバ１０、画像検索サーバ６０、端末装置１１０等は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また本実施形態のサーバシステムは、例えば管理サーバ１０及び画像検索サーバ６０の一方により実現したり、管理サーバ１０及び画像検索サーバ６０の両方により実現することができる。
【００６１】
ネットワーク１００（通信網）は、移動通信網、インターネット網等の公衆網、或いは固定電話網等を含むことができる。端末装置１１０と通信接続するための移動通信網は、ＣＤＭＡ（Code Division Multiple Access）方式やＰＤＣ（Personal Digital Cellular）方式等の移動電話網や、ＰＤＣ−Ｐ（PDC-Packet）方式等の移動データ通信網を含むことができる。このネットワーク１００は、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などにより実現することができ、有線・無線を問わない。
【００６２】
管理サーバ１０は、サーバシステムにおける管理処理等を担当するサーバであり、例えばウェブサーバやメールサーバなどである。画像検索サーバ６０は、画像検索やタグ処理を担当するサーバである。これらの管理サーバ１０、画像検索サーバ６０の機能は、情報処理装置などのハードウェアと、ＣＧＩプログラムなどのプログラムにより実現できる。
【００６３】
端末装置１１０は、例えばユーザが所持するカメラ付き携帯電話機、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）、カメラ機能を有する情報処理端末、もしくは、例えばカメラ機能を有する情報処理端末から画像を転送可能な装置（ＰＣ）などであり、撮影画像を取得する機能や、ネットワーク１００を介して管理サーバ１０や画像検索サーバ６０と通信する機能を有する。情報処理装置２００は、店舗用やユーザ用のＰＣ（Personal Computer）等である。
【００６４】
管理サーバ１０は、処理部２０、アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０、通信部５８を含む。処理部２０は、システム全体の管理処理やデータベースの管理処理やデータ作成処理などを行うものであり、その機能は、各種プロセッサ（ＣＰＵ等）などのハードウェアやＰＨＰPHP:Hypertext Preprocessor）やＰｅｒｌなどの言語により記述されたＣＧＩプログラムなどにより実現できる。
【００６５】
アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０は、例えばＭｙＳＱＬなどで実現されるリレーショナルデータベースである。アルバムデータベース４０は、ユーザの撮影画像をアルバム情報として記憶する。また撮影画像に関連づけて、その名称タグ（確定名称タグ）や、その撮影場所（ユーザ）の位置情報などを、アルバム情報として記憶する。個人情報データベース４２は、各種のユーザ情報を記憶する。コンテンツデータベース５０は、各種のコンテンツ情報を記憶するものであり、観光情報データベース５２、リコメンド情報データベース５４、広告情報データベース５６などを含むことができる。通信部５８は、ネットワーク１００を介して端末装置１１０や情報処理装置２００や他の外部サーバとの間で情報を通信するためのものである。
【００６６】
画像検索サーバ６０は、処理部７０、画像データベース９０、通信部９８を含む。処理部７０は、画像検索処理やタグ処理などを行うものであり、その機能は各種プロセッサやプログラムなどにより実現できる。
【００６７】
画像データベース９０は、画像検索のための登録画像を記憶するリレーショナルデータベースである。通信部９８は、ネットワーク１００を介して管理サーバ１０等との間で情報を通信するためのものである。
【００６８】
端末装置１１０は、処理部１２０、記憶部１４０、情報記憶媒体１５０、通信部１５８、撮像部１６０、操作部１７０、表示部１８０を含む。
【００６９】
処理部１２０は、操作部１７０からの操作情報や、通信部１５８が受信した情報等に基づいて、種々の処理を行う。この処理部１２０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、情報記憶媒体１５０に記憶されたプログラムなどにより実現できる。
【００７０】
記憶部１４０は、処理部１２０、通信部１５８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００７１】
情報記憶媒体１５０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）やＩＣカード（メモリカード）などにより実現できる。処理部１２０は、情報記憶媒体１５０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１５０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００７２】
通信部１５８は、ネットワーク１００を介して管理サーバ１０、画像検索サーバ６０や他の端末装置との間で情報を通信するためのものである。撮像部１６０は、被写体を撮像（撮影）するためのものであり、例えばＣＣＤやＣＭＯＳセンサなどにより実現できる。操作部１７０は、ユーザが端末装置１１０の各種操作を行うためのものであり、各種ボタン（シャッターボタン）やＧＵＩ（Graphical User Interface）などにより実現できる。表示部１８０は各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや有機ＥＬディスプレイやＣＲＴなどにより実現できる。
【００７３】
管理サーバ１０の処理部２０は、受信処理部２２、送信処理部２４、アルバム登録部２６、データ作成部２８、位置情報取得部３０、アルバム閲覧部３２、コンテンツ提示部３４を含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００７４】
受信処理部２２はデータの受信処理を行い、送信処理部２４はデータの送信処理を行う。例えば受信処理部２２は、画像検索の対象となるユーザの撮影画像（広義には検索対象画像、画像）についての送信データを、ネットワーク１００を介して例えば端末装置１１０から受信する。ここで、撮影画像についての送信データは、撮影画像データそのものであってもよいし、撮影画像の認識用データ（画像認識用データ）であってもよい。認識用データとしては、例えば撮影画像の特徴量データ（特徴データ）や検索対象画像を指定するデータなどを想定できる。
【００７５】
アルバム登録部２６はアルバムデータベース４０へのアルバム情報（画像、タグ、位置等）の登録処理を行う。具体的にはネットワーク１００を介して受信した撮影画像（撮影画像データ）をアルバムデータベース４０に登録する処理（書き込む処理）を行う。例えば受信処理部２２が、撮影画像についての送信データが添付されたユーザからのメールを受信したとする。この場合にはアルバム登録部２６は、受信したメールのメールアドレス（マイページＩＤ、ユーザＩＤ）により特定されるアルバムデータベース４０の格納場所（登録場所）に、撮影画像や確定名称タグ（正解タグ）を登録する。
【００７６】
データ作成部（検索結果画面作成部）２８は、検索結果データ等の各種データを作成する。例えば撮影画像に類似する複数の登録画像が画像データベース９０から検索され、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）が取得されたとする。この場合にはデータ作成部２８は、取得された複数の候補名称タグを含む検索結果データを作成する。即ち、図３（Ｂ）に示す検索結果画面を表示するためのデータを作成する。
【００７７】
そして図３（Ｂ）の検索結果画面において、複数の候補名称タグのいずれかをユーザが選択すると、アルバム登録部２６は、選択された候補名称タグを、撮影画像の確定名称タグ（正解タグ、選択タグ）として、アルバムデータベース４０の撮影画像（アルバム登録画像）に関連づけて登録する。これによりユーザは、自身が撮った画像と自身が選択した名称タグとが表示されるアルバムを閲覧できるようになる。
【００７８】
なお図３（Ｂ）の検索結果画面において、ユーザが確定名称タグの選択を行わずに、テキスト検索を選択した場合には、データ作成部２８は、テキスト検索によりコンテンツデータベース５０からコンテンツ情報を検索する。そして検索された観光情報等のコンテンツ情報を含む検索結果データを作成する。
【００７９】
位置情報取得部３０は、撮影画像の撮影場所（ユーザの所在地）等の位置情報を取得する。具体的には、例えば確定名称タグに基づいて撮影場所の位置情報を取得する。例えばユーザが選択した確定名称タグが図３（Ｂ）の「Ｅ１寺」である場合には、観光情報ＤＢの観光情報等に基づいて、「Ｅ１寺」の位置を、撮影画像の撮影場所の位置情報として取得する。そしてアルバム登録部２６は、取得された撮影場所の位置情報を、アルバムデータベース４０の撮影画像に関連づけて登録する。こうすることで、例えばＧＰＳ等を利用しなくても、各撮影画像の撮影場所の位置情報を簡素な処理で取得できる。
【００８０】
アルバム閲覧部３２は、アルバムデータベース４０の撮影画像等のアルバム情報をユーザが閲覧するための処理を行う。具体的には図５（Ａ）〜図６に示すような各種のアルバム閲覧画面を作成して表示するための処理を行う。
【００８１】
例えば図５（Ａ）のＣ３では、撮影場所に関するマップ画面（地図）が表示されている。そして、このマップ画面上には、アルバムに登録されている撮影画像の撮影場所の表示位置やその移動履歴（移動軌跡）が表示されている。例えばユーザが大阪の「Ｆ１タワー」を撮影した後、「Ｆ２神社」を撮影し、次に「Ｆ３城」を撮影したことが表示されている。この場合にアルバム閲覧部３２は、例えば位置情報取得部３０により取得された位置情報に基づいて、図５（Ａ）のマップ画面上での撮影場所の表示位置や移動履歴を特定する。
【００８２】
またアルバム閲覧部３２は、ユーザがアルバム情報の閲覧を選択すると、図５（Ｂ）に示すように、アルバムデータベース４０に登録されている撮影画像の一覧画面を作成して表示する。またアルバム閲覧部３２は、この一覧画面に表示されている撮影画像に対して、ユーザがコメントを入力すると、入力されたコメントをアルバムデータベース４０の撮影画像に関連づけて登録する。例えば図５（Ｂ）の一覧画面においてユーザが所望の撮影画像を選択すると、図６に示すような画像詳細情報が表示される。そして、この画像詳細情報には、Ｃ１１に示すようにユーザがその撮影画像に対して入力したコメントが表示される。なお、入力したコメントを図５（Ｂ）の一覧画面において各撮影画像に対応づけて表示してもよい。
【００８３】
またアルバム登録部２６は図５（Ａ）、図５（Ｂ）のアルバム閲覧時に、ユーザにより画像のアップロードの選択が行われた場合には、アップロード画像をアルバムデータベース４０に登録する処理を行う。
【００８４】
なお、本実施形態では、検索結果画面やアルバム閲覧画面等の各種画面をサーバ側で作成する場合の例について説明しているが、これらの各種画面を端末装置側のアプリケーションプログラムにより作成してもよい。例えばサーバ側のデータ作成部２８が、検索結果画面等の各種画面を表示するためのデータ（検索結果データ等）を作成して送信すると、端末装置側のアプリケーションプログラムが、作成されたデータに基づいて各種画面を作成して、表示部１８０に表示してもよい。またソフトウェアとしてのブロックは、ハードウェア上一体であってもよく、例えば画像認識処理を端末装置側のアプリケーション処理として実行してもよい。
【００８５】
コンテンツ提示部３４は、各種のコンテンツ情報の提示処理（表示処理）を行う。例えば、ユーザが選択した確定候補名称タグに基づいてコンテンツデータベース５０を参照して、確定名称タグに対応するコンテンツ情報を取得する。具体的には、コンテンツ情報として、確定名称タグに対応する観光情報（被写体の詳細情報）やリコメンド情報を取得し、図４に示すような観光情報（観光地情報）やリコメンド情報をユーザに提示する。
【００８６】
画像検索サーバ６０の処理部７０は、受信処理部７２、送信処理部７４、画像検索部７６、タグ処理部７８を含む。
【００８７】
受信処理部７２は、撮影画像のデータ等を例えば管理サーバ１０から受信する処理を行う。なお撮影画像のデータを端末装置１１０から受信するようにしてもよい。
【００８８】
画像検索部７６は画像検索処理を行う。具体的には、撮影画像に類似（合致）する複数の登録画像（1又は複数の登録画像）を画像データベース９０から検索する。
【００８９】
なお画像検索部７６は、撮影画像の画像認識に成功しなかった場合には、ユーザの位置情報の取得を管理サーバ１０の位置情報取得部３０に指示する。そして位置情報取得部３０により取得された位置情報に基づいて検索対象を絞り込んで、画像検索を行ってもよい。例えばＧＰＳ、簡易位置情報等を用いて位置情報を取得してもよい。
【００９０】
タグ処理部７８は、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）を取得する。具体的には、複数の名称タグの出現数（出現頻度）を集計し、集計結果に基づいて複数の名称タグのソーティング処理を行って、複数の候補名称タグを取得する。例えば複数の名称タグを、出現数が多い順に並べ替えて、重複する名称タグを１つの名称タグにまとめる名寄せ処理等を行って、候補名称タグを取得する。そして送信処理部７４は、取得された候補名称タグ（タグ情報）を管理サーバ１０に送信する処理を行う。
【００９１】
なお、名称タグの集計処理は、名称タグの出現数を単純にカウントする処理には限定されない。例えば、撮影画像に類似する画像として抽出された登録画像の類似度等に基づいて重み付け係数を求め、この重み付け係数と出現数に基づいてタグの集計処理を行うなどの種々の変形実施が可能である。例えば出現数が少なくても、撮影画像に対する登録画像の類似度が高い場合には、その登録画像の名称タグの集計値を大きくするようにしてもよい。
【００９２】
端末装置１１０の処理部１２０は、画像取得部１２２、送信処理部１２４、受信処理部１２６、表示制御部１２８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００９３】
画像取得部１２２は検索対象となる撮影画像を取得する。例えば、撮像部１６０により被写体を撮像することで得られた撮影画像（被写体画像）を取り込む。なお、例えばメモリカードなどに保存された撮影画像を読み出して取得してもよい。
【００９４】
送信処理部１２４は、取得された撮影画像についての送信データを、ネットワーク１００を介して管理サーバ１０（広義にはサーバシステム）に送信する処理を行う。受信処理部１２６は、撮影画像の類似画像検索の検索結果データをネットワーク１００を介して受信する処理を行う。
【００９５】
表示制御部１２８は、受信した検索結果データに基づいて、表示部１８０の表示制御を行い、図３（Ｂ）に示すような検索結果画面を表示部１８０に表示する。即ち、撮影画像に類似する登録画像が検索され、検索結果により候補名称タグが取得されると、取得された候補名称タグが表示される検索結果画面を、表示部１８０に表示する。また表示制御部１２８は、図５（Ａ）〜図６に示すように、アルバムデータベース４０のアルバム情報に基づくアルバム閲覧画面を表示する制御を行う。具体的には図５（Ａ）に示すように、アルバムデータベース４０に登録されている撮影画像の撮影場所や移動履歴が表示されたマップ画面を表示する制御を行う。
【００９６】
そして検索結果画面において、候補名称タグのいずれかをユーザが選択したとする。すると、送信処理部１２４は、選択された候補名称タグを、アルバムデータベース４０に登録される撮影画像の確定名称タグとして、ネットワーク１００を介して送信する処理を行う。
【００９７】
２．動作
次に本実施形態の動作について図２の処理フローを用いて説明する。なお以下では「データベース」は、適宜、「ＤＢ」と記載する。
【００９８】
ユーザは端末装置１１０のカメラ（撮像部）で被写体を撮影すると、その撮影画像が添付されたメールを、特定のメールアドレス先に送信する（ステップＳ３０１）。管理サーバ１０は、ユーザからのメールを受信すると、メールに添付されている撮影画像をアルバムＤＢに登録（蓄積）すると共にその撮影画像を画像検索サーバ６０に送信する（ステップＳ３０２、Ｓ３０３、Ｓ３０４）。
【００９９】
画像検索サーバ６０は、撮影画像を受信すると、画像ＤＢを参照して画像認識処理を行う（ステップＳ３０５、Ｓ３０６）。具体的には、撮影画像（検索対象画像）と、画像ＤＢの各登録画像とを照合し、撮影画像に類似（合致する場合を含む）する登録画像のうち、上位の所定数の登録画像を抽出する。そして画像認識処理の結果に基づいて候補名称タグを取得し、取得された候補名称タグを管理サーバ１０に送信する（ステップＳ３０７、Ｓ３０８）。具体的には、撮影画像に類似する上位の所定数の登録画像に関連づけられた名称タグの集計処理（名寄せ処理）を行って、候補名称タグを取得し、管理サーバ１０に送信する。
【０１００】
管理サーバ１０は、候補名称タグを受信すると、観光情報ＤＢから候補名称タグに対応する観光情報を抽出し、結果通知メールをユーザの端末装置１１０に送信する（ステップＳ３０９、Ｓ３１０、Ｓ３１１）。
【０１０１】
図３（Ａ）に結果通知メールの例を示す。この結果通知メールは、Ｂ１、Ｂ２に示すように、撮影画像の候補名称タグや、検索結果画面等を表示するためのマイページのＵＲＬ（Uniform Resource Locator）を含むメールになっている。そしてユーザがＢ２のマイページＵＲＬをクリックすると、図３（Ｂ）に示すような検索結果画面が表示される（ステップＳ３１３、Ｓ３１４）。
【０１０２】
図３（Ｂ）の検索結果画面では、Ｂ３に示すように撮影画像の候補名称タグと各候補名称タグに対応するアイコン画像（撮影画像に類似する登録画像）が表示される。具体的には「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の候補名称タグと、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」を表すアイコン画像が表示される。ユーザは、これらの候補名称タグやアイコン画像を参照して、自身が正解と考えた候補名称タグ（アイコン画像）を選択する（ステップＳ３１５）。例えば図３（Ｂ）ではＢ４に示す「Ｅ１寺」の候補名称タグを選択している。
【０１０３】
すると管理サーバ１０は、観光情報ＤＢ等のコンテンツＤＢを参照して、各種のコンテンツ情報を抽出して、図４に示すようなコンテンツ情報画面（観光情報画面）を表示する（ステップＳ３１６、Ｓ３１７）。これによりユーザは、図４に示すように観光地情報やレコメンド情報や広告情報などの各種のコンテンツ情報を閲覧できるようになる（ステップＳ３１８）。
【０１０４】
そして本実施形態では、ユーザが図３（Ｂ）のＢ３に示す候補名称タグの中から所望の名称タグを選択すると、選択された名称タグ（Ｅ１寺）が確定名称タグとしてアルバムＤＢに登録される（ステップＳ３１９）。即ちユーザの撮影画像に関連づけて「Ｅ１寺」の確定名称タグが登録される。これにより、ユーザが画像検索を行った撮影画像と、それに対してユーザが選択した確定名称タグが、アルバムＤＢに次々に登録されるようになる。
【０１０５】
また、ユーザは、図３（Ｂ）のＢ７をクリックすることで、撮影画像の画像検索を再度実行できる。また、ユーザが所望する検索結果を得られなかった場合には、ユーザはＢ８に示すテキスト検索を選択して、撮影画像に関する情報のテキスト検索を実行できる。これにより、観光情報ＤＢ等を参照して、観光地の情報等を検索できるようになる。
【０１０６】
図３（Ｂ）のＢ５に示すように、ユーザに対しては、送付した撮影画像がユーザのアルバムに登録された旨が通知される。そしてユーザが、どのようなアルバムが作成されたのかに興味を持って、Ｂ６のアルバム閲覧をクリックすると、図５（Ａ）に示すようなアルバム閲覧画面が表示される（ステップＳ３２１、Ｓ３２２）。
【０１０７】
図５（Ａ）では、Ｃ１に示すように、「大阪アルバム」や「滋賀アルバム」というようにユーザが過去に旅行に行った場所のアルバムを閲覧することができ、ここでは最も最近に行った「大阪アルバム」が表示されている。なお、アルバムは日付単位（撮影日単位等）でグループ化されるものであってもよい。
【０１０８】
図５（Ａ）のＣ２に示すように、ユーザは大阪の旅行で「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の写真を撮っており、その撮影画像の画像検索を行っている。そしてユーザは図３（Ｂ）の検索結果画面において、これらの観光地の確定名称タグを選択しており、これらの撮影画像や確定名称タグがアルバムＤＢに登録されている。すると管理サーバ１０は、これらの「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の確定名称タグから、その観光地の場所を特定して、Ｃ３に示すマップ画面上に表示している。例えばＣ４、Ｃ５、Ｃ６の星マークは、各々、「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の位置を表し、Ｃ７、Ｃ８の矢印マークは、ユーザ（撮影場所）の移動履歴（移動経路）を表している。ユーザは、これらのマークを見ることで、大阪の旅行においてどのようなルートで観光を行ったのかを思い出すことができる。
【０１０９】
そしてユーザが、Ｃ９に示す「アルバムを見る」をクリックすると、図５（Ｂ）に示すように、大阪アルバムにおける撮影画像の一覧画面が表示される。即ちアルバムＤＢのアルバム情報に基づいて撮影画像の一覧画面が作成されて表示される。ユーザは、このような一覧画面を見ることで、大阪で撮影した画像を閲覧することができ、旅行の思い出を楽しむことができる。
【０１１０】
また図５（Ｂ）の一覧画面において、ユーザが、Ｃ１０に示す「詳細を観る」をクリックすると、図６に示すような画像詳細画面が表示される。この画像詳細画面においては、Ｃ１１に示すように、ユーザは写真に対するコメントを入力できる。これによりユーザは、どのような状況・経緯等で写真が撮影されたかをコメントにより書き留めておくことができ、ユーザの旅行を振り返ることが可能になる。
【０１１１】
また図２のステップＳ３１５においてユーザが候補名称タグを選択すると、その確定名称タグに基づいて観光情報ＤＢ等からその観光地等の位置情報が取得される（ステップＳ３３０）。これにより、ユーザの所在地が特定され、その所在地の周辺店舗用の情報処理装置（ＰＣ）２００に対して、ユーザが所在（接近）していることを知らせる通知メールが送信される（ステップＳ３３１）。
【０１１２】
情報処理装置２００は、この通知メールを受信すると、広告メール配信の対象ユーザを抽出して、抽出された対象ユーザの中から、通知メールを配信するユーザを選択する（ステップＳ３３２、Ｓ３３３、Ｓ３３４）。例えばユーザの個人情報ＤＢからの情報に基づき、年齢層、性別等に応じて広告メール配信の対象ユーザを絞り込んで選択する。そして選択された対象ユーザに対して、登録された広告内容に対応する広告メールを配信することを、管理サーバ１０に対して要求する（ステップＳ３３５）。なお、広告内容の登録は、管理サーバ１０からの通知メールの受信前に予め行っておくことが望ましい。
【０１１３】
管理サーバ１０は、広告メールの配信要求を受信すると、広告情報ＤＢからの広告情報を読み出して、広告メールを作成する（ステップＳ３３６）。広告情報ＤＢには、情報処理装置２００により予め登録された内容の広告情報が記憶されている。そして管理サーバ１０が作成した広告メールを送信し、端末装置１１０が広告メールを受信すると、端末装置１１０の表示部１８０にその周辺店舗の広告メールが表示されるようになる（ステップＳ３３７、Ｓ３３８）。
【０１１４】
例えばユーザが観光地である「Ｅ１寺」で写真を撮影し、図３（Ｂ）の検索結果画面において、「Ｅ１寺」を確定名称タグとして選択したとする。すると、観光情報ＤＢから「Ｅ１寺」の位置情報が抽出され、この位置情報に基づいてユーザの所在地が特定され、その所在地の周辺店舗に対して通知メールが送信される。そしてその周辺店舗の情報処理装置２００から、広告メールの配信要求があると、例えば図４のＢ９に示すように、その周辺店舗の広告情報が表示される。このようにすれば、画像検索により得られた確定名称タグを有効活用して，ユーザの所在地を特定し、その所在地の周辺店舗の広告情報をリアルタイムにユーザに提示できるようになる。
【０１１５】
以上に説明した本実施形態の手法によれば、旅行中や観光中（オントラベル中）においては、ユーザは、カメラ付き携帯電話機やデジタルカメラで写真を撮影し、その撮影画像の画像検索をサーバ側に依頼すると、図３（Ｂ）に示すような検索結果画面が表示され、図４に示すような観光情報等のガイド情報を見ることができる。従って、携帯電話機等で写真を撮って、その写真を特定のメールアドレスに送信するだけで、図４のようなガイド情報が表示されるため、ユーザは、旅行中にガイドブックを持ち歩かなくても済むようになる。これにより、ガイドブックに比べて、携行性や利便性の高いガイド情報の提供が可能になる。
【０１１６】
また図４のガイド情報では、Ｂ９に示すような周辺店舗についての情報や、Ｂ１０に示すような他ユーザのリコメンド情報（お勧め情報）がリアルタイムに表示されるため、オントラベル中における好適なガイド情報をユーザに提供できる。
【０１１７】
またユーザが画像検索を依頼した撮影画像は、ユーザが意識しなくても自動的にアルバムＤＢに登録されて保存される。そしてユーザが図３（Ｂ）の検索結果画面において、その撮影画像の名称タグを確定する選択を行うと、その確定名称タグが撮影画像に関連づけて登録され、その撮影画像の名称が自動的に付与されるようになる。従って、ユーザが撮影した画像を個人単位でストレージして、ウェブアルバムとしてユーザに提供できるようになるため、ユーザは保存容量を気にせずに写真を撮影してサーバに保存しておくことが可能になる。
【０１１８】
またユーザが画像検索を目的として写真を撮影した場合にも、図３（Ｂ）のＢ６に示すように、撮影画像がアルバムに登録された旨がユーザに知らされ、ユーザは図５（Ａ）〜図６のアルバム閲覧画面で撮影画像を閲覧できる。従って、オントラベルにおけるガイド情報の提供のみならず、アフタートラベルにおいて旅行の思い出を振り返るための情報をユーザに提供できる。また図５（Ａ）のＣ３に示すように、撮影画像の撮影場所の位置情報を活用して旅行中の移動履歴をマップ画面上に軌跡として残すことで、ユーザは、旅行の余韻を視覚的に楽しむことが可能になる。従って、多くの撮影画像が閲覧されずに保存されたままになってしまうという事態を防止でき、アルバムの閲覧を介して撮影画像の有効活用を図れる。
【０１１９】
また図６のＣ１１に示すように、ウェブアルバムのアルバム情報に対して、ユーザはコメントや評価を入力できる。従って、ウェブアルバムのマップ画面、撮影画像、コメントが連動したブログやＳＮＳ（Social Networking Service）、アルバム公開、アルバム写真のスライドショーの提供も可能になる。
【０１２０】
３．データベース構造
次に本実施形態で使用されるアルバムＤＢや画像ＤＢのデータ構造について説明する。図７（Ａ）にアルバムＤＢのデータ構造の例を示す。図７（Ａ）においてマイページＩＤはユーザＩＤに相当し、例えばＭＰＩＤＡはユーザＡのマイページＩＤであり、ＭＰＩＤＢはユーザＢのマイページＩＤである。例えば新規ユーザが、特定のメールアドレスに対して、撮影画像を添付したメールを送信して、ユーザ登録を行うと、例えば登録ユーザのメールアドレスに１対１に対応してマイページＩＤが付与される。すると、そのユーザのメールに添付された撮影画像は、そのマイページＩＤに対応するアルバムＤＢの格納場所に書き込まれるようになる。例えばユーザＡがユーザ登録を行い、マイページＩＤ＝ＭＰＩＤＡが付与された場合には、ユーザＡのメールに添付された撮影画像は、図７（Ａ）のマイページＩＤ＝ＭＰＩＤＡの格納場所に登録される。また図３（Ｂ）のＢ４に示すようにユーザが候補名称タグから確定名称タグを選択すると、図７（Ａ）に示すようにその確定名称タグは、撮影画像に関連づけて登録される。このように本実施形態では、受信したユーザのメールのメールアドレスにより特定されるアルバムＤＢの格納場所に、撮影画像や確定名称タグが登録される。
【０１２１】
また例えば確定名称タグにより位置情報が取得された場合に、図７（Ａ）に示すように、その位置情報についても撮影画像に関連づけて登録することが望ましい。このようにすれば、図５（Ａ）のＣ４〜Ｃ８に示すように、登録された位置情報を用いて、撮影画像の撮影場所や移動履歴を特定して、マップ画面上に表示する処理を容易化できる。この場合に、例えばアルバムＤＢに登録された位置情報をユーザが編集できるようにしてもよい。このようにすれば、ユーザは図５（Ａ）のＣ３のマップ画面において、撮影場所の位置を微調整することなどが可能になり、ユーザの利便性を向上できる。なお位置情報をアルバムＤＢに記憶しないようにしてもよい。例えば必要に応じて観光情報ＤＢ等を参照して、位置情報を取得してもよい。
【０１２２】
図７（Ｂ）に画像ＤＢのデータ構造例を示す。この画像ＤＢでは、各登録画像データに対して各名称タグが関連づけて登録されている。なお、１つの登録画像データに対して複数の名称タグを関連づけるようにしてもよい。
【０１２３】
そして本実施形態では、例えばユーザの撮影画像の画像検索が行われ、図３（Ｂ）のＢ４に示すように確定名称タグをユーザが選択すると、画像検索が行われた撮影画像とその確定名称タグが、画像ＤＢにも登録される。即ちユーザの撮影画像及びその確定名称タグが、画像検索のための登録画像及びその名称タグとして画像ＤＢに登録される。このようにすれば、様々なユーザが画像検索を行うことで、画像ＤＢに対してその撮影画像が登録画像として次々に追加されるようになる。即ち、ユーザの利用により画像ＤＢのリファレンス画像となる登録画像が増え、画像ＤＢが成長するようになる。従って、様々な撮影画像に対して画像ＤＢが対応できるようになり、ユーザの利便性等を向上できる。
【０１２４】
４．候補名称タグの取得
次に候補名称タグの取得手法の一例について説明する。例えば図８（Ａ）では、ユーザの撮影画像に類似する登録画像として、ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６・・・が画像ＤＢから抽出されている。図８（Ａ）では、登録画像は類似度が高い順に上位列挙されており、登録画像ＩＭＴ１の類似度が最も高く、登録画像ＩＭＴ２の類似度がその次に高くなっている。
【０１２５】
また登録画像ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６に対しては、各々、名称タグである「Ｅ１寺」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」が関連づけられている。この場合に本実施形態では、これらの名称タグの出現数（出現頻度）を集計し、集計結果に基づいて候補名称タグを取得する。例えば図８（Ａ）では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の出現数は、各々、３回、２回、１回になっている。このため、図８（Ａ）の名称タグを、出現数が多い順に並び替えて出現数が上位の所定数の名称タグだけを残すことで、図８（Ｂ）に示すような候補名称タグが取得される。この場合に、重複する名称タグを削除して１つにする名寄せ処理も行われる。
【０１２６】
なお集計処理における出現数のカウントの際に、その画像の類似度に応じた重み付け計数を乗算するようにしてもよい。また、出現数のカウントを行わずに、類似度の高い順に並べた名称タグに対して名寄せ処理を行い、名寄せ処理後の上位の所定数の名称タグを、候補名称タグとして取得してもよい。
【０１２７】
５．画像のアップロード
本実施形態では、撮影画像のみならず、例えばＰＣ等の情報処理装置でユーザがアップロードした画像についても、アルバムＤＢに登録できるようになっている。具体的には例えば図５（Ａ）、図５（Ｂ）のアルバム閲覧画面において、Ｃ１２やＣ１３に示す部分をクリックすることで、ユーザは、情報処理装置のハードディスク等に保存されている画像をアップロードし、アップロード画像をアルバムＤＢに登録できる。
【０１２８】
例えば図１のアルバム登録部２６は、画像ＤＢを用いたアップロード画像の画像検索により、アップロード画像の名称タグが取得されると、取得された名称タグをアップロード画像に関連づけてアルバムＤＢに登録する。
【０１２９】
またアップロード画像に類似する複数の登録画像が画像ＤＢから検索され、検索された複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得されると、データ作成部２８は、これらの複数のアップロード画像用候補名称タグを含む検索結果データを作成する。そしてアルバム登録部２６は、検索結果データにより表示される検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグをアップロード画像用確定名称タグとして、アルバムＤＢのアップロード画像に関連づけて登録する。
【０１３０】
図９にアップロード画像の検索結果画面（画像候補名称選択画面）の例を示す。例えば画像検索（合致検索）によりアップロード画像の被写体の名称タグを一意に判別できた場合には、図９のＤ１に示すように、そのアップロード画像に対してその名称タグが付与されて、アルバムＤＢの対応するフォルダに自動保存される。即ち、そのアップロード画像に合致（類似）する登録画像を検索できた場合には、その登録画像の名称タグが、アップロード画像に付与されて、アルバムＤＢに登録される。
【０１３１】
一方、図９のＤ２に示すように、アップロード画像に合致する登録画像を検索できなかった場合には、撮影画像の場合と同様に、アップロード画像に類似する複数の登録画像の名称タグから、アップロード画像用の候補名称タグが取得される。具体的には、合致検索においてスコアリングは規定値以下であったが、類似検索において検索結果が出た画像については、検索結果である名称タグに対して名寄せ処理を行い、上位の所定数の名称タグを、候補名称タグとして取得する。
【０１３２】
そして図９のＤ３に示すように、アップロード画像の検索結果画面においてこれらの候補名称タグが表示される。ユーザが、これらの候補名称タグのいずれかを選択して、Ｄ４に示すように「名称を確定する」をクリックすると、選択された名称タグがアップロード画像用の確定名称タグとして、アップロード画像に関連づけてアルバムＤＢに登録されるようになる。なおアップロード画像に類似する登録画像を１枚も検索できなかった場合には、そのアップロード画像は、Ｄ５に示すようにその他の画像のフォルダに保存される。
【０１３３】
以上のように、アップロード画像をアルバムＤＢに登録できるようにすれば、ユーザが例えば旅行が終わって家に帰った後に、画像検索を行わなかった画像や、その旅行の観光地に関連する画像などを、ＰＣ等を用いてアップロードして、旅行中の撮影画像と共にアルバムＤＢに登録できるようになる。この際に図９のＤ１、Ｄ２に示すように、アップロード画像の画像検索が自動的に行われることで、アップロード画像に対して自動的に名称タグが付与されたり、候補名称タグの中からユーザが選択した名称タグがアップロード画像に付与される。従って、ユーザは、少ない手間で所望のアップロード画像を整理してアルバムＤＢに登録できるようになり、ユーザの利便性を向上できる。
【０１３４】
６．画像認識
次に画像認識処理の詳細例について説明する。画像検索のための画像認識処理としては、例えば、特徴点を利用した画像認識と、画像全体の特徴を利用した画像認識がある。特徴点を利用した画像認識は、上述の図９のＤ１で用いられる合致検索であり、画像全体の特徴を利用した画像認識は、図９のＤ２で用いられる類似検索である。
【０１３５】
６．１ 特徴点を利用した画像認識（合致検索）
特徴点を利用した画像認識では、まず、原画像に対して段階的にブラー処理を行って、ブラー画像を作成する。そしてブラー画像間の差分を取り、差分画像を作成し、差分画像の中で、その値が極値となる座標（周囲よりも値が大きい又は小さくなる座標）にある画素を特徴点とする。通常、１枚の画像から複数の特徴点が抽出される。
【０１３６】
各特徴点の特徴量は１２８次元のベクトルで表現され、これを特徴ベクトルと呼ぶ。この特徴ベクトルは、上述のようにして求められた特徴点を中心とした一定の範囲（以下、ピックアップ範囲と呼ぶ）におけるブラー画像の微分値を、対応する次元に足し込むことで求められる。
【０１３７】
足し込む微分値は、特徴点に近いほど値が大きくなるように重み付けをする。足し込む次元のインデックスは、ピックアップ範囲の各画素の座標（以下、ピックアップ座標と呼ぶ）を、４×４に丸めた座標と、ピックアップ座標の微分方位を８方向に丸めた方位から求める。そして複数の特徴点の全てについて、この特徴量を求める。
【０１３８】
次に、登録画像と、質問画像（検索対象画像）に対して、上述の処理を行って、特徴点を抽出すると共に特徴量を抽出する。そして質問画像から抽出された特徴点の特徴量に最も近い特徴量を、登録画像の中から検索する。ここで、特徴量の近さは、特徴ベクトルの距離によって表現される。
【０１３９】
このように、検索対象画像から抽出された特徴点に対応する登録画像の特徴点を求め、対応する特徴点を最も多く有する登録画像を、正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、対応する特徴点を多く有する画像から順に上位Ｊ個（Ｊは２以上の整数）の画像を、正解画像（類似画像）として返送する。
【０１４０】
６．２ 画像全体の特徴を利用した画像認識（類似検索）
画像全体の特徴を利用した画像認識では、まず画像全体をグレースケール化し、輝度画像に変換する。この輝度画像を１６×１６の画素に縮小し、例えば２５６次元のベクトルにしたものを構図特徴とする。
【０１４１】
画素全体の色相を例えば１０区間に分け、そのヒストグラムを画像全体の色特徴とし、１０次元のベクトルとして表現する。また画像全体を５１２色に分け、そのうち占有面積の上位３０色を代表色の色特徴とする。
【０１４２】
登録画像と質問画像に対して、上述の処理を行い、特徴量を算出する。そして質問画像に最も近い特徴を持つ登録画像を正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、質問画像に近い画像から順に上位Ｊ個の画像を返送する。特徴の近さは、各特徴ベクトルの距離によって表現される。また構図特徴と色特徴のどちらを重視するかにより、重み付けを変更する。
【０１４３】
７．詳細な処理
次に本実施形態の詳細な処理例について図１０〜図１６の処理フローを用いて説明する。
【０１４４】
図１０、図１１は、撮影画像の画像検索により候補名称タグを取得し、ユーザの選択により得られた確定候補名称タグを撮影画像に関連づけてアルバムＤＢや画像ＤＢに登録する処理のフローである。
【０１４５】
ユーザが端末装置１１０により被写体を撮影して、撮影画像を添付したメールを送信すると、管理サーバ１０が受信して、メールアドレスをチェックする（ステップＳ１〜Ｓ４）。そして、メールアドレスにより特定されるユーザが新規ユーザである場合には、ユーザＩＤとなるマイページＩＤを発行し、個人情報ＤＢにユーザの情報を登録する（ステップＳ５、Ｓ６）。一方、既にサービスを利用している既存のユーザである場合には、そのマイページＩＤを撮影画像に付与して、撮影画像を画像検索サーバ６０に送信すると共にアルバムＤＢに登録する（ステップＳ７〜Ｓ９）。
【０１４６】
画像検索サーバ６０は、撮影画像を受信すると、撮影画像の特徴点を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１０〜Ｓ１２）。即ち上述した特徴点を利用した画像認識（合致検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否か（認識結果が出たか否か）を判断する（ステップＳ１３、Ｓ１４）。
【０１４７】
画像認識に成功しなかった場合には、画像の構図を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１５、Ｓ１６）。即ち、上述の画像全体の特徴を利用した画像認識（類似検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否かを判断する（ステップＳ１７、Ｓ１８）。
【０１４８】
ステップＳ１４又はＳ１８で画像認識に成功したと判断された場合には、検索された登録画像の名称タグを類似度順に上位列挙して、名称タグの集計処理（名寄せ処理）を行い、候補名称タグを取得し、管理サーバ１０に送信する（ステップＳ１９〜Ｓ２２）。一方、ステップＳ１８で画像認識に成功しなかったと判断された場合には、画像検索サーバ６０はエラー結果を送信する（ステップＳ５１）。そして管理サーバ１０は、エラー結果を受信すると、エラーメールを作成して端末装置１１０に送信する（ステップＳ５２〜Ｓ５４）。端末装置１１０のユーザが、エラーメールの受領を確認して、メール内のＵＲＬをクリックすると、トップ画面が表示される（ステップＳ５５〜Ｓ５７）。このトップ画面でユーザが画像認識検索を選択すると、メーラーが起動してステップＳ１に戻り，テキスト検索を選択するとテキスト検索が行われる（ステップＳ５８〜Ｓ６１）。
【０１４９】
管理サーバ１０は、画像検索サーバ６０から候補名称タグを受信すると、候補名称タグに基づき観光情報ＤＢを検索して、図３（Ｂ）に示すような検索結果画面を作成する（ステップＳ２３〜Ｓ２５）。そして、作成した検索結果画面のＵＲＬを知らせる図３（Ａ）の結果通知メールを端末装置１１０に送信する（ステップＳ２６）。
【０１５０】
端末装置１１０のユーザが結果通知メールの受領を確認して、ＵＲＬにより検索結果画面の閲覧を選択すると、図３（Ｂ）の検索結果画面が表示される（ステップＳ２７〜Ｓ２９）。そしてユーザが、図３（Ｂ）のＢ４に示すように正解と考える候補名称タグを選択すると、図４に示すような観光情報画面（ガイド情報画面）が表示され、ユーザはこの観光情報画面を閲覧する（ステップＳ３０〜Ｓ３３）。そして管理サーバ１０は、選択された候補名称タグを確定名称タグであると判断して、撮影画像及び確定名称タグを画像検索サーバ６０に送信する（ステップＳ３４、Ｓ３５）。また確定名称タグに基づいて観光情報ＤＢを参照することで、撮影画像の撮影場所の位置情報を取得する（ステップＳ３６）。図３（Ｂ）のＢ４を例にとれば、「Ｅ１寺」の位置情報が観光情報ＤＢから取得される。そして確定名称タグ及び位置情報を撮影画像に関連づけてアルバムＤＢに登録する（ステップＳ３７）。
【０１５１】
一方、撮影画像及び確定名称タグを受信した画像検索サーバ６０は、受信した撮影画像及び確定名称タグを画像ＤＢに登録する（ステップＳ３８、Ｓ３９）。これにより、撮影画像は、画像検索のリファレンスとなる登録画像として画像ＤＢに登録されることになる。
【０１５２】
なお図３（Ｂ）のＢ７に示すように検索結果画面においてユーザが画像検索を選択すると、メーラーが起動して図１０のステップＳ１に戻る（ステップＳ４０、Ｓ４１）。またＢ８に示すようにテキスト検索を選択すると、観光情報ＤＢを参照したテキスト検索が実行され、観光情報ＤＢから所望の情報が検索された場合には、テキスト検索の検索結果画面が表示される（ステップＳ６１〜Ｓ６３、Ｓ２９）。一方、情報を検索できなかった場合には、外部サイトによる検索を実行し、外部サイトからの検索結果を受信して、検索結果画面を表示する（ステップＳ６４〜Ｓ６６、Ｓ２９）。
【０１５３】
図１２、図１３は、撮影画像の画像認識に成功しなかった場合に、ユーザの位置情報を取得し、取得された位置情報に基づいて検索対象を絞り込んで、画像認識を行う処理のフローである。
【０１５４】
図１２のステップＳ７１〜Ｓ８３は図１０のステップＳ１〜Ｓ１３と同様であるため説明を省略する。画像検索サーバ６０は、ステップＳ８４で画像認識に成功しなかったと判断した場合には、位置情報の取得を管理サーバ１０に指示（依頼）する（ステップＳ９１）。
【０１５５】
すると管理サーバ１０は、位置情報取得画面を作成して、その画面のＵＲＬを知らせるメールを端末装置１１０に送信する（ステップＳ９２、Ｓ９３）。そして端末装置１１０のユーザが、メールの受信を確認して、メール内のＵＲＬをクリックすると、位置情報取得画面が表示される（ステップＳ９４〜Ｓ９６）。そしてユーザが、この位置情報取得画面において位置情報取得のコマンドを選択して、位置情報の取得を許可すると、管理サーバ１０は簡易的な位置情報の取得処理を行う（ステップＳ９７〜Ｓ９９）。例えば携帯電話機等の端末装置１１０の基地局情報に基づいてユーザの位置情報を取得する。或いは端末装置１１０が有するＧＰＳを利用して位置情報を取得してもよい。そして取得した位置情報を画像検索サーバ６０に送信する（ステップＳ１００）。
【０１５６】
画像検索サーバ６０は、管理サーバ１０から位置情報を受信すると、受信したユーザの位置情報に基づいて、画像検索のリファレンスとなる対象画像を絞り込む（ステップＳ１０１、Ｓ１０２）。そして画像の構図を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１０３、Ｓ１０４）。即ち画像全体の特徴を利用した画像認識（類似検索）を実行する。そしてスコアリングを算定し、画像認識に成功したか否かを判断する（ステップＳ１０５、Ｓ１０６）。
【０１５７】
画像認識に成功したと判断された場合には、名称タグの集計処理等を行って、取得された候補名称タグを管理サーバ１０に送信する（ステップＳ１０７〜Ｓ１１０）。そして管理サーバ１０は、受信した候補名称タグに基づいて観光情報ＤＢを検索して、検索結果画面を作成し、その画面のＵＲＬを知らせるメールを送信し、端末装置１１０がメールを受信する（ステップＳ１１１〜Ｓ１１５）。その後は図１０、図１１で説明した通常フローと同様の処理が行われる。
【０１５８】
ステップＳ１０６で画像認識に成功しなかったと判断された場合には、画像検索サーバ６０がエラー結果を送信し、管理サーバ１０が受信する（ステップＳ１２１、Ｓ１２２）。そして管理サーバ１０は、エラーメールを作成して送信し、端末装置１１０が受信する（ステップＳ１２３〜Ｓ１２５）。
【０１５９】
以上の図１２、図１３の処理によれば、撮影画像の１回目の画像認識に成功しなかった場合にも、ユーザの位置情報に基づいて対象画像を絞り込んで画像検索を実行することで、撮影画像の候補名称タグを取得して、ユーザに提示できるようになる。
【０１６０】
図１４、図１５、図１６は、アルバム画面の閲覧処理やアップロード画像のアルバムＤＢへの登録処理のフローである。
【０１６１】
端末装置１１０のユーザが、マイページトップ画面において、アルバム画面の閲覧を選択すると、管理サーバ１０が、アルバムＤＢから対象アルバムを抽出し、アルバム選択画面を表示する（ステップＳ１３１〜Ｓ１３４）。そしてユーザが、所望のアルバムを選択すると、そのアルバムのマップ画面が表示される（ステップＳ１３５、Ｓ１３６）。例えば図５（Ａ）では、大阪のアルバムが選択されたため、大阪のマップ画面が表示される。そしてユーザが図５（Ａ）のＣ９をクリックして、アルバムの閲覧を選択すると、図５（Ｂ）に示すようにアルバム画像の一覧画面が表示される（ステップＳ１３７、Ｓ１３８）。この一覧画面においてユーザが画像を選択すると、図６に示すように画像の詳細画面が表示され、Ｃ１１に示すようにユーザはコメントを入力できるようになる（ステップＳ１３９、Ｓ１４０）。そしてユーザがコメントを入力すると、入力されたコメントは撮影画像に関連づけられてアルバムＤＢに登録される（ステップＳ１４１）。
【０１６２】
一方、図５（Ａ）のアルバム閲覧時に、Ｃ１２に示すようにユーザが画像のアップロードを選択すると、携帯電話機などのモバイルの場合にはメーラーが起動して、管理サーバ１０へのアップロード画像の送信が行われ、ＰＣの場合にはファイル参照により添付されるアップロード画像が選択されて、アップロード画像の送信が行われる（ステップＳ１５１〜Ｓ１５３）。そして管理サーバ１０は、受信したアップロード画像を画像検索サーバ６０に送信する（ステップＳ１５４）。
【０１６３】
画像検索サーバ６０は、アップロード画像を受信すると、画像の特徴点を抽出し、画像ＤＢとの照合処理を行って、スコアリングを算定する（ステップＳ１５５〜Ｓ１５８）。そして、この合致検索により画像認識に成功した場合には、登録画像のタグを名称タグとして取得して、管理サーバ１０に送信すると共に、アップロード画像を正解画像として画像ＤＢに登録する（ステップＳ１５９〜Ｓ１６２）。一方、管理サーバ１０は、名称タグを受信すると、名称タグに基づいて観光情報ＤＢから位置情報を取得し、アップロード画像、名称タグ及び位置情報をアルバムＤＢに登録する（ステップＳ１６３〜Ｓ１６５）。このように合致検索により一意的にアップロード画像を画像認識でき、名称タグが取得された場合には、そのアップロード画像及び名称タグがアルバムＤＢに登録される。そして図９のアップロード画像の検索結果画面において、Ｄ１に示すようにユーザに知らされる。
【０１６４】
ステップＳ１５９で画像認識に成功しなかった場合には、画像の構図を抽出し、画像ＤＢとの照合処理を行って、スコアリングを算定する（ステップＳ１７１〜Ｓ１７３）。そして画像認識に成功しなかった場合には、エラー結果が管理サーバ１０に送信され、図９のＤ５で説明したように、アップロード画像はその他の画像として登録される（ステップＳ１７４〜Ｓ１７７）。一方、画像認識に成功した場合には、上位列挙された名称タグの集計処理（名寄せ処理）が行われて、候補名称タグが取得される（ステップＳ１７８〜Ｓ１８０）。
【０１６５】
そして、取得された候補名称タグが、画像検索サーバ６０から管理サーバ１０に送信されると、未確認フォルダの登録が行われて、アップロード画像の検索結果画面が作成されて表示される（ステップＳ１８１〜Ｓ１８５）。そしてユーザが検索結果画面を確認して、図９のＤ３、Ｄ４に示すようにアップロード画像の候補名称タグを確定名称タグとして選択すると、管理サーバ１０は、アルバムＤＢからの対象画像の抽出を行い、観光情報ＤＢから確定名称タグに該当する観光施設等の位置情報を取得する（ステップＳ１８６〜Ｓ１８９）。そしてアップロード画像、確定名称タグ及び位置情報を、アルバムＤＢに登録すると共に画像検索サーバ６０に送信する（ステップＳ１９０、Ｓ１９１）。すると画像検索サーバ６０は、受信したアップロード画像及び確定名称タグを画像ＤＢに登録する（ステップＳ１９２、Ｓ１９３）。
【０１６６】
以上のようにすることで、ユーザは、端末装置１１０で実際にユーザが撮影した画像のみならず、所望のアップロード画像をアルバムＤＢや画像ＤＢに登録することが可能になる。またアップロード画像の画像認識が行われて、その名称タグが自動的に取得されたり、ユーザが候補名称タグの中から選択することで確定名称タグが決定されるため、ユーザの利便性を向上できる。
【０１６７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またサーバシステム、端末装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６８】
１０ 管理サーバ、２０ 処理部、２２ 受信処理部、２４ 送信処理部、
２６ アルバム登録部、２８ データ作成部、３０ 位置情報取得部、
３２ アルバム閲覧部、３４ コンテンツ提示部、４０ アルバムデータベース、
４２ 個人情報データベース、５０ コンテンツデータベース、
５２ 観光情報データベース、５４ リコメンド情報データベース、
５６ 広告情報データベース、５８ 通信部、６０ 画像検索サーバ、７０ 処理部、
７２ 受信処理部、７４ 送信処理部、７６ 画像検索部、７８ タグ処理部、
９０ 画像データベース、９８ 通信部、１００ ネットワーク、１１０ 端末装置、
１２０ 処理部、１２２ 画像取得部、１２４ 送信処理部、１２６ 受信処理部、
１２８ 表示制御部、１４０ 記憶部、１５０ 情報記憶媒体、１６０ 撮像部、
１７０ 操作部、１８０ 表示部、２００ 情報処理装置
【技術分野】
【０００１】
本発明は、サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等に関する。
【背景技術】
【０００２】
従来より、カメラで撮影した商品等を画像認識処理を利用して検索する画像検索システムが知られている。例えば特許文献１には、カメラ付きの携帯電話機により、ユーザが所望する商品を撮影し、撮影画像をインターネットを介して送信することで、その商品の購入が可能な店舗を検索するシステムが開示されている。
【０００３】
しかしながら、これまでの画像検索システムでは、撮影画像は商品検索等に利用されるだけであり、画像検索の対象となった撮影画像をシステム側に保存して、ユーザに再提示するようなシステムについては提案されていなかった。
【０００４】
また、近年のデジタルカメラの普及により、ユーザは撮影枚数を気にすることなく、手軽に写真を撮影できるようになったが、その反面、ユーザにより撮影された写真の多くは、閲覧されることなく、保存されるだけという状況になっている。例えば撮影しても半分以上の写真が長期間に亘って閲覧されることがなく、ハードディスク等のストレージに保存されたままになっている。このため、過去に撮り溜めた撮影画像をユーザが気軽に閲覧でき、旅行に行った時の思い出等を気軽に楽しむことができるシステムの提供が望まれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１２２７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、画像検索の対象となった撮影画像を閲覧可能にするサーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部とを含み、前記アルバム登録部は、前記検索結果データにより表示される検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録するサーバシステムに関係する。
【０００８】
本発明の一態様では、ユーザの撮影画像についての送信データがネットワークを介して受信されると、受信した撮影画像はアルバムデータベースに登録される。また撮影画像に類似する登録画像が検索され、登録画像の名称タグから撮影画像の候補名称タグが取得されると、取得された候補名称タグを含む検索結果データが作成される。そして検索結果データにより表示される検索結果画面において、候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグが、撮影画像の確定名称タグとして、アルバムデータベースに登録される。これにより、画像検索の対象となった撮影画像がアルバムとして閲覧可能になり、これまでにないタイプの画像検索を実現できる。
【０００９】
また本発明の一態様では、前記受信処理部は、前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、前記アルバム登録部は、受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録してもよい。
【００１０】
このようにすれば、撮影画像が添付されたメールをユーザが送信するだけで、そのメールアドレスにより特定される格納場所に撮影画像が登録されるようになるため、ユーザの利便性を向上できる。
【００１１】
また本発明の一態様では、前記データ作成部は、ユーザが前記確定名称タグの選択を行わずに、テキスト検索を選択した場合には、前記テキスト検索により前記コンテンツデータベースからコンテンツ情報を検索し、検索されたコンテンツ情報を含む検索結果データを作成してもよい。
【００１２】
このようにすれば、ユーザは、自身が正解と考える候補名称タグが表示されなかった場合にも、テキスト検索を利用してその撮影画像に関するコンテンツ情報を取得できる。
【００１３】
また本発明の一態様では、前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部を含み、前記アルバム登録部は、取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００１４】
このようにすれば、ユーザが選択した確定名称タグにより撮影画像の撮影場所の位置情報を特定して、アルバムデータベースに登録できるようになる。
【００１５】
また本発明の一態様では、前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含んでもよい。
【００１６】
このようにすれば、ユーザは、画像検索の対象となった撮影画像が自動的に登録されるアルバムを閲覧して楽しむことが可能になる。
【００１７】
また本発明の一態様では、前記アルバム閲覧部は、前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行ってもよい。
【００１８】
このようにすれば、撮影画像の撮影場所等がマップ画面上に軌跡として残るようになるため、旅行の余韻等をユーザは楽しむことが可能になる。
【００１９】
また本発明の一態様では、前記確定名称タグに基づいて、前記撮影画像の前記撮影場所の位置情報を取得する位置情報取得部を含み、前記アルバム閲覧部は、取得された前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定してもよい。
【００２０】
このようにすれば、確定名称タグを活用して撮影場所の位置情報を特定して、撮影場所やその移動履歴をマップ画面上に表示できる。
【００２１】
また本発明の一態様では、前記アルバム閲覧部は、ユーザが前記アルバム情報の閲覧を選択した場合には、前記アルバムデータベースに登録されている前記撮影画像の一覧画面を作成してもよい。
【００２２】
このようにすれば、ユーザは、自身が撮影して画像検索を依頼した撮影画像の一覧を、アルバムとして閲覧できる。
【００２３】
また本発明の一態様では、前記アルバム閲覧部は、前記一覧画面に表示される前記撮影画像に対して、ユーザがコメントを入力した場合には、入力されたコメントを前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００２４】
このようにすれば、ユーザは、撮影時の状況や経緯等を、アルバムの画像に対してコメントとして書き留めておくことが可能になる。
【００２５】
また本発明の一態様では、前記確定名称タグに基づいてコンテンツデータベースを参照して、前記確定名称タグに対応するコンテンツ情報を取得し、取得された前記コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部を含んでもよい。
【００２６】
このようにすれば、ユーザは、確定名称タグを選択すると、その確定名称タグに対応するコンテンツ情報を閲覧できるようになる。
【００２７】
また本発明の一態様では、前記コンテンツ提示部は、前記コンテンツ情報として、前記確定名称タグに対応する観光情報又はリコメンド情報を取得し、ユーザに提示する処理を行ってもよい。
【００２８】
このようにすれば、ユーザは、確定名称タグに対応する観光情報やリコメンド情報を閲覧できる。
【００２９】
また本発明の一態様では、前記アルバム登録部は、ユーザのアルバム閲覧時に、ユーザにより画像のアップロードが選択された場合には、アップロード画像を前記アルバムデータベースに登録してもよい。
【００３０】
このようにすれば、ユーザは、撮影画像のみならず、所望のアップロード画像をアルバムデータベースに登録できるようになる。
【００３１】
また本発明の一態様では、前記アルバム登録部は、前記画像データベースを用いた前記アップロード画像の画像検索により、前記アップロード画像の名称タグが取得された場合に、取得された前記名称タグを前記アップロード画像に関連づけて前記アルバムデータベースに登録してもよい。
【００３２】
このようにすれば、アップロード画像の名称タグが画像検索により自動的に取得されて、アルバムデータベースに登録されるようになる。
【００３３】
また本発明の一態様では、前記データ作成部は、前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグを含む検索結果データを作成し、前記アルバム登録部は、前記検索結果データにより表示される検索結果画面において、前記複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグをアップロード画像用確定名称タグとして、前記アルバムデータベースの前記アップロード画像に関連づけて登録してもよい。
【００３４】
このようにすれば、アップロード画像の画像検索により取得された候補名称タグの中からユーザが確定名称タグを選択すると、その確定名称タグがアップロード画像に関連づけて登録されるようになる。
【００３５】
また本発明の一態様では、前記撮影画像に類似する前記複数の登録画像を前記画像データベースから検索する画像検索部と、検索された前記複数の登録画像に関連づけられた前記複数の名称タグから、前記複数の候補名称タグを取得するタグ処理部を含んでもよい。
【００３６】
このようにすれば、撮影画像の画像検索により候補名称タグを取得できるようになる。
【００３７】
また本発明の一態様では、前記タグ処理部は、前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得してもよい。
【００３８】
このようにすれば、名称タグの出現数に応じて候補名称タグを選択して取得できるようになる。
【００３９】
また本発明の一態様では、ユーザの位置情報を取得する位置情報取得部を含み、前記画像検索部は、前記撮影画像の画像認識に成功しなかった場合に、ユーザの前記位置情報の取得を前記位置情報取得部に指示し、取得された前記位置情報に基づいて検索対象を絞り込んで、画像検索を行ってもよい。
【００４０】
このようにすれば、画像認識に成功しなかった場合にも、ユーザの位置情報を利用して検索対象を絞り込んで、画像検索を再度実行できる。
【００４１】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部と、前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部とを含むサーバシステムに関係する。
【００４２】
本発明の他の態様によれば、ネットワークを介してユーザの撮影画像を受信すると、受信した撮影画像はアルバムデータベースに登録される。そして撮影画像から取得された候補名称タグが、検索結果画面に表示される。更にユーザは、画像検索の対象となった撮影画像をアルバムとして閲覧できるため、これまでにないタイプの画像検索システムを提供できる。
【００４３】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像を取得する画像取得部と、取得された前記撮影画像についての送信データを、ネットワークを介して送信する処理を行う送信処理部と、前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、受信した前記検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、前記表示制御部は、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、前記送信処理部は、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アルバムデータベースに登録される前記撮影画像の確定名称タグとして、ネットワークを介して送信する処理を行う端末装置に関係する。また本発明の他の態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００４４】
本発明の他の態様によれば、画像検索の対象となる撮影画像が取得されると、その撮影画像がネットワークを介して送信される。そして撮影画像の画像検索の検索結果データが受信されると、撮影画像から取得された候補名称タグが検索結果画面に表示される。そして検索結果画面において、候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグが、アルバムデータベースに登録される撮影画像の確定名称タグとして、ネットワークを介して送信される。これにより、画像検索の対象となった撮影画像がアルバムとして閲覧可能になり、これまでにないタイプの画像検索を実現できる。
【００４５】
また本発明の他の態様では、前記表示制御部は、前記アルバムデータベースのアルバム情報に基づくアルバム閲覧画面を、前記表示部に表示する制御を行ってもよい。
【００４６】
このようにすれば、ユーザは、画像検索の対象となった撮影画像をアルバム閲覧画面により閲覧できるようになる。
【００４７】
また本発明の他の態様では、前記表示制御部は、前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方が表示されたマップ画面を、前記表示部に表示する制御を行ってもよい。
【００４８】
このようにすれば、撮影画像の撮影場所等がマップ画面上に軌跡として残るようになるため、旅行の余韻等をユーザは楽しむことが可能になる。
【００４９】
また本発明の他の態様では、前記表示制御部は、ユーザのアルバム閲覧時に、ユーザによる画像のアップロードが行われ、前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、前記送信処理部は、前記検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アップロード画像用確定名称タグとして、ネットワークを介して送信する処理を行ってもよい。
【００５０】
このようにすれば、アップロード画像の画像検索により取得された候補名称タグの中からユーザが確定名称タグを選択すると、その確定名称タグが、アップロード画像用確定名称タグとしてネットワークを介して送信されるようになる。
【００５１】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像をアルバムデータベースに登録し、前記撮影画像に類似する複数の登録画像を画像データベースから検索し、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、取得された前記複数の候補名称タグが表示された検索結果画面を表示し、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、ユーザにより選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録する画像検索方法に関係する。
【図面の簡単な説明】
【００５２】
【図１】本実施形態のシステム構成例。
【図２】本実施形態の動作の説明図。
【図３】図３（Ａ）、図３（Ｂ）は結果通知メールや検索結果画面の例。
【図４】観光情報画面の例。
【図５】図５（Ａ）、図５（Ｂ）はアルバム閲覧画面の例。
【図６】画像詳細画面の例。
【図７】図７（Ａ）、図７（Ｂ）はアルバムデータベースや画像データベースのデータ構造の例。
【図８】図８（Ａ）、図８（Ｂ）はタグ処理の説明図。
【図９】アップロード画像の検索結果画面の例。
【図１０】本実施形態の詳細な処理フロー。
【図１１】本実施形態の詳細な処理フロー。
【図１２】本実施形態の詳細な処理フロー。
【図１３】本実施形態の詳細な処理フロー。
【図１４】本実施形態の詳細な処理フロー。
【図１５】本実施形態の詳細な処理フロー。
【図１６】本実施形態の詳細な処理フロー。
【発明を実施するための形態】
【００５３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５４】
１．システム構成
図１に本実施形態の画像検索システムのシステム構成を示す。この画像検索システムは、管理サーバ１０や画像検索サーバ６０により実現されるサーバシステムや、端末装置１１０（通信端末、携帯端末装置、電子機器）などにより実現される。これらの管理サーバ１０、画像検索サーバ６０、端末装置１１０等はネットワーク１００により通信接続されている。なおネットワーク１００に他の外部サーバや端末装置を通信接続してもよい。
【００５５】
本実施形態では、ユーザからメール等により送信された画像の被写体となる観光地、施設、文化財、店舗、建物等を、画像認識により特定し、その詳細な情報及びその後の観光ルート等の地域情報を提供する。また、メールに添付した画像を、ユーザ単位で自動的に編集し、画像に位置情報を付与した上で、マップ（地図）上の撮影場所を特定・表示するアルバムとして提供する。
【００５６】
具体的には、ユーザがカメラ付き携帯電話機等の端末装置１１０により画像を撮影すると、その撮影画像は端末装置１１０から管理サーバ１０に送信され、管理サーバ１０は、受信した撮影画像をアルバムデータベース４０に登録する。これによりユーザは、後述する図５（Ａ）〜図６に示すように、過去に画像検索を実行した一連の撮影画像を、自身のアルバムとして閲覧できるようになる。
【００５７】
また画像検索サーバ６０は、画像データベース９０を参照して、ユーザの撮影画像に類似（合致）する登録画像を検索し、検索された登録画像の名称タグ（広義にはタグ）に基づいて、撮影画像の候補名称タグを取得する。例えば撮影画像の被写体が寺である場合には、撮影画像の被写体に類似（合致）する寺の名称の候補が、候補名称タグとして取得される。
【００５８】
そして管理サーバ１０は、取得された候補名称タグを含む検索結果データを作成し、後述する図３（Ｂ）に示すような検索結果画面を作成する。これにより端末装置１１０の表示部１８０には、作成された検索結果画面が表示される。例えば図３（Ｂ）の検索結果画面では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の名称が、候補名称タグとして表示されている。
【００５９】
ユーザは、検索結果画面に表示されるこれらの候補名称タグの中から、自身が正解と思う名称タグを選択する。例えば図３（Ｂ）のＢ４では、ユーザは、自身が撮影した寺は「Ｅ１寺」であると判断したため、「Ｅ１寺」の名称タグを選択している。このようにユーザにより選択された名称タグは、確定名称タグ（正解タグ）であると判断されて、ユーザの撮影画像（Ｅ１寺の撮影画像）に関連づけてアルバムデータベース４０に登録される。このようにすれば、例えば撮影画像の被写体が観光地であった場合には、ユーザはアルバムを閲覧することで、過去に旅行で行った観光地を思い出すことなどが可能になる。
【００６０】
以下、本実施形態の構成について図１を用いて具体的に説明する。なお、管理サーバ１０、画像検索サーバ６０、端末装置１１０等は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また本実施形態のサーバシステムは、例えば管理サーバ１０及び画像検索サーバ６０の一方により実現したり、管理サーバ１０及び画像検索サーバ６０の両方により実現することができる。
【００６１】
ネットワーク１００（通信網）は、移動通信網、インターネット網等の公衆網、或いは固定電話網等を含むことができる。端末装置１１０と通信接続するための移動通信網は、ＣＤＭＡ（Code Division Multiple Access）方式やＰＤＣ（Personal Digital Cellular）方式等の移動電話網や、ＰＤＣ−Ｐ（PDC-Packet）方式等の移動データ通信網を含むことができる。このネットワーク１００は、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などにより実現することができ、有線・無線を問わない。
【００６２】
管理サーバ１０は、サーバシステムにおける管理処理等を担当するサーバであり、例えばウェブサーバやメールサーバなどである。画像検索サーバ６０は、画像検索やタグ処理を担当するサーバである。これらの管理サーバ１０、画像検索サーバ６０の機能は、情報処理装置などのハードウェアと、ＣＧＩプログラムなどのプログラムにより実現できる。
【００６３】
端末装置１１０は、例えばユーザが所持するカメラ付き携帯電話機、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）、カメラ機能を有する情報処理端末、もしくは、例えばカメラ機能を有する情報処理端末から画像を転送可能な装置（ＰＣ）などであり、撮影画像を取得する機能や、ネットワーク１００を介して管理サーバ１０や画像検索サーバ６０と通信する機能を有する。情報処理装置２００は、店舗用やユーザ用のＰＣ（Personal Computer）等である。
【００６４】
管理サーバ１０は、処理部２０、アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０、通信部５８を含む。処理部２０は、システム全体の管理処理やデータベースの管理処理やデータ作成処理などを行うものであり、その機能は、各種プロセッサ（ＣＰＵ等）などのハードウェアやＰＨＰPHP:Hypertext Preprocessor）やＰｅｒｌなどの言語により記述されたＣＧＩプログラムなどにより実現できる。
【００６５】
アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０は、例えばＭｙＳＱＬなどで実現されるリレーショナルデータベースである。アルバムデータベース４０は、ユーザの撮影画像をアルバム情報として記憶する。また撮影画像に関連づけて、その名称タグ（確定名称タグ）や、その撮影場所（ユーザ）の位置情報などを、アルバム情報として記憶する。個人情報データベース４２は、各種のユーザ情報を記憶する。コンテンツデータベース５０は、各種のコンテンツ情報を記憶するものであり、観光情報データベース５２、リコメンド情報データベース５４、広告情報データベース５６などを含むことができる。通信部５８は、ネットワーク１００を介して端末装置１１０や情報処理装置２００や他の外部サーバとの間で情報を通信するためのものである。
【００６６】
画像検索サーバ６０は、処理部７０、画像データベース９０、通信部９８を含む。処理部７０は、画像検索処理やタグ処理などを行うものであり、その機能は各種プロセッサやプログラムなどにより実現できる。
【００６７】
画像データベース９０は、画像検索のための登録画像を記憶するリレーショナルデータベースである。通信部９８は、ネットワーク１００を介して管理サーバ１０等との間で情報を通信するためのものである。
【００６８】
端末装置１１０は、処理部１２０、記憶部１４０、情報記憶媒体１５０、通信部１５８、撮像部１６０、操作部１７０、表示部１８０を含む。
【００６９】
処理部１２０は、操作部１７０からの操作情報や、通信部１５８が受信した情報等に基づいて、種々の処理を行う。この処理部１２０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、情報記憶媒体１５０に記憶されたプログラムなどにより実現できる。
【００７０】
記憶部１４０は、処理部１２０、通信部１５８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００７１】
情報記憶媒体１５０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）やＩＣカード（メモリカード）などにより実現できる。処理部１２０は、情報記憶媒体１５０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１５０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００７２】
通信部１５８は、ネットワーク１００を介して管理サーバ１０、画像検索サーバ６０や他の端末装置との間で情報を通信するためのものである。撮像部１６０は、被写体を撮像（撮影）するためのものであり、例えばＣＣＤやＣＭＯＳセンサなどにより実現できる。操作部１７０は、ユーザが端末装置１１０の各種操作を行うためのものであり、各種ボタン（シャッターボタン）やＧＵＩ（Graphical User Interface）などにより実現できる。表示部１８０は各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや有機ＥＬディスプレイやＣＲＴなどにより実現できる。
【００７３】
管理サーバ１０の処理部２０は、受信処理部２２、送信処理部２４、アルバム登録部２６、データ作成部２８、位置情報取得部３０、アルバム閲覧部３２、コンテンツ提示部３４を含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００７４】
受信処理部２２はデータの受信処理を行い、送信処理部２４はデータの送信処理を行う。例えば受信処理部２２は、画像検索の対象となるユーザの撮影画像（広義には検索対象画像、画像）についての送信データを、ネットワーク１００を介して例えば端末装置１１０から受信する。ここで、撮影画像についての送信データは、撮影画像データそのものであってもよいし、撮影画像の認識用データ（画像認識用データ）であってもよい。認識用データとしては、例えば撮影画像の特徴量データ（特徴データ）や検索対象画像を指定するデータなどを想定できる。
【００７５】
アルバム登録部２６はアルバムデータベース４０へのアルバム情報（画像、タグ、位置等）の登録処理を行う。具体的にはネットワーク１００を介して受信した撮影画像（撮影画像データ）をアルバムデータベース４０に登録する処理（書き込む処理）を行う。例えば受信処理部２２が、撮影画像についての送信データが添付されたユーザからのメールを受信したとする。この場合にはアルバム登録部２６は、受信したメールのメールアドレス（マイページＩＤ、ユーザＩＤ）により特定されるアルバムデータベース４０の格納場所（登録場所）に、撮影画像や確定名称タグ（正解タグ）を登録する。
【００７６】
データ作成部（検索結果画面作成部）２８は、検索結果データ等の各種データを作成する。例えば撮影画像に類似する複数の登録画像が画像データベース９０から検索され、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）が取得されたとする。この場合にはデータ作成部２８は、取得された複数の候補名称タグを含む検索結果データを作成する。即ち、図３（Ｂ）に示す検索結果画面を表示するためのデータを作成する。
【００７７】
そして図３（Ｂ）の検索結果画面において、複数の候補名称タグのいずれかをユーザが選択すると、アルバム登録部２６は、選択された候補名称タグを、撮影画像の確定名称タグ（正解タグ、選択タグ）として、アルバムデータベース４０の撮影画像（アルバム登録画像）に関連づけて登録する。これによりユーザは、自身が撮った画像と自身が選択した名称タグとが表示されるアルバムを閲覧できるようになる。
【００７８】
なお図３（Ｂ）の検索結果画面において、ユーザが確定名称タグの選択を行わずに、テキスト検索を選択した場合には、データ作成部２８は、テキスト検索によりコンテンツデータベース５０からコンテンツ情報を検索する。そして検索された観光情報等のコンテンツ情報を含む検索結果データを作成する。
【００７９】
位置情報取得部３０は、撮影画像の撮影場所（ユーザの所在地）等の位置情報を取得する。具体的には、例えば確定名称タグに基づいて撮影場所の位置情報を取得する。例えばユーザが選択した確定名称タグが図３（Ｂ）の「Ｅ１寺」である場合には、観光情報ＤＢの観光情報等に基づいて、「Ｅ１寺」の位置を、撮影画像の撮影場所の位置情報として取得する。そしてアルバム登録部２６は、取得された撮影場所の位置情報を、アルバムデータベース４０の撮影画像に関連づけて登録する。こうすることで、例えばＧＰＳ等を利用しなくても、各撮影画像の撮影場所の位置情報を簡素な処理で取得できる。
【００８０】
アルバム閲覧部３２は、アルバムデータベース４０の撮影画像等のアルバム情報をユーザが閲覧するための処理を行う。具体的には図５（Ａ）〜図６に示すような各種のアルバム閲覧画面を作成して表示するための処理を行う。
【００８１】
例えば図５（Ａ）のＣ３では、撮影場所に関するマップ画面（地図）が表示されている。そして、このマップ画面上には、アルバムに登録されている撮影画像の撮影場所の表示位置やその移動履歴（移動軌跡）が表示されている。例えばユーザが大阪の「Ｆ１タワー」を撮影した後、「Ｆ２神社」を撮影し、次に「Ｆ３城」を撮影したことが表示されている。この場合にアルバム閲覧部３２は、例えば位置情報取得部３０により取得された位置情報に基づいて、図５（Ａ）のマップ画面上での撮影場所の表示位置や移動履歴を特定する。
【００８２】
またアルバム閲覧部３２は、ユーザがアルバム情報の閲覧を選択すると、図５（Ｂ）に示すように、アルバムデータベース４０に登録されている撮影画像の一覧画面を作成して表示する。またアルバム閲覧部３２は、この一覧画面に表示されている撮影画像に対して、ユーザがコメントを入力すると、入力されたコメントをアルバムデータベース４０の撮影画像に関連づけて登録する。例えば図５（Ｂ）の一覧画面においてユーザが所望の撮影画像を選択すると、図６に示すような画像詳細情報が表示される。そして、この画像詳細情報には、Ｃ１１に示すようにユーザがその撮影画像に対して入力したコメントが表示される。なお、入力したコメントを図５（Ｂ）の一覧画面において各撮影画像に対応づけて表示してもよい。
【００８３】
またアルバム登録部２６は図５（Ａ）、図５（Ｂ）のアルバム閲覧時に、ユーザにより画像のアップロードの選択が行われた場合には、アップロード画像をアルバムデータベース４０に登録する処理を行う。
【００８４】
なお、本実施形態では、検索結果画面やアルバム閲覧画面等の各種画面をサーバ側で作成する場合の例について説明しているが、これらの各種画面を端末装置側のアプリケーションプログラムにより作成してもよい。例えばサーバ側のデータ作成部２８が、検索結果画面等の各種画面を表示するためのデータ（検索結果データ等）を作成して送信すると、端末装置側のアプリケーションプログラムが、作成されたデータに基づいて各種画面を作成して、表示部１８０に表示してもよい。またソフトウェアとしてのブロックは、ハードウェア上一体であってもよく、例えば画像認識処理を端末装置側のアプリケーション処理として実行してもよい。
【００８５】
コンテンツ提示部３４は、各種のコンテンツ情報の提示処理（表示処理）を行う。例えば、ユーザが選択した確定候補名称タグに基づいてコンテンツデータベース５０を参照して、確定名称タグに対応するコンテンツ情報を取得する。具体的には、コンテンツ情報として、確定名称タグに対応する観光情報（被写体の詳細情報）やリコメンド情報を取得し、図４に示すような観光情報（観光地情報）やリコメンド情報をユーザに提示する。
【００８６】
画像検索サーバ６０の処理部７０は、受信処理部７２、送信処理部７４、画像検索部７６、タグ処理部７８を含む。
【００８７】
受信処理部７２は、撮影画像のデータ等を例えば管理サーバ１０から受信する処理を行う。なお撮影画像のデータを端末装置１１０から受信するようにしてもよい。
【００８８】
画像検索部７６は画像検索処理を行う。具体的には、撮影画像に類似（合致）する複数の登録画像（1又は複数の登録画像）を画像データベース９０から検索する。
【００８９】
なお画像検索部７６は、撮影画像の画像認識に成功しなかった場合には、ユーザの位置情報の取得を管理サーバ１０の位置情報取得部３０に指示する。そして位置情報取得部３０により取得された位置情報に基づいて検索対象を絞り込んで、画像検索を行ってもよい。例えばＧＰＳ、簡易位置情報等を用いて位置情報を取得してもよい。
【００９０】
タグ処理部７８は、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）を取得する。具体的には、複数の名称タグの出現数（出現頻度）を集計し、集計結果に基づいて複数の名称タグのソーティング処理を行って、複数の候補名称タグを取得する。例えば複数の名称タグを、出現数が多い順に並べ替えて、重複する名称タグを１つの名称タグにまとめる名寄せ処理等を行って、候補名称タグを取得する。そして送信処理部７４は、取得された候補名称タグ（タグ情報）を管理サーバ１０に送信する処理を行う。
【００９１】
なお、名称タグの集計処理は、名称タグの出現数を単純にカウントする処理には限定されない。例えば、撮影画像に類似する画像として抽出された登録画像の類似度等に基づいて重み付け係数を求め、この重み付け係数と出現数に基づいてタグの集計処理を行うなどの種々の変形実施が可能である。例えば出現数が少なくても、撮影画像に対する登録画像の類似度が高い場合には、その登録画像の名称タグの集計値を大きくするようにしてもよい。
【００９２】
端末装置１１０の処理部１２０は、画像取得部１２２、送信処理部１２４、受信処理部１２６、表示制御部１２８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００９３】
画像取得部１２２は検索対象となる撮影画像を取得する。例えば、撮像部１６０により被写体を撮像することで得られた撮影画像（被写体画像）を取り込む。なお、例えばメモリカードなどに保存された撮影画像を読み出して取得してもよい。
【００９４】
送信処理部１２４は、取得された撮影画像についての送信データを、ネットワーク１００を介して管理サーバ１０（広義にはサーバシステム）に送信する処理を行う。受信処理部１２６は、撮影画像の類似画像検索の検索結果データをネットワーク１００を介して受信する処理を行う。
【００９５】
表示制御部１２８は、受信した検索結果データに基づいて、表示部１８０の表示制御を行い、図３（Ｂ）に示すような検索結果画面を表示部１８０に表示する。即ち、撮影画像に類似する登録画像が検索され、検索結果により候補名称タグが取得されると、取得された候補名称タグが表示される検索結果画面を、表示部１８０に表示する。また表示制御部１２８は、図５（Ａ）〜図６に示すように、アルバムデータベース４０のアルバム情報に基づくアルバム閲覧画面を表示する制御を行う。具体的には図５（Ａ）に示すように、アルバムデータベース４０に登録されている撮影画像の撮影場所や移動履歴が表示されたマップ画面を表示する制御を行う。
【００９６】
そして検索結果画面において、候補名称タグのいずれかをユーザが選択したとする。すると、送信処理部１２４は、選択された候補名称タグを、アルバムデータベース４０に登録される撮影画像の確定名称タグとして、ネットワーク１００を介して送信する処理を行う。
【００９７】
２．動作
次に本実施形態の動作について図２の処理フローを用いて説明する。なお以下では「データベース」は、適宜、「ＤＢ」と記載する。
【００９８】
ユーザは端末装置１１０のカメラ（撮像部）で被写体を撮影すると、その撮影画像が添付されたメールを、特定のメールアドレス先に送信する（ステップＳ３０１）。管理サーバ１０は、ユーザからのメールを受信すると、メールに添付されている撮影画像をアルバムＤＢに登録（蓄積）すると共にその撮影画像を画像検索サーバ６０に送信する（ステップＳ３０２、Ｓ３０３、Ｓ３０４）。
【００９９】
画像検索サーバ６０は、撮影画像を受信すると、画像ＤＢを参照して画像認識処理を行う（ステップＳ３０５、Ｓ３０６）。具体的には、撮影画像（検索対象画像）と、画像ＤＢの各登録画像とを照合し、撮影画像に類似（合致する場合を含む）する登録画像のうち、上位の所定数の登録画像を抽出する。そして画像認識処理の結果に基づいて候補名称タグを取得し、取得された候補名称タグを管理サーバ１０に送信する（ステップＳ３０７、Ｓ３０８）。具体的には、撮影画像に類似する上位の所定数の登録画像に関連づけられた名称タグの集計処理（名寄せ処理）を行って、候補名称タグを取得し、管理サーバ１０に送信する。
【０１００】
管理サーバ１０は、候補名称タグを受信すると、観光情報ＤＢから候補名称タグに対応する観光情報を抽出し、結果通知メールをユーザの端末装置１１０に送信する（ステップＳ３０９、Ｓ３１０、Ｓ３１１）。
【０１０１】
図３（Ａ）に結果通知メールの例を示す。この結果通知メールは、Ｂ１、Ｂ２に示すように、撮影画像の候補名称タグや、検索結果画面等を表示するためのマイページのＵＲＬ（Uniform Resource Locator）を含むメールになっている。そしてユーザがＢ２のマイページＵＲＬをクリックすると、図３（Ｂ）に示すような検索結果画面が表示される（ステップＳ３１３、Ｓ３１４）。
【０１０２】
図３（Ｂ）の検索結果画面では、Ｂ３に示すように撮影画像の候補名称タグと各候補名称タグに対応するアイコン画像（撮影画像に類似する登録画像）が表示される。具体的には「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の候補名称タグと、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」を表すアイコン画像が表示される。ユーザは、これらの候補名称タグやアイコン画像を参照して、自身が正解と考えた候補名称タグ（アイコン画像）を選択する（ステップＳ３１５）。例えば図３（Ｂ）ではＢ４に示す「Ｅ１寺」の候補名称タグを選択している。
【０１０３】
すると管理サーバ１０は、観光情報ＤＢ等のコンテンツＤＢを参照して、各種のコンテンツ情報を抽出して、図４に示すようなコンテンツ情報画面（観光情報画面）を表示する（ステップＳ３１６、Ｓ３１７）。これによりユーザは、図４に示すように観光地情報やレコメンド情報や広告情報などの各種のコンテンツ情報を閲覧できるようになる（ステップＳ３１８）。
【０１０４】
そして本実施形態では、ユーザが図３（Ｂ）のＢ３に示す候補名称タグの中から所望の名称タグを選択すると、選択された名称タグ（Ｅ１寺）が確定名称タグとしてアルバムＤＢに登録される（ステップＳ３１９）。即ちユーザの撮影画像に関連づけて「Ｅ１寺」の確定名称タグが登録される。これにより、ユーザが画像検索を行った撮影画像と、それに対してユーザが選択した確定名称タグが、アルバムＤＢに次々に登録されるようになる。
【０１０５】
また、ユーザは、図３（Ｂ）のＢ７をクリックすることで、撮影画像の画像検索を再度実行できる。また、ユーザが所望する検索結果を得られなかった場合には、ユーザはＢ８に示すテキスト検索を選択して、撮影画像に関する情報のテキスト検索を実行できる。これにより、観光情報ＤＢ等を参照して、観光地の情報等を検索できるようになる。
【０１０６】
図３（Ｂ）のＢ５に示すように、ユーザに対しては、送付した撮影画像がユーザのアルバムに登録された旨が通知される。そしてユーザが、どのようなアルバムが作成されたのかに興味を持って、Ｂ６のアルバム閲覧をクリックすると、図５（Ａ）に示すようなアルバム閲覧画面が表示される（ステップＳ３２１、Ｓ３２２）。
【０１０７】
図５（Ａ）では、Ｃ１に示すように、「大阪アルバム」や「滋賀アルバム」というようにユーザが過去に旅行に行った場所のアルバムを閲覧することができ、ここでは最も最近に行った「大阪アルバム」が表示されている。なお、アルバムは日付単位（撮影日単位等）でグループ化されるものであってもよい。
【０１０８】
図５（Ａ）のＣ２に示すように、ユーザは大阪の旅行で「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の写真を撮っており、その撮影画像の画像検索を行っている。そしてユーザは図３（Ｂ）の検索結果画面において、これらの観光地の確定名称タグを選択しており、これらの撮影画像や確定名称タグがアルバムＤＢに登録されている。すると管理サーバ１０は、これらの「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の確定名称タグから、その観光地の場所を特定して、Ｃ３に示すマップ画面上に表示している。例えばＣ４、Ｃ５、Ｃ６の星マークは、各々、「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の位置を表し、Ｃ７、Ｃ８の矢印マークは、ユーザ（撮影場所）の移動履歴（移動経路）を表している。ユーザは、これらのマークを見ることで、大阪の旅行においてどのようなルートで観光を行ったのかを思い出すことができる。
【０１０９】
そしてユーザが、Ｃ９に示す「アルバムを見る」をクリックすると、図５（Ｂ）に示すように、大阪アルバムにおける撮影画像の一覧画面が表示される。即ちアルバムＤＢのアルバム情報に基づいて撮影画像の一覧画面が作成されて表示される。ユーザは、このような一覧画面を見ることで、大阪で撮影した画像を閲覧することができ、旅行の思い出を楽しむことができる。
【０１１０】
また図５（Ｂ）の一覧画面において、ユーザが、Ｃ１０に示す「詳細を観る」をクリックすると、図６に示すような画像詳細画面が表示される。この画像詳細画面においては、Ｃ１１に示すように、ユーザは写真に対するコメントを入力できる。これによりユーザは、どのような状況・経緯等で写真が撮影されたかをコメントにより書き留めておくことができ、ユーザの旅行を振り返ることが可能になる。
【０１１１】
また図２のステップＳ３１５においてユーザが候補名称タグを選択すると、その確定名称タグに基づいて観光情報ＤＢ等からその観光地等の位置情報が取得される（ステップＳ３３０）。これにより、ユーザの所在地が特定され、その所在地の周辺店舗用の情報処理装置（ＰＣ）２００に対して、ユーザが所在（接近）していることを知らせる通知メールが送信される（ステップＳ３３１）。
【０１１２】
情報処理装置２００は、この通知メールを受信すると、広告メール配信の対象ユーザを抽出して、抽出された対象ユーザの中から、通知メールを配信するユーザを選択する（ステップＳ３３２、Ｓ３３３、Ｓ３３４）。例えばユーザの個人情報ＤＢからの情報に基づき、年齢層、性別等に応じて広告メール配信の対象ユーザを絞り込んで選択する。そして選択された対象ユーザに対して、登録された広告内容に対応する広告メールを配信することを、管理サーバ１０に対して要求する（ステップＳ３３５）。なお、広告内容の登録は、管理サーバ１０からの通知メールの受信前に予め行っておくことが望ましい。
【０１１３】
管理サーバ１０は、広告メールの配信要求を受信すると、広告情報ＤＢからの広告情報を読み出して、広告メールを作成する（ステップＳ３３６）。広告情報ＤＢには、情報処理装置２００により予め登録された内容の広告情報が記憶されている。そして管理サーバ１０が作成した広告メールを送信し、端末装置１１０が広告メールを受信すると、端末装置１１０の表示部１８０にその周辺店舗の広告メールが表示されるようになる（ステップＳ３３７、Ｓ３３８）。
【０１１４】
例えばユーザが観光地である「Ｅ１寺」で写真を撮影し、図３（Ｂ）の検索結果画面において、「Ｅ１寺」を確定名称タグとして選択したとする。すると、観光情報ＤＢから「Ｅ１寺」の位置情報が抽出され、この位置情報に基づいてユーザの所在地が特定され、その所在地の周辺店舗に対して通知メールが送信される。そしてその周辺店舗の情報処理装置２００から、広告メールの配信要求があると、例えば図４のＢ９に示すように、その周辺店舗の広告情報が表示される。このようにすれば、画像検索により得られた確定名称タグを有効活用して，ユーザの所在地を特定し、その所在地の周辺店舗の広告情報をリアルタイムにユーザに提示できるようになる。
【０１１５】
以上に説明した本実施形態の手法によれば、旅行中や観光中（オントラベル中）においては、ユーザは、カメラ付き携帯電話機やデジタルカメラで写真を撮影し、その撮影画像の画像検索をサーバ側に依頼すると、図３（Ｂ）に示すような検索結果画面が表示され、図４に示すような観光情報等のガイド情報を見ることができる。従って、携帯電話機等で写真を撮って、その写真を特定のメールアドレスに送信するだけで、図４のようなガイド情報が表示されるため、ユーザは、旅行中にガイドブックを持ち歩かなくても済むようになる。これにより、ガイドブックに比べて、携行性や利便性の高いガイド情報の提供が可能になる。
【０１１６】
また図４のガイド情報では、Ｂ９に示すような周辺店舗についての情報や、Ｂ１０に示すような他ユーザのリコメンド情報（お勧め情報）がリアルタイムに表示されるため、オントラベル中における好適なガイド情報をユーザに提供できる。
【０１１７】
またユーザが画像検索を依頼した撮影画像は、ユーザが意識しなくても自動的にアルバムＤＢに登録されて保存される。そしてユーザが図３（Ｂ）の検索結果画面において、その撮影画像の名称タグを確定する選択を行うと、その確定名称タグが撮影画像に関連づけて登録され、その撮影画像の名称が自動的に付与されるようになる。従って、ユーザが撮影した画像を個人単位でストレージして、ウェブアルバムとしてユーザに提供できるようになるため、ユーザは保存容量を気にせずに写真を撮影してサーバに保存しておくことが可能になる。
【０１１８】
またユーザが画像検索を目的として写真を撮影した場合にも、図３（Ｂ）のＢ６に示すように、撮影画像がアルバムに登録された旨がユーザに知らされ、ユーザは図５（Ａ）〜図６のアルバム閲覧画面で撮影画像を閲覧できる。従って、オントラベルにおけるガイド情報の提供のみならず、アフタートラベルにおいて旅行の思い出を振り返るための情報をユーザに提供できる。また図５（Ａ）のＣ３に示すように、撮影画像の撮影場所の位置情報を活用して旅行中の移動履歴をマップ画面上に軌跡として残すことで、ユーザは、旅行の余韻を視覚的に楽しむことが可能になる。従って、多くの撮影画像が閲覧されずに保存されたままになってしまうという事態を防止でき、アルバムの閲覧を介して撮影画像の有効活用を図れる。
【０１１９】
また図６のＣ１１に示すように、ウェブアルバムのアルバム情報に対して、ユーザはコメントや評価を入力できる。従って、ウェブアルバムのマップ画面、撮影画像、コメントが連動したブログやＳＮＳ（Social Networking Service）、アルバム公開、アルバム写真のスライドショーの提供も可能になる。
【０１２０】
３．データベース構造
次に本実施形態で使用されるアルバムＤＢや画像ＤＢのデータ構造について説明する。図７（Ａ）にアルバムＤＢのデータ構造の例を示す。図７（Ａ）においてマイページＩＤはユーザＩＤに相当し、例えばＭＰＩＤＡはユーザＡのマイページＩＤであり、ＭＰＩＤＢはユーザＢのマイページＩＤである。例えば新規ユーザが、特定のメールアドレスに対して、撮影画像を添付したメールを送信して、ユーザ登録を行うと、例えば登録ユーザのメールアドレスに１対１に対応してマイページＩＤが付与される。すると、そのユーザのメールに添付された撮影画像は、そのマイページＩＤに対応するアルバムＤＢの格納場所に書き込まれるようになる。例えばユーザＡがユーザ登録を行い、マイページＩＤ＝ＭＰＩＤＡが付与された場合には、ユーザＡのメールに添付された撮影画像は、図７（Ａ）のマイページＩＤ＝ＭＰＩＤＡの格納場所に登録される。また図３（Ｂ）のＢ４に示すようにユーザが候補名称タグから確定名称タグを選択すると、図７（Ａ）に示すようにその確定名称タグは、撮影画像に関連づけて登録される。このように本実施形態では、受信したユーザのメールのメールアドレスにより特定されるアルバムＤＢの格納場所に、撮影画像や確定名称タグが登録される。
【０１２１】
また例えば確定名称タグにより位置情報が取得された場合に、図７（Ａ）に示すように、その位置情報についても撮影画像に関連づけて登録することが望ましい。このようにすれば、図５（Ａ）のＣ４〜Ｃ８に示すように、登録された位置情報を用いて、撮影画像の撮影場所や移動履歴を特定して、マップ画面上に表示する処理を容易化できる。この場合に、例えばアルバムＤＢに登録された位置情報をユーザが編集できるようにしてもよい。このようにすれば、ユーザは図５（Ａ）のＣ３のマップ画面において、撮影場所の位置を微調整することなどが可能になり、ユーザの利便性を向上できる。なお位置情報をアルバムＤＢに記憶しないようにしてもよい。例えば必要に応じて観光情報ＤＢ等を参照して、位置情報を取得してもよい。
【０１２２】
図７（Ｂ）に画像ＤＢのデータ構造例を示す。この画像ＤＢでは、各登録画像データに対して各名称タグが関連づけて登録されている。なお、１つの登録画像データに対して複数の名称タグを関連づけるようにしてもよい。
【０１２３】
そして本実施形態では、例えばユーザの撮影画像の画像検索が行われ、図３（Ｂ）のＢ４に示すように確定名称タグをユーザが選択すると、画像検索が行われた撮影画像とその確定名称タグが、画像ＤＢにも登録される。即ちユーザの撮影画像及びその確定名称タグが、画像検索のための登録画像及びその名称タグとして画像ＤＢに登録される。このようにすれば、様々なユーザが画像検索を行うことで、画像ＤＢに対してその撮影画像が登録画像として次々に追加されるようになる。即ち、ユーザの利用により画像ＤＢのリファレンス画像となる登録画像が増え、画像ＤＢが成長するようになる。従って、様々な撮影画像に対して画像ＤＢが対応できるようになり、ユーザの利便性等を向上できる。
【０１２４】
４．候補名称タグの取得
次に候補名称タグの取得手法の一例について説明する。例えば図８（Ａ）では、ユーザの撮影画像に類似する登録画像として、ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６・・・が画像ＤＢから抽出されている。図８（Ａ）では、登録画像は類似度が高い順に上位列挙されており、登録画像ＩＭＴ１の類似度が最も高く、登録画像ＩＭＴ２の類似度がその次に高くなっている。
【０１２５】
また登録画像ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６に対しては、各々、名称タグである「Ｅ１寺」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」が関連づけられている。この場合に本実施形態では、これらの名称タグの出現数（出現頻度）を集計し、集計結果に基づいて候補名称タグを取得する。例えば図８（Ａ）では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の出現数は、各々、３回、２回、１回になっている。このため、図８（Ａ）の名称タグを、出現数が多い順に並び替えて出現数が上位の所定数の名称タグだけを残すことで、図８（Ｂ）に示すような候補名称タグが取得される。この場合に、重複する名称タグを削除して１つにする名寄せ処理も行われる。
【０１２６】
なお集計処理における出現数のカウントの際に、その画像の類似度に応じた重み付け計数を乗算するようにしてもよい。また、出現数のカウントを行わずに、類似度の高い順に並べた名称タグに対して名寄せ処理を行い、名寄せ処理後の上位の所定数の名称タグを、候補名称タグとして取得してもよい。
【０１２７】
５．画像のアップロード
本実施形態では、撮影画像のみならず、例えばＰＣ等の情報処理装置でユーザがアップロードした画像についても、アルバムＤＢに登録できるようになっている。具体的には例えば図５（Ａ）、図５（Ｂ）のアルバム閲覧画面において、Ｃ１２やＣ１３に示す部分をクリックすることで、ユーザは、情報処理装置のハードディスク等に保存されている画像をアップロードし、アップロード画像をアルバムＤＢに登録できる。
【０１２８】
例えば図１のアルバム登録部２６は、画像ＤＢを用いたアップロード画像の画像検索により、アップロード画像の名称タグが取得されると、取得された名称タグをアップロード画像に関連づけてアルバムＤＢに登録する。
【０１２９】
またアップロード画像に類似する複数の登録画像が画像ＤＢから検索され、検索された複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得されると、データ作成部２８は、これらの複数のアップロード画像用候補名称タグを含む検索結果データを作成する。そしてアルバム登録部２６は、検索結果データにより表示される検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグをアップロード画像用確定名称タグとして、アルバムＤＢのアップロード画像に関連づけて登録する。
【０１３０】
図９にアップロード画像の検索結果画面（画像候補名称選択画面）の例を示す。例えば画像検索（合致検索）によりアップロード画像の被写体の名称タグを一意に判別できた場合には、図９のＤ１に示すように、そのアップロード画像に対してその名称タグが付与されて、アルバムＤＢの対応するフォルダに自動保存される。即ち、そのアップロード画像に合致（類似）する登録画像を検索できた場合には、その登録画像の名称タグが、アップロード画像に付与されて、アルバムＤＢに登録される。
【０１３１】
一方、図９のＤ２に示すように、アップロード画像に合致する登録画像を検索できなかった場合には、撮影画像の場合と同様に、アップロード画像に類似する複数の登録画像の名称タグから、アップロード画像用の候補名称タグが取得される。具体的には、合致検索においてスコアリングは規定値以下であったが、類似検索において検索結果が出た画像については、検索結果である名称タグに対して名寄せ処理を行い、上位の所定数の名称タグを、候補名称タグとして取得する。
【０１３２】
そして図９のＤ３に示すように、アップロード画像の検索結果画面においてこれらの候補名称タグが表示される。ユーザが、これらの候補名称タグのいずれかを選択して、Ｄ４に示すように「名称を確定する」をクリックすると、選択された名称タグがアップロード画像用の確定名称タグとして、アップロード画像に関連づけてアルバムＤＢに登録されるようになる。なおアップロード画像に類似する登録画像を１枚も検索できなかった場合には、そのアップロード画像は、Ｄ５に示すようにその他の画像のフォルダに保存される。
【０１３３】
以上のように、アップロード画像をアルバムＤＢに登録できるようにすれば、ユーザが例えば旅行が終わって家に帰った後に、画像検索を行わなかった画像や、その旅行の観光地に関連する画像などを、ＰＣ等を用いてアップロードして、旅行中の撮影画像と共にアルバムＤＢに登録できるようになる。この際に図９のＤ１、Ｄ２に示すように、アップロード画像の画像検索が自動的に行われることで、アップロード画像に対して自動的に名称タグが付与されたり、候補名称タグの中からユーザが選択した名称タグがアップロード画像に付与される。従って、ユーザは、少ない手間で所望のアップロード画像を整理してアルバムＤＢに登録できるようになり、ユーザの利便性を向上できる。
【０１３４】
６．画像認識
次に画像認識処理の詳細例について説明する。画像検索のための画像認識処理としては、例えば、特徴点を利用した画像認識と、画像全体の特徴を利用した画像認識がある。特徴点を利用した画像認識は、上述の図９のＤ１で用いられる合致検索であり、画像全体の特徴を利用した画像認識は、図９のＤ２で用いられる類似検索である。
【０１３５】
６．１ 特徴点を利用した画像認識（合致検索）
特徴点を利用した画像認識では、まず、原画像に対して段階的にブラー処理を行って、ブラー画像を作成する。そしてブラー画像間の差分を取り、差分画像を作成し、差分画像の中で、その値が極値となる座標（周囲よりも値が大きい又は小さくなる座標）にある画素を特徴点とする。通常、１枚の画像から複数の特徴点が抽出される。
【０１３６】
各特徴点の特徴量は１２８次元のベクトルで表現され、これを特徴ベクトルと呼ぶ。この特徴ベクトルは、上述のようにして求められた特徴点を中心とした一定の範囲（以下、ピックアップ範囲と呼ぶ）におけるブラー画像の微分値を、対応する次元に足し込むことで求められる。
【０１３７】
足し込む微分値は、特徴点に近いほど値が大きくなるように重み付けをする。足し込む次元のインデックスは、ピックアップ範囲の各画素の座標（以下、ピックアップ座標と呼ぶ）を、４×４に丸めた座標と、ピックアップ座標の微分方位を８方向に丸めた方位から求める。そして複数の特徴点の全てについて、この特徴量を求める。
【０１３８】
次に、登録画像と、質問画像（検索対象画像）に対して、上述の処理を行って、特徴点を抽出すると共に特徴量を抽出する。そして質問画像から抽出された特徴点の特徴量に最も近い特徴量を、登録画像の中から検索する。ここで、特徴量の近さは、特徴ベクトルの距離によって表現される。
【０１３９】
このように、検索対象画像から抽出された特徴点に対応する登録画像の特徴点を求め、対応する特徴点を最も多く有する登録画像を、正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、対応する特徴点を多く有する画像から順に上位Ｊ個（Ｊは２以上の整数）の画像を、正解画像（類似画像）として返送する。
【０１４０】
６．２ 画像全体の特徴を利用した画像認識（類似検索）
画像全体の特徴を利用した画像認識では、まず画像全体をグレースケール化し、輝度画像に変換する。この輝度画像を１６×１６の画素に縮小し、例えば２５６次元のベクトルにしたものを構図特徴とする。
【０１４１】
画素全体の色相を例えば１０区間に分け、そのヒストグラムを画像全体の色特徴とし、１０次元のベクトルとして表現する。また画像全体を５１２色に分け、そのうち占有面積の上位３０色を代表色の色特徴とする。
【０１４２】
登録画像と質問画像に対して、上述の処理を行い、特徴量を算出する。そして質問画像に最も近い特徴を持つ登録画像を正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、質問画像に近い画像から順に上位Ｊ個の画像を返送する。特徴の近さは、各特徴ベクトルの距離によって表現される。また構図特徴と色特徴のどちらを重視するかにより、重み付けを変更する。
【０１４３】
７．詳細な処理
次に本実施形態の詳細な処理例について図１０〜図１６の処理フローを用いて説明する。
【０１４４】
図１０、図１１は、撮影画像の画像検索により候補名称タグを取得し、ユーザの選択により得られた確定候補名称タグを撮影画像に関連づけてアルバムＤＢや画像ＤＢに登録する処理のフローである。
【０１４５】
ユーザが端末装置１１０により被写体を撮影して、撮影画像を添付したメールを送信すると、管理サーバ１０が受信して、メールアドレスをチェックする（ステップＳ１〜Ｓ４）。そして、メールアドレスにより特定されるユーザが新規ユーザである場合には、ユーザＩＤとなるマイページＩＤを発行し、個人情報ＤＢにユーザの情報を登録する（ステップＳ５、Ｓ６）。一方、既にサービスを利用している既存のユーザである場合には、そのマイページＩＤを撮影画像に付与して、撮影画像を画像検索サーバ６０に送信すると共にアルバムＤＢに登録する（ステップＳ７〜Ｓ９）。
【０１４６】
画像検索サーバ６０は、撮影画像を受信すると、撮影画像の特徴点を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１０〜Ｓ１２）。即ち上述した特徴点を利用した画像認識（合致検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否か（認識結果が出たか否か）を判断する（ステップＳ１３、Ｓ１４）。
【０１４７】
画像認識に成功しなかった場合には、画像の構図を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１５、Ｓ１６）。即ち、上述の画像全体の特徴を利用した画像認識（類似検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否かを判断する（ステップＳ１７、Ｓ１８）。
【０１４８】
ステップＳ１４又はＳ１８で画像認識に成功したと判断された場合には、検索された登録画像の名称タグを類似度順に上位列挙して、名称タグの集計処理（名寄せ処理）を行い、候補名称タグを取得し、管理サーバ１０に送信する（ステップＳ１９〜Ｓ２２）。一方、ステップＳ１８で画像認識に成功しなかったと判断された場合には、画像検索サーバ６０はエラー結果を送信する（ステップＳ５１）。そして管理サーバ１０は、エラー結果を受信すると、エラーメールを作成して端末装置１１０に送信する（ステップＳ５２〜Ｓ５４）。端末装置１１０のユーザが、エラーメールの受領を確認して、メール内のＵＲＬをクリックすると、トップ画面が表示される（ステップＳ５５〜Ｓ５７）。このトップ画面でユーザが画像認識検索を選択すると、メーラーが起動してステップＳ１に戻り，テキスト検索を選択するとテキスト検索が行われる（ステップＳ５８〜Ｓ６１）。
【０１４９】
管理サーバ１０は、画像検索サーバ６０から候補名称タグを受信すると、候補名称タグに基づき観光情報ＤＢを検索して、図３（Ｂ）に示すような検索結果画面を作成する（ステップＳ２３〜Ｓ２５）。そして、作成した検索結果画面のＵＲＬを知らせる図３（Ａ）の結果通知メールを端末装置１１０に送信する（ステップＳ２６）。
【０１５０】
端末装置１１０のユーザが結果通知メールの受領を確認して、ＵＲＬにより検索結果画面の閲覧を選択すると、図３（Ｂ）の検索結果画面が表示される（ステップＳ２７〜Ｓ２９）。そしてユーザが、図３（Ｂ）のＢ４に示すように正解と考える候補名称タグを選択すると、図４に示すような観光情報画面（ガイド情報画面）が表示され、ユーザはこの観光情報画面を閲覧する（ステップＳ３０〜Ｓ３３）。そして管理サーバ１０は、選択された候補名称タグを確定名称タグであると判断して、撮影画像及び確定名称タグを画像検索サーバ６０に送信する（ステップＳ３４、Ｓ３５）。また確定名称タグに基づいて観光情報ＤＢを参照することで、撮影画像の撮影場所の位置情報を取得する（ステップＳ３６）。図３（Ｂ）のＢ４を例にとれば、「Ｅ１寺」の位置情報が観光情報ＤＢから取得される。そして確定名称タグ及び位置情報を撮影画像に関連づけてアルバムＤＢに登録する（ステップＳ３７）。
【０１５１】
一方、撮影画像及び確定名称タグを受信した画像検索サーバ６０は、受信した撮影画像及び確定名称タグを画像ＤＢに登録する（ステップＳ３８、Ｓ３９）。これにより、撮影画像は、画像検索のリファレンスとなる登録画像として画像ＤＢに登録されることになる。
【０１５２】
なお図３（Ｂ）のＢ７に示すように検索結果画面においてユーザが画像検索を選択すると、メーラーが起動して図１０のステップＳ１に戻る（ステップＳ４０、Ｓ４１）。またＢ８に示すようにテキスト検索を選択すると、観光情報ＤＢを参照したテキスト検索が実行され、観光情報ＤＢから所望の情報が検索された場合には、テキスト検索の検索結果画面が表示される（ステップＳ６１〜Ｓ６３、Ｓ２９）。一方、情報を検索できなかった場合には、外部サイトによる検索を実行し、外部サイトからの検索結果を受信して、検索結果画面を表示する（ステップＳ６４〜Ｓ６６、Ｓ２９）。
【０１５３】
図１２、図１３は、撮影画像の画像認識に成功しなかった場合に、ユーザの位置情報を取得し、取得された位置情報に基づいて検索対象を絞り込んで、画像認識を行う処理のフローである。
【０１５４】
図１２のステップＳ７１〜Ｓ８３は図１０のステップＳ１〜Ｓ１３と同様であるため説明を省略する。画像検索サーバ６０は、ステップＳ８４で画像認識に成功しなかったと判断した場合には、位置情報の取得を管理サーバ１０に指示（依頼）する（ステップＳ９１）。
【０１５５】
すると管理サーバ１０は、位置情報取得画面を作成して、その画面のＵＲＬを知らせるメールを端末装置１１０に送信する（ステップＳ９２、Ｓ９３）。そして端末装置１１０のユーザが、メールの受信を確認して、メール内のＵＲＬをクリックすると、位置情報取得画面が表示される（ステップＳ９４〜Ｓ９６）。そしてユーザが、この位置情報取得画面において位置情報取得のコマンドを選択して、位置情報の取得を許可すると、管理サーバ１０は簡易的な位置情報の取得処理を行う（ステップＳ９７〜Ｓ９９）。例えば携帯電話機等の端末装置１１０の基地局情報に基づいてユーザの位置情報を取得する。或いは端末装置１１０が有するＧＰＳを利用して位置情報を取得してもよい。そして取得した位置情報を画像検索サーバ６０に送信する（ステップＳ１００）。
【０１５６】
画像検索サーバ６０は、管理サーバ１０から位置情報を受信すると、受信したユーザの位置情報に基づいて、画像検索のリファレンスとなる対象画像を絞り込む（ステップＳ１０１、Ｓ１０２）。そして画像の構図を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１０３、Ｓ１０４）。即ち画像全体の特徴を利用した画像認識（類似検索）を実行する。そしてスコアリングを算定し、画像認識に成功したか否かを判断する（ステップＳ１０５、Ｓ１０６）。
【０１５７】
画像認識に成功したと判断された場合には、名称タグの集計処理等を行って、取得された候補名称タグを管理サーバ１０に送信する（ステップＳ１０７〜Ｓ１１０）。そして管理サーバ１０は、受信した候補名称タグに基づいて観光情報ＤＢを検索して、検索結果画面を作成し、その画面のＵＲＬを知らせるメールを送信し、端末装置１１０がメールを受信する（ステップＳ１１１〜Ｓ１１５）。その後は図１０、図１１で説明した通常フローと同様の処理が行われる。
【０１５８】
ステップＳ１０６で画像認識に成功しなかったと判断された場合には、画像検索サーバ６０がエラー結果を送信し、管理サーバ１０が受信する（ステップＳ１２１、Ｓ１２２）。そして管理サーバ１０は、エラーメールを作成して送信し、端末装置１１０が受信する（ステップＳ１２３〜Ｓ１２５）。
【０１５９】
以上の図１２、図１３の処理によれば、撮影画像の１回目の画像認識に成功しなかった場合にも、ユーザの位置情報に基づいて対象画像を絞り込んで画像検索を実行することで、撮影画像の候補名称タグを取得して、ユーザに提示できるようになる。
【０１６０】
図１４、図１５、図１６は、アルバム画面の閲覧処理やアップロード画像のアルバムＤＢへの登録処理のフローである。
【０１６１】
端末装置１１０のユーザが、マイページトップ画面において、アルバム画面の閲覧を選択すると、管理サーバ１０が、アルバムＤＢから対象アルバムを抽出し、アルバム選択画面を表示する（ステップＳ１３１〜Ｓ１３４）。そしてユーザが、所望のアルバムを選択すると、そのアルバムのマップ画面が表示される（ステップＳ１３５、Ｓ１３６）。例えば図５（Ａ）では、大阪のアルバムが選択されたため、大阪のマップ画面が表示される。そしてユーザが図５（Ａ）のＣ９をクリックして、アルバムの閲覧を選択すると、図５（Ｂ）に示すようにアルバム画像の一覧画面が表示される（ステップＳ１３７、Ｓ１３８）。この一覧画面においてユーザが画像を選択すると、図６に示すように画像の詳細画面が表示され、Ｃ１１に示すようにユーザはコメントを入力できるようになる（ステップＳ１３９、Ｓ１４０）。そしてユーザがコメントを入力すると、入力されたコメントは撮影画像に関連づけられてアルバムＤＢに登録される（ステップＳ１４１）。
【０１６２】
一方、図５（Ａ）のアルバム閲覧時に、Ｃ１２に示すようにユーザが画像のアップロードを選択すると、携帯電話機などのモバイルの場合にはメーラーが起動して、管理サーバ１０へのアップロード画像の送信が行われ、ＰＣの場合にはファイル参照により添付されるアップロード画像が選択されて、アップロード画像の送信が行われる（ステップＳ１５１〜Ｓ１５３）。そして管理サーバ１０は、受信したアップロード画像を画像検索サーバ６０に送信する（ステップＳ１５４）。
【０１６３】
画像検索サーバ６０は、アップロード画像を受信すると、画像の特徴点を抽出し、画像ＤＢとの照合処理を行って、スコアリングを算定する（ステップＳ１５５〜Ｓ１５８）。そして、この合致検索により画像認識に成功した場合には、登録画像のタグを名称タグとして取得して、管理サーバ１０に送信すると共に、アップロード画像を正解画像として画像ＤＢに登録する（ステップＳ１５９〜Ｓ１６２）。一方、管理サーバ１０は、名称タグを受信すると、名称タグに基づいて観光情報ＤＢから位置情報を取得し、アップロード画像、名称タグ及び位置情報をアルバムＤＢに登録する（ステップＳ１６３〜Ｓ１６５）。このように合致検索により一意的にアップロード画像を画像認識でき、名称タグが取得された場合には、そのアップロード画像及び名称タグがアルバムＤＢに登録される。そして図９のアップロード画像の検索結果画面において、Ｄ１に示すようにユーザに知らされる。
【０１６４】
ステップＳ１５９で画像認識に成功しなかった場合には、画像の構図を抽出し、画像ＤＢとの照合処理を行って、スコアリングを算定する（ステップＳ１７１〜Ｓ１７３）。そして画像認識に成功しなかった場合には、エラー結果が管理サーバ１０に送信され、図９のＤ５で説明したように、アップロード画像はその他の画像として登録される（ステップＳ１７４〜Ｓ１７７）。一方、画像認識に成功した場合には、上位列挙された名称タグの集計処理（名寄せ処理）が行われて、候補名称タグが取得される（ステップＳ１７８〜Ｓ１８０）。
【０１６５】
そして、取得された候補名称タグが、画像検索サーバ６０から管理サーバ１０に送信されると、未確認フォルダの登録が行われて、アップロード画像の検索結果画面が作成されて表示される（ステップＳ１８１〜Ｓ１８５）。そしてユーザが検索結果画面を確認して、図９のＤ３、Ｄ４に示すようにアップロード画像の候補名称タグを確定名称タグとして選択すると、管理サーバ１０は、アルバムＤＢからの対象画像の抽出を行い、観光情報ＤＢから確定名称タグに該当する観光施設等の位置情報を取得する（ステップＳ１８６〜Ｓ１８９）。そしてアップロード画像、確定名称タグ及び位置情報を、アルバムＤＢに登録すると共に画像検索サーバ６０に送信する（ステップＳ１９０、Ｓ１９１）。すると画像検索サーバ６０は、受信したアップロード画像及び確定名称タグを画像ＤＢに登録する（ステップＳ１９２、Ｓ１９３）。
【０１６６】
以上のようにすることで、ユーザは、端末装置１１０で実際にユーザが撮影した画像のみならず、所望のアップロード画像をアルバムＤＢや画像ＤＢに登録することが可能になる。またアップロード画像の画像認識が行われて、その名称タグが自動的に取得されたり、ユーザが候補名称タグの中から選択することで確定名称タグが決定されるため、ユーザの利便性を向上できる。
【０１６７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またサーバシステム、端末装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６８】
１０ 管理サーバ、２０ 処理部、２２ 受信処理部、２４ 送信処理部、
２６ アルバム登録部、２８ データ作成部、３０ 位置情報取得部、
３２ アルバム閲覧部、３４ コンテンツ提示部、４０ アルバムデータベース、
４２ 個人情報データベース、５０ コンテンツデータベース、
５２ 観光情報データベース、５４ リコメンド情報データベース、
５６ 広告情報データベース、５８ 通信部、６０ 画像検索サーバ、７０ 処理部、
７２ 受信処理部、７４ 送信処理部、７６ 画像検索部、７８ タグ処理部、
９０ 画像データベース、９８ 通信部、１００ ネットワーク、１１０ 端末装置、
１２０ 処理部、１２２ 画像取得部、１２４ 送信処理部、１２６ 受信処理部、
１２８ 表示制御部、１４０ 記憶部、１５０ 情報記憶媒体、１６０ 撮像部、
１７０ 操作部、１８０ 表示部、２００ 情報処理装置
【特許請求の範囲】
【請求項１】
画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、
前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部とを含み、
前記アルバム登録部は、
前記検索結果データにより表示される検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項２】
請求項１において、
前記受信処理部は、
前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、
前記アルバム登録部は、
受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録することを特徴とするサーバシステム。
【請求項３】
請求項１又は２において、
前記データ作成部は、
ユーザが前記確定名称タグの選択を行わずに、テキスト検索を選択した場合には、前記テキスト検索により前記コンテンツデータベースからコンテンツ情報を検索し、検索されたコンテンツ情報を含む検索結果データを作成することを特徴とするサーバシステム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部を含み、
前記アルバム登録部は、
取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含むことを特徴とするサーバシステム。
【請求項６】
請求項５において、
前記アルバム閲覧部は、
前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行うことを特徴とするサーバシステム。
【請求項７】
請求項６において、
前記確定名称タグに基づいて、前記撮影画像の前記撮影場所の位置情報を取得する位置情報取得部を含み、
前記アルバム閲覧部は、
取得された前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定することを特徴とするサーバシステム。
【請求項８】
請求項５乃至７のいずれかにおいて、
前記アルバム閲覧部は、
ユーザが前記アルバム情報の閲覧を選択した場合には、前記アルバムデータベースに登録されている前記撮影画像の一覧画面を作成することを特徴とするサーバシステム。
【請求項９】
請求項８において、
前記アルバム閲覧部は、
前記一覧画面に表示される前記撮影画像に対して、ユーザがコメントを入力した場合には、入力されたコメントを前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記確定名称タグに基づいてコンテンツデータベースを参照して、前記確定名称タグに対応するコンテンツ情報を取得し、取得された前記コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部を含むことを特徴とするサーバシステム。
【請求項１１】
請求項１０において、
前記コンテンツ提示部は、
前記コンテンツ情報として、前記確定名称タグに対応する観光情報又はリコメンド情報を取得し、ユーザに提示する処理を行うことを特徴とするサーバシステム。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記アルバム登録部は、
ユーザのアルバム閲覧時に、ユーザにより画像のアップロードが選択された場合には、アップロード画像を前記アルバムデータベースに登録することを特徴とするサーバシステム。
【請求項１３】
請求項１２において、
前記アルバム登録部は、
前記画像データベースを用いた前記アップロード画像の画像検索により、前記アップロード画像の名称タグが取得された場合に、取得された前記名称タグを前記アップロード画像に関連づけて前記アルバムデータベースに登録することを特徴とするサーバシステム。
【請求項１４】
請求項１２又は１３において、
前記データ作成部は、
前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグを含む検索結果データを作成し、
前記アルバム登録部は、
前記検索結果データにより表示される検索結果画面において、前記複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグをアップロード画像用確定名称タグとして、前記アルバムデータベースの前記アップロード画像に関連づけて登録することを特徴とするサーバシステム。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
前記撮影画像に類似する前記複数の登録画像を前記画像データベースから検索する画像検索部と、
検索された前記複数の登録画像に関連づけられた前記複数の名称タグから、前記複数の候補名称タグを取得するタグ処理部を含むことを特徴とするサーバシステム。
【請求項１６】
請求項１５において、
前記タグ処理部は、
前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得することを特徴とするサーバシステム。
【請求項１７】
請求項１５又は１６において、
ユーザの位置情報を取得する位置情報取得部を含み、
前記画像検索部は、
前記撮影画像の画像認識に成功しなかった場合に、ユーザの前記位置情報の取得を前記位置情報取得部に指示し、取得された前記位置情報に基づいて検索対象を絞り込んで、画像検索を行うことを特徴とするサーバシステム。
【請求項１８】
画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、
前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部と、
前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部と、
を含むことを特徴とするサーバシステム。
【請求項１９】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データを、ネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、
受信した前記検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、
前記表示制御部は、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アルバムデータベースに登録される前記撮影画像の確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とする端末装置。
【請求項２０】
請求項１９において、
前記表示制御部は、
前記アルバムデータベースのアルバム情報に基づくアルバム閲覧画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項２１】
請求項２０において、
前記表示制御部は、
前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方が表示されたマップ画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項２２】
請求項１９乃至２１のいずれかにおいて、
前記表示制御部は、
ユーザのアルバム閲覧時に、ユーザによる画像のアップロードが行われ、前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アップロード画像用確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とする端末装置。
【請求項２３】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データを、ネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データを、ネットワークを介して受信する処理を行う受信処理部と、
受信した前記検索結果データに基づいて、表示部の表示制御を行う表示制御部として、
コンピュータを機能させ、
前記表示制御部は、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アルバムデータベースに登録される前記撮影画像の確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とするプログラム。
【請求項２４】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２３に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２５】
画像検索の対象となるユーザの撮影画像をアルバムデータベースに登録し、
前記撮影画像に類似する複数の登録画像を画像データベースから検索し、
検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、
取得された前記複数の候補名称タグが表示された検索結果画面を表示し、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、ユーザにより選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とする画像検索方法。
【請求項１】
画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、
前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部とを含み、
前記アルバム登録部は、
前記検索結果データにより表示される検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項２】
請求項１において、
前記受信処理部は、
前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、
前記アルバム登録部は、
受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録することを特徴とするサーバシステム。
【請求項３】
請求項１又は２において、
前記データ作成部は、
ユーザが前記確定名称タグの選択を行わずに、テキスト検索を選択した場合には、前記テキスト検索により前記コンテンツデータベースからコンテンツ情報を検索し、検索されたコンテンツ情報を含む検索結果データを作成することを特徴とするサーバシステム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部を含み、
前記アルバム登録部は、
取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含むことを特徴とするサーバシステム。
【請求項６】
請求項５において、
前記アルバム閲覧部は、
前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行うことを特徴とするサーバシステム。
【請求項７】
請求項６において、
前記確定名称タグに基づいて、前記撮影画像の前記撮影場所の位置情報を取得する位置情報取得部を含み、
前記アルバム閲覧部は、
取得された前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定することを特徴とするサーバシステム。
【請求項８】
請求項５乃至７のいずれかにおいて、
前記アルバム閲覧部は、
ユーザが前記アルバム情報の閲覧を選択した場合には、前記アルバムデータベースに登録されている前記撮影画像の一覧画面を作成することを特徴とするサーバシステム。
【請求項９】
請求項８において、
前記アルバム閲覧部は、
前記一覧画面に表示される前記撮影画像に対して、ユーザがコメントを入力した場合には、入力されたコメントを前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記確定名称タグに基づいてコンテンツデータベースを参照して、前記確定名称タグに対応するコンテンツ情報を取得し、取得された前記コンテンツ情報をユーザに提示するための処理を行うコンテンツ提示部を含むことを特徴とするサーバシステム。
【請求項１１】
請求項１０において、
前記コンテンツ提示部は、
前記コンテンツ情報として、前記確定名称タグに対応する観光情報又はリコメンド情報を取得し、ユーザに提示する処理を行うことを特徴とするサーバシステム。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記アルバム登録部は、
ユーザのアルバム閲覧時に、ユーザにより画像のアップロードが選択された場合には、アップロード画像を前記アルバムデータベースに登録することを特徴とするサーバシステム。
【請求項１３】
請求項１２において、
前記アルバム登録部は、
前記画像データベースを用いた前記アップロード画像の画像検索により、前記アップロード画像の名称タグが取得された場合に、取得された前記名称タグを前記アップロード画像に関連づけて前記アルバムデータベースに登録することを特徴とするサーバシステム。
【請求項１４】
請求項１２又は１３において、
前記データ作成部は、
前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグを含む検索結果データを作成し、
前記アルバム登録部は、
前記検索結果データにより表示される検索結果画面において、前記複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグをアップロード画像用確定名称タグとして、前記アルバムデータベースの前記アップロード画像に関連づけて登録することを特徴とするサーバシステム。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
前記撮影画像に類似する前記複数の登録画像を前記画像データベースから検索する画像検索部と、
検索された前記複数の登録画像に関連づけられた前記複数の名称タグから、前記複数の候補名称タグを取得するタグ処理部を含むことを特徴とするサーバシステム。
【請求項１６】
請求項１５において、
前記タグ処理部は、
前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得することを特徴とするサーバシステム。
【請求項１７】
請求項１５又は１６において、
ユーザの位置情報を取得する位置情報取得部を含み、
前記画像検索部は、
前記撮影画像の画像認識に成功しなかった場合に、ユーザの前記位置情報の取得を前記位置情報取得部に指示し、取得された前記位置情報に基づいて検索対象を絞り込んで、画像検索を行うことを特徴とするサーバシステム。
【請求項１８】
画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、
前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部と、
前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部と、
を含むことを特徴とするサーバシステム。
【請求項１９】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データを、ネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、
受信した前記検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、
前記表示制御部は、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アルバムデータベースに登録される前記撮影画像の確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とする端末装置。
【請求項２０】
請求項１９において、
前記表示制御部は、
前記アルバムデータベースのアルバム情報に基づくアルバム閲覧画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項２１】
請求項２０において、
前記表示制御部は、
前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方が表示されたマップ画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項２２】
請求項１９乃至２１のいずれかにおいて、
前記表示制御部は、
ユーザのアルバム閲覧時に、ユーザによる画像のアップロードが行われ、前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アップロード画像用確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とする端末装置。
【請求項２３】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データを、ネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データを、ネットワークを介して受信する処理を行う受信処理部と、
受信した前記検索結果データに基づいて、表示部の表示制御を行う表示制御部として、
コンピュータを機能させ、
前記表示制御部は、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アルバムデータベースに登録される前記撮影画像の確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とするプログラム。
【請求項２４】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２３に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２５】
画像検索の対象となるユーザの撮影画像をアルバムデータベースに登録し、
前記撮影画像に類似する複数の登録画像を画像データベースから検索し、
検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、
取得された前記複数の候補名称タグが表示された検索結果画面を表示し、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、ユーザにより選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とする画像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２１８３７１（Ｐ２０１０−２１８３７１Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６６０１８（Ｐ２００９−６６０１８）
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１８日（２００９．３．１８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]