画像検索システム、画像検索プログラムおよびサーバ装置
【課題】ランドマークの名称などのメタ情報に基づいて画像の分類および検索を行なうことができ、ユーザが撮影した画像の整理および検索の利便性を高める。
【解決手段】ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部１０と、ユーザ端末から入力された位置情報付の画像の特徴情報を抽出する画像特徴抽出部１１２と、ユーザ端末から入力された位置情報付の画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部１１１と、上記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部１１３と、ユーザ端末から入力された画像およびメタ情報が付与されたランドマークの名称を格納する画像データベース１１５と、を備える。
【解決手段】ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部１０と、ユーザ端末から入力された位置情報付の画像の特徴情報を抽出する画像特徴抽出部１１２と、ユーザ端末から入力された位置情報付の画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部１１１と、上記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部１１３と、ユーザ端末から入力された画像およびメタ情報が付与されたランドマークの名称を格納する画像データベース１１５と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索システム、画像検索プログラムおよびサーバ装置に関する。
【背景技術】
【０００２】
従来から、ユーザが撮影した写真（画像）を整理する技術が知られている。例えば、ユーザが写真を撮影したイベント毎に、フォルダを作成し、ユーザが写真を整理するための情報を付与するソフトウェアがある。また、撮影日時の順番に写真をソートする技術も知られている。
【０００３】
また、顔認識技術を利用した写真整理手法がある。これは、写真に写っている人物の顔を認識することにより、各写真に写っている人物を特定する情報を付与する。この技術では、写真を整理・検索する際に、ユーザが検索を希望する人物名を利用することができる（特許文献１）。
【０００４】
また、撮影場所を利用した写真整理手法がある。これは、ユーザが写真を撮影する際に使用するディジタルカメラまたはカメラ付き携帯電話機のＧＰＳ（Global Positioning System）測位機能を利用することにより、その写真の撮影場所を特定する情報（緯度・経度情報）を付与する。このＧＰＳ情報を利用した写真整理技術としては、以下のものがあげられる。
（１）地図上に写真を配置するもの
写真整理ソフトや、ＷＥＢ（World-Wide Web）上で写真を共有するサービスで、地図上に写真を配置するものがある。
（２）撮影場所の地名を利用して写真整理を行なうもの
【０００５】
写真に付与されている位置情報と、地図を照合することにより、例えば、撮影場所の地名に基づいて写真を整理するソフトウェアがある（特許文献２、特許文献３）。また、例えば、観光名所などの特定の場所に、その場所での撮影対象物に関連する情報を発信する装置を設置し、その装置が発信する情報をディジタルカメラで記録し、ユーザが後で行なう写真整理に利用する技術がある（特許文献４、特許文献５）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１７４３０８号公報
【特許文献２】特開２００５−０３７９９２号公報
【特許文献３】特開２００５−１８９９０５号公報
【特許文献４】特開２００４−２２１７５３号公報
【特許文献５】特開２００５−２１７４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ユーザが写真を撮影したイベント毎に、フォルダを作成し、ユーザが写真を整理するための情報を付与する技術では、ユーザが手間をかけて写真を整理するためのフォルダを作成する必要があり、ユーザの負担が大きいという問題がある。また、撮影日時の順番に写真をソートする技術では、撮影日時のみで整理するため、写真の中身、すなわち、撮影対象物に基づく写真の整理や検索は困難である。
【０００８】
また、顔認識技術を利用した写真整理手法では、人物が移っている写真のみが整理・検索の対象となるため、人物以外のものが写っている写真について、人物以外のもので整理・検索することは困難である。
【０００９】
また、上記従来の地図上に写真を配置する技術では、地図上に写真を配置するだけであり、特定の写真を探す場合には利便性が低い。また、撮影場所の地名を利用して写真整理を行なう技術（特許文献２および特許文献３）は、写真を整理する場合、地図上に記載されている情報のみを利用するものであるため、例えば、距離が近い場所で異なる対象物を撮影した写真を細かく整理することが容易ではない。さらに、特許文献４および特許文献５記載の技術では、細かい撮影対象物に基づく写真の整理が可能であるが、撮影場所が限定されてしまうこと、および撮影場所で発信されている情報を受信して写真と一緒に記録する処理を行なう機能がディジタルカメラに搭載されていなければならないことから、改善の余地がある。
【００１０】
本発明は、このような事情に鑑みてなされたものであり、ランドマークの名称などのメタ情報に基づいて画像の分類および検索を行なうことができ、ユーザが撮影した画像の整理および検索の利便性を高めることができる画像検索システム、画像検索プログラムおよびサーバ装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の画像検索システムは、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索システムであって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、ユーザ端末から入力された位置情報付画像の特徴情報を抽出する画像特徴抽出部と、前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、を備えることを特徴としている。
【００１２】
このように、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。例えば、ユーザは、位置情報付き画像を撮影し、システムに出力するだけで、撮影対象物に関する情報を検索することができるので、画像検索の利便性を向上させることが可能となる。
【００１３】
（２）また、本発明の画像検索システムは、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースをさらに備えることを特徴としている。
【００１４】
このように、画像データベースに格納されているランドマークの名称に付与されているメタ情報と、ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、ユーザ端末から入力された位置情報付画像を分類し、また、画像データベースに格納されている情報を検索するので、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
【００１５】
（３）また、本発明の画像検索システムにおいて、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、前記抽出された位置情報付クラスタを格納するクラスタデータベースと、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴としている。
【００１６】
このように、収集された位置情報付画像群から、位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、抽出された位置情報付クラスタを格納し、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するので、公開されている画像の中から、ユーザにとって意味のある画像を抽出し、その画像に含まれている対象物を推測することができ、その結果、画像検索の利便性を向上させることができる。
【００１７】
（４）また、本発明の検索システムにおいて、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集し、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、前記抽出された位置情報付クラスタを格納し、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴としている。
【００１８】
このように、上記の各構成要素における処理を一定期間毎に実行するので、インターネット上に掲載されている画像の変化・更新に応じたランドマークの推測が可能となる。その結果、例えば、新たなランドマークが建設された場合で、インターネット上に掲載されている情報に更新が発生した場合であっても、その情報をランドマーク推測結果に反映させることが可能となる。
【００１９】
（５）また、本発明の画像検索プログラムは、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索プログラムであって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築する処理と、ユーザ端末から入力された位置情報付画像の特徴情報を抽出する処理と、前記抽出された画像の特徴情報と、前記インターネット上に掲載されている画像から取得した、分類対象となるランドマークに関連する情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する処理と、前記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する処理と、前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を画像データベースに格納する処理と、の一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
【００２０】
このように、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。例えば、ユーザは、位置情報付き画像を撮影し、システムに出力するだけで、撮影対象物に関する情報を検索することができるので、画像検索の利便性を向上させることが可能となる。
【００２１】
（６）また、本発明の画像検索プログラムは、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する処理と、前記画像データベースに格納されている情報を検索する処理と、をさらに含むことを特徴としている。
【００２２】
このように、画像データベースに格納されているランドマークの名称に付与されているメタ情報と、ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、ユーザ端末から入力された位置情報付画像を分類し、また、画像データベースに格納されている情報を検索するので、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
【００２３】
（７）また、本発明の画像検索プログラムは、インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、をさらに含むことを特徴としている。
【００２４】
このように、収集された位置情報付画像群から、位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、抽出された位置情報付クラスタを格納し、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するので、公開されている画像の中から、ユーザにとって意味のある画像を抽出し、その画像に含まれている対象物を推測することができ、その結果、画像検索の利便性を向上させることができる。
【００２５】
（８）また、本発明の画像検索プログラムにおいて、インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、の一連の処理を、一定期間毎に実行することを特徴としている。
【００２６】
このように、上記の各処理を一定期間毎に実行するので、インターネット上に掲載されている画像の変化・更新に応じたランドマークの推測が可能となる。その結果、例えば、新たなランドマークが建設された場合で、インターネット上に掲載されている情報に更新が発生した場合であっても、その情報をランドマーク推測結果に反映させることが可能となる。
【００２７】
（９）また、本発明のサーバ装置は、位置情報付画像を分類して記録し、前記記録された画像を検索するサーバ装置であって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、ユーザ端末から取得した位置情報付画像の特徴情報を抽出する画像特徴抽出部と、前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から取得した位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、前記ユーザ端末から取得した位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から取得した位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から取得した位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースと、を備えることを特徴としている。
【００２８】
このように、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
【００２９】
（１０）また、本発明のサーバ装置において、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、前記抽出された位置情報付クラスタを格納するクラスタデータベースと、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴としている。
【００３０】
このように、収集された位置情報付画像群から、位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、抽出された位置情報付クラスタを格納し、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するので、公開されている画像の中から、ユーザにとって意味のある画像を抽出し、その画像に含まれている対象物を推測することができ、その結果、画像検索の利便性を向上させることができる。
【００３１】
（１１）また、本発明のサーバ装置において、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集し、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、前記抽出された位置情報付クラスタを格納し、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴としている。
【００３２】
このように、上記の各構成要素における処理を一定期間毎に実行するので、インターネット上に掲載されている画像の変化・更新に応じたランドマークの推測が可能となる。その結果、例えば、新たなランドマークが建設された場合で、インターネット上に掲載されている情報に更新が発生した場合であっても、その情報をランドマーク推測結果に反映させることが可能となる。
【発明の効果】
【００３３】
本発明によれば、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
【図面の簡単な説明】
【００３４】
【図１】本実施形態に係る画像検索システムの概略構成を示すブロック図である。
【図２】ランドマーク情報学習部１０の概略構成を示すブロック図である。
【図３】ランドマーク情報学習処理を示すフローチャートである。
【図４】ユーザ画像インデキシング処理を示すフローチャートである。
【図５】本実施形態における画像分類結果を閲覧するためのインタフェースの一例を示す図である。
【図６】検索対象となる画像のサムネール画像を示す図である。
【図７】検索条件入力画面を示す図である。
【発明を実施するための形態】
【００３５】
図１は、本実施形態に係る画像検索システムの概略構成を示すブロック図である。本実施形態では、ユーザが携帯端末１（カメラならびにＧＰＳ測位機能付）で撮影した位置情報付き画像（例えば、ディジタルカメラで撮影した写真）を分類し、検索する例について説明する。図１に示すように、本実施形態に係る画像検索システム１１０は、撮影対象ランドマーク推測部１１１、画像特徴抽出部１１２、画像分類用メタ情報付与部１１３、画像分類・検索インタフェース１１４、および画像データベース１１５から構成される。画像検索システム１１０は、主として、これらの５つの要素から構成されており、さらに、ランドマーク情報学習部１０を備えている。また、これらの各構成要素でサーバ装置を構築することも可能である。
【００３６】
ランドマーク情報学習部１０は、ＷＥＢ１００上から、検索ＡＰＩ（Application Program Interface）１０９を介して、分類対象となるランドマークの名称、場所および関連画像情報を収集し、解析して、ユーザの画像の撮影対象となるランドマークを推測するための情報を生成する。
【００３７】
画像特徴抽出部１１２は、ユーザがカメラ付き携帯端末１から画像検索システム１１０に入力した位置情報付画像２から、ランドマークの推測に必要な特徴量を抽出する。画像特徴抽出部１１２で抽出する特徴量は、例えば、画像に付与されている位置情報（緯度、経度）や、画像が静止画である場合、色情報などがある。
【００３８】
撮影対象ランドマーク推測部１１１は、画像特徴抽出部１１２で抽出された画像の特徴と、ランドマーク情報学習部１０によって得られた情報とを照合する。これにより、各画像の撮影対象となっているランドマークの名称を推測する。
【００３９】
画像分類用メタ情報付与部１１３は、撮影対象ランドマーク推測部１１１によって得られた各画像に対するランドマーク推測結果に基づいて、画像を分類および検索するためのめた情報を付与する。
【００４０】
画像データベース１１５は、ユーザのカメラ付き携帯端末１から画像検索システム１１０に入力された位置情報付画像２、および各画像に対するメタ情報を格納する。
【００４１】
画像分類・検索インタフェース１１４は、画像分類用メタ情報付与部１１３において付与されたメタ情報と、例えば、画像の撮影日時などの画像関連情報に基づいて、ユーザのカメラ付き携帯端末１から入力された位置情報付画像２を分類したり、ユーザが希望する画像にすばやくアクセスするための検索を行なったりするための画面をユーザに提示する。
【００４２】
図２は、ランドマーク情報学習部１０の概略構成を示すブロック図である。図２に示すように、ランドマーク情報学習部１０は、位置情報付画像収集部１２０、位置情報クラスタリング部１１、位置情報付画像クラスタデータベース１１ｂ、ランドマーク候補情報収集部１２、ランドマーク関連画像収集部１３、およびランドマーク関連画像データベース１３ａから構成されている。
【００４３】
位置情報付画像収集部１２０は、ＷＥＢ１００を介して、位置情報付画像共有ＷＥＢサイト１２１などで公開されている位置情報付画像を収集する。
【００４４】
位置情報クラスタリング部１１は、位置情報付画像収集部１２０によって収集された画像の位置情報に基づいて、全てのデータをクラスタリングする処理を行なう。クラスタリングの手法としては、例えば、ＤＢＳＣＡＮなどのアルゴリズムを採用することが望ましいが、他のクラスタリング手法の適用も可能とする。クラスタリングにより、観光名所などのＰＯＩ（Point of Interest）を自動的に抽出する。そして、抽出したＰＯＩを位置情報付画像クラスタデータベース１１ｂに格納する。
【００４５】
ランドマーク候補情報収集部１２は、位置情報クラスタリング部１１によって得られたＰＯＩの場所と範囲に基づいて、各ＰＯＩに関連するランドマークの情報を収集する。ランドマーク候補の収集は、個別のクラスタの位置や領域の情報を元に、当該クラスタの範囲内に位置するランドマークの情報を収集することによって行なう。具体的な方法としては、地図情報を参照する他、ＷＥＢ１００上で公開されている検索ＡＰＩ１０１を利用する方法が挙げられる。
【００４６】
なお、以降の説明において、「ランドマーク」とは、いわゆるランドマーク、すなわち、その場所を象徴する建造物や地理名称のみを表す語句ではなく、住所・番地以外に、地図上に記載される全ての情報を示すこととする。
【００４７】
ランドマーク関連画像収集部１３は、ランドマーク候補情報収集部１２によって得られた、個々のクラスタに対するランドマーク候補群に関連する画像のデータを収集する処理を行なう。具体的には、ＷＥＢ１００上の画像検索ＡＰＩ１０２を利用することができる。さらに、得られた画像のデータについて、色情報など、後のランドマーク推測処理で利用する特徴量を抽出し、ランドマーク関連画像データベース１３ａに格納する。
【００４８】
次に、本実施形態に係る画像検索システムの動作について説明する。本実施形態の動作は、大きく分けると、「ランドマーク情報学習処理」と、「ユーザ画像インデキシング処理」の２つの処理に大別される。「ランドマーク情報学習処理」は、ユーザから与えられた画像の撮影対象ランドマークを推測するための情報を、事前に収集・生成する処理である。一方の「ユーザ画像インデキシング処理」は、ユーザから与えられた全ての画像に対応するランドマーク情報を推測し、検索・分類用のメタ情報として画像に付与する処理である。
【００４９】
図３は、ランドマーク情報学習処理を示すフローチャートである。まず、位置情報付画像収集処理では、位置情報が付与された画像を収集する（ステップＳ１）。この処理において、収集する対象となる画像の位置情報の範囲を、予め指定することとする。例えば、本発明のランドマーク推測範囲が日本国内である場合、収集する画像の位置情報（緯度、経度）を、日本国内に限定する。
【００５０】
次に、位置情報付画像クラスタリング処理では、収集された全ての位置情報付画像を対象としたクラスタリング処理を行なう（ステップＳ２）。クラスタリングは、各画像に付与されている位置情報に基づいて行なうこととする。この処理の結果、複数個のクラスタが得られる。なお、この処理では、得られたクラスタを全て分析対象としても良いが、例えば、所属する画像の数に基づいて、選択的に分析の対象とするクラスタを絞り込んでも良い。また、以下の文献において提案されているＤＢＳＣＡＮ手法を利用することにより、画像の分布密度が高いクラスタのみを選択する方法を適用しても良い。ＤＢＳＣＡＮアルゴリズムは、「M. Ester, H.-P. Kriegel, J. Sander, and X. Xu,“A density-based algorithm for discovering clusters in large spatial databases with noise”, in Proceedings from 2nd International Conference on Knowledge Discovery and Data Mining, 1996, pp. 226−230.」に開示されている。なお、本発明は、他のクラスタリング手法の適用も可能である。
【００５１】
すべてのクラスタの処理が終了したかどうかを判断し（ステップＳ３）、すべてのクラスタの処理が終了した場合は、終了する。一方、すべてのクラスタの処理が終了していない場合は、ステップＳ４へ遷移する。
【００５２】
次に、クラスタ関連ランドマーク候補収集処理（ステップＳ４）において、上記の処理によって得られた全てのクラスタの近辺に位置するランドマークの情報を収集する。本処理では、前述の通り、地図情報の参照や、ＷＥＢ上で公開されている地図検索ＡＰＩなどを利用するが、検索のために必要な条件、すなわち、位置情報と検索範囲は、例えば、クラスタの重心を算出し、同クラスタに属する画像のうち、最も重心から離れた位置に分布する画像の距離を検索範囲とする方法などを適用することができる。
【００５３】
次に、クラスタの全ランドマーク候補を収集したかどうかを判断し（ステップＳ５）、クラスタの全ランドマーク候補を収集していない場合は、ステップＳ６へ遷移し、クラスタの全ランドマーク候補を収集した場合は、ステップＳ３へ遷移する。
【００５４】
次に、ランドマーク関連画像収集処理（ステップＳ６）において、上記の処理で得られたクラスタに対するランドマーク候補のそれぞれに関連する画像を、ＷＥＢ上から収集する。本処理では、前述の通り、ＷＥＢ上に公開されている画像検索ＡＰＩを利用する。具体的には、各ランドマーク候補の名称を検索クエリとして、関連する画像を収集する。また、ランドマークの名称によっては、検索結果が発散する可能性があるため、例えば、当該クラスタの位置から得られる住所情報などを検索クエリに追加する方法などを採用することも可能とする。
【００５５】
上記の処理の結果として、各クラスタに対し、複数（１件以上）のランドマーク候補が対応付けられ、さらに、各ランドマーク候補に対し、複数の画像データが得られることとなる。
【００５６】
次に、ランドマーク関連画像特徴抽出処理（ステップＳ７）では、各ランドマークに関連する画像から、ランドマークの推測に利用するための特徴を抽出する。本処理において抽出する特徴量については、例えば、色情報、テクスチャ、エッジなどの特徴量があげられる。この処理を、全てのランドマークに関連する全ての画像に対して行なう。その後、ステップＳ５に遷移する。
【００５７】
なお、上記の説明では、ランドマーク情報学習処理において、ランドマーク情報を推測するための参照用情報を収集するため、位置情報付画像収集処理を一度実行する処理フローになっているが、本処理を、一定期間ごとに実行してもよい。これにより、Ｗｅｂ上の情報の変化に合わせたランドマーク推測の実現が可能になる。この処理を適用することにより、例えば、新たなランドマークが建設された場合でも、その情報をすばやくランドマーク推測結果に反映させることができる。
【００５８】
図４は、ユーザ画像インデキシング処理を示すフローチャートである。本処理では、まず、処理対象の画像に付与されている位置情報を抽出する位置情報抽出処理を行なう（ステップＳ１０）。次に、画像特徴抽出処理により、画像自体の特徴を抽出する（ステップＳ１１）。この処理で抽出する特徴量は、上述したランドマーク情報学習処理において抽出される特徴量と同じものとする。
【００５９】
次に、上記の各処理によって得られた画像の位置情報と特徴量とに基づいて、当該画像に対するランドマーク推測処理を行なう（ステップＳ１１）。まず、当該画像に関連する位置情報クラスタを選択する。具体的には、当該画像から抽出された位置情報と、上述したランドマーク情報学習処理において得られた位置情報クラスタとの距離を算出し、最も距離の近いクラスタを選択する方法や、予め定められた閾値以下のクラスタを全て選択するなどの方法を適用する。そして、当該画像に対するランドマーク推測処理を行なう。以下、本処理について具体的に説明する。
【００６０】
ここで、当該画像に対し、選択された位置情報クラスタをＣとする。クラスタＣには、同クラスタに属する複数の画像データと、上記のクラスタ関連ランドマーク候補収集処理によって得られた複数のランドマーク候補がそれぞれ対応付けられている。以下、クエリ画像をＱｉｍａｇｅ、クラスタＣに対するランドマーク候補群をＣｌａｎｄｍａｒｋと示す。
【００６１】
【数１】
ただし、ＬＣｘはＣｌａｎｄｍａｒｋに属するランドマーク候補をそれぞれ示す。Ｃｌａｎｄｍａｒｋに属する個々のランドマークＬＣｘには、上記ランドマーク関連画像収集処理によって収集された画像群が対応付けられている。以下、ランドマークＬＣｘに対する関連画像群を、
Ｌｉｍａｇｅ，Ｃｘと示す。
【００６２】
【数２】
次に、Ｑｉｍａｇｅと、Ｃｌａｎｄｍａｒｋに属する個々のランドマークに対する関連画像群Ｌｉｍａｇｅ，Ｃｘのそれぞれに属する画像からの特徴抽出を行なう。画像から抽出する特徴は、カラーヒストグラムやテクスチャ情報など、ベクトル形式のものを想定する。画像ＩＣｉから抽出する特徴を次式で表わす。
【００６３】
【数３】
このようにして、クラスタＣに対するランドマーク候補のそれぞれに対応付けされた画像群から抽出された特徴を元に、Ｑｉｍａｇｅと個々のランドマーク候補ＬＣｘとの間の類似度Ｓｉｍ（Ｑｉｍａｇｅ，ＬＣｘ）を算出し、例えば、Ｑｉｍａｇｅとの類似度が最も高いランドマーク候補ＬＣｘを、クエリ画像の撮影対象物として選択する。また、予め定められた閾値を上回る類似度を得たランドマーク候補を全て当該画像に関連するランドマークとして選択する方法を適用する。
【００６４】
次に、当該画像に対するランドマーク推測結果を、当該画像に対するメタ情報として付与する処理を行なう（ステップＳ１４）。付与されたメタ情報は、画像自体の情報と共に、画像データベース１１５に格納する。次に、全ての画像についての上記各処理が終了したかどうかを判断し（ステップＳ１５）、終了していない場合は、ステップＳ１０へ遷移し、終了した場合は、すべての処理を終了する。
【００６５】
次に、図１で示した画像分類・検索インタフェース１１４について説明する。図５は、本実施形態における画像分類結果を閲覧するためのインタフェースの一例を示す図である。図５では、ユーザの画像を表わすサムネール画像を、分類結果に従って表示している。画面上部のタブ内に記載されている「○○○ヒルズ」、「○×タワー」、「△△美術館」は、それぞれ、ユーザ画像に対するメタ情報として、ユーザ画像インデキシング処理によって付与されたランドマークの名称を表わしている。ユーザは、これらのタブをクリックすることにより、選択したタブに該当するメタ情報が付与された画像を閲覧することができる。
【００６６】
図６は、検索対象となる画像のサムネール画像を示す図である。図６において、画像上部の検索ボタンをクリックすることにより、ユーザが検索条件を入力するための画面を表示する。図７は、検索条件入力画面を示す図である。図７に示すように、検索条件の例として、画像の撮影日と、撮影場所の２つの項目がある。このうち、撮影場所については、プルダウンメニュー形式で、ユーザが検索したい画像に付与されているメタ情報（ランドマーク名称）を選択する。各条件の入力・選択が完了した後、「検索実行」ボタンをクリックすることにより、図６に示すような画面において、ユーザが指定した検索条件に合致する画像を閲覧することが可能となる。
【００６７】
なお、以上の説明では、撮影日と撮影場所を検索条件としたインタフェースを示したが、これに時刻を加えても良い。さらに、それ以外の検索条件を利用した複合的な画像検索条件の入力も可能である。また、画像に付与され、検索条件となり得るメタ情報として、上述したランドマークの名称以外にも、例えば、都道府県や市区町村の名称なども利用することができる。
【００６８】
以上説明した本発明の特徴的な動作は、コンピュータにプログラムを実行させることによって実現される。すなわち、本発明の画像検索プログラムは、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索プログラムであって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築する処理と、ユーザ端末から入力された位置情報付の画像の特徴情報を抽出する処理と、前記抽出された画像の特徴情報と、前記インターネット上に掲載されている画像から取得した、分類対象となるランドマークに関連する情報とを照合し、前記ユーザ端末から入力された位置情報付の画像に含まれるランドマークの名称を推測する処理と、前記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する処理と、前記ユーザ端末から入力された位置情報付の画像および前記メタ情報が付与されたランドマークの名称を画像データベースに格納する処理と、の一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
【００６９】
また、本発明の画像検索プログラムは、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する処理と、前記画像データベースに格納されている情報を検索する処理と、をさらに含むことを特徴としている。
【００７０】
また、本発明の画像検索プログラムは、インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、をさらに含むことを特徴としている。
【００７１】
本発明を実施することによって、新しいビジネスモデルを実現することが可能である。すなわち、携帯端末の通信インタフェースを介して、ユーザが画像をサーバ装置にアップロードし、サーバ装置がアップロードされた画像を整理し、整理された画像をユーザの検索指示に応じて提供するというサービスを実現することが可能となる。
【符号の説明】
【００７２】
１０ ランドマーク情報学習部
１１ 位置情報クラスタリング部
１１ｂ 位置情報付画像クラスタデータベース
１２ ランドマーク候補情報収集部
１３ ランドマーク関連画像収集部
１３ａ ランドマーク関連画像データベース
１１０ 画像検索システム
１１１ 撮影対象ランドマーク推測部
１１２ 画像特徴抽出部
１１３ 画像分類用メタ情報付与部
１１４ 画像分類・検索インタフェース
１１５ 画像データベース
１２０ 位置情報付画像収集部
【技術分野】
【０００１】
本発明は、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索システム、画像検索プログラムおよびサーバ装置に関する。
【背景技術】
【０００２】
従来から、ユーザが撮影した写真（画像）を整理する技術が知られている。例えば、ユーザが写真を撮影したイベント毎に、フォルダを作成し、ユーザが写真を整理するための情報を付与するソフトウェアがある。また、撮影日時の順番に写真をソートする技術も知られている。
【０００３】
また、顔認識技術を利用した写真整理手法がある。これは、写真に写っている人物の顔を認識することにより、各写真に写っている人物を特定する情報を付与する。この技術では、写真を整理・検索する際に、ユーザが検索を希望する人物名を利用することができる（特許文献１）。
【０００４】
また、撮影場所を利用した写真整理手法がある。これは、ユーザが写真を撮影する際に使用するディジタルカメラまたはカメラ付き携帯電話機のＧＰＳ（Global Positioning System）測位機能を利用することにより、その写真の撮影場所を特定する情報（緯度・経度情報）を付与する。このＧＰＳ情報を利用した写真整理技術としては、以下のものがあげられる。
（１）地図上に写真を配置するもの
写真整理ソフトや、ＷＥＢ（World-Wide Web）上で写真を共有するサービスで、地図上に写真を配置するものがある。
（２）撮影場所の地名を利用して写真整理を行なうもの
【０００５】
写真に付与されている位置情報と、地図を照合することにより、例えば、撮影場所の地名に基づいて写真を整理するソフトウェアがある（特許文献２、特許文献３）。また、例えば、観光名所などの特定の場所に、その場所での撮影対象物に関連する情報を発信する装置を設置し、その装置が発信する情報をディジタルカメラで記録し、ユーザが後で行なう写真整理に利用する技術がある（特許文献４、特許文献５）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１７４３０８号公報
【特許文献２】特開２００５−０３７９９２号公報
【特許文献３】特開２００５−１８９９０５号公報
【特許文献４】特開２００４−２２１７５３号公報
【特許文献５】特開２００５−２１７４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ユーザが写真を撮影したイベント毎に、フォルダを作成し、ユーザが写真を整理するための情報を付与する技術では、ユーザが手間をかけて写真を整理するためのフォルダを作成する必要があり、ユーザの負担が大きいという問題がある。また、撮影日時の順番に写真をソートする技術では、撮影日時のみで整理するため、写真の中身、すなわち、撮影対象物に基づく写真の整理や検索は困難である。
【０００８】
また、顔認識技術を利用した写真整理手法では、人物が移っている写真のみが整理・検索の対象となるため、人物以外のものが写っている写真について、人物以外のもので整理・検索することは困難である。
【０００９】
また、上記従来の地図上に写真を配置する技術では、地図上に写真を配置するだけであり、特定の写真を探す場合には利便性が低い。また、撮影場所の地名を利用して写真整理を行なう技術（特許文献２および特許文献３）は、写真を整理する場合、地図上に記載されている情報のみを利用するものであるため、例えば、距離が近い場所で異なる対象物を撮影した写真を細かく整理することが容易ではない。さらに、特許文献４および特許文献５記載の技術では、細かい撮影対象物に基づく写真の整理が可能であるが、撮影場所が限定されてしまうこと、および撮影場所で発信されている情報を受信して写真と一緒に記録する処理を行なう機能がディジタルカメラに搭載されていなければならないことから、改善の余地がある。
【００１０】
本発明は、このような事情に鑑みてなされたものであり、ランドマークの名称などのメタ情報に基づいて画像の分類および検索を行なうことができ、ユーザが撮影した画像の整理および検索の利便性を高めることができる画像検索システム、画像検索プログラムおよびサーバ装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の画像検索システムは、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索システムであって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、ユーザ端末から入力された位置情報付画像の特徴情報を抽出する画像特徴抽出部と、前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、を備えることを特徴としている。
【００１２】
このように、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。例えば、ユーザは、位置情報付き画像を撮影し、システムに出力するだけで、撮影対象物に関する情報を検索することができるので、画像検索の利便性を向上させることが可能となる。
【００１３】
（２）また、本発明の画像検索システムは、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースをさらに備えることを特徴としている。
【００１４】
このように、画像データベースに格納されているランドマークの名称に付与されているメタ情報と、ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、ユーザ端末から入力された位置情報付画像を分類し、また、画像データベースに格納されている情報を検索するので、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
【００１５】
（３）また、本発明の画像検索システムにおいて、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、前記抽出された位置情報付クラスタを格納するクラスタデータベースと、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴としている。
【００１６】
このように、収集された位置情報付画像群から、位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、抽出された位置情報付クラスタを格納し、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するので、公開されている画像の中から、ユーザにとって意味のある画像を抽出し、その画像に含まれている対象物を推測することができ、その結果、画像検索の利便性を向上させることができる。
【００１７】
（４）また、本発明の検索システムにおいて、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集し、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、前記抽出された位置情報付クラスタを格納し、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴としている。
【００１８】
このように、上記の各構成要素における処理を一定期間毎に実行するので、インターネット上に掲載されている画像の変化・更新に応じたランドマークの推測が可能となる。その結果、例えば、新たなランドマークが建設された場合で、インターネット上に掲載されている情報に更新が発生した場合であっても、その情報をランドマーク推測結果に反映させることが可能となる。
【００１９】
（５）また、本発明の画像検索プログラムは、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索プログラムであって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築する処理と、ユーザ端末から入力された位置情報付画像の特徴情報を抽出する処理と、前記抽出された画像の特徴情報と、前記インターネット上に掲載されている画像から取得した、分類対象となるランドマークに関連する情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する処理と、前記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する処理と、前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を画像データベースに格納する処理と、の一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
【００２０】
このように、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。例えば、ユーザは、位置情報付き画像を撮影し、システムに出力するだけで、撮影対象物に関する情報を検索することができるので、画像検索の利便性を向上させることが可能となる。
【００２１】
（６）また、本発明の画像検索プログラムは、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する処理と、前記画像データベースに格納されている情報を検索する処理と、をさらに含むことを特徴としている。
【００２２】
このように、画像データベースに格納されているランドマークの名称に付与されているメタ情報と、ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、ユーザ端末から入力された位置情報付画像を分類し、また、画像データベースに格納されている情報を検索するので、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
【００２３】
（７）また、本発明の画像検索プログラムは、インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、をさらに含むことを特徴としている。
【００２４】
このように、収集された位置情報付画像群から、位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、抽出された位置情報付クラスタを格納し、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するので、公開されている画像の中から、ユーザにとって意味のある画像を抽出し、その画像に含まれている対象物を推測することができ、その結果、画像検索の利便性を向上させることができる。
【００２５】
（８）また、本発明の画像検索プログラムにおいて、インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、の一連の処理を、一定期間毎に実行することを特徴としている。
【００２６】
このように、上記の各処理を一定期間毎に実行するので、インターネット上に掲載されている画像の変化・更新に応じたランドマークの推測が可能となる。その結果、例えば、新たなランドマークが建設された場合で、インターネット上に掲載されている情報に更新が発生した場合であっても、その情報をランドマーク推測結果に反映させることが可能となる。
【００２７】
（９）また、本発明のサーバ装置は、位置情報付画像を分類して記録し、前記記録された画像を検索するサーバ装置であって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、ユーザ端末から取得した位置情報付画像の特徴情報を抽出する画像特徴抽出部と、前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から取得した位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、前記ユーザ端末から取得した位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から取得した位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から取得した位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースと、を備えることを特徴としている。
【００２８】
このように、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
【００２９】
（１０）また、本発明のサーバ装置において、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、前記抽出された位置情報付クラスタを格納するクラスタデータベースと、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴としている。
【００３０】
このように、収集された位置情報付画像群から、位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、抽出された位置情報付クラスタを格納し、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するので、公開されている画像の中から、ユーザにとって意味のある画像を抽出し、その画像に含まれている対象物を推測することができ、その結果、画像検索の利便性を向上させることができる。
【００３１】
（１１）また、本発明のサーバ装置において、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集し、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、前記抽出された位置情報付クラスタを格納し、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴としている。
【００３２】
このように、上記の各構成要素における処理を一定期間毎に実行するので、インターネット上に掲載されている画像の変化・更新に応じたランドマークの推測が可能となる。その結果、例えば、新たなランドマークが建設された場合で、インターネット上に掲載されている情報に更新が発生した場合であっても、その情報をランドマーク推測結果に反映させることが可能となる。
【発明の効果】
【００３３】
本発明によれば、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
【図面の簡単な説明】
【００３４】
【図１】本実施形態に係る画像検索システムの概略構成を示すブロック図である。
【図２】ランドマーク情報学習部１０の概略構成を示すブロック図である。
【図３】ランドマーク情報学習処理を示すフローチャートである。
【図４】ユーザ画像インデキシング処理を示すフローチャートである。
【図５】本実施形態における画像分類結果を閲覧するためのインタフェースの一例を示す図である。
【図６】検索対象となる画像のサムネール画像を示す図である。
【図７】検索条件入力画面を示す図である。
【発明を実施するための形態】
【００３５】
図１は、本実施形態に係る画像検索システムの概略構成を示すブロック図である。本実施形態では、ユーザが携帯端末１（カメラならびにＧＰＳ測位機能付）で撮影した位置情報付き画像（例えば、ディジタルカメラで撮影した写真）を分類し、検索する例について説明する。図１に示すように、本実施形態に係る画像検索システム１１０は、撮影対象ランドマーク推測部１１１、画像特徴抽出部１１２、画像分類用メタ情報付与部１１３、画像分類・検索インタフェース１１４、および画像データベース１１５から構成される。画像検索システム１１０は、主として、これらの５つの要素から構成されており、さらに、ランドマーク情報学習部１０を備えている。また、これらの各構成要素でサーバ装置を構築することも可能である。
【００３６】
ランドマーク情報学習部１０は、ＷＥＢ１００上から、検索ＡＰＩ（Application Program Interface）１０９を介して、分類対象となるランドマークの名称、場所および関連画像情報を収集し、解析して、ユーザの画像の撮影対象となるランドマークを推測するための情報を生成する。
【００３７】
画像特徴抽出部１１２は、ユーザがカメラ付き携帯端末１から画像検索システム１１０に入力した位置情報付画像２から、ランドマークの推測に必要な特徴量を抽出する。画像特徴抽出部１１２で抽出する特徴量は、例えば、画像に付与されている位置情報（緯度、経度）や、画像が静止画である場合、色情報などがある。
【００３８】
撮影対象ランドマーク推測部１１１は、画像特徴抽出部１１２で抽出された画像の特徴と、ランドマーク情報学習部１０によって得られた情報とを照合する。これにより、各画像の撮影対象となっているランドマークの名称を推測する。
【００３９】
画像分類用メタ情報付与部１１３は、撮影対象ランドマーク推測部１１１によって得られた各画像に対するランドマーク推測結果に基づいて、画像を分類および検索するためのめた情報を付与する。
【００４０】
画像データベース１１５は、ユーザのカメラ付き携帯端末１から画像検索システム１１０に入力された位置情報付画像２、および各画像に対するメタ情報を格納する。
【００４１】
画像分類・検索インタフェース１１４は、画像分類用メタ情報付与部１１３において付与されたメタ情報と、例えば、画像の撮影日時などの画像関連情報に基づいて、ユーザのカメラ付き携帯端末１から入力された位置情報付画像２を分類したり、ユーザが希望する画像にすばやくアクセスするための検索を行なったりするための画面をユーザに提示する。
【００４２】
図２は、ランドマーク情報学習部１０の概略構成を示すブロック図である。図２に示すように、ランドマーク情報学習部１０は、位置情報付画像収集部１２０、位置情報クラスタリング部１１、位置情報付画像クラスタデータベース１１ｂ、ランドマーク候補情報収集部１２、ランドマーク関連画像収集部１３、およびランドマーク関連画像データベース１３ａから構成されている。
【００４３】
位置情報付画像収集部１２０は、ＷＥＢ１００を介して、位置情報付画像共有ＷＥＢサイト１２１などで公開されている位置情報付画像を収集する。
【００４４】
位置情報クラスタリング部１１は、位置情報付画像収集部１２０によって収集された画像の位置情報に基づいて、全てのデータをクラスタリングする処理を行なう。クラスタリングの手法としては、例えば、ＤＢＳＣＡＮなどのアルゴリズムを採用することが望ましいが、他のクラスタリング手法の適用も可能とする。クラスタリングにより、観光名所などのＰＯＩ（Point of Interest）を自動的に抽出する。そして、抽出したＰＯＩを位置情報付画像クラスタデータベース１１ｂに格納する。
【００４５】
ランドマーク候補情報収集部１２は、位置情報クラスタリング部１１によって得られたＰＯＩの場所と範囲に基づいて、各ＰＯＩに関連するランドマークの情報を収集する。ランドマーク候補の収集は、個別のクラスタの位置や領域の情報を元に、当該クラスタの範囲内に位置するランドマークの情報を収集することによって行なう。具体的な方法としては、地図情報を参照する他、ＷＥＢ１００上で公開されている検索ＡＰＩ１０１を利用する方法が挙げられる。
【００４６】
なお、以降の説明において、「ランドマーク」とは、いわゆるランドマーク、すなわち、その場所を象徴する建造物や地理名称のみを表す語句ではなく、住所・番地以外に、地図上に記載される全ての情報を示すこととする。
【００４７】
ランドマーク関連画像収集部１３は、ランドマーク候補情報収集部１２によって得られた、個々のクラスタに対するランドマーク候補群に関連する画像のデータを収集する処理を行なう。具体的には、ＷＥＢ１００上の画像検索ＡＰＩ１０２を利用することができる。さらに、得られた画像のデータについて、色情報など、後のランドマーク推測処理で利用する特徴量を抽出し、ランドマーク関連画像データベース１３ａに格納する。
【００４８】
次に、本実施形態に係る画像検索システムの動作について説明する。本実施形態の動作は、大きく分けると、「ランドマーク情報学習処理」と、「ユーザ画像インデキシング処理」の２つの処理に大別される。「ランドマーク情報学習処理」は、ユーザから与えられた画像の撮影対象ランドマークを推測するための情報を、事前に収集・生成する処理である。一方の「ユーザ画像インデキシング処理」は、ユーザから与えられた全ての画像に対応するランドマーク情報を推測し、検索・分類用のメタ情報として画像に付与する処理である。
【００４９】
図３は、ランドマーク情報学習処理を示すフローチャートである。まず、位置情報付画像収集処理では、位置情報が付与された画像を収集する（ステップＳ１）。この処理において、収集する対象となる画像の位置情報の範囲を、予め指定することとする。例えば、本発明のランドマーク推測範囲が日本国内である場合、収集する画像の位置情報（緯度、経度）を、日本国内に限定する。
【００５０】
次に、位置情報付画像クラスタリング処理では、収集された全ての位置情報付画像を対象としたクラスタリング処理を行なう（ステップＳ２）。クラスタリングは、各画像に付与されている位置情報に基づいて行なうこととする。この処理の結果、複数個のクラスタが得られる。なお、この処理では、得られたクラスタを全て分析対象としても良いが、例えば、所属する画像の数に基づいて、選択的に分析の対象とするクラスタを絞り込んでも良い。また、以下の文献において提案されているＤＢＳＣＡＮ手法を利用することにより、画像の分布密度が高いクラスタのみを選択する方法を適用しても良い。ＤＢＳＣＡＮアルゴリズムは、「M. Ester, H.-P. Kriegel, J. Sander, and X. Xu,“A density-based algorithm for discovering clusters in large spatial databases with noise”, in Proceedings from 2nd International Conference on Knowledge Discovery and Data Mining, 1996, pp. 226−230.」に開示されている。なお、本発明は、他のクラスタリング手法の適用も可能である。
【００５１】
すべてのクラスタの処理が終了したかどうかを判断し（ステップＳ３）、すべてのクラスタの処理が終了した場合は、終了する。一方、すべてのクラスタの処理が終了していない場合は、ステップＳ４へ遷移する。
【００５２】
次に、クラスタ関連ランドマーク候補収集処理（ステップＳ４）において、上記の処理によって得られた全てのクラスタの近辺に位置するランドマークの情報を収集する。本処理では、前述の通り、地図情報の参照や、ＷＥＢ上で公開されている地図検索ＡＰＩなどを利用するが、検索のために必要な条件、すなわち、位置情報と検索範囲は、例えば、クラスタの重心を算出し、同クラスタに属する画像のうち、最も重心から離れた位置に分布する画像の距離を検索範囲とする方法などを適用することができる。
【００５３】
次に、クラスタの全ランドマーク候補を収集したかどうかを判断し（ステップＳ５）、クラスタの全ランドマーク候補を収集していない場合は、ステップＳ６へ遷移し、クラスタの全ランドマーク候補を収集した場合は、ステップＳ３へ遷移する。
【００５４】
次に、ランドマーク関連画像収集処理（ステップＳ６）において、上記の処理で得られたクラスタに対するランドマーク候補のそれぞれに関連する画像を、ＷＥＢ上から収集する。本処理では、前述の通り、ＷＥＢ上に公開されている画像検索ＡＰＩを利用する。具体的には、各ランドマーク候補の名称を検索クエリとして、関連する画像を収集する。また、ランドマークの名称によっては、検索結果が発散する可能性があるため、例えば、当該クラスタの位置から得られる住所情報などを検索クエリに追加する方法などを採用することも可能とする。
【００５５】
上記の処理の結果として、各クラスタに対し、複数（１件以上）のランドマーク候補が対応付けられ、さらに、各ランドマーク候補に対し、複数の画像データが得られることとなる。
【００５６】
次に、ランドマーク関連画像特徴抽出処理（ステップＳ７）では、各ランドマークに関連する画像から、ランドマークの推測に利用するための特徴を抽出する。本処理において抽出する特徴量については、例えば、色情報、テクスチャ、エッジなどの特徴量があげられる。この処理を、全てのランドマークに関連する全ての画像に対して行なう。その後、ステップＳ５に遷移する。
【００５７】
なお、上記の説明では、ランドマーク情報学習処理において、ランドマーク情報を推測するための参照用情報を収集するため、位置情報付画像収集処理を一度実行する処理フローになっているが、本処理を、一定期間ごとに実行してもよい。これにより、Ｗｅｂ上の情報の変化に合わせたランドマーク推測の実現が可能になる。この処理を適用することにより、例えば、新たなランドマークが建設された場合でも、その情報をすばやくランドマーク推測結果に反映させることができる。
【００５８】
図４は、ユーザ画像インデキシング処理を示すフローチャートである。本処理では、まず、処理対象の画像に付与されている位置情報を抽出する位置情報抽出処理を行なう（ステップＳ１０）。次に、画像特徴抽出処理により、画像自体の特徴を抽出する（ステップＳ１１）。この処理で抽出する特徴量は、上述したランドマーク情報学習処理において抽出される特徴量と同じものとする。
【００５９】
次に、上記の各処理によって得られた画像の位置情報と特徴量とに基づいて、当該画像に対するランドマーク推測処理を行なう（ステップＳ１１）。まず、当該画像に関連する位置情報クラスタを選択する。具体的には、当該画像から抽出された位置情報と、上述したランドマーク情報学習処理において得られた位置情報クラスタとの距離を算出し、最も距離の近いクラスタを選択する方法や、予め定められた閾値以下のクラスタを全て選択するなどの方法を適用する。そして、当該画像に対するランドマーク推測処理を行なう。以下、本処理について具体的に説明する。
【００６０】
ここで、当該画像に対し、選択された位置情報クラスタをＣとする。クラスタＣには、同クラスタに属する複数の画像データと、上記のクラスタ関連ランドマーク候補収集処理によって得られた複数のランドマーク候補がそれぞれ対応付けられている。以下、クエリ画像をＱｉｍａｇｅ、クラスタＣに対するランドマーク候補群をＣｌａｎｄｍａｒｋと示す。
【００６１】
【数１】
ただし、ＬＣｘはＣｌａｎｄｍａｒｋに属するランドマーク候補をそれぞれ示す。Ｃｌａｎｄｍａｒｋに属する個々のランドマークＬＣｘには、上記ランドマーク関連画像収集処理によって収集された画像群が対応付けられている。以下、ランドマークＬＣｘに対する関連画像群を、
Ｌｉｍａｇｅ，Ｃｘと示す。
【００６２】
【数２】
次に、Ｑｉｍａｇｅと、Ｃｌａｎｄｍａｒｋに属する個々のランドマークに対する関連画像群Ｌｉｍａｇｅ，Ｃｘのそれぞれに属する画像からの特徴抽出を行なう。画像から抽出する特徴は、カラーヒストグラムやテクスチャ情報など、ベクトル形式のものを想定する。画像ＩＣｉから抽出する特徴を次式で表わす。
【００６３】
【数３】
このようにして、クラスタＣに対するランドマーク候補のそれぞれに対応付けされた画像群から抽出された特徴を元に、Ｑｉｍａｇｅと個々のランドマーク候補ＬＣｘとの間の類似度Ｓｉｍ（Ｑｉｍａｇｅ，ＬＣｘ）を算出し、例えば、Ｑｉｍａｇｅとの類似度が最も高いランドマーク候補ＬＣｘを、クエリ画像の撮影対象物として選択する。また、予め定められた閾値を上回る類似度を得たランドマーク候補を全て当該画像に関連するランドマークとして選択する方法を適用する。
【００６４】
次に、当該画像に対するランドマーク推測結果を、当該画像に対するメタ情報として付与する処理を行なう（ステップＳ１４）。付与されたメタ情報は、画像自体の情報と共に、画像データベース１１５に格納する。次に、全ての画像についての上記各処理が終了したかどうかを判断し（ステップＳ１５）、終了していない場合は、ステップＳ１０へ遷移し、終了した場合は、すべての処理を終了する。
【００６５】
次に、図１で示した画像分類・検索インタフェース１１４について説明する。図５は、本実施形態における画像分類結果を閲覧するためのインタフェースの一例を示す図である。図５では、ユーザの画像を表わすサムネール画像を、分類結果に従って表示している。画面上部のタブ内に記載されている「○○○ヒルズ」、「○×タワー」、「△△美術館」は、それぞれ、ユーザ画像に対するメタ情報として、ユーザ画像インデキシング処理によって付与されたランドマークの名称を表わしている。ユーザは、これらのタブをクリックすることにより、選択したタブに該当するメタ情報が付与された画像を閲覧することができる。
【００６６】
図６は、検索対象となる画像のサムネール画像を示す図である。図６において、画像上部の検索ボタンをクリックすることにより、ユーザが検索条件を入力するための画面を表示する。図７は、検索条件入力画面を示す図である。図７に示すように、検索条件の例として、画像の撮影日と、撮影場所の２つの項目がある。このうち、撮影場所については、プルダウンメニュー形式で、ユーザが検索したい画像に付与されているメタ情報（ランドマーク名称）を選択する。各条件の入力・選択が完了した後、「検索実行」ボタンをクリックすることにより、図６に示すような画面において、ユーザが指定した検索条件に合致する画像を閲覧することが可能となる。
【００６７】
なお、以上の説明では、撮影日と撮影場所を検索条件としたインタフェースを示したが、これに時刻を加えても良い。さらに、それ以外の検索条件を利用した複合的な画像検索条件の入力も可能である。また、画像に付与され、検索条件となり得るメタ情報として、上述したランドマークの名称以外にも、例えば、都道府県や市区町村の名称なども利用することができる。
【００６８】
以上説明した本発明の特徴的な動作は、コンピュータにプログラムを実行させることによって実現される。すなわち、本発明の画像検索プログラムは、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索プログラムであって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築する処理と、ユーザ端末から入力された位置情報付の画像の特徴情報を抽出する処理と、前記抽出された画像の特徴情報と、前記インターネット上に掲載されている画像から取得した、分類対象となるランドマークに関連する情報とを照合し、前記ユーザ端末から入力された位置情報付の画像に含まれるランドマークの名称を推測する処理と、前記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する処理と、前記ユーザ端末から入力された位置情報付の画像および前記メタ情報が付与されたランドマークの名称を画像データベースに格納する処理と、の一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
【００６９】
また、本発明の画像検索プログラムは、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する処理と、前記画像データベースに格納されている情報を検索する処理と、をさらに含むことを特徴としている。
【００７０】
また、本発明の画像検索プログラムは、インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、をさらに含むことを特徴としている。
【００７１】
本発明を実施することによって、新しいビジネスモデルを実現することが可能である。すなわち、携帯端末の通信インタフェースを介して、ユーザが画像をサーバ装置にアップロードし、サーバ装置がアップロードされた画像を整理し、整理された画像をユーザの検索指示に応じて提供するというサービスを実現することが可能となる。
【符号の説明】
【００７２】
１０ ランドマーク情報学習部
１１ 位置情報クラスタリング部
１１ｂ 位置情報付画像クラスタデータベース
１２ ランドマーク候補情報収集部
１３ ランドマーク関連画像収集部
１３ａ ランドマーク関連画像データベース
１１０ 画像検索システム
１１１ 撮影対象ランドマーク推測部
１１２ 画像特徴抽出部
１１３ 画像分類用メタ情報付与部
１１４ 画像分類・検索インタフェース
１１５ 画像データベース
１２０ 位置情報付画像収集部
【特許請求の範囲】
【請求項１】
位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索システムであって、
インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、
ユーザ端末から入力された位置情報付画像の特徴情報を抽出する画像特徴抽出部と、
前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、
前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、
前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、を備えることを特徴とする画像検索システム。
【請求項２】
前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースをさらに備えることを特徴とする請求項１記載の画像検索システム。
【請求項３】
前記ランドマーク情報学習部は、
インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、
前記抽出された位置情報付クラスタを格納するクラスタデータベースと、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、
前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴とする請求項１または請求項２記載の画像検索システム。
【請求項４】
前記ランドマーク情報学習部は、
インターネット上に掲載されている画像から、位置情報付画像を収集し、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、
前記抽出された位置情報付クラスタを格納し、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、
前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴とする請求項３記載の画像検索システム。
【請求項５】
位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索プログラムであって、
インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築する処理と、
ユーザ端末から入力された位置情報付画像の特徴情報を抽出する処理と、
前記抽出された画像の特徴情報と、前記インターネット上に掲載されている画像から取得した、分類対象となるランドマークに関連する情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する処理と、
前記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する処理と、
前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を画像データベースに格納する処理と、の一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴とする画像検索プログラム。
【請求項６】
前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する処理と、
前記画像データベースに格納されている情報を検索する処理と、をさらに含むことを特徴とする請求項５記載の画像検索プログラム。
【請求項７】
インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、
前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、
前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、をさらに含むことを特徴とする請求項５または請求項６記載の画像検索プログラム。
【請求項８】
インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、
前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、
前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、の一連の処理を、一定期間毎に実行することを特徴とする請求項５または請求項６記載の画像検索プログラム。
【請求項９】
位置情報付画像を分類して記録し、前記記録された画像を検索するサーバ装置であって、
インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、
ユーザ端末から取得した位置情報付画像の特徴情報を抽出する画像特徴抽出部と、
前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から取得した位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、
前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、
前記ユーザ端末から取得した位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、
前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から取得した位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から取得した位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースと、を備えることを特徴とするサーバ装置。
【請求項１０】
前記ランドマーク情報学習部は、
インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、
前記抽出された位置情報付クラスタを格納するクラスタデータベースと、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、
前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴とする請求項９記載のサーバ装置。
【請求項１１】
前記ランドマーク情報学習部は、
インターネット上に掲載されている画像から、位置情報付画像を収集し、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、
前記抽出された位置情報付クラスタを格納し、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、
前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴とする請求項１０記載のサーバ装置。
【請求項１】
位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索システムであって、
インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、
ユーザ端末から入力された位置情報付画像の特徴情報を抽出する画像特徴抽出部と、
前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、
前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、
前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、を備えることを特徴とする画像検索システム。
【請求項２】
前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースをさらに備えることを特徴とする請求項１記載の画像検索システム。
【請求項３】
前記ランドマーク情報学習部は、
インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、
前記抽出された位置情報付クラスタを格納するクラスタデータベースと、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、
前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴とする請求項１または請求項２記載の画像検索システム。
【請求項４】
前記ランドマーク情報学習部は、
インターネット上に掲載されている画像から、位置情報付画像を収集し、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、
前記抽出された位置情報付クラスタを格納し、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、
前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴とする請求項３記載の画像検索システム。
【請求項５】
位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索プログラムであって、
インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築する処理と、
ユーザ端末から入力された位置情報付画像の特徴情報を抽出する処理と、
前記抽出された画像の特徴情報と、前記インターネット上に掲載されている画像から取得した、分類対象となるランドマークに関連する情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する処理と、
前記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する処理と、
前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を画像データベースに格納する処理と、の一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴とする画像検索プログラム。
【請求項６】
前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する処理と、
前記画像データベースに格納されている情報を検索する処理と、をさらに含むことを特徴とする請求項５記載の画像検索プログラム。
【請求項７】
インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、
前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、
前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、をさらに含むことを特徴とする請求項５または請求項６記載の画像検索プログラム。
【請求項８】
インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、
前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、
前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、の一連の処理を、一定期間毎に実行することを特徴とする請求項５または請求項６記載の画像検索プログラム。
【請求項９】
位置情報付画像を分類して記録し、前記記録された画像を検索するサーバ装置であって、
インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、
ユーザ端末から取得した位置情報付画像の特徴情報を抽出する画像特徴抽出部と、
前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から取得した位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、
前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、
前記ユーザ端末から取得した位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、
前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から取得した位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から取得した位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースと、を備えることを特徴とするサーバ装置。
【請求項１０】
前記ランドマーク情報学習部は、
インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、
前記抽出された位置情報付クラスタを格納するクラスタデータベースと、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、
前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴とする請求項９記載のサーバ装置。
【請求項１１】
前記ランドマーク情報学習部は、
インターネット上に掲載されている画像から、位置情報付画像を収集し、
前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、
前記抽出された位置情報付クラスタを格納し、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、
前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、
前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴とする請求項１０記載のサーバ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１０１７１（Ｐ２０１１−１０１７１Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５３４５２（Ｐ２００９−１５３４５２）
【出願日】平成２１年６月２９日（２００９．６．２９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２９日（２００９．６．２９）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]