コンテンツ検索システムおよびコンテンツ検索プログラム
【課題】位置情報付き画像コンテンツを撮影し送信するだけで、撮影対象物に関する情報を検索する。
【解決手段】位置情報付き画像に基づいて、画像に関連する情報を検索するコンテンツ検索システム１０であって、ユーザの携帯端末１から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する検索クエリ画像特徴抽出モジュール３と、抽出された特徴情報に基づいて、検索クエリ画像内のランドマークを推測するランドマーク推測モジュール４と、推測されたランドマークに関連する情報をＷｅｂ１００上に掲載されているコンテンツから検索する推測ランドマーク関連情報検索モジュール５と、検索により取得した推測ランドマーク関連情報を、携帯端末１へ出力する推測ランドマーク関連情報提示モジュール６と、を備える。
【解決手段】位置情報付き画像に基づいて、画像に関連する情報を検索するコンテンツ検索システム１０であって、ユーザの携帯端末１から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する検索クエリ画像特徴抽出モジュール３と、抽出された特徴情報に基づいて、検索クエリ画像内のランドマークを推測するランドマーク推測モジュール４と、推測されたランドマークに関連する情報をＷｅｂ１００上に掲載されているコンテンツから検索する推測ランドマーク関連情報検索モジュール５と、検索により取得した推測ランドマーク関連情報を、携帯端末１へ出力する推測ランドマーク関連情報提示モジュール６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置情報付き画像に基づいて、前記画像に関連する情報を検索する技術に関する。
【背景技術】
【０００２】
従来から、位置情報を用いたランドマーク検索の手法が提案されている。例えば、あるインターネット上の地図検索サービスでは、位置情報（緯度・経度、住所）を検索クエリとして、その周辺にあるランドマークの情報を検索する機能が提供されている。
【０００３】
また、携帯電話を利用した情報検索・アクセスとしては次のようなものが知られている。
（１）一般的なテキスト入力による検索
（２）携帯電話機のカメラで撮影した画像を入力とした検索として、「ＱＲコード入力による検索」、「文字ＯＣＲ技術を利用した検索」
【０００４】
また、特許文献１には、携帯電話機における撮影画像内の文字情報を抽出して、クエリとして入力し、検索を行なう技術が開示されている。また、撮影写真の画像と、参照元ＤＢ内画像との比較によって検索を行なう技術が知られている（非特許文献１、非特許文献２）。
【０００５】
また、特許文献２には、位置情報とｃｏｎｔｅｎｔ−ｂａｓｅｄ特徴を統合した検索技術が開示されている。特許文献２では、予め位置情報に基づいて検索対象画像をクラスタリングした後、密度が高いクラスタのみを検索対象として抽出した後に、ｃｏｎｔｅｎｔ−ｂａｓｅｄな画像検索技術を適用する手法を提案している。高密度の画像クラスタを自動的に抽出することにより、Ｐｏｉｎｔｓ−ｏｆ−Ｉｎｔｅｒｅｓｔ（ＰＯＩ）、すなわち、多くのユーザにとって有意な画像のみを検索対象とすることができるため、画像検索システム全体の検索精度の改善が期待される。
【０００６】
また、特許文献３では、特許文献２において、自動的に抽出されたＰＯＩに関連するランドマーク名称等の情報を、Ｗｅｂ上の情報から自動的に推測する手法を提案している。この提案により、抽出されたＰＯＩに関連する画像の撮影対象物の情報を得ることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−４５２７７号公報
【特許文献２】特願２００８−１５６８３０号明細書
【特許文献３】特願２００８−２７５５１４号明細書
【非特許文献】
【０００８】
【非特許文献１】ジェイマジック社「Ａｄｐｈｏｔｏ」 http://www.adphoto.jp/
【非特許文献２】オリンパス社「スティッキーズ」 http://www.olympus.co.jp/jp/news/2006a/nr060629syncj.cfm
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、位置情報を用いたランドマーク検索については、検索条件（例えば、ランドマーク候補が密集している都会）によっては、不要なランドマーク情報が多数出力される可能性が高い。その場合、検索されたランドマーク情報の中から、有意なものを選択する方法がないため、ユーザが自ら対象となるランドマークを選択し、検索クエリとして改めて入力する必要があり、非効率的である。
【００１０】
また、携帯電話機を利用した情報検索・アクセス技術のうち、上記（１）のテキスト検索については、ユーザが検索したい情報（検索クエリ）が、予め分かっていれば有用だが、未知の街なかの建造物など、ユーザにとって名称が不明確なものに関する情報を検索するには不十分である。また、上記（２）の携帯電話機が備えるカメラを入力手段とした検索のうち、ＱＲコード入力については、ＱＲコードの製作者が提示している情報のみにしかアクセスができない。さらに、文字ＯＣＲ技術による検索では、検索クエリとなる文字列が表示されている場面でないと利用することができない。撮影画像と参照元ＤＢとのマッチング技術による検索のうち、「Ａｄｐｈｏｔｏ」については、画像解析結果が大ざっぱであるため、ユーザに詳細な情報を提示することができないという課題がある。また、「スティッキーズ」では、参照元ＤＢに登録されていない画像では検索を行なうことができない。
【００１１】
本発明は、このような事情に鑑みてなされたものであり、位置情報付き画像コンテンツを撮影し送信するだけで、撮影対象物に関する情報を検索することができるコンテンツ検索システムおよびコンテンツ検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のコンテンツ検索システムは、位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索システムであって、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する検索クエリ画像特徴抽出部と、前記抽出された特徴情報に基づいて、前記検索クエリ画像内のランドマークを推測するランドマーク推測部と、前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する推測ランドマーク関連情報検索部と、前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する推測ランドマーク関連情報提示部と、を備えることを特徴としている。
【００１３】
このように、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出し、抽出された特徴情報に基づいて、検索クエリ画像内のランドマークを推測し、推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索するので、位置情報付き画像コンテンツを撮影し、送信するだけで、ランドマークに関する情報を検索することができる。その結果、利用効率が大幅に向上する。
【００１４】
（２）また、本発明のコンテンツ検索システムは、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する位置情報クラスタリング部と、前記抽出された位置情報付きクラスタを格納するクラスタデータベースと、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集するランドマーク関連画像収集部と、前記収集したランドマーク候補コンテンツを格納するランドマーク関連画像データベースと、をさらに備え、前記ランドマーク推測部は、前記抽出された特徴情報と、前記ランドマーク候補コンテンツとの類似度に基づいて、前記検索クエリ画像内のランドマークを推測することを特徴としている。
【００１５】
このように、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、この収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集し、位置情報付きクラスタおよびランドマーク候補コンテンツに基づいて、検索クエリ画像内のランドマークを推測するので、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができる。
【００１６】
（３）また、本発明のコンテンツ検索システムにおいて、前記コンテンツは、画像コンテンツであることを特徴としている。
【００１７】
このように、コンテンツは、画像コンテンツであるので、ユーザは、位置情報付き画像コンテンツを撮影し送信するだけで、撮影対象物に関する情報を検索することができ、画像検索の利便性を向上させることが可能となる。
【００１８】
（４）また、本発明のコンテンツ検索プログラムは、位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索プログラムであって、位置情報クラスタリング部において、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する処理と、前記抽出された位置情報付きクラスタをクラスタデータベースに格納する処理と、ランドマーク候補情報収集部において、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、ランドマーク関連画像収集部において、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集する処理と、前記収集したランドマーク候補コンテンツをランドマーク関連画像データベースに格納する処理と、検索クエリ画像特徴抽出部において、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する処理と、ランドマーク推測部において、前記抽出された特徴情報と、前記位置情報付きクラスタおよび前記ランドマーク候補コンテンツとに基づいて、前記検索クエリ画像内のランドマークを推測する処理と、推測ランドマーク関連情報検索部において、前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する処理と、推測ランドマーク関連情報提示部において、前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する処理と、を含む一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
【００１９】
この構成により、位置情報付き画像コンテンツを撮影し、送信するだけで、ランドマークに関する情報を検索することができる。その結果、利用効率が大幅に向上する。また、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができる。
【発明の効果】
【００２０】
本発明によれば、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出し、抽出された特徴情報に基づいて、検索クエリ画像内のランドマークを推測し、推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索するので、位置情報付き画像コンテンツを撮影し、送信するだけで、ランドマークに関する情報を検索することができる。その結果、利用効率が大幅に向上する。
【図面の簡単な説明】
【００２１】
【図１】本実施形態に係るコンテンツ検索システムの概略構成を示すブロック図である。
【図２】クラスタ関連情報収集処理を示すフローチャートである。
【図３】クエリ画像関連情報検索処理を示すフローチャートである。
【発明を実施するための形態】
【００２２】
図１は、本実施形態に係るコンテンツ検索システムの概略構成を示すブロック図である。本実施形態では、ユーザが携帯端末１（カメラならびにＧＰＳ測位機能付）で撮影した位置情報付きコンテンツを検索クエリとして、ランドマーク（撮影対象物）に関連する情報を検索・提示する。図１に示すように、本実施形態に係るコンテンツ検索システム１０は、検索クエリ画像特徴抽出モジュール３、ランドマーク推測モジュール４、推測ランドマーク関連情報検索モジュール５、推測ランドマーク関連情報提示モジュール６、位置情報クラスタリングモジュール１１、位置情報付きコンテンツデータベース１１ａ、位置情報付きコンテンツクラスタデータベース１１ｂ、ランドマーク候補情報収集モジュール１２、ランドマーク関連画像収集モジュール１３、ランドマーク関連画像データベース１３ａを備えている。
【００２３】
検索クエリ画像特徴抽出モジュール３は、ユーザのカメラ付き携帯端末１から送信された検索クエリ画像２（コンテンツ）から、当該コンテンツの撮影対象物（ランドマーク）を推測するために必要な特徴情報を抽出する処理を行なう。本モジュールで抽出する特徴量は、画像に付与されている位置情報、ならびに、画像のｃｏｎｔｅｎｔ−ｂａｓｅｄ特徴などが挙げられる。
【００２４】
ランドマーク推測モジュール４は、検索クエリ画像特徴抽出モジュール３において抽出された特徴に基づき、検索クエリ画像の撮影対象物（ランドマーク）を推測する処理を行なう。本モジュールの処理内容の詳細については、後述する。
【００２５】
推測ランドマーク関連情報検索モジュール５は、ランドマーク推測モジュール４における推測結果に基づき、推測された撮影対象物に関連する情報をＷｅｂ１００上などから検索する処理を行なう。具体的には、例えば、推測された撮影対象物の名称を検索クエリとして、Ｗｅｂ検索ＡＰＩ１０３に送信し、検索結果を受信するなどの処理を行なうこととする。
【００２６】
推測ランドマーク関連情報提示モジュール６は、推測ランドマーク関連情報検索モジュール５において得られた検索結果を、ユーザに提示する処理を行なう。具体的には、ユーザの携帯端末１の画面上に、撮影対象物の関連情報へのリンクを提示する方法などを適用する。
【００２７】
位置情報クラスタリングモジュール１１は、本システムの分析対象データとなる位置情報付きコンテンツデータベース１１ａに含まれるコンテンツに付与されている位置情報に基づき、全てのデータをクラスタリングする処理を行なう。クラスタリングの手法としては、特許文献２、特許文献３で述べられているＤＢＳＣＡＮなどのアルゴリズムを採用することが望ましいが、他のクラスタリング手法の適用も可能とする。
【００２８】
ランドマーク候補情報収集モジュール１２は、位置情報クラスタリングモジュール１１によって得られた個々のクラスタに関連するランドマーク候補の情報を収集する処理を行なう。ランドマーク候補の収集は、個別のクラスタの位置や領域の情報を元に、当該クラスタの範囲内に位置するランドマークの情報を収集することによって行なう。具体的な方法としては、地図情報を参照する他、Ｗｅｂ１００上で公開されている検索ＡＰＩ１０１を利用する方法が挙げられる。
【００２９】
なお、以降の説明において、「ランドマーク」とは、いわゆるランドマーク、すなわち、その場所を象徴する建造物や地理名称のみを表す語句ではなく、住所・番地以外に、地図上に記載される全ての情報を示すこととする。
【００３０】
ランドマーク関連画像収集モジュール１３は、ランドマーク候補情報収集モジュール１２によって得られた、個々のクラスタに対するランドマーク候補群に関連する画像のデータを収集する処理を行なう。具体的にはＷｅｂ１００上の画像検索ＡＰＩ１０２を利用することができる。得られた画像のデータは、ランドマーク関連画像データベース１３ａに格納する。
【００３１】
次に、本実施形態に係るコンテンツ検索システムの動作について説明する。本実施形態の動作は、大きく分けると、位置情報付きコンテンツのクラスタリングを行ない、各クラスタに関連する情報を収集する「クラスタ関連情報収集処理」と、ユーザから送信されたクエリ画像に関連する情報を検索・提示する「クエリ画像関連情報検索処理」の２つの処理に大別される。
【００３２】
図２は、クラスタ関連情報収集処理を示すフローチャートである。このクラスタ関連情報収集処理では、まず、位置情報付きコンテンツクラスタリング処理（ステップＳ１）において、位置情報付きコンテンツＤＢに格納されている全てのコンテンツを対象に、位置情報に基づくクラスタリング処理を行なう。この処理の結果、複数個のクラスタが得られる。すべてのクラスタの処理が終了したかどうかを判断し（ステップＳ２）、すべてのクラスタの処理が終了した場合は、終了する。一方、すべてのクラスタの処理が終了していない場合は、ステップＳ３へ遷移する。なお、ここの処理では、得られたクラスタを全て分析対象としても良いが、たとえば所属するコンテンツの数に基づいて、選択的に分析の対象とするクラスタを絞り込んでも良い。
【００３３】
次に、クラスタ関連ランドマーク候補収集処理（ステップＳ３）において、上記の処理によって得られた全てのクラスタの近辺に位置するランドマークの情報を収集する。本処理では、前述の通り、地図情報の参照や、Ｗｅｂ上で公開されている地図検索ＡＰＩなどを利用するが、検索のために必要な条件、すなわち、位置情報と検索範囲は、例えば、クラスタの重心を算出し、同クラスタに属する画像のうち、最も重心から離れた位置に分布するコンテンツの距離を検索範囲とする方法などを適用することができる。次に、クラスタの全ランドマーク候補を収集したかどうかを判断し（ステップＳ４）、クラスタの全ランドマーク候補を収集していない場合は、ステップＳ５へ遷移し、クラスタの全ランドマーク候補を収集した場合は、ステップＳ２へ遷移する。
【００３４】
次に、ランドマーク関連画像収集処理（ステップＳ５）において、上記の処理で得られたクラスタに対するランドマーク候補のそれぞれに関連する画像を、Ｗｅｂ上から収集する。本処理では、前述の通り、Ｗｅｂ上に公開されている画像検索ＡＰＩを利用する。具体的には、各ランドマーク候補の名称を検索クエリとして、関連する画像を収集する。また、ランドマークの名称によっては、検索結果が発散する可能性があるため、例えば、当該クラスタの位置から得られる住所情報などを検索クエリに追加する方法などを採用することも可能とする。
【００３５】
上記の処理の結果として、各クラスタに対し、複数（１件以上）のランドマーク候補が対応付けられ、さらに、各ランドマーク候補に対し、複数の画像データが得られることとなる。
【００３６】
図３は、クエリ画像関連情報検索処理を示すフローチャートである。本処理では、まず、クエリ画像から抽出された位置情報に基づき、比較対象となる位置情報クラスタを選択する処理（クエリ画像関連クラスタ選択処理）を行なう（ステップＳ１０）。ここでは、例えば、クエリ画像の位置情報と、全ての位置情報クラスタの重心との距離を算出し、距離が近いクラスタを選択するなどの方法を適用することができる。
【００３７】
次に、クエリ画像・ランドマーク相関関係算出処理（ステップＳ１１）において、選択された各クラスタに対応付けられたランドマーク情報と、クエリ画像間の相関関係を、クエリ画像と、各ランドマーク情報に対応する画像のそれぞれから抽出された特徴を比較することによって算出する。以下、本処理について具体的に説明する。
【００３８】
ここで、選択された位置情報クラスタをＣとする。クラスタＣには、同クラスタに属する複数の画像データと、上記のクラスタ関連ランドマーク候補収集処理によって得られた複数のランドマーク候補がそれぞれ対応付けられている。以下、クエリ画像をＱｉｍａｇｅ、クラスタＣに対するランドマーク候補群をＣｌａｎｄｍａｒｋと示す。
【００３９】
【数１】
ただし、ＬＣｘはＣｌａｎｄｍａｒｋに属するランドマーク候補をそれぞれ示す。Ｃｌａｎｄｍａｒｋに属する個々のランドマークＬＣｘには、上記ランドマーク関連画像収集処理によって収集された画像群が対応付けられている。以下、ランドマークＬＣｘに対する関連画像群を、Ｌｉｍａｇｅ，Ｃｘと示す。
【００４０】
【数２】
次に、Ｑｉｍａｇｅと、Ｃｌａｎｄｍａｒｋに属する個々のランドマークに対する関連画像群Ｌｉｍａｇｅ，Ｃｘのそれぞれに属する画像からの特徴抽出を行なう。画像から抽出する特徴は、カラーヒストグラムやテクスチャ情報など、ベクトル形式のものを想定する。画像ＩＣｉから抽出する特徴を次式で表わす。
【００４１】
【数３】
このようにして、クラスタＣに対するランドマーク候補のそれぞれに対応付けされた画像群から抽出された特徴を元に、クエリ画像撮影対象物選択処理において、Ｑｉｍａｇｅと個々のランドマーク候補ＬＣｘとの間の類似度Ｓｉｍ（Ｑｉｍａｇｅ，ＬＣｘ）を算出し、例えば、Ｑｉｍａｇｅとの類似度が最も高いランドマーク候補ＬＣｘを、クエリ画像の撮影対象物として選択する。
【００４２】
そして、クエリ画像撮影対象物関連情報検索処理において、上記の処理によって選択された撮影対象物の名称を検索クエリとして、Ｗｅｂ検索ＡＰＩなどに送信し、検索結果を収集する処理を行なう。本処理によって、検索された情報を、クエリ画像に対する関連情報としてユーザに提示する。
【００４３】
また、本処理において、推測された撮影対象物の名称が一般名詞などに該当する場合（例えば、「石橋」「正門」など）、その名称をそのまま検索クエリとしてＷｅｂ検索ＡＰＩに送信すると、不要な検索結果が多数収集されるおそれがある。この問題に対処するため、推測された撮影対象物の名称と併せて、撮影時の位置情報から検索される地名（都道府県名、市区町村名、住所番地など）を検索クエリとして利用することによって、より高精度な検索結果を得る手法の適用も可能とする。
【００４４】
なお、上記の位置情報に基づくクラスタ抽出手段において、ＤＢＳＣＡＮアルゴリズムを利用し、高密度なクラスタを抽出する手段を講じても良い。また、ランドマーク（撮影対象物）の推測結果に加え、撮影場所から抽出される地名情報を検索クエリとして情報検索を行なう手段を講じても良い。また、対象コンテンツの撮影対象推測時に、当該コンテンツと、ランドマーク候補に関連するコンテンツのそれぞれから抽出したカラーヒストグラムもしくはテクスチャもしくはその両方の情報間の類似度に基づき、撮影対象物の推測を行なう手段を講じて良い。
【００４５】
以上説明した本発明の特徴的な動作は、コンピュータにプログラムを実行させることによって実現される。すなわち、本発明のコンテンツ検索プログラムは、位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索プログラムであって、位置情報クラスタリング部において、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する処理と、前記抽出された位置情報付きクラスタをクラスタデータベースに格納する処理と、ランドマーク候補情報収集部において、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、ランドマーク関連画像収集部において、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集する処理と、前記収集したランドマーク候補コンテンツをランドマーク関連画像データベースに格納する処理と、検索クエリ画像特徴抽出部において、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する処理と、ランドマーク推測部において、前記抽出された特徴情報と、前記位置情報付きクラスタおよび前記ランドマーク候補コンテンツとに基づいて、前記検索クエリ画像内のランドマークを推測する処理と、推測ランドマーク関連情報検索部において、前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する処理と、推測ランドマーク関連情報提示部において、前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する処理と、を含む一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
【００４６】
この構成により、位置情報付き画像コンテンツを撮影し、送信するだけで、ランドマークに関する情報を検索することができる。その結果、利用効率が大幅に向上する。また、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができる。
【００４７】
以上説明したように、本実施形態によれば、従来の位置情報に基づく検索では、地図検索、検索対象物（ランドマーク）の特定、関連情報検索と、複数のステップが必要であるのに対し、本発明では、位置情報付コンテンツを撮影・送信するだけで、撮影対象物に関する情報を検索できるため、利用効率が大幅に向上する。同様の効果は、一般的なテキストによる検索に対しても主張できる。
【００４８】
また、カメラを入力として検索を行なう従来の検索に対しては、ＱＲコードや文字ＯＣＲに基づく手法では、検索クエリが限定されるのに対し、本発明では、検索クエリは限定されていないため、より幅広い検索機能が提供可能となる。また、参照元ＤＢとのマッチングによる検索については、検索対象範囲が限定されるのに対し、本実施形態では、同じく限定がないため、検索対象物についても、幅広い範囲を対象とした検索が可能となる。
【符号の説明】
【００４９】
１ 携帯端末
２ 検索クエリ画像
３ 検索クエリ画像特徴抽出モジュール
４ ランドマーク推測モジュール
５ 推測ランドマーク関連情報検索モジュール
６ 推測ランドマーク関連情報提示モジュール
１０ コンテンツ検索システム
１１ 位置情報クラスタリングモジュール
１１ａ 位置情報付きコンテンツデータベース
１１ｂ 位置情報付きコンテンツクラスタデータベース
１２ ランドマーク候補情報収集モジュール
１３ ランドマーク関連画像収集モジュール
１３ａ ランドマーク関連画像データベース
【技術分野】
【０００１】
本発明は、位置情報付き画像に基づいて、前記画像に関連する情報を検索する技術に関する。
【背景技術】
【０００２】
従来から、位置情報を用いたランドマーク検索の手法が提案されている。例えば、あるインターネット上の地図検索サービスでは、位置情報（緯度・経度、住所）を検索クエリとして、その周辺にあるランドマークの情報を検索する機能が提供されている。
【０００３】
また、携帯電話を利用した情報検索・アクセスとしては次のようなものが知られている。
（１）一般的なテキスト入力による検索
（２）携帯電話機のカメラで撮影した画像を入力とした検索として、「ＱＲコード入力による検索」、「文字ＯＣＲ技術を利用した検索」
【０００４】
また、特許文献１には、携帯電話機における撮影画像内の文字情報を抽出して、クエリとして入力し、検索を行なう技術が開示されている。また、撮影写真の画像と、参照元ＤＢ内画像との比較によって検索を行なう技術が知られている（非特許文献１、非特許文献２）。
【０００５】
また、特許文献２には、位置情報とｃｏｎｔｅｎｔ−ｂａｓｅｄ特徴を統合した検索技術が開示されている。特許文献２では、予め位置情報に基づいて検索対象画像をクラスタリングした後、密度が高いクラスタのみを検索対象として抽出した後に、ｃｏｎｔｅｎｔ−ｂａｓｅｄな画像検索技術を適用する手法を提案している。高密度の画像クラスタを自動的に抽出することにより、Ｐｏｉｎｔｓ−ｏｆ−Ｉｎｔｅｒｅｓｔ（ＰＯＩ）、すなわち、多くのユーザにとって有意な画像のみを検索対象とすることができるため、画像検索システム全体の検索精度の改善が期待される。
【０００６】
また、特許文献３では、特許文献２において、自動的に抽出されたＰＯＩに関連するランドマーク名称等の情報を、Ｗｅｂ上の情報から自動的に推測する手法を提案している。この提案により、抽出されたＰＯＩに関連する画像の撮影対象物の情報を得ることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−４５２７７号公報
【特許文献２】特願２００８−１５６８３０号明細書
【特許文献３】特願２００８−２７５５１４号明細書
【非特許文献】
【０００８】
【非特許文献１】ジェイマジック社「Ａｄｐｈｏｔｏ」 http://www.adphoto.jp/
【非特許文献２】オリンパス社「スティッキーズ」 http://www.olympus.co.jp/jp/news/2006a/nr060629syncj.cfm
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、位置情報を用いたランドマーク検索については、検索条件（例えば、ランドマーク候補が密集している都会）によっては、不要なランドマーク情報が多数出力される可能性が高い。その場合、検索されたランドマーク情報の中から、有意なものを選択する方法がないため、ユーザが自ら対象となるランドマークを選択し、検索クエリとして改めて入力する必要があり、非効率的である。
【００１０】
また、携帯電話機を利用した情報検索・アクセス技術のうち、上記（１）のテキスト検索については、ユーザが検索したい情報（検索クエリ）が、予め分かっていれば有用だが、未知の街なかの建造物など、ユーザにとって名称が不明確なものに関する情報を検索するには不十分である。また、上記（２）の携帯電話機が備えるカメラを入力手段とした検索のうち、ＱＲコード入力については、ＱＲコードの製作者が提示している情報のみにしかアクセスができない。さらに、文字ＯＣＲ技術による検索では、検索クエリとなる文字列が表示されている場面でないと利用することができない。撮影画像と参照元ＤＢとのマッチング技術による検索のうち、「Ａｄｐｈｏｔｏ」については、画像解析結果が大ざっぱであるため、ユーザに詳細な情報を提示することができないという課題がある。また、「スティッキーズ」では、参照元ＤＢに登録されていない画像では検索を行なうことができない。
【００１１】
本発明は、このような事情に鑑みてなされたものであり、位置情報付き画像コンテンツを撮影し送信するだけで、撮影対象物に関する情報を検索することができるコンテンツ検索システムおよびコンテンツ検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のコンテンツ検索システムは、位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索システムであって、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する検索クエリ画像特徴抽出部と、前記抽出された特徴情報に基づいて、前記検索クエリ画像内のランドマークを推測するランドマーク推測部と、前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する推測ランドマーク関連情報検索部と、前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する推測ランドマーク関連情報提示部と、を備えることを特徴としている。
【００１３】
このように、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出し、抽出された特徴情報に基づいて、検索クエリ画像内のランドマークを推測し、推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索するので、位置情報付き画像コンテンツを撮影し、送信するだけで、ランドマークに関する情報を検索することができる。その結果、利用効率が大幅に向上する。
【００１４】
（２）また、本発明のコンテンツ検索システムは、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する位置情報クラスタリング部と、前記抽出された位置情報付きクラスタを格納するクラスタデータベースと、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集するランドマーク関連画像収集部と、前記収集したランドマーク候補コンテンツを格納するランドマーク関連画像データベースと、をさらに備え、前記ランドマーク推測部は、前記抽出された特徴情報と、前記ランドマーク候補コンテンツとの類似度に基づいて、前記検索クエリ画像内のランドマークを推測することを特徴としている。
【００１５】
このように、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、この収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集し、位置情報付きクラスタおよびランドマーク候補コンテンツに基づいて、検索クエリ画像内のランドマークを推測するので、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができる。
【００１６】
（３）また、本発明のコンテンツ検索システムにおいて、前記コンテンツは、画像コンテンツであることを特徴としている。
【００１７】
このように、コンテンツは、画像コンテンツであるので、ユーザは、位置情報付き画像コンテンツを撮影し送信するだけで、撮影対象物に関する情報を検索することができ、画像検索の利便性を向上させることが可能となる。
【００１８】
（４）また、本発明のコンテンツ検索プログラムは、位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索プログラムであって、位置情報クラスタリング部において、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する処理と、前記抽出された位置情報付きクラスタをクラスタデータベースに格納する処理と、ランドマーク候補情報収集部において、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、ランドマーク関連画像収集部において、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集する処理と、前記収集したランドマーク候補コンテンツをランドマーク関連画像データベースに格納する処理と、検索クエリ画像特徴抽出部において、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する処理と、ランドマーク推測部において、前記抽出された特徴情報と、前記位置情報付きクラスタおよび前記ランドマーク候補コンテンツとに基づいて、前記検索クエリ画像内のランドマークを推測する処理と、推測ランドマーク関連情報検索部において、前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する処理と、推測ランドマーク関連情報提示部において、前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する処理と、を含む一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
【００１９】
この構成により、位置情報付き画像コンテンツを撮影し、送信するだけで、ランドマークに関する情報を検索することができる。その結果、利用効率が大幅に向上する。また、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができる。
【発明の効果】
【００２０】
本発明によれば、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出し、抽出された特徴情報に基づいて、検索クエリ画像内のランドマークを推測し、推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索するので、位置情報付き画像コンテンツを撮影し、送信するだけで、ランドマークに関する情報を検索することができる。その結果、利用効率が大幅に向上する。
【図面の簡単な説明】
【００２１】
【図１】本実施形態に係るコンテンツ検索システムの概略構成を示すブロック図である。
【図２】クラスタ関連情報収集処理を示すフローチャートである。
【図３】クエリ画像関連情報検索処理を示すフローチャートである。
【発明を実施するための形態】
【００２２】
図１は、本実施形態に係るコンテンツ検索システムの概略構成を示すブロック図である。本実施形態では、ユーザが携帯端末１（カメラならびにＧＰＳ測位機能付）で撮影した位置情報付きコンテンツを検索クエリとして、ランドマーク（撮影対象物）に関連する情報を検索・提示する。図１に示すように、本実施形態に係るコンテンツ検索システム１０は、検索クエリ画像特徴抽出モジュール３、ランドマーク推測モジュール４、推測ランドマーク関連情報検索モジュール５、推測ランドマーク関連情報提示モジュール６、位置情報クラスタリングモジュール１１、位置情報付きコンテンツデータベース１１ａ、位置情報付きコンテンツクラスタデータベース１１ｂ、ランドマーク候補情報収集モジュール１２、ランドマーク関連画像収集モジュール１３、ランドマーク関連画像データベース１３ａを備えている。
【００２３】
検索クエリ画像特徴抽出モジュール３は、ユーザのカメラ付き携帯端末１から送信された検索クエリ画像２（コンテンツ）から、当該コンテンツの撮影対象物（ランドマーク）を推測するために必要な特徴情報を抽出する処理を行なう。本モジュールで抽出する特徴量は、画像に付与されている位置情報、ならびに、画像のｃｏｎｔｅｎｔ−ｂａｓｅｄ特徴などが挙げられる。
【００２４】
ランドマーク推測モジュール４は、検索クエリ画像特徴抽出モジュール３において抽出された特徴に基づき、検索クエリ画像の撮影対象物（ランドマーク）を推測する処理を行なう。本モジュールの処理内容の詳細については、後述する。
【００２５】
推測ランドマーク関連情報検索モジュール５は、ランドマーク推測モジュール４における推測結果に基づき、推測された撮影対象物に関連する情報をＷｅｂ１００上などから検索する処理を行なう。具体的には、例えば、推測された撮影対象物の名称を検索クエリとして、Ｗｅｂ検索ＡＰＩ１０３に送信し、検索結果を受信するなどの処理を行なうこととする。
【００２６】
推測ランドマーク関連情報提示モジュール６は、推測ランドマーク関連情報検索モジュール５において得られた検索結果を、ユーザに提示する処理を行なう。具体的には、ユーザの携帯端末１の画面上に、撮影対象物の関連情報へのリンクを提示する方法などを適用する。
【００２７】
位置情報クラスタリングモジュール１１は、本システムの分析対象データとなる位置情報付きコンテンツデータベース１１ａに含まれるコンテンツに付与されている位置情報に基づき、全てのデータをクラスタリングする処理を行なう。クラスタリングの手法としては、特許文献２、特許文献３で述べられているＤＢＳＣＡＮなどのアルゴリズムを採用することが望ましいが、他のクラスタリング手法の適用も可能とする。
【００２８】
ランドマーク候補情報収集モジュール１２は、位置情報クラスタリングモジュール１１によって得られた個々のクラスタに関連するランドマーク候補の情報を収集する処理を行なう。ランドマーク候補の収集は、個別のクラスタの位置や領域の情報を元に、当該クラスタの範囲内に位置するランドマークの情報を収集することによって行なう。具体的な方法としては、地図情報を参照する他、Ｗｅｂ１００上で公開されている検索ＡＰＩ１０１を利用する方法が挙げられる。
【００２９】
なお、以降の説明において、「ランドマーク」とは、いわゆるランドマーク、すなわち、その場所を象徴する建造物や地理名称のみを表す語句ではなく、住所・番地以外に、地図上に記載される全ての情報を示すこととする。
【００３０】
ランドマーク関連画像収集モジュール１３は、ランドマーク候補情報収集モジュール１２によって得られた、個々のクラスタに対するランドマーク候補群に関連する画像のデータを収集する処理を行なう。具体的にはＷｅｂ１００上の画像検索ＡＰＩ１０２を利用することができる。得られた画像のデータは、ランドマーク関連画像データベース１３ａに格納する。
【００３１】
次に、本実施形態に係るコンテンツ検索システムの動作について説明する。本実施形態の動作は、大きく分けると、位置情報付きコンテンツのクラスタリングを行ない、各クラスタに関連する情報を収集する「クラスタ関連情報収集処理」と、ユーザから送信されたクエリ画像に関連する情報を検索・提示する「クエリ画像関連情報検索処理」の２つの処理に大別される。
【００３２】
図２は、クラスタ関連情報収集処理を示すフローチャートである。このクラスタ関連情報収集処理では、まず、位置情報付きコンテンツクラスタリング処理（ステップＳ１）において、位置情報付きコンテンツＤＢに格納されている全てのコンテンツを対象に、位置情報に基づくクラスタリング処理を行なう。この処理の結果、複数個のクラスタが得られる。すべてのクラスタの処理が終了したかどうかを判断し（ステップＳ２）、すべてのクラスタの処理が終了した場合は、終了する。一方、すべてのクラスタの処理が終了していない場合は、ステップＳ３へ遷移する。なお、ここの処理では、得られたクラスタを全て分析対象としても良いが、たとえば所属するコンテンツの数に基づいて、選択的に分析の対象とするクラスタを絞り込んでも良い。
【００３３】
次に、クラスタ関連ランドマーク候補収集処理（ステップＳ３）において、上記の処理によって得られた全てのクラスタの近辺に位置するランドマークの情報を収集する。本処理では、前述の通り、地図情報の参照や、Ｗｅｂ上で公開されている地図検索ＡＰＩなどを利用するが、検索のために必要な条件、すなわち、位置情報と検索範囲は、例えば、クラスタの重心を算出し、同クラスタに属する画像のうち、最も重心から離れた位置に分布するコンテンツの距離を検索範囲とする方法などを適用することができる。次に、クラスタの全ランドマーク候補を収集したかどうかを判断し（ステップＳ４）、クラスタの全ランドマーク候補を収集していない場合は、ステップＳ５へ遷移し、クラスタの全ランドマーク候補を収集した場合は、ステップＳ２へ遷移する。
【００３４】
次に、ランドマーク関連画像収集処理（ステップＳ５）において、上記の処理で得られたクラスタに対するランドマーク候補のそれぞれに関連する画像を、Ｗｅｂ上から収集する。本処理では、前述の通り、Ｗｅｂ上に公開されている画像検索ＡＰＩを利用する。具体的には、各ランドマーク候補の名称を検索クエリとして、関連する画像を収集する。また、ランドマークの名称によっては、検索結果が発散する可能性があるため、例えば、当該クラスタの位置から得られる住所情報などを検索クエリに追加する方法などを採用することも可能とする。
【００３５】
上記の処理の結果として、各クラスタに対し、複数（１件以上）のランドマーク候補が対応付けられ、さらに、各ランドマーク候補に対し、複数の画像データが得られることとなる。
【００３６】
図３は、クエリ画像関連情報検索処理を示すフローチャートである。本処理では、まず、クエリ画像から抽出された位置情報に基づき、比較対象となる位置情報クラスタを選択する処理（クエリ画像関連クラスタ選択処理）を行なう（ステップＳ１０）。ここでは、例えば、クエリ画像の位置情報と、全ての位置情報クラスタの重心との距離を算出し、距離が近いクラスタを選択するなどの方法を適用することができる。
【００３７】
次に、クエリ画像・ランドマーク相関関係算出処理（ステップＳ１１）において、選択された各クラスタに対応付けられたランドマーク情報と、クエリ画像間の相関関係を、クエリ画像と、各ランドマーク情報に対応する画像のそれぞれから抽出された特徴を比較することによって算出する。以下、本処理について具体的に説明する。
【００３８】
ここで、選択された位置情報クラスタをＣとする。クラスタＣには、同クラスタに属する複数の画像データと、上記のクラスタ関連ランドマーク候補収集処理によって得られた複数のランドマーク候補がそれぞれ対応付けられている。以下、クエリ画像をＱｉｍａｇｅ、クラスタＣに対するランドマーク候補群をＣｌａｎｄｍａｒｋと示す。
【００３９】
【数１】
ただし、ＬＣｘはＣｌａｎｄｍａｒｋに属するランドマーク候補をそれぞれ示す。Ｃｌａｎｄｍａｒｋに属する個々のランドマークＬＣｘには、上記ランドマーク関連画像収集処理によって収集された画像群が対応付けられている。以下、ランドマークＬＣｘに対する関連画像群を、Ｌｉｍａｇｅ，Ｃｘと示す。
【００４０】
【数２】
次に、Ｑｉｍａｇｅと、Ｃｌａｎｄｍａｒｋに属する個々のランドマークに対する関連画像群Ｌｉｍａｇｅ，Ｃｘのそれぞれに属する画像からの特徴抽出を行なう。画像から抽出する特徴は、カラーヒストグラムやテクスチャ情報など、ベクトル形式のものを想定する。画像ＩＣｉから抽出する特徴を次式で表わす。
【００４１】
【数３】
このようにして、クラスタＣに対するランドマーク候補のそれぞれに対応付けされた画像群から抽出された特徴を元に、クエリ画像撮影対象物選択処理において、Ｑｉｍａｇｅと個々のランドマーク候補ＬＣｘとの間の類似度Ｓｉｍ（Ｑｉｍａｇｅ，ＬＣｘ）を算出し、例えば、Ｑｉｍａｇｅとの類似度が最も高いランドマーク候補ＬＣｘを、クエリ画像の撮影対象物として選択する。
【００４２】
そして、クエリ画像撮影対象物関連情報検索処理において、上記の処理によって選択された撮影対象物の名称を検索クエリとして、Ｗｅｂ検索ＡＰＩなどに送信し、検索結果を収集する処理を行なう。本処理によって、検索された情報を、クエリ画像に対する関連情報としてユーザに提示する。
【００４３】
また、本処理において、推測された撮影対象物の名称が一般名詞などに該当する場合（例えば、「石橋」「正門」など）、その名称をそのまま検索クエリとしてＷｅｂ検索ＡＰＩに送信すると、不要な検索結果が多数収集されるおそれがある。この問題に対処するため、推測された撮影対象物の名称と併せて、撮影時の位置情報から検索される地名（都道府県名、市区町村名、住所番地など）を検索クエリとして利用することによって、より高精度な検索結果を得る手法の適用も可能とする。
【００４４】
なお、上記の位置情報に基づくクラスタ抽出手段において、ＤＢＳＣＡＮアルゴリズムを利用し、高密度なクラスタを抽出する手段を講じても良い。また、ランドマーク（撮影対象物）の推測結果に加え、撮影場所から抽出される地名情報を検索クエリとして情報検索を行なう手段を講じても良い。また、対象コンテンツの撮影対象推測時に、当該コンテンツと、ランドマーク候補に関連するコンテンツのそれぞれから抽出したカラーヒストグラムもしくはテクスチャもしくはその両方の情報間の類似度に基づき、撮影対象物の推測を行なう手段を講じて良い。
【００４５】
以上説明した本発明の特徴的な動作は、コンピュータにプログラムを実行させることによって実現される。すなわち、本発明のコンテンツ検索プログラムは、位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索プログラムであって、位置情報クラスタリング部において、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する処理と、前記抽出された位置情報付きクラスタをクラスタデータベースに格納する処理と、ランドマーク候補情報収集部において、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、ランドマーク関連画像収集部において、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集する処理と、前記収集したランドマーク候補コンテンツをランドマーク関連画像データベースに格納する処理と、検索クエリ画像特徴抽出部において、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する処理と、ランドマーク推測部において、前記抽出された特徴情報と、前記位置情報付きクラスタおよび前記ランドマーク候補コンテンツとに基づいて、前記検索クエリ画像内のランドマークを推測する処理と、推測ランドマーク関連情報検索部において、前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する処理と、推測ランドマーク関連情報提示部において、前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する処理と、を含む一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
【００４６】
この構成により、位置情報付き画像コンテンツを撮影し、送信するだけで、ランドマークに関する情報を検索することができる。その結果、利用効率が大幅に向上する。また、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができる。
【００４７】
以上説明したように、本実施形態によれば、従来の位置情報に基づく検索では、地図検索、検索対象物（ランドマーク）の特定、関連情報検索と、複数のステップが必要であるのに対し、本発明では、位置情報付コンテンツを撮影・送信するだけで、撮影対象物に関する情報を検索できるため、利用効率が大幅に向上する。同様の効果は、一般的なテキストによる検索に対しても主張できる。
【００４８】
また、カメラを入力として検索を行なう従来の検索に対しては、ＱＲコードや文字ＯＣＲに基づく手法では、検索クエリが限定されるのに対し、本発明では、検索クエリは限定されていないため、より幅広い検索機能が提供可能となる。また、参照元ＤＢとのマッチングによる検索については、検索対象範囲が限定されるのに対し、本実施形態では、同じく限定がないため、検索対象物についても、幅広い範囲を対象とした検索が可能となる。
【符号の説明】
【００４９】
１ 携帯端末
２ 検索クエリ画像
３ 検索クエリ画像特徴抽出モジュール
４ ランドマーク推測モジュール
５ 推測ランドマーク関連情報検索モジュール
６ 推測ランドマーク関連情報提示モジュール
１０ コンテンツ検索システム
１１ 位置情報クラスタリングモジュール
１１ａ 位置情報付きコンテンツデータベース
１１ｂ 位置情報付きコンテンツクラスタデータベース
１２ ランドマーク候補情報収集モジュール
１３ ランドマーク関連画像収集モジュール
１３ａ ランドマーク関連画像データベース
【特許請求の範囲】
【請求項１】
位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索システムであって、
ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する検索クエリ画像特徴抽出部と、
前記抽出された特徴情報に基づいて、前記検索クエリ画像内のランドマークを推測するランドマーク推測部と、
前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する推測ランドマーク関連情報検索部と、
前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する推測ランドマーク関連情報提示部と、を備えることを特徴とするコンテンツ検索システム。
【請求項２】
地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する位置情報クラスタリング部と、
前記抽出された位置情報付きクラスタを格納するクラスタデータベースと、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、
前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集するランドマーク関連画像収集部と、
前記収集したランドマーク候補コンテンツを格納するランドマーク関連画像データベースと、をさらに備え、
前記ランドマーク推測部は、前記抽出された特徴情報と、前記ランドマーク候補コンテンツとの類似度に基づいて、前記検索クエリ画像内のランドマークを推測することを特徴とする請求項１記載のコンテンツ検索システム。
【請求項３】
前記コンテンツは、画像コンテンツであることを特徴とする請求項１または請求項２記載のコンテンツ検索システム。
【請求項４】
位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索プログラムであって、
位置情報クラスタリング部において、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する処理と、
前記抽出された位置情報付きクラスタをクラスタデータベースに格納する処理と、
ランドマーク候補情報収集部において、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、
ランドマーク関連画像収集部において、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集する処理と、
前記収集したランドマーク候補コンテンツをランドマーク関連画像データベースに格納する処理と、
検索クエリ画像特徴抽出部において、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する処理と、
ランドマーク推測部において、前記抽出された特徴情報と、前記位置情報付きクラスタおよび前記ランドマーク候補コンテンツとに基づいて、前記検索クエリ画像内のランドマークを推測する処理と、
推測ランドマーク関連情報検索部において、前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する処理と、
推測ランドマーク関連情報提示部において、前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する処理と、を含む一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴とするコンテンツ検索プログラム。
【請求項１】
位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索システムであって、
ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する検索クエリ画像特徴抽出部と、
前記抽出された特徴情報に基づいて、前記検索クエリ画像内のランドマークを推測するランドマーク推測部と、
前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する推測ランドマーク関連情報検索部と、
前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する推測ランドマーク関連情報提示部と、を備えることを特徴とするコンテンツ検索システム。
【請求項２】
地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する位置情報クラスタリング部と、
前記抽出された位置情報付きクラスタを格納するクラスタデータベースと、
前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、
前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集するランドマーク関連画像収集部と、
前記収集したランドマーク候補コンテンツを格納するランドマーク関連画像データベースと、をさらに備え、
前記ランドマーク推測部は、前記抽出された特徴情報と、前記ランドマーク候補コンテンツとの類似度に基づいて、前記検索クエリ画像内のランドマークを推測することを特徴とする請求項１記載のコンテンツ検索システム。
【請求項３】
前記コンテンツは、画像コンテンツであることを特徴とする請求項１または請求項２記載のコンテンツ検索システム。
【請求項４】
位置情報付き画像に基づいて、前記画像に関連する情報を検索するコンテンツ検索プログラムであって、
位置情報クラスタリング部において、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、複数のコンテンツからなるクラスタを抽出する処理と、
前記抽出された位置情報付きクラスタをクラスタデータベースに格納する処理と、
ランドマーク候補情報収集部において、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、
ランドマーク関連画像収集部において、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集する処理と、
前記収集したランドマーク候補コンテンツをランドマーク関連画像データベースに格納する処理と、
検索クエリ画像特徴抽出部において、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する処理と、
ランドマーク推測部において、前記抽出された特徴情報と、前記位置情報付きクラスタおよび前記ランドマーク候補コンテンツとに基づいて、前記検索クエリ画像内のランドマークを推測する処理と、
推測ランドマーク関連情報検索部において、前記推測されたランドマークに関連する情報をインターネット上に掲載されているコンテンツから検索する処理と、
推測ランドマーク関連情報提示部において、前記検索により取得した推測ランドマーク関連情報を、前記ユーザ端末へ出力する処理と、を含む一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴とするコンテンツ検索プログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−２２４７４５（Ｐ２０１０−２２４７４５Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−６９７０１（Ｐ２００９−６９７０１）
【出願日】平成２１年３月２３日（２００９．３．２３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２３日（２００９．３．２３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]