画像サーバ、画像検索装置、画像検索プログラム、及び画像検索方法
【課題】画像をクエリとしたときに、検索結果のランキングを迅速に得ることができる画像サーバ、画像検索装置、及び画像検索プログラムを提供する。
【解決手段】複数の画像を記憶する画像記憶手段と、複数の画像の特徴を抽出する特徴抽出手段と、特徴抽出手段により抽出された各画像の特徴を記憶する特徴記憶手段と、各画像に類似する画像を、画像記憶手段内から選択してランキングを行い、事前ランキングを作成する事前ランキング手段と、事前ランキングを記憶する事前ランキング記憶手段と、クエリ画像を受け付ける入力手段と、クエリ画像と類似する少なくとも一つの画像を前記複数の画像の中から選択する一次検索手段と、一次検索手段により選択された画像に対応する前記事前ランキングを、事前ランキング記憶手段から抽出するとともに、当該事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、検索結果を出力する出力手段と、を備える。
【解決手段】複数の画像を記憶する画像記憶手段と、複数の画像の特徴を抽出する特徴抽出手段と、特徴抽出手段により抽出された各画像の特徴を記憶する特徴記憶手段と、各画像に類似する画像を、画像記憶手段内から選択してランキングを行い、事前ランキングを作成する事前ランキング手段と、事前ランキングを記憶する事前ランキング記憶手段と、クエリ画像を受け付ける入力手段と、クエリ画像と類似する少なくとも一つの画像を前記複数の画像の中から選択する一次検索手段と、一次検索手段により選択された画像に対応する前記事前ランキングを、事前ランキング記憶手段から抽出するとともに、当該事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、検索結果を出力する出力手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像サーバ、画像検索装置、画像検索プログラム，及び画像検索方法に関する。
【背景技術】
【０００２】
従来より、インターネットなどを介した検索システムの需要が急速に高まっている。検索システムにおいては、単に検索結果を出力するだけでなく、検索結果の順位付け、すなわちランキングの妥当性が非常に重要になっており、種々の技術が開示されている。例えば、Ｇｏｏｇｌｅ社は特許文献１及び非特許文献１に記載のように検索結果のランキングの妥当性を高める技術を開発したことで知られている。また、近年は、テキストを検索するだけでなく、画像の検索を行う検索システムも提案されている。例えば、特許文献２には、テキストをクエリとして画像を検索する画像検索システムが提案されている。また、特許文献３には、画像をクエリとして画像を検索する画像検索システムが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６２８５９９９号明細書
【特許文献２】特開２０１０−２８６８６１号公報
【特許文献３】特開２０１０−２５０５６９号公報
【非特許文献】
【０００４】
【非特許文献１】S.Brin and L.Page, “Theanatomy of a large-scale hypertextual (Web) searchengine”, Proc. of the 7th Int. WWW Conf., 1998
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、画像の検索は、画像の種類、属性などを一義的に決定できないため、テキストの検索とは大きく異なる。したがって、従来のテキスト検索を簡単に応用することはできない。また、画像データの容量は、テキストよりも遙かに大きいため、膨大な量の画像の中から検索を行う際には、時間を要するという問題があった。
【０００６】
本発明は、上記問題を解決するためになされたものであり、画像をクエリとしたときに、検索結果のランキングを迅速に得ることができる画像サーバ、画像検索装置、画像検索プログラム，及び画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の本発明に係る画像サーバは、複数の画像を記憶する画像記憶手段と、前記複数の画像の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された前記各画像の特徴を記憶する特徴記憶手段と、前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成する事前ランキング手段と、前記事前ランキングを記憶する事前ランキング記憶手段と、クエリ画像を受け付ける入力手段と、前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記複数の画像の中から選択する一次検索手段と、前記一次検索手段により選択された画像に対応する前記事前ランキングを、前記事前ランキング記憶手段から抽出するとともに、抽出された前記事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、前記検索結果を出力する出力手段と、を備えている。
【０００８】
この構成によれば、ユーザが画像の検索を行う前に、画像記憶手段内にある画像に対して、予め事前ランキングを作成するため、ユーザが画像クエリを入力したときには、事前ランキングに基づいて、検索結果を出力することができる。したがって、画像クエリの入力後にすべての画像に対して検索を行う必要がないため、画像の検索を迅速に行うことができる。なお、本発明における「画像」という文言について、サーバ内では画像データとして存在するものであり、ディスプレイやプリンタなどで出力されることで、画像として顕在化するが、これらを含めて、単に「画像」と称することもある。また、事前ランキングの作成方法としては、種々の方法があるが、例えば、以下の方法がある。
【０００９】
第１の方法として、事前ランキング手段が、画像記憶手段のすべての画像に対してランキングを行い、そのランキングの結果の中の所定の数の上位の画像を事前ランキングとすることができる。
【００１０】
第２の方法として、事前ランキング手段が、画像記憶手段のすべての画像に対してランキングを行い、そのランキングの結果の中の所定の数の上位の画像を上位選択画像として抽出する。そして、上位抽出画像のそれぞれの画像に類似する画像を、画像記憶手段のすべての画像の中から選択してランキングを行い、所定の数の上位の画像をプレ事前ランキングとして作成する。続いて、複数のプレ事前ランキングの中から、重複がないように画像の二次選択を行い、さらに、クエリ画像に類似する画像のランキングを二次選択された画像に対して行って事前ランキングとする。この方法では、事前ランキングの作成において、２回のランキングを行っているため、検索の精度を高めることができる。
【００１１】
また、第２の方法において、プレ事前ランキングから事前ランキングを作成する方法としては以下の方法もある。すなわち、複数のプレ事前ランキングの中から、選択された数が多い順に画像のランキングを行って事前ランキングとすることができる。ここで、選択された数が同じ画像が複数存在する場合には、例えば、クエリ画像と再度比較して類似する画像のランキングを高くすることができる。
【００１２】
第３の方法として、事前ランキング手段が、画像記憶手段のすべての画像に対して所定のクラスタリングを行って、画像を複数のグループに分類する。そして、グループ内の各画像に類似する画像を、そのグループの中から選択してランキングすることで、事前ランキングとすることができる。この方法ではクラスタリングにより同じ範疇に属する画像が同一のグループ内に含まれる可能性が高いため、異種の画像がランキングされる可能性が低くなり、ランキングの精度を高めることができる。
【００１３】
以上、代表的な３つの方法を示したが、事前ランキングの方法は、これに限定されるものではなく、種々の方法を適用することができる。
【００１４】
ところで、一次検索出段において、クエリ画像と最も類似する画像を画像記憶手段から一つだけ選択する場合には、選択された画像に対応する事前ランキングを抽出し、これを検索結果とすればよいが、一次検索手段において、複数の画像を選択する場合には、次のように処理することができる。例えば、検索結果作成手段が、選択された各画像に対応する複数の事前ランキングの中から、重複がないように画像の二次選択を行う。そして、クエリ画像に類似する画像のランキングを二次選択された画像に対して行って検索結果とする。あるいは、検索結果作成手段が、選択された各画像に対応する複数の事前ランキングの中から、選択された数が多い順に画像のランキングを行って検索結果とすることもできる。ここで、選択された数が同じ画像が複数存在する場合には、例えば、クエリ画像と再度比較して類似する画像のランキングを高くすることができる。
【００１５】
第２の本発明は、複数の画像が記憶された画像記憶手段に接続される画像検索装置であって、前記複数の画像の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された前記各画像の特徴を記憶する特徴記憶手段と、前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成する事前ランキング手段と、前記事前ランキングを記憶する事前ランキング記憶手段と、クエリ画像を受け付ける入力手段と、前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択する一次検索手段と、前記一次検索手段により選択された画像に対応する前記事前ランキングを、前記事前ランキング記憶手段から抽出するとともに、当該事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、前記検索結果を出力する出力手段と、を備えている。
【００１６】
第３の本発明に係る画像検索プログラムは、画像記憶手段に記憶される各画像の特徴を抽出するステップと、抽出された前記各画像の特徴を記憶するステップと、前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成するステップと、前記事前ランキングを記憶するステップと、クエリ画像を受け付けるステップと、前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択するステップと、前記選択された画像に対応する前記事前ランキングを抽出するとともに、当該事前ランキングに基づいて、検索結果を作成するステップと、前記検索結果を出力するステップと、をコンピュータに実行させる。
【００１７】
第４の本発明に係る画像検索方法は、画像記憶手段に記憶される各画像の特徴を抽出するステップと、抽出された前記各画像の特徴を記憶するステップと、前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成するステップと、前記事前ランキングを記憶するステップと、クエリ画像を受け付けるステップと、前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択するステップと、前記選択された画像に対応する前記事前ランキングを抽出するとともに、当該事前ランキングに基づいて、検索結果を作成するステップと、前記検索結果を出力するステップと、を備えている。
【発明の効果】
【００１８】
本発明によれば、精度の高い検索結果のランキングを迅速に得ることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の画像サーバの概略構成を示す図である。
【図２】事前ランキングの第１の手法を示す図である。
【図３】事前ランキングの第２の手法を示す図である。
【図４】事前ランキングの第２の手法の他の例を示す図である。
【図５】事前ランキングの第１の手法を示す図である。
【図６】検索結果の作成の例を示す図である。
【図７】事前ランキングの作成を示すフローチャートである。
【図８】画像検索の処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明に係る画像サーバの一実施形態について図面を参照しつつ説明する。ここでは、本発明の画像サーバをインターネットを介して情報端末に接続した場合の実施形態を説明する。図１は画像サーバの構成を示すブロック図である。
【００２１】
図１に示すように、この画像サーバ１は、インターネットやイントラネットなどのネットワーク２を介してパーソナルコンピュータ、スマートフォンなどの情報端末３に接続されている。また、画像サーバ１は、バス１０によって電気的に接続された制御ユニット２０、メモリ３０、画像データベース４０を備えている。このほか、バス１０には入出力インターフェース部５０が接続されており、ネットワーク２を介して、パーソナルコンピュータ３などとの間で、通信プロトコルにしたがって検索結果及び検索結果の受送信を行う。なお、入出力のインターフェースは、本実施形態のように一つのパーツとする以外に、入力と出力を分けた２つのパーツで構成することもできる。
【００２２】
制御ユニット２０は、ＣＰＵ(Central
Processing Unit)などで構成されており、複数の機能ブロックを備えているが、これらについては後述する。メモリ１２は、不揮発性の記憶装置で構成され、制御ユニット１１によりアクセスされるプログラムや各種データが記憶されたり、各プログラムの一時的な作業領域として機能する。例えば、後述する画像検索プログラムなどの各種プログラムが保管される。画像データベース４０は、例えば、ハードディスク、フラッシュメモリなどで構成される不揮発性の記憶装置であり、３つの記憶部、つまり画像記憶部４１、特徴記憶部４２、及び事前ランキング記憶部４３により各種データが記憶される。なお、この画像データベース４に上記各種プログラムを保管することもできる。画像記憶部４１は、検索対象となる複数の画像データが格納されている。また、特徴記憶部４２とは、画像検索に用いるための、各画像データの特徴が格納されている。画像データの特徴は、例えば、マルコフ遷移確率やテキスチャ特徴など、公知の方法を使用して抽出することができるが、これらを用いて算出された特徴パラメータが各画像の特徴として特徴記憶部４２に保管される。事前ランキング記憶部４３は、画像検索を行う前に、保存されている各画像データに対して行われる事前ランキングの結果が保管される。
【００２３】
次に、図１に示す制御ユニット２０において、画像検索プログラムを実行することにより実現される各機能ブロックについて説明する。特徴抽出部２１は、画像記憶部４１内にある画像データの特徴を抽出するものであり、上述したマルコフ遷移確率やテキスチャ特徴などを用いて各画像データごとに特徴パラメータを算出し、これを特徴記憶部４２に保管する。なお、マルコフ遷移確率については、例えば、以下の文献などに詳しい。
(1) Thi Thi Zin, Pyke
Tin, Takashi Toriu and Hiromitsu
Hama, “Dominant Color Embedded Markov Chain Model for Object Image Retrieval”, Proc.
of the 5th Intl. Conf. on Intelligent Information Hiding and
Multimedia Signal Processing (IIH-MSP-2009), Kyoto, Japan, Digital
Object Identifier 10.1109/IIH-MSP. 2009.281, pp. 186-189, Sep. 2009
(2) Thi Thi
Zin, Pyke Tin, Takashi Toriu and Hiromitsu Hama, “A
Novel Way of Computing Multimedia Information Similarities”, ICIC Express
Letters (Part B: Applications), Vol.1, No.1, pp.27-32, Sep. 2010. (Invited
paper)
【００２４】
特徴パラメータの算出は、画像記憶部４１に新たな画像が記憶されるなど、画像記憶部４１内のデータが更新される度、あるいは定期的または任意の時期に行われ、特徴記憶部４２のデータが更新される。
【００２５】
次に、事前ランキング部２２について説明する。事前ランキング部２２は、保存されている各画像のランキングを行い、その結果を事前ランキング記憶部４３に保存する。その手法はいくつかあるが、ここでは、３つの方法について説明する。
【００２６】
第１の事前ランキングは、特徴パラメータに基づいて、各画像に類似する画像のランキングを行うものである。例えば、図２に示すように、Ａ〜Ｄの４つの画像データが存在する場合、各画像データに対する、他の画像データの類似度を特徴パラメータに基づいてランキングする。すなわち、画像データＡに対しては、画像データＢ〜Ｄをランキングする。図２によれば、画像データＡに対しては、Ｃ，Ｄ，Ｂの順に類似していることになる。こうして、各画像ごとにランキングを決定し、これを事前ランキングとして事前ランキング記憶部４３に保管する。なお、事前ランキング部記憶部４３においては、各画像に対し、他のすべての画像のランキングを記憶する必要はなく、類似度の高い画像を上位からいくつかだけを記憶することができる。
【００２７】
第２の事前ランキングは、以下のように行われる。まず、上記第１の事前ランキングと同様に、画像記憶部４１内のすべての画像データに対してランキングを行う。次に、そのランキングの結果の中の所定の数の上位の画像を上位選択画像として抽出する。例えば、図３に示すように、画像データＡに対するランキングの上位５位までを抽出する。そして、各上位選択画像に類似する画像データを、画像記憶部４１のすべての画像データ（画像データＡを除く）の中から選択して上位５位までのランキングを行う。すなわち、上位選択画像Ｂ，Ｄ，Ｆ，Ｇ，Ｈのそれぞれに対し、ランキングを作成し、さらに上位５位までを抽出する。こうして得られたランキングをプレ事前ランキングとする。続いて、プレ事前ランキングに示された画像データを、重複を排除してすべて抽出する（二次選択）。図３の例では、画像データＤ，Ｆ，Ｇ，Ｈ，Ｉ，Ｂ，Ｋ，Ｘ，Ｒが抽出された。その後、画像データＡに対する、抽出された画像データのランキングを行う。この例では、最終的な画像データＡに対する事前ランキングは、Ｂ，Ｄ，Ｆ，Ｇ，Ｈ，Ｉ，Ｘ，Ｒ，Ｋの順になる。なお、ここでのランキングは、上述した特徴パラメータを用いる。また、上位画像の数、プレ事前ランキングにおけるランキングの数は５に限定されず、それぞれ異なる数にすることもできる。
【００２８】
プレ事前ランキングから事前ランキングを作成する方法としては、次のような方法もある。図４に示すように、プレ事前ランキングに抽出された数の順に画像データのランキングを決定する。このとき、抽出された数が同じ場合、画像データＡとの類似度よりランキングを決定する。例えば、画像データＤ，Ｆは抽出された数が同一であるが、画像データＤの方が、画像データＡと類似しているので、ランキングが高くなる。こうして、画像データＡに対する事前ランキングが作成される。以上のような事前ランキングのための処理が画像データＡだけでなく、画像記憶部４１内のすべての画像データに対して行われ、各画像データの事前ランキングが作成される。
【００２９】
続いて、第３の事前ランキングについて、図５を参照しつつ説明する。まず、画像記憶部４１のすべての画像データに対して所定のクラスタリングを行って、画像データを複数のグループに分類する。クラスタリングの手法は、特には限定されず、ｋ−ｍｅａｎｓ法などの公知の方法を用いることができる。ｋ−ｍｅａｎｓ法については、例えば、以下の文献などに詳しい記載がある。
(1) Y. An, J. Baek, S. Shin, M. Chang, J. Park, “Classification of
Feature Set Using K-means Clustering from Histogram Refinement Method”,
Proc. of 4th Intl. Conf. on Networked Computing and Advanced
Information Management (NCM08), Vol. 2, pp. 320-324, 2008.
(2) S.Thenmozhi, S. Balasubramanie,
J. Venkatesh, and C. Sureshkumar,
“Content Based Image Retrieval using K-Means Cluster Algorithm”, International
Journal of Research and Reviews in Information Sciences, Vol. 1, No. 1, pp.
23-28, Mar. 2011.
【００３０】
次に、各グループ内の各画像に類似する画像を、そのグループの中から選択してランキングすることで、事前ランキングを作成する。図５の例では、画像記憶部４１内のデータを複数のグループに分けた後、グループ１を取り出し、このグループに含まれる画像データに対してランキングを行う。ランキングは、このグループに含まれる画像データのみを用いて行う。例えば、グループ１の画像データＡに対しては、ランキングされる画像の数は、６個である。こうして、各画像データに対する事前ランキングが作成される。この手法では、同じグループ内でランキングを行うため、種別の異なる画像データを予め排除できるという利点がある。種別とは、例えば、車、建物、動物などの画像に示されている物体の種類とすることができる。
【００３１】
以上のような事前ランキングが行われ、その結果は、画像データベース４の事前ランキング記憶部４３に保存される。なお、事前ランキングの手法は上記のものに限定されず、種々の方法が可能である。
【００３２】
図１に戻って、制御ユニット２０の機能ブロックの説明を続ける。一次検索部２３は、ユーザを示すクエリ画像に対して、画像記憶部４１内の画像データから少なくとも一つの類似する画像データを検索するものである。検索に当たっては、まずクエリ画像の特徴を特徴抽出部２１によって抽出して特徴パラメータを作成し、これに基づいて検索を行う。このとき、画像記憶部４１の中で最も類似する一つの画像データのみを抽出してもよいし、類似する順に複数の画像データを抽出してもよい。
【００３３】
検索結果作成部２４は、一次検索部が抽出した画像データに対応する事前ランキングを、事前ランキング記憶部４３から読み出し、これを検索結果とするものである。一次検索部２３によって抽出された画像データが一つである場合には、事前ランキング記憶部４３から対応する事前ランキングのみを読み出せばよい。一方、一次検索部２３で複数の画像データを抽出した場合には、例えば、次のように処理をする。すなわち、第２の事前ランキングの手法と同じく、抽出された各画像に対して画像記憶部４１内のすべての画像データに対してランキングを行う。次に、そのランキングの結果の中の所定の数の上位の画像を選択画像として抽出する。例えば、図６に示すように、ランキングの上位５位までを抽出する。そして、抽出された画像データから重複を排除し，これを二次選択データとする。その後、二次選択データを、クエリ画像に対してランキングすることで、最終的な検索結果を作成する。
【００３４】
また、複数のクエリ画像に対応する事前ランキングをすべて読み出し、その中に含まれる画像データを、数が多い順に画像の並べるランキングを行い、これを検索結果とすることもできる。数が同数の場合には、クエリ画像に類似するものが上位になる。
【００３５】
次に、画像サーバの動作について、図７のフローチャートを参照しつつ説明する。はじめに、事前ランキングの作成について説明する。まず、画像記憶部４１内に新たな画像が追加されると（Ｓ１１）、特徴抽出部２１は、この画像データの特徴を上述したように抽出し（Ｓ１２）、抽出した特徴パラメータを画像データベース４の特徴記憶部４２に書き込む（Ｓ１３）。次に、事前ランキング部２２が、追加された画像を含めたすべての画像データに対して上述した手法でランキングを行い（Ｓ１４）、その結果を事前ランキング記憶部４３に書き込み、事前ランキングを更新する（Ｓ１５）。この処理は、画像記憶部４１に新たな画像が追加されたり、あるいは定期的に行われ、ユーザによる画像検索に備える。
【００３６】
続いて、画像の検索について説明する。まず、ユーザが情報端末３において、検索したい画像を入力する（Ｓ２１）。入力された画像は、クエリ画像としてネットワーク２を介して画像サーバ１に送られる（Ｓ２２）。例えば、情報端末３に保存されている画像データのファイルを指定してもよいし、カメラやスキャナで取得した画像データを画像サーバへ直接送信することもできる。クエリ画像を受け取った画像サーバ１では、特徴抽出部２１によりクエリ画像の特徴が抽出される（Ｓ２３）。そして、抽出された特徴パラメータに基づいて、このクエリ画像から一次検索を行う（Ｓ２４）。すなわち、画像記憶部４１の中からクエリ画像に最も類似する一の画像データを抽出する。次に、この画像データに対応する事前ランキングを、検索結果作成部２４が事前ランキング記憶部４３から読み出し（Ｓ２５）、これを検索結果とする（Ｓ２６）。例えば、図２に示す第１の事前ランキングが作成されているとき、一次検索で画像データＡが最も類似する画像として選択された場合には、図２に示す事前ランキングの一行目が採用され、Ａ，Ｃ，Ｄ，Ｂの順にランキングされた検索結果が作成される。最後に、この検索結果をネットワーク２を介して情報端末３に送信する（Ｓ２７）。各情報端末３では、入力した画像に対する検索結果を，表示画面で表示する。なお、一次検索において、複数の画像データを選択することもでき、その場合の処理は上述したとおりである。
【００３７】
以上のように、本実施形態によれば、ユーザが画像の検索を行う前に、画像記憶部４１内にある画像に対して、予め事前ランキングを作成するため、ユーザがクエリ画像を入力したときには、事前ランキングに基づいて、検索結果を出力することができる。したがって、クエリ画像の入力後にすべての画像に対して検索を行う必要がないため、画像の検索を迅速に行うことができる。また、上述した事前ランキングにより、ランキングの精度を大きく向上することができる。
【００３８】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、上記実施形態では、ネットワークに接続されている画像サーバについて説明したが、これをパーソナルコンピュータなどのスタンドアローンの機器として使用することできる。また、多数の画像が保存された画像記憶装置に対して、上述する機能を有する画像検索装置を接続することもできる。すなわち、上記画像サーバから画像記憶部を除いた構成の装置である。
【符号の説明】
【００３９】
１ 画像サーバ
２１ 特徴抽出部（特徴抽出手段）
２２ 事前ランキング部（事前ランキング手段）
２３ 一次検索部（一次検索手段）
２４ 検索結果作成部（検索結果作成手段）
４１ 画像記憶部（画像記憶手段）
４２ 特徴記憶部（特徴記憶手段）
４３ 事前ランキング記憶部（事前ランキング記憶手段）
５０ 入出力インターフェース部（入力手段、出力手段）
【技術分野】
【０００１】
本発明は、画像サーバ、画像検索装置、画像検索プログラム，及び画像検索方法に関する。
【背景技術】
【０００２】
従来より、インターネットなどを介した検索システムの需要が急速に高まっている。検索システムにおいては、単に検索結果を出力するだけでなく、検索結果の順位付け、すなわちランキングの妥当性が非常に重要になっており、種々の技術が開示されている。例えば、Ｇｏｏｇｌｅ社は特許文献１及び非特許文献１に記載のように検索結果のランキングの妥当性を高める技術を開発したことで知られている。また、近年は、テキストを検索するだけでなく、画像の検索を行う検索システムも提案されている。例えば、特許文献２には、テキストをクエリとして画像を検索する画像検索システムが提案されている。また、特許文献３には、画像をクエリとして画像を検索する画像検索システムが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６２８５９９９号明細書
【特許文献２】特開２０１０−２８６８６１号公報
【特許文献３】特開２０１０−２５０５６９号公報
【非特許文献】
【０００４】
【非特許文献１】S.Brin and L.Page, “Theanatomy of a large-scale hypertextual (Web) searchengine”, Proc. of the 7th Int. WWW Conf., 1998
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、画像の検索は、画像の種類、属性などを一義的に決定できないため、テキストの検索とは大きく異なる。したがって、従来のテキスト検索を簡単に応用することはできない。また、画像データの容量は、テキストよりも遙かに大きいため、膨大な量の画像の中から検索を行う際には、時間を要するという問題があった。
【０００６】
本発明は、上記問題を解決するためになされたものであり、画像をクエリとしたときに、検索結果のランキングを迅速に得ることができる画像サーバ、画像検索装置、画像検索プログラム，及び画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の本発明に係る画像サーバは、複数の画像を記憶する画像記憶手段と、前記複数の画像の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された前記各画像の特徴を記憶する特徴記憶手段と、前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成する事前ランキング手段と、前記事前ランキングを記憶する事前ランキング記憶手段と、クエリ画像を受け付ける入力手段と、前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記複数の画像の中から選択する一次検索手段と、前記一次検索手段により選択された画像に対応する前記事前ランキングを、前記事前ランキング記憶手段から抽出するとともに、抽出された前記事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、前記検索結果を出力する出力手段と、を備えている。
【０００８】
この構成によれば、ユーザが画像の検索を行う前に、画像記憶手段内にある画像に対して、予め事前ランキングを作成するため、ユーザが画像クエリを入力したときには、事前ランキングに基づいて、検索結果を出力することができる。したがって、画像クエリの入力後にすべての画像に対して検索を行う必要がないため、画像の検索を迅速に行うことができる。なお、本発明における「画像」という文言について、サーバ内では画像データとして存在するものであり、ディスプレイやプリンタなどで出力されることで、画像として顕在化するが、これらを含めて、単に「画像」と称することもある。また、事前ランキングの作成方法としては、種々の方法があるが、例えば、以下の方法がある。
【０００９】
第１の方法として、事前ランキング手段が、画像記憶手段のすべての画像に対してランキングを行い、そのランキングの結果の中の所定の数の上位の画像を事前ランキングとすることができる。
【００１０】
第２の方法として、事前ランキング手段が、画像記憶手段のすべての画像に対してランキングを行い、そのランキングの結果の中の所定の数の上位の画像を上位選択画像として抽出する。そして、上位抽出画像のそれぞれの画像に類似する画像を、画像記憶手段のすべての画像の中から選択してランキングを行い、所定の数の上位の画像をプレ事前ランキングとして作成する。続いて、複数のプレ事前ランキングの中から、重複がないように画像の二次選択を行い、さらに、クエリ画像に類似する画像のランキングを二次選択された画像に対して行って事前ランキングとする。この方法では、事前ランキングの作成において、２回のランキングを行っているため、検索の精度を高めることができる。
【００１１】
また、第２の方法において、プレ事前ランキングから事前ランキングを作成する方法としては以下の方法もある。すなわち、複数のプレ事前ランキングの中から、選択された数が多い順に画像のランキングを行って事前ランキングとすることができる。ここで、選択された数が同じ画像が複数存在する場合には、例えば、クエリ画像と再度比較して類似する画像のランキングを高くすることができる。
【００１２】
第３の方法として、事前ランキング手段が、画像記憶手段のすべての画像に対して所定のクラスタリングを行って、画像を複数のグループに分類する。そして、グループ内の各画像に類似する画像を、そのグループの中から選択してランキングすることで、事前ランキングとすることができる。この方法ではクラスタリングにより同じ範疇に属する画像が同一のグループ内に含まれる可能性が高いため、異種の画像がランキングされる可能性が低くなり、ランキングの精度を高めることができる。
【００１３】
以上、代表的な３つの方法を示したが、事前ランキングの方法は、これに限定されるものではなく、種々の方法を適用することができる。
【００１４】
ところで、一次検索出段において、クエリ画像と最も類似する画像を画像記憶手段から一つだけ選択する場合には、選択された画像に対応する事前ランキングを抽出し、これを検索結果とすればよいが、一次検索手段において、複数の画像を選択する場合には、次のように処理することができる。例えば、検索結果作成手段が、選択された各画像に対応する複数の事前ランキングの中から、重複がないように画像の二次選択を行う。そして、クエリ画像に類似する画像のランキングを二次選択された画像に対して行って検索結果とする。あるいは、検索結果作成手段が、選択された各画像に対応する複数の事前ランキングの中から、選択された数が多い順に画像のランキングを行って検索結果とすることもできる。ここで、選択された数が同じ画像が複数存在する場合には、例えば、クエリ画像と再度比較して類似する画像のランキングを高くすることができる。
【００１５】
第２の本発明は、複数の画像が記憶された画像記憶手段に接続される画像検索装置であって、前記複数の画像の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された前記各画像の特徴を記憶する特徴記憶手段と、前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成する事前ランキング手段と、前記事前ランキングを記憶する事前ランキング記憶手段と、クエリ画像を受け付ける入力手段と、前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択する一次検索手段と、前記一次検索手段により選択された画像に対応する前記事前ランキングを、前記事前ランキング記憶手段から抽出するとともに、当該事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、前記検索結果を出力する出力手段と、を備えている。
【００１６】
第３の本発明に係る画像検索プログラムは、画像記憶手段に記憶される各画像の特徴を抽出するステップと、抽出された前記各画像の特徴を記憶するステップと、前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成するステップと、前記事前ランキングを記憶するステップと、クエリ画像を受け付けるステップと、前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択するステップと、前記選択された画像に対応する前記事前ランキングを抽出するとともに、当該事前ランキングに基づいて、検索結果を作成するステップと、前記検索結果を出力するステップと、をコンピュータに実行させる。
【００１７】
第４の本発明に係る画像検索方法は、画像記憶手段に記憶される各画像の特徴を抽出するステップと、抽出された前記各画像の特徴を記憶するステップと、前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成するステップと、前記事前ランキングを記憶するステップと、クエリ画像を受け付けるステップと、前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択するステップと、前記選択された画像に対応する前記事前ランキングを抽出するとともに、当該事前ランキングに基づいて、検索結果を作成するステップと、前記検索結果を出力するステップと、を備えている。
【発明の効果】
【００１８】
本発明によれば、精度の高い検索結果のランキングを迅速に得ることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の画像サーバの概略構成を示す図である。
【図２】事前ランキングの第１の手法を示す図である。
【図３】事前ランキングの第２の手法を示す図である。
【図４】事前ランキングの第２の手法の他の例を示す図である。
【図５】事前ランキングの第１の手法を示す図である。
【図６】検索結果の作成の例を示す図である。
【図７】事前ランキングの作成を示すフローチャートである。
【図８】画像検索の処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明に係る画像サーバの一実施形態について図面を参照しつつ説明する。ここでは、本発明の画像サーバをインターネットを介して情報端末に接続した場合の実施形態を説明する。図１は画像サーバの構成を示すブロック図である。
【００２１】
図１に示すように、この画像サーバ１は、インターネットやイントラネットなどのネットワーク２を介してパーソナルコンピュータ、スマートフォンなどの情報端末３に接続されている。また、画像サーバ１は、バス１０によって電気的に接続された制御ユニット２０、メモリ３０、画像データベース４０を備えている。このほか、バス１０には入出力インターフェース部５０が接続されており、ネットワーク２を介して、パーソナルコンピュータ３などとの間で、通信プロトコルにしたがって検索結果及び検索結果の受送信を行う。なお、入出力のインターフェースは、本実施形態のように一つのパーツとする以外に、入力と出力を分けた２つのパーツで構成することもできる。
【００２２】
制御ユニット２０は、ＣＰＵ(Central
Processing Unit)などで構成されており、複数の機能ブロックを備えているが、これらについては後述する。メモリ１２は、不揮発性の記憶装置で構成され、制御ユニット１１によりアクセスされるプログラムや各種データが記憶されたり、各プログラムの一時的な作業領域として機能する。例えば、後述する画像検索プログラムなどの各種プログラムが保管される。画像データベース４０は、例えば、ハードディスク、フラッシュメモリなどで構成される不揮発性の記憶装置であり、３つの記憶部、つまり画像記憶部４１、特徴記憶部４２、及び事前ランキング記憶部４３により各種データが記憶される。なお、この画像データベース４に上記各種プログラムを保管することもできる。画像記憶部４１は、検索対象となる複数の画像データが格納されている。また、特徴記憶部４２とは、画像検索に用いるための、各画像データの特徴が格納されている。画像データの特徴は、例えば、マルコフ遷移確率やテキスチャ特徴など、公知の方法を使用して抽出することができるが、これらを用いて算出された特徴パラメータが各画像の特徴として特徴記憶部４２に保管される。事前ランキング記憶部４３は、画像検索を行う前に、保存されている各画像データに対して行われる事前ランキングの結果が保管される。
【００２３】
次に、図１に示す制御ユニット２０において、画像検索プログラムを実行することにより実現される各機能ブロックについて説明する。特徴抽出部２１は、画像記憶部４１内にある画像データの特徴を抽出するものであり、上述したマルコフ遷移確率やテキスチャ特徴などを用いて各画像データごとに特徴パラメータを算出し、これを特徴記憶部４２に保管する。なお、マルコフ遷移確率については、例えば、以下の文献などに詳しい。
(1) Thi Thi Zin, Pyke
Tin, Takashi Toriu and Hiromitsu
Hama, “Dominant Color Embedded Markov Chain Model for Object Image Retrieval”, Proc.
of the 5th Intl. Conf. on Intelligent Information Hiding and
Multimedia Signal Processing (IIH-MSP-2009), Kyoto, Japan, Digital
Object Identifier 10.1109/IIH-MSP. 2009.281, pp. 186-189, Sep. 2009
(2) Thi Thi
Zin, Pyke Tin, Takashi Toriu and Hiromitsu Hama, “A
Novel Way of Computing Multimedia Information Similarities”, ICIC Express
Letters (Part B: Applications), Vol.1, No.1, pp.27-32, Sep. 2010. (Invited
paper)
【００２４】
特徴パラメータの算出は、画像記憶部４１に新たな画像が記憶されるなど、画像記憶部４１内のデータが更新される度、あるいは定期的または任意の時期に行われ、特徴記憶部４２のデータが更新される。
【００２５】
次に、事前ランキング部２２について説明する。事前ランキング部２２は、保存されている各画像のランキングを行い、その結果を事前ランキング記憶部４３に保存する。その手法はいくつかあるが、ここでは、３つの方法について説明する。
【００２６】
第１の事前ランキングは、特徴パラメータに基づいて、各画像に類似する画像のランキングを行うものである。例えば、図２に示すように、Ａ〜Ｄの４つの画像データが存在する場合、各画像データに対する、他の画像データの類似度を特徴パラメータに基づいてランキングする。すなわち、画像データＡに対しては、画像データＢ〜Ｄをランキングする。図２によれば、画像データＡに対しては、Ｃ，Ｄ，Ｂの順に類似していることになる。こうして、各画像ごとにランキングを決定し、これを事前ランキングとして事前ランキング記憶部４３に保管する。なお、事前ランキング部記憶部４３においては、各画像に対し、他のすべての画像のランキングを記憶する必要はなく、類似度の高い画像を上位からいくつかだけを記憶することができる。
【００２７】
第２の事前ランキングは、以下のように行われる。まず、上記第１の事前ランキングと同様に、画像記憶部４１内のすべての画像データに対してランキングを行う。次に、そのランキングの結果の中の所定の数の上位の画像を上位選択画像として抽出する。例えば、図３に示すように、画像データＡに対するランキングの上位５位までを抽出する。そして、各上位選択画像に類似する画像データを、画像記憶部４１のすべての画像データ（画像データＡを除く）の中から選択して上位５位までのランキングを行う。すなわち、上位選択画像Ｂ，Ｄ，Ｆ，Ｇ，Ｈのそれぞれに対し、ランキングを作成し、さらに上位５位までを抽出する。こうして得られたランキングをプレ事前ランキングとする。続いて、プレ事前ランキングに示された画像データを、重複を排除してすべて抽出する（二次選択）。図３の例では、画像データＤ，Ｆ，Ｇ，Ｈ，Ｉ，Ｂ，Ｋ，Ｘ，Ｒが抽出された。その後、画像データＡに対する、抽出された画像データのランキングを行う。この例では、最終的な画像データＡに対する事前ランキングは、Ｂ，Ｄ，Ｆ，Ｇ，Ｈ，Ｉ，Ｘ，Ｒ，Ｋの順になる。なお、ここでのランキングは、上述した特徴パラメータを用いる。また、上位画像の数、プレ事前ランキングにおけるランキングの数は５に限定されず、それぞれ異なる数にすることもできる。
【００２８】
プレ事前ランキングから事前ランキングを作成する方法としては、次のような方法もある。図４に示すように、プレ事前ランキングに抽出された数の順に画像データのランキングを決定する。このとき、抽出された数が同じ場合、画像データＡとの類似度よりランキングを決定する。例えば、画像データＤ，Ｆは抽出された数が同一であるが、画像データＤの方が、画像データＡと類似しているので、ランキングが高くなる。こうして、画像データＡに対する事前ランキングが作成される。以上のような事前ランキングのための処理が画像データＡだけでなく、画像記憶部４１内のすべての画像データに対して行われ、各画像データの事前ランキングが作成される。
【００２９】
続いて、第３の事前ランキングについて、図５を参照しつつ説明する。まず、画像記憶部４１のすべての画像データに対して所定のクラスタリングを行って、画像データを複数のグループに分類する。クラスタリングの手法は、特には限定されず、ｋ−ｍｅａｎｓ法などの公知の方法を用いることができる。ｋ−ｍｅａｎｓ法については、例えば、以下の文献などに詳しい記載がある。
(1) Y. An, J. Baek, S. Shin, M. Chang, J. Park, “Classification of
Feature Set Using K-means Clustering from Histogram Refinement Method”,
Proc. of 4th Intl. Conf. on Networked Computing and Advanced
Information Management (NCM08), Vol. 2, pp. 320-324, 2008.
(2) S.Thenmozhi, S. Balasubramanie,
J. Venkatesh, and C. Sureshkumar,
“Content Based Image Retrieval using K-Means Cluster Algorithm”, International
Journal of Research and Reviews in Information Sciences, Vol. 1, No. 1, pp.
23-28, Mar. 2011.
【００３０】
次に、各グループ内の各画像に類似する画像を、そのグループの中から選択してランキングすることで、事前ランキングを作成する。図５の例では、画像記憶部４１内のデータを複数のグループに分けた後、グループ１を取り出し、このグループに含まれる画像データに対してランキングを行う。ランキングは、このグループに含まれる画像データのみを用いて行う。例えば、グループ１の画像データＡに対しては、ランキングされる画像の数は、６個である。こうして、各画像データに対する事前ランキングが作成される。この手法では、同じグループ内でランキングを行うため、種別の異なる画像データを予め排除できるという利点がある。種別とは、例えば、車、建物、動物などの画像に示されている物体の種類とすることができる。
【００３１】
以上のような事前ランキングが行われ、その結果は、画像データベース４の事前ランキング記憶部４３に保存される。なお、事前ランキングの手法は上記のものに限定されず、種々の方法が可能である。
【００３２】
図１に戻って、制御ユニット２０の機能ブロックの説明を続ける。一次検索部２３は、ユーザを示すクエリ画像に対して、画像記憶部４１内の画像データから少なくとも一つの類似する画像データを検索するものである。検索に当たっては、まずクエリ画像の特徴を特徴抽出部２１によって抽出して特徴パラメータを作成し、これに基づいて検索を行う。このとき、画像記憶部４１の中で最も類似する一つの画像データのみを抽出してもよいし、類似する順に複数の画像データを抽出してもよい。
【００３３】
検索結果作成部２４は、一次検索部が抽出した画像データに対応する事前ランキングを、事前ランキング記憶部４３から読み出し、これを検索結果とするものである。一次検索部２３によって抽出された画像データが一つである場合には、事前ランキング記憶部４３から対応する事前ランキングのみを読み出せばよい。一方、一次検索部２３で複数の画像データを抽出した場合には、例えば、次のように処理をする。すなわち、第２の事前ランキングの手法と同じく、抽出された各画像に対して画像記憶部４１内のすべての画像データに対してランキングを行う。次に、そのランキングの結果の中の所定の数の上位の画像を選択画像として抽出する。例えば、図６に示すように、ランキングの上位５位までを抽出する。そして、抽出された画像データから重複を排除し，これを二次選択データとする。その後、二次選択データを、クエリ画像に対してランキングすることで、最終的な検索結果を作成する。
【００３４】
また、複数のクエリ画像に対応する事前ランキングをすべて読み出し、その中に含まれる画像データを、数が多い順に画像の並べるランキングを行い、これを検索結果とすることもできる。数が同数の場合には、クエリ画像に類似するものが上位になる。
【００３５】
次に、画像サーバの動作について、図７のフローチャートを参照しつつ説明する。はじめに、事前ランキングの作成について説明する。まず、画像記憶部４１内に新たな画像が追加されると（Ｓ１１）、特徴抽出部２１は、この画像データの特徴を上述したように抽出し（Ｓ１２）、抽出した特徴パラメータを画像データベース４の特徴記憶部４２に書き込む（Ｓ１３）。次に、事前ランキング部２２が、追加された画像を含めたすべての画像データに対して上述した手法でランキングを行い（Ｓ１４）、その結果を事前ランキング記憶部４３に書き込み、事前ランキングを更新する（Ｓ１５）。この処理は、画像記憶部４１に新たな画像が追加されたり、あるいは定期的に行われ、ユーザによる画像検索に備える。
【００３６】
続いて、画像の検索について説明する。まず、ユーザが情報端末３において、検索したい画像を入力する（Ｓ２１）。入力された画像は、クエリ画像としてネットワーク２を介して画像サーバ１に送られる（Ｓ２２）。例えば、情報端末３に保存されている画像データのファイルを指定してもよいし、カメラやスキャナで取得した画像データを画像サーバへ直接送信することもできる。クエリ画像を受け取った画像サーバ１では、特徴抽出部２１によりクエリ画像の特徴が抽出される（Ｓ２３）。そして、抽出された特徴パラメータに基づいて、このクエリ画像から一次検索を行う（Ｓ２４）。すなわち、画像記憶部４１の中からクエリ画像に最も類似する一の画像データを抽出する。次に、この画像データに対応する事前ランキングを、検索結果作成部２４が事前ランキング記憶部４３から読み出し（Ｓ２５）、これを検索結果とする（Ｓ２６）。例えば、図２に示す第１の事前ランキングが作成されているとき、一次検索で画像データＡが最も類似する画像として選択された場合には、図２に示す事前ランキングの一行目が採用され、Ａ，Ｃ，Ｄ，Ｂの順にランキングされた検索結果が作成される。最後に、この検索結果をネットワーク２を介して情報端末３に送信する（Ｓ２７）。各情報端末３では、入力した画像に対する検索結果を，表示画面で表示する。なお、一次検索において、複数の画像データを選択することもでき、その場合の処理は上述したとおりである。
【００３７】
以上のように、本実施形態によれば、ユーザが画像の検索を行う前に、画像記憶部４１内にある画像に対して、予め事前ランキングを作成するため、ユーザがクエリ画像を入力したときには、事前ランキングに基づいて、検索結果を出力することができる。したがって、クエリ画像の入力後にすべての画像に対して検索を行う必要がないため、画像の検索を迅速に行うことができる。また、上述した事前ランキングにより、ランキングの精度を大きく向上することができる。
【００３８】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、上記実施形態では、ネットワークに接続されている画像サーバについて説明したが、これをパーソナルコンピュータなどのスタンドアローンの機器として使用することできる。また、多数の画像が保存された画像記憶装置に対して、上述する機能を有する画像検索装置を接続することもできる。すなわち、上記画像サーバから画像記憶部を除いた構成の装置である。
【符号の説明】
【００３９】
１ 画像サーバ
２１ 特徴抽出部（特徴抽出手段）
２２ 事前ランキング部（事前ランキング手段）
２３ 一次検索部（一次検索手段）
２４ 検索結果作成部（検索結果作成手段）
４１ 画像記憶部（画像記憶手段）
４２ 特徴記憶部（特徴記憶手段）
４３ 事前ランキング記憶部（事前ランキング記憶手段）
５０ 入出力インターフェース部（入力手段、出力手段）
【特許請求の範囲】
【請求項１】
複数の画像を記憶する画像記憶手段と、
前記複数の画像の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された前記各画像の特徴を記憶する特徴記憶手段と、
前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成する事前ランキング手段と、
前記事前ランキングを記憶する事前ランキング記憶手段と、
クエリ画像を受け付ける入力手段と、
前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記複数の画像の中から選択する一次検索手段と、
前記一次検索手段により選択された画像に対応する前記事前ランキングを、前記事前ランキング記憶手段から抽出するとともに、当該事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、
前記検索結果を出力する出力手段と、
を備えている、画像サーバ。
【請求項２】
前記事前ランキング手段は、
前記画像記憶手段のすべての画像に対してランキングを行い、当該ランキングの結果の中の所定の数の上位の画像を前記事前ランキングとする、請求項１に記載の画像サーバ。
【請求項３】
前記事前ランキング手段は、
前記画像記憶手段のすべての画像に対してランキングを行い、
当該ランキングの結果の中の所定の数の上位の画像を上位選択画像として抽出し、
当該上位抽出画像のそれぞれの画像に類似する画像を、前記画像記憶手段のすべての画像の中から選択してランキングを行い、所定の数の上位の画像をプレ事前ランキングとして作成し、
複数の前記プレ事前ランキングの中から、重複がないように画像の二次選択を行い、さらに、前記クエリ画像に類似する画像のランキングを前記二次選択された画像に対して行って前記事前ランキングとする、請求項１に記載の画像サーバ。
【請求項４】
前記事前ランキング手段は、
前記画像記憶手段のすべての画像に対してランキングを行い、
当該ランキングの結果の中の所定の数の上位の画像を上位選択画像として抽出し、
当該上位抽出画像のそれぞれの画像に類似する画像を、前記画像記憶手段のすべての画像の中から選択してランキングを行い、所定の数の上位の画像をプレ事前ランキングとして作成し、
複数の前記プレ事前ランキングの中から、選択された数が多い順に画像のランキングを行って前記事前ランキングとする、請求項１に記載の画像サーバ。
【請求項５】
前記事前ランキング手段は、
前記画像記憶手段のすべての画像に対して所定のクラスタリングを行って、前記画像を複数のグループに分類し、
前記グループ内の各画像に類似する画像を、当該グループの中から選択してランキングすることで、前記事前ランキングとする、請求項１に記載の画像サーバ。
【請求項６】
前記一次検索手段において、複数の画像を選択する場合、
前記検索結果作成手段は、選択された各画像に対応する複数の事前ランキングの中から、重複がないように画像の二次選択を行い、さらに、前記クエリ画像に類似する画像のランキングを前記二次選択された画像に対して行って検索結果とする、請求項１から５のいずれかに記載の画像サーバ。
【請求項７】
前記一次検索結果において、複数の画像を選択する場合、
前記検索結果作成手段は、選択された各画像に対応する複数の事前ランキングの中から、選択された数が多い順に画像のランキングを行って検索結果とする、請求項１から５のいずれかに記載の画像サーバ。
【請求項８】
複数の画像が記憶された画像記憶手段に接続される画像検索装置であって、
前記複数の画像の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された前記各画像の特徴を記憶する特徴記憶手段と、
前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成する事前ランキング手段と、
前記事前ランキングを記憶する事前ランキング記憶手段と、
クエリ画像を受け付ける入力手段と、
前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択する一次検索手段と、
前記一次検索手段により選択された画像に対応する前記事前ランキングを、前記事前ランキング記憶手段から抽出するとともに、当該事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、
前記検索結果を出力する出力手段と、
を備えている、画像検索装置。
【請求項９】
画像記憶手段に記憶される各画像の特徴を抽出するステップと、
抽出された前記各画像の特徴を記憶するステップと、
前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成するステップと、
前記事前ランキングを記憶するステップと、
クエリ画像を受け付けるステップと、
前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択するステップと、
前記選択された画像に対応する前記事前ランキングを抽出するとともに、当該事前ランキングに基づいて、検索結果を作成するステップと、
前記検索結果を出力するステップと、
をコンピュータに実行させる、画像検索プログラム。
【請求項１０】
画像記憶手段に記憶される各画像の特徴を抽出するステップと、
抽出された前記各画像の特徴を記憶するステップと、
前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成するステップと、
前記事前ランキングを記憶するステップと、
クエリ画像を受け付けるステップと、
前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択するステップと、
前記選択された画像に対応する前記事前ランキングを抽出するとともに、当該事前ランキングに基づいて、検索結果を作成するステップと、
前記検索結果を出力するステップと、
を備えている、画像検索方法。
【請求項１】
複数の画像を記憶する画像記憶手段と、
前記複数の画像の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された前記各画像の特徴を記憶する特徴記憶手段と、
前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成する事前ランキング手段と、
前記事前ランキングを記憶する事前ランキング記憶手段と、
クエリ画像を受け付ける入力手段と、
前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記複数の画像の中から選択する一次検索手段と、
前記一次検索手段により選択された画像に対応する前記事前ランキングを、前記事前ランキング記憶手段から抽出するとともに、当該事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、
前記検索結果を出力する出力手段と、
を備えている、画像サーバ。
【請求項２】
前記事前ランキング手段は、
前記画像記憶手段のすべての画像に対してランキングを行い、当該ランキングの結果の中の所定の数の上位の画像を前記事前ランキングとする、請求項１に記載の画像サーバ。
【請求項３】
前記事前ランキング手段は、
前記画像記憶手段のすべての画像に対してランキングを行い、
当該ランキングの結果の中の所定の数の上位の画像を上位選択画像として抽出し、
当該上位抽出画像のそれぞれの画像に類似する画像を、前記画像記憶手段のすべての画像の中から選択してランキングを行い、所定の数の上位の画像をプレ事前ランキングとして作成し、
複数の前記プレ事前ランキングの中から、重複がないように画像の二次選択を行い、さらに、前記クエリ画像に類似する画像のランキングを前記二次選択された画像に対して行って前記事前ランキングとする、請求項１に記載の画像サーバ。
【請求項４】
前記事前ランキング手段は、
前記画像記憶手段のすべての画像に対してランキングを行い、
当該ランキングの結果の中の所定の数の上位の画像を上位選択画像として抽出し、
当該上位抽出画像のそれぞれの画像に類似する画像を、前記画像記憶手段のすべての画像の中から選択してランキングを行い、所定の数の上位の画像をプレ事前ランキングとして作成し、
複数の前記プレ事前ランキングの中から、選択された数が多い順に画像のランキングを行って前記事前ランキングとする、請求項１に記載の画像サーバ。
【請求項５】
前記事前ランキング手段は、
前記画像記憶手段のすべての画像に対して所定のクラスタリングを行って、前記画像を複数のグループに分類し、
前記グループ内の各画像に類似する画像を、当該グループの中から選択してランキングすることで、前記事前ランキングとする、請求項１に記載の画像サーバ。
【請求項６】
前記一次検索手段において、複数の画像を選択する場合、
前記検索結果作成手段は、選択された各画像に対応する複数の事前ランキングの中から、重複がないように画像の二次選択を行い、さらに、前記クエリ画像に類似する画像のランキングを前記二次選択された画像に対して行って検索結果とする、請求項１から５のいずれかに記載の画像サーバ。
【請求項７】
前記一次検索結果において、複数の画像を選択する場合、
前記検索結果作成手段は、選択された各画像に対応する複数の事前ランキングの中から、選択された数が多い順に画像のランキングを行って検索結果とする、請求項１から５のいずれかに記載の画像サーバ。
【請求項８】
複数の画像が記憶された画像記憶手段に接続される画像検索装置であって、
前記複数の画像の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された前記各画像の特徴を記憶する特徴記憶手段と、
前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成する事前ランキング手段と、
前記事前ランキングを記憶する事前ランキング記憶手段と、
クエリ画像を受け付ける入力手段と、
前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択する一次検索手段と、
前記一次検索手段により選択された画像に対応する前記事前ランキングを、前記事前ランキング記憶手段から抽出するとともに、当該事前ランキングに基づいて、検索結果を作成する検索結果作成手段と、
前記検索結果を出力する出力手段と、
を備えている、画像検索装置。
【請求項９】
画像記憶手段に記憶される各画像の特徴を抽出するステップと、
抽出された前記各画像の特徴を記憶するステップと、
前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成するステップと、
前記事前ランキングを記憶するステップと、
クエリ画像を受け付けるステップと、
前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択するステップと、
前記選択された画像に対応する前記事前ランキングを抽出するとともに、当該事前ランキングに基づいて、検索結果を作成するステップと、
前記検索結果を出力するステップと、
をコンピュータに実行させる、画像検索プログラム。
【請求項１０】
画像記憶手段に記憶される各画像の特徴を抽出するステップと、
抽出された前記各画像の特徴を記憶するステップと、
前記特徴に基づいて、前記各画像に類似する画像を、前記画像記憶手段内から選択してランキングを行い、前記各画像に対する事前ランキングを作成するステップと、
前記事前ランキングを記憶するステップと、
クエリ画像を受け付けるステップと、
前記特徴に基づいて、前記クエリ画像と類似する少なくとも一つの画像を前記画像記憶手段内の中から選択するステップと、
前記選択された画像に対応する前記事前ランキングを抽出するとともに、当該事前ランキングに基づいて、検索結果を作成するステップと、
前記検索結果を出力するステップと、
を備えている、画像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２３０５０５（Ｐ２０１２−２３０５０５Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９７６４３（Ｐ２０１１−９７６４３）
【出願日】平成２３年４月２５日（２０１１．４．２５）
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２５日（２０１１．４．２５）
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【Ｆターム（参考）】
[ Back to top ]