画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体
【課題】反転関係にある画像同士が類似していると判断することができる画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体を提供する。
【解決手段】画像類似度算出装置１は、入力画像３０と参照画像３１との類似度を算出する装置である。この装置は、局所特徴量抽出部１２及び類似度算出部１４を備える。局所特徴量抽出部１２は、入力画像３０及び参照画像３１の特徴点を取得し、入力画像３０及び参照画像３１の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出部１４は、入力画像３０及び参照画像３１の特徴点ごとの特徴量に基づいて、入力画像３０と参照画像３１との類似度を算出する。
【解決手段】画像類似度算出装置１は、入力画像３０と参照画像３１との類似度を算出する装置である。この装置は、局所特徴量抽出部１２及び類似度算出部１４を備える。局所特徴量抽出部１２は、入力画像３０及び参照画像３１の特徴点を取得し、入力画像３０及び参照画像３１の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出部１４は、入力画像３０及び参照画像３１の特徴点ごとの特徴量に基づいて、入力画像３０と参照画像３１との類似度を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
従来、画像類似度算出装置として、入力画像と参照画像との類似度を、局所特徴量を用いて算出するものが知られている（例えば、特許文献１参照。）。特許文献１記載の装置は、画像から適宜選択された局所的な特徴点それぞれについて、回転、拡大及び縮小に不変となる局所的な形状の特徴量（局所特徴量）を算出する。そして、入力画像及び参照画像の局所特徴量を用いて類似度を算出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の画像類似度算出装置にあっては、特徴点周辺の部分画像と当該部分画像とを比較する際に、左右又は上下に反転した画像は全く別のものであると判定する。当技術分野では、反転関係にある画像同士が類似していると判断することができる画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体が望まれている。
【課題を解決するための手段】
【０００５】
すなわち本発明の一側面に係る画像類似度算出装置は、入力画像と参照画像との類似度を算出する装置である。この装置は、特徴点取得部、特徴量記述部及び類似度算出部を備える。特徴点取得部は、入力画像及び参照画像の特徴点を取得する。特徴点記述部は、入力画像及び参照画像の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出部は、入力画像及び参照画像の特徴点ごとの特徴量に基づいて、入力画像と参照画像との類似度を算出する。
【０００６】
この画像類似度算出装置では、回転のみならず反転に対して不変となる特徴量を画像から抽出し、該特徴量を用いて画像の類似度を算出する。このため、反転関係にある画像同士が類似していると判断することができる。
【０００７】
一実施形態においては、特徴量記述部は、特徴点を含む所定領域内のエッジ強度に基づいてエッジ方向を複数算出し、算出された複数のエッジ方向を組み合わせた向きを基準として当該特徴点の特徴量を記述してもよい。このように構成することで、少なくとも２方向の特徴ベクトルを基準として特徴量を記述することができるため、回転のみならず反転に対して不変となる特徴量を記述することができる。
【０００８】
一実施形態においては、特徴量記述部は、最も度数の多いエッジ方向を主エッジ方向として算出し、主エッジ方向から右回り１８０度のエッジ強度の総和と左回り１８０度のエッジ強度の総和とを比較することによって主エッジ方向に直交する副エッジ方向を算出し、主エッジ方向及び副エッジ方法を組み合わせた向きを基準として特徴点の特徴量を記述してもよい。このように構成することで、主エッジ方向及び副エッジ方向を用いて、回転のみならず反転に対して不変となる特徴量を容易に記述することができる。
【０００９】
一実施形態においては、類似度算出部は、予め作成された複数の代表特徴量と入力画像の特徴点ごとの特徴量とを比較し、代表特徴量に最近傍となる特徴量の出現頻度を代表特徴量ごとに算出してもよい。そして、類似度算出部は、複数の代表特徴量と参照画像の特徴点ごとの特徴量とを比較し、代表特徴量に最近傍となる特徴量の出現頻度を代表特徴量ごとに算出してもよい。さらに、類似度算出部は、入力画像における出現頻度の分布、及び参照画像における出現頻度の分布に基づいて、類似度を算出してもよい。このように構成することで、予め定めた複数のカテゴリの代表特徴量に対してどの程度類似するのかを入力画像及び参照画像それぞれで出現頻度の分布として算出することができる。このため、算出された出現頻度の分布を比較等することによって、画像の類似度を適切に算出することができる。
【００１０】
一実施形態においては、画像類似度算出装置がサイズ調整部を備えてもよい。サイズ調整部は、入力画像及び参照画像の中央領域又は着目領域の大きさが一定値となるように入力画像及び参照画像の大きさを調整する。この場合、特徴点取得部は、サイズ調整部により大きさが調整された後の入力画像及び参照画像から特徴点を取得してもよい。このように構成することで、特徴量を抽出する領域を一定レベル以上に確保することができる。
【００１１】
また、本発明の他の側面に係る画像類似度算出方法は、画像と参照画像との類似度を算出する方法である。この方法は、特徴点取得ステップ、特徴量記述ステップ及び類似度算出ステップを備える。特徴点取得ステップでは、入力画像及び参照画像の特徴点を取得する。特徴量記述ステップでは、入力画像及び参照画像の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出ステップでは、入力画像及び参照画像の特徴点ごとの特徴量に基づいて、入力画像と参照画像との類似度を算出する。
【００１２】
また、本発明の他の側面に係る画像類似度算出プログラムは、入力画像と参照画像との類似度を算出するようにコンピュータを動作させるプログラムである。このプログラムは、コンピュータを、特徴点取得部、特徴量記述部及び類似度算出部として動作させる。特徴点取得部は、入力画像及び参照画像の特徴点を取得する。特徴点記述部は、入力画像及び参照画像の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出部は、入力画像及び参照画像の特徴点ごとの特徴量に基づいて、入力画像と参照画像との類似度を算出する。
【００１３】
また、本発明の他の側面に係る記録媒体は、入力画像と参照画像との類似度を算出するようにコンピュータを動作させる画像類似度算出プログラムが記録されたコンピュータ読み取り可能な記録媒体である。このプログラムは、コンピュータを、特徴点取得部、特徴量記述部及び類似度算出部として動作させる。特徴点取得部は、入力画像及び参照画像の特徴点を取得する。特徴点記述部は、入力画像及び参照画像の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出部は、入力画像及び参照画像の特徴点ごとの特徴量に基づいて、入力画像と参照画像との類似度を算出する。
【００１４】
上述した画像類似度算出方法、画像類似度算出プログラム及び画像類似度算出ブログラムが記録された記録媒体によれば、上述した画像類似度算出装置と同様の効果を奏する。
【発明の効果】
【００１５】
以上説明したように、本発明の種々の側面及び実施形態によれば、反転関係にある画像同士が類似していると判断することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る画像類似度算出装置を搭載した携帯端末の機能ブロック図である。
【図２】図１中の画像類似度算出装置が搭載される携帯端末のハードウェア構成図である。
【図３】図１中の画像類似度算出装置のヒストグラム作成動作を示すフローチャートである。
【図４】画像のサイズ調整を説明する概要図である。
【図５】特徴点及びスケールを説明する概要図である。
【図６】局所特徴量を説明する概要図である。
【図７】反転関係を有する画像における局所特徴量を説明する概要図である。
【図８】スケールの他の例を説明する概要図である。
【図９】（Ａ）は、形状ヒストグラムの一例である。（Ｂ）は、色ヒストグラムの一例である。
【図１０】図１中の画像類似度算出装置の類似度算出動作を示すフローチャートである。
【図１１】画像類似度算出装置の変形例の機能ブロック図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１８】
本実施形態に係る画像類似度算出装置は、入力画像と参照画像との類似度を算出する装置である。この装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）又は通常のコンピュータシステム等に搭載される。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像類似度算出装置の一例として、携帯端末に搭載される画像類似度算出装置を説明する。
【００１９】
図１は、本実施形態に係る画像類似度算出装置１を備える携帯端末２の機能ブロック図である。図１に示す携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示すハードウェア構成を有する。図２は、携帯端末２のハードウェア構成図である。図２に示すように、携帯端末２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像類似度算出装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像類似度算出装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。
【００２０】
図１に示すように、携帯端末２は、画像類似度算出装置１及び表示部３２を備えている。画像類似度算出装置１は、画像入力部１０、サイズ調整部１１、局所特徴量抽出部（特徴点取得部、特徴量記述部）１２、色特徴量抽出部１３及び類似度算出部１４を備えている。
【００２１】
画像入力部１０は、比較する２つの画像データを入力する機能を有している。画像入力部１０は、入力画像３０及び参照画像３１を入力する。画像入力部１０は、例えば、携帯端末２に搭載されたカメラにより撮像された入力画像３０を入力してもよいし、通信を介して入力画像３０を入力してもよい。また、既に携帯端末２の主記憶装置又は補助記憶装置１０５に記録された入力画像３０を入力してもよい。同様に、画像入力部１０は、例えば、携帯端末２に搭載されたカメラにより撮像された参照画像３１を入力してもよいし、通信を介して参照画像３１を入力してもよい。また、既に携帯端末２の主記憶装置又は補助記憶装置１０５に記録された参照画像３１を入力してもよい。
【００２２】
サイズ調整部１１は、画像の大きさを調整する機能を有している。例えば、サイズ調整部１１は、画像の中央を含む中央領域の面積の大きさが一定値となるように、アスペクト比を維持しながら画像の大きさを調整（拡大又は縮小）する。なお、サイズ調整部１１は、着目しているオブジェクトの領域（着目領域）の面積の大きさが一定値となるように画像の大きさを調整してもよい。着目領域は、例えばユーザにより指定された領域、又は、物体検出技術等により自動的に抽出された領域が用いられる。サイズ調整部１１は、入力画像３０及び参照画像３１の画像の大きさをそれぞれ調整する。
【００２３】
局所特徴量抽出部１２は、画像の局所的な特徴量を抽出する機能を有している。ここで局所的特徴量とは、描画された物体の形状に関する特徴であり、本実施形態では回転及び反転に対して不変となるように記述される。まず、局所特徴量抽出部１２は、サイズ調整部１１により大きさが調整された画像の特徴点を取得する。特徴点の設定方法は特に限定されない。例えば、画像上にグリッド状に配置された点であってもよい。また、ランダムにサンプリングした点であってもよい。また、コーナー検出法によって取得された特徴点であってもよい。
【００２４】
そして、局所特徴量抽出部１２は、設定された特徴点の座標及び当該特徴点を含む所定領域内の画素の輝度値に基づいて、特徴点ごとに特徴量を算出する。所定領域とは、例えば、当該特徴点を中心とする略円状の固定領域である。局所特徴量抽出部１２は、所定領域内の画素の輝度値に基づいて、エッジ情報を取得する。局所特徴量抽出部１２は、所定領域内のエッジ強度に基づいてエッジ方向を複数算出し、算出された複数のエッジ方向を組み合わせたものを当該特徴点の特徴量として記述する。具体的には、局所特徴量抽出部１２は、最も度数の多いエッジ方向を主エッジ方向として算出するとともに、主エッジ方向から右回り１８０度のエッジ強度の総和と左回り１８０度のエッジ強度の総和とを比較することによって主エッジ方向に直交する副エッジ方向を算出する。そして、局所特徴量抽出部１２は、主エッジ方向及び副エッジ方法を組み合わせた方向（向き）を基準として特徴量を記述する。
【００２５】
色特徴量抽出部１３は、画像の色に関する特徴量を抽出する機能を有している。例えば、色特徴量抽出部１３は、画像全体の大域的な色の特徴を抽出する。例えば、色ヒストグラムとセグメンテーションを用いて領域の大きさと形状とを考慮した特徴ベクトルを算出する。
【００２６】
類似度算出部１４は、入力画像３０と参照画像３１とを比較した場合の類似度を算出する機能を有している。類似度算出部１４は、例えば、形状ヒストグラム生成部１４１、色ヒストグラム生成部１４２及び演算部１４３を備えている。
【００２７】
形状ヒストグラム生成部１４１は、特徴点ごとに取得された局所特徴量に基づいて、入力画像３０及び参照画像３１のベクトル量子化ヒストグラムを作成する。形状ヒストグラム生成部１４１は、例えば、ＢＡＧ−ｏｆ−Ｖｉｓｕａｌ Ｗｏｒｄｓを用いてベクトル量子化ヒストグラムを作成する。従来の手法では、ＳＩＦＴ又はＳＵＲＦ等の局所特徴量を採用している。ここでは、上述した回転及び反転に対して不変となる局所特徴量を用いてベクトル量子化ヒストグラムを生成する。
【００２８】
まず、複数の学習画像を用いて、局所特徴量を抽出し、局所特徴量空間における局所特徴量の分布に基づいてベクトル量子化を行う。ベクトル量子化においては、局所特徴量空間を予め定めたｎ個の領域に分割する。この空間分割には、ｋ−ｍｅａｎｓ等の手法が用いられる。これにより、局所特徴量はその属する分割領域に応じて、ｎ個のカテゴリ（Ｖｉｓｕａｌ ＷｏｒｄｓのＩＤ）に分類される。
【００２９】
形状ヒストグラム生成部１４１は、各カテゴリに分類される局所特徴量の出現頻度を算出する。ここで、各分割領域において確率密度分布の重心となるベクトルを代表特徴量とすると、どのカテゴリに分類されるか判定するために代表特徴量との距離を利用してもよい。この場合、形状ヒストグラム生成部１４１は、予め作成された複数の代表特徴量と入力画像３０の特徴点ごとの局所特徴量とを比較する。そして、代表特徴量に最近傍となる局所特徴量の出現頻度を代表特徴量ごとに算出する。すなわち、入力画像３０の局所特徴量に基づいて、横軸（等級）が代表特徴量（カテゴリ）、縦軸が局所特徴量の出現頻度となる形状ヒストグラムを作成する。この形状ヒストグラムそのものが入力画像３０の形状特徴となる。すなわち、出現頻度の分布が形状特徴となる。
【００３０】
同様に、形状ヒストグラム生成部１４１は、予め作成された複数の代表特徴量と参照画像３１の特徴点ごとの局所特徴量とを比較する。そして、代表特徴量に最近傍となる局所特徴量の出現頻度を代表特徴量ごとに算出する。すなわち、参照画像３１の局所特徴量に基づいて、横軸（等級）が代表特徴量（カテゴリ）、縦軸が局所特徴量の出現頻度となる形状ヒストグラムを作成する。この形状ヒストグラムそのものが参照画像３１の形状特徴となる。
【００３１】
色ヒストグラム生成部１４２は、色特徴量抽出部１３により抽出された色特徴量を用いて色ヒストグラムを生成する。例えば、横軸（等級）がセグメンテーションされた領域の大きさ、形状又は色等により算出された特徴量、縦軸が特徴量の出現頻度となる色ヒストグラムを作成する。この色ヒストグラムそのものが入力画像３０の色特徴となる。色ヒストグラム生成部１４２は、入力画像３０及び参照画像３１の色ヒストグラムをそれぞれ作成する。
【００３２】
演算部１４３は、入力画像３０及び参照画像３１の形状ヒストグラム（出現頻度の分布）に基づいて、入力画像３０と参照画像３１との形状に関する類似度を算出する。演算部１４３は、さらに、入力画像３０及び参照画像３１の色ヒストグラムに基づいて、入力画像３０と参照画像３１との色に関する類似度を算出する。そして、演算部１４３は、形状に関する類似度及び色に関する類似度に基づいて、最終的な類似度を算出する。ヒストグラムを用いた類似度の算出には、例えばＨｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎが用いられる。なお、ヒストグラムの空間をＰＣＡやＬＤＡなどにより変換し、その変換後のベクトル間の距離に基づいて類似度を算出してもよい。
【００３３】
表示部３２は、演算部１４３により算出された類似度を表示する。表示部３２として、例えばディスプレイが用いられる。
【００３４】
次に、本実施形態に係る画像類似度算出装置１の動作を説明する。図３は、本実施形態に係る画像類似度算出装置１のヒストグラム作成動作を示すフローチャートである。図３に示す制御処理は、例えば携帯端末２に備わる処理開始ボタンがＯＮされたタイミングで実行される。
【００３５】
図３に示すように、画像入力部１０が入力画像３０及び参照画像３１をそれぞれ入力する（Ｓ１０）。Ｓ１０の処理が終了すると、サイズ調整処理へ移行する（Ｓ１２）。Ｓ１２の処理では、サイズ調整部１１が入力画像３０及び参照画像３１の大きさをそれぞれ調整する。サイズ調整の例を、図４を用いて説明する。図４は、入力画像３０を例にした画像サイズ調整の説明図である。図４に示すように、サイズ調整部１１は、画像の上下方向の調整パラメータｈ及び左右方向の調整パラメータｗを設定する。そして、中央領域３０ａの面積（画素）が一定になるパラメータｗ及びｈを算出する。これにより、サイズ調整部１１は、アスペクト比を維持しながら画像の大きさを調整する。なお、図４では、入力画像３０の大きさを調整する場合を説明したが、参照画像３１の大きさについても同様に調整する。Ｓ１２の処理が終了すると、局所特徴量抽出処理（Ｓ１４（特徴点取得ステップ、特徴量記述ステップ））及び色特徴量抽出処理（Ｓ２０）へ移行する。
【００３６】
Ｓ１４の処理では、局所特徴量抽出部１２が、Ｓ１２の処理で入力された入力画像３０及び参照画像３１から局所特徴量を抽出する。特徴点の取得の例を図５を用いて説明する。図５は、入力画像３０を例にした特徴点の取得を説明する概要図である。図５に示すように、局所特徴量抽出部１２は、グリッド状に配置された格子点Ｔｓ（ｓ：整数）の座標を特徴点として取得する。なお、コーナー検出を利用して、各格子点に最近傍のコーナーを特徴点として取得してもよい。そして、局所特徴量抽出部１２は、特徴点Ｔｓを中心とする円領域Ｃｓを、特徴量を抽出するための領域に設定する。
【００３７】
次に、局所特徴量抽出部１２は、特徴点ごとに局所特徴量を取得する。局所特徴量の取得の例を、図６を用いて説明する。図６は、入力画像３０を例にした局所特徴量の取得を説明する概要図である。図６に示すように、特徴点Ｔｓの特徴量を取得する場合を説明する。まず、局所特徴量抽出部１２は、特徴点Ｔｓの座標位置及び領域Ｃｓを取得する。次に、局所特徴量抽出部１２は、領域Ｃｓ内の輝度値に基づいてエッジ情報を取得する。そして、局所特徴量抽出部１２は、領域Ｃｓ内のエッジ方向を２４方向に積算し、最も大きなエッジ方向を主エッジ方向として決定する。次に、主エッジ方向を中心として、右回り１８０°の範囲の方向に向いているエッジ強度の総和と、主エッジ方向を中心として、左回り１８０°の範囲の方向に向いているエッジ強度の総和と、を比較して副エッジ方向を算出する。例えば、局所特徴量抽出部１２は、エッジ強度の総和が大きい方向を副エッジ方向とする。その後、主エッジ方向と副エッジ方向とを基準として記述ブロックＢｔ（ｔ：整数）を設定する。これにより、フリップ不変（反転不変）の特徴量を記述できる。図７は、入力画像３０と、入力画像３０と反転関係を有する参照画像３１の一例である。主エッジ方向と副エッジ方向とを基準として記述ブロックＢｔを設定するため、図７に示すように、入力画像３０及び参照画像３１の記述ブロックＢｔは、同一のオブジェクト位置に関するエッジ方向を記述することになる。その後、局所特徴量抽出部１２は、記述ブロックＢｔごとに２４方向のエッジ強度を算出して、各方向を等級とする方向ヒストグラムを作成する。なお、２４方向のエッジ強度を方向に応じて総和をとり、８方向の方向ヒストグラムとしてもよい。また、図８に示すように、領域Ｃｓの半径を変更させて、それぞれ局所特徴量を記述するようにしてもよい。図８では、領域Ｃｓの半径を４段階に変更している。局所特徴量抽出部１２は、全ての特徴点Ｔｓについて局所特徴量を記述する。Ｓ１４の処理が終了すると、分類処理へ移行する（Ｓ１６）。
【００３８】
Ｓ１６の処理では、形状ヒストグラム生成部１４１が、Ｓ１４の処理で記述された局所特徴量を分類する。形状ヒストグラム生成部１４１は、局所特徴量を、予め学習したＶｉｓｕａｌ ＷｏｒｄのＩＤを用いて符号化する。形状ヒストグラム生成部１４１は、局所特徴量と代表特徴ベクトルとを比較し、最近傍の代表特徴ベクトルとなるＶｉｓｕａｌ ＷｏｒｄのＩＤで符号化する。Ｓ１６の処理が終了すると、形状ヒストグラム生成処理へ移行する（Ｓ１８）。
【００３９】
Ｓ１８の処理では、形状ヒストグラム生成部１４１が、Ｓ１６の処理で符号化された局所特徴量を用いて、形状ヒストグラムを生成する。形状ヒストグラム生成部１４１は、上述したＩＤごとに出現頻度をカウントすることによって形状ヒストグラムを生成する。図９の（Ａ）は、ｎ個のＩＤが存在している場合の形状ヒストグラムの一例である。Ｓ１８の処理が終了すると、形状特徴に関する処理は終了となる。
【００４０】
一方、Ｓ２０の処理では、色特徴量抽出部１３が、入力画像３０及び参照画像３１の色特徴量をそれぞれ抽出する（Ｓ２０）。色特徴量抽出部１３は、各色の連続する領域の大きさを算出する。そして、色ヒストグラム生成部１４２は、領域の大きさ及び色に基づいて、又は、領域の大きさ、色及び領域形状の複雑さに基づいて、等級を作成して色ヒストグラムを作成する（Ｓ２２）。図９の（Ｂ）は、ｍ個のカテゴリに分類された色ヒストグラムの一例である。これにより、同一の色でも異なる領域の大きさを有する画像を区別することができる。Ｓ２２の処理が終了すると、色特徴に関する処理は終了となる。
【００４１】
以上で図３に示す制御処理を終了する。図３に示す制御処理を実行することにより、入力画像３０及び参照画像３１それぞれについて、形状及び色に関するヒストグラムが作成される。なお、説明理解の容易性を考慮して、入力画像３０及び参照画像３１を纏めて処理する例を説明したが、別々に処理してもよい。また、Ｓ１４〜Ｓ１８の処理とＳ２０〜Ｓ２２の処理とを別々に処理してもよい。
【００４２】
次に、本実施形態に係る画像類似度算出装置１の類似度算出動作を説明する。図１０は、本実施形態に係る画像類似度算出装置１の類似度算出動作を示すフローチャートである。図１０に示す制御処理は、例えば図３に示す制御処理の終了後に実行される。
【００４３】
図１０に示すように、演算部１４３が入力画像３０のヒストグラムを入力する（Ｓ３０）。そして、演算部１４３が参照画像３１のヒストグラムを入力する（Ｓ３２）。そして、演算部１４３は、類似度を算出する（Ｓ３４：類似度算出ステップ）。演算部１４３は、入力画像３０の形状ヒストグラム及び色ヒストグラムを、参照画像３１の形状ヒストグラム及び色ヒストグラムとそれぞれ比較する。演算部１４３は、特徴量（等級）ごとにＨｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎを用いて評価する。例えば、入力画像３０をｘ、入力画像３０のｉ番目の等級をｘｉ、参照画像３１をｙ、参照画像３１のｉ番目の等級をｙｉとすると、以下の式１を用いて類似度を算出する。
【数１】
ここで、形状ヒストグラムにより算出された類似度をＳｓｈａｐｅ、色ヒストグラムにより算出された類似度をＳcolorとすると、総合的な類似度Ｓａｌｌを以下の式２で算出する。
【数２】
ここで、ｗｓｈａｐｅ及びｗcolorは形状及び色の重みであり、適宜設定される。Ｓ３４の処理が終了すると、図１０に示す制御処理を終了する。
【００４４】
以上、図１０に示す制御処理を実行することにより、形状ヒストグラム及び色ヒストグラムを用いて類似度が算出される。なお、形状ヒストグラムのみを用いて類似度を算出し、総合的な類似度としてもよい。また、テクスチャ特徴など、異なる特徴をさらに加えて類似度を算出してもよい。
【００４５】
次に、携帯端末２（コンピュータ）を画像類似度算出装置１として機能させるための画像類似度算出プログラムを説明する。
【００４６】
画像類似度算出プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像３０及び参照画像３１を取得するように携帯端末２を動作させる。演算処理モジュールは、サイズ調整モジュール、局所特徴量抽出モジュール、色特徴量抽出モジュール及び類似度演算モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像類似度算出装置１の画像入力部１０、サイズ調整部１１、局所特徴量抽出部１２、色特徴量抽出部１３及び類似度算出部１４の機能とそれぞれ同様である。
【００４７】
画像類似度算出プログラムは、例えば、コンピュータ読み取り可能なＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像類似度算出プログラムは、データ信号としてネットワークを介して提供されてもよい。
【００４８】
以上、本実施形態に係る画像類似度算出装置１によれば、回転のみならず反転に対して不変となる特徴量を画像から抽出し、該特徴量を用いて画像の類似度を算出する。このため、反転関係にある画像同士が類似していると判断することができる。従来の局所特徴量であるＳＩＦＴ及びＳＵＲＦにあっては、左右反転に対して異なる記述をするため、反転関係にある画像同士が類似していると判断することが容易にはできない。また、ＳＩＦＴ及びＳＵＲＦによる特徴量を用いて、このような反転された部分画像を類似していると判断するためには、後段でヒューリスティックな処理や学習を利用する等の間接的な処理が必要となる。これに対して、本実施形態に係る画像類似度算出装置１によれば、特徴量そのものを反転に関して不変となるように記述できるため、オブジェクトの反転を容易に取り扱うことができる。さらに、従来必要であった後処理や学習等における反転不変に関するパラメータについては不要となる。このため、類似度を適切に算出するためのパラメータの解空間を狭めることができるので、処理の安定性を高めることができる。
【００４９】
また、本実施形態に係る画像類似度算出装置１によれば、主エッジ方向及び副エッジ方向を用いて、回転のみならず反転に対して不変となる特徴量を容易に記述することができる。
【００５０】
また、本実施形態に係る画像類似度算出装置１によれば、予め定めた複数のカテゴリの代表特徴量に対してどの程度類似するのかを入力画像３０及び参照画像３１それぞれで出現頻度の分布として算出することができる。このため、算出された出現頻度の分布を比較等することによって、画像の類似度を適切に算出することができる。
【００５１】
また、本実施形態に係る画像類似度算出装置１によれば、サイズ調整部１１により入力画像３０及び参照画像３１の大きさをそれぞれ調整するため、特徴量を抽出する領域を一定レベル以上に確保し、画像の解像度や画像中の着目物体の大きさに依存しない特徴量を記述することができる。
【００５２】
なお、上述した実施形態は本発明に係る画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体の一例を示すものであり、実施形態に係る装置、方法、プログラム及び記録媒体に限られるものではなく、変形し、又は他のものに適用したものであってもよい。
【００５３】
例えば、上述した実施形態では、主エッジ方向及び副エッジ方向を組み合わせた方向を基準として特徴量を記述する例を説明したが、３以上のエッジ方向を組み合わせた方向を基準として特徴量を記述してもよい。
【００５４】
また、上述した実施形態では、全ての特徴点を設定した後に局所特徴量を取得する例を説明したが、特徴点を設定する度に局所特徴量を取得してもよい。
【００５５】
また、上述した実施形態では、入力画像３０及び参照画像３１が同時に入力される場合を説明したが、これに限られるものではない。すなわち、複数の参照画像３１を予め用意し、参照画像３１のヒストグラムについては事前に取得しておき、その後、入力画像３０を検索画像として入力してもよい。このような構成を図１１に示す。図１１では、画像類似度算出装置１は、参照画像サーバ１００と接続されている。参照画像サーバ１００は、参照画像ＤＢ３４及び参照画像ヒストグラムＤＢ３３を備えている。参照画像ＤＢ３４は、例えば参照画像３１を格納する。参照画像サーバ１００は、例えば参照画像３１をインターネット上に存在する画像とする。この場合、参照画像ＤＢ３４は、参照画像３１そのものを格納するのではなく、ＵＲＬ及びサムネイルを格納すればよい。参照画像ヒストグラムＤＢ３３は、参照画像３１の形状ヒストグラム及び色ヒストグラムを格納する。
【００５６】
画像類似度算出装置１は、入力画像３０に関して形状ヒストグラム及び色ヒストグラムを作成する。そして、演算部１４３は、参照画像サーバ１００から参照画像３１の形状ヒストグラム及び色ヒストグラムを入力する。そして、演算部１４３は、形状ヒストグラム及び色ヒストグラムを画像間で比較し、類似度を算出する。画像類似度算出装置１は、算出した類似度を参照画像サーバ１００へ送信する。参照画像サーバ１００は、類似度の高い参照画像３１（例えば上位ｘ番目までの参照画像３１）又はそれらのＵＲＬ及びサムネイルを携帯端末２へ送信し表示させる。このように、画像類似度算出装置１は、類似画像検索システムの一部として採用することができる。
【符号の説明】
【００５７】
１…画像類似度算出装置、１１…サイズ調整部、１２…局所特徴量抽出部（特徴点取得部、特徴量記述部）、１３…色特徴量抽出部、１４…類似度算出部。
【技術分野】
【０００１】
本発明は、画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
従来、画像類似度算出装置として、入力画像と参照画像との類似度を、局所特徴量を用いて算出するものが知られている（例えば、特許文献１参照。）。特許文献１記載の装置は、画像から適宜選択された局所的な特徴点それぞれについて、回転、拡大及び縮小に不変となる局所的な形状の特徴量（局所特徴量）を算出する。そして、入力画像及び参照画像の局所特徴量を用いて類似度を算出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の画像類似度算出装置にあっては、特徴点周辺の部分画像と当該部分画像とを比較する際に、左右又は上下に反転した画像は全く別のものであると判定する。当技術分野では、反転関係にある画像同士が類似していると判断することができる画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体が望まれている。
【課題を解決するための手段】
【０００５】
すなわち本発明の一側面に係る画像類似度算出装置は、入力画像と参照画像との類似度を算出する装置である。この装置は、特徴点取得部、特徴量記述部及び類似度算出部を備える。特徴点取得部は、入力画像及び参照画像の特徴点を取得する。特徴点記述部は、入力画像及び参照画像の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出部は、入力画像及び参照画像の特徴点ごとの特徴量に基づいて、入力画像と参照画像との類似度を算出する。
【０００６】
この画像類似度算出装置では、回転のみならず反転に対して不変となる特徴量を画像から抽出し、該特徴量を用いて画像の類似度を算出する。このため、反転関係にある画像同士が類似していると判断することができる。
【０００７】
一実施形態においては、特徴量記述部は、特徴点を含む所定領域内のエッジ強度に基づいてエッジ方向を複数算出し、算出された複数のエッジ方向を組み合わせた向きを基準として当該特徴点の特徴量を記述してもよい。このように構成することで、少なくとも２方向の特徴ベクトルを基準として特徴量を記述することができるため、回転のみならず反転に対して不変となる特徴量を記述することができる。
【０００８】
一実施形態においては、特徴量記述部は、最も度数の多いエッジ方向を主エッジ方向として算出し、主エッジ方向から右回り１８０度のエッジ強度の総和と左回り１８０度のエッジ強度の総和とを比較することによって主エッジ方向に直交する副エッジ方向を算出し、主エッジ方向及び副エッジ方法を組み合わせた向きを基準として特徴点の特徴量を記述してもよい。このように構成することで、主エッジ方向及び副エッジ方向を用いて、回転のみならず反転に対して不変となる特徴量を容易に記述することができる。
【０００９】
一実施形態においては、類似度算出部は、予め作成された複数の代表特徴量と入力画像の特徴点ごとの特徴量とを比較し、代表特徴量に最近傍となる特徴量の出現頻度を代表特徴量ごとに算出してもよい。そして、類似度算出部は、複数の代表特徴量と参照画像の特徴点ごとの特徴量とを比較し、代表特徴量に最近傍となる特徴量の出現頻度を代表特徴量ごとに算出してもよい。さらに、類似度算出部は、入力画像における出現頻度の分布、及び参照画像における出現頻度の分布に基づいて、類似度を算出してもよい。このように構成することで、予め定めた複数のカテゴリの代表特徴量に対してどの程度類似するのかを入力画像及び参照画像それぞれで出現頻度の分布として算出することができる。このため、算出された出現頻度の分布を比較等することによって、画像の類似度を適切に算出することができる。
【００１０】
一実施形態においては、画像類似度算出装置がサイズ調整部を備えてもよい。サイズ調整部は、入力画像及び参照画像の中央領域又は着目領域の大きさが一定値となるように入力画像及び参照画像の大きさを調整する。この場合、特徴点取得部は、サイズ調整部により大きさが調整された後の入力画像及び参照画像から特徴点を取得してもよい。このように構成することで、特徴量を抽出する領域を一定レベル以上に確保することができる。
【００１１】
また、本発明の他の側面に係る画像類似度算出方法は、画像と参照画像との類似度を算出する方法である。この方法は、特徴点取得ステップ、特徴量記述ステップ及び類似度算出ステップを備える。特徴点取得ステップでは、入力画像及び参照画像の特徴点を取得する。特徴量記述ステップでは、入力画像及び参照画像の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出ステップでは、入力画像及び参照画像の特徴点ごとの特徴量に基づいて、入力画像と参照画像との類似度を算出する。
【００１２】
また、本発明の他の側面に係る画像類似度算出プログラムは、入力画像と参照画像との類似度を算出するようにコンピュータを動作させるプログラムである。このプログラムは、コンピュータを、特徴点取得部、特徴量記述部及び類似度算出部として動作させる。特徴点取得部は、入力画像及び参照画像の特徴点を取得する。特徴点記述部は、入力画像及び参照画像の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出部は、入力画像及び参照画像の特徴点ごとの特徴量に基づいて、入力画像と参照画像との類似度を算出する。
【００１３】
また、本発明の他の側面に係る記録媒体は、入力画像と参照画像との類似度を算出するようにコンピュータを動作させる画像類似度算出プログラムが記録されたコンピュータ読み取り可能な記録媒体である。このプログラムは、コンピュータを、特徴点取得部、特徴量記述部及び類似度算出部として動作させる。特徴点取得部は、入力画像及び参照画像の特徴点を取得する。特徴点記述部は、入力画像及び参照画像の特徴点ごとに回転及び反転に対して不変となる特徴量を記述する。類似度算出部は、入力画像及び参照画像の特徴点ごとの特徴量に基づいて、入力画像と参照画像との類似度を算出する。
【００１４】
上述した画像類似度算出方法、画像類似度算出プログラム及び画像類似度算出ブログラムが記録された記録媒体によれば、上述した画像類似度算出装置と同様の効果を奏する。
【発明の効果】
【００１５】
以上説明したように、本発明の種々の側面及び実施形態によれば、反転関係にある画像同士が類似していると判断することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る画像類似度算出装置を搭載した携帯端末の機能ブロック図である。
【図２】図１中の画像類似度算出装置が搭載される携帯端末のハードウェア構成図である。
【図３】図１中の画像類似度算出装置のヒストグラム作成動作を示すフローチャートである。
【図４】画像のサイズ調整を説明する概要図である。
【図５】特徴点及びスケールを説明する概要図である。
【図６】局所特徴量を説明する概要図である。
【図７】反転関係を有する画像における局所特徴量を説明する概要図である。
【図８】スケールの他の例を説明する概要図である。
【図９】（Ａ）は、形状ヒストグラムの一例である。（Ｂ）は、色ヒストグラムの一例である。
【図１０】図１中の画像類似度算出装置の類似度算出動作を示すフローチャートである。
【図１１】画像類似度算出装置の変形例の機能ブロック図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１８】
本実施形態に係る画像類似度算出装置は、入力画像と参照画像との類似度を算出する装置である。この装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）又は通常のコンピュータシステム等に搭載される。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像類似度算出装置の一例として、携帯端末に搭載される画像類似度算出装置を説明する。
【００１９】
図１は、本実施形態に係る画像類似度算出装置１を備える携帯端末２の機能ブロック図である。図１に示す携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示すハードウェア構成を有する。図２は、携帯端末２のハードウェア構成図である。図２に示すように、携帯端末２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像類似度算出装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像類似度算出装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。
【００２０】
図１に示すように、携帯端末２は、画像類似度算出装置１及び表示部３２を備えている。画像類似度算出装置１は、画像入力部１０、サイズ調整部１１、局所特徴量抽出部（特徴点取得部、特徴量記述部）１２、色特徴量抽出部１３及び類似度算出部１４を備えている。
【００２１】
画像入力部１０は、比較する２つの画像データを入力する機能を有している。画像入力部１０は、入力画像３０及び参照画像３１を入力する。画像入力部１０は、例えば、携帯端末２に搭載されたカメラにより撮像された入力画像３０を入力してもよいし、通信を介して入力画像３０を入力してもよい。また、既に携帯端末２の主記憶装置又は補助記憶装置１０５に記録された入力画像３０を入力してもよい。同様に、画像入力部１０は、例えば、携帯端末２に搭載されたカメラにより撮像された参照画像３１を入力してもよいし、通信を介して参照画像３１を入力してもよい。また、既に携帯端末２の主記憶装置又は補助記憶装置１０５に記録された参照画像３１を入力してもよい。
【００２２】
サイズ調整部１１は、画像の大きさを調整する機能を有している。例えば、サイズ調整部１１は、画像の中央を含む中央領域の面積の大きさが一定値となるように、アスペクト比を維持しながら画像の大きさを調整（拡大又は縮小）する。なお、サイズ調整部１１は、着目しているオブジェクトの領域（着目領域）の面積の大きさが一定値となるように画像の大きさを調整してもよい。着目領域は、例えばユーザにより指定された領域、又は、物体検出技術等により自動的に抽出された領域が用いられる。サイズ調整部１１は、入力画像３０及び参照画像３１の画像の大きさをそれぞれ調整する。
【００２３】
局所特徴量抽出部１２は、画像の局所的な特徴量を抽出する機能を有している。ここで局所的特徴量とは、描画された物体の形状に関する特徴であり、本実施形態では回転及び反転に対して不変となるように記述される。まず、局所特徴量抽出部１２は、サイズ調整部１１により大きさが調整された画像の特徴点を取得する。特徴点の設定方法は特に限定されない。例えば、画像上にグリッド状に配置された点であってもよい。また、ランダムにサンプリングした点であってもよい。また、コーナー検出法によって取得された特徴点であってもよい。
【００２４】
そして、局所特徴量抽出部１２は、設定された特徴点の座標及び当該特徴点を含む所定領域内の画素の輝度値に基づいて、特徴点ごとに特徴量を算出する。所定領域とは、例えば、当該特徴点を中心とする略円状の固定領域である。局所特徴量抽出部１２は、所定領域内の画素の輝度値に基づいて、エッジ情報を取得する。局所特徴量抽出部１２は、所定領域内のエッジ強度に基づいてエッジ方向を複数算出し、算出された複数のエッジ方向を組み合わせたものを当該特徴点の特徴量として記述する。具体的には、局所特徴量抽出部１２は、最も度数の多いエッジ方向を主エッジ方向として算出するとともに、主エッジ方向から右回り１８０度のエッジ強度の総和と左回り１８０度のエッジ強度の総和とを比較することによって主エッジ方向に直交する副エッジ方向を算出する。そして、局所特徴量抽出部１２は、主エッジ方向及び副エッジ方法を組み合わせた方向（向き）を基準として特徴量を記述する。
【００２５】
色特徴量抽出部１３は、画像の色に関する特徴量を抽出する機能を有している。例えば、色特徴量抽出部１３は、画像全体の大域的な色の特徴を抽出する。例えば、色ヒストグラムとセグメンテーションを用いて領域の大きさと形状とを考慮した特徴ベクトルを算出する。
【００２６】
類似度算出部１４は、入力画像３０と参照画像３１とを比較した場合の類似度を算出する機能を有している。類似度算出部１４は、例えば、形状ヒストグラム生成部１４１、色ヒストグラム生成部１４２及び演算部１４３を備えている。
【００２７】
形状ヒストグラム生成部１４１は、特徴点ごとに取得された局所特徴量に基づいて、入力画像３０及び参照画像３１のベクトル量子化ヒストグラムを作成する。形状ヒストグラム生成部１４１は、例えば、ＢＡＧ−ｏｆ−Ｖｉｓｕａｌ Ｗｏｒｄｓを用いてベクトル量子化ヒストグラムを作成する。従来の手法では、ＳＩＦＴ又はＳＵＲＦ等の局所特徴量を採用している。ここでは、上述した回転及び反転に対して不変となる局所特徴量を用いてベクトル量子化ヒストグラムを生成する。
【００２８】
まず、複数の学習画像を用いて、局所特徴量を抽出し、局所特徴量空間における局所特徴量の分布に基づいてベクトル量子化を行う。ベクトル量子化においては、局所特徴量空間を予め定めたｎ個の領域に分割する。この空間分割には、ｋ−ｍｅａｎｓ等の手法が用いられる。これにより、局所特徴量はその属する分割領域に応じて、ｎ個のカテゴリ（Ｖｉｓｕａｌ ＷｏｒｄｓのＩＤ）に分類される。
【００２９】
形状ヒストグラム生成部１４１は、各カテゴリに分類される局所特徴量の出現頻度を算出する。ここで、各分割領域において確率密度分布の重心となるベクトルを代表特徴量とすると、どのカテゴリに分類されるか判定するために代表特徴量との距離を利用してもよい。この場合、形状ヒストグラム生成部１４１は、予め作成された複数の代表特徴量と入力画像３０の特徴点ごとの局所特徴量とを比較する。そして、代表特徴量に最近傍となる局所特徴量の出現頻度を代表特徴量ごとに算出する。すなわち、入力画像３０の局所特徴量に基づいて、横軸（等級）が代表特徴量（カテゴリ）、縦軸が局所特徴量の出現頻度となる形状ヒストグラムを作成する。この形状ヒストグラムそのものが入力画像３０の形状特徴となる。すなわち、出現頻度の分布が形状特徴となる。
【００３０】
同様に、形状ヒストグラム生成部１４１は、予め作成された複数の代表特徴量と参照画像３１の特徴点ごとの局所特徴量とを比較する。そして、代表特徴量に最近傍となる局所特徴量の出現頻度を代表特徴量ごとに算出する。すなわち、参照画像３１の局所特徴量に基づいて、横軸（等級）が代表特徴量（カテゴリ）、縦軸が局所特徴量の出現頻度となる形状ヒストグラムを作成する。この形状ヒストグラムそのものが参照画像３１の形状特徴となる。
【００３１】
色ヒストグラム生成部１４２は、色特徴量抽出部１３により抽出された色特徴量を用いて色ヒストグラムを生成する。例えば、横軸（等級）がセグメンテーションされた領域の大きさ、形状又は色等により算出された特徴量、縦軸が特徴量の出現頻度となる色ヒストグラムを作成する。この色ヒストグラムそのものが入力画像３０の色特徴となる。色ヒストグラム生成部１４２は、入力画像３０及び参照画像３１の色ヒストグラムをそれぞれ作成する。
【００３２】
演算部１４３は、入力画像３０及び参照画像３１の形状ヒストグラム（出現頻度の分布）に基づいて、入力画像３０と参照画像３１との形状に関する類似度を算出する。演算部１４３は、さらに、入力画像３０及び参照画像３１の色ヒストグラムに基づいて、入力画像３０と参照画像３１との色に関する類似度を算出する。そして、演算部１４３は、形状に関する類似度及び色に関する類似度に基づいて、最終的な類似度を算出する。ヒストグラムを用いた類似度の算出には、例えばＨｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎが用いられる。なお、ヒストグラムの空間をＰＣＡやＬＤＡなどにより変換し、その変換後のベクトル間の距離に基づいて類似度を算出してもよい。
【００３３】
表示部３２は、演算部１４３により算出された類似度を表示する。表示部３２として、例えばディスプレイが用いられる。
【００３４】
次に、本実施形態に係る画像類似度算出装置１の動作を説明する。図３は、本実施形態に係る画像類似度算出装置１のヒストグラム作成動作を示すフローチャートである。図３に示す制御処理は、例えば携帯端末２に備わる処理開始ボタンがＯＮされたタイミングで実行される。
【００３５】
図３に示すように、画像入力部１０が入力画像３０及び参照画像３１をそれぞれ入力する（Ｓ１０）。Ｓ１０の処理が終了すると、サイズ調整処理へ移行する（Ｓ１２）。Ｓ１２の処理では、サイズ調整部１１が入力画像３０及び参照画像３１の大きさをそれぞれ調整する。サイズ調整の例を、図４を用いて説明する。図４は、入力画像３０を例にした画像サイズ調整の説明図である。図４に示すように、サイズ調整部１１は、画像の上下方向の調整パラメータｈ及び左右方向の調整パラメータｗを設定する。そして、中央領域３０ａの面積（画素）が一定になるパラメータｗ及びｈを算出する。これにより、サイズ調整部１１は、アスペクト比を維持しながら画像の大きさを調整する。なお、図４では、入力画像３０の大きさを調整する場合を説明したが、参照画像３１の大きさについても同様に調整する。Ｓ１２の処理が終了すると、局所特徴量抽出処理（Ｓ１４（特徴点取得ステップ、特徴量記述ステップ））及び色特徴量抽出処理（Ｓ２０）へ移行する。
【００３６】
Ｓ１４の処理では、局所特徴量抽出部１２が、Ｓ１２の処理で入力された入力画像３０及び参照画像３１から局所特徴量を抽出する。特徴点の取得の例を図５を用いて説明する。図５は、入力画像３０を例にした特徴点の取得を説明する概要図である。図５に示すように、局所特徴量抽出部１２は、グリッド状に配置された格子点Ｔｓ（ｓ：整数）の座標を特徴点として取得する。なお、コーナー検出を利用して、各格子点に最近傍のコーナーを特徴点として取得してもよい。そして、局所特徴量抽出部１２は、特徴点Ｔｓを中心とする円領域Ｃｓを、特徴量を抽出するための領域に設定する。
【００３７】
次に、局所特徴量抽出部１２は、特徴点ごとに局所特徴量を取得する。局所特徴量の取得の例を、図６を用いて説明する。図６は、入力画像３０を例にした局所特徴量の取得を説明する概要図である。図６に示すように、特徴点Ｔｓの特徴量を取得する場合を説明する。まず、局所特徴量抽出部１２は、特徴点Ｔｓの座標位置及び領域Ｃｓを取得する。次に、局所特徴量抽出部１２は、領域Ｃｓ内の輝度値に基づいてエッジ情報を取得する。そして、局所特徴量抽出部１２は、領域Ｃｓ内のエッジ方向を２４方向に積算し、最も大きなエッジ方向を主エッジ方向として決定する。次に、主エッジ方向を中心として、右回り１８０°の範囲の方向に向いているエッジ強度の総和と、主エッジ方向を中心として、左回り１８０°の範囲の方向に向いているエッジ強度の総和と、を比較して副エッジ方向を算出する。例えば、局所特徴量抽出部１２は、エッジ強度の総和が大きい方向を副エッジ方向とする。その後、主エッジ方向と副エッジ方向とを基準として記述ブロックＢｔ（ｔ：整数）を設定する。これにより、フリップ不変（反転不変）の特徴量を記述できる。図７は、入力画像３０と、入力画像３０と反転関係を有する参照画像３１の一例である。主エッジ方向と副エッジ方向とを基準として記述ブロックＢｔを設定するため、図７に示すように、入力画像３０及び参照画像３１の記述ブロックＢｔは、同一のオブジェクト位置に関するエッジ方向を記述することになる。その後、局所特徴量抽出部１２は、記述ブロックＢｔごとに２４方向のエッジ強度を算出して、各方向を等級とする方向ヒストグラムを作成する。なお、２４方向のエッジ強度を方向に応じて総和をとり、８方向の方向ヒストグラムとしてもよい。また、図８に示すように、領域Ｃｓの半径を変更させて、それぞれ局所特徴量を記述するようにしてもよい。図８では、領域Ｃｓの半径を４段階に変更している。局所特徴量抽出部１２は、全ての特徴点Ｔｓについて局所特徴量を記述する。Ｓ１４の処理が終了すると、分類処理へ移行する（Ｓ１６）。
【００３８】
Ｓ１６の処理では、形状ヒストグラム生成部１４１が、Ｓ１４の処理で記述された局所特徴量を分類する。形状ヒストグラム生成部１４１は、局所特徴量を、予め学習したＶｉｓｕａｌ ＷｏｒｄのＩＤを用いて符号化する。形状ヒストグラム生成部１４１は、局所特徴量と代表特徴ベクトルとを比較し、最近傍の代表特徴ベクトルとなるＶｉｓｕａｌ ＷｏｒｄのＩＤで符号化する。Ｓ１６の処理が終了すると、形状ヒストグラム生成処理へ移行する（Ｓ１８）。
【００３９】
Ｓ１８の処理では、形状ヒストグラム生成部１４１が、Ｓ１６の処理で符号化された局所特徴量を用いて、形状ヒストグラムを生成する。形状ヒストグラム生成部１４１は、上述したＩＤごとに出現頻度をカウントすることによって形状ヒストグラムを生成する。図９の（Ａ）は、ｎ個のＩＤが存在している場合の形状ヒストグラムの一例である。Ｓ１８の処理が終了すると、形状特徴に関する処理は終了となる。
【００４０】
一方、Ｓ２０の処理では、色特徴量抽出部１３が、入力画像３０及び参照画像３１の色特徴量をそれぞれ抽出する（Ｓ２０）。色特徴量抽出部１３は、各色の連続する領域の大きさを算出する。そして、色ヒストグラム生成部１４２は、領域の大きさ及び色に基づいて、又は、領域の大きさ、色及び領域形状の複雑さに基づいて、等級を作成して色ヒストグラムを作成する（Ｓ２２）。図９の（Ｂ）は、ｍ個のカテゴリに分類された色ヒストグラムの一例である。これにより、同一の色でも異なる領域の大きさを有する画像を区別することができる。Ｓ２２の処理が終了すると、色特徴に関する処理は終了となる。
【００４１】
以上で図３に示す制御処理を終了する。図３に示す制御処理を実行することにより、入力画像３０及び参照画像３１それぞれについて、形状及び色に関するヒストグラムが作成される。なお、説明理解の容易性を考慮して、入力画像３０及び参照画像３１を纏めて処理する例を説明したが、別々に処理してもよい。また、Ｓ１４〜Ｓ１８の処理とＳ２０〜Ｓ２２の処理とを別々に処理してもよい。
【００４２】
次に、本実施形態に係る画像類似度算出装置１の類似度算出動作を説明する。図１０は、本実施形態に係る画像類似度算出装置１の類似度算出動作を示すフローチャートである。図１０に示す制御処理は、例えば図３に示す制御処理の終了後に実行される。
【００４３】
図１０に示すように、演算部１４３が入力画像３０のヒストグラムを入力する（Ｓ３０）。そして、演算部１４３が参照画像３１のヒストグラムを入力する（Ｓ３２）。そして、演算部１４３は、類似度を算出する（Ｓ３４：類似度算出ステップ）。演算部１４３は、入力画像３０の形状ヒストグラム及び色ヒストグラムを、参照画像３１の形状ヒストグラム及び色ヒストグラムとそれぞれ比較する。演算部１４３は、特徴量（等級）ごとにＨｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎを用いて評価する。例えば、入力画像３０をｘ、入力画像３０のｉ番目の等級をｘｉ、参照画像３１をｙ、参照画像３１のｉ番目の等級をｙｉとすると、以下の式１を用いて類似度を算出する。
【数１】
ここで、形状ヒストグラムにより算出された類似度をＳｓｈａｐｅ、色ヒストグラムにより算出された類似度をＳcolorとすると、総合的な類似度Ｓａｌｌを以下の式２で算出する。
【数２】
ここで、ｗｓｈａｐｅ及びｗcolorは形状及び色の重みであり、適宜設定される。Ｓ３４の処理が終了すると、図１０に示す制御処理を終了する。
【００４４】
以上、図１０に示す制御処理を実行することにより、形状ヒストグラム及び色ヒストグラムを用いて類似度が算出される。なお、形状ヒストグラムのみを用いて類似度を算出し、総合的な類似度としてもよい。また、テクスチャ特徴など、異なる特徴をさらに加えて類似度を算出してもよい。
【００４５】
次に、携帯端末２（コンピュータ）を画像類似度算出装置１として機能させるための画像類似度算出プログラムを説明する。
【００４６】
画像類似度算出プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像３０及び参照画像３１を取得するように携帯端末２を動作させる。演算処理モジュールは、サイズ調整モジュール、局所特徴量抽出モジュール、色特徴量抽出モジュール及び類似度演算モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像類似度算出装置１の画像入力部１０、サイズ調整部１１、局所特徴量抽出部１２、色特徴量抽出部１３及び類似度算出部１４の機能とそれぞれ同様である。
【００４７】
画像類似度算出プログラムは、例えば、コンピュータ読み取り可能なＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像類似度算出プログラムは、データ信号としてネットワークを介して提供されてもよい。
【００４８】
以上、本実施形態に係る画像類似度算出装置１によれば、回転のみならず反転に対して不変となる特徴量を画像から抽出し、該特徴量を用いて画像の類似度を算出する。このため、反転関係にある画像同士が類似していると判断することができる。従来の局所特徴量であるＳＩＦＴ及びＳＵＲＦにあっては、左右反転に対して異なる記述をするため、反転関係にある画像同士が類似していると判断することが容易にはできない。また、ＳＩＦＴ及びＳＵＲＦによる特徴量を用いて、このような反転された部分画像を類似していると判断するためには、後段でヒューリスティックな処理や学習を利用する等の間接的な処理が必要となる。これに対して、本実施形態に係る画像類似度算出装置１によれば、特徴量そのものを反転に関して不変となるように記述できるため、オブジェクトの反転を容易に取り扱うことができる。さらに、従来必要であった後処理や学習等における反転不変に関するパラメータについては不要となる。このため、類似度を適切に算出するためのパラメータの解空間を狭めることができるので、処理の安定性を高めることができる。
【００４９】
また、本実施形態に係る画像類似度算出装置１によれば、主エッジ方向及び副エッジ方向を用いて、回転のみならず反転に対して不変となる特徴量を容易に記述することができる。
【００５０】
また、本実施形態に係る画像類似度算出装置１によれば、予め定めた複数のカテゴリの代表特徴量に対してどの程度類似するのかを入力画像３０及び参照画像３１それぞれで出現頻度の分布として算出することができる。このため、算出された出現頻度の分布を比較等することによって、画像の類似度を適切に算出することができる。
【００５１】
また、本実施形態に係る画像類似度算出装置１によれば、サイズ調整部１１により入力画像３０及び参照画像３１の大きさをそれぞれ調整するため、特徴量を抽出する領域を一定レベル以上に確保し、画像の解像度や画像中の着目物体の大きさに依存しない特徴量を記述することができる。
【００５２】
なお、上述した実施形態は本発明に係る画像類似度算出装置、画像類似度算出方法、画像類似度算出プログラム及び記録媒体の一例を示すものであり、実施形態に係る装置、方法、プログラム及び記録媒体に限られるものではなく、変形し、又は他のものに適用したものであってもよい。
【００５３】
例えば、上述した実施形態では、主エッジ方向及び副エッジ方向を組み合わせた方向を基準として特徴量を記述する例を説明したが、３以上のエッジ方向を組み合わせた方向を基準として特徴量を記述してもよい。
【００５４】
また、上述した実施形態では、全ての特徴点を設定した後に局所特徴量を取得する例を説明したが、特徴点を設定する度に局所特徴量を取得してもよい。
【００５５】
また、上述した実施形態では、入力画像３０及び参照画像３１が同時に入力される場合を説明したが、これに限られるものではない。すなわち、複数の参照画像３１を予め用意し、参照画像３１のヒストグラムについては事前に取得しておき、その後、入力画像３０を検索画像として入力してもよい。このような構成を図１１に示す。図１１では、画像類似度算出装置１は、参照画像サーバ１００と接続されている。参照画像サーバ１００は、参照画像ＤＢ３４及び参照画像ヒストグラムＤＢ３３を備えている。参照画像ＤＢ３４は、例えば参照画像３１を格納する。参照画像サーバ１００は、例えば参照画像３１をインターネット上に存在する画像とする。この場合、参照画像ＤＢ３４は、参照画像３１そのものを格納するのではなく、ＵＲＬ及びサムネイルを格納すればよい。参照画像ヒストグラムＤＢ３３は、参照画像３１の形状ヒストグラム及び色ヒストグラムを格納する。
【００５６】
画像類似度算出装置１は、入力画像３０に関して形状ヒストグラム及び色ヒストグラムを作成する。そして、演算部１４３は、参照画像サーバ１００から参照画像３１の形状ヒストグラム及び色ヒストグラムを入力する。そして、演算部１４３は、形状ヒストグラム及び色ヒストグラムを画像間で比較し、類似度を算出する。画像類似度算出装置１は、算出した類似度を参照画像サーバ１００へ送信する。参照画像サーバ１００は、類似度の高い参照画像３１（例えば上位ｘ番目までの参照画像３１）又はそれらのＵＲＬ及びサムネイルを携帯端末２へ送信し表示させる。このように、画像類似度算出装置１は、類似画像検索システムの一部として採用することができる。
【符号の説明】
【００５７】
１…画像類似度算出装置、１１…サイズ調整部、１２…局所特徴量抽出部（特徴点取得部、特徴量記述部）、１３…色特徴量抽出部、１４…類似度算出部。
【特許請求の範囲】
【請求項１】
入力画像と参照画像との類似度を算出する画像類似度算出装置であって、
前記入力画像及び前記参照画像の特徴点を取得する特徴点取得部と、
前記入力画像及び前記参照画像の前記特徴点ごとに回転及び反転に対して不変となる特徴量を記述する特徴量記述部と、
前記入力画像及び前記参照画像の前記特徴点ごとの前記特徴量に基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部と、
を備える画像類似度算出装置。
【請求項２】
前記特徴量記述部は、前記特徴点を含む所定領域内のエッジ強度に基づいてエッジ方向を複数算出し、算出された複数のエッジ方向を組み合わせた向きを基準として当該特徴点の特徴量を記述する請求項１に記載の画像類似度算出装置。
【請求項３】
前記特徴量記述部は、最も度数の多いエッジ方向を主エッジ方向として算出し、主エッジ方向から右回り１８０度のエッジ強度の総和と左回り１８０度のエッジ強度の総和とを比較することによって主エッジ方向に直交する副エッジ方向を算出し、主エッジ方向及び副エッジ方法を組み合わせた向きを基準として前記特徴点の特徴量を記述する請求項２に記載の画像類似度算出装置。
【請求項４】
前記類似度算出部は、
予め作成された複数の代表特徴量と前記入力画像の前記特徴点ごとの前記特徴量とを比較し、前記代表特徴量に最近傍となる前記特徴量の出現頻度を前記代表特徴量ごとに算出し、
前記複数の代表特徴量と前記参照画像の前記特徴点ごとの前記特徴量とを比較し、前記代表特徴量に最近傍となる前記特徴量の出現頻度を前記代表特徴量ごとに算出し、
前記入力画像における前記出現頻度の分布、及び前記参照画像における前記出現頻度の分布に基づいて、前記類似度を算出する請求項１〜３の何れか一項に記載の画像類似度算出装置。
【請求項５】
前記入力画像及び前記参照画像の中央領域又は着目領域の大きさが一定値となるように前記入力画像及び前記参照画像の大きさを調整するサイズ調整部をさらに備え、
前記特徴点取得部は、前記サイズ調整部により大きさが調整された後の前記入力画像及び前記参照画像から特徴点を取得する
請求項１〜４の何れか一項に記載の画像類似度算出装置。
【請求項６】
入力画像と参照画像との類似度を算出する画像類似度算出方法であって、
前記入力画像及び前記参照画像の特徴点を取得する特徴点取得ステップと、
前記入力画像及び前記参照画像の前記特徴点ごとに回転及び反転に対して不変となる特徴量を記述する特徴量記述ステップと、
前記入力画像及び前記参照画像の前記特徴点ごとの前記特徴量に基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出ステップと、
を備える画像類似度算出方法。
【請求項７】
入力画像と参照画像との類似度を算出するようにコンピュータを動作させる画像類似度算出プログラムであって、
前記入力画像及び前記参照画像の特徴点を取得する特徴点取得部と、
前記入力画像及び前記参照画像の前記特徴点ごとに回転及び反転に対して不変となる特徴量を記述する特徴量記述部と、
前記入力画像及び前記参照画像の前記特徴点ごとの前記特徴量に基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部
として前記コンピュータを動作させる画像類似度算出プログラム。
【請求項８】
入力画像と参照画像との類似度を算出するようにコンピュータを動作させる画像類似度算出プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
前記入力画像及び前記参照画像の特徴点を取得する特徴点取得部と、
前記入力画像及び前記参照画像の前記特徴点ごとに回転及び反転に対して不変となる特徴量を記述する特徴量記述部と、
前記入力画像及び前記参照画像の前記特徴点ごとの前記特徴量に基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部
として前記コンピュータを動作させる前記画像類似度算出プログラムが記録された記録媒体。
【請求項１】
入力画像と参照画像との類似度を算出する画像類似度算出装置であって、
前記入力画像及び前記参照画像の特徴点を取得する特徴点取得部と、
前記入力画像及び前記参照画像の前記特徴点ごとに回転及び反転に対して不変となる特徴量を記述する特徴量記述部と、
前記入力画像及び前記参照画像の前記特徴点ごとの前記特徴量に基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部と、
を備える画像類似度算出装置。
【請求項２】
前記特徴量記述部は、前記特徴点を含む所定領域内のエッジ強度に基づいてエッジ方向を複数算出し、算出された複数のエッジ方向を組み合わせた向きを基準として当該特徴点の特徴量を記述する請求項１に記載の画像類似度算出装置。
【請求項３】
前記特徴量記述部は、最も度数の多いエッジ方向を主エッジ方向として算出し、主エッジ方向から右回り１８０度のエッジ強度の総和と左回り１８０度のエッジ強度の総和とを比較することによって主エッジ方向に直交する副エッジ方向を算出し、主エッジ方向及び副エッジ方法を組み合わせた向きを基準として前記特徴点の特徴量を記述する請求項２に記載の画像類似度算出装置。
【請求項４】
前記類似度算出部は、
予め作成された複数の代表特徴量と前記入力画像の前記特徴点ごとの前記特徴量とを比較し、前記代表特徴量に最近傍となる前記特徴量の出現頻度を前記代表特徴量ごとに算出し、
前記複数の代表特徴量と前記参照画像の前記特徴点ごとの前記特徴量とを比較し、前記代表特徴量に最近傍となる前記特徴量の出現頻度を前記代表特徴量ごとに算出し、
前記入力画像における前記出現頻度の分布、及び前記参照画像における前記出現頻度の分布に基づいて、前記類似度を算出する請求項１〜３の何れか一項に記載の画像類似度算出装置。
【請求項５】
前記入力画像及び前記参照画像の中央領域又は着目領域の大きさが一定値となるように前記入力画像及び前記参照画像の大きさを調整するサイズ調整部をさらに備え、
前記特徴点取得部は、前記サイズ調整部により大きさが調整された後の前記入力画像及び前記参照画像から特徴点を取得する
請求項１〜４の何れか一項に記載の画像類似度算出装置。
【請求項６】
入力画像と参照画像との類似度を算出する画像類似度算出方法であって、
前記入力画像及び前記参照画像の特徴点を取得する特徴点取得ステップと、
前記入力画像及び前記参照画像の前記特徴点ごとに回転及び反転に対して不変となる特徴量を記述する特徴量記述ステップと、
前記入力画像及び前記参照画像の前記特徴点ごとの前記特徴量に基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出ステップと、
を備える画像類似度算出方法。
【請求項７】
入力画像と参照画像との類似度を算出するようにコンピュータを動作させる画像類似度算出プログラムであって、
前記入力画像及び前記参照画像の特徴点を取得する特徴点取得部と、
前記入力画像及び前記参照画像の前記特徴点ごとに回転及び反転に対して不変となる特徴量を記述する特徴量記述部と、
前記入力画像及び前記参照画像の前記特徴点ごとの前記特徴量に基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部
として前記コンピュータを動作させる画像類似度算出プログラム。
【請求項８】
入力画像と参照画像との類似度を算出するようにコンピュータを動作させる画像類似度算出プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
前記入力画像及び前記参照画像の特徴点を取得する特徴点取得部と、
前記入力画像及び前記参照画像の前記特徴点ごとに回転及び反転に対して不変となる特徴量を記述する特徴量記述部と、
前記入力画像及び前記参照画像の前記特徴点ごとの前記特徴量に基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部
として前記コンピュータを動作させる前記画像類似度算出プログラムが記録された記録媒体。
【図１】
【図２】
【図３】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−５４５２９（Ｐ２０１３−５４５２９Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９２０４８（Ｐ２０１１−１９２０４８）
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（５０５２７７３５８）株式会社モルフォ (18)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（５０５２７７３５８）株式会社モルフォ (18)
【Ｆターム（参考）】
[ Back to top ]