特徴量取得装置、類似画像検索装置、特徴量取得方法およびプログラム。
【課題】画像特徴量を抽出した学習用の画像に比べて、類似画像検索の対象である画像内の物体の位置がずれている場合であっても、その位置ずれによる類似画像検索の精度の低減を軽減すること。
【解決手段】画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、前記画像データの画素値の平均を前記単位領域毎に算出することにより、入力画像の特徴量を算出する特徴量算出部と、を備えることを特徴とする。
【解決手段】画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、前記画像データの画素値の平均を前記単位領域毎に算出することにより、入力画像の特徴量を算出する特徴量算出部と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの特徴量を取得する特徴量取得装置、当該特徴量取得装置を含む類似画像検索装置、特徴量取得方法、および、これら特徴量取得装置または類似画像検索装置における各手段を実行するプログラムに関する。
【背景技術】
【０００２】
２次元画像の分類や類似画像検索を行うための指標として、当該画像の特徴を示す特徴量を抽出する手法が一般に用いられている。なかでも、非特許文献１で紹介されている、ＧＩＳＴと呼ばれる特徴量を抽出する手法は、画像の構図を反映した特徴量を抽出できる手法として、画像分類や類似画像検索に広く用いられている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Aude Oliva、他１名、「Modeling the shape of the scene: a holistic representation of the spatial envelope」、International Journal of Computer Vision、Vol. ４２(３)、２００１年、p.１４５-１７５
【非特許文献２】Matthijs Douze、他４名、「Evaluation of GIST descriptors for web-scale image search」、International Conference on Image and Video Retrieval、２００９年７月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載の方法では、特徴量を算出するための単位領域に方向画像を分割する際、４×４の格子状にブロック分割を行う。この分割では、画像全体の構図の反映はできるものの、画像内に存在する物体の回転や位置ずれに対応できない問題がある。
言い換えると、類似画像検索を行うために参照データとして用意されている画像内の物体の位置と、当該類似画像検索の対象となる画像内の物体の位置が異なる場合、単位領域毎の特徴量が異なる場合がある。例えば、参照データの画像と比較して画像内の物体が画像の中央を中心として回転している画像が類似画像検索の対象であった場合、画像内の中央部分では位置ずれは少ないものの、画像の外縁部分における画像の位置ずれは多くなる。この画像の位置ずれにより、対象の画像の外縁部分では、単位領域毎の特徴量が、参照データと異なる場合がある。この場合、画像内に含まれる物体も同一で画像として類似しているにも関わらず、類似画像検索において非類似と判定されるおそれがある。よって、類似画像検索の精度が低下する問題がある。
【０００５】
本発明は、このような事情を考慮してなされたものであり、その目的は、画像特徴量を抽出した学習用の画像に比べて、類似画像検索の対象である画像内の物体の位置がずれている場合であっても、その位置ずれによる類似画像検索の精度の低減を軽減することができる特徴量取得装置、類似画像検索装置、特徴量取得方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による特徴量取得装置は、入力する入力画像の画像データに基づき画素毎に画素値の対数を示すコントラスト強調画像データを生成する対数演算部と、前記コントラスト強調画像データから高周波成分を除去した高周波成分除去画像データを生成するフィルタリング部と、前記高周波成分除去画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する方向画像算出部と、前記方向画像データに対して画像中の輪郭をぼかすためのフィルタを適用してぼかし画像データを生成するぼかし処理部と、前記ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、前記ぼかし画像データの画素値の平均を前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、を備えることを特徴とする。
【０００７】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得装置において、前記入力画像の画像データ、前記コントラスト強調画像データ、および前記高周波成分除去画像データのうち少なくともいずれか1つのデータにおいて表わされている色空間を予め決められている他の色空間に変換する色空間変換部をさらに有することを特徴とする。
【０００８】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得装置において、前記特徴量算出部が、前記ぼかし画像データの画素値の平均および分散を前記単位領域毎に算出し、算出した平均および分散に基づく特徴量を求めることを特徴とする。
【０００９】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による特徴量取得装置は、入力する入力画像の画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、前記画像データのカラーヒストグラムを前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、を備えることを特徴とする。
【００１０】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による特徴量取得装置は、入力する入力画像の画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、前記画像データのカラーモーメントを前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、を備えることを特徴とする。
【００１１】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得装置において、前記単位領域が、隣接する単位領域と重複する形状であることを特徴とする。
【００１２】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による類似画像検索装置は、上述に記載のいずれかの特徴量取得装置を備える類似画像検索装置であって、前記入力画像に類似する類似画像の候補である複数の候補画像を示す情報と、前記特徴量算出部によって算出された前記候補画像の特徴量とをそれぞれ対応付ける情報を記憶する記憶部と、前記記憶部を参照して、前記特徴量算出部によって算出された前記入力画像の特徴量と前記候補画像の特徴量との類似度を算出し、当該類似度に基づいて前記入力画像に類似する前記候補画像を得る類似画像検索部と、を備えることを特徴とする。
【００１３】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による特徴量取得方法は、入力する入力画像の画像データに基づき画素毎に画素値の対数を示すコントラスト強調画像データを生成する対数演算処理ステップと、前記コントラスト強調画像データから高周波成分を除去した高周波成分除去画像データを生成するフィルタリング処理ステップと、前記高周波成分除去画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する方向画像算出処理ステップと、前記方向画像データに対して画像中の輪郭をぼかすためのフィルタを適用してぼかし画像データを生成するぼかし処理ステップと、前記ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定処理ステップと、前記ぼかし画像データの画素値の平均を前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出処理ステップと、を備えることを特徴とする特徴量取得方法。
【００１４】
この発明は上述した課題を解決するためになされたもので、本発明の一態様によるプログラムは、コンピュータに、上述の特徴量取得方法の各ステップを実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００１５】
この発明によれば、画像特徴量を抽出した学習用の候補画像に比べて、類似画像検索の対象である画像内の物体の位置がずれている場合であっても、その位置ずれによる類似画像検索の精度の低減を軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る第１実施形態における特徴量取得装置の構成の一例を示す構成図である。
【図２】本発明に係る第１実施形態における特徴量取得方法の一例を示すフローチャートである。
【図３】本発明に係る第１実施形態における方向画像算出部が微分画像データを求めるために用いるマスクの一例を示す図である。
【図４】本発明に係る第１実施形態におけるぼかし処理部が行うぼかし処理の一例について説明するための図である。
【図５】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を示す図である。
【図６】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための図である。
【図７】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図８】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図９】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図１０】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図１１】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図１２】本発明に係る第１実施形態における領域決定部が決定する単位領域の他の例を示す図である。
【図１３】図１２に示す単位領域を説明するための図である。
【図１４】図１２に示す単位領域を説明するための図である。
【図１５】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図１６】本発明に係る第１実施形態において特徴量算出部が算出する特徴量のデータ構成の一例を示す図である。
【図１７】本発明に係る第２実施形態における類似画像検索装置の構成の一例を示す構成図である。
【図１８】本発明に係る第２同実施形態における類似画像検索方法の一例を示すフローチャートである。
【図１９】本発明に係る第２同実施形態において検索対象画像の指定に際して表示部が表示する画面の例を示す図である。
【発明を実施するための形態】
【００１７】
＜第１実施形態＞
以下、図面を参照して、本発明の実施形態について説明する。
図１は、本発明の第１実施形態における特徴量取得装置１の概略構成を示す構成図である。同図において、特徴量取得装置１は、画像取得部１１と、前処理部２１と、特徴量取得部３１と、特徴量次元圧縮部４１と、特徴量出力部５１とを具備する。前処理部２１は、対数演算部２１１と、フィルタリング部２１２と、色空間変換部２１３とを具備する。特徴量取得部３１は、方向画像算出部３１１と、ぼかし処理部３１２と、領域決定部３１３と、特徴量算出部３１４とを具備する。
【００１８】
画像取得部１１は、特徴量を求める対象の画像データを入力して、この画像データを前処理部２１に出力する。例えば、画像取得部１１は、類似する複数の画像をデータベースから検索する画像処理サービスを提供するウェブサーバから、当該ウェブサーバが画像処理に用いる画像データを受信し、受信した画像データを前処理部２１に出力する。以下では、画像取得部１１の取得する画像データを「入力画像データ」と称し、入力画像データが示す画像を「入力画像」と称する。
【００１９】
前処理部２１は、入力画像データに対して、入力画像の特徴量を求めるための前処理を行った画像データを特徴量取得部３１に出力する。この前処理部２１において、対数演算部２１１は、入力画像データの画素毎に、入力画像がカラー画像の場合は色成分毎に、画素値の対数（ｌｏｇ）を取ったコントラスト強調画像データを生成する。フィルタリング部２１２は、対数演算部２１１が生成したコントラスト強調画像データから高周波成分を除去するフィルタリング処理を行って、高周波成分除去画像データを生成する。色空間変換部２１３は、高周波成分除去画像データの色空間を他の色空間に変換して色空間変換画像データを生成する。なお、前処理部２１は、色変換部２１３を備えずに、フィルタリング部２１２からの高周波成分除去画像データを特徴量取得部３１に出力する構成であってもよい。
【００２０】
特徴量取得部３１は、前処理部２１から出力される色空間変換画像データに基づき、画像データの特徴量を取得して特徴量次元圧縮部４１に出力する。特徴量取得部３１において、方向画像算出部３１１は、色空間変換部２１３から出力される色空間変換画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する。なお、特徴量取得部３１は、前処理部２１のフィルタリング部２１２が出力する高周波成分除去画像データに基づき、画像データの特徴量を取得して特徴量次元圧縮部４１に出力する構成であってもよい。ぼかし処理部３１２は、方向画像データに対してぼかし処理を行いぼかし画像データを生成する。領域決定部３１３は、ぼかし画像データ上において、特徴量を算出する際の処理の基準の単位領域となる領域を決定する。特徴量算出部３１４は、領域決定部３１３が決定した単位領域毎に、ぼかし画像データの画素値の平均と分散を算出することにより、入力画像の特徴量を算出する。
【００２１】
この領域決定部３１は、ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する。
なお、本実施形態に係る特徴量取得装置１は、この領域決定部３１３によって決定される単位領域の形状に特徴を有し、この形状の詳細については、以下に説明する。
また、本実施形態において、特徴量取得装置１の特徴量算出部３１４は、ぼかし画像データの画素値の平均と分散を算出することにより、入力画像の特徴量を算出する例を用いて以下説明する。しかし、本発明はこれに限られず、特徴量取得装置１の特徴量算出部３１４は、ぼかし画像データの画素値の平均のみを算出することにより、入力画像の特徴量を算出するものであってもよい。
【００２２】
特徴量次元圧縮部４１は、特徴量算出部３１４が算出した特徴量の次元数を減らして圧縮後特徴量を算出する。なお、本実施形態において、特徴量取得装置１は、この特徴量次元圧縮部４１を備え、特徴量算出部３１４が算出した特徴量の次元数を減らして圧縮後特徴量を算出する例を用いて以下説明するが、本発明はこれに限られず、特徴量次元圧縮部４１を備えない構成であってもよい。
特徴量出力部５１は、特徴量次元圧縮部４１が算出した圧縮後特徴量を特徴量取得装置１の外部に出力する。例えば、特徴量出力部５１は、入力画像データの送信元のウェブサーバに、圧縮後特徴量を送信する。
【００２３】
次に、特徴量取得装置１の動作について説明する。
図２は、特徴量取得装置１が特徴量（圧縮後特徴量）を求める処理手順を示すフローチャートである。特徴量取得装置１の画像取得部１１は、入力画像データＩを入力すると同図の処理を開始する。
なお、以下では、入力画像がカラー画像であり、入力画像データが赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３チャンネルのデータである場合の一例について説明する。入力画像がモノクロ画像の場合は、特徴量取得装置１は１チャンネルのデータを取得して、以下に説明する処理のうち１チャンネル分の処理を行う。
ステップＳＴ１１〜ＳＴ１３では、前処理部２１が入力画像データに対する前処理を行う。
【００２４】
（ステップＳＴ１１：対数算出処理）
まず、対数演算部２１１が、式（１）に基づいて、入力画像データＩに対して、チャネルｃｈ毎に、各画素の画素値の対数（ｌｏｇ）を取ったコントラスト強調画像データＩｌ＿ｃｈを生成する（ステップＳＴ１１）。言い換えると、対数演算部２１１は、入力画像データに基づき、画素毎に画素値の対数を示すコントラスト強調画像データＩｌ＿ｃｈを生成する。
【００２５】
【数１】
【００２６】
ここで、式（１）に示す「Ｉｃｈ」は、入力画像データＩに含まれるチャンネル毎の各画素の画素値を要素とする行列であり、「Ｉｃｈ＋１」は、行列Ｉｃｈの各要素に“１”を加えることを示す。また、「ｌｏｇ（Ｉｃｈ＋１）」は、行列Ｉｃｈ＋１の各要素の対数を取ることを示す。
対数演算部２１１が画素値の対数を取ることにより、画素値が比較的小さいレベル（つまり、人間の目が明るさの差を感じやすいレベル）におけるコントラストが強調され、より適切に画像の特徴を特徴量に反映させることが可能となる。対数演算部２１１は、生成したコントラスト強調画像データＩｌ＿ｃｈをフィルタリング部２１２に出力する。
【００２７】
（ステップＳＴ１２：周波数領域フィルタリング処理）
次に、フィルタリング部２１２は、コントラスト強調画像データＩｌ＿ｃｈに基づき、対数演算部２１１から出力されるコントラスト強調画像の高周波成分を抑制するフィルタリング処理を行う。具体的には、フィルタリング部２１２は、式（２）に基づいて、コントラスト強調画像データＩｌ＿ｃｈに対してフィルタリング処理を行い、高周波成分除去画像データｏｕｔｃｈをチャネルｃｈ毎に生成する。
【００２８】
【数２】
【００２９】
ここで、「ｆｆｔ２」は、２次元ｆｆｔ（Fast Fourier Transform、高速フーリエ変換）を示し、「ｉｆｆｔ２」は、２次元逆ｆｆｔを示す。また、「＊」は畳み込み演算を示す。「ｆ」は、式（３）で示されるフィルタである。
【００３０】
【数３】
【００３１】
ここで、「ｆｘ２＋ｆｙ２」は、任意の画素Ｐ（ｘ，ｙ）から入力画像の中心までの距離（画素数）の２乗を示す。また、ｓは定数である。
式（３）に示されるフィルタｆは、高周波成分を抽出するフィルタである。フィルタリング部２１２は、式（２）に従って、コントラスト強調画像データＩｌ＿ｃｈの高周波成分を抽出し、抽出した高周波成分をコントラスト強調画像データＩｌ＿ｃｈから減算することにより、コントラスト強調画像データＩｌ＿ｃｈから高周波成分を除去した高周波成分除去画像データｏｕｔｃｈを生成する。
このフィルタリング部２１２が高周波成分を除去することで、入力画像データＩの微細な画像部分から特徴量を抽出する際に、当該微細な画像部分の特徴量が低減することへの影響を抑圧することができる。
これにより、特徴量取得装置１は、類似画像を検索する際に、微細な画像部分にとらわれずに、より大局的に画像の類似度を評価できる。言い換えると、フィルタリング部２１２が高周波成分を除去することにより、微細な画像部分について局所的な類似度を算出することなく、この微細な画像部分を含む単位領域毎に、画像の類似度を大局的に評価することができる。フィルタリング部２１２は、生成した高周波成分除去画像データを、色空間変換部２１３に出力する。
なお、定数ｓの値については、７．２〜７．５の間の値に設定したときに、より良好な実験結果を得ることができた。よって、フィルタリング部２１２に設定するフィルタとしては、式（３）に示す定数ｓが、７．２≦定数ｓ≦７．５の範囲であることが好ましい。
【００３２】
（ステップＳＴ１３：色空間変換処理）
次に、色空間変換部２１３は、フィルタリング部２１２から出力される高周波成分除去画像データｏｕｔｃｈが示す色空間を、他の色空間に変換した色空間変換画像データを生成する（ステップＳＴ１３）。
ここで、色空間変換部２１３による変換後の色空間は、照明変動に強い色空間であればよく、予め決められている。
例えば、色空間変換部２１３は、式（４）に基づいて、高周波成分除去画像データｏｕｔｃｈが示す色空間であるＲＧＢ色空間をオポーネント（Opponent）色空間に変換する。
【００３３】
【数４】
【００３４】
ここで、式（４）に示すＲ、Ｇ、Ｂは、各々、高周波成分除去画像データのうち、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各チャンネルの部分行列を示す。また、式（４）に示すＯ１、Ｏ２、Ｏ３は、各々、色空間変換画像データのうち、オポーネントの各色成分に対応する部分行列を示す。なお、この色成分Ｏ１、Ｏ２、Ｏ３を、ここではチャネルという。
この色空間変換部２１３が変換する色空間として、照明変動に強い色空間を予め決めておくことで、色の違いによる特徴量への影響を軽減して、より適切な特徴量を得ることが可能になる。
例えば、同じものを撮像したにもかかわらず、照明光の影響により異なる色となった２つの画像や、色は異なるが同じ型の自動車を撮像した類似する構図の２つの画像を、それぞれオポーネント色空間で表現した場合、チャネルＯ３の要素は、色合い、すなわちＲＧＢの画素値の比にかかわらず、ＲＧＢの輝度値の合計に応じて同一の値となる。したがって、色空間変換部２１３が変換する色空間として、オポーネント色空間を用いることにより、色の違いによる特徴量への影響を軽減して、より適切な特徴量を得ることが可能になる。
色空間変換部２１３は、色空間を変換してチャネルｃｈ毎に得られる色空間変換画像データを、方向画像算出部３１１に出力する。
ここでは、高周波成分除去画像データについて色空間の変換を行う説明を行ったが、色空間の変換は、特徴量算出前の画像データに対して行うものであれば、いずれの段階で行ってもよい。例えば、入力画像データに対して色空間の変換を行い、色空間の変換後の画像データを対数演算部２１１の入力としてもよい。また、コントラスト強調画像データに対して色空間の変換を行い、色空間の変換後の画データをフィルタリング部２１２の入力としてもよい。
また、色空間の変換自体を行わなくてもよく、色空間の変換を行わない場合には、以下の方向画像の算出以降の処理もＲＧＢの各チャネルの部分行列のまま処理を行えばよい。
【００３５】
ステップＳＴ１４〜ＳＴ１７では、特徴量取得部３１が特徴量を取得する。
（ステップＳＴ１４：方向画像算出処理）
まず、方向画像算出部３１１は、色空間変換部２１３から入力する色空間変換画像データに基づいて、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを生成する。
方向画像データを生成するために、方向画像算出部３１１は、まず、色空間変換画像データにおけるｘ方向およびｙ方向のそれぞれについて、微分画像データを生成する。
【００３６】
ここで、図３を参照して、方向画像算出部３１１が微分画像データを求めるために用いるマスクの一例について説明する。図３は、方向画像算出部３１１が微分画像データを求めるために用いるマスクの一例を示す図である。
例えば、方向画像算出部３１１は、色空間変換画像データにおける各画素について、図３（ａ）に示すように、任意の画素Ｐ０の左隣の画素の画素値に０．５を乗じた値から、右隣の画素の画素値に０．５を乗じた値を減算して、微分画像データにおけるｘ方向の画素値Ｉ’Ｏｃｈ_ｘ（ｘ，ｙ）を、チャネルｃｈ毎に得る。また、同図（ｂ）に示すように、方向画像算出部３１１は、任意の画素Ｐ０の上隣の画素の画素値に０．５を乗じた値から、下隣の画素の画素値に０．５を乗じた値を減算して、微分画像データにおけるｙ方向の画素値を、チャネルｃｈ毎に得る。
これを式で表すと、式（５）のようになる。
【００３７】
【数５】
【００３８】
ここで、式（５）に示す「Ｏｃｈ」（ｃｈ＝１，２，３）は、チャンネルＯ１、Ｏ２、Ｏ３のうちいずれか１つを示すものである。方向画像算出部３１１は、各チャンネルＯｃｈの色空間変換画像データに基づき、式（５）に従って、微分画像データＩ’Ｏｃｈ_ｘ、Ｉ’Ｏｃｈ_ｙを算出する。
また、式（５）に示す「Ｉ’Ｏｃｈ_ｘ（ｘ，ｙ）」は、座標（ｘ，ｙ）の画素Ｐ０おける、チャンネルＯｃｈのｘ方向の微分画像データ値（画素値）を示す。同様に、式（５）に示す「Ｉ’Ｏｃｈ_ｙ（ｘ，ｙ）」は、座標（ｘ，ｙ）の画素Ｐ０おける、チャンネルＯｃｈのｙ方向の微分画像データ値（画素値）を示す。
【００３９】
また、本実施形態では、矩形画面の入力画像において、最も左上の画素を座標（０，０）として、横軸方向をｘ、縦軸方向をｙとする。
つまり、ｘ座標は、矩形画面の最も左の画素のｘ座標を“０”として、左から右に向かって、ｘ＝１，２，３，・・・と設定されている。したがって、方向画像算出部３１１が微分画像データを算出中の画素Ｐ０の座標（ｘ，ｙ）に対して、座標（ｘ−１，ｙ）が左隣の画素Ｐ１の座標であり、座標（ｘ＋１，ｙ）が右隣の画素Ｐ２の座標である。
また、ｙ座標は、矩形画面の最も上の画素のｙ座標を“０”として、上から下に向かって、ｙ＝１，２，３，・・・と設定されている。したがって、方向画像算出部３１１が微分画像データを算出中の画素Ｐ０の座標（ｘ，ｙ）に対して、座標（ｘ，ｙ−１）が上隣の画素Ｐ３の座標であり、座標（ｘ，ｙ＋１）が下隣の画素Ｐ４の座標である。
【００４０】
次に、方向画像算出部３１１は、式（６）に従って、微分画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する。
【００４１】
【数６】
【００４２】
ここで、式（６）に示すθは、任意の座標（ｘ，ｙ）の画素Ｐ０について、方向画像算出部３１１が算出する方向画像データの方向（角度）、すなわち、画素Ｐ０を基準とした方位を示す。例えば、方向画像算出部３１１が４方向について方向画像データを算出する場合は、θｄ＝０°、９０°、１８０°、２７０°（ｄ＝４）のうち、少なくともいずれか１つの値をとるように設定されている。なお、本実施形態において、方向画像算出部３１１は、全方向に対応する方向画像データを算出するように設定されている。したがって、方向画像算出部３１１は、各画素について、チャンネルｃｈ毎に、各方向θに対応する４つの画素値を算出する。
あるいは、方向画像算出部３１１が８方向について方向画像データを算出する場合は、θｄ＝０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°（ｄ＝８）のうち、少なくともいずれか１つの値をとるように設定されている。なお、本実施形態において、方向画像算出部３１１は、全方向に対応する方向画像データを算出するように設定されている。従って、方向画像算出部３１１は、各画素について、チャネルｃｈ毎に、８つの画素値を算出する。
つまり、本実施形態において、方向画像算出部３１１は、方向画像データとして、各画素について、チャネル数（ｃｈ）×方向数（ｄ）の数だけ、それぞれに対応する画素値を算出する。
なお、方向数ｄが多いほど、より精密に画像の類否判断を行い得る特徴量を提供できるが、特徴量を算出するための計算量が増大し、また、特徴量のデータ量も増大する（すなわち、特徴量を記憶しておくために必要となるメモリ容量が増大する）。この類否判断の精度と、計算量およびメモリ容量とのトレードオフから、方向数ｄは、４〜１６に設定することが好ましい。
本実施形態において、方向画像算出部３１１は、８方向（ｄ＝８）について方向画像データを算出することが設定されている。
【００４３】
方向画像算出部３１１が算出する方向画像データは、任意の座標（ｘ，ｙ）の画素Ｐ０において、予め決められたそれぞれの方向θの画素におけるエッジの有無や強さを示すデータである。特徴量取得部３１が方向画像データに基づいて特徴量を算出することにより、画像中においてエッジを形成する物体の輪郭等が特徴量に反映される。このため、特徴量取得部３１は、画像中に含まれる物体の形状が強く反映された特徴量を得ることができる。
また、方向画像算出部３１１は、微分画像データを最初に取得しておき、この微分画像データに基づいて方向画像データを算出することにより、ガボールフィルタ（Gaborfilter）を用いて方向画像を求める方法よりも、少ない演算量で方向画像を得ることができる。
方向画像算出部３１１は、算出した方向画像データをぼかし処理部３１２に出力する。
【００４４】
（ステップＳＴ１５：ぼかし処理）
次に、ぼかし処理部３１２は、方向画像算出部３１１から出力される方向画像データに対し、チャンネルｃｈ毎、かつ、方向画像データの方向θ毎に、各画素についてぼかし処理を行い、ぼかし画像データを生成する。
ここで、図４を参照して、ぼかし処理部３１２によるぼかし処理について説明する。図４は、ぼかし処理部３１２が方向画像データに対して４段階のぼかし処理を行い、ぼかし画像データを生成する一例を示す図である。
例えば、ぼかし処理部３１２は、ガウシアンフィルタ（Gaussian filter）を用いて各段階のぼかし処理を行う。
【００４５】
まず、ぼかし処理部３１２は、方向画像データに対して、カーネル（ぼかし強度を示す値）がσ１のガウシアンフィルタを適用してぼかし画像データＤ１を生成する。次に、ぼかし処理部３１２は、ぼかし画像データＤ１に対して、カーネルがσ２のガウシアンフィルタを適用して、ぼかし画像データＤ２を生成する。さらに、ぼかし処理部３１２は、ぼかし画像データＤ２に対して、カーネルがσ３のガウシアンフィルタを適用して、ぼかし画像データＤ３を生成する。そして、ぼかし処理部３１２は、ぼかし画像データＤ３に対して、カーネルがσ４のガウシアンフィルタを適用して、ぼかし画像データＤ４を生成する。
ここで、カーネル＝σ１、σ２、σ３、σ４の値は、同じ値であってもよいし、異なる値であってもよい。本実施形態において、ぼかし処理部３１２に対して、各カーネルの値を１．２〜１．５の範囲で設定した場合に、良好な結果が得られた。よって、本実施形態では、この範囲のカーネルのガウシアンフィルタを適用することを、ぼかし処理部３１２に対して予め設定しておく。
【００４６】
ここでいう「ぼかし処理」は、画像の輪郭をぼかす処理である。ぼかし処理部３１２により輪郭をぼかした画像データを生成しておくことにより、例えば類似画像検索において、ピントが合って輪郭がシャープに撮像された画像と、ピントが合わずに輪郭がぼけて撮像された画像との類比判断を行う際に、それぞれのボケ具合の画像を比較して、より適切な判断結果を得ることができる。つまり、ぼかし処理部３１３がぼかし処理を施すことによって、同一の被写体を撮影した画像であって、ピントが合っている画像と合っていない画像を比較した場合、両画像が類似していると判定できる範囲を拡大することができる。
ぼかし処理部３１２は、生成した各段階のぼかし画像データＤ１〜Ｄ４を、領域決定部３１３に出力する。
【００４７】
（ステップＳＴ１６：領域決定処理）
次に、領域決定部３１３は、チャンネルｃｈ毎、方向画像データの方向θ毎、かつ、ぼかし処理の段階毎の各ぼかし画像について、特徴量算出部３１４が特徴量を求める際の単位領域を決定する領域分割を行う。この領域決定部３１３は、決定した領域毎の画像データ（すなわち、チャンネルｃｈ毎、方向画像データの方向θ毎、ぼかし処理の段階毎、かつ、単位領域毎のぼかし画像データ）を特徴量算出部３１４に出力する。
【００４８】
図５は、領域決定部３１３が決定する単位領域の一例を示す図である。領域決定部３１３は、例えば、ぼかし画像Ｄ１を、同図に示すように１８の単位領域ｒ１〜ｒ１８に分割する。
領域決定部３１は、ぼかし画像Ｄ１をｇ（ｇ≧２）個の複数の同心円により分割する。
本実施形態において、領域決定部３１は、図６に示す通り、例えば正方形のぼかし画像Ｄ１に内接する第１の円Ｃ１と、この第１の円Ｃ１よりも半径が小さい第２の円Ｃ２と第３の円Ｃ３により、ぼかし画像Ｄ１を分割する。なお、この第１〜３の円Ｃ１〜Ｃ３は、同心円であり、本実施形態において、その半径の差は均等である。つまり、第１の円Ｃ１の半径はＲであり、第２の円Ｃ２の半径は２Ｒであり、第３の円Ｃ３の半径は３Ｒである。
【００４９】
なお、本実施形態において、領域決定部３１は、半径の差が均等の３つの同心円により単位領域を決定するが、本発明はこれに限られず、Ｌｏｇスペースに変換して、Ｌｏｇスペースで均等に分割するものであってもよい。なお、画像の構図にある程度対応するため、領域決定部３１は、上述のように例えば半径差が均等になるように分割する方が好ましい。しかし、本発明はこれに限られず、不均等に分割するものであってもよい。
また、本実施形態において、ぼかし画像Ｄ１が正方形である例を用いて以下説明するが、本発明はこれに限られず、長方形や円形であってもよい。なお、長方形の場合、領域決定部３１は、長辺に内接する第１の円Ｃ１と、この第１の円Ｃ１よりも半径が小さい第２の円Ｃ２と第３の円Ｃ３でぼかし画像Ｄ１を分割する。
【００５０】
この領域決定部３１は、図６に示した通り第１〜３の円Ｃ１〜Ｃ３でぼかし画像Ｄ１を分割するとともに、図５に示す通り、この円の中心部から放射状に伸びる複数の分割線によりさらに分割して、ぼかし画像Ｄ１を複数の扇状形状の領域に分割する。なお、本実施形態において、単位領域ｒ１〜ｒ１２のように、２つの弧と各弧の両端と接する半径により形成される扇状形状を扇形形状という。また、単位領域ｒ１３〜ｒ１８のように、１つの弧と各弧の両端とを接する半径により形成される扇状形状を扇環形状という。この扇形形状と扇環形状とを合わせて、以下、扇状形状という。
【００５１】
本実施形態において、領域決定部３１は、図５に示す通り、同心円を均等のｈ（ｈ≧２）個の扇状形状に分割する。たとえば、領域決定部３１は、各扇状形状の中心角が６０°となるように、第１〜３の円Ｃ１〜Ｃ３によって分割された円や環の形状の領域を、それぞれ、ｎ＝６等分する。従って、同心円を複数の扇形（扇環）形状の領域に分割できる。よって、領域決定部３１は、３つの同心円Ｃ１〜Ｃ３をそれぞれ６分割する場合、図５で示しているように１８の領域ｒ１〜ｒ１８に分割できる。
このように、領域決定部３１は、画像の中心を扇形（扇環）形状の中心として、ぼかし画像Ｄ１を分割する単位領域を決定することにより、画像回転および撮像対象となる物体の回転にも対応することができる。この点について、図７〜９を参照して以下説明する。
【００５２】
なお、図７〜９を参照して以下に説明する例は、本発明を説明するための参考であって、本発明によるものではない。例えば、非特許文献２において説明する方法によるものである。
図７は、本願発明によらない方法で画像を縦および横に領域分割する単位領域の一例を示す図である。同図の例では、画像（ぼかし画像）Ｄ２００が、４行×４列の１６の単位領域ｒ２０１〜ｒ２１６に分割されている。
ここで、画像Ｄ２００には、図８に示すような被写体である人物の顔が中央に映されているとする。また、この画像Ｄ２００に映されている人物の顔が画像の中央を中心にして紙面右回りに１０°回転された画像２２０の一例を図９に示す。
図８、９を参照して、この回転された画像２２０が特徴量取得装置１に入力された場合の処理と、回転されていない画像２００が特徴量取得装置１に入力された場合の処理とを比較しながら、本発明の参考例について説明する。
【００５３】
例えば、回転されていない画像２００では、被写体である人物の右目が単位領域ｒ２１０に、左目が単位領域ｒ２１１に、それぞれ含まれている。一方、回転された画像２２０では、被写体である人物の右目が単位領域ｒ２０６に、左目が単位領域ｒ２１１に、それぞれ含まれている。つまり、回転された画像２２０と回転されていない画像２００において、単位領域毎に、画像内に含まれる被写体の特徴的な部分（ここでは人物の目）が異なる単位領域内に存在することとなる。
このため、図７に示す通り、格子状に分割された単位領域によると、次のステップＳＴ１７において説明する通り、特徴量算出部３１４が単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像２２０と回転されていない画像２００とでは、平均や分散の並び順が異なる。すなわち、同一の被写体を含む画像であるにも関わらず、特徴量算出部３１４によって得られる単位領域毎の特徴量が異なる。これによって、本来類似する画像と判定されるべき画像２００と画像２２０の特徴量が異なるため、類似画像と判定されないおそれがある。
【００５４】
これに対して、本願発明のように、画像を扇形（扇環）形状に分割した例を、図１０、１１を参照して説明する。図１０は、図８に示すように回転されていない画像２００を扇形（扇環）形状の単位領域に分割した一例を示す。図１１は、図９に示すように回転されている画像２２０を扇形（扇環）形状の単位領域に分割した一例を示す。
図１０に示すように、扇形（扇環）形状に分割した単位領域によれば、回転されていない画像２００において、被写体の人物の右目が単位領域ｒ１７に、左目が単位領域ｒ１４に、それぞれ含まれている。
また、図１１に示すように、回転された画像２２０においても、被写体の人物の右目は単位領域ｒ１７に、左目は単位領域ｒ１４に、それぞれ含まれている。
【００５５】
このように、画像内において被写体である物体が画像の中央を中心に回転した場合であっても、単位領域を扇形（扇環）形状に分割することによって、その画像内に含まれる被写体である物体の特徴的な部分（ここでは人物の目）が同一の単位領域内に存在している。したがって、特徴量算出部３１４が次のステップＳＴ１７において単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像２２０と回転されていない画像２００とで、各単位領域における特徴量を概ね同等にすることができる。つまり、特徴量算出部３１４が単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像２２０と回転されていない画像２００とでは、平均や分散の並び順が概ね同じになる。
【００５６】
また、領域決定部３１は、図５に示すように単位領域を扇形（扇環）形状に分割する場合、図１２に示す通り、各単位領域が隣接する単位領域と重複するように、ぼかし画像を分割するものであってもよい。
図１２は、領域決定部３１が分割する単位領域ｒ７、ｒ１３、ｒ１４の他の例である単位領域ｒ１０７、ｒ１１３、ｒ１１４の一例を示す図である。
図示の通り、単位領域ｒ１０７は、図５に示した単位領域ｒ７の中心角を大きくするとともに半径を長くした単位領域である。また、単位領域ｒ１１３は、図５に示した単位領域ｒ１３の中心角を大きくするとともに半径を長くした単位領域であり、単位領域ｒ１１４は、単位領域ｒ１４の中心角を大きくするとともに半径を長くした単位領域である。
つまり、領域決定部３１は、単位領域ｒ７、ｒ１３、ｒ１４の面積に対して、予め決められた角度および半径に応じた面積だけ拡大した単位領域ｒ１０７、ｒ１１３、ｒ１１４を決定する。これにより、これら単位領域ｒ１０７、ｒ１１３、ｒ１１４は、拡大された部分が隣接する領域においてそれぞれ重複している。
【００５７】
本実施形態において、領域決定部３１は、例えば、図５に示す通り、扇形（扇環）形状に分割した単位領域について、各単位領域の中心角を左右１５°ずつ拡大させて、つまり、中心角を両側あわせて３０°拡大させた単位領域を決定する。例えば、領域決定部３１は、図１２に示す通り、単位領域ｒ７、ｒ１３、ｒ１４に比べて、中心角が左右それぞれ１５°ずつ拡大している単位領域ｒ１０７、ｒ１１３、ｒ１１４を決定する。
また、領域決定部３１は、例えば、図５に示す通り、扇形（扇環）形状に分割した単位領域について、扇形の弧の部分を外側に５画素分の長さだけ拡大させる。例えば、領域決定部３１は、図１２に示す通り、単位領域ｒ１３、ｒ１４に比べて、それぞれの弧の部分が第１の円Ｃ１の外周から５画素分の長さだけ外側に拡大している扇形形状の単位領域ｒ１１３、ｒ１１４に分割する。つまり、領域決定部３１は、単位領域ｒ１３、ｒ１４の弧である第１の円Ｃ１の半径に５画素分の長さを加算した半径（Ｒ＋５画素分の長さ）の円の外周を弧とする単位領域ｒ１１３、ｒ１１４に分割する。
【００５８】
領域決定部３１による単位領域ｒ１１３の分割について、図１３を参照して詳細に説明する。図１３は、領域決定部３１によって決定される単位領域の形状の一例を示す図である。
この領域決定部３１は、単位領域ｒ１３の中心角α１＝６０°に、一方の端にα２＝１５°、他の端にα３＝１５°を、それぞれ加えた中心角α４＝９０°を、単位領域ｒ１１３の中心角と決定する。また、領域決定部３１は、単位領域ｒ１３の半径Ｒに５画素分に対応する長さＲａを加算した半径Ｒ＋Ｒａを、単位領域ｒ１１３の半径と決定する。
なお、本実施形態において、長さＲａは５画素分に対応する長さとしたが、これは、ぼかし画像Ｄ１の画像サイズが１２８×１２８画素であって、単位領域を１８分割する場合に最適な値である。よって、領域決定部３１は、ぼかし画像の画像サイズや単位領域の分割数に応じて、最適な長さＲａを決定することが好ましい。
【００５９】
次に、領域決定部３１による単位領域ｒ１０７の分割について、図１４を参照して詳細に説明する。図１４は、領域決定部３１によって決定される単位領域の形状の一例を示す図である。
単位領域ｒ１０７のように扇環形状である場合、弧の部分が２辺ある。この場合、領域決定部３１は、両方の弧の部分について、それぞれ、単位領域ｒ７の外側に５画素分ずつ拡大させる。
例えば、領域決定部３１は、図１４に示す通り、単位領域ｒ７において第１の円Ｃ１の外周の一部であった弧の部分を第１の円Ｃ１の外周より５画素分だけ内側となるように、かつ、単位領域ｒ７において第２の円Ｃ２の外周の一部であった弧の部分を第２の円Ｃ２の外周から５画素分だけ外側となるように、単位領域ｒ１０７を決定する。つまり、領域決定部３１は、円の内側の弧が第１の円Ｃ１の半径から５画素分の長さＲａを減算した半径（ｒ−５画素分の長さ）の円の外周となり、円の外側の弧が第２の円Ｃ２の半径に５画素分の長さＲａを加算した半径（ｒ＋５画素分の長さ）の円の外周となる単位領域ｒ１０７を決定する。
また、領域決定部３１は、上述の通り、単位領域ｒ１０７の中心角を拡大してα４＝９０°に決定する。
つまり、単位領域ｒ１０７の半径は、Ｒ＋２Ｒａであり、中心角は、α４＝９０°である。
【００６０】
なお、本実施形態において、領域決定部３１は、ぼかし画像Ｄ１に内接する第１の円Ｃ１を最大の半径の円として説明したが、本発明これに限られず、ぼかし画像Ｄ１に概説する円を最大の半径の円として、その内側に、半径差が均等になるように複数の同心円を決定して、単位領域に分割するものであってもよい。
この例を、図１５を参照して説明する。
図１５（ａ）は、上述の通り、ぼかし画像に内接する第１の円Ｃ１と、第２，３の円Ｃ２、Ｃ３により分割する例を示す図である。類似画像検索において、画像内において特徴的な物体は、画像の中央部分に存在する場合が多く、このように、画像の中心部分を強調したい場合は、このように内接円を作るように分割する方法が適している。
一方、図１５（ｂ）は、ぼかし画像に内接する第４の円Ｃ４と、この第４の円Ｃ４よりも小さい第５、６の円Ｃ５、Ｃ６により分割する例を示す図である。類似画像検索において、画像全体を考慮したい場合、つまり、画像の中央部分を強調したくない場合は、このように外接円を作るように分割する方法が適している。
【００６１】
次に、図２に戻って、特徴量取得装置１が特徴量（圧縮後特徴量）を求める処理手順の続きを説明する。
（ステップＳＴ１７：特徴量算出処理）
次に、特徴量算出部３１４は、領域決定部３１３から入力される単位領域が決定されたぼかし画像データに基づき、画素値の平均と分散とを単位領域ｒ１〜ｒ１８毎に示す特徴量を算出する。
図１６は、特徴量算出部３１４が算出する特徴量のデータ構成を示す図である。同図に示すように、特徴量算出部３１４は、領域決定部３１３から入力されるぼかし画像データの画素値の平均および分散を、チャンネルｃｈ毎、方向画像データの方向θ毎、ぼかし処理の段階毎、かつ、単位領域ｒ１〜ｒ１８毎に算出して、３４５６次元の特徴量を生成する。すなわち、方向数８×ぼかし処理の段階数４×平均と分散とで次元数２×領域数１８×チャンネル数３＝３４５６次元となる。
【００６２】
具体的処理としては、まず、特徴量算出部３１４は、チャンネルｃｈ毎、方向画像データの方向θ毎、ぼかし処理の段階毎に、（１）単位領域毎の画素値の平均および分散を算出し、（２）算出した平均および分散に、単位領域に応じた重み係数を乗算する。
この重み係数は、人間の視覚において画像の中心部が注目される特性に応じた特徴量を生成するために乗算されるものである。中心領域の重み係数は、中間領域および外側領域の重み係数よりも大きい値が特徴量算出部３１４に設定されている。
例えば、中心領域の重み係数ｗ＿ｃとして０．６、中間領域の重み係数ｗ＿ｍとして０．３、外側領域の重み係数ｗ＿ｏとして０．１を、それぞれ用いる。本実施形態において、中央領域とは単位領域ｒ１３〜１８であり、中間領域とは単位領域ｒ７〜１２であり、外側領域とは単位領域ｒ１〜６である。
【００６３】
次に、特徴量算出部３１４は、特徴量のデータ全体について値の総和を１とする正規化を行う。すなわち、特徴量算出部３１４は、３４５６個のデータの合計値を算出し、算出した合計値で各平均および分散を除算する。
この正規化により、特徴量算出部３１４は、画像全体の明るさによる影響を緩和した特徴量を得ることができる。
【００６４】
このように、特徴量算出部３１４は、方向画像における画素値について単位領域毎の平均および分散に基づいて特徴量を算出する。平均や分散は、データの特性を端的に示す指標値である。よって、特徴量算出部３１４は、この平均および分散を用いて特徴量を算出することにより、画像の特性を的確に捉えた特徴量を得ることができる。
特徴量算出部３１４は、算出した特徴量を、特徴量次元圧縮部４１に出力する。
【００６５】
（ステップＳＴ１８：特徴量次元圧縮処理）
次に、特徴量次元圧縮部４１は、特徴量算出部３１４から出力される特徴量の次元（データ数）を圧縮することによるデータ圧縮を行って、圧縮後特徴量を算出する。特徴量次元圧縮部４１は、特徴量の次元を圧縮する技術として、様々な既存の次元圧縮技術を用いることができる。例えば、特徴量次元圧縮部４１は、主成分分析（Principal Component Analysis；ＰＣＡ）を行って、以下のように次元圧縮を行う。
まず、特徴量取得装置１の特徴量算出部３１４は、予め、Ｍ枚の学習画像の各々に対して、上述した入力画像の場合と同様の処理を行ってＮ次元（本実施形態では３４５６次元）の特徴量を算出し、式（７）に示されるＮ×Ｍ次元の行列を得る。
【００６６】
【数７】
【００６７】
ここで、行列Ｘの１列分が１枚の学習画像から得られるＮ次元の特徴量に相当し、このＮ次元の特徴量が学習画像の枚数に応じてＭ列並んでいる。
そして、特徴量次元圧縮部４１は、式（８）に基づいて、行列Ｘの分散共分散行列Σを算出する
【００６８】
【数８】
【００６９】
ここで、「Σ」は分散協分散行列を示し、「Ｅ」は期待値を示し、「Ｔ」は転置行列を示す。
さらに、特徴量次元圧縮部４１は、式（９）を満たす、分散協分散行列の固有ベクトルＹと、期待値Ｅ［Ｘ］とを予め記憶しておく。
【００７０】
【数９】
【００７１】
ここで、「Ｙ」は、分散協分散行列Σの固有ベクトルを示し、「λ」は、分散協分散行列Σの固有値を示す。以下では、固有ベクトルＹおよび期待値Ｅ［Ｘ］を「辞書」と称する。
【００７２】
次元圧縮を行う際には、特徴量次元圧縮部４１は、予め記憶する辞書を用いて、式（１０）の行列Ｆ’を算出する。
【００７３】
【数１０】
【００７４】
このＦ’は、特徴量と同じくＮ個（本実施形態では３４５６個）の要素を有するＮ次元ベクトルである。すなわち、この段階ではまだ次元圧縮されていない。ただし、Ｆ’では、学習画像間における相違点と相関性の強い要素ほど上位に位置している。
そこで、特徴量次元圧縮部４１は、Ｆ’の要素を上位からｎ（ｎは、０＜ｎ≦Ｎの正整数）個選んで圧縮後特徴量を生成する。ここで、ｎは予め定められる定数であり、例えば、特徴量の３４５６次元に対して、３６〜１００のいずれかの値に定められている。このｎの値を小さく設定するほど、圧縮後特徴量の次元を削減できるので、圧縮後特徴量を記憶するためのデータ量が少なくて済み、また、画像の類似性判定の際の計算量が少なくて済む。一方、ｎの値を小さく設定するほど、特徴量に含まれていた情報の欠落度合いが大きくなり、画像の類否判断等の精度が低下する。そこで、ｎの値は、例えば、特徴量取得装置１を実際に運用する中で、特徴量を利用するアプリケーションにおいて求められる画像の類否判定等の精度と、許容されるメモリ容量および計算量とのトレードオフに基づいて定める。
以上のように、主成分分析を行って特徴量の次元を圧縮することにより、特徴量算出部３１４が算出した特徴量の、画像の相違点を示す情報の多くを保持しつつ、データ量を圧縮できる。
【００７５】
その後、特徴量次元圧縮部４１は生成した圧縮後特徴量を特徴量出力部５１に出力し、特徴量出力部５１は、入力画像の送信元のウェブサーバ等、圧縮後特徴量の要求元に対して、特徴量次元圧縮部４１から出力される圧縮後特徴量を送信する。
この圧縮後特徴量の利用方法としては、例えば、類似する複数の画像を検索する画像処理サービスを提供するウェブサーバが、類似画像を検索する際に、以下のように利用することが考えられる。
まず、このウェブサーバが、予めバックグラウンド処理にてＷＷＷ（World Wide Web）上から様々な画像データを取得する。そして、ウェブサーバは、取得した画像データを特徴量取得装置１に送信して圧縮後特徴量を取得し、画像データと圧縮後特徴量とを対応付けて記憶しておく。
そして、ウェブサーバは、画像処理要求を受信すると、処理対象の画像データ（画像処理要求に含まれる画像データ）を特徴量取得装置１に送信して、当該画像データの圧縮後特徴量を取得する。
そして、ウェブサーバは、処理対象の画像データの圧縮後特徴量と、予め記憶する各画像の圧縮後特徴量とを比較して、特徴量の類似する画像を選択することにより、処理対象の画像に類似する画像のデータを選択して画像処理サービスを行う。
【００７６】
以上説明した通り、領域決定部３１が、画像を分割する単位領域として、扇形（扇環）形状の複数の単位領域を決定することにより、画像内に映されている物体が画像内で移動あるいは回転した場合であっても、この物体の移動あるいは回転に対応することができる。これは、画像内の物体が画像の中央を中心にして回転した場合、この物体が回転していない画像において、物体の特徴部分が存在する単位領域に当該特徴部分が含まれている可能性が、格子状に単位領域を分割するものに比べて高いと考えられるからである。この考え方は、上述において、図８〜１１を参照して説明した通りである。
また、上述の通り、領域決定部３１が、各単位領域が隣接する単位領域と重複するように、ぼかし画像を分割することにより、画像内の物体が移動あるいは回転した場合であっても、重複する領域に対応する画像内の物体の移動あるいは回転に対応することができる。つまり、画像内における物体が、±５画素分の位置ずれ、あるいは、±１５°分の回転をした場合であっても、単位領域毎に含まれる物体の特徴的な部分を各領域に含ませることができる。したがって、特徴量算出部３１４が単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像と回転されていない画像とで、各単位領域における特徴量を概ね同等にすることができる。つまり、特徴量算出部３１４が単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像２２０と回転されていない画像２００とでは、平均や分散の並び順が概ね同じになる。これによって、画像特徴量を抽出した学習用の画像に比べて、類似画像検索の対象である画像内の物体の位置がずれている場合であっても、その位置ずれによる類似画像検索の精度の低減を軽減することができる。
【００７７】
また、特徴量取得装置１は、データの特性を端的に示す指標である平均および分散に基づいて特徴量を取得するので、画像毎の特性の違いを適切に反映し、比較的次元数の少ない特徴量を得ることができる。
特に本願発明者の行った実験にて、平均および分散に基づいて特徴量を取得することにより、ＧＩＳＴによって得られる特徴量よりも少ない次元の特徴量にて、ＧＩＳＴと同等の精度にて画像分類や類似画像検索を行うことができた。
【００７８】
また、方向画像算出部３１１が、微分画像データを算出し、算出した微分画像データに基づいて方向画像を算出することにより、ガボールフィルタ（Gabor filter）を用いて方向画像を求める方法よりも、少ない演算量で方向画像を得ることができる。
また、ぼかし処理部３１２が複数段階のぼかし処理を行い、特徴量算出部３１４が、ぼかし処理の各段階で得られるぼかし画像データについて特徴量を求めることにより、この特徴量を用いて、ピントが合っている画像とピントが合っていない画像との類否判断など、画像のぼけ具合に関わらず、画像類否判断や画像分類等の処理を適切に行うことが出来る。
【００７９】
また、特徴量次元圧縮部４１が、主成分分析等の次元圧縮技術を用いて特徴量の次元を圧縮することにより、画像類否判断や画像分類等の際の精度を保持しつつ、特徴量のデータ量を圧縮できる。このデータ量の圧縮により、特徴量を記憶するためのメモリ容量を削減できると共に、画像類否判断や画像分類等の際の、特徴量の類否判定の演算量を削減できる。
【００８０】
なお、特徴量取得装置１が、前処理部２１の一部または全部を備えない構成としてもよい。これにより、装置の構成を簡略化し、また、計算量を削減できる。
一方、前述したように、特徴量取得装置１が、対数演算部２１１を具備することにより、画素値が比較的小さいレベル（人間の目が明るさの差を感じやすいレベル）におけるコントラストが強調され、より適切に画像の特徴を特徴量に反映させることが可能となる。
また、フィルタリング部２１２を具備することにより、画像データの微細な部分の特徴量への影響を抑圧できる。また、色空間変換部２１３を具備することにより、色の違いの特徴量への影響を軽減して、より適切な特徴量を得ることが可能になる。
【００８１】
また、特徴量取得装置１が、方向画像算出部３１１と、ぼかし処理部３１２と、領域決定部３１３との一部または全部を具備しない構成としてもよい。例えば、特徴量取得装置１が方向画像算出部３１１を具備しない場合は、特徴量算出部３１４は、方向画像に換えて、入力画像あるいは入力画像に対して前処理等の処理が行われた画像に基づいて特徴量を算出する。これにより、装置の構成を簡略化し、また、計算量を削減できる。
一方、前述したように、特徴量取得装置１が、方向画像算出部３１１を具備することにより、画像中に含まれる物の形状が強く反映された特徴量を得ることができる。また、ぼかし処理部３１２を具備することにより、画像中の輪郭等のぼけ具合に関わらず、より適切に画像の類否判断等を行える特徴量を取得できる。また、領域決定部３１３を具備することにより、特徴量算出部３１４が特徴量を算出する際に、人間の視覚の特性に応じて、画像の中心ほど大きい値の重み係数を乗じて重み付けを行うことができる。
なお、ぼかし処理部３１２が行うぼかし処理は、上述した４段階の処理に限らない。例えば、３段階など、４段階以外の処理を行うようにしてもよい。
【００８２】
また、特徴量取得装置１が、特徴量次元圧縮部４１を具備しない構成としてもよい。これにより、装置の構成を簡略化し、また、計算量を削減できる。また、特徴量次元圧縮部４１による特徴量の次元圧縮を行わない場合でも、上述したように、例えばＧＩＳＴにおける特徴量と比べて次元の小さい特徴量が得られる。
一方、前述したように、特徴量取得装置１が、特徴量次元圧縮部４１を具備することにより、次元圧縮前の特徴量に含まれる、画像の相違点を示す情報の多くを保持しつつ、特徴量の次元をさらに小さくできる。
【００８３】
また、本発明に係る特徴量算出部３１４は、上述の機能を有するものに限られず、例えば、カラーヒストグラムやカラーモーメント等を計算することにより、画像の特徴量を算出するものであってもよい。
この場合、特徴量取得部３１は、方向画像算出部３１１による方向画像データの生成をすることなく、前処理部２１から入力する色空間変換画像データに基づき、ぼかし処理３１２による処理を行ったぼかし画像について、領域決定部３１３によって決定された単位領域毎に、カラーヒストグラムあるいはカラーモーメントを算出して、入力画像の特徴量を算出する。
【００８４】
＜第２実施形態＞
第２実施形態では、第１実施形態で説明した特徴量取得装置を用いて類似画像を検索する類似画像検索装置の一例について説明する。
図１７は、本発明の第２実施形態における類似画像検索装置の概略構成を示す構成図である。同図において、類似画像検索装置６は、入力部６１と、表示部６２と、記憶部６３と、検索対象画像取得部６４と、特徴量取得装置１と、類似画像検索部６５と、検索結果表示処理部６６とを具備する。なお、特徴量取得装置１は、上述において説明した第１実施形態に係る特徴量取得装置１である。
【００８５】
入力部６１は、マウスやキーボード等の入力デバイスを具備し、類似画像検索の元画像となる検索対象画像の指定など、類似画像検索装置６のユーザによる入力操作を受け付ける。表示部６２は、例えば液晶ディスプレイによる表示画面を備え、画像やテキスト等の各種データを表示する。特に、表示部６２は、類似画像検索装置６による類似画像の検索結果を表示する。
記憶部６３は、類似画像検索装置６が検索する類似画像の候補である複数の候補画像を、特徴量と対応付けて予め記憶する。
【００８６】
検索対象画像取得部６４は、ユーザの入力操作に基づいて、類似画像検索の元画像となる検索対象画像を取得する。
特徴量取得装置１は、図１の特徴量取得装置と同様であり、検索対象画像取得部６４から入力される画像の特徴量を取得する。
類似画像検索部６５は、検索対象画像取得部６４が取得した検索対象画像と類似する類似画像を、記憶部６３の記憶する候補画像の中から選択する。すなわち、類似画像検索部６５は、記憶部６３を検索して類似画像を取得する。検索結果表示処理部６６は、類似画像検索部６５が選択した類似画像を表示部６２に表示させる。
【００８７】
次に、類似画像検索装置６の動作について説明する。
図１８は、類似画像検索装置６が行う画像検索の処理手順の概略を示すフローチャートである。同図において、まず、ステップＳＴ２１１で、検索対象画像取得部６４は、類似画像検索の元画像（対象）となる検索対象画像の指定を受け付ける。次に、ステップＳＴ２１２で、特徴量取得装置１は、検索対象に指定された画像の特徴量を取得する。次に、ステップＳＴ２１３で、類似画像検索部６５は、特徴量取得装置１が取得した特徴量に基づき検索対象の画像に類似する類似画像を検索する。次に、ステップＳＴ２１４で、検索結果表示処理部６６は、検索により得られた類似画像を表示する。以下、これらのステップの各々について詳細に説明する。
【００８８】
ステップＳＴ２１１において、検索対象画像取得部６４は、類似画像検索の元画像（対象）となる検索対象画像の指定を受け付ける。
ここで、図１９は、検索対象画像の指定に際して表示部６２が表示する画面の例を示す図である。
【００８９】
例えば、類似画像検索装置６は、図１９に示されるように、複数の画像のサムネイルを表示するとともに、各画像の下に「似た画像」と示す選択欄が付されたウェブページを、表示部６２が表示する。ここで表示部６２が表示するウェブページは、例えば、検索対象画像取得部６４が、類似画像検索装置６のユーザによる類似画像検索要求操作に従って、ユーザが閲覧中のウェブページに含まれる複数の画像を、１枚のウェブページに纏め、「似た画像」の選択欄を付したものである。言い換えると、このウェブページは、ユーザが閲覧中のウェブページに含まれる全ての画像を類似画像検索の対象画像として表示するとともに、当該画像に類似する類似画像の検索をユーザが指示するための「似た画像」の選択欄を当該画像の付近に表示するものである。
そして、入力部６１は、ユーザがこの選択欄のいずれかをマウスクリックすることによる検索対象画像の選択操作を受け付ける。そして、検索対象画像取得部６４は、入力部６１が受け付けた選択操作に基づいて、マウスクリックされた選択欄に対応付けられている画像を、検索対象画像として取得（決定）し、取得した検索対象画像を特徴量取得装置１に出力する。その後、ステップＳＴ２１２に進む。
【００９０】
なお、検索対象画像の候補は、上述した、ユーザが閲覧中のウェブページに含まれる複数の画像に限らない。類似画像検索装置６（検索対象画像取得部６４）は、様々な画像を検索対象画像とすることができる。例えば、検索対象画像取得部６４が、記憶部６３が記憶する画像の中からユーザによって選択された画像を、検索対象画像として取得するようにしてもよい。
また、検索対象画像の指定方法は、上述した選択欄をマウスクリックする方法に限らない。例えば、ユーザが、検索対象に指定したい画像をスキャナに読み取らせ、検索対象画像取得部６４が、スキャナから入力画像データを取り込むようにしてもよい。あるいは、ユーザが、検索対象に指定したい画像のファイル名を、入力部６１のキーボードを用いて入力することによって、検索対象画像を指定するようにしてもよい。
【００９１】
ステップＳＴ２１２において、特徴量取得装置１が、第１実施形態で説明した特徴量取得方法を用いて、指定された検索対象画像の特徴量を取得する。
ステップＳＴ２１３において、類似画像検索部６５は、特徴量取得装置１が取得した特徴量に基づき、類似画像検索を行う。
ここで、記憶部６３は、検索対象画像に類似する類似画像の候補である複数の候補画像と、ステップＳＴ２１２で特徴量取得装置１が行う特徴量取得方法を当該候補画像に適用して得られる特徴量とをそれぞれ対応付けて、予め記憶している。記憶部６３が記憶する候補画像は、例えば、類似画像検索装置６がバックグラウンドで、インターネット上の予め指定されたウェブページから取得した画像である。そして、類似画像検索装置６は、このウェブページから取得した画像を、特徴量取得装置１に出力して特徴量を取得し、画像と特徴量とを対応付けて、記憶部６３に予め（類似画像検索開始前に）書き込んでおく。
【００９２】
そして、類似画像検索部６５は、記憶部６３を参照して、候補画像の各々について、当該候補画像の特徴量と検索対象画像の特徴量との距離（以下、「画像間距離」と称する）を算出し、算出した画像間距離に基づいて類似画像（検索結果画像）を選択する。
ここでいう画像間距離とは、２つの特徴量の類似度を示す尺度である。例えば、類似画像検索部６５は、式（１１）に基づいて、候補画像のうちｊ番目の画像（ここでの順序付けは、候補画像の順序を一意に決定できる順序付けであればよい。例えば、記憶部６３のメモリ空間において、各候補画像が記憶されている記憶領域の先頭アドレスの小さい順を用いることができる。）と検索対象画像との画像間距離を算出する。
【００９３】
【数１１】
【００９４】
ここで、記憶部６３の記憶する候補画像の数をＭ枚として、ｊは１≦ｊ≦Ｍの正整数である。また、Ｎは、特徴量取得装置１が取得する特徴量の次元数であり、Ｎ個のスカラー量で１枚の画像の特徴量が示されているとする。また、二次元配列Ｄ（ｉ，ｊ）の第ｊ列にあたるＮ次元ベクトルＤ（ｉ，ｊ）（１≦ｉ≦Ｎ）は、候補画像のうちｊ番目の画像の特徴量を示し、Ｎ次元ベクトルｄ（ｉ）（１≦ｉ≦Ｎ）は、検索対象画像の特徴量を示し、Ｓ（ｊ）は、候補画像のうちｊ番目の画像と、検索対象画像との画像間距離を示す。
【００９５】
類似画像検索部６５は、この画像間距離Ｓ（ｊ）が小さい候補画像ほど、検索対象画像に類似する（画像の類似度が高い）と判定する。すなわち、Ｍ枚全ての画像と検索対象画像との間の画像間距離Ｓ（ｊ）を計算し、次にＳ（ｊ）の小さいものから順にＲ個（０≦Ｒ≦Ｍ）を検索結果として選び出すことで、類似画像検索を行う。そして、類似画像検索部６５は、検索結果を検索結果表示処理部６６に出力する。例えば、記憶部６３が、各候補画像を識別する画像番号と当該候補画像とを対応付けて記憶しておき、類似画像検索部６５は、画像間距離の小さい順にＲ個の画像番号を検索結果表示処理部６６に出力する。
なお、類似画像検索部６５が画像間距離を取得する方法は、上述した方法に限らず、各候補画像と検索対象画像との類似度を示す画像間距離を得られる方法であればよい。例えば、式（１１）に示される式に代えて、式（１２）に示される式を用いるようにしてもよい。
【００９６】
【数１２】
【００９７】
ここで、Ｎ、ｉ、ｊ、Ｄ（ｉ，ｊ）、ｄ（ｉ）、Ｓ（ｉ）は、式（１１）で説明したのと同様である。
【００９８】
ステップＳＴ２１４において、検索結果表示処理部６６は、検索結果を表示する。
例えば、検索結果表示処理部６６は、類似画像検索部６５から出力される検索結果を、類似画像検索部６５から出力される順（画像間距離の小さい順）にサムネイル表示する。
【００９９】
このように、類似画像検索装置６は、第１実施形態で説明した特徴量取得方法を用いて類似画像を検索するので、画像特徴量を抽出した類似画像の候補である複数の候補画像に比べて、類似画像検索の対象である画像内の物体の位置がずれている場合であっても、その位置ずれによる類似画像検索の精度の低減を軽減することができる。
また、比較的次元数の少ない特徴量を用いて、適切な類似画像を行うことができる。すなわち、記憶部６３が特徴量を記憶するための記憶容量を削減しつつ、適切に類似画像を検索することができる。
【０１００】
なお、特徴量取得装置１または類似画像検索装置６の各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の保持装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１０１】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１０２】
１・・・特徴量取得装置、１１・・・画像取得部、２１・・・前処理部、２１１・・・対数演算部、２１２・・・フィルタリング部、２１３・・・色空間変換部、３１・・・特徴量取得部、３１１・・・方向画像算出部、３１２・・・ぼかし処理部、３１３・・・領域決定部、３１４・・・特徴量算出部、４１・・・特徴量次元圧縮部、５１・・・特徴量出力部、６・・・類似画像検索装置、６１・・・入力部、６２・・・表示部、６３・・・記憶部、６４・・・検索対象画像取得部、６５・・・類似画像検索部、６６・・・検索結果表示処理部
【技術分野】
【０００１】
本発明は、画像データの特徴量を取得する特徴量取得装置、当該特徴量取得装置を含む類似画像検索装置、特徴量取得方法、および、これら特徴量取得装置または類似画像検索装置における各手段を実行するプログラムに関する。
【背景技術】
【０００２】
２次元画像の分類や類似画像検索を行うための指標として、当該画像の特徴を示す特徴量を抽出する手法が一般に用いられている。なかでも、非特許文献１で紹介されている、ＧＩＳＴと呼ばれる特徴量を抽出する手法は、画像の構図を反映した特徴量を抽出できる手法として、画像分類や類似画像検索に広く用いられている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Aude Oliva、他１名、「Modeling the shape of the scene: a holistic representation of the spatial envelope」、International Journal of Computer Vision、Vol. ４２(３)、２００１年、p.１４５-１７５
【非特許文献２】Matthijs Douze、他４名、「Evaluation of GIST descriptors for web-scale image search」、International Conference on Image and Video Retrieval、２００９年７月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載の方法では、特徴量を算出するための単位領域に方向画像を分割する際、４×４の格子状にブロック分割を行う。この分割では、画像全体の構図の反映はできるものの、画像内に存在する物体の回転や位置ずれに対応できない問題がある。
言い換えると、類似画像検索を行うために参照データとして用意されている画像内の物体の位置と、当該類似画像検索の対象となる画像内の物体の位置が異なる場合、単位領域毎の特徴量が異なる場合がある。例えば、参照データの画像と比較して画像内の物体が画像の中央を中心として回転している画像が類似画像検索の対象であった場合、画像内の中央部分では位置ずれは少ないものの、画像の外縁部分における画像の位置ずれは多くなる。この画像の位置ずれにより、対象の画像の外縁部分では、単位領域毎の特徴量が、参照データと異なる場合がある。この場合、画像内に含まれる物体も同一で画像として類似しているにも関わらず、類似画像検索において非類似と判定されるおそれがある。よって、類似画像検索の精度が低下する問題がある。
【０００５】
本発明は、このような事情を考慮してなされたものであり、その目的は、画像特徴量を抽出した学習用の画像に比べて、類似画像検索の対象である画像内の物体の位置がずれている場合であっても、その位置ずれによる類似画像検索の精度の低減を軽減することができる特徴量取得装置、類似画像検索装置、特徴量取得方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による特徴量取得装置は、入力する入力画像の画像データに基づき画素毎に画素値の対数を示すコントラスト強調画像データを生成する対数演算部と、前記コントラスト強調画像データから高周波成分を除去した高周波成分除去画像データを生成するフィルタリング部と、前記高周波成分除去画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する方向画像算出部と、前記方向画像データに対して画像中の輪郭をぼかすためのフィルタを適用してぼかし画像データを生成するぼかし処理部と、前記ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、前記ぼかし画像データの画素値の平均を前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、を備えることを特徴とする。
【０００７】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得装置において、前記入力画像の画像データ、前記コントラスト強調画像データ、および前記高周波成分除去画像データのうち少なくともいずれか1つのデータにおいて表わされている色空間を予め決められている他の色空間に変換する色空間変換部をさらに有することを特徴とする。
【０００８】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得装置において、前記特徴量算出部が、前記ぼかし画像データの画素値の平均および分散を前記単位領域毎に算出し、算出した平均および分散に基づく特徴量を求めることを特徴とする。
【０００９】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による特徴量取得装置は、入力する入力画像の画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、前記画像データのカラーヒストグラムを前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、を備えることを特徴とする。
【００１０】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による特徴量取得装置は、入力する入力画像の画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、前記画像データのカラーモーメントを前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、を備えることを特徴とする。
【００１１】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得装置において、前記単位領域が、隣接する単位領域と重複する形状であることを特徴とする。
【００１２】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による類似画像検索装置は、上述に記載のいずれかの特徴量取得装置を備える類似画像検索装置であって、前記入力画像に類似する類似画像の候補である複数の候補画像を示す情報と、前記特徴量算出部によって算出された前記候補画像の特徴量とをそれぞれ対応付ける情報を記憶する記憶部と、前記記憶部を参照して、前記特徴量算出部によって算出された前記入力画像の特徴量と前記候補画像の特徴量との類似度を算出し、当該類似度に基づいて前記入力画像に類似する前記候補画像を得る類似画像検索部と、を備えることを特徴とする。
【００１３】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による特徴量取得方法は、入力する入力画像の画像データに基づき画素毎に画素値の対数を示すコントラスト強調画像データを生成する対数演算処理ステップと、前記コントラスト強調画像データから高周波成分を除去した高周波成分除去画像データを生成するフィルタリング処理ステップと、前記高周波成分除去画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する方向画像算出処理ステップと、前記方向画像データに対して画像中の輪郭をぼかすためのフィルタを適用してぼかし画像データを生成するぼかし処理ステップと、前記ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定処理ステップと、前記ぼかし画像データの画素値の平均を前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出処理ステップと、を備えることを特徴とする特徴量取得方法。
【００１４】
この発明は上述した課題を解決するためになされたもので、本発明の一態様によるプログラムは、コンピュータに、上述の特徴量取得方法の各ステップを実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００１５】
この発明によれば、画像特徴量を抽出した学習用の候補画像に比べて、類似画像検索の対象である画像内の物体の位置がずれている場合であっても、その位置ずれによる類似画像検索の精度の低減を軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る第１実施形態における特徴量取得装置の構成の一例を示す構成図である。
【図２】本発明に係る第１実施形態における特徴量取得方法の一例を示すフローチャートである。
【図３】本発明に係る第１実施形態における方向画像算出部が微分画像データを求めるために用いるマスクの一例を示す図である。
【図４】本発明に係る第１実施形態におけるぼかし処理部が行うぼかし処理の一例について説明するための図である。
【図５】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を示す図である。
【図６】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための図である。
【図７】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図８】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図９】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図１０】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図１１】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図１２】本発明に係る第１実施形態における領域決定部が決定する単位領域の他の例を示す図である。
【図１３】図１２に示す単位領域を説明するための図である。
【図１４】図１２に示す単位領域を説明するための図である。
【図１５】本発明に係る第１実施形態における領域決定部が決定する単位領域の一例を説明するための参考図である。
【図１６】本発明に係る第１実施形態において特徴量算出部が算出する特徴量のデータ構成の一例を示す図である。
【図１７】本発明に係る第２実施形態における類似画像検索装置の構成の一例を示す構成図である。
【図１８】本発明に係る第２同実施形態における類似画像検索方法の一例を示すフローチャートである。
【図１９】本発明に係る第２同実施形態において検索対象画像の指定に際して表示部が表示する画面の例を示す図である。
【発明を実施するための形態】
【００１７】
＜第１実施形態＞
以下、図面を参照して、本発明の実施形態について説明する。
図１は、本発明の第１実施形態における特徴量取得装置１の概略構成を示す構成図である。同図において、特徴量取得装置１は、画像取得部１１と、前処理部２１と、特徴量取得部３１と、特徴量次元圧縮部４１と、特徴量出力部５１とを具備する。前処理部２１は、対数演算部２１１と、フィルタリング部２１２と、色空間変換部２１３とを具備する。特徴量取得部３１は、方向画像算出部３１１と、ぼかし処理部３１２と、領域決定部３１３と、特徴量算出部３１４とを具備する。
【００１８】
画像取得部１１は、特徴量を求める対象の画像データを入力して、この画像データを前処理部２１に出力する。例えば、画像取得部１１は、類似する複数の画像をデータベースから検索する画像処理サービスを提供するウェブサーバから、当該ウェブサーバが画像処理に用いる画像データを受信し、受信した画像データを前処理部２１に出力する。以下では、画像取得部１１の取得する画像データを「入力画像データ」と称し、入力画像データが示す画像を「入力画像」と称する。
【００１９】
前処理部２１は、入力画像データに対して、入力画像の特徴量を求めるための前処理を行った画像データを特徴量取得部３１に出力する。この前処理部２１において、対数演算部２１１は、入力画像データの画素毎に、入力画像がカラー画像の場合は色成分毎に、画素値の対数（ｌｏｇ）を取ったコントラスト強調画像データを生成する。フィルタリング部２１２は、対数演算部２１１が生成したコントラスト強調画像データから高周波成分を除去するフィルタリング処理を行って、高周波成分除去画像データを生成する。色空間変換部２１３は、高周波成分除去画像データの色空間を他の色空間に変換して色空間変換画像データを生成する。なお、前処理部２１は、色変換部２１３を備えずに、フィルタリング部２１２からの高周波成分除去画像データを特徴量取得部３１に出力する構成であってもよい。
【００２０】
特徴量取得部３１は、前処理部２１から出力される色空間変換画像データに基づき、画像データの特徴量を取得して特徴量次元圧縮部４１に出力する。特徴量取得部３１において、方向画像算出部３１１は、色空間変換部２１３から出力される色空間変換画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する。なお、特徴量取得部３１は、前処理部２１のフィルタリング部２１２が出力する高周波成分除去画像データに基づき、画像データの特徴量を取得して特徴量次元圧縮部４１に出力する構成であってもよい。ぼかし処理部３１２は、方向画像データに対してぼかし処理を行いぼかし画像データを生成する。領域決定部３１３は、ぼかし画像データ上において、特徴量を算出する際の処理の基準の単位領域となる領域を決定する。特徴量算出部３１４は、領域決定部３１３が決定した単位領域毎に、ぼかし画像データの画素値の平均と分散を算出することにより、入力画像の特徴量を算出する。
【００２１】
この領域決定部３１は、ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する。
なお、本実施形態に係る特徴量取得装置１は、この領域決定部３１３によって決定される単位領域の形状に特徴を有し、この形状の詳細については、以下に説明する。
また、本実施形態において、特徴量取得装置１の特徴量算出部３１４は、ぼかし画像データの画素値の平均と分散を算出することにより、入力画像の特徴量を算出する例を用いて以下説明する。しかし、本発明はこれに限られず、特徴量取得装置１の特徴量算出部３１４は、ぼかし画像データの画素値の平均のみを算出することにより、入力画像の特徴量を算出するものであってもよい。
【００２２】
特徴量次元圧縮部４１は、特徴量算出部３１４が算出した特徴量の次元数を減らして圧縮後特徴量を算出する。なお、本実施形態において、特徴量取得装置１は、この特徴量次元圧縮部４１を備え、特徴量算出部３１４が算出した特徴量の次元数を減らして圧縮後特徴量を算出する例を用いて以下説明するが、本発明はこれに限られず、特徴量次元圧縮部４１を備えない構成であってもよい。
特徴量出力部５１は、特徴量次元圧縮部４１が算出した圧縮後特徴量を特徴量取得装置１の外部に出力する。例えば、特徴量出力部５１は、入力画像データの送信元のウェブサーバに、圧縮後特徴量を送信する。
【００２３】
次に、特徴量取得装置１の動作について説明する。
図２は、特徴量取得装置１が特徴量（圧縮後特徴量）を求める処理手順を示すフローチャートである。特徴量取得装置１の画像取得部１１は、入力画像データＩを入力すると同図の処理を開始する。
なお、以下では、入力画像がカラー画像であり、入力画像データが赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３チャンネルのデータである場合の一例について説明する。入力画像がモノクロ画像の場合は、特徴量取得装置１は１チャンネルのデータを取得して、以下に説明する処理のうち１チャンネル分の処理を行う。
ステップＳＴ１１〜ＳＴ１３では、前処理部２１が入力画像データに対する前処理を行う。
【００２４】
（ステップＳＴ１１：対数算出処理）
まず、対数演算部２１１が、式（１）に基づいて、入力画像データＩに対して、チャネルｃｈ毎に、各画素の画素値の対数（ｌｏｇ）を取ったコントラスト強調画像データＩｌ＿ｃｈを生成する（ステップＳＴ１１）。言い換えると、対数演算部２１１は、入力画像データに基づき、画素毎に画素値の対数を示すコントラスト強調画像データＩｌ＿ｃｈを生成する。
【００２５】
【数１】
【００２６】
ここで、式（１）に示す「Ｉｃｈ」は、入力画像データＩに含まれるチャンネル毎の各画素の画素値を要素とする行列であり、「Ｉｃｈ＋１」は、行列Ｉｃｈの各要素に“１”を加えることを示す。また、「ｌｏｇ（Ｉｃｈ＋１）」は、行列Ｉｃｈ＋１の各要素の対数を取ることを示す。
対数演算部２１１が画素値の対数を取ることにより、画素値が比較的小さいレベル（つまり、人間の目が明るさの差を感じやすいレベル）におけるコントラストが強調され、より適切に画像の特徴を特徴量に反映させることが可能となる。対数演算部２１１は、生成したコントラスト強調画像データＩｌ＿ｃｈをフィルタリング部２１２に出力する。
【００２７】
（ステップＳＴ１２：周波数領域フィルタリング処理）
次に、フィルタリング部２１２は、コントラスト強調画像データＩｌ＿ｃｈに基づき、対数演算部２１１から出力されるコントラスト強調画像の高周波成分を抑制するフィルタリング処理を行う。具体的には、フィルタリング部２１２は、式（２）に基づいて、コントラスト強調画像データＩｌ＿ｃｈに対してフィルタリング処理を行い、高周波成分除去画像データｏｕｔｃｈをチャネルｃｈ毎に生成する。
【００２８】
【数２】
【００２９】
ここで、「ｆｆｔ２」は、２次元ｆｆｔ（Fast Fourier Transform、高速フーリエ変換）を示し、「ｉｆｆｔ２」は、２次元逆ｆｆｔを示す。また、「＊」は畳み込み演算を示す。「ｆ」は、式（３）で示されるフィルタである。
【００３０】
【数３】
【００３１】
ここで、「ｆｘ２＋ｆｙ２」は、任意の画素Ｐ（ｘ，ｙ）から入力画像の中心までの距離（画素数）の２乗を示す。また、ｓは定数である。
式（３）に示されるフィルタｆは、高周波成分を抽出するフィルタである。フィルタリング部２１２は、式（２）に従って、コントラスト強調画像データＩｌ＿ｃｈの高周波成分を抽出し、抽出した高周波成分をコントラスト強調画像データＩｌ＿ｃｈから減算することにより、コントラスト強調画像データＩｌ＿ｃｈから高周波成分を除去した高周波成分除去画像データｏｕｔｃｈを生成する。
このフィルタリング部２１２が高周波成分を除去することで、入力画像データＩの微細な画像部分から特徴量を抽出する際に、当該微細な画像部分の特徴量が低減することへの影響を抑圧することができる。
これにより、特徴量取得装置１は、類似画像を検索する際に、微細な画像部分にとらわれずに、より大局的に画像の類似度を評価できる。言い換えると、フィルタリング部２１２が高周波成分を除去することにより、微細な画像部分について局所的な類似度を算出することなく、この微細な画像部分を含む単位領域毎に、画像の類似度を大局的に評価することができる。フィルタリング部２１２は、生成した高周波成分除去画像データを、色空間変換部２１３に出力する。
なお、定数ｓの値については、７．２〜７．５の間の値に設定したときに、より良好な実験結果を得ることができた。よって、フィルタリング部２１２に設定するフィルタとしては、式（３）に示す定数ｓが、７．２≦定数ｓ≦７．５の範囲であることが好ましい。
【００３２】
（ステップＳＴ１３：色空間変換処理）
次に、色空間変換部２１３は、フィルタリング部２１２から出力される高周波成分除去画像データｏｕｔｃｈが示す色空間を、他の色空間に変換した色空間変換画像データを生成する（ステップＳＴ１３）。
ここで、色空間変換部２１３による変換後の色空間は、照明変動に強い色空間であればよく、予め決められている。
例えば、色空間変換部２１３は、式（４）に基づいて、高周波成分除去画像データｏｕｔｃｈが示す色空間であるＲＧＢ色空間をオポーネント（Opponent）色空間に変換する。
【００３３】
【数４】
【００３４】
ここで、式（４）に示すＲ、Ｇ、Ｂは、各々、高周波成分除去画像データのうち、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各チャンネルの部分行列を示す。また、式（４）に示すＯ１、Ｏ２、Ｏ３は、各々、色空間変換画像データのうち、オポーネントの各色成分に対応する部分行列を示す。なお、この色成分Ｏ１、Ｏ２、Ｏ３を、ここではチャネルという。
この色空間変換部２１３が変換する色空間として、照明変動に強い色空間を予め決めておくことで、色の違いによる特徴量への影響を軽減して、より適切な特徴量を得ることが可能になる。
例えば、同じものを撮像したにもかかわらず、照明光の影響により異なる色となった２つの画像や、色は異なるが同じ型の自動車を撮像した類似する構図の２つの画像を、それぞれオポーネント色空間で表現した場合、チャネルＯ３の要素は、色合い、すなわちＲＧＢの画素値の比にかかわらず、ＲＧＢの輝度値の合計に応じて同一の値となる。したがって、色空間変換部２１３が変換する色空間として、オポーネント色空間を用いることにより、色の違いによる特徴量への影響を軽減して、より適切な特徴量を得ることが可能になる。
色空間変換部２１３は、色空間を変換してチャネルｃｈ毎に得られる色空間変換画像データを、方向画像算出部３１１に出力する。
ここでは、高周波成分除去画像データについて色空間の変換を行う説明を行ったが、色空間の変換は、特徴量算出前の画像データに対して行うものであれば、いずれの段階で行ってもよい。例えば、入力画像データに対して色空間の変換を行い、色空間の変換後の画像データを対数演算部２１１の入力としてもよい。また、コントラスト強調画像データに対して色空間の変換を行い、色空間の変換後の画データをフィルタリング部２１２の入力としてもよい。
また、色空間の変換自体を行わなくてもよく、色空間の変換を行わない場合には、以下の方向画像の算出以降の処理もＲＧＢの各チャネルの部分行列のまま処理を行えばよい。
【００３５】
ステップＳＴ１４〜ＳＴ１７では、特徴量取得部３１が特徴量を取得する。
（ステップＳＴ１４：方向画像算出処理）
まず、方向画像算出部３１１は、色空間変換部２１３から入力する色空間変換画像データに基づいて、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを生成する。
方向画像データを生成するために、方向画像算出部３１１は、まず、色空間変換画像データにおけるｘ方向およびｙ方向のそれぞれについて、微分画像データを生成する。
【００３６】
ここで、図３を参照して、方向画像算出部３１１が微分画像データを求めるために用いるマスクの一例について説明する。図３は、方向画像算出部３１１が微分画像データを求めるために用いるマスクの一例を示す図である。
例えば、方向画像算出部３１１は、色空間変換画像データにおける各画素について、図３（ａ）に示すように、任意の画素Ｐ０の左隣の画素の画素値に０．５を乗じた値から、右隣の画素の画素値に０．５を乗じた値を減算して、微分画像データにおけるｘ方向の画素値Ｉ’Ｏｃｈ_ｘ（ｘ，ｙ）を、チャネルｃｈ毎に得る。また、同図（ｂ）に示すように、方向画像算出部３１１は、任意の画素Ｐ０の上隣の画素の画素値に０．５を乗じた値から、下隣の画素の画素値に０．５を乗じた値を減算して、微分画像データにおけるｙ方向の画素値を、チャネルｃｈ毎に得る。
これを式で表すと、式（５）のようになる。
【００３７】
【数５】
【００３８】
ここで、式（５）に示す「Ｏｃｈ」（ｃｈ＝１，２，３）は、チャンネルＯ１、Ｏ２、Ｏ３のうちいずれか１つを示すものである。方向画像算出部３１１は、各チャンネルＯｃｈの色空間変換画像データに基づき、式（５）に従って、微分画像データＩ’Ｏｃｈ_ｘ、Ｉ’Ｏｃｈ_ｙを算出する。
また、式（５）に示す「Ｉ’Ｏｃｈ_ｘ（ｘ，ｙ）」は、座標（ｘ，ｙ）の画素Ｐ０おける、チャンネルＯｃｈのｘ方向の微分画像データ値（画素値）を示す。同様に、式（５）に示す「Ｉ’Ｏｃｈ_ｙ（ｘ，ｙ）」は、座標（ｘ，ｙ）の画素Ｐ０おける、チャンネルＯｃｈのｙ方向の微分画像データ値（画素値）を示す。
【００３９】
また、本実施形態では、矩形画面の入力画像において、最も左上の画素を座標（０，０）として、横軸方向をｘ、縦軸方向をｙとする。
つまり、ｘ座標は、矩形画面の最も左の画素のｘ座標を“０”として、左から右に向かって、ｘ＝１，２，３，・・・と設定されている。したがって、方向画像算出部３１１が微分画像データを算出中の画素Ｐ０の座標（ｘ，ｙ）に対して、座標（ｘ−１，ｙ）が左隣の画素Ｐ１の座標であり、座標（ｘ＋１，ｙ）が右隣の画素Ｐ２の座標である。
また、ｙ座標は、矩形画面の最も上の画素のｙ座標を“０”として、上から下に向かって、ｙ＝１，２，３，・・・と設定されている。したがって、方向画像算出部３１１が微分画像データを算出中の画素Ｐ０の座標（ｘ，ｙ）に対して、座標（ｘ，ｙ−１）が上隣の画素Ｐ３の座標であり、座標（ｘ，ｙ＋１）が下隣の画素Ｐ４の座標である。
【００４０】
次に、方向画像算出部３１１は、式（６）に従って、微分画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する。
【００４１】
【数６】
【００４２】
ここで、式（６）に示すθは、任意の座標（ｘ，ｙ）の画素Ｐ０について、方向画像算出部３１１が算出する方向画像データの方向（角度）、すなわち、画素Ｐ０を基準とした方位を示す。例えば、方向画像算出部３１１が４方向について方向画像データを算出する場合は、θｄ＝０°、９０°、１８０°、２７０°（ｄ＝４）のうち、少なくともいずれか１つの値をとるように設定されている。なお、本実施形態において、方向画像算出部３１１は、全方向に対応する方向画像データを算出するように設定されている。したがって、方向画像算出部３１１は、各画素について、チャンネルｃｈ毎に、各方向θに対応する４つの画素値を算出する。
あるいは、方向画像算出部３１１が８方向について方向画像データを算出する場合は、θｄ＝０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°（ｄ＝８）のうち、少なくともいずれか１つの値をとるように設定されている。なお、本実施形態において、方向画像算出部３１１は、全方向に対応する方向画像データを算出するように設定されている。従って、方向画像算出部３１１は、各画素について、チャネルｃｈ毎に、８つの画素値を算出する。
つまり、本実施形態において、方向画像算出部３１１は、方向画像データとして、各画素について、チャネル数（ｃｈ）×方向数（ｄ）の数だけ、それぞれに対応する画素値を算出する。
なお、方向数ｄが多いほど、より精密に画像の類否判断を行い得る特徴量を提供できるが、特徴量を算出するための計算量が増大し、また、特徴量のデータ量も増大する（すなわち、特徴量を記憶しておくために必要となるメモリ容量が増大する）。この類否判断の精度と、計算量およびメモリ容量とのトレードオフから、方向数ｄは、４〜１６に設定することが好ましい。
本実施形態において、方向画像算出部３１１は、８方向（ｄ＝８）について方向画像データを算出することが設定されている。
【００４３】
方向画像算出部３１１が算出する方向画像データは、任意の座標（ｘ，ｙ）の画素Ｐ０において、予め決められたそれぞれの方向θの画素におけるエッジの有無や強さを示すデータである。特徴量取得部３１が方向画像データに基づいて特徴量を算出することにより、画像中においてエッジを形成する物体の輪郭等が特徴量に反映される。このため、特徴量取得部３１は、画像中に含まれる物体の形状が強く反映された特徴量を得ることができる。
また、方向画像算出部３１１は、微分画像データを最初に取得しておき、この微分画像データに基づいて方向画像データを算出することにより、ガボールフィルタ（Gaborfilter）を用いて方向画像を求める方法よりも、少ない演算量で方向画像を得ることができる。
方向画像算出部３１１は、算出した方向画像データをぼかし処理部３１２に出力する。
【００４４】
（ステップＳＴ１５：ぼかし処理）
次に、ぼかし処理部３１２は、方向画像算出部３１１から出力される方向画像データに対し、チャンネルｃｈ毎、かつ、方向画像データの方向θ毎に、各画素についてぼかし処理を行い、ぼかし画像データを生成する。
ここで、図４を参照して、ぼかし処理部３１２によるぼかし処理について説明する。図４は、ぼかし処理部３１２が方向画像データに対して４段階のぼかし処理を行い、ぼかし画像データを生成する一例を示す図である。
例えば、ぼかし処理部３１２は、ガウシアンフィルタ（Gaussian filter）を用いて各段階のぼかし処理を行う。
【００４５】
まず、ぼかし処理部３１２は、方向画像データに対して、カーネル（ぼかし強度を示す値）がσ１のガウシアンフィルタを適用してぼかし画像データＤ１を生成する。次に、ぼかし処理部３１２は、ぼかし画像データＤ１に対して、カーネルがσ２のガウシアンフィルタを適用して、ぼかし画像データＤ２を生成する。さらに、ぼかし処理部３１２は、ぼかし画像データＤ２に対して、カーネルがσ３のガウシアンフィルタを適用して、ぼかし画像データＤ３を生成する。そして、ぼかし処理部３１２は、ぼかし画像データＤ３に対して、カーネルがσ４のガウシアンフィルタを適用して、ぼかし画像データＤ４を生成する。
ここで、カーネル＝σ１、σ２、σ３、σ４の値は、同じ値であってもよいし、異なる値であってもよい。本実施形態において、ぼかし処理部３１２に対して、各カーネルの値を１．２〜１．５の範囲で設定した場合に、良好な結果が得られた。よって、本実施形態では、この範囲のカーネルのガウシアンフィルタを適用することを、ぼかし処理部３１２に対して予め設定しておく。
【００４６】
ここでいう「ぼかし処理」は、画像の輪郭をぼかす処理である。ぼかし処理部３１２により輪郭をぼかした画像データを生成しておくことにより、例えば類似画像検索において、ピントが合って輪郭がシャープに撮像された画像と、ピントが合わずに輪郭がぼけて撮像された画像との類比判断を行う際に、それぞれのボケ具合の画像を比較して、より適切な判断結果を得ることができる。つまり、ぼかし処理部３１３がぼかし処理を施すことによって、同一の被写体を撮影した画像であって、ピントが合っている画像と合っていない画像を比較した場合、両画像が類似していると判定できる範囲を拡大することができる。
ぼかし処理部３１２は、生成した各段階のぼかし画像データＤ１〜Ｄ４を、領域決定部３１３に出力する。
【００４７】
（ステップＳＴ１６：領域決定処理）
次に、領域決定部３１３は、チャンネルｃｈ毎、方向画像データの方向θ毎、かつ、ぼかし処理の段階毎の各ぼかし画像について、特徴量算出部３１４が特徴量を求める際の単位領域を決定する領域分割を行う。この領域決定部３１３は、決定した領域毎の画像データ（すなわち、チャンネルｃｈ毎、方向画像データの方向θ毎、ぼかし処理の段階毎、かつ、単位領域毎のぼかし画像データ）を特徴量算出部３１４に出力する。
【００４８】
図５は、領域決定部３１３が決定する単位領域の一例を示す図である。領域決定部３１３は、例えば、ぼかし画像Ｄ１を、同図に示すように１８の単位領域ｒ１〜ｒ１８に分割する。
領域決定部３１は、ぼかし画像Ｄ１をｇ（ｇ≧２）個の複数の同心円により分割する。
本実施形態において、領域決定部３１は、図６に示す通り、例えば正方形のぼかし画像Ｄ１に内接する第１の円Ｃ１と、この第１の円Ｃ１よりも半径が小さい第２の円Ｃ２と第３の円Ｃ３により、ぼかし画像Ｄ１を分割する。なお、この第１〜３の円Ｃ１〜Ｃ３は、同心円であり、本実施形態において、その半径の差は均等である。つまり、第１の円Ｃ１の半径はＲであり、第２の円Ｃ２の半径は２Ｒであり、第３の円Ｃ３の半径は３Ｒである。
【００４９】
なお、本実施形態において、領域決定部３１は、半径の差が均等の３つの同心円により単位領域を決定するが、本発明はこれに限られず、Ｌｏｇスペースに変換して、Ｌｏｇスペースで均等に分割するものであってもよい。なお、画像の構図にある程度対応するため、領域決定部３１は、上述のように例えば半径差が均等になるように分割する方が好ましい。しかし、本発明はこれに限られず、不均等に分割するものであってもよい。
また、本実施形態において、ぼかし画像Ｄ１が正方形である例を用いて以下説明するが、本発明はこれに限られず、長方形や円形であってもよい。なお、長方形の場合、領域決定部３１は、長辺に内接する第１の円Ｃ１と、この第１の円Ｃ１よりも半径が小さい第２の円Ｃ２と第３の円Ｃ３でぼかし画像Ｄ１を分割する。
【００５０】
この領域決定部３１は、図６に示した通り第１〜３の円Ｃ１〜Ｃ３でぼかし画像Ｄ１を分割するとともに、図５に示す通り、この円の中心部から放射状に伸びる複数の分割線によりさらに分割して、ぼかし画像Ｄ１を複数の扇状形状の領域に分割する。なお、本実施形態において、単位領域ｒ１〜ｒ１２のように、２つの弧と各弧の両端と接する半径により形成される扇状形状を扇形形状という。また、単位領域ｒ１３〜ｒ１８のように、１つの弧と各弧の両端とを接する半径により形成される扇状形状を扇環形状という。この扇形形状と扇環形状とを合わせて、以下、扇状形状という。
【００５１】
本実施形態において、領域決定部３１は、図５に示す通り、同心円を均等のｈ（ｈ≧２）個の扇状形状に分割する。たとえば、領域決定部３１は、各扇状形状の中心角が６０°となるように、第１〜３の円Ｃ１〜Ｃ３によって分割された円や環の形状の領域を、それぞれ、ｎ＝６等分する。従って、同心円を複数の扇形（扇環）形状の領域に分割できる。よって、領域決定部３１は、３つの同心円Ｃ１〜Ｃ３をそれぞれ６分割する場合、図５で示しているように１８の領域ｒ１〜ｒ１８に分割できる。
このように、領域決定部３１は、画像の中心を扇形（扇環）形状の中心として、ぼかし画像Ｄ１を分割する単位領域を決定することにより、画像回転および撮像対象となる物体の回転にも対応することができる。この点について、図７〜９を参照して以下説明する。
【００５２】
なお、図７〜９を参照して以下に説明する例は、本発明を説明するための参考であって、本発明によるものではない。例えば、非特許文献２において説明する方法によるものである。
図７は、本願発明によらない方法で画像を縦および横に領域分割する単位領域の一例を示す図である。同図の例では、画像（ぼかし画像）Ｄ２００が、４行×４列の１６の単位領域ｒ２０１〜ｒ２１６に分割されている。
ここで、画像Ｄ２００には、図８に示すような被写体である人物の顔が中央に映されているとする。また、この画像Ｄ２００に映されている人物の顔が画像の中央を中心にして紙面右回りに１０°回転された画像２２０の一例を図９に示す。
図８、９を参照して、この回転された画像２２０が特徴量取得装置１に入力された場合の処理と、回転されていない画像２００が特徴量取得装置１に入力された場合の処理とを比較しながら、本発明の参考例について説明する。
【００５３】
例えば、回転されていない画像２００では、被写体である人物の右目が単位領域ｒ２１０に、左目が単位領域ｒ２１１に、それぞれ含まれている。一方、回転された画像２２０では、被写体である人物の右目が単位領域ｒ２０６に、左目が単位領域ｒ２１１に、それぞれ含まれている。つまり、回転された画像２２０と回転されていない画像２００において、単位領域毎に、画像内に含まれる被写体の特徴的な部分（ここでは人物の目）が異なる単位領域内に存在することとなる。
このため、図７に示す通り、格子状に分割された単位領域によると、次のステップＳＴ１７において説明する通り、特徴量算出部３１４が単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像２２０と回転されていない画像２００とでは、平均や分散の並び順が異なる。すなわち、同一の被写体を含む画像であるにも関わらず、特徴量算出部３１４によって得られる単位領域毎の特徴量が異なる。これによって、本来類似する画像と判定されるべき画像２００と画像２２０の特徴量が異なるため、類似画像と判定されないおそれがある。
【００５４】
これに対して、本願発明のように、画像を扇形（扇環）形状に分割した例を、図１０、１１を参照して説明する。図１０は、図８に示すように回転されていない画像２００を扇形（扇環）形状の単位領域に分割した一例を示す。図１１は、図９に示すように回転されている画像２２０を扇形（扇環）形状の単位領域に分割した一例を示す。
図１０に示すように、扇形（扇環）形状に分割した単位領域によれば、回転されていない画像２００において、被写体の人物の右目が単位領域ｒ１７に、左目が単位領域ｒ１４に、それぞれ含まれている。
また、図１１に示すように、回転された画像２２０においても、被写体の人物の右目は単位領域ｒ１７に、左目は単位領域ｒ１４に、それぞれ含まれている。
【００５５】
このように、画像内において被写体である物体が画像の中央を中心に回転した場合であっても、単位領域を扇形（扇環）形状に分割することによって、その画像内に含まれる被写体である物体の特徴的な部分（ここでは人物の目）が同一の単位領域内に存在している。したがって、特徴量算出部３１４が次のステップＳＴ１７において単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像２２０と回転されていない画像２００とで、各単位領域における特徴量を概ね同等にすることができる。つまり、特徴量算出部３１４が単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像２２０と回転されていない画像２００とでは、平均や分散の並び順が概ね同じになる。
【００５６】
また、領域決定部３１は、図５に示すように単位領域を扇形（扇環）形状に分割する場合、図１２に示す通り、各単位領域が隣接する単位領域と重複するように、ぼかし画像を分割するものであってもよい。
図１２は、領域決定部３１が分割する単位領域ｒ７、ｒ１３、ｒ１４の他の例である単位領域ｒ１０７、ｒ１１３、ｒ１１４の一例を示す図である。
図示の通り、単位領域ｒ１０７は、図５に示した単位領域ｒ７の中心角を大きくするとともに半径を長くした単位領域である。また、単位領域ｒ１１３は、図５に示した単位領域ｒ１３の中心角を大きくするとともに半径を長くした単位領域であり、単位領域ｒ１１４は、単位領域ｒ１４の中心角を大きくするとともに半径を長くした単位領域である。
つまり、領域決定部３１は、単位領域ｒ７、ｒ１３、ｒ１４の面積に対して、予め決められた角度および半径に応じた面積だけ拡大した単位領域ｒ１０７、ｒ１１３、ｒ１１４を決定する。これにより、これら単位領域ｒ１０７、ｒ１１３、ｒ１１４は、拡大された部分が隣接する領域においてそれぞれ重複している。
【００５７】
本実施形態において、領域決定部３１は、例えば、図５に示す通り、扇形（扇環）形状に分割した単位領域について、各単位領域の中心角を左右１５°ずつ拡大させて、つまり、中心角を両側あわせて３０°拡大させた単位領域を決定する。例えば、領域決定部３１は、図１２に示す通り、単位領域ｒ７、ｒ１３、ｒ１４に比べて、中心角が左右それぞれ１５°ずつ拡大している単位領域ｒ１０７、ｒ１１３、ｒ１１４を決定する。
また、領域決定部３１は、例えば、図５に示す通り、扇形（扇環）形状に分割した単位領域について、扇形の弧の部分を外側に５画素分の長さだけ拡大させる。例えば、領域決定部３１は、図１２に示す通り、単位領域ｒ１３、ｒ１４に比べて、それぞれの弧の部分が第１の円Ｃ１の外周から５画素分の長さだけ外側に拡大している扇形形状の単位領域ｒ１１３、ｒ１１４に分割する。つまり、領域決定部３１は、単位領域ｒ１３、ｒ１４の弧である第１の円Ｃ１の半径に５画素分の長さを加算した半径（Ｒ＋５画素分の長さ）の円の外周を弧とする単位領域ｒ１１３、ｒ１１４に分割する。
【００５８】
領域決定部３１による単位領域ｒ１１３の分割について、図１３を参照して詳細に説明する。図１３は、領域決定部３１によって決定される単位領域の形状の一例を示す図である。
この領域決定部３１は、単位領域ｒ１３の中心角α１＝６０°に、一方の端にα２＝１５°、他の端にα３＝１５°を、それぞれ加えた中心角α４＝９０°を、単位領域ｒ１１３の中心角と決定する。また、領域決定部３１は、単位領域ｒ１３の半径Ｒに５画素分に対応する長さＲａを加算した半径Ｒ＋Ｒａを、単位領域ｒ１１３の半径と決定する。
なお、本実施形態において、長さＲａは５画素分に対応する長さとしたが、これは、ぼかし画像Ｄ１の画像サイズが１２８×１２８画素であって、単位領域を１８分割する場合に最適な値である。よって、領域決定部３１は、ぼかし画像の画像サイズや単位領域の分割数に応じて、最適な長さＲａを決定することが好ましい。
【００５９】
次に、領域決定部３１による単位領域ｒ１０７の分割について、図１４を参照して詳細に説明する。図１４は、領域決定部３１によって決定される単位領域の形状の一例を示す図である。
単位領域ｒ１０７のように扇環形状である場合、弧の部分が２辺ある。この場合、領域決定部３１は、両方の弧の部分について、それぞれ、単位領域ｒ７の外側に５画素分ずつ拡大させる。
例えば、領域決定部３１は、図１４に示す通り、単位領域ｒ７において第１の円Ｃ１の外周の一部であった弧の部分を第１の円Ｃ１の外周より５画素分だけ内側となるように、かつ、単位領域ｒ７において第２の円Ｃ２の外周の一部であった弧の部分を第２の円Ｃ２の外周から５画素分だけ外側となるように、単位領域ｒ１０７を決定する。つまり、領域決定部３１は、円の内側の弧が第１の円Ｃ１の半径から５画素分の長さＲａを減算した半径（ｒ−５画素分の長さ）の円の外周となり、円の外側の弧が第２の円Ｃ２の半径に５画素分の長さＲａを加算した半径（ｒ＋５画素分の長さ）の円の外周となる単位領域ｒ１０７を決定する。
また、領域決定部３１は、上述の通り、単位領域ｒ１０７の中心角を拡大してα４＝９０°に決定する。
つまり、単位領域ｒ１０７の半径は、Ｒ＋２Ｒａであり、中心角は、α４＝９０°である。
【００６０】
なお、本実施形態において、領域決定部３１は、ぼかし画像Ｄ１に内接する第１の円Ｃ１を最大の半径の円として説明したが、本発明これに限られず、ぼかし画像Ｄ１に概説する円を最大の半径の円として、その内側に、半径差が均等になるように複数の同心円を決定して、単位領域に分割するものであってもよい。
この例を、図１５を参照して説明する。
図１５（ａ）は、上述の通り、ぼかし画像に内接する第１の円Ｃ１と、第２，３の円Ｃ２、Ｃ３により分割する例を示す図である。類似画像検索において、画像内において特徴的な物体は、画像の中央部分に存在する場合が多く、このように、画像の中心部分を強調したい場合は、このように内接円を作るように分割する方法が適している。
一方、図１５（ｂ）は、ぼかし画像に内接する第４の円Ｃ４と、この第４の円Ｃ４よりも小さい第５、６の円Ｃ５、Ｃ６により分割する例を示す図である。類似画像検索において、画像全体を考慮したい場合、つまり、画像の中央部分を強調したくない場合は、このように外接円を作るように分割する方法が適している。
【００６１】
次に、図２に戻って、特徴量取得装置１が特徴量（圧縮後特徴量）を求める処理手順の続きを説明する。
（ステップＳＴ１７：特徴量算出処理）
次に、特徴量算出部３１４は、領域決定部３１３から入力される単位領域が決定されたぼかし画像データに基づき、画素値の平均と分散とを単位領域ｒ１〜ｒ１８毎に示す特徴量を算出する。
図１６は、特徴量算出部３１４が算出する特徴量のデータ構成を示す図である。同図に示すように、特徴量算出部３１４は、領域決定部３１３から入力されるぼかし画像データの画素値の平均および分散を、チャンネルｃｈ毎、方向画像データの方向θ毎、ぼかし処理の段階毎、かつ、単位領域ｒ１〜ｒ１８毎に算出して、３４５６次元の特徴量を生成する。すなわち、方向数８×ぼかし処理の段階数４×平均と分散とで次元数２×領域数１８×チャンネル数３＝３４５６次元となる。
【００６２】
具体的処理としては、まず、特徴量算出部３１４は、チャンネルｃｈ毎、方向画像データの方向θ毎、ぼかし処理の段階毎に、（１）単位領域毎の画素値の平均および分散を算出し、（２）算出した平均および分散に、単位領域に応じた重み係数を乗算する。
この重み係数は、人間の視覚において画像の中心部が注目される特性に応じた特徴量を生成するために乗算されるものである。中心領域の重み係数は、中間領域および外側領域の重み係数よりも大きい値が特徴量算出部３１４に設定されている。
例えば、中心領域の重み係数ｗ＿ｃとして０．６、中間領域の重み係数ｗ＿ｍとして０．３、外側領域の重み係数ｗ＿ｏとして０．１を、それぞれ用いる。本実施形態において、中央領域とは単位領域ｒ１３〜１８であり、中間領域とは単位領域ｒ７〜１２であり、外側領域とは単位領域ｒ１〜６である。
【００６３】
次に、特徴量算出部３１４は、特徴量のデータ全体について値の総和を１とする正規化を行う。すなわち、特徴量算出部３１４は、３４５６個のデータの合計値を算出し、算出した合計値で各平均および分散を除算する。
この正規化により、特徴量算出部３１４は、画像全体の明るさによる影響を緩和した特徴量を得ることができる。
【００６４】
このように、特徴量算出部３１４は、方向画像における画素値について単位領域毎の平均および分散に基づいて特徴量を算出する。平均や分散は、データの特性を端的に示す指標値である。よって、特徴量算出部３１４は、この平均および分散を用いて特徴量を算出することにより、画像の特性を的確に捉えた特徴量を得ることができる。
特徴量算出部３１４は、算出した特徴量を、特徴量次元圧縮部４１に出力する。
【００６５】
（ステップＳＴ１８：特徴量次元圧縮処理）
次に、特徴量次元圧縮部４１は、特徴量算出部３１４から出力される特徴量の次元（データ数）を圧縮することによるデータ圧縮を行って、圧縮後特徴量を算出する。特徴量次元圧縮部４１は、特徴量の次元を圧縮する技術として、様々な既存の次元圧縮技術を用いることができる。例えば、特徴量次元圧縮部４１は、主成分分析（Principal Component Analysis；ＰＣＡ）を行って、以下のように次元圧縮を行う。
まず、特徴量取得装置１の特徴量算出部３１４は、予め、Ｍ枚の学習画像の各々に対して、上述した入力画像の場合と同様の処理を行ってＮ次元（本実施形態では３４５６次元）の特徴量を算出し、式（７）に示されるＮ×Ｍ次元の行列を得る。
【００６６】
【数７】
【００６７】
ここで、行列Ｘの１列分が１枚の学習画像から得られるＮ次元の特徴量に相当し、このＮ次元の特徴量が学習画像の枚数に応じてＭ列並んでいる。
そして、特徴量次元圧縮部４１は、式（８）に基づいて、行列Ｘの分散共分散行列Σを算出する
【００６８】
【数８】
【００６９】
ここで、「Σ」は分散協分散行列を示し、「Ｅ」は期待値を示し、「Ｔ」は転置行列を示す。
さらに、特徴量次元圧縮部４１は、式（９）を満たす、分散協分散行列の固有ベクトルＹと、期待値Ｅ［Ｘ］とを予め記憶しておく。
【００７０】
【数９】
【００７１】
ここで、「Ｙ」は、分散協分散行列Σの固有ベクトルを示し、「λ」は、分散協分散行列Σの固有値を示す。以下では、固有ベクトルＹおよび期待値Ｅ［Ｘ］を「辞書」と称する。
【００７２】
次元圧縮を行う際には、特徴量次元圧縮部４１は、予め記憶する辞書を用いて、式（１０）の行列Ｆ’を算出する。
【００７３】
【数１０】
【００７４】
このＦ’は、特徴量と同じくＮ個（本実施形態では３４５６個）の要素を有するＮ次元ベクトルである。すなわち、この段階ではまだ次元圧縮されていない。ただし、Ｆ’では、学習画像間における相違点と相関性の強い要素ほど上位に位置している。
そこで、特徴量次元圧縮部４１は、Ｆ’の要素を上位からｎ（ｎは、０＜ｎ≦Ｎの正整数）個選んで圧縮後特徴量を生成する。ここで、ｎは予め定められる定数であり、例えば、特徴量の３４５６次元に対して、３６〜１００のいずれかの値に定められている。このｎの値を小さく設定するほど、圧縮後特徴量の次元を削減できるので、圧縮後特徴量を記憶するためのデータ量が少なくて済み、また、画像の類似性判定の際の計算量が少なくて済む。一方、ｎの値を小さく設定するほど、特徴量に含まれていた情報の欠落度合いが大きくなり、画像の類否判断等の精度が低下する。そこで、ｎの値は、例えば、特徴量取得装置１を実際に運用する中で、特徴量を利用するアプリケーションにおいて求められる画像の類否判定等の精度と、許容されるメモリ容量および計算量とのトレードオフに基づいて定める。
以上のように、主成分分析を行って特徴量の次元を圧縮することにより、特徴量算出部３１４が算出した特徴量の、画像の相違点を示す情報の多くを保持しつつ、データ量を圧縮できる。
【００７５】
その後、特徴量次元圧縮部４１は生成した圧縮後特徴量を特徴量出力部５１に出力し、特徴量出力部５１は、入力画像の送信元のウェブサーバ等、圧縮後特徴量の要求元に対して、特徴量次元圧縮部４１から出力される圧縮後特徴量を送信する。
この圧縮後特徴量の利用方法としては、例えば、類似する複数の画像を検索する画像処理サービスを提供するウェブサーバが、類似画像を検索する際に、以下のように利用することが考えられる。
まず、このウェブサーバが、予めバックグラウンド処理にてＷＷＷ（World Wide Web）上から様々な画像データを取得する。そして、ウェブサーバは、取得した画像データを特徴量取得装置１に送信して圧縮後特徴量を取得し、画像データと圧縮後特徴量とを対応付けて記憶しておく。
そして、ウェブサーバは、画像処理要求を受信すると、処理対象の画像データ（画像処理要求に含まれる画像データ）を特徴量取得装置１に送信して、当該画像データの圧縮後特徴量を取得する。
そして、ウェブサーバは、処理対象の画像データの圧縮後特徴量と、予め記憶する各画像の圧縮後特徴量とを比較して、特徴量の類似する画像を選択することにより、処理対象の画像に類似する画像のデータを選択して画像処理サービスを行う。
【００７６】
以上説明した通り、領域決定部３１が、画像を分割する単位領域として、扇形（扇環）形状の複数の単位領域を決定することにより、画像内に映されている物体が画像内で移動あるいは回転した場合であっても、この物体の移動あるいは回転に対応することができる。これは、画像内の物体が画像の中央を中心にして回転した場合、この物体が回転していない画像において、物体の特徴部分が存在する単位領域に当該特徴部分が含まれている可能性が、格子状に単位領域を分割するものに比べて高いと考えられるからである。この考え方は、上述において、図８〜１１を参照して説明した通りである。
また、上述の通り、領域決定部３１が、各単位領域が隣接する単位領域と重複するように、ぼかし画像を分割することにより、画像内の物体が移動あるいは回転した場合であっても、重複する領域に対応する画像内の物体の移動あるいは回転に対応することができる。つまり、画像内における物体が、±５画素分の位置ずれ、あるいは、±１５°分の回転をした場合であっても、単位領域毎に含まれる物体の特徴的な部分を各領域に含ませることができる。したがって、特徴量算出部３１４が単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像と回転されていない画像とで、各単位領域における特徴量を概ね同等にすることができる。つまり、特徴量算出部３１４が単位領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像２２０と回転されていない画像２００とでは、平均や分散の並び順が概ね同じになる。これによって、画像特徴量を抽出した学習用の画像に比べて、類似画像検索の対象である画像内の物体の位置がずれている場合であっても、その位置ずれによる類似画像検索の精度の低減を軽減することができる。
【００７７】
また、特徴量取得装置１は、データの特性を端的に示す指標である平均および分散に基づいて特徴量を取得するので、画像毎の特性の違いを適切に反映し、比較的次元数の少ない特徴量を得ることができる。
特に本願発明者の行った実験にて、平均および分散に基づいて特徴量を取得することにより、ＧＩＳＴによって得られる特徴量よりも少ない次元の特徴量にて、ＧＩＳＴと同等の精度にて画像分類や類似画像検索を行うことができた。
【００７８】
また、方向画像算出部３１１が、微分画像データを算出し、算出した微分画像データに基づいて方向画像を算出することにより、ガボールフィルタ（Gabor filter）を用いて方向画像を求める方法よりも、少ない演算量で方向画像を得ることができる。
また、ぼかし処理部３１２が複数段階のぼかし処理を行い、特徴量算出部３１４が、ぼかし処理の各段階で得られるぼかし画像データについて特徴量を求めることにより、この特徴量を用いて、ピントが合っている画像とピントが合っていない画像との類否判断など、画像のぼけ具合に関わらず、画像類否判断や画像分類等の処理を適切に行うことが出来る。
【００７９】
また、特徴量次元圧縮部４１が、主成分分析等の次元圧縮技術を用いて特徴量の次元を圧縮することにより、画像類否判断や画像分類等の際の精度を保持しつつ、特徴量のデータ量を圧縮できる。このデータ量の圧縮により、特徴量を記憶するためのメモリ容量を削減できると共に、画像類否判断や画像分類等の際の、特徴量の類否判定の演算量を削減できる。
【００８０】
なお、特徴量取得装置１が、前処理部２１の一部または全部を備えない構成としてもよい。これにより、装置の構成を簡略化し、また、計算量を削減できる。
一方、前述したように、特徴量取得装置１が、対数演算部２１１を具備することにより、画素値が比較的小さいレベル（人間の目が明るさの差を感じやすいレベル）におけるコントラストが強調され、より適切に画像の特徴を特徴量に反映させることが可能となる。
また、フィルタリング部２１２を具備することにより、画像データの微細な部分の特徴量への影響を抑圧できる。また、色空間変換部２１３を具備することにより、色の違いの特徴量への影響を軽減して、より適切な特徴量を得ることが可能になる。
【００８１】
また、特徴量取得装置１が、方向画像算出部３１１と、ぼかし処理部３１２と、領域決定部３１３との一部または全部を具備しない構成としてもよい。例えば、特徴量取得装置１が方向画像算出部３１１を具備しない場合は、特徴量算出部３１４は、方向画像に換えて、入力画像あるいは入力画像に対して前処理等の処理が行われた画像に基づいて特徴量を算出する。これにより、装置の構成を簡略化し、また、計算量を削減できる。
一方、前述したように、特徴量取得装置１が、方向画像算出部３１１を具備することにより、画像中に含まれる物の形状が強く反映された特徴量を得ることができる。また、ぼかし処理部３１２を具備することにより、画像中の輪郭等のぼけ具合に関わらず、より適切に画像の類否判断等を行える特徴量を取得できる。また、領域決定部３１３を具備することにより、特徴量算出部３１４が特徴量を算出する際に、人間の視覚の特性に応じて、画像の中心ほど大きい値の重み係数を乗じて重み付けを行うことができる。
なお、ぼかし処理部３１２が行うぼかし処理は、上述した４段階の処理に限らない。例えば、３段階など、４段階以外の処理を行うようにしてもよい。
【００８２】
また、特徴量取得装置１が、特徴量次元圧縮部４１を具備しない構成としてもよい。これにより、装置の構成を簡略化し、また、計算量を削減できる。また、特徴量次元圧縮部４１による特徴量の次元圧縮を行わない場合でも、上述したように、例えばＧＩＳＴにおける特徴量と比べて次元の小さい特徴量が得られる。
一方、前述したように、特徴量取得装置１が、特徴量次元圧縮部４１を具備することにより、次元圧縮前の特徴量に含まれる、画像の相違点を示す情報の多くを保持しつつ、特徴量の次元をさらに小さくできる。
【００８３】
また、本発明に係る特徴量算出部３１４は、上述の機能を有するものに限られず、例えば、カラーヒストグラムやカラーモーメント等を計算することにより、画像の特徴量を算出するものであってもよい。
この場合、特徴量取得部３１は、方向画像算出部３１１による方向画像データの生成をすることなく、前処理部２１から入力する色空間変換画像データに基づき、ぼかし処理３１２による処理を行ったぼかし画像について、領域決定部３１３によって決定された単位領域毎に、カラーヒストグラムあるいはカラーモーメントを算出して、入力画像の特徴量を算出する。
【００８４】
＜第２実施形態＞
第２実施形態では、第１実施形態で説明した特徴量取得装置を用いて類似画像を検索する類似画像検索装置の一例について説明する。
図１７は、本発明の第２実施形態における類似画像検索装置の概略構成を示す構成図である。同図において、類似画像検索装置６は、入力部６１と、表示部６２と、記憶部６３と、検索対象画像取得部６４と、特徴量取得装置１と、類似画像検索部６５と、検索結果表示処理部６６とを具備する。なお、特徴量取得装置１は、上述において説明した第１実施形態に係る特徴量取得装置１である。
【００８５】
入力部６１は、マウスやキーボード等の入力デバイスを具備し、類似画像検索の元画像となる検索対象画像の指定など、類似画像検索装置６のユーザによる入力操作を受け付ける。表示部６２は、例えば液晶ディスプレイによる表示画面を備え、画像やテキスト等の各種データを表示する。特に、表示部６２は、類似画像検索装置６による類似画像の検索結果を表示する。
記憶部６３は、類似画像検索装置６が検索する類似画像の候補である複数の候補画像を、特徴量と対応付けて予め記憶する。
【００８６】
検索対象画像取得部６４は、ユーザの入力操作に基づいて、類似画像検索の元画像となる検索対象画像を取得する。
特徴量取得装置１は、図１の特徴量取得装置と同様であり、検索対象画像取得部６４から入力される画像の特徴量を取得する。
類似画像検索部６５は、検索対象画像取得部６４が取得した検索対象画像と類似する類似画像を、記憶部６３の記憶する候補画像の中から選択する。すなわち、類似画像検索部６５は、記憶部６３を検索して類似画像を取得する。検索結果表示処理部６６は、類似画像検索部６５が選択した類似画像を表示部６２に表示させる。
【００８７】
次に、類似画像検索装置６の動作について説明する。
図１８は、類似画像検索装置６が行う画像検索の処理手順の概略を示すフローチャートである。同図において、まず、ステップＳＴ２１１で、検索対象画像取得部６４は、類似画像検索の元画像（対象）となる検索対象画像の指定を受け付ける。次に、ステップＳＴ２１２で、特徴量取得装置１は、検索対象に指定された画像の特徴量を取得する。次に、ステップＳＴ２１３で、類似画像検索部６５は、特徴量取得装置１が取得した特徴量に基づき検索対象の画像に類似する類似画像を検索する。次に、ステップＳＴ２１４で、検索結果表示処理部６６は、検索により得られた類似画像を表示する。以下、これらのステップの各々について詳細に説明する。
【００８８】
ステップＳＴ２１１において、検索対象画像取得部６４は、類似画像検索の元画像（対象）となる検索対象画像の指定を受け付ける。
ここで、図１９は、検索対象画像の指定に際して表示部６２が表示する画面の例を示す図である。
【００８９】
例えば、類似画像検索装置６は、図１９に示されるように、複数の画像のサムネイルを表示するとともに、各画像の下に「似た画像」と示す選択欄が付されたウェブページを、表示部６２が表示する。ここで表示部６２が表示するウェブページは、例えば、検索対象画像取得部６４が、類似画像検索装置６のユーザによる類似画像検索要求操作に従って、ユーザが閲覧中のウェブページに含まれる複数の画像を、１枚のウェブページに纏め、「似た画像」の選択欄を付したものである。言い換えると、このウェブページは、ユーザが閲覧中のウェブページに含まれる全ての画像を類似画像検索の対象画像として表示するとともに、当該画像に類似する類似画像の検索をユーザが指示するための「似た画像」の選択欄を当該画像の付近に表示するものである。
そして、入力部６１は、ユーザがこの選択欄のいずれかをマウスクリックすることによる検索対象画像の選択操作を受け付ける。そして、検索対象画像取得部６４は、入力部６１が受け付けた選択操作に基づいて、マウスクリックされた選択欄に対応付けられている画像を、検索対象画像として取得（決定）し、取得した検索対象画像を特徴量取得装置１に出力する。その後、ステップＳＴ２１２に進む。
【００９０】
なお、検索対象画像の候補は、上述した、ユーザが閲覧中のウェブページに含まれる複数の画像に限らない。類似画像検索装置６（検索対象画像取得部６４）は、様々な画像を検索対象画像とすることができる。例えば、検索対象画像取得部６４が、記憶部６３が記憶する画像の中からユーザによって選択された画像を、検索対象画像として取得するようにしてもよい。
また、検索対象画像の指定方法は、上述した選択欄をマウスクリックする方法に限らない。例えば、ユーザが、検索対象に指定したい画像をスキャナに読み取らせ、検索対象画像取得部６４が、スキャナから入力画像データを取り込むようにしてもよい。あるいは、ユーザが、検索対象に指定したい画像のファイル名を、入力部６１のキーボードを用いて入力することによって、検索対象画像を指定するようにしてもよい。
【００９１】
ステップＳＴ２１２において、特徴量取得装置１が、第１実施形態で説明した特徴量取得方法を用いて、指定された検索対象画像の特徴量を取得する。
ステップＳＴ２１３において、類似画像検索部６５は、特徴量取得装置１が取得した特徴量に基づき、類似画像検索を行う。
ここで、記憶部６３は、検索対象画像に類似する類似画像の候補である複数の候補画像と、ステップＳＴ２１２で特徴量取得装置１が行う特徴量取得方法を当該候補画像に適用して得られる特徴量とをそれぞれ対応付けて、予め記憶している。記憶部６３が記憶する候補画像は、例えば、類似画像検索装置６がバックグラウンドで、インターネット上の予め指定されたウェブページから取得した画像である。そして、類似画像検索装置６は、このウェブページから取得した画像を、特徴量取得装置１に出力して特徴量を取得し、画像と特徴量とを対応付けて、記憶部６３に予め（類似画像検索開始前に）書き込んでおく。
【００９２】
そして、類似画像検索部６５は、記憶部６３を参照して、候補画像の各々について、当該候補画像の特徴量と検索対象画像の特徴量との距離（以下、「画像間距離」と称する）を算出し、算出した画像間距離に基づいて類似画像（検索結果画像）を選択する。
ここでいう画像間距離とは、２つの特徴量の類似度を示す尺度である。例えば、類似画像検索部６５は、式（１１）に基づいて、候補画像のうちｊ番目の画像（ここでの順序付けは、候補画像の順序を一意に決定できる順序付けであればよい。例えば、記憶部６３のメモリ空間において、各候補画像が記憶されている記憶領域の先頭アドレスの小さい順を用いることができる。）と検索対象画像との画像間距離を算出する。
【００９３】
【数１１】
【００９４】
ここで、記憶部６３の記憶する候補画像の数をＭ枚として、ｊは１≦ｊ≦Ｍの正整数である。また、Ｎは、特徴量取得装置１が取得する特徴量の次元数であり、Ｎ個のスカラー量で１枚の画像の特徴量が示されているとする。また、二次元配列Ｄ（ｉ，ｊ）の第ｊ列にあたるＮ次元ベクトルＤ（ｉ，ｊ）（１≦ｉ≦Ｎ）は、候補画像のうちｊ番目の画像の特徴量を示し、Ｎ次元ベクトルｄ（ｉ）（１≦ｉ≦Ｎ）は、検索対象画像の特徴量を示し、Ｓ（ｊ）は、候補画像のうちｊ番目の画像と、検索対象画像との画像間距離を示す。
【００９５】
類似画像検索部６５は、この画像間距離Ｓ（ｊ）が小さい候補画像ほど、検索対象画像に類似する（画像の類似度が高い）と判定する。すなわち、Ｍ枚全ての画像と検索対象画像との間の画像間距離Ｓ（ｊ）を計算し、次にＳ（ｊ）の小さいものから順にＲ個（０≦Ｒ≦Ｍ）を検索結果として選び出すことで、類似画像検索を行う。そして、類似画像検索部６５は、検索結果を検索結果表示処理部６６に出力する。例えば、記憶部６３が、各候補画像を識別する画像番号と当該候補画像とを対応付けて記憶しておき、類似画像検索部６５は、画像間距離の小さい順にＲ個の画像番号を検索結果表示処理部６６に出力する。
なお、類似画像検索部６５が画像間距離を取得する方法は、上述した方法に限らず、各候補画像と検索対象画像との類似度を示す画像間距離を得られる方法であればよい。例えば、式（１１）に示される式に代えて、式（１２）に示される式を用いるようにしてもよい。
【００９６】
【数１２】
【００９７】
ここで、Ｎ、ｉ、ｊ、Ｄ（ｉ，ｊ）、ｄ（ｉ）、Ｓ（ｉ）は、式（１１）で説明したのと同様である。
【００９８】
ステップＳＴ２１４において、検索結果表示処理部６６は、検索結果を表示する。
例えば、検索結果表示処理部６６は、類似画像検索部６５から出力される検索結果を、類似画像検索部６５から出力される順（画像間距離の小さい順）にサムネイル表示する。
【００９９】
このように、類似画像検索装置６は、第１実施形態で説明した特徴量取得方法を用いて類似画像を検索するので、画像特徴量を抽出した類似画像の候補である複数の候補画像に比べて、類似画像検索の対象である画像内の物体の位置がずれている場合であっても、その位置ずれによる類似画像検索の精度の低減を軽減することができる。
また、比較的次元数の少ない特徴量を用いて、適切な類似画像を行うことができる。すなわち、記憶部６３が特徴量を記憶するための記憶容量を削減しつつ、適切に類似画像を検索することができる。
【０１００】
なお、特徴量取得装置１または類似画像検索装置６の各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の保持装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１０１】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１０２】
１・・・特徴量取得装置、１１・・・画像取得部、２１・・・前処理部、２１１・・・対数演算部、２１２・・・フィルタリング部、２１３・・・色空間変換部、３１・・・特徴量取得部、３１１・・・方向画像算出部、３１２・・・ぼかし処理部、３１３・・・領域決定部、３１４・・・特徴量算出部、４１・・・特徴量次元圧縮部、５１・・・特徴量出力部、６・・・類似画像検索装置、６１・・・入力部、６２・・・表示部、６３・・・記憶部、６４・・・検索対象画像取得部、６５・・・類似画像検索部、６６・・・検索結果表示処理部
【特許請求の範囲】
【請求項１】
入力する入力画像の画像データに基づき画素毎に画素値の対数を示すコントラスト強調画像データを生成する対数演算部と、
前記コントラスト強調画像データから高周波成分を除去した高周波成分除去画像データを生成するフィルタリング部と、
前記高周波成分除去画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する方向画像算出部と、
前記方向画像データに対して画像中の輪郭をぼかすためのフィルタを適用してぼかし画像データを生成するぼかし処理部と、
前記ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、
前記ぼかし画像データの画素値の平均を前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、
を備えることを特徴とする特徴量取得装置。
【請求項２】
前記入力画像の画像データ、前記コントラスト強調画像データ、および前記高周波成分除去画像データのうち少なくともいずれか1つのデータにおいて表わされている色空間を予め決められている他の色空間に変換する色空間変換部をさらに有することを特徴とする請求項１に記載の特徴量取得装置。
【請求項３】
前記特徴量算出部は、前記ぼかし画像データの画素値の平均および分散を前記単位領域毎に算出し、算出した平均および分散に基づく特徴量を求めることを特徴とする請求項１あるいは２に記載の特徴量取得装置。
【請求項４】
入力する入力画像の画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、
前記画像データのカラーヒストグラムを前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、
を備えることを特徴とする特徴量取得装置。
【請求項５】
入力する入力画像の画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、
前記画像データのカラーモーメントを前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、
を備えることを特徴とする特徴量取得装置。
【請求項６】
前記単位領域は、隣接する単位領域と重複する形状であることを特徴とする請求項１〜５のいずれか一項に記載の特徴量取得装置。
【請求項７】
請求項１〜６のいずれか一項に記載の特徴量取得装置を備える類似画像検索装置であって、
前記入力画像に類似する類似画像の候補である複数の候補画像を示す情報と、前記特徴量算出部によって算出された前記候補画像の特徴量とをそれぞれ対応付ける情報を記憶する記憶部と、
前記記憶部を参照して、前記特徴量算出部によって算出された前記入力画像の特徴量と前記候補画像の特徴量との類似度を算出し、当該類似度に基づいて前記入力画像に類似する前記候補画像を得る類似画像検索部と、
を備えることを特徴とする類似画像検索装置。
【請求項８】
入力する入力画像の画像データに基づき画素毎に画素値の対数を示すコントラスト強調画像データを生成する対数演算処理ステップと、
前記コントラスト強調画像データから高周波成分を除去した高周波成分除去画像データを生成するフィルタリング処理ステップと、
前記高周波成分除去画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する方向画像算出処理ステップと、
前記方向画像データに対して画像中の輪郭をぼかすためのフィルタを適用してぼかし画像データを生成するぼかし処理ステップと、
前記ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定処理ステップと、
前記ぼかし画像データの画素値の平均を前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出処理ステップと、
を備えることを特徴とする特徴量取得方法。
【請求項９】
コンピュータに、請求項８に記載の特徴量取得方法の各ステップを実行させるためのプログラム。
【請求項１】
入力する入力画像の画像データに基づき画素毎に画素値の対数を示すコントラスト強調画像データを生成する対数演算部と、
前記コントラスト強調画像データから高周波成分を除去した高周波成分除去画像データを生成するフィルタリング部と、
前記高周波成分除去画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する方向画像算出部と、
前記方向画像データに対して画像中の輪郭をぼかすためのフィルタを適用してぼかし画像データを生成するぼかし処理部と、
前記ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、
前記ぼかし画像データの画素値の平均を前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、
を備えることを特徴とする特徴量取得装置。
【請求項２】
前記入力画像の画像データ、前記コントラスト強調画像データ、および前記高周波成分除去画像データのうち少なくともいずれか1つのデータにおいて表わされている色空間を予め決められている他の色空間に変換する色空間変換部をさらに有することを特徴とする請求項１に記載の特徴量取得装置。
【請求項３】
前記特徴量算出部は、前記ぼかし画像データの画素値の平均および分散を前記単位領域毎に算出し、算出した平均および分散に基づく特徴量を求めることを特徴とする請求項１あるいは２に記載の特徴量取得装置。
【請求項４】
入力する入力画像の画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、
前記画像データのカラーヒストグラムを前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、
を備えることを特徴とする特徴量取得装置。
【請求項５】
入力する入力画像の画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定部と、
前記画像データのカラーモーメントを前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出部と、
を備えることを特徴とする特徴量取得装置。
【請求項６】
前記単位領域は、隣接する単位領域と重複する形状であることを特徴とする請求項１〜５のいずれか一項に記載の特徴量取得装置。
【請求項７】
請求項１〜６のいずれか一項に記載の特徴量取得装置を備える類似画像検索装置であって、
前記入力画像に類似する類似画像の候補である複数の候補画像を示す情報と、前記特徴量算出部によって算出された前記候補画像の特徴量とをそれぞれ対応付ける情報を記憶する記憶部と、
前記記憶部を参照して、前記特徴量算出部によって算出された前記入力画像の特徴量と前記候補画像の特徴量との類似度を算出し、当該類似度に基づいて前記入力画像に類似する前記候補画像を得る類似画像検索部と、
を備えることを特徴とする類似画像検索装置。
【請求項８】
入力する入力画像の画像データに基づき画素毎に画素値の対数を示すコントラスト強調画像データを生成する対数演算処理ステップと、
前記コントラスト強調画像データから高周波成分を除去した高周波成分除去画像データを生成するフィルタリング処理ステップと、
前記高周波成分除去画像データに基づき、各画素を基準とした方位に応じて各画素に対応する画像内の特徴量を表わす方向画像データを算出する方向画像算出処理ステップと、
前記方向画像データに対して画像中の輪郭をぼかすためのフィルタを適用してぼかし画像データを生成するぼかし処理ステップと、
前記ぼかし画像データに基づき、画像上において特徴量を算出するために画像を区分する単位領域として、同心円の複数の扇状形状の領域を決定する領域決定処理ステップと、
前記ぼかし画像データの画素値の平均を前記単位領域毎に算出することにより、前記入力画像の特徴量を算出する特徴量算出処理ステップと、
を備えることを特徴とする特徴量取得方法。
【請求項９】
コンピュータに、請求項８に記載の特徴量取得方法の各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１４６２２１（Ｐ２０１２−１４６２２１Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−５３２０（Ｐ２０１１−５３２０）
【出願日】平成２３年１月１３日（２０１１．１．１３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年７月２６日 社団法人映像情報メディア学会発行の「映像情報メディア学会技術報告 映情学技報 Ｖｏｌ．３４ Ｎｏ．３２」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１３日（２０１１．１．１３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年７月２６日 社団法人映像情報メディア学会発行の「映像情報メディア学会技術報告 映情学技報 Ｖｏｌ．３４ Ｎｏ．３２」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]