画像特徴量抽出装置およびそのプログラム
【課題】局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上させる。
【解決手段】フレーム画像データからエッジ成分を検出するエッジ検出部２０と、フレーム画像データから特徴点を検出する特徴点検出部３０と、エッジ検出部２０が検出したエッジ成分に基づき、特徴点検出部３０が検出した特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴ベクトルを生成する局所特徴ベクトル生成部４０と、特徴点に対して、局所特徴ベクトル生成部４０が生成した局所特徴ベクトルの空間的な共起に基づく共起特徴ベクトルを生成する共起特徴ベクトル生成部５０とを備えた。
【解決手段】フレーム画像データからエッジ成分を検出するエッジ検出部２０と、フレーム画像データから特徴点を検出する特徴点検出部３０と、エッジ検出部２０が検出したエッジ成分に基づき、特徴点検出部３０が検出した特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴ベクトルを生成する局所特徴ベクトル生成部４０と、特徴点に対して、局所特徴ベクトル生成部４０が生成した局所特徴ベクトルの空間的な共起に基づく共起特徴ベクトルを生成する共起特徴ベクトル生成部５０とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像特徴量抽出装置およびそのプログラムに関する。
【背景技術】
【０００２】
画像から「自動車」や「花」といった一般的なオブジェクトを検出する一般物体認識技術が知られている（例えば、非特許文献１参照）。この一般物体認識技術は、情報処理装置が、一般名称により表現される物体を画像から認識する技術である。この一般物体認識技術は、視覚語（Ｖｉｓｕａｌ Ｗｏｒｄｓ）のクラスタである語彙を生成するための学習手続と、生成された語彙に基づいて特徴ベクトルを算出する算出手続とによって実現される。学習手続では、情報処理装置は、学習用の画像データから局所特徴量を算出し、局所特徴量のクラスタ分析処理を実行し、各クラスタの重心ベクトルを視覚語として選択する。また、算出手続では、情報処理装置は、画像認識の対象である画像データから局所特徴量を算出し、距離が最も近い視覚語に各局所特徴量を割り当てる。次に、情報処理装置は、視覚語の出現頻度ヒストグラムを算出し、この出現頻度ヒストグラムを画像の特徴ベクトルとする。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】G. Csurka, C. R. Dance, Lixin Fan, J. Willamowski, C. Bray, “Visual Categorization with Bags of Keypoints”, Proc. ECCV Workshop on Statistical Learning in Computer Vision, pp. 59-74, 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の一般物体認識技術は、特徴点間の関係性を一切考慮せず独立に扱うものである。また、この一般物体認識技術では、学習用の画像データから抽出された局所特徴量がクラスタ分析によって量子化されるため、情報の一部分が欠落する。
よって、従来の一般物体認識技術では、局所特徴量間の適合性を考慮していないことにより、一般名称により表現される物体、すなわち、一般的なオブジェクトの概略の特徴を捉えることが困難であった。
本発明は、上記の問題点に鑑みてなされたものであり、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる、画像特徴量抽出装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
［１］上記の課題を解決するため、本発明の一態様である画像特徴量抽出装置は、フレーム画像データからエッジ成分を検出するエッジ検出部と、前記フレーム画像データから特徴点を検出する特徴点検出部と、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴量を生成する局所特徴量生成部と、前記特徴点に対して、前記局所特徴量生成部が生成した前記局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、を備えることを特徴とする。
ここで、エッジ成分は、フレーム画像データにおける画素ごとの、エッジの強度を示すエッジ強度と、エッジの方向を示すエッジ方向とを含むデータである。また、特徴点検出部は、例えば、グリッドサンプリング処理によってフレーム画像上の特徴点の位置を求める。特徴点に対する周辺領域は、例えば、特徴点を中心とした当該特徴点の局所領域である。
このように構成したことにより、本発明の一態様である画像特徴量抽出装置は、フレーム画像データから検出した特徴点の周辺領域、つまり局所領域における局所特徴量の共起に基づいて、画像の内容を特徴付ける特徴量を生成して得ることができる。
したがって、本発明の一態様によれば、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる。
【０００６】
［２］上記［１］記載の画像特徴量抽出装置において、前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部をさらに備えたことを特徴とする。
［３］上記［１］または［２］記載の画像特徴量抽出装置において、前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のエッジ方向ヒストグラムを連結して局所特徴量を生成することを特徴とする。
［４］上記［１］または［２］記載の画像特徴量抽出装置において、前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のローカルバイナリパターンの頻度ヒストグラムを連結して局所特徴量を生成することを特徴とする。
【０００７】
［５］上記の課題を解決するため、本発明の一態様であるプログラムは、コンピュータを、フレーム画像データからエッジ成分を検出するエッジ検出部と、前記フレーム画像データから特徴点を検出する特徴点検出部と、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴量を生成する局所特徴量生成部と、前記特徴点に対して、前記局所特徴量生成部が生成した前記局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、として機能させる。
［６］上記［５］記載のプログラムにおいて、前記コンピュータを、前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部としてさらに機能させる。
【発明の効果】
【０００８】
本発明によれば、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態である画像特徴量抽出装置の機能構成を示すブロック図である。
【図２】特徴点検出部が実行するグリッドサンプリング処理において適用される格子を、フレーム画像に対応させて模式的に表した図である。
【図３】特徴点に対する局所領域に基づき求めたエッジ方向ヒストグラムを模式的に示す図である。
【図４】値が異なる３つの分散σそれぞれに対応する３つのエッジ方向ヒストグラムを連結した場合の局所特徴ベクトルを、模式的に示す図である。
【図５】一の特徴点とその周辺に存在する他の特徴点との共起関係を説明するための図である。
【図６】同実施形態における共起特徴ベクトル生成部が実行する共起特徴ベクトルの生成処理の手順を示すフローチャートである。
【図７】同実施形態における特徴ベクトル生成部が平均共起特徴ベクトルを生成する場合の、フレーム画像の分割の例を模式的に示した図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［１ 構成］
図１は、本発明の一実施形態である画像特徴量抽出装置の機能構成を示すブロック図である。同図が示すように、画像特徴量抽出装置１は、画像データ取得部１０と、エッジ検出部２０と、特徴点検出部３０と、局所特徴ベクトル生成部（局所特徴量生成部）４０と、共起特徴ベクトル生成部（共起特徴量生成部）５０と、特徴ベクトル生成部（特徴量生成部）６０とを備える。
【００１１】
画像データ取得部１０は、図示しない外部装置から供給される画像データを取り込む。画像データは、静止画像データまたは動画像データである。画像データが静止画像データである場合、画像データ取得部１０は、取り込んだ画像データをフレーム画像データとしてエッジ検出部２０に供給する。また、画像データが動画像データである場合、画像データ取得部１０は、取り込んだ動画像データからキーフレームを検出し、このキーフレームのデータをフレーム画像データとして、順次またはあらかじめ決定された所定フレーム数おきにエッジ検出部２０に供給する。
外部装置は、例えば、撮影装置や記録装置である。
【００１２】
エッジ検出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込み、このフレーム画像データからエッジ成分を検出し、このエッジ成分を特徴点検出部３０に供給する。エッジ成分は、画素ごとの、エッジの強度を示すエッジ強度と、エッジの方向を示すエッジ方向とを含むデータである。エッジ検出部２０によるエッジの検出処理については後述する。
【００１３】
特徴点検出部３０は、フレーム画像から画像の特徴点を検出する。具体的には、例えば、特徴点検出部３０は、エッジ検出部２０から供給されるエッジ成分を取り込み、グリッドサンプリング処理によってフレーム画像上の特徴点の位置を求め、各画素のエッジ成分と各特徴点の位置を示す特徴点位置情報とを局所特徴ベクトル生成部４０に供給する。特徴点位置情報は、例えば、各特徴点に対応する画素の座標値である。グリッドサンプリング処理は、フレーム画像に対応させた所定の格子（グリッド）の各格子点に対応する画素を特徴点として検出する処理である。特徴点検出部３０による特徴点の検出処理については後述する。
【００１４】
なお、特徴点検出部３０は、グリッドサンプリング処理以外にも、例えばＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）処理を実行することによって特徴点を検出してもよい。
【００１５】
局所特徴ベクトル生成部４０は、特徴点検出部３０から供給される、各画素のエッジ成分と特徴点位置情報とを取り込む。局所特徴ベクトル生成部４０は、エッジ成分に基づいて、特徴点ごとの局所特徴ベクトル（局所特徴量）を生成し、これら局所特徴ベクトルを共起特徴ベクトル生成部５０に供給する。局所特徴ベクトルは、特徴点に対する周辺領域、具体的には、特徴点を中心とした当該特徴点の局所領域の面積を変化させて生成した複数のエッジ方向ヒストグラムを連結して得られる特徴ベクトルである。特徴点の局所領域は、特徴点を含みその周辺の領域である。エッジ方向ヒストグラムは、横軸に階級ごとのエッジ方向、縦軸に度数をとって、エッジ方向の度数分布を表すものである。局所特徴ベクトル生成部４０による局所特徴ベクトルの生成処理については後述する。
【００１６】
共起特徴ベクトル生成部５０は、局所特徴ベクトル生成部４０から供給される、特徴点ごとの局所特徴ベクトルを取り込む。共起特徴ベクトル生成部５０は、特徴点ごとに、当該特徴点に対する局所特徴ベクトルの空間的な共起に基づく共起特徴ベクトル（共起特徴量）を生成し、この共起特徴ベクトルを特徴ベクトル生成部６０に供給する。共起特徴ベクトル生成部５０による共起特徴ベクトルの生成処理については後述する。
【００１７】
特徴ベクトル生成部６０は、共起特徴ベクトル生成部５０から供給される共起特徴ベクトルを取り込む。特徴ベクトル生成部６０は、フレーム画像を分割して得られる複数のブロックそれぞれについて、当該ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトル（平均共起特徴量）を計算する。特徴ベクトル生成部６０は、上記の複数のブロックすべてについての平均共起特徴ベクトルを連結し、フレーム画像全体の特徴ベクトル（特徴量）として出力する。特徴ベクトル生成部６０による特徴ベクトルの生成処理については後述する。
【００１８】
［２ 処理］
［２−１．エッジの検出処理］
エッジ検出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込むと、例えば、ソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）を適用し、下記の（１）式により、フレーム画像データにおける各画素のエッジ成分を計算する。ただし、同式において、フレーム画像データに対応する座標系は、例えば、フレーム画像の左上端の画素の位置を原点とし、水平方向をｘ軸、垂直方向をｙ軸とした直交座標系である（以下同様）。また、ｍ（ｘ，ｙ）は注目画素（ｘ，ｙ）におけるエッジ強度、θ（ｘ，ｙ）は注目画素（ｘ，ｙ）におけるエッジ方向を表す。また、Δｘは輝度勾配のｘ軸方向成分、Δｙは輝度勾配のｙ軸方向成分である。
【００１９】
【数１】
【００２０】
なお、エッジ検出部２０には、ソーベルフィルタ以外にも、例えば、プレウィットフィルタ（Ｐｒｅｗｉｔｔ Ｆｉｌｔｅｒ）、ラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）等を適用してもよい。
【００２１】
［２−２．特徴点の検出処理］
図２は、特徴点検出部３０が実行するグリッドサンプリング処理において適用される格子を、フレーム画像に対応させて模式的に表した図である。同図において、Ｐは、フレーム画像２に対応させた格子のうちの一格子点である。格子点それぞれに対応する画素が特徴点である。なお、同図においては、図を見易くするために、各格子点を丸印で表している。また、格子点間距離（グリッドサイズ）として、ｘ軸方向の格子点間距離をＧｘとし、ｙ軸方向の格子点間距離をＧｙとする。ＧｘとＧｙとは、略同一（同一を含む）の値である。
【００２２】
特徴点検出部３０は、エッジ検出部２０から供給される各画素のエッジ成分を取り込むと、同図に示すように、フレーム画像２に対応させた格子の各格子点に対応する画素の位置を特徴点の位置として検出する。
同図のように、一定の画素間隔で特徴点を得ることにより、特徴点検出部３０は、画像の特性によらず一定数の特徴点を得ることができる。
【００２３】
［２−３．局所特徴ベクトルの生成処理］
局所特徴ベクトル生成部４０は、特徴点検出部３０から供給される、各画素のエッジ成分と特徴点位置情報とを取り込むと、エッジ成分に基づいて、特徴点ごとに、当該特徴点に対する局所領域からエッジ方向ヒストグラムを生成する。
具体的には、例えば、局所特徴ベクトル生成部４０は、特徴点ごとに、分散σのガウス窓を用いた空間的重み付けを適用してエッジ方向ヒストグラムを計算する。エッジ方向θ（ｘ，ｙ）をｎ方向に量子化する場合、ガウス窓の分散σに対するエッジ方向ヒストグラムｈσは、下記の式（２）として表される。
ただし、Ｇ（ｕ，ｖ，σ）は、座標（ｘ＋ｕ，ｙ＋ｖ）におけるエッジ強度ｍ（ｘ＋ｕ，ｙ＋ｖ）に対する重み係数である。Ｇ（ｕ，ｖ，σ）は、座標（ｘ＋ｕ，ｙ＋ｖ）が座標（ｘ，ｙ）から離れるほど小さな重み係数となるガウス窓である。また、δｉ（θ（ｘ，ｙ））は、量子化されたθ（ｘ，ｙ）がｉ番目のビンに属する場合には“１”、それ以外の場合には“０（ゼロ）”とする関数である。
【００２４】
【数２】
【００２５】
図３は、特徴点に対する局所領域に基づき求めたエッジ方向ヒストグラムを模式的に示す図である。同図における上側の図は、一特徴点におけるエッジ方向θ（ｘ，ｙ）をｎ方向（ｎ＝８）に量子化する場合の、分散σのガウス窓を表している。また、同図における下側の図は、局所特徴ベクトル生成部４０が、上記分散σのガウス窓を用いた空間的重み付けを適用して計算したエッジ方向ヒストグラムを表している。このエッジ方向ヒストグラムは、横軸にビン数を８とした階級ごとのエッジ方向θ、縦軸に度数をとって、エッジ方向θの度数分布を表している。
【００２６】
次に、局所特徴ベクトル生成部４０は、下記の式（３）に表すように、それぞれ値が異なる複数の分散σｉごとに、エッジ方向ヒストグラムｈσｉを計算し、これら複数のエッジ方向ヒストグラムｈσｉを連結することにより、特徴点（ｘ，ｙ）に対する局所特徴ベクトルｇｘ，ｙを取得する。同式において、σ０はガウス窓の分散の初期値、ｓは分散σｉを変化させる割合である。
【００２７】
【数３】
【００２８】
図４は、値が異なる３つの分散σそれぞれに対応する３つのエッジ方向ヒストグラムを連結した場合の局所特徴ベクトルを、模式的に示す図である。同図における上側の図は、一特徴点に対する、分散σ１，σ２，σ３（σ１＜σ２＜σ３）のガウス窓を表している。また、同図における下側の図は、局所特徴ベクトル生成部４０が、分散σ１に対するエッジ方向ヒストグラムｈσ１と、分散σ２に対するエッジ方向ヒストグラムｈσ２と、分散σ３に対するエッジ方向ヒストグラムｈσ３とを連結し、局所特徴ベクトルｇｘ，ｙとしている。
【００２９】
［２−４．共起特徴ベクトルの生成処理］
共起特徴ベクトル生成部５０は、局所特徴ベクトル生成部４０から供給される、特徴点ごとの局所特徴ベクトルを取り込むと、特徴点ごとに、当該特徴点に対する局所特徴ベクトルｇｘ，ｙの空間的な共起に基づいて共起特徴ベクトルを計算する。特徴点（ｘ，ｙ）と特徴点（ｘ＋ｕ，ｙ＋ｖ）との共起特徴量Ｕを下記の式（４）として表す。
【００３０】
【数４】
【００３１】
共起特徴ベクトル生成部５０による式（４）の計算によって求められるＵｘ，ｙ，ｕ，ｖは、行数および列数がｇｘ，ｙの次元数に等しい正方行列となるが、共起特徴ベクトル生成部５０は、この正方行列を一次元ベクトルの形式Ｕ’に変換して計算に適用する。
【００３２】
図５は、一の特徴点とその周辺に存在する他の特徴点との共起関係を説明するための図である。同図は、座標値が（ｘ，ｙ）である特徴点Ａと、この特徴点Ａとの共起特徴量を求めるべき他の特徴点（１８個の特徴点）との位置関係を示している。同図は、特徴点Ａを中心として３格子分の半径を有する略半円に相当する特徴点を示している。このように、特徴点Ａを中心とする一方の略半円のみを計算対象とした場合、特徴点Ａに対する一方の略半円の点対象となる他方の略半円を、計算対象から外すことができる。
同図に示すように、共起特徴ベクトル生成部５０は、特徴点Ａに対し、自特徴点（特徴点Ａ）と特徴点Ａの周辺に存在する１８個の特徴点とのそれぞれについての共起特徴量Ｕ’を計算する。次に、共起特徴ベクトル生成部５０は、計算の結果得た１９個の共起特徴量Ｕ’を連結することによって、特徴点Ａに対する共起特徴ベクトルを生成する。
【００３３】
なお、図５において、特徴点Ａを中心とする半径は、３格子分に限られるものではない。また、一の特徴点に対して共起関係を求める他の特徴点の分布の形状は、図５の略半円形に限らず、例えば、矩形であってもよい。
【００３４】
図６は、共起特徴ベクトル生成部５０が実行する共起特徴ベクトルの生成処理の手順を示すフローチャートである。
共起特徴ベクトル生成部５０は、局所特徴ベクトル生成部４０から供給される、特徴点ごとの局所特徴ベクトルを取り込むと、同図のフローチャートの処理を開始する。
まず、ステップＳ１において、共起特徴ベクトル生成部５０は、フレーム画像データにおいて、未処理の特徴点があるか否かを判定する。そして、共起特徴ベクトル生成部５０は、未処理の特徴点があると判定した場合（Ｓ１：ＹＥＳ）は、一の未処理の特徴点を指定してステップＳ２の処理に移す。一方、共起特徴ベクトル生成部５０は、全ての特徴点についての処理が完了していると判定した場合（Ｓ１：ＮＯ）は、本フローチャートの処理を終了させる。
【００３５】
ステップＳ２において、共起特徴ベクトル生成部５０は、指定した一の特徴点に対し、参照していない周辺の特徴点があるか否かを判定する。具体的には、共起特徴ベクトル生成部５０は、例えば図５における特徴点Ａと特徴点Ａの周辺に存在する１８個の特徴点とのうち、指定した一の特徴点である特徴点Ａに対して参照していない特徴点があるか否かを判定する。そして、共起特徴ベクトル生成部５０は、参照していない周辺の特徴点があると判定した場合（Ｓ２：ＹＥＳ）は、一の未参照の特徴点を指定してステップＳ３の処理に移し、周辺の特徴点全てについて参照したと判定した場合（Ｓ２：ＮＯ）はステップＳ４の処理に移す。
【００３６】
ステップＳ３において、共起特徴ベクトル生成部５０は、指定した一の特徴点に対し、この特徴点と、指定した一の未処理の特徴点との共起特徴量Ｕ’を計算し、その後ステップＳ２の処理に戻す。
ステップＳ４において、共起特徴ベクトル生成部５０は、計算の結果得たすべての共起特徴量Ｕ’を連結することによって、指定した一の特徴点に対する共起特徴ベクトルを生成し、その後ステップＳ１の処理に戻す。
【００３７】
［２−５．特徴ベクトルの生成処理］
図７（ａ），（ｂ）は、特徴ベクトル生成部６０が平均共起特徴ベクトルを生成する場合の、フレーム画像の分割の例を模式的に示した図である。同図（ａ）は、フレーム画像をｘ軸方向において３等分し、ブロック７ａ，７ｂ，７ｃに分割した例である。また、同図（ｂ）は、フレーム画像をｘ軸方向およびｙ軸方向それぞれにおいて２等分し、ブロック７ｄ，７ｅ，７ｆ，７ｇに分割した例である。
特徴ベクトル生成部６０は、共起特徴ベクトル生成部５０から供給される共起特徴ベクトルを取り込むと、同図（ａ）または同図（ｂ）に示すようにフレーム画像を分割して得られる複数のブロックそれぞれについて、当該ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトルを計算する。次に、特徴ベクトル生成部６０は、計算したすべての平均共起特徴ベクトルを連結し、フレーム画像全体の特徴ベクトルとして出力する。
【００３８】
以上、詳述したとおり、本発明の一実施形態である画像特徴量抽出装置１は、外部から供給される画像データを取り込んでフレーム画像データを取得し、このフレーム画像データからエッジ成分を検出し、また特徴点を検出する。そして、画像特徴量抽出装置１は、エッジ成分に基づいて、特徴点に基づく所定の局所領域の面積を変化させて生成した複数の特徴量を連結して局所特徴ベクトルを生成する。ここで、複数の特徴量は、例えば、複数のエッジ方向ヒストグラムである。そして、画像特徴量抽出装置１は、特徴点に対して、複数の局所特徴ベクトルの空間的な共起に基づく共起特徴ベクトルを生成する。そして、画像特徴量抽出装置１は、フレーム画像データを分割して得られる複数のブロックそれぞれについて、ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトルを計算し、複数のブロックすべてについての平均共起特徴ベクトルを連結することにより、フレーム画像データ全体の特徴ベクトルを生成する。
【００３９】
このように構成したことにより、本実施形態である画像特徴量抽出装置１は、フレーム画像データから検出した特徴点の周辺領域、つまり局所領域における局所特徴ベクトルの共起に基づいて、画像の内容を特徴付ける特徴ベクトルを生成して得ることができる。
したがって、本実施形態によれば、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる。
【００４０】
なお、上述した画像特徴量抽出装置１が出力する特徴ベクトルは、例えば、ラベルが付与された学習データとともに、画像データからのオブジェクトの認識に利用されたり、特徴ベクトル間のマッチングによって類似画像の検索に利用されたりすることができる。
【００４１】
また、第１実施形態では、局所特徴ベクトル生成部４０は、特徴点検出部３０から供給される、各画素のエッジ成分と特徴点位置情報とを取り込んで、エッジ成分に基づいて、特徴点ごとに、当該特徴点に対する局所領域からエッジ方向ヒストグラムを計算するようにした。
これ以外にも、局所特徴ベクトル生成部４０は、エッジ方向ヒストグラムの代わりに、ローカルバイナリパターンの頻度ヒストグラムを計算して用いてもよい。
【００４２】
具体的には、局所特徴ベクトル生成部４０は、特徴点ごとに、分散σのガウス窓を用いた空間的重み付けを適用してローカルバイナリパターンの頻度ヒストグラムを計算する。エッジ方向θ（ｘ，ｙ）をｎ方向に量子化する場合、ガウス窓の分散σに対するローカルバイナリパターンの頻度ヒストグラムｌ（エル）σは、下記の式（５）として表される。
ただし、Ｇ（ｕ，ｖ，σ）は、座標（ｘ＋ｕ，ｙ＋ｖ）におけるエッジ強度ｍ（ｘ＋ｕ，ｙ＋ｖ）に対する重み係数であり、座標（ｘ＋ｕ，ｙ＋ｖ）が座標（ｘ，ｙ）から離れるほど小さな重み係数となるガウス窓である。また、ＬＢＰ（ｘ，ｙ）は、座標値が（ｘ，ｙ）である画素におけるローカルバイナリパターンの値を表す。δｉ（ＬＢＰ（ｘ，ｙ））は、ローカルバイナリパターン値がｉならば“１”を、それ以外の場合には“０（ゼロ）”とする関数である。
【００４３】
【数５】
【００４４】
また、上述した実施形態である画像特徴量抽出装置の一部の機能をコンピュータで実現するようにしてもよい。この場合、その制御機能を実現するためのプログラム（画像特徴量抽出プログラム）をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００４５】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４６】
１ 画像特徴量抽出装置
１０ 画像データ取得部
２０ エッジ検出部
３０ 特徴点検出部
４０ 局所特徴ベクトル生成部（局所特徴量生成部）
５０ 共起特徴ベクトル生成部（共起特徴量生成部）
６０ 特徴ベクトル生成部（特徴量生成部）
【技術分野】
【０００１】
本発明は、画像特徴量抽出装置およびそのプログラムに関する。
【背景技術】
【０００２】
画像から「自動車」や「花」といった一般的なオブジェクトを検出する一般物体認識技術が知られている（例えば、非特許文献１参照）。この一般物体認識技術は、情報処理装置が、一般名称により表現される物体を画像から認識する技術である。この一般物体認識技術は、視覚語（Ｖｉｓｕａｌ Ｗｏｒｄｓ）のクラスタである語彙を生成するための学習手続と、生成された語彙に基づいて特徴ベクトルを算出する算出手続とによって実現される。学習手続では、情報処理装置は、学習用の画像データから局所特徴量を算出し、局所特徴量のクラスタ分析処理を実行し、各クラスタの重心ベクトルを視覚語として選択する。また、算出手続では、情報処理装置は、画像認識の対象である画像データから局所特徴量を算出し、距離が最も近い視覚語に各局所特徴量を割り当てる。次に、情報処理装置は、視覚語の出現頻度ヒストグラムを算出し、この出現頻度ヒストグラムを画像の特徴ベクトルとする。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】G. Csurka, C. R. Dance, Lixin Fan, J. Willamowski, C. Bray, “Visual Categorization with Bags of Keypoints”, Proc. ECCV Workshop on Statistical Learning in Computer Vision, pp. 59-74, 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の一般物体認識技術は、特徴点間の関係性を一切考慮せず独立に扱うものである。また、この一般物体認識技術では、学習用の画像データから抽出された局所特徴量がクラスタ分析によって量子化されるため、情報の一部分が欠落する。
よって、従来の一般物体認識技術では、局所特徴量間の適合性を考慮していないことにより、一般名称により表現される物体、すなわち、一般的なオブジェクトの概略の特徴を捉えることが困難であった。
本発明は、上記の問題点に鑑みてなされたものであり、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる、画像特徴量抽出装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
［１］上記の課題を解決するため、本発明の一態様である画像特徴量抽出装置は、フレーム画像データからエッジ成分を検出するエッジ検出部と、前記フレーム画像データから特徴点を検出する特徴点検出部と、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴量を生成する局所特徴量生成部と、前記特徴点に対して、前記局所特徴量生成部が生成した前記局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、を備えることを特徴とする。
ここで、エッジ成分は、フレーム画像データにおける画素ごとの、エッジの強度を示すエッジ強度と、エッジの方向を示すエッジ方向とを含むデータである。また、特徴点検出部は、例えば、グリッドサンプリング処理によってフレーム画像上の特徴点の位置を求める。特徴点に対する周辺領域は、例えば、特徴点を中心とした当該特徴点の局所領域である。
このように構成したことにより、本発明の一態様である画像特徴量抽出装置は、フレーム画像データから検出した特徴点の周辺領域、つまり局所領域における局所特徴量の共起に基づいて、画像の内容を特徴付ける特徴量を生成して得ることができる。
したがって、本発明の一態様によれば、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる。
【０００６】
［２］上記［１］記載の画像特徴量抽出装置において、前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部をさらに備えたことを特徴とする。
［３］上記［１］または［２］記載の画像特徴量抽出装置において、前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のエッジ方向ヒストグラムを連結して局所特徴量を生成することを特徴とする。
［４］上記［１］または［２］記載の画像特徴量抽出装置において、前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のローカルバイナリパターンの頻度ヒストグラムを連結して局所特徴量を生成することを特徴とする。
【０００７】
［５］上記の課題を解決するため、本発明の一態様であるプログラムは、コンピュータを、フレーム画像データからエッジ成分を検出するエッジ検出部と、前記フレーム画像データから特徴点を検出する特徴点検出部と、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴量を生成する局所特徴量生成部と、前記特徴点に対して、前記局所特徴量生成部が生成した前記局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、として機能させる。
［６］上記［５］記載のプログラムにおいて、前記コンピュータを、前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部としてさらに機能させる。
【発明の効果】
【０００８】
本発明によれば、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態である画像特徴量抽出装置の機能構成を示すブロック図である。
【図２】特徴点検出部が実行するグリッドサンプリング処理において適用される格子を、フレーム画像に対応させて模式的に表した図である。
【図３】特徴点に対する局所領域に基づき求めたエッジ方向ヒストグラムを模式的に示す図である。
【図４】値が異なる３つの分散σそれぞれに対応する３つのエッジ方向ヒストグラムを連結した場合の局所特徴ベクトルを、模式的に示す図である。
【図５】一の特徴点とその周辺に存在する他の特徴点との共起関係を説明するための図である。
【図６】同実施形態における共起特徴ベクトル生成部が実行する共起特徴ベクトルの生成処理の手順を示すフローチャートである。
【図７】同実施形態における特徴ベクトル生成部が平均共起特徴ベクトルを生成する場合の、フレーム画像の分割の例を模式的に示した図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［１ 構成］
図１は、本発明の一実施形態である画像特徴量抽出装置の機能構成を示すブロック図である。同図が示すように、画像特徴量抽出装置１は、画像データ取得部１０と、エッジ検出部２０と、特徴点検出部３０と、局所特徴ベクトル生成部（局所特徴量生成部）４０と、共起特徴ベクトル生成部（共起特徴量生成部）５０と、特徴ベクトル生成部（特徴量生成部）６０とを備える。
【００１１】
画像データ取得部１０は、図示しない外部装置から供給される画像データを取り込む。画像データは、静止画像データまたは動画像データである。画像データが静止画像データである場合、画像データ取得部１０は、取り込んだ画像データをフレーム画像データとしてエッジ検出部２０に供給する。また、画像データが動画像データである場合、画像データ取得部１０は、取り込んだ動画像データからキーフレームを検出し、このキーフレームのデータをフレーム画像データとして、順次またはあらかじめ決定された所定フレーム数おきにエッジ検出部２０に供給する。
外部装置は、例えば、撮影装置や記録装置である。
【００１２】
エッジ検出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込み、このフレーム画像データからエッジ成分を検出し、このエッジ成分を特徴点検出部３０に供給する。エッジ成分は、画素ごとの、エッジの強度を示すエッジ強度と、エッジの方向を示すエッジ方向とを含むデータである。エッジ検出部２０によるエッジの検出処理については後述する。
【００１３】
特徴点検出部３０は、フレーム画像から画像の特徴点を検出する。具体的には、例えば、特徴点検出部３０は、エッジ検出部２０から供給されるエッジ成分を取り込み、グリッドサンプリング処理によってフレーム画像上の特徴点の位置を求め、各画素のエッジ成分と各特徴点の位置を示す特徴点位置情報とを局所特徴ベクトル生成部４０に供給する。特徴点位置情報は、例えば、各特徴点に対応する画素の座標値である。グリッドサンプリング処理は、フレーム画像に対応させた所定の格子（グリッド）の各格子点に対応する画素を特徴点として検出する処理である。特徴点検出部３０による特徴点の検出処理については後述する。
【００１４】
なお、特徴点検出部３０は、グリッドサンプリング処理以外にも、例えばＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）処理を実行することによって特徴点を検出してもよい。
【００１５】
局所特徴ベクトル生成部４０は、特徴点検出部３０から供給される、各画素のエッジ成分と特徴点位置情報とを取り込む。局所特徴ベクトル生成部４０は、エッジ成分に基づいて、特徴点ごとの局所特徴ベクトル（局所特徴量）を生成し、これら局所特徴ベクトルを共起特徴ベクトル生成部５０に供給する。局所特徴ベクトルは、特徴点に対する周辺領域、具体的には、特徴点を中心とした当該特徴点の局所領域の面積を変化させて生成した複数のエッジ方向ヒストグラムを連結して得られる特徴ベクトルである。特徴点の局所領域は、特徴点を含みその周辺の領域である。エッジ方向ヒストグラムは、横軸に階級ごとのエッジ方向、縦軸に度数をとって、エッジ方向の度数分布を表すものである。局所特徴ベクトル生成部４０による局所特徴ベクトルの生成処理については後述する。
【００１６】
共起特徴ベクトル生成部５０は、局所特徴ベクトル生成部４０から供給される、特徴点ごとの局所特徴ベクトルを取り込む。共起特徴ベクトル生成部５０は、特徴点ごとに、当該特徴点に対する局所特徴ベクトルの空間的な共起に基づく共起特徴ベクトル（共起特徴量）を生成し、この共起特徴ベクトルを特徴ベクトル生成部６０に供給する。共起特徴ベクトル生成部５０による共起特徴ベクトルの生成処理については後述する。
【００１７】
特徴ベクトル生成部６０は、共起特徴ベクトル生成部５０から供給される共起特徴ベクトルを取り込む。特徴ベクトル生成部６０は、フレーム画像を分割して得られる複数のブロックそれぞれについて、当該ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトル（平均共起特徴量）を計算する。特徴ベクトル生成部６０は、上記の複数のブロックすべてについての平均共起特徴ベクトルを連結し、フレーム画像全体の特徴ベクトル（特徴量）として出力する。特徴ベクトル生成部６０による特徴ベクトルの生成処理については後述する。
【００１８】
［２ 処理］
［２−１．エッジの検出処理］
エッジ検出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込むと、例えば、ソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）を適用し、下記の（１）式により、フレーム画像データにおける各画素のエッジ成分を計算する。ただし、同式において、フレーム画像データに対応する座標系は、例えば、フレーム画像の左上端の画素の位置を原点とし、水平方向をｘ軸、垂直方向をｙ軸とした直交座標系である（以下同様）。また、ｍ（ｘ，ｙ）は注目画素（ｘ，ｙ）におけるエッジ強度、θ（ｘ，ｙ）は注目画素（ｘ，ｙ）におけるエッジ方向を表す。また、Δｘは輝度勾配のｘ軸方向成分、Δｙは輝度勾配のｙ軸方向成分である。
【００１９】
【数１】
【００２０】
なお、エッジ検出部２０には、ソーベルフィルタ以外にも、例えば、プレウィットフィルタ（Ｐｒｅｗｉｔｔ Ｆｉｌｔｅｒ）、ラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）等を適用してもよい。
【００２１】
［２−２．特徴点の検出処理］
図２は、特徴点検出部３０が実行するグリッドサンプリング処理において適用される格子を、フレーム画像に対応させて模式的に表した図である。同図において、Ｐは、フレーム画像２に対応させた格子のうちの一格子点である。格子点それぞれに対応する画素が特徴点である。なお、同図においては、図を見易くするために、各格子点を丸印で表している。また、格子点間距離（グリッドサイズ）として、ｘ軸方向の格子点間距離をＧｘとし、ｙ軸方向の格子点間距離をＧｙとする。ＧｘとＧｙとは、略同一（同一を含む）の値である。
【００２２】
特徴点検出部３０は、エッジ検出部２０から供給される各画素のエッジ成分を取り込むと、同図に示すように、フレーム画像２に対応させた格子の各格子点に対応する画素の位置を特徴点の位置として検出する。
同図のように、一定の画素間隔で特徴点を得ることにより、特徴点検出部３０は、画像の特性によらず一定数の特徴点を得ることができる。
【００２３】
［２−３．局所特徴ベクトルの生成処理］
局所特徴ベクトル生成部４０は、特徴点検出部３０から供給される、各画素のエッジ成分と特徴点位置情報とを取り込むと、エッジ成分に基づいて、特徴点ごとに、当該特徴点に対する局所領域からエッジ方向ヒストグラムを生成する。
具体的には、例えば、局所特徴ベクトル生成部４０は、特徴点ごとに、分散σのガウス窓を用いた空間的重み付けを適用してエッジ方向ヒストグラムを計算する。エッジ方向θ（ｘ，ｙ）をｎ方向に量子化する場合、ガウス窓の分散σに対するエッジ方向ヒストグラムｈσは、下記の式（２）として表される。
ただし、Ｇ（ｕ，ｖ，σ）は、座標（ｘ＋ｕ，ｙ＋ｖ）におけるエッジ強度ｍ（ｘ＋ｕ，ｙ＋ｖ）に対する重み係数である。Ｇ（ｕ，ｖ，σ）は、座標（ｘ＋ｕ，ｙ＋ｖ）が座標（ｘ，ｙ）から離れるほど小さな重み係数となるガウス窓である。また、δｉ（θ（ｘ，ｙ））は、量子化されたθ（ｘ，ｙ）がｉ番目のビンに属する場合には“１”、それ以外の場合には“０（ゼロ）”とする関数である。
【００２４】
【数２】
【００２５】
図３は、特徴点に対する局所領域に基づき求めたエッジ方向ヒストグラムを模式的に示す図である。同図における上側の図は、一特徴点におけるエッジ方向θ（ｘ，ｙ）をｎ方向（ｎ＝８）に量子化する場合の、分散σのガウス窓を表している。また、同図における下側の図は、局所特徴ベクトル生成部４０が、上記分散σのガウス窓を用いた空間的重み付けを適用して計算したエッジ方向ヒストグラムを表している。このエッジ方向ヒストグラムは、横軸にビン数を８とした階級ごとのエッジ方向θ、縦軸に度数をとって、エッジ方向θの度数分布を表している。
【００２６】
次に、局所特徴ベクトル生成部４０は、下記の式（３）に表すように、それぞれ値が異なる複数の分散σｉごとに、エッジ方向ヒストグラムｈσｉを計算し、これら複数のエッジ方向ヒストグラムｈσｉを連結することにより、特徴点（ｘ，ｙ）に対する局所特徴ベクトルｇｘ，ｙを取得する。同式において、σ０はガウス窓の分散の初期値、ｓは分散σｉを変化させる割合である。
【００２７】
【数３】
【００２８】
図４は、値が異なる３つの分散σそれぞれに対応する３つのエッジ方向ヒストグラムを連結した場合の局所特徴ベクトルを、模式的に示す図である。同図における上側の図は、一特徴点に対する、分散σ１，σ２，σ３（σ１＜σ２＜σ３）のガウス窓を表している。また、同図における下側の図は、局所特徴ベクトル生成部４０が、分散σ１に対するエッジ方向ヒストグラムｈσ１と、分散σ２に対するエッジ方向ヒストグラムｈσ２と、分散σ３に対するエッジ方向ヒストグラムｈσ３とを連結し、局所特徴ベクトルｇｘ，ｙとしている。
【００２９】
［２−４．共起特徴ベクトルの生成処理］
共起特徴ベクトル生成部５０は、局所特徴ベクトル生成部４０から供給される、特徴点ごとの局所特徴ベクトルを取り込むと、特徴点ごとに、当該特徴点に対する局所特徴ベクトルｇｘ，ｙの空間的な共起に基づいて共起特徴ベクトルを計算する。特徴点（ｘ，ｙ）と特徴点（ｘ＋ｕ，ｙ＋ｖ）との共起特徴量Ｕを下記の式（４）として表す。
【００３０】
【数４】
【００３１】
共起特徴ベクトル生成部５０による式（４）の計算によって求められるＵｘ，ｙ，ｕ，ｖは、行数および列数がｇｘ，ｙの次元数に等しい正方行列となるが、共起特徴ベクトル生成部５０は、この正方行列を一次元ベクトルの形式Ｕ’に変換して計算に適用する。
【００３２】
図５は、一の特徴点とその周辺に存在する他の特徴点との共起関係を説明するための図である。同図は、座標値が（ｘ，ｙ）である特徴点Ａと、この特徴点Ａとの共起特徴量を求めるべき他の特徴点（１８個の特徴点）との位置関係を示している。同図は、特徴点Ａを中心として３格子分の半径を有する略半円に相当する特徴点を示している。このように、特徴点Ａを中心とする一方の略半円のみを計算対象とした場合、特徴点Ａに対する一方の略半円の点対象となる他方の略半円を、計算対象から外すことができる。
同図に示すように、共起特徴ベクトル生成部５０は、特徴点Ａに対し、自特徴点（特徴点Ａ）と特徴点Ａの周辺に存在する１８個の特徴点とのそれぞれについての共起特徴量Ｕ’を計算する。次に、共起特徴ベクトル生成部５０は、計算の結果得た１９個の共起特徴量Ｕ’を連結することによって、特徴点Ａに対する共起特徴ベクトルを生成する。
【００３３】
なお、図５において、特徴点Ａを中心とする半径は、３格子分に限られるものではない。また、一の特徴点に対して共起関係を求める他の特徴点の分布の形状は、図５の略半円形に限らず、例えば、矩形であってもよい。
【００３４】
図６は、共起特徴ベクトル生成部５０が実行する共起特徴ベクトルの生成処理の手順を示すフローチャートである。
共起特徴ベクトル生成部５０は、局所特徴ベクトル生成部４０から供給される、特徴点ごとの局所特徴ベクトルを取り込むと、同図のフローチャートの処理を開始する。
まず、ステップＳ１において、共起特徴ベクトル生成部５０は、フレーム画像データにおいて、未処理の特徴点があるか否かを判定する。そして、共起特徴ベクトル生成部５０は、未処理の特徴点があると判定した場合（Ｓ１：ＹＥＳ）は、一の未処理の特徴点を指定してステップＳ２の処理に移す。一方、共起特徴ベクトル生成部５０は、全ての特徴点についての処理が完了していると判定した場合（Ｓ１：ＮＯ）は、本フローチャートの処理を終了させる。
【００３５】
ステップＳ２において、共起特徴ベクトル生成部５０は、指定した一の特徴点に対し、参照していない周辺の特徴点があるか否かを判定する。具体的には、共起特徴ベクトル生成部５０は、例えば図５における特徴点Ａと特徴点Ａの周辺に存在する１８個の特徴点とのうち、指定した一の特徴点である特徴点Ａに対して参照していない特徴点があるか否かを判定する。そして、共起特徴ベクトル生成部５０は、参照していない周辺の特徴点があると判定した場合（Ｓ２：ＹＥＳ）は、一の未参照の特徴点を指定してステップＳ３の処理に移し、周辺の特徴点全てについて参照したと判定した場合（Ｓ２：ＮＯ）はステップＳ４の処理に移す。
【００３６】
ステップＳ３において、共起特徴ベクトル生成部５０は、指定した一の特徴点に対し、この特徴点と、指定した一の未処理の特徴点との共起特徴量Ｕ’を計算し、その後ステップＳ２の処理に戻す。
ステップＳ４において、共起特徴ベクトル生成部５０は、計算の結果得たすべての共起特徴量Ｕ’を連結することによって、指定した一の特徴点に対する共起特徴ベクトルを生成し、その後ステップＳ１の処理に戻す。
【００３７】
［２−５．特徴ベクトルの生成処理］
図７（ａ），（ｂ）は、特徴ベクトル生成部６０が平均共起特徴ベクトルを生成する場合の、フレーム画像の分割の例を模式的に示した図である。同図（ａ）は、フレーム画像をｘ軸方向において３等分し、ブロック７ａ，７ｂ，７ｃに分割した例である。また、同図（ｂ）は、フレーム画像をｘ軸方向およびｙ軸方向それぞれにおいて２等分し、ブロック７ｄ，７ｅ，７ｆ，７ｇに分割した例である。
特徴ベクトル生成部６０は、共起特徴ベクトル生成部５０から供給される共起特徴ベクトルを取り込むと、同図（ａ）または同図（ｂ）に示すようにフレーム画像を分割して得られる複数のブロックそれぞれについて、当該ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトルを計算する。次に、特徴ベクトル生成部６０は、計算したすべての平均共起特徴ベクトルを連結し、フレーム画像全体の特徴ベクトルとして出力する。
【００３８】
以上、詳述したとおり、本発明の一実施形態である画像特徴量抽出装置１は、外部から供給される画像データを取り込んでフレーム画像データを取得し、このフレーム画像データからエッジ成分を検出し、また特徴点を検出する。そして、画像特徴量抽出装置１は、エッジ成分に基づいて、特徴点に基づく所定の局所領域の面積を変化させて生成した複数の特徴量を連結して局所特徴ベクトルを生成する。ここで、複数の特徴量は、例えば、複数のエッジ方向ヒストグラムである。そして、画像特徴量抽出装置１は、特徴点に対して、複数の局所特徴ベクトルの空間的な共起に基づく共起特徴ベクトルを生成する。そして、画像特徴量抽出装置１は、フレーム画像データを分割して得られる複数のブロックそれぞれについて、ブロックに含まれる特徴点の共起特徴ベクトルの平均ベクトルである平均共起特徴ベクトルを計算し、複数のブロックすべてについての平均共起特徴ベクトルを連結することにより、フレーム画像データ全体の特徴ベクトルを生成する。
【００３９】
このように構成したことにより、本実施形態である画像特徴量抽出装置１は、フレーム画像データから検出した特徴点の周辺領域、つまり局所領域における局所特徴ベクトルの共起に基づいて、画像の内容を特徴付ける特徴ベクトルを生成して得ることができる。
したがって、本実施形態によれば、局所特徴量間の適合性を考慮し、概略の特徴を捉えて一般物体認識の精度を向上することができる。
【００４０】
なお、上述した画像特徴量抽出装置１が出力する特徴ベクトルは、例えば、ラベルが付与された学習データとともに、画像データからのオブジェクトの認識に利用されたり、特徴ベクトル間のマッチングによって類似画像の検索に利用されたりすることができる。
【００４１】
また、第１実施形態では、局所特徴ベクトル生成部４０は、特徴点検出部３０から供給される、各画素のエッジ成分と特徴点位置情報とを取り込んで、エッジ成分に基づいて、特徴点ごとに、当該特徴点に対する局所領域からエッジ方向ヒストグラムを計算するようにした。
これ以外にも、局所特徴ベクトル生成部４０は、エッジ方向ヒストグラムの代わりに、ローカルバイナリパターンの頻度ヒストグラムを計算して用いてもよい。
【００４２】
具体的には、局所特徴ベクトル生成部４０は、特徴点ごとに、分散σのガウス窓を用いた空間的重み付けを適用してローカルバイナリパターンの頻度ヒストグラムを計算する。エッジ方向θ（ｘ，ｙ）をｎ方向に量子化する場合、ガウス窓の分散σに対するローカルバイナリパターンの頻度ヒストグラムｌ（エル）σは、下記の式（５）として表される。
ただし、Ｇ（ｕ，ｖ，σ）は、座標（ｘ＋ｕ，ｙ＋ｖ）におけるエッジ強度ｍ（ｘ＋ｕ，ｙ＋ｖ）に対する重み係数であり、座標（ｘ＋ｕ，ｙ＋ｖ）が座標（ｘ，ｙ）から離れるほど小さな重み係数となるガウス窓である。また、ＬＢＰ（ｘ，ｙ）は、座標値が（ｘ，ｙ）である画素におけるローカルバイナリパターンの値を表す。δｉ（ＬＢＰ（ｘ，ｙ））は、ローカルバイナリパターン値がｉならば“１”を、それ以外の場合には“０（ゼロ）”とする関数である。
【００４３】
【数５】
【００４４】
また、上述した実施形態である画像特徴量抽出装置の一部の機能をコンピュータで実現するようにしてもよい。この場合、その制御機能を実現するためのプログラム（画像特徴量抽出プログラム）をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００４５】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４６】
１ 画像特徴量抽出装置
１０ 画像データ取得部
２０ エッジ検出部
３０ 特徴点検出部
４０ 局所特徴ベクトル生成部（局所特徴量生成部）
５０ 共起特徴ベクトル生成部（共起特徴量生成部）
６０ 特徴ベクトル生成部（特徴量生成部）
【特許請求の範囲】
【請求項１】
フレーム画像データからエッジ成分を検出するエッジ検出部と、
前記フレーム画像データから特徴点を検出する特徴点検出部と、
前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴量を生成する局所特徴量生成部と、
前記特徴点に対して、前記局所特徴量生成部が生成した前記局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、
を備えることを特徴とする画像特徴量抽出装置。
【請求項２】
前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部
をさらに備えたことを特徴とする請求項１記載の画像特徴量抽出装置。
【請求項３】
前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のエッジ方向ヒストグラムを連結して局所特徴量を生成する
ことを特徴とする請求項１または２記載の画像特徴量抽出装置。
【請求項４】
前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のローカルバイナリパターンの頻度ヒストグラムを連結して局所特徴量を生成する
ことを特徴とする請求項１または２記載の画像特徴量抽出装置。
【請求項５】
コンピュータを、
フレーム画像データからエッジ成分を検出するエッジ検出部と、
前記フレーム画像データから特徴点を検出する特徴点検出部と、
前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴量を生成する局所特徴量生成部と、
前記特徴点に対して、前記局所特徴量生成部が生成した前記局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、
として機能させるためのプログラム。
【請求項６】
前記コンピュータを、
前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部
としてさらに機能させるための請求項５記載のプログラム。
【請求項１】
フレーム画像データからエッジ成分を検出するエッジ検出部と、
前記フレーム画像データから特徴点を検出する特徴点検出部と、
前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴量を生成する局所特徴量生成部と、
前記特徴点に対して、前記局所特徴量生成部が生成した前記局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、
を備えることを特徴とする画像特徴量抽出装置。
【請求項２】
前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部
をさらに備えたことを特徴とする請求項１記載の画像特徴量抽出装置。
【請求項３】
前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のエッジ方向ヒストグラムを連結して局所特徴量を生成する
ことを特徴とする請求項１または２記載の画像特徴量抽出装置。
【請求項４】
前記局所特徴量生成部は、前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に基づく前記所定の周辺領域の面積を変化させて生成した複数のローカルバイナリパターンの頻度ヒストグラムを連結して局所特徴量を生成する
ことを特徴とする請求項１または２記載の画像特徴量抽出装置。
【請求項５】
コンピュータを、
フレーム画像データからエッジ成分を検出するエッジ検出部と、
前記フレーム画像データから特徴点を検出する特徴点検出部と、
前記エッジ検出部が検出した前記エッジ成分に基づき、前記特徴点検出部が検出した前記特徴点に対する周辺領域の面積を変化させて生成した複数の特徴量を連結して局所特徴量を生成する局所特徴量生成部と、
前記特徴点に対して、前記局所特徴量生成部が生成した前記局所特徴量の空間的な共起に基づく共起特徴量を生成する共起特徴量生成部と、
として機能させるためのプログラム。
【請求項６】
前記コンピュータを、
前記フレーム画像データを分割して得られる複数のブロックそれぞれについて、前記共起特徴量生成部が生成した、前記ブロックに含まれる特徴点の共起特徴量の平均値である平均共起特徴量を計算し、前記複数のブロックすべてについての前記平均共起特徴量を連結することにより、前記フレーム画像データ全体の特徴量を生成する特徴量生成部
としてさらに機能させるための請求項５記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−３７５３９（Ｐ２０１３−３７５３９Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７３１９３（Ｐ２０１１−１７３１９３）
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]