画像特徴抽出装置
【課題】画像の周波数及び方向を考慮した特徴を、従来よりも少ない計算量かつ短時間で抽出する。
【解決手段】特徴量算出部２は、注目画素（ｘｃ，ｙｃ）を通過する傾きθの直線ｌを設定し、その直線ｌ上において輝度値の増減が反転するポイント（画素）を特定し、その輝度値に、ガウス関数ｇの重みを乗じた上でその総和を算出する。この総和を注目画素に対する特徴量として出力する。特徴ベクトル算出部３は、特徴量算出部２により出力された特徴量に基づいて、画像領域全体または一部に対する特徴ベクトルを算出する。この特徴ベクトルは、画像領域の各画素に対する特徴量の平均、分散または頻度ヒストグラム等の要素により構成される。
【解決手段】特徴量算出部２は、注目画素（ｘｃ，ｙｃ）を通過する傾きθの直線ｌを設定し、その直線ｌ上において輝度値の増減が反転するポイント（画素）を特定し、その輝度値に、ガウス関数ｇの重みを乗じた上でその総和を算出する。この総和を注目画素に対する特徴量として出力する。特徴ベクトル算出部３は、特徴量算出部２により出力された特徴量に基づいて、画像領域全体または一部に対する特徴ベクトルを算出する。この特徴ベクトルは、画像領域の各画素に対する特徴量の平均、分散または頻度ヒストグラム等の要素により構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の類似判定、クラスタリング、映像内のオブジェクト追跡等を行うために、その画像または画像の部分領域の特徴を抽出する装置に関し、特に、画像の周波数及び方向を考慮した特徴を抽出する技術に関する。
【背景技術】
【０００２】
従来、画像の類似性を判定する処理、画像をクラスタリングする処理、映像内のオブジェクトを追跡する処理等の様々な画像処理を行うために、画像または画像の部分領域の特徴量を算出する技術が知られている。例えば、ガボールウェーブレットフィルタは、画像の周波数及び方向を考慮した特徴量を算出するフィルタであり、前述した様々な画像処理に利用されている。
【０００３】
ガボールウェーブレットフィルタは、解像度をｍ、方位をｎとすると、以下の式で定義される。
【数１】
【数２】
ここで、ｇｍｎ（ｘ，ｙ）はある画素（以下、注目画素という。）の座標（ｘ，ｙ）におけるガボールウェーブレットフィルタの値、σはガウス分布における標準偏差、ａは拡大率、Ｓは解像度の総数、Ｋは方位の総数をそれぞれ表す。
【０００４】
図１は、ガボールウェーブレットフィルタの例を示す図である。図１によれば、ガボールウェーブレットフィルタは、周波数成分と方向エッジの選択性が強く、エッジ抽出制御が容易であることがわかる。つまり、ガボールウェーブレットフィルタを画像に適用することによりガボール空間を得ることができ、ガボール空間において、画像の周波数及び方向を考慮した特徴量を算出することができる。
【０００５】
このようなガボールウェーブレットフィルタを用いた特徴量の算出手法の例が、非特許文献１に記載されている。具体的には、特徴量は、注目画素（ｘ，ｙ）におけるそれぞれの解像度ｍ及び方位ｎの組み合わせについて、ガボールウェーブレットフィルタを対象画像領域内の全画素（ｘ，ｙ）に対して畳み込むことにより算出される。
【数３】
ここで、Ｗｍｎ（ｘ，ｙ）は特徴量、ｆ（ｘ，ｙ）は座標（ｘ，ｙ）における輝度値をそれぞれ表す。
【０００６】
そして、式（３）により算出された特徴量Ｗｍｎ（ｘ，ｙ）である畳み込みの結果を用いて平均値μ及び標準偏差σが算出され、それぞれ解像度ｍ及び方位ｎ毎に並べることにより、式（４）に示す特徴ベクトルが算出される。ここで、特徴量Ｗｍｎ（ｘ，ｙ）は、ガボールウェーブレットフィルタｇｍｎ（ｘ，ｙ）にマッチした成分が反映された値となる。
【数４】
【０００７】
ここで、μｍ，ｎ及びσｍ，ｎは、以下の式により算出される。
【数５】
【数６】
式（３）及び式（４）中のＨ，Ｗは、それぞれ対象画像領域の高さ、幅を表す。
【０００８】
【非特許文献１】Yanagawa. A, Chang. S.F, Kennedy. L, Hsu. W, “Columbia University’s baseline detectors for 374 LSCOM semantic visual concept,” Technical report, Columbia University (2007)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ガボールウェーブレットフィルタを用いた算出手法では、そのサイズをＮ×Ｎピクセルとした場合、特徴量は全ての画素について算出されるから、特徴量の算出時間はＯ（Ｎ２）となり、計算コストが非常に高いという問題があった。このため、例えば、多数の画像を分類する場合、またはサイズの大きい画像を扱う場合には、特徴量の算出のために多大な計算量と時間が必要となる。ここで、Ｏ（Ｎ２）は、算出時間の関数であり、Ｎ２に比例していることを示している。
【００１０】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、画像の周波数及び方向を考慮した特徴を、従来よりも少ない計算量かつ短時間で抽出することが可能な画像特徴抽出装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明者らは、上記目的を達成すべく研究開発を進めた結果、画像の周波数及び方向を考慮した特徴を、その方向の直線上の画素についてのみ算出することに着目し、従来のガボールウェーブレットフィルタを用いた場合に比べて少ない計算量かつ短時間で抽出する手法を見出した。具体的には、その手法は、注目画素を通過する直線を設定し、その直線上において輝度値の増減が反転する画素を特定し、その画素の輝度値及びガウス関数に基づいて特徴量を算出するものである。従来のガボールウェーブレットフィルタを用いた算出手法では、そのサイズをＮ×Ｎピクセルとした場合の計算コストがＯ（Ｎ２）であるのに対し、本発明による算出手法では、計算コストがＯ（Ｎ）となる。また、本発明による算出手法では、輝度値の増減が反転しない画素についての演算が不要になる。したがって、画像の周波数及び方向を考慮した特徴を、従来に比べて少ない計算量かつ短時間で抽出することが可能となる。
【００１２】
すなわち、本発明による請求項１の発明は、画像の特徴を抽出する画像特徴抽出装置において、前記画像内の注目画素を通過する直線を設定し、前記直線上において輝度値の増減が反転する画素を特定し、前記特定した画素の輝度値、及び前記特定した画素におけるガウス関数の重みに基づいて、前記注目画素の特徴を抽出する、ことを特徴とする。
【００１３】
また、本発明による請求項２の発明は、請求項１に記載の画像特徴抽出装置において、所定の解像度における前記画像内の注目画素について、前記注目画素を通過する直線を方位によって設定し、前記直線上において輝度値が反転する画素を、隣り合う画素の輝度値の変化によって特定し、前記注目画素を中心とした直線上の所定の範囲内で、前記特定した画素の輝度値、及び、前記注目画素の位置を平均としたガウス関数による重みに基づいて、前記直線における注目画素の特徴量を算出する特徴量算出部、を備えたことを特徴とする。
【００１４】
また、本発明による請求項３の発明は、請求項２に記載の画像特徴抽出装置において、前記特徴量算出部が、画像内の全ての画素または一部の画素について、所定の解像度毎に及び所定の方位毎に前記直線における注目画素の特徴量を算出する、ことを特徴する。
【００１５】
また、本発明による請求項４の発明は、請求項２または３に記載の画像特徴抽出装置において、前記特徴量算出部により算出された特徴量に基づいて、前記画像内の全領域または一部の領域の特徴を示す特徴ベクトルを算出する特徴ベクトル算出部、を備えたことを特徴とする。
【００１６】
また、本発明による請求項５の発明は、請求項４に記載の画像特徴抽出装置において、前記特徴ベクトル算出部が算出する特徴ベクトルを、前記特徴量における平均値及び分散を要素とするベクトル、または、前記特徴量における平均値に基づいて算出した値及び分散に基づいて算出した値を要素とするベクトルとする、ことを特徴とする。
【００１７】
また、本発明による請求項６の発明は、請求項１から５までのいずれか一項に記載の画像特徴抽出装置において、前記輝度値の代わりに画素値を用いる、ことを特徴とする。
【発明の効果】
【００１８】
以上のように、本発明によれば、画像の周波数及び方向を考慮した特徴を、従来よりも少ない計算量かつ短時間で抽出することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
〔特徴量算出手法〕
まず、本発明の実施形態による、画像の特徴量を算出する手法について説明する。画像特徴抽出装置は、画像を構成する注目画素を通過する直線上において、輝度値の増減の変化に基づいて、その注目画素に対する特徴量を算出する。
【００２０】
ｘ，ｙ軸における注目画素の座標を（ｘｃ，ｙｃ）とした場合、注目画素からの距離ｒ、角度θの位置に存在する画素の座標は、以下の式により表される。この場合、設定する直線は、注目画素を通過し、かつｙ軸との間の角度がθとなる直線である。
【数７】
【００２１】
また、座標Ｖｒ，θにおける輝度の増減値は、以下の式により表される。
【数８】
ここで、ｆ（ｖ）は座標Ｖｒ，θにおける画素の輝度値を表す。式（８）は、座標Ｖｒ，θにおける輝度の増減値Ｓ（Ｖｒ，θ）が１または０であり、設定した直線において距離ｒを増加させた場合、輝度値が増加するときまたは変化がないときにＳ（Ｖｒ，θ）＝１であり、輝度値が減少するときにＳ（Ｖｒ，θ）＝０であることを示している。
【００２２】
前述した式（７）及び式（８）を用いることにより、解像度ｍ、方位ｎの特徴量Ｌｍ，ｎは、以下の式により表される。
【数９】
【００２３】
ここで、σはガウス分布における標準偏差を表す。また、ｋｍ及びθｎは、以下の式により表される。
【数１０】
Ｓは解像度の総数、Ｋは方位の総数、ａは拡大率を表す。
【００２４】
また、式（９）におけるｐは特徴量を算出する際に考慮する直線上の範囲を表し、２σの範囲をカバーする場合は以下の式により表される。
【数１１】
尚、特徴量を算出する際に考慮する範囲ｐ及びガウス分布の標準偏差σの値は、適用するタスクに応じて変更することができる。例えば、画像の種類に応じて変更することができる。
【００２５】
図２は、本発明の実施形態により算出される特徴量を説明する図である。本発明の実施形態による画像特徴抽出装置では、注目画素（ｘｃ，ｙｃ）を通過する傾きθの直線ｌを設定し、その直線ｌ上において、輝度値の増減が反転するポイント（画素）における輝度値に、ガウス関数ｇの重みを乗じた上でその総和を算出し、この総和を注目画素に対する特徴量としている。式（９）において、｜Ｓ（Ｖｉ,θｎ）−Ｓ（Ｖｉ＋１,θｎ）｜×ｆ（Ｖｉ,θｎ）が輝度値の増減が反転するポイントにおける輝度値に相当する。また、（ｋｍ／σ）ｅｘｐ｛−ｋｍ２ｉ２／２σ２｝がガウス関数ｇの重みに相当する。この重みは、従来のガボールウェーブレットフィルタと同様に注目画素からの距離による平均μ＝０、分散σ２の正規分布によって定義される。
【００２６】
このように、本発明の実施形態による特徴量算出手法によれば、特徴量は、注目画素（ｘｃ，ｙｃ）を通過する傾きθの直線上の輝度値に基づいた値であり、直線の長さがＮの場合の計算コストは、計算対象が直線上の画素であるからＯ（Ｎ）となる。従来のガボールウェーブレットフィルタによる計算コストがＯ（Ｎ２）であることを考慮すると、計算量を大幅に削減することができる。
【００２７】
さらに、本発明の実施形態による特徴量算出手法によれば、直線上において輝度値の増減が反転するポイント、すなわち、式（９）における｜Ｓ（Ｖｉ,θｎ）−Ｓ（Ｖｉ＋１,θｎ）｜＝１となるポイントについてのみ重み付き和を計算し、その他のポイントについては計算しない。したがって、計算コストの減少による計算量の削減に加え、さらに計算量を削減することができる。
【００２８】
〔画像特徴抽出装置〕
次に、本発明の実施形態による画像特徴抽出装置について説明する。図３は、画像特徴抽出装置の構成を示す概略図である。この画像特徴抽出装置１は、特徴量算出部２及び特徴ベクトル算出部３を備えている。特徴量算出部２は、画像を入力し、その入力画像の各画素に対して前述の式（９）に示した特徴量を算出する。特徴ベクトル算出部３は、特徴量算出部２により算出された特徴量を入力し、その特徴量に基づいて画像領域全体（または一部の領域）に対する特徴ベクトルを算出する。このように、画像特徴抽出装置１は、画像を入力し、その画像の特徴量及び特徴ベクトルを算出し、算出した特徴ベクトルを出力する。
【００２９】
〔特徴量〕
次に、図３に示した特徴量算出部２による特徴量算出手順について説明する。図４は、特徴量算出手順を示すフローチャートである。この特徴量算出手順は、方位ｎの直線上における注目画素の特徴量を算出する処理を示している。例えば、図２に示した直線ｌ上における注目画素（ｘｃ，ｙｃ）の特徴量が算出される。
【００３０】
特徴量算出処理が開始すると（ステップＳ４０１）、特徴量算出部２は、初期処理として、ｉに−ｐを設定し、ｓｕｍに０を設定する（ステップＳ４０２）。特徴量算出部２は、座標Ｖｉ,θｎにおける輝度の増減値Ｓ（Ｖｉ,θｎ）を算出し（ステップＳ４０３）、座標Ｖｉ＋１,θｎにおける輝度の増減値Ｓ（Ｖｉ＋１,θｎ）を算出する（ステップＳ４０４）。
【００３１】
そして、特徴量算出部２は、座標Ｖｉ,θｎにおける輝度の増減値Ｓ（Ｖｉ,θｎ）と座標Ｖｉ＋１,θｎにおける輝度の増減値Ｓ（Ｖｉ＋１,θｎ）とを比較し、両値が等しくないか否かを判定する（ステップＳ４０５）。両値が等しくないと判定した場合（ステップＳ４０５：Ｙ）、ステップＳ４０６に示す式の演算を行い、ｓｕｍを算出する（ステップＳ４０６）。
【００３２】
ステップＳ４０５において両値が等しいと判定した場合（ステップＳ４０５：Ｎ）、または、処理がステップＳ４０６から移行した場合、特徴量算出部２は、ｉにｉ＋１を設定し（ステップＳ４０７）、ｉ＜ｐであるか否かを判定する（ステップＳ４０８）。ここで、ｐは、特徴量を算出する際に考慮する直線上の範囲を示す。
【００３３】
ステップ４０８においてｉ＜ｐであると判定した場合（ステップＳ４０８：Ｙ）、特徴量算出部２は、処理をステップＳ４０３へ移行し、ｉ＜ｐである限り、ステップＳ４０３からステップＳ４０８までの処理を行う。
【００３４】
ステップＳ４０８においてｉ＞ｐでないと判定した場合（ステップＳ４０８：Ｎ）、特徴量算出部２は、ステップＳ４０６にて算出したｓｕｍを特徴量として記憶部に格納する（ステップＳ４０９）。これにより、方位ｎの直線における注目画素の特徴量が記憶部に格納される（ステップＳ４１０）。そして、特徴量算出処理が終了する（ステップＳ４１１）。このような処理を、画像全体の領域または一部の領域を構成する画素、全ての解像度及び全ての方位について行うことにより、解像度ｍ及び方位ｎにおける注目画素（ｘｃ，ｙｃ）の特徴量がそれぞれ算出される。
【００３５】
このように、特徴量算出部２は、外部から入力した画像の各画素に対して、前述の式（９）により特徴量を算出する。特徴量算出部２により算出された特徴量（解像度ｍ及び方位ｎにおける注目画素（ｘｃ，ｙｃ）の特徴量）は特徴ベクトル算出部３へ出力される。
【００３６】
〔特徴ベクトル〕
次に、図２に示した特徴量算出部２による特徴量の算出手順を利用した、図３に示した特徴ベクトル算出部３による特徴ベクトル算出手順について説明する。図５は、特徴ベクトル算出手順を示すフローチャートである。図５において、ステップＳ５０２からステップＳ５０６までは特徴量算出部２による処理であり、ステップＳ５０７からステップＳ５１１が特徴ベクトル算出部３による処理である。この特徴ベクトル算出手順は、特徴量算出部２により算出された特徴量に基づいて、画像全体の領域または一部の領域に対する特徴ベクトルを算出する処理を示している。
【００３７】
特徴ベクトル算出手順が開始すると（ステップＳ５０１）、特徴量算出部２は、初期処理として方向ｎに０を設定し（ステップＳ５０２）、解像度ｍに０を設定する（ステップＳ５０３）。そして、特徴量算出部２は、図４に示した特徴量算出手順により、解像度ｍにおいて、方位ｎの直線における注目画素の特徴量を算出し、記憶部に格納する（ステップＳ５０４，５０５）。
【００３８】
そして、特徴量算出部２は、画像全体の領域または一部の領域を構成する全画素に対する特徴量の算出が終了したか否かを判定する（ステップＳ５０６）。全画素に対する特徴量の算出が終了していないと判定した場合（ステップＳ５０６：Ｎ）、特徴量算出部２は、処理をステップＳ５０４へ移行して次の注目画素の特徴量を算出し、全画素に対する特徴量の算出が終了するまで、ステップＳ５０４及びステップＳ５０６の処理を行う。
【００３９】
ステップＳ５０６において全画素に対する特徴量の算出が終了したと判定した場合、すなわち、解像度ｍ及び方位ｎにおける全画素に対する特徴量の算出が終了したと判定した場合（ステップＳ５０６：Ｙ）、特徴ベクトル算出部３は、記憶部から、解像度ｍにおいて方位ｎの直線における注目画素の特徴量を全画素分読み出し、前記画素を構成する領域に対する特徴量（特徴ベクトル）を算出し（ステップＳ５０７）、記憶部に格納する（ステップＳ５０８）。
【００４０】
そして、特徴ベクトル算出部３は、解像度ｍにｍ＋１を設定し、解像度ｍ＜解像度の総数Ｓであるか否かを判定する（ステップＳ５０９）。解像度ｍ＜解像度の総数Ｓであると判定した場合（ステップＳ５０９：Ｙ）、特徴ベクトル算出部３は、処理をステップＳ５０４へ移行し、解像度ｍ＜解像度の総数Ｓでないと判定するまで、ステップＳ５０４からステップＳ５０９までの処理が行われる。
【００４１】
ステップＳ５０９において解像度ｍ＜解像度の総数Ｓでないと判定した場合（ステップＳ５０９：Ｎ）、特徴ベクトル算出部３は、方位ｎにｎ＋１を設定し、方位ｎ＜方位の総数Ｋであるか否かを判定する（ステップＳ５１０）。方位ｎ＜方位の総数Ｋであると判定した場合（ステップＳ５１０：Ｙ）、特徴ベクトル算出部３は、処理をステップＳ５０３へ移行し、方位ｎ＜方位の総数Ｋでないと判定するまで、ステップＳ５０３からステップＳ５１０までの処理が行われる。
【００４２】
ステップＳ５１０において方位ｎ＜方位の総数Ｋでないと判定した場合（ステップＳ５１０：Ｎ）、特徴ベクトル算出部３は、記憶部から、解像度ｍ＝０〜Ｓ−１において、方位ｎ＝０〜Ｋ−１の領域に対する特徴量（特徴ベクトル）を読み出し、これらの特徴量（特徴ベクトル）を結合して特徴ベクトルを算出する（ステップＳ５１２）。
【００４３】
このように、特徴ベクトル算出部３は、特徴量算出部２から入力した特徴量に基づいて、画像全体の領域または一部の領域に対する特徴ベクトルを算出する。特徴ベクトル算出部３により算出された特徴ベクトルは外部へ出力される。
【００４４】
この特徴ベクトルの要素としては、画像領域の各画素に対する特徴量の平均、分散または頻度ヒストグラム等がある。特徴ベクトル算出部３は、特徴ベクトルの要素を、様々な方位及び解像度の組み合わせに対して算出し、その結果を結合して特徴ベクトルを算出する。結合の方法としては、それぞれの特徴量を単純に並べる方法、全てを足し合わせて平均を算出する等がある。
【００４５】
例えば、解像度ｍ、方位ｎの特徴量における平均値、分散をそれぞれμｍ，ｎ、σｍ，ｎとすると、これらを並べたものを特徴ベクトルとする場合、以下の式により表される。
【数１２】
【００４６】
この場合の平均値μｍ，ｎ及び分散σｍ，ｎは、以下の式により表される。
【数１３】
【数１４】
ここで、Ｌｍ，ｎ（ｘ，ｙ）は、式（９）に示したように、注目画素（ｘ，ｙ）における特徴量を表す。
【００４７】
また、それぞれの結果（解像度ｍ、方位ｎの特徴量における平均値、分散）の平均値を特徴ベクトルとする場合は、以下の式により表される。
【数１５】
【００４８】
〔実験結果〕
次に、従来のガボールウェーブレットフィルタを用いた手法による画像分類の結果と、本発明の実施形態による画像特徴抽出装置１の手法による画像分類の結果とを比較する。この比較実験のタスクは、動物番組の映像におけるキーフレーム画像において、そのブロック領域（６４×６４画素）を、動物が映っているクラス（クラス１）または動物が映っていないクラス（クラス０）のいずれかにランダムフォレスト法を用いて分類するように設定されているものとする。番組の前半部分の２０分間では、映像が学習データとして用いられ、番組の後半部分の２０分間では、映像がテストデータとして用いられる。特徴ベクトルは、畳み込み結果における平均値及び分散を並べたものが利用され、解像度の総数Ｓ＝４，方向の総数Ｋ＝６、標準偏差σ＝２．５、拡大率ａ＝√２とする。比較の指標としての再現率及び適合率は、以下の式により表される。
【数１６】
【００４９】
比較結果を表１及び表２に表す。
【表１】
【表２】
【００５０】
表１及び表２に示した実験結果から、本発明の実施形態におけるクラス１の再現率が従来技術よりも３％程度低いが、ほぼ同等の分類精度であることがわかる。また、クラス１の適合率については、単一のテクスチャ特徴では十分に誤検出が除外できないことから、本発明の実施形態及び従来技術のいずれにおいても低い値であることがわかる。
【００５１】
また、各ブロック領域に対する特徴量の平均計算時間を表３に示す。尚、実験には、一般的な計算機（ＣＰＵ：Ｉｎｔｅｌ（登録商標） Ｃｏｒｅ ２ Ｄｕｏ ２．４０ＧＨｚ）を使用した。
【表３】
表３に示した実験結果から、特徴ベクトルの算出に要した時間は、従来技術では９６．４８ミリ秒であるのに対し、本発明の実施形態では９．６９ミリ秒であり、従来技術の約１０分の１となっていることがわかる。したがって、本発明の実施形態の方が従来技術よりも、高速な演算が可能である。
【００５２】
以上のように、本発明の実施形態による画像特徴抽出装置１によれば、画像の周波数及び方位を考慮した特徴量及び特徴ベクトルを、従来のガボールウェーブレットフィルタによる手法と同等の精度で算出することができると共に、従来よりも少ない計算量かつ短時間で算出することができる。この場合、画像の周波数を考慮するとは、前記実施形態において、注目画素を通過する直線上における輝度値の増減が反転する画素のみが特徴量の算出対象となることを意味し、方位を考慮するとは、前記実施形態において、方位ｎの直線が設定され、その直線上の画素のみが特徴量の算出対象となることを意味する。
【００５３】
尚、前記画像特徴抽出装置１は、画像がグレーの場合を想定して、輝度値の増減の変化に基づいて、注目画素に対する特徴量を算出するようにしたが、画像がカラーの場合には、輝度値の代わりに画素値を用いることにより、注目画素に対する特徴量を算出する。この場合、前述した式（８）及び式（９）のｆ（Ｖ）は画素値を表す。
【００５４】
また、前記画像特徴抽出装置１は、画像の周波数及び方位を考慮した特徴量及び特徴ベクトルを算出するようにしたから、模様が強調された画像に対して特徴量等を算出する場合に好適である。
【００５５】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、本発明の実施形態による画像特徴抽出装置１の特徴量算出部２は、式（９）を用いて特徴量を算出するようにしたが、本発明はこれに限定されるものではない。要するに、画像の周波数及び方向を考慮した式を用いて特徴量を算出することができればよい。
【００５６】
また、本発明の実施形態による画像特徴抽出装置１の特徴ベクトル算出部３は、式（１２）に示すように、特徴量の平均値及び分散を並べた特徴ベクトル、または、式（１５）に示すように、特徴量の平均値をさらに平均した値及び分散の平均値からなる特徴ベクトルを算出するようにしたが、本発明はこれに限定されるものでない。要するに、特徴量に基づいたベクトルであって、画像の全体領域または一部の領域の特徴を表すものであればよい。
【図面の簡単な説明】
【００５７】
【図１】ガボールウェーブレットフィルタによるフィルタ値の例を示す図である。
【図２】本発明の実施形態により算出される特徴量を説明する図である。
【図３】本発明の実施形態による画像特徴抽出装置の構成を示す概略図である。
【図４】特徴量算出部により特徴量を算出する手順を示すフローチャートである。
【図５】特徴ベクトル算出部により特徴ベクトルを算出する手順を示すフローチャートである。
【符号の説明】
【００５８】
１ 画像特徴抽出装置
２ 特徴量算出部
３ 特徴ベクトル算出部
【技術分野】
【０００１】
本発明は、画像の類似判定、クラスタリング、映像内のオブジェクト追跡等を行うために、その画像または画像の部分領域の特徴を抽出する装置に関し、特に、画像の周波数及び方向を考慮した特徴を抽出する技術に関する。
【背景技術】
【０００２】
従来、画像の類似性を判定する処理、画像をクラスタリングする処理、映像内のオブジェクトを追跡する処理等の様々な画像処理を行うために、画像または画像の部分領域の特徴量を算出する技術が知られている。例えば、ガボールウェーブレットフィルタは、画像の周波数及び方向を考慮した特徴量を算出するフィルタであり、前述した様々な画像処理に利用されている。
【０００３】
ガボールウェーブレットフィルタは、解像度をｍ、方位をｎとすると、以下の式で定義される。
【数１】
【数２】
ここで、ｇｍｎ（ｘ，ｙ）はある画素（以下、注目画素という。）の座標（ｘ，ｙ）におけるガボールウェーブレットフィルタの値、σはガウス分布における標準偏差、ａは拡大率、Ｓは解像度の総数、Ｋは方位の総数をそれぞれ表す。
【０００４】
図１は、ガボールウェーブレットフィルタの例を示す図である。図１によれば、ガボールウェーブレットフィルタは、周波数成分と方向エッジの選択性が強く、エッジ抽出制御が容易であることがわかる。つまり、ガボールウェーブレットフィルタを画像に適用することによりガボール空間を得ることができ、ガボール空間において、画像の周波数及び方向を考慮した特徴量を算出することができる。
【０００５】
このようなガボールウェーブレットフィルタを用いた特徴量の算出手法の例が、非特許文献１に記載されている。具体的には、特徴量は、注目画素（ｘ，ｙ）におけるそれぞれの解像度ｍ及び方位ｎの組み合わせについて、ガボールウェーブレットフィルタを対象画像領域内の全画素（ｘ，ｙ）に対して畳み込むことにより算出される。
【数３】
ここで、Ｗｍｎ（ｘ，ｙ）は特徴量、ｆ（ｘ，ｙ）は座標（ｘ，ｙ）における輝度値をそれぞれ表す。
【０００６】
そして、式（３）により算出された特徴量Ｗｍｎ（ｘ，ｙ）である畳み込みの結果を用いて平均値μ及び標準偏差σが算出され、それぞれ解像度ｍ及び方位ｎ毎に並べることにより、式（４）に示す特徴ベクトルが算出される。ここで、特徴量Ｗｍｎ（ｘ，ｙ）は、ガボールウェーブレットフィルタｇｍｎ（ｘ，ｙ）にマッチした成分が反映された値となる。
【数４】
【０００７】
ここで、μｍ，ｎ及びσｍ，ｎは、以下の式により算出される。
【数５】
【数６】
式（３）及び式（４）中のＨ，Ｗは、それぞれ対象画像領域の高さ、幅を表す。
【０００８】
【非特許文献１】Yanagawa. A, Chang. S.F, Kennedy. L, Hsu. W, “Columbia University’s baseline detectors for 374 LSCOM semantic visual concept,” Technical report, Columbia University (2007)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ガボールウェーブレットフィルタを用いた算出手法では、そのサイズをＮ×Ｎピクセルとした場合、特徴量は全ての画素について算出されるから、特徴量の算出時間はＯ（Ｎ２）となり、計算コストが非常に高いという問題があった。このため、例えば、多数の画像を分類する場合、またはサイズの大きい画像を扱う場合には、特徴量の算出のために多大な計算量と時間が必要となる。ここで、Ｏ（Ｎ２）は、算出時間の関数であり、Ｎ２に比例していることを示している。
【００１０】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、画像の周波数及び方向を考慮した特徴を、従来よりも少ない計算量かつ短時間で抽出することが可能な画像特徴抽出装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明者らは、上記目的を達成すべく研究開発を進めた結果、画像の周波数及び方向を考慮した特徴を、その方向の直線上の画素についてのみ算出することに着目し、従来のガボールウェーブレットフィルタを用いた場合に比べて少ない計算量かつ短時間で抽出する手法を見出した。具体的には、その手法は、注目画素を通過する直線を設定し、その直線上において輝度値の増減が反転する画素を特定し、その画素の輝度値及びガウス関数に基づいて特徴量を算出するものである。従来のガボールウェーブレットフィルタを用いた算出手法では、そのサイズをＮ×Ｎピクセルとした場合の計算コストがＯ（Ｎ２）であるのに対し、本発明による算出手法では、計算コストがＯ（Ｎ）となる。また、本発明による算出手法では、輝度値の増減が反転しない画素についての演算が不要になる。したがって、画像の周波数及び方向を考慮した特徴を、従来に比べて少ない計算量かつ短時間で抽出することが可能となる。
【００１２】
すなわち、本発明による請求項１の発明は、画像の特徴を抽出する画像特徴抽出装置において、前記画像内の注目画素を通過する直線を設定し、前記直線上において輝度値の増減が反転する画素を特定し、前記特定した画素の輝度値、及び前記特定した画素におけるガウス関数の重みに基づいて、前記注目画素の特徴を抽出する、ことを特徴とする。
【００１３】
また、本発明による請求項２の発明は、請求項１に記載の画像特徴抽出装置において、所定の解像度における前記画像内の注目画素について、前記注目画素を通過する直線を方位によって設定し、前記直線上において輝度値が反転する画素を、隣り合う画素の輝度値の変化によって特定し、前記注目画素を中心とした直線上の所定の範囲内で、前記特定した画素の輝度値、及び、前記注目画素の位置を平均としたガウス関数による重みに基づいて、前記直線における注目画素の特徴量を算出する特徴量算出部、を備えたことを特徴とする。
【００１４】
また、本発明による請求項３の発明は、請求項２に記載の画像特徴抽出装置において、前記特徴量算出部が、画像内の全ての画素または一部の画素について、所定の解像度毎に及び所定の方位毎に前記直線における注目画素の特徴量を算出する、ことを特徴する。
【００１５】
また、本発明による請求項４の発明は、請求項２または３に記載の画像特徴抽出装置において、前記特徴量算出部により算出された特徴量に基づいて、前記画像内の全領域または一部の領域の特徴を示す特徴ベクトルを算出する特徴ベクトル算出部、を備えたことを特徴とする。
【００１６】
また、本発明による請求項５の発明は、請求項４に記載の画像特徴抽出装置において、前記特徴ベクトル算出部が算出する特徴ベクトルを、前記特徴量における平均値及び分散を要素とするベクトル、または、前記特徴量における平均値に基づいて算出した値及び分散に基づいて算出した値を要素とするベクトルとする、ことを特徴とする。
【００１７】
また、本発明による請求項６の発明は、請求項１から５までのいずれか一項に記載の画像特徴抽出装置において、前記輝度値の代わりに画素値を用いる、ことを特徴とする。
【発明の効果】
【００１８】
以上のように、本発明によれば、画像の周波数及び方向を考慮した特徴を、従来よりも少ない計算量かつ短時間で抽出することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
〔特徴量算出手法〕
まず、本発明の実施形態による、画像の特徴量を算出する手法について説明する。画像特徴抽出装置は、画像を構成する注目画素を通過する直線上において、輝度値の増減の変化に基づいて、その注目画素に対する特徴量を算出する。
【００２０】
ｘ，ｙ軸における注目画素の座標を（ｘｃ，ｙｃ）とした場合、注目画素からの距離ｒ、角度θの位置に存在する画素の座標は、以下の式により表される。この場合、設定する直線は、注目画素を通過し、かつｙ軸との間の角度がθとなる直線である。
【数７】
【００２１】
また、座標Ｖｒ，θにおける輝度の増減値は、以下の式により表される。
【数８】
ここで、ｆ（ｖ）は座標Ｖｒ，θにおける画素の輝度値を表す。式（８）は、座標Ｖｒ，θにおける輝度の増減値Ｓ（Ｖｒ，θ）が１または０であり、設定した直線において距離ｒを増加させた場合、輝度値が増加するときまたは変化がないときにＳ（Ｖｒ，θ）＝１であり、輝度値が減少するときにＳ（Ｖｒ，θ）＝０であることを示している。
【００２２】
前述した式（７）及び式（８）を用いることにより、解像度ｍ、方位ｎの特徴量Ｌｍ，ｎは、以下の式により表される。
【数９】
【００２３】
ここで、σはガウス分布における標準偏差を表す。また、ｋｍ及びθｎは、以下の式により表される。
【数１０】
Ｓは解像度の総数、Ｋは方位の総数、ａは拡大率を表す。
【００２４】
また、式（９）におけるｐは特徴量を算出する際に考慮する直線上の範囲を表し、２σの範囲をカバーする場合は以下の式により表される。
【数１１】
尚、特徴量を算出する際に考慮する範囲ｐ及びガウス分布の標準偏差σの値は、適用するタスクに応じて変更することができる。例えば、画像の種類に応じて変更することができる。
【００２５】
図２は、本発明の実施形態により算出される特徴量を説明する図である。本発明の実施形態による画像特徴抽出装置では、注目画素（ｘｃ，ｙｃ）を通過する傾きθの直線ｌを設定し、その直線ｌ上において、輝度値の増減が反転するポイント（画素）における輝度値に、ガウス関数ｇの重みを乗じた上でその総和を算出し、この総和を注目画素に対する特徴量としている。式（９）において、｜Ｓ（Ｖｉ,θｎ）−Ｓ（Ｖｉ＋１,θｎ）｜×ｆ（Ｖｉ,θｎ）が輝度値の増減が反転するポイントにおける輝度値に相当する。また、（ｋｍ／σ）ｅｘｐ｛−ｋｍ２ｉ２／２σ２｝がガウス関数ｇの重みに相当する。この重みは、従来のガボールウェーブレットフィルタと同様に注目画素からの距離による平均μ＝０、分散σ２の正規分布によって定義される。
【００２６】
このように、本発明の実施形態による特徴量算出手法によれば、特徴量は、注目画素（ｘｃ，ｙｃ）を通過する傾きθの直線上の輝度値に基づいた値であり、直線の長さがＮの場合の計算コストは、計算対象が直線上の画素であるからＯ（Ｎ）となる。従来のガボールウェーブレットフィルタによる計算コストがＯ（Ｎ２）であることを考慮すると、計算量を大幅に削減することができる。
【００２７】
さらに、本発明の実施形態による特徴量算出手法によれば、直線上において輝度値の増減が反転するポイント、すなわち、式（９）における｜Ｓ（Ｖｉ,θｎ）−Ｓ（Ｖｉ＋１,θｎ）｜＝１となるポイントについてのみ重み付き和を計算し、その他のポイントについては計算しない。したがって、計算コストの減少による計算量の削減に加え、さらに計算量を削減することができる。
【００２８】
〔画像特徴抽出装置〕
次に、本発明の実施形態による画像特徴抽出装置について説明する。図３は、画像特徴抽出装置の構成を示す概略図である。この画像特徴抽出装置１は、特徴量算出部２及び特徴ベクトル算出部３を備えている。特徴量算出部２は、画像を入力し、その入力画像の各画素に対して前述の式（９）に示した特徴量を算出する。特徴ベクトル算出部３は、特徴量算出部２により算出された特徴量を入力し、その特徴量に基づいて画像領域全体（または一部の領域）に対する特徴ベクトルを算出する。このように、画像特徴抽出装置１は、画像を入力し、その画像の特徴量及び特徴ベクトルを算出し、算出した特徴ベクトルを出力する。
【００２９】
〔特徴量〕
次に、図３に示した特徴量算出部２による特徴量算出手順について説明する。図４は、特徴量算出手順を示すフローチャートである。この特徴量算出手順は、方位ｎの直線上における注目画素の特徴量を算出する処理を示している。例えば、図２に示した直線ｌ上における注目画素（ｘｃ，ｙｃ）の特徴量が算出される。
【００３０】
特徴量算出処理が開始すると（ステップＳ４０１）、特徴量算出部２は、初期処理として、ｉに−ｐを設定し、ｓｕｍに０を設定する（ステップＳ４０２）。特徴量算出部２は、座標Ｖｉ,θｎにおける輝度の増減値Ｓ（Ｖｉ,θｎ）を算出し（ステップＳ４０３）、座標Ｖｉ＋１,θｎにおける輝度の増減値Ｓ（Ｖｉ＋１,θｎ）を算出する（ステップＳ４０４）。
【００３１】
そして、特徴量算出部２は、座標Ｖｉ,θｎにおける輝度の増減値Ｓ（Ｖｉ,θｎ）と座標Ｖｉ＋１,θｎにおける輝度の増減値Ｓ（Ｖｉ＋１,θｎ）とを比較し、両値が等しくないか否かを判定する（ステップＳ４０５）。両値が等しくないと判定した場合（ステップＳ４０５：Ｙ）、ステップＳ４０６に示す式の演算を行い、ｓｕｍを算出する（ステップＳ４０６）。
【００３２】
ステップＳ４０５において両値が等しいと判定した場合（ステップＳ４０５：Ｎ）、または、処理がステップＳ４０６から移行した場合、特徴量算出部２は、ｉにｉ＋１を設定し（ステップＳ４０７）、ｉ＜ｐであるか否かを判定する（ステップＳ４０８）。ここで、ｐは、特徴量を算出する際に考慮する直線上の範囲を示す。
【００３３】
ステップ４０８においてｉ＜ｐであると判定した場合（ステップＳ４０８：Ｙ）、特徴量算出部２は、処理をステップＳ４０３へ移行し、ｉ＜ｐである限り、ステップＳ４０３からステップＳ４０８までの処理を行う。
【００３４】
ステップＳ４０８においてｉ＞ｐでないと判定した場合（ステップＳ４０８：Ｎ）、特徴量算出部２は、ステップＳ４０６にて算出したｓｕｍを特徴量として記憶部に格納する（ステップＳ４０９）。これにより、方位ｎの直線における注目画素の特徴量が記憶部に格納される（ステップＳ４１０）。そして、特徴量算出処理が終了する（ステップＳ４１１）。このような処理を、画像全体の領域または一部の領域を構成する画素、全ての解像度及び全ての方位について行うことにより、解像度ｍ及び方位ｎにおける注目画素（ｘｃ，ｙｃ）の特徴量がそれぞれ算出される。
【００３５】
このように、特徴量算出部２は、外部から入力した画像の各画素に対して、前述の式（９）により特徴量を算出する。特徴量算出部２により算出された特徴量（解像度ｍ及び方位ｎにおける注目画素（ｘｃ，ｙｃ）の特徴量）は特徴ベクトル算出部３へ出力される。
【００３６】
〔特徴ベクトル〕
次に、図２に示した特徴量算出部２による特徴量の算出手順を利用した、図３に示した特徴ベクトル算出部３による特徴ベクトル算出手順について説明する。図５は、特徴ベクトル算出手順を示すフローチャートである。図５において、ステップＳ５０２からステップＳ５０６までは特徴量算出部２による処理であり、ステップＳ５０７からステップＳ５１１が特徴ベクトル算出部３による処理である。この特徴ベクトル算出手順は、特徴量算出部２により算出された特徴量に基づいて、画像全体の領域または一部の領域に対する特徴ベクトルを算出する処理を示している。
【００３７】
特徴ベクトル算出手順が開始すると（ステップＳ５０１）、特徴量算出部２は、初期処理として方向ｎに０を設定し（ステップＳ５０２）、解像度ｍに０を設定する（ステップＳ５０３）。そして、特徴量算出部２は、図４に示した特徴量算出手順により、解像度ｍにおいて、方位ｎの直線における注目画素の特徴量を算出し、記憶部に格納する（ステップＳ５０４，５０５）。
【００３８】
そして、特徴量算出部２は、画像全体の領域または一部の領域を構成する全画素に対する特徴量の算出が終了したか否かを判定する（ステップＳ５０６）。全画素に対する特徴量の算出が終了していないと判定した場合（ステップＳ５０６：Ｎ）、特徴量算出部２は、処理をステップＳ５０４へ移行して次の注目画素の特徴量を算出し、全画素に対する特徴量の算出が終了するまで、ステップＳ５０４及びステップＳ５０６の処理を行う。
【００３９】
ステップＳ５０６において全画素に対する特徴量の算出が終了したと判定した場合、すなわち、解像度ｍ及び方位ｎにおける全画素に対する特徴量の算出が終了したと判定した場合（ステップＳ５０６：Ｙ）、特徴ベクトル算出部３は、記憶部から、解像度ｍにおいて方位ｎの直線における注目画素の特徴量を全画素分読み出し、前記画素を構成する領域に対する特徴量（特徴ベクトル）を算出し（ステップＳ５０７）、記憶部に格納する（ステップＳ５０８）。
【００４０】
そして、特徴ベクトル算出部３は、解像度ｍにｍ＋１を設定し、解像度ｍ＜解像度の総数Ｓであるか否かを判定する（ステップＳ５０９）。解像度ｍ＜解像度の総数Ｓであると判定した場合（ステップＳ５０９：Ｙ）、特徴ベクトル算出部３は、処理をステップＳ５０４へ移行し、解像度ｍ＜解像度の総数Ｓでないと判定するまで、ステップＳ５０４からステップＳ５０９までの処理が行われる。
【００４１】
ステップＳ５０９において解像度ｍ＜解像度の総数Ｓでないと判定した場合（ステップＳ５０９：Ｎ）、特徴ベクトル算出部３は、方位ｎにｎ＋１を設定し、方位ｎ＜方位の総数Ｋであるか否かを判定する（ステップＳ５１０）。方位ｎ＜方位の総数Ｋであると判定した場合（ステップＳ５１０：Ｙ）、特徴ベクトル算出部３は、処理をステップＳ５０３へ移行し、方位ｎ＜方位の総数Ｋでないと判定するまで、ステップＳ５０３からステップＳ５１０までの処理が行われる。
【００４２】
ステップＳ５１０において方位ｎ＜方位の総数Ｋでないと判定した場合（ステップＳ５１０：Ｎ）、特徴ベクトル算出部３は、記憶部から、解像度ｍ＝０〜Ｓ−１において、方位ｎ＝０〜Ｋ−１の領域に対する特徴量（特徴ベクトル）を読み出し、これらの特徴量（特徴ベクトル）を結合して特徴ベクトルを算出する（ステップＳ５１２）。
【００４３】
このように、特徴ベクトル算出部３は、特徴量算出部２から入力した特徴量に基づいて、画像全体の領域または一部の領域に対する特徴ベクトルを算出する。特徴ベクトル算出部３により算出された特徴ベクトルは外部へ出力される。
【００４４】
この特徴ベクトルの要素としては、画像領域の各画素に対する特徴量の平均、分散または頻度ヒストグラム等がある。特徴ベクトル算出部３は、特徴ベクトルの要素を、様々な方位及び解像度の組み合わせに対して算出し、その結果を結合して特徴ベクトルを算出する。結合の方法としては、それぞれの特徴量を単純に並べる方法、全てを足し合わせて平均を算出する等がある。
【００４５】
例えば、解像度ｍ、方位ｎの特徴量における平均値、分散をそれぞれμｍ，ｎ、σｍ，ｎとすると、これらを並べたものを特徴ベクトルとする場合、以下の式により表される。
【数１２】
【００４６】
この場合の平均値μｍ，ｎ及び分散σｍ，ｎは、以下の式により表される。
【数１３】
【数１４】
ここで、Ｌｍ，ｎ（ｘ，ｙ）は、式（９）に示したように、注目画素（ｘ，ｙ）における特徴量を表す。
【００４７】
また、それぞれの結果（解像度ｍ、方位ｎの特徴量における平均値、分散）の平均値を特徴ベクトルとする場合は、以下の式により表される。
【数１５】
【００４８】
〔実験結果〕
次に、従来のガボールウェーブレットフィルタを用いた手法による画像分類の結果と、本発明の実施形態による画像特徴抽出装置１の手法による画像分類の結果とを比較する。この比較実験のタスクは、動物番組の映像におけるキーフレーム画像において、そのブロック領域（６４×６４画素）を、動物が映っているクラス（クラス１）または動物が映っていないクラス（クラス０）のいずれかにランダムフォレスト法を用いて分類するように設定されているものとする。番組の前半部分の２０分間では、映像が学習データとして用いられ、番組の後半部分の２０分間では、映像がテストデータとして用いられる。特徴ベクトルは、畳み込み結果における平均値及び分散を並べたものが利用され、解像度の総数Ｓ＝４，方向の総数Ｋ＝６、標準偏差σ＝２．５、拡大率ａ＝√２とする。比較の指標としての再現率及び適合率は、以下の式により表される。
【数１６】
【００４９】
比較結果を表１及び表２に表す。
【表１】
【表２】
【００５０】
表１及び表２に示した実験結果から、本発明の実施形態におけるクラス１の再現率が従来技術よりも３％程度低いが、ほぼ同等の分類精度であることがわかる。また、クラス１の適合率については、単一のテクスチャ特徴では十分に誤検出が除外できないことから、本発明の実施形態及び従来技術のいずれにおいても低い値であることがわかる。
【００５１】
また、各ブロック領域に対する特徴量の平均計算時間を表３に示す。尚、実験には、一般的な計算機（ＣＰＵ：Ｉｎｔｅｌ（登録商標） Ｃｏｒｅ ２ Ｄｕｏ ２．４０ＧＨｚ）を使用した。
【表３】
表３に示した実験結果から、特徴ベクトルの算出に要した時間は、従来技術では９６．４８ミリ秒であるのに対し、本発明の実施形態では９．６９ミリ秒であり、従来技術の約１０分の１となっていることがわかる。したがって、本発明の実施形態の方が従来技術よりも、高速な演算が可能である。
【００５２】
以上のように、本発明の実施形態による画像特徴抽出装置１によれば、画像の周波数及び方位を考慮した特徴量及び特徴ベクトルを、従来のガボールウェーブレットフィルタによる手法と同等の精度で算出することができると共に、従来よりも少ない計算量かつ短時間で算出することができる。この場合、画像の周波数を考慮するとは、前記実施形態において、注目画素を通過する直線上における輝度値の増減が反転する画素のみが特徴量の算出対象となることを意味し、方位を考慮するとは、前記実施形態において、方位ｎの直線が設定され、その直線上の画素のみが特徴量の算出対象となることを意味する。
【００５３】
尚、前記画像特徴抽出装置１は、画像がグレーの場合を想定して、輝度値の増減の変化に基づいて、注目画素に対する特徴量を算出するようにしたが、画像がカラーの場合には、輝度値の代わりに画素値を用いることにより、注目画素に対する特徴量を算出する。この場合、前述した式（８）及び式（９）のｆ（Ｖ）は画素値を表す。
【００５４】
また、前記画像特徴抽出装置１は、画像の周波数及び方位を考慮した特徴量及び特徴ベクトルを算出するようにしたから、模様が強調された画像に対して特徴量等を算出する場合に好適である。
【００５５】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、本発明の実施形態による画像特徴抽出装置１の特徴量算出部２は、式（９）を用いて特徴量を算出するようにしたが、本発明はこれに限定されるものではない。要するに、画像の周波数及び方向を考慮した式を用いて特徴量を算出することができればよい。
【００５６】
また、本発明の実施形態による画像特徴抽出装置１の特徴ベクトル算出部３は、式（１２）に示すように、特徴量の平均値及び分散を並べた特徴ベクトル、または、式（１５）に示すように、特徴量の平均値をさらに平均した値及び分散の平均値からなる特徴ベクトルを算出するようにしたが、本発明はこれに限定されるものでない。要するに、特徴量に基づいたベクトルであって、画像の全体領域または一部の領域の特徴を表すものであればよい。
【図面の簡単な説明】
【００５７】
【図１】ガボールウェーブレットフィルタによるフィルタ値の例を示す図である。
【図２】本発明の実施形態により算出される特徴量を説明する図である。
【図３】本発明の実施形態による画像特徴抽出装置の構成を示す概略図である。
【図４】特徴量算出部により特徴量を算出する手順を示すフローチャートである。
【図５】特徴ベクトル算出部により特徴ベクトルを算出する手順を示すフローチャートである。
【符号の説明】
【００５８】
１ 画像特徴抽出装置
２ 特徴量算出部
３ 特徴ベクトル算出部
【特許請求の範囲】
【請求項１】
画像の特徴を抽出する画像特徴抽出装置において、
前記画像内の注目画素を通過する直線を設定し、前記直線上において輝度値の増減が反転する画素を特定し、前記特定した画素の輝度値、及び前記特定した画素におけるガウス関数の重みに基づいて、前記注目画素の特徴を抽出する、ことを特徴とする画像特徴抽出装置。
【請求項２】
請求項１に記載の画像特徴抽出装置において、
所定の解像度における前記画像内の注目画素について、前記注目画素を通過する直線を方位によって設定し、前記直線上において輝度値が反転する画素を、隣り合う画素の輝度値の変化によって特定し、前記注目画素を中心とした直線上の所定の範囲内で、前記特定した画素の輝度値、及び、前記注目画素の位置を平均としたガウス関数による重みに基づいて、前記直線における注目画素の特徴量を算出する特徴量算出部、を備えたことを特徴とする画像特徴抽出装置。
【請求項３】
請求項２に記載の画像特徴抽出装置において、
前記特徴量算出部は、画像内の全ての画素または一部の画素について、所定の解像度毎に及び所定の方位毎に前記直線における注目画素の特徴量を算出する、ことを特徴する画像特徴抽出装置。
【請求項４】
請求項２または３に記載の画像特徴抽出装置において、
前記特徴量算出部により算出された特徴量に基づいて、前記画像内の全領域または一部の領域の特徴を示す特徴ベクトルを算出する特徴ベクトル算出部、を備えたことを特徴とする画像特徴抽出装置。
【請求項５】
請求項４に記載の画像特徴抽出装置において、
前記特徴ベクトル算出部が算出する特徴ベクトルを、前記特徴量における平均値及び分散を要素とするベクトル、または、前記特徴量における平均値に基づいて算出した値及び分散に基づいて算出した値を要素とするベクトルとする、ことを特徴とする画像特徴抽出装置。
【請求項６】
請求項１から５までのいずれか一項に記載の画像特徴抽出装置において、
前記輝度値の代わりに画素値を用いる、ことを特徴とする画像特徴抽出装置。
【請求項１】
画像の特徴を抽出する画像特徴抽出装置において、
前記画像内の注目画素を通過する直線を設定し、前記直線上において輝度値の増減が反転する画素を特定し、前記特定した画素の輝度値、及び前記特定した画素におけるガウス関数の重みに基づいて、前記注目画素の特徴を抽出する、ことを特徴とする画像特徴抽出装置。
【請求項２】
請求項１に記載の画像特徴抽出装置において、
所定の解像度における前記画像内の注目画素について、前記注目画素を通過する直線を方位によって設定し、前記直線上において輝度値が反転する画素を、隣り合う画素の輝度値の変化によって特定し、前記注目画素を中心とした直線上の所定の範囲内で、前記特定した画素の輝度値、及び、前記注目画素の位置を平均としたガウス関数による重みに基づいて、前記直線における注目画素の特徴量を算出する特徴量算出部、を備えたことを特徴とする画像特徴抽出装置。
【請求項３】
請求項２に記載の画像特徴抽出装置において、
前記特徴量算出部は、画像内の全ての画素または一部の画素について、所定の解像度毎に及び所定の方位毎に前記直線における注目画素の特徴量を算出する、ことを特徴する画像特徴抽出装置。
【請求項４】
請求項２または３に記載の画像特徴抽出装置において、
前記特徴量算出部により算出された特徴量に基づいて、前記画像内の全領域または一部の領域の特徴を示す特徴ベクトルを算出する特徴ベクトル算出部、を備えたことを特徴とする画像特徴抽出装置。
【請求項５】
請求項４に記載の画像特徴抽出装置において、
前記特徴ベクトル算出部が算出する特徴ベクトルを、前記特徴量における平均値及び分散を要素とするベクトル、または、前記特徴量における平均値に基づいて算出した値及び分散に基づいて算出した値を要素とするベクトルとする、ことを特徴とする画像特徴抽出装置。
【請求項６】
請求項１から５までのいずれか一項に記載の画像特徴抽出装置において、
前記輝度値の代わりに画素値を用いる、ことを特徴とする画像特徴抽出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−７２８８９（Ｐ２０１０−７２８８９Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３８７８８（Ｐ２００８−２３８７８８）
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１８日（２００８．９．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]