説明

画像分類装置及びプログラム

【課題】画像の空間周波数スペクトルに基づいて画像を分類する画像分類装置及びプログラムを提供する。
【解決手段】本発明の画像分類装置(1)は、入力される画像をスペクトルのデータに変換するスペクトル演算部(10)と、所定の正規化情報に基づいてスペクトルのデータに対して正規化処理を施し、正規化処理で得られる正規化データに対して回帰演算を実行して回帰パラメータを抽出するパラメータ化処理部(20)と、回帰パラメータを構成する各成分で表す空間について予め分割した複数の部分領域にて、当該正規化パラメータがいずれの部分領域に所属するかを判定し、入力される画像を分類する分類処理部(30)とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を分類する技術に関し、特に、画像の空間周波数スペクトルに基づく画像分類装置及びプログラムに関するものである。
【背景技術】
【0002】
従来、画像や画像の中の被写体を分類する方法として、対象画像の画像特徴を利用するものがある。画像特徴には、色特徴、エッジ特徴、テクスチャ特徴、動き特徴などが用いられている。
【0003】
これらの画像特徴の一つ又は複数をまとめて画像特徴量を定義することができる。従って、画像特徴量が特徴空間内のどの点に位置するかに応じて対象画像の分類を行うことになる。
【0004】
画像特徴量を用いる画像分類法は、例えば拡大・縮小(スケーリング)や回転の影響を避けるために、SIFT(Scale Invariant Feature Transform)特徴を用いたり、複数色からなる被写体を判別する場合に色ヒストグラムを用いたりするなど、利用する画像特徴の種類を用途に応じて適切に選択する必要がある。そこで、多数の種類の画像特徴の中から、例えば、主成分分析(PCA:Principal Component Analysis)などの統計的技法によって有用な画像特徴を抽出するとともに、画像内の状態の変化(物体の突発的な変化や解像度の違いなど)に対して頑健な処理を行う技法が開示されている(例えば、特許文献1参照)。
【0005】
尚、従来からの画像特徴量を用いる画像分類法は、識別関数を用いることが多い。識別関数は、画像特徴を入力とし、分類結果(クラス)を出力とする。識別関数の表現・学習の方法には、線形識別関数、サポートベクターマシン、ニューラルネットワーク、ブースティングなどが提案されているほか、場合分け(IF−THENルール)を人手で設計することも行われている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第4376145号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来の画像分類法は、画像特徴量の定義よりも、分類に用いる識別関数やその学習方法を主眼としたものが多い。画像特徴量に着眼したものであっても、多数の種類の画像特徴の中から有効なものを統計的に抽出する技術が主流であり、構成する個別の画像特徴量は、色ヒストグラムやエッジ特徴など、汎用的なものが利用されることが多い。
【0008】
個別の画像特徴量を工夫する場合であっても、被写体の意味的な分類を行うものや、視覚的な境界で分割を行うのに用いることを目的としており、画像の標本化や符号化に起因する知覚上の画質変化を考慮した分類を行うことができなかった。このため、画像の標本化や符号化に直接的に有効な画像分類法が望まれる。
【0009】
本発明の目的は、上述の問題を鑑みて為されたものであり、画像の空間周波数スペクトルに基づく画像分類装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明の画像分類装置は、入力画像のスペクトルに基づき分類を行う。これにより、分類した画像に対して標本化や符号化を行う場合に、分類に応じて画質劣化を踏まえた処理を行うことも可能となる。また、スペクトルをパラメータ表現とすることで処理負担を軽減させることができ、画像の分類を高速に実行することができる。
【0011】
即ち、本発明の画像分類装置は、画像の空間周波数スペクトルに基づいて画像を分類する画像分類装置であって、入力される画像をスペクトルのデータに変換するスペクトル演算部と、所定の正規化情報に基づいて前記スペクトルのデータに対して正規化処理を施し、正規化処理で得られる正規化データに対して回帰演算を実行して回帰パラメータを抽出するパラメータ化処理部と、前記回帰パラメータを構成する各成分で表す空間について予め分割した複数の部分領域にて、前記正規化パラメータがいずれの部分領域に所属するかを判定し、前記入力される画像を分類する分類処理部と、を備えることを特徴とする。
【0012】
また、本発明の画像分類装置において、前記パラメータ化処理部は、前記スペクトルのデータに対して正規化処理を施して得られる正規化データについて、2次元以上の多次元空間上の点列として配置し、配置した点群について回帰演算を実行して回帰パラメータを算出するパラメータ抽出部を備えることを特徴とする。
【0013】
また、本発明の画像分類装置において、前記パラメータ化処理部は、前記スペクトルのデータに対して次元圧縮を施す次元圧縮処理部を備えることを特徴とする。
【0014】
また、本発明の画像分類装置において、前記正規化情報は、前記スペクトルのデータの成分ごとのオフセット及び/又は成分ごとの倍率の情報によって与えられることを特徴とする。
【0015】
また、本発明の画像分類装置において、前記正規化情報が、予め学習用に用意した複数画像集合の統計量として得られるスペクトルのデータの各成分の平均値及び標準偏差で与えられるとき、前記パラメータ化処理部は、前記正規化処理として、前記平均値を、前記スペクトルのデータの各成分に対するオフセットに用いることを特徴とする。
【0016】
また、本発明の画像分類装置において、前記正規化情報が、予め学習用に用意した複数画像集合の統計量として得られるスペクトルのデータの各成分の平均値及び標準偏差で与えられるとき、前記パラメータ化処理部は、前記正規化処理として、前記標準偏差を、前記スペクトルのデータの各成分に対する倍率に用いることを特徴とする。
【0017】
また、本発明の画像分類装置において、前記回帰演算は、直線回帰によることを特徴とする。
【0018】
また、本発明は、画像の空間周波数スペクトルに基づいて画像を分類する画像分類装置として構成するコンピュータに、入力される画像をスペクトルのデータに変換するステップと、所定の正規化情報に基づいて前記スペクトルのデータに対して正規化処理を施し、正規化処理で得られる正規化データに対して回帰演算を実行して回帰パラメータを抽出するステップと、前記回帰パラメータを構成する各成分で表す空間について予め分割した複数の部分領域にて、前記正規化パラメータがいずれの部分領域に所属するかを判定し、前記入力される画像を分類するステップと、を実行させるためのプログラムとして構成される。
【発明の効果】
【0019】
本発明によれば、入力画像の空間周波数スペクトルに基づいて分類を行うので、画像の標本化や符号化に起因する知覚上の画質変化を考慮した分類を行うことが可能となる。
【図面の簡単な説明】
【0020】
【図1】本発明による一実施例の画像分類装置の構成を示すブロック図である。
【図2】本発明による一実施例の画像分類装置のスペクトル演算部の構成の一例を示すブロック図である。
【図3】本発明による一実施例の画像分類装置のパラメータ化処理部の構成の一例を示すブロック図である。
【図4】(A)は、画像が1つの画像フレームの場合における複数の領域画像を例示する図であり、(B)は、画像が連続する画像フレームの場合における複数の領域画像を例示する図であり、(C)は、画像が連続する画像フレームの場合における複数の領域画像を例示する図であり、(D)は、画像が1つの画像フレームの場合における複数の領域画像を例示する図であり、(E)は、画像が連続する画像フレームの場合における複数の領域画像を例示する図である。
【図5】本発明による一実施例の画像分類装置の動作説明図である。
【図6】本発明による一実施例の画像分類装置における分類処理部の部分領域群を例示する図である。
【図7】(A)は、1フレーム画像内のブロックごとに分類処理を実行する例を示す図であり、(B)は、本発明による一実施例の画像分類装置における分類処理部の分類結果を例示する図である。
【発明を実施するための形態】
【0021】
以下、本発明による一実施例の画像分類装置を説明する。
【0022】
〔装置構成〕
図1は、本発明による一実施例の画像分類装置の構成を示すブロック図である。本実施例の画像分類装置1は、画像gを入力して、正規化情報αを用いて分類処理を施し、分類結果cを出力する装置であり、制御部2と記憶部3とを備え、制御部2は、スペクトル演算部10と、パラメータ化処理部20と、分類処理部30とを備える。また、画像gは、或る画像の一部分を切り出した部分画像であっても構わないし、画像全体であっても構わない。尚、詳細に後述するが、正規化情報αは、例えば、正規化対象のデータの絶対値の平均値と標準偏差とによって予め与えられるオフセットと倍率の情報である。
【0023】
また、画像分類装置1をコンピュータとして構成させることができる。コンピュータに、制御部2の機能を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部3に記憶される。そのような記憶部3は、外付けハードディスクなどの外部記憶装置、或いはROM又はRAMなどの内部記憶装置で実現することができる。制御部2は、中央演算処理装置(CPU)などの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部3から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
【0024】
スペクトル演算部10は、入力される画像gをスペクトルsのデータに変換し、スペクトルsのデータをパラメータ化処理部20に送出する。
【0025】
より具体的には、図2に示すように、スペクトル演算部10は、画像分割部101と、スペクトル変換部102とを備える。画像分割部101は、入力される画像gを標本化する所定の領域に画像分割し、画像分割した各領域の画像(以下、「領域画像」と称する)をスペクトル変換部102に送出する。スペクトル変換部102は、各領域画像をスペクトルsのデータに変換してパラメータ化処理部20に送出する。
【0026】
パラメータ化処理部20は、スペクトルsのデータを入力して所定の正規化情報αに基づき正規化処理を施し、この正規化処理で得られる正規化データに対して回帰演算を実行し、得られた回帰パラメータをパラメータrとして生成して分類処理部30に送出する。
【0027】
より具体的には、図3に示すように、パラメータ化処理部20は、次元圧縮処理部201と、正規化処理部202と、パラメータ抽出部203とを備える。尚、次元圧縮処理部201と、正規化処理部202と、パラメータ抽出部203との順序は任意である。また、次元圧縮処理部201は、必要に応じて設ければよい。以下の例では、パラメータ化処理部20が、次元圧縮処理部201、正規化処理部202、及びパラメータ抽出部203の順で縦続接続される場合を説明する。
【0028】
次元圧縮処理部201は、入力されるスペクトルsのデータに対して次元圧縮を施し、次元圧縮データhとして正規化処理部202に出力する。正規化処理部202は、所定の正規化情報α(後述する正規化パラメータμ,σで規定される)に基づき、スペクトルsのデータを次元圧縮した次元圧縮データhに対して、偏差値評価に相当する正規化処理を実行し、正規化データNに変換してパラメータ抽出部203に送出する。パラメータ抽出部203は、正規化データNについて、2次元以上の多次元空間上の点列として配置し、配置した点群について回帰演算を実行して回帰パラメータを算出し、この回帰パラメータをパラメータr(例えば、2次元空間であれば直線回帰を実行して2つの回帰パラメータa,bを得ることができる)として分類処理部30に送出する。
【0029】
分類処理部30は、パラメータrを構成する各成分(2次元空間であれば、回帰パラメータa,b)で表す空間について予め分割した複数の部分領域にて、パラメータrが、いずれの部分領域に所属するかを判定することにより、画像分類装置1に入力される画像gの各領域画像を分類し、分類結果cを生成する。分類結果cは、入力画像の属する分類を表す識別子である。例えば、分類結果cは、整数値で表される。生成した分類結果cは、外部装置(図示せず)に送出するように構成してもよいし、記憶部3に格納するように構成してもよい。
【0030】
次に、本発明による一実施例の画像分類装置1の動作をより詳細に説明する。
【0031】
〔装置動作〕
まず、本実施例の画像分類装置1は、画像gを入力して分類処理を施すにあたり、画像gを標本化するために、画像分割部101によって所定の領域画像に画像分割する。例えば、図4(A)に示すように、画像gが1つの画像フレームの場合、例えば12分割(B乃至B12)でブロック分割して複数の領域画像を生成する。また、例えば、図4(B)に示すように、画像gが連続する画像フレームの場合、例えば12分割(B乃至B12)でフレーム分割して複数の領域画像を生成する。また、例えば、図4(C)に示すように、画像gが連続する画像フレームの場合、各画像フレームを2次元の格子によって空間分割して、任意に選定した各画像フレームにおける空間分割領域について、例えば計12分割(B乃至B12)でブロック・フレーム分割して複数の領域画像を生成する。さらに、例えば、図4(D)に示すように、画像gが1つの画像フレームの場合、例えば、重複するブロックにより12分割(B乃至B12)でブロック分割して複数の領域画像を生成する。また、例えば、図4(E)に示すように、画像gが連続する画像フレームの場合、各画像フレーム内に複数の重複するブロックを設定して、任意に選定した各画像フレームにおけるブロック領域について、例えば計12分割(B乃至B12)でブロック・フレーム分割して複数の領域画像を生成する。
【0032】
以下の説明では、以下では、ベクトルpの第q成分をp(q)の形式で表記する。また、画像gが1つの画像フレームの場合、例えば12分割(B乃至B12)でブロック分割して複数の領域画像を生成する例を説明する。尚、画像gの形状及び標本点の配置は任意であるが、例えば、画像gの形状を長方形とし、該長方形の各辺に平行な2次元の格子によって標本化することができる。例えば、この2次元の格子は、等間隔とし、例えば2次元の格子の標本化間隔は、両軸ともに等しい間隔とすることができる。以下では、画像gを水平X画素、垂直Y画素の長方形とし、水平方向の標本化間隔をSx、垂直方向の標本化間隔をSyとおく。また、画像座標(x,y)(ここに、水平座標をx、垂直座標をyとする)における画像gの画素値をg(x,y)と表記する。尚、画像gはモノクロームの階調画像を例に説明するが、画像gは、複数の原色や波長で撮像されたカラー画像に任意の色変換マトリクスを適用して変換した階調画像としてもよい。
【0033】
図5は、本実施例の画像分類装置1の動作説明図である。図5(A)に示すように、画像分類装置1は、画像分割部101によって、画像gを標本化するために、画像分割部101によって所定の領域画像(B乃至B12)に画像分割する。
【0034】
次に、画像分類装置1は、スペクトル変換部102によって、各領域画像(B乃至B12)に対してスペクトル変換を施し、2次元スペクトルs(u,v)を得る。ここに、uは、水平方向の空間周波数を、vは垂直方向の空間周波数を、それぞれ表す。
【0035】
2次元スペクトルs(u,v)は、空間周波数平面において有限の標本点数(W個、Wは自然数)で標本化されたものである。例えば、図5(B)に示すように、各領域画像(B乃至B12)に対応する標本化された2次元スペクトルは、それぞれs乃至s12と表す。標本化された2次元スペクトルを1次元的に展開して、説明の便宜のために“T”で表し、その第w成分(wは、1以上W以下の整数)をT(w)と表してもよい。尚、離散化された2次元スペクトルT(w)と、離散化された水平空間周波数u(uは、0以上U−1以下の整数。Uは自然数)と、離散化された垂直空間周波数v(vは、0以上V−1以下の整数、Vは自然数)とは、成分を行列上に扱うか、ベクトル上に扱うかの表記状の違いであって、含まれる情報は等しい。
【0036】
スペクトル変換部102において実行する変換としては、実フーリエ変換、複素フーリエ変換、コサイン変換、サイン変換、アダマール変換、ウォルシュ変換など、入力信号を周波数に関連する領域に写像し得るものであれば任意の変換を用いることができる。以下の説明では、複素フーリエ変換を用いる。
【0037】
さらに、スペクトル変換部102において実行する変換のアルゴリズムも任意のものでよい。例えば、画像gの各辺の長さがいずれも2の冪乗である場合には、Cooley−Tukey型の高速フーリエ変換(FFT:Fast Fourier Transform)アルゴリズムを用いることができる。
【0038】
次に、画像分類装置1は、パラメータ化処理部20によって、入力された2次元スペクトルT(w)(又は、s(u,v))を、D次元(Dは自然数)のパラメータrに変換する。パラメータrのd次元(dは1以上D以下の整数)の成分の値をr(d)と表す。
【0039】
前述したように、パラメータ化処理部20は、入力されたデータの次元を下げ、次元圧縮データとして出力する次元圧縮処理部201を有するものとしてもよい。本例では、次元圧縮処理部201の圧縮対象の信号は入力された2次元スペクトルT(w)(又は、s(u,v))であり、次元圧縮の結果を次元圧縮データh(hは、H次元)として出力する。
【0040】
例えば、次元圧縮処理部201における変換処理として、H行W列の行列Aによる線形変換h=ATを用いることができる。
【0041】
このとき、行列Aは、例えば、予め様々な入力画像gの2次元スペクトルTに対し、カルーネン・レーベ変換(即ち、主成分分析)を行い、得られた基底ベクトル(行ベクトルとする)を、固有値の大きい順にH個だけ列方向に配置したものを用いることができる。
【0042】
また、例えば、次元圧縮処理部201における変換処理として、入力された2次元スペクトルT(w)(又は、s(u,v))に対する非線形演算により次元を圧縮し、次元圧縮データhを得るものとしてもよい。例えば、次元圧縮処理部201は、入力された2次元スペクトルsから周波数に関する1次元ヒストグラムを生成し、この1次元ヒストグラムから離散化した値に変換して次元圧縮データh(k)(kは、0≦k≦Kなる整数。Kは0以上の整数。)を求め、出力する。ここに、kは、2次元空間周波数を1次元周波数に変換し、その変換結果ωを離散化したものである。2次元空間周波数(u,v)から1次元周波数ωへの変換と、この1次元周波数ωを離散化した1次元周波数kへの変換は、例えば式(1)により求められる。
【0043】
【数1】

【0044】
尚、式(1)は、水平空間周波数uと、垂直空間周波数vとが、標本化前の像の大きさ(撮像面上での物理的長さ)に対して同一の尺度で表現されていることを前提としている。即ち、式(1)は、例えば、水平及び垂直方向の尺度が一致するようスケーリングが行われている場合を前提としている。例えば、次元圧縮処理部201は、図5(B)に示す各2次元スペクトル(s(u,v)乃至s12(u,v))を、図5(C)に示すように1次元周波数(h(k)乃至h12(k))に変換する。
【0045】
水平空間周波数uと、垂直空間周波数vとが、画素数の逆数単位で表現され、且つ水平方向の標本化間隔Sと、垂直方向の標本化間隔Sとが異なる値である場合には、式(1)の代わりに式(2)を用いることができる。
【0046】
【数2】

【0047】
1次元周波数ωから離散化された1次元周波数kへの変換方法は、任意の量子化ステップにより量子化を行うことで実現できる。例えば、等間隔Ωの量子化ステップで量子化を行う。量子化の際の端数の丸め方法は任意である。
【0048】
例えば、量子化ステップを等間隔Ωとし、周波数ωを原点にとり、少数点以下切り捨てによる量子化を行う場合には、式(3)により離散化された1次元周波数kが求められる。尚、式(3)では、少数点以下切り下げや、四捨五入によるものなど、任意の少数点以下の丸め方法によることができる。
【0049】
【数3】

【0050】
次元圧縮処理部201は、離散化された1次元周波数kごとに、各1次元周波数kに対応する2次元空間周波数のスペクトルの絶対値を積分し、その結果を次元圧縮データh(k)とする。以上の動作(式(1)の代わりに式(2)を用いる場合)をまとめると、次元圧縮処理部201は、式(4)の演算を行う。
【0051】
【数4】

【0052】
スペクトルs(u,v)が空間周波数(u,v)に関して離散化(標本化)されている場合には、次元圧縮処理部201は、式(4)の代わりに式(5)の演算を行う。
【0053】
【数5】

【0054】
次に、画像分類装置1は、正規化処理部202によって、正規化対象データ(本例では、次元圧縮データh(k))を、正規化情報αにより正規化し、正規化データNとして出力する。
【0055】
正規化情報αは、例えば、正規化対象データ(ここでは、次元圧縮データh)の各成分に対するスペクトルの絶対値の平均値μ(k)と、標準偏差σ(k)とによって予め与えられるオフセットと倍率の情報で構成される。
【0056】
例えば、正規化対象データの各成分(例えば次元圧縮データhの各成分)に関するオフセットと倍率の情報を、予め学習用に用意した「様々な入力画像、又は、ある画像内に設定した複数のブロック」におけるアンサンブル(集合)としての統計量から定める。例えば、正規化情報αを、正規化対象データの成分ごとの集合平均μ及びその標準偏差σにより表すことができる。
【0057】
正規化情報αが、第k成分の平均μ(k)、及び標準偏差σ(k)で与えられるとき、正規化データNは、式(6)により得られる。
【0058】
【数6】

【0059】
尚、正規化情報α(例えば、(μ,σ))は、予め定めた学習用画像を用いて学習して決定したものとすることができるほか、任意に定めたものとすることができ、記憶部3に格納しておくことができる。
【0060】
このようにして、画像分類装置1は、正規化処理部202によって、図5(C)に示す1次元周波数(h乃至h12)を、図5(D)に示すように正規化データ(N乃至N12)に変換する。
【0061】
次に、画像分類装置1は、パラメータ抽出部203によって、例えば、正規化データNの各成分N(k)を所定の規則でE次元空間(Eは2以上の自然数)上の点列として配置し、これらの点群について超曲面(以下、「超曲面」というときは、超平面、平面、又は直線を含むものとする)で回帰演算を実行することにより、回帰パラメータを求め、この回帰パラメータをパラメータrとして出力する。
【0062】
例えば、E=2のときに正規化データNを2次元空間上に配置する方法として、2次元空間上の点列を式(7)のように配置することができる。
【0063】
【数7】

【0064】
ここに、ζ(k)は、N(k)を配置すべき、2次元空間の第1軸座標を与える関数である。例えば、式(8)のように決定する。
【0065】
【数8】

【0066】
また、例えば、E=3のときに正規化データNを3次元空間上に配置する方法として、2次元空間上の点列を式(9)のように配置することができる。
【0067】
【数9】

【0068】
ここに、ζ(k)(m=1,2)は、N(k)を配置すべき、3次元空間の第m軸座標を与える関数である。例えば、式(10)のように決定することで、第1軸方向にF個(Fは自然数)の標本点を有する平面上のラスタ走査となる。
【0069】
【数10】

【0070】
さらに、一般的に、例えば、正規化データNをE次元空間上に配置する方法として、E次元空間上の点列を式(11)のように配置することができる。
【0071】
【数11】

【0072】
ここに、ζ(k)(m=1,2,・・・,E−1)は、N(k)を配置すべき、E次元空間の第m軸座標を与える関数である。例えば、式(12)のように決定することで、第m軸(m=1,2,・・・,E−2)方向にF個(Fは自然数)の標本点を有する超曲面上のラスタ走査となる。
【0073】
【数12】

【0074】
画像分類装置1は、パラメータ抽出部203によって、例えばE=2として直線回帰を実行する場合には、パラメータrとして、例えば、式(13)に示すような、直線の傾きaと縦軸の切片bからなるベクトルを用いる。
【0075】
【数13】

【0076】
直線回帰は、式(14)により演算することができる。
【0077】
【数14】

【0078】
このようにして、画像分類装置1は、パラメータ抽出部203によって、図5(E)に示すように各正規化データ(N乃至N12)を構成する成分群(例えば、ブロックβにおいては、Nβ(0)乃至Nβ(3))に対してそれぞれ回帰演算を実行して、それぞれをパラメータr(E=2として直線回帰を実行する場合には、パラメータrとして、直線の傾きaと縦軸の切片bからなるベクトルとなる)に変換する。図5(E)の例では、ブロックβに対してE=2とした直線回帰を実行し、その結果、直線の傾きaβと縦軸の切片bβとからなるパラメータを得ている。
【0079】
また、パラメータ抽出部203における回帰演算において、正規化データN(k) (k=0,1,…,K−1)のうち、予め定めるインデックスkのみの正規化データを用いて回帰を行っても構わない。例えば、パラメータ抽出部203は、Q⊆{0,1,…,K−1}なるインデックスの部分集合Qに対し、回帰演算を行ってもよい。この場合、パラメータ抽出部203は、例えば、式(14)の回帰演算の代わりに、次の式(15)の演算を行う。
【0080】
【数15】

【0081】
インデックスの部分集合Qとしては、例えば、Q={1,2,…,K−1}のように直流成分0を除いたインデックスの集合を用いることができる。
【0082】
次に、画像分類装置1は、分類処理部30によって、パラメータrを構成する全成分(前述の直線回帰にあっては、成分a及び成分b)で定まる空間(パラメータ空間)をC個(Cは自然数。好ましくは2以上)の部分集合{Dc=0,1,・・・,C−1に分割(各部分領域は互いに重ならず、且つ、全部分領域の和集合は、このパラメータ空間全体となるものとする)しておき、式(16)を用いて評価することによって、パラメータrに対する分類結果c(r)を得る。
【0083】
【数16】

【0084】
例えば、直線回帰による場合に、図6に示すような部分領域群{D}を用いることができる。尚、図6の部分領域の境界上の点は、いずれか一つの部分領域のみに属するように定義するものとする。
【0085】
例えば、画像分類装置1が、図7(A)に示すように、1フレーム画像内のブロックごとに分類処理を実行するにあたり、スペクトル演算部10によって例えば256画素四方の複素フーリエ変換を用い、次元圧縮処理部201によって所定の設定値(ω=1、Ω=1、K=63)で次元圧縮し、正規化処理部202によって正規化データに対して直線回帰を用いてパラメータr(成分a及び成分b)を求め、分類処理部30によって図6に示す部分領域群{D}を用いて分類処理を実行すると、図7(B)に示すように、テクスチャが平坦なブロックは、c=0、テクスチャが被写体らしいブロックはc=1、テクスチャが雑音らしいブロックはc=2として分類される。
【0086】
以上のように、本発明による一実施例の画像分類装置1は、スペクトル演算部10と、パラメータ化処理部20と、分類処理部30とを備えることにより、入力画像のスペクトルに対して、正規化情報に基づき正規化を行うため、他の画像や他の画像領域に対する入力画像の相対的な偏差を分類評価することができるようになり、入力画像に特有の特徴量を抽出可能となる。また、画像分類装置1は、パラメータ化処理部20によって、スペクトル、又はスペクトルに変換を施したデータをパラメータ表現することにより、画像が持つスペクトルの概略形を少ないデータ量で表現することができるようになる。このため、処理の高速化や、分類手段の設計・調整が容易に実現できるようになる。
【0087】
また、本発明による一実施例の画像分類装置1は、パラメータ化処理部20によって、回帰演算によりパラメータを算出することにより、スペクトル情報のパラメトリックな近似を平易な演算で実現することができるようになる。
【0088】
また、本発明による一実施例の画像分類装置1は、パラメータ化処理部20が、情報の次元を圧縮し、次元圧縮データとして出力する次元圧縮処理部201を備えることにより、入力情報の中に含まれる主要な情報だけを抽出することができ、入力情報に含まれ得る雑音など主要でない信号成分を例えば主成分分析法によって取り除くことや、入力情報の有する幾何学的な性質(等方性など)を強調するような情報の統合化を行うことができるようになる。
【0089】
また、本発明による一実施例の画像分類装置1は、正規化情報αが、スペクトル(又はスペクトルの次元圧縮データ)の成分ごとのオフセット及び/又は成分ごとの倍率の情報によって与えられるため、偏差値評価に相当する正規化が実行され、スペクトルの偏りの直感的理解が可能となる。
【0090】
また、本発明による一実施例の画像分類装置1は、正規化情報αが、予め学習用に用意した複数画像集合の統計量、例えば「様々な入力画像、又は、ある画像内に設定した複数のブロック」におけるアンサンブル(集合)の統計量として得られるスペクトル(又はスペクトルの次元圧縮データ)の第k成分の平均μ(k)、及び標準偏差σ(k)で与えられるとき、パラメータ化処理部20によって、正規化処理として、この平均μ(k)を、スペクトル(又はスペクトルの次元圧縮データ)の各成分に対するオフセットに用いることにより、複数画像の平均を基準に、スペクトルが、それぞれどちらにずれているかを定量化することができるようになるため、画像間の相対評価が可能となる。
【0091】
また、本発明による一実施例の画像分類装置1は、正規化情報αが、予め学習用に用意した複数画像集合の統計量、例えば「様々な入力画像、又は、ある画像内に設定した複数のブロック」におけるアンサンブル(集合)の統計量として得られるスペクトル(又はスペクトルの次元圧縮データ)の第k成分の平均μ(k)、及び標準偏差σ(k)で与えられるとき、パラメータ化処理部20によって、正規化処理として、標準偏差σ(k)の情報を、スペクトル(又はスペクトルの次元圧縮データ)の各成分に対する倍率に用いることにより、複数画像での標準画像での標準偏差を基準に、スペクトルがどの程度ずれているかを定量化することができるため、画像間での正規化されたスケールでの分類評価が可能となる。
【0092】
また、本発明による一実施例の画像分類装置1は、パラメータ抽出部203による回帰演算として直線回帰とすることにより、処理負担を軽減させ、高速に直線を規定する2つのパラメータが得られるとともに、分類処理も高速化する。
【0093】
また、本発明による一実施例の画像分類装置1は、分類処理部30が、パラメータrを構成する各成分(2次元空間であれば、回帰パラメータa,b)で表す空間を予め分割した複数の部分領域にて、パラメータrが、いずれの部分領域に所属するかを判定して分類することにより、簡単に画像の分類結果を得ることができるようなる。
【0094】
尚、本例に挙げた各パラメータの具体的な数値(例えば、ω=1、Ω=1、K=63、部分領域Dの形状、フーリエ変換の大きさや窓関数など)は、いずれも一例であり、その他の数値や形状の関数を用いることは当然あり得る。従って、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。
【産業上の利用可能性】
【0095】
本発明に係る画像分類装置は、画像の空間周波数の特徴に基づき、画像を分類する。このため、空間周波数により画質が左右される画像符号化や標本化においてパラメータを制御するための画像認識系処理を要する用途に有用である。また、スペクトルの演算に、例えば離散コサイン変換(DCT:Discrete Cosine Transform)係数を用いれば、例えばJPEG方式で符号化された画像を、DCTブロックごとに高速に画像分類を行うことが可能である。
【符号の説明】
【0096】
1 画像分類装置
2 制御部
3 記憶部
10 スペクトル演算部
20 パラメータ化処理部
30 分類処理部
101 画像分割部
102 スペクトル変換部
201 次元圧縮処理部
202 正規化処理部
203 パラメータ抽出部

【特許請求の範囲】
【請求項1】
画像の空間周波数スペクトルに基づいて画像を分類する画像分類装置であって、
入力される画像をスペクトルのデータに変換するスペクトル演算部と、
所定の正規化情報に基づいて前記スペクトルのデータに対して正規化処理を施し、正規化処理で得られる正規化データに対して回帰演算を実行して回帰パラメータを抽出するパラメータ化処理部と、
前記回帰パラメータを構成する各成分で表す空間について予め分割した複数の部分領域にて、前記正規化パラメータがいずれの部分領域に所属するかを判定し、前記入力される画像を分類する分類処理部と、
を備えることを特徴とする画像分類装置。
【請求項2】
前記パラメータ化処理部は、
前記スペクトルのデータに対して正規化処理を施して得られる正規化データについて、2次元以上の多次元空間上の点列として配置し、配置した点群について回帰演算を実行して回帰パラメータを算出するパラメータ抽出部を備えることを特徴とする、請求項1に記載の画像分類装置。
【請求項3】
前記パラメータ化処理部は、
前記スペクトルのデータに対して次元圧縮を施す次元圧縮処理部を備えることを特徴とする、請求項1又は2に記載の画像分類装置。
【請求項4】
前記正規化情報は、前記スペクトルのデータの成分ごとのオフセット及び/又は成分ごとの倍率の情報によって与えられることを特徴とする、請求項1〜3のいずれか一項に記載の画像分類装置。
【請求項5】
前記正規化情報が、予め学習用に用意した複数画像集合の統計量として得られるスペクトルのデータの各成分の平均値及び標準偏差で与えられるとき、
前記パラメータ化処理部は、
前記正規化処理として、前記平均値を、前記スペクトルのデータの各成分に対するオフセットに用いることを特徴とする、請求項1〜4のいずれか一項に記載の画像分類装置。
【請求項6】
前記正規化情報が、予め学習用に用意した複数画像集合の統計量として得られるスペクトルのデータの各成分の平均値及び標準偏差で与えられるとき、
前記パラメータ化処理部は、
前記正規化処理として、前記標準偏差を、前記スペクトルのデータの各成分に対する倍率に用いることを特徴とする、請求項1〜5のいずれか一項に記載の画像分類装置。
【請求項7】
前記回帰演算は、直線回帰によることを特徴とする、請求項1〜6のいずれか一項に記載の画像分類装置。
【請求項8】
画像の空間周波数スペクトルに基づいて画像を分類する画像分類装置として構成するコンピュータに、
入力される画像をスペクトルのデータに変換するステップと、
所定の正規化情報に基づいて前記スペクトルのデータに対して正規化処理を施し、正規化処理で得られる正規化データに対して回帰演算を実行して回帰パラメータを抽出するステップと、
前記回帰パラメータを構成する各成分で表す空間について予め分割した複数の部分領域にて、前記正規化パラメータがいずれの部分領域に所属するかを判定し、前記入力される画像を分類するステップと、
を実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−227772(P2011−227772A)
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願番号】特願2010−98112(P2010−98112)
【出願日】平成22年4月21日(2010.4.21)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】