説明

画像パターン識別装置

【課題】誤識別が起こり得る類似クラスに対してのみピンポイントで適用可能な画像パターン識別装置を提供する。
【解決手段】画像パターン識別装置は、入力部分空間生成部10と辞書部分空間生成部20と類似クラス選別部30と入力差分部分空間生成部40と特徴量生成部50と辞書差分部分空間生成部60と類似度演算部70と出力部80とを具備する。入力差分部分空間生成部40は、入力差分部分空間Y,Yをそれぞれ生成する。特徴量生成部50は、特徴量Yci,Ycjをそれぞれ生成する。辞書差分部分空間生成部60は、辞書差分部分空間DPiPjを生成する。類似度演算部70は、各入力差分部分空間の特徴量Yci,Ycjと、辞書差分部分空間DPiPjとの相違度GPiPjPi(X),GPiPjPj(X)を、相互部分空間法によりそれぞれ演算する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像パターン識別装置に関し、特に、入力される画像パターンを複数の辞書パターンを用いて識別する画像パターン識別装置に関する。
【背景技術】
【0002】
入力される画像パターンを識別する手法として、これまでも種々のものが研究開発されている。例えば、特許文献1に開示のものは、所謂相互部分空間法(MSM)といわれているものである。相互部分空間法においては、各クラスのパターン分布に対して、KL展開(Karhunen−Loeve展開)を適用して、それぞれを部分空間で表すものである。KL展開とは、線形空間における特徴ベクトル分布を最も良く近似する部分空間を求める手法であり、数学的には主成分分析と等価である。相互部分空間法におけるパターン分布の識別においては、識別対象である入力される画像パターン分布を表す入力部分空間と、各クラスの部分空間(以下、辞書部分空間と称する。)とのなす正準角を求め、正準角が最小となる辞書部分空間に対応するクラスに属すると判定する。例えば、手の画像を用いて手形状を「グー」、「チョキ」、「パー」の3つのクラスに識別する場合、まず3つの手形状ごとに手を回転させたり動かしたりしながら学習パターンを収集し、それらから各クラスの辞書部分空間を用意しておく。識別においては、ある一定時間に入力されたパターンから入力部分空間を生成し、3つの辞書部分空間とのなす正準角を求め、最も小さい正準角を有する辞書部分空間のクラスに属する手形状であると分類する。
【0003】
この相互部分空間法は、文字認識の分野で多用されている部分空間法(例えば非特許文献1に記載)の拡張である。入力ベクトル、つまり、1次元部分空間と辞書部分空間のなす角度に基づいて識別する部分空間法に対して、相互部分空間法では、入力パターン分布と辞書パターン分布の両方を部分空間で表すために、部分空間法に比べてパターン変形に対する吸収能力が優れている。しかしながら、各クラスの辞書部分空間は、各クラスのパターン分布を表すという観点では最適な空間となっているが、他のクラスとの関係を考慮して生成していないため、高い識別結果を得るための最適な空間には必ずしもなっていなかった。
【0004】
このような課題を解決した相互部分空間法の拡張法として、制約相互部分空間法(CMSM)や直交相互部分空間法(OMSM)が知られている(例えば特許文献2)。制約相互部分空間法は、共通部分空間を取り除き、識別に有効な特徴抽出を行うために制約部分空間と呼ばれる特徴空間へ射影を行うものである。この特徴抽出により、辞書部分空間同士のなす角を広げることで識別率を高めたものである。また、直交相互部分空間法は、全辞書部分空間を張る基底ベクトルに直交化変換を施し、基底ベクトルを明示的に直交化するものである。
【0005】
一方、類似パターンを高精度に識別したいという要望に応えるものとして、混合類似度法が提案されている(非特許文献2)。これは、例えば文字認識における「大」、「犬」、「太」といった、全体構造がきわめて類似しており、その違いが局所部位のみに現れる特定パターンセット同士を高精度に識別可能なものである。混合類似度法では、誤識別を生じやすい類似パターンとの差分成分(差分ベクトル)に注目している。即ち、未知パターンとの差分ベクトルに、類似パターンとの差分ベクトル成分がどの程度含まれているかを求め、これを補正項として全体の類似度から差し引くことで、識別結果としている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平11−265452号公報
【特許文献2】特開2005−35300号公報
【非特許文献】
【0007】
【非特許文献1】石井健一郎ら著「わかりやすいパターン認識」オーム社、1998年8月
【非特許文献2】飯島泰蔵著「パターン認識理論」森北出版、1989年
【発明の概要】
【発明が解決しようとする課題】
【0008】
これらの相互部分空間法の拡張法には、以下のような課題があった。即ち、まず、識別クラス(辞書部分空間)が追加された場合には、すべてのクラスに対して直交化の再設計が必要となっていた。また、全体クラスを同時に最適化していたため、識別の観点からは最良の手法にはなっていなかった。さらに、全体クラスを同時に最適化するのは、計算量の観点からも非効率であり好ましいものではなかった。
【0009】
また、混合類似度法については、文字認識等の静止画のパターン識別には適用可能であったが、動画像のような複数入力される画像パターンの識別には用いることができなかった。
【0010】
本発明は、斯かる実情に鑑み、誤識別が起こり得る類似クラスに対してのみピンポイントで適用可能な画像パターン識別装置を提供しようとするものである。
【課題を解決するための手段】
【0011】
上述した本発明の目的を達成するために、本発明による画像パターン識別装置は、入力される画像パターンに対してKL展開(主成分分析)を行い、入力部分空間Xを生成する入力部分空間生成部と、複数の辞書パターンに対してそれぞれKL展開(主成分分析)を行い、辞書部分空間Pを生成する辞書部分空間生成部と、入力部分空間Xに類似する辞書部分空間Pが少なくとも2つある場合に、その2つの辞書部分空間P,Pを出力する類似クラス選別部と、辞書部分空間P,Pと、入力部分空間生成部による入力部分空間Xとの差分である入力差分部分空間Y,Yをそれぞれ生成する入力差分部分空間生成部と、入力差分部分空間Y,Yを、辞書部分空間P,Pの直交補空間にそれぞれ射影し、特徴量Yci,Ycjをそれぞれ生成する特徴量生成部と、辞書部分空間P,Pの差分である辞書差分部分空間DPiPjを生成する辞書差分部分空間生成部と、各入力差分部分空間の特徴量Yci,Ycjと、辞書差分部分空間DPiPjとの相違度GPiPjPi(X),GPiPjPj(X)を、相互部分空間法によりそれぞれ演算する類似度演算部と、相違度GPiPjPi(X),GPiPjPj(X)の小さいほうに対応する辞書パターンのクラスを識別結果として出力する出力部と、を具備するものである。
【0012】
ここで、類似クラス選別部は、入力部分空間Xに類似する辞書パターンが3つ以上ある場合に、2つずつ辞書パターンのペアについてそれぞれ選別し、類似度演算部は、各ペアについて相違度GPiPjPi(X),GPiPjPj(X)を演算し、出力部は、相違度GPiPjPi(X),GPiPjPj(X)の大きいほうを否定し、一度も否定されないものに対応する辞書パターンのクラスを識別結果として出力しても良い。
【0013】
さらに、入力部分空間Xと辞書部分空間P,Pとの類似度SMSMPi(X),SMSMPj(X)を、相互部分空間法によりそれぞれ演算し、類似度SMSMPi(X),SMSMPj(X)と、相違度GPiPjPi(X),GPiPjPj(X)との差分に基づく類似度SCPMSMPi(X),SCPMSMPj(X)を演算する第2類似度演算部を具備し、出力部は、類似度SCPMSMPi(X),SCPMSMPj(X)の大きいほうに対応する辞書パターンのクラスを識別結果として出力しても良い。
【0014】
また、類似クラス選別部は、入力部分空間Xに類似する辞書パターンが3つ以上ある場合に、2つずつ辞書パターンのペアについてそれぞれ選別し、第2類似度演算部は、各ペアについて類似度SCPMSMPi(X),SCPMSMPj(X)を演算し、出力部は、類似度SCPMSMPi(X),SCPMSMPj(X)の小さいほうを否定し、一度も否定されないものに対応する辞書パターンのクラスを識別結果として出力しても良い。
【0015】
また、類似クラス選別部は、相互部分空間法又は制約相互部分空間法により、入力部分空間Xに対して類似度が近接する辞書部分空間を抽出しても良い。
【発明の効果】
【0016】
本発明の画像パターン識別装置には、誤識別が起こり得る類似クラスに対してのみピンポイントで適用可能であり、計算量が少ないにも関わらず識別率が高いという利点がある。
【図面の簡単な説明】
【0017】
【図1】図1は、本発明の画像パターン識別装置の構成を説明するための概略ブロック図である。
【図2】図2は、類似クラス選別部の一例を説明するためのブロック図である。
【図3】図3は、差分部分空間を説明するための概念図である。
【図4】図4は、本発明の画像パターン識別装置の各部分空間の処理の流れを説明するための図である。
【発明を実施するための形態】
【0018】
以下、本発明を実施するための形態を図示例と共に説明する。図1は、本発明の画像パターン識別装置の構成を説明するための概略ブロック図である。図示の通り、本発明の画像パターン識別装置は、入力部分空間生成部10と、辞書部分空間生成部20と、類似クラス選別部30と、入力差分部分空間生成部40と、特徴量生成部50と、辞書差分部分空間生成部60と、類似度演算部70と、出力部80とから主に構成されている。
【0019】
入力部分空間生成部10は、入力される画像パターンに対してKL展開(主成分分析)を行い、入力部分空間Xを生成する。KL展開(主成分分析)は、入力される画像パターンの分布を部分空間で近似するものである。ここで、入力される画像パターンは例えば動画像等の複数の画像であり、具体的には、例えば顔認識を行う場合の顔撮影用カメラにより撮影された連続画像である。
【0020】
辞書部分空間生成部20は、複数の辞書パターンに対してそれぞれKL展開(主成分分析)を行い、辞書部分空間Pを生成する。なお、nは識別されるクラス数である。ここで、クラスとは、識別対象が手形状画像であれば、「グー」、「チョキ」、「パー」というようなものであり、顔画像であれば、人物名等である。辞書部分空間生成部20も、入力部分空間生成部10と同様に、入力される辞書パターンの分布を部分空間で近似するものである。なお、辞書部分空間生成部20では、複数の識別クラスの辞書パターンのすべてについて予め辞書部分空間Pを生成しても良いし、必要なときに必要な辞書パターンに対して辞書部分空間Pを生成するようにしても良い。
【0021】
類似クラス選別部30は、入力部分空間Xに類似する辞書部分空間Pが少なくとも2つある場合に、その2つの辞書部分空間P,Pを出力する。ここでは、入力部分空間Xに対して、辞書部分空間Pから類似する辞書部分空間を2つ出力すれば良い。本発明の画像パターン識別装置では、類似クラス選別部30については、入力部分空間Xに対して類似する2つの辞書部分空間を出力するための機能さえ有していれば良い。本発明の画像パターン識別装置は、入力部分空間Xに対して類似するパターンが2つ以上存在するとき、即ち、誤識別が起こり得る場合に、より効果を奏するものであり、類似するパターンが1つしかない場合、即ち、誤識別が起こらない場合には、以下に説明する本発明の識別は行う必要がない。類似クラス選別部30における第1段階での識別である類似クラスの抽出については、後述のように、例えば相互部分空間法や制約相互部分空間法等の従来の又は今後開発されるべきあらゆる類似度演算手法を用いて行われれば良い。このように、類似クラス選別部30では、このような第1段階の識別の結果、入力に対して類似するパターンが2つある場合に、これらを出力する。なお、1つしか類似する辞書部分空間が無い場合には、その辞書部分空間が属するクラスが識別結果となる。さらに、1つも類似する辞書部分空間がない場合には、識別クラス無しという識別結果となる。
【0022】
換言すると、本発明の画像パターン識別装置は、類似した識別クラスのペアに対して識別を行い、正しい識別結果を出力するものであるため、識別対象となるクラス数が増えると、識別を行う組み合わせが増加してしまうため、効率的ではなくなってしまう。実際の識別に当たっては、すべてのクラスが互いに類似しているわけではないため、誤識別が起こり得る組み合わせは限られている。本発明の画像パターン識別装置は、このような誤識別が起こりやすい類似したクラスのペアに対して高精度な識別を行うことが可能な装置であるため、すべてのクラスに対して本発明を適用する必要はない。そこで、類似クラス選別部30においては、例えば別の手法で類似したクラスを抽出し、抽出された少数のクラスに対してピンポイントで適用すれば良い。
【0023】
図2に、類似クラス選別部の一例を説明するためのブロック図を示す。図中、図1と同一の符号を付した部分は同一物を表している。なお、図示例では、類似クラス選別部に第1段階での識別も含まれるように示しているが、本発明はこれに限定されず、識別自体は行わず、上述のように他の手法により抽出された2つの類似クラスを出力するものであれば良い。図示の通り、類似クラス選別部30は、例えば類似度計算部31と、類似クラス検出部32とから構成されている。類似度計算部31では、第1段階での識別として、例えば相互部分空間法(MSM)や制約相互部分空間法(CMSM)により、入力部分空間Xと辞書部分空間Pとの類似度を総当たりで求める。ここで、例えば相互部分分解法を用いた類似度をSMSMPn(X)と表す。そして、入力部分空間Xに類似する少なくとも2つの辞書部分空間P,Pを検出する。入力部分空間Xに類似するか否かは、類似度SMSMPn(X)の大きさで判断すれば良く、最も大きい2つの類似度SMSMPi(X),SMSMPj(X)の辞書部分空間P,Pを、類似クラスとして選別すれば良い。より具体的には、最も大きい類似度との差が所定の閾値よりも小さい場合、即ち、(最大類似度−類似度)<閾値、の場合に、類似クラスがあると判断し、それらのクラスに対して本発明を適用し、入力部分空間がどちらのクラスに属するのかを識別する。最大類似度との差が閾値以上離れている場合、即ち、(最大類似度−類似度)>閾値、の場合には、類似クラスは無いとして識別結果を出力部80から出力する。なお、ここでいう類似クラスが無いというのは、入力部分空間Xに類似する辞書部分空間が1つしかない場合と1つも無い場合に分けられる。1つしかない場合には、それに対応する辞書部分空間を識別結果として出力すれば良く、1つも無い場合には、識別クラス無しとして出力すれば良い。これについても、最大類似度が所定の閾値よりも小さい場合には、1つも類似する辞書部分空間が無いとすれば良い。
【0024】
ここで、相互部分空間法についてより詳細に説明する。相互部分空間法は、部分空間法の拡張である。これは、入力と辞書の2つの部分空間の成す最小角度に基づいて識別を行うものである。この最小角度を基準とした識別は、正準角の概念を用いて、以下のように一般化できる。f次元部分空間Lとf次元部分空間Lの間には、f個の正準角が定義可能である(便宜的にf>fと仮定する)。部分空間LとLを張る基底ベクトルを、それぞれui1,・・・uifi,uj1,・・・ujfjとすると、以下の行列Wのk番目に大きい固有値λが第k正準角に対するcosθとなる。
【数1】

【数2】

なお、数2は、Wのr行s列の要素を表したものである。
【0025】
そして、本明細書では、複数の正準角によって一般化された方法を示すものとして、相互部分空間法の類似度をn個の正準角を用いて以下のように定義する。
【数3】

【0026】
次に、入力差分部分空間生成部40は、類似クラス選別部30からの辞書部分空間P,Pと、入力部分空間生成部10による入力部分空間Xとの差分である入力差分部分空間Y,Yをそれぞれ生成する。即ち、入力部分空間Xに対して、辞書部分空間P,Pとの差分部分空間を計算する。このように、入力差分部分空間Y,Yは、2つの部分空間P,X、又はP,Xの差異をそれぞれ表す部分空間である。
【0027】
ここで、差分部分空間について説明する。差分部分空間は、2つのベクトルに対する差分ベクトルの多次元への拡張である。図3は、差分部分空間を説明するための概念図である。図示の通り、差分部分空間Dは、2つの部分空間LとLの差異を表す部分空間となっている。ここで、f次元部分空間Lとf次元部分空間Lとの間には、f個の正準角が定義できる(f>f)。ここで、k番目に小さい正準角θを形成する2つのベクトルvikとvjkに対してd=vik−vjkとすると、f個の差分ベクトルd,k=1,・・・,fが求まる。これらの長さが1になるように正規化したものを、dバー,k=1,・・・,fとする。差分部分空間Dは、正規直交基底ベクトルdバー,k=1,・・・,fで張られる空間である。
【0028】
そして、差分部分空間の計算においては、k番目の正準角θをなす2つのベクトルvik,vjkは、以下のように求められる。
【数4】

ここで、a[l]は、数1のk番目に大きい固有値に対応する固有ベクトルのl番目の成分を意味する。a'[l]は、uとuを入れ替えた数2のk番目に大きい固有値に対応する固有ベクトルのl番目の成分を意味する。uとuは、それぞれ部分空間LとLを張る基底ベクトルを意味する。
【0029】
以下、特徴量生成部50や辞書差分部分空間生成部60、類似度演算部70の処理の流れを、図4を用いて説明する。図4は、本発明の画像パターン識別装置の各部分空間の処理の流れを説明するための図である。
【0030】
まず、図4(a)に示されるように、特徴量生成部50は、入力部分空間Xと辞書部分空間P,Pの差分である入力差分部分空間Y,Yを、辞書部分空間P,Pの直交補空間にそれぞれ射影し、特徴量Yci,Ycjをそれぞれ生成する。なお、図示例では、辞書部分空間Pのみについて記載したが、Pについても同様である。
【0031】
より具体的には、入力差分部分空間Y,Yを張る基底ベクトルを、P,Pの補空間に射影する。そして、射影後のベクトルを、例えばグラムシュミットの直交化法等を用いて直交化する。直交化したベクトルで張る部分空間を、特徴量Yci,Ycjとする。補空間に射影することにより、入力差分部分空間Yに含まれる辞書部分空間Pの変動分を取り除くことになる。
【0032】
そして、図4(b)に示されるように、辞書差分部分空間生成部60は、辞書部分空間P,Pの差分である辞書差分部分空間DPiPjを生成する。ここでも、上述の入力差分部分空間生成部40での説明と同様に、辞書部分空間P,P同士の差分部分空間を計算する。辞書差分部分空間DPiPjは、2つの辞書部分空間P,Pの差異を表す部分空間である。なお、辞書差分部分空間に対しても、必要によりPの補空間に射影しても良い。
【0033】
図4(c)に示されるように、類似度演算部70は、各入力差分部分空間の特徴量Yci,Ycjと、辞書差分部分空間DPiPjとの相違度GPiPjPi(X),GPiPjPj(X)を、例えば相互部分空間法によりそれぞれ演算する。即ち、辞書差分部分空間DPiPjと、特徴量Yci,Ycjの正準角を、数1〜3の相互部分空間法と同様の手順でそれぞれ求める。得られた正準角を、数3の相互部分空間法の類似度を求める式に代入し、相違度GPiPjPi(X),GPiPjPj(X)を求める。なお、ここでいう相違度Gは、類似クラス間の差異を意味するものであり、この値が大きいほど差異が大きいという性質のものである。
【0034】
出力部80は、相違度GPiPjPi(X),GPiPjPj(X)の小さいほうに対応する辞書パターンのクラスを識別結果として出力する。即ち、出力部80では、相違度GPiPjPi(X),GPiPjPj(X)の値の大小を比較し、より小さいほう、即ち、クラス間の差異がより小さいほうに対応する辞書パターンのクラスを、識別結果として出力する。
【0035】
このように、本発明の画像パターン識別装置によれば、入力部分空間に類似する2つの辞書部分空間に対して、どちらのクラスに属するのかを、ピンポイントで正確且つ高速に識別することが可能である。なお、本発明の画像パターン識別装置に用いられる手法は、相互部分空間法に混合類似度法の考えを取りこみつつ、これらの手法を改良して成されたものであるため、混合相互部分空間法と呼んでも良い。
【0036】
次に、類似クラス選別部30において、入力部分空間Xに類似する辞書パターンが3つ以上ある場合について説明する。例えば入力部分空間Xに類似する辞書パターンが3つある場合、類似したクラスの部分空間の差分部分空間を計算に用いているため、単純に相違度が最小のクラスを識別結果とすることはできない。そこで、3つ以上の類似クラスがある場合には、以下のような識別を行う。まず、2つずつ辞書パターンのペアを抽出する。例えば、すべての組み合わせについて総当たりで1対のペアを作る。そして、各ペアについて、相違度GPiPjPi(X),GPiPjPj(X)を演算する。出力部80では、これらの結果に基づき、各ペアについて、相違度GPiPjPi(X),GPiPjPj(X)の大きいほうを否定し、一度も否定されなかった相違度に対応する辞書パターンを識別結果として出力する。例えば、辞書部分空間がP,P,Pの3つある場合、以下の表1に示されるように、3クラスから2クラスを選び出す3通りのパターンのペアができる。
【表1】

例えば入力される画像パターンの部分空間XがPに属するものである場合には、結果は上記のように判定される。結果の○×△を説明すると、○は相違度Gが小さいもの、×は相違度Gが大きいものである。即ち、PとPのペアでは、Pが否定されており、PとPのペアでは、Pが否定されているという意味である。また、△はどちらかの相違度Gが大きいものである。即ち、PとPのペアでは、どちらかが否定されるという意味であり、Pが○のときはPが×となり否定され、Pが○のときはPが×となり否定される。このように3通りの組み合わせで識別を行った結果、一度も否定されていないクラスはPということが分かる。なお、表1の組み合わせの順序で上から判定して行った場合には、2回目の相違度Gの演算の時点でPが一度も否定されないクラスであることが分かるため、3回目の相違度Gの演算は行わず、2回目の時点でPを抽出すれば良い。このような識別結果から、出力部80では、入力部分空間Xに対する識別結果として、辞書部分空間Pに対応する辞書パターンのクラスを出力する。
【0037】
次に、本発明の画像パターン識別装置の他の例について説明する。上述の本発明の画像パターン識別装置に対して、さらに、入力部分空間Xと辞書部分空間P,Pとの類似度SMSMPi(X),SMSMPj(X)を、例えば相互部分空間法によりそれぞれ演算するようにしても良い。そして、第2類似度演算部を用意し、第2類似度演算部では、類似度SMSMPi(X),SMSMPj(X)と上述の相違度GPiPjPi(X),GPiPjPj(X)との差分に基づく類似度SCPMSMPi(X),SCPMSMPj(X)を演算する。即ち、以下の数式に示される演算を行えば良い。
【数5】

但し、係数μは部分空間法の類似度に差異を反映させる度合いを示すパラメータ(0<μ≦1)である。
【0038】
そして、類似度SCPMSMPi(X),SCPMSMPj(X)の大きいほうに対応する辞書パターンのクラスを識別結果として出力部から出力すれば良い。即ち、差異の大きさを表すG項が小さいほど、類似度SCPMSMの値は大きくなるため、大きいものに対応する辞書パターンのクラスが識別結果となる。なお、入力部分空間Xと辞書部分空間P,Pとの類似度は、相互部分空間法ではなく、制約相互部分空間法や直交相互部分空間法を用いて演算しても良い。
【0039】
さらに、このような例であっても、上述の例と同様に、入力部分空間Xに類似する辞書パターンが3つ以上ある場合には、2つずつ辞書パターンのペアを抽出しても良い。例えば、すべての組み合わせについて総当たりで1対のペアを作る。そして、各ペアに付いて、第2類似度演算部では、各ペアについて、類似度SMSMPi(X),SMSMPj(X)と相違度GPiPjPi(X),GPiPjPj(X)との差分に基づく類似度SCPMSMPi(X),SCPMSMPj(X)を演算する。出力部では、これらの結果に基づき、各ペアについて、類似度SCPMSMPi(X),SCPMSMPj(X)の小さいほうを否定し、一度も否定されなかった類似度に対応する辞書パターンのクラスを識別結果として出力する。
【0040】
さて、このような手法を用いた本発明の画像パターン識別装置の有効性について、具体的な実験結果を以下に示す。以下では、本発明の画像パターン識別装置が、特定の類似パターン集合のペアに対して適用できることを利用して、まず従来法、即ち、相互部分空間法、制約相互部分空間法により、第1段階の識別を行う。これにより、類似パターン集合のペアを抽出する。次に、これらの抽出された類似パターン集合のペアに対して、本発明の画像パターン識別装置を用いて第2段階の識別を行う。評価は、このようにして構成された2段階識別における最終的な識別率と、従来法で誤識別され得るパターンがどの程度正しく識別できたかの率に基づいて行う。
【0041】
公開データベースであるVidTIMITを用いて評価を行った。このデータベースには、顔向きを変化させながら撮影した43人の顔画像が含まれている。日時を変えて合計3回撮影されたものである。このデータには様々な顔向きが含まれるが、今回の実験では比較的正面を向いている顔のみを、各日時で撮影されたデータからそれぞれ目視により90枚と180枚、合計270枚選択した。270枚のうち、180枚を学習データ、即ち、辞書パターンとして用い、残りの90枚をテストデータ、即ち、入力される画像パターンとして用いた。
【0042】
入力部分空間生成部において、90枚からランダムサンプリングした30枚のデータに対してKL展開を適用して10次元の入力部分空間が生成された。辞書部分空間生成部では、180枚からKL展開を適用して30次元の辞書部分空間が生成された。ここで、ランダムサンプリングする組み合わせは、すべて同じものを用いた。以上のようにして、各手法に対して合計6450回の識別実験を行った。
【0043】
なお、前処理として、画像から背景を除去し、グレースケールに変換した。そして、グレースケールの画像に対してヒストグラムの平坦化処理を施した後、15×15ピクセルに縮小して評価を行った。
【0044】
評価対象となる本願及び従来技術のすべての手法に対して、辞書部分空間と入力部分空間の次元を、それぞれ30と10に設定した。制約相互部分空間法においては、一般化差分部分空間を作る際に用いられる射影行列は、30次元のクラス部分空間から生成した。また、類似度は、4つの正準角から求めた。制約空間の次元は、予備実験に基づいて410とした。数5の係数μは、0.1刻みで変化させて予備実験を行い、性能が最も良かった値である0.4に設定した。
【0045】
第1段階の識別で使用する手法の違いにより、本発明の画像パターン識別装置に対して以下の3種類について評価する。
1)混合相互部分空間法1
本発明の画像パターン識別装置の第1段階の識別に相互部分空間法を用いるものである。相互部分空間法により得られた類似度において、第1位類似度と残りの類似度との差が閾値0.01以下のクラスを類似人物クラスのグループとして抽出した。この類似グループのみに対して、第2段階の識別として、本発明の画像パターン識別装置を適用し、最終的な類似度を求める。
2)混合相互部分空間法2
本発明の画像パターン識別装置の第1段階の識別に制約相互部分空間法を用いるものである。最大の類似度との差が閾値0.1以下のクラスを抽出し、これらに対して、第2段階の識別として、本発明の画像パターン識別装置を適用し、最終的な類似度を求める。
3)混合相互部分空間法3
本発明の画像パターン識別装置の第1段階の識別に制約相互部分空間法を用いるが、辞書差分部分空間についても補空間に射影したものである。制約部分空間へ射影された各部分空間は、既に形状差から成る空間となっているため、これに対してさらに本発明の画像処理装置を適用するということは、3次元形状の差異のさらにその差異となっていると推察される。
【0046】
上述のような識別実験の結果を、以下の表2に示す。
【表2】

【0047】
表2から分かる通り、相互部分空間法の識別率96.6%に対して、混合相互部分空間法1を用いた本発明では、識別率98.4%となり、本発明により3.5%の向上が見られたことになる。また、以下の表3に、混合相互部分空間法を適用した回数を示す。
【表3】

【0048】
表3から分かるように、識別回数6450回のうち、本発明における混合相互部分空間法が258回適用され、その結果、116個の誤識別が正常な識別に改善された。
【0049】
この識別率は、高い識別性能が得られるとされる制約相互部分空間法と同じ結果となった。制約相互部分空間法は、制約部分空間への射影が必要である。これに対して、本発明の画像パターン識別装置を用いれば、大部分の識別クラスに対して相互部分空間手法のみを用いて最終判定されるために、トータルの計算量も少ない。さらに、新しく識別クラスが追加された場合には、従来の手法ではすべてのクラスの部分空間から制約部分空間を再度生成し直す必要があったが、本発明によれば、類似クラスの部分空間のみから差分部分空間を計算するだけで良いため、この点でも計算量を少なくすることが可能である。
【0050】
また、全体の計算量としては増加してしまうが、混合相互部分空間法2では、識別率が98.8%とさらに向上した。これは、制約相互部分空間法で誤識別した類似パターンが、本発明により正しく識別されたことを意味している。具体的には、表3に示されるように、37回の誤りのうち、25回が正解に改善されている。この結果から、本発明の画像パターン識別装置には、制約相互部分空間法と同程度以上の効果があるといえる。
【0051】
さらに、混合相互部分空間法3でも高い識別率が得られていることから、特徴抽出を行った後でも、本発明が有効であることが分かる。したがって、本発明は高い汎用性を有していることが分かる。
【0052】
このように、本発明の画像パターン識別装置は、誤識別しやすい特定の類似パターンに対して、少ない計算量で、高い識別率の識別が可能である。
【0053】
なお、本発明の画像パターン識別装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。さらに、上述の実施例における構成・処理の一部又は全部は、コンピュータ用のプログラムで実現されていても構わず、コンピュータにこれらの処理を行わせるプログラムであっても良い。
【符号の説明】
【0054】
10 入力部分空間生成部
20 辞書部分空間生成部
30 類似クラス選別部
31 類似度計算部
32 類似クラス検出部
40 入力差分部分空間生成部
50 特徴量生成部
60 辞書差分部分空間生成部
70 類似度演算部
80 出力部

【特許請求の範囲】
【請求項1】
入力される画像パターンを複数の辞書パターンを用いて識別する画像パターン識別装置であって、該画像パターン識別装置は、
入力される画像パターンに対してKL展開(主成分分析)を行い、入力部分空間Xを生成する入力部分空間生成部と、
複数の辞書パターンに対してそれぞれKL展開(主成分分析)を行い、辞書部分空間Pを生成する辞書部分空間生成部と、
入力部分空間Xに類似する辞書部分空間Pが少なくとも2つある場合に、その2つの辞書部分空間P,Pを出力する類似クラス選別部と、
辞書部分空間P,Pと、入力部分空間生成部による入力部分空間Xとの差分である入力差分部分空間Y,Yをそれぞれ生成する入力差分部分空間生成部と、
入力差分部分空間Y,Yを、辞書部分空間P,Pの直交補空間にそれぞれ射影し、特徴量Yci,Ycjをそれぞれ生成する特徴量生成部と、
辞書部分空間P,Pの差分である辞書差分部分空間DPiPjを生成する辞書差分部分空間生成部と、
各入力差分部分空間の特徴量Yci,Ycjと、辞書差分部分空間DPiPjとの相違度GPiPjPi(X),GPiPjPj(X)を、相互部分空間法によりそれぞれ演算する類似度演算部と、
相違度GPiPjPi(X),GPiPjPj(X)の小さいほうに対応する辞書パターンのクラスを識別結果として出力する出力部と、
を具備することを特徴とする画像パターン識別装置。
【請求項2】
請求項1に記載の画像パターン識別装置において、
類似クラス選別部は、入力部分空間Xに類似する辞書パターンが3つ以上ある場合に、2つずつ辞書パターンのペアについてそれぞれ選別し、
類似度演算部は、各ペアについて相違度GPiPjPi(X),GPiPjPj(X)を演算し、
出力部は、相違度GPiPjPi(X),GPiPjPj(X)の大きいほうを否定し、一度も否定されないものに対応する辞書パターンのクラスを識別結果として出力する、
ことを特徴とする画像パターン識別装置。
【請求項3】
請求項1に記載の画像パターン識別装置であって、さらに、入力部分空間Xと辞書部分空間P,Pとの類似度SMSMPi(X),SMSMPj(X)を、相互部分空間法によりそれぞれ演算し、類似度SMSMPi(X),SMSMPj(X)と、相違度GPiPjPi(X),GPiPjPj(X)との差分に基づく類似度SCPMSMPi(X),SCPMSMPj(X)を演算する第2類似度演算部を具備し、
出力部は、類似度SCPMSMPi(X),SCPMSMPj(X)の大きいほうに対応する辞書パターンのクラスを識別結果として出力する、
ことを特徴とする画像パターン識別装置。
【請求項4】
請求項3に記載の画像パターン識別装置において、
類似クラス選別部は、入力部分空間Xに類似する辞書パターンが3つ以上ある場合に、2つずつ辞書パターンのペアについてそれぞれ選別し、
第2類似度演算部は、各ペアについて類似度SCPMSMPi(X),SCPMSMPj(X)を演算し、
出力部は、類似度SCPMSMPi(X),SCPMSMPj(X)の小さいほうを否定し、一度も否定されないものに対応する辞書パターンのクラスを識別結果として出力する、
ことを特徴とする画像パターン識別装置。
【請求項5】
請求項1乃至請求項4の何れかに記載の画像パターン識別装置において、類似クラス選別部は、相互部分空間法又は制約相互部分空間法により、入力部分空間Xに対して類似度が近接する辞書部分空間を抽出することを特徴とする画像パターン識別装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2012−22540(P2012−22540A)
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願番号】特願2010−160221(P2010−160221)
【出願日】平成22年7月15日(2010.7.15)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成22年03月08日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報 Vol.109 No.470」に発表
【出願人】(504171134)国立大学法人 筑波大学 (510)
【出願人】(000250502)理想科学工業株式会社 (1,191)
【Fターム(参考)】