画像認識装置
【課題】元来高い相関を持つような種類の画像を認識対象とする場合であっても、誤判定を起こすことなく、高い信頼性で画像認識することを可能にすること。
【解決手段】基準画像集合の部分空間作成処理部３は、予め多数の画像を含んだ基準画像集合から共通する成分を抽出して低次元の基準画像集合の部分空間を作成する。辞書データ作成処理部１は、対象物認識用辞書データの登録の際に撮影された画像を基準画像集合の部分空間に投射し、その補空間上のベクトルを求めて対象物認識用辞書データを作成し登録する。画像認識処理部２は、撮影された対象物画像を基準画像集合の部分空間に投射しその補空間上のベクトルを求めて、前記辞書データ作成処理部により登録された対象物認識用辞書データとの相関値を求めることにより対象物を認識する。
【解決手段】基準画像集合の部分空間作成処理部３は、予め多数の画像を含んだ基準画像集合から共通する成分を抽出して低次元の基準画像集合の部分空間を作成する。辞書データ作成処理部１は、対象物認識用辞書データの登録の際に撮影された画像を基準画像集合の部分空間に投射し、その補空間上のベクトルを求めて対象物認識用辞書データを作成し登録する。画像認識処理部２は、撮影された対象物画像を基準画像集合の部分空間に投射しその補空間上のベクトルを求めて、前記辞書データ作成処理部により登録された対象物認識用辞書データとの相関値を求めることにより対象物を認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、画像を用いて人物の認証や検索、物体の照合や識別などに用いられ、それを高い信頼性で行うことができる画像認識装置に関する。
【背景技術】
【０００２】
近年、店頭で携帯電話を使った電子決済が可能になり、今後利用者が増えることが予想される。携帯電話はその紛失時の悪用を防ぐために４桁数字によるダイヤルロック機能を備えているが、これが電子決済などの利用されることに伴い、より高度なセキュリティを確保することが望まれる。
【０００３】
より高度なセキュリティを確保するために、携帯電話のカメラで撮影された顔画像を画像認識して所有者認証を行う方法が考えられる。この場合、携帯電話や組み込み機器などのＣＰＵ処理能力やメモリ容量は限られているので必要とする計算量と使用するメモリ量は可能な限り少なく、処理負荷の低い画像認識方法が望まれる。また、携帯電話に限らず、高機能なＰＣにおいても認識処理の高速化の観点から処理負荷が低減された画像認識方法が求められている。
【０００４】
従来、処理負荷が低く、高速で認識処理が可能な画像認識方法として、２枚の画像の相関値Cを測定し、その相関値Cの値の大小で判定を行なう画像認識方法が存在する。ここで、ベクトルを〈 〉付き文字で表すと、２枚の画像の相関値Cは、各画像をベクトル〈u〉、〈v〉とみなし、次式で表される。
C＝(〈u〉,〈v〉)／｛｜〈u〉｜｜〈v〉｜｝ -1≦C≦1
ここで、(〈u〉,〈v〉)は、ベクトル〈u〉、〈v〉の内積を表し、｜〈u〉｜、｜〈v〉｜はそれぞれ、ベクトル〈u〉、〈v〉の大きさを表す。つまり、２枚の画像の相関値Cは、各画像のベクトル〈u〉、〈v〉の内積を、ベクトル〈u〉、〈v〉それぞれの大きさの積で除したものとして定義される。
【０００５】
相関値Cは、-1〜1の範囲の値を持ち、この値が１に近いほど、ベクトル〈u〉、〈v〉は類似している、すなわち２枚の画像が類似していることを意味する。従って、入力された画像と予め登録された画像の相関値Cを求め、その値が１に近いかどうかで２枚の画像の類似性を判定することができる。具体的には、顔画像を対象として人物の異同判定を行う場合、相関値Cが設定されたしきい値以上であれば両画像の人物は同じ（本人）と判定でき、しきい値未満ならば両画像の人物は異なる（他人）と判定することができる。
【０００６】
図３は、顔画像認証に適用した従来の画像認識装置のブロック構成図である。この画像認識装置は、ある人物の顔を提影して得られる顔画像から、その人物が本人であるか否かを照合もしくはその人物が誰であるかを識別するものであり、機能からすると、予め辞書データを作成して登録する辞書データ作成処理部１と、入力画像から人物の照合および識別を行う画像認識処理部２に大別される。
【０００７】
辞書データ作成処理部１は、データベース１４へ登録するための辞書データを作成する。辞書データの作成に際しては、まず、識別情報IDを持った１名の人物を撮影し、該人物の顔画像を入力する。正規化処理部１１は、入力された顔画像の位置、領域、大きさ、輝度レベルなどを正規化した正規化画像〈ｘＩＤ〉を出力する。
【０００８】
辞書データ作成部１３は、入力された正規化画像〈ｘＩＤ〉に該人物の識別情報IDを添えた辞書データAを作成する。辞書データ作成部１３で作成された辞書データAは、データベース１４に蓄積される。データべース１４には、同様にして作成された他の人物の辞書データB, C,・・・も蓄積される。
【０００９】
以上のようにして各人物の辞書データA, B, C,・・・をデータベース１４に蓄積した後、不特定の人物の顔を撮影し、これにより得られた１枚の顔画像を画像認識処理部２に入力する。正規化処理部２１は、辞書データ登録時と同様に、入力画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像〈ｘ〉を出力する。この正規化画像〈ｘ〉は相関値計算部２３に入力される。
【００１０】
相関値計算部２３は、正規化処理部２１から入力された正規化画像〈ｘ〉とデータベース１４に蓄積されている辞書データA,B,C,・・・内の登録画像を比較し、照合または識別処理を行うための相関値Cを計算する。
【００１１】
照合処理の場合、照合を行ないたい人物の識別情報IDｓを指定し、正規化処理部２１から入力された正規化画像〈ｘ〉とデータベース１４に蓄積されている識別情報IDｓの人物の辞書データ内の登録画像の相関値Cを求め、その値をしきい値判定部２４に出力する。しきい値判定部２４は、入力された相関値Cがしきい値T以上であれば入力画像の人物が当該人物である(OK)と判定し、しきい値T未満であれば当該人物でない(NG)と判定する。
【００１２】
識別処理の場合には、正規化処理部２１から入力された正規化画像〈ｘ〉とデータベース１４に蓄積されている各人物の辞書データA,B,C,・・・内の登録画像の相関値Cを求め、最大の相関値を示す人物の識別情報IDｒとその相関値Cを識別結果として出力する。
【００１３】
下記特許文献１には、入力顔画像をその特徴点がデータベース部の基準顔画像の特徴点と一致するように変形させた後、両画像間の相関を求めることにより、顔の表情や向きが変化したとしても高精度の個人認識を可能にした画像認識装置が記載されている。
【特許文献１】特開平１１−１６１７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、従来の画像認識装置では、元来高い相関を持つような種類の画像を認識の対象とする場合、認識分離するためのしきい値の設定が微妙となり、十分な信頼性で認識分離されるようにしきい値を設定することが困難であるという課題がある。
【００１５】
例えば、顔画像を認識の対象とする場合、顔画像は異なる人物間であっても元来0.9〜0.95程度の比較的高い相関値を示す。したがって、顔画像の相関値のうちのほぼ大半が人物の違いに依存しない共通成分に起因する値で占められており、個人の特徴は残りのわずか0.05〜0.1程度と非常に小さい範囲に含まれていることがわかる。
【００１６】
そのため、顔画像を対象として認識を行う場合、人物間の分離度は低く、識別の合否を判定するための最適なしきい値を設定することは容易ではない。また、個人の特徴よりも照明や表情の変化などが相関値に与える影響の方が相対的に大きくなる場合があり、誤判定を起こしやすいという課題がある。
【００１７】
本発明の目的は、上記課題を解決し、顔画像のように元来高い相関を持つような種類の画像を認識対象とする場合であっても、誤判定を起こすことなく、高い信頼性で画像認識することができる画像認識装置を提供することにある。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明は、予め多数の画像を含んだ基準画像集合から、共通する成分を抽出して低次元の基準画像集合の部分空間を作成する部分空間作成処理部と、対象物認識用辞書データの登録の際に撮影された画像を前記基準画像集合の部分空間に投射し、その補空間上のベクトルを求めて対象物認識用辞書データを作成し登録する辞書データ作成処理部と、撮影された対象物画像を前記基準画像集合の部分空間に投射しその補空間上のベクトルを求めて、前記辞書データ作成処理部により登録された対象物認識用辞書データとの相関値を求めることにより対象物を認識する画像認識処理部とを備えたことを特徴としている。
【００１９】
ここで、前記部分空間作成処理部を、照明条件を様々に変えて撮影された画像を含む基準画像集合から低次元の基準画像集合の部分空間を作成するものとすることができる。また、認識処理の対象を人物の顔画像とすることができる。
【発明の効果】
【００２０】
本発明では、対象物の特徴を多く含む成分である補空間上のベクトルの相関値を求め、該相関値により対象物を認識するので、元来高い相関を持つような種類の画像を認識対象とする場合であっても対象物間の認識分離度を高くすることができ、認識精度を向上させることができる。すなわち画像を用いて人物の認証や検索および物体の照合や識別などを行う画像認識装置において、認識の信頼性を高めることができる。特に人物の顔画像は、異なる人物間であっても元来高い相関値を持つので本発明を適用して有効である。
【００２１】
また、照明条件を様々に変えて撮影された画像を基準画像集合に含ませることにより、照明などの撮影条件の変化に耐性のある画像認識を可能にすることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る画像認識装置の一実施形態を示すブロック図であり、図３と同一あるいは同等部分には同じ符号を付してある。以下では、人物の顔画像を認識の対象とした場合を例として説明するが、本発明における認識の対象は、人物の顔画像に限定されず、その他の任意の画像とすることができる。
【００２３】
図１の画像認識装置は、機能からすると、予め多数の顔画像からそれらに共通する成分を抽出する基準顔画像集合の部分空間作成処理部３と、予め辞書データを作成して登録する辞書データ作成処理部１、と入力画像から人物を照合および識別する画像認識処理部２に大別される。
【００２４】
基準顔画像集合の部分空間作成処理部３は、予め多数の人物の顔画像集合に共通する成分、すなわち固有ベクトル〈e1〉,〈e2〉,・・・を抽出して低次元の部分空間を作成する。
【００２５】
そのために、まず、撮影された多数の人物の顔画像〈yi〉を正規化処理部３１に入力する。正規化処理部３１は、入力された顔画像〈yi〉の位置、領域、大きさ、輝度レベルなどを正規化した正規化画像を出力する。これらを基準画像集合と定義する。
【００２６】
次に、基準画像集合を自己相関行列作成部３２に入力して、基準画像集合の自己相関行列［R］を求める。ここでは行列を［ ］付き文字で表すこととする。
自己相関行列［R］は、次式で定義できる。なお、式中の「T」は転置操作を意味する。
【００２７】
【数１】
【００２８】
次に、自己相関行列［R］を固有ベクトル算出部３３に入力する。固有ベクトル算出部３３は、入力された自己相関行列［R］から基準画像集合の部分空間を張る固有ベクトル〈e1〉,〈e2〉,・・・を算出して低次元の部分空間を作成する。
【００２９】
ここで、図２に示すように、基準画像集合の部分空間と正規化された顔画像〈ｘ〉をその部分空間に投射した場合の補空間上のベクトル〈Δｘ〉を考える。
【００３０】
この場合、正規化された顔画像〈ｘ〉を基準画像集合の部分空間に投射することにより得られるベクトルは、正規化された顔画像〈ｘ〉の中の基準画像集合内の全ての人物の顔画像に共通する成分に相当するので、正規化された顔画像〈ｘ〉から該ベクトルを差し引けば、この部分空間上に投射された基準画像集合内の全ての人物の顔画像に共通する成分を取り除くことができる。
【００３１】
すなわち、正規化された顔画像〈ｘ〉から全ての人物の顔画像に共通する成分（部分空間上に投射されたベクトル）を取いた結果、その残差は基準顔画像集合の部分空間の補空間上に含まれる。そして、その残差である補空間上のベクトル〈Δｘ〉は個人の特徴を多く含む成分となるので、補空間上のベクトル〈Δｘ〉を相関値算出の対象とすることによって、顔画像が元来高い相関を持つにも拘わらず、人物間を良好に認識分離することができる。
【００３２】
照明条件を様々に変えて撮影した顔画像を基準画像集合に含めた場合、照明変動を吸収できる部分空間を作成することができる。すなわち、補空間上のベクトル〈Δｘ〉は、常にその部分空間と垂直なベクトルとして算出されるため、照明変動の成分を含まないベクトルとなる。したがって、補空間上のベクトル〈Δｘ〉を用いることによって、照明などの撮影条件の変化に耐性のある顔画像認識が可能となる。
【００３３】
辞書データ作成処理部１は、データベース１４へ登録するための辞書データを作成する。辞書データの作成に際しては、まず、識別情報IDを持った１名の人物を撮影し、該人物の顔画像を入力する。正規化処理部１１は、入力された顔画像の位置、領域、大きさ、輝度レベルなどを正規化した正規化画像〈ｘＩＤ〉を出力する。
【００３４】
補空間への投射部１２は、入力された正規化画像〈ｘＩＤ〉を基準画像集合の部分空間作成処理部３で作成された部分空間に投射して、その補空間上のベクトル〈ΔｘＩＤ〉を求める。補空間上のベクトル〈ΔｘＩＤ〉は辞書データ作成部１３の入力となる。
【００３５】
具体的には、補空間上のベクトル〈ΔｘＩＤ〉は、基準画像集合の部分空間作成処理部２の固有ベクトル算出部２３で求められた固有ベクトル〈e1〉,〈e2〉,・・・を用いて次式によって求めることができる。
〈ΔｘＩＤ〉＝(〈ΔｘＩＤ〉,〈e1〉)〈e1〉+(〈ΔｘＩＤ１〉,〈e2〉)〈e2〉+(〈ΔｘＩＤ２〉,〈e3〉)〈e3〉+・・・+(〈ΔｘＩＤｉ−１〉,〈ei〉)〈ei〉+・・・
〈ΔｘＩＤ１〉＝(〈ΔｘＩＤ〉,〈e1〉)〈e1〉
〈ΔｘＩＤ２〉＝(〈ΔｘＩＤ１〉,〈e2〉)〈e2〉
・・・
〈ΔｘＩＤｉ〉＝(〈ΔｘＩＤｉ−１〉,〈ei〉)〈ei〉
・・・
【００３６】
辞書データ作成部１３は、入力された補空間上のベクトル〈ΔｘＩＤ〉に該人物の識別情報IDを添えた辞書データAを作成する。辞書データ作成部１３で作成された辞書データAは、データベース１４に蓄積される。データベース１４には、同様にして作成された他の人物の辞書データB, C,・・・も蓄積される。
【００３７】
以上のようにして各人物の辞書データA, B, C,・・・をデータベース１４に蓄積した後、不特定の人物の顔を撮影し、これにより得られた１枚の顔画像を画像認識処理部２に入力する。正規化処理部２１は、辞書データ登録時と同様に、入力画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像〈ｘ〉を出力する。この正規化画像〈ｘ〉は、補空間への投射部２２に入力される。
【００３８】
補空間への投射部２２は、辞書データ作成処理部１と同様に、入力された正規化画像〈ｘＩＤ〉を基準画像集合の部分空間作成処理部３で作成された部分空間に投射して、その補空間上のベクトル〈ΔｘＩＤ〉を求める。この補空間上のベクトル〈ΔｘＩＤ〉は相関値計算２３に入力される。
【００３９】
相関値計算部２３は、補空間への投射部２２から入力された補空間上のベクトル〈ΔｘＩＤ〉とデータベース１４に蓄積されている辞書データA,B,C,・・・内の登録ベクトルを比較し、照合または識別処理を行うための相関値Cを計算する。
【００４０】
照合処理の場合、照合を行ないたい人物の識別情報IDｓを指定し、補空間への投射部２２から入力された補空間上のベクトル〈ΔｘＩＤ〉とデータベース１４に蓄積されている識別情報IDｓの人物の辞書データ内の登録ベクトルの相関値Cを求め、その値Cをしきい値判定部２４に出力する。しきい値判定部２４は、入力された相関値Cがしきい値T以上であれば入力画像の人物が当該人物である(OK)と判定し、しきい値T未満であれば当該人物でない(NG)と判定する。
【００４１】
識別処理の場合には、補空間への投射部２２から入力された補空間上のベクトル〈ΔｘＩＤ〉とデータベース１４に蓄積されている各人物の辞書データA,B,C,・・・内の登録ベクトルの相関値Cを求め、最大の相関値を示す人物の識別情報IDｒとその相関値Cを識別結果として出力する。
【００４２】
本発明は、画像を基準画像集合部分空間に投射し、その補空間上のベクトルを利用し、しかもその相関値を求めて画像認識するので、携帯電話や組み込み機器などでＣＰＵ処理能力やメモリ容量は限られている場合でも問題のない画像認識を実現することができるとともに、画像認識の精度を高めることができる。
【００４３】
本発明を携帯電話のカメラで撮影された顔画像を利用した所有者認証に適用すれば、バイオメトリック認証という高度な所有者認証を高い信頼性で行うことができ、携帯電話紛失時の悪用を防ぐことができる。
【００４４】
また、本発明は、１人の人物の表情を精度よく分析する表情分析などにも適用できる。これは、１人の人物の多様な顔画像を基準画像集合とし、上記と同様に補間空間上のベクトルを利用して、笑い顔、泣き顔、怒り顔などについての辞書データの作成および画像認識を行うことで実現できる。
【図面の簡単な説明】
【００４５】
【図１】本発明に係る画像認識装置の一実施形態を示すブロック図である。
【図２】基準画像集合の部分空間とその補空間上のベクトルの説明図である。
【図３】従来の画像認識装置を示すブロック図である。
【符号の説明】
【００４６】
１・・・辞書データ作成処理部、２・・・画像認識処理部、３・・・基準画像集合の部分空間作成処理部、１１，２１，３１・・・正規化処理部、１２，２２・・・補空間への投射部、１３・・・辞書データ作成部、１４・・・データベース、２３・・・相関値計算部、２４・・・しきい値判定部、３２・・・自己相関行列作成部、３３・・・固有ベクトル算出部
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、画像を用いて人物の認証や検索、物体の照合や識別などに用いられ、それを高い信頼性で行うことができる画像認識装置に関する。
【背景技術】
【０００２】
近年、店頭で携帯電話を使った電子決済が可能になり、今後利用者が増えることが予想される。携帯電話はその紛失時の悪用を防ぐために４桁数字によるダイヤルロック機能を備えているが、これが電子決済などの利用されることに伴い、より高度なセキュリティを確保することが望まれる。
【０００３】
より高度なセキュリティを確保するために、携帯電話のカメラで撮影された顔画像を画像認識して所有者認証を行う方法が考えられる。この場合、携帯電話や組み込み機器などのＣＰＵ処理能力やメモリ容量は限られているので必要とする計算量と使用するメモリ量は可能な限り少なく、処理負荷の低い画像認識方法が望まれる。また、携帯電話に限らず、高機能なＰＣにおいても認識処理の高速化の観点から処理負荷が低減された画像認識方法が求められている。
【０００４】
従来、処理負荷が低く、高速で認識処理が可能な画像認識方法として、２枚の画像の相関値Cを測定し、その相関値Cの値の大小で判定を行なう画像認識方法が存在する。ここで、ベクトルを〈 〉付き文字で表すと、２枚の画像の相関値Cは、各画像をベクトル〈u〉、〈v〉とみなし、次式で表される。
C＝(〈u〉,〈v〉)／｛｜〈u〉｜｜〈v〉｜｝ -1≦C≦1
ここで、(〈u〉,〈v〉)は、ベクトル〈u〉、〈v〉の内積を表し、｜〈u〉｜、｜〈v〉｜はそれぞれ、ベクトル〈u〉、〈v〉の大きさを表す。つまり、２枚の画像の相関値Cは、各画像のベクトル〈u〉、〈v〉の内積を、ベクトル〈u〉、〈v〉それぞれの大きさの積で除したものとして定義される。
【０００５】
相関値Cは、-1〜1の範囲の値を持ち、この値が１に近いほど、ベクトル〈u〉、〈v〉は類似している、すなわち２枚の画像が類似していることを意味する。従って、入力された画像と予め登録された画像の相関値Cを求め、その値が１に近いかどうかで２枚の画像の類似性を判定することができる。具体的には、顔画像を対象として人物の異同判定を行う場合、相関値Cが設定されたしきい値以上であれば両画像の人物は同じ（本人）と判定でき、しきい値未満ならば両画像の人物は異なる（他人）と判定することができる。
【０００６】
図３は、顔画像認証に適用した従来の画像認識装置のブロック構成図である。この画像認識装置は、ある人物の顔を提影して得られる顔画像から、その人物が本人であるか否かを照合もしくはその人物が誰であるかを識別するものであり、機能からすると、予め辞書データを作成して登録する辞書データ作成処理部１と、入力画像から人物の照合および識別を行う画像認識処理部２に大別される。
【０００７】
辞書データ作成処理部１は、データベース１４へ登録するための辞書データを作成する。辞書データの作成に際しては、まず、識別情報IDを持った１名の人物を撮影し、該人物の顔画像を入力する。正規化処理部１１は、入力された顔画像の位置、領域、大きさ、輝度レベルなどを正規化した正規化画像〈ｘＩＤ〉を出力する。
【０００８】
辞書データ作成部１３は、入力された正規化画像〈ｘＩＤ〉に該人物の識別情報IDを添えた辞書データAを作成する。辞書データ作成部１３で作成された辞書データAは、データベース１４に蓄積される。データべース１４には、同様にして作成された他の人物の辞書データB, C,・・・も蓄積される。
【０００９】
以上のようにして各人物の辞書データA, B, C,・・・をデータベース１４に蓄積した後、不特定の人物の顔を撮影し、これにより得られた１枚の顔画像を画像認識処理部２に入力する。正規化処理部２１は、辞書データ登録時と同様に、入力画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像〈ｘ〉を出力する。この正規化画像〈ｘ〉は相関値計算部２３に入力される。
【００１０】
相関値計算部２３は、正規化処理部２１から入力された正規化画像〈ｘ〉とデータベース１４に蓄積されている辞書データA,B,C,・・・内の登録画像を比較し、照合または識別処理を行うための相関値Cを計算する。
【００１１】
照合処理の場合、照合を行ないたい人物の識別情報IDｓを指定し、正規化処理部２１から入力された正規化画像〈ｘ〉とデータベース１４に蓄積されている識別情報IDｓの人物の辞書データ内の登録画像の相関値Cを求め、その値をしきい値判定部２４に出力する。しきい値判定部２４は、入力された相関値Cがしきい値T以上であれば入力画像の人物が当該人物である(OK)と判定し、しきい値T未満であれば当該人物でない(NG)と判定する。
【００１２】
識別処理の場合には、正規化処理部２１から入力された正規化画像〈ｘ〉とデータベース１４に蓄積されている各人物の辞書データA,B,C,・・・内の登録画像の相関値Cを求め、最大の相関値を示す人物の識別情報IDｒとその相関値Cを識別結果として出力する。
【００１３】
下記特許文献１には、入力顔画像をその特徴点がデータベース部の基準顔画像の特徴点と一致するように変形させた後、両画像間の相関を求めることにより、顔の表情や向きが変化したとしても高精度の個人認識を可能にした画像認識装置が記載されている。
【特許文献１】特開平１１−１６１７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、従来の画像認識装置では、元来高い相関を持つような種類の画像を認識の対象とする場合、認識分離するためのしきい値の設定が微妙となり、十分な信頼性で認識分離されるようにしきい値を設定することが困難であるという課題がある。
【００１５】
例えば、顔画像を認識の対象とする場合、顔画像は異なる人物間であっても元来0.9〜0.95程度の比較的高い相関値を示す。したがって、顔画像の相関値のうちのほぼ大半が人物の違いに依存しない共通成分に起因する値で占められており、個人の特徴は残りのわずか0.05〜0.1程度と非常に小さい範囲に含まれていることがわかる。
【００１６】
そのため、顔画像を対象として認識を行う場合、人物間の分離度は低く、識別の合否を判定するための最適なしきい値を設定することは容易ではない。また、個人の特徴よりも照明や表情の変化などが相関値に与える影響の方が相対的に大きくなる場合があり、誤判定を起こしやすいという課題がある。
【００１７】
本発明の目的は、上記課題を解決し、顔画像のように元来高い相関を持つような種類の画像を認識対象とする場合であっても、誤判定を起こすことなく、高い信頼性で画像認識することができる画像認識装置を提供することにある。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明は、予め多数の画像を含んだ基準画像集合から、共通する成分を抽出して低次元の基準画像集合の部分空間を作成する部分空間作成処理部と、対象物認識用辞書データの登録の際に撮影された画像を前記基準画像集合の部分空間に投射し、その補空間上のベクトルを求めて対象物認識用辞書データを作成し登録する辞書データ作成処理部と、撮影された対象物画像を前記基準画像集合の部分空間に投射しその補空間上のベクトルを求めて、前記辞書データ作成処理部により登録された対象物認識用辞書データとの相関値を求めることにより対象物を認識する画像認識処理部とを備えたことを特徴としている。
【００１９】
ここで、前記部分空間作成処理部を、照明条件を様々に変えて撮影された画像を含む基準画像集合から低次元の基準画像集合の部分空間を作成するものとすることができる。また、認識処理の対象を人物の顔画像とすることができる。
【発明の効果】
【００２０】
本発明では、対象物の特徴を多く含む成分である補空間上のベクトルの相関値を求め、該相関値により対象物を認識するので、元来高い相関を持つような種類の画像を認識対象とする場合であっても対象物間の認識分離度を高くすることができ、認識精度を向上させることができる。すなわち画像を用いて人物の認証や検索および物体の照合や識別などを行う画像認識装置において、認識の信頼性を高めることができる。特に人物の顔画像は、異なる人物間であっても元来高い相関値を持つので本発明を適用して有効である。
【００２１】
また、照明条件を様々に変えて撮影された画像を基準画像集合に含ませることにより、照明などの撮影条件の変化に耐性のある画像認識を可能にすることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る画像認識装置の一実施形態を示すブロック図であり、図３と同一あるいは同等部分には同じ符号を付してある。以下では、人物の顔画像を認識の対象とした場合を例として説明するが、本発明における認識の対象は、人物の顔画像に限定されず、その他の任意の画像とすることができる。
【００２３】
図１の画像認識装置は、機能からすると、予め多数の顔画像からそれらに共通する成分を抽出する基準顔画像集合の部分空間作成処理部３と、予め辞書データを作成して登録する辞書データ作成処理部１、と入力画像から人物を照合および識別する画像認識処理部２に大別される。
【００２４】
基準顔画像集合の部分空間作成処理部３は、予め多数の人物の顔画像集合に共通する成分、すなわち固有ベクトル〈e1〉,〈e2〉,・・・を抽出して低次元の部分空間を作成する。
【００２５】
そのために、まず、撮影された多数の人物の顔画像〈yi〉を正規化処理部３１に入力する。正規化処理部３１は、入力された顔画像〈yi〉の位置、領域、大きさ、輝度レベルなどを正規化した正規化画像を出力する。これらを基準画像集合と定義する。
【００２６】
次に、基準画像集合を自己相関行列作成部３２に入力して、基準画像集合の自己相関行列［R］を求める。ここでは行列を［ ］付き文字で表すこととする。
自己相関行列［R］は、次式で定義できる。なお、式中の「T」は転置操作を意味する。
【００２７】
【数１】
【００２８】
次に、自己相関行列［R］を固有ベクトル算出部３３に入力する。固有ベクトル算出部３３は、入力された自己相関行列［R］から基準画像集合の部分空間を張る固有ベクトル〈e1〉,〈e2〉,・・・を算出して低次元の部分空間を作成する。
【００２９】
ここで、図２に示すように、基準画像集合の部分空間と正規化された顔画像〈ｘ〉をその部分空間に投射した場合の補空間上のベクトル〈Δｘ〉を考える。
【００３０】
この場合、正規化された顔画像〈ｘ〉を基準画像集合の部分空間に投射することにより得られるベクトルは、正規化された顔画像〈ｘ〉の中の基準画像集合内の全ての人物の顔画像に共通する成分に相当するので、正規化された顔画像〈ｘ〉から該ベクトルを差し引けば、この部分空間上に投射された基準画像集合内の全ての人物の顔画像に共通する成分を取り除くことができる。
【００３１】
すなわち、正規化された顔画像〈ｘ〉から全ての人物の顔画像に共通する成分（部分空間上に投射されたベクトル）を取いた結果、その残差は基準顔画像集合の部分空間の補空間上に含まれる。そして、その残差である補空間上のベクトル〈Δｘ〉は個人の特徴を多く含む成分となるので、補空間上のベクトル〈Δｘ〉を相関値算出の対象とすることによって、顔画像が元来高い相関を持つにも拘わらず、人物間を良好に認識分離することができる。
【００３２】
照明条件を様々に変えて撮影した顔画像を基準画像集合に含めた場合、照明変動を吸収できる部分空間を作成することができる。すなわち、補空間上のベクトル〈Δｘ〉は、常にその部分空間と垂直なベクトルとして算出されるため、照明変動の成分を含まないベクトルとなる。したがって、補空間上のベクトル〈Δｘ〉を用いることによって、照明などの撮影条件の変化に耐性のある顔画像認識が可能となる。
【００３３】
辞書データ作成処理部１は、データベース１４へ登録するための辞書データを作成する。辞書データの作成に際しては、まず、識別情報IDを持った１名の人物を撮影し、該人物の顔画像を入力する。正規化処理部１１は、入力された顔画像の位置、領域、大きさ、輝度レベルなどを正規化した正規化画像〈ｘＩＤ〉を出力する。
【００３４】
補空間への投射部１２は、入力された正規化画像〈ｘＩＤ〉を基準画像集合の部分空間作成処理部３で作成された部分空間に投射して、その補空間上のベクトル〈ΔｘＩＤ〉を求める。補空間上のベクトル〈ΔｘＩＤ〉は辞書データ作成部１３の入力となる。
【００３５】
具体的には、補空間上のベクトル〈ΔｘＩＤ〉は、基準画像集合の部分空間作成処理部２の固有ベクトル算出部２３で求められた固有ベクトル〈e1〉,〈e2〉,・・・を用いて次式によって求めることができる。
〈ΔｘＩＤ〉＝(〈ΔｘＩＤ〉,〈e1〉)〈e1〉+(〈ΔｘＩＤ１〉,〈e2〉)〈e2〉+(〈ΔｘＩＤ２〉,〈e3〉)〈e3〉+・・・+(〈ΔｘＩＤｉ−１〉,〈ei〉)〈ei〉+・・・
〈ΔｘＩＤ１〉＝(〈ΔｘＩＤ〉,〈e1〉)〈e1〉
〈ΔｘＩＤ２〉＝(〈ΔｘＩＤ１〉,〈e2〉)〈e2〉
・・・
〈ΔｘＩＤｉ〉＝(〈ΔｘＩＤｉ−１〉,〈ei〉)〈ei〉
・・・
【００３６】
辞書データ作成部１３は、入力された補空間上のベクトル〈ΔｘＩＤ〉に該人物の識別情報IDを添えた辞書データAを作成する。辞書データ作成部１３で作成された辞書データAは、データベース１４に蓄積される。データベース１４には、同様にして作成された他の人物の辞書データB, C,・・・も蓄積される。
【００３７】
以上のようにして各人物の辞書データA, B, C,・・・をデータベース１４に蓄積した後、不特定の人物の顔を撮影し、これにより得られた１枚の顔画像を画像認識処理部２に入力する。正規化処理部２１は、辞書データ登録時と同様に、入力画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像〈ｘ〉を出力する。この正規化画像〈ｘ〉は、補空間への投射部２２に入力される。
【００３８】
補空間への投射部２２は、辞書データ作成処理部１と同様に、入力された正規化画像〈ｘＩＤ〉を基準画像集合の部分空間作成処理部３で作成された部分空間に投射して、その補空間上のベクトル〈ΔｘＩＤ〉を求める。この補空間上のベクトル〈ΔｘＩＤ〉は相関値計算２３に入力される。
【００３９】
相関値計算部２３は、補空間への投射部２２から入力された補空間上のベクトル〈ΔｘＩＤ〉とデータベース１４に蓄積されている辞書データA,B,C,・・・内の登録ベクトルを比較し、照合または識別処理を行うための相関値Cを計算する。
【００４０】
照合処理の場合、照合を行ないたい人物の識別情報IDｓを指定し、補空間への投射部２２から入力された補空間上のベクトル〈ΔｘＩＤ〉とデータベース１４に蓄積されている識別情報IDｓの人物の辞書データ内の登録ベクトルの相関値Cを求め、その値Cをしきい値判定部２４に出力する。しきい値判定部２４は、入力された相関値Cがしきい値T以上であれば入力画像の人物が当該人物である(OK)と判定し、しきい値T未満であれば当該人物でない(NG)と判定する。
【００４１】
識別処理の場合には、補空間への投射部２２から入力された補空間上のベクトル〈ΔｘＩＤ〉とデータベース１４に蓄積されている各人物の辞書データA,B,C,・・・内の登録ベクトルの相関値Cを求め、最大の相関値を示す人物の識別情報IDｒとその相関値Cを識別結果として出力する。
【００４２】
本発明は、画像を基準画像集合部分空間に投射し、その補空間上のベクトルを利用し、しかもその相関値を求めて画像認識するので、携帯電話や組み込み機器などでＣＰＵ処理能力やメモリ容量は限られている場合でも問題のない画像認識を実現することができるとともに、画像認識の精度を高めることができる。
【００４３】
本発明を携帯電話のカメラで撮影された顔画像を利用した所有者認証に適用すれば、バイオメトリック認証という高度な所有者認証を高い信頼性で行うことができ、携帯電話紛失時の悪用を防ぐことができる。
【００４４】
また、本発明は、１人の人物の表情を精度よく分析する表情分析などにも適用できる。これは、１人の人物の多様な顔画像を基準画像集合とし、上記と同様に補間空間上のベクトルを利用して、笑い顔、泣き顔、怒り顔などについての辞書データの作成および画像認識を行うことで実現できる。
【図面の簡単な説明】
【００４５】
【図１】本発明に係る画像認識装置の一実施形態を示すブロック図である。
【図２】基準画像集合の部分空間とその補空間上のベクトルの説明図である。
【図３】従来の画像認識装置を示すブロック図である。
【符号の説明】
【００４６】
１・・・辞書データ作成処理部、２・・・画像認識処理部、３・・・基準画像集合の部分空間作成処理部、１１，２１，３１・・・正規化処理部、１２，２２・・・補空間への投射部、１３・・・辞書データ作成部、１４・・・データベース、２３・・・相関値計算部、２４・・・しきい値判定部、３２・・・自己相関行列作成部、３３・・・固有ベクトル算出部
【特許請求の範囲】
【請求項１】
予め多数の画像を含んだ基準画像集合から共通する成分を抽出して低次元の基準画像集合の部分空間を作成する部分空間作成処理部と、
対象物認識用辞書データの登録の際に撮影された画像を前記基準画像集合の部分空間に投射し、その補空間上のベクトルを求めて対象物認識用辞書データを作成し登録する辞書データ作成処理部と、
撮影された対象物画像を前記基準画像集合の部分空間に投射しその補空間上のベクトルを求めて、前記辞書データ作成処理部により登録された対象物認識用辞書データとの相関値を求めることにより対象物を認識する画像認識処理部とを備えたことを特徴とする画像認識装置。
【請求項２】
前記部分空間作成処理部は、照明条件を様々に変えて撮影された画像を含む基準画像集合から低次元の基準画像集合の部分空間を作成することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
認識処理の対象を人物の顔画像とすることを特徴とする請求項１または２に記載の画像認識装置。
【請求項１】
予め多数の画像を含んだ基準画像集合から共通する成分を抽出して低次元の基準画像集合の部分空間を作成する部分空間作成処理部と、
対象物認識用辞書データの登録の際に撮影された画像を前記基準画像集合の部分空間に投射し、その補空間上のベクトルを求めて対象物認識用辞書データを作成し登録する辞書データ作成処理部と、
撮影された対象物画像を前記基準画像集合の部分空間に投射しその補空間上のベクトルを求めて、前記辞書データ作成処理部により登録された対象物認識用辞書データとの相関値を求めることにより対象物を認識する画像認識処理部とを備えたことを特徴とする画像認識装置。
【請求項２】
前記部分空間作成処理部は、照明条件を様々に変えて撮影された画像を含む基準画像集合から低次元の基準画像集合の部分空間を作成することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
認識処理の対象を人物の顔画像とすることを特徴とする請求項１または２に記載の画像認識装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００６−１４６６７３（Ｐ２００６−１４６６７３Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００４−３３７４６５（Ｐ２００４−３３７４６５）
【出願日】平成１６年１１月２２日（２００４．１１．２２）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願日】平成１６年１１月２２日（２００４．１１．２２）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]