画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法
【課題】登録されている画像間で撮影条件が異なっていても、精度よく認証を行う。
【解決手段】画像認証装置１において、登録画像データベース２１では、上記人物を撮影して得られた登録画像Ｒと、登録画像Ｒの人物の顔に関する撮影条件とが対応付けられて登録されており、入力画像Ａ１の顔情報データを推定する顔情報データ推定部３３と、登録画像Ｒの顔情報データと入力画像Ａ１の顔情報データとの近さに応じた重み付けを決定する重み決定部３４と、入力画像Ａ１と登録画像Ｒとの間で認証スコアを算出する認証スコア算出部３５と、認証スコアに、対応する登録画像Ｒについて決定された重み付けを適用する重み付き認証スコア算出部３６と、重み付け認証スコアに基づいて入力画像Ａ１を照合する認証結果出力部３７と、を備える。
【解決手段】画像認証装置１において、登録画像データベース２１では、上記人物を撮影して得られた登録画像Ｒと、登録画像Ｒの人物の顔に関する撮影条件とが対応付けられて登録されており、入力画像Ａ１の顔情報データを推定する顔情報データ推定部３３と、登録画像Ｒの顔情報データと入力画像Ａ１の顔情報データとの近さに応じた重み付けを決定する重み決定部３４と、入力画像Ａ１と登録画像Ｒとの間で認証スコアを算出する認証スコア算出部３５と、認証スコアに、対応する登録画像Ｒについて決定された重み付けを適用する重み付き認証スコア算出部３６と、重み付け認証スコアに基づいて入力画像Ａ１を照合する認証結果出力部３７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物が撮影された画像を画像データベースと照合することにより認証する画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法に関する。
【背景技術】
【０００２】
従来、予め人物の顔が撮影された画像をデータベースに登録しておき、認証を行うべき人物の顔が撮影された画像の入力があったとき、入力された画像を、データベースの登録内容と比較することにより個人を識別して認証を行う顔認証技術が知られている。
【０００３】
顔認証技術における認証処理について、より具体的に例示すると次のとおりである。まず、登録時において、人物の顔が撮影された画像から、その人物の顔の特徴を示す特徴量を抽出して登録しておく。また、認証時には、入力された画像からこの特徴量が抽出される。そして、入力された画像から抽出された特徴量がデータベースに登録されている特徴量と比較される。
【０００４】
顔認証技術の分野では、誤認証をなるべく低減し、認証精度を向上することが望まれており、そのための様々な技術が提案されている。
【０００５】
例えば、特許文献１では、時系列で複数の画像を登録しておき、最古の登録画像とその他の登録画像との撮影時間差を元に重み係数を算出することが提案されている。すなわち、引用文献１の技術では、最新の登録画像の重み付けを高くし、古い登録画像の重み付けを低くしている。そして、登録画像の特徴量それぞれをこれらの係数を元に重み付け平均することで、比較的最近に登録された登録画像の特徴量が認証において重視されるようにしている。
【０００６】
また、例えば、特許文献２には、登録者の身体的特徴や外見的特徴に基づく重み付けを行うことが提案されている。具体的に例示すると、特許文献２には、登録者の身長データおよびメガネの有無に基づいてそれぞれ重み付けをすることが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１２９８３０号公報（２００８年６月 ５日公開）
【特許文献２】特開２００９− ６４１７３号公報（２００９年３月２６日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、比較する画像間で撮影条件が異なれば、本人が撮影されている画像であっても他人の画像であると誤認証してしまうおそれがある。さらにいえば、比較する画像間で撮影条件が同じであれば、他人が撮影されている画像であっても本人の画像であると誤認証してしまうおそれがある。
【０００９】
また、認証の際、比較の対象となり得る特徴量の種類は、身長等のほかにも多数あり、ある人物について複数の画像が登録される場合もある。
【００１０】
上記従来技術では、これらの点について考慮できていなかった。このため、具体的には、以下のような問題がある。
【００１１】
まず、特許文献１では、時間情報のみ利用して、重み付けの平均を行っているだけであるので、表情や顔向きなどの違いが考慮されておらず、これによる誤認識のおそれがある。例えば、ある人物の最新の画像が笑顔で撮影されている場合、他人の画像であって笑顔で撮影されているものと誤認識する可能性がある。
【００１２】
また、特許文献２では、１人の登録者に対して複数の登録画像について重み付けを行っていない。このため、１人の登録者に対して複数の画像が登録された場合、画像それぞれの間に、撮影されている登録者本人の外見および環境等の差異や、表情の相違があることが考えられるが、これに対してなんら対応する手法を提示していない。
【００１３】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、登録者に対して複数の画像が登録されている場合において、登録されている画像間で撮影条件が異なっていても、精度よく認証を行うことができる画像認証装置等を実現することにある。
【課題を解決するための手段】
【００１４】
上記の課題を解決するために、本発明に係る画像認証装置は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されており、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、を備えることを特徴とする。
【００１５】
上記の課題を解決するために、本発明に係る画像認証方法は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含むことを特徴とする。
【００１６】
なお、ここで、登録画像データベースと照合するとは、入力画像と登録画像との類似度を判定することにより、入力画像に含まれる対象物が、登録画像データベースに登録されている対象物のうちのいずれであるかを特定したり、特定するための候補を選定したりする処理のことである。
【００１７】
また、類似度とは、例えば、入力画像から抽出される特徴量と登録画像から抽出される特徴量とを比較して得られる、いわゆる認証スコアのことである。
【００１８】
また、上記対象物とは、人物および車をはじめパターン認識可能な物体等のことをいう。なお、対象物は、ある対象物の一部であってもよい。例えば、ある対象物が人物であるときにおいて、当該ある対象物の一部である人物の顔の関係が挙げられる。
【００１９】
上記構成によれば、まず、入力画像の撮影条件を取得し、また、登録画像データベースから登録画像の撮影条件を取得する。
【００２０】
ここで、撮影条件は、上記対象物に関するものであり、対象物が撮影されたときの環境や状態のことを意味する。また、対象物が撮影されたときの撮影条件としては、撮影を行うときの環境に関する条件と、被写体となる対象物の状態に関する条件が含まれる。
【００２１】
撮影を行うときの環境に関する条件としては、例えば、上記対象物が人物である場合、人物の顔の向き、いいかえれば人物に対するカメラ等の撮影手段の向きが挙げられる。また、他にも、撮影を行うときの環境に関する条件としては、顔の表情、照明の向き・強さ、射光の具合、および影のかかり具合などが挙げられる。
【００２２】
また、被写体となる人物の状態に関する条件としては、例えば、人物の推定年齢、性別など、人物の外観から推定できる条件が挙げられる。
【００２３】
また、撮影条件は、所定の精度における連続の値をとってもよいし、カテゴリー分けされた条件のいずれの条件に属するかを示す分類であってもよい。
【００２４】
連続値としては、例えば、対象物の撮影の角度が挙げられる。さらに対象物が人物の場合であれば、例示的には顔の向きの角度が挙げられる。この場合、角度は、整数値であってもよい。また、このように撮影条件として角度の整数値を採用する場合でも、実際には、「５度ごと」の精度で値が設定されてもよく、「１５度、２０度、２５度…」のように飛び飛びの値をとるようになっていてもよい。また、逆に、角度は、小数点第何位まで求める精度であってもよい。
【００２５】
分類としては、対象物が人物の場合であれば、人物の性別、顔の大まかな向きが挙げられる。なお、顔の大まかな向きとは、正面や、右または左を向いていることを示す分類のことである。
【００２６】
なお、撮影条件は、対象物が撮影された画像から周知のアルゴリズムで抽出されたものであってもよいし、手動にて入力されたものであってもよい。
【００２７】
さらに、上記構成において決定する重み付けは、例えば、登録画像の撮影条件と、上記入力画像の撮影条件との近さに基づいて決定される。撮影条件の近さとは、人物の顔の向きの角度であれば、その角度がどれだけ近いかということである。また、顔の大まかな向きであれば、予め撮影条件の近さを定義しておけばよく、例えば、左と右との関係よりも、右と正面との関係のほうが近いと定義しておくことができる。
【００２８】
さらに、上記構成では、対象物ごとに、登録画像の撮像条件が取得され、重み付けおよび類似度が算出される。そして、登録画像の類似度に重み付けを適用して登録画像データベースとの照合を行う。
【００２９】
上記重み付けにより、入力画像の撮影条件により近い撮影条件を有する登録画像が照合において重視されるようにすることができる。また、逆に、入力画像の撮影条件から遠い撮影条件を有する登録画像については、照合における影響力を小さくすることができる。
【００３０】
この結果、ある撮影条件において撮影された対象物が、当該ある撮影条件と同一または近似する撮影条件において撮影された対象物について登録されている登録画像の存在により、別の対象物と誤認されてしまう可能性を低減することができる。
【００３１】
また、別の観点からいえば、入力画像の撮影条件と、登録画像の撮影条件とが異なることに起因して、入力画像の対象物と、登録画像の対象物とが同一なのに正しく認証されなくなる可能性を低減することができる。
【００３２】
本発明に係る画像認証装置では、上記登録画像データベースに、１以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されていることが好ましい。
【００３３】
上記構成では、上記登録画像データベースにおいて、１以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されている。すなわち、１以上の対象物について、登録画像と、該登録画像の対象物に関する撮影条件とが対応づけられた登録が複数ある。
【００３４】
よって、例えば、重み付けは複数の登録画像に対して決定される。また、例えば、類似度の算出も登録画像ごとに行う。そして、重み付けを適用した類似度に基づいて照合を行う。
【００３５】
このとき、重み付けを適用した類似度を加算して、照合に用いる類似度を算出してもよい。また、それぞれの登録画像に対する重み付けは、その総和が１となるような値であってもよい。つまり、照合に用いる類似度は、重み付け平均によって算出してもよい。
【００３６】
上記構成によれば、ある対象物について、異なる撮影条件が登録画像とともに登録されている場合において、照合精度の向上を図ることができる。
【００３７】
本発明に係る画像認証装置では、一の対象物について登録されている上記登録画像の上記撮影条件と他の対象物について登録されている上記登録画像の上記撮影条件との近さである撮影条件近さに応じて、上記対象物それぞれについて登録されている上記複数の登録画像から、重み付けを適用すべき上記登録画像を選択する選択手段を備え、上記重み付け適用手段は、上記選択手段により選択された登録画像について算出された類似度に、重み付けを適用することが好ましい。
【００３８】
上記構成によれば、撮影条件近さに応じて選択された登録画像について算出された類似度に重み付けが適用される。なお、選択される登録画像の数は、対象物ごとに異なっていてもよいし、対象物の間で同じであってもよい。
【００３９】
ここで、登録画像を選択するとは、別の観点からいえば、選択された登録画像について算出された類似度が照合において用いられるということを意味する。逆に言えば、選択されない登録画像について算出された類似度は、照合において無視することになる。
【００４０】
よって、「登録画像を選択する」ことには、例えば、その登録画像について算出された類似度に適用する重み付けの係数を非ゼロにすることが含まれる。また、「登録画像を選択しない」ことには、例えば、その登録画像について算出された類似度に適用する重み付けの係数を“０”にすることが含まれる。
【００４１】
よって、入力画像の照合において、照合に用いる登録画像の撮影条件を、対象物の間である程度合わせておくことができる。
【００４２】
この結果、撮影条件の違いから、同一の対象物を別の対象物と誤認証したり、別の対象物を同一の対象物と誤認証したりすることを防ぐことができる。
【００４３】
本発明に係る画像認証装置では、上記選択手段は、対象物それぞれについて、同じ数の登録画像を選択することが好ましい。
【００４４】
上記構成によれば、対象物それぞれにおいて、選択される登録画像の数を揃えることができる。選択する数は、例えば、登録画像の数が最も少ない対象物に合わせることができる。つまり、登録画像が１つしか登録されていない対象物がある場合、選択する数は１である。
【００４５】
これにより、対象物それぞれにおいて、少なくとも１枚は登録画像が選択されることになる。
【００４６】
よって、登録画像の数が少なく、登録されている登録画像の撮影条件が入力画像の撮影条件と所定以上離れている対象物が、照合の対象から外れてしまうことを防ぐことができる。
【００４７】
本発明に係る画像認証装置では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件とが近似しているか否かを判定する撮影条件近似判定手段と、上記撮影条件近似判定手段が近似していると判定した数に応じて、上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることが好ましい。
【００４８】
上記構成では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件とが近似しているか否かを判定する。そして、撮影条件が近似していると判定された数を計上して、具体的に、撮影条件近さを算出することができる。
【００４９】
なお、上述のとおり、撮影条件には、顔の表情、照明の向き・強さ、射光の具合、および影のかかり具合等、複数の条件が含まれる場合がある。
【００５０】
上記構成によれば、例えば、撮影条件に複数の条件が含まれている場合でも、具体的に、計上した数に従って登録画像相互における撮影条件近さを算出可能である。
【００５１】
撮影条件に複数の条件が含まれている場合において、例えば、近似していると判定した条件の数がより多いときに、より撮影条件の近さが近いことを示す値を算出することができる。なお、上記構成には、撮影条件に含まれる全ての条件が近似しているとき選択手段の選択対象とする構成も含まれる。
【００５２】
また、上記構成と、条件ごとに順位付けを行うためにデータのソート処理を行う構成とを比較した場合次のとおりである。
【００５３】
ソート処理を行う構成では、電子計算機としての画像認証装置の側面を考慮すると、ソート処理に多くの計算機資源が用いられることが想定される。これに対し、上記構成は、判定結果を計上するだけで済むため、処理にかかる計算機資源の低減を図ることができる。
【００５４】
本発明に係る画像認証装置では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件との近さの順位付けをする登録条件順位付け手段と、上記登録条件順位付け手段による上記順位付けに応じて上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることが好ましい。
【００５５】
上記構成では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件との近さの順位付けをする。そして、近さの順位付けに従って、具体的な撮影条件近さを算出することができる。
【００５６】
また、上記構成によれば、例えば、撮影条件に複数の条件が含まれている場合でも、具体的に、登録画像相互における撮影条件の順位を定義可能である。このような場合、条件ごとになされた順位付けに応じて撮影条件近さを算出する。例えば、より高い順位付けがされた条件をより多く含む撮影条件同士はより撮影条件近さが近いとすることができる。また、上記構成には、最高位の順位付けがされた条件をより多く含む撮影条件が選択手段の選択対象となる構成も含まれる。
【００５７】
本発明に係る画像認証装置では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件とが近似しているか否かを、それぞれ判定する入力条件判定手段と、上記入力条件判定手段が近似していると判定した数に応じて、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することを特徴とすることが好ましい。
【００５８】
上記構成では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件とが近似しているか否かを判定する。そして、撮影条件が近似していると判定された数を計上して、具体的に、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さを算出することができる。
【００５９】
上記構成によれば、例えば、撮影条件に複数の条件が含まれている場合でも、具体的に、計上した数に従って上記近さを算出する。
【００６０】
撮影条件に複数の条件が含まれている場合において、例えば、近似していると判定した条件の数がより多いときに、より上記近さが近いことを示す値を算出することができる。
【００６１】
また、上記構成と、条件ごとに順位付けを行うためにデータのソート処理を行う構成とを比較した場合次のとおりである。
【００６２】
ソート処理を行う構成では、計算機としての画像認証装置の側面を考慮すると、ソート処理に多くの計算機資源が用いられることが想定される。これに対し、上記構成は、判定結果を計上するだけで済むため、処理にかかる計算機資源の低減を図ることができる。
【００６３】
本発明に係る画像認証装置では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの順位付けをする入力条件順位付け手段と、上記入力条件順位付け手段による上記順位付けに従って、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することが好ましい。
【００６４】
上記構成では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの順位付けをする。上記構成では、この順位付けに従って、具体的に、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さを算出する。
【００６５】
上記構成によれば、撮影条件に複数の条件が含まれている場合でも、具体的に、登録画像相互における撮影条件の順位を定義可能である。このような場合、条件ごとになされた順位付けに応じて上記近さを算出する。例えば、より高い順位付けがされた条件をより多く含む撮影条件同士はより上記近さが近いとすることができる。また、上記構成には、最高位の順位付けがされた条件をより多く含む撮影条件が選択手段の選択対象となる構成も含まれる。
【００６６】
本発明に係る画像認証装置では、上記登録画像の上記撮影条件には、複数の条件が含まれていることが好ましい。
【００６７】
上記構成によれば、撮影条件に含まれる複数の条件について、近似判定または順位付けを行う。そして、近似判定または順位付けに基づいて、上記近さ、または、上記撮影条件近さを算出する。このように、複数の条件から近さを算出するので、算出する近さの精度向上を図ることができる。
【００６８】
本発明に係る画像認証装置では、上記対象物が人物の顔であることが好ましい。
【００６９】
すなわち、上記構成においては、入力画像は、人物の顔が撮影された顔画像であり、上記登録画像データベースには、人物ごとに該人物の顔を撮影して得られた顔画像が登録されている。
【００７０】
上記構成によれば、人物の顔を精度よく照合することができるという効果を奏する。
【００７１】
なお、上記画像認証装置と、上記入力画像を上記画像認証装置に供給する画像入力装置と、を備える画像処理システムを好ましく構成することができる。
【００７２】
画像処理システムの例としては、プリンタ、スキャナ、パーソナルコンピュータや、デジタルカメラなどデジタル画像を処理するものが挙げられる。また、上記画像認証装置と、上記画像入力装置との間が通信ネットワークにより接続されている構成を採用することも可能である。
【００７３】
また、上記画像認証装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより画像認証装置をコンピュータにて実現させる画像認証装置制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００７４】
上記の課題を解決するために、本発明に係る画像認証装置は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されており、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、を備える構成である。
【００７５】
上記の課題を解決するために、本発明に係る画像認証方法は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含む方法である。
【００７６】
よって、入力画像の撮影条件と、登録画像の撮影条件とが異なることに起因して、同一の対象物を異なる対象物と誤認してしまったり、異なる対象物同士を同一の対象物と誤認してしまったりすることを防ぐことができる。
【図面の簡単な説明】
【００７７】
【図１】本発明の一実施形態に係る顔認証装置の概略的構成について示した機能ブロック図である。
【図２】登録人物情報のデータ構造について例示した図である。
【図３】上記顔認証装置における顔画像登録処理の流れについて例示したフローチャートである。
【図４】上記顔認証装置における顔画像認証処理の流れについて例示したフローチャートである。
【図５】重み付き認証スコアを用いた認証の実施例について示す図である。
【図６】重み決定部が備える各機能部について説明した機能ブロック図である。
【図７】上記顔認証装置における登録画像ごとの重み決定処理の流れについて例示したフローチャートである。
【図８】登録画像ごとの重み決定処理の実施例について示す図である。
【図９】重み決定部における登録画像ごとの重み決定処理の流れの別の例について示したフローチャートである。
【図１０】本発明の別の実施形態に係る顔認証装置の概略的構成について示した機能ブロック図である。
【図１１】上記顔認証装置における顔画像登録処理の流れについて例示したフローチャートである。
【図１２】上記顔認証装置における顔画像認証処理の流れについて例示したフローチャートである。
【図１３】上記顔認証装置における顔画像登録処理および顔画像認証処理の実施例について示す図である。
【図１４】登録画像選択部の構成例について示した機能ブロック図である。
【図１５】『顔情報データにより登録画像を選択する処理』の詳細について例示するフローチャートである。
【図１６】上記構成例に係る『顔情報データにより登録画像を選択する処理』の実施例について示す図である。
【図１７】登録画像選択部の別の構成例について示した機能ブロック図である。
【図１８】本発明のさらに別の実施形態に係る顔認証装置の概略的構成について示した機能ブロック図である。
【図１９】登録画像選択部の詳細な構成例を示した機能ブロック図である。
【図２０】上記顔認証装置における顔画像登録処理の流れについて例示したフローチャートである。
【図２１】『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
【図２２】上記顔認証装置における顔画像登録処理および顔画像認証処理の実施例について示す図である。
【図２３】『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
【図２４】上記『顔情報データにより登録画像を選択枚数分だけ選択する処理』の実施例について示す図である。
【発明を実施するための形態】
【００７８】
〔実施形態１〕
本発明の顔認証装置に関する一実施形態について図１〜図９を参照して説明する。
【００７９】
図１に示すとおり、顔認証システム（画像処理システム）１００は、顔認証装置（認証装置）１および画像入力装置５を備える構成である。
【００８０】
顔認証装置（画像認証装置）１は、画像入力装置５から入力された画像を認証する装置である。顔認証装置１における認証処理には、「顔画像登録処理」および「顔画像認証処理」の２つの手順が含まれる。まず、第１に、「顔画像登録処理」において、顔認証装置１に、認証に用いる画像を登録しておく。そして、第２に、「顔画像認証処理」において、入力された画像と、登録されている画像とを照合して認証を行う。
【００８１】
なお、以下において、“認証”の用語は、例示的に、入力された画像に撮影されている人物の顔が、登録されているいずれかの画像に撮影されている人物の顔とが一致するか否かを照合して、これにより人物を特定する処理のことを意味することとする。
【００８２】
画像入力装置５は、人物の顔が撮影された撮影画像を顔認証装置１に入力する装置である。画像入力装置５は、例えば、被写体である人物の顔を撮影して画像を生成するデジタルカメラ等により構成することができる。
【００８３】
なお、以下、撮影画像には、人物の顔が撮影されていることとするが、撮影の被写体は、人物の顔に限られない。すなわち、対象となる被写体は、任意に選択可能である。また、以下、必要に応じて、「顔画像登録処理」において、登録のために顔認証装置１に入力する撮影画像を、“登録対象画像Ａ２”と称し、「顔画像認証処理」において、認証の対象とするために顔認証装置１に入力する撮影画像を、“入力画像Ａ１”と称して区別する。また、“入力画像Ａ１”と、“登録対象画像Ａ２”とをとくに区別する必要が無い場合には、単に“撮影画像”と称する。
【００８４】
（顔認証装置）
図１を用いて、顔認証装置１の各種構成について説明すると次のとおりである。図１に示すとおり、顔認証装置１は、操作部１１、表示部１２、記憶部２０および制御部３０を備える構成である。
【００８５】
操作部１１は、ユーザから各種の入力を受け付けるものであり、例えば、入力用ボタン、キーボード、テンキー、マウスなどのポインティングデバイス、タッチパネル、その他の入力デバイスによって構成される。操作部１１は、受け付けたユーザの操作に応じて操作データを生成し、生成した操作データを制御部３０に送信する。
【００８６】
表示部１２は、ユーザに対して、情報提供を行うための画面表示を行うものである。表示部１２は、制御部３０から受信した画面データに基づいて、表示画面に文字や画像などの各種の情報を表示する。表示部１２は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）ディスプレイなどの表示装置によって構成される。
【００８７】
記憶部２０は、各種データおよびプログラムを記憶するものである。記憶部２０の構成としては、例えば、ハードディスク等の不揮発性の記憶装置と、制御部３０が動作するときに必要なプログラムや、各種制御に用いる固定データを記憶する読出し専用の半導体メモリであるＲＯＭ（Read Only Memory）と、演算に使用するデータ、および演算結果などを一時的に記憶する、いわゆるワーキングメモリとしてのＲＡＭ（Random Access Memory）と、各種の設定データなどを記憶する書換え可能な不揮発性メモリ（例えばフラッシュメモリ）とが挙げられる。なお、記憶部２０の詳細については後述する。
【００８８】
制御部３０は、顔認証装置１における各種機能を統括的に制御するものである。制御部３０の制御機能は、制御プログラムをＣＰＵ（Central Processing Unit）などの処理装置が実行することによって実現される。この制御プログラムは、例えば、ＲＡＭやフラッシュメモリなどの記憶素子としての記憶部２０に記憶されていてもよいし、ハードディスクなどにインストールされたものを読み込んで使用する形態であってもよい。なお、制御部３０の詳細については後述する。
【００８９】
（記憶部の詳細について）
次に、図１および図２を用いて、記憶部２０の詳細について説明する。図１に示すとおり、記憶部２０は、登録画像データベース２１と重みデータ記憶部２２とを備える構成である。
【００９０】
登録画像データベース２１は、認証に用いる画像を人物ごとに登録しておくためのものである。登録画像データベース２１の登録内容について、より具体的に例示すると、次のとおりである。
【００９１】
まず、図１に示すように、登録画像データベース２１には、複数の登録人物情報Ｐが登録される。
【００９２】
ここで、図２を用いて登録人物情報Ｐの詳細について説明すると次のとおりである。図２は、登録人物情報Ｐのデータ構造の例を示す図である。
【００９３】
図２に示すように、登録人物情報Ｐには、一例として、登録人物の名前（ＩＤ）が付されて識別可能となっている。また、登録人物情報Ｐには、複数の登録画像Ｒが登録される。
【００９４】
登録画像Ｒは、認証に用いる画像およびその関連情報を含むものであり、具体的には、撮影画像、顔特徴データ、および顔情報データを含むデータ構造である。なお、登録画像Ｒは、識別情報により識別される。
【００９５】
撮影画像には、登録対象画像Ａ２が格納される。なお、撮影画像には、このほか、画像Ａ２を加工した画像、例えば、サムネイルなどを格納してもよい。また、例えば、撮影画像には、フィルタ処理等の画像処理を施した登録対象画像Ａ２を格納してもよい。また、撮影画像は、登録人物情報Ｐのデータ構造から省略してもよい。
【００９６】
顔特徴データには、撮影画像に含まれる人物の顔の特徴を示す特徴量が格納される。特徴量とは、撮影画像に含まれる人物の顔において、顔全体や、目、鼻、口と認められる部位を定量化したものである。特徴量の例としては、輝度情報、周波数特性情報、および上記各部位の形状、位置、大きさ等を数値化した情報が挙げられる。
【００９７】
顔情報データには、撮影画像を撮影したときの人物の顔の状態や、環境、撮影条件を示す各種の情報が項目として含まれる。つまり、顔情報データには、撮影画像に含まれる人物の顔を解析することで取得できる撮影条件等を示す情報が項目として含まれる。具体的に例示すると、図２に示すように、顔情報データの項目としては、「顔の向き」、「顔の表情」等が挙げられる。このほか、同図に図示していないが、顔情報データの項目としては、「笑顔度」、「照明条件」、「射光度」等も挙げられる。
【００９８】
また、顔情報データに設定可能な値は、例示的には、所定の精度の連続値、あるいはカテゴリー分けされた条件のいずれの条件に属するかを示す分類である。
【００９９】
項目が、「顔の向き」である場合、連続値および分類の例は次のとおりである。
【０１００】
まず、連続値としては、顔の向きの角度が挙げられる。この場合、角度は、整数値であってもよく、例えば、０度が真正面から撮影したとき、９０度が人物を左側面から撮影したとき、−９０度が人物を右側面から撮影したときを表す。つまり、符号は、向きを表しており、符号なし（または正符号）は、左を表し、負符号は、右を表している。また、この場合、例えば、「０度、１度、２度…」のような値をとり得る。
【０１０１】
また、このように撮影条件として角度の整数値を採用する場合でも、実際には、「１５度ごと」の精度で値が設定されてもよく、「０度、１５度、３０度…」のように飛び飛びの値をとるようになっていてもよい。また、逆に、角度は、小数点第何位まで求める精度であってもよい。
【０１０２】
また、分類としては、顔の大まかな向きが挙げられる。なお、顔の大まかな向きとは、正面や、右または左を向いていることを示す分類のことである。この場合、例えば、正面とは、顔の向きの角度が「−４５度〜＋４５度」の範囲のとき、右向きは、顔の向きの角度が「−１３５度〜−４５度」の範囲のとき、左向きは、顔の向きの角度が「４５度〜１３５度」の範囲のときを表していてもよい。
【０１０３】
なお、「顔の向き」として、左右だけでなく、上下も表現できるようになっていても良い。例えば、第１要素が左右を表し、第２要素が上下を表す、２組のデータ表現で実現することができる。具体的には、（０，１０）といったデータ表現である。
【０１０４】
また、項目が「顔の表情」である場合、連続値および分類の例は次のとおりである。まず、連続値としては、笑顔の度合いを示す数値が挙げられる。すなわち、この数値は、無表情であるときは低い値をとり、微笑から笑顔になるに従って大きな値をとる。また、以下では、このような数値を特に「笑顔度」とも表現する。分類としては、この笑顔度を所定の範囲に区分して、各区分に「無表情」、「微笑」、「笑顔」を割り当てたものが挙げられる。
【０１０５】
また、項目が「照明条件」である場合、連続値および分類の例は次のとおりである。まず、連続値としては、光が射してくる方向の角度が挙げられる。また、連続値としては、光の当たり具合を示す数値が挙げられる（以下において、これを特に「射光度」とも表現する）。また、分類としては、光が射してくる方向の大まかな向きが挙げられる。これらは、「顔の向き」である場合に順ずるので、ここではその説明を省略する。
【０１０６】
他にも項目として、「年齢」、「性別」、「目の開き方」等各種の情報を採用することが可能である。
【０１０７】
（制御部の詳細について）
次に、図１を用いて、制御部３０の詳細について説明する。図１に示すように、制御部３０は、画像取得部３１、顔特徴データ抽出部３２、顔情報データ推定部（入力画像撮影条件取得手段、登録画像撮影条件取得手段）３３、重み決定部（重み付け決定手段）３４、認証スコア算出部（類似度算出手段）３５、重み付き認証スコア算出部（重み付け適用手段）３６、および認証結果出力部（画像認証手段）３７を備える。
【０１０８】
制御部３０が備える各部は、顔認証装置１における認証処理に含まれる「顔画像登録処理」と、「顔画像認証処理」とを実現している。
【０１０９】
「顔画像登録処理」は、画像取得部３１、顔特徴データ抽出部３２、顔情報データ推定部３３により実行される。
【０１１０】
「顔画像認証処理」は、画像取得部３１、顔特徴データ抽出部３２、顔情報データ推定部３３、重み決定部３４、認証スコア算出部３５、重み付き認証スコア算出部３６、および認証結果出力部３７により実行される。
【０１１１】
なお、図１において、各部を結ぶ破線矢印は、「顔画像登録処理」におけるデータ・制御等の流れを示しており、各部を結ぶ実線矢印は、「顔画像認証処理」におけるデータ・制御等の流れを示している。
【０１１２】
以下、制御部３０が備える各部について個別に説明していくと次のとおりである。
【０１１３】
画像取得部３１は、操作部１１における入力操作に応じて、画像入力装置５から撮影画像を取得するものである。画像取得部３１は、取得した撮影画像を顔特徴データ抽出部３２に転送する。画像取得部３１は、「顔画像登録処理」においては、操作部１１において入力される名前（ＩＤ）を取得して、登録対象画像Ａ２を、取得した名前（ＩＤ）に関する登録人物情報Ｐの登録画像Ｒとして登録画像データベース２１に登録するとともに、顔特徴データ抽出部３２に転送する。
【０１１４】
なお、画像取得部３１は、登録対象となる登録画像Ｒに識別情報を割り当てて登録画像データベース２１に登録する。画像取得部３１は、識別情報を自動的に生成して登録画像Ｒに割り当ててもよいし、操作部１１において入力された識別情報を取得して登録画像Ｒに割り当ててもよい。
【０１１５】
また、登録対象画像Ａ２に撮影されている人物がすでに登録画像データベース２１に登録されている場合、登録画像データベース２１に登録されている登録画像に基づいて認証処理を行い自動的に登録人物を特定するように構成してもよい。また、画像取得部３１は、「顔画像認証処理」においては、入力画像Ａ１を、顔特徴データ抽出部３２に転送する。
【０１１６】
顔特徴データ抽出部３２は、撮影画像に含まれる人物の顔を解析することにより、顔の各部位の特徴量である顔特徴データを抽出するものである。顔特徴データ抽出部３２は、「顔画像登録処理」においては、登録対象画像Ａ２から抽出した顔特徴データを、登録対象の登録画像Ｒの顔特徴データに格納するとともに、登録対象画像Ａ２を、顔情報データ推定部３３に転送する。
【０１１７】
また、顔特徴データ抽出部３２は、「顔画像認証処理」においては、入力画像Ａ１を、顔情報データ推定部３３に転送するとともに、入力画像Ａ１から抽出した顔特徴データを認証スコア算出部３５に送信する。
【０１１８】
顔情報データ推定部３３は、撮影画像を解析することにより、撮影時の顔の状態等の各種状態を推定して、推定した各種状態を示す顔情報データを生成するものである。顔情報データ推定部３３が各種状態を推定する手法には、特に制限はなく、公知の技術を採用することができる。
【０１１９】
また、顔情報データ推定部３３は、「顔画像登録処理」においては、登録対象画像Ａ２から生成した顔情報データを、登録対象の登録画像Ｒの顔情報データに格納する。
【０１２０】
また、顔情報データ推定部３３は、「顔画像認証処理」においては、入力画像Ａ１から生成した顔情報データを重み決定部３４に送信して、認証スコア算出部３５に制御を渡す。
【０１２１】
重み決定部３４は、認証スコア算出部３５が算出した認証スコアに対する重みを決定するものである。重み決定部３４は、登録画像の識別情報と、対応する重みとを対応づけて重みデータ記憶部２２に記憶する。重み決定部３４の重み決定手法については、後に詳しく説明する。
【０１２２】
認証スコア算出部３５は、入力画像と、登録画像とのマッチングを行って、両者の近似の度合いを示す認証スコアを算出するものである。具体的には、認証スコア算出部３５は、入力画像の顔特徴データと、各人物について登録されている複数の登録画像の顔特徴データとをそれぞれ比較して、認証スコアを算出する。なお、認証スコアの算出方法には特に制限はなく、公知の技術を採用することができる。
【０１２３】
重み付き認証スコア算出部３６は、重み決定部３４が決定した重みを、認証スコア算出部３５が算出した認証スコアのそれぞれに適用した重み付き認証スコアを算出するものである。すなわち、重み付き認証スコア算出部３６は、重み決定部３４が決定した重みを重みデータ記憶部２２から読み出して、認証スコア算出部３５が算出した認証スコアのそれぞれに適用することで重み付き認証スコアを算出する。
【０１２４】
重み付き認証スコア算出部３６は、一例として、各認証スコアを重み付け平均化した重み付き認証スコアを算出する。重み付き認証スコアの算出過程の詳細については、後述する。
【０１２５】
認証結果出力部３７は、重み付き認証スコア算出部３６が算出した重み付き認証スコアに基づいて入力画像Ａ１の認証を行って、その認証結果を表示部１２に出力するものである。認証結果出力部３７は、認証結果として、特定した人物の名前を出力してもよいし、これとともに代表的な撮影画像を出力してもよい。
【０１２６】
（顔画像登録処理の流れ）
次に、図３を用いて、ある人物の顔を撮影した撮影画像を登録対象画像として登録する顔画像登録処理の流れについて説明する。図３は、顔認証装置１における顔画像登録処理の流れについて例示したフローチャートである。
【０１２７】
図３に示すように、顔画像登録処理では、まず顔認証装置１の画像取得部３１が画像入力装置５から登録対象画像Ａ２を取得する（Ｓ１０）。顔認証装置１では、画像取得部３１が取得した登録対象画像Ａ２を登録画像データベース２１に登録人物情報Ｐの登録画像Ｒとして登録する。なお、一例として、画像取得部３１は、登録人物情報Ｐの名前（ＩＤ）を、操作部１１における入力から取得する。また、画像取得部３１は、登録画像の識別情報を自動生成する。
【０１２８】
続いて、顔特徴データ抽出部３２が、登録対象画像Ａ２を解析して、登録対象画像Ａ２に含まれる人物の顔に関する特徴データを抽出して、登録画像データベース２１に登録する。すなわち、顔特徴データ抽出部３２は、抽出した特徴データを登録画像Ｒに格納する（Ｓ１１）。
【０１２９】
そして、顔情報データ推定部３３が、登録対象画像Ａ２を解析した結果から生成した顔情報データを登録画像Ｒに格納する（Ｓ１２）。以上で、顔画像登録処理は終了する。
【０１３０】
（顔画像認証処理の流れ）
次に、図４を用いて、ある人物の顔を撮影した撮影画像を入力画像として認証する顔画像認証処理の流れについて説明する。図４は、顔認証装置１における顔画像認証処理の流れについて例示したフローチャートである。
【０１３１】
図４に示すように、顔画像認証処理においては、画像取得部３１が、画像入力装置５から入力される入力画像Ａ１を取得する（Ｓ２０）と、入力画像Ａ１を顔特徴データ抽出部３２に転送する。
【０１３２】
次に、顔特徴データ抽出部３２は、入力画像Ａ１を解析して、入力画像Ａ１から顔特徴データを抽出する（Ｓ２１）
続いて、顔情報データ推定部３３は、入力画像Ａ１を解析して、解析結果から顔情報データを生成する（Ｓ２２）。
【０１３３】
続いて、重み決定部３４は、登録画像ごとに、入力画像Ａ１の解析結果から生成された顔情報データと、登録画像の顔情報データとに基づいて重みを決定する（Ｓ２３）。なお、このステップＳ２３における『登録画像ごとの重み決定処理』の詳細については、後述する。
【０１３４】
続いて、認証スコア算出部３５が、登録画像ごとに、入力画像の顔特徴データと登録画像の顔特徴データとの比較により、認証スコアを算出する（Ｓ２４）。
【０１３５】
続いて、重み付き認証スコア算出部３６は、登録画像ごとに算出した認証スコアに、登録画像ごとに決定した重みを適用した重み付き認証スコアを計算する（Ｓ２５）。
【０１３６】
そして、認証結果出力部３７が、重み付き認証スコアを用いて入力画像Ａ１の認証を行って、その認証結果を表示部１２に出力する（Ｓ２６）。以上で顔画像認証処理は終了する。
【０１３７】
（実施例）
以下において、図５を用いて、重み付き認証スコアを用いた認証の実施例について説明する。本実施例では、以下の前提条件のもと、どのように顔画像認証処理が行われるかについて、図４を用いて説明したフローチャートの流れに沿って説明する。
【０１３８】
まず、登録画像データベース２１には、登録人物情報Ｐ１および登録人物情報Ｐ２が登録されている。登録人物情報Ｐ１および登録人物情報Ｐ２について登録されている登録画像の顔情報データには、「照明条件」および「顔の向き」の項目が含まれている。項目の設定値には、分類を用いている。
【０１３９】
登録人物情報Ｐ１は、“Ａさん”についての登録であり、“Ａさん”はやや面長な顔つきをしている。また、登録人物情報Ｐ１について、登録画像Ｒ１１および登録画像Ｒ１２の２つが登録されている。登録画像Ｒ１１の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像Ｒ１２の「照明条件」および「顔の向き」には、それぞれ、“射光”および“正面”が設定されている。
【０１４０】
また、登録人物情報Ｐ２は、“Ｂさん”についての登録であり、“Ｂさん”は、“Ａさん”と比べると丸顔である。また、登録人物情報Ｐ２について、登録画像Ｒ２１および登録画像Ｒ２２の２つが登録されている。登録画像Ｒ２１の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像Ｒ２２の「照明条件」および「顔の向き」には、それぞれ、“射光”および“正面”が設定されている。
【０１４１】
また、認証の対象となる入力画像Ａ１は、“Ａさん”が正面から均一光のもとで撮影されているものである。
【０１４２】
上記前提条件のもと、顔認証装置１は、以下のごとく顔画像認証処理を行う。
【０１４３】
まず、入力画像Ａ１が入力されると（Ｓ２０）、顔特徴データ抽出部３２が、入力画像Ａ１の顔特徴データを抽出する（Ｓ２１）。そして、顔情報データ推定部３３が、入力画像Ａ１の顔情報データを生成する（Ｓ２２）。顔情報データ推定部３３は、入力画像Ａ１から、「照明条件」として“均一光”、「顔の向き」として“正面”を得る。
【０１４４】
続いて、重み決定部３４が、入力画像Ａの顔情報データと、登録画像の顔情報データとを比較することにより、登録画像ごとの重みを決定する（Ｓ２３）。ここでは、登録人物情報Ｐ１、Ｐ２の登録画像が順に登録画像データベース２１から読み出されて比較される。
【０１４５】
例えば、登録人物情報Ｐ１についていえば、登録画像Ｒ１１の顔情報データは、入力画像の顔情報データと一致している。また、登録画像Ｒ１２の顔情報データは、「顔の向き」については、“正面”であるから入力画像Ａ１の顔情報データと一致するものの、「照明条件」については、“射光”であるから入力画像Ａ１の顔情報データと一致しない。
【０１４６】
このため、重み決定部３４は、登録画像Ｒ１１に対して登録画像Ｒ１２よりも大きな重みを割り当てる。例えば、図５に示すように、重み決定部３４は、登録画像Ｒ１１に対する重みＷ１１に“０．８”を割り当て、登録画像Ｒ１２に対する重みＷ１２に“０．２”を割り当てる。さらにいえば、重みＷ１１、Ｗ１２は、重み付け平均のために用いられるため、重みＷ１１と重みＷ１２との和は、“１．０”になるように算出されている。
【０１４７】
また、登録人物情報Ｐ２についても同様に、登録画像Ｒ２１の顔情報データは、入力画像の顔情報データと一致している一方で、登録画像Ｒ２２の顔情報データは、入力画像の顔情報データと一部相違している。
【０１４８】
このため、重み決定部３４は、登録画像Ｒ２１に対して登録画像Ｒ２２よりも大きな重みを割り当てる。例えば、図５に示すように、重み決定部３４は、登録画像Ｒ２１に対する重みＷ２１に“０．８”を割り当て、登録画像Ｒ２２に対する重みＷ２２に“０．２”を割り当てる。重みＷ２１と重みＷ２２との和が、“１．０”になるのは、重みＷ１１の場合と同様である。
【０１４９】
次に、認証スコア算出部３５が、登録人物情報Ｐ１の登録画像Ｒ１１、Ｒ１２と、登録人物情報Ｐ２の登録画像Ｒ２１、Ｒ２２とを順に、入力画像Ａ１と比較して認証スコアを算出する（Ｓ２４）。
【０１５０】
登録画像Ｒ１１は、顔情報データが、入力画像Ａ１と一致しており、なおかつ入力画像Ａ１と同じ“Ａさん”から抽出された顔抽出データが格納されているので、認証スコア算出部３５は、登録画像Ｒ１１について高い認証スコアを算出する。また、登録画像Ｒ１１は、入力画像Ａ１と同じ“Ａさん”から抽出された顔抽出データが格納されているものの、顔情報データが一部相違しており、これが外観にも影響しているので、認証スコア算出部３５は、登録画像Ｒ１２について、登録画像Ｒ１１よりも低い認証スコアを算出する。
【０１５１】
よって、例えば、図５に示すように、認証スコア算出部３５は、登録画像Ｒ１１の認証スコアＣ１１を“８００”と算出し、登録画像Ｒ１２の認証スコアＣ１２を“７００”と算出する。
【０１５２】
一方、登録画像Ｒ２１は、顔情報データが、入力画像Ａ１と一致しているが、入力画像Ａ１と異なり“Ｂさん”から抽出された顔特徴データが格納されたものであるので、認証スコア算出部３５は、登録画像Ｒ２１について、登録画像Ｒ１１よりも低い認証スコアを算出する。また、登録画像Ｒ２２は、顔情報データも、撮影されている人物も、入力画像Ａ１とは異なるので、認証スコア算出部３５は、登録画像Ｒ２２について、登録画像Ｒ１２よりも低い認証スコアを算出する。
【０１５３】
よって、例えば、図５に示すように、認証スコア算出部３５は、登録画像Ｒ２１の認証スコアＣ２１を“７００”と算出し、登録画像Ｒ２２の認証スコアＣ２２を“２００”と算出する。
【０１５４】
次に、重み付き認証スコア算出部３６が、ステップＳ２３で決定された重みを、ステップＳ２４で算出された認証スコアに適用して、重み付け平均された認証スコアを算出する（Ｓ２５）。
【０１５５】
すなわち、登録人物情報Ｐ１についての重み付き認証スコアＣ１０は、『認証スコアＣ１１×重みＷ１１＋認証スコアＣ１２×重みＷ１２』により算出される。ゆえに、重み付認証スコアＣ１０＝８００×０．８＋７００×０．２＝７８０である。
【０１５６】
一方、登録人物情報Ｐ２についての重み付き認証スコアＣ２０についても同様に、重み付き認証スコアＣ２０＝７００×０．８＋２００×０．２＝６００である。
【０１５７】
次に、認証結果出力部３７は、登録人物情報Ｐ１についての重み付き認証スコアＣ１０のほうが、登録人物情報Ｐ２についての重み付き認証スコアＣ２０よりも大きいので、入力画像Ａ１の認証結果として、登録人物情報Ｐ１の名前“Ａさん”を返す（Ｓ２６）。
【０１５８】
なお、本実施例では、重みの総和が“１．０”となるように構成したが、これに限られない。例えば、ある登録人物情報について登録画像が１枚しかない場合は、これに限られず、０以上の範囲で近似項目数に応じた重みを決定してもよい。
【０１５９】
（作用・効果）
以上のように、本発明に係る画像認証装置１は、対象物が撮影された入力画像Ａ１を、登録画像データベース２１と照合することにより、入力画像Ａ１に含まれる人物を認証する画像認証装置１において、登録画像データベース２１では、上記人物を撮影して得られた登録画像Ｒと、登録画像Ｒの人物の顔に関する撮影条件とが対応付けられて登録されており、入力画像Ａ１の顔情報データを推定する顔情報データ推定部３３と、登録画像Ｒの顔情報データと入力画像Ａ１の顔情報データとの近さに応じた重み付けを決定する重み決定部３４と、入力画像Ａ１と登録画像Ｒとの間で認証スコアを算出する認証スコア算出部３５と、認証スコアに、対応する登録画像Ｒについて決定された重み付けを適用する重み付き認証スコア算出部３６と、重み付け認証スコアに基づいて入力画像Ａ１を照合する認証結果出力部３７と、を備える構成である。
【０１６０】
上記構成によれば、入力画像Ａ１の顔情報データと、登録画像Ｒの顔情報データとが異なることに起因して、同一の人物を異なる人物と誤認してしまったり、異なる人物同士を同一の人物と誤認してしまったりすることを防ぐことができる。
【０１６１】
なお、以上において、認証とは、例示的に、入力された画像に撮影されている人物の顔が、登録されているいずれかの画像に撮影されている人物の顔とが一致するか否かを照合して、これにより人物を特定する処理のことをさすこととしたが、これに限られない。
【０１６２】
例えば、認証処理において、人物の特定まではせずに、照合の結果得られた認証スコアのリストを出力するよう顔認証装置１を構成してもかまわない。言い換えれば、顔認証装置１は、人物を特定するための候補を選定した結果を認証結果として出力してもかまわない。
【０１６３】
また、対象となる被写体は、任意に選択可能であることを説明したが、具体的には、車や車のナンバープレートなどを被写体とすることが可能である。すなわち、パターン認識により識別可能な対象物を被写体とすることが可能である。
【０１６４】
（重み決定部）
以下において、図６〜図８を参照しながら、重み決定部３４が行う重み決定の詳細について説明する。
【０１６５】
まず、図６を用いて、重み決定部３４の詳細構成について説明すると次のとおりである。図６は、重み決定部３４が備える各機能部について説明した機能ブロック図である。
【０１６６】
図６に示すように、重み決定部３４は、顔情報データ比較部（入力条件判定手段、入力条件順位付け手段、近さ算出手段）３４１と、重み計算部（重み付け決定手段）３４２と、重み出力部３４３と、を備える構成である。
【０１６７】
顔情報データ比較部３４１は、入力画像の顔情報データと、登録画像の顔情報データとを比較することで顔情報データの近さを判定して、近い項目がいくつあるかを示す近似項目数を計上するものである。
【０１６８】
ここで、顔情報データ比較部３４１は、例示的に、次のように顔情報データの近さを判定して、近似項目数をカウントする。
【０１６９】
まず、顔情報データ比較部３４１は、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目とをそれぞれ比較して、項目同士の近さを判定する。
【０１７０】
顔情報データ比較部３４１による項目同士の近さの判定では、項目同士が一致しているか否か、あるいは、一致していなくても項目同士が所定の近さであるか否かが判定される。
【０１７１】
ここで、顔情報データ比較部３４１は、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目とが一致すれば、近似項目数をカウントアップする。
【０１７２】
また、顔情報データ比較部３４１は、項目の設定が連続値である場合、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目とが所定の近さであるか否かを判定する。そして、顔情報データ比較部３４１は、所定の近さであると判定したときには、近似項目数をカウントアップする。顔情報データ比較部３４１は、所定の近さであるか否かの判断に閾値を用いる。
【０１７３】
項目が「顔の向き」の場合について例示すると次のとおりである。「顔の向き」が連続値の場合、顔情報データ比較部３４１は、例えば、「±１５度」の閾値を基準に近さを判断することができる。
【０１７４】
このとき、具体的には、顔情報データ比較部３４１は、入力画像の顔情報データに含まれる「顔の向き」が、「右１０度」で、登録画像の顔情報データに含まれる「顔の向き」が、「正面０度」であるときは、両者の差分は「１０度」となる。このため、顔情報データ比較部３４１は、閾値の範囲内にあると判定し、両者が所定の近さであると判断する。
【０１７５】
また、「顔の向き」が分類の場合、顔情報データ比較部３４１は、一致した場合のみ近似項目数をカウントアップする。
【０１７６】
顔情報データ比較部３４１は、カウントした近似項目数を重み計算部３４２に送信する。
【０１７７】
重み計算部３４２は、顔情報データ比較部３４１が各登録画像についてカウントした近似項目数に応じて、各登録画像について算出された認証スコアに対する重みを計算する。重み付けの具体的実施例については、後述する。
【０１７８】
なお、重み計算部３４２が各登録画像について算出する重み付けは、例示的に、平均化のためのものとしているので、足し合わせると“１．０”になるように調整される。また、重み計算部３４２が各登録画像について算出する重み付けには、“０”が含まれていてもよい。また、重み計算部３４２が各登録画像について算出する重み付けは、登録人物情報ごとに異なっていてもよい。
【０１７９】
また、重み計算部３４２は、各登録画像について判定した近似項目数に差がない場合は、すべて同じ重みになるよう重み付けを決定してもよい。このような場合としては、例えば、近似項目数がすべて“０”であるときが挙げられる。さらにいえば、各項目が分類であるときであって、顔情報データ比較部３４１の比較結果において、比較する項目の間で一致するものが全くないとき、近似項目数がすべて“０”となる。
【０１８０】
このような場合、各登録画像に対する重みは、“１．０”を登録画像の数で割って得られた値となり、結果として、重みつき認証スコアは、各認証スコアの相加平均となる。
【０１８１】
また、重み計算部３４２は、ある登録人物情報のなかで近似項目数が一番大きくなる登録画像であって、かつ、ある登録人物情報と他の登録人物情報との間で近似項目数が一番小さくなる登録画像の重みをより高く設定してもよい。
【０１８２】
重み出力部３４３は、登録画像ごとに計算された重みを、登録画像の識別情報に対応付けて重みデータ記憶部２２に記憶して、重み付き認証スコア算出部３６に制御を渡す。
【０１８３】
（登録画像ごとの重み決定処理）
次に、図７を用いて、『登録画像ごとの重み決定処理』の流れについて説明する。図７は、顔認証装置１における『登録画像ごとの重み決定処理』の流れについて例示したフローチャートである。
【０１８４】
図７に示すように、『登録画像ごとの重み決定処理』では、まず、顔情報データ比較部３４１が、各登録画像について、入力画像の顔情報データと、登録画像の顔情報データとを、項目ごとに比較する（Ｓ２３１）。
【０１８５】
次に、顔情報データ比較部３４１は、比較した結果、近い項目がいくつあるかを登録画像ごとにカウントする（Ｓ２３２）。すなわち、顔情報データ比較部３４１は、比較結果に応じて、登録画像ごとに近似項目数をカウントアップする。
【０１８６】
続いて、重み計算部３４２は、登録画像ごとに計上された近似項目数に応じて、登録画像ごとの重みを計算する（Ｓ２３３）。
【０１８７】
そして、重み出力部３４３が、重み計算部３４２が計算した重みを重みデータ記憶部２２に記憶する（Ｓ２３４）。以上で、登録画像ごとの重み決定処理が終了する。
【０１８８】
（実施例）
以下において、図８を用いて、登録画像ごとの重み決定処理の実施例について説明する。本実施例では、以下の前提条件のもと、どのように登録画像ごとの重み決定処理が行われるかについて、図７を用いて説明したフローチャートの流れに沿って説明する。
【０１８９】
まず、図８に示すように、登録画像データベース２１において、登録人物情報Ｐ２（Ｂさん）について、登録画像Ｒ２０１〜Ｒ２０６が登録されている。
【０１９０】
登録画像の顔情報データには、「顔の向き」、「笑顔度」、および「射光度」の項目が含まれている。項目の設定値には、連続値を用いている。
【０１９１】
登録画像Ｒ２０１〜Ｒ２０６の顔情報データの具体的な設定値は、図８に示すとおりである。ひとつ例示しておくと、登録画像Ｒ２０１の顔情報データについては、「顔の向き」、「笑顔度」、および「射光度」の項目として、それぞれ“０度”、“７００”および“０”が設定されている。
【０１９２】
なお、図８に例示する入力画像Ａ１００は、“Ｂさん”が撮影されたものである。また、入力画像Ａ１００の顔情報データについては、「顔の向き」、「笑顔度」、および「射光度」の項目として、それぞれ“３度”、“７２０”および“０”が設定されている。
【０１９３】
ここで、顔情報データ比較部３４１が、「顔の向き」、「笑顔度」、および「射光度」の項目について用いる閾値は、それぞれ“５度”、“３０”、および“１００”とする。
【０１９４】
上記前提条件のもと、重み決定部３４は、以下のごとく登録画像ごとの重み決定処理を行う。
【０１９５】
まず、入力画像の顔画像データに含まれる項目と、登録画像Ｒ２０１〜Ｒ２０６の顔情報データに含まれる各項目とをそれぞれ比較する（Ｓ２３１）。
【０１９６】
具体的には、登録画像Ｒ２０１〜Ｒ２０６の顔情報データに含まれる各項目の値と、入力画像の顔画像データに含まれる項目の値との差分が閾値以下であるか否かをそれぞれ比較する。
【０１９７】
登録画像Ｒ２０１について例示すると、以下のとおりである。登録画像Ｒ２０１の顔情報データの「顔の向き」は、“０度”であるのに対して、入力画像Ａ１００の顔情報データに含まれる「顔の向き」は、“３度”である。
【０１９８】
よって、顔情報データ比較部３４１は、「顔の向き」について、両者の差分を、“３度”と算出する。なお、ここでは差分の絶対値に注目し、正負の符号は考慮に入れないこととしている。また、以下、顔情報データ比較部３４１は、「笑顔度」および「射光度」について、それぞれの差分を、“２０”および“０”と算出する。
【０１９９】
次に、顔情報データ比較部３４１は、比較した結果、閾値の範囲内にある近い項目がいくつあるかを示す近似項目数を登録画像ごとに計上する（Ｓ２３２）。
【０２００】
具体的には、顔情報データ比較部３４１は、上記差分が閾値以下である項目の数を、登録画像Ｒ２０１〜Ｒ２０６について計上する。
【０２０１】
ここでも、登録画像Ｒ２０１について例示すると、以下のとおりである。「顔の向き」についての差分は、“３度”であるのに対して「顔の向き」の閾値は、“５度”である。よって、「顔の向き」の項目について差分が閾値以下であるので、顔情報データ比較部３４１は、近似項目数をカウントアップする。
【０２０２】
また、同様に「笑顔度」および「射光度」の項目について、差分は閾値以下であるので、顔情報データ比較部３４１は、「笑顔度」および「射光度」の項目について、近似項目数をカウントアップする。
【０２０３】
このように、登録画像Ｒ２０１については、すべての項目が入力画像の項目に近いため近似項目数は、“３”である。
【０２０４】
以下、同様に、登録画像Ｒ２０２については、「顔の向き」および「笑顔度」の２つが入力画像の項目に近いため近似項目数は、“２”である。また、登録画像Ｒ２０３〜Ｒ２０６については、「射光度」のみが入力画像の項目に一致しており、近似項目数は、“１”である。
【０２０５】
次に、重み計算部３４２は、近似項目数に応じて登録画像Ｒ２０１〜Ｒ２０６の重みを計算する。
【０２０６】
まず、最も近似項目数が多い“３”である登録画像Ｒ２０１については、登録画像Ｒ２０１〜Ｒ２０６のうち最も高い重みＷ２０１“０．８”を割り当てる。
【０２０７】
続いて、登録画像Ｒ２０１の次に近似項目数が多い登録画像Ｒ２０２については、重みＷ２０１の次に高い重みＷ２０２“０．１”を割り当てる。
【０２０８】
ここで、割り当てられる重みの残り“０．１”を、登録画像Ｒ２０３〜Ｒ２０６に均等に割り当てる。すなわち、登録画像Ｒ２０３〜Ｒ２０６それぞれの重みＷ２０３〜Ｗ２０６は、“０．１”を４等分した“０．０２５”である。
【０２０９】
次に、重み出力部３４３が、重み計算部３４２が計算した重みＷ２０１〜Ｗ２０６を重みデータ記憶部２２に記憶する（Ｓ２３４）。
【０２１０】
（重み決定部の一変形例）
以下において、重み決定部３４の一変形例について説明する。本変形例では、登録画像を顔情報データの近さにより順位付けして、この順位に基づいて重みを決定する。本変形例では、上述した顔情報データ比較部３４１および重み計算部３４２を次のように変更する。
【０２１１】
はじめに、顔情報データ比較部３４１の変更点について説明する。まず、顔情報データ比較部３４１は、登録画像の顔情報データの項目ごとに、入力画像の顔情報データの項目との近さを算出する。そして、顔情報データ比較部３４１は、算出した項目ごとの近さに基づいて入力画像の顔情報データと登録画像の顔情報データとの近さを判定する。さらに、顔情報データ比較部３４１は、顔情報データの近さの判定結果に基づいて応じて順位付けする。
【０２１２】
顔情報データ比較部３４１は、項目の設定が連続値である場合、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目との差から近さを算出する。この場合、顔情報データ比較部３４１は、算出した近さに基づいて顔情報データの近さを判定する。例えば、顔情報データに含まれる項目が１つである場合、顔情報データ比較部３４１は、項目間の差がより小さいほうがより近いと判定する。
【０２１３】
また、例えば、顔情報データに含まれる項目が複数である場合、顔情報データ比較部３４１は、項目ごとに近さの順位付けを出力する。
【０２１４】
また、顔情報データ比較部３４１は、閾値を用いて近さを判定してもよい。差が閾値以下であれば近いと判定することができる。また、このとき閾値は、段階的に設けられていてもよい。また、顔情報データ比較部３４１は、いずれの段階に属するかによって段階的に近さを判定してもよい。
【０２１５】
また、顔情報データ比較部３４１は、項目の設定が分類である場合、分類の近さの規定に従って、分類の近さを判定する。分類の近さの規定とは、異なる分類同士の間に定義される近さのことである。
【０２１６】
すなわち、分類の近さの規定としては、例えば、「正面」と、「右向き」との関係は、近いといった定義が挙げられる。あるいは、分類の近さの規定は、「正面」と、「右向き」との関係は、「左向き」と「右向き」との関係よりも近いという相対的なものであってもよい。この分類の近さの規定は、例えば、顔認証装置１の記憶部２０において、予め定義しておけばよい。
【０２１７】
次に、重み計算部３４２の変更点について説明する。重み計算部３４２は、顔情報データ比較部３４１が項目ごとに算出した順位付けに応じて重みを計算する。
【０２１８】
この場合、例えば、重み計算部３４２は、各項目に均等に重みを割り振っておき、各項目においてより高い順位付けの登録画像に対して、各項目に割り振られた重みの範囲でより高い重み付けを割り当てる。そして、重み計算部３４２は、各項目について割り当てた重みを足し合わせることで、登録画像ごとの重みを算出する。
【０２１９】
つまり、項目が４つあれば、まず、各項目について“０．２５”の重みが割り振られる。そして、例えば、重み計算部３４２は、それぞれの項目において、最も高い順位付けがされた登録画像にこの重み“０．２５”を割り当てる。また、このような項目を２つ有する登録画像の重みは“０．５”となる。
【０２２０】
なお、重み計算部３４２は、所定順位の順位付けがされた項目がある登録画像に重みを割り当てるようにしてもよい。
【０２２１】
［変形例の処理の流れ］
次に、図９を用いて、上述した変形例における登録画像ごとの重み決定処理の流れについて説明する。図９は、重み決定部３４における登録画像ごとの重み決定処理の流れの別の例について示したフローチャートである。
【０２２２】
図９に示すように、登録画像ごとの重み決定処理の変形例では、まず、顔情報データ比較部３４１が、各登録画像について、入力画像の顔情報データと、登録画像の顔情報データとを、項目ごとに比較する（Ｓ２３１）。
【０２２３】
次に、顔情報データ比較部３４１は、登録画像の項目ごとに比較結果に応じて入力画像の顔情報データとの近さの順位付けを行う（Ｓ２３２Ａ）。
【０２２４】
続いて、重み計算部３４２は、順位付けに応じて、登録画像ごとの重みを計算する（Ｓ２３３Ａ）。
【０２２５】
そして、重み出力部３４３が、重み計算部３４２が計算した重みを重みデータ記憶部２２に記憶する（Ｓ２３４）。以上で、登録画像ごとの重み決定処理は終了する。
【０２２６】
（重み決定部の他の変形例）
以下において、重み決定部３４の他の変形例について説明する。本変形例では、重み決定部３４が、入力画像の顔情報データに含まれる項目の値と、登録画像の顔情報データに含まれる項目の値との差分を算出し、算出した差分に基づいて重みを決定する。
【０２２７】
具体的には、重み決定部３４は、各登録画像について、差分の逆数を算出して、算出した逆数の総和が１となるよう正規化を行うことにより、最終的な重みを決定する。
【０２２８】
ここで、項目が「顔の向き」の連続値である場合について例示すると次のとおりである。
【０２２９】
まず、入力画像の顔情報データに含まれる「顔の向き」の値と、第１の登録画像の顔情報データに含まれる「顔の向き」の値との差分が、５０度であるとき、重み決定部３４は、上記差分の逆数として、１／５０＝０．０２を算出する。
【０２３０】
また、入力画像の顔情報データに含まれる「顔の向き」の値と、第２の登録画像の顔情報データに含まれる「顔の向き」の値との差分が、２度であるとき、重み決定部３４は、上記差分の逆数として、１／２＝０．５を算出する。
【０２３１】
このようにして算出した逆数の総和は、０．５２であるので、第１の登録画像の重みおよび第２の登録画像の重みは、それぞれ、０．０２／０．５２、および０．５／０．５２となる。このようにして算出した重みの総和は、０．０２／０．５２＋０．５／０．５２＝１．０である。
【０２３２】
〔実施形態２〕
本発明の他の実施形態について図１０〜１７に基づいて説明すると以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０２３３】
以下の実施形態は、認証スコア算出のための登録画像を、所定の条件で予め選択しておき、選択した登録画像を用いて認証を行うものである。
【０２３４】
図１０に示す顔認証装置（画像認証装置）１Ａは、これまで説明した顔認証装置１と比べて以下の点が異なる。
【０２３５】
すなわち、顔認証装置１Ａは、顔認証装置１の制御部３０において、顔情報データ推定部３３、重み決定部３４および認証スコア算出部３５を、それぞれ、顔情報データ推定部３３Ａ、重み決定部３４Ａおよび認証スコア算出部３５（類似度算出手段）Ａに変更するとともに、さらに登録画像選択部（選択手段）４０を備える構成である。
【０２３６】
また、顔認証装置１Ａは、顔認証装置１の記憶部２０において、さらに選択情報記憶部２３を備える構成である。なお、登録画像選択部４０は、「顔画像登録処理」における処理を実行するものである。以下、これらの相違点について説明する。
【０２３７】
顔情報データ推定部３３Ａは、「顔画像登録処理」において、顔情報データの登録を行ったあと、登録画像選択部４０に対して、顔情報データの登録が終了した旨を通知する。
【０２３８】
選択情報記憶部２３は、「顔画像認証処理」において、処理の対象となるべき登録画像の識別情報を含む選択情報を記憶している。つまり、選択情報記憶部２３は、認証スコア算出部３５Ａにおける認証スコアの算出および重み決定部３４Ａにおける重み決定に用いられる登録画像の識別情報を記憶している。
【０２３９】
登録画像選択部４０は、「顔画像認証処理」において、顔情報データ推定部３３Ａから顔情報データの登録が終了した旨の通知を受信すると、処理の対象となるべき登録画像を選択する。登録画像選択部４０は、具体的には、登録人物情報Ｐの間で、登録画像の顔情報データに含まれる項目を相互に比較して、近い項目が含まれる登録画像を処理の対象となるべき登録画像として選択する。登録画像選択部４０は、選択した登録画像の識別情報を含む選択情報を選択情報記憶部２３に記憶する。
【０２４０】
なお、登録画像選択部４０は、例示的に、登録画像を選択する構成としているが、別の側面からいえば、認証処理に用いる顔特徴データおよび顔情報データを選択しているとも言える。
【０２４１】
重み決定部３４Ａは、選択された登録画像について重みを決定するものである。すなわち、重み決定部３４Ａは、選択情報記憶部２３に記憶されている選択情報に識別情報が含まれている登録画像について重みを決定する。言い換えれば、重み決定部３４Ａは、選択された登録画像について認証スコア算出部３５が算出するべき認証スコアに対する重みを決定する。
【０２４２】
なお、重み決定部３４Ａにおける重み決定の手法等は、既に説明したものを採用することができる。
【０２４３】
認証スコア算出部３５Ａは、入力画像と、選択された登録画像とのマッチングを行って、両者の近似の度合いを示す認証スコアを算出するものである。すなわち、認証スコア算出部３５Ａは、選択情報記憶部２３に記憶されている選択情報に識別情報が含まれている登録画像を対象に認証スコアを算出する。なお、認証スコア算出部３５Ａにおける認証スコア算出の手法等は、既に説明したものを採用することができる。
【０２４４】
（顔画像登録処理の流れ）
次に、図１１を用いて、ある人物の顔を撮影した撮影画像を登録対象画像として登録する顔画像登録処理の流れついて説明する。図１１は、顔認証装置１Ａにおける顔画像登録処理の流れについて例示したフローチャートである。
【０２４５】
ステップＳ１０〜Ｓ１２については、図３を用いて既に説明したとおりであるので、その説明を省略する。ステップＳ１２に続くステップＳ１３において、登録画像選択部４０は、顔情報データにより登録画像を選択する。なお、『顔情報データにより登録画像を選択する処理』の詳細については後述する。以上で、顔画像登録処理は終了する。
【０２４６】
（顔画像認証処理の流れ）
次に、図１２を用いて、ある人物の顔を撮影した撮影画像を入力画像として認証する顔画像認証処理の流れについて説明する。図１２は、顔認証装置１Ａにおける顔画像認証処理の流れについて例示したフローチャートである。
【０２４７】
ステップＳ２０〜Ｓ２２については、図４を用いて既に説明したとおりであるので、その説明を省略する。ステップＳ２２に続いて、重み決定部３４Ａは、選択された登録画像について重みを決定する（Ｓ２３Ａ）。
【０２４８】
次に、認証スコア算出部３５Ａは、入力画像と、選択された登録画像とのマッチングを順に行って、両者の近似の度合いを示す認証スコアを算出する（Ｓ２４Ａ）。
【０２４９】
そして、重み付き認証スコア算出部３６は、認証スコア算出部３５Ａが算出した認証スコアに重み決定部３４Ａが決定した重みを適用して重み付き認証スコアを計算する（Ｓ２５）。その後、認証結果出力部３７が、重み付き認証スコアを用いて入力画像Ａ１の認証を行って、その認証結果を表示部１２に出力する（Ｓ２６）。以上で顔画像認証処理は終了する。
【０２５０】
（実施例）
以下において、図１３を用いて、顔認証装置１Ａにおける顔画像登録処理および顔画像認証処理の実施例について説明する。本実施例では、図１１および１２を用いて説明したフローチャートの流れに沿って、以下の前提条件のもと、どのように顔認証装置１Ａにおける顔画像登録処理および顔画像認証処理が行われるかについて説明する。
【０２５１】
まず、前提条件として、図１１を用いて説明した顔画像登録処理におけるステップＳ１０〜Ｓ１２により、図１３に示すように、登録画像データベース２１には、登録人物情報Ｐ１（Ａさん）および登録人物情報Ｐ２（Ｂさん）が登録されている。登録人物情報Ｐ１および登録人物情報Ｐ２について登録されている登録画像の顔情報データには、「照明条件」および「顔の向き」の項目が含まれている。項目の設定値には、分類を用いている。
【０２５２】
登録人物情報Ｐ１について登録画像Ｒ１１〜Ｒ１３が登録されている。登録画像Ｒ１１の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像Ｒ１２の「照明条件」および「顔の向き」には、それぞれ、“射光”および“正面”が設定されている。また、登録画像Ｒ１３の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“右向き”が設定されている。
【０２５３】
登録人物情報Ｐ２について登録画像Ｒ２１およびＲ２２が登録されている。登録画像Ｒ２１の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像Ｒ２３の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“右向き”が設定されている。
【０２５４】
また、認証の対象となる入力画像Ａ１は、“Ａさん”が正面から均一光のもとで撮影されているものである。
【０２５５】
上記前提条件のもと、さらに、顔認証装置１Ａは、次のごとく処理の対象となるべき登録画像を選択する処理（Ｓ１３）を行う。
【０２５６】
まず、登録画像選択部４０は、例示的に、登録人物情報Ｐ１および登録人物情報Ｐ２の間で、顔情報データが一致する登録画像を選択する。すなわち、図１３に示す例では、登録画像Ｒ１１と登録画像Ｒ２１とは顔情報データに含まれる各項目が一致する。また、登録画像Ｒ１３と登録画像Ｒ２３とは顔情報データに含まれる各項目が一致する。
【０２５７】
よって、登録画像選択部４０は、登録人物情報Ｐ１については登録画像Ｒ１１、Ｒ１３の識別情報を選択情報記憶部２３に記憶する。登録画像選択部４０は、登録人物情報Ｐ２については登録画像Ｒ２１、Ｒ２３の識別情報を含む選択情報を選択情報記憶部２３に記憶する。
【０２５８】
さらに、顔認証装置１Ａは、以下のごとく顔画像認証処理を行う。
【０２５９】
まず、ステップＳ２０〜Ｓ２２については、既に説明した通りであるのでその説明を省略する。
【０２６０】
ステップＳ２２に続いて、重み決定部３４Ａが、入力画像Ａの顔画像データと、選択された登録画像の顔情報データとを比較することにより、登録画像ごとの重みを決定する（Ｓ２３Ａ）。このステップの詳細については、図５を用いて既に説明したステップＳ２３に準じているので、その説明を省略する。
【０２６１】
結果として、ステップＳ２３Ａにおいて、重み決定部３４Ａは、登録画像Ｒ１１に対する重みＷ１１１に“０．８”を割り当て、登録画像Ｒ１３に対する重みＷ１１２に“０．２”を割り当てる。また、重み決定部３４Ａは、登録画像Ｒ２１に対する重みＷ１２１に、“０．８”を割り当て、登録画像Ｒ２３に対する重みＷ１２３“０．２”を割り当てる。
【０２６２】
次に、認証スコア算出部３５Ａが、登録人物情報Ｐ１について選択された登録画像Ｒ１１およびＲ１３と、登録人物情報Ｐ２について選択された登録画像Ｒ２１およびＲ２３とを順に、入力画像Ａ１と比較して認証スコアを算出する（Ｓ２４Ａ）。このステップの詳細については、図５を用いて既に説明したＳ２４に準じているので、その説明を省略する。
【０２６３】
ステップＳ２４Ａでは、結果として、認証スコア算出部３５Ａが、登録画像Ｒ１１の認証スコアＣ１１１を“８００”と算出し、登録画像Ｒ１３の認証スコアＣ１１３を“７００”と算出する。また、認証スコア算出部３５Ａは、登録画像Ｒ２１の認証スコアＣ１２１を“７００”と算出し、登録画像Ｒ２３の認証スコアＣ１２３を“２００”と算出する。
【０２６４】
以下、図５で説明したように、ステップＳ２５およびＳ２６において以下の処理が行われる。まず、ステップＳ２５において、重み付き認証スコア算出部３６が、ステップＳ２３およびＳ２４の結果から、登録人物情報Ｐ１についての重み付き認証スコアＣ１１０を、“７８０”と算出し、登録画像Ｐ２についての重み付き認証スコアＣ１２０を、“６００”と算出する。
【０２６５】
また、ステップＳ２６において、認証結果出力部３７は、ステップＳ２５の結果から、登録人物情報Ｐ１の名前“Ａさん”を返す。
【０２６６】
（登録画像選択部の構成例）
以下において、図１４〜図１６を用いて、登録画像選択部４０の一構成例について説明する。
【０２６７】
本構成例では、上述した登録画像選択部４０を次のように構成する。すなわち、図１４に示すように、登録画像選択部４０は、顔情報データ相互比較部（撮影条件近似判定手段、登録条件順位付け手段）４０１、基準登録画像選択部（撮影条件近さ算出手段）４０２、他人登録画像選択部（撮影条件近さ算出手段）４０３、および選択情報設定部４０４を備える。
【０２６８】
顔情報データ相互比較部４０１は、指定された登録人物情報の登録画像の顔情報データを基準として、他の登録人物情報の登録画像と顔情報データの比較を行うものである。
【０２６９】
なお、ここで、他の登録人物情報とは、指定された登録人物情報以外の登録人物情報のことを意味する。また、この登録人物情報の指定は、操作部１１を介して取得するユーザの指示であってもよいし、ランダムに決定される指定であってもよい。以下、指定された登録人物情報のことを、基準登録人物情報と称する。
【０２７０】
また、顔情報データ相互比較部４０１は、例示的に、上述した顔情報データ比較部３４１と同様、近似項目数を比較結果として出力する。
【０２７１】
すなわち、顔情報データ相互比較部４０１は、基準登録人物情報の登録画像ごとに、他の登録人物情報の登録画像と顔情報データの比較を行って近似項目数を計上する。そして、顔情報データ相互比較部４０１は、他の登録人物情報の登録画像それぞれについて計上した近似項目数を比較結果として出力する。また、顔情報データ相互比較部４０１は、項目が近似しているか否かの判定に閾値を用いる。
【０２７２】
基準登録画像選択部４０２は、顔情報データ相互比較部４０１の比較結果に基づいて、基準登録人物情報について、処理対象となる登録画像を選択するものである。基準登録画像選択部４０２は、例えば、比較結果の近似項目数がすべての項目において他の登録人物情報の登録画像と一致又は近似していることを示しているような基準登録画像を、対象となる登録画像として選択してもよい。
【０２７３】
他人登録画像選択部４０３は、顔情報データ相互比較部４０１の比較結果に基づいて、基準登録人物情報以外の登録人物情報について、処理対象となる登録画像を選択するものである。他人登録画像選択部４０３は、例えば、比較結果の近似項目数がすべての項目において基準となる登録人物情報の登録画像と一致又は近似していることを示しているような他人の登録画像を、対象となる登録画像として選択してもよい。
【０２７４】
選択情報設定部４０４は、基準登録画像選択部４０２および他人登録画像選択部４０３が選択した登録画像の識別情報を含む選択情報を選択情報記憶部２３に記憶するものである。
【０２７５】
［本構成例の処理の流れ］
次に、図１５を用いて、本構成例に係る登録画像選択部４０が実行する『顔情報データにより登録画像を選択する処理』の詳細について説明すると次のとおりである。図１５は、『顔情報データにより登録画像を選択する処理』の詳細について例示するフローチャートである。
【０２７６】
図１５に示すように、『顔情報データにより登録画像を選択する処理』では、まず、顔情報データ相互比較部４０１が、基準登録人物情報の登録画像と他の登録人物情報の登録画像との間で、顔情報データの比較を行う（Ｓ１３１）。
【０２７７】
次に、顔情報データ相互比較部４０１が、基準登録人物情報の登録画像ごとに、顔情報データの近似項目数を計上する（Ｓ１３２）。
【０２７８】
次に、基準登録画像選択部４０２が、顔情報データ相互比較部４０１の比較結果、すなわち近似項目数に応じて基準登録人物情報について登録画像を選択する（Ｓ１３３）。
【０２７９】
次に、顔情報データ相互比較部４０１が、他の登録人物情報の登録画像ごとに、顔情報データの近似項目数を計上する（Ｓ１３４）。
【０２８０】
次に、他人登録画像選択部４０３が、顔情報データ相互比較部４０１の比較結果、すなわち近似項目数に応じて他人の登録人物情報について登録画像を選択する（Ｓ１３５）。
【０２８１】
次に、選択情報設定部４０４が、基準登録画像選択部４０２によって基準登録人物情報について選択された登録画像の識別情報と、他人登録画像選択部４０３によって他人の登録人物情報について選択された登録画像の識別情報とを、選択情報として選択情報記憶部２３に登録する（Ｓ１３６）。
【０２８２】
［本構成例の実施例］
以下において、図１６を用いて、本構成例に係る『顔情報データにより登録画像を選択する処理』の実施例について説明する。本実施例では、以下の前提条件のもと、どのように登録画像が選択されるかについて、図１５を用いて説明したフローチャートの流れに沿って説明する。
【０２８３】
まず、図１６に示すように、登録画像データベース２１において、登録人物情報Ｐ１および登録人物情報Ｐ２が登録されている。登録人物情報Ｐ１については、登録画像Ｒ１０１〜Ｒ１０３が登録されている。また、登録人物情報Ｐ２については、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８が登録されている。
【０２８４】
登録画像の顔情報データには、「顔の向き」、「笑顔度」、および「射光度」の項目が含まれている。また、項目の設定値には、連続値を用いている。
【０２８５】
各登録画像の具体的な設定値は、図１６に示すとおりである。ひとつ例示しておくと、登録画像Ｒ１０１の顔データについては、「顔の向き」、「笑顔度」、および「射光度」の項目として、それぞれ“０度”、“７１０度”、および“０”が設定されている。
【０２８６】
なお、以下に示す例では、登録人物情報Ｐ１が指定されているものとする。また、顔情報データ相互比較部４０１が、「顔の向き」、「笑顔度」、および「射光度」の項目について用いる閾値は、それぞれ“１０度”、“１５”、および“１１０”とする。
【０２８７】
上記前提条件のもと、登録画像選択部４０では、以下のごとく『顔情報データにより登録画像を選択する処理』を行う。
【０２８８】
まず、顔情報データ相互比較部４０１が、基準となる登録人物情報Ｐ１の登録画像Ｒ１０１〜Ｒ１０３と、登録人物情報Ｐ２の登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８との間で、顔情報データの比較を行う（Ｓ１３１）。
【０２８９】
すなわち、まず、顔情報データ相互比較部４０１は、登録画像Ｒ１０１について、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８との顔情報データの比較を行う。以下、登録画像Ｒ１０２およびＲ１０３について同様である。
【０２９０】
次に、顔情報データ相互比較部４０１が、登録画像Ｒ１０１〜Ｒ１０３について、顔情報データの近似項目数を計上する（Ｓ１３２）。例えば、顔情報データ相互比較部４０１は、登録画像Ｒ１０１と、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８と間における近似項目数を次のようにしてカウントする。
【０２９１】
まず、登録画像Ｒ１０１については、登録画像Ｒ２０１との比較では、「顔の向き」および「射光度」が一致しており、「笑顔度」が閾値以内であるので、顔情報データ相互比較部４０１は、近似項目数を“３”とカウントする。以下、同様に、顔情報データ相互比較部４０１は、登録画像Ｒ２０４、Ｒ２０７、およびＲ２０８との間における近似項目数を、それぞれ、“１”、“３”、および“２”とカウントする。
【０２９２】
続いて、顔情報データ相互比較部４０１は、登録画像Ｒ１０２について、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７、およびＲ２０８との間における近似項目数を、それぞれ、“２”、“１”、“１”および“３”とカウントする。
【０２９３】
さらに、顔情報データ相互比較部４０１は、登録画像Ｒ１０３について、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８との間における近似項目数を、それぞれ、“１”、“２”、“１”および“１”とカウントする。
【０２９４】
次に、基準登録画像選択部４０２が、顔情報データ相互比較部４０１の比較結果、すなわち近似項目数に応じて登録人物情報Ｐ１について登録画像を選択する（Ｓ１３３）。
【０２９５】
基準登録画像選択部４０２は、例示的に、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７、およびＲ２０８のいずれかとの比較において近似項目数が“３”とカウントされた登録画像を選択する。ステップＳ１３２では、登録画像Ｒ１０１と登録画像Ｒ２０１、Ｒ２０７との比較および登録画像Ｒ１０２と登録画像Ｒ２０８との比較において近似項目数が“３”とカウントされている。よって、基準登録画像選択部４０２は、登録画像Ｒ１０１およびＲ１０２を選択する。
【０２９６】
次に、顔情報データ相互比較部４０１が、登録人物情報Ｐ２の登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８について、顔情報データの近似項目数をカウントする（Ｓ１３４）。なお、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８の近似項目数は、ステップＳ１３２においてカウントされているため、顔情報データ相互比較部４０１は、ステップＳ１３２のカウント結果を利用してもよい。
【０２９７】
次に、他人登録画像選択部４０３が、顔情報データ相互比較部４０１の比較結果、すなわち近似項目数に応じて登録人物情報Ｐ２について登録画像を選択する（Ｓ１３５）。
【０２９８】
ここで、他人登録画像選択部４０３は、例示的に、登録画像Ｒ１０１〜Ｒ１０３のいずれかとの比較において近似項目数が“３”とカウントされた登録画像を選択する。
【０２９９】
ステップＳ１３４では、登録画像Ｒ２０１と登録画像Ｒ１０１との比較、登録画像Ｒ２０７と登録画像Ｒ１０１との比較、および登録画像Ｒ２０８と登録画像Ｒ１０２との比較において近似項目数が“３”とカウントされている。よって、基準登録画像選択部４０２は、登録画像Ｒ２０１、Ｒ２０７およびＲ２０８を選択する。
【０３００】
次に、選択情報設定部４０４が、基準登録画像選択部４０２が登録人物情報Ｐ１について選択した登録画像Ｒ１０１およびＲ１０２の識別情報と、他人登録画像選択部４０３が登録人物情報Ｐ２について選択した登録画像Ｒ２０１、Ｒ２０７およびＲ２０８の識別情報とを、選択情報として選択情報記憶部２３に登録する（Ｓ１３６）。
【０３０１】
（登録画像選択部の別の構成例）
以下において、図１７を用いて、登録画像選択部４０の別の具体的な構成例について説明する。本構成例では、登録画像を顔情報データの近さにより順位付けして、この順位付けに基づいて登録画像の選択を行う。本構成例では、図１４を用いて説明した顔情報データ相互比較部４０１、基準登録画像選択部４０２、他人登録画像選択部４０３の機能を次のように変更する。
【０３０２】
顔情報データ相互比較部４０１は、比較結果として登録画像の顔情報データの近さを順位付けしたものを出力する。この順位付けは、他の登録人物情報の登録画像に対する基準登録人物情報の登録画像の順位付けである基準順位付けと、基準登録人物情報の登録画像に対する他の登録人物情報の登録画像の順位付けである他人順位付けとを含む。なお、基準順位付けおよび他人順位付け、それぞれにおける順位付けの手法については、重み決定部３４の変形例にて既に説明したものに準じている。
【０３０３】
顔情報データ相互比較部４０１は、例えば、次のような手順により、基準登録人物情報および他の登録人物情報の間において、顔情報データの比較および順位付けを行う。
【０３０４】
まず、顔情報データ相互比較部４０１は、基準登録人物情報について登録されている各登録画像と、他の登録人物情報について登録されている各登録画像とを項目ごとに比較して、基準登録人物情報について登録されている登録画像の基準順位付けを行う。
【０３０５】
そして、顔情報データ相互比較部４０１は、逆に、基準登録人物情報について登録されている各登録画像と、他の登録人物情報について登録されている各登録画像とを項目ごとに比較して、他の登録人物情報について登録されている登録画像の他人順位付けを行う。
【０３０６】
基準登録画像選択部４０２は、顔情報データ相互比較部４０１が出力する基準順位付けに応じて、基準登録人物情報について登録画像を選択する。基準登録画像選択部４０２は、例えば、最上位から所定の順位までの順位付けがされた項目を含む登録画像を選択する。
【０３０７】
他人登録画像選択部４０３は、顔情報データ相互比較部４０１が出力する他人順位付けに応じて、他の登録人物情報について登録画像を選択する。他人登録画像選択部４０３は、例えば、最上位から所定の順位までの順位付けがされた項目を含む登録画像を選択する。
【０３０８】
［本構成例の処理の流れ］
次に、図１７を用いて、本構成例に係る登録画像選択部４０が実行する『顔情報データにより登録画像を選択する処理』の詳細について説明すると次のとおりである。図１７は、『顔情報データにより登録画像を選択する処理』の詳細について例示するフローチャートである。
【０３０９】
図１７に示すように、『顔情報データにより登録画像を選択する処理』では、まず、顔情報データ相互比較部４０１は、基準登録人物情報の登録画像および他の登録人物情報の登録画像について、顔画像データを項目ごとに比較する（Ｓ１３１Ａ）。
【０３１０】
次に、顔情報データ相互比較部４０１は、比較結果に応じて、基準登録人物情報について、項目ごとに基準順位付けを行う（Ｓ１３２Ａ）。
【０３１１】
次に、基準登録画像選択部４０２が、基準順位付けに応じて、基準登録人物情報について登録画像を選択する（Ｓ１３３Ａ）。
【０３１２】
次に、顔情報データ相互比較部４０１は、比較結果に応じて、他の登録人物情報について、項目ごとに他の順位付けを行う（Ｓ１３４Ａ）。
【０３１３】
次に、他人登録画像選択部４０３が、他の順位付けに応じて、他の登録人物情報について登録画像を選択する（Ｓ１３５Ａ）。
【０３１４】
次に、選択情報設定部４０４が、基準登録画像選択部４０２が基準登録人物情報について選択した登録画像の識別情報と、他人登録画像選択部４０３が他人の登録人物情報について選択した登録画像の識別情報とを、選択情報として選択情報記憶部２３に登録する（Ｓ１３６）。
【０３１５】
〔実施形態３〕
本発明のさらに別の実施形態について図１８〜図２４に基づいて説明すると以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０３１６】
以下の実施形態は、認証スコア算出のための登録画像を、所定の条件で予め枚数を合わせて選択しておき、選択した登録画像を用いて認証を行うものである。
【０３１７】
図１８に示す顔認証装置（画像認証装置）１Ｂは、図１０等を用いて説明した顔認証装置１Ａと比べて以下の点が異なる。すなわち、顔認証装置１Ｂは、顔認証装置１Ａにおいて、選択枚数設定部（選択手段）４１を追加するとともに、登録画像選択部４０を登録画像選択部（選択手段）４２に変更したものである。選択枚数設定部４１は、「顔画像登録処理」における処理を実行するものである。以下、これらの相違点について説明する。
【０３１８】
選択枚数設定部４１は、各登録人物情報について登録されている登録画像の枚数を、それぞれ計上し、計上結果に基づいて選択枚数を設定する。ここで選択枚数設定部４１は、各登録人物情報の間で、同じ数の登録画像が選択されるように、選択枚数を設定する。
【０３１９】
例えば、選択枚数設定部４１は、登録人物情報について登録されている登録画像の枚数のうち、最小の数を選択枚数として設定する。なお、選択枚数設定部４１は、例えば、登録人物情報について登録されている登録画像の枚数のうち、最小の数よりも小さい数を選択枚数として設定してもよい。選択枚数設定部４１は、設定した選択枚数を登録画像選択部４２に通知する。
【０３２０】
登録画像選択部４２は、選択枚数設定部４１から通知される選択枚数に従って、「顔画像認識処理」において、処理の対象となるべき登録画像の識別情報を選択するものである。登録画像選択部４２は、設定された選択枚数に従って、登録画像データベース２１に登録されている登録人物情報それぞれの間において選択される登録画像の枚数が同じになるように、選択枚数分の登録画像を選択する。登録画像選択部４２の詳細については、以下において説明する。
【０３２１】
なお、顔情報データ推定部３３Ａは、「顔画像登録処理」において、顔情報データの登録が終了した旨を、選択枚数設定部４１に対して通知するように変更している。
【０３２２】
（登録画像選択部の構成例）
以下において、図１９〜図２３を用いて、登録画像選択部４２の詳細について説明する。図１９は、登録画像選択部４２の詳細な構成例を示した機能ブロック図である。
【０３２３】
図１９に示すように、登録画像選択部４２は、顔情報データ相互比較部（条件相互判定手段、相互近似数計上手段、相互順位付け手段）４２１、登録画像選択情報生成部（撮影条件近さ相互算出手段）４２２、および選択情報設定部４２３を備える構成である。
【０３２４】
顔情報データ相互比較部４２１は、ある登録人物情報の登録画像の顔情報データを基準として、他の登録人物情報の登録画像との間で顔情報データの比較を行うものである。顔情報データ相互比較部４２１における比較の手法は、例示的に、上述した顔情報データ相互比較部４０１と同様のものを採用している。また、顔情報データ相互比較部４２１は、例示的に、上述した顔情報データ相互比較部４０１と同様、近似項目数を比較結果として出力する。
【０３２５】
なお、顔情報データ相互比較部４２１は、例示的に、登録人物情報について登録されている登録画像の枚数が、最小である登録人物情報を基準とする。
【０３２６】
登録画像選択情報生成部４２２は、顔情報データ相互比較部４２１の比較結果に従って、基準となる登録人物情報の登録画像と他の登録人物情報の登録画像とを、それぞれ、選択枚数で示される数だけ選択するものである。
【０３２７】
ここで、登録画像選択情報生成部４２２は、例えば、次のようにして、基準となる登録人物情報の登録画像を選択する。すなわち、登録画像選択情報生成部４２２は、基準となる登録人物情報の登録画像をすべて選択する。つまり、この場合、基準となる登録人物情報の登録画像の枚数は、選択枚数設定部４１から通知される選択枚数に等しい。
【０３２８】
また、登録画像選択情報生成部４２２は、例えば、次のようにして、他の登録人物情報の登録画像を選択する。すなわち、登録画像選択情報生成部４２２は、比較結果の近似項目数がすべての項目において基準となる登録人物情報の登録画像と一致又は近似していることを示しているような他の登録人物情報の登録画像を、対象となる登録画像として選択する。
【０３２９】
選択情報設定部４２３は、登録画像選択情報生成部４２２が選択した登録画像の識別情報を選択情報として選択情報記憶部２３に記憶するものである。
【０３３０】
（顔画像登録処理の流れ）
次に、図２０を用いて、顔認証装置１Ｂにおける顔画像登録処理の流れについて説明する。図２０は、顔認証装置１Ｂにおける顔画像登録処理の流れについて例示したフローチャートである。
【０３３１】
ステップＳ１０〜Ｓ１２については、図３を用いて既に説明したとおりであるので、その説明を省略する。ステップＳ１２に続くステップＳ１４において、選択枚数設定部４１が、登録人物情報ごとに登録画像の登録枚数を計上し、計上結果に従い選択枚数を設定する。
【０３３２】
次に、登録画像選択部４２は、顔情報データにより登録画像を選択枚数分だけ選択する（Ｓ１５）。なお、『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細については以下に説明する。以上で、顔画像登録処理は終了する。
【０３３３】
（顔情報データにより登録画像を選択枚数分だけ選択する処理の流れ）
以下において、図２１を用いて、登録画像選択部４２における『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について説明すると次のとおりである。図２１は、『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
【０３３４】
図２１に示すように、『顔情報データにより登録画像を選択枚数分だけ選択する処理』では、まず、顔情報データ相互比較部４２１が、ある登録人物情報を基準として、基準となる登録人物情報の登録画像と他の登録人物情報の登録画像との間で、顔情報データを項目ごとに比較する（Ｓ１５１）。
【０３３５】
次に、顔情報データ相互比較部４０１が、比較結果から、他の登録人物情報の登録画像ごとに、顔情報データの近似項目数を計上する（Ｓ１５２）。
【０３３６】
次に、登録画像選択情報生成部４２２が、近似項目数に応じて登録画像を選択する（Ｓ１５３）。すなわち、登録画像選択情報生成部４２２が、顔情報データ相互比較部４０１により計上された近似項目数に応じて登録画像の識別情報を含む選択情報を生成する。
【０３３７】
次に、選択情報設定部４２３が、登録画像選択情報生成部４２２により生成された選択情報を選択情報記憶部２３に記憶する（Ｓ１５４）。以上で処理は終了する。
【０３３８】
（顔画像認証処理の流れ）
次に、顔認証装置１Ｂにおける顔画像認証処理の流れについて説明する。顔認証装置１Ｂにおける顔画像認証処理には、図１２に示すフローチャートを用いて説明した顔画像認証処理をそのまま適用することができる。
【０３３９】
よって、ここでは、その詳細についての説明は省略する。
【０３４０】
（実施例）
以下において、図２２を用いて、顔認証装置１Ｂにおける顔画像登録処理および顔画像認証処理の実施例について説明する。顔画像登録処理および顔画像認証処理の順に説明すると次のとおりである。
【０３４１】
第１に、顔画像登録処理において、登録画像選択部４２が、以下の前提条件のもと、どのように登録画像が選択するかについて、図２０、図２１に示す各フローチャートの流れに沿って説明する。
【０３４２】
まず、前提条件として、図２０を用いて説明した顔画像登録処理におけるステップＳ１０〜Ｓ１２により、図２２に示すように、登録画像データベース２１には、登録人物情報Ｐ１（Ａさん）および登録人物情報Ｐ２（Ｂさん）が登録されている。
【０３４３】
ここで、詳しく図示はしていないが、登録人物情報Ｐ１および登録人物情報Ｐ２について登録されている登録画像の顔情報データには、「照明条件」および「顔の向き」の項目が含まれているものとする。
【０３４４】
また、登録人物情報Ｐ１について登録画像Ｒ１１、Ｒ１３が登録されている。登録画像Ｒ１１、Ｒ１３の顔情報データの各項目は、図１３等にて説明したとおりであるので、ここではその説明を省略する。
【０３４５】
また、登録人物情報Ｐ２について登録画像Ｒ２１〜Ｒ２７が登録されている。登録画像Ｒ２１〜Ｒ２５については、顔情報データの各項目は図５および図１６にてすでに説明したとおりであるので、ここではその説明を省略する。
【０３４６】
また、登録画像Ｒ２６の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“上向き”が設定されている。また、登録画像Ｒ２７の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“下向き”が設定されている。
【０３４７】
また、認証の対象となる入力画像Ａ１は、“Ａさん”が正面から均一光のもとで撮影されているものである。
【０３４８】
上記前提条件のもと、さらに、選択枚数設定部４１が、登録人物情報Ｐ１、Ｐ２について登録画像の登録枚数を計上し、計上結果に従い選択枚数を設定する（Ｓ１４）。登録人物情報Ｐ１の登録画像の登録枚数は、“２”であり、登録人物情報Ｐ２の登録画像の登録枚数は、“７”であるので、選択枚数設定部４１は、このうち小さいほうの“２”を選択枚数として設定する。
【０３４９】
次に、顔認証装置１Ｂは、次のごとく顔情報データにより登録画像を選択枚数分だけ選択する処理を行う（Ｓ１５）。
【０３５０】
より具体的には、顔情報データ相互比較部４２１が登録人物情報Ｐ１を基準として、登録人物情報Ｐ１の登録画像Ｒ１１、Ｒ１３と、登録人物情報Ｐ２の登録画像Ｒ２１〜Ｒ２７との間で、顔情報データの比較を行い（Ｓ１５１）、近似項目数を計上する（Ｓ１５２）。
【０３５１】
すなわち、登録画像Ｒ１１の顔情報データに含まれる２つの項目「照明条件」および「顔の向き」の双方に近似するものは、登録画像Ｒ２１である。また、登録画像Ｒ１２の顔情報データに含まれる２つの項目「照明条件」および「顔の向き」の双方に近似するものは、登録画像Ｒ２２である。
【０３５２】
よって、顔情報データ相互比較部４２１は、登録画像Ｒ１１と登録画像Ｒ２１とについては、近似項目数“２”を出力する。また、顔情報データ相互比較部４２１は、登録画像Ｒ１２と登録画像Ｒ２２とについては、近似項目数“２”を出力する。
【０３５３】
それ以外の登録画像間の比較において、顔情報データ相互比較部４２１が出力する近似項目数は、“１”以下である。
【０３５４】
次に、登録画像選択情報生成部４２２が、顔情報データ相互比較部４０１により計上された近似項目数に応じて登録画像の識別情報を含む選択情報を生成する（Ｓ１５３）。
【０３５５】
すなわち、登録画像選択情報生成部４２２は、近似項目数“２”が計上されている登録画像Ｒ１１、Ｒ１２、Ｒ２１、およびＲ２２の識別情報を含む選択情報を生成する。
【０３５６】
次に、選択情報設定部４２３が、登録画像Ｒ１１、Ｒ１２、Ｒ２１、およびＲ２２の識別情報を含む選択情報を選択情報記憶部２３に記憶する（Ｓ１５４）。以上で顔情報データにより登録画像を選択枚数分だけ選択する処理が終了するとともに、顔画像登録処理が終了する。
【０３５７】
第２に、図１２を参照しながら、顔認証装置１Ｂが、上述の前提条件のもと、どのように顔画像認証処理するかについて説明する。
【０３５８】
まず、図１２のステップＳ２０〜Ｓ２２については、既に説明した通りであるのでその説明を省略する。
【０３５９】
ステップＳ２２に続いて、重み決定部３４Ａが、入力画像Ａの顔画像データと、選択された登録画像の顔情報データとを比較することにより、登録画像ごとの重みを決定する（Ｓ２３Ａ）。このステップの詳細については、図５を用いて既に説明したステップＳ２３に準じているので、その説明を省略する。
【０３６０】
結果として、ステップＳ２３Ｂにおいて、重み決定部３４Ａは、登録画像Ｒ１１に対する重みＷ２１１に“０．８”を割り当て、登録画像Ｒ１３に対する重みＷ２１３に“０．２”を割り当てる。また、重み決定部３４は、登録画像Ｒ２１に対する重みＷ２２１に、“０．８”を割り当て、登録画像Ｒ２２に対する重みＷ２２２“０．２”を割り当てる。
【０３６１】
次に、認証スコア算出部３５Ａが、登録人物情報Ｐ１について選択された登録画像Ｒ１１およびＲ１３と、登録人物情報Ｐ２について選択された登録画像Ｒ２１およびＲ２２とを順に、入力画像Ａ１と比較して認証スコアを算出する（Ｓ２４Ａ）。このステップの詳細については、図５を用いて既に説明したＳ２４に準じているので、その説明を省略する。
【０３６２】
ステップＳ２４Ｂでは、結果として、認証スコア算出部３５Ａが、登録画像Ｒ１１の認証スコアＣ２１１を“８００”と算出し、登録画像Ｒ１３の認証スコアＣ２１３を“７００”と算出する。また、認証スコア算出部３５Ａは、登録画像Ｒ２１の認証スコアＣ２２１を“７００”と算出し、登録画像Ｒ２３の認証スコアＣ２２２を“２００”と算出する。
【０３６３】
以下、図５で説明したように、ステップＳ２５およびＳ２６において以下の処理が行われる。まず、ステップＳ２５において、重み付き認証スコア算出部３６が、ステップＳ２３ＢおよびＳ２４Ｂの結果から、登録人物情報Ｐ１についての重み付き認証スコアＣ２１０を、“７８０”と算出し、登録画像Ｐ２についての重み付き認証スコアＣ２２０を、“６００”と算出する。
【０３６４】
また、ステップＳ２６において、認証結果出力部３７は、ステップＳ２５の結果から、登録人物情報Ｐ１の名前“Ａさん”を返す。
【０３６５】
（変形例）
以下において、図２３および図２４を用いて、登録画像選択部４２の変形例について説明する。本変形例では、登録画像を顔情報データの近さにより順位付けして、この順位付けに基づいて登録画像を選択する。本変形例では、図１８を用いて説明した顔情報データ相互比較部４２１、および登録画像選択情報生成部４２２の機能を次のように変更する。
【０３６６】
顔情報データ相互比較部４２１は、比較結果として登録画像の顔情報データの近さを項目ごとに順位付けしたものを出力する。顔情報データ相互比較部４２１が出力する順位付けは、具体的には、基準となる登録人物情報の登録画像に対する他の登録人物情報の登録画像の順位付けである。
【０３６７】
なお、順位付けの手法については、重み決定部３４の変形例にて既に説明したもの等に準じている。また、あえて順位付けしなくてもかまわないほど、登録画像間において顔情報データの近さが近いと判断できる場合は、ランダムで順位付けしてもよい。
【０３６８】
登録画像選択情報生成部４２２は、顔情報データ相互比較部４２１が出力する項目ごとの順位付けに応じて、基準登録人物情報および他の登録人物情報について登録画像を選択する。
【０３６９】
登録画像選択情報生成部４２２は、例示的に、次のようにして登録画像を選択する。すなわち、まず、登録画像選択情報生成部４２２は、項目ごとの順位付けに応じて、他の登録人物情報の登録画像ごとに、総合順位を算出する。
【０３７０】
登録画像選択情報生成部４２２は、一例として、次のようにして総合順位を算出する。すなわち、登録画像選択情報生成部４２２は、項目ごとの順位付けにおいて１位がより多い登録画像に、より高い総合順位を割り当てる。
【０３７１】
また、登録画像選択情報生成部４２２は、他の例として、次のようにして総合順位を算出する。すなわち、登録画像選択情報生成部４２２は、各項目ごとの順位付けに対応して割り当てられたポイントの総和に基づいて総合順位を算出する。
【０３７２】
具体的には、登録画像選択情報生成部４２２は、項目ごとの順位付けが、１位であるときには、１０ポイント、２位であるときには、５ポイント、３位であるときには１ポイントをポイントとして加算する。そして、登録画像選択情報生成部４２２は、加算したポイントが高い順に、総合順位を算出する。
【０３７３】
この場合、登録画像の数が、１０で、顔情報データの項目の数が、３である場合、第１の登録画像において、各項目の順位付けが、それぞれ１位、１０位、および１０位であるのに対して、第２の登録画像において、各項目の順位付けが、それぞれ、２位、２位、２位であるときには、登録画像選択情報生成部４２２は、次のように総合順位を算出する。
【０３７４】
すなわち、登録画像選択情報生成部４２２は、第１の登録画像について、１０ポイント、第２の登録画像について、１５ポイントを算出する。第１の登録画像のポイントよりも、第２の登録画像のポイントが高いので、登録画像選択情報生成部４２２は、第２の登録画像の総合順位を、第１の登録画像の総合順位よりも高くする。
【０３７５】
なお、登録画像選択情報生成部４２２は、ポイントの総和が、より低いものに、より高い総合順位を割り当てるようにしてもよい。例えば、項目ごとの順位付けそのものをポイントとしてもよい。つまり、この場合、各項目の順位付けが、１位のものは、１ポイントであり、２位のものは、２ポイントである。
【０３７６】
また、登録画像選択情報生成部４２２は、例示的に、総合順位が、上位から所定順位までの登録画像を選択する。これに限られず、登録画像選択情報生成部４２２は、総合順位が、１位である登録画像のみを選択してもよい。
【０３７７】
［本変形例の処理の流れ］
次に、図２３を用いて、本構成例に係る登録画像選択部４２が実行する『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について説明すると次のとおりである。図２３は、『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
【０３７８】
図２３に示すように、『顔情報データにより登録画像を選択枚数分だけ選択する処理』では、まず、顔情報データ相互比較部４２１は、基準となる登録人物情報の登録画像および他の登録人物情報の登録画像について、顔画像データを項目ごとに比較する（Ｓ１５１Ａ）。
【０３７９】
次に、顔情報データ相互比較部４２１は、比較結果に応じて、他の登録人物情報について、項目ごとに順位付けを行う（Ｓ１５２Ａ）。
【０３８０】
次に、登録画像選択情報生成部４２２が、項目ごとの順位付けに応じて、基準となる登録人物情報および他の登録人物情報について登録画像を選択し、選択した登録画像の識別情報を含む選択情報を生成する（Ｓ１５３Ａ）。
【０３８１】
次に、選択情報設定部４２３が、登録画像選択情報生成部４２２によって生成された選択情報を選択情報記憶部２３に登録する（Ｓ１５４）。
【０３８２】
［本変形例の実施例］
以下において、図２４を用いて、本変形例に係る『顔情報データにより登録画像を選択枚数分だけ選択する処理』の実施例について説明する。本実施例では、以下の前提条件のもと、どのように登録画像が選択されるかについて、図２３を用いて説明したフローチャートの流れに沿って説明する。
【０３８３】
まず、図２４に示すように、登録画像データベース２１において、登録人物情報Ｐ１および登録人物情報Ｐ２が登録されている。登録人物情報Ｐ１については、登録画像Ｒ１０１、Ｒ１０３が登録されている。また、登録人物情報Ｐ２については、登録画像Ｒ２０１〜Ｒ２０４が登録されている。
【０３８４】
登録画像の顔情報データには、「顔の向き」、「笑顔度」、および「射光度」の項目が含まれている。また、項目の設定値には、連続値を用いている。なお、各登録画像の具体的な設定値は、図２６に示すとおりであり、図２２を用いてすでに説明済みであるので、ここではその説明を省略する。
【０３８５】
なお、以下に示す例では、顔情報データ相互比較部４２１が、「顔の向き」、「笑顔度」、および「射光度」の項目について用いる閾値は、それぞれ“１０度”、“１５”、および“１１０”とする。
【０３８６】
上記前提条件のもと、登録画像選択部４２では、以下のごとく『顔情報データにより登録画像を選択枚数分だけ選択する処理』を行う。
【０３８７】
すなわち、まず、顔情報データ相互比較部４２１が、基準となる登録人物情報Ｐ１の登録画像Ｒ１０１、Ｒ１０３と、登録人物情報Ｐ２の登録画像Ｒ２０１〜Ｒ２０４について、顔情報データを項目ごとに比較する（Ｓ１５１）。
【０３８８】
すなわち、まず、顔情報データ相互比較部４２１は、登録画像Ｒ１０１について、登録画像Ｒ２０１〜Ｒ２０４との顔情報データの比較を行う。登録画像Ｒ１０３についても同様である。
【０３８９】
次に、顔情報データ相互比較部４２１が、比較結果に応じて、登録人物情報Ｐ２の各登録画像について、項目ごとに順位付けを行う（Ｓ１５２Ａ）。
【０３９０】
ここで、登録画像Ｒ１０１との比較における順位付けについて説明すると次のとおりである。登録画像Ｒ２０１の「顔の向き」および「射光度」は、登録画像Ｒ１０１のものと一致しており、また「笑顔度」は、差分が“１０”である。よって、登録画像Ｒ１０１との比較において、登録画像Ｒ２０１の「顔の向き」および「射光度」は、１位に順位付けられる。また、登録画像Ｒ２０１の「笑顔度」は、２位に順位付けられる。
【０３９１】
また、登録画像Ｒ１０３との比較における順位付けについて説明すると次のとおりである。登録画像Ｒ２０３の「顔の向き」および「射光度」は、登録画像Ｒ１０３のものと一致しており、また「笑顔度」は、差分が“１０”である。よって、登録画像Ｒ１０３との比較において、登録画像Ｒ２０３の各項目は、１位に順位付けられる。
【０３９２】
次に、登録画像選択情報生成部４２２が、項目ごとの順位付けに応じて、登録人物情報Ｐ１および登録人物情報Ｐ２について登録画像を選択し、選択した登録画像の識別情報を含む選択情報を生成する（Ｓ１５３Ａ）。
【０３９３】
ここでは、登録人物情報Ｐ２の登録画像について総合順位を算出し、この総合順位に基づいて登録画像を選択する。すなわち、登録画像Ｒ１０１との比較においては、１位を多く含む登録画像Ｒ２０１に最も高い総合順位が割り当てられる。また、登録画像Ｒ１０３との比較においては、１位を多く含む登録画像Ｒ２０３に最も高い総合順位が割り当てられる。
【０３９４】
よって、登録画像選択情報生成部４２２は、基準となる登録人物情報Ｐ１については、登録画像Ｒ１０１、Ｒ１０３をそれぞれ選択する。また、登録画像選択情報生成部４２２は、登録人物情報Ｐ２については、総合順位に基づいて登録画像Ｒ２０１、Ｒ２０３を選択する。
【０３９５】
この結果、登録画像選択情報生成部４２２は、登録画像Ｒ１０１、Ｒ１０３、Ｒ２０１およびＲ２０３の識別情報を含む選択情報を生成する。
【０３９６】
次に、選択情報設定部４２３が、登録画像Ｒ１０１、Ｒ１０３、Ｒ２０１およびＲ２０３の識別情報を含む選択情報を選択情報記憶部２３に登録する（Ｓ１５４）。
【０３９７】
（むすび）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０３９８】
最後に、顔認証装置１、１Ａ、１Ｂの各ブロック、特に画像取得部３１、顔特徴データ抽出部３２、顔情報データ推定部３３、重み決定部３４、３４Ａ、認証スコア算出部３５、３５Ａ、重み付き認証スコア算出部３６、認証結果出力部３７、登録画像選択部４０、４２、および選択枚数設定部４１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０３９９】
すなわち、顔認証装置１、１Ａ、１Ｂは、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである顔認証装置１、１Ａ、１Ｂの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記顔認証装置１、１Ａ、１Ｂに供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０４００】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ／ブルーレイディスク（登録商標）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０４０１】
また、顔認証装置１、１Ａ、１Ｂを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０４０２】
本発明は、画像に含まれる対象物の認証に用いることができるので、プリンタ、スキャナ、パーソナルコンピュータ等により実現されるデジタル画像機器や、デジタルカメラ、およびセキュリティシステム等に好適に利用することができる。
【符号の説明】
【０４０３】
１、１Ａ、１Ｂ 顔認証装置（画像認証装置）
５ 画像入力装置
２０ 記憶部
２１ 登録画像データベース
２２ 重みデータ記憶部
２３ 選択情報記憶部
３０ 制御部
３１ 画像取得部
３２ 顔特徴データ抽出部
３３ 顔情報データ推定部（入力画像撮影条件取得手段、登録画像撮影条件取得手段）
３４、３４Ａ 重み決定部（重み付け決定手段）
３４１ 顔情報データ比較部（入力条件判定手段、入力条件順位付け手段、近さ算出手段）
３４２ 重み計算部（重み付け決定手段）
３４３ 重み出力部
３５、３５Ａ 認証スコア算出部（類似度算出手段）
３６ 重み付き認証スコア算出部（重み付け適用手段）
３７ 認証結果出力部（画像認証手段）
４０ 登録画像選択部（選択手段）
１００ 顔認証システム
４０１ 顔情報データ相互比較部（撮影条件近似判定手段、登録条件順位付け手段）
４０２ 基準登録画像選択部（撮影条件近さ算出手段）
４０３ 他人登録画像選択部（撮影条件近さ算出手段）
４０４ 選択情報設定部
４１ 選択枚数設定部（選択手段）
４２ 登録画像選択部（選択手段）
４２１ 顔情報データ相互比較部（条件相互判定手段、相互近似数計上手段、相互順位付け手段）
４２２ 登録画像選択情報生成部（撮影条件近さ相互算出手段）
４２３ 選択情報設定部
Ａ１ 入力画像
Ｐ 登録人物情報
Ｒ 登録画像
【技術分野】
【０００１】
本発明は、対象物が撮影された画像を画像データベースと照合することにより認証する画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法に関する。
【背景技術】
【０００２】
従来、予め人物の顔が撮影された画像をデータベースに登録しておき、認証を行うべき人物の顔が撮影された画像の入力があったとき、入力された画像を、データベースの登録内容と比較することにより個人を識別して認証を行う顔認証技術が知られている。
【０００３】
顔認証技術における認証処理について、より具体的に例示すると次のとおりである。まず、登録時において、人物の顔が撮影された画像から、その人物の顔の特徴を示す特徴量を抽出して登録しておく。また、認証時には、入力された画像からこの特徴量が抽出される。そして、入力された画像から抽出された特徴量がデータベースに登録されている特徴量と比較される。
【０００４】
顔認証技術の分野では、誤認証をなるべく低減し、認証精度を向上することが望まれており、そのための様々な技術が提案されている。
【０００５】
例えば、特許文献１では、時系列で複数の画像を登録しておき、最古の登録画像とその他の登録画像との撮影時間差を元に重み係数を算出することが提案されている。すなわち、引用文献１の技術では、最新の登録画像の重み付けを高くし、古い登録画像の重み付けを低くしている。そして、登録画像の特徴量それぞれをこれらの係数を元に重み付け平均することで、比較的最近に登録された登録画像の特徴量が認証において重視されるようにしている。
【０００６】
また、例えば、特許文献２には、登録者の身体的特徴や外見的特徴に基づく重み付けを行うことが提案されている。具体的に例示すると、特許文献２には、登録者の身長データおよびメガネの有無に基づいてそれぞれ重み付けをすることが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１２９８３０号公報（２００８年６月 ５日公開）
【特許文献２】特開２００９− ６４１７３号公報（２００９年３月２６日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、比較する画像間で撮影条件が異なれば、本人が撮影されている画像であっても他人の画像であると誤認証してしまうおそれがある。さらにいえば、比較する画像間で撮影条件が同じであれば、他人が撮影されている画像であっても本人の画像であると誤認証してしまうおそれがある。
【０００９】
また、認証の際、比較の対象となり得る特徴量の種類は、身長等のほかにも多数あり、ある人物について複数の画像が登録される場合もある。
【００１０】
上記従来技術では、これらの点について考慮できていなかった。このため、具体的には、以下のような問題がある。
【００１１】
まず、特許文献１では、時間情報のみ利用して、重み付けの平均を行っているだけであるので、表情や顔向きなどの違いが考慮されておらず、これによる誤認識のおそれがある。例えば、ある人物の最新の画像が笑顔で撮影されている場合、他人の画像であって笑顔で撮影されているものと誤認識する可能性がある。
【００１２】
また、特許文献２では、１人の登録者に対して複数の登録画像について重み付けを行っていない。このため、１人の登録者に対して複数の画像が登録された場合、画像それぞれの間に、撮影されている登録者本人の外見および環境等の差異や、表情の相違があることが考えられるが、これに対してなんら対応する手法を提示していない。
【００１３】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、登録者に対して複数の画像が登録されている場合において、登録されている画像間で撮影条件が異なっていても、精度よく認証を行うことができる画像認証装置等を実現することにある。
【課題を解決するための手段】
【００１４】
上記の課題を解決するために、本発明に係る画像認証装置は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されており、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、を備えることを特徴とする。
【００１５】
上記の課題を解決するために、本発明に係る画像認証方法は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含むことを特徴とする。
【００１６】
なお、ここで、登録画像データベースと照合するとは、入力画像と登録画像との類似度を判定することにより、入力画像に含まれる対象物が、登録画像データベースに登録されている対象物のうちのいずれであるかを特定したり、特定するための候補を選定したりする処理のことである。
【００１７】
また、類似度とは、例えば、入力画像から抽出される特徴量と登録画像から抽出される特徴量とを比較して得られる、いわゆる認証スコアのことである。
【００１８】
また、上記対象物とは、人物および車をはじめパターン認識可能な物体等のことをいう。なお、対象物は、ある対象物の一部であってもよい。例えば、ある対象物が人物であるときにおいて、当該ある対象物の一部である人物の顔の関係が挙げられる。
【００１９】
上記構成によれば、まず、入力画像の撮影条件を取得し、また、登録画像データベースから登録画像の撮影条件を取得する。
【００２０】
ここで、撮影条件は、上記対象物に関するものであり、対象物が撮影されたときの環境や状態のことを意味する。また、対象物が撮影されたときの撮影条件としては、撮影を行うときの環境に関する条件と、被写体となる対象物の状態に関する条件が含まれる。
【００２１】
撮影を行うときの環境に関する条件としては、例えば、上記対象物が人物である場合、人物の顔の向き、いいかえれば人物に対するカメラ等の撮影手段の向きが挙げられる。また、他にも、撮影を行うときの環境に関する条件としては、顔の表情、照明の向き・強さ、射光の具合、および影のかかり具合などが挙げられる。
【００２２】
また、被写体となる人物の状態に関する条件としては、例えば、人物の推定年齢、性別など、人物の外観から推定できる条件が挙げられる。
【００２３】
また、撮影条件は、所定の精度における連続の値をとってもよいし、カテゴリー分けされた条件のいずれの条件に属するかを示す分類であってもよい。
【００２４】
連続値としては、例えば、対象物の撮影の角度が挙げられる。さらに対象物が人物の場合であれば、例示的には顔の向きの角度が挙げられる。この場合、角度は、整数値であってもよい。また、このように撮影条件として角度の整数値を採用する場合でも、実際には、「５度ごと」の精度で値が設定されてもよく、「１５度、２０度、２５度…」のように飛び飛びの値をとるようになっていてもよい。また、逆に、角度は、小数点第何位まで求める精度であってもよい。
【００２５】
分類としては、対象物が人物の場合であれば、人物の性別、顔の大まかな向きが挙げられる。なお、顔の大まかな向きとは、正面や、右または左を向いていることを示す分類のことである。
【００２６】
なお、撮影条件は、対象物が撮影された画像から周知のアルゴリズムで抽出されたものであってもよいし、手動にて入力されたものであってもよい。
【００２７】
さらに、上記構成において決定する重み付けは、例えば、登録画像の撮影条件と、上記入力画像の撮影条件との近さに基づいて決定される。撮影条件の近さとは、人物の顔の向きの角度であれば、その角度がどれだけ近いかということである。また、顔の大まかな向きであれば、予め撮影条件の近さを定義しておけばよく、例えば、左と右との関係よりも、右と正面との関係のほうが近いと定義しておくことができる。
【００２８】
さらに、上記構成では、対象物ごとに、登録画像の撮像条件が取得され、重み付けおよび類似度が算出される。そして、登録画像の類似度に重み付けを適用して登録画像データベースとの照合を行う。
【００２９】
上記重み付けにより、入力画像の撮影条件により近い撮影条件を有する登録画像が照合において重視されるようにすることができる。また、逆に、入力画像の撮影条件から遠い撮影条件を有する登録画像については、照合における影響力を小さくすることができる。
【００３０】
この結果、ある撮影条件において撮影された対象物が、当該ある撮影条件と同一または近似する撮影条件において撮影された対象物について登録されている登録画像の存在により、別の対象物と誤認されてしまう可能性を低減することができる。
【００３１】
また、別の観点からいえば、入力画像の撮影条件と、登録画像の撮影条件とが異なることに起因して、入力画像の対象物と、登録画像の対象物とが同一なのに正しく認証されなくなる可能性を低減することができる。
【００３２】
本発明に係る画像認証装置では、上記登録画像データベースに、１以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されていることが好ましい。
【００３３】
上記構成では、上記登録画像データベースにおいて、１以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されている。すなわち、１以上の対象物について、登録画像と、該登録画像の対象物に関する撮影条件とが対応づけられた登録が複数ある。
【００３４】
よって、例えば、重み付けは複数の登録画像に対して決定される。また、例えば、類似度の算出も登録画像ごとに行う。そして、重み付けを適用した類似度に基づいて照合を行う。
【００３５】
このとき、重み付けを適用した類似度を加算して、照合に用いる類似度を算出してもよい。また、それぞれの登録画像に対する重み付けは、その総和が１となるような値であってもよい。つまり、照合に用いる類似度は、重み付け平均によって算出してもよい。
【００３６】
上記構成によれば、ある対象物について、異なる撮影条件が登録画像とともに登録されている場合において、照合精度の向上を図ることができる。
【００３７】
本発明に係る画像認証装置では、一の対象物について登録されている上記登録画像の上記撮影条件と他の対象物について登録されている上記登録画像の上記撮影条件との近さである撮影条件近さに応じて、上記対象物それぞれについて登録されている上記複数の登録画像から、重み付けを適用すべき上記登録画像を選択する選択手段を備え、上記重み付け適用手段は、上記選択手段により選択された登録画像について算出された類似度に、重み付けを適用することが好ましい。
【００３８】
上記構成によれば、撮影条件近さに応じて選択された登録画像について算出された類似度に重み付けが適用される。なお、選択される登録画像の数は、対象物ごとに異なっていてもよいし、対象物の間で同じであってもよい。
【００３９】
ここで、登録画像を選択するとは、別の観点からいえば、選択された登録画像について算出された類似度が照合において用いられるということを意味する。逆に言えば、選択されない登録画像について算出された類似度は、照合において無視することになる。
【００４０】
よって、「登録画像を選択する」ことには、例えば、その登録画像について算出された類似度に適用する重み付けの係数を非ゼロにすることが含まれる。また、「登録画像を選択しない」ことには、例えば、その登録画像について算出された類似度に適用する重み付けの係数を“０”にすることが含まれる。
【００４１】
よって、入力画像の照合において、照合に用いる登録画像の撮影条件を、対象物の間である程度合わせておくことができる。
【００４２】
この結果、撮影条件の違いから、同一の対象物を別の対象物と誤認証したり、別の対象物を同一の対象物と誤認証したりすることを防ぐことができる。
【００４３】
本発明に係る画像認証装置では、上記選択手段は、対象物それぞれについて、同じ数の登録画像を選択することが好ましい。
【００４４】
上記構成によれば、対象物それぞれにおいて、選択される登録画像の数を揃えることができる。選択する数は、例えば、登録画像の数が最も少ない対象物に合わせることができる。つまり、登録画像が１つしか登録されていない対象物がある場合、選択する数は１である。
【００４５】
これにより、対象物それぞれにおいて、少なくとも１枚は登録画像が選択されることになる。
【００４６】
よって、登録画像の数が少なく、登録されている登録画像の撮影条件が入力画像の撮影条件と所定以上離れている対象物が、照合の対象から外れてしまうことを防ぐことができる。
【００４７】
本発明に係る画像認証装置では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件とが近似しているか否かを判定する撮影条件近似判定手段と、上記撮影条件近似判定手段が近似していると判定した数に応じて、上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることが好ましい。
【００４８】
上記構成では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件とが近似しているか否かを判定する。そして、撮影条件が近似していると判定された数を計上して、具体的に、撮影条件近さを算出することができる。
【００４９】
なお、上述のとおり、撮影条件には、顔の表情、照明の向き・強さ、射光の具合、および影のかかり具合等、複数の条件が含まれる場合がある。
【００５０】
上記構成によれば、例えば、撮影条件に複数の条件が含まれている場合でも、具体的に、計上した数に従って登録画像相互における撮影条件近さを算出可能である。
【００５１】
撮影条件に複数の条件が含まれている場合において、例えば、近似していると判定した条件の数がより多いときに、より撮影条件の近さが近いことを示す値を算出することができる。なお、上記構成には、撮影条件に含まれる全ての条件が近似しているとき選択手段の選択対象とする構成も含まれる。
【００５２】
また、上記構成と、条件ごとに順位付けを行うためにデータのソート処理を行う構成とを比較した場合次のとおりである。
【００５３】
ソート処理を行う構成では、電子計算機としての画像認証装置の側面を考慮すると、ソート処理に多くの計算機資源が用いられることが想定される。これに対し、上記構成は、判定結果を計上するだけで済むため、処理にかかる計算機資源の低減を図ることができる。
【００５４】
本発明に係る画像認証装置では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件との近さの順位付けをする登録条件順位付け手段と、上記登録条件順位付け手段による上記順位付けに応じて上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることが好ましい。
【００５５】
上記構成では、一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件との近さの順位付けをする。そして、近さの順位付けに従って、具体的な撮影条件近さを算出することができる。
【００５６】
また、上記構成によれば、例えば、撮影条件に複数の条件が含まれている場合でも、具体的に、登録画像相互における撮影条件の順位を定義可能である。このような場合、条件ごとになされた順位付けに応じて撮影条件近さを算出する。例えば、より高い順位付けがされた条件をより多く含む撮影条件同士はより撮影条件近さが近いとすることができる。また、上記構成には、最高位の順位付けがされた条件をより多く含む撮影条件が選択手段の選択対象となる構成も含まれる。
【００５７】
本発明に係る画像認証装置では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件とが近似しているか否かを、それぞれ判定する入力条件判定手段と、上記入力条件判定手段が近似していると判定した数に応じて、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することを特徴とすることが好ましい。
【００５８】
上記構成では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件とが近似しているか否かを判定する。そして、撮影条件が近似していると判定された数を計上して、具体的に、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さを算出することができる。
【００５９】
上記構成によれば、例えば、撮影条件に複数の条件が含まれている場合でも、具体的に、計上した数に従って上記近さを算出する。
【００６０】
撮影条件に複数の条件が含まれている場合において、例えば、近似していると判定した条件の数がより多いときに、より上記近さが近いことを示す値を算出することができる。
【００６１】
また、上記構成と、条件ごとに順位付けを行うためにデータのソート処理を行う構成とを比較した場合次のとおりである。
【００６２】
ソート処理を行う構成では、計算機としての画像認証装置の側面を考慮すると、ソート処理に多くの計算機資源が用いられることが想定される。これに対し、上記構成は、判定結果を計上するだけで済むため、処理にかかる計算機資源の低減を図ることができる。
【００６３】
本発明に係る画像認証装置では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの順位付けをする入力条件順位付け手段と、上記入力条件順位付け手段による上記順位付けに従って、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することが好ましい。
【００６４】
上記構成では、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの順位付けをする。上記構成では、この順位付けに従って、具体的に、上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さを算出する。
【００６５】
上記構成によれば、撮影条件に複数の条件が含まれている場合でも、具体的に、登録画像相互における撮影条件の順位を定義可能である。このような場合、条件ごとになされた順位付けに応じて上記近さを算出する。例えば、より高い順位付けがされた条件をより多く含む撮影条件同士はより上記近さが近いとすることができる。また、上記構成には、最高位の順位付けがされた条件をより多く含む撮影条件が選択手段の選択対象となる構成も含まれる。
【００６６】
本発明に係る画像認証装置では、上記登録画像の上記撮影条件には、複数の条件が含まれていることが好ましい。
【００６７】
上記構成によれば、撮影条件に含まれる複数の条件について、近似判定または順位付けを行う。そして、近似判定または順位付けに基づいて、上記近さ、または、上記撮影条件近さを算出する。このように、複数の条件から近さを算出するので、算出する近さの精度向上を図ることができる。
【００６８】
本発明に係る画像認証装置では、上記対象物が人物の顔であることが好ましい。
【００６９】
すなわち、上記構成においては、入力画像は、人物の顔が撮影された顔画像であり、上記登録画像データベースには、人物ごとに該人物の顔を撮影して得られた顔画像が登録されている。
【００７０】
上記構成によれば、人物の顔を精度よく照合することができるという効果を奏する。
【００７１】
なお、上記画像認証装置と、上記入力画像を上記画像認証装置に供給する画像入力装置と、を備える画像処理システムを好ましく構成することができる。
【００７２】
画像処理システムの例としては、プリンタ、スキャナ、パーソナルコンピュータや、デジタルカメラなどデジタル画像を処理するものが挙げられる。また、上記画像認証装置と、上記画像入力装置との間が通信ネットワークにより接続されている構成を採用することも可能である。
【００７３】
また、上記画像認証装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより画像認証装置をコンピュータにて実現させる画像認証装置制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００７４】
上記の課題を解決するために、本発明に係る画像認証装置は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されており、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、を備える構成である。
【００７５】
上記の課題を解決するために、本発明に係る画像認証方法は、対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含む方法である。
【００７６】
よって、入力画像の撮影条件と、登録画像の撮影条件とが異なることに起因して、同一の対象物を異なる対象物と誤認してしまったり、異なる対象物同士を同一の対象物と誤認してしまったりすることを防ぐことができる。
【図面の簡単な説明】
【００７７】
【図１】本発明の一実施形態に係る顔認証装置の概略的構成について示した機能ブロック図である。
【図２】登録人物情報のデータ構造について例示した図である。
【図３】上記顔認証装置における顔画像登録処理の流れについて例示したフローチャートである。
【図４】上記顔認証装置における顔画像認証処理の流れについて例示したフローチャートである。
【図５】重み付き認証スコアを用いた認証の実施例について示す図である。
【図６】重み決定部が備える各機能部について説明した機能ブロック図である。
【図７】上記顔認証装置における登録画像ごとの重み決定処理の流れについて例示したフローチャートである。
【図８】登録画像ごとの重み決定処理の実施例について示す図である。
【図９】重み決定部における登録画像ごとの重み決定処理の流れの別の例について示したフローチャートである。
【図１０】本発明の別の実施形態に係る顔認証装置の概略的構成について示した機能ブロック図である。
【図１１】上記顔認証装置における顔画像登録処理の流れについて例示したフローチャートである。
【図１２】上記顔認証装置における顔画像認証処理の流れについて例示したフローチャートである。
【図１３】上記顔認証装置における顔画像登録処理および顔画像認証処理の実施例について示す図である。
【図１４】登録画像選択部の構成例について示した機能ブロック図である。
【図１５】『顔情報データにより登録画像を選択する処理』の詳細について例示するフローチャートである。
【図１６】上記構成例に係る『顔情報データにより登録画像を選択する処理』の実施例について示す図である。
【図１７】登録画像選択部の別の構成例について示した機能ブロック図である。
【図１８】本発明のさらに別の実施形態に係る顔認証装置の概略的構成について示した機能ブロック図である。
【図１９】登録画像選択部の詳細な構成例を示した機能ブロック図である。
【図２０】上記顔認証装置における顔画像登録処理の流れについて例示したフローチャートである。
【図２１】『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
【図２２】上記顔認証装置における顔画像登録処理および顔画像認証処理の実施例について示す図である。
【図２３】『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
【図２４】上記『顔情報データにより登録画像を選択枚数分だけ選択する処理』の実施例について示す図である。
【発明を実施するための形態】
【００７８】
〔実施形態１〕
本発明の顔認証装置に関する一実施形態について図１〜図９を参照して説明する。
【００７９】
図１に示すとおり、顔認証システム（画像処理システム）１００は、顔認証装置（認証装置）１および画像入力装置５を備える構成である。
【００８０】
顔認証装置（画像認証装置）１は、画像入力装置５から入力された画像を認証する装置である。顔認証装置１における認証処理には、「顔画像登録処理」および「顔画像認証処理」の２つの手順が含まれる。まず、第１に、「顔画像登録処理」において、顔認証装置１に、認証に用いる画像を登録しておく。そして、第２に、「顔画像認証処理」において、入力された画像と、登録されている画像とを照合して認証を行う。
【００８１】
なお、以下において、“認証”の用語は、例示的に、入力された画像に撮影されている人物の顔が、登録されているいずれかの画像に撮影されている人物の顔とが一致するか否かを照合して、これにより人物を特定する処理のことを意味することとする。
【００８２】
画像入力装置５は、人物の顔が撮影された撮影画像を顔認証装置１に入力する装置である。画像入力装置５は、例えば、被写体である人物の顔を撮影して画像を生成するデジタルカメラ等により構成することができる。
【００８３】
なお、以下、撮影画像には、人物の顔が撮影されていることとするが、撮影の被写体は、人物の顔に限られない。すなわち、対象となる被写体は、任意に選択可能である。また、以下、必要に応じて、「顔画像登録処理」において、登録のために顔認証装置１に入力する撮影画像を、“登録対象画像Ａ２”と称し、「顔画像認証処理」において、認証の対象とするために顔認証装置１に入力する撮影画像を、“入力画像Ａ１”と称して区別する。また、“入力画像Ａ１”と、“登録対象画像Ａ２”とをとくに区別する必要が無い場合には、単に“撮影画像”と称する。
【００８４】
（顔認証装置）
図１を用いて、顔認証装置１の各種構成について説明すると次のとおりである。図１に示すとおり、顔認証装置１は、操作部１１、表示部１２、記憶部２０および制御部３０を備える構成である。
【００８５】
操作部１１は、ユーザから各種の入力を受け付けるものであり、例えば、入力用ボタン、キーボード、テンキー、マウスなどのポインティングデバイス、タッチパネル、その他の入力デバイスによって構成される。操作部１１は、受け付けたユーザの操作に応じて操作データを生成し、生成した操作データを制御部３０に送信する。
【００８６】
表示部１２は、ユーザに対して、情報提供を行うための画面表示を行うものである。表示部１２は、制御部３０から受信した画面データに基づいて、表示画面に文字や画像などの各種の情報を表示する。表示部１２は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）ディスプレイなどの表示装置によって構成される。
【００８７】
記憶部２０は、各種データおよびプログラムを記憶するものである。記憶部２０の構成としては、例えば、ハードディスク等の不揮発性の記憶装置と、制御部３０が動作するときに必要なプログラムや、各種制御に用いる固定データを記憶する読出し専用の半導体メモリであるＲＯＭ（Read Only Memory）と、演算に使用するデータ、および演算結果などを一時的に記憶する、いわゆるワーキングメモリとしてのＲＡＭ（Random Access Memory）と、各種の設定データなどを記憶する書換え可能な不揮発性メモリ（例えばフラッシュメモリ）とが挙げられる。なお、記憶部２０の詳細については後述する。
【００８８】
制御部３０は、顔認証装置１における各種機能を統括的に制御するものである。制御部３０の制御機能は、制御プログラムをＣＰＵ（Central Processing Unit）などの処理装置が実行することによって実現される。この制御プログラムは、例えば、ＲＡＭやフラッシュメモリなどの記憶素子としての記憶部２０に記憶されていてもよいし、ハードディスクなどにインストールされたものを読み込んで使用する形態であってもよい。なお、制御部３０の詳細については後述する。
【００８９】
（記憶部の詳細について）
次に、図１および図２を用いて、記憶部２０の詳細について説明する。図１に示すとおり、記憶部２０は、登録画像データベース２１と重みデータ記憶部２２とを備える構成である。
【００９０】
登録画像データベース２１は、認証に用いる画像を人物ごとに登録しておくためのものである。登録画像データベース２１の登録内容について、より具体的に例示すると、次のとおりである。
【００９１】
まず、図１に示すように、登録画像データベース２１には、複数の登録人物情報Ｐが登録される。
【００９２】
ここで、図２を用いて登録人物情報Ｐの詳細について説明すると次のとおりである。図２は、登録人物情報Ｐのデータ構造の例を示す図である。
【００９３】
図２に示すように、登録人物情報Ｐには、一例として、登録人物の名前（ＩＤ）が付されて識別可能となっている。また、登録人物情報Ｐには、複数の登録画像Ｒが登録される。
【００９４】
登録画像Ｒは、認証に用いる画像およびその関連情報を含むものであり、具体的には、撮影画像、顔特徴データ、および顔情報データを含むデータ構造である。なお、登録画像Ｒは、識別情報により識別される。
【００９５】
撮影画像には、登録対象画像Ａ２が格納される。なお、撮影画像には、このほか、画像Ａ２を加工した画像、例えば、サムネイルなどを格納してもよい。また、例えば、撮影画像には、フィルタ処理等の画像処理を施した登録対象画像Ａ２を格納してもよい。また、撮影画像は、登録人物情報Ｐのデータ構造から省略してもよい。
【００９６】
顔特徴データには、撮影画像に含まれる人物の顔の特徴を示す特徴量が格納される。特徴量とは、撮影画像に含まれる人物の顔において、顔全体や、目、鼻、口と認められる部位を定量化したものである。特徴量の例としては、輝度情報、周波数特性情報、および上記各部位の形状、位置、大きさ等を数値化した情報が挙げられる。
【００９７】
顔情報データには、撮影画像を撮影したときの人物の顔の状態や、環境、撮影条件を示す各種の情報が項目として含まれる。つまり、顔情報データには、撮影画像に含まれる人物の顔を解析することで取得できる撮影条件等を示す情報が項目として含まれる。具体的に例示すると、図２に示すように、顔情報データの項目としては、「顔の向き」、「顔の表情」等が挙げられる。このほか、同図に図示していないが、顔情報データの項目としては、「笑顔度」、「照明条件」、「射光度」等も挙げられる。
【００９８】
また、顔情報データに設定可能な値は、例示的には、所定の精度の連続値、あるいはカテゴリー分けされた条件のいずれの条件に属するかを示す分類である。
【００９９】
項目が、「顔の向き」である場合、連続値および分類の例は次のとおりである。
【０１００】
まず、連続値としては、顔の向きの角度が挙げられる。この場合、角度は、整数値であってもよく、例えば、０度が真正面から撮影したとき、９０度が人物を左側面から撮影したとき、−９０度が人物を右側面から撮影したときを表す。つまり、符号は、向きを表しており、符号なし（または正符号）は、左を表し、負符号は、右を表している。また、この場合、例えば、「０度、１度、２度…」のような値をとり得る。
【０１０１】
また、このように撮影条件として角度の整数値を採用する場合でも、実際には、「１５度ごと」の精度で値が設定されてもよく、「０度、１５度、３０度…」のように飛び飛びの値をとるようになっていてもよい。また、逆に、角度は、小数点第何位まで求める精度であってもよい。
【０１０２】
また、分類としては、顔の大まかな向きが挙げられる。なお、顔の大まかな向きとは、正面や、右または左を向いていることを示す分類のことである。この場合、例えば、正面とは、顔の向きの角度が「−４５度〜＋４５度」の範囲のとき、右向きは、顔の向きの角度が「−１３５度〜−４５度」の範囲のとき、左向きは、顔の向きの角度が「４５度〜１３５度」の範囲のときを表していてもよい。
【０１０３】
なお、「顔の向き」として、左右だけでなく、上下も表現できるようになっていても良い。例えば、第１要素が左右を表し、第２要素が上下を表す、２組のデータ表現で実現することができる。具体的には、（０，１０）といったデータ表現である。
【０１０４】
また、項目が「顔の表情」である場合、連続値および分類の例は次のとおりである。まず、連続値としては、笑顔の度合いを示す数値が挙げられる。すなわち、この数値は、無表情であるときは低い値をとり、微笑から笑顔になるに従って大きな値をとる。また、以下では、このような数値を特に「笑顔度」とも表現する。分類としては、この笑顔度を所定の範囲に区分して、各区分に「無表情」、「微笑」、「笑顔」を割り当てたものが挙げられる。
【０１０５】
また、項目が「照明条件」である場合、連続値および分類の例は次のとおりである。まず、連続値としては、光が射してくる方向の角度が挙げられる。また、連続値としては、光の当たり具合を示す数値が挙げられる（以下において、これを特に「射光度」とも表現する）。また、分類としては、光が射してくる方向の大まかな向きが挙げられる。これらは、「顔の向き」である場合に順ずるので、ここではその説明を省略する。
【０１０６】
他にも項目として、「年齢」、「性別」、「目の開き方」等各種の情報を採用することが可能である。
【０１０７】
（制御部の詳細について）
次に、図１を用いて、制御部３０の詳細について説明する。図１に示すように、制御部３０は、画像取得部３１、顔特徴データ抽出部３２、顔情報データ推定部（入力画像撮影条件取得手段、登録画像撮影条件取得手段）３３、重み決定部（重み付け決定手段）３４、認証スコア算出部（類似度算出手段）３５、重み付き認証スコア算出部（重み付け適用手段）３６、および認証結果出力部（画像認証手段）３７を備える。
【０１０８】
制御部３０が備える各部は、顔認証装置１における認証処理に含まれる「顔画像登録処理」と、「顔画像認証処理」とを実現している。
【０１０９】
「顔画像登録処理」は、画像取得部３１、顔特徴データ抽出部３２、顔情報データ推定部３３により実行される。
【０１１０】
「顔画像認証処理」は、画像取得部３１、顔特徴データ抽出部３２、顔情報データ推定部３３、重み決定部３４、認証スコア算出部３５、重み付き認証スコア算出部３６、および認証結果出力部３７により実行される。
【０１１１】
なお、図１において、各部を結ぶ破線矢印は、「顔画像登録処理」におけるデータ・制御等の流れを示しており、各部を結ぶ実線矢印は、「顔画像認証処理」におけるデータ・制御等の流れを示している。
【０１１２】
以下、制御部３０が備える各部について個別に説明していくと次のとおりである。
【０１１３】
画像取得部３１は、操作部１１における入力操作に応じて、画像入力装置５から撮影画像を取得するものである。画像取得部３１は、取得した撮影画像を顔特徴データ抽出部３２に転送する。画像取得部３１は、「顔画像登録処理」においては、操作部１１において入力される名前（ＩＤ）を取得して、登録対象画像Ａ２を、取得した名前（ＩＤ）に関する登録人物情報Ｐの登録画像Ｒとして登録画像データベース２１に登録するとともに、顔特徴データ抽出部３２に転送する。
【０１１４】
なお、画像取得部３１は、登録対象となる登録画像Ｒに識別情報を割り当てて登録画像データベース２１に登録する。画像取得部３１は、識別情報を自動的に生成して登録画像Ｒに割り当ててもよいし、操作部１１において入力された識別情報を取得して登録画像Ｒに割り当ててもよい。
【０１１５】
また、登録対象画像Ａ２に撮影されている人物がすでに登録画像データベース２１に登録されている場合、登録画像データベース２１に登録されている登録画像に基づいて認証処理を行い自動的に登録人物を特定するように構成してもよい。また、画像取得部３１は、「顔画像認証処理」においては、入力画像Ａ１を、顔特徴データ抽出部３２に転送する。
【０１１６】
顔特徴データ抽出部３２は、撮影画像に含まれる人物の顔を解析することにより、顔の各部位の特徴量である顔特徴データを抽出するものである。顔特徴データ抽出部３２は、「顔画像登録処理」においては、登録対象画像Ａ２から抽出した顔特徴データを、登録対象の登録画像Ｒの顔特徴データに格納するとともに、登録対象画像Ａ２を、顔情報データ推定部３３に転送する。
【０１１７】
また、顔特徴データ抽出部３２は、「顔画像認証処理」においては、入力画像Ａ１を、顔情報データ推定部３３に転送するとともに、入力画像Ａ１から抽出した顔特徴データを認証スコア算出部３５に送信する。
【０１１８】
顔情報データ推定部３３は、撮影画像を解析することにより、撮影時の顔の状態等の各種状態を推定して、推定した各種状態を示す顔情報データを生成するものである。顔情報データ推定部３３が各種状態を推定する手法には、特に制限はなく、公知の技術を採用することができる。
【０１１９】
また、顔情報データ推定部３３は、「顔画像登録処理」においては、登録対象画像Ａ２から生成した顔情報データを、登録対象の登録画像Ｒの顔情報データに格納する。
【０１２０】
また、顔情報データ推定部３３は、「顔画像認証処理」においては、入力画像Ａ１から生成した顔情報データを重み決定部３４に送信して、認証スコア算出部３５に制御を渡す。
【０１２１】
重み決定部３４は、認証スコア算出部３５が算出した認証スコアに対する重みを決定するものである。重み決定部３４は、登録画像の識別情報と、対応する重みとを対応づけて重みデータ記憶部２２に記憶する。重み決定部３４の重み決定手法については、後に詳しく説明する。
【０１２２】
認証スコア算出部３５は、入力画像と、登録画像とのマッチングを行って、両者の近似の度合いを示す認証スコアを算出するものである。具体的には、認証スコア算出部３５は、入力画像の顔特徴データと、各人物について登録されている複数の登録画像の顔特徴データとをそれぞれ比較して、認証スコアを算出する。なお、認証スコアの算出方法には特に制限はなく、公知の技術を採用することができる。
【０１２３】
重み付き認証スコア算出部３６は、重み決定部３４が決定した重みを、認証スコア算出部３５が算出した認証スコアのそれぞれに適用した重み付き認証スコアを算出するものである。すなわち、重み付き認証スコア算出部３６は、重み決定部３４が決定した重みを重みデータ記憶部２２から読み出して、認証スコア算出部３５が算出した認証スコアのそれぞれに適用することで重み付き認証スコアを算出する。
【０１２４】
重み付き認証スコア算出部３６は、一例として、各認証スコアを重み付け平均化した重み付き認証スコアを算出する。重み付き認証スコアの算出過程の詳細については、後述する。
【０１２５】
認証結果出力部３７は、重み付き認証スコア算出部３６が算出した重み付き認証スコアに基づいて入力画像Ａ１の認証を行って、その認証結果を表示部１２に出力するものである。認証結果出力部３７は、認証結果として、特定した人物の名前を出力してもよいし、これとともに代表的な撮影画像を出力してもよい。
【０１２６】
（顔画像登録処理の流れ）
次に、図３を用いて、ある人物の顔を撮影した撮影画像を登録対象画像として登録する顔画像登録処理の流れについて説明する。図３は、顔認証装置１における顔画像登録処理の流れについて例示したフローチャートである。
【０１２７】
図３に示すように、顔画像登録処理では、まず顔認証装置１の画像取得部３１が画像入力装置５から登録対象画像Ａ２を取得する（Ｓ１０）。顔認証装置１では、画像取得部３１が取得した登録対象画像Ａ２を登録画像データベース２１に登録人物情報Ｐの登録画像Ｒとして登録する。なお、一例として、画像取得部３１は、登録人物情報Ｐの名前（ＩＤ）を、操作部１１における入力から取得する。また、画像取得部３１は、登録画像の識別情報を自動生成する。
【０１２８】
続いて、顔特徴データ抽出部３２が、登録対象画像Ａ２を解析して、登録対象画像Ａ２に含まれる人物の顔に関する特徴データを抽出して、登録画像データベース２１に登録する。すなわち、顔特徴データ抽出部３２は、抽出した特徴データを登録画像Ｒに格納する（Ｓ１１）。
【０１２９】
そして、顔情報データ推定部３３が、登録対象画像Ａ２を解析した結果から生成した顔情報データを登録画像Ｒに格納する（Ｓ１２）。以上で、顔画像登録処理は終了する。
【０１３０】
（顔画像認証処理の流れ）
次に、図４を用いて、ある人物の顔を撮影した撮影画像を入力画像として認証する顔画像認証処理の流れについて説明する。図４は、顔認証装置１における顔画像認証処理の流れについて例示したフローチャートである。
【０１３１】
図４に示すように、顔画像認証処理においては、画像取得部３１が、画像入力装置５から入力される入力画像Ａ１を取得する（Ｓ２０）と、入力画像Ａ１を顔特徴データ抽出部３２に転送する。
【０１３２】
次に、顔特徴データ抽出部３２は、入力画像Ａ１を解析して、入力画像Ａ１から顔特徴データを抽出する（Ｓ２１）
続いて、顔情報データ推定部３３は、入力画像Ａ１を解析して、解析結果から顔情報データを生成する（Ｓ２２）。
【０１３３】
続いて、重み決定部３４は、登録画像ごとに、入力画像Ａ１の解析結果から生成された顔情報データと、登録画像の顔情報データとに基づいて重みを決定する（Ｓ２３）。なお、このステップＳ２３における『登録画像ごとの重み決定処理』の詳細については、後述する。
【０１３４】
続いて、認証スコア算出部３５が、登録画像ごとに、入力画像の顔特徴データと登録画像の顔特徴データとの比較により、認証スコアを算出する（Ｓ２４）。
【０１３５】
続いて、重み付き認証スコア算出部３６は、登録画像ごとに算出した認証スコアに、登録画像ごとに決定した重みを適用した重み付き認証スコアを計算する（Ｓ２５）。
【０１３６】
そして、認証結果出力部３７が、重み付き認証スコアを用いて入力画像Ａ１の認証を行って、その認証結果を表示部１２に出力する（Ｓ２６）。以上で顔画像認証処理は終了する。
【０１３７】
（実施例）
以下において、図５を用いて、重み付き認証スコアを用いた認証の実施例について説明する。本実施例では、以下の前提条件のもと、どのように顔画像認証処理が行われるかについて、図４を用いて説明したフローチャートの流れに沿って説明する。
【０１３８】
まず、登録画像データベース２１には、登録人物情報Ｐ１および登録人物情報Ｐ２が登録されている。登録人物情報Ｐ１および登録人物情報Ｐ２について登録されている登録画像の顔情報データには、「照明条件」および「顔の向き」の項目が含まれている。項目の設定値には、分類を用いている。
【０１３９】
登録人物情報Ｐ１は、“Ａさん”についての登録であり、“Ａさん”はやや面長な顔つきをしている。また、登録人物情報Ｐ１について、登録画像Ｒ１１および登録画像Ｒ１２の２つが登録されている。登録画像Ｒ１１の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像Ｒ１２の「照明条件」および「顔の向き」には、それぞれ、“射光”および“正面”が設定されている。
【０１４０】
また、登録人物情報Ｐ２は、“Ｂさん”についての登録であり、“Ｂさん”は、“Ａさん”と比べると丸顔である。また、登録人物情報Ｐ２について、登録画像Ｒ２１および登録画像Ｒ２２の２つが登録されている。登録画像Ｒ２１の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像Ｒ２２の「照明条件」および「顔の向き」には、それぞれ、“射光”および“正面”が設定されている。
【０１４１】
また、認証の対象となる入力画像Ａ１は、“Ａさん”が正面から均一光のもとで撮影されているものである。
【０１４２】
上記前提条件のもと、顔認証装置１は、以下のごとく顔画像認証処理を行う。
【０１４３】
まず、入力画像Ａ１が入力されると（Ｓ２０）、顔特徴データ抽出部３２が、入力画像Ａ１の顔特徴データを抽出する（Ｓ２１）。そして、顔情報データ推定部３３が、入力画像Ａ１の顔情報データを生成する（Ｓ２２）。顔情報データ推定部３３は、入力画像Ａ１から、「照明条件」として“均一光”、「顔の向き」として“正面”を得る。
【０１４４】
続いて、重み決定部３４が、入力画像Ａの顔情報データと、登録画像の顔情報データとを比較することにより、登録画像ごとの重みを決定する（Ｓ２３）。ここでは、登録人物情報Ｐ１、Ｐ２の登録画像が順に登録画像データベース２１から読み出されて比較される。
【０１４５】
例えば、登録人物情報Ｐ１についていえば、登録画像Ｒ１１の顔情報データは、入力画像の顔情報データと一致している。また、登録画像Ｒ１２の顔情報データは、「顔の向き」については、“正面”であるから入力画像Ａ１の顔情報データと一致するものの、「照明条件」については、“射光”であるから入力画像Ａ１の顔情報データと一致しない。
【０１４６】
このため、重み決定部３４は、登録画像Ｒ１１に対して登録画像Ｒ１２よりも大きな重みを割り当てる。例えば、図５に示すように、重み決定部３４は、登録画像Ｒ１１に対する重みＷ１１に“０．８”を割り当て、登録画像Ｒ１２に対する重みＷ１２に“０．２”を割り当てる。さらにいえば、重みＷ１１、Ｗ１２は、重み付け平均のために用いられるため、重みＷ１１と重みＷ１２との和は、“１．０”になるように算出されている。
【０１４７】
また、登録人物情報Ｐ２についても同様に、登録画像Ｒ２１の顔情報データは、入力画像の顔情報データと一致している一方で、登録画像Ｒ２２の顔情報データは、入力画像の顔情報データと一部相違している。
【０１４８】
このため、重み決定部３４は、登録画像Ｒ２１に対して登録画像Ｒ２２よりも大きな重みを割り当てる。例えば、図５に示すように、重み決定部３４は、登録画像Ｒ２１に対する重みＷ２１に“０．８”を割り当て、登録画像Ｒ２２に対する重みＷ２２に“０．２”を割り当てる。重みＷ２１と重みＷ２２との和が、“１．０”になるのは、重みＷ１１の場合と同様である。
【０１４９】
次に、認証スコア算出部３５が、登録人物情報Ｐ１の登録画像Ｒ１１、Ｒ１２と、登録人物情報Ｐ２の登録画像Ｒ２１、Ｒ２２とを順に、入力画像Ａ１と比較して認証スコアを算出する（Ｓ２４）。
【０１５０】
登録画像Ｒ１１は、顔情報データが、入力画像Ａ１と一致しており、なおかつ入力画像Ａ１と同じ“Ａさん”から抽出された顔抽出データが格納されているので、認証スコア算出部３５は、登録画像Ｒ１１について高い認証スコアを算出する。また、登録画像Ｒ１１は、入力画像Ａ１と同じ“Ａさん”から抽出された顔抽出データが格納されているものの、顔情報データが一部相違しており、これが外観にも影響しているので、認証スコア算出部３５は、登録画像Ｒ１２について、登録画像Ｒ１１よりも低い認証スコアを算出する。
【０１５１】
よって、例えば、図５に示すように、認証スコア算出部３５は、登録画像Ｒ１１の認証スコアＣ１１を“８００”と算出し、登録画像Ｒ１２の認証スコアＣ１２を“７００”と算出する。
【０１５２】
一方、登録画像Ｒ２１は、顔情報データが、入力画像Ａ１と一致しているが、入力画像Ａ１と異なり“Ｂさん”から抽出された顔特徴データが格納されたものであるので、認証スコア算出部３５は、登録画像Ｒ２１について、登録画像Ｒ１１よりも低い認証スコアを算出する。また、登録画像Ｒ２２は、顔情報データも、撮影されている人物も、入力画像Ａ１とは異なるので、認証スコア算出部３５は、登録画像Ｒ２２について、登録画像Ｒ１２よりも低い認証スコアを算出する。
【０１５３】
よって、例えば、図５に示すように、認証スコア算出部３５は、登録画像Ｒ２１の認証スコアＣ２１を“７００”と算出し、登録画像Ｒ２２の認証スコアＣ２２を“２００”と算出する。
【０１５４】
次に、重み付き認証スコア算出部３６が、ステップＳ２３で決定された重みを、ステップＳ２４で算出された認証スコアに適用して、重み付け平均された認証スコアを算出する（Ｓ２５）。
【０１５５】
すなわち、登録人物情報Ｐ１についての重み付き認証スコアＣ１０は、『認証スコアＣ１１×重みＷ１１＋認証スコアＣ１２×重みＷ１２』により算出される。ゆえに、重み付認証スコアＣ１０＝８００×０．８＋７００×０．２＝７８０である。
【０１５６】
一方、登録人物情報Ｐ２についての重み付き認証スコアＣ２０についても同様に、重み付き認証スコアＣ２０＝７００×０．８＋２００×０．２＝６００である。
【０１５７】
次に、認証結果出力部３７は、登録人物情報Ｐ１についての重み付き認証スコアＣ１０のほうが、登録人物情報Ｐ２についての重み付き認証スコアＣ２０よりも大きいので、入力画像Ａ１の認証結果として、登録人物情報Ｐ１の名前“Ａさん”を返す（Ｓ２６）。
【０１５８】
なお、本実施例では、重みの総和が“１．０”となるように構成したが、これに限られない。例えば、ある登録人物情報について登録画像が１枚しかない場合は、これに限られず、０以上の範囲で近似項目数に応じた重みを決定してもよい。
【０１５９】
（作用・効果）
以上のように、本発明に係る画像認証装置１は、対象物が撮影された入力画像Ａ１を、登録画像データベース２１と照合することにより、入力画像Ａ１に含まれる人物を認証する画像認証装置１において、登録画像データベース２１では、上記人物を撮影して得られた登録画像Ｒと、登録画像Ｒの人物の顔に関する撮影条件とが対応付けられて登録されており、入力画像Ａ１の顔情報データを推定する顔情報データ推定部３３と、登録画像Ｒの顔情報データと入力画像Ａ１の顔情報データとの近さに応じた重み付けを決定する重み決定部３４と、入力画像Ａ１と登録画像Ｒとの間で認証スコアを算出する認証スコア算出部３５と、認証スコアに、対応する登録画像Ｒについて決定された重み付けを適用する重み付き認証スコア算出部３６と、重み付け認証スコアに基づいて入力画像Ａ１を照合する認証結果出力部３７と、を備える構成である。
【０１６０】
上記構成によれば、入力画像Ａ１の顔情報データと、登録画像Ｒの顔情報データとが異なることに起因して、同一の人物を異なる人物と誤認してしまったり、異なる人物同士を同一の人物と誤認してしまったりすることを防ぐことができる。
【０１６１】
なお、以上において、認証とは、例示的に、入力された画像に撮影されている人物の顔が、登録されているいずれかの画像に撮影されている人物の顔とが一致するか否かを照合して、これにより人物を特定する処理のことをさすこととしたが、これに限られない。
【０１６２】
例えば、認証処理において、人物の特定まではせずに、照合の結果得られた認証スコアのリストを出力するよう顔認証装置１を構成してもかまわない。言い換えれば、顔認証装置１は、人物を特定するための候補を選定した結果を認証結果として出力してもかまわない。
【０１６３】
また、対象となる被写体は、任意に選択可能であることを説明したが、具体的には、車や車のナンバープレートなどを被写体とすることが可能である。すなわち、パターン認識により識別可能な対象物を被写体とすることが可能である。
【０１６４】
（重み決定部）
以下において、図６〜図８を参照しながら、重み決定部３４が行う重み決定の詳細について説明する。
【０１６５】
まず、図６を用いて、重み決定部３４の詳細構成について説明すると次のとおりである。図６は、重み決定部３４が備える各機能部について説明した機能ブロック図である。
【０１６６】
図６に示すように、重み決定部３４は、顔情報データ比較部（入力条件判定手段、入力条件順位付け手段、近さ算出手段）３４１と、重み計算部（重み付け決定手段）３４２と、重み出力部３４３と、を備える構成である。
【０１６７】
顔情報データ比較部３４１は、入力画像の顔情報データと、登録画像の顔情報データとを比較することで顔情報データの近さを判定して、近い項目がいくつあるかを示す近似項目数を計上するものである。
【０１６８】
ここで、顔情報データ比較部３４１は、例示的に、次のように顔情報データの近さを判定して、近似項目数をカウントする。
【０１６９】
まず、顔情報データ比較部３４１は、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目とをそれぞれ比較して、項目同士の近さを判定する。
【０１７０】
顔情報データ比較部３４１による項目同士の近さの判定では、項目同士が一致しているか否か、あるいは、一致していなくても項目同士が所定の近さであるか否かが判定される。
【０１７１】
ここで、顔情報データ比較部３４１は、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目とが一致すれば、近似項目数をカウントアップする。
【０１７２】
また、顔情報データ比較部３４１は、項目の設定が連続値である場合、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目とが所定の近さであるか否かを判定する。そして、顔情報データ比較部３４１は、所定の近さであると判定したときには、近似項目数をカウントアップする。顔情報データ比較部３４１は、所定の近さであるか否かの判断に閾値を用いる。
【０１７３】
項目が「顔の向き」の場合について例示すると次のとおりである。「顔の向き」が連続値の場合、顔情報データ比較部３４１は、例えば、「±１５度」の閾値を基準に近さを判断することができる。
【０１７４】
このとき、具体的には、顔情報データ比較部３４１は、入力画像の顔情報データに含まれる「顔の向き」が、「右１０度」で、登録画像の顔情報データに含まれる「顔の向き」が、「正面０度」であるときは、両者の差分は「１０度」となる。このため、顔情報データ比較部３４１は、閾値の範囲内にあると判定し、両者が所定の近さであると判断する。
【０１７５】
また、「顔の向き」が分類の場合、顔情報データ比較部３４１は、一致した場合のみ近似項目数をカウントアップする。
【０１７６】
顔情報データ比較部３４１は、カウントした近似項目数を重み計算部３４２に送信する。
【０１７７】
重み計算部３４２は、顔情報データ比較部３４１が各登録画像についてカウントした近似項目数に応じて、各登録画像について算出された認証スコアに対する重みを計算する。重み付けの具体的実施例については、後述する。
【０１７８】
なお、重み計算部３４２が各登録画像について算出する重み付けは、例示的に、平均化のためのものとしているので、足し合わせると“１．０”になるように調整される。また、重み計算部３４２が各登録画像について算出する重み付けには、“０”が含まれていてもよい。また、重み計算部３４２が各登録画像について算出する重み付けは、登録人物情報ごとに異なっていてもよい。
【０１７９】
また、重み計算部３４２は、各登録画像について判定した近似項目数に差がない場合は、すべて同じ重みになるよう重み付けを決定してもよい。このような場合としては、例えば、近似項目数がすべて“０”であるときが挙げられる。さらにいえば、各項目が分類であるときであって、顔情報データ比較部３４１の比較結果において、比較する項目の間で一致するものが全くないとき、近似項目数がすべて“０”となる。
【０１８０】
このような場合、各登録画像に対する重みは、“１．０”を登録画像の数で割って得られた値となり、結果として、重みつき認証スコアは、各認証スコアの相加平均となる。
【０１８１】
また、重み計算部３４２は、ある登録人物情報のなかで近似項目数が一番大きくなる登録画像であって、かつ、ある登録人物情報と他の登録人物情報との間で近似項目数が一番小さくなる登録画像の重みをより高く設定してもよい。
【０１８２】
重み出力部３４３は、登録画像ごとに計算された重みを、登録画像の識別情報に対応付けて重みデータ記憶部２２に記憶して、重み付き認証スコア算出部３６に制御を渡す。
【０１８３】
（登録画像ごとの重み決定処理）
次に、図７を用いて、『登録画像ごとの重み決定処理』の流れについて説明する。図７は、顔認証装置１における『登録画像ごとの重み決定処理』の流れについて例示したフローチャートである。
【０１８４】
図７に示すように、『登録画像ごとの重み決定処理』では、まず、顔情報データ比較部３４１が、各登録画像について、入力画像の顔情報データと、登録画像の顔情報データとを、項目ごとに比較する（Ｓ２３１）。
【０１８５】
次に、顔情報データ比較部３４１は、比較した結果、近い項目がいくつあるかを登録画像ごとにカウントする（Ｓ２３２）。すなわち、顔情報データ比較部３４１は、比較結果に応じて、登録画像ごとに近似項目数をカウントアップする。
【０１８６】
続いて、重み計算部３４２は、登録画像ごとに計上された近似項目数に応じて、登録画像ごとの重みを計算する（Ｓ２３３）。
【０１８７】
そして、重み出力部３４３が、重み計算部３４２が計算した重みを重みデータ記憶部２２に記憶する（Ｓ２３４）。以上で、登録画像ごとの重み決定処理が終了する。
【０１８８】
（実施例）
以下において、図８を用いて、登録画像ごとの重み決定処理の実施例について説明する。本実施例では、以下の前提条件のもと、どのように登録画像ごとの重み決定処理が行われるかについて、図７を用いて説明したフローチャートの流れに沿って説明する。
【０１８９】
まず、図８に示すように、登録画像データベース２１において、登録人物情報Ｐ２（Ｂさん）について、登録画像Ｒ２０１〜Ｒ２０６が登録されている。
【０１９０】
登録画像の顔情報データには、「顔の向き」、「笑顔度」、および「射光度」の項目が含まれている。項目の設定値には、連続値を用いている。
【０１９１】
登録画像Ｒ２０１〜Ｒ２０６の顔情報データの具体的な設定値は、図８に示すとおりである。ひとつ例示しておくと、登録画像Ｒ２０１の顔情報データについては、「顔の向き」、「笑顔度」、および「射光度」の項目として、それぞれ“０度”、“７００”および“０”が設定されている。
【０１９２】
なお、図８に例示する入力画像Ａ１００は、“Ｂさん”が撮影されたものである。また、入力画像Ａ１００の顔情報データについては、「顔の向き」、「笑顔度」、および「射光度」の項目として、それぞれ“３度”、“７２０”および“０”が設定されている。
【０１９３】
ここで、顔情報データ比較部３４１が、「顔の向き」、「笑顔度」、および「射光度」の項目について用いる閾値は、それぞれ“５度”、“３０”、および“１００”とする。
【０１９４】
上記前提条件のもと、重み決定部３４は、以下のごとく登録画像ごとの重み決定処理を行う。
【０１９５】
まず、入力画像の顔画像データに含まれる項目と、登録画像Ｒ２０１〜Ｒ２０６の顔情報データに含まれる各項目とをそれぞれ比較する（Ｓ２３１）。
【０１９６】
具体的には、登録画像Ｒ２０１〜Ｒ２０６の顔情報データに含まれる各項目の値と、入力画像の顔画像データに含まれる項目の値との差分が閾値以下であるか否かをそれぞれ比較する。
【０１９７】
登録画像Ｒ２０１について例示すると、以下のとおりである。登録画像Ｒ２０１の顔情報データの「顔の向き」は、“０度”であるのに対して、入力画像Ａ１００の顔情報データに含まれる「顔の向き」は、“３度”である。
【０１９８】
よって、顔情報データ比較部３４１は、「顔の向き」について、両者の差分を、“３度”と算出する。なお、ここでは差分の絶対値に注目し、正負の符号は考慮に入れないこととしている。また、以下、顔情報データ比較部３４１は、「笑顔度」および「射光度」について、それぞれの差分を、“２０”および“０”と算出する。
【０１９９】
次に、顔情報データ比較部３４１は、比較した結果、閾値の範囲内にある近い項目がいくつあるかを示す近似項目数を登録画像ごとに計上する（Ｓ２３２）。
【０２００】
具体的には、顔情報データ比較部３４１は、上記差分が閾値以下である項目の数を、登録画像Ｒ２０１〜Ｒ２０６について計上する。
【０２０１】
ここでも、登録画像Ｒ２０１について例示すると、以下のとおりである。「顔の向き」についての差分は、“３度”であるのに対して「顔の向き」の閾値は、“５度”である。よって、「顔の向き」の項目について差分が閾値以下であるので、顔情報データ比較部３４１は、近似項目数をカウントアップする。
【０２０２】
また、同様に「笑顔度」および「射光度」の項目について、差分は閾値以下であるので、顔情報データ比較部３４１は、「笑顔度」および「射光度」の項目について、近似項目数をカウントアップする。
【０２０３】
このように、登録画像Ｒ２０１については、すべての項目が入力画像の項目に近いため近似項目数は、“３”である。
【０２０４】
以下、同様に、登録画像Ｒ２０２については、「顔の向き」および「笑顔度」の２つが入力画像の項目に近いため近似項目数は、“２”である。また、登録画像Ｒ２０３〜Ｒ２０６については、「射光度」のみが入力画像の項目に一致しており、近似項目数は、“１”である。
【０２０５】
次に、重み計算部３４２は、近似項目数に応じて登録画像Ｒ２０１〜Ｒ２０６の重みを計算する。
【０２０６】
まず、最も近似項目数が多い“３”である登録画像Ｒ２０１については、登録画像Ｒ２０１〜Ｒ２０６のうち最も高い重みＷ２０１“０．８”を割り当てる。
【０２０７】
続いて、登録画像Ｒ２０１の次に近似項目数が多い登録画像Ｒ２０２については、重みＷ２０１の次に高い重みＷ２０２“０．１”を割り当てる。
【０２０８】
ここで、割り当てられる重みの残り“０．１”を、登録画像Ｒ２０３〜Ｒ２０６に均等に割り当てる。すなわち、登録画像Ｒ２０３〜Ｒ２０６それぞれの重みＷ２０３〜Ｗ２０６は、“０．１”を４等分した“０．０２５”である。
【０２０９】
次に、重み出力部３４３が、重み計算部３４２が計算した重みＷ２０１〜Ｗ２０６を重みデータ記憶部２２に記憶する（Ｓ２３４）。
【０２１０】
（重み決定部の一変形例）
以下において、重み決定部３４の一変形例について説明する。本変形例では、登録画像を顔情報データの近さにより順位付けして、この順位に基づいて重みを決定する。本変形例では、上述した顔情報データ比較部３４１および重み計算部３４２を次のように変更する。
【０２１１】
はじめに、顔情報データ比較部３４１の変更点について説明する。まず、顔情報データ比較部３４１は、登録画像の顔情報データの項目ごとに、入力画像の顔情報データの項目との近さを算出する。そして、顔情報データ比較部３４１は、算出した項目ごとの近さに基づいて入力画像の顔情報データと登録画像の顔情報データとの近さを判定する。さらに、顔情報データ比較部３４１は、顔情報データの近さの判定結果に基づいて応じて順位付けする。
【０２１２】
顔情報データ比較部３４１は、項目の設定が連続値である場合、入力画像の顔情報データに含まれる項目と、登録画像の顔情報データに含まれる項目との差から近さを算出する。この場合、顔情報データ比較部３４１は、算出した近さに基づいて顔情報データの近さを判定する。例えば、顔情報データに含まれる項目が１つである場合、顔情報データ比較部３４１は、項目間の差がより小さいほうがより近いと判定する。
【０２１３】
また、例えば、顔情報データに含まれる項目が複数である場合、顔情報データ比較部３４１は、項目ごとに近さの順位付けを出力する。
【０２１４】
また、顔情報データ比較部３４１は、閾値を用いて近さを判定してもよい。差が閾値以下であれば近いと判定することができる。また、このとき閾値は、段階的に設けられていてもよい。また、顔情報データ比較部３４１は、いずれの段階に属するかによって段階的に近さを判定してもよい。
【０２１５】
また、顔情報データ比較部３４１は、項目の設定が分類である場合、分類の近さの規定に従って、分類の近さを判定する。分類の近さの規定とは、異なる分類同士の間に定義される近さのことである。
【０２１６】
すなわち、分類の近さの規定としては、例えば、「正面」と、「右向き」との関係は、近いといった定義が挙げられる。あるいは、分類の近さの規定は、「正面」と、「右向き」との関係は、「左向き」と「右向き」との関係よりも近いという相対的なものであってもよい。この分類の近さの規定は、例えば、顔認証装置１の記憶部２０において、予め定義しておけばよい。
【０２１７】
次に、重み計算部３４２の変更点について説明する。重み計算部３４２は、顔情報データ比較部３４１が項目ごとに算出した順位付けに応じて重みを計算する。
【０２１８】
この場合、例えば、重み計算部３４２は、各項目に均等に重みを割り振っておき、各項目においてより高い順位付けの登録画像に対して、各項目に割り振られた重みの範囲でより高い重み付けを割り当てる。そして、重み計算部３４２は、各項目について割り当てた重みを足し合わせることで、登録画像ごとの重みを算出する。
【０２１９】
つまり、項目が４つあれば、まず、各項目について“０．２５”の重みが割り振られる。そして、例えば、重み計算部３４２は、それぞれの項目において、最も高い順位付けがされた登録画像にこの重み“０．２５”を割り当てる。また、このような項目を２つ有する登録画像の重みは“０．５”となる。
【０２２０】
なお、重み計算部３４２は、所定順位の順位付けがされた項目がある登録画像に重みを割り当てるようにしてもよい。
【０２２１】
［変形例の処理の流れ］
次に、図９を用いて、上述した変形例における登録画像ごとの重み決定処理の流れについて説明する。図９は、重み決定部３４における登録画像ごとの重み決定処理の流れの別の例について示したフローチャートである。
【０２２２】
図９に示すように、登録画像ごとの重み決定処理の変形例では、まず、顔情報データ比較部３４１が、各登録画像について、入力画像の顔情報データと、登録画像の顔情報データとを、項目ごとに比較する（Ｓ２３１）。
【０２２３】
次に、顔情報データ比較部３４１は、登録画像の項目ごとに比較結果に応じて入力画像の顔情報データとの近さの順位付けを行う（Ｓ２３２Ａ）。
【０２２４】
続いて、重み計算部３４２は、順位付けに応じて、登録画像ごとの重みを計算する（Ｓ２３３Ａ）。
【０２２５】
そして、重み出力部３４３が、重み計算部３４２が計算した重みを重みデータ記憶部２２に記憶する（Ｓ２３４）。以上で、登録画像ごとの重み決定処理は終了する。
【０２２６】
（重み決定部の他の変形例）
以下において、重み決定部３４の他の変形例について説明する。本変形例では、重み決定部３４が、入力画像の顔情報データに含まれる項目の値と、登録画像の顔情報データに含まれる項目の値との差分を算出し、算出した差分に基づいて重みを決定する。
【０２２７】
具体的には、重み決定部３４は、各登録画像について、差分の逆数を算出して、算出した逆数の総和が１となるよう正規化を行うことにより、最終的な重みを決定する。
【０２２８】
ここで、項目が「顔の向き」の連続値である場合について例示すると次のとおりである。
【０２２９】
まず、入力画像の顔情報データに含まれる「顔の向き」の値と、第１の登録画像の顔情報データに含まれる「顔の向き」の値との差分が、５０度であるとき、重み決定部３４は、上記差分の逆数として、１／５０＝０．０２を算出する。
【０２３０】
また、入力画像の顔情報データに含まれる「顔の向き」の値と、第２の登録画像の顔情報データに含まれる「顔の向き」の値との差分が、２度であるとき、重み決定部３４は、上記差分の逆数として、１／２＝０．５を算出する。
【０２３１】
このようにして算出した逆数の総和は、０．５２であるので、第１の登録画像の重みおよび第２の登録画像の重みは、それぞれ、０．０２／０．５２、および０．５／０．５２となる。このようにして算出した重みの総和は、０．０２／０．５２＋０．５／０．５２＝１．０である。
【０２３２】
〔実施形態２〕
本発明の他の実施形態について図１０〜１７に基づいて説明すると以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０２３３】
以下の実施形態は、認証スコア算出のための登録画像を、所定の条件で予め選択しておき、選択した登録画像を用いて認証を行うものである。
【０２３４】
図１０に示す顔認証装置（画像認証装置）１Ａは、これまで説明した顔認証装置１と比べて以下の点が異なる。
【０２３５】
すなわち、顔認証装置１Ａは、顔認証装置１の制御部３０において、顔情報データ推定部３３、重み決定部３４および認証スコア算出部３５を、それぞれ、顔情報データ推定部３３Ａ、重み決定部３４Ａおよび認証スコア算出部３５（類似度算出手段）Ａに変更するとともに、さらに登録画像選択部（選択手段）４０を備える構成である。
【０２３６】
また、顔認証装置１Ａは、顔認証装置１の記憶部２０において、さらに選択情報記憶部２３を備える構成である。なお、登録画像選択部４０は、「顔画像登録処理」における処理を実行するものである。以下、これらの相違点について説明する。
【０２３７】
顔情報データ推定部３３Ａは、「顔画像登録処理」において、顔情報データの登録を行ったあと、登録画像選択部４０に対して、顔情報データの登録が終了した旨を通知する。
【０２３８】
選択情報記憶部２３は、「顔画像認証処理」において、処理の対象となるべき登録画像の識別情報を含む選択情報を記憶している。つまり、選択情報記憶部２３は、認証スコア算出部３５Ａにおける認証スコアの算出および重み決定部３４Ａにおける重み決定に用いられる登録画像の識別情報を記憶している。
【０２３９】
登録画像選択部４０は、「顔画像認証処理」において、顔情報データ推定部３３Ａから顔情報データの登録が終了した旨の通知を受信すると、処理の対象となるべき登録画像を選択する。登録画像選択部４０は、具体的には、登録人物情報Ｐの間で、登録画像の顔情報データに含まれる項目を相互に比較して、近い項目が含まれる登録画像を処理の対象となるべき登録画像として選択する。登録画像選択部４０は、選択した登録画像の識別情報を含む選択情報を選択情報記憶部２３に記憶する。
【０２４０】
なお、登録画像選択部４０は、例示的に、登録画像を選択する構成としているが、別の側面からいえば、認証処理に用いる顔特徴データおよび顔情報データを選択しているとも言える。
【０２４１】
重み決定部３４Ａは、選択された登録画像について重みを決定するものである。すなわち、重み決定部３４Ａは、選択情報記憶部２３に記憶されている選択情報に識別情報が含まれている登録画像について重みを決定する。言い換えれば、重み決定部３４Ａは、選択された登録画像について認証スコア算出部３５が算出するべき認証スコアに対する重みを決定する。
【０２４２】
なお、重み決定部３４Ａにおける重み決定の手法等は、既に説明したものを採用することができる。
【０２４３】
認証スコア算出部３５Ａは、入力画像と、選択された登録画像とのマッチングを行って、両者の近似の度合いを示す認証スコアを算出するものである。すなわち、認証スコア算出部３５Ａは、選択情報記憶部２３に記憶されている選択情報に識別情報が含まれている登録画像を対象に認証スコアを算出する。なお、認証スコア算出部３５Ａにおける認証スコア算出の手法等は、既に説明したものを採用することができる。
【０２４４】
（顔画像登録処理の流れ）
次に、図１１を用いて、ある人物の顔を撮影した撮影画像を登録対象画像として登録する顔画像登録処理の流れついて説明する。図１１は、顔認証装置１Ａにおける顔画像登録処理の流れについて例示したフローチャートである。
【０２４５】
ステップＳ１０〜Ｓ１２については、図３を用いて既に説明したとおりであるので、その説明を省略する。ステップＳ１２に続くステップＳ１３において、登録画像選択部４０は、顔情報データにより登録画像を選択する。なお、『顔情報データにより登録画像を選択する処理』の詳細については後述する。以上で、顔画像登録処理は終了する。
【０２４６】
（顔画像認証処理の流れ）
次に、図１２を用いて、ある人物の顔を撮影した撮影画像を入力画像として認証する顔画像認証処理の流れについて説明する。図１２は、顔認証装置１Ａにおける顔画像認証処理の流れについて例示したフローチャートである。
【０２４７】
ステップＳ２０〜Ｓ２２については、図４を用いて既に説明したとおりであるので、その説明を省略する。ステップＳ２２に続いて、重み決定部３４Ａは、選択された登録画像について重みを決定する（Ｓ２３Ａ）。
【０２４８】
次に、認証スコア算出部３５Ａは、入力画像と、選択された登録画像とのマッチングを順に行って、両者の近似の度合いを示す認証スコアを算出する（Ｓ２４Ａ）。
【０２４９】
そして、重み付き認証スコア算出部３６は、認証スコア算出部３５Ａが算出した認証スコアに重み決定部３４Ａが決定した重みを適用して重み付き認証スコアを計算する（Ｓ２５）。その後、認証結果出力部３７が、重み付き認証スコアを用いて入力画像Ａ１の認証を行って、その認証結果を表示部１２に出力する（Ｓ２６）。以上で顔画像認証処理は終了する。
【０２５０】
（実施例）
以下において、図１３を用いて、顔認証装置１Ａにおける顔画像登録処理および顔画像認証処理の実施例について説明する。本実施例では、図１１および１２を用いて説明したフローチャートの流れに沿って、以下の前提条件のもと、どのように顔認証装置１Ａにおける顔画像登録処理および顔画像認証処理が行われるかについて説明する。
【０２５１】
まず、前提条件として、図１１を用いて説明した顔画像登録処理におけるステップＳ１０〜Ｓ１２により、図１３に示すように、登録画像データベース２１には、登録人物情報Ｐ１（Ａさん）および登録人物情報Ｐ２（Ｂさん）が登録されている。登録人物情報Ｐ１および登録人物情報Ｐ２について登録されている登録画像の顔情報データには、「照明条件」および「顔の向き」の項目が含まれている。項目の設定値には、分類を用いている。
【０２５２】
登録人物情報Ｐ１について登録画像Ｒ１１〜Ｒ１３が登録されている。登録画像Ｒ１１の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像Ｒ１２の「照明条件」および「顔の向き」には、それぞれ、“射光”および“正面”が設定されている。また、登録画像Ｒ１３の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“右向き”が設定されている。
【０２５３】
登録人物情報Ｐ２について登録画像Ｒ２１およびＲ２２が登録されている。登録画像Ｒ２１の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“正面”が設定されている。また、登録画像Ｒ２３の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“右向き”が設定されている。
【０２５４】
また、認証の対象となる入力画像Ａ１は、“Ａさん”が正面から均一光のもとで撮影されているものである。
【０２５５】
上記前提条件のもと、さらに、顔認証装置１Ａは、次のごとく処理の対象となるべき登録画像を選択する処理（Ｓ１３）を行う。
【０２５６】
まず、登録画像選択部４０は、例示的に、登録人物情報Ｐ１および登録人物情報Ｐ２の間で、顔情報データが一致する登録画像を選択する。すなわち、図１３に示す例では、登録画像Ｒ１１と登録画像Ｒ２１とは顔情報データに含まれる各項目が一致する。また、登録画像Ｒ１３と登録画像Ｒ２３とは顔情報データに含まれる各項目が一致する。
【０２５７】
よって、登録画像選択部４０は、登録人物情報Ｐ１については登録画像Ｒ１１、Ｒ１３の識別情報を選択情報記憶部２３に記憶する。登録画像選択部４０は、登録人物情報Ｐ２については登録画像Ｒ２１、Ｒ２３の識別情報を含む選択情報を選択情報記憶部２３に記憶する。
【０２５８】
さらに、顔認証装置１Ａは、以下のごとく顔画像認証処理を行う。
【０２５９】
まず、ステップＳ２０〜Ｓ２２については、既に説明した通りであるのでその説明を省略する。
【０２６０】
ステップＳ２２に続いて、重み決定部３４Ａが、入力画像Ａの顔画像データと、選択された登録画像の顔情報データとを比較することにより、登録画像ごとの重みを決定する（Ｓ２３Ａ）。このステップの詳細については、図５を用いて既に説明したステップＳ２３に準じているので、その説明を省略する。
【０２６１】
結果として、ステップＳ２３Ａにおいて、重み決定部３４Ａは、登録画像Ｒ１１に対する重みＷ１１１に“０．８”を割り当て、登録画像Ｒ１３に対する重みＷ１１２に“０．２”を割り当てる。また、重み決定部３４Ａは、登録画像Ｒ２１に対する重みＷ１２１に、“０．８”を割り当て、登録画像Ｒ２３に対する重みＷ１２３“０．２”を割り当てる。
【０２６２】
次に、認証スコア算出部３５Ａが、登録人物情報Ｐ１について選択された登録画像Ｒ１１およびＲ１３と、登録人物情報Ｐ２について選択された登録画像Ｒ２１およびＲ２３とを順に、入力画像Ａ１と比較して認証スコアを算出する（Ｓ２４Ａ）。このステップの詳細については、図５を用いて既に説明したＳ２４に準じているので、その説明を省略する。
【０２６３】
ステップＳ２４Ａでは、結果として、認証スコア算出部３５Ａが、登録画像Ｒ１１の認証スコアＣ１１１を“８００”と算出し、登録画像Ｒ１３の認証スコアＣ１１３を“７００”と算出する。また、認証スコア算出部３５Ａは、登録画像Ｒ２１の認証スコアＣ１２１を“７００”と算出し、登録画像Ｒ２３の認証スコアＣ１２３を“２００”と算出する。
【０２６４】
以下、図５で説明したように、ステップＳ２５およびＳ２６において以下の処理が行われる。まず、ステップＳ２５において、重み付き認証スコア算出部３６が、ステップＳ２３およびＳ２４の結果から、登録人物情報Ｐ１についての重み付き認証スコアＣ１１０を、“７８０”と算出し、登録画像Ｐ２についての重み付き認証スコアＣ１２０を、“６００”と算出する。
【０２６５】
また、ステップＳ２６において、認証結果出力部３７は、ステップＳ２５の結果から、登録人物情報Ｐ１の名前“Ａさん”を返す。
【０２６６】
（登録画像選択部の構成例）
以下において、図１４〜図１６を用いて、登録画像選択部４０の一構成例について説明する。
【０２６７】
本構成例では、上述した登録画像選択部４０を次のように構成する。すなわち、図１４に示すように、登録画像選択部４０は、顔情報データ相互比較部（撮影条件近似判定手段、登録条件順位付け手段）４０１、基準登録画像選択部（撮影条件近さ算出手段）４０２、他人登録画像選択部（撮影条件近さ算出手段）４０３、および選択情報設定部４０４を備える。
【０２６８】
顔情報データ相互比較部４０１は、指定された登録人物情報の登録画像の顔情報データを基準として、他の登録人物情報の登録画像と顔情報データの比較を行うものである。
【０２６９】
なお、ここで、他の登録人物情報とは、指定された登録人物情報以外の登録人物情報のことを意味する。また、この登録人物情報の指定は、操作部１１を介して取得するユーザの指示であってもよいし、ランダムに決定される指定であってもよい。以下、指定された登録人物情報のことを、基準登録人物情報と称する。
【０２７０】
また、顔情報データ相互比較部４０１は、例示的に、上述した顔情報データ比較部３４１と同様、近似項目数を比較結果として出力する。
【０２７１】
すなわち、顔情報データ相互比較部４０１は、基準登録人物情報の登録画像ごとに、他の登録人物情報の登録画像と顔情報データの比較を行って近似項目数を計上する。そして、顔情報データ相互比較部４０１は、他の登録人物情報の登録画像それぞれについて計上した近似項目数を比較結果として出力する。また、顔情報データ相互比較部４０１は、項目が近似しているか否かの判定に閾値を用いる。
【０２７２】
基準登録画像選択部４０２は、顔情報データ相互比較部４０１の比較結果に基づいて、基準登録人物情報について、処理対象となる登録画像を選択するものである。基準登録画像選択部４０２は、例えば、比較結果の近似項目数がすべての項目において他の登録人物情報の登録画像と一致又は近似していることを示しているような基準登録画像を、対象となる登録画像として選択してもよい。
【０２７３】
他人登録画像選択部４０３は、顔情報データ相互比較部４０１の比較結果に基づいて、基準登録人物情報以外の登録人物情報について、処理対象となる登録画像を選択するものである。他人登録画像選択部４０３は、例えば、比較結果の近似項目数がすべての項目において基準となる登録人物情報の登録画像と一致又は近似していることを示しているような他人の登録画像を、対象となる登録画像として選択してもよい。
【０２７４】
選択情報設定部４０４は、基準登録画像選択部４０２および他人登録画像選択部４０３が選択した登録画像の識別情報を含む選択情報を選択情報記憶部２３に記憶するものである。
【０２７５】
［本構成例の処理の流れ］
次に、図１５を用いて、本構成例に係る登録画像選択部４０が実行する『顔情報データにより登録画像を選択する処理』の詳細について説明すると次のとおりである。図１５は、『顔情報データにより登録画像を選択する処理』の詳細について例示するフローチャートである。
【０２７６】
図１５に示すように、『顔情報データにより登録画像を選択する処理』では、まず、顔情報データ相互比較部４０１が、基準登録人物情報の登録画像と他の登録人物情報の登録画像との間で、顔情報データの比較を行う（Ｓ１３１）。
【０２７７】
次に、顔情報データ相互比較部４０１が、基準登録人物情報の登録画像ごとに、顔情報データの近似項目数を計上する（Ｓ１３２）。
【０２７８】
次に、基準登録画像選択部４０２が、顔情報データ相互比較部４０１の比較結果、すなわち近似項目数に応じて基準登録人物情報について登録画像を選択する（Ｓ１３３）。
【０２７９】
次に、顔情報データ相互比較部４０１が、他の登録人物情報の登録画像ごとに、顔情報データの近似項目数を計上する（Ｓ１３４）。
【０２８０】
次に、他人登録画像選択部４０３が、顔情報データ相互比較部４０１の比較結果、すなわち近似項目数に応じて他人の登録人物情報について登録画像を選択する（Ｓ１３５）。
【０２８１】
次に、選択情報設定部４０４が、基準登録画像選択部４０２によって基準登録人物情報について選択された登録画像の識別情報と、他人登録画像選択部４０３によって他人の登録人物情報について選択された登録画像の識別情報とを、選択情報として選択情報記憶部２３に登録する（Ｓ１３６）。
【０２８２】
［本構成例の実施例］
以下において、図１６を用いて、本構成例に係る『顔情報データにより登録画像を選択する処理』の実施例について説明する。本実施例では、以下の前提条件のもと、どのように登録画像が選択されるかについて、図１５を用いて説明したフローチャートの流れに沿って説明する。
【０２８３】
まず、図１６に示すように、登録画像データベース２１において、登録人物情報Ｐ１および登録人物情報Ｐ２が登録されている。登録人物情報Ｐ１については、登録画像Ｒ１０１〜Ｒ１０３が登録されている。また、登録人物情報Ｐ２については、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８が登録されている。
【０２８４】
登録画像の顔情報データには、「顔の向き」、「笑顔度」、および「射光度」の項目が含まれている。また、項目の設定値には、連続値を用いている。
【０２８５】
各登録画像の具体的な設定値は、図１６に示すとおりである。ひとつ例示しておくと、登録画像Ｒ１０１の顔データについては、「顔の向き」、「笑顔度」、および「射光度」の項目として、それぞれ“０度”、“７１０度”、および“０”が設定されている。
【０２８６】
なお、以下に示す例では、登録人物情報Ｐ１が指定されているものとする。また、顔情報データ相互比較部４０１が、「顔の向き」、「笑顔度」、および「射光度」の項目について用いる閾値は、それぞれ“１０度”、“１５”、および“１１０”とする。
【０２８７】
上記前提条件のもと、登録画像選択部４０では、以下のごとく『顔情報データにより登録画像を選択する処理』を行う。
【０２８８】
まず、顔情報データ相互比較部４０１が、基準となる登録人物情報Ｐ１の登録画像Ｒ１０１〜Ｒ１０３と、登録人物情報Ｐ２の登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８との間で、顔情報データの比較を行う（Ｓ１３１）。
【０２８９】
すなわち、まず、顔情報データ相互比較部４０１は、登録画像Ｒ１０１について、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８との顔情報データの比較を行う。以下、登録画像Ｒ１０２およびＲ１０３について同様である。
【０２９０】
次に、顔情報データ相互比較部４０１が、登録画像Ｒ１０１〜Ｒ１０３について、顔情報データの近似項目数を計上する（Ｓ１３２）。例えば、顔情報データ相互比較部４０１は、登録画像Ｒ１０１と、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８と間における近似項目数を次のようにしてカウントする。
【０２９１】
まず、登録画像Ｒ１０１については、登録画像Ｒ２０１との比較では、「顔の向き」および「射光度」が一致しており、「笑顔度」が閾値以内であるので、顔情報データ相互比較部４０１は、近似項目数を“３”とカウントする。以下、同様に、顔情報データ相互比較部４０１は、登録画像Ｒ２０４、Ｒ２０７、およびＲ２０８との間における近似項目数を、それぞれ、“１”、“３”、および“２”とカウントする。
【０２９２】
続いて、顔情報データ相互比較部４０１は、登録画像Ｒ１０２について、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７、およびＲ２０８との間における近似項目数を、それぞれ、“２”、“１”、“１”および“３”とカウントする。
【０２９３】
さらに、顔情報データ相互比較部４０１は、登録画像Ｒ１０３について、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８との間における近似項目数を、それぞれ、“１”、“２”、“１”および“１”とカウントする。
【０２９４】
次に、基準登録画像選択部４０２が、顔情報データ相互比較部４０１の比較結果、すなわち近似項目数に応じて登録人物情報Ｐ１について登録画像を選択する（Ｓ１３３）。
【０２９５】
基準登録画像選択部４０２は、例示的に、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７、およびＲ２０８のいずれかとの比較において近似項目数が“３”とカウントされた登録画像を選択する。ステップＳ１３２では、登録画像Ｒ１０１と登録画像Ｒ２０１、Ｒ２０７との比較および登録画像Ｒ１０２と登録画像Ｒ２０８との比較において近似項目数が“３”とカウントされている。よって、基準登録画像選択部４０２は、登録画像Ｒ１０１およびＲ１０２を選択する。
【０２９６】
次に、顔情報データ相互比較部４０１が、登録人物情報Ｐ２の登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８について、顔情報データの近似項目数をカウントする（Ｓ１３４）。なお、登録画像Ｒ２０１、Ｒ２０４、Ｒ２０７およびＲ２０８の近似項目数は、ステップＳ１３２においてカウントされているため、顔情報データ相互比較部４０１は、ステップＳ１３２のカウント結果を利用してもよい。
【０２９７】
次に、他人登録画像選択部４０３が、顔情報データ相互比較部４０１の比較結果、すなわち近似項目数に応じて登録人物情報Ｐ２について登録画像を選択する（Ｓ１３５）。
【０２９８】
ここで、他人登録画像選択部４０３は、例示的に、登録画像Ｒ１０１〜Ｒ１０３のいずれかとの比較において近似項目数が“３”とカウントされた登録画像を選択する。
【０２９９】
ステップＳ１３４では、登録画像Ｒ２０１と登録画像Ｒ１０１との比較、登録画像Ｒ２０７と登録画像Ｒ１０１との比較、および登録画像Ｒ２０８と登録画像Ｒ１０２との比較において近似項目数が“３”とカウントされている。よって、基準登録画像選択部４０２は、登録画像Ｒ２０１、Ｒ２０７およびＲ２０８を選択する。
【０３００】
次に、選択情報設定部４０４が、基準登録画像選択部４０２が登録人物情報Ｐ１について選択した登録画像Ｒ１０１およびＲ１０２の識別情報と、他人登録画像選択部４０３が登録人物情報Ｐ２について選択した登録画像Ｒ２０１、Ｒ２０７およびＲ２０８の識別情報とを、選択情報として選択情報記憶部２３に登録する（Ｓ１３６）。
【０３０１】
（登録画像選択部の別の構成例）
以下において、図１７を用いて、登録画像選択部４０の別の具体的な構成例について説明する。本構成例では、登録画像を顔情報データの近さにより順位付けして、この順位付けに基づいて登録画像の選択を行う。本構成例では、図１４を用いて説明した顔情報データ相互比較部４０１、基準登録画像選択部４０２、他人登録画像選択部４０３の機能を次のように変更する。
【０３０２】
顔情報データ相互比較部４０１は、比較結果として登録画像の顔情報データの近さを順位付けしたものを出力する。この順位付けは、他の登録人物情報の登録画像に対する基準登録人物情報の登録画像の順位付けである基準順位付けと、基準登録人物情報の登録画像に対する他の登録人物情報の登録画像の順位付けである他人順位付けとを含む。なお、基準順位付けおよび他人順位付け、それぞれにおける順位付けの手法については、重み決定部３４の変形例にて既に説明したものに準じている。
【０３０３】
顔情報データ相互比較部４０１は、例えば、次のような手順により、基準登録人物情報および他の登録人物情報の間において、顔情報データの比較および順位付けを行う。
【０３０４】
まず、顔情報データ相互比較部４０１は、基準登録人物情報について登録されている各登録画像と、他の登録人物情報について登録されている各登録画像とを項目ごとに比較して、基準登録人物情報について登録されている登録画像の基準順位付けを行う。
【０３０５】
そして、顔情報データ相互比較部４０１は、逆に、基準登録人物情報について登録されている各登録画像と、他の登録人物情報について登録されている各登録画像とを項目ごとに比較して、他の登録人物情報について登録されている登録画像の他人順位付けを行う。
【０３０６】
基準登録画像選択部４０２は、顔情報データ相互比較部４０１が出力する基準順位付けに応じて、基準登録人物情報について登録画像を選択する。基準登録画像選択部４０２は、例えば、最上位から所定の順位までの順位付けがされた項目を含む登録画像を選択する。
【０３０７】
他人登録画像選択部４０３は、顔情報データ相互比較部４０１が出力する他人順位付けに応じて、他の登録人物情報について登録画像を選択する。他人登録画像選択部４０３は、例えば、最上位から所定の順位までの順位付けがされた項目を含む登録画像を選択する。
【０３０８】
［本構成例の処理の流れ］
次に、図１７を用いて、本構成例に係る登録画像選択部４０が実行する『顔情報データにより登録画像を選択する処理』の詳細について説明すると次のとおりである。図１７は、『顔情報データにより登録画像を選択する処理』の詳細について例示するフローチャートである。
【０３０９】
図１７に示すように、『顔情報データにより登録画像を選択する処理』では、まず、顔情報データ相互比較部４０１は、基準登録人物情報の登録画像および他の登録人物情報の登録画像について、顔画像データを項目ごとに比較する（Ｓ１３１Ａ）。
【０３１０】
次に、顔情報データ相互比較部４０１は、比較結果に応じて、基準登録人物情報について、項目ごとに基準順位付けを行う（Ｓ１３２Ａ）。
【０３１１】
次に、基準登録画像選択部４０２が、基準順位付けに応じて、基準登録人物情報について登録画像を選択する（Ｓ１３３Ａ）。
【０３１２】
次に、顔情報データ相互比較部４０１は、比較結果に応じて、他の登録人物情報について、項目ごとに他の順位付けを行う（Ｓ１３４Ａ）。
【０３１３】
次に、他人登録画像選択部４０３が、他の順位付けに応じて、他の登録人物情報について登録画像を選択する（Ｓ１３５Ａ）。
【０３１４】
次に、選択情報設定部４０４が、基準登録画像選択部４０２が基準登録人物情報について選択した登録画像の識別情報と、他人登録画像選択部４０３が他人の登録人物情報について選択した登録画像の識別情報とを、選択情報として選択情報記憶部２３に登録する（Ｓ１３６）。
【０３１５】
〔実施形態３〕
本発明のさらに別の実施形態について図１８〜図２４に基づいて説明すると以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０３１６】
以下の実施形態は、認証スコア算出のための登録画像を、所定の条件で予め枚数を合わせて選択しておき、選択した登録画像を用いて認証を行うものである。
【０３１７】
図１８に示す顔認証装置（画像認証装置）１Ｂは、図１０等を用いて説明した顔認証装置１Ａと比べて以下の点が異なる。すなわち、顔認証装置１Ｂは、顔認証装置１Ａにおいて、選択枚数設定部（選択手段）４１を追加するとともに、登録画像選択部４０を登録画像選択部（選択手段）４２に変更したものである。選択枚数設定部４１は、「顔画像登録処理」における処理を実行するものである。以下、これらの相違点について説明する。
【０３１８】
選択枚数設定部４１は、各登録人物情報について登録されている登録画像の枚数を、それぞれ計上し、計上結果に基づいて選択枚数を設定する。ここで選択枚数設定部４１は、各登録人物情報の間で、同じ数の登録画像が選択されるように、選択枚数を設定する。
【０３１９】
例えば、選択枚数設定部４１は、登録人物情報について登録されている登録画像の枚数のうち、最小の数を選択枚数として設定する。なお、選択枚数設定部４１は、例えば、登録人物情報について登録されている登録画像の枚数のうち、最小の数よりも小さい数を選択枚数として設定してもよい。選択枚数設定部４１は、設定した選択枚数を登録画像選択部４２に通知する。
【０３２０】
登録画像選択部４２は、選択枚数設定部４１から通知される選択枚数に従って、「顔画像認識処理」において、処理の対象となるべき登録画像の識別情報を選択するものである。登録画像選択部４２は、設定された選択枚数に従って、登録画像データベース２１に登録されている登録人物情報それぞれの間において選択される登録画像の枚数が同じになるように、選択枚数分の登録画像を選択する。登録画像選択部４２の詳細については、以下において説明する。
【０３２１】
なお、顔情報データ推定部３３Ａは、「顔画像登録処理」において、顔情報データの登録が終了した旨を、選択枚数設定部４１に対して通知するように変更している。
【０３２２】
（登録画像選択部の構成例）
以下において、図１９〜図２３を用いて、登録画像選択部４２の詳細について説明する。図１９は、登録画像選択部４２の詳細な構成例を示した機能ブロック図である。
【０３２３】
図１９に示すように、登録画像選択部４２は、顔情報データ相互比較部（条件相互判定手段、相互近似数計上手段、相互順位付け手段）４２１、登録画像選択情報生成部（撮影条件近さ相互算出手段）４２２、および選択情報設定部４２３を備える構成である。
【０３２４】
顔情報データ相互比較部４２１は、ある登録人物情報の登録画像の顔情報データを基準として、他の登録人物情報の登録画像との間で顔情報データの比較を行うものである。顔情報データ相互比較部４２１における比較の手法は、例示的に、上述した顔情報データ相互比較部４０１と同様のものを採用している。また、顔情報データ相互比較部４２１は、例示的に、上述した顔情報データ相互比較部４０１と同様、近似項目数を比較結果として出力する。
【０３２５】
なお、顔情報データ相互比較部４２１は、例示的に、登録人物情報について登録されている登録画像の枚数が、最小である登録人物情報を基準とする。
【０３２６】
登録画像選択情報生成部４２２は、顔情報データ相互比較部４２１の比較結果に従って、基準となる登録人物情報の登録画像と他の登録人物情報の登録画像とを、それぞれ、選択枚数で示される数だけ選択するものである。
【０３２７】
ここで、登録画像選択情報生成部４２２は、例えば、次のようにして、基準となる登録人物情報の登録画像を選択する。すなわち、登録画像選択情報生成部４２２は、基準となる登録人物情報の登録画像をすべて選択する。つまり、この場合、基準となる登録人物情報の登録画像の枚数は、選択枚数設定部４１から通知される選択枚数に等しい。
【０３２８】
また、登録画像選択情報生成部４２２は、例えば、次のようにして、他の登録人物情報の登録画像を選択する。すなわち、登録画像選択情報生成部４２２は、比較結果の近似項目数がすべての項目において基準となる登録人物情報の登録画像と一致又は近似していることを示しているような他の登録人物情報の登録画像を、対象となる登録画像として選択する。
【０３２９】
選択情報設定部４２３は、登録画像選択情報生成部４２２が選択した登録画像の識別情報を選択情報として選択情報記憶部２３に記憶するものである。
【０３３０】
（顔画像登録処理の流れ）
次に、図２０を用いて、顔認証装置１Ｂにおける顔画像登録処理の流れについて説明する。図２０は、顔認証装置１Ｂにおける顔画像登録処理の流れについて例示したフローチャートである。
【０３３１】
ステップＳ１０〜Ｓ１２については、図３を用いて既に説明したとおりであるので、その説明を省略する。ステップＳ１２に続くステップＳ１４において、選択枚数設定部４１が、登録人物情報ごとに登録画像の登録枚数を計上し、計上結果に従い選択枚数を設定する。
【０３３２】
次に、登録画像選択部４２は、顔情報データにより登録画像を選択枚数分だけ選択する（Ｓ１５）。なお、『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細については以下に説明する。以上で、顔画像登録処理は終了する。
【０３３３】
（顔情報データにより登録画像を選択枚数分だけ選択する処理の流れ）
以下において、図２１を用いて、登録画像選択部４２における『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について説明すると次のとおりである。図２１は、『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
【０３３４】
図２１に示すように、『顔情報データにより登録画像を選択枚数分だけ選択する処理』では、まず、顔情報データ相互比較部４２１が、ある登録人物情報を基準として、基準となる登録人物情報の登録画像と他の登録人物情報の登録画像との間で、顔情報データを項目ごとに比較する（Ｓ１５１）。
【０３３５】
次に、顔情報データ相互比較部４０１が、比較結果から、他の登録人物情報の登録画像ごとに、顔情報データの近似項目数を計上する（Ｓ１５２）。
【０３３６】
次に、登録画像選択情報生成部４２２が、近似項目数に応じて登録画像を選択する（Ｓ１５３）。すなわち、登録画像選択情報生成部４２２が、顔情報データ相互比較部４０１により計上された近似項目数に応じて登録画像の識別情報を含む選択情報を生成する。
【０３３７】
次に、選択情報設定部４２３が、登録画像選択情報生成部４２２により生成された選択情報を選択情報記憶部２３に記憶する（Ｓ１５４）。以上で処理は終了する。
【０３３８】
（顔画像認証処理の流れ）
次に、顔認証装置１Ｂにおける顔画像認証処理の流れについて説明する。顔認証装置１Ｂにおける顔画像認証処理には、図１２に示すフローチャートを用いて説明した顔画像認証処理をそのまま適用することができる。
【０３３９】
よって、ここでは、その詳細についての説明は省略する。
【０３４０】
（実施例）
以下において、図２２を用いて、顔認証装置１Ｂにおける顔画像登録処理および顔画像認証処理の実施例について説明する。顔画像登録処理および顔画像認証処理の順に説明すると次のとおりである。
【０３４１】
第１に、顔画像登録処理において、登録画像選択部４２が、以下の前提条件のもと、どのように登録画像が選択するかについて、図２０、図２１に示す各フローチャートの流れに沿って説明する。
【０３４２】
まず、前提条件として、図２０を用いて説明した顔画像登録処理におけるステップＳ１０〜Ｓ１２により、図２２に示すように、登録画像データベース２１には、登録人物情報Ｐ１（Ａさん）および登録人物情報Ｐ２（Ｂさん）が登録されている。
【０３４３】
ここで、詳しく図示はしていないが、登録人物情報Ｐ１および登録人物情報Ｐ２について登録されている登録画像の顔情報データには、「照明条件」および「顔の向き」の項目が含まれているものとする。
【０３４４】
また、登録人物情報Ｐ１について登録画像Ｒ１１、Ｒ１３が登録されている。登録画像Ｒ１１、Ｒ１３の顔情報データの各項目は、図１３等にて説明したとおりであるので、ここではその説明を省略する。
【０３４５】
また、登録人物情報Ｐ２について登録画像Ｒ２１〜Ｒ２７が登録されている。登録画像Ｒ２１〜Ｒ２５については、顔情報データの各項目は図５および図１６にてすでに説明したとおりであるので、ここではその説明を省略する。
【０３４６】
また、登録画像Ｒ２６の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“上向き”が設定されている。また、登録画像Ｒ２７の「照明条件」および「顔の向き」には、それぞれ、“均一光”および“下向き”が設定されている。
【０３４７】
また、認証の対象となる入力画像Ａ１は、“Ａさん”が正面から均一光のもとで撮影されているものである。
【０３４８】
上記前提条件のもと、さらに、選択枚数設定部４１が、登録人物情報Ｐ１、Ｐ２について登録画像の登録枚数を計上し、計上結果に従い選択枚数を設定する（Ｓ１４）。登録人物情報Ｐ１の登録画像の登録枚数は、“２”であり、登録人物情報Ｐ２の登録画像の登録枚数は、“７”であるので、選択枚数設定部４１は、このうち小さいほうの“２”を選択枚数として設定する。
【０３４９】
次に、顔認証装置１Ｂは、次のごとく顔情報データにより登録画像を選択枚数分だけ選択する処理を行う（Ｓ１５）。
【０３５０】
より具体的には、顔情報データ相互比較部４２１が登録人物情報Ｐ１を基準として、登録人物情報Ｐ１の登録画像Ｒ１１、Ｒ１３と、登録人物情報Ｐ２の登録画像Ｒ２１〜Ｒ２７との間で、顔情報データの比較を行い（Ｓ１５１）、近似項目数を計上する（Ｓ１５２）。
【０３５１】
すなわち、登録画像Ｒ１１の顔情報データに含まれる２つの項目「照明条件」および「顔の向き」の双方に近似するものは、登録画像Ｒ２１である。また、登録画像Ｒ１２の顔情報データに含まれる２つの項目「照明条件」および「顔の向き」の双方に近似するものは、登録画像Ｒ２２である。
【０３５２】
よって、顔情報データ相互比較部４２１は、登録画像Ｒ１１と登録画像Ｒ２１とについては、近似項目数“２”を出力する。また、顔情報データ相互比較部４２１は、登録画像Ｒ１２と登録画像Ｒ２２とについては、近似項目数“２”を出力する。
【０３５３】
それ以外の登録画像間の比較において、顔情報データ相互比較部４２１が出力する近似項目数は、“１”以下である。
【０３５４】
次に、登録画像選択情報生成部４２２が、顔情報データ相互比較部４０１により計上された近似項目数に応じて登録画像の識別情報を含む選択情報を生成する（Ｓ１５３）。
【０３５５】
すなわち、登録画像選択情報生成部４２２は、近似項目数“２”が計上されている登録画像Ｒ１１、Ｒ１２、Ｒ２１、およびＲ２２の識別情報を含む選択情報を生成する。
【０３５６】
次に、選択情報設定部４２３が、登録画像Ｒ１１、Ｒ１２、Ｒ２１、およびＲ２２の識別情報を含む選択情報を選択情報記憶部２３に記憶する（Ｓ１５４）。以上で顔情報データにより登録画像を選択枚数分だけ選択する処理が終了するとともに、顔画像登録処理が終了する。
【０３５７】
第２に、図１２を参照しながら、顔認証装置１Ｂが、上述の前提条件のもと、どのように顔画像認証処理するかについて説明する。
【０３５８】
まず、図１２のステップＳ２０〜Ｓ２２については、既に説明した通りであるのでその説明を省略する。
【０３５９】
ステップＳ２２に続いて、重み決定部３４Ａが、入力画像Ａの顔画像データと、選択された登録画像の顔情報データとを比較することにより、登録画像ごとの重みを決定する（Ｓ２３Ａ）。このステップの詳細については、図５を用いて既に説明したステップＳ２３に準じているので、その説明を省略する。
【０３６０】
結果として、ステップＳ２３Ｂにおいて、重み決定部３４Ａは、登録画像Ｒ１１に対する重みＷ２１１に“０．８”を割り当て、登録画像Ｒ１３に対する重みＷ２１３に“０．２”を割り当てる。また、重み決定部３４は、登録画像Ｒ２１に対する重みＷ２２１に、“０．８”を割り当て、登録画像Ｒ２２に対する重みＷ２２２“０．２”を割り当てる。
【０３６１】
次に、認証スコア算出部３５Ａが、登録人物情報Ｐ１について選択された登録画像Ｒ１１およびＲ１３と、登録人物情報Ｐ２について選択された登録画像Ｒ２１およびＲ２２とを順に、入力画像Ａ１と比較して認証スコアを算出する（Ｓ２４Ａ）。このステップの詳細については、図５を用いて既に説明したＳ２４に準じているので、その説明を省略する。
【０３６２】
ステップＳ２４Ｂでは、結果として、認証スコア算出部３５Ａが、登録画像Ｒ１１の認証スコアＣ２１１を“８００”と算出し、登録画像Ｒ１３の認証スコアＣ２１３を“７００”と算出する。また、認証スコア算出部３５Ａは、登録画像Ｒ２１の認証スコアＣ２２１を“７００”と算出し、登録画像Ｒ２３の認証スコアＣ２２２を“２００”と算出する。
【０３６３】
以下、図５で説明したように、ステップＳ２５およびＳ２６において以下の処理が行われる。まず、ステップＳ２５において、重み付き認証スコア算出部３６が、ステップＳ２３ＢおよびＳ２４Ｂの結果から、登録人物情報Ｐ１についての重み付き認証スコアＣ２１０を、“７８０”と算出し、登録画像Ｐ２についての重み付き認証スコアＣ２２０を、“６００”と算出する。
【０３６４】
また、ステップＳ２６において、認証結果出力部３７は、ステップＳ２５の結果から、登録人物情報Ｐ１の名前“Ａさん”を返す。
【０３６５】
（変形例）
以下において、図２３および図２４を用いて、登録画像選択部４２の変形例について説明する。本変形例では、登録画像を顔情報データの近さにより順位付けして、この順位付けに基づいて登録画像を選択する。本変形例では、図１８を用いて説明した顔情報データ相互比較部４２１、および登録画像選択情報生成部４２２の機能を次のように変更する。
【０３６６】
顔情報データ相互比較部４２１は、比較結果として登録画像の顔情報データの近さを項目ごとに順位付けしたものを出力する。顔情報データ相互比較部４２１が出力する順位付けは、具体的には、基準となる登録人物情報の登録画像に対する他の登録人物情報の登録画像の順位付けである。
【０３６７】
なお、順位付けの手法については、重み決定部３４の変形例にて既に説明したもの等に準じている。また、あえて順位付けしなくてもかまわないほど、登録画像間において顔情報データの近さが近いと判断できる場合は、ランダムで順位付けしてもよい。
【０３６８】
登録画像選択情報生成部４２２は、顔情報データ相互比較部４２１が出力する項目ごとの順位付けに応じて、基準登録人物情報および他の登録人物情報について登録画像を選択する。
【０３６９】
登録画像選択情報生成部４２２は、例示的に、次のようにして登録画像を選択する。すなわち、まず、登録画像選択情報生成部４２２は、項目ごとの順位付けに応じて、他の登録人物情報の登録画像ごとに、総合順位を算出する。
【０３７０】
登録画像選択情報生成部４２２は、一例として、次のようにして総合順位を算出する。すなわち、登録画像選択情報生成部４２２は、項目ごとの順位付けにおいて１位がより多い登録画像に、より高い総合順位を割り当てる。
【０３７１】
また、登録画像選択情報生成部４２２は、他の例として、次のようにして総合順位を算出する。すなわち、登録画像選択情報生成部４２２は、各項目ごとの順位付けに対応して割り当てられたポイントの総和に基づいて総合順位を算出する。
【０３７２】
具体的には、登録画像選択情報生成部４２２は、項目ごとの順位付けが、１位であるときには、１０ポイント、２位であるときには、５ポイント、３位であるときには１ポイントをポイントとして加算する。そして、登録画像選択情報生成部４２２は、加算したポイントが高い順に、総合順位を算出する。
【０３７３】
この場合、登録画像の数が、１０で、顔情報データの項目の数が、３である場合、第１の登録画像において、各項目の順位付けが、それぞれ１位、１０位、および１０位であるのに対して、第２の登録画像において、各項目の順位付けが、それぞれ、２位、２位、２位であるときには、登録画像選択情報生成部４２２は、次のように総合順位を算出する。
【０３７４】
すなわち、登録画像選択情報生成部４２２は、第１の登録画像について、１０ポイント、第２の登録画像について、１５ポイントを算出する。第１の登録画像のポイントよりも、第２の登録画像のポイントが高いので、登録画像選択情報生成部４２２は、第２の登録画像の総合順位を、第１の登録画像の総合順位よりも高くする。
【０３７５】
なお、登録画像選択情報生成部４２２は、ポイントの総和が、より低いものに、より高い総合順位を割り当てるようにしてもよい。例えば、項目ごとの順位付けそのものをポイントとしてもよい。つまり、この場合、各項目の順位付けが、１位のものは、１ポイントであり、２位のものは、２ポイントである。
【０３７６】
また、登録画像選択情報生成部４２２は、例示的に、総合順位が、上位から所定順位までの登録画像を選択する。これに限られず、登録画像選択情報生成部４２２は、総合順位が、１位である登録画像のみを選択してもよい。
【０３７７】
［本変形例の処理の流れ］
次に、図２３を用いて、本構成例に係る登録画像選択部４２が実行する『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について説明すると次のとおりである。図２３は、『顔情報データにより登録画像を選択枚数分だけ選択する処理』の詳細について例示するフローチャートである。
【０３７８】
図２３に示すように、『顔情報データにより登録画像を選択枚数分だけ選択する処理』では、まず、顔情報データ相互比較部４２１は、基準となる登録人物情報の登録画像および他の登録人物情報の登録画像について、顔画像データを項目ごとに比較する（Ｓ１５１Ａ）。
【０３７９】
次に、顔情報データ相互比較部４２１は、比較結果に応じて、他の登録人物情報について、項目ごとに順位付けを行う（Ｓ１５２Ａ）。
【０３８０】
次に、登録画像選択情報生成部４２２が、項目ごとの順位付けに応じて、基準となる登録人物情報および他の登録人物情報について登録画像を選択し、選択した登録画像の識別情報を含む選択情報を生成する（Ｓ１５３Ａ）。
【０３８１】
次に、選択情報設定部４２３が、登録画像選択情報生成部４２２によって生成された選択情報を選択情報記憶部２３に登録する（Ｓ１５４）。
【０３８２】
［本変形例の実施例］
以下において、図２４を用いて、本変形例に係る『顔情報データにより登録画像を選択枚数分だけ選択する処理』の実施例について説明する。本実施例では、以下の前提条件のもと、どのように登録画像が選択されるかについて、図２３を用いて説明したフローチャートの流れに沿って説明する。
【０３８３】
まず、図２４に示すように、登録画像データベース２１において、登録人物情報Ｐ１および登録人物情報Ｐ２が登録されている。登録人物情報Ｐ１については、登録画像Ｒ１０１、Ｒ１０３が登録されている。また、登録人物情報Ｐ２については、登録画像Ｒ２０１〜Ｒ２０４が登録されている。
【０３８４】
登録画像の顔情報データには、「顔の向き」、「笑顔度」、および「射光度」の項目が含まれている。また、項目の設定値には、連続値を用いている。なお、各登録画像の具体的な設定値は、図２６に示すとおりであり、図２２を用いてすでに説明済みであるので、ここではその説明を省略する。
【０３８５】
なお、以下に示す例では、顔情報データ相互比較部４２１が、「顔の向き」、「笑顔度」、および「射光度」の項目について用いる閾値は、それぞれ“１０度”、“１５”、および“１１０”とする。
【０３８６】
上記前提条件のもと、登録画像選択部４２では、以下のごとく『顔情報データにより登録画像を選択枚数分だけ選択する処理』を行う。
【０３８７】
すなわち、まず、顔情報データ相互比較部４２１が、基準となる登録人物情報Ｐ１の登録画像Ｒ１０１、Ｒ１０３と、登録人物情報Ｐ２の登録画像Ｒ２０１〜Ｒ２０４について、顔情報データを項目ごとに比較する（Ｓ１５１）。
【０３８８】
すなわち、まず、顔情報データ相互比較部４２１は、登録画像Ｒ１０１について、登録画像Ｒ２０１〜Ｒ２０４との顔情報データの比較を行う。登録画像Ｒ１０３についても同様である。
【０３８９】
次に、顔情報データ相互比較部４２１が、比較結果に応じて、登録人物情報Ｐ２の各登録画像について、項目ごとに順位付けを行う（Ｓ１５２Ａ）。
【０３９０】
ここで、登録画像Ｒ１０１との比較における順位付けについて説明すると次のとおりである。登録画像Ｒ２０１の「顔の向き」および「射光度」は、登録画像Ｒ１０１のものと一致しており、また「笑顔度」は、差分が“１０”である。よって、登録画像Ｒ１０１との比較において、登録画像Ｒ２０１の「顔の向き」および「射光度」は、１位に順位付けられる。また、登録画像Ｒ２０１の「笑顔度」は、２位に順位付けられる。
【０３９１】
また、登録画像Ｒ１０３との比較における順位付けについて説明すると次のとおりである。登録画像Ｒ２０３の「顔の向き」および「射光度」は、登録画像Ｒ１０３のものと一致しており、また「笑顔度」は、差分が“１０”である。よって、登録画像Ｒ１０３との比較において、登録画像Ｒ２０３の各項目は、１位に順位付けられる。
【０３９２】
次に、登録画像選択情報生成部４２２が、項目ごとの順位付けに応じて、登録人物情報Ｐ１および登録人物情報Ｐ２について登録画像を選択し、選択した登録画像の識別情報を含む選択情報を生成する（Ｓ１５３Ａ）。
【０３９３】
ここでは、登録人物情報Ｐ２の登録画像について総合順位を算出し、この総合順位に基づいて登録画像を選択する。すなわち、登録画像Ｒ１０１との比較においては、１位を多く含む登録画像Ｒ２０１に最も高い総合順位が割り当てられる。また、登録画像Ｒ１０３との比較においては、１位を多く含む登録画像Ｒ２０３に最も高い総合順位が割り当てられる。
【０３９４】
よって、登録画像選択情報生成部４２２は、基準となる登録人物情報Ｐ１については、登録画像Ｒ１０１、Ｒ１０３をそれぞれ選択する。また、登録画像選択情報生成部４２２は、登録人物情報Ｐ２については、総合順位に基づいて登録画像Ｒ２０１、Ｒ２０３を選択する。
【０３９５】
この結果、登録画像選択情報生成部４２２は、登録画像Ｒ１０１、Ｒ１０３、Ｒ２０１およびＲ２０３の識別情報を含む選択情報を生成する。
【０３９６】
次に、選択情報設定部４２３が、登録画像Ｒ１０１、Ｒ１０３、Ｒ２０１およびＲ２０３の識別情報を含む選択情報を選択情報記憶部２３に登録する（Ｓ１５４）。
【０３９７】
（むすび）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０３９８】
最後に、顔認証装置１、１Ａ、１Ｂの各ブロック、特に画像取得部３１、顔特徴データ抽出部３２、顔情報データ推定部３３、重み決定部３４、３４Ａ、認証スコア算出部３５、３５Ａ、重み付き認証スコア算出部３６、認証結果出力部３７、登録画像選択部４０、４２、および選択枚数設定部４１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０３９９】
すなわち、顔認証装置１、１Ａ、１Ｂは、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである顔認証装置１、１Ａ、１Ｂの制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記顔認証装置１、１Ａ、１Ｂに供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０４００】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ／ブルーレイディスク（登録商標）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０４０１】
また、顔認証装置１、１Ａ、１Ｂを通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０４０２】
本発明は、画像に含まれる対象物の認証に用いることができるので、プリンタ、スキャナ、パーソナルコンピュータ等により実現されるデジタル画像機器や、デジタルカメラ、およびセキュリティシステム等に好適に利用することができる。
【符号の説明】
【０４０３】
１、１Ａ、１Ｂ 顔認証装置（画像認証装置）
５ 画像入力装置
２０ 記憶部
２１ 登録画像データベース
２２ 重みデータ記憶部
２３ 選択情報記憶部
３０ 制御部
３１ 画像取得部
３２ 顔特徴データ抽出部
３３ 顔情報データ推定部（入力画像撮影条件取得手段、登録画像撮影条件取得手段）
３４、３４Ａ 重み決定部（重み付け決定手段）
３４１ 顔情報データ比較部（入力条件判定手段、入力条件順位付け手段、近さ算出手段）
３４２ 重み計算部（重み付け決定手段）
３４３ 重み出力部
３５、３５Ａ 認証スコア算出部（類似度算出手段）
３６ 重み付き認証スコア算出部（重み付け適用手段）
３７ 認証結果出力部（画像認証手段）
４０ 登録画像選択部（選択手段）
１００ 顔認証システム
４０１ 顔情報データ相互比較部（撮影条件近似判定手段、登録条件順位付け手段）
４０２ 基準登録画像選択部（撮影条件近さ算出手段）
４０３ 他人登録画像選択部（撮影条件近さ算出手段）
４０４ 選択情報設定部
４１ 選択枚数設定部（選択手段）
４２ 登録画像選択部（選択手段）
４２１ 顔情報データ相互比較部（条件相互判定手段、相互近似数計上手段、相互順位付け手段）
４２２ 登録画像選択情報生成部（撮影条件近さ相互算出手段）
４２３ 選択情報設定部
Ａ１ 入力画像
Ｐ 登録人物情報
Ｒ 登録画像
【特許請求の範囲】
【請求項１】
対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、
上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されており、
上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、
上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、
上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、
上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、
重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、を備えることを特徴とする画像認証装置。
【請求項２】
上記登録画像データベースでは、１以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されていることを特徴とする請求項１に記載の画像認証装置。
【請求項３】
一の対象物について登録されている上記登録画像の上記撮影条件と他の対象物について登録されている上記登録画像の上記撮影条件との近さである撮影条件近さに応じて、上記対象物それぞれについて登録されている上記複数の登録画像から、重み付けを適用すべき上記登録画像を選択する選択手段を備え、
上記重み付け適用手段は、上記選択手段により選択された登録画像について算出された類似度に、重み付けを適用することを特徴とする請求項２に記載の画像認証装置。
【請求項４】
上記選択手段は、対象物それぞれについて、同じ数の登録画像を選択することを特徴とする請求項３に記載の画像認証装置。
【請求項５】
一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件とが近似しているか否かを判定する撮影条件近似判定手段と、
上記撮影条件近似判定手段が近似していると判定した数に応じて、上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることを特徴とする請求項３または４に記載の画像認証装置。
【請求項６】
一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件との近さの順位付けをする登録条件順位付け手段と、
上記登録条件順位付け手段による上記順位付けに応じて上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることを特徴とする請求項３または４に記載の画像認証装置。
【請求項７】
上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件とが近似しているか否かを、それぞれ判定する入力条件判定手段と、
上記入力条件判定手段が近似していると判定した数に応じて、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、
上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することを特徴とする請求項２から６のいずれか１項に記載の画像認証装置。
【請求項８】
上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの順位付けをする入力条件順位付け手段と、
上記入力条件順位付け手段による上記順位付けに従って、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、
上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することを特徴とする請求項２から６のいずれか１項に記載の画像認証装置。
【請求項９】
上記登録画像の上記撮影条件には、複数の条件が含まれていることを特徴とする請求項５から８のいずれか１項に記載の画像認証装置。
【請求項１０】
上記対象物が人物の顔であることを特徴とする請求項１から９のいずれか１項に記載の画像認証装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像認証装置と、
上記入力画像を上記画像認証装置に供給する画像入力装置と、を備えることを特徴とする画像処理システム。
【請求項１２】
対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置制御プログラムであって、
上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、
上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、
上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、
上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、
重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含む処理を実行させるための画像認証装置制御プログラム。
【請求項１３】
請求項１２に記載の画像認証装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、
上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、
上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、
上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、
上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、
重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含むことを特徴とする画像認証方法。
【請求項１】
対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置において、
上記登録画像データベースでは、上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されており、
上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得手段と、
上記登録画像データベースに登録されている登録画像の上記撮影条件を取得する登録画像撮影条件取得手段と、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定手段と、
上記入力画像と上記登録画像との間で類似度を算出する類似度算出手段と、
上記類似度算出手段により算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用手段と、
重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証手段と、を備えることを特徴とする画像認証装置。
【請求項２】
上記登録画像データベースでは、１以上の対象物につき、上記対象物を撮影して得られた登録画像が複数登録されていることを特徴とする請求項１に記載の画像認証装置。
【請求項３】
一の対象物について登録されている上記登録画像の上記撮影条件と他の対象物について登録されている上記登録画像の上記撮影条件との近さである撮影条件近さに応じて、上記対象物それぞれについて登録されている上記複数の登録画像から、重み付けを適用すべき上記登録画像を選択する選択手段を備え、
上記重み付け適用手段は、上記選択手段により選択された登録画像について算出された類似度に、重み付けを適用することを特徴とする請求項２に記載の画像認証装置。
【請求項４】
上記選択手段は、対象物それぞれについて、同じ数の登録画像を選択することを特徴とする請求項３に記載の画像認証装置。
【請求項５】
一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件とが近似しているか否かを判定する撮影条件近似判定手段と、
上記撮影条件近似判定手段が近似していると判定した数に応じて、上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることを特徴とする請求項３または４に記載の画像認証装置。
【請求項６】
一の対象物について登録されている上記登録画像の上記撮影条件と、他の対象物について登録されている上記登録画像の上記撮影条件との近さの順位付けをする登録条件順位付け手段と、
上記登録条件順位付け手段による上記順位付けに応じて上記撮影条件近さを算出する撮影条件近さ算出手段とを備えることを特徴とする請求項３または４に記載の画像認証装置。
【請求項７】
上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件とが近似しているか否かを、それぞれ判定する入力条件判定手段と、
上記入力条件判定手段が近似していると判定した数に応じて、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、
上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することを特徴とする請求項２から６のいずれか１項に記載の画像認証装置。
【請求項８】
上記入力画像の上記撮影条件と、上記登録画像の上記撮影条件との近さの順位付けをする入力条件順位付け手段と、
上記入力条件順位付け手段による上記順位付けに従って、上記入力画像の上記撮影条件と上記登録画像の上記撮影条件との近さを算出する近さ算出手段とを備え、
上記重み付け決定手段は、上記近さ算出手段が算出する上記近さに応じて重み付けを決定することを特徴とする請求項２から６のいずれか１項に記載の画像認証装置。
【請求項９】
上記登録画像の上記撮影条件には、複数の条件が含まれていることを特徴とする請求項５から８のいずれか１項に記載の画像認証装置。
【請求項１０】
上記対象物が人物の顔であることを特徴とする請求項１から９のいずれか１項に記載の画像認証装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像認証装置と、
上記入力画像を上記画像認証装置に供給する画像入力装置と、を備えることを特徴とする画像処理システム。
【請求項１２】
対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証装置制御プログラムであって、
上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、
上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、
上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、
上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、
重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含む処理を実行させるための画像認証装置制御プログラム。
【請求項１３】
請求項１２に記載の画像認証装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
対象物が撮影された入力画像を、登録画像データベースと照合することにより、該入力画像に含まれる対象物を認証する画像認証方法において、
上記入力画像の上記対象物に関する撮影条件を取得する入力画像撮影条件取得ステップと、
上記対象物を撮影して得られた登録画像と、該登録画像の対象物に関する撮影条件とが対応付けられて登録されている上記登録画像データベースを参照して、上記登録画像の上記撮影条件を取得する登録画像撮影条件取得ステップと、
上記登録画像の上記撮影条件と上記入力画像の上記撮影条件との近さに応じた重み付けを決定する重み付け決定ステップと、
上記入力画像と上記登録画像との間で類似度を算出する類似度算出ステップと、
上記類似度算出ステップにより算出された類似度に、対応する登録画像について決定された上記重み付けを適用する重み付け適用ステップと、
重み付けが適用された類似度に基づいて上記入力画像を照合する画像認証ステップと、を含むことを特徴とする画像認証方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１３３５４１（Ｐ２０１２−１３３５４１Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８４５７６（Ｐ２０１０−２８４５７６）
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【特許番号】特許第４８９３８５５号（Ｐ４８９３８５５）
【特許公報発行日】平成２４年３月７日（２０１２．３．７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【特許番号】特許第４８９３８５５号（Ｐ４８９３８５５）
【特許公報発行日】平成２４年３月７日（２０１２．３．７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]