人物認識装置、人物認識方法および通行制御装置
【課題】経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる人物認識装置を提供する。
【解決手段】認識対象となる人物100の顔画像をカメラ101により入力し、この入力した顔画像と、あらかじめ認識対象となる人物の顔画像を登録情報として保持する登録情報保持部108に保持されている登録情報とを認識部109で照合することにより両者の類似度を求め、この求めた類似度に基づき当該人物を認識する人物認識装置において、登録情報更新部111は、認識部109において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、カメラ101で入力された顔画像に基づき登録情報保持部108に保持されている登録情報を更新する。
【解決手段】認識対象となる人物100の顔画像をカメラ101により入力し、この入力した顔画像と、あらかじめ認識対象となる人物の顔画像を登録情報として保持する登録情報保持部108に保持されている登録情報とを認識部109で照合することにより両者の類似度を求め、この求めた類似度に基づき当該人物を認識する人物認識装置において、登録情報更新部111は、認識部109において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、カメラ101で入力された顔画像に基づき登録情報保持部108に保持されている登録情報を更新する。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、たとえば、セキュリティ管理などにおいて、人物の顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報などの生体情報を用いて当該人物を認識する人物認識装置および人物認識方法に関する。
また、本発明は、上記人物認識装置を用いて通行者の通行(たとえば、重要施設の入退場など)を制御する通行制御装置に関する。
【0002】
【従来の技術】
一般に、この種の人物認識装置は、認識対象となる人物の生体情報を取得し、この取得した生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき当該人物を認識するようになっている。
【0003】
このような人物認識装置において、経年変化や認識ごとのばらつき(たとえば、顔画像の照合における人物の姿勢や顔の向きなど)による本人の誤排除の軽減対策として、あらかじめ本人の生体的な特徴情報が登録情報として記録されている辞書(登録情報保持手段)の自動更新に関する技術が提案されている。
【0004】
たとえば、認証閾値とは別に当該認証閾値よりも高い再登録用閾値を設定しておき、照合時に求めた類似度が当該再登録用閾値よりも高いときに登録情報(辞書)の更新を行なう技術が開示されている(たとえば、特許文献1参照)。
また、ID番号や暗証番号の入力と組合わせて認証閾値を下げる仕組みを持ち、認証閾値を下げずに照合成功したときに、登録情報(辞書)の更新を行なう技術が開示されている(たとえば、特許文献2参照)。
【0005】
【特許文献1】
特開平11−167632号公報
【0006】
【特許文献2】
特開平10−312462号公報
【0007】
【発明が解決しようとする課題】
しかしながら、特許文献1や特許文献2の方法では、充分に本人であることが確認された場合にのみ、登録情報(辞書)の更新を行なう仕組みとなっているため、学習されている内容により近いデータのみが自動更新によって登録情報に学習されていくこととなる。
【0008】
また、本人の誤排除を軽減させるのに効果的な情報は、認証閾値に対して充分の優位性を持っている部分ではなく、認証閾値に近い点数となるようなデータであるため、前述した特許文献1や特許文献2による自動更新方法では効果が小さい。また、その方法を利用して認証閾値に近い点数を学習させようとすると、本当に本人であるかどうかの確認が行なわれていないため、誤って他人を学習してしまう可能性がある。
【0009】
そこで、本発明は、経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる人物認識装置、人物認識方法および通行制御装置を提供することを目的とする。
【0010】
また、本発明は、認識対象者の負担を増やすことなく効果的な登録情報(辞書)の学習を行なうことができる人物認識装置、人物認識方法および通行制御装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
本発明の人物認識装置は、認識対象となる人物の生体情報を取得する生体情報取得手段と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、この認識手段において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段とを具備している。
【0012】
また、本発明の人物認識方法は、認識対象となる人物の生体情報を取得する生体情報取得ステップと、この生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識ステップと、この認識ステップにおいて求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得ステップにより取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新ステップとを具備している。
【0013】
さらに、本発明の通行制御装置は、通行者を認識して前記通行者の通行を制御する通行制御装置において、前記通行者の生体情報を取得する生体情報取得手段と、あらかじめ認識対象となる通行者の生体情報を登録情報として保持する登録情報保持手段と、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記通行者の認識を行なう認識手段と、この認識手段において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段とを具備している。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
なお、以下の説明では、人物の生体情報として顔画像を用いた場合を例として述べるが、顔画像以外に、指紋画像、虹彩情報、掌形画像、指画像、音声情報などの他の生体情報を用いても同様に実施できる。
【0015】
まず、第1の実施の形態について説明する。
図1は、第1の実施の形態に係る人物認識装置の構成を概略的に示すものである。この人物認識装置は、認識対象者(以下、人物ともいう)100の顔画像(少なくとも顔を含んでいる画像)を撮像して入力する画像入力手段としてのカメラ101、認識対象者100に対して入力された顔画像や各種案内などを表示する表示手段としての表示部102、認識対象者100を特定するID番号や暗証番号などの識別情報を入力する識別情報入力手段としての入力部103、および、カメラ101から入力された顔画像を処理して顔画像の認識処理などを行なう処理部104から構成されている。
【0016】
なお、図示は省略しているが、必要に応じて、カメラ101の近傍(たとえば、右上方あるいは左上方)から認識対象者100の少なくとも顔に向けて一定の照度で光を照射する照明手段が設けられる。
【0017】
また、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、IDコードなどの個人情報の各情報が登場してくる。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。
【0018】
カメラ101は、認識対象者100の生体情報として顔画像を下方から所定角度で撮像して入力するものであり、たとえば、CCDセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。
【0019】
表示部102は、カメラ101で撮影されている認識対象者100の顔画像や各種ガイダンス、処理結果などを表示するモニタであり、カメラ101の近傍、たとえば、カメラ101の上部で、ほぼ認識対象者100の顔部分と相対応する位置に設けられている。
【0020】
入力部103は、認識対象者100が本人であることを確認する際に用いる暗証番号などを入力したり、多数登録されている生体情報の中のどの生体情報であるかを特定する識別情報などを入力するもので、具体的には、たとえば、テンキーやタッチパネル、あるいは、ICカードや磁気カードあるいは無線カードを読取るカードリーダなどによって実現可能である。
【0021】
処理部104は、カメラ101からの顔画像を入力する画像入力部105、画像入力部105から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部106、顔検出部106の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量を抽出する特徴量抽出手段としての特徴量抽出部107、人物情報登録時には、特徴量抽出部107で抽出された顔の特徴量を認識データ(登録情報)として保持する登録情報保持手段としての登録情報保持部(辞書)108、人物認識時には、特徴量抽出部107で抽出された顔の特徴量と登録情報保持部108に登録されている認識データ(登録情報)とを照合することにより認識対象者100の顔を認識する認識手段としての認識部109、画像入力部105から得られた画像や特徴量抽出部107で抽出された顔の特徴量を履歴情報として記録しておく履歴情報記憶手段としての履歴情報記憶部110、更新すべき範囲を設定して登録情報を更新すべきかどうかを判定し、登録情報保持部108に保持されている登録情報を更新する登録情報更新手段としての登録情報更新部111、表示部102を制御する表示制御部112、および、入力部103を制御する入力制御部113により構成されている。
【0022】
画像入力部105は、カメラ101からの顔画像を入力し、A/D変換してデジタル化した後、顔検出部106へ送る。
顔検出部106は、まず、画像入力部105で入力された顔画像から認識対象者100の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。
【0023】
顔検出部106は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献(福井和広、山口修:「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌(D),vol.J80−D−II,No.8,pp2170−2177(1997))などの方法を用いてよい。
【0024】
ここで、顔のテンプレートによる顔検出と、目、鼻などの顔部品の検出座標の相対位置によって顔の方向を調べることも可能になる。たとえば、図2に示すように、顔検出結果の中心座標を顔の中心座標(fx,fy)、顔の大きさを(fw,fh)とし、左右の目と鼻の検出結果をそれぞれ(EyeLx,EyeLy)、(EyeRx,EyeRy)、(NoseLx,NoseLy)、(NoseRx,NoseRy)とすれば、以下の方法で顔の方法を示す指標が得られる。
顔の方向(X方向)=((EyeRx+EyeLx)/2−fx)/fw
顔の方向(Y方向)=((EyeRy+EyeLy)/2−fy)/fh
これらの座標の原点が画面左上だとした場合、数値は顔が右下に向くほど大きくなる値となる。
【0025】
特徴量抽出部107は、顔検出部106で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を顔の特徴量として用いる。ここでは、たとえば、mピクセル×nピクセルの領域の濃淡値をそのまま情報として用い、m×n次元の情報を特徴ベクトルとして用いる。
【0026】
図3は、入力画像を特徴量抽出部107により処理して得られた顔画像データであり、時系列的に得られたものである。これらのデータに対し特徴ベクトルの相関行列を求め、周知のK−L展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算方法は、特徴ベクトルの相関行列(または共分散行列)を求め、そのK−L展開による正規直交ベクトル(固有ベクトル)を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にk個選び、その固有ベクトル集合を用いて表現する。
【0027】
本実施の形態では、相関行列Cdを特徴ベクトルから求め、相関行列
【数1】
と対角化して、固有ベクトルのΦを求める。この部分空間は、人物の同定を行なうための認識辞書として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。
また、後で述べるように、認識を行なうための入力データとして部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、認識部109および登録情報保持部108に送られる。
【0028】
登録情報保持部108は、認識対象者100を同定するために利用する部分空間(または、相関行列など)、および、認識対象者100を特定するID番号などの識別情報を対応させて蓄積する。また、登録の際の時刻、日時、場所などの状況情報なども蓄積できる。なお、部分空間に限らず、入力された顔画像や抽出された顔の特徴量そのものを蓄積してもよい。
【0029】
認識部109は、登録情報保持部108に蓄えられた認識データ(部分空間)と特徴量抽出部107で得られた特徴量(濃淡情報あるいは部分空間情報)とを照合(比較)することにより、カメラ101に写っている認識対象者100が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。
【0030】
また、ID番号、暗証番号、鍵などの個人の識別情報を用いて、顔画像による認識を行なう場合には、それぞれの人物の識別情報に対応する認識データとの類似度を計算して、設定した認証閾値と照合し、その認証閾値を越えた場合に、その人物と同定する。
これらID番号、暗証番号、鍵など個人の識別情報は、入力部103を用いて入力すればよい。
【0031】
認識の方法としては、特徴量抽出部107の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献(前田賢一、渡辺貞一:「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌(D),vol.J68−D,No.3,pp345−352(1985))に記載されている公知の認識方法である相互部分空間法を用いる。
【0032】
この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、2つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Cinを求め、
【数2】
と対角化し、固有ベクトルΦinを求める。2つのΦin、Φdで表わされる部分空間の部分空間類似度(0.0〜1.0)を求め、それを認識するための類似度とする。
【0033】
なお、本実施の形態においては、登録された生体情報との一致性は「類似度」を用いた例を用いているが、相関値やユークリッド距離といったものを利用してもかまわない。
【0034】
認識部109において人物を認識する場合には、登録情報保持部108に蓄えられた全ての部分空間情報(登録情報)との類似度を求め、最も高い類似度となる人物の類似度があらかじめ定められた認証閾値以上となった場合に、その人物が本人であると認識する。最高となる類似度が認証閾値よりも低い場合には、あらかじめ登録を行なっている人物ではないと判定できる。この認識方法を本発明では「1:N照合」として定義し、以降の説明で繰返し利用することとする。
【0035】
一方、ID番号など、どの人物であるかの識別情報が入力部103から入力された場合には、その識別情報に対応する部分空間との類似度のみを計算し、その類似度があらかじめ定められた認証閾値以上となった場合に、その人物が本人であると認識する。この認識方法を本発明では「1:1照合」として定義し、以降の説明で繰返し利用することとする。
【0036】
また、「1:1照合」と「1:N照合」との中間に位置する「1:n照合」については、登録者全体の中の複数の人物に共通する識別情報が入力された場合を想定し、この識別情報が入力された場合には、その識別情報に対応する1名または複数名の登録者の登録情報との類似度を計算し、最高となる類似度が認証閾値よりも高い場合に、その識別情報に相当する登録者がきたこととする。
【0037】
たとえば、複数の人物に共通するグループ番号を識別情報として入力し、そのグループに属する人物であるかどうかを判定する場合などに用いる。基本的に、登録者全員との類似度を計算するのではなく、その中の一部の複数人物との照合を行なうということであって、全体的な動作は「1:N照合」の動作と共通であるため、本実施の形態においては「1:N照合」の説明に包含して説明することとする。
【0038】
履歴情報記憶部110は、認識部109で得られる認識結果や認識を行なった時間や場所、入力された識別情報などとともに、画像入力部105から入力された入力画像そのものや、特徴量抽出部107から得られた顔の特徴情報などを履歴情報として記憶する。
【0039】
以上の方法で人物を認識するだけでなく、その認識結果に応じて通行の制御を行なったりアクセスの制御を行なうことにも応用が可能であるが、顔画像を用いた人物認識装置の場合、図4に示すように、人物の立ち位置や姿勢の経年変化、経時変化により、認識率の低下を引き起こしてしまう。図4において、破線で示す枠aが登録時の顔の大きさ(顔サイズ)を示している。
【0040】
たとえば、図4(a)に示すように、登録時と同じ状態で認識時(照合時)も顔が画像内に存在している場合には、登録時と近い状態で特徴情報が抽出できるために登録情報(辞書)との類似度が高くなりやすいが、図4(b)、(c)に示すように、登録時よりも顔が大きかったり小さかったりした場合や、図には示されていないが顔の向きなどが異なる場合に類似度が低下しやすくなる。
こういった問題を解決するために、登録情報保持部108に保持されている生体情報に対して情報を追加したり一部を書換えることによって、類似度の低下を軽減させることが必要となる。
【0041】
そこで、登録情報更新部111では、認識部109において登録者であるかどうかの判定基準である「認証閾値」とは独立して、登録情報(辞書)の更新を行なうべきかどうかを判定する基準を設ける。この基準としては、1つまたは複数の範囲で定められた類似度であったときに登録情報の更新を行なうものとすることで実現する。図5にその一例を示す。
【0042】
該当する特徴情報とは別の人物の特徴情報を学習させることを防止する必要があるため、本実施の形態では類似度が「認証閾値Th」以上であることを1つの条件とする。図5では、「更新範囲下限閾値UpdateTh_Low」と「認証閾値Th」は異なる値としている例であるが、ここで説明しているように同じ値に設定しても構わない。
【0043】
また、一般に既に登録情報(辞書)に学習されている特徴情報に類似した情報を更に学習させた場合の学習効果は小さく、かつ、そういった情報は特徴情報との類似度が高くでることから、登録情報の更新を行なう範囲に対して上限となる閾値も設定する。図5における「更新範囲下限閾値UpdateTh_High」に相当し、図5の網掛けした範囲bが本例の登録情報更新範囲に相当する。
【0044】
この結果、できるだけ類似度の値の低い特徴情報を学習させることにより、少ない登録情報の更新回数でも効果的な更新を行なうことができる。本実施の形態では、1つの上限、下限の組合わせで定められる範囲を1つ定義する例をあげて説明を行なったが、複数の範囲で定められる範囲にしても構わないし、上限や下限を類似度の上限値と下限値と同じ値にしても構わない。
【0045】
登録情報(辞書)の更新を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に加算を行なった上で再度、K−L展開して求めた部分空間を更新後の登録情報として保存する。
【0046】
なお、第1の実施の形態では、登録情報の内容を書換える方法については特に依存性がないため、登録情報の更新は顔の特徴情報の一部を特定の比率で書換えしたり、全部の内容を入力された顔の特徴情報に完全に書換えしたり、登録情報保持部108に1人あたり複数のテンプレートを保持させることでも実現が可能である。登録情報の更新を行なう対象は、「1:1照合」であれば認識対象の登録情報、「1:N照合」であれば最も高い類似度を与える登録情報に対して更新を行なうこととする。
【0047】
また、説明した登録情報更新部111では、登録された人物の全員で共通の更新範囲を設定しているが、「1:1照合」の場合であれば、入力されたID番号ごとに範囲を個別に設定したり、「1:N照合」の場合では1位とされるID番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
以上説明した処理の流れを図6のフローチャートに示す。
【0048】
次に、第2の実施の形態について説明する。
なお、第2の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第2の実施の形態は、認識時に得られた類似度の値によって登録情報更新時の重み(比率)を変更する点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0049】
登録情報更新部111は、認識部109の認識結果や履歴情報記憶部110内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。
【0050】
登録情報更新部111において、登録情報の更新を判断する基準は任意のものを利用してよい。ここでは、第1の実施の形態で用いている認識時の類似度が更新範囲であるかどうかを例にあげて説明を行なうが、第3の実施の形態以降で説明を行なう判断手法を用いてもよいし、入力部103によって暗証番号のように本人しか知りえない識別情報の入力を促して、本人確認ができた場合にのみ登録情報の更新を行なうといった方法を利用しても構わない。
【0051】
また、本実施の形態においては、簡単に説明するために登録情報の更新比率を認識部109で得られる類似度を用いて2つの更新比率を変更する例をあげているが、更新比率は多段階であってもよいし、更新比率を計算する関数を利用して変更しても構わないことは明らかである。
【0052】
以下、登録情報更新部111において、認識部109から得られる類似度によって登録情報の更新比率を変更する方法について図7を用いて説明する。
本実施の形態においては、登録情報の更新を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に対し加算を行なった上で、再度、K−L展開して求めた部分空間を更新後の顔の特徴情報(登録情報)として保存する。
【0053】
この際、登録されている顔の特徴情報(登録情報)に対して新たに加算する相関行列の値の重みを、認識部109によって得られた類似度に応じて変更するものとする。たとえば、図7に示すように、更新範囲上限閾値B未満であり、更新範囲下限閾値B以上であった場合、更新比率Bを利用して登録情報の更新を行なうものとする。同様に、更新範囲上限閾値A未満であり、更新範囲下限閾値A以上であった場合、更新比率Aを利用して登録情報の更新を行なう。
【0054】
ここでは、登録情報との類似度が低くなっている更新比率Bの方の重みを高く設定することにより、登録情報の内容からの変動が大きくなってきたときに登録情報の内容を多めに変更するようにする。具体的には、更新比率B(0≦B≦1)を利用して登録情報の更新を行なう場合、既存の特徴情報に対しては重みを(1−B)、加算をすることになる入力側の特徴情報に対しては重みをBにして相関行列の加算を行なうようにする。
【0055】
次に、第3の実施の形態について説明する。
なお、第3の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第3の実施の形態は、他人の登録情報との類似度差(1位−2位差)が一定値以上であるかどうかで登録情報更新の判定を行なう点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0056】
登録情報更新部111は、認識部109によって得られた1つまたは複数の類似度を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。第3の実施の形態においては、登録者全員分の登録情報との類似度を求める「1:N照合」のみならず、「1:1照合」および「1:n照合」の場合でも登録者全員との類似度を計算することとする。
【0057】
まず、「1:1照合」の場合の更新判定方法について図8を用いて説明する。「1:1照合」の場合には、本人に相当する類似度がわかっている。その場合、本人以外との類似度として、「他人類似度」が1つまたは複数計算されることになるが、その中で最も高い類似度を与える「他人1位類似度」を求め、本人類似度と「他人1位類似度」との差が充分であれば、本当に本人であると判定して登録情報の自動更新を行なう。
【0058】
仮に、登録されている他人が認証した場合には、「他人1位類似度」として本来は「本人」となるべき類似度が得られるため、「他人1位類似度」が高くでるようになり、登録されていない人物が認証した場合には、全ての類似度が低くなるため、本人類似度自体が低くなる。共に本人が認証を行なった場合と違って、本人類似度と「他人1位類似度」との差が小さくなりやすいといったことを利用して、他人を誤って登録情報に学習してしまうことを防ぐことができる。勿論、本人の類似度が一定の値の範囲に入っているといった第1の実施の形態における手法と併用をすることは可能である。
【0059】
また、「1:1照合」においては、「他人1位類似度」の代わりに「他人全員の類似度の平均値」との差を利用することによって、未登録者が登録情報を更新しようとした場合の誤学習を防ぐことも可能である。
【0060】
また、類似度の差ではなく、全体の類似度の中で最も高い類似度に次ぐ「2位類似度」単独の値だけで判定することも可能である。この場合、仮に他人が1位となってしまった場合、本人の類似度もある程度の高い類似度をとることが予想され、「2位類似度」が高い場合は他人か未登録者が認証しているとみなすことが可能になる。
【0061】
次に、「1:N照合」、「1:n照合」の場合の更新判定方法について図9を用いて説明する。「1:N照合」、「1:n照合」の場合には、あらかじめ識別情報が入力されていないため、「本人」に相当する類似度がないことから、全員との類似度を計算した中で最も高い類似度「1位類似度」とそれに次ぐ類似度「2位類似度」を利用する。
【0062】
図9(a)に示すように、本人が正しく1位となっていれば、2位類似度との差が大きくなるため、「1位類似度」と「2位類似度」との差である「1位―2位類似度差」が充分に大きくなることから、この値が所定の閾値よりも大きい場合、あるいは、複数の閾値で定められた範囲に入っていれば、1位類似度を与える登録情報に対して入力された顔の特徴情報を利用して更新を行なう。
【0063】
一方、図9(b)に示すように、仮に本人に相当する類似度が低くなって、2位以下となった場合には、他人の登録情報に対応する類似度が「1位類似度」として計算されるが、この場合、本人類似度が2位、あるいは、それよりも高い更に別の他人の類似度が2位となるため、本人が1位となった場合と比べて「1位―2位類似度差」が小さくなる。この場合も、この判断基準のみならず、第1の実施の形態で示したように、「1位類似度」が所定の類似度になっているかどうかの検証を併用することが可能である。
【0064】
「1:1照合」のときと同様、「2位類似度」だけを評価対象として、「2位類似度」が所定の閾値以下であった場合、あるいは、複数の閾値で定められる類似度の範囲内であった場合に登録情報の更新を行なうといった方法も利用できる。
【0065】
また、説明した登録情報更新部111では、登録された人物の全員で共通の更新範囲を設定しているが、「1:1照合」の場合であれば、入力されたID番号ごとに範囲を個別に設定したり、「1:N照合」、「1:n照合」の場合では1位とされるID番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
【0066】
なお、第2の実施の形態までと同様、ここで用いる閾値や類似度範囲は全員共通でも個別でも構わないこととする。
【0067】
次に、第4の実施の形態について説明する。
なお、第4の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第4の実施の形態は、個人別の履歴情報との照合を行なって平均的に高い類似度となるかどうかで登録情報更新の判定を行なう点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0068】
登録情報更新部111は、認識部109の認識結果や履歴情報記憶部110内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。
【0069】
登録情報更新部111においては、認識部109において登録者であるかどうかの判定を行なった後、特徴量抽出部107で得られた顔の特徴情報を利用して登録情報を更新した場合に作成される「仮の登録情報(仮辞書)」を作成する。これは、「1:1照合」の場合であれば、本人に相当する登録情報を基に「仮の登録情報」を作成し、「1:n照合」や「1:N照合」の場合には、最も高い類似度を与える登録情報に対して登録情報の更新をした場合に作成される「仮の登録情報」を作成する。
【0070】
「仮の登録情報」は、実際に登録情報保持部108に保持されている登録情報を直接書換えるのではなく、一時的なものとして登録情報と別に作成するものとする。この仮の登録情報の作成を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に加算を行なった上で、再度、K−L展開して求めた部分空間を更新後の仮の登録情報とする。
【0071】
なお、第4の実施の形態では、登録情報の内容を書換える方法については特に依存性がないため、登録情報の更新は顔の特徴情報の一部を特定の比率で書換えしたり、全部の内容を入力された顔の特徴情報に完全に書換えしたり、登録情報保持部108に1人あたり複数のテンプレートを保持させることでも実現が可能である。
【0072】
仮の登録情報が作成されると、「1:1照合」では、履歴情報記憶部110に履歴情報として保存されている、入力部103から入力された識別情報に対応する過去に入力された1つまたは複数の顔の特徴情報、「1:n照合」や「1:N照合」では、1位となる類似度に対応する履歴情報として、履歴情報記憶部110に保存されている過去に入力された1つまたは複数の顔の特徴情報との類似度を計算する。同様に、登録情報保持部108に保持されている既存の登録情報も同じ処理を行なって類似度を計算する。その結果、過去に入力された1つまたは複数の特徴情報との平均類似度が、仮の登録情報の方が高くなるようであれば、登録情報保持部108に保持されている登録情報を仮の登録情報と置き換え、仮の登録情報を本来の辞書として登録する。
【0073】
以上説明した処理の流れを図10のフローチャートに示す。
【0074】
なお、上記説明では、過去の履歴情報との平均類似度で比較を行なったが、最低類似度であっても、最高類似度であっても、本発明を実現することが可能であることは自明である。
【0075】
次に、第5の実施の形態について説明する。
なお、第5の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第5の実施の形態は、登録情報を更新すべきか判定しにくい場合は、入力画像または顔の特徴情報を保存しておき、後から選別して登録情報の更新を行なう点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0076】
登録情報更新部111は、認識部109の認識結果や履歴情報記憶部110内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。
【0077】
登録情報更新部111では、たとえば、図11に示すように、自動更新を行なう範囲cと、自動更新を行なわない範囲dと、これらとは別に、後で確認を行なって更新するかしないかを確定するために特徴情報を保存する範囲eを設けることとする。たとえば、第1の実施の形態でも説明したように、登録情報の更新を行なうと効果的であると判断できるデータであっても、本当に登録情報の登録者本人であるかの確証が得られない場合には、そのときの入力画像または顔の特徴情報を履歴情報記憶部110に保存しておき、後からそれを目視確認をすることによって追加で登録情報の更新を可能とする。
【0078】
認識部109において得られた類似度が、自動更新を行なう範囲cであった場合には、第4の実施の形態までに説明した手法と同様に登録情報の更新を行なうことが可能である。また、同様に、登録された人物全員で共通の更新範囲を設定しているが、「1:1照合」の場合であれば、入力されたID番号ごとに範囲を個別に設定したり、「1:N照合」の場合では、1位とされるID番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
【0079】
以上の処理の流れによって更新すべきかどうか確認が必要な情報であるとして履歴情報記憶部110に保存された情報については、たとえば、表示部102を利用して履歴情報の内容を表示しながら確認を行なうことを想定して説明を行なうが、履歴情報記憶部110の内容を他の端末装置に転送して、その場で確認や指示を行なうようにしても構わない。
【0080】
表示部102における画面構成は、たとえば、図12に示すように、本来の登録者の顔画像fと確認が必要となる情報の入力画像gとを並べて表示するようにし、両方の人物が同一人物であると確認できた場合に、登録情報保持部108内の登録情報に対し追加して学習させることとする。勿論、このような表示でないと本実施の形態が実現できなくなるわけではないため、顔の特徴情報そのものを表示しても構わないし、連続したデータを用いて顔照合を行なう場合には、入力された複数の顔画像や動画像を表示するといったことで実現しても構わない。
【0081】
次に、第6の実施の形態について説明する。
なお、第6の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第6の実施の形態は、認識にかかった時間や認識のリトライ回数に応じて登録情報を更新するかどうかを判定する点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0082】
登録情報更新部111は、認識部109の認識結果や履歴情報記憶部110内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。
【0083】
また、第6の実施の形態は、認識部109において、最終的な認識結果が得られるまで認識処理を繰返すことを前提としており、「類似度が認証閾値を越さない場合には規定された回数まで認識処理を繰返す」、「類似度が認証閾値を越した時点で認識処理を完了」といった方法をとることとする。勿論、第1の実施の形態から第5の実施の形態までにおいても同様の技術を利用することは可能であったが、本実施の形態ではこの繰返しを行なった回数や時間を利用するため、必ずこの方法をとることとする。
【0084】
本実施の形態における認識処理の打ち切りについては図13のフローチャートに示す通りであるが、認証失敗とする判断基準は、認識を行なった繰返し回数(リトライ回数)のみならず、認識処理開始からの経過時間を利用しても構わない。
【0085】
以下、登録情報更新部111において登録情報の更新を行なう方法について説明する。
図13のフローチャートに示すように、認証が完了した時点で認証が成功となるまでの認識リトライ回数が得られる。このリトライ回数があらかじめ定められた回数(更新閾値)よりも多い場合には、「本人であるものの登録情報に学習されていないデータが入力されており認証に長時間かかった」と判定して登録情報の更新を行なう。一方、上記リトライ回数があらかじめ定められた回数(更新閾値)よりも少ない場合には、「登録情報と非常に類似したデータが入力されたため短時間で認証が終わった」と判定して登録情報の更新を行なわない。
ここに、図14のグラフは、上述した登録情報更新の判定条件を説明するものである。
【0086】
なお、上記説明では、認識のリトライ回数を判断基準として用いているが、認識処理開始からの経過時間を基に判断しても構わない。
また、説明した登録情報更新部111では、登録された人物の全員で共通の更新範囲を設定しているが、「1:1照合」の場合であれば、入力されたID番号ごとに範囲を個別に設定したり、「1:N照合」の場合では1位とされるID番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
【0087】
本実施の形態では、登録情報の更新を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に加算を行なった上で、再度、K−L展開して求めた部分空間を更新後の仮の登録情報とする。
【0088】
なお、第6の実施の形態では、登録情報の内容を書換える方法については特に依存性がないため、登録情報の更新は顔の特徴情報の一部を特定の比率で書換えしたり、全部の内容を入力された顔の特徴情報に完全に書換えしたり、登録情報保持部108に1人あたり複数のテンプレートを保持させることでも実現が可能である。
【0089】
また、繰返して認識を行なった場合には、入力された顔の特徴情報が1つまたは複数個存在するため、登録情報の更新時には全ての情報を登録情報に加算する。なお、全ての情報を利用せずに規定の数で制限しても構わないし、登録情報との類似度の推移を利用して選別して更新に利用しても構わない。
【0090】
次に、第7の実施の形態について説明する。
第7の実施の形態は、たとえば、第1の実施の形態で説明した人物認識装置を、通行者の顔画像を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。
【0091】
図15は、第7の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設(セキュリティ重視の部屋など)への入退室管理を行なうもので、利用者(通行者)の顔画像を認識して、その認識結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ101、表示部102、入力部103、処理部104、および、認識部109の認識結果に応じて重要施設201の入退室用ドア202の開閉制御を行なう通行制御手段としてのドア制御部114から構成されている。
なお、図15において、ドア制御部114以外は図1の人物認識装置と同じ構成であるので、同一符号を付して、その説明は省略する。
【0092】
認識部109は、たとえば、求めた類似度が認証閾値よりも大きかった場合、ドア制御部114に「ドア開」の信号を出力し、求めた類似度が認証閾値よりも小さかった場合、ドア制御部114に「ドア閉」の信号を出力する。ドア制御部114は、認識部109から「ドア開」の信号を受取ると、入退室用ドア202を開状態に制御して、認識対象者(この場合は通行者)100の入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア202を閉状態に保持して、通行者100の入室を拒否する。
このように、第7の実施の形態によれば、第1の実施の形態で説明した人物認識装置を用いて通行者の通行を制御することができる。
【0093】
なお、第7の実施の形態では、代表として、第1の実施の形態で説明した人物認識装置を適用した場合について説明したが、第2〜第6の実施の形態で説明した人物認識装置を適用することも可能であることは説明するまでもないことである。
【0094】
以上説明したように、上記実施の形態によれば、人物の認識に用いる登録情報(辞書)を、認識対象者への負担をかけずに効率的な学習を行なうことによって、経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる。
また、認証閾値に対する優位差のない認証データ(ぎりぎり認証成功になったデータ)も利用した自動更新を行なうことによって、認識対象者の負担を増やすことなく効果的な登録情報の学習を行なうことができる。
【0095】
【発明の効果】
以上詳述したように本発明によれば、経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる人物認識装置、人物認識方法および通行制御装置を提供できる。
【0096】
また、本発明によれば、認識対象者の負担を増やすことなく効果的な登録情報(辞書)の学習を行なうことができる人物認識装置、人物認識方法および通行制御装置を提供できる。
【図面の簡単な説明】
【図1】第1の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。
【図2】顔検出部の処理を説明するための図。
【図3】特徴量抽出部の処理を説明するための図。
【図4】登録時との状態変化を説明するための図。
【図5】自動的に登録情報の更新を行なう範囲を説明するための図。
【図6】自動的に登録情報の更新を行なう処理の流れを説明するフローチャート。
【図7】第2の実施の形態に係る人物認識装置における登録情報更新方法の判断基準を説明するための図。
【図8】第3の実施の形態に係る人物認識装置における登録情報更新の判定方法を説明するための図。
【図9】第3の実施の形態に係る人物認識装置において他人が本人よりも高い類似度になった場合の説明図。
【図10】第4の実施の形態に係る人物認識装置における登録情報更新処理の流れを説明するフローチャート。
【図11】第5の実施の形態に係る人物認識装置における登録情報更新の判定方法を説明するための図。
【図12】第5の実施の形態に係る人物認識装置における登録情報の目視確認更新方法を説明するための図。
【図13】第6の実施の形態に係る人物認識装置における登録情報更新処理の流れを説明するフローチャート。
【図14】第6の実施の形態に係る人物認識装置における登録情報更新の判定条件を説明するための図。
【図15】第7の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。
【符号の説明】
100…認識対象者(人物、通行者)、101…カメラ(画像入力手段)、102…表示部、103…入力部(識別情報入力手段)、104…処理部、105…画像入力部(画像入力手段)、106…顔検出部(顔検出手段)、107…特徴量抽出部(特徴量抽出手段)、108…登録情報保持部(登録情報保持手段)、109…認識部(認識手段)、110…履歴情報記憶部(履歴情報記憶手段)、111…登録情報更新部(登録情報更新手段)、112…表示制御部、113…入力制御部(識別情報入力手段)、114…ドア制御部(通行制御手段)、201…重要施設、202…入退室用ドア。
【0001】
【発明の属する技術分野】
本発明は、たとえば、セキュリティ管理などにおいて、人物の顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報などの生体情報を用いて当該人物を認識する人物認識装置および人物認識方法に関する。
また、本発明は、上記人物認識装置を用いて通行者の通行(たとえば、重要施設の入退場など)を制御する通行制御装置に関する。
【0002】
【従来の技術】
一般に、この種の人物認識装置は、認識対象となる人物の生体情報を取得し、この取得した生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき当該人物を認識するようになっている。
【0003】
このような人物認識装置において、経年変化や認識ごとのばらつき(たとえば、顔画像の照合における人物の姿勢や顔の向きなど)による本人の誤排除の軽減対策として、あらかじめ本人の生体的な特徴情報が登録情報として記録されている辞書(登録情報保持手段)の自動更新に関する技術が提案されている。
【0004】
たとえば、認証閾値とは別に当該認証閾値よりも高い再登録用閾値を設定しておき、照合時に求めた類似度が当該再登録用閾値よりも高いときに登録情報(辞書)の更新を行なう技術が開示されている(たとえば、特許文献1参照)。
また、ID番号や暗証番号の入力と組合わせて認証閾値を下げる仕組みを持ち、認証閾値を下げずに照合成功したときに、登録情報(辞書)の更新を行なう技術が開示されている(たとえば、特許文献2参照)。
【0005】
【特許文献1】
特開平11−167632号公報
【0006】
【特許文献2】
特開平10−312462号公報
【0007】
【発明が解決しようとする課題】
しかしながら、特許文献1や特許文献2の方法では、充分に本人であることが確認された場合にのみ、登録情報(辞書)の更新を行なう仕組みとなっているため、学習されている内容により近いデータのみが自動更新によって登録情報に学習されていくこととなる。
【0008】
また、本人の誤排除を軽減させるのに効果的な情報は、認証閾値に対して充分の優位性を持っている部分ではなく、認証閾値に近い点数となるようなデータであるため、前述した特許文献1や特許文献2による自動更新方法では効果が小さい。また、その方法を利用して認証閾値に近い点数を学習させようとすると、本当に本人であるかどうかの確認が行なわれていないため、誤って他人を学習してしまう可能性がある。
【0009】
そこで、本発明は、経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる人物認識装置、人物認識方法および通行制御装置を提供することを目的とする。
【0010】
また、本発明は、認識対象者の負担を増やすことなく効果的な登録情報(辞書)の学習を行なうことができる人物認識装置、人物認識方法および通行制御装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
本発明の人物認識装置は、認識対象となる人物の生体情報を取得する生体情報取得手段と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、この認識手段において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段とを具備している。
【0012】
また、本発明の人物認識方法は、認識対象となる人物の生体情報を取得する生体情報取得ステップと、この生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識ステップと、この認識ステップにおいて求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得ステップにより取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新ステップとを具備している。
【0013】
さらに、本発明の通行制御装置は、通行者を認識して前記通行者の通行を制御する通行制御装置において、前記通行者の生体情報を取得する生体情報取得手段と、あらかじめ認識対象となる通行者の生体情報を登録情報として保持する登録情報保持手段と、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記通行者の認識を行なう認識手段と、この認識手段において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段とを具備している。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
なお、以下の説明では、人物の生体情報として顔画像を用いた場合を例として述べるが、顔画像以外に、指紋画像、虹彩情報、掌形画像、指画像、音声情報などの他の生体情報を用いても同様に実施できる。
【0015】
まず、第1の実施の形態について説明する。
図1は、第1の実施の形態に係る人物認識装置の構成を概略的に示すものである。この人物認識装置は、認識対象者(以下、人物ともいう)100の顔画像(少なくとも顔を含んでいる画像)を撮像して入力する画像入力手段としてのカメラ101、認識対象者100に対して入力された顔画像や各種案内などを表示する表示手段としての表示部102、認識対象者100を特定するID番号や暗証番号などの識別情報を入力する識別情報入力手段としての入力部103、および、カメラ101から入力された顔画像を処理して顔画像の認識処理などを行なう処理部104から構成されている。
【0016】
なお、図示は省略しているが、必要に応じて、カメラ101の近傍(たとえば、右上方あるいは左上方)から認識対象者100の少なくとも顔に向けて一定の照度で光を照射する照明手段が設けられる。
【0017】
また、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、IDコードなどの個人情報の各情報が登場してくる。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。
【0018】
カメラ101は、認識対象者100の生体情報として顔画像を下方から所定角度で撮像して入力するものであり、たとえば、CCDセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。
【0019】
表示部102は、カメラ101で撮影されている認識対象者100の顔画像や各種ガイダンス、処理結果などを表示するモニタであり、カメラ101の近傍、たとえば、カメラ101の上部で、ほぼ認識対象者100の顔部分と相対応する位置に設けられている。
【0020】
入力部103は、認識対象者100が本人であることを確認する際に用いる暗証番号などを入力したり、多数登録されている生体情報の中のどの生体情報であるかを特定する識別情報などを入力するもので、具体的には、たとえば、テンキーやタッチパネル、あるいは、ICカードや磁気カードあるいは無線カードを読取るカードリーダなどによって実現可能である。
【0021】
処理部104は、カメラ101からの顔画像を入力する画像入力部105、画像入力部105から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部106、顔検出部106の出力に基づき濃淡情報あるいは部分空間情報などの顔の特徴量を抽出する特徴量抽出手段としての特徴量抽出部107、人物情報登録時には、特徴量抽出部107で抽出された顔の特徴量を認識データ(登録情報)として保持する登録情報保持手段としての登録情報保持部(辞書)108、人物認識時には、特徴量抽出部107で抽出された顔の特徴量と登録情報保持部108に登録されている認識データ(登録情報)とを照合することにより認識対象者100の顔を認識する認識手段としての認識部109、画像入力部105から得られた画像や特徴量抽出部107で抽出された顔の特徴量を履歴情報として記録しておく履歴情報記憶手段としての履歴情報記憶部110、更新すべき範囲を設定して登録情報を更新すべきかどうかを判定し、登録情報保持部108に保持されている登録情報を更新する登録情報更新手段としての登録情報更新部111、表示部102を制御する表示制御部112、および、入力部103を制御する入力制御部113により構成されている。
【0022】
画像入力部105は、カメラ101からの顔画像を入力し、A/D変換してデジタル化した後、顔検出部106へ送る。
顔検出部106は、まず、画像入力部105で入力された顔画像から認識対象者100の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。
【0023】
顔検出部106は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献(福井和広、山口修:「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌(D),vol.J80−D−II,No.8,pp2170−2177(1997))などの方法を用いてよい。
【0024】
ここで、顔のテンプレートによる顔検出と、目、鼻などの顔部品の検出座標の相対位置によって顔の方向を調べることも可能になる。たとえば、図2に示すように、顔検出結果の中心座標を顔の中心座標(fx,fy)、顔の大きさを(fw,fh)とし、左右の目と鼻の検出結果をそれぞれ(EyeLx,EyeLy)、(EyeRx,EyeRy)、(NoseLx,NoseLy)、(NoseRx,NoseRy)とすれば、以下の方法で顔の方法を示す指標が得られる。
顔の方向(X方向)=((EyeRx+EyeLx)/2−fx)/fw
顔の方向(Y方向)=((EyeRy+EyeLy)/2−fy)/fh
これらの座標の原点が画面左上だとした場合、数値は顔が右下に向くほど大きくなる値となる。
【0025】
特徴量抽出部107は、顔検出部106で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を顔の特徴量として用いる。ここでは、たとえば、mピクセル×nピクセルの領域の濃淡値をそのまま情報として用い、m×n次元の情報を特徴ベクトルとして用いる。
【0026】
図3は、入力画像を特徴量抽出部107により処理して得られた顔画像データであり、時系列的に得られたものである。これらのデータに対し特徴ベクトルの相関行列を求め、周知のK−L展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算方法は、特徴ベクトルの相関行列(または共分散行列)を求め、そのK−L展開による正規直交ベクトル(固有ベクトル)を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にk個選び、その固有ベクトル集合を用いて表現する。
【0027】
本実施の形態では、相関行列Cdを特徴ベクトルから求め、相関行列
【数1】
と対角化して、固有ベクトルのΦを求める。この部分空間は、人物の同定を行なうための認識辞書として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。
また、後で述べるように、認識を行なうための入力データとして部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、認識部109および登録情報保持部108に送られる。
【0028】
登録情報保持部108は、認識対象者100を同定するために利用する部分空間(または、相関行列など)、および、認識対象者100を特定するID番号などの識別情報を対応させて蓄積する。また、登録の際の時刻、日時、場所などの状況情報なども蓄積できる。なお、部分空間に限らず、入力された顔画像や抽出された顔の特徴量そのものを蓄積してもよい。
【0029】
認識部109は、登録情報保持部108に蓄えられた認識データ(部分空間)と特徴量抽出部107で得られた特徴量(濃淡情報あるいは部分空間情報)とを照合(比較)することにより、カメラ101に写っている認識対象者100が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。
【0030】
また、ID番号、暗証番号、鍵などの個人の識別情報を用いて、顔画像による認識を行なう場合には、それぞれの人物の識別情報に対応する認識データとの類似度を計算して、設定した認証閾値と照合し、その認証閾値を越えた場合に、その人物と同定する。
これらID番号、暗証番号、鍵など個人の識別情報は、入力部103を用いて入力すればよい。
【0031】
認識の方法としては、特徴量抽出部107の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献(前田賢一、渡辺貞一:「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌(D),vol.J68−D,No.3,pp345−352(1985))に記載されている公知の認識方法である相互部分空間法を用いる。
【0032】
この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、2つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Cinを求め、
【数2】
と対角化し、固有ベクトルΦinを求める。2つのΦin、Φdで表わされる部分空間の部分空間類似度(0.0〜1.0)を求め、それを認識するための類似度とする。
【0033】
なお、本実施の形態においては、登録された生体情報との一致性は「類似度」を用いた例を用いているが、相関値やユークリッド距離といったものを利用してもかまわない。
【0034】
認識部109において人物を認識する場合には、登録情報保持部108に蓄えられた全ての部分空間情報(登録情報)との類似度を求め、最も高い類似度となる人物の類似度があらかじめ定められた認証閾値以上となった場合に、その人物が本人であると認識する。最高となる類似度が認証閾値よりも低い場合には、あらかじめ登録を行なっている人物ではないと判定できる。この認識方法を本発明では「1:N照合」として定義し、以降の説明で繰返し利用することとする。
【0035】
一方、ID番号など、どの人物であるかの識別情報が入力部103から入力された場合には、その識別情報に対応する部分空間との類似度のみを計算し、その類似度があらかじめ定められた認証閾値以上となった場合に、その人物が本人であると認識する。この認識方法を本発明では「1:1照合」として定義し、以降の説明で繰返し利用することとする。
【0036】
また、「1:1照合」と「1:N照合」との中間に位置する「1:n照合」については、登録者全体の中の複数の人物に共通する識別情報が入力された場合を想定し、この識別情報が入力された場合には、その識別情報に対応する1名または複数名の登録者の登録情報との類似度を計算し、最高となる類似度が認証閾値よりも高い場合に、その識別情報に相当する登録者がきたこととする。
【0037】
たとえば、複数の人物に共通するグループ番号を識別情報として入力し、そのグループに属する人物であるかどうかを判定する場合などに用いる。基本的に、登録者全員との類似度を計算するのではなく、その中の一部の複数人物との照合を行なうということであって、全体的な動作は「1:N照合」の動作と共通であるため、本実施の形態においては「1:N照合」の説明に包含して説明することとする。
【0038】
履歴情報記憶部110は、認識部109で得られる認識結果や認識を行なった時間や場所、入力された識別情報などとともに、画像入力部105から入力された入力画像そのものや、特徴量抽出部107から得られた顔の特徴情報などを履歴情報として記憶する。
【0039】
以上の方法で人物を認識するだけでなく、その認識結果に応じて通行の制御を行なったりアクセスの制御を行なうことにも応用が可能であるが、顔画像を用いた人物認識装置の場合、図4に示すように、人物の立ち位置や姿勢の経年変化、経時変化により、認識率の低下を引き起こしてしまう。図4において、破線で示す枠aが登録時の顔の大きさ(顔サイズ)を示している。
【0040】
たとえば、図4(a)に示すように、登録時と同じ状態で認識時(照合時)も顔が画像内に存在している場合には、登録時と近い状態で特徴情報が抽出できるために登録情報(辞書)との類似度が高くなりやすいが、図4(b)、(c)に示すように、登録時よりも顔が大きかったり小さかったりした場合や、図には示されていないが顔の向きなどが異なる場合に類似度が低下しやすくなる。
こういった問題を解決するために、登録情報保持部108に保持されている生体情報に対して情報を追加したり一部を書換えることによって、類似度の低下を軽減させることが必要となる。
【0041】
そこで、登録情報更新部111では、認識部109において登録者であるかどうかの判定基準である「認証閾値」とは独立して、登録情報(辞書)の更新を行なうべきかどうかを判定する基準を設ける。この基準としては、1つまたは複数の範囲で定められた類似度であったときに登録情報の更新を行なうものとすることで実現する。図5にその一例を示す。
【0042】
該当する特徴情報とは別の人物の特徴情報を学習させることを防止する必要があるため、本実施の形態では類似度が「認証閾値Th」以上であることを1つの条件とする。図5では、「更新範囲下限閾値UpdateTh_Low」と「認証閾値Th」は異なる値としている例であるが、ここで説明しているように同じ値に設定しても構わない。
【0043】
また、一般に既に登録情報(辞書)に学習されている特徴情報に類似した情報を更に学習させた場合の学習効果は小さく、かつ、そういった情報は特徴情報との類似度が高くでることから、登録情報の更新を行なう範囲に対して上限となる閾値も設定する。図5における「更新範囲下限閾値UpdateTh_High」に相当し、図5の網掛けした範囲bが本例の登録情報更新範囲に相当する。
【0044】
この結果、できるだけ類似度の値の低い特徴情報を学習させることにより、少ない登録情報の更新回数でも効果的な更新を行なうことができる。本実施の形態では、1つの上限、下限の組合わせで定められる範囲を1つ定義する例をあげて説明を行なったが、複数の範囲で定められる範囲にしても構わないし、上限や下限を類似度の上限値と下限値と同じ値にしても構わない。
【0045】
登録情報(辞書)の更新を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に加算を行なった上で再度、K−L展開して求めた部分空間を更新後の登録情報として保存する。
【0046】
なお、第1の実施の形態では、登録情報の内容を書換える方法については特に依存性がないため、登録情報の更新は顔の特徴情報の一部を特定の比率で書換えしたり、全部の内容を入力された顔の特徴情報に完全に書換えしたり、登録情報保持部108に1人あたり複数のテンプレートを保持させることでも実現が可能である。登録情報の更新を行なう対象は、「1:1照合」であれば認識対象の登録情報、「1:N照合」であれば最も高い類似度を与える登録情報に対して更新を行なうこととする。
【0047】
また、説明した登録情報更新部111では、登録された人物の全員で共通の更新範囲を設定しているが、「1:1照合」の場合であれば、入力されたID番号ごとに範囲を個別に設定したり、「1:N照合」の場合では1位とされるID番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
以上説明した処理の流れを図6のフローチャートに示す。
【0048】
次に、第2の実施の形態について説明する。
なお、第2の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第2の実施の形態は、認識時に得られた類似度の値によって登録情報更新時の重み(比率)を変更する点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0049】
登録情報更新部111は、認識部109の認識結果や履歴情報記憶部110内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。
【0050】
登録情報更新部111において、登録情報の更新を判断する基準は任意のものを利用してよい。ここでは、第1の実施の形態で用いている認識時の類似度が更新範囲であるかどうかを例にあげて説明を行なうが、第3の実施の形態以降で説明を行なう判断手法を用いてもよいし、入力部103によって暗証番号のように本人しか知りえない識別情報の入力を促して、本人確認ができた場合にのみ登録情報の更新を行なうといった方法を利用しても構わない。
【0051】
また、本実施の形態においては、簡単に説明するために登録情報の更新比率を認識部109で得られる類似度を用いて2つの更新比率を変更する例をあげているが、更新比率は多段階であってもよいし、更新比率を計算する関数を利用して変更しても構わないことは明らかである。
【0052】
以下、登録情報更新部111において、認識部109から得られる類似度によって登録情報の更新比率を変更する方法について図7を用いて説明する。
本実施の形態においては、登録情報の更新を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に対し加算を行なった上で、再度、K−L展開して求めた部分空間を更新後の顔の特徴情報(登録情報)として保存する。
【0053】
この際、登録されている顔の特徴情報(登録情報)に対して新たに加算する相関行列の値の重みを、認識部109によって得られた類似度に応じて変更するものとする。たとえば、図7に示すように、更新範囲上限閾値B未満であり、更新範囲下限閾値B以上であった場合、更新比率Bを利用して登録情報の更新を行なうものとする。同様に、更新範囲上限閾値A未満であり、更新範囲下限閾値A以上であった場合、更新比率Aを利用して登録情報の更新を行なう。
【0054】
ここでは、登録情報との類似度が低くなっている更新比率Bの方の重みを高く設定することにより、登録情報の内容からの変動が大きくなってきたときに登録情報の内容を多めに変更するようにする。具体的には、更新比率B(0≦B≦1)を利用して登録情報の更新を行なう場合、既存の特徴情報に対しては重みを(1−B)、加算をすることになる入力側の特徴情報に対しては重みをBにして相関行列の加算を行なうようにする。
【0055】
次に、第3の実施の形態について説明する。
なお、第3の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第3の実施の形態は、他人の登録情報との類似度差(1位−2位差)が一定値以上であるかどうかで登録情報更新の判定を行なう点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0056】
登録情報更新部111は、認識部109によって得られた1つまたは複数の類似度を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。第3の実施の形態においては、登録者全員分の登録情報との類似度を求める「1:N照合」のみならず、「1:1照合」および「1:n照合」の場合でも登録者全員との類似度を計算することとする。
【0057】
まず、「1:1照合」の場合の更新判定方法について図8を用いて説明する。「1:1照合」の場合には、本人に相当する類似度がわかっている。その場合、本人以外との類似度として、「他人類似度」が1つまたは複数計算されることになるが、その中で最も高い類似度を与える「他人1位類似度」を求め、本人類似度と「他人1位類似度」との差が充分であれば、本当に本人であると判定して登録情報の自動更新を行なう。
【0058】
仮に、登録されている他人が認証した場合には、「他人1位類似度」として本来は「本人」となるべき類似度が得られるため、「他人1位類似度」が高くでるようになり、登録されていない人物が認証した場合には、全ての類似度が低くなるため、本人類似度自体が低くなる。共に本人が認証を行なった場合と違って、本人類似度と「他人1位類似度」との差が小さくなりやすいといったことを利用して、他人を誤って登録情報に学習してしまうことを防ぐことができる。勿論、本人の類似度が一定の値の範囲に入っているといった第1の実施の形態における手法と併用をすることは可能である。
【0059】
また、「1:1照合」においては、「他人1位類似度」の代わりに「他人全員の類似度の平均値」との差を利用することによって、未登録者が登録情報を更新しようとした場合の誤学習を防ぐことも可能である。
【0060】
また、類似度の差ではなく、全体の類似度の中で最も高い類似度に次ぐ「2位類似度」単独の値だけで判定することも可能である。この場合、仮に他人が1位となってしまった場合、本人の類似度もある程度の高い類似度をとることが予想され、「2位類似度」が高い場合は他人か未登録者が認証しているとみなすことが可能になる。
【0061】
次に、「1:N照合」、「1:n照合」の場合の更新判定方法について図9を用いて説明する。「1:N照合」、「1:n照合」の場合には、あらかじめ識別情報が入力されていないため、「本人」に相当する類似度がないことから、全員との類似度を計算した中で最も高い類似度「1位類似度」とそれに次ぐ類似度「2位類似度」を利用する。
【0062】
図9(a)に示すように、本人が正しく1位となっていれば、2位類似度との差が大きくなるため、「1位類似度」と「2位類似度」との差である「1位―2位類似度差」が充分に大きくなることから、この値が所定の閾値よりも大きい場合、あるいは、複数の閾値で定められた範囲に入っていれば、1位類似度を与える登録情報に対して入力された顔の特徴情報を利用して更新を行なう。
【0063】
一方、図9(b)に示すように、仮に本人に相当する類似度が低くなって、2位以下となった場合には、他人の登録情報に対応する類似度が「1位類似度」として計算されるが、この場合、本人類似度が2位、あるいは、それよりも高い更に別の他人の類似度が2位となるため、本人が1位となった場合と比べて「1位―2位類似度差」が小さくなる。この場合も、この判断基準のみならず、第1の実施の形態で示したように、「1位類似度」が所定の類似度になっているかどうかの検証を併用することが可能である。
【0064】
「1:1照合」のときと同様、「2位類似度」だけを評価対象として、「2位類似度」が所定の閾値以下であった場合、あるいは、複数の閾値で定められる類似度の範囲内であった場合に登録情報の更新を行なうといった方法も利用できる。
【0065】
また、説明した登録情報更新部111では、登録された人物の全員で共通の更新範囲を設定しているが、「1:1照合」の場合であれば、入力されたID番号ごとに範囲を個別に設定したり、「1:N照合」、「1:n照合」の場合では1位とされるID番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
【0066】
なお、第2の実施の形態までと同様、ここで用いる閾値や類似度範囲は全員共通でも個別でも構わないこととする。
【0067】
次に、第4の実施の形態について説明する。
なお、第4の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第4の実施の形態は、個人別の履歴情報との照合を行なって平均的に高い類似度となるかどうかで登録情報更新の判定を行なう点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0068】
登録情報更新部111は、認識部109の認識結果や履歴情報記憶部110内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。
【0069】
登録情報更新部111においては、認識部109において登録者であるかどうかの判定を行なった後、特徴量抽出部107で得られた顔の特徴情報を利用して登録情報を更新した場合に作成される「仮の登録情報(仮辞書)」を作成する。これは、「1:1照合」の場合であれば、本人に相当する登録情報を基に「仮の登録情報」を作成し、「1:n照合」や「1:N照合」の場合には、最も高い類似度を与える登録情報に対して登録情報の更新をした場合に作成される「仮の登録情報」を作成する。
【0070】
「仮の登録情報」は、実際に登録情報保持部108に保持されている登録情報を直接書換えるのではなく、一時的なものとして登録情報と別に作成するものとする。この仮の登録情報の作成を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に加算を行なった上で、再度、K−L展開して求めた部分空間を更新後の仮の登録情報とする。
【0071】
なお、第4の実施の形態では、登録情報の内容を書換える方法については特に依存性がないため、登録情報の更新は顔の特徴情報の一部を特定の比率で書換えしたり、全部の内容を入力された顔の特徴情報に完全に書換えしたり、登録情報保持部108に1人あたり複数のテンプレートを保持させることでも実現が可能である。
【0072】
仮の登録情報が作成されると、「1:1照合」では、履歴情報記憶部110に履歴情報として保存されている、入力部103から入力された識別情報に対応する過去に入力された1つまたは複数の顔の特徴情報、「1:n照合」や「1:N照合」では、1位となる類似度に対応する履歴情報として、履歴情報記憶部110に保存されている過去に入力された1つまたは複数の顔の特徴情報との類似度を計算する。同様に、登録情報保持部108に保持されている既存の登録情報も同じ処理を行なって類似度を計算する。その結果、過去に入力された1つまたは複数の特徴情報との平均類似度が、仮の登録情報の方が高くなるようであれば、登録情報保持部108に保持されている登録情報を仮の登録情報と置き換え、仮の登録情報を本来の辞書として登録する。
【0073】
以上説明した処理の流れを図10のフローチャートに示す。
【0074】
なお、上記説明では、過去の履歴情報との平均類似度で比較を行なったが、最低類似度であっても、最高類似度であっても、本発明を実現することが可能であることは自明である。
【0075】
次に、第5の実施の形態について説明する。
なお、第5の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第5の実施の形態は、登録情報を更新すべきか判定しにくい場合は、入力画像または顔の特徴情報を保存しておき、後から選別して登録情報の更新を行なう点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0076】
登録情報更新部111は、認識部109の認識結果や履歴情報記憶部110内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。
【0077】
登録情報更新部111では、たとえば、図11に示すように、自動更新を行なう範囲cと、自動更新を行なわない範囲dと、これらとは別に、後で確認を行なって更新するかしないかを確定するために特徴情報を保存する範囲eを設けることとする。たとえば、第1の実施の形態でも説明したように、登録情報の更新を行なうと効果的であると判断できるデータであっても、本当に登録情報の登録者本人であるかの確証が得られない場合には、そのときの入力画像または顔の特徴情報を履歴情報記憶部110に保存しておき、後からそれを目視確認をすることによって追加で登録情報の更新を可能とする。
【0078】
認識部109において得られた類似度が、自動更新を行なう範囲cであった場合には、第4の実施の形態までに説明した手法と同様に登録情報の更新を行なうことが可能である。また、同様に、登録された人物全員で共通の更新範囲を設定しているが、「1:1照合」の場合であれば、入力されたID番号ごとに範囲を個別に設定したり、「1:N照合」の場合では、1位とされるID番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
【0079】
以上の処理の流れによって更新すべきかどうか確認が必要な情報であるとして履歴情報記憶部110に保存された情報については、たとえば、表示部102を利用して履歴情報の内容を表示しながら確認を行なうことを想定して説明を行なうが、履歴情報記憶部110の内容を他の端末装置に転送して、その場で確認や指示を行なうようにしても構わない。
【0080】
表示部102における画面構成は、たとえば、図12に示すように、本来の登録者の顔画像fと確認が必要となる情報の入力画像gとを並べて表示するようにし、両方の人物が同一人物であると確認できた場合に、登録情報保持部108内の登録情報に対し追加して学習させることとする。勿論、このような表示でないと本実施の形態が実現できなくなるわけではないため、顔の特徴情報そのものを表示しても構わないし、連続したデータを用いて顔照合を行なう場合には、入力された複数の顔画像や動画像を表示するといったことで実現しても構わない。
【0081】
次に、第6の実施の形態について説明する。
なお、第6の実施の形態の装置構成や基本的な動作、実施方法に関しては前述した第1の実施の形態と同様であるため説明は省略する。
第6の実施の形態は、認識にかかった時間や認識のリトライ回数に応じて登録情報を更新するかどうかを判定する点を特徴としていて、そのために登録情報更新部111の機能が第1の実施の形態と若干異なっており、以下それについて説明する。
【0082】
登録情報更新部111は、認識部109の認識結果や履歴情報記憶部110内の履歴情報を利用して登録情報を更新すべきかどうかを判定し、登録情報保持部108の登録情報を更新する。
【0083】
また、第6の実施の形態は、認識部109において、最終的な認識結果が得られるまで認識処理を繰返すことを前提としており、「類似度が認証閾値を越さない場合には規定された回数まで認識処理を繰返す」、「類似度が認証閾値を越した時点で認識処理を完了」といった方法をとることとする。勿論、第1の実施の形態から第5の実施の形態までにおいても同様の技術を利用することは可能であったが、本実施の形態ではこの繰返しを行なった回数や時間を利用するため、必ずこの方法をとることとする。
【0084】
本実施の形態における認識処理の打ち切りについては図13のフローチャートに示す通りであるが、認証失敗とする判断基準は、認識を行なった繰返し回数(リトライ回数)のみならず、認識処理開始からの経過時間を利用しても構わない。
【0085】
以下、登録情報更新部111において登録情報の更新を行なう方法について説明する。
図13のフローチャートに示すように、認証が完了した時点で認証が成功となるまでの認識リトライ回数が得られる。このリトライ回数があらかじめ定められた回数(更新閾値)よりも多い場合には、「本人であるものの登録情報に学習されていないデータが入力されており認証に長時間かかった」と判定して登録情報の更新を行なう。一方、上記リトライ回数があらかじめ定められた回数(更新閾値)よりも少ない場合には、「登録情報と非常に類似したデータが入力されたため短時間で認証が終わった」と判定して登録情報の更新を行なわない。
ここに、図14のグラフは、上述した登録情報更新の判定条件を説明するものである。
【0086】
なお、上記説明では、認識のリトライ回数を判断基準として用いているが、認識処理開始からの経過時間を基に判断しても構わない。
また、説明した登録情報更新部111では、登録された人物の全員で共通の更新範囲を設定しているが、「1:1照合」の場合であれば、入力されたID番号ごとに範囲を個別に設定したり、「1:N照合」の場合では1位とされるID番号によって更新範囲を変更するなど、登録されている人物ごとに異なる更新範囲を設定することも可能とする。たとえば、普段から照合失敗することが少ない利用者の場合には、それほど更新頻度を高くする必要はないため、更新範囲を狭く設定するといったように応用が可能である。
【0087】
本実施の形態では、登録情報の更新を行なう際には、入力された顔の特徴情報から得られる相関行列の値を登録情報として保存されている値に加算を行なった上で、再度、K−L展開して求めた部分空間を更新後の仮の登録情報とする。
【0088】
なお、第6の実施の形態では、登録情報の内容を書換える方法については特に依存性がないため、登録情報の更新は顔の特徴情報の一部を特定の比率で書換えしたり、全部の内容を入力された顔の特徴情報に完全に書換えしたり、登録情報保持部108に1人あたり複数のテンプレートを保持させることでも実現が可能である。
【0089】
また、繰返して認識を行なった場合には、入力された顔の特徴情報が1つまたは複数個存在するため、登録情報の更新時には全ての情報を登録情報に加算する。なお、全ての情報を利用せずに規定の数で制限しても構わないし、登録情報との類似度の推移を利用して選別して更新に利用しても構わない。
【0090】
次に、第7の実施の形態について説明する。
第7の実施の形態は、たとえば、第1の実施の形態で説明した人物認識装置を、通行者の顔画像を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。
【0091】
図15は、第7の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設(セキュリティ重視の部屋など)への入退室管理を行なうもので、利用者(通行者)の顔画像を認識して、その認識結果に基づき重要施設の入退室用ドアの開閉制御を行なうものであり、カメラ101、表示部102、入力部103、処理部104、および、認識部109の認識結果に応じて重要施設201の入退室用ドア202の開閉制御を行なう通行制御手段としてのドア制御部114から構成されている。
なお、図15において、ドア制御部114以外は図1の人物認識装置と同じ構成であるので、同一符号を付して、その説明は省略する。
【0092】
認識部109は、たとえば、求めた類似度が認証閾値よりも大きかった場合、ドア制御部114に「ドア開」の信号を出力し、求めた類似度が認証閾値よりも小さかった場合、ドア制御部114に「ドア閉」の信号を出力する。ドア制御部114は、認識部109から「ドア開」の信号を受取ると、入退室用ドア202を開状態に制御して、認識対象者(この場合は通行者)100の入室を許可し、「ドア閉」の信号を受取ると、入退室用ドア202を閉状態に保持して、通行者100の入室を拒否する。
このように、第7の実施の形態によれば、第1の実施の形態で説明した人物認識装置を用いて通行者の通行を制御することができる。
【0093】
なお、第7の実施の形態では、代表として、第1の実施の形態で説明した人物認識装置を適用した場合について説明したが、第2〜第6の実施の形態で説明した人物認識装置を適用することも可能であることは説明するまでもないことである。
【0094】
以上説明したように、上記実施の形態によれば、人物の認識に用いる登録情報(辞書)を、認識対象者への負担をかけずに効率的な学習を行なうことによって、経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる。
また、認証閾値に対する優位差のない認証データ(ぎりぎり認証成功になったデータ)も利用した自動更新を行なうことによって、認識対象者の負担を増やすことなく効果的な登録情報の学習を行なうことができる。
【0095】
【発明の効果】
以上詳述したように本発明によれば、経年変化や認証時の入力情報のばらつきに対して本人の誤排除率を低下させることができる人物認識装置、人物認識方法および通行制御装置を提供できる。
【0096】
また、本発明によれば、認識対象者の負担を増やすことなく効果的な登録情報(辞書)の学習を行なうことができる人物認識装置、人物認識方法および通行制御装置を提供できる。
【図面の簡単な説明】
【図1】第1の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。
【図2】顔検出部の処理を説明するための図。
【図3】特徴量抽出部の処理を説明するための図。
【図4】登録時との状態変化を説明するための図。
【図5】自動的に登録情報の更新を行なう範囲を説明するための図。
【図6】自動的に登録情報の更新を行なう処理の流れを説明するフローチャート。
【図7】第2の実施の形態に係る人物認識装置における登録情報更新方法の判断基準を説明するための図。
【図8】第3の実施の形態に係る人物認識装置における登録情報更新の判定方法を説明するための図。
【図9】第3の実施の形態に係る人物認識装置において他人が本人よりも高い類似度になった場合の説明図。
【図10】第4の実施の形態に係る人物認識装置における登録情報更新処理の流れを説明するフローチャート。
【図11】第5の実施の形態に係る人物認識装置における登録情報更新の判定方法を説明するための図。
【図12】第5の実施の形態に係る人物認識装置における登録情報の目視確認更新方法を説明するための図。
【図13】第6の実施の形態に係る人物認識装置における登録情報更新処理の流れを説明するフローチャート。
【図14】第6の実施の形態に係る人物認識装置における登録情報更新の判定条件を説明するための図。
【図15】第7の実施の形態に係る通行制御装置の構成を概略的に示すブロック図。
【符号の説明】
100…認識対象者(人物、通行者)、101…カメラ(画像入力手段)、102…表示部、103…入力部(識別情報入力手段)、104…処理部、105…画像入力部(画像入力手段)、106…顔検出部(顔検出手段)、107…特徴量抽出部(特徴量抽出手段)、108…登録情報保持部(登録情報保持手段)、109…認識部(認識手段)、110…履歴情報記憶部(履歴情報記憶手段)、111…登録情報更新部(登録情報更新手段)、112…表示制御部、113…入力制御部(識別情報入力手段)、114…ドア制御部(通行制御手段)、201…重要施設、202…入退室用ドア。
【特許請求の範囲】
【請求項1】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項2】
前記登録情報更新手段は、登録情報を更新する際に対応する類似度の値に応じて登録情報を更新する比率を変更することを特徴とする請求項1記載の人物認識装置。
【請求項3】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる複数の人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段において求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項4】
前記複数の類似度の差は、最も高い類似度とその次に高い類似度との差であることを特徴とする請求項3記載の人物認識装置。
【請求項5】
前記複数の類似度の差は、あらかじめ認識対象となる人物の識別情報が入力されている場合には、その識別情報に対応する登録情報に対する類似度と、それ以外の登録情報に対する類似度の中で最も高い類似度との差であることを特徴とする請求項3記載の人物認識装置。
【請求項6】
前記複数の類似度の差は、あらかじめ認識対象となる人物の識別情報が入力されている場合には、その識別情報に対応する登録情報に対する類似度と、それ以外の登録情報に対する類似度の中の一部または全ての類似度によって求められる評価値との差であることを特徴とする請求項3記載の人物認識装置。
【請求項7】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
この生体情報取得手段により取得された生体情報を履歴情報として記憶しておく履歴情報記憶手段と、
あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段による認識終了後、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とに基づき仮の登録情報を作成する仮登録情報作成手段と、
この仮登録情報作成手段により作成された仮の登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求めるとともに、前記登録情報保持手段に保持されている登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求め、登録情報保持手段の登録情報よりも仮の登録情報の方が高い類似度を与える場合、前記登録情報保持手段に保持されている対応する登録情報を前記仮の登録情報に置き換える登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項8】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段における認識時に得られる類似度に対して登録情報の更新を行なう範囲、登録情報の更新を行なわない範囲、登録情報の更新を行なうか否かを後で確認する範囲それぞれをあらかじめ設定しておき、当該類似度が登録情報の更新を行なう範囲である場合には、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新し、当該類似度が登録情報の更新を行なわない範囲である場合には登録情報の更新は行なわず、当該類似度が登録情報の更新を行なうか否かを後で確認する範囲である場合には、前記生体情報取得手段により取得された対応する生体情報を履歴情報として保存する第1の登録情報更新手段と、
この第1の登録情報更新手段により保存された生体情報を確認した後、当該生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する第2の登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項9】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう動作を最終的な認識結果が得られるまで繰り返し行なう認識手段と、
この認識手段において最終的な認識結果が得られるまでの時間または認識動作の回数があらかじめ定められた更新閾値以上になったか否かを判定し、更新閾値以上になったとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項10】
前記登録情報保持手段は、あらかじめ認識対象となる人物の生体情報を登録情報として当該人物を特定する識別情報を付加して保持しているとともに、
認識対象となる人物を特定する識別情報を入力する識別情報入力手段をさらに具備し、
前記認識手段は、
あらかじめ前記識別情報入力手段により識別情報が入力されている場合には、前記登録情報保持手段に保持されている当該識別情報に対応する登録情報との類似度を求め、この求めた類似度があらかじめ定められた閾値よりも高い場合に当該識別情報に対応する人物であると認識し、
あらかじめ前記識別情報入力手段により識別情報が入力されていない場合には、前記登録情報保持手段に保持されている全ての登録情報との類似度をそれぞれ求め、この求めた各類似度のうち最高となる類似度があらかじめ定められた閾値よりも高い場合に当該識別情報に対応する人物であると認識し、
あらかじめ前記識別情報入力手段により一部絞り込みを行なうことが可能である識別情報が入力されている場合には、前記登録情報保持手段に保持されている当該識別情報に対応する登録情報との類似度をそれぞれ求め、この求めた各類似度のうち最高となる類似度があらかじめ定められた閾値よりも高い場合に当該識別情報に対応する人物であると認識することを特徴とする請求項1,3,7,8,9のうちいずれか1つに記載の人物認識装置。
【請求項11】
前記人物の生体情報は、顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報のうち少なくともいずれか1つであることを特徴とする請求項1,3,7,8,9のうちいずれか1つに記載の人物認識装置。
【請求項12】
認識対象となる人物の生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識ステップと、
この認識ステップにおいて求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得ステップにより取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新ステップと、
を具備したことを特徴とする人物認識方法。
【請求項13】
認識対象となる人物の生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる複数の人物の生体情報を登録情報として保持する登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記人物の認識を行なう認識ステップと、
この認識ステップにおいて求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得ステップにより取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新ステップと、
を具備したことを特徴とする人物認識方法。
【請求項14】
認識対象となる人物の生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報を履歴情報として履歴情報記憶手段に記憶しておく履歴情報記憶ステップと、
前記生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識ステップと、
この認識ステップによる認識終了後、前記生体情報取得ステップにより取得された生体情報と前記登録情報保持手段に保持されている登録情報とに基づき仮の登録情報を作成する仮登録情報作成ステップと、
この仮登録情報作成ステップにより作成された仮の登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求めるとともに、前記登録情報保持手段に保持されている登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求め、登録情報保持手段の登録情報よりも仮の登録情報の方が高い類似度を与える場合、前記登録情報保持手段に保持されている対応する登録情報を前記仮の登録情報に置き換える登録情報更新ステップと、
を具備したことを特徴とする人物認識方法。
【請求項15】
認識対象となる人物の生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう動作を最終的な認識結果が得られるまで繰り返し行なう認識ステップと、
この認識ステップにおいて最終的な認識結果が得られるまでの時間または認識動作の回数があらかじめ定められた更新閾値以上になったか否かを判定し、更新閾値以上になったとき、前記生体情報取得ステップにより取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新ステップと、
を具備したことを特徴とする人物認識方法。
【請求項16】
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる通行者の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記通行者の認識を行なう認識手段と、
この認識手段において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
【請求項17】
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる複数の通行者の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記通行者の認識を行なう認識手段と、
この認識手段において求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
【請求項18】
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の生体情報を取得する生体情報取得手段と、
この生体情報取得手段により取得された生体情報を履歴情報として記憶しておく履歴情報記憶手段と、
あらかじめ認識対象となる通行者の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記通行者の認識を行なう認識手段と、
この認識手段による認識終了後、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とに基づき仮の登録情報を作成する仮登録情報作成手段と、
この仮登録情報作成手段により作成された仮の登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求めるとともに、前記登録情報保持手段に保持されている登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求め、登録情報保持手段の登録情報よりも仮の登録情報の方が高い類似度を与える場合、前記登録情報保持手段に保持されている対応する登録情報を前記仮の登録情報に置き換える登録情報更新手段と、
前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
【請求項19】
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる通行者の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記通行者の認識を行なう動作を最終的な認識結果が得られるまで繰り返し行なう認識手段と、
この認識手段において最終的な認識結果が得られるまでの時間または認識動作の回数があらかじめ定められた更新閾値以上になったか否かを判定し、更新閾値以上になったとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
【請求項1】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項2】
前記登録情報更新手段は、登録情報を更新する際に対応する類似度の値に応じて登録情報を更新する比率を変更することを特徴とする請求項1記載の人物認識装置。
【請求項3】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる複数の人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段において求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項4】
前記複数の類似度の差は、最も高い類似度とその次に高い類似度との差であることを特徴とする請求項3記載の人物認識装置。
【請求項5】
前記複数の類似度の差は、あらかじめ認識対象となる人物の識別情報が入力されている場合には、その識別情報に対応する登録情報に対する類似度と、それ以外の登録情報に対する類似度の中で最も高い類似度との差であることを特徴とする請求項3記載の人物認識装置。
【請求項6】
前記複数の類似度の差は、あらかじめ認識対象となる人物の識別情報が入力されている場合には、その識別情報に対応する登録情報に対する類似度と、それ以外の登録情報に対する類似度の中の一部または全ての類似度によって求められる評価値との差であることを特徴とする請求項3記載の人物認識装置。
【請求項7】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
この生体情報取得手段により取得された生体情報を履歴情報として記憶しておく履歴情報記憶手段と、
あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段による認識終了後、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とに基づき仮の登録情報を作成する仮登録情報作成手段と、
この仮登録情報作成手段により作成された仮の登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求めるとともに、前記登録情報保持手段に保持されている登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求め、登録情報保持手段の登録情報よりも仮の登録情報の方が高い類似度を与える場合、前記登録情報保持手段に保持されている対応する登録情報を前記仮の登録情報に置き換える登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項8】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識手段と、
この認識手段における認識時に得られる類似度に対して登録情報の更新を行なう範囲、登録情報の更新を行なわない範囲、登録情報の更新を行なうか否かを後で確認する範囲それぞれをあらかじめ設定しておき、当該類似度が登録情報の更新を行なう範囲である場合には、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新し、当該類似度が登録情報の更新を行なわない範囲である場合には登録情報の更新は行なわず、当該類似度が登録情報の更新を行なうか否かを後で確認する範囲である場合には、前記生体情報取得手段により取得された対応する生体情報を履歴情報として保存する第1の登録情報更新手段と、
この第1の登録情報更新手段により保存された生体情報を確認した後、当該生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する第2の登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項9】
認識対象となる人物の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう動作を最終的な認識結果が得られるまで繰り返し行なう認識手段と、
この認識手段において最終的な認識結果が得られるまでの時間または認識動作の回数があらかじめ定められた更新閾値以上になったか否かを判定し、更新閾値以上になったとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
を具備したことを特徴とする人物認識装置。
【請求項10】
前記登録情報保持手段は、あらかじめ認識対象となる人物の生体情報を登録情報として当該人物を特定する識別情報を付加して保持しているとともに、
認識対象となる人物を特定する識別情報を入力する識別情報入力手段をさらに具備し、
前記認識手段は、
あらかじめ前記識別情報入力手段により識別情報が入力されている場合には、前記登録情報保持手段に保持されている当該識別情報に対応する登録情報との類似度を求め、この求めた類似度があらかじめ定められた閾値よりも高い場合に当該識別情報に対応する人物であると認識し、
あらかじめ前記識別情報入力手段により識別情報が入力されていない場合には、前記登録情報保持手段に保持されている全ての登録情報との類似度をそれぞれ求め、この求めた各類似度のうち最高となる類似度があらかじめ定められた閾値よりも高い場合に当該識別情報に対応する人物であると認識し、
あらかじめ前記識別情報入力手段により一部絞り込みを行なうことが可能である識別情報が入力されている場合には、前記登録情報保持手段に保持されている当該識別情報に対応する登録情報との類似度をそれぞれ求め、この求めた各類似度のうち最高となる類似度があらかじめ定められた閾値よりも高い場合に当該識別情報に対応する人物であると認識することを特徴とする請求項1,3,7,8,9のうちいずれか1つに記載の人物認識装置。
【請求項11】
前記人物の生体情報は、顔画像、指紋画像、虹彩情報、掌形画像、指画像、音声情報のうち少なくともいずれか1つであることを特徴とする請求項1,3,7,8,9のうちいずれか1つに記載の人物認識装置。
【請求項12】
認識対象となる人物の生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識ステップと、
この認識ステップにおいて求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得ステップにより取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新ステップと、
を具備したことを特徴とする人物認識方法。
【請求項13】
認識対象となる人物の生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる複数の人物の生体情報を登録情報として保持する登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記人物の認識を行なう認識ステップと、
この認識ステップにおいて求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得ステップにより取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新ステップと、
を具備したことを特徴とする人物認識方法。
【請求項14】
認識対象となる人物の生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報を履歴情報として履歴情報記憶手段に記憶しておく履歴情報記憶ステップと、
前記生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう認識ステップと、
この認識ステップによる認識終了後、前記生体情報取得ステップにより取得された生体情報と前記登録情報保持手段に保持されている登録情報とに基づき仮の登録情報を作成する仮登録情報作成ステップと、
この仮登録情報作成ステップにより作成された仮の登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求めるとともに、前記登録情報保持手段に保持されている登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求め、登録情報保持手段の登録情報よりも仮の登録情報の方が高い類似度を与える場合、前記登録情報保持手段に保持されている対応する登録情報を前記仮の登録情報に置き換える登録情報更新ステップと、
を具備したことを特徴とする人物認識方法。
【請求項15】
認識対象となる人物の生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報と、あらかじめ認識対象となる人物の生体情報を登録情報として保持する登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記人物の認識を行なう動作を最終的な認識結果が得られるまで繰り返し行なう認識ステップと、
この認識ステップにおいて最終的な認識結果が得られるまでの時間または認識動作の回数があらかじめ定められた更新閾値以上になったか否かを判定し、更新閾値以上になったとき、前記生体情報取得ステップにより取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新ステップと、
を具備したことを特徴とする人物認識方法。
【請求項16】
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる通行者の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記通行者の認識を行なう認識手段と、
この認識手段において求められた類似度があらかじめ定められた所定の更新範囲内にあるか否かを判定し、当該類似度が所定の更新範囲内にあるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
【請求項17】
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる複数の通行者の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている複数の登録情報とをそれぞれ照合することにより複数の類似度を求め、この求めた複数の類似度に基づき前記通行者の認識を行なう認識手段と、
この認識手段において求められた複数の類似度の中で複数の類似度の差があらかじめ定められた所定の閾値以上であるか否かを判定し、当該複数の類似度の差が所定の閾値以上であるとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
【請求項18】
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の生体情報を取得する生体情報取得手段と、
この生体情報取得手段により取得された生体情報を履歴情報として記憶しておく履歴情報記憶手段と、
あらかじめ認識対象となる通行者の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記通行者の認識を行なう認識手段と、
この認識手段による認識終了後、前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とに基づき仮の登録情報を作成する仮登録情報作成手段と、
この仮登録情報作成手段により作成された仮の登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求めるとともに、前記登録情報保持手段に保持されている登録情報と前記履歴情報記憶手段に記憶されている過去に取得された生体情報との類似度を求め、登録情報保持手段の登録情報よりも仮の登録情報の方が高い類似度を与える場合、前記登録情報保持手段に保持されている対応する登録情報を前記仮の登録情報に置き換える登録情報更新手段と、
前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
【請求項19】
通行者を認識して前記通行者の通行を制御する通行制御装置において、
前記通行者の生体情報を取得する生体情報取得手段と、
あらかじめ認識対象となる通行者の生体情報を登録情報として保持する登録情報保持手段と、
前記生体情報取得手段により取得された生体情報と前記登録情報保持手段に保持されている登録情報とを照合することにより両者の類似度を求め、この求めた類似度に基づき前記通行者の認識を行なう動作を最終的な認識結果が得られるまで繰り返し行なう認識手段と、
この認識手段において最終的な認識結果が得られるまでの時間または認識動作の回数があらかじめ定められた更新閾値以上になったか否かを判定し、更新閾値以上になったとき、前記生体情報取得手段により取得された生体情報に基づき前記登録情報保持手段に保持されている登録情報を更新する登録情報更新手段と、
前記認識手段の認識結果に応じて前記通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2004−157602(P2004−157602A)
【公開日】平成16年6月3日(2004.6.3)
【国際特許分類】
【出願番号】特願2002−320156(P2002−320156)
【出願日】平成14年11月1日(2002.11.1)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成16年6月3日(2004.6.3)
【国際特許分類】
【出願日】平成14年11月1日(2002.11.1)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]