認証処理装置および認証処理方法
【課題】カメラで撮影される画像だけを用いて、誤認識の可能性を減らすこと。
【解決手段】カメラから入力される画像から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報をデータベース２０３から検出する顔照合処理を実行する顔照合モジュール２０３と、カメラから入力される画像から人物の手の形状を検出する手形状検出モジュール２０４と、手形状推移データベース２０５から手形状検出モジュール２０４が検出する顔特徴情報に対応し、手形状の変化の推移を示す手形状推移パターン情報を取得し、取得した手形状推移パターン情報が、手形状検出モジュールが検出する手形状の推移を表しているか否かを判別する手形状推移照合処理を実行する認証処理モジュール２０６とを具備する。
【解決手段】カメラから入力される画像から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報をデータベース２０３から検出する顔照合処理を実行する顔照合モジュール２０３と、カメラから入力される画像から人物の手の形状を検出する手形状検出モジュール２０４と、手形状推移データベース２０５から手形状検出モジュール２０４が検出する顔特徴情報に対応し、手形状の変化の推移を示す手形状推移パターン情報を取得し、取得した手形状推移パターン情報が、手形状検出モジュールが検出する手形状の推移を表しているか否かを判別する手形状推移照合処理を実行する認証処理モジュール２０６とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって撮影される顔と手の形状を用いて認証処理を行う認証処理装置および認証処理方法に関する。
【背景技術】
【０００２】
カメラによって撮影された顔の画像を用いた顔照合により認証処理を行う技術が開発されている。従来の顔照合技術は、類似度を算出して閾値により判別しているものが多い。よって、似ている顔の人同士の認証などを行うと類似度が閾値を超えてしまい、他人を本人として誤検出する可能性がある。
【０００３】
特許文献１には、顔照合用の辞書内に類似する顔パターンが存在する場合であっても、入力装置から入力された識別情報に応じて認証処理を行うことが開示されている。
【特許文献１】特開２００８−７１３６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示する技術では、カメラの外に入力装置が必要となる。現在、装置の製造コストを下げるために部品の数を減らすことが望まれている。
【０００５】
本発明の目的は、カメラで撮影される画像だけを用いて、誤認識の可能性を減らすことが可能な認証処理装置および認証処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一例に係わる認証処理装置は、カメラと、特定の人物を示す人物特定情報に関連づけられ、当該人物の顔の特徴を示す顔特徴情報が格納されている第１記憶装置と、前記カメラから入力される画像から人物の顔領域を抽出し、抽出された顔領域から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出する顔照合処理を実行する顔照合手段と、前記第１記憶装置に格納されている顔特徴情報に関連づけられている人物特定情報に関連づけられ、手形状の変化の推移を示す手形状推移パターン情報が格納されている第２記憶装置と、前記カメラから入力される画像から人物の手領域を抽出し、抽出された手領域から手の形状を検出する手形状検出手段と、前記顔照合手段が検出した顔特徴情報に関連づけられている人物特定情報に関連づけられている手形状推移パターン情報が示す情報が、前記手形状検出手段が検出する手形状の推移を表している場合に前記カメラが撮影する人物の認証処理が成功したと判断し、前記顔照合手段が検出した顔特徴情報に関連づけられている人物特定情報に関連づけられている手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していない場合に前記カメラが撮影する人物の認証処理が失敗したと判断する認証処理手段とを具備することを特徴とする。
【発明の効果】
【０００７】
本願発明によれば、カメラで撮影される画像だけを用いて、誤認識の可能性を減らすことが可能になる。
【発明を実施するための最良の形態】
【０００８】
本発明の実施の形態を以下に図面を参照して説明する。
【０００９】
まず、図１を参照して、本発明の一実施形態に係る認証処理装置の構成について説明する。この認証処理装置は、バッテリ駆動可能な携帯型のノートブック型パーソナルコンピュータ１０として実現されている。
【００１０】
図１は、本発明の一実施形態に係わる認証処理装置のシステム構成を示すブロック図である。
本コンピュータ１０は、図１に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、およびエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６等を備えている。
【００１１】
ＣＰＵ１０１は本ホスト１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）１０３Ａ、および認証アプリケーションプログラム１０３Ｂのような各種アプリケーションプログラムを実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。
【００１２】
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００１３】
ＧＰＵ１０５は、本ホスト１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。
【００１４】
サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。また、サウスブリッジ１０４は、ＵＳＢデバイスとの通信制御を行うＵＳＢコントローラを内蔵している。ＵＳＢデバイスとしてカメラ１１０がサウスブリッジ１０４内のＵＳＢコントローラに接続されている。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００１５】
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本ホスト１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。
【００１６】
図２を参照して認証アプリケーションプログラム１０３Ｂの構成を説明する。図２は、認証アプリケーションプログラム１０３Ｂの構成を示すブロック図である。
認証アプリケーションプログラム１０３Ｂは、映像取得モジュール２０１、顔照合処理用データベース２０２、顔照合モジュール２０３、手形状検出モジュール２０４、手形状推移データベース２０５および認証処理モジュール２０６等を備えている。
映像取得モジュール２０１は、カメラ１１０によって撮影された映像データを取得し、顔照合モジュール２０３、および手形状検出モジュール２０４に映像データを供給する。
【００１７】
顔照合処理用データベース２０２には、例えばカメラ１１０で撮影された映像データに含まれる顔の特徴情報が複数格納されている。顔の特徴情報に対して人物を特定するための情報（ＩＤ番号）が関連づけられている。顔照合処理用データベース２０２は、第１記憶装置としてのハードディスクドライブ１１１内に格納されている。
【００１８】
顔照合モジュール２０３は、入力される映像データ中に表示される顔画像と顔照合処理用データベース２０２に格納されている顔特徴情報に基づいて認証処理を行い、認証結果を認証処理モジュール２０６に出力する。顔照合モジュール２０３は、認証に成功した場合、認証結果に成功した旨を通知すると共に、認証に成功した人物に関連づけられているＩＤ番号を認証処理モジュール２０６に出力する。また、顔照合モジュール２０３は、認証に失敗した場合、認証に失敗した旨を認証処理モジュール２０６に通知する。
【００１９】
手形状検出モジュール２０４は、入力される映像データ中に表示される手の形状を検出し、検出した手形状の情報を認証処理モジュール２０６に出力する。
【００２０】
手形状推移データベース２０５には、顔照合処理用データベース２０２に格納されているＩＤ番号と同じＩＤ番号が関連づけられている手形状推移データを複数有する。手形状推移データには、人物を識別するための情報として、手形状の変化の推移、５本の指を折り曲げて握ったフィスト（FIST）、フィストから親指を立てたサムアップ（THUMB UP）、および５本の指を広げたパーム（PALM）を組み合わせた複数の手形状の変化のパターンを示す手形状推移パターンが登録されている。この手形状推移パターンは、ＩＤ番号毎に全て異なることが好ましい。しかし、顔照合モジュール２０３が照合を間違いやすい複数の人物のＩＤ番号に対する手形状推移データが異なっていれば最低限良い。手形状推移データベース２０５は、第２記憶装置としてのハードディスクドライブ１１１内に格納されている。
【００２１】
認証処理モジュール２０６は、顔照合モジュール２０３から照合結果に成功した旨とＩＤ番号が入力された場合、ＩＤ番号に関連づけられている手形状推移データを手形状推移データベース２０５から読み出す。ユーザにユーザ自身の手形状を変化させるためのメッセージをＬＣＤ１７に表示する処理を実行する。認証処理モジュール２０６は、手形状検出モジュール２０４に手形状の検出の開始を指示する。認証処理モジュール２０６は、手形状検出モジュール２０４から入力される手形状の情報と読み出した手形状推移データとを比較し、入力される手形状の情報の推移が手形状推移データに登録されている手形状の変化の推移を示す手形状推移パターンに一致するか否かを判別する手形状推移照合処理を実行する。手形状推移照合処理において一致すると判断した場合、認証処理モジュール２０６は認証処理が成功したと判断する。また、手形状推移照合処理において一致しないと判断した場合、認証処理モジュール２０６は認証処理が失敗したと判断する。
【００２２】
次に、顔照合モジュール２０３の照合方法について説明する。
先ず、図３を参照して顔照合処理の流れを説明する。先ず、画像を入力し、画像パターン位置合わせ処理を行う。顔パターン位置合わせ処理では、目の位置などの顔特徴点を基準にして、入力画像から顔の向き、大きさを一定にあわせて顔パターンを求める。次に、顔パターン特徴抽出処理を実行する。顔パターン特徴抽出処理では位置合わせされた顔パターンから、顔向き、表情、照明などの変動の影響を受けがたく、識別に有効な特徴を抽出する。次に顔パターン識別処理を実行する。顔パターン識別処理では、抽出された識別特徴と事前に学習された各人物の識別特徴との統計的な距離を算出し、これを類似度とする。そして、類似度と閾値を比べて、認証結果を出力する。
【００２３】
次に、実際の顔照合処理の手順について図４のフローチャートを参照して説明する。
認証が開始されカメラから画像が入力されると（ステップＳ１１）、画像中の顔部品位置を検出する。あらかじめ多様な顔パターンから、顔領域を表現するテンプレートを部分空間法により作成しておき、そのテンプレートと画像をマッチングさせ類似度を求める。画像全体に対して処理を行い、類似度がしきい値を超えた部分を顔領域と判定する。
【００２４】
次に、得られた顔領域から瞳と鼻孔の特徴点を抽出し、顔の位置を正確に求める（ステップＳ１２）。この特徴点抽出では、円形分離度フィルタによる候補点検出と、パターン照合による検証が行われる。円形分離度フィルタは図５に示すような領域１と領域２の輝度値が、統計的にどの程度分離されているかを求める。この分離度フィルタを顔領域に適用し、分離度の局所最大値を抽出することで、顔特徴点候補を得る。さらに、これらの候補点と、顔照合処理用データベース２０２に格納されている目と鼻の辞書とを部分空間法閻でパターン照合を行い、最終的な瞳と鼻孔の位置を決定する（図１３）。
【００２５】
この顔特徴点に基づいて、二次元アフィン変換により、顔の向きや大きさを一定に正規化した顔パターンを切り出す（ステップＳ１４）。
【００２６】
次に、顔検出処理で得られた顔パターンを用いて個人識別を行う方法について説明する。
本認識法における最大の特徴は、動画像から複数の顔パターンを時系列的に取り出して認識を行う。入力に複数顔パターンを用いることにより、分布同士の類似度を比較することができる。そのため、顔の向きや表情の変化による時間的な変動を吸収し、安定した認識を行うことが可能となる。
【００２７】
以上のように、入力データの分布を計算する必要があるため、抽出された顔パターンの枚数があらかじめ決められた枚数に達するまで顔領域検出を繰り返す（ステップＳ１５）。複数の顔パターンが集まり、入力データの分布が得られると、制約相互部分空間法と呼ばれる識別方式により、個人識別を行い（ステップＳ１６）、識別結果を出力する（ステップＳ１７）。
【００２８】
複数の顔パターンの分布は、各個人ごとに部分空間で表現する。部分空間を用いて個人識別を行うためには、２つの部分空間の類似度を計算し、もっとも高い類似度となった組み合わせを調べればよい。図５に制約相互部分空間法の概念図を示す。カメラから入力された複数顔パターンをもとに作成した入力部分空間Ｐと、あらかじめ顔照合処理用データベース２０２に登録されている辞書部分空間Ｑがあるとする。この場合、２つの部分空間のなす正準角θを、２つの部分空間の類似度として定義する。Ｎ次元の部分空間に対してはＮ個の正準角が定義され、２つの部分空間が完全に一致している場合は、全ての正準角が０度となる。この正準角を用いたパターン認識法を相互部分空間法（ＭＳＭ）と呼ぶ。顔パターンは撮影時の照明条件によって変化する。そのため、入力と辞書で照明条件が一致していない場合、正準角を求めても、照明条件による差が大きく影響してしまい、個人の特徴が正しく反映されない可能性がある。そこで、正準角θを求める際に、部分空間が照明変動成分を含まないという制約条件を付加する。この制約条件が付加された相互部分空間法を、制約相互部分空間法（ＣＭＳＭ）と呼ぶ。図６に制約相互部分空間法の概念を示す。２つの部分空問Ｐ，Ｑを、図６に示すように、制約部分空間と名付けた部分空間へいったん射影し、得られた部分空間Ｐｃ，Ｑσのなす角度θｃを類似度とする。制約部分空間は、異なる照明環境で撮影された複数の顔パターンの差分をもとに計算する。たとえば、同一人物が照明環境のみを変えて撮影したデータの差分には、照明変動成分のみが残されると考えられる。この照明変動成分に直交する空間を制約部分空間とする。詳しい生成法については、「福井和宏、外３名、制約相互部分空間法を用いた環境変動にロバストな顔画像認識−照明変動を抑える制約部分空間の学習−、電子情報通信学会論文誌（Ｄ−II）、Vol.J82-DII、No.4，pp.613-620,1999」、「小坂谷達夫、外２名、制約相互部分空間法を用いた顔認識システムの開発と評価、情報処理学会論文誌、Vol.45、No3、pp.951-959、２００３」、および「福井和宏、外１名、一般化差分部分空間に基づく制約相互部分空間法、信学論（D-II）、Vol.J87-D-II、No.8、pp.1622-1631、2004」を参照。さらに高性能な認識を行うために、制約部分空間を複数用意し、より多様な変動に対する認識を可能にした多重制約相互部分空間法がある。
【００２９】
次に、手形状検出モジュール２０４による手形状に検出処理について説明する。
・画像から手の認識
手形状検出モジュール２０４は、画像データからユーザの手を検出し、その形状および位置を求める。手の検出では、カメラ画像全体を検出ウィンドウで走査し、検出ウィンドウ内の画像に対してそれが手であるかどうかを識別する。画像上の手のサイズはユーザの個人差およびカメラからの距離で変わるため、様々なサイズの検出ウィンドウを用い、画像上の手のサイズによらず検出を可能にしている。
【００３０】
・手の識別処理
手の識別処理では、手だけではなく背景にある物体も含まれる検出ウィンドウ内の画像について、その輝度値パターンを用いて検出対象の手かどうかを識別する。本モジュールは、ユーザの個人差による手形状の違いに加え、部屋の明るさや背景にある物体の違いなどによって、同じ手形状であっても検出ウィンドウ内の輝度値パターンは様々である。
【００３１】
そこで、本モジュールでは、手形状毎に対応する識別器を用いて検出ウィンドウ内の画像を分析することで手の識別処理を行う。識別器は、多数の特徴から構成され、各特徴は正と負の２種類の矩形領域を持つ。識別処理では、これら２種類の矩形領域内の平均輝度値を算出した上で、その差が特徴毎に定義された閾値を超えているかどうかによって類似度を算出する。これら類似度の送話が識別基準値を超えていれば検出対象の手と判断する。
【００３２】
なお、識別器を構成する際、様々な環境で撮影した年齢や、性別、人種が異なるサンプル画像を用いて識別に有効な特徴を選択することでユーザの個人差や認識環境によらず安定した識別処理を実現する。
【００３３】
・手の追跡処理
追跡対象の手を検出した際、その位置および大きさを記憶すると共に、領域内の画像をテンプレート画像として保存する。
【００３４】
次の時刻の画像では、初めに直前の検出領域を基準として手の探索範囲を決定し、探索範囲内からテンプレート画像に類似した画像を探索することによって手のだいたいの位置を推定する。具体的には、探索範囲内に対してテンプレート画像とどうサイズのウィンドウを走査し、ウィンドウ内の画像とテンプレート画像の輝度パターンの違いが最小になる位置を求める処理（テンプレートマッチング）により、手の位置を推定する。
【００３５】
更に、手の推定位置周辺に限定して識別処理を行うことで最終的な手領域を求めると共に、得られた領域内の画像でテンプレート画像を更新する。テンプレートマッチングでは、手の角度変化や認識環境などの影響によって検出位置にずれが生じるため、手の推定位置を中心に識別処理対象範囲を設定し、範囲内で検出ウィンドウ内の位置を変化させながら“手の識別処理”で述べた手の識別処理を行う。そして、手形状検出モジュール２０４は、検出した手形状を認証処理モジュール２０６に出力する。
次に、認証アプリケーションプログラムが実行する処理の手順を図７のフローチャートを参照して説明する。
先ず、映像取得モジュール２０１は、カメラ１１０から映像データを取得する（ステップＳ２１）。映像取得モジュール２０１は、取得した映像データを顔照合モジュール２０３および手形状検出モジュール２０４に渡す。
【００３６】
顔照合モジュール２０３は、入力された映像中の人物の顔と顔照合処理用データベース２０２中の顔特徴情報とを照合し、類似度がしきい値以上、且つ類似度が最も高い顔特徴情報を検出する顔照合処理を実行する。顔照合モジュール２０３は、顔照合処理の結果を認証処理モジュール２０６に通知する。
【００３７】
通知を受けた認証処理モジュール２０６は、顔特徴情報が検出されたか否かを判別する（ステップＳ２３）。検出されなかったと判断した場合（ステップＳ２３のＮｏ）、認証処理モジュール２０６は、顔照合に失敗した数のカウントアップを行う（ステップＳ４１）。そして、カウントした回数が設定回数を超えているか否かを判別する（ステップＳ４２）。設定回数を超えている場合（ステップＳ４２のＹｅｓ）、認証処理モジュール２０６は、認証処理が失敗したと判断する（ステップＳ４３）。設定回数を超えていない場合、認証処理モジュール２０６は再度顔照合モジュール２０３に照合処理を実行させる。
【００３８】
ステップＳ２３において、検出されたと判断した場合（ステップＳ２３のＹｅｓ）、取得手段としての認証処理モジュール２０６は、通知に含まれるＩＤ番号に関連づけられている手形状推移データを手形状推移データベース２０５から読み出す（ステップＳ２４）。認証処理モジュール２０６は、手形状検出モジュール２０４に手形状を検出する処理の開始を指示する（ステップＳ２５）。そして、認証処理モジュール２０６は、手形状推移パターンの照合を行うために、手形状推移パターンの最初の手形状にユーザ自身の手を変化させるように指示するためのメッセージをＬＣＤ１７に表示する（ステップＳ２６）。
【００３９】
手形状検出モジュール２０４は、ユーザの手形状が変化したら、検出した手形状を示す情報を認証処理モジュール２０６に出力する（ステップＳ２７）。認証処理モジュール２０６は、手形状検出モジュール２０４が出力する手形状の情報が手形状推移パターンに一致するか否かを判別する（ステップＳ２８）。一致すると判断した場合（ステップＳ２８のＹｅｓ）、手形状検出モジュール２０４が出力する手形状の情報の推移パターンが手形状推移データに登録されている手形状推移パターンに完全に合致したか否かを判別する（ステップＳ２９）。一致しないと判断した場合（ステップＳ２９のＮｏ）、認証処理モジュール２０６は、手形状推移パターンの次の手形状にユーザ自身の手を変化させるように指示するためのメッセージをＬＣＤ１７に表示する（ステップＳ３１）。一致しないと判断した場合（ステップＳ２９のＮｏ）、認証処理モジュール２０６は、認証処理が成功したと判断する（ステップＳ３０）。
【００４０】
ステップＳ２８において、一致しないと判断した場合（ステップＳ２８のＮｏ）、認証処理モジュール２０６は手形状推移照合処理の失敗した数のカウントアップを行う（ステップＳ５１）。そして、カウントした回数が設定回数を超えているか否かを判別する（ステップＳ５２）。設定回数を超えている場合（ステップＳ５２のＹｅｓ）、認証処理モジュール２０６は、認証処理が失敗したと判断する（ステップＳ５４）。設定回数を超えていないと判断した場合（ステップＳ５２のＮｏ）、認証処理モジュール２０６は、手形状推移パターンの最初の手形状にユーザ自身の手を変化させるように指示するためのメッセージをＬＣＤ１７に表示する（ステップＳ５４）。
【００４１】
以上の処理で、顔照合技術は、類似度を算出して閾値により判別しているものが多い。よって、似ている顔の人同士の認証などを行うと類似度が閾値を超えてしまい、他人を本人として誤検出する可能性がある。
【００４２】
本実施形態の認証処理の場合、もし似ている他人の顔を誤検出しても、手形状推移照合処理でパーソナルデータが一致しないと判断されるので、類似度が近い人同士を切り分け、よりセキュリティを高めた認証を簡単に行うことができる。
【００４３】
また、本装置では、入力装置はカメラのみで行うため、カメラ以外の特別な装置は不要であり、顔の照合と手形状の推移照合とを一つの入力装置（カメラ）によって行うことができ、ユーザがキーボード等から認証番号を入力する手間がない。
【００４４】
なお、上述した例では、認証処理を汎用の処理を行うノートブック型パーソナルコンピュータで実現していたために、コンピュータ１０が入力装置であるキーボード１３およびタッチパッド１６を備えていた。しかし、認証処理を専用の装置で行うのであれば、キーボード等の入力装置は不要である。
【００４５】
なお、本実施形態の認証処理はコンピュータプログラムによって実現されているので、このコンピュータプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータにインストールするだけで、本実施形態と同様の効果を容易に実現することができる。また、このコンピュータプログラムは、パーソナルコンピュータのみならず、プロセッサを内蔵した電子機器上で実行することができる。
【００４６】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態に係わる認証処理装置の構成を示すブロック図。
【図２】本発明の一実施形態に係わる認証アプリケーションプログラムの構成を示すブロック図。
【図３】本発明の一実施形態に係わる顔認識処理の流れの説明に用いる図。
【図４】本発明の一実施形態に係わる顔照合処理の手順を示すフローチャート。
【図５】本発明の一実施形態に係わる円形分離度フィルタを示す図。
【図６】本発明の一実施形態に係わる制約相互部分空間法の概念を示す図。
【図７】本発明の一実施形態に係わる照合処理の手順を示すフローチャート。
【符号の説明】
【００４８】
１０３Ｂ…認証アプリケーションプログラム，１１０…カメラ，２０１…映像取得モジュール，２０２…顔照合処理用データベース，２０３…顔照合モジュール，２０４…手形状検出モジュール，２０５…手形状推移データベース，２０６…認証処理モジュール。
【技術分野】
【０００１】
本発明は、カメラによって撮影される顔と手の形状を用いて認証処理を行う認証処理装置および認証処理方法に関する。
【背景技術】
【０００２】
カメラによって撮影された顔の画像を用いた顔照合により認証処理を行う技術が開発されている。従来の顔照合技術は、類似度を算出して閾値により判別しているものが多い。よって、似ている顔の人同士の認証などを行うと類似度が閾値を超えてしまい、他人を本人として誤検出する可能性がある。
【０００３】
特許文献１には、顔照合用の辞書内に類似する顔パターンが存在する場合であっても、入力装置から入力された識別情報に応じて認証処理を行うことが開示されている。
【特許文献１】特開２００８−７１３６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示する技術では、カメラの外に入力装置が必要となる。現在、装置の製造コストを下げるために部品の数を減らすことが望まれている。
【０００５】
本発明の目的は、カメラで撮影される画像だけを用いて、誤認識の可能性を減らすことが可能な認証処理装置および認証処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一例に係わる認証処理装置は、カメラと、特定の人物を示す人物特定情報に関連づけられ、当該人物の顔の特徴を示す顔特徴情報が格納されている第１記憶装置と、前記カメラから入力される画像から人物の顔領域を抽出し、抽出された顔領域から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出する顔照合処理を実行する顔照合手段と、前記第１記憶装置に格納されている顔特徴情報に関連づけられている人物特定情報に関連づけられ、手形状の変化の推移を示す手形状推移パターン情報が格納されている第２記憶装置と、前記カメラから入力される画像から人物の手領域を抽出し、抽出された手領域から手の形状を検出する手形状検出手段と、前記顔照合手段が検出した顔特徴情報に関連づけられている人物特定情報に関連づけられている手形状推移パターン情報が示す情報が、前記手形状検出手段が検出する手形状の推移を表している場合に前記カメラが撮影する人物の認証処理が成功したと判断し、前記顔照合手段が検出した顔特徴情報に関連づけられている人物特定情報に関連づけられている手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していない場合に前記カメラが撮影する人物の認証処理が失敗したと判断する認証処理手段とを具備することを特徴とする。
【発明の効果】
【０００７】
本願発明によれば、カメラで撮影される画像だけを用いて、誤認識の可能性を減らすことが可能になる。
【発明を実施するための最良の形態】
【０００８】
本発明の実施の形態を以下に図面を参照して説明する。
【０００９】
まず、図１を参照して、本発明の一実施形態に係る認証処理装置の構成について説明する。この認証処理装置は、バッテリ駆動可能な携帯型のノートブック型パーソナルコンピュータ１０として実現されている。
【００１０】
図１は、本発明の一実施形態に係わる認証処理装置のシステム構成を示すブロック図である。
本コンピュータ１０は、図１に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、およびエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６等を備えている。
【００１１】
ＣＰＵ１０１は本ホスト１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）１０３Ａ、および認証アプリケーションプログラム１０３Ｂのような各種アプリケーションプログラムを実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。
【００１２】
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００１３】
ＧＰＵ１０５は、本ホスト１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。
【００１４】
サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。また、サウスブリッジ１０４は、ＵＳＢデバイスとの通信制御を行うＵＳＢコントローラを内蔵している。ＵＳＢデバイスとしてカメラ１１０がサウスブリッジ１０４内のＵＳＢコントローラに接続されている。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００１５】
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本ホスト１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。
【００１６】
図２を参照して認証アプリケーションプログラム１０３Ｂの構成を説明する。図２は、認証アプリケーションプログラム１０３Ｂの構成を示すブロック図である。
認証アプリケーションプログラム１０３Ｂは、映像取得モジュール２０１、顔照合処理用データベース２０２、顔照合モジュール２０３、手形状検出モジュール２０４、手形状推移データベース２０５および認証処理モジュール２０６等を備えている。
映像取得モジュール２０１は、カメラ１１０によって撮影された映像データを取得し、顔照合モジュール２０３、および手形状検出モジュール２０４に映像データを供給する。
【００１７】
顔照合処理用データベース２０２には、例えばカメラ１１０で撮影された映像データに含まれる顔の特徴情報が複数格納されている。顔の特徴情報に対して人物を特定するための情報（ＩＤ番号）が関連づけられている。顔照合処理用データベース２０２は、第１記憶装置としてのハードディスクドライブ１１１内に格納されている。
【００１８】
顔照合モジュール２０３は、入力される映像データ中に表示される顔画像と顔照合処理用データベース２０２に格納されている顔特徴情報に基づいて認証処理を行い、認証結果を認証処理モジュール２０６に出力する。顔照合モジュール２０３は、認証に成功した場合、認証結果に成功した旨を通知すると共に、認証に成功した人物に関連づけられているＩＤ番号を認証処理モジュール２０６に出力する。また、顔照合モジュール２０３は、認証に失敗した場合、認証に失敗した旨を認証処理モジュール２０６に通知する。
【００１９】
手形状検出モジュール２０４は、入力される映像データ中に表示される手の形状を検出し、検出した手形状の情報を認証処理モジュール２０６に出力する。
【００２０】
手形状推移データベース２０５には、顔照合処理用データベース２０２に格納されているＩＤ番号と同じＩＤ番号が関連づけられている手形状推移データを複数有する。手形状推移データには、人物を識別するための情報として、手形状の変化の推移、５本の指を折り曲げて握ったフィスト（FIST）、フィストから親指を立てたサムアップ（THUMB UP）、および５本の指を広げたパーム（PALM）を組み合わせた複数の手形状の変化のパターンを示す手形状推移パターンが登録されている。この手形状推移パターンは、ＩＤ番号毎に全て異なることが好ましい。しかし、顔照合モジュール２０３が照合を間違いやすい複数の人物のＩＤ番号に対する手形状推移データが異なっていれば最低限良い。手形状推移データベース２０５は、第２記憶装置としてのハードディスクドライブ１１１内に格納されている。
【００２１】
認証処理モジュール２０６は、顔照合モジュール２０３から照合結果に成功した旨とＩＤ番号が入力された場合、ＩＤ番号に関連づけられている手形状推移データを手形状推移データベース２０５から読み出す。ユーザにユーザ自身の手形状を変化させるためのメッセージをＬＣＤ１７に表示する処理を実行する。認証処理モジュール２０６は、手形状検出モジュール２０４に手形状の検出の開始を指示する。認証処理モジュール２０６は、手形状検出モジュール２０４から入力される手形状の情報と読み出した手形状推移データとを比較し、入力される手形状の情報の推移が手形状推移データに登録されている手形状の変化の推移を示す手形状推移パターンに一致するか否かを判別する手形状推移照合処理を実行する。手形状推移照合処理において一致すると判断した場合、認証処理モジュール２０６は認証処理が成功したと判断する。また、手形状推移照合処理において一致しないと判断した場合、認証処理モジュール２０６は認証処理が失敗したと判断する。
【００２２】
次に、顔照合モジュール２０３の照合方法について説明する。
先ず、図３を参照して顔照合処理の流れを説明する。先ず、画像を入力し、画像パターン位置合わせ処理を行う。顔パターン位置合わせ処理では、目の位置などの顔特徴点を基準にして、入力画像から顔の向き、大きさを一定にあわせて顔パターンを求める。次に、顔パターン特徴抽出処理を実行する。顔パターン特徴抽出処理では位置合わせされた顔パターンから、顔向き、表情、照明などの変動の影響を受けがたく、識別に有効な特徴を抽出する。次に顔パターン識別処理を実行する。顔パターン識別処理では、抽出された識別特徴と事前に学習された各人物の識別特徴との統計的な距離を算出し、これを類似度とする。そして、類似度と閾値を比べて、認証結果を出力する。
【００２３】
次に、実際の顔照合処理の手順について図４のフローチャートを参照して説明する。
認証が開始されカメラから画像が入力されると（ステップＳ１１）、画像中の顔部品位置を検出する。あらかじめ多様な顔パターンから、顔領域を表現するテンプレートを部分空間法により作成しておき、そのテンプレートと画像をマッチングさせ類似度を求める。画像全体に対して処理を行い、類似度がしきい値を超えた部分を顔領域と判定する。
【００２４】
次に、得られた顔領域から瞳と鼻孔の特徴点を抽出し、顔の位置を正確に求める（ステップＳ１２）。この特徴点抽出では、円形分離度フィルタによる候補点検出と、パターン照合による検証が行われる。円形分離度フィルタは図５に示すような領域１と領域２の輝度値が、統計的にどの程度分離されているかを求める。この分離度フィルタを顔領域に適用し、分離度の局所最大値を抽出することで、顔特徴点候補を得る。さらに、これらの候補点と、顔照合処理用データベース２０２に格納されている目と鼻の辞書とを部分空間法閻でパターン照合を行い、最終的な瞳と鼻孔の位置を決定する（図１３）。
【００２５】
この顔特徴点に基づいて、二次元アフィン変換により、顔の向きや大きさを一定に正規化した顔パターンを切り出す（ステップＳ１４）。
【００２６】
次に、顔検出処理で得られた顔パターンを用いて個人識別を行う方法について説明する。
本認識法における最大の特徴は、動画像から複数の顔パターンを時系列的に取り出して認識を行う。入力に複数顔パターンを用いることにより、分布同士の類似度を比較することができる。そのため、顔の向きや表情の変化による時間的な変動を吸収し、安定した認識を行うことが可能となる。
【００２７】
以上のように、入力データの分布を計算する必要があるため、抽出された顔パターンの枚数があらかじめ決められた枚数に達するまで顔領域検出を繰り返す（ステップＳ１５）。複数の顔パターンが集まり、入力データの分布が得られると、制約相互部分空間法と呼ばれる識別方式により、個人識別を行い（ステップＳ１６）、識別結果を出力する（ステップＳ１７）。
【００２８】
複数の顔パターンの分布は、各個人ごとに部分空間で表現する。部分空間を用いて個人識別を行うためには、２つの部分空間の類似度を計算し、もっとも高い類似度となった組み合わせを調べればよい。図５に制約相互部分空間法の概念図を示す。カメラから入力された複数顔パターンをもとに作成した入力部分空間Ｐと、あらかじめ顔照合処理用データベース２０２に登録されている辞書部分空間Ｑがあるとする。この場合、２つの部分空間のなす正準角θを、２つの部分空間の類似度として定義する。Ｎ次元の部分空間に対してはＮ個の正準角が定義され、２つの部分空間が完全に一致している場合は、全ての正準角が０度となる。この正準角を用いたパターン認識法を相互部分空間法（ＭＳＭ）と呼ぶ。顔パターンは撮影時の照明条件によって変化する。そのため、入力と辞書で照明条件が一致していない場合、正準角を求めても、照明条件による差が大きく影響してしまい、個人の特徴が正しく反映されない可能性がある。そこで、正準角θを求める際に、部分空間が照明変動成分を含まないという制約条件を付加する。この制約条件が付加された相互部分空間法を、制約相互部分空間法（ＣＭＳＭ）と呼ぶ。図６に制約相互部分空間法の概念を示す。２つの部分空問Ｐ，Ｑを、図６に示すように、制約部分空間と名付けた部分空間へいったん射影し、得られた部分空間Ｐｃ，Ｑσのなす角度θｃを類似度とする。制約部分空間は、異なる照明環境で撮影された複数の顔パターンの差分をもとに計算する。たとえば、同一人物が照明環境のみを変えて撮影したデータの差分には、照明変動成分のみが残されると考えられる。この照明変動成分に直交する空間を制約部分空間とする。詳しい生成法については、「福井和宏、外３名、制約相互部分空間法を用いた環境変動にロバストな顔画像認識−照明変動を抑える制約部分空間の学習−、電子情報通信学会論文誌（Ｄ−II）、Vol.J82-DII、No.4，pp.613-620,1999」、「小坂谷達夫、外２名、制約相互部分空間法を用いた顔認識システムの開発と評価、情報処理学会論文誌、Vol.45、No3、pp.951-959、２００３」、および「福井和宏、外１名、一般化差分部分空間に基づく制約相互部分空間法、信学論（D-II）、Vol.J87-D-II、No.8、pp.1622-1631、2004」を参照。さらに高性能な認識を行うために、制約部分空間を複数用意し、より多様な変動に対する認識を可能にした多重制約相互部分空間法がある。
【００２９】
次に、手形状検出モジュール２０４による手形状に検出処理について説明する。
・画像から手の認識
手形状検出モジュール２０４は、画像データからユーザの手を検出し、その形状および位置を求める。手の検出では、カメラ画像全体を検出ウィンドウで走査し、検出ウィンドウ内の画像に対してそれが手であるかどうかを識別する。画像上の手のサイズはユーザの個人差およびカメラからの距離で変わるため、様々なサイズの検出ウィンドウを用い、画像上の手のサイズによらず検出を可能にしている。
【００３０】
・手の識別処理
手の識別処理では、手だけではなく背景にある物体も含まれる検出ウィンドウ内の画像について、その輝度値パターンを用いて検出対象の手かどうかを識別する。本モジュールは、ユーザの個人差による手形状の違いに加え、部屋の明るさや背景にある物体の違いなどによって、同じ手形状であっても検出ウィンドウ内の輝度値パターンは様々である。
【００３１】
そこで、本モジュールでは、手形状毎に対応する識別器を用いて検出ウィンドウ内の画像を分析することで手の識別処理を行う。識別器は、多数の特徴から構成され、各特徴は正と負の２種類の矩形領域を持つ。識別処理では、これら２種類の矩形領域内の平均輝度値を算出した上で、その差が特徴毎に定義された閾値を超えているかどうかによって類似度を算出する。これら類似度の送話が識別基準値を超えていれば検出対象の手と判断する。
【００３２】
なお、識別器を構成する際、様々な環境で撮影した年齢や、性別、人種が異なるサンプル画像を用いて識別に有効な特徴を選択することでユーザの個人差や認識環境によらず安定した識別処理を実現する。
【００３３】
・手の追跡処理
追跡対象の手を検出した際、その位置および大きさを記憶すると共に、領域内の画像をテンプレート画像として保存する。
【００３４】
次の時刻の画像では、初めに直前の検出領域を基準として手の探索範囲を決定し、探索範囲内からテンプレート画像に類似した画像を探索することによって手のだいたいの位置を推定する。具体的には、探索範囲内に対してテンプレート画像とどうサイズのウィンドウを走査し、ウィンドウ内の画像とテンプレート画像の輝度パターンの違いが最小になる位置を求める処理（テンプレートマッチング）により、手の位置を推定する。
【００３５】
更に、手の推定位置周辺に限定して識別処理を行うことで最終的な手領域を求めると共に、得られた領域内の画像でテンプレート画像を更新する。テンプレートマッチングでは、手の角度変化や認識環境などの影響によって検出位置にずれが生じるため、手の推定位置を中心に識別処理対象範囲を設定し、範囲内で検出ウィンドウ内の位置を変化させながら“手の識別処理”で述べた手の識別処理を行う。そして、手形状検出モジュール２０４は、検出した手形状を認証処理モジュール２０６に出力する。
次に、認証アプリケーションプログラムが実行する処理の手順を図７のフローチャートを参照して説明する。
先ず、映像取得モジュール２０１は、カメラ１１０から映像データを取得する（ステップＳ２１）。映像取得モジュール２０１は、取得した映像データを顔照合モジュール２０３および手形状検出モジュール２０４に渡す。
【００３６】
顔照合モジュール２０３は、入力された映像中の人物の顔と顔照合処理用データベース２０２中の顔特徴情報とを照合し、類似度がしきい値以上、且つ類似度が最も高い顔特徴情報を検出する顔照合処理を実行する。顔照合モジュール２０３は、顔照合処理の結果を認証処理モジュール２０６に通知する。
【００３７】
通知を受けた認証処理モジュール２０６は、顔特徴情報が検出されたか否かを判別する（ステップＳ２３）。検出されなかったと判断した場合（ステップＳ２３のＮｏ）、認証処理モジュール２０６は、顔照合に失敗した数のカウントアップを行う（ステップＳ４１）。そして、カウントした回数が設定回数を超えているか否かを判別する（ステップＳ４２）。設定回数を超えている場合（ステップＳ４２のＹｅｓ）、認証処理モジュール２０６は、認証処理が失敗したと判断する（ステップＳ４３）。設定回数を超えていない場合、認証処理モジュール２０６は再度顔照合モジュール２０３に照合処理を実行させる。
【００３８】
ステップＳ２３において、検出されたと判断した場合（ステップＳ２３のＹｅｓ）、取得手段としての認証処理モジュール２０６は、通知に含まれるＩＤ番号に関連づけられている手形状推移データを手形状推移データベース２０５から読み出す（ステップＳ２４）。認証処理モジュール２０６は、手形状検出モジュール２０４に手形状を検出する処理の開始を指示する（ステップＳ２５）。そして、認証処理モジュール２０６は、手形状推移パターンの照合を行うために、手形状推移パターンの最初の手形状にユーザ自身の手を変化させるように指示するためのメッセージをＬＣＤ１７に表示する（ステップＳ２６）。
【００３９】
手形状検出モジュール２０４は、ユーザの手形状が変化したら、検出した手形状を示す情報を認証処理モジュール２０６に出力する（ステップＳ２７）。認証処理モジュール２０６は、手形状検出モジュール２０４が出力する手形状の情報が手形状推移パターンに一致するか否かを判別する（ステップＳ２８）。一致すると判断した場合（ステップＳ２８のＹｅｓ）、手形状検出モジュール２０４が出力する手形状の情報の推移パターンが手形状推移データに登録されている手形状推移パターンに完全に合致したか否かを判別する（ステップＳ２９）。一致しないと判断した場合（ステップＳ２９のＮｏ）、認証処理モジュール２０６は、手形状推移パターンの次の手形状にユーザ自身の手を変化させるように指示するためのメッセージをＬＣＤ１７に表示する（ステップＳ３１）。一致しないと判断した場合（ステップＳ２９のＮｏ）、認証処理モジュール２０６は、認証処理が成功したと判断する（ステップＳ３０）。
【００４０】
ステップＳ２８において、一致しないと判断した場合（ステップＳ２８のＮｏ）、認証処理モジュール２０６は手形状推移照合処理の失敗した数のカウントアップを行う（ステップＳ５１）。そして、カウントした回数が設定回数を超えているか否かを判別する（ステップＳ５２）。設定回数を超えている場合（ステップＳ５２のＹｅｓ）、認証処理モジュール２０６は、認証処理が失敗したと判断する（ステップＳ５４）。設定回数を超えていないと判断した場合（ステップＳ５２のＮｏ）、認証処理モジュール２０６は、手形状推移パターンの最初の手形状にユーザ自身の手を変化させるように指示するためのメッセージをＬＣＤ１７に表示する（ステップＳ５４）。
【００４１】
以上の処理で、顔照合技術は、類似度を算出して閾値により判別しているものが多い。よって、似ている顔の人同士の認証などを行うと類似度が閾値を超えてしまい、他人を本人として誤検出する可能性がある。
【００４２】
本実施形態の認証処理の場合、もし似ている他人の顔を誤検出しても、手形状推移照合処理でパーソナルデータが一致しないと判断されるので、類似度が近い人同士を切り分け、よりセキュリティを高めた認証を簡単に行うことができる。
【００４３】
また、本装置では、入力装置はカメラのみで行うため、カメラ以外の特別な装置は不要であり、顔の照合と手形状の推移照合とを一つの入力装置（カメラ）によって行うことができ、ユーザがキーボード等から認証番号を入力する手間がない。
【００４４】
なお、上述した例では、認証処理を汎用の処理を行うノートブック型パーソナルコンピュータで実現していたために、コンピュータ１０が入力装置であるキーボード１３およびタッチパッド１６を備えていた。しかし、認証処理を専用の装置で行うのであれば、キーボード等の入力装置は不要である。
【００４５】
なお、本実施形態の認証処理はコンピュータプログラムによって実現されているので、このコンピュータプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータにインストールするだけで、本実施形態と同様の効果を容易に実現することができる。また、このコンピュータプログラムは、パーソナルコンピュータのみならず、プロセッサを内蔵した電子機器上で実行することができる。
【００４６】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態に係わる認証処理装置の構成を示すブロック図。
【図２】本発明の一実施形態に係わる認証アプリケーションプログラムの構成を示すブロック図。
【図３】本発明の一実施形態に係わる顔認識処理の流れの説明に用いる図。
【図４】本発明の一実施形態に係わる顔照合処理の手順を示すフローチャート。
【図５】本発明の一実施形態に係わる円形分離度フィルタを示す図。
【図６】本発明の一実施形態に係わる制約相互部分空間法の概念を示す図。
【図７】本発明の一実施形態に係わる照合処理の手順を示すフローチャート。
【符号の説明】
【００４８】
１０３Ｂ…認証アプリケーションプログラム，１１０…カメラ，２０１…映像取得モジュール，２０２…顔照合処理用データベース，２０３…顔照合モジュール，２０４…手形状検出モジュール，２０５…手形状推移データベース，２０６…認証処理モジュール。
【特許請求の範囲】
【請求項１】
カメラと、
特定の人物を示す人物特定情報に関連づけられ、当該人物の顔の特徴を示す顔特徴情報が格納されている第１記憶装置と、
前記カメラから入力される画像から人物の顔領域を抽出し、抽出された顔領域から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出する顔照合処理を実行する顔照合手段と、
前記第１記憶装置に格納されている顔特徴情報に関連づけられている人物特定情報に関連づけられ、手形状の変化の推移を示す手形状推移パターン情報が格納されている第２記憶装置と、
前記第２記憶装置から前記顔照合手段が検出した顔特徴情報に関連づけられている人物特定情報に関連づけられている手形状推移パターン情報を取得する取得手段と、
前記カメラから入力される画像から人物の手領域を抽出し、抽出された手領域から手の形状を検出する手形状検出手段と、
前記取得手段が取得した手形状推移パターン情報が示す情報が、前記手形状検出手段が検出する手形状の推移を表しているか否かを判別する手形状推移照合処理を実行する認証処理手段であって、当該手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していると判断した場合に前記カメラが撮影する人物の認証処理が成功したと判断し、当該手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していないと判断した場合に前記カメラが撮影する人物の認証処理が失敗したと判断する認証処理手段と
を具備することを特徴とする認証処理装置。
【請求項２】
前記顔照合手段が前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出した場合に、前記カメラが撮影している人物に対して手の形状の変化を指示するための指示手段を更に具備し、
前記手形状検出手段は、前記指示手段が指示を行った後に手形状の検出を開始することを特徴とする請求項１に記載の認証処理装置。
【請求項３】
前記顔照合手段が前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出しなかった場合に前記顔照合手段に再度顔照合処理を実行させるための手段と、
前記顔照合手段が前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出しなかった回数が設定回数を超えた場合に認証処理が失敗したと判断する請求項１に記載の認証処理装置。
【請求項４】
前記認証処理手段は、前記手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していないと判断した場合に、再度手形状推移照合処理を実行し、
前記手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していないと判断した回数が設定値を超えた場合に前記カメラが撮影する人物の認証処理が失敗した場合に認証処理が失敗したと判断する請求項１に記載の認証処理装置。
【請求項５】
前記顔照合手段は、制約相互部分空間法或いは多重制約相互部分区間法を用いて顔照合処理を実行することを特徴とする請求項１に記載の認証処理装置。
【請求項６】
カメラから入力される画像から人物の顔領域を抽出し、抽出された顔領域から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報を、特定の人物を示す人物特定情報に関連づけられ、当該人物の顔の特徴を示す顔特徴情報が格納されている第１記憶装置から検出する顔照合処理を実行し、
前記顔照合処理によって検出された顔特徴情報に関連づけられている人物特定情報に関連づけられ、手形状の変化の推移を示す手形状推移パターン情報を第２記憶装置から取得する取得処理を実行し、
前記カメラから入力される画像から人物の手領域を抽出し、抽出された手領域から手の形状を検出する手形状検出処理を実行し、
前記取得処理によって取得した手形状推移パターン情報が示す情報が、前記手形状検出処理によって検出する手形状の推移を表している場合に前記カメラが撮影する人物の認証処理が成功したと判断し、当該手形状推移パターン情報が示す情報が前記手形状検出処理によって検出する手形状の推移を表していない場合に前記カメラが撮影する人物の認証処理が失敗したと判断する認証処理を実行する
ことを特徴とする認証処理方法。
【請求項７】
前記顔照合処理によって、前記カメラから入力される画像から検出される顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出した場合に、前記カメラが撮影している人物に対して手の形状の変化を指示し、
前記指示を行った後に前記手形状検出処理が開始することを特徴とする請求項６に記載の認証処理方法。
【請求項８】
前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出しなかった場合に再度顔照合処理を実行し、
前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出しなかった回数が設定回数を超えた場合に認証処理が失敗したと判断する請求項６に記載の認証処理方法。
【請求項９】
前記手形状推移パターン情報が示す情報が前記手形状検出処理によって検出する手形状の推移を表していないと判断した場合に、再度手形状推移照合処理を実行し、
前記手形状推移パターン情報が示す情報が前記手形状検出処理によって検出する手形状の推移を表していないと判断した回数が設定値を超えた場合に前記カメラが撮影する人物の認証処理が失敗した場合に認証処理が失敗したと判断する請求項６に記載の認証処理方法。
【請求項１０】
コンピュータに、カメラによって撮影される顔と手を用いて認証処理を実行させるプログラムであって、
前記コンピュータに、前記カメラから入力される画像から人物の顔領域を抽出し、抽出された顔領域から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報を、特定の人物を示す人物特定情報に関連づけられ、当該人物の顔の特徴を示す顔特徴情報が格納されている第１記憶装置から検出する顔照合処理を実行させる手順と、
前記コンピュータに、前記顔照合処理によって検出された顔特徴情報に関連づけられている人物特定情報に関連づけられ、手形状の変化の推移を示す手形状推移パターン情報を第２記憶装置から取得処理を実行させる手順と、
前記コンピュータに、前記カメラから入力される画像から人物の手領域を抽出し、抽出された手領域から手の形状を検出する手形状検出処理を実行させる手順と、
前記コンピュータに、前記取得処理によって取得した手形状推移パターン情報が示す情報が、前記手形状検出処理によって検出する手形状の推移を表している場合に前記カメラが撮影する人物の認証処理が成功したと判断し、当該手形状推移パターン情報が示す情報が前記手形状検出処理によって検出する手形状の推移を表していない場合に前記カメラが撮影する人物の認証処理が失敗したと判断する認証処理を実行させる手順と
を具備することを特徴とするプログラム。
【請求項１】
カメラと、
特定の人物を示す人物特定情報に関連づけられ、当該人物の顔の特徴を示す顔特徴情報が格納されている第１記憶装置と、
前記カメラから入力される画像から人物の顔領域を抽出し、抽出された顔領域から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出する顔照合処理を実行する顔照合手段と、
前記第１記憶装置に格納されている顔特徴情報に関連づけられている人物特定情報に関連づけられ、手形状の変化の推移を示す手形状推移パターン情報が格納されている第２記憶装置と、
前記第２記憶装置から前記顔照合手段が検出した顔特徴情報に関連づけられている人物特定情報に関連づけられている手形状推移パターン情報を取得する取得手段と、
前記カメラから入力される画像から人物の手領域を抽出し、抽出された手領域から手の形状を検出する手形状検出手段と、
前記取得手段が取得した手形状推移パターン情報が示す情報が、前記手形状検出手段が検出する手形状の推移を表しているか否かを判別する手形状推移照合処理を実行する認証処理手段であって、当該手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していると判断した場合に前記カメラが撮影する人物の認証処理が成功したと判断し、当該手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していないと判断した場合に前記カメラが撮影する人物の認証処理が失敗したと判断する認証処理手段と
を具備することを特徴とする認証処理装置。
【請求項２】
前記顔照合手段が前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出した場合に、前記カメラが撮影している人物に対して手の形状の変化を指示するための指示手段を更に具備し、
前記手形状検出手段は、前記指示手段が指示を行った後に手形状の検出を開始することを特徴とする請求項１に記載の認証処理装置。
【請求項３】
前記顔照合手段が前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出しなかった場合に前記顔照合手段に再度顔照合処理を実行させるための手段と、
前記顔照合手段が前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出しなかった回数が設定回数を超えた場合に認証処理が失敗したと判断する請求項１に記載の認証処理装置。
【請求項４】
前記認証処理手段は、前記手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していないと判断した場合に、再度手形状推移照合処理を実行し、
前記手形状推移パターン情報が示す情報が前記手形状検出手段が検出する手形状の推移を表していないと判断した回数が設定値を超えた場合に前記カメラが撮影する人物の認証処理が失敗した場合に認証処理が失敗したと判断する請求項１に記載の認証処理装置。
【請求項５】
前記顔照合手段は、制約相互部分空間法或いは多重制約相互部分区間法を用いて顔照合処理を実行することを特徴とする請求項１に記載の認証処理装置。
【請求項６】
カメラから入力される画像から人物の顔領域を抽出し、抽出された顔領域から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報を、特定の人物を示す人物特定情報に関連づけられ、当該人物の顔の特徴を示す顔特徴情報が格納されている第１記憶装置から検出する顔照合処理を実行し、
前記顔照合処理によって検出された顔特徴情報に関連づけられている人物特定情報に関連づけられ、手形状の変化の推移を示す手形状推移パターン情報を第２記憶装置から取得する取得処理を実行し、
前記カメラから入力される画像から人物の手領域を抽出し、抽出された手領域から手の形状を検出する手形状検出処理を実行し、
前記取得処理によって取得した手形状推移パターン情報が示す情報が、前記手形状検出処理によって検出する手形状の推移を表している場合に前記カメラが撮影する人物の認証処理が成功したと判断し、当該手形状推移パターン情報が示す情報が前記手形状検出処理によって検出する手形状の推移を表していない場合に前記カメラが撮影する人物の認証処理が失敗したと判断する認証処理を実行する
ことを特徴とする認証処理方法。
【請求項７】
前記顔照合処理によって、前記カメラから入力される画像から検出される顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出した場合に、前記カメラが撮影している人物に対して手の形状の変化を指示し、
前記指示を行った後に前記手形状検出処理が開始することを特徴とする請求項６に記載の認証処理方法。
【請求項８】
前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出しなかった場合に再度顔照合処理を実行し、
前記検出された顔特徴情報に対応する顔特徴情報を前記第１記憶装置から検出しなかった回数が設定回数を超えた場合に認証処理が失敗したと判断する請求項６に記載の認証処理方法。
【請求項９】
前記手形状推移パターン情報が示す情報が前記手形状検出処理によって検出する手形状の推移を表していないと判断した場合に、再度手形状推移照合処理を実行し、
前記手形状推移パターン情報が示す情報が前記手形状検出処理によって検出する手形状の推移を表していないと判断した回数が設定値を超えた場合に前記カメラが撮影する人物の認証処理が失敗した場合に認証処理が失敗したと判断する請求項６に記載の認証処理方法。
【請求項１０】
コンピュータに、カメラによって撮影される顔と手を用いて認証処理を実行させるプログラムであって、
前記コンピュータに、前記カメラから入力される画像から人物の顔領域を抽出し、抽出された顔領域から顔の特徴を示す顔特徴情報を検出し、検出された顔特徴情報に対応する顔特徴情報を、特定の人物を示す人物特定情報に関連づけられ、当該人物の顔の特徴を示す顔特徴情報が格納されている第１記憶装置から検出する顔照合処理を実行させる手順と、
前記コンピュータに、前記顔照合処理によって検出された顔特徴情報に関連づけられている人物特定情報に関連づけられ、手形状の変化の推移を示す手形状推移パターン情報を第２記憶装置から取得処理を実行させる手順と、
前記コンピュータに、前記カメラから入力される画像から人物の手領域を抽出し、抽出された手領域から手の形状を検出する手形状検出処理を実行させる手順と、
前記コンピュータに、前記取得処理によって取得した手形状推移パターン情報が示す情報が、前記手形状検出処理によって検出する手形状の推移を表している場合に前記カメラが撮影する人物の認証処理が成功したと判断し、当該手形状推移パターン情報が示す情報が前記手形状検出処理によって検出する手形状の推移を表していない場合に前記カメラが撮影する人物の認証処理が失敗したと判断する認証処理を実行させる手順と
を具備することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１４６５０２（Ｐ２０１０−１４６５０２Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３２６２２３（Ｐ２００８−３２６２２３）
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]