認証システム、端末装置、認証プログラム、認証方法
【課題】装置間の通信による遅延を低減させる認証システムを提供する。
【解決手段】実施形態の認証システムは、１つまたは複数の端末装置と、少なくとも１つのサーバ装置とを有する認証システムである。端末装置は、対象者の顔を複数回撮像して対象者の撮像画像を複数生成する撮像部と、撮像部で生成される複数の撮像画像をサーバ装置に送信する送信部と、サーバ装置から送信される、複数の撮像画像ごとのスコア情報を受信し、スコア情報それぞれの値に基づき、対象者が事前に登録されている者であるか否かを判定する判定部と、を有する。サーバ装置は、送信部によって送信される複数の撮像画像を受信し、撮像画像が予め記憶装置に記憶されているデータと類似しているかを数値で示した情報であるスコア情報を、複数の撮像画像ごとに算出し、撮像画像ごとのスコア情報を端末装置に送信するスコア算出部を有する。
【解決手段】実施形態の認証システムは、１つまたは複数の端末装置と、少なくとも１つのサーバ装置とを有する認証システムである。端末装置は、対象者の顔を複数回撮像して対象者の撮像画像を複数生成する撮像部と、撮像部で生成される複数の撮像画像をサーバ装置に送信する送信部と、サーバ装置から送信される、複数の撮像画像ごとのスコア情報を受信し、スコア情報それぞれの値に基づき、対象者が事前に登録されている者であるか否かを判定する判定部と、を有する。サーバ装置は、送信部によって送信される複数の撮像画像を受信し、撮像画像が予め記憶装置に記憶されているデータと類似しているかを数値で示した情報であるスコア情報を、複数の撮像画像ごとに算出し、撮像画像ごとのスコア情報を端末装置に送信するスコア算出部を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、顔を認識することで認証を行う技術に関する。
【背景技術】
【０００２】
人の顔が撮像されている画像データから人を識別する顔認識システムが知られており、また顔認識システムを用いて、被撮像者が本人であるかの認証を行うシステムが知られている。
【０００３】
また関連技術として、以下の文献が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１１５４６０号公報
【特許文献２】特開２０１１−１０１３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タブレットＰＣ（ＰＣ：パーソナルコンピュータ）や携帯電話機等のモバイル機器に備わる撮像機能を用いて、顔認識による本人認証を行うことを考える場合、モバイル機器であるが故の演算性能、利用可能メモリ、利用可能記録容量、消費電力の制約が大きいため、判定結果の精度と処理時間に影響する。
【０００６】
この制約のため、モバイル機器で写真撮影を行い、通信により外部に存在するサーバ装置へ撮像画像を送付し、サーバ装置上の潤沢なリソースを用いることで先に示した制約を回避することができると考えられる。しかしながら、本人であるにもかかわらず誤認識により否と判定とされると、撮像、送信処理、認証処理の各処理を再度行うこととなり、その分遅延が生ずる。これは、利用者の利便性を損なうものである。
【０００７】
本発明が解決しようとする課題は、利用権限を有する者であるにもかかわらず誤認識で否判定となることによって生ずる処理遅延を低減させる技術を提供することである。
【課題を解決するための手段】
【０００８】
実施形態の認証システムは、１つまたは複数の端末装置と、少なくとも１つのサーバ装置とを有する認証システムである。端末装置は、対象者の顔を複数回撮像して対象者の撮像画像を複数生成する撮像部と、撮像部で生成される複数の撮像画像をサーバ装置に送信する送信部と、サーバ装置から送信される、複数の撮像画像ごとのスコア情報を受信し、スコア情報それぞれの値に基づき、対象者が事前に登録されている者であるか否かを判定する判定部と、を有する。サーバ装置は、送信部によって送信される複数の撮像画像を受信し、撮像画像が予め記憶装置に記憶されているデータと類似しているかを数値で示した情報であるスコア情報を、複数の撮像画像ごとに算出し、撮像画像ごとのスコア情報を端末装置に送信するスコア算出部を有する。
【図面の簡単な説明】
【０００９】
【図１】第１、第２の実施形態の認証システムの構成例を示すハードウェアブロック図である。
【図２】第１の実施形態の認証システムの構成例を示すブロック図である。
【図３】第１、第２の実施形態の認証システムの構成例および装置間での送受信データの一例を示す図である。
【図４】第１の実施形態の認証システムの動作例を示すフローチャートである。
【図５】第１、第２の実施形態のモバイル機器が表示する識別情報入力画面、および撮像時の画面の一例を示す図である。
【図６】第１、第２の実施形態のモバイル機器が表示するＰＩＮコード入力画面、およびパターン描画入力画面の一例を示す図である。
【図７】第２の実施形態の認証システムの構成例を示すブロック図である。
【図８】第２の実施形態の認証システムの動作例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下の各実施形態では、モバイル機器とサーバ装置との連携による顔写真を用いた認証システムにおいて、判定が否であった場合の送信遅延に伴う利便性の低下を避けるために、モバイル機器を用いて一定間隔で顔写真を複数回撮影し、識別情報（以下、ＩＤと称す）および複数の撮像画像をセットでサーバ装置へ送信する。このとき、複数の撮像画像は一括してサーバ装置に送信される。送信されるＩＤは、１つのモバイル機器を１人の利用者のみが使用する場合は端末固有のＩＤとなり、１つのモバイル機器を複数ユーザが共用して使用する場合、ユーザ固有のＩＤとなる。
【００１１】
サーバ装置は、撮像画像毎に、事前に登録されているデータとの類似度を示すスコアを算出し、各スコアをモバイル機器に送信する。本人であるか否かの最終的な判定は、送信される各スコアに基づきモバイル機器側で行われる。
【００１２】
また判定に曖昧さが残る場合、モバイル機器は、ＰＩＮコード等を利用者に入力させて追加認証の実施を行う。このとき、再撮影してサーバ装置に撮像画像を再送信しないため、モバイル機器とサーバ装置との間で通信の繰り返しが発生せず、通信による処理遅延が生じない。
【００１３】
以下、各実施形態について図面を参照しつつ説明する。
【００１４】
（第１の実施形態）
図１は認証システムのハードウェア構成例を示す図である。認証システム３００は、モバイル機器１（端末装置）、サーバ装置２、ネットワーク３を有する。尚、モバイル機器１が複数となる構成でもよく、同様にサーバ装置２が複数となる構成でもよい。
【００１５】
モバイル機器１は、例えばタブレットＰＣや携帯電話機であり、演算処理装置であるプロセッサ１０１、主記憶装置であるメモリ１０２、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリ等の補助記憶装置１０３を有する。またモバイル機器１は、タッチパネルディスプレイ１０５、ＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）であるＣＣＤ１０６、カメラレンズでありＣＣＤ１０６に像を集光させて結像するレンズ１０７、外部とのデータ通信を制御する通信デバイス１０４を有する。これら各ユニットはデータバス１０８を介して互いにコマンド送受信、データ送受信を行っている。
【００１６】
サーバ装置２は、従前のハードウェア構成を有するコンピュータであり、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、通信デバイス２０４を少なくとも有し、これら各ユニットはデータバス２０８を介して互いにコマンド送受信、データ送受信を行っている。尚、サーバ装置２は入力用のキーボード、マウスや表示用のディスプレイ等を有する構成でもよい。
【００１７】
通信デバイス１０４と通信デバイス２０４とがネットワーク３を介して互いにデータの送受信を行う。ネットワーク３は、本実施形態ではＬＡＮ（Local Area Network）とし、ＩＰアドレス（ＩＰ：Internet Protocol）が装置個別に割り当てられているとする。また転送手段は有線、無線を問わず、ストリーミング方式により常時セッションが張られているものとして説明する。
【００１８】
図２は、図１で示すハードウェア構成によって実現される機能構成の一例を示す図であり、図３は、モバイル機器１、サーバ装置２の外観模式図およびモバイル機器１とサーバ装置２との間で送受信されるデータの一例を示す図である。また図２の実線矢印は処理、制御の流れを示し、破線矢印はデータの流れを示している。
【００１９】
モバイル機器１は、ユーザＩＤ取得部１０、撮影部１１、送信部１２、認証結果判定部１３（判定部）、個人認証補助部１４（認証補助部）、認証結果送出部１５、認証結果利用部１６を有する。また補助記憶装置１０３には、当該モバイル機器１を使用する利用者の個人情報データ１７が事前に記憶されている。尚、複数の利用者が共用で当該モバイル機器１を使用する場合は、補助記憶装置１０３には利用者ごとの個人情報データ１７が事前に記憶される。図２で示す各ユニットは、図１に示す各ハードウェア資源が使用されることで実現され、また補助記憶装置１０３に事前に記憶されているプログラムがメモリ１０２に展開され、プロセッサ１０１が展開後のプログラムを演算実行することで実現される。
【００２０】
サーバ装置２は認識部２１（スコア算出部）を有し、補助記憶装置２０３には事前にＩＤごとの顔認識データ２２が記憶されている。認識部２１は、補助記憶装置２０３に事前に記憶されているプログラムがメモリ２０２に展開され、プロセッサ２０１が展開後のプログラムを演算実行することで実現され、且つ図１に示す各ハードウェア資源が使用されることで実現される。
【００２１】
まずモバイル機器１内の各ユニットについて説明する。ユーザＩＤ取得部１０は、タッチパネルディスプレイ１０５を含む構成であり、利用者から、利用者の識別情報であるユーザＩＤをタッチパネルディスプレイ１０５経由で取得する。尚、ユーザＩＤ取得部１０は、複数利用者が１つのモバイル機器１を共用使用する場合に用いられる機能部であるため、１つのモバイル機器１に対して利用者が１人のみである場合、ユーザＩＤ取得部１０を有さない構成でもよい。
【００２２】
撮影部１１は、タッチパネルディスプレイ１０５、ＣＣＤ１０６、レンズ１０７のハードウェアを含む構成であり、利用者の顔を一定間隔で複数枚撮像してメモリ１０２もしくは補助記憶装置１０３に記憶する。撮影部１１は、タッチパネルディスプレイ１０５に対面している利用者の顔を、タッチパネルディスプレイ１０５の上部に配置されているレンズ１０７、およびＣＣＤ１０６を用いて撮像する。この撮像の際、利用者が現状の状態を視認できるように、タッチパネルディスプレイ１０５には、レンズ１０７を通して常時現状の状態が表示される。
【００２３】
送信部１２は、通信デバイス１０４を含む構成であり、ＩＤとともに複数の撮像画像をサーバ装置２に送信する。本実施形態では図３に示すように３回撮像して３つの撮像画像をサーバ装置２に送信するとしているが、数を限定するものではなく、複数であればよい。
【００２４】
認証結果判定部１３は、通信デバイス１０４を含む構成であり、サーバ装置２から撮像画像ごとのスコア値（スコア値については後述で説明）を受信し、受信した複数のスコア値を用いて、撮像対象の利用者が、事前に登録されている者であるか否かを判定する。換言すると、認証結果判定部１３は、対象者の次に行う行動に制限を設けるか否かを判定するものである。認証結果判定部１３は、本実施形態では「許可」、「不許可」、および、明確に断定できないもの（ここでは「曖昧」と称す）の３つの区分に分けて結果を導出する。この判定は、セキュリティポリシーに基づいて定義される複数の閾値を用いて行われる。
【００２５】
個人認証補助部１４は、認証結果判定部１３による判定結果が曖昧の区分である場合、撮像対象の利用者に対して追加で認証処理を行うユニットである。個人認証補助部１４はタッチパネルディスプレイ１０５を含む構成であり、また追加の認証処理を行う際には個人情報データ１７が使用される。個人認証補助部１４は、タッチパネルディスプレイ１０５を介して利用者から入力されるデータを取得し、この入力データが事前に登録されている個人情報データ１７と一致するかを判定する。
【００２６】
認証結果送出部１５は、認証結果判定部１３による判定結果や個人認証補助部１４による判定結果を認証結果利用部１６に出力する。認証結果利用部１６への出力以外にも、画面への判定成否の通知表示や警告音等、撮像対象者や管理者への通知であってもよく、また外部機器への通知であってもよい。
【００２７】
認証結果利用部１６は、認証結果判定部１３の判定結果、もしくは個人認証補助部１４の判定結果が許可である場合に各種アプリケーションを起動させる。尚、許可であれば各種アプリケーションを起動させ、不許可であれば起動させないとする実装以外にも、各種アプリケーションの起動は行うが、不許可の場合はその機能に制限を設ける等、さまざまな実装を適用できる。
【００２８】
個人情報データ１７は、ＰＩＮコードやパターン描画の筆跡データ（詳細は後述）等のデータであり、事前に補助記憶装置１０３に記憶されている。尚、複数利用者により１つのモバイル機器１が共用で使用される場合、利用者のＩＤと、ＰＩＮコードやパターン描画の筆跡データ等のデータとが対応付けられて事前に補助記憶装置１０３に記憶される。
【００２９】
次にサーバ装置２側のユニットについて説明する。認識部２１は、モバイル機器１から送信される複数の撮像画像を受信して、眉、目、鼻、口等の特徴部位の検出処理を行うとともに、スコア値を撮像画像ごとに算出する。このスコア値は、事前に登録されている顔認識データ２２と受信した撮像画像とが類似しているかを数値で示したものであり、本実施形態では０〜１０の数値とし、値が大きい程類似しているものとする。この特徴部位の検出処理や類似判定の技術は従前の技術が用いられる。また認識部２１は、算出したスコア値（複数）をモバイル機器１へ送信する（図３参照）。
【００３０】
顔認識データ２２は、利用者の顔写真等の画像データ（ラスターデータ）、利用者の顔についての特徴量が抽出された数値のデータ（ベクターデータ）のいずれでもよい。
【００３１】
図４は認証システム３００の動作例を示すフローチャートである。尚、ステップＳ４〜Ｓ７はサーバ装置２での動作であり、それ以外の各ステップは、モバイル機器１での動作となる。
【００３２】
まずモバイル機器１のユーザＩＤ取得部１０は、タッチパネルディスプレイ１０５にＩＤの入力画面を表示し、入力画面上に入力されたユーザＩＤを取得する（Ｓ１）。このときの入力画面の一例を図５（Ａ）に示す。利用者（対象者）は、タッチパネルディスプレイ１０５に表示されるテンキーを用いて自身のＩＤを入力する。尚、１つのモバイル機器を利用する者が１人のみである場合、ステップＳ１は省略される。
【００３３】
撮像部１１は、利用者の顔を複数回撮像する（Ｓ２）。このときのタッチパネルディスプレイ１０５に表示される画面例を図５（Ｂ）に示す。撮像部１１は、顔の位置を利用者に指定するため、枠線Ｒを画面上に表示し、顔を枠線Ｒ内に収めるように利用者に案内する。このようにすることで、撮像の精度を向上させることができる。また撮像部１１は、枠内に顔が入った状態で、例えば自動的に一定時間間隔で撮影を行い、複数の撮像画像データ（電子データ）を生成する。
【００３４】
送信部１２は、複数の撮像画像とＩＤ（モバイル機器固有のＩＤもしくはステップＳ１で入力された利用者のＩＤ）とが１つのセットとなるようにし、サーバ装置２へ送信する。本実施形態ではストリーミング形式を採用しているため、データが都度送信されるものとするが、例えばバッチ処理のように、必要に応じてサーバ装置２との通信前手続きをし、その後複数の撮像画像およびＩＤを一括で送信し、送信が完了した場合に次の処理が行われる実装でもよい。いずれにせよ、ステップＳ２で撮像した全ての画像がこのステップ３で一括送信される。
【００３５】
処理はサーバ装置２側に移行する。サーバ装置２の認識部２１は、送信される複数の撮像画像、およびＩＤを受信して、眉、目、鼻、口等の特徴部位の検出処理を撮像画像ごとに行い（Ｓ４）、ＩＤに対応する顔認識データ２２をメモリ２０２や補助記憶装置２０３から取得する（Ｓ５）。認識部２１は、取得した顔認識データ２２を用いて、撮像画像ごとにスコア値を算出する（Ｓ６）。算出されたスコア値は、その後送信元のモバイル機器１へ送信される（Ｓ７）。尚、認識部２１での機能は、ＩＤごとに複数の撮像画像を処理することができ、且つ、撮像画像ごとの類似結果を数値化して出力できればよく、認証機能についてはそれ以上の限定を設けない。
【００３６】
モバイル機器１は撮像画像ごとのスコア値（複数）をサーバ装置２から受信し（Ｓ８）、認証結果判定部１３は、このスコア値を用いて、当該利用者が事前に登録されている者であるか否かを判定する（Ｓ９〜Ｓ１１）。
【００３７】
認証結果判定部１３は、スコア値（本例では０〜１０の値）の平均値を算出し（Ｓ９）、平均値が第１の閾値（例えば４とする）未満かを判定する（Ｓ１０）。ここで第１の閾値未満である場合（Ｓ１０、Ｙｅｓ）、処理はステップＳ１６に進む。一方、第１の閾値以上である場合（Ｓ１０、Ｎｏ）、認証結果判定部１３は、平均値が第２の閾値（第１の閾値よりも大きい値であり、本例では７とする）未満かを判定する（Ｓ１１）。ここで第２の閾値未満である場合（Ｓ１１、Ｙｅｓ）、個人認証補助部１４は、追加の認証処理を行う（Ｓ１４）。
【００３８】
ここで個人認証補助部１４による追加認証処理について説明する。個人認証補助部１４は、図６（Ａ）に例示するＰＩＮコードの入力用画面をタッチパネルディスプレイ１０５に表示することで利用者からＰＩＮコードを取得したり、また図６（Ｂ）に示すように、パターン描画の入力画面を表示して利用者から筆跡データを取得したりする。
【００３９】
パターン描画の入力について詳説すると、利用者に印Ｍを数点通過させるように描画させることで（図６（Ｂ）は利用者によって「Ｚ」型の図柄が描かれている例）、利用者から筆跡データを取得する。筆跡データは、本例では印Ｍの通過の有無や通過順序とする。
【００４０】
ＰＩＮコードや筆跡データは、上述の通り個人情報データ１７として事前に補助記憶装置１０３に記憶されており、個人認証補助部１４は、ＰＩＮコードや筆跡データを補助記憶装置１０３から取得して、この取得値と、利用者に入力された値とを比較照合する。尚、複数の利用者が１つのモバイル機器を共用で使用する場合、個人認証補助部１４は、ステップＳ１で取得されたユーザＩＤに対応するＰＩＮコードや筆跡データを補助記憶装置１０３から取得し、この取得値と利用者により入力された値とを照合する。尚、個人認証補助部１４での処理はこれに限定されず、例えばモバイル機器２にマイクが備えられている場合は音声による認証であってもよく、また指紋認証等、様々な認証手法の実装が可能である。
【００４１】
ステップＳ１４での追加認証処理で不適合と判定される場合（Ｓ１５、Ｙｅｓ）、認証結果送信部１５は、不許可の通知を行う（Ｓ１６）。本実施形態では、タッチパネルディスプレイ１０５に不許可である旨が表示される。一方、ステップＳ１５で適合と判定される場合（Ｓ１５、Ｎｏ）、認証結果送信部１５は、許可通知を認証結果利用部１６へ出力し（Ｓ１２）、認証結果利用部１６は、各種アプリケーションを起動する。
【００４２】
尚、上記処理において認証結果判定部１３は、複数のスコア値から平均を算出して平均値と各閾値とを比較するとしているが、態様を限定するものではなく、例えば中間値と各閾値とを比較したり、また値が乖離しているスコア値を除外したりする実装等、様々な態様を適用させることができる。
【００４３】
ここで、認証結果判定部１３をモバイル機器側に搭載させ、本人であるか否かの最終的な判定をモバイル機器側で行わせる意義について説明する。例えば金融取引に関してのアプリケーションや、ゲームに関してのアプリケーション等、種別の異なる複数のアプリケーションが同じモバイル機器に導入されている場合、第１の閾値、第２の閾値をアプリケーション毎に記憶させ、またアプリケーションに応じて、第１の閾値、第２の閾値を調整することで、認証レベルをアプリケーション毎に異ならせることができる。これにより、認証の重要度の高い金融取引に関してのアプリケーションについては認証レベルを高くし、重要度の低いゲームに関してのアプリケーションについては認証を低くする等を実現できる。
【００４４】
また一方で、特定のモバイル機器については認証レベルを高くし、その他のモバイル機器は認証レベルを低くしたいという要望がある場合、モバイル機器ごとに閾値を異ならせることで、モバイル機器単位で認証レベルを異ならせることも可能である。
【００４５】
このような実装を考える場合、認証結果判定部１３相当の機能がサーバ装置側に有ると、モバイル機器とサーバ装置との間のデータ転送量が増加する。またモバイル機器内でのアプリケーションの追加や削除、各閾値の変更等が発生すると、サーバ装置側でのデータ更新に不備が生じる可能性もある。よって本実施形態では、サーバ装置２ではなくモバイル機器１に認証結果判定部１３を搭載させ、通信の増加を抑止するとともに、アプリケーションの追加や削除、第１の閾値や第２の閾値のカスタマイズ等に容易に追随できるようにする。
【００４６】
第１の実施形態では、複数回一括で撮像され、一括で送信されてスコア算出処理が行われる実装例について説明した。ここで、撮像が１回行われ、１つの撮像画像が送信され、１つの撮像画像のスコアを算出する処理を複数回繰り返し実行する場合、各処理が行われる毎に、各処理の起動や処理の切替えの回数が多く行われることとなる。第１の実施形態で説明したように、撮像処理を複数回纏めて行い、送信処理を複数纏めて行い、スコア算出処理を複数纏めて行うことで、各処理の起動回数や切替える回数も低減させることができるため、高速化を図ることができる。
【００４７】
また１回の撮像では、利用者が横を向いた状態や目を閉じた状態となる場合で撮像してしまう場合があり、この場合、利用権限を有する利用者であるにもかかわらず誤認識となり、再度撮像処理、認識処理を行うこととなる。当然、その分送信処理や認識処理に遅延が生ずる。第１の実施形態では、複数回撮像することで、横を向いた状態等の撮像画像があっても当該画像については除外したり、適切に撮像できた画像で均したりすることができる。
【００４８】
第１の実施形態では、判定結果が曖昧である場合はＰＩＮコート等の利用者固有の情報を入力させることで、以降の処理をモバイル機器側での処理に帰結させることができる。よって、撮像処理、送信処理、認識処理というサーバ装置との再度の連携処理を抑止でき、処理の遅延を低減させることができる。
【００４９】
（第２の実施形態）
第２の実施形態では、サーバ装置側での認識誤り（スコア算出の誤り）を軽減させるため、撮像画像をサーバ装置へ送信する前に画像処理を施す実装について説明する。また第２実施形態では、さらに、画像認識で眼鏡やマスク、帽子等を検出した場合、利用者に通知する。
【００５０】
第２の実施形態の認証システムの構成例を図７に示す。認証システム３００Ａは、モバイル機器１Ａとサーバ装置２Ａとを含む構成である。モバイル機器１Ａは、第１の実施形態のモバイル機器１に対し、画像処理部３１、メッセージ通知部３２をさらに備え、サーバ装置２Ａは、第１の実施形態の認識部２に対し、さらに撮像画像から眼鏡やマスク、帽子等、顔認識の結果で誤認識となる要因の有無を判定する機能を備えた認識部２１Ａを有する。
【００５１】
画像処理部３１は、撮像画像にホワイトバランス補正、コントラスト変換やフィルター処理等の画像処理を行うことで、ノイズを除去して一定の画質となるようにする。送信部１２は、画像処理部１９による画像処理後の撮像画像を送信する。
【００５２】
メッセージ通知部３２は、サーバ装置２Ａの認識部２１Ａが、眉、目、鼻、口等の特徴部位の検出に失敗し、眼鏡、マスクや帽子等を撮像画像から検出する場合、その旨のメッセージを利用者に通知して、利用者が眼鏡、マスクや帽子等を外すのを促す。
【００５３】
認識部２１Ａは、眉、目、鼻、口等の特徴部位の検出に失敗した場合、例えばエッジ検出処理と顔面部位の特徴抽出等の従来技術を用いて、撮像画像から眼鏡、マスクや帽子等の誤認識となる要因の有無を判定する。この判定機能以外は第１の実施形態の認識部２１と同様である。
【００５４】
図８は、認証システム３００Ａの動作例を示すフローチャートである。尚、図４のフローチャートの符号と同一の処理は、第１の実施形態と同様であるため説明を割愛する。
【００５５】
ステップＳ２での撮像後（撮像の最中でもよい）、画像処理部１９は、撮像画像に対して画像処理を施す（Ｓ２１）。画像処理後の撮像画像がステップＳ３で送信される。
【００５６】
認識部２１Ａは、眉、目、鼻、口等の特徴部位の検出に失敗した場合、受信した撮像画像に対して誤認識となる要因の有無を判定する（Ｓ２２）。ここで、眼鏡、マスクや帽子等が検出されない場合や特徴部位の検出に成功している場合（Ｓ２２、Ｎｏ）、処理はＳ５に進む。一方、眼鏡、マスクや帽子等が検出された場合（Ｓ２２、Ｙｅｓ）、事前に定義された所定情報を送信元のモバイル機器１に送信する。この際、認識部２１Ａは、現在処理している撮像画像は不要となるため削除してもよい。
【００５７】
メッセージ通知部３２は、上記の所定情報を受信した場合、タッチパネルディスプレイ１０５上に、「眼鏡、マスクや帽子等を着用している場合は、外して下さい。」等、誤認識の要因を利用者に除去させ、正規な撮像を促すようにメッセージを表示する（Ｓ２３）。この利用者への通知は、音声による通知であってもよい。その後、誤認識の要因が除去された状態で、再度撮像される（Ｓ２）。
【００５８】
尚、ステップＳ２１で、画像処理部１９が、画素値ヒストグラムの処理等を実施して画質判定を行い、当該判定で規定を満たさない場合は再撮影旨のメッセージをタッチパネルディスプレイ１０５上に表示し、再度撮影する実装でもよい。このようにすることで、より精度の高い撮像画像が得られ、誤認識を低減させることができる。
【００５９】
このように第２の実施形態によって、認識処理であるスコア算出処理を行う前に、誤認識となる要因を、画像処理や眼鏡等の有無判定を行うことで除去することができ、誤認識を低減させ、もって処理遅延を抑制することができる。
【００６０】
上述の実施形態の各処理は、コンピュータで実行可能なプログラムとして実現することも可能であり、当該プログラムがインストールされたコンピュータは、実施形態に係る各処理を遂行する情報処理装置として動作することが可能である。例えば、補助記憶装置に当該プログラムが格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行し、コンピュータに実施形態に係る各処理を動作させることができる。
【００６１】
また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに適用することも可能であり、インターネット等のネットワークを通じてコンピュータにダウンロードすることも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ−ＲＯＭ等の光ディスク、ＤＶＤ−ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記録媒体として含まれる。
【００６２】
以上、この実施形態で説明した態様により、サーバ−クライアント形式の認証システムにおいて、クライアントであるモバイル機器が複数の撮像画像をまとめてサーバ装置に送信し、サーバ装置が複数の撮像画像をまとめて処理することで、装置間の通信による遅延を低減させることができる。
【００６３】
なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６４】
１、１Ａ モバイル機器、２ サーバ装置、３ ネットワーク、１０ ユーザＩＤ取得部、１１ 撮影部、１２ 送信部、１３ 認証結果判定部、１４ 個人認証補助部、１５ 認証結果送出部、１６ 認証結果利用部、１７、１７Ａ 個人情報データ、１８ 撮像条件提示部、２１、２１Ａ 認証部、２２ 顔認証データ、３１ 画像処理部、３２ メッセージ通知部、３００、３００Ａ 認証システム。
【技術分野】
【０００１】
本発明の実施形態は、顔を認識することで認証を行う技術に関する。
【背景技術】
【０００２】
人の顔が撮像されている画像データから人を識別する顔認識システムが知られており、また顔認識システムを用いて、被撮像者が本人であるかの認証を行うシステムが知られている。
【０００３】
また関連技術として、以下の文献が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１１５４６０号公報
【特許文献２】特開２０１１−１０１３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タブレットＰＣ（ＰＣ：パーソナルコンピュータ）や携帯電話機等のモバイル機器に備わる撮像機能を用いて、顔認識による本人認証を行うことを考える場合、モバイル機器であるが故の演算性能、利用可能メモリ、利用可能記録容量、消費電力の制約が大きいため、判定結果の精度と処理時間に影響する。
【０００６】
この制約のため、モバイル機器で写真撮影を行い、通信により外部に存在するサーバ装置へ撮像画像を送付し、サーバ装置上の潤沢なリソースを用いることで先に示した制約を回避することができると考えられる。しかしながら、本人であるにもかかわらず誤認識により否と判定とされると、撮像、送信処理、認証処理の各処理を再度行うこととなり、その分遅延が生ずる。これは、利用者の利便性を損なうものである。
【０００７】
本発明が解決しようとする課題は、利用権限を有する者であるにもかかわらず誤認識で否判定となることによって生ずる処理遅延を低減させる技術を提供することである。
【課題を解決するための手段】
【０００８】
実施形態の認証システムは、１つまたは複数の端末装置と、少なくとも１つのサーバ装置とを有する認証システムである。端末装置は、対象者の顔を複数回撮像して対象者の撮像画像を複数生成する撮像部と、撮像部で生成される複数の撮像画像をサーバ装置に送信する送信部と、サーバ装置から送信される、複数の撮像画像ごとのスコア情報を受信し、スコア情報それぞれの値に基づき、対象者が事前に登録されている者であるか否かを判定する判定部と、を有する。サーバ装置は、送信部によって送信される複数の撮像画像を受信し、撮像画像が予め記憶装置に記憶されているデータと類似しているかを数値で示した情報であるスコア情報を、複数の撮像画像ごとに算出し、撮像画像ごとのスコア情報を端末装置に送信するスコア算出部を有する。
【図面の簡単な説明】
【０００９】
【図１】第１、第２の実施形態の認証システムの構成例を示すハードウェアブロック図である。
【図２】第１の実施形態の認証システムの構成例を示すブロック図である。
【図３】第１、第２の実施形態の認証システムの構成例および装置間での送受信データの一例を示す図である。
【図４】第１の実施形態の認証システムの動作例を示すフローチャートである。
【図５】第１、第２の実施形態のモバイル機器が表示する識別情報入力画面、および撮像時の画面の一例を示す図である。
【図６】第１、第２の実施形態のモバイル機器が表示するＰＩＮコード入力画面、およびパターン描画入力画面の一例を示す図である。
【図７】第２の実施形態の認証システムの構成例を示すブロック図である。
【図８】第２の実施形態の認証システムの動作例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下の各実施形態では、モバイル機器とサーバ装置との連携による顔写真を用いた認証システムにおいて、判定が否であった場合の送信遅延に伴う利便性の低下を避けるために、モバイル機器を用いて一定間隔で顔写真を複数回撮影し、識別情報（以下、ＩＤと称す）および複数の撮像画像をセットでサーバ装置へ送信する。このとき、複数の撮像画像は一括してサーバ装置に送信される。送信されるＩＤは、１つのモバイル機器を１人の利用者のみが使用する場合は端末固有のＩＤとなり、１つのモバイル機器を複数ユーザが共用して使用する場合、ユーザ固有のＩＤとなる。
【００１１】
サーバ装置は、撮像画像毎に、事前に登録されているデータとの類似度を示すスコアを算出し、各スコアをモバイル機器に送信する。本人であるか否かの最終的な判定は、送信される各スコアに基づきモバイル機器側で行われる。
【００１２】
また判定に曖昧さが残る場合、モバイル機器は、ＰＩＮコード等を利用者に入力させて追加認証の実施を行う。このとき、再撮影してサーバ装置に撮像画像を再送信しないため、モバイル機器とサーバ装置との間で通信の繰り返しが発生せず、通信による処理遅延が生じない。
【００１３】
以下、各実施形態について図面を参照しつつ説明する。
【００１４】
（第１の実施形態）
図１は認証システムのハードウェア構成例を示す図である。認証システム３００は、モバイル機器１（端末装置）、サーバ装置２、ネットワーク３を有する。尚、モバイル機器１が複数となる構成でもよく、同様にサーバ装置２が複数となる構成でもよい。
【００１５】
モバイル機器１は、例えばタブレットＰＣや携帯電話機であり、演算処理装置であるプロセッサ１０１、主記憶装置であるメモリ１０２、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリ等の補助記憶装置１０３を有する。またモバイル機器１は、タッチパネルディスプレイ１０５、ＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）であるＣＣＤ１０６、カメラレンズでありＣＣＤ１０６に像を集光させて結像するレンズ１０７、外部とのデータ通信を制御する通信デバイス１０４を有する。これら各ユニットはデータバス１０８を介して互いにコマンド送受信、データ送受信を行っている。
【００１６】
サーバ装置２は、従前のハードウェア構成を有するコンピュータであり、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、通信デバイス２０４を少なくとも有し、これら各ユニットはデータバス２０８を介して互いにコマンド送受信、データ送受信を行っている。尚、サーバ装置２は入力用のキーボード、マウスや表示用のディスプレイ等を有する構成でもよい。
【００１７】
通信デバイス１０４と通信デバイス２０４とがネットワーク３を介して互いにデータの送受信を行う。ネットワーク３は、本実施形態ではＬＡＮ（Local Area Network）とし、ＩＰアドレス（ＩＰ：Internet Protocol）が装置個別に割り当てられているとする。また転送手段は有線、無線を問わず、ストリーミング方式により常時セッションが張られているものとして説明する。
【００１８】
図２は、図１で示すハードウェア構成によって実現される機能構成の一例を示す図であり、図３は、モバイル機器１、サーバ装置２の外観模式図およびモバイル機器１とサーバ装置２との間で送受信されるデータの一例を示す図である。また図２の実線矢印は処理、制御の流れを示し、破線矢印はデータの流れを示している。
【００１９】
モバイル機器１は、ユーザＩＤ取得部１０、撮影部１１、送信部１２、認証結果判定部１３（判定部）、個人認証補助部１４（認証補助部）、認証結果送出部１５、認証結果利用部１６を有する。また補助記憶装置１０３には、当該モバイル機器１を使用する利用者の個人情報データ１７が事前に記憶されている。尚、複数の利用者が共用で当該モバイル機器１を使用する場合は、補助記憶装置１０３には利用者ごとの個人情報データ１７が事前に記憶される。図２で示す各ユニットは、図１に示す各ハードウェア資源が使用されることで実現され、また補助記憶装置１０３に事前に記憶されているプログラムがメモリ１０２に展開され、プロセッサ１０１が展開後のプログラムを演算実行することで実現される。
【００２０】
サーバ装置２は認識部２１（スコア算出部）を有し、補助記憶装置２０３には事前にＩＤごとの顔認識データ２２が記憶されている。認識部２１は、補助記憶装置２０３に事前に記憶されているプログラムがメモリ２０２に展開され、プロセッサ２０１が展開後のプログラムを演算実行することで実現され、且つ図１に示す各ハードウェア資源が使用されることで実現される。
【００２１】
まずモバイル機器１内の各ユニットについて説明する。ユーザＩＤ取得部１０は、タッチパネルディスプレイ１０５を含む構成であり、利用者から、利用者の識別情報であるユーザＩＤをタッチパネルディスプレイ１０５経由で取得する。尚、ユーザＩＤ取得部１０は、複数利用者が１つのモバイル機器１を共用使用する場合に用いられる機能部であるため、１つのモバイル機器１に対して利用者が１人のみである場合、ユーザＩＤ取得部１０を有さない構成でもよい。
【００２２】
撮影部１１は、タッチパネルディスプレイ１０５、ＣＣＤ１０６、レンズ１０７のハードウェアを含む構成であり、利用者の顔を一定間隔で複数枚撮像してメモリ１０２もしくは補助記憶装置１０３に記憶する。撮影部１１は、タッチパネルディスプレイ１０５に対面している利用者の顔を、タッチパネルディスプレイ１０５の上部に配置されているレンズ１０７、およびＣＣＤ１０６を用いて撮像する。この撮像の際、利用者が現状の状態を視認できるように、タッチパネルディスプレイ１０５には、レンズ１０７を通して常時現状の状態が表示される。
【００２３】
送信部１２は、通信デバイス１０４を含む構成であり、ＩＤとともに複数の撮像画像をサーバ装置２に送信する。本実施形態では図３に示すように３回撮像して３つの撮像画像をサーバ装置２に送信するとしているが、数を限定するものではなく、複数であればよい。
【００２４】
認証結果判定部１３は、通信デバイス１０４を含む構成であり、サーバ装置２から撮像画像ごとのスコア値（スコア値については後述で説明）を受信し、受信した複数のスコア値を用いて、撮像対象の利用者が、事前に登録されている者であるか否かを判定する。換言すると、認証結果判定部１３は、対象者の次に行う行動に制限を設けるか否かを判定するものである。認証結果判定部１３は、本実施形態では「許可」、「不許可」、および、明確に断定できないもの（ここでは「曖昧」と称す）の３つの区分に分けて結果を導出する。この判定は、セキュリティポリシーに基づいて定義される複数の閾値を用いて行われる。
【００２５】
個人認証補助部１４は、認証結果判定部１３による判定結果が曖昧の区分である場合、撮像対象の利用者に対して追加で認証処理を行うユニットである。個人認証補助部１４はタッチパネルディスプレイ１０５を含む構成であり、また追加の認証処理を行う際には個人情報データ１７が使用される。個人認証補助部１４は、タッチパネルディスプレイ１０５を介して利用者から入力されるデータを取得し、この入力データが事前に登録されている個人情報データ１７と一致するかを判定する。
【００２６】
認証結果送出部１５は、認証結果判定部１３による判定結果や個人認証補助部１４による判定結果を認証結果利用部１６に出力する。認証結果利用部１６への出力以外にも、画面への判定成否の通知表示や警告音等、撮像対象者や管理者への通知であってもよく、また外部機器への通知であってもよい。
【００２７】
認証結果利用部１６は、認証結果判定部１３の判定結果、もしくは個人認証補助部１４の判定結果が許可である場合に各種アプリケーションを起動させる。尚、許可であれば各種アプリケーションを起動させ、不許可であれば起動させないとする実装以外にも、各種アプリケーションの起動は行うが、不許可の場合はその機能に制限を設ける等、さまざまな実装を適用できる。
【００２８】
個人情報データ１７は、ＰＩＮコードやパターン描画の筆跡データ（詳細は後述）等のデータであり、事前に補助記憶装置１０３に記憶されている。尚、複数利用者により１つのモバイル機器１が共用で使用される場合、利用者のＩＤと、ＰＩＮコードやパターン描画の筆跡データ等のデータとが対応付けられて事前に補助記憶装置１０３に記憶される。
【００２９】
次にサーバ装置２側のユニットについて説明する。認識部２１は、モバイル機器１から送信される複数の撮像画像を受信して、眉、目、鼻、口等の特徴部位の検出処理を行うとともに、スコア値を撮像画像ごとに算出する。このスコア値は、事前に登録されている顔認識データ２２と受信した撮像画像とが類似しているかを数値で示したものであり、本実施形態では０〜１０の数値とし、値が大きい程類似しているものとする。この特徴部位の検出処理や類似判定の技術は従前の技術が用いられる。また認識部２１は、算出したスコア値（複数）をモバイル機器１へ送信する（図３参照）。
【００３０】
顔認識データ２２は、利用者の顔写真等の画像データ（ラスターデータ）、利用者の顔についての特徴量が抽出された数値のデータ（ベクターデータ）のいずれでもよい。
【００３１】
図４は認証システム３００の動作例を示すフローチャートである。尚、ステップＳ４〜Ｓ７はサーバ装置２での動作であり、それ以外の各ステップは、モバイル機器１での動作となる。
【００３２】
まずモバイル機器１のユーザＩＤ取得部１０は、タッチパネルディスプレイ１０５にＩＤの入力画面を表示し、入力画面上に入力されたユーザＩＤを取得する（Ｓ１）。このときの入力画面の一例を図５（Ａ）に示す。利用者（対象者）は、タッチパネルディスプレイ１０５に表示されるテンキーを用いて自身のＩＤを入力する。尚、１つのモバイル機器を利用する者が１人のみである場合、ステップＳ１は省略される。
【００３３】
撮像部１１は、利用者の顔を複数回撮像する（Ｓ２）。このときのタッチパネルディスプレイ１０５に表示される画面例を図５（Ｂ）に示す。撮像部１１は、顔の位置を利用者に指定するため、枠線Ｒを画面上に表示し、顔を枠線Ｒ内に収めるように利用者に案内する。このようにすることで、撮像の精度を向上させることができる。また撮像部１１は、枠内に顔が入った状態で、例えば自動的に一定時間間隔で撮影を行い、複数の撮像画像データ（電子データ）を生成する。
【００３４】
送信部１２は、複数の撮像画像とＩＤ（モバイル機器固有のＩＤもしくはステップＳ１で入力された利用者のＩＤ）とが１つのセットとなるようにし、サーバ装置２へ送信する。本実施形態ではストリーミング形式を採用しているため、データが都度送信されるものとするが、例えばバッチ処理のように、必要に応じてサーバ装置２との通信前手続きをし、その後複数の撮像画像およびＩＤを一括で送信し、送信が完了した場合に次の処理が行われる実装でもよい。いずれにせよ、ステップＳ２で撮像した全ての画像がこのステップ３で一括送信される。
【００３５】
処理はサーバ装置２側に移行する。サーバ装置２の認識部２１は、送信される複数の撮像画像、およびＩＤを受信して、眉、目、鼻、口等の特徴部位の検出処理を撮像画像ごとに行い（Ｓ４）、ＩＤに対応する顔認識データ２２をメモリ２０２や補助記憶装置２０３から取得する（Ｓ５）。認識部２１は、取得した顔認識データ２２を用いて、撮像画像ごとにスコア値を算出する（Ｓ６）。算出されたスコア値は、その後送信元のモバイル機器１へ送信される（Ｓ７）。尚、認識部２１での機能は、ＩＤごとに複数の撮像画像を処理することができ、且つ、撮像画像ごとの類似結果を数値化して出力できればよく、認証機能についてはそれ以上の限定を設けない。
【００３６】
モバイル機器１は撮像画像ごとのスコア値（複数）をサーバ装置２から受信し（Ｓ８）、認証結果判定部１３は、このスコア値を用いて、当該利用者が事前に登録されている者であるか否かを判定する（Ｓ９〜Ｓ１１）。
【００３７】
認証結果判定部１３は、スコア値（本例では０〜１０の値）の平均値を算出し（Ｓ９）、平均値が第１の閾値（例えば４とする）未満かを判定する（Ｓ１０）。ここで第１の閾値未満である場合（Ｓ１０、Ｙｅｓ）、処理はステップＳ１６に進む。一方、第１の閾値以上である場合（Ｓ１０、Ｎｏ）、認証結果判定部１３は、平均値が第２の閾値（第１の閾値よりも大きい値であり、本例では７とする）未満かを判定する（Ｓ１１）。ここで第２の閾値未満である場合（Ｓ１１、Ｙｅｓ）、個人認証補助部１４は、追加の認証処理を行う（Ｓ１４）。
【００３８】
ここで個人認証補助部１４による追加認証処理について説明する。個人認証補助部１４は、図６（Ａ）に例示するＰＩＮコードの入力用画面をタッチパネルディスプレイ１０５に表示することで利用者からＰＩＮコードを取得したり、また図６（Ｂ）に示すように、パターン描画の入力画面を表示して利用者から筆跡データを取得したりする。
【００３９】
パターン描画の入力について詳説すると、利用者に印Ｍを数点通過させるように描画させることで（図６（Ｂ）は利用者によって「Ｚ」型の図柄が描かれている例）、利用者から筆跡データを取得する。筆跡データは、本例では印Ｍの通過の有無や通過順序とする。
【００４０】
ＰＩＮコードや筆跡データは、上述の通り個人情報データ１７として事前に補助記憶装置１０３に記憶されており、個人認証補助部１４は、ＰＩＮコードや筆跡データを補助記憶装置１０３から取得して、この取得値と、利用者に入力された値とを比較照合する。尚、複数の利用者が１つのモバイル機器を共用で使用する場合、個人認証補助部１４は、ステップＳ１で取得されたユーザＩＤに対応するＰＩＮコードや筆跡データを補助記憶装置１０３から取得し、この取得値と利用者により入力された値とを照合する。尚、個人認証補助部１４での処理はこれに限定されず、例えばモバイル機器２にマイクが備えられている場合は音声による認証であってもよく、また指紋認証等、様々な認証手法の実装が可能である。
【００４１】
ステップＳ１４での追加認証処理で不適合と判定される場合（Ｓ１５、Ｙｅｓ）、認証結果送信部１５は、不許可の通知を行う（Ｓ１６）。本実施形態では、タッチパネルディスプレイ１０５に不許可である旨が表示される。一方、ステップＳ１５で適合と判定される場合（Ｓ１５、Ｎｏ）、認証結果送信部１５は、許可通知を認証結果利用部１６へ出力し（Ｓ１２）、認証結果利用部１６は、各種アプリケーションを起動する。
【００４２】
尚、上記処理において認証結果判定部１３は、複数のスコア値から平均を算出して平均値と各閾値とを比較するとしているが、態様を限定するものではなく、例えば中間値と各閾値とを比較したり、また値が乖離しているスコア値を除外したりする実装等、様々な態様を適用させることができる。
【００４３】
ここで、認証結果判定部１３をモバイル機器側に搭載させ、本人であるか否かの最終的な判定をモバイル機器側で行わせる意義について説明する。例えば金融取引に関してのアプリケーションや、ゲームに関してのアプリケーション等、種別の異なる複数のアプリケーションが同じモバイル機器に導入されている場合、第１の閾値、第２の閾値をアプリケーション毎に記憶させ、またアプリケーションに応じて、第１の閾値、第２の閾値を調整することで、認証レベルをアプリケーション毎に異ならせることができる。これにより、認証の重要度の高い金融取引に関してのアプリケーションについては認証レベルを高くし、重要度の低いゲームに関してのアプリケーションについては認証を低くする等を実現できる。
【００４４】
また一方で、特定のモバイル機器については認証レベルを高くし、その他のモバイル機器は認証レベルを低くしたいという要望がある場合、モバイル機器ごとに閾値を異ならせることで、モバイル機器単位で認証レベルを異ならせることも可能である。
【００４５】
このような実装を考える場合、認証結果判定部１３相当の機能がサーバ装置側に有ると、モバイル機器とサーバ装置との間のデータ転送量が増加する。またモバイル機器内でのアプリケーションの追加や削除、各閾値の変更等が発生すると、サーバ装置側でのデータ更新に不備が生じる可能性もある。よって本実施形態では、サーバ装置２ではなくモバイル機器１に認証結果判定部１３を搭載させ、通信の増加を抑止するとともに、アプリケーションの追加や削除、第１の閾値や第２の閾値のカスタマイズ等に容易に追随できるようにする。
【００４６】
第１の実施形態では、複数回一括で撮像され、一括で送信されてスコア算出処理が行われる実装例について説明した。ここで、撮像が１回行われ、１つの撮像画像が送信され、１つの撮像画像のスコアを算出する処理を複数回繰り返し実行する場合、各処理が行われる毎に、各処理の起動や処理の切替えの回数が多く行われることとなる。第１の実施形態で説明したように、撮像処理を複数回纏めて行い、送信処理を複数纏めて行い、スコア算出処理を複数纏めて行うことで、各処理の起動回数や切替える回数も低減させることができるため、高速化を図ることができる。
【００４７】
また１回の撮像では、利用者が横を向いた状態や目を閉じた状態となる場合で撮像してしまう場合があり、この場合、利用権限を有する利用者であるにもかかわらず誤認識となり、再度撮像処理、認識処理を行うこととなる。当然、その分送信処理や認識処理に遅延が生ずる。第１の実施形態では、複数回撮像することで、横を向いた状態等の撮像画像があっても当該画像については除外したり、適切に撮像できた画像で均したりすることができる。
【００４８】
第１の実施形態では、判定結果が曖昧である場合はＰＩＮコート等の利用者固有の情報を入力させることで、以降の処理をモバイル機器側での処理に帰結させることができる。よって、撮像処理、送信処理、認識処理というサーバ装置との再度の連携処理を抑止でき、処理の遅延を低減させることができる。
【００４９】
（第２の実施形態）
第２の実施形態では、サーバ装置側での認識誤り（スコア算出の誤り）を軽減させるため、撮像画像をサーバ装置へ送信する前に画像処理を施す実装について説明する。また第２実施形態では、さらに、画像認識で眼鏡やマスク、帽子等を検出した場合、利用者に通知する。
【００５０】
第２の実施形態の認証システムの構成例を図７に示す。認証システム３００Ａは、モバイル機器１Ａとサーバ装置２Ａとを含む構成である。モバイル機器１Ａは、第１の実施形態のモバイル機器１に対し、画像処理部３１、メッセージ通知部３２をさらに備え、サーバ装置２Ａは、第１の実施形態の認識部２に対し、さらに撮像画像から眼鏡やマスク、帽子等、顔認識の結果で誤認識となる要因の有無を判定する機能を備えた認識部２１Ａを有する。
【００５１】
画像処理部３１は、撮像画像にホワイトバランス補正、コントラスト変換やフィルター処理等の画像処理を行うことで、ノイズを除去して一定の画質となるようにする。送信部１２は、画像処理部１９による画像処理後の撮像画像を送信する。
【００５２】
メッセージ通知部３２は、サーバ装置２Ａの認識部２１Ａが、眉、目、鼻、口等の特徴部位の検出に失敗し、眼鏡、マスクや帽子等を撮像画像から検出する場合、その旨のメッセージを利用者に通知して、利用者が眼鏡、マスクや帽子等を外すのを促す。
【００５３】
認識部２１Ａは、眉、目、鼻、口等の特徴部位の検出に失敗した場合、例えばエッジ検出処理と顔面部位の特徴抽出等の従来技術を用いて、撮像画像から眼鏡、マスクや帽子等の誤認識となる要因の有無を判定する。この判定機能以外は第１の実施形態の認識部２１と同様である。
【００５４】
図８は、認証システム３００Ａの動作例を示すフローチャートである。尚、図４のフローチャートの符号と同一の処理は、第１の実施形態と同様であるため説明を割愛する。
【００５５】
ステップＳ２での撮像後（撮像の最中でもよい）、画像処理部１９は、撮像画像に対して画像処理を施す（Ｓ２１）。画像処理後の撮像画像がステップＳ３で送信される。
【００５６】
認識部２１Ａは、眉、目、鼻、口等の特徴部位の検出に失敗した場合、受信した撮像画像に対して誤認識となる要因の有無を判定する（Ｓ２２）。ここで、眼鏡、マスクや帽子等が検出されない場合や特徴部位の検出に成功している場合（Ｓ２２、Ｎｏ）、処理はＳ５に進む。一方、眼鏡、マスクや帽子等が検出された場合（Ｓ２２、Ｙｅｓ）、事前に定義された所定情報を送信元のモバイル機器１に送信する。この際、認識部２１Ａは、現在処理している撮像画像は不要となるため削除してもよい。
【００５７】
メッセージ通知部３２は、上記の所定情報を受信した場合、タッチパネルディスプレイ１０５上に、「眼鏡、マスクや帽子等を着用している場合は、外して下さい。」等、誤認識の要因を利用者に除去させ、正規な撮像を促すようにメッセージを表示する（Ｓ２３）。この利用者への通知は、音声による通知であってもよい。その後、誤認識の要因が除去された状態で、再度撮像される（Ｓ２）。
【００５８】
尚、ステップＳ２１で、画像処理部１９が、画素値ヒストグラムの処理等を実施して画質判定を行い、当該判定で規定を満たさない場合は再撮影旨のメッセージをタッチパネルディスプレイ１０５上に表示し、再度撮影する実装でもよい。このようにすることで、より精度の高い撮像画像が得られ、誤認識を低減させることができる。
【００５９】
このように第２の実施形態によって、認識処理であるスコア算出処理を行う前に、誤認識となる要因を、画像処理や眼鏡等の有無判定を行うことで除去することができ、誤認識を低減させ、もって処理遅延を抑制することができる。
【００６０】
上述の実施形態の各処理は、コンピュータで実行可能なプログラムとして実現することも可能であり、当該プログラムがインストールされたコンピュータは、実施形態に係る各処理を遂行する情報処理装置として動作することが可能である。例えば、補助記憶装置に当該プログラムが格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行し、コンピュータに実施形態に係る各処理を動作させることができる。
【００６１】
また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに適用することも可能であり、インターネット等のネットワークを通じてコンピュータにダウンロードすることも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ−ＲＯＭ等の光ディスク、ＤＶＤ−ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記録媒体として含まれる。
【００６２】
以上、この実施形態で説明した態様により、サーバ−クライアント形式の認証システムにおいて、クライアントであるモバイル機器が複数の撮像画像をまとめてサーバ装置に送信し、サーバ装置が複数の撮像画像をまとめて処理することで、装置間の通信による遅延を低減させることができる。
【００６３】
なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６４】
１、１Ａ モバイル機器、２ サーバ装置、３ ネットワーク、１０ ユーザＩＤ取得部、１１ 撮影部、１２ 送信部、１３ 認証結果判定部、１４ 個人認証補助部、１５ 認証結果送出部、１６ 認証結果利用部、１７、１７Ａ 個人情報データ、１８ 撮像条件提示部、２１、２１Ａ 認証部、２２ 顔認証データ、３１ 画像処理部、３２ メッセージ通知部、３００、３００Ａ 認証システム。
【特許請求の範囲】
【請求項１】
１つまたは複数の端末装置と、少なくとも１つのサーバ装置とを有する認証システムであって、
前記端末装置は、
対象者の顔を複数回撮像して前記対象者の撮像画像を複数生成する撮像部と、
前記撮像部で生成される複数の撮像画像を前記サーバ装置に送信する送信部と、
前記サーバ装置から送信される、前記複数の撮像画像ごとのスコア情報を受信し、該スコア情報それぞれの値に基づき、前記対象者が、事前に登録されている者であるか否かを判定する判定部と、を有し、
前記サーバ装置は、
前記送信部によって送信される複数の撮像画像を受信し、撮像画像が予め記憶装置に記憶されているデータと類似しているかを数値で示した情報である前記スコア情報を、前記複数の撮像画像ごとに算出し、前記撮像画像ごとのスコア情報を前記端末装置に送信するスコア算出部を有する
認証システム。
【請求項２】
請求項１に記載の認証システムにおいて、
前記端末装置は、さらに、
対象者がデータを入力するための画面を表示部に表示し、対象者によって入力されるデータが、前記端末装置の記憶装置に事前に記憶されているデータと一致するか否かを判定する認証補助部を有し、
前記判定部は、前記スコア情報それぞれの値を用いて判定対象となる値を算出し、該判定対象値が事前に設定されている範囲内である場合、前記認証補助部の処理を実行する
認証システム。
【請求項３】
請求項１または２に記載の認証システムにおいて、
前記スコア算出部は、さらに、前記スコアの算出の誤りとなる要因が前記撮像画像内にあるかを判定し、該要因がある場合、前記端末装置に通知し、
前記端末装置は、さらに、前記通知を受信した場合に前記要因を取り除くように前記対象者に通知する通知部を有する
認証システム。
【請求項４】
対象者の顔を複数回撮像して前記対象者の撮像画像を複数生成する撮像部と、
前記撮像部で生成される複数の撮像画像をサーバ装置に送信する送信部と、
撮像画像が予め前記サーバ装置の記憶装置に記憶されているデータと類似しているかを数値で示した情報であるスコア情報を、前記サーバ装置から前記複数の撮像画像ごとに受信し、該スコア情報それぞれの値に基づき、前記対象者が、事前に登録されている者であるか否かを判定する判定部と、
を有する端末装置。
【請求項５】
請求項４に記載の端末装置において、さらに、
対象者がデータを入力するための画面を表示部に表示し、対象者によって入力されるデータが、前記端末装置の記憶装置に事前に記憶されているデータと一致するか否かを判定する認証補助部を有し、
前記判定部は、前記スコア情報それぞれの値を用いて判定対象となる値を算出し、該判定対象値が事前に設定されている範囲内である場合、前記認証補助部の処理を実行する
端末装置。
【請求項６】
対象者の顔が撮像された撮像画像を複数取得し、
複数の撮像画像をサーバ装置に送信し、
撮像画像が予め前記サーバ装置の記憶装置に記憶されているデータと類似しているかを数値で示した情報であるスコア情報を、前記サーバ装置から前記複数の撮像画像ごとに受信し、
前記スコア情報それぞれの値に基づき、前記対象者が、事前に登録されている者であるか否かを判定する
処理を、コンピュータに実行させるための認証プログラム。
【請求項７】
１つまたは複数の端末装置と、少なくとも１つのサーバ装置とを有するシステムで実行される認証方法であって、
前記端末装置が、
対象者の顔を複数回撮像して前記対象者の撮像画像を複数生成し、
生成される前記複数の撮像画像を前記サーバ装置に送信し、
前記サーバ装置から送信される、前記複数の撮像画像ごとのスコア情報を受信し、該スコア情報それぞれの値に基づき、前記対象者が、事前に登録されている者であるか否かを判定し、
前記サーバ装置が、
前記端末装置によって送信される複数の撮像画像を受信し、
撮像画像が予め記憶装置に記憶されているデータと類似しているかを数値で示した情報である前記スコア情報を、前記複数の撮像画像ごとに算出し、
前記撮像画像ごとのスコア情報を前記端末装置に送信する
認証方法。
【請求項１】
１つまたは複数の端末装置と、少なくとも１つのサーバ装置とを有する認証システムであって、
前記端末装置は、
対象者の顔を複数回撮像して前記対象者の撮像画像を複数生成する撮像部と、
前記撮像部で生成される複数の撮像画像を前記サーバ装置に送信する送信部と、
前記サーバ装置から送信される、前記複数の撮像画像ごとのスコア情報を受信し、該スコア情報それぞれの値に基づき、前記対象者が、事前に登録されている者であるか否かを判定する判定部と、を有し、
前記サーバ装置は、
前記送信部によって送信される複数の撮像画像を受信し、撮像画像が予め記憶装置に記憶されているデータと類似しているかを数値で示した情報である前記スコア情報を、前記複数の撮像画像ごとに算出し、前記撮像画像ごとのスコア情報を前記端末装置に送信するスコア算出部を有する
認証システム。
【請求項２】
請求項１に記載の認証システムにおいて、
前記端末装置は、さらに、
対象者がデータを入力するための画面を表示部に表示し、対象者によって入力されるデータが、前記端末装置の記憶装置に事前に記憶されているデータと一致するか否かを判定する認証補助部を有し、
前記判定部は、前記スコア情報それぞれの値を用いて判定対象となる値を算出し、該判定対象値が事前に設定されている範囲内である場合、前記認証補助部の処理を実行する
認証システム。
【請求項３】
請求項１または２に記載の認証システムにおいて、
前記スコア算出部は、さらに、前記スコアの算出の誤りとなる要因が前記撮像画像内にあるかを判定し、該要因がある場合、前記端末装置に通知し、
前記端末装置は、さらに、前記通知を受信した場合に前記要因を取り除くように前記対象者に通知する通知部を有する
認証システム。
【請求項４】
対象者の顔を複数回撮像して前記対象者の撮像画像を複数生成する撮像部と、
前記撮像部で生成される複数の撮像画像をサーバ装置に送信する送信部と、
撮像画像が予め前記サーバ装置の記憶装置に記憶されているデータと類似しているかを数値で示した情報であるスコア情報を、前記サーバ装置から前記複数の撮像画像ごとに受信し、該スコア情報それぞれの値に基づき、前記対象者が、事前に登録されている者であるか否かを判定する判定部と、
を有する端末装置。
【請求項５】
請求項４に記載の端末装置において、さらに、
対象者がデータを入力するための画面を表示部に表示し、対象者によって入力されるデータが、前記端末装置の記憶装置に事前に記憶されているデータと一致するか否かを判定する認証補助部を有し、
前記判定部は、前記スコア情報それぞれの値を用いて判定対象となる値を算出し、該判定対象値が事前に設定されている範囲内である場合、前記認証補助部の処理を実行する
端末装置。
【請求項６】
対象者の顔が撮像された撮像画像を複数取得し、
複数の撮像画像をサーバ装置に送信し、
撮像画像が予め前記サーバ装置の記憶装置に記憶されているデータと類似しているかを数値で示した情報であるスコア情報を、前記サーバ装置から前記複数の撮像画像ごとに受信し、
前記スコア情報それぞれの値に基づき、前記対象者が、事前に登録されている者であるか否かを判定する
処理を、コンピュータに実行させるための認証プログラム。
【請求項７】
１つまたは複数の端末装置と、少なくとも１つのサーバ装置とを有するシステムで実行される認証方法であって、
前記端末装置が、
対象者の顔を複数回撮像して前記対象者の撮像画像を複数生成し、
生成される前記複数の撮像画像を前記サーバ装置に送信し、
前記サーバ装置から送信される、前記複数の撮像画像ごとのスコア情報を受信し、該スコア情報それぞれの値に基づき、前記対象者が、事前に登録されている者であるか否かを判定し、
前記サーバ装置が、
前記端末装置によって送信される複数の撮像画像を受信し、
撮像画像が予め記憶装置に記憶されているデータと類似しているかを数値で示した情報である前記スコア情報を、前記複数の撮像画像ごとに算出し、
前記撮像画像ごとのスコア情報を前記端末装置に送信する
認証方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−９７７６０（Ｐ２０１３−９７７６０Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４３１６７（Ｐ２０１１−２４３１６７）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
[ Back to top ]