顔認証装置、顔認証方法及びプログラム
【課題】認証を行う操作モードに応じてその認証にかかる厳密さを変更することを可能とする。
【解決手段】顔認証装置は、撮像部が撮像した撮像画像を取得する画像取得手段と、取得された撮像画像から人物の顔を検出する顔検出手段と、予め登録されたユーザの顔画像を参照して、顔画像と検出された顔との類似度を算出する類似度算出手段と、認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を算出された類似度が上回る場合に、受け付けられた操作モードの認証を成功とする認証手段とを備える。
【解決手段】顔認証装置は、撮像部が撮像した撮像画像を取得する画像取得手段と、取得された撮像画像から人物の顔を検出する顔検出手段と、予め登録されたユーザの顔画像を参照して、顔画像と検出された顔との類似度を算出する類似度算出手段と、認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を算出された類似度が上回る場合に、受け付けられた操作モードの認証を成功とする認証手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、顔認証装置、顔認証方法及びプログラムに関する。
【背景技術】
【０００２】
従来、ＰＯＳ（Point Of Sale）端末等の情報処理装置では、デジタルカメラ等で撮像された画像からユーザ（オペレータ）の顔を認識し、予め登録されたオペレータの顔画像と比較して、ログイン等の認証を行っている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来技術では、商品登録、点検、精算等の複数の操作モードごとに、認証の厳密さを変更することができなかった。例えば、点検、精算等の店長が主に用いる操作モードでは、一般店員が商品登録の際に用いる操作モードに対して、予め登録されたオペレータの顔画像に対する類似度合いを厳密に求め、セキュリティを高めたいという要望があった。
【課題を解決するための手段】
【０００４】
上述した課題を解決するために、実施形態の顔認証装置は、撮像部が撮像した撮像画像を取得する画像取得手段と、前記取得された撮像画像から人物の顔を検出する顔検出手段と、予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出する類似度算出手段と、認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とする認証手段とを備える。
【０００５】
また、実施形態の顔認証方法は、顔認証装置における顔認証方法であって、撮像部が撮像した撮像画像を取得するステップと、前記取得された撮像画像から人物の顔を検出するステップと、予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出するステップと、認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とするステップとを含む。
【０００６】
また、実施形態のプログラムは、コンピュータを、撮像部が撮像した撮像画像を取得する画像取得手段と、前記取得された撮像画像から人物の顔を検出する顔検出手段と、予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出する類似度算出手段と、認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とする認証手段として機能させる。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態にかかる顔認証装置の一例であるチェックアウトシステムを示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、認証用ファイルのデータ構成を例示する概念図である。
【図５】図５は、ＣＰＵで実現される機能構成を示すブロック図である。
【図６】図６は、チェックアウトシステムの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下では、チェックアウトシステムを例に実施形態にかかる顔認証装置、顔認証方法及びプログラムを図面を参照して説明する。チェックアウトシステムは、一取引にかかる商品の登録、精算を行うＰＯＳ端末と、商品に添付された商品コードなどを読み取る商品読取装置とを有する構成であり、店舗システムの一例である。実施形態は、飲食店やスーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００９】
図１は、実施形態にかかる顔認証装置の一例であるチェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１０】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。
【００１１】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に向けて設けられる表示装置であり、顧客に対して情報を表示するための顧客用表示デバイス１０９が設置されている。顧客用表示デバイス１０９の表示面には、顧客用タッチパネル１０９ａが積層されている。
【００１２】
チェックアウトシステム１では、操作部としてのキーボード２２、１０７の操作、例えばテンキー２２ｄやモードキー（図示しない）の操作により、オペレータより操作モードを受け付ける。ここで、操作モードは、チェックアウトシステム１における商品登録、点検、精算等の業務処理ごとの動作モードであり、顧客によって持ち込まれた商品を登録する商品登録モード、売り上げの点検を行う点検モード、売り上げの精算を行う精算モード等がある。チェックアウトシステム１では、操作モードをオペレータより受け付けた場合、読取窓１０３の奥側に配置された撮像部１６４（図２参照）でオペレータを撮像した画像をもとに、オペレータの顔認証を行う（詳細は後述する）。次いで、チェックアウトシステム１は、オペレータの顔認証に成功した場合に、受け付けた操作モードによる処理を実行する。例えば、購入する商品Ａを入れた第１の買物カゴ１５３ａが顧客によって持ち込まれた場合、オペレータは、キーボード２２、１０７を操作して商品登録の操作モードでの顔認証を行った後に、商品Ａの登録を行う。
【００１３】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａは商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａが含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像とが関連付けられたＰＬＵ（Price Look Up）ファイルＦ１（詳細は後述する）を参照して、出力された画像の少なくとも一部の領域と類似する商品Ａの画像を検出する。次いで、ＰＯＳ端末１１では、検出された商品Ａの画像と関連する売上登録にかかる情報をもとに、商品Ａの売上を登録する。
【００１４】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。キーボード２２は、テンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆによるオペレータの操作入力をＣＰＵ６１へ出力する。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、認証処理や、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて予め格納されているＰＬＵファイルＦ１や認証用ファイルＦ２である。
【００１８】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａにユニークに割り当てられた商品ＩＤ（Identification Data）ごとに、その商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像とを格納する。商品読取装置１０１により売上登録を行う商品Ａが読み取られた場合、ＰＯＳ端末１１は、ＰＬＵファイルＦ１を参照して類似する商品画像を検出することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１９】
認証用ファイルＦ２は、チェックアウトシステム１を利用するオペレータを認証する際に参照されるファイルであり、オペレータの顔画像が予め登録されている。図４は、認証用ファイルＦ２のデータ構成を例示する概念図である。図４に示すように、認証用ファイルＦ２は、チェックアウトシステム１を利用するオペレータにユニークに割り当てられた従業員ＩＤ（Identification Data）ごとに、そのオペレータの氏名や役職等のオペレータの属性を示す情報とともに、オペレータの顔を撮像した顔データを格納している。チェックアウトシステム１では、この認証用ファイルＦ２に格納された顔データと撮像部１６４で撮像した人物の顔とを比較して、オペレータの顔認証を行う。
【００２０】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１や認証用ファイルＦ２が格納されている。
【００２１】
ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。したがって、接続インターフェース６５は、商品読取装置１０１に接続している。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容（精算金額や付与されたポイント）等をレシートに印字する。
【００２２】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２３】
撮像部１６４は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＯＭＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓ（frames per second）の動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００２４】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
【００２５】
次に、ＣＰＵ１６１、６１がプログラムを順次実行することで実現される機能部について、図５を参照して説明する。図５は、ＣＰＵ１６１、６１で実現される機能構成を示すブロック図である。図５に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、検出部１６１２、画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、類似度算出部６１１、認証部６１２としての機能を備える。
【００２６】
撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００２７】
検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる人物の顔や商品をパターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、抽出された輪郭線から人物の顔を構成する目、口、耳、鼻等の所定の要素を、予め設定されたマッチング用データとの比較で認識することで、人物の顔を検出する。なお、操作モードが商品の登録を行う商品登録モードである場合には、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。
【００２８】
なお、商品や人物の顔の検出は、画像における特徴量として色合いや表面の凸凹状況等の表面の状態を読み取ることによって特定の物体の認識する一般物体認識（generic object recognition）の技術を用いてもよい。この一般物体認識については次の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００２９】
画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、検出部１６１２により商品や人物の顔が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。
【００３０】
類似度算出部６１１は、ＰＬＵファイルＦ１に登録された商品の画像や、認証用ファイルＦ２に登録されたオペレータの顔画像を参照し、商品や人物の顔が検出されて画像出力部１６１３より出力されるフレーム画像との間の類似度合いを示す類似度を算出する。具体的には、商品読取装置１０１から出力された画像の少なくとも一部の領域と類似する画像を、パターンマッチング技術などを用いて検出する。このパターンマッチング技術は、二つの画像を比較して行う、公知の類似画像検索技術を用いるものとする。次いで、商品読取装置１０１から出力された画像の一部の領域と類似する画像との類似度を、類似点の数、類似点同士の差分、類似する領域の大きさなどをもとに算出する。ここで、認証用ファイルＦ２に登録されたオペレータの顔画像を参照して算出したオペレータの顔に関する類似度は、類似度算出部６１１に出力され、類似度算出部６１１における認証に用いられる。商品登録の操作モード時において、ＰＬＵファイルＦ１に登録された商品の画像を参照して算出した商品画像に関する類似度は、上述した売上登録の処理に用いられる。なお、類似度算出部６１１は、商品読取装置１０１から出力された画像、及び認証用ファイルＦ２に登録されたオペレータの顔画像から顔の要素である目、口、鼻、耳、髪型、装飾品、顔色などを検出し、その検出した顔の要素ごとに上述した類似度の算出を行ってもよい。顔の要素の検出については、上述した輪郭線からの検出や、一般物体認識などで行うものとする。
【００３１】
認証部６１２は、類似度算出部６１１により算出されたオペレータの顔に関する類似度が、予め設定された閾値を上回るか否かをもとに、ユーザの認証を行う。具体的には、オペレータの顔に関する類似度が予め設定された閾値を上回る場合に、ユーザの認証に成功したものとする。認証部６１２において認証を行うための閾値は、ＲＯＭ６２やＨＤＤ６４に設定情報として記憶され、上述した操作モードごとに異なる値が設定されている。具体的には、店長などの管理者が主に用いる点検、精算等の操作モードには、一般店員が主に用いる商品登録の操作モードよりも高い値の閾値が設定されている。
【００３２】
キーボード２２、１０７によりオペレータから操作モードの受け付けがあった場合、認証部６１２は、受け付けられた操作モードに対応した閾値を、ＲＯＭ６２やＨＤＤ６４に記憶された設定情報より読み出して設定する。次いで、認証部６１２は、類似度算出部６１１により算出されたオペレータの顔に関する類似度が、操作モードに対応した閾値を上回るか否かを判定する。オペレータの顔に関する類似度が操作モードに対応した閾値を上回る場合、認証部６１２は、オペレータから受け付けがあった操作モードについての認証に成功したものとする。この操作モードについての認証の成功に従い、チェックアウトシステム１では、オペレータから受け付けられた操作モードでの処理が行われることとなる。
【００３３】
このように、チェックアウトシステム１では、受け付けられた操作モードに対応してオペレータの顔認証にかかる閾値が設定されることから、商品登録、点検、精算等の複数の操作モードごとに、認証の厳密さを変更することが可能となる。例えば、点検、精算等の店長が主に用いる操作モードでは、一般店員が商品登録の際に用いる操作モードに対して、予め登録されたオペレータの顔画像に対する類似度合いを厳密に求め、セキュリティを高めることができる。
【００３４】
ＲＯＭ６２やＨＤＤ６４に設定情報として記憶される閾値は、目、口、鼻、耳、髪型、装飾品、顔色等の顔の要素ごとに異なる値が設定されてもよい。具体的には、目、口、鼻、耳については、経時での変化が小さいことから、経時での変化が大きい髪型、装飾品、顔色よりも高い値の閾値が設定される。認証部６１２は、類似度算出部６１１により顔の要素ごとに算出された類似度の各々が、顔の要素ごとの閾値の各々を上回る場合に、認証に成功したものとする。このように、チェックアウトシステム１では、目、口、鼻、耳、髪型、装飾品、顔色等の顔の要素ごとに、認証に用いる閾値を設定することで、経時での変化が大きい要素については低い閾値とするなどして、誤認証とされることを防止できる。
【００３５】
次に、チェックアウトシステム１の動作について詳細に説明する。図６は、チェックアウトシステム１の動作の一例を示すフローチャートである。
【００３６】
先ず、商品読取装置１０１側の動作について説明する。図６に示すように、電源の投入などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（Ｓ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（Ｓ２）。次いで、検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から人物の顔の検出を行う（Ｓ３）。次いで、画像出力部１６１３は、検出部１６１２により人物の顔が検出されたフレーム画像をＰＯＳ端末１１へ出力する（Ｓ４）。
【００３７】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から処理の終了通知などにより、業務終了の有無を判定する（Ｓ５）。業務を継続する場合（Ｓ５：ＮＯ）、ＣＰＵ１６１は、Ｓ２へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ５：ＹＥＳ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（Ｓ６）、処理を終了する。
【００３８】
次に、ＰＯＳ端末１１側の動作について説明する。図６に示すように、電源の投入などに応じて処理が開始されると、ＣＰＵ６１は、オペレータから操作モードを受け付けてログイン認証を促すログイン画面を表示デバイス１０６に表示する（Ｓ１１）。次いで、ＣＰＵ６１は、キーボード２２、１０７により、操作モードをオペレータから受け付ける（Ｓ１２）。
【００３９】
次いで、ＣＰＵ６１は、人物の顔が検出されたフレーム画像を商品読取装置１０１より受信する（Ｓ１３）。次いで、類似度算出部６１１は、パターンマッチング技術などにより、受信したフレーム画像からオペレータの顔画像に類似する顔を認識する（Ｓ１４）。次いで、類似度算出部６１１は、認証用ファイルＦ２に登録されたオペレータの顔画像を参照し、認識した顔と登録されたオペレータの顔画像との間の類似度を算出する（Ｓ１５）。
【００４０】
次いで、認証部６１２は、オペレータから受け付けた操作モードをもとに、ＲＯＭ６２やＨＤＤ６４に記憶された設定情報を参照して、その操作モードに対応した閾値を設定する（Ｓ１６）。次いで、認証部６１２は、類似度算出部６１１により算出された類似度が操作モードに対応して設定した閾値を超えている（上回る）か否かを判定する（Ｓ１７）。
【００４１】
類似度が操作モードに対応して設定した閾値を超えていない場合（Ｓ１７：ＮＯ）、認証に失敗したことから、ＣＰＵ６１は、認証用ファイルＦ２にオペレータとしての登録がなされていない未登録者であり、認証に失敗していること報知する。この認証に失敗していることの報知は、表示デバイス１０６等への表示出力（例えばログイン画面におけるポップアップ表示）や、音声出力部１６５からの警告音声の出力などで行われてよい。
【００４２】
類似度が操作モードに対応して設定した閾値を超えている場合（Ｓ１７：ＹＥＳ）、認証部６１２は、オペレータから受け付けがあった操作モードについての認証に成功したものとし、その操作モードでのログインが行われる（Ｓ１９）。Ｓ１９以後のチェックアウトシステム１では、オペレータから受け付けられた操作モードでの処理が行われることとなる。
【００４３】
次いで、ＣＰＵ６１は、キーボード２２の業務の終了操作などによる業務終了の有無を判定する（Ｓ２０）。業務を継続する場合（Ｓ２０：ＮＯ）、ＣＰＵ６１は、オペレータから受け付けられた操作モードでの処理を継続して行う。業務を終了する場合（Ｓ２０：ＹＥＳ）、ＣＰＵ６１は、商品読取装置１０１に終了通知を送信し（Ｓ２１）、処理を終了する。
【００４４】
なお、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disc Recordable）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４５】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４６】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、上述した各部（類似度算出部６１１、認証部６１２、撮像画像取込部１６１１、検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
【符号の説明】
【００４７】
１…チェックアウトシステム、１１…ＰＯＳ端末、２１…ドロワ、２２…キーボード、２２ｄ…テンキー、２２ｅ…仮締めキー、２２ｆ…締めキー、２３…表示デバイス、２３ａ…表示面、２４…顧客用表示デバイス、２４ａ…表示面、２５…通信インターフェース、２６…タッチパネル、５１…チェックアウト台、６０…マイクロコンピュータ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…ＨＤＤ、６５…接続インターフェース、６６…プリンタ、１０１…商品読取装置、１０２…ハウジング、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、１０９ａ…顧客用タッチパネル、１５１…カウンタ台、１５２…荷受面、１５３…買物カゴ、１５３ａ…第１の買物カゴ、１５３ｂ…第２の買物カゴ、１６０…マイクロコンピュータ、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ、１６４…撮像部、１６５…音声出力部、１７５…接続インターフェース、１７６…接続インターフェース、１６１１…撮像画像取込部、１６１２…検出部、１６１３…画像出力部、６１１…類似度算出部、６１２…認証部、Ａ…商品、Ｆ１…ＰＬＵファイル、Ｆ２…認証用ファイル、ＰＲ…プログラム、ＳＣ…ストアコンピュータ
【先行技術文献】
【特許文献】
【００４８】
【特許文献１】特許第４１１５３２９号公報
【技術分野】
【０００１】
本発明の実施形態は、顔認証装置、顔認証方法及びプログラムに関する。
【背景技術】
【０００２】
従来、ＰＯＳ（Point Of Sale）端末等の情報処理装置では、デジタルカメラ等で撮像された画像からユーザ（オペレータ）の顔を認識し、予め登録されたオペレータの顔画像と比較して、ログイン等の認証を行っている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来技術では、商品登録、点検、精算等の複数の操作モードごとに、認証の厳密さを変更することができなかった。例えば、点検、精算等の店長が主に用いる操作モードでは、一般店員が商品登録の際に用いる操作モードに対して、予め登録されたオペレータの顔画像に対する類似度合いを厳密に求め、セキュリティを高めたいという要望があった。
【課題を解決するための手段】
【０００４】
上述した課題を解決するために、実施形態の顔認証装置は、撮像部が撮像した撮像画像を取得する画像取得手段と、前記取得された撮像画像から人物の顔を検出する顔検出手段と、予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出する類似度算出手段と、認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とする認証手段とを備える。
【０００５】
また、実施形態の顔認証方法は、顔認証装置における顔認証方法であって、撮像部が撮像した撮像画像を取得するステップと、前記取得された撮像画像から人物の顔を検出するステップと、予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出するステップと、認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とするステップとを含む。
【０００６】
また、実施形態のプログラムは、コンピュータを、撮像部が撮像した撮像画像を取得する画像取得手段と、前記取得された撮像画像から人物の顔を検出する顔検出手段と、予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出する類似度算出手段と、認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とする認証手段として機能させる。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態にかかる顔認証装置の一例であるチェックアウトシステムを示す斜視図である。
【図２】図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。
【図３】図３は、ＰＬＵファイルのデータ構成を例示する概念図である。
【図４】図４は、認証用ファイルのデータ構成を例示する概念図である。
【図５】図５は、ＣＰＵで実現される機能構成を示すブロック図である。
【図６】図６は、チェックアウトシステムの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下では、チェックアウトシステムを例に実施形態にかかる顔認証装置、顔認証方法及びプログラムを図面を参照して説明する。チェックアウトシステムは、一取引にかかる商品の登録、精算を行うＰＯＳ端末と、商品に添付された商品コードなどを読み取る商品読取装置とを有する構成であり、店舗システムの一例である。実施形態は、飲食店やスーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
【０００９】
図１は、実施形態にかかる顔認証装置の一例であるチェックアウトシステム１を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。
【００１０】
ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。
【００１１】
カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に向けて設けられる表示装置であり、顧客に対して情報を表示するための顧客用表示デバイス１０９が設置されている。顧客用表示デバイス１０９の表示面には、顧客用タッチパネル１０９ａが積層されている。
【００１２】
チェックアウトシステム１では、操作部としてのキーボード２２、１０７の操作、例えばテンキー２２ｄやモードキー（図示しない）の操作により、オペレータより操作モードを受け付ける。ここで、操作モードは、チェックアウトシステム１における商品登録、点検、精算等の業務処理ごとの動作モードであり、顧客によって持ち込まれた商品を登録する商品登録モード、売り上げの点検を行う点検モード、売り上げの精算を行う精算モード等がある。チェックアウトシステム１では、操作モードをオペレータより受け付けた場合、読取窓１０３の奥側に配置された撮像部１６４（図２参照）でオペレータを撮像した画像をもとに、オペレータの顔認証を行う（詳細は後述する）。次いで、チェックアウトシステム１は、オペレータの顔認証に成功した場合に、受け付けた操作モードによる処理を実行する。例えば、購入する商品Ａを入れた第１の買物カゴ１５３ａが顧客によって持ち込まれた場合、オペレータは、キーボード２２、１０７を操作して商品登録の操作モードでの顔認証を行った後に、商品Ａの登録を行う。
【００１３】
顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａは商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４により撮像された画像に商品Ａが含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像とが関連付けられたＰＬＵ（Price Look Up）ファイルＦ１（詳細は後述する）を参照して、出力された画像の少なくとも一部の領域と類似する商品Ａの画像を検出する。次いで、ＰＯＳ端末１１では、検出された商品Ａの画像と関連する売上登録にかかる情報をもとに、商品Ａの売上を登録する。
【００１４】
図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１（Central Processing Unit）に、ＲＯＭ６２（Read Only Memory）とＲＡＭ６３（Random Access Memory）とがバス接続されて構成されている。
【００１５】
ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。
【００１６】
キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。キーボード２２は、テンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆによるオペレータの操作入力をＣＰＵ６１へ出力する。
【００１７】
ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、認証処理や、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて予め格納されているＰＬＵファイルＦ１や認証用ファイルＦ２である。
【００１８】
ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａにユニークに割り当てられた商品ＩＤ（Identification Data）ごとに、その商品Ａが属する商品分類、商品名、単価などの商品に関する情報と、その商品を撮像した商品画像とを格納する。商品読取装置１０１により売上登録を行う商品Ａが読み取られた場合、ＰＯＳ端末１１は、ＰＬＵファイルＦ１を参照して類似する商品画像を検出することで売上登録を行う商品Ａを特定し、その特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。
【００１９】
認証用ファイルＦ２は、チェックアウトシステム１を利用するオペレータを認証する際に参照されるファイルであり、オペレータの顔画像が予め登録されている。図４は、認証用ファイルＦ２のデータ構成を例示する概念図である。図４に示すように、認証用ファイルＦ２は、チェックアウトシステム１を利用するオペレータにユニークに割り当てられた従業員ＩＤ（Identification Data）ごとに、そのオペレータの氏名や役職等のオペレータの属性を示す情報とともに、オペレータの顔を撮像した顔データを格納している。チェックアウトシステム１では、この認証用ファイルＦ２に格納された顔データと撮像部１６４で撮像した人物の顔とを比較して、オペレータの顔認証を行う。
【００２０】
図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１や認証用ファイルＦ２が格納されている。
【００２１】
ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。したがって、接続インターフェース６５は、商品読取装置１０１に接続している。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容（精算金額や付与されたポイント）等をレシートに印字する。
【００２２】
商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。
【００２３】
撮像部１６４は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＯＭＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓ（frames per second）の動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像はＲＡＭ１６３に保存される。音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。
【００２４】
さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１の制御の下、商品読取装置１０１の撮像部１６４によって撮像された画像は、接続インターフェース１７５を介して出力され、接続インターフェース６５を介してＰＯＳ端末１１に入力される。
【００２５】
次に、ＣＰＵ１６１、６１がプログラムを順次実行することで実現される機能部について、図５を参照して説明する。図５は、ＣＰＵ１６１、６１で実現される機能構成を示すブロック図である。図５に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像画像取込部１６１１、検出部１６１２、画像出力部１６１３としての機能を備える。同様に、ＣＰＵ６１は、類似度算出部６１１、認証部６１２としての機能を備える。
【００２６】
撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。
【００２７】
検出部１６１２は、撮像画像取込部１６１１により取り込まれたフレーム画像に含まれる人物の顔や商品をパターンマッチング技術などを用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。次いで、抽出された輪郭線から人物の顔を構成する目、口、耳、鼻等の所定の要素を、予め設定されたマッチング用データとの比較で認識することで、人物の顔を検出する。なお、操作モードが商品の登録を行う商品登録モードである場合には、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。
【００２８】
なお、商品や人物の顔の検出は、画像における特徴量として色合いや表面の凸凹状況等の表面の状態を読み取ることによって特定の物体の認識する一般物体認識（generic object recognition）の技術を用いてもよい。この一般物体認識については次の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
【００２９】
画像出力部１６１３は、撮像画像取込部１６１１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部１６１３は撮像画像取込部１６１１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、本実施形態では、検出部１６１２により商品や人物の顔が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。
【００３０】
類似度算出部６１１は、ＰＬＵファイルＦ１に登録された商品の画像や、認証用ファイルＦ２に登録されたオペレータの顔画像を参照し、商品や人物の顔が検出されて画像出力部１６１３より出力されるフレーム画像との間の類似度合いを示す類似度を算出する。具体的には、商品読取装置１０１から出力された画像の少なくとも一部の領域と類似する画像を、パターンマッチング技術などを用いて検出する。このパターンマッチング技術は、二つの画像を比較して行う、公知の類似画像検索技術を用いるものとする。次いで、商品読取装置１０１から出力された画像の一部の領域と類似する画像との類似度を、類似点の数、類似点同士の差分、類似する領域の大きさなどをもとに算出する。ここで、認証用ファイルＦ２に登録されたオペレータの顔画像を参照して算出したオペレータの顔に関する類似度は、類似度算出部６１１に出力され、類似度算出部６１１における認証に用いられる。商品登録の操作モード時において、ＰＬＵファイルＦ１に登録された商品の画像を参照して算出した商品画像に関する類似度は、上述した売上登録の処理に用いられる。なお、類似度算出部６１１は、商品読取装置１０１から出力された画像、及び認証用ファイルＦ２に登録されたオペレータの顔画像から顔の要素である目、口、鼻、耳、髪型、装飾品、顔色などを検出し、その検出した顔の要素ごとに上述した類似度の算出を行ってもよい。顔の要素の検出については、上述した輪郭線からの検出や、一般物体認識などで行うものとする。
【００３１】
認証部６１２は、類似度算出部６１１により算出されたオペレータの顔に関する類似度が、予め設定された閾値を上回るか否かをもとに、ユーザの認証を行う。具体的には、オペレータの顔に関する類似度が予め設定された閾値を上回る場合に、ユーザの認証に成功したものとする。認証部６１２において認証を行うための閾値は、ＲＯＭ６２やＨＤＤ６４に設定情報として記憶され、上述した操作モードごとに異なる値が設定されている。具体的には、店長などの管理者が主に用いる点検、精算等の操作モードには、一般店員が主に用いる商品登録の操作モードよりも高い値の閾値が設定されている。
【００３２】
キーボード２２、１０７によりオペレータから操作モードの受け付けがあった場合、認証部６１２は、受け付けられた操作モードに対応した閾値を、ＲＯＭ６２やＨＤＤ６４に記憶された設定情報より読み出して設定する。次いで、認証部６１２は、類似度算出部６１１により算出されたオペレータの顔に関する類似度が、操作モードに対応した閾値を上回るか否かを判定する。オペレータの顔に関する類似度が操作モードに対応した閾値を上回る場合、認証部６１２は、オペレータから受け付けがあった操作モードについての認証に成功したものとする。この操作モードについての認証の成功に従い、チェックアウトシステム１では、オペレータから受け付けられた操作モードでの処理が行われることとなる。
【００３３】
このように、チェックアウトシステム１では、受け付けられた操作モードに対応してオペレータの顔認証にかかる閾値が設定されることから、商品登録、点検、精算等の複数の操作モードごとに、認証の厳密さを変更することが可能となる。例えば、点検、精算等の店長が主に用いる操作モードでは、一般店員が商品登録の際に用いる操作モードに対して、予め登録されたオペレータの顔画像に対する類似度合いを厳密に求め、セキュリティを高めることができる。
【００３４】
ＲＯＭ６２やＨＤＤ６４に設定情報として記憶される閾値は、目、口、鼻、耳、髪型、装飾品、顔色等の顔の要素ごとに異なる値が設定されてもよい。具体的には、目、口、鼻、耳については、経時での変化が小さいことから、経時での変化が大きい髪型、装飾品、顔色よりも高い値の閾値が設定される。認証部６１２は、類似度算出部６１１により顔の要素ごとに算出された類似度の各々が、顔の要素ごとの閾値の各々を上回る場合に、認証に成功したものとする。このように、チェックアウトシステム１では、目、口、鼻、耳、髪型、装飾品、顔色等の顔の要素ごとに、認証に用いる閾値を設定することで、経時での変化が大きい要素については低い閾値とするなどして、誤認証とされることを防止できる。
【００３５】
次に、チェックアウトシステム１の動作について詳細に説明する。図６は、チェックアウトシステム１の動作の一例を示すフローチャートである。
【００３６】
先ず、商品読取装置１０１側の動作について説明する。図６に示すように、電源の投入などに応じて処理が開始されると、撮像画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（Ｓ１）。次いで、撮像画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（Ｓ２）。次いで、検出部１６１２は、撮像画像取込部１６１１が取り込んだフレーム画像から人物の顔の検出を行う（Ｓ３）。次いで、画像出力部１６１３は、検出部１６１２により人物の顔が検出されたフレーム画像をＰＯＳ端末１１へ出力する（Ｓ４）。
【００３７】
次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から処理の終了通知などにより、業務終了の有無を判定する（Ｓ５）。業務を継続する場合（Ｓ５：ＮＯ）、ＣＰＵ１６１は、Ｓ２へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ５：ＹＥＳ）、撮像画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（Ｓ６）、処理を終了する。
【００３８】
次に、ＰＯＳ端末１１側の動作について説明する。図６に示すように、電源の投入などに応じて処理が開始されると、ＣＰＵ６１は、オペレータから操作モードを受け付けてログイン認証を促すログイン画面を表示デバイス１０６に表示する（Ｓ１１）。次いで、ＣＰＵ６１は、キーボード２２、１０７により、操作モードをオペレータから受け付ける（Ｓ１２）。
【００３９】
次いで、ＣＰＵ６１は、人物の顔が検出されたフレーム画像を商品読取装置１０１より受信する（Ｓ１３）。次いで、類似度算出部６１１は、パターンマッチング技術などにより、受信したフレーム画像からオペレータの顔画像に類似する顔を認識する（Ｓ１４）。次いで、類似度算出部６１１は、認証用ファイルＦ２に登録されたオペレータの顔画像を参照し、認識した顔と登録されたオペレータの顔画像との間の類似度を算出する（Ｓ１５）。
【００４０】
次いで、認証部６１２は、オペレータから受け付けた操作モードをもとに、ＲＯＭ６２やＨＤＤ６４に記憶された設定情報を参照して、その操作モードに対応した閾値を設定する（Ｓ１６）。次いで、認証部６１２は、類似度算出部６１１により算出された類似度が操作モードに対応して設定した閾値を超えている（上回る）か否かを判定する（Ｓ１７）。
【００４１】
類似度が操作モードに対応して設定した閾値を超えていない場合（Ｓ１７：ＮＯ）、認証に失敗したことから、ＣＰＵ６１は、認証用ファイルＦ２にオペレータとしての登録がなされていない未登録者であり、認証に失敗していること報知する。この認証に失敗していることの報知は、表示デバイス１０６等への表示出力（例えばログイン画面におけるポップアップ表示）や、音声出力部１６５からの警告音声の出力などで行われてよい。
【００４２】
類似度が操作モードに対応して設定した閾値を超えている場合（Ｓ１７：ＹＥＳ）、認証部６１２は、オペレータから受け付けがあった操作モードについての認証に成功したものとし、その操作モードでのログインが行われる（Ｓ１９）。Ｓ１９以後のチェックアウトシステム１では、オペレータから受け付けられた操作モードでの処理が行われることとなる。
【００４３】
次いで、ＣＰＵ６１は、キーボード２２の業務の終了操作などによる業務終了の有無を判定する（Ｓ２０）。業務を継続する場合（Ｓ２０：ＮＯ）、ＣＰＵ６１は、オペレータから受け付けられた操作モードでの処理を継続して行う。業務を終了する場合（Ｓ２０：ＹＥＳ）、ＣＰＵ６１は、商品読取装置１０１に終了通知を送信し（Ｓ２１）、処理を終了する。
【００４４】
なお、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disc Recordable）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４５】
さらに、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４６】
本実施形態のＰＯＳ端末１１、商品読取装置１０１で実行されるプログラムは、上述した各部（類似度算出部６１１、認証部６１２、撮像画像取込部１６１１、検出部１６１２、画像出力部１６１３）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
【符号の説明】
【００４７】
１…チェックアウトシステム、１１…ＰＯＳ端末、２１…ドロワ、２２…キーボード、２２ｄ…テンキー、２２ｅ…仮締めキー、２２ｆ…締めキー、２３…表示デバイス、２３ａ…表示面、２４…顧客用表示デバイス、２４ａ…表示面、２５…通信インターフェース、２６…タッチパネル、５１…チェックアウト台、６０…マイクロコンピュータ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…ＨＤＤ、６５…接続インターフェース、６６…プリンタ、１０１…商品読取装置、１０２…ハウジング、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、１０９ａ…顧客用タッチパネル、１５１…カウンタ台、１５２…荷受面、１５３…買物カゴ、１５３ａ…第１の買物カゴ、１５３ｂ…第２の買物カゴ、１６０…マイクロコンピュータ、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ、１６４…撮像部、１６５…音声出力部、１７５…接続インターフェース、１７６…接続インターフェース、１６１１…撮像画像取込部、１６１２…検出部、１６１３…画像出力部、６１１…類似度算出部、６１２…認証部、Ａ…商品、Ｆ１…ＰＬＵファイル、Ｆ２…認証用ファイル、ＰＲ…プログラム、ＳＣ…ストアコンピュータ
【先行技術文献】
【特許文献】
【００４８】
【特許文献１】特許第４１１５３２９号公報
【特許請求の範囲】
【請求項１】
撮像部が撮像した撮像画像を取得する画像取得手段と、
前記取得された撮像画像から人物の顔を検出する顔検出手段と、
予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出する類似度算出手段と、
認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とする認証手段と、
を備える顔認証装置。
【請求項２】
前記類似度算出手段は、顔の要素ごとに前記類似度を算出し、
前記閾値は、前記顔の要素ごとに異なる値が設定され、
前記認証手段は、前記算出された顔の要素ごとの類似度の各々が、前記受け付けられた操作モードに対応して設定された前記顔の要素ごとの閾値の各々を上回る場合に、当該受け付けられた操作モードの認証を成功とする、
請求項１に記載の顔認証装置。
【請求項３】
前記顔の要素は、目、口、鼻、耳、髪型、装飾品、顔色の中の少なくとも一つであり、
目、口、鼻、耳の閾値は、髪型、装飾品、顔色の閾値よりも高い値が設定される、
請求項２に記載の顔認証装置。
【請求項４】
前記認証手段は、前記受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回らずに、前記受け付けられた操作モードの認証に失敗した場合に、当該認証が失敗したことをユーザに報知する、
請求項１乃至３のいずれか一項に記載の顔認証装置。
【請求項５】
顔認証装置における顔認証方法であって、
撮像部が撮像した撮像画像を取得するステップと、
前記取得された撮像画像から人物の顔を検出するステップと、
予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出するステップと、
認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とするステップと、
を含む顔認証方法。
【請求項６】
コンピュータを、
撮像部が撮像した撮像画像を取得する画像取得手段と、
前記取得された撮像画像から人物の顔を検出する顔検出手段と、
予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出する類似度算出手段と、
認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とする認証手段と、
して機能させるためのプログラム。
【請求項１】
撮像部が撮像した撮像画像を取得する画像取得手段と、
前記取得された撮像画像から人物の顔を検出する顔検出手段と、
予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出する類似度算出手段と、
認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とする認証手段と、
を備える顔認証装置。
【請求項２】
前記類似度算出手段は、顔の要素ごとに前記類似度を算出し、
前記閾値は、前記顔の要素ごとに異なる値が設定され、
前記認証手段は、前記算出された顔の要素ごとの類似度の各々が、前記受け付けられた操作モードに対応して設定された前記顔の要素ごとの閾値の各々を上回る場合に、当該受け付けられた操作モードの認証を成功とする、
請求項１に記載の顔認証装置。
【請求項３】
前記顔の要素は、目、口、鼻、耳、髪型、装飾品、顔色の中の少なくとも一つであり、
目、口、鼻、耳の閾値は、髪型、装飾品、顔色の閾値よりも高い値が設定される、
請求項２に記載の顔認証装置。
【請求項４】
前記認証手段は、前記受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回らずに、前記受け付けられた操作モードの認証に失敗した場合に、当該認証が失敗したことをユーザに報知する、
請求項１乃至３のいずれか一項に記載の顔認証装置。
【請求項５】
顔認証装置における顔認証方法であって、
撮像部が撮像した撮像画像を取得するステップと、
前記取得された撮像画像から人物の顔を検出するステップと、
予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出するステップと、
認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とするステップと、
を含む顔認証方法。
【請求項６】
コンピュータを、
撮像部が撮像した撮像画像を取得する画像取得手段と、
前記取得された撮像画像から人物の顔を検出する顔検出手段と、
予め登録されたユーザの顔画像を参照して、当該顔画像と前記検出された顔との類似度を算出する類似度算出手段と、
認証を行う操作モードごとに予め設定された閾値をもとに、操作部により受け付けられた操作モードに対応して設定された閾値を前記算出された類似度が上回る場合に、当該受け付けられた操作モードの認証を成功とする認証手段と、
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−４５３００（Ｐ２０１３−４５３００Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８２９９７（Ｐ２０１１−１８２９９７）
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]