携帯情報端末装置
【課題】 不正使用者を特定するのに有用な情報のみを記憶することができる携帯情報端末装置を提供することを目的とする。
【解決手段】 特徴抽出部４０２Ａにおいて撮影画像から特徴情報は抽出されたが、その特徴情報と登録特徴情報との一致度が認証閾値よりも小さいと一致度判定部４０２Ｃにおいて判定された場合に、エラー履歴情報管理部４０４がそのときのエラー履歴情報をエラー履歴情報記憶部４１４に格納する。これにより、真のユーザとは異なる者、例えば携帯電話機を盗んだ者などが、その携帯電話機を不正に使用しようとして、その者の顔画像から特徴情報が抽出された場合にのみ、認証処理において認証に失敗した履歴情報をエラー履歴情報として格納し、携帯電話機を取り戻した後、エラー履歴情報からその者を特定することができる。
【解決手段】 特徴抽出部４０２Ａにおいて撮影画像から特徴情報は抽出されたが、その特徴情報と登録特徴情報との一致度が認証閾値よりも小さいと一致度判定部４０２Ｃにおいて判定された場合に、エラー履歴情報管理部４０４がそのときのエラー履歴情報をエラー履歴情報記憶部４１４に格納する。これにより、真のユーザとは異なる者、例えば携帯電話機を盗んだ者などが、その携帯電話機を不正に使用しようとして、その者の顔画像から特徴情報が抽出された場合にのみ、認証処理において認証に失敗した履歴情報をエラー履歴情報として格納し、携帯電話機を取り戻した後、エラー履歴情報からその者を特定することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯情報端末装置に係り、更に詳しくは、撮影画像に基づいて認証処理を行う携帯情報端末装置の改良に関する。
【背景技術】
【０００２】
携帯電話機などの携帯情報端末装置の中には、被写体を撮影して画像データを生成するカメラを備えているものがある。この種の携帯情報端末装置において、最近では、操作中にカメラによる顔画像の撮影を促し、撮影した顔画像から抽出される目、鼻、口及び輪郭の形や大きさなどの特徴情報を、携帯情報端末装置に備えられたメモリに登録特徴情報として予め記憶されているユーザの特徴情報と比較することにより、認証処理（いわゆる顔認証）を行うようになっているものがある。認証処理の結果、撮影画像から抽出された特徴情報とユーザの特徴情報との一致度が認識閾値を超えた場合にのみ、そのとき操作を行っている者が真のユーザであると判断し、その後の処理の実行を許可することにより、セキュリティの向上やプライバシーの保護を図ることができる（例えば、特許文献１参照）。
【０００３】
認証処理の際に撮影した画像は、通常、メモリには記憶されず、その画像から抽出された特徴情報だけがメモリに記憶され、その特徴情報と登録特徴情報とが比較される。ここで、真のユーザとは異なる者、例えば盗んだ携帯情報端末装置の操作を行う者などが、その携帯情報端末装置を不正に使用しようとした場合、認証処理時に撮影した画像を履歴情報として記憶しておくことができれば、携帯情報端末装置を取り戻した後、記憶されている画像からその不正使用者を特定することができ便利である。そこで、この種の技術分野では、認証処理に失敗した場合に、認証処理時に撮影した画像を履歴情報として記憶する技術が種々提案されている（例えば、特許文献１〜３参照）。
【特許文献１】特開２０００−２７８６５８号公報
【特許文献２】特開２００５−１１５４８５号公報
【特許文献３】特開２００５−０８４９９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、認証処理に失敗した場合、認証処理時に撮影した画像がいかなる画像であっても履歴情報として記憶される。したがって、例えば、認証処理時に、操作を行う者が自分の顔ではなく周囲の風景を撮影した場合などであっても、その画像が履歴としてメモリに記憶されてしまう。すなわち、不正使用者を特定するために全く必要のない情報がメモリに記憶されてしまい、メモリの使用量が必要以上に増加する場合があった。
【０００５】
本発明は、上記の事情に鑑みてなされたものであり、不正使用者を特定するのに有用な情報のみを記憶することができる携帯情報端末装置を提供することを目的とする。
【０００６】
また、本発明は、メモリの使用量を低減することができる携帯情報端末装置を提供することを目的とする。
【０００７】
また、本発明は、不正使用者をより確実に特定できる携帯情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の本発明による携帯情報端末装置は、被写体を撮影するための撮像手段と、顔画像から抽出された特徴情報を登録特徴情報として予め記憶しておく特徴情報記憶手段と、上記登録特徴情報を用いて、上記撮像手段による撮影画像に基づく認証処理を行う認証処理手段と、上記認証処理において認証に失敗した履歴情報をエラー履歴情報としてエラー履歴記憶手段に格納するエラー履歴管理手段とを備え、上記認証処理手段が、上記撮影画像から特徴情報を抽出する特徴抽出手段と、上記特徴抽出手段により抽出された特徴情報を上記特徴情報記憶手段に記憶されている登録特徴情報と比較し、数値化された一致度を求める一致度算出手段と、上記一致度を認証閾値と比較する一致度判定手段とを有し、上記エラー履歴管理手段は、上記特徴抽出手段において特徴情報が抽出され、かつ、上記一致度判定手段において一致度が認証閾値よりも小さいと判定された場合に、上記エラー履歴記憶手段にエラー履歴情報を格納する。
【０００９】
このような構成によれば、撮影画像から特徴情報は抽出されたが、その特徴情報と登録特徴情報との一致度が認証閾値よりも小さいと判定された場合にのみ、エラー履歴情報を格納することができる。すなわち、撮影画像が顔画像であり、例えば目、鼻、口及び輪郭の形や大きさといった顔画像の特徴情報が抽出されたにもかかわらず、登録特徴情報として予め記憶されているユーザの特徴情報との一致度が認証閾値よりも小さく、真のユーザでないと判断された場合にのみ、エラー履歴情報を格納することができる。
【００１０】
これにより、真のユーザとは異なる者、例えば携帯情報端末装置を盗んだ者などが、その携帯情報端末装置を不正に使用しようとして、その者の顔画像から特徴情報が抽出された場合にのみ、認証処理において認証に失敗した履歴情報をエラー履歴情報として格納し、携帯情報端末装置を取り戻した後、エラー履歴情報からその者を特定することができる。したがって、撮影画像から不正使用者と特定できないような場合にエラー履歴情報が格納されるのを防止できるので、不正使用者を特定するのに有用な情報のみを記憶することができ、メモリの使用量を低減することができる。
【００１１】
第２の本発明による携帯情報端末装置は、計時を行うための計時手段を備え、上記エラー履歴情報には、上記認証処理が行われたときに上記計時手段により計時された時間情報が含まれる。
【００１２】
このような構成によれば、認証処理が行われたときの時間情報をエラー履歴情報として格納することができる。したがって、携帯情報端末装置を取り戻した後、認証処理が行われたときの時間情報から不正使用者を特定することができるので、不正使用者をより確実に特定できる。
【００１３】
第３の本発明による携帯情報端末装置において、上記エラー履歴情報には、上記認証処理に用いられた上記撮像手段による撮影画像が含まれる。
【００１４】
このような構成によれば、認証処理に用いられた撮影画像、すなわち、特徴情報が抽出された顔画像をエラー履歴情報として格納することができる。したがって、携帯情報端末装置を取り戻した後、顔画像から不正使用者を特定することができるので、不正使用者をより確実に特定できる。
【００１５】
第４の本発明による携帯情報端末装置は、上記撮像手段及び上記認証処理手段を制御することにより、上記認証処理において認証に失敗した場合に再度撮影を行い、その撮影画像に基づく認証処理を行う連続認証手段を備え、上記エラー履歴情報には、上記認証処理に用いられた上記撮像手段による撮影画像の全部又は任意の１つが含まれる。
【００１６】
このような構成によれば、繰り返し連続して行われた認証処理のいずれにおいても認証に失敗した場合に、それらの認証処理に用いられた撮影画像（顔画像）の全部又は任意の１つをエラー履歴情報として格納することができる。顔画像の全部を格納する場合には、それらの顔画像に基づいて不正使用者をより確実に特定できる。一方、顔画像の任意の１つを格納する場合には、顔画像の全部を格納する場合と比べて、メモリの使用量を低減することができる。
【００１７】
第５の本発明による携帯情報端末装置は、上記携帯情報端末装置の位置情報を検出するための位置情報検出手段を備え、上記エラー履歴情報には、上記認証処理が行われたときに上記位置情報検出手段により検出された位置情報が含まれる。
【００１８】
このような構成によれば、認証処理が行われたときの位置情報をエラー履歴情報として格納することができる。したがって、携帯情報端末装置を取り戻した後、認証処理が行われたときの位置情報から不正使用者を特定することができるので、不正使用者をより確実に特定できる。
【００１９】
第６の本発明による携帯情報端末装置において、上記エラー履歴記憶手段には、最も新しいエラー履歴情報から順に所定回数分のエラー履歴情報を格納することができ、上記エラー履歴管理手段は、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合に、上記エラー履歴記憶手段にエラー履歴情報を格納する。
【００２０】
このような構成によれば、不正使用者が、認証処理において認証に失敗した履歴情報がエラー履歴情報として格納されたことに気付き、そのエラー履歴情報をエラー履歴記憶手段から消去するために、自分の顔が認識されないような認証処理を短時間に複数回行った場合に、それらの認証処理時のエラー履歴情報が格納されるのを防止することができる。したがって、不正使用者を特定するのに有用なエラー履歴情報が、不正使用者により故意にエラー履歴記憶手段から消去されるのを防止できるので、不正使用者をより確実に特定できる。
【００２１】
第７の本発明による携帯情報端末装置は、上記エラー履歴記憶手段にエラー履歴情報が格納されたことを待受画面に表示するエラー表示手段を備えて構成される。
【００２２】
このような構成によれば、ユーザの知らないうちに携帯情報端末装置が不正に使用され、そのときのエラー履歴情報がエラー履歴記憶手段に格納された場合に、その旨を待受画面に表示してユーザに報知することができる。
【発明の効果】
【００２３】
本発明の携帯情報端末装置によれば、撮影画像が顔画像であり、撮影画像から特徴情報は抽出されたが、その特徴情報と登録特徴情報との一致度が認証閾値よりも小さいと判定された場合にのみ、エラー履歴情報を格納することができる。これにより、撮影画像から不正使用者と特定できないような場合にエラー履歴情報が格納されるのを防止できるので、不正使用者を特定するのに有用な情報のみを記憶することができ、メモリの使用量を低減することができる。
【００２４】
本発明の携帯情報端末装置によれば、認証処理が行われたときの時間情報、認証処理に用いられた撮影画像、あるいは認証処理が行われたときの位置情報をエラー履歴情報として格納することにより、携帯情報端末装置を取り戻した後、それらの情報から不正使用者を特定することができるので、不正使用者をより確実に特定できる。繰り返し連続して認証処理を行った場合には、それらの認証処理に用いられた撮影画像の全部を格納すれば不正使用者をより確実に特定でき、撮影画像の任意の１つを格納すればメモリの使用量を低減することができる。
【００２５】
本発明の携帯情報端末装置によれば、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合にのみエラー履歴情報を格納することにより、不正使用者を特定するのに有用なエラー履歴情報が、不正使用者により故意にエラー履歴記憶手段から消去されるのを防止できるので、不正使用者をより確実に特定できる。
【００２６】
本発明の携帯情報端末装置によれば、ユーザの知らないうちに携帯情報端末装置が不正に使用され、そのときのエラー履歴情報がエラー履歴記憶手段に格納された場合に、その旨を待受画面に表示してユーザに報知することができる。
【発明を実施するための最良の形態】
【００２７】
図１は、本発明の実施の形態による携帯情報端末装置の一例を示した外観図であり、携帯情報端末装置の一例として携帯電話機１が示されている。この携帯電話機１は、いわゆる折り畳み式の携帯電話機であり、表示筐体１００及び操作筐体２００がヒンジ部３００を介して連結され、表示筐体１００及び操作筐体２００の一面を対向させて折り畳むことができる。
【００２８】
表示筐体１００は、折り畳み時に内側となる筐体面にメイン表示部１０１、受話用レシーバ１０３及びサブカメラ１０５が配置され、外側となる筐体面にサブ表示部１０２及びメインカメラ１０４が配置されている。また、操作筐体２００は、折り畳み時に内側となる筐体面に多数の操作キー２０１及び送話用マイクロフォン２０３が配置されている。このような折り畳み式携帯電話機１は、コンパクトに折り畳んだ状態で携帯することができ、筐体を展開させれば、メイン表示部１０１の表示を見ながら、操作キー２０１を押下操作することができる。つまり、主な情報表示はメイン表示部１０１を用いて行われ、主な操作入力は操作キー２０１を用いて行われている。
【００２９】
この携帯電話機１は、メイン表示部１０１の表示を見ながらユーザが操作キー２０１の操作を行っているときに、サブカメラ１０５によりユーザの顔画像を撮影し、その顔画像から抽出される特徴情報に基づいて認証処理を行った結果、そのとき操作を行っている者が真のユーザであると判断した場合にのみ、その後の処理の実行を許可する機能（いわゆる顔認証機能）を有している。秘匿性の高い機能の実行に際して認証処理を行うことにより、セキュリティの向上やプライバシーの保護を図ることができる。
【００３０】
図２は、図１に示した携帯電話機１の内部構成の一例を示したブロック図である。制御部４００は、携帯電話機１の主要な動作を制御するプロセッサであって、撮像ユニット駆動制御部４０１、認証処理部４０２、連続認証部４０３、エラー履歴管理部４０４、計時部４０５及び位置情報検出部４０６を備えている。制御部４００には、操作キー２０１からの操作信号が入力されるとともに、メモリ４１０、画像入出力部４３０、音声入出力部４４０及び通信部４５０が入出力可能に接続されている。
【００３１】
画像入出力部４３０には、メイン表示部１０１、サブ表示部１０２、メインカメラ１０４及びサブカメラ１０５が備えられている。メインカメラ１０４及びサブカメラ１０５は、それぞれ撮像ユニットとしてユニット化されており、これらの撮像ユニットには、ＣＣＤ(Charge-Coupled Device)又はＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどの光電変換素子及び制御回路が備えられている。ここでは、撮像ユニットの電源投入後に、オフセットやゲインの調整などの初期化処理を行う必要がある光電変換素子が用いられている。
【００３２】
音声入出力部４４０には、受話用レシーバ１０３及び送話用マイクロフォン２０３が備えられている。通信部４５０は、図示しない基地局との間で電波の送受信を行うことにより、音声データや画像データなどの送受信を行う。
【００３３】
撮像ユニット駆動制御部４０１は、画像入出力部４３０に信号を送信することにより、メインカメラ１０４及びサブカメラ１０５の駆動を制御する。この実施の形態では、撮像ユニット駆動制御部４０１がサブカメラ１０５の駆動を制御することにより、メイン表示部１０１を見ながら操作キー２０１の操作を行っている者の顔画像をサブカメラ１０５で撮影し、その顔画像から抽出される特徴情報に基づいて認証処理を行うものとする。ただし、メインカメラ１０４により顔画像を撮影して認証処理を行うような構成であってもよい。
【００３４】
認証処理部４０２は、撮影画像から抽出された特徴情報を、メモリ４１０に予め記憶されているユーザの特徴情報（登録特徴情報）と比較することにより、そのとき操作を行っている者が真のユーザであるか否かを判断する。連続認証部４０３は、撮像ユニット駆動制御部４０１及び認証処理部４０２を制御することにより、複数回の認証処理を連続して行う。エラー履歴管理部４０４は、認証に失敗した場合に、その認証時の履歴情報をエラー履歴情報としてメモリ４１０に格納する。
【００３５】
計時部４０５は、時間の計測を行うものである。位置情報検出部４０６は、携帯電話機１の位置情報を検出するものであり、ここでは、ＧＰＳ（Global Positioning System）により位置情報検出部４０６が構成されている。
【００３６】
メモリ４１０には、表示画面データ記憶部４１１、画像データ記憶部４１２、特徴情報記憶部４１３及びエラー履歴情報記憶部４１４が割り当てられている。表示画面データ記憶部４１１には、メイン表示部１０１やサブ表示部１０２に表示させる画面のデータが記憶される。画像データ記憶部４１２には、メインカメラ１０４やサブカメラ１０５で撮影した画像データや、通信部４５０を介して外部から受信した画像データなどが記憶される。特徴情報記憶部４１３には、認証処理に用いられる顔画像の特徴情報が記憶される。
【００３７】
エラー履歴情報記憶部４１４には、最も新しいエラー履歴情報から順に所定回数分のエラー履歴情報が格納される。すなわち、エラー履歴情報記憶部４１４に記憶されているエラー履歴情報が上記所定回数分に満たない状態で認証に失敗した場合には、その認証時におけるエラー履歴情報がエラー履歴情報記憶部４１４に追加して記憶される。一方、エラー履歴情報記憶部４１４に上記所定回数分のエラー履歴情報が記憶されている状態で認証に失敗した場合には、最も古いエラー履歴情報が削除されるとともに、認証時における新たなエラー履歴情報が記憶される。
【００３８】
エラー履歴情報としては、例えば、認証処理が行われたときに計時部４０５から出力される時間情報、認証処理に用いられたサブカメラ１０５による撮影画像、あるいは認証処理が行われたときに位置情報検出部４０６から出力される位置情報などを記憶することができる。
【００３９】
ただし、認証処理に用いられる顔画像の特徴情報や顔画像の画像データは、例えばＳＩＭ(Subscriber Identity Module)カードのような携帯電話機１に対して着脱可能な記憶媒体（図示せず）に記憶されるような構成であってもよい。
【００４０】
図３は、図２の撮像ユニット駆動制御部４０１の構成例を示したブロック図である。撮像ユニット駆動制御部４０１は、撮像ユニット起動部４０７、撮影制御部４０８及び撮像ユニット停止部４０９を備えている。撮像ユニット起動部４０７は、メインカメラ１０４及びサブカメラ１０５に制御信号を送信して、これらを起動させるためのものであり、ユーザの操作に基づいてメインカメラ１０４又はサブカメラ１０５に電源を投入する電源投入部４０７Ａと、初期化処理を実行する初期化処理部４０７Ｂとを備えている。
【００４１】
撮影制御部４０８は、初期化処理部４０７Ｂからの入力信号やユーザによる撮影操作に基づいて、メインカメラ１０４又はサブカメラ１０５の撮影動作を制御することにより、そのときのメインカメラ１０４又はサブカメラ１０５に対する被写体の静止画像データを生成する。撮像ユニット停止部４０９は、メインカメラ１０４又はサブカメラ１０５に供給する電力を停止させることにより、それらの撮像ユニットの駆動を停止させる。
【００４２】
図４は、図２の認証処理部４０２の構成例を示したブロック図である。認証処理部４０２は、特徴抽出部４０２Ａ、一致度算出部４０２Ｂ及び一致度判定部４０２Ｃを備えている。認証処理が開始されると、特徴抽出部４０２Ａにより、サブカメラ１０５で撮影した顔画像から、目、鼻、口及び輪郭といった顔の各部分についての形や大きさなどの特徴情報が抽出される。
【００４３】
撮影画像が顔画像でない風景画像などである場合には、撮影画像から特徴情報を抽出することができない。この場合、認証に失敗することとなるが、このときのエラー履歴情報はメモリ４１０のエラー履歴情報記憶部４１４に記憶されない。一方、撮影画像から特徴情報を抽出することに成功した場合には、一致度算出部４０２Ｂにより、その特徴情報がメモリ４１０の特徴情報記憶部４１３に記憶されている登録特徴情報と比較され、数値化された一致度が算出される。
【００４４】
一致度判定部４０２Ｃは、一致度算出部４０２Ｂにより算出された一致度を所定の閾値（認証閾値）と比較し、その比較結果を出力する。このとき、一致度が認証閾値を超えた場合には、真のユーザであると判断されて認証に成功し、一致度が認証閾値よりも小さい場合には、真のユーザであると判断されず認証に失敗する。ここで、一致度とは、比較されたすべての特徴情報のうち一致した特徴情報の占める割合（％）であって、認証閾値は、通常、９０％以上の所定値に設定されている。
【００４５】
一致度判定部４０２Ｃから出力される比較結果は、エラー履歴管理部４０４に入力される。認証に失敗した場合には、エラー履歴管理部４０４は、その認証時におけるエラー履歴情報をエラー履歴情報記憶部４１４に格納する。一方、認証に成功した場合、又は、前回のエラー履歴情報をエラー履歴情報記憶部４１４に記憶してから一定時間内に認証に失敗した場合には、エラー履歴管理部４０４は、その認証時におけるエラー履歴情報をエラー履歴情報記憶部４１４に格納しない。すなわち、エラー履歴管理部４０４は、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合にのみ、エラー履歴情報をエラー履歴情報記憶部４１４に格納する。
【００４６】
本実施の形態では、撮影画像から特徴情報は抽出されたが、その特徴情報と登録特徴情報との一致度が認証閾値よりも小さいと判定された場合にのみ、エラー履歴情報を格納することができる。すなわち、撮影画像が顔画像であり、例えば目、鼻、口及び輪郭の形や大きさといった顔画像の特徴情報が抽出されたにもかかわらず、登録特徴情報として予め記憶されているユーザの特徴情報との一致度が認証閾値よりも小さく、真のユーザでないと判断された場合にのみ、エラー履歴情報を格納することができる。
【００４７】
これにより、真のユーザとは異なる者、例えば携帯電話機１を盗んだ者などが、その携帯電話機１を不正に使用しようとして、その者の顔画像から特徴情報が抽出された場合にのみ、認証処理において認証に失敗した履歴情報をエラー履歴情報として格納し、携帯電話機１を取り戻した後、エラー履歴情報からその者を特定することができる。したがって、撮影画像から不正使用者と特定できないような場合にエラー履歴情報が格納されるのを防止できるので、不正使用者を特定するのに有用な情報のみを記憶することができ、メモリ４１０の使用量を低減することができる。
【００４８】
また、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合にのみエラー履歴情報を格納するような構成により、不正使用者が、認証処理において認証に失敗した履歴情報がエラー履歴情報として格納されたことに気付き、そのエラー履歴情報をエラー履歴情報記憶部４１４から消去するために、自分の顔が認識されないような認証処理を短時間に複数回行った場合に、それらの認証処理時のエラー履歴情報が格納されるのを防止することができる。したがって、不正使用者を特定するのに有用なエラー履歴情報が、不正使用者により故意にエラー履歴情報記憶部４１４から消去されるのを防止できるので、不正使用者をより確実に特定できる。
【００４９】
図５は、顔認証に関する設定を行う際のメイン表示部１０１の表示例を示した図である。ユーザが、操作キー２０１を操作してセキュリティ設定画面を読み出し（図５（ａ）参照）、そのセキュリティ設定画面に表示された項目の中から「顔認証設定」の項目を選択操作すると、その携帯電話機１に予め割り当てられている端末暗証番号の入力を促す画面がメイン表示部１０１に表示される（図５（ｂ）参照）。この表示画面において、操作キー２０１に含まれるクリアキーを操作すると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。
【００５０】
端末暗証番号は、例えば４〜８桁の任意の文字列からなり、携帯電話機１の購入時に予め設定されているが、ユーザが操作キー２０１を操作することにより変更することも可能である。図５（ｂ）の端末暗証番号入力画面において、操作キー２０１の操作により入力された文字列が、予め設定されている端末暗証番号と一致しない場合には、その旨がメイン表示部１０１に表示される（図５（ｃ）参照）。また、端末暗証番号入力画面において入力された文字列が３桁以下である場合には、４〜８桁の文字列を入力すべき旨がメイン表示部１０１に表示される（図５（ｄ）参照）。
【００５１】
メイン表示部１０１に図５（ｃ）又は図５（ｄ）に示すような表示がされた後、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。
【００５２】
図５（ｂ）の端末暗証番号入力画面において入力された文字列が、予め設定されている端末暗証番号と一致する場合には、メイン表示部１０１の表示は、顔認証を行うモードのオン／オフを設定するための顔認証利用設定画面に切り替わる（図５（ｅ）参照）。この表示画面において、操作キー２０１に含まれるクリアキーを操作すると、メイン表示部１０１の表示は、図５（ｂ）に示す端末暗証番号入力画面に戻る。また、顔認証利用設定画面において、操作キー２０１の操作により顔認証がオフされると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。
【００５３】
図５（ｅ）の顔認証利用設定画面において、操作キー２０１の操作により顔認証がオンされると、メイン表示部１０１の表示は、顔認証に関する設定を行うための顔認証設定画面に切り替わる（図５（ｆ）参照）。
【００５４】
本実施の形態では、顔認証の際に使用する登録特徴情報として、最大７つの画像データから特徴情報を抽出し、メモリ４１０に記憶させておくことができる。２以上の画像データから抽出される登録特徴情報に基づいて顔認証を行うことにより、真のユーザが顔認証を行う場合に認証に成功する確率（本人受入率）を高めることができ、ユーザの表情や光が当たる角度などの微妙な違いによって認証に失敗するのを防止できる。ただし、顔認証に使用する登録特徴情報は、７つの画像データから抽出されるような構成に限らず、例えば１つの画像データから抽出される登録特徴情報に基づいて顔認証を行うような構成であってもよい。
【００５５】
ユーザの顔画像は、メインカメラ１０４又はサブカメラ１０５を用いてユーザにより予め撮影され、それらの画像データがメモリ４１０の画像データ記憶部４１２に記憶される。顔認証は、これらの画像データから抽出されてメモリ４１０の特徴情報記憶部４１３に記憶された登録特徴情報に基づいて行われるため、これらの画像データそのものは顔認証に際して必要とはならないが、メモリ４１０に記憶しておけば、ユーザがそれらの画像データを読み出して顔画像を確認することができるので、利便性が向上する。
【００５６】
図５（ｆ）の顔認証設定画面には、上記登録特徴情報の抽出元であるユーザを表す画像（顔認証用画像）にそれぞれ対応付けられた項目と、顔認証時の認証閾値の設定（セキュリティレベル設定）に対応付けられた項目と、エラー履歴に対応付けられた項目とが含まれる。この表示画面において、顔認証用画像に対応付けられた項目を選択すると、顔認証用画像の上書登録や確認を行うための画面（顔認証用画像登録画面）が表示される。また、セキュリティレベル設定に対応付けられた項目を選択すると、顔認証時の認証閾値を設定するための画面（セキュリティレベル設定画面）が表示される。また、エラー履歴に対応付けられた項目を選択すると、エラー履歴を表示するための画面（エラー履歴画面）が表示される。
【００５７】
これらの各種設定等を行った後、操作キー２０１を操作して、顔認証設定を完了すると、メイン表示部１０１の表示は、図５（ｇ）又は図５（ｈ）に示すような表示に切り替わる。すなわち、少なくとも１つの顔認証用画像が登録されていれば、その顔認証用画像から抽出された特徴情報に基づいて顔認証を行う旨がメイン表示部１０１に表示され（図５（ｇ）参照）、この画面に含まれる確認キー１１１を選択すると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。一方、顔認証用画像が１つも登録されていない場合には、顔認証用画像の登録を行うべき旨がメイン表示部１０１に表示され（図５（ｈ）参照）、この画面に含まれる確認キー１１２を選択すると、メイン表示部１０１の表示は、図５（ｆ）に示す顔認証設定画面に戻る。
【００５８】
図６は、顔認証用画像登録画面の表示例を示した図である。図５（ｆ）の顔認証設定画面において、顔認証用画像に対応付けられたいずれかの項目を選択すると、メイン表示部１０１の表示は、図６（ａ）に示すように、その顔認証用画像に対応する顔認証用画像登録画面に切り替わる。顔認証用画像登録画面には、「上書登録」の項目及び「登録データ確認」の項目が含まれる。
【００５９】
図６（ａ）の顔認証用画像登録画面に表示された項目の中から「上書登録」の項目を選択操作すると、サブカメラ１０５が起動され、サブカメラ１０５による撮影が可能な状態になった後、サブカメラ１０５に対する被写体の画像がリアルタイムでメイン表示部１０１に表示される（図６（ｂ）参照）。このとき、メイン表示部１０１は、サブカメラ１０５のファインダとして機能し、メイン表示部１０１により構成されるファインダ画面には、メイン表示部１０１を見ながら操作を行っている者の顔が映し出されることとなる。
【００６０】
図６（ｂ）のファインダ画面において、ユーザが自分の顔の位置合わせなどを行った後、操作キー２０１に含まれる決定キーを操作することにより登録操作を行うと、制御部４００の特徴抽出部４０２Ａが、そのときサブカメラ１０５で撮影された画像から特徴情報を抽出する処理を行う。
【００６１】
この際、ユーザの顔の位置合わせが適当に行われていれば、目、鼻、口及び輪郭の形や大きさなどの特徴情報を抽出することができるが、位置合わせが適当に行われていない場合や、ユーザの顔がメイン表示部１０１に全く映し出されていない場合などには、特徴情報を抽出することができない。特徴情報を抽出することに成功した場合には、その特徴情報がメモリ４１０の特徴情報記憶部４１３に記憶されるとともに、そのときの顔画像が顔認証用画像としてメモリ４１０の画像データ記憶部４１２に記憶される。
【００６２】
特徴情報の抽出に成功した場合には、その顔画像に基づく特徴情報をメモリ４１０に記憶（登録）した旨がメイン表示部１０１に表示される（図６（ｃ）参照）。この表示画面に含まれる確認キー１１３をユーザが選択すると、メイン表示部１０１の表示は、図５（ｆ）に示す顔認証設定画面に戻る。一方、特徴情報の抽出に失敗した場合には、その旨及び特徴情報の抽出に失敗した原因がメイン表示部１０１に表示され（図６（ｄ）参照）、この表示画面に含まれる確認キー１１４をユーザが選択すると、メイン表示部１０１の表示は、図５（ｂ）に示すファインダ画面に戻り、再びサブカメラ１０５で顔画像を撮影することが可能になる。
【００６３】
図６（ａ）の顔認証用画像登録画面に表示された項目の中から「登録データ確認」の項目を選択操作すると、メモリ４１０の画像データ記憶部４１２に記憶されている対応する顔認証用画像が読み出され、メイン表示部１０１に表示される（図６（ｅ）参照）。ユーザは、図６（ｅ）に示す顔認証用画像確認画面により、登録されている顔認証用画像を確認することができる。この表示画面において、操作キー２０１に含まれるクリアキーを操作すると、メイン表示部１０１の表示は、図６（ａ）に示す顔認証用画像登録画面に戻る。
【００６４】
図６（ｅ）の顔認証用画像確認画面において、ユーザが操作キー２０１を操作することにより、対応する顔認証用画像を削除する操作を行うと、メイン表示部１０１の表示は、その顔認証用画像を削除してよいか否かを確認する削除確認画面に切り替わる（図６（ｆ）参照）。この表示画面には、顔認証用画像を削除すべき旨を指示する「はい」のキー１１５と、顔認証用画像を削除しない旨を指示する「いいえ」のキー１１６とが含まれる。図６（ｆ）の削除確認画面において、操作キー２０１の操作により「いいえ」のキー１１６が選択された場合には、メイン表示部１０１の表示は、図６（ｅ）に示す顔認証用画像確認画面に戻る。
【００６５】
図６（ｆ）の削除確認画面において、操作キー２０１の操作により「はい」のキー１１５が選択されると、メモリ４１０の画像データ記憶部４１２及び特徴情報記憶部４１３から対応する顔認証用画像及び登録特徴情報を削除するための処理が開始されるとともに、削除中である旨がメイン表示部１０１に表示される（図６（ｇ）参照）。そして、顔認証用画像及び登録特徴情報を削除する処理が完了すると、その旨がメイン表示部１０１に表示され（図６（ｈ）参照）、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されることに応答して、メイン表示部１０１の表示は、図５（ｆ）に示す顔認証設定画面に戻る。
【００６６】
図７は、セキュリティレベル設定画面の表示例を示した図である。図５（ｆ）の顔認証設定画面において、セキュリティレベル設定に対応付けられた項目を選択すると、メイン表示部１０１の表示は、図７に示すように、顔認証時の認証閾値の設定を行うためのセキュリティレベル設定画面に切り替わる。セキュリティレベルとしては、認証閾値が最も高い「レベル３」と、「レベル３」よりも認証閾値が低い「レベル２」と、「レベル２」よりも認証閾値が低い「レベル１」とが予め設定されており、セキュリティレベル設定画面において、いずれかのセキュリティレベルを選択することができる。
【００６７】
図８は、エラー履歴画面の表示例を示した図である。図５（ｆ）の顔認証設定画面において、エラー履歴に対応付けられた項目を選択すると、メイン表示部１０１の表示は、図８に示すように、エラー履歴を表示するためのエラー履歴画面に切り替わる。エラー履歴画面には、認証に失敗したときの日時を表す時間情報が、エラー履歴情報として所定回数分（例えば、９回分）だけリスト表示される。上記所定回数分のエラー履歴情報がメモリ４１０のエラー履歴情報記憶部４１４に記憶された状態で新たに認証に失敗した場合には、最も古いエラー履歴情報が削除され、新たなエラー履歴情報がメモリ４１０に記憶されるとともに、その新たなエラー履歴情報がエラー履歴画面に表示されるよう更新される。
【００６８】
図９は、顔認証を行う際のメイン表示部１０１の表示例を示した図である。この例では、携帯電話機１の管理機能に含まれるシークレットモードのオン／オフを切り替える際に顔認証が行われる。シークレットモードがオン状態のときには、通常のデータだけでなく、シークレットデータとして予め登録しているデータが表示される状態となり、シークレットモードがオフ状態のときには、シークレットデータは表示されず、通常のデータだけが表示される状態となる。
【００６９】
図９（ａ）に示すような携帯電話機１の管理機能を設定するための管理機能画面において、その管理機能画面に表示された項目の中から「シークレットモード」の項目を選択操作すると、サブカメラ１０５が起動される。そして、サブカメラ１０５による撮影が可能な状態になった後、サブカメラ１０５に対する被写体の画像がリアルタイムでメイン表示部１０１に表示され（図９（ｂ）参照）、自動認証が開始される。このとき、サブカメラ１０５の初期化処理が終了して撮影可能な状態になった時点で、ユーザが撮影操作を行わなくても、認証用の顔画像が撮影され、更にこの撮影画像から特徴情報が抽出される。そして抽出された特徴情報がメモリ４１０の特徴情報記憶部４１３に予め記憶されているユーザの特徴情報と比較されることにより、認証処理が自動的に行われる。
【００７０】
この認証処理において、抽出された顔画像の特徴情報とメモリ４１０に記憶されているユーザの特徴情報との一致度が、セキュリティレベル設定画面において予め設定されている認証閾値を超えた場合には、その操作者が真のユーザであると判断される。この場合、メイン表示部１０１に表示されているユーザの顔画像に対して、いわゆるアクションフォーカスによる強調表示が行われることにより、認証に成功した旨が視覚的効果により報知される。
【００７１】
その後、認証に成功した旨のメッセージがメイン表示部１０１に表示され（図９（ｃ）参照）、所定時間経過後に、シークレットモードのオン／オフを切り替えるための画面に切り替わる（図９（ｄ）参照）。一方、特徴情報の一致度が認証閾値よりも小さく、認証に失敗した場合には、その時点でサブカメラ１０５により撮影される画像から再び特徴情報が自動的に抽出され、その特徴情報がメモリ４１０に記憶されているユーザの特徴情報と比較される。
【００７２】
このように本実施形態では、認証に失敗した場合、所定時間（例えば、３秒）が経過してタイムアウトとなるまで認証処理が繰り返し連続的に行われ、認証に成功した時点で認証処理が終了する。例えば、タイムアウトの時間を３秒に設定した場合には、認証処理が最大で７回程度行われる。すなわち、１回の認証処理に要する時間は０．４秒程度であり、１回目の認証処理で認証に成功すれば、サブカメラ１０５の初期化処理終了後にほとんど待ち時間なく次の処理に進むことができる。認証処理が繰り返し行われている間、メイン表示部１０１にはファインダ画面が表示され、サブカメラ１０５に対する被写体の画像がリアルタイムで表示される。
【００７３】
認証処理が繰り返し行われる際、複数回の認証処理が行われるたびに、それらの認証処理における特徴情報の比較結果として、特徴情報の一致度に応じた表示がメイン表示部１０１になされる。より具体的には、メイン表示部１０１に表示されているファインダ画面の枠１１７の色が、特徴情報の一致度に応じた色で表示される。これにより、認証処理時の特徴情報の一致度の比較結果が表示されるので、ユーザは、その表示に基づいて、その認証処理時に撮影された自己の顔画像が認識しやすい画像であったか否かを確認することができる。
【００７４】
ただし、このような構成に限らず、特徴情報の一致度が数値やグラフなどを用いてメイン表示部１０１にレベル表示されるような構成であってもよい。また、すべての認証処理について比較結果を表示するような構成に限らず、少なくとも１回の認証処理について比較結果を表示するものであればよい。
【００７５】
自動認証が開始されてから所定時間が経過してタイムアウトとなった場合には、認証に失敗した旨がメイン表示部１０１に表示される（図９（ｅ）参照）。この表示画面に含まれる再認証キー１１８をユーザが選択すると、メイン表示部１０１の表示は、図９（ｂ）に示すファインダ画面に戻り、再び自動認証が開始される。一方、図９（ｅ）においてメイン表示部１０１に表示された端末暗証番号入力キー１１９をユーザが選択すると、メイン表示部１０１の表示は、端末暗証番号の入力を促す端末暗証番号入力画面に切り替わる（図９（ｆ）参照）。
【００７６】
図９（ｆ）の端末暗証番号入力画面において入力された文字列が、予め設定されている端末暗証番号と一致する場合には、メイン表示部１０１の表示は、シークレットモードのオン／オフを切り替えるための画面に切り替わる（図９（ｄ）参照）。
【００７７】
一方、図９（ｆ）の端末暗証番号入力画面において、操作キー２０１の操作により入力された文字列が、予め設定されている端末暗証番号と一致しない場合には、その旨がメイン表示部１０１に表示される（図９（ｇ）参照）。また、端末暗証番号入力画面において入力された文字列が３桁以下である場合には、４〜８桁の文字列を入力すべき旨がメイン表示部１０１に表示される（図９（ｈ）参照）。そして、図９（ｇ）又は図９（ｈ）に示すような表示がされた後、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されると、メイン表示部１０１の表示は、図９（ａ）に示す管理機能画面に戻る。
【００７８】
本実施の形態のように、認証処理において認証に失敗した場合に、再度自動的に認証処理を行うような構成によれば、真のユーザが操作を行う場合に、１回目の認証処理により真のユーザであると判断されなかった場合でも、その後にユーザが撮影操作を行うことなく、認証処理が再度行われる。すなわち、真のユーザであると判断されるまで繰り返し自動的に認証処理が行われるので、認証処理に要する手間を削減できるとともに、認証処理に要する時間を短縮できる。
【００７９】
認証処理における顔画像の撮影時には、シャッター音を発生させないような構成であることが好ましい。このような構成により、電車の中などの周囲に人がいる環境で認証処理を行う場合に、シャッター音の発生により盗撮等の誤解を受けるのを防止できる。本実施の形態では、認証処理に際して撮影操作を行わないので、撮影操作を行うことにより盗撮等の誤解を受けるのを防止できる。
【００８０】
ただし、所定時間内に真のユーザであると判断されなかった場合、タイムアウトとなるような構成に限らず、認証に成功するまで繰り返し認証処理を行うような構成であってもよい。また、連続的に認証処理を行うような構成に限らず、サブカメラ１０５が起動されて撮影可能な状態になった後、１回だけ認証処理を行うような構成であってもよい。
【００８１】
図１０は、エラー履歴画面からエラー履歴情報を選択した場合の表示例を示した図であり、（ａ）はエラー履歴情報の選択態様、（ｂ）は選択されたエラー履歴情報に対する第１表示例、（ｃ）は選択されたエラー履歴情報に対する第２表示例を示している。
【００８２】
図８に示したようなエラー履歴画面において、ユーザは、操作キー２０１を操作して、メイン表示部１０１にリスト表示されているエラー履歴情報（時間情報）のいずれかにカーソル１２０を合わせた後、決定操作を行うことにより、そのエラー履歴情報を選択することができる（図１０（ａ）参照）。
【００８３】
図１０（ｂ）に示す第１表示例では、エラー履歴情報の選択操作に基づいて、そのエラー履歴情報が格納されたときの認証処理に用いられたサブカメラ１０５による撮影画像がエラー履歴情報記憶部４１４から読み出され、その撮影画像がメイン表示部１０１に表示されている。本実施の形態のように連続認証を行う場合には、認証に複数の撮影画像が用いられるので、これらの撮影画像の全部又は任意の１つをメイン表示部１０１に表示させるものとする。複数の撮影画像の全部をメイン表示部１０１に表示させる場合には、それらの撮影画像をメイン表示部１０１にサムネイル表示し、いずれかの撮影画像に対する選択操作が行われた場合に、選択された撮影画像がメイン表示部１０１全体に大きく表示されるようになっていてもよい。
【００８４】
ただし、本実施の形態のような構成とは異なり、認証処理を１回だけ行うような構成の場合には、その１回の認証処理時におけるサブカメラ１０５による撮影画像が、メイン表示部１０１に表示されるようになっていてもよい。
【００８５】
図１０（ｃ）に示す第２表示例では、エラー履歴情報の選択操作に基づいて、そのエラー履歴情報が格納された認証処理時に位置情報検出部４０６により検出された位置情報がエラー履歴情報記憶部４１４から読み出され、その位置情報がメイン表示部１０１に表示されている。この例では、メイン表示部１０１に位置情報として地名が表示されているが、このような構成に限らず、例えば、メイン表示部１０１に地図が表示され、その地図上で検出された位置情報が特定されるような構成であってもよい。
【００８６】
認証処理が行われたときの時間情報がエラー履歴情報としてメイン表示部１０１にリスト表示されるような構成に限らず、リスト表示されたエラー履歴を選択することにより、そのエラー履歴に対応する認証処理時の時間情報がエラー履歴情報記憶部４１４から読み出され、その時間情報がメイン表示部１０１に表示されるような構成であってもよい。また、各エラー履歴について、認証処理が行われたときの時間情報、認証処理に用いられた撮影画像、及び認証処理が行われたときの位置情報を一度に表示できるような構成であってもよいし、それらのエラー履歴情報のいずれかをユーザが選択して表示させることができるような構成であってもよい。
【００８７】
本実施の形態では、認証処理が行われたときの時間情報、認証処理に用いられた撮影画像、あるいは認証処理が行われたときの位置情報をエラー履歴情報として格納することにより、携帯電話機１を取り戻した後、それらの情報から不正使用者を特定することができるので、不正使用者をより確実に特定できる。連続認証を行った場合には、それらの認証処理に用いられた撮影画像の全部を格納すれば、それらの撮影画像（顔画像）に基づいて不正使用者をより確実に特定でき、撮影画像の任意の１つを格納すれば、撮影画像の全部を格納する場合と比べて、メモリ４１０の使用量を低減することができる。
【００８８】
図１１は、メイン表示部１０１に表示される待受画面の一例を示す図である。ここで、待受画面とは、携帯電話機１に電源が投入された状態で、アプリケーションが起動されていないときにメイン表示部１０１に表示される画面のことである。
【００８９】
図１１に示す例では、メイン表示部１０１に表示される待受画面の一部に、所定のアイコンを表示することによりユーザに対する報知を行うための報知領域１２１が配置されている。この例では、報知領域１２１には、新たな電子メールを受信している旨を報知するためのメール受信アイコン１２２と、新たなエラー履歴情報が格納されている旨を報知するためのエラー表示アイコン（エラー表示手段）１２３が表示されている。これにより、ユーザの知らないうちに携帯電話機１が不正に使用され、そのときのエラー履歴情報がエラー履歴情報記憶部４１４に格納された場合に、その旨を待受画面に表示してユーザに報知することができる。
【００９０】
顔認証は、シークレットモードのオン／オフを切り替える際に限らず、セキュリティ度やプライバシー度の高い他の機能、例えば、カード設定、着信制限、ロック設定、暗証番号変更、発信者番号通知／非通知設定、設定リセット、ソフトウェア更新、自局番号詳細表示、その他のデータ変更に関する各種設定操作に際して行うことができる。
【００９１】
また、認証処理は、顔画像に基づいて行われる顔認証に限らず、ユーザを表す画像であれば、ユーザの指紋画像に基づいて行われるものなどであってもよい。この場合、指紋画像の特徴情報を抽出して比較することにより、認証処理を行うことができる。
【００９２】
本発明は、以上の実施の形態の内容に限定されるものではなく、請求項記載の範囲内において種々の変更が可能である。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施の形態による携帯情報端末装置の一例を示した外観図であり、携帯情報端末装置の一例として携帯電話機が示されている。
【図２】図１に示した携帯電話機の内部構成の一例を示したブロック図である。
【図３】図２の撮像ユニット駆動制御部の構成例を示したブロック図である。
【図４】図２の認証処理部の構成例を示したブロック図である。
【図５】顔認証に関する設定を行う際のメイン表示部の表示例を示した図である。
【図６】顔認証用画像登録画面の表示例を示した図である。
【図７】セキュリティレベル設定画面の表示例を示した図である。
【図８】エラー履歴画面の表示例を示した図である。
【図９】顔認証を行う際のメイン表示部の表示例を示した図である。
【図１０】エラー履歴画面からエラー履歴情報を選択した場合の表示例を示した図であり、（ａ）はエラー履歴情報の選択態様、（ｂ）は選択されたエラー履歴情報に対する第１表示例、（ｃ）は選択されたエラー履歴情報に対する第２表示例を示している。
【図１１】メイン表示部に表示される待受画面の一例を示す図である。
【符号の説明】
【００９４】
１ 携帯電話機
１０１ メイン表示部
１０２ サブ表示部
１０３ 受話用レシーバ
１０４ メインカメラ
１０５ サブカメラ
１２１ 報知領域
１２３ エラー表示アイコン
２０１ 操作キー
２０３ 送話用マイクロフォン
４００ 制御部
４０１ 撮像ユニット駆動制御部
４０２ 認証処理部
４０２Ａ 特徴抽出部
４０２Ｂ 一致度算出部
４０２Ｃ 一致度判定部
４０３ 連続認証部
４０４ エラー履歴管理部
４０５ 計時部
４０６ 位置情報検出部
４０７ 撮像ユニット起動部
４０７Ａ 電源投入部
４０７Ｂ 初期化処理部
４０８ 撮影制御部
４０９ 撮像ユニット停止部
４１０ メモリ
４１１ 表示画面データ記憶部
４１２ 画像データ記憶部
４１３ 特徴情報記憶部
４１４ エラー履歴情報記憶部
４５０ 通信部
【技術分野】
【０００１】
本発明は、携帯情報端末装置に係り、更に詳しくは、撮影画像に基づいて認証処理を行う携帯情報端末装置の改良に関する。
【背景技術】
【０００２】
携帯電話機などの携帯情報端末装置の中には、被写体を撮影して画像データを生成するカメラを備えているものがある。この種の携帯情報端末装置において、最近では、操作中にカメラによる顔画像の撮影を促し、撮影した顔画像から抽出される目、鼻、口及び輪郭の形や大きさなどの特徴情報を、携帯情報端末装置に備えられたメモリに登録特徴情報として予め記憶されているユーザの特徴情報と比較することにより、認証処理（いわゆる顔認証）を行うようになっているものがある。認証処理の結果、撮影画像から抽出された特徴情報とユーザの特徴情報との一致度が認識閾値を超えた場合にのみ、そのとき操作を行っている者が真のユーザであると判断し、その後の処理の実行を許可することにより、セキュリティの向上やプライバシーの保護を図ることができる（例えば、特許文献１参照）。
【０００３】
認証処理の際に撮影した画像は、通常、メモリには記憶されず、その画像から抽出された特徴情報だけがメモリに記憶され、その特徴情報と登録特徴情報とが比較される。ここで、真のユーザとは異なる者、例えば盗んだ携帯情報端末装置の操作を行う者などが、その携帯情報端末装置を不正に使用しようとした場合、認証処理時に撮影した画像を履歴情報として記憶しておくことができれば、携帯情報端末装置を取り戻した後、記憶されている画像からその不正使用者を特定することができ便利である。そこで、この種の技術分野では、認証処理に失敗した場合に、認証処理時に撮影した画像を履歴情報として記憶する技術が種々提案されている（例えば、特許文献１〜３参照）。
【特許文献１】特開２０００−２７８６５８号公報
【特許文献２】特開２００５−１１５４８５号公報
【特許文献３】特開２００５−０８４９９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、認証処理に失敗した場合、認証処理時に撮影した画像がいかなる画像であっても履歴情報として記憶される。したがって、例えば、認証処理時に、操作を行う者が自分の顔ではなく周囲の風景を撮影した場合などであっても、その画像が履歴としてメモリに記憶されてしまう。すなわち、不正使用者を特定するために全く必要のない情報がメモリに記憶されてしまい、メモリの使用量が必要以上に増加する場合があった。
【０００５】
本発明は、上記の事情に鑑みてなされたものであり、不正使用者を特定するのに有用な情報のみを記憶することができる携帯情報端末装置を提供することを目的とする。
【０００６】
また、本発明は、メモリの使用量を低減することができる携帯情報端末装置を提供することを目的とする。
【０００７】
また、本発明は、不正使用者をより確実に特定できる携帯情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の本発明による携帯情報端末装置は、被写体を撮影するための撮像手段と、顔画像から抽出された特徴情報を登録特徴情報として予め記憶しておく特徴情報記憶手段と、上記登録特徴情報を用いて、上記撮像手段による撮影画像に基づく認証処理を行う認証処理手段と、上記認証処理において認証に失敗した履歴情報をエラー履歴情報としてエラー履歴記憶手段に格納するエラー履歴管理手段とを備え、上記認証処理手段が、上記撮影画像から特徴情報を抽出する特徴抽出手段と、上記特徴抽出手段により抽出された特徴情報を上記特徴情報記憶手段に記憶されている登録特徴情報と比較し、数値化された一致度を求める一致度算出手段と、上記一致度を認証閾値と比較する一致度判定手段とを有し、上記エラー履歴管理手段は、上記特徴抽出手段において特徴情報が抽出され、かつ、上記一致度判定手段において一致度が認証閾値よりも小さいと判定された場合に、上記エラー履歴記憶手段にエラー履歴情報を格納する。
【０００９】
このような構成によれば、撮影画像から特徴情報は抽出されたが、その特徴情報と登録特徴情報との一致度が認証閾値よりも小さいと判定された場合にのみ、エラー履歴情報を格納することができる。すなわち、撮影画像が顔画像であり、例えば目、鼻、口及び輪郭の形や大きさといった顔画像の特徴情報が抽出されたにもかかわらず、登録特徴情報として予め記憶されているユーザの特徴情報との一致度が認証閾値よりも小さく、真のユーザでないと判断された場合にのみ、エラー履歴情報を格納することができる。
【００１０】
これにより、真のユーザとは異なる者、例えば携帯情報端末装置を盗んだ者などが、その携帯情報端末装置を不正に使用しようとして、その者の顔画像から特徴情報が抽出された場合にのみ、認証処理において認証に失敗した履歴情報をエラー履歴情報として格納し、携帯情報端末装置を取り戻した後、エラー履歴情報からその者を特定することができる。したがって、撮影画像から不正使用者と特定できないような場合にエラー履歴情報が格納されるのを防止できるので、不正使用者を特定するのに有用な情報のみを記憶することができ、メモリの使用量を低減することができる。
【００１１】
第２の本発明による携帯情報端末装置は、計時を行うための計時手段を備え、上記エラー履歴情報には、上記認証処理が行われたときに上記計時手段により計時された時間情報が含まれる。
【００１２】
このような構成によれば、認証処理が行われたときの時間情報をエラー履歴情報として格納することができる。したがって、携帯情報端末装置を取り戻した後、認証処理が行われたときの時間情報から不正使用者を特定することができるので、不正使用者をより確実に特定できる。
【００１３】
第３の本発明による携帯情報端末装置において、上記エラー履歴情報には、上記認証処理に用いられた上記撮像手段による撮影画像が含まれる。
【００１４】
このような構成によれば、認証処理に用いられた撮影画像、すなわち、特徴情報が抽出された顔画像をエラー履歴情報として格納することができる。したがって、携帯情報端末装置を取り戻した後、顔画像から不正使用者を特定することができるので、不正使用者をより確実に特定できる。
【００１５】
第４の本発明による携帯情報端末装置は、上記撮像手段及び上記認証処理手段を制御することにより、上記認証処理において認証に失敗した場合に再度撮影を行い、その撮影画像に基づく認証処理を行う連続認証手段を備え、上記エラー履歴情報には、上記認証処理に用いられた上記撮像手段による撮影画像の全部又は任意の１つが含まれる。
【００１６】
このような構成によれば、繰り返し連続して行われた認証処理のいずれにおいても認証に失敗した場合に、それらの認証処理に用いられた撮影画像（顔画像）の全部又は任意の１つをエラー履歴情報として格納することができる。顔画像の全部を格納する場合には、それらの顔画像に基づいて不正使用者をより確実に特定できる。一方、顔画像の任意の１つを格納する場合には、顔画像の全部を格納する場合と比べて、メモリの使用量を低減することができる。
【００１７】
第５の本発明による携帯情報端末装置は、上記携帯情報端末装置の位置情報を検出するための位置情報検出手段を備え、上記エラー履歴情報には、上記認証処理が行われたときに上記位置情報検出手段により検出された位置情報が含まれる。
【００１８】
このような構成によれば、認証処理が行われたときの位置情報をエラー履歴情報として格納することができる。したがって、携帯情報端末装置を取り戻した後、認証処理が行われたときの位置情報から不正使用者を特定することができるので、不正使用者をより確実に特定できる。
【００１９】
第６の本発明による携帯情報端末装置において、上記エラー履歴記憶手段には、最も新しいエラー履歴情報から順に所定回数分のエラー履歴情報を格納することができ、上記エラー履歴管理手段は、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合に、上記エラー履歴記憶手段にエラー履歴情報を格納する。
【００２０】
このような構成によれば、不正使用者が、認証処理において認証に失敗した履歴情報がエラー履歴情報として格納されたことに気付き、そのエラー履歴情報をエラー履歴記憶手段から消去するために、自分の顔が認識されないような認証処理を短時間に複数回行った場合に、それらの認証処理時のエラー履歴情報が格納されるのを防止することができる。したがって、不正使用者を特定するのに有用なエラー履歴情報が、不正使用者により故意にエラー履歴記憶手段から消去されるのを防止できるので、不正使用者をより確実に特定できる。
【００２１】
第７の本発明による携帯情報端末装置は、上記エラー履歴記憶手段にエラー履歴情報が格納されたことを待受画面に表示するエラー表示手段を備えて構成される。
【００２２】
このような構成によれば、ユーザの知らないうちに携帯情報端末装置が不正に使用され、そのときのエラー履歴情報がエラー履歴記憶手段に格納された場合に、その旨を待受画面に表示してユーザに報知することができる。
【発明の効果】
【００２３】
本発明の携帯情報端末装置によれば、撮影画像が顔画像であり、撮影画像から特徴情報は抽出されたが、その特徴情報と登録特徴情報との一致度が認証閾値よりも小さいと判定された場合にのみ、エラー履歴情報を格納することができる。これにより、撮影画像から不正使用者と特定できないような場合にエラー履歴情報が格納されるのを防止できるので、不正使用者を特定するのに有用な情報のみを記憶することができ、メモリの使用量を低減することができる。
【００２４】
本発明の携帯情報端末装置によれば、認証処理が行われたときの時間情報、認証処理に用いられた撮影画像、あるいは認証処理が行われたときの位置情報をエラー履歴情報として格納することにより、携帯情報端末装置を取り戻した後、それらの情報から不正使用者を特定することができるので、不正使用者をより確実に特定できる。繰り返し連続して認証処理を行った場合には、それらの認証処理に用いられた撮影画像の全部を格納すれば不正使用者をより確実に特定でき、撮影画像の任意の１つを格納すればメモリの使用量を低減することができる。
【００２５】
本発明の携帯情報端末装置によれば、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合にのみエラー履歴情報を格納することにより、不正使用者を特定するのに有用なエラー履歴情報が、不正使用者により故意にエラー履歴記憶手段から消去されるのを防止できるので、不正使用者をより確実に特定できる。
【００２６】
本発明の携帯情報端末装置によれば、ユーザの知らないうちに携帯情報端末装置が不正に使用され、そのときのエラー履歴情報がエラー履歴記憶手段に格納された場合に、その旨を待受画面に表示してユーザに報知することができる。
【発明を実施するための最良の形態】
【００２７】
図１は、本発明の実施の形態による携帯情報端末装置の一例を示した外観図であり、携帯情報端末装置の一例として携帯電話機１が示されている。この携帯電話機１は、いわゆる折り畳み式の携帯電話機であり、表示筐体１００及び操作筐体２００がヒンジ部３００を介して連結され、表示筐体１００及び操作筐体２００の一面を対向させて折り畳むことができる。
【００２８】
表示筐体１００は、折り畳み時に内側となる筐体面にメイン表示部１０１、受話用レシーバ１０３及びサブカメラ１０５が配置され、外側となる筐体面にサブ表示部１０２及びメインカメラ１０４が配置されている。また、操作筐体２００は、折り畳み時に内側となる筐体面に多数の操作キー２０１及び送話用マイクロフォン２０３が配置されている。このような折り畳み式携帯電話機１は、コンパクトに折り畳んだ状態で携帯することができ、筐体を展開させれば、メイン表示部１０１の表示を見ながら、操作キー２０１を押下操作することができる。つまり、主な情報表示はメイン表示部１０１を用いて行われ、主な操作入力は操作キー２０１を用いて行われている。
【００２９】
この携帯電話機１は、メイン表示部１０１の表示を見ながらユーザが操作キー２０１の操作を行っているときに、サブカメラ１０５によりユーザの顔画像を撮影し、その顔画像から抽出される特徴情報に基づいて認証処理を行った結果、そのとき操作を行っている者が真のユーザであると判断した場合にのみ、その後の処理の実行を許可する機能（いわゆる顔認証機能）を有している。秘匿性の高い機能の実行に際して認証処理を行うことにより、セキュリティの向上やプライバシーの保護を図ることができる。
【００３０】
図２は、図１に示した携帯電話機１の内部構成の一例を示したブロック図である。制御部４００は、携帯電話機１の主要な動作を制御するプロセッサであって、撮像ユニット駆動制御部４０１、認証処理部４０２、連続認証部４０３、エラー履歴管理部４０４、計時部４０５及び位置情報検出部４０６を備えている。制御部４００には、操作キー２０１からの操作信号が入力されるとともに、メモリ４１０、画像入出力部４３０、音声入出力部４４０及び通信部４５０が入出力可能に接続されている。
【００３１】
画像入出力部４３０には、メイン表示部１０１、サブ表示部１０２、メインカメラ１０４及びサブカメラ１０５が備えられている。メインカメラ１０４及びサブカメラ１０５は、それぞれ撮像ユニットとしてユニット化されており、これらの撮像ユニットには、ＣＣＤ(Charge-Coupled Device)又はＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどの光電変換素子及び制御回路が備えられている。ここでは、撮像ユニットの電源投入後に、オフセットやゲインの調整などの初期化処理を行う必要がある光電変換素子が用いられている。
【００３２】
音声入出力部４４０には、受話用レシーバ１０３及び送話用マイクロフォン２０３が備えられている。通信部４５０は、図示しない基地局との間で電波の送受信を行うことにより、音声データや画像データなどの送受信を行う。
【００３３】
撮像ユニット駆動制御部４０１は、画像入出力部４３０に信号を送信することにより、メインカメラ１０４及びサブカメラ１０５の駆動を制御する。この実施の形態では、撮像ユニット駆動制御部４０１がサブカメラ１０５の駆動を制御することにより、メイン表示部１０１を見ながら操作キー２０１の操作を行っている者の顔画像をサブカメラ１０５で撮影し、その顔画像から抽出される特徴情報に基づいて認証処理を行うものとする。ただし、メインカメラ１０４により顔画像を撮影して認証処理を行うような構成であってもよい。
【００３４】
認証処理部４０２は、撮影画像から抽出された特徴情報を、メモリ４１０に予め記憶されているユーザの特徴情報（登録特徴情報）と比較することにより、そのとき操作を行っている者が真のユーザであるか否かを判断する。連続認証部４０３は、撮像ユニット駆動制御部４０１及び認証処理部４０２を制御することにより、複数回の認証処理を連続して行う。エラー履歴管理部４０４は、認証に失敗した場合に、その認証時の履歴情報をエラー履歴情報としてメモリ４１０に格納する。
【００３５】
計時部４０５は、時間の計測を行うものである。位置情報検出部４０６は、携帯電話機１の位置情報を検出するものであり、ここでは、ＧＰＳ（Global Positioning System）により位置情報検出部４０６が構成されている。
【００３６】
メモリ４１０には、表示画面データ記憶部４１１、画像データ記憶部４１２、特徴情報記憶部４１３及びエラー履歴情報記憶部４１４が割り当てられている。表示画面データ記憶部４１１には、メイン表示部１０１やサブ表示部１０２に表示させる画面のデータが記憶される。画像データ記憶部４１２には、メインカメラ１０４やサブカメラ１０５で撮影した画像データや、通信部４５０を介して外部から受信した画像データなどが記憶される。特徴情報記憶部４１３には、認証処理に用いられる顔画像の特徴情報が記憶される。
【００３７】
エラー履歴情報記憶部４１４には、最も新しいエラー履歴情報から順に所定回数分のエラー履歴情報が格納される。すなわち、エラー履歴情報記憶部４１４に記憶されているエラー履歴情報が上記所定回数分に満たない状態で認証に失敗した場合には、その認証時におけるエラー履歴情報がエラー履歴情報記憶部４１４に追加して記憶される。一方、エラー履歴情報記憶部４１４に上記所定回数分のエラー履歴情報が記憶されている状態で認証に失敗した場合には、最も古いエラー履歴情報が削除されるとともに、認証時における新たなエラー履歴情報が記憶される。
【００３８】
エラー履歴情報としては、例えば、認証処理が行われたときに計時部４０５から出力される時間情報、認証処理に用いられたサブカメラ１０５による撮影画像、あるいは認証処理が行われたときに位置情報検出部４０６から出力される位置情報などを記憶することができる。
【００３９】
ただし、認証処理に用いられる顔画像の特徴情報や顔画像の画像データは、例えばＳＩＭ(Subscriber Identity Module)カードのような携帯電話機１に対して着脱可能な記憶媒体（図示せず）に記憶されるような構成であってもよい。
【００４０】
図３は、図２の撮像ユニット駆動制御部４０１の構成例を示したブロック図である。撮像ユニット駆動制御部４０１は、撮像ユニット起動部４０７、撮影制御部４０８及び撮像ユニット停止部４０９を備えている。撮像ユニット起動部４０７は、メインカメラ１０４及びサブカメラ１０５に制御信号を送信して、これらを起動させるためのものであり、ユーザの操作に基づいてメインカメラ１０４又はサブカメラ１０５に電源を投入する電源投入部４０７Ａと、初期化処理を実行する初期化処理部４０７Ｂとを備えている。
【００４１】
撮影制御部４０８は、初期化処理部４０７Ｂからの入力信号やユーザによる撮影操作に基づいて、メインカメラ１０４又はサブカメラ１０５の撮影動作を制御することにより、そのときのメインカメラ１０４又はサブカメラ１０５に対する被写体の静止画像データを生成する。撮像ユニット停止部４０９は、メインカメラ１０４又はサブカメラ１０５に供給する電力を停止させることにより、それらの撮像ユニットの駆動を停止させる。
【００４２】
図４は、図２の認証処理部４０２の構成例を示したブロック図である。認証処理部４０２は、特徴抽出部４０２Ａ、一致度算出部４０２Ｂ及び一致度判定部４０２Ｃを備えている。認証処理が開始されると、特徴抽出部４０２Ａにより、サブカメラ１０５で撮影した顔画像から、目、鼻、口及び輪郭といった顔の各部分についての形や大きさなどの特徴情報が抽出される。
【００４３】
撮影画像が顔画像でない風景画像などである場合には、撮影画像から特徴情報を抽出することができない。この場合、認証に失敗することとなるが、このときのエラー履歴情報はメモリ４１０のエラー履歴情報記憶部４１４に記憶されない。一方、撮影画像から特徴情報を抽出することに成功した場合には、一致度算出部４０２Ｂにより、その特徴情報がメモリ４１０の特徴情報記憶部４１３に記憶されている登録特徴情報と比較され、数値化された一致度が算出される。
【００４４】
一致度判定部４０２Ｃは、一致度算出部４０２Ｂにより算出された一致度を所定の閾値（認証閾値）と比較し、その比較結果を出力する。このとき、一致度が認証閾値を超えた場合には、真のユーザであると判断されて認証に成功し、一致度が認証閾値よりも小さい場合には、真のユーザであると判断されず認証に失敗する。ここで、一致度とは、比較されたすべての特徴情報のうち一致した特徴情報の占める割合（％）であって、認証閾値は、通常、９０％以上の所定値に設定されている。
【００４５】
一致度判定部４０２Ｃから出力される比較結果は、エラー履歴管理部４０４に入力される。認証に失敗した場合には、エラー履歴管理部４０４は、その認証時におけるエラー履歴情報をエラー履歴情報記憶部４１４に格納する。一方、認証に成功した場合、又は、前回のエラー履歴情報をエラー履歴情報記憶部４１４に記憶してから一定時間内に認証に失敗した場合には、エラー履歴管理部４０４は、その認証時におけるエラー履歴情報をエラー履歴情報記憶部４１４に格納しない。すなわち、エラー履歴管理部４０４は、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合にのみ、エラー履歴情報をエラー履歴情報記憶部４１４に格納する。
【００４６】
本実施の形態では、撮影画像から特徴情報は抽出されたが、その特徴情報と登録特徴情報との一致度が認証閾値よりも小さいと判定された場合にのみ、エラー履歴情報を格納することができる。すなわち、撮影画像が顔画像であり、例えば目、鼻、口及び輪郭の形や大きさといった顔画像の特徴情報が抽出されたにもかかわらず、登録特徴情報として予め記憶されているユーザの特徴情報との一致度が認証閾値よりも小さく、真のユーザでないと判断された場合にのみ、エラー履歴情報を格納することができる。
【００４７】
これにより、真のユーザとは異なる者、例えば携帯電話機１を盗んだ者などが、その携帯電話機１を不正に使用しようとして、その者の顔画像から特徴情報が抽出された場合にのみ、認証処理において認証に失敗した履歴情報をエラー履歴情報として格納し、携帯電話機１を取り戻した後、エラー履歴情報からその者を特定することができる。したがって、撮影画像から不正使用者と特定できないような場合にエラー履歴情報が格納されるのを防止できるので、不正使用者を特定するのに有用な情報のみを記憶することができ、メモリ４１０の使用量を低減することができる。
【００４８】
また、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合にのみエラー履歴情報を格納するような構成により、不正使用者が、認証処理において認証に失敗した履歴情報がエラー履歴情報として格納されたことに気付き、そのエラー履歴情報をエラー履歴情報記憶部４１４から消去するために、自分の顔が認識されないような認証処理を短時間に複数回行った場合に、それらの認証処理時のエラー履歴情報が格納されるのを防止することができる。したがって、不正使用者を特定するのに有用なエラー履歴情報が、不正使用者により故意にエラー履歴情報記憶部４１４から消去されるのを防止できるので、不正使用者をより確実に特定できる。
【００４９】
図５は、顔認証に関する設定を行う際のメイン表示部１０１の表示例を示した図である。ユーザが、操作キー２０１を操作してセキュリティ設定画面を読み出し（図５（ａ）参照）、そのセキュリティ設定画面に表示された項目の中から「顔認証設定」の項目を選択操作すると、その携帯電話機１に予め割り当てられている端末暗証番号の入力を促す画面がメイン表示部１０１に表示される（図５（ｂ）参照）。この表示画面において、操作キー２０１に含まれるクリアキーを操作すると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。
【００５０】
端末暗証番号は、例えば４〜８桁の任意の文字列からなり、携帯電話機１の購入時に予め設定されているが、ユーザが操作キー２０１を操作することにより変更することも可能である。図５（ｂ）の端末暗証番号入力画面において、操作キー２０１の操作により入力された文字列が、予め設定されている端末暗証番号と一致しない場合には、その旨がメイン表示部１０１に表示される（図５（ｃ）参照）。また、端末暗証番号入力画面において入力された文字列が３桁以下である場合には、４〜８桁の文字列を入力すべき旨がメイン表示部１０１に表示される（図５（ｄ）参照）。
【００５１】
メイン表示部１０１に図５（ｃ）又は図５（ｄ）に示すような表示がされた後、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。
【００５２】
図５（ｂ）の端末暗証番号入力画面において入力された文字列が、予め設定されている端末暗証番号と一致する場合には、メイン表示部１０１の表示は、顔認証を行うモードのオン／オフを設定するための顔認証利用設定画面に切り替わる（図５（ｅ）参照）。この表示画面において、操作キー２０１に含まれるクリアキーを操作すると、メイン表示部１０１の表示は、図５（ｂ）に示す端末暗証番号入力画面に戻る。また、顔認証利用設定画面において、操作キー２０１の操作により顔認証がオフされると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。
【００５３】
図５（ｅ）の顔認証利用設定画面において、操作キー２０１の操作により顔認証がオンされると、メイン表示部１０１の表示は、顔認証に関する設定を行うための顔認証設定画面に切り替わる（図５（ｆ）参照）。
【００５４】
本実施の形態では、顔認証の際に使用する登録特徴情報として、最大７つの画像データから特徴情報を抽出し、メモリ４１０に記憶させておくことができる。２以上の画像データから抽出される登録特徴情報に基づいて顔認証を行うことにより、真のユーザが顔認証を行う場合に認証に成功する確率（本人受入率）を高めることができ、ユーザの表情や光が当たる角度などの微妙な違いによって認証に失敗するのを防止できる。ただし、顔認証に使用する登録特徴情報は、７つの画像データから抽出されるような構成に限らず、例えば１つの画像データから抽出される登録特徴情報に基づいて顔認証を行うような構成であってもよい。
【００５５】
ユーザの顔画像は、メインカメラ１０４又はサブカメラ１０５を用いてユーザにより予め撮影され、それらの画像データがメモリ４１０の画像データ記憶部４１２に記憶される。顔認証は、これらの画像データから抽出されてメモリ４１０の特徴情報記憶部４１３に記憶された登録特徴情報に基づいて行われるため、これらの画像データそのものは顔認証に際して必要とはならないが、メモリ４１０に記憶しておけば、ユーザがそれらの画像データを読み出して顔画像を確認することができるので、利便性が向上する。
【００５６】
図５（ｆ）の顔認証設定画面には、上記登録特徴情報の抽出元であるユーザを表す画像（顔認証用画像）にそれぞれ対応付けられた項目と、顔認証時の認証閾値の設定（セキュリティレベル設定）に対応付けられた項目と、エラー履歴に対応付けられた項目とが含まれる。この表示画面において、顔認証用画像に対応付けられた項目を選択すると、顔認証用画像の上書登録や確認を行うための画面（顔認証用画像登録画面）が表示される。また、セキュリティレベル設定に対応付けられた項目を選択すると、顔認証時の認証閾値を設定するための画面（セキュリティレベル設定画面）が表示される。また、エラー履歴に対応付けられた項目を選択すると、エラー履歴を表示するための画面（エラー履歴画面）が表示される。
【００５７】
これらの各種設定等を行った後、操作キー２０１を操作して、顔認証設定を完了すると、メイン表示部１０１の表示は、図５（ｇ）又は図５（ｈ）に示すような表示に切り替わる。すなわち、少なくとも１つの顔認証用画像が登録されていれば、その顔認証用画像から抽出された特徴情報に基づいて顔認証を行う旨がメイン表示部１０１に表示され（図５（ｇ）参照）、この画面に含まれる確認キー１１１を選択すると、メイン表示部１０１の表示は、図５（ａ）に示すセキュリティ設定画面に戻る。一方、顔認証用画像が１つも登録されていない場合には、顔認証用画像の登録を行うべき旨がメイン表示部１０１に表示され（図５（ｈ）参照）、この画面に含まれる確認キー１１２を選択すると、メイン表示部１０１の表示は、図５（ｆ）に示す顔認証設定画面に戻る。
【００５８】
図６は、顔認証用画像登録画面の表示例を示した図である。図５（ｆ）の顔認証設定画面において、顔認証用画像に対応付けられたいずれかの項目を選択すると、メイン表示部１０１の表示は、図６（ａ）に示すように、その顔認証用画像に対応する顔認証用画像登録画面に切り替わる。顔認証用画像登録画面には、「上書登録」の項目及び「登録データ確認」の項目が含まれる。
【００５９】
図６（ａ）の顔認証用画像登録画面に表示された項目の中から「上書登録」の項目を選択操作すると、サブカメラ１０５が起動され、サブカメラ１０５による撮影が可能な状態になった後、サブカメラ１０５に対する被写体の画像がリアルタイムでメイン表示部１０１に表示される（図６（ｂ）参照）。このとき、メイン表示部１０１は、サブカメラ１０５のファインダとして機能し、メイン表示部１０１により構成されるファインダ画面には、メイン表示部１０１を見ながら操作を行っている者の顔が映し出されることとなる。
【００６０】
図６（ｂ）のファインダ画面において、ユーザが自分の顔の位置合わせなどを行った後、操作キー２０１に含まれる決定キーを操作することにより登録操作を行うと、制御部４００の特徴抽出部４０２Ａが、そのときサブカメラ１０５で撮影された画像から特徴情報を抽出する処理を行う。
【００６１】
この際、ユーザの顔の位置合わせが適当に行われていれば、目、鼻、口及び輪郭の形や大きさなどの特徴情報を抽出することができるが、位置合わせが適当に行われていない場合や、ユーザの顔がメイン表示部１０１に全く映し出されていない場合などには、特徴情報を抽出することができない。特徴情報を抽出することに成功した場合には、その特徴情報がメモリ４１０の特徴情報記憶部４１３に記憶されるとともに、そのときの顔画像が顔認証用画像としてメモリ４１０の画像データ記憶部４１２に記憶される。
【００６２】
特徴情報の抽出に成功した場合には、その顔画像に基づく特徴情報をメモリ４１０に記憶（登録）した旨がメイン表示部１０１に表示される（図６（ｃ）参照）。この表示画面に含まれる確認キー１１３をユーザが選択すると、メイン表示部１０１の表示は、図５（ｆ）に示す顔認証設定画面に戻る。一方、特徴情報の抽出に失敗した場合には、その旨及び特徴情報の抽出に失敗した原因がメイン表示部１０１に表示され（図６（ｄ）参照）、この表示画面に含まれる確認キー１１４をユーザが選択すると、メイン表示部１０１の表示は、図５（ｂ）に示すファインダ画面に戻り、再びサブカメラ１０５で顔画像を撮影することが可能になる。
【００６３】
図６（ａ）の顔認証用画像登録画面に表示された項目の中から「登録データ確認」の項目を選択操作すると、メモリ４１０の画像データ記憶部４１２に記憶されている対応する顔認証用画像が読み出され、メイン表示部１０１に表示される（図６（ｅ）参照）。ユーザは、図６（ｅ）に示す顔認証用画像確認画面により、登録されている顔認証用画像を確認することができる。この表示画面において、操作キー２０１に含まれるクリアキーを操作すると、メイン表示部１０１の表示は、図６（ａ）に示す顔認証用画像登録画面に戻る。
【００６４】
図６（ｅ）の顔認証用画像確認画面において、ユーザが操作キー２０１を操作することにより、対応する顔認証用画像を削除する操作を行うと、メイン表示部１０１の表示は、その顔認証用画像を削除してよいか否かを確認する削除確認画面に切り替わる（図６（ｆ）参照）。この表示画面には、顔認証用画像を削除すべき旨を指示する「はい」のキー１１５と、顔認証用画像を削除しない旨を指示する「いいえ」のキー１１６とが含まれる。図６（ｆ）の削除確認画面において、操作キー２０１の操作により「いいえ」のキー１１６が選択された場合には、メイン表示部１０１の表示は、図６（ｅ）に示す顔認証用画像確認画面に戻る。
【００６５】
図６（ｆ）の削除確認画面において、操作キー２０１の操作により「はい」のキー１１５が選択されると、メモリ４１０の画像データ記憶部４１２及び特徴情報記憶部４１３から対応する顔認証用画像及び登録特徴情報を削除するための処理が開始されるとともに、削除中である旨がメイン表示部１０１に表示される（図６（ｇ）参照）。そして、顔認証用画像及び登録特徴情報を削除する処理が完了すると、その旨がメイン表示部１０１に表示され（図６（ｈ）参照）、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されることに応答して、メイン表示部１０１の表示は、図５（ｆ）に示す顔認証設定画面に戻る。
【００６６】
図７は、セキュリティレベル設定画面の表示例を示した図である。図５（ｆ）の顔認証設定画面において、セキュリティレベル設定に対応付けられた項目を選択すると、メイン表示部１０１の表示は、図７に示すように、顔認証時の認証閾値の設定を行うためのセキュリティレベル設定画面に切り替わる。セキュリティレベルとしては、認証閾値が最も高い「レベル３」と、「レベル３」よりも認証閾値が低い「レベル２」と、「レベル２」よりも認証閾値が低い「レベル１」とが予め設定されており、セキュリティレベル設定画面において、いずれかのセキュリティレベルを選択することができる。
【００６７】
図８は、エラー履歴画面の表示例を示した図である。図５（ｆ）の顔認証設定画面において、エラー履歴に対応付けられた項目を選択すると、メイン表示部１０１の表示は、図８に示すように、エラー履歴を表示するためのエラー履歴画面に切り替わる。エラー履歴画面には、認証に失敗したときの日時を表す時間情報が、エラー履歴情報として所定回数分（例えば、９回分）だけリスト表示される。上記所定回数分のエラー履歴情報がメモリ４１０のエラー履歴情報記憶部４１４に記憶された状態で新たに認証に失敗した場合には、最も古いエラー履歴情報が削除され、新たなエラー履歴情報がメモリ４１０に記憶されるとともに、その新たなエラー履歴情報がエラー履歴画面に表示されるよう更新される。
【００６８】
図９は、顔認証を行う際のメイン表示部１０１の表示例を示した図である。この例では、携帯電話機１の管理機能に含まれるシークレットモードのオン／オフを切り替える際に顔認証が行われる。シークレットモードがオン状態のときには、通常のデータだけでなく、シークレットデータとして予め登録しているデータが表示される状態となり、シークレットモードがオフ状態のときには、シークレットデータは表示されず、通常のデータだけが表示される状態となる。
【００６９】
図９（ａ）に示すような携帯電話機１の管理機能を設定するための管理機能画面において、その管理機能画面に表示された項目の中から「シークレットモード」の項目を選択操作すると、サブカメラ１０５が起動される。そして、サブカメラ１０５による撮影が可能な状態になった後、サブカメラ１０５に対する被写体の画像がリアルタイムでメイン表示部１０１に表示され（図９（ｂ）参照）、自動認証が開始される。このとき、サブカメラ１０５の初期化処理が終了して撮影可能な状態になった時点で、ユーザが撮影操作を行わなくても、認証用の顔画像が撮影され、更にこの撮影画像から特徴情報が抽出される。そして抽出された特徴情報がメモリ４１０の特徴情報記憶部４１３に予め記憶されているユーザの特徴情報と比較されることにより、認証処理が自動的に行われる。
【００７０】
この認証処理において、抽出された顔画像の特徴情報とメモリ４１０に記憶されているユーザの特徴情報との一致度が、セキュリティレベル設定画面において予め設定されている認証閾値を超えた場合には、その操作者が真のユーザであると判断される。この場合、メイン表示部１０１に表示されているユーザの顔画像に対して、いわゆるアクションフォーカスによる強調表示が行われることにより、認証に成功した旨が視覚的効果により報知される。
【００７１】
その後、認証に成功した旨のメッセージがメイン表示部１０１に表示され（図９（ｃ）参照）、所定時間経過後に、シークレットモードのオン／オフを切り替えるための画面に切り替わる（図９（ｄ）参照）。一方、特徴情報の一致度が認証閾値よりも小さく、認証に失敗した場合には、その時点でサブカメラ１０５により撮影される画像から再び特徴情報が自動的に抽出され、その特徴情報がメモリ４１０に記憶されているユーザの特徴情報と比較される。
【００７２】
このように本実施形態では、認証に失敗した場合、所定時間（例えば、３秒）が経過してタイムアウトとなるまで認証処理が繰り返し連続的に行われ、認証に成功した時点で認証処理が終了する。例えば、タイムアウトの時間を３秒に設定した場合には、認証処理が最大で７回程度行われる。すなわち、１回の認証処理に要する時間は０．４秒程度であり、１回目の認証処理で認証に成功すれば、サブカメラ１０５の初期化処理終了後にほとんど待ち時間なく次の処理に進むことができる。認証処理が繰り返し行われている間、メイン表示部１０１にはファインダ画面が表示され、サブカメラ１０５に対する被写体の画像がリアルタイムで表示される。
【００７３】
認証処理が繰り返し行われる際、複数回の認証処理が行われるたびに、それらの認証処理における特徴情報の比較結果として、特徴情報の一致度に応じた表示がメイン表示部１０１になされる。より具体的には、メイン表示部１０１に表示されているファインダ画面の枠１１７の色が、特徴情報の一致度に応じた色で表示される。これにより、認証処理時の特徴情報の一致度の比較結果が表示されるので、ユーザは、その表示に基づいて、その認証処理時に撮影された自己の顔画像が認識しやすい画像であったか否かを確認することができる。
【００７４】
ただし、このような構成に限らず、特徴情報の一致度が数値やグラフなどを用いてメイン表示部１０１にレベル表示されるような構成であってもよい。また、すべての認証処理について比較結果を表示するような構成に限らず、少なくとも１回の認証処理について比較結果を表示するものであればよい。
【００７５】
自動認証が開始されてから所定時間が経過してタイムアウトとなった場合には、認証に失敗した旨がメイン表示部１０１に表示される（図９（ｅ）参照）。この表示画面に含まれる再認証キー１１８をユーザが選択すると、メイン表示部１０１の表示は、図９（ｂ）に示すファインダ画面に戻り、再び自動認証が開始される。一方、図９（ｅ）においてメイン表示部１０１に表示された端末暗証番号入力キー１１９をユーザが選択すると、メイン表示部１０１の表示は、端末暗証番号の入力を促す端末暗証番号入力画面に切り替わる（図９（ｆ）参照）。
【００７６】
図９（ｆ）の端末暗証番号入力画面において入力された文字列が、予め設定されている端末暗証番号と一致する場合には、メイン表示部１０１の表示は、シークレットモードのオン／オフを切り替えるための画面に切り替わる（図９（ｄ）参照）。
【００７７】
一方、図９（ｆ）の端末暗証番号入力画面において、操作キー２０１の操作により入力された文字列が、予め設定されている端末暗証番号と一致しない場合には、その旨がメイン表示部１０１に表示される（図９（ｇ）参照）。また、端末暗証番号入力画面において入力された文字列が３桁以下である場合には、４〜８桁の文字列を入力すべき旨がメイン表示部１０１に表示される（図９（ｈ）参照）。そして、図９（ｇ）又は図９（ｈ）に示すような表示がされた後、所定時間が経過してタイムアウトとなるか、あるいは、操作キー２０１に含まれるいずれかのキーが操作されると、メイン表示部１０１の表示は、図９（ａ）に示す管理機能画面に戻る。
【００７８】
本実施の形態のように、認証処理において認証に失敗した場合に、再度自動的に認証処理を行うような構成によれば、真のユーザが操作を行う場合に、１回目の認証処理により真のユーザであると判断されなかった場合でも、その後にユーザが撮影操作を行うことなく、認証処理が再度行われる。すなわち、真のユーザであると判断されるまで繰り返し自動的に認証処理が行われるので、認証処理に要する手間を削減できるとともに、認証処理に要する時間を短縮できる。
【００７９】
認証処理における顔画像の撮影時には、シャッター音を発生させないような構成であることが好ましい。このような構成により、電車の中などの周囲に人がいる環境で認証処理を行う場合に、シャッター音の発生により盗撮等の誤解を受けるのを防止できる。本実施の形態では、認証処理に際して撮影操作を行わないので、撮影操作を行うことにより盗撮等の誤解を受けるのを防止できる。
【００８０】
ただし、所定時間内に真のユーザであると判断されなかった場合、タイムアウトとなるような構成に限らず、認証に成功するまで繰り返し認証処理を行うような構成であってもよい。また、連続的に認証処理を行うような構成に限らず、サブカメラ１０５が起動されて撮影可能な状態になった後、１回だけ認証処理を行うような構成であってもよい。
【００８１】
図１０は、エラー履歴画面からエラー履歴情報を選択した場合の表示例を示した図であり、（ａ）はエラー履歴情報の選択態様、（ｂ）は選択されたエラー履歴情報に対する第１表示例、（ｃ）は選択されたエラー履歴情報に対する第２表示例を示している。
【００８２】
図８に示したようなエラー履歴画面において、ユーザは、操作キー２０１を操作して、メイン表示部１０１にリスト表示されているエラー履歴情報（時間情報）のいずれかにカーソル１２０を合わせた後、決定操作を行うことにより、そのエラー履歴情報を選択することができる（図１０（ａ）参照）。
【００８３】
図１０（ｂ）に示す第１表示例では、エラー履歴情報の選択操作に基づいて、そのエラー履歴情報が格納されたときの認証処理に用いられたサブカメラ１０５による撮影画像がエラー履歴情報記憶部４１４から読み出され、その撮影画像がメイン表示部１０１に表示されている。本実施の形態のように連続認証を行う場合には、認証に複数の撮影画像が用いられるので、これらの撮影画像の全部又は任意の１つをメイン表示部１０１に表示させるものとする。複数の撮影画像の全部をメイン表示部１０１に表示させる場合には、それらの撮影画像をメイン表示部１０１にサムネイル表示し、いずれかの撮影画像に対する選択操作が行われた場合に、選択された撮影画像がメイン表示部１０１全体に大きく表示されるようになっていてもよい。
【００８４】
ただし、本実施の形態のような構成とは異なり、認証処理を１回だけ行うような構成の場合には、その１回の認証処理時におけるサブカメラ１０５による撮影画像が、メイン表示部１０１に表示されるようになっていてもよい。
【００８５】
図１０（ｃ）に示す第２表示例では、エラー履歴情報の選択操作に基づいて、そのエラー履歴情報が格納された認証処理時に位置情報検出部４０６により検出された位置情報がエラー履歴情報記憶部４１４から読み出され、その位置情報がメイン表示部１０１に表示されている。この例では、メイン表示部１０１に位置情報として地名が表示されているが、このような構成に限らず、例えば、メイン表示部１０１に地図が表示され、その地図上で検出された位置情報が特定されるような構成であってもよい。
【００８６】
認証処理が行われたときの時間情報がエラー履歴情報としてメイン表示部１０１にリスト表示されるような構成に限らず、リスト表示されたエラー履歴を選択することにより、そのエラー履歴に対応する認証処理時の時間情報がエラー履歴情報記憶部４１４から読み出され、その時間情報がメイン表示部１０１に表示されるような構成であってもよい。また、各エラー履歴について、認証処理が行われたときの時間情報、認証処理に用いられた撮影画像、及び認証処理が行われたときの位置情報を一度に表示できるような構成であってもよいし、それらのエラー履歴情報のいずれかをユーザが選択して表示させることができるような構成であってもよい。
【００８７】
本実施の形態では、認証処理が行われたときの時間情報、認証処理に用いられた撮影画像、あるいは認証処理が行われたときの位置情報をエラー履歴情報として格納することにより、携帯電話機１を取り戻した後、それらの情報から不正使用者を特定することができるので、不正使用者をより確実に特定できる。連続認証を行った場合には、それらの認証処理に用いられた撮影画像の全部を格納すれば、それらの撮影画像（顔画像）に基づいて不正使用者をより確実に特定でき、撮影画像の任意の１つを格納すれば、撮影画像の全部を格納する場合と比べて、メモリ４１０の使用量を低減することができる。
【００８８】
図１１は、メイン表示部１０１に表示される待受画面の一例を示す図である。ここで、待受画面とは、携帯電話機１に電源が投入された状態で、アプリケーションが起動されていないときにメイン表示部１０１に表示される画面のことである。
【００８９】
図１１に示す例では、メイン表示部１０１に表示される待受画面の一部に、所定のアイコンを表示することによりユーザに対する報知を行うための報知領域１２１が配置されている。この例では、報知領域１２１には、新たな電子メールを受信している旨を報知するためのメール受信アイコン１２２と、新たなエラー履歴情報が格納されている旨を報知するためのエラー表示アイコン（エラー表示手段）１２３が表示されている。これにより、ユーザの知らないうちに携帯電話機１が不正に使用され、そのときのエラー履歴情報がエラー履歴情報記憶部４１４に格納された場合に、その旨を待受画面に表示してユーザに報知することができる。
【００９０】
顔認証は、シークレットモードのオン／オフを切り替える際に限らず、セキュリティ度やプライバシー度の高い他の機能、例えば、カード設定、着信制限、ロック設定、暗証番号変更、発信者番号通知／非通知設定、設定リセット、ソフトウェア更新、自局番号詳細表示、その他のデータ変更に関する各種設定操作に際して行うことができる。
【００９１】
また、認証処理は、顔画像に基づいて行われる顔認証に限らず、ユーザを表す画像であれば、ユーザの指紋画像に基づいて行われるものなどであってもよい。この場合、指紋画像の特徴情報を抽出して比較することにより、認証処理を行うことができる。
【００９２】
本発明は、以上の実施の形態の内容に限定されるものではなく、請求項記載の範囲内において種々の変更が可能である。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施の形態による携帯情報端末装置の一例を示した外観図であり、携帯情報端末装置の一例として携帯電話機が示されている。
【図２】図１に示した携帯電話機の内部構成の一例を示したブロック図である。
【図３】図２の撮像ユニット駆動制御部の構成例を示したブロック図である。
【図４】図２の認証処理部の構成例を示したブロック図である。
【図５】顔認証に関する設定を行う際のメイン表示部の表示例を示した図である。
【図６】顔認証用画像登録画面の表示例を示した図である。
【図７】セキュリティレベル設定画面の表示例を示した図である。
【図８】エラー履歴画面の表示例を示した図である。
【図９】顔認証を行う際のメイン表示部の表示例を示した図である。
【図１０】エラー履歴画面からエラー履歴情報を選択した場合の表示例を示した図であり、（ａ）はエラー履歴情報の選択態様、（ｂ）は選択されたエラー履歴情報に対する第１表示例、（ｃ）は選択されたエラー履歴情報に対する第２表示例を示している。
【図１１】メイン表示部に表示される待受画面の一例を示す図である。
【符号の説明】
【００９４】
１ 携帯電話機
１０１ メイン表示部
１０２ サブ表示部
１０３ 受話用レシーバ
１０４ メインカメラ
１０５ サブカメラ
１２１ 報知領域
１２３ エラー表示アイコン
２０１ 操作キー
２０３ 送話用マイクロフォン
４００ 制御部
４０１ 撮像ユニット駆動制御部
４０２ 認証処理部
４０２Ａ 特徴抽出部
４０２Ｂ 一致度算出部
４０２Ｃ 一致度判定部
４０３ 連続認証部
４０４ エラー履歴管理部
４０５ 計時部
４０６ 位置情報検出部
４０７ 撮像ユニット起動部
４０７Ａ 電源投入部
４０７Ｂ 初期化処理部
４０８ 撮影制御部
４０９ 撮像ユニット停止部
４１０ メモリ
４１１ 表示画面データ記憶部
４１２ 画像データ記憶部
４１３ 特徴情報記憶部
４１４ エラー履歴情報記憶部
４５０ 通信部
【特許請求の範囲】
【請求項１】
被写体を撮影するための撮像手段と、
顔画像から抽出された特徴情報を登録特徴情報として予め記憶しておく特徴情報記憶手段と、
上記登録特徴情報を用いて、上記撮像手段による撮影画像に基づく認証処理を行う認証処理手段と、
上記認証処理において認証に失敗した履歴情報をエラー履歴情報としてエラー履歴記憶手段に格納するエラー履歴管理手段とを備え、
上記認証処理手段が、上記撮影画像から特徴情報を抽出する特徴抽出手段と、上記特徴抽出手段により抽出された特徴情報を上記特徴情報記憶手段に記憶されている登録特徴情報と比較し、数値化された一致度を求める一致度算出手段と、上記一致度を認証閾値と比較する一致度判定手段とを有し、
上記エラー履歴管理手段は、上記特徴抽出手段において特徴情報が抽出され、かつ、上記一致度判定手段において一致度が認証閾値よりも小さいと判定された場合に、上記エラー履歴記憶手段にエラー履歴情報を格納することを特徴とする携帯情報端末装置。
【請求項２】
計時を行うための計時手段を備え、
上記エラー履歴情報には、上記認証処理が行われたときに上記計時手段により計時された時間情報が含まれることを特徴とする請求項１に記載の携帯情報端末装置。
【請求項３】
上記エラー履歴情報には、上記認証処理に用いられた上記撮像手段による撮影画像が含まれることを特徴とする請求項１に記載の携帯情報端末装置。
【請求項４】
上記撮像手段及び上記認証処理手段を制御することにより、上記認証処理において認証に失敗した場合に再度撮影を行い、その撮影画像に基づく認証処理を行う連続認証手段を備え、
上記エラー履歴情報には、上記認証処理に用いられた上記撮像手段による撮影画像の全部又は任意の１つが含まれることを特徴とする請求項１に記載の携帯情報端末装置。
【請求項５】
上記携帯情報端末装置の位置情報を検出するための位置情報検出手段を備え、
上記エラー履歴情報には、上記認証処理が行われたときに上記位置情報検出手段により検出された位置情報が含まれることを特徴とする請求項１に記載の携帯情報端末装置。
【請求項６】
上記エラー履歴記憶手段には、最も新しいエラー履歴情報から順に所定回数分のエラー履歴情報を格納することができ、
上記エラー履歴管理手段は、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合に、上記エラー履歴記憶手段にエラー履歴情報を格納することを特徴とする請求項１から５のいずれかに記載の携帯情報端末装置。
【請求項７】
上記エラー履歴記憶手段にエラー履歴情報が格納されたことを待受画面に表示するエラー表示手段を備えたことを特徴とする請求項１から６のいずれかに記載の携帯情報端末装置。
【請求項１】
被写体を撮影するための撮像手段と、
顔画像から抽出された特徴情報を登録特徴情報として予め記憶しておく特徴情報記憶手段と、
上記登録特徴情報を用いて、上記撮像手段による撮影画像に基づく認証処理を行う認証処理手段と、
上記認証処理において認証に失敗した履歴情報をエラー履歴情報としてエラー履歴記憶手段に格納するエラー履歴管理手段とを備え、
上記認証処理手段が、上記撮影画像から特徴情報を抽出する特徴抽出手段と、上記特徴抽出手段により抽出された特徴情報を上記特徴情報記憶手段に記憶されている登録特徴情報と比較し、数値化された一致度を求める一致度算出手段と、上記一致度を認証閾値と比較する一致度判定手段とを有し、
上記エラー履歴管理手段は、上記特徴抽出手段において特徴情報が抽出され、かつ、上記一致度判定手段において一致度が認証閾値よりも小さいと判定された場合に、上記エラー履歴記憶手段にエラー履歴情報を格納することを特徴とする携帯情報端末装置。
【請求項２】
計時を行うための計時手段を備え、
上記エラー履歴情報には、上記認証処理が行われたときに上記計時手段により計時された時間情報が含まれることを特徴とする請求項１に記載の携帯情報端末装置。
【請求項３】
上記エラー履歴情報には、上記認証処理に用いられた上記撮像手段による撮影画像が含まれることを特徴とする請求項１に記載の携帯情報端末装置。
【請求項４】
上記撮像手段及び上記認証処理手段を制御することにより、上記認証処理において認証に失敗した場合に再度撮影を行い、その撮影画像に基づく認証処理を行う連続認証手段を備え、
上記エラー履歴情報には、上記認証処理に用いられた上記撮像手段による撮影画像の全部又は任意の１つが含まれることを特徴とする請求項１に記載の携帯情報端末装置。
【請求項５】
上記携帯情報端末装置の位置情報を検出するための位置情報検出手段を備え、
上記エラー履歴情報には、上記認証処理が行われたときに上記位置情報検出手段により検出された位置情報が含まれることを特徴とする請求項１に記載の携帯情報端末装置。
【請求項６】
上記エラー履歴記憶手段には、最も新しいエラー履歴情報から順に所定回数分のエラー履歴情報を格納することができ、
上記エラー履歴管理手段は、前回のエラー履歴情報を格納してから一定時間経過後に認証に失敗した場合に、上記エラー履歴記憶手段にエラー履歴情報を格納することを特徴とする請求項１から５のいずれかに記載の携帯情報端末装置。
【請求項７】
上記エラー履歴記憶手段にエラー履歴情報が格納されたことを待受画面に表示するエラー表示手段を備えたことを特徴とする請求項１から６のいずれかに記載の携帯情報端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−３６３６５（Ｐ２００７−３６３６５Ａ）
【公開日】平成１９年２月８日（２００７．２．８）
【国際特許分類】
【出願番号】特願２００５−２１２８０６（Ｐ２００５−２１２８０６）
【出願日】平成１７年７月２２日（２００５．７．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１９年２月８日（２００７．２．８）
【国際特許分類】
【出願日】平成１７年７月２２日（２００５．７．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]