セキュリティシステム
【課題】 セキュリティ性を保つと共に、使用者のあるユーザの不本意により機器の使用が禁止されることを防ぐ。
【解決手段】 機器を使用する資格のあるユーザの使用中に、ビデオカメラによりユーザを撮像し続ける。カメラにより取得された画像から使用者の顔を検出することができなくなったとき、音声および画面表示により警告を行う共に、撮像および顔の検出を継続し、１０秒までに顔を検出できなかったときにはじめてコンピュータをロックする。
【解決手段】 機器を使用する資格のあるユーザの使用中に、ビデオカメラによりユーザを撮像し続ける。カメラにより取得された画像から使用者の顔を検出することができなくなったとき、音声および画面表示により警告を行う共に、撮像および顔の検出を継続し、１０秒までに顔を検出できなかったときにはじめてコンピュータをロックする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はセキュリティシステム、具体的には、使用資格のある使用者にのみ機器の使用を許可すると共に、使用資格のある使用者の不本意による機器の使用禁止を防ぐことができるセキュリティシステムに関するものである。
【背景技術】
【０００２】
従来、指紋、静脈、虹彩、顔画像などの使用者の生体情報を用いて認証を行い、認証が成功した使用者に対してのみ機器の使用を許可するシステムは様々な分野で利用されている。例えば、パーソナルコンピュータ（以下ＰＣという）を使用するのに当たって、まず使用しようとする使用者の生体情報を取得し、取得された生体情報と、予めデータベースなどに登録された、使用資格のある使用者の生体情報とを照合し、照合の結果、両者が一致する場合にコンピュータの使用を許可するシステムが利用されている。また、携帯電話器のなどの携帯機器に対しても、同じように上述した認証を行い、認証が成功した使用者のみがその携帯機器が使えるようにするシステムも利用されている。
【０００３】
これらのシステムの殆どは、使用開始時にのみ認証を行うものである。すなわち、一旦認証が成功すれば、機器の使用が終了するまで使用者の認証を行わないようになっている。そのため、コンピュータを使用する資格のある使用者が使用の途中で席を外したときや、携帯機器の使用中に他の人に奪われときなどの場合において、使用資格の無い人でもこれらの機器を不正使用することができてしまい、セキュリティ性が高くないという問題がある。
【０００４】
特許文献１は、携帯機器に対してこの問題を解決するシステムを提案している。特許文献１記載のシステムは、使用者の心拍や、脈拍や、顔貌などを検出するセンサを用いて、使用資格のある使用者に携帯機器の使用を許可した後に、該使用者が携帯機器を継続的に使用しているか否かを継続的に監視すると共に、該使用者が携帯機器を継続的に使用してないことを検出した際に、携帯機器の使用を禁止するように動作するものである。このようなシステムによって、上述したような、使用中に席を外したときや、携帯機器が他人に奪われたときなどの場合においても、機器の不正使用を防ぐことができ、従来のセキュリティシステムより高いセキュリティ性を実現することができる。
【特許文献１】特開２００３−５８２６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載のシステムでは、使用資格のある使用者が携帯機器を継続的に使用していないことを検出すれば、直ちに携帯機器の使用を禁止するように動作するものである。例えば、使用者の顔画像を継続的に取得して、該使用者が継続的に使用していない（顔画像を取得することができない）場合、直ちに携帯機器が使用禁止（ロック）される。そのため、使用者が使用途中で、俯いて物を探したり、隣の人と話すために顔を横に向いたりするなどの場合において、一時的に使用者の顔画像を取得することができなくなってしまうため、機器がロックされてしまい、使用者が引き続き使用するためには、再度ロックを解除するための認証手続きを行う必要があるため、不便である。
【０００６】
本発明は、上記事情に鑑み、セキュリティ性を保つと共に、使用者の不本意により、機器の使用が禁止されることを防ぐことのできるセキュリティシステムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明のセキュリティシステムは、機器を使用する資格のある使用者により前記機器を使用する際に、継続的に前記使用者の生体情報を取得する生体情報取得手段と、
該生体情報取得手段により取得された前記生体情報と、予め登録された、前記資格のある使用者の生体情報とを継続的に照合する照合手段と、
該照合手段による前記照合が失敗した際、前記機器の引き続きの使用を禁止する制御手段とを有してなるセキュリティシステムにおいて、
前記生体情報取得手段による前記使用者の生体情報の取得が失敗した際に、前記使用者に警告を行う警告手段をさらに備え、
前記生体情報取得手段が、前記生体情報の取得の失敗後も前記使用者の生体情報の取得を継続的に行うものであり、
前記制御手段が、前記生体情報取得手段により前記生体情報の取得の失敗から所定の時間までに前記使用者の生体情報が取得できなかったとき、前記機器の使用を禁止するものであることを特徴とするものである。
【０００８】
ここで、本発明において、「予め登録された」使用者の生体情報とは、前記照合を行う前に既に存在する、資格のある使用者の生体情報を示すものであり、データベースなどに登録されたものであってもよいし、例えば、使用資格のある者の生体情報を記憶したＩＤカードから、該ＩＤカードから生体情報を読み出して、生体情報取得手段により取得された生体情報とを照合するシステムにおいては、照合の前にＩＤカードから読み出された生体情報も、本発明における「予め登録された生体情報」に該当する。
【０００９】
また、前記警告手段は、聴覚的に、および／または視覚的に、および／または触覚的に前記警告を行うものとすることができる。ここで、「聴覚的に」警告を行うこととは、音声を発して使用者に気付かせることを意味し、スピーカを介して警告音や、アナウンスなどを行うことを例として挙げることができる。「視覚的に」警告を行うこととは、使用者が目視によって警告に気付くことができることを意味し、コンピュータや、携帯電話機などの表示画面（モニタ）表示画面に文字を表示させたり、特定のライトを点滅させたりすることを例として挙げることができる。「触覚的に」警告を行うこととは、使用者が手など体の一部分が接触することによって警告に気付くことができることを意味し、例えばバイブレータによる震動などを例として挙げることができる。
【００１０】
本発明のセキュリティシステムにおいて、前記警告手段は、機器の使用を禁止するまでの前記所定の時間をも使用者に知らせるものであることが好ましく、例えば、聴覚的に警告を行う警告手段の場合、「後○○秒でコンピュータがロックします」旨のように警告を行うことが望ましい。
【００１１】
本発明のセキュリティシステムにおいて、前記生体情報は、指紋、静脈、虹彩など、認証に用いることができる如何なる生体情報であってもよいが、取得および取得装置（生体情報取得手段）の実装の便利さから、使用者の顔画像を用いることが好ましく、この場合、前記生体情報取得手段は、撮像手段となる。
【００１２】
本発明のセキュリティシステムにおいて、前記生体情報取得手段は、撮像手段と、指紋読取手段、静脈読取手段および虹彩読取手段のうち少なくとも１つの所定の手段であり、
前記生体情報の取得の失敗前に取得される生体情報は、前記撮像手段により撮像された前記使用者の顔画像であり、前記生体情報の取得の失敗から前記所定の時間までに取得される生体情報は、前記所定の手段により読み取られた前記使用者の指紋情報、静脈情報および虹彩情報のうち少なくとも１つの情報であってもよい。
【００１３】
本発明のセキュリティシステムにおいて、前記制御手段は、前記機器の使用を禁止する際にそれ以降の前記機器の使用における前記所定の時間を延長または短縮することを予め設定するものであってもよい。
【発明の効果】
【００１４】
本発明は、機器を使用する資格のある使用者により前記機器を使用する際に、継続的に前記使用者の生体情報を取得し、取得された生体情報と、予め登録された、使用する資格のある使用者の生体情報とを継続的に照合すると共に、照合が失敗した際、機器の引き続きの使用を禁止するセキュリティシステムにおいて、生体情報取得手段により使用者の生体情報の取得が失敗した際に、直ちに機器の使用を禁止する代わりに、生体情報の取得が失敗した後でも、使用者の生体情報の取得を継続し、所定の時間までに使用者の生体情報が取得できなかったときにはじめて機器の使用を禁止する。こうすることによって、例えば生体情報として使用者の顔画像を用いる場合、使用者が使用途中で、俯いて物を探したり、隣の人と話すために顔を横に向いたりしたなどのことによって、使用者の顔が一時的に検出できなかったとしても、所定の時間内に使用者が顔を戻せば、使用者の不本意による機器の使用が禁止され、使用を再開するために時間がかかってしまうなどのことを避けることができ、セキュリティ性を保つと共に、便利である。また、生体情報の取得が失敗した際に、警告を行うようにしているので、使用者が他のことに夢中になったとしても気付かせることができ、所定の時間内に顔を戻すなどのことを促すことができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明の実施形態について説明する。
【００１６】
図１は、本発明のセキュリティシステムの実施形態となるコンピュータの構成を示すブロック図である。なお、本発明の主旨を分かり易くするために、本発明のセキュリティシステムに関わる部分のみを説明し、コンピュータの他の基本的な構成については、ここで説明および図示を省略する。また、本実施形態のコンピュータは、補助記憶装置に読み込まれたプログラムと、コンピュータのＣＰＵなどのハードウェアや、ＯＳ（オペレーシングシステム）などのソフトウェアとの協働によって、本発明のセキュリティシステムを実現するものである。
【００１７】
図示のように、本実施形態のコンピュータは、ユーザがコンピュータを使用開始（ログイン）時および使用中にコンピュータの前のユーザを撮像し続けるビデオカメラ２０と、コンピュータを使用する資格のある者の顔画像を記憶したデータベースＤＢ３０と、ログイン時、および使用中において、ビデオカメラ２０により取得された画像とＤＢ３０に記憶された顔画像とを照合して認証を行う認証部１０と、ユーザが種々の入力を行うための入力部４０と、後述する制御部６０の制御に従って音声および画面表示により警告を行う警告部５０と、前述した各構成を制御する制御部６０とを備える。
【００１８】
入力部４０は、ユーザが種々の入力、例えばログインを要求するための入力や、ログインした後の使用中の各種入力や、ログアウトのための入力などを行うためのものである。
【００１９】
ＤＢ３０には、該コンピュータを使用する資格のあるユーザの顔画像（以下登録画像という）を記憶している。なお、この登録画像は、登録時に撮像して得た顔画像に対して何ら処理も施してないものであってもよいが、撮像して得た顔画像に対して、特徴量を抽出したり、ワイヤーフレーム化したりなどの認証用のモデリング処理を施して得たものであることが好ましい。また、登録画像が、何らモデリング処理も施されていない場合には、認証部１０は、登録画像と生画像とをそのまま用いて認証を行ってもよいが、認証精度を高めるために、登録画像と生画像とに対して、夫々認証用のモデリング処理を施してから照合を行うようにすることが好ましい。なお、本実施形態においては、照合の精度を高めると共に、処理時間を短縮するために、ＤＢ３０には、モデリング処理を施した登録画像が記憶されており、認証部１０は、ビデオカメラ２０により取得された顔画像（以下生画像という）に対してモデリング処理を施して認証に用いるようにするものである。
【００２０】
ビデオカメラ２０は、ユーザがログインする際、およびログイン成功してから使用終了（ログアウトまたは強制終了）まで、コンピュータの前のユーザを動画形式で撮像し続けて、認証部１０に供するものである。
【００２１】
なお、登録用の生体情報としては、顔画像に加え、もしくは、顔画像に代えて、指紋情報、静脈情報、虹彩情報等を用いることもできる。この場合、指紋読取機、静脈読取機、虹彩読取機等を用意し、これらの読取機で読み取られた生体情報を認証部１０に供するようにする。
【００２２】
認証部１０は、ビデオカメラ２０により取得された生画像と、ＤＢ３０に記憶された登録画像とを照合することによって認証を行うものであり、図２は、その構成を示すブロック図である。図示のように、認証部１０は、ビデオカメラ２０により取得された生画像から顔を検出する顔検出部１と、顔検出部１により検出された顔部分の画像と、ＤＢ３０に記憶された登録画像とを用いて照合を行う照合部８をからなる。なお、ＤＢ３０に記憶された登録画像は、照合用のモデリング処理が施されたものであり、照合部８は、生画像の顔部分の画像に対して同じモデリング処理を施してから照合を行うものであるが、以下の説明において、単に顔部分の画像と登録画像とを用いて照合するという。
【００２３】
図３は、顔検出部１の構成を示すブロック図である。なお、顔検出部１は、ビデオカメラ２０により得られた動画から切り出したフレーム画像（以下写真画像Ｓ０という）から顔を検出するものである。図示のように、顔検出部１は、写真画像Ｓ０から特徴量Ｃ０を算出する特徴量算出部２と、後述する第１および第２の参照データＥ１，Ｅ２が格納されている第２の記憶部４と、特徴量算出部２が算出した特徴量Ｃ０と第２の記憶部４内の第１の参照データＥ１とに基づいて、写真画像Ｓ０に人物の顔が含まれているか否かを識別する第１の識別部５と、第１の識別部５により写真画像Ｓ０に顔が含まれていると識別された場合に、特徴量算出部２が算出した顔の画像内の特徴量Ｃ０と第２の記憶部４内の第２の参照データＥ２とに基づいて、その顔に含まれる目の位置を識別する第２の識別部６と、並びに第１の出力部７とを備えてなる。
【００２４】
なお、顔検出部１により識別される目の位置とは、顔における目尻から目頭の間の中心位置（図４中×で示す）であり、図４（ａ）に示すように真正面を向いた目の場合においては瞳の中心位置と同様であるが、図４（ｂ）に示すように右を向いた目の場合は瞳の中心位置ではなく、瞳の中心から外れた位置または白目部分に位置する。
【００２５】
特徴量算出部２は、顔の識別に用いる特徴量Ｃ０を写真画像Ｓ０から算出する。また、写真画像Ｓ０に顔が含まれると識別された場合には、後述するように抽出された顔の画像から同様の特徴量Ｃ０を算出する。具体的には、勾配ベクトル（すなわち写真画像Ｓ０上および顔画像上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出部２は、写真画像Ｓ０に対して図５（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して写真画像Ｓ０における水平方向のエッジを検出する。また、特徴量算出部２は、写真画像Ｓ０に対して図５（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して写真画像Ｓ０における垂直方向のエッジを検出する。そして、写真画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図６に示すように、各画素における勾配ベクトルＫを算出する。また、顔画像についても同様に勾配ベクトルＫを算出する。なお、特徴量算出部２は、後述するように写真画像Ｓ０および顔画像の変形の各段階において特徴量Ｃ０を算出する。
【００２６】
なお、このようにして算出された勾配ベクトルＫは、図７（ａ）に示すような人物の顔の場合、図７（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。
【００２７】
そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図６におけるｘ方向）を基準とした０から３５９度の値となる。
【００２８】
ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、写真画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が写真画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図８（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図８（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図８（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図８（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。
【００２９】
第２の記憶部４内に格納されている第１および第２の参照データＥ１，Ｅ２は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。
【００３０】
第１および第２の参照データＥ１，Ｅ２中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。
【００３１】
なお、本実施形態においては、第１の参照データＥ１を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図９に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、両目の中心間距離において垂直に立った顔を平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。なお、図９においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、両目の中心間の距離が１０画素のサンプル画像であれば、目の中心位置はすべて同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。また、図面上上下方向における目の位置（すなわちｙ１，ｙ２）はすべてのサンプル画像において同一である。
【００３２】
また、第２の参照データＥ２を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図１０に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９．７画素および１０．３画素であり、各両目の中心間距離において垂直に立った顔を平面上±３度の範囲において１度単位で段階的に回転させた（すなわち、回転角度が−３度，−２度，−１度，０度，１度，２度，３度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×７＝２１通り用意される。なお、図１０においては−３度、０度および＋３度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、図面上上下方向における目の位置はすべてのサンプル画像において同一である。なお、両目の中心間の距離を９．７画素および１０．３画素とするためには、両目の中心間の距離が１０画素のサンプル画像を９．７倍あるいは１０．３倍に拡大縮小して、拡大縮小後のサンプル画像のサイズを３０×３０画素とすればよい。
【００３３】
そして、第２の参照データＥ２の学習に用いられるサンプル画像における目の中心位置を、本実施形態において識別する目の位置とする。
【００３４】
また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。
【００３５】
ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、第１および第２の参照データＥ１，Ｅ２を参照して顔または目の位置であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔のみである。写真画像Ｓ０に含まれる可能性がある顔のサイズは一定ではないため、顔が含まれるか否かあるいは目の位置を識別する際には、後述するように写真画像Ｓ０を拡大縮小して、サンプル画像のサイズに適合するサイズの顔および目の位置を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、写真画像Ｓ０のサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。
【００３６】
また、写真画像Ｓ０に含まれる可能性がある顔は、図１１（ａ）に示すように平面上の回転角度が０度のみではなく、図１１（ｂ）、（ｃ）に示すように回転している場合もある。しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図１１（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。
【００３７】
このため、本実施形態においては、顔であることが分かっているサンプル画像として、図９に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、第１の参照データＥ１の学習に許容度を持たせるようにしたものである。これにより、後述する第１の識別部５において識別を行う際には、写真画像Ｓ０を拡大率として１１／９単位で段階的に拡大縮小すればよいため、写真画像Ｓ０のサイズを例えば拡大率として例えば１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図１１（ｂ）、（ｃ）に示すように回転している顔も識別することができる。
【００３８】
一方、第２の参照データＥ２の学習には、図１０に示すように両目の中心間距離が９．７，１０，１０．３画素であり、各距離において平面上±３度の範囲にて１度単位で段階的に顔を回転させたサンプル画像を用いているため、第１の参照データＥ１と比較して学習の許容度は小さい。また、後述する第２の識別部６において識別を行う際には、写真画像Ｓ０を拡大率として１０．３／９．７単位で拡大縮小する必要があるため、第１の識別部５において行われる識別よりも演算に長時間を要する。しかしながら、第２の識別部６において識別を行うのは第１の識別部５が識別した顔内の画像のみであるため、写真画像Ｓ０の全体を用いる場合と比較して目の位置の識別を行うための演算量を低減することができる。
【００３９】
以下、図１１のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。なお、ここでは第１の参照データＥ１の学習について説明する。
【００４０】
学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。なお、顔であることが分かっているサンプル画像は、上述したように１つのサンプル画像につき両目の中心位置が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたものを用いる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（Ｓ１）。
【００４１】
次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（Ｓ２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせについてのヒストグラムを識別器として使用する。
【００４２】
図１３を参照しながらある識別器の作成について説明する。図１３の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）4通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。
【００４３】
組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９4通りとなるため、特徴量Ｃ０のデータ数を低減できる。
【００４４】
同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１３の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。
【００４５】
続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（Ｓ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。
【００４６】
次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（Ｓ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。
【００４７】
ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。
【００４８】
次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（Ｓ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。
【００４９】
続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。
【００５０】
以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（Ｓ７）、これにより第１の参照データＥ１の学習を終了する。
【００５１】
そして、上記と同様に識別器の種類と識別条件とを求めることにより第２の参照データＥ２の学習がなされる。
【００５２】
なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１３の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。
【００５３】
また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。
【００５４】
第１の識別部５は、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて第１の参照データＥ１が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して写真画像Ｓ０に顔が含まれるか否かを識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。本実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行うものとする。例えば、識別ポイントの総和が正の値である場合には写真画像Ｓ０には顔が含まれると判断し、負の値である場合には顔は含まれないと判断する。なお、第１の識別部５が行う写真画像Ｓ０に顔が含まれるか否かの識別を第１の識別と称する。
【００５５】
ここで、写真画像Ｓ０のサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、第１の識別部５は、図１４に示すように、写真画像Ｓ０を縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１４においては縮小する状態を示す）、各段階において拡大縮小された写真画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された写真画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否かの識別を行うことにより、写真画像Ｓ０に顔が含まれるか否かを識別する。
【００５６】
なお、第１参照データＥ１の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、写真画像Ｓ０の拡大縮小時の拡大率は１１／９とすればよい。また、第１および第２の参照データＥ１，Ｅ２の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、写真画像Ｓ０は３０度単位で３６０度回転させればよい。
【００５７】
なお、特徴量算出部２は、写真画像Ｓ０の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。
【００５８】
そして、写真画像Ｓ０に顔が含まれるか否かの識別を拡大縮小および回転の全段階の写真画像Ｓ０について行い、一度でも顔が含まれると識別された場合には、写真画像Ｓ０には顔が含まれると識別し、顔が含まれると識別された段階におけるサイズおよび回転角度の写真画像Ｓ０から、識別されたマスクＭの位置に対応する３０×３０画素の領域を顔の画像として抽出する。
【００５９】
第２の識別部６は、第１の識別部５が抽出した顔の画像上において、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて第２の参照データＥ２が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔に含まれる目の位置を識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。
【００６０】
ここで、第２の識別部６は、第１の識別部５が抽出した顔画像のサイズを段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ、各段階において拡大縮小された顔画像上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された顔上において１画素ずつ移動させながら、マスク内の画像における目の位置の識別を行う。
【００６１】
なお、第２参照データＥ２の生成時に学習したサンプル画像として両目の中心位置の画素数が９．０７，１０，１０．３画素のものを使用しているため、顔画像の拡大縮小時の拡大率は１０．３／９．７とすればよい。また、第２の参照データＥ２の生成時に学習したサンプル画像として、顔が平面上で±３度の範囲において回転させたものを使用しているため、顔画像は６度単位で３６０度回転させればよい。
【００６２】
なお、特徴量算出部２は、顔画像の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。
【００６３】
そして、本実施形態では、抽出された顔画像の変形の全段階においてすべての識別ポイントを加算し、加算値が最も大きい変形の段階における３０×３０画素のマスクＭ内の顔画像において、左上隅を原点とする座標を設定し、サンプル画像における目の位置の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）に対応する位置を求め、変形前の写真画像Ｓ０におけるこの位置に対応する位置を目の位置と識別する。
【００６４】
第１の出力部７は、第１の識別部５が写真画像Ｓ０に顔が含まれると認識した場合には、第２の識別部６が識別した両目の位置から両目間の距離を求め、両目の位置および両目間の距離を用いて、両目間の中心点を中心とした顔の左右端部間の長さ、両目間の中心点から頭頂部までの距離、両目間の中心点から顎の先端までの距離を推定するようにして顔の外接枠を決め、外接枠内の画像を切り出して照合用の顔画像として照合部８に出力する。
【００６５】
図１５は本実施形態における顔検出部１の動作を示すフローチャートである。写真画像Ｓ０に対して、まず、特徴量算出部２が写真画像Ｓ０の拡大縮小および回転の各段階において、写真画像Ｓ０の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出する（Ｓ１２）。そして、第１の識別部５が第２の記憶部４から第１の参照データＥ１を読み出し（Ｓ１３）、写真画像Ｓ０に顔が含まれるか否かの第１の識別を行う（Ｓ１４）。
【００６６】
第１の識別部５は、写真画像Ｓ０に顔が含まれると判別する（Ｓ１４：Ｙｅｓ）と、写真画像Ｓ０から顔を抽出する（Ｓ１５）。ここでは、１つの顔に限らず複数の顔を抽出してもよい。次いで、特徴量算出部２が顔画像の拡大縮小および回転の各段階において、顔画像の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出する（Ｓ１６）。そして、第２の識別部６が第２の記憶部４から第２の参照データＥ２を読み出し（Ｓ１７）、顔に含まれる目の位置を識別する第２の識別を行う（Ｓ１８）。
【００６７】
続いて、第１の出力部７が写真画像Ｓ０から識別された目の位置および、この目の位置に基づいて求められた両目の中心点間の距離を用いて、顔の外接枠を推定すると共に、外接枠内の画像を切り出して照合用の顔画像として照合部８に出力する（Ｓ１９）。
【００６８】
一方、ステップＳ１４において、写真画像Ｓ０に顔が含まれていないと判別される（Ｓ１４：Ｎｏ）と、顔検出部１は、顔が検出されなかったことを示す情報を制御部６０に通知し（Ｓ２０）、写真画像Ｓ０に対する処理を終了する。
【００６９】
警告部５０は、制御部６０の制御に従って警告を行うものであり、図１６は、その構成を示すブロック図である。図示のように、警告部５０は、モニタ５４とスピーカ５８とを備え、制御部６０からの警告指示（その詳細について後述する）に応じて、警告を行うものである。具体的には、スピーカ５８は、制御部６０から警告指示を受信すれば、「１０秒後にコンピュータをロックします」旨のアナウンスをし、モニタ５４は、制御部６０から警告終了指示を受信するまで、画面に「まもなくコンピュータをロックします」旨の警告メッセージを表示し続けるように動作する。
【００７０】
制御部６０は、図１に示す各構成の動作を制御するものであり、以下、図１７、１８に示すフローチャートを参照しながら、制御部６０の制御動作および制御部６０の制御に応じた他の構成の動作を説明する。
【００７１】
図１７のフローチャートに示すように、ユーザが入力部４０を介してログイン要求を入力する（Ｓ３０）と、制御部６０は、ビデオカメラ２０に撮像を開始させると共に、認証部１０に認証指示をし、ビデオカメラ２０により得られた生画像と、ＤＢ３０に記憶された登録画像とを用いた認証を行わせる（Ｓ３４、Ｓ３６、Ｓ３８）。認証部１０による認証の結果がＮＧ、すなわち生画像の顔画像と、登録された顔画像とが一致しない（Ｓ４０：Ｎｏ）場合には、制御部６０は、該ユーザのログインを拒否する（Ｓ４０）一方、認証の結果がＯＫ、すなわち生画像と、登録された顔画像とが一致する（Ｓ４０：Ｙｅｓ）場合には、該ユーザのログインを許可すると共に、時間のカウントを開始する（Ｓ４４、Ｓ４６）。ユーザによるコンピュータの使用中に、ビデオカメラ２０による撮像および制御部６０による計時が続き（Ｓ５０：Ｎｏ、Ｓ５２）、カウント開始から３秒経った時点（Ｓ５０：Ｙｅｓ）で、制御部６０は、再び認証部１０に認証指示をする。認証部１０は、まず、制御部６０の認証指示に応じて、ビデオカメラ２０により取得された動画像から、その時点のフレーム画像を切り出して顔の検出を行う（Ｓ５８）。顔が検出される（Ｓ５８：Ｙｅｓ）と、認証部１０は、この顔画像と、ＤＢ３０に記憶された登録画像とを用いて、認証を行うと共に、認証の結果を制御部６０に出力する（Ｓ９０）。認証部１０による認証の結果がＯＫの場合、すなわち使用者がログインしたユーザである場合には、制御部６０は、時間のカウンタをゼロ秒に戻し、ステップＳ４８からの処理が繰り返されるように制御を行う（Ｓ９４：Ｙｅｓ、Ｓ４８〜）一方、認証の結果がＮＧの場合、すなわち、使用者がログインしたユーザではなくなった場合には、コンピュータを強制終了する（Ｓ９４：Ｎｏ、Ｓ９６）。なお、認証の結果がＮＧの場合、ステップＳ６４へ移行し、彩度画像の取得、認証を実施するようにしてもよい。
【００７２】
一方、ステップＳ５８において、顔が検出されなかった（Ｓ５８：Ｎｏ）、制御部６０は、図１８のフローチャートにより示される処理Ｐを行わせる。図１８のフローチャートに示すように、使用中のユーザの顔が検出されなかった場合、制御部６０は、警告部５０に警告指示を行わせると共に、時間のカウンタをゼロ秒に戻してから計時をする（Ｓ６０、Ｓ６２）。警告部５０のスピーカ５８は、制御部６０からの警告指示を受信すると、「１０秒後にコンピュータをロックします」のアナウンスをし、モニタ５４は、画面に「まもなくコンピュータをロックします」のメッセージを表示し続ける。
【００７３】
ステップＳ５８において、顔が検出されなかった（Ｓ５８：Ｎｏ）ことを認証部１０から通知された後でも、制御部６０は、ビデオカメラ２０による撮像および認証部１０による認証を行わせ続ける。ビデオカメラ２０により得られた生画像に対して、認証部１０により顔が検出されなかった場合（Ｓ６６、Ｓ６８、Ｓ７０：Ｎｏ）には、制御部６０は、ステップＳ６６〜ステップＳ６８の処理を行わせ続けるが、顔が検出される（Ｓ７０：Ｙｅｓ）と、認証部１０に、検出された顔を用いた照合を行わせる（Ｓ７２）。認証の結果がＯＫの場合、すなわち、ログインしたユーザが顔をコンピュータの前に戻した場合（Ｓ７４：Ｙｅｓ）には、制御部６０は、処理を図１７のフローチャートにおけるステップＳ４８に戻し、ステップＳ４８からの処理を行わせるが、ステップＳ７２における認証結果がＮＧの場合、すなわちコンピュータの前にいる人が、ログインしたユーザではない場合（Ｓ７４：Ｎｏ）には、処理を図１７に示すフローチャートにおけるステップＳ９６に進め、コンピュータを強制終了する（Ｓ９６）。
【００７４】
ステップＳ６６からの処理は、ステップＳ６２から始まったカウントが１０秒以下であるときに行われるものであり、制御部６０は、カウンタが１０秒になった時点において（Ｓ６４：Ｎｏ。すなわちステップＳ６２の計時開始から１０秒経っても顔が検出されなかった場合）、警告部５０に警告表示を停止させると共に、コンピュータを、ロック解除要求がなされるまでロックする（Ｓ８０、Ｓ８２：Ｎｏ、Ｓ８０）。ロック中、入力部４０を介してユーザがロック解除を要求する入力がなされると、制御部６０は、処理を図１７のフローチャートに示すステップＳ３４に戻し、ステップＳ３４からの処理を行わせる（Ｓ８２：Ｙｅｓ、Ｓ３４）。
【００７５】
このように、本発明の実施形態のコンピュータによれば、使用資格のあるユーザの使用中にユーザの顔画像を取得し続けて、取得された顔画像と、予めデータベースに登録された顔画像とを照合し、照合結果がＮＧとなると、コンピュータを強制終了する一方、使用資格のユーザの使用中に、顔画像を検出できなくなった場合には、直ちにコンピュータを強制終了またはロックすることをせず、音声および画面表示により警告を行うと共に、所定の時間（本実施形態においては１０秒）までに顔を検出することができなかったときにコンピュータをロックする。顔を検出できなくなってから１０秒以内に顔を検出することができれば、検出できた顔の画像を用いて認証を行い、認証がＯＫならば、コンピュータの引き続きの使用を許可する。このようにすることによって、使用資格のあるユーザが使用途中で、俯いて物を探したり、隣の人と話すために顔を横に向いたりしたなどのことによって、使用者の顔が一時的に検出できなかったとしても、所定の時間内に使用者が顔を戻せば、使用者の不本意による機器の使用が禁止され、使用を再開（ロック解除）するために時間がかかってしまうなどのことを避けることができ、セキュリティ性を保つと共に、便利である。
【００７６】
以上、本発明のセキュリティシステムについて説明したが、本発明のセキュリティシステムは、上述した実施形態に限らず、本発明の主旨を逸脱しない限り、様々な増減、変更を加えることができる。
【００７７】
例えば、図１に示す実施形態のコンピュータにおいて、ユーザの顔写真画像を認証に用いるようにしているが、使用する機器の種類、特性などに応じた他の生体情報を用いてもよい。例えば、携帯電話機の場合においては、顔は勿論、指紋、掌紋を用いてもよい。
【００７８】
また、警告手段も同じく、使用する機器の種類、特性などに応じた方法で警告を行うものであることが望ましく、例えば携帯電話機の場合は、画面に警告のメッセージを表示するよりも、バイブレータを起動するなど、触覚的な手段のほうがよい。
【００７９】
また、図１に示す実施形態のコンピュータにおいて、警告部５０のスピーカ５８は、制御部６０から警告指示を受信した際に一度のみ「１０秒後にコンピュータをロックします」のアナウンスし、モニタ５４は、警告停止指示が出されるまで「まもなくコンピュータをロックします」を表示し続けるように動作するが、アナウンスの回数、表示する内容など、変更しても勿論よい。例えば、経過する時間に応じて、ロックするまでの時間を１秒毎に「１０秒後にコンピュータをロックします」、「９秒後にコンピュータをログアウトします」・・・のようにアナウンスするようにしてもよく、モニタ５４も、同じ内容の文字メッセージを表示するようにしてもよい。
【００８０】
さらに、アナウンスする内容は、「早めにコンピュータの画面に顔を向けてください」などユーザを促すメッセージを入れたものであってもよい。
【００８１】
また、図１に示す実施形態のコンピュータにおいて、使用資格のあるユーザの顔画像を予めデータベースに登録しておき、ログインを要求するユーザを撮像して得た生の顔画像と登録画像とを照合するようにしてログインのための認証を行うようにしているが、例えば、使用する資格のあるユーザに該ユーザの顔画像を記憶したＩＤカードを配布し、ユーザがログインする際に、このＩＤカードをコンピュータのスロットに挿入すれば、コンピュータはＩＤカードから、ＩＤカードに記憶された顔画像を読み出してメモリに記憶させると共に、メモリに記憶された顔画像と生の顔画像とを照合するようにしてログインのための認証を行うようにしてもよい。ログイン成功後に行われる認証（使用中のユーザが、ログインするユーザであることの認証）も、メモリに記憶された顔画像を用いればよい。
【００８２】
また、図１に示す実施形態のコンピュータにおいて、ログインのための認証と、ログイン後に行われる認証とが、同じ方法で行われているが、この２つの認証は、必ずしも同じである必要がない。例えば、使用する資格のあるユーザにＩＤ番号および該ＩＤ番号に対応するパスワードを付与すると共に、予めＩＤ番号に対応するパスワードおよびユーザの顔画像をデータベースに登録しておき、ログインの際に、ユーザにＩＤ番号とパスワードとを入力させ、データベースに記憶されたＩＤ、パスワードとを照合することによってログインのための認証を行うようにしてもよい。ログイン成功後に行われる認証については、ログインしたユーザのＩＤ番号に対応する顔画像をデータベースから読み出して、この顔画像と、カメラにより取得された生の顔画像と照合するようにしてもよい。
【００８３】
また、図１に示す実施形態のコンピュータは、ユーザの使用する機器と、該機器を使用するためのセキュリティシステムとを兼ねているが、本発明のセキュリティシステムは、必ずしも本発明のセキュリティシステムの保護対象となる機器と一体化する必要がない。例えば、ユーザの顔画像を取得するカメラをコンピュータに設けるが、登録画像を記憶するデータベースや、認証部や、制御部などをコンピュータと接続されたサーバに設けるようにしてもよい。
【００８４】
また、図１に示す実施形態のコンピュータにおいて、セキュリティ性を高めるために、顔が検出されたが、認証結果がＮＧの場合、コンピュータを強制終了するようにしているが、この場合において、顔が検出されなかった場合と同じく、ロックするようにしてもよい。そうすることによって、例えば使用中のユーザが同僚に操作を助けてもらったりするなどの場合において、強制終了されることを防ぐことができ、便利である。また、この場合において、直ちに強制終了またはロックする代わりに、一定の時間を経過してから強制終了またはロックするようにし、この一定の時間が経過する前に、ログインしたユーザの顔画像が検出されれば、引き続きの使用を許可するようにしてもよい。
【００８５】
また、図１に示す実施形態のコンピュータにおいて、ビデオカメラ２０は動画を撮像するビデオカメラであり、認証部１０は、ビデオカメラ２０により取得された動画像からフレーム画像を切り出して認証に用いるようにしているが、例えば、スチールカメラを用いて、フレーム画像を切り取る時間間隔と同じ間隔で撮像を行うようにしてもよく、その際、認証部１０は、フレーム画像を切り出すことをせず、直接スチールカメラにより得られた写真画像を使えばよい。
【００８６】
また、図１に示す実施形態のコンピュータにおいて、ユーザの使用中において、例として３秒間隔で撮像（フレーム画像の切り出し）および認証を行っているが、この間隔は３秒に限られることがなく、予め決められた０秒より長い如何なる間隔であってもよいが、セキュリティ性を高める視点からは、1分以下であることが望ましい。また、この間隔は、使用資格のあるユーザまたは管理者によって変更または設定することができるようにしてもよい。
【００８７】
また、顔を検出することができなくなった時点からロックするまでの時間も１０秒に限らず、セキュリティシステムが使用される環境に応じた時間を用いたり、使用する資格のあるユーザまたは管理者によって設定することができるようにしたりしてもよい。
【００８８】
また、本実施形態のコンピュータにおいて、ビデオカメラにより取得された動画像から該当するタイミングのフレーム画像を切り出して認証を行うようにしているが、例えば、該当するタイミングの前および／または後の複数のフレーム画像の平均画像を作成してこの平均画像を認証に用いるようにしてもよい。こうすることによって、顔の表情や照明条件などの変化に起因する認証精度の低下を防ぐことができる。
【００８９】
または、該当するタイミングの前および／または後の複数のフレーム画像を切り出し、個々に夫々を用いて認証を行い、最も結果の良い認証結果を用いるようにしてもよい。
【００９０】
また、認証を行う際に、一度の認証で決定する代わりに、顔画像の取得とこの顔画像を用いて照合を行うことを複数回トライし、決められた認証回数のうち、例えば１回でも認証が成功すればＯＫとするようにしてもよい。
【００９１】
また、ロックするまでの時間や、認証を行う時間間隔に限らず、認証のトライの回数なども使用する資格のあるユーザまたは管理者によって設定できるようにしてもよい。
【００９２】
勿論、上記種々の設定の組合せを複数登録しておき、選択できるようにしてもよい。
【００９３】
また、ログイン後の認証を行う間隔も、一定であることに限られるものではない。例えば、認証部により１回の認証が終了次第、次の認証を始めるようにしてもよい。
【００９４】
また、顔画像を用いた認証の場合、正面顔の画像ではないとき認証の精度が低下する。ユーザが真正面に向いていないときなどの誤認証を防ぐために、取得された生の顔画像の向きを推定し、ユーザの顔が真正面に向いていないと判定した場合、例えば検出された顔画像の両目間の距離が現実的には不可能である小さい値となった場合には、その顔画像を認証に用いず、ユーザに真正面に向くようにアナウンスするなど指示し、真正面の顔画像を取得して認証に用いるようにしてもよい。勿論、この場合、再認証を行うことができる回数、例えば３回までなど上限を設けることが必要である。
【００９５】
また、動画像からフレーム画像を切り出して認証を行うシステムにおいて、切り出すタイミングのフレーム画像が真正面の顔画像ではない場合には、その前または後のフレーム画像の向きを検出し、真正面に向いた顔画像を認証に用いるようにしてもよい。
【００９６】
また、サーバにより認証、制御を行うシステムにおいては、サーバに顔認証のログ、ユーザのログインログ、操作ログなどを記録するようにしてもよい。この際、サーバの管理者が所定のコンピュータのこれらのログを閲覧する際に、これらのログが閲覧されていることを該当するユーザに通知するようにすることが好ましい。こうすることによって、ログ閲覧の乱用防止や、操作ログなどの情報の漏洩を抑制することができる。さらに、ユーザに通知する際に、閲覧者の顔画像も取得して同時に送信するようにしてもよい。
【００９７】
また、ＩＤカードは数種類があって、その中に記憶された顔画像のモデリング処理の手法が異なるなど複数の認証エンジンを必要とする場合には、認証エンジンを複数用意し、適切な認証を選択して認証を行うようにしてもよい。さらに、ローカル環境（図１に示す実施形態のコンピュータ）に必要な認証エンジンを全て実装することができない場合には、ローカル環境には最も使用率の高い認証エンジンのみを実装すると共に、サーバには複数の認証エンジンを実装し、認証を行う際に、ローカル環境に実装された認証エンジンで認証ができるときには、ローカル環境の認証エンジンで認証を行う一方、ローカル環境に実装された認証エンジンで認証ができないときには、取得された生体情報をサーバに送信し、サーバにおいて認証を行うようにしてもよい。
【００９８】
また、上記の実施形態においては、生体情報取得手段として、ユーザの顔画像を取得するビデオカメラ２０を用意し、顔画像の取得の失敗後においても、生体情報として顔画像の継続的な取得を試みるようにしているが、例えば、生体情報取得手段として、ビデオカメラ２０に加え、ユーザの指紋情報、静脈情報、虹彩情報等を読み取って取得する指紋読取機、静脈読取機、虹彩読取機等を用意し、顔画像の取得の失敗前においては、生体情報として顔画像を取得して認証を行い、顔画像の取得の失敗から所定の時間までにおいては、生体情報として指紋情報、静脈情報、虹彩情報等を取得して認証を行うようにしてもよい。指紋情報、静脈情報、虹彩情報等は、顔画像に比べてより確実に取得、照合を行うことができるため、不本意なコンピュータのロックを回避できる可能性が高くなる。
【００９９】
また、制御部６０は、所定の時間までに顔画像が取得できなかった場合や、認証がＮＧの場合に、コンピュータをロックしてその使用を禁止するが、その際に、それ以降のコンピュータの使用における、顔画像の取得の失敗からコンピュータをロックするまでの所定の時間を延長または短縮することを予め設定するようにしてもよい。例えば、一度コンピュータのロックが掛かった場合には、セキュリティレベルをより上げるため、その所定の時間をより短縮するように予め設定するようにすることができる。
【図面の簡単な説明】
【０１００】
【図１】本発明のセキュリティシステムの実施形態となるコンピュータの構成を示すブロック図
【図２】図１に示すコンピュータにおける認証部１０の構成を示すブロック図
【図３】図２に示す認証部１における顔検出部１の構成を示すブロック図
【図４】目の中心位置を説明するための図
【図５】（ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図
【図６】勾配ベクトルの算出を説明するための図
【図７】（ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図
【図８】（ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図
【図９】参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図
【図１０】参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図
【図１１】顔の回転を説明するための図
【図１２】参照データの学習手法を示すフローチャート
【図１３】識別器の導出方法を示す図
【図１４】識別対象画像の段階的な変形を説明するための図
【図１５】図３に示す顔検出部１の処理を示すフローチャート
【図１６】図１に示す実施形態のコンピュータにおける警告部５０の構成を示すブロック図
【図１７】図１に示す実施形態のコンピュータの処理を示すフローチャート（その１）
【図１８】図１に示す実施形態のコンピュータの処理を示すフローチャート（その２）
【符号の説明】
【０１０１】
１ 顔検出部
２ 特徴量算出部
４ 第２の記憶部
５ 第１の識別部
６ 第２の識別部
７ 第１の出力部
８ 照合部
１０ 認証部
２０ カメラ
３０ データベース
４０ 入力部
５０ 警告部
５４ モニタ
５８ スピーカ
６０ 制御部
【技術分野】
【０００１】
本発明はセキュリティシステム、具体的には、使用資格のある使用者にのみ機器の使用を許可すると共に、使用資格のある使用者の不本意による機器の使用禁止を防ぐことができるセキュリティシステムに関するものである。
【背景技術】
【０００２】
従来、指紋、静脈、虹彩、顔画像などの使用者の生体情報を用いて認証を行い、認証が成功した使用者に対してのみ機器の使用を許可するシステムは様々な分野で利用されている。例えば、パーソナルコンピュータ（以下ＰＣという）を使用するのに当たって、まず使用しようとする使用者の生体情報を取得し、取得された生体情報と、予めデータベースなどに登録された、使用資格のある使用者の生体情報とを照合し、照合の結果、両者が一致する場合にコンピュータの使用を許可するシステムが利用されている。また、携帯電話器のなどの携帯機器に対しても、同じように上述した認証を行い、認証が成功した使用者のみがその携帯機器が使えるようにするシステムも利用されている。
【０００３】
これらのシステムの殆どは、使用開始時にのみ認証を行うものである。すなわち、一旦認証が成功すれば、機器の使用が終了するまで使用者の認証を行わないようになっている。そのため、コンピュータを使用する資格のある使用者が使用の途中で席を外したときや、携帯機器の使用中に他の人に奪われときなどの場合において、使用資格の無い人でもこれらの機器を不正使用することができてしまい、セキュリティ性が高くないという問題がある。
【０００４】
特許文献１は、携帯機器に対してこの問題を解決するシステムを提案している。特許文献１記載のシステムは、使用者の心拍や、脈拍や、顔貌などを検出するセンサを用いて、使用資格のある使用者に携帯機器の使用を許可した後に、該使用者が携帯機器を継続的に使用しているか否かを継続的に監視すると共に、該使用者が携帯機器を継続的に使用してないことを検出した際に、携帯機器の使用を禁止するように動作するものである。このようなシステムによって、上述したような、使用中に席を外したときや、携帯機器が他人に奪われたときなどの場合においても、機器の不正使用を防ぐことができ、従来のセキュリティシステムより高いセキュリティ性を実現することができる。
【特許文献１】特開２００３−５８２６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載のシステムでは、使用資格のある使用者が携帯機器を継続的に使用していないことを検出すれば、直ちに携帯機器の使用を禁止するように動作するものである。例えば、使用者の顔画像を継続的に取得して、該使用者が継続的に使用していない（顔画像を取得することができない）場合、直ちに携帯機器が使用禁止（ロック）される。そのため、使用者が使用途中で、俯いて物を探したり、隣の人と話すために顔を横に向いたりするなどの場合において、一時的に使用者の顔画像を取得することができなくなってしまうため、機器がロックされてしまい、使用者が引き続き使用するためには、再度ロックを解除するための認証手続きを行う必要があるため、不便である。
【０００６】
本発明は、上記事情に鑑み、セキュリティ性を保つと共に、使用者の不本意により、機器の使用が禁止されることを防ぐことのできるセキュリティシステムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明のセキュリティシステムは、機器を使用する資格のある使用者により前記機器を使用する際に、継続的に前記使用者の生体情報を取得する生体情報取得手段と、
該生体情報取得手段により取得された前記生体情報と、予め登録された、前記資格のある使用者の生体情報とを継続的に照合する照合手段と、
該照合手段による前記照合が失敗した際、前記機器の引き続きの使用を禁止する制御手段とを有してなるセキュリティシステムにおいて、
前記生体情報取得手段による前記使用者の生体情報の取得が失敗した際に、前記使用者に警告を行う警告手段をさらに備え、
前記生体情報取得手段が、前記生体情報の取得の失敗後も前記使用者の生体情報の取得を継続的に行うものであり、
前記制御手段が、前記生体情報取得手段により前記生体情報の取得の失敗から所定の時間までに前記使用者の生体情報が取得できなかったとき、前記機器の使用を禁止するものであることを特徴とするものである。
【０００８】
ここで、本発明において、「予め登録された」使用者の生体情報とは、前記照合を行う前に既に存在する、資格のある使用者の生体情報を示すものであり、データベースなどに登録されたものであってもよいし、例えば、使用資格のある者の生体情報を記憶したＩＤカードから、該ＩＤカードから生体情報を読み出して、生体情報取得手段により取得された生体情報とを照合するシステムにおいては、照合の前にＩＤカードから読み出された生体情報も、本発明における「予め登録された生体情報」に該当する。
【０００９】
また、前記警告手段は、聴覚的に、および／または視覚的に、および／または触覚的に前記警告を行うものとすることができる。ここで、「聴覚的に」警告を行うこととは、音声を発して使用者に気付かせることを意味し、スピーカを介して警告音や、アナウンスなどを行うことを例として挙げることができる。「視覚的に」警告を行うこととは、使用者が目視によって警告に気付くことができることを意味し、コンピュータや、携帯電話機などの表示画面（モニタ）表示画面に文字を表示させたり、特定のライトを点滅させたりすることを例として挙げることができる。「触覚的に」警告を行うこととは、使用者が手など体の一部分が接触することによって警告に気付くことができることを意味し、例えばバイブレータによる震動などを例として挙げることができる。
【００１０】
本発明のセキュリティシステムにおいて、前記警告手段は、機器の使用を禁止するまでの前記所定の時間をも使用者に知らせるものであることが好ましく、例えば、聴覚的に警告を行う警告手段の場合、「後○○秒でコンピュータがロックします」旨のように警告を行うことが望ましい。
【００１１】
本発明のセキュリティシステムにおいて、前記生体情報は、指紋、静脈、虹彩など、認証に用いることができる如何なる生体情報であってもよいが、取得および取得装置（生体情報取得手段）の実装の便利さから、使用者の顔画像を用いることが好ましく、この場合、前記生体情報取得手段は、撮像手段となる。
【００１２】
本発明のセキュリティシステムにおいて、前記生体情報取得手段は、撮像手段と、指紋読取手段、静脈読取手段および虹彩読取手段のうち少なくとも１つの所定の手段であり、
前記生体情報の取得の失敗前に取得される生体情報は、前記撮像手段により撮像された前記使用者の顔画像であり、前記生体情報の取得の失敗から前記所定の時間までに取得される生体情報は、前記所定の手段により読み取られた前記使用者の指紋情報、静脈情報および虹彩情報のうち少なくとも１つの情報であってもよい。
【００１３】
本発明のセキュリティシステムにおいて、前記制御手段は、前記機器の使用を禁止する際にそれ以降の前記機器の使用における前記所定の時間を延長または短縮することを予め設定するものであってもよい。
【発明の効果】
【００１４】
本発明は、機器を使用する資格のある使用者により前記機器を使用する際に、継続的に前記使用者の生体情報を取得し、取得された生体情報と、予め登録された、使用する資格のある使用者の生体情報とを継続的に照合すると共に、照合が失敗した際、機器の引き続きの使用を禁止するセキュリティシステムにおいて、生体情報取得手段により使用者の生体情報の取得が失敗した際に、直ちに機器の使用を禁止する代わりに、生体情報の取得が失敗した後でも、使用者の生体情報の取得を継続し、所定の時間までに使用者の生体情報が取得できなかったときにはじめて機器の使用を禁止する。こうすることによって、例えば生体情報として使用者の顔画像を用いる場合、使用者が使用途中で、俯いて物を探したり、隣の人と話すために顔を横に向いたりしたなどのことによって、使用者の顔が一時的に検出できなかったとしても、所定の時間内に使用者が顔を戻せば、使用者の不本意による機器の使用が禁止され、使用を再開するために時間がかかってしまうなどのことを避けることができ、セキュリティ性を保つと共に、便利である。また、生体情報の取得が失敗した際に、警告を行うようにしているので、使用者が他のことに夢中になったとしても気付かせることができ、所定の時間内に顔を戻すなどのことを促すことができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明の実施形態について説明する。
【００１６】
図１は、本発明のセキュリティシステムの実施形態となるコンピュータの構成を示すブロック図である。なお、本発明の主旨を分かり易くするために、本発明のセキュリティシステムに関わる部分のみを説明し、コンピュータの他の基本的な構成については、ここで説明および図示を省略する。また、本実施形態のコンピュータは、補助記憶装置に読み込まれたプログラムと、コンピュータのＣＰＵなどのハードウェアや、ＯＳ（オペレーシングシステム）などのソフトウェアとの協働によって、本発明のセキュリティシステムを実現するものである。
【００１７】
図示のように、本実施形態のコンピュータは、ユーザがコンピュータを使用開始（ログイン）時および使用中にコンピュータの前のユーザを撮像し続けるビデオカメラ２０と、コンピュータを使用する資格のある者の顔画像を記憶したデータベースＤＢ３０と、ログイン時、および使用中において、ビデオカメラ２０により取得された画像とＤＢ３０に記憶された顔画像とを照合して認証を行う認証部１０と、ユーザが種々の入力を行うための入力部４０と、後述する制御部６０の制御に従って音声および画面表示により警告を行う警告部５０と、前述した各構成を制御する制御部６０とを備える。
【００１８】
入力部４０は、ユーザが種々の入力、例えばログインを要求するための入力や、ログインした後の使用中の各種入力や、ログアウトのための入力などを行うためのものである。
【００１９】
ＤＢ３０には、該コンピュータを使用する資格のあるユーザの顔画像（以下登録画像という）を記憶している。なお、この登録画像は、登録時に撮像して得た顔画像に対して何ら処理も施してないものであってもよいが、撮像して得た顔画像に対して、特徴量を抽出したり、ワイヤーフレーム化したりなどの認証用のモデリング処理を施して得たものであることが好ましい。また、登録画像が、何らモデリング処理も施されていない場合には、認証部１０は、登録画像と生画像とをそのまま用いて認証を行ってもよいが、認証精度を高めるために、登録画像と生画像とに対して、夫々認証用のモデリング処理を施してから照合を行うようにすることが好ましい。なお、本実施形態においては、照合の精度を高めると共に、処理時間を短縮するために、ＤＢ３０には、モデリング処理を施した登録画像が記憶されており、認証部１０は、ビデオカメラ２０により取得された顔画像（以下生画像という）に対してモデリング処理を施して認証に用いるようにするものである。
【００２０】
ビデオカメラ２０は、ユーザがログインする際、およびログイン成功してから使用終了（ログアウトまたは強制終了）まで、コンピュータの前のユーザを動画形式で撮像し続けて、認証部１０に供するものである。
【００２１】
なお、登録用の生体情報としては、顔画像に加え、もしくは、顔画像に代えて、指紋情報、静脈情報、虹彩情報等を用いることもできる。この場合、指紋読取機、静脈読取機、虹彩読取機等を用意し、これらの読取機で読み取られた生体情報を認証部１０に供するようにする。
【００２２】
認証部１０は、ビデオカメラ２０により取得された生画像と、ＤＢ３０に記憶された登録画像とを照合することによって認証を行うものであり、図２は、その構成を示すブロック図である。図示のように、認証部１０は、ビデオカメラ２０により取得された生画像から顔を検出する顔検出部１と、顔検出部１により検出された顔部分の画像と、ＤＢ３０に記憶された登録画像とを用いて照合を行う照合部８をからなる。なお、ＤＢ３０に記憶された登録画像は、照合用のモデリング処理が施されたものであり、照合部８は、生画像の顔部分の画像に対して同じモデリング処理を施してから照合を行うものであるが、以下の説明において、単に顔部分の画像と登録画像とを用いて照合するという。
【００２３】
図３は、顔検出部１の構成を示すブロック図である。なお、顔検出部１は、ビデオカメラ２０により得られた動画から切り出したフレーム画像（以下写真画像Ｓ０という）から顔を検出するものである。図示のように、顔検出部１は、写真画像Ｓ０から特徴量Ｃ０を算出する特徴量算出部２と、後述する第１および第２の参照データＥ１，Ｅ２が格納されている第２の記憶部４と、特徴量算出部２が算出した特徴量Ｃ０と第２の記憶部４内の第１の参照データＥ１とに基づいて、写真画像Ｓ０に人物の顔が含まれているか否かを識別する第１の識別部５と、第１の識別部５により写真画像Ｓ０に顔が含まれていると識別された場合に、特徴量算出部２が算出した顔の画像内の特徴量Ｃ０と第２の記憶部４内の第２の参照データＥ２とに基づいて、その顔に含まれる目の位置を識別する第２の識別部６と、並びに第１の出力部７とを備えてなる。
【００２４】
なお、顔検出部１により識別される目の位置とは、顔における目尻から目頭の間の中心位置（図４中×で示す）であり、図４（ａ）に示すように真正面を向いた目の場合においては瞳の中心位置と同様であるが、図４（ｂ）に示すように右を向いた目の場合は瞳の中心位置ではなく、瞳の中心から外れた位置または白目部分に位置する。
【００２５】
特徴量算出部２は、顔の識別に用いる特徴量Ｃ０を写真画像Ｓ０から算出する。また、写真画像Ｓ０に顔が含まれると識別された場合には、後述するように抽出された顔の画像から同様の特徴量Ｃ０を算出する。具体的には、勾配ベクトル（すなわち写真画像Ｓ０上および顔画像上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出部２は、写真画像Ｓ０に対して図５（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して写真画像Ｓ０における水平方向のエッジを検出する。また、特徴量算出部２は、写真画像Ｓ０に対して図５（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して写真画像Ｓ０における垂直方向のエッジを検出する。そして、写真画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図６に示すように、各画素における勾配ベクトルＫを算出する。また、顔画像についても同様に勾配ベクトルＫを算出する。なお、特徴量算出部２は、後述するように写真画像Ｓ０および顔画像の変形の各段階において特徴量Ｃ０を算出する。
【００２６】
なお、このようにして算出された勾配ベクトルＫは、図７（ａ）に示すような人物の顔の場合、図７（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。
【００２７】
そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図６におけるｘ方向）を基準とした０から３５９度の値となる。
【００２８】
ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、写真画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が写真画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図８（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図８（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図８（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図８（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。
【００２９】
第２の記憶部４内に格納されている第１および第２の参照データＥ１，Ｅ２は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。
【００３０】
第１および第２の参照データＥ１，Ｅ２中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。
【００３１】
なお、本実施形態においては、第１の参照データＥ１を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図９に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、両目の中心間距離において垂直に立った顔を平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。なお、図９においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、両目の中心間の距離が１０画素のサンプル画像であれば、目の中心位置はすべて同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。また、図面上上下方向における目の位置（すなわちｙ１，ｙ２）はすべてのサンプル画像において同一である。
【００３２】
また、第２の参照データＥ２を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図１０に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９．７画素および１０．３画素であり、各両目の中心間距離において垂直に立った顔を平面上±３度の範囲において１度単位で段階的に回転させた（すなわち、回転角度が−３度，−２度，−１度，０度，１度，２度，３度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×７＝２１通り用意される。なお、図１０においては−３度、０度および＋３度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、図面上上下方向における目の位置はすべてのサンプル画像において同一である。なお、両目の中心間の距離を９．７画素および１０．３画素とするためには、両目の中心間の距離が１０画素のサンプル画像を９．７倍あるいは１０．３倍に拡大縮小して、拡大縮小後のサンプル画像のサイズを３０×３０画素とすればよい。
【００３３】
そして、第２の参照データＥ２の学習に用いられるサンプル画像における目の中心位置を、本実施形態において識別する目の位置とする。
【００３４】
また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。
【００３５】
ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、第１および第２の参照データＥ１，Ｅ２を参照して顔または目の位置であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔のみである。写真画像Ｓ０に含まれる可能性がある顔のサイズは一定ではないため、顔が含まれるか否かあるいは目の位置を識別する際には、後述するように写真画像Ｓ０を拡大縮小して、サンプル画像のサイズに適合するサイズの顔および目の位置を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、写真画像Ｓ０のサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。
【００３６】
また、写真画像Ｓ０に含まれる可能性がある顔は、図１１（ａ）に示すように平面上の回転角度が０度のみではなく、図１１（ｂ）、（ｃ）に示すように回転している場合もある。しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図１１（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。
【００３７】
このため、本実施形態においては、顔であることが分かっているサンプル画像として、図９に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、第１の参照データＥ１の学習に許容度を持たせるようにしたものである。これにより、後述する第１の識別部５において識別を行う際には、写真画像Ｓ０を拡大率として１１／９単位で段階的に拡大縮小すればよいため、写真画像Ｓ０のサイズを例えば拡大率として例えば１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図１１（ｂ）、（ｃ）に示すように回転している顔も識別することができる。
【００３８】
一方、第２の参照データＥ２の学習には、図１０に示すように両目の中心間距離が９．７，１０，１０．３画素であり、各距離において平面上±３度の範囲にて１度単位で段階的に顔を回転させたサンプル画像を用いているため、第１の参照データＥ１と比較して学習の許容度は小さい。また、後述する第２の識別部６において識別を行う際には、写真画像Ｓ０を拡大率として１０．３／９．７単位で拡大縮小する必要があるため、第１の識別部５において行われる識別よりも演算に長時間を要する。しかしながら、第２の識別部６において識別を行うのは第１の識別部５が識別した顔内の画像のみであるため、写真画像Ｓ０の全体を用いる場合と比較して目の位置の識別を行うための演算量を低減することができる。
【００３９】
以下、図１１のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。なお、ここでは第１の参照データＥ１の学習について説明する。
【００４０】
学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。なお、顔であることが分かっているサンプル画像は、上述したように１つのサンプル画像につき両目の中心位置が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたものを用いる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（Ｓ１）。
【００４１】
次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（Ｓ２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせについてのヒストグラムを識別器として使用する。
【００４２】
図１３を参照しながらある識別器の作成について説明する。図１３の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）4通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。
【００４３】
組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９4通りとなるため、特徴量Ｃ０のデータ数を低減できる。
【００４４】
同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１３の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。
【００４５】
続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（Ｓ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。
【００４６】
次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（Ｓ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。
【００４７】
ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。
【００４８】
次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（Ｓ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。
【００４９】
続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。
【００５０】
以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（Ｓ７）、これにより第１の参照データＥ１の学習を終了する。
【００５１】
そして、上記と同様に識別器の種類と識別条件とを求めることにより第２の参照データＥ２の学習がなされる。
【００５２】
なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１３の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。
【００５３】
また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。
【００５４】
第１の識別部５は、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて第１の参照データＥ１が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して写真画像Ｓ０に顔が含まれるか否かを識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。本実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行うものとする。例えば、識別ポイントの総和が正の値である場合には写真画像Ｓ０には顔が含まれると判断し、負の値である場合には顔は含まれないと判断する。なお、第１の識別部５が行う写真画像Ｓ０に顔が含まれるか否かの識別を第１の識別と称する。
【００５５】
ここで、写真画像Ｓ０のサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、第１の識別部５は、図１４に示すように、写真画像Ｓ０を縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１４においては縮小する状態を示す）、各段階において拡大縮小された写真画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された写真画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否かの識別を行うことにより、写真画像Ｓ０に顔が含まれるか否かを識別する。
【００５６】
なお、第１参照データＥ１の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、写真画像Ｓ０の拡大縮小時の拡大率は１１／９とすればよい。また、第１および第２の参照データＥ１，Ｅ２の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、写真画像Ｓ０は３０度単位で３６０度回転させればよい。
【００５７】
なお、特徴量算出部２は、写真画像Ｓ０の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。
【００５８】
そして、写真画像Ｓ０に顔が含まれるか否かの識別を拡大縮小および回転の全段階の写真画像Ｓ０について行い、一度でも顔が含まれると識別された場合には、写真画像Ｓ０には顔が含まれると識別し、顔が含まれると識別された段階におけるサイズおよび回転角度の写真画像Ｓ０から、識別されたマスクＭの位置に対応する３０×３０画素の領域を顔の画像として抽出する。
【００５９】
第２の識別部６は、第１の識別部５が抽出した顔の画像上において、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて第２の参照データＥ２が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔に含まれる目の位置を識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。
【００６０】
ここで、第２の識別部６は、第１の識別部５が抽出した顔画像のサイズを段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ、各段階において拡大縮小された顔画像上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された顔上において１画素ずつ移動させながら、マスク内の画像における目の位置の識別を行う。
【００６１】
なお、第２参照データＥ２の生成時に学習したサンプル画像として両目の中心位置の画素数が９．０７，１０，１０．３画素のものを使用しているため、顔画像の拡大縮小時の拡大率は１０．３／９．７とすればよい。また、第２の参照データＥ２の生成時に学習したサンプル画像として、顔が平面上で±３度の範囲において回転させたものを使用しているため、顔画像は６度単位で３６０度回転させればよい。
【００６２】
なお、特徴量算出部２は、顔画像の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。
【００６３】
そして、本実施形態では、抽出された顔画像の変形の全段階においてすべての識別ポイントを加算し、加算値が最も大きい変形の段階における３０×３０画素のマスクＭ内の顔画像において、左上隅を原点とする座標を設定し、サンプル画像における目の位置の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）に対応する位置を求め、変形前の写真画像Ｓ０におけるこの位置に対応する位置を目の位置と識別する。
【００６４】
第１の出力部７は、第１の識別部５が写真画像Ｓ０に顔が含まれると認識した場合には、第２の識別部６が識別した両目の位置から両目間の距離を求め、両目の位置および両目間の距離を用いて、両目間の中心点を中心とした顔の左右端部間の長さ、両目間の中心点から頭頂部までの距離、両目間の中心点から顎の先端までの距離を推定するようにして顔の外接枠を決め、外接枠内の画像を切り出して照合用の顔画像として照合部８に出力する。
【００６５】
図１５は本実施形態における顔検出部１の動作を示すフローチャートである。写真画像Ｓ０に対して、まず、特徴量算出部２が写真画像Ｓ０の拡大縮小および回転の各段階において、写真画像Ｓ０の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出する（Ｓ１２）。そして、第１の識別部５が第２の記憶部４から第１の参照データＥ１を読み出し（Ｓ１３）、写真画像Ｓ０に顔が含まれるか否かの第１の識別を行う（Ｓ１４）。
【００６６】
第１の識別部５は、写真画像Ｓ０に顔が含まれると判別する（Ｓ１４：Ｙｅｓ）と、写真画像Ｓ０から顔を抽出する（Ｓ１５）。ここでは、１つの顔に限らず複数の顔を抽出してもよい。次いで、特徴量算出部２が顔画像の拡大縮小および回転の各段階において、顔画像の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出する（Ｓ１６）。そして、第２の識別部６が第２の記憶部４から第２の参照データＥ２を読み出し（Ｓ１７）、顔に含まれる目の位置を識別する第２の識別を行う（Ｓ１８）。
【００６７】
続いて、第１の出力部７が写真画像Ｓ０から識別された目の位置および、この目の位置に基づいて求められた両目の中心点間の距離を用いて、顔の外接枠を推定すると共に、外接枠内の画像を切り出して照合用の顔画像として照合部８に出力する（Ｓ１９）。
【００６８】
一方、ステップＳ１４において、写真画像Ｓ０に顔が含まれていないと判別される（Ｓ１４：Ｎｏ）と、顔検出部１は、顔が検出されなかったことを示す情報を制御部６０に通知し（Ｓ２０）、写真画像Ｓ０に対する処理を終了する。
【００６９】
警告部５０は、制御部６０の制御に従って警告を行うものであり、図１６は、その構成を示すブロック図である。図示のように、警告部５０は、モニタ５４とスピーカ５８とを備え、制御部６０からの警告指示（その詳細について後述する）に応じて、警告を行うものである。具体的には、スピーカ５８は、制御部６０から警告指示を受信すれば、「１０秒後にコンピュータをロックします」旨のアナウンスをし、モニタ５４は、制御部６０から警告終了指示を受信するまで、画面に「まもなくコンピュータをロックします」旨の警告メッセージを表示し続けるように動作する。
【００７０】
制御部６０は、図１に示す各構成の動作を制御するものであり、以下、図１７、１８に示すフローチャートを参照しながら、制御部６０の制御動作および制御部６０の制御に応じた他の構成の動作を説明する。
【００７１】
図１７のフローチャートに示すように、ユーザが入力部４０を介してログイン要求を入力する（Ｓ３０）と、制御部６０は、ビデオカメラ２０に撮像を開始させると共に、認証部１０に認証指示をし、ビデオカメラ２０により得られた生画像と、ＤＢ３０に記憶された登録画像とを用いた認証を行わせる（Ｓ３４、Ｓ３６、Ｓ３８）。認証部１０による認証の結果がＮＧ、すなわち生画像の顔画像と、登録された顔画像とが一致しない（Ｓ４０：Ｎｏ）場合には、制御部６０は、該ユーザのログインを拒否する（Ｓ４０）一方、認証の結果がＯＫ、すなわち生画像と、登録された顔画像とが一致する（Ｓ４０：Ｙｅｓ）場合には、該ユーザのログインを許可すると共に、時間のカウントを開始する（Ｓ４４、Ｓ４６）。ユーザによるコンピュータの使用中に、ビデオカメラ２０による撮像および制御部６０による計時が続き（Ｓ５０：Ｎｏ、Ｓ５２）、カウント開始から３秒経った時点（Ｓ５０：Ｙｅｓ）で、制御部６０は、再び認証部１０に認証指示をする。認証部１０は、まず、制御部６０の認証指示に応じて、ビデオカメラ２０により取得された動画像から、その時点のフレーム画像を切り出して顔の検出を行う（Ｓ５８）。顔が検出される（Ｓ５８：Ｙｅｓ）と、認証部１０は、この顔画像と、ＤＢ３０に記憶された登録画像とを用いて、認証を行うと共に、認証の結果を制御部６０に出力する（Ｓ９０）。認証部１０による認証の結果がＯＫの場合、すなわち使用者がログインしたユーザである場合には、制御部６０は、時間のカウンタをゼロ秒に戻し、ステップＳ４８からの処理が繰り返されるように制御を行う（Ｓ９４：Ｙｅｓ、Ｓ４８〜）一方、認証の結果がＮＧの場合、すなわち、使用者がログインしたユーザではなくなった場合には、コンピュータを強制終了する（Ｓ９４：Ｎｏ、Ｓ９６）。なお、認証の結果がＮＧの場合、ステップＳ６４へ移行し、彩度画像の取得、認証を実施するようにしてもよい。
【００７２】
一方、ステップＳ５８において、顔が検出されなかった（Ｓ５８：Ｎｏ）、制御部６０は、図１８のフローチャートにより示される処理Ｐを行わせる。図１８のフローチャートに示すように、使用中のユーザの顔が検出されなかった場合、制御部６０は、警告部５０に警告指示を行わせると共に、時間のカウンタをゼロ秒に戻してから計時をする（Ｓ６０、Ｓ６２）。警告部５０のスピーカ５８は、制御部６０からの警告指示を受信すると、「１０秒後にコンピュータをロックします」のアナウンスをし、モニタ５４は、画面に「まもなくコンピュータをロックします」のメッセージを表示し続ける。
【００７３】
ステップＳ５８において、顔が検出されなかった（Ｓ５８：Ｎｏ）ことを認証部１０から通知された後でも、制御部６０は、ビデオカメラ２０による撮像および認証部１０による認証を行わせ続ける。ビデオカメラ２０により得られた生画像に対して、認証部１０により顔が検出されなかった場合（Ｓ６６、Ｓ６８、Ｓ７０：Ｎｏ）には、制御部６０は、ステップＳ６６〜ステップＳ６８の処理を行わせ続けるが、顔が検出される（Ｓ７０：Ｙｅｓ）と、認証部１０に、検出された顔を用いた照合を行わせる（Ｓ７２）。認証の結果がＯＫの場合、すなわち、ログインしたユーザが顔をコンピュータの前に戻した場合（Ｓ７４：Ｙｅｓ）には、制御部６０は、処理を図１７のフローチャートにおけるステップＳ４８に戻し、ステップＳ４８からの処理を行わせるが、ステップＳ７２における認証結果がＮＧの場合、すなわちコンピュータの前にいる人が、ログインしたユーザではない場合（Ｓ７４：Ｎｏ）には、処理を図１７に示すフローチャートにおけるステップＳ９６に進め、コンピュータを強制終了する（Ｓ９６）。
【００７４】
ステップＳ６６からの処理は、ステップＳ６２から始まったカウントが１０秒以下であるときに行われるものであり、制御部６０は、カウンタが１０秒になった時点において（Ｓ６４：Ｎｏ。すなわちステップＳ６２の計時開始から１０秒経っても顔が検出されなかった場合）、警告部５０に警告表示を停止させると共に、コンピュータを、ロック解除要求がなされるまでロックする（Ｓ８０、Ｓ８２：Ｎｏ、Ｓ８０）。ロック中、入力部４０を介してユーザがロック解除を要求する入力がなされると、制御部６０は、処理を図１７のフローチャートに示すステップＳ３４に戻し、ステップＳ３４からの処理を行わせる（Ｓ８２：Ｙｅｓ、Ｓ３４）。
【００７５】
このように、本発明の実施形態のコンピュータによれば、使用資格のあるユーザの使用中にユーザの顔画像を取得し続けて、取得された顔画像と、予めデータベースに登録された顔画像とを照合し、照合結果がＮＧとなると、コンピュータを強制終了する一方、使用資格のユーザの使用中に、顔画像を検出できなくなった場合には、直ちにコンピュータを強制終了またはロックすることをせず、音声および画面表示により警告を行うと共に、所定の時間（本実施形態においては１０秒）までに顔を検出することができなかったときにコンピュータをロックする。顔を検出できなくなってから１０秒以内に顔を検出することができれば、検出できた顔の画像を用いて認証を行い、認証がＯＫならば、コンピュータの引き続きの使用を許可する。このようにすることによって、使用資格のあるユーザが使用途中で、俯いて物を探したり、隣の人と話すために顔を横に向いたりしたなどのことによって、使用者の顔が一時的に検出できなかったとしても、所定の時間内に使用者が顔を戻せば、使用者の不本意による機器の使用が禁止され、使用を再開（ロック解除）するために時間がかかってしまうなどのことを避けることができ、セキュリティ性を保つと共に、便利である。
【００７６】
以上、本発明のセキュリティシステムについて説明したが、本発明のセキュリティシステムは、上述した実施形態に限らず、本発明の主旨を逸脱しない限り、様々な増減、変更を加えることができる。
【００７７】
例えば、図１に示す実施形態のコンピュータにおいて、ユーザの顔写真画像を認証に用いるようにしているが、使用する機器の種類、特性などに応じた他の生体情報を用いてもよい。例えば、携帯電話機の場合においては、顔は勿論、指紋、掌紋を用いてもよい。
【００７８】
また、警告手段も同じく、使用する機器の種類、特性などに応じた方法で警告を行うものであることが望ましく、例えば携帯電話機の場合は、画面に警告のメッセージを表示するよりも、バイブレータを起動するなど、触覚的な手段のほうがよい。
【００７９】
また、図１に示す実施形態のコンピュータにおいて、警告部５０のスピーカ５８は、制御部６０から警告指示を受信した際に一度のみ「１０秒後にコンピュータをロックします」のアナウンスし、モニタ５４は、警告停止指示が出されるまで「まもなくコンピュータをロックします」を表示し続けるように動作するが、アナウンスの回数、表示する内容など、変更しても勿論よい。例えば、経過する時間に応じて、ロックするまでの時間を１秒毎に「１０秒後にコンピュータをロックします」、「９秒後にコンピュータをログアウトします」・・・のようにアナウンスするようにしてもよく、モニタ５４も、同じ内容の文字メッセージを表示するようにしてもよい。
【００８０】
さらに、アナウンスする内容は、「早めにコンピュータの画面に顔を向けてください」などユーザを促すメッセージを入れたものであってもよい。
【００８１】
また、図１に示す実施形態のコンピュータにおいて、使用資格のあるユーザの顔画像を予めデータベースに登録しておき、ログインを要求するユーザを撮像して得た生の顔画像と登録画像とを照合するようにしてログインのための認証を行うようにしているが、例えば、使用する資格のあるユーザに該ユーザの顔画像を記憶したＩＤカードを配布し、ユーザがログインする際に、このＩＤカードをコンピュータのスロットに挿入すれば、コンピュータはＩＤカードから、ＩＤカードに記憶された顔画像を読み出してメモリに記憶させると共に、メモリに記憶された顔画像と生の顔画像とを照合するようにしてログインのための認証を行うようにしてもよい。ログイン成功後に行われる認証（使用中のユーザが、ログインするユーザであることの認証）も、メモリに記憶された顔画像を用いればよい。
【００８２】
また、図１に示す実施形態のコンピュータにおいて、ログインのための認証と、ログイン後に行われる認証とが、同じ方法で行われているが、この２つの認証は、必ずしも同じである必要がない。例えば、使用する資格のあるユーザにＩＤ番号および該ＩＤ番号に対応するパスワードを付与すると共に、予めＩＤ番号に対応するパスワードおよびユーザの顔画像をデータベースに登録しておき、ログインの際に、ユーザにＩＤ番号とパスワードとを入力させ、データベースに記憶されたＩＤ、パスワードとを照合することによってログインのための認証を行うようにしてもよい。ログイン成功後に行われる認証については、ログインしたユーザのＩＤ番号に対応する顔画像をデータベースから読み出して、この顔画像と、カメラにより取得された生の顔画像と照合するようにしてもよい。
【００８３】
また、図１に示す実施形態のコンピュータは、ユーザの使用する機器と、該機器を使用するためのセキュリティシステムとを兼ねているが、本発明のセキュリティシステムは、必ずしも本発明のセキュリティシステムの保護対象となる機器と一体化する必要がない。例えば、ユーザの顔画像を取得するカメラをコンピュータに設けるが、登録画像を記憶するデータベースや、認証部や、制御部などをコンピュータと接続されたサーバに設けるようにしてもよい。
【００８４】
また、図１に示す実施形態のコンピュータにおいて、セキュリティ性を高めるために、顔が検出されたが、認証結果がＮＧの場合、コンピュータを強制終了するようにしているが、この場合において、顔が検出されなかった場合と同じく、ロックするようにしてもよい。そうすることによって、例えば使用中のユーザが同僚に操作を助けてもらったりするなどの場合において、強制終了されることを防ぐことができ、便利である。また、この場合において、直ちに強制終了またはロックする代わりに、一定の時間を経過してから強制終了またはロックするようにし、この一定の時間が経過する前に、ログインしたユーザの顔画像が検出されれば、引き続きの使用を許可するようにしてもよい。
【００８５】
また、図１に示す実施形態のコンピュータにおいて、ビデオカメラ２０は動画を撮像するビデオカメラであり、認証部１０は、ビデオカメラ２０により取得された動画像からフレーム画像を切り出して認証に用いるようにしているが、例えば、スチールカメラを用いて、フレーム画像を切り取る時間間隔と同じ間隔で撮像を行うようにしてもよく、その際、認証部１０は、フレーム画像を切り出すことをせず、直接スチールカメラにより得られた写真画像を使えばよい。
【００８６】
また、図１に示す実施形態のコンピュータにおいて、ユーザの使用中において、例として３秒間隔で撮像（フレーム画像の切り出し）および認証を行っているが、この間隔は３秒に限られることがなく、予め決められた０秒より長い如何なる間隔であってもよいが、セキュリティ性を高める視点からは、1分以下であることが望ましい。また、この間隔は、使用資格のあるユーザまたは管理者によって変更または設定することができるようにしてもよい。
【００８７】
また、顔を検出することができなくなった時点からロックするまでの時間も１０秒に限らず、セキュリティシステムが使用される環境に応じた時間を用いたり、使用する資格のあるユーザまたは管理者によって設定することができるようにしたりしてもよい。
【００８８】
また、本実施形態のコンピュータにおいて、ビデオカメラにより取得された動画像から該当するタイミングのフレーム画像を切り出して認証を行うようにしているが、例えば、該当するタイミングの前および／または後の複数のフレーム画像の平均画像を作成してこの平均画像を認証に用いるようにしてもよい。こうすることによって、顔の表情や照明条件などの変化に起因する認証精度の低下を防ぐことができる。
【００８９】
または、該当するタイミングの前および／または後の複数のフレーム画像を切り出し、個々に夫々を用いて認証を行い、最も結果の良い認証結果を用いるようにしてもよい。
【００９０】
また、認証を行う際に、一度の認証で決定する代わりに、顔画像の取得とこの顔画像を用いて照合を行うことを複数回トライし、決められた認証回数のうち、例えば１回でも認証が成功すればＯＫとするようにしてもよい。
【００９１】
また、ロックするまでの時間や、認証を行う時間間隔に限らず、認証のトライの回数なども使用する資格のあるユーザまたは管理者によって設定できるようにしてもよい。
【００９２】
勿論、上記種々の設定の組合せを複数登録しておき、選択できるようにしてもよい。
【００９３】
また、ログイン後の認証を行う間隔も、一定であることに限られるものではない。例えば、認証部により１回の認証が終了次第、次の認証を始めるようにしてもよい。
【００９４】
また、顔画像を用いた認証の場合、正面顔の画像ではないとき認証の精度が低下する。ユーザが真正面に向いていないときなどの誤認証を防ぐために、取得された生の顔画像の向きを推定し、ユーザの顔が真正面に向いていないと判定した場合、例えば検出された顔画像の両目間の距離が現実的には不可能である小さい値となった場合には、その顔画像を認証に用いず、ユーザに真正面に向くようにアナウンスするなど指示し、真正面の顔画像を取得して認証に用いるようにしてもよい。勿論、この場合、再認証を行うことができる回数、例えば３回までなど上限を設けることが必要である。
【００９５】
また、動画像からフレーム画像を切り出して認証を行うシステムにおいて、切り出すタイミングのフレーム画像が真正面の顔画像ではない場合には、その前または後のフレーム画像の向きを検出し、真正面に向いた顔画像を認証に用いるようにしてもよい。
【００９６】
また、サーバにより認証、制御を行うシステムにおいては、サーバに顔認証のログ、ユーザのログインログ、操作ログなどを記録するようにしてもよい。この際、サーバの管理者が所定のコンピュータのこれらのログを閲覧する際に、これらのログが閲覧されていることを該当するユーザに通知するようにすることが好ましい。こうすることによって、ログ閲覧の乱用防止や、操作ログなどの情報の漏洩を抑制することができる。さらに、ユーザに通知する際に、閲覧者の顔画像も取得して同時に送信するようにしてもよい。
【００９７】
また、ＩＤカードは数種類があって、その中に記憶された顔画像のモデリング処理の手法が異なるなど複数の認証エンジンを必要とする場合には、認証エンジンを複数用意し、適切な認証を選択して認証を行うようにしてもよい。さらに、ローカル環境（図１に示す実施形態のコンピュータ）に必要な認証エンジンを全て実装することができない場合には、ローカル環境には最も使用率の高い認証エンジンのみを実装すると共に、サーバには複数の認証エンジンを実装し、認証を行う際に、ローカル環境に実装された認証エンジンで認証ができるときには、ローカル環境の認証エンジンで認証を行う一方、ローカル環境に実装された認証エンジンで認証ができないときには、取得された生体情報をサーバに送信し、サーバにおいて認証を行うようにしてもよい。
【００９８】
また、上記の実施形態においては、生体情報取得手段として、ユーザの顔画像を取得するビデオカメラ２０を用意し、顔画像の取得の失敗後においても、生体情報として顔画像の継続的な取得を試みるようにしているが、例えば、生体情報取得手段として、ビデオカメラ２０に加え、ユーザの指紋情報、静脈情報、虹彩情報等を読み取って取得する指紋読取機、静脈読取機、虹彩読取機等を用意し、顔画像の取得の失敗前においては、生体情報として顔画像を取得して認証を行い、顔画像の取得の失敗から所定の時間までにおいては、生体情報として指紋情報、静脈情報、虹彩情報等を取得して認証を行うようにしてもよい。指紋情報、静脈情報、虹彩情報等は、顔画像に比べてより確実に取得、照合を行うことができるため、不本意なコンピュータのロックを回避できる可能性が高くなる。
【００９９】
また、制御部６０は、所定の時間までに顔画像が取得できなかった場合や、認証がＮＧの場合に、コンピュータをロックしてその使用を禁止するが、その際に、それ以降のコンピュータの使用における、顔画像の取得の失敗からコンピュータをロックするまでの所定の時間を延長または短縮することを予め設定するようにしてもよい。例えば、一度コンピュータのロックが掛かった場合には、セキュリティレベルをより上げるため、その所定の時間をより短縮するように予め設定するようにすることができる。
【図面の簡単な説明】
【０１００】
【図１】本発明のセキュリティシステムの実施形態となるコンピュータの構成を示すブロック図
【図２】図１に示すコンピュータにおける認証部１０の構成を示すブロック図
【図３】図２に示す認証部１における顔検出部１の構成を示すブロック図
【図４】目の中心位置を説明するための図
【図５】（ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図
【図６】勾配ベクトルの算出を説明するための図
【図７】（ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図
【図８】（ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図
【図９】参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図
【図１０】参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図
【図１１】顔の回転を説明するための図
【図１２】参照データの学習手法を示すフローチャート
【図１３】識別器の導出方法を示す図
【図１４】識別対象画像の段階的な変形を説明するための図
【図１５】図３に示す顔検出部１の処理を示すフローチャート
【図１６】図１に示す実施形態のコンピュータにおける警告部５０の構成を示すブロック図
【図１７】図１に示す実施形態のコンピュータの処理を示すフローチャート（その１）
【図１８】図１に示す実施形態のコンピュータの処理を示すフローチャート（その２）
【符号の説明】
【０１０１】
１ 顔検出部
２ 特徴量算出部
４ 第２の記憶部
５ 第１の識別部
６ 第２の識別部
７ 第１の出力部
８ 照合部
１０ 認証部
２０ カメラ
３０ データベース
４０ 入力部
５０ 警告部
５４ モニタ
５８ スピーカ
６０ 制御部
【特許請求の範囲】
【請求項１】
機器を使用する資格のある使用者により前記機器を使用する際に、継続的に前記使用者の生体情報を取得する生体情報取得手段と、
該生体情報取得手段により取得された前記生体情報と、予め登録された、前記資格のある使用者の生体情報とを継続的に照合する照合手段と、
該照合手段による前記照合が失敗した際、前記機器の引き続きの使用を禁止する制御手段とを有してなるセキュリティシステムにおいて、
前記生体情報取得手段による前記使用者の生体情報の取得が失敗した際に、前記使用者に警告を行う警告手段をさらに備え、
前記生体情報取得手段が、前記生体情報の取得の失敗後も前記使用者の生体情報の取得を継続的に行うものであり、
前記制御手段が、前記生体情報取得手段により前記生体情報の取得の失敗から所定の時間までに前記使用者の生体情報が取得できなかったとき、前記機器の使用を禁止するものであることを特徴とするセキュリティシステム。
【請求項２】
前記警告手段が、聴覚的に、および／または視覚的に、および／または触覚的に前記警告を行うものであることを特徴とする請求項１記載のセキュリティシステム。
【請求項３】
前記警告が、前記所定の時間をも示すものであることを特徴とする請求項１または２記載のセキュリティシステム。
【請求項４】
前記生体情報が、前記使用者の顔画像であり、
前記生体情報取得手段が、撮像手段であることを特徴とする請求項１、２または３記載のセキュリティシステム。
【請求項５】
前記生体情報取得手段が、撮像手段と、指紋読取手段、静脈読取手段および虹彩読取手段のうち少なくとも１つの所定の手段であり、
前記生体情報の取得の失敗前に取得される生体情報が、前記撮像手段により撮像された前記使用者の顔画像であり、前記生体情報の取得の失敗から前記所定の時間までに取得される生体情報が、前記所定の手段により読み取られた前記使用者の指紋情報、静脈情報および虹彩情報のうち少なくとも１つの情報であることを特徴とする請求項１、２または３記載のセキュリティシステム。
【請求項６】
前記制御手段が、前記機器の使用を禁止する際にそれ以降の前記機器の使用における前記所定の時間を延長または短縮することを予め設定するものであることを特徴とする請求項１から５いずれか記載のセキュリティシステム。
【請求項１】
機器を使用する資格のある使用者により前記機器を使用する際に、継続的に前記使用者の生体情報を取得する生体情報取得手段と、
該生体情報取得手段により取得された前記生体情報と、予め登録された、前記資格のある使用者の生体情報とを継続的に照合する照合手段と、
該照合手段による前記照合が失敗した際、前記機器の引き続きの使用を禁止する制御手段とを有してなるセキュリティシステムにおいて、
前記生体情報取得手段による前記使用者の生体情報の取得が失敗した際に、前記使用者に警告を行う警告手段をさらに備え、
前記生体情報取得手段が、前記生体情報の取得の失敗後も前記使用者の生体情報の取得を継続的に行うものであり、
前記制御手段が、前記生体情報取得手段により前記生体情報の取得の失敗から所定の時間までに前記使用者の生体情報が取得できなかったとき、前記機器の使用を禁止するものであることを特徴とするセキュリティシステム。
【請求項２】
前記警告手段が、聴覚的に、および／または視覚的に、および／または触覚的に前記警告を行うものであることを特徴とする請求項１記載のセキュリティシステム。
【請求項３】
前記警告が、前記所定の時間をも示すものであることを特徴とする請求項１または２記載のセキュリティシステム。
【請求項４】
前記生体情報が、前記使用者の顔画像であり、
前記生体情報取得手段が、撮像手段であることを特徴とする請求項１、２または３記載のセキュリティシステム。
【請求項５】
前記生体情報取得手段が、撮像手段と、指紋読取手段、静脈読取手段および虹彩読取手段のうち少なくとも１つの所定の手段であり、
前記生体情報の取得の失敗前に取得される生体情報が、前記撮像手段により撮像された前記使用者の顔画像であり、前記生体情報の取得の失敗から前記所定の時間までに取得される生体情報が、前記所定の手段により読み取られた前記使用者の指紋情報、静脈情報および虹彩情報のうち少なくとも１つの情報であることを特徴とする請求項１、２または３記載のセキュリティシステム。
【請求項６】
前記制御手段が、前記機器の使用を禁止する際にそれ以降の前記機器の使用における前記所定の時間を延長または短縮することを予め設定するものであることを特徴とする請求項１から５いずれか記載のセキュリティシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−１１４０１８（Ｐ２００６−１１４０１８Ａ）
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願番号】特願２００５−２４７６８２（Ｐ２００５−２４７６８２）
【出願日】平成１７年８月２９日（２００５．８．２９）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願日】平成１７年８月２９日（２００５．８．２９）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]