監視装置および方法、並びにプログラム
【課題】顔画像による認識率を向上できるようにする。
【解決手段】顔画像抽出部２０２は、カメラ３８により撮像された画像より、照合対象者の顔画像を抽出する。器官抽出部２０３は、照合対象者の顔画像より、顔を構成する各器官の部位を抽出する。器官スコア付与部２０４は、抽出された器官の信頼度を算出する。適正判定部２０６は、信頼度に基づいて、照合対象者の顔画像として適正であるか否かを判定する。生体情報認識装置２１は、適正であると判定された照合対象者の顔画像と、蓄積された蓄積者の顔画像との類似度を計算し、類似度と所定の閾値との比較により、照合対象者の顔画像が蓄積者の顔画像であるか否かを判定する。本発明は、監視システムに適用することができる。
【解決手段】顔画像抽出部２０２は、カメラ３８により撮像された画像より、照合対象者の顔画像を抽出する。器官抽出部２０３は、照合対象者の顔画像より、顔を構成する各器官の部位を抽出する。器官スコア付与部２０４は、抽出された器官の信頼度を算出する。適正判定部２０６は、信頼度に基づいて、照合対象者の顔画像として適正であるか否かを判定する。生体情報認識装置２１は、適正であると判定された照合対象者の顔画像と、蓄積された蓄積者の顔画像との類似度を計算し、類似度と所定の閾値との比較により、照合対象者の顔画像が蓄積者の顔画像であるか否かを判定する。本発明は、監視システムに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置および方法、監視システム並びにプログラムに関し、特に、顔画像による認識率を向上できるようにした監視装置および方法、監視システム、並びにプログラムに関する。
【背景技術】
【０００２】
現在もパチンコ店やパチスロ店に代表される遊技店においては、不審者による遊技媒体の抜き取りなどが発生し、遊技店の経営を圧迫する要因となっている。こうした被害は遊技店業界の喫緊の課題である。
【０００３】
こうした実態を打破すべく、不審者を発見し、遊技を止めてしまうなどの仕組みができてきており、顔画像を用いた不審者入店監視も行われている。
【０００４】
しかしながら、顔画像認証システムにおいては、認証においてエラーが生じることにより、認識率が100%に近い値となっておらず、信頼性に問題があった。
【０００５】
より具体的には、顔画像認証システムにおける信頼性の問題としては、取得された顔画像と同一人物の顔画像であるにも関わらず棄却される、いわゆる棄却エラーや、取得された顔画像と同一人物でもない他人の顔画像とを同一人物として受け入れてしまう、いわゆる他人受入エラーなどが挙げられる。
【０００６】
このうち、他人受入エラーについては、不審者でもない人物が不審者として検出されることとなるため、他人受入エラーが発生することで、遊技店の係員に対して不必要に発報してしまうことがあり、結局、係員による目視による確認が必要となることがあった。
【０００７】
このような営業への支障となりうるエラーの発生から、システムへの不信感が高まり、結果として、顔画像認証システムの導入や利用が辞められてしまうといった例もあり、これまでの顔画像認証システムは、有効に効果を発揮できていないのが実態であった。
【０００８】
そこで、このような問題に対応すべく、顔の向きや照明へのロバスト性を向上させることで、棄却エラーや他人受入エラーを抑制させる技術が提案されている（特許文献１，２参照）。
【０００９】
【特許文献１】特開２００９−１５７７６７号公報
【特許文献２】特開２００１−２０２５１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した棄却エラーや他人受入エラーの要因には、顔の向きや照明以外にも、髪の毛が目にかかることで顔の特徴点が隠れたり、髪の毛が顔の輪郭にかかることで陰影ができてしまうといった問題もあった、すなわち、髪の毛がかかることにより、顔画像の一部を隠したり、陰影に変化を与えることで、実際の顔画像においては、その特徴が類似していない人同士の顔画像でも、類似しているものとして誤認証してしまったり、逆に、本来類似している人同士の顔画像でも、非類似であるものとして誤認証してしまう恐れがあった。
【００１１】
また、本来顔画像が正面から捉えられる場合や、本人が照合しにいく場合には、条件が揃うまで待つこともできるが、特に遊技店の場合、設備にカメラを有することが多く、遊技台上部（台ランプ）もしくは遊技台左隣（サンド）からの撮像となり、顔を正面から捉えるケースが少ないことや、本人は認証されていることに気がつかないため照合条件が揃い難い顔画像のみしか取得できず、認証の失敗や誤認証が生じてしまう恐れがあった。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、顔画像を用いた認証処理における認証精度を向上できるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む。
【００１４】
前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段と、前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定させるようにすることができる。
【００１５】
前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含ませるようにすることができ、前記照合手段には、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。
【００１６】
前記器官抽出手段には、前記顔画像より前記顔を構成する各器官の部位のうち、左右の目、および口を抽出させるようにすることができる。
【００１７】
前記信頼度算出手段には、前記器官抽出手段により抽出された器官のうち、左右の目、および口の信頼度の重みを大きくして信頼度を算出させるようにすることができる。
【００１８】
本発明の一側面の監視方法は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む監視装置における監視方法であって、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップと、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む。
【００１９】
本発明の一側面のプログラムは、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む監視装置を制御するコンピュータに、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップと、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む処理を実行させる。
【００２０】
本発明の一側面においては、顔画像が蓄積者の顔画像として蓄積者データベースに蓄積され、画像が撮像され、撮像された画像より、前記照合対象者の顔画像が抽出され、前記照合対象者の顔画像より、顔を構成する各器官の部位が抽出され、抽出された器官の信頼度が算出され、算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かが判定され、適正であると判定された照合対象者の顔画像と、蓄積された蓄積者の顔画像との類似度が計算されて、照合され、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かが判定され、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることが通知される。
【００２１】
すなわち、本発明の一側面の監視装置における、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段とは、例えば、生体情報DBであり、画像を撮像する撮像手段とは、例えば、カメラであり、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、画像処理ユニットの顔画像抽出部であり、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段とは、器官抽出部であり、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段とは、器官スコア付与部であり、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段とは、適正判定部であり、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段とは、例えば、照合部であり、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とは、類似度判定部であり、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とは、例えば、通信部である。
【００２２】
すなわち、器官スコア付与部が、カメラで撮像された画像の顔画像より抽出される器官のそれぞれにスコアを付与する。適正判定部が、器官のそれぞれに付与されたスコアに基づいて、照合対象者の顔画像が、照合部における照合処理に適した顔画像であるか否かを判定する。そして、照合部は、適正判定部により照合に適した照合対象者の顔画像であると判定された顔画像と生体情報DBに蓄積された顔画像とを照合する。
【００２３】
また、抽出される器官においては、特に、左右の目、および口が重要であり、これらのみを抽出するようにしてもよいし、さらにその他の器官をも抽出する場合には、左右の目、および口の信頼度の重みを大きくするようにしても良い。
【００２４】
結果として、照合処理に適した顔画像のみが、照合処理に用いられるため、認識率が向上すると共に、照合に適していない顔画像は照合処理に用いられないため、照合処理に要する負荷を低減させ、処理速度を向上させることが可能となる。
【発明の効果】
【００２５】
本発明によれば、顔画像による認証処理における認識率を向上することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明を適用した監視システムの一実施の形態の構成を示す図である。
【図２】図１のカメラの設置例を示す図である。
【図３】図１のカメラの設置例を示す図である。
【図４】図１のカメラの設置例を示す図である。
【図５】図１のカメラの設置例を示す図である。
【図６】図１のカメラの設置例を示す図である。
【図７】図１のカメラの設置例を示す図である。
【図８】図１の入口カメラおよび店内カメラの設置例を示す図である。
【図９】図１の画像処理ユニットの構成例を説明する図である。
【図１０】図１の生体情報認識装置の構成例を説明する図である。
【図１１】図１の生体情報管理センタおよび生体情報管理DBの構成例を説明する図である。
【図１２】図１の携帯端末の構成例を説明する図である。
【図１３】登録遊技者来店監視処理を説明するフローチャートである。
【図１４】器官抽出を説明する図である。
【図１５】類似度計算処理を説明するフローチャートである。
【図１６】報知画像の表示例を説明する図である。
【図１７】パーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２８】
すなわち、本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段（例えば、図１０の生体情報DB２２）と、画像を撮像する撮像手段（例えば、図９のカメラ３８，４０，４１）と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段（例えば、図９の顔画像抽出部２０２）と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段（例えば、図９の器官抽出部２０３）と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段（例えば、図９の器官スコア付与部２０４）と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段（例えば、図９の適正判定部２０６）と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段（例えば、図１０の照合部２２２）と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段（例えば、図１０の類似度判定部２３３）と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段（例えば、図１０の通信部２２４）とを含む。
【００２９】
前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段（例えば、図９の角度推定部２０５）と、前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定させるようにすることができる。
【００３０】
前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段（例えば、図１０の特徴量抽出部２３１）とをさらに含ませるようにすることができ、前記照合手段には、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。
【００３１】
本発明の一側面の監視方法は、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップ（例えば、図１３のステップＳ１）と、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップ（例えば、図１３のステップＳ２）と、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップ（例えば、図１３のステップＳ４）と、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップ（例えば、図１３のステップＳ５）と、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップ（例えば、図１３のステップＳ７）と、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップ（例えば、図１３のステップＳ２１）と、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップ（例えば、図１３のステップＳ２４）と、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップ（例えば、図１３のステップＳ２５）と、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップ（例えば、図１３のステップＳ２８）とを含む。
【００３２】
図１は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。
【００３３】
遊技店１−１乃至１−ｎは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店１−１乃至１−ｎは、系列店舗または生体情報管理センタや第３者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店１−１乃至１−ｎは、生体情報管理バス６および第３者遊技店管理バス７により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網８，９を介して、相互にそれぞれ生体情報、および第３者遊技店管理情報を授受している。尚、以降において、遊技店１−１乃至１−ｎのそれぞれについて、特に区別する必要がない場合、単に、遊技店１と称するものとし、その他の構成についても同様に称するものとする。
【００３４】
生体情報管理バス６は、主に各遊技店１の生体情報認識装置２１により管理される生体情報を流通させるための伝送路として機能する。また、第３者遊技店管理バス７は、主に各遊技店１の媒体貸出管理装置２７により管理される媒体貸出管理情報を流通させるための伝送路として機能する。
【００３５】
生体情報管理センタ２は、生体情報管理センタを管理運営する事業者により使用されるサーバであり、生体情報管理データベース（以降、DBとも称するものとする）３で管理されている登録遊技者DB２５２（図１１）を各遊技店１により生成される未登録遊技者DB２５１（図１１）に基づいて更新すると供に、更新した最新の登録遊技者DB２５２を各遊技店１の生体情報認識装置２１に対して配信する。
【００３６】
第３者遊技店管理センタ４は、第３者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第３者遊技店管理データベース（DB）５で管理されている媒体貸出管理情報からなるDBを各遊技店１より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店１の媒体貸出管理装置２７に対して配信する。
【００３７】
生体情報認識装置２１は、カメラ３８−１乃至３８−ｍ、入口カメラ４０−１乃至４０−ｐ、および店内カメラ４１−１乃至４１−ｑにより撮像された画像より画像処理ユニット３９−１乃至３９−（ｍ＋ｐ＋ｑ）により抽出されて、生体情報バス３１を介して供給されてくる顔画像の情報に基づいて、生体情報データベース２２に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末２０に通知したり、CRT（Cathode Ray Tube）またはLCD（Liquid Crystal Display）などからなる表示部２３に表示する。また、生体情報データベース２２に予め登録されている顔画像と照合し、一致しない場合、生体情報認識装置２１は、生体情報管理データベース３にアクセスし、未登録者として未登録遊技者DB２５１に登録する。
【００３８】
遊技店管理装置２４は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス３０を介して遊技台３６−１乃至３６−ｍの動作を監視している。遊技店管理装置２４は、遊技台３６の出玉もしくはメダルの払い出しの情報、各遊技台３６−１乃至３６−ｍの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をCRTやLCDなどからなる表示部２５に表示する。遊技店管理装置２４は、計数機３５、遊技台３６−１乃至３６−ｍ、および遊技台周辺端末３７−１乃至３７−ｍのそれぞれより供給されてくる情報を、それぞれを識別する識別情報（例えば、遊技台番号）とを対応付けて遊技台管理データベース２６により管理する。
【００３９】
媒体貸出管理装置２７は、精算販売機３３、および貸出機３４からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース２９を用いて管理すると供に、媒体貸出管理データベース２９に登録されている媒体貸出管理情報を更新する際、その更新情報を、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４に送る。さらに、媒体貸出管理装置２７は、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース２９に蓄積させる。
【００４０】
貸出機３４は、遊技者が遊技台３６で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機３４は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置２７に供給する。これにより、媒体貸出管理装置２７は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース２９に登録する。
【００４１】
精算販売機３３は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機３３は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置２７に供給する。また、精算販売機３３は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機３３は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置２７に供給する。
【００４２】
計数機３５は、遊技者が遊技台３６により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。
【００４３】
遊技台３６−１乃至３６−ｍは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。
【００４４】
遊技台周辺端末３７−１乃至３７−ｍは、各遊技台３６−１乃至３６−ｍに対応して設けられている、いわゆる台間機であり、台間球貸機（原理的には、貸出機３４と同様のもの）などが設けられている。また、遊技台周辺端末３７は、遊技台３６を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報（遊技台番号）と共に生体情報認識装置２１に送信する。尚、図１においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ３８−１乃至３８−ｍが設けられている例が示されている。
【００４５】
カメラ３８−１乃至３８−ｍは、例えば、図２で示されるように、各遊技台３６−１乃至３６−４のそれぞれの上部に設けられた台表示ランプ６１−１乃至６１−４の下部に図３で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。
【００４６】
また、カメラ３８−１乃至３８−ｍは、例えば、図４で示されるように、遊技台周辺端末３７−１乃至３７−４に凸部７１−１乃至７１−４を設け、図５で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。
【００４７】
さらに、カメラ３８−１乃至３８−ｍは、例えば、図６で示されるように、遊技台３６の中央部（遊技台３６の盤面上）に設けるようにして、撮像するようにしてもよい。すなわち、図６の設置部８１にカメラ３８が設置されることにより、図７で示されるように、読取範囲φ内に遊技者を撮像する。
【００４８】
入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、遊技店１の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット３９−（ｍ＋１）乃至３９−（ｍ＋ｐ＋ｑ）に供給する。
【００４９】
入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、例えば、図８で示されるように設定される。図８は、遊技店１内の入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑの設置例を示している。
【００５０】
すなわち、図８においては、出入口１１２−１乃至１１２−３が設けられており、入口カメラ４０−１乃至４０−３は、それぞれの出入口１１２より入店してくる遊技者を撮像する。また、店内カメラ４１−１乃至４１−１０は、島設備１１１−１乃至１１１−５のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備１１１は、両面に遊技台３６が設置されており、すなわち、図中の島設備１１１を上下方向に挟むように設置されている。カメラ３８、入口カメラ４０および店内カメラ４１は、いずれにおいてもパンチルトズーム機能を備えているため、図８で示されるように、店内カメラ４１−１乃至４１−１０が配置されることにより、遊技台３６で遊技する全遊技者が、店内カメラ４１−１乃至４１−１０のいずれかで撮像できる。
【００５１】
さらに、店内カメラ４０−ａは、貸出機３４の前に設けられており、店内カメラ４０−ｂは、精算販売機３３の前に設けられており、店内カメラ４１−ｃは、計数機３５の前に設けられており、それぞれ、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者を撮像することができる。
【００５２】
すなわち、図８で示されるように、遊技店１においては、来店する遊技者、遊技台３６で遊技する遊技者、並びに、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者といった、遊技店１において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、カメラ３８、入口カメラ４０、および店内カメラ４１が設置されている。
【００５３】
次に、図９を参照して、画像処理ユニット３９の構成例について説明する。
【００５４】
画像取得部２０１は、カメラ３８（または、入口カメラ４０もしくは店内カメラ４１）により撮像された画像を取得し、顔画像抽出部２０２に供給する。顔画像抽出部２０２は、画像取得部２０１より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して器官抽出部２０３および送信部２０７に供給する。
【００５５】
器官抽出部２０３は、矩形状の顔画像より顔を構成する器官、すなわち、左右の目、鼻、口、または耳などの器官を抽出し、器官スコア付与部２０４に供給する。より具体的には、器官抽出部２０３は、顔画像のうち、これらの器官の輪郭を構成する部位に設定される器官特徴点を抽出し、抽出した器官特徴点の情報を器官毎に分類し、器官の情報として器官スコア付与部２０４に供給する。この器官特徴点は、器官毎に求めるべき位置と点数が予め設定されている。すなわち、器官特徴点は、器官を構成する輪郭に沿って配置されており、例えば、目の場合、上まぶたの中央位置、下まぶたの中央位置、および目じりといった具合に目という器官の輪郭を構成する所定の位置に、所定の点数だけ特定されている。そして、器官抽出部２０３は、このように設定された器官特徴点のうち、画像より各器官毎に読み出すことができた器官特徴点の位置と点数の情報を抽出することで、各器官を抽出する。
【００５６】
器官スコア付与部２０４は、器官抽出部２０３より供給されてくる器官の情報である、器官特徴点の情報に基づいて、各器官毎にスコアを付与し、その情報を角度推定部２０５に供給する。すなわち、上述したように、器官抽出部２０３により抽出される器官の情報は、設定された器官特徴点のうち、画像上で特定することができた器官特徴点と、その位置の情報である。このため、器官スコア付与部２０４は、各器官に設定されている器官特徴点の総合計点数に対する、顔画像から特定することができた器官特徴点の点数の割合に基づいて、各器官毎にスコアを計算し付与する。尚、顔を構成する器官のうち、目、および口については、顔画像を認識する上で適正であるか否かを判断するのに大きな要素となるため、たとえば、目および口については、他の器官よりも高いスコアとなるように重みをつけるようにしても良い。また、計算速度や負荷を低減させるために、器官として、目、および口のみを扱うようにしてもよい。
【００５７】
角度推定部２０５は、器官毎に設定されたスコアに基づいて、抽出された顔画像となる顔の正対方向に対する撮像位置の角度を撮像角度として推定し、推定した撮像角度の情報と、器官毎に設定されたスコアの情報を適正判定部２０６に供給する。
【００５８】
適正判定部２０６は、角度推定部２０５より供給されてくる器官毎に設定されたスコアと撮像角度の情報に基づいて、抽出された顔画像が後段の顔画像の類似度計算処理に用いるのに適正なものであるか否かを判定し、適正であるとき送信部２０７を制御して、顔画像を後段の生体情報認識装置２１に供給する。より具体的には、適正判定部２０６は、推定された撮像角度が正対方向に近い所定の範囲内であって、かつ、各器官に設定されたスコアの合計スコアが所定値よりも高いか否かに基づいて、顔画像が類似度計算処理に用いるのに適正な顔画像であるか否かを判定する。送信部２０７は、適正判定部２０６の判定結果に基づいて、顔画像を生体情報認識装置２１に送信する。
【００５９】
次に、図１０を参照して、生体情報認識装置２１の構成例について説明する。
【００６０】
顔画像取得部２２１は、画像処理ユニット３９より供給される顔画像を取得し、照合部２２２に供給する。照合部２２２は、顔画像取得部２２１により取得された顔画像と、生体情報DB２２に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第３候補までの顔画像を照合結果として表示部２３に表示させる。また、照合部２２２は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。
【００６１】
より詳細には、照合部２２２の特徴量抽出部２３１は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部２３２に供給する。類似度計算部２３２は、生体情報DB２２に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部２３１より供給されてくる特徴量とを用いて、生体情報DB２２に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部２２１より供給されてきた顔画像、および、類似度が上位３位までの顔画像を類似度判定部２３３に供給する。より具体的には、類似度計算部２３２は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。
【００６２】
類似度判定部２３３は、類似度計算部２３２より供給されてくる類似度を順次バッファ２３３ａに蓄積し、上位３位となる顔画像のそれぞれの類似度のうち、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似している場合（類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき）、上位３位となる顔画像と類似度の情報を表示部２３に供給して、表示させると供に、通信部２２４に供給する。また、類似度判定部２３３は、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似していない場合、顔画像取得部２２１より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。
【００６３】
未登録遊技者データベース登録部２２３は、照合部２２２より未登録であるとみなされて供給されてきた、顔画像を生体情報管理データベース３の未登録遊技者DB２５１に登録する。
【００６４】
操作部２２５は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位３位となる、表示部２３に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部２２４に供給する。通信部２２４は、モデムなどから構成され、操作部２２５からの操作信号に基づいて、選択された顔画像を携帯端末２０に配信する。
【００６５】
尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部２３３は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、０乃至１の範囲で所定の値以上であって、１に近い値であれば、同一の人物であるとみなすことができる。
【００６６】
データベース管理部２２６は、生体情報管理センタ２より新たな登録遊技者データベース２５２（図１１）が配信されてくると、新たな登録遊技者データベース２５２に基づいて、生体情報DB２２を更新する。
【００６７】
次に、図１１を参照して、生体情報管理センタ２の構成例について説明する。
【００６８】
生体情報管理センタ２は、DB配信部２４１、DB更新部２４２、およびDB更新判定部２４３から構成されており、生体情報管理DB３に格納されている登録遊技者DB２５２を、未登録遊技者DB２５１に基づいて、更新する。より具体的には、DB更新判定部２４３は、時刻情報を発生するRTC（Real Time Clock）２４３ａを内蔵しており、その内蔵されているRTC２４３ａに基づいて、所定期間が経過すると、生体情報管理DB３にアクセスし、未登録遊技者DB２５１に新たな未登録遊技者が登録されたか否かを判定する。
【００６９】
DB更新判定部２４３は、未登録遊技者DB２５１に新たに未登録遊技者が登録されていた場合、特徴量抽出部２４３ｂを制御して、未登録遊技者DB２５１に登録されている未登録遊技者の顔画像より特徴量を抽出させ、類似度計算部２４３ｃを制御して、未登録遊技者DB２５１に登録されている未登録遊技者の顔画像のうちの１つを選択し、他の未登録遊技者の顔画像との類似度を計算させる。次に、DB更新判定部２４３は、類似度判定部２４３ｄを制御して、類似度計算部２４３ｃにより計算された類似度と所定の閾値との比較に基づいて、他の未登録遊技者の顔画像のそれぞれについて、選択した１つの未登録遊技者の顔画像と類似しているか否かを判定させる。そして、DB更新判定部２４３は、回数判定部２４３ｅを制御して、選択した１つの未登録遊技者の顔画像と類似している、その他の未登録遊技者の顔画像が所定個数以上であるか否かを判定させることにより、類似度が所定の閾値を越えた回数が所定回数以上であるか否かを判定させ、所定回数以上であるとき、その旨をDB更新部２４２に通知する。DB更新部２４２は、未登録遊技者DB２５１にアクセスし、登録されている未登録遊技者のうち、所定回数以上登録されている未登録遊技者を読み出して、登録遊技者DB２５２に登録して、更新する。さらに、DB更新部２４２は、登録遊技者DB２５２を更新すると、更新したことをDB配信部２４１に通知する。
【００７０】
DB配信部２４１は、DB更新部２４２より登録遊技者DB２５２が更新されたことを通知されると、生体情報管理DB３にアクセスし、登録遊技者DB２５２を読み出して、各遊技店１の生体情報認識装置２１に配信する。
【００７１】
次に、図１２を参照して、携帯端末２０の構成例について説明する。
【００７２】
通信部２７１は、モデムなどで構成されており、遊技店１内の無線通信網を介して生体情報認識装置２１との間でデータを授受する。また、通信部２７１は、生体情報認識装置２１より配信されてくる、画像処理ユニット３９より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報を取得し、画像処理部２７２に供給する。
【００７３】
画像処理部２７２は、通信部２７１より供給されてくる画像処理ユニット３９より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報に基づいて、LCDなどにより構成される表示部２７３に表示する画像を生成すると供に、表示部２７３に表示させる。
【００７４】
次に、図１３のフローチャートを参照して、登録遊技者来店監視処理について説明する。
【００７５】
ステップＳ１において、入口カメラ４０は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット３９に供給する。画像処理ユニット３９の画像取得部２０１は、供給された画像を取得し、顔画像抽出部２０２に供給する。
【００７６】
ステップＳ２において、顔画像抽出部２０２は、供給された画像より遊技者の顔画像を抽出し、器官抽出部２０３、および送信部２０７に供給する。より具体的には、顔画像抽出部２０２は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、器官抽出部２０３、および送信部２０７に供給する。
【００７７】
ステップＳ３において、器官抽出部２０３は、顔画像抽出部２０２より顔画像が抽出されてきているか否かを判定し、顔画像が供給されない場合、処理は、ステップＳ１に戻る。すなわち、顔画像が抽出されるまで、ステップＳ１乃至Ｓ３の処理が繰り返される。そして、ステップＳ３において、顔画像が抽出された場合、処理は、ステップＳ４に進む。
【００７８】
ステップＳ４において、器官抽出部２０３は、供給されてきた顔画像より器官を抽出し、抽出した器官の情報を器官スコア付与部２０４に供給する。より詳細には、器官抽出部２０３は、例えば、図１４の３種類の顔画像のそれぞれの黒点で示されるように、器官特徴点を検出する。すなわち、図１４においては、左から図中左を向いた顔画像、下を向いた顔画像、および図中左を向いて、かつ、図中右側の目が髪の毛により隠れている顔画像の例が示されている。図１４の中央で示されるように、例えば、目の器官特徴点は、左右それぞれ１１点ずつとされている。すなわち、正面を向いている状態であれば、目の器官特徴点は、１１点検出される。しかしながら、図１４の左部で示されるように、図中左方向を向いている顔画像の場合、左側の目は、顔が図中の左方向を向いたため、目の器官の輪郭を構成する器官特徴点の一部を検出することができず、６点の器官特徴点のみが抽出されている。この場合、器官抽出部２０３は、抽出した器官特徴点が図中左側の目の右側部分の６点であることを左側の目の器官の情報として抽出する。従って、図１４の左部の場合、右側の目は、１１点であり、口は１０点となる。
【００７９】
同様に、図１４の中央部においては、左右の目が１１点であり、口が４点である。さらに、図１４の右部においては、左側の目が６点であり、右側の目が７点であり、口が１０点となる。
【００８０】
ステップＳ５において、器官スコア付与部２０４は、器官抽出部２０３より供給されてくる各器官の器官特徴点の抽出位置と点数の情報を、抽出された器官の情報として取得すると、各器官の器官特徴点の抽出点数に基づいて、スコアを付与し、取得した情報と共に角度推定部２０５に供給する。
【００８１】
すなわち、例えば、図１４の左部の顔画像の場合、左側の目は、器官特徴点の抽出点数は、６点となるので、例えば、各器官毎の満点スコアを１００点としたとき、スコアを５５（≒１００×６／１１）に設定する。同様に右側の目のスコアは、１００点に設定され、口は、器官特徴点の全点数が１２点であるとすれば、スコアは、８３（≒１００×１０／１２）に設定される。
【００８２】
また、図１４の中央部の顔画像の場合、左側の目、右側の目、および口のそれぞれのスコアは、１００点、１００点、および３３点に設定される。同様に、図１４の右部の顔画像の場合、左側の目、右側の目、および口のそれぞれのスコアは、５５点、６４点、および８３点に設定される。
【００８３】
すなわち、予め設定された器官特徴点は、各器官の輪郭を形成するものであるので、全ての器官特徴点が抽出されれば、正確に器官の輪郭が再現されるものと考えられる。したがって、器官スコア付与部２０４により付与されるスコアは、予め設定された器官特徴点数に対する抽出点数の割合であることから、顔画像内における各器官の信頼度であるといえる。したがって、スコアが高いほど、各器官が正しく認識され易いと考えることができるため、類似度計算処理には適していると考えることができる。
【００８４】
ステップＳ６において、角度推定部２０５は、顔画像の正対位置からの撮像角度を推定し、推定した撮像角度と、各器官のスコアの情報を適正判定部２０６に供給する。ここでいう、正対とは、被写体である顔画像に対して正面に対向する位置をいう。すなわち、角度推定部２０５は、予め撮像角度毎に、各器官の器官特徴点の抽出点数とその分布を記憶しているため、実際に抽出された器官特徴点の抽出点数とその分布から撮像角度を推定する。例えば、図１４の左部の顔画像の場合、左側の目の輪郭を構成する器官特徴点のうち、左側の５点が抽出できない状態になっており、右目が全て抽出されており、さらに、口については、左側の２点が抽出できない状態となっている。角度推定部２０５は、これらの器官特徴点の抽出点数とその分布から撮像角度を推定する。
【００８５】
ステップＳ７において、適正判定部２０６は、供給されてきた撮像角度と各器官のスコアの情報に基づいて、抽出された顔画像が、後述する類似度計算処理に適した顔画像であるか否かを判定する。より詳細には、適正判定部２０６は、供給されてきた顔画像の撮像角度が、水平方向、および垂直方向に対して顔画像の人物の顔の正対方向近傍の所定の角度内であって、かつ、器官毎のスコアの合計スコアが所定の閾値よりも高いとき、適正であるものとみなす。
【００８６】
ここでは、類似度計算処理に適した顔画像であるか否かは、以下の条件に基づいて判定される。すなわち、器官毎のスコアが高くても、顔画像の撮像角度がある程度正対に近い所定の角度内ではない場合、各器官の形状の画像内での歪が大きいと考えられるため、推定された撮像角度が正対方向近傍の所定の角度内であることが第１の条件とされている。ただし、上述したように、正対方向近傍の角度からずれるほど、器官特徴点の抽出点数は減る傾向にあると考えることができるので、正対方向近傍の角度内でなければ、スコアも低い可能性が高いと考えられる。
【００８７】
さらに、撮像角度が正対方向近傍の所定の角度内であって、かつ、器官毎のスコアの合計が所定の閾値よりも高いことが第２の条件とされる。すなわち、髪の毛などにより器官の輪郭が隠れたりすると、撮像角度が正対方向の近傍の所定の角度内であっても、各器官の情報の信頼度が低いことになる。
【００８８】
そこで、これらの２つの条件を満たす顔画像について、適正判定部２０６は、類似度計算処理に対して適正な顔画像であると判定する。
【００８９】
例えば、図１４の左部の顔画像の場合、器官毎のスコアは、左右の目と口のスコアの合計である２３８（＝５５＋１００＋８３）となる。また、図１４の中央部の場合、２３３（＝１００＋１００＋３３）となる。さらに、図１４の右部の場合、１５２（＝５５＋６４＋３３）となる。したがって、撮像角度が正対方向近傍の所定の角度内であった場合、スコアの閾値が２００であるとき、図１４の左部、および中央部の顔画像は、適正な顔画像であるものとみなされるが、図１４の右部においては、適正な顔画像とみなされないことになる。尚、当然のことながら、閾値の設定は、以上のスコアに限るものではなく、他の閾値であってもよいものである。
【００９０】
ステップＳ７において、抽出された顔画像が類似度計算処理に対して適正であると判定された場合、ステップＳ８において、適正判定部２０６は、送信部２０７を制御し、顔画像抽出部２０２より供給されてきた顔画像を生体情報認識装置２１に送信する。この際、送信部２０７は、カメラ３８、入口カメラ４０、または店内カメラ４１のそれぞれを識別するカメラIDや、送信時刻の情報などの情報を顔画像に付加して生体情報認識装置２１に送信する。
【００９１】
一方、ステップＳ７において、抽出された顔画像が類似度計算処理に対して適正なものではないと判定された場合、ステップＳ８の処理がスキップされて、処理は、ステップＳ１に戻る。
【００９２】
すなわち、画像処理ユニット３９においては、抽出された顔画像のうち、撮像角度が正対方向近傍の所定の角度の範囲内であって、スコアの合計が所定の閾値よりも大きい顔画像のみが、生体情報認識装置２１に供給される。結果として、後述する類似度計算処理における精度を向上させることが可能になると共に、精度の低い顔画像を用いた類似度計算処理をする必要がなくなるので、処理負荷が低減し、処理を高速化することが可能となる。
【００９３】
尚、以上においては、器官抽出として目、および口のみを用いた例について説明してきたが、当然のことながら、他の器官、すなわち、鼻、および耳といった情報を用いるようにしてもよいものである。しかしながら、顔画像を用いた類似度計算処理においては、目、および口の信頼度が他の器官よりも類似度計算処理の精度に対しての影響が大きいため、目、および口以外の器官を用いる場合、目、および口のスコアに対する重みを大きくするようにしてもよい。また、類似度計算処理の精度に対しての影響が大きいため、逆に、計算による負荷を低減させるために、目、および口のみを用いるようにしてもよい。
【００９４】
ステップＳ２１において、生体情報認識装置２１の顔画像取得部２２１は、顔画像を取得する。ステップＳ２２において、顔画像取得部２２１は、供給された顔画像のうち、いずれか未処理の１つを抽出し、特徴量抽出部２３１に供給する。
【００９５】
ステップＳ２３において、照合部２２２の特徴量抽出部２３１は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部２３２に供給する。
【００９６】
ステップＳ２４において、類似度計算部２３２は、類似度計算処理を実行する。
【００９７】
ここで、図１５のフローチャートを参照して、類似度計算処理について説明する。
【００９８】
ステップＳ５１において、類似度計算部２３２は、生体情報DB２２の登録遊技者DB２５２に登録されている顔画像のうち、未処理の１つの登録遊技者の顔画像を抽出し、処理対象に設定する。
【００９９】
ステップＳ５２において、類似度計算部２３２は、処理対象として設定した登録遊技者DB２５２に登録されている顔画像より、前記特徴量抽出部２３１より供給されてきた特徴量と同様の特徴量を抽出する。
【０１００】
ステップＳ５３において、類似度計算部２３２は、特徴量抽出部２３１より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、生体情報DB２２に登録されている登録遊技者DB２５２に登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、ステップＳ５４において、計算結果である登録遊技者DB２５２に登録されている顔画像との類似度を類似度判定部２３３に供給し、バッファ２３３ａに登録させる。
【０１０１】
ステップＳ５５において、類似度計算部２３２は、生体情報DB２２の登録遊技者DB２５２に未処理の登録遊技者の顔画像が存在するか否かを判定し、未処理の登録遊技者の顔画像が存在する場合、処理は、ステップＳ５１に戻る。すなわち、登録遊技者DB２５２の全ての登録遊技者の顔画像との類似度が計算されるまで、ステップＳ５１乃至Ｓ５５の処理が繰り返される。そして、ステップＳ５５において、登録遊技者DB２５２に未処理の登録遊技者の顔画像が存在しないと判定された場合、類似度計算処理は終了する。
【０１０２】
ここで、図１３のフローチャートの説明に戻る。
【０１０３】
ステップＳ２５において、類似度判定部２３３は、バッファ２３３ａに登録されている類似度の計算結果に基づいて順位を求め、登録遊技者DB２５２に登録されている顔画像のうちの上位３位までの顔画像と類似度の情報を抽出する。そして、類似度判定部２３３は、上位３位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部２３３は、最も類似している登録遊技者（生体情報DB２２に登録されている顔画像のうち、顔画像取得部２２１により取得された顔画像と最も類似している登録遊技者：ここでは、類似度の最も高い登録遊技者）の類似度を所定の閾値と比較する。
【０１０４】
尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。
【０１０５】
ステップＳ２５において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップＳ２６において、類似度判定部２３３は、類似度計算部２３２より供給されてきた上位３位の顔画像が登録遊技者の顔画像の候補であることを示す報知画面３０１を表示部２３を制御して表示させる。
【０１０６】
このとき、例えば、図１６で示されるような報知画面３０１が、表示部２３に表示される。
【０１０７】
図１６の報知画面３０１においては、カメラ画像表示欄３１１が、左中段に設けられており、画像処理ユニット３９より供給されてきた顔画像が表示される。また、その右側には、類似度の高い順に第１候補乃至第３候補までの類似度の上位３位の登録遊技者の顔画像表示欄３１２−１乃至３１２−３が設けられている。さらに、各登録遊技者の顔画像表示欄３１２−１乃至３１２−３の下には、類似度レベル表示欄３１３−１乃至３１３−３が設けられており、類似度のレベルが表示されている。図１５において、黒で示される領域の横方向の長さが類似度の大きさを示している。
【０１０８】
また、類似度レベル表示欄３１３−１乃至３１３−３の下には、対応する位置に、ID表示欄３１４−１乃至３１４−３が設けられており、各顔画像の生体情報DB２２における顔画像を識別するIDが表示されており、図１５において、左から「０００５１」、「０００１８」および「０００２２」と表示されている。
【０１０９】
さらに、ID表示欄３１４−１乃至３１４−３の下には、それぞれ対応する位置に、それぞれの候補を選択されるときに操作部２２５により操作される確定ボタン３１８−１乃至３１８−３が設けられている。
【０１１０】
また、カメラ画像表示欄３１１の下には、その顔画像を撮像したカメラを識別するカメラID表示欄３１５が設けられており、図１５においては、カメラ３８、入口カメラ４０、および店内カメラ４１を識別するためのカメラIDとして「カメラ０２」が表示されている。さらに、カメラID表示欄３１５の下には、時刻表示欄３１６が設けられており、入口カメラ４０により撮像された時刻が表示されており、図１５においては、「１８：２３：３２」と表示されており、カメラ画像表示欄３１１の顔画像が１８時２３分３２秒に撮像されていることが示されている。
【０１１１】
さらに、時刻表示欄３１６の下には、別人ボタン３１７が設けられており、カメラ画像の顔画像が、第１候補乃至第３候補となる登録遊技者の顔画像表示欄３１２−１乃至３１２−３のいずれにも似ていないとみなされたとき、操作部２２５により操作される。
【０１１２】
ステップＳ２７において、通信部２２４は、操作部２２５が操作されて、候補となる顔画像の何れかが選択されたか否か、すなわち、例えば、図１５で示される報知画面３０１が表示部２３に表示されていた場合、確定ボタン３１８−１乃至３１８−３のいずれかが操作部２２５により操作されたか否かを判定する。
【０１１３】
ステップＳ２７において、例えば、確定ボタン３１８−１が操作された場合、第１候補となる顔画像が選択されたとみなされ、ステップＳ２８において、通信部２２４は、選択された第１候補となる顔画像および入口カメラ４０により撮像されたカメラ画像を携帯端末２０に送信し、該当する登録遊技者が来店したことを通知する。
【０１１４】
ステップＳ４１において、通信部２７１は、登録遊技者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップＳ４１において、ステップＳ２８の処理により、登録遊技者の来店が通知されてきた場合、ステップＳ４２において、通信部２７１は、生体情報認識装置２１より送信されてきた登録遊技者の来店の通知を受信すると供に、その通知に併せて送信されてくる登録遊技者の顔画像および入口カメラ４０により撮像されたカメラ画像を画像処理部２７２に供給する。画像処理部２７２は、選択された顔画像および入口カメラ４０により撮像されたカメラ画像の情報を、表示部２７３に表示可能な形式の情報に加工して、ステップＳ４３において、表示部２７３に表示させる。
【０１１５】
以上の処理により、遊技店１内の係員は、携帯端末２０を所持していると、登録遊技者の来店を認識することが可能となる。
【０１１６】
また、ステップＳ２９において、顔画像取得部２２１は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップＳ２２に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップＳ２２乃至Ｓ３０の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップＳ２１に戻る。
【０１１７】
一方、ステップＳ２７において、いずれの候補となる顔画像も選択されず、例えば、図１５の報知画面３０１における別人ボタン３１７が押下された場合、または、ステップＳ２５において、類似度計算部２３２より供給されてくる上位３位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きくない場合、すなわち、最も類似している登録遊技者の顔画像であっても類似度が、所定の閾値未満である場合、ステップＳ３０において、類似度判定部２３３は、画像処理ユニット３９より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。未登録遊技者データベース登録部２２３は、供給されてきた顔画像を生体管理情報バス６及び公衆通信回線網８を介して生体情報管理データベース３にアクセスし、未登録遊技者DB２５１に登録する。
【０１１８】
以上の処理により、生体情報認識装置２１により画像処理ユニット３９より供給されてきた顔画像が、生体情報DB２２に登録されていないとみなされると、生体情報管理センタ２により管理されている生体情報管理DB３内の未登録遊技者DB２５１に未登録遊技者の顔画像として登録される。
【０１１９】
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２０】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１２１】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１２２】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１２４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【符号の説明】
【０１２５】
１，１−１乃至１−ｎ 遊技店
２ 生体情報管理センタ
３ 生体情報管理データベース
４ 第３者遊技店管理センタ
５ 第３者遊技店管理データベース
６ 生体情報管理バス
７ 第３者遊技店管理バス
８，９ 公衆通信回線網
２１ 生体情報認識装置
２２ 生体情報データベース
２４ 遊技店管理装置
２６ 遊技台管理データベース
２７ 媒体貸出管理装置
２９ 媒体貸出管理データベース
３０ 遊技店管理情報バス
３１ 生体情報バス
３３ 精算機
３４ 貸出機
３５ 計数機
３６，３６−１乃至３６−ｍ 遊技台
３７，３７−１乃至３７−ｍ 遊技台周辺端末
３８，３８−１乃至３８−ｍ カメラ
３９，３９−１乃至３９−（ｍ＋ｐ＋ｑ） 画像処理ユニット
４０，４０−１乃至４０−ｐ 入口カメラ
４１，４１−１乃至４１−ｑ 店内カメラ
【技術分野】
【０００１】
本発明は、監視装置および方法、監視システム並びにプログラムに関し、特に、顔画像による認識率を向上できるようにした監視装置および方法、監視システム、並びにプログラムに関する。
【背景技術】
【０００２】
現在もパチンコ店やパチスロ店に代表される遊技店においては、不審者による遊技媒体の抜き取りなどが発生し、遊技店の経営を圧迫する要因となっている。こうした被害は遊技店業界の喫緊の課題である。
【０００３】
こうした実態を打破すべく、不審者を発見し、遊技を止めてしまうなどの仕組みができてきており、顔画像を用いた不審者入店監視も行われている。
【０００４】
しかしながら、顔画像認証システムにおいては、認証においてエラーが生じることにより、認識率が100%に近い値となっておらず、信頼性に問題があった。
【０００５】
より具体的には、顔画像認証システムにおける信頼性の問題としては、取得された顔画像と同一人物の顔画像であるにも関わらず棄却される、いわゆる棄却エラーや、取得された顔画像と同一人物でもない他人の顔画像とを同一人物として受け入れてしまう、いわゆる他人受入エラーなどが挙げられる。
【０００６】
このうち、他人受入エラーについては、不審者でもない人物が不審者として検出されることとなるため、他人受入エラーが発生することで、遊技店の係員に対して不必要に発報してしまうことがあり、結局、係員による目視による確認が必要となることがあった。
【０００７】
このような営業への支障となりうるエラーの発生から、システムへの不信感が高まり、結果として、顔画像認証システムの導入や利用が辞められてしまうといった例もあり、これまでの顔画像認証システムは、有効に効果を発揮できていないのが実態であった。
【０００８】
そこで、このような問題に対応すべく、顔の向きや照明へのロバスト性を向上させることで、棄却エラーや他人受入エラーを抑制させる技術が提案されている（特許文献１，２参照）。
【０００９】
【特許文献１】特開２００９−１５７７６７号公報
【特許文献２】特開２００１−２０２５１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した棄却エラーや他人受入エラーの要因には、顔の向きや照明以外にも、髪の毛が目にかかることで顔の特徴点が隠れたり、髪の毛が顔の輪郭にかかることで陰影ができてしまうといった問題もあった、すなわち、髪の毛がかかることにより、顔画像の一部を隠したり、陰影に変化を与えることで、実際の顔画像においては、その特徴が類似していない人同士の顔画像でも、類似しているものとして誤認証してしまったり、逆に、本来類似している人同士の顔画像でも、非類似であるものとして誤認証してしまう恐れがあった。
【００１１】
また、本来顔画像が正面から捉えられる場合や、本人が照合しにいく場合には、条件が揃うまで待つこともできるが、特に遊技店の場合、設備にカメラを有することが多く、遊技台上部（台ランプ）もしくは遊技台左隣（サンド）からの撮像となり、顔を正面から捉えるケースが少ないことや、本人は認証されていることに気がつかないため照合条件が揃い難い顔画像のみしか取得できず、認証の失敗や誤認証が生じてしまう恐れがあった。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、顔画像を用いた認証処理における認証精度を向上できるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む。
【００１４】
前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段と、前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定させるようにすることができる。
【００１５】
前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含ませるようにすることができ、前記照合手段には、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。
【００１６】
前記器官抽出手段には、前記顔画像より前記顔を構成する各器官の部位のうち、左右の目、および口を抽出させるようにすることができる。
【００１７】
前記信頼度算出手段には、前記器官抽出手段により抽出された器官のうち、左右の目、および口の信頼度の重みを大きくして信頼度を算出させるようにすることができる。
【００１８】
本発明の一側面の監視方法は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む監視装置における監視方法であって、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップと、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む。
【００１９】
本発明の一側面のプログラムは、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とを含む監視装置を制御するコンピュータに、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップと、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップとを含む処理を実行させる。
【００２０】
本発明の一側面においては、顔画像が蓄積者の顔画像として蓄積者データベースに蓄積され、画像が撮像され、撮像された画像より、前記照合対象者の顔画像が抽出され、前記照合対象者の顔画像より、顔を構成する各器官の部位が抽出され、抽出された器官の信頼度が算出され、算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かが判定され、適正であると判定された照合対象者の顔画像と、蓄積された蓄積者の顔画像との類似度が計算されて、照合され、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かが判定され、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることが通知される。
【００２１】
すなわち、本発明の一側面の監視装置における、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段とは、例えば、生体情報DBであり、画像を撮像する撮像手段とは、例えば、カメラであり、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、画像処理ユニットの顔画像抽出部であり、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段とは、器官抽出部であり、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段とは、器官スコア付与部であり、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段とは、適正判定部であり、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段とは、例えば、照合部であり、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とは、類似度判定部であり、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段とは、例えば、通信部である。
【００２２】
すなわち、器官スコア付与部が、カメラで撮像された画像の顔画像より抽出される器官のそれぞれにスコアを付与する。適正判定部が、器官のそれぞれに付与されたスコアに基づいて、照合対象者の顔画像が、照合部における照合処理に適した顔画像であるか否かを判定する。そして、照合部は、適正判定部により照合に適した照合対象者の顔画像であると判定された顔画像と生体情報DBに蓄積された顔画像とを照合する。
【００２３】
また、抽出される器官においては、特に、左右の目、および口が重要であり、これらのみを抽出するようにしてもよいし、さらにその他の器官をも抽出する場合には、左右の目、および口の信頼度の重みを大きくするようにしても良い。
【００２４】
結果として、照合処理に適した顔画像のみが、照合処理に用いられるため、認識率が向上すると共に、照合に適していない顔画像は照合処理に用いられないため、照合処理に要する負荷を低減させ、処理速度を向上させることが可能となる。
【発明の効果】
【００２５】
本発明によれば、顔画像による認証処理における認識率を向上することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明を適用した監視システムの一実施の形態の構成を示す図である。
【図２】図１のカメラの設置例を示す図である。
【図３】図１のカメラの設置例を示す図である。
【図４】図１のカメラの設置例を示す図である。
【図５】図１のカメラの設置例を示す図である。
【図６】図１のカメラの設置例を示す図である。
【図７】図１のカメラの設置例を示す図である。
【図８】図１の入口カメラおよび店内カメラの設置例を示す図である。
【図９】図１の画像処理ユニットの構成例を説明する図である。
【図１０】図１の生体情報認識装置の構成例を説明する図である。
【図１１】図１の生体情報管理センタおよび生体情報管理DBの構成例を説明する図である。
【図１２】図１の携帯端末の構成例を説明する図である。
【図１３】登録遊技者来店監視処理を説明するフローチャートである。
【図１４】器官抽出を説明する図である。
【図１５】類似度計算処理を説明するフローチャートである。
【図１６】報知画像の表示例を説明する図である。
【図１７】パーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２８】
すなわち、本発明の一側面の監視装置は、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段（例えば、図１０の生体情報DB２２）と、画像を撮像する撮像手段（例えば、図９のカメラ３８，４０，４１）と、前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段（例えば、図９の顔画像抽出部２０２）と、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段（例えば、図９の器官抽出部２０３）と、前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段（例えば、図９の器官スコア付与部２０４）と、前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段（例えば、図９の適正判定部２０６）と、前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段（例えば、図１０の照合部２２２）と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段（例えば、図１０の類似度判定部２３３）と、前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段（例えば、図１０の通信部２２４）とを含む。
【００２９】
前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段（例えば、図９の角度推定部２０５）と、前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定させるようにすることができる。
【００３０】
前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段（例えば、図１０の特徴量抽出部２３１）とをさらに含ませるようにすることができ、前記照合手段には、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合させるようにすることができる。
【００３１】
本発明の一側面の監視方法は、前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、前記撮像手段における、画像を撮像する撮像ステップ（例えば、図１３のステップＳ１）と、前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップ（例えば、図１３のステップＳ２）と、前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップ（例えば、図１３のステップＳ４）と、前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップ（例えば、図１３のステップＳ５）と、前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップ（例えば、図１３のステップＳ７）と、前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップ（例えば、図１３のステップＳ２１）と、前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップ（例えば、図１３のステップＳ２４）と、前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップ（例えば、図１３のステップＳ２５）と、前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップ（例えば、図１３のステップＳ２８）とを含む。
【００３２】
図１は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。
【００３３】
遊技店１−１乃至１−ｎは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店１−１乃至１−ｎは、系列店舗または生体情報管理センタや第３者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店１−１乃至１−ｎは、生体情報管理バス６および第３者遊技店管理バス７により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網８，９を介して、相互にそれぞれ生体情報、および第３者遊技店管理情報を授受している。尚、以降において、遊技店１−１乃至１−ｎのそれぞれについて、特に区別する必要がない場合、単に、遊技店１と称するものとし、その他の構成についても同様に称するものとする。
【００３４】
生体情報管理バス６は、主に各遊技店１の生体情報認識装置２１により管理される生体情報を流通させるための伝送路として機能する。また、第３者遊技店管理バス７は、主に各遊技店１の媒体貸出管理装置２７により管理される媒体貸出管理情報を流通させるための伝送路として機能する。
【００３５】
生体情報管理センタ２は、生体情報管理センタを管理運営する事業者により使用されるサーバであり、生体情報管理データベース（以降、DBとも称するものとする）３で管理されている登録遊技者DB２５２（図１１）を各遊技店１により生成される未登録遊技者DB２５１（図１１）に基づいて更新すると供に、更新した最新の登録遊技者DB２５２を各遊技店１の生体情報認識装置２１に対して配信する。
【００３６】
第３者遊技店管理センタ４は、第３者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第３者遊技店管理データベース（DB）５で管理されている媒体貸出管理情報からなるDBを各遊技店１より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店１の媒体貸出管理装置２７に対して配信する。
【００３７】
生体情報認識装置２１は、カメラ３８−１乃至３８−ｍ、入口カメラ４０−１乃至４０−ｐ、および店内カメラ４１−１乃至４１−ｑにより撮像された画像より画像処理ユニット３９−１乃至３９−（ｍ＋ｐ＋ｑ）により抽出されて、生体情報バス３１を介して供給されてくる顔画像の情報に基づいて、生体情報データベース２２に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末２０に通知したり、CRT（Cathode Ray Tube）またはLCD（Liquid Crystal Display）などからなる表示部２３に表示する。また、生体情報データベース２２に予め登録されている顔画像と照合し、一致しない場合、生体情報認識装置２１は、生体情報管理データベース３にアクセスし、未登録者として未登録遊技者DB２５１に登録する。
【００３８】
遊技店管理装置２４は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス３０を介して遊技台３６−１乃至３６−ｍの動作を監視している。遊技店管理装置２４は、遊技台３６の出玉もしくはメダルの払い出しの情報、各遊技台３６−１乃至３６−ｍの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をCRTやLCDなどからなる表示部２５に表示する。遊技店管理装置２４は、計数機３５、遊技台３６−１乃至３６−ｍ、および遊技台周辺端末３７−１乃至３７−ｍのそれぞれより供給されてくる情報を、それぞれを識別する識別情報（例えば、遊技台番号）とを対応付けて遊技台管理データベース２６により管理する。
【００３９】
媒体貸出管理装置２７は、精算販売機３３、および貸出機３４からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース２９を用いて管理すると供に、媒体貸出管理データベース２９に登録されている媒体貸出管理情報を更新する際、その更新情報を、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４に送る。さらに、媒体貸出管理装置２７は、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース２９に蓄積させる。
【００４０】
貸出機３４は、遊技者が遊技台３６で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機３４は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置２７に供給する。これにより、媒体貸出管理装置２７は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース２９に登録する。
【００４１】
精算販売機３３は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機３３は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置２７に供給する。また、精算販売機３３は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機３３は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置２７に供給する。
【００４２】
計数機３５は、遊技者が遊技台３６により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。
【００４３】
遊技台３６−１乃至３６−ｍは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。
【００４４】
遊技台周辺端末３７−１乃至３７−ｍは、各遊技台３６−１乃至３６−ｍに対応して設けられている、いわゆる台間機であり、台間球貸機（原理的には、貸出機３４と同様のもの）などが設けられている。また、遊技台周辺端末３７は、遊技台３６を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報（遊技台番号）と共に生体情報認識装置２１に送信する。尚、図１においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ３８−１乃至３８−ｍが設けられている例が示されている。
【００４５】
カメラ３８−１乃至３８−ｍは、例えば、図２で示されるように、各遊技台３６−１乃至３６−４のそれぞれの上部に設けられた台表示ランプ６１−１乃至６１−４の下部に図３で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。
【００４６】
また、カメラ３８−１乃至３８−ｍは、例えば、図４で示されるように、遊技台周辺端末３７−１乃至３７−４に凸部７１−１乃至７１−４を設け、図５で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。
【００４７】
さらに、カメラ３８−１乃至３８−ｍは、例えば、図６で示されるように、遊技台３６の中央部（遊技台３６の盤面上）に設けるようにして、撮像するようにしてもよい。すなわち、図６の設置部８１にカメラ３８が設置されることにより、図７で示されるように、読取範囲φ内に遊技者を撮像する。
【００４８】
入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、遊技店１の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット３９−（ｍ＋１）乃至３９−（ｍ＋ｐ＋ｑ）に供給する。
【００４９】
入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、例えば、図８で示されるように設定される。図８は、遊技店１内の入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑの設置例を示している。
【００５０】
すなわち、図８においては、出入口１１２−１乃至１１２−３が設けられており、入口カメラ４０−１乃至４０−３は、それぞれの出入口１１２より入店してくる遊技者を撮像する。また、店内カメラ４１−１乃至４１−１０は、島設備１１１−１乃至１１１−５のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備１１１は、両面に遊技台３６が設置されており、すなわち、図中の島設備１１１を上下方向に挟むように設置されている。カメラ３８、入口カメラ４０および店内カメラ４１は、いずれにおいてもパンチルトズーム機能を備えているため、図８で示されるように、店内カメラ４１−１乃至４１−１０が配置されることにより、遊技台３６で遊技する全遊技者が、店内カメラ４１−１乃至４１−１０のいずれかで撮像できる。
【００５１】
さらに、店内カメラ４０−ａは、貸出機３４の前に設けられており、店内カメラ４０−ｂは、精算販売機３３の前に設けられており、店内カメラ４１−ｃは、計数機３５の前に設けられており、それぞれ、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者を撮像することができる。
【００５２】
すなわち、図８で示されるように、遊技店１においては、来店する遊技者、遊技台３６で遊技する遊技者、並びに、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者といった、遊技店１において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、カメラ３８、入口カメラ４０、および店内カメラ４１が設置されている。
【００５３】
次に、図９を参照して、画像処理ユニット３９の構成例について説明する。
【００５４】
画像取得部２０１は、カメラ３８（または、入口カメラ４０もしくは店内カメラ４１）により撮像された画像を取得し、顔画像抽出部２０２に供給する。顔画像抽出部２０２は、画像取得部２０１より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して器官抽出部２０３および送信部２０７に供給する。
【００５５】
器官抽出部２０３は、矩形状の顔画像より顔を構成する器官、すなわち、左右の目、鼻、口、または耳などの器官を抽出し、器官スコア付与部２０４に供給する。より具体的には、器官抽出部２０３は、顔画像のうち、これらの器官の輪郭を構成する部位に設定される器官特徴点を抽出し、抽出した器官特徴点の情報を器官毎に分類し、器官の情報として器官スコア付与部２０４に供給する。この器官特徴点は、器官毎に求めるべき位置と点数が予め設定されている。すなわち、器官特徴点は、器官を構成する輪郭に沿って配置されており、例えば、目の場合、上まぶたの中央位置、下まぶたの中央位置、および目じりといった具合に目という器官の輪郭を構成する所定の位置に、所定の点数だけ特定されている。そして、器官抽出部２０３は、このように設定された器官特徴点のうち、画像より各器官毎に読み出すことができた器官特徴点の位置と点数の情報を抽出することで、各器官を抽出する。
【００５６】
器官スコア付与部２０４は、器官抽出部２０３より供給されてくる器官の情報である、器官特徴点の情報に基づいて、各器官毎にスコアを付与し、その情報を角度推定部２０５に供給する。すなわち、上述したように、器官抽出部２０３により抽出される器官の情報は、設定された器官特徴点のうち、画像上で特定することができた器官特徴点と、その位置の情報である。このため、器官スコア付与部２０４は、各器官に設定されている器官特徴点の総合計点数に対する、顔画像から特定することができた器官特徴点の点数の割合に基づいて、各器官毎にスコアを計算し付与する。尚、顔を構成する器官のうち、目、および口については、顔画像を認識する上で適正であるか否かを判断するのに大きな要素となるため、たとえば、目および口については、他の器官よりも高いスコアとなるように重みをつけるようにしても良い。また、計算速度や負荷を低減させるために、器官として、目、および口のみを扱うようにしてもよい。
【００５７】
角度推定部２０５は、器官毎に設定されたスコアに基づいて、抽出された顔画像となる顔の正対方向に対する撮像位置の角度を撮像角度として推定し、推定した撮像角度の情報と、器官毎に設定されたスコアの情報を適正判定部２０６に供給する。
【００５８】
適正判定部２０６は、角度推定部２０５より供給されてくる器官毎に設定されたスコアと撮像角度の情報に基づいて、抽出された顔画像が後段の顔画像の類似度計算処理に用いるのに適正なものであるか否かを判定し、適正であるとき送信部２０７を制御して、顔画像を後段の生体情報認識装置２１に供給する。より具体的には、適正判定部２０６は、推定された撮像角度が正対方向に近い所定の範囲内であって、かつ、各器官に設定されたスコアの合計スコアが所定値よりも高いか否かに基づいて、顔画像が類似度計算処理に用いるのに適正な顔画像であるか否かを判定する。送信部２０７は、適正判定部２０６の判定結果に基づいて、顔画像を生体情報認識装置２１に送信する。
【００５９】
次に、図１０を参照して、生体情報認識装置２１の構成例について説明する。
【００６０】
顔画像取得部２２１は、画像処理ユニット３９より供給される顔画像を取得し、照合部２２２に供給する。照合部２２２は、顔画像取得部２２１により取得された顔画像と、生体情報DB２２に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第３候補までの顔画像を照合結果として表示部２３に表示させる。また、照合部２２２は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。
【００６１】
より詳細には、照合部２２２の特徴量抽出部２３１は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部２３２に供給する。類似度計算部２３２は、生体情報DB２２に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部２３１より供給されてくる特徴量とを用いて、生体情報DB２２に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部２２１より供給されてきた顔画像、および、類似度が上位３位までの顔画像を類似度判定部２３３に供給する。より具体的には、類似度計算部２３２は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。
【００６２】
類似度判定部２３３は、類似度計算部２３２より供給されてくる類似度を順次バッファ２３３ａに蓄積し、上位３位となる顔画像のそれぞれの類似度のうち、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似している場合（類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき）、上位３位となる顔画像と類似度の情報を表示部２３に供給して、表示させると供に、通信部２２４に供給する。また、類似度判定部２３３は、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似していない場合、顔画像取得部２２１より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。
【００６３】
未登録遊技者データベース登録部２２３は、照合部２２２より未登録であるとみなされて供給されてきた、顔画像を生体情報管理データベース３の未登録遊技者DB２５１に登録する。
【００６４】
操作部２２５は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位３位となる、表示部２３に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部２２４に供給する。通信部２２４は、モデムなどから構成され、操作部２２５からの操作信号に基づいて、選択された顔画像を携帯端末２０に配信する。
【００６５】
尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部２３３は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、０乃至１の範囲で所定の値以上であって、１に近い値であれば、同一の人物であるとみなすことができる。
【００６６】
データベース管理部２２６は、生体情報管理センタ２より新たな登録遊技者データベース２５２（図１１）が配信されてくると、新たな登録遊技者データベース２５２に基づいて、生体情報DB２２を更新する。
【００６７】
次に、図１１を参照して、生体情報管理センタ２の構成例について説明する。
【００６８】
生体情報管理センタ２は、DB配信部２４１、DB更新部２４２、およびDB更新判定部２４３から構成されており、生体情報管理DB３に格納されている登録遊技者DB２５２を、未登録遊技者DB２５１に基づいて、更新する。より具体的には、DB更新判定部２４３は、時刻情報を発生するRTC（Real Time Clock）２４３ａを内蔵しており、その内蔵されているRTC２４３ａに基づいて、所定期間が経過すると、生体情報管理DB３にアクセスし、未登録遊技者DB２５１に新たな未登録遊技者が登録されたか否かを判定する。
【００６９】
DB更新判定部２４３は、未登録遊技者DB２５１に新たに未登録遊技者が登録されていた場合、特徴量抽出部２４３ｂを制御して、未登録遊技者DB２５１に登録されている未登録遊技者の顔画像より特徴量を抽出させ、類似度計算部２４３ｃを制御して、未登録遊技者DB２５１に登録されている未登録遊技者の顔画像のうちの１つを選択し、他の未登録遊技者の顔画像との類似度を計算させる。次に、DB更新判定部２４３は、類似度判定部２４３ｄを制御して、類似度計算部２４３ｃにより計算された類似度と所定の閾値との比較に基づいて、他の未登録遊技者の顔画像のそれぞれについて、選択した１つの未登録遊技者の顔画像と類似しているか否かを判定させる。そして、DB更新判定部２４３は、回数判定部２４３ｅを制御して、選択した１つの未登録遊技者の顔画像と類似している、その他の未登録遊技者の顔画像が所定個数以上であるか否かを判定させることにより、類似度が所定の閾値を越えた回数が所定回数以上であるか否かを判定させ、所定回数以上であるとき、その旨をDB更新部２４２に通知する。DB更新部２４２は、未登録遊技者DB２５１にアクセスし、登録されている未登録遊技者のうち、所定回数以上登録されている未登録遊技者を読み出して、登録遊技者DB２５２に登録して、更新する。さらに、DB更新部２４２は、登録遊技者DB２５２を更新すると、更新したことをDB配信部２４１に通知する。
【００７０】
DB配信部２４１は、DB更新部２４２より登録遊技者DB２５２が更新されたことを通知されると、生体情報管理DB３にアクセスし、登録遊技者DB２５２を読み出して、各遊技店１の生体情報認識装置２１に配信する。
【００７１】
次に、図１２を参照して、携帯端末２０の構成例について説明する。
【００７２】
通信部２７１は、モデムなどで構成されており、遊技店１内の無線通信網を介して生体情報認識装置２１との間でデータを授受する。また、通信部２７１は、生体情報認識装置２１より配信されてくる、画像処理ユニット３９より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報を取得し、画像処理部２７２に供給する。
【００７３】
画像処理部２７２は、通信部２７１より供給されてくる画像処理ユニット３９より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報に基づいて、LCDなどにより構成される表示部２７３に表示する画像を生成すると供に、表示部２７３に表示させる。
【００７４】
次に、図１３のフローチャートを参照して、登録遊技者来店監視処理について説明する。
【００７５】
ステップＳ１において、入口カメラ４０は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット３９に供給する。画像処理ユニット３９の画像取得部２０１は、供給された画像を取得し、顔画像抽出部２０２に供給する。
【００７６】
ステップＳ２において、顔画像抽出部２０２は、供給された画像より遊技者の顔画像を抽出し、器官抽出部２０３、および送信部２０７に供給する。より具体的には、顔画像抽出部２０２は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、器官抽出部２０３、および送信部２０７に供給する。
【００７７】
ステップＳ３において、器官抽出部２０３は、顔画像抽出部２０２より顔画像が抽出されてきているか否かを判定し、顔画像が供給されない場合、処理は、ステップＳ１に戻る。すなわち、顔画像が抽出されるまで、ステップＳ１乃至Ｓ３の処理が繰り返される。そして、ステップＳ３において、顔画像が抽出された場合、処理は、ステップＳ４に進む。
【００７８】
ステップＳ４において、器官抽出部２０３は、供給されてきた顔画像より器官を抽出し、抽出した器官の情報を器官スコア付与部２０４に供給する。より詳細には、器官抽出部２０３は、例えば、図１４の３種類の顔画像のそれぞれの黒点で示されるように、器官特徴点を検出する。すなわち、図１４においては、左から図中左を向いた顔画像、下を向いた顔画像、および図中左を向いて、かつ、図中右側の目が髪の毛により隠れている顔画像の例が示されている。図１４の中央で示されるように、例えば、目の器官特徴点は、左右それぞれ１１点ずつとされている。すなわち、正面を向いている状態であれば、目の器官特徴点は、１１点検出される。しかしながら、図１４の左部で示されるように、図中左方向を向いている顔画像の場合、左側の目は、顔が図中の左方向を向いたため、目の器官の輪郭を構成する器官特徴点の一部を検出することができず、６点の器官特徴点のみが抽出されている。この場合、器官抽出部２０３は、抽出した器官特徴点が図中左側の目の右側部分の６点であることを左側の目の器官の情報として抽出する。従って、図１４の左部の場合、右側の目は、１１点であり、口は１０点となる。
【００７９】
同様に、図１４の中央部においては、左右の目が１１点であり、口が４点である。さらに、図１４の右部においては、左側の目が６点であり、右側の目が７点であり、口が１０点となる。
【００８０】
ステップＳ５において、器官スコア付与部２０４は、器官抽出部２０３より供給されてくる各器官の器官特徴点の抽出位置と点数の情報を、抽出された器官の情報として取得すると、各器官の器官特徴点の抽出点数に基づいて、スコアを付与し、取得した情報と共に角度推定部２０５に供給する。
【００８１】
すなわち、例えば、図１４の左部の顔画像の場合、左側の目は、器官特徴点の抽出点数は、６点となるので、例えば、各器官毎の満点スコアを１００点としたとき、スコアを５５（≒１００×６／１１）に設定する。同様に右側の目のスコアは、１００点に設定され、口は、器官特徴点の全点数が１２点であるとすれば、スコアは、８３（≒１００×１０／１２）に設定される。
【００８２】
また、図１４の中央部の顔画像の場合、左側の目、右側の目、および口のそれぞれのスコアは、１００点、１００点、および３３点に設定される。同様に、図１４の右部の顔画像の場合、左側の目、右側の目、および口のそれぞれのスコアは、５５点、６４点、および８３点に設定される。
【００８３】
すなわち、予め設定された器官特徴点は、各器官の輪郭を形成するものであるので、全ての器官特徴点が抽出されれば、正確に器官の輪郭が再現されるものと考えられる。したがって、器官スコア付与部２０４により付与されるスコアは、予め設定された器官特徴点数に対する抽出点数の割合であることから、顔画像内における各器官の信頼度であるといえる。したがって、スコアが高いほど、各器官が正しく認識され易いと考えることができるため、類似度計算処理には適していると考えることができる。
【００８４】
ステップＳ６において、角度推定部２０５は、顔画像の正対位置からの撮像角度を推定し、推定した撮像角度と、各器官のスコアの情報を適正判定部２０６に供給する。ここでいう、正対とは、被写体である顔画像に対して正面に対向する位置をいう。すなわち、角度推定部２０５は、予め撮像角度毎に、各器官の器官特徴点の抽出点数とその分布を記憶しているため、実際に抽出された器官特徴点の抽出点数とその分布から撮像角度を推定する。例えば、図１４の左部の顔画像の場合、左側の目の輪郭を構成する器官特徴点のうち、左側の５点が抽出できない状態になっており、右目が全て抽出されており、さらに、口については、左側の２点が抽出できない状態となっている。角度推定部２０５は、これらの器官特徴点の抽出点数とその分布から撮像角度を推定する。
【００８５】
ステップＳ７において、適正判定部２０６は、供給されてきた撮像角度と各器官のスコアの情報に基づいて、抽出された顔画像が、後述する類似度計算処理に適した顔画像であるか否かを判定する。より詳細には、適正判定部２０６は、供給されてきた顔画像の撮像角度が、水平方向、および垂直方向に対して顔画像の人物の顔の正対方向近傍の所定の角度内であって、かつ、器官毎のスコアの合計スコアが所定の閾値よりも高いとき、適正であるものとみなす。
【００８６】
ここでは、類似度計算処理に適した顔画像であるか否かは、以下の条件に基づいて判定される。すなわち、器官毎のスコアが高くても、顔画像の撮像角度がある程度正対に近い所定の角度内ではない場合、各器官の形状の画像内での歪が大きいと考えられるため、推定された撮像角度が正対方向近傍の所定の角度内であることが第１の条件とされている。ただし、上述したように、正対方向近傍の角度からずれるほど、器官特徴点の抽出点数は減る傾向にあると考えることができるので、正対方向近傍の角度内でなければ、スコアも低い可能性が高いと考えられる。
【００８７】
さらに、撮像角度が正対方向近傍の所定の角度内であって、かつ、器官毎のスコアの合計が所定の閾値よりも高いことが第２の条件とされる。すなわち、髪の毛などにより器官の輪郭が隠れたりすると、撮像角度が正対方向の近傍の所定の角度内であっても、各器官の情報の信頼度が低いことになる。
【００８８】
そこで、これらの２つの条件を満たす顔画像について、適正判定部２０６は、類似度計算処理に対して適正な顔画像であると判定する。
【００８９】
例えば、図１４の左部の顔画像の場合、器官毎のスコアは、左右の目と口のスコアの合計である２３８（＝５５＋１００＋８３）となる。また、図１４の中央部の場合、２３３（＝１００＋１００＋３３）となる。さらに、図１４の右部の場合、１５２（＝５５＋６４＋３３）となる。したがって、撮像角度が正対方向近傍の所定の角度内であった場合、スコアの閾値が２００であるとき、図１４の左部、および中央部の顔画像は、適正な顔画像であるものとみなされるが、図１４の右部においては、適正な顔画像とみなされないことになる。尚、当然のことながら、閾値の設定は、以上のスコアに限るものではなく、他の閾値であってもよいものである。
【００９０】
ステップＳ７において、抽出された顔画像が類似度計算処理に対して適正であると判定された場合、ステップＳ８において、適正判定部２０６は、送信部２０７を制御し、顔画像抽出部２０２より供給されてきた顔画像を生体情報認識装置２１に送信する。この際、送信部２０７は、カメラ３８、入口カメラ４０、または店内カメラ４１のそれぞれを識別するカメラIDや、送信時刻の情報などの情報を顔画像に付加して生体情報認識装置２１に送信する。
【００９１】
一方、ステップＳ７において、抽出された顔画像が類似度計算処理に対して適正なものではないと判定された場合、ステップＳ８の処理がスキップされて、処理は、ステップＳ１に戻る。
【００９２】
すなわち、画像処理ユニット３９においては、抽出された顔画像のうち、撮像角度が正対方向近傍の所定の角度の範囲内であって、スコアの合計が所定の閾値よりも大きい顔画像のみが、生体情報認識装置２１に供給される。結果として、後述する類似度計算処理における精度を向上させることが可能になると共に、精度の低い顔画像を用いた類似度計算処理をする必要がなくなるので、処理負荷が低減し、処理を高速化することが可能となる。
【００９３】
尚、以上においては、器官抽出として目、および口のみを用いた例について説明してきたが、当然のことながら、他の器官、すなわち、鼻、および耳といった情報を用いるようにしてもよいものである。しかしながら、顔画像を用いた類似度計算処理においては、目、および口の信頼度が他の器官よりも類似度計算処理の精度に対しての影響が大きいため、目、および口以外の器官を用いる場合、目、および口のスコアに対する重みを大きくするようにしてもよい。また、類似度計算処理の精度に対しての影響が大きいため、逆に、計算による負荷を低減させるために、目、および口のみを用いるようにしてもよい。
【００９４】
ステップＳ２１において、生体情報認識装置２１の顔画像取得部２２１は、顔画像を取得する。ステップＳ２２において、顔画像取得部２２１は、供給された顔画像のうち、いずれか未処理の１つを抽出し、特徴量抽出部２３１に供給する。
【００９５】
ステップＳ２３において、照合部２２２の特徴量抽出部２３１は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部２３２に供給する。
【００９６】
ステップＳ２４において、類似度計算部２３２は、類似度計算処理を実行する。
【００９７】
ここで、図１５のフローチャートを参照して、類似度計算処理について説明する。
【００９８】
ステップＳ５１において、類似度計算部２３２は、生体情報DB２２の登録遊技者DB２５２に登録されている顔画像のうち、未処理の１つの登録遊技者の顔画像を抽出し、処理対象に設定する。
【００９９】
ステップＳ５２において、類似度計算部２３２は、処理対象として設定した登録遊技者DB２５２に登録されている顔画像より、前記特徴量抽出部２３１より供給されてきた特徴量と同様の特徴量を抽出する。
【０１００】
ステップＳ５３において、類似度計算部２３２は、特徴量抽出部２３１より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、生体情報DB２２に登録されている登録遊技者DB２５２に登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、ステップＳ５４において、計算結果である登録遊技者DB２５２に登録されている顔画像との類似度を類似度判定部２３３に供給し、バッファ２３３ａに登録させる。
【０１０１】
ステップＳ５５において、類似度計算部２３２は、生体情報DB２２の登録遊技者DB２５２に未処理の登録遊技者の顔画像が存在するか否かを判定し、未処理の登録遊技者の顔画像が存在する場合、処理は、ステップＳ５１に戻る。すなわち、登録遊技者DB２５２の全ての登録遊技者の顔画像との類似度が計算されるまで、ステップＳ５１乃至Ｓ５５の処理が繰り返される。そして、ステップＳ５５において、登録遊技者DB２５２に未処理の登録遊技者の顔画像が存在しないと判定された場合、類似度計算処理は終了する。
【０１０２】
ここで、図１３のフローチャートの説明に戻る。
【０１０３】
ステップＳ２５において、類似度判定部２３３は、バッファ２３３ａに登録されている類似度の計算結果に基づいて順位を求め、登録遊技者DB２５２に登録されている顔画像のうちの上位３位までの顔画像と類似度の情報を抽出する。そして、類似度判定部２３３は、上位３位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部２３３は、最も類似している登録遊技者（生体情報DB２２に登録されている顔画像のうち、顔画像取得部２２１により取得された顔画像と最も類似している登録遊技者：ここでは、類似度の最も高い登録遊技者）の類似度を所定の閾値と比較する。
【０１０４】
尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。
【０１０５】
ステップＳ２５において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップＳ２６において、類似度判定部２３３は、類似度計算部２３２より供給されてきた上位３位の顔画像が登録遊技者の顔画像の候補であることを示す報知画面３０１を表示部２３を制御して表示させる。
【０１０６】
このとき、例えば、図１６で示されるような報知画面３０１が、表示部２３に表示される。
【０１０７】
図１６の報知画面３０１においては、カメラ画像表示欄３１１が、左中段に設けられており、画像処理ユニット３９より供給されてきた顔画像が表示される。また、その右側には、類似度の高い順に第１候補乃至第３候補までの類似度の上位３位の登録遊技者の顔画像表示欄３１２−１乃至３１２−３が設けられている。さらに、各登録遊技者の顔画像表示欄３１２−１乃至３１２−３の下には、類似度レベル表示欄３１３−１乃至３１３−３が設けられており、類似度のレベルが表示されている。図１５において、黒で示される領域の横方向の長さが類似度の大きさを示している。
【０１０８】
また、類似度レベル表示欄３１３−１乃至３１３−３の下には、対応する位置に、ID表示欄３１４−１乃至３１４−３が設けられており、各顔画像の生体情報DB２２における顔画像を識別するIDが表示されており、図１５において、左から「０００５１」、「０００１８」および「０００２２」と表示されている。
【０１０９】
さらに、ID表示欄３１４−１乃至３１４−３の下には、それぞれ対応する位置に、それぞれの候補を選択されるときに操作部２２５により操作される確定ボタン３１８−１乃至３１８−３が設けられている。
【０１１０】
また、カメラ画像表示欄３１１の下には、その顔画像を撮像したカメラを識別するカメラID表示欄３１５が設けられており、図１５においては、カメラ３８、入口カメラ４０、および店内カメラ４１を識別するためのカメラIDとして「カメラ０２」が表示されている。さらに、カメラID表示欄３１５の下には、時刻表示欄３１６が設けられており、入口カメラ４０により撮像された時刻が表示されており、図１５においては、「１８：２３：３２」と表示されており、カメラ画像表示欄３１１の顔画像が１８時２３分３２秒に撮像されていることが示されている。
【０１１１】
さらに、時刻表示欄３１６の下には、別人ボタン３１７が設けられており、カメラ画像の顔画像が、第１候補乃至第３候補となる登録遊技者の顔画像表示欄３１２−１乃至３１２−３のいずれにも似ていないとみなされたとき、操作部２２５により操作される。
【０１１２】
ステップＳ２７において、通信部２２４は、操作部２２５が操作されて、候補となる顔画像の何れかが選択されたか否か、すなわち、例えば、図１５で示される報知画面３０１が表示部２３に表示されていた場合、確定ボタン３１８−１乃至３１８−３のいずれかが操作部２２５により操作されたか否かを判定する。
【０１１３】
ステップＳ２７において、例えば、確定ボタン３１８−１が操作された場合、第１候補となる顔画像が選択されたとみなされ、ステップＳ２８において、通信部２２４は、選択された第１候補となる顔画像および入口カメラ４０により撮像されたカメラ画像を携帯端末２０に送信し、該当する登録遊技者が来店したことを通知する。
【０１１４】
ステップＳ４１において、通信部２７１は、登録遊技者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップＳ４１において、ステップＳ２８の処理により、登録遊技者の来店が通知されてきた場合、ステップＳ４２において、通信部２７１は、生体情報認識装置２１より送信されてきた登録遊技者の来店の通知を受信すると供に、その通知に併せて送信されてくる登録遊技者の顔画像および入口カメラ４０により撮像されたカメラ画像を画像処理部２７２に供給する。画像処理部２７２は、選択された顔画像および入口カメラ４０により撮像されたカメラ画像の情報を、表示部２７３に表示可能な形式の情報に加工して、ステップＳ４３において、表示部２７３に表示させる。
【０１１５】
以上の処理により、遊技店１内の係員は、携帯端末２０を所持していると、登録遊技者の来店を認識することが可能となる。
【０１１６】
また、ステップＳ２９において、顔画像取得部２２１は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップＳ２２に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップＳ２２乃至Ｓ３０の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップＳ２１に戻る。
【０１１７】
一方、ステップＳ２７において、いずれの候補となる顔画像も選択されず、例えば、図１５の報知画面３０１における別人ボタン３１７が押下された場合、または、ステップＳ２５において、類似度計算部２３２より供給されてくる上位３位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きくない場合、すなわち、最も類似している登録遊技者の顔画像であっても類似度が、所定の閾値未満である場合、ステップＳ３０において、類似度判定部２３３は、画像処理ユニット３９より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。未登録遊技者データベース登録部２２３は、供給されてきた顔画像を生体管理情報バス６及び公衆通信回線網８を介して生体情報管理データベース３にアクセスし、未登録遊技者DB２５１に登録する。
【０１１８】
以上の処理により、生体情報認識装置２１により画像処理ユニット３９より供給されてきた顔画像が、生体情報DB２２に登録されていないとみなされると、生体情報管理センタ２により管理されている生体情報管理DB３内の未登録遊技者DB２５１に未登録遊技者の顔画像として登録される。
【０１１９】
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２０】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１２１】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１２２】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１２４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【符号の説明】
【０１２５】
１，１−１乃至１−ｎ 遊技店
２ 生体情報管理センタ
３ 生体情報管理データベース
４ 第３者遊技店管理センタ
５ 第３者遊技店管理データベース
６ 生体情報管理バス
７ 第３者遊技店管理バス
８，９ 公衆通信回線網
２１ 生体情報認識装置
２２ 生体情報データベース
２４ 遊技店管理装置
２６ 遊技台管理データベース
２７ 媒体貸出管理装置
２９ 媒体貸出管理データベース
３０ 遊技店管理情報バス
３１ 生体情報バス
３３ 精算機
３４ 貸出機
３５ 計数機
３６，３６−１乃至３６−ｍ 遊技台
３７，３７−１乃至３７−ｍ 遊技台周辺端末
３８，３８−１乃至３８−ｍ カメラ
３９，３９−１乃至３９−（ｍ＋ｐ＋ｑ） 画像処理ユニット
４０，４０−１乃至４０−ｐ 入口カメラ
４１，４１−１乃至４１−ｑ 店内カメラ
【特許請求の範囲】
【請求項１】
顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、
前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、
前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、
前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、
前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段と
を含む監視装置。
【請求項２】
前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段と、
前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する
請求項１に記載の監視装置。
【請求項３】
前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含み、
前記照合手段は、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合する
請求項１に記載の監視装置。
【請求項４】
前記器官抽出手段は、前記顔画像より前記顔を構成する各器官の部位のうち、左右の目、および口を抽出する
請求項１に記載の監視装置。
【請求項５】
前記信頼度算出手段は、前記器官抽出手段により抽出された器官のうち、左右の目、および口の信頼度の重みを大きくして信頼度を算出する
請求項１に記載の監視装置。
【請求項６】
顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、
前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、
前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、
前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、
前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段と
を含む監視装置における監視方法であって、
前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、
前記撮像手段における、画像を撮像する撮像ステップと、
前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、
前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、
前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、
前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、
前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、
前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、
前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、
前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップと
を含む監視方法。
【請求項７】
顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、
前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、
前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、
前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、
前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段と
を含む監視装置を制御するコンピュータに、
前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、
前記撮像手段における、画像を撮像する撮像ステップと、
前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、
前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、
前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、
前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、
前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、
前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、
前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、
前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップと
を含む処理を実行させるプログラム。
【請求項１】
顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、
前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、
前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、
前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、
前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段と
を含む監視装置。
【請求項２】
前記信頼度算出手段により算出された信頼度に基づいて、顔画像の撮像装置に対する角度を推定する角度推定手段と、
前記角度推定手段により推定された前記顔画像の撮像装置に対する角度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する
請求項１に記載の監視装置。
【請求項３】
前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含み、
前記照合手段は、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像との特徴量を用いて類似度を計算し、前記取得手段により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された登録者の顔画像とを照合する
請求項１に記載の監視装置。
【請求項４】
前記器官抽出手段は、前記顔画像より前記顔を構成する各器官の部位のうち、左右の目、および口を抽出する
請求項１に記載の監視装置。
【請求項５】
前記信頼度算出手段は、前記器官抽出手段により抽出された器官のうち、左右の目、および口の信頼度の重みを大きくして信頼度を算出する
請求項１に記載の監視装置。
【請求項６】
顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、
前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、
前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、
前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、
前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段と
を含む監視装置における監視方法であって、
前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、
前記撮像手段における、画像を撮像する撮像ステップと、
前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、
前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、
前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、
前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、
前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、
前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、
前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、
前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップと
を含む監視方法。
【請求項７】
顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出手段と、
前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出手段と、
前記器官抽出手段により抽出された器官の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定手段と、
前記適正判定手段により適正であると判定された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と、
前記類似度判定手段により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知手段と
を含む監視装置を制御するコンピュータに、
前記蓄積手段における、前記顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積ステップと、
前記撮像手段における、画像を撮像する撮像ステップと、
前記顔画像抽出手段における、前記撮像ステップの処理により撮像された画像より、前記照合対象者の顔画像を抽出する顔画像抽出ステップと、
前記器官抽出手段における、前記照合対象者の顔画像より、顔を構成する各器官の部位を抽出する器官抽出ステップと、
前記信頼度算出手段における、前記器官抽出ステップの処理により抽出された器官の信頼度を算出する信頼度算出ステップと、
前記適正判定手段における、前記信頼度算出ステップの処理により算出された信頼度に基づいて、前記照合対象者の顔画像として適正であるか否かを判定する適正判定ステップと、
前記取得手段における、前記適正判定ステップの処理により適正であると判定された照合対象者の顔画像を取得する取得ステップと、
前記照合手段における、前記取得ステップの処理により取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、
前記類似度判定手段における、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと、
前記通知手段における、前記類似度判定ステップの処理により前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する通知ステップと
を含む処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１６５０８３（Ｐ２０１１−１６５０８３Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２９３８８（Ｐ２０１０−２９３８８）
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]