画像処理装置および方法、並びにプログラム
【課題】顔画像による照合精度を向上させる。
【解決手段】顔画像抽出部２０２は、入口カメラ４０により撮像された画像より、照合対象者の顔画像を抽出する。方向制御部２４１、ズーム制御部２４２、および露光制御部２４３は、撮像される画像を変化させるように入口カメラ４０を制御する。適正顔画像判定部２０３は、照合対象者の顔画像が、照合に適しているか否かを判定する。適正顔画像判定部２０３により照合に適していないと判定された場合、顔画像に基づいて、調整部４３は、入口カメラ４０を調整するように方向制御部２４１、ズーム制御部２４２、および露光制御部２４３により入口カメラ４０を制御させる。本発明は、監視システムに適用することができる。
【解決手段】顔画像抽出部２０２は、入口カメラ４０により撮像された画像より、照合対象者の顔画像を抽出する。方向制御部２４１、ズーム制御部２４２、および露光制御部２４３は、撮像される画像を変化させるように入口カメラ４０を制御する。適正顔画像判定部２０３は、照合対象者の顔画像が、照合に適しているか否かを判定する。適正顔画像判定部２０３により照合に適していないと判定された場合、顔画像に基づいて、調整部４３は、入口カメラ４０を調整するように方向制御部２４１、ズーム制御部２４２、および露光制御部２４３により入口カメラ４０を制御させる。本発明は、監視システムに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、人物の顔画像に基づいて、人物を監視する際、監視に使用される顔画像を最適な状態で撮像できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
カメラにて取得した画像データから人物の顔画像を取得した後に予め登録された人物の顔画像と取得した顔画像との各々の特徴量を抽出して照合する顔画像を用いた人物照合技術が提案されている（特許文献１参照）。
【０００３】
【特許文献１】特開２００５−２２７９５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記の提案においては固定されたカメラにて取得した顔画像のトラッキング画像（同一の顔画像を追跡して連続的に得られる顔画像）を取得し、取得した顔画像の中から照合に適した顔画像を抽出して照合処理が実行されている。
【０００５】
しかしながら、通常は撮像対象の人物がカメラに近づいてくるようにカメラを設置するが、カメラの設置条件によっては、撮像対象の人物が固定カメラの撮像範囲のうち最も距離の離れた位置にて撮像範囲内を通過してしまう場合がある。このような場合、取得される顔画像は撮像した画像に対して小さな画像となってしまい、取得された顔画像全体の画素数も少なくなってしまう為、取得された顔画像に基づいて抽出される特徴量も画素数に比例して少なくなってしまう。
【０００６】
このため、特徴量が少なくなることにより、照合情報が少なくなり、結果として、照合精度を低下させてしまう恐れがあった。
【０００７】
また、デジタル画像処理において、取得される顔画像の大きさを拡大しても、取得時の画素数自体を増やすことができないため、単純な拡大処理では、不鮮明な顔画像となってしまい、結果として、照合に不適切な顔画像となり、照合精度を低下させてしまう恐れがあった。
【０００８】
さらに、画像処理により顔画像をシャープにした場合（先鋭化した場合）、オリジナルの顔画像と異なる特徴量により顔画像が照合されてしまう恐れがあり、やはり顔画像による照合精度を低下させてしまう恐れがあった。
【０００９】
また、取得された画像の輝度が低く、例えば、均一の場合、特徴量が十分に得られず、やはり、顔画像による照合精度を低下させてしまう恐れがあった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、顔画像による照合に最適な顔画像が撮像できるようにすることで、顔画像による照合精度を向上させるものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の画像処理装置は、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段と、撮像される画像を変化させるように前記撮像手段を制御する制御手段と、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段と、前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整手段とを含む。
【００１２】
前記調整手段には、前記撮像手段の撮像方向を調整する撮像方向調整手段と、前記撮像手段のズーム倍率を調整するズーム調整手段と、前記撮像手段の露光量を調整する露光手段とを含ませるようにすることができる。
【００１３】
前記判定手段には、前記照合対象者の顔画像の解像度が所定の画素数より大きいか否か、または、前記照合対象者の顔画像の輝度が所定の範囲内にあるか否かに基づいて、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定させるようにすることができる。
【００１４】
前記蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段と、前記照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定し、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する照合手段とをさらに含む
【００１５】
本発明の一側面の画像処理方法は、画像を撮像する撮像手段を含む画像処理装置の画像処理方法であって、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整ステップとを含む。
【００１６】
本発明の一側面のプログラムは、画像を撮像する撮像手段を含む画像処理装置を制御するコンピュータに、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整ステップとを含む処理を画像処理装置を制御するコンピュータに実行させる。
【００１７】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像が撮像され、撮像された画像より、照合対象者の顔画像が抽出され、撮像される画像が変化されるように制御され、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かが判定され、照合に適していないと判定された場合、前記顔画像に基づいて、撮像される顔画像が、撮像される顔画像と、蓄積された蓄積者の顔画像との照合に適するように、制御されるように調整される。
【００１８】
本発明の一側面の画像処理装置における、画像を撮像する撮像手段は、例えば、入口カメラであり、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、顔画像抽出部であり、撮像される画像を変化させるように前記撮像手段を制御する制御手段とは、例えば、方向制御部、ズーム制御部、および露光制御部であり、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段とは、適正顔画像判定部であり、前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により制御させる調整手段とは、例えば、調整部である。
【００１９】
すなわち、入口カメラにより撮像された照合対象者の顔画像が、蓄積された蓄積者の顔画像との照合に適していないと判定された場合、調整部により入口カメラの方向制御部、ズーム制御部、および露光制御部が調整されて、入口カメラの撮像方向、ズーム倍率、および露光が制御されることにより、入口カメラにより撮像される顔画像が調整されて、照合対象者の顔画像が、蓄積された蓄積者の顔画像との照合に適した顔画像とされるので、顔画像による照合精度を向上させることが可能となる。
【発明の効果】
【００２０】
本発明によれば、撮像される顔画像が照合に適した顔画像とすることが可能となり、顔画像による照合精度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
すなわち、本発明の一側面の画像処理装置は、画像を撮像する撮像手段（例えば、図２の入口カメラ４０）と、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段（例えば、図３の顔画像抽出部２０２）と、撮像される画像を変化させるように前記撮像手段を制御する制御手段（例えば、図３の方向制御部２４１、ズーム制御部２４２、および露光制御部２４３）と、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段（例えば、図３の適正顔画像判定部２０３）と、前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により制御させる調整手段（例えば、図３の調整部４３）とを含む。
【００２３】
前記調整手段（例えば、図３の調整部４３）には、前記撮像手段の撮像方向を調整する撮像方向調整手段（例えば、図３の方向移動部２２１）と、前記撮像手段のズーム倍率を調整するズーム調整手段（例えば、図３のズーム調整部２２２）と、前記撮像手段の露光量を調整する露光手段（例えば、図３の露光調整部２２３）とを含ませるようにすることができる。
【００２４】
前記判定手段（例えば、図３の適正顔画像判定部２０３）には、前記照合対象者の顔画像の解像度が所定の画素数より大きいか否か、または、前記照合対象者の顔画像の輝度が所定の範囲内にあるか否かに基づいて、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定させるようにすることができる。
【００２５】
前記蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段（例えば、図１の生体情報データベース２２）と、前記照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定し、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する照合手段（例えば、図１の生体情報認識装置２１）とをさらに含む
【００２６】
本発明の一側面の画像処理方法は、画像を撮像する撮像手段を含む画像処理装置の画像処理方法であって、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップ（例えば、図４のステップＳ３）と、撮像される画像を変化させるように前記撮像手段を制御する制御ステップ（例えば、図４のステップＳ３４）と、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップ（例えば、図４のステップＳ６，Ｓ９）と、前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により制御させる調整ステップ（例えば、図４のステップＳ３３，Ｓ３６，Ｓ３９）とを含む。
【００２７】
図１は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。
【００２８】
遊技店１−１乃至１−ｎは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店１−１乃至１−ｎは、系列店舗または生体情報管理センタや第３者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店１−１乃至１−ｎは、生体情報管理バス６および第３者遊技店管理バス７により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網８，９を介して、相互にそれぞれ生体情報、および第３者遊技店管理情報を授受している。尚、以降において、遊技店１−１乃至１−ｎのそれぞれについて、特に区別する必要がない場合、単に、遊技店１と称するものとし、その他の構成についても同様に称するものとする。
【００２９】
生体情報管理バス６は、主に各遊技店１の生体情報認識装置２１により管理される生体情報を流通させるための伝送路として機能する。また、第３者遊技店管理バス７は、主に各遊技店１の媒体貸出管理装置２７により管理される媒体貸出管理情報を流通させるための伝送路として機能する。
【００３０】
生体情報管理センタ２は、生体情報管理センタを管理運営する事業者により使用されるサーバであり、生体情報管理データベース（以降、DBとも称するものとする）３で管理されている登録遊技者DBを各遊技店１により生成される未登録遊技者DBに基づいて更新すると供に、更新した最新の登録遊技者DBを各遊技店１の生体情報認識装置２１に対して配信する。
【００３１】
第３者遊技店管理センタ４は、第３者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第３者遊技店管理データベース（DB）５で管理されている媒体貸出管理情報からなるDBを各遊技店１より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店１の媒体貸出管理装置２７に対して配信する。
【００３２】
生体情報認識装置２１は、カメラ３８−１乃至３８−ｍ、入口カメラ４０−１乃至４０−ｐ、および店内カメラ４１−１乃至４１−ｑにより撮像された画像より画像処理ユニット３９−１乃至３９−ｍ、および４２−１乃至４２−（ｐ＋ｑ）により抽出されて、生体情報バス３１を介して供給されてくる顔画像の情報に基づいて、生体情報データベース２２に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末２０に通知したり、CRT（Cathode Ray Tube）またはLCD（Liquid Crystal Display）などからなる表示部２３に表示する。また、生体情報データベース２２に予め登録されている顔画像と照合し、一致しない場合、生体情報認識装置２１は、生体情報管理データベース３にアクセスし、未登録者として未登録遊技者DBに登録する。
【００３３】
画像処理ユニット３９と画像処理ユニット４２とは、基本的に同様の機能を備えるが、画像処理ユニット４２−１乃至４２−（ｐ＋ｑ）は、さらに、それぞれ調整部４３−１乃至４３−（ｐ＋ｑ）と共に連携して、入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑの撮像方向、ズーム、および露光を調整する。
【００３４】
遊技店管理装置２４は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス３０を介して遊技台３６−１乃至３６−ｍの動作を監視している。遊技店管理装置２４は、遊技台３６の出玉もしくはメダルの払い出しの情報、各遊技台３６−１乃至３６−ｍの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をCRTやLCDなどからなる表示部２５に表示する。遊技店管理装置２４は、計数機３５、遊技台３６−１乃至３６−ｍ、および遊技台周辺端末３７−１乃至３７−ｍのそれぞれより供給されてくる情報を、それぞれを識別する識別情報（例えば、遊技台番号）とを対応付けて遊技台管理データベース２６により管理する。
【００３５】
媒体貸出管理装置２７は、精算販売機３３、および貸出機３４からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース２９を用いて管理すると供に、媒体貸出管理データベース２９に登録されている媒体貸出管理情報を更新する際、その更新情報を、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４に送る。さらに、媒体貸出管理装置２７は、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース２９に蓄積させる。
【００３６】
貸出機３４は、遊技者が遊技台３６で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機３４は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置２７に供給する。これにより、媒体貸出管理装置２７は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース２９に登録する。
【００３７】
精算販売機３３は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機３３は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置２７に供給する。また、精算販売機３３は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機３３は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置２７に供給する。
【００３８】
計数機３５は、遊技者が遊技台３６により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。
【００３９】
遊技台３６−１乃至３６−ｍは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。
【００４０】
遊技台周辺端末３７−１乃至３７−ｍは、各遊技台３６−１乃至３６−ｍに対応して設けられている、いわゆる台間機であり、台間球貸機（原理的には、貸出機３４と同様のもの）などが設けられている。また、遊技台周辺端末３７は、遊技台３６を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報（遊技台番号）と共に生体情報認識装置２１に送信する。尚、図１においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ３８−１乃至３８−ｍが設けられている例が示されている。
【００４１】
入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、遊技店１の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット４２−１乃至４２−（ｐ＋ｑ）に供給する。
【００４２】
入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、例えば、図２で示されるように設定される。図２は、遊技店１内の入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑの設置例を示している。
【００４３】
すなわち、図２においては、出入口１１２−１乃至１１２−３が設けられており、入口カメラ４０−１乃至４０−３は、それぞれの出入口１１２より入店してくる遊技者を撮像する。また、店内カメラ４１−１乃至４１−１０は、島設備１１１−１乃至１１１−５のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備１１１は、両面に遊技台３６が設置されており、すなわち、図中の島設備１１１を上下方向に挟むように設置されている。入口カメラ４０および店内カメラ４１は、いずれにおいてもパンチルトズーム機能を備えているため、図２で示されるように、店内カメラ４１−１乃至４１−１０が配置されることにより、遊技台３６で遊技する全遊技者が、店内カメラ４１−１乃至４１−１０のいずれかで撮像できる。
【００４４】
さらに、店内カメラ４１−ａは、貸出機３４の前に設けられており、店内カメラ４１−ｂは、精算販売機３３の前に設けられており、店内カメラ４１−ｃは、計数機３５の前に設けられており、それぞれ、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者を撮像することができる。
【００４５】
すなわち、図２で示されるように、遊技店１においては、来店する遊技者、遊技台３６で遊技する遊技者、並びに、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者といった、遊技店１において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、入口カメラ４０、および店内カメラ４１が設置されている。
【００４６】
次に、図３を参照して、入口カメラ４０（または店内カメラ４１）、画像処理ユニット４２、および調整部４３の構成例について説明する。
【００４７】
入口カメラ４０（または店内カメラ４１）は、方向制御部２４１、ズーム制御部２４２、および露光制御部２４３を備えており、方向制御部２４１により制御された方向に対して、ズーム制御部２４２に対して設定されたズーム倍率、すなわち拡大縮小倍率で、かつ、露光制御部２４３により制御された絞り（露光量）で、図２で設置された状態で撮像可能な範囲を撮像し、撮像した画像を画像処理ユニット４２に供給する。方向制御部２４１は、調整部４３より供給されてくる調整量に基づいて、入口カメラ４０（または店内カメラ４１）の撮像方向（パン・チルト）を制御する。ズーム制御部２４２は、調整部４３より供給されてくる調整量に基づいて、入口カメラ４０（または店内カメラ４１）のズーム倍率を制御する。露光制御部２４２は、調整部４３より供給されてくる調整量に基づいて、入口カメラ４０（または店内カメラ４１）の絞り（露光量）を制御する。
【００４８】
画像処理ユニット４２の画像取得部２０１は、入口カメラ４０（または店内カメラ４１）により撮像された画像を取得し、顔画像抽出部２０２に供給する。顔画像抽出部２０２は、画像取得部２０１より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して、適正顔画像判定部２０３に供給する。
【００４９】
適正顔画像判定部２０３は、サイズ判定部２０３ａおよび輝度判定部２０３ｂを備えており、顔画像抽出部２０２より供給されてくる顔画像を追従すると共に、サイズ判定部２０３ａを制御して、顔画像のサイズが照合に適正であるか否か、および、輝度判定部２０３ｂを制御して、顔画像の輝度情報から顔画像が照合に適正であるか否かを判定する。そして、適正顔画像判定部２０３は、顔画像が照合に適正であると判定した場合、顔画像を送信部２０５に供給し、顔画像が照合に適正ではないと判定した場合、顔画像を調整データ生成部２０４に供給する。
【００５０】
調整データ生成部２０４は、エリア計算部２０４ａおよび露光調整レベル計算部２０４ｂを備えており、照合に適していない顔画像に基づいて、顔画像のサイズが照合に適正でない場合、エリア計算部２０４ａを制御して、顔画像を取得する上で必要とされる、入口カメラ４０（または店内カメラ４１）で撮像される画像内のエリアを計算し、調整データとして調整部４３に供給すると共に、この調整データに基づいた入口カメラ４０（または店内カメラ４１）の調整を指示する。また、調整データ生成部２０４は、照合に適していない顔画像に基づいて、顔画像の輝度が照合に適正でない場合、露光調整レベル計算部２０４ｂを制御して、顔画像の輝度が照合に対して適正になるように、入口カメラ４０（または店内カメラ４１）の撮影で必要とされる露光量を計算し、調整データとして調整部４３に供給すると共に、この調整データに基づいた入口カメラ４０（または店内カメラ４１）の調整を指示する。
【００５１】
送信部２０５は、照合に適していると判定された顔画像を生体情報認識装置２１に送信する。これにより生体情報認識装置２１は、照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、生体情報データベース２２に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が蓄積者の顔画像であるか否かを判定し、照合対象者の顔画像が蓄積者の顔画像であると判定された場合、照合対象者が蓄積者であることを通知する。
【００５２】
調整部４３は、方向移動部２２１、ズーム調整部２２２、および露光調整部２２３を備えており、画像処理ユニット４２より供給されてくる調整データに基づいて、入口カメラ４０（または、店内カメラ４１）の調整量を計算し、入口カメラ４０（または、店内カメラ４１）に供給する。より詳細には、調整部４３は、画像処理ユニット４２より供給されてくる調整データとして、撮像される画像内のエリアの情報が供給された場合、方向移動部２２１を制御して、指定されたエリアに正対するように入口カメラ４０（または店内カメラ４１）の撮像方向を移動させるための移動調整量を、移動量計算部２２１ａを利用して計算させ、計算結果となる移動調整量を入口カメラ４０（または店内カメラ４１）に供給する。
【００５３】
また、調整部４３は、画像処理ユニット４２より供給されてくる調整データとして、撮像される画像内のエリアの情報が供給された場合、ズーム調整部２２２を制御して、入口カメラ４０（または店内カメラ４１）のズーム倍率を調整する調整量を、ズーム調整量計算部２２２ａを利用して計算させ、計算結果となるズーム調整量を入口カメラ４０（または店内カメラ４１）に供給する。
【００５４】
さらに、調整部４３は、画像処理ユニット４２より供給されてくる調整データとして、露光量の情報が供給された場合、露光調整部２２３を制御して、今現在の絞りから必要とされる露光量を受光できるレベルの絞りにするまでの絞りの調整量を計算させて、入口カメラ４０（または店内カメラ４１）に供給させる。
【００５５】
次に、図４のフローチャートを参照して、登録遊技者来店監視処理について説明する。
【００５６】
ステップＳ１において、入口カメラ４０は、撮像している画像の情報、または、出入口の扉からの信号に基づいて、出入口の扉が開いたか否かを判定する。ステップＳ１において、扉が開いていないと判定された場合、処理は、ステップＳ５に進む。
【００５７】
一方、ステップＳ１において、扉が開いたと判定された場合、ステップＳ２において、入口カメラ４０は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット４２に供給する。画像処理ユニット４２の画像取得部２０１は、供給された画像を取得し、顔画像抽出部２０２に供給する。
【００５８】
ステップＳ３において、顔画像抽出部２０２は、供給された画像より遊技者の顔画像を抽出し、適正顔画像判定部２０３に供給する。より具体的には、顔画像抽出部２０２は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、画像内の顔画像を抽出した位置を特定する特定位置情報を付して適正顔画像判定部２０３に供給する。ここで、特定位置情報とは、顔画像を抽出した画像内の位置を特定する座標情報であり、例えば、抽出した顔画像の中心位置における、撮像された画像内の座標などである。以降、抽出された全ての顔画像には、顔画像の中心位置における、撮像された画像内の座標を表す特定位置情報が含まれていることを前提として説明を進める。
【００５９】
ステップＳ４において、適正顔画像判定部２０３は、顔画像抽出部２０２より顔画像が供給されてきたか否かを判定する。例えば、顔画像が供給されてきていない場合、ステップＳ５において、適正画像判定部２０３は、調整データ生成部２０４に対して、入口カメラ４０（または店内カメラ４１）の撮像方向、ズーム倍率、および露光量を初期値に設定するように指示する信号を調整データ生成部２０４に供給する。そして、調整データ生成部２０４は、入口カメラ４０（または店内カメラ４１）の撮像方向、ズーム倍率、および露光量を初期値に設定するように指示する指示を調整部４３に供給すると共に、処理は、ステップＳ１に戻る。
【００６０】
一方、ステップＳ４において、顔画像が供給されてきた場合、ステップＳ６において、適正顔画像判定部２０３は、サイズ判定部２０３ａを制御して、供給されてきた顔画像のサイズが、照合に適したサイズであるか否か、すなわち、所定のサイズ以上であるか否かを判定させる。ステップＳ６において、例えば、顔画像のサイズが照合に適正なサイズではないと判定された場合、ステップＳ７において、適正顔画像判定部２０３は、適正なサイズではないという判定結果と共に、供給されてきた顔画像を調整データ生成部２０４に供給する。調整データ生成部２０４は、エリア計算部２０４ａを制御して、入口カメラ４０により撮像された画像のうち顔画像が抽出されたエリアを特定する、例えば、画像上の座標などの情報を計算させる。
【００６１】
ステップＳ８において、調整データ生成部２０４は、エリア計算部２０４ａにより計算された、入口カメラ４０により撮像される画像内のうち、撮像対象とすべき顔画像の存在するエリアを特定する情報を調整データとして調整部４３に供給し、撮像エリアの変更を指示して、処理は、ステップＳ１に戻る。
【００６２】
より詳細には、顔画像は、入口カメラ４０により撮像される画像Ｐが、例えば、図５で示されるような場合、画像Ｐ内で照合者の顔画像は、移動することにより、顔画像Ｆ１乃至Ｆ７の順序で、例えば、動くことにより顔画像の位置がずれる。そこで、エリア計算部２０４ａは、顔画像抽出部２０２により供給されてくる顔画像に含まれる特定位置情報に基づいて、順次顔画像の位置を追跡しながら記憶し（トラッキングし）、照合に適さない顔画像として顔画像Ｆ６が供給されてきた場合、次のタイミングで顔画像が移動しうる位置を、例えば、図５中の顔画像Ｆ７として予測し、顔画像Ｆ７の存在する画像上のエリアを特定する情報、すなわち、特定位置情報が顔画像の中心位置の画像上の座標の情報であれば、顔画像Ｆ７の特定位置情報に基づく座標を中心とした顔画像のサイズにより特定されるエリアの情報を調整データとして計算する。
【００６３】
尚、当然のことながら、エリア計算部２０４ａにより計算されるエリアの情報は、必ずしも上述したトラッキングにより予測される位置の顔画像のエリアである必要はなく、例えば、単に、抽出された顔画像の特定位置情報とサイズに基づいて、特定されるエリアの情報であってもよいものである。
【００６４】
また、ステップＳ６において、顔画像のサイズが、照合に適したサイズであると判定された場合、ステップＳ９において、適正顔画像判定部２０３は、輝度判定部２０３ｂを制御して、供給されてきた顔画像が照合に適した輝度であるか否か、すなわち、所定の範囲内の輝度の画像であるか否かを判定させる。ステップＳ９において、例えば、顔画像の輝度が照合に適正な輝度ではないと判定された場合、ステップＳ１０において、適正顔画像判定部２０３は、適正な輝度ではないという判定結果と共に、供給されてきた顔画像を調整データ生成部２０４に供給する。調整データ生成部２０４は、露光調整レベル計算部２０４ｂを制御して、入口カメラ４０により撮像された画像の輝度に基づいて、必要とされる露光量を計算させる。
【００６５】
ステップＳ１１において、調整データ生成部２０４は、エリア計算部２０４ａにより計算された、入口カメラ４０で必要とされる露光量の情報を調整データとして調整部４３に供給し、露光量の調整を指示して、処理は、ステップＳ１に戻る。
【００６６】
さらに、ステップＳ９において、供給されてきた顔画像が照合に適した輝度であると判定された場合、すなわち、供給されてきた顔画像が照合に適した顔画像であると判定された場合ステップＳ１２において、適正顔画像判定部２０３は、顔画像抽出部２０２より供給されてきた顔画像を送信部２０５に供給する。そして、送信部２０５は、適正顔画像判定部２０３より供給されてきた顔画像を生体情報認識装置２１に送信する。この際、送信部２０５は、入口カメラ４０、または店内カメラ４１のそれぞれを識別するカメラIDや、送信時刻の情報などの情報を顔画像に付加して生体情報認識装置２１に送信する。
【００６７】
ステップＳ３１において、調整部４３は、画像処理ユニット４２より初期値に設定する指示が供給されてたか否かを判定する。ステップＳ３１において、例えば、上述した、ステップＳ５の処理により、撮像方向、ズーム調整量、および露光量の調整量を初期値に設定するように指示されてきた場合、ステップＳ３２において、調整部４３は、今現在が初期値で設定されているか、すなわち、今現在の撮像方向、ズーム調整量、および露光量の各調整量が０であるか否かを判定する。
【００６８】
ステップＳ３２において、例えば、初期値が設定されていた場合、処理は、ステップＳ３１に戻る。
【００６９】
一方、ステップＳ３２において、例えば、初期値が設定されていなかった場合、ステップＳ３３において、調整部４３は、方向移動部２２１、ズーム調整部２２２、および露光調整部２２３を制御して、それぞれの調整量を０に設定して、入口カメラ４０に供給する。
【００７０】
ステップＳ３４において、入口カメラ４０は、供給されてきた調整量に基づいて、方向制御部２４１、ズーム制御部２４２、および露光制御部２４３を制御して、撮像方向、ズーム倍率、および露光量を制御させる。すなわち、今の場合、調整量が０の初期値の状態であるので、入口カメラ４０は、供給されてきた調整量に基づいて、方向制御部２４１、ズーム制御部２４２、および露光制御部２４３を制御して、撮像方向、ズーム倍率、および露光量のいずれも初期値となるように制御させる。
【００７１】
一方、ステップＳ３１において、初期値に設定する指示ではないと判定された場合、ステップＳ３５において、調整部４３は、撮像エリアの変更指示が供給されてきたか否かを判定する。ステップＳ３５において、例えば、上述したステップＳ８の処理により、入口カメラ４０により撮像される画像上の撮像エリアの情報が調整データとして供給されてきて、撮像エリアの変更が指示された場合、ステップＳ３６において、調整部４３は、方向移動部２２１およびズーム調整部２２２に対して調整データである撮像エリアの情報を供給する。これに応じて、方向移動部２２１は、移動量計算部２２１ａを制御し、今現在の入口カメラ４０の調整量に対して、撮像エリアを撮像するために必要とされる撮像方向の移動量を、調整量として計算させる。また、ズーム調整部２２２は、ズーム調整量計算部２２２ａを制御し、今現在の入口カメラ４０の調整量に対して、撮像エリアを撮像するために必要とされるズーム倍率の変化量を、調整量として計算させる。
【００７２】
ステップＳ３７において、調整部４３は、方向移動部２２１により計算された調整量、および、ズーム調整部２２２により計算された調整量がそれぞれ調整可能な範囲であるか否かを判定し、調整可能な範囲であると判定された場合、処理は、ステップＳ３４に進む。すなわち、この場合、ステップＳ３４において、入口カメラ４０は、供給されてきた調整量に基づいて、方向制御部２４１、およびズーム制御部２４２を制御して、撮像方向を調整量に応じて移動させるように制御させ、ズーム倍率を調整量に応じて変更させるように制御させる。
【００７３】
また、ステップＳ３７において、いずれも調整可能な範囲ではないと判定された場合、すなわち、既に調整済みで、パン・チルトの可動範囲を越えていたり、既に、最大ズームになっており、それ以上の調整が不能であるような場合、処理は、ステップＳ３１に戻る。すなわち、これ以上の調整は不能であるので、調整を行うことなく、処理は、ステップＳ３１に戻ることになる。
【００７４】
一方、ステップＳ３５において、撮像エリアを指示する情報ではない場合、ステップＳ３８において、調整部４３は、露光量を調整する指示が供給されてきたか否かを判定する。ステップＳ３５において、例えば、露光量を調整する指示ではない場合、処理は、ステップＳ３１に戻る。また、ステップＳ３５において、例えば、上述したステップＳ１１の処理により、露光量の調整が指示された場合、ステップＳ３９において、調整部４３は、露光調整部２２３を制御して、今現在の露光量に対する絞りの変化量を調整量として計算する。
【００７５】
ステップＳ４０において、調整部４３は、計算された露光量に対する絞りの調整量が調整可能なものであるか否かを判定する。すなわち、例えば、今現在の絞りが全開の状態となっており、これ以上の露光量を調整することができないような場合に、さらなる露光量を増やすような調整量であるか否かが判定される。ステップＳ４０において、調整が可能なレベルとであると判定された場合、処理は、ステップＳ３４に進む。すなわち、この場合、入口カメラ４０は、供給されてきた調整量に基づいて、露光制御部２４３を制御して、露光量の調整量に応じて絞りの開度を制御させる。
【００７６】
また、ステップＳ４０において、調整が不能であると判定された場合、処理は、ステップＳ３１に戻る。
【００７７】
尚、以上においては、入口カメラ４０により撮像される画像に基づいた処理について説明してきたが、当然のことながら店内カメラ４１であっても同様の処理が可能である。ただし、店内カメラ４１の場合、扉の開放を検出することがないため、ステップＳ１の処理は、所定時間が経過するとき、処理は、ステップＳ２に進み、それ以外のとき、ステップＳ５の処理に進むことになる。
【００７８】
以上の処理により、店舗の扉は開いているが顔画像が抽出できない状態の場合、ステップＳ５の処理により、画像処理ユニット４２から調整部４３に対して初期値となるように入口カメラ４０を調整する指示が供給される。これに応じて、ステップＳ３３において、調整部４３は、初期値に戻すような調整量を計算し、ステップＳ３４において、計算された調整量で、入口カメラ４０が、撮像方向、ズーム倍率、および露光量を制御する。
【００７９】
また、店舗の扉が開いて顔画像が撮像された場合、ステップＳ６において、照合処理に適した顔画像のサイズであるか否かが判定されて、適していないサイズであるとき、ステップＳ７，Ｓ８の処理により、入口カメラ４０により撮像される画像内における顔画像が存在する撮像エリアが計算されて、画像処理ユニット４２から調整部４３に対して撮像エリアの変更が指示される。これに応じて、ステップＳ３６において、顔画像が存在する撮像エリアの情報に基づいて、調整部４３が、供給されてきた撮像エリアを撮像するのに最適な撮像方向のパン・チルトの移動量、および、ズーム倍率の変化量をそれぞれ調整量として計算し、ステップＳ３４において、計算された調整量で、入口カメラ４０が、撮像方向、およびズーム倍率を制御する。
【００８０】
さらに、ステップＳ９において、照合処理に適した顔画像の輝度であるか否かが判定されて、適していない輝度であるとき、ステップＳ１０，Ｓ１１の処理により、照合に適した顔画像に必要な露光量が計算されて、画像処理ユニット４２から調整部４３に対して必要な露光量の調整が指示される。これに応じて、ステップＳ３９において、顔画像の最適な露光量の情報に基づいて、調整部４３が、供給されてきた露光量に最適な絞りの開度の変化量を調整量として計算し、ステップＳ３４において、計算された調整量で、入口カメラ４０が、絞りの開度を制御して露光量を制御する。
【００８１】
そして、ステップＳ９において、照合に適した輝度であると判定された場合、ステップＳ１２の処理により、撮像された顔画像が生体情報認識装置２１に供給されて、顔画像による照合が行われる。
【００８２】
結果として、生体情報認識装置２１には、顔画像のうち、画像サイズ、および輝度において、照合に適した顔画像のみが画像処理ユニット４２より供給されることになるので、顔画像より特徴量を正確に抽出することが可能となり、顔画像による照合精度を向上させることが可能となる。
【００８３】
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８４】
図６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【００８５】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【００８６】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８７】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【００８８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【００８９】
【図１】本発明を適用した監視システムの一実施の形態の構成を示す図である。
【図２】図１の入口カメラおよび店内カメラの設置例を示す図である。
【図３】図１の入口カメラ、店内カメラ、画像処理ユニット、および調整部の構成例を説明する図である。
【図４】登録遊技者来店監視処理を説明するフローチャートである。
【図５】撮像エリアの調整データの生成方法を説明する図である。
【図６】パーソナルコンピュータの構成例を説明する図である。
【符号の説明】
【００９０】
１，１−１乃至１−ｎ 遊技店
２ 生体情報管理センタ
３ 生体情報管理データベース
４ 第３者遊技店管理センタ
５ 第３者遊技店管理データベース
６ 生体情報管理バス
７ 第３者遊技店管理バス
８，９ 公衆通信回線網
２１ 生体情報認識装置
２２ 生体情報データベース
２４ 遊技店管理装置
２６ 遊技台管理データベース
２７ 媒体貸出管理装置
２９ 媒体貸出管理データベース
３０ 遊技店管理情報バス
３１ 生体情報バス
３３ 精算販売機
３４ 貸出機
３５ 計数機
３６，３６−１乃至３６−ｍ 遊技台
３７，３７−１乃至３７−ｍ 遊技台周辺端末
３８，３８−１乃至３８−ｍ カメラ
３９，３９−１乃至３９−ｍ 画像処理ユニット
４０，４０−１乃至４０−ｐ 入口カメラ
４１，４１−１乃至４１−ｐ 店内カメラ
４２，４２−１乃至４２−ｑ 画像処理ユニット
４３，４３−１乃至４３−（ｐ＋ｑ） 調整部
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、人物の顔画像に基づいて、人物を監視する際、監視に使用される顔画像を最適な状態で撮像できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
カメラにて取得した画像データから人物の顔画像を取得した後に予め登録された人物の顔画像と取得した顔画像との各々の特徴量を抽出して照合する顔画像を用いた人物照合技術が提案されている（特許文献１参照）。
【０００３】
【特許文献１】特開２００５−２２７９５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記の提案においては固定されたカメラにて取得した顔画像のトラッキング画像（同一の顔画像を追跡して連続的に得られる顔画像）を取得し、取得した顔画像の中から照合に適した顔画像を抽出して照合処理が実行されている。
【０００５】
しかしながら、通常は撮像対象の人物がカメラに近づいてくるようにカメラを設置するが、カメラの設置条件によっては、撮像対象の人物が固定カメラの撮像範囲のうち最も距離の離れた位置にて撮像範囲内を通過してしまう場合がある。このような場合、取得される顔画像は撮像した画像に対して小さな画像となってしまい、取得された顔画像全体の画素数も少なくなってしまう為、取得された顔画像に基づいて抽出される特徴量も画素数に比例して少なくなってしまう。
【０００６】
このため、特徴量が少なくなることにより、照合情報が少なくなり、結果として、照合精度を低下させてしまう恐れがあった。
【０００７】
また、デジタル画像処理において、取得される顔画像の大きさを拡大しても、取得時の画素数自体を増やすことができないため、単純な拡大処理では、不鮮明な顔画像となってしまい、結果として、照合に不適切な顔画像となり、照合精度を低下させてしまう恐れがあった。
【０００８】
さらに、画像処理により顔画像をシャープにした場合（先鋭化した場合）、オリジナルの顔画像と異なる特徴量により顔画像が照合されてしまう恐れがあり、やはり顔画像による照合精度を低下させてしまう恐れがあった。
【０００９】
また、取得された画像の輝度が低く、例えば、均一の場合、特徴量が十分に得られず、やはり、顔画像による照合精度を低下させてしまう恐れがあった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、顔画像による照合に最適な顔画像が撮像できるようにすることで、顔画像による照合精度を向上させるものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の画像処理装置は、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段と、撮像される画像を変化させるように前記撮像手段を制御する制御手段と、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段と、前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整手段とを含む。
【００１２】
前記調整手段には、前記撮像手段の撮像方向を調整する撮像方向調整手段と、前記撮像手段のズーム倍率を調整するズーム調整手段と、前記撮像手段の露光量を調整する露光手段とを含ませるようにすることができる。
【００１３】
前記判定手段には、前記照合対象者の顔画像の解像度が所定の画素数より大きいか否か、または、前記照合対象者の顔画像の輝度が所定の範囲内にあるか否かに基づいて、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定させるようにすることができる。
【００１４】
前記蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段と、前記照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定し、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する照合手段とをさらに含む
【００１５】
本発明の一側面の画像処理方法は、画像を撮像する撮像手段を含む画像処理装置の画像処理方法であって、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整ステップとを含む。
【００１６】
本発明の一側面のプログラムは、画像を撮像する撮像手段を含む画像処理装置を制御するコンピュータに、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整ステップとを含む処理を画像処理装置を制御するコンピュータに実行させる。
【００１７】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像が撮像され、撮像された画像より、照合対象者の顔画像が抽出され、撮像される画像が変化されるように制御され、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かが判定され、照合に適していないと判定された場合、前記顔画像に基づいて、撮像される顔画像が、撮像される顔画像と、蓄積された蓄積者の顔画像との照合に適するように、制御されるように調整される。
【００１８】
本発明の一側面の画像処理装置における、画像を撮像する撮像手段は、例えば、入口カメラであり、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、顔画像抽出部であり、撮像される画像を変化させるように前記撮像手段を制御する制御手段とは、例えば、方向制御部、ズーム制御部、および露光制御部であり、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段とは、適正顔画像判定部であり、前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により制御させる調整手段とは、例えば、調整部である。
【００１９】
すなわち、入口カメラにより撮像された照合対象者の顔画像が、蓄積された蓄積者の顔画像との照合に適していないと判定された場合、調整部により入口カメラの方向制御部、ズーム制御部、および露光制御部が調整されて、入口カメラの撮像方向、ズーム倍率、および露光が制御されることにより、入口カメラにより撮像される顔画像が調整されて、照合対象者の顔画像が、蓄積された蓄積者の顔画像との照合に適した顔画像とされるので、顔画像による照合精度を向上させることが可能となる。
【発明の効果】
【００２０】
本発明によれば、撮像される顔画像が照合に適した顔画像とすることが可能となり、顔画像による照合精度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
すなわち、本発明の一側面の画像処理装置は、画像を撮像する撮像手段（例えば、図２の入口カメラ４０）と、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段（例えば、図３の顔画像抽出部２０２）と、撮像される画像を変化させるように前記撮像手段を制御する制御手段（例えば、図３の方向制御部２４１、ズーム制御部２４２、および露光制御部２４３）と、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段（例えば、図３の適正顔画像判定部２０３）と、前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により制御させる調整手段（例えば、図３の調整部４３）とを含む。
【００２３】
前記調整手段（例えば、図３の調整部４３）には、前記撮像手段の撮像方向を調整する撮像方向調整手段（例えば、図３の方向移動部２２１）と、前記撮像手段のズーム倍率を調整するズーム調整手段（例えば、図３のズーム調整部２２２）と、前記撮像手段の露光量を調整する露光手段（例えば、図３の露光調整部２２３）とを含ませるようにすることができる。
【００２４】
前記判定手段（例えば、図３の適正顔画像判定部２０３）には、前記照合対象者の顔画像の解像度が所定の画素数より大きいか否か、または、前記照合対象者の顔画像の輝度が所定の範囲内にあるか否かに基づいて、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定させるようにすることができる。
【００２５】
前記蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段（例えば、図１の生体情報データベース２２）と、前記照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定し、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する照合手段（例えば、図１の生体情報認識装置２１）とをさらに含む
【００２６】
本発明の一側面の画像処理方法は、画像を撮像する撮像手段を含む画像処理装置の画像処理方法であって、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップ（例えば、図４のステップＳ３）と、撮像される画像を変化させるように前記撮像手段を制御する制御ステップ（例えば、図４のステップＳ３４）と、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップ（例えば、図４のステップＳ６，Ｓ９）と、前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により制御させる調整ステップ（例えば、図４のステップＳ３３，Ｓ３６，Ｓ３９）とを含む。
【００２７】
図１は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。
【００２８】
遊技店１−１乃至１−ｎは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店１−１乃至１−ｎは、系列店舗または生体情報管理センタや第３者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店１−１乃至１−ｎは、生体情報管理バス６および第３者遊技店管理バス７により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網８，９を介して、相互にそれぞれ生体情報、および第３者遊技店管理情報を授受している。尚、以降において、遊技店１−１乃至１−ｎのそれぞれについて、特に区別する必要がない場合、単に、遊技店１と称するものとし、その他の構成についても同様に称するものとする。
【００２９】
生体情報管理バス６は、主に各遊技店１の生体情報認識装置２１により管理される生体情報を流通させるための伝送路として機能する。また、第３者遊技店管理バス７は、主に各遊技店１の媒体貸出管理装置２７により管理される媒体貸出管理情報を流通させるための伝送路として機能する。
【００３０】
生体情報管理センタ２は、生体情報管理センタを管理運営する事業者により使用されるサーバであり、生体情報管理データベース（以降、DBとも称するものとする）３で管理されている登録遊技者DBを各遊技店１により生成される未登録遊技者DBに基づいて更新すると供に、更新した最新の登録遊技者DBを各遊技店１の生体情報認識装置２１に対して配信する。
【００３１】
第３者遊技店管理センタ４は、第３者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第３者遊技店管理データベース（DB）５で管理されている媒体貸出管理情報からなるDBを各遊技店１より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店１の媒体貸出管理装置２７に対して配信する。
【００３２】
生体情報認識装置２１は、カメラ３８−１乃至３８−ｍ、入口カメラ４０−１乃至４０−ｐ、および店内カメラ４１−１乃至４１−ｑにより撮像された画像より画像処理ユニット３９−１乃至３９−ｍ、および４２−１乃至４２−（ｐ＋ｑ）により抽出されて、生体情報バス３１を介して供給されてくる顔画像の情報に基づいて、生体情報データベース２２に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末２０に通知したり、CRT（Cathode Ray Tube）またはLCD（Liquid Crystal Display）などからなる表示部２３に表示する。また、生体情報データベース２２に予め登録されている顔画像と照合し、一致しない場合、生体情報認識装置２１は、生体情報管理データベース３にアクセスし、未登録者として未登録遊技者DBに登録する。
【００３３】
画像処理ユニット３９と画像処理ユニット４２とは、基本的に同様の機能を備えるが、画像処理ユニット４２−１乃至４２−（ｐ＋ｑ）は、さらに、それぞれ調整部４３−１乃至４３−（ｐ＋ｑ）と共に連携して、入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑの撮像方向、ズーム、および露光を調整する。
【００３４】
遊技店管理装置２４は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス３０を介して遊技台３６−１乃至３６−ｍの動作を監視している。遊技店管理装置２４は、遊技台３６の出玉もしくはメダルの払い出しの情報、各遊技台３６−１乃至３６−ｍの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をCRTやLCDなどからなる表示部２５に表示する。遊技店管理装置２４は、計数機３５、遊技台３６−１乃至３６−ｍ、および遊技台周辺端末３７−１乃至３７−ｍのそれぞれより供給されてくる情報を、それぞれを識別する識別情報（例えば、遊技台番号）とを対応付けて遊技台管理データベース２６により管理する。
【００３５】
媒体貸出管理装置２７は、精算販売機３３、および貸出機３４からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース２９を用いて管理すると供に、媒体貸出管理データベース２９に登録されている媒体貸出管理情報を更新する際、その更新情報を、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４に送る。さらに、媒体貸出管理装置２７は、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース２９に蓄積させる。
【００３６】
貸出機３４は、遊技者が遊技台３６で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機３４は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置２７に供給する。これにより、媒体貸出管理装置２７は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース２９に登録する。
【００３７】
精算販売機３３は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機３３は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置２７に供給する。また、精算販売機３３は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機３３は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置２７に供給する。
【００３８】
計数機３５は、遊技者が遊技台３６により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。
【００３９】
遊技台３６−１乃至３６−ｍは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。
【００４０】
遊技台周辺端末３７−１乃至３７−ｍは、各遊技台３６−１乃至３６−ｍに対応して設けられている、いわゆる台間機であり、台間球貸機（原理的には、貸出機３４と同様のもの）などが設けられている。また、遊技台周辺端末３７は、遊技台３６を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報（遊技台番号）と共に生体情報認識装置２１に送信する。尚、図１においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ３８−１乃至３８−ｍが設けられている例が示されている。
【００４１】
入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、遊技店１の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット４２−１乃至４２−（ｐ＋ｑ）に供給する。
【００４２】
入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、例えば、図２で示されるように設定される。図２は、遊技店１内の入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑの設置例を示している。
【００４３】
すなわち、図２においては、出入口１１２−１乃至１１２−３が設けられており、入口カメラ４０−１乃至４０−３は、それぞれの出入口１１２より入店してくる遊技者を撮像する。また、店内カメラ４１−１乃至４１−１０は、島設備１１１−１乃至１１１−５のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備１１１は、両面に遊技台３６が設置されており、すなわち、図中の島設備１１１を上下方向に挟むように設置されている。入口カメラ４０および店内カメラ４１は、いずれにおいてもパンチルトズーム機能を備えているため、図２で示されるように、店内カメラ４１−１乃至４１−１０が配置されることにより、遊技台３６で遊技する全遊技者が、店内カメラ４１−１乃至４１−１０のいずれかで撮像できる。
【００４４】
さらに、店内カメラ４１−ａは、貸出機３４の前に設けられており、店内カメラ４１−ｂは、精算販売機３３の前に設けられており、店内カメラ４１−ｃは、計数機３５の前に設けられており、それぞれ、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者を撮像することができる。
【００４５】
すなわち、図２で示されるように、遊技店１においては、来店する遊技者、遊技台３６で遊技する遊技者、並びに、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者といった、遊技店１において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、入口カメラ４０、および店内カメラ４１が設置されている。
【００４６】
次に、図３を参照して、入口カメラ４０（または店内カメラ４１）、画像処理ユニット４２、および調整部４３の構成例について説明する。
【００４７】
入口カメラ４０（または店内カメラ４１）は、方向制御部２４１、ズーム制御部２４２、および露光制御部２４３を備えており、方向制御部２４１により制御された方向に対して、ズーム制御部２４２に対して設定されたズーム倍率、すなわち拡大縮小倍率で、かつ、露光制御部２４３により制御された絞り（露光量）で、図２で設置された状態で撮像可能な範囲を撮像し、撮像した画像を画像処理ユニット４２に供給する。方向制御部２４１は、調整部４３より供給されてくる調整量に基づいて、入口カメラ４０（または店内カメラ４１）の撮像方向（パン・チルト）を制御する。ズーム制御部２４２は、調整部４３より供給されてくる調整量に基づいて、入口カメラ４０（または店内カメラ４１）のズーム倍率を制御する。露光制御部２４２は、調整部４３より供給されてくる調整量に基づいて、入口カメラ４０（または店内カメラ４１）の絞り（露光量）を制御する。
【００４８】
画像処理ユニット４２の画像取得部２０１は、入口カメラ４０（または店内カメラ４１）により撮像された画像を取得し、顔画像抽出部２０２に供給する。顔画像抽出部２０２は、画像取得部２０１より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して、適正顔画像判定部２０３に供給する。
【００４９】
適正顔画像判定部２０３は、サイズ判定部２０３ａおよび輝度判定部２０３ｂを備えており、顔画像抽出部２０２より供給されてくる顔画像を追従すると共に、サイズ判定部２０３ａを制御して、顔画像のサイズが照合に適正であるか否か、および、輝度判定部２０３ｂを制御して、顔画像の輝度情報から顔画像が照合に適正であるか否かを判定する。そして、適正顔画像判定部２０３は、顔画像が照合に適正であると判定した場合、顔画像を送信部２０５に供給し、顔画像が照合に適正ではないと判定した場合、顔画像を調整データ生成部２０４に供給する。
【００５０】
調整データ生成部２０４は、エリア計算部２０４ａおよび露光調整レベル計算部２０４ｂを備えており、照合に適していない顔画像に基づいて、顔画像のサイズが照合に適正でない場合、エリア計算部２０４ａを制御して、顔画像を取得する上で必要とされる、入口カメラ４０（または店内カメラ４１）で撮像される画像内のエリアを計算し、調整データとして調整部４３に供給すると共に、この調整データに基づいた入口カメラ４０（または店内カメラ４１）の調整を指示する。また、調整データ生成部２０４は、照合に適していない顔画像に基づいて、顔画像の輝度が照合に適正でない場合、露光調整レベル計算部２０４ｂを制御して、顔画像の輝度が照合に対して適正になるように、入口カメラ４０（または店内カメラ４１）の撮影で必要とされる露光量を計算し、調整データとして調整部４３に供給すると共に、この調整データに基づいた入口カメラ４０（または店内カメラ４１）の調整を指示する。
【００５１】
送信部２０５は、照合に適していると判定された顔画像を生体情報認識装置２１に送信する。これにより生体情報認識装置２１は、照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、生体情報データベース２２に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が蓄積者の顔画像であるか否かを判定し、照合対象者の顔画像が蓄積者の顔画像であると判定された場合、照合対象者が蓄積者であることを通知する。
【００５２】
調整部４３は、方向移動部２２１、ズーム調整部２２２、および露光調整部２２３を備えており、画像処理ユニット４２より供給されてくる調整データに基づいて、入口カメラ４０（または、店内カメラ４１）の調整量を計算し、入口カメラ４０（または、店内カメラ４１）に供給する。より詳細には、調整部４３は、画像処理ユニット４２より供給されてくる調整データとして、撮像される画像内のエリアの情報が供給された場合、方向移動部２２１を制御して、指定されたエリアに正対するように入口カメラ４０（または店内カメラ４１）の撮像方向を移動させるための移動調整量を、移動量計算部２２１ａを利用して計算させ、計算結果となる移動調整量を入口カメラ４０（または店内カメラ４１）に供給する。
【００５３】
また、調整部４３は、画像処理ユニット４２より供給されてくる調整データとして、撮像される画像内のエリアの情報が供給された場合、ズーム調整部２２２を制御して、入口カメラ４０（または店内カメラ４１）のズーム倍率を調整する調整量を、ズーム調整量計算部２２２ａを利用して計算させ、計算結果となるズーム調整量を入口カメラ４０（または店内カメラ４１）に供給する。
【００５４】
さらに、調整部４３は、画像処理ユニット４２より供給されてくる調整データとして、露光量の情報が供給された場合、露光調整部２２３を制御して、今現在の絞りから必要とされる露光量を受光できるレベルの絞りにするまでの絞りの調整量を計算させて、入口カメラ４０（または店内カメラ４１）に供給させる。
【００５５】
次に、図４のフローチャートを参照して、登録遊技者来店監視処理について説明する。
【００５６】
ステップＳ１において、入口カメラ４０は、撮像している画像の情報、または、出入口の扉からの信号に基づいて、出入口の扉が開いたか否かを判定する。ステップＳ１において、扉が開いていないと判定された場合、処理は、ステップＳ５に進む。
【００５７】
一方、ステップＳ１において、扉が開いたと判定された場合、ステップＳ２において、入口カメラ４０は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット４２に供給する。画像処理ユニット４２の画像取得部２０１は、供給された画像を取得し、顔画像抽出部２０２に供給する。
【００５８】
ステップＳ３において、顔画像抽出部２０２は、供給された画像より遊技者の顔画像を抽出し、適正顔画像判定部２０３に供給する。より具体的には、顔画像抽出部２０２は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、画像内の顔画像を抽出した位置を特定する特定位置情報を付して適正顔画像判定部２０３に供給する。ここで、特定位置情報とは、顔画像を抽出した画像内の位置を特定する座標情報であり、例えば、抽出した顔画像の中心位置における、撮像された画像内の座標などである。以降、抽出された全ての顔画像には、顔画像の中心位置における、撮像された画像内の座標を表す特定位置情報が含まれていることを前提として説明を進める。
【００５９】
ステップＳ４において、適正顔画像判定部２０３は、顔画像抽出部２０２より顔画像が供給されてきたか否かを判定する。例えば、顔画像が供給されてきていない場合、ステップＳ５において、適正画像判定部２０３は、調整データ生成部２０４に対して、入口カメラ４０（または店内カメラ４１）の撮像方向、ズーム倍率、および露光量を初期値に設定するように指示する信号を調整データ生成部２０４に供給する。そして、調整データ生成部２０４は、入口カメラ４０（または店内カメラ４１）の撮像方向、ズーム倍率、および露光量を初期値に設定するように指示する指示を調整部４３に供給すると共に、処理は、ステップＳ１に戻る。
【００６０】
一方、ステップＳ４において、顔画像が供給されてきた場合、ステップＳ６において、適正顔画像判定部２０３は、サイズ判定部２０３ａを制御して、供給されてきた顔画像のサイズが、照合に適したサイズであるか否か、すなわち、所定のサイズ以上であるか否かを判定させる。ステップＳ６において、例えば、顔画像のサイズが照合に適正なサイズではないと判定された場合、ステップＳ７において、適正顔画像判定部２０３は、適正なサイズではないという判定結果と共に、供給されてきた顔画像を調整データ生成部２０４に供給する。調整データ生成部２０４は、エリア計算部２０４ａを制御して、入口カメラ４０により撮像された画像のうち顔画像が抽出されたエリアを特定する、例えば、画像上の座標などの情報を計算させる。
【００６１】
ステップＳ８において、調整データ生成部２０４は、エリア計算部２０４ａにより計算された、入口カメラ４０により撮像される画像内のうち、撮像対象とすべき顔画像の存在するエリアを特定する情報を調整データとして調整部４３に供給し、撮像エリアの変更を指示して、処理は、ステップＳ１に戻る。
【００６２】
より詳細には、顔画像は、入口カメラ４０により撮像される画像Ｐが、例えば、図５で示されるような場合、画像Ｐ内で照合者の顔画像は、移動することにより、顔画像Ｆ１乃至Ｆ７の順序で、例えば、動くことにより顔画像の位置がずれる。そこで、エリア計算部２０４ａは、顔画像抽出部２０２により供給されてくる顔画像に含まれる特定位置情報に基づいて、順次顔画像の位置を追跡しながら記憶し（トラッキングし）、照合に適さない顔画像として顔画像Ｆ６が供給されてきた場合、次のタイミングで顔画像が移動しうる位置を、例えば、図５中の顔画像Ｆ７として予測し、顔画像Ｆ７の存在する画像上のエリアを特定する情報、すなわち、特定位置情報が顔画像の中心位置の画像上の座標の情報であれば、顔画像Ｆ７の特定位置情報に基づく座標を中心とした顔画像のサイズにより特定されるエリアの情報を調整データとして計算する。
【００６３】
尚、当然のことながら、エリア計算部２０４ａにより計算されるエリアの情報は、必ずしも上述したトラッキングにより予測される位置の顔画像のエリアである必要はなく、例えば、単に、抽出された顔画像の特定位置情報とサイズに基づいて、特定されるエリアの情報であってもよいものである。
【００６４】
また、ステップＳ６において、顔画像のサイズが、照合に適したサイズであると判定された場合、ステップＳ９において、適正顔画像判定部２０３は、輝度判定部２０３ｂを制御して、供給されてきた顔画像が照合に適した輝度であるか否か、すなわち、所定の範囲内の輝度の画像であるか否かを判定させる。ステップＳ９において、例えば、顔画像の輝度が照合に適正な輝度ではないと判定された場合、ステップＳ１０において、適正顔画像判定部２０３は、適正な輝度ではないという判定結果と共に、供給されてきた顔画像を調整データ生成部２０４に供給する。調整データ生成部２０４は、露光調整レベル計算部２０４ｂを制御して、入口カメラ４０により撮像された画像の輝度に基づいて、必要とされる露光量を計算させる。
【００６５】
ステップＳ１１において、調整データ生成部２０４は、エリア計算部２０４ａにより計算された、入口カメラ４０で必要とされる露光量の情報を調整データとして調整部４３に供給し、露光量の調整を指示して、処理は、ステップＳ１に戻る。
【００６６】
さらに、ステップＳ９において、供給されてきた顔画像が照合に適した輝度であると判定された場合、すなわち、供給されてきた顔画像が照合に適した顔画像であると判定された場合ステップＳ１２において、適正顔画像判定部２０３は、顔画像抽出部２０２より供給されてきた顔画像を送信部２０５に供給する。そして、送信部２０５は、適正顔画像判定部２０３より供給されてきた顔画像を生体情報認識装置２１に送信する。この際、送信部２０５は、入口カメラ４０、または店内カメラ４１のそれぞれを識別するカメラIDや、送信時刻の情報などの情報を顔画像に付加して生体情報認識装置２１に送信する。
【００６７】
ステップＳ３１において、調整部４３は、画像処理ユニット４２より初期値に設定する指示が供給されてたか否かを判定する。ステップＳ３１において、例えば、上述した、ステップＳ５の処理により、撮像方向、ズーム調整量、および露光量の調整量を初期値に設定するように指示されてきた場合、ステップＳ３２において、調整部４３は、今現在が初期値で設定されているか、すなわち、今現在の撮像方向、ズーム調整量、および露光量の各調整量が０であるか否かを判定する。
【００６８】
ステップＳ３２において、例えば、初期値が設定されていた場合、処理は、ステップＳ３１に戻る。
【００６９】
一方、ステップＳ３２において、例えば、初期値が設定されていなかった場合、ステップＳ３３において、調整部４３は、方向移動部２２１、ズーム調整部２２２、および露光調整部２２３を制御して、それぞれの調整量を０に設定して、入口カメラ４０に供給する。
【００７０】
ステップＳ３４において、入口カメラ４０は、供給されてきた調整量に基づいて、方向制御部２４１、ズーム制御部２４２、および露光制御部２４３を制御して、撮像方向、ズーム倍率、および露光量を制御させる。すなわち、今の場合、調整量が０の初期値の状態であるので、入口カメラ４０は、供給されてきた調整量に基づいて、方向制御部２４１、ズーム制御部２４２、および露光制御部２４３を制御して、撮像方向、ズーム倍率、および露光量のいずれも初期値となるように制御させる。
【００７１】
一方、ステップＳ３１において、初期値に設定する指示ではないと判定された場合、ステップＳ３５において、調整部４３は、撮像エリアの変更指示が供給されてきたか否かを判定する。ステップＳ３５において、例えば、上述したステップＳ８の処理により、入口カメラ４０により撮像される画像上の撮像エリアの情報が調整データとして供給されてきて、撮像エリアの変更が指示された場合、ステップＳ３６において、調整部４３は、方向移動部２２１およびズーム調整部２２２に対して調整データである撮像エリアの情報を供給する。これに応じて、方向移動部２２１は、移動量計算部２２１ａを制御し、今現在の入口カメラ４０の調整量に対して、撮像エリアを撮像するために必要とされる撮像方向の移動量を、調整量として計算させる。また、ズーム調整部２２２は、ズーム調整量計算部２２２ａを制御し、今現在の入口カメラ４０の調整量に対して、撮像エリアを撮像するために必要とされるズーム倍率の変化量を、調整量として計算させる。
【００７２】
ステップＳ３７において、調整部４３は、方向移動部２２１により計算された調整量、および、ズーム調整部２２２により計算された調整量がそれぞれ調整可能な範囲であるか否かを判定し、調整可能な範囲であると判定された場合、処理は、ステップＳ３４に進む。すなわち、この場合、ステップＳ３４において、入口カメラ４０は、供給されてきた調整量に基づいて、方向制御部２４１、およびズーム制御部２４２を制御して、撮像方向を調整量に応じて移動させるように制御させ、ズーム倍率を調整量に応じて変更させるように制御させる。
【００７３】
また、ステップＳ３７において、いずれも調整可能な範囲ではないと判定された場合、すなわち、既に調整済みで、パン・チルトの可動範囲を越えていたり、既に、最大ズームになっており、それ以上の調整が不能であるような場合、処理は、ステップＳ３１に戻る。すなわち、これ以上の調整は不能であるので、調整を行うことなく、処理は、ステップＳ３１に戻ることになる。
【００７４】
一方、ステップＳ３５において、撮像エリアを指示する情報ではない場合、ステップＳ３８において、調整部４３は、露光量を調整する指示が供給されてきたか否かを判定する。ステップＳ３５において、例えば、露光量を調整する指示ではない場合、処理は、ステップＳ３１に戻る。また、ステップＳ３５において、例えば、上述したステップＳ１１の処理により、露光量の調整が指示された場合、ステップＳ３９において、調整部４３は、露光調整部２２３を制御して、今現在の露光量に対する絞りの変化量を調整量として計算する。
【００７５】
ステップＳ４０において、調整部４３は、計算された露光量に対する絞りの調整量が調整可能なものであるか否かを判定する。すなわち、例えば、今現在の絞りが全開の状態となっており、これ以上の露光量を調整することができないような場合に、さらなる露光量を増やすような調整量であるか否かが判定される。ステップＳ４０において、調整が可能なレベルとであると判定された場合、処理は、ステップＳ３４に進む。すなわち、この場合、入口カメラ４０は、供給されてきた調整量に基づいて、露光制御部２４３を制御して、露光量の調整量に応じて絞りの開度を制御させる。
【００７６】
また、ステップＳ４０において、調整が不能であると判定された場合、処理は、ステップＳ３１に戻る。
【００７７】
尚、以上においては、入口カメラ４０により撮像される画像に基づいた処理について説明してきたが、当然のことながら店内カメラ４１であっても同様の処理が可能である。ただし、店内カメラ４１の場合、扉の開放を検出することがないため、ステップＳ１の処理は、所定時間が経過するとき、処理は、ステップＳ２に進み、それ以外のとき、ステップＳ５の処理に進むことになる。
【００７８】
以上の処理により、店舗の扉は開いているが顔画像が抽出できない状態の場合、ステップＳ５の処理により、画像処理ユニット４２から調整部４３に対して初期値となるように入口カメラ４０を調整する指示が供給される。これに応じて、ステップＳ３３において、調整部４３は、初期値に戻すような調整量を計算し、ステップＳ３４において、計算された調整量で、入口カメラ４０が、撮像方向、ズーム倍率、および露光量を制御する。
【００７９】
また、店舗の扉が開いて顔画像が撮像された場合、ステップＳ６において、照合処理に適した顔画像のサイズであるか否かが判定されて、適していないサイズであるとき、ステップＳ７，Ｓ８の処理により、入口カメラ４０により撮像される画像内における顔画像が存在する撮像エリアが計算されて、画像処理ユニット４２から調整部４３に対して撮像エリアの変更が指示される。これに応じて、ステップＳ３６において、顔画像が存在する撮像エリアの情報に基づいて、調整部４３が、供給されてきた撮像エリアを撮像するのに最適な撮像方向のパン・チルトの移動量、および、ズーム倍率の変化量をそれぞれ調整量として計算し、ステップＳ３４において、計算された調整量で、入口カメラ４０が、撮像方向、およびズーム倍率を制御する。
【００８０】
さらに、ステップＳ９において、照合処理に適した顔画像の輝度であるか否かが判定されて、適していない輝度であるとき、ステップＳ１０，Ｓ１１の処理により、照合に適した顔画像に必要な露光量が計算されて、画像処理ユニット４２から調整部４３に対して必要な露光量の調整が指示される。これに応じて、ステップＳ３９において、顔画像の最適な露光量の情報に基づいて、調整部４３が、供給されてきた露光量に最適な絞りの開度の変化量を調整量として計算し、ステップＳ３４において、計算された調整量で、入口カメラ４０が、絞りの開度を制御して露光量を制御する。
【００８１】
そして、ステップＳ９において、照合に適した輝度であると判定された場合、ステップＳ１２の処理により、撮像された顔画像が生体情報認識装置２１に供給されて、顔画像による照合が行われる。
【００８２】
結果として、生体情報認識装置２１には、顔画像のうち、画像サイズ、および輝度において、照合に適した顔画像のみが画像処理ユニット４２より供給されることになるので、顔画像より特徴量を正確に抽出することが可能となり、顔画像による照合精度を向上させることが可能となる。
【００８３】
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８４】
図６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【００８５】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【００８６】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８７】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【００８８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【００８９】
【図１】本発明を適用した監視システムの一実施の形態の構成を示す図である。
【図２】図１の入口カメラおよび店内カメラの設置例を示す図である。
【図３】図１の入口カメラ、店内カメラ、画像処理ユニット、および調整部の構成例を説明する図である。
【図４】登録遊技者来店監視処理を説明するフローチャートである。
【図５】撮像エリアの調整データの生成方法を説明する図である。
【図６】パーソナルコンピュータの構成例を説明する図である。
【符号の説明】
【００９０】
１，１−１乃至１−ｎ 遊技店
２ 生体情報管理センタ
３ 生体情報管理データベース
４ 第３者遊技店管理センタ
５ 第３者遊技店管理データベース
６ 生体情報管理バス
７ 第３者遊技店管理バス
８，９ 公衆通信回線網
２１ 生体情報認識装置
２２ 生体情報データベース
２４ 遊技店管理装置
２６ 遊技台管理データベース
２７ 媒体貸出管理装置
２９ 媒体貸出管理データベース
３０ 遊技店管理情報バス
３１ 生体情報バス
３３ 精算販売機
３４ 貸出機
３５ 計数機
３６，３６−１乃至３６−ｍ 遊技台
３７，３７−１乃至３７−ｍ 遊技台周辺端末
３８，３８−１乃至３８−ｍ カメラ
３９，３９−１乃至３９−ｍ 画像処理ユニット
４０，４０−１乃至４０−ｐ 入口カメラ
４１，４１−１乃至４１−ｐ 店内カメラ
４２，４２−１乃至４２−ｑ 画像処理ユニット
４３，４３−１乃至４３−（ｐ＋ｑ） 調整部
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段と、
撮像される画像を変化させるように前記撮像手段を制御する制御手段と、
前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段と、
前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整手段と
を含む画像処理装置。
【請求項２】
前記調整手段は、
前記撮像手段の撮像方向を調整する撮像方向調整手段と、
前記撮像手段のズーム倍率を調整するズーム調整手段と、
前記撮像手段の露光量を調整する露光手段とを含む
請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、
前記照合対象者の顔画像の解像度が所定の画素数より大きいか否か、または、前記照合対象者の顔画像の輝度が所定の範囲内にあるか否かに基づいて、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する
請求項１に記載の画像処理装置。
【請求項４】
前記蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段と、
前記照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定し、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する照合手段とをさらに含む
請求項１に記載の画像処理装置。
【請求項５】
画像を撮像する撮像手段を含む画像処理装置の画像処理方法において、
前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、
撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、
前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、
前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段を調整させる調整ステップと
を含む画像処理方法。
【請求項６】
画像を撮像する撮像手段を含む画像処理装置を制御するコンピュータに、
前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、
撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、
前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、
前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整ステップと
を含む処理を実行させるプログラム。
【請求項７】
請求項１に記載の画像処理装置を含む監視装置。
【請求項１】
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段と、
撮像される画像を変化させるように前記撮像手段を制御する制御手段と、
前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段と、
前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整手段と
を含む画像処理装置。
【請求項２】
前記調整手段は、
前記撮像手段の撮像方向を調整する撮像方向調整手段と、
前記撮像手段のズーム倍率を調整するズーム調整手段と、
前記撮像手段の露光量を調整する露光手段とを含む
請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、
前記照合対象者の顔画像の解像度が所定の画素数より大きいか否か、または、前記照合対象者の顔画像の輝度が所定の範囲内にあるか否かに基づいて、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する
請求項１に記載の画像処理装置。
【請求項４】
前記蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段と、
前記照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定し、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する照合手段とをさらに含む
請求項１に記載の画像処理装置。
【請求項５】
画像を撮像する撮像手段を含む画像処理装置の画像処理方法において、
前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、
撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、
前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、
前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段を調整させる調整ステップと
を含む画像処理方法。
【請求項６】
画像を撮像する撮像手段を含む画像処理装置を制御するコンピュータに、
前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、
撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、
前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、
前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整ステップと
を含む処理を実行させるプログラム。
【請求項７】
請求項１に記載の画像処理装置を含む監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−８６９３２（Ｐ２００９−８６９３２Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５４７５０（Ｐ２００７−２５４７５０）
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]