画像処理装置および方法、並びにプログラム
【課題】検出する必要のない顔画像を検出させないようにしつつ、同一人物の顔画像を正確に追跡できるようにする。
【解決手段】顔画像抽出部２４は、画像より顔画像を抽出し、顔画像位置記憶部２９は、抽出される顔画像の画像内での移動位置を連続的に記憶し、顔画像移動位置予測部３０は、記憶された顔画像の移動位置を予測し、マスキング処理部２３は、画像の所定の領域に、顔画像の抽出が不能なマスキング領域を発生し、マスキングオンオフ制御部３１は、予測された顔画像の移動位置が、マスキング領域に含まれる場合、マスキング領域が発生しないように切り替える。本発明は、遊技店の監視装置に適用することができる。
【解決手段】顔画像抽出部２４は、画像より顔画像を抽出し、顔画像位置記憶部２９は、抽出される顔画像の画像内での移動位置を連続的に記憶し、顔画像移動位置予測部３０は、記憶された顔画像の移動位置を予測し、マスキング処理部２３は、画像の所定の領域に、顔画像の抽出が不能なマスキング領域を発生し、マスキングオンオフ制御部３１は、予測された顔画像の移動位置が、マスキング領域に含まれる場合、マスキング領域が発生しないように切り替える。本発明は、遊技店の監視装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、顔画像による登録者の誤検出を低下させるとともに、同一人物の顔画像を正確に追跡することで検出率を向上させるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
登録者が到来したことを報知する技術が一般に普及しつつある。
【０００３】
例えば、パチンコ店やパチスロ店に代表される遊技店の出入口に監視カメラを配置し、監視カメラで撮像できた遊技者の顔画像と、予め登録された登録遊技者の顔画像とを顔認識技術を用いて検索し、登録遊技者が来店した際に、登録された遊技者が来店したことを報知するものが提案されている。
【０００４】
しかしながら、例えば、出入口付近に設けられた監視カメラにより撮像された画像から抽出される顔画像を用いて登録遊技者を検出する手法においては、撮像領域内にポスタ、または立看板等人物顔画像以外の顔画像が存在した場合、ポスタ等の顔画像を、来店者の顔画像として検出してしまう事があり、不要な顔画像認識処理を繰り返してしまうことがあった。
【０００５】
すなわち、例えば、図１で示されるような、扉D上に、ポスタＢ１，Ｂ２が貼り付けられているような画像が、カメラで撮像されていた場合、ポスタＢ１上には、人物の顔画像が描かれているため、このポスタＢ１上の顔画像が来店者の顔画像として検出されてしまうことがあり、結果として、不要な顔画像認識処理が繰り返されてしまうことがあった。
【０００６】
そこで、監視を目的とした撮像領域に対して、監視不要領域を設定し、マスキングするといった手法が提案されている（例えば、特許文献１参照）。
【０００７】
すなわち、図２で示されるように、ポスタＢ１上の顔画像が描かれている領域に、マスキング領域（監視不要領域）Ｍを設定することにより、ポスタＢ１上の特に顔画像が描かれている領域がマスクされるので、不要な顔画像が検出されなくなるというものである。
【０００８】
また、マスキング領域Ｍの設定及び解除を行う方法として、マスキング領域Ｍごとに番号付けを行い、マスキング領域Ｍを付与した番号に基づいて設定、または解除する技術が提案されている（例えば、特許文献２参照）。
【０００９】
【特許文献１】特開平０８−２８７２３２号公報
【特許文献２】特開２００４−１１８５５８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記の手法においては、取得された画像の条件によっては監視不要領域（マスキング領域）は解除されず、マスキング領域において検出したい物体の検出が行えないことがあった。また、撮像領域の顔画像を追跡して検出する方法においては、撮像人物の顔画像がマスキング範囲内を通過して、再び撮像領域を移動する際、マスキング範囲の大きさによっては、顔画像の追跡が中断されてしまう為にマスキング範囲通過前と通過後とで異なる人物の顔画像を追跡してしまう事があった。
【００１１】
すなわち、図３で示されるように、顔画像ｆ１乃至ｆ３は、それぞれの画像が近いため、人物Ｈの動きに合わせて、矢印方向に追跡することができ、このように追跡することにより、同一人物の顔画像を追跡しつつ顔画像を取得することができる。しかしながら、人物Ｈが移動し、例えば、人物Ｈ’のように移動した場合、顔画像ｆ３の次の移動先である顔画像ｆ４は、マスキング領域Ｍに含まれることになるため、人物Ｈ’の顔画像をそれ以降見失うことになり、同一の人物の顔画像としての追跡ができなくなるということがあり、新たな別の人物として追跡する必要があった。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、特に、ポスタや立看板などに含まれる顔画像を効果的にマスキングし、不要な顔画像認識処理を排除しつつ、顔画像を正確に追跡できるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の画像処理装置は、画像より顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段と、前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段と、前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段と、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段とを含む。
【００１４】
前記移動位置記憶手段には、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を、前記顔画像に設定される顔画像IDに対応付けて連続的に記憶させることができる。
【００１５】
前記顔画像抽出手段により抽出される顔画像のうち、同一の顔画像には同一の顔画像IDを設定する顔画像ID設定手段を含ませるようにすることができる。
【００１６】
前記顔画像ID設定手段には、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在しない場合、前記最新の前記顔画像に新たな顔画像IDを設定させるようにすることができ、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から前記所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在している場合、前記最新の前記顔画像に、直前のタイミングで記憶されている前記画像内での移動位置が記録されている顔画像の顔画像IDを設定させるようにすることができる。
【００１７】
前記予測手段には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報に基づいて、前記画像の移動位置を予測させるようにすることができる。
【００１８】
前記予測手段には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報を線形補間することにより、前記画像の移動位置を予測させるようにすることができる。
【００１９】
前記切替手段には、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えた後、前記移動位置記憶手段に直前のタイミングで記憶されている顔画像の画像内での移動位置のうち、前記マスキング領域に含まれるものがない場合、再び前記マスキング領域が発生するように切り替えるようにさせることができる。
【００２０】
本発明の監視装置には、前記登録者の顔画像を蓄積する蓄積手段と、請求項１に記載のマスキング領域を発生するマスキング領域発生手段と、前記顔画像抽出手段により抽出される顔画像より、前記顔画像を認識するための特徴量に基づいて、前記顔画像抽出手段により抽出された顔画像と、前記蓄積手段に蓄積された登録者の顔画像との類似度を計算する類似度計算手段と、前記類似度計算手段により計算された類似度に基づいて、前記登録者が到来したか否かを判定する判定手段とを含ませるようにすることができる。
【００２１】
本発明の一側面の画像処理方法は、画像より顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップとを含む。
【００２２】
本発明の一側面のプログラムは、画像より顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップとを含む処理をコンピュータに実行させる。
【００２３】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像より顔画像が抽出され、抽出される顔画像の画像内での移動位置が連続的に記憶され、記憶された前記顔画像の移動位置が予測され、前記画像の所定の領域に、顔画像の抽出が不能なマスキング領域が発生され、予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えられる。
【００２４】
本発明の一側面の画像処理装置における、画像より顔画像を抽出する顔画像抽出手段とは、例えば、顔画像抽出部である。前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段とは、例えば、顔画像位置記憶部である。前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段とは、例えば、顔画像移動位置予測部である。前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段とは、例えば、マスキング処理部である。前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段とは、例えば、マスキングオンオフ制御部である。
【００２５】
すなわち、次のタイミングでの顔画像の移動位置が、マスキング領域に含まれることが、顔画像移動位置予測部により予測されるとき、マスキング領域が画像内に発生しないように切り替えられることになる。通常であれば、マスキング領域に顔画像が移動すると顔画像が抽出できない状態となるため、連続的に顔画像を追跡することができなかったが、本発明により、マスキング領域内に顔画像が含まれることが予測されればマスキング領域が発生しないことにより、連続的に顔画像を追跡することが可能となる。しかも、マスキング領域内に顔画像が含まれると予測されるまでは、マスキング領域は設定される事になるので、画像内でその位置にポスタなどの顔画像として誤検出しそうな画像があったとしても、誤検出されないようにすることが可能となる。
【発明の効果】
【００２６】
本発明の一側面によれば、画像内の顔画像を連続的に追跡することが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２８】
すなわち、本発明の一側面の画像処理装置は、画像より顔画像を抽出する顔画像抽出手段（例えば、図６の顔画像抽出部２４）と、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段（例えば、図６の顔画像位置記憶部２９）と、前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段（例えば、図６の顔画像移動位置予測部３０）と、前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段（例えば、図６のマスキング処理部２３）と、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段（例えば、図６のマスキングオンオフ制御部３１）とを含む。
【００２９】
前記移動位置記憶手段（例えば、図６の顔画像位置記憶部２９）には、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を、前記顔画像に設定される顔画像IDに対応付けて連続的に記憶させることができる。
【００３０】
前記顔画像抽出手段（例えば、図６の顔画像抽出部２４）により抽出される顔画像のうち、同一の顔画像には同一の顔画像IDを設定する顔画像ID設定手段（例えば、図６の顔画像ID付加部２８）を含ませるようにすることができる。
【００３１】
前記顔画像ID設定手段（例えば、図６の顔画像ID付加部２８）には、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在しない場合、前記最新の前記顔画像に新たな顔画像IDを設定させるようにすることができ、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から前記所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在している場合、前記最新の前記顔画像に、直前のタイミングで記憶されている前記画像内での移動位置が記録されている顔画像の顔画像IDを設定させるようにすることができる。
【００３２】
前記予測手段（例えば、図６の顔画像移動位置予測部３０）には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報に基づいて、前記画像の移動位置を予測させるようにすることができる。
【００３３】
前記予測手段（例えば、図６の顔画像移動位置予測部３０）には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報を線形補間することにより、前記画像の移動位置を予測させるようにすることができる。
【００３４】
前記切替手段（例えば、図６のマスキングオンオフ制御部３１）には、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えた後、前記移動位置記憶手段に直前のタイミングで記憶されている顔画像の画像内での移動位置のうち、前記マスキング領域に含まれるものがない場合、再び前記マスキング領域が発生するように切り替えるようにさせることができる。
【００３５】
本発明の監視装置には、前記登録者の顔画像を蓄積する蓄積手段（例えば、図７の登録遊技者データベース５３）と、請求項１に記載のマスキング領域を発生するマスキング領域発生手段（例えば、図６のマスキング処理部２３）と、前記顔画像抽出手段により抽出される顔画像より、前記顔画像を認識するための特徴量に基づいて、前記顔画像抽出手段（例えば、図６の顔画像抽出部２４）により抽出された顔画像と、前記蓄積手段に蓄積された登録者の顔画像との類似度を計算する類似度計算手段（例えば、図７の類似度計算部５２）と、前記類似度計算手段により計算された類似度に基づいて、前記登録者が到来したか否かを判定する判定手段（例えば、図７の判定部５４）とを含ませるようにすることができる。
【００３６】
本発明の一側面の画像処理方法およびプログラムは、画像より顔画像を抽出する顔画像抽出ステップ（例えば、図９のフローチャートにおけるステップＳ６８の処理）と、前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップ（例えば、図１０のフローチャートにおけるステップＳ９７の処理）と、前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップ（例えば、図１３のフローチャートにおけるステップＳ１１３の処理）と、前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップ（例えば、図９のフローチャートにおけるステップＳ６５の処理）と、前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップ（例えば、図１４のフローチャートにおけるステップＳ１３５の処理）とを含む画像処理方法。
【００３７】
図４は、本発明に係る遊技店の登録遊技者来店報知システムの一実施の形態の構成を示す図である。
【００３８】
カメラ１−１乃至１−３は、図５で示されるように、遊技店の出入口付近に設けられた監視カメラであり、来店する遊技者を撮像し、撮像した画像を画像処理ユニット２−１乃至２−３に供給する。尚、カメラ１−１乃至１−３または画像処理ユニット２−１乃至２−３は、夫々区別する必要の無い場合、単に、カメラ１または画像処理ユニット２と称するものとし、その他の構成も同様に称するものとする。また、図５の例においては、カメラ１が遊技店内の３箇所に設置される場合の例が示されているが、設置個所の数はそれ以外の数であってもよい。さらに、カメラ１は、それぞれパンチルト機能や望遠機能などを備えるようにしてもよい。また、図４においては、カメラ１に対して、画像処理ユニット２が一対一で対応するように設けられているが、画像処理ユニット２が、複数のカメラ１に対して、例えば、時分割処理するなどして並列的に処理ができるような場合、一対一で設ける必要が無く、例えば、１台の画像処理ユニット２が、複数のカメラ１−１乃至１−５から供給されてくる画像に対して処理するようにしても良い。
【００３９】
画像処理ユニット２−１乃至２−３は、それぞれカメラ１−１乃至１−３より供給されてくる撮像された画像に基づいて、画像内の来店する遊技者の顔画像を抽出し、顔認識サーバ３に供給する。
【００４０】
顔認識サーバ３は、画像処理ユニット２より供給された顔画像を取得し、予め登録されている登録遊技者の顔画像と比較して照合することにより、供給された顔画像が登録遊技者のものであるか否かを判定する。また、顔認識サーバ３は、判定結果、および顔画像を報知部４に供給する。
【００４１】
報知部４は、顔認識サーバ３より供給される顔画像、および登録遊技者判定処理に基づいた判定結果の情報を取得した場合、登録遊技者を示す顔画像の取得により、登録遊技者来店情報を発生し、遊技店の係員に対して報知する。
【００４２】
次に、図６を参照して、画像処理ユニット２の一実施の形態の構成について説明する。
【００４３】
画像取得部２１は、カメラ１より供給されてくる撮像された画像を取得し、スイッチ２２を介して、マスキング処理部２３、または顔画像抽出部２４に供給する。スイッチ２２は、マスキングオンオフ制御部３１により制御され、端子２２ａと端子２２ｂ、または、端子２２ａと端子２２ｃとに接続されることにより、画像取得部２１により取得された画像をマスキング処理部２３または顔画像抽出部２４に供給する。
【００４４】
マスキング処理部２３は、画像取得部２１より供給されてくる画像のうち、例えば、図２で示したように、ポスタＢ１などのように顔画像が含まれる領域をマスキング領域Ｍによりマスキングして、顔画像抽出部２４に供給する。マスキング処理部２３は、マスキング領域Mの位置情報が設定された場合、その位置情報の情報をマスキングオンオフ制御部３１に供給する。
【００４５】
顔画像抽出部２４は、マスキング処理部２３のマスキング処理によりマスキングが施されている画像より顔画像を抽出して顔認識サーバ３に供給する。より詳細には、顔画像抽出部２４は、画像中の配色により顔を構成する目、鼻、口、または、耳といった各種の部位を構成する配置のパターンから顔が表示されているものと認識される領域を矩形状の顔画像として抽出し、送信部２６および顔画像位置取得部２７に供給する。このとき、顔画像抽出部２４は、顔画像を抽出したタイミングでRTC２５に問合せて顔画像を抽出した時刻を取得し、取得した時刻の情報、入力画像、および顔画像を送信部２６、および顔画像位置取得部２７に供給する。
【００４６】
すなわち、顔画像抽出部２４は、スイッチ２２の接続状態により、画像取得部２１により取得された画像に対して、マスキング処理部２３によりマスキング領域が設定されている画像、または、マスキング領域が設定されていない画像のいずれかより顔画像を抽出する。
【００４７】
RTC（Real Time Clock）２５は、時刻情報を発生しており、顔画像抽出部２４より時刻の情報が要求されると、その時点での時刻情報を顔画像抽出部２４に供給する。すなわち、RTC２５の時刻情報により、抽出された顔画像は1枚1枚識別することが可能となる。
【００４８】
送信部２６は、顔画像抽出部２４より供給されてきた顔画像と、顔画像ID付加部２８より顔画像が抽出された顔画像IDとを時刻情報に対応付けて顔認識サーバ３に供給する。すなわち、送信部２６は、顔画像に付されている時刻情報と、顔画像IDに付されている時刻情報が同一となるもの同士を組にして顔認識サーバ３に送信する。
【００４９】
顔画像位置取得部２７は、顔画像抽出部２４より供給されてくる入力画像、顔画像が取得された時刻情報、および顔画像に基づいて、顔画像の画像上の位置座標を位置情報として求めて、顔画像が抽出されたタイミングの時刻情報と共に顔画像ID付加部２８に供給する。より詳細には、顔画像位置取得部２７は、矩形状の顔画像の4箇所の角の位置の画像上の位置座標を位置情報として取得し、顔画像を取得した時刻と共に、顔画像ID付加部２８に供給する。
【００５０】
顔画像ID付加部２８は、顔画像位置取得部２７より供給された顔画像の位置情報を取得すると共に、顔画像位置記憶部２９に顔画像ID毎に記憶されている、最新の顔画像の位置情報とを比較し、それぞれの重心位置が所定の距離内となっている位置情報を検索する。このとき、顔画像位置記憶部２９に顔画像ID毎に記憶されている、最新の顔画像の位置情報のうち、顔画像位置取得部２７より供給された顔画像の位置情報の重心位置が所定の距離内の位置情報が検索できない場合、顔画像ID付加部２８は、新たな顔画像IDを発行し、発行した顔画像IDに対応付けて位置情報を顔画像位置記憶部２９に記憶させると共に、発行した顔画像IDを、顔画像位置取得部２７より供給された顔画像を取得した時刻情報と共に送信部２６に供給する。一方、顔画像位置記憶部２９に顔画像ID毎に記憶されている、最新の顔画像の位置情報のうち、顔画像位置取得部２７より供給された顔画像の位置情報の重心位置が所定の距離内の位置情報が検索できた場合、顔画像ID付加部２８は、検索できた位置情報に対応付けられている顔画像IDを、顔画像位置記憶部２９より読み出し、顔画像位置取得部２７より供給された顔画像が取得された時刻情報と共に、送信部２６に供給する。
【００５１】
顔画像位置記憶部２９は、顔画像ID毎に、顔画像が取得された位置情報を順次記憶する。
【００５２】
顔画像移動位置予測部３０は、顔画像位置記憶部２９に顔画像ID単位で記憶されている顔画像の位置情報の情報を用いて、次のタイミングで取得されるであろう顔画像の位置情報を、顔画像ID毎に線形補間することにより予測し、予測結果をマスキングオンオフ制御部３１に供給する。
【００５３】
マスキングオンオフ制御部３１は、顔画像移動位置予測部３１より供給されてくる、次のタイミングで顔画像が取得されるであろう位置が、マスキング処理部２３より供給されてくるマスキング領域Mに含まれるか否かを判定し、含まれるとき、スイッチ２２を制御して、端子２２ａと端子２２ｃとを接続し、マスキング処理部２３をバイパスさせて顔画像取得部２１と顔画像抽出部２４とを接続する。また、マスキングオンオフ制御部３１は、顔画像位置記憶部２９に顔画像ID毎に記憶されている位置座標としての位置情報のいずれかに、マスキング処理部２３より供給されてくるマスキング領域Mを含むものがあるか否かを判定し、いずれにも含まない場合、スイッチ２２を制御して端子２２ａと端子２２ｂを接続し、顔画像取得部２１とマスキング処理部２３とを接続する。
【００５４】
次に、図７を参照して、顔認識サーバ３の一実施の形態の構成について説明する。
【００５５】
顔画像取得部５１は、画像処理ユニット２より供給される顔画像を取得し、類似度計算部５２に供給する。類似度計算部５２は、顔画像取得部５１より供給された顔画像と登録遊技者データベース５３に登録されている顔画像とを一つ一つ比較して照合し、類似度を計算して、計算結果を判定部５４に供給する。より具体的には、類似度計算部５２は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量を求めて、それぞれの差分和、平均比率、または比率和などを類似度として求める。さらに、類似度計算部５２は、顔画像毎に求められた登録遊技者の顔画像毎の類似度のうち、最も高い類似度を示す登録遊技者の顔画像、および、撮像された顔画像との類似度を判定部５４に供給する。尚、類似度の計算方法は、その他の方法であってもよいことは言うまでもない。また、登録遊技者データベース５３に登録されている登録遊技者の顔画像については、新たな登録遊技者を随時更新できるようにしても良い。
【００５６】
判定部５４は、類似度計算部５２より供給された顔画像IDが付された顔画像毎の類似度について、登録遊技者データベース５３に登録された顔画像毎に設定された所定の閾値と比較し、比較結果に基づいて、供給された顔画像が登録遊技者の顔画像であるか否かを判定し、判定結果を報知部４に供給する。
【００５７】
尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、判定部５４は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、０乃至１の範囲で所定の値以上であって、１に近い値であれば、同一の人物であるとみなすことができる。
【００５８】
次に、図８のフローチャートを参照して、図１の登録遊技者来店報知システムにおける登録遊技者報知処理について説明する。
【００５９】
ステップＳ１において、カメラ１は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。所定の時間としては、監視のサンプリングレートにより任意の時間に設定できるようにしてもよく、例えば、250ｍ秒くらいでもよい。
【００６０】
ステップＳ１において、所定の時間が経過したと判定された場合、ステップＳ２において、カメラ１は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット２に供給する。
【００６１】
ステップＳ３において、画像処理ユニット２は、供給された画像を取得し、図９を参照して後述する顔画像抽出処理を実行して顔画像を抽出する。
【００６２】
ステップＳ４において、送信部２６は、抽出された顔画像を顔画像IDと共に顔認識サーバ３に送信する。
【００６３】
ステップＳ２１において、顔認識サーバ３の顔画像取得部５１は、顔画像を取得する。ステップＳ２２において、顔画像抽出部８１は、供給された顔画像のうち、いずれか未処理の１つを抽出し、類似度計算部５２に供給する。
【００６４】
ステップＳ２３において、類似度計算部５２は、登録遊技者データベース５３に予め登録されている各登録遊技者の顔画像と、抽出された顔画像との類似度を計算する。
【００６５】
この登録遊技者データベース５３の情報に基づいて、類似度計算部５２は、顔画像取得部５１より供給された顔画像について、上述したような、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量を求めて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、最も類似している登録遊技者の類似度、および、顔画像を判定部５４に供給する。
【００６６】
ステップＳ２４において、判定部５４は、類似度計算部５２より供給された類似度が所定の閾値よりも大きいか否かを判定する。すなわち、ここでは、類似度が高ければ高いほど、登録遊技者の顔画像と、撮像された顔画像とが類似しているものとみなされるので、撮像された顔画像と、最も似ている登録遊技者の顔画像の類似度が所定の閾値と比較される。尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。
【００６７】
ステップＳ２４において、類似度計算部５２より供給された類似度が閾値（登録遊技者であると判定される類似度の閾値）よりも大きいと判定された場合、ステップＳ２５において、判定部５４は、抽出された顔画像が登録遊技者の顔画像であるとみなし、抽出された顔画像を報知部４に供給する。
【００６８】
ステップＳ４１において、報知部４は、例えば、ステップＳ２５の処理により、顔認識サーバ３より供給される顔画像を取得すると、ステップＳ４２において、図示せぬディスプレイやスピーカなどを制御して、登録遊技者が来店したことを報知する。
【００６９】
一方、ステップＳ２４において、類似度計算部５２より供給された類似度が閾値より大きくないと判定された場合、ステップＳ２５の処理がスキップされ、登録遊技者が来店しているとの通知がなされない。
【００７０】
ステップＳ２６において、顔画像抽出部８１は、全ての顔画像を処理したか否かを判定し、全ての顔画像について処理がなされていないと判定された場合、その処理は、ステップＳ２２に戻る。
【００７１】
さらに、ステップＳ２６において、全ての顔画像が処理されたと判定された場合、その処理は、ステップＳ２１に戻る。
【００７２】
以上の処理により、登録された顔画像がカメラにより撮像されると、登録遊技者が来店したことが報知される。
【００７３】
次に、図９のフローチャートを参照して、画像処理ユニット２による顔画像抽出処理について説明する。
【００７４】
ステップＳ６１において、画像取得部２１は、カメラ１より画像が供給されてきたか否かを判定し、供給されてくるまで、その処理を繰り返す。例えば、図８のステップＳ２の処理により、画像が撮像されたカメラ１から画像が供給されてきたと判定された場合、処理は、ステップＳ６２に進む。
【００７５】
ステップＳ６２において、画像取得部２１は、画像を取得する。
【００７６】
ステップＳ６３において、スイッチ２２が端子２２ａと端子２２ｂとが接続されている状態であるか否かが判定され、例えば、接続されている、すなわち、画像取得部２１の後段にスイッチ２２を介してマスキング処理部２３が接続された状態である場合、ステップＳ６４において、画像取得部２１は、カメラ１より取得した画像をマスキング処理部２３に供給する。
【００７７】
ステップＳ６５において、マスキング処理部２３は、画像取得部２１より供給さて来た画像に対して所定のパターンのマスキングを施し、顔画像抽出部２４に供給する。すなわち、例えば、図３で示されているように、マスキング領域Ｍを所定のマスキングパターンとして画像に対して施し、顔画像抽出部２４に供給する。
【００７８】
ステップＳ６６において、顔画像抽出部２４は、供給された画像より遊技者の顔画像を抽出すると共に、顔画像を抽出した時刻をRTC２５に問い合わせ、顔画像と、顔画像を抽出した時刻情報とをペアにして保持する。より具体的には、顔画像抽出部２４は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像のパターンを検索し、検索された画像を顔画像として抽出する。
【００７９】
ステップＳ６７において、顔画像抽出部２４は、顔画像のパターンが検索されたか否かを判定する。すなわち、ステップＳ６６の処理において、例えば、少なくとも１つ以上の顔画像が検索されれば、その検出された顔画像と、抽出された時刻情報とがペアになった情報が保持されているので、顔画像のパターンが検出されたとみなされ、その処理は、ステップＳ６８に進む。一方、ステップＳ６７において、顔画像のパターンが検出されなかった場合、この処理は終了する。
【００８０】
ステップＳ６８において、顔画像抽出部２４は、１つの顔画像を抽出し、ステップＳ６９において、時刻情報を付加して送信部２６、および顔画像位置取得部２７に出力する。このとき、顔画像抽出部２４は、顔画像位置取得部２７において、顔画像の位置を取得させるために、供給されてきた画像も合わせて出力する。
【００８１】
ステップＳ７０において、顔画像位置取得部２７および顔画像ID付加部２８は、顔画像位置記憶処理を実行し、供給されてきた顔画像に顔画像IDを付し、顔画像位置記憶部２９に、顔画像IDに対応付けて、位置情報を記憶させる。
【００８２】
ここで、図１０のフローチャートを参照して、顔画像位置記憶処理について説明する。
【００８３】
ステップＳ９１において、顔画像位置取得部２７は、顔画像抽出部２４より顔画像が供給されてきたか否かを判定し、供給されてくるまで、その処理を繰り返し、例えば、図９のフローチャートにおけるステップＳ６９の処理により、顔画像が供給されてきた場合、その処理は、ステップＳ９２に進む。
【００８４】
ステップＳ９２において、顔画像位置取得部２７は、供給されてきた顔画像と共に、顔画像が抽出された画像を取得し、画像中の顔画像の４つの角の位置座標を取得し、位置情報として顔画像ID付加部２８に供給する。すなわち、例えば、図１１で示されるような画像Ｐから顔画像Ｆ３が抽出された場合、顔画像位置取得部２７は、矩形状の顔画像Ｆ３の４つの角の座標（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））を位置情報として取得し、顔画像が取得された時刻ｔと併せて、ｔ（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））を位置情報として顔画像ID付加部２８に供給する。
【００８５】
ステップＳ９３において、顔画像ID付加部２８は、供給されてきた顔画像の座標位置の情報に基づいて、その座標位置から所定の距離内に存在する記憶済みの顔画像の位置を検索する。例えば、それまでの処理により、図１２で示されるように、顔画像位置記憶部２９に、顔画像IDごとに顔画像の位置情報が記憶されていた場合、顔画像ID付加部２８は、ｔ（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））で示される顔画像の重心位置（（ｘａ＋ｘｂ＋ｘｃ＋ｘｄ）／４，（ｙａ＋ｙｂ＋ｙｃ＋ｙｄ）／４）と、記憶済みの最新の位置情報の重心位置との距離が所定の距離内に存在するものを検索する。
【００８６】
ここで、図１２には、左側の欄には顔画像IDが記録されており、今の場合、上から「AAA」、「BBB」、「CCC」が記録されている。また、右側の欄には顔画像IDに対応付けて位置情報が記憶されている。すなわち、顔画像ID＝「AAA」に対応して、ｔ1（（ｘ1，ｙ1），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）），ｔ３（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４））が記録され、顔画像ID＝「BBB」に対応して、ｔ２1（（ｘ１０1，ｙ１０1），（ｘ１０２，ｙ１０２），（ｘ１０３，ｙ１０３），（ｘ１０４，ｙ１０４））が記録され、顔画像ID＝「CCC」に対応して、ｔ４1（（ｘ２０1，ｙ２０1），（ｘ２０２，ｙ２０２），（ｘ２０３，ｙ２０３），（ｘ２０４，ｙ２０４）），ｔ５１（（ｘ２１1，ｙ２１1），（ｘ２１２，ｙ２１２），（ｘ２１３，ｙ２１３），（ｘ２１４，ｙ２１４））が記録されている。
【００８７】
図１２で示される顔画像位置記憶部２９の情報によれば、顔画像ID「AAA」の顔画像が、時刻ｔ1において、座標位置（（ｘ1，ｙ1），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４））で抽出され、さらに、その後、時刻ｔ３において、座標位置（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４））において抽出されていることが示され、顔画像ID「BBB」の顔画像が、時刻ｔ２1において、座標位置（（ｘ１０1，ｙ１０1），（ｘ１０２，ｙ１０２），（ｘ１０３，ｙ１０３），（ｘ１０４，ｙ１０４））において抽出されていることが示され、顔画像ID「CCC」の顔画像が、時刻ｔ４1において、座標位置（（ｘ２０1，ｙ２０1），（ｘ２０２，ｙ２０２），（ｘ２０３，ｙ２０３），（ｘ２０４，ｙ２０４））で抽出され、その後、時刻ｔ５１において、座標位置（（ｘ２１1，ｙ２１1），（ｘ２１２，ｙ２１２），（ｘ２１３，ｙ２１３），（ｘ２１４，ｙ２１４））で抽出されていることが示されている。
【００８８】
従って、図１２においては、これまでの処理により、顔画像ID「AAA」、「BBB」、および「CCC」で示される顔画像が抽出されており、それぞれの最近抽出された座標位置は、（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４）），（（ｘ１０1，ｙ１０1），（ｘ１０２，ｙ１０２），（ｘ１０３，ｙ１０３），（ｘ１０４，ｙ１０４））、および（（ｘ２１1，ｙ２１1），（ｘ２１２，ｙ２１２），（ｘ２１３，ｙ２１３），（ｘ２１４，ｙ２１４））となる。
【００８９】
そこで、顔画像ID付加部２８は、それぞれの重心位置（（ｘ１１＋ｘ１２＋ｘ１３＋ｘ１４）／４，（ｙ１１＋ｙ１２＋ｙ１３＋ｙ１４）／４），（（ｘ１０１＋ｘ１０２＋ｘ１０３＋ｘ１０４）／４，（ｙ１０１＋ｙ１０２＋ｙ１０３＋ｙ１０４）／４）、および（（ｘ２１１＋ｘ２１２＋ｘ２１３＋ｘ２１４）／４，（ｙ２１１＋ｙ２１２＋ｙ２１３＋ｙ２１４）／４）を求めて、これらの中から抽出されてきた顔画像の重心位置（（ｘａ＋ｘｂ＋ｘｃ＋ｘｄ）／４，（ｙａ＋ｙｂ＋ｙｃ＋ｙｄ）／４）と所定の距離内に存在するものを検索する。ここで、所定の距離内とは、図８のフローチャートにおけるステップＳ１において計測される所定の時間、すなわち、サンプリングレートにより次の画像が撮像されるまでの時間内に、人物が移動することにより顔画像が移動する可能性のある距離である。
【００９０】
ステップＳ９４において、例えば、重心位置（（ｘ１１＋ｘ１２＋ｘ１３＋ｘ１４）／４，（ｙ１１＋ｙ１２＋ｙ１３＋ｙ１４）／４），（（ｘ１０１＋ｘ１０２＋ｘ１０３＋ｘ１０４）／４，（ｙ１０１＋ｙ１０２＋ｙ１０３＋ｙ１０４）／４）、および（（ｘ２１１＋ｘ２１２＋ｘ２１３＋ｘ２１４）／４，（ｙ２１１＋ｙ２１２＋ｙ２１３＋ｙ２１４）／４）のうち、（（ｘ１１＋ｘ１２＋ｘ１３＋ｘ１４）／４，（ｙ１１＋ｙ１２＋ｙ１３＋ｙ１４）／４）が、図１１におけるF２の座標位置であって、（（ｘａ＋ｘｂ＋ｘｃ＋ｘｄ）／４，（ｙａ＋ｙｂ＋ｙｃ＋ｙｄ）／４）から所定の距離内であった場合、所定距離内に存在する記憶済みの最新の顔画像の座標位置があると判定され、ステップＳ９５において、顔画像ID付加部２８は、所定距離内に存在する記憶済みの最新の顔画像の座標位置に対応付けられた顔画像IDを、供給されてきた顔画像の顔画像IDとする。すなわち、今の場合、新たに供給されてきた顔画像F３の顔画像は、所定の距離内にそれまでに登録されていた顔画像Ｆ２の人物と同一人物であるものとみなされ、その座標位置に対応付けられた顔画像ID「AAA」が顔画像Ｆ３の顔画像IDとして割り付けられる。
【００９１】
ステップＳ９６において、顔画像ID付加部２８は、供給されてきた顔画像の座標位置の情報のうち、時刻情報と、割り付けられた顔画像IDを送信部２６に供給する。
【００９２】
ステップＳ９７において、顔画像ID付加部２８は、割り付けられた顔画像IDに対応付けて顔画像位置記憶部２９に記憶させる。すなわち、今の場合、顔画像ID付加部２８は、新たに供給されてきた顔画像に付された顔画像ID＝「AAA」に対応するｔ３（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４））の後方（図１２の右側）に、ｔ（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））を記憶させる。
【００９３】
一方、ステップＳ９４において、供給されてきた顔画像の位置情報から所定の範囲内に存在する記憶済みの最新の顔画像の位置情報が存在しないと判定された場合、ステップＳ９８において、顔画像ID付加部２８は、供給されてきた顔画像に対して新たな顔画像IDを発行して、供給されてきた顔画像の顔画像IDとする。すなわち、今の場合、新たに供給されてきた顔画像F３の顔画像は、所定の距離内にそれまでに登録されていた顔画像がないので、例えば、顔画像ID「DDD」といった、新しい顔画像IDが割り付けられる。従って、ステップＳ９７においては、図１２で示される左側の欄に新たに「DDD」が記録され、その顔画像IDに対応付けてｔ（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））が記憶される。
【００９４】
ここで、図９のフローチャートの説明に戻る。
【００９５】
ステップＳ７１において、送信部２６は、顔画像抽出部２４より供給されてくる顔画像に、顔画像ID付加部２８より供給されてくる顔画像IDを付加する。すなわち、送信部２６は、顔画像抽出部２４より供給されてくる時刻情報が付加された顔画像と、顔画像ID付加部２８より供給されてくる時刻情報が付された顔画像IDとを取得し、同一の時刻情報を備えた顔画像に顔画像IDを付加する。
【００９６】
従って、例えば、ステップＳ６９の処理により、送信部２６は、顔画像取得部２４より時刻情報ｔが付された顔画像を取得した場合、顔画像ID付加部２８より、時刻情報ｔが付された顔画像ID＝「AAA」を取得したとき、同一の時刻情報ｔを備えた顔画像に顔画像ID＝「AAA」を付加する。
【００９７】
ステップＳ７２において、顔画像抽出部２４は、未処理の顔画像が存在するか否かを判定する。すなわち、顔画像抽出部２４は、供給された画像より複数の顔画像を抽出した場合、それらの全ての顔画像に対して処理を行ったか否かを判定する。
【００９８】
ステップＳ７２において、例えば、未処理の顔画像が存在する場合、その処理は、ステップＳ６８に戻る。すなわち、全ての抽出した顔画像に対して処理が施されるまで、ステップＳ６８乃至Ｓ７２の処理が繰り返される。一方、ステップＳ７２において、未処理の顔画像がないと判定された場合、その処理は、終了する。
【００９９】
以上の処理により、顔画像が、所定の距離内に連続して取得される場合、同一人物の顔画像であるものとして同一の顔画像IDが付され、それ以外の場合、新たな顔画像IDが付されていく。また、同一人物とみなされる顔画像の位置情報が、同一の顔画像IDに対応付けて順次蓄積されていくので、顔画像を連続的に追跡することが可能になり、その軌跡を蓄積していくことが可能となり、結果として、正確に同一人物の顔画像を追跡することが可能となる。
【０１００】
次に、図１３のフローチャートを参照して、顔画像位置予測処理について説明する。
【０１０１】
ステップＳ１１１において、顔画像移動位置予測部３０は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。例えば、ステップＳ１１１において、所定の時間が経過した場合、その処理は、ステップＳ１１２に進む。
【０１０２】
ステップＳ１１２において、顔画像移動位置予測部３０は、顔画像位置記憶部２９に記憶されている、未処理の顔画像IDの位置情報を取得する。すなわち、例えば、顔画像位置記憶部２９に、図１２で示される顔画像IDと、その位置情報が記憶されている場合、最初の処理であったとき、例えば、顔画像ID＝「AAA」のｔ1（（ｘ1，ｙ1），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）），ｔ３（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４））が取得されることになる。
【０１０３】
ステップＳ１１３において、顔画像移動位置予測部３０は、取得した各位置情報に基づいて、次のタイミングで移動することが予測される予測移動位置を線形補間により求める。すなわち、今の場合、例えば、顔画像移動位置予測部３０は、線形補間により顔画像ID「AAA」の予測移動位置を（（（ｘ１１）×２−（ｘ１），（ｙ１１）×２−（ｙ１）），（（ｘ１２）×２−（ｘ２），（ｙ１２）×２−（ｙ２）），（（ｘ１３）×２−（ｘ３），（ｙ１３）×２−（ｙ３）），（（ｘ１４）×２−（ｘ４），（ｙ１４）×２−（ｙ４）））として計算する。
【０１０４】
ステップＳ１１４において、顔画像移動位置予測部３０は、計算された顔画像の次のタイミングにおける予測移動位置をマスキングオンオフ制御部３１に供給する。
【０１０５】
ステップＳ１１５において、顔画像移動位置予測部３０は、未処理の顔画像IDがあるか否かを判定する。例えば、今の場合、顔画像ID＝「AAA」の処理がなされたので、顔画像ID＝「BBB」、「CCC」の顔画像の予測移動位置が求められていないため、未処理の顔画像IDがあると判定され、その処理は、ステップＳ１１２に戻る。すなわち、全ての顔画像IDについて予測移動位置が求められたと判定されるまで、ステップＳ１１２乃至Ｓ１１５の処理が繰り返される。そして、全ての顔画像IDについて予測移動位置が求められたと判定された場合、その処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
【０１０６】
すなわち、以上の処理により、顔画像位置記憶部２９に記憶されている顔画像の位置情報に基づいて、定期的に顔画像の予測移動位置が順次求められて、マスキングオンオフ制御部３１に供給されることになる。尚、以上においては、予測移動位置を求めるに当たり、線形補間を用いるようにしていたが、それ以外の方法により計算するようにしてもよい。また、線形補間の場合、少なくとも２個以上の座標位置の情報が必要となるため、顔画像位置記憶部２９に記憶されている情報が、２個以上の場合にのみ、以上の処理を実行するようにしても良い。
【０１０７】
次に、図１４のフローチャートを参照して、マスキングオンオフ制御処理について説明する。
【０１０８】
ステップＳ１３１において、マスキングオンオフ制御部３１は、顔画像移動位置予測部３０より予測移動位置の情報が供給されてきたか否かを判定する。ステップＳ１３１において、供給されてきていないと判定された場合、ステップＳ１３２において、マスキングオンオフ制御部３１は、顔画像位置記憶部２９にアクセスし、各顔画像ID毎に最新の位置情報を取得すると共に、マスキング処理部２３よりマスキング領域の情報を取得し、記憶されている今現在の顔画像の位置情報のうち、マスキング領域内に存在するものがあるか否かを判定する。
【０１０９】
ステップＳ１３２において、例えば、図１５の画像Ｐで示される顔画像Ｆ１乃至Ｆ３に対応する顔画像の位置情報のみが顔画像位置記憶部２９に記憶されていた場合、マスキング領域Ｍに含まれるものは無いことになるため、ステップＳ１３３において、マスキングオンオフ制御部３１は、スイッチ２２を制御して、端子２２ａと端子２２ｂとを接続することにより、スイッチ２２をマスキング処理部２３に接続して、画像取得部２１より供給される画像が、マスキング処理部２３により必ずマスキングされるように制御する。
【０１１０】
一方、ステップＳ１３２において、例えば、顔画像Ｆ４乃至Ｆ６の位置情報が顔画像位置記憶部２９に記憶されている場合、今現在の顔画像の位置情報のうち、マスキング領域内に存在するものがあることになるため、ステップＳ１３５において、マスキングオンオフ制御部３１は、スイッチ２２を制御して、端子２２ａと端子２２ｃとを接続することにより、スイッチ２２を顔画像抽出部２４に接続して、画像取得部２１より供給される画像が、マスキング処理部２３を介さず、マスキングされないまま、顔画像抽出部２４に供給されるように制御する。
【０１１１】
また、ステップＳ１３１において、例えば、図１３のフローチャートにおけるステップＳ１１４の処理により、予測移動位置が供給されてきた場合、ステップＳ１３４において、スイッチオンオフ制御部３１は、予測移動位置のうち、マスキング領域内となるものがあるか否かを判定する。すなわち、図１５で示されるように、顔画像Ｆ１乃至Ｆ３の位置情報に基づいて、顔画像顔画像Ｆ４が予測移動位置として求められた場合、その処理は、ステップＳ１３５に進む。
【０１１２】
一方、ステップＳ１３４において、予測移動位置のうち、マスキング領域内となるものがないと判定された場合、その処理は、ステップＳ１３２に進む。
【０１１３】
すなわち、以上の処理により、予測移動位置が求められ、マスキング領域Ｍに含まれると判定された場合、マスキング領域Ｍに含まれないと判定された場合であっても、今現在記憶されている最新の顔画像の位置情報がマスキング領域Ｍ内に存在するとき、または、予測移動位置が求められず、今現在記憶されている最新の顔画像の位置情報がマスキング領域Ｍ内に存在する場合、マスキング処理部２３により画像にマスキング処理が施されると、それまで追跡していた顔画像がマスキングにより抽出できない状態となる。結果として、同一人物の顔画像を同一人物として（同一の顔画像IDとして）追跡ができなくなる恐れがあるため、スイッチ２２を制御して、画像処理部２１からの画像にマスキング処理を施さないように制御する。
【０１１４】
一方、予測移動位置が求められず、かつ、今現在記憶されている最新の顔画像の位置情報がマスキング領域Ｍ内に存在しない予測移動位置が求められる場合、または、予測移動位置が求められたとしても、マスキング領域Ｍに含まれないと判定され、かつ、今現在記憶されている最新の顔画像の位置情報がマスキング領域Ｍ内に存在しない場合、マスキング処理部２３により画像にマスキング処理を施すようにしても、それまで追跡していた顔画像はないため、不要な顔画像（例えば、図２のポスタＢ１上の顔画像など）が抽出されることがなくなるため、スイッチ２２を制御して、画像処理部２１からの画像にマスキング処理を施すように制御する。
【０１１５】
以上の処理により、例えば、図１５で示されるように、顔画像Ｆ１乃至Ｆ３を順次取得することにより、顔画像Ｆ４が次のタイミングで取得される顔画像の予測移動位置として計算されることにより、マスキング領域Ｍの範囲内に進入することが予測される。このとき、スイッチ２２は、端子２２ａと端子２２ｂとが接続された状態から端子２２ａと端子２２ｃとが接続される状態となるように切り替えられることによりマスキング処理部２３による処理が解除された状態となるため、マスキング領域Ｍの範囲内であっても顔画像Ｆ４乃至Ｆ６を抽出することができる。さらに、人物が移動し、顔画像Ｆ７で示されるように、マスキング領域Ｍの範囲から抜け出ると、移動位置記憶部２９には、マスキング領域Ｍの範囲内に含まれる顔画像がない状態となるので、スイッチ２２は、端子２２ａと端子２２ｃとが接続された状態から端子２２ａと端子２２ｂとが接続される状態となるように切り替えられることによりマスキング処理部２３による処理が再び施される状態となるため、マスキング領域Ｍによりマスクされているポスタ上に描かれた顔画像が検出されない状態となる。結果として、人物の動きに合わせて、連続的に顔画像Ｆ１乃至Ｆ７を同一人物の顔画像として追跡しながら抽出することが可能となる。
【０１１６】
換言すれば、追跡している顔画像のマスキング領域への接近を予測することにより、必要に応じてマスキング処理を停止させるようにしたので、ポスタなどに描かれている不要な顔画像を検出させて認識するような処理を低減させつつ、顔画像を正確に追跡することが可能となる。
【０１１７】
尚、マスキング処理を一度停止させた後は、予測移動位置がマスキング領域から外れているタイミングではなく、今現在の顔画像の移動位置がマスキング領域から外れているタイミングで、再びマスキング処理を実行させている。これは、予測移動位置が仮にマスキング領域の外であったとしても、あくまで予測される移動位置なのであって、予測通りの動きとならないこともあり、予測された段階でマスキング処理を再度実行させることにより、顔画像を見失うといったことを防止するためである。以上のようにスイッチ２２を制御することにより、同一人物の移動する顔画像を見失うことなく追跡することが可能となる。
【０１１８】
また、以上においては、１つの顔画像を追跡する例について説明してきたが、当然のことながら、複数の顔画像であっても追跡することは可能である。ただし、同一の顔画像IDに登録された、連続的に所定の距離内に存在する顔画像のみであるので、例えば、図１６で示されるように顔画像Ｆ１１乃至Ｆ１４により顔画像Ｆ１５が予測位置として求められていても、振り返るなどして顔画像として認識できなくなると同時に、新たな人物の顔画像Ｆ２１が抽出された場合には、別の人物として追跡することになる（別の顔画像IDとして位置情報が管理される）。
【０１１９】
以上の如く、本発明の一側面の画像処理装置および方法、並びにプログラムによれば、画像より顔画像を抽出し、抽出する顔画像の画像内での移動位置を連続的に記憶し、記憶した顔画像の移動位置を予測し、前記画像の所定の領域に、顔画像の抽出が不能なマスキング領域を発生し、予測された顔画像の移動位置が、マスキング領域に含まれる場合、マスキング領域を発生しないように切り替えるようにしたので、ポスタや立看板などに含まれる顔画像を効果的にマスキングし、不要な顔画像認識処理を排除しつつ、顔画像を正確に追跡することが可能となる。
【０１２０】
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２１】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)３０１を内蔵している。CPU３０１にはバス３０４を介して、入出力インタフェース３０５が接続されている。バス３０４には、ROM(Read Only Memory)３０２およびRAM(Random Access Memory)３０３が接続されている。
【０１２２】
入出力インタフェース３０５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部３０６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部３０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部３０８、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部３０９が接続されている。また、磁気ディスク３２１（フレキシブルディスクを含む）、光ディスク３２２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３２３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３２４などの記録媒体に対してデータを読み書きするドライブ３１０が接続されている。
【０１２３】
CPU３０１は、ROM３０２に記憶されているプログラム、または磁気ディスク３２１乃至半導体メモリ３２４から読み出されて記憶部３０８にインストールされ、記憶部３０８からRAM３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２４】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１２５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１２６】
【図１】従来の顔画像抽出処理を説明する図である。
【図２】従来の顔画像抽出処理を説明する図である。
【図３】従来の顔画像抽出処理を説明する図である。
【図４】本発明を適用した登録遊技者来店報知システムの一実施の形態の構成を示す図である。
【図５】図４のカメラの配置例を説明する図である。
【図６】図４の画像処理ユニットの一実施の形態の構成を示す図である。
【図７】図４の顔認識サーバの一実施の形態の構成を示す図である。
【図８】登録遊技者報知処理を説明するフローチャートである。
【図９】顔画像抽出処理を説明するフローチャートである。
【図１０】顔画像位置記憶処理を説明するフローチャートである。
【図１１】顔画像位置記憶処理を説明する図である。
【図１２】顔画像位置記憶部に記憶されている顔画像位置情報を説明する図である。
【図１３】顔画像位置予測処理を説明するフローチャートである。
【図１４】マスキングオンオフ制御処理を説明するフローチャートである。
【図１５】マスキングオンオフ制御処理を説明する図である。
【図１６】複数の人物を扱う場合の例を説明する図である。
【図１７】媒体を説明する図である。
【符号の説明】
【０１２７】
１，１−１乃至１−５ カメラ
２ 画像処理ユニット
３ 顔認識サーバ
４ 報知部
２１ 画像取得部
２２ スイッチ
２３ マスキング処理部
２４ 顔画像抽出部
２６ 送信部
２７ 顔画像位置取得部
２８ 顔画像ID付加部
２９ 顔画像位置記憶部
３０ 顔画像移動位置予測部
３１ スイッチオンオフ制御部
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、顔画像による登録者の誤検出を低下させるとともに、同一人物の顔画像を正確に追跡することで検出率を向上させるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
登録者が到来したことを報知する技術が一般に普及しつつある。
【０００３】
例えば、パチンコ店やパチスロ店に代表される遊技店の出入口に監視カメラを配置し、監視カメラで撮像できた遊技者の顔画像と、予め登録された登録遊技者の顔画像とを顔認識技術を用いて検索し、登録遊技者が来店した際に、登録された遊技者が来店したことを報知するものが提案されている。
【０００４】
しかしながら、例えば、出入口付近に設けられた監視カメラにより撮像された画像から抽出される顔画像を用いて登録遊技者を検出する手法においては、撮像領域内にポスタ、または立看板等人物顔画像以外の顔画像が存在した場合、ポスタ等の顔画像を、来店者の顔画像として検出してしまう事があり、不要な顔画像認識処理を繰り返してしまうことがあった。
【０００５】
すなわち、例えば、図１で示されるような、扉D上に、ポスタＢ１，Ｂ２が貼り付けられているような画像が、カメラで撮像されていた場合、ポスタＢ１上には、人物の顔画像が描かれているため、このポスタＢ１上の顔画像が来店者の顔画像として検出されてしまうことがあり、結果として、不要な顔画像認識処理が繰り返されてしまうことがあった。
【０００６】
そこで、監視を目的とした撮像領域に対して、監視不要領域を設定し、マスキングするといった手法が提案されている（例えば、特許文献１参照）。
【０００７】
すなわち、図２で示されるように、ポスタＢ１上の顔画像が描かれている領域に、マスキング領域（監視不要領域）Ｍを設定することにより、ポスタＢ１上の特に顔画像が描かれている領域がマスクされるので、不要な顔画像が検出されなくなるというものである。
【０００８】
また、マスキング領域Ｍの設定及び解除を行う方法として、マスキング領域Ｍごとに番号付けを行い、マスキング領域Ｍを付与した番号に基づいて設定、または解除する技術が提案されている（例えば、特許文献２参照）。
【０００９】
【特許文献１】特開平０８−２８７２３２号公報
【特許文献２】特開２００４−１１８５５８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記の手法においては、取得された画像の条件によっては監視不要領域（マスキング領域）は解除されず、マスキング領域において検出したい物体の検出が行えないことがあった。また、撮像領域の顔画像を追跡して検出する方法においては、撮像人物の顔画像がマスキング範囲内を通過して、再び撮像領域を移動する際、マスキング範囲の大きさによっては、顔画像の追跡が中断されてしまう為にマスキング範囲通過前と通過後とで異なる人物の顔画像を追跡してしまう事があった。
【００１１】
すなわち、図３で示されるように、顔画像ｆ１乃至ｆ３は、それぞれの画像が近いため、人物Ｈの動きに合わせて、矢印方向に追跡することができ、このように追跡することにより、同一人物の顔画像を追跡しつつ顔画像を取得することができる。しかしながら、人物Ｈが移動し、例えば、人物Ｈ’のように移動した場合、顔画像ｆ３の次の移動先である顔画像ｆ４は、マスキング領域Ｍに含まれることになるため、人物Ｈ’の顔画像をそれ以降見失うことになり、同一の人物の顔画像としての追跡ができなくなるということがあり、新たな別の人物として追跡する必要があった。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、特に、ポスタや立看板などに含まれる顔画像を効果的にマスキングし、不要な顔画像認識処理を排除しつつ、顔画像を正確に追跡できるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の画像処理装置は、画像より顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段と、前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段と、前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段と、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段とを含む。
【００１４】
前記移動位置記憶手段には、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を、前記顔画像に設定される顔画像IDに対応付けて連続的に記憶させることができる。
【００１５】
前記顔画像抽出手段により抽出される顔画像のうち、同一の顔画像には同一の顔画像IDを設定する顔画像ID設定手段を含ませるようにすることができる。
【００１６】
前記顔画像ID設定手段には、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在しない場合、前記最新の前記顔画像に新たな顔画像IDを設定させるようにすることができ、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から前記所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在している場合、前記最新の前記顔画像に、直前のタイミングで記憶されている前記画像内での移動位置が記録されている顔画像の顔画像IDを設定させるようにすることができる。
【００１７】
前記予測手段には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報に基づいて、前記画像の移動位置を予測させるようにすることができる。
【００１８】
前記予測手段には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報を線形補間することにより、前記画像の移動位置を予測させるようにすることができる。
【００１９】
前記切替手段には、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えた後、前記移動位置記憶手段に直前のタイミングで記憶されている顔画像の画像内での移動位置のうち、前記マスキング領域に含まれるものがない場合、再び前記マスキング領域が発生するように切り替えるようにさせることができる。
【００２０】
本発明の監視装置には、前記登録者の顔画像を蓄積する蓄積手段と、請求項１に記載のマスキング領域を発生するマスキング領域発生手段と、前記顔画像抽出手段により抽出される顔画像より、前記顔画像を認識するための特徴量に基づいて、前記顔画像抽出手段により抽出された顔画像と、前記蓄積手段に蓄積された登録者の顔画像との類似度を計算する類似度計算手段と、前記類似度計算手段により計算された類似度に基づいて、前記登録者が到来したか否かを判定する判定手段とを含ませるようにすることができる。
【００２１】
本発明の一側面の画像処理方法は、画像より顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップとを含む。
【００２２】
本発明の一側面のプログラムは、画像より顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップとを含む処理をコンピュータに実行させる。
【００２３】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像より顔画像が抽出され、抽出される顔画像の画像内での移動位置が連続的に記憶され、記憶された前記顔画像の移動位置が予測され、前記画像の所定の領域に、顔画像の抽出が不能なマスキング領域が発生され、予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えられる。
【００２４】
本発明の一側面の画像処理装置における、画像より顔画像を抽出する顔画像抽出手段とは、例えば、顔画像抽出部である。前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段とは、例えば、顔画像位置記憶部である。前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段とは、例えば、顔画像移動位置予測部である。前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段とは、例えば、マスキング処理部である。前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段とは、例えば、マスキングオンオフ制御部である。
【００２５】
すなわち、次のタイミングでの顔画像の移動位置が、マスキング領域に含まれることが、顔画像移動位置予測部により予測されるとき、マスキング領域が画像内に発生しないように切り替えられることになる。通常であれば、マスキング領域に顔画像が移動すると顔画像が抽出できない状態となるため、連続的に顔画像を追跡することができなかったが、本発明により、マスキング領域内に顔画像が含まれることが予測されればマスキング領域が発生しないことにより、連続的に顔画像を追跡することが可能となる。しかも、マスキング領域内に顔画像が含まれると予測されるまでは、マスキング領域は設定される事になるので、画像内でその位置にポスタなどの顔画像として誤検出しそうな画像があったとしても、誤検出されないようにすることが可能となる。
【発明の効果】
【００２６】
本発明の一側面によれば、画像内の顔画像を連続的に追跡することが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２８】
すなわち、本発明の一側面の画像処理装置は、画像より顔画像を抽出する顔画像抽出手段（例えば、図６の顔画像抽出部２４）と、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段（例えば、図６の顔画像位置記憶部２９）と、前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段（例えば、図６の顔画像移動位置予測部３０）と、前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段（例えば、図６のマスキング処理部２３）と、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段（例えば、図６のマスキングオンオフ制御部３１）とを含む。
【００２９】
前記移動位置記憶手段（例えば、図６の顔画像位置記憶部２９）には、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を、前記顔画像に設定される顔画像IDに対応付けて連続的に記憶させることができる。
【００３０】
前記顔画像抽出手段（例えば、図６の顔画像抽出部２４）により抽出される顔画像のうち、同一の顔画像には同一の顔画像IDを設定する顔画像ID設定手段（例えば、図６の顔画像ID付加部２８）を含ませるようにすることができる。
【００３１】
前記顔画像ID設定手段（例えば、図６の顔画像ID付加部２８）には、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在しない場合、前記最新の前記顔画像に新たな顔画像IDを設定させるようにすることができ、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から前記所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在している場合、前記最新の前記顔画像に、直前のタイミングで記憶されている前記画像内での移動位置が記録されている顔画像の顔画像IDを設定させるようにすることができる。
【００３２】
前記予測手段（例えば、図６の顔画像移動位置予測部３０）には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報に基づいて、前記画像の移動位置を予測させるようにすることができる。
【００３３】
前記予測手段（例えば、図６の顔画像移動位置予測部３０）には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報を線形補間することにより、前記画像の移動位置を予測させるようにすることができる。
【００３４】
前記切替手段（例えば、図６のマスキングオンオフ制御部３１）には、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えた後、前記移動位置記憶手段に直前のタイミングで記憶されている顔画像の画像内での移動位置のうち、前記マスキング領域に含まれるものがない場合、再び前記マスキング領域が発生するように切り替えるようにさせることができる。
【００３５】
本発明の監視装置には、前記登録者の顔画像を蓄積する蓄積手段（例えば、図７の登録遊技者データベース５３）と、請求項１に記載のマスキング領域を発生するマスキング領域発生手段（例えば、図６のマスキング処理部２３）と、前記顔画像抽出手段により抽出される顔画像より、前記顔画像を認識するための特徴量に基づいて、前記顔画像抽出手段（例えば、図６の顔画像抽出部２４）により抽出された顔画像と、前記蓄積手段に蓄積された登録者の顔画像との類似度を計算する類似度計算手段（例えば、図７の類似度計算部５２）と、前記類似度計算手段により計算された類似度に基づいて、前記登録者が到来したか否かを判定する判定手段（例えば、図７の判定部５４）とを含ませるようにすることができる。
【００３６】
本発明の一側面の画像処理方法およびプログラムは、画像より顔画像を抽出する顔画像抽出ステップ（例えば、図９のフローチャートにおけるステップＳ６８の処理）と、前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップ（例えば、図１０のフローチャートにおけるステップＳ９７の処理）と、前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップ（例えば、図１３のフローチャートにおけるステップＳ１１３の処理）と、前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップ（例えば、図９のフローチャートにおけるステップＳ６５の処理）と、前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップ（例えば、図１４のフローチャートにおけるステップＳ１３５の処理）とを含む画像処理方法。
【００３７】
図４は、本発明に係る遊技店の登録遊技者来店報知システムの一実施の形態の構成を示す図である。
【００３８】
カメラ１−１乃至１−３は、図５で示されるように、遊技店の出入口付近に設けられた監視カメラであり、来店する遊技者を撮像し、撮像した画像を画像処理ユニット２−１乃至２−３に供給する。尚、カメラ１−１乃至１−３または画像処理ユニット２−１乃至２−３は、夫々区別する必要の無い場合、単に、カメラ１または画像処理ユニット２と称するものとし、その他の構成も同様に称するものとする。また、図５の例においては、カメラ１が遊技店内の３箇所に設置される場合の例が示されているが、設置個所の数はそれ以外の数であってもよい。さらに、カメラ１は、それぞれパンチルト機能や望遠機能などを備えるようにしてもよい。また、図４においては、カメラ１に対して、画像処理ユニット２が一対一で対応するように設けられているが、画像処理ユニット２が、複数のカメラ１に対して、例えば、時分割処理するなどして並列的に処理ができるような場合、一対一で設ける必要が無く、例えば、１台の画像処理ユニット２が、複数のカメラ１−１乃至１−５から供給されてくる画像に対して処理するようにしても良い。
【００３９】
画像処理ユニット２−１乃至２−３は、それぞれカメラ１−１乃至１−３より供給されてくる撮像された画像に基づいて、画像内の来店する遊技者の顔画像を抽出し、顔認識サーバ３に供給する。
【００４０】
顔認識サーバ３は、画像処理ユニット２より供給された顔画像を取得し、予め登録されている登録遊技者の顔画像と比較して照合することにより、供給された顔画像が登録遊技者のものであるか否かを判定する。また、顔認識サーバ３は、判定結果、および顔画像を報知部４に供給する。
【００４１】
報知部４は、顔認識サーバ３より供給される顔画像、および登録遊技者判定処理に基づいた判定結果の情報を取得した場合、登録遊技者を示す顔画像の取得により、登録遊技者来店情報を発生し、遊技店の係員に対して報知する。
【００４２】
次に、図６を参照して、画像処理ユニット２の一実施の形態の構成について説明する。
【００４３】
画像取得部２１は、カメラ１より供給されてくる撮像された画像を取得し、スイッチ２２を介して、マスキング処理部２３、または顔画像抽出部２４に供給する。スイッチ２２は、マスキングオンオフ制御部３１により制御され、端子２２ａと端子２２ｂ、または、端子２２ａと端子２２ｃとに接続されることにより、画像取得部２１により取得された画像をマスキング処理部２３または顔画像抽出部２４に供給する。
【００４４】
マスキング処理部２３は、画像取得部２１より供給されてくる画像のうち、例えば、図２で示したように、ポスタＢ１などのように顔画像が含まれる領域をマスキング領域Ｍによりマスキングして、顔画像抽出部２４に供給する。マスキング処理部２３は、マスキング領域Mの位置情報が設定された場合、その位置情報の情報をマスキングオンオフ制御部３１に供給する。
【００４５】
顔画像抽出部２４は、マスキング処理部２３のマスキング処理によりマスキングが施されている画像より顔画像を抽出して顔認識サーバ３に供給する。より詳細には、顔画像抽出部２４は、画像中の配色により顔を構成する目、鼻、口、または、耳といった各種の部位を構成する配置のパターンから顔が表示されているものと認識される領域を矩形状の顔画像として抽出し、送信部２６および顔画像位置取得部２７に供給する。このとき、顔画像抽出部２４は、顔画像を抽出したタイミングでRTC２５に問合せて顔画像を抽出した時刻を取得し、取得した時刻の情報、入力画像、および顔画像を送信部２６、および顔画像位置取得部２７に供給する。
【００４６】
すなわち、顔画像抽出部２４は、スイッチ２２の接続状態により、画像取得部２１により取得された画像に対して、マスキング処理部２３によりマスキング領域が設定されている画像、または、マスキング領域が設定されていない画像のいずれかより顔画像を抽出する。
【００４７】
RTC（Real Time Clock）２５は、時刻情報を発生しており、顔画像抽出部２４より時刻の情報が要求されると、その時点での時刻情報を顔画像抽出部２４に供給する。すなわち、RTC２５の時刻情報により、抽出された顔画像は1枚1枚識別することが可能となる。
【００４８】
送信部２６は、顔画像抽出部２４より供給されてきた顔画像と、顔画像ID付加部２８より顔画像が抽出された顔画像IDとを時刻情報に対応付けて顔認識サーバ３に供給する。すなわち、送信部２６は、顔画像に付されている時刻情報と、顔画像IDに付されている時刻情報が同一となるもの同士を組にして顔認識サーバ３に送信する。
【００４９】
顔画像位置取得部２７は、顔画像抽出部２４より供給されてくる入力画像、顔画像が取得された時刻情報、および顔画像に基づいて、顔画像の画像上の位置座標を位置情報として求めて、顔画像が抽出されたタイミングの時刻情報と共に顔画像ID付加部２８に供給する。より詳細には、顔画像位置取得部２７は、矩形状の顔画像の4箇所の角の位置の画像上の位置座標を位置情報として取得し、顔画像を取得した時刻と共に、顔画像ID付加部２８に供給する。
【００５０】
顔画像ID付加部２８は、顔画像位置取得部２７より供給された顔画像の位置情報を取得すると共に、顔画像位置記憶部２９に顔画像ID毎に記憶されている、最新の顔画像の位置情報とを比較し、それぞれの重心位置が所定の距離内となっている位置情報を検索する。このとき、顔画像位置記憶部２９に顔画像ID毎に記憶されている、最新の顔画像の位置情報のうち、顔画像位置取得部２７より供給された顔画像の位置情報の重心位置が所定の距離内の位置情報が検索できない場合、顔画像ID付加部２８は、新たな顔画像IDを発行し、発行した顔画像IDに対応付けて位置情報を顔画像位置記憶部２９に記憶させると共に、発行した顔画像IDを、顔画像位置取得部２７より供給された顔画像を取得した時刻情報と共に送信部２６に供給する。一方、顔画像位置記憶部２９に顔画像ID毎に記憶されている、最新の顔画像の位置情報のうち、顔画像位置取得部２７より供給された顔画像の位置情報の重心位置が所定の距離内の位置情報が検索できた場合、顔画像ID付加部２８は、検索できた位置情報に対応付けられている顔画像IDを、顔画像位置記憶部２９より読み出し、顔画像位置取得部２７より供給された顔画像が取得された時刻情報と共に、送信部２６に供給する。
【００５１】
顔画像位置記憶部２９は、顔画像ID毎に、顔画像が取得された位置情報を順次記憶する。
【００５２】
顔画像移動位置予測部３０は、顔画像位置記憶部２９に顔画像ID単位で記憶されている顔画像の位置情報の情報を用いて、次のタイミングで取得されるであろう顔画像の位置情報を、顔画像ID毎に線形補間することにより予測し、予測結果をマスキングオンオフ制御部３１に供給する。
【００５３】
マスキングオンオフ制御部３１は、顔画像移動位置予測部３１より供給されてくる、次のタイミングで顔画像が取得されるであろう位置が、マスキング処理部２３より供給されてくるマスキング領域Mに含まれるか否かを判定し、含まれるとき、スイッチ２２を制御して、端子２２ａと端子２２ｃとを接続し、マスキング処理部２３をバイパスさせて顔画像取得部２１と顔画像抽出部２４とを接続する。また、マスキングオンオフ制御部３１は、顔画像位置記憶部２９に顔画像ID毎に記憶されている位置座標としての位置情報のいずれかに、マスキング処理部２３より供給されてくるマスキング領域Mを含むものがあるか否かを判定し、いずれにも含まない場合、スイッチ２２を制御して端子２２ａと端子２２ｂを接続し、顔画像取得部２１とマスキング処理部２３とを接続する。
【００５４】
次に、図７を参照して、顔認識サーバ３の一実施の形態の構成について説明する。
【００５５】
顔画像取得部５１は、画像処理ユニット２より供給される顔画像を取得し、類似度計算部５２に供給する。類似度計算部５２は、顔画像取得部５１より供給された顔画像と登録遊技者データベース５３に登録されている顔画像とを一つ一つ比較して照合し、類似度を計算して、計算結果を判定部５４に供給する。より具体的には、類似度計算部５２は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量を求めて、それぞれの差分和、平均比率、または比率和などを類似度として求める。さらに、類似度計算部５２は、顔画像毎に求められた登録遊技者の顔画像毎の類似度のうち、最も高い類似度を示す登録遊技者の顔画像、および、撮像された顔画像との類似度を判定部５４に供給する。尚、類似度の計算方法は、その他の方法であってもよいことは言うまでもない。また、登録遊技者データベース５３に登録されている登録遊技者の顔画像については、新たな登録遊技者を随時更新できるようにしても良い。
【００５６】
判定部５４は、類似度計算部５２より供給された顔画像IDが付された顔画像毎の類似度について、登録遊技者データベース５３に登録された顔画像毎に設定された所定の閾値と比較し、比較結果に基づいて、供給された顔画像が登録遊技者の顔画像であるか否かを判定し、判定結果を報知部４に供給する。
【００５７】
尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、判定部５４は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、０乃至１の範囲で所定の値以上であって、１に近い値であれば、同一の人物であるとみなすことができる。
【００５８】
次に、図８のフローチャートを参照して、図１の登録遊技者来店報知システムにおける登録遊技者報知処理について説明する。
【００５９】
ステップＳ１において、カメラ１は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。所定の時間としては、監視のサンプリングレートにより任意の時間に設定できるようにしてもよく、例えば、250ｍ秒くらいでもよい。
【００６０】
ステップＳ１において、所定の時間が経過したと判定された場合、ステップＳ２において、カメラ１は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット２に供給する。
【００６１】
ステップＳ３において、画像処理ユニット２は、供給された画像を取得し、図９を参照して後述する顔画像抽出処理を実行して顔画像を抽出する。
【００６２】
ステップＳ４において、送信部２６は、抽出された顔画像を顔画像IDと共に顔認識サーバ３に送信する。
【００６３】
ステップＳ２１において、顔認識サーバ３の顔画像取得部５１は、顔画像を取得する。ステップＳ２２において、顔画像抽出部８１は、供給された顔画像のうち、いずれか未処理の１つを抽出し、類似度計算部５２に供給する。
【００６４】
ステップＳ２３において、類似度計算部５２は、登録遊技者データベース５３に予め登録されている各登録遊技者の顔画像と、抽出された顔画像との類似度を計算する。
【００６５】
この登録遊技者データベース５３の情報に基づいて、類似度計算部５２は、顔画像取得部５１より供給された顔画像について、上述したような、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量を求めて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、最も類似している登録遊技者の類似度、および、顔画像を判定部５４に供給する。
【００６６】
ステップＳ２４において、判定部５４は、類似度計算部５２より供給された類似度が所定の閾値よりも大きいか否かを判定する。すなわち、ここでは、類似度が高ければ高いほど、登録遊技者の顔画像と、撮像された顔画像とが類似しているものとみなされるので、撮像された顔画像と、最も似ている登録遊技者の顔画像の類似度が所定の閾値と比較される。尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。
【００６７】
ステップＳ２４において、類似度計算部５２より供給された類似度が閾値（登録遊技者であると判定される類似度の閾値）よりも大きいと判定された場合、ステップＳ２５において、判定部５４は、抽出された顔画像が登録遊技者の顔画像であるとみなし、抽出された顔画像を報知部４に供給する。
【００６８】
ステップＳ４１において、報知部４は、例えば、ステップＳ２５の処理により、顔認識サーバ３より供給される顔画像を取得すると、ステップＳ４２において、図示せぬディスプレイやスピーカなどを制御して、登録遊技者が来店したことを報知する。
【００６９】
一方、ステップＳ２４において、類似度計算部５２より供給された類似度が閾値より大きくないと判定された場合、ステップＳ２５の処理がスキップされ、登録遊技者が来店しているとの通知がなされない。
【００７０】
ステップＳ２６において、顔画像抽出部８１は、全ての顔画像を処理したか否かを判定し、全ての顔画像について処理がなされていないと判定された場合、その処理は、ステップＳ２２に戻る。
【００７１】
さらに、ステップＳ２６において、全ての顔画像が処理されたと判定された場合、その処理は、ステップＳ２１に戻る。
【００７２】
以上の処理により、登録された顔画像がカメラにより撮像されると、登録遊技者が来店したことが報知される。
【００７３】
次に、図９のフローチャートを参照して、画像処理ユニット２による顔画像抽出処理について説明する。
【００７４】
ステップＳ６１において、画像取得部２１は、カメラ１より画像が供給されてきたか否かを判定し、供給されてくるまで、その処理を繰り返す。例えば、図８のステップＳ２の処理により、画像が撮像されたカメラ１から画像が供給されてきたと判定された場合、処理は、ステップＳ６２に進む。
【００７５】
ステップＳ６２において、画像取得部２１は、画像を取得する。
【００７６】
ステップＳ６３において、スイッチ２２が端子２２ａと端子２２ｂとが接続されている状態であるか否かが判定され、例えば、接続されている、すなわち、画像取得部２１の後段にスイッチ２２を介してマスキング処理部２３が接続された状態である場合、ステップＳ６４において、画像取得部２１は、カメラ１より取得した画像をマスキング処理部２３に供給する。
【００７７】
ステップＳ６５において、マスキング処理部２３は、画像取得部２１より供給さて来た画像に対して所定のパターンのマスキングを施し、顔画像抽出部２４に供給する。すなわち、例えば、図３で示されているように、マスキング領域Ｍを所定のマスキングパターンとして画像に対して施し、顔画像抽出部２４に供給する。
【００７８】
ステップＳ６６において、顔画像抽出部２４は、供給された画像より遊技者の顔画像を抽出すると共に、顔画像を抽出した時刻をRTC２５に問い合わせ、顔画像と、顔画像を抽出した時刻情報とをペアにして保持する。より具体的には、顔画像抽出部２４は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像のパターンを検索し、検索された画像を顔画像として抽出する。
【００７９】
ステップＳ６７において、顔画像抽出部２４は、顔画像のパターンが検索されたか否かを判定する。すなわち、ステップＳ６６の処理において、例えば、少なくとも１つ以上の顔画像が検索されれば、その検出された顔画像と、抽出された時刻情報とがペアになった情報が保持されているので、顔画像のパターンが検出されたとみなされ、その処理は、ステップＳ６８に進む。一方、ステップＳ６７において、顔画像のパターンが検出されなかった場合、この処理は終了する。
【００８０】
ステップＳ６８において、顔画像抽出部２４は、１つの顔画像を抽出し、ステップＳ６９において、時刻情報を付加して送信部２６、および顔画像位置取得部２７に出力する。このとき、顔画像抽出部２４は、顔画像位置取得部２７において、顔画像の位置を取得させるために、供給されてきた画像も合わせて出力する。
【００８１】
ステップＳ７０において、顔画像位置取得部２７および顔画像ID付加部２８は、顔画像位置記憶処理を実行し、供給されてきた顔画像に顔画像IDを付し、顔画像位置記憶部２９に、顔画像IDに対応付けて、位置情報を記憶させる。
【００８２】
ここで、図１０のフローチャートを参照して、顔画像位置記憶処理について説明する。
【００８３】
ステップＳ９１において、顔画像位置取得部２７は、顔画像抽出部２４より顔画像が供給されてきたか否かを判定し、供給されてくるまで、その処理を繰り返し、例えば、図９のフローチャートにおけるステップＳ６９の処理により、顔画像が供給されてきた場合、その処理は、ステップＳ９２に進む。
【００８４】
ステップＳ９２において、顔画像位置取得部２７は、供給されてきた顔画像と共に、顔画像が抽出された画像を取得し、画像中の顔画像の４つの角の位置座標を取得し、位置情報として顔画像ID付加部２８に供給する。すなわち、例えば、図１１で示されるような画像Ｐから顔画像Ｆ３が抽出された場合、顔画像位置取得部２７は、矩形状の顔画像Ｆ３の４つの角の座標（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））を位置情報として取得し、顔画像が取得された時刻ｔと併せて、ｔ（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））を位置情報として顔画像ID付加部２８に供給する。
【００８５】
ステップＳ９３において、顔画像ID付加部２８は、供給されてきた顔画像の座標位置の情報に基づいて、その座標位置から所定の距離内に存在する記憶済みの顔画像の位置を検索する。例えば、それまでの処理により、図１２で示されるように、顔画像位置記憶部２９に、顔画像IDごとに顔画像の位置情報が記憶されていた場合、顔画像ID付加部２８は、ｔ（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））で示される顔画像の重心位置（（ｘａ＋ｘｂ＋ｘｃ＋ｘｄ）／４，（ｙａ＋ｙｂ＋ｙｃ＋ｙｄ）／４）と、記憶済みの最新の位置情報の重心位置との距離が所定の距離内に存在するものを検索する。
【００８６】
ここで、図１２には、左側の欄には顔画像IDが記録されており、今の場合、上から「AAA」、「BBB」、「CCC」が記録されている。また、右側の欄には顔画像IDに対応付けて位置情報が記憶されている。すなわち、顔画像ID＝「AAA」に対応して、ｔ1（（ｘ1，ｙ1），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）），ｔ３（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４））が記録され、顔画像ID＝「BBB」に対応して、ｔ２1（（ｘ１０1，ｙ１０1），（ｘ１０２，ｙ１０２），（ｘ１０３，ｙ１０３），（ｘ１０４，ｙ１０４））が記録され、顔画像ID＝「CCC」に対応して、ｔ４1（（ｘ２０1，ｙ２０1），（ｘ２０２，ｙ２０２），（ｘ２０３，ｙ２０３），（ｘ２０４，ｙ２０４）），ｔ５１（（ｘ２１1，ｙ２１1），（ｘ２１２，ｙ２１２），（ｘ２１３，ｙ２１３），（ｘ２１４，ｙ２１４））が記録されている。
【００８７】
図１２で示される顔画像位置記憶部２９の情報によれば、顔画像ID「AAA」の顔画像が、時刻ｔ1において、座標位置（（ｘ1，ｙ1），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４））で抽出され、さらに、その後、時刻ｔ３において、座標位置（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４））において抽出されていることが示され、顔画像ID「BBB」の顔画像が、時刻ｔ２1において、座標位置（（ｘ１０1，ｙ１０1），（ｘ１０２，ｙ１０２），（ｘ１０３，ｙ１０３），（ｘ１０４，ｙ１０４））において抽出されていることが示され、顔画像ID「CCC」の顔画像が、時刻ｔ４1において、座標位置（（ｘ２０1，ｙ２０1），（ｘ２０２，ｙ２０２），（ｘ２０３，ｙ２０３），（ｘ２０４，ｙ２０４））で抽出され、その後、時刻ｔ５１において、座標位置（（ｘ２１1，ｙ２１1），（ｘ２１２，ｙ２１２），（ｘ２１３，ｙ２１３），（ｘ２１４，ｙ２１４））で抽出されていることが示されている。
【００８８】
従って、図１２においては、これまでの処理により、顔画像ID「AAA」、「BBB」、および「CCC」で示される顔画像が抽出されており、それぞれの最近抽出された座標位置は、（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４）），（（ｘ１０1，ｙ１０1），（ｘ１０２，ｙ１０２），（ｘ１０３，ｙ１０３），（ｘ１０４，ｙ１０４））、および（（ｘ２１1，ｙ２１1），（ｘ２１２，ｙ２１２），（ｘ２１３，ｙ２１３），（ｘ２１４，ｙ２１４））となる。
【００８９】
そこで、顔画像ID付加部２８は、それぞれの重心位置（（ｘ１１＋ｘ１２＋ｘ１３＋ｘ１４）／４，（ｙ１１＋ｙ１２＋ｙ１３＋ｙ１４）／４），（（ｘ１０１＋ｘ１０２＋ｘ１０３＋ｘ１０４）／４，（ｙ１０１＋ｙ１０２＋ｙ１０３＋ｙ１０４）／４）、および（（ｘ２１１＋ｘ２１２＋ｘ２１３＋ｘ２１４）／４，（ｙ２１１＋ｙ２１２＋ｙ２１３＋ｙ２１４）／４）を求めて、これらの中から抽出されてきた顔画像の重心位置（（ｘａ＋ｘｂ＋ｘｃ＋ｘｄ）／４，（ｙａ＋ｙｂ＋ｙｃ＋ｙｄ）／４）と所定の距離内に存在するものを検索する。ここで、所定の距離内とは、図８のフローチャートにおけるステップＳ１において計測される所定の時間、すなわち、サンプリングレートにより次の画像が撮像されるまでの時間内に、人物が移動することにより顔画像が移動する可能性のある距離である。
【００９０】
ステップＳ９４において、例えば、重心位置（（ｘ１１＋ｘ１２＋ｘ１３＋ｘ１４）／４，（ｙ１１＋ｙ１２＋ｙ１３＋ｙ１４）／４），（（ｘ１０１＋ｘ１０２＋ｘ１０３＋ｘ１０４）／４，（ｙ１０１＋ｙ１０２＋ｙ１０３＋ｙ１０４）／４）、および（（ｘ２１１＋ｘ２１２＋ｘ２１３＋ｘ２１４）／４，（ｙ２１１＋ｙ２１２＋ｙ２１３＋ｙ２１４）／４）のうち、（（ｘ１１＋ｘ１２＋ｘ１３＋ｘ１４）／４，（ｙ１１＋ｙ１２＋ｙ１３＋ｙ１４）／４）が、図１１におけるF２の座標位置であって、（（ｘａ＋ｘｂ＋ｘｃ＋ｘｄ）／４，（ｙａ＋ｙｂ＋ｙｃ＋ｙｄ）／４）から所定の距離内であった場合、所定距離内に存在する記憶済みの最新の顔画像の座標位置があると判定され、ステップＳ９５において、顔画像ID付加部２８は、所定距離内に存在する記憶済みの最新の顔画像の座標位置に対応付けられた顔画像IDを、供給されてきた顔画像の顔画像IDとする。すなわち、今の場合、新たに供給されてきた顔画像F３の顔画像は、所定の距離内にそれまでに登録されていた顔画像Ｆ２の人物と同一人物であるものとみなされ、その座標位置に対応付けられた顔画像ID「AAA」が顔画像Ｆ３の顔画像IDとして割り付けられる。
【００９１】
ステップＳ９６において、顔画像ID付加部２８は、供給されてきた顔画像の座標位置の情報のうち、時刻情報と、割り付けられた顔画像IDを送信部２６に供給する。
【００９２】
ステップＳ９７において、顔画像ID付加部２８は、割り付けられた顔画像IDに対応付けて顔画像位置記憶部２９に記憶させる。すなわち、今の場合、顔画像ID付加部２８は、新たに供給されてきた顔画像に付された顔画像ID＝「AAA」に対応するｔ３（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４））の後方（図１２の右側）に、ｔ（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））を記憶させる。
【００９３】
一方、ステップＳ９４において、供給されてきた顔画像の位置情報から所定の範囲内に存在する記憶済みの最新の顔画像の位置情報が存在しないと判定された場合、ステップＳ９８において、顔画像ID付加部２８は、供給されてきた顔画像に対して新たな顔画像IDを発行して、供給されてきた顔画像の顔画像IDとする。すなわち、今の場合、新たに供給されてきた顔画像F３の顔画像は、所定の距離内にそれまでに登録されていた顔画像がないので、例えば、顔画像ID「DDD」といった、新しい顔画像IDが割り付けられる。従って、ステップＳ９７においては、図１２で示される左側の欄に新たに「DDD」が記録され、その顔画像IDに対応付けてｔ（（ｘa，ｙa），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ），（ｘｄ，ｙｄ））が記憶される。
【００９４】
ここで、図９のフローチャートの説明に戻る。
【００９５】
ステップＳ７１において、送信部２６は、顔画像抽出部２４より供給されてくる顔画像に、顔画像ID付加部２８より供給されてくる顔画像IDを付加する。すなわち、送信部２６は、顔画像抽出部２４より供給されてくる時刻情報が付加された顔画像と、顔画像ID付加部２８より供給されてくる時刻情報が付された顔画像IDとを取得し、同一の時刻情報を備えた顔画像に顔画像IDを付加する。
【００９６】
従って、例えば、ステップＳ６９の処理により、送信部２６は、顔画像取得部２４より時刻情報ｔが付された顔画像を取得した場合、顔画像ID付加部２８より、時刻情報ｔが付された顔画像ID＝「AAA」を取得したとき、同一の時刻情報ｔを備えた顔画像に顔画像ID＝「AAA」を付加する。
【００９７】
ステップＳ７２において、顔画像抽出部２４は、未処理の顔画像が存在するか否かを判定する。すなわち、顔画像抽出部２４は、供給された画像より複数の顔画像を抽出した場合、それらの全ての顔画像に対して処理を行ったか否かを判定する。
【００９８】
ステップＳ７２において、例えば、未処理の顔画像が存在する場合、その処理は、ステップＳ６８に戻る。すなわち、全ての抽出した顔画像に対して処理が施されるまで、ステップＳ６８乃至Ｓ７２の処理が繰り返される。一方、ステップＳ７２において、未処理の顔画像がないと判定された場合、その処理は、終了する。
【００９９】
以上の処理により、顔画像が、所定の距離内に連続して取得される場合、同一人物の顔画像であるものとして同一の顔画像IDが付され、それ以外の場合、新たな顔画像IDが付されていく。また、同一人物とみなされる顔画像の位置情報が、同一の顔画像IDに対応付けて順次蓄積されていくので、顔画像を連続的に追跡することが可能になり、その軌跡を蓄積していくことが可能となり、結果として、正確に同一人物の顔画像を追跡することが可能となる。
【０１００】
次に、図１３のフローチャートを参照して、顔画像位置予測処理について説明する。
【０１０１】
ステップＳ１１１において、顔画像移動位置予測部３０は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。例えば、ステップＳ１１１において、所定の時間が経過した場合、その処理は、ステップＳ１１２に進む。
【０１０２】
ステップＳ１１２において、顔画像移動位置予測部３０は、顔画像位置記憶部２９に記憶されている、未処理の顔画像IDの位置情報を取得する。すなわち、例えば、顔画像位置記憶部２９に、図１２で示される顔画像IDと、その位置情報が記憶されている場合、最初の処理であったとき、例えば、顔画像ID＝「AAA」のｔ1（（ｘ1，ｙ1），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４）），ｔ３（（ｘ１1，ｙ１1），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４））が取得されることになる。
【０１０３】
ステップＳ１１３において、顔画像移動位置予測部３０は、取得した各位置情報に基づいて、次のタイミングで移動することが予測される予測移動位置を線形補間により求める。すなわち、今の場合、例えば、顔画像移動位置予測部３０は、線形補間により顔画像ID「AAA」の予測移動位置を（（（ｘ１１）×２−（ｘ１），（ｙ１１）×２−（ｙ１）），（（ｘ１２）×２−（ｘ２），（ｙ１２）×２−（ｙ２）），（（ｘ１３）×２−（ｘ３），（ｙ１３）×２−（ｙ３）），（（ｘ１４）×２−（ｘ４），（ｙ１４）×２−（ｙ４）））として計算する。
【０１０４】
ステップＳ１１４において、顔画像移動位置予測部３０は、計算された顔画像の次のタイミングにおける予測移動位置をマスキングオンオフ制御部３１に供給する。
【０１０５】
ステップＳ１１５において、顔画像移動位置予測部３０は、未処理の顔画像IDがあるか否かを判定する。例えば、今の場合、顔画像ID＝「AAA」の処理がなされたので、顔画像ID＝「BBB」、「CCC」の顔画像の予測移動位置が求められていないため、未処理の顔画像IDがあると判定され、その処理は、ステップＳ１１２に戻る。すなわち、全ての顔画像IDについて予測移動位置が求められたと判定されるまで、ステップＳ１１２乃至Ｓ１１５の処理が繰り返される。そして、全ての顔画像IDについて予測移動位置が求められたと判定された場合、その処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
【０１０６】
すなわち、以上の処理により、顔画像位置記憶部２９に記憶されている顔画像の位置情報に基づいて、定期的に顔画像の予測移動位置が順次求められて、マスキングオンオフ制御部３１に供給されることになる。尚、以上においては、予測移動位置を求めるに当たり、線形補間を用いるようにしていたが、それ以外の方法により計算するようにしてもよい。また、線形補間の場合、少なくとも２個以上の座標位置の情報が必要となるため、顔画像位置記憶部２９に記憶されている情報が、２個以上の場合にのみ、以上の処理を実行するようにしても良い。
【０１０７】
次に、図１４のフローチャートを参照して、マスキングオンオフ制御処理について説明する。
【０１０８】
ステップＳ１３１において、マスキングオンオフ制御部３１は、顔画像移動位置予測部３０より予測移動位置の情報が供給されてきたか否かを判定する。ステップＳ１３１において、供給されてきていないと判定された場合、ステップＳ１３２において、マスキングオンオフ制御部３１は、顔画像位置記憶部２９にアクセスし、各顔画像ID毎に最新の位置情報を取得すると共に、マスキング処理部２３よりマスキング領域の情報を取得し、記憶されている今現在の顔画像の位置情報のうち、マスキング領域内に存在するものがあるか否かを判定する。
【０１０９】
ステップＳ１３２において、例えば、図１５の画像Ｐで示される顔画像Ｆ１乃至Ｆ３に対応する顔画像の位置情報のみが顔画像位置記憶部２９に記憶されていた場合、マスキング領域Ｍに含まれるものは無いことになるため、ステップＳ１３３において、マスキングオンオフ制御部３１は、スイッチ２２を制御して、端子２２ａと端子２２ｂとを接続することにより、スイッチ２２をマスキング処理部２３に接続して、画像取得部２１より供給される画像が、マスキング処理部２３により必ずマスキングされるように制御する。
【０１１０】
一方、ステップＳ１３２において、例えば、顔画像Ｆ４乃至Ｆ６の位置情報が顔画像位置記憶部２９に記憶されている場合、今現在の顔画像の位置情報のうち、マスキング領域内に存在するものがあることになるため、ステップＳ１３５において、マスキングオンオフ制御部３１は、スイッチ２２を制御して、端子２２ａと端子２２ｃとを接続することにより、スイッチ２２を顔画像抽出部２４に接続して、画像取得部２１より供給される画像が、マスキング処理部２３を介さず、マスキングされないまま、顔画像抽出部２４に供給されるように制御する。
【０１１１】
また、ステップＳ１３１において、例えば、図１３のフローチャートにおけるステップＳ１１４の処理により、予測移動位置が供給されてきた場合、ステップＳ１３４において、スイッチオンオフ制御部３１は、予測移動位置のうち、マスキング領域内となるものがあるか否かを判定する。すなわち、図１５で示されるように、顔画像Ｆ１乃至Ｆ３の位置情報に基づいて、顔画像顔画像Ｆ４が予測移動位置として求められた場合、その処理は、ステップＳ１３５に進む。
【０１１２】
一方、ステップＳ１３４において、予測移動位置のうち、マスキング領域内となるものがないと判定された場合、その処理は、ステップＳ１３２に進む。
【０１１３】
すなわち、以上の処理により、予測移動位置が求められ、マスキング領域Ｍに含まれると判定された場合、マスキング領域Ｍに含まれないと判定された場合であっても、今現在記憶されている最新の顔画像の位置情報がマスキング領域Ｍ内に存在するとき、または、予測移動位置が求められず、今現在記憶されている最新の顔画像の位置情報がマスキング領域Ｍ内に存在する場合、マスキング処理部２３により画像にマスキング処理が施されると、それまで追跡していた顔画像がマスキングにより抽出できない状態となる。結果として、同一人物の顔画像を同一人物として（同一の顔画像IDとして）追跡ができなくなる恐れがあるため、スイッチ２２を制御して、画像処理部２１からの画像にマスキング処理を施さないように制御する。
【０１１４】
一方、予測移動位置が求められず、かつ、今現在記憶されている最新の顔画像の位置情報がマスキング領域Ｍ内に存在しない予測移動位置が求められる場合、または、予測移動位置が求められたとしても、マスキング領域Ｍに含まれないと判定され、かつ、今現在記憶されている最新の顔画像の位置情報がマスキング領域Ｍ内に存在しない場合、マスキング処理部２３により画像にマスキング処理を施すようにしても、それまで追跡していた顔画像はないため、不要な顔画像（例えば、図２のポスタＢ１上の顔画像など）が抽出されることがなくなるため、スイッチ２２を制御して、画像処理部２１からの画像にマスキング処理を施すように制御する。
【０１１５】
以上の処理により、例えば、図１５で示されるように、顔画像Ｆ１乃至Ｆ３を順次取得することにより、顔画像Ｆ４が次のタイミングで取得される顔画像の予測移動位置として計算されることにより、マスキング領域Ｍの範囲内に進入することが予測される。このとき、スイッチ２２は、端子２２ａと端子２２ｂとが接続された状態から端子２２ａと端子２２ｃとが接続される状態となるように切り替えられることによりマスキング処理部２３による処理が解除された状態となるため、マスキング領域Ｍの範囲内であっても顔画像Ｆ４乃至Ｆ６を抽出することができる。さらに、人物が移動し、顔画像Ｆ７で示されるように、マスキング領域Ｍの範囲から抜け出ると、移動位置記憶部２９には、マスキング領域Ｍの範囲内に含まれる顔画像がない状態となるので、スイッチ２２は、端子２２ａと端子２２ｃとが接続された状態から端子２２ａと端子２２ｂとが接続される状態となるように切り替えられることによりマスキング処理部２３による処理が再び施される状態となるため、マスキング領域Ｍによりマスクされているポスタ上に描かれた顔画像が検出されない状態となる。結果として、人物の動きに合わせて、連続的に顔画像Ｆ１乃至Ｆ７を同一人物の顔画像として追跡しながら抽出することが可能となる。
【０１１６】
換言すれば、追跡している顔画像のマスキング領域への接近を予測することにより、必要に応じてマスキング処理を停止させるようにしたので、ポスタなどに描かれている不要な顔画像を検出させて認識するような処理を低減させつつ、顔画像を正確に追跡することが可能となる。
【０１１７】
尚、マスキング処理を一度停止させた後は、予測移動位置がマスキング領域から外れているタイミングではなく、今現在の顔画像の移動位置がマスキング領域から外れているタイミングで、再びマスキング処理を実行させている。これは、予測移動位置が仮にマスキング領域の外であったとしても、あくまで予測される移動位置なのであって、予測通りの動きとならないこともあり、予測された段階でマスキング処理を再度実行させることにより、顔画像を見失うといったことを防止するためである。以上のようにスイッチ２２を制御することにより、同一人物の移動する顔画像を見失うことなく追跡することが可能となる。
【０１１８】
また、以上においては、１つの顔画像を追跡する例について説明してきたが、当然のことながら、複数の顔画像であっても追跡することは可能である。ただし、同一の顔画像IDに登録された、連続的に所定の距離内に存在する顔画像のみであるので、例えば、図１６で示されるように顔画像Ｆ１１乃至Ｆ１４により顔画像Ｆ１５が予測位置として求められていても、振り返るなどして顔画像として認識できなくなると同時に、新たな人物の顔画像Ｆ２１が抽出された場合には、別の人物として追跡することになる（別の顔画像IDとして位置情報が管理される）。
【０１１９】
以上の如く、本発明の一側面の画像処理装置および方法、並びにプログラムによれば、画像より顔画像を抽出し、抽出する顔画像の画像内での移動位置を連続的に記憶し、記憶した顔画像の移動位置を予測し、前記画像の所定の領域に、顔画像の抽出が不能なマスキング領域を発生し、予測された顔画像の移動位置が、マスキング領域に含まれる場合、マスキング領域を発生しないように切り替えるようにしたので、ポスタや立看板などに含まれる顔画像を効果的にマスキングし、不要な顔画像認識処理を排除しつつ、顔画像を正確に追跡することが可能となる。
【０１２０】
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２１】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)３０１を内蔵している。CPU３０１にはバス３０４を介して、入出力インタフェース３０５が接続されている。バス３０４には、ROM(Read Only Memory)３０２およびRAM(Random Access Memory)３０３が接続されている。
【０１２２】
入出力インタフェース３０５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部３０６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部３０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部３０８、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部３０９が接続されている。また、磁気ディスク３２１（フレキシブルディスクを含む）、光ディスク３２２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３２３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３２４などの記録媒体に対してデータを読み書きするドライブ３１０が接続されている。
【０１２３】
CPU３０１は、ROM３０２に記憶されているプログラム、または磁気ディスク３２１乃至半導体メモリ３２４から読み出されて記憶部３０８にインストールされ、記憶部３０８からRAM３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２４】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１２５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１２６】
【図１】従来の顔画像抽出処理を説明する図である。
【図２】従来の顔画像抽出処理を説明する図である。
【図３】従来の顔画像抽出処理を説明する図である。
【図４】本発明を適用した登録遊技者来店報知システムの一実施の形態の構成を示す図である。
【図５】図４のカメラの配置例を説明する図である。
【図６】図４の画像処理ユニットの一実施の形態の構成を示す図である。
【図７】図４の顔認識サーバの一実施の形態の構成を示す図である。
【図８】登録遊技者報知処理を説明するフローチャートである。
【図９】顔画像抽出処理を説明するフローチャートである。
【図１０】顔画像位置記憶処理を説明するフローチャートである。
【図１１】顔画像位置記憶処理を説明する図である。
【図１２】顔画像位置記憶部に記憶されている顔画像位置情報を説明する図である。
【図１３】顔画像位置予測処理を説明するフローチャートである。
【図１４】マスキングオンオフ制御処理を説明するフローチャートである。
【図１５】マスキングオンオフ制御処理を説明する図である。
【図１６】複数の人物を扱う場合の例を説明する図である。
【図１７】媒体を説明する図である。
【符号の説明】
【０１２７】
１，１−１乃至１−５ カメラ
２ 画像処理ユニット
３ 顔認識サーバ
４ 報知部
２１ 画像取得部
２２ スイッチ
２３ マスキング処理部
２４ 顔画像抽出部
２６ 送信部
２７ 顔画像位置取得部
２８ 顔画像ID付加部
２９ 顔画像位置記憶部
３０ 顔画像移動位置予測部
３１ スイッチオンオフ制御部
【特許請求の範囲】
【請求項１】
画像より顔画像を抽出する顔画像抽出手段と、
前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段と、
前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段と、
前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段と、
前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段と
を含む画像処理装置。
【請求項２】
前記移動位置記憶手段は、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を、前記顔画像に設定される顔画像IDに対応付けて連続的に記憶する
請求項１に記載の画像処理装置。
【請求項３】
前記顔画像抽出手段により抽出される顔画像のうち、同一の顔画像には同一の顔画像IDを設定する顔画像ID設定手段を含む
請求項１に記載の画像処理装置。
【請求項４】
前記顔画像ID設定手段は、
前記顔画像抽出手段により抽出された最新の前記顔画像の位置から所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在しない場合、前記最新の前記顔画像に新たな顔画像IDを設定し、
前記顔画像抽出手段により抽出された最新の前記顔画像の位置から前記所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在している場合、前記最新の前記顔画像に、直前のタイミングで記憶されている前記画像内での移動位置が記録されている顔画像の顔画像IDを設定する
請求項３に記載の画像処理装置。
【請求項５】
前記予測手段は、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報に基づいて、前記画像の移動位置を予測する
請求項１に記載の画像処理装置。
【請求項６】
前記予測手段は、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報を線形補間することにより、前記画像の移動位置を予測する
請求項５に記載の画像処理装置。
【請求項７】
前記切替手段は、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えた後、前記移動位置記憶手段に直前のタイミングで記憶されている顔画像の画像内での移動位置のうち、前記マスキング領域に含まれるものがない場合、再び前記マスキング領域が発生するように切り替える
請求項１に記載の画像処理装置。
【請求項８】
登録者の顔画像を蓄積する蓄積手段と、
請求項１に記載のマスキング領域を発生するマスキング領域発生手段と、
前記顔画像抽出手段により抽出される顔画像より、前記顔画像を認識するための特徴量に基づいて、前記顔画像抽出手段により抽出された顔画像と、前記蓄積手段に蓄積された登録者の顔画像との類似度を計算する類似度計算手段と、
前記類似度計算手段により計算された類似度に基づいて、前記登録者が到来したか否かを判定する判定手段と
を含む監視装置。
【請求項９】
画像より顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、
前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、
前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、
前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップと
を含む画像処理方法。
【請求項１０】
画像より顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、
前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、
前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、
前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
画像より顔画像を抽出する顔画像抽出手段と、
前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段と、
前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段と、
前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段と、
前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段と
を含む画像処理装置。
【請求項２】
前記移動位置記憶手段は、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を、前記顔画像に設定される顔画像IDに対応付けて連続的に記憶する
請求項１に記載の画像処理装置。
【請求項３】
前記顔画像抽出手段により抽出される顔画像のうち、同一の顔画像には同一の顔画像IDを設定する顔画像ID設定手段を含む
請求項１に記載の画像処理装置。
【請求項４】
前記顔画像ID設定手段は、
前記顔画像抽出手段により抽出された最新の前記顔画像の位置から所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在しない場合、前記最新の前記顔画像に新たな顔画像IDを設定し、
前記顔画像抽出手段により抽出された最新の前記顔画像の位置から前記所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在している場合、前記最新の前記顔画像に、直前のタイミングで記憶されている前記画像内での移動位置が記録されている顔画像の顔画像IDを設定する
請求項３に記載の画像処理装置。
【請求項５】
前記予測手段は、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報に基づいて、前記画像の移動位置を予測する
請求項１に記載の画像処理装置。
【請求項６】
前記予測手段は、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報を線形補間することにより、前記画像の移動位置を予測する
請求項５に記載の画像処理装置。
【請求項７】
前記切替手段は、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えた後、前記移動位置記憶手段に直前のタイミングで記憶されている顔画像の画像内での移動位置のうち、前記マスキング領域に含まれるものがない場合、再び前記マスキング領域が発生するように切り替える
請求項１に記載の画像処理装置。
【請求項８】
登録者の顔画像を蓄積する蓄積手段と、
請求項１に記載のマスキング領域を発生するマスキング領域発生手段と、
前記顔画像抽出手段により抽出される顔画像より、前記顔画像を認識するための特徴量に基づいて、前記顔画像抽出手段により抽出された顔画像と、前記蓄積手段に蓄積された登録者の顔画像との類似度を計算する類似度計算手段と、
前記類似度計算手段により計算された類似度に基づいて、前記登録者が到来したか否かを判定する判定手段と
を含む監視装置。
【請求項９】
画像より顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、
前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、
前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、
前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップと
を含む画像処理方法。
【請求項１０】
画像より顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、
前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、
前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、
前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００７−２１３１７０（Ｐ２００７−２１３１７０Ａ）
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願番号】特願２００６−３０２３３（Ｐ２００６−３０２３３）
【出願日】平成１８年２月７日（２００６．２．７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願日】平成１８年２月７日（２００６．２．７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]