顔マスキング装置及び方法
【課題】常に適切なマスキングが行える顔マスキング装置及び方法を提供する。
【解決手段】画像ウインドウ抽出部１０３は、入力画像から少なくとも２つの画像ウインドウを抽出し、スコア算出部１０４は、抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出し、比較器１０５は、算出されたスコア値を所定のスコア閾値Ａと比較し、その結果に応じて顔検出領域を設定し、顔群領域判定部１０６は、比較器１０５で設定された顔検出領域間の距離を所定の距離閾値Ａと比較し、その結果に応じて顔検出領域を含む顔群領域を設定する。比較器１０５及び顔群領域判定部１０６は、スコア値がスコア閾値Ａ以上の１又は複数の領域を包括する範囲を顔群領域範囲として判定するので、人物の顔の一部が隠蔽、顔同士が近接していた場合においても、従来技術において発生していたマスキングミスを抑制でき、顔領域を的確にマスキングすることができる。
【解決手段】画像ウインドウ抽出部１０３は、入力画像から少なくとも２つの画像ウインドウを抽出し、スコア算出部１０４は、抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出し、比較器１０５は、算出されたスコア値を所定のスコア閾値Ａと比較し、その結果に応じて顔検出領域を設定し、顔群領域判定部１０６は、比較器１０５で設定された顔検出領域間の距離を所定の距離閾値Ａと比較し、その結果に応じて顔検出領域を含む顔群領域を設定する。比較器１０５及び顔群領域判定部１０６は、スコア値がスコア閾値Ａ以上の１又は複数の領域を包括する範囲を顔群領域範囲として判定するので、人物の顔の一部が隠蔽、顔同士が近接していた場合においても、従来技術において発生していたマスキングミスを抑制でき、顔領域を的確にマスキングすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラシステムに用いて好適な顔マスクキング装置及び方法に関する。
【背景技術】
【０００２】
監視カメラシステムでは、プライバシ保護のために画像内の顔領域を非可視化することが行われている。顔の非可視化には一般的にマスキングという手法が用いられる。従来のマスキング手法として、例えば特許文献１〜４で開示されたものが知られている。それらのうち、特許文献１及び２には、カラー画像から肌色領域を検出することにより人の顔領域を特定する方法が開示されている。また、特許文献３及び４には、顔検出又はパターンマッチングを行い、顔をマスキングする方法が開示されている。また、特許文献２における顔を検出する技術として、非特許文献１〜３に示すアダブースト学習法を用いた識別器による顔検出法がある。
【０００３】
画像内の顔の位置及びサイズはまちまちであるため、実際に画像内の顔を検出するには以下の処理を行うことが一般的である。
画像ウインドウと実際の顔のサイズを一致させるために、画像を段階的にスケーリングすると共に、スケーリングした画像内の各箇所で顔検出を行う。更に、各スケーリングした画像において顔があると判定した領域（顔候補領域）同士を統合して最終的な顔領域を特定する（顔候補領域処理）。
【０００４】
図１１は、従来の顔候補領域統合処理を説明するための図である。同図において、画像１１０１は顔検出の処理対象である画像である。この画像１１０１内の顔候補領域１１０２は顔検出処理により顔があると判定された領域である。また、顔領域１１０３は顔候補領域統合処理により統合されて最終的な顔領域として検出された領域である。画像１１０１を段階的にスケーリングすると共にスケーリングした画像内の各箇所で顔検出を行うと、顔候補領域１１０２が実際の顔領域周辺に１ないし複数個実際の顔領域サイズとほぼ同じサイズで検出される。前記顔候補領域統合処理では、顔候補領域１１０２同士の中心位置の距離が近いものを同一グループと判定する。そして、同一グループの顔候補領域１１０２の平均位置と平均サイズを求め、これを最終的な顔領域として検出される顔領域１１０３の位置及びサイズとする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１４６４０５号公報
【特許文献２】特開２００８−２５２７７９号公報
【特許文献３】特開２００８−１６０３５４号公報
【特許文献４】特開２００１−０８６４０７号公報
【非特許文献】
【０００６】
【非特許文献１】Bernhard Froba, Andreas Ernst,「Face Detection with the Modified Census Transform」, Proceedings for Sixth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR), 2004年5月, p.91-96
【非特許文献２】Yoav Freund, Robert E.Schapire,「A decision-theoretic generalization of on-line learning and anapplication to boosting」, Computational Learing Theory Eurocolt'95, Springer Verlag, 1995年, p.23-37
【非特許文献３】Paul Viola, Michael Jones,「Rapid Object Detection Using a Boosted Cascade of Simple Features」, IEEE Computer Society Conference on Computer Virsion and Pattern Recognition (CVPR), 2001年12月, ISSN:1063-6919, Vol.1, p.511-518
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した各先行文献で開示された従来技術では、以下に列記する課題がある。
（１）特許文献１、２で開示された技術では、顔以外の部分（例えば、腕や手）なども含めて過剰にマスキングしてしまう。すなわち、肌色領域がそのまま顔領域とは限らないため、顔以外の腕や手をマスキングしてしまう。
【０００８】
（２）特許文献３、４で開示された技術では、顔の一部が隠蔽されている場合など顔全体が露出していない場合は顔を検出できず、顔がマスキングされない。すなわち、図１２に示すように、画像１２０１内で人物１２０２よって人物１２０３の顔の一部が隠蔽されているような場合、図１３に示すように、人物１２０３に対する検出の特徴量ブロック１３０１〜１３０３の一部（特徴量ブロック１３０２と１３０３の一部）が人物１２０２の画像情報で覆われるために、顔検出のスコア値が低下し、その結果、人物１２０３の顔領域周辺で顔がないと判定されるため、この課題が生じる。
【０００９】
また、複数の顔が近接している場合、顔領域が実際の顔位置からずれて検出される場合もあり、顔の一部しかマスキングされないという課題もある。これは、図１４に示すように、画像１４０１内で人物１４０２と人物１４０３の顔同士が近接している場合、お互いの顔に対する顔候補領域１４０４が近接しているために同一グループとして判定され、統合処理の結果、最終的な顔領域として検出される顔候補領域１４０４の位置が人物１４０２と人物１４０３の中間位置となり、顔候補領域１４０４のサイズは人物１４０２及び人物１４０３の顔サイズの平均となるためにこの課題が発生する。以上のような課題は人が多数存在する人混みなどでは高い確率で発生してしまう。
【００１０】
本発明は、係る事情に鑑みてなされたものであり、人が多数存在する人混みなどにおいても適切なマスキングが行える顔マスキング装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の顔マスキング装置は、入力画像から画像ウインドウを抽出する画像ウインドウ抽出手段と、前記画像ウインドウ抽出手段で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出手段と、前記スコア算出手段で算出されたスコア値を所定の第１の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定手段と、前記顔検出領域が少なくとも２つ設定された場合に、前記顔検出領域設定手段で設定された顔検出領域間の距離を所定の第２の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定手段と、を備えた。
【００１２】
上記構成によれば、顔の確からしさを示すスコア値に基づき顔領域を特定するので、顔以下の部分の過剰マスキングを抑制することが可能となる。また、スコア値が所定の第２の閾値以上の領域（１つの場合もあれば複数の場合もある）を包括する範囲を顔群領域範囲として設定するので、人混みなどで高い確率で発生する、人物の顔の一部が隠蔽及び顔同士が近接を原因とするマスキングミスを抑制することが可能となる。このように、人が多数存在する人混みなどにおいても適切なマスキングを行うことが可能となる。
【００１３】
上記構成において、前記顔群領域設定手段で設定された顔群領域をマスキングするマスキング手段を備えた。
【００１４】
上記構成によれば、顔群領域のみマスキングすることができる。
【００１５】
上記構成において、前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの要否を決定する。
【００１６】
上記構成によれば、例えばスコア値が高く顔の存在が高い領域はマスキングを行い、それほどでもないところはマスキングを行わない。これにより、過度なマスキングを防ぐことができる。
【００１７】
上記構成において、前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの度合いを決定する。
【００１８】
上記構成によれば、例えば、スコア値が高く顔の存在が高い領域はマスキングの非可視化度合い高くし、それほどでもないところは非可視化度合いを低くする。これにより、過度なマスキングを防ぐことができる。
【００１９】
上記構成において、前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断する第２のマスキング手段を備えた。
【００２０】
上記構成によれば、顔郡領域内では顔の一部が隠蔽した顔に対しても顔領域として検出してマスクすることができ、顔群領域の外側では顔でない領域までマスクすることがないマスキングを行うことができる。
【００２１】
本発明の顔マスキング方法は、入力画像から少なくとも２つの画像ウインドウを抽出する画像ウインドウ抽出ステップと、前記画像ウインドウ抽出ステップで抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出ステップと、前記スコア算出ステップで算出されたスコア値を所定の第１の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定ステップと、前記顔検出領域設定ステップで設定された顔検出領域間の距離を所定の第２の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定ステップと、を備えた。
【００２２】
上記方法によれば、顔の確からしさを示すスコア値に基づき顔領域を特定するので、顔以下の部分の過剰マスキングを抑制することが可能となる。また、スコア値が所定の第２の閾値以上の領域（１つの場合もあれば複数の場合もある）を包括する範囲を顔群領域範囲として設定するので、人混みなどで高い確率で発生する、人物の顔の一部が隠蔽及び顔同士が近接を原因とするマスキングミスを抑制することが可能となる。このように、人が多数存在する人混みなどにおいても適切なマスキングを行うことが可能となる。
【発明の効果】
【００２３】
本発明によれば、人が多数存在する人混みなどにおいても適切なマスキングが行える。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態１に係る顔マスキング装置の概略構成を示すブロック図
【図２】図１の顔マスキング装置の画像ウインドウ抽出部で抽出された画像ウインドウの一例を示す図
【図３】図１の顔マスキング装置のスコア算出部の概略構成を示すブロック図
【図４】図１の顔マスキング装置で用いられる学習データの一例を示す図
【図５】図１の顔マスキング装置が入力する画像の一例を示す図
【図６】図１の顔マスキング装置における入力画像に対するスコア値分布を説明するための図
【図７】図１の顔マスキング装置における顔マスキング手順を示すフローチャート
【図８】本発明の実施の形態２に係る顔マスキング装置の概略構成を示すブロック図
【図９】図１又は図８に示す顔マスキング装置を用いた監視カメラシステムの構成を示す図
【図１０】図９の監視カメラシステムのコンピュータに用いられるユーザーインタフェースを示す図
【図１１】従来技術における顔候補領域統合処理を説明するための図
【図１２】顔の一部が隠蔽されている画像の一例を示す図
【図１３】顔の一部が隠蔽されている画像例における画像ウインドウ内の特徴量ブロックの状態を説明するための図
【図１４】従来技術における顔が近接している画像例及び同画像例における顔候補領域統合処理結果を説明するための図
【発明を実施するための形態】
【００２５】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２６】
（実施の形態１）
図１は、本発明の実施の形態１に係る顔マスキング装置の概略構成を示すブロック図である。同図において、本実施の形態の顔マスキング装置１００は、画像入力部１０１と、スケーリング画像生成部１０２と、画像ウインドウ抽出部（画像ウインドウ抽出手段）１０３と、スコア算出部（スコア算出手段）１０４と、比較器（顔検出領域設定手段）１０５と、顔群領域判定部（顔群領域設定手段）１０６と、マスキング部（マスキング手段）１０７とを備えて構成される。
【００２７】
画像入力部１０１は、図示せぬカメラで撮影して得られた画像を入力し保持する。スケーリング画像生成部１０２は、一般的なサブサンプリング、面積補間法、アフィン変換などの方法を用いて、画像入力部１０１が入力した画像をスケーリングし保持する。画像ウインドウ抽出部１０３は、スケーリング画像生成部１０２でスケーリングされた入力画像から少なくとも２つの画像ウインドウを抽出する。画像ウインドウ抽出部１０３で抽出する画像ウインドウは画像入力部１０１が入力した画像中の顔検出処理対象とする領域である。図２は、画像ウインドウ抽出部１０３で抽出された画像ウインドウの一例を示す図である。
【００２８】
スコア算出部１０４は、画像ウインドウ抽出部１０３で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出する。図３はスコア算出部１０４の概略構成を示すブロック図である。同図において、スコア算出部１０４は、３つの判別器３１１〜３１３を備えており、例えば図２に示す画像ウインドウ２０１内の特徴量ブロック２１１〜２１３のスコア値を算出する。
【００２９】
画像ウインドウ２０１内の各特徴量ブロック２１１〜２１３は２値化パターン化されている。この２値化は、ブロック内の画素の輝度値をブロック内の輝度平均値と比較し、画素の輝度値が平均値よりも高ければ「１」を、そうでなければ「０」をラベル付けすることで実現している。２値化パターン化された各特徴量ブロック２１１〜２１３は、アダブースト学習法によってスコア値が決定される。図４にアダブースト学習法により生成された学習データの一例を示す。
【００３０】
判別器３１１は、学習データ３１１−１と加算器３１１−２とから構成される。判別器３１２は、学習データ３１２−１と加算器３１２−２とから構成される。判別器３１３は、学習データ３１３−１と加算器３１３−２とから構成される。判別器３１１には「０」のスコア値と特徴量ブロック２１１が入力され、判別器３１２には判別器３１１で得られたスコア値と特徴量ブロック２１２が入力され、判別器３１３には判別器３１２で得られたスコア値と特徴量ブロック２１３が入力される。
【００３１】
判別器３１１では、学習データ３１１−１が特徴量ブロック２１１の２値化パターンをスコア値に変換し、加算器３１１−２が学習データ３１１−１からのスコア値に「０」のスコア値を加算して出力する。判別器３１２では、学習データ３１２−１が特徴量ブロック２１２の２値化パターンをスコア値に変換し、加算器３１２−２が学習データ３１２−１からのスコア値に判別器３１１からのスコア値を加算して出力する。判別器３１３では、学習データ３１３−１が特徴量ブロック２１３の２値化パターンをスコアに変換し、加算器３１３−２が学習データ３１３−１からのスコア値に判別器３１２からのスコア値を加算して出力する。判別器３１３から最終的なスコア値が出力される。
【００３２】
各特徴量ブロック２１１〜２１３の学習データは、顔画像に対する２値化パターンに対してはスコア値が大きく、逆に非顔画像に対する２値化パターンに対してはスコア値が小さくなるような学習データがアダブースト学習法により生成される。このようにして学習データを生成することで、画像ウインドウ２０１内に顔が存在する場合、各判別器３１１〜３１３で算出されるスコア値の総和である最終的なスコア値が大きな値となる。
【００３３】
図１に戻り、比較器（顔検出領域設定手段）１０５は、スコア算出部１０４で算出されたスコア値をスコア閾値Ａ（所定の第１の閾値）と比較し、その比較結果に応じて顔検出領域を設定する。この場合、スコア閾値Ａを超える全ての顔検出領域を設定する。顔群領域判定部（顔群領域設定手段）１０６は、比較器１０５で設定された少なくとも２つの顔検出領域におけるこれらの間の距離を距離閾値Ａ（所定の第２の閾値）と比較し、その比較結果に応じて顔検出領域を含む顔群領域を設定する。また、顔群領域判定部１０６は、互いの距離が距離閾値Ａ以内で、スコア値がスコア閾値Ａ以上の顔検出領域を同一のグループに分類し、更に、同一グループの各顔検出領域を内包する領域を、顔群領域範囲の位置及びサイズとして設定する。マスキング部１０７は、画像入力部１０１が保持している画像に対し、顔群領域判定部１０６が出力する顔群領域範囲をマスキング処理し、顔マスキング画像を生成する。
【００３４】
図５は、画像入力部１０１が入力する画像の一例を示す図である。画像５０１には人物５０２、人物５０３、人物５０４が存在し、人物５０３の顔の一部は人物５０２に隠蔽されており、人物５０３と人物５０４の顔は近接している。これは人が多数存在する人混みなどでよくみられる光景である。図６は図５に示す画像の一例に対し、スコア算出部１０４が出力するスコアの分布を示す図である。同図に示すように、スコア値分布画像６０１内では、黒い（濃い）色ほどその領域のスコア値が高いことを示している。顔群領域範囲６０２は顔群領域判定部１０６から出力される。
【００３５】
次に、本実施の形態の顔マスキング装置１００の動作を説明する。図７は、本実施の形態の顔マスキング装置１００の動作を説明するためのフローチャートである。同図において、まず画像入力部１０１が図示せぬカメラから出力される画像を入力する（ステップＳ１）。次いで、画像入力部１０１が入力した画像をスケーリング画像生成部１０２がスケーリングする（ステップＳ２）。次いで、画像ウインドウ抽出部１０３が、スケーリングされた入力画像から画像ウインドウを抽出する（ステップＳ３）。画像ウインドウ抽出部１０３が抽出する画像ウインドウは画像入力部１０１が入力した画像中の顔検出処理対象とする領域である。
【００３６】
画像ウインドウを抽出した後、スコア算出部１０４が画像ウインドウ内の顔の確からしさを示すスコア値を算出する（ステップＳ４）。画像ウインドウ内のスコア値を算出した後、比較器１０５がスコア算出部１０４で算出されたスコア値をスコア閾値Ａと比較し、スコア値がスコア閾値Ａ以上の領域を記録し、顔群領域判定部１０６に通知する（ステップＳ５）。
【００３７】
更に、比較器１０５は、スケーリング画像内の全ての画像ウインドウ位置において上記ステップＳ３からステップＳ５の処理を終えたかどうか判定し（ステップＳ６）、当該処理を終えていない画像ウインドウがあれば、ステップＳ３に戻り、同様の処理を行う。これに対してスケーリング画像内の全ての画像ウインドウ位置において上記ステップＳ３からステップＳ５の処理を終えた場合は、全てのスケーリング段階での処理を終えたかどうか判定する（ステップＳ７）。全てのスケーリング段階での処理を終えていなければ、ステップＳ２に戻り、全てのスケーリング段階での処理を終えていれば、顔群領域判定部１０６が、スコア算出部１０４から出力されたスコアがスコア閾値Ａ以上の１つ又は複数の領域同士の距離が距離閾値Ａ以内なら同一グループに分類する（ステップＳ８）。そして、グループ毎にグループに属する領域を包括（内包）する領域を顔群領域範囲の位置及びサイズとする（ステップＳ９）。
【００３８】
例えば、図５に示す画像５０１が、本実施の形態の顔マスキング装置１００に入力された場合、スコア算出部１０４は図６におけるスコア値分布画像６０１に示すスコア値を出力する。各スコア値の領域はお互い近接しており、距離閾値Ａ以下であるため、顔群領域判定部１０６は同一グループに分類する。更に顔群領域判定部１０６は、このグループに属する領域を包括（内包）する範囲を出力するので、顔群領域判定部１０６は図６における顔群領域範囲６０２を出力することになる。
【００３９】
マスキング部１０７は、画像入力部１０１が保持する画像に対し、顔群領域判定部１０６が出力する顔群領域範囲をマスキング処理する（ステップＳ１０）。これにより、顔群領域判定部１０６が出力する図６における顔群領域範囲がマスキングされることになる。
【００４０】
このように、本実施の形態の顔マスキング装置１００によれば、比較器１０５及び顔群領域判定部１０６が、スコア値がスコア閾値Ａ以上の１又は複数の領域を包括（内包）する範囲を顔群領域範囲６０２として判定するために、図５及び図６に示すような人物５０３の顔の一部が隠蔽、顔同士が近接していた場合においても、従来技術において発生していたマスキングミスを抑制でき、顔領域を的確にマスキングすることができる。
【００４１】
なお、マスキング部１０７が行うマスキングの方法は顔を非可視化するのであれば、どのような方式であってもよい。例えば、低周波通過フィルタ等により顔領域をぼかす方式を使用すれば、通過する低周波範囲を調整することによってマスキング度合いを制御することができる。
【００４２】
また、顔群領域判定部１０６で用いる距離閾値Ａは、顔群領域判定部１０６に入力されるスコア値Ａ以上の領域のサイズの平均値に対し係数を乗じた値にしてもよい。顔群領域判定部１０６に入力されるスコア値Ａ以上の領域のサイズは、人物の実際の顔サイズとほぼ同等であるため、これにより、実際の顔サイズに連動した適切な距離閾値を設定することができる。
【００４３】
また、顔群領域範囲を、スコア閾値Ａ以上のお互いが距離閾値Ａ以下の複数の領域を包括（内包）する領域とし、図６においては顔郡領域範囲６０２を矩形領域として示したが、同包括（内包）する１つの領域であれば良く、楕円領域や、図６において顔群領域範囲内の白色領域でない領域であっても同様の効果が得られることは言うまでもない。
【００４４】
また、顔群領域内のマスキング度合いを同領域内のスコア値に応じて調整するようにしてもよい。スコア値が高く顔の存在が高い領域はマスキングの非可視化度合いを高くし、それほどでもないところは非可視化度合いを低くする。これにより、過度なマスキングを防ぐことができる。
【００４５】
また、スコア値に応じて顔群領域内の顔検出領域のマスキングの要否を決定するようにしてもよい。スコア値が高く顔の存在が高い領域はマスキングを行い、それほどでもないところはマスキングを行わない。
【００４６】
（実施の形態２）
図８は、本発明の実施の形態２に係る顔マスキング装置の概略構成を示すブロック図である。同図において、本実施の形態の顔マスキング装置８００は、上述した実施の形態１の顔マスキング装置１００と同様の構成（画像入力部１０１、スケーリング画像生成部１０２、画像ウインドウ抽出部１０３、スコア算出部１０４、比較器１０５、顔群領域判定部１０６及びマスキング部１０７）に加えて、閾値選択部１０８、比較器１０９及び顔候補領域統合部１１０を備えている。
【００４７】
閾値選択部１０８は、顔群領域判定部１０６が出力する１又は複数の顔群領域範囲外であればスコア閾値Ｂを、顔群領域範囲内であればスコア閾値Ｃを選択する。スコア閾値Ｃは比較器１０５で用いるスコア閾値Ａより小さい値とする。また、スコア閾値Ｃはスコア閾値Ｂより小さい値とする。
【００４８】
比較器１０９は、閾値選択部１０８が選択したスコア閾値Ｂ又はスコア閾値Ｃとスコア算出部１０４が出力するスコア値とを比較する。これにより、顔群領域範囲外であればスコア閾値Ｂ以上、顔群領域範囲内であればスコア閾値Ｃ以上のスコアが算出された顔候補領域（スコアがスコア閾値以上であった画像ウインドウ）が出力されることになる。顔候補領域統合部１１０は、１又は複数の顔候補領域（スコアがスコア閾値以上であった画像ウインドウ）を距離閾値Ｂによりグループ分けし、グループ毎に顔候補領域の平均位置及び平均サイズを最終的な顔領域として統合する。
【００４９】
マスキング部１０７は、画像入力部１０１が保持する画像に対し、顔候補領域統合部１１０が出力する顔領域をマスキング処理する。この場合、顔候補領域統合部１１０が出力する顔領域もマスキングされることになる。顔群領域範囲内は顔の存在が高く、スコア閾値を低くしても誤った顔検出をする可能性が低いと共に、顔の一部が隠蔽した顔に対しても顔領域として検出することができる。このようにして検出された顔領域は、顔群領域範囲より範囲が狭く、隠蔽顔もその領域に含むため、過度なマスキングを抑制することができる。
【００５０】
このように、本実施の形態の顔マスキング装置８００によれば、閾値選択部１０８が顔群領域範囲内であればスコア閾値Ａより小さい値であるスコア閾値Ｃを選択し、比較器１０９及び顔候補領域統合部１１０が、スコアがスコア閾値Ｃ以上かつ距離閾値Ｂ以内の顔候補領域を統合するので、顔の一部が隠蔽した顔に対しても顔領域として検出することができ、マスク漏れを回避することができる。また、顔群領域の外側では内側に比べて顔の存在可能性が低いため、スコア閾値Ｃより高い値のスコア閾値Ｂを用いることで、顔でない領域までマスクすることがなく、過度なマスキングも抑制することができる。
【００５１】
なお、マスキング部１０７は、顔候補領域統合部１１０が出力する顔領域に加え、実施の形態１と同じく、顔群領域判定部１０６が出力する顔群領域に対してもマスキング処理を施しても良い。この場合、顔領域に対しては、顔が存在する領域であることがより確かであるので、顔群領域よりマスキング度合いを高めてもよい。マスキング度合いとは顔を非可視化する度合いである。
【００５２】
また、顔群領域判定部１０６で用いる距離閾値Ａは、顔候補領域統合部１１０に入力されるスコア閾値Ｂ以上（スコア閾値Ｃ以上ではない）の領域のサイズに対し係数を乗じた値にしてもよい。顔群領域外において、顔候補領域統合部１１０に入力されるスコア閾値Ｂ以上の領域のサイズは、人物の実際の顔サイズとほぼ同等であるため、これにより、実際の顔サイズに連動した適切な距離閾値を設定することができる。
【００５３】
また、比較器１０５で用いられるスコア閾値Ａは、スコア閾値Ｂ（スコア閾値Ｃ以上ではない）又は顔群領域外において顔候補領域統合部１１０に入力されるスコア値の平均値に対し１以下０以上の係数を乗じた値であっても良い。これは、顔の一部が隠蔽されたことにより、顔領域として判定されなかったスコア値が低い領域を顔群領域範囲内とするためである。これにより、スコア閾値Ａ及び実際の顔の領域のスコアに連動した適切なスコア閾値を設定することができる。
【００５４】
（実施の形態３）
図９は、上述した実施の形態１の顔マスキング装置１００又は実施の形態２の顔マスキング装置８００を用いた監視カメラシステム９００の構成図である。この監視カメラシステム９００は、撮像装置９０１と、コンピュータ（所謂パソコン）９０２と、コンピュータ９０２に接続された記憶装置（半導体メモリ、磁気ディスク装置等）９０３と、表示装置９０４とを備えて構成される。撮像装置９０１とコンピュータ９０２と表示装置９０４は伝送系９０５を通して接続される。なお、伝送系９０５は、無線通信網やインターネット等の有線通信網等の通信網である。
【００５５】
撮像装置９０１から出力された画像は伝送系９０５を通じてコンピュータ９０２へ伝送されて、コンピュータ９０２でマスキング処理される。そして、マスキング処理された画像すなわちマスキング画像は伝送系９０５を通じて表示装置９０４に伝送されて、表示装置９０４にて表示される。記憶装置９０３はマスキング未処理の画像や中間結果の保持や録画に用いられる。
【００５６】
図１０は、コンピュータ９０２に用いられるユーザーインタフェース１０００を示す図である。同図において、入力画像ウインドウ１００１は、撮像装置９０１から出力される画像を表示するウインドウである。マスキング画像ウインドウ１００２は、入力画像に対するマスキング処理後の画像を表示するウインドウである。マスキング画像ウインドウ１００２にはマスキング範囲１００３が設定されている。閾値調整スライダー１００４は各種閾値（スコア閾値Ａ，Ｂ、距離閾値Ａ，Ｂ）を設定するものである。マウスのドラッグ動作やカーソルキーなどでスライダー位置を調整することにより各種閾値を設定する。
【００５７】
閾値調整オプション入力１００５は、閾値調整のオプション入力を行うもので、チェックボタンや数値入力により閾値のオプション項目のＯＮ／ＯＦＦや数値を入力する。これもマウスやキー入力によりＯＮ／ＯＦＦや数値入力を行う。マスク度合いグラフ入力１００６は、スコア値に対するマスク度合いを調整するグラフ型の入力手段であり、マウスのクリック及びドラッグ動作により、グラフの形状を変化させることで、スコア値に対するマスク度合いを調整できる。
【００５８】
入力画像ウインドウ１００１には入力画像が表示される。また、マスキング画像ウインドウ１００２には、閾値調整スライダー１００４、閾値調整オプション入力１００５、マスク度合いグラフ入力１００６により現在設定されている各種閾値やマスク度合いでのマスキング処理された結果が表示される。ユーザーはマスキング処理結果の画像を見ながら閾値調整スライダー１００４、閾値調整オプション入力１００５、マスク度合いグラフ入力１００６により最適なマスキング処理が得られるように微調整する。また、入力画像と対比し、過度なマスキングが行われていないことを確認する。以上のようなユーザーインタフェースであれば、ユーザーの負担を軽減することができ、かつマスキングミスのチェックや微調整も容易に行える。
【産業上の利用可能性】
【００５９】
本発明は、常に適切なマスキングが行えるといった効果を有し、プライバシ保護を必要とする監視、放送、インターネットなど映像情報を配信するシステムなどへの適用が可能である。
【符号の説明】
【００６０】
１００、８００ 顔マスキング装置
１０１ 画像入力部
１０２ スケーリング画像生成部
１０３ 画像ウインドウ抽出部
１０４ スコア算出部
１０５、１０９ 比較器
１０６ 顔群領域判定部
１０７ マスキング部
１０８ 閾値選択部
１１０ 顔候補領域統合部
３１１〜３１３ 判別器
９００ 監視カメラシステム
９０１ 撮像装置
９０２ コンピュータ
９０３ 記憶装置
９０４ 表示装置
９０５ 伝送系
１０００ ユーザーインタフェース
【技術分野】
【０００１】
本発明は、監視カメラシステムに用いて好適な顔マスクキング装置及び方法に関する。
【背景技術】
【０００２】
監視カメラシステムでは、プライバシ保護のために画像内の顔領域を非可視化することが行われている。顔の非可視化には一般的にマスキングという手法が用いられる。従来のマスキング手法として、例えば特許文献１〜４で開示されたものが知られている。それらのうち、特許文献１及び２には、カラー画像から肌色領域を検出することにより人の顔領域を特定する方法が開示されている。また、特許文献３及び４には、顔検出又はパターンマッチングを行い、顔をマスキングする方法が開示されている。また、特許文献２における顔を検出する技術として、非特許文献１〜３に示すアダブースト学習法を用いた識別器による顔検出法がある。
【０００３】
画像内の顔の位置及びサイズはまちまちであるため、実際に画像内の顔を検出するには以下の処理を行うことが一般的である。
画像ウインドウと実際の顔のサイズを一致させるために、画像を段階的にスケーリングすると共に、スケーリングした画像内の各箇所で顔検出を行う。更に、各スケーリングした画像において顔があると判定した領域（顔候補領域）同士を統合して最終的な顔領域を特定する（顔候補領域処理）。
【０００４】
図１１は、従来の顔候補領域統合処理を説明するための図である。同図において、画像１１０１は顔検出の処理対象である画像である。この画像１１０１内の顔候補領域１１０２は顔検出処理により顔があると判定された領域である。また、顔領域１１０３は顔候補領域統合処理により統合されて最終的な顔領域として検出された領域である。画像１１０１を段階的にスケーリングすると共にスケーリングした画像内の各箇所で顔検出を行うと、顔候補領域１１０２が実際の顔領域周辺に１ないし複数個実際の顔領域サイズとほぼ同じサイズで検出される。前記顔候補領域統合処理では、顔候補領域１１０２同士の中心位置の距離が近いものを同一グループと判定する。そして、同一グループの顔候補領域１１０２の平均位置と平均サイズを求め、これを最終的な顔領域として検出される顔領域１１０３の位置及びサイズとする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１４６４０５号公報
【特許文献２】特開２００８−２５２７７９号公報
【特許文献３】特開２００８−１６０３５４号公報
【特許文献４】特開２００１−０８６４０７号公報
【非特許文献】
【０００６】
【非特許文献１】Bernhard Froba, Andreas Ernst,「Face Detection with the Modified Census Transform」, Proceedings for Sixth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR), 2004年5月, p.91-96
【非特許文献２】Yoav Freund, Robert E.Schapire,「A decision-theoretic generalization of on-line learning and anapplication to boosting」, Computational Learing Theory Eurocolt'95, Springer Verlag, 1995年, p.23-37
【非特許文献３】Paul Viola, Michael Jones,「Rapid Object Detection Using a Boosted Cascade of Simple Features」, IEEE Computer Society Conference on Computer Virsion and Pattern Recognition (CVPR), 2001年12月, ISSN:1063-6919, Vol.1, p.511-518
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した各先行文献で開示された従来技術では、以下に列記する課題がある。
（１）特許文献１、２で開示された技術では、顔以外の部分（例えば、腕や手）なども含めて過剰にマスキングしてしまう。すなわち、肌色領域がそのまま顔領域とは限らないため、顔以外の腕や手をマスキングしてしまう。
【０００８】
（２）特許文献３、４で開示された技術では、顔の一部が隠蔽されている場合など顔全体が露出していない場合は顔を検出できず、顔がマスキングされない。すなわち、図１２に示すように、画像１２０１内で人物１２０２よって人物１２０３の顔の一部が隠蔽されているような場合、図１３に示すように、人物１２０３に対する検出の特徴量ブロック１３０１〜１３０３の一部（特徴量ブロック１３０２と１３０３の一部）が人物１２０２の画像情報で覆われるために、顔検出のスコア値が低下し、その結果、人物１２０３の顔領域周辺で顔がないと判定されるため、この課題が生じる。
【０００９】
また、複数の顔が近接している場合、顔領域が実際の顔位置からずれて検出される場合もあり、顔の一部しかマスキングされないという課題もある。これは、図１４に示すように、画像１４０１内で人物１４０２と人物１４０３の顔同士が近接している場合、お互いの顔に対する顔候補領域１４０４が近接しているために同一グループとして判定され、統合処理の結果、最終的な顔領域として検出される顔候補領域１４０４の位置が人物１４０２と人物１４０３の中間位置となり、顔候補領域１４０４のサイズは人物１４０２及び人物１４０３の顔サイズの平均となるためにこの課題が発生する。以上のような課題は人が多数存在する人混みなどでは高い確率で発生してしまう。
【００１０】
本発明は、係る事情に鑑みてなされたものであり、人が多数存在する人混みなどにおいても適切なマスキングが行える顔マスキング装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の顔マスキング装置は、入力画像から画像ウインドウを抽出する画像ウインドウ抽出手段と、前記画像ウインドウ抽出手段で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出手段と、前記スコア算出手段で算出されたスコア値を所定の第１の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定手段と、前記顔検出領域が少なくとも２つ設定された場合に、前記顔検出領域設定手段で設定された顔検出領域間の距離を所定の第２の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定手段と、を備えた。
【００１２】
上記構成によれば、顔の確からしさを示すスコア値に基づき顔領域を特定するので、顔以下の部分の過剰マスキングを抑制することが可能となる。また、スコア値が所定の第２の閾値以上の領域（１つの場合もあれば複数の場合もある）を包括する範囲を顔群領域範囲として設定するので、人混みなどで高い確率で発生する、人物の顔の一部が隠蔽及び顔同士が近接を原因とするマスキングミスを抑制することが可能となる。このように、人が多数存在する人混みなどにおいても適切なマスキングを行うことが可能となる。
【００１３】
上記構成において、前記顔群領域設定手段で設定された顔群領域をマスキングするマスキング手段を備えた。
【００１４】
上記構成によれば、顔群領域のみマスキングすることができる。
【００１５】
上記構成において、前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの要否を決定する。
【００１６】
上記構成によれば、例えばスコア値が高く顔の存在が高い領域はマスキングを行い、それほどでもないところはマスキングを行わない。これにより、過度なマスキングを防ぐことができる。
【００１７】
上記構成において、前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの度合いを決定する。
【００１８】
上記構成によれば、例えば、スコア値が高く顔の存在が高い領域はマスキングの非可視化度合い高くし、それほどでもないところは非可視化度合いを低くする。これにより、過度なマスキングを防ぐことができる。
【００１９】
上記構成において、前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断する第２のマスキング手段を備えた。
【００２０】
上記構成によれば、顔郡領域内では顔の一部が隠蔽した顔に対しても顔領域として検出してマスクすることができ、顔群領域の外側では顔でない領域までマスクすることがないマスキングを行うことができる。
【００２１】
本発明の顔マスキング方法は、入力画像から少なくとも２つの画像ウインドウを抽出する画像ウインドウ抽出ステップと、前記画像ウインドウ抽出ステップで抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出ステップと、前記スコア算出ステップで算出されたスコア値を所定の第１の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定ステップと、前記顔検出領域設定ステップで設定された顔検出領域間の距離を所定の第２の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定ステップと、を備えた。
【００２２】
上記方法によれば、顔の確からしさを示すスコア値に基づき顔領域を特定するので、顔以下の部分の過剰マスキングを抑制することが可能となる。また、スコア値が所定の第２の閾値以上の領域（１つの場合もあれば複数の場合もある）を包括する範囲を顔群領域範囲として設定するので、人混みなどで高い確率で発生する、人物の顔の一部が隠蔽及び顔同士が近接を原因とするマスキングミスを抑制することが可能となる。このように、人が多数存在する人混みなどにおいても適切なマスキングを行うことが可能となる。
【発明の効果】
【００２３】
本発明によれば、人が多数存在する人混みなどにおいても適切なマスキングが行える。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態１に係る顔マスキング装置の概略構成を示すブロック図
【図２】図１の顔マスキング装置の画像ウインドウ抽出部で抽出された画像ウインドウの一例を示す図
【図３】図１の顔マスキング装置のスコア算出部の概略構成を示すブロック図
【図４】図１の顔マスキング装置で用いられる学習データの一例を示す図
【図５】図１の顔マスキング装置が入力する画像の一例を示す図
【図６】図１の顔マスキング装置における入力画像に対するスコア値分布を説明するための図
【図７】図１の顔マスキング装置における顔マスキング手順を示すフローチャート
【図８】本発明の実施の形態２に係る顔マスキング装置の概略構成を示すブロック図
【図９】図１又は図８に示す顔マスキング装置を用いた監視カメラシステムの構成を示す図
【図１０】図９の監視カメラシステムのコンピュータに用いられるユーザーインタフェースを示す図
【図１１】従来技術における顔候補領域統合処理を説明するための図
【図１２】顔の一部が隠蔽されている画像の一例を示す図
【図１３】顔の一部が隠蔽されている画像例における画像ウインドウ内の特徴量ブロックの状態を説明するための図
【図１４】従来技術における顔が近接している画像例及び同画像例における顔候補領域統合処理結果を説明するための図
【発明を実施するための形態】
【００２５】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２６】
（実施の形態１）
図１は、本発明の実施の形態１に係る顔マスキング装置の概略構成を示すブロック図である。同図において、本実施の形態の顔マスキング装置１００は、画像入力部１０１と、スケーリング画像生成部１０２と、画像ウインドウ抽出部（画像ウインドウ抽出手段）１０３と、スコア算出部（スコア算出手段）１０４と、比較器（顔検出領域設定手段）１０５と、顔群領域判定部（顔群領域設定手段）１０６と、マスキング部（マスキング手段）１０７とを備えて構成される。
【００２７】
画像入力部１０１は、図示せぬカメラで撮影して得られた画像を入力し保持する。スケーリング画像生成部１０２は、一般的なサブサンプリング、面積補間法、アフィン変換などの方法を用いて、画像入力部１０１が入力した画像をスケーリングし保持する。画像ウインドウ抽出部１０３は、スケーリング画像生成部１０２でスケーリングされた入力画像から少なくとも２つの画像ウインドウを抽出する。画像ウインドウ抽出部１０３で抽出する画像ウインドウは画像入力部１０１が入力した画像中の顔検出処理対象とする領域である。図２は、画像ウインドウ抽出部１０３で抽出された画像ウインドウの一例を示す図である。
【００２８】
スコア算出部１０４は、画像ウインドウ抽出部１０３で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出する。図３はスコア算出部１０４の概略構成を示すブロック図である。同図において、スコア算出部１０４は、３つの判別器３１１〜３１３を備えており、例えば図２に示す画像ウインドウ２０１内の特徴量ブロック２１１〜２１３のスコア値を算出する。
【００２９】
画像ウインドウ２０１内の各特徴量ブロック２１１〜２１３は２値化パターン化されている。この２値化は、ブロック内の画素の輝度値をブロック内の輝度平均値と比較し、画素の輝度値が平均値よりも高ければ「１」を、そうでなければ「０」をラベル付けすることで実現している。２値化パターン化された各特徴量ブロック２１１〜２１３は、アダブースト学習法によってスコア値が決定される。図４にアダブースト学習法により生成された学習データの一例を示す。
【００３０】
判別器３１１は、学習データ３１１−１と加算器３１１−２とから構成される。判別器３１２は、学習データ３１２−１と加算器３１２−２とから構成される。判別器３１３は、学習データ３１３−１と加算器３１３−２とから構成される。判別器３１１には「０」のスコア値と特徴量ブロック２１１が入力され、判別器３１２には判別器３１１で得られたスコア値と特徴量ブロック２１２が入力され、判別器３１３には判別器３１２で得られたスコア値と特徴量ブロック２１３が入力される。
【００３１】
判別器３１１では、学習データ３１１−１が特徴量ブロック２１１の２値化パターンをスコア値に変換し、加算器３１１−２が学習データ３１１−１からのスコア値に「０」のスコア値を加算して出力する。判別器３１２では、学習データ３１２−１が特徴量ブロック２１２の２値化パターンをスコア値に変換し、加算器３１２−２が学習データ３１２−１からのスコア値に判別器３１１からのスコア値を加算して出力する。判別器３１３では、学習データ３１３−１が特徴量ブロック２１３の２値化パターンをスコアに変換し、加算器３１３−２が学習データ３１３−１からのスコア値に判別器３１２からのスコア値を加算して出力する。判別器３１３から最終的なスコア値が出力される。
【００３２】
各特徴量ブロック２１１〜２１３の学習データは、顔画像に対する２値化パターンに対してはスコア値が大きく、逆に非顔画像に対する２値化パターンに対してはスコア値が小さくなるような学習データがアダブースト学習法により生成される。このようにして学習データを生成することで、画像ウインドウ２０１内に顔が存在する場合、各判別器３１１〜３１３で算出されるスコア値の総和である最終的なスコア値が大きな値となる。
【００３３】
図１に戻り、比較器（顔検出領域設定手段）１０５は、スコア算出部１０４で算出されたスコア値をスコア閾値Ａ（所定の第１の閾値）と比較し、その比較結果に応じて顔検出領域を設定する。この場合、スコア閾値Ａを超える全ての顔検出領域を設定する。顔群領域判定部（顔群領域設定手段）１０６は、比較器１０５で設定された少なくとも２つの顔検出領域におけるこれらの間の距離を距離閾値Ａ（所定の第２の閾値）と比較し、その比較結果に応じて顔検出領域を含む顔群領域を設定する。また、顔群領域判定部１０６は、互いの距離が距離閾値Ａ以内で、スコア値がスコア閾値Ａ以上の顔検出領域を同一のグループに分類し、更に、同一グループの各顔検出領域を内包する領域を、顔群領域範囲の位置及びサイズとして設定する。マスキング部１０７は、画像入力部１０１が保持している画像に対し、顔群領域判定部１０６が出力する顔群領域範囲をマスキング処理し、顔マスキング画像を生成する。
【００３４】
図５は、画像入力部１０１が入力する画像の一例を示す図である。画像５０１には人物５０２、人物５０３、人物５０４が存在し、人物５０３の顔の一部は人物５０２に隠蔽されており、人物５０３と人物５０４の顔は近接している。これは人が多数存在する人混みなどでよくみられる光景である。図６は図５に示す画像の一例に対し、スコア算出部１０４が出力するスコアの分布を示す図である。同図に示すように、スコア値分布画像６０１内では、黒い（濃い）色ほどその領域のスコア値が高いことを示している。顔群領域範囲６０２は顔群領域判定部１０６から出力される。
【００３５】
次に、本実施の形態の顔マスキング装置１００の動作を説明する。図７は、本実施の形態の顔マスキング装置１００の動作を説明するためのフローチャートである。同図において、まず画像入力部１０１が図示せぬカメラから出力される画像を入力する（ステップＳ１）。次いで、画像入力部１０１が入力した画像をスケーリング画像生成部１０２がスケーリングする（ステップＳ２）。次いで、画像ウインドウ抽出部１０３が、スケーリングされた入力画像から画像ウインドウを抽出する（ステップＳ３）。画像ウインドウ抽出部１０３が抽出する画像ウインドウは画像入力部１０１が入力した画像中の顔検出処理対象とする領域である。
【００３６】
画像ウインドウを抽出した後、スコア算出部１０４が画像ウインドウ内の顔の確からしさを示すスコア値を算出する（ステップＳ４）。画像ウインドウ内のスコア値を算出した後、比較器１０５がスコア算出部１０４で算出されたスコア値をスコア閾値Ａと比較し、スコア値がスコア閾値Ａ以上の領域を記録し、顔群領域判定部１０６に通知する（ステップＳ５）。
【００３７】
更に、比較器１０５は、スケーリング画像内の全ての画像ウインドウ位置において上記ステップＳ３からステップＳ５の処理を終えたかどうか判定し（ステップＳ６）、当該処理を終えていない画像ウインドウがあれば、ステップＳ３に戻り、同様の処理を行う。これに対してスケーリング画像内の全ての画像ウインドウ位置において上記ステップＳ３からステップＳ５の処理を終えた場合は、全てのスケーリング段階での処理を終えたかどうか判定する（ステップＳ７）。全てのスケーリング段階での処理を終えていなければ、ステップＳ２に戻り、全てのスケーリング段階での処理を終えていれば、顔群領域判定部１０６が、スコア算出部１０４から出力されたスコアがスコア閾値Ａ以上の１つ又は複数の領域同士の距離が距離閾値Ａ以内なら同一グループに分類する（ステップＳ８）。そして、グループ毎にグループに属する領域を包括（内包）する領域を顔群領域範囲の位置及びサイズとする（ステップＳ９）。
【００３８】
例えば、図５に示す画像５０１が、本実施の形態の顔マスキング装置１００に入力された場合、スコア算出部１０４は図６におけるスコア値分布画像６０１に示すスコア値を出力する。各スコア値の領域はお互い近接しており、距離閾値Ａ以下であるため、顔群領域判定部１０６は同一グループに分類する。更に顔群領域判定部１０６は、このグループに属する領域を包括（内包）する範囲を出力するので、顔群領域判定部１０６は図６における顔群領域範囲６０２を出力することになる。
【００３９】
マスキング部１０７は、画像入力部１０１が保持する画像に対し、顔群領域判定部１０６が出力する顔群領域範囲をマスキング処理する（ステップＳ１０）。これにより、顔群領域判定部１０６が出力する図６における顔群領域範囲がマスキングされることになる。
【００４０】
このように、本実施の形態の顔マスキング装置１００によれば、比較器１０５及び顔群領域判定部１０６が、スコア値がスコア閾値Ａ以上の１又は複数の領域を包括（内包）する範囲を顔群領域範囲６０２として判定するために、図５及び図６に示すような人物５０３の顔の一部が隠蔽、顔同士が近接していた場合においても、従来技術において発生していたマスキングミスを抑制でき、顔領域を的確にマスキングすることができる。
【００４１】
なお、マスキング部１０７が行うマスキングの方法は顔を非可視化するのであれば、どのような方式であってもよい。例えば、低周波通過フィルタ等により顔領域をぼかす方式を使用すれば、通過する低周波範囲を調整することによってマスキング度合いを制御することができる。
【００４２】
また、顔群領域判定部１０６で用いる距離閾値Ａは、顔群領域判定部１０６に入力されるスコア値Ａ以上の領域のサイズの平均値に対し係数を乗じた値にしてもよい。顔群領域判定部１０６に入力されるスコア値Ａ以上の領域のサイズは、人物の実際の顔サイズとほぼ同等であるため、これにより、実際の顔サイズに連動した適切な距離閾値を設定することができる。
【００４３】
また、顔群領域範囲を、スコア閾値Ａ以上のお互いが距離閾値Ａ以下の複数の領域を包括（内包）する領域とし、図６においては顔郡領域範囲６０２を矩形領域として示したが、同包括（内包）する１つの領域であれば良く、楕円領域や、図６において顔群領域範囲内の白色領域でない領域であっても同様の効果が得られることは言うまでもない。
【００４４】
また、顔群領域内のマスキング度合いを同領域内のスコア値に応じて調整するようにしてもよい。スコア値が高く顔の存在が高い領域はマスキングの非可視化度合いを高くし、それほどでもないところは非可視化度合いを低くする。これにより、過度なマスキングを防ぐことができる。
【００４５】
また、スコア値に応じて顔群領域内の顔検出領域のマスキングの要否を決定するようにしてもよい。スコア値が高く顔の存在が高い領域はマスキングを行い、それほどでもないところはマスキングを行わない。
【００４６】
（実施の形態２）
図８は、本発明の実施の形態２に係る顔マスキング装置の概略構成を示すブロック図である。同図において、本実施の形態の顔マスキング装置８００は、上述した実施の形態１の顔マスキング装置１００と同様の構成（画像入力部１０１、スケーリング画像生成部１０２、画像ウインドウ抽出部１０３、スコア算出部１０４、比較器１０５、顔群領域判定部１０６及びマスキング部１０７）に加えて、閾値選択部１０８、比較器１０９及び顔候補領域統合部１１０を備えている。
【００４７】
閾値選択部１０８は、顔群領域判定部１０６が出力する１又は複数の顔群領域範囲外であればスコア閾値Ｂを、顔群領域範囲内であればスコア閾値Ｃを選択する。スコア閾値Ｃは比較器１０５で用いるスコア閾値Ａより小さい値とする。また、スコア閾値Ｃはスコア閾値Ｂより小さい値とする。
【００４８】
比較器１０９は、閾値選択部１０８が選択したスコア閾値Ｂ又はスコア閾値Ｃとスコア算出部１０４が出力するスコア値とを比較する。これにより、顔群領域範囲外であればスコア閾値Ｂ以上、顔群領域範囲内であればスコア閾値Ｃ以上のスコアが算出された顔候補領域（スコアがスコア閾値以上であった画像ウインドウ）が出力されることになる。顔候補領域統合部１１０は、１又は複数の顔候補領域（スコアがスコア閾値以上であった画像ウインドウ）を距離閾値Ｂによりグループ分けし、グループ毎に顔候補領域の平均位置及び平均サイズを最終的な顔領域として統合する。
【００４９】
マスキング部１０７は、画像入力部１０１が保持する画像に対し、顔候補領域統合部１１０が出力する顔領域をマスキング処理する。この場合、顔候補領域統合部１１０が出力する顔領域もマスキングされることになる。顔群領域範囲内は顔の存在が高く、スコア閾値を低くしても誤った顔検出をする可能性が低いと共に、顔の一部が隠蔽した顔に対しても顔領域として検出することができる。このようにして検出された顔領域は、顔群領域範囲より範囲が狭く、隠蔽顔もその領域に含むため、過度なマスキングを抑制することができる。
【００５０】
このように、本実施の形態の顔マスキング装置８００によれば、閾値選択部１０８が顔群領域範囲内であればスコア閾値Ａより小さい値であるスコア閾値Ｃを選択し、比較器１０９及び顔候補領域統合部１１０が、スコアがスコア閾値Ｃ以上かつ距離閾値Ｂ以内の顔候補領域を統合するので、顔の一部が隠蔽した顔に対しても顔領域として検出することができ、マスク漏れを回避することができる。また、顔群領域の外側では内側に比べて顔の存在可能性が低いため、スコア閾値Ｃより高い値のスコア閾値Ｂを用いることで、顔でない領域までマスクすることがなく、過度なマスキングも抑制することができる。
【００５１】
なお、マスキング部１０７は、顔候補領域統合部１１０が出力する顔領域に加え、実施の形態１と同じく、顔群領域判定部１０６が出力する顔群領域に対してもマスキング処理を施しても良い。この場合、顔領域に対しては、顔が存在する領域であることがより確かであるので、顔群領域よりマスキング度合いを高めてもよい。マスキング度合いとは顔を非可視化する度合いである。
【００５２】
また、顔群領域判定部１０６で用いる距離閾値Ａは、顔候補領域統合部１１０に入力されるスコア閾値Ｂ以上（スコア閾値Ｃ以上ではない）の領域のサイズに対し係数を乗じた値にしてもよい。顔群領域外において、顔候補領域統合部１１０に入力されるスコア閾値Ｂ以上の領域のサイズは、人物の実際の顔サイズとほぼ同等であるため、これにより、実際の顔サイズに連動した適切な距離閾値を設定することができる。
【００５３】
また、比較器１０５で用いられるスコア閾値Ａは、スコア閾値Ｂ（スコア閾値Ｃ以上ではない）又は顔群領域外において顔候補領域統合部１１０に入力されるスコア値の平均値に対し１以下０以上の係数を乗じた値であっても良い。これは、顔の一部が隠蔽されたことにより、顔領域として判定されなかったスコア値が低い領域を顔群領域範囲内とするためである。これにより、スコア閾値Ａ及び実際の顔の領域のスコアに連動した適切なスコア閾値を設定することができる。
【００５４】
（実施の形態３）
図９は、上述した実施の形態１の顔マスキング装置１００又は実施の形態２の顔マスキング装置８００を用いた監視カメラシステム９００の構成図である。この監視カメラシステム９００は、撮像装置９０１と、コンピュータ（所謂パソコン）９０２と、コンピュータ９０２に接続された記憶装置（半導体メモリ、磁気ディスク装置等）９０３と、表示装置９０４とを備えて構成される。撮像装置９０１とコンピュータ９０２と表示装置９０４は伝送系９０５を通して接続される。なお、伝送系９０５は、無線通信網やインターネット等の有線通信網等の通信網である。
【００５５】
撮像装置９０１から出力された画像は伝送系９０５を通じてコンピュータ９０２へ伝送されて、コンピュータ９０２でマスキング処理される。そして、マスキング処理された画像すなわちマスキング画像は伝送系９０５を通じて表示装置９０４に伝送されて、表示装置９０４にて表示される。記憶装置９０３はマスキング未処理の画像や中間結果の保持や録画に用いられる。
【００５６】
図１０は、コンピュータ９０２に用いられるユーザーインタフェース１０００を示す図である。同図において、入力画像ウインドウ１００１は、撮像装置９０１から出力される画像を表示するウインドウである。マスキング画像ウインドウ１００２は、入力画像に対するマスキング処理後の画像を表示するウインドウである。マスキング画像ウインドウ１００２にはマスキング範囲１００３が設定されている。閾値調整スライダー１００４は各種閾値（スコア閾値Ａ，Ｂ、距離閾値Ａ，Ｂ）を設定するものである。マウスのドラッグ動作やカーソルキーなどでスライダー位置を調整することにより各種閾値を設定する。
【００５７】
閾値調整オプション入力１００５は、閾値調整のオプション入力を行うもので、チェックボタンや数値入力により閾値のオプション項目のＯＮ／ＯＦＦや数値を入力する。これもマウスやキー入力によりＯＮ／ＯＦＦや数値入力を行う。マスク度合いグラフ入力１００６は、スコア値に対するマスク度合いを調整するグラフ型の入力手段であり、マウスのクリック及びドラッグ動作により、グラフの形状を変化させることで、スコア値に対するマスク度合いを調整できる。
【００５８】
入力画像ウインドウ１００１には入力画像が表示される。また、マスキング画像ウインドウ１００２には、閾値調整スライダー１００４、閾値調整オプション入力１００５、マスク度合いグラフ入力１００６により現在設定されている各種閾値やマスク度合いでのマスキング処理された結果が表示される。ユーザーはマスキング処理結果の画像を見ながら閾値調整スライダー１００４、閾値調整オプション入力１００５、マスク度合いグラフ入力１００６により最適なマスキング処理が得られるように微調整する。また、入力画像と対比し、過度なマスキングが行われていないことを確認する。以上のようなユーザーインタフェースであれば、ユーザーの負担を軽減することができ、かつマスキングミスのチェックや微調整も容易に行える。
【産業上の利用可能性】
【００５９】
本発明は、常に適切なマスキングが行えるといった効果を有し、プライバシ保護を必要とする監視、放送、インターネットなど映像情報を配信するシステムなどへの適用が可能である。
【符号の説明】
【００６０】
１００、８００ 顔マスキング装置
１０１ 画像入力部
１０２ スケーリング画像生成部
１０３ 画像ウインドウ抽出部
１０４ スコア算出部
１０５、１０９ 比較器
１０６ 顔群領域判定部
１０７ マスキング部
１０８ 閾値選択部
１１０ 顔候補領域統合部
３１１〜３１３ 判別器
９００ 監視カメラシステム
９０１ 撮像装置
９０２ コンピュータ
９０３ 記憶装置
９０４ 表示装置
９０５ 伝送系
１０００ ユーザーインタフェース
【特許請求の範囲】
【請求項１】
入力画像から画像ウインドウを抽出する画像ウインドウ抽出手段と、
前記画像ウインドウ抽出手段で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出手段と、
前記スコア算出手段で算出されたスコア値を所定の第１の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定手段と、
前記顔検出領域が少なくとも２つ設定された場合に、前記顔検出領域設定手段で設定された顔検出領域間の距離を所定の第２の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定手段と、
を備えたことを特徴とする顔マスキング装置。
【請求項２】
前記顔群領域設定手段で設定された顔群領域をマスキングするマスキング手段を備えたことを特徴とする請求項１に記載の顔マスキング装置。
【請求項３】
前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの要否を決定することを特徴とする請求項２に記載の顔マスキング装置。
【請求項４】
前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの度合いを決定することを特徴とする請求項２に記載の顔マスキング装置。
【請求項５】
前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断する第２のマスキング手段を備えたことを特徴とする請求項１に記載の顔マスキング装置。
【請求項６】
入力画像から少なくとも２つの画像ウインドウを抽出する画像ウインドウ抽出ステップと、
前記画像ウインドウ抽出ステップで抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出ステップと、
前記スコア算出ステップで算出されたスコア値を所定の第１の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定ステップと、
前記顔検出領域設定ステップで設定された顔検出領域間の距離を所定の第２の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定ステップと、
を備えたことを特徴とする顔マスキング方法。
【請求項１】
入力画像から画像ウインドウを抽出する画像ウインドウ抽出手段と、
前記画像ウインドウ抽出手段で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出手段と、
前記スコア算出手段で算出されたスコア値を所定の第１の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定手段と、
前記顔検出領域が少なくとも２つ設定された場合に、前記顔検出領域設定手段で設定された顔検出領域間の距離を所定の第２の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定手段と、
を備えたことを特徴とする顔マスキング装置。
【請求項２】
前記顔群領域設定手段で設定された顔群領域をマスキングするマスキング手段を備えたことを特徴とする請求項１に記載の顔マスキング装置。
【請求項３】
前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの要否を決定することを特徴とする請求項２に記載の顔マスキング装置。
【請求項４】
前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの度合いを決定することを特徴とする請求項２に記載の顔マスキング装置。
【請求項５】
前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断する第２のマスキング手段を備えたことを特徴とする請求項１に記載の顔マスキング装置。
【請求項６】
入力画像から少なくとも２つの画像ウインドウを抽出する画像ウインドウ抽出ステップと、
前記画像ウインドウ抽出ステップで抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出ステップと、
前記スコア算出ステップで算出されたスコア値を所定の第１の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定ステップと、
前記顔検出領域設定ステップで設定された顔検出領域間の距離を所定の第２の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定ステップと、
を備えたことを特徴とする顔マスキング方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１９３１１５（Ｐ２０１１−１９３１１５Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５６０５６（Ｐ２０１０−５６０５６）
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]