画像処理方法、画像処理装置及び画像処理プログラム
【課題】時間的、空間的な連続性を保ちつつ、誤検出を低減しながらも個人が特定できないようにして人物領域を検出する。
【解決手段】処理対象画像と、直前の処理により生成された背景画像と、分散値画像に基づき、背景画像と処理対象画像の各画素値を分散値画像に応じた重み付け和により背景画像を更新するステップと、処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成するステップと、処理対象画像と低周波数成分画像の差分から高周波数成分画像を生成するステップと、背景画像と処理対象画像との差異から人物領域候補を算出するステップと、高周波数成分画像の各画素の値を算出された人物領域候補の各画素の値を用いて抑制するステップと、抑制後の高周波数成分画像と低周波数成分画像を合成し結果画像を生成するステップと、結果画像を処理結果として出力するステップとを有する。
【解決手段】処理対象画像と、直前の処理により生成された背景画像と、分散値画像に基づき、背景画像と処理対象画像の各画素値を分散値画像に応じた重み付け和により背景画像を更新するステップと、処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成するステップと、処理対象画像と低周波数成分画像の差分から高周波数成分画像を生成するステップと、背景画像と処理対象画像との差異から人物領域候補を算出するステップと、高周波数成分画像の各画素の値を算出された人物領域候補の各画素の値を用いて抑制するステップと、抑制後の高周波数成分画像と低周波数成分画像を合成し結果画像を生成するステップと、結果画像を処理結果として出力するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された時系列画像から人物らしい領域に対して個人が特定できないよう画像変換を行う画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像や映像から人物らしい領域を計測する方法として、人物は長時間静止しないという仮定を用い、人物らしい領域として動き検出を使用する方法が公知である。動き検出の一例として、特許文献１に記載された動き検出方法は、撮影した時系列画像から過去複数フレームの映像を蓄積し、各フレームの画素値を対数変換し、変換された各画素のフレーム間の時間微分値が閾値を満たす場合に、該当するフレーム番号を評価値として、動きパターン画像を生成するものである。また、画素値の対数変換を行わず、フレーム間の画素値の比を算出し、比の値をフレーム間隔で除算し、除算した値が閾値を満たす場合に該当する動きパターン画像を生成することができる。この動き検出方法は、対数変換処理を行うことにより、撮影条件や、撮影環境、カメラの光電変換特性にロバストな動き検出を実現するとともに、複数フレームを用いた処理を行うことにより、ノイズによる影響を低減している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２６８９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、人物らしい領域を計測する方法として、特許文献１に記載された動き検出方法を用いた際は、動きパターン画像の生成に閾値処理を用いているため、例えばフレーム間の時間微分値が閾値に近い値を持つ画素が空間的に近い領域に存在する場合、画素間の連続性が失われてしまうという問題がある。また、同一画素に対する時間微分値が複数フレームに渡って閾値に近い値を持つ場合、フレーム間の連続性が失われてしまうという問題もある。さらには、過去複数フレームの画像を使用することにより、メモリ使用量が増大してしまうという問題もある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、時間的、空間的な連続性を保ちつつ、誤検出を低減しながらも個人が特定できないようにして人物領域を検出することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均画素値を算出する平均値算出ステップと、前記複数のフレームそれぞれの画素値のうち、前記平均画素値から外れている画素値を除去する外れ値除去ステップと、前記平均画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出ステップと、前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理ステップと、前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新ステップと、前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出ステップと、前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制ステップと、前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、前記結果画像を処理結果として出力する結果画像出力ステップとを有することを特徴とする。
【０００７】
本発明は、前記分散値算出ステップにて算出される分散値を、前記平均値算出ステップにて算出される各画素の平均値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする。
【０００８】
本発明は、画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の画素値を並べ替え、中央画素値を算出する画素値並べ替えステップと、前記複数のフレームそれぞれの画素値のうち、前記中央画素値から外れている画素値を除去する外れ値除去ステップと、前記中央画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出ステップと、前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理ステップと、前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新ステップと、前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出ステップと、前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制ステップと、前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、前記結果画像を処理結果として出力する結果画像出力ステップとを有することを特徴とする。
【０００９】
本発明は、前記分散値算出ステップにて算出される分散値を、前記中央値算出ステップにて算出される各画素の中央値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする。
【００１０】
本発明は、前記人物領域候補に対して、前記分散値を乗算することを特徴とする。
【００１１】
本発明は、画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均画素値を算出する平均値算出手段と、前記複数のフレームそれぞれの画素値のうち、前記平均画素値から外れている画素値を除去する外れ値除去手段と、前記平均画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出手段と、前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理手段と、前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新手段と、前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出手段と、前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制手段と、前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、前記結果画像を処理結果として出力する結果画像出力手段とを有することを特徴とする。
【００１２】
本発明は、画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の画素値を並べ替え、中央画素値を算出する画素値並べ替え手段と、前記複数のフレームそれぞれの画素値のうち、前記中央画素値から外れている画素値を除去する外れ値除去手段と、前記中央画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出手段と、前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理手段と、前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新手段と、前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出手段と、前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制手段と、前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、前記結果画像を処理結果として出力する結果画像出力手段とを有することを特徴とする。
【００１３】
本発明は、前記画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１４】
本発明によれば、時間的、空間的な連続性を保ちながら、背景となる情報も利用することで、誤検出を低減しながらも個人が特定できないように人物領域を検出することができるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】複数フレームと分散値の一例を示す説明図である。
【図２】動き量に基づくフレーム間隔変更の一例を示す説明図である。
【図３】モルフォロジー演算による膨張処理、縮退処理の一例を示す説明図である。
【図４】本発明の一実施形態の構成を示すブロック図である。
【図５】図１に示す画像処理装置の動作を示すフローチャートである。
【図６】図１に示す画像処理装置の動作の変形例を示すフローチャートである。
【図７】図１に示す画像処理装置の動作の変形例を示すフローチャートである。
【図８】図１に示す画像処理装置の動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の一実施形態による画像処理装置を説明する。始めに、本発明の人物検出の原理について説明する。本発明では、人物らしさとして対象となる画像の各画素成分の時間的な変化及び背景画像との差分を用いる。カメラの動作（パン・チルト・ズーム）により背景が変化することも考慮し、複数フレームの情報から背景画像を逐次更新するが、その際、対象となる各画素について人物はふらつきがあり微少な動きの変化があるが、背景は動かないという前提のもと、各画素成分の時間的な変化量に応じて背景更新の速度を可変とする。
【００１７】
変化量の小さい領域は背景である可能性が高いため、背景更新速度を高くすることで、カメラ動作後のそれらの領域については速やかに画素値が収束し、処理対象となる画像と背景との差分が小さくなることから、人物として検出されにくくなる。一方、変化量の大きい領域は人物である可能性が高いため、背景更新速度を遅くする。これにより、人物が長時間その場に留まっていた場合でも、人物と背景との差分が常に大きくなり、人物として検出し続けることができる。ここで、各画素成分の時間的な変化としては画素値の分散を使用し、人物らしさの指標としては背景画像と処理対象となる画像との差分を用いる。
【００１８】
また、背景更新に画素値の分散を加工した値を使用することで、閾値処理を行うこと無く、時間的、空間的に背景更新の速度を連続的に変化させることができる。同様に人物らしさの評価に使用する背景画像と処理対象画像との差分に対しても、差分を加工した値を使用することで時間的、空間的に連続した人物らしさを算出することが可能となる。これらの値に基づき、画像中の人物領域を特定できなくするための画像変換を行うことができる。さらには、これらの値から画像全体に対する変化領域の割合を算出し、変化領域の小さな画像に対しては背景を更新するためのフレーム間隔を大きくし、変化領域の大きな画像に対しては、背景を更新するためのフレーム間隔を小さくすることにより、カメラの動作に伴う動きへの適応性を高めるとともに、不要な画像の蓄積や背景更新の処理を行わないことで、処理量やメモリ使用量を低減する。
【００１９】
ここで、図１〜３を参照して、変化量算出処理について説明する。本発明は、時系列画像を入力としており、最新の画像から過去複数枚に渡って画像を蓄積し、蓄積された画像から複数枚の画像を使用し、変化量として画素毎の分散値を算出する。図１に示すように、動きのある領域では分散値が大きくなるが、動きの無い領域では画素値の変化が少ないため、分散値は非常に小さな値となる。分散値の算出には、処理対象となる画像を含め、複数枚の画像を使用するが、ここで、図１に示す例では処理対象となる画像をＮ枚目とし、Ｎ枚目を基準に過去Ｍ枚目までの画像を使用して分散値を算出している。このとき、短時間の時系列画像からのみでは、瞬間的な変化に対して分散値が大きく変動してしまうため、本来は変化の少ない領域であっても、分散値が大きく変動してしまう。
【００２０】
そこで、分散値の算出には十分な枚数の時系列画像を入力とする必要がある。しかしながら、大量の画像を時系列画像として入力する場合、分散値計算に必要な処理量やメモリ量が増大することから、図２に示すように、該当フレーム内の一定以上の動き量のあった画素数によって、分散計算に使用する時系列画像のフレーム間隔を変更し、動き量の大きな画素数が多いフレームの場合は抽出するフレーム間隔を短くし、動き量の大きな画素数が少ないフレームの場合はフレーム間隔を長くすることで、少ない画像枚数から動き量の変化を検出する。図２に示す例では、動き量の大きな画素数が多い場合は隣接する複数フレームを使用して動き量の検出を行うが、動き量の大きな画素数が少ない場合は、数フレーム間引きを行うことで、長時間の動き量の変化を検出している。フレーム間の間引きを行う際は、動き量の大きな画素数に応じて間引き枚数を決定する、事前に作成しておいたテーブルを使用する場合や、動き量の大きな画素数から間引き枚数を所定の計算式により算出する方法等がある。
【００２１】
また、長時間人物が同じ個所に留まっている場合、人物周辺領域は人物のふらつきによる動きがあるため、画素値の変化が大きくなり、分散値も大きくなる。しかしながら、空間的に画素値の変動が少ない人物中心付近の領域では、分散値も小さくなってしまう。そこで、算出した分散値に対して、図３に示すモルフォロジー（ｍｏｒｐｈｏｌｏｇｙ）演算の膨張、収縮処理を行い、分散値の小さくなる人物中心付近の穴埋め処理を行う。膨張処理を行うことにより、人物周辺画素から人物中心、あるいは人物の外側の領域に対しても人物周辺領域と同じ大きな分散の値とすることができる。このようにして、人物領域では大きな分散値、それ以外の領域では小さな分散値となる分散値画像を生成する。ここで生成した分散値画像の画素値に応じて、画素値が大きいほど背景画像の更新速度を遅くする。背景更新には、元となる背景画像に対して現在の画像を一定の寄与率で合成することにより生成することとし、現在の画像の寄与率を変化させることにより更新速度を変更する。更新した背景画像と処理対象となる画像の画素値の差分や正規化相互相関値により、背景画像と処理対象画像となる現在の画像の比較を行い、その際を人物らしさとする。人物らしさには、このほかに背景更新に使用した分散値画像の画素値を用い、それぞれを単独、もしくは組み合わせて生成する。
【００２２】
最後に、人物らしさに応じて、処理対象となる現在の画像の高周波数成分を抑制する。高周波数成分には人物の形状や顔の輪郭、目や鼻、口の輪郭情報が多く含まれており、これらの輪郭情報を抑制することにより、個人を識別するための特徴も少なくなることから、高周波数成分を抑制することで個人を特定することのできない画像変換を実現する。高周波数成分は、まず低周波数成分画像を生成し、処理対象となるフレーム画像と、周波数成分画像の差分を算出することで生成する。分散値画像の値の小さい領域は、元の高周波数成分の抑制効果が小さく、低周波成分画像と加算し再合成することで、元の処理対象フレーム画像に近い画像が再現される。一方、分散値画像の値の大きい領域では、高周波数成分を抑制するための画像変換が行われるため、低周波数成分画像と、抑制後の高周波数成分画像を加算し再合成することで、個人を識別するための高周波数成分が少ない画像として再現される。ここで、低周波数成分画像を生成する際には、一般的に画像処理として使用される加重平均フィルタ、荷重値の一例としてはガウス関数を使用したガウシアンフィルタを使用する。また、画像をブロック分割し、該当ブロック内の画素値をブロック内の平均値とした低周波数成分画像を使用することもある。
【００２３】
次に、図４を参照して、同実施形態における画像処理装置の構成を説明する。図４は同実施形態における画像処理装置の構成を示すブロック図である。図４において、符号１は画像入力装置として機能するカメラであり、時系列の画像を撮像することができる。符号２はカメラ１で取得した画像を蓄積する画像蓄積部である。符号３は画像蓄積部２に蓄積された画像の各画素に対して平均値を算出し、外れ値を除去した後に膨張処理、収縮処理を行うことにより分散値画像を生成する分散値画像生成部である。符号４は画像蓄積部２に蓄積された複数枚の画像と、分散値画像生成部３において生成された分散値画像から背景画像を生成し背景画像を蓄積する背景画像生成蓄積部である。
【００２４】
符号５は画像蓄積部２に蓄積された処理対象となる画像及び背景画像生成蓄積部４に蓄積された背景画像から一定以上の変化量のあった画素数を変化領域として抽出する変化領域抽出部である。符号６は変化領域抽出部５において算出された変化領域の画素数から処理フレーム間隔を算出するフレーム間隔算出部である。符号７は画像蓄積部２に蓄積された処理対象となる現在の画像を取得し、低周波数成分画像、高周波数成分画像を生成する周波数成分分離部である。符号８は画像蓄積部２に蓄積された処理対象となる現在の画像、分散値画像生成部３において生成された分散値画像及び背景画像生成蓄積部４において生成された背景画像から、現在の画像と処理対象となる画像の差異を検出し、その差異及び分散値画像の各画素値から画素単位の人物らしさを算出し、算出した人物らしさに対して膨張処理、収縮処理を行う高周波数成分抑制部である。高周波数成分抑制部８は、さらに膨張処理、収縮処理後の人物らしさに応じて、周波数成分分離部７にて生成される高周波数成分画像の各画素値を抑制した処理を行う。
【００２５】
符号９は周波数成分分離部７にて生成された低周波数成分画像と高周波数成分抑制部８にて生成された高周波数成分画像を合成し結果画像を生成する結果画像合成部である、符号１０は結果画像合成部９にて生成された結果画像を出力する結果画像出力部である。なお、分散値画像生成部３、背景画像生成蓄積部４、変化領域抽出部５、フレーム間隔算出部６、周波数成分分離部７、高周波数成分抑制部８、結果画像合成部９における各処理は、たとえばコンピュータやカメラ内部のハードウェアにより実行される。画像蓄積部２には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でも構わない。
【００２６】
次に、図５を参照して、図４に示す装置の動作を説明する。図５は、図４に示す装置の動作をフローチャートである。まず、分散値画像生成部３は、カメラ１で撮影して蓄積された画像を画像蓄積部２から取り込む（ステップＳ１）。続いて、分散値画像生成部３は、取り込んだフレームが処理対象フレームであるか否かを判定し（ステップＳ２）、処理対象フレームまで画像を取り込む。そして、分散値画像生成部３は、複数のフレーム画像から画素毎に平均値を算出し（ステップＳ３）、画素値が平均値から大きく外れている場合は該当するフレームの画素値を除外する（ステップＳ４）。
【００２７】
次に、分散値画像生成部３は、外れ値を除外した複数フレームの該当画素値及び取り込んだ処理対象画像から分散値を計算する（ステップＳ５）。そして、分散値画像生成部３は、全ての画素に対して処理が終了したか否かを判定し（ステップＳ６）、未処理の画素が残されている場合は該当画素の処理を繰り返し行う。続いて、分散値画像生成部３は、全ての画素に対して計算した分散値に対して膨張収縮処理を行うことで、分散値画像を生成する（ステップＳ７）。
【００２８】
次に、背景画像生成部４は、取り込んだ処理対象画像と、生成された分散値画像から背景画像を生成する（ステップＳ８）。背景画像生成には、元となる背景画像が必要となるため、初期値として取り込んだ最初の画像を背景画像として使用する。次に、変化領域抽出部５は、取り込んだ処理対象画像と、生成された背景画像から画素の変化領域が一定の閾値を超えた画素数を計数する（ステップＳ９）。
【００２９】
次に、フレーム間隔算出部６は、計数された変化領域の画素数から以降の処理で使用するフレーム間隔を算出する（ステップＳ１０）。フレーム間隔の算出は事前に用意しておいた画素数とフレーム間隔からなるテーブルを使用しても良いし、処理対象画像の全体の画素数と変化領域の画素数に基づき所定の計算式により算出しても良い。また、ここで算出したフレーム間隔はステップＳ２の判定に使用するフレーム間隔であり、ステップＳ１においてカメラ１で撮影するフレーム間隔や、ステップＳ１１以降の処理については、全てのフレーム画像に対して処理を行う。また、分散値画像生成に使用する各画素の平均値や背景画像はステップＳ１０で算出したフレーム間隔でのみ算出されることから、ステップＳ１１以降の処理では該当するフレームに対する分散値画像の平均値や背景画像が存在しない場合、直前の処理で生成した平均値や背景画像を使用する。
【００３０】
次に、周波数成分分離部７は、ステップＳ２からステップＳ８までの処理とは独立に、取り込んだ処理対象画像から低周波数成分画像を生成する（ステップＳ１１）。続いて、周波数成分分離部７は、生成された低周波数成分画像と、取り込んだ処理対象画像の各画素値の差分を算出し、高周波数成分画像を生成する（ステップＳ１２）。
【００３１】
次に、高周波数成分抑制部８は、取り込んだ処理対象画像と、生成された背景画像との比較を行い、その差異を以て高周波数成分画像の各画素の値を抑制する（ステップＳ１３）。高周波数成分画像の各画素値の抑制には、処理対象画像と背景画像との差異を用いることとし、差異の算出には処理対象画像と背景画像の差分、あるいは処理対象画像と背景画像との正規化相互相関を算出しその相関値を使用する。差異が大きな場合、差分は大きくなり、相関値は小さくなることから、抑制には差異が大きくなるほど値が大きくなるよう、差分や相関値が差異の大小に対して同様の傾向となるよう加工して使用する。高周波数成分画像の各画素の抑制には、処理対象画像と背景画像との差異が大きくなるほど強く抑制を行う。
【００３２】
次に、結果画像合成部９は、生成された低周波数成分画像と、抑制後の高周波数成分画像を合成する（ステップＳ１４）。最後に、結果画像出力部１０は、合成することにより得られた結果画像を出力する（ステップＳ１５）。
【００３３】
次に、各処理の詳細を説明する。カメラ１を経由して取得された画像は画像蓄積部２に蓄積され、分散値画像生成部３は画像蓄積部２から処理対象画像を含むＭ枚の画像を取得する。ここでＭは任意の枚数とし、初期状態では連続した枚数、それ以外の場合はフレーム間隔算出部６で算出したフレーム間隔で間引き処理を行ったＭ枚の画像とする。次に、取得したＭ枚の画像の各画素に対して、（１）式により座標（ｘ，ｙ）における画素の平均値Ｉ￣（ｘ，ｙ）（￣はＩの頭に付く）を計算する。ここで、ｋは処理対象画像を０フレーム目とし、平均値算出に使用する過去Ｍ枚の画像のフレーム番号、Ｉｋ（ｘ，ｙ）は各フレームのフレーム番号ｋの座標（ｘ，ｙ）の画素値とする。
【数１】
【００３４】
各画素の平均値を計算した後、平均値からの差分が一定の閾値以上の場合、該当する差分の大きい任意の点数を外れ値として除去し、除去後の画素値に対して（２）式により分散値を計算する。このとき、処理対象フレームの画素は外れ値として選択されないものとする。
【数２】
【００３５】
全ての画素に対して同様の処理を行った後、モルフォロジ演算の膨張処理、収縮処理を行う。膨張処理は、任意の画素Ｓ（ｘ，ｙ）に対して、隣接する８画素の中から最大の値を画素Ｓ（ｘ，ｙ）の値とする演算を、任意の回数実施する。同様に、収縮処理は任意の画素Ｓ（ｘ，ｙ）に対して、隣接する８画素の中から最小となる画素の値を、画素Ｓ（ｘ，ｙ）の値とする演算を任意の回数実施する。ここで、膨張処理、収縮処理の実行回数は同じ回数とする。次にモルフォロジ演算処理後の各画素の値Ｓ’（ｘ，ｙ）に対して、多次元関数により変換する。（３−１）式、（３−２）式に、それぞれ一次関数、二次関数により変換する場合の例を示すが、さらに高次元の関数を用いても良い。ここで、（３−１）式、（３−２）式のａ、ｂ、ｃはそれぞれ任意の定数を表す。
【数３】
【００３６】
次に、変換後の各画素の値Ｓ’’（ｘ，ｙ）を用いて、背景画像生成蓄積部４において（４）式により背景画像Ｂｇ（ｘ，ｙ）を生成する。ここで、Ｂｇ’（ｘ，ｙ）はひとつ前のフレーム処理により生成される旧背景画像の座標（ｘ，ｙ）の画素値、Ｃｏｅｆはカメラ１にて取得される画像の時間間隔、及び撮影対象となる範囲での人物の移動速度などにより設定する任意の値、Ｉ０（ｘ，ｙ）は処理対象画像の座標（ｘ，ｙ）における画素値を表す。ここでも分散値画像生成部３の処理と同様、フレーム間隔算出部６で算出されたフレーム間隔に基づき、Ｂｇ’（ｘ，ｙ）を算出することとし、処理を行わないフレームに関しては、直前の処理で算出したＢｇ’（ｘ，ｙ）の値を使用する。
【数４】
【００３７】
背景画像生成蓄積部４の処理終了後、Ｂｇ’（ｘ，ｙ）とＩ０（ｘ，ｙ）の値から一定以上の変化のあった画素数を算出する。変化の有無Ｄｉｆｆ（ｘ，ｙ）については、Ｔｈを閾値とした（５）式により判定することとし、処理対象画像全体の変化画素数Ｃｏｕｎｔは（６）式により算出する。
【数５】
【数６】
【００３８】
背景画像生成蓄積部４の処理とは独立に、周波数成分分離部７において低周波数成分画像を生成する。低周波数成分画像は、処理対象画像に対して荷重平均フィルタを使用して生成する。次に、処理対象画像と低周波数成分画像の各画素値の差分から、（７）式により高周波数成分画像を生成する。（７）式のＬ（ｘ，ｙ）、Ｈ（ｘ，ｙ）はそれぞれ低周波数成分画像、高周波数成分画像の座標（ｘ，ｙ）における画素値を表す。
【数７】
【００３９】
次に、高周波数成分抑制部８において、背景画像生成蓄積部４において生成した背景画像ＢＧ（ｘ，ｙ）と、画像蓄積部２に蓄積された処理対象画像Ｉ０（ｘ，ｙ）から人物らしさとしてそれぞれの画像の各画素値の差異を算出する。差異の算出には各画素値の差分や正規化相互相関を使用する。差異算出の例として各画素値の差分を用いる場合は、各画素の差分Ｄ（ｘ，ｙ）は（８）式により算出する。また、正規化相互相関を使用する場合は、相関値と差異の大小の関係が差分とは逆になるため、算出した相関値の逆数を用いる。
【数８】
【００４０】
次に、算出した人物らしさＤ（ｘ，ｙ）の各画素値を用いて、高周波数成分画像Ｈ（ｘ，ｙ）の各画素値を抑制する。高周波数成分画像Ｈ（ｘ，ｙ）の各画素値の抑制は、人物らしさＤ（ｘ，ｙ）が大きくなるほど抑制の度合いが大きくなる関数を使用し、その関数により算出される係数により高周波数成分画像Ｈ（ｘ，ｙ）の各画素値を抑制する。ここで、使用する関数としては、人物らしさＤ（ｘ，ｙ）の各画素値の多次元関数を使用する。関数の一つの例として、（９−１）式、（９−２）式にそれぞれ一次関数、二次関数を用いた場合の例を示す。ここで、（９−１）式、（９−２）式のａ’、ｂ’、ｃ’はそれぞれ任意の定数、Ｃ（ｘ，ｙ）は高周波数成分画像Ｈ（ｘ，ｙ）の各画素の抑制に使用する、座標（ｘ，ｙ）における計数を表す。
【数９】
【００４１】
高周波数成分画像Ｈ（ｘ，ｙ）の各画素値の抑制は、（１０）式に示すように高周波数成分画像の各画素値Ｈ（ｘ，ｙ）を（９−１）式または（９−２）式により算出した各画素に対応する係数Ｃ（ｘ，ｙ）で除算することにより行う。ここで、Ｈ’（ｘ，ｙ）は抑制後の高周波数成分画像の座標（ｘ，ｙ）における画素値を表す。
【数１０】
【００４２】
次に、高周波数成分抑制部８にて生成した抑制後の高周波数成分画像Ｈ’（ｘ，ｙ）と、周波数成分分離部７にて生成した低周波数成分画像を、結果画像合成部９にて（１１）式により合成し、結果画像Ｉ’（ｘ，ｙ）を生成し、結果画像出力部１０にて結果画像Ｉ’（ｘ，ｙ）を出力する。
【数１１】
【００４３】
このように、本実施形態における処理フローは、蓄積されている処理対象画像を含む複数枚の画像から画像中の変化に着目して背景画像を生成するフローと、背景画像と処理対象画像の各画素値の差分から閾値以上の変化のあった画素数を計数し分散値画像ならびに背景画像を生成するフレーム間隔を算出するフレーム間隔算出フローと、処理対象画像から低周波数成分画像、高周波数成分画像を生成するフローと、背景画像、処理対象画像、高周波数成分画像、低周波数成分画像から人物らしさの高い領域に対してより強い画像変換を行うフローからなる。
【００４４】
背景画像を生成するフローでは、処理対象画像を含む処理対象画像以前の複数枚の画像を画像蓄積部２から取得し、それらの画像の各画素値の時間軸上での平均値を算出した平均値画像を生成する。次に、各画素に対して複数枚の画像の該当する位置の画素との差分を算出し、差分が一定の閾値を超えた場合は外れ値として該当する画素を除外する。このとき、処理対象画像の該当する画素に関しては、外れ値を除外しないものとする。次に、外れ値を除外した複数枚の画像の各画素値及び処理対象画像の画素値から分散値を算出し、画素に該当する位置に算出した分散値を持つ画像を生成する。以上の処理を全ての画素に対して行った後、分散値を持つ画像の各画素に対して、周辺８画素の最大値を該当画素の値とする膨張処理を複数回実施し、次いで周辺８画素の最小値を該当画素の値とする収縮処理を複数回実施する。このとき、膨張処理の回数、収縮処理の回数は任意の回数とする。以上の処理により生成された画像を分散値画像と呼び、各画素の値は処理対象画像の該当する位置に対する変化の大きさを表す。
【００４５】
次に分散値画像、処理対象画像、基準となる背景画像（以降、基準画像という）から、背景画像を更新する。基準画像は、ひとつ前の処理で生成した背景画像を使用するものとし、初期状態では背景画像が存在しないことから、画像蓄積部２に蓄積された最初の画像を使用することとする。背景画像の更新は、基準画像と処理対象画像の各画素値を分散値画像の各画素の値を加工した値により重み付けすることにより行う。次に、生成した背景画像と処理対象画像から、それぞれの画像の各画素の差分を求め、差分に対して任意の閾値処理を行う。閾値処理により、画像全体に対する一定以上の変化があった画素数を計数し、画素数に応じてフレーム間隔を算出する。フレーム間隔の算出は事前に作成したテーブルを用いる方法ないしは、画像全体の画素数と閾値以上の変化のあった画素数から算出する方法とする。このとき、閾値以上の変化のあった画素数として、複数の処理対象画像に対する処理結果の累積値を使用しても良い。次に、処理対象画像から高周波数成分画像、低周波数成分画像を生成するフローでは、画像蓄積部２より処理対象画像を取得し、処理対象画像に対して一般的な画像処理で用いられる加重平均フィルタを適用することにより低周波数成分画像を生成する。
【００４６】
また、ここでは加重平均フィルタの代わりに、画像全体をブロック分割し、該当ブロックの平均値をブロック内の全ての画素値とする低周波数成分画像を生成しても良い。高周波数成分画像は、生成した低周波数成分画像と処理対象画像の各画素の差分を求めることで算出することができる。ここで、処理対象画像は全てのフレーム画像を対象とし、該当するフレームの分散値画像や背景画像が存在しない場合は、以降の処理において直前に算出した分散値画像や背景画像を用いることとする。
【００４７】
背景画像と処理対象画像、高周波数成分画像、低周波数成分画像から画像変換を行うフローでは、背景画像と処理対象画像の各画素値の差異に応じて、差異が大きい程、高周波数成分画像の該当する画素の値を抑制する。背景画像と処理対象画像との差異は、各画素値の差分の絶対値、もしくは正規化相互相関により算出される相関値の逆数とする。人物が長時間留まっている場合、人物中心は人物の周辺領域に比べ、差異が小さくなる傾向があることから、人物中心部での検出漏れを低減するため、全ての画素に対して差異を算出し終えた後、差異に対して膨張処理、収縮処理を行う。ここで、膨張処理、収縮処理後の背景画像と処理対象画像の差異を人物らしさとして定義する。高周波数成分画像の各画素値の抑制の一つの例としては、算出した人物らしさの各画素値を一次関数もしくは二次関数により変換し、変換した値を以て高周波数成分画像の該当する画素値を除算することにより行うことができる。この処理により生成した高周波数成分画像の各画素値と、該当する画素の低周波数成分画像の画素値を加算することにより、人物らしさの大きい画素ほど、より高周波数成分が抑制された画像を結果画像として生成する。
【００４８】
次に、図５に示す処理動作の変形例を説明する。図５に示す処理動作では、画像変換を行うフローにおいて背景画像、処理対象画像、高周波数成分画像、低周波数成分画像から人物らしさの高い領域に対してより強い画像変換を行っている。図６に示す第１の変形例では、図５に示す処理動作によって生成した人物らしさに対して、背景画像を生成するフローで生成した分散値画像の各画素値を乗算する。
【００４９】
また、図５、図６に示す処理動作では、分散値画像を算出するフローにおいて外れ値除去（ステップＳ４）にて該当する画素の平均値を使用している。図７に示す第２の変形例及び図８に示す第３の変形例では、外れ値除去（ステップＳ４）で使用する平均値の代わりに、画素値並べ替え（ステップＳ１６）にて該当画素の値を昇順または降順に並び変えを行い、中央値算出（ステップＳ１７）にて中央値を算出することにより、中央値との差分の大きい外れ値を除外する。
【００５０】
図５〜図８に示す処理動作では、背景画像を生成するフローにおける各画素の分散値を算出する際に、任意枚数の画像の各画素の値、及びそれぞれの画像の該当する画素の値の時間軸上での平均値を使用している。分散値は算出の基となる値の大小により、絶対的な変化量が大きくなることから、使用する複数枚の画像の輝度分布が絶対的に低い場合、相対的な変化量が大きくても分散値が小さくなるという問題がある。そこで、分散値算出の際に、画素毎に平均値、分散値を算出するのではなく、まず全ての画像に対して平均値を算出し、算出した平均値の輝度値の空間的な分布に基づき、分散値を正規化するようにしてもよい。
【００５１】
以上説明したように、本実施形態による画像処理装置は、特許文献１とは異なり、空間的に連続となる分散値を使用して変化のある領域を検出し、分散値の算出には連続する複数フレームの情報を使用するため、時間的な連続性も保ちながら変化領域を検出することができる。また、画像変換を行う際に、使用する画像のフレーム数を削減することにより、処理負荷やメモリ使用量を削減することができる。
【００５２】
また、変化量の大きさに応じて背景を更新することにより、カメラ動作が含まれる場合においても、本来背景となる領域に対しては速やかに背景領域として判断することができ、且つ人物領域に関しては、人物が長時間その場に留まっていた場合においても、微動による画素値変化が大きくなることから、背景の更新速度を遅くすることができ、人物を検出し続けることが可能となる。
【００５３】
また、動き量が一定以上の大きさとなる画素数により処理フレーム間隔を制御することにより、カメラ動作などの画像全体に動きのある場合は短時間での背景更新が可能となることから、その後の背景領域の収束速度が向上し、カメラ動作の無い人物のみが存在する場合は、背景更新速度が遅くなることで、人物と背景画像の同化を抑制することができる。
【００５４】
なお、図４における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、個人が特定できないようにして人物領域を検出する画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００５６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００５７】
時間的、空間的な連続性を保ちながら、背景となる情報も利用することで、誤検出を低減しながらも個人が特定できないように画像変換を行うことによって、プライバシーを保護ことが不可欠な用途に適用できる。
【符号の説明】
【００５８】
１・・・カメラ、２・・・画像蓄積部、３・・・分散値算画像生成部、４・・・背景画像生成蓄積部、５・・・変化領域抽出部、６・・・フレーム間隔算出部、７・・・周波数成分分離部、８・・・高周波数成分抑制部、９・・・結果画像合成部、１０・・・結果画像出力部
【技術分野】
【０００１】
本発明は、撮影された時系列画像から人物らしい領域に対して個人が特定できないよう画像変換を行う画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像や映像から人物らしい領域を計測する方法として、人物は長時間静止しないという仮定を用い、人物らしい領域として動き検出を使用する方法が公知である。動き検出の一例として、特許文献１に記載された動き検出方法は、撮影した時系列画像から過去複数フレームの映像を蓄積し、各フレームの画素値を対数変換し、変換された各画素のフレーム間の時間微分値が閾値を満たす場合に、該当するフレーム番号を評価値として、動きパターン画像を生成するものである。また、画素値の対数変換を行わず、フレーム間の画素値の比を算出し、比の値をフレーム間隔で除算し、除算した値が閾値を満たす場合に該当する動きパターン画像を生成することができる。この動き検出方法は、対数変換処理を行うことにより、撮影条件や、撮影環境、カメラの光電変換特性にロバストな動き検出を実現するとともに、複数フレームを用いた処理を行うことにより、ノイズによる影響を低減している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２６８９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、人物らしい領域を計測する方法として、特許文献１に記載された動き検出方法を用いた際は、動きパターン画像の生成に閾値処理を用いているため、例えばフレーム間の時間微分値が閾値に近い値を持つ画素が空間的に近い領域に存在する場合、画素間の連続性が失われてしまうという問題がある。また、同一画素に対する時間微分値が複数フレームに渡って閾値に近い値を持つ場合、フレーム間の連続性が失われてしまうという問題もある。さらには、過去複数フレームの画像を使用することにより、メモリ使用量が増大してしまうという問題もある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、時間的、空間的な連続性を保ちつつ、誤検出を低減しながらも個人が特定できないようにして人物領域を検出することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均画素値を算出する平均値算出ステップと、前記複数のフレームそれぞれの画素値のうち、前記平均画素値から外れている画素値を除去する外れ値除去ステップと、前記平均画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出ステップと、前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理ステップと、前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新ステップと、前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出ステップと、前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制ステップと、前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、前記結果画像を処理結果として出力する結果画像出力ステップとを有することを特徴とする。
【０００７】
本発明は、前記分散値算出ステップにて算出される分散値を、前記平均値算出ステップにて算出される各画素の平均値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする。
【０００８】
本発明は、画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の画素値を並べ替え、中央画素値を算出する画素値並べ替えステップと、前記複数のフレームそれぞれの画素値のうち、前記中央画素値から外れている画素値を除去する外れ値除去ステップと、前記中央画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出ステップと、前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理ステップと、前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新ステップと、前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出ステップと、前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制ステップと、前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、前記結果画像を処理結果として出力する結果画像出力ステップとを有することを特徴とする。
【０００９】
本発明は、前記分散値算出ステップにて算出される分散値を、前記中央値算出ステップにて算出される各画素の中央値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする。
【００１０】
本発明は、前記人物領域候補に対して、前記分散値を乗算することを特徴とする。
【００１１】
本発明は、画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均画素値を算出する平均値算出手段と、前記複数のフレームそれぞれの画素値のうち、前記平均画素値から外れている画素値を除去する外れ値除去手段と、前記平均画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出手段と、前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理手段と、前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新手段と、前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出手段と、前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制手段と、前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、前記結果画像を処理結果として出力する結果画像出力手段とを有することを特徴とする。
【００１２】
本発明は、画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の画素値を並べ替え、中央画素値を算出する画素値並べ替え手段と、前記複数のフレームそれぞれの画素値のうち、前記中央画素値から外れている画素値を除去する外れ値除去手段と、前記中央画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出手段と、前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理手段と、前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新手段と、前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出手段と、前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制手段と、前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、前記結果画像を処理結果として出力する結果画像出力手段とを有することを特徴とする。
【００１３】
本発明は、前記画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１４】
本発明によれば、時間的、空間的な連続性を保ちながら、背景となる情報も利用することで、誤検出を低減しながらも個人が特定できないように人物領域を検出することができるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】複数フレームと分散値の一例を示す説明図である。
【図２】動き量に基づくフレーム間隔変更の一例を示す説明図である。
【図３】モルフォロジー演算による膨張処理、縮退処理の一例を示す説明図である。
【図４】本発明の一実施形態の構成を示すブロック図である。
【図５】図１に示す画像処理装置の動作を示すフローチャートである。
【図６】図１に示す画像処理装置の動作の変形例を示すフローチャートである。
【図７】図１に示す画像処理装置の動作の変形例を示すフローチャートである。
【図８】図１に示す画像処理装置の動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の一実施形態による画像処理装置を説明する。始めに、本発明の人物検出の原理について説明する。本発明では、人物らしさとして対象となる画像の各画素成分の時間的な変化及び背景画像との差分を用いる。カメラの動作（パン・チルト・ズーム）により背景が変化することも考慮し、複数フレームの情報から背景画像を逐次更新するが、その際、対象となる各画素について人物はふらつきがあり微少な動きの変化があるが、背景は動かないという前提のもと、各画素成分の時間的な変化量に応じて背景更新の速度を可変とする。
【００１７】
変化量の小さい領域は背景である可能性が高いため、背景更新速度を高くすることで、カメラ動作後のそれらの領域については速やかに画素値が収束し、処理対象となる画像と背景との差分が小さくなることから、人物として検出されにくくなる。一方、変化量の大きい領域は人物である可能性が高いため、背景更新速度を遅くする。これにより、人物が長時間その場に留まっていた場合でも、人物と背景との差分が常に大きくなり、人物として検出し続けることができる。ここで、各画素成分の時間的な変化としては画素値の分散を使用し、人物らしさの指標としては背景画像と処理対象となる画像との差分を用いる。
【００１８】
また、背景更新に画素値の分散を加工した値を使用することで、閾値処理を行うこと無く、時間的、空間的に背景更新の速度を連続的に変化させることができる。同様に人物らしさの評価に使用する背景画像と処理対象画像との差分に対しても、差分を加工した値を使用することで時間的、空間的に連続した人物らしさを算出することが可能となる。これらの値に基づき、画像中の人物領域を特定できなくするための画像変換を行うことができる。さらには、これらの値から画像全体に対する変化領域の割合を算出し、変化領域の小さな画像に対しては背景を更新するためのフレーム間隔を大きくし、変化領域の大きな画像に対しては、背景を更新するためのフレーム間隔を小さくすることにより、カメラの動作に伴う動きへの適応性を高めるとともに、不要な画像の蓄積や背景更新の処理を行わないことで、処理量やメモリ使用量を低減する。
【００１９】
ここで、図１〜３を参照して、変化量算出処理について説明する。本発明は、時系列画像を入力としており、最新の画像から過去複数枚に渡って画像を蓄積し、蓄積された画像から複数枚の画像を使用し、変化量として画素毎の分散値を算出する。図１に示すように、動きのある領域では分散値が大きくなるが、動きの無い領域では画素値の変化が少ないため、分散値は非常に小さな値となる。分散値の算出には、処理対象となる画像を含め、複数枚の画像を使用するが、ここで、図１に示す例では処理対象となる画像をＮ枚目とし、Ｎ枚目を基準に過去Ｍ枚目までの画像を使用して分散値を算出している。このとき、短時間の時系列画像からのみでは、瞬間的な変化に対して分散値が大きく変動してしまうため、本来は変化の少ない領域であっても、分散値が大きく変動してしまう。
【００２０】
そこで、分散値の算出には十分な枚数の時系列画像を入力とする必要がある。しかしながら、大量の画像を時系列画像として入力する場合、分散値計算に必要な処理量やメモリ量が増大することから、図２に示すように、該当フレーム内の一定以上の動き量のあった画素数によって、分散計算に使用する時系列画像のフレーム間隔を変更し、動き量の大きな画素数が多いフレームの場合は抽出するフレーム間隔を短くし、動き量の大きな画素数が少ないフレームの場合はフレーム間隔を長くすることで、少ない画像枚数から動き量の変化を検出する。図２に示す例では、動き量の大きな画素数が多い場合は隣接する複数フレームを使用して動き量の検出を行うが、動き量の大きな画素数が少ない場合は、数フレーム間引きを行うことで、長時間の動き量の変化を検出している。フレーム間の間引きを行う際は、動き量の大きな画素数に応じて間引き枚数を決定する、事前に作成しておいたテーブルを使用する場合や、動き量の大きな画素数から間引き枚数を所定の計算式により算出する方法等がある。
【００２１】
また、長時間人物が同じ個所に留まっている場合、人物周辺領域は人物のふらつきによる動きがあるため、画素値の変化が大きくなり、分散値も大きくなる。しかしながら、空間的に画素値の変動が少ない人物中心付近の領域では、分散値も小さくなってしまう。そこで、算出した分散値に対して、図３に示すモルフォロジー（ｍｏｒｐｈｏｌｏｇｙ）演算の膨張、収縮処理を行い、分散値の小さくなる人物中心付近の穴埋め処理を行う。膨張処理を行うことにより、人物周辺画素から人物中心、あるいは人物の外側の領域に対しても人物周辺領域と同じ大きな分散の値とすることができる。このようにして、人物領域では大きな分散値、それ以外の領域では小さな分散値となる分散値画像を生成する。ここで生成した分散値画像の画素値に応じて、画素値が大きいほど背景画像の更新速度を遅くする。背景更新には、元となる背景画像に対して現在の画像を一定の寄与率で合成することにより生成することとし、現在の画像の寄与率を変化させることにより更新速度を変更する。更新した背景画像と処理対象となる画像の画素値の差分や正規化相互相関値により、背景画像と処理対象画像となる現在の画像の比較を行い、その際を人物らしさとする。人物らしさには、このほかに背景更新に使用した分散値画像の画素値を用い、それぞれを単独、もしくは組み合わせて生成する。
【００２２】
最後に、人物らしさに応じて、処理対象となる現在の画像の高周波数成分を抑制する。高周波数成分には人物の形状や顔の輪郭、目や鼻、口の輪郭情報が多く含まれており、これらの輪郭情報を抑制することにより、個人を識別するための特徴も少なくなることから、高周波数成分を抑制することで個人を特定することのできない画像変換を実現する。高周波数成分は、まず低周波数成分画像を生成し、処理対象となるフレーム画像と、周波数成分画像の差分を算出することで生成する。分散値画像の値の小さい領域は、元の高周波数成分の抑制効果が小さく、低周波成分画像と加算し再合成することで、元の処理対象フレーム画像に近い画像が再現される。一方、分散値画像の値の大きい領域では、高周波数成分を抑制するための画像変換が行われるため、低周波数成分画像と、抑制後の高周波数成分画像を加算し再合成することで、個人を識別するための高周波数成分が少ない画像として再現される。ここで、低周波数成分画像を生成する際には、一般的に画像処理として使用される加重平均フィルタ、荷重値の一例としてはガウス関数を使用したガウシアンフィルタを使用する。また、画像をブロック分割し、該当ブロック内の画素値をブロック内の平均値とした低周波数成分画像を使用することもある。
【００２３】
次に、図４を参照して、同実施形態における画像処理装置の構成を説明する。図４は同実施形態における画像処理装置の構成を示すブロック図である。図４において、符号１は画像入力装置として機能するカメラであり、時系列の画像を撮像することができる。符号２はカメラ１で取得した画像を蓄積する画像蓄積部である。符号３は画像蓄積部２に蓄積された画像の各画素に対して平均値を算出し、外れ値を除去した後に膨張処理、収縮処理を行うことにより分散値画像を生成する分散値画像生成部である。符号４は画像蓄積部２に蓄積された複数枚の画像と、分散値画像生成部３において生成された分散値画像から背景画像を生成し背景画像を蓄積する背景画像生成蓄積部である。
【００２４】
符号５は画像蓄積部２に蓄積された処理対象となる画像及び背景画像生成蓄積部４に蓄積された背景画像から一定以上の変化量のあった画素数を変化領域として抽出する変化領域抽出部である。符号６は変化領域抽出部５において算出された変化領域の画素数から処理フレーム間隔を算出するフレーム間隔算出部である。符号７は画像蓄積部２に蓄積された処理対象となる現在の画像を取得し、低周波数成分画像、高周波数成分画像を生成する周波数成分分離部である。符号８は画像蓄積部２に蓄積された処理対象となる現在の画像、分散値画像生成部３において生成された分散値画像及び背景画像生成蓄積部４において生成された背景画像から、現在の画像と処理対象となる画像の差異を検出し、その差異及び分散値画像の各画素値から画素単位の人物らしさを算出し、算出した人物らしさに対して膨張処理、収縮処理を行う高周波数成分抑制部である。高周波数成分抑制部８は、さらに膨張処理、収縮処理後の人物らしさに応じて、周波数成分分離部７にて生成される高周波数成分画像の各画素値を抑制した処理を行う。
【００２５】
符号９は周波数成分分離部７にて生成された低周波数成分画像と高周波数成分抑制部８にて生成された高周波数成分画像を合成し結果画像を生成する結果画像合成部である、符号１０は結果画像合成部９にて生成された結果画像を出力する結果画像出力部である。なお、分散値画像生成部３、背景画像生成蓄積部４、変化領域抽出部５、フレーム間隔算出部６、周波数成分分離部７、高周波数成分抑制部８、結果画像合成部９における各処理は、たとえばコンピュータやカメラ内部のハードウェアにより実行される。画像蓄積部２には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でも構わない。
【００２６】
次に、図５を参照して、図４に示す装置の動作を説明する。図５は、図４に示す装置の動作をフローチャートである。まず、分散値画像生成部３は、カメラ１で撮影して蓄積された画像を画像蓄積部２から取り込む（ステップＳ１）。続いて、分散値画像生成部３は、取り込んだフレームが処理対象フレームであるか否かを判定し（ステップＳ２）、処理対象フレームまで画像を取り込む。そして、分散値画像生成部３は、複数のフレーム画像から画素毎に平均値を算出し（ステップＳ３）、画素値が平均値から大きく外れている場合は該当するフレームの画素値を除外する（ステップＳ４）。
【００２７】
次に、分散値画像生成部３は、外れ値を除外した複数フレームの該当画素値及び取り込んだ処理対象画像から分散値を計算する（ステップＳ５）。そして、分散値画像生成部３は、全ての画素に対して処理が終了したか否かを判定し（ステップＳ６）、未処理の画素が残されている場合は該当画素の処理を繰り返し行う。続いて、分散値画像生成部３は、全ての画素に対して計算した分散値に対して膨張収縮処理を行うことで、分散値画像を生成する（ステップＳ７）。
【００２８】
次に、背景画像生成部４は、取り込んだ処理対象画像と、生成された分散値画像から背景画像を生成する（ステップＳ８）。背景画像生成には、元となる背景画像が必要となるため、初期値として取り込んだ最初の画像を背景画像として使用する。次に、変化領域抽出部５は、取り込んだ処理対象画像と、生成された背景画像から画素の変化領域が一定の閾値を超えた画素数を計数する（ステップＳ９）。
【００２９】
次に、フレーム間隔算出部６は、計数された変化領域の画素数から以降の処理で使用するフレーム間隔を算出する（ステップＳ１０）。フレーム間隔の算出は事前に用意しておいた画素数とフレーム間隔からなるテーブルを使用しても良いし、処理対象画像の全体の画素数と変化領域の画素数に基づき所定の計算式により算出しても良い。また、ここで算出したフレーム間隔はステップＳ２の判定に使用するフレーム間隔であり、ステップＳ１においてカメラ１で撮影するフレーム間隔や、ステップＳ１１以降の処理については、全てのフレーム画像に対して処理を行う。また、分散値画像生成に使用する各画素の平均値や背景画像はステップＳ１０で算出したフレーム間隔でのみ算出されることから、ステップＳ１１以降の処理では該当するフレームに対する分散値画像の平均値や背景画像が存在しない場合、直前の処理で生成した平均値や背景画像を使用する。
【００３０】
次に、周波数成分分離部７は、ステップＳ２からステップＳ８までの処理とは独立に、取り込んだ処理対象画像から低周波数成分画像を生成する（ステップＳ１１）。続いて、周波数成分分離部７は、生成された低周波数成分画像と、取り込んだ処理対象画像の各画素値の差分を算出し、高周波数成分画像を生成する（ステップＳ１２）。
【００３１】
次に、高周波数成分抑制部８は、取り込んだ処理対象画像と、生成された背景画像との比較を行い、その差異を以て高周波数成分画像の各画素の値を抑制する（ステップＳ１３）。高周波数成分画像の各画素値の抑制には、処理対象画像と背景画像との差異を用いることとし、差異の算出には処理対象画像と背景画像の差分、あるいは処理対象画像と背景画像との正規化相互相関を算出しその相関値を使用する。差異が大きな場合、差分は大きくなり、相関値は小さくなることから、抑制には差異が大きくなるほど値が大きくなるよう、差分や相関値が差異の大小に対して同様の傾向となるよう加工して使用する。高周波数成分画像の各画素の抑制には、処理対象画像と背景画像との差異が大きくなるほど強く抑制を行う。
【００３２】
次に、結果画像合成部９は、生成された低周波数成分画像と、抑制後の高周波数成分画像を合成する（ステップＳ１４）。最後に、結果画像出力部１０は、合成することにより得られた結果画像を出力する（ステップＳ１５）。
【００３３】
次に、各処理の詳細を説明する。カメラ１を経由して取得された画像は画像蓄積部２に蓄積され、分散値画像生成部３は画像蓄積部２から処理対象画像を含むＭ枚の画像を取得する。ここでＭは任意の枚数とし、初期状態では連続した枚数、それ以外の場合はフレーム間隔算出部６で算出したフレーム間隔で間引き処理を行ったＭ枚の画像とする。次に、取得したＭ枚の画像の各画素に対して、（１）式により座標（ｘ，ｙ）における画素の平均値Ｉ￣（ｘ，ｙ）（￣はＩの頭に付く）を計算する。ここで、ｋは処理対象画像を０フレーム目とし、平均値算出に使用する過去Ｍ枚の画像のフレーム番号、Ｉｋ（ｘ，ｙ）は各フレームのフレーム番号ｋの座標（ｘ，ｙ）の画素値とする。
【数１】
【００３４】
各画素の平均値を計算した後、平均値からの差分が一定の閾値以上の場合、該当する差分の大きい任意の点数を外れ値として除去し、除去後の画素値に対して（２）式により分散値を計算する。このとき、処理対象フレームの画素は外れ値として選択されないものとする。
【数２】
【００３５】
全ての画素に対して同様の処理を行った後、モルフォロジ演算の膨張処理、収縮処理を行う。膨張処理は、任意の画素Ｓ（ｘ，ｙ）に対して、隣接する８画素の中から最大の値を画素Ｓ（ｘ，ｙ）の値とする演算を、任意の回数実施する。同様に、収縮処理は任意の画素Ｓ（ｘ，ｙ）に対して、隣接する８画素の中から最小となる画素の値を、画素Ｓ（ｘ，ｙ）の値とする演算を任意の回数実施する。ここで、膨張処理、収縮処理の実行回数は同じ回数とする。次にモルフォロジ演算処理後の各画素の値Ｓ’（ｘ，ｙ）に対して、多次元関数により変換する。（３−１）式、（３−２）式に、それぞれ一次関数、二次関数により変換する場合の例を示すが、さらに高次元の関数を用いても良い。ここで、（３−１）式、（３−２）式のａ、ｂ、ｃはそれぞれ任意の定数を表す。
【数３】
【００３６】
次に、変換後の各画素の値Ｓ’’（ｘ，ｙ）を用いて、背景画像生成蓄積部４において（４）式により背景画像Ｂｇ（ｘ，ｙ）を生成する。ここで、Ｂｇ’（ｘ，ｙ）はひとつ前のフレーム処理により生成される旧背景画像の座標（ｘ，ｙ）の画素値、Ｃｏｅｆはカメラ１にて取得される画像の時間間隔、及び撮影対象となる範囲での人物の移動速度などにより設定する任意の値、Ｉ０（ｘ，ｙ）は処理対象画像の座標（ｘ，ｙ）における画素値を表す。ここでも分散値画像生成部３の処理と同様、フレーム間隔算出部６で算出されたフレーム間隔に基づき、Ｂｇ’（ｘ，ｙ）を算出することとし、処理を行わないフレームに関しては、直前の処理で算出したＢｇ’（ｘ，ｙ）の値を使用する。
【数４】
【００３７】
背景画像生成蓄積部４の処理終了後、Ｂｇ’（ｘ，ｙ）とＩ０（ｘ，ｙ）の値から一定以上の変化のあった画素数を算出する。変化の有無Ｄｉｆｆ（ｘ，ｙ）については、Ｔｈを閾値とした（５）式により判定することとし、処理対象画像全体の変化画素数Ｃｏｕｎｔは（６）式により算出する。
【数５】
【数６】
【００３８】
背景画像生成蓄積部４の処理とは独立に、周波数成分分離部７において低周波数成分画像を生成する。低周波数成分画像は、処理対象画像に対して荷重平均フィルタを使用して生成する。次に、処理対象画像と低周波数成分画像の各画素値の差分から、（７）式により高周波数成分画像を生成する。（７）式のＬ（ｘ，ｙ）、Ｈ（ｘ，ｙ）はそれぞれ低周波数成分画像、高周波数成分画像の座標（ｘ，ｙ）における画素値を表す。
【数７】
【００３９】
次に、高周波数成分抑制部８において、背景画像生成蓄積部４において生成した背景画像ＢＧ（ｘ，ｙ）と、画像蓄積部２に蓄積された処理対象画像Ｉ０（ｘ，ｙ）から人物らしさとしてそれぞれの画像の各画素値の差異を算出する。差異の算出には各画素値の差分や正規化相互相関を使用する。差異算出の例として各画素値の差分を用いる場合は、各画素の差分Ｄ（ｘ，ｙ）は（８）式により算出する。また、正規化相互相関を使用する場合は、相関値と差異の大小の関係が差分とは逆になるため、算出した相関値の逆数を用いる。
【数８】
【００４０】
次に、算出した人物らしさＤ（ｘ，ｙ）の各画素値を用いて、高周波数成分画像Ｈ（ｘ，ｙ）の各画素値を抑制する。高周波数成分画像Ｈ（ｘ，ｙ）の各画素値の抑制は、人物らしさＤ（ｘ，ｙ）が大きくなるほど抑制の度合いが大きくなる関数を使用し、その関数により算出される係数により高周波数成分画像Ｈ（ｘ，ｙ）の各画素値を抑制する。ここで、使用する関数としては、人物らしさＤ（ｘ，ｙ）の各画素値の多次元関数を使用する。関数の一つの例として、（９−１）式、（９−２）式にそれぞれ一次関数、二次関数を用いた場合の例を示す。ここで、（９−１）式、（９−２）式のａ’、ｂ’、ｃ’はそれぞれ任意の定数、Ｃ（ｘ，ｙ）は高周波数成分画像Ｈ（ｘ，ｙ）の各画素の抑制に使用する、座標（ｘ，ｙ）における計数を表す。
【数９】
【００４１】
高周波数成分画像Ｈ（ｘ，ｙ）の各画素値の抑制は、（１０）式に示すように高周波数成分画像の各画素値Ｈ（ｘ，ｙ）を（９−１）式または（９−２）式により算出した各画素に対応する係数Ｃ（ｘ，ｙ）で除算することにより行う。ここで、Ｈ’（ｘ，ｙ）は抑制後の高周波数成分画像の座標（ｘ，ｙ）における画素値を表す。
【数１０】
【００４２】
次に、高周波数成分抑制部８にて生成した抑制後の高周波数成分画像Ｈ’（ｘ，ｙ）と、周波数成分分離部７にて生成した低周波数成分画像を、結果画像合成部９にて（１１）式により合成し、結果画像Ｉ’（ｘ，ｙ）を生成し、結果画像出力部１０にて結果画像Ｉ’（ｘ，ｙ）を出力する。
【数１１】
【００４３】
このように、本実施形態における処理フローは、蓄積されている処理対象画像を含む複数枚の画像から画像中の変化に着目して背景画像を生成するフローと、背景画像と処理対象画像の各画素値の差分から閾値以上の変化のあった画素数を計数し分散値画像ならびに背景画像を生成するフレーム間隔を算出するフレーム間隔算出フローと、処理対象画像から低周波数成分画像、高周波数成分画像を生成するフローと、背景画像、処理対象画像、高周波数成分画像、低周波数成分画像から人物らしさの高い領域に対してより強い画像変換を行うフローからなる。
【００４４】
背景画像を生成するフローでは、処理対象画像を含む処理対象画像以前の複数枚の画像を画像蓄積部２から取得し、それらの画像の各画素値の時間軸上での平均値を算出した平均値画像を生成する。次に、各画素に対して複数枚の画像の該当する位置の画素との差分を算出し、差分が一定の閾値を超えた場合は外れ値として該当する画素を除外する。このとき、処理対象画像の該当する画素に関しては、外れ値を除外しないものとする。次に、外れ値を除外した複数枚の画像の各画素値及び処理対象画像の画素値から分散値を算出し、画素に該当する位置に算出した分散値を持つ画像を生成する。以上の処理を全ての画素に対して行った後、分散値を持つ画像の各画素に対して、周辺８画素の最大値を該当画素の値とする膨張処理を複数回実施し、次いで周辺８画素の最小値を該当画素の値とする収縮処理を複数回実施する。このとき、膨張処理の回数、収縮処理の回数は任意の回数とする。以上の処理により生成された画像を分散値画像と呼び、各画素の値は処理対象画像の該当する位置に対する変化の大きさを表す。
【００４５】
次に分散値画像、処理対象画像、基準となる背景画像（以降、基準画像という）から、背景画像を更新する。基準画像は、ひとつ前の処理で生成した背景画像を使用するものとし、初期状態では背景画像が存在しないことから、画像蓄積部２に蓄積された最初の画像を使用することとする。背景画像の更新は、基準画像と処理対象画像の各画素値を分散値画像の各画素の値を加工した値により重み付けすることにより行う。次に、生成した背景画像と処理対象画像から、それぞれの画像の各画素の差分を求め、差分に対して任意の閾値処理を行う。閾値処理により、画像全体に対する一定以上の変化があった画素数を計数し、画素数に応じてフレーム間隔を算出する。フレーム間隔の算出は事前に作成したテーブルを用いる方法ないしは、画像全体の画素数と閾値以上の変化のあった画素数から算出する方法とする。このとき、閾値以上の変化のあった画素数として、複数の処理対象画像に対する処理結果の累積値を使用しても良い。次に、処理対象画像から高周波数成分画像、低周波数成分画像を生成するフローでは、画像蓄積部２より処理対象画像を取得し、処理対象画像に対して一般的な画像処理で用いられる加重平均フィルタを適用することにより低周波数成分画像を生成する。
【００４６】
また、ここでは加重平均フィルタの代わりに、画像全体をブロック分割し、該当ブロックの平均値をブロック内の全ての画素値とする低周波数成分画像を生成しても良い。高周波数成分画像は、生成した低周波数成分画像と処理対象画像の各画素の差分を求めることで算出することができる。ここで、処理対象画像は全てのフレーム画像を対象とし、該当するフレームの分散値画像や背景画像が存在しない場合は、以降の処理において直前に算出した分散値画像や背景画像を用いることとする。
【００４７】
背景画像と処理対象画像、高周波数成分画像、低周波数成分画像から画像変換を行うフローでは、背景画像と処理対象画像の各画素値の差異に応じて、差異が大きい程、高周波数成分画像の該当する画素の値を抑制する。背景画像と処理対象画像との差異は、各画素値の差分の絶対値、もしくは正規化相互相関により算出される相関値の逆数とする。人物が長時間留まっている場合、人物中心は人物の周辺領域に比べ、差異が小さくなる傾向があることから、人物中心部での検出漏れを低減するため、全ての画素に対して差異を算出し終えた後、差異に対して膨張処理、収縮処理を行う。ここで、膨張処理、収縮処理後の背景画像と処理対象画像の差異を人物らしさとして定義する。高周波数成分画像の各画素値の抑制の一つの例としては、算出した人物らしさの各画素値を一次関数もしくは二次関数により変換し、変換した値を以て高周波数成分画像の該当する画素値を除算することにより行うことができる。この処理により生成した高周波数成分画像の各画素値と、該当する画素の低周波数成分画像の画素値を加算することにより、人物らしさの大きい画素ほど、より高周波数成分が抑制された画像を結果画像として生成する。
【００４８】
次に、図５に示す処理動作の変形例を説明する。図５に示す処理動作では、画像変換を行うフローにおいて背景画像、処理対象画像、高周波数成分画像、低周波数成分画像から人物らしさの高い領域に対してより強い画像変換を行っている。図６に示す第１の変形例では、図５に示す処理動作によって生成した人物らしさに対して、背景画像を生成するフローで生成した分散値画像の各画素値を乗算する。
【００４９】
また、図５、図６に示す処理動作では、分散値画像を算出するフローにおいて外れ値除去（ステップＳ４）にて該当する画素の平均値を使用している。図７に示す第２の変形例及び図８に示す第３の変形例では、外れ値除去（ステップＳ４）で使用する平均値の代わりに、画素値並べ替え（ステップＳ１６）にて該当画素の値を昇順または降順に並び変えを行い、中央値算出（ステップＳ１７）にて中央値を算出することにより、中央値との差分の大きい外れ値を除外する。
【００５０】
図５〜図８に示す処理動作では、背景画像を生成するフローにおける各画素の分散値を算出する際に、任意枚数の画像の各画素の値、及びそれぞれの画像の該当する画素の値の時間軸上での平均値を使用している。分散値は算出の基となる値の大小により、絶対的な変化量が大きくなることから、使用する複数枚の画像の輝度分布が絶対的に低い場合、相対的な変化量が大きくても分散値が小さくなるという問題がある。そこで、分散値算出の際に、画素毎に平均値、分散値を算出するのではなく、まず全ての画像に対して平均値を算出し、算出した平均値の輝度値の空間的な分布に基づき、分散値を正規化するようにしてもよい。
【００５１】
以上説明したように、本実施形態による画像処理装置は、特許文献１とは異なり、空間的に連続となる分散値を使用して変化のある領域を検出し、分散値の算出には連続する複数フレームの情報を使用するため、時間的な連続性も保ちながら変化領域を検出することができる。また、画像変換を行う際に、使用する画像のフレーム数を削減することにより、処理負荷やメモリ使用量を削減することができる。
【００５２】
また、変化量の大きさに応じて背景を更新することにより、カメラ動作が含まれる場合においても、本来背景となる領域に対しては速やかに背景領域として判断することができ、且つ人物領域に関しては、人物が長時間その場に留まっていた場合においても、微動による画素値変化が大きくなることから、背景の更新速度を遅くすることができ、人物を検出し続けることが可能となる。
【００５３】
また、動き量が一定以上の大きさとなる画素数により処理フレーム間隔を制御することにより、カメラ動作などの画像全体に動きのある場合は短時間での背景更新が可能となることから、その後の背景領域の収束速度が向上し、カメラ動作の無い人物のみが存在する場合は、背景更新速度が遅くなることで、人物と背景画像の同化を抑制することができる。
【００５４】
なお、図４における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、個人が特定できないようにして人物領域を検出する画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００５５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００５６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００５７】
時間的、空間的な連続性を保ちながら、背景となる情報も利用することで、誤検出を低減しながらも個人が特定できないように画像変換を行うことによって、プライバシーを保護ことが不可欠な用途に適用できる。
【符号の説明】
【００５８】
１・・・カメラ、２・・・画像蓄積部、３・・・分散値算画像生成部、４・・・背景画像生成蓄積部、５・・・変化領域抽出部、６・・・フレーム間隔算出部、７・・・周波数成分分離部、８・・・高周波数成分抑制部、９・・・結果画像合成部、１０・・・結果画像出力部
【特許請求の範囲】
【請求項１】
画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、
処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均画素値を算出する平均値算出ステップと、
前記複数のフレームそれぞれの画素値のうち、前記平均画素値から外れている画素値を除去する外れ値除去ステップと、
前記平均画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出ステップと、
前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理ステップと、
前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新ステップと、
前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、
前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、
前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出ステップと、
前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制ステップと、
前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、
前記結果画像を処理結果として出力する結果画像出力ステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記分散値算出ステップにて算出される分散値を、前記平均値算出ステップにて算出される各画素の平均値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、
処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の画素値を並べ替え、中央画素値を算出する画素値並べ替えステップと、
前記複数のフレームそれぞれの画素値のうち、前記中央画素値から外れている画素値を除去する外れ値除去ステップと、
前記中央画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出ステップと、
前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理ステップと、
前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新ステップと、
前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、
前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、
前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出ステップと、
前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制ステップと、
前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、
前記結果画像を処理結果として出力する結果画像出力ステップと
を有することを特徴とする画像処理方法。
【請求項４】
前記分散値算出ステップにて算出される分散値を、前記中央値算出ステップにて算出される各画素の中央値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記人物領域候補に対して、前記分散値を乗算することを特徴とする請求項１から４に記載の画像処理方法。
【請求項６】
画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、
処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均画素値を算出する平均値算出手段と、
前記複数のフレームそれぞれの画素値のうち、前記平均画素値から外れている画素値を除去する外れ値除去手段と、
前記平均画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出手段と、
前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理手段と、
前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新手段と、
前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、
前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、
前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出手段と、
前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制手段と、
前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、
前記結果画像を処理結果として出力する結果画像出力手段と
を有することを特徴とする画像処理装置。
【請求項７】
画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、
処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の画素値を並べ替え、中央画素値を算出する画素値並べ替え手段と、
前記複数のフレームそれぞれの画素値のうち、前記中央画素値から外れている画素値を除去する外れ値除去手段と、
前記中央画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出手段と、
前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理手段と、
前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新手段と、
前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、
前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、
前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出手段と、
前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制手段と、
前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、
前記結果画像を処理結果として出力する結果画像出力手段と
を有することを特徴とする画像処理装置。
【請求項８】
請求項１から５のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【請求項１】
画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、
処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均画素値を算出する平均値算出ステップと、
前記複数のフレームそれぞれの画素値のうち、前記平均画素値から外れている画素値を除去する外れ値除去ステップと、
前記平均画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出ステップと、
前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理ステップと、
前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新ステップと、
前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、
前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、
前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出ステップと、
前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制ステップと、
前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、
前記結果画像を処理結果として出力する結果画像出力ステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記分散値算出ステップにて算出される分散値を、前記平均値算出ステップにて算出される各画素の平均値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、
処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の画素値を並べ替え、中央画素値を算出する画素値並べ替えステップと、
前記複数のフレームそれぞれの画素値のうち、前記中央画素値から外れている画素値を除去する外れ値除去ステップと、
前記中央画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出ステップと、
前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理ステップと、
前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新ステップと、
前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、
前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、
前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出ステップと、
前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制ステップと、
前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、
前記結果画像を処理結果として出力する結果画像出力ステップと
を有することを特徴とする画像処理方法。
【請求項４】
前記分散値算出ステップにて算出される分散値を、前記中央値算出ステップにて算出される各画素の中央値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記人物領域候補に対して、前記分散値を乗算することを特徴とする請求項１から４に記載の画像処理方法。
【請求項６】
画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、
処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均画素値を算出する平均値算出手段と、
前記複数のフレームそれぞれの画素値のうち、前記平均画素値から外れている画素値を除去する外れ値除去手段と、
前記平均画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出手段と、
前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理手段と、
前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新手段と、
前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、
前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、
前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出手段と、
前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制手段と、
前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、
前記結果画像を処理結果として出力する結果画像出力手段と
を有することを特徴とする画像処理装置。
【請求項７】
画像中の人物領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、
処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の画素値を並べ替え、中央画素値を算出する画素値並べ替え手段と、
前記複数のフレームそれぞれの画素値のうち、前記中央画素値から外れている画素値を除去する外れ値除去手段と、
前記中央画素値から外れている画素値を除いたそれぞれのフレームの該当画素値から分散値を算出する分散値算出手段と、
前記分散値に対して、膨張処理または収縮処理を行うことにより、分散値画像を生成する膨張収縮処理手段と、
前記処理対象画像と、直前の処理により生成された背景画像と、前記分散値画像に基づき、前記背景画像と前記処理対象画像の各画素値を前記分散値画像に応じた重み付け和により前記背景画像を更新する背景画像更新手段と、
前記処理対象画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、
前記処理対象画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、
前記背景画像と前記処理対象画像との差異から人物領域候補を算出する人物領域候補算出手段と、
前記高周波数成分画像の各画素の値を前記算出された人物領域候補の各画素の値を用いて抑制する高周波数成分抑制手段と、
前記抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、
前記結果画像を処理結果として出力する結果画像出力手段と
を有することを特徴とする画像処理装置。
【請求項８】
請求項１から５のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【図４】
【図５】
【図６】
【図７】
【図８】
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１】
【図２】
【図３】
【公開番号】特開２０１３−１０１５５８（Ｐ２０１３−１０１５５８Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４５７６８（Ｐ２０１１−２４５７６８）
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]