画像処理方法、画像処理装置および画像処理プログラム
【課題】高速な顔検出を実現できる画像処理装置を提供する。
【解決手段】取得した画像から平滑化画像を生成するステップと、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出するステップと、処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行い、正規化用画像を生成し、生成した分散値画像の各画素値に対して、生成した正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成するステップと、正規化した正規化分散値画像に対して膨張処理を実施して補正分散値画像を生成するステップと、補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成して人物領域を検出するステップと、分散値が一定値より大きいと判定された画素に対して顔検出処理を実施するステップとを有する。
【解決手段】取得した画像から平滑化画像を生成するステップと、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出するステップと、処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行い、正規化用画像を生成し、生成した分散値画像の各画素値に対して、生成した正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成するステップと、正規化した正規化分散値画像に対して膨張処理を実施して補正分散値画像を生成するステップと、補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成して人物領域を検出するステップと、分散値が一定値より大きいと判定された画素に対して顔検出処理を実施するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮影された時系列画像から、人物の顔を検出する際に、人物の動きを検出することにより検出範囲を限定し、高速に顔の検出を行う画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、画像や映像から顔を検出する方法として非特許文献１記載の方法が知られている。また、検出した顔の姿勢を推定する方法として非特許文献２記載の方法が知られている。これらの方法を用いることにより、近年普及しているデジタルサイネージの客観的な広告効果指標として、デジタルサイネージに対する注目度合いを計測することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】三田雄志，金子敏充，堀修，”個体差のある対象の画像照合に適した確率的増分符号相関” 電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１６１４−１６２３，（株）電子情報通信学会 ２００５
【非特許文献２】安藤慎吾，草地良規，鈴木章，荒川賢一，”サポートベクトル回帰を用いた三次元物体の姿勢推定法”，電子情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８ ｐｐ．１８４０−１８４７，（株）電子情報通信学会 ２００６
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的な顔検出手法では、画像や映像全体から顔を検出する手法であり、誤検出や過剰検出を抑制するための高度な特徴量を使用する画像処理技術を用いた場合、処理速度が低下してしまうというという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、人物の顔を検出する範囲を限定することにより、誤検出や過剰検出を抑制しながらも、高速な顔検出を実現することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、取得した画像から顔検出を行うために、平滑化画像生成部と、分散値画像生成部と、分散値画像正規化部と、膨張収縮処理部と、人物領域検出部と、顔検出処理部とを備える画像処理装置における画像処理方法であって、前記平滑化画像生成部が、取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化ステップと、前記分散値画像生成部が、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成ステップと、前記分散値画像正規化部が、前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行って正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成ステップと、前記膨張収縮処理部が、正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮ステップと、前記人物領域検出部が、前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出ステップと、前記顔検出処理部が、前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出ステップとを有することを特徴とする。
【０００７】
本発明は、前記分散値画像生成ステップにより生成された各画素の分散値に対して、前記処理対象画像の輝度値毎に最小となる分散値を分散値テーブルとして生成する分散値テーブル生成ステップをさらに有し、前記分散値テーブル生成ステップにおいて生成された前記分散値テーブル並びに前記正規化画像生成ステップにより生成された前記正規化用画像の各画素値より、前記人物領域検出ステップにて各画素の閾値を自動算出し、閾値処理を行うことを特徴とする。
【０００８】
本発明は、前記顔検出ステップにて検出されたひとつ前のフレームの画像に対する顔検出位置を保持する顔検出位置保持ステップをさらに有し、前記顔検出位置保持ステップに保持されている顔検出位置を基準とし、前記膨張収縮ステップにて生成した補正分散値画像の画素値がより高い方向を優先し前記顔検出ステップにて顔検出を行い、且つ前記人物領域検出ステップにおいて該当画素位置周辺の分散値が一定値以下と判定されていた場合においても、該当画素位置周辺にて顔検出を行うことを特徴とする。
【０００９】
本発明は、取得した画像から顔検出を行う画像処理装置であって、取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化手段と、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成手段と、前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行って正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成手段と、正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮手段と、前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出手段と、前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出手段とを備えることを特徴とする。
【００１０】
本発明は、取得した画像から顔検出を行う画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化ステップと、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成ステップと、前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行い、正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成ステップと、正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮ステップと、前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出ステップと、前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、人物の動き情報により人物領域を限定することにより、従来技術の人物の顔や姿勢推定を行う領域を限定し、高速な検出を行うことが可能となる。また、平滑化による低輝度領域におけるノイズの低減、画像全体の空間的な輝度値により動き量である分散値の正規化、輝度値毎の分散値のテーブル化により人物領域検出時の閾値の自動化などを行うことにより、ノイズによる人物領域の過剰検出や、低輝度領域の検出漏れなどを低減することも可能となる。さらに、人物の動き量に応じた探索領域の優先付けにより高速な探索を行うことも可能となり、前フレームにて検出された顔位置情報を元に該当位置周辺からの顔位置を検出することにより動き量の少ない静止中人物の顔も検出可能となるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の処理動作を示すフローチャートである。
【図３】図１に示す装置の処理動作を示すフローチャートである。
【図４】図１に示す装置の処理動作を示すフローチャートである。
【図５】複数フレームと分散値の一例を示す説明図である。
【図６】モルフォロジー演算による膨張処理、縮退処理の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
始めに、画像処理の原理について説明する。ここでは、人物の顔を検出する前の領域を限定するために、画像や映像から人物らしい領域を検出する。人物らしさとしては、対象となる画像の各画素成分の時間的な変化を用いる。時間的な変化を計測するため、時系列画像から処理対象となる画像を含む連続した複数枚の画像を選択し、画素毎の時間変化を複数フレームの同一画素の分散値を計算することにより変化量を算出する。
【００１４】
図５に変化量算出の概念図を示す。図５に示すように、動きのある領域では分散値が大きくなるが、動きの無い領域では画素値の変化が少ないため、分散値は非常に小さな値となる。分散値の算出には、処理対象となる画像を含め複数枚の画像を使用するが、ここで図５の例では処理対象となる画像をＮ枚目とし、Ｎ枚目を基準に過去Ｍ枚目までの画像を使用して分散値を算出する。このとき、分散算出に使用した画像の枚数が少ない場合、１枚の画像による寄与率が大きくなり、瞬間的な変化に対して分散値が大きく変動する。そのため、本来は変化の少ない領域であっても、分散値が大きく変動してしまう。
【００１５】
そこで、分散値の算出には十分多くの枚数の画像を使用する。ここで、撮影環境やカメラ設定により画素の輝度が低い場合は、画素値の変化に比べて相対的に撮像時のノイズの影響が大きくなるという問題がある。そこで、画像全体に対して空間的な平滑化を行うことにより、ノイズの影響による画素値の変化を軽減する。また、影や逆光などにより、同一画像内で空間的に明るさが異なる場合、あるいは画像中の物体そのものの反射率が低く、画像中の画素値が小さくなってしまう場合など、画素値の小さな領域では、計測される変化量が小さくなるという問題がある。そのため、画像の輝度値に対して空間的な平滑化を行った輝度画像により、全画素値の輝度を平滑化した後、分散値を算出することにより、画素値の小さな領域においても、微少な変化を計測する。
【００１６】
長時間人物が同じ個所に留まっている場合、人物周辺領域は人物のふらつきによる動きがあるため、画素値の変化が大きくなり、分散値も大きくなる。しかしながら、空間的に画素値の変動が少ない人物中心付近の領域では、分散値も小さくなる。そこで、算出した分散値に対して、図６に示すモルフォロジー（morphology）演算の膨張、収縮処理を行い、分散値の小さくなる人物中心付近の穴埋め処理を行う。膨張処理を行うことにより、人物周辺画素から人物中心、あるいは人物の外側の領域に対しても人物周辺領域と同じ大きな分散の値とすることができ、収縮処理を行うことで、人物の外側領域のみ分散値をより外側の小さな分散値とすることができる。このようにして、人物領域では大きな分散値、それ以外の領域では小さな分散値となる分散値画像を生成する。
【００１７】
上記分散値画像の画素値を人物らしさとして人物領域を抽出するためには、人物らしさの値により閾値処理を行う必要がある。ここで、前述の通り撮像装置に含まれるノイズ等の影響の更なる低減のため、計測時の画素の輝度値毎に分散値の最小値をテーブル化し、テーブル化した最小となる分散値に応じて閾値を算出することで、輝度値に応じた閾値を動的に設定する。また、人物領域は人物以外の領域に比べて画素値の変化が大きいことから、分散値画像の各画素の値の大小により、人物の顔検出を行うための探索領域に優先順位を付けることにより、より高速な探索を行う。さらに、人物が静止している場合には動き量が少なくなることから、前フレームにて顔が検出された位置情報に基づき、動き量が極端に少なくなった場合においても該当位置周辺での顔検出処理を行うことにより、人物の顔の検出漏れを低減する。
【００１８】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。図１において、１は画像入力装置としてのカメラである。２はカメラ１で取得した画像に対して空間的な平滑化を行うための平滑化画像生成部である。３は平滑化画像生成部２で生成した画像を蓄積する画像蓄積部である。４は平滑化画像生成部２により平滑化された画像の各画素に対して平均値を算出し、分散値画像を生成する分散値画像生成部である。５は平滑化画像生成部２により生成された平滑化画像に対して輝度値の平滑化処理を行い、平滑化後の輝度値に応じて分散値画像生成部４により算出される各画素の分散値を正規化する分散値画像正規化部である。
【００１９】
６は分散値画像正規化部５により正規化された分散値に対して膨張処理、収縮処理を行う膨張収縮処理部である。７は膨張収縮処理部６により膨張処理、収縮処理を行った正規化後の分散値に対して閾値処理を行い人物領域を検出する人物領域検出部である。８は人物領域検出部７により検出された人物領域から顔検出処理を行う顔検出処理部である。なお、前記平滑化画像生成部２、分散値画像生成部４、分散値画像正規化部５、膨張収縮処理部６、人物領域検出部７、顔検出処理部８における各処理は、たとえばコンピュータやカメラ内部のハードウェアにより実行される。画像蓄積部３には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でも構わない。
【００２０】
次に、図２を参照して、図１に示す画像処理装置の処理動作を説明する。図２は、図１に示す図１に示す画像処理装置の処理動作を示すフローチャートである。まず全体の流れを説明する。平滑化画像生成部２は、カメラ１で撮影した画像に対して平滑化を行い、画像蓄積部３に蓄積する（ステップＳ１）。次に、分散値画像生成部４と分散値画像正規化部５は、画像蓄積部２に蓄積された画像を取り込む（ステップＳ２）。そして、分散値画像生成部４は、平滑化後の複数フレームの画像から画素毎に平均値を算出し（ステップＳ３）、画素毎の分散値を計算する（ステップＳ４）。分散値画像生成部４は、全ての画素に対して処理が終了しているか否かを判定し（ステップＳ５）、未処理の画素が残されている場合は該当画素の処理を行うことにより分散値画像を生成する。
【００２１】
次に、分散値画像正規化部５は、取得した処理対象となる画像の平滑化画像から輝度値を平滑化した正規化用輝度画像を生成し（ステップＳ６）、分散値画像生成部４が生成した分散値画像とステップＳ６にて生成した正規化用輝度画像から、分散値画像の正規化を行う（ステップＳ７）。続いて、膨張収縮処理部６は、正規化後の分散値画像に対して膨張処理、収縮処理を行い（ステップＳ８）、人物領域検出部７は、膨張処理、収縮処理後の分散値画像に対して閾値処理を行う（ステップＳ９）ことで、人物領域を検出し、得られた人物領域画像を出力する（ステップＳ１０）。顔検出処理部８は、人物領域画像から人物の顔を検出する（ステップＳ１１）。
【００２２】
次に、各処理の動作を詳細に説明する。カメラ１を経由して取得された画像は平滑化画像生成部２において平滑化処理を行う。平滑化処理には、ガウシアンフィルタ等の一般的な画像処理により使用されるフィルタ処理を用いる。平滑化処理を行った画像は画像蓄積部３に蓄積され、分散値画像生成部４において画像蓄積部３から処理対象画像を含む連続したＭ枚の画像を取得する。ここでＭは十分に大きな任意の枚数とする。次に、取得したＭ枚の画像の各画素に対して、（１）式により座標（ｘ，ｙ）における画素の平均値￣Ｉ（ｘ，ｙ）（￣は、Ｉの頭に付く）を計算する。ここで、ｋは処理対象画像を０フレーム目とし、過去Ｍフレーム目までのフレーム番号、 は各フレームのフレーム番号ｋの座標（ｘ，ｙ）の画素値とする。
【数１】
【００２３】
各画素の平均値を計算した後、（２）式により分散値を計算する。
【数２】
【００２４】
全ての画素に対して同様の処理を行った後、画像蓄積部３から処理対象画像を取得し、処理対象画像の輝度値に対して平滑化処理を行う。ここでの平滑化処理は、平滑化画像生成部と同様にガウシアンフィルタ等のフィルタ処理を用いる。分散値画像Ｓ（ｘ，ｙ）の値を平滑化処理後の処理対象画像の輝度値で除算することにより、（３）式により分散値の正規化処理を行う。ここで、平滑化後の分散値画像の画素値をＧ（ｘ，ｙ）、正規化処理後の分散値をＳ'（ｘ，ｙ）とする。
Ｓ'（ｘ，ｙ）＝Ｓ（ｘ，ｙ）／Ｇ（ｘ，ｙ） ・・・（３）
【００２５】
分散値画像の正規化処理を行った後、モルフォロジ演算の膨張処理、収縮処理を行う。膨張処理は、正規化処理分散値画像の任意の画素Ｓ'（ｘ，ｙ）に対して、隣接する８画素の中から最大の値を画素Ｓ'（ｘ，ｙ）の値とする演算を、任意の回数実施する。膨張処理後の分散値画像の画素値をＳ''（ｘ，ｙ）とする。同様に、収縮処理は膨張処理後の分散値画像の任意の画素Ｓ''（ｘ，ｙ）に対して、隣接する８画素の中から最小となる画素の値を、画素Ｓ''（ｘ，ｙ）の値とする演算を任意の回数実施する。収縮処理後の分散値画像の画素値をＳ'''（ｘ，ｙ）とする。ここで、膨張処理、収縮処理の実行回数は同じ回数とする。最後に、（４）式において任意の閾値により分散値画像Ｓ'''（ｘ，ｙ）の値を判定し、閾値を超えた値の画素についてのみ顔検出を行うことにより、高速な検出を行うことが可能となる。ここで、ｆ（ｘ，ｙ）は閾値を超えたか否かを示す２値画像の画素値であり、ｆ（ｘ，ｙ）＝１の場合は閾値を超えており、ｆ（ｘ，ｙ）＝０の場合は閾値を超えていないことを表す。また、ＴＨは任意の閾値とする。
【数３】
【００２６】
＜第２の実施形態＞
次に、図３を参照して、第２の実施形態における画像処理装置の処理動作を説明する。図３は、第２の実施形態における画像処理装置の処理動作を示すフローチャートである。図３において、図２に示す処理動作と同一の処理動作には同じ符号を付けてその説明を省略する。
【００２７】
第１の実施形態では、収縮処理後の分散値画像に対して、任意の閾値を設定し、閾値を超える場合は該当画素を１とし、それ以外の画素値を０とする人物領域画像を生成している。図３に示す処理動作では、平滑化処理後の処理対象画像の該当する位置の輝度値に応じて最小の分散値を持つテーブルを用意し、処理対象画像の各画素の分散値算出後に、該当画素の輝度値からテーブルの該当輝度値の値と比較し、算出した分散値と比較し、分散値の方が小さければテーブルの値を更新する処理動作（ステップＳ１２）が追加されている。
【００２８】
また、閾値処理（ステップＳ９）を実施する際に、処理対象画像の該当する位置の画素の輝度値に対応するテーブルの値並びに正規化用輝度画像の該当画素値から、該当する画素の閾値を自動生成することで、カメラ等撮像装置の輝度値毎のノイズによる画素値の変動を考慮した閾値処理を行う。一般的なカメラの場合、カメラ毎にノイズの特性が異なり、任意の閾値によりカメラのノイズによる分散値への影響を除外することは難しい。ここでは、分散値は輝度値の大きさにより相対的に変化し、人物領域では分散値が大きくなるという傾向から、位置と輝度とに依存した最小となる分散値をテーブルとして保持することにより、該当位置が人物以外の領域であった場合においても、ノイズによる最小分散値を排除し、最適な閾値処理を行うことが可能となる。
【００２９】
＜第３の実施形態＞
次に、図４を参照して、第３の実施形態における画像処理装置の処理動作を説明する。図４は、第３の実施形態における画像処理装置の処理動作を示すフローチャートである。図４において、図３に示す処理動作と同一の処理動作には同じ符号を付けてその説明を省略する。
【００３０】
第１及び第２の実施形態では、人物領域画像の画素値が１となる画素について顔検出処理を行っている。図４に示す処理動作では、前フレームにて検出された人物の顔の位置情報を顔検出結果としてバッファに記憶する（ステップＳ１３）処理動作が追加され、且つ膨張収縮処理後の分散値画像の画素値から前フレームにて検出された人物の顔位置周辺を探索し、より分散値の大きな方向から優先的に顔画像を探索することにより探索範囲を絞り込み、より高速な顔検出を行う。さらには、人物の動きが非常に小さい場合においても、前フレームにて検出された顔の位置情報に基づき、検出された顔位置周辺の人物領域画像の画素値が０となっている場合においても、該当位置を探索対象とすることにより、人物の顔の検出漏れを低減する。
【００３１】
以上説明したように、人物の動き情報により人物領域を限定することにより、従来技術の人物の顔や姿勢推定を行う領域を限定し、高速な検出を行うことが可能となる。また、平滑化による低輝度領域におけるノイズの低減、画像全体の空間的な輝度値により動き量である分散値の正規化、輝度値毎の分散値のテーブル化により人物領域検出時の閾値の自動化などを行うことにより、ノイズによる人物領域の過剰検出や、低輝度領域の検出漏れなどを低減することも可能となる。さらに、人物の動き量に応じた探索領域の優先付けにより高速な探索を行うことも可能となり、前フレームにて検出された顔位置情報を元に該当位置周辺からの顔位置を検出することにより動き量の少ない静止中人物の顔も検出可能となる。
【００３２】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３４】
撮像装置で撮影された時系列画像から、人物の顔を検出する際に、人物の動きを検出することにより検出範囲を限定し、高速に顔の検出を行うことが不可欠な用途に適用できる。
【符号の説明】
【００３５】
１・・・カメラ、２・・・平滑化画像生成部、３・・・画像蓄積部、４・・・分散値算画像生成部、５・・・分散値画像正規化部、６・・・膨張収縮処理部、７・・・人物領域検出部、８・・・顔検出処理部
【技術分野】
【０００１】
本発明は、撮像装置で撮影された時系列画像から、人物の顔を検出する際に、人物の動きを検出することにより検出範囲を限定し、高速に顔の検出を行う画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、画像や映像から顔を検出する方法として非特許文献１記載の方法が知られている。また、検出した顔の姿勢を推定する方法として非特許文献２記載の方法が知られている。これらの方法を用いることにより、近年普及しているデジタルサイネージの客観的な広告効果指標として、デジタルサイネージに対する注目度合いを計測することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】三田雄志，金子敏充，堀修，”個体差のある対象の画像照合に適した確率的増分符号相関” 電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１６１４−１６２３，（株）電子情報通信学会 ２００５
【非特許文献２】安藤慎吾，草地良規，鈴木章，荒川賢一，”サポートベクトル回帰を用いた三次元物体の姿勢推定法”，電子情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８ ｐｐ．１８４０−１８４７，（株）電子情報通信学会 ２００６
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的な顔検出手法では、画像や映像全体から顔を検出する手法であり、誤検出や過剰検出を抑制するための高度な特徴量を使用する画像処理技術を用いた場合、処理速度が低下してしまうというという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、人物の顔を検出する範囲を限定することにより、誤検出や過剰検出を抑制しながらも、高速な顔検出を実現することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、取得した画像から顔検出を行うために、平滑化画像生成部と、分散値画像生成部と、分散値画像正規化部と、膨張収縮処理部と、人物領域検出部と、顔検出処理部とを備える画像処理装置における画像処理方法であって、前記平滑化画像生成部が、取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化ステップと、前記分散値画像生成部が、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成ステップと、前記分散値画像正規化部が、前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行って正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成ステップと、前記膨張収縮処理部が、正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮ステップと、前記人物領域検出部が、前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出ステップと、前記顔検出処理部が、前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出ステップとを有することを特徴とする。
【０００７】
本発明は、前記分散値画像生成ステップにより生成された各画素の分散値に対して、前記処理対象画像の輝度値毎に最小となる分散値を分散値テーブルとして生成する分散値テーブル生成ステップをさらに有し、前記分散値テーブル生成ステップにおいて生成された前記分散値テーブル並びに前記正規化画像生成ステップにより生成された前記正規化用画像の各画素値より、前記人物領域検出ステップにて各画素の閾値を自動算出し、閾値処理を行うことを特徴とする。
【０００８】
本発明は、前記顔検出ステップにて検出されたひとつ前のフレームの画像に対する顔検出位置を保持する顔検出位置保持ステップをさらに有し、前記顔検出位置保持ステップに保持されている顔検出位置を基準とし、前記膨張収縮ステップにて生成した補正分散値画像の画素値がより高い方向を優先し前記顔検出ステップにて顔検出を行い、且つ前記人物領域検出ステップにおいて該当画素位置周辺の分散値が一定値以下と判定されていた場合においても、該当画素位置周辺にて顔検出を行うことを特徴とする。
【０００９】
本発明は、取得した画像から顔検出を行う画像処理装置であって、取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化手段と、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成手段と、前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行って正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成手段と、正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮手段と、前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出手段と、前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出手段とを備えることを特徴とする。
【００１０】
本発明は、取得した画像から顔検出を行う画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化ステップと、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成ステップと、前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行い、正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成ステップと、正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮ステップと、前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出ステップと、前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、人物の動き情報により人物領域を限定することにより、従来技術の人物の顔や姿勢推定を行う領域を限定し、高速な検出を行うことが可能となる。また、平滑化による低輝度領域におけるノイズの低減、画像全体の空間的な輝度値により動き量である分散値の正規化、輝度値毎の分散値のテーブル化により人物領域検出時の閾値の自動化などを行うことにより、ノイズによる人物領域の過剰検出や、低輝度領域の検出漏れなどを低減することも可能となる。さらに、人物の動き量に応じた探索領域の優先付けにより高速な探索を行うことも可能となり、前フレームにて検出された顔位置情報を元に該当位置周辺からの顔位置を検出することにより動き量の少ない静止中人物の顔も検出可能となるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の処理動作を示すフローチャートである。
【図３】図１に示す装置の処理動作を示すフローチャートである。
【図４】図１に示す装置の処理動作を示すフローチャートである。
【図５】複数フレームと分散値の一例を示す説明図である。
【図６】モルフォロジー演算による膨張処理、縮退処理の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
始めに、画像処理の原理について説明する。ここでは、人物の顔を検出する前の領域を限定するために、画像や映像から人物らしい領域を検出する。人物らしさとしては、対象となる画像の各画素成分の時間的な変化を用いる。時間的な変化を計測するため、時系列画像から処理対象となる画像を含む連続した複数枚の画像を選択し、画素毎の時間変化を複数フレームの同一画素の分散値を計算することにより変化量を算出する。
【００１４】
図５に変化量算出の概念図を示す。図５に示すように、動きのある領域では分散値が大きくなるが、動きの無い領域では画素値の変化が少ないため、分散値は非常に小さな値となる。分散値の算出には、処理対象となる画像を含め複数枚の画像を使用するが、ここで図５の例では処理対象となる画像をＮ枚目とし、Ｎ枚目を基準に過去Ｍ枚目までの画像を使用して分散値を算出する。このとき、分散算出に使用した画像の枚数が少ない場合、１枚の画像による寄与率が大きくなり、瞬間的な変化に対して分散値が大きく変動する。そのため、本来は変化の少ない領域であっても、分散値が大きく変動してしまう。
【００１５】
そこで、分散値の算出には十分多くの枚数の画像を使用する。ここで、撮影環境やカメラ設定により画素の輝度が低い場合は、画素値の変化に比べて相対的に撮像時のノイズの影響が大きくなるという問題がある。そこで、画像全体に対して空間的な平滑化を行うことにより、ノイズの影響による画素値の変化を軽減する。また、影や逆光などにより、同一画像内で空間的に明るさが異なる場合、あるいは画像中の物体そのものの反射率が低く、画像中の画素値が小さくなってしまう場合など、画素値の小さな領域では、計測される変化量が小さくなるという問題がある。そのため、画像の輝度値に対して空間的な平滑化を行った輝度画像により、全画素値の輝度を平滑化した後、分散値を算出することにより、画素値の小さな領域においても、微少な変化を計測する。
【００１６】
長時間人物が同じ個所に留まっている場合、人物周辺領域は人物のふらつきによる動きがあるため、画素値の変化が大きくなり、分散値も大きくなる。しかしながら、空間的に画素値の変動が少ない人物中心付近の領域では、分散値も小さくなる。そこで、算出した分散値に対して、図６に示すモルフォロジー（morphology）演算の膨張、収縮処理を行い、分散値の小さくなる人物中心付近の穴埋め処理を行う。膨張処理を行うことにより、人物周辺画素から人物中心、あるいは人物の外側の領域に対しても人物周辺領域と同じ大きな分散の値とすることができ、収縮処理を行うことで、人物の外側領域のみ分散値をより外側の小さな分散値とすることができる。このようにして、人物領域では大きな分散値、それ以外の領域では小さな分散値となる分散値画像を生成する。
【００１７】
上記分散値画像の画素値を人物らしさとして人物領域を抽出するためには、人物らしさの値により閾値処理を行う必要がある。ここで、前述の通り撮像装置に含まれるノイズ等の影響の更なる低減のため、計測時の画素の輝度値毎に分散値の最小値をテーブル化し、テーブル化した最小となる分散値に応じて閾値を算出することで、輝度値に応じた閾値を動的に設定する。また、人物領域は人物以外の領域に比べて画素値の変化が大きいことから、分散値画像の各画素の値の大小により、人物の顔検出を行うための探索領域に優先順位を付けることにより、より高速な探索を行う。さらに、人物が静止している場合には動き量が少なくなることから、前フレームにて顔が検出された位置情報に基づき、動き量が極端に少なくなった場合においても該当位置周辺での顔検出処理を行うことにより、人物の顔の検出漏れを低減する。
【００１８】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。図１において、１は画像入力装置としてのカメラである。２はカメラ１で取得した画像に対して空間的な平滑化を行うための平滑化画像生成部である。３は平滑化画像生成部２で生成した画像を蓄積する画像蓄積部である。４は平滑化画像生成部２により平滑化された画像の各画素に対して平均値を算出し、分散値画像を生成する分散値画像生成部である。５は平滑化画像生成部２により生成された平滑化画像に対して輝度値の平滑化処理を行い、平滑化後の輝度値に応じて分散値画像生成部４により算出される各画素の分散値を正規化する分散値画像正規化部である。
【００１９】
６は分散値画像正規化部５により正規化された分散値に対して膨張処理、収縮処理を行う膨張収縮処理部である。７は膨張収縮処理部６により膨張処理、収縮処理を行った正規化後の分散値に対して閾値処理を行い人物領域を検出する人物領域検出部である。８は人物領域検出部７により検出された人物領域から顔検出処理を行う顔検出処理部である。なお、前記平滑化画像生成部２、分散値画像生成部４、分散値画像正規化部５、膨張収縮処理部６、人物領域検出部７、顔検出処理部８における各処理は、たとえばコンピュータやカメラ内部のハードウェアにより実行される。画像蓄積部３には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でも構わない。
【００２０】
次に、図２を参照して、図１に示す画像処理装置の処理動作を説明する。図２は、図１に示す図１に示す画像処理装置の処理動作を示すフローチャートである。まず全体の流れを説明する。平滑化画像生成部２は、カメラ１で撮影した画像に対して平滑化を行い、画像蓄積部３に蓄積する（ステップＳ１）。次に、分散値画像生成部４と分散値画像正規化部５は、画像蓄積部２に蓄積された画像を取り込む（ステップＳ２）。そして、分散値画像生成部４は、平滑化後の複数フレームの画像から画素毎に平均値を算出し（ステップＳ３）、画素毎の分散値を計算する（ステップＳ４）。分散値画像生成部４は、全ての画素に対して処理が終了しているか否かを判定し（ステップＳ５）、未処理の画素が残されている場合は該当画素の処理を行うことにより分散値画像を生成する。
【００２１】
次に、分散値画像正規化部５は、取得した処理対象となる画像の平滑化画像から輝度値を平滑化した正規化用輝度画像を生成し（ステップＳ６）、分散値画像生成部４が生成した分散値画像とステップＳ６にて生成した正規化用輝度画像から、分散値画像の正規化を行う（ステップＳ７）。続いて、膨張収縮処理部６は、正規化後の分散値画像に対して膨張処理、収縮処理を行い（ステップＳ８）、人物領域検出部７は、膨張処理、収縮処理後の分散値画像に対して閾値処理を行う（ステップＳ９）ことで、人物領域を検出し、得られた人物領域画像を出力する（ステップＳ１０）。顔検出処理部８は、人物領域画像から人物の顔を検出する（ステップＳ１１）。
【００２２】
次に、各処理の動作を詳細に説明する。カメラ１を経由して取得された画像は平滑化画像生成部２において平滑化処理を行う。平滑化処理には、ガウシアンフィルタ等の一般的な画像処理により使用されるフィルタ処理を用いる。平滑化処理を行った画像は画像蓄積部３に蓄積され、分散値画像生成部４において画像蓄積部３から処理対象画像を含む連続したＭ枚の画像を取得する。ここでＭは十分に大きな任意の枚数とする。次に、取得したＭ枚の画像の各画素に対して、（１）式により座標（ｘ，ｙ）における画素の平均値￣Ｉ（ｘ，ｙ）（￣は、Ｉの頭に付く）を計算する。ここで、ｋは処理対象画像を０フレーム目とし、過去Ｍフレーム目までのフレーム番号、 は各フレームのフレーム番号ｋの座標（ｘ，ｙ）の画素値とする。
【数１】
【００２３】
各画素の平均値を計算した後、（２）式により分散値を計算する。
【数２】
【００２４】
全ての画素に対して同様の処理を行った後、画像蓄積部３から処理対象画像を取得し、処理対象画像の輝度値に対して平滑化処理を行う。ここでの平滑化処理は、平滑化画像生成部と同様にガウシアンフィルタ等のフィルタ処理を用いる。分散値画像Ｓ（ｘ，ｙ）の値を平滑化処理後の処理対象画像の輝度値で除算することにより、（３）式により分散値の正規化処理を行う。ここで、平滑化後の分散値画像の画素値をＧ（ｘ，ｙ）、正規化処理後の分散値をＳ'（ｘ，ｙ）とする。
Ｓ'（ｘ，ｙ）＝Ｓ（ｘ，ｙ）／Ｇ（ｘ，ｙ） ・・・（３）
【００２５】
分散値画像の正規化処理を行った後、モルフォロジ演算の膨張処理、収縮処理を行う。膨張処理は、正規化処理分散値画像の任意の画素Ｓ'（ｘ，ｙ）に対して、隣接する８画素の中から最大の値を画素Ｓ'（ｘ，ｙ）の値とする演算を、任意の回数実施する。膨張処理後の分散値画像の画素値をＳ''（ｘ，ｙ）とする。同様に、収縮処理は膨張処理後の分散値画像の任意の画素Ｓ''（ｘ，ｙ）に対して、隣接する８画素の中から最小となる画素の値を、画素Ｓ''（ｘ，ｙ）の値とする演算を任意の回数実施する。収縮処理後の分散値画像の画素値をＳ'''（ｘ，ｙ）とする。ここで、膨張処理、収縮処理の実行回数は同じ回数とする。最後に、（４）式において任意の閾値により分散値画像Ｓ'''（ｘ，ｙ）の値を判定し、閾値を超えた値の画素についてのみ顔検出を行うことにより、高速な検出を行うことが可能となる。ここで、ｆ（ｘ，ｙ）は閾値を超えたか否かを示す２値画像の画素値であり、ｆ（ｘ，ｙ）＝１の場合は閾値を超えており、ｆ（ｘ，ｙ）＝０の場合は閾値を超えていないことを表す。また、ＴＨは任意の閾値とする。
【数３】
【００２６】
＜第２の実施形態＞
次に、図３を参照して、第２の実施形態における画像処理装置の処理動作を説明する。図３は、第２の実施形態における画像処理装置の処理動作を示すフローチャートである。図３において、図２に示す処理動作と同一の処理動作には同じ符号を付けてその説明を省略する。
【００２７】
第１の実施形態では、収縮処理後の分散値画像に対して、任意の閾値を設定し、閾値を超える場合は該当画素を１とし、それ以外の画素値を０とする人物領域画像を生成している。図３に示す処理動作では、平滑化処理後の処理対象画像の該当する位置の輝度値に応じて最小の分散値を持つテーブルを用意し、処理対象画像の各画素の分散値算出後に、該当画素の輝度値からテーブルの該当輝度値の値と比較し、算出した分散値と比較し、分散値の方が小さければテーブルの値を更新する処理動作（ステップＳ１２）が追加されている。
【００２８】
また、閾値処理（ステップＳ９）を実施する際に、処理対象画像の該当する位置の画素の輝度値に対応するテーブルの値並びに正規化用輝度画像の該当画素値から、該当する画素の閾値を自動生成することで、カメラ等撮像装置の輝度値毎のノイズによる画素値の変動を考慮した閾値処理を行う。一般的なカメラの場合、カメラ毎にノイズの特性が異なり、任意の閾値によりカメラのノイズによる分散値への影響を除外することは難しい。ここでは、分散値は輝度値の大きさにより相対的に変化し、人物領域では分散値が大きくなるという傾向から、位置と輝度とに依存した最小となる分散値をテーブルとして保持することにより、該当位置が人物以外の領域であった場合においても、ノイズによる最小分散値を排除し、最適な閾値処理を行うことが可能となる。
【００２９】
＜第３の実施形態＞
次に、図４を参照して、第３の実施形態における画像処理装置の処理動作を説明する。図４は、第３の実施形態における画像処理装置の処理動作を示すフローチャートである。図４において、図３に示す処理動作と同一の処理動作には同じ符号を付けてその説明を省略する。
【００３０】
第１及び第２の実施形態では、人物領域画像の画素値が１となる画素について顔検出処理を行っている。図４に示す処理動作では、前フレームにて検出された人物の顔の位置情報を顔検出結果としてバッファに記憶する（ステップＳ１３）処理動作が追加され、且つ膨張収縮処理後の分散値画像の画素値から前フレームにて検出された人物の顔位置周辺を探索し、より分散値の大きな方向から優先的に顔画像を探索することにより探索範囲を絞り込み、より高速な顔検出を行う。さらには、人物の動きが非常に小さい場合においても、前フレームにて検出された顔の位置情報に基づき、検出された顔位置周辺の人物領域画像の画素値が０となっている場合においても、該当位置を探索対象とすることにより、人物の顔の検出漏れを低減する。
【００３１】
以上説明したように、人物の動き情報により人物領域を限定することにより、従来技術の人物の顔や姿勢推定を行う領域を限定し、高速な検出を行うことが可能となる。また、平滑化による低輝度領域におけるノイズの低減、画像全体の空間的な輝度値により動き量である分散値の正規化、輝度値毎の分散値のテーブル化により人物領域検出時の閾値の自動化などを行うことにより、ノイズによる人物領域の過剰検出や、低輝度領域の検出漏れなどを低減することも可能となる。さらに、人物の動き量に応じた探索領域の優先付けにより高速な探索を行うことも可能となり、前フレームにて検出された顔位置情報を元に該当位置周辺からの顔位置を検出することにより動き量の少ない静止中人物の顔も検出可能となる。
【００３２】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３４】
撮像装置で撮影された時系列画像から、人物の顔を検出する際に、人物の動きを検出することにより検出範囲を限定し、高速に顔の検出を行うことが不可欠な用途に適用できる。
【符号の説明】
【００３５】
１・・・カメラ、２・・・平滑化画像生成部、３・・・画像蓄積部、４・・・分散値算画像生成部、５・・・分散値画像正規化部、６・・・膨張収縮処理部、７・・・人物領域検出部、８・・・顔検出処理部
【特許請求の範囲】
【請求項１】
取得した画像から顔検出を行うために、平滑化画像生成部と、分散値画像生成部と、分散値画像正規化部と、膨張収縮処理部と、人物領域検出部と、顔検出処理部とを備える画像処理装置における画像処理方法であって、
前記平滑化画像生成部が、取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化ステップと、
前記分散値画像生成部が、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成ステップと、
前記分散値画像正規化部が、前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行って正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成ステップと、
前記膨張収縮処理部が、正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮ステップと、
前記人物領域検出部が、前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出ステップと、
前記顔検出処理部が、前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出ステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記分散値画像生成ステップにより生成された各画素の分散値に対して、前記処理対象画像の輝度値毎に最小となる分散値を分散値テーブルとして生成する分散値テーブル生成ステップをさらに有し、前記分散値テーブル生成ステップにおいて生成された前記分散値テーブル並びに前記正規化画像生成ステップにより生成された前記正規化用画像の各画素値より、前記人物領域検出ステップにて各画素の閾値を自動算出し、閾値処理を行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記顔検出ステップにて検出されたひとつ前のフレームの画像に対する顔検出位置を保持する顔検出位置保持ステップをさらに有し、前記顔検出位置保持ステップに保持されている顔検出位置を基準とし、前記膨張収縮ステップにて生成した補正分散値画像の画素値がより高い方向を優先し前記顔検出ステップにて顔検出を行い、且つ前記人物領域検出ステップにおいて該当画素位置周辺の分散値が一定値以下と判定されていた場合においても、該当画素位置周辺にて顔検出を行うことを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
取得した画像から顔検出を行う画像処理装置であって、
取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化手段と、
処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成手段と、
前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行って正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成手段と、
正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮手段と、
前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出手段と、
前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出手段と
を備えることを特徴とする画像処理装置。
【請求項５】
取得した画像から顔検出を行う画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、
取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化ステップと、
処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成ステップと、
前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行い、正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成ステップと、
正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮ステップと、
前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出ステップと、
前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出ステップと
を前記コンピュータに行わせることを特徴とする画像処理プログラム。
【請求項１】
取得した画像から顔検出を行うために、平滑化画像生成部と、分散値画像生成部と、分散値画像正規化部と、膨張収縮処理部と、人物領域検出部と、顔検出処理部とを備える画像処理装置における画像処理方法であって、
前記平滑化画像生成部が、取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化ステップと、
前記分散値画像生成部が、処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成ステップと、
前記分散値画像正規化部が、前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行って正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成ステップと、
前記膨張収縮処理部が、正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮ステップと、
前記人物領域検出部が、前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出ステップと、
前記顔検出処理部が、前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出ステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記分散値画像生成ステップにより生成された各画素の分散値に対して、前記処理対象画像の輝度値毎に最小となる分散値を分散値テーブルとして生成する分散値テーブル生成ステップをさらに有し、前記分散値テーブル生成ステップにおいて生成された前記分散値テーブル並びに前記正規化画像生成ステップにより生成された前記正規化用画像の各画素値より、前記人物領域検出ステップにて各画素の閾値を自動算出し、閾値処理を行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記顔検出ステップにて検出されたひとつ前のフレームの画像に対する顔検出位置を保持する顔検出位置保持ステップをさらに有し、前記顔検出位置保持ステップに保持されている顔検出位置を基準とし、前記膨張収縮ステップにて生成した補正分散値画像の画素値がより高い方向を優先し前記顔検出ステップにて顔検出を行い、且つ前記人物領域検出ステップにおいて該当画素位置周辺の分散値が一定値以下と判定されていた場合においても、該当画素位置周辺にて顔検出を行うことを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
取得した画像から顔検出を行う画像処理装置であって、
取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化手段と、
処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成手段と、
前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行って正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成手段と、
正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮手段と、
前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出手段と、
前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出手段と
を備えることを特徴とする画像処理装置。
【請求項５】
取得した画像から顔検出を行う画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、
取得した画像に対して平滑化処理を行い平滑化画像を生成する平滑化ステップと、
処理対象画像を含む処理対象画像以前の複数フレームの画像をもとに、各画素の平均値を算出し、算出した各画素の平均値とそれぞれのフレームの該当画素値から分散値を算出する分散値画像生成ステップと、
前記処理対象画像の平滑化画像の輝度値に対して更なる平滑化処理を行い、正規化用画像を生成し、生成した前記分散値画像の各画素値に対して、生成した前記正規化用画像の各画素の値を用いて分散値画像の正規化を行い正規化分散値画像を生成する正規化画像生成ステップと、
正規化した前記正規化分散値画像に対して膨張処理を実施することにより補正分散値画像を生成する膨張収縮ステップと、
前記補正分散値画像の各画素値に対して任意の閾値処理を行い二値画像を生成することにより人物領域を検出する人物領域検出ステップと、
前記分散値が所定値より大きいと判定された画素に対して顔検出処理を実施する顔検出ステップと
を前記コンピュータに行わせることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２４３２０６（Ｐ２０１２−２４３２０６Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４８３６（Ｐ２０１１−１１４８３６）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]