画像検出装置及び画像検出方法
【課題】顔画像検出装置が顔画像を検出する際の検出精度を向上させる。
【解決手段】顔画像検出領域分類部１３３は、領域１３Ａに分類された相対指標を有する基準領域２００Ａ，被判別領域２００Ｂについては、同一人物の顔画像検出領域として判別し、領域１３Ｂに分類された相対指標を有する基準領域２００Ａ，被判別領域２００Ｂについては、異なる人物の顔画像検出領域として判別し、領域１３Ｃ及び領域１３Ｄに分類された相対指標を有する基準領域２００Ａ，被判別領域２００Ｂについては、被判別領域２００Ｂを誤検出領域として判別する。
【解決手段】顔画像検出領域分類部１３３は、領域１３Ａに分類された相対指標を有する基準領域２００Ａ，被判別領域２００Ｂについては、同一人物の顔画像検出領域として判別し、領域１３Ｂに分類された相対指標を有する基準領域２００Ａ，被判別領域２００Ｂについては、異なる人物の顔画像検出領域として判別し、領域１３Ｃ及び領域１３Ｄに分類された相対指標を有する基準領域２００Ａ，被判別領域２００Ｂについては、被判別領域２００Ｂを誤検出領域として判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から所定の画像を検出する画像検出装置及びその方法に関する。
【背景技術】
【０００２】
入力画像から顔画像等の所定の画像を検出する技術は、例えば、顔の有無の判別、顔の識別、顔のパーツの検出のための前処理等として利用されている。
【０００３】
入力画像から顔画像を検出する顔画像検出装置には、例えば、本来の顔画像領域の周辺にある複数の領域を検出するものがある。一般的に、このような顔画像検出装置では、複数の検出結果の内、所定のスコア値が最大である検出結果を選択する方法を用いるが、例えば、顔画像を探索する際の探索幅や画像の縮小倍率が離散的な値であること等に起因して、選択された検出結果が離散的な値になる場合がある。
【０００４】
そこで、例えば、以下の特許文献１に示すように、解像度が異なる複数の画像において、各スケールの平均値を用いて検出された顔画像領域を安定化する方法がある。
【０００５】
【特許文献１】特開２００６−４８３２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載されている技術では、２人以上の人物の顔領域が互いに非常に接近している場合や、誤検出によって本来の顔画像領域の非常に近くに検出結果が得られてしまう場合がある。このような技術では、複数の顔検出領域から顔画像領域を安定化するための計算に用いられる顔検出領域を適切に選択しないと、検出精度が大きく低下してしまうことになる。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、検出された顔画像領域を安定化するための計算に用いられる顔検出領域を適切に選択する画像検出装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した目的を達成するために、本発明は、入力画像から所定の画像を検出する画像検出装置において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別手段と、上記画像判別手段によって上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出手段と、上記指標値算出手段によって算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別手段とを備えることを特徴とする。
【０００９】
また、上述した目的を達成するために、本発明は、入力画像から所定の画像を検出する画像検出方法において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別工程と、上記画像判別工程にて上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出工程と、上記指標値算出工程にて算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別工程とを有することを特徴とする。
【発明の効果】
【００１０】
本発明は、入力画像から所定の画像を検出する画像検出装置及びその方法において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力し、上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出し、上記算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別することにより、従来の画像検出装置及びその方法に比べて所定の画像の検出領域をより安定化させることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１２】
図１は、本発明を適用した一実施形態における顔画像検出装置１を示す図である。顔画像検出装置１は、入力された画像データに基づく画像から顔画像を検出し、顔画像検出領域等の検出結果を出力するものである。
【００１３】
顔画像検出装置１は、例えば図２に示す内部構成を備えたパーソナルコンピュータとして構成される。
【００１４】
図２に示すように、顔画像検出装置１は、例えばキーボード、マウス等を介してユーザの操作情報が入力される操作部１１と、例えばデジタルカメラ、テレビジョン装置、ストレージ等より画像データが入力される画像入力部１２と、入力された画像データに基づく画像中から顔画像を検出する顔画像検出部１３と、画像データを記録する記録部１４と、所定の画像処理を行ってディスプレイに画像を出力する画像出力部１５と、バッファメモリ、ＲＡＭ（Random Access Memory）、顔画像検出プログラムが記録されているＲＯＭ（Read Only Memory）、ＣＰＵ（Central Processing Unit）等を備えて顔画像検出装置１の信号処理全般を制御する制御部１６とが内部バス１７に接続されることにより構成される。
【００１５】
顔画像検出部１３は、図３に示すように、顔画像判別部１３１と、判別指標値算出部１３２と、顔画像検出領域分類部１３３と、顔画像領域平均化部１３４とを備えて構成される。
【００１６】
顔画像判別部１３１は、制御部１６の制御動作に基づいて画像入力部１２を介して画像データが入力されると、入力された画像データに基づく８０×１００画素の画像１００Ａにおいて、顔画像を判別するための２０×２０画素の矩形領域１０１を、図４（Ａ）に示す画像１００Ａの左上端から２画素ずつ右方向又は下方向に移動させ、図４（Ｃ）に示す画像１００Ａの右下端まで到達させる。顔画像判別部１３１は、矩形領域１０１を２画素ずつ移動させるごとに矩形領域１０１の画像をスキャンして切り出し、この矩形領域１０１中に存在する所定の画像が顔画像であるか否かを判別する。
【００１７】
すなわち、顔画像判別部１３１は、例えば、サポート・ベクタ・マシーン（Support Vector Machine：ＳＶＭ）、アダブースト等のブースティング、局所特徴量等の方法によって、矩形領域１０１中に存在する画像と予め設定された顔画像との大きさ及び相関度を比較することにより、矩形領域１０１中に存在する所定の画像が顔画像であるか否かを判別する。
【００１８】
そして、顔画像判別部１３１は、予め設定された顔画像との相関度を示すスコア値Ｓｉを算出し、スコア値Ｓｉがある一定の閾値以上である場合には、矩形領域１０１中に存在する所定の画像が顔画像であると判別する。
【００１９】
顔画像判別部１３１は、図４（Ａ）に示す画像１００Ａの左上端から図４（Ｃ）に示す画像１００Ａの右下端まで矩形領域１０１を移動させながらスキャン及び切り出し処理を行う中で、図４（Ｂ）に示すように、矩形領域１０１中に存在する所定の画像が顔画像であると判別した場合、この矩形領域１０１の左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉを算出し、このｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉと、判別結果となるスコア値Ｓｉとを続く判別指標値算出部１３２に供給する。
【００２０】
なお、スコア値Ｓｉは、検出された顔画像の形状が予め設定された一般的な人物の顔の形状に近いほど高いスコア値Ｓｉが算出されるようにしてもよいし、他の算出方法により算出されるようにしてもよい。
【００２１】
一方、顔画像判別部１３１は、矩形領域１０１中に存在する所定の画像が顔画像ではないと判別した場合、上述した算出処理は一切行わずに矩形領域１０１を２画素移動させて、同様の顔画像判別処理を行う。
【００２２】
顔画像判別部１３１は、画像１００Ａにおいて、矩形領域１０１を画像１００Ａの右下端まで移動させた後、図４（Ｄ）に示すように、画像１００Ａを所定の倍率で縮小させ（この画像を画像１００Ｂとする。）、画像１００Ｂにおいて、画像１００Ａでの処理と同様に２０×２０画素の矩形領域１０１を画像１００Ｂ上の左上端から２画素ずつ右方向又は下方向に移動させる毎に矩形領域１０１をスキャンして切り出し、矩形領域１０１中に存在する所定の画像が顔画像であるか否かを判別する。
【００２３】
顔画像判別部１３１は、図４（Ｅ）に示すように、画像１００Ｂ上の右下端まで矩形領域１０１を移動させた後、何れの位置においても矩形領域１０１中に存在する所定の画像が顔画像ではないと判別した場合、図４（Ｆ）に示すように、画像１００Ｂを所定の倍率で縮小し（この画像を画像１００Ｃとする。）、この画像１００Ｃにおいて、画像１００Ａ，１００Ｂでの処理と同様に、２０×２０画素の矩形領域１０１を画像１００Ｃ上の左上端から右下端まで２画素ずつ右方向又は下方向に移動させるごとに矩形領域１０１をスキャンして切り出し、矩形領域１０１中に存在する所定の画像が顔画像であるか否かを、スコア値Ｓｉを算出して判別する。
【００２４】
顔画像判別部１３１は、矩形領域１０１を図４（Ｆ）に示す画像１００Ｃの左上端から図４（Ｈ）に示す画像１００Ｃの右下端まで移動させながらスキャン及び切り出し処理を行う中で、図４（Ｇ）に示すように、矩形領域１０１中に存在する所定の画像が顔画像であると判別した場合、この矩形領域１０１の左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉを算出し、そして、顔画像判別部１３１は、ｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉと所定のスコア値Ｓｉとを続く判別指標値算出部１３２に供給する。
【００２５】
顔画像判別部１３１は、図４（Ｉ）に示すように、画像の一辺の長さが矩形領域１０１の一辺の長さと同じになるまで縮小した画像１００Ｄにおいて、上述の顔画像判別処理と同様の処理を行い、図４（Ｊ）に示すように、矩形領域１０１を画像１００Ｄの右端まで到達させた後、一連の処理を終了させる。
【００２６】
ここで、顔画像判別部１３１の処理動作を図５のフローチャートを用いて説明する。
【００２７】
ステップＳ１において、顔画像判別部１３１には、制御部１６の制御動作に基づいて画像入力部１２を介して画像データが入力される。
【００２８】
ステップＳ２において、顔画像判別部１３１は、画像データに基づく画像の一部である矩形領域１０１のスキャン及び切り出し処理を行う。
【００２９】
ステップＳ３において、顔画像判別部１３１は、画像における矩形領域１０１中に存在する画像が顔画像であるか否かを、スコア値Ｓｉを算出して判別する。このステップＳ３において、顔画像判別部１３１は、矩形領域１０１中に存在する画像が顔画像であると判別した場合、ステップＳ４に進む。一方、このステップＳ３において、顔画像判別部１３１は、矩形領域１０１中に存在する画像が顔画像でないと判別した場合、ステップＳ５に進む。
【００３０】
ステップＳ４において、顔画像判別部１３１は、矩形領域１０１左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉを算出し、ｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉとスコア値Ｓｉとを判別指標値算出部１３２に供給する。
【００３１】
ステップＳ５において、顔画像判別部１３１は、画像上の矩形領域１０１を右方向又は下方向に２画素移動させる。
【００３２】
ステップＳ６において、顔画像判別部１３１は、矩形領域１０１のスキャン及び切り出し処理が画像の右下端まで到達したか否か、すなわち、画像全体における矩形領域１０１のスキャン及び切り出し処理が終了したか否かを判断する。このステップＳ６において、顔画像判別部１３１は、矩形領域１０１のスキャン及び切り出し処理が画像の右下端まで到達したと判断した場合、ステップＳ７に進む。一方、このステップＳ６において、顔画像判別部１３１は、矩形領域１０１のスキャン及び切り出し処理が画像の右下端まで到達していないと判断した場合、ステップＳ２に戻り、ステップＳ２〜ステップＳ６の処理動作を繰り返す。
【００３３】
ステップＳ７において、顔画像判別部１３１は、画像を所定の縮小率で縮小する。
【００３４】
ステップＳ８において、顔画像判別部１３１は、画像の一辺が矩形領域の一辺よりも短いか否かを判断する。このステップＳ８において、顔画像判別部１３１は、画像の一辺が矩形領域の一辺よりも短いと判断した場合は、ステップＳ９に進み、一連の処理動作を終了させる。一方、このステップＳ８において、顔画像判別部１３１は、顔画像判別部１３１は、画像の一辺が矩形領域の一辺よりも短くないと判断した場合、ステップＳ２に戻り、ステップＳ２〜ステップＳ８の処理動作を繰り返す。
【００３５】
なお、上述の顔画像判別部１３１は、算出したスコア値Ｓｉを顔画像の判別結果として続く判別指標値算出部１３２に供給するとしたが、スコア値Ｓｉに基づいて、顔画像であると判別した場合にはデジタルデータの１を、顔画像でないと判別した場合にはデジタルデータの０を続く判別指標値算出部１３２に供給するようにしてもよい。
【００３６】
顔画像判別部１３１は、このような顔画像判別処理によって、例えば図６（Ａ）に示す入力画像から、図６（Ｂ）に示すように、検出位置及び検出サイズの異なる顔画像を検出することができる。
【００３７】
上述の顔画像判別処理では、顔画像判別部１３１は、図７に示すように、本来の顔画像領域よりも僅かにずれた位置で顔画像を複数回検出し、また、画像の縮小によって本来の顔画像よりも僅かに小さいサイズの顔画像を検出してしまう。
【００３８】
このように、同一の顔画像に対して複数回検出された顔画像から１つの顔画像を選択する処理として、例えば顔画像の検出精度を示す所定のスコア値が最大である顔画像を選択する処理（以下、スコア値最大領域選択処理という。）が挙げられる。しかしながら、このスコア値最大領域選択処理では、図８（Ａ）に示すように、矩形領域１０１の画像におけるシフト単位や画像の縮小倍率に基づく離散的な検出結果しか得られないことになる。
【００３９】
そこで、本発明を適用した一実施形態における顔画像検出装置１は、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が平均化されて安定化した顔画像の検出領域（以下、顔画像検出領域という。）を得るための処理（以下、顔画像検出領域安定化処理という。）を適用する。
【００４０】
顔画像検出部１３では、後述する判別指標値算出部１３２及び顔画像検出領域分類部１３３における処理の後、顔画像領域平均化部１３４が、例えば以下に示すような計算処理を行うことにより顔画像検出領域を安定化する。
【００４１】
すなわち、顔画像検出領域平均化部１３４は、顔画像番号ｉ、顔画像検出領域の左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉを用いて顔画像検出領域Ｒｉ（ｘｉ，ｙｉ，ｗｉ，ｈｉ）を示す場合、ｎ回検出された顔画像検出領域Ｒ１〜Ｒｎにおけるｘ座標値ｘ１〜ｘｎ，ｙ座標値ｙ１〜ｙｎ，顔画像検出領域幅ｗ１〜ｗｎ，顔画像検出領域高さｈ１〜ｈｎに対して、顔画像判別部１３１によって算出された所定のスコア値ｓｉで重み付けすることにより平均値Ｒａｖｅ（ｘａｖｅ，ｙａｖｅ，ｗａｖｅ，ｈａｖｅ）を算出する（数式（１）〜数式（４））。
【００４２】
【数１】
【００４３】
【数２】
【００４４】
【数３】
【００４５】
【数４】
【００４６】
顔画像検出領域平均化部１３４は、複数の顔画像検出領域について所定のスコア値Ｓｉで重み付けした平均値Ｒａｖｅ（ｘａｖｅ，ｙａｖｅ，ｗａｖｅ，ｈａｖｅ）を算出することによって、例えば図８（Ｂ）に示すように、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が平均化された顔画像領域を得ることができる。
【００４７】
なお、例えば顔画像判別部１３１が所定の画像が顔画像であると判別してデジタルデータの１を出力するように設定した場合や計算処理を簡素化する場合においては、単純に複数の検出結果の平均をとることにより、顔画像検出領域を安定化するようにしてもよい。この場合、数式（１）〜数式（４）は、それぞれ数式（５）〜数式（８）に書き換えられる。
【００４８】
【数５】
【００４９】
【数６】
【００５０】
【数７】
【００５１】
【数８】
【００５２】
このような顔画像検出領域安定化処理において、複数の顔画像検出領域から顔画像検出領域平均化の計算に組み込む顔画像検出領域を選択する方法の一例について、図９を示しながら説明する。
【００５３】
図９（Ａ）に示すように、例えば、顔画像２Ａの顔画像検出領域と顔画像２Ｂの顔画像検出領域とが接近している場合、顔画像検出領域安定化処理では、顔画像２Ａについての顔画像検出領域２０Ａと顔画像２Ｂについての顔画像検出領域２０Ｂとが何れの顔画像における顔画像検出領域として平均化の計算に採用されるについて正しく判別されなければならない。
【００５４】
また、図９（Ｂ）に示すように、例えば、顔画像２Ａの顔画像検出領域２０Ａ内に顔画像２Ａとは異なる対象の検出領域２０Ｃが存在する場合や、顔画像２Ａの顔画像検出領域２０Ａと検出領域２０Ｃとがほぼ重なる場合、顔画像検出領域安定化処理では、顔画像２Ｃとは異なる対象の検出領域２０Ｃが誤検出領域として平均化の計算から除外され、正しく検出された顔画像検出領域２０Ａのみが安定化処理の計算に組み込まなければならない。
【００５５】
このような例を踏まえ、顔画像検出装置１における顔画像検出領域安定化処理では、任意の２つの顔画像検出領域について、例えば（１）同一人物の顔画像検出領域として平均化の計算に組み込まれる、（２）異なる人物の顔画像検出領域として各人物における平均化の計算に組み込まれる、（３）誤検出領域として平均化の計算から除外される、といった分類が行われた後、顔画像検出領域平均化の計算が行われる。
【００５６】
判別指標値算出部１３２は、図１０に示すように、例えば、複数の顔画像検出領域の内、判別基準となる基準領域２００Ａ及び判別対象となる被判別領域２００Ｂを任意に選択し、基準領域２００Ａの一辺ａ及び被判別領域２００Ｂの一辺ｂを用いて示されて基準領域２００Ａと被判別領域２００Ｂとの相対サイズの指標値となる検出領域サイズ指標値ｂ／ａと、基準領域２００Ａと被判別領域２００Ｂとの中心間距離ｃ及び基準領域２００Ａの一辺ａを用いて示されて基準領域２００Ａと被判別領域２００Ｂとの相対距離の指標値となる中心間距離指標値ｃ／ａとを算出する。
【００５７】
そして、判別指標値算出部１３２は、複数の顔画像検出領域と、検出領域サイズ指標値ｂ／ａ及び中心間距離指標値ｃ／ａとを続く顔画像検出領域分類部１３３に供給する。
【００５８】
すなわち、判別指標値算出部１３２は、複数の顔画像検出領域における基準領域２００Ａ及び被判別領域２００Ｂの全ての組み合わせについて、検出領域サイズ指標値ｂ／ａ及び中心間距離指標値ｃ／ａを算出し、これら基準領域２００Ａ及び被判別領域２００Ｂの全ての組み合わせにおける検出領域サイズ指標値ｂ／ａ及び中心間距離指標値ｃ／ａを算出する毎に、続く顔画像検出領域分類部１３３に供給する。
【００５９】
なお、判別指標値算出部１３２が算出する判別指標値はこれらに限られず、例えば２つの顔画像検出領域の合計面積に対する重なり面積、２つの顔画像検出領域の中心点間のマンハッタン距離等であってもよい。また、判別指標値の算出数は限定されない。
【００６０】
図１１は、検出領域サイズ指標値ｂ／ａ及び中心間距離指標値ｃ／ａに応じて定められた基準領域２００Ａに対する被判別領域２００Ｂの相対的サイズ・相対位置からなる相対指標を示す図である。
【００６１】
顔画像検出領域分類部１３３は、この図１１に示すような基準領域２００Ａに対する被判別領域２００Ｂの相対指標を、例えば図１２に示すような境界線１３１，１３２，１３３を設定することにより設定された領域１３Ａ，１３Ｂ，１３Ｃ，１３Ｄ内にそれぞれ分類する。
【００６２】
なお、顔画像検出領域分類部１３３が各境界線を設定する方法としては、例えばヒューリスティック法を用いて統計的に学習させることにより設定する方法が挙げられるが、より適当な方法としては、例えば十分量の顔画像データを用いて生成した分類タグを教示データとしてＳＶＭやＬＤＡ（Linear Discriminant analysis）に適用して統計的に学習させる方法等が挙げられる。
【００６３】
顔画像検出領域分類部１３３は、領域１３Ａに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂについては、同一人物の顔画像検出領域として判別する。
【００６４】
また、顔画像検出領域分類部１３３は、領域１３Ｂに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂについては、異なる人物の顔画像検出領域として判別する。
【００６５】
また、顔画像検出領域分類部１３３は、領域１３Ｃ及び領域１３Ｄに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂについては、被判別領域２００Ｂを誤検出領域として判別する。
【００６６】
顔画像検出領域分類部１３３は、例えば相対指標３１については、基準領域２００Ａのサイズと被判別領域２００Ｂのサイズとが同一であり（検出領域サイズ指標値ｂ／ａ＝１）、且つ、基準領域２００Ａ及び被判別領域２００Ｂの中心間距離が短い（中心間距離指標値ｃ／ａが小さい）ので、同一人物の顔画像検出領域と判別する。
【００６７】
また、顔画像検出領域分類部１３３は、例えば相対指標３２については、被判別領域２００Ｂのサイズが基準領域２００Ａのサイズよりも小さく（検出領域サイズ指標値ｂ／ａ＜１）、且つ、基準領域２００Ａ及び被判別領域２００Ｂの中心間距離が長い（中心間距離指標値ｃ／ａが大きい）ので、異なる人物の顔画像検出領域と判別する。
【００６８】
また、顔画像検出領域分類部１３３は、例えば相対指標３３については、被判別領域２００Ｂのサイズが基準領域２００Ａのサイズよりも大きく（検出領域サイズ指標値１＜ｂ／ａ）、且つ、基準領域２００Ａ及び被判別領域２００Ｂがほぼ重なる程度に中心間距離が長い（中心間距離指標値ｃ／ａが中程度の大きさ）ので、被判別領域２００Ｂを誤検出領域として判別する。
【００６９】
顔画像検出領域分類部１３３は、分類された基準領域２００Ａ及び被判別領域２００Ｂの相対指標を続く顔画像検出領域安定化処理部１３４に供給する。また、顔画像検出領域分類部１３３は、顔画像検出領域の左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉとスコア値Ｓｉ又はデジタルデータ（１又は０）とを顔画像検出領域安定化処理部１３４に供給する。
【００７０】
顔画像検出領域平均化部１３４は、顔画像検出領域分類部１３３で分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂにおいて、上述したように、数式（１）〜数式（４）又は数式（５）〜数式（８）を用いて顔画像検出領域の平均化の計算を行うことにより、顔画像の検出結果を安定化させることが可能となる。
【００７１】
すなわち、顔画像検出領域安定化処理部１３４は、領域１３Ａに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂに対しては、同一人物の顔画像検出領域として基準領域２００Ａのみに対して平均化の計算を行い、領域１３Ｂに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂに対しては、異なる人物の顔画像検出領域として別々に平均化の計算を行い、領域１３Ｃ及び領域１３Ｄに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂに対しては、被判別領域２００Ｂを誤検出として平均化の計算から削除して、基準領域２００Ａのみに対して平均化の計算を行うようにする。
【００７２】
顔画像検出領域平均化部１３４は、このような領域を平均化する計算を行うことにより顔画像検出領域が安定化された顔画像を生成し、この顔画像を画像出力部１５に供給する。
【００７３】
ここで、顔画像検出領域の安定化の精度をスコア値最大領域選択処理と顔画像検出領域安定化処理とで比較した実験結果を示す。
【００７４】
図１３は、アダブーストによって検出された５４１サンプルの顔画像検出領域における右目の目頭と目尻との中間点（右目位置）、左目の目頭と目尻との中間点（左目位置）、及び前歯の位置（口位置）のばらつきを示す図である。
【００７５】
図１３に示すように、顔画像検出領域安定化処理が施された５４１サンプルの顔画像検出領域の右目位置、左目位置、及び口位置の分布は、スコア値最大領域選択処理が行われた場合の５４１サンプルの顔画像検出領域の右目位置、左目位置、及び口位置の分布に比べて分布幅が小さくなっており、顔画像検出領域安定化処理では、スコア値最大領域選択処理よりも顔画像検出領域が安定化されていることがわかる。
【００７６】
また、表１は、この５４１サンプルの右目位置、左目位置、及び口位置における平均位置からの距離（誤差平均）と、この平均位置からの分散（誤差分散値）を算出した結果を示している。
【００７７】
【表１】
【００７８】
表１に示すように、５４１サンプルの右目位置、左目位置、及び口位置における誤差平均及び誤差分散は、何れも顔画像検出領域安定化処理を施した場合の値がスコア値最大領域選択処理を施した場合の値よりも小さくなっており、顔画像検出領域安定化処理では、スコア値最大領域選択処理よりも顔画像検出領域が安定化されていることがわかる。
【００７９】
本発明を適用した一実施形態における顔画像検出装置１では、顔画像検出領域が複数検出された場合、これら複数の顔画像検出領域の平均領域を算出することによって、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が安定化された顔画像領域を得ることができる。
【００８０】
また、顔画像検出装置１では、顔画像判別部１３１が画素単位で矩形領域１０１を移動するとともに所定の縮小率で入力画像を縮小させるため、画素シフト量よりも細かい位置解像度、且つ画像縮小率よりも細かい領域サイズシフトの解像度で、安定化した顔画像領域の検出結果を得ることができる。
【００８１】
また、顔画像検出装置１では、顔画像領域を検出した後に顔のパーツ画像領域を検出して顔画像領域を安定化させる方法と比べて計算量が少なく、顔のパーツ画像を検出する際の誤検出を防止することができ、高精度に顔検出領域を安定化させることができる。
【００８２】
また、顔画像検出装置１では、固有の顔画像におけるベクトル特徴量を用いる場合に生じ得るベクトルの次元ずれの問題を考慮することがないため、顔画像の識別性能を向上させることができる。
【００８３】
また、顔画像検出装置１では、安定した顔画像検出領域を顔のパーツ画像の検出の前処理として用いることにより、顔のパーツ画像の探索範囲を限定することができ、領域安定化処理における計算量の削減、及び誤認識率の低減が可能となる。
【００８４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８５】
例えば、上述した実施の形態では、本発明を、入力された画像データに基づく画像から顔画像を検出し、顔画像検出領域等の検出結果を出力する顔画像検出装置に適用したが、入力された画像データに基づく画像から検出する画像は顔画像に限られず、人物の全体像、手等、何れのも画像であってもよい。
【００８６】
また、例えば、上述した実施の形態では、顔画像判別部１３１は、入力された画像データに基づく８０×１００画素の画像１００Ａにおいて、顔画像を判別するための２０×２０画素の矩形領域１０１を、画像１００Ａの左上端から２画素ずつ右方向又は下方向に移動させ、画像１００Ａの右下端まで到達させるようにしたが、入力された画像データに基づく画像の画素サイズ、矩形領域の画像サイズ、矩形領域の移動幅及び移動方向等は、これに限られるものではない。
【図面の簡単な説明】
【００８７】
【図１】本発明を適用した一実施形態における顔画像検出装置を示す図である。
【図２】本発明を適用した一実施形態における顔画像検出装置の内部構成を示すブロック図である。
【図３】顔画像検出部の構成を示すブロック図である。
【図４】顔画像判別部の処理工程を説明するための図である。
【図５】顔画像判別部の処理動作を説明するためのフローチャートである。
【図６】（Ａ）は、入力画像の一例であり、（Ｂ）は、入力画像から顔画像を検出する様子を示す図である。
【図７】本来の顔画像領域よりも僅かにずれた位置で顔画像を複数回検出する様子を示す図である。
【図８】（Ａ）は、スコア値最大領域選択処理による顔画像検出領域を示す図であり、（Ｂ）は、顔画像検出領域安定化処理による顔画像検出領域を示す図である。
【図９】顔画像検出領域安定化処理において、複数の顔画像検出領域から顔画像検出領域安定化処理の計算に組み込む顔画像検出領域を選択する方法例を示す図である。
【図１０】判別指標値の算出例を説明するための図である。
【図１１】２つの顔画像検出領域の相対指標を示す図である。
【図１２】顔画像検出領域分類部によって設定された各領域内に２つの顔画像検出領域の相対指標を分類する様子を示す図である。
【図１３】アダブーストによって検出された５４１サンプルの顔画像検出領域における顔のパーツのばらつきを示す図である。
【符号の説明】
【００８８】
１ 顔画像検出装置、１１ 操作部、１２ 画像入力部、１３ 顔画像検出部、１４ 記録部、１５ 画像出力部、１６ 制御部、１３１ 顔画像判別部、１３２ 判別指標値算出部、１３３ 顔画像検出領域分類部、１３４ 顔画像領域平均化部１３４
【技術分野】
【０００１】
本発明は、画像から所定の画像を検出する画像検出装置及びその方法に関する。
【背景技術】
【０００２】
入力画像から顔画像等の所定の画像を検出する技術は、例えば、顔の有無の判別、顔の識別、顔のパーツの検出のための前処理等として利用されている。
【０００３】
入力画像から顔画像を検出する顔画像検出装置には、例えば、本来の顔画像領域の周辺にある複数の領域を検出するものがある。一般的に、このような顔画像検出装置では、複数の検出結果の内、所定のスコア値が最大である検出結果を選択する方法を用いるが、例えば、顔画像を探索する際の探索幅や画像の縮小倍率が離散的な値であること等に起因して、選択された検出結果が離散的な値になる場合がある。
【０００４】
そこで、例えば、以下の特許文献１に示すように、解像度が異なる複数の画像において、各スケールの平均値を用いて検出された顔画像領域を安定化する方法がある。
【０００５】
【特許文献１】特開２００６−４８３２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載されている技術では、２人以上の人物の顔領域が互いに非常に接近している場合や、誤検出によって本来の顔画像領域の非常に近くに検出結果が得られてしまう場合がある。このような技術では、複数の顔検出領域から顔画像領域を安定化するための計算に用いられる顔検出領域を適切に選択しないと、検出精度が大きく低下してしまうことになる。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、検出された顔画像領域を安定化するための計算に用いられる顔検出領域を適切に選択する画像検出装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した目的を達成するために、本発明は、入力画像から所定の画像を検出する画像検出装置において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別手段と、上記画像判別手段によって上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出手段と、上記指標値算出手段によって算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別手段とを備えることを特徴とする。
【０００９】
また、上述した目的を達成するために、本発明は、入力画像から所定の画像を検出する画像検出方法において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別工程と、上記画像判別工程にて上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出工程と、上記指標値算出工程にて算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別工程とを有することを特徴とする。
【発明の効果】
【００１０】
本発明は、入力画像から所定の画像を検出する画像検出装置及びその方法において、所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力し、上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出し、上記算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別することにより、従来の画像検出装置及びその方法に比べて所定の画像の検出領域をより安定化させることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１２】
図１は、本発明を適用した一実施形態における顔画像検出装置１を示す図である。顔画像検出装置１は、入力された画像データに基づく画像から顔画像を検出し、顔画像検出領域等の検出結果を出力するものである。
【００１３】
顔画像検出装置１は、例えば図２に示す内部構成を備えたパーソナルコンピュータとして構成される。
【００１４】
図２に示すように、顔画像検出装置１は、例えばキーボード、マウス等を介してユーザの操作情報が入力される操作部１１と、例えばデジタルカメラ、テレビジョン装置、ストレージ等より画像データが入力される画像入力部１２と、入力された画像データに基づく画像中から顔画像を検出する顔画像検出部１３と、画像データを記録する記録部１４と、所定の画像処理を行ってディスプレイに画像を出力する画像出力部１５と、バッファメモリ、ＲＡＭ（Random Access Memory）、顔画像検出プログラムが記録されているＲＯＭ（Read Only Memory）、ＣＰＵ（Central Processing Unit）等を備えて顔画像検出装置１の信号処理全般を制御する制御部１６とが内部バス１７に接続されることにより構成される。
【００１５】
顔画像検出部１３は、図３に示すように、顔画像判別部１３１と、判別指標値算出部１３２と、顔画像検出領域分類部１３３と、顔画像領域平均化部１３４とを備えて構成される。
【００１６】
顔画像判別部１３１は、制御部１６の制御動作に基づいて画像入力部１２を介して画像データが入力されると、入力された画像データに基づく８０×１００画素の画像１００Ａにおいて、顔画像を判別するための２０×２０画素の矩形領域１０１を、図４（Ａ）に示す画像１００Ａの左上端から２画素ずつ右方向又は下方向に移動させ、図４（Ｃ）に示す画像１００Ａの右下端まで到達させる。顔画像判別部１３１は、矩形領域１０１を２画素ずつ移動させるごとに矩形領域１０１の画像をスキャンして切り出し、この矩形領域１０１中に存在する所定の画像が顔画像であるか否かを判別する。
【００１７】
すなわち、顔画像判別部１３１は、例えば、サポート・ベクタ・マシーン（Support Vector Machine：ＳＶＭ）、アダブースト等のブースティング、局所特徴量等の方法によって、矩形領域１０１中に存在する画像と予め設定された顔画像との大きさ及び相関度を比較することにより、矩形領域１０１中に存在する所定の画像が顔画像であるか否かを判別する。
【００１８】
そして、顔画像判別部１３１は、予め設定された顔画像との相関度を示すスコア値Ｓｉを算出し、スコア値Ｓｉがある一定の閾値以上である場合には、矩形領域１０１中に存在する所定の画像が顔画像であると判別する。
【００１９】
顔画像判別部１３１は、図４（Ａ）に示す画像１００Ａの左上端から図４（Ｃ）に示す画像１００Ａの右下端まで矩形領域１０１を移動させながらスキャン及び切り出し処理を行う中で、図４（Ｂ）に示すように、矩形領域１０１中に存在する所定の画像が顔画像であると判別した場合、この矩形領域１０１の左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉを算出し、このｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉと、判別結果となるスコア値Ｓｉとを続く判別指標値算出部１３２に供給する。
【００２０】
なお、スコア値Ｓｉは、検出された顔画像の形状が予め設定された一般的な人物の顔の形状に近いほど高いスコア値Ｓｉが算出されるようにしてもよいし、他の算出方法により算出されるようにしてもよい。
【００２１】
一方、顔画像判別部１３１は、矩形領域１０１中に存在する所定の画像が顔画像ではないと判別した場合、上述した算出処理は一切行わずに矩形領域１０１を２画素移動させて、同様の顔画像判別処理を行う。
【００２２】
顔画像判別部１３１は、画像１００Ａにおいて、矩形領域１０１を画像１００Ａの右下端まで移動させた後、図４（Ｄ）に示すように、画像１００Ａを所定の倍率で縮小させ（この画像を画像１００Ｂとする。）、画像１００Ｂにおいて、画像１００Ａでの処理と同様に２０×２０画素の矩形領域１０１を画像１００Ｂ上の左上端から２画素ずつ右方向又は下方向に移動させる毎に矩形領域１０１をスキャンして切り出し、矩形領域１０１中に存在する所定の画像が顔画像であるか否かを判別する。
【００２３】
顔画像判別部１３１は、図４（Ｅ）に示すように、画像１００Ｂ上の右下端まで矩形領域１０１を移動させた後、何れの位置においても矩形領域１０１中に存在する所定の画像が顔画像ではないと判別した場合、図４（Ｆ）に示すように、画像１００Ｂを所定の倍率で縮小し（この画像を画像１００Ｃとする。）、この画像１００Ｃにおいて、画像１００Ａ，１００Ｂでの処理と同様に、２０×２０画素の矩形領域１０１を画像１００Ｃ上の左上端から右下端まで２画素ずつ右方向又は下方向に移動させるごとに矩形領域１０１をスキャンして切り出し、矩形領域１０１中に存在する所定の画像が顔画像であるか否かを、スコア値Ｓｉを算出して判別する。
【００２４】
顔画像判別部１３１は、矩形領域１０１を図４（Ｆ）に示す画像１００Ｃの左上端から図４（Ｈ）に示す画像１００Ｃの右下端まで移動させながらスキャン及び切り出し処理を行う中で、図４（Ｇ）に示すように、矩形領域１０１中に存在する所定の画像が顔画像であると判別した場合、この矩形領域１０１の左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉを算出し、そして、顔画像判別部１３１は、ｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉと所定のスコア値Ｓｉとを続く判別指標値算出部１３２に供給する。
【００２５】
顔画像判別部１３１は、図４（Ｉ）に示すように、画像の一辺の長さが矩形領域１０１の一辺の長さと同じになるまで縮小した画像１００Ｄにおいて、上述の顔画像判別処理と同様の処理を行い、図４（Ｊ）に示すように、矩形領域１０１を画像１００Ｄの右端まで到達させた後、一連の処理を終了させる。
【００２６】
ここで、顔画像判別部１３１の処理動作を図５のフローチャートを用いて説明する。
【００２７】
ステップＳ１において、顔画像判別部１３１には、制御部１６の制御動作に基づいて画像入力部１２を介して画像データが入力される。
【００２８】
ステップＳ２において、顔画像判別部１３１は、画像データに基づく画像の一部である矩形領域１０１のスキャン及び切り出し処理を行う。
【００２９】
ステップＳ３において、顔画像判別部１３１は、画像における矩形領域１０１中に存在する画像が顔画像であるか否かを、スコア値Ｓｉを算出して判別する。このステップＳ３において、顔画像判別部１３１は、矩形領域１０１中に存在する画像が顔画像であると判別した場合、ステップＳ４に進む。一方、このステップＳ３において、顔画像判別部１３１は、矩形領域１０１中に存在する画像が顔画像でないと判別した場合、ステップＳ５に進む。
【００３０】
ステップＳ４において、顔画像判別部１３１は、矩形領域１０１左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉを算出し、ｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉとスコア値Ｓｉとを判別指標値算出部１３２に供給する。
【００３１】
ステップＳ５において、顔画像判別部１３１は、画像上の矩形領域１０１を右方向又は下方向に２画素移動させる。
【００３２】
ステップＳ６において、顔画像判別部１３１は、矩形領域１０１のスキャン及び切り出し処理が画像の右下端まで到達したか否か、すなわち、画像全体における矩形領域１０１のスキャン及び切り出し処理が終了したか否かを判断する。このステップＳ６において、顔画像判別部１３１は、矩形領域１０１のスキャン及び切り出し処理が画像の右下端まで到達したと判断した場合、ステップＳ７に進む。一方、このステップＳ６において、顔画像判別部１３１は、矩形領域１０１のスキャン及び切り出し処理が画像の右下端まで到達していないと判断した場合、ステップＳ２に戻り、ステップＳ２〜ステップＳ６の処理動作を繰り返す。
【００３３】
ステップＳ７において、顔画像判別部１３１は、画像を所定の縮小率で縮小する。
【００３４】
ステップＳ８において、顔画像判別部１３１は、画像の一辺が矩形領域の一辺よりも短いか否かを判断する。このステップＳ８において、顔画像判別部１３１は、画像の一辺が矩形領域の一辺よりも短いと判断した場合は、ステップＳ９に進み、一連の処理動作を終了させる。一方、このステップＳ８において、顔画像判別部１３１は、顔画像判別部１３１は、画像の一辺が矩形領域の一辺よりも短くないと判断した場合、ステップＳ２に戻り、ステップＳ２〜ステップＳ８の処理動作を繰り返す。
【００３５】
なお、上述の顔画像判別部１３１は、算出したスコア値Ｓｉを顔画像の判別結果として続く判別指標値算出部１３２に供給するとしたが、スコア値Ｓｉに基づいて、顔画像であると判別した場合にはデジタルデータの１を、顔画像でないと判別した場合にはデジタルデータの０を続く判別指標値算出部１３２に供給するようにしてもよい。
【００３６】
顔画像判別部１３１は、このような顔画像判別処理によって、例えば図６（Ａ）に示す入力画像から、図６（Ｂ）に示すように、検出位置及び検出サイズの異なる顔画像を検出することができる。
【００３７】
上述の顔画像判別処理では、顔画像判別部１３１は、図７に示すように、本来の顔画像領域よりも僅かにずれた位置で顔画像を複数回検出し、また、画像の縮小によって本来の顔画像よりも僅かに小さいサイズの顔画像を検出してしまう。
【００３８】
このように、同一の顔画像に対して複数回検出された顔画像から１つの顔画像を選択する処理として、例えば顔画像の検出精度を示す所定のスコア値が最大である顔画像を選択する処理（以下、スコア値最大領域選択処理という。）が挙げられる。しかしながら、このスコア値最大領域選択処理では、図８（Ａ）に示すように、矩形領域１０１の画像におけるシフト単位や画像の縮小倍率に基づく離散的な検出結果しか得られないことになる。
【００３９】
そこで、本発明を適用した一実施形態における顔画像検出装置１は、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が平均化されて安定化した顔画像の検出領域（以下、顔画像検出領域という。）を得るための処理（以下、顔画像検出領域安定化処理という。）を適用する。
【００４０】
顔画像検出部１３では、後述する判別指標値算出部１３２及び顔画像検出領域分類部１３３における処理の後、顔画像領域平均化部１３４が、例えば以下に示すような計算処理を行うことにより顔画像検出領域を安定化する。
【００４１】
すなわち、顔画像検出領域平均化部１３４は、顔画像番号ｉ、顔画像検出領域の左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉを用いて顔画像検出領域Ｒｉ（ｘｉ，ｙｉ，ｗｉ，ｈｉ）を示す場合、ｎ回検出された顔画像検出領域Ｒ１〜Ｒｎにおけるｘ座標値ｘ１〜ｘｎ，ｙ座標値ｙ１〜ｙｎ，顔画像検出領域幅ｗ１〜ｗｎ，顔画像検出領域高さｈ１〜ｈｎに対して、顔画像判別部１３１によって算出された所定のスコア値ｓｉで重み付けすることにより平均値Ｒａｖｅ（ｘａｖｅ，ｙａｖｅ，ｗａｖｅ，ｈａｖｅ）を算出する（数式（１）〜数式（４））。
【００４２】
【数１】
【００４３】
【数２】
【００４４】
【数３】
【００４５】
【数４】
【００４６】
顔画像検出領域平均化部１３４は、複数の顔画像検出領域について所定のスコア値Ｓｉで重み付けした平均値Ｒａｖｅ（ｘａｖｅ，ｙａｖｅ，ｗａｖｅ，ｈａｖｅ）を算出することによって、例えば図８（Ｂ）に示すように、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が平均化された顔画像領域を得ることができる。
【００４７】
なお、例えば顔画像判別部１３１が所定の画像が顔画像であると判別してデジタルデータの１を出力するように設定した場合や計算処理を簡素化する場合においては、単純に複数の検出結果の平均をとることにより、顔画像検出領域を安定化するようにしてもよい。この場合、数式（１）〜数式（４）は、それぞれ数式（５）〜数式（８）に書き換えられる。
【００４８】
【数５】
【００４９】
【数６】
【００５０】
【数７】
【００５１】
【数８】
【００５２】
このような顔画像検出領域安定化処理において、複数の顔画像検出領域から顔画像検出領域平均化の計算に組み込む顔画像検出領域を選択する方法の一例について、図９を示しながら説明する。
【００５３】
図９（Ａ）に示すように、例えば、顔画像２Ａの顔画像検出領域と顔画像２Ｂの顔画像検出領域とが接近している場合、顔画像検出領域安定化処理では、顔画像２Ａについての顔画像検出領域２０Ａと顔画像２Ｂについての顔画像検出領域２０Ｂとが何れの顔画像における顔画像検出領域として平均化の計算に採用されるについて正しく判別されなければならない。
【００５４】
また、図９（Ｂ）に示すように、例えば、顔画像２Ａの顔画像検出領域２０Ａ内に顔画像２Ａとは異なる対象の検出領域２０Ｃが存在する場合や、顔画像２Ａの顔画像検出領域２０Ａと検出領域２０Ｃとがほぼ重なる場合、顔画像検出領域安定化処理では、顔画像２Ｃとは異なる対象の検出領域２０Ｃが誤検出領域として平均化の計算から除外され、正しく検出された顔画像検出領域２０Ａのみが安定化処理の計算に組み込まなければならない。
【００５５】
このような例を踏まえ、顔画像検出装置１における顔画像検出領域安定化処理では、任意の２つの顔画像検出領域について、例えば（１）同一人物の顔画像検出領域として平均化の計算に組み込まれる、（２）異なる人物の顔画像検出領域として各人物における平均化の計算に組み込まれる、（３）誤検出領域として平均化の計算から除外される、といった分類が行われた後、顔画像検出領域平均化の計算が行われる。
【００５６】
判別指標値算出部１３２は、図１０に示すように、例えば、複数の顔画像検出領域の内、判別基準となる基準領域２００Ａ及び判別対象となる被判別領域２００Ｂを任意に選択し、基準領域２００Ａの一辺ａ及び被判別領域２００Ｂの一辺ｂを用いて示されて基準領域２００Ａと被判別領域２００Ｂとの相対サイズの指標値となる検出領域サイズ指標値ｂ／ａと、基準領域２００Ａと被判別領域２００Ｂとの中心間距離ｃ及び基準領域２００Ａの一辺ａを用いて示されて基準領域２００Ａと被判別領域２００Ｂとの相対距離の指標値となる中心間距離指標値ｃ／ａとを算出する。
【００５７】
そして、判別指標値算出部１３２は、複数の顔画像検出領域と、検出領域サイズ指標値ｂ／ａ及び中心間距離指標値ｃ／ａとを続く顔画像検出領域分類部１３３に供給する。
【００５８】
すなわち、判別指標値算出部１３２は、複数の顔画像検出領域における基準領域２００Ａ及び被判別領域２００Ｂの全ての組み合わせについて、検出領域サイズ指標値ｂ／ａ及び中心間距離指標値ｃ／ａを算出し、これら基準領域２００Ａ及び被判別領域２００Ｂの全ての組み合わせにおける検出領域サイズ指標値ｂ／ａ及び中心間距離指標値ｃ／ａを算出する毎に、続く顔画像検出領域分類部１３３に供給する。
【００５９】
なお、判別指標値算出部１３２が算出する判別指標値はこれらに限られず、例えば２つの顔画像検出領域の合計面積に対する重なり面積、２つの顔画像検出領域の中心点間のマンハッタン距離等であってもよい。また、判別指標値の算出数は限定されない。
【００６０】
図１１は、検出領域サイズ指標値ｂ／ａ及び中心間距離指標値ｃ／ａに応じて定められた基準領域２００Ａに対する被判別領域２００Ｂの相対的サイズ・相対位置からなる相対指標を示す図である。
【００６１】
顔画像検出領域分類部１３３は、この図１１に示すような基準領域２００Ａに対する被判別領域２００Ｂの相対指標を、例えば図１２に示すような境界線１３１，１３２，１３３を設定することにより設定された領域１３Ａ，１３Ｂ，１３Ｃ，１３Ｄ内にそれぞれ分類する。
【００６２】
なお、顔画像検出領域分類部１３３が各境界線を設定する方法としては、例えばヒューリスティック法を用いて統計的に学習させることにより設定する方法が挙げられるが、より適当な方法としては、例えば十分量の顔画像データを用いて生成した分類タグを教示データとしてＳＶＭやＬＤＡ（Linear Discriminant analysis）に適用して統計的に学習させる方法等が挙げられる。
【００６３】
顔画像検出領域分類部１３３は、領域１３Ａに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂについては、同一人物の顔画像検出領域として判別する。
【００６４】
また、顔画像検出領域分類部１３３は、領域１３Ｂに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂについては、異なる人物の顔画像検出領域として判別する。
【００６５】
また、顔画像検出領域分類部１３３は、領域１３Ｃ及び領域１３Ｄに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂについては、被判別領域２００Ｂを誤検出領域として判別する。
【００６６】
顔画像検出領域分類部１３３は、例えば相対指標３１については、基準領域２００Ａのサイズと被判別領域２００Ｂのサイズとが同一であり（検出領域サイズ指標値ｂ／ａ＝１）、且つ、基準領域２００Ａ及び被判別領域２００Ｂの中心間距離が短い（中心間距離指標値ｃ／ａが小さい）ので、同一人物の顔画像検出領域と判別する。
【００６７】
また、顔画像検出領域分類部１３３は、例えば相対指標３２については、被判別領域２００Ｂのサイズが基準領域２００Ａのサイズよりも小さく（検出領域サイズ指標値ｂ／ａ＜１）、且つ、基準領域２００Ａ及び被判別領域２００Ｂの中心間距離が長い（中心間距離指標値ｃ／ａが大きい）ので、異なる人物の顔画像検出領域と判別する。
【００６８】
また、顔画像検出領域分類部１３３は、例えば相対指標３３については、被判別領域２００Ｂのサイズが基準領域２００Ａのサイズよりも大きく（検出領域サイズ指標値１＜ｂ／ａ）、且つ、基準領域２００Ａ及び被判別領域２００Ｂがほぼ重なる程度に中心間距離が長い（中心間距離指標値ｃ／ａが中程度の大きさ）ので、被判別領域２００Ｂを誤検出領域として判別する。
【００６９】
顔画像検出領域分類部１３３は、分類された基準領域２００Ａ及び被判別領域２００Ｂの相対指標を続く顔画像検出領域安定化処理部１３４に供給する。また、顔画像検出領域分類部１３３は、顔画像検出領域の左上端におけるｘｙ座標値ｘｉ，ｙｉ、顔画像検出領域幅ｗｉ、及び顔画像検出領域高さｈｉとスコア値Ｓｉ又はデジタルデータ（１又は０）とを顔画像検出領域安定化処理部１３４に供給する。
【００７０】
顔画像検出領域平均化部１３４は、顔画像検出領域分類部１３３で分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂにおいて、上述したように、数式（１）〜数式（４）又は数式（５）〜数式（８）を用いて顔画像検出領域の平均化の計算を行うことにより、顔画像の検出結果を安定化させることが可能となる。
【００７１】
すなわち、顔画像検出領域安定化処理部１３４は、領域１３Ａに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂに対しては、同一人物の顔画像検出領域として基準領域２００Ａのみに対して平均化の計算を行い、領域１３Ｂに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂに対しては、異なる人物の顔画像検出領域として別々に平均化の計算を行い、領域１３Ｃ及び領域１３Ｄに分類された相対指標を有する基準領域２００Ａ及び被判別領域２００Ｂに対しては、被判別領域２００Ｂを誤検出として平均化の計算から削除して、基準領域２００Ａのみに対して平均化の計算を行うようにする。
【００７２】
顔画像検出領域平均化部１３４は、このような領域を平均化する計算を行うことにより顔画像検出領域が安定化された顔画像を生成し、この顔画像を画像出力部１５に供給する。
【００７３】
ここで、顔画像検出領域の安定化の精度をスコア値最大領域選択処理と顔画像検出領域安定化処理とで比較した実験結果を示す。
【００７４】
図１３は、アダブーストによって検出された５４１サンプルの顔画像検出領域における右目の目頭と目尻との中間点（右目位置）、左目の目頭と目尻との中間点（左目位置）、及び前歯の位置（口位置）のばらつきを示す図である。
【００７５】
図１３に示すように、顔画像検出領域安定化処理が施された５４１サンプルの顔画像検出領域の右目位置、左目位置、及び口位置の分布は、スコア値最大領域選択処理が行われた場合の５４１サンプルの顔画像検出領域の右目位置、左目位置、及び口位置の分布に比べて分布幅が小さくなっており、顔画像検出領域安定化処理では、スコア値最大領域選択処理よりも顔画像検出領域が安定化されていることがわかる。
【００７６】
また、表１は、この５４１サンプルの右目位置、左目位置、及び口位置における平均位置からの距離（誤差平均）と、この平均位置からの分散（誤差分散値）を算出した結果を示している。
【００７７】
【表１】
【００７８】
表１に示すように、５４１サンプルの右目位置、左目位置、及び口位置における誤差平均及び誤差分散は、何れも顔画像検出領域安定化処理を施した場合の値がスコア値最大領域選択処理を施した場合の値よりも小さくなっており、顔画像検出領域安定化処理では、スコア値最大領域選択処理よりも顔画像検出領域が安定化されていることがわかる。
【００７９】
本発明を適用した一実施形態における顔画像検出装置１では、顔画像検出領域が複数検出された場合、これら複数の顔画像検出領域の平均領域を算出することによって、顔画像検出領域のシフト単位や画像の縮小倍率に基づく離散的な値によらない、複数の顔画像検出領域が安定化された顔画像領域を得ることができる。
【００８０】
また、顔画像検出装置１では、顔画像判別部１３１が画素単位で矩形領域１０１を移動するとともに所定の縮小率で入力画像を縮小させるため、画素シフト量よりも細かい位置解像度、且つ画像縮小率よりも細かい領域サイズシフトの解像度で、安定化した顔画像領域の検出結果を得ることができる。
【００８１】
また、顔画像検出装置１では、顔画像領域を検出した後に顔のパーツ画像領域を検出して顔画像領域を安定化させる方法と比べて計算量が少なく、顔のパーツ画像を検出する際の誤検出を防止することができ、高精度に顔検出領域を安定化させることができる。
【００８２】
また、顔画像検出装置１では、固有の顔画像におけるベクトル特徴量を用いる場合に生じ得るベクトルの次元ずれの問題を考慮することがないため、顔画像の識別性能を向上させることができる。
【００８３】
また、顔画像検出装置１では、安定した顔画像検出領域を顔のパーツ画像の検出の前処理として用いることにより、顔のパーツ画像の探索範囲を限定することができ、領域安定化処理における計算量の削減、及び誤認識率の低減が可能となる。
【００８４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８５】
例えば、上述した実施の形態では、本発明を、入力された画像データに基づく画像から顔画像を検出し、顔画像検出領域等の検出結果を出力する顔画像検出装置に適用したが、入力された画像データに基づく画像から検出する画像は顔画像に限られず、人物の全体像、手等、何れのも画像であってもよい。
【００８６】
また、例えば、上述した実施の形態では、顔画像判別部１３１は、入力された画像データに基づく８０×１００画素の画像１００Ａにおいて、顔画像を判別するための２０×２０画素の矩形領域１０１を、画像１００Ａの左上端から２画素ずつ右方向又は下方向に移動させ、画像１００Ａの右下端まで到達させるようにしたが、入力された画像データに基づく画像の画素サイズ、矩形領域の画像サイズ、矩形領域の移動幅及び移動方向等は、これに限られるものではない。
【図面の簡単な説明】
【００８７】
【図１】本発明を適用した一実施形態における顔画像検出装置を示す図である。
【図２】本発明を適用した一実施形態における顔画像検出装置の内部構成を示すブロック図である。
【図３】顔画像検出部の構成を示すブロック図である。
【図４】顔画像判別部の処理工程を説明するための図である。
【図５】顔画像判別部の処理動作を説明するためのフローチャートである。
【図６】（Ａ）は、入力画像の一例であり、（Ｂ）は、入力画像から顔画像を検出する様子を示す図である。
【図７】本来の顔画像領域よりも僅かにずれた位置で顔画像を複数回検出する様子を示す図である。
【図８】（Ａ）は、スコア値最大領域選択処理による顔画像検出領域を示す図であり、（Ｂ）は、顔画像検出領域安定化処理による顔画像検出領域を示す図である。
【図９】顔画像検出領域安定化処理において、複数の顔画像検出領域から顔画像検出領域安定化処理の計算に組み込む顔画像検出領域を選択する方法例を示す図である。
【図１０】判別指標値の算出例を説明するための図である。
【図１１】２つの顔画像検出領域の相対指標を示す図である。
【図１２】顔画像検出領域分類部によって設定された各領域内に２つの顔画像検出領域の相対指標を分類する様子を示す図である。
【図１３】アダブーストによって検出された５４１サンプルの顔画像検出領域における顔のパーツのばらつきを示す図である。
【符号の説明】
【００８８】
１ 顔画像検出装置、１１ 操作部、１２ 画像入力部、１３ 顔画像検出部、１４ 記録部、１５ 画像出力部、１６ 制御部、１３１ 顔画像判別部、１３２ 判別指標値算出部、１３３ 顔画像検出領域分類部、１３４ 顔画像領域平均化部１３４
【特許請求の範囲】
【請求項１】
入力画像から所定の画像を検出する画像検出装置において、
所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別手段と、
上記画像判別手段によって上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出手段と、
上記指標値算出手段によって算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別手段と
を備えることを特徴とする画像検出装置。
【請求項２】
上記検出領域判別手段は、上記２つの検出領域の相対距離が短く、且つ、上記２つの検出領域のサイズが略同一である場合、上記２つの検出領域を同一の検出領域として上記被判別領域を上記計算処理に採用すると判別することを特徴とする請求項１記載の画像検出装置。
【請求項３】
上記検出領域判別手段は、上記２つの検出領域の相対距離が短く、且つ、上記２つの検出領域のサイズが大きく異なる場合、上記基準領域のみを上記計算処理に採用すると判別することを特徴とする請求項１記載の画像検出装置。
【請求項４】
上記検出領域判別手段は、上記２つの検出領域の相対距離が長く、且つ、上記２つの検出領域のサイズが大きく異なる場合、上記基準領域と上記被判別領域とを別々の上記計算処理に採用すると判別することを特徴とする請求項１記載の画像検出装置。
【請求項５】
上記検出領域判別手段によって上記計算処理に採用すると判別された上記被判別領域を含む複数の上記検出領域の位置及び大きさの平均値を算出し、当該位置及び大きさが平均化された検出領域を生成する検出領域平均化手段
をさらに備えることを特徴とする請求項１記載の画像検出装置。
【請求項６】
上記所定画像は顔画像であることを特徴とする請求項１記載の画像検出装置。
【請求項７】
入力画像から所定の画像を検出する画像検出方法において、
所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別工程と、
上記画像判別工程にて上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出工程と、
上記指標値算出工程にて算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別工程と
を有することを特徴とする画像検出方法。
【請求項１】
入力画像から所定の画像を検出する画像検出装置において、
所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別手段と、
上記画像判別手段によって上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出手段と、
上記指標値算出手段によって算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別手段と
を備えることを特徴とする画像検出装置。
【請求項２】
上記検出領域判別手段は、上記２つの検出領域の相対距離が短く、且つ、上記２つの検出領域のサイズが略同一である場合、上記２つの検出領域を同一の検出領域として上記被判別領域を上記計算処理に採用すると判別することを特徴とする請求項１記載の画像検出装置。
【請求項３】
上記検出領域判別手段は、上記２つの検出領域の相対距離が短く、且つ、上記２つの検出領域のサイズが大きく異なる場合、上記基準領域のみを上記計算処理に採用すると判別することを特徴とする請求項１記載の画像検出装置。
【請求項４】
上記検出領域判別手段は、上記２つの検出領域の相対距離が長く、且つ、上記２つの検出領域のサイズが大きく異なる場合、上記基準領域と上記被判別領域とを別々の上記計算処理に採用すると判別することを特徴とする請求項１記載の画像検出装置。
【請求項５】
上記検出領域判別手段によって上記計算処理に採用すると判別された上記被判別領域を含む複数の上記検出領域の位置及び大きさの平均値を算出し、当該位置及び大きさが平均化された検出領域を生成する検出領域平均化手段
をさらに備えることを特徴とする請求項１記載の画像検出装置。
【請求項６】
上記所定画像は顔画像であることを特徴とする請求項１記載の画像検出装置。
【請求項７】
入力画像から所定の画像を検出する画像検出方法において、
所定サイズの検出対象領域と上記入力画像との相対サイズを変化させる毎に当該入力画像から当該検出対象領域を所定の画素ずつ移動させるようにスキャンして切り出し、当該切り出された検出対象領域内の画像が上記所定の画像であるか否かを判別して判別結果を出力する画像判別工程と、
上記画像判別工程にて上記検出対象領域内の画像が上記所定の画像であると判別された場合に、当該所定の画像について検出された基準領域及び被判別領域からなる２つの検出領域の相対位置及び相対サイズに基づく所定の指標値を算出する指標値算出工程と、
上記指標値算出工程にて算出された上記所定の指標値に基づいて分類された上記被判別領域を、上記所定の画像の検出結果を生成するための計算処理に採用するか否かについて判別する検出領域判別工程と
を有することを特徴とする画像検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−２７０５８（Ｐ２００８−２７０５８Ａ）
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願番号】特願２００６−１９７１５６（Ｐ２００６−１９７１５６）
【出願日】平成１８年７月１９日（２００６．７．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願日】平成１８年７月１９日（２００６．７．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]