物体検出装置、物体検出方法、物体検出プログラムおよびそのプログラムを記録した記録媒体
【課題】対象物以外の物体や照明条件などに影響されることなく、精度良く検出を行うことができる物体検出装置を提供する。
【解決手段】画像中の対象物体を検出する物体検出装置であって、デジタルカメラなどの撮影手段により撮影された画像を入力する画像入力装置１１と、アピアランスベースの粗密探索により、前記画像入力装置１１により入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域抽出装置１２と、前記画像入力装置１１により入力された入力画像にモルフォロジー演算をおこない演算画像を作成するモルフォロジー演算装置１３と、前記モルフォロジー演算装置１３で得られた演算画像に対し、一般化ハフ変換により、前記候補領域抽出装置１２により検出された候補領域内から対象物体の領域を検出する物体領域決定装置１４と、出力装置１５とを備える。
【解決手段】画像中の対象物体を検出する物体検出装置であって、デジタルカメラなどの撮影手段により撮影された画像を入力する画像入力装置１１と、アピアランスベースの粗密探索により、前記画像入力装置１１により入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域抽出装置１２と、前記画像入力装置１１により入力された入力画像にモルフォロジー演算をおこない演算画像を作成するモルフォロジー演算装置１３と、前記モルフォロジー演算装置１３で得られた演算画像に対し、一般化ハフ変換により、前記候補領域抽出装置１２により検出された候補領域内から対象物体の領域を検出する物体領域決定装置１４と、出力装置１５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出対象となる顔や物体等の対象物を画像中から検出する物体検出装置、物体検出方法、物体検出プログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
従来、画像中から対象物を検出する手法には主に以下の２つがある。
手法１：検出対象となる物体画像を粗くモザイク化し、これを探索時の対象画像の特徴として用いて、入力画像を走査し、おおよその位置と大きさとを見つける。次に、検出対象となる物体画像を細かくモザイク化し、これを用いて、既に得られた大まかな位置付近を走査し正確な位置と大きさを見つける（特許文献１参照）。
手法２：検出対象となる物体画像から指定された複数の特徴点について、各特徴点と参照点との距離と方位角とを記録し、その記録された値をもとに入力画像中の各画素から参照点の候補座標を算出する（特許文献２参照）。
【０００３】
尚、本発明の物体検出技術に関連して、顔画像等によるテンプレートを用いる手法は非特許文献１，２に記載され、類似度算出の方法は非特許文献３に記載され、部分空間法については非特許文献４に記載され、一般化ハフ変換については非特許文献５に記載されている。
【特許文献１】特開平２−１５８８８８号公報
【特許文献２】特開平５−１７４１４９号公報
【非特許文献１】画像処理ハンドブック，昭晃堂，ｐｐ．２８０〜２８３，１９９０
【非特許文献２】画像処理ハンドブック，昭晃堂，ｐｐ．３２０，１９９０
【非特許文献３】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．２５３〜２５４，１９９７
【非特許文献４】画像電子学会モバイルイメージ研究会２，２００６．１０．１６開催，ｐｐ．５〜８
【非特許文献５】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．２５４〜２５７，１９９７
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記手法１は、アピアランスベースの粗密探索を行うことにより、対象物かどうかの判定におけるあいまいさをなるべく減らし、かつ高速化を行っているが、探索において対象画像そのものを特徴としているように、一つの特徴だけを用いて探索を行う場合、背景にたまたま同じような特徴のテクスチャがある場合、粗密探索を行っても誤検出をしてしまう場合がある。
【０００５】
また前記手法２では、一般化ハフ変換を用いているため、雑音や隠蔽に強く、また回転があっても高速処理が可能という特徴がある反面、対象物以外の物体が画像中に多く存在する場合、異なる物体からの投票点が多くなり、対象としている物体の抽出が難しくなるという問題点がある。
【０００６】
また例えば、検出対象の特徴領域における統計量（濃淡値）に基づいて対象物を検出する場合、照明条件により検出結果が影響されてしまうという問題点がある。
【０００７】
本発明は上記課題を解決するものでありその目的は、対象物以外の物体や照明条件などに影響されることなく、精度良く検出を行うことができる物体検出装置、物体検出方法、物体検出プログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するための請求項１に記載の物体検出装置は、画像中の対象物体を検出する物体検出装置であって、撮影手段により撮影された画像を入力する画像入力手段と、アピアランスベースの粗密探索により、前記画像入力手段により入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域検出手段と、前記画像入力手段により入力された入力画像にモルフォロジー演算を行って演算画像を作成するモルフォロジー演算手段と、前記モルフォロジー演算手段で得られた演算画像に対し、一般化ハフ変換により、前記候補領域検出手段により検出された候補領域内から対象物体の領域を検出する物体領域決定手段とを備えることを特徴としている。
【０００９】
また、請求項２に記載の物体検出方法は、画像中の対象物体を検出する物体検出方法であって、画像入力手段が、撮影手段により撮影された画像を入力する画像入力ステップと、候補領域検出手段が、アピアランスベースの粗密探索により、前記画像入力ステップにより入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域検出ステップと、モルフォロジー演算手段が、前記画像入力ステップにより入力された入力画像にモルフォロジー演算を行って演算画像を作成するモルフォロジー演算ステップと、物体領域決定手段が、前記モルフォロジー演算ステップで得られた演算画像に対し、一般化ハフ変換により、前記候補領域検出ステップにより検出された候補領域内から対象物体の領域を検出する物体領域決定ステップとを備えることを特徴としている。
また、請求項３に記載の物体検出プログラムは、コンピュータに、請求項２に記載の各ステップを実行させるためのプログラムとしたことを特徴としている。
【００１０】
また、請求項４に記載の記録媒体は、請求項３に記載の物体検出プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。
【００１１】
上記構成によれば、アピアランスベースの照合によって対象物の存在候補領域を限定し、その候補領域内においてアピアランスベースの照合で用いた特徴とは異なる特徴を用いてハフ変換により対象物かどうかを決定することにより、回転変形があっても十分な処理速度で、かつ背景に複雑なテクスチャが存在しても安定して物体検出を行うことを可能にする。またモルフォロジー演算を施すことにより、照明変動があっても安定して抽出したい特徴を抽出し、物体検出をおこなうことができるようなる。
【発明の効果】
【００１２】
本発明によれば、あらかじめハフ変換で用いる特徴と異なる特徴量を用いてハフ変換を行う領域を限定しておくことにより、物体検出の精度を高めることができると同時に演算処理量を低減することができる。
【００１３】
すなわち、候補領域検出手段（ステップ）と物体領域決定手段（ステップ）において異なる特徴を用いるようにしたことより、一つの特徴では抽出に限界があり、似たテクスチャが背景にある場合はどの解像度でみても誤検出してしまう場合などでも、複数の特徴を用いているので、誤検出を減らすことが可能となる。
【００１４】
また、候補領域検出手段（ステップ）における粗密探索の粗探索において所定の閾値以上の類似度を持つすべての画像位置を候補領域として抽出することにより、検出漏れがなく、また密探索において粗探索で得られた候補領域に対してさらに類似度を算出して所定の閾値以上の画像位置をすべて最終的な候補領域として抽出することにより、位置精度を高めながら、候補領域を絞り込むことが可能となり、さらに類似度算出の演算回数を減らして高速化を図ることが可能となる。
【００１５】
また、物体領域決定手段（ステップ）においてハフ変換を用いる際に、上記のように候補領域を適切に絞り込むことで、パラメータ空間も絞り込むことが可能となり、画像中の背景に複雑なテクスチャがあってもそれらに引きずられることなく物体を認識することが可能となり、また投票点を候補領域内のみに絞り込めるため高速化を図ることが可能となる。
【００１６】
またモルフォロジー演算処理により図形分解を行うことにより、ハフ変換に適した特徴を抽出することができ、より精度よく物体領域を決定することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１８】
図１は本発明の物体検出装置の一実施形態例を示す構成図である。本実施形態例の物体検出装置は、画像入力手段としての画像入力装置１１、候補領域検出手段としての候補領域抽出装置１２、入力画像にモルフォロジー演算をおこない演算画像を作成するモルフォロジー演算手段としてのモルフォロジー演算装置１３、物体領域決定手段としての物体領域決定装置１４および出力装置１５とを備えている。
【００１９】
従来手法では画像空間全領域において行われていた領域決定装置を、本実施形態例では候補領域を抽出する候補領域抽出装置１２と、その候補領域内で一般化ハフ変換等の領域決定装置とは異なる手法を用いて領域決定を行う物体領域決定装置１４との処理に分けて行うことに特徴がある。
【００２０】
尚、前記画像入力装置１１、候補領域抽出装置１２、モルフォロジー演算装置１３、物体領域決定装置１４および出力装置１５の、後述する各機能は、例えばコンピュータによって処理されるものである。
【００２１】
図２は本発明の物体検出方法の一実施形態例を示すフローチャートである。まずステップＳ１１において、例えばデジタルカメラなどの画像入力装置１１により撮影された画像を入力する。
【００２２】
次にステップＳ１２において、候補領域抽出装置１２が、アピアランスベースの粗密探索により、前記ステップＳ１１により入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する。
【００２３】
次にステップＳ１３において、モルフォロジー演算装置１３が、前記ステップＳ１１により入力された入力画像にモルフォロジー演算を行い演算画像を作成する。
【００２４】
次にステップＳ１４において、物体領域決定装置１４が、前記ステップＳ１３で得られた演算画像に対し、一般化ハフ変換により、前記ステップＳ１２で検出された候補領域内から対象物体の領域を検出する。
【００２５】
次にステップＳ１５において、前記ステップＳ１４で検出された物体を出力する（検出物体の画像データとして出力する）。
【００２６】
次に図１の各構成要素について詳細に説明する。
【００２７】
画像入力装置１１は、例えばデジタルカメラなど一般のカメラで撮影した画像を入力画像として取得する。
【００２８】
次に候補領域抽出装置１２について説明する。
【００２９】
ここでは顔領域を抽出する場合を想定し、粗密探索で候補領域を絞り込む場合について説明する。
【００３０】
まず粗探索においては、粗い画像の顔画像等を用いてテンプレートを作成し、同様に粗くした入力画像上にテンプレートを走査させ、類似度を算出し、類似度が閾値以上の領域を候補領域として抽出する。テンプレートとして用いる顔画像は、複数人の顔の平均顔画像を用いてもよいし、代表的な顔を選んでテンプレートとして用いてもよく、抽出したい対象に適したものを用いることとする。
【００３１】
また、画素値そのままをテンプレートとして用いてもよいし、非特許文献１に記載のように微分フィルタ等をかけたり、非特許文献２に記載のような拡張処理と縮小処理を組み合わせて行った画像と入力画像との差分を算出したものを用いたりなど、対象に適した特徴を抽出したものをテンプレートとして用いてもよい。
【００３２】
この際、入力画像にも同じ演算を施し、同様の特徴を抽出した後、テンプレートを走査させ、類似度を算出することとする。類似度算出の方法には非特許文献３に記載のように差分や、正規化相関値等があり、どれを用いても良いが、入力画像の特徴にあわせて選択することとする。類似度が閾値以上の領域を抽出する場合、対象物の大きさが任意で入力画像の大きさを変えながらテンプレートマッチングをする際には、同じ箇所を複数回抽出してしまう場合があるので、複数個として抽出してもよいが、領域の中心座標等をもとにクラスタリングを行い、抽出された領域をまとめてもよい。
【００３３】
図３に粗探索による候補領域の抽出例を示す。３１はもとの顔画像のテンプレート例、３２は粗探索で用いるための粗くした顔画像のテンプレート例、３３は入力画像の例、３４は抽出された候補領域の例である。
【００３４】
次に密探索においては、解像度をあげた顔画像でテンプレートを作成し、前記粗探索で抽出された領域でのみ、新たにマッチング処理を行い、さらに領域を限定する。この際には、前記粗探索で用いたものと同じ特徴量による類似度算出を行ってもよいが、異なるものを用いてもよい。
【００３５】
ここではテンプレートマッチングによる粗密探索について説明したが、部分空間法（非特許文献４）などを用いた粗密探索など、アピアランスベースであれば何を用いてもよい。
【００３６】
次にモルフォロジー演算装置１３について説明する。
【００３７】
モルフォロジーは構造要素と呼ばれる単純な形状を用意し、処理対象画像と構造要素を用いて演算を行う処理のことであり、ここでは、入力画像の各画素において濃淡値を近傍の最大値に置き換えるモルフォロジー膨張処理を施し、入力画像との差分画像を作成する場合について説明する。例えば、３×３のマスク内の最大値にそのマスク内の画素すべてを置き換える処理を画像全部に施し、膨張処理を行い、入力画像との差分をとり、エッジを強調する。
【００３８】
モルフォロジー膨張処理を施す際には、入力画像の解像度を落としておいてもよく、この場合には、入力画像の解像度を落とした縮小画像との差分画像を作成する。ここで用いたモルフォロジー演算に限らず、対象にあった演算を用いてもよい。例えば、入力画像の各画素において濃淡値を近傍の最大値に置き換える膨張処理と、最小値に置き換える縮小処理の両方とを施した画像と入力画像との差分をとった画像を作成してもよい。入力画像全体にモルフォロジー演算処理を施す場合について説明したが、入力画像の候補領域のみにモルフォロジー演算を施してもよい。
【００３９】
次に物体領域決定装置１４について説明する。
【００４０】
前記した差分画像において候補領域抽出装置にて絞り込まれた候補領域内で、一般化ハフ変換（非特許文献５）により対象となる物体の検出を行う。顔を対象とし、輪郭を楕円に近似する場合は、ハフ変換により楕円検出を行い、楕円のある領域を顔領域と決定する。ハフ変換は投票と多数決によるアルゴリズムであり、形状をあらわすパラメータ空間への投票数が閾値以上の領域を顔領域と決定する。候補領域内の投票に用いる点には、入力画像を２値化し、画素値が０または２５５の点を選んでもよいし、微分フィルタなどをかけ、閾値以上の値をとる点を選んでもよい。顔の場合など、あごの輪郭がでやすいなどの特徴が予めわかっている場合には、各候補領域の下半分から投票に用いる点を選ぶなどの選択を行ってもよい。
【００４１】
また顔を円で近似し、円の一般化ハフ変換を行う場合には、投票されるパラメータ空間を絞ってもよい。図４を用いてパラメータ空間の絞込みについて説明する。入力画像４１中の候補領域４７で円検出を行う場合について説明する。候補領域内に顔がいっぱいにうつりこんでいると仮定できる場合など、顔の中心にあたる場所を選択することができる。ここでは、ｘ座標がｘ１〜ｘ２、ｙ座標がｙ１〜ｙ２の領域内に顔の中心があると限定できるとする。パラメータ空間４２の円の中心ｘ座標軸４３のｘ１からｘ２、円の中心ｙ座標軸４４のｙ１からｙ２までと絞り込むことができる。また円の半径軸４５に関しては、例えば、ｘ２−ｘ１＜ｙ２−ｙ１の場合には、（ｘ２−ｘ１）／２から（ｙ２−ｙ１）／２までと絞り込むことができる。４６は投票される領域を示している。
【００４２】
このように候補領域を絞り込み、一般化ハフ変換を行うことにより、候補領域内のみに投票点を絞り込めるだけでなく、パラメータ空間も絞り込むことが可能となり、より精度をあげることができる。図５に、モルフォロジー演算処理をした演算画像５１から、検出対象を顔とし、候補領域を絞り込んで楕円の一般化ハフ変換を行い、顔を検出した場合の結果５２と、候補領域を絞り込まずに楕円を検出し、顔とした場合の結果５３を示す。アピアランスベースの粗密探索で絞り込まれた候補領域に対してのみハフ変換を行うほうが、画像全体でハフ変換をおこなうより、対象である顔を精度よく検出できていることがわかる。投票の際には、すべての点で同じ１票の重み付けで投票を行ってもよいし、微分フィルタをかけた場合など、その値に応じて、投票の重み付けを行ってもよい。
【００４３】
また、本実施形態の物体検出装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の物体検出方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，ＣＤ−ＲＷ，ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００４４】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施例に限定されるものではなく、幅広く応用することができる。
【図面の簡単な説明】
【００４５】
【図１】本発明の物体検出装置の一実施形態例を示す構成図。
【図２】本発明の物体検出方法の一実施形態例を示すフローチャート。
【図３】本発明の一実施形態例における候補領域の抽出例を示す説明図。
【図４】本発明の一実施形態例におけるパラメータ空間を絞り込む例を示す説明図。
【図５】候補領域がある場合とない場合の検出結果例を示す説明図。
【符号の説明】
【００４６】
１１…画像入力装置、１２…候補領域抽出装置、１３…モルフォロジー演算装置、１４…物体領域決定装置、１５…出力装置。
【技術分野】
【０００１】
本発明は、検出対象となる顔や物体等の対象物を画像中から検出する物体検出装置、物体検出方法、物体検出プログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
従来、画像中から対象物を検出する手法には主に以下の２つがある。
手法１：検出対象となる物体画像を粗くモザイク化し、これを探索時の対象画像の特徴として用いて、入力画像を走査し、おおよその位置と大きさとを見つける。次に、検出対象となる物体画像を細かくモザイク化し、これを用いて、既に得られた大まかな位置付近を走査し正確な位置と大きさを見つける（特許文献１参照）。
手法２：検出対象となる物体画像から指定された複数の特徴点について、各特徴点と参照点との距離と方位角とを記録し、その記録された値をもとに入力画像中の各画素から参照点の候補座標を算出する（特許文献２参照）。
【０００３】
尚、本発明の物体検出技術に関連して、顔画像等によるテンプレートを用いる手法は非特許文献１，２に記載され、類似度算出の方法は非特許文献３に記載され、部分空間法については非特許文献４に記載され、一般化ハフ変換については非特許文献５に記載されている。
【特許文献１】特開平２−１５８８８８号公報
【特許文献２】特開平５−１７４１４９号公報
【非特許文献１】画像処理ハンドブック，昭晃堂，ｐｐ．２８０〜２８３，１９９０
【非特許文献２】画像処理ハンドブック，昭晃堂，ｐｐ．３２０，１９９０
【非特許文献３】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．２５３〜２５４，１９９７
【非特許文献４】画像電子学会モバイルイメージ研究会２，２００６．１０．１６開催，ｐｐ．５〜８
【非特許文献５】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．２５４〜２５７，１９９７
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記手法１は、アピアランスベースの粗密探索を行うことにより、対象物かどうかの判定におけるあいまいさをなるべく減らし、かつ高速化を行っているが、探索において対象画像そのものを特徴としているように、一つの特徴だけを用いて探索を行う場合、背景にたまたま同じような特徴のテクスチャがある場合、粗密探索を行っても誤検出をしてしまう場合がある。
【０００５】
また前記手法２では、一般化ハフ変換を用いているため、雑音や隠蔽に強く、また回転があっても高速処理が可能という特徴がある反面、対象物以外の物体が画像中に多く存在する場合、異なる物体からの投票点が多くなり、対象としている物体の抽出が難しくなるという問題点がある。
【０００６】
また例えば、検出対象の特徴領域における統計量（濃淡値）に基づいて対象物を検出する場合、照明条件により検出結果が影響されてしまうという問題点がある。
【０００７】
本発明は上記課題を解決するものでありその目的は、対象物以外の物体や照明条件などに影響されることなく、精度良く検出を行うことができる物体検出装置、物体検出方法、物体検出プログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するための請求項１に記載の物体検出装置は、画像中の対象物体を検出する物体検出装置であって、撮影手段により撮影された画像を入力する画像入力手段と、アピアランスベースの粗密探索により、前記画像入力手段により入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域検出手段と、前記画像入力手段により入力された入力画像にモルフォロジー演算を行って演算画像を作成するモルフォロジー演算手段と、前記モルフォロジー演算手段で得られた演算画像に対し、一般化ハフ変換により、前記候補領域検出手段により検出された候補領域内から対象物体の領域を検出する物体領域決定手段とを備えることを特徴としている。
【０００９】
また、請求項２に記載の物体検出方法は、画像中の対象物体を検出する物体検出方法であって、画像入力手段が、撮影手段により撮影された画像を入力する画像入力ステップと、候補領域検出手段が、アピアランスベースの粗密探索により、前記画像入力ステップにより入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域検出ステップと、モルフォロジー演算手段が、前記画像入力ステップにより入力された入力画像にモルフォロジー演算を行って演算画像を作成するモルフォロジー演算ステップと、物体領域決定手段が、前記モルフォロジー演算ステップで得られた演算画像に対し、一般化ハフ変換により、前記候補領域検出ステップにより検出された候補領域内から対象物体の領域を検出する物体領域決定ステップとを備えることを特徴としている。
また、請求項３に記載の物体検出プログラムは、コンピュータに、請求項２に記載の各ステップを実行させるためのプログラムとしたことを特徴としている。
【００１０】
また、請求項４に記載の記録媒体は、請求項３に記載の物体検出プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。
【００１１】
上記構成によれば、アピアランスベースの照合によって対象物の存在候補領域を限定し、その候補領域内においてアピアランスベースの照合で用いた特徴とは異なる特徴を用いてハフ変換により対象物かどうかを決定することにより、回転変形があっても十分な処理速度で、かつ背景に複雑なテクスチャが存在しても安定して物体検出を行うことを可能にする。またモルフォロジー演算を施すことにより、照明変動があっても安定して抽出したい特徴を抽出し、物体検出をおこなうことができるようなる。
【発明の効果】
【００１２】
本発明によれば、あらかじめハフ変換で用いる特徴と異なる特徴量を用いてハフ変換を行う領域を限定しておくことにより、物体検出の精度を高めることができると同時に演算処理量を低減することができる。
【００１３】
すなわち、候補領域検出手段（ステップ）と物体領域決定手段（ステップ）において異なる特徴を用いるようにしたことより、一つの特徴では抽出に限界があり、似たテクスチャが背景にある場合はどの解像度でみても誤検出してしまう場合などでも、複数の特徴を用いているので、誤検出を減らすことが可能となる。
【００１４】
また、候補領域検出手段（ステップ）における粗密探索の粗探索において所定の閾値以上の類似度を持つすべての画像位置を候補領域として抽出することにより、検出漏れがなく、また密探索において粗探索で得られた候補領域に対してさらに類似度を算出して所定の閾値以上の画像位置をすべて最終的な候補領域として抽出することにより、位置精度を高めながら、候補領域を絞り込むことが可能となり、さらに類似度算出の演算回数を減らして高速化を図ることが可能となる。
【００１５】
また、物体領域決定手段（ステップ）においてハフ変換を用いる際に、上記のように候補領域を適切に絞り込むことで、パラメータ空間も絞り込むことが可能となり、画像中の背景に複雑なテクスチャがあってもそれらに引きずられることなく物体を認識することが可能となり、また投票点を候補領域内のみに絞り込めるため高速化を図ることが可能となる。
【００１６】
またモルフォロジー演算処理により図形分解を行うことにより、ハフ変換に適した特徴を抽出することができ、より精度よく物体領域を決定することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１８】
図１は本発明の物体検出装置の一実施形態例を示す構成図である。本実施形態例の物体検出装置は、画像入力手段としての画像入力装置１１、候補領域検出手段としての候補領域抽出装置１２、入力画像にモルフォロジー演算をおこない演算画像を作成するモルフォロジー演算手段としてのモルフォロジー演算装置１３、物体領域決定手段としての物体領域決定装置１４および出力装置１５とを備えている。
【００１９】
従来手法では画像空間全領域において行われていた領域決定装置を、本実施形態例では候補領域を抽出する候補領域抽出装置１２と、その候補領域内で一般化ハフ変換等の領域決定装置とは異なる手法を用いて領域決定を行う物体領域決定装置１４との処理に分けて行うことに特徴がある。
【００２０】
尚、前記画像入力装置１１、候補領域抽出装置１２、モルフォロジー演算装置１３、物体領域決定装置１４および出力装置１５の、後述する各機能は、例えばコンピュータによって処理されるものである。
【００２１】
図２は本発明の物体検出方法の一実施形態例を示すフローチャートである。まずステップＳ１１において、例えばデジタルカメラなどの画像入力装置１１により撮影された画像を入力する。
【００２２】
次にステップＳ１２において、候補領域抽出装置１２が、アピアランスベースの粗密探索により、前記ステップＳ１１により入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する。
【００２３】
次にステップＳ１３において、モルフォロジー演算装置１３が、前記ステップＳ１１により入力された入力画像にモルフォロジー演算を行い演算画像を作成する。
【００２４】
次にステップＳ１４において、物体領域決定装置１４が、前記ステップＳ１３で得られた演算画像に対し、一般化ハフ変換により、前記ステップＳ１２で検出された候補領域内から対象物体の領域を検出する。
【００２５】
次にステップＳ１５において、前記ステップＳ１４で検出された物体を出力する（検出物体の画像データとして出力する）。
【００２６】
次に図１の各構成要素について詳細に説明する。
【００２７】
画像入力装置１１は、例えばデジタルカメラなど一般のカメラで撮影した画像を入力画像として取得する。
【００２８】
次に候補領域抽出装置１２について説明する。
【００２９】
ここでは顔領域を抽出する場合を想定し、粗密探索で候補領域を絞り込む場合について説明する。
【００３０】
まず粗探索においては、粗い画像の顔画像等を用いてテンプレートを作成し、同様に粗くした入力画像上にテンプレートを走査させ、類似度を算出し、類似度が閾値以上の領域を候補領域として抽出する。テンプレートとして用いる顔画像は、複数人の顔の平均顔画像を用いてもよいし、代表的な顔を選んでテンプレートとして用いてもよく、抽出したい対象に適したものを用いることとする。
【００３１】
また、画素値そのままをテンプレートとして用いてもよいし、非特許文献１に記載のように微分フィルタ等をかけたり、非特許文献２に記載のような拡張処理と縮小処理を組み合わせて行った画像と入力画像との差分を算出したものを用いたりなど、対象に適した特徴を抽出したものをテンプレートとして用いてもよい。
【００３２】
この際、入力画像にも同じ演算を施し、同様の特徴を抽出した後、テンプレートを走査させ、類似度を算出することとする。類似度算出の方法には非特許文献３に記載のように差分や、正規化相関値等があり、どれを用いても良いが、入力画像の特徴にあわせて選択することとする。類似度が閾値以上の領域を抽出する場合、対象物の大きさが任意で入力画像の大きさを変えながらテンプレートマッチングをする際には、同じ箇所を複数回抽出してしまう場合があるので、複数個として抽出してもよいが、領域の中心座標等をもとにクラスタリングを行い、抽出された領域をまとめてもよい。
【００３３】
図３に粗探索による候補領域の抽出例を示す。３１はもとの顔画像のテンプレート例、３２は粗探索で用いるための粗くした顔画像のテンプレート例、３３は入力画像の例、３４は抽出された候補領域の例である。
【００３４】
次に密探索においては、解像度をあげた顔画像でテンプレートを作成し、前記粗探索で抽出された領域でのみ、新たにマッチング処理を行い、さらに領域を限定する。この際には、前記粗探索で用いたものと同じ特徴量による類似度算出を行ってもよいが、異なるものを用いてもよい。
【００３５】
ここではテンプレートマッチングによる粗密探索について説明したが、部分空間法（非特許文献４）などを用いた粗密探索など、アピアランスベースであれば何を用いてもよい。
【００３６】
次にモルフォロジー演算装置１３について説明する。
【００３７】
モルフォロジーは構造要素と呼ばれる単純な形状を用意し、処理対象画像と構造要素を用いて演算を行う処理のことであり、ここでは、入力画像の各画素において濃淡値を近傍の最大値に置き換えるモルフォロジー膨張処理を施し、入力画像との差分画像を作成する場合について説明する。例えば、３×３のマスク内の最大値にそのマスク内の画素すべてを置き換える処理を画像全部に施し、膨張処理を行い、入力画像との差分をとり、エッジを強調する。
【００３８】
モルフォロジー膨張処理を施す際には、入力画像の解像度を落としておいてもよく、この場合には、入力画像の解像度を落とした縮小画像との差分画像を作成する。ここで用いたモルフォロジー演算に限らず、対象にあった演算を用いてもよい。例えば、入力画像の各画素において濃淡値を近傍の最大値に置き換える膨張処理と、最小値に置き換える縮小処理の両方とを施した画像と入力画像との差分をとった画像を作成してもよい。入力画像全体にモルフォロジー演算処理を施す場合について説明したが、入力画像の候補領域のみにモルフォロジー演算を施してもよい。
【００３９】
次に物体領域決定装置１４について説明する。
【００４０】
前記した差分画像において候補領域抽出装置にて絞り込まれた候補領域内で、一般化ハフ変換（非特許文献５）により対象となる物体の検出を行う。顔を対象とし、輪郭を楕円に近似する場合は、ハフ変換により楕円検出を行い、楕円のある領域を顔領域と決定する。ハフ変換は投票と多数決によるアルゴリズムであり、形状をあらわすパラメータ空間への投票数が閾値以上の領域を顔領域と決定する。候補領域内の投票に用いる点には、入力画像を２値化し、画素値が０または２５５の点を選んでもよいし、微分フィルタなどをかけ、閾値以上の値をとる点を選んでもよい。顔の場合など、あごの輪郭がでやすいなどの特徴が予めわかっている場合には、各候補領域の下半分から投票に用いる点を選ぶなどの選択を行ってもよい。
【００４１】
また顔を円で近似し、円の一般化ハフ変換を行う場合には、投票されるパラメータ空間を絞ってもよい。図４を用いてパラメータ空間の絞込みについて説明する。入力画像４１中の候補領域４７で円検出を行う場合について説明する。候補領域内に顔がいっぱいにうつりこんでいると仮定できる場合など、顔の中心にあたる場所を選択することができる。ここでは、ｘ座標がｘ１〜ｘ２、ｙ座標がｙ１〜ｙ２の領域内に顔の中心があると限定できるとする。パラメータ空間４２の円の中心ｘ座標軸４３のｘ１からｘ２、円の中心ｙ座標軸４４のｙ１からｙ２までと絞り込むことができる。また円の半径軸４５に関しては、例えば、ｘ２−ｘ１＜ｙ２−ｙ１の場合には、（ｘ２−ｘ１）／２から（ｙ２−ｙ１）／２までと絞り込むことができる。４６は投票される領域を示している。
【００４２】
このように候補領域を絞り込み、一般化ハフ変換を行うことにより、候補領域内のみに投票点を絞り込めるだけでなく、パラメータ空間も絞り込むことが可能となり、より精度をあげることができる。図５に、モルフォロジー演算処理をした演算画像５１から、検出対象を顔とし、候補領域を絞り込んで楕円の一般化ハフ変換を行い、顔を検出した場合の結果５２と、候補領域を絞り込まずに楕円を検出し、顔とした場合の結果５３を示す。アピアランスベースの粗密探索で絞り込まれた候補領域に対してのみハフ変換を行うほうが、画像全体でハフ変換をおこなうより、対象である顔を精度よく検出できていることがわかる。投票の際には、すべての点で同じ１票の重み付けで投票を行ってもよいし、微分フィルタをかけた場合など、その値に応じて、投票の重み付けを行ってもよい。
【００４３】
また、本実施形態の物体検出装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の物体検出方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，ＣＤ−ＲＷ，ＨＤＤ，リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００４４】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施例に限定されるものではなく、幅広く応用することができる。
【図面の簡単な説明】
【００４５】
【図１】本発明の物体検出装置の一実施形態例を示す構成図。
【図２】本発明の物体検出方法の一実施形態例を示すフローチャート。
【図３】本発明の一実施形態例における候補領域の抽出例を示す説明図。
【図４】本発明の一実施形態例におけるパラメータ空間を絞り込む例を示す説明図。
【図５】候補領域がある場合とない場合の検出結果例を示す説明図。
【符号の説明】
【００４６】
１１…画像入力装置、１２…候補領域抽出装置、１３…モルフォロジー演算装置、１４…物体領域決定装置、１５…出力装置。
【特許請求の範囲】
【請求項１】
画像中の対象物体を検出する物体検出装置であって、
撮影手段により撮影された画像を入力する画像入力手段と、
アピアランスベースの粗密探索により、前記画像入力手段により入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域検出手段と、
前記画像入力手段により入力された入力画像にモルフォロジー演算を行って演算画像を作成するモルフォロジー演算手段と、
前記モルフォロジー演算手段で得られた演算画像に対し、一般化ハフ変換により、前記候補領域検出手段により検出された候補領域内から対象物体の領域を検出する物体領域決定手段と
を備えることを特徴とする物体検出装置
【請求項２】
画像中の対象物体を検出する物体検出方法であって、
画像入力手段が、撮影手段により撮影された画像を入力する画像入力ステップと、
候補領域検出手段が、アピアランスベースの粗密探索により、前記画像入力ステップにより入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域検出ステップと、
モルフォロジー演算手段が、前記画像入力ステップにより入力された入力画像にモルフォロジー演算を行って演算画像を作成するモルフォロジー演算ステップと、
物体領域決定手段が、前記モルフォロジー演算ステップで得られた演算画像に対し、一般化ハフ変換により、前記候補領域検出ステップにより検出された候補領域内から対象物体の領域を検出する物体領域決定ステップと
を備えることを特徴とする物体検出方法。
【請求項３】
コンピュータに、請求項２に記載の各ステップを実行させるためのプログラムとしたことを特徴とする物体検出プログラム。
【請求項４】
請求項３に記載の物体検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像中の対象物体を検出する物体検出装置であって、
撮影手段により撮影された画像を入力する画像入力手段と、
アピアランスベースの粗密探索により、前記画像入力手段により入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域検出手段と、
前記画像入力手段により入力された入力画像にモルフォロジー演算を行って演算画像を作成するモルフォロジー演算手段と、
前記モルフォロジー演算手段で得られた演算画像に対し、一般化ハフ変換により、前記候補領域検出手段により検出された候補領域内から対象物体の領域を検出する物体領域決定手段と
を備えることを特徴とする物体検出装置
【請求項２】
画像中の対象物体を検出する物体検出方法であって、
画像入力手段が、撮影手段により撮影された画像を入力する画像入力ステップと、
候補領域検出手段が、アピアランスベースの粗密探索により、前記画像入力ステップにより入力された入力画像中に、対象物体が存在する可能性のある候補領域を絞り込んで検出する候補領域検出ステップと、
モルフォロジー演算手段が、前記画像入力ステップにより入力された入力画像にモルフォロジー演算を行って演算画像を作成するモルフォロジー演算ステップと、
物体領域決定手段が、前記モルフォロジー演算ステップで得られた演算画像に対し、一般化ハフ変換により、前記候補領域検出ステップにより検出された候補領域内から対象物体の領域を検出する物体領域決定ステップと
を備えることを特徴とする物体検出方法。
【請求項３】
コンピュータに、請求項２に記載の各ステップを実行させるためのプログラムとしたことを特徴とする物体検出プログラム。
【請求項４】
請求項３に記載の物体検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−４３０３９（Ｐ２００９−４３０３９Ａ）
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００７−２０７４３９（Ｐ２００７−２０７４３９）
【出願日】平成１９年８月９日（２００７．８．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１９年８月９日（２００７．８．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]