オブジェクト検出方法及びオブジェクト検出装置
【課題】オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減するための技術を提供する。
【解決手段】入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを含んでオブジェクト検出を行う。上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部（１０５）により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させることでオブジェクト誤検出の低減を図る。
【解決手段】入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを含んでオブジェクト検出を行う。上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部（１０５）により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させることでオブジェクト誤検出の低減を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像から顔などの特定のオブジェクトを検出するための技術に関する。
【背景技術】
【０００２】
入力された画像から顔などの特定オブジェクトを検出する方法として、例えば非特許文献１が知られている。非特許文献１には、顔の解析に効率的かつ効果的なハールと呼ばれる画像の特徴の組、アダブースト(AdaBoost)に基づく特徴選択プロセス、学習及び検出用のカスケード式アーキテクチャの３つの新しい方式による高精度なオブジェクト検出手法が記載されている。
【０００３】
非特許文献１におけるオブジェクト検出では、複数のステージで構成されたオブジェクト判別器を用いる。１回の判別処理では、入力画像から切り出された１つの小領域に対し、このオブジェクト判別器によりその領域が検出対象とするオブジェクトであるかないかを判別する。
【０００４】
各ステージで、ハール特徴に応じた特徴量の総和をステージ毎の出力値として求め、閾値と比較して、オブジェクトであるかどうかの判別を行う。ある閾値以下であればオブジェクトではないと判別して判別処理を打ち切る。一方、閾値以上であればステージクリアと判定して、次のステージによる判別処理へと移行する。オブジェクト判別器内の全てのステージの判別処理をクリアした場合、オブジェクトがあると判定する。
【０００５】
以上の処理を、入力画像から切り出される全ての小領域に対して繰り返すことで、高精度にオブジェクトが検出できる。
【０００６】
さらに非特許文献２には、上記処理結果によりオブジェクトがあると判定した領域に対して、各ステージでの出力値の総和を「オブジェクトらしさ」として求めて閾値と比較することで、誤ってオブジェクトとして判定したケースを誤検出として削減する方式での処理（この処理を、『オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理』という）が記載されている。
【０００７】
また、非特許文献３には、非特許文献２のアイディアを拡張し、検出位置周辺での顔らしさも含めて加重平均を求めて閾値と比較して誤検出を低減する方式での処理（この処理を『検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理』という）が記載されている。また非特許文献３には、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理に比べて高い性能を示すことが記載されている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】P. Viola, M. Jones, ”Rapid Object Detection using a Boosted Cascade of Simple Features,” Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (2001).
【非特許文献２】P. Viola他：「Robust Real-Time Face Detection」, IJCV2004.
【非特許文献３】東工大・高塚他：「顔らしさ分布を利用した顔検出手法」、情処CVIM研究会(2006/9).
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本願発明者は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理や、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理の製品への採用について検討したところ、以下の課題が見いだされた。
【００１０】
オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理や、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、顔等のオブジェクト検出における誤検出を削減することができるものの、実際にはオブジェクトが存在するにもかかわらずそれを検出できないケース（「オブジェクト検出漏れ」という）の割合が急増することがある。これについて本願発明者が検討したところ、上記オブジェクト検出漏れの割合が急増するのは、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく際の「位置ずらし幅」の割合に起因することが見いだされた。本願発明者の実験によれば、例えばオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、ずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、ずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。
【００１１】
本発明の目的は、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減するための技術を提供することにある。
【００１２】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１３】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１４】
すなわち、本発明にかかるオブジェクト検出方法は、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを含む。さらに、上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させる。
【発明の効果】
【００１５】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１６】
すなわち、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減するための技術を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明にかかるオブジェクト検出装置における主要部の構成例ブロック図である。
【図２】上記オブジェクト検出装置における主要処理の例を示す説明図である。
【図３】上記オブジェクト検出装置における主要処理の例を示す説明図である。
【図４】上記オブジェクト検出装置でのオブジェクト判別で用いる特徴パターンの一例を示す説明図である。
【図５】上記オブジェクト検出装置での処理の手順を示すフローチャートである。
【図６】上記オブジェクト検出装置全体の構成例を示すブロック図である。
【図７】上記オブジェクト検出装置の別の構成例を示すブロック図である。
【図８】図７に示されるオブジェクト検出装置にけるパラメータ設定画面の例を示す説明図である。
【発明を実施するための形態】
【００１８】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１９】
〔１〕本発明の代表的な実施の形態に係るオブジェクト検出方法は、オブジェクト検出装置（９００）で実施される。そして本発明の代表的な実施の形態に係るオブジェクト検出方法は、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを含む。さらに、上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部（１０５）により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させる。
【００２０】
上記のように、オブジェクト検出漏れの割合が急増するのは、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく際の「位置ずらし幅」の割合に起因している。例えばオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、上記小領域を切り出す際のずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、上記小領域を切り出す際のずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。
【００２１】
そこで、発明の代表的な実施の形態に係るオブジェクト検出方法では、上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部（１０５）により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させる。このように第１誤検出低減処理と第２誤検出低減処理とを上記小領域を切り出す際のずらし幅に応じて選択的に実行させることによって、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができる。
【００２２】
〔２〕上記〔１〕において、上記第１誤検出低減処理には、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理が含まれる。上記第２誤検出低減処理には、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理が含まれる。このとき上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記誤検出低減方式切り替え部により上記第１誤検出低減処理が選択され、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、誤検出低減方式切り替え部により上記第２誤検出低減処理が選択される。
【００２３】
上記のようにオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、上記小領域を切り出す際のずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、上記小領域を切り出す際のずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。
【００２４】
そこで、入力画像から小領域を切り出す際のずらし幅が大きい場合には、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を選択的に実行し、入力画像から小領域を切り出す際のずらし幅が小さい場合には、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理を選択的に実行する。このようにすることで、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができる。
【００２５】
〔３〕本発明の代表的な実施の形態に係るオブジェクト検出装置（９００）は、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを実行する。このようなオブジェクト検出装置において、上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを選択的に実行可能な誤差検出低減部（１０６）を設ける。さらに上記ブジェクト検出装置において、上記小領域を切り出す際のずらし幅に応じて、上記誤差検出低減部における上記第１誤検出低減処理と第２誤検出低減処理とを切り替え可能な誤検出低減方式切り替え部（１０５）を設ける。
【００２６】
上記のように、オブジェクト検出漏れの割合が急増するのは、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく際の「位置ずらし幅」の割合に起因している。このことから、上記誤検出低減方式切り替え部により、上記ブジェクト検出装置において、上記小領域を切り出す際のずらし幅に応じて、上記誤差検出低減部における上記第１誤検出低減処理と第２誤検出低減処理とを切り替えることによって、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができるようになる。
【００２７】
〔４〕上記第１誤検出低減処理は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理を含み、上記第２誤検出低減処理は、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を含む。このとき、上記誤検出低減方式切り替え部は、上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記第１誤検出低減処理を選択し、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、上記第２誤検出低減処理を選択するように構成することができる。
【００２８】
上記のようにオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、上記小領域を切り出す際のずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、上記小領域を切り出す際のずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。
このため、上記誤検出低減方式切り替え部により、上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記第１誤検出低減処理を選択し、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、上記第２誤検出低減処理を選択することによって、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができるようになる。
【００２９】
〔５〕上記〔４〕において、外部から与えられた情報に従って、上記誤検出低減方式切り替え部における処理のパラメータ制御を行う設定制御部（１０２０）を設けることができる。
【００３０】
上記設定制御部によって、上記誤検出低減方式切り替え部における処理のパラメータ制御を行うことができるので、オブジェクト検出装置において、安定に誤検出を低減しつつ、誤検出低減の程度とオブジェクト検出漏れの程度を制御することが可能となる。
【００３１】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００３２】
＜実施の形態１＞
図６には、本発明にかかるオブジェクト検出装置の構成例が示される。
【００３３】
図６に示されるオブジェクト検出装置９００は、特に制限されないが、例えば監視カメラやデジタルカメラなどの撮像装置９０１によって得られた画像から対象となるオブジェクトを検出する機能を有する。オブジェクト検出装置９００の検出結果（オブジェクト）は、出力装置９０８に出力される。この出力装置９０８としては、例えばディスプレイや、プリンタ、パーソナルコンピュータなどを挙げることができる。ディスプレイによれば、オブジェクト検出装置９００の検出結果を表示することができる。プリンタによれば、オブジェクト検出装置９００の検出結果を印刷することができる。パーソナルコンピュータによれば、オブジェクト検出装置９００の検出結果を処理したり、適宜の記憶媒体に記録することができる。
【００３４】
上記オブジェクト検出装置９００は、特に制限されないが、画像入力部９０９、画像メモリ９０２、ＣＰＵ（Central Processing Unit）９０３、ＲＡＭ（Random Access Memory）９０４、ＲＯＭ（Read Only Memory）９０５、検出結果記録部９０６、及びインタフェース（Ｉ／Ｆ）９０７を含む。そしてオブジェクト検出装置９００は、公知の半導体集積回路製造技術により、例えば単結晶シリコン基板などの一つの半導体基板に形成される。
【００３５】
画像入力部９０９、画像メモリ９０２、ＣＰＵ９０３、ＲＡＭ９０４、ＲＯＭ９０５、検出結果記録部９０６、及びインタフェース（Ｉ／Ｆ）９０７は、バス９１０によって、互いに信号のやり取りが可能に結合されている。画像入力部９０９は、上記撮影部９０１によって得られた画像をオブジェクト検出装置９００の内部に取り込む。画像メモリ９０２は、上記画像入力部９０９を介して取り込まれた画像を記憶する。ＣＰＵ９０３は、所定のプログラムを実行することにより、上記画像メモリ９０２内の画像を取り込んでオブジェクト検出処理を実行したり、オブジェクト検出装置９００における各部の動作を制御する。ＲＡＭ９０４は、上記ＣＰＵ９０３でのオブジェクト検出処理の作業領域などに利用される。ＲＯＭ９０５には、上記ＣＰＵ９０３で実行されるプログラムや、上記ＣＰＵ９０３でのオブジェクト検出処理で参照される各種データが格納される。検出結果記録部９０６には、上記ＣＰＵ９０３でのオブジェクト検出処理結果が記録される。インタフェース９０７は、上記検出結果記録部９０６内のオブジェクト検出処理結を所定のデータ形式に変換してから上記出力装置９０８へ出力する。
【００３６】
図１には、上記ＣＰＵ９０３が所定のプログラムを実行することにより機能的に実現されるオブジェクト検出部の構成例が示される。
【００３７】
上記ＣＰＵ９０３によって機能的に実現されるオブジェクト検出部は、図１に示されるように、特徴評価部１０２、オブジェクト判定部１０４、誤検出低減方式切り替え部１０５、及び誤検出低減部１０６を含む。
【００３８】
次に、オブジェクト検出処理を詳細に説明する。
【００３９】
オブジェクト検出部にて検出するオブジェクトとしては、人、車、標識等、その他のオブジェクトを対象とすることができるが、ここでは、説明の便宜上、人物の正面顔を検出対象とする。
【００４０】
画像入力部９０９は、カメラなどの撮像モジュールや、あらかじめ記録された画像の再生画像等を入力画像２００として受信し、顔か非顔かの判別処理を行う画像領域２０３を特徴評価部１０２に出力する。特徴パターンデータベース１１０には顔か非顔かを判別するための特徴パターンが格納されている。特徴パターンデータベース１１０は、特に制限されないが、図６におけるＲＯＭ９０５内に形成することができる。特徴評価部１０２は、入力された画像領域２０３に対して特徴パターンデータベース１１０に定義された複数の特徴パターンに対する特徴量を算出する。特徴量格納部１０３では、特徴評価部１０２から得られた特徴量を格納する。特徴量格納部１０３は、特に制限されないが、図６におけるＲＡＭ９０４に形成することができる。オブジェクト判別部１０４では、特徴評価部１０２で得られた複数の特徴量の値を元に、顔か非顔かの判別処理を行う。その結果、顔と判別したら誤検出低減部１０６に結果を出力する。誤検出低減部１０６は、上記オブジェクト判別部１０４での判別結果を取り込んで、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理と、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理とを選択的に実行することができる。誤検出低減方式切り替え部１０５では画像入力部９０９から得られた入力画像から小領域を切り出す際の「位置ずらし幅」の割合に基づいて、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理と、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理とのいずれを使用するかを誤検出低減部１０６に指示する。誤検出低減部１０６は、誤検出低減方式切り替え部１０５からの指示に応じた誤検出低減処理を行う。
【００４１】
次に、図１に示される画像入力部９０９の動作の詳細について図２を参照しながら説明する。
【００４２】
画像入力部９０９を介して取り込まれた入力画像２００に対して、検出すべき顔２０１、２０２は任意の位置に任意の大きさで存在する。これに対応するため画像入力部９０９では、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく。例えば入力画像２００上の複数位置で複数の大きさの画像領域（オブジェクト判定の対象となる小領域）２０３を例えばラスタスキャン状に切り出していく。切り出された画像領域は、特徴評価部１０２に伝達される。この特徴評価部１０２以降では、ある1枚の入力画像２００中の複数の画像領域に対して顔か非顔かの判別処理が行われることになる。これによって、入力画像２００中の任意の場所に存在する任意の大きさの顔を検出することができる。
【００４３】
図１の特徴パターンデータベース１１０について説明する。
【００４４】
特徴パターンデータベース１１０には顔判別に用いる複数の画像特徴パラメータが定義される。図３には、定義される画像特徴パターンの一例が示される。図３に示される特徴パターンは、黒矩形３０１と白矩形３０２から構成されており、この矩形内の画素値の総和の差分によって特徴量をもとめる。図４には、この特徴パラメータを定義した顔判別パラメータテーブル４００の一例が示される。顔と非顔を判別するためＮ（Ｎは、正の整数）個の画像特徴ｈｉ（ｉ∈Ｎ）が定義されており、各特徴に対して顔判定を行う際の重みα、右斜め横顔判定を行う際の重みβ、左斜め横顔判定を行う際の重みγがそれぞれ定義されている。
【００４５】
図１の特徴評価部１０２の動作の詳細について説明する。
【００４６】
特徴評価部１０２では、入力された画像領域２０３に対する複数の特徴量を算出する。特徴パターンデータベース１１０内に定義された画像特徴パターンｈｉに対して入力された画像領域２０３をベクトルＩとすると、得られる特徴量ｈｉ(Ｉ)は、次式（数１）で求めることができる。
【００４７】
【数１】
【００４８】
ＲｅｃｔやＴｈｒｅは、特徴パラメータとされる。特徴評価部１０２では、上記の演算によってＮ個の特徴量を求める。求められた特徴量は、特徴量格納部１０３に格納される。
【００４９】
尚、特徴評価部１０２で評価する特徴量として矩形特徴を用いた例を示したが、検出対象とするオブジェクトに応じて、ＥＯＨ（Edge of Orientation Histograms）やＨＯＧ（Histogram of Orientation Gradients）などの異なる特徴量を用いても良い。
【００５０】
図１のオブジェクト判別部１０４の動作の詳細について説明する。
【００５１】
オブジェクト判別部１０４では、各ステージで特徴評価部１０２にて得られた各特徴量ｈｉ(Ｉ)を元に顔尤度を算出して画像領域２０３が顔か非顔かの判別を行う。顔判別の例として、「ＡｄａＢｏｏｓｔアルゴリズムによる識別方式を挙げることができる。この判別方式では、図４の顔判別パラメータテーブル４００に記述された各特徴ｈｉに対する顔判別の重みαｉを用いた線形和から、そのステージsでの顔尤度Ｆs（Ｉ）を次式（数２）により算出する。
【００５２】
【数２】
【００５３】
これより、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理による顔尤度F(A)(I)は、次式（数３）により算出される。
【００５４】
【数３】
【００５５】
また、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理による顔尤度F(B)(I)は、次式（数４）により算出される。
【００５６】
【数４】
【００５７】
ただしCは検出位置隣接周辺を示す。顔尤度Ｆ(A)（Ｉ）,Ｆ(B)（Ｉ）が大きいほど顔らしいことを示しており、顔尤度Ｆが閾値ＴｈＦ以上であれば顔、未満であれば非顔と判別する。オブジェクト判別部１０４では、判別結果が顔であれば、その結果を誤検出低減部１０６に出力する。誤検出低減方式切り替え部１０５では画像入力部９０９から得られた入力画像から小領域を切り出す際の「位置ずらし幅」の割合に基づいて、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理と、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理とのいずれを使用するかを誤検出低減部１０６に指示する。誤検出低減部１０６では誤検出低減方式切り替え部１０５からの指示に応じて、誤検出低減処理として顔尤度Ｆ(A)（Ｉ）又はＦ(B)（Ｉ）を算出し、閾値処理を行って最終的なオブジェクト（ここでは顔）の有無を判別する。
【００５８】
次に、図１の誤検出低減方式切り替え部１０５の動作の詳細について図５を参照しながら説明する。
【００５９】
図５には、誤検出低減方式切り替え部１０５において行われる処理のフローチャートが示される。
【００６０】
ステップ５０１では、画像入力部９０９より、小領域切り出し「位置ずらし幅」Ｗと小領域サイズＫを取得する。
【００６１】
ステップ５０２では、次式（数５）が成立するか否かの判別が行われる。Ｔｓｗは、この判別のために設定された閾値である。上記ステップ５０２の判別において、成立する（Ｙｅｓ）と判断された場合には、ステップ５０３に遷移し、成立しない（Ｎｏ）と判断された場合には、ステップ５０４に遷移する。ステップ５０３に遷移したならば、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理の実行を誤検出低減部１０６に指示する。ステップ５０４に遷移したならば、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理の実行を誤検出低減部１０６に指示する。
【００６２】
【数５】
【００６３】
誤検出低減部１０６では、上記誤検出低減方式切り替え部１０５からの指示に対応する処理が実行される。このような処理が行われることで、ジェクト検出における、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができる。また、特許文献１に開示されているようなオブジェクト検出高速化方式で使用されるテクニックである「位置ずらし幅」の割合を適応的に変化させるケースでも、誤検出低減を安定に行うことができる。
【００６４】
＜実施の形態２＞
図７には、上記オブジェクト検出装置９００の別の構成例が示される。図７に示されるオブジェクト検出装置９００が、図５に示されるのと大きく相違するのは、設定制御部１０２０が設けられている点である。また、オブジェクト検出装置９００の外部には入力装置１０１０が設けられている。入力装置１０１０を介して、利用用途や環境に応じたパラメータをオブジェクト検出装置９００に入力することができ、この入力情報は、インタフェース９０７を介して設定制御部１０２０に伝達される。
【００６５】
上記の構成において、入力装置１０１０を介して、誤検出低減方式切り替え部１０５における誤検出低減方式切り替え処理におけるパラメータ調整の命令を入力することができる。本命令を受け取った設定制御部１０２０は、誤検出低減方式切り替え部１０５における誤検出低減方式の切り替え処理のオン／オフ制御や感度の調整などのパラメータ制御を行う。これによりオブジェクト検出装置９００において、安定に誤検出を低減しつつ、誤検出低減の程度とオブジェクト検出漏れの程度を制御することが可能となる。
【００６６】
図８には、上記入力装置１０１０で誤検出低減処理と誤検出低減方式切り替えにおけるパラメータ設定を行うためのパラメータ設定画面が示される。
【００６７】
図８に示されるパラメータ設定画面１１００は、誤検出低減パラメータ１１０１と、誤検出低減方式切り替えパラメータ１１０２によって構成される。誤検出低減パラメータ１１０１で誤検出低減部１０６における誤検出低減の感度を制御する。誤検出低減の感度を例えば「レベル：高」に設定すると、前記顔尤度Ｆ(A)（Ｉ）,Ｆ(B)（Ｉ）に対する閾値ＴＦを厳しくすることで、誤検出判定を厳しくする。
【００６８】
誤検出低減方式切り替えパラメータ１１０２では誤検出低減方式切り替えレベル（検出サイズに対する切り出し位置のずらし幅の比率に対する閾値Tsw）をパラメータとして設定する。こうして設定した各項目のパラメータ情報は、設定制御部１０２０に送られ、設定制御部１０２０においてＣＰＵ９０３でのオブジェクト検出処理に用いられる。
【００６９】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【００７０】
例えば、上記の実施形態では、ＣＰＵ９０３が所定のプログラムを実行することによりオブジェクト検出部を機能的に実現したが、このオブジェクト検出部をハードウェアによって形成しても良いし、ソフトウェアとハードウェアの双方で構成しも良い。
【００７１】
上記では誤検出低減方式として非特許文献１および２に記載されている処理方式、すなわち、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理や、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を選択的に実行する場合について説明したが、これに限定されない。すなわち、他の誤検出低減方式であっても、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出す際のずらし幅の割合でオブジェクト検出漏れの性質が変化するならば、誤検出低減部１０６に実装して切り替え対象とすることができる。
【符号の説明】
【００７２】
１００ オブジェクト検出部
１０２ 特徴評価部
１０３ 特徴量格納部
１０４ オブジェクト判別部
１０５ 変化オブジェクト判別部
１０６ 判別結果出力部
１１０ 特徴パターンデータベース
２００ 入力画像
２０１、２０２ 顔
２０３ 画像領域
３０１、３０２ 矩形特徴
４００ 顔判別パラメータテーブル
５０１ ステップ
９０１ 撮像部
９０２ 画像メモリ
９０３ ＣＰＵ
９０４ ＲＡＭ
９０５ ＲＯＭ
９０６ 計測結果記録部
９０７ インタフェース
９０８ 出力装置
９０９ 画像入力部
９１０ バス
１０１０ 入力装置
１０２０ 設定制御部
１１００ パラメータ設定画面
１１０１ 誤検出低減レベルパラメータ
１１０２ 誤検出低減方式切り替えレベルパラメータ
【技術分野】
【０００１】
本発明は、入力された画像から顔などの特定のオブジェクトを検出するための技術に関する。
【背景技術】
【０００２】
入力された画像から顔などの特定オブジェクトを検出する方法として、例えば非特許文献１が知られている。非特許文献１には、顔の解析に効率的かつ効果的なハールと呼ばれる画像の特徴の組、アダブースト(AdaBoost)に基づく特徴選択プロセス、学習及び検出用のカスケード式アーキテクチャの３つの新しい方式による高精度なオブジェクト検出手法が記載されている。
【０００３】
非特許文献１におけるオブジェクト検出では、複数のステージで構成されたオブジェクト判別器を用いる。１回の判別処理では、入力画像から切り出された１つの小領域に対し、このオブジェクト判別器によりその領域が検出対象とするオブジェクトであるかないかを判別する。
【０００４】
各ステージで、ハール特徴に応じた特徴量の総和をステージ毎の出力値として求め、閾値と比較して、オブジェクトであるかどうかの判別を行う。ある閾値以下であればオブジェクトではないと判別して判別処理を打ち切る。一方、閾値以上であればステージクリアと判定して、次のステージによる判別処理へと移行する。オブジェクト判別器内の全てのステージの判別処理をクリアした場合、オブジェクトがあると判定する。
【０００５】
以上の処理を、入力画像から切り出される全ての小領域に対して繰り返すことで、高精度にオブジェクトが検出できる。
【０００６】
さらに非特許文献２には、上記処理結果によりオブジェクトがあると判定した領域に対して、各ステージでの出力値の総和を「オブジェクトらしさ」として求めて閾値と比較することで、誤ってオブジェクトとして判定したケースを誤検出として削減する方式での処理（この処理を、『オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理』という）が記載されている。
【０００７】
また、非特許文献３には、非特許文献２のアイディアを拡張し、検出位置周辺での顔らしさも含めて加重平均を求めて閾値と比較して誤検出を低減する方式での処理（この処理を『検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理』という）が記載されている。また非特許文献３には、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理に比べて高い性能を示すことが記載されている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】P. Viola, M. Jones, ”Rapid Object Detection using a Boosted Cascade of Simple Features,” Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (2001).
【非特許文献２】P. Viola他：「Robust Real-Time Face Detection」, IJCV2004.
【非特許文献３】東工大・高塚他：「顔らしさ分布を利用した顔検出手法」、情処CVIM研究会(2006/9).
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本願発明者は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理や、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理の製品への採用について検討したところ、以下の課題が見いだされた。
【００１０】
オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理や、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、顔等のオブジェクト検出における誤検出を削減することができるものの、実際にはオブジェクトが存在するにもかかわらずそれを検出できないケース（「オブジェクト検出漏れ」という）の割合が急増することがある。これについて本願発明者が検討したところ、上記オブジェクト検出漏れの割合が急増するのは、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく際の「位置ずらし幅」の割合に起因することが見いだされた。本願発明者の実験によれば、例えばオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、ずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、ずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。
【００１１】
本発明の目的は、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減するための技術を提供することにある。
【００１２】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１３】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１４】
すなわち、本発明にかかるオブジェクト検出方法は、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを含む。さらに、上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させる。
【発明の効果】
【００１５】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１６】
すなわち、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減するための技術を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明にかかるオブジェクト検出装置における主要部の構成例ブロック図である。
【図２】上記オブジェクト検出装置における主要処理の例を示す説明図である。
【図３】上記オブジェクト検出装置における主要処理の例を示す説明図である。
【図４】上記オブジェクト検出装置でのオブジェクト判別で用いる特徴パターンの一例を示す説明図である。
【図５】上記オブジェクト検出装置での処理の手順を示すフローチャートである。
【図６】上記オブジェクト検出装置全体の構成例を示すブロック図である。
【図７】上記オブジェクト検出装置の別の構成例を示すブロック図である。
【図８】図７に示されるオブジェクト検出装置にけるパラメータ設定画面の例を示す説明図である。
【発明を実施するための形態】
【００１８】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１９】
〔１〕本発明の代表的な実施の形態に係るオブジェクト検出方法は、オブジェクト検出装置（９００）で実施される。そして本発明の代表的な実施の形態に係るオブジェクト検出方法は、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを含む。さらに、上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部（１０５）により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させる。
【００２０】
上記のように、オブジェクト検出漏れの割合が急増するのは、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく際の「位置ずらし幅」の割合に起因している。例えばオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、上記小領域を切り出す際のずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、上記小領域を切り出す際のずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。
【００２１】
そこで、発明の代表的な実施の形態に係るオブジェクト検出方法では、上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部（１０５）により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させる。このように第１誤検出低減処理と第２誤検出低減処理とを上記小領域を切り出す際のずらし幅に応じて選択的に実行させることによって、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができる。
【００２２】
〔２〕上記〔１〕において、上記第１誤検出低減処理には、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理が含まれる。上記第２誤検出低減処理には、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理が含まれる。このとき上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記誤検出低減方式切り替え部により上記第１誤検出低減処理が選択され、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、誤検出低減方式切り替え部により上記第２誤検出低減処理が選択される。
【００２３】
上記のようにオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、上記小領域を切り出す際のずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、上記小領域を切り出す際のずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。
【００２４】
そこで、入力画像から小領域を切り出す際のずらし幅が大きい場合には、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を選択的に実行し、入力画像から小領域を切り出す際のずらし幅が小さい場合には、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理を選択的に実行する。このようにすることで、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができる。
【００２５】
〔３〕本発明の代表的な実施の形態に係るオブジェクト検出装置（９００）は、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを実行する。このようなオブジェクト検出装置において、上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを選択的に実行可能な誤差検出低減部（１０６）を設ける。さらに上記ブジェクト検出装置において、上記小領域を切り出す際のずらし幅に応じて、上記誤差検出低減部における上記第１誤検出低減処理と第２誤検出低減処理とを切り替え可能な誤検出低減方式切り替え部（１０５）を設ける。
【００２６】
上記のように、オブジェクト検出漏れの割合が急増するのは、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく際の「位置ずらし幅」の割合に起因している。このことから、上記誤検出低減方式切り替え部により、上記ブジェクト検出装置において、上記小領域を切り出す際のずらし幅に応じて、上記誤差検出低減部における上記第１誤検出低減処理と第２誤検出低減処理とを切り替えることによって、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができるようになる。
【００２７】
〔４〕上記第１誤検出低減処理は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理を含み、上記第２誤検出低減処理は、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を含む。このとき、上記誤検出低減方式切り替え部は、上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記第１誤検出低減処理を選択し、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、上記第２誤検出低減処理を選択するように構成することができる。
【００２８】
上記のようにオブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理では、上記小領域を切り出す際のずらし幅が大きい場合のオブジェクト検出漏れの割合が急激に増加し、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理においては、上記小領域を切り出す際のずらし幅が小さい場合のオブジェクト検出漏れの割合が急激に増加することが確認されている。
このため、上記誤検出低減方式切り替え部により、上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記第１誤検出低減処理を選択し、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、上記第２誤検出低減処理を選択することによって、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができるようになる。
【００２９】
〔５〕上記〔４〕において、外部から与えられた情報に従って、上記誤検出低減方式切り替え部における処理のパラメータ制御を行う設定制御部（１０２０）を設けることができる。
【００３０】
上記設定制御部によって、上記誤検出低減方式切り替え部における処理のパラメータ制御を行うことができるので、オブジェクト検出装置において、安定に誤検出を低減しつつ、誤検出低減の程度とオブジェクト検出漏れの程度を制御することが可能となる。
【００３１】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００３２】
＜実施の形態１＞
図６には、本発明にかかるオブジェクト検出装置の構成例が示される。
【００３３】
図６に示されるオブジェクト検出装置９００は、特に制限されないが、例えば監視カメラやデジタルカメラなどの撮像装置９０１によって得られた画像から対象となるオブジェクトを検出する機能を有する。オブジェクト検出装置９００の検出結果（オブジェクト）は、出力装置９０８に出力される。この出力装置９０８としては、例えばディスプレイや、プリンタ、パーソナルコンピュータなどを挙げることができる。ディスプレイによれば、オブジェクト検出装置９００の検出結果を表示することができる。プリンタによれば、オブジェクト検出装置９００の検出結果を印刷することができる。パーソナルコンピュータによれば、オブジェクト検出装置９００の検出結果を処理したり、適宜の記憶媒体に記録することができる。
【００３４】
上記オブジェクト検出装置９００は、特に制限されないが、画像入力部９０９、画像メモリ９０２、ＣＰＵ（Central Processing Unit）９０３、ＲＡＭ（Random Access Memory）９０４、ＲＯＭ（Read Only Memory）９０５、検出結果記録部９０６、及びインタフェース（Ｉ／Ｆ）９０７を含む。そしてオブジェクト検出装置９００は、公知の半導体集積回路製造技術により、例えば単結晶シリコン基板などの一つの半導体基板に形成される。
【００３５】
画像入力部９０９、画像メモリ９０２、ＣＰＵ９０３、ＲＡＭ９０４、ＲＯＭ９０５、検出結果記録部９０６、及びインタフェース（Ｉ／Ｆ）９０７は、バス９１０によって、互いに信号のやり取りが可能に結合されている。画像入力部９０９は、上記撮影部９０１によって得られた画像をオブジェクト検出装置９００の内部に取り込む。画像メモリ９０２は、上記画像入力部９０９を介して取り込まれた画像を記憶する。ＣＰＵ９０３は、所定のプログラムを実行することにより、上記画像メモリ９０２内の画像を取り込んでオブジェクト検出処理を実行したり、オブジェクト検出装置９００における各部の動作を制御する。ＲＡＭ９０４は、上記ＣＰＵ９０３でのオブジェクト検出処理の作業領域などに利用される。ＲＯＭ９０５には、上記ＣＰＵ９０３で実行されるプログラムや、上記ＣＰＵ９０３でのオブジェクト検出処理で参照される各種データが格納される。検出結果記録部９０６には、上記ＣＰＵ９０３でのオブジェクト検出処理結果が記録される。インタフェース９０７は、上記検出結果記録部９０６内のオブジェクト検出処理結を所定のデータ形式に変換してから上記出力装置９０８へ出力する。
【００３６】
図１には、上記ＣＰＵ９０３が所定のプログラムを実行することにより機能的に実現されるオブジェクト検出部の構成例が示される。
【００３７】
上記ＣＰＵ９０３によって機能的に実現されるオブジェクト検出部は、図１に示されるように、特徴評価部１０２、オブジェクト判定部１０４、誤検出低減方式切り替え部１０５、及び誤検出低減部１０６を含む。
【００３８】
次に、オブジェクト検出処理を詳細に説明する。
【００３９】
オブジェクト検出部にて検出するオブジェクトとしては、人、車、標識等、その他のオブジェクトを対象とすることができるが、ここでは、説明の便宜上、人物の正面顔を検出対象とする。
【００４０】
画像入力部９０９は、カメラなどの撮像モジュールや、あらかじめ記録された画像の再生画像等を入力画像２００として受信し、顔か非顔かの判別処理を行う画像領域２０３を特徴評価部１０２に出力する。特徴パターンデータベース１１０には顔か非顔かを判別するための特徴パターンが格納されている。特徴パターンデータベース１１０は、特に制限されないが、図６におけるＲＯＭ９０５内に形成することができる。特徴評価部１０２は、入力された画像領域２０３に対して特徴パターンデータベース１１０に定義された複数の特徴パターンに対する特徴量を算出する。特徴量格納部１０３では、特徴評価部１０２から得られた特徴量を格納する。特徴量格納部１０３は、特に制限されないが、図６におけるＲＡＭ９０４に形成することができる。オブジェクト判別部１０４では、特徴評価部１０２で得られた複数の特徴量の値を元に、顔か非顔かの判別処理を行う。その結果、顔と判別したら誤検出低減部１０６に結果を出力する。誤検出低減部１０６は、上記オブジェクト判別部１０４での判別結果を取り込んで、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理と、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理とを選択的に実行することができる。誤検出低減方式切り替え部１０５では画像入力部９０９から得られた入力画像から小領域を切り出す際の「位置ずらし幅」の割合に基づいて、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理と、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理とのいずれを使用するかを誤検出低減部１０６に指示する。誤検出低減部１０６は、誤検出低減方式切り替え部１０５からの指示に応じた誤検出低減処理を行う。
【００４１】
次に、図１に示される画像入力部９０９の動作の詳細について図２を参照しながら説明する。
【００４２】
画像入力部９０９を介して取り込まれた入力画像２００に対して、検出すべき顔２０１、２０２は任意の位置に任意の大きさで存在する。これに対応するため画像入力部９０９では、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく。例えば入力画像２００上の複数位置で複数の大きさの画像領域（オブジェクト判定の対象となる小領域）２０３を例えばラスタスキャン状に切り出していく。切り出された画像領域は、特徴評価部１０２に伝達される。この特徴評価部１０２以降では、ある1枚の入力画像２００中の複数の画像領域に対して顔か非顔かの判別処理が行われることになる。これによって、入力画像２００中の任意の場所に存在する任意の大きさの顔を検出することができる。
【００４３】
図１の特徴パターンデータベース１１０について説明する。
【００４４】
特徴パターンデータベース１１０には顔判別に用いる複数の画像特徴パラメータが定義される。図３には、定義される画像特徴パターンの一例が示される。図３に示される特徴パターンは、黒矩形３０１と白矩形３０２から構成されており、この矩形内の画素値の総和の差分によって特徴量をもとめる。図４には、この特徴パラメータを定義した顔判別パラメータテーブル４００の一例が示される。顔と非顔を判別するためＮ（Ｎは、正の整数）個の画像特徴ｈｉ（ｉ∈Ｎ）が定義されており、各特徴に対して顔判定を行う際の重みα、右斜め横顔判定を行う際の重みβ、左斜め横顔判定を行う際の重みγがそれぞれ定義されている。
【００４５】
図１の特徴評価部１０２の動作の詳細について説明する。
【００４６】
特徴評価部１０２では、入力された画像領域２０３に対する複数の特徴量を算出する。特徴パターンデータベース１１０内に定義された画像特徴パターンｈｉに対して入力された画像領域２０３をベクトルＩとすると、得られる特徴量ｈｉ(Ｉ)は、次式（数１）で求めることができる。
【００４７】
【数１】
【００４８】
ＲｅｃｔやＴｈｒｅは、特徴パラメータとされる。特徴評価部１０２では、上記の演算によってＮ個の特徴量を求める。求められた特徴量は、特徴量格納部１０３に格納される。
【００４９】
尚、特徴評価部１０２で評価する特徴量として矩形特徴を用いた例を示したが、検出対象とするオブジェクトに応じて、ＥＯＨ（Edge of Orientation Histograms）やＨＯＧ（Histogram of Orientation Gradients）などの異なる特徴量を用いても良い。
【００５０】
図１のオブジェクト判別部１０４の動作の詳細について説明する。
【００５１】
オブジェクト判別部１０４では、各ステージで特徴評価部１０２にて得られた各特徴量ｈｉ(Ｉ)を元に顔尤度を算出して画像領域２０３が顔か非顔かの判別を行う。顔判別の例として、「ＡｄａＢｏｏｓｔアルゴリズムによる識別方式を挙げることができる。この判別方式では、図４の顔判別パラメータテーブル４００に記述された各特徴ｈｉに対する顔判別の重みαｉを用いた線形和から、そのステージsでの顔尤度Ｆs（Ｉ）を次式（数２）により算出する。
【００５２】
【数２】
【００５３】
これより、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理による顔尤度F(A)(I)は、次式（数３）により算出される。
【００５４】
【数３】
【００５５】
また、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理による顔尤度F(B)(I)は、次式（数４）により算出される。
【００５６】
【数４】
【００５７】
ただしCは検出位置隣接周辺を示す。顔尤度Ｆ(A)（Ｉ）,Ｆ(B)（Ｉ）が大きいほど顔らしいことを示しており、顔尤度Ｆが閾値ＴｈＦ以上であれば顔、未満であれば非顔と判別する。オブジェクト判別部１０４では、判別結果が顔であれば、その結果を誤検出低減部１０６に出力する。誤検出低減方式切り替え部１０５では画像入力部９０９から得られた入力画像から小領域を切り出す際の「位置ずらし幅」の割合に基づいて、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理と、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理とのいずれを使用するかを誤検出低減部１０６に指示する。誤検出低減部１０６では誤検出低減方式切り替え部１０５からの指示に応じて、誤検出低減処理として顔尤度Ｆ(A)（Ｉ）又はＦ(B)（Ｉ）を算出し、閾値処理を行って最終的なオブジェクト（ここでは顔）の有無を判別する。
【００５８】
次に、図１の誤検出低減方式切り替え部１０５の動作の詳細について図５を参照しながら説明する。
【００５９】
図５には、誤検出低減方式切り替え部１０５において行われる処理のフローチャートが示される。
【００６０】
ステップ５０１では、画像入力部９０９より、小領域切り出し「位置ずらし幅」Ｗと小領域サイズＫを取得する。
【００６１】
ステップ５０２では、次式（数５）が成立するか否かの判別が行われる。Ｔｓｗは、この判別のために設定された閾値である。上記ステップ５０２の判別において、成立する（Ｙｅｓ）と判断された場合には、ステップ５０３に遷移し、成立しない（Ｎｏ）と判断された場合には、ステップ５０４に遷移する。ステップ５０３に遷移したならば、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理の実行を誤検出低減部１０６に指示する。ステップ５０４に遷移したならば、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理の実行を誤検出低減部１０６に指示する。
【００６２】
【数５】
【００６３】
誤検出低減部１０６では、上記誤検出低減方式切り替え部１０５からの指示に対応する処理が実行される。このような処理が行われることで、ジェクト検出における、オブジェクト検出漏れの割合を急増させることなく、オブジェクトの誤検出を低減することができる。また、特許文献１に開示されているようなオブジェクト検出高速化方式で使用されるテクニックである「位置ずらし幅」の割合を適応的に変化させるケースでも、誤検出低減を安定に行うことができる。
【００６４】
＜実施の形態２＞
図７には、上記オブジェクト検出装置９００の別の構成例が示される。図７に示されるオブジェクト検出装置９００が、図５に示されるのと大きく相違するのは、設定制御部１０２０が設けられている点である。また、オブジェクト検出装置９００の外部には入力装置１０１０が設けられている。入力装置１０１０を介して、利用用途や環境に応じたパラメータをオブジェクト検出装置９００に入力することができ、この入力情報は、インタフェース９０７を介して設定制御部１０２０に伝達される。
【００６５】
上記の構成において、入力装置１０１０を介して、誤検出低減方式切り替え部１０５における誤検出低減方式切り替え処理におけるパラメータ調整の命令を入力することができる。本命令を受け取った設定制御部１０２０は、誤検出低減方式切り替え部１０５における誤検出低減方式の切り替え処理のオン／オフ制御や感度の調整などのパラメータ制御を行う。これによりオブジェクト検出装置９００において、安定に誤検出を低減しつつ、誤検出低減の程度とオブジェクト検出漏れの程度を制御することが可能となる。
【００６６】
図８には、上記入力装置１０１０で誤検出低減処理と誤検出低減方式切り替えにおけるパラメータ設定を行うためのパラメータ設定画面が示される。
【００６７】
図８に示されるパラメータ設定画面１１００は、誤検出低減パラメータ１１０１と、誤検出低減方式切り替えパラメータ１１０２によって構成される。誤検出低減パラメータ１１０１で誤検出低減部１０６における誤検出低減の感度を制御する。誤検出低減の感度を例えば「レベル：高」に設定すると、前記顔尤度Ｆ(A)（Ｉ）,Ｆ(B)（Ｉ）に対する閾値ＴＦを厳しくすることで、誤検出判定を厳しくする。
【００６８】
誤検出低減方式切り替えパラメータ１１０２では誤検出低減方式切り替えレベル（検出サイズに対する切り出し位置のずらし幅の比率に対する閾値Tsw）をパラメータとして設定する。こうして設定した各項目のパラメータ情報は、設定制御部１０２０に送られ、設定制御部１０２０においてＣＰＵ９０３でのオブジェクト検出処理に用いられる。
【００６９】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【００７０】
例えば、上記の実施形態では、ＣＰＵ９０３が所定のプログラムを実行することによりオブジェクト検出部を機能的に実現したが、このオブジェクト検出部をハードウェアによって形成しても良いし、ソフトウェアとハードウェアの双方で構成しも良い。
【００７１】
上記では誤検出低減方式として非特許文献１および２に記載されている処理方式、すなわち、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理や、検出位置隣接周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を選択的に実行する場合について説明したが、これに限定されない。すなわち、他の誤検出低減方式であっても、入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出す際のずらし幅の割合でオブジェクト検出漏れの性質が変化するならば、誤検出低減部１０６に実装して切り替え対象とすることができる。
【符号の説明】
【００７２】
１００ オブジェクト検出部
１０２ 特徴評価部
１０３ 特徴量格納部
１０４ オブジェクト判別部
１０５ 変化オブジェクト判別部
１０６ 判別結果出力部
１１０ 特徴パターンデータベース
２００ 入力画像
２０１、２０２ 顔
２０３ 画像領域
３０１、３０２ 矩形特徴
４００ 顔判別パラメータテーブル
５０１ ステップ
９０１ 撮像部
９０２ 画像メモリ
９０３ ＣＰＵ
９０４ ＲＡＭ
９０５ ＲＯＭ
９０６ 計測結果記録部
９０７ インタフェース
９０８ 出力装置
９０９ 画像入力部
９１０ バス
１０１０ 入力装置
１０２０ 設定制御部
１１００ パラメータ設定画面
１１０１ 誤検出低減レベルパラメータ
１１０２ 誤検出低減方式切り替えレベルパラメータ
【特許請求の範囲】
【請求項１】
入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを、オブジェクト検出装置で実行するオブジェクト検出方法であって、
上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させることを特徴とするオブジェクト検出方法。
【請求項２】
上記第１誤検出低減処理には、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理が含まれ、
上記第２誤検出低減処理には、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理が含まれ、
上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記誤検出低減方式切り替え部により上記第１誤検出低減処理が選択され、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、誤検出低減方式切り替え部により上記第２誤検出低減処理が選択される請求項１記載のオブジェクト検出方法。
【請求項３】
入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを実行するオブジェクト検出装置であって、
上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを選択的に実行可能な誤差検出低減部と、
上記小領域を切り出す際のずらし幅に応じて、上記誤差検出低減部における上記第１誤検出低減処理と第２誤検出低減処理とを切り替え可能な誤検出低減方式切り替え部と、を含むことを特徴とするオブジェクト検出装置。
【請求項４】
上記第１誤検出低減処理は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理を含み、
上記第２誤検出低減処理は、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を含み、
上記誤検出低減方式切り替え部は、上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記第１誤検出低減処理を選択し、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、上記第２誤検出低減処理を選択する請求項３記載のオブジェクト検出装置。
【請求項５】
外部から与えられた情報に従って、上記誤検出低減方式切り替え部における処理のパラメータ制御を行う設定制御部を含む請求項４記載のオブジェクト検出装置。
【請求項１】
入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを、オブジェクト検出装置で実行するオブジェクト検出方法であって、
上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを、誤検出低減方式切り替え部により、上記小領域を切り出す際のずらし幅に応じて選択的に実行させることを特徴とするオブジェクト検出方法。
【請求項２】
上記第１誤検出低減処理には、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理が含まれ、
上記第２誤検出低減処理には、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理が含まれ、
上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記誤検出低減方式切り替え部により上記第１誤検出低減処理が選択され、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、誤検出低減方式切り替え部により上記第２誤検出低減処理が選択される請求項１記載のオブジェクト検出方法。
【請求項３】
入力画像からオブジェクト判定の対象となる小領域を所定のずらし幅でずらしながら切り出していく第１処理と、上記入力画像における上記小領域毎の特徴量を算出する第２処理と、上記特徴量の算出結果に基づいて上記小領域毎にオブジェクトか非オブジェクトかを判別する第３処理とを実行するオブジェクト検出装置であって、
上記第３処理におけるオブジェクト判定の誤りを低減するための第１誤検出低減処理と、上記第１誤検出低減処理とは異なる方式により、上記第３処理におけるオブジェクト判定の誤りを低減するための第２誤検出低減処理とを選択的に実行可能な誤差検出低減部と、
上記小領域を切り出す際のずらし幅に応じて、上記誤差検出低減部における上記第１誤検出低減処理と第２誤検出低減処理とを切り替え可能な誤検出低減方式切り替え部と、を含むことを特徴とするオブジェクト検出装置。
【請求項４】
上記第１誤検出低減処理は、オブジェクト検出位置のみの「オブジェクトらしさ」総和を使った誤検出低減処理を含み、
上記第２誤検出低減処理は、オブジェクト検出位置周辺での「オブジェクトらしさ」総和を使った誤検出低減処理を含み、
上記誤検出低減方式切り替え部は、上記入力画像から小領域を切り出す際の位置ずらし幅の割合が所定の閾値より大きい場合には、上記第１誤検出低減処理を選択し、入力画像から小領域を切り出す際の位置ずらし幅の割合が上記閾値より大きくない場合には、上記第２誤検出低減処理を選択する請求項３記載のオブジェクト検出装置。
【請求項５】
外部から与えられた情報に従って、上記誤検出低減方式切り替え部における処理のパラメータ制御を行う設定制御部を含む請求項４記載のオブジェクト検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１５９０９７（Ｐ２０１１−１５９０９７Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−２００８７（Ｐ２０１０−２００８７）
【出願日】平成２２年２月１日（２０１０．２．１）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年２月１日（２０１０．２．１）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]