顔検出方法
【課題】単独の検出器でも、隠れが生じている顔を高い検出率で検出することができる顔検出方法を提供する。
【解決手段】評価対象画像内に設定したＲＯＩ内に複数の選択領域を設定する。そして、ＲＯＩ内に画像が顔であるか否かを判定するための１つ以上の画素で構成される複数の特徴量領域を設定し、特徴量領域内の評価対象画像に対して所定の評価を行ってスコアを求める。そして、選択領域と特徴量領域との重なりの程度に応じてスコアを選択領域に按分し、これらの処理を複数の特徴量領域の全てにおいて実行する。その後、複数の特徴量領域において按分されたスコアを集計し、選択領域が顔であるか否かを判定し、複数の選択領域でそれぞれ顔であるか否かを判定した結果に応じてＲＯＩが顔であるか否かを判定する。
【解決手段】評価対象画像内に設定したＲＯＩ内に複数の選択領域を設定する。そして、ＲＯＩ内に画像が顔であるか否かを判定するための１つ以上の画素で構成される複数の特徴量領域を設定し、特徴量領域内の評価対象画像に対して所定の評価を行ってスコアを求める。そして、選択領域と特徴量領域との重なりの程度に応じてスコアを選択領域に按分し、これらの処理を複数の特徴量領域の全てにおいて実行する。その後、複数の特徴量領域において按分されたスコアを集計し、選択領域が顔であるか否かを判定し、複数の選択領域でそれぞれ顔であるか否かを判定した結果に応じてＲＯＩが顔であるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から顔を検出する顔検出方法に関する。
【背景技術】
【０００２】
特徴量を用いた統計量的学習により対象物を検出する装置として、例えば非特許文献１に記載されているものが知られている。非特許文献１に記載された対象物検出装置は、Ｈａａｒ−ｌｉｋｅ（ハーライク）特徴量とＢｏｏｓｔｉｎｇ（ブースティング）を用いた顔検出器であり、この顔検出器では、複数の強判別器を一列に連結したカスケード構造を採り、各強判別器は、顔画像に高い通過率を持ち、非顔画像を一定の値で排除する。各強判別器は、複数の弱判別器を有し、各弱判別器が特徴量に対するスコアを求め、そのスコアの合計が各強判別器における所定の閾値を超えるか否かによって、各強判別器が顔か非顔かの判定を行う。全ての強判別器の判定結果が真の場合即ち顔の場合にのみ顔と判定する。各弱判別器は、所定のサイズの入力画像から特徴量を作成し、学習結果を用いて特徴量ごとのスコアを求める。
【０００３】
上記非特許文献１で用いられているＨａａｒ−ｌｉｋｅ特徴量は、入力画像に設定する複数の評価ブロックに対し、１対の評価ブロック領域内の画素の平均輝度同士の大小関係より得ている。なお、顔検出に用いる特徴量は、Ｈａａｒ−ｌｉｋｅ特徴量に限らず、例えば特許文献１に記載されている特徴量などを用いても構わない。この特許文献１に記載されている特徴量は、評価ブロック領域内画素の平均輝度と、各評価ブロック領域内画素の平均輝度同士の大小関係より明暗のパターンと明暗の強度とを得ており、明暗のパターンと強度ごとの顔らしさ値を設定している。この特徴量の方がＨａａｒ−ｌｉｋｅ特徴量の場合よりも１つの弱判別器による分離性能が高い。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Paul Viola、Michael Jones、「Rapid Object Detection Using a Boosted Cascade of Simple Features」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)、2001年12月、ISSN: 1063-6919, Vol.1、P.511-518
【特許文献】
【０００５】
【特許文献１】特開２００６−３５０６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、単独の顔検出器では、検出しようとする顔に隠れ（隠蔽）が生じていると検出率をあまり高くとれないという課題がある。顔に隠れが生ずる場合とは、帽子を被っている場合、サングラスを掛けている場合、マスクを掛けている場合、髪の毛によって目が隠れている場合、その他さまざまな遮蔽物によって隠れを生じている場合などである。これらの課題のうち典型的な隠れについては、顔のその典型的な隠れの種類によって別の検出器を用意することで解決することは可能であるが、複数の検出器を用意することで、（１）検出器ごとに学習を行う必要があり、学習結果データも増加する、（２）検出器ごとに特徴量の計算が必要となり計算量が増加する、（３）ハードウェア化する際の回路規模が大きくなる、などの新たな課題が生ずる。顔の隠れの種類によって用意する検出器としては、例えば帽子を被った顔に対応できる帽子顔検出器、マスクを掛けた顔に対応できるマスク顔検出器などが挙げられる。このように様々な顔の隠れに対応するためには、それぞれに対応する検出器を用意する必要があり、それによって上記（１）〜（３）の課題が生ずることになる。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、単独の検出器でも、隠れが生じている顔を高い検出率で検出することができる顔検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の顔検出方法は、評価対象画像内に顔があるか否かを判定するために前記評価対象画像内に顔枠領域を設定するステップと、前記顔枠領域内に選択領域を設定するステップと、前記顔枠領域内に、画像が顔であるか否かを判定するための一つ以上の画素で構成される複数の特徴量領域を設定するステップと、前記特徴量領域内の前記評価対象画像に対して所定の評価を行ってスコアを求めるスコア算出ステップと、前記選択領域と前記特徴量領域との重なりの程度に応じて、前記スコアを前記選択領域に按分する按分ステップと、前記スコア算出ステップと前記按分ステップを前記複数の特徴量領域の全てにおいて実行するステップと、前記複数の特徴量領域において按分されたスコアを集計するステップと、前記集計した結果により、前記選択領域が顔であるか否かを判定するステップと、を備えたことを特徴とする。
【０００９】
上記方法によれば、複数の特徴量領域それぞれについて、選択領域との重なりの程度に応じてスコアを選択領域に按分し、さらに、複数の特徴量領域のそれぞれにおいて按分されたスコアを集計し、その集計結果に応じて選択領域が顔であるか否かを判定し、前記処理を複数の選択領域のそれぞれについて行う。即ち、１つの顔枠領域に対して、複数の選択領域を設定して、選択領域ごとに顔・非顔の判定を行うので、１つの選択領域でも顔を判定することで最終的に顔を判定できる。顔枠領域において、選択領域を除く残りの領域は、隠蔽領域と見なせるので、隠れのある画像に相当することになる。従来は、隠れのある画像に対して、その画像から顔を判定できる専用の顔検出器を用意する必要があったが、顔枠領域に対して選択領域を設定することで、隠れのある領域の特徴量の寄与を低下させた検出器を構築できる。これにより、マスク顔検出器などといった特定の隠れ顔の専用の顔検出器を用意する必要がなく、１つの顔検出器で様々な隠れのある画像および隠れのない画像から顔か非顔かを判定することができる。そして、１つの顔検出器のみで済むことから、（１）検出器ごとに学習を行う必要がなく学習結果データも増加しない、（２）検出器ごとの特徴量の計算が不要となり計算量が増加しない、（３）ハードウェア化する際の回路規模が増えない、という効果が得られる。
【００１０】
上記方法において、複数の選択領域でそれぞれ顔であるか否かを判定した結果に応じて、前記顔枠領域が顔であるか否かを判定するステップを備えたことを特徴とする。
【００１１】
上記方法によれば、顔枠領域が顔であるか否かを判定することができる。
【００１２】
上記方法において、前記スコアの按分は、前記特徴量領域の面積と前記特徴量領域と前記選択領域との重なり部分の面積との面積比とすることを特徴とする。
【００１３】
上記方法によれば、最適なスコアを得ることができる。
【００１４】
上記方法において、前記スコアの按分は、前記特徴量領域の重心が前記選択領域内に存在する場合は１００％、存在しない場合は０％とすることを特徴とする。
【００１５】
上記方法によれば、最適なスコアを得ることができる。
【００１６】
上記方法において、前記スコアの按分を行う場合に、全ての選択領域が分割顔枠領域の組み合わせで構成できるような分割顔枠領域を設定し、各分割顔枠領域でスコアを出したうえで選択領域を構成する分割顔枠領域のスコアを合計することで選択領域のスコアを求めることを特徴とする。
【００１７】
上記方法によれば、選択領域のスコアを効率的に求めることができる。
【００１８】
上記方法において、前記選択領域が顔であるか否かを判定するステップは、閾値と前記集計するステップで集計されたスコアとの比較により判定を行い、前記閾値は選択領域ごとに設定されることを特徴とする。
【００１９】
上記方法によれば、選択領域ごとに顔か非顔かを最適に判定することができる。
【００２０】
上記方法において、各選択領域における顔であるか否かの判定結果から顔の隠蔽された領域を推定することを特徴とする。
【００２１】
上記方法によれば、顔の隠蔽された領域を推定することができる。
【００２２】
本発明のオブジェクト検出方法は、評価対象画像内にオブジェクトがあるか否かを判定するために前記評価対象画像内にオブジェクト枠領域を設定するステップと、前記オブジェクト枠領域内に選択領域を設定するステップと、前記オブジェクト枠領域内に、画像がオブジェクトであるか否かを判定するための一つ以上の画素で構成される複数の特徴量領域を設定するステップと、前記特徴量領域内の前記評価対象画像に対して所定の評価を行ってスコアを求めるスコア算出ステップと、前記選択領域と前記特徴量領域との重なりの程度に応じて、前記スコアを前記選択領域に按分する按分ステップと、前記スコア算出ステップと前記按分ステップを前記複数の特徴量領域の全てにおいて実行するステップと、前記複数の特徴量領域において按分されたスコアを集計するステップと、前記集計した結果により、前記選択領域がオブジェクトであるか否かを判定するステップと、を備えたことを特徴とする。
【００２３】
上記方法によれば、複数の特徴量領域それぞれについて、選択領域との重なりの程度に応じてスコアを選択領域に按分し、さらに、複数の特徴量領域のそれぞれにおいて按分されたスコアを集計し、その集計結果に応じて選択領域がオブジェクトであるか否かを判定し、前記処理を複数の選択領域のそれぞれについて行う。即ち、１つのオブジェクト枠領域に対して、複数の選択領域を設定して、選択領域ごとにオブジェクト・非オブジェクトの判定を行うので、１つの選択領域でもオブジェクトを判定することで最終的にオブジェクトを判定できる。オブジェクト枠領域において、選択領域を除く残りの領域は、隠蔽領域と見なせるので、隠れのある画像に相当することになる。従来は、隠れのある画像に対して、その画像からオブジェクトを判定できる専用のオブジェクト検出器を用意する必要があったが、オブジェクト枠領域に対して選択領域を設定することで、隠れのある領域の特徴量の寄与を低下させた検出器を構築できる。これにより、専用のオブジェクト検出器を用意する必要がなく、１つのオブジェクト検出器で様々な隠れのある画像および隠れのない画像からオブジェクトか非オブジェクトかを判定することができる。そして、１つのオブジェクト検出器のみで済むことから、（１）検出器ごとに学習を行う必要がなく学習結果データも増加しない、（２）検出器ごとの特徴量の計算が不要となり計算量が増加しない、（３）ハードウェア化する際の回路規模が増えない、という効果が得られる。
【発明の効果】
【００２４】
本発明によれば、単独の検出器でも、隠れが生じている顔を高い検出率で検出することができる。また、隠れを生じさせた物体の種類を限定させて学習した場合（例：マスク顔の学習）と異なり、隠れを生じさせた物体の種類によらず、検出の効果を得ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施の形態に係る顔検出器の概略構成を示すブロック図
【図２】図１の顔検出器において、強判別器を構成する複数の弱判別器のスコアのテーブルのデータ構造の一例を示す図
【図３】図１の顔検出器において、強判別器ごとの各弱判別器におけるスコアのテーブルのデータ構造の一例を示す図
【図４】図１の顔検出器の１つの強判別器に属する各弱判別器における分配係数を示す分配係数テーブルの一例を示す図
【図５】図１の顔検出器において、分配係数を求める処理を模式的に示した図
【図６】図１の顔検出器において、分配係数を求める処理を模式的に示した図
【図７】図１の顔検出器において、パターンごとの強判別器の閾値テーブルのデータ構造の一例を示す図
【図８】図１の顔検出器の動作の概略を模式的に示した図
【図９】図１の顔検出器において、各選択領域に対する全ての強判別器の判定結果の一例を模式的に示した図
【図１０】図１の顔検出器において、強判別器の内部の動作を模式的に示した図
【図１１】図１０の処理の具体例を模式的に示した図
【図１２】図１の顔検出器の動作を説明するためのフローチャート
【図１３】図１の顔検出器におけるスコア按分の応用例を模式的に示した図
【図１４】図１の顔検出器において、スコア按分を特徴量領域の重心に基づいて行う場合の強判別器の内部動作を模式的に示した図
【図１５】図１の顔検出器における選択領域の応用例の一例を模式的に示した図
【図１６】図１の顔検出器におけるＲＯＩ全領域を選択領域としたときのスコアの分布の一例を示した図
【図１７】図１の顔検出器における部分領域である選択領域でのスコアの分布の例を示した図
【発明を実施するための形態】
【００２６】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２７】
まず、本発明の実施の形態について説明する。本発明の実施の形態は、評価対象画像内に顔があるか否かを判定するために、例えばカメラからの入力画像（これを“評価対象画像”と呼ぶ）内に顔枠領域（以下、“ＲＯＩ:Region of Interest”と呼ぶ）を設定し、次いで、ＲＯＩ内に部分顔枠領域（以下、“選択領域”と呼ぶ）を設定し、次いで、ＲＯＩ内に画像が顔であるか否かを判定するための１つ以上の画素で構成される評価ブロック（評価ブロックの領域を“特徴量領域”と呼ぶ）を複数設定し、設定した特徴量領域内の評価対象画像に対して所定の評価を行ってスコアを求める。次いで、選択領域と特徴量領域との重なりの程度に応じてスコアを選択領域に按分し、前記スコア算出及び按分処理を複数の特徴量領域の全てにおいて実行し、その後、複数の特徴量領域において按分されたスコアを集計して、その集計結果により、設定した選択領域が顔であるか否かを判定し、複数の選択領域でそれぞれ顔であるか否かを判定した結果に応じてＲＯＩが顔であるか否かを判定する、例である。
【００２８】
図１は、本発明の一実施の形態に係る顔検出器の概略構成を示すブロック図である。同図において、本実施の形態の顔検出器１は、複数の強判別器２−１，…，２−ｍを備える。強判別器２−１は、複数の弱判別器３−１−１，…，３−１−ｎ、メモリ部４、閾値テーブル５及び比較判定部６を備える。強判別器２−２は、複数の弱判別器３−２−１，…，３−２−ｎ、メモリ部４、閾値テーブル５及び比較判定部６を備える。同様に、強判別器２−ｍは、複数の弱判別器３−ｍ−１，…，３−ｍ−ｎ、メモリ部４、閾値テーブル５及び比較判定部６を備える。ここで、各強判別器２−１，…，２−ｍが有する弱判別器は異なるものであり、その数も一定ではない。なお、各強判別器２−１，…，２−ｍはパラメータの違いだけで全て共通する動作を行うので、強判別器２−１を例に挙げて説明する。また、強判別器２−１の各弱判別器３−１−１，…，３−１−ｎも全て共通する動作を行うので、弱判別器３−１−１を例に挙げて説明する。また、複数の強判別器２−１，…，２−ｍをひとまとめに呼称する場合は“強判別器２”と記載し、複数の弱判別器３−１−１，…，３−１−ｎをひとまとめに呼称する場合は“弱判別器３”と記載することとする。以下、簡単化のため、弱判別器３−１−１を“弱判別器３−１”と記載することとする。
【００２９】
上述したように、強判別器２に含まれる弱判別器３の数は一定ではないが、後段の強判別器２ほど、多数の弱判別器３を含む傾向にある。弱判別器３−１は、特徴量算出部３０−１、スコアテーブル３０−２及び分配係数テーブル３０−３を備える。特徴量算出部３０−１は、評価対象画像内に顔があるか否かを判定するために、当該評価対象画像に設定したＲＯＩ（即ち顔枠領域）２０における弱判別器３−１の特徴を量的に算出する。特徴量としては、前述した非特許文献１で用いられているＨａａｒ−ｌｉｋｅ特徴量でも良く、また特許文献１に記載されている特徴量でも良い。または、その他の特徴量でも良い。因みに、Ｈａａｒ−ｌｉｋｅ特徴量は、入力画像に設定した複数の評価ブロックに対し、１対の評価ブロック領域内の画素の平均輝度同士の大小関係より得られる。特許文献１に記載されている特徴量は、評価ブロック領域内画素の平均輝度と、各評価ブロック領域内画素の平均輝度同士の大小関係より得られる。
【００３０】
弱判別器３−１の特徴の条件として、正規化したＲＯＩ２０の空間座標において、その座標上の画素値から算出される特徴であり、特徴量計算に用いる画素が選択領域に含まれているかどうかを判定できることが挙げられる。以下にその例を満たす特徴量の例を挙げる。また、これらの特徴を組み合わせて生成できる特徴においても適用可能である。
例（１）：明るいブロック（明ブロック）の輝度値の総和−暗いブロック（暗ブロック）の輝度値の総和
例（２）：複数の評価ブロックの明暗のパターンとその強度
例（３）：複数の評価ブロックの明暗の明暗パターン
例（４）：エッジ画像からブロック内のエッジ強度による特徴量
例（５）：評価ブロック内の輝度値の勾配と勾配の強度を用いた特徴
例（６）：複数の評価ブロックの明暗パターンと同じブロック領域でのエッジ画像の明暗パターン
【００３１】
なお、本発明における特徴に該当しないものとしては、例えばＲＯＩのフーリエ変換が挙げられる。ＲＯＩのフーリエ変換は、ＲＯＩ領域の全ての画素値に基づく計算量であって選択領域によって絞り込むことができないためである。また、微妙なものとしては、例えばＧａｂｏｒ特徴量が挙げられる。
【００３２】
弱判別器３−１のスコアテーブル３０−２は、特徴量算出部３０−１で算出された特徴量のスコアを得るためのルックアップテーブルである。図２は、弱判別器３−１−１，…，３−１−ｎのスコアテーブルのデータ構造の一例を示す図である。同図では、非特許文献１で示されたと同じく、閾値によって２値判定した場合の例である。例えば、弱判別器３−１−１では、特徴量のスコアとしてＯＫのとき（即ち閾値以上のとき）は“１”の値をとり、特徴量のスコアとしてＮＧのとき（即ち閾値未満のとき）は“−０．７”の値をとる。同じく、弱判別器３−１−２では、特徴量のスコアとしてＯＫのとき（即ち閾値以上のとき）は“０．８”の値をとり、特徴量のスコアとしてＮＧのとき（即ち閾値未満のとき）は“−０．６”の値をとる。また、弱判別器３−１−３では、特徴量のスコアとしてＯＫのとき（即ち閾値以上のとき）は“０．７”の値をとり、特徴量のスコアとしてＮＧのとき（即ち閾値未満のとき）は“−０．５”の値をとる。他に別の特徴量を用いたときには、弱判別器のスコアテーブルは必ずしも２値ではなく、２次元ルックアップテーブルとして与えられる場合もある。例（２）の複数の評価ブロックの明暗のパターンとその強度を特徴量に用いた場合には、弱判別器のスコアテーブルは、明暗パターンとその強度の２つのインデックスに対するルックアップテーブルとして与えられる。
【００３３】
上述したように１つの強判別器２−１を構成する複数の弱判別器３−１−１，…，３−１−ｎの各々における特徴量のスコアは強判別器２−１において異なるだけではなく、強判別器２ごとに異なる値となる。図３は、強判別器２ごとの各弱判別器３における特徴量のスコアのテーブルのデータ構造の一例を示す図である。同図に示すように、強判別器２が異なれば含まれる弱判別器が異なるため弱判別器３の特徴量のスコアも異なる。
【００３４】
分配係数テーブル３０−３は、選択領域と特徴量領域との重なりに応じて、スコアを選択領域に按分する際に用いられる係数のテーブルである。即ち、弱判別器３では、特徴量領域内の選択領域の画像に対して所定の評価を行ってスコアを求めるが、このとき求められたスコアを選択領域に按分する際に用いられる。スコアの按分は、特徴量領域の面積と、特徴量領域と選択領域との重なり部分の面積との面積比となる。分配係数の値は０％から１００％までの間の値をとる。図４は、例えば１番目の強判別器に属する各弱判別器３−１−１，…，３−１−ｎにおける分配係数を示す分配係数テーブル３０−３の一例を示す図である。図４に示す分配係数テーブルは、検出器で使用される強判別器の数だけある。また、それぞれの強判別器に属する弱判別器の個数も、強判別器ごとに異なる。ここで、同図に記載しているパターン１，２，…は、選択領域のパターンを示している。特徴量領域の全域が選択領域と重なる場合、分配係数は１００％となり、特徴量領域が多少の領域を残して選択領域と重なる場合、１００％より低い分配係数となる。まったく重ならない場合には０％となる。分配係数テーブルは、各特徴量と選択領域とが与えられれば決定される量であり、予め計算によって固定値として与えられる。
【００３５】
図５及び図６は、分配係数を求める処理を模式的に示した図である。図５の（ａ）において、ＲＯＩ２０の領域サイズの画像１００に対して特徴量領域２００を設定する。このとき、特徴量領域２００の特徴量のスコアを“ａ”と仮定する。次いで、図５の（ｂ）において、画像１００内に選択領域１０１を設定する。このときの選択領域１０１は、隠れ領域１０２を除く領域である。なお、図５の（ａ）の画像１００そのものも選択領域であり、隠れ領域１０２が無いだけである。次いで、図５の（ｂ）に示すように、隠れ領域１０２がある選択領域１０１の場合、特徴量領域２００の特徴量のスコアは、隠れ領域１０２が無いときの特徴量領域２００の特徴量のスコアａに選択領域１０１での特徴量の分配係数を掛けた値となる。選択領域１０１での特徴量の分配係数は、図５の（ｃ）に示すように、特徴量領域２００と選択領域１０１とが重なった重なり領域２０１の面積を特徴量領域２００の面積で割った値となる。このとき、特徴量領域２００と選択領域１０１の重なり領域２０１は、図５の（ｄ）で示すように略逆Ｌ字状となる。特徴量領域２００を１００％とすると、特徴量領域２００に対する重なり領域２０１の割合は５０％となる。したがって、分配係数は５０％となり、重なり領域２０１のスコアは、特徴量領域２００のときのスコアａの５０％即ち０．５ａとなる。このスコア０．５ａが、選択領域１０１が設定された弱判別器３の出力となる。
【００３６】
また、図６の（ａ）において、ＲＯＩ２０の領域サイズの画像１００に対して特徴量領域２１０を設定する。このとき、特徴量領域２１０の特徴量のスコアを“ｂ”と仮定する。次に、図６の（ｂ）において、画像１００内に選択領域１０１を設定する。このときの選択領域１０１は、隠れ領域１０２を除く領域である。なお、上記同様に、図６の（ａ）の画像１００そのものも選択領域であり、隠れ領域１０２が無いだけである。図６の（ｂ）に示す選択領域１０１における特徴量領域２１０の特徴量のスコアは、特徴量のスコアｂに選択領域１０１での特徴量の分配係数を掛けた値となる。選択領域１０１での特徴量の分配係数は、図６の（ｂ）に示すように、特徴量領域２１０と選択領域１０１とが重なった重なり領域２１１の面積を特徴量領域２１０の面積で割った値となる。このとき、特徴量領域２１０と選択領域１０１の重なり領域２１１は、特徴量領域２１０と同じである。特徴量領域２１０を１００％とすると、特徴量領域２１０に対する重なり領域２１１の割合は１００％となる。したがって、分配係数は１００％となり、重なり領域２１１のスコアは、特徴量領域２１０のときのスコアｂの１００％即ちｂとなる。このスコアｂが、選択領域１０１が設定された弱判別器３の出力となる。
【００３７】
なお、図５及び図６では、特徴量領域２００，２１０それぞれの形状を矩形としたが、この形状に限定はなく、如何なる形状であっても構わない。また、選択領域の形状も後述するように、直線で区切られている必要はなく、如何なる形状であっても構わない。
【００３８】
強判別器２−１のメモリ部４は、選択領域ごとのスコア合計を記憶する。強判別器２−１の閾値テーブル５は、選択領域ごとの強判別器２の閾値テーブルである。図７は、選択領域のパターンごとの強判別器２の閾値テーブルのデータ構造の一例を示す図である。同図では、全ての閾値が正の値となっているが、負の値となる場合もある。また、同図において、１番目の強判別器２−１と２番目の強判別器２−２では、選択領域のパターンごとの閾値が一致しているが、一致しない場合が多い。また、同図において、強判別器２が後段になるに従って閾値の値が増加しているが、必ずしもこのような傾向になるとは限らないし、また単調に増加する（例えば、パターン１では、１．５→２．１５→３．０→４．０）とも限らない。
【００３９】
ここで、選択領域に対する閾値の決定方法について説明する。
学習データとして用意された顔画像群と非顔画像群に対して以下の処理を行う。
各強判別器２に対して以下の処理を行う。
・強判別器２に属する弱判別器３について、隠れのない場合（＝全領域を用いた場合）の弱判別器３のスコアの合計の分布を作成する。すなわち、強判別器２に至るまでの全ての強判別器のいずれかに属する全ての弱判別器のスコアの合計の分布を作成する。図１６はそのスコア合計の分布の模式図である。図１６の横軸はスコア合計、縦軸は頻度（相対値）である。グラフの下側は、分布の裾の広がりを見るための拡大図である。横軸の右側にあるほど、ＲＯＩ領域にある画像は顔らしいと判断され、横軸の左側にあるほど顔らしくないと判断されていることを示している。なお、横軸のスコア合計の０の位置は、特別意味を持たない。顔画像群に対してはある値を中心に左右に裾を引いた形状の分布になる。非顔画像群に対しては、それより値の低いスコア(図の左側に)にピークを持つ分布になる。良好な学習を行った場合には、顔画像群に対するスコア合計の分布と非顔画像群に対するスコア合計の分布が離れていて、スコア合計の閾値との比較によって顔・非顔の判定ができる。誤検出を一定の頻度以下に抑えるためには、非顔のスコア合計の分布の閾値以上の値を占める比率を一定値以下になるように調整する。
・弱判別器３のスコアに対する各選択領域１０１への分配係数を用いて、各選択領域１０１に対する弱判別器３のスコアを算出する。
・各選択領域１０１に対する弱判別器３のスコアの合計の分布を作成する。すなわち、強判別器２に至るまでの全ての強判別器のいずれかに属する全ての弱判別器の各選択領域１０１での分配係数を考慮したスコアの合計の分布を作成する。隠れのない顔画像群と非顔画像群でのスコア合計の分布を比較すると、その分布は、全領域を用いた場合のスコア合計の分布よりは近接した分布となる。そうであっても、選択領域が実際に顔の見えている範囲に合致するときは、顔の見えていない領域の特徴量の寄与を低下させることで、顔と非顔の分離性を得ることができる。そのための強判別器の閾値は、選択領域１０１ごとにより異なり、次のようにして設定する。
・各選択領域１０１に対する強判別器３の閾値を非顔スコアに対する通過率を所定値以下になるように設定する。この非顔スコアに対する通過率は、選択領域に対する非顔スコアの合計の分布図のうち、閾値以上の面積が、スコア合計分布全体の面積に占める割合である。この値が大きいときには誤検出を生じやすくなるので、許容できる誤検出率になるように、閾値の値を調整する。そして、その閾値に対して、選択領域での顔のスコア合計の分布図とを比較したときに、その選択領域での検出率を見積もることができる。図１７は選択領域１０１ｄ（図８参照）の場合のスコア合計の分布の模式図である。選択領域がＲＯＩ全体である図１６の場合と比べて、顔画像のスコア合計の分布の裾と非顔画像のスコア合計の分布の裾は、近接している。なお、図１６での分布のピーク位置と図１７での分布のピーク位置は一般には異なる。顔画像のピークと非顔画像のピークとの差は、選択領域を設定するとＲＯＩを全て選択領域とする場合に比べて、ピーク間の差が小さくなる。この例の閾値は、非顔が顔と判定されないことを重要視したポリシーにもとづいて閾値を設定している（フォルスポジティブ）。このように、選択領域ごとにスコア合計の分布を求めて閾値を設定する。
なお、閾値の設定方法は上記に限らず隠蔽のない場合の閾値をもとにして、分配係数をもとに一定の係数をかけるなどして各選択領域の閾値を求めても良い。
実用上重要なことは、図１７のスコア合計の分布図を作成するのにおいて、隠れを生じた自然画像（＝人為的に加工した画像ではなく、ふつうに隠れを生じた無加工の画像）を必要としないという点である。本発明では、隠れを生じた顔の検出器の構築にあたって、隠れを生じた顔の学習用にも、閾値の調整用にも必要としない。
【００４０】
強判別器２−１の比較判定部６は、メモリ部４に記憶された選択領域ごとのスコア合計と選択領域ごとの強判別器２−１の閾値との比較を行い、その結果即ち選択領域ごとの強判別器２−１の判定結果を出力する。
【００４１】
次に、本実施の形態の顔検出器１の動作を説明する。
図８は、本実施の形態の顔検出器１の動作の概略を模式的に示した図である。同図において、本実施の形態の顔検出器１では、例えばＲＯＩ２０の領域に対して５つの選択領域を設定する。四角形の隠れ領域１０２を除く部分が選択領域であるが、選択領域１０１ａについては隠れ領域１０２はなくＲＯＩ２０全体が選択されている。隠れ領域１０２が左上にあるのが選択領域１０１ｂ、隠れ領域１０２が右上にあるのが選択領域１０１ｃ、隠れ領域１０２が左下にあるのが選択領域１０１ｄ、隠れ領域１０２が右下にあるのが選択領域１０１ｅである。これらの選択領域１０１ａ〜１０１ｅに対し、顔検出器１を構成する複数の強判別器２−１，…，２−ｍの各々が顔・非顔の判定を行う。各選択領域１０１ａ〜１０１ｅに対する全ての強判別器２−１，…，２−ｍの判定結果から、どの選択領域での判定も非顔のときだけ非顔と判定する。
【００４２】
図９は、各選択領域１０１ａ〜１０１ｅに対する全ての強判別器２−１，…，２−ｍの判定結果の一例を模式的に示した図である。この例では、強判別器２−１は、選択領域１０１ａ〜１０１ｅの全てに対して「顔」と判定している。強判別器２−２は、選択領域１０１ａ，１０１ｃ，１０１ｄ及び１０１ｅの４つの選択領域に対して「顔」と判定している。また、強判別器２−３は、選択領域１０１ａ，１０１ｄ及び１０１ｅの３つの選択領域に対して「顔」と判定している。また、強判別器２−ｍは、選択領域１０１ｄに対してのみ「顔」と判定している。顔・非顔の判定においては、選択領域ごとに誤検出数が一定値以下になるように調整した閾値を用いて行う。また、強判別器２に対して顔判定が続いている選択領域がある限り、次段の強判別器２にて顔・非顔の判定を行う。したがって、例えば強判別器２−２では、選択領域１０１ｂに対して「非顔」と判定したので、それ以降の強判別器２−３，…，２−ｍでは判定は行われない。選択領域１０１ｄに対しては、全ての強判別器２−１，…，２−ｍが「顔」と判定しているので、最後の強判別器２−ｍまで判定が行われる。この図に示す例では、選択領域１０１ｄのみ「顔」と判定している。選択領域１０１ｄが「顔」と判定されたので、評価対象画像は「顔」であると判定される。
【００４３】
次に、強判別器２−１の内部動作について説明する。
図１０は、強判別器２−１の内部動作を模式的に示した図である。同図において、強判別器２−１は、ｎ個の弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎを備えている。弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎの各々は、対応する特徴量領域を設定する。特徴量領域とはその領域に属する画素値を用いて弱判別器の特徴を計算する領域である。即ち、弱判別器３−１−１は、特徴量領域２００−１を設定する。また、弱判別器３−１−２は、特徴量領域２００−２を設定する。また、弱判別器３−１−３は、特徴量領域２００−３を設定する。また、弱判別器３−１−ｎは、特徴量領域２００−ｎを設定する。そして、各弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎは、隠れのない場合に対する弱判別器のスコアを求める。各弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎのスコアは、図２に示すスコアテーブル３０−２より得られる。次に、それぞれの選択領域１０１ａ〜１０１ｅの場合の選択領域での分配係数を考慮した各弱判別器のスコアを求める。全領域の選択領域１０１ａを除く他の全ての選択領域１０１ｂ〜１０１ｅについて、特徴量領域２００−１〜２００−ｎと選択領域１０１ｂ〜１０１ｅとの重なり程度に応じて、スコアを選択領域１０１ｂ〜１０１ｅに按分する。スコアを選択領域１０１に按分するときには、図４に示す分配係数テーブル３０−３の分配係数を用いる。以上のように各弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎは、選択領域１０１ａ〜１０１ｅにおけるスコアを求める。そして、選択領域１０１ａ〜１０１ｅごとに各弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎより得られるスコアを合計し、合計値を強判別器２−１の閾値と比較し、その比較結果から顔・非顔を判定する。スコア合計値と比較する強判別器２−１の閾値は、図７に示す閾値テーブル５より得る。
【００４４】
図１１は、図１０の具体例を模式的に示した図である。この場合強判別器２−１は４つの弱判別器３−１−１，３−１−２，３−１−３，３−１−ｎから構成される。同図において、弱判別器３−１−１における判別に際して特徴量領域２００−１が設定される。このとき、特徴量領域２００−１に対して与えられたスコアが「１．０」であるとすると、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおける弱判別器３−１−１から出力されるスコアは、１．０×１００％＝１．０となる。また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおける弱判別器３−１−１から出力されるスコアは、１．０×８０％＝０．８となる。また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおける弱判別器３−１−１から出力されるスコアは、１．０×８０％＝０．８となる。
【００４５】
また、弱判別器３−１−２における判別に際して特徴量領域２００−２が設定される。このとき、特徴量領域２００−２に対して与えられたスコアが「−０．６」であるとすると、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおける弱判別器３−１−２から出力されるスコアは、−０．６×１００％＝−０．６となる。また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおける弱判別器３−１−２から出力されるスコアは、−０．６×１００％＝０．６となる。また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおける弱判別器３−１−２から出力されるスコアは、−０．６×２０％＝−０．１２となる。
【００４６】
また、弱判別器３−１−３における判別に際して特徴量領域２００−３が設定される。このとき、特徴量領域２００−３に対して与えられたスコアが「０．７」であるとすると、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおける弱判別器３−１−３から出力されるスコアは、０．７×１００％＝０．７となる。また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおける弱判別器３−１−３から出力されるスコアは、０．７×１００％＝０．７となる。また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおける弱判別器３−１−３から出力されるスコアは、０．７×１００％＝０．７となる。
【００４７】
また、弱判別器３−１−ｎにおける判別に際して特徴量領域２００−ｎが設定される。このとき、特徴量領域２００−ｎに対して与えられたスコアが「０．３」であるとすると、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおける弱判別器３−１−ｎから出力されるスコアは、０．３×１００％＝０．３となる。また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおける弱判別器３−１−ｎから出力されるスコアは、０．３×１００％＝０．３となる。また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおける弱判別器３−１−ｎから出力されるスコアは、０．３×１００％＝０．３となる。
【００４８】
そして、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおいて各弱判別器３−１−１，３−１−２，３−１−３，３−１−ｎから得られるスコアの合計が、１．０＋（−０．６）＋０．７＋０．３＝１．４となる。このスコア合計１．４と強判別器２−１の閾値とを比較する。隠れ領域１０２のない画像１００の全領域に対する強判別器２−１の閾値は１．５であるので、スコア合計１．４＜閾値１．５となり、判定結果は「非顔」となる。
【００４９】
また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおいて各弱判別器３−１−１，３−１−２，３−１−３，３−１−ｎから得られるスコアの合計が、０．８＋（−０．６）＋０．７＋０．３＝１．２となる。このスコア合計１．２と強判別器２−１の閾値とを比較する。左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂに対する強判別器２−１の閾値は１．５であるので、スコア合計１．２＜閾値１．５となり、判定結果は「非顔」となる。
【００５０】
また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおいて各弱判別器３−１−１，３−１−２，３−１−３，３−１−ｎから得られるスコアの合計が、０．８＋（−０．１２）＋０．７＋０．３＝１．６８となる。このスコア合計１．６８と強判別器２−１の閾値とを比較する。左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄに対する強判別器２−１の閾値は１．５であるので、スコア合計１．６８＞閾値１．５となり、判定結果は「顔」となる。
【００５１】
ここで、図１１の例において、弱判別器３−１−２は、隠れ領域１０２の影響を受けて結果的にＮＧとなるが、選択領域１０１ｄにおけるスコア合計が正（プラス）の方向に行くので、隠れ領域１０２の影響でＮＧが選ばれた弱判別器３−１−２の影響を低減できる。
このため、選択領域を設定した場合のスコアの合計の方が、ＲＯＩ領域全体でのスコアの合計に比べて、選択領域のみが見えている顔画像群における顔スコアの分布と非顔スコアの分布との分離性がよくなる。このことが、選択領域での閾値判定で顔と検出されやすくなる理由である。
なお、各選択領域での閾値が１．５と同じ値が設定されているが、前述したように選択領域ごとに異なる値が設定されてもよい。
【００５２】
また、図１１の例では、１段目の強判別器２−１についてのみの結果であるが、２段目以降の強判別器２−２，…，２−ｍでも１段目の強判別器２−１と同様の処理が行われる。当然ながら、スコアの値や分配係数の値は各段で異なることは言うまでもない（同じ値になることも勿論ある）。また、２段目以降の強判別器２−２，…，２−ｍの判定で行うスコアの合計は、それまでに評価した弱判別器３のスコアの合計を用いる。つまり、強判別器２−２では、強判別器２−１の弱判別器３−１−１から３−１−ｎのスコアの合計に、２段目の強判別器２−２の弱判別器３−２−１から３−２−ｎのスコアの合計を加えたものになる（１番目の強判別器に属する弱判別器３−１の個数と２番目の強判別器に属する弱判別器３−２の個数ｎとは必ずしも同じではない）。２段目以降で、それまでの強判別器２に含まれる弱判別器３のスコアの合計を用いることは次の利点が得られる。
【００５３】
学習に用いているＢｏｏｓｔｉｎｇのアルゴリズムでは、ターゲットと背景画像（検出対象のターゲットを含まない画像）との分離性能がよい特徴量から選択していくので、１番目の強判別器２に含まれる矩形テンプレート（特徴量領域）の方が、最終段の強判別器２に含まれる矩形テンプレート（特徴量領域）よりも分離性能が高い。そのため、それまでの強判別器２に含まれる弱判別器３のスコアの合計を用いた方が、ターゲットと背景とのスコアの合計の分離性能がよくなる。但し、本発明に述べる手法において、スコアの合計をそれまでに評価した弱判別器３のスコアの合計にすることは必須条件ではない。各強判別器２に含まれる弱判別器３のスコアの合計のみで判定してもかまわない。
【００５４】
図１２は、本実施の形態の顔検出器１の動作を説明するためのフローチャートである。同図において、まず評価対象画像内に顔があるか否かを判定するために、該評価対象画像内にＲＯＩ（顔枠領域）２０を設定する（ステップＳ１）。ＲＯＩ２０を設定した後、処理中の選択領域を示すカウンタｋを「１」に設定し、また選択領域数ｐを設定する（ステップＳ２）。次いで、ｋの値を増加させながらｋ番目の選択領域におけるスコア合計［ｋ］を「０」にリセットする（ステップＳ３）。ｋが選択領域数ｐになるまでステップＳ３の処理を繰り返しスコア合計［ｋ］の値を設定する。（ステップＳ２〜ステップＳ４）。以下ステップＳ５以降の処理を各選択領域に対して行っていく。
【００５５】
処理中の強判別器の番号を示すカウンタｉを「１」に設定し、また強判別器数ｍを設定する（ステップＳ５）。次いで、処理中の弱判別器の番号を示すカウンタｊを「１」に設定し、また弱判別器数ｎを設定する（ステップＳ６）。カウンタｉ，ｊ、強判別器数ｍ及び弱判別器数ｎの設定を行った後、ｉ番目の強判別器ｉに属するｊ番目の弱判別器ｊに対応する特徴量を計算し、対応するスコアをスコアテーブル３０−２より取得する（ステップＳ７）。次いで、ｉ番目の強判別器ｉに属するｊ番目の弱判別器ｊでの各選択領域ｋでのスコアの分配係数［ｊ］［ｋ］を分配係数テーブル３０−３より取得する（ステップＳ８）。次いで、各選択領域ｋのスコア合計［ｋ］に、弱判別器ｊの特徴量のスコア×分配係数［ｊ］［ｋ］を加算する（ステップＳ９）。ステップＳ７〜ステップＳ９を含む処理を弱判別器３の数ｎだけ繰り返す（ステップＳ６〜ステップＳ１０）。前述のように、強判別器に属する弱判別器の数ｎは、強判別器によって一般に異なる。
一般に検出器を構築する中で演算量が多い部分は、弱判別器に対応する特徴量を算出する部分である。このアルゴリズムにおいては、選択領域の種類によらず、特徴量計算は共通のものを利用している。このため、選択領域の種類を増やしても（すなわち、顔の隠れの生じ方を増やしても）演算量はさほど増加しない。また、学習結果を保持しているスコアテーブルも、選択領域の種類によらず共通のものを利用している。このため、選択領域の種類を増やしても、スコアテーブルの容量が増加しない。
【００５６】
現在選択されているｉ番目の強判別器ｉにまでに属する全ての弱判別器ｊのスコア合計を算出した後、各選択領域ｋで顔・非顔の判定を行う。即ち、選択領域ｋでのスコア合計［ｋ］と選択領域ｋでの強判別器ｉの閾値の比較において、選択領域ｋでのスコア合計［ｋ］≧選択領域ｋでの強判別器ｉの閾値であれば「顔」、選択領域ｋでのスコア合計［ｋ］＜選択領域ｋでの強判別器ｉの閾値であれば「非顔」と判定する（ステップＳ１１）。次に、まだ顔と判定されている選択領域があるか否かを判定し（ステップＳ１２）、まだ顔と判定されている選択領域がない場合（即ち、ステップＳ１２の判定で「Ｎｏ」の場合）、複数の選択領域のいずれも「非顔」である判定結果を得る（ステップＳ１３）。これに対して、ステップＳ１２の判定において、まだ顔と判定されている選択領域がある場合（即ち、ステップＳ１２の判定で「Ｙｅｓ」の場合）、ステップＳ５に戻り、次段以降の強判別器ｉにおいてステップＳ６〜ステップＳ１２の判定を「顔」と判定される選択領域がなくなるまで繰り返し行い、全強判別器について判定が完了し「顔」と判定される選択領域が残っていればループの後端であるステップＳ１４からステップＳ１５に進み、選択領域ｋで「顔」である判定結果を得て、本処理を終える。また、判定の途中で顔と判定されている選択領域が残っていない場合（即ちステップＳ１２の判定で「Ｎｏ」の場合）にはループを抜けそれより後段の強判別器の評価を実行せず、上述したように、全ての選択領域で「非顔」であるという判定結果を得て、本処理を終える。
上の処理結果より、１つ以上の選択領域ｋで顔と判定されたという結果が得られた場合には評価対象画像は顔であると判断でき、全ての選択領域で「非顔」であるという判定結果が得られた場合には評価対象画像は非顔であると判断できる。
選択領域を設定したときと、選択領域を設定しないときによるデータ構造の違いは次の通りである。選択領域を設定したときには、各弱判別器における分配係数を示す分配係数テーブル３０−３が加わること、選択領域ごとのスコア合計を保持するようにメモリ部４が拡張されること、閾値テーブル５が、選択領域ごとの閾値テーブルになること、強判別器の判定結果が、選択領域ごとの強判別器の判定結果になることである。これらの部分は、メモリ量の点でも演算量の点でも、特徴量算出自体に比べて負荷が少ない。
【００５７】
このように本実施の形態の顔検出器１によれば、評価対象画像内に顔があるか否かを判定するために、評価対象画像内にＲＯＩ２０を設定し、次いで、ＲＯＩ２０内に複数の選択領域１０１を設定し、次いで、ＲＯＩ２０内に画像が顔であるか否かを判定するための１つ以上の画素で構成される複数の特徴量領域２００を設定し、設定した特徴量領域２００内の評価対象画像に対して所定の評価を行ってスコアを求め、次いで、選択領域１０１と特徴量領域２００との重なりの程度に応じてスコアを選択領域１０１に按分し、これらスコア算出処理及び按分処理の各々を複数の特徴量領域２００の全てにおいて実行し、その後、複数の特徴量領域２００において按分されたスコアを集計し、その集計結果により、設定した選択領域１０１が顔であるか否かを判定し、複数の選択領域１０１でそれぞれ顔であるか否かを判定した結果に応じて、ＲＯＩ２０が顔であるか否かを判定する。
【００５８】
したがって、１つのＲＯＩ２０に対して、複数の選択領域１０１を設定して、選択領域１０１ごとに顔・非顔の判定を行うので、１つの選択領域１０１でも顔を判定することで最終的に顔を判定できる。ＲＯＩ２０において、選択領域１０１を除く残りの隠れ領域１０２は、隠蔽領域と見なせるので、隠れのある画像に相当することになる。従来は、隠れのある画像に対して、その画像から顔を判定できる専用の顔検出器を用意する必要があったが、ＲＯＩ２０に対して選択領域１０１を設定することで、隠れのある画像を隠れのある領域における特徴量の寄与を低下させた検出器、すなわち隠れに対応した検出器を構成できる。これにより、専用の顔検出器を用意する必要がなく、１つの顔検出器で様々な隠れのある画像から顔か非顔かを判定することができる。そして、１つの顔検出器のみで済むことから、（１）検出器ごとに学習を行う必要がなく学習結果データも増加しない、（２）検出器ごとの特徴量の計算が不要となり計算量が増加しない、（３）ハードウェア化する際の回路規模が増えない、という効果が得られる。
【００５９】
なお、本実施の形態の顔検出器１では、スコアの按分を、特徴量領域２００の面積と特徴量領域２００と選択領域１０１との重なり部分の面積との面積比としたが、特徴量領域２００の重心が選択領域１０１に存在する場合は特徴量のスコアを１００％反映させ、存在しない場合は反映させないようにすることも可能である。図１３は、スコア按分の応用例を模式的に示した図である。同図において、特徴量領域２２０の重心７０が選択領域１０１に存在する場合は１００％、存在しない場合は０％とする。分配係数は、特徴量領域が決定し、選択領域が決定した時点で確定するものとする。
【００６０】
また、図１４は、スコア按分を特徴量領域２００の重心に基づいて行う場合の強判別器２−１の内部動作を模式的に示した図である。スコアの按分を特徴量領域２００の重心に基づいて行う以外は、図１０で説明した動作と同じであるので、詳細な説明は省略する。図１４において、弱判別器３−１−１が選択領域１０１ｅに設定した特徴量領域２００−１の重心が右下の隠れ領域１０２に入るため、スコアの按分は０％となる。弱判別器３−１−２においては、選択領域１０１ｄに設定した特徴量領域２００−２の重心が左下の隠れ領域１０２に入るため、スコアの按分は０％となる。弱判別器３−１−３においては、選択領域１０１ｃに設定した特徴量領域２００−３の重心が右上の隠れ領域１０２に入るため、スコアの按分は０％となる。弱判別器３−１−ｎにおいては、選択領域１０１ｃに設定した特徴量領域２００−ｎの重心が右上の隠れ領域１０２に入るため、スコアの按分は０％となる。
【００６１】
また、本実施の形態の顔検出器１では、隠れ領域１０２を正方形状にして、選択領域１０１の形状を略Ｌ字・略逆Ｌ字状としたが、選択領域１０１の形状はどのような形状であっても構わない。図１５は、曲線で区切った選択領域１０１ｆの一例を模式的に示した図である。このような曲線で区切られた領域であっても、分配係数は、特徴量領域の面積と、特徴量領域と選択領域との重なり部分の面積との面積比として予め固定値を計算できるので、検出の実行時への影響はない。
【００６２】
また、本実施の形態の顔検出器１では、評価対象画像に対するＲＯＩ２０の領域の大きさ及び形状について限定しなかったが、ＲＯＩ２０の領域の縦横比は、検出対象物が顔か人物の全身か人物の上半身かなどによって異なり、縦長の場合や横長の場合があり、さらには、上下・左右に分かれることもある。その都度最適なＲＯＩを設定すると良い。
【００６３】
また、本実施の形態の顔検出器１を用いることで、顔画像の隠蔽領域を求めることもできる。選択領域ごとの顔・非顔の判定を行い、顔と判定された選択領域のうち一番広い領域を見えている（隠蔽のない）領域と推定する。例えば、図８に示す５つの選択領域のうち１０１ｄのみが顔と判定され残りが非顔と判定された場合には選択領域１０１ｄの隠れ領域１０２が遮蔽されていると推定する。また、全ての選択領域が顔と判定された場合には一番広い１０１ａには隠れ領域がないため、遮蔽はないと推定する。
【００６４】
また、本実施の形態の顔検出器１では、人の顔を検出するものであったが、人物全身あるいは上半身の検出に用いることも勿論可能である。また、人物以外の車などの検出も勿論可能である。
【００６５】
また、本実施の形態の顔検出器１のハード構成としては、通常のコンピュータを用いることもできる。即ち、顔検出器１は、ＣＰＵ、ＲＡＭ等の揮発性メモリ、及びＲＯＭ等の不揮発性メモリ、及びハードディスク又はＳＳＤ（Solid State Drive）等の大容量記憶装置等を備えたコンピュータによって構成できる。
【００６６】
また、本実施の形態の顔検出器１における処理を記述したプログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布することも可能である。
【産業上の利用可能性】
【００６７】
本発明は、隠れのある顔への専用の顔への検出器を作ることなく、単独の検出器でも、隠れが生じている顔を高い検出率で検出することができるといった効果、また、人物の全身が見えているときと上半身が見えているときとでの人物検出器を共通の学習に基づく単独の人物検出器で構築できるという効果、さまざまな隠れを伴う自動車の検出をできるという効果を有し、監視カメラ装置等への適用が可能である。人物の検出に適用した場合には、全身の人物検出器と上半身の人物検出器（すなわち下半身が隠れている場合の検出器）とを兼ねた単独の検出器を構築できる。さらには、自動車の検出においては、さまざまな隠れ方によっても自動車として検出する検出器を、隠れのない自動車の学習画像から構築できる。
【符号の説明】
【００６８】
１ 顔検出器
２−１，…，２−ｍ 強判別器
３−１−１，…，３−１−ｎ 弱判別器
４ メモリ部
５ 閾値テーブル
６ 比較判定部
２０ ＲＯＩ
３０−１ 特徴量算出部
３０−２ スコアテーブル
３０−３ 分配係数テーブル
７０ 重心
１００ 画像
１０１，１０１ａ〜１０１ｆ 選択領域
１０２ 隠れ領域
２００，２００−１，２００−２，２００−３，２００−ｎ，２１０，２２０ 特徴量領域
２０１，２１１ 重なり領域
【技術分野】
【０００１】
本発明は、画像から顔を検出する顔検出方法に関する。
【背景技術】
【０００２】
特徴量を用いた統計量的学習により対象物を検出する装置として、例えば非特許文献１に記載されているものが知られている。非特許文献１に記載された対象物検出装置は、Ｈａａｒ−ｌｉｋｅ（ハーライク）特徴量とＢｏｏｓｔｉｎｇ（ブースティング）を用いた顔検出器であり、この顔検出器では、複数の強判別器を一列に連結したカスケード構造を採り、各強判別器は、顔画像に高い通過率を持ち、非顔画像を一定の値で排除する。各強判別器は、複数の弱判別器を有し、各弱判別器が特徴量に対するスコアを求め、そのスコアの合計が各強判別器における所定の閾値を超えるか否かによって、各強判別器が顔か非顔かの判定を行う。全ての強判別器の判定結果が真の場合即ち顔の場合にのみ顔と判定する。各弱判別器は、所定のサイズの入力画像から特徴量を作成し、学習結果を用いて特徴量ごとのスコアを求める。
【０００３】
上記非特許文献１で用いられているＨａａｒ−ｌｉｋｅ特徴量は、入力画像に設定する複数の評価ブロックに対し、１対の評価ブロック領域内の画素の平均輝度同士の大小関係より得ている。なお、顔検出に用いる特徴量は、Ｈａａｒ−ｌｉｋｅ特徴量に限らず、例えば特許文献１に記載されている特徴量などを用いても構わない。この特許文献１に記載されている特徴量は、評価ブロック領域内画素の平均輝度と、各評価ブロック領域内画素の平均輝度同士の大小関係より明暗のパターンと明暗の強度とを得ており、明暗のパターンと強度ごとの顔らしさ値を設定している。この特徴量の方がＨａａｒ−ｌｉｋｅ特徴量の場合よりも１つの弱判別器による分離性能が高い。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Paul Viola、Michael Jones、「Rapid Object Detection Using a Boosted Cascade of Simple Features」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)、2001年12月、ISSN: 1063-6919, Vol.1、P.511-518
【特許文献】
【０００５】
【特許文献１】特開２００６−３５０６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、単独の顔検出器では、検出しようとする顔に隠れ（隠蔽）が生じていると検出率をあまり高くとれないという課題がある。顔に隠れが生ずる場合とは、帽子を被っている場合、サングラスを掛けている場合、マスクを掛けている場合、髪の毛によって目が隠れている場合、その他さまざまな遮蔽物によって隠れを生じている場合などである。これらの課題のうち典型的な隠れについては、顔のその典型的な隠れの種類によって別の検出器を用意することで解決することは可能であるが、複数の検出器を用意することで、（１）検出器ごとに学習を行う必要があり、学習結果データも増加する、（２）検出器ごとに特徴量の計算が必要となり計算量が増加する、（３）ハードウェア化する際の回路規模が大きくなる、などの新たな課題が生ずる。顔の隠れの種類によって用意する検出器としては、例えば帽子を被った顔に対応できる帽子顔検出器、マスクを掛けた顔に対応できるマスク顔検出器などが挙げられる。このように様々な顔の隠れに対応するためには、それぞれに対応する検出器を用意する必要があり、それによって上記（１）〜（３）の課題が生ずることになる。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、単独の検出器でも、隠れが生じている顔を高い検出率で検出することができる顔検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の顔検出方法は、評価対象画像内に顔があるか否かを判定するために前記評価対象画像内に顔枠領域を設定するステップと、前記顔枠領域内に選択領域を設定するステップと、前記顔枠領域内に、画像が顔であるか否かを判定するための一つ以上の画素で構成される複数の特徴量領域を設定するステップと、前記特徴量領域内の前記評価対象画像に対して所定の評価を行ってスコアを求めるスコア算出ステップと、前記選択領域と前記特徴量領域との重なりの程度に応じて、前記スコアを前記選択領域に按分する按分ステップと、前記スコア算出ステップと前記按分ステップを前記複数の特徴量領域の全てにおいて実行するステップと、前記複数の特徴量領域において按分されたスコアを集計するステップと、前記集計した結果により、前記選択領域が顔であるか否かを判定するステップと、を備えたことを特徴とする。
【０００９】
上記方法によれば、複数の特徴量領域それぞれについて、選択領域との重なりの程度に応じてスコアを選択領域に按分し、さらに、複数の特徴量領域のそれぞれにおいて按分されたスコアを集計し、その集計結果に応じて選択領域が顔であるか否かを判定し、前記処理を複数の選択領域のそれぞれについて行う。即ち、１つの顔枠領域に対して、複数の選択領域を設定して、選択領域ごとに顔・非顔の判定を行うので、１つの選択領域でも顔を判定することで最終的に顔を判定できる。顔枠領域において、選択領域を除く残りの領域は、隠蔽領域と見なせるので、隠れのある画像に相当することになる。従来は、隠れのある画像に対して、その画像から顔を判定できる専用の顔検出器を用意する必要があったが、顔枠領域に対して選択領域を設定することで、隠れのある領域の特徴量の寄与を低下させた検出器を構築できる。これにより、マスク顔検出器などといった特定の隠れ顔の専用の顔検出器を用意する必要がなく、１つの顔検出器で様々な隠れのある画像および隠れのない画像から顔か非顔かを判定することができる。そして、１つの顔検出器のみで済むことから、（１）検出器ごとに学習を行う必要がなく学習結果データも増加しない、（２）検出器ごとの特徴量の計算が不要となり計算量が増加しない、（３）ハードウェア化する際の回路規模が増えない、という効果が得られる。
【００１０】
上記方法において、複数の選択領域でそれぞれ顔であるか否かを判定した結果に応じて、前記顔枠領域が顔であるか否かを判定するステップを備えたことを特徴とする。
【００１１】
上記方法によれば、顔枠領域が顔であるか否かを判定することができる。
【００１２】
上記方法において、前記スコアの按分は、前記特徴量領域の面積と前記特徴量領域と前記選択領域との重なり部分の面積との面積比とすることを特徴とする。
【００１３】
上記方法によれば、最適なスコアを得ることができる。
【００１４】
上記方法において、前記スコアの按分は、前記特徴量領域の重心が前記選択領域内に存在する場合は１００％、存在しない場合は０％とすることを特徴とする。
【００１５】
上記方法によれば、最適なスコアを得ることができる。
【００１６】
上記方法において、前記スコアの按分を行う場合に、全ての選択領域が分割顔枠領域の組み合わせで構成できるような分割顔枠領域を設定し、各分割顔枠領域でスコアを出したうえで選択領域を構成する分割顔枠領域のスコアを合計することで選択領域のスコアを求めることを特徴とする。
【００１７】
上記方法によれば、選択領域のスコアを効率的に求めることができる。
【００１８】
上記方法において、前記選択領域が顔であるか否かを判定するステップは、閾値と前記集計するステップで集計されたスコアとの比較により判定を行い、前記閾値は選択領域ごとに設定されることを特徴とする。
【００１９】
上記方法によれば、選択領域ごとに顔か非顔かを最適に判定することができる。
【００２０】
上記方法において、各選択領域における顔であるか否かの判定結果から顔の隠蔽された領域を推定することを特徴とする。
【００２１】
上記方法によれば、顔の隠蔽された領域を推定することができる。
【００２２】
本発明のオブジェクト検出方法は、評価対象画像内にオブジェクトがあるか否かを判定するために前記評価対象画像内にオブジェクト枠領域を設定するステップと、前記オブジェクト枠領域内に選択領域を設定するステップと、前記オブジェクト枠領域内に、画像がオブジェクトであるか否かを判定するための一つ以上の画素で構成される複数の特徴量領域を設定するステップと、前記特徴量領域内の前記評価対象画像に対して所定の評価を行ってスコアを求めるスコア算出ステップと、前記選択領域と前記特徴量領域との重なりの程度に応じて、前記スコアを前記選択領域に按分する按分ステップと、前記スコア算出ステップと前記按分ステップを前記複数の特徴量領域の全てにおいて実行するステップと、前記複数の特徴量領域において按分されたスコアを集計するステップと、前記集計した結果により、前記選択領域がオブジェクトであるか否かを判定するステップと、を備えたことを特徴とする。
【００２３】
上記方法によれば、複数の特徴量領域それぞれについて、選択領域との重なりの程度に応じてスコアを選択領域に按分し、さらに、複数の特徴量領域のそれぞれにおいて按分されたスコアを集計し、その集計結果に応じて選択領域がオブジェクトであるか否かを判定し、前記処理を複数の選択領域のそれぞれについて行う。即ち、１つのオブジェクト枠領域に対して、複数の選択領域を設定して、選択領域ごとにオブジェクト・非オブジェクトの判定を行うので、１つの選択領域でもオブジェクトを判定することで最終的にオブジェクトを判定できる。オブジェクト枠領域において、選択領域を除く残りの領域は、隠蔽領域と見なせるので、隠れのある画像に相当することになる。従来は、隠れのある画像に対して、その画像からオブジェクトを判定できる専用のオブジェクト検出器を用意する必要があったが、オブジェクト枠領域に対して選択領域を設定することで、隠れのある領域の特徴量の寄与を低下させた検出器を構築できる。これにより、専用のオブジェクト検出器を用意する必要がなく、１つのオブジェクト検出器で様々な隠れのある画像および隠れのない画像からオブジェクトか非オブジェクトかを判定することができる。そして、１つのオブジェクト検出器のみで済むことから、（１）検出器ごとに学習を行う必要がなく学習結果データも増加しない、（２）検出器ごとの特徴量の計算が不要となり計算量が増加しない、（３）ハードウェア化する際の回路規模が増えない、という効果が得られる。
【発明の効果】
【００２４】
本発明によれば、単独の検出器でも、隠れが生じている顔を高い検出率で検出することができる。また、隠れを生じさせた物体の種類を限定させて学習した場合（例：マスク顔の学習）と異なり、隠れを生じさせた物体の種類によらず、検出の効果を得ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施の形態に係る顔検出器の概略構成を示すブロック図
【図２】図１の顔検出器において、強判別器を構成する複数の弱判別器のスコアのテーブルのデータ構造の一例を示す図
【図３】図１の顔検出器において、強判別器ごとの各弱判別器におけるスコアのテーブルのデータ構造の一例を示す図
【図４】図１の顔検出器の１つの強判別器に属する各弱判別器における分配係数を示す分配係数テーブルの一例を示す図
【図５】図１の顔検出器において、分配係数を求める処理を模式的に示した図
【図６】図１の顔検出器において、分配係数を求める処理を模式的に示した図
【図７】図１の顔検出器において、パターンごとの強判別器の閾値テーブルのデータ構造の一例を示す図
【図８】図１の顔検出器の動作の概略を模式的に示した図
【図９】図１の顔検出器において、各選択領域に対する全ての強判別器の判定結果の一例を模式的に示した図
【図１０】図１の顔検出器において、強判別器の内部の動作を模式的に示した図
【図１１】図１０の処理の具体例を模式的に示した図
【図１２】図１の顔検出器の動作を説明するためのフローチャート
【図１３】図１の顔検出器におけるスコア按分の応用例を模式的に示した図
【図１４】図１の顔検出器において、スコア按分を特徴量領域の重心に基づいて行う場合の強判別器の内部動作を模式的に示した図
【図１５】図１の顔検出器における選択領域の応用例の一例を模式的に示した図
【図１６】図１の顔検出器におけるＲＯＩ全領域を選択領域としたときのスコアの分布の一例を示した図
【図１７】図１の顔検出器における部分領域である選択領域でのスコアの分布の例を示した図
【発明を実施するための形態】
【００２６】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２７】
まず、本発明の実施の形態について説明する。本発明の実施の形態は、評価対象画像内に顔があるか否かを判定するために、例えばカメラからの入力画像（これを“評価対象画像”と呼ぶ）内に顔枠領域（以下、“ＲＯＩ:Region of Interest”と呼ぶ）を設定し、次いで、ＲＯＩ内に部分顔枠領域（以下、“選択領域”と呼ぶ）を設定し、次いで、ＲＯＩ内に画像が顔であるか否かを判定するための１つ以上の画素で構成される評価ブロック（評価ブロックの領域を“特徴量領域”と呼ぶ）を複数設定し、設定した特徴量領域内の評価対象画像に対して所定の評価を行ってスコアを求める。次いで、選択領域と特徴量領域との重なりの程度に応じてスコアを選択領域に按分し、前記スコア算出及び按分処理を複数の特徴量領域の全てにおいて実行し、その後、複数の特徴量領域において按分されたスコアを集計して、その集計結果により、設定した選択領域が顔であるか否かを判定し、複数の選択領域でそれぞれ顔であるか否かを判定した結果に応じてＲＯＩが顔であるか否かを判定する、例である。
【００２８】
図１は、本発明の一実施の形態に係る顔検出器の概略構成を示すブロック図である。同図において、本実施の形態の顔検出器１は、複数の強判別器２−１，…，２−ｍを備える。強判別器２−１は、複数の弱判別器３−１−１，…，３−１−ｎ、メモリ部４、閾値テーブル５及び比較判定部６を備える。強判別器２−２は、複数の弱判別器３−２−１，…，３−２−ｎ、メモリ部４、閾値テーブル５及び比較判定部６を備える。同様に、強判別器２−ｍは、複数の弱判別器３−ｍ−１，…，３−ｍ−ｎ、メモリ部４、閾値テーブル５及び比較判定部６を備える。ここで、各強判別器２−１，…，２−ｍが有する弱判別器は異なるものであり、その数も一定ではない。なお、各強判別器２−１，…，２−ｍはパラメータの違いだけで全て共通する動作を行うので、強判別器２−１を例に挙げて説明する。また、強判別器２−１の各弱判別器３−１−１，…，３−１−ｎも全て共通する動作を行うので、弱判別器３−１−１を例に挙げて説明する。また、複数の強判別器２−１，…，２−ｍをひとまとめに呼称する場合は“強判別器２”と記載し、複数の弱判別器３−１−１，…，３−１−ｎをひとまとめに呼称する場合は“弱判別器３”と記載することとする。以下、簡単化のため、弱判別器３−１−１を“弱判別器３−１”と記載することとする。
【００２９】
上述したように、強判別器２に含まれる弱判別器３の数は一定ではないが、後段の強判別器２ほど、多数の弱判別器３を含む傾向にある。弱判別器３−１は、特徴量算出部３０−１、スコアテーブル３０−２及び分配係数テーブル３０−３を備える。特徴量算出部３０−１は、評価対象画像内に顔があるか否かを判定するために、当該評価対象画像に設定したＲＯＩ（即ち顔枠領域）２０における弱判別器３−１の特徴を量的に算出する。特徴量としては、前述した非特許文献１で用いられているＨａａｒ−ｌｉｋｅ特徴量でも良く、また特許文献１に記載されている特徴量でも良い。または、その他の特徴量でも良い。因みに、Ｈａａｒ−ｌｉｋｅ特徴量は、入力画像に設定した複数の評価ブロックに対し、１対の評価ブロック領域内の画素の平均輝度同士の大小関係より得られる。特許文献１に記載されている特徴量は、評価ブロック領域内画素の平均輝度と、各評価ブロック領域内画素の平均輝度同士の大小関係より得られる。
【００３０】
弱判別器３−１の特徴の条件として、正規化したＲＯＩ２０の空間座標において、その座標上の画素値から算出される特徴であり、特徴量計算に用いる画素が選択領域に含まれているかどうかを判定できることが挙げられる。以下にその例を満たす特徴量の例を挙げる。また、これらの特徴を組み合わせて生成できる特徴においても適用可能である。
例（１）：明るいブロック（明ブロック）の輝度値の総和−暗いブロック（暗ブロック）の輝度値の総和
例（２）：複数の評価ブロックの明暗のパターンとその強度
例（３）：複数の評価ブロックの明暗の明暗パターン
例（４）：エッジ画像からブロック内のエッジ強度による特徴量
例（５）：評価ブロック内の輝度値の勾配と勾配の強度を用いた特徴
例（６）：複数の評価ブロックの明暗パターンと同じブロック領域でのエッジ画像の明暗パターン
【００３１】
なお、本発明における特徴に該当しないものとしては、例えばＲＯＩのフーリエ変換が挙げられる。ＲＯＩのフーリエ変換は、ＲＯＩ領域の全ての画素値に基づく計算量であって選択領域によって絞り込むことができないためである。また、微妙なものとしては、例えばＧａｂｏｒ特徴量が挙げられる。
【００３２】
弱判別器３−１のスコアテーブル３０−２は、特徴量算出部３０−１で算出された特徴量のスコアを得るためのルックアップテーブルである。図２は、弱判別器３−１−１，…，３−１−ｎのスコアテーブルのデータ構造の一例を示す図である。同図では、非特許文献１で示されたと同じく、閾値によって２値判定した場合の例である。例えば、弱判別器３−１−１では、特徴量のスコアとしてＯＫのとき（即ち閾値以上のとき）は“１”の値をとり、特徴量のスコアとしてＮＧのとき（即ち閾値未満のとき）は“−０．７”の値をとる。同じく、弱判別器３−１−２では、特徴量のスコアとしてＯＫのとき（即ち閾値以上のとき）は“０．８”の値をとり、特徴量のスコアとしてＮＧのとき（即ち閾値未満のとき）は“−０．６”の値をとる。また、弱判別器３−１−３では、特徴量のスコアとしてＯＫのとき（即ち閾値以上のとき）は“０．７”の値をとり、特徴量のスコアとしてＮＧのとき（即ち閾値未満のとき）は“−０．５”の値をとる。他に別の特徴量を用いたときには、弱判別器のスコアテーブルは必ずしも２値ではなく、２次元ルックアップテーブルとして与えられる場合もある。例（２）の複数の評価ブロックの明暗のパターンとその強度を特徴量に用いた場合には、弱判別器のスコアテーブルは、明暗パターンとその強度の２つのインデックスに対するルックアップテーブルとして与えられる。
【００３３】
上述したように１つの強判別器２−１を構成する複数の弱判別器３−１−１，…，３−１−ｎの各々における特徴量のスコアは強判別器２−１において異なるだけではなく、強判別器２ごとに異なる値となる。図３は、強判別器２ごとの各弱判別器３における特徴量のスコアのテーブルのデータ構造の一例を示す図である。同図に示すように、強判別器２が異なれば含まれる弱判別器が異なるため弱判別器３の特徴量のスコアも異なる。
【００３４】
分配係数テーブル３０−３は、選択領域と特徴量領域との重なりに応じて、スコアを選択領域に按分する際に用いられる係数のテーブルである。即ち、弱判別器３では、特徴量領域内の選択領域の画像に対して所定の評価を行ってスコアを求めるが、このとき求められたスコアを選択領域に按分する際に用いられる。スコアの按分は、特徴量領域の面積と、特徴量領域と選択領域との重なり部分の面積との面積比となる。分配係数の値は０％から１００％までの間の値をとる。図４は、例えば１番目の強判別器に属する各弱判別器３−１−１，…，３−１−ｎにおける分配係数を示す分配係数テーブル３０−３の一例を示す図である。図４に示す分配係数テーブルは、検出器で使用される強判別器の数だけある。また、それぞれの強判別器に属する弱判別器の個数も、強判別器ごとに異なる。ここで、同図に記載しているパターン１，２，…は、選択領域のパターンを示している。特徴量領域の全域が選択領域と重なる場合、分配係数は１００％となり、特徴量領域が多少の領域を残して選択領域と重なる場合、１００％より低い分配係数となる。まったく重ならない場合には０％となる。分配係数テーブルは、各特徴量と選択領域とが与えられれば決定される量であり、予め計算によって固定値として与えられる。
【００３５】
図５及び図６は、分配係数を求める処理を模式的に示した図である。図５の（ａ）において、ＲＯＩ２０の領域サイズの画像１００に対して特徴量領域２００を設定する。このとき、特徴量領域２００の特徴量のスコアを“ａ”と仮定する。次いで、図５の（ｂ）において、画像１００内に選択領域１０１を設定する。このときの選択領域１０１は、隠れ領域１０２を除く領域である。なお、図５の（ａ）の画像１００そのものも選択領域であり、隠れ領域１０２が無いだけである。次いで、図５の（ｂ）に示すように、隠れ領域１０２がある選択領域１０１の場合、特徴量領域２００の特徴量のスコアは、隠れ領域１０２が無いときの特徴量領域２００の特徴量のスコアａに選択領域１０１での特徴量の分配係数を掛けた値となる。選択領域１０１での特徴量の分配係数は、図５の（ｃ）に示すように、特徴量領域２００と選択領域１０１とが重なった重なり領域２０１の面積を特徴量領域２００の面積で割った値となる。このとき、特徴量領域２００と選択領域１０１の重なり領域２０１は、図５の（ｄ）で示すように略逆Ｌ字状となる。特徴量領域２００を１００％とすると、特徴量領域２００に対する重なり領域２０１の割合は５０％となる。したがって、分配係数は５０％となり、重なり領域２０１のスコアは、特徴量領域２００のときのスコアａの５０％即ち０．５ａとなる。このスコア０．５ａが、選択領域１０１が設定された弱判別器３の出力となる。
【００３６】
また、図６の（ａ）において、ＲＯＩ２０の領域サイズの画像１００に対して特徴量領域２１０を設定する。このとき、特徴量領域２１０の特徴量のスコアを“ｂ”と仮定する。次に、図６の（ｂ）において、画像１００内に選択領域１０１を設定する。このときの選択領域１０１は、隠れ領域１０２を除く領域である。なお、上記同様に、図６の（ａ）の画像１００そのものも選択領域であり、隠れ領域１０２が無いだけである。図６の（ｂ）に示す選択領域１０１における特徴量領域２１０の特徴量のスコアは、特徴量のスコアｂに選択領域１０１での特徴量の分配係数を掛けた値となる。選択領域１０１での特徴量の分配係数は、図６の（ｂ）に示すように、特徴量領域２１０と選択領域１０１とが重なった重なり領域２１１の面積を特徴量領域２１０の面積で割った値となる。このとき、特徴量領域２１０と選択領域１０１の重なり領域２１１は、特徴量領域２１０と同じである。特徴量領域２１０を１００％とすると、特徴量領域２１０に対する重なり領域２１１の割合は１００％となる。したがって、分配係数は１００％となり、重なり領域２１１のスコアは、特徴量領域２１０のときのスコアｂの１００％即ちｂとなる。このスコアｂが、選択領域１０１が設定された弱判別器３の出力となる。
【００３７】
なお、図５及び図６では、特徴量領域２００，２１０それぞれの形状を矩形としたが、この形状に限定はなく、如何なる形状であっても構わない。また、選択領域の形状も後述するように、直線で区切られている必要はなく、如何なる形状であっても構わない。
【００３８】
強判別器２−１のメモリ部４は、選択領域ごとのスコア合計を記憶する。強判別器２−１の閾値テーブル５は、選択領域ごとの強判別器２の閾値テーブルである。図７は、選択領域のパターンごとの強判別器２の閾値テーブルのデータ構造の一例を示す図である。同図では、全ての閾値が正の値となっているが、負の値となる場合もある。また、同図において、１番目の強判別器２−１と２番目の強判別器２−２では、選択領域のパターンごとの閾値が一致しているが、一致しない場合が多い。また、同図において、強判別器２が後段になるに従って閾値の値が増加しているが、必ずしもこのような傾向になるとは限らないし、また単調に増加する（例えば、パターン１では、１．５→２．１５→３．０→４．０）とも限らない。
【００３９】
ここで、選択領域に対する閾値の決定方法について説明する。
学習データとして用意された顔画像群と非顔画像群に対して以下の処理を行う。
各強判別器２に対して以下の処理を行う。
・強判別器２に属する弱判別器３について、隠れのない場合（＝全領域を用いた場合）の弱判別器３のスコアの合計の分布を作成する。すなわち、強判別器２に至るまでの全ての強判別器のいずれかに属する全ての弱判別器のスコアの合計の分布を作成する。図１６はそのスコア合計の分布の模式図である。図１６の横軸はスコア合計、縦軸は頻度（相対値）である。グラフの下側は、分布の裾の広がりを見るための拡大図である。横軸の右側にあるほど、ＲＯＩ領域にある画像は顔らしいと判断され、横軸の左側にあるほど顔らしくないと判断されていることを示している。なお、横軸のスコア合計の０の位置は、特別意味を持たない。顔画像群に対してはある値を中心に左右に裾を引いた形状の分布になる。非顔画像群に対しては、それより値の低いスコア(図の左側に)にピークを持つ分布になる。良好な学習を行った場合には、顔画像群に対するスコア合計の分布と非顔画像群に対するスコア合計の分布が離れていて、スコア合計の閾値との比較によって顔・非顔の判定ができる。誤検出を一定の頻度以下に抑えるためには、非顔のスコア合計の分布の閾値以上の値を占める比率を一定値以下になるように調整する。
・弱判別器３のスコアに対する各選択領域１０１への分配係数を用いて、各選択領域１０１に対する弱判別器３のスコアを算出する。
・各選択領域１０１に対する弱判別器３のスコアの合計の分布を作成する。すなわち、強判別器２に至るまでの全ての強判別器のいずれかに属する全ての弱判別器の各選択領域１０１での分配係数を考慮したスコアの合計の分布を作成する。隠れのない顔画像群と非顔画像群でのスコア合計の分布を比較すると、その分布は、全領域を用いた場合のスコア合計の分布よりは近接した分布となる。そうであっても、選択領域が実際に顔の見えている範囲に合致するときは、顔の見えていない領域の特徴量の寄与を低下させることで、顔と非顔の分離性を得ることができる。そのための強判別器の閾値は、選択領域１０１ごとにより異なり、次のようにして設定する。
・各選択領域１０１に対する強判別器３の閾値を非顔スコアに対する通過率を所定値以下になるように設定する。この非顔スコアに対する通過率は、選択領域に対する非顔スコアの合計の分布図のうち、閾値以上の面積が、スコア合計分布全体の面積に占める割合である。この値が大きいときには誤検出を生じやすくなるので、許容できる誤検出率になるように、閾値の値を調整する。そして、その閾値に対して、選択領域での顔のスコア合計の分布図とを比較したときに、その選択領域での検出率を見積もることができる。図１７は選択領域１０１ｄ（図８参照）の場合のスコア合計の分布の模式図である。選択領域がＲＯＩ全体である図１６の場合と比べて、顔画像のスコア合計の分布の裾と非顔画像のスコア合計の分布の裾は、近接している。なお、図１６での分布のピーク位置と図１７での分布のピーク位置は一般には異なる。顔画像のピークと非顔画像のピークとの差は、選択領域を設定するとＲＯＩを全て選択領域とする場合に比べて、ピーク間の差が小さくなる。この例の閾値は、非顔が顔と判定されないことを重要視したポリシーにもとづいて閾値を設定している（フォルスポジティブ）。このように、選択領域ごとにスコア合計の分布を求めて閾値を設定する。
なお、閾値の設定方法は上記に限らず隠蔽のない場合の閾値をもとにして、分配係数をもとに一定の係数をかけるなどして各選択領域の閾値を求めても良い。
実用上重要なことは、図１７のスコア合計の分布図を作成するのにおいて、隠れを生じた自然画像（＝人為的に加工した画像ではなく、ふつうに隠れを生じた無加工の画像）を必要としないという点である。本発明では、隠れを生じた顔の検出器の構築にあたって、隠れを生じた顔の学習用にも、閾値の調整用にも必要としない。
【００４０】
強判別器２−１の比較判定部６は、メモリ部４に記憶された選択領域ごとのスコア合計と選択領域ごとの強判別器２−１の閾値との比較を行い、その結果即ち選択領域ごとの強判別器２−１の判定結果を出力する。
【００４１】
次に、本実施の形態の顔検出器１の動作を説明する。
図８は、本実施の形態の顔検出器１の動作の概略を模式的に示した図である。同図において、本実施の形態の顔検出器１では、例えばＲＯＩ２０の領域に対して５つの選択領域を設定する。四角形の隠れ領域１０２を除く部分が選択領域であるが、選択領域１０１ａについては隠れ領域１０２はなくＲＯＩ２０全体が選択されている。隠れ領域１０２が左上にあるのが選択領域１０１ｂ、隠れ領域１０２が右上にあるのが選択領域１０１ｃ、隠れ領域１０２が左下にあるのが選択領域１０１ｄ、隠れ領域１０２が右下にあるのが選択領域１０１ｅである。これらの選択領域１０１ａ〜１０１ｅに対し、顔検出器１を構成する複数の強判別器２−１，…，２−ｍの各々が顔・非顔の判定を行う。各選択領域１０１ａ〜１０１ｅに対する全ての強判別器２−１，…，２−ｍの判定結果から、どの選択領域での判定も非顔のときだけ非顔と判定する。
【００４２】
図９は、各選択領域１０１ａ〜１０１ｅに対する全ての強判別器２−１，…，２−ｍの判定結果の一例を模式的に示した図である。この例では、強判別器２−１は、選択領域１０１ａ〜１０１ｅの全てに対して「顔」と判定している。強判別器２−２は、選択領域１０１ａ，１０１ｃ，１０１ｄ及び１０１ｅの４つの選択領域に対して「顔」と判定している。また、強判別器２−３は、選択領域１０１ａ，１０１ｄ及び１０１ｅの３つの選択領域に対して「顔」と判定している。また、強判別器２−ｍは、選択領域１０１ｄに対してのみ「顔」と判定している。顔・非顔の判定においては、選択領域ごとに誤検出数が一定値以下になるように調整した閾値を用いて行う。また、強判別器２に対して顔判定が続いている選択領域がある限り、次段の強判別器２にて顔・非顔の判定を行う。したがって、例えば強判別器２−２では、選択領域１０１ｂに対して「非顔」と判定したので、それ以降の強判別器２−３，…，２−ｍでは判定は行われない。選択領域１０１ｄに対しては、全ての強判別器２−１，…，２−ｍが「顔」と判定しているので、最後の強判別器２−ｍまで判定が行われる。この図に示す例では、選択領域１０１ｄのみ「顔」と判定している。選択領域１０１ｄが「顔」と判定されたので、評価対象画像は「顔」であると判定される。
【００４３】
次に、強判別器２−１の内部動作について説明する。
図１０は、強判別器２−１の内部動作を模式的に示した図である。同図において、強判別器２−１は、ｎ個の弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎを備えている。弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎの各々は、対応する特徴量領域を設定する。特徴量領域とはその領域に属する画素値を用いて弱判別器の特徴を計算する領域である。即ち、弱判別器３−１−１は、特徴量領域２００−１を設定する。また、弱判別器３−１−２は、特徴量領域２００−２を設定する。また、弱判別器３−１−３は、特徴量領域２００−３を設定する。また、弱判別器３−１−ｎは、特徴量領域２００−ｎを設定する。そして、各弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎは、隠れのない場合に対する弱判別器のスコアを求める。各弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎのスコアは、図２に示すスコアテーブル３０−２より得られる。次に、それぞれの選択領域１０１ａ〜１０１ｅの場合の選択領域での分配係数を考慮した各弱判別器のスコアを求める。全領域の選択領域１０１ａを除く他の全ての選択領域１０１ｂ〜１０１ｅについて、特徴量領域２００−１〜２００−ｎと選択領域１０１ｂ〜１０１ｅとの重なり程度に応じて、スコアを選択領域１０１ｂ〜１０１ｅに按分する。スコアを選択領域１０１に按分するときには、図４に示す分配係数テーブル３０−３の分配係数を用いる。以上のように各弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎは、選択領域１０１ａ〜１０１ｅにおけるスコアを求める。そして、選択領域１０１ａ〜１０１ｅごとに各弱判別器３−１−１，３−１−２，３−１−３，…，３−１−ｎより得られるスコアを合計し、合計値を強判別器２−１の閾値と比較し、その比較結果から顔・非顔を判定する。スコア合計値と比較する強判別器２−１の閾値は、図７に示す閾値テーブル５より得る。
【００４４】
図１１は、図１０の具体例を模式的に示した図である。この場合強判別器２−１は４つの弱判別器３−１−１，３−１−２，３−１−３，３−１−ｎから構成される。同図において、弱判別器３−１−１における判別に際して特徴量領域２００−１が設定される。このとき、特徴量領域２００−１に対して与えられたスコアが「１．０」であるとすると、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおける弱判別器３−１−１から出力されるスコアは、１．０×１００％＝１．０となる。また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおける弱判別器３−１−１から出力されるスコアは、１．０×８０％＝０．８となる。また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおける弱判別器３−１−１から出力されるスコアは、１．０×８０％＝０．８となる。
【００４５】
また、弱判別器３−１−２における判別に際して特徴量領域２００−２が設定される。このとき、特徴量領域２００−２に対して与えられたスコアが「−０．６」であるとすると、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおける弱判別器３−１−２から出力されるスコアは、−０．６×１００％＝−０．６となる。また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおける弱判別器３−１−２から出力されるスコアは、−０．６×１００％＝０．６となる。また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおける弱判別器３−１−２から出力されるスコアは、−０．６×２０％＝−０．１２となる。
【００４６】
また、弱判別器３−１−３における判別に際して特徴量領域２００−３が設定される。このとき、特徴量領域２００−３に対して与えられたスコアが「０．７」であるとすると、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおける弱判別器３−１−３から出力されるスコアは、０．７×１００％＝０．７となる。また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおける弱判別器３−１−３から出力されるスコアは、０．７×１００％＝０．７となる。また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおける弱判別器３−１−３から出力されるスコアは、０．７×１００％＝０．７となる。
【００４７】
また、弱判別器３−１−ｎにおける判別に際して特徴量領域２００−ｎが設定される。このとき、特徴量領域２００−ｎに対して与えられたスコアが「０．３」であるとすると、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおける弱判別器３−１−ｎから出力されるスコアは、０．３×１００％＝０．３となる。また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおける弱判別器３−１−ｎから出力されるスコアは、０．３×１００％＝０．３となる。また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおける弱判別器３−１−ｎから出力されるスコアは、０．３×１００％＝０．３となる。
【００４８】
そして、隠れ領域１０２のない画像１００の全領域を選択する選択領域１０１ａにおいて各弱判別器３−１−１，３−１−２，３−１−３，３−１−ｎから得られるスコアの合計が、１．０＋（−０．６）＋０．７＋０．３＝１．４となる。このスコア合計１．４と強判別器２−１の閾値とを比較する。隠れ領域１０２のない画像１００の全領域に対する強判別器２−１の閾値は１．５であるので、スコア合計１．４＜閾値１．５となり、判定結果は「非顔」となる。
【００４９】
また、左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂにおいて各弱判別器３−１−１，３−１−２，３−１−３，３−１−ｎから得られるスコアの合計が、０．８＋（−０．６）＋０．７＋０．３＝１．２となる。このスコア合計１．２と強判別器２−１の閾値とを比較する。左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｂに対する強判別器２−１の閾値は１．５であるので、スコア合計１．２＜閾値１．５となり、判定結果は「非顔」となる。
【００５０】
また、左下に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄにおいて各弱判別器３−１−１，３−１−２，３−１−３，３−１−ｎから得られるスコアの合計が、０．８＋（−０．１２）＋０．７＋０．３＝１．６８となる。このスコア合計１．６８と強判別器２−１の閾値とを比較する。左上に隠れ領域１０２がある画像１００を選択する選択領域１０１ｄに対する強判別器２−１の閾値は１．５であるので、スコア合計１．６８＞閾値１．５となり、判定結果は「顔」となる。
【００５１】
ここで、図１１の例において、弱判別器３−１−２は、隠れ領域１０２の影響を受けて結果的にＮＧとなるが、選択領域１０１ｄにおけるスコア合計が正（プラス）の方向に行くので、隠れ領域１０２の影響でＮＧが選ばれた弱判別器３−１−２の影響を低減できる。
このため、選択領域を設定した場合のスコアの合計の方が、ＲＯＩ領域全体でのスコアの合計に比べて、選択領域のみが見えている顔画像群における顔スコアの分布と非顔スコアの分布との分離性がよくなる。このことが、選択領域での閾値判定で顔と検出されやすくなる理由である。
なお、各選択領域での閾値が１．５と同じ値が設定されているが、前述したように選択領域ごとに異なる値が設定されてもよい。
【００５２】
また、図１１の例では、１段目の強判別器２−１についてのみの結果であるが、２段目以降の強判別器２−２，…，２−ｍでも１段目の強判別器２−１と同様の処理が行われる。当然ながら、スコアの値や分配係数の値は各段で異なることは言うまでもない（同じ値になることも勿論ある）。また、２段目以降の強判別器２−２，…，２−ｍの判定で行うスコアの合計は、それまでに評価した弱判別器３のスコアの合計を用いる。つまり、強判別器２−２では、強判別器２−１の弱判別器３−１−１から３−１−ｎのスコアの合計に、２段目の強判別器２−２の弱判別器３−２−１から３−２−ｎのスコアの合計を加えたものになる（１番目の強判別器に属する弱判別器３−１の個数と２番目の強判別器に属する弱判別器３−２の個数ｎとは必ずしも同じではない）。２段目以降で、それまでの強判別器２に含まれる弱判別器３のスコアの合計を用いることは次の利点が得られる。
【００５３】
学習に用いているＢｏｏｓｔｉｎｇのアルゴリズムでは、ターゲットと背景画像（検出対象のターゲットを含まない画像）との分離性能がよい特徴量から選択していくので、１番目の強判別器２に含まれる矩形テンプレート（特徴量領域）の方が、最終段の強判別器２に含まれる矩形テンプレート（特徴量領域）よりも分離性能が高い。そのため、それまでの強判別器２に含まれる弱判別器３のスコアの合計を用いた方が、ターゲットと背景とのスコアの合計の分離性能がよくなる。但し、本発明に述べる手法において、スコアの合計をそれまでに評価した弱判別器３のスコアの合計にすることは必須条件ではない。各強判別器２に含まれる弱判別器３のスコアの合計のみで判定してもかまわない。
【００５４】
図１２は、本実施の形態の顔検出器１の動作を説明するためのフローチャートである。同図において、まず評価対象画像内に顔があるか否かを判定するために、該評価対象画像内にＲＯＩ（顔枠領域）２０を設定する（ステップＳ１）。ＲＯＩ２０を設定した後、処理中の選択領域を示すカウンタｋを「１」に設定し、また選択領域数ｐを設定する（ステップＳ２）。次いで、ｋの値を増加させながらｋ番目の選択領域におけるスコア合計［ｋ］を「０」にリセットする（ステップＳ３）。ｋが選択領域数ｐになるまでステップＳ３の処理を繰り返しスコア合計［ｋ］の値を設定する。（ステップＳ２〜ステップＳ４）。以下ステップＳ５以降の処理を各選択領域に対して行っていく。
【００５５】
処理中の強判別器の番号を示すカウンタｉを「１」に設定し、また強判別器数ｍを設定する（ステップＳ５）。次いで、処理中の弱判別器の番号を示すカウンタｊを「１」に設定し、また弱判別器数ｎを設定する（ステップＳ６）。カウンタｉ，ｊ、強判別器数ｍ及び弱判別器数ｎの設定を行った後、ｉ番目の強判別器ｉに属するｊ番目の弱判別器ｊに対応する特徴量を計算し、対応するスコアをスコアテーブル３０−２より取得する（ステップＳ７）。次いで、ｉ番目の強判別器ｉに属するｊ番目の弱判別器ｊでの各選択領域ｋでのスコアの分配係数［ｊ］［ｋ］を分配係数テーブル３０−３より取得する（ステップＳ８）。次いで、各選択領域ｋのスコア合計［ｋ］に、弱判別器ｊの特徴量のスコア×分配係数［ｊ］［ｋ］を加算する（ステップＳ９）。ステップＳ７〜ステップＳ９を含む処理を弱判別器３の数ｎだけ繰り返す（ステップＳ６〜ステップＳ１０）。前述のように、強判別器に属する弱判別器の数ｎは、強判別器によって一般に異なる。
一般に検出器を構築する中で演算量が多い部分は、弱判別器に対応する特徴量を算出する部分である。このアルゴリズムにおいては、選択領域の種類によらず、特徴量計算は共通のものを利用している。このため、選択領域の種類を増やしても（すなわち、顔の隠れの生じ方を増やしても）演算量はさほど増加しない。また、学習結果を保持しているスコアテーブルも、選択領域の種類によらず共通のものを利用している。このため、選択領域の種類を増やしても、スコアテーブルの容量が増加しない。
【００５６】
現在選択されているｉ番目の強判別器ｉにまでに属する全ての弱判別器ｊのスコア合計を算出した後、各選択領域ｋで顔・非顔の判定を行う。即ち、選択領域ｋでのスコア合計［ｋ］と選択領域ｋでの強判別器ｉの閾値の比較において、選択領域ｋでのスコア合計［ｋ］≧選択領域ｋでの強判別器ｉの閾値であれば「顔」、選択領域ｋでのスコア合計［ｋ］＜選択領域ｋでの強判別器ｉの閾値であれば「非顔」と判定する（ステップＳ１１）。次に、まだ顔と判定されている選択領域があるか否かを判定し（ステップＳ１２）、まだ顔と判定されている選択領域がない場合（即ち、ステップＳ１２の判定で「Ｎｏ」の場合）、複数の選択領域のいずれも「非顔」である判定結果を得る（ステップＳ１３）。これに対して、ステップＳ１２の判定において、まだ顔と判定されている選択領域がある場合（即ち、ステップＳ１２の判定で「Ｙｅｓ」の場合）、ステップＳ５に戻り、次段以降の強判別器ｉにおいてステップＳ６〜ステップＳ１２の判定を「顔」と判定される選択領域がなくなるまで繰り返し行い、全強判別器について判定が完了し「顔」と判定される選択領域が残っていればループの後端であるステップＳ１４からステップＳ１５に進み、選択領域ｋで「顔」である判定結果を得て、本処理を終える。また、判定の途中で顔と判定されている選択領域が残っていない場合（即ちステップＳ１２の判定で「Ｎｏ」の場合）にはループを抜けそれより後段の強判別器の評価を実行せず、上述したように、全ての選択領域で「非顔」であるという判定結果を得て、本処理を終える。
上の処理結果より、１つ以上の選択領域ｋで顔と判定されたという結果が得られた場合には評価対象画像は顔であると判断でき、全ての選択領域で「非顔」であるという判定結果が得られた場合には評価対象画像は非顔であると判断できる。
選択領域を設定したときと、選択領域を設定しないときによるデータ構造の違いは次の通りである。選択領域を設定したときには、各弱判別器における分配係数を示す分配係数テーブル３０−３が加わること、選択領域ごとのスコア合計を保持するようにメモリ部４が拡張されること、閾値テーブル５が、選択領域ごとの閾値テーブルになること、強判別器の判定結果が、選択領域ごとの強判別器の判定結果になることである。これらの部分は、メモリ量の点でも演算量の点でも、特徴量算出自体に比べて負荷が少ない。
【００５７】
このように本実施の形態の顔検出器１によれば、評価対象画像内に顔があるか否かを判定するために、評価対象画像内にＲＯＩ２０を設定し、次いで、ＲＯＩ２０内に複数の選択領域１０１を設定し、次いで、ＲＯＩ２０内に画像が顔であるか否かを判定するための１つ以上の画素で構成される複数の特徴量領域２００を設定し、設定した特徴量領域２００内の評価対象画像に対して所定の評価を行ってスコアを求め、次いで、選択領域１０１と特徴量領域２００との重なりの程度に応じてスコアを選択領域１０１に按分し、これらスコア算出処理及び按分処理の各々を複数の特徴量領域２００の全てにおいて実行し、その後、複数の特徴量領域２００において按分されたスコアを集計し、その集計結果により、設定した選択領域１０１が顔であるか否かを判定し、複数の選択領域１０１でそれぞれ顔であるか否かを判定した結果に応じて、ＲＯＩ２０が顔であるか否かを判定する。
【００５８】
したがって、１つのＲＯＩ２０に対して、複数の選択領域１０１を設定して、選択領域１０１ごとに顔・非顔の判定を行うので、１つの選択領域１０１でも顔を判定することで最終的に顔を判定できる。ＲＯＩ２０において、選択領域１０１を除く残りの隠れ領域１０２は、隠蔽領域と見なせるので、隠れのある画像に相当することになる。従来は、隠れのある画像に対して、その画像から顔を判定できる専用の顔検出器を用意する必要があったが、ＲＯＩ２０に対して選択領域１０１を設定することで、隠れのある画像を隠れのある領域における特徴量の寄与を低下させた検出器、すなわち隠れに対応した検出器を構成できる。これにより、専用の顔検出器を用意する必要がなく、１つの顔検出器で様々な隠れのある画像から顔か非顔かを判定することができる。そして、１つの顔検出器のみで済むことから、（１）検出器ごとに学習を行う必要がなく学習結果データも増加しない、（２）検出器ごとの特徴量の計算が不要となり計算量が増加しない、（３）ハードウェア化する際の回路規模が増えない、という効果が得られる。
【００５９】
なお、本実施の形態の顔検出器１では、スコアの按分を、特徴量領域２００の面積と特徴量領域２００と選択領域１０１との重なり部分の面積との面積比としたが、特徴量領域２００の重心が選択領域１０１に存在する場合は特徴量のスコアを１００％反映させ、存在しない場合は反映させないようにすることも可能である。図１３は、スコア按分の応用例を模式的に示した図である。同図において、特徴量領域２２０の重心７０が選択領域１０１に存在する場合は１００％、存在しない場合は０％とする。分配係数は、特徴量領域が決定し、選択領域が決定した時点で確定するものとする。
【００６０】
また、図１４は、スコア按分を特徴量領域２００の重心に基づいて行う場合の強判別器２−１の内部動作を模式的に示した図である。スコアの按分を特徴量領域２００の重心に基づいて行う以外は、図１０で説明した動作と同じであるので、詳細な説明は省略する。図１４において、弱判別器３−１−１が選択領域１０１ｅに設定した特徴量領域２００−１の重心が右下の隠れ領域１０２に入るため、スコアの按分は０％となる。弱判別器３−１−２においては、選択領域１０１ｄに設定した特徴量領域２００−２の重心が左下の隠れ領域１０２に入るため、スコアの按分は０％となる。弱判別器３−１−３においては、選択領域１０１ｃに設定した特徴量領域２００−３の重心が右上の隠れ領域１０２に入るため、スコアの按分は０％となる。弱判別器３−１−ｎにおいては、選択領域１０１ｃに設定した特徴量領域２００−ｎの重心が右上の隠れ領域１０２に入るため、スコアの按分は０％となる。
【００６１】
また、本実施の形態の顔検出器１では、隠れ領域１０２を正方形状にして、選択領域１０１の形状を略Ｌ字・略逆Ｌ字状としたが、選択領域１０１の形状はどのような形状であっても構わない。図１５は、曲線で区切った選択領域１０１ｆの一例を模式的に示した図である。このような曲線で区切られた領域であっても、分配係数は、特徴量領域の面積と、特徴量領域と選択領域との重なり部分の面積との面積比として予め固定値を計算できるので、検出の実行時への影響はない。
【００６２】
また、本実施の形態の顔検出器１では、評価対象画像に対するＲＯＩ２０の領域の大きさ及び形状について限定しなかったが、ＲＯＩ２０の領域の縦横比は、検出対象物が顔か人物の全身か人物の上半身かなどによって異なり、縦長の場合や横長の場合があり、さらには、上下・左右に分かれることもある。その都度最適なＲＯＩを設定すると良い。
【００６３】
また、本実施の形態の顔検出器１を用いることで、顔画像の隠蔽領域を求めることもできる。選択領域ごとの顔・非顔の判定を行い、顔と判定された選択領域のうち一番広い領域を見えている（隠蔽のない）領域と推定する。例えば、図８に示す５つの選択領域のうち１０１ｄのみが顔と判定され残りが非顔と判定された場合には選択領域１０１ｄの隠れ領域１０２が遮蔽されていると推定する。また、全ての選択領域が顔と判定された場合には一番広い１０１ａには隠れ領域がないため、遮蔽はないと推定する。
【００６４】
また、本実施の形態の顔検出器１では、人の顔を検出するものであったが、人物全身あるいは上半身の検出に用いることも勿論可能である。また、人物以外の車などの検出も勿論可能である。
【００６５】
また、本実施の形態の顔検出器１のハード構成としては、通常のコンピュータを用いることもできる。即ち、顔検出器１は、ＣＰＵ、ＲＡＭ等の揮発性メモリ、及びＲＯＭ等の不揮発性メモリ、及びハードディスク又はＳＳＤ（Solid State Drive）等の大容量記憶装置等を備えたコンピュータによって構成できる。
【００６６】
また、本実施の形態の顔検出器１における処理を記述したプログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布することも可能である。
【産業上の利用可能性】
【００６７】
本発明は、隠れのある顔への専用の顔への検出器を作ることなく、単独の検出器でも、隠れが生じている顔を高い検出率で検出することができるといった効果、また、人物の全身が見えているときと上半身が見えているときとでの人物検出器を共通の学習に基づく単独の人物検出器で構築できるという効果、さまざまな隠れを伴う自動車の検出をできるという効果を有し、監視カメラ装置等への適用が可能である。人物の検出に適用した場合には、全身の人物検出器と上半身の人物検出器（すなわち下半身が隠れている場合の検出器）とを兼ねた単独の検出器を構築できる。さらには、自動車の検出においては、さまざまな隠れ方によっても自動車として検出する検出器を、隠れのない自動車の学習画像から構築できる。
【符号の説明】
【００６８】
１ 顔検出器
２−１，…，２−ｍ 強判別器
３−１−１，…，３−１−ｎ 弱判別器
４ メモリ部
５ 閾値テーブル
６ 比較判定部
２０ ＲＯＩ
３０−１ 特徴量算出部
３０−２ スコアテーブル
３０−３ 分配係数テーブル
７０ 重心
１００ 画像
１０１，１０１ａ〜１０１ｆ 選択領域
１０２ 隠れ領域
２００，２００−１，２００−２，２００−３，２００−ｎ，２１０，２２０ 特徴量領域
２０１，２１１ 重なり領域
【特許請求の範囲】
【請求項１】
評価対象画像内に顔があるか否かを判定するために前記評価対象画像内に顔枠領域を設定するステップと、
前記顔枠領域内に選択領域を設定するステップと、
前記顔枠領域内に、画像が顔であるか否かを判定するための一つ以上の画素で構成される複数の特徴量領域を設定するステップと、
前記特徴量領域内の前記評価対象画像に対して所定の評価を行ってスコアを求めるスコア算出ステップと、
前記選択領域と前記特徴量領域との重なりの程度に応じて、前記スコアを前記選択領域に按分する按分ステップと、
前記スコア算出ステップと前記按分ステップを前記複数の特徴量領域の全てにおいて実行するステップと、
前記複数の特徴量領域において按分されたスコアを集計するステップと、
前記集計した結果により、前記選択領域が顔であるか否かを判定するステップと、
を備えたことを特徴とする顔検出方法。
【請求項２】
複数の選択領域でそれぞれ顔であるか否かを判定した結果に応じて、前記顔枠領域が顔であるか否かを判定するステップを備えたことを特徴とする請求項１に記載の顔検出方法。
【請求項３】
前記スコアの按分は、前記特徴量領域の面積と前記特徴量領域と前記選択領域との重なり部分の面積との面積比とすることを特徴とする請求項１又は請求項２に記載の顔検出方法。
【請求項４】
前記スコアの按分は、前記特徴量領域の重心が前記選択領域内に存在する場合は１００％、存在しない場合は０％とすることを特徴とする請求項１又は請求項２に記載の顔検出方法。
【請求項５】
前記スコアの按分を行う場合に、全ての選択領域が分割顔枠領域の組み合わせで構成できるような分割顔枠領域を設定し、各分割顔枠領域でスコアを出したうえで選択領域を構成する分割顔枠領域のスコアを合計することで選択領域のスコアを求めることを特徴とする請求項１又は請求項２に記載の顔検出方法。
【請求項６】
前記選択領域が顔であるか否かを判定するステップは、閾値と前記集計するステップで集計されたスコアとの比較により判定を行い、前記閾値は選択領域ごとに設定されることを特徴とする請求項１乃至請求項５のいずれか一項に記載の顔検出方法。
【請求項７】
各選択領域における顔であるか否かの判定結果から顔の隠蔽された領域を推定することを特徴とする請求項１乃至請求項６のいずれか一項に記載の顔検出方法。
【請求項８】
評価対象画像内にオブジェクトがあるか否かを判定するために前記評価対象画像内にオブジェクト枠領域を設定するステップと、
前記オブジェクト枠領域内に選択領域を設定するステップと、
前記オブジェクト枠領域内に、画像がオブジェクトであるか否かを判定するための一つ以上の画素で構成される複数の特徴量領域を設定するステップと、
前記特徴量領域内の前記評価対象画像に対して所定の評価を行ってスコアを求めるスコア算出ステップと、
前記選択領域と前記特徴量領域との重なりの程度に応じて、前記スコアを前記選択領域に按分する按分ステップと、
前記スコア算出ステップと前記按分ステップを前記複数の特徴量領域の全てにおいて実行するステップと、
前記複数の特徴量領域において按分されたスコアを集計するステップと、
前記集計した結果により、前記選択領域がオブジェクトであるか否かを判定するステップと、
を備えたことを特徴とするオブジェクト検出方法。
【請求項１】
評価対象画像内に顔があるか否かを判定するために前記評価対象画像内に顔枠領域を設定するステップと、
前記顔枠領域内に選択領域を設定するステップと、
前記顔枠領域内に、画像が顔であるか否かを判定するための一つ以上の画素で構成される複数の特徴量領域を設定するステップと、
前記特徴量領域内の前記評価対象画像に対して所定の評価を行ってスコアを求めるスコア算出ステップと、
前記選択領域と前記特徴量領域との重なりの程度に応じて、前記スコアを前記選択領域に按分する按分ステップと、
前記スコア算出ステップと前記按分ステップを前記複数の特徴量領域の全てにおいて実行するステップと、
前記複数の特徴量領域において按分されたスコアを集計するステップと、
前記集計した結果により、前記選択領域が顔であるか否かを判定するステップと、
を備えたことを特徴とする顔検出方法。
【請求項２】
複数の選択領域でそれぞれ顔であるか否かを判定した結果に応じて、前記顔枠領域が顔であるか否かを判定するステップを備えたことを特徴とする請求項１に記載の顔検出方法。
【請求項３】
前記スコアの按分は、前記特徴量領域の面積と前記特徴量領域と前記選択領域との重なり部分の面積との面積比とすることを特徴とする請求項１又は請求項２に記載の顔検出方法。
【請求項４】
前記スコアの按分は、前記特徴量領域の重心が前記選択領域内に存在する場合は１００％、存在しない場合は０％とすることを特徴とする請求項１又は請求項２に記載の顔検出方法。
【請求項５】
前記スコアの按分を行う場合に、全ての選択領域が分割顔枠領域の組み合わせで構成できるような分割顔枠領域を設定し、各分割顔枠領域でスコアを出したうえで選択領域を構成する分割顔枠領域のスコアを合計することで選択領域のスコアを求めることを特徴とする請求項１又は請求項２に記載の顔検出方法。
【請求項６】
前記選択領域が顔であるか否かを判定するステップは、閾値と前記集計するステップで集計されたスコアとの比較により判定を行い、前記閾値は選択領域ごとに設定されることを特徴とする請求項１乃至請求項５のいずれか一項に記載の顔検出方法。
【請求項７】
各選択領域における顔であるか否かの判定結果から顔の隠蔽された領域を推定することを特徴とする請求項１乃至請求項６のいずれか一項に記載の顔検出方法。
【請求項８】
評価対象画像内にオブジェクトがあるか否かを判定するために前記評価対象画像内にオブジェクト枠領域を設定するステップと、
前記オブジェクト枠領域内に選択領域を設定するステップと、
前記オブジェクト枠領域内に、画像がオブジェクトであるか否かを判定するための一つ以上の画素で構成される複数の特徴量領域を設定するステップと、
前記特徴量領域内の前記評価対象画像に対して所定の評価を行ってスコアを求めるスコア算出ステップと、
前記選択領域と前記特徴量領域との重なりの程度に応じて、前記スコアを前記選択領域に按分する按分ステップと、
前記スコア算出ステップと前記按分ステップを前記複数の特徴量領域の全てにおいて実行するステップと、
前記複数の特徴量領域において按分されたスコアを集計するステップと、
前記集計した結果により、前記選択領域がオブジェクトであるか否かを判定するステップと、
を備えたことを特徴とするオブジェクト検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−１９０２６２（Ｐ２０１２−１９０２６２Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５３２００（Ｐ２０１１−５３２００）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]