判別器学習方法および対象判別装置ならびにプログラム
【課題】 画像内の判別対象の検出について誤検出率を低く保ちつつ高速化を図る。
【解決手段】 部分画像生成手段１１によりサブウィンドウＷが全体画像Ｐ上を複数画素間隔で走査し複数の部分画像ＰＰが生成される。生成された部分画像ＰＰは、候補判別器において顔（判別対象）であるか否かが判別され、顔である可能性のある候補画像ＣＰが検出される。そして、対象検出手段２０において、候補画像ＣＰが顔であるか否かが判別される。ここで、候補判別器１２は、基準サンプル画像と面内回転サンプル画像とを用いてにより学習されている。
【解決手段】 部分画像生成手段１１によりサブウィンドウＷが全体画像Ｐ上を複数画素間隔で走査し複数の部分画像ＰＰが生成される。生成された部分画像ＰＰは、候補判別器において顔（判別対象）であるか否かが判別され、顔である可能性のある候補画像ＣＰが検出される。そして、対象検出手段２０において、候補画像ＣＰが顔であるか否かが判別される。ここで、候補判別器１２は、基準サンプル画像と面内回転サンプル画像とを用いてにより学習されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば人物の顔等の判別対象が画像に含まれているか否かを判別する判別器学習方法および対象判別装置ならびにプログラムに関するものである。
【背景技術】
【０００２】
たとえば顔検出の基本原理は顔か顔ではないかの２クラス判別であり、この判別方法としてブースティング（Ｂｏｏｓｔｉｎｇ）と呼ばれる手法が広く用いられている。ブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法であって、弱判別器における特徴量としてたとえば多重解像度平面のエッジ情報が用いられる。
【０００３】
特に、ブースティングによる顔検出処理の高速化を図るために、弱判別器はカスケード構造を有し弱判別器が顔もしくは非顔の判別を行ったときに、上流側の弱判別器が顔であると判別した画像について下流側の弱判別器がさらに顔か非顔かの判別を行うようになっている（たとえば特許文献１参照）。
【０００４】
上述した判別器に入力される画像には、顔が正面を向いた画像のみならず、顔が画像平面上において回転している（以下「面内回転」という）画像や、顔の向きが画像平面内において回転している（以下、「面外回転」という）画像が入力される。判別器１つあたりが判別可能な顔の回転範囲は限られており、面内回転している画像では３０°程度、面外回転している画像では３０°〜６０°程度の回転であれば顔か非顔かを判別することができる。より広い範囲の顔の向きに対応するためには、それぞれの向きに対応した複数の判別器を用意し、各判別器のすべてに顔であるか否かの判別を行わせる必要がある（たとえば非特許文献２参照）。
【０００５】
ここで、回転角度に応じた複数の判別器に入力する前に、面外回転している顔が含まれているか否かを判断し、その後複数の判別器を用いて顔か非顔かを判断する方法が提案されている（たとえば非特許文献３参照）。非特許文献３において面外回転された顔を検出する際、最初に−９０°〜＋９０°の範囲において顔の向きが回転している面外回転画像であるか否かが判別される。そして、面内回転画像であると判別した画像に対し、−９０°〜−３０°までの面外回転画像を判別する判別器と、−２０°〜＋２０°までの面外回転画像を判別する判別器と、＋３０°〜＋９０°までの面外回転画像を判別する判別器とを用いてそれぞれ顔であるか否かの判別を行う。さらに、各判別器において顔であると判別された画像に対し、より細かく回転角度範囲が分類された複数の判別器を用いて判別が行われるようになっている。
【特許文献１】米国特許出願公開２００２／１０２０２４号明細書
【非特許文献２】Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月参照）
【非特許文献３】Stan Z. Li, ZhenQiu Zhang, FloatBoost Learning and Statistical Face Detection, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 26, NO.9, SEPTEMBER 2004
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、判別処理の高速化を図るとき、たとえば背景、胴体等の全体画像の大部分を占める明らかに顔ではない候補をいかに早い段階で判別することができるか否かがポイントになる。しかし、非特許文献２に示す方法では各回転角度に対応する複数の判別器のすべてが、それぞれ明らかに顔ではない候補の判別を行うようになっているため、判別速度が遅くなってしまうという問題がある。また、非特許文献３においては、面外回転した画像（横顔）の検出は行うことができるが、面内回転した画像の検出することができないという問題がある。
【０００７】
そこで、本発明は、面内回転画像おおよび面外回転画像を高い検出率を保ちつつ高速化を図ることができる判別器学習方法および対象判別装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の判別器の学習方法は、画像が判別対象であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う判別器の学習方法において、判別器が、前記判別対象が所定の方向を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とするものである。
【０００９】
本発明の対象判別装置は、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された部分画像が判別対象であるか否かを判別し、判別対象である可能性のある部分画像を候補画像として検出する候補検出手段と、候補検出手段により検出された候補画像に判別対象であるか否かを判別する対象判別手段とを有するものであり、候補検出手段が、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備えたものであり、候補判別器が、判別対象が所定の方向を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とするものである。
【００１０】
本発明の対象判別プログラムは、コンピュータを、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された部分画像が判別対象であるか否かを判別し、判別対象である可能性のある部分画像を候補画像として検出する候補検出手段と、候補検出手段により検出された候補画像に判別対象であるか否かを判別する対象判別手段として機能させるための対象判別プログラムであって、候補検出手段が、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備えたものであり、候補判別器が、判別対象が正面を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とするものである。
【００１１】
ここで、基準サンプル画像内の判別対象は所定の方向を向いているものであれば、いずれの方向を向いているものであっても良いが、正面を向いていることが好ましい。
【００１２】
また、候補判別器は、さらに基準サンプル画像内の判別対象の向きを回転させた面外回転サンプル画像と、面外回転サンプル画像を面内回転させた面外面内回転サンプル画像とを用いて学習されたものであってもよい。
【００１３】
候補判別器は、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備えたものであれば判別手法は問わず、たとえば部分画像について各弱判別器による判別を行い、その複数の判別結果を用いて最終的な判別を行うようにしてもよい。あるいは、複数の弱判別器がカスケード構造を有し、上流側の弱判別器において顔であると判別された部分画像について下流側の弱判別器による判別を行うものであってもよい。
【００１４】
また、候補判別器が、回転角度の異なる複数の面内回転サンプル画像と、回転角度の異なる複数の面外回転サンプル画像とを用いて学習されたものであることが好ましい。
【００１５】
さらに、候補検出手段は、候補判別器により判別された多数の候補画像をより少ない数の候補画像に絞り込む候補絞込手段を有するものであってもよい。このとき、候補絞込手段は、基準サンプル画像と面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面内回転判別器と、基準サンプル画像と面外回転サンプル画像とを用いて学習された複数の弱判別器を有する面外回転判別器とを有するものであってもよい。なお、候補絞込手段は、基準サンプル画像と面外面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面外面内回転判別器をさらに有するものであってもよい。あるいは、面外面内回転判別器を用いず、面外回転判別器がさらに面外面内回転サンプル画像をも用いて学習されたものであっても良い。
【００１６】
候補検出手段はカスケード構造を有する複数の候補絞込手段を有していてもよい。このとき、候補絞込手段は、複数の面内回転判別器および面外回転判別器を備えたものであり、下流側の候補絞込手段における各面内回転判別器および各面外回転判別器は、上流側の候補絞込手段における各面内回転判別器および各面外回転判別器の判別可能な角度範囲よりも狭くなるように構成されていてもよい。
【発明の効果】
【００１７】
本発明の判別器の学習方法によれば、画像が判別対象であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う判別器の学習方法において、判別器が、判別対象が所定の方向を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面において回転させた面内回転サンプル画像とを用いて学習されたものであることにより、画像内において判別対象が面内回転している判別対象を判別することができるため、判別対象の検出率を向上させることができる。
【００１８】
本発明の対象判別装置ならびにプログラムによれば、候補検出手段の候補判別器が、判別対象が正面を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることにより、たとえば風景や胴体等の明らかに面内回転画像ではない部分画像について候補検出手段において非顔であると判別し、対象判別手段による判別が行われないため、検出作業を高速化し検出時間を大幅に短縮することができる。
【００１９】
なお、候補判別器が、さらに基準サンプル画像内の判別対象の向きを回転させた面外回転サンプル画像と、面外回転サンプル画像を面内回転させた面外面内回転サンプル画像とを用いて学習されたものであれば、候補判別器が面内回転画像のみならず面外回転画像および面外面内画像についても検出することができるため、検出作業を高速化し検出時間を大幅に短縮することができる。
【００２０】
また、複数の弱判別器がカスケード構造を有し、上流側の弱判別器において顔であると判別された部分画像についてさらに下流側の弱判別器による判別を行うものであれば、下流側の弱判別器の計算量を大幅に低減することができるため、判別作業の高速化をさらに促進することができる。
【００２１】
さらに、候補判別器が、回転角度の異なる複数の前記面内回転サンプル画像と、回転角度の異なる複数の面外回転サンプル画像とを用いて学習されたものであるとき、候補判別器が様々な回転角度の判別対象を判別することができるようになるため、判別対象の検出率を向上させることができる。
【００２２】
さらに、候補検出手段が、候補判別器により判別された候補画像を絞り込む候補絞込手段を備えたものであり、候補絞込手段が、基準サンプル画像と面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面内回転判別器と、基準サンプル画像と面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面外回転判別器とを有するものであるとき、候補判別器よりも誤検出率の低い候補絞込判別器により候補画像の数を絞り込むことにより、対象検出手段により判別すべき候補画像の数を大幅に減らすことができるため、判別作業のさらなる高速化を図ることができる。
【００２３】
また、候補検出手段がカスケード構造を有する複数の候補絞込手段を有し、下流側の候補絞込手段が、複数の面内回転判別器および面外回転判別器を備えたものであり、下流側の候補絞込手段の各面内回転判別器および面外回転判別器の判別可能な角度範囲が、上流側の候補絞込手段の面内回転判別器および面外回転判別器の判別可能な角度範囲よりも狭くなるように構成されているものであれば、下流側の候補絞込手段ほど誤検出率の低い候補絞込判別器を用いて候補画像の数の絞り込みが行うことにより、対象検出手段により判別すべき候補画像の数を大幅に減らすことができるため、判別作業のさらなる高速化を図ることができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明の対象判別装置の実施の形態を詳細に説明する。図１は本発明の対象判別装置の好ましい実施の形態を示すブロック図である。なお、図１のような対象判別装置１の構成は、補助記憶装置に読み込まれたオブジェクト識別プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このオブジェクト識別プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２５】
図１の対象判別装置１は判別対象である顔の判別を行うものであって、全体画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、判別対象である顔である可能性のある候補画像ＣＰを検出する候補検出手段１０と、候補検出手段１０により検出された候補画像ＣＰが顔であるか否かを判別する対象検出手段２０とを有している。
【００２６】
部分画像生成手段１１は、図２（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷを全体画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。特に、部分画像生成手段１１は、一定画素数だけ飛ばしながらサブウィンドウＷを走査させることにより、部分画像ＰＰを生成するようになっている。
【００２７】
なお、部分画像生成手段１１は、図２（Ｂ）〜（Ｄ）に示すように、１つの全体画像Ｐから複数の低解像度画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有し、生成した低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。これにより、全体画像ＰにおいてサブウィンドウＷ内に顔（判別対象）が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、顔の検出を確実に行うことができる。
【００２８】
図１の候補判別手段１２は、部分画像生成手段１１により生成された部分画像ＰＰがである否かの２値判別を行う機能を有し、図３に示すように複数の弱判別器を有する候補判別器からなっている。特に、候補判別器１２は、画像平面上において判別対象が回転している画像（以下、「面内回転（in plane）画像」という）と、画像内の判別対象の向きが回転している（以下、「面外回転（out plane）画像」という）との双方を顔であると判別するようになっている。
【００２９】
候補判別器１２は、アダブースティングアルゴリズム（Ａｄａｂｏｏｓｔｉｎｇ Ａｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ１〜ＣＦＭ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ１〜ＣＦＭはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を有する。そして、候補判別器１２は弱判別器ＣＦ１〜ＣＦＭおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。
【００３０】
具体的には、図４に示すように各弱判別器ＣＦ１〜ＣＦＭは部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ１〜ＣＦＭ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。
【００３１】
なお、各弱判別器ＣＦ１〜ＣＦＭがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ１〜ＣＦＭに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。
【００３２】
各弱判別器ＣＦ１〜ＣＦＭは図４に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ１（ｘ）〜ｆＭ（ｘ）を出力するようになっている。さらに、各弱判別器ＣＦ１〜ＣＦＭは判別性能を示す信頼度β１〜βＭを有している。そして、候補判別器１２は、各弱判別器ＣＦ１〜ＣＦＭから出力されたスコアｆｍ（ｘ）および信頼度β１〜βＭとに基づいて最終的な判別結果を出力するようになっている。具体的には、以下の式（１）により表すことができる。
sign(Fm(x))=sign[Σm=1Mβm・fm(x))] ・・・（１）
式（１）において、候補判別器１２からの判別結果ｓｉｇｎ（Ｆｍ（ｘ））は、各弱判別器ＣＦ１〜ＣＦＭからそれぞれ算出される判定スコアβｍ・ｆｍ（ｘ）（ｍ＝１、２、・・・、Ｍ）の総和により判別されるようになっている。
【００３３】
次に、図１を参照して対象検出手段２０について説明する。対象検出手段２０は、候補検出手段１０において検出された候補画像ＣＰが顔であるか否かをさらに判別するものであって、面内画像を判別する面内回転顔判別器３０と、面外画像を判別する面外回転判別器４０とを有している。
【００３４】
面内回転判別器３０は、画像の縦方向と顔の中心線との角度が０°の顔を判別する０°面内回転判別器３０−１、３０°の顔画像を判別する３０°面内回転判別器３０−２等を備えたものであって、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の面内回転判別器３０−１〜３０−１２を有している。なお、たとえば０°面内回転判別器３０−１は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。
【００３５】
同様に、面外回転判別器４０は、画像内の顔の向き（角度）が０°の顔、すなわち正面顔を判別する０°面外回転判別器４０−１、３０°の顔画像を判別する３０°面外回転判別器４０−２等を備えたものであって、−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の面外回転判別器４０−１〜４０−７を有している。また、たとえば０°面外回転判別器４０−１は回転角度が０°を中心に−１５°〜＋１５°の範囲内にある顔を判別できるようになっている。
【００３６】
なお、複数の面内回転判別器３０−１〜３０−１２および複数の面外回転判別器４０−１〜４０−７とは、それぞれ上述した候補検出手段１２のように、ブースティングアルゴリズムにより学習された複数の弱判別器を有しており（図示せず）、候補検出手段１２と同様の判別手法により判別が行われるようになっている。
【００３７】
ここで、図１から図５を参照して対象判別装置１の動作例について説明する。まず、部分画像生成手段１１において、全体画像Ｐ上をサブウィンドウＷが一定の走査間隔で走査することにより複数の部分画像ＰＰが生成される。生成された部分画像ＰＰは、候補判別器１２において顔であるか否かが判別され、顔である可能性のある候補画像ＣＰが検出される。次に、対象検出手段２０において候補画像ＣＰが顔であるか否かが判別される。そして、顔が面内回転されているもの及び面外回転されている候補画像ＣＰが対象検出手段２０の各対象判別器３０、４０において検出される。
【００３８】
ところで、上述した候補判別器１２は、予め用意された複数の弱判別器ＣＦ１〜ＣＦＭに対し学習画像ＬＰの重み付けを更新しながら繰り返し各弱判別器ＣＦ１〜ＣＦＭに入力していく（リサンプリング）というアダブースティング（ＡｄａＢｏｏｓｔｉｎｇ）アルゴリズムを用いて学習されている。図６は顔もしくは非顔を判別することができるように候補判別器１２を学習させるための判別器学習装置５０の一例を示すブロック図である。
【００３９】
判別器学習装置５０は、学習画像ＬＰを記憶したデータベースＤＢと、データベースＤＢに記憶された学習画像ＬＰに対し重み付けｗｍ−１（ｉ）を加える重み付け手段５１と、重み付け手段５１により重み付けｗｍ−１（ｉ）がなされた学習画像ＬＰが弱判別器ＣＦに入力されたときに、各弱判別器ＣＦにおける信頼度を算出する信頼度算出手段５２とを備えている。
【００４０】
データベースＤＢに記憶された学習画像ＬＰは、部分画像ＰＰと同一の画素数からなる画像であって、図７に示すように、面内回転サンプル画像ＦＳＰと面外回転サンプル画像ＳＳＰとが記憶されている。面内回転サンプル画像ＦＳＰは、設定位置（たとえば中央）に配置された顔が３０°ずつ回転した１２種類の画像からなっている。同様に、面外回転サンプル画像ＳＳＰは、設定位置（たとえば中央）に配置された顔の向きが±９０°ずつ回転した７種類の画像からなっている。さらに、学習画像ＬＰは風景等の非顔である非対象サンプル画像ＮＳＰを有しており、面内回転サンプル画像ＦＳＰ、面外回転サンプル画像ＳＳＰおよび非対象サンプル画像ＮＳＰを用いて弱判別器 また、各学習画像ＬＰ毎が顔であるのか否かを示す真偽パラメータｙｉが付されている（ｉ＝１、２、・・・、Ｎ：Ｎは学習画像ＬＰの数）。パラメータｙｉは顔であれば「１」、非顔であれば「−１」を示し、サンプル画像ＳＰ、面内回転サンプル画像ＦＳＰおよび面外回転サンプル画像ＳＳＰの真偽パラメータｙｉは「１」、非対象サンプル画像ＮＳＰの真偽パラメータｙｉは「−１」に設定されている。
【００４１】
重み付け手段５１は、データベースＤＢに記憶された学習画像ＬＰに重み付けｗｍ−１（ｉ）（ｉ＝１、２、・・・、Ｎ：Ｎ＝学習画像ＬＰの数）を付加するものである。重み付けｗｍ−１（ｉ）は学習画像ＬＰの判別の困難性を示すパラメータであって、重み付けｗｍ−１（ｉ）が大きい学習画像ＬＰは判別が難しいものであることを示し、小さい学習画像ＬＰは判別が容易なものであることを示している。重み付け手段５１は、各学習画像ＬＰを弱判別器ＣＦｍに入力されたときの判別結果に基づいて重み付けｗｍ−１（ｉ）を更新し、新たに重み付けｗｍ（ｉ）がなされた複数の学習画像ＬＰを用いて次の弱判別器ＣＦｍ＋１の学習を行うようになっている。なお、重み付け手段５１は、最初の弱判別器ＣＦ１の学習を行うときには、重み付けｗ０（ｉ）としてｗ０（ｉ）＝１／Ｎを与えるようになっている。
【００４２】
信頼度算出手段５２は、重み付けｗｍ−１（ｉ）がなされた複数の学習画像ＬＰが各弱判別器ＣＦｍに入力されたときに、各弱判別器ＣＦｍにおける正答率を信頼度βｍとして算出するものである。ここで、信頼度算出手段５２は重み付けｗｍ−１（ｉ）に応じた信頼度βｍを与えるようになっている。つまり、重み付けｗｍ−１（ｉ）が大きい学習画像ＬＰを正しく判別できた弱判別器には大きい信頼度βｍを与え、重み付けｗｍ−１（ｉ）が小さい学習サンプルを正しく判別できた弱判別器には小さい信頼度βｍを与えるようになっている。
【００４３】
図８は本発明の判別器学習方法の好ましい実施の形態を示すフローチャートであり、図６から図８を参照して判別器学習方法について説明する。なお、各学習画像ＬＰの重み付けは初期値ｗ０（ｉ）＝１／Ｎ（ｉ＝１、２、・・・、Ｎ）に設定されている。
【００４４】
まず、学習画像ＬＰが弱判別器ＣＦｍに入力されたとき（ステップＳＳ１１）、弱判別器ＣＦの判別結果に基づいて信頼度βｍが信頼度算出手段５２により算出される（ステップＳＳ１２）。
具体的には、まず弱判別器ＣＦｍにおける誤り率ｅｒｒが式（２）により算出される。
err=Σi=1Nwm-1(i)I(yi≠fm(xi)) ・・・（２）
式（２）において、学習画像ＬＰの特徴量ｘiを弱判別器ＣＦｍに入力したときに、その判別が学習画像ＬＰに付された真偽パラメータｙiと異なった場合（ｙi≠ｆｍ（ｘi））、誤って判別された学習画像ＬＰの重み付けｗｍ−１（ｉ）に比例して誤り率ｅｒｒが大きくなることを意味している。
【００４５】
次に、算出した誤り率ｅｒｒに基づいて弱判別器ＣＦｍの信頼度βｍが式（３）により算出される。
βm=log((1-err)/err) ・・・（３）
この信頼度βｍが弱判別器ＣＦｍの判別性能を示すパラメータとして学習されたことになる。
【００４６】
一方、重み付け手段５１において弱判別器ＣＦｍの判別結果に基づいて学習画像ＬＰの重み付けｗｍ（ｉ）が式（４）のように更新される（ステップＳＳ１３）。
wm(i)=wm-1(i)・exp[βm・I(yi≠fm(xi))] ・・・（４）
式（４）において、弱判別器ＣＦｍが正しく判別した学習画像ＬＰの重み付けが大きく更新され、誤った判別がなされた学習画像ＬＰの重み付けが小さくなるように更新される。なお、各学習画像ＬＰの重み付けは最終的にΣi=1Nｗｍ（ｉ）＝１となるように正規化される。
【００４７】
重み付けｗｍ（ｉ）の更新が行われた学習画像ＬＰを用いて次の弱判別器ＣＦｍ＋１の学習が行われ（ステップＳＳ１１〜ステップＳＳ１４）、この学習の繰り返しがＭ回繰り返される。すると、以下の式（５）に示す候補判別器１２が完成し、学習が終了する（ステップＳＳ１６）。
sign(Fm(x))=sign[βm・fm(x)] ・・・（５）
【００４８】
なお、図８から図１０において、候補判別器１２の学習について説明してきたが、対象検出手段２０の対象判別器３０、４０についても同様の学習方法により学習される。但し、面内回転判別器３０の学習においては面外回転サンプル画像ＳＳＰを用いず、面内回転サンプル画像ＦＳＰおよび非対象サンプル画像ＮＳＰが用いられる。さらに、たとえば０°面内回転判別器３０−１の学習には−１５°（＝３４５°）から＋１５°の範囲内において顔が面内回転している面内回転サンプル画像ＦＳＰを用いて学習するというように、各面内回転判別器３０−１〜３０−１２は判別すべき回転角度で顔が配置された面内回転サンプル画像ＦＳＰを用いて学習されている。
【００４９】
同様に、面外回転判別器４０の学習においては面内回転サンプル画像ＦＳＰを用いず、面外回転サンプル画像ＳＳＰおよび非対象サンプル画像ＮＳＰが用いられる。たとえば０°面外回転判別器４０−１の学習には−１５°（＝３４５°）から＋１５°の範囲内において顔が面外回転している面外回転サンプル画像ＳＳＰを用いて学習するというように、各面外回転判別器４０−１〜４０−７は判別すべき回転角度で顔が配置された面外回転サンプル画像ＳＳＰを用いて学習されている。
【００５０】
ところで、上述のように候補判別器１２は面内回転サンプル画像ＦＳＰおよび面外回転サンプル画像ＳＳＰの双方について顔であると判定させるように学習されたものである。このため、サンプル画像ＳＰのように顔が所定の方向（正面）を向いている配置された部分画像ＰＰのみならず、面内回転サンプル画像ＦＳＰおよび面外回転サンプル画像ＳＳＰように顔が面内回転および面外回転している場合であっても候補画像ＣＰとして検出することができる。一方、候補判別器１２において非顔の部分画像についても顔であると判断する場合が増加してしまい、結果として候補判別器１２自体の誤検出率が上がってしまっている。
【００５１】
しかし、たとえば空や海といった風景から切り出した画像等の明らかに非顔である部分画像ＰＰについては、対象判別手段２０により判別を行うまでもなく候補判別器１２において非顔であると判別することができる。結果として、対象判別手段２０が判別しなければならない候補画像ＣＰの数を大幅に減少させることができるため、判別作業の高速化を図ることができる。さらに、対象判別手段２０における面内回転判別器３０および面外回転判別器４０において、精密な判別作業が行われることになるため、対象判別装置１全体の誤検出率を低く保つことができる。つまり、一見、候補判別器１２の誤検出率が上がり対象判別装置１全体の誤検出率が上がってしまうように思えるが、対象判別手段２０により対象判別装置１全体の誤検出率を低く保ちながら、候補判別器１２において判別処理される部分画像ＰＰの数を減少させ判別作業の高速化を図ることができる。
【００５２】
図９は本発明の第２の実施の形態を示すブロック図であり、図９を参照して対象判別装置について説明する。なお図９において図１に示す対象判別装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。
【００５３】
図９の対象判別装置１００が図１の対象判別装置１と異なる点は候補検出手段１１２が面内回転候補検出手段１１３と面外回転候補検出手段１１４とを有する点である。面内回転候補検出手段１１３は、面内回転している顔を判別するものであって、面外回転候補検出手段１１４は面外回転している顔（横顔）を判別するものである。面内回転候補検出手段１１３と面内回転検出手段３０とはカスケード構造を有し、面内回転検出手段３０は面内回転候補検出手段１１３が検出した面内回転候補画像をさらに判別するようになっている。さらに面外回転候補検出手段１１４と面外回転検出手段４０とはカスケード構造を有し、横顔検出手段４０は面外回転候補検出手段１１４が検出した面外回転候補画像をさらに判別するようになっている。
【００５４】
この面内回転候補検出手段１１３および面外回転候補検出手段１１４とは、上述したようなアダブースティングアルゴリズムにより学習された複数の弱判別器を有するものである。そして、面内回転候補検出手段１１３は、面内回転サンプル画像ＦＳＰと基準サンプル画像ＳＰとを用いて学習されたものであり、面外回転候補検出手段１１４は、面外回転サンプル画像ＳＳＰと基準サンプル画像ＳＰとを用いて学習されたものである。
【００５５】
このように、候補検出手段１１２に２つの各候補検出手段１１３、１１４を用いることにより、各候補検出手段１１３、１１４の誤検出率を低くすることができるため、対象判別装置１全体の誤検出率を低く保ちながら、対象検出手段２０が判別すべき候補画像ＣＰの数を減らし高速化を図ることができる。
【００５６】
図１０は本発明の第３の実施の形態を示すブロック図であり、図１０を参照して対象判別装置について説明する。なお図１０の判別装置２００において図９に示す判別装置１００と同一の構成を有する部位には同一の符号を付してその説明を省略する。
【００５７】
図１０の判別装置２００が図９の判別装置１００と異なる点は候補検出手段２１２がさらに候補絞込判別手段２１０を有する点である。候補絞込判別手段２１０は、０°〜１５０°の範囲内で面内回転している顔を判別する０°〜１５０°面内回転候補判別器２２０と、１８０°〜３３０°の範囲内で面内回転している顔を判別する１８０°〜３３０°面内回転候補判別器２３０とを備えている。さらに、候補絞込判別手段２１０は、−９０°〜０°の範囲内で面外回転している顔を判別する−９０°〜０°面外回転候補判別器２４０と、＋３０°〜＋９０°の範囲内で面外回転している顔を判別する＋３０°〜＋９０°面外回転候補判別器２３０とを備えている。
【００５８】
そして、面内回転候補検出手段１１３において面内回転であると判断された候補画像ＣＰが各面内回転候補絞込手段２２０、２３０に入力される。また、面外回転候補検出手段１１４において横顔であると判断された候補画像ＣＰが各横顔候補絞込手段２４０、２５０に入力される。
【００５９】
さらに、０°〜１５０°面内回転候補判別器２２０により顔であると判別された候補画像は、各面内回転判別器３０−１〜３０−６に入力され顔の判別が行われる。１８０°〜３３０°面内回転候補判別器２３０により顔であると判別された候補画像ＣＰは、各面内回転判別器３０−７〜３０−１２に入力され顔の判別が行われる。−９０°〜０°面外回転候補判別器２４０により顔であると判別された候補画像は、各面外回転判別器４０−１〜４０−４に入力され顔の判別が行われる。＋３０°〜＋９０°面外回転候補判別器２５０により顔であると判別された候補画像は、各面外回転判別器４０−５〜４０−７に入力され顔の判別が行われる。このように、候補絞込手段２１０を有することにより、対象検出手段２０が判別すべき候補画像ＣＰの数を減らし高速化を図ることができるとともに、誤検出率を低くすることができる。
【００６０】
なお、図１０において、候補判別手段１１２が複数の候補判別器１１３、１１４を有する場合について例示しているが、図１のように１つの候補判別器１２により構成されていても良い。さらに、候補絞込手段２１０は１つのみならず複数設けられていても良い。このとき、複数の候補絞込手段はカスケード構造を有し、上流側から下流側に向かって各絞込判別器が判別できる回転角度の範囲が狭くなるように構成されることになる。
【００６１】
図１１は本発明の第３の実施の形態を示すブロック図であり、図１を参照して対象判別装置について説明する。なお、図１２の対象判別装置において図１の対象判別装置と同一の構成を有する部位には同一の符号を付してその説明を省略する。
【００６２】
図１１の対象判別装置２００が図１の判別対象装置１と異なる点は、候補判別器１２の構成である。なお、図１１において候補判別器２１２について例示しているが、各対象判別器３０、４０、候補絞込判別器２１０においても適用することができる。
【００６３】
候補判別器２１２の各弱判別器ＣＦ１〜ＣＦＭはカスケード構造を有している。つまり、式（１）では各弱判別器ＣＦ１〜ＣＦＭから出力される判定スコアβｍ・ｆｍ（ｘ）の総和として出力されるようになっているが、図１２においては各弱判別器ＣＦ１〜ＣＦＭのすべてが顔であると判別した部分画像ＰＰのみを候補画像ＣＰとして出力するようになっている。
【００６４】
具体的には、各弱判別器ＣＦｍの判定スコアβｍ・ｆｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（βｍ・ｆｍ（ｘ）≧Ｓｒｅｆ）。そして、弱判別器ＣＦｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦｍ＋１による判別を行い、弱判別器ＣＦｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦｍ＋１による判別は行わない。
【００６５】
これにより、下流側の弱判別器により判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。さらにカスケード構造の弱判別器ＣＦ１〜ＣＦＭを有する候補判別器２１２の学習にサンプル画像ＳＰのみならず面内回転サンプル画像ＦＳＰおよび面外回転サンプル画像ＳＳＰを用いることにより、候補判別器２１２において判別すべき部分画像ＰＰの数を減らし判別作業の高速化を図ることができるとともに、対象判別器２２において誤検出率を低く維持することができる。
【００６６】
上述した候補判別器１２の学習の詳細は特許文献２に開示されている。具体的には、各弱判別器ＣＦ１〜ＣＦＭに対し学習画像が入力され、各弱判別器ＣＦ１〜ＣＦＭ毎に信頼度β１〜βＭが算出される。そして、最も低いβｍｉｎである弱判別器ＣＦｍｉｎが選択され、この弱判別器ＣＦｍｉｎが正解した学習画像ＬＰの重み付けを低くなるように更新し、誤った学習画像ＬＰの重み付けを大きくなるように更新する。この作業を設定回数だけ繰り返すことにより候補判別器２１２の学習が行われるようになっている。
【００６７】
なお、図１１のように、各弱判別器ＣＦ１〜ＣＦＭから出力された判定スコアＳ１〜ＳＭをそれぞれ個別に設定しきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦｍにおいて判別を行う際、弱判別器ＣＦｍの上流側の弱判別器ＣＦ１〜ＣＦｍ−１での判定スコアの和Σｒ=1ｍβｒ・ｆｒが設定しきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い。
Σk=1mβk・fk(x)≧S1ref ・・・（６）
【００６８】
これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。この場合であっても、対象判別器２２に対しサンプル画像とともに面内回転画像ＦＳＰおよび面外回転画像ＳＳＰを用いて学習を行うことにより、検出精度を維持しながら判別の高速化を図ることができる。なお、式（６）に示すような判別を行う候補判別器１２を学習する際、ある弱判別器ＣＦｍの学習が終わった後、その出力を次の弱判別器ＣＦｍ＋１に対する最初の弱判別器とし、弱判別器ＣＦｍ＋１の学習を開始するようになっている（詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月参照）。この弱判別器の学習においても、サンプル画像ＳＰとともに面内回転画像ＦＳＰおよび面外回転画像サンプル画像ＳＳＰが用いられる。
【００６９】
本発明の実施の形態は、上記実施の形態に限定されない。上記実施の形態において判別対象が顔の場合について例示しているが、目、洋服や、自動車、等の全体画像に含まれる可能性のあるオブジェクトであれば何でもよい。
【００７０】
さらに、たとえば図７において、さらに、各顔サンプル画像ＳＰおよび面内回転画像ＦＳＰおよび面外回転画像ＳＳＰにつき、縦および／または横を０．７倍から１．２倍の範囲にて０．１倍単位で段階的に拡縮して得られる各サンプル画像を生成し学習に用いるようにしても良い。
【００７１】
また、図３の候補判別器１２において、面内回転サンプル画像ＦＳＰと面外回転サンプル画像ＳＳＰとを用いて学習する場合について例示しているが、面内回転サンプル画像ＦＳＰのみを用いて学習されたものであってもよい。このとき、対象検出手段２０においては面外回転判別手段４０は不要になる。
【００７２】
さらに、候補判別器１２が面内回転サンプル画像ＦＳＰと面外回転サンプル画像ＳＳＰとを用いて学習されている場合について例示しているが、面外回転サンプル画像ＳＳＰを面内回転させた面外面内回転サンプル画像をさらに用いて学習されたものであってもよい。
【００７３】
また、図９および図１０において、候補検出手段１１２、２１２が面内回転候補検出手段１１３と面外回転候補検出手段１１４とを有する場合について例示してるが、さらに面外回転サンプル画像ＳＳＰを面内回転させた面外面内回転サンプル画像を用いて学習された面外面内回転候補検出手段を有するものであってもよい。あるいは、面外回転候補検出手段１１４が、さらに面外面内回転画像サンプル画像を用いて学習されたものであってもよい。
【図面の簡単な説明】
【００７４】
【図１】本発明の対象判別装置の好ましい実施の形態を示すブロック図
【図２】図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図
【図３】図１の候補検出手段の候補判別器の一例を示すブロック図
【図４】図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図
【図５】図１の弱判別器が有するヒストグラムの一例を示すグラフ図
【図６】図１の候補判別器を学習させるための判別器学習装置の一例を示すブロック図
【図７】図６の判別器学習装置におけるデータベースに記憶された学習画像の一例を示す模式図
【図８】図６の判別器学習装置の動作例を示すフローチャート
【図９】本発明の対象判別装置の別の実施の形態を示すブロック図
【図１０】本発明の対象判別装置の別の実施の形態を示すブロック図
【図１１】本発明の対象判別装置の別の実施の形態を示すブロック図
【図１２】本発明の対象判別装置の候補判別器の別の実施の形態を示すフローチャート
【符号の説明】
【００７５】
１、１００ 対象判別装置
１０ 候補検出手段
１１ 部分画像生成手段
１２ 候補判別器
２０ 対象検出手段
２１ 周辺画像生成手段
２２ 対象判別器
５０ 判別器学習装置
５１ 重み付け手段
５２ 信頼度算出手段
１００ 対象判別装置
ＡＰ 周辺画像
ＣＦ 弱判別器
ＣＰ 候補画像
ＬＰ 学習画像
Ｐ 全体画像
ＰＰ 部分画像
ＳＰ 基準サンプル画像
ＦＳＰ 面内回転サンプル画像
ＳＳＰ 面外回転サンプル画像
ＮＳＰ 非対象サンプル画像
Ｗ サブウィンドウ
ｘi 特徴量
ｙi 真偽パラメータ
βｍ 信頼度
【技術分野】
【０００１】
本発明は、たとえば人物の顔等の判別対象が画像に含まれているか否かを判別する判別器学習方法および対象判別装置ならびにプログラムに関するものである。
【背景技術】
【０００２】
たとえば顔検出の基本原理は顔か顔ではないかの２クラス判別であり、この判別方法としてブースティング（Ｂｏｏｓｔｉｎｇ）と呼ばれる手法が広く用いられている。ブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法であって、弱判別器における特徴量としてたとえば多重解像度平面のエッジ情報が用いられる。
【０００３】
特に、ブースティングによる顔検出処理の高速化を図るために、弱判別器はカスケード構造を有し弱判別器が顔もしくは非顔の判別を行ったときに、上流側の弱判別器が顔であると判別した画像について下流側の弱判別器がさらに顔か非顔かの判別を行うようになっている（たとえば特許文献１参照）。
【０００４】
上述した判別器に入力される画像には、顔が正面を向いた画像のみならず、顔が画像平面上において回転している（以下「面内回転」という）画像や、顔の向きが画像平面内において回転している（以下、「面外回転」という）画像が入力される。判別器１つあたりが判別可能な顔の回転範囲は限られており、面内回転している画像では３０°程度、面外回転している画像では３０°〜６０°程度の回転であれば顔か非顔かを判別することができる。より広い範囲の顔の向きに対応するためには、それぞれの向きに対応した複数の判別器を用意し、各判別器のすべてに顔であるか否かの判別を行わせる必要がある（たとえば非特許文献２参照）。
【０００５】
ここで、回転角度に応じた複数の判別器に入力する前に、面外回転している顔が含まれているか否かを判断し、その後複数の判別器を用いて顔か非顔かを判断する方法が提案されている（たとえば非特許文献３参照）。非特許文献３において面外回転された顔を検出する際、最初に−９０°〜＋９０°の範囲において顔の向きが回転している面外回転画像であるか否かが判別される。そして、面内回転画像であると判別した画像に対し、−９０°〜−３０°までの面外回転画像を判別する判別器と、−２０°〜＋２０°までの面外回転画像を判別する判別器と、＋３０°〜＋９０°までの面外回転画像を判別する判別器とを用いてそれぞれ顔であるか否かの判別を行う。さらに、各判別器において顔であると判別された画像に対し、より細かく回転角度範囲が分類された複数の判別器を用いて判別が行われるようになっている。
【特許文献１】米国特許出願公開２００２／１０２０２４号明細書
【非特許文献２】Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月参照）
【非特許文献３】Stan Z. Li, ZhenQiu Zhang, FloatBoost Learning and Statistical Face Detection, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 26, NO.9, SEPTEMBER 2004
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、判別処理の高速化を図るとき、たとえば背景、胴体等の全体画像の大部分を占める明らかに顔ではない候補をいかに早い段階で判別することができるか否かがポイントになる。しかし、非特許文献２に示す方法では各回転角度に対応する複数の判別器のすべてが、それぞれ明らかに顔ではない候補の判別を行うようになっているため、判別速度が遅くなってしまうという問題がある。また、非特許文献３においては、面外回転した画像（横顔）の検出は行うことができるが、面内回転した画像の検出することができないという問題がある。
【０００７】
そこで、本発明は、面内回転画像おおよび面外回転画像を高い検出率を保ちつつ高速化を図ることができる判別器学習方法および対象判別装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の判別器の学習方法は、画像が判別対象であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う判別器の学習方法において、判別器が、前記判別対象が所定の方向を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とするものである。
【０００９】
本発明の対象判別装置は、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された部分画像が判別対象であるか否かを判別し、判別対象である可能性のある部分画像を候補画像として検出する候補検出手段と、候補検出手段により検出された候補画像に判別対象であるか否かを判別する対象判別手段とを有するものであり、候補検出手段が、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備えたものであり、候補判別器が、判別対象が所定の方向を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とするものである。
【００１０】
本発明の対象判別プログラムは、コンピュータを、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された部分画像が判別対象であるか否かを判別し、判別対象である可能性のある部分画像を候補画像として検出する候補検出手段と、候補検出手段により検出された候補画像に判別対象であるか否かを判別する対象判別手段として機能させるための対象判別プログラムであって、候補検出手段が、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備えたものであり、候補判別器が、判別対象が正面を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とするものである。
【００１１】
ここで、基準サンプル画像内の判別対象は所定の方向を向いているものであれば、いずれの方向を向いているものであっても良いが、正面を向いていることが好ましい。
【００１２】
また、候補判別器は、さらに基準サンプル画像内の判別対象の向きを回転させた面外回転サンプル画像と、面外回転サンプル画像を面内回転させた面外面内回転サンプル画像とを用いて学習されたものであってもよい。
【００１３】
候補判別器は、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備えたものであれば判別手法は問わず、たとえば部分画像について各弱判別器による判別を行い、その複数の判別結果を用いて最終的な判別を行うようにしてもよい。あるいは、複数の弱判別器がカスケード構造を有し、上流側の弱判別器において顔であると判別された部分画像について下流側の弱判別器による判別を行うものであってもよい。
【００１４】
また、候補判別器が、回転角度の異なる複数の面内回転サンプル画像と、回転角度の異なる複数の面外回転サンプル画像とを用いて学習されたものであることが好ましい。
【００１５】
さらに、候補検出手段は、候補判別器により判別された多数の候補画像をより少ない数の候補画像に絞り込む候補絞込手段を有するものであってもよい。このとき、候補絞込手段は、基準サンプル画像と面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面内回転判別器と、基準サンプル画像と面外回転サンプル画像とを用いて学習された複数の弱判別器を有する面外回転判別器とを有するものであってもよい。なお、候補絞込手段は、基準サンプル画像と面外面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面外面内回転判別器をさらに有するものであってもよい。あるいは、面外面内回転判別器を用いず、面外回転判別器がさらに面外面内回転サンプル画像をも用いて学習されたものであっても良い。
【００１６】
候補検出手段はカスケード構造を有する複数の候補絞込手段を有していてもよい。このとき、候補絞込手段は、複数の面内回転判別器および面外回転判別器を備えたものであり、下流側の候補絞込手段における各面内回転判別器および各面外回転判別器は、上流側の候補絞込手段における各面内回転判別器および各面外回転判別器の判別可能な角度範囲よりも狭くなるように構成されていてもよい。
【発明の効果】
【００１７】
本発明の判別器の学習方法によれば、画像が判別対象であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う判別器の学習方法において、判別器が、判別対象が所定の方向を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面において回転させた面内回転サンプル画像とを用いて学習されたものであることにより、画像内において判別対象が面内回転している判別対象を判別することができるため、判別対象の検出率を向上させることができる。
【００１８】
本発明の対象判別装置ならびにプログラムによれば、候補検出手段の候補判別器が、判別対象が正面を向いた基準サンプル画像と、基準サンプル画像の判別対象を基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることにより、たとえば風景や胴体等の明らかに面内回転画像ではない部分画像について候補検出手段において非顔であると判別し、対象判別手段による判別が行われないため、検出作業を高速化し検出時間を大幅に短縮することができる。
【００１９】
なお、候補判別器が、さらに基準サンプル画像内の判別対象の向きを回転させた面外回転サンプル画像と、面外回転サンプル画像を面内回転させた面外面内回転サンプル画像とを用いて学習されたものであれば、候補判別器が面内回転画像のみならず面外回転画像および面外面内画像についても検出することができるため、検出作業を高速化し検出時間を大幅に短縮することができる。
【００２０】
また、複数の弱判別器がカスケード構造を有し、上流側の弱判別器において顔であると判別された部分画像についてさらに下流側の弱判別器による判別を行うものであれば、下流側の弱判別器の計算量を大幅に低減することができるため、判別作業の高速化をさらに促進することができる。
【００２１】
さらに、候補判別器が、回転角度の異なる複数の前記面内回転サンプル画像と、回転角度の異なる複数の面外回転サンプル画像とを用いて学習されたものであるとき、候補判別器が様々な回転角度の判別対象を判別することができるようになるため、判別対象の検出率を向上させることができる。
【００２２】
さらに、候補検出手段が、候補判別器により判別された候補画像を絞り込む候補絞込手段を備えたものであり、候補絞込手段が、基準サンプル画像と面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面内回転判別器と、基準サンプル画像と面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面外回転判別器とを有するものであるとき、候補判別器よりも誤検出率の低い候補絞込判別器により候補画像の数を絞り込むことにより、対象検出手段により判別すべき候補画像の数を大幅に減らすことができるため、判別作業のさらなる高速化を図ることができる。
【００２３】
また、候補検出手段がカスケード構造を有する複数の候補絞込手段を有し、下流側の候補絞込手段が、複数の面内回転判別器および面外回転判別器を備えたものであり、下流側の候補絞込手段の各面内回転判別器および面外回転判別器の判別可能な角度範囲が、上流側の候補絞込手段の面内回転判別器および面外回転判別器の判別可能な角度範囲よりも狭くなるように構成されているものであれば、下流側の候補絞込手段ほど誤検出率の低い候補絞込判別器を用いて候補画像の数の絞り込みが行うことにより、対象検出手段により判別すべき候補画像の数を大幅に減らすことができるため、判別作業のさらなる高速化を図ることができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明の対象判別装置の実施の形態を詳細に説明する。図１は本発明の対象判別装置の好ましい実施の形態を示すブロック図である。なお、図１のような対象判別装置１の構成は、補助記憶装置に読み込まれたオブジェクト識別プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このオブジェクト識別プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２５】
図１の対象判別装置１は判別対象である顔の判別を行うものであって、全体画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、判別対象である顔である可能性のある候補画像ＣＰを検出する候補検出手段１０と、候補検出手段１０により検出された候補画像ＣＰが顔であるか否かを判別する対象検出手段２０とを有している。
【００２６】
部分画像生成手段１１は、図２（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷを全体画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。特に、部分画像生成手段１１は、一定画素数だけ飛ばしながらサブウィンドウＷを走査させることにより、部分画像ＰＰを生成するようになっている。
【００２７】
なお、部分画像生成手段１１は、図２（Ｂ）〜（Ｄ）に示すように、１つの全体画像Ｐから複数の低解像度画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有し、生成した低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。これにより、全体画像ＰにおいてサブウィンドウＷ内に顔（判別対象）が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、顔の検出を確実に行うことができる。
【００２８】
図１の候補判別手段１２は、部分画像生成手段１１により生成された部分画像ＰＰがである否かの２値判別を行う機能を有し、図３に示すように複数の弱判別器を有する候補判別器からなっている。特に、候補判別器１２は、画像平面上において判別対象が回転している画像（以下、「面内回転（in plane）画像」という）と、画像内の判別対象の向きが回転している（以下、「面外回転（out plane）画像」という）との双方を顔であると判別するようになっている。
【００２９】
候補判別器１２は、アダブースティングアルゴリズム（Ａｄａｂｏｏｓｔｉｎｇ Ａｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ１〜ＣＦＭ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ１〜ＣＦＭはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を有する。そして、候補判別器１２は弱判別器ＣＦ１〜ＣＦＭおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。
【００３０】
具体的には、図４に示すように各弱判別器ＣＦ１〜ＣＦＭは部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ１〜ＣＦＭ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。
【００３１】
なお、各弱判別器ＣＦ１〜ＣＦＭがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ１〜ＣＦＭに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。
【００３２】
各弱判別器ＣＦ１〜ＣＦＭは図４に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ１（ｘ）〜ｆＭ（ｘ）を出力するようになっている。さらに、各弱判別器ＣＦ１〜ＣＦＭは判別性能を示す信頼度β１〜βＭを有している。そして、候補判別器１２は、各弱判別器ＣＦ１〜ＣＦＭから出力されたスコアｆｍ（ｘ）および信頼度β１〜βＭとに基づいて最終的な判別結果を出力するようになっている。具体的には、以下の式（１）により表すことができる。
sign(Fm(x))=sign[Σm=1Mβm・fm(x))] ・・・（１）
式（１）において、候補判別器１２からの判別結果ｓｉｇｎ（Ｆｍ（ｘ））は、各弱判別器ＣＦ１〜ＣＦＭからそれぞれ算出される判定スコアβｍ・ｆｍ（ｘ）（ｍ＝１、２、・・・、Ｍ）の総和により判別されるようになっている。
【００３３】
次に、図１を参照して対象検出手段２０について説明する。対象検出手段２０は、候補検出手段１０において検出された候補画像ＣＰが顔であるか否かをさらに判別するものであって、面内画像を判別する面内回転顔判別器３０と、面外画像を判別する面外回転判別器４０とを有している。
【００３４】
面内回転判別器３０は、画像の縦方向と顔の中心線との角度が０°の顔を判別する０°面内回転判別器３０−１、３０°の顔画像を判別する３０°面内回転判別器３０−２等を備えたものであって、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の面内回転判別器３０−１〜３０−１２を有している。なお、たとえば０°面内回転判別器３０−１は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。
【００３５】
同様に、面外回転判別器４０は、画像内の顔の向き（角度）が０°の顔、すなわち正面顔を判別する０°面外回転判別器４０−１、３０°の顔画像を判別する３０°面外回転判別器４０−２等を備えたものであって、−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の面外回転判別器４０−１〜４０−７を有している。また、たとえば０°面外回転判別器４０−１は回転角度が０°を中心に−１５°〜＋１５°の範囲内にある顔を判別できるようになっている。
【００３６】
なお、複数の面内回転判別器３０−１〜３０−１２および複数の面外回転判別器４０−１〜４０−７とは、それぞれ上述した候補検出手段１２のように、ブースティングアルゴリズムにより学習された複数の弱判別器を有しており（図示せず）、候補検出手段１２と同様の判別手法により判別が行われるようになっている。
【００３７】
ここで、図１から図５を参照して対象判別装置１の動作例について説明する。まず、部分画像生成手段１１において、全体画像Ｐ上をサブウィンドウＷが一定の走査間隔で走査することにより複数の部分画像ＰＰが生成される。生成された部分画像ＰＰは、候補判別器１２において顔であるか否かが判別され、顔である可能性のある候補画像ＣＰが検出される。次に、対象検出手段２０において候補画像ＣＰが顔であるか否かが判別される。そして、顔が面内回転されているもの及び面外回転されている候補画像ＣＰが対象検出手段２０の各対象判別器３０、４０において検出される。
【００３８】
ところで、上述した候補判別器１２は、予め用意された複数の弱判別器ＣＦ１〜ＣＦＭに対し学習画像ＬＰの重み付けを更新しながら繰り返し各弱判別器ＣＦ１〜ＣＦＭに入力していく（リサンプリング）というアダブースティング（ＡｄａＢｏｏｓｔｉｎｇ）アルゴリズムを用いて学習されている。図６は顔もしくは非顔を判別することができるように候補判別器１２を学習させるための判別器学習装置５０の一例を示すブロック図である。
【００３９】
判別器学習装置５０は、学習画像ＬＰを記憶したデータベースＤＢと、データベースＤＢに記憶された学習画像ＬＰに対し重み付けｗｍ−１（ｉ）を加える重み付け手段５１と、重み付け手段５１により重み付けｗｍ−１（ｉ）がなされた学習画像ＬＰが弱判別器ＣＦに入力されたときに、各弱判別器ＣＦにおける信頼度を算出する信頼度算出手段５２とを備えている。
【００４０】
データベースＤＢに記憶された学習画像ＬＰは、部分画像ＰＰと同一の画素数からなる画像であって、図７に示すように、面内回転サンプル画像ＦＳＰと面外回転サンプル画像ＳＳＰとが記憶されている。面内回転サンプル画像ＦＳＰは、設定位置（たとえば中央）に配置された顔が３０°ずつ回転した１２種類の画像からなっている。同様に、面外回転サンプル画像ＳＳＰは、設定位置（たとえば中央）に配置された顔の向きが±９０°ずつ回転した７種類の画像からなっている。さらに、学習画像ＬＰは風景等の非顔である非対象サンプル画像ＮＳＰを有しており、面内回転サンプル画像ＦＳＰ、面外回転サンプル画像ＳＳＰおよび非対象サンプル画像ＮＳＰを用いて弱判別器 また、各学習画像ＬＰ毎が顔であるのか否かを示す真偽パラメータｙｉが付されている（ｉ＝１、２、・・・、Ｎ：Ｎは学習画像ＬＰの数）。パラメータｙｉは顔であれば「１」、非顔であれば「−１」を示し、サンプル画像ＳＰ、面内回転サンプル画像ＦＳＰおよび面外回転サンプル画像ＳＳＰの真偽パラメータｙｉは「１」、非対象サンプル画像ＮＳＰの真偽パラメータｙｉは「−１」に設定されている。
【００４１】
重み付け手段５１は、データベースＤＢに記憶された学習画像ＬＰに重み付けｗｍ−１（ｉ）（ｉ＝１、２、・・・、Ｎ：Ｎ＝学習画像ＬＰの数）を付加するものである。重み付けｗｍ−１（ｉ）は学習画像ＬＰの判別の困難性を示すパラメータであって、重み付けｗｍ−１（ｉ）が大きい学習画像ＬＰは判別が難しいものであることを示し、小さい学習画像ＬＰは判別が容易なものであることを示している。重み付け手段５１は、各学習画像ＬＰを弱判別器ＣＦｍに入力されたときの判別結果に基づいて重み付けｗｍ−１（ｉ）を更新し、新たに重み付けｗｍ（ｉ）がなされた複数の学習画像ＬＰを用いて次の弱判別器ＣＦｍ＋１の学習を行うようになっている。なお、重み付け手段５１は、最初の弱判別器ＣＦ１の学習を行うときには、重み付けｗ０（ｉ）としてｗ０（ｉ）＝１／Ｎを与えるようになっている。
【００４２】
信頼度算出手段５２は、重み付けｗｍ−１（ｉ）がなされた複数の学習画像ＬＰが各弱判別器ＣＦｍに入力されたときに、各弱判別器ＣＦｍにおける正答率を信頼度βｍとして算出するものである。ここで、信頼度算出手段５２は重み付けｗｍ−１（ｉ）に応じた信頼度βｍを与えるようになっている。つまり、重み付けｗｍ−１（ｉ）が大きい学習画像ＬＰを正しく判別できた弱判別器には大きい信頼度βｍを与え、重み付けｗｍ−１（ｉ）が小さい学習サンプルを正しく判別できた弱判別器には小さい信頼度βｍを与えるようになっている。
【００４３】
図８は本発明の判別器学習方法の好ましい実施の形態を示すフローチャートであり、図６から図８を参照して判別器学習方法について説明する。なお、各学習画像ＬＰの重み付けは初期値ｗ０（ｉ）＝１／Ｎ（ｉ＝１、２、・・・、Ｎ）に設定されている。
【００４４】
まず、学習画像ＬＰが弱判別器ＣＦｍに入力されたとき（ステップＳＳ１１）、弱判別器ＣＦの判別結果に基づいて信頼度βｍが信頼度算出手段５２により算出される（ステップＳＳ１２）。
具体的には、まず弱判別器ＣＦｍにおける誤り率ｅｒｒが式（２）により算出される。
err=Σi=1Nwm-1(i)I(yi≠fm(xi)) ・・・（２）
式（２）において、学習画像ＬＰの特徴量ｘiを弱判別器ＣＦｍに入力したときに、その判別が学習画像ＬＰに付された真偽パラメータｙiと異なった場合（ｙi≠ｆｍ（ｘi））、誤って判別された学習画像ＬＰの重み付けｗｍ−１（ｉ）に比例して誤り率ｅｒｒが大きくなることを意味している。
【００４５】
次に、算出した誤り率ｅｒｒに基づいて弱判別器ＣＦｍの信頼度βｍが式（３）により算出される。
βm=log((1-err)/err) ・・・（３）
この信頼度βｍが弱判別器ＣＦｍの判別性能を示すパラメータとして学習されたことになる。
【００４６】
一方、重み付け手段５１において弱判別器ＣＦｍの判別結果に基づいて学習画像ＬＰの重み付けｗｍ（ｉ）が式（４）のように更新される（ステップＳＳ１３）。
wm(i)=wm-1(i)・exp[βm・I(yi≠fm(xi))] ・・・（４）
式（４）において、弱判別器ＣＦｍが正しく判別した学習画像ＬＰの重み付けが大きく更新され、誤った判別がなされた学習画像ＬＰの重み付けが小さくなるように更新される。なお、各学習画像ＬＰの重み付けは最終的にΣi=1Nｗｍ（ｉ）＝１となるように正規化される。
【００４７】
重み付けｗｍ（ｉ）の更新が行われた学習画像ＬＰを用いて次の弱判別器ＣＦｍ＋１の学習が行われ（ステップＳＳ１１〜ステップＳＳ１４）、この学習の繰り返しがＭ回繰り返される。すると、以下の式（５）に示す候補判別器１２が完成し、学習が終了する（ステップＳＳ１６）。
sign(Fm(x))=sign[βm・fm(x)] ・・・（５）
【００４８】
なお、図８から図１０において、候補判別器１２の学習について説明してきたが、対象検出手段２０の対象判別器３０、４０についても同様の学習方法により学習される。但し、面内回転判別器３０の学習においては面外回転サンプル画像ＳＳＰを用いず、面内回転サンプル画像ＦＳＰおよび非対象サンプル画像ＮＳＰが用いられる。さらに、たとえば０°面内回転判別器３０−１の学習には−１５°（＝３４５°）から＋１５°の範囲内において顔が面内回転している面内回転サンプル画像ＦＳＰを用いて学習するというように、各面内回転判別器３０−１〜３０−１２は判別すべき回転角度で顔が配置された面内回転サンプル画像ＦＳＰを用いて学習されている。
【００４９】
同様に、面外回転判別器４０の学習においては面内回転サンプル画像ＦＳＰを用いず、面外回転サンプル画像ＳＳＰおよび非対象サンプル画像ＮＳＰが用いられる。たとえば０°面外回転判別器４０−１の学習には−１５°（＝３４５°）から＋１５°の範囲内において顔が面外回転している面外回転サンプル画像ＳＳＰを用いて学習するというように、各面外回転判別器４０−１〜４０−７は判別すべき回転角度で顔が配置された面外回転サンプル画像ＳＳＰを用いて学習されている。
【００５０】
ところで、上述のように候補判別器１２は面内回転サンプル画像ＦＳＰおよび面外回転サンプル画像ＳＳＰの双方について顔であると判定させるように学習されたものである。このため、サンプル画像ＳＰのように顔が所定の方向（正面）を向いている配置された部分画像ＰＰのみならず、面内回転サンプル画像ＦＳＰおよび面外回転サンプル画像ＳＳＰように顔が面内回転および面外回転している場合であっても候補画像ＣＰとして検出することができる。一方、候補判別器１２において非顔の部分画像についても顔であると判断する場合が増加してしまい、結果として候補判別器１２自体の誤検出率が上がってしまっている。
【００５１】
しかし、たとえば空や海といった風景から切り出した画像等の明らかに非顔である部分画像ＰＰについては、対象判別手段２０により判別を行うまでもなく候補判別器１２において非顔であると判別することができる。結果として、対象判別手段２０が判別しなければならない候補画像ＣＰの数を大幅に減少させることができるため、判別作業の高速化を図ることができる。さらに、対象判別手段２０における面内回転判別器３０および面外回転判別器４０において、精密な判別作業が行われることになるため、対象判別装置１全体の誤検出率を低く保つことができる。つまり、一見、候補判別器１２の誤検出率が上がり対象判別装置１全体の誤検出率が上がってしまうように思えるが、対象判別手段２０により対象判別装置１全体の誤検出率を低く保ちながら、候補判別器１２において判別処理される部分画像ＰＰの数を減少させ判別作業の高速化を図ることができる。
【００５２】
図９は本発明の第２の実施の形態を示すブロック図であり、図９を参照して対象判別装置について説明する。なお図９において図１に示す対象判別装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。
【００５３】
図９の対象判別装置１００が図１の対象判別装置１と異なる点は候補検出手段１１２が面内回転候補検出手段１１３と面外回転候補検出手段１１４とを有する点である。面内回転候補検出手段１１３は、面内回転している顔を判別するものであって、面外回転候補検出手段１１４は面外回転している顔（横顔）を判別するものである。面内回転候補検出手段１１３と面内回転検出手段３０とはカスケード構造を有し、面内回転検出手段３０は面内回転候補検出手段１１３が検出した面内回転候補画像をさらに判別するようになっている。さらに面外回転候補検出手段１１４と面外回転検出手段４０とはカスケード構造を有し、横顔検出手段４０は面外回転候補検出手段１１４が検出した面外回転候補画像をさらに判別するようになっている。
【００５４】
この面内回転候補検出手段１１３および面外回転候補検出手段１１４とは、上述したようなアダブースティングアルゴリズムにより学習された複数の弱判別器を有するものである。そして、面内回転候補検出手段１１３は、面内回転サンプル画像ＦＳＰと基準サンプル画像ＳＰとを用いて学習されたものであり、面外回転候補検出手段１１４は、面外回転サンプル画像ＳＳＰと基準サンプル画像ＳＰとを用いて学習されたものである。
【００５５】
このように、候補検出手段１１２に２つの各候補検出手段１１３、１１４を用いることにより、各候補検出手段１１３、１１４の誤検出率を低くすることができるため、対象判別装置１全体の誤検出率を低く保ちながら、対象検出手段２０が判別すべき候補画像ＣＰの数を減らし高速化を図ることができる。
【００５６】
図１０は本発明の第３の実施の形態を示すブロック図であり、図１０を参照して対象判別装置について説明する。なお図１０の判別装置２００において図９に示す判別装置１００と同一の構成を有する部位には同一の符号を付してその説明を省略する。
【００５７】
図１０の判別装置２００が図９の判別装置１００と異なる点は候補検出手段２１２がさらに候補絞込判別手段２１０を有する点である。候補絞込判別手段２１０は、０°〜１５０°の範囲内で面内回転している顔を判別する０°〜１５０°面内回転候補判別器２２０と、１８０°〜３３０°の範囲内で面内回転している顔を判別する１８０°〜３３０°面内回転候補判別器２３０とを備えている。さらに、候補絞込判別手段２１０は、−９０°〜０°の範囲内で面外回転している顔を判別する−９０°〜０°面外回転候補判別器２４０と、＋３０°〜＋９０°の範囲内で面外回転している顔を判別する＋３０°〜＋９０°面外回転候補判別器２３０とを備えている。
【００５８】
そして、面内回転候補検出手段１１３において面内回転であると判断された候補画像ＣＰが各面内回転候補絞込手段２２０、２３０に入力される。また、面外回転候補検出手段１１４において横顔であると判断された候補画像ＣＰが各横顔候補絞込手段２４０、２５０に入力される。
【００５９】
さらに、０°〜１５０°面内回転候補判別器２２０により顔であると判別された候補画像は、各面内回転判別器３０−１〜３０−６に入力され顔の判別が行われる。１８０°〜３３０°面内回転候補判別器２３０により顔であると判別された候補画像ＣＰは、各面内回転判別器３０−７〜３０−１２に入力され顔の判別が行われる。−９０°〜０°面外回転候補判別器２４０により顔であると判別された候補画像は、各面外回転判別器４０−１〜４０−４に入力され顔の判別が行われる。＋３０°〜＋９０°面外回転候補判別器２５０により顔であると判別された候補画像は、各面外回転判別器４０−５〜４０−７に入力され顔の判別が行われる。このように、候補絞込手段２１０を有することにより、対象検出手段２０が判別すべき候補画像ＣＰの数を減らし高速化を図ることができるとともに、誤検出率を低くすることができる。
【００６０】
なお、図１０において、候補判別手段１１２が複数の候補判別器１１３、１１４を有する場合について例示しているが、図１のように１つの候補判別器１２により構成されていても良い。さらに、候補絞込手段２１０は１つのみならず複数設けられていても良い。このとき、複数の候補絞込手段はカスケード構造を有し、上流側から下流側に向かって各絞込判別器が判別できる回転角度の範囲が狭くなるように構成されることになる。
【００６１】
図１１は本発明の第３の実施の形態を示すブロック図であり、図１を参照して対象判別装置について説明する。なお、図１２の対象判別装置において図１の対象判別装置と同一の構成を有する部位には同一の符号を付してその説明を省略する。
【００６２】
図１１の対象判別装置２００が図１の判別対象装置１と異なる点は、候補判別器１２の構成である。なお、図１１において候補判別器２１２について例示しているが、各対象判別器３０、４０、候補絞込判別器２１０においても適用することができる。
【００６３】
候補判別器２１２の各弱判別器ＣＦ１〜ＣＦＭはカスケード構造を有している。つまり、式（１）では各弱判別器ＣＦ１〜ＣＦＭから出力される判定スコアβｍ・ｆｍ（ｘ）の総和として出力されるようになっているが、図１２においては各弱判別器ＣＦ１〜ＣＦＭのすべてが顔であると判別した部分画像ＰＰのみを候補画像ＣＰとして出力するようになっている。
【００６４】
具体的には、各弱判別器ＣＦｍの判定スコアβｍ・ｆｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（βｍ・ｆｍ（ｘ）≧Ｓｒｅｆ）。そして、弱判別器ＣＦｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦｍ＋１による判別を行い、弱判別器ＣＦｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦｍ＋１による判別は行わない。
【００６５】
これにより、下流側の弱判別器により判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。さらにカスケード構造の弱判別器ＣＦ１〜ＣＦＭを有する候補判別器２１２の学習にサンプル画像ＳＰのみならず面内回転サンプル画像ＦＳＰおよび面外回転サンプル画像ＳＳＰを用いることにより、候補判別器２１２において判別すべき部分画像ＰＰの数を減らし判別作業の高速化を図ることができるとともに、対象判別器２２において誤検出率を低く維持することができる。
【００６６】
上述した候補判別器１２の学習の詳細は特許文献２に開示されている。具体的には、各弱判別器ＣＦ１〜ＣＦＭに対し学習画像が入力され、各弱判別器ＣＦ１〜ＣＦＭ毎に信頼度β１〜βＭが算出される。そして、最も低いβｍｉｎである弱判別器ＣＦｍｉｎが選択され、この弱判別器ＣＦｍｉｎが正解した学習画像ＬＰの重み付けを低くなるように更新し、誤った学習画像ＬＰの重み付けを大きくなるように更新する。この作業を設定回数だけ繰り返すことにより候補判別器２１２の学習が行われるようになっている。
【００６７】
なお、図１１のように、各弱判別器ＣＦ１〜ＣＦＭから出力された判定スコアＳ１〜ＳＭをそれぞれ個別に設定しきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦｍにおいて判別を行う際、弱判別器ＣＦｍの上流側の弱判別器ＣＦ１〜ＣＦｍ−１での判定スコアの和Σｒ=1ｍβｒ・ｆｒが設定しきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い。
Σk=1mβk・fk(x)≧S1ref ・・・（６）
【００６８】
これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。この場合であっても、対象判別器２２に対しサンプル画像とともに面内回転画像ＦＳＰおよび面外回転画像ＳＳＰを用いて学習を行うことにより、検出精度を維持しながら判別の高速化を図ることができる。なお、式（６）に示すような判別を行う候補判別器１２を学習する際、ある弱判別器ＣＦｍの学習が終わった後、その出力を次の弱判別器ＣＦｍ＋１に対する最初の弱判別器とし、弱判別器ＣＦｍ＋１の学習を開始するようになっている（詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月参照）。この弱判別器の学習においても、サンプル画像ＳＰとともに面内回転画像ＦＳＰおよび面外回転画像サンプル画像ＳＳＰが用いられる。
【００６９】
本発明の実施の形態は、上記実施の形態に限定されない。上記実施の形態において判別対象が顔の場合について例示しているが、目、洋服や、自動車、等の全体画像に含まれる可能性のあるオブジェクトであれば何でもよい。
【００７０】
さらに、たとえば図７において、さらに、各顔サンプル画像ＳＰおよび面内回転画像ＦＳＰおよび面外回転画像ＳＳＰにつき、縦および／または横を０．７倍から１．２倍の範囲にて０．１倍単位で段階的に拡縮して得られる各サンプル画像を生成し学習に用いるようにしても良い。
【００７１】
また、図３の候補判別器１２において、面内回転サンプル画像ＦＳＰと面外回転サンプル画像ＳＳＰとを用いて学習する場合について例示しているが、面内回転サンプル画像ＦＳＰのみを用いて学習されたものであってもよい。このとき、対象検出手段２０においては面外回転判別手段４０は不要になる。
【００７２】
さらに、候補判別器１２が面内回転サンプル画像ＦＳＰと面外回転サンプル画像ＳＳＰとを用いて学習されている場合について例示しているが、面外回転サンプル画像ＳＳＰを面内回転させた面外面内回転サンプル画像をさらに用いて学習されたものであってもよい。
【００７３】
また、図９および図１０において、候補検出手段１１２、２１２が面内回転候補検出手段１１３と面外回転候補検出手段１１４とを有する場合について例示してるが、さらに面外回転サンプル画像ＳＳＰを面内回転させた面外面内回転サンプル画像を用いて学習された面外面内回転候補検出手段を有するものであってもよい。あるいは、面外回転候補検出手段１１４が、さらに面外面内回転画像サンプル画像を用いて学習されたものであってもよい。
【図面の簡単な説明】
【００７４】
【図１】本発明の対象判別装置の好ましい実施の形態を示すブロック図
【図２】図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図
【図３】図１の候補検出手段の候補判別器の一例を示すブロック図
【図４】図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図
【図５】図１の弱判別器が有するヒストグラムの一例を示すグラフ図
【図６】図１の候補判別器を学習させるための判別器学習装置の一例を示すブロック図
【図７】図６の判別器学習装置におけるデータベースに記憶された学習画像の一例を示す模式図
【図８】図６の判別器学習装置の動作例を示すフローチャート
【図９】本発明の対象判別装置の別の実施の形態を示すブロック図
【図１０】本発明の対象判別装置の別の実施の形態を示すブロック図
【図１１】本発明の対象判別装置の別の実施の形態を示すブロック図
【図１２】本発明の対象判別装置の候補判別器の別の実施の形態を示すフローチャート
【符号の説明】
【００７５】
１、１００ 対象判別装置
１０ 候補検出手段
１１ 部分画像生成手段
１２ 候補判別器
２０ 対象検出手段
２１ 周辺画像生成手段
２２ 対象判別器
５０ 判別器学習装置
５１ 重み付け手段
５２ 信頼度算出手段
１００ 対象判別装置
ＡＰ 周辺画像
ＣＦ 弱判別器
ＣＰ 候補画像
ＬＰ 学習画像
Ｐ 全体画像
ＰＰ 部分画像
ＳＰ 基準サンプル画像
ＦＳＰ 面内回転サンプル画像
ＳＳＰ 面外回転サンプル画像
ＮＳＰ 非対象サンプル画像
Ｗ サブウィンドウ
ｘi 特徴量
ｙi 真偽パラメータ
βｍ 信頼度
【特許請求の範囲】
【請求項１】
画像が判別対象であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う判別器の学習方法において、
前記判別器が、前記判別対象が所定の方向を向いた基準サンプル画像と、該基準サンプル画像の前記判別対象を該基準サンプル画像の平面において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とする判別器の学習方法。
【請求項２】
前記判別器が、さらに前記基準サンプル画像内の前記判別対象の向きを回転させた面外回転サンプル画像を用いて学習されたものであることを特徴とする請求項１に記載の判別器の学習方法。
【請求項３】
全体画像上に設定画素数の枠からなるサブウィンドウを走査させ部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記部分画像が判別対象であるか否かを判別し、該判別対象である可能性のある前記部分画像を候補画像として検出する候補検出手段と、
該候補検出手段により検出された候補画像に前記判別対象であるか否かを判別する対象判別手段と
を有するものであり、
前記候補検出手段が、複数の弱判別器による複数の判別結果を用いて前記部分画像が前記判別対象であるか否かを判別する候補判別器を備えたものであり、
該候補判別器が、
前記判別対象が所定の方向を向いた基準サンプル画像と、該基準サンプル画像の前記判別対象を該基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とする対象判別装置。
【請求項４】
前記候補判別器が、さらに前記基準サンプル画像内の前記判別対象の向きを回転させた面外回転サンプル画像と、該面外回転サンプル画像を面内回転させた面外面内回転サンプル画像とを用いて学習されたものであることを特徴とする請求項３に記載の判別器の学習方法。
【請求項５】
前記複数の弱判別器がカスケード構造を有し、上流側の前記弱判別器において前記判別対象であると判別された前記部分画像についてさらに下流側の前記弱判別器による判別を行うものであることを特徴とする請求項３または４記載の対象判別装置。
【請求項６】
前記候補判別器が、回転角度の異なる複数の前記面内回転サンプル画像と、回転角度の異なる複数の前記面外回転サンプル画像とを用いて学習されたものであることを特徴とする請求項４または５記載の対象判別装置。
【請求項７】
前記候補検出手段が、前記候補判別器により判別された多数の前記候補画像をより少ない数の該候補画像に絞り込む候補絞込手段をさらに有し、
該候補絞込手段が、
前記基準サンプル画像と前記面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面内回転判別器と、
前記基準サンプル画像と前記面外回転サンプル画像とを用いて学習された複数の弱判別器を有する面外回転判別器と
を有するものであることを特徴とする請求項４または５記載の対象判別装置。
【請求項８】
前記候補検出手段がカスケード構造を有する複数の前記候補絞込手段を有し、該各候補絞込手段が、複数の前記面内回転判別器および面外回転判別器を備え、下流側の前記候補絞込手段の前記各面内回転判別器および前記各面外回転判別器が、それぞれ上流側の前記候補絞込手段の前記各面内回転判別器および前記各面外回転判別器の判別可能な角度範囲よりも狭くなるように構成されていることを特徴とする請求項７記載の対象判別装置。
【請求項９】
コンピュータを、
全体画像上に設定画素数の枠からなるサブウィンドウを走査させ部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記部分画像が判別対象であるか否かを判別し、該判別対象である可能性のある前記部分画像を候補画像として検出する候補検出手段と、
該候補検出手段により検出された候補画像に前記判別対象であるか否かを判別する対象判別手段として機能させるための対象判別プログラムであって、
前記候補検出手段が、複数の弱判別器による複数の判別結果を用いて前記部分画像が前記判別対象であるか否かを判別する候補判別器を備えたものであり、
該候補判別器が、
前記判別対象が所定の方向を向いた基準サンプル画像と、該基準サンプル画像の前記判別対象を該基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とする対象判別プログラム。
【請求項１】
画像が判別対象であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う判別器の学習方法において、
前記判別器が、前記判別対象が所定の方向を向いた基準サンプル画像と、該基準サンプル画像の前記判別対象を該基準サンプル画像の平面において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とする判別器の学習方法。
【請求項２】
前記判別器が、さらに前記基準サンプル画像内の前記判別対象の向きを回転させた面外回転サンプル画像を用いて学習されたものであることを特徴とする請求項１に記載の判別器の学習方法。
【請求項３】
全体画像上に設定画素数の枠からなるサブウィンドウを走査させ部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記部分画像が判別対象であるか否かを判別し、該判別対象である可能性のある前記部分画像を候補画像として検出する候補検出手段と、
該候補検出手段により検出された候補画像に前記判別対象であるか否かを判別する対象判別手段と
を有するものであり、
前記候補検出手段が、複数の弱判別器による複数の判別結果を用いて前記部分画像が前記判別対象であるか否かを判別する候補判別器を備えたものであり、
該候補判別器が、
前記判別対象が所定の方向を向いた基準サンプル画像と、該基準サンプル画像の前記判別対象を該基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とする対象判別装置。
【請求項４】
前記候補判別器が、さらに前記基準サンプル画像内の前記判別対象の向きを回転させた面外回転サンプル画像と、該面外回転サンプル画像を面内回転させた面外面内回転サンプル画像とを用いて学習されたものであることを特徴とする請求項３に記載の判別器の学習方法。
【請求項５】
前記複数の弱判別器がカスケード構造を有し、上流側の前記弱判別器において前記判別対象であると判別された前記部分画像についてさらに下流側の前記弱判別器による判別を行うものであることを特徴とする請求項３または４記載の対象判別装置。
【請求項６】
前記候補判別器が、回転角度の異なる複数の前記面内回転サンプル画像と、回転角度の異なる複数の前記面外回転サンプル画像とを用いて学習されたものであることを特徴とする請求項４または５記載の対象判別装置。
【請求項７】
前記候補検出手段が、前記候補判別器により判別された多数の前記候補画像をより少ない数の該候補画像に絞り込む候補絞込手段をさらに有し、
該候補絞込手段が、
前記基準サンプル画像と前記面内回転サンプル画像とを用いて学習された複数の弱判別器を有する面内回転判別器と、
前記基準サンプル画像と前記面外回転サンプル画像とを用いて学習された複数の弱判別器を有する面外回転判別器と
を有するものであることを特徴とする請求項４または５記載の対象判別装置。
【請求項８】
前記候補検出手段がカスケード構造を有する複数の前記候補絞込手段を有し、該各候補絞込手段が、複数の前記面内回転判別器および面外回転判別器を備え、下流側の前記候補絞込手段の前記各面内回転判別器および前記各面外回転判別器が、それぞれ上流側の前記候補絞込手段の前記各面内回転判別器および前記各面外回転判別器の判別可能な角度範囲よりも狭くなるように構成されていることを特徴とする請求項７記載の対象判別装置。
【請求項９】
コンピュータを、
全体画像上に設定画素数の枠からなるサブウィンドウを走査させ部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記部分画像が判別対象であるか否かを判別し、該判別対象である可能性のある前記部分画像を候補画像として検出する候補検出手段と、
該候補検出手段により検出された候補画像に前記判別対象であるか否かを判別する対象判別手段として機能させるための対象判別プログラムであって、
前記候補検出手段が、複数の弱判別器による複数の判別結果を用いて前記部分画像が前記判別対象であるか否かを判別する候補判別器を備えたものであり、
該候補判別器が、
前記判別対象が所定の方向を向いた基準サンプル画像と、該基準サンプル画像の前記判別対象を該基準サンプル画像の平面上において回転させた面内回転サンプル画像とを用いて学習されたものであることを特徴とする対象判別プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−６６０１０（Ｐ２００７−６６０１０Ａ）
【公開日】平成１９年３月１５日（２００７．３．１５）
【国際特許分類】
【出願番号】特願２００５−２５１４５２（Ｐ２００５−２５１４５２）
【出願日】平成１７年８月３１日（２００５．８．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成１９年３月１５日（２００７．３．１５）
【国際特許分類】
【出願日】平成１７年８月３１日（２００５．８．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]