特定向き顔判定方法および装置並びにプログラム
【課題】画像に含まれる特定の向きの顔を、高検出率、高分解能で検出する。
【解決手段】入力画像上で部分画像を切り出し、その部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを第１の顔判別器で判別し、その部分画像が第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを他の顔判別器で判別し、その部分画像に含まれる顔の向きが第１の角度範囲にあり、他の角度範囲にないと判別されたとき、その部分画像を第１の角度範囲から他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する。各判別器は、判別可能な顔の形状に幅を持たせるため、顔の向きが各判別器に応じた所定の角度範囲の向きであって顔の形状にバリエーションを持つ顔サンプル画像群を用いたマシンラーニングの学習により生成する。
【解決手段】入力画像上で部分画像を切り出し、その部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを第１の顔判別器で判別し、その部分画像が第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを他の顔判別器で判別し、その部分画像に含まれる顔の向きが第１の角度範囲にあり、他の角度範囲にないと判別されたとき、その部分画像を第１の角度範囲から他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する。各判別器は、判別可能な顔の形状に幅を持たせるため、顔の向きが各判別器に応じた所定の角度範囲の向きであって顔の形状にバリエーションを持つ顔サンプル画像群を用いたマシンラーニングの学習により生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像に含まれる特定の向きの顔を検出する特定向き顔検出方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
従来、デジタル画像（以下、単に画像という）に含まれる顔を検出する技術が、デジタルカメラや認証システム等の各分野において利用されているが、画像の中で特定の方向を向いた顔のみを検出する技術が求められる場合がある。
【０００３】
画像の中で特定の方向を向いた顔のみを検出する方法としては、例えば、画像上の複数の異なる位置で部分画像を切り出し、各部分画像が特定の向きの顔を含む画像であるか否かを判別する方法が考えられるが、その判別には、ロバスト性と判別精度に優れた、サンプル画像を用いたマシンラーニングの学習手法により生成された判別器を用いる方法が考えられる。このような判別器に関しこれまでに提案された技術としては、以下のようなものがある。
【０００４】
非特許文献１においては、顔の向き毎にその向きの顔を含むサンプル画像を複数用意し、顔の向き毎にこれらサンプル画像を用いて顔の特徴を学習させ、注目画像が所定の向きの顔を含む画像であるか否かを判別する判別器を、判別しようとする顔の向き毎に複数種類生成し、生成された複数種類の判別器を組み合わせて、様々な向きの顔を検出する方法が提案されている。
【０００５】
また、特許文献１および２においては、学習方法そのものは基本的に非特許文献１により提案されている方法と同じであるが、学習用のサンプル画像に、拡大縮小・回転・アスペクト比の変化を加えて変形したサンプル画像を加え、顔の形状にある程度の許容度を持たせた判別器を生成する方法が提案されている。
【非特許文献１】「高速全方向顔検出」，Shihong LAO他，画像の認識・理解シンポジウム（MIRU2004），２００４年７月，P.II-271−II-276
【特許文献１】特開平５−２８２４５７号公報
【特許文献２】特開２００５−２５０７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、特定の向きの顔を判別する判別器を生成するためには、非特許文献１により提案されているような、サンプル画像を用いたマシンラーニングの学習手法に基づき、顔の向きがその特定の向きに対応した所定の角度範囲にあるサンプル画像を用いて判別器を学習させる方法が考えられる。
【０００７】
ここで、特定の向きの顔をその向きに対して高い分解能で検出しようとする場合には、上記所定の角度範囲を狭くする必要があるが、上記所定の角度範囲を狭くして生成された判別器は、顔の形状の変化がその判別結果に影響を及ぼしやすく、若干の顔の形状の変化に対応できないため、このような判別器を用いた検出においては検出漏れが発生しやすくなり、顔の検出率が低くなるという問題がある。
【０００８】
一方、特定の向きの顔を高い検出率で検出しようとする場合には、顔の形状の変化に対応できる判別器を生成するために、特許文献１および２により提案されているような、学習用のサンプル画像に、拡大縮小・回転・アスペクト比の変化を加えて変形したサンプル画像を加えて学習させることにより判別器を生成する方法が考えられるが、このような方法により生成された判別器は、判別対象となる顔の向きの角度範囲が広くなる傾向にあり、このような判別器を用いた検出においては、検出しようとする顔の向きの分解能が低くなるという問題がある。
【０００９】
すなわち、上記のようなサンプル画像を用いたマシンラーニングの学習によって生成された顔判別器は、顔判別器の顔形状の変化に対する許容度を大きくしようとすると、判別対象となる顔の向きの角度範囲が広くなり、逆に、当該許容度を小さくしようとすると、当該角度範囲が狭くなるという特性を有するため、大きい許容度と狭い角度範囲を両立させることが難しく、このような顔判別器を用いて画像に含まれる特定の向きの顔を検出しようとすると、高い検出率と顔の向きに対する高い分解能を両立させることが難しい。
【００１０】
図１５は、このような関係を表す概念図であり、顔の向きを表す空間において、検出したい特定の顔の向きの範囲と、判別器が実際に半別な可能な、つまり検出可能な顔の向きの範囲とを表したものである。図１５（ａ）は比較的狭い範囲の向きの顔のサンプル画像のみを用いて学習させた判別器について示したものであり、判別可能な顔の向きの範囲が実際に検出したい顔の向きの範囲より狭くなるほど顔の向きに対する分解能を高くすることができるが、その反面、顔の形状の変化に対応し辛くなるため検出率が低くなる。一方、図１５（ｂ）は比較的広い範囲の向きの顔や形状にある程度のバリエーションを持たせた顔のサンプル画像のみを用いて学習させた判別器について示したものであり、顔の形状の変化に対応しやすくなり検出率を高めることができるが、その反面、判別可能な顔の向きの範囲が実際に検出したい顔の向きの範囲より広くなり顔の向きの分解能が低くなる。
【００１１】
本発明は、上記事情に鑑みてなされたものであり、画像に含まれる特定の向きの顔を、高い検出率で、かつ、顔の向きに対して高い分解能で検出することが可能な特定向き顔検出方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
本発明の特定向き顔検出方法は、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出方法において、入力画像上で部分画像を切り出すステップと、該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器を用いて、前記部分画像を判別するステップと、前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器を用いて、前記部分画像を判別するステップと、前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定するステップとを有することを特徴とするものである。
【００１３】
本発明の特定向き顔検出装置は、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出装置において、入力画像上で部分画像を切り出す部分画像切出し手段と、該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器と、前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器と、前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する判定手段とを備えたことを特徴とするものである。
【００１４】
本発明のプログラムは、コンピュータを、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出装置として機能させるためのプログラムにおいて、該コンピュータを、入力画像上で部分画像を切り出す部分画像切出し手段と、該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器と、前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器と、前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する判定手段として機能させることを特徴とするものである。
【００１５】
本発明において、前記他の判別器は、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器であり、前記特定の角度範囲は、前記第１の角度範囲から該第１の角度範囲と前記第２の角度範囲との重複部分を除いた角度範囲であってもよい。
【００１６】
また、本発明において、前記他の判別器は、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器と、前記他の角度範囲が前記第１の角度範囲の他方の角度方向寄りに重複部分を有する第３の角度範囲である第３の判別器であり、前記特定の角度範囲は、前記第１の角度範囲から該第１の角度範囲と前記第２および第３の角度範囲との重複部分を除いた角度範囲であってもよい。
【００１７】
本発明は、図１５（ｃ）に示すように、顔の形状の変化にある程度対応できるが判別可能な顔の向きの範囲が比較的広い判別器を複数組み合わせて用いることにより、顔の形状の変化に対応できる許容度を有したまま、その１つの判別器が判別する顔の向きの範囲より狭い範囲の向きにある顔を検出して、高検出率と高分解能を両立させようとするものである。
【００１８】
ここで、マシンラーニングの手法としては、例えば、ニューラルネットワーク、ブースティング等の手法が考えられるが、本発明においては、ブースティングが好ましい。
【００１９】
また、顔の向きとは、アウトプレーン（out-plane；画像面外）方向での顔の向きを意味し、別の言い方をすれば、左右首振り方向における顔の向きを意味するものである。
【発明の効果】
【００２０】
本発明の特定向き顔検出方法および装置並びにそのためのプログラムによれば、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習させて、顔の形状の変化に対して比較的大きい許容度を有する一方、判別対象となる顔の向きの角度範囲が比較的広くなる判別器を、その角度範囲が一部重複するように複数種類生成して用意しておき、入力画像上で切り出された部分画像に対してこれら複数種類の判別器を適用して判別を行い、その判別結果に基づいて、上記部分画像が、いずれかの判別器の判別対象となる顔の向きの角度範囲から上記重複部分を除いた角度範囲の向きの顔を含む画像であるかを判定するようにしているので、顔の形状の変化に対応しつつ、１つの判別器が判別する顔の向きの角度範囲より狭い角度範囲の向きの顔に絞って特定の向きの顔を検出することができ、画像に含まれる特定の向きの顔を、高い検出率で、かつ、顔の向きに対して高い分解能で検出することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図を参照しながら説明する。
【００２２】
図１は本発明の実施形態である特定向き顔検出システム１の構成を示す概略ブロック図である。この特定向き顔検出システム１は、図１に示すように、画像正規化部１０と、サブウィンドウ設定部（部分画像切出し手段）２０と、正面顔判別器（第１の判別器）３１と、右斜め顔判別器（第２の判別器）３２と、左斜め顔判別器（第３の判別器）３３と、特定向き顔判定部（判定手段）４０とを備えている。
【００２３】
画像正規化部１０は、入力画像Ｓ０のコントラストが顔検出処理に適した状態となるように、入力画像Ｓ０に対して全体正規化処理および局所正規化処理を施し、正規化済み画像Ｓ１を得るものである。
【００２４】
まず、全体正規化処理について説明する、全体正規化処理は、顔を検出する対象となる画像（以下、検出対象画像という）のコントラストを顔検出処理に適した所定のレベル、すなわち、後述の顔判別器の性能を引き出すのに適したレベルに近づけるべく、入力画像Ｓ０全体の画素値をこの画像における被写体の輝度の対数を表す値に近づける変換曲線にしたがって変換する処理である。
【００２５】
図２は全体正規化処理に用いる変換曲線の一例を示した図である。全体正規化処理としては、例えば、図２に示すような、画素値をｓＲＧＢ空間におけるいわゆる逆ガンマ変換（＝２．２乗する）した後にさらに対数をとるような変換曲線（ルックアップテーブル）にしたがって、画像全体における画素値を変換する処理を考えることができる。これは、次のような理由による。
【００２６】
画像として観測される光強度Ｉは、通常、被写体の反射率Ｒと光源の強度Ｌの積として表現される（Ｉ＝Ｒ×Ｌ）。したがって、光源の強度Ｌが変化すると、画像として観測される光強度Ｉも変化することになるが、被写体の反射率Ｒのみを評価することができれば、光源の強度Ｌに依存しない、すなわち、画像の明るさの影響を受けない精度の高い顔判別を行うことができる。
【００２７】
ここで、光源の強度がＬの場合において、被写体上で反射率がＲ１の部分から観測される光強度をＩ１、被写体上で反射率がＲ２の部分から観測される光強度をＩ２としたとき、それぞれの対数をとった空間では、下記の式が成り立つ。
【数１】
【００２８】
すなわち、画像における画素値を対数変換することは、反射率の比が差として表現された空間へ変換することとなり、このような空間では、光源の強度Ｌに依存しない被写体の反射率のみを評価することが可能となる。言い換えると、画像中の明るさによって異なるコントラスト（ここでは画素値の差分そのもの）を揃えることができる。
【００２９】
一方、一般的なデジタルカメラ等の機器で取得された画像の色空間はｓＲＧＢである。ｓＲＧＢとは、機器間の色再現の違いを統一するために、色彩、彩度等を規定・統一した国際標準の色空間のことであり、この色空間においては、ガンマ値（γout）が２．２の画像出力機器において適正な色再現を可能にするため、画像の画素値は、入力輝度を１／γout（＝０．４５）乗して得られる値となっている。
【００３０】
そこで、画像全体における画素値を、いわゆる逆ガンマ変換、すなわち、２．２乗した後にさらに対数をとるような変換曲線にしたがって変換することにより、光源の強度に依存しない被写体の反射率のみによる評価を適正に行うことができるようになる。
【００３１】
なお、このような全体正規化処理は、別の言い方をすれば、画像全体における画素値を、特定の色空間を別の特性を有する色空間に変換する変換曲線にしたがって変換する処理ということができる。
【００３２】
このような処理を検出対象画像に施すことにより、画像中の明るさによって異なるコントラストを揃えることができ、顔検出処理の精度が向上することとなる。なお、この全体正規化処理は、処理結果が検出対象画像中の斜光や背景、入力モダリティの違いによる影響を受けやすい反面、処理時間が短いという特徴を有する。
【００３３】
次に、局所正規化処理について説明する。局所正規化処理は、検出対象画像上の局所的な領域におけるコントラストのばらつきを抑制するための処理である。すなわち、検出対象画像における各局所領域について、輝度を表す画素値の分散の程度が所定レベル以上である局所領域に対しては、この分散の程度を前記の所定レベルより高い一定レベルに近づける第１の輝度階調変換処理を施し、画素値の分散の程度が前記の所定レベル未満である局所領域に対しては、この分散の程度を前記の一定レベルより低いレベルに抑える第２の輝度階調変換処理を施すものである。なお、この局所正規化処理は、処理時間は長いが、検出対象画像中の斜光や背景、入力モダリティの違いによる判別結果への影響は小さいという特徴を有する。
【００３４】
図３は局所正規化処理の概念を示した図であり、図４は局所正規化処理のフローを示した図である。また、式（２），（３）は、この局所正規化処理のための画素値の階調変換の式である。
【数２】
【００３５】
ここで、Ｘは注目画素の画素値、Ｘ′は注目画素の変換後の画素値、ｍlocalは注目画素を中心とする局所領域における画素値の平均、Ｖlocalはこの局所領域における画素値の分散、ＳＤlocalはこの局所領域における画素値の標準偏差、Ｃ１は、（Ｃ１×Ｃ１）が前記の一定レベルに対応する基準値となるような値、Ｃ２は前記の所定レベルに対応する閾値、ＳＤｃは所定の定数である。なお、本実施形態において、輝度の階調数は８ｂｉｔとし、画素値の取り得る値は０から２５５とする。
【００３６】
図３に示すように、まず、検出対象画像における１つの画素を注目画素として設定し（ステップＳＴ１）、この注目画素を中心とする所定の大きさ、例えば１１×１１画素サイズの局所領域における画素値の分散Ｖlocalを算出し（ステップＳＴ２）、分散Ｖlocalが前記所定のレベルに対応する閾値Ｃ２以上であるか否かを判定する（ステップＳＴ３）。ステップＳＴ３において、分散Ｖlocalが閾値Ｃ２以上であると判定された場合には、前記第１の輝度階調変換処理として、分散Ｖlocalが前記一定のレベルに対応する基準値（Ｃ１×Ｃ１）より大きいほど、注目画素の画素値Ｘと平均ｍlocalとの差を小さくし、分散ｍlocalが基準値（Ｃ１×Ｃ１）より小さいほど、注目画素の画素値Ｘと平均ｍlocalとの差を大きくする階調変換を式（２）にしたがって行う（ステップＳＴ４）。一方、ステップＳＴ３において、分散Ｖlocalが閾値Ｃ２未満であると判定された場合には、前記第２の輝度階調変換処理として、分散Ｖlocalに依らない線形な階調変換を式（３）にしたがって行う（ステップＳＴ５）。そして、ステップＳＴ１で設定した注目画素が最後の画素であるか否かを判定する（ステップＳＴ６）。ステップＳＴ６において、その注目画素が最後の画素でないと判定された場合には、ステップＳＴ１に戻り、同じ解像度画像上の次の画素を注目画素として設定する。一方、ステップＳＴ６において、その注目画素が最後の画素であると判定された場合には、その検出対象画像に対する局所正規化を終了する。このように、前記ステップＳＴ１からＳＴ６の処理を繰り返すことにより、検出対象画像全体に局所正規化を施すことができる。
【００３７】
なお、前記の所定レベルは、局所領域における全体または一部の輝度に応じて変化させるようにしてもよい。例えば、前記の、注目画素毎に階調変換を行う正規化処理において、閾値Ｃ２を注目画素の画素値に応じて変化させるようにしてもよい。すなわち、前記の所定レベルに対応する閾値Ｃ２を、注目画素の輝度が相対的に高いときにはより高く設定し、その輝度が相対的に低いときにはより低く設定するようにしてもよい。このようにすることで、輝度の低い、いわゆる暗い領域に低いコントラスト（画素値の分散が小さい状態）で存在している顔も正しく正規化することができる。
【００３８】
サブウィンドウ設定部２０は、正規化済み画像Ｓ１上において、所定のサイズ、例えば３２×３２画素サイズのサブウィンドウを、その位置を予め決められたラインに沿って所定のピッチ、例えば２画素ピッチで変えながら順次設定し、このサブウィンドウで囲まれた部分画像Ｗを切り出して、後述の正面顔判別器３１、右斜め顔判別器３２および左斜め顔判別器３３の各々へ入力するものである。
【００３９】
正面顔判別器３１、右斜め顔判別器３２および左斜め顔判別器３３は、それぞれ、サブウィンドウ設定部２０によって切り出された部分画像Ｗが、各判別器の種類に応じた所定の角度範囲の向きの顔を含む顔画像であるか否かを判別するものである。図５は本実施例における各判別器の判別対象となる顔の向きの角度範囲を示した図である。正面顔判別器３１は、部分画像Ｗが、真正面の向きを角度の基準（０°）として、−３０°〜３０°の角度範囲（第１の角度範囲）向きの顔を含む画像であるか否かを判別するものであり、右斜め顔判別器３２は、部分画像Ｗが＋１５°〜＋７５°の角度範囲（第２の角度範囲）の向きの顔を含む画像であるか否かを判別するものであり、左斜め顔判別器３３は、部分画像Ｗが−１５°〜−７５°の角度範囲（第３の角度範囲）の向きの顔を含む画像であるか否かを判別するものである。正面顔判別器３１と右斜め顔判別器３２とでは、その判別対象となる顔の向きの角度範囲が＋１５°〜＋３０°の範囲で重複しており、正面顔判別器３１と左斜め顔判別器３３とでは、その判別対象となるか顔の向きの角度範囲が−１５°〜−３０°の範囲で重複している。
【００４０】
ここで、各判別器の構成、判別器における処理の流れおよび判別器の学習方法について説明する。
【００４１】
各判別器は、図６に示すように、後述の学習により多数の弱判別器ＷＣの中から選定された判別に有効な複数の弱判別器ＷＣを有している。弱判別器ＷＣは、それぞれ、部分画像Ｗから弱判別器ＷＣ毎に固有の所定のアルゴリズムにしたがって特徴量を算出し、その特徴量と所定のスコアテーブルとしての後述の自己のヒストグラムとに基づいて、部分画像Ｗが所定の向きの顔を含む顔画像である蓋然性を示すスコアｓｃｗを求めるものである。判別器は、これら複数の弱判別器ＷＣから得られた個々のスコアｓｃｗを合算してスコアｓｃを求め、このスコアｓｃが閾値Ｔｈ１以上であるときに、部分画像Ｗをその所定の角度範囲の向きの顔を含む顔画像として判別し、判別結果Ｒを出力する。
【００４２】
図７は１つの判別器における処理の流れを示すフローチャートである。部分画像Ｗが判別器に入力されると、複数の弱判別器ＷＣにおいてそれぞれ種類の異なる特徴量ｘが算出される（ステップＳＴ１１）。例えば、図８に示すように、所定のサイズ、例えば、３２×３２画素サイズの部分画像Ｗに対して、４近傍画素平均（画像を２×２画素サイズ毎に複数のブロックに区分し、各ブロックの４画素における画素値の平均値をそのブロックに対応する１つの画素の画素値とする処理）を段階的に行うことにより、１６×１６画素サイズに縮小した画像Ｗ′と、８×８画素サイズに縮小した画像Ｗ″を得、もとの画像Ｗを含めたこれら３つの画像の平面内に設定される所定の２点を１ペアとして、複数種類のペアからなる１つのペア群を構成する各ペアにおける２点間の画素値（輝度）の差分値をそれぞれ計算し、これらの差分値の組合せを特徴量とする。各ペアの所定の２点は、例えば、画像上の顔の濃淡の特徴が反映されるよう決められた縦方向に並んだ所定の２点や、横方向に並んだ所定の２点とする。そして、特徴量である差分値の組合せに対応する値をｘとして算出する。次に、その値ｘに応じて所定のスコアテーブル（自己のヒストグラム）から部分画像Ｗが判別すべき顔（例えば、正面顔判別器３１場合には「顔の向きが−３０°〜＋３０°の角度範囲の向きである顔」）を含む顔画像である蓋然性を示すスコアｓｃｗが弱判別器毎に算出される（ステップＳＴ１２）。そして、弱判別器毎に算出された個々のスコアｓｃｗを合算してスコアｓｃが得られ（ステップＳＴ１３）、このスコアｓｃが第１の閾値Ｔｈ1以上であるか否かを判定し（ステップＳＴ１４）、肯定される場合に、その部分画像Ｗを、この判別器が判別すべき所定の角度範囲の向きの顔を含む画像として抽出する（ステップＳＴ１５）。
【００４３】
次に、判別器の学習（生成）方法について説明する。
【００４４】
図９は判別器の学習方法を示すフローチャートである。判別器の学習には、所定のサイズ、例えば３２×３２画素サイズで規格化され、さらに、前述の画像正規化部１０による正規化処理と同様の処理が施された複数のサンプル画像を用いる。サンプル画像としては、判別器が判別すべき所定の角度範囲の向きの顔が含まれる複数の異なる顔サンプル画像（顔サンプル画像群）と、顔が含まれていない複数の異なる非顔サンプル画像（非顔サンプル画像群）とを用意する。
【００４５】
顔サンプル画像群は、１つの顔サンプル画像につき、縦および／または横を０．７倍から１．２倍の範囲にて０．１倍単位で段階的に拡縮して得られる各サンプル画像に対し、平面上±１５°の範囲にて３°単位で段階的に回転させて得られる複数の変形バリエーションを用いる。これにより、顔の傾きや顔の形状の変化に許容度を有する判別器を生成することができる。すなわち、判別器が判別可能な顔の傾きや形状にある程度の幅をもたせることができる。
【００４６】
なおこのとき、顔サンプル画像は、目の位置が所定の位置に来るように顔のサイズと位置を規格化し、前記の平面上の回転、拡縮は目の位置を基準として行うようにする。例えば、ｄ×ｄサイズのサンプル画像の場合においては、図１０に示すように、両目の位置が、サンプル画像の最左上の頂点と最右上の頂点から、それぞれ、内側に１／４ｄ、下側に１／４ｄ移動した各位置とに来るように顔のサイズと位置を規格化し、また、前記の平面上の回転、拡縮は、両目の中間点を中心に行うようにする。
【００４７】
これら各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳＴ２１）。
【００４８】
次に、サンプル画像およびその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなるペア群を複数種類設定したときの、この複数種類のペア群のそれぞれについて弱半別器が作成される（ステップＳＴ２２）。ここで、それぞれの弱判別器とは、サブウィンドウで切り出された部分画像Ｗとその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなる１つのペア群を設定したときの、この１つのペア群を構成する各ペアにおける２点間の画素値（輝度）の差分値の組合せを用いて、顔の画像と顔でない画像とを判別する基準を提供するものである。本実施形態においては、１つのペア群を構成する各ペアにおける２点間の画素値の差分値の組合せについてのヒストグラムを弱判別器のスコアテーブルの基礎として使用する。
【００４９】
図１１はサンプル画像からヒストグラムが生成される様子を示した図である。図１１の左側のサンプル画像に示すように、この判別器を作成するためのペア群を構成する各ペアの２点は、顔であることが分かっている複数のサンプル画像において、サンプル画像上の右目の中心にある点をＰ１、右側の頬の部分にある点をＰ２、眉間の部分にある点をＰ３、サンプル画像を４近傍画素平均で縮小した１６×１６画素サイズの縮小画像上の右目の中心にある点をＰ４、右側の頬の部分にある点をＰ５、さらに４近傍画素平均で縮小した８×８画素サイズの縮小画像上の額の部分にある点をＰ６、口の部分にある点をＰ７として、Ｐ１−Ｐ２、Ｐ１−Ｐ３、Ｐ４−Ｐ５、Ｐ４−Ｐ６、Ｐ６−Ｐ７の５ペアである。なお、ある判別器を作成するための１つのペア群を構成する各ペアの２点の座標位置はすべてのサンプル画像において同一である。そして顔であることが分かっているすべてのサンプル画像について前記５ペアを構成する各ペアの２点間の画素値の差分値の組合せが求められ、そのヒストグラムが作成される。ここで、画素値の差分値の組合せとしてとり得る値は、画像の輝度階調数に依存するが、仮に１６ビット階調である場合には、１つの画素値の差分値につき６５５３６通りあり、全体では階調数の（ペア数）乗、すなわち６５５３６の５乗通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、画素値の差分値を適当な数値幅で区切って量子化し、ｎ値化する（例えばｎ＝１００）。これにより、画素値の差分値の組合せの数はｎの５乗通りとなるため、画素値の差分値の組合せを表すデータ数を低減できる。
【００５０】
同様に、非顔サンプル画像群についても、ヒストグラムが作成される。なお、非顔サンプル画像については、顔サンプル画像上における前記各ペアの所定の２点の位置に対応する位置（同様に参照符号Ｐ１からＰ７を用いる）が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１１の一番右側に示す、弱判別器のスコアテーブルの基礎として用いられるヒストグラムである。この弱判別器のヒストグラムが示す各縦軸の値を、以下、判別ポイントと称する。この弱判別器によれば、正の判別ポイントに対応する、画素値の差分値の組合せの分布を示す画像は顔である可能性が高く、判別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の判別ポイントに対応する画素値の差分値の組合せの分布を示す画像は顔でない可能性が高く、やはり判別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳＴ２２では、判別に使用され得る複数種類のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せについて、前記のヒストグラム形式の複数の弱判別器が作成される。
【００５１】
続いて、ステップＳＴ２２で作成した複数の弱半別器のうち、画像が顔画像であるか否かを判別するのに最も有効な弱判別器が選択される。最も有効な弱判別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各弱判別器の重み付き正答率が比較され、最も高い重み付き正答率を示す弱判別器が選択される（ステップＳＴ２３）。すなわち、最初のステップＳＴ２３では、各サンプル画像の重みは等しく１であるので、単純にその弱判別器によって画像が顔画像であるか否かが正しく判別されるサンプル画像の数が最も多いものが、最も有効な弱判別器として選択される。一方、後述するステップＳＴ２５において各サンプル画像の重みが更新された後の２回目のステップＳＴ２３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳＴ２３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく判別されることに、より重点が置かれる。
【００５２】
次に、それまでに選択した弱判別器の組合せの正答率、すなわち、それまでに選択した弱判別器を組み合わせて使用して（学習段階では、弱判別器は必ずしも線形に結合させる必要はない）各サンプル画像が顔画像であるか否かを判別した結果が、実際に顔画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳＴ２４）。ここで、弱判別器の組合せの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した弱判別器を用いれば画像が顔であるか否かを十分に高い確率で判別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した弱判別器と組み合わせて用いるための追加の弱判別器を選択するために、ステップＳＴ２６へと進む。
【００５３】
ステップＳＴ２６では、直近のステップＳＴ２３で選択された弱判別器が再び選択されないようにするため、その弱判別器が除外される。
【００５４】
次に、直近のステップＳＴ２３で選択された弱判別器では顔であるか否かを正しく判別できなかったサンプル画像の重みが大きくされ、画像が顔画像であるか否かを正しく判別できたサンプル画像の重みが小さくされる（ステップＳＴ２５）。このように重みを大小させる理由は、次の弱判別器の選択において、既に選択された弱判別器では正しく判別できなかった画像を重要視し、それらの画像が顔画像であるか否かを正しく判別できる弱判別器が選択されるようにして、弱判別器の組合せの効果を高めるためである。
【００５５】
続いて、ステップＳＴ２３へと戻り、前記したように重み付き正答率を基準にして次に有効な弱判別器が選択される。
【００５６】
以上のステップＳＴ２３からＳ２６を繰り返して、顔画像であるか否かを判別するのに適した弱判別器として、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せに対応する弱判別器が選択されたところで、ステップＳＴ２４で確認される正答率が閾値を超えたとすると、顔画像であるか否かの判別に用いる弱判別器の種類と判別条件とが確定され（ステップＳＴ２７）、これにより学習を終了する。なお、選択された弱判別器は、その重み付き正答率が高い順に線形結合され、１つの判別器が構成される。また、各弱判別器については、それぞれ得られたヒストグラムを基に、画素値の差分値の組合せに応じてスコアを算出するためのスコアテーブルが生成される。なお、ヒストグラム自身をスコアテーブルとして用いることもでき、この場合、ヒストグラムの判別ポイントがそのままスコアとなる。
【００５７】
このようにして、顔サンプル画像群と非顔サンプル画像群とを用いた学習により、判別器が生成されるわけであるが、前述のように、判別可能な顔の向きの角度範囲が異なる複数の判別器を生成するには、図１２に示すように、顔の向きの各角度範囲にそれぞれ対応した複数種類の顔サンプル画像群を用意し、その顔サンプル画像群と非顔サンプル画像群とを用いた学習を顔サンプル画像群の種類毎に行うこととなる。すなわち、本実施例では、判別したい顔の向きの角度範囲を、それぞれ、−３０°〜＋３０°、＋１５°〜＋７５°、−１５°〜−７５°として、各角度範囲に対応した３種類の顔サンプル画像群を用意し、顔サンプル画像群の種類毎に、その顔サンプル画像群と非顔サンプル画像群とを用いて前記の学習を行い、各判別器を生成する。
【００５８】
なお、前記の学習手法を採用する場合において、弱判別器は、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せを用いて顔の画像と顔でない画像とを判別する基準を提供するものであれば、前記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１１の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。
【００５９】
また、学習の方法としては前記のブースティングの手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。
【００６０】
特定向き顔判定部４０は、図１３に示すように、部分画像Ｗが正面顔判別器３１により第１の角度範囲の向きの顔を含む画像であると判別され、かつ、同部分画像Ｗが右斜め顔判別器３２により第２の角度範囲の向きの顔を含む画像でないと判別され、さらに、同部分画像Ｗが左斜め顔判別器３３により第３の角度範囲の向きの顔を含む画像でないと判別されたときに、同部分画像Ｗを、第１の角度範囲から第２および第３の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像であると判定し、それ以外の判別結果である場合には、同部分画像Ｗを上記特定の角度範囲の向きの顔を含む画像でないと判定するものである。すなわち、正面顔判別器３１によって部分画像Ｗが第１の角度範囲の向きの顔であると判別されたことにより、まず、部分画像Ｗは顔を含む画像であり、その顔の向きが第１の角度範囲である＋３０°〜−３０°の角度範囲にあることが分かり、次に、右斜め顔判別器３２におよび左斜め顔判別器３３によって部分画像Ｗが第２および第３の角度範囲である＋１５°〜＋７５°、−１５°〜−７５°の角度範囲にはないことが分かるため、その部分画像Ｗを＋１５°〜−１５°の角度範囲の向きの顔を含む画像として判定するわけである。
【００６１】
次に、特定向き顔検出システム１における処理の流れについて説明する。
【００６２】
図１４は、特定向き顔検出システム１における処理の流れを示したフローチャートである。これらの図に示すように、本システムに画像Ｓ０が入力されると（ステップＳＴ３１）、画像正規化部１０が入力画像Ｓ０に対して上述の全体正規化処理と局所正規化処理を施し、正規化済み画像Ｓ１を得る（ステップＳＴ３２）。
【００６３】
次に、サブウィンドウ設定部２０は、正規化済み画像Ｓ１上で初期値として定められた所定の位置にサブウィンドウを設定して部分画像Ｗを切り出し、その部分画像Ｗを正面顔判別器３１、右斜め顔判別器３２および左斜め顔判別器３３の各々に入力する（ステップＳＴ３３）。そして、各判別器は、それぞれ、複数の弱判別器を用いて、部分画像Ｗがその判別器に応じた所定の角度範囲の向きの顔を含む画像である蓋然性を示すスコアｓｃを算出し、算出されたスコアｓｃが閾値Ｔｈ１以上であるときに、この部分画像Ｗをその所定の角度範囲の向きの顔を含む画像として判別し、その判別結果Ｒを特定向き顔判定手段４０に送る（ステップＳＴ３４）。
【００６４】
特定向き判定手段４０は、その判別結果に基づいて、部分画像Ｗが特定の角度範囲、すなわち＋１５°〜−１５°の角度範囲の向きの顔を含む画像であるか否かを判定し、当該画像であると判定された部分画像Ｗを、正面顔に相当する特定の向きの顔を含む画像として抽出する（ステップＳＴ３５）。
【００６５】
特定向き判定手段４０による判定がなされると、サブウィンドウ設定部２０は、次に判別すべき部分画像Ｗが存在するか否かを判定する（ステップＳＴ３６）。ここで、次に判別すべき部分画像Ｗが存在すると判定された場合には、ステップＳＴ３３に戻り新たなサブウィンドウを設定し、次に判別すべき部分画像Ｗが存在しない場合には、顔の検出処理を終了する。
【００６６】
このような本実施形態による顔検出システムによれば、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習させて、顔の形状の変化に対して比較的大きい許容度を有する一方、判別対象となる顔の向きの角度範囲が比較的広くなる判別器を、その角度範囲が一部重複するように複数種類生成して用意しておき、入力画像上で切り出された部分画像に対してこれら複数種類の判別器を適用して判別を行い、その判別結果に基づいて、上記部分画像が、いずれかの判別器の判別対象となる顔の向きの角度範囲から上記重複部分を除いた角度範囲の向きの顔を含む画像であるかを判定するようにしているので、顔の形状の変化に対応しつつ、１つの判別器が判別する顔の向きの角度範囲より狭い角度範囲の向きの顔に絞って特定の向きの顔を検出することができ、画像に含まれる特定の向きの顔を、高い検出率で、かつ、顔の向きに対して高い分解能で検出することが可能となる。
【００６７】
なお、本実施例では、検出すべき特定の向きの顔が正面顔の場合について説明したが、もちろん、検出すべき特定の向きの顔を斜め方向を向いた顔としてもよい。
【００６８】
また、本実施例では、検出できる顔の大きさがほぼ固定されているが、大きさが異なる顔を一緒に検出しようとする場合や顔の大きさに依らずいずれの顔も検出しようとする場合には、例えば、入力画像Ｓ０を多重解像度化して解像度の異なる複数の画像を生成し、生成された複数の画像の各々に対して本実施例と同様の検出処理を施すようにすればよい。
【００６９】
また、本実施例では、正面顔判別器、左斜め判別器および右斜め判別器の３種類の判別器を用いて、それぞれが判別可能な顔の向きの角度範囲の重複部分を２つにしているが、もちろん、正面顔判別器と左斜め判別器、あるいは、正面顔判別器と右斜め顔判別器のように、２種類の判別器を用いて、判別可能な顔の向きの角度範囲の重複部分を１つにしてもよい。
【００７０】
また、本実施例では、図１６（ａ）に示すように、正面顔判別器によって顔を含む画像であると判定され、かつ、左斜め判別器および右斜め判別器によって顔を含む画像ではないと判定された場合に、その画像に含まれる顔の向きを、正面顔判別器が判別可能な角度範囲（−４５°〜−４５）からその角度範囲と他の２つの判別器が判別可能な角度範囲（−７５°〜−１５°と＋１５°〜＋７５°）との重複部分（−３０°〜−１５°と＋１５°〜＋３０°）を除いた角度範囲（−１５°〜＋１５°）の向きとして検出すようにしているが、実際には、例えば、図１６（ｂ）に示すように、正面顔判別器によって顔を含む画像であると判定され、かつ、左斜め判別器および右斜め判別器によって顔を含む画像ではないと判定された場合であっても、その画像が含む顔の向きを、正面顔判別器が判別可能な角度範囲（−４５°〜−４５）からその角度範囲と左斜め顔判別器が判別可能な角度範囲（−７５°〜−１５°）との重複部分（−３０°〜−１５°）を除いた角度範囲（−１５°〜＋３０°）の向きとして検出することも考えられる。これは、各判別器の相性等の問題からある特定の判別器の信頼性が損なわれ、その判別器による判定結果を無視するような場合が想定されるからである。
【００７１】
以上、本発明の実施形態に係る特定向き顔検出システムについて説明したが、このシステムにおける処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００７２】
【図１】特定向き顔検出システム１の構成を示すブロック図
【図２】全体正規化処理に用いる変換曲線の一例を示す図
【図３】局所正規化処理の概念を示す図
【図４】局所正規化処理のフローを示す図
【図５】各判別器の判別対象となる顔の向きの角度範囲を示した図
【図６】判別器の構成を示すブロック図
【図７】判別器における処理フローを示す図
【図８】弱判別器における特徴量の算出を説明するための図
【図９】判別器の学習方法を示すフローチャート
【図１０】目の位置が所定の位置にくるように規格化された顔のサンプル画像を示す図
【図１１】弱判別器のヒストグラムを導出する方法を示す図
【図１２】判別可能な顔の向きの角度範囲が異なる複数の判別器を生成する場合の概念図
【図１３】各判別器の判別結果から特定の角度範囲の向きの顔か否かを判定する様子を示す図
【図１４】第１の実施形態による顔検出システム１における処理を示すフローチャート
【図１５】顔向き空間において検出したい範囲と検出可能な範囲との関係を表した概念図
【図１６】判別器が判別可能な顔の向きの角度範囲と実際に検出する顔の向きとの関係を示す図
【符号の説明】
【００７３】
１ 特定向き顔検出システム
１０ 画像正規化部
２０ サブウィンドウ設定部（部分画像切出し手段）
３１ 正面顔判別器（第１の判別器）
３２ 右斜め顔判別器（第２の判別器）
３３ 左斜め顔判別器（第３の判別器）
４０ 特定向き顔判定部（判定手段）
【技術分野】
【０００１】
本発明は、デジタル画像に含まれる特定の向きの顔を検出する特定向き顔検出方法および装置並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
従来、デジタル画像（以下、単に画像という）に含まれる顔を検出する技術が、デジタルカメラや認証システム等の各分野において利用されているが、画像の中で特定の方向を向いた顔のみを検出する技術が求められる場合がある。
【０００３】
画像の中で特定の方向を向いた顔のみを検出する方法としては、例えば、画像上の複数の異なる位置で部分画像を切り出し、各部分画像が特定の向きの顔を含む画像であるか否かを判別する方法が考えられるが、その判別には、ロバスト性と判別精度に優れた、サンプル画像を用いたマシンラーニングの学習手法により生成された判別器を用いる方法が考えられる。このような判別器に関しこれまでに提案された技術としては、以下のようなものがある。
【０００４】
非特許文献１においては、顔の向き毎にその向きの顔を含むサンプル画像を複数用意し、顔の向き毎にこれらサンプル画像を用いて顔の特徴を学習させ、注目画像が所定の向きの顔を含む画像であるか否かを判別する判別器を、判別しようとする顔の向き毎に複数種類生成し、生成された複数種類の判別器を組み合わせて、様々な向きの顔を検出する方法が提案されている。
【０００５】
また、特許文献１および２においては、学習方法そのものは基本的に非特許文献１により提案されている方法と同じであるが、学習用のサンプル画像に、拡大縮小・回転・アスペクト比の変化を加えて変形したサンプル画像を加え、顔の形状にある程度の許容度を持たせた判別器を生成する方法が提案されている。
【非特許文献１】「高速全方向顔検出」，Shihong LAO他，画像の認識・理解シンポジウム（MIRU2004），２００４年７月，P.II-271−II-276
【特許文献１】特開平５−２８２４５７号公報
【特許文献２】特開２００５−２５０７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、特定の向きの顔を判別する判別器を生成するためには、非特許文献１により提案されているような、サンプル画像を用いたマシンラーニングの学習手法に基づき、顔の向きがその特定の向きに対応した所定の角度範囲にあるサンプル画像を用いて判別器を学習させる方法が考えられる。
【０００７】
ここで、特定の向きの顔をその向きに対して高い分解能で検出しようとする場合には、上記所定の角度範囲を狭くする必要があるが、上記所定の角度範囲を狭くして生成された判別器は、顔の形状の変化がその判別結果に影響を及ぼしやすく、若干の顔の形状の変化に対応できないため、このような判別器を用いた検出においては検出漏れが発生しやすくなり、顔の検出率が低くなるという問題がある。
【０００８】
一方、特定の向きの顔を高い検出率で検出しようとする場合には、顔の形状の変化に対応できる判別器を生成するために、特許文献１および２により提案されているような、学習用のサンプル画像に、拡大縮小・回転・アスペクト比の変化を加えて変形したサンプル画像を加えて学習させることにより判別器を生成する方法が考えられるが、このような方法により生成された判別器は、判別対象となる顔の向きの角度範囲が広くなる傾向にあり、このような判別器を用いた検出においては、検出しようとする顔の向きの分解能が低くなるという問題がある。
【０００９】
すなわち、上記のようなサンプル画像を用いたマシンラーニングの学習によって生成された顔判別器は、顔判別器の顔形状の変化に対する許容度を大きくしようとすると、判別対象となる顔の向きの角度範囲が広くなり、逆に、当該許容度を小さくしようとすると、当該角度範囲が狭くなるという特性を有するため、大きい許容度と狭い角度範囲を両立させることが難しく、このような顔判別器を用いて画像に含まれる特定の向きの顔を検出しようとすると、高い検出率と顔の向きに対する高い分解能を両立させることが難しい。
【００１０】
図１５は、このような関係を表す概念図であり、顔の向きを表す空間において、検出したい特定の顔の向きの範囲と、判別器が実際に半別な可能な、つまり検出可能な顔の向きの範囲とを表したものである。図１５（ａ）は比較的狭い範囲の向きの顔のサンプル画像のみを用いて学習させた判別器について示したものであり、判別可能な顔の向きの範囲が実際に検出したい顔の向きの範囲より狭くなるほど顔の向きに対する分解能を高くすることができるが、その反面、顔の形状の変化に対応し辛くなるため検出率が低くなる。一方、図１５（ｂ）は比較的広い範囲の向きの顔や形状にある程度のバリエーションを持たせた顔のサンプル画像のみを用いて学習させた判別器について示したものであり、顔の形状の変化に対応しやすくなり検出率を高めることができるが、その反面、判別可能な顔の向きの範囲が実際に検出したい顔の向きの範囲より広くなり顔の向きの分解能が低くなる。
【００１１】
本発明は、上記事情に鑑みてなされたものであり、画像に含まれる特定の向きの顔を、高い検出率で、かつ、顔の向きに対して高い分解能で検出することが可能な特定向き顔検出方法および装置並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
本発明の特定向き顔検出方法は、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出方法において、入力画像上で部分画像を切り出すステップと、該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器を用いて、前記部分画像を判別するステップと、前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器を用いて、前記部分画像を判別するステップと、前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定するステップとを有することを特徴とするものである。
【００１３】
本発明の特定向き顔検出装置は、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出装置において、入力画像上で部分画像を切り出す部分画像切出し手段と、該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器と、前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器と、前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する判定手段とを備えたことを特徴とするものである。
【００１４】
本発明のプログラムは、コンピュータを、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出装置として機能させるためのプログラムにおいて、該コンピュータを、入力画像上で部分画像を切り出す部分画像切出し手段と、該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器と、前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器と、前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する判定手段として機能させることを特徴とするものである。
【００１５】
本発明において、前記他の判別器は、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器であり、前記特定の角度範囲は、前記第１の角度範囲から該第１の角度範囲と前記第２の角度範囲との重複部分を除いた角度範囲であってもよい。
【００１６】
また、本発明において、前記他の判別器は、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器と、前記他の角度範囲が前記第１の角度範囲の他方の角度方向寄りに重複部分を有する第３の角度範囲である第３の判別器であり、前記特定の角度範囲は、前記第１の角度範囲から該第１の角度範囲と前記第２および第３の角度範囲との重複部分を除いた角度範囲であってもよい。
【００１７】
本発明は、図１５（ｃ）に示すように、顔の形状の変化にある程度対応できるが判別可能な顔の向きの範囲が比較的広い判別器を複数組み合わせて用いることにより、顔の形状の変化に対応できる許容度を有したまま、その１つの判別器が判別する顔の向きの範囲より狭い範囲の向きにある顔を検出して、高検出率と高分解能を両立させようとするものである。
【００１８】
ここで、マシンラーニングの手法としては、例えば、ニューラルネットワーク、ブースティング等の手法が考えられるが、本発明においては、ブースティングが好ましい。
【００１９】
また、顔の向きとは、アウトプレーン（out-plane；画像面外）方向での顔の向きを意味し、別の言い方をすれば、左右首振り方向における顔の向きを意味するものである。
【発明の効果】
【００２０】
本発明の特定向き顔検出方法および装置並びにそのためのプログラムによれば、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習させて、顔の形状の変化に対して比較的大きい許容度を有する一方、判別対象となる顔の向きの角度範囲が比較的広くなる判別器を、その角度範囲が一部重複するように複数種類生成して用意しておき、入力画像上で切り出された部分画像に対してこれら複数種類の判別器を適用して判別を行い、その判別結果に基づいて、上記部分画像が、いずれかの判別器の判別対象となる顔の向きの角度範囲から上記重複部分を除いた角度範囲の向きの顔を含む画像であるかを判定するようにしているので、顔の形状の変化に対応しつつ、１つの判別器が判別する顔の向きの角度範囲より狭い角度範囲の向きの顔に絞って特定の向きの顔を検出することができ、画像に含まれる特定の向きの顔を、高い検出率で、かつ、顔の向きに対して高い分解能で検出することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について図を参照しながら説明する。
【００２２】
図１は本発明の実施形態である特定向き顔検出システム１の構成を示す概略ブロック図である。この特定向き顔検出システム１は、図１に示すように、画像正規化部１０と、サブウィンドウ設定部（部分画像切出し手段）２０と、正面顔判別器（第１の判別器）３１と、右斜め顔判別器（第２の判別器）３２と、左斜め顔判別器（第３の判別器）３３と、特定向き顔判定部（判定手段）４０とを備えている。
【００２３】
画像正規化部１０は、入力画像Ｓ０のコントラストが顔検出処理に適した状態となるように、入力画像Ｓ０に対して全体正規化処理および局所正規化処理を施し、正規化済み画像Ｓ１を得るものである。
【００２４】
まず、全体正規化処理について説明する、全体正規化処理は、顔を検出する対象となる画像（以下、検出対象画像という）のコントラストを顔検出処理に適した所定のレベル、すなわち、後述の顔判別器の性能を引き出すのに適したレベルに近づけるべく、入力画像Ｓ０全体の画素値をこの画像における被写体の輝度の対数を表す値に近づける変換曲線にしたがって変換する処理である。
【００２５】
図２は全体正規化処理に用いる変換曲線の一例を示した図である。全体正規化処理としては、例えば、図２に示すような、画素値をｓＲＧＢ空間におけるいわゆる逆ガンマ変換（＝２．２乗する）した後にさらに対数をとるような変換曲線（ルックアップテーブル）にしたがって、画像全体における画素値を変換する処理を考えることができる。これは、次のような理由による。
【００２６】
画像として観測される光強度Ｉは、通常、被写体の反射率Ｒと光源の強度Ｌの積として表現される（Ｉ＝Ｒ×Ｌ）。したがって、光源の強度Ｌが変化すると、画像として観測される光強度Ｉも変化することになるが、被写体の反射率Ｒのみを評価することができれば、光源の強度Ｌに依存しない、すなわち、画像の明るさの影響を受けない精度の高い顔判別を行うことができる。
【００２７】
ここで、光源の強度がＬの場合において、被写体上で反射率がＲ１の部分から観測される光強度をＩ１、被写体上で反射率がＲ２の部分から観測される光強度をＩ２としたとき、それぞれの対数をとった空間では、下記の式が成り立つ。
【数１】
【００２８】
すなわち、画像における画素値を対数変換することは、反射率の比が差として表現された空間へ変換することとなり、このような空間では、光源の強度Ｌに依存しない被写体の反射率のみを評価することが可能となる。言い換えると、画像中の明るさによって異なるコントラスト（ここでは画素値の差分そのもの）を揃えることができる。
【００２９】
一方、一般的なデジタルカメラ等の機器で取得された画像の色空間はｓＲＧＢである。ｓＲＧＢとは、機器間の色再現の違いを統一するために、色彩、彩度等を規定・統一した国際標準の色空間のことであり、この色空間においては、ガンマ値（γout）が２．２の画像出力機器において適正な色再現を可能にするため、画像の画素値は、入力輝度を１／γout（＝０．４５）乗して得られる値となっている。
【００３０】
そこで、画像全体における画素値を、いわゆる逆ガンマ変換、すなわち、２．２乗した後にさらに対数をとるような変換曲線にしたがって変換することにより、光源の強度に依存しない被写体の反射率のみによる評価を適正に行うことができるようになる。
【００３１】
なお、このような全体正規化処理は、別の言い方をすれば、画像全体における画素値を、特定の色空間を別の特性を有する色空間に変換する変換曲線にしたがって変換する処理ということができる。
【００３２】
このような処理を検出対象画像に施すことにより、画像中の明るさによって異なるコントラストを揃えることができ、顔検出処理の精度が向上することとなる。なお、この全体正規化処理は、処理結果が検出対象画像中の斜光や背景、入力モダリティの違いによる影響を受けやすい反面、処理時間が短いという特徴を有する。
【００３３】
次に、局所正規化処理について説明する。局所正規化処理は、検出対象画像上の局所的な領域におけるコントラストのばらつきを抑制するための処理である。すなわち、検出対象画像における各局所領域について、輝度を表す画素値の分散の程度が所定レベル以上である局所領域に対しては、この分散の程度を前記の所定レベルより高い一定レベルに近づける第１の輝度階調変換処理を施し、画素値の分散の程度が前記の所定レベル未満である局所領域に対しては、この分散の程度を前記の一定レベルより低いレベルに抑える第２の輝度階調変換処理を施すものである。なお、この局所正規化処理は、処理時間は長いが、検出対象画像中の斜光や背景、入力モダリティの違いによる判別結果への影響は小さいという特徴を有する。
【００３４】
図３は局所正規化処理の概念を示した図であり、図４は局所正規化処理のフローを示した図である。また、式（２），（３）は、この局所正規化処理のための画素値の階調変換の式である。
【数２】
【００３５】
ここで、Ｘは注目画素の画素値、Ｘ′は注目画素の変換後の画素値、ｍlocalは注目画素を中心とする局所領域における画素値の平均、Ｖlocalはこの局所領域における画素値の分散、ＳＤlocalはこの局所領域における画素値の標準偏差、Ｃ１は、（Ｃ１×Ｃ１）が前記の一定レベルに対応する基準値となるような値、Ｃ２は前記の所定レベルに対応する閾値、ＳＤｃは所定の定数である。なお、本実施形態において、輝度の階調数は８ｂｉｔとし、画素値の取り得る値は０から２５５とする。
【００３６】
図３に示すように、まず、検出対象画像における１つの画素を注目画素として設定し（ステップＳＴ１）、この注目画素を中心とする所定の大きさ、例えば１１×１１画素サイズの局所領域における画素値の分散Ｖlocalを算出し（ステップＳＴ２）、分散Ｖlocalが前記所定のレベルに対応する閾値Ｃ２以上であるか否かを判定する（ステップＳＴ３）。ステップＳＴ３において、分散Ｖlocalが閾値Ｃ２以上であると判定された場合には、前記第１の輝度階調変換処理として、分散Ｖlocalが前記一定のレベルに対応する基準値（Ｃ１×Ｃ１）より大きいほど、注目画素の画素値Ｘと平均ｍlocalとの差を小さくし、分散ｍlocalが基準値（Ｃ１×Ｃ１）より小さいほど、注目画素の画素値Ｘと平均ｍlocalとの差を大きくする階調変換を式（２）にしたがって行う（ステップＳＴ４）。一方、ステップＳＴ３において、分散Ｖlocalが閾値Ｃ２未満であると判定された場合には、前記第２の輝度階調変換処理として、分散Ｖlocalに依らない線形な階調変換を式（３）にしたがって行う（ステップＳＴ５）。そして、ステップＳＴ１で設定した注目画素が最後の画素であるか否かを判定する（ステップＳＴ６）。ステップＳＴ６において、その注目画素が最後の画素でないと判定された場合には、ステップＳＴ１に戻り、同じ解像度画像上の次の画素を注目画素として設定する。一方、ステップＳＴ６において、その注目画素が最後の画素であると判定された場合には、その検出対象画像に対する局所正規化を終了する。このように、前記ステップＳＴ１からＳＴ６の処理を繰り返すことにより、検出対象画像全体に局所正規化を施すことができる。
【００３７】
なお、前記の所定レベルは、局所領域における全体または一部の輝度に応じて変化させるようにしてもよい。例えば、前記の、注目画素毎に階調変換を行う正規化処理において、閾値Ｃ２を注目画素の画素値に応じて変化させるようにしてもよい。すなわち、前記の所定レベルに対応する閾値Ｃ２を、注目画素の輝度が相対的に高いときにはより高く設定し、その輝度が相対的に低いときにはより低く設定するようにしてもよい。このようにすることで、輝度の低い、いわゆる暗い領域に低いコントラスト（画素値の分散が小さい状態）で存在している顔も正しく正規化することができる。
【００３８】
サブウィンドウ設定部２０は、正規化済み画像Ｓ１上において、所定のサイズ、例えば３２×３２画素サイズのサブウィンドウを、その位置を予め決められたラインに沿って所定のピッチ、例えば２画素ピッチで変えながら順次設定し、このサブウィンドウで囲まれた部分画像Ｗを切り出して、後述の正面顔判別器３１、右斜め顔判別器３２および左斜め顔判別器３３の各々へ入力するものである。
【００３９】
正面顔判別器３１、右斜め顔判別器３２および左斜め顔判別器３３は、それぞれ、サブウィンドウ設定部２０によって切り出された部分画像Ｗが、各判別器の種類に応じた所定の角度範囲の向きの顔を含む顔画像であるか否かを判別するものである。図５は本実施例における各判別器の判別対象となる顔の向きの角度範囲を示した図である。正面顔判別器３１は、部分画像Ｗが、真正面の向きを角度の基準（０°）として、−３０°〜３０°の角度範囲（第１の角度範囲）向きの顔を含む画像であるか否かを判別するものであり、右斜め顔判別器３２は、部分画像Ｗが＋１５°〜＋７５°の角度範囲（第２の角度範囲）の向きの顔を含む画像であるか否かを判別するものであり、左斜め顔判別器３３は、部分画像Ｗが−１５°〜−７５°の角度範囲（第３の角度範囲）の向きの顔を含む画像であるか否かを判別するものである。正面顔判別器３１と右斜め顔判別器３２とでは、その判別対象となる顔の向きの角度範囲が＋１５°〜＋３０°の範囲で重複しており、正面顔判別器３１と左斜め顔判別器３３とでは、その判別対象となるか顔の向きの角度範囲が−１５°〜−３０°の範囲で重複している。
【００４０】
ここで、各判別器の構成、判別器における処理の流れおよび判別器の学習方法について説明する。
【００４１】
各判別器は、図６に示すように、後述の学習により多数の弱判別器ＷＣの中から選定された判別に有効な複数の弱判別器ＷＣを有している。弱判別器ＷＣは、それぞれ、部分画像Ｗから弱判別器ＷＣ毎に固有の所定のアルゴリズムにしたがって特徴量を算出し、その特徴量と所定のスコアテーブルとしての後述の自己のヒストグラムとに基づいて、部分画像Ｗが所定の向きの顔を含む顔画像である蓋然性を示すスコアｓｃｗを求めるものである。判別器は、これら複数の弱判別器ＷＣから得られた個々のスコアｓｃｗを合算してスコアｓｃを求め、このスコアｓｃが閾値Ｔｈ１以上であるときに、部分画像Ｗをその所定の角度範囲の向きの顔を含む顔画像として判別し、判別結果Ｒを出力する。
【００４２】
図７は１つの判別器における処理の流れを示すフローチャートである。部分画像Ｗが判別器に入力されると、複数の弱判別器ＷＣにおいてそれぞれ種類の異なる特徴量ｘが算出される（ステップＳＴ１１）。例えば、図８に示すように、所定のサイズ、例えば、３２×３２画素サイズの部分画像Ｗに対して、４近傍画素平均（画像を２×２画素サイズ毎に複数のブロックに区分し、各ブロックの４画素における画素値の平均値をそのブロックに対応する１つの画素の画素値とする処理）を段階的に行うことにより、１６×１６画素サイズに縮小した画像Ｗ′と、８×８画素サイズに縮小した画像Ｗ″を得、もとの画像Ｗを含めたこれら３つの画像の平面内に設定される所定の２点を１ペアとして、複数種類のペアからなる１つのペア群を構成する各ペアにおける２点間の画素値（輝度）の差分値をそれぞれ計算し、これらの差分値の組合せを特徴量とする。各ペアの所定の２点は、例えば、画像上の顔の濃淡の特徴が反映されるよう決められた縦方向に並んだ所定の２点や、横方向に並んだ所定の２点とする。そして、特徴量である差分値の組合せに対応する値をｘとして算出する。次に、その値ｘに応じて所定のスコアテーブル（自己のヒストグラム）から部分画像Ｗが判別すべき顔（例えば、正面顔判別器３１場合には「顔の向きが−３０°〜＋３０°の角度範囲の向きである顔」）を含む顔画像である蓋然性を示すスコアｓｃｗが弱判別器毎に算出される（ステップＳＴ１２）。そして、弱判別器毎に算出された個々のスコアｓｃｗを合算してスコアｓｃが得られ（ステップＳＴ１３）、このスコアｓｃが第１の閾値Ｔｈ1以上であるか否かを判定し（ステップＳＴ１４）、肯定される場合に、その部分画像Ｗを、この判別器が判別すべき所定の角度範囲の向きの顔を含む画像として抽出する（ステップＳＴ１５）。
【００４３】
次に、判別器の学習（生成）方法について説明する。
【００４４】
図９は判別器の学習方法を示すフローチャートである。判別器の学習には、所定のサイズ、例えば３２×３２画素サイズで規格化され、さらに、前述の画像正規化部１０による正規化処理と同様の処理が施された複数のサンプル画像を用いる。サンプル画像としては、判別器が判別すべき所定の角度範囲の向きの顔が含まれる複数の異なる顔サンプル画像（顔サンプル画像群）と、顔が含まれていない複数の異なる非顔サンプル画像（非顔サンプル画像群）とを用意する。
【００４５】
顔サンプル画像群は、１つの顔サンプル画像につき、縦および／または横を０．７倍から１．２倍の範囲にて０．１倍単位で段階的に拡縮して得られる各サンプル画像に対し、平面上±１５°の範囲にて３°単位で段階的に回転させて得られる複数の変形バリエーションを用いる。これにより、顔の傾きや顔の形状の変化に許容度を有する判別器を生成することができる。すなわち、判別器が判別可能な顔の傾きや形状にある程度の幅をもたせることができる。
【００４６】
なおこのとき、顔サンプル画像は、目の位置が所定の位置に来るように顔のサイズと位置を規格化し、前記の平面上の回転、拡縮は目の位置を基準として行うようにする。例えば、ｄ×ｄサイズのサンプル画像の場合においては、図１０に示すように、両目の位置が、サンプル画像の最左上の頂点と最右上の頂点から、それぞれ、内側に１／４ｄ、下側に１／４ｄ移動した各位置とに来るように顔のサイズと位置を規格化し、また、前記の平面上の回転、拡縮は、両目の中間点を中心に行うようにする。
【００４７】
これら各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳＴ２１）。
【００４８】
次に、サンプル画像およびその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなるペア群を複数種類設定したときの、この複数種類のペア群のそれぞれについて弱半別器が作成される（ステップＳＴ２２）。ここで、それぞれの弱判別器とは、サブウィンドウで切り出された部分画像Ｗとその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなる１つのペア群を設定したときの、この１つのペア群を構成する各ペアにおける２点間の画素値（輝度）の差分値の組合せを用いて、顔の画像と顔でない画像とを判別する基準を提供するものである。本実施形態においては、１つのペア群を構成する各ペアにおける２点間の画素値の差分値の組合せについてのヒストグラムを弱判別器のスコアテーブルの基礎として使用する。
【００４９】
図１１はサンプル画像からヒストグラムが生成される様子を示した図である。図１１の左側のサンプル画像に示すように、この判別器を作成するためのペア群を構成する各ペアの２点は、顔であることが分かっている複数のサンプル画像において、サンプル画像上の右目の中心にある点をＰ１、右側の頬の部分にある点をＰ２、眉間の部分にある点をＰ３、サンプル画像を４近傍画素平均で縮小した１６×１６画素サイズの縮小画像上の右目の中心にある点をＰ４、右側の頬の部分にある点をＰ５、さらに４近傍画素平均で縮小した８×８画素サイズの縮小画像上の額の部分にある点をＰ６、口の部分にある点をＰ７として、Ｐ１−Ｐ２、Ｐ１−Ｐ３、Ｐ４−Ｐ５、Ｐ４−Ｐ６、Ｐ６−Ｐ７の５ペアである。なお、ある判別器を作成するための１つのペア群を構成する各ペアの２点の座標位置はすべてのサンプル画像において同一である。そして顔であることが分かっているすべてのサンプル画像について前記５ペアを構成する各ペアの２点間の画素値の差分値の組合せが求められ、そのヒストグラムが作成される。ここで、画素値の差分値の組合せとしてとり得る値は、画像の輝度階調数に依存するが、仮に１６ビット階調である場合には、１つの画素値の差分値につき６５５３６通りあり、全体では階調数の（ペア数）乗、すなわち６５５３６の５乗通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、画素値の差分値を適当な数値幅で区切って量子化し、ｎ値化する（例えばｎ＝１００）。これにより、画素値の差分値の組合せの数はｎの５乗通りとなるため、画素値の差分値の組合せを表すデータ数を低減できる。
【００５０】
同様に、非顔サンプル画像群についても、ヒストグラムが作成される。なお、非顔サンプル画像については、顔サンプル画像上における前記各ペアの所定の２点の位置に対応する位置（同様に参照符号Ｐ１からＰ７を用いる）が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１１の一番右側に示す、弱判別器のスコアテーブルの基礎として用いられるヒストグラムである。この弱判別器のヒストグラムが示す各縦軸の値を、以下、判別ポイントと称する。この弱判別器によれば、正の判別ポイントに対応する、画素値の差分値の組合せの分布を示す画像は顔である可能性が高く、判別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の判別ポイントに対応する画素値の差分値の組合せの分布を示す画像は顔でない可能性が高く、やはり判別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳＴ２２では、判別に使用され得る複数種類のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せについて、前記のヒストグラム形式の複数の弱判別器が作成される。
【００５１】
続いて、ステップＳＴ２２で作成した複数の弱半別器のうち、画像が顔画像であるか否かを判別するのに最も有効な弱判別器が選択される。最も有効な弱判別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各弱判別器の重み付き正答率が比較され、最も高い重み付き正答率を示す弱判別器が選択される（ステップＳＴ２３）。すなわち、最初のステップＳＴ２３では、各サンプル画像の重みは等しく１であるので、単純にその弱判別器によって画像が顔画像であるか否かが正しく判別されるサンプル画像の数が最も多いものが、最も有効な弱判別器として選択される。一方、後述するステップＳＴ２５において各サンプル画像の重みが更新された後の２回目のステップＳＴ２３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳＴ２３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく判別されることに、より重点が置かれる。
【００５２】
次に、それまでに選択した弱判別器の組合せの正答率、すなわち、それまでに選択した弱判別器を組み合わせて使用して（学習段階では、弱判別器は必ずしも線形に結合させる必要はない）各サンプル画像が顔画像であるか否かを判別した結果が、実際に顔画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳＴ２４）。ここで、弱判別器の組合せの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した弱判別器を用いれば画像が顔であるか否かを十分に高い確率で判別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した弱判別器と組み合わせて用いるための追加の弱判別器を選択するために、ステップＳＴ２６へと進む。
【００５３】
ステップＳＴ２６では、直近のステップＳＴ２３で選択された弱判別器が再び選択されないようにするため、その弱判別器が除外される。
【００５４】
次に、直近のステップＳＴ２３で選択された弱判別器では顔であるか否かを正しく判別できなかったサンプル画像の重みが大きくされ、画像が顔画像であるか否かを正しく判別できたサンプル画像の重みが小さくされる（ステップＳＴ２５）。このように重みを大小させる理由は、次の弱判別器の選択において、既に選択された弱判別器では正しく判別できなかった画像を重要視し、それらの画像が顔画像であるか否かを正しく判別できる弱判別器が選択されるようにして、弱判別器の組合せの効果を高めるためである。
【００５５】
続いて、ステップＳＴ２３へと戻り、前記したように重み付き正答率を基準にして次に有効な弱判別器が選択される。
【００５６】
以上のステップＳＴ２３からＳ２６を繰り返して、顔画像であるか否かを判別するのに適した弱判別器として、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せに対応する弱判別器が選択されたところで、ステップＳＴ２４で確認される正答率が閾値を超えたとすると、顔画像であるか否かの判別に用いる弱判別器の種類と判別条件とが確定され（ステップＳＴ２７）、これにより学習を終了する。なお、選択された弱判別器は、その重み付き正答率が高い順に線形結合され、１つの判別器が構成される。また、各弱判別器については、それぞれ得られたヒストグラムを基に、画素値の差分値の組合せに応じてスコアを算出するためのスコアテーブルが生成される。なお、ヒストグラム自身をスコアテーブルとして用いることもでき、この場合、ヒストグラムの判別ポイントがそのままスコアとなる。
【００５７】
このようにして、顔サンプル画像群と非顔サンプル画像群とを用いた学習により、判別器が生成されるわけであるが、前述のように、判別可能な顔の向きの角度範囲が異なる複数の判別器を生成するには、図１２に示すように、顔の向きの各角度範囲にそれぞれ対応した複数種類の顔サンプル画像群を用意し、その顔サンプル画像群と非顔サンプル画像群とを用いた学習を顔サンプル画像群の種類毎に行うこととなる。すなわち、本実施例では、判別したい顔の向きの角度範囲を、それぞれ、−３０°〜＋３０°、＋１５°〜＋７５°、−１５°〜−７５°として、各角度範囲に対応した３種類の顔サンプル画像群を用意し、顔サンプル画像群の種類毎に、その顔サンプル画像群と非顔サンプル画像群とを用いて前記の学習を行い、各判別器を生成する。
【００５８】
なお、前記の学習手法を採用する場合において、弱判別器は、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せを用いて顔の画像と顔でない画像とを判別する基準を提供するものであれば、前記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１１の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。
【００５９】
また、学習の方法としては前記のブースティングの手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。
【００６０】
特定向き顔判定部４０は、図１３に示すように、部分画像Ｗが正面顔判別器３１により第１の角度範囲の向きの顔を含む画像であると判別され、かつ、同部分画像Ｗが右斜め顔判別器３２により第２の角度範囲の向きの顔を含む画像でないと判別され、さらに、同部分画像Ｗが左斜め顔判別器３３により第３の角度範囲の向きの顔を含む画像でないと判別されたときに、同部分画像Ｗを、第１の角度範囲から第２および第３の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像であると判定し、それ以外の判別結果である場合には、同部分画像Ｗを上記特定の角度範囲の向きの顔を含む画像でないと判定するものである。すなわち、正面顔判別器３１によって部分画像Ｗが第１の角度範囲の向きの顔であると判別されたことにより、まず、部分画像Ｗは顔を含む画像であり、その顔の向きが第１の角度範囲である＋３０°〜−３０°の角度範囲にあることが分かり、次に、右斜め顔判別器３２におよび左斜め顔判別器３３によって部分画像Ｗが第２および第３の角度範囲である＋１５°〜＋７５°、−１５°〜−７５°の角度範囲にはないことが分かるため、その部分画像Ｗを＋１５°〜−１５°の角度範囲の向きの顔を含む画像として判定するわけである。
【００６１】
次に、特定向き顔検出システム１における処理の流れについて説明する。
【００６２】
図１４は、特定向き顔検出システム１における処理の流れを示したフローチャートである。これらの図に示すように、本システムに画像Ｓ０が入力されると（ステップＳＴ３１）、画像正規化部１０が入力画像Ｓ０に対して上述の全体正規化処理と局所正規化処理を施し、正規化済み画像Ｓ１を得る（ステップＳＴ３２）。
【００６３】
次に、サブウィンドウ設定部２０は、正規化済み画像Ｓ１上で初期値として定められた所定の位置にサブウィンドウを設定して部分画像Ｗを切り出し、その部分画像Ｗを正面顔判別器３１、右斜め顔判別器３２および左斜め顔判別器３３の各々に入力する（ステップＳＴ３３）。そして、各判別器は、それぞれ、複数の弱判別器を用いて、部分画像Ｗがその判別器に応じた所定の角度範囲の向きの顔を含む画像である蓋然性を示すスコアｓｃを算出し、算出されたスコアｓｃが閾値Ｔｈ１以上であるときに、この部分画像Ｗをその所定の角度範囲の向きの顔を含む画像として判別し、その判別結果Ｒを特定向き顔判定手段４０に送る（ステップＳＴ３４）。
【００６４】
特定向き判定手段４０は、その判別結果に基づいて、部分画像Ｗが特定の角度範囲、すなわち＋１５°〜−１５°の角度範囲の向きの顔を含む画像であるか否かを判定し、当該画像であると判定された部分画像Ｗを、正面顔に相当する特定の向きの顔を含む画像として抽出する（ステップＳＴ３５）。
【００６５】
特定向き判定手段４０による判定がなされると、サブウィンドウ設定部２０は、次に判別すべき部分画像Ｗが存在するか否かを判定する（ステップＳＴ３６）。ここで、次に判別すべき部分画像Ｗが存在すると判定された場合には、ステップＳＴ３３に戻り新たなサブウィンドウを設定し、次に判別すべき部分画像Ｗが存在しない場合には、顔の検出処理を終了する。
【００６６】
このような本実施形態による顔検出システムによれば、顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習させて、顔の形状の変化に対して比較的大きい許容度を有する一方、判別対象となる顔の向きの角度範囲が比較的広くなる判別器を、その角度範囲が一部重複するように複数種類生成して用意しておき、入力画像上で切り出された部分画像に対してこれら複数種類の判別器を適用して判別を行い、その判別結果に基づいて、上記部分画像が、いずれかの判別器の判別対象となる顔の向きの角度範囲から上記重複部分を除いた角度範囲の向きの顔を含む画像であるかを判定するようにしているので、顔の形状の変化に対応しつつ、１つの判別器が判別する顔の向きの角度範囲より狭い角度範囲の向きの顔に絞って特定の向きの顔を検出することができ、画像に含まれる特定の向きの顔を、高い検出率で、かつ、顔の向きに対して高い分解能で検出することが可能となる。
【００６７】
なお、本実施例では、検出すべき特定の向きの顔が正面顔の場合について説明したが、もちろん、検出すべき特定の向きの顔を斜め方向を向いた顔としてもよい。
【００６８】
また、本実施例では、検出できる顔の大きさがほぼ固定されているが、大きさが異なる顔を一緒に検出しようとする場合や顔の大きさに依らずいずれの顔も検出しようとする場合には、例えば、入力画像Ｓ０を多重解像度化して解像度の異なる複数の画像を生成し、生成された複数の画像の各々に対して本実施例と同様の検出処理を施すようにすればよい。
【００６９】
また、本実施例では、正面顔判別器、左斜め判別器および右斜め判別器の３種類の判別器を用いて、それぞれが判別可能な顔の向きの角度範囲の重複部分を２つにしているが、もちろん、正面顔判別器と左斜め判別器、あるいは、正面顔判別器と右斜め顔判別器のように、２種類の判別器を用いて、判別可能な顔の向きの角度範囲の重複部分を１つにしてもよい。
【００７０】
また、本実施例では、図１６（ａ）に示すように、正面顔判別器によって顔を含む画像であると判定され、かつ、左斜め判別器および右斜め判別器によって顔を含む画像ではないと判定された場合に、その画像に含まれる顔の向きを、正面顔判別器が判別可能な角度範囲（−４５°〜−４５）からその角度範囲と他の２つの判別器が判別可能な角度範囲（−７５°〜−１５°と＋１５°〜＋７５°）との重複部分（−３０°〜−１５°と＋１５°〜＋３０°）を除いた角度範囲（−１５°〜＋１５°）の向きとして検出すようにしているが、実際には、例えば、図１６（ｂ）に示すように、正面顔判別器によって顔を含む画像であると判定され、かつ、左斜め判別器および右斜め判別器によって顔を含む画像ではないと判定された場合であっても、その画像が含む顔の向きを、正面顔判別器が判別可能な角度範囲（−４５°〜−４５）からその角度範囲と左斜め顔判別器が判別可能な角度範囲（−７５°〜−１５°）との重複部分（−３０°〜−１５°）を除いた角度範囲（−１５°〜＋３０°）の向きとして検出することも考えられる。これは、各判別器の相性等の問題からある特定の判別器の信頼性が損なわれ、その判別器による判定結果を無視するような場合が想定されるからである。
【００７１】
以上、本発明の実施形態に係る特定向き顔検出システムについて説明したが、このシステムにおける処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００７２】
【図１】特定向き顔検出システム１の構成を示すブロック図
【図２】全体正規化処理に用いる変換曲線の一例を示す図
【図３】局所正規化処理の概念を示す図
【図４】局所正規化処理のフローを示す図
【図５】各判別器の判別対象となる顔の向きの角度範囲を示した図
【図６】判別器の構成を示すブロック図
【図７】判別器における処理フローを示す図
【図８】弱判別器における特徴量の算出を説明するための図
【図９】判別器の学習方法を示すフローチャート
【図１０】目の位置が所定の位置にくるように規格化された顔のサンプル画像を示す図
【図１１】弱判別器のヒストグラムを導出する方法を示す図
【図１２】判別可能な顔の向きの角度範囲が異なる複数の判別器を生成する場合の概念図
【図１３】各判別器の判別結果から特定の角度範囲の向きの顔か否かを判定する様子を示す図
【図１４】第１の実施形態による顔検出システム１における処理を示すフローチャート
【図１５】顔向き空間において検出したい範囲と検出可能な範囲との関係を表した概念図
【図１６】判別器が判別可能な顔の向きの角度範囲と実際に検出する顔の向きとの関係を示す図
【符号の説明】
【００７３】
１ 特定向き顔検出システム
１０ 画像正規化部
２０ サブウィンドウ設定部（部分画像切出し手段）
３１ 正面顔判別器（第１の判別器）
３２ 右斜め顔判別器（第２の判別器）
３３ 左斜め顔判別器（第３の判別器）
４０ 特定向き顔判定部（判定手段）
【特許請求の範囲】
【請求項１】
顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出方法において、
入力画像上で部分画像を切り出すステップと、
該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器を用いて、前記部分画像を判別するステップと、
前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器を用いて、前記部分画像を判別するステップと、
前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定するステップとを有することを特徴とする特定向き顔検出方法。
【請求項２】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項１記載の特定向き顔検出方法。
【請求項３】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器と、前記他の角度範囲が前記第１の角度範囲の他方の角度方向寄りに重複部分を有する第３の角度範囲である第３の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２および第３の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項１記載の特定向き顔検出方法。
【請求項４】
顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出装置において、
入力画像上で部分画像を切り出す部分画像切出し手段と、
該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器と、
前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器と、
前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する判定手段とを備えたことを特徴とする特定向き顔検出装置。
【請求項５】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項４記載の特定向き顔検出装置。
【請求項６】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器と、前記他の角度範囲が前記第１の角度範囲の他方の角度方向寄りに重複部分を有する第３の角度範囲である第３の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２および第３の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項４記載の特定向き顔検出装置。
【請求項７】
コンピュータを、
顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出装置として機能させるためのプログラムにおいて、
該コンピュータを、
入力画像上で部分画像を切り出す部分画像切出し手段と、
該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器と、
前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器と、
前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する判定手段として機能させることを特徴とするプログラム。
【請求項８】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項７記載のプログラム。
【請求項９】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器と、前記他の角度範囲が前記第１の角度範囲の他方の角度方向寄りに重複部分を有する第３の角度範囲である第３の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２および第３の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項７記載のプログラム。
【請求項１】
顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出方法において、
入力画像上で部分画像を切り出すステップと、
該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器を用いて、前記部分画像を判別するステップと、
前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器を用いて、前記部分画像を判別するステップと、
前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定するステップとを有することを特徴とする特定向き顔検出方法。
【請求項２】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項１記載の特定向き顔検出方法。
【請求項３】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器と、前記他の角度範囲が前記第１の角度範囲の他方の角度方向寄りに重複部分を有する第３の角度範囲である第３の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２および第３の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項１記載の特定向き顔検出方法。
【請求項４】
顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出装置において、
入力画像上で部分画像を切り出す部分画像切出し手段と、
該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器と、
前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器と、
前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する判定手段とを備えたことを特徴とする特定向き顔検出装置。
【請求項５】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項４記載の特定向き顔検出装置。
【請求項６】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器と、前記他の角度範囲が前記第１の角度範囲の他方の角度方向寄りに重複部分を有する第３の角度範囲である第３の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２および第３の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項４記載の特定向き顔検出装置。
【請求項７】
コンピュータを、
顔の向きが所定の角度範囲の向きであって形状が異なる顔をそれぞれ含む複数のサンプル画像を用いたマシンラーニングの手法により顔の特徴を学習してなる、判別対象の画像が前記所定の角度範囲に対応した角度範囲の向きの顔を含むか否かを判別する判別器を用いて、特定の向きの顔を検出する特定向き顔検出装置として機能させるためのプログラムにおいて、
該コンピュータを、
入力画像上で部分画像を切り出す部分画像切出し手段と、
該部分画像が第１の角度範囲の向きの顔を含む画像であるか否かを判別する第１の判別器と、
前記部分画像が、前記第１の角度範囲と一部重複する他の角度範囲の向きの顔を含む画像であるか否かを判別する他の判別器と、
前記部分画像が、前記第１の判別器により前記第１の角度範囲の向きの顔を含む画像であると判別され、かつ、前記他の判別器により前記他の角度範囲の向きの顔を含む画像でないと判別されたとき、前記部分画像を、前記第１の角度範囲から該第１の角度範囲と前記他の角度範囲との重複部分を除いた特定の角度範囲の向きの顔を含む画像と判定する判定手段として機能させることを特徴とするプログラム。
【請求項８】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項７記載のプログラム。
【請求項９】
前記他の判別器が、前記他の角度範囲が前記第１の角度範囲の一方の角度方向寄りに重複部分を有する第２の角度範囲である第２の判別器と、前記他の角度範囲が前記第１の角度範囲の他方の角度方向寄りに重複部分を有する第３の角度範囲である第３の判別器であり、
前記特定の角度範囲が、前記第１の角度範囲から該第１の角度範囲と前記第２および第３の角度範囲との重複部分を除いた角度範囲であることを特徴とする請求項７記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００７−２２６５１２（Ｐ２００７−２２６５１２Ａ）
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願番号】特願２００６−４６４８１（Ｐ２００６−４６４８１）
【出願日】平成１８年２月２３日（２００６．２．２３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願日】平成１８年２月２３日（２００６．２．２３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]