顔検出方法およびこれを用いた撮影装置
【課題】顔検出処理全体の計算量を減らし処理速度を向上させる。
【解決手段】まず、撮像手段２により人物被写体の撮影が行われ、各色成分毎の光が受光素子２ａにより受光され画素データＰｘが取得される。次に、画像生成手段３において、画素データＰｘを用いたカラー画像からなる原画像ＰとＧ画素データを用いたＧ信号画像Ｐとが生成される。その後、Ｇ信号画像Ｐを用いて顔検出を行うことにより、原画像Ｐ０における顔画像ＦＰを検出する。
【解決手段】まず、撮像手段２により人物被写体の撮影が行われ、各色成分毎の光が受光素子２ａにより受光され画素データＰｘが取得される。次に、画像生成手段３において、画素データＰｘを用いたカラー画像からなる原画像ＰとＧ画素データを用いたＧ信号画像Ｐとが生成される。その後、Ｇ信号画像Ｐを用いて顔検出を行うことにより、原画像Ｐ０における顔画像ＦＰを検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が人物の顔であるか否かを判別する顔検出方法およびこれを用いた撮影装置に関するものである。
【背景技術】
【０００２】
顔検出の基本原理は顔か顔ではないかの２クラス判別であり、この判別方法としてブースティング（Ｂｏｏｓｔｉｎｇ）と呼ばれる手法が広く用いられている（たとえば特許文献１参照）。ブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法である。
【０００３】
特に、ブースティングによる顔検出処理の高速化を図るために、複数の弱判別器でカスケードを構成する判別器が提案されている（たとえば特許文献２参照）。この判別器では、顔もしくは非顔の判別において、上流側の弱判別器が顔であると判別した画像について下流側の弱判別器がさらに顔か非顔かの判別を行うようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３２９０３１号公報
【特許文献２】米国特許出願公開２００２／１０２０２４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に示すようなブースティングアルゴリズムによる顔検出において、通常、画像の輝度情報（Ｙ信号）が用いられる。一方、デジタルカメラ等により取得された画像のデータはＲＧＢ信号からなる場合が多い。したがって、デジタルカメラ等により取得された画像に対し顔検出処理を行うとき、ＲＧＢ信号からＹ信号を生成することが必要になってしまい、情報処理量の増加が顔検出の高速化を妨げる原因になってしまう。特に、デジタルカメラに顔検出装置を実装し、取得した画像に直ぐ顔検出処理を施すような場合、Ｙ信号の生成処理が高速化を阻害する大きな要因となってしまう。
【０００６】
そこで、本発明は、高速に顔の検出を行うことができる顔検出方法およびこれを用いた撮影装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いて人物被写体の原画像を生成するとともに、複数の画素データのうち緑成分の光を受光することにより取得された複数のＧ画素データを用いてＧ信号画像を生成し、生成したＧ信号画像から顔画像を検出することにより、原画像内の顔画像を検出することを特徴とするものである。
【０００８】
本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いて人物被写体の原画像を生成するとともに、複数の画素データのうち緑成分の光を受光することにより取得された複数のＧ画素データを用いてＧ信号画像を生成する画像生成手段と、画像生成手段により生成されたＧ信号画像から顔画像を検出することにより、原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。
【０００９】
ここで、各色成分とは、緑成分の光を含むものであればどのような色成分からなるものであってもよく、たとえばＲＧＢ（レッド、グリーン、ブルー）からなるものであってもよいし、ＣＹＭＧ（シアン、イエロー、マゼンダ、グリーン）からなるものであっても良い。
【００１０】
なお、顔検出手段は、いかなる手法により顔画像を検出するものであってもよく、たとえば設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像が顔であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う顔判別器とを有し、顔判別器が複数の弱判別器による複数の判別結果を用いて最終的な判別を行う顔判別器を備えたものであってもよい。
【００１１】
なお、判別器は、複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する候補判別器を備えたものであれば判別手法は問わず、たとえば部分画像について各弱判別器による判別を行い、その複数の判別結果を用いて最終的な判別を行うようにしてもよいし、複数の弱判別器がカスケード構造を有し、上流側の弱判別器において顔であると判別された部分画像について下流側の弱判別器による判別を行うものであってもよい。
【００１２】
また、顔検出手段は、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔の可能性のある部分画像を候補画像として検出する候補検出手段とを有し、顔判別器が候補検出手段により検出された候補画像について顔であるか否かを判別するものであってもよい。
【発明の効果】
【００１３】
本発明の顔検出方法およびこれを用いた撮影装置によれば、人物被写体からの入射光を複数の色成分毎に受光することにより各色成分毎の複数の画素データを取得し、取得した複数の色成分の複数の画素データを用いて人物被写体の原画像を生成するとともに、緑成分の光を受光することにより取得された複数のＧ画素データを用いてＧ信号画像を生成し、生成したＧ信号画像から顔画像を検出することにより、原画像内の顔画像を検出することにより、撮像手段により直接取得されるＧ信号画像を用いて顔検出を行い従来の顔検出処理において行われていたＲＧＢ信号からの輝度情報の抽出処理が不要になるため、顔検出処理全体の計算量を減らして処理速度を向上させることができる。
【００１４】
なお、顔検出手段が、設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像が顔であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う顔判別器とを有するものであるとき、効率的に精度良く顔画像の検出を行うことができる。
【００１５】
また、複数の弱判別器でカスケードを構成し、上流側の弱判別器が顔画像であると判別した部分画像について下流側の弱判別器が判別を行うとすれば、下流側の弱判別器が判別すべき部分画像の数を大幅に低減することができるため、判別作業の高速化をさらに促進することができる。
【００１６】
さらに、顔検出手段が、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔である可能性のある部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、候補検出手段により判別された部分画像について顔であるか否かを判別するものであれば、顔判別器が検出すべき部分画像の数を低減することができるため、判別作業の高速化を図ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の撮影装置の好ましい実施の形態を示すブロック図
【図２】図１の撮像手段における受光素子の配列の一例を示す模式図
【図３】図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図
【図４】図３の横顔候補検出手段の一例を示すブロック図
【図５】図３の候補判別器により部分画像から特徴量が抽出される様子を示す模式図
【図６】図３の弱判別器が有するヒストグラムの一例を示すグラフ図
【図７】ＲＧＢ信号と輝度情報との関係を示すグラフ
【図８】本発明の顔検出方法の好ましい実施の形態を示すフローチャート
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は本発明の撮影装置１の好ましい実施の形態を示すブロック図である。撮影装置１は、人物被写体からの入射光を複数の受光素子２ａを用いて複数の色成分毎に受光することにより複数の画素データＰｘを取得する撮像手段２と、複数の画素データＰｘを用いて人物被写体の原画像Ｐ０とＧ信号画像Ｐを生成する画像生成手段３と、Ｇ信号画像Ｐを用いて顔画像ＦＰを検出することにより、原画像Ｐ０内の顔画像ＦＰを検出する顔検出手段１０とを備えている。
【００１９】
撮像手段２は、図２（Ａ）に示すように、人物被写体からの入射光を各色成分（ＲＧＢ）毎に受光する複数の受光素子２ａを有しており、各受光素子２ａは各色成分毎の光を受光し光電変換することにより各色成分毎の複数の画素データＰｘを取得するようになっている。ここで、図２（Ａ）のようないわゆるベイヤー方式でＲＧＢの受光画素が配列されている場合、緑成分の光を受光する受光画素２ａは、所定のピッチで配列されることになり、いわゆる間引いたＧ画素データを取得すると言うことができる。なお、撮像手段２の配列方式として図２（Ｂ）のようなストライプ方式であってもよい。あるいは各受光素子２ａは図２（Ｃ）のようにＣＹＭＧ（シアン、イエロー、マゼンダ、グリーン）の各色成分の光を受光するものであってもよい。さらには、受光画素の形状としていわゆるハニカム形状を有するものであってもよい。
【００２０】
画像生成手段３は、撮像手段２により取得された画素データを用いて画像を生成するものであって、ＲＧＢ成分（ＣＹＭＧ成分）の複数の画素データを用いたカラー画像である原画像Ｐ０と、緑成分の光を受光して取得された複数の画素データのみを用いたＧ信号画像Ｐとを生成する機能を有している。なお、緑成分を受光する受光素子２ａは図２に示すように受光面上に所定の配列で設けられているため、画像生成手段３は２次元のＧ信号画像Ｐを生成することができる。
【００２１】
顔検出手段１０は、画像生成手段３により生成されたＧ信号画像Ｐにアダブースティングアルゴリズム等による顔検出処理を施すものであって、Ｇ信号画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、横顔である部分画像を検出する横顔検出手段２０と、正面顔である部分画像を検出する正面顔検出手段３０とを有している。
【００２２】
部分画像生成手段１１に入力されるＧ信号画像Ｐは前処理手段１０ａにより前処理が施されている。前処理手段１０ａは、ＣＣＤからのＲＧＢ信号が光量に比例した信号であることに伴い、人間のコントラスト感に近づける処理としてガンマ変換を行うようになっている。具体的には、前処理手段１０ａは例えばＧ信号値=log(Ｇ)、または、Ｇ信号値=Ｇ2.2 (2.2乗)、またはＬＵＴによる変換等のガンマ変換後のＧ信号を生成する。さらに、前処理手段１０ａは、Ｇ信号画像Ｐに対し図３（Ａ）〜（Ｄ）に示すように、Ｇ信号画像Ｐを多重解像度化して解像度の異なる複数のＧ信号画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段１０ａは、生成した複数のＧ信号画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制しＧ信号画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。
【００２３】
部分画像生成手段１１は、図３（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷをＧ信号画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。
【００２４】
なお、部分画像生成手段１１は、図３（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、Ｇ信号画像ＰにおいてサブウィンドウＷ内に正面顔もしくは横顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。
【００２５】
横顔検出手段２０は、複数の部分画像ＰＰの中から横顔である部分画像を検出するものであって、複数の部分画像ＰＰについて横顔であるか否かを判別し、横顔である可能性のある部分画像ＰＰを候補画像として判別する横顔候補判別手段２１と、横顔候補判別手段２１により検出された候補画像が横顔であるか否かを判別する横顔判別手段２２とを有している。
【００２６】
横顔候補判別手段２１は、部分画像ＰＰが横顔であるか否かの２値判別を行う機能を有し、図４に示すような複数の弱判別器を有する横顔候補判別器からなっている。横顔候補判別器２１は、アダブースティングアルゴリズム（Ａｄａｂｏｏｓｔｉｎｇ Ａｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ１〜ＣＦＭ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ１〜ＣＦＭはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を有する。そして、横顔候補判別器２１は弱判別器ＣＦ１〜ＣＦＭおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。
【００２７】
具体的には、図５に示すように各弱判別器ＣＦ１〜ＣＦＭは部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおけるＧ信号値を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおけるＧ信号値をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせたＧ信号値の差分を特徴量ｘとする。各弱判別器ＣＦ１〜ＣＦＭ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ１では座標Ｐ１ａ、Ｐ１ｃにおけるＧ信号値の差分を特徴量として用い、弱判別器ＣＦ２では座標Ｐ２ａ、Ｐ２ｂにおけるＧ信号値の差分を特徴量として用いるようになっている。
【００２８】
なお、各弱判別器ＣＦ１〜ＣＦＭがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ１〜ＣＦＭに入力するようにしてもよい。
【００２９】
各弱判別器ＣＦ１〜ＣＦＭは図６に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ１（ｘ）〜ｆＭ（ｘ）を出力する。さらに、各弱判別器ＣＦ１〜ＣＦＭは判別性能を示す信頼度β１〜βＭを有している。各弱判別器ＣＦ１〜ＣＦＭは、スコアｆ１（ｘ）〜ｆＭ（ｘ）と信頼度β１〜βｍとを用いて判定スコアβｍ・ｆｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦｍの判定スコアβｍ・ｆｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（βｍ・ｆｍ（ｘ）≧Ｓｒｅｆ）。
【００３０】
また、横顔候補判別器２１の各弱判別器ＣＦ１〜ＣＦＭはカスケード構造を有しており、各弱判別器ＣＦ１〜ＣＦＭのすべてが顔であると判別した部分画像ＰＰのみを候補画像ＣＰとして出力するようになっている。つまり、弱判別器ＣＦｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦｍ＋１による判別を行い、弱判別器ＣＦｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。
【００３１】
なお、各弱判別器ＣＦ１〜ＣＦＭから出力された判定スコアＳ１〜ＳＭをそれぞれ個別に設定しきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦｍにおいて判別を行う際、弱判別器ＣＦｍの上流側の弱判別器ＣＦ１〜ＣＦｍ−１での判定スコアの和Σｒ=1ｍβｒ・ｆｒが設定しきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σｒ=1ｍβｒ・ｆｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。
【００３２】
図１の横顔判別手段２２は、画像内の顔の向き（角度）が９０°の顔、すなわち正面顔を判別する９０°横顔判別器２２−１、６０°の顔画像を判別する６０°横顔判別器２２−２等を備えたものであって、−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器２２−１〜２２−７を有している。また、たとえば０°横顔判別器２２−１は回転角度が０°を中心に−１５°〜＋１５°の範囲内にある顔を判別できるようになっている。なお各横顔判別器２２−１〜２２−７は上述した横顔候補判別器２１と同様にアダブースティングアルゴリズムを用いて学習された複数の弱判別器を有しており（図４参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。
【００３３】
次に、正面顔検出手段３０について説明する。正面顔検出手段３０は、複数の部分画像ＰＰの中から正面顔である部分画像ＰＰを検出するものであって、複数の部分画像ＰＰについて正面顔であるか否かを判別し、正面顔である可能性のある部分画像ＰＰを候補画像ＣＰとして判別する正面顔候補判別手段３１と、正面顔候補判別手段３１により検出された候補画像が正面顔であるか否かを判別する正面顔判別手段３２とを有している。
【００３４】
正面顔候補判別手段３１は、部分画像ＰＰが正面顔であるか非顔かの２値判別を行う機能を有し、上記横顔候補検出器２１と同様、アダブースティングアルゴリズムにより学習された複数の弱判別器を有する候補判別器からなっている（図４参照）。
【００３５】
正面顔判別手段３２は、画像の縦方向と顔の中心線との角度が０°の顔を判別する０°正面顔判別器３２−１、３０°の顔画像を判別する３０°正面顔判別器３２−２等を備えたものであって、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器３２−１〜３２−１２を有している。なお、たとえば０°正面顔判別器３２−１は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。そして、原画像Ｐ０とＧ信号画像Ｐとは同一の被写体を撮影するものであるため、原画像Ｐ０においてＧ信号画像Ｐと同じ領域に顔が存在する。よって、顔検出手段１０はＧ信号画像Ｐから顔画像ＦＰを検出することにより、原画像Ｐ０内から顔画像ＦＰを検出することができる。
【００３６】
なお、複数の正面顔判別器３２−１〜３２−１２は、上述した横顔候補判別手段２１のように、それぞれブースティングアルゴリズムにより学習された複数の弱判別器を有しており（図４参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。
【００３７】
ここで、上述した各候補判別器２１、３１および各顔判別器２２、３２において、Ｇ信号画像Ｐが用いられている。すなわち、従来の顔判別器のように原画像Ｐ０における輝度情報（Ｙ信号）を用いて顔画像ＦＰの判別を行うのではなく、Ｇ信号画像Ｐを用いて顔の判別を行うものである。従来のように、顔の判別に用いる信号として輝度情報を用いた場合、肌の色の違い等の個人差による顔検出のブレをなくすことができるが、ＲＧＢ信号からなる画像から輝度情報を抽出する際には、輝度Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂという人間の比視感度に基づく変換式によりデータ変換しなければならない。
【００３８】
ところで、図７および上述した式に示すように、部分画像ＰＰにおける輝度情報を最も多く含んでいるのはＲＧＢ信号のうちＧ信号である。この点に着目し、顔検出手段１０における弱判別器はＧ信号画像Ｐを用いて判別を行う。すると、従来の輝度情報を用いたときの検出性能をほぼ維持しつつ、ＲＧＢ信号から輝度情報への変換処理が不要となり、顔検出の高速化を図ることができる。
【００３９】
図８は本発明の顔検出方法の好ましい実施の形態を示すフローチャートであり、図１から図８を参照して顔検出方法について説明する。まず、撮像手段２により人物被写体の撮影が行われ、各色成分毎の光が受光素子２ａにより受光され画素データＰｘが取得される。次に、画像生成手段３において、画素データＰｘを用いたカラー画像からなる原画像Ｐ０とＧ画素データを用いたＧ信号画像Ｐとが生成される（ステップＳＴ１）。その後、顔検出手段１０の前処理手段１０ａにおいて、Ｇ信号画像Ｐに対する規格化およびガンマ変換が行われる（ステップＳＴ２）。そして、部分画像生成手段１１において、Ｇ信号画像Ｐ上をサブウィンドウＷが一定の走査間隔で走査することにより複数の部分画像ＰＰが生成される（ステップＳＴ３）。
【００４０】
次に、各弱判別器ＣＦにおいて部分画像ＰＰのＧ信号を用いて特徴量ｘが生成され、部分画像ＰＰが横顔候補判別器２１もしくは正面顔候補判別器３１において顔であるか否かが判別される（ステップＳＴ４）。そして、顔である可能性のある候補画像ＣＰが検出され、さらに、候補画像ＣＰが正面顔もしくは横顔であるか否かが横顔判別器２２および正面顔判別器３２により部分画像ＰＰのＧ信号を用いて判別される（ステップＳＴ５）。これにより、Ｇ信号画像Ｐの中から正面顔もしくは横顔からなる顔画像ＦＰが判別される。
【００４１】
上記実施の形態によれば、各判別器２１、２２、３１、３２が、Ｇ信号画像Ｐを用いて原画像Ｐから顔画像ＦＰを検出することにより、従来の顔検出処理において行われていたＲＧＢ信号から輝度情報の抽出処理が不要になるため、顔検出処理全体の計算量を減らし処理速度を向上させることができる。
【００４２】
さらに、顔検出手段１０が、設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像ＰＰを生成する部分画像生成手段１１と、複数の部分画像ＰＰが顔であるか否かの判別を複数の弱判別器ＣＦ１〜ＣＦｍによる複数の判別結果を用いて最終的な判別を行う顔判別器１２とを有し、顔判別器１２が複数の弱判別器ＣＦ１〜ＣＦｍによる複数の判別結果を用いて最終的な判別を行うものであるとき、判別作業の高速化を図ることができる。
【００４３】
なお、複数の弱判別器ＣＦ１〜ＣＦｍがカスケード構造を有し、上流側の弱判別器が顔画像であると判別した部分画像ＰＰについて下流側の弱判別器が判別を行うものであれば、下流側の弱判別器が判別すべき部分画像ＰＰの数を大幅に低減することができるため、判別作業の高速化をさらに促進することができる。
【００４４】
本発明の実施の形態は、上記実施の形態に限定されない。たとえば、図１において各候補検出手段２１、３１を有している場合について例示しているが、部分画像ＰＰについて直接各顔検出手段２２、３２による顔検出が行われるようにしても良い。
【符号の説明】
【００４５】
１ 撮影装置
１０ 顔検出手段
１１ 部分画像生成手段
２０ 横顔検出手段
３０ 正面顔検出手段
ＣＦ１〜ＣＦＭ 弱判別器
ＣＰ 候補画像
ＦＰ 顔画像
Ｐ０ 原画像
Ｐ Ｇ信号画像
ＰＰ 部分画像
【技術分野】
【０００１】
本発明は、画像が人物の顔であるか否かを判別する顔検出方法およびこれを用いた撮影装置に関するものである。
【背景技術】
【０００２】
顔検出の基本原理は顔か顔ではないかの２クラス判別であり、この判別方法としてブースティング（Ｂｏｏｓｔｉｎｇ）と呼ばれる手法が広く用いられている（たとえば特許文献１参照）。ブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法である。
【０００３】
特に、ブースティングによる顔検出処理の高速化を図るために、複数の弱判別器でカスケードを構成する判別器が提案されている（たとえば特許文献２参照）。この判別器では、顔もしくは非顔の判別において、上流側の弱判別器が顔であると判別した画像について下流側の弱判別器がさらに顔か非顔かの判別を行うようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３２９０３１号公報
【特許文献２】米国特許出願公開２００２／１０２０２４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に示すようなブースティングアルゴリズムによる顔検出において、通常、画像の輝度情報（Ｙ信号）が用いられる。一方、デジタルカメラ等により取得された画像のデータはＲＧＢ信号からなる場合が多い。したがって、デジタルカメラ等により取得された画像に対し顔検出処理を行うとき、ＲＧＢ信号からＹ信号を生成することが必要になってしまい、情報処理量の増加が顔検出の高速化を妨げる原因になってしまう。特に、デジタルカメラに顔検出装置を実装し、取得した画像に直ぐ顔検出処理を施すような場合、Ｙ信号の生成処理が高速化を阻害する大きな要因となってしまう。
【０００６】
そこで、本発明は、高速に顔の検出を行うことができる顔検出方法およびこれを用いた撮影装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いて人物被写体の原画像を生成するとともに、複数の画素データのうち緑成分の光を受光することにより取得された複数のＧ画素データを用いてＧ信号画像を生成し、生成したＧ信号画像から顔画像を検出することにより、原画像内の顔画像を検出することを特徴とするものである。
【０００８】
本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いて人物被写体の原画像を生成するとともに、複数の画素データのうち緑成分の光を受光することにより取得された複数のＧ画素データを用いてＧ信号画像を生成する画像生成手段と、画像生成手段により生成されたＧ信号画像から顔画像を検出することにより、原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。
【０００９】
ここで、各色成分とは、緑成分の光を含むものであればどのような色成分からなるものであってもよく、たとえばＲＧＢ（レッド、グリーン、ブルー）からなるものであってもよいし、ＣＹＭＧ（シアン、イエロー、マゼンダ、グリーン）からなるものであっても良い。
【００１０】
なお、顔検出手段は、いかなる手法により顔画像を検出するものであってもよく、たとえば設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像が顔であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う顔判別器とを有し、顔判別器が複数の弱判別器による複数の判別結果を用いて最終的な判別を行う顔判別器を備えたものであってもよい。
【００１１】
なお、判別器は、複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する候補判別器を備えたものであれば判別手法は問わず、たとえば部分画像について各弱判別器による判別を行い、その複数の判別結果を用いて最終的な判別を行うようにしてもよいし、複数の弱判別器がカスケード構造を有し、上流側の弱判別器において顔であると判別された部分画像について下流側の弱判別器による判別を行うものであってもよい。
【００１２】
また、顔検出手段は、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔の可能性のある部分画像を候補画像として検出する候補検出手段とを有し、顔判別器が候補検出手段により検出された候補画像について顔であるか否かを判別するものであってもよい。
【発明の効果】
【００１３】
本発明の顔検出方法およびこれを用いた撮影装置によれば、人物被写体からの入射光を複数の色成分毎に受光することにより各色成分毎の複数の画素データを取得し、取得した複数の色成分の複数の画素データを用いて人物被写体の原画像を生成するとともに、緑成分の光を受光することにより取得された複数のＧ画素データを用いてＧ信号画像を生成し、生成したＧ信号画像から顔画像を検出することにより、原画像内の顔画像を検出することにより、撮像手段により直接取得されるＧ信号画像を用いて顔検出を行い従来の顔検出処理において行われていたＲＧＢ信号からの輝度情報の抽出処理が不要になるため、顔検出処理全体の計算量を減らして処理速度を向上させることができる。
【００１４】
なお、顔検出手段が、設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像が顔であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う顔判別器とを有するものであるとき、効率的に精度良く顔画像の検出を行うことができる。
【００１５】
また、複数の弱判別器でカスケードを構成し、上流側の弱判別器が顔画像であると判別した部分画像について下流側の弱判別器が判別を行うとすれば、下流側の弱判別器が判別すべき部分画像の数を大幅に低減することができるため、判別作業の高速化をさらに促進することができる。
【００１６】
さらに、顔検出手段が、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔である可能性のある部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、候補検出手段により判別された部分画像について顔であるか否かを判別するものであれば、顔判別器が検出すべき部分画像の数を低減することができるため、判別作業の高速化を図ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の撮影装置の好ましい実施の形態を示すブロック図
【図２】図１の撮像手段における受光素子の配列の一例を示す模式図
【図３】図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図
【図４】図３の横顔候補検出手段の一例を示すブロック図
【図５】図３の候補判別器により部分画像から特徴量が抽出される様子を示す模式図
【図６】図３の弱判別器が有するヒストグラムの一例を示すグラフ図
【図７】ＲＧＢ信号と輝度情報との関係を示すグラフ
【図８】本発明の顔検出方法の好ましい実施の形態を示すフローチャート
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は本発明の撮影装置１の好ましい実施の形態を示すブロック図である。撮影装置１は、人物被写体からの入射光を複数の受光素子２ａを用いて複数の色成分毎に受光することにより複数の画素データＰｘを取得する撮像手段２と、複数の画素データＰｘを用いて人物被写体の原画像Ｐ０とＧ信号画像Ｐを生成する画像生成手段３と、Ｇ信号画像Ｐを用いて顔画像ＦＰを検出することにより、原画像Ｐ０内の顔画像ＦＰを検出する顔検出手段１０とを備えている。
【００１９】
撮像手段２は、図２（Ａ）に示すように、人物被写体からの入射光を各色成分（ＲＧＢ）毎に受光する複数の受光素子２ａを有しており、各受光素子２ａは各色成分毎の光を受光し光電変換することにより各色成分毎の複数の画素データＰｘを取得するようになっている。ここで、図２（Ａ）のようないわゆるベイヤー方式でＲＧＢの受光画素が配列されている場合、緑成分の光を受光する受光画素２ａは、所定のピッチで配列されることになり、いわゆる間引いたＧ画素データを取得すると言うことができる。なお、撮像手段２の配列方式として図２（Ｂ）のようなストライプ方式であってもよい。あるいは各受光素子２ａは図２（Ｃ）のようにＣＹＭＧ（シアン、イエロー、マゼンダ、グリーン）の各色成分の光を受光するものであってもよい。さらには、受光画素の形状としていわゆるハニカム形状を有するものであってもよい。
【００２０】
画像生成手段３は、撮像手段２により取得された画素データを用いて画像を生成するものであって、ＲＧＢ成分（ＣＹＭＧ成分）の複数の画素データを用いたカラー画像である原画像Ｐ０と、緑成分の光を受光して取得された複数の画素データのみを用いたＧ信号画像Ｐとを生成する機能を有している。なお、緑成分を受光する受光素子２ａは図２に示すように受光面上に所定の配列で設けられているため、画像生成手段３は２次元のＧ信号画像Ｐを生成することができる。
【００２１】
顔検出手段１０は、画像生成手段３により生成されたＧ信号画像Ｐにアダブースティングアルゴリズム等による顔検出処理を施すものであって、Ｇ信号画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、横顔である部分画像を検出する横顔検出手段２０と、正面顔である部分画像を検出する正面顔検出手段３０とを有している。
【００２２】
部分画像生成手段１１に入力されるＧ信号画像Ｐは前処理手段１０ａにより前処理が施されている。前処理手段１０ａは、ＣＣＤからのＲＧＢ信号が光量に比例した信号であることに伴い、人間のコントラスト感に近づける処理としてガンマ変換を行うようになっている。具体的には、前処理手段１０ａは例えばＧ信号値=log(Ｇ)、または、Ｇ信号値=Ｇ2.2 (2.2乗)、またはＬＵＴによる変換等のガンマ変換後のＧ信号を生成する。さらに、前処理手段１０ａは、Ｇ信号画像Ｐに対し図３（Ａ）〜（Ｄ）に示すように、Ｇ信号画像Ｐを多重解像度化して解像度の異なる複数のＧ信号画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段１０ａは、生成した複数のＧ信号画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制しＧ信号画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。
【００２３】
部分画像生成手段１１は、図３（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷをＧ信号画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。
【００２４】
なお、部分画像生成手段１１は、図３（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、Ｇ信号画像ＰにおいてサブウィンドウＷ内に正面顔もしくは横顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。
【００２５】
横顔検出手段２０は、複数の部分画像ＰＰの中から横顔である部分画像を検出するものであって、複数の部分画像ＰＰについて横顔であるか否かを判別し、横顔である可能性のある部分画像ＰＰを候補画像として判別する横顔候補判別手段２１と、横顔候補判別手段２１により検出された候補画像が横顔であるか否かを判別する横顔判別手段２２とを有している。
【００２６】
横顔候補判別手段２１は、部分画像ＰＰが横顔であるか否かの２値判別を行う機能を有し、図４に示すような複数の弱判別器を有する横顔候補判別器からなっている。横顔候補判別器２１は、アダブースティングアルゴリズム（Ａｄａｂｏｏｓｔｉｎｇ Ａｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ１〜ＣＦＭ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ１〜ＣＦＭはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を有する。そして、横顔候補判別器２１は弱判別器ＣＦ１〜ＣＦＭおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。
【００２７】
具体的には、図５に示すように各弱判別器ＣＦ１〜ＣＦＭは部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおけるＧ信号値を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおけるＧ信号値をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせたＧ信号値の差分を特徴量ｘとする。各弱判別器ＣＦ１〜ＣＦＭ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ１では座標Ｐ１ａ、Ｐ１ｃにおけるＧ信号値の差分を特徴量として用い、弱判別器ＣＦ２では座標Ｐ２ａ、Ｐ２ｂにおけるＧ信号値の差分を特徴量として用いるようになっている。
【００２８】
なお、各弱判別器ＣＦ１〜ＣＦＭがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ１〜ＣＦＭに入力するようにしてもよい。
【００２９】
各弱判別器ＣＦ１〜ＣＦＭは図６に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ１（ｘ）〜ｆＭ（ｘ）を出力する。さらに、各弱判別器ＣＦ１〜ＣＦＭは判別性能を示す信頼度β１〜βＭを有している。各弱判別器ＣＦ１〜ＣＦＭは、スコアｆ１（ｘ）〜ｆＭ（ｘ）と信頼度β１〜βｍとを用いて判定スコアβｍ・ｆｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦｍの判定スコアβｍ・ｆｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（βｍ・ｆｍ（ｘ）≧Ｓｒｅｆ）。
【００３０】
また、横顔候補判別器２１の各弱判別器ＣＦ１〜ＣＦＭはカスケード構造を有しており、各弱判別器ＣＦ１〜ＣＦＭのすべてが顔であると判別した部分画像ＰＰのみを候補画像ＣＰとして出力するようになっている。つまり、弱判別器ＣＦｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦｍ＋１による判別を行い、弱判別器ＣＦｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。
【００３１】
なお、各弱判別器ＣＦ１〜ＣＦＭから出力された判定スコアＳ１〜ＳＭをそれぞれ個別に設定しきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦｍにおいて判別を行う際、弱判別器ＣＦｍの上流側の弱判別器ＣＦ１〜ＣＦｍ−１での判定スコアの和Σｒ=1ｍβｒ・ｆｒが設定しきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σｒ=1ｍβｒ・ｆｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。
【００３２】
図１の横顔判別手段２２は、画像内の顔の向き（角度）が９０°の顔、すなわち正面顔を判別する９０°横顔判別器２２−１、６０°の顔画像を判別する６０°横顔判別器２２−２等を備えたものであって、−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器２２−１〜２２−７を有している。また、たとえば０°横顔判別器２２−１は回転角度が０°を中心に−１５°〜＋１５°の範囲内にある顔を判別できるようになっている。なお各横顔判別器２２−１〜２２−７は上述した横顔候補判別器２１と同様にアダブースティングアルゴリズムを用いて学習された複数の弱判別器を有しており（図４参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。
【００３３】
次に、正面顔検出手段３０について説明する。正面顔検出手段３０は、複数の部分画像ＰＰの中から正面顔である部分画像ＰＰを検出するものであって、複数の部分画像ＰＰについて正面顔であるか否かを判別し、正面顔である可能性のある部分画像ＰＰを候補画像ＣＰとして判別する正面顔候補判別手段３１と、正面顔候補判別手段３１により検出された候補画像が正面顔であるか否かを判別する正面顔判別手段３２とを有している。
【００３４】
正面顔候補判別手段３１は、部分画像ＰＰが正面顔であるか非顔かの２値判別を行う機能を有し、上記横顔候補検出器２１と同様、アダブースティングアルゴリズムにより学習された複数の弱判別器を有する候補判別器からなっている（図４参照）。
【００３５】
正面顔判別手段３２は、画像の縦方向と顔の中心線との角度が０°の顔を判別する０°正面顔判別器３２−１、３０°の顔画像を判別する３０°正面顔判別器３２−２等を備えたものであって、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器３２−１〜３２−１２を有している。なお、たとえば０°正面顔判別器３２−１は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。そして、原画像Ｐ０とＧ信号画像Ｐとは同一の被写体を撮影するものであるため、原画像Ｐ０においてＧ信号画像Ｐと同じ領域に顔が存在する。よって、顔検出手段１０はＧ信号画像Ｐから顔画像ＦＰを検出することにより、原画像Ｐ０内から顔画像ＦＰを検出することができる。
【００３６】
なお、複数の正面顔判別器３２−１〜３２−１２は、上述した横顔候補判別手段２１のように、それぞれブースティングアルゴリズムにより学習された複数の弱判別器を有しており（図４参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。
【００３７】
ここで、上述した各候補判別器２１、３１および各顔判別器２２、３２において、Ｇ信号画像Ｐが用いられている。すなわち、従来の顔判別器のように原画像Ｐ０における輝度情報（Ｙ信号）を用いて顔画像ＦＰの判別を行うのではなく、Ｇ信号画像Ｐを用いて顔の判別を行うものである。従来のように、顔の判別に用いる信号として輝度情報を用いた場合、肌の色の違い等の個人差による顔検出のブレをなくすことができるが、ＲＧＢ信号からなる画像から輝度情報を抽出する際には、輝度Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂという人間の比視感度に基づく変換式によりデータ変換しなければならない。
【００３８】
ところで、図７および上述した式に示すように、部分画像ＰＰにおける輝度情報を最も多く含んでいるのはＲＧＢ信号のうちＧ信号である。この点に着目し、顔検出手段１０における弱判別器はＧ信号画像Ｐを用いて判別を行う。すると、従来の輝度情報を用いたときの検出性能をほぼ維持しつつ、ＲＧＢ信号から輝度情報への変換処理が不要となり、顔検出の高速化を図ることができる。
【００３９】
図８は本発明の顔検出方法の好ましい実施の形態を示すフローチャートであり、図１から図８を参照して顔検出方法について説明する。まず、撮像手段２により人物被写体の撮影が行われ、各色成分毎の光が受光素子２ａにより受光され画素データＰｘが取得される。次に、画像生成手段３において、画素データＰｘを用いたカラー画像からなる原画像Ｐ０とＧ画素データを用いたＧ信号画像Ｐとが生成される（ステップＳＴ１）。その後、顔検出手段１０の前処理手段１０ａにおいて、Ｇ信号画像Ｐに対する規格化およびガンマ変換が行われる（ステップＳＴ２）。そして、部分画像生成手段１１において、Ｇ信号画像Ｐ上をサブウィンドウＷが一定の走査間隔で走査することにより複数の部分画像ＰＰが生成される（ステップＳＴ３）。
【００４０】
次に、各弱判別器ＣＦにおいて部分画像ＰＰのＧ信号を用いて特徴量ｘが生成され、部分画像ＰＰが横顔候補判別器２１もしくは正面顔候補判別器３１において顔であるか否かが判別される（ステップＳＴ４）。そして、顔である可能性のある候補画像ＣＰが検出され、さらに、候補画像ＣＰが正面顔もしくは横顔であるか否かが横顔判別器２２および正面顔判別器３２により部分画像ＰＰのＧ信号を用いて判別される（ステップＳＴ５）。これにより、Ｇ信号画像Ｐの中から正面顔もしくは横顔からなる顔画像ＦＰが判別される。
【００４１】
上記実施の形態によれば、各判別器２１、２２、３１、３２が、Ｇ信号画像Ｐを用いて原画像Ｐから顔画像ＦＰを検出することにより、従来の顔検出処理において行われていたＲＧＢ信号から輝度情報の抽出処理が不要になるため、顔検出処理全体の計算量を減らし処理速度を向上させることができる。
【００４２】
さらに、顔検出手段１０が、設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像ＰＰを生成する部分画像生成手段１１と、複数の部分画像ＰＰが顔であるか否かの判別を複数の弱判別器ＣＦ１〜ＣＦｍによる複数の判別結果を用いて最終的な判別を行う顔判別器１２とを有し、顔判別器１２が複数の弱判別器ＣＦ１〜ＣＦｍによる複数の判別結果を用いて最終的な判別を行うものであるとき、判別作業の高速化を図ることができる。
【００４３】
なお、複数の弱判別器ＣＦ１〜ＣＦｍがカスケード構造を有し、上流側の弱判別器が顔画像であると判別した部分画像ＰＰについて下流側の弱判別器が判別を行うものであれば、下流側の弱判別器が判別すべき部分画像ＰＰの数を大幅に低減することができるため、判別作業の高速化をさらに促進することができる。
【００４４】
本発明の実施の形態は、上記実施の形態に限定されない。たとえば、図１において各候補検出手段２１、３１を有している場合について例示しているが、部分画像ＰＰについて直接各顔検出手段２２、３２による顔検出が行われるようにしても良い。
【符号の説明】
【００４５】
１ 撮影装置
１０ 顔検出手段
１１ 部分画像生成手段
２０ 横顔検出手段
３０ 正面顔検出手段
ＣＦ１〜ＣＦＭ 弱判別器
ＣＰ 候補画像
ＦＰ 顔画像
Ｐ０ 原画像
Ｐ Ｇ信号画像
ＰＰ 部分画像
【特許請求の範囲】
【請求項１】
撮像手段を用い、人物被写体からの入射光を複数の色成分毎に受光することにより複数色の画素データを取得し、
前記撮像手段で取得した前記複数色の画素データを用いて前記人物被写体のカラー画像である原画像を生成するとともに、前記複数色の画素データのうち緑成分の光を受光することにより取得された複数のＧ画素データを用いて顔検出用のＧ信号画像を生成し、
生成した前記顔検出用のＧ信号画像にガンマ処理を施した後、顔の検出を行うことにより、前記原画像内の顔画像を検出し、
前記顔検出用のＧ信号画像の生成に用いられる前記複数のＧ画素データが、前記撮像手段から直接取得されることを特徴とする顔検出方法。
【請求項２】
人物被写体からの入射光を複数の色成分毎に受光することにより複数色の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数色の画素データを用いて前記人物被写体のカラー画像である原画像を生成するとともに、前記複数色の画素データのうち緑成分の光を受光することにより取得された複数のＧ画素データを用いて顔検出用のＧ信号画像を生成する画像生成手段と、
該画像生成手段により生成された前記顔検出用のＧ信号画像にガンマ処理を施した後、顔の検出を行うことにより、前記原画像内の顔画像を検出する顔検出手段とを備え、
前記画像生成手段が、前記顔検出用のＧ信号画像の生成に用いる前記複数のＧ画素データを、前記撮像手段から直接取得するものであることを特徴とするカラー画像撮像用の撮影装置。
【請求項３】
前記顔検出手段が、
設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記複数の部分画像が顔であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う顔判別器とを有するものであることを特徴とする請求項２記載の撮影装置。
【請求項４】
前記複数の弱判別器がカスケード構造を有し、上流側の前記弱判別器が顔画像であると判別した前記部分画像について下流側の前記弱判別器が判別を行うものであることを特徴とする請求項３記載の撮影装置。
【請求項５】
前記顔検出手段が、前記部分画像生成手段により生成された前記部分画像が顔であるか否かを判別し、顔の可能性のある前記部分画像を候補画像として検出する候補検出手段を有し、前記顔判別器が該候補検出手段により検出された前記候補画像について顔であるか否かを判別するものであることを特徴とする請求項３または４記載の撮影装置。
【請求項１】
撮像手段を用い、人物被写体からの入射光を複数の色成分毎に受光することにより複数色の画素データを取得し、
前記撮像手段で取得した前記複数色の画素データを用いて前記人物被写体のカラー画像である原画像を生成するとともに、前記複数色の画素データのうち緑成分の光を受光することにより取得された複数のＧ画素データを用いて顔検出用のＧ信号画像を生成し、
生成した前記顔検出用のＧ信号画像にガンマ処理を施した後、顔の検出を行うことにより、前記原画像内の顔画像を検出し、
前記顔検出用のＧ信号画像の生成に用いられる前記複数のＧ画素データが、前記撮像手段から直接取得されることを特徴とする顔検出方法。
【請求項２】
人物被写体からの入射光を複数の色成分毎に受光することにより複数色の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数色の画素データを用いて前記人物被写体のカラー画像である原画像を生成するとともに、前記複数色の画素データのうち緑成分の光を受光することにより取得された複数のＧ画素データを用いて顔検出用のＧ信号画像を生成する画像生成手段と、
該画像生成手段により生成された前記顔検出用のＧ信号画像にガンマ処理を施した後、顔の検出を行うことにより、前記原画像内の顔画像を検出する顔検出手段とを備え、
前記画像生成手段が、前記顔検出用のＧ信号画像の生成に用いる前記複数のＧ画素データを、前記撮像手段から直接取得するものであることを特徴とするカラー画像撮像用の撮影装置。
【請求項３】
前記顔検出手段が、
設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記複数の部分画像が顔であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う顔判別器とを有するものであることを特徴とする請求項２記載の撮影装置。
【請求項４】
前記複数の弱判別器がカスケード構造を有し、上流側の前記弱判別器が顔画像であると判別した前記部分画像について下流側の前記弱判別器が判別を行うものであることを特徴とする請求項３記載の撮影装置。
【請求項５】
前記顔検出手段が、前記部分画像生成手段により生成された前記部分画像が顔であるか否かを判別し、顔の可能性のある前記部分画像を候補画像として検出する候補検出手段を有し、前記顔判別器が該候補検出手段により検出された前記候補画像について顔であるか否かを判別するものであることを特徴とする請求項３または４記載の撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１６５２０４（Ｐ２０１１−１６５２０４Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１１−９２７７０（Ｐ２０１１−９２７７０）
【出願日】平成２３年４月１９日（２０１１．４．１９）
【分割の表示】特願２００６−８５５４４（Ｐ２００６−８５５４４）の分割
【原出願日】平成１８年３月２７日（２００６．３．２７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２３年４月１９日（２０１１．４．１９）
【分割の表示】特願２００６−８５５４４（Ｐ２００６−８５５４４）の分割
【原出願日】平成１８年３月２７日（２００６．３．２７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]