顔特徴の検出方法
テンプレートマッチングを用いる画像中の物体、特に顔の検出方法は、同一物体に対して少なくとも２つの異なるテンプレートを用いる。これらのテンプレートは、左目、右目及び両目間用に設けられる。テンプレート毎に信頼度マップが作成され、これらの信頼度マップが統合される。これはいくつかの解像度で行われ得る。検出された領域はさらに対称性、テクスチャ及び／又は他の顔部品との幾何学的関係を調べられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の物体、特に顔特徴を検出又は位置特定する方法及び装置に関する。
【背景技術】
【０００２】
顔特徴の検出は、顔認識システム、コンテンツベースの画像検索、ビデオ符号化、テレビ会議、群衆監視、及び知的人間コンピュータインタフェース等の分野における多くのコンピュータビジョンアプリケーションに必要な最初のステップである。
【０００３】
雑然としたシーン中の顔を位置特定する典型的な顔検出問題が与えられると、低レベルの解析がまず、グレースケール及び色等のピクセル特性を用いる視覚特徴の分割を扱う。これらの特徴は低レベルの性質を持つため、この解析から生成される特徴は通常曖昧である。特徴解析では、顔形状に関する情報を用いて、視覚特徴が顔及び顔特徴のより包括的な概念に整理される。特徴解析により、特徴の曖昧さが低減され、顔及び顔特徴の位置が決定される。
【０００４】
画像中のグレーレベル情報はしばしば顔特徴を識別するために用いられる。眉、瞳孔、及び唇等の特徴は通常、周囲の顔領域よりも暗く見える。この特性を利用して、様々な顔部品を区別することができる。
【０００５】
いくつかの最近の顔特徴抽出アルゴリズム（P.J.L. Van Beek、M.J.T. Reinders、B. Sankur、J.C.A. Van Der Lubbe著「Semantic Segmentation of Videophone Image Sequences」（Proc. of SPIE Int. Conf. on Visual Communications and Image Processing, 1992, pp. 1182-1193）、H.P. Graf、E. Cosatto、D. Gibson、E. Petajan、及びM. Kocheisen著「Multi-modal System for Locating Heads and Faces」（IEEE Proc. of 2nd Int. Conf. on Automatic Face and Gesture Recognition, Vermont, Oct. 1996, pp. 277-282）、並びにK.M. Lam 及びH. Yan著「Facial Feature Location and Extraction for Computerised Human Face Recognition」（Int. Symposium on information Theory and Its Applications, Sydney, Australia, Nov. 1994））は、分割された顔領域内のグレー最小値を探索する。これらのアルゴリズムにおいて、入力画像はまず、コントラスト伸長及びグレースケールモルフォロジー（濃度階調形態素）ルーチンにより強調されて局所的な暗いパッチの品質が改善され、それにより検出が容易になる。暗いパッチの抽出は、低レベルグレースケールの閾値処理により達成される。
【０００６】
C. Wong、D. Kortenkamp、及びM. Speich著「A Mobile Robot that Recognises People」（IEEE Int. Conf. on Tools with Artificial Intelligence, 1995）の論文は、色解析により間接的に得られる顔候補中の暗い顔領域も探すロボットの実装を記載している。このアルゴリズムは、重み付けした人間の目のテンプレートを利用して、一対の目の考えられる位置を判定する。
【０００７】
R. Hoogenboom及びM. Lew著「Face Detection Using Local Maxima」（IEEE Proc. of 2nd Int. Conf. on Automatic Face and Gesture Recognition, Vermont, Oct. 1996, pp. 334-339）では、８つの暗い近傍ピクセルで囲まれた１つの明るいピクセルで定義される極大値が代わりに用いられ、鼻先のような明るい顔のスポットが指示される。検出点は次に特徴テンプレートと位置合わせされ、相関測定が行われる。
【０００８】
一方、G. Yang及びT.S. Huang著「Human Face Detection in a Complex Background」（Pattern Recognition. 27, 1994, 53-63）の論文は、モザイク（ピラミッド）画像における顔のグレースケール挙動を研究している。顔画像の解像度をサブサンプリング又は平均化により徐々に低くしていくと、顔の巨視的特徴が消える。低解像度では、顔領域は均一になる。この観察に基づき、階層的な顔検出の枠組みが提案されている。低解像度画像から始めて、均一な領域を探索する一組の規則により顔候補が確立される。顔候補は次に、高解像度における極小値を用いて、顕著な顔特徴の存在により検証される。この技法は、回転不変顔検出システム（X.-G. Lv、J. Zhou、及びC.-S. Zhang著「A Novel Algorithm for Rotated Human Face Detection」（IEEE Conference on Computer Vision and Pattern Recognition, 2000））に採用され、このアルゴリズムの拡張が、C. Kotropoulos及びI. Pitas著「Rule-based Face Detection in Frontal Views」（Proc. Int. Conf. on Acoustic, Speech and Signal Processing, 1997）に提示されている。
【０００９】
S. Kawato及びN. Tetsutani著「Real-time Detection of Between-the-Eyes with a Circle Frequency Filter」（ACCV2002: The 5th Asian Conference on Computer Vision, Melbourne, 2002）の論文は、両目間の点はほとんどの人に共通しており、広範囲の顔の向きで見えると主張している。さらに、この点の周囲のパターンはどんな表情でも極めて安定している。著者らは、独自のリング周波数フィルタによるこの特徴の検出アルゴリズムを提案している。両目間の点を検出した後、近傍の顔特徴の検出タスクは大幅に簡略化されるため、本発明の提案でもこのアイデアを用いる。
【００１０】
米国特許第６６９０８１４号明細書は、画像シーケンスからの顔及び顔特徴の検出に関する。顔検出タスクは、新たな顔画像を事前に記録されている背景画像と比較する際に、カメラ位置の特別な配置により簡略化される。画像減算及び閾値処理を用いて、顔領域が位置特定され、目のような顔特徴が顔領域の中の暗い領域として抽出される。様々なサイズの特別な照合フィルタが暗い領域に適用される。出力値が最大となる特定のフィルタサイズを瞳孔のサイズと見なす。フィルタリング後、フィルタ出力がガウスフィルタにより平滑化され、結果として得られる極大値が瞳孔候補となる。カメラ位置の特別な配置が、この方法の考えられる用途を制限する。本発明の提案は任意の事前に定義されたカメラ位置に依存しない。
【００１１】
米国特許第６６８１０３２号明細書は、顔検出モジュール及び目検出モジュールを含む顔認識システムを記載している。この方法の本発明の提案する方法との主な違いは、顔検出方法が、肌の色の分布の抽出及びその事前に保存されている情報との照合に完全に依拠していることである。目検出モジュールは、関心領域の、参照画像セットから構築された固有目テンプレートとの照合に基づく。
【００１２】
米国特許第６６１１６１３号明細書は、顔画像の目領域は、強いグレー特徴（色成分の最大値と最小値の差が小さい）を共通して含むという観察に基づく目検出方法を含む。抽出された領域は次に、幾何学的特徴（小ささ、アスペクト比）及びテクスチャ特徴（強い水平方向エッジの存在）により検証される。抽出された一対の目は、顔領域のサイズ、向き及び位置を決め、さらに他の顔特徴（眉、鼻腔、口）により検証される。
【００１３】
米国特許第６３８１３４５号明細書は、テレビ会議用途に適した目検出方法を記載している。まず、ガウスフィルタを用いて画像がぼかされ、次に、両目が大きな暗い領域として抽出され、次に、幾何学的特徴を用いて両眉が除去される。その後、明度閾値処理を用いて両目がセグメンテーションされ、両目のパラメータが求められる。この方法の、本発明による提案との主な違いは、顔が常に画像の中心に位置しているものと仮定し、一対の目のみを抽出することである。またこの方法は、所定の一組の明度閾値を用いるが、これは、様々な照明条件下では使用が難しいことが分かった。
【００１４】
米国特許第６１５１４０３号明細書の方法は、本発明の方法とは異なる以下のステップ、すなわち、（ａ）色を基に画像中の考えられる肌領域を判定すること、（ｂ）モルフォロジー演算を用いて肌領域内で谷領域を決定すること、（ｃ）谷領域において適用される相互相関を用いてテンプレートマッチングを行うことから成る。
【００１５】
米国特許第６１３０６１７号明細書に記載される目検出方法は、顔画像を２値化するステップと、対で存在する候補領域を抽出するステップと、全ての対の中から１つの候補対を鼻腔と判定するステップと、鼻腔に対して正三角形を形成する残りの候補対を目の候補対として設定するステップと、より小さな正三角形を形成する候補対を目と判定するステップとを含む。この手法は、主要な顔特徴としての鼻腔の検出に基づく。この特徴は、カメラの向きの特別な配置（上向きの光軸）下でのみ安定していることが分かった。本発明の提案では、両目間領域を主要な顔特徴として用いる。この特徴は、様々な顔の向き及びカメラ向きで安定している。
【００１６】
米国特許第５８７０１３８号明細書は、顔及び顔特徴の検出にＨＳＶ色空間を用いる方法を記載している。顔領域の検出にはＨ成分及びＳ成分のみが用いられる。口は、顔領域内でバンドパスフィルタを用いてＳ成分及びＶ成分から検出される。顔領域内のＶ成分は正規化され、目テンプレートとの相関を用いて目が位置特定される。領域追跡を用いて探索エリアが縮小される。
【００１７】
米国特許第５７１５３２５号明細書は、顔検出の最終段階で目特徴を用いる人物特定システムを記載している。まず、画像の解像度が低減及び正規化され、照明の変化が補償される。次に、画像は事前に記憶されている背景画像と比較され、バイナリ関心マスク（binary interest mask）が作成される。顔領域はテンプレートマッチングにより決定され、マッチングスコアが閾値を上回ると、ニューラルネットワークに基づくさらなる目位置特定手順が行われる。
【００１８】
米国特許第６２７８４９１号明細書及び米国特許第５９９０９７３号明細書は、赤目検出方法及び赤目軽減方法を記載している。これらの方法の主な目的は、デジタル写真撮影におけるフラッシュの使用により生じる赤目を自動的に見つけることである。これらの方法は顔検出ステップ及び目検出ステップを含むが、これらの方法の主な欠点は、カラーで高解像度のデジタル画像でしか上手く機能しないことである。独特な特徴すなわち赤い瞳孔が目の検出に用いられる。また、これらの方法は、１枚のデジタル写真の後処理用に設計されており、計算量の多いアルゴリズム（例えば、マルチスケール及び多回転テンプレートマッチング）を用いるためにリアルタイムでのビデオ処理には向かない場合がある。
【００１９】
本発明が取り組む課題は、複雑な環境（例えば低品質画像及び雑然とした背景）でのロバストな顔特徴検出である。
【００２０】
既存の目検出方法の１つの課題は、画像中の一貫した領域対（左目及び右目）の探索のために複雑で信頼度が低いことである。単純な画像でも多くの候補領域対が見つかる可能性があり、この曖昧さをより高レベルの判定規則により解決しなければならない。本明細書では、目検出は画像中に頻繁に現れない特徴に依拠する。この特徴は、左目領域、両目間領域及び右目領域を含む３つ一組の領域である。この３つ一組の領域はさらに、口のような他の顔特徴領域の存在により検証されるため、目の検出は曖昧さが遥かに少なくなり、時間もかからなくなる。
【００２１】
本発明の態様は、添付の特許請求の範囲に記載されている。本発明は、適切な装置を用いて画像に対応する信号を処理することを含む。
【００２２】
本発明の一実施の形態により提案される解決策は以下のステップを含む。
１．顔特徴テンプレートの設計及び簡略化。このテンプレートは、顔特徴の全体的な外観のみを、暗い領域及び明るい領域の集合として表す。各顔特徴は一組の異なるテンプレートを有し得る。
２．低レベル画像処理段階：
●次のテンプレートマッチングに必要な時間がテンプレートサイズに関係なくなるように積分画像への画像変換。
●ピクセル毎のテンプレートマッチングにより、顔特徴毎に複数の信頼度マップを得る。
●信頼度マップの結合、及び信頼度レベルの高い顔特徴領域の抽出。
３．顔特徴の解析及び選択段階：
●複数組の「左目」、「両目間」、「右目」の候補の領域配置の解析及び抽出。
●高信頼度レベルと、テクスチャ特徴と、他の顔特徴領域の存在とに基づく最良の顔特徴候補の選択。
４．顔特徴検出の階層的戦略
●画像及びテンプレートをダウンサンプリングしたバージョンへのステップ１、２の適用
●検出された顔特徴を含む関心領域（ＲＯＩ）の抽出
●テンプレートの元のバージョン及びＲＯＩ内の画像へのステップ１、２の適用により顔特徴を正確に位置特定する。
●様々な解像度からの結果を結合する。本方法がそれらの解像度のうちの１つで失敗したら他の解像度での結果を用いる。
【００２３】
本発明のさらなる態様は以下を含む。
１．統一した枠組みの中で各顔特徴に任意数のテンプレートを用いる。
２．図２に示す４つの特定のテンプレート（「両目間領域」、「水平方向の顔特徴」及び「開いた目」）を用いる。
３．統計データ解析及び信号対雑音比の計算に基づくテンプレートマッチング方法。
４．安定した３つ一組の領域〈左目、両目間、右目〉を顔領域の主な特徴として用いる。
５．高信頼度レベルと、テクスチャ特徴と、他の顔特徴領域の存在とに基づく最良の顔特徴候補の選択方法。
【００２４】
提案する方法は、いくつかの重要で有用な特性を有する。第１に、本方法は、リアルタイム処理を可能にする顔特徴テンプレートの設計及び簡略化の手法を説明する。第２に、既知の積分画像技法を用いることによって、テンプレートマッチング方法の低コストでリアルタイムの拡張が達成される。
【００２５】
本発明の一実施形態が添付図面に関して説明される。
【００２６】
関心の顔特徴の全体的な外観が単純なテンプレートにより符号化される（図１及び図２）。テンプレートは、ピクセル値の分布がより暗い場所（黒領域）やより明るい場所（白領域）を示す領域から成る。領域形状の定性的な推定のために、２値化法を用いることができる。図１ａ及び図１ｂは、テンプレート形状の定性的な推定のために関心の顔特徴（両目間領域）を有する画像及び対応する２値化を示す。図１の例において、関心の特徴（両目間領域）は、２つの暗い楕円領域のように見える（図１ｂの２値化画像から導出した図１ｃのテンプレートを参照）。リアルタイム処理の要件により、全ての領域は矩形であることが好ましい。これにより、図１（ｄ）に示すようにテンプレートがさらに単純化される。
【００２７】
両目間領域の２つの異なるテンプレートを図２（ａ）及び図２（ｂ）に示す。
【００２８】
以下の文章及びブロック図では、これらのテンプレートを「両目間マスク１」及び「両目間マスク２」と呼ぶ。図２（ｃ）に示す水平方向の顔特徴テンプレートは、閉じた目、口、鼻腔、及び眉を検出するのに役立つ。図２（ｄ）のテンプレートは、開いた目の検出用に特別に設計されている（明るい近傍の中の暗い瞳孔）。以下の文章及びブロック図では、図２（ｃ）及び図２（ｄ）のテンプレートもそれぞれ「目マスク１」及び「目マスク２」と呼ぶ。
【００２９】
図２に示すテンプレートは簡略化されたテンプレートである。これらのテンプレートは、各顔特徴の全体的な外観のみを暗い領域及び明るい領域（矩形）の集合として表す。
【００３０】
顔特徴の階層的な検出方法のブロック図及びデータフローを図３に示す。
【００３１】
まず、元画像及び全てのテンプレートをダウンサンプリングする（Ｓ１１）。速度の理由から、４つの近傍ピクセルの平均化及び２分の１の画像縮小を用いるが、任意の他の画像サイズ変更方法を用いることができる。テンプレートをダウンサンプリングするには、それらの矩形の座標を２で割り、最も近い整数値に切り上げるか又は切り捨てる。
【００３２】
次のステップＳ１２において、画像及びテンプレートをダウンサンプリングしたバージョンに、顔特徴検出アルゴリズムを適用する。これにより、計算時間が４分の１に短縮されるが、顔特徴位置の精度も低下する場合がある。多くの場合、眼鏡等のまぎらわしい細部が、下げた解像度では見えなくなり得るため、目はダウンサンプリングした画像でより容易に検出できる。逆の状況も起こり得る。すなわち、低解像度では眉が閉じた目のように見え、閉じた目がほとんど見えなくなる可能性がある。この場合、眉が通常は最終的な検出結果となる。口は、元の解像度で検出することができれば、通常は低解像度でも検出することができる。これは、目の代わりに眉が検出されても、目及び口を含む顔領域は正確に検出されることを意味する。
【００３３】
低解像度での検出結果に関する考えられる問題を考慮して、検出される特徴は、関心領域の抽出（Ｓ１３）のみに用いられる。
【００３４】
最後に、同じ検出アルゴリズムを元の解像度のテンプレート及びＲＯＩ内の画像に適用して顔特徴を正確に位置特定する（Ｓ１２）。大まかな口位置のような低解像度での検出の結果のいくつかをこのステップで用いることができる。このステップの計算時間はＲＯＩサイズに比例し、このＲＯＩサイズは通常、元画像のサイズより小さい。
【００３５】
顔特徴検出アルゴリズム（図３にＳ１２で示す）のブロック図及びデータフローを図４に示す。このアルゴリズムには２つの主なステップがあり、第１のステップは、以下を含む低レベル画像処理である。
１）積分画像の計算（Ｓ２１）。テンプレートは異なるサイズの矩形の集合として表されるため、これらの矩形内の統計特徴（平均及び分散）の高速計算のために特別な画像前処理が必要である。画像の積分表現への変換はそのような特徴の高速計算を４回のピクセル参照（すなわち矩形の角）のみにより提供する。積分画像の計算は既知の従来技術の技法である。簡単に言えば、この計算は、以下のように定義される積分画像Ｓｕｍ（ｘ，ｙ）及びＳｕｍＱ（ｘ，ｙ）を含む。
【００３６】
【数１】
【００３７】
ここで、Ｉ（ｘ，ｙ）はｘ，ｙ≧０の場合に元画像であり、ｘ，ｙ＜０の場合にＩ（ｘ，ｙ）＝０である。
２）テンプレート毎に行われるテンプレートマッチング（Ｓ２２）。この手順は、各ピクセル近傍の統計的仮説試験に基づく。このステップの結果は一組の信頼度マップである。２つのマップが「両目間」領域が存在する尤度を示し、もう２つのマップが考えられる目領域を示す。信頼度マップの各ピクセルは仮説試験の結果を含み、画像領域とテンプレートとの間の類似度として考えることができる。
３）信頼度マップの結合（Ｓ２３）。この実施態様では信頼度マップのピクセル毎の乗算を用いるが、加算又は最大値選択等の他の結合方法も適用可能である。ピクセル毎の乗算結果の範囲は信頼度マップの数値フォーマットに依存する。固定小数点表現の場合、さらなる除算又はビットシフトが必要となる。
４）信頼度マップの分割（Ｓ２４）。各信頼度マップは、高信頼度の領域を低信頼度の背景と分離するために分割される。類似度は信号対雑音比（ＳＮＲ）としても解釈することができ、信頼度マップを閾値処理する可能性を開く。本実施態様では、信号レベルが雑音レベルのすぐ上であることを示すＳＮＲ〜１．１の閾値を用いる。モルフォロジー演算(morphological operations)又は小／大領域の除去等のより洗練された分割方法もこの段階で適用可能である。
【００３８】
アルゴリズムの第２のステップは、信頼値の高い画像領域を検出することを目的とする解析から成る。まず、閾値処理された信頼度マップに適用される連結成分ラベリングアルゴリズム（Ｓ２５）によりそのような領域を全て抽出する。次に、全ての考えられる３つ一組の領域（左目領域、両目間領域、右目領域）を繰り返し、対称性を大まかに調べる（Ｓ２６）。そして最後に、テクスチャ特徴と、口及び鼻腔等の他の顔特徴領域の存在とにより検証される合計信頼度レベルが高い３つ一組の領域を選択する（Ｓ２７）。信頼度レベルの極大値を正確な目位置と見なす。
【００３９】
好適な実施形態におけるテンプレートマッチングは以下のように行われる。
【００４０】
テンプレート（図２）により定義される画像からの２つのピクセル群への統計的ｔ検定の適用により以下の類似度が得られる（いくつかの等価変換は省く）。
【００４１】
【数２】
【００４２】
上記の式から定数を除去すると、本発明の類似度が得られる。
【００４３】
【数３】
【００４４】
ここで、テンプレートＲは２つの領域の集合として表される：Ｒ＝Ｂ∪Ｗ。ここで、Ｂは「黒」領域であり、Ｗは「白」領域であり、σ２（Ｑ）は領域Ｑにおける画像値の分散であり、｜Ｑ｜は領域Ｑ内のピクセル数を指示する。積分画像を用いた場合、任意の矩形領域Ｑのσ２（Ｑ）の計算は２＊｜Ｑ｜回ではなく２＊４回のピクセル参照を必要とする。ここでピクセル参照とは、ピクセル値を得るためのメモリ内の２Ｄ画像アレイへの１回のアドレス指定を意味する。
【００４５】
図５は、「両目間」テンプレート及び「目」テンプレートのテンプレートマッチング結果を示す。
【００４６】
図６は、信頼度マップから抽出された一組の領域、並びに「両目間」テンプレート及び「目」テンプレートの両方の２つの信頼度マップの結合結果に適用された連結領域ラベリングの結果を示す。各領域はそれを囲むボックスで示される。図７は、対称性に基づく領域配置解析の結果を示す。この結果は、左目特徴、両目間特徴、右目特徴の候補を含む。本発明では、左目と右目との間の距離は、口と両目の中間との間の距離にほぼ等しいと仮定する。２つの目候補を得た状態で、ｄ×ｄの寸法の矩形探索エリアを決める。ここで、ｄは目位置間の距離である。この領域と両目との間の垂直距離はｄ／２として選択する。最も高い信頼度マップ値を含む探索エリア内の領域が口領域の候補として選択される（図８）。
【００４７】
テンプレートマッチング結果及び連結領域ラベリング結果を用いて、本アルゴリズムは、高い信頼度マップ値、領域対称性及び高い勾配密度に基づき最良の目候補を選択する。左目、両目間、右目及び口に対応する正しい領域組を選択するために、図９に示すアルゴリズムを用いる。
【００４８】
図９では以下の記号を用いる：
●ｂ（ｘ，ｙ）は「両目間」信頼度マップであり、
●Ｂ＝｛Ｂ１，．．．，Ｂｎ｝は、ｂ（ｘ，ｙ）から抽出された一組の連結領域である。
●ｅ（ｘ，ｙ）は「目」信頼度マップであり、
●Ｅ＝｛Ｅ１，．．．，Ｅｍ｝は、ｅ（ｘ，ｙ）から抽出された一組の連結領域である。なお、Ｅ組は両目及び口の候補領域を含む。
●インデックスｉ、ｊ、ｋはそれぞれ、現在の左目領域、右目領域及び両目間領域を指定する。
●Ｂ組の領域毎に最大値の位置及びその値ｂｍａｘ（ｘｍａｘ，ｙｍａｘ）が事前に計算されており、ｂｍａｘは領域組の合計スコアを計算するために用いられ（図９）、（ｘｍａｘ，ｙｍａｘ）は考えられる各両目間領域の中心を示す。
●Ｅ組の各領域は以下の事前に計算された特徴を有する。
○ｅｍａｘ（ｘｍａｘ，ｙｍａｘ）−最大値の位置及びその値。ｅｍａｘは、領域組の合計スコアを計算するために用いられ（図９）、（ｘｍａｘ，ｙｍａｘ）は目の中心を示す。
○ＧＥ、ＧＭ−領域Ｐ内で以下のように計算されるテクスチャ測定値。
【００４９】
【数４】
【００５０】
両テクスチャ測定値は領域組の合計スコアに寄与する（図９）。
【００５１】
いくつかの代替形態及び発展形態を以下に述べる。
【００５２】
主な顔特徴の検出を助けるために鼻及び鼻腔等の他の顔特徴の検出も考慮された。この実施態様は、本方法が安定して機能する状況の範囲を制限する可能性がある。これは、これらの顔特徴の外観が照明条件及びカメラ位置により影響されるためである。しかし、テレビ会議等のいくつかの特定用途では、これらの特徴を含めることによりシステムがよりロバストになる。
【００５３】
色に基づく肌分割は画像中の探索エリアをかなり限定し、顔特徴の候補数を低減することができる。この実施態様もまた、本方法が機能し得る状況の範囲（グレースケール画像、暗い照明条件）を制限する可能性がある。
【００５４】
顔及び顔特徴の追跡は一つのオプションとして実施されてきた（画像の代わりに任意の画像ＲＯＩを用いることができる図３、図４を参照））。このモードは、計算時間を大幅に短縮するが、１枚の画像の処理には適さない。
【００５５】
本明細書において、「画像」という用語は、画像単位を記述するために用いられる。この画像単位は、解像度の変更、アップサンプリング、ダウンサンプリング等の処理の後のものを含み、又は積分画像と関連するものを含む。また、この用語は、フレーム、フィールド、ピクチャ等の他の同様の用語、又は画像、フレーム等のサブユニット若しくは領域にも適用される。ピクセル及びブロック又はピクセル群という用語は、適宜互換可能に用いられ得る。本明細書において、画像という用語は、文脈から明らかな場合を除いて、画像全体又は画像の一領域を意味する。同様に、画像の一領域は画像全体を意味し得る。画像は、フレーム又はフィールドを含み、静止画、フィルム若しくはビデオ等の画像シーケンス中の１つの画像、若しくは関連画像群中の１つの画像に関連する。
【００５６】
画像はグレースケール画像又はカラー画像であってもよく、又は別のタイプのマルチスペクトル画像、例えば、ＩＲ、ＵＶ若しくは他の電磁画像、若しくは音響画像等であってもよい。
【００５７】
本発明は、例えばコンピュータシステムにおいて適切なソフトウェア及び／又はハードウェアの変更を行って実施することができる。例えば、本発明は、プロセッサ又は制御装置等の制御手段又は処理手段、メモリ、磁気記憶装置、ＣＤ、ＤＶＤ等といった画像記憶手段を含むデータ記憶手段、ディスプレイ若しくはモニタ又はプリンタ等のデータ出力手段、キーボード等のデータ入力手段、及びスキャナ等の画像入力手段、又はこのような構成要素の任意の組み合わせを追加構成要素と共に有する、コンピュータ等を用いて実施することができる。本発明の態様は、ソフトウェア形態及び／又はハードウェア形態で、又は特定用途向け装置において提供するか、又はチップ等の特定用途向けモジュールを提供することができる。本発明の一実施形態による装置内のシステムの構成要素は、例えばインターネットを通じて他の構成要素と離れた場所に設けてもよい。
【００５８】
本件出願は、同一日に出願された「統計的テンプレートマッチングによる高速な物体検出方法（Fast Method Of Object Detection By Statistical Template Matching）」と題する同一出願人による同時係属中の出願に関連し、この内容は参照により本明細書中に援用される。本明細書中に記載される実施形態の、統計学的テンプレートマッチングや、積分画像の導出および使用等の特定の態様のさらなる詳細は、上記の同時係属中の出願に見出すことができる。
【図面の簡単な説明】
【００５９】
【図１】図１ａは顔特徴の画像を示す。図１ｂは図１ａの画像を２値化したものを示す。図１ｃおよび図１ｄは図１ａの顔特徴用のテンプレートを示す。
【図２】図２ａ〜図２ｄは他の顔特徴用のテンプレートである。
【図３】顔特徴の検出方法を示すブロック図である。
【図４】顔特徴検出アルゴリズムを示すブロック図である。
【図５】元画像及びテンプレートマッチング結果を示す対応する画像を含む。
【図６】複数のテンプレートマッチング結果から成る閾値処理した信頼度マップの連結領域をラベル付けした結果を示す画像である。
【図７】３つ一組の特徴の検出結果を示す画像である。
【図８】特徴検出を示す画像である。
【図９】信頼度マップ、領域対称性及びテクスチャ測定値に基づく領域解析及び顔特徴選択アルゴリズムを示すブロック図である。
【技術分野】
【０００１】
本発明は、画像中の物体、特に顔特徴を検出又は位置特定する方法及び装置に関する。
【背景技術】
【０００２】
顔特徴の検出は、顔認識システム、コンテンツベースの画像検索、ビデオ符号化、テレビ会議、群衆監視、及び知的人間コンピュータインタフェース等の分野における多くのコンピュータビジョンアプリケーションに必要な最初のステップである。
【０００３】
雑然としたシーン中の顔を位置特定する典型的な顔検出問題が与えられると、低レベルの解析がまず、グレースケール及び色等のピクセル特性を用いる視覚特徴の分割を扱う。これらの特徴は低レベルの性質を持つため、この解析から生成される特徴は通常曖昧である。特徴解析では、顔形状に関する情報を用いて、視覚特徴が顔及び顔特徴のより包括的な概念に整理される。特徴解析により、特徴の曖昧さが低減され、顔及び顔特徴の位置が決定される。
【０００４】
画像中のグレーレベル情報はしばしば顔特徴を識別するために用いられる。眉、瞳孔、及び唇等の特徴は通常、周囲の顔領域よりも暗く見える。この特性を利用して、様々な顔部品を区別することができる。
【０００５】
いくつかの最近の顔特徴抽出アルゴリズム（P.J.L. Van Beek、M.J.T. Reinders、B. Sankur、J.C.A. Van Der Lubbe著「Semantic Segmentation of Videophone Image Sequences」（Proc. of SPIE Int. Conf. on Visual Communications and Image Processing, 1992, pp. 1182-1193）、H.P. Graf、E. Cosatto、D. Gibson、E. Petajan、及びM. Kocheisen著「Multi-modal System for Locating Heads and Faces」（IEEE Proc. of 2nd Int. Conf. on Automatic Face and Gesture Recognition, Vermont, Oct. 1996, pp. 277-282）、並びにK.M. Lam 及びH. Yan著「Facial Feature Location and Extraction for Computerised Human Face Recognition」（Int. Symposium on information Theory and Its Applications, Sydney, Australia, Nov. 1994））は、分割された顔領域内のグレー最小値を探索する。これらのアルゴリズムにおいて、入力画像はまず、コントラスト伸長及びグレースケールモルフォロジー（濃度階調形態素）ルーチンにより強調されて局所的な暗いパッチの品質が改善され、それにより検出が容易になる。暗いパッチの抽出は、低レベルグレースケールの閾値処理により達成される。
【０００６】
C. Wong、D. Kortenkamp、及びM. Speich著「A Mobile Robot that Recognises People」（IEEE Int. Conf. on Tools with Artificial Intelligence, 1995）の論文は、色解析により間接的に得られる顔候補中の暗い顔領域も探すロボットの実装を記載している。このアルゴリズムは、重み付けした人間の目のテンプレートを利用して、一対の目の考えられる位置を判定する。
【０００７】
R. Hoogenboom及びM. Lew著「Face Detection Using Local Maxima」（IEEE Proc. of 2nd Int. Conf. on Automatic Face and Gesture Recognition, Vermont, Oct. 1996, pp. 334-339）では、８つの暗い近傍ピクセルで囲まれた１つの明るいピクセルで定義される極大値が代わりに用いられ、鼻先のような明るい顔のスポットが指示される。検出点は次に特徴テンプレートと位置合わせされ、相関測定が行われる。
【０００８】
一方、G. Yang及びT.S. Huang著「Human Face Detection in a Complex Background」（Pattern Recognition. 27, 1994, 53-63）の論文は、モザイク（ピラミッド）画像における顔のグレースケール挙動を研究している。顔画像の解像度をサブサンプリング又は平均化により徐々に低くしていくと、顔の巨視的特徴が消える。低解像度では、顔領域は均一になる。この観察に基づき、階層的な顔検出の枠組みが提案されている。低解像度画像から始めて、均一な領域を探索する一組の規則により顔候補が確立される。顔候補は次に、高解像度における極小値を用いて、顕著な顔特徴の存在により検証される。この技法は、回転不変顔検出システム（X.-G. Lv、J. Zhou、及びC.-S. Zhang著「A Novel Algorithm for Rotated Human Face Detection」（IEEE Conference on Computer Vision and Pattern Recognition, 2000））に採用され、このアルゴリズムの拡張が、C. Kotropoulos及びI. Pitas著「Rule-based Face Detection in Frontal Views」（Proc. Int. Conf. on Acoustic, Speech and Signal Processing, 1997）に提示されている。
【０００９】
S. Kawato及びN. Tetsutani著「Real-time Detection of Between-the-Eyes with a Circle Frequency Filter」（ACCV2002: The 5th Asian Conference on Computer Vision, Melbourne, 2002）の論文は、両目間の点はほとんどの人に共通しており、広範囲の顔の向きで見えると主張している。さらに、この点の周囲のパターンはどんな表情でも極めて安定している。著者らは、独自のリング周波数フィルタによるこの特徴の検出アルゴリズムを提案している。両目間の点を検出した後、近傍の顔特徴の検出タスクは大幅に簡略化されるため、本発明の提案でもこのアイデアを用いる。
【００１０】
米国特許第６６９０８１４号明細書は、画像シーケンスからの顔及び顔特徴の検出に関する。顔検出タスクは、新たな顔画像を事前に記録されている背景画像と比較する際に、カメラ位置の特別な配置により簡略化される。画像減算及び閾値処理を用いて、顔領域が位置特定され、目のような顔特徴が顔領域の中の暗い領域として抽出される。様々なサイズの特別な照合フィルタが暗い領域に適用される。出力値が最大となる特定のフィルタサイズを瞳孔のサイズと見なす。フィルタリング後、フィルタ出力がガウスフィルタにより平滑化され、結果として得られる極大値が瞳孔候補となる。カメラ位置の特別な配置が、この方法の考えられる用途を制限する。本発明の提案は任意の事前に定義されたカメラ位置に依存しない。
【００１１】
米国特許第６６８１０３２号明細書は、顔検出モジュール及び目検出モジュールを含む顔認識システムを記載している。この方法の本発明の提案する方法との主な違いは、顔検出方法が、肌の色の分布の抽出及びその事前に保存されている情報との照合に完全に依拠していることである。目検出モジュールは、関心領域の、参照画像セットから構築された固有目テンプレートとの照合に基づく。
【００１２】
米国特許第６６１１６１３号明細書は、顔画像の目領域は、強いグレー特徴（色成分の最大値と最小値の差が小さい）を共通して含むという観察に基づく目検出方法を含む。抽出された領域は次に、幾何学的特徴（小ささ、アスペクト比）及びテクスチャ特徴（強い水平方向エッジの存在）により検証される。抽出された一対の目は、顔領域のサイズ、向き及び位置を決め、さらに他の顔特徴（眉、鼻腔、口）により検証される。
【００１３】
米国特許第６３８１３４５号明細書は、テレビ会議用途に適した目検出方法を記載している。まず、ガウスフィルタを用いて画像がぼかされ、次に、両目が大きな暗い領域として抽出され、次に、幾何学的特徴を用いて両眉が除去される。その後、明度閾値処理を用いて両目がセグメンテーションされ、両目のパラメータが求められる。この方法の、本発明による提案との主な違いは、顔が常に画像の中心に位置しているものと仮定し、一対の目のみを抽出することである。またこの方法は、所定の一組の明度閾値を用いるが、これは、様々な照明条件下では使用が難しいことが分かった。
【００１４】
米国特許第６１５１４０３号明細書の方法は、本発明の方法とは異なる以下のステップ、すなわち、（ａ）色を基に画像中の考えられる肌領域を判定すること、（ｂ）モルフォロジー演算を用いて肌領域内で谷領域を決定すること、（ｃ）谷領域において適用される相互相関を用いてテンプレートマッチングを行うことから成る。
【００１５】
米国特許第６１３０６１７号明細書に記載される目検出方法は、顔画像を２値化するステップと、対で存在する候補領域を抽出するステップと、全ての対の中から１つの候補対を鼻腔と判定するステップと、鼻腔に対して正三角形を形成する残りの候補対を目の候補対として設定するステップと、より小さな正三角形を形成する候補対を目と判定するステップとを含む。この手法は、主要な顔特徴としての鼻腔の検出に基づく。この特徴は、カメラの向きの特別な配置（上向きの光軸）下でのみ安定していることが分かった。本発明の提案では、両目間領域を主要な顔特徴として用いる。この特徴は、様々な顔の向き及びカメラ向きで安定している。
【００１６】
米国特許第５８７０１３８号明細書は、顔及び顔特徴の検出にＨＳＶ色空間を用いる方法を記載している。顔領域の検出にはＨ成分及びＳ成分のみが用いられる。口は、顔領域内でバンドパスフィルタを用いてＳ成分及びＶ成分から検出される。顔領域内のＶ成分は正規化され、目テンプレートとの相関を用いて目が位置特定される。領域追跡を用いて探索エリアが縮小される。
【００１７】
米国特許第５７１５３２５号明細書は、顔検出の最終段階で目特徴を用いる人物特定システムを記載している。まず、画像の解像度が低減及び正規化され、照明の変化が補償される。次に、画像は事前に記憶されている背景画像と比較され、バイナリ関心マスク（binary interest mask）が作成される。顔領域はテンプレートマッチングにより決定され、マッチングスコアが閾値を上回ると、ニューラルネットワークに基づくさらなる目位置特定手順が行われる。
【００１８】
米国特許第６２７８４９１号明細書及び米国特許第５９９０９７３号明細書は、赤目検出方法及び赤目軽減方法を記載している。これらの方法の主な目的は、デジタル写真撮影におけるフラッシュの使用により生じる赤目を自動的に見つけることである。これらの方法は顔検出ステップ及び目検出ステップを含むが、これらの方法の主な欠点は、カラーで高解像度のデジタル画像でしか上手く機能しないことである。独特な特徴すなわち赤い瞳孔が目の検出に用いられる。また、これらの方法は、１枚のデジタル写真の後処理用に設計されており、計算量の多いアルゴリズム（例えば、マルチスケール及び多回転テンプレートマッチング）を用いるためにリアルタイムでのビデオ処理には向かない場合がある。
【００１９】
本発明が取り組む課題は、複雑な環境（例えば低品質画像及び雑然とした背景）でのロバストな顔特徴検出である。
【００２０】
既存の目検出方法の１つの課題は、画像中の一貫した領域対（左目及び右目）の探索のために複雑で信頼度が低いことである。単純な画像でも多くの候補領域対が見つかる可能性があり、この曖昧さをより高レベルの判定規則により解決しなければならない。本明細書では、目検出は画像中に頻繁に現れない特徴に依拠する。この特徴は、左目領域、両目間領域及び右目領域を含む３つ一組の領域である。この３つ一組の領域はさらに、口のような他の顔特徴領域の存在により検証されるため、目の検出は曖昧さが遥かに少なくなり、時間もかからなくなる。
【００２１】
本発明の態様は、添付の特許請求の範囲に記載されている。本発明は、適切な装置を用いて画像に対応する信号を処理することを含む。
【００２２】
本発明の一実施の形態により提案される解決策は以下のステップを含む。
１．顔特徴テンプレートの設計及び簡略化。このテンプレートは、顔特徴の全体的な外観のみを、暗い領域及び明るい領域の集合として表す。各顔特徴は一組の異なるテンプレートを有し得る。
２．低レベル画像処理段階：
●次のテンプレートマッチングに必要な時間がテンプレートサイズに関係なくなるように積分画像への画像変換。
●ピクセル毎のテンプレートマッチングにより、顔特徴毎に複数の信頼度マップを得る。
●信頼度マップの結合、及び信頼度レベルの高い顔特徴領域の抽出。
３．顔特徴の解析及び選択段階：
●複数組の「左目」、「両目間」、「右目」の候補の領域配置の解析及び抽出。
●高信頼度レベルと、テクスチャ特徴と、他の顔特徴領域の存在とに基づく最良の顔特徴候補の選択。
４．顔特徴検出の階層的戦略
●画像及びテンプレートをダウンサンプリングしたバージョンへのステップ１、２の適用
●検出された顔特徴を含む関心領域（ＲＯＩ）の抽出
●テンプレートの元のバージョン及びＲＯＩ内の画像へのステップ１、２の適用により顔特徴を正確に位置特定する。
●様々な解像度からの結果を結合する。本方法がそれらの解像度のうちの１つで失敗したら他の解像度での結果を用いる。
【００２３】
本発明のさらなる態様は以下を含む。
１．統一した枠組みの中で各顔特徴に任意数のテンプレートを用いる。
２．図２に示す４つの特定のテンプレート（「両目間領域」、「水平方向の顔特徴」及び「開いた目」）を用いる。
３．統計データ解析及び信号対雑音比の計算に基づくテンプレートマッチング方法。
４．安定した３つ一組の領域〈左目、両目間、右目〉を顔領域の主な特徴として用いる。
５．高信頼度レベルと、テクスチャ特徴と、他の顔特徴領域の存在とに基づく最良の顔特徴候補の選択方法。
【００２４】
提案する方法は、いくつかの重要で有用な特性を有する。第１に、本方法は、リアルタイム処理を可能にする顔特徴テンプレートの設計及び簡略化の手法を説明する。第２に、既知の積分画像技法を用いることによって、テンプレートマッチング方法の低コストでリアルタイムの拡張が達成される。
【００２５】
本発明の一実施形態が添付図面に関して説明される。
【００２６】
関心の顔特徴の全体的な外観が単純なテンプレートにより符号化される（図１及び図２）。テンプレートは、ピクセル値の分布がより暗い場所（黒領域）やより明るい場所（白領域）を示す領域から成る。領域形状の定性的な推定のために、２値化法を用いることができる。図１ａ及び図１ｂは、テンプレート形状の定性的な推定のために関心の顔特徴（両目間領域）を有する画像及び対応する２値化を示す。図１の例において、関心の特徴（両目間領域）は、２つの暗い楕円領域のように見える（図１ｂの２値化画像から導出した図１ｃのテンプレートを参照）。リアルタイム処理の要件により、全ての領域は矩形であることが好ましい。これにより、図１（ｄ）に示すようにテンプレートがさらに単純化される。
【００２７】
両目間領域の２つの異なるテンプレートを図２（ａ）及び図２（ｂ）に示す。
【００２８】
以下の文章及びブロック図では、これらのテンプレートを「両目間マスク１」及び「両目間マスク２」と呼ぶ。図２（ｃ）に示す水平方向の顔特徴テンプレートは、閉じた目、口、鼻腔、及び眉を検出するのに役立つ。図２（ｄ）のテンプレートは、開いた目の検出用に特別に設計されている（明るい近傍の中の暗い瞳孔）。以下の文章及びブロック図では、図２（ｃ）及び図２（ｄ）のテンプレートもそれぞれ「目マスク１」及び「目マスク２」と呼ぶ。
【００２９】
図２に示すテンプレートは簡略化されたテンプレートである。これらのテンプレートは、各顔特徴の全体的な外観のみを暗い領域及び明るい領域（矩形）の集合として表す。
【００３０】
顔特徴の階層的な検出方法のブロック図及びデータフローを図３に示す。
【００３１】
まず、元画像及び全てのテンプレートをダウンサンプリングする（Ｓ１１）。速度の理由から、４つの近傍ピクセルの平均化及び２分の１の画像縮小を用いるが、任意の他の画像サイズ変更方法を用いることができる。テンプレートをダウンサンプリングするには、それらの矩形の座標を２で割り、最も近い整数値に切り上げるか又は切り捨てる。
【００３２】
次のステップＳ１２において、画像及びテンプレートをダウンサンプリングしたバージョンに、顔特徴検出アルゴリズムを適用する。これにより、計算時間が４分の１に短縮されるが、顔特徴位置の精度も低下する場合がある。多くの場合、眼鏡等のまぎらわしい細部が、下げた解像度では見えなくなり得るため、目はダウンサンプリングした画像でより容易に検出できる。逆の状況も起こり得る。すなわち、低解像度では眉が閉じた目のように見え、閉じた目がほとんど見えなくなる可能性がある。この場合、眉が通常は最終的な検出結果となる。口は、元の解像度で検出することができれば、通常は低解像度でも検出することができる。これは、目の代わりに眉が検出されても、目及び口を含む顔領域は正確に検出されることを意味する。
【００３３】
低解像度での検出結果に関する考えられる問題を考慮して、検出される特徴は、関心領域の抽出（Ｓ１３）のみに用いられる。
【００３４】
最後に、同じ検出アルゴリズムを元の解像度のテンプレート及びＲＯＩ内の画像に適用して顔特徴を正確に位置特定する（Ｓ１２）。大まかな口位置のような低解像度での検出の結果のいくつかをこのステップで用いることができる。このステップの計算時間はＲＯＩサイズに比例し、このＲＯＩサイズは通常、元画像のサイズより小さい。
【００３５】
顔特徴検出アルゴリズム（図３にＳ１２で示す）のブロック図及びデータフローを図４に示す。このアルゴリズムには２つの主なステップがあり、第１のステップは、以下を含む低レベル画像処理である。
１）積分画像の計算（Ｓ２１）。テンプレートは異なるサイズの矩形の集合として表されるため、これらの矩形内の統計特徴（平均及び分散）の高速計算のために特別な画像前処理が必要である。画像の積分表現への変換はそのような特徴の高速計算を４回のピクセル参照（すなわち矩形の角）のみにより提供する。積分画像の計算は既知の従来技術の技法である。簡単に言えば、この計算は、以下のように定義される積分画像Ｓｕｍ（ｘ，ｙ）及びＳｕｍＱ（ｘ，ｙ）を含む。
【００３６】
【数１】
【００３７】
ここで、Ｉ（ｘ，ｙ）はｘ，ｙ≧０の場合に元画像であり、ｘ，ｙ＜０の場合にＩ（ｘ，ｙ）＝０である。
２）テンプレート毎に行われるテンプレートマッチング（Ｓ２２）。この手順は、各ピクセル近傍の統計的仮説試験に基づく。このステップの結果は一組の信頼度マップである。２つのマップが「両目間」領域が存在する尤度を示し、もう２つのマップが考えられる目領域を示す。信頼度マップの各ピクセルは仮説試験の結果を含み、画像領域とテンプレートとの間の類似度として考えることができる。
３）信頼度マップの結合（Ｓ２３）。この実施態様では信頼度マップのピクセル毎の乗算を用いるが、加算又は最大値選択等の他の結合方法も適用可能である。ピクセル毎の乗算結果の範囲は信頼度マップの数値フォーマットに依存する。固定小数点表現の場合、さらなる除算又はビットシフトが必要となる。
４）信頼度マップの分割（Ｓ２４）。各信頼度マップは、高信頼度の領域を低信頼度の背景と分離するために分割される。類似度は信号対雑音比（ＳＮＲ）としても解釈することができ、信頼度マップを閾値処理する可能性を開く。本実施態様では、信号レベルが雑音レベルのすぐ上であることを示すＳＮＲ〜１．１の閾値を用いる。モルフォロジー演算(morphological operations)又は小／大領域の除去等のより洗練された分割方法もこの段階で適用可能である。
【００３８】
アルゴリズムの第２のステップは、信頼値の高い画像領域を検出することを目的とする解析から成る。まず、閾値処理された信頼度マップに適用される連結成分ラベリングアルゴリズム（Ｓ２５）によりそのような領域を全て抽出する。次に、全ての考えられる３つ一組の領域（左目領域、両目間領域、右目領域）を繰り返し、対称性を大まかに調べる（Ｓ２６）。そして最後に、テクスチャ特徴と、口及び鼻腔等の他の顔特徴領域の存在とにより検証される合計信頼度レベルが高い３つ一組の領域を選択する（Ｓ２７）。信頼度レベルの極大値を正確な目位置と見なす。
【００３９】
好適な実施形態におけるテンプレートマッチングは以下のように行われる。
【００４０】
テンプレート（図２）により定義される画像からの２つのピクセル群への統計的ｔ検定の適用により以下の類似度が得られる（いくつかの等価変換は省く）。
【００４１】
【数２】
【００４２】
上記の式から定数を除去すると、本発明の類似度が得られる。
【００４３】
【数３】
【００４４】
ここで、テンプレートＲは２つの領域の集合として表される：Ｒ＝Ｂ∪Ｗ。ここで、Ｂは「黒」領域であり、Ｗは「白」領域であり、σ２（Ｑ）は領域Ｑにおける画像値の分散であり、｜Ｑ｜は領域Ｑ内のピクセル数を指示する。積分画像を用いた場合、任意の矩形領域Ｑのσ２（Ｑ）の計算は２＊｜Ｑ｜回ではなく２＊４回のピクセル参照を必要とする。ここでピクセル参照とは、ピクセル値を得るためのメモリ内の２Ｄ画像アレイへの１回のアドレス指定を意味する。
【００４５】
図５は、「両目間」テンプレート及び「目」テンプレートのテンプレートマッチング結果を示す。
【００４６】
図６は、信頼度マップから抽出された一組の領域、並びに「両目間」テンプレート及び「目」テンプレートの両方の２つの信頼度マップの結合結果に適用された連結領域ラベリングの結果を示す。各領域はそれを囲むボックスで示される。図７は、対称性に基づく領域配置解析の結果を示す。この結果は、左目特徴、両目間特徴、右目特徴の候補を含む。本発明では、左目と右目との間の距離は、口と両目の中間との間の距離にほぼ等しいと仮定する。２つの目候補を得た状態で、ｄ×ｄの寸法の矩形探索エリアを決める。ここで、ｄは目位置間の距離である。この領域と両目との間の垂直距離はｄ／２として選択する。最も高い信頼度マップ値を含む探索エリア内の領域が口領域の候補として選択される（図８）。
【００４７】
テンプレートマッチング結果及び連結領域ラベリング結果を用いて、本アルゴリズムは、高い信頼度マップ値、領域対称性及び高い勾配密度に基づき最良の目候補を選択する。左目、両目間、右目及び口に対応する正しい領域組を選択するために、図９に示すアルゴリズムを用いる。
【００４８】
図９では以下の記号を用いる：
●ｂ（ｘ，ｙ）は「両目間」信頼度マップであり、
●Ｂ＝｛Ｂ１，．．．，Ｂｎ｝は、ｂ（ｘ，ｙ）から抽出された一組の連結領域である。
●ｅ（ｘ，ｙ）は「目」信頼度マップであり、
●Ｅ＝｛Ｅ１，．．．，Ｅｍ｝は、ｅ（ｘ，ｙ）から抽出された一組の連結領域である。なお、Ｅ組は両目及び口の候補領域を含む。
●インデックスｉ、ｊ、ｋはそれぞれ、現在の左目領域、右目領域及び両目間領域を指定する。
●Ｂ組の領域毎に最大値の位置及びその値ｂｍａｘ（ｘｍａｘ，ｙｍａｘ）が事前に計算されており、ｂｍａｘは領域組の合計スコアを計算するために用いられ（図９）、（ｘｍａｘ，ｙｍａｘ）は考えられる各両目間領域の中心を示す。
●Ｅ組の各領域は以下の事前に計算された特徴を有する。
○ｅｍａｘ（ｘｍａｘ，ｙｍａｘ）−最大値の位置及びその値。ｅｍａｘは、領域組の合計スコアを計算するために用いられ（図９）、（ｘｍａｘ，ｙｍａｘ）は目の中心を示す。
○ＧＥ、ＧＭ−領域Ｐ内で以下のように計算されるテクスチャ測定値。
【００４９】
【数４】
【００５０】
両テクスチャ測定値は領域組の合計スコアに寄与する（図９）。
【００５１】
いくつかの代替形態及び発展形態を以下に述べる。
【００５２】
主な顔特徴の検出を助けるために鼻及び鼻腔等の他の顔特徴の検出も考慮された。この実施態様は、本方法が安定して機能する状況の範囲を制限する可能性がある。これは、これらの顔特徴の外観が照明条件及びカメラ位置により影響されるためである。しかし、テレビ会議等のいくつかの特定用途では、これらの特徴を含めることによりシステムがよりロバストになる。
【００５３】
色に基づく肌分割は画像中の探索エリアをかなり限定し、顔特徴の候補数を低減することができる。この実施態様もまた、本方法が機能し得る状況の範囲（グレースケール画像、暗い照明条件）を制限する可能性がある。
【００５４】
顔及び顔特徴の追跡は一つのオプションとして実施されてきた（画像の代わりに任意の画像ＲＯＩを用いることができる図３、図４を参照））。このモードは、計算時間を大幅に短縮するが、１枚の画像の処理には適さない。
【００５５】
本明細書において、「画像」という用語は、画像単位を記述するために用いられる。この画像単位は、解像度の変更、アップサンプリング、ダウンサンプリング等の処理の後のものを含み、又は積分画像と関連するものを含む。また、この用語は、フレーム、フィールド、ピクチャ等の他の同様の用語、又は画像、フレーム等のサブユニット若しくは領域にも適用される。ピクセル及びブロック又はピクセル群という用語は、適宜互換可能に用いられ得る。本明細書において、画像という用語は、文脈から明らかな場合を除いて、画像全体又は画像の一領域を意味する。同様に、画像の一領域は画像全体を意味し得る。画像は、フレーム又はフィールドを含み、静止画、フィルム若しくはビデオ等の画像シーケンス中の１つの画像、若しくは関連画像群中の１つの画像に関連する。
【００５６】
画像はグレースケール画像又はカラー画像であってもよく、又は別のタイプのマルチスペクトル画像、例えば、ＩＲ、ＵＶ若しくは他の電磁画像、若しくは音響画像等であってもよい。
【００５７】
本発明は、例えばコンピュータシステムにおいて適切なソフトウェア及び／又はハードウェアの変更を行って実施することができる。例えば、本発明は、プロセッサ又は制御装置等の制御手段又は処理手段、メモリ、磁気記憶装置、ＣＤ、ＤＶＤ等といった画像記憶手段を含むデータ記憶手段、ディスプレイ若しくはモニタ又はプリンタ等のデータ出力手段、キーボード等のデータ入力手段、及びスキャナ等の画像入力手段、又はこのような構成要素の任意の組み合わせを追加構成要素と共に有する、コンピュータ等を用いて実施することができる。本発明の態様は、ソフトウェア形態及び／又はハードウェア形態で、又は特定用途向け装置において提供するか、又はチップ等の特定用途向けモジュールを提供することができる。本発明の一実施形態による装置内のシステムの構成要素は、例えばインターネットを通じて他の構成要素と離れた場所に設けてもよい。
【００５８】
本件出願は、同一日に出願された「統計的テンプレートマッチングによる高速な物体検出方法（Fast Method Of Object Detection By Statistical Template Matching）」と題する同一出願人による同時係属中の出願に関連し、この内容は参照により本明細書中に援用される。本明細書中に記載される実施形態の、統計学的テンプレートマッチングや、積分画像の導出および使用等の特定の態様のさらなる詳細は、上記の同時係属中の出願に見出すことができる。
【図面の簡単な説明】
【００５９】
【図１】図１ａは顔特徴の画像を示す。図１ｂは図１ａの画像を２値化したものを示す。図１ｃおよび図１ｄは図１ａの顔特徴用のテンプレートを示す。
【図２】図２ａ〜図２ｄは他の顔特徴用のテンプレートである。
【図３】顔特徴の検出方法を示すブロック図である。
【図４】顔特徴検出アルゴリズムを示すブロック図である。
【図５】元画像及びテンプレートマッチング結果を示す対応する画像を含む。
【図６】複数のテンプレートマッチング結果から成る閾値処理した信頼度マップの連結領域をラベル付けした結果を示す画像である。
【図７】３つ一組の特徴の検出結果を示す画像である。
【図８】特徴検出を示す画像である。
【図９】信頼度マップ、領域対称性及びテクスチャ測定値に基づく領域解析及び顔特徴選択アルゴリズムを示すブロック図である。
【特許請求の範囲】
【請求項１】
テンプレートマッチングを用いる画像中の物体の検出方法であって、同一物体に対して少なくとも２つの異なるテンプレートを用いることを特徴とする、テンプレートマッチングを用いる画像中の物体の検出方法。
【請求項２】
１つの物体に関する前記少なくとも２つの異なるテンプレートの各々の前記テンプレートマッチングの結果を結合することを含む、請求項１に記載の方法。
【請求項３】
同一の物体に対する前記テンプレートマッチングの結果にそれぞれ関連する、複数の信頼度マップを導出することを含む、請求項１又は２に記載の方法。
【請求項４】
元画像をダウンサンプリングすることと、
前記ダウンサンプリングされた画像を用いて前記テンプレートマッチングを行って、関心物体を含む可能性がある領域を検出することと、
前記関心物体を含む可能性がある前記領域に関して前記元画像の前記テンプレートマッチングを行うことと
を含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
異なる解像度の結果を結合することを含む、請求項４に記載の方法。
【請求項６】
複数の解像度でテンプレートマッチングを行うことと、
異なる解像度に関して複数の信頼度マップを導出することと
を含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記信頼度マップを結合することを含む、請求項３又は６に記載の方法。
【請求項８】
前記結合することは、ピクセル毎の乗算、加算、最大値選択、等を含み、
任意選択で、その後に閾値処理及びモルフォロジー後処理を含む、請求項２、５又は７のいずれか一項に記載の方法。
【請求項９】
連結性解析を、例えば請求項８に記載の方法から得られる２値画像に対して、行うことを含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
領域配置解析を行うことを含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記領域配置解析は対称性の検査を含む、請求項１０に記載の方法。
【請求項１２】
テンプレートマッチングの結果を、
テクスチャ情報、及び、前記画像中の他の物体に関する情報のうちの、１つ又は複数と
結合することを含む、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
１つ又は複数の顔特徴を検出する、請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記テンプレートマッチングは、左目領域、右目領域及び両目間領域を照合することを含む、請求項１３に記載の方法。
【請求項１５】
テンプレートマッチングを用いる画像中の顔特徴の検出方法であって、左目、右目及び両目間の前記特徴に対してテンプレートマッチングを用いることを含む、テンプレートマッチングを用いる画像中の顔特徴の検出方法。
【請求項１６】
左目、右目及び両目間の前記特徴のそれぞれに対して、１つ又は複数のテンプレートを用いることを含む、請求項１４又は１５に記載の方法。
【請求項１７】
図２の形状又はそれに似た形状のテンプレートを用いることを含む、請求項１４〜１６のいずれか一項に記載の方法。
【請求項１８】
口領域の存在により、左目、右目及び両目間の３つ一組の領域を検証することを含む、請求項１４〜１７のいずれか一項に記載の方法。
【請求項１９】
閉じた目用のテンプレート及び開いた目用のテンプレートを用いることを含む、請求項１３〜１８のいずれか一項に記載の方法。
【請求項２０】
画像中の顔領域候補の選択方法であって、
左目、右目及び両目間の３つ一組の領域を考慮することと、
口領域を用いて前記３つ一組の領域を検証することと
を含む、画像中の顔領域候補の選択方法。
【請求項２１】
請求項１〜２０のいずれか一項に記載の方法を実行する装置。
【請求項２２】
請求項１〜２０のいずれか一項に記載の方法を実行するようにプログラムされる制御装置。
【請求項２３】
請求項２２に記載の制御装置と、画像を記憶する記憶手段とを備える装置。
【請求項２４】
請求項１〜２０のいずれか一項に記載の方法を実行するコンピュータプログラム、システム又はコンピュータ読み取り可能な記憶媒体。
【請求項１】
テンプレートマッチングを用いる画像中の物体の検出方法であって、同一物体に対して少なくとも２つの異なるテンプレートを用いることを特徴とする、テンプレートマッチングを用いる画像中の物体の検出方法。
【請求項２】
１つの物体に関する前記少なくとも２つの異なるテンプレートの各々の前記テンプレートマッチングの結果を結合することを含む、請求項１に記載の方法。
【請求項３】
同一の物体に対する前記テンプレートマッチングの結果にそれぞれ関連する、複数の信頼度マップを導出することを含む、請求項１又は２に記載の方法。
【請求項４】
元画像をダウンサンプリングすることと、
前記ダウンサンプリングされた画像を用いて前記テンプレートマッチングを行って、関心物体を含む可能性がある領域を検出することと、
前記関心物体を含む可能性がある前記領域に関して前記元画像の前記テンプレートマッチングを行うことと
を含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
異なる解像度の結果を結合することを含む、請求項４に記載の方法。
【請求項６】
複数の解像度でテンプレートマッチングを行うことと、
異なる解像度に関して複数の信頼度マップを導出することと
を含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記信頼度マップを結合することを含む、請求項３又は６に記載の方法。
【請求項８】
前記結合することは、ピクセル毎の乗算、加算、最大値選択、等を含み、
任意選択で、その後に閾値処理及びモルフォロジー後処理を含む、請求項２、５又は７のいずれか一項に記載の方法。
【請求項９】
連結性解析を、例えば請求項８に記載の方法から得られる２値画像に対して、行うことを含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
領域配置解析を行うことを含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記領域配置解析は対称性の検査を含む、請求項１０に記載の方法。
【請求項１２】
テンプレートマッチングの結果を、
テクスチャ情報、及び、前記画像中の他の物体に関する情報のうちの、１つ又は複数と
結合することを含む、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
１つ又は複数の顔特徴を検出する、請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記テンプレートマッチングは、左目領域、右目領域及び両目間領域を照合することを含む、請求項１３に記載の方法。
【請求項１５】
テンプレートマッチングを用いる画像中の顔特徴の検出方法であって、左目、右目及び両目間の前記特徴に対してテンプレートマッチングを用いることを含む、テンプレートマッチングを用いる画像中の顔特徴の検出方法。
【請求項１６】
左目、右目及び両目間の前記特徴のそれぞれに対して、１つ又は複数のテンプレートを用いることを含む、請求項１４又は１５に記載の方法。
【請求項１７】
図２の形状又はそれに似た形状のテンプレートを用いることを含む、請求項１４〜１６のいずれか一項に記載の方法。
【請求項１８】
口領域の存在により、左目、右目及び両目間の３つ一組の領域を検証することを含む、請求項１４〜１７のいずれか一項に記載の方法。
【請求項１９】
閉じた目用のテンプレート及び開いた目用のテンプレートを用いることを含む、請求項１３〜１８のいずれか一項に記載の方法。
【請求項２０】
画像中の顔領域候補の選択方法であって、
左目、右目及び両目間の３つ一組の領域を考慮することと、
口領域を用いて前記３つ一組の領域を検証することと
を含む、画像中の顔領域候補の選択方法。
【請求項２１】
請求項１〜２０のいずれか一項に記載の方法を実行する装置。
【請求項２２】
請求項１〜２０のいずれか一項に記載の方法を実行するようにプログラムされる制御装置。
【請求項２３】
請求項２２に記載の制御装置と、画像を記憶する記憶手段とを備える装置。
【請求項２４】
請求項１〜２０のいずれか一項に記載の方法を実行するコンピュータプログラム、システム又はコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２００８−５３０７０１（Ｐ２００８−５３０７０１Ａ）
【公表日】平成２０年８月７日（２００８．８．７）
【国際特許分類】
【出願番号】特願２００７−５５５７０７（Ｐ２００７−５５５７０７）
【出願日】平成１８年２月２０日（２００６．２．２０）
【国際出願番号】ＰＣＴ／ＧＢ２００６／０００５９１
【国際公開番号】ＷＯ２００６／０８７５８１
【国際公開日】平成１８年８月２４日（２００６．８．２４）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＲＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公表日】平成２０年８月７日（２００８．８．７）
【国際特許分類】
【出願日】平成１８年２月２０日（２００６．２．２０）
【国際出願番号】ＰＣＴ／ＧＢ２００６／０００５９１
【国際公開番号】ＷＯ２００６／０８７５８１
【国際公開日】平成１８年８月２４日（２００６．８．２４）
【出願人】（５０１２５３３１６）ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＲＩＣ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＥＮＴＲＥ ＥＵＲＯＰＥ Ｂ．Ｖ．
【住所又は居所原語表記】２０ Ｆｒｅｄｅｒｉｃｋ Ｓａｎｇｅｒ Ｒｏａｄ， Ｔｈｅ Ｓｕｒｒｅｙ Ｒｅｓｅａｒｃｈ Ｐａｒｋ， Ｇｕｉｌｄｆｏｒｄ， Ｓｕｒｒｅｙ ＧＵ２ ５ＹＤ， Ｇｒｅａｔ Ｂｒｉｔａｉｎ
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]