顔画像における特徴部位の位置の特定
【課題】顔画像における所定の特徴部位の位置の特定処理の効率化・高速化を図る。
【解決手段】対象顔画像における特徴部位の位置を特定する画像処理装置は、サンプル顔画像の統計的分析に基づき設定された基準顔画像と基準顔画像に対するＮ種類の第１の変換により生成された変換基準顔画像とを含む基準顔画像群と対象顔画像との比較結果に基づき対象顔画像における特徴点の初期配置を決定する初期配置部を含む。画像処理装置は、また、基準顔画像と対象顔画像とにおける特徴点の配置が等しくなるように第２の変換を行う画像変換部と、第２の変換後の基準顔画像と対象顔画像との比較結果に基づき対象顔画像における特徴点の配置を更新する更新部と、を備える。
【解決手段】対象顔画像における特徴部位の位置を特定する画像処理装置は、サンプル顔画像の統計的分析に基づき設定された基準顔画像と基準顔画像に対するＮ種類の第１の変換により生成された変換基準顔画像とを含む基準顔画像群と対象顔画像との比較結果に基づき対象顔画像における特徴点の初期配置を決定する初期配置部を含む。画像処理装置は、また、基準顔画像と対象顔画像とにおける特徴点の配置が等しくなるように第２の変換を行う画像変換部と、第２の変換後の基準顔画像と対象顔画像との比較結果に基づき対象顔画像における特徴点の配置を更新する更新部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像における所定の特徴部位の位置を特定する技術に関する。
【背景技術】
【０００２】
視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の対象顔画像のモデル化（合成）が可能であり、対象顔画像における上記特徴部位の位置の特定（検出）が可能である（例えば特許文献１参照）。
【０００３】
【特許文献１】特開２００７−１４１１０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の技術では、顔画像における所定の特徴部位の位置の特定において、さらなる効率化・高速化の余地があった。
【０００５】
なお、このような問題は、ＡＡＭを利用する場合に限らず、顔画像における所定の特徴部位の位置を特定する画像処理を行う際に共通の問題であった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、顔画像における所定の特徴部位の位置の特定処理の効率化・高速化を図ることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【０００８】
［適用例１］対象顔画像における所定の特徴部位の位置を特定する画像処理装置であって、
前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像と前記基準顔画像に対するＮ（Ｎは１以上の整数）種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む基準顔画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置部と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第２の変換を行う画像変換部と、
前記第２の変換後の前記基準顔画像と前記対象顔画像との比較結果に基づき、前記対象顔画像における前記特徴点の配置を更新する更新部と、を備える、画像処理装置。
【０００９】
この画像処理装置では、基準顔画像と基準顔画像に対するＮ種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む予め設定された基準顔画像群のそれぞれと、対象顔画像と、の比較結果に基づき、対象顔画像における特徴点の初期配置が決定され、第２の変換後の基準顔画像と対象顔画像との比較結果に基づき、対象顔画像における特徴点の配置が更新される。そのため、特徴点の初期配置の決定の後、第２の変換と特徴点の配置の更新とが繰り返されることにより、特徴点の配置によって対象顔画像における特徴部位の位置が特定される。このように、基準顔画像群と対象顔画像との比較結果に基づき対象顔画像における特徴点の初期配置が決定された後、特徴点の配置が更新されることにより、顔画像における特徴部位の位置が精度良く特定される。また、特徴点の初期配置の決定の際に対象顔画像に対する画像変換が行われることがないため、顔画像における特徴部位の位置の特定処理の効率化・高速化が実現される。
【００１０】
［適用例２］適用例１に記載の画像処理装置であって、
前記更新部は、前記第２の変換後の前記基準顔画像と前記対象顔画像との前記比較結果に基づき、前記対象顔画像における前記特徴点の配置の更新を行うか否かを判定する判定部を含む、画像処理装置。
【００１１】
この画像処理装置では、第２の変換後の基準顔画像と対象顔画像との比較結果に基づき特徴点の配置の更新を行うか否かが判定されるため、顔画像における特徴部位の位置の特定を所望の精度で実現することができる。
【００１２】
［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記Ｎ種類の第１の変換は、前記基準顔画像における前記特徴点全体の並行移動と傾きの変更と拡大・縮小との少なくとも１つが行われるような変換である、画像処理装置。
【００１３】
この画像処理装置では、特徴点全体の並行移動と傾きの変更と拡大・縮小との少なくとも１つが行われるような変換により変換基準顔画像が設定されるため、特徴点の配置全体のばらつきの大きい基準顔画像群を用いて特徴点の初期配置が決定され、顔画像における特徴部位の位置の特定処理の効率化・高速化および精度の向上が実現される。
【００１４】
［適用例４］適用例３に記載の画像処理装置であって、さらに、
前記統計的分析に基づき設定された前記特徴点の配置モデルであって、前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状と前記複数のサンプル顔画像における前記特徴点の配置の特性を表す形状ベクトルの線形結合との和による前記特徴点の前記配置モデルを特定するモデル情報を記憶する記憶部を備え、
前記初期配置部は、前記基準顔画像群のそれぞれと前記対象顔画像との比較結果に基づき前記基準顔画像群に含まれる１つの画像を選択画像として選択すると共に、前記選択画像と、前記選択画像に対する前記配置モデルにおける分散の最も大きい所定数の前記形状ベクトルの内の少なくとも１つの係数が変更されるようなＭ（Ｍは１以上の整数）種類の第３の変換により生成されたＭ種類の変換選択画像と、を含む画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【００１５】
この画像処理装置では、特徴点の初期配置の決定に際して、選択画像に対して分散の最も大きい所定数の形状ベクトルの内の少なくとも１つの係数が変更されるような変換により生成された変換選択画像が用いられるため、特徴点の初期配置がより精度良く設定され、顔画像における特徴部位の位置の特定処理の効率化・高速化および精度の向上が実現される。
【００１６】
［適用例５］適用例１ないし適用例４のいずれかに記載の画像処理装置であって、
前記基準顔画像は、前記特徴点の配置が前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状に等しくなるように変換された前記複数のサンプル顔画像の平均画像である、画像処理装置。
【００１７】
この画像処理装置では、特徴点の配置が平均形状に等しくなるように変換された複数のサンプル顔画像の平均画像が基準顔画像として採用されるため、あらゆる顔画像を対象とした特徴部位の位置の特定処理の効率化・高速化および精度の向上が実現される。
【００１８】
［適用例６］適用例１ないし適用例５のいずれかにに記載の画像処理装置であって、
前記初期配置部は、前記基準顔画像群の内の前記対象顔画像における所定領域に最も近い画像における前記特徴点の配置に基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【００１９】
この画像処理装置では、対象顔画像における特徴点の初期配置を精度良く決定することができる。
【００２０】
［適用例７］適用例６に記載の画像処理装置であって、さらに、
画像における顔の画像に対応する顔領域を検出する顔領域検出部を備え、
前記所定領域は、前記顔領域との関係が予め設定された領域である、画像処理装置。
【００２１】
この画像処理装置では、顔領域が検出され、顔領域との関係に基づき予め設定された領域が基準顔画像群と比較されることにより、特徴点の初期配置が決定されるため、対象顔画像における特徴点の初期配置の決定を効率的にかつ精度良く実行することができる。
【００２２】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、特徴位置特定方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．ＡＡＭ設定処理：
Ａ−３．顔特徴位置特定処理：
Ａ−４．比較例および第１実施例の効果：
Ｂ．第２実施例：
Ｃ．変形例：
【００２４】
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンターエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンター１００の各構成要素は、バスを介して互いに接続されている。
【００２５】
プリンターエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００２６】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、顔特徴位置特定処理を実行するためのコンピュータープログラムである。顔特徴位置特定処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を特定（検出）する処理である。顔特徴位置特定処理については、後に詳述する。
【００２７】
画像処理部２００は、プログラムモジュールとして、顔特徴位置特定部２１０と、顔領域検出部２３０と、を含んでいる。顔特徴位置特定部２１０は、初期配置部２１１と、画像変換部２１２と、判定部２１３と、更新部２１４と、を含んでいる。これら各部の機能については、後述の顔特徴位置特定処理の説明において詳述する。
【００２８】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンターエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００２９】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置特定処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００３０】
Ａ−２．ＡＡＭ設定処理：
図２は、第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。
【００３１】
ステップＳ１１０では、人物の顔を表す複数の画像がサンプル顔画像ＳＩとして設定される。図３は、サンプル顔画像ＳＩの一例を示す説明図である。図３に示すように、サンプル顔画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する画像が含まれるように設定される。サンプル顔画像ＳＩがそのように設定されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置特定処理（後述）の実行が可能となる。なお、サンプル顔画像ＳＩは、学習顔画像とも呼ばれる。
【００３２】
ステップＳ１２０（図２）では、サンプル顔画像ＳＩのそれぞれにおいて、特徴点ＣＰが設定される。図４は、サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置が、特徴部位として設定されている。図４に示すように、特徴点ＣＰは、各サンプル顔画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００３３】
サンプル顔画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル顔画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル顔画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル顔画像ＳＩに複数の人物の顔が含まれる場合が許容されており（例えばサンプル顔画像ＳＩ（２）には２人の顔が含まれている）、１つのサンプル顔画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００３４】
ステップＳ１３０（図２）では、ＡＡＭの形状モデルが設定される。具体的には、各サンプル顔画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析が行われ、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化される。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００３５】
【数１】
【００３６】
上記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル顔画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ0においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定されている。また、平均形状ｓ0において、特徴点ＣＰおよび三角形領域ＴＡの輪郭線により構成されるメッシュを「平均形状メッシュＢＳＭ」と呼ぶものとする。
【００３７】
形状モデルを表す上記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎの固有ベクトルが、形状ベクトルｓiとして採用される。本実施例では、最も分散の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、２番目に分散の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっている。また、３番目に分散の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に分散の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。
【００３８】
上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。なお、形状モデル設定ステップ（図２のステップＳ１３０）において設定された平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。ＡＡＭ情報ＡＭＩとしての平均形状ｓ0および形状ベクトルｓiは、本発明におけるモデル情報に相当する。
【００３９】
ステップＳ１４０（図２）では、ＡＡＭのテクスチャーモデルが設定される。具体的には、まず、各サンプル顔画像ＳＩに対して、サンプル顔画像ＳＩにおける特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）が行われる。
【００４０】
図７は、サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル顔画像ＳＩにおいては、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定されている。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル顔画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しいサンプル顔画像ＳＩ（以下「サンプル顔画像ＳＩｗ」と表す）が生成される。
【００４１】
なお、各サンプル顔画像ＳＩｗは、平均形状領域ＢＳＡ（図７においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル顔画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００４２】
次に、各サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００４３】
【数２】
【００４４】
上記式（２）において、Ａ0（ｘ）は平均顔画像である。図８は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル顔画像ＳＩｗ（図７参照）の平均の画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル顔画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘのそれぞれについて画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル顔画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。平均顔画像Ａ0（ｘ）は、本発明における基準顔画像に相当する。
【００４５】
テクスチャーモデルを表す上記式（２）において、Ａi（ｘ）はテクスチャーベクトルであり、λiはテクスチャーベクトルＡi（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡi（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡi（ｘ）として採用される。本実施例では、最も分散の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４６】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルＡi（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルＡi（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。
【００４７】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図７に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４８】
Ａ−３．顔特徴位置特定処理：
図９は、第１実施例における顔特徴位置特定処理の流れを示すフローチャートである。本実施例における顔特徴位置特定処理は、ＡＡＭを利用して対象顔画像における特徴点ＣＰの配置を決定することにより、対象顔画像における顔の特徴部位の位置を特定する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置特定処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００４９】
なお、顔特徴位置特定処理によって対象顔画像における特徴点ＣＰの配置が決定されると、対象顔画像における人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。従って、顔特徴位置特定処理の処理結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形等に利用可能である。
【００５０】
ステップＳ２１０（図９）では、画像処理部２００（図１）が、顔特徴位置特定処理の対象となる対象顔画像を表す画像データを取得する。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを対象顔画像データと呼び、対象顔画像データの表す画像を対象顔画像ＯＩと呼ぶものとする。
【００５１】
ステップＳ２２０（図９）では、顔領域検出部２３０（図１）が、対象顔画像ＯＩにおける顔の画像に対応する所定の領域を顔領域ＦＡとして検出する。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル顔画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００５２】
図１０は、対象顔画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１０には、対象顔画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００５３】
なお、図１０に示した想定基準領域ＡＢＡは、サンプル顔画像ＳＩｗや平均顔画像Ａ0（ｘ）の全体領域である基準領域ＢＡ（図７参照）に対応すると想定される領域である。想定基準領域ＡＢＡは、検出された顔領域ＦＡに基づき、大きさ・傾き・上下および左右方向の位置のそれぞれについて顔領域ＦＡと所定の関係を有する領域に設定される。顔領域ＦＡと想定基準領域ＡＢＡとの所定の関係は、顔領域ＦＡに表された顔が平均的な顔である場合には想定基準領域ＡＢＡが基準領域ＢＡに対応するように、顔領域ＦＡの検出に採用する顔検出手法の特性（どのような顔の範囲を顔領域ＦＡとして検出するか）を考慮して予め設定される。
【００５４】
ステップＳ２３０（図９）では、顔特徴位置特定部２１０（図１）が、対象顔画像ＯＩにおける特徴点ＣＰの初期配置を決定する。図１１は、第１実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。本実施例では、上述した平均顔画像Ａ0（ｘ）（図８参照）に対してグローバルパラメーターを変更するような変換により生成される変換平均顔画像ｔＡ0（ｘ）が予め設定され、平均顔画像Ａ0（ｘ）と共にＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。
【００５５】
図１２は、変換平均顔画像ｔＡ0（ｘ）の一例を示す説明図である。変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）に対して、グローバルパラメーターとしての大きさ、傾き、位置（上下方向の位置および左右方向の位置）の少なくとも１つを変更する変換を行った画像である。具体的には、図１２（ａ）に示すように、変換平均顔画像ｔＡ0（ｘ）は、中央に示す平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図６（ｂ）参照）内の画像を所定倍率で拡大または縮小した画像（平均顔画像Ａ0（ｘ）の上および下に示す画像）や、所定角度だけ時計回りまたは半時計回りに傾きを変更した画像（平均顔画像Ａ0（ｘ）の左および右に示す画像）を含む。また、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画像に対して、拡大・縮小および傾きの変更を組み合わせた変換を行った画像（平均顔画像Ａ0（ｘ）の左上、左下、右上、右下に示す画像）をも含む。
【００５６】
また、図１２（ｂ）に示すように、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図６（ｂ）参照）内の画像を所定量だけ上または下に並行移動した画像（平均顔画像Ａ0（ｘ）の下および上に示す画像）や、左または右に並行移動した画像（平均顔画像Ａ0（ｘ）の右および左に示す画像）を含む。また、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画像に対して、上下および左右の並行移動を組み合わせた変換を行った画像（平均顔画像Ａ0（ｘ）の左上、左下、右上、右下に示す画像）をも含む。
【００５７】
さらに、変換平均顔画像ｔＡ0（ｘ）は、図１２（ａ）に示す８つの変換平均顔画像ｔＡ0（ｘ）のそれぞれに対して図１２（ｂ）に示す上下左右の並行移動が実行された画像をも含む。従って、本実施例では、平均顔画像Ａ0（ｘ）に対して、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換を行うことにより、合計８０種類の変換平均顔画像ｔＡ0（ｘ）が生成・設定されている。なお、合計８０種類の変換は、本発明におけるＮ種類の第１の変換に相当する。また、平均顔画像Ａ0（ｘ）自身は、４つのグローバルパラメーターのすべてについて調整量がゼロの変換が行われた画像であると捉えることもでき、そのように捉えた場合には、合計８１種類（＝３×３×３×３）の変換により合計８１種類の変換平均顔画像ｔＡ0（ｘ）が設定されるとも表現できる。
【００５８】
また、変換平均顔画像ｔＡ0（ｘ）における特徴点ＣＰの配置は、変換平均顔画像ｔＡ0（ｘ）を生成するために平均顔画像Ａ0（ｘ）に対して実行される変換によって一義的に定まる。それぞれの変換平均顔画像ｔＡ0（ｘ）における特徴点ＣＰの配置を示す情報は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。
【００５９】
なお、本実施例における変換平均顔画像ｔＡ0（ｘ）は、本発明における変換基準顔画像に相当する。また、平均顔画像Ａ0（ｘ）と変換平均顔画像ｔＡ0（ｘ）とにより構成される画像群（以下、「平均顔画像群」とも呼ぶ）は、本発明における基準顔画像群に相当する。
【００６０】
特徴点ＣＰの初期配置決定処理（図１１）のステップＳ３１０では、初期配置部２１１（図１）が、ＡＡＭ情報ＡＭＩとして格納された平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ）を読み出す。
【００６１】
ステップＳ３２０（図１１）では、初期配置部２１１（図１）が、対象顔画像ＯＩの想定基準領域ＡＢＡ（図１０）と平均顔画像群のそれぞれとの差分画像Ｉｅを算出する。平均顔画像群は、１つの平均顔画像Ａ0（ｘ）と８０個の変換平均顔画像ｔＡ0（ｘ）とにより構成されるため、初期配置部２１１は８１個の差分画像Ｉｅを算出することとなる。なお、対象顔画像ＯＩの想定基準領域ＡＢＡは、本発明における所定領域に相当する。
【００６２】
ステップＳ３３０（図１１）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、平均顔画像群から、ノルムの値が最も小さい差分画像Ｉｅに対応する画像（以下「ノルム最小画像」とも呼ぶ）を選択する。ノルム最小画像は、対象顔画像ＯＩの想定基準領域ＡＢＡ（図１０）に最も近い（似ている）画像である。初期配置部２１１は、ノルム最小画像における特徴点ＣＰの配置に基づき、対象顔画像ＯＩにおける特徴点ＣＰの初期配置を決定する。具体的には、ノルム最小画像を対象顔画像ＯＩの想定基準領域ＡＢＡに重ねたときのノルム最小画像における特徴点ＣＰの配置が、対象顔画像ＯＩにおける特徴点ＣＰの初期配置として決定される。特徴点ＣＰの初期配置処理により、対象顔画像ＯＩにおいて、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が設定されたこととなる。
【００６３】
図１３は、対象顔画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。図１３では、対象顔画像ＯＩにおいて決定された特徴点ＣＰの初期配置をメッシュによって表現している。すなわち、メッシュの各交点が特徴点ＣＰである。なお、このメッシュは、平均形状ｓ0における平均形状メッシュＢＳＭと相似の関係にある。
【００６４】
特徴点ＣＰ初期配置決定処理（図９のステップＳ２３０）が完了すると、顔特徴位置特定部２１０（図１）は、対象顔画像ＯＩにおける特徴点ＣＰの配置更新を行う（ステップＳ２４０）。図１４は、第１実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。
【００６５】
ステップＳ４１０では、画像変換部２１２（図１）が、対象顔画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均形状ｓ0を有する顔画像である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置（図６参照）と等しくなるような変換によって算出される。この変換は、本発明における第２の変換に相当する。
【００６６】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル顔画像ＳＩｗ算出のための変換（図７参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、対象顔画像ＯＩに配置された特徴点ＣＰ（図１３参照）によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、対象顔画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００６７】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（対象顔画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、対象顔画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。
【００６８】
ステップＳ４２０（図１４）では、顔特徴位置特定部２１０（図１）が、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。ステップＳ４３０では、判定部２１３（図１）が、差分画像Ｉｅに基づき、特徴点ＣＰの配置更新処理が収束したか否かを判定する。判定部２１３は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、判定部２１３は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、判定部２１３は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、判定部２１３は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００６９】
ステップＳ４３０の収束判定において未だ収束していないと判定された場合には、更新部２１４（図１）が、パラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）およびｎ個の形状パラメーターｐi（式（１）参照）の値の変更量を意味している。なお、特徴点ＣＰの初期配置直後においては、グローバルパラメーターは、特徴点ＣＰ初期配置決定処理（図１１）において決定された値が設定されている。また、このときの特徴点ＣＰの初期配置と平均形状ｓ0の特徴点ＣＰの配置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値はすべてゼロである。
【００７０】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００７１】
【数３】
【００７２】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）（図６）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００７３】
【数４】
【数５】
【００７４】
ステップＳ４５０（図１４）では、更新部２１４（図１）が、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーターｐi）を更新する。これにより、対象顔画像ＯＩにおける特徴点ＣＰの配置が更新される。ステップＳ４５０のパラメーター更新の後には、再度、特徴点ＣＰの配置が更新された対象顔画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーター更新による特徴点ＣＰの配置更新（ステップＳ４５０）が行われる。
【００７５】
図１４のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、対象顔画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置（正解位置）に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置特定処理が完了する（ステップＳ４６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターｐiの値により特定される特徴点ＣＰの配置が、最終的な対象顔画像ＯＩにおける特徴点ＣＰの配置として決定される。
【００７６】
図１５は、顔特徴位置特定処理の結果の一例を示す説明図である。図１５には、対象顔画像ＯＩにおいて最終的に決定された特徴点ＣＰの配置が示されている。特徴点ＣＰの配置により、対象顔画像ＯＩにおける特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定され、対象顔画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。
【００７７】
以上説明したように、本実施例の顔特徴位置特定処理（図９）では、平均顔画像群のそれぞれと対象顔画像ＯＩとの比較結果に基づき特徴点ＣＰの初期配置が決定され、その後、対象顔画像ＯＩから算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との比較結果に基づき対象顔画像ＯＩにおける特徴点ＣＰの配置が更新される。具体的には、特徴点ＣＰの初期配置決定処理において、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が決定され、その後、差分画像Ｉｅに基づくパラメーター更新に伴い特徴点ＣＰの配置が更新されて、対象顔画像ＯＩにおける最終的な特徴点ＣＰの配置が決定される。このように、本実施例では、まず初期配置決定処理において特徴点ＣＰの配置全体の変動が大きい（分散が大きい）グローバルパラメーターの概略値を決定することにより、顔特徴位置特定処理の効率化・高速化および精度の向上（いわゆるローカルな最適解ではなくグローバルな最適解に基づく特徴点ＣＰの配置の最終決定）を実現することができる。
【００７８】
Ａ−４．比較例および第１実施例の効果：
図１６は、比較例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。ステップＳ５１０では、初期配置部２１１（図１）が、グローバルパラメーターとしての大きさ、傾き、位置（上下方向の位置および左右方向の位置）の値を種々変更して、対象顔画像ＯＩ上に特徴点ＣＰの仮配置を設定する。
【００７９】
図１７は、対象顔画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。図１７（ａ）および図１７（ｂ）には、対象顔画像ＯＩにおける特徴点ＣＰの仮配置をメッシュによって示している。初期配置部２１１は、図１７（ａ）および図１７（ｂ）の中央に示すように、対象顔画像ＯＩの想定基準領域ＡＢＡ（図１０参照）に平均顔画像Ａ0（ｘ）（図８）を重ねた場合における平均顔画像Ａ0（ｘ）の特徴点ＣＰにより特定される仮配置（以下、「基準仮配置」とも呼ぶ）を設定する。
【００８０】
初期配置部２１１は、また、基準仮配置に対して、グローバルパラメーターの値を種々変更した仮配置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、特徴点ＣＰの仮配置を特定するメッシュに対して拡大・縮小、傾きの変更、並行移動を行うことに相当する。従って、初期配置部２１１は、図１７（ａ）に示すように、基準仮配置のメッシュに対して所定倍率で拡大または縮小したメッシュにより特定される仮配置（基準仮配置の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュにより特定される仮配置（基準仮配置の右および左に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。
【００８１】
また、図１２（ｂ）に示すように、初期配置部２１１は、基準仮配置のメッシュを所定量だけ上または下に並行移動したメッシュにより特定される仮配置（基準仮配置の上および下に示す）や、左または右に並行移動したメッシュにより特定される仮配置（基準仮配置の左および右に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。
【００８２】
さらに、初期配置部２１１は、図１７（ａ）に示す基準仮配置以外の８つの仮配置のそれぞれにおけるメッシュに対して図１７（ｂ）に示す上下左右の並行移動が実行されたメッシュにより特定される仮配置も設定する。従って、比較例では、基準仮配置と、基準仮配置におけるメッシュに対して４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換を行うことにより設定される８０種類の仮配置と、の合計８１種類の仮配置が設定される。
【００８３】
ステップＳ５２０（図１６）では、画像変換部２１２（図１）が、設定された各仮配置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。図１８は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、上述した第１実施例の特徴点ＣＰ配置更新処理（図１４）における平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法（ステップＳ４１０）と同じである。すなわち、対象顔画像ＯＩにおける特徴点ＣＰの仮配置によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、対象顔画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。図１８には、図１７（ａ）に示した９個の仮配置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００８４】
ステップＳ５３０（図１６）では、初期配置部２１１（図１）が、各仮配置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。特徴点ＣＰの仮配置は８１種類設定されているため、初期配置部２１１は８１個の差分画像Ｉｅを算出することとなる。
【００８５】
ステップＳ５４０（図１６）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮配置（以下「ノルム最小仮配置」とも呼ぶ）を、対象顔画像ＯＩにおける特徴点ＣＰの初期配置として設定する。
【００８６】
以上説明したように、比較例の特徴点ＣＰ初期配置決定処理（図１６）によっても、対象顔画像ＯＩにおける初期配置を決定することができ、第１実施例と同様に、顔特徴位置特定処理の効率化・高速化および精度の向上を実現することができる。ただし、比較例の特徴点ＣＰ初期配置決定処理では、８１個の仮配置のすべてについて三角形領域ＴＡ毎のアフィン変換という比較的複雑な計算によって平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出が行われるため、処理時間が増大する。一方、第１実施例の特徴点ＣＰ初期配置決定処理（図１１）では、対象顔画像ＯＩと平均顔画像群に含まれる８１個の顔画像のそれぞれとの差分計算（８１回の差分計算）が行われるのみであり、三角形領域ＴＡ毎のアフィン変換といった比較的複雑な計算を行う必要がないため、顔特徴位置特定処理のさらなる効率化・高速化を実現することができる。
【００８７】
Ｂ．第２実施例：
図１９は、第２実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。上述したように、第１実施例では、平均顔画像Ａ0（ｘ）に対してグローバルパラメーターを変更するような変換により生成される変換平均顔画像ｔＡ0（ｘ）が予め設定され、ＡＡＭ情報ＡＭＩとして内部メモリー１２０に格納されている。第２実施例では、さらに、平均顔画像群（平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ））に対して、上述した形状モデルにおける第１形状ベクトルｓ1の形状パラメーターｐ1および第２形状ベクトルｓ2の形状パラメーターｐ2を変更する変換を行った画像が予め設定され、ＡＡＭ情報ＡＭＩとして格納されている。具体的には、平均顔画像群のそれぞれについて、形状パラメーターｐ1およびｐ2の３段階の値（０，＋Ｖ、−Ｖ）の組み合わせに対応する８種類の変化により、８種類（＝３×３―１）の画像が設定されている。なお、８種類の変換は、本発明におけるＭ種類の変換に相当する。
【００８８】
上述したように、第１形状ベクトルｓ1および第２形状ベクトルｓ2は、形状モデルにおいて最も分散の大きい２つの主成分（第１主成分および第２主成分）に対応する形状ベクトルｓiである。第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルであり、第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルである。従って、第２実施例では、平均顔画像群のそれぞれについて、顔の左右振りおよび上下振りの程度を変更した画像が予め設定されることとなる。
【００８９】
第２実施例の特徴点ＣＰ初期配置決定処理（図１９）のステップＳ６１０およびＳ６２０の処理内容は、図１１に示した第１実施例におけるステップＳ３１０およびＳ３２０と同じである。ステップＳ６３０では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、平均顔画像群から、ノルムの値が最も小さい差分画像Ｉｅに対応する画像（以下「選択画像」とも呼ぶ）を選択する。
【００９０】
ステップＳ６４０（図１９）では、初期配置部２１１（図１）が、選択画像に対して形状パラメーターｐ1およびｐ2の少なくとも１つが変更された８種類の画像を読み出す。８種類の画像は、本発明における変換選択画像に相当する。以下、選択画像と読み出された８種類の画像とを併せて選択画像群と呼ぶ。
【００９１】
ステップＳ６５０（図１９）では、初期配置部２１１（図１）が、対象顔画像ＯＩの想定基準領域ＡＢＡ（図１０）と選択画像群に含まれる８種類の画像のそれぞれとの差分画像Ｉｅを算出する。
【００９２】
ステップＳ６６０（図１９）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、選択画像群から、ノルムの値が最も小さい差分画像Ｉｅに対応する画像を選択し、選択された画像における特徴点ＣＰの配置に基づき、対象顔画像ＯＩにおける特徴点ＣＰの初期配置を決定する。
【００９３】
以上説明したように、第２実施例の特徴点ＣＰ初期配置処理では、対象顔画像ＯＩにおいて、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターと、形状モデルにおいて最も分散の大きい２つの主成分に対応する第１形状ベクトルｓ1の形状パラメーターｐ1および第２形状ベクトルｓ2の形状パラメーターｐ2と、の概略値が設定される。第２実施例の特徴点ＣＰ初期配置処理では、対象顔画像ＯＩと平均顔画像群に含まれる８１種類の顔画像のそれぞれとの差分計算と、対象顔画像ＯＩと選択画像群に含まれる８種類の画像のそれぞれとの差分計算と、が行われるのみであり、三角形領域ＴＡ毎のアフィン変換といった比較的複雑な計算を行う必要がない。そのため、第２実施例では、顔特徴位置特定処理の効率化・高速化およびさらなる精度の向上を実現することができる。
【００９４】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００９５】
Ｃ１．変形例１：
上記各実施例では、平均顔画像Ａ0（ｘ）に対して、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換により合計８０種類の変換平均顔画像ｔＡ0（ｘ）が予め設定されているが、変換平均顔画像ｔＡ0（ｘ）の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。例えば、４つのグローバルパラメーターの内の一部のみが変換平均顔画像ｔＡ0（ｘ）の設定に用いられるとしてもよいし、グローバルパラメーターの少なくとも一部と所定数の形状パラメーターｐiとが変換平均顔画像ｔＡ0（ｘ）の設定に用いられるとしてもよい。また、用いられるパラメーターのそれぞれについて、５段階の値の組み合わせに対応する変換により変換平均顔画像ｔＡ0（ｘ）が設定されるものとしてもよい。
【００９６】
Ｃ２．変形例２：
上記第２実施例では、平均顔画像群（平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ））のそれぞれについて、形状モデルにおいて最も分散の大きい２つの主成分に対応する形状パラメーターｐ1およびｐ2の３段階の値の組み合わせに対応する画像が予め設定されているが、用いられる形状パラメーターｐiの数やパラメーター値の段階数は変更可能である。例えば、最も分散の大きい１つの主成分に対応する形状パラメーターｐiのみが用いられてもよいし、分散の大きい方から３つ以上の主成分に対応する形状パラメーターｐiが用いられてもよい。また、例えば、パラメーター値の段階数は５段階であるとしてもよい。
【００９７】
Ｃ３．変形例３：
上記各実施例の特徴点ＣＰ配置更新処理（図１４）では、対象顔画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより対象顔画像ＯＩの特徴点ＣＰの配置を平均顔画像Ａ0（ｘ）の特徴点ＣＰの配置に整合させているが、平均顔画像Ａ0（ｘ）に対して画像変換を行うことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。
【００９８】
Ｃ４．変形例４：
上記各実施例では、顔領域ＦＡの検出が行われ、顔領域ＦＡに基づき想定基準領域ＡＢＡが設定されるとしているが、顔領域ＦＡの検出は必ずしも実行される必要はない。例えば、ユーザによる指定に従い直接、想定基準領域ＡＢＡが設定されるとしてもよい。
【００９９】
Ｃ５．変形例５：
上記各実施例におけるサンプル顔画像ＳＩ（図３）はあくまで一例であり、サンプル顔画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、上記各実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【０１００】
また、上記各実施例では、サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【０１０１】
また、上記各実施例において、平均顔画像Ａ0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）は、マスク領域ＭＡ（図７）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）の代わりに、サンプル顔画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
【０１０２】
また、上記各実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【０１０３】
また、上記各実施例では、メモリーカードＭＣに格納された画像が対象顔画像ＯＩに設定されているが、対象顔画像ＯＩは例えばネットワークを介して取得された画像であってもよい。
【０１０４】
また、上記各実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【０１０５】
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１０６】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。
【図２】第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル顔画像ＳＩの一例を示す説明図である。
【図４】サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ0の一例を示す説明図である。
【図７】サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。
【図８】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図９】第１実施例における顔特徴位置特定処理の流れを示すフローチャートである。
【図１０】対象顔画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１１】第１実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【図１２】変換平均顔画像ｔＡ0（ｘ）の一例を示す説明図である。
【図１３】対象顔画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。
【図１４】第１実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。
【図１５】顔特徴位置特定処理の結果の一例を示す説明図である。
【図１６】比較例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【図１７】対象顔画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。
【図１８】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１９】第２実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【符号の説明】
【０１０８】
１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…プリンターエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…顔特徴位置特定部
２１１…初期配置部
２１２…画像変換部
２１３…判定部
２１４…更新部
２３０…顔領域検出部
３１０…表示処理部
３２０…印刷処理部
【技術分野】
【０００１】
本発明は、顔画像における所定の特徴部位の位置を特定する技術に関する。
【背景技術】
【０００２】
視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の対象顔画像のモデル化（合成）が可能であり、対象顔画像における上記特徴部位の位置の特定（検出）が可能である（例えば特許文献１参照）。
【０００３】
【特許文献１】特開２００７−１４１１０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の技術では、顔画像における所定の特徴部位の位置の特定において、さらなる効率化・高速化の余地があった。
【０００５】
なお、このような問題は、ＡＡＭを利用する場合に限らず、顔画像における所定の特徴部位の位置を特定する画像処理を行う際に共通の問題であった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、顔画像における所定の特徴部位の位置の特定処理の効率化・高速化を図ることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【０００８】
［適用例１］対象顔画像における所定の特徴部位の位置を特定する画像処理装置であって、
前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像と前記基準顔画像に対するＮ（Ｎは１以上の整数）種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む基準顔画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置部と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第２の変換を行う画像変換部と、
前記第２の変換後の前記基準顔画像と前記対象顔画像との比較結果に基づき、前記対象顔画像における前記特徴点の配置を更新する更新部と、を備える、画像処理装置。
【０００９】
この画像処理装置では、基準顔画像と基準顔画像に対するＮ種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む予め設定された基準顔画像群のそれぞれと、対象顔画像と、の比較結果に基づき、対象顔画像における特徴点の初期配置が決定され、第２の変換後の基準顔画像と対象顔画像との比較結果に基づき、対象顔画像における特徴点の配置が更新される。そのため、特徴点の初期配置の決定の後、第２の変換と特徴点の配置の更新とが繰り返されることにより、特徴点の配置によって対象顔画像における特徴部位の位置が特定される。このように、基準顔画像群と対象顔画像との比較結果に基づき対象顔画像における特徴点の初期配置が決定された後、特徴点の配置が更新されることにより、顔画像における特徴部位の位置が精度良く特定される。また、特徴点の初期配置の決定の際に対象顔画像に対する画像変換が行われることがないため、顔画像における特徴部位の位置の特定処理の効率化・高速化が実現される。
【００１０】
［適用例２］適用例１に記載の画像処理装置であって、
前記更新部は、前記第２の変換後の前記基準顔画像と前記対象顔画像との前記比較結果に基づき、前記対象顔画像における前記特徴点の配置の更新を行うか否かを判定する判定部を含む、画像処理装置。
【００１１】
この画像処理装置では、第２の変換後の基準顔画像と対象顔画像との比較結果に基づき特徴点の配置の更新を行うか否かが判定されるため、顔画像における特徴部位の位置の特定を所望の精度で実現することができる。
【００１２】
［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記Ｎ種類の第１の変換は、前記基準顔画像における前記特徴点全体の並行移動と傾きの変更と拡大・縮小との少なくとも１つが行われるような変換である、画像処理装置。
【００１３】
この画像処理装置では、特徴点全体の並行移動と傾きの変更と拡大・縮小との少なくとも１つが行われるような変換により変換基準顔画像が設定されるため、特徴点の配置全体のばらつきの大きい基準顔画像群を用いて特徴点の初期配置が決定され、顔画像における特徴部位の位置の特定処理の効率化・高速化および精度の向上が実現される。
【００１４】
［適用例４］適用例３に記載の画像処理装置であって、さらに、
前記統計的分析に基づき設定された前記特徴点の配置モデルであって、前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状と前記複数のサンプル顔画像における前記特徴点の配置の特性を表す形状ベクトルの線形結合との和による前記特徴点の前記配置モデルを特定するモデル情報を記憶する記憶部を備え、
前記初期配置部は、前記基準顔画像群のそれぞれと前記対象顔画像との比較結果に基づき前記基準顔画像群に含まれる１つの画像を選択画像として選択すると共に、前記選択画像と、前記選択画像に対する前記配置モデルにおける分散の最も大きい所定数の前記形状ベクトルの内の少なくとも１つの係数が変更されるようなＭ（Ｍは１以上の整数）種類の第３の変換により生成されたＭ種類の変換選択画像と、を含む画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【００１５】
この画像処理装置では、特徴点の初期配置の決定に際して、選択画像に対して分散の最も大きい所定数の形状ベクトルの内の少なくとも１つの係数が変更されるような変換により生成された変換選択画像が用いられるため、特徴点の初期配置がより精度良く設定され、顔画像における特徴部位の位置の特定処理の効率化・高速化および精度の向上が実現される。
【００１６】
［適用例５］適用例１ないし適用例４のいずれかに記載の画像処理装置であって、
前記基準顔画像は、前記特徴点の配置が前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状に等しくなるように変換された前記複数のサンプル顔画像の平均画像である、画像処理装置。
【００１７】
この画像処理装置では、特徴点の配置が平均形状に等しくなるように変換された複数のサンプル顔画像の平均画像が基準顔画像として採用されるため、あらゆる顔画像を対象とした特徴部位の位置の特定処理の効率化・高速化および精度の向上が実現される。
【００１８】
［適用例６］適用例１ないし適用例５のいずれかにに記載の画像処理装置であって、
前記初期配置部は、前記基準顔画像群の内の前記対象顔画像における所定領域に最も近い画像における前記特徴点の配置に基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【００１９】
この画像処理装置では、対象顔画像における特徴点の初期配置を精度良く決定することができる。
【００２０】
［適用例７］適用例６に記載の画像処理装置であって、さらに、
画像における顔の画像に対応する顔領域を検出する顔領域検出部を備え、
前記所定領域は、前記顔領域との関係が予め設定された領域である、画像処理装置。
【００２１】
この画像処理装置では、顔領域が検出され、顔領域との関係に基づき予め設定された領域が基準顔画像群と比較されることにより、特徴点の初期配置が決定されるため、対象顔画像における特徴点の初期配置の決定を効率的にかつ精度良く実行することができる。
【００２２】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、特徴位置特定方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．ＡＡＭ設定処理：
Ａ−３．顔特徴位置特定処理：
Ａ−４．比較例および第１実施例の効果：
Ｂ．第２実施例：
Ｃ．変形例：
【００２４】
Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンターエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンター１００の各構成要素は、バスを介して互いに接続されている。
【００２５】
プリンターエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００２６】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、顔特徴位置特定処理を実行するためのコンピュータープログラムである。顔特徴位置特定処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を特定（検出）する処理である。顔特徴位置特定処理については、後に詳述する。
【００２７】
画像処理部２００は、プログラムモジュールとして、顔特徴位置特定部２１０と、顔領域検出部２３０と、を含んでいる。顔特徴位置特定部２１０は、初期配置部２１１と、画像変換部２１２と、判定部２１３と、更新部２１４と、を含んでいる。これら各部の機能については、後述の顔特徴位置特定処理の説明において詳述する。
【００２８】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンターエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００２９】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置特定処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００３０】
Ａ−２．ＡＡＭ設定処理：
図２は、第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。
【００３１】
ステップＳ１１０では、人物の顔を表す複数の画像がサンプル顔画像ＳＩとして設定される。図３は、サンプル顔画像ＳＩの一例を示す説明図である。図３に示すように、サンプル顔画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する画像が含まれるように設定される。サンプル顔画像ＳＩがそのように設定されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置特定処理（後述）の実行が可能となる。なお、サンプル顔画像ＳＩは、学習顔画像とも呼ばれる。
【００３２】
ステップＳ１２０（図２）では、サンプル顔画像ＳＩのそれぞれにおいて、特徴点ＣＰが設定される。図４は、サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置が、特徴部位として設定されている。図４に示すように、特徴点ＣＰは、各サンプル顔画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００３３】
サンプル顔画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル顔画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル顔画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル顔画像ＳＩに複数の人物の顔が含まれる場合が許容されており（例えばサンプル顔画像ＳＩ（２）には２人の顔が含まれている）、１つのサンプル顔画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００３４】
ステップＳ１３０（図２）では、ＡＡＭの形状モデルが設定される。具体的には、各サンプル顔画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析が行われ、特徴点ＣＰの位置により特定される顔の形状ｓが下記の式（１）によりモデル化される。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００３５】
【数１】
【００３６】
上記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル顔画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ0においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定されている。また、平均形状ｓ0において、特徴点ＣＰおよび三角形領域ＴＡの輪郭線により構成されるメッシュを「平均形状メッシュＢＳＭ」と呼ぶものとする。
【００３７】
形状モデルを表す上記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎの固有ベクトルが、形状ベクトルｓiとして採用される。本実施例では、最も分散の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、２番目に分散の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっている。また、３番目に分散の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に分散の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。
【００３８】
上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。なお、形状モデル設定ステップ（図２のステップＳ１３０）において設定された平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。ＡＡＭ情報ＡＭＩとしての平均形状ｓ0および形状ベクトルｓiは、本発明におけるモデル情報に相当する。
【００３９】
ステップＳ１４０（図２）では、ＡＡＭのテクスチャーモデルが設定される。具体的には、まず、各サンプル顔画像ＳＩに対して、サンプル顔画像ＳＩにおける特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）が行われる。
【００４０】
図７は、サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル顔画像ＳＩにおいては、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定されている。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル顔画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しいサンプル顔画像ＳＩ（以下「サンプル顔画像ＳＩｗ」と表す）が生成される。
【００４１】
なお、各サンプル顔画像ＳＩｗは、平均形状領域ＢＳＡ（図７においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル顔画像ＳＩｗは、例えば５６画素×５６画素のサイズの画像として正規化される。
【００４２】
次に、各サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００４３】
【数２】
【００４４】
上記式（２）において、Ａ0（ｘ）は平均顔画像である。図８は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル顔画像ＳＩｗ（図７参照）の平均の画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル顔画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘのそれぞれについて画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル顔画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。平均顔画像Ａ0（ｘ）は、本発明における基準顔画像に相当する。
【００４５】
テクスチャーモデルを表す上記式（２）において、Ａi（ｘ）はテクスチャーベクトルであり、λiはテクスチャーベクトルＡi（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡi（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡi（ｘ）として採用される。本実施例では、最も分散の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４６】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルＡi（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルＡi（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納される。
【００４７】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図７に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４８】
Ａ−３．顔特徴位置特定処理：
図９は、第１実施例における顔特徴位置特定処理の流れを示すフローチャートである。本実施例における顔特徴位置特定処理は、ＡＡＭを利用して対象顔画像における特徴点ＣＰの配置を決定することにより、対象顔画像における顔の特徴部位の位置を特定する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置特定処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００４９】
なお、顔特徴位置特定処理によって対象顔画像における特徴点ＣＰの配置が決定されると、対象顔画像における人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。従って、顔特徴位置特定処理の処理結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形等に利用可能である。
【００５０】
ステップＳ２１０（図９）では、画像処理部２００（図１）が、顔特徴位置特定処理の対象となる対象顔画像を表す画像データを取得する。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを対象顔画像データと呼び、対象顔画像データの表す画像を対象顔画像ＯＩと呼ぶものとする。
【００５１】
ステップＳ２２０（図９）では、顔領域検出部２３０（図１）が、対象顔画像ＯＩにおける顔の画像に対応する所定の領域を顔領域ＦＡとして検出する。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル顔画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００５２】
図１０は、対象顔画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１０には、対象顔画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００５３】
なお、図１０に示した想定基準領域ＡＢＡは、サンプル顔画像ＳＩｗや平均顔画像Ａ0（ｘ）の全体領域である基準領域ＢＡ（図７参照）に対応すると想定される領域である。想定基準領域ＡＢＡは、検出された顔領域ＦＡに基づき、大きさ・傾き・上下および左右方向の位置のそれぞれについて顔領域ＦＡと所定の関係を有する領域に設定される。顔領域ＦＡと想定基準領域ＡＢＡとの所定の関係は、顔領域ＦＡに表された顔が平均的な顔である場合には想定基準領域ＡＢＡが基準領域ＢＡに対応するように、顔領域ＦＡの検出に採用する顔検出手法の特性（どのような顔の範囲を顔領域ＦＡとして検出するか）を考慮して予め設定される。
【００５４】
ステップＳ２３０（図９）では、顔特徴位置特定部２１０（図１）が、対象顔画像ＯＩにおける特徴点ＣＰの初期配置を決定する。図１１は、第１実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。本実施例では、上述した平均顔画像Ａ0（ｘ）（図８参照）に対してグローバルパラメーターを変更するような変換により生成される変換平均顔画像ｔＡ0（ｘ）が予め設定され、平均顔画像Ａ0（ｘ）と共にＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。
【００５５】
図１２は、変換平均顔画像ｔＡ0（ｘ）の一例を示す説明図である。変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）に対して、グローバルパラメーターとしての大きさ、傾き、位置（上下方向の位置および左右方向の位置）の少なくとも１つを変更する変換を行った画像である。具体的には、図１２（ａ）に示すように、変換平均顔画像ｔＡ0（ｘ）は、中央に示す平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図６（ｂ）参照）内の画像を所定倍率で拡大または縮小した画像（平均顔画像Ａ0（ｘ）の上および下に示す画像）や、所定角度だけ時計回りまたは半時計回りに傾きを変更した画像（平均顔画像Ａ0（ｘ）の左および右に示す画像）を含む。また、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画像に対して、拡大・縮小および傾きの変更を組み合わせた変換を行った画像（平均顔画像Ａ0（ｘ）の左上、左下、右上、右下に示す画像）をも含む。
【００５６】
また、図１２（ｂ）に示すように、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ（図６（ｂ）参照）内の画像を所定量だけ上または下に並行移動した画像（平均顔画像Ａ0（ｘ）の下および上に示す画像）や、左または右に並行移動した画像（平均顔画像Ａ0（ｘ）の右および左に示す画像）を含む。また、変換平均顔画像ｔＡ0（ｘ）は、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画像に対して、上下および左右の並行移動を組み合わせた変換を行った画像（平均顔画像Ａ0（ｘ）の左上、左下、右上、右下に示す画像）をも含む。
【００５７】
さらに、変換平均顔画像ｔＡ0（ｘ）は、図１２（ａ）に示す８つの変換平均顔画像ｔＡ0（ｘ）のそれぞれに対して図１２（ｂ）に示す上下左右の並行移動が実行された画像をも含む。従って、本実施例では、平均顔画像Ａ0（ｘ）に対して、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換を行うことにより、合計８０種類の変換平均顔画像ｔＡ0（ｘ）が生成・設定されている。なお、合計８０種類の変換は、本発明におけるＮ種類の第１の変換に相当する。また、平均顔画像Ａ0（ｘ）自身は、４つのグローバルパラメーターのすべてについて調整量がゼロの変換が行われた画像であると捉えることもでき、そのように捉えた場合には、合計８１種類（＝３×３×３×３）の変換により合計８１種類の変換平均顔画像ｔＡ0（ｘ）が設定されるとも表現できる。
【００５８】
また、変換平均顔画像ｔＡ0（ｘ）における特徴点ＣＰの配置は、変換平均顔画像ｔＡ0（ｘ）を生成するために平均顔画像Ａ0（ｘ）に対して実行される変換によって一義的に定まる。それぞれの変換平均顔画像ｔＡ0（ｘ）における特徴点ＣＰの配置を示す情報は、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。
【００５９】
なお、本実施例における変換平均顔画像ｔＡ0（ｘ）は、本発明における変換基準顔画像に相当する。また、平均顔画像Ａ0（ｘ）と変換平均顔画像ｔＡ0（ｘ）とにより構成される画像群（以下、「平均顔画像群」とも呼ぶ）は、本発明における基準顔画像群に相当する。
【００６０】
特徴点ＣＰの初期配置決定処理（図１１）のステップＳ３１０では、初期配置部２１１（図１）が、ＡＡＭ情報ＡＭＩとして格納された平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ）を読み出す。
【００６１】
ステップＳ３２０（図１１）では、初期配置部２１１（図１）が、対象顔画像ＯＩの想定基準領域ＡＢＡ（図１０）と平均顔画像群のそれぞれとの差分画像Ｉｅを算出する。平均顔画像群は、１つの平均顔画像Ａ0（ｘ）と８０個の変換平均顔画像ｔＡ0（ｘ）とにより構成されるため、初期配置部２１１は８１個の差分画像Ｉｅを算出することとなる。なお、対象顔画像ＯＩの想定基準領域ＡＢＡは、本発明における所定領域に相当する。
【００６２】
ステップＳ３３０（図１１）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、平均顔画像群から、ノルムの値が最も小さい差分画像Ｉｅに対応する画像（以下「ノルム最小画像」とも呼ぶ）を選択する。ノルム最小画像は、対象顔画像ＯＩの想定基準領域ＡＢＡ（図１０）に最も近い（似ている）画像である。初期配置部２１１は、ノルム最小画像における特徴点ＣＰの配置に基づき、対象顔画像ＯＩにおける特徴点ＣＰの初期配置を決定する。具体的には、ノルム最小画像を対象顔画像ＯＩの想定基準領域ＡＢＡに重ねたときのノルム最小画像における特徴点ＣＰの配置が、対象顔画像ＯＩにおける特徴点ＣＰの初期配置として決定される。特徴点ＣＰの初期配置処理により、対象顔画像ＯＩにおいて、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が設定されたこととなる。
【００６３】
図１３は、対象顔画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。図１３では、対象顔画像ＯＩにおいて決定された特徴点ＣＰの初期配置をメッシュによって表現している。すなわち、メッシュの各交点が特徴点ＣＰである。なお、このメッシュは、平均形状ｓ0における平均形状メッシュＢＳＭと相似の関係にある。
【００６４】
特徴点ＣＰ初期配置決定処理（図９のステップＳ２３０）が完了すると、顔特徴位置特定部２１０（図１）は、対象顔画像ＯＩにおける特徴点ＣＰの配置更新を行う（ステップＳ２４０）。図１４は、第１実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。
【００６５】
ステップＳ４１０では、画像変換部２１２（図１）が、対象顔画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均形状ｓ0を有する顔画像である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置（図６参照）と等しくなるような変換によって算出される。この変換は、本発明における第２の変換に相当する。
【００６６】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル顔画像ＳＩｗ算出のための変換（図７参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、対象顔画像ＯＩに配置された特徴点ＣＰ（図１３参照）によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、対象顔画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００６７】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（対象顔画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、対象顔画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。
【００６８】
ステップＳ４２０（図１４）では、顔特徴位置特定部２１０（図１）が、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。ステップＳ４３０では、判定部２１３（図１）が、差分画像Ｉｅに基づき、特徴点ＣＰの配置更新処理が収束したか否かを判定する。判定部２１３は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、判定部２１３は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、判定部２１３は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、判定部２１３は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００６９】
ステップＳ４３０の収束判定において未だ収束していないと判定された場合には、更新部２１４（図１）が、パラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）およびｎ個の形状パラメーターｐi（式（１）参照）の値の変更量を意味している。なお、特徴点ＣＰの初期配置直後においては、グローバルパラメーターは、特徴点ＣＰ初期配置決定処理（図１１）において決定された値が設定されている。また、このときの特徴点ＣＰの初期配置と平均形状ｓ0の特徴点ＣＰの配置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値はすべてゼロである。
【００７０】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００７１】
【数３】
【００７２】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）（図６）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００７３】
【数４】
【数５】
【００７４】
ステップＳ４５０（図１４）では、更新部２１４（図１）が、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーターｐi）を更新する。これにより、対象顔画像ＯＩにおける特徴点ＣＰの配置が更新される。ステップＳ４５０のパラメーター更新の後には、再度、特徴点ＣＰの配置が更新された対象顔画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーター更新による特徴点ＣＰの配置更新（ステップＳ４５０）が行われる。
【００７５】
図１４のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、対象顔画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置（正解位置）に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置特定処理が完了する（ステップＳ４６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターｐiの値により特定される特徴点ＣＰの配置が、最終的な対象顔画像ＯＩにおける特徴点ＣＰの配置として決定される。
【００７６】
図１５は、顔特徴位置特定処理の結果の一例を示す説明図である。図１５には、対象顔画像ＯＩにおいて最終的に決定された特徴点ＣＰの配置が示されている。特徴点ＣＰの配置により、対象顔画像ＯＩにおける特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定され、対象顔画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。
【００７７】
以上説明したように、本実施例の顔特徴位置特定処理（図９）では、平均顔画像群のそれぞれと対象顔画像ＯＩとの比較結果に基づき特徴点ＣＰの初期配置が決定され、その後、対象顔画像ＯＩから算出された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との比較結果に基づき対象顔画像ＯＩにおける特徴点ＣＰの配置が更新される。具体的には、特徴点ＣＰの初期配置決定処理において、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターの概略値が決定され、その後、差分画像Ｉｅに基づくパラメーター更新に伴い特徴点ＣＰの配置が更新されて、対象顔画像ＯＩにおける最終的な特徴点ＣＰの配置が決定される。このように、本実施例では、まず初期配置決定処理において特徴点ＣＰの配置全体の変動が大きい（分散が大きい）グローバルパラメーターの概略値を決定することにより、顔特徴位置特定処理の効率化・高速化および精度の向上（いわゆるローカルな最適解ではなくグローバルな最適解に基づく特徴点ＣＰの配置の最終決定）を実現することができる。
【００７８】
Ａ−４．比較例および第１実施例の効果：
図１６は、比較例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。ステップＳ５１０では、初期配置部２１１（図１）が、グローバルパラメーターとしての大きさ、傾き、位置（上下方向の位置および左右方向の位置）の値を種々変更して、対象顔画像ＯＩ上に特徴点ＣＰの仮配置を設定する。
【００７９】
図１７は、対象顔画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。図１７（ａ）および図１７（ｂ）には、対象顔画像ＯＩにおける特徴点ＣＰの仮配置をメッシュによって示している。初期配置部２１１は、図１７（ａ）および図１７（ｂ）の中央に示すように、対象顔画像ＯＩの想定基準領域ＡＢＡ（図１０参照）に平均顔画像Ａ0（ｘ）（図８）を重ねた場合における平均顔画像Ａ0（ｘ）の特徴点ＣＰにより特定される仮配置（以下、「基準仮配置」とも呼ぶ）を設定する。
【００８０】
初期配置部２１１は、また、基準仮配置に対して、グローバルパラメーターの値を種々変更した仮配置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、特徴点ＣＰの仮配置を特定するメッシュに対して拡大・縮小、傾きの変更、並行移動を行うことに相当する。従って、初期配置部２１１は、図１７（ａ）に示すように、基準仮配置のメッシュに対して所定倍率で拡大または縮小したメッシュにより特定される仮配置（基準仮配置の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュにより特定される仮配置（基準仮配置の右および左に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。
【００８１】
また、図１２（ｂ）に示すように、初期配置部２１１は、基準仮配置のメッシュを所定量だけ上または下に並行移動したメッシュにより特定される仮配置（基準仮配置の上および下に示す）や、左または右に並行移動したメッシュにより特定される仮配置（基準仮配置の左および右に示す）を設定する。また、初期配置部２１１は、基準仮配置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュにより特定される仮配置（基準仮配置の左上、左下、右上、右下に示す）も設定する。
【００８２】
さらに、初期配置部２１１は、図１７（ａ）に示す基準仮配置以外の８つの仮配置のそれぞれにおけるメッシュに対して図１７（ｂ）に示す上下左右の並行移動が実行されたメッシュにより特定される仮配置も設定する。従って、比較例では、基準仮配置と、基準仮配置におけるメッシュに対して４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換を行うことにより設定される８０種類の仮配置と、の合計８１種類の仮配置が設定される。
【００８３】
ステップＳ５２０（図１６）では、画像変換部２１２（図１）が、設定された各仮配置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する。図１８は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、上述した第１実施例の特徴点ＣＰ配置更新処理（図１４）における平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法（ステップＳ４１０）と同じである。すなわち、対象顔画像ＯＩにおける特徴点ＣＰの仮配置によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、対象顔画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。図１８には、図１７（ａ）に示した９個の仮配置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００８４】
ステップＳ５３０（図１６）では、初期配置部２１１（図１）が、各仮配置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する。特徴点ＣＰの仮配置は８１種類設定されているため、初期配置部２１１は８１個の差分画像Ｉｅを算出することとなる。
【００８５】
ステップＳ５４０（図１６）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮配置（以下「ノルム最小仮配置」とも呼ぶ）を、対象顔画像ＯＩにおける特徴点ＣＰの初期配置として設定する。
【００８６】
以上説明したように、比較例の特徴点ＣＰ初期配置決定処理（図１６）によっても、対象顔画像ＯＩにおける初期配置を決定することができ、第１実施例と同様に、顔特徴位置特定処理の効率化・高速化および精度の向上を実現することができる。ただし、比較例の特徴点ＣＰ初期配置決定処理では、８１個の仮配置のすべてについて三角形領域ＴＡ毎のアフィン変換という比較的複雑な計算によって平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出が行われるため、処理時間が増大する。一方、第１実施例の特徴点ＣＰ初期配置決定処理（図１１）では、対象顔画像ＯＩと平均顔画像群に含まれる８１個の顔画像のそれぞれとの差分計算（８１回の差分計算）が行われるのみであり、三角形領域ＴＡ毎のアフィン変換といった比較的複雑な計算を行う必要がないため、顔特徴位置特定処理のさらなる効率化・高速化を実現することができる。
【００８７】
Ｂ．第２実施例：
図１９は、第２実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。上述したように、第１実施例では、平均顔画像Ａ0（ｘ）に対してグローバルパラメーターを変更するような変換により生成される変換平均顔画像ｔＡ0（ｘ）が予め設定され、ＡＡＭ情報ＡＭＩとして内部メモリー１２０に格納されている。第２実施例では、さらに、平均顔画像群（平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ））に対して、上述した形状モデルにおける第１形状ベクトルｓ1の形状パラメーターｐ1および第２形状ベクトルｓ2の形状パラメーターｐ2を変更する変換を行った画像が予め設定され、ＡＡＭ情報ＡＭＩとして格納されている。具体的には、平均顔画像群のそれぞれについて、形状パラメーターｐ1およびｐ2の３段階の値（０，＋Ｖ、−Ｖ）の組み合わせに対応する８種類の変化により、８種類（＝３×３―１）の画像が設定されている。なお、８種類の変換は、本発明におけるＭ種類の変換に相当する。
【００８８】
上述したように、第１形状ベクトルｓ1および第２形状ベクトルｓ2は、形状モデルにおいて最も分散の大きい２つの主成分（第１主成分および第２主成分）に対応する形状ベクトルｓiである。第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルであり、第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルである。従って、第２実施例では、平均顔画像群のそれぞれについて、顔の左右振りおよび上下振りの程度を変更した画像が予め設定されることとなる。
【００８９】
第２実施例の特徴点ＣＰ初期配置決定処理（図１９）のステップＳ６１０およびＳ６２０の処理内容は、図１１に示した第１実施例におけるステップＳ３１０およびＳ３２０と同じである。ステップＳ６３０では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、平均顔画像群から、ノルムの値が最も小さい差分画像Ｉｅに対応する画像（以下「選択画像」とも呼ぶ）を選択する。
【００９０】
ステップＳ６４０（図１９）では、初期配置部２１１（図１）が、選択画像に対して形状パラメーターｐ1およびｐ2の少なくとも１つが変更された８種類の画像を読み出す。８種類の画像は、本発明における変換選択画像に相当する。以下、選択画像と読み出された８種類の画像とを併せて選択画像群と呼ぶ。
【００９１】
ステップＳ６５０（図１９）では、初期配置部２１１（図１）が、対象顔画像ＯＩの想定基準領域ＡＢＡ（図１０）と選択画像群に含まれる８種類の画像のそれぞれとの差分画像Ｉｅを算出する。
【００９２】
ステップＳ６６０（図１９）では、初期配置部２１１（図１）が、各差分画像Ｉｅのノルムを算出し、選択画像群から、ノルムの値が最も小さい差分画像Ｉｅに対応する画像を選択し、選択された画像における特徴点ＣＰの配置に基づき、対象顔画像ＯＩにおける特徴点ＣＰの初期配置を決定する。
【００９３】
以上説明したように、第２実施例の特徴点ＣＰ初期配置処理では、対象顔画像ＯＩにおいて、特徴点ＣＰの配置の全体的な大きさ、傾き、位置（上下方向の位置および左右方向の位置）を規定するグローバルパラメーターと、形状モデルにおいて最も分散の大きい２つの主成分に対応する第１形状ベクトルｓ1の形状パラメーターｐ1および第２形状ベクトルｓ2の形状パラメーターｐ2と、の概略値が設定される。第２実施例の特徴点ＣＰ初期配置処理では、対象顔画像ＯＩと平均顔画像群に含まれる８１種類の顔画像のそれぞれとの差分計算と、対象顔画像ＯＩと選択画像群に含まれる８種類の画像のそれぞれとの差分計算と、が行われるのみであり、三角形領域ＴＡ毎のアフィン変換といった比較的複雑な計算を行う必要がない。そのため、第２実施例では、顔特徴位置特定処理の効率化・高速化およびさらなる精度の向上を実現することができる。
【００９４】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００９５】
Ｃ１．変形例１：
上記各実施例では、平均顔画像Ａ0（ｘ）に対して、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３―１）の変換により合計８０種類の変換平均顔画像ｔＡ0（ｘ）が予め設定されているが、変換平均顔画像ｔＡ0（ｘ）の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。例えば、４つのグローバルパラメーターの内の一部のみが変換平均顔画像ｔＡ0（ｘ）の設定に用いられるとしてもよいし、グローバルパラメーターの少なくとも一部と所定数の形状パラメーターｐiとが変換平均顔画像ｔＡ0（ｘ）の設定に用いられるとしてもよい。また、用いられるパラメーターのそれぞれについて、５段階の値の組み合わせに対応する変換により変換平均顔画像ｔＡ0（ｘ）が設定されるものとしてもよい。
【００９６】
Ｃ２．変形例２：
上記第２実施例では、平均顔画像群（平均顔画像Ａ0（ｘ）および変換平均顔画像ｔＡ0（ｘ））のそれぞれについて、形状モデルにおいて最も分散の大きい２つの主成分に対応する形状パラメーターｐ1およびｐ2の３段階の値の組み合わせに対応する画像が予め設定されているが、用いられる形状パラメーターｐiの数やパラメーター値の段階数は変更可能である。例えば、最も分散の大きい１つの主成分に対応する形状パラメーターｐiのみが用いられてもよいし、分散の大きい方から３つ以上の主成分に対応する形状パラメーターｐiが用いられてもよい。また、例えば、パラメーター値の段階数は５段階であるとしてもよい。
【００９７】
Ｃ３．変形例３：
上記各実施例の特徴点ＣＰ配置更新処理（図１４）では、対象顔画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより対象顔画像ＯＩの特徴点ＣＰの配置を平均顔画像Ａ0（ｘ）の特徴点ＣＰの配置に整合させているが、平均顔画像Ａ0（ｘ）に対して画像変換を行うことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。
【００９８】
Ｃ４．変形例４：
上記各実施例では、顔領域ＦＡの検出が行われ、顔領域ＦＡに基づき想定基準領域ＡＢＡが設定されるとしているが、顔領域ＦＡの検出は必ずしも実行される必要はない。例えば、ユーザによる指定に従い直接、想定基準領域ＡＢＡが設定されるとしてもよい。
【００９９】
Ｃ５．変形例５：
上記各実施例におけるサンプル顔画像ＳＩ（図３）はあくまで一例であり、サンプル顔画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、上記各実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【０１００】
また、上記各実施例では、サンプル顔画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【０１０１】
また、上記各実施例において、平均顔画像Ａ0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）は、マスク領域ＭＡ（図７）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）の代わりに、サンプル顔画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
【０１０２】
また、上記各実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【０１０３】
また、上記各実施例では、メモリーカードＭＣに格納された画像が対象顔画像ＯＩに設定されているが、対象顔画像ＯＩは例えばネットワークを介して取得された画像であってもよい。
【０１０４】
また、上記各実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【０１０５】
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１０６】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の第１実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。
【図２】第１実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル顔画像ＳＩの一例を示す説明図である。
【図４】サンプル顔画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル顔画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ0の一例を示す説明図である。
【図７】サンプル顔画像ＳＩのワープＷの方法の一例を示す説明図である。
【図８】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図９】第１実施例における顔特徴位置特定処理の流れを示すフローチャートである。
【図１０】対象顔画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１１】第１実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【図１２】変換平均顔画像ｔＡ0（ｘ）の一例を示す説明図である。
【図１３】対象顔画像ＯＩにおける特徴点ＣＰの初期配置の一例を示す説明図である。
【図１４】第１実施例における特徴点ＣＰ配置更新処理の流れを示すフローチャートである。
【図１５】顔特徴位置特定処理の結果の一例を示す説明図である。
【図１６】比較例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【図１７】対象顔画像ＯＩにおける特徴点ＣＰの仮配置の一例を示す説明図である。
【図１８】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１９】第２実施例における特徴点ＣＰの初期配置決定処理の流れを示すフローチャートである。
【符号の説明】
【０１０８】
１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…プリンターエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…顔特徴位置特定部
２１１…初期配置部
２１２…画像変換部
２１３…判定部
２１４…更新部
２３０…顔領域検出部
３１０…表示処理部
３２０…印刷処理部
【特許請求の範囲】
【請求項１】
対象顔画像における所定の特徴部位の位置を特定する画像処理装置であって、
前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像と前記基準顔画像に対するＮ（Ｎは１以上の整数）種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む基準顔画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置部と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第２の変換を行う画像変換部と、
前記第２の変換後の前記基準顔画像と前記対象顔画像との比較結果に基づき、前記対象顔画像における前記特徴点の配置を更新する更新部と、を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記更新部は、前記第２の変換後の前記基準顔画像と前記対象顔画像との前記比較結果に基づき、前記対象顔画像における前記特徴点の配置の更新を行うか否かを判定する判定部を含む、画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記Ｎ種類の第１の変換は、前記基準顔画像における前記特徴点全体の並行移動と傾きの変更と拡大・縮小との少なくとも１つが行われるような変換である、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、さらに、
前記統計的分析に基づき設定された前記特徴点の配置モデルであって、前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状と前記複数のサンプル顔画像における前記特徴点の配置の特性を表す形状ベクトルの線形結合との和による前記特徴点の前記配置モデルを特定するモデル情報を記憶する記憶部を備え、
前記初期配置部は、前記基準顔画像群のそれぞれと前記対象顔画像との比較結果に基づき前記基準顔画像群に含まれる１つの画像を選択画像として選択すると共に、前記選択画像と、前記選択画像に対する前記配置モデルにおける分散の最も大きい所定数の前記形状ベクトルの内の少なくとも１つの係数が変更されるようなＭ（Ｍは１以上の整数）種類の第３の変換により生成されたＭ種類の変換選択画像と、を含む画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
前記基準顔画像は、前記特徴点の配置が前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状に等しくなるように変換された前記複数のサンプル顔画像の平均画像である、画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかにに記載の画像処理装置であって、
前記初期配置部は、前記基準顔画像群の内の前記対象顔画像における所定領域に最も近い画像における前記特徴点の配置に基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、さらに、
画像における顔の画像に対応する顔領域を検出する顔領域検出部を備え、
前記所定領域は、前記顔領域との関係が予め設定された領域である、画像処理装置。
【請求項８】
対象顔画像における所定の特徴部位の位置を特定する画像処理方法であって、
（ａ）前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像と前記基準顔画像に対するＮ（Ｎは１以上の整数）種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む基準顔画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する工程と、
（ｂ）前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第２の変換を行う工程と、
（ｃ）前記第２の変換後の前記基準顔画像と前記対象顔画像との比較結果に基づき、前記対象顔画像における前記特徴点の配置を更新する工程と、を備える、画像処理方法。
【請求項９】
対象顔画像における所定の特徴部位の位置を特定する画像処理のためのコンピュータープログラムであって、
前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像と前記基準顔画像に対するＮ（Ｎは１以上の整数）種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む基準顔画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置機能と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第２の変換を行う画像変換機能と、
前記第２の変換後の前記基準顔画像と前記対象顔画像との比較結果に基づき、前記対象顔画像における前記特徴点の配置を更新する更新機能と、を、コンピューターに実現させる、コンピュータープログラム。
【請求項１】
対象顔画像における所定の特徴部位の位置を特定する画像処理装置であって、
前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像と前記基準顔画像に対するＮ（Ｎは１以上の整数）種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む基準顔画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置部と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第２の変換を行う画像変換部と、
前記第２の変換後の前記基準顔画像と前記対象顔画像との比較結果に基づき、前記対象顔画像における前記特徴点の配置を更新する更新部と、を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記更新部は、前記第２の変換後の前記基準顔画像と前記対象顔画像との前記比較結果に基づき、前記対象顔画像における前記特徴点の配置の更新を行うか否かを判定する判定部を含む、画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記Ｎ種類の第１の変換は、前記基準顔画像における前記特徴点全体の並行移動と傾きの変更と拡大・縮小との少なくとも１つが行われるような変換である、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、さらに、
前記統計的分析に基づき設定された前記特徴点の配置モデルであって、前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状と前記複数のサンプル顔画像における前記特徴点の配置の特性を表す形状ベクトルの線形結合との和による前記特徴点の前記配置モデルを特定するモデル情報を記憶する記憶部を備え、
前記初期配置部は、前記基準顔画像群のそれぞれと前記対象顔画像との比較結果に基づき前記基準顔画像群に含まれる１つの画像を選択画像として選択すると共に、前記選択画像と、前記選択画像に対する前記配置モデルにおける分散の最も大きい所定数の前記形状ベクトルの内の少なくとも１つの係数が変更されるようなＭ（Ｍは１以上の整数）種類の第３の変換により生成されたＭ種類の変換選択画像と、を含む画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
前記基準顔画像は、前記特徴点の配置が前記複数のサンプル顔画像における前記特徴点の平均位置を表す平均形状に等しくなるように変換された前記複数のサンプル顔画像の平均画像である、画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかにに記載の画像処理装置であって、
前記初期配置部は、前記基準顔画像群の内の前記対象顔画像における所定領域に最も近い画像における前記特徴点の配置に基づき、前記対象顔画像における前記特徴点の初期配置を決定する、画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、さらに、
画像における顔の画像に対応する顔領域を検出する顔領域検出部を備え、
前記所定領域は、前記顔領域との関係が予め設定された領域である、画像処理装置。
【請求項８】
対象顔画像における所定の特徴部位の位置を特定する画像処理方法であって、
（ａ）前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像と前記基準顔画像に対するＮ（Ｎは１以上の整数）種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む基準顔画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する工程と、
（ｂ）前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第２の変換を行う工程と、
（ｃ）前記第２の変換後の前記基準顔画像と前記対象顔画像との比較結果に基づき、前記対象顔画像における前記特徴点の配置を更新する工程と、を備える、画像処理方法。
【請求項９】
対象顔画像における所定の特徴部位の位置を特定する画像処理のためのコンピュータープログラムであって、
前記特徴部位の位置を示す特徴点の配置が既知である複数のサンプル顔画像を対象とした統計的分析に基づき設定された基準顔画像と前記基準顔画像に対するＮ（Ｎは１以上の整数）種類の第１の変換により生成されたＮ種類の変換基準顔画像とを含む基準顔画像群のそれぞれと、前記対象顔画像と、の比較結果に基づき、前記対象顔画像における前記特徴点の初期配置を決定する初期配置機能と、
前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して第２の変換を行う画像変換機能と、
前記第２の変換後の前記基準顔画像と前記対象顔画像との比較結果に基づき、前記対象顔画像における前記特徴点の配置を更新する更新機能と、を、コンピューターに実現させる、コンピュータープログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−１７０１８４（Ｐ２０１０−１７０１８４Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−９７６７（Ｐ２００９−９７６７）
【出願日】平成２１年１月２０日（２００９．１．２０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２０日（２００９．１．２０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]