画像処理装置
【課題】顔の特徴部位の座標位置の検出処理に多くの時間を要しており、また、当該検出の精度向上が望まれていた。
【解決手段】画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、注目画像から顔の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、上記顔領域を含む所定範囲の画像を上記注目画像からトリミングするトリミング部と、上記トリミングされた画像のサイズを所定サイズに変換する変換部と、上記サイズが変換された画像に基づいて上記特徴部位の座標位置を検出する特徴位置検出部とを備える。上記変換部は、上記トリミングされた画像に対するノイズ低減のための処理とともに上記サイズの変換を実行する。
【解決手段】画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、注目画像から顔の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、上記顔領域を含む所定範囲の画像を上記注目画像からトリミングするトリミング部と、上記トリミングされた画像のサイズを所定サイズに変換する変換部と、上記サイズが変換された画像に基づいて上記特徴部位の座標位置を検出する特徴位置検出部とを備える。上記変換部は、上記トリミングされた画像に対するノイズ低減のための処理とともに上記サイズの変換を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置に関する。
【背景技術】
【０００２】
視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル画像に含まれる顔の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な顔の形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７‐１４１１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、顔の特徴部位の位置の検出処理においては、処理対象となる注目画像から、顔の特徴部位に対応していると想定されるポイント（特徴点）に囲まれた画像範囲の画素をサンプリングしつつ一定形状の画像にアフィン変換し、当該アフィン変換後の画像と上記平均的な形状および見えの顔画像とを比較することにより、上記顔の特徴部位に対応していると想定されたポイントに対する評価（特徴部位の座標位置に近いか否かの評価）を行なう。
【０００５】
しかしながら上述した検出処理においては、上記アフィン変換の過程でのサンプリングの際に、注目画像全体を対象として画素を走査し必要な画素を抽出していたため、検出処理に多くの時間を要していた。
また上記検出処理においては、上記サンプリングの際に、所要のサンプリング率で画素を単純に抽出していたため、上記アフィン変換の結果得られる画像は、画質が低くノイズを含み得るような画像であった。そのため、このような変換の結果得られた画像に基づいた上記評価の精度は十分に高いものとは言えず、結果、上記特徴部位の位置の検出精度を高い水準とすることが難しかった。
【０００６】
本発明は上記課題の少なくとも一つを解決するためになされたものであり、画像に含まれる顔の特徴部位の位置を検出する処理の高速化・高精度化を図ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の態様の一つは、画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、注目画像から顔の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、上記顔領域を含む所定範囲の画像を上記注目画像からトリミングするトリミング部と、上記トリミングされた画像のサイズを所定サイズに変換する変換部と、上記サイズが変換された画像に基づいて上記特徴部位の座標位置を検出する特徴位置検出部とを備える。
本発明によれば、注目画像からトリミングして所定サイズに変換した後の画像を対象として上記特徴部位の座標位置の検出処理を実行するため、当該検出処理の際に走査対象となる画像が注目画像全体よりも狭いものとなり、結果、従来よりも当該検出処理の高速化が実現される。なお上記特徴部位とは、例えば、眉毛と目と鼻と口とフェイスラインとの一部であってもよい。この場合、眉毛と目と鼻と口とフェイスラインとの一部について良好に座標位置を検出することができる。
【０００８】
上記変換部は、上記トリミングされた画像に対するノイズ低減のための処理とともに上記サイズの変換を実行するとしてもよい。当該構成によれば、ノイズ低減処理が施され且つサイズが上記のように変換された後の画像を対象として上記座標位置の検出処理を実行するため、ノイズの影響を受けて当該検出結果がぶれてしまうことが防止され、従来よりも当該検出処理の高精度化が実現される。
【０００９】
上記変換部は、上記トリミングされた画像のサイズに応じて異なるノイズ低減用のフィルターを用いてノイズ低減のための処理を実行するとしてもよい。当該構成によれば、トリミングされる画像のサイズに応じた最適なフィルター処理によりノイズ低減を行なうことができる。
【００１０】
上記トリミング部は、顔領域に対する顔画像の大きさ、角度、位置を表す予め規定された各パラメーターに応じて顔領域を基準にして特定される範囲の全て含む範囲をトリミングするとしてもよい。当該構成によれば、顔の特徴部位の座標位置を検出するために必要十分な画像範囲を確実にトリミングすることができる。
【００１１】
上記特徴位置検出部は、上記サイズが変換された画像に対して上記特徴部位の座標位置を検出するための特徴点を設定し、上記サイズが変換された画像の一部を特徴点の配置が所定の配置となるように変換した画像である平均形状画像を生成し、上記平均形状画像と、複数のサンプル画像を平均化することにより生成された画像である平均顔画像と、の差分値を算出し、上記算出した差分値に基づいて、上記サイズが変換された画像における特徴点の設定位置を更新することにより、当該設定位置を上記特徴部位の座標位置に近づけるように補正し、上記補正された設定位置を上記特徴部位の座標位置として検出する構成としてもよい。当該構成によれば、平均形状画像と平均顔画像との差分値に基づいて、上記サイズが変換された画像における特徴点の設定位置を補正して、特徴部位の座標位置を検出するため、画像に含まれる顔の特徴部位の位置を良好に検出することができる。
【００１２】
上記特徴位置検出部は、上記差分値が所定のしきい値より小さい値となるまで、上記サイズが変換された画像における特徴点の設定位置の更新を繰り返し実行し、上記差分値が上記しきい値より小さい値となった場合、上記サイズが変換された画像における特徴点の配置を上記サイズが変更された画像と上記トリミングされた画像との大きさの比に応じて注目画像において再現することにより、注目画像上に特徴点を設定し、上記注目画像における特徴点の配置が上記所定の配置となるように当該注目画像の一部を変換した画像である平均形状画像を生成し、当該平均形状画像と上記平均顔画像との差分値に基づいて当該注目画像における特徴点の設定位置を更新することにより、当該注目画像における特徴点の設定位置を上記特徴部位の座標位置に近づけるように補正し、上記補正された注目画像における特徴点の設定位置を上記特徴部位の座標位置として検出する構成としてもよい。当該構成によれば、上記サイズが変換された画像上において、特徴点の設定位置を、実際に写っている顔の特徴部位の位置との一致率が極めて高い状態にまで補正することができ、その上で上記サイズが変換された画像における特徴点の配置を注目画像において再現し、さらに、この注目画像における特徴点の設定位置を特徴部位の座標位置に近づけるように補正するため、注目画像に含まれる顔の特徴部位の位置を非常に正確に検出することができる。
【００１３】
上記特徴位置検出部は、上記注目画像における特徴点の設定位置を更新する処理を、予め規定された回数を上限として実行するとしてもよい。上述したように上記サイズが変換された画像において設定位置が適切に補正された後の特徴点の配置が注目画像において再現された時点で、当該再現された配置にかかる特徴点は注目画像内の特徴部位の位置をかなり正確に示していると言える。そのため、注目画像における特徴点の設定位置を更新する処理は予め規定された回数を上限として実行するだけで、注目画像に含まれる顔の特徴部位の位置を非常に正確に検出することができる。
【００１４】
上記変換部は、上記トリミングされた画像の明るさ、コントラスト、色彩のうちの少なくとも一つ以上の要素を上記平均顔画像に近づける補正処理とともに上記サイズの変換を実行するとしてもよい。当該構成によれば、上記サイズが変換された画像を変換して生成する平均形状画像と上記平均形状画像との明るさや色彩を近づけることができるため、その時の特徴点の設定位置以外の要因によって上記差分値がなかなか小さくならない（収束しない）といった不都合を回避することができ、結果、上記検出処理の高速化・高精度化がより一層図られる。
【００１５】
本発明の技術的思想は、画像処理装置以外によっても実現可能である。例えば、画像処理装置の各部が実行する処理工程を有する画像処理方法の発明や、画像処理装置の各部が実行する機能をコンピューターに実行させるコンピューター読取可能なプログラムの発明をも把握可能である。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置としてのプリンターの構成を概略的に示す説明図である。
【図２】ＡＡＭ設定処理を示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ０の一例を示す説明図である。
【図７】形状ベクトルｓｉおよび形状パラメーターｐｉと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ０（ｘ）の一例を示す説明図である。
【図１０】顔特徴位置検出処理を示すフローチャートである。
【図１１】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１２】特徴点ＣＰの初期位置設定処理を示すフローチャートである。
【図１３】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１４】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１５】検出対象画像における特徴点ＣＰ設定位置補正処理を示すフローチャートである。
【図１６】顔特徴位置検出処理の結果の一例を示す説明図である。
【図１７】グローバルパラメーターに応じて顔領域を基準にして特定される各範囲の一例を示した図である。
【図１８】注目画像ＯＩから画像をトリミングしてアフィン変換する様子の一例を示した図である。
【図１９】注目画像における特徴点ＣＰ設定位置補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施例を図面を参照しながら説明する。
１．画像処理装置の構成
図１は、本実施例にかかる画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。プリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやコンピューター３００）とのデータ通信を行うためのインターフェース（Ｉ／Ｆ）１８０を備える。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００１８】
印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００１９】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで顔特徴位置検出処理をおこなう。顔特徴位置検出処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の座標位置を検出する処理である。顔特徴位置検出処理については、後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００２０】
画像処理部２００は、プログラムモジュールとして、特徴位置検出部２２０と、顔領域検出部２３０と、トリミング部２５０と、変換部２６０と、を含んでいる。特徴位置検出部２２０は、設定部２２１と、生成部２２２と、算出部２２４と、補正部２２６と、を含んでいる。これら各部の機能については、後述の顔特徴位置検出処理の説明において詳述する。
【００２１】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバーである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００２２】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００２３】
２．ＡＡＭ設定処理
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザーがＡＡＭ設定用に用意されたコンピューター３００を操作することにより行なわれる。コンピューター３００は、ＣＰＵとＲＡＭとＲＯＭとＨＤＤとディスプレイと入力装置等を有しており、これらがバスによって接続されている。ＣＰＵはＨＤＤに記録されたプログラムを読み出し、該プログラムに従った演算処理を実行することにより、コンピューター３００が後述するＡＡＭ設定処理を実行する。
【００２４】
はじめに、ユーザーは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとしてコンピューター３００のメモリー（ＨＤＤ）上に用意する（ステップＳ１１０）。
図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２５】
次に、ユーザーの所定の操作によって、コンピューター３００は、それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。
図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、コンピューター３００がディスプレイに表示したサンプル画像ＳＩにおいてユーザーの操作により画面上で指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。
【００２６】
図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は、対応するサンプル画像ＳＩの各特徴点ＣＰを示している。また、ＣＰ（ｋ）‐Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）‐Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００２７】
つづいて、コンピューター３００は、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓを下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００２８】
【数１】
【００２９】
上記式（１）において、ｓ０は平均形状である。
図６は、平均形状ｓ０の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ０は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ０において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ０においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。
【００３０】
形状モデルを表す上記式（１）において、ｓｉは形状ベクトルであり、ｐｉは形状ベクトルｓｉの重みを表す形状パラメーターである。形状ベクトルｓｉは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ０とｎ個の形状ベクトルｓｉの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐｉを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。
【００３１】
図７は、形状ベクトルｓｉおよび形状パラメーターｐｉと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではｎ＝４）の固有ベクトルが、形状ベクトルｓｉとして採用される。形状ベクトルｓｉのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ１は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ１を大小させることにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ２は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ２を大小させることにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ３は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ４は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。形状パラメーターは、特徴部位の座標が既知の顔画像を含む複数のサンプル画像に基づいて算出された特徴量である。
【００３２】
なお、コンピューター３００は、形状モデル設定ステップ（ステップＳ１３０）において設定した平均形状ｓ０および形状ベクトルｓｉを、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均形状ｓ０および形状ベクトルｓｉの情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。
【００３３】
つづいて、コンピューター３００は、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ０における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。
【００３４】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ０と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ０における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ０における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。
【００３５】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば、縦横５６画素×５６画素のサイズの画像として正規化される。
【００３６】
次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００３７】
【数２】
【００３８】
上記式（２）において、Ａ０（ｘ）は平均顔画像である。
図９は、平均顔画像Ａ０（ｘ）の一例を示す説明図である。平均顔画像Ａ０（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ０（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ０（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ０（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば、縦横５６画素×５６画素のサイズの画像として算出される。
【００３９】
テクスチャーモデルを表す上記式（２）において、Ａｉ（ｘ）はテクスチャーベクトルであり、λｉはテクスチャーベクトルＡｉ（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡｉ（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡｉ（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ１（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４０】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ０（ｘ）とｍ個のテクスチャーベクトルＡｉ（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλｉを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。
なお、コンピューター３００は、テクスチャーモデル設定ステップ（ステップＳ１４０）において設定した平均顔画像Ａ０（ｘ）およびテクスチャーベクトルＡｉ（ｘ）を、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均顔画像Ａ０（ｘ）およびテクスチャーベクトルＡｉ（ｘ）の情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。
【００４１】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ０から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４２】
３．顔特徴位置検出処理
図１０は、本実施例における顔特徴位置検出処理の流れを示すフローチャートである。顔特徴位置検出処理は、ＡＡＭ情報ＡＭＩを利用して注目画像に含まれる顔画像における特徴点ＣＰの配置を決定することにより、顔画像における特徴部位の位置を検出する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置検出処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００４３】
なお、顔特徴位置検出処理によって顔画像における特徴点ＣＰの配置が決定されると、顔画像についての形状パラメーターｐｉや、テクスチャーパラメーターλｉの値が特定される。従って、顔特徴位置検出処理の結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形、顔の陰影補正等に利用可能である。
【００４４】
はじめに、画像処理部２００（図１）は、顔特徴位置検出処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザーにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶ。
【００４５】
顔領域検出部２３０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２２０）。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００４６】
図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００４７】
次に、トリミング部２５０（図１）が、顔領域ＦＡを含む所定範囲の画像を注目画像ＯＩからトリミングする（ステップＳ２３０）。トリミング部２５０は、まず、トリミングすべき範囲（トリミング範囲ＴＩ）を、所定のグローバルパラメーターに応じて顔領域ＦＡを基準にして特定する。グローバルパラメーターとは、顔領域ＦＡに対する顔画像の大きさ、傾き、上下方向の位置および左右方向の位置をそれぞれ表す各パラメーターであり、後述する特徴点ＣＰの初期位置設定処理（ステップＳ２５０）の際に用いられる数値である。グローバルパラメーターは、内部メモリー１２０の所定領域に予め格納されている。本実施例では、当該グローバルパラメーターを、トリミング範囲ＴＩを特定する際にも用いる。
【００４８】
図１７は、各グローバルパラメーターに応じて顔領域ＦＡを基準にして特定される各範囲を例示している。図１７（ａ）では、顔画像を想定した所定形状（例えば、楕円）Ｃについて、顔領域ＦＡに対する大きさを表す３段階（大きい、標準、小さい）のグローバルパラメーターに応じて大きさを変化させた状態を示している。図１７（ｂ）は、顔領域ＦＡに対する上下方向の位置を表す３段階（上、中央、下）のグローバルパラメーターによって決定される各位置および、顔領域ＦＡに対する左右方向の位置を表す３段階（左、中央、右）のグローバルパラメーターによって決定される各位置に、上記所定形状Ｃ（大きさは標準）を配置した状態を示している。図１７（ｃ）は、上記所定形状Ｃ（大きさは標準）について、顔領域ＦＡに対する傾きを表す３段階（反時計回り（−）に１５度、０度、時計回り（＋）に１５度）のグローバルパラメーターに応じて傾きを変化させた状態を示している。
【００４９】
トリミング部２５０は、本実施例では、上述したような４種類のグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせることにより顔領域ＦＡを基準にして特定される合計８１通りの範囲の、全てを含む矩形の範囲を、トリミング範囲ＴＩとして特定する。トリミング範囲ＴＩの上下左右の各辺は、顔領域ＦＡの上下左右の各辺とそれぞれ平行であるとする。そして、このように特定したトリミング範囲ＴＩの画像を注目画像ＯＩからトリミングする。
【００５０】
次に、変換部２６０（図１）が、注目画像ＯＩからトリミングされた画像（トリミング画像と呼ぶ。）のサイズが所定サイズとなるように、当該トリミング画像をアフィン変換し、当該アフィン変換後の画像を内部メモリー１２０の所定領域に保存する（ステップＳ２４０）。このように保存された画像は、後述する特徴点ＣＰの位置の設定・補正処理（ステップＳ２５０，Ｓ２６０）の対象となる画像（検出対象画像ＣＩと呼ぶ。）である。ここで言う所定サイズとは、縦横の長さがそれぞれ平均顔画像Ａ０（ｘ）の縦横の長さの１倍以上かつ２倍以内程度のサイズを言う。上述したように平均顔画像Ａ０（ｘ）のサイズが縦横５６画素×５６画素である場合には、例えば、縦横１００画素×１００画素を当該所定サイズとする。
【００５１】
図１８は、ある注目画像ＯＩからトリミング画像をアフィン変換して、所定サイズ（縦横１００画素×１００画素）の検出対象画像ＣＩを生成した様子を示している。図１８では、注目画像ＯＩ内のトリミング範囲ＴＩを実線で示している。トリミング範囲ＴＩは顔領域ＦＡの全てを含む。注目画像ＯＩのサイズや顔領域ＦＡのサイズにもよるが、トリミング範囲ＴＩが上記所定サイズよりも大きい場合には、トリミング画像に対するアフィン変換において画像の縮小が行なわれる。一方、トリミング範囲ＴＩが上記所定サイズよりも小さい場合には、トリミング画像に対するアフィン変換において画像の拡大が行なわれる。また、注目画像ＯＩに含まれている顔画像の上下方向は、注目画像ＯＩの上下方向に対して傾いていることもあり、その場合には、顔領域ＦＡおよびトリミング範囲ＴＩも注目画像ＯＩに対して傾くことになる。そこで変換部２６０は、トリミング画像に対する上記アフィン変換においては、当該傾きを無くす方向への回転処理を伴ったサイズ変換を行なう。
【００５２】
本実施例では、変換部２６０は、トリミング画像に対する上記アフィン変換（サイズ変換および回転処理）を行なう際に、併せて上記トリミング画像に対するノイズ低減のための処理を行なう。
変換部２６０は、トリミング画像を上記所定サイズに縮小する場合、縮小率（トリミング範囲ＴＩの画像のサイズと上記所定サイズとの比率）に応じて単純に画素をサンプリングするのではなく、所定のノイズ低減処理を行ないつつ縮小を行なう。ノイズ低減処理とは、例えば平滑化処理である。平滑化処理は、例えば、トリミング画像のサイズを１／ｎに縮小して上記所定サイズの検出対象画像ＣＩを生成する場合には、ｎ個の画素からなる画素群の各画素値を平均することにより１つの画素値を生成する。そして、このように生成した画素を、検出対象画像ＣＩを構成する１画素とする。このような平滑化処理は、移動平均フィルターを用いることで実現される。
【００５３】
あるいは、変換部２６０は、上記平滑化処理の際に、平滑化フィルターの一種としてのガウシアンフィルターを用いるとしてもよい。この場合、変換部２６０は、上記トリミング画像のサイズに応じて異なるフィルターを用いる。例えば、トリミング範囲ＴＩのサイズが縦横３００画素×３００画素である場合、変換部２６０は上記所定サイズの縦横の長さ（１００画素×１００画素）との比（３００／１００）に基づいて、用いるガウシアンフィルターのサイズを縦横３画素×３画素とする。また、トリミング範囲ＴＩのサイズが縦横１５００画素×１５００画素である場合、変換部２６０は上記所定サイズの縦横の長さ（１００画素×１００画素）との比（１５００／１００）に基づいて、用いるガウシアンフィルターのサイズを縦横１５画素×１５画素とする。変換部２６０は、このように決定したガウシアンフィルターを上記トリミング画像に適用する。この結果、ガウシアンフィルターを適用した領域毎に、周辺画素の重み付けによって平滑化された注目画素が１つ取得され、このようにフィルターを適用した領域毎に取得された注目画素によって検出対象画像ＣＩを構成する。
【００５４】
変換部２６０は、トリミング画像を上記所定サイズに拡大する場合は画素の補間を行なう。つまり、線形補間や非線形補間によってトリミング画像を上記所定サイズにまで拡大することで、ノイズの抑制された検出対象画像ＣＩが生成できる。
【００５５】
特徴位置検出部２２０（図１）は、検出対象画像ＣＩにおける特徴点ＣＰの初期位置を設定する（ステップＳ２５０）。
図１２は、本実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。この場合、設定部２２１は、上述したグローバルパラメーターの値を種々変更して、特徴点ＣＰを検出対象画像ＣＩ上の仮設定位置に設定する（ステップＳ３１０）。
【００５６】
図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、検出対象画像ＣＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュを示している。なお、特徴点ＣＰをつないで形成されるメッシュは、上述したように特徴点ＣＰを頂点とする複数の三角形領域ＴＡの集合である（図６（ａ）等参照）。設定部２２１は、図１３（ａ）および図１３（ｂ）の中央に示すように、平均形状ｓ０における特徴点ＣＰ間の配置と等しい特徴点ＣＰ間の配置を持ったメッシュであって、最も平均的なグローバルパラメーターの組み合わせに応じて顔領域ＦＡ（ただし、上記トリミング画像のサイズ変換に伴ってサイズ変換された後の顔領域ＦＡ）に対する大きさ、傾き、位置を調整したメッシュを設定する。最も平均的なグローバルパラメーターの組み合わせとは、これまでに述べた例で言えば、顔領域ＦＡに対する大きさは「標準」、顔領域ＦＡに対する上下方向の位置および左右方向の位置はそれぞれ「中央」、かつ顔領域ＦＡに対する傾きは「０度」を示すグローバルパラメーターの組み合わせを言う。本実施例では、図１３（ａ）および図１３（ｂ）の中央に示すようなメッシュを構成する特徴点ＣＰの設定位置（仮設定位置）を、「基準仮設定位置」とも呼ぶ。
【００５７】
設定部２２１は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、検出対象画像ＣＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、設定部２２１は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、設定部２２１は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５８】
また、図１３（ｂ）に示すように、設定部２２１は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、設定部２２１は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５９】
設定部２２１は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、上述したように夫々に３段階の値を持つ４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）を組み合わせたことにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と基準仮設定位置との、合計８１通りの仮設定位置が設定される。
【００６０】
生成部２２２（図１）は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。
図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、検出対象画像ＣＩにおける特徴点ＣＰの配置が平均形状ｓ０における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００６１】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、検出対象画像ＣＩに仮設定された特徴点ＣＰ（図１３参照）によって変換対象領域（メッシュの外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、この検出対象画像ＣＩにおける変換対象領域に対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ０（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ０（ｘ）と同一サイズ（例えば、縦横５６画素×５６画素）の画像として算出される。
【００６２】
上述したように、検出対象画像ＣＩは、縦横の長さがそれぞれ平均顔画像Ａ０（ｘ）の縦横の長さの２倍以内程度のサイズであり、平均顔画像Ａ０（ｘ）よりも大きい。そのため、検出対象画像ＣＩにおける仮設定位置の特徴点ＣＰによって特定される上記変形対象領域を、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に変換する際には、画像の縮小処理が行なわれる。このような平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、注目画像ＯＩからトリミングされてサイズ変換がされた画像（検出対象画像ＣＩ）の一部を特徴点ＣＰの配置が所定の配置となるように変換した画像である。
【００６３】
なお、上述したように画素群ｘは、平均形状ｓ０における平均形状領域ＢＳＡに位置する画素の集合である。本実施例では、平均形状画像は、形状パラメーターｐによるワープＷ（ｘ；ｐ）によって生成された画像（画素群）Ｉという意味で、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と表現している。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００６４】
算出部２２４（図１）は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、算出部２２４（図１）は、８１個の差分画像Ｉｅを算出する。
【００６５】
設定部２２１は、各差分画像Ｉｅの画素値からノルム（ユークリッド距離）を算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、検出対象画像ＣＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための差分画像Ｉｅの画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により特徴点ＣＰの初期位置設定処理が完了する。
【００６６】
特徴位置検出部２２０（図１）は、上記ステップＳ２５０において検出対象画像ＣＩに初期位置として設定された特徴点ＣＰの設定位置の補正を行う（ステップＳ２６０）。
図１５は、ステップＳ２６０で実行する特徴点ＣＰの設定位置補正処理の流れを示すフローチャートである。
【００６７】
生成部２２２（図１）は、検出対象画像ＣＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰの初期位置設定処理におけるステップＳ３２０と同様である。
【００６８】
算出部２２４は、ステップＳ４１０で生成された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。特徴位置検出部２２０は、ステップＳ４２０で算出された差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ４３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定し、ノルムの値がしきい値以上の場合には未だ収束していないと判定する。なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出されたノルムの値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定してもよい。あるいは、特徴位置検出部２２０は、しきい値による判定と前回値との比較による判定とを組み合わせて収束判定を行うとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、しきい値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するとしてもよい。
【００６９】
ステップＳ４３０の収束判定において未だ収束していないと判定された場合には、補正部２２６（図１）が、パラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、特徴量であるｎ個の形状パラメーターｐｉ（ｉ＝１〜ｎの整数。）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰの初期位置設定処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ０の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐｉの値はすべてゼロである。
【００７０】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００７１】
【数３】
【００７２】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐｉの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００７３】
【数４】
【数５】
式（４）および（５）における関数Ｗは、ワープＷ（ｘ；ｐ）を指し、変数Ｐは、形状パラメーターｐｉを指し、Ｔは転置行列を意味する。
【００７４】
補正部２２６（図１）は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーター）を更新する（ステップＳ４５０）。これにより、検出対象画像ＣＩにおける特徴点ＣＰの設定位置が補正（更新）される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように検出対象画像ＣＩにおける特徴点ＣＰの設定位置を補正する。すなわち、ｎ個の形状パラメーターをパラメーター更新量ΔＰで更新することで、形状モデルの上記式（１）に従って新たな形状ｓが生成されるため、補正部２２６は、当該生成された形状ｓにおける特徴点ＣＰを検出対象画像ＣＩに設定する。このとき、補正部２２６は、当該生成された形状ｓの大きさ、傾き、位置を、上記パラメーター更新量ΔＰで更新した４個のグローバルパラメーターに応じて調整した上で、特徴点ＣＰを検出対象画像ＣＩに設定する。このようにパラメーターの更新に応じて検出対象画像ＣＩに設定された特徴点ＣＰの位置が、補正後の特徴点ＣＰの設定位置である。
【００７５】
パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された検出対象画像ＣＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４５０）が行われる。
【００７６】
図１５のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、検出対象画像ＣＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定すると、特徴位置検出部２２０は、その時点で検出対象画像ＣＩに設定されている特徴点ＣＰの位置を、特徴部位の座標位置として検出することができる。本実施例では、特徴位置検出部２２０は、上記収束判定において収束したと判定した場合、図１５のフローチャートを終了し、更に注目画像ＯＩにおける特徴点ＣＰの設定位置補正処理を行なう（図１０のステップＳ２７０）。
【００７７】
図１９は、ステップＳ２７０で実行する特徴点ＣＰの設定位置補正処理を示すフローチャートである。
特徴位置検出部２２０は、ステップＳ２６０の処理（図１０，１５）において最終的に検出対象画像ＣＩに設定した特徴点ＣＰの配置を、注目画像ＯＩにおいて再現することにより、注目画像ＯＩ上に特徴点ＣＰを設定する（ステップＳ５１０）。具体的には、特徴位置検出部２２０は、当該最終的に検出対象画像ＣＩに設定した特徴点ＣＰの配置関係（メッシュ）を、検出対象画像ＣＩ（変更部２６０によってサイズが変更された画像）のサイズと上記トリミング画像のサイズとの比に応じて拡大或いは縮小する。つまり、変更部２６０が上記トリミング画像を縮小していた場合には、当該ステップＳ５１０では拡大し、変更部２６０が上記トリミング画像を拡大していた場合には、当該ステップＳ５１０では縮小を行なう。そして、当該拡大或いは縮小したメッシュの傾きおよび位置を、注目画像ＯＩにおける顔領域ＦＡを基準にして、ステップＳ２６０の処理において最終的に設定されたグローバルパラメーターに応じて調整した上で、当該メッシュにおける特徴点ＣＰを注目画像ＯＩに設定する。
【００７８】
次に、特徴位置検出部２２０は、ステップＳ５１０において特徴点ＣＰを設定した後の、パラメーターの更新により特徴点ＣＰの設定位置を補正（更新）した回数（ステップＳ５７０の処理）が、予め規定された回数（上限回数）に達したか否か判定する（ステップＳ５２０）。特徴位置検出部２２０は、上限回数に達したと判定した場合に、顔特徴位置検出処理を完了させる（ステップＳ５８０）。上限回数は、例えば、３回程度といった少ない回数である。
【００７９】
ステップＳ５２０において、パラメーターの更新により特徴点ＣＰの設定位置を補正（更新）した回数が上限回数に達していないと判定された場合、生成部２２２（図１）は、その時点で注目画像ＯＩに設定されている特徴点ＣＰの配置が平均形状ｓ０における特徴点ＣＰの配置と等しくなるようにアフィン変換を行なうことで、平均顔画像Ａ０（ｘ）と同一サイズの平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ５３０）。なお図１９の説明においては、注目画像ＯＩに設定されている特徴点ＣＰによって特定される変換対象領域（メッシュの外周に位置する特徴点ＣＰにより囲まれた領域）における画素群をＷ（ｘ；ｐ）と表す。
【００８０】
算出部２２４は、ステップＳ５３０で生成された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ５４０）。特徴位置検出部２２０は、ステップＳ５４０で算出された差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否か判定する（ステップＳ５５０）。つまり特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定する。特徴位置検出部２２０は、収束したと判定した場合は、上記ステップＳ５２０の“Ｙｅｓ”の判定と同様に、顔特徴位置検出処理を完了させる（ステップＳ５８０）。なお、ステップＳ５５０の収束判定で用いるしきい値は、ステップＳ４３０（図１５）の収束判定で用いるしきい値と同等かあるいはそれよりも低い値とする。なお、ここでもステップＳ４３０と同様に、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ５５０において算出されたノルムの値よりも小さい場合には収束したと判定しても良い。或いは、算出されたノルムの値が、しきい値より小さく、かつ、前回値より小さい場合にのみ収束したと判定してもよい。
【００８１】
ステップＳ５５０の収束判定において収束していないと判定された場合、補正部２２６（図１）は、ステップＳ４４０，Ｓ４５０と同様に、パラメーター更新量ΔＰを算出し（ステップＳ５６０）、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーター）を更新する（ステップＳ５７０）。なお、ステップＳ５１０で特徴点ＣＰを注目画像ＯＩに設定した直後においては、グローバルパラメーター及び上記ｎ個の形状パラメーターは、ステップＳ２６０の処理（図１０，１５）における最後のパラメーター更新により得られた値が設定されている。
【００８２】
ステップＳ５７０の結果、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正（更新）される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように注目画像ＯＩにおける特徴点ＣＰの設定位置を補正する。つまり、上記ｎ個の形状パラメーターをステップＳ５６０で得られたパラメーター更新量ΔＰで更新することで、形状モデルの上記式（１）に従って新たな形状ｓが生成され、補正部２２６は、当該生成された形状ｓにおける特徴点ＣＰを注目画像ＯＩに設定する。このとき、補正部２２６は、当該生成された形状ｓの大きさ、傾き、位置を、ステップＳ５６０で得られたパラメーター更新量ΔＰで更新した４個のグローバルパラメーターに応じて調整した上で、特徴点ＣＰを注目画像ＯＩに設定する。
【００８３】
パラメーターの更新の後には、再度、ステップＳ５２０の判定がなされ、“Ｎｏ”の判定であれば、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ５３０）以降の処理が繰り返される。図１９のステップＳ５２０からＳ５７０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていく。特徴位置検出部２２０は、顔特徴位置検出処理を完了させた（ステップＳ５８０）時点で設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置を、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定する。
【００８４】
本実施例では、検出対象画像ＣＩ上での特徴点ＣＰの設定位置補正処理（図１５のステップＳ４１０〜Ｓ４５０の処理）の繰り返しに関して、回数上の制限を設けていない（ノルムが最適化されるまで繰り返すことが可能）。一方、上述したように、注目画像ＯＩ上での特徴点ＣＰの設定位置補正処理の繰り返しに関しては、回数の上限を設けている。これは、検出対象画像ＣＩ上での特徴点ＣＰの設定位置補正処理を経て、注目画像ＯＩに特徴点ＣＰを設定した時点（ステップＳ５１０）で既に、特徴点ＣＰの位置は、注目画像ＯＩにおける実際の特徴部位の位置に全体的かなり近い状態にあるからである。つまり、注目画像ＯＩにおける特徴点ＣＰの設定位置補正処理に関しては、特徴点ＣＰの設定位置の更新を少ない回数行なうだけで、その設定位置を、注目画像ＯＩの実際の特徴部位の位置に高精度にマッチさせることができる。そのため、特徴部位の位置検出の精度と処理スピードのバランスを考慮して、上述したような上限回数を設けているのである。
【００８５】
図１６は、顔特徴位置検出処理の結果の一例を示す説明図である。図１６には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の座標位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。また、表情判定や顔向き判定をおこなう場合には、顔特徴位置検出処理が完了した際のｎ個の形状パラメーターの値と、しきい値とを比較することで表情や顔向きを判定することができる。また、顔画像の変形をおこなう場合には、顔特徴位置検出処理が完了した際のｎ個の形状パラメーターの値を変更することにより顔の形状を良好に変形することができる。
【００８６】
以上説明したように、本実施例の画像処理装置によれば、顔領域ＦＡを含み、且つ、特徴点ＣＰの初期位置設定の際に特徴点ＣＰの位置設定対象となり得る画像領域の全てを含む範囲を、注目画像ＯＩからトリミングし、当該トリミングした画像を、その画像サイズが所定サイズとなるようにアフィン変換（サイズ変換および回転）する。そして、当該変換によって得られた所定サイズの画像（検出対象画像ＣＩ）に基づいて、顔の特徴部位の座標位置を検出するための特徴点ＣＰの設定（設定位置の最適化）を行なうとした。この結果、特徴点ＣＰの初期位置設定処理（図１０のステップＳ２５０）や特徴点ＣＰの設定位置補正処理（ステップＳ２６０）において複数回行なわれる、特徴点ＣＰによって特定される画像領域のアフィン変換（ワープＷによる平均形状画像の生成）の際に、画素の走査範囲が検出対象画像ＣＩ内に限定されるようになった。そのため、特徴点ＣＰの初期位置設定処理（図１０のステップＳ２５０）や特徴点ＣＰの設定位置補正処理（ステップＳ２６０）、ひいては顔特徴位置検出処理全体が高速化される。
【００８７】
また、本実施例の画像処理装置は、上記トリミングした画像を所定サイズとなるようにアフィン変換する際に、画像のノイズ低減処理を併せて行なうとした。つまり、特徴点ＣＰの初期位置設定処理（図１０のステップＳ２５０）や特徴点ＣＰの設定位置補正処理（ステップＳ２６０）の対象となる検出対象画像ＣＩを高画質化することで、検出対象画像ＣＩに基づいて生成される平均形状画像もノイズの少ない画像となる。よって、平均形状画像と平均顔画像との比較（差分画像Ｉｅ）に基づいた収束判定やパラメーター量の更新処理も、ノイズの影響を受けることなく正確性が増し、結果、顔の特徴部位の位置検出精度が向上する。
【００８８】
本実施例に係る画像処理装置によれば、設定部２２１は、グローバルパラメーターを用いて、特徴点ＣＰを設定するため、画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。具体的には、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）の値をそれぞれ変更させて、種々のメッシュを形成する特徴点ＣＰの仮設定位置を予め複数用意し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設定位置を初期位置としている。これにより、検出対象画像ＣＩにおける特徴点ＣＰの初期位置を顔の特徴部位の位置のより近くに設定することができる。よって、特徴点ＣＰの設定位置補正処理において、補正部２２６による補正が容易となるため、顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００８９】
４．変形例
本発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。本発明は、例えば以下のような変形も可能である。
【００９０】
変換部２６０（図１）は、トリミング画像に対して、明るさ、コントラスト、色彩のうちの少なくとも一つ以上の要素を平均顔画像Ａ０（ｘ）に近づける補正処理を行うとしてもよい。この場合、プリンター１００は、平均顔画像Ａ０（ｘ）についての明るさの基準値、輝度範囲（ダイナミックレンジ）、色彩の基準値、を内部メモリー１２０に予め格納しておく。つまり、ＡＡＭ設定処理を行う上記コンピューター３００は、平均顔画像Ａ０（ｘ）に基づいて明るさの基準値、輝度範囲、色彩の基準値、を予め生成し、これら生成した各値をプリンター１００に保持させておく。ここで言う明るさの基準値とは、例えば、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡ内における輝度値の平均である。また、輝度範囲とは、例えば、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡにおける輝度範囲である。また、色彩の基準値とは、例えば、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡ内におけるＲ，Ｇ，Ｂ毎の平均値の比（カラーバランス）である。なお、このような明るさの基準値、輝度範囲、色彩の基準値は、プリンター１００（画像処理装置）自身が、ＡＡＭ情報ＡＭＩとしての平均顔画像Ａ０（ｘ）に基づいて生成するとしてもよい。
【００９１】
このような前提において、変換部２６０は、トリミング画像の輝度平均値を求めるとともに、当該輝度平均値と上記平均顔画像Ａ０（ｘ）の明るさの基準値との差分を算出し、当該差分に応じて（例えば、当該差分に応じた補正度合を持ったγカーブによって）トリミング画像の輝度を補正する。また、変換部２６０は、トリミング画像の輝度範囲が、上記平均顔画像Ａ０（ｘ）の輝度範囲と略等しくなるように、トリミング画像の輝度範囲を拡大させる（コントラスト拡大処理をする）。また、変換部２６０は、トリミング画像のＲＧＢ毎の平均値の比を求めるとともに、当該求めた比が上記平均顔画像Ａ０（ｘ）の色彩の基準値と略等しくなるように、トリミング画像のＲＧＢ毎の分布を補正する。そして、変換部２６０は、このように明るさ、コントラスト、色彩の全部或いは一部を補正したトリミング画像について、アフィン変換を行い上記所定サイズの検出対象画像ＣＩを生成する。
【００９２】
その結果、検出対象画像ＣＩをアフィン変換して生成される平均形状画像Ｉ（Ｗ（ｘ；ｐ））も、その明るさやコントラストや色彩が平均顔画像Ａ０（ｘ）に近いものとなる。そのため、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との比較結果（差分画像Ｉｅやノルム）は、純粋に、そのとき検出対象画像ＣＩに設定されている特徴点ＣＰの位置の良し悪し（特徴部位の位置との一致度合い）を表すものとなり、よって、特徴部位の位置検出の高速化・高精度化がより一層図られる。
【００９３】
上述した例では、特徴点ＣＰの初期位置設定（図１０のステップＳ２５０）および特徴点ＣＰの設定位置補正（ステップＳ２６０）の両方について、検出対象画像ＣＩに基づいた処理を行った。しかし、特徴点ＣＰの初期位置設定と特徴点ＣＰの設定位置補正のうち、いずれか一方のみについて、検出対象画像ＣＩに基づいて処理を行うとしてもよい。
【００９４】
画像処理装置は、特徴点ＣＰの初期位置設定処理のみを検出対象画像ＣＩに基づいて行う場合は、図１０のフローチャートにおいてステップＳ２５０が終了したとき、検出対象画像ＣＩに設定した初期位置の特徴点ＣＰの配置を、検出対象画像ＣＩのサイズと上記トリミング画像のサイズとの比と、そのときのグローバルパラメーターに基づいて、注目画像ＯＩ上に再現する。そして、注目画像ＯＩに再現した特徴点ＣＰについて、注目画像ＯＩ上での設定位置補正処理を行う。なお、特徴点ＣＰの初期位置設定処理後における設定位置補正処理を、注目画像ＯＩにおいてのみ行う場合は、設定位置補正処理（平均形状画像の生成、差分画像Ｉｅの算出、収束判定、パラメーター更新量ΔＰの生成、パラメーター補正）の繰り返しに関しては、回数上の制限は設けないものとする。このように、特徴点ＣＰの初期位置設定処理のみを検出対象画像ＣＩに基づいて行う場合であっても、当該初期位置設定処理が高速化されることで、顔特徴位置検出処理全体にかかる時間が短縮される。
【００９５】
画像処理装置は、特徴点ＣＰの設定位置補正のみを検出対象画像ＣＩに基づいて行う場合は、図１０のフローチャートにおいてステップＳ２２０（顔領域ＦＡ検出）の後、注目画像ＯＩにおいて特徴点ＣＰの初期位置設定処理を行う。そして、顔領域ＦＡおよび注目画像ＯＩに設定した特徴点ＣＰの初期位置を含む範囲をトリミングし、トリミング画像をアフィン変換することにより所定サイズの検出対象画像ＣＩを生成する。そして、検出対象画像ＩＣにおける特徴点ＣＰ（初期位置）について、その設定位置を補正する処理を行う。上述したように、検出対象画像ＣＩはノイズ低減処理がなされているため、特徴点ＣＰの設定位置補正処理は、高画質な検出対象画像ＣＩに基づいて行うことができる。つまり、特に高い精度が要求される設定位置補正処理をノイズの影響を排除して行うことができるため、顔の特徴部位の座標位置を表すものとして最終的に特定される特徴点ＣＰの設定位置は、実際の特徴部位の位置に極めて正確に対応した位置となる。
【００９６】
上述した特徴点ＣＰの初期位置設定処理や設定位置補正処理では、検出対象画像ＣＩや注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより、検出対象画像ＣＩや注目画像ＯＩの特徴点ＣＰの設定位置を平均顔画像Ａ０（ｘ）の特徴点ＣＰの設定位置に整合させている。しかし逆に、平均顔画像Ａ０（ｘ）に対して画像変換を行うことにより、検出対象画像ＣＩや注目画像ＯＩの特徴点ＣＰと平均顔画像Ａ０（ｘ）の特徴点ＣＰとの配置を整合させるとしてもよい。
【００９７】
また、特徴点ＣＰ初期位置設定処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。
また上記では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【００９８】
また、平均顔画像Ａ０（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ０（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ０（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
また上記では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【００９９】
また上記では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。また、検出モード情報についても、ネットワークを介して取得されてもよい。
また上記では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がコンピューター３００やデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【符号の説明】
【０１００】
１００…プリンター、１１０…ＣＰＵ、１２０…内部メモリー、１４０…操作部、１５０…表示部、１６０…印刷機構、１７０…カードインターフェース、１７２…カードスロット、２００…画像処理部、２２０…特徴位置検出部、２２１…設定部、２２２…生成部、２２４…算出部、２２６…補正部、２３０…顔領域検出部、２５０…トリミング部、２６０…変換部、３００…コンピューター、３１０…表示処理部、３２０…印刷処理部
【技術分野】
【０００１】
本発明は、画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置に関する。
【背景技術】
【０００２】
視覚的事象のモデル化手法として、アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ、略して「ＡＡＭ」とも呼ばれる）が知られている。ＡＡＭでは、例えば、複数のサンプル画像に含まれる顔の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置（座標）や画素値（例えば輝度値）の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な顔の形状における「見え（Ａｐｐｅａｒａｎｃｅ）」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。ＡＡＭによれば、任意の顔画像のモデル化（合成）が可能であり、また、画像に含まれる顔の特徴部位の位置の検出が可能である（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７‐１４１１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、顔の特徴部位の位置の検出処理においては、処理対象となる注目画像から、顔の特徴部位に対応していると想定されるポイント（特徴点）に囲まれた画像範囲の画素をサンプリングしつつ一定形状の画像にアフィン変換し、当該アフィン変換後の画像と上記平均的な形状および見えの顔画像とを比較することにより、上記顔の特徴部位に対応していると想定されたポイントに対する評価（特徴部位の座標位置に近いか否かの評価）を行なう。
【０００５】
しかしながら上述した検出処理においては、上記アフィン変換の過程でのサンプリングの際に、注目画像全体を対象として画素を走査し必要な画素を抽出していたため、検出処理に多くの時間を要していた。
また上記検出処理においては、上記サンプリングの際に、所要のサンプリング率で画素を単純に抽出していたため、上記アフィン変換の結果得られる画像は、画質が低くノイズを含み得るような画像であった。そのため、このような変換の結果得られた画像に基づいた上記評価の精度は十分に高いものとは言えず、結果、上記特徴部位の位置の検出精度を高い水準とすることが難しかった。
【０００６】
本発明は上記課題の少なくとも一つを解決するためになされたものであり、画像に含まれる顔の特徴部位の位置を検出する処理の高速化・高精度化を図ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の態様の一つは、画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、注目画像から顔の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、上記顔領域を含む所定範囲の画像を上記注目画像からトリミングするトリミング部と、上記トリミングされた画像のサイズを所定サイズに変換する変換部と、上記サイズが変換された画像に基づいて上記特徴部位の座標位置を検出する特徴位置検出部とを備える。
本発明によれば、注目画像からトリミングして所定サイズに変換した後の画像を対象として上記特徴部位の座標位置の検出処理を実行するため、当該検出処理の際に走査対象となる画像が注目画像全体よりも狭いものとなり、結果、従来よりも当該検出処理の高速化が実現される。なお上記特徴部位とは、例えば、眉毛と目と鼻と口とフェイスラインとの一部であってもよい。この場合、眉毛と目と鼻と口とフェイスラインとの一部について良好に座標位置を検出することができる。
【０００８】
上記変換部は、上記トリミングされた画像に対するノイズ低減のための処理とともに上記サイズの変換を実行するとしてもよい。当該構成によれば、ノイズ低減処理が施され且つサイズが上記のように変換された後の画像を対象として上記座標位置の検出処理を実行するため、ノイズの影響を受けて当該検出結果がぶれてしまうことが防止され、従来よりも当該検出処理の高精度化が実現される。
【０００９】
上記変換部は、上記トリミングされた画像のサイズに応じて異なるノイズ低減用のフィルターを用いてノイズ低減のための処理を実行するとしてもよい。当該構成によれば、トリミングされる画像のサイズに応じた最適なフィルター処理によりノイズ低減を行なうことができる。
【００１０】
上記トリミング部は、顔領域に対する顔画像の大きさ、角度、位置を表す予め規定された各パラメーターに応じて顔領域を基準にして特定される範囲の全て含む範囲をトリミングするとしてもよい。当該構成によれば、顔の特徴部位の座標位置を検出するために必要十分な画像範囲を確実にトリミングすることができる。
【００１１】
上記特徴位置検出部は、上記サイズが変換された画像に対して上記特徴部位の座標位置を検出するための特徴点を設定し、上記サイズが変換された画像の一部を特徴点の配置が所定の配置となるように変換した画像である平均形状画像を生成し、上記平均形状画像と、複数のサンプル画像を平均化することにより生成された画像である平均顔画像と、の差分値を算出し、上記算出した差分値に基づいて、上記サイズが変換された画像における特徴点の設定位置を更新することにより、当該設定位置を上記特徴部位の座標位置に近づけるように補正し、上記補正された設定位置を上記特徴部位の座標位置として検出する構成としてもよい。当該構成によれば、平均形状画像と平均顔画像との差分値に基づいて、上記サイズが変換された画像における特徴点の設定位置を補正して、特徴部位の座標位置を検出するため、画像に含まれる顔の特徴部位の位置を良好に検出することができる。
【００１２】
上記特徴位置検出部は、上記差分値が所定のしきい値より小さい値となるまで、上記サイズが変換された画像における特徴点の設定位置の更新を繰り返し実行し、上記差分値が上記しきい値より小さい値となった場合、上記サイズが変換された画像における特徴点の配置を上記サイズが変更された画像と上記トリミングされた画像との大きさの比に応じて注目画像において再現することにより、注目画像上に特徴点を設定し、上記注目画像における特徴点の配置が上記所定の配置となるように当該注目画像の一部を変換した画像である平均形状画像を生成し、当該平均形状画像と上記平均顔画像との差分値に基づいて当該注目画像における特徴点の設定位置を更新することにより、当該注目画像における特徴点の設定位置を上記特徴部位の座標位置に近づけるように補正し、上記補正された注目画像における特徴点の設定位置を上記特徴部位の座標位置として検出する構成としてもよい。当該構成によれば、上記サイズが変換された画像上において、特徴点の設定位置を、実際に写っている顔の特徴部位の位置との一致率が極めて高い状態にまで補正することができ、その上で上記サイズが変換された画像における特徴点の配置を注目画像において再現し、さらに、この注目画像における特徴点の設定位置を特徴部位の座標位置に近づけるように補正するため、注目画像に含まれる顔の特徴部位の位置を非常に正確に検出することができる。
【００１３】
上記特徴位置検出部は、上記注目画像における特徴点の設定位置を更新する処理を、予め規定された回数を上限として実行するとしてもよい。上述したように上記サイズが変換された画像において設定位置が適切に補正された後の特徴点の配置が注目画像において再現された時点で、当該再現された配置にかかる特徴点は注目画像内の特徴部位の位置をかなり正確に示していると言える。そのため、注目画像における特徴点の設定位置を更新する処理は予め規定された回数を上限として実行するだけで、注目画像に含まれる顔の特徴部位の位置を非常に正確に検出することができる。
【００１４】
上記変換部は、上記トリミングされた画像の明るさ、コントラスト、色彩のうちの少なくとも一つ以上の要素を上記平均顔画像に近づける補正処理とともに上記サイズの変換を実行するとしてもよい。当該構成によれば、上記サイズが変換された画像を変換して生成する平均形状画像と上記平均形状画像との明るさや色彩を近づけることができるため、その時の特徴点の設定位置以外の要因によって上記差分値がなかなか小さくならない（収束しない）といった不都合を回避することができ、結果、上記検出処理の高速化・高精度化がより一層図られる。
【００１５】
本発明の技術的思想は、画像処理装置以外によっても実現可能である。例えば、画像処理装置の各部が実行する処理工程を有する画像処理方法の発明や、画像処理装置の各部が実行する機能をコンピューターに実行させるコンピューター読取可能なプログラムの発明をも把握可能である。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置としてのプリンターの構成を概略的に示す説明図である。
【図２】ＡＡＭ設定処理を示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ０の一例を示す説明図である。
【図７】形状ベクトルｓｉおよび形状パラメーターｐｉと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ０（ｘ）の一例を示す説明図である。
【図１０】顔特徴位置検出処理を示すフローチャートである。
【図１１】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１２】特徴点ＣＰの初期位置設定処理を示すフローチャートである。
【図１３】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１４】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１５】検出対象画像における特徴点ＣＰ設定位置補正処理を示すフローチャートである。
【図１６】顔特徴位置検出処理の結果の一例を示す説明図である。
【図１７】グローバルパラメーターに応じて顔領域を基準にして特定される各範囲の一例を示した図である。
【図１８】注目画像ＯＩから画像をトリミングしてアフィン変換する様子の一例を示した図である。
【図１９】注目画像における特徴点ＣＰ設定位置補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施例を図面を参照しながら説明する。
１．画像処理装置の構成
図１は、本実施例にかかる画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。プリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやコンピューター３００）とのデータ通信を行うためのインターフェース（Ｉ／Ｆ）１８０を備える。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００１８】
印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００１９】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで顔特徴位置検出処理をおこなう。顔特徴位置検出処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の座標位置を検出する処理である。顔特徴位置検出処理については、後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００２０】
画像処理部２００は、プログラムモジュールとして、特徴位置検出部２２０と、顔領域検出部２３０と、トリミング部２５０と、変換部２６０と、を含んでいる。特徴位置検出部２２０は、設定部２２１と、生成部２２２と、算出部２２４と、補正部２２６と、を含んでいる。これら各部の機能については、後述の顔特徴位置検出処理の説明において詳述する。
【００２１】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバーである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００２２】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴位置検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００２３】
２．ＡＡＭ設定処理
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザーがＡＡＭ設定用に用意されたコンピューター３００を操作することにより行なわれる。コンピューター３００は、ＣＰＵとＲＡＭとＲＯＭとＨＤＤとディスプレイと入力装置等を有しており、これらがバスによって接続されている。ＣＰＵはＨＤＤに記録されたプログラムを読み出し、該プログラムに従った演算処理を実行することにより、コンピューター３００が後述するＡＡＭ設定処理を実行する。
【００２４】
はじめに、ユーザーは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとしてコンピューター３００のメモリー（ＨＤＤ）上に用意する（ステップＳ１１０）。
図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２５】
次に、ユーザーの所定の操作によって、コンピューター３００は、それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。
図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、コンピューター３００がディスプレイに表示したサンプル画像ＳＩにおいてユーザーの操作により画面上で指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。
【００２６】
図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は、対応するサンプル画像ＳＩの各特徴点ＣＰを示している。また、ＣＰ（ｋ）‐Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）‐Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００２７】
つづいて、コンピューター３００は、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓを下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００２８】
【数１】
【００２９】
上記式（１）において、ｓ０は平均形状である。
図６は、平均形状ｓ０の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ０は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ０において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ０においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。
【００３０】
形状モデルを表す上記式（１）において、ｓｉは形状ベクトルであり、ｐｉは形状ベクトルｓｉの重みを表す形状パラメーターである。形状ベクトルｓｉは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ０とｎ個の形状ベクトルｓｉの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐｉを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。
【００３１】
図７は、形状ベクトルｓｉおよび形状パラメーターｐｉと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではｎ＝４）の固有ベクトルが、形状ベクトルｓｉとして採用される。形状ベクトルｓｉのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ１は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ１を大小させることにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ２は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ２を大小させることにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ３は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ４は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。形状パラメーターは、特徴部位の座標が既知の顔画像を含む複数のサンプル画像に基づいて算出された特徴量である。
【００３２】
なお、コンピューター３００は、形状モデル設定ステップ（ステップＳ１３０）において設定した平均形状ｓ０および形状ベクトルｓｉを、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均形状ｓ０および形状ベクトルｓｉの情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。
【００３３】
つづいて、コンピューター３００は、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ０における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。
【００３４】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ０と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ０における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ０における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。
【００３５】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば、縦横５６画素×５６画素のサイズの画像として正規化される。
【００３６】
次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００３７】
【数２】
【００３８】
上記式（２）において、Ａ０（ｘ）は平均顔画像である。
図９は、平均顔画像Ａ０（ｘ）の一例を示す説明図である。平均顔画像Ａ０（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ０（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ０（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ０（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば、縦横５６画素×５６画素のサイズの画像として算出される。
【００３９】
テクスチャーモデルを表す上記式（２）において、Ａｉ（ｘ）はテクスチャーベクトルであり、λｉはテクスチャーベクトルＡｉ（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡｉ（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡｉ（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ１（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４０】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ０（ｘ）とｍ個のテクスチャーベクトルＡｉ（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλｉを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。
なお、コンピューター３００は、テクスチャーモデル設定ステップ（ステップＳ１４０）において設定した平均顔画像Ａ０（ｘ）およびテクスチャーベクトルＡｉ（ｘ）を、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均顔画像Ａ０（ｘ）およびテクスチャーベクトルＡｉ（ｘ）の情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。
【００４１】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ０から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４２】
３．顔特徴位置検出処理
図１０は、本実施例における顔特徴位置検出処理の流れを示すフローチャートである。顔特徴位置検出処理は、ＡＡＭ情報ＡＭＩを利用して注目画像に含まれる顔画像における特徴点ＣＰの配置を決定することにより、顔画像における特徴部位の位置を検出する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴位置検出処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００４３】
なお、顔特徴位置検出処理によって顔画像における特徴点ＣＰの配置が決定されると、顔画像についての形状パラメーターｐｉや、テクスチャーパラメーターλｉの値が特定される。従って、顔特徴位置検出処理の結果は、特定の表情（例えば笑顔や目を閉じた顔）の顔画像を検出するための表情判定や、特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形、顔の陰影補正等に利用可能である。
【００４４】
はじめに、画像処理部２００（図１）は、顔特徴位置検出処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザーにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶ。
【００４５】
顔領域検出部２３０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２２０）。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００４６】
図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００４７】
次に、トリミング部２５０（図１）が、顔領域ＦＡを含む所定範囲の画像を注目画像ＯＩからトリミングする（ステップＳ２３０）。トリミング部２５０は、まず、トリミングすべき範囲（トリミング範囲ＴＩ）を、所定のグローバルパラメーターに応じて顔領域ＦＡを基準にして特定する。グローバルパラメーターとは、顔領域ＦＡに対する顔画像の大きさ、傾き、上下方向の位置および左右方向の位置をそれぞれ表す各パラメーターであり、後述する特徴点ＣＰの初期位置設定処理（ステップＳ２５０）の際に用いられる数値である。グローバルパラメーターは、内部メモリー１２０の所定領域に予め格納されている。本実施例では、当該グローバルパラメーターを、トリミング範囲ＴＩを特定する際にも用いる。
【００４８】
図１７は、各グローバルパラメーターに応じて顔領域ＦＡを基準にして特定される各範囲を例示している。図１７（ａ）では、顔画像を想定した所定形状（例えば、楕円）Ｃについて、顔領域ＦＡに対する大きさを表す３段階（大きい、標準、小さい）のグローバルパラメーターに応じて大きさを変化させた状態を示している。図１７（ｂ）は、顔領域ＦＡに対する上下方向の位置を表す３段階（上、中央、下）のグローバルパラメーターによって決定される各位置および、顔領域ＦＡに対する左右方向の位置を表す３段階（左、中央、右）のグローバルパラメーターによって決定される各位置に、上記所定形状Ｃ（大きさは標準）を配置した状態を示している。図１７（ｃ）は、上記所定形状Ｃ（大きさは標準）について、顔領域ＦＡに対する傾きを表す３段階（反時計回り（−）に１５度、０度、時計回り（＋）に１５度）のグローバルパラメーターに応じて傾きを変化させた状態を示している。
【００４９】
トリミング部２５０は、本実施例では、上述したような４種類のグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせることにより顔領域ＦＡを基準にして特定される合計８１通りの範囲の、全てを含む矩形の範囲を、トリミング範囲ＴＩとして特定する。トリミング範囲ＴＩの上下左右の各辺は、顔領域ＦＡの上下左右の各辺とそれぞれ平行であるとする。そして、このように特定したトリミング範囲ＴＩの画像を注目画像ＯＩからトリミングする。
【００５０】
次に、変換部２６０（図１）が、注目画像ＯＩからトリミングされた画像（トリミング画像と呼ぶ。）のサイズが所定サイズとなるように、当該トリミング画像をアフィン変換し、当該アフィン変換後の画像を内部メモリー１２０の所定領域に保存する（ステップＳ２４０）。このように保存された画像は、後述する特徴点ＣＰの位置の設定・補正処理（ステップＳ２５０，Ｓ２６０）の対象となる画像（検出対象画像ＣＩと呼ぶ。）である。ここで言う所定サイズとは、縦横の長さがそれぞれ平均顔画像Ａ０（ｘ）の縦横の長さの１倍以上かつ２倍以内程度のサイズを言う。上述したように平均顔画像Ａ０（ｘ）のサイズが縦横５６画素×５６画素である場合には、例えば、縦横１００画素×１００画素を当該所定サイズとする。
【００５１】
図１８は、ある注目画像ＯＩからトリミング画像をアフィン変換して、所定サイズ（縦横１００画素×１００画素）の検出対象画像ＣＩを生成した様子を示している。図１８では、注目画像ＯＩ内のトリミング範囲ＴＩを実線で示している。トリミング範囲ＴＩは顔領域ＦＡの全てを含む。注目画像ＯＩのサイズや顔領域ＦＡのサイズにもよるが、トリミング範囲ＴＩが上記所定サイズよりも大きい場合には、トリミング画像に対するアフィン変換において画像の縮小が行なわれる。一方、トリミング範囲ＴＩが上記所定サイズよりも小さい場合には、トリミング画像に対するアフィン変換において画像の拡大が行なわれる。また、注目画像ＯＩに含まれている顔画像の上下方向は、注目画像ＯＩの上下方向に対して傾いていることもあり、その場合には、顔領域ＦＡおよびトリミング範囲ＴＩも注目画像ＯＩに対して傾くことになる。そこで変換部２６０は、トリミング画像に対する上記アフィン変換においては、当該傾きを無くす方向への回転処理を伴ったサイズ変換を行なう。
【００５２】
本実施例では、変換部２６０は、トリミング画像に対する上記アフィン変換（サイズ変換および回転処理）を行なう際に、併せて上記トリミング画像に対するノイズ低減のための処理を行なう。
変換部２６０は、トリミング画像を上記所定サイズに縮小する場合、縮小率（トリミング範囲ＴＩの画像のサイズと上記所定サイズとの比率）に応じて単純に画素をサンプリングするのではなく、所定のノイズ低減処理を行ないつつ縮小を行なう。ノイズ低減処理とは、例えば平滑化処理である。平滑化処理は、例えば、トリミング画像のサイズを１／ｎに縮小して上記所定サイズの検出対象画像ＣＩを生成する場合には、ｎ個の画素からなる画素群の各画素値を平均することにより１つの画素値を生成する。そして、このように生成した画素を、検出対象画像ＣＩを構成する１画素とする。このような平滑化処理は、移動平均フィルターを用いることで実現される。
【００５３】
あるいは、変換部２６０は、上記平滑化処理の際に、平滑化フィルターの一種としてのガウシアンフィルターを用いるとしてもよい。この場合、変換部２６０は、上記トリミング画像のサイズに応じて異なるフィルターを用いる。例えば、トリミング範囲ＴＩのサイズが縦横３００画素×３００画素である場合、変換部２６０は上記所定サイズの縦横の長さ（１００画素×１００画素）との比（３００／１００）に基づいて、用いるガウシアンフィルターのサイズを縦横３画素×３画素とする。また、トリミング範囲ＴＩのサイズが縦横１５００画素×１５００画素である場合、変換部２６０は上記所定サイズの縦横の長さ（１００画素×１００画素）との比（１５００／１００）に基づいて、用いるガウシアンフィルターのサイズを縦横１５画素×１５画素とする。変換部２６０は、このように決定したガウシアンフィルターを上記トリミング画像に適用する。この結果、ガウシアンフィルターを適用した領域毎に、周辺画素の重み付けによって平滑化された注目画素が１つ取得され、このようにフィルターを適用した領域毎に取得された注目画素によって検出対象画像ＣＩを構成する。
【００５４】
変換部２６０は、トリミング画像を上記所定サイズに拡大する場合は画素の補間を行なう。つまり、線形補間や非線形補間によってトリミング画像を上記所定サイズにまで拡大することで、ノイズの抑制された検出対象画像ＣＩが生成できる。
【００５５】
特徴位置検出部２２０（図１）は、検出対象画像ＣＩにおける特徴点ＣＰの初期位置を設定する（ステップＳ２５０）。
図１２は、本実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。この場合、設定部２２１は、上述したグローバルパラメーターの値を種々変更して、特徴点ＣＰを検出対象画像ＣＩ上の仮設定位置に設定する（ステップＳ３１０）。
【００５６】
図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、検出対象画像ＣＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュを示している。なお、特徴点ＣＰをつないで形成されるメッシュは、上述したように特徴点ＣＰを頂点とする複数の三角形領域ＴＡの集合である（図６（ａ）等参照）。設定部２２１は、図１３（ａ）および図１３（ｂ）の中央に示すように、平均形状ｓ０における特徴点ＣＰ間の配置と等しい特徴点ＣＰ間の配置を持ったメッシュであって、最も平均的なグローバルパラメーターの組み合わせに応じて顔領域ＦＡ（ただし、上記トリミング画像のサイズ変換に伴ってサイズ変換された後の顔領域ＦＡ）に対する大きさ、傾き、位置を調整したメッシュを設定する。最も平均的なグローバルパラメーターの組み合わせとは、これまでに述べた例で言えば、顔領域ＦＡに対する大きさは「標準」、顔領域ＦＡに対する上下方向の位置および左右方向の位置はそれぞれ「中央」、かつ顔領域ＦＡに対する傾きは「０度」を示すグローバルパラメーターの組み合わせを言う。本実施例では、図１３（ａ）および図１３（ｂ）の中央に示すようなメッシュを構成する特徴点ＣＰの設定位置（仮設定位置）を、「基準仮設定位置」とも呼ぶ。
【００５７】
設定部２２１は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、検出対象画像ＣＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、設定部２２１は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、設定部２２１は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５８】
また、図１３（ｂ）に示すように、設定部２２１は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、設定部２２１は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５９】
設定部２２１は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、上述したように夫々に３段階の値を持つ４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）を組み合わせたことにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と基準仮設定位置との、合計８１通りの仮設定位置が設定される。
【００６０】
生成部２２２（図１）は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。
図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、検出対象画像ＣＩにおける特徴点ＣＰの配置が平均形状ｓ０における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００６１】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、検出対象画像ＣＩに仮設定された特徴点ＣＰ（図１３参照）によって変換対象領域（メッシュの外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、この検出対象画像ＣＩにおける変換対象領域に対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ０（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ０（ｘ）と同一サイズ（例えば、縦横５６画素×５６画素）の画像として算出される。
【００６２】
上述したように、検出対象画像ＣＩは、縦横の長さがそれぞれ平均顔画像Ａ０（ｘ）の縦横の長さの２倍以内程度のサイズであり、平均顔画像Ａ０（ｘ）よりも大きい。そのため、検出対象画像ＣＩにおける仮設定位置の特徴点ＣＰによって特定される上記変形対象領域を、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に変換する際には、画像の縮小処理が行なわれる。このような平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、注目画像ＯＩからトリミングされてサイズ変換がされた画像（検出対象画像ＣＩ）の一部を特徴点ＣＰの配置が所定の配置となるように変換した画像である。
【００６３】
なお、上述したように画素群ｘは、平均形状ｓ０における平均形状領域ＢＳＡに位置する画素の集合である。本実施例では、平均形状画像は、形状パラメーターｐによるワープＷ（ｘ；ｐ）によって生成された画像（画素群）Ｉという意味で、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と表現している。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００６４】
算出部２２４（図１）は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、算出部２２４（図１）は、８１個の差分画像Ｉｅを算出する。
【００６５】
設定部２２１は、各差分画像Ｉｅの画素値からノルム（ユークリッド距離）を算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、検出対象画像ＣＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための差分画像Ｉｅの画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により特徴点ＣＰの初期位置設定処理が完了する。
【００６６】
特徴位置検出部２２０（図１）は、上記ステップＳ２５０において検出対象画像ＣＩに初期位置として設定された特徴点ＣＰの設定位置の補正を行う（ステップＳ２６０）。
図１５は、ステップＳ２６０で実行する特徴点ＣＰの設定位置補正処理の流れを示すフローチャートである。
【００６７】
生成部２２２（図１）は、検出対象画像ＣＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰの初期位置設定処理におけるステップＳ３２０と同様である。
【００６８】
算出部２２４は、ステップＳ４１０で生成された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。特徴位置検出部２２０は、ステップＳ４２０で算出された差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ４３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定し、ノルムの値がしきい値以上の場合には未だ収束していないと判定する。なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出されたノルムの値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定してもよい。あるいは、特徴位置検出部２２０は、しきい値による判定と前回値との比較による判定とを組み合わせて収束判定を行うとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、しきい値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するとしてもよい。
【００６９】
ステップＳ４３０の収束判定において未だ収束していないと判定された場合には、補正部２２６（図１）が、パラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、特徴量であるｎ個の形状パラメーターｐｉ（ｉ＝１〜ｎの整数。）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰの初期位置設定処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ０の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐｉの値はすべてゼロである。
【００７０】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００７１】
【数３】
【００７２】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐｉの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００７３】
【数４】
【数５】
式（４）および（５）における関数Ｗは、ワープＷ（ｘ；ｐ）を指し、変数Ｐは、形状パラメーターｐｉを指し、Ｔは転置行列を意味する。
【００７４】
補正部２２６（図１）は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーター）を更新する（ステップＳ４５０）。これにより、検出対象画像ＣＩにおける特徴点ＣＰの設定位置が補正（更新）される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように検出対象画像ＣＩにおける特徴点ＣＰの設定位置を補正する。すなわち、ｎ個の形状パラメーターをパラメーター更新量ΔＰで更新することで、形状モデルの上記式（１）に従って新たな形状ｓが生成されるため、補正部２２６は、当該生成された形状ｓにおける特徴点ＣＰを検出対象画像ＣＩに設定する。このとき、補正部２２６は、当該生成された形状ｓの大きさ、傾き、位置を、上記パラメーター更新量ΔＰで更新した４個のグローバルパラメーターに応じて調整した上で、特徴点ＣＰを検出対象画像ＣＩに設定する。このようにパラメーターの更新に応じて検出対象画像ＣＩに設定された特徴点ＣＰの位置が、補正後の特徴点ＣＰの設定位置である。
【００７５】
パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された検出対象画像ＣＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４５０）が行われる。
【００７６】
図１５のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、検出対象画像ＣＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定すると、特徴位置検出部２２０は、その時点で検出対象画像ＣＩに設定されている特徴点ＣＰの位置を、特徴部位の座標位置として検出することができる。本実施例では、特徴位置検出部２２０は、上記収束判定において収束したと判定した場合、図１５のフローチャートを終了し、更に注目画像ＯＩにおける特徴点ＣＰの設定位置補正処理を行なう（図１０のステップＳ２７０）。
【００７７】
図１９は、ステップＳ２７０で実行する特徴点ＣＰの設定位置補正処理を示すフローチャートである。
特徴位置検出部２２０は、ステップＳ２６０の処理（図１０，１５）において最終的に検出対象画像ＣＩに設定した特徴点ＣＰの配置を、注目画像ＯＩにおいて再現することにより、注目画像ＯＩ上に特徴点ＣＰを設定する（ステップＳ５１０）。具体的には、特徴位置検出部２２０は、当該最終的に検出対象画像ＣＩに設定した特徴点ＣＰの配置関係（メッシュ）を、検出対象画像ＣＩ（変更部２６０によってサイズが変更された画像）のサイズと上記トリミング画像のサイズとの比に応じて拡大或いは縮小する。つまり、変更部２６０が上記トリミング画像を縮小していた場合には、当該ステップＳ５１０では拡大し、変更部２６０が上記トリミング画像を拡大していた場合には、当該ステップＳ５１０では縮小を行なう。そして、当該拡大或いは縮小したメッシュの傾きおよび位置を、注目画像ＯＩにおける顔領域ＦＡを基準にして、ステップＳ２６０の処理において最終的に設定されたグローバルパラメーターに応じて調整した上で、当該メッシュにおける特徴点ＣＰを注目画像ＯＩに設定する。
【００７８】
次に、特徴位置検出部２２０は、ステップＳ５１０において特徴点ＣＰを設定した後の、パラメーターの更新により特徴点ＣＰの設定位置を補正（更新）した回数（ステップＳ５７０の処理）が、予め規定された回数（上限回数）に達したか否か判定する（ステップＳ５２０）。特徴位置検出部２２０は、上限回数に達したと判定した場合に、顔特徴位置検出処理を完了させる（ステップＳ５８０）。上限回数は、例えば、３回程度といった少ない回数である。
【００７９】
ステップＳ５２０において、パラメーターの更新により特徴点ＣＰの設定位置を補正（更新）した回数が上限回数に達していないと判定された場合、生成部２２２（図１）は、その時点で注目画像ＯＩに設定されている特徴点ＣＰの配置が平均形状ｓ０における特徴点ＣＰの配置と等しくなるようにアフィン変換を行なうことで、平均顔画像Ａ０（ｘ）と同一サイズの平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ５３０）。なお図１９の説明においては、注目画像ＯＩに設定されている特徴点ＣＰによって特定される変換対象領域（メッシュの外周に位置する特徴点ＣＰにより囲まれた領域）における画素群をＷ（ｘ；ｐ）と表す。
【００８０】
算出部２２４は、ステップＳ５３０で生成された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ５４０）。特徴位置検出部２２０は、ステップＳ５４０で算出された差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否か判定する（ステップＳ５５０）。つまり特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定する。特徴位置検出部２２０は、収束したと判定した場合は、上記ステップＳ５２０の“Ｙｅｓ”の判定と同様に、顔特徴位置検出処理を完了させる（ステップＳ５８０）。なお、ステップＳ５５０の収束判定で用いるしきい値は、ステップＳ４３０（図１５）の収束判定で用いるしきい値と同等かあるいはそれよりも低い値とする。なお、ここでもステップＳ４３０と同様に、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ５５０において算出されたノルムの値よりも小さい場合には収束したと判定しても良い。或いは、算出されたノルムの値が、しきい値より小さく、かつ、前回値より小さい場合にのみ収束したと判定してもよい。
【００８１】
ステップＳ５５０の収束判定において収束していないと判定された場合、補正部２２６（図１）は、ステップＳ４４０，Ｓ４５０と同様に、パラメーター更新量ΔＰを算出し（ステップＳ５６０）、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーター）を更新する（ステップＳ５７０）。なお、ステップＳ５１０で特徴点ＣＰを注目画像ＯＩに設定した直後においては、グローバルパラメーター及び上記ｎ個の形状パラメーターは、ステップＳ２６０の処理（図１０，１５）における最後のパラメーター更新により得られた値が設定されている。
【００８２】
ステップＳ５７０の結果、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正（更新）される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように注目画像ＯＩにおける特徴点ＣＰの設定位置を補正する。つまり、上記ｎ個の形状パラメーターをステップＳ５６０で得られたパラメーター更新量ΔＰで更新することで、形状モデルの上記式（１）に従って新たな形状ｓが生成され、補正部２２６は、当該生成された形状ｓにおける特徴点ＣＰを注目画像ＯＩに設定する。このとき、補正部２２６は、当該生成された形状ｓの大きさ、傾き、位置を、ステップＳ５６０で得られたパラメーター更新量ΔＰで更新した４個のグローバルパラメーターに応じて調整した上で、特徴点ＣＰを注目画像ＯＩに設定する。
【００８３】
パラメーターの更新の後には、再度、ステップＳ５２０の判定がなされ、“Ｎｏ”の判定であれば、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ５３０）以降の処理が繰り返される。図１９のステップＳ５２０からＳ５７０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていく。特徴位置検出部２２０は、顔特徴位置検出処理を完了させた（ステップＳ５８０）時点で設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置を、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定する。
【００８４】
本実施例では、検出対象画像ＣＩ上での特徴点ＣＰの設定位置補正処理（図１５のステップＳ４１０〜Ｓ４５０の処理）の繰り返しに関して、回数上の制限を設けていない（ノルムが最適化されるまで繰り返すことが可能）。一方、上述したように、注目画像ＯＩ上での特徴点ＣＰの設定位置補正処理の繰り返しに関しては、回数の上限を設けている。これは、検出対象画像ＣＩ上での特徴点ＣＰの設定位置補正処理を経て、注目画像ＯＩに特徴点ＣＰを設定した時点（ステップＳ５１０）で既に、特徴点ＣＰの位置は、注目画像ＯＩにおける実際の特徴部位の位置に全体的かなり近い状態にあるからである。つまり、注目画像ＯＩにおける特徴点ＣＰの設定位置補正処理に関しては、特徴点ＣＰの設定位置の更新を少ない回数行なうだけで、その設定位置を、注目画像ＯＩの実際の特徴部位の位置に高精度にマッチさせることができる。そのため、特徴部位の位置検出の精度と処理スピードのバランスを考慮して、上述したような上限回数を設けているのである。
【００８５】
図１６は、顔特徴位置検出処理の結果の一例を示す説明図である。図１６には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の座標位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。また、表情判定や顔向き判定をおこなう場合には、顔特徴位置検出処理が完了した際のｎ個の形状パラメーターの値と、しきい値とを比較することで表情や顔向きを判定することができる。また、顔画像の変形をおこなう場合には、顔特徴位置検出処理が完了した際のｎ個の形状パラメーターの値を変更することにより顔の形状を良好に変形することができる。
【００８６】
以上説明したように、本実施例の画像処理装置によれば、顔領域ＦＡを含み、且つ、特徴点ＣＰの初期位置設定の際に特徴点ＣＰの位置設定対象となり得る画像領域の全てを含む範囲を、注目画像ＯＩからトリミングし、当該トリミングした画像を、その画像サイズが所定サイズとなるようにアフィン変換（サイズ変換および回転）する。そして、当該変換によって得られた所定サイズの画像（検出対象画像ＣＩ）に基づいて、顔の特徴部位の座標位置を検出するための特徴点ＣＰの設定（設定位置の最適化）を行なうとした。この結果、特徴点ＣＰの初期位置設定処理（図１０のステップＳ２５０）や特徴点ＣＰの設定位置補正処理（ステップＳ２６０）において複数回行なわれる、特徴点ＣＰによって特定される画像領域のアフィン変換（ワープＷによる平均形状画像の生成）の際に、画素の走査範囲が検出対象画像ＣＩ内に限定されるようになった。そのため、特徴点ＣＰの初期位置設定処理（図１０のステップＳ２５０）や特徴点ＣＰの設定位置補正処理（ステップＳ２６０）、ひいては顔特徴位置検出処理全体が高速化される。
【００８７】
また、本実施例の画像処理装置は、上記トリミングした画像を所定サイズとなるようにアフィン変換する際に、画像のノイズ低減処理を併せて行なうとした。つまり、特徴点ＣＰの初期位置設定処理（図１０のステップＳ２５０）や特徴点ＣＰの設定位置補正処理（ステップＳ２６０）の対象となる検出対象画像ＣＩを高画質化することで、検出対象画像ＣＩに基づいて生成される平均形状画像もノイズの少ない画像となる。よって、平均形状画像と平均顔画像との比較（差分画像Ｉｅ）に基づいた収束判定やパラメーター量の更新処理も、ノイズの影響を受けることなく正確性が増し、結果、顔の特徴部位の位置検出精度が向上する。
【００８８】
本実施例に係る画像処理装置によれば、設定部２２１は、グローバルパラメーターを用いて、特徴点ＣＰを設定するため、画像に含まれる顔の特徴部位の位置を効率的かつ高速に検出することができる。具体的には、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）の値をそれぞれ変更させて、種々のメッシュを形成する特徴点ＣＰの仮設定位置を予め複数用意し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設定位置を初期位置としている。これにより、検出対象画像ＣＩにおける特徴点ＣＰの初期位置を顔の特徴部位の位置のより近くに設定することができる。よって、特徴点ＣＰの設定位置補正処理において、補正部２２６による補正が容易となるため、顔の特徴部位の位置を検出する処理の効率化・高速化を図ることができる。
【００８９】
４．変形例
本発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。本発明は、例えば以下のような変形も可能である。
【００９０】
変換部２６０（図１）は、トリミング画像に対して、明るさ、コントラスト、色彩のうちの少なくとも一つ以上の要素を平均顔画像Ａ０（ｘ）に近づける補正処理を行うとしてもよい。この場合、プリンター１００は、平均顔画像Ａ０（ｘ）についての明るさの基準値、輝度範囲（ダイナミックレンジ）、色彩の基準値、を内部メモリー１２０に予め格納しておく。つまり、ＡＡＭ設定処理を行う上記コンピューター３００は、平均顔画像Ａ０（ｘ）に基づいて明るさの基準値、輝度範囲、色彩の基準値、を予め生成し、これら生成した各値をプリンター１００に保持させておく。ここで言う明るさの基準値とは、例えば、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡ内における輝度値の平均である。また、輝度範囲とは、例えば、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡにおける輝度範囲である。また、色彩の基準値とは、例えば、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡ内におけるＲ，Ｇ，Ｂ毎の平均値の比（カラーバランス）である。なお、このような明るさの基準値、輝度範囲、色彩の基準値は、プリンター１００（画像処理装置）自身が、ＡＡＭ情報ＡＭＩとしての平均顔画像Ａ０（ｘ）に基づいて生成するとしてもよい。
【００９１】
このような前提において、変換部２６０は、トリミング画像の輝度平均値を求めるとともに、当該輝度平均値と上記平均顔画像Ａ０（ｘ）の明るさの基準値との差分を算出し、当該差分に応じて（例えば、当該差分に応じた補正度合を持ったγカーブによって）トリミング画像の輝度を補正する。また、変換部２６０は、トリミング画像の輝度範囲が、上記平均顔画像Ａ０（ｘ）の輝度範囲と略等しくなるように、トリミング画像の輝度範囲を拡大させる（コントラスト拡大処理をする）。また、変換部２６０は、トリミング画像のＲＧＢ毎の平均値の比を求めるとともに、当該求めた比が上記平均顔画像Ａ０（ｘ）の色彩の基準値と略等しくなるように、トリミング画像のＲＧＢ毎の分布を補正する。そして、変換部２６０は、このように明るさ、コントラスト、色彩の全部或いは一部を補正したトリミング画像について、アフィン変換を行い上記所定サイズの検出対象画像ＣＩを生成する。
【００９２】
その結果、検出対象画像ＣＩをアフィン変換して生成される平均形状画像Ｉ（Ｗ（ｘ；ｐ））も、その明るさやコントラストや色彩が平均顔画像Ａ０（ｘ）に近いものとなる。そのため、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との比較結果（差分画像Ｉｅやノルム）は、純粋に、そのとき検出対象画像ＣＩに設定されている特徴点ＣＰの位置の良し悪し（特徴部位の位置との一致度合い）を表すものとなり、よって、特徴部位の位置検出の高速化・高精度化がより一層図られる。
【００９３】
上述した例では、特徴点ＣＰの初期位置設定（図１０のステップＳ２５０）および特徴点ＣＰの設定位置補正（ステップＳ２６０）の両方について、検出対象画像ＣＩに基づいた処理を行った。しかし、特徴点ＣＰの初期位置設定と特徴点ＣＰの設定位置補正のうち、いずれか一方のみについて、検出対象画像ＣＩに基づいて処理を行うとしてもよい。
【００９４】
画像処理装置は、特徴点ＣＰの初期位置設定処理のみを検出対象画像ＣＩに基づいて行う場合は、図１０のフローチャートにおいてステップＳ２５０が終了したとき、検出対象画像ＣＩに設定した初期位置の特徴点ＣＰの配置を、検出対象画像ＣＩのサイズと上記トリミング画像のサイズとの比と、そのときのグローバルパラメーターに基づいて、注目画像ＯＩ上に再現する。そして、注目画像ＯＩに再現した特徴点ＣＰについて、注目画像ＯＩ上での設定位置補正処理を行う。なお、特徴点ＣＰの初期位置設定処理後における設定位置補正処理を、注目画像ＯＩにおいてのみ行う場合は、設定位置補正処理（平均形状画像の生成、差分画像Ｉｅの算出、収束判定、パラメーター更新量ΔＰの生成、パラメーター補正）の繰り返しに関しては、回数上の制限は設けないものとする。このように、特徴点ＣＰの初期位置設定処理のみを検出対象画像ＣＩに基づいて行う場合であっても、当該初期位置設定処理が高速化されることで、顔特徴位置検出処理全体にかかる時間が短縮される。
【００９５】
画像処理装置は、特徴点ＣＰの設定位置補正のみを検出対象画像ＣＩに基づいて行う場合は、図１０のフローチャートにおいてステップＳ２２０（顔領域ＦＡ検出）の後、注目画像ＯＩにおいて特徴点ＣＰの初期位置設定処理を行う。そして、顔領域ＦＡおよび注目画像ＯＩに設定した特徴点ＣＰの初期位置を含む範囲をトリミングし、トリミング画像をアフィン変換することにより所定サイズの検出対象画像ＣＩを生成する。そして、検出対象画像ＩＣにおける特徴点ＣＰ（初期位置）について、その設定位置を補正する処理を行う。上述したように、検出対象画像ＣＩはノイズ低減処理がなされているため、特徴点ＣＰの設定位置補正処理は、高画質な検出対象画像ＣＩに基づいて行うことができる。つまり、特に高い精度が要求される設定位置補正処理をノイズの影響を排除して行うことができるため、顔の特徴部位の座標位置を表すものとして最終的に特定される特徴点ＣＰの設定位置は、実際の特徴部位の位置に極めて正確に対応した位置となる。
【００９６】
上述した特徴点ＣＰの初期位置設定処理や設定位置補正処理では、検出対象画像ＣＩや注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより、検出対象画像ＣＩや注目画像ＯＩの特徴点ＣＰの設定位置を平均顔画像Ａ０（ｘ）の特徴点ＣＰの設定位置に整合させている。しかし逆に、平均顔画像Ａ０（ｘ）に対して画像変換を行うことにより、検出対象画像ＣＩや注目画像ＯＩの特徴点ＣＰと平均顔画像Ａ０（ｘ）の特徴点ＣＰとの配置を整合させるとしてもよい。
【００９７】
また、特徴点ＣＰ初期位置設定処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。
また上記では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【００９８】
また、平均顔画像Ａ０（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ０（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ０（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
また上記では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【００９９】
また上記では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。また、検出モード情報についても、ネットワークを介して取得されてもよい。
また上記では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がコンピューター３００やデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【符号の説明】
【０１００】
１００…プリンター、１１０…ＣＰＵ、１２０…内部メモリー、１４０…操作部、１５０…表示部、１６０…印刷機構、１７０…カードインターフェース、１７２…カードスロット、２００…画像処理部、２２０…特徴位置検出部、２２１…設定部、２２２…生成部、２２４…算出部、２２６…補正部、２３０…顔領域検出部、２５０…トリミング部、２６０…変換部、３００…コンピューター、３１０…表示処理部、３２０…印刷処理部
【特許請求の範囲】
【請求項１】
画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、
注目画像から顔の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
上記顔領域を含む所定範囲の画像を上記注目画像からトリミングするトリミング部と、
上記トリミングされた画像のサイズを所定サイズに変換する変換部と、
上記サイズが変換された画像に基づいて上記特徴部位の座標位置を検出する特徴位置検出部とを備えることを特徴とする画像処理装置。
【請求項２】
上記変換部は、上記トリミングされた画像に対するノイズ低減のための処理とともに上記サイズの変換を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記変換部は、上記トリミングされた画像のサイズに応じて異なるノイズ低減用のフィルターを用いてノイズ低減のための処理を実行することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記トリミング部は、顔領域に対する顔画像の大きさ、角度、位置を表す予め規定された各パラメーターに応じて顔領域を基準にして特定される範囲の全て含む範囲をトリミングすることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
上記特徴位置検出部は、
上記サイズが変換された画像に対して上記特徴部位の座標位置を検出するための特徴点を設定し、
上記サイズが変換された画像の一部を特徴点の配置が所定の配置となるように変換した画像である平均形状画像を生成し、
上記平均形状画像と、複数のサンプル画像を平均化することにより生成された画像である平均顔画像と、の差分値を算出し、
上記算出した差分値に基づいて、上記サイズが変換された画像における特徴点の設定位置を更新することにより、当該設定位置を上記特徴部位の座標位置に近づけるように補正し、
上記補正された設定位置を上記特徴部位の座標位置として検出することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
上記特徴位置検出部は、
上記差分値が所定のしきい値より小さい値となるまで、上記サイズが変換された画像における特徴点の設定位置の更新を繰り返し実行し、
上記差分値が上記しきい値より小さい値となった場合、上記サイズが変換された画像における特徴点の配置を上記サイズが変更された画像と上記トリミングされた画像との大きさの比に応じて注目画像において再現することにより、注目画像上に特徴点を設定し、
上記注目画像における特徴点の配置が上記所定の配置となるように当該注目画像の一部を変換した画像である平均形状画像を生成し、当該平均形状画像と上記平均顔画像との差分値に基づいて当該注目画像における特徴点の設定位置を更新することにより、当該注目画像における特徴点の設定位置を上記特徴部位の座標位置に近づけるように補正し、
上記補正された注目画像における特徴点の設定位置を上記特徴部位の座標位置として検出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記特徴位置検出部は、上記注目画像における特徴点の設定位置を更新する処理を、予め規定された回数を上限として実行することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記変換部は、上記トリミングされた画像の明るさ、コントラスト、色彩のうちの少なくとも一つ以上の要素を上記平均顔画像に近づける補正処理とともに上記サイズの変換を実行することを特徴とする請求項５〜請求項７のいずれかに記載の画像処理装置。
【請求項１】
画像に含まれる顔の特徴部位の座標位置を検出する画像処理装置であって、
注目画像から顔の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
上記顔領域を含む所定範囲の画像を上記注目画像からトリミングするトリミング部と、
上記トリミングされた画像のサイズを所定サイズに変換する変換部と、
上記サイズが変換された画像に基づいて上記特徴部位の座標位置を検出する特徴位置検出部とを備えることを特徴とする画像処理装置。
【請求項２】
上記変換部は、上記トリミングされた画像に対するノイズ低減のための処理とともに上記サイズの変換を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記変換部は、上記トリミングされた画像のサイズに応じて異なるノイズ低減用のフィルターを用いてノイズ低減のための処理を実行することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記トリミング部は、顔領域に対する顔画像の大きさ、角度、位置を表す予め規定された各パラメーターに応じて顔領域を基準にして特定される範囲の全て含む範囲をトリミングすることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
上記特徴位置検出部は、
上記サイズが変換された画像に対して上記特徴部位の座標位置を検出するための特徴点を設定し、
上記サイズが変換された画像の一部を特徴点の配置が所定の配置となるように変換した画像である平均形状画像を生成し、
上記平均形状画像と、複数のサンプル画像を平均化することにより生成された画像である平均顔画像と、の差分値を算出し、
上記算出した差分値に基づいて、上記サイズが変換された画像における特徴点の設定位置を更新することにより、当該設定位置を上記特徴部位の座標位置に近づけるように補正し、
上記補正された設定位置を上記特徴部位の座標位置として検出することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
上記特徴位置検出部は、
上記差分値が所定のしきい値より小さい値となるまで、上記サイズが変換された画像における特徴点の設定位置の更新を繰り返し実行し、
上記差分値が上記しきい値より小さい値となった場合、上記サイズが変換された画像における特徴点の配置を上記サイズが変更された画像と上記トリミングされた画像との大きさの比に応じて注目画像において再現することにより、注目画像上に特徴点を設定し、
上記注目画像における特徴点の配置が上記所定の配置となるように当該注目画像の一部を変換した画像である平均形状画像を生成し、当該平均形状画像と上記平均顔画像との差分値に基づいて当該注目画像における特徴点の設定位置を更新することにより、当該注目画像における特徴点の設定位置を上記特徴部位の座標位置に近づけるように補正し、
上記補正された注目画像における特徴点の設定位置を上記特徴部位の座標位置として検出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記特徴位置検出部は、上記注目画像における特徴点の設定位置を更新する処理を、予め規定された回数を上限として実行することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記変換部は、上記トリミングされた画像の明るさ、コントラスト、色彩のうちの少なくとも一つ以上の要素を上記平均顔画像に近づける補正処理とともに上記サイズの変換を実行することを特徴とする請求項５〜請求項７のいずれかに記載の画像処理装置。
【図１】
【図１０】
【図１５】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１０】
【図１５】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【公開番号】特開２０１１−４８７４７（Ｐ２０１１−４８７４７Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２００９−１９８２０８（Ｐ２００９−１９８２０８）
【出願日】平成２１年８月２８日（２００９．８．２８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２１年８月２８日（２００９．８．２８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]