画像処理装置、画像処理方法および画像処理プログラム
【課題】顔毎の形状等の特徴の違いをより正確に捉えた上で変形処理を行なうことが望まれていた。
【解決手段】注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出部と、上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定部と、上記設定された対象領域内の画像の変形を行う変形処理部とを備える構成とした。また、上記注目画像としての動画を構成するフレーム画像毎に、上記輪郭点の検出と対象領域の設定と画像の変形とを行なう。
【解決手段】注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出部と、上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定部と、上記設定された対象領域内の画像の変形を行う変形処理部とを備える構成とした。また、上記注目画像としての動画を構成するフレーム画像毎に、上記輪郭点の検出と対象領域の設定と画像の変形とを行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
顔画像を変形する技術として、対象画像から顔の少なくとも一部を含む矩形領域（顔領域）を検出し、顔領域に基づいて変形領域を設定し、変形領域内を分割して生成した各小領域を変形することにより変形領域内の画像の変形を行なう画像処理装置が知られている（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９‐１０４６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記文献においては、矩形として検出される顔領域の位置および大きさに基づいて変形領域を設定することにより、画像内の顔毎の変形（小顔化など）を行なっていた。
ここで、人顔は、面長の顔や丸顔など様々な形状をしており、更に性別、年齢などによっても違いがある。そのため、顔毎に自然かつ効果的な或いはユーザーが望む態様での画像変形結果を得るには、顔毎の形状等の違いをより正確に捉えた上で変形処理を行なうことが望ましい。
【０００５】
また、左右上下にいくらか振れている顔画像（顔の向きが正面向きではない顔画像）についても、自然かつ効果的な或いはユーザーが望む態様での変形結果を得ることが望まれている。さらに、動画内では顔の向きや大きさ等は随時変化し得るものである。動画においては、顔の変形結果の質が動画を構成するコマ（フレーム画像）毎に大きく異なってしまうと、コマ間の繋がりを欠いてしまい、ユーザーの視聴に堪えられないものとなってしまう。
【０００６】
本発明は上記課題の少なくとも一つを解決するためになされたものであり、画像における顔毎の特徴に応じて、顔毎に自然かつ効果的な或いはユーザーが望む態様での変形を行なうことができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の態様の一つは、画像処理装置であって、注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出部と、上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定部と、上記設定された対象領域内の画像の変形を行う変形処理部とを備える。
本発明によれば、変形処理の対象となる画像領域は、顔の細かな形状（輪郭）を正確に反映した領域となるため、その顔にとって最適な（自然かつ効果的な）変形結果を得ることができる。
【０００８】
画像処理装置は、上記注目画像としての動画を構成するフレーム画像毎に、上記輪郭点の検出と対象領域の設定と画像の変形とを行なうとしてもよい。当該構成によれば、動画再生の際に、フレーム画像毎に顔の正確な形状に基づいた変形が行なわれるため、ユーザーは適切に変形された顔を含む動画を快適に視聴できる。
【０００９】
上記検出部は、複数の特徴量に基づいて顔の輪郭を複数の特徴点の位置によって表現する形状モデルにおける特徴点の位置が、顔の輪郭に近づくように、当該特徴量を変更し、当該変更により補正された特徴点の位置を上記輪郭点の位置として検出するとしてもよい。当該構成によれば、各特徴量を変更することにより特徴点の位置を高い精度で顔の輪郭に一致にさせることができるため、上記輪郭点の位置を容易かつ正確に検出できる。
【００１０】
上記検出部は、顔の向きの変化に対応する特徴量を変更することにより、向きが変更された顔の輪郭を表現する位置に特徴点を設定するとともに、上記領域設定部は、当該特徴点の設定に追従して上記対象領域の設定を行なうとしてもよい。当該構成によれば、例えば、注目画像から正面向きの顔の輪郭点が検出された場合、当該正面向きの顔の向きを変化させたときの顔についての変形結果を得ることができる。
【００１１】
上記変形処理部は、上記顔の向きの変化の程度に応じて、画像の変形量を異ならせるとしてもよい。当該構成によれば、顔の向きの変化の程度に応じた最適な変形結果を得ることができる。
上記変形処理部は、上記顔の向きが変化する方向に略直交する方向にのみ変形させる所定箇所の画像に対する変形量は、上記顔の向きの変化の程度にかかわらず一定とする。当該構成によれば、例えば、正面を向く顔を左右に回転させたときの顔についての変形結果において、顎の先端部位に対する上下方向の変形量は、正面を向く顔であった場合の変形量と同じであるため、ユーザーは違和感の無い変形結果（例えば、動画）を見ることができる。
【００１２】
上記領域設定部は、上記検出された輪郭点に囲まれた領域内に基準点を設定し、当該基準点と各輪郭点とを結ぶ各線分を各輪郭点よりも外側へ所定距離延長した位置に各外枠点を設定し、当該各外枠点によって囲まれた領域を上記対象領域としてもよい。当該構成によれば、検出された輪郭を一回り大きくした範囲が対象領域となるため、その顔の形状にとって最適な変形結果を得ることができる。
【００１３】
画像処理装置は、上記顔の属性を判定する属性判定部を備え、上記変形処理部は、上記判定された顔の属性に応じて異なる変形を行なうとしてもよい。当該構成によれば、注目画像に含まれる顔の属性（例えば、性別や年齢など）に応じて変形量を最適化した変形処理を行なうことができるため、より一層、自然且つ効果的な顔画像の変形結果が得られる。
【００１４】
画像処理装置は、個人の顔別の変形態様を外部からの入力に従って登録する登録部と、上記注目画像に含まれる顔の個人識別を行なう識別部とを備え、上記変形処理部は、上記識別部によって識別された顔に対応する変形態様が上記登録部によって登録されている場合には、当該識別された顔を含んで設定されている対象領域の画像に、当該識別された顔に対応する変形態様による変形を施すとしてもよい。当該構成によれば、変形処理のタイプ（例えば、小顔化、シャープ化、有名人化など）や変形量などを含む変形態様を、個人の顔毎に好みの内容で登録しておくことができる。その結果、個人の顔の輪郭の違いに基づいた変形であって更にユーザーが好む態様による変形結果を、顔毎に得ることができる。
【００１５】
本発明の技術的思想は、画像処理装置以外によっても実現可能である。例えば、画像処理装置の各部が実行する処理工程を有する画像処理方法の発明や、画像処理装置の各部が実行する機能をコンピューターに実行させるコンピューター読取可能な画像処理プログラムの発明をも把握可能である。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置としてのプリンターの構成を概略的に示す説明図である。
【図２】ＡＡＭ設定処理を示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ０の一例を示す説明図である。
【図７】形状ベクトルｓｉおよび形状パラメーターｐｉと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ０（ｘ）の一例を示す説明図である。
【図１０】画像変形処理を示すフローチャートである。
【図１１】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１２】特徴点ＣＰの初期位置設定処理（Ｉｎｉｔ処理）を示すフローチャートである。
【図１３】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１４】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１５】特徴点ＣＰ設定位置補正処理（Ｆｉｔ処理）を示すフローチャートである。
【図１６】輪郭点検出処理の結果の一例を示す説明図である。
【図１７】変形領域ＣＡの設定処理を示すフローチャートである。
【図１８】輪郭点ＯＰの周囲に設定された変形領域ＣＡの一例を示す図である。
【図１９】変形領域ＣＡ内の画像に対する変形処理を示すフローチャートである。
【図２０】特徴点ＣＰの中から選択された選択特徴点ＳＣＰ等の一例を示す図である。
【図２１】特徴点移動テーブルの一例を示す図である。
【図２２】変形領域ＣＡ内の画像が変形される様子の一例を示す図である。
【図２３】横顔変形処理を示すフローチャートである。
【図２４】顔の形状ｓの向きの変更に応じた移動量の補正を説明する図である。
【図２５】動画変形処理を示すフローチャートである。
【図２６】テクスチャー検出処理を示すフローチャートである。
【図２７】年齢層判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施例を図面を参照しながら説明する。
１．第１実施例
１‐１．画像処理装置の構成
図１は、本実施形態にかかる画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。またプリンター１００は、本発明の画像処理方法を実行する装置である。プリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェイス（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやコンピューター３００）とのデータ通信を行うためのインターフェイス（Ｉ／Ｆ）１８０を備える。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００１８】
印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェイス１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェイスである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００１９】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで画像変形処理を実現する。画像変形処理では、まず、注目画像に含まれる顔画像における所定の特徴部位（例えば、目尻や鼻頭やフェイスライン）の座標位置を検出し、当該検出結果の一部を顔の輪郭に対応する輪郭点として取得する。そして、取得された輪郭点に基づいて定義した領域の画像を対象として変形処理を行なう。画像変形処理については後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００２０】
画像処理部２００は、画像変形処理を実現するためのプログラムモジュールとして、顔領域検出部２１０と、輪郭点検出部２２０と、領域設定部２３０と、変形処理部２４０と、属性判定部２５０と、登録部２６０と、識別部２７０と、を含んでいる。これら各部の機能についても後述する。
【００２１】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバーである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００２２】
内部メモリー１２０には、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、顔の特徴部位の位置検出（輪郭点検出処理とも言う）において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。また、内部メモリー１２０には、特徴点移動テーブル４２０も格納されている。特徴点移動テーブル４２０は、上記変形処理の際に参照される（後述）。
【００２３】
１‐２．ＡＡＭ設定処理
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザーがＡＡＭ設定用に用意されたコンピューター３００を操作することにより行なわれる。コンピューター３００は、ＣＰＵとＲＡＭとＲＯＭとＨＤＤとディスプレイと入力装置等を有しており、これらがバスによって接続されている。ＣＰＵはＨＤＤに記録されたプログラムを読み出し、該プログラムに従った演算処理を実行することにより、コンピューター３００が後述するＡＡＭ設定処理を実行する。
【００２４】
はじめに、ユーザーは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとしてコンピューター３００のメモリー（ＨＤＤ）上に用意する（ステップＳ１１０）。
図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い輪郭点検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２５】
次に、ユーザーの所定の操作によって、コンピューター３００は、それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。
図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顎や頬やこめかみの輪郭（フェイスライン）上の所定位置、といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）およびフェイスラインにおける所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、コンピューター３００がディスプレイに表示したサンプル画像ＳＩにおいてユーザーの操作により画面上で指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。
【００２６】
図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は、対応するサンプル画像ＳＩにおける人物の各特徴点ＣＰを示している。つまり特徴点ＣＰには０〜６７までの番号ｋが付されており、一つ一つの番号はそれぞれに決められた特徴部位に対応している。また、ＣＰ（ｋ）‐Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）‐Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００２７】
つづいて、コンピューター３００は、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓを下記の式（１）によりモデル化する。なお、式（１）で表した形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００２８】
【数１】
【００２９】
上記式（１）において、ｓ０は平均形状である。
図６は、平均形状ｓ０の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ０は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ０において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ０においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。
【００３０】
形状モデルを表す上記式（１）において、ｓｉは形状ベクトルであり、ｐｉは形状ベクトルｓｉの重みを表す形状パラメーターである。形状ベクトルｓｉは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ０とｎ個の形状ベクトルｓｉの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐｉを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。
【００３１】
図７は、形状ベクトルｓｉおよび形状パラメーターｐｉと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではｎ＝４）の固有ベクトルが、形状ベクトルｓｉとして採用される。形状ベクトルｓｉのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ１は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ１を大小させることにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ２は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ２を大小させることにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ３は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ４は口の開きの程度にほぼ相関するベクトルとなっている。
【００３２】
このように、形状パラメーターの値は、顔の表情や、顔向きや、形状など顔画像の特徴を表す。形状パラメーターは、特徴部位の座標が既知の顔画像を含む複数のサンプル画像に基づいて算出された特徴量である。また形状モデルは、複数の特徴量に基づいて、顔の輪郭を複数の特徴点ＣＰ（フェイスラインおよび眉毛に対応する特徴点ＣＰ）の位置によって表現するモデルとも言える。なお、コンピューター３００は、形状モデル設定ステップ（ステップＳ１３０）において設定した平均形状ｓ０および形状ベクトルｓｉを、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均形状ｓ０および形状ベクトルｓｉの情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。
【００３３】
つづいて、コンピューター３００は、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ０における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。
【００３４】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ０と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ０における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ０における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。
【００３５】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば、縦横５６画素×５６画素のサイズの画像として正規化される。
【００３６】
次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００３７】
【数２】
【００３８】
上記式（２）において、Ａ０（ｘ）は平均顔画像である。
図９は、平均顔画像Ａ０（ｘ）の一例を示す説明図である。平均顔画像Ａ０（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ０（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ０（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ０（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば、縦横５６画素×５６画素のサイズの画像として算出される。
【００３９】
テクスチャーモデルを表す上記式（２）において、Ａｉ（ｘ）はテクスチャーベクトルであり、λｉはテクスチャーベクトルＡｉ（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡｉ（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡｉ（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ１（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４０】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ０（ｘ）とｍ個のテクスチャーベクトルＡｉ（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλｉを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。
なお、コンピューター３００は、テクスチャーモデル設定ステップ（ステップＳ１４０）において設定した平均顔画像Ａ０（ｘ）およびテクスチャーベクトルＡｉ（ｘ）を、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均顔画像Ａ０（ｘ）およびテクスチャーベクトルＡｉ（ｘ）の情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。
【００４１】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ０から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４２】
１‐３．画像変形処理
図１０は、本実施例における画像変形処理を示すフローチャートである。画像変形処理は、概略的には、注目画像に含まれる顔の輪郭に対応する輪郭点を検出する処理（ステップＳ２４０）と、検出された輪郭点の位置に基づいて上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する処理（ステップＳ２５０）と、当該設定された領域内の画像の変形を行う処理（ステップＳ２６０）とを含む。
【００４３】
はじめに、画像処理部２００（図１）は、画像変形処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザーにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶ。
【００４４】
次に、画像処理部２００は、変形処理のタイプや変形度合い等（変形態様）を設定する（ステップＳ２２０）。この場合、画像処理部２００は、変形態様を設定するためのユーザーインターフェイスを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザーインターフェイスを通じてユーザーにより指定された変形処理のタイプや変形度合いを選択し、処理に用いる変形処理のタイプや変形度合いとして設定する。当該ユーザーインターフェイスを介して設定され得る変形処理のタイプとしては、例えば、顔の形状を全体的に小さくする「小顔化」、顔の形状を細く（シャープに）する「シャープ化」、顔を特定の俳優や歌手等の有名人に似せるように変形する「有名人化」等がある。また、ユーザーは、当該ユーザーインターフェイスを介して変形処理の変形度合い（変形量）を、例えば、「強」、「中」、「弱」の３段階の中から選択して指示することができる。
【００４５】
顔領域検出部２１０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２３０）。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００４６】
図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００４７】
輪郭点検出部２２０（図１）は、注目画像ＯＩに含まれる顔の輪郭点検出処理を行なう（ステップＳ２４０）。この輪郭点検出処理は、大きく分けて、第一段階としての特徴点ＣＰの初期位置設定処理（Ｉｎｉｔ処理と呼ぶ）と、第二段階としての特徴点ＣＰの設定位置補正処理（Ｆｉｔ処理と呼ぶ）とによって構成される。
図１２は、本実施例におけるＩｎｉｔ処理を示すフローチャートである。Ｉｎｉｔ処理では、まず、輪郭点検出部２２０は、顔領域ＦＡに対する顔画像の大きさ、傾き、上下方向の位置および左右方向の位置を表すグローバルパラメーターの値を種々変更して、特徴点ＣＰ（番号ｋ＝０〜６７までの６８個の特徴点ＣＰ）を注目画像ＯＩ上の仮設定位置に設定する（ステップＳ３１０）。
【００４８】
図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュを示している。特徴点ＣＰをつないで形成されるメッシュは、上述したように特徴点ＣＰを頂点とする複数の三角形領域ＴＡの集合である（図６（ａ）等参照）。輪郭点検出部２２０は、図１３（ａ）および図１３（ｂ）の中央に示すように、平均形状ｓ０における特徴点ＣＰの配置と等しい特徴点ＣＰの配置を持ったメッシュであって、最も平均的なグローバルパラメーターの組み合わせに応じて顔領域ＦＡに対する大きさ、傾き、位置を調整したメッシュを設定する。例えば、顔領域ＦＡに対する大きさを表す３段階（大きい、標準、小さい）のグローバルパラメーターと、顔領域ＦＡに対する上下方向の位置を表す３段階（上、中央、下）のグローバルパラメーターと、顔領域ＦＡに対する左右方向の位置を表す３段階（左、中央、右）のグローバルパラメーターと、顔領域ＦＡに対する傾きを表す３段階（反時計回り（−）に１５度、０度、時計回り（＋）に１５度）のグローバルパラメーターとが存在するとする。この場合、最も平均的なグローバルパラメーターの組み合わせとは、顔領域ＦＡに対する大きさは「標準」、顔領域ＦＡに対する上下方向の位置および左右方向の位置はそれぞれ「中央」、かつ顔領域ＦＡに対する傾きは「０度」を示すグローバルパラメーターの組み合わせを言う。本実施例では、図１３（ａ）および図１３（ｂ）の中央に示すようなメッシュを構成する特徴点ＣＰの設定位置（仮設定位置）を、「基準仮設定位置」とも呼ぶ。
【００４９】
輪郭点検出部２２０は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、輪郭点検出部２２０は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、輪郭点検出部２２０は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５０】
また、図１３（ｂ）に示すように、輪郭点検出部２２０は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、輪郭点検出部２２０は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５１】
輪郭点検出部２２０は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、上述したように夫々に３段階の値を持つ４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）を組み合わせたことにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と基準仮設定位置との、合計８１通りの仮設定位置が設定される。
【００５２】
輪郭点検出部２２０は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。
図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、注目画像ＯＩにおける特徴点ＣＰの配置が平均形状ｓ０における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００５３】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに仮設定された特徴点ＣＰ（図１３参照）によって変換対象領域（メッシュの外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、この変換対象領域に対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ０（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ０（ｘ）と同一サイズ（例えば、縦横５６画素×５６画素）の画像として算出される。
【００５４】
なお上述したように、画素群ｘは、平均形状ｓ０における平均形状領域ＢＳＡに位置する画素の集合である。本実施例では、平均形状画像は、形状パラメーターｐによるワープＷ（ｘ；ｐ）によって生成された画像（画素群）Ｉという意味で、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と表現している。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００５５】
輪郭点検出部２２０は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、輪郭点検出部２２０は、８１個の差分画像Ｉｅを算出する。
【００５６】
輪郭点検出部２２０は、各差分画像Ｉｅの画素値からノルム（ユークリッド距離）を算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための差分画像Ｉｅの画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により、Ｉｎｉｔ処理が完了する。Ｉｎｉｔ処理後、輪郭点検出部２２０はＦｉｔ処理を実行する。Ｆｉｔ処理では、輪郭点検出部２２０は、Ｉｎｉｔ処理で初期位置として設定された特徴点ＣＰの設定位置の補正を行う。
【００５７】
図１５は、Ｆｉｔ処理を示すフローチャートである。
輪郭点検出部２２０は、注目画像ＯＩに設定されている特徴点ＣＰに基づいて平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、Ｉｎｉｔ処理におけるステップＳ３２０と同様である。
【００５８】
輪郭点検出部２２０は、ステップＳ４１０で生成された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。輪郭点検出部２２０は、ステップＳ４２０で算出された差分画像Ｉｅに基づき、Ｆｉｔ処理が収束したか否かを判定する（ステップＳ４３０）。輪郭点検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定し、ノルムの値がしきい値以上の場合には未だ収束していないと判定する。なお、輪郭点検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出されたノルムの値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定してもよい。あるいは、輪郭点検出部２２０は、しきい値による判定と前回値との比較による判定とを組み合わせて収束判定を行うとしてもよい。例えば、輪郭点検出部２２０は、算出されたノルムの値が、しきい値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するとしてもよい。
【００５９】
ステップＳ４３０の収束判定において未だ収束していないと判定した場合、輪郭点検出部２２０はパラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、特徴量であるｎ個の形状パラメーターｐｉ（ｉ＝１〜ｎの整数。）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、Ｉｎｉｔ処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ０の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐｉの値はすべてゼロである。
【００６０】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００６１】
【数３】
【００６２】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐｉの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００６３】
【数４】
【数５】
式（４）および（５）における関数Ｗは、ワープＷ（ｘ；ｐ）を指し、変数Ｐは、形状パラメーターｐｉを指し、Ｔは転置行列を意味する。
【００６４】
輪郭点検出部２２０は、算出したパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーター）を更新する（ステップＳ４５０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正（更新）される。輪郭点検出部２２０は、差分画像Ｉｅのノルムが小さくなるように特徴点ＣＰの設定位置を補正する。すなわち、上記ｎ個の形状パラメーターをパラメーター更新量ΔＰで更新することで、形状モデルの上記式（１）に従って新たな形状ｓが生成されるため、輪郭点検出部２２０は、当該生成された形状ｓにおける特徴点ＣＰを注目画像ＯＩに設定する。このとき、輪郭点検出部２２０は、当該生成された形状ｓの大きさ、傾き、位置を、上記パラメーター更新量ΔＰで更新した４個のグローバルパラメーターに応じて調整した上で、特徴点ＣＰを注目画像ＯＩに設定する。このようにパラメーターの更新に応じて注目画像ＯＩに設定された特徴点ＣＰの位置が、補正後の特徴点ＣＰの設定位置である。
【００６５】
パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４５０）が行われる。
【００６６】
図１５のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、輪郭点検出処理が完了する（ステップＳ４６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。
【００６７】
図１６は、輪郭点検出処理の結果の一例を示す説明図である。図１６には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰ（番号ｋ＝０〜６７までの６８個の特徴点ＣＰ）の設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）およびフェイスラインにおける所定位置）の座標位置が特定される。そのため、輪郭点検出部２２０は、収束判定（ステップＳ４３０）において収束したと判定した時に、特徴点ＣＰの設定位置のうち、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛に対応する特徴点ＣＰ）の設定位置を、注目画像ＯＩにおける顔の輪郭点ＯＰの座標位置として取得し、輪郭点検出処理を完了させる。
【００６８】
領域設定部２３０（図１）は、上記ステップＳ２４０で検出された輪郭点ＯＰの位置に基づいて、当該輪郭点ＯＰで囲まれた領域よりも広い領域であって顔の少なくとも一部を含む領域を、変形処理の対象領域として設定する（ステップＳ２５０）。以下では、ステップＳ２５０で設定する対象領域を、変形領域ＣＡと呼ぶ。
【００６９】
図１７は、ステップＳ２５０の処理の詳細を示したフローチャートである。
図１８は、当該ステップＳ２５０の処理によって注目画像ＯＩに設定される変形領域ＣＡを例示している。まず、領域設定部２３０は、注目画像ＯＩにおいて、輪郭点ＯＰに囲まれた領域内に基準点ＳＰを設定する（ステップＳ５１０）。基準点ＳＰとは、輪郭点ＯＰに囲まれた領域のほぼ中心に相当する点である。本実施例では、顔領域ＦＡの重心を基準点ＳＰとして設定する。ただし領域設定部２３０は、注目画像ＯＩにおいて設定された特徴点ＣＰのうち、例えば、鼻の所定位置に該当する特徴点ＣＰの位置を、基準点ＳＰとしてもよい。
【００７０】
次に、領域設定部２３０は、基準点ＳＰと各輪郭点ＯＰとを結ぶ各線分Ｌを生成するとともに、各線分Ｌを、各輪郭点ＯＰから外側へ所定距離だけ延長する（ステップＳ５２０）。ここで言う所定距離とは、例えば、顔領域ＦＡのサイズの１０％程度の長さを言う。顔領域ＦＡのサイズとは、例えば、顔領域ＦＡの縦幅と横幅との平均値である。なお、顔領域ＦＡの縦幅とは、顔の高さ方向（上下方向）における顔領域ＦＡの幅であり、顔領域ＦＡの横幅とは、顔の横方向（左右方向）における顔領域ＦＡの幅である。
領域設定部２３０は、上記ステップＳ５２０で延長した各線分Ｌの端部（基準点ＳＰではない端部）に、外枠点ＰＰを設定する（ステップＳ５３０）。つまり、上記延長した各線分Ｌの端部を各外枠点ＰＰとする。
【００７１】
ただし、各輪郭点ＯＰに対応する各外枠点ＰＰの設定方法は、上述した手法に限られない。つまり、各外枠点ＰＰは、各輪郭点ＯＰとの所定の位置関係に基づいて各輪郭点ＯＰの外側に設定される点である。
領域設定部２３０は、隣接する外枠点ＰＰ同士を線分で結ぶことにより、外枠点ＰＰで囲まれた領域を設定し、かかる領域を変形領域ＣＡとする（ステップＳ５４０）。
【００７２】
図１８では、黒丸で表した各輪郭点ＯＰの外側に、白丸で各外枠点ＰＰを示している。このように外枠点ＰＰで囲まれた変形領域ＣＡの形状は、輪郭点ＯＰで囲まれた領域の形状に沿った形状となっている。つまり変形領域ＣＡは、注目画像ＯＩに含まれている顔の形状を詳細に反映した形となっている。
【００７３】
変形処理部２４０（図１）は、変形領域ＣＡ内の少なくとも一部の画像の変形を行なう（ステップＳ２６０）。
図１９は、ステップＳ２６０の処理の詳細を示したフローチャートである。まず、変形処理部２４０は、変形領域ＣＡ内の画像に対する変形処理の際に移動対象とする特徴点ＣＰを、上記輪郭点検出処理で注目画像ＯＩにおいて設定位置が最終的に特定された特徴点ＣＰ（輪郭点ＯＰを含む特徴点ＣＰ）の中から、上記ステップＳ２２０（図１０）で設定された変形処理のタイプに応じて選択する（ステップＳ６１０）。
【００７４】
上述したように、変形処理のタイプは、「小顔化」、「シャープ化」、「有名人化」等の中からユーザーが入力操作により任意に設定可能であり、変形処理のタイプと移動対象として選択すべき特徴点ＣＰとの対応関係は、予め決められているものとする。例えば、「小顔化」が設定されている場合には、変形処理部２４０は、「小顔化」のために移動対象とする特徴点ＣＰを選択する。変形処理部２４０は、「小顔化」のための移動対象の特徴点ＣＰとして、例えば、顎から頬にかけてのフェイスラインに対応する所定の番号にかかる複数の特徴点ＣＰ（輪郭点ＯＰ）を選択する。以下では、ステップＳ６１０において選択した特徴点ＣＰを、選択特徴点ＳＣＰと呼ぶ。ステップＳ６１０においては外枠点ＰＰは選択されない。
【００７５】
なお、図２０に示すように、「小顔化」のための選択特徴点ＳＣＰを、便宜上、ＳＣＰ０〜ＳＣＰ１０と表現する。図２０（後述の図２２も同様）では、特徴点ＣＰ（輪郭点ＯＰを含む特徴点ＣＰ）を黒丸で表し、上記外枠点ＰＰを図１８と同様に白丸で表している。
【００７６】
次に、変形処理部２４０は、内部メモリー１２０に格納された特徴点移動テーブル４２０に規定された移動量（あるいは、計算により設定された移動量）に従い、選択特徴点ＳＣＰの位置を移動して小領域（三角形領域）を変形することにより、変形領域ＣＡを変形させる（ステップＳ６２０）。ここで言う三角形領域とは、変形領域ＣＡを構成する複数の三角形領域であって、外枠点ＰＰまたは特徴点ＣＰを頂点として分割される三角形領域を意味している。特徴点移動テーブル４２０は、上述した変形処理のタイプ別、かつ、変形度合い（上述の例では、「強」、「中」、「弱」）別に予め用意されている。従って、当該Ｓ６２０では、変形処理部４２０は、上記ステップＳ２２０で設定された変形処理のタイプおよび変形度合いに対応する特徴点移動テーブル４２０を用いる。なお上記移動量は、画像の変形量とも呼べる。
【００７７】
図２１は、特徴点移動テーブル４２０（変形処理のタイプが「小顔化」かつ、変形度合いが「中」、に対応する特徴点移動テーブル４２０）の一例を示している。特徴点移動テーブル４２０では、その変形処理のタイプに対応する選択特徴点ＳＣＰ毎に、基準線ＲＬと直交する方向（Ｈ方向と呼ぶ。）に沿った移動量及び基準線ＲＬと平行な方向（Ｖ方向と呼ぶ。）に沿った移動量を定義している。基準線ＲＬとは、顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向に沿った辺に平行な直線である（図１８参照）。従って、Ｈ方向は顔の横方向に略相等し、Ｖ方向は顔の上下方向に略相等する。この移動量は、例えば、注目画像ＯＩの画素ピッチを単位として表されたり、所定のサイズを１００としたときの比率などで表される。当該所定のサイズとは、例えば、Ｈ方向に対する所定のサイズであれば、顔領域ＦＡの横幅や、輪郭点ＯＰによって囲まれた領域の横幅などが該当し、Ｖ方向に対する所定のサイズであれば、顔領域ＦＡの縦幅や、輪郭点ＯＰによって囲まれた領域の縦幅などが該当する。
【００７８】
また、Ｈ方向については、注目画像ＯＩに向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、注目画像ＯＩに向かって上方への移動量が正の値として表され、下方への移動量が負の値として表される。このような移動量は、特徴点移動テーブル４２０が対応している変形度合いのレベルに応じて、異なる値に設定されている。
【００７９】
なお、変形処理のタイプとして「有名人化」が設定されている場合には、変形処理部２４０は、単純に特徴点移動テーブル４２０を参照するのではなく、選択特徴点ＳＣＰ毎の移動量を計算により設定して使用する。例えば、変形処理部２４０は、内部メモリー１２０に予め格納された、「有名人化」の目的となる有名人の顔における特徴部位（眉毛、目、鼻、口およびフェイスラインにおける所定位置）の位置を表す特徴点からなるモデル（有名人顔モデル）を読み出す。そして、上記輪郭点ＯＰに囲まれた領域の画像と、有名人顔モデルの画像とのスケールを一致させた上で、「有名人化」のための選択特徴点ＳＣＰと、当該選択特徴点ＳＣＰに対応する有名人顔モデル内の特徴点との位置の差異を算出する。そして、変形処理部２４０は、このように算出した差異を無くすようなＨ方向およびＶ方向への移動量を、各選択特徴点ＳＣＰに対して設定する。ただし、当該差異を完全に打ち消すような移動量を設定すると、変形後の画像が不自然なものとなってしまうこともある。そのため、変形処理部２４０は、当該差異の何割かを打ち消すためのＨ方向およびＶ方向への移動量を選択特徴点ＳＣＰに設定する。当該差異の何割を打ち消すかは、上記ステップＳ２２０で設定された変形度合いのレベルに応じて異ならせる。
【００８０】
図２２は、特徴点移動テーブル４２０に従った選択特徴点ＳＣＰの位置の移動の一例を示す説明図である。図２２の例では、変形領域ＣＡ内において、上記選択特徴点ＳＣＰ０〜ＳＣＰ１０の位置を移動させて変形する際の具体的な変形態様（小顔化）を示している。変形処理部２４０は、変形領域ＣＡを構成する各三角形領域について、選択特徴点ＳＣＰの位置移動前の状態における領域の画像が選択特徴点ＣＰの位置移動により新たに定義された領域の画像となるように、画像の変形処理を行う。図２２では、理解容易のために、上段（変形前の図）において、各選択特徴点ＳＣＰの移動方向を矢印で例示しており、下段（変形後の図）において、選択特徴点ＳＣＰの移動に伴って変形した各三角形領域にハッチングを付している。つまり、３つの頂点の中に１つでも選択特徴点ＳＣＰを含んでいる三角形領域は全て変形の対象となる。三角形領域毎の画像の変形処理は、上述したようにアフィン変換によって実現してもよいし、特開２００９‐１０４６７２号公報に記載された方法によって行ってもよい。
【００８１】
図２２に示すように、ステップＳ６２０における選択特徴点ＳＣＰの移動の結果、Ｖ方向に関しては、選択特徴点ＳＣＰ０〜ＳＣＰ１０のうち、左右の頬の最も高い位置に対応する選択特徴点ＳＣＰ０，ＳＣＰ１０を除く選択特徴点ＳＣＰ１〜ＳＣＰ９の位置が上方に移動される。また、Ｈ方向に関しては、顎の先端に対応する選択特徴点ＳＣＰ５を除いて、向かって左側の選択特徴点ＳＣＰ０〜ＳＣＰ４の位置が右方向に移動され、向かって右側の選択特徴点ＳＣＰ６〜ＳＣＰ１０の位置が左方向に移動される。そのため、注目画像ＯＩにおける顔画像は、フェイスライン内側の顎や頬を含む領域が全体的に顔の略中心方向に向かって縮小するように変形され、フェイスライン外側の領域（特に、首の領域）が全体的に顔の略中心方向に向かって延びるように変形される。この結果、小顔化が実現される。本実施例では、変形領域ＣＡの内外の画像間の境界が不自然とならないように、変形領域ＣＡの外枠上に位置する外枠点ＰＰの位置は移動されないものとしている。
【００８２】
このように本実施例によれば、画像処理装置は、注目画像ＯＩに含まれる顔画像の特徴部位の座標位置に対応する特徴点ＣＰを検出することにより、顔の輪郭に対応する輪郭点ＯＰを取得し、輪郭点ＯＰの位置に基づいて輪郭点ＯＰに囲まれた領域の外側に外枠点ＰＰを設定し、外枠点ＰＰで囲まれた領域を変形領域ＣＡとして設定する。そして、変形領域ＣＡ内の特徴点ＣＰのうち所定の特徴点（選択特徴点ＳＣＰ）を移動させて変形領域ＣＡ内の小領域単位での変形を行なうことにより、例えば「小顔化」等の目的に応じた画像変形を実現する。つまり、上記のように設定される変形領域ＣＡは、顔の具体的な輪郭（形状）を正確に反映した形状である。そのため、変形領域ＣＡ内の画像を変形処理の対象とすることで、そのとき処理対象としている顔にとって極めて自然な、かつ目的としている画像変形の効果が確実に表れた、画像変形結果を得ることができる。
【００８３】
また、本実施例によれば、上記のように顔の輪郭を正確に反映した変形領域ＣＡの画像を対象として「小顔化」や「有名人化」等、ユーザーが任意に設定したタイプの変形処理がユーザーの好みの変形度合いで実行されるため、違和感の無い、ユーザーが望む最適な画像変形結果が得られる。
【００８４】
本発明は第１実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、以下のような各実施例も可能である。むろん、第１実施例や各実施例を適宜組み合わた構成も、本発明の範囲となる。以下において特に言及しない部分については、第１実施例で説明した内容が適用されるものとする。
【００８５】
２．第２実施例
本発明においては、ある方向を向いた顔画像を元に、別の方向を向いた顔画像であって変形処理が施された顔画像を生成することができる。例えば、ステップＳ２４０（図１０）が終了した時点で、注目画像ＯＩから、正面を向いた顔の形状を表す特徴点ＣＰ（輪郭点ＯＰを含む。）の設定位置が検出されたとする。画像処理部２００は、顔が正面向きであるか否かは、Ｆｉｔ処理が完了した時点での形状パラメーター（特に、形状パラメーターｐ１および形状パラメーターｐ２）の値を評価する（例えば、所定のしきい値と比較する）ことにより判定できる。また、領域設定部２３０により、当該正面を向いた顔についての輪郭点ＯＰの位置に基づいて、外枠点ＰＰも設定されたものとする。このような状況において、本実施例では、正面向きの顔画像について設定された特徴点ＣＰおよび外枠点ＰＰに基づいて、横方向（左右方向）にある程度振りのある顔画像であって変形処理がなされた顔画像を生成する処理（横顔変形処理と呼ぶ。）について説明する。
【００８６】
横顔変形処理を説明する前提として、本実施例においては、基本的に各特徴点ＣＰは３次元の位置情報を有するものとする。上記第１実施例では、特徴点ＣＰはＸ方向の座標とＹ方向の座標で表される２次元（平面）情報であったが、本実施例では、特徴点ＣＰは、さらにＺ方向の座標を持つ３次元（立体）情報である。つまり前提としての、ＡＡＭ設定処理においては、位置がＸ，Ｙ，Ｚ座標で表される６８個の特徴点ＣＰを有するサンプル画像ＳＩを複数用意し、各サンプル画像ＳＩにおける特徴点ＣＰ（Ｘ座標、Ｙ座標およびＺ座標）により構成される座標ベクトルに対する主成分分析を行なうことにより、顔の形状ｓをモデル化しておく（３次元形状モデルを生成しておく）。このような３次元形状モデルを用いる場合であっても、注目画像ＯＩに対して上記Ｉｎｉｔ処理とＦｉｔ処理とを行うことにより、注目画像ＯＩに含まれた顔の各特徴部位に対応した各特徴点ＣＰ（Ｘ，Ｙ，Ｚ座標）からなる形状ｓ（立体形状）を設定することができる。なお、この場合、平均形状ｓ０の特徴点ＣＰや平均顔画像Ａ０（ｘ）も３次元の位置情報を有するものとする。そして、このように設定した形状ｓについて、顔の向きの変化に対応する形状パラメーターを変更することにより、正面向きの状態から振りのある状態へと変形させることができる。
【００８７】
上記のように特徴点ＣＰを３次元情報とした場合、輪郭点ＯＰの位置に基づいて設定される外枠点ＰＰも、Ｘ，Ｙ，Ｚ座標を有する３次元情報とする。領域設定部２３０は、３次元空間上で、例えば鼻の所定位置に対応する特徴点ＣＰ付近に基準点ＳＰを設定し、基準点ＳＰと各輪郭点ＯＰとを結ぶ各線分Ｌを、各輪郭点ＯＰから外側へ所定距離だけ延長した位置に、各輪郭点ＯＰに対応する外枠点ＰＰを設定する。
【００８８】
図２３は、横顔変形処理を示したフローチャートである。輪郭点検出部２２０は、顔の向きの変化に対応する形状パラメーター（顔の形状ｓの左右方向への向き（振り）の程度を変化させる上記形状パラメーターｐ１）を所定量変更することにより、顔の形状ｓを、正面向きの状態から振りのある状態（例えば、左振りの状態。図７（ｂ）参照。）へと変化させる（ステップＳ７１０）。つまり、立体形状（ワイヤーフレーム）としての形状ｓが顔の左方向に回転する。この結果、向きがある程度左向き（注目画像ＯＩに正対した向きから見て左向き画像）となった顔の輪郭や器官の位置を表現する特徴点ＣＰが設定される。
【００８９】
領域設定部２３０は、当該顔向きの変化に応じた特徴点ＣＰの位置の変更に追従して、外枠点ＰＰの位置を変更し、変形領域ＣＡを設定し直す（ステップＳ７２０）。つまり、正面向きの顔の形状ｓを表現していた特徴点ＣＰのうちの輪郭点ＯＰの位置に基づいて設定されていた外枠点ＰＰの位置を、対応する輪郭点ＯＰとの相対的な位置関係を維持しつつ、上記形状パラメーターｐ１の変更による形状ｓの振り量（左方向への回転量）に応じて変更する。この結果、左振りの顔の形状ｓを表す特徴点ＣＰの周囲を取り囲む外枠点ＰＰによって、当該左振りの顔の形状ｓに対応した変形領域ＣＡが新たに設定される。なお、当該ステップＳ７２０の処理は、顔の形状ｓの向きの変化（ステップＳ７１０）とほぼ同時に実行される。
【００９０】
変形処理部２４０は、上記ステップＳ６１０と同様に、変形処理の際の移動対象とする特徴点ＣＰ（選択特徴点ＳＣＰ）を選択する（ステップＳ７３０）。
次に、変形処理部２４０は、特徴点移動テーブル４２０に規定された選択特徴点ＳＣＰ毎の移動量および上記ステップＳ７１０における形状パラメーターの変更量に基づいて、選択特徴点ＳＣＰ毎の移動量を算出する（ステップＳ７４０）。具体的には、変形処理部２４０は、上記ステップＳ７１０において上述したように顔の左右方向への向きの程度を変化させる形状パラメーターｐ１が変更されている場合には、この形状パラメーターｐ１の変更量に応じて、特徴点移動テーブル４２０に規定された選択特徴点ＳＣＰ毎の移動量のうちＨ方向への移動量を補正する。
【００９１】
図２４は、形状パラメーターｐ１の変更量に応じて、選択特徴点ＳＣＰのＨ方向への移動量を算出する様子を説明する図である。図２４では、上記ステップＳ７１０において形状パラメーターｐ１を変更したことにより、形状ｓが正面向きの状態から顔の横方向へ回転した（ある程度左振りとなった）状況の一部を、顔の真上から見た状態を示している。図２４においては、形状ｓに含まれるある特徴点ＣＰ１と、これに隣接する特徴点ＣＰ２と、特徴点ＣＰ２に対応する外枠点ＰＰ１とが、角度θだけ回転した様子を示している。角度θは、上記ステップＳ７１０における形状パラメーターｐ１の変更量に応じて、一義的に定まる３次元空間上での回転量である。ここでは、回転後の各点ＣＰ１，ＣＰ２，ＰＰ１についてそれぞれ「´」を付して表している。なお、特徴点ＣＰ２は、輪郭点ＯＰであり、かつ選択特徴点ＳＣＰでもある。
【００９２】
本実施例では、内部メモリー１２０に予め格納されている特徴点移動テーブル４２０は、変形処理の対象となる顔が正面を向いている（左右にも上下にも振れていない）ことを前提として各選択特徴点ＳＣＰに対するＨ方向およびＶ方向の移動量を規定している。そこで、選択特徴点ＳＣＰに対して特徴点移動テーブル４２０に規定されているＨ方向の移動量をｈとした場合、形状パラメーターｐ１の変更によって形状ｓが正面向きの状態から顔の横方向へ角度θだけ回転したときの、選択特徴点ＳＣＰに対するＨ方向の移動量ｈ´は、下記式（６）によって算出される。
【数６】
【００９３】
なお、変形処理部２４０は、上記ステップＳ７１０において顔の上下方向への向きの程度を変化させる形状パラメーターｐ２が変更されている場合には、この形状パラメーターｐ２の変更量に応じて、特徴点移動テーブル４２０に規定された選択特徴点ＳＣＰ毎の移動量のうちＶ方向への移動量を補正する。つまり、特徴点移動テーブル４２０に規定されているＶ方向の移動量をｖとした場合、形状パラメーターｐ２の変更によって形状ｓが正面向きの状態から顔の上下方向へ角度θだけ回転したとき（上振りまたは下振りの状態となったとき。図７（ｃ）参照。）の、選択特徴点ＳＣＰに対するＶ方向の移動量ｖ´は、下記式（７）によって算出される。
【数７】
【００９４】
このように本実施例では、変形処理部２４０は、上記顔の向きの変化の程度に応じて、画像の変形量を異ならせている。変形処理部２４０は、上記のように算出した移動量（Ｈ方向及び又はＶ方向の移動量）に従い、上記ステップＳ７１０で向きが変更された後の形状ｓにおける選択特徴点ＳＣＰの位置をＨ方向及び又はＶ方向に移動させて三角形領域を変形する（ステップＳ７５０）。つまり、選択特徴点ＳＣＰをいずれかの頂点に含む各三角形領域について、上記ステップＳ７１０での向きの変更前の状態における領域の画像が、当該向きの変更および上記算出された移動量による選択特徴点ＳＣＰの移動により新たに定義された領域の画像となるように、変形処理を行う。この結果、正面向きの顔画像から、別の方向を向いた顔画像（例えば、左振りの顔）であって、その顔の振りの程度に応じた変形量によって適切に変形処理が施された（例えば「小顔化」が施された）顔画像が得られる。
【００９５】
上記説明で明らかなように、本実施例では、形状ｓに顔の横方向への振りを加えた上で変形処理を行うときには、選択特徴点ＳＣＰのＨ方向の移動量を補正し、形状ｓに顔の上下方向への振りを加えた上で変形処理を行うときには、選択特徴点ＳＣＰのＶ方向の移動量を補正する。これは言い換えれば、元々Ｖ方向への移動量のみが規定されている選択特徴点ＳＣＰ（例えば、顎の先端に対応する選択特徴点ＳＣＰ５。図２２参照。）に関しては、形状ｓに顔の横方向への振りだけを加えた上で変形処理を行うときには移動量（変形量）は一定である。同様に、Ｈ方向への移動量のみが規定されている選択特徴点ＳＣＰに関しては、形状ｓに顔の上下方向への振りだけを加えた上で変形処理を行うときには移動量（変形量）は一定である。つまり変形処理部２４０は、形状パラメーターの変更により顔の向きが変化する方向に略直交する方向にのみ変形させる箇所（選択特徴点ＳＣＰ）の画像に対する変形量は、顔の向きの変化の程度にかかわらず一定としている。
【００９６】
ここで、注目画像ＯＩは静止画に限定されず動画であってもよい。例えば、上述した横顔変形処理のように、向き等が変化する顔の変化に追従して変形領域ＣＡを設定して変形を施す処理を、動画を対象として行ってもよい。
【００９７】
図２５は、動画内の顔画像に対して変形を施す処理（動画変形処理）をフローチャートにより示している。当該フローチャートの処理を実行する画像処理装置は、プリンター１００であってもよいが、ここではコンピューター３００であるとする。そして、コンピューター３００は、上記画像処理部２００と同等の機能を実行可能なコンピュータープログラム（便宜上、画像処理部２００と呼ぶ。）を有しており、当該コンピュータープログラム（画像処理部２００）に従って、動画変形処理を実行する。本実施例における動画変形処理とは、概略的には、注目画像ＯＩとしての動画を構成するフレーム画像毎に、顔の輪郭点ＯＰ（特徴点ＣＰ）の検出と変形領域ＣＡの設定と画像の変形と、を行なう処理である。
【００９８】
まず、画像処理部２００は、動画変形処理の対象となる注目画像ＯＩとしての動画を表す動画ファイルを、コンピューター３００のＨＤＤ等から取得し（ステップＳ８１０）、上記ステップＳ２２０（図１０）と同様に 変形処理のタイプや変形度合い等を設定する（ステップＳ８２０）。
【００９９】
次に、画像処理部２００は、動画ファイルを構成する１フレーム目の画像の再生処理を行う（ステップＳ８３０）。１フレーム目の画像の再生処理においては、画像処理部２００は、まず、１フレーム目の画像に含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する。次に、画像処理部２００は、顔領域ＦＡの位置に基づいて上記Ｉｎｉｔ処理を実行し、Ｉｎｉｔ処理の結果設定された特徴点ＣＰの初期位置に基づいて、変形領域ＣＡを設定する（初期位置として設定された特徴点ＣＰのうちの輪郭点ＯＰ（外周に位置する特徴点ＣＰ）の位置に基づいて外枠点ＰＰを設定し、外枠点ＰＰに囲まれた領域を変形領域ＣＡとして設定する）。そして、画像処理部２００は、上述したように選択特徴点ＳＣＰを特徴点移動テーブル４２０に規定された移動量に従って移動させることにより、変形領域ＣＡ内の画像（三角形領域ごとの画像）を変形させる。そして、このように変形処理が施された画像領域を含む１フレーム目の画像を、コンピューター３００のディスプレイ等に表示させる。この結果、例えば、変形処理のタイプとして「小顔化」が設定されていた場合には、小顔化された顔画像を含む画面（１フレーム目）が、ディスプレイ上に表示される。
【０１００】
次に、画像処理部２００は、動画ファイルを構成する１＋ｋフレーム目の画像を対象とした再生処理を行う（ステップＳ８４０）。ｋは１以上の整数であり、画像処理部２００は、ステップＳ８３０の直後のステップＳ８４０においてはｋ＝１に設定し、以降、ステップＳ８４０を繰り返すたびにｋの値を１ずつインクリメントする。１＋ｋフレーム目（２フレーム目以降）の画像の再生処理においては、画像処理部２００は、まず、１＋ｋ−１フレーム目の画像の再生処理において設定された特徴点ＣＰの位置に基づいて、１＋ｋフレーム目の画像上でＦｉｔ処理を実行することにより、特徴点ＣＰの設定位置を補正する。つまり、２フレーム目の画像の再生処理であれば、１フレーム目の再生処理時のＩｎｉｔ処理によって初期位置として設定された特徴点ＣＰに基づいて、２フレーム目の画像から平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成し、上述したように差分画像Ｉｅに応じたパラメーター更新量ΔＰにより特徴点ＣＰの設定位置を補正する。３フレーム目以降の画像の再生処理であれば、直前のフレームの再生処理時のＦｉｔ処理によって補正された特徴点ＣＰに基づいて、現在のフレーム画像から平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成し、上述したように差分画像Ｉｅに応じたパラメーター更新量ΔＰにより特徴点ＣＰの設定位置をさらに補正する。
【０１０１】
なお、一回のステップＳ８４０において行うＦｉｔ処理では、パラメーター更新量ΔＰによる特徴点ＣＰの設定位置の補正を、一回だけ行うとしてもよい。画像処理部２００は、Ｆｉｔ処理の結果補正された特徴点ＣＰの設定位置に基づいて、変形領域ＣＡを設定（特徴点ＣＰのうちの輪郭点ＯＰ（外周に位置する特徴点ＣＰ）の位置に基づいて外枠点ＰＰを設定し、外枠点ＰＰに囲まれた領域を変形領域ＣＡとして設定）した上で、上述したように選択特徴点ＳＣＰを特徴点移動テーブル４２０に規定された移動量に従って移動させることにより、変形領域ＣＡ内の画像（三角形領域ごとの画像）を変形させる。そして、このように変形処理が施された画像領域を含む１＋ｋフレーム目の画像を、コンピューター３００のディスプレイ等に表示させる。
【０１０２】
ただし、当該ステップＳ８４０では、画像処理部２００は、特徴点移動テーブル４２０に規定された移動量をそのまま選択特徴点ＳＣＰの移動に適用するのではなく補正してもよい。つまり、Ｆｉｔ処理においてパラメーター更新量ΔＰによって更新した後の形状パラメーターｐ１，ｐ２に基づいて、Ｆｉｔ処理後の顔の向きを特定し、当該特定した顔の向きに応じて、上記横顔変形処理で説明したように、特徴点移動テーブル４２０に規定されたＨ方向及び又はＶ方向の移動量を補正し、補正後の移動量に従って選択特徴点ＳＣＰを移動させる。
【０１０３】
ステップＳ８５０では、画像処理部２００は、動画ファイルを構成する最終のフレーム画像についてステップＳ８４０の処理を実行したか否か判定し、実行済みと判定した場合には、動画変形処理を終了する。一方、最終のフレーム画像についてステップＳ８４０の処理を未実行であると判定した場合には、ステップＳ８４０に戻り、次のフレーム画像を対象としてステップＳ８４０を実行する。
【０１０４】
このように動画変形処理によれば、動画を構成するフレーム画像毎に、動画内の顔画像について、輪郭点ＯＰの検出、変形領域ＣＡの設定および変形処理を施し、変形処理した顔画像を含む各フレーム画像を表示する。そのため、極めて自然に「小顔化」等の変形処理が施された顔が複数のフレーム画像に亘って滑らかに動く画像をユーザーに提供することができる。また、フレーム画像毎に繰り返し実行される上記ステップＳ８４０においては、直前のフレーム画像でＩｎｉｔ処理またはＦｉｔ処理によって設定された特徴点ＣＰの位置に基づいてＦｉｔ処理を行う。そのため、各Ｆｉｔ処理では、フレーム画像間で随時変化する顔の特徴部位の位置に対して、特徴点ＣＰ（輪郭点ＯＰ）の位置を精度良く追従させることができる。従って、フレーム画像毎の変形処理の結果は、各フレーム画像が含む顔の形状や位置や大きさを正確に反映した最適な結果となる。
【０１０５】
３．第３実施例
上記では、画像処理装置は、ユーザーが設定した変形処理のタイプや変形度合い等（変形態様）に応じた変形処理を実行するとしたが、かかる構成に代えて或いは加えて、変形処理の対象となる顔の属性に応じた変形処理を行うようにしてもよい。顔の属性とは、例えば、性別や年齢層などである。画像処理部２００は、性別に応じた変形処理を行なう場合、属性判定部２５０（図１）によって、テクスチャー検出処理を実行する。テクスチャー検出処理は、上記輪郭点検出処理（図１０のステップＳ２４０）の後に行う。
【０１０６】
図２６は、テクスチャー検出処理を示すフローチャートである。属性判定部２５０（図１）は、輪郭点検出処理が完了した時点で注目画像ＯＩに設定されている特徴点ＣＰに基づいて、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ９１０）。
【０１０７】
さらに、属性判定部２５０は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に基づく平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））を算出する（ステップＳ９１５）。平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））は、以下の式（８）によって算出される。
【数８】
式（８）は、式（２）における顔のテクスチャーＡ（ｘ）に平均形状画像Ｉ（Ｗ（ｘ；ｐ））を代入したものであり、テクスチャーパラメーターλｉが適切に設定されれば、Ｊ（Ｑ（ｘ；λ））が平均顔画像Ａ０（ｘ）と等しくなる。なお、初めてステップＳ９１５において平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））を算出する場合、属性判定部２５０は、適当なテクスチャーパラメーターλｉ（例えば、デフォルト値として予め決められたテクスチャーパラメーターλｉ）を用いて算出する。本実施例では、平均テクスチャー画像は、テクスチャーパラメーターλの変更による上記式（８）の変換Ｑ（ｘ；λ）によって生成された画像（画素群）Ｊという意味で、平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））と表現している。
【０１０８】
属性判定部２５０は、平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ９２０）。属性判定部２５０は、差分画像Ｉｅに基づき、テクスチャー検出処理が収束したか否かを判定する（ステップＳ９３０）。属性判定部２５０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定し、ノルムの値がしきい値以上の場合には未だ収束していないと判定する。なお、属性判定部２５０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ９３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。ここにおける収束の判定は、上述したＦｉｔ処理における収束判定と同様の手法により行うことができる。
【０１０９】
ステップＳ９３０の収束判定において未だ収束していないと判定された場合には、属性判定部２５０は、パラメーター更新量ΔΛを算出する（ステップＳ９４０）。パラメーター更新量ΔΛは、特徴量であるｍ個のテクスチャーパラメーターλｉ（ｉ＝１〜ｍの整数。）の値の変更量を意味している。パラメーター更新量ΔΛは、下記の式（９）により算出される。すなわち、パラメーター更新量ΔΛは、アップデートマトリックスＵと差分画像Ｉｅとの積である。
【０１１０】
【数９】
【０１１１】
式（９）におけるアップデートマトリックスＵは、差分画像Ｉｅに基づきパラメーター更新量ΔΛを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＵの行数Ｍは、テクスチャーパラメーターλｉの数（ｍ個）に等しく、列数Ｎは、平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＵは、下記の式（１０），（１１）により算出される。
【数１０】
【数１１】
式（１０）および（１１）における関数Ｑは、上記式（８）による変換を指し、変数Λは、テクスチャーパラメーターλｉを指し、Ｔは転置行列を意味する。
【０１１２】
属性判定部２５０は、算出したパラメーター更新量ΔΛに基づきテクスチャーパラメーターλｉを更新する（ステップＳ９５０）。これにより、顔のテクスチャーＡ（ｘ）が補正される。すなわち、属性判定部２５０は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、補正されたテクスチャーパラメーターλｉに基づいて平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））の算出（ステップＳ９１５）、差分画像Ｉｅの算出（ステップＳ９２０）、差分画像Ｉｅに基づく収束判定（ステップＳ９３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔΛの算出（ステップＳ９４０）、パラメーターの更新によるテクスチャーの補正（ステップＳ９５０）が行われる。
【０１１３】
図２６のステップＳ９１０からＳ９５０までの処理が繰り返し実行されると、上記式（２）で計算される顔のテクスチャーＡ（ｘ）の各画素の輝度値（色彩値）が、実際の顔画像の輝度値に全体として近づいていき、ある時点で収束判定（ステップＳ９３０）において収束したと判定される。収束判定において収束したと判定されると、テクスチャー検出処理が完了する（ステップＳ９６０）。このとき設定されているテクスチャーパラメーターλｉの値は、対応するテクスチャーベクトルＡｉ（ｘ）が表す顔の特性に関して、注目画像ＯＩにおける実際の顔の見えと平均顔画像Ａ０（ｘ）見えとがどれぐらい異なっているかを示している。従って、このとき設定されているテクスチャーパラメーターλｉの値により特定される顔のテクスチャーＡ（ｘ）が最終的な顔の見えとして特定される。
【０１１４】
属性判定部２５０は、テクスチャー検出処理が完了した時点で設定されているｍ個のテクスチャーパラメーターλｉのうち、性別の差に相関する第１テクスチャーベクトルＡ１（ｘ）のテクスチャーパラメーターλ１を読み出す。そして、当該テクスチャーパラメーターλ１を所定のしきい値と比較して評価することにより、テクスチャーパラメーターλ１が示す性別が男性と女性とのどちらであるかを判定（推定）する。ただし、属性判定部２５０による顔の性別の判定は、テクスチャーパラメーターによる判定に限られず、注目画像ＯＩに含まれている顔の性別を判定可能な手法であれば、公知の手法を含めてあらゆる手法を採用可能である。
【０１１５】
変形処理部２４０は、変形領域ＣＡ内の画像の変形処理（図１０のステップＳ２６０）に際して、上記のように属性判定部２５０によって判定された顔の属性（性別）に応じて異なる変形を行なう。例えば、内部メモリー１２０には、男性の顔に対して適用して好適な移動量を規定した特徴点移動テーブル４２０と、女性の顔に対して適用して好適な移動量を規定した特徴点移動テーブル４２０とがそれぞれ予め格納されている。そして、変形処理部２４０は、上記判定された顔の性別に応じて特徴点移動テーブル４２０を選択し、当該選択した特徴点移動テーブル４２０に規定されている移動量に従って選択特徴点ＳＣＰを移動させることにより、性別に応じた最適な変形処理を行う。或いは、上記第１実施例のように、変形処理のタイプ別かつ変形度合い別に、特徴点移動テーブル４２０を予め用意する場合、より詳細に、変形処理のタイプ別かつ変形度合い別かつ男女別に、特徴点移動テーブル４２０を内部メモリー１２０に用意しておく。そして、変形処理部２４０は、ユーザーによって設定されている変形処理のタイプ、変形度合い、および上記判定された顔の性別に応じて、特徴点移動テーブル４２０を選択し、当該選択した特徴点移動テーブル４２０に規定されている移動量に従って選択特徴点ＳＣＰを移動させることにより、変形処理のタイプ、変形度合いおよび性別に応じた最適な変形処理を行うとしてもよい。
【０１１６】
画像処理部２００は、年齢層に応じた変形処理を行なう場合、輪郭点検出処理が完了した時点で設定されている形状パラメーターｐｉの値を総合的に評価することにより、顔の年齢層を判定する処理（年齢層判定処理）を実行する。年齢層判定処理は、上記輪郭点検出処理（図１０のステップＳ２４０）の後に行う。
【０１１７】
図２７は、年齢層判定処理を示すフローチャートである。属性判定部２５０は、判定対象の年齢層を選択する（ステップＳ１０１０）。本実施例では、数種類の年齢層（例えば、幼児、少年、成人、老人などの各年齢層）を判定対象とし、幼児→少年→成人→老人…の順で判定対象を選択する。属性判定部２５０は、ｎ個の形状パラメーターｐｉの中から、その年齢層らしさを示す判定値Ｅを算出するために使用するｇ個の形状パラメーター（形状パラメーターｑｉと表す。ｉ＝１〜ｇの整数。）を選択する（ステップＳ１０２０）。属性判定部２５０は、形状パラメーターｑｉを下記式（１２）に代入することにより、判定値Ｅを算出する（ステップＳ１０３０）。
【数１２】
【０１１８】
式（１２）において、αｉは各形状パラメーターｑｉについて設定された重み係数を示し、ｋｎは正規化のための係数を示している。すなわち、判定値Ｅは、形状パラメーターｑｉを重み係数αｉに基づく重みによって線形結合した値である。なお、年齢層毎に、ｎ個の形状パラメーターｐｉの中から選択されるｇ個の形状パラメーターｑｉは異ならせ、形状パラメーターｑｉに対する重み係数αｉも各年齢層に対応して用意されているとしてもよい。判定値Ｅを算出すると、属性判定部２５０はすべての年齢層の選択を完了したか否かを判定し（ステップＳ１０４０）、完了していない場合にはステップＳ１０１０に戻り次の年齢層を選択する。これにより、数種類の各年齢層についてそれぞれ判定値Ｅを順に算出していくことができる。各年齢層について判定値Ｅが算出できると、属性判定部２５０は年齢層の判定を行う。具体的には、属性判定部２５０は、最も判定値Ｅの大きい年齢層を、注目画像ＯＩに含まれている顔の年齢層であると判定（推定）する（ステップＳ１０５０）。ただし、属性判定部２５０による顔の年齢層の判定は、上述した手法に限られず、注目画像ＯＩに含まれている顔の年齢層を判定可能な手法であれば、公知の手法を含めてあらゆる手法を採用可能である。
【０１１９】
変形処理部２４０は、変形領域ＣＡ内の画像の変形処理（図１０のステップＳ２６０）に際して、上記のように属性判定部２５０によって判定された顔の年齢層に応じて異なる変形を行なう。例えば、内部メモリー１２０には、各年齢層の顔に対して適用して好適な移動量を規定した各特徴点移動テーブル４２０が予め格納されている。変形処理部２４０は、上記判定された顔の年齢層に応じて特徴点移動テーブル４２０を選択し、当該選択した特徴点移動テーブル４２０に規定されている移動量に従って選択特徴点ＳＣＰを移動させることにより、年齢層に応じた最適な変形処理を行う。或いは、上記第１実施例のように、変形処理のタイプ別かつ変形度合い別に、特徴点移動テーブル４２０を予め用意する場合、より詳細に、変形処理のタイプ別かつ変形度合い別かつ年齢層別に、特徴点移動テーブル４２０を内部メモリー１２０に用意しておく。そして、変形処理部２４０は、ユーザーによって設定されている変形処理のタイプ、変形度合い、および上記判定された顔の年齢層に応じて、特徴点移動テーブル４２０を選択し、当該選択した特徴点移動テーブル４２０に規定されている移動量に従って選択特徴点ＳＣＰを移動させることにより、変形処理のタイプ、変形度合いおよび年齢層に応じた最適な変形処理を行うとしてもよい。むろん、変形処理部２４０は、性別および年齢層の両方の違いに応じて、異なる変形処理を行うとしてもよい。
【０１２０】
４．第４実施例
ユーザーが望む変形結果をより精度良く得るために、個人の顔別の変形態様を予め画像処理装置（プリンター１００）に登録する構成が考えられる。この場合、登録部２６０（図１）は、異なる個人（人物Ａ，Ｂ，Ｃ…）毎の顔の特徴を表した情報（顔特徴情報）を、ユーザーによる操作部１４０の操作入力に応じて、或いは、外部のコンピューター３００等から入力し、内部メモリー１２０に登録しておく。あるいは、画像処理部２００は、個人毎の顔写真に基づいて、上記のように形状パラメーターやテクスチャーパラメーターを取得する処理を予め行なっておき、個人毎に取得した形状パラメーターやテクスチャーパラメーターを、顔特徴情報として登録部２６０に登録させる。また、登録部２６０は、上記個人（人物Ａ，Ｂ，Ｃ…）毎の変形態様を、ユーザーによる操作部１４０の入力操作等に応じて設定し、当該設定した内容を内部メモリー１２０に登録しておく。ユーザーは、変形処理のタイプ、変形度合いはもちろん、変形処理の際に移動対象とすべき選択特徴点ＳＣＰの位置や数、さらには、選択特徴点ＳＣＰ毎の移動量（移動後の位置）などの詳細な変形態様を、個人の顔毎に登録することができる。
【０１２１】
このような登録がなされていることを前提として、画像変形処理（図１０）を行なう場合、識別部２７０（図１）は、注目画像ＯＩに含まれている顔の個人識別を行う。本実施例においては、上記ステップＳ２２０の処理（図１０）は不要である。個人識別を行うタイミングは様々であるが、例えば、識別部２７０は、輪郭点検出処理（図１０のステップＳ２４０）の後に個人識別を行う。個人識別は、注目画像ＯＩに含まれている顔の特徴を表す所定の情報と、上記登録部２６０によって内部メモリー１２０に登録済みの個人毎の顔特徴情報とを比較することにより、注目画像ＯＩに含まれている顔が誰であるか（人物Ａ，Ｂ，Ｃ…の誰であるか）を特定する処理であり、公知の個人識別のための手法を採用すればよい。上記顔特徴情報および、顔の特徴を表す所定の情報とは、例えば、上記形状パラメーターやテクスチャーパラメーターなどであってもよいし、それら以外の所定の情報であってもよい。
【０１２２】
このように識別部２７０によって、注目画像ＯＩ内の顔の個人が識別された場合（例えば、注目画像ＯＩ内の顔が人物Ａであると特定された場合）、変形処理部２４０は、当該識別された顔（人物Ａ）に対応して設定されている変形領域ＣＡ内の画像に、当該識別された顔（人物Ａ）に対応して内部メモリー１２０に登録されている変形態様による変形処理を施す。この結果、注目画像ＯＩ内の人物Ａの顔は、ユーザーが人物Ａのために予め登録した変形態様による変形処理が施された結果となる。なお、本実施例においては、注目画像ＯＩに顔が含まれている場合であっても、識別部２７０による個人識別が成功しなかった顔（人物Ａ，Ｂ，Ｃ…の誰であるかが特定されなかった顔）については、その変形領域ＣＡの変形処理は実行しないものとする。つまり、予め顔特徴情報および変形態様を登録しておいた人物についてのみ、変形処理が行われる構成としてもよい。
【０１２３】
５．変形例
上述した特徴点ＣＰの初期位置設定処理（Ｉｎｉｔ処理）や設定位置補正処理（Ｆｉｔ処理）では、注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより、注目画像ＯＩの特徴点ＣＰの設定位置を平均顔画像Ａ０（ｘ）の特徴点ＣＰの設定位置に整合させている。しかし逆に、平均顔画像Ａ０（ｘ）に対して画像変換を行うことにより、注目画像ＯＩの特徴点ＣＰと平均顔画像Ａ０（ｘ）の特徴点ＣＰとの配置を整合させるとしてもよい。
【０１２４】
また、Ｉｎｉｔ処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。
また上記では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【０１２５】
また、平均顔画像Ａ０（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ０（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ０（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
また上記では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【０１２６】
また上記では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。
また上記では、主に画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がコンピューター３００やデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【符号の説明】
【０１２７】
１００…プリンター、１１０…ＣＰＵ、１２０…内部メモリー、１４０…操作部、１５０…表示部、１６０…印刷機構、１７０…カードインターフェイス、１７２…カードスロット、２００…画像処理部、２１０…顔領域検出部、２２０…輪郭点検出部、２３０…領域設定部、２４０…変形処理部、２５０…属性判定部、２６０…登録部、２７０…識別部、３００…コンピューター、３１０…表示処理部、３２０…印刷処理部、４２０…特徴点移動テーブル
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
顔画像を変形する技術として、対象画像から顔の少なくとも一部を含む矩形領域（顔領域）を検出し、顔領域に基づいて変形領域を設定し、変形領域内を分割して生成した各小領域を変形することにより変形領域内の画像の変形を行なう画像処理装置が知られている（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９‐１０４６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記文献においては、矩形として検出される顔領域の位置および大きさに基づいて変形領域を設定することにより、画像内の顔毎の変形（小顔化など）を行なっていた。
ここで、人顔は、面長の顔や丸顔など様々な形状をしており、更に性別、年齢などによっても違いがある。そのため、顔毎に自然かつ効果的な或いはユーザーが望む態様での画像変形結果を得るには、顔毎の形状等の違いをより正確に捉えた上で変形処理を行なうことが望ましい。
【０００５】
また、左右上下にいくらか振れている顔画像（顔の向きが正面向きではない顔画像）についても、自然かつ効果的な或いはユーザーが望む態様での変形結果を得ることが望まれている。さらに、動画内では顔の向きや大きさ等は随時変化し得るものである。動画においては、顔の変形結果の質が動画を構成するコマ（フレーム画像）毎に大きく異なってしまうと、コマ間の繋がりを欠いてしまい、ユーザーの視聴に堪えられないものとなってしまう。
【０００６】
本発明は上記課題の少なくとも一つを解決するためになされたものであり、画像における顔毎の特徴に応じて、顔毎に自然かつ効果的な或いはユーザーが望む態様での変形を行なうことができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の態様の一つは、画像処理装置であって、注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出部と、上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定部と、上記設定された対象領域内の画像の変形を行う変形処理部とを備える。
本発明によれば、変形処理の対象となる画像領域は、顔の細かな形状（輪郭）を正確に反映した領域となるため、その顔にとって最適な（自然かつ効果的な）変形結果を得ることができる。
【０００８】
画像処理装置は、上記注目画像としての動画を構成するフレーム画像毎に、上記輪郭点の検出と対象領域の設定と画像の変形とを行なうとしてもよい。当該構成によれば、動画再生の際に、フレーム画像毎に顔の正確な形状に基づいた変形が行なわれるため、ユーザーは適切に変形された顔を含む動画を快適に視聴できる。
【０００９】
上記検出部は、複数の特徴量に基づいて顔の輪郭を複数の特徴点の位置によって表現する形状モデルにおける特徴点の位置が、顔の輪郭に近づくように、当該特徴量を変更し、当該変更により補正された特徴点の位置を上記輪郭点の位置として検出するとしてもよい。当該構成によれば、各特徴量を変更することにより特徴点の位置を高い精度で顔の輪郭に一致にさせることができるため、上記輪郭点の位置を容易かつ正確に検出できる。
【００１０】
上記検出部は、顔の向きの変化に対応する特徴量を変更することにより、向きが変更された顔の輪郭を表現する位置に特徴点を設定するとともに、上記領域設定部は、当該特徴点の設定に追従して上記対象領域の設定を行なうとしてもよい。当該構成によれば、例えば、注目画像から正面向きの顔の輪郭点が検出された場合、当該正面向きの顔の向きを変化させたときの顔についての変形結果を得ることができる。
【００１１】
上記変形処理部は、上記顔の向きの変化の程度に応じて、画像の変形量を異ならせるとしてもよい。当該構成によれば、顔の向きの変化の程度に応じた最適な変形結果を得ることができる。
上記変形処理部は、上記顔の向きが変化する方向に略直交する方向にのみ変形させる所定箇所の画像に対する変形量は、上記顔の向きの変化の程度にかかわらず一定とする。当該構成によれば、例えば、正面を向く顔を左右に回転させたときの顔についての変形結果において、顎の先端部位に対する上下方向の変形量は、正面を向く顔であった場合の変形量と同じであるため、ユーザーは違和感の無い変形結果（例えば、動画）を見ることができる。
【００１２】
上記領域設定部は、上記検出された輪郭点に囲まれた領域内に基準点を設定し、当該基準点と各輪郭点とを結ぶ各線分を各輪郭点よりも外側へ所定距離延長した位置に各外枠点を設定し、当該各外枠点によって囲まれた領域を上記対象領域としてもよい。当該構成によれば、検出された輪郭を一回り大きくした範囲が対象領域となるため、その顔の形状にとって最適な変形結果を得ることができる。
【００１３】
画像処理装置は、上記顔の属性を判定する属性判定部を備え、上記変形処理部は、上記判定された顔の属性に応じて異なる変形を行なうとしてもよい。当該構成によれば、注目画像に含まれる顔の属性（例えば、性別や年齢など）に応じて変形量を最適化した変形処理を行なうことができるため、より一層、自然且つ効果的な顔画像の変形結果が得られる。
【００１４】
画像処理装置は、個人の顔別の変形態様を外部からの入力に従って登録する登録部と、上記注目画像に含まれる顔の個人識別を行なう識別部とを備え、上記変形処理部は、上記識別部によって識別された顔に対応する変形態様が上記登録部によって登録されている場合には、当該識別された顔を含んで設定されている対象領域の画像に、当該識別された顔に対応する変形態様による変形を施すとしてもよい。当該構成によれば、変形処理のタイプ（例えば、小顔化、シャープ化、有名人化など）や変形量などを含む変形態様を、個人の顔毎に好みの内容で登録しておくことができる。その結果、個人の顔の輪郭の違いに基づいた変形であって更にユーザーが好む態様による変形結果を、顔毎に得ることができる。
【００１５】
本発明の技術的思想は、画像処理装置以外によっても実現可能である。例えば、画像処理装置の各部が実行する処理工程を有する画像処理方法の発明や、画像処理装置の各部が実行する機能をコンピューターに実行させるコンピューター読取可能な画像処理プログラムの発明をも把握可能である。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置としてのプリンターの構成を概略的に示す説明図である。
【図２】ＡＡＭ設定処理を示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ０の一例を示す説明図である。
【図７】形状ベクトルｓｉおよび形状パラメーターｐｉと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ０（ｘ）の一例を示す説明図である。
【図１０】画像変形処理を示すフローチャートである。
【図１１】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１２】特徴点ＣＰの初期位置設定処理（Ｉｎｉｔ処理）を示すフローチャートである。
【図１３】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１４】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１５】特徴点ＣＰ設定位置補正処理（Ｆｉｔ処理）を示すフローチャートである。
【図１６】輪郭点検出処理の結果の一例を示す説明図である。
【図１７】変形領域ＣＡの設定処理を示すフローチャートである。
【図１８】輪郭点ＯＰの周囲に設定された変形領域ＣＡの一例を示す図である。
【図１９】変形領域ＣＡ内の画像に対する変形処理を示すフローチャートである。
【図２０】特徴点ＣＰの中から選択された選択特徴点ＳＣＰ等の一例を示す図である。
【図２１】特徴点移動テーブルの一例を示す図である。
【図２２】変形領域ＣＡ内の画像が変形される様子の一例を示す図である。
【図２３】横顔変形処理を示すフローチャートである。
【図２４】顔の形状ｓの向きの変更に応じた移動量の補正を説明する図である。
【図２５】動画変形処理を示すフローチャートである。
【図２６】テクスチャー検出処理を示すフローチャートである。
【図２７】年齢層判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施例を図面を参照しながら説明する。
１．第１実施例
１‐１．画像処理装置の構成
図１は、本実施形態にかかる画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。またプリンター１００は、本発明の画像処理方法を実行する装置である。プリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェイス（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやコンピューター３００）とのデータ通信を行うためのインターフェイス（Ｉ／Ｆ）１８０を備える。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００１８】
印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェイス１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェイスである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００１９】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで画像変形処理を実現する。画像変形処理では、まず、注目画像に含まれる顔画像における所定の特徴部位（例えば、目尻や鼻頭やフェイスライン）の座標位置を検出し、当該検出結果の一部を顔の輪郭に対応する輪郭点として取得する。そして、取得された輪郭点に基づいて定義した領域の画像を対象として変形処理を行なう。画像変形処理については後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００２０】
画像処理部２００は、画像変形処理を実現するためのプログラムモジュールとして、顔領域検出部２１０と、輪郭点検出部２２０と、領域設定部２３０と、変形処理部２４０と、属性判定部２５０と、登録部２６０と、識別部２７０と、を含んでいる。これら各部の機能についても後述する。
【００２１】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバーである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００２２】
内部メモリー１２０には、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、顔の特徴部位の位置検出（輪郭点検出処理とも言う）において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。また、内部メモリー１２０には、特徴点移動テーブル４２０も格納されている。特徴点移動テーブル４２０は、上記変形処理の際に参照される（後述）。
【００２３】
１‐２．ＡＡＭ設定処理
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、ユーザーがＡＡＭ設定用に用意されたコンピューター３００を操作することにより行なわれる。コンピューター３００は、ＣＰＵとＲＡＭとＲＯＭとＨＤＤとディスプレイと入力装置等を有しており、これらがバスによって接続されている。ＣＰＵはＨＤＤに記録されたプログラムを読み出し、該プログラムに従った演算処理を実行することにより、コンピューター３００が後述するＡＡＭ設定処理を実行する。
【００２４】
はじめに、ユーザーは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとしてコンピューター３００のメモリー（ＨＤＤ）上に用意する（ステップＳ１１０）。
図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性、人種・性別、表情（怒り、笑い、困り、驚き等）、向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。サンプル画像ＳＩがそのように用意されれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い輪郭点検出処理（後述）の実行が可能となる。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２５】
次に、ユーザーの所定の操作によって、コンピューター３００は、それぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。
図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顎や頬やこめかみの輪郭（フェイスライン）上の所定位置、といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）およびフェイスラインにおける所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、コンピューター３００がディスプレイに表示したサンプル画像ＳＩにおいてユーザーの操作により画面上で指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。
【００２６】
図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｊ）（ｊ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は、対応するサンプル画像ＳＩにおける人物の各特徴点ＣＰを示している。つまり特徴点ＣＰには０〜６７までの番号ｋが付されており、一つ一つの番号はそれぞれに決められた特徴部位に対応している。また、ＣＰ（ｋ）‐Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）‐Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。
【００２７】
つづいて、コンピューター３００は、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をおこない、特徴点ＣＰの位置により特定される顔の形状ｓを下記の式（１）によりモデル化する。なお、式（１）で表した形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００２８】
【数１】
【００２９】
上記式（１）において、ｓ０は平均形状である。
図６は、平均形状ｓ０の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ０は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ０において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。平均形状ｓ０においては、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡが、平均形状領域ＢＳＡをメッシュ状に分割するように設定される。
【００３０】
形状モデルを表す上記式（１）において、ｓｉは形状ベクトルであり、ｐｉは形状ベクトルｓｉの重みを表す形状パラメーターである。形状ベクトルｓｉは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。上記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ０とｎ個の形状ベクトルｓｉの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターｐｉを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。
【００３１】
図７は、形状ベクトルｓｉおよび形状パラメーターｐｉと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｎ（図７ではｎ＝４）の固有ベクトルが、形状ベクトルｓｉとして採用される。形状ベクトルｓｉのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ１は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ１を大小させることにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ２は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ２を大小させることにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ３は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ４は口の開きの程度にほぼ相関するベクトルとなっている。
【００３２】
このように、形状パラメーターの値は、顔の表情や、顔向きや、形状など顔画像の特徴を表す。形状パラメーターは、特徴部位の座標が既知の顔画像を含む複数のサンプル画像に基づいて算出された特徴量である。また形状モデルは、複数の特徴量に基づいて、顔の輪郭を複数の特徴点ＣＰ（フェイスラインおよび眉毛に対応する特徴点ＣＰ）の位置によって表現するモデルとも言える。なお、コンピューター３００は、形状モデル設定ステップ（ステップＳ１３０）において設定した平均形状ｓ０および形状ベクトルｓｉを、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均形状ｓ０および形状ベクトルｓｉの情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。
【００３３】
つづいて、コンピューター３００は、ＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ０における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）を行う。
【００３４】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。各サンプル画像ＳＩにおいては、平均形状ｓ０と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡが設定される。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ０における対応する三角形領域ＴＡの画像へとアフィン変換される。ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ０における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）が生成される。
【００３５】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、各サンプル画像ＳＩｗは、例えば、縦横５６画素×５６画素のサイズの画像として正規化される。
【００３６】
次に、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）が下記の式（２）によりモデル化される。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【００３７】
【数２】
【００３８】
上記式（２）において、Ａ０（ｘ）は平均顔画像である。
図９は、平均顔画像Ａ０（ｘ）の一例を示す説明図である。平均顔画像Ａ０（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ０（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ０（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ０（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば、縦横５６画素×５６画素のサイズの画像として算出される。
【００３９】
テクスチャーモデルを表す上記式（２）において、Ａｉ（ｘ）はテクスチャーベクトルであり、λｉはテクスチャーベクトルＡｉ（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルＡｉ（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍの固有ベクトルが、テクスチャーベクトルＡｉ（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ１（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００４０】
上記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ０（ｘ）とｍ個のテクスチャーベクトルＡｉ（ｘ）の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλｉを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。
なお、コンピューター３００は、テクスチャーモデル設定ステップ（ステップＳ１４０）において設定した平均顔画像Ａ０（ｘ）およびテクスチャーベクトルＡｉ（ｘ）を、プリンター１００に送信する。プリンター１００は、送信されたこれらの平均顔画像Ａ０（ｘ）およびテクスチャーベクトルＡｉ（ｘ）の情報を、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納する。
【００４１】
以上説明したＡＡＭ設定処理（図２）により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ０から形状ｓへの変換（図８に示したワープＷの逆変換）を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００４２】
１‐３．画像変形処理
図１０は、本実施例における画像変形処理を示すフローチャートである。画像変形処理は、概略的には、注目画像に含まれる顔の輪郭に対応する輪郭点を検出する処理（ステップＳ２４０）と、検出された輪郭点の位置に基づいて上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する処理（ステップＳ２５０）と、当該設定された領域内の画像の変形を行う処理（ステップＳ２６０）とを含む。
【００４３】
はじめに、画像処理部２００（図１）は、画像変形処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザーにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶ。
【００４４】
次に、画像処理部２００は、変形処理のタイプや変形度合い等（変形態様）を設定する（ステップＳ２２０）。この場合、画像処理部２００は、変形態様を設定するためのユーザーインターフェイスを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザーインターフェイスを通じてユーザーにより指定された変形処理のタイプや変形度合いを選択し、処理に用いる変形処理のタイプや変形度合いとして設定する。当該ユーザーインターフェイスを介して設定され得る変形処理のタイプとしては、例えば、顔の形状を全体的に小さくする「小顔化」、顔の形状を細く（シャープに）する「シャープ化」、顔を特定の俳優や歌手等の有名人に似せるように変形する「有名人化」等がある。また、ユーザーは、当該ユーザーインターフェイスを介して変形処理の変形度合い（変形量）を、例えば、「強」、「中」、「弱」の３段階の中から選択して指示することができる。
【００４５】
顔領域検出部２１０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２３０）。顔領域ＦＡの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００４６】
図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００４７】
輪郭点検出部２２０（図１）は、注目画像ＯＩに含まれる顔の輪郭点検出処理を行なう（ステップＳ２４０）。この輪郭点検出処理は、大きく分けて、第一段階としての特徴点ＣＰの初期位置設定処理（Ｉｎｉｔ処理と呼ぶ）と、第二段階としての特徴点ＣＰの設定位置補正処理（Ｆｉｔ処理と呼ぶ）とによって構成される。
図１２は、本実施例におけるＩｎｉｔ処理を示すフローチャートである。Ｉｎｉｔ処理では、まず、輪郭点検出部２２０は、顔領域ＦＡに対する顔画像の大きさ、傾き、上下方向の位置および左右方向の位置を表すグローバルパラメーターの値を種々変更して、特徴点ＣＰ（番号ｋ＝０〜６７までの６８個の特徴点ＣＰ）を注目画像ＯＩ上の仮設定位置に設定する（ステップＳ３１０）。
【００４８】
図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュを示している。特徴点ＣＰをつないで形成されるメッシュは、上述したように特徴点ＣＰを頂点とする複数の三角形領域ＴＡの集合である（図６（ａ）等参照）。輪郭点検出部２２０は、図１３（ａ）および図１３（ｂ）の中央に示すように、平均形状ｓ０における特徴点ＣＰの配置と等しい特徴点ＣＰの配置を持ったメッシュであって、最も平均的なグローバルパラメーターの組み合わせに応じて顔領域ＦＡに対する大きさ、傾き、位置を調整したメッシュを設定する。例えば、顔領域ＦＡに対する大きさを表す３段階（大きい、標準、小さい）のグローバルパラメーターと、顔領域ＦＡに対する上下方向の位置を表す３段階（上、中央、下）のグローバルパラメーターと、顔領域ＦＡに対する左右方向の位置を表す３段階（左、中央、右）のグローバルパラメーターと、顔領域ＦＡに対する傾きを表す３段階（反時計回り（−）に１５度、０度、時計回り（＋）に１５度）のグローバルパラメーターとが存在するとする。この場合、最も平均的なグローバルパラメーターの組み合わせとは、顔領域ＦＡに対する大きさは「標準」、顔領域ＦＡに対する上下方向の位置および左右方向の位置はそれぞれ「中央」、かつ顔領域ＦＡに対する傾きは「０度」を示すグローバルパラメーターの組み合わせを言う。本実施例では、図１３（ａ）および図１３（ｂ）の中央に示すようなメッシュを構成する特徴点ＣＰの設定位置（仮設定位置）を、「基準仮設定位置」とも呼ぶ。
【００４９】
輪郭点検出部２２０は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、輪郭点検出部２２０は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、輪郭点検出部２２０は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５０】
また、図１３（ｂ）に示すように、輪郭点検出部２２０は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、輪郭点検出部２２０は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００５１】
輪郭点検出部２２０は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、上述したように夫々に３段階の値を持つ４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）を組み合わせたことにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と基準仮設定位置との、合計８１通りの仮設定位置が設定される。
【００５２】
輪郭点検出部２２０は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。
図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、注目画像ＯＩにおける特徴点ＣＰの配置が平均形状ｓ０における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００５３】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに仮設定された特徴点ＣＰ（図１３参照）によって変換対象領域（メッシュの外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、この変換対象領域に対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ０（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ０（ｘ）と同一サイズ（例えば、縦横５６画素×５６画素）の画像として算出される。
【００５４】
なお上述したように、画素群ｘは、平均形状ｓ０における平均形状領域ＢＳＡに位置する画素の集合である。本実施例では、平均形状画像は、形状パラメーターｐによるワープＷ（ｘ；ｐ）によって生成された画像（画素群）Ｉという意味で、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と表現している。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００５５】
輪郭点検出部２２０は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、輪郭点検出部２２０は、８１個の差分画像Ｉｅを算出する。
【００５６】
輪郭点検出部２２０は、各差分画像Ｉｅの画素値からノルム（ユークリッド距離）を算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための差分画像Ｉｅの画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により、Ｉｎｉｔ処理が完了する。Ｉｎｉｔ処理後、輪郭点検出部２２０はＦｉｔ処理を実行する。Ｆｉｔ処理では、輪郭点検出部２２０は、Ｉｎｉｔ処理で初期位置として設定された特徴点ＣＰの設定位置の補正を行う。
【００５７】
図１５は、Ｆｉｔ処理を示すフローチャートである。
輪郭点検出部２２０は、注目画像ＯＩに設定されている特徴点ＣＰに基づいて平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、Ｉｎｉｔ処理におけるステップＳ３２０と同様である。
【００５８】
輪郭点検出部２２０は、ステップＳ４１０で生成された平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。輪郭点検出部２２０は、ステップＳ４２０で算出された差分画像Ｉｅに基づき、Ｆｉｔ処理が収束したか否かを判定する（ステップＳ４３０）。輪郭点検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定し、ノルムの値がしきい値以上の場合には未だ収束していないと判定する。なお、輪郭点検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出されたノルムの値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定してもよい。あるいは、輪郭点検出部２２０は、しきい値による判定と前回値との比較による判定とを組み合わせて収束判定を行うとしてもよい。例えば、輪郭点検出部２２０は、算出されたノルムの値が、しきい値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するとしてもよい。
【００５９】
ステップＳ４３０の収束判定において未だ収束していないと判定した場合、輪郭点検出部２２０はパラメーター更新量ΔＰを算出する（ステップＳ４４０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、特徴量であるｎ個の形状パラメーターｐｉ（ｉ＝１〜ｎの整数。）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、Ｉｎｉｔ処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ０の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐｉの値はすべてゼロである。
【００６０】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００６１】
【数３】
【００６２】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐｉの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ０（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００６３】
【数４】
【数５】
式（４）および（５）における関数Ｗは、ワープＷ（ｘ；ｐ）を指し、変数Ｐは、形状パラメーターｐｉを指し、Ｔは転置行列を意味する。
【００６４】
輪郭点検出部２２０は、算出したパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターおよびｎ個の形状パラメーター）を更新する（ステップＳ４５０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正（更新）される。輪郭点検出部２２０は、差分画像Ｉｅのノルムが小さくなるように特徴点ＣＰの設定位置を補正する。すなわち、上記ｎ個の形状パラメーターをパラメーター更新量ΔＰで更新することで、形状モデルの上記式（１）に従って新たな形状ｓが生成されるため、輪郭点検出部２２０は、当該生成された形状ｓにおける特徴点ＣＰを注目画像ＯＩに設定する。このとき、輪郭点検出部２２０は、当該生成された形状ｓの大きさ、傾き、位置を、上記パラメーター更新量ΔＰで更新した４個のグローバルパラメーターに応じて調整した上で、特徴点ＣＰを注目画像ＯＩに設定する。このようにパラメーターの更新に応じて注目画像ＯＩに設定された特徴点ＣＰの位置が、補正後の特徴点ＣＰの設定位置である。
【００６５】
パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４４０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４５０）が行われる。
【００６６】
図１５のステップＳ４１０からＳ４５０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置は実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、輪郭点検出処理が完了する（ステップＳ４６０）。このとき設定されているグローバルパラメーターおよび形状パラメーターの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。
【００６７】
図１６は、輪郭点検出処理の結果の一例を示す説明図である。図１６には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰ（番号ｋ＝０〜６７までの６８個の特徴点ＣＰ）の設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）およびフェイスラインにおける所定位置）の座標位置が特定される。そのため、輪郭点検出部２２０は、収束判定（ステップＳ４３０）において収束したと判定した時に、特徴点ＣＰの設定位置のうち、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛に対応する特徴点ＣＰ）の設定位置を、注目画像ＯＩにおける顔の輪郭点ＯＰの座標位置として取得し、輪郭点検出処理を完了させる。
【００６８】
領域設定部２３０（図１）は、上記ステップＳ２４０で検出された輪郭点ＯＰの位置に基づいて、当該輪郭点ＯＰで囲まれた領域よりも広い領域であって顔の少なくとも一部を含む領域を、変形処理の対象領域として設定する（ステップＳ２５０）。以下では、ステップＳ２５０で設定する対象領域を、変形領域ＣＡと呼ぶ。
【００６９】
図１７は、ステップＳ２５０の処理の詳細を示したフローチャートである。
図１８は、当該ステップＳ２５０の処理によって注目画像ＯＩに設定される変形領域ＣＡを例示している。まず、領域設定部２３０は、注目画像ＯＩにおいて、輪郭点ＯＰに囲まれた領域内に基準点ＳＰを設定する（ステップＳ５１０）。基準点ＳＰとは、輪郭点ＯＰに囲まれた領域のほぼ中心に相当する点である。本実施例では、顔領域ＦＡの重心を基準点ＳＰとして設定する。ただし領域設定部２３０は、注目画像ＯＩにおいて設定された特徴点ＣＰのうち、例えば、鼻の所定位置に該当する特徴点ＣＰの位置を、基準点ＳＰとしてもよい。
【００７０】
次に、領域設定部２３０は、基準点ＳＰと各輪郭点ＯＰとを結ぶ各線分Ｌを生成するとともに、各線分Ｌを、各輪郭点ＯＰから外側へ所定距離だけ延長する（ステップＳ５２０）。ここで言う所定距離とは、例えば、顔領域ＦＡのサイズの１０％程度の長さを言う。顔領域ＦＡのサイズとは、例えば、顔領域ＦＡの縦幅と横幅との平均値である。なお、顔領域ＦＡの縦幅とは、顔の高さ方向（上下方向）における顔領域ＦＡの幅であり、顔領域ＦＡの横幅とは、顔の横方向（左右方向）における顔領域ＦＡの幅である。
領域設定部２３０は、上記ステップＳ５２０で延長した各線分Ｌの端部（基準点ＳＰではない端部）に、外枠点ＰＰを設定する（ステップＳ５３０）。つまり、上記延長した各線分Ｌの端部を各外枠点ＰＰとする。
【００７１】
ただし、各輪郭点ＯＰに対応する各外枠点ＰＰの設定方法は、上述した手法に限られない。つまり、各外枠点ＰＰは、各輪郭点ＯＰとの所定の位置関係に基づいて各輪郭点ＯＰの外側に設定される点である。
領域設定部２３０は、隣接する外枠点ＰＰ同士を線分で結ぶことにより、外枠点ＰＰで囲まれた領域を設定し、かかる領域を変形領域ＣＡとする（ステップＳ５４０）。
【００７２】
図１８では、黒丸で表した各輪郭点ＯＰの外側に、白丸で各外枠点ＰＰを示している。このように外枠点ＰＰで囲まれた変形領域ＣＡの形状は、輪郭点ＯＰで囲まれた領域の形状に沿った形状となっている。つまり変形領域ＣＡは、注目画像ＯＩに含まれている顔の形状を詳細に反映した形となっている。
【００７３】
変形処理部２４０（図１）は、変形領域ＣＡ内の少なくとも一部の画像の変形を行なう（ステップＳ２６０）。
図１９は、ステップＳ２６０の処理の詳細を示したフローチャートである。まず、変形処理部２４０は、変形領域ＣＡ内の画像に対する変形処理の際に移動対象とする特徴点ＣＰを、上記輪郭点検出処理で注目画像ＯＩにおいて設定位置が最終的に特定された特徴点ＣＰ（輪郭点ＯＰを含む特徴点ＣＰ）の中から、上記ステップＳ２２０（図１０）で設定された変形処理のタイプに応じて選択する（ステップＳ６１０）。
【００７４】
上述したように、変形処理のタイプは、「小顔化」、「シャープ化」、「有名人化」等の中からユーザーが入力操作により任意に設定可能であり、変形処理のタイプと移動対象として選択すべき特徴点ＣＰとの対応関係は、予め決められているものとする。例えば、「小顔化」が設定されている場合には、変形処理部２４０は、「小顔化」のために移動対象とする特徴点ＣＰを選択する。変形処理部２４０は、「小顔化」のための移動対象の特徴点ＣＰとして、例えば、顎から頬にかけてのフェイスラインに対応する所定の番号にかかる複数の特徴点ＣＰ（輪郭点ＯＰ）を選択する。以下では、ステップＳ６１０において選択した特徴点ＣＰを、選択特徴点ＳＣＰと呼ぶ。ステップＳ６１０においては外枠点ＰＰは選択されない。
【００７５】
なお、図２０に示すように、「小顔化」のための選択特徴点ＳＣＰを、便宜上、ＳＣＰ０〜ＳＣＰ１０と表現する。図２０（後述の図２２も同様）では、特徴点ＣＰ（輪郭点ＯＰを含む特徴点ＣＰ）を黒丸で表し、上記外枠点ＰＰを図１８と同様に白丸で表している。
【００７６】
次に、変形処理部２４０は、内部メモリー１２０に格納された特徴点移動テーブル４２０に規定された移動量（あるいは、計算により設定された移動量）に従い、選択特徴点ＳＣＰの位置を移動して小領域（三角形領域）を変形することにより、変形領域ＣＡを変形させる（ステップＳ６２０）。ここで言う三角形領域とは、変形領域ＣＡを構成する複数の三角形領域であって、外枠点ＰＰまたは特徴点ＣＰを頂点として分割される三角形領域を意味している。特徴点移動テーブル４２０は、上述した変形処理のタイプ別、かつ、変形度合い（上述の例では、「強」、「中」、「弱」）別に予め用意されている。従って、当該Ｓ６２０では、変形処理部４２０は、上記ステップＳ２２０で設定された変形処理のタイプおよび変形度合いに対応する特徴点移動テーブル４２０を用いる。なお上記移動量は、画像の変形量とも呼べる。
【００７７】
図２１は、特徴点移動テーブル４２０（変形処理のタイプが「小顔化」かつ、変形度合いが「中」、に対応する特徴点移動テーブル４２０）の一例を示している。特徴点移動テーブル４２０では、その変形処理のタイプに対応する選択特徴点ＳＣＰ毎に、基準線ＲＬと直交する方向（Ｈ方向と呼ぶ。）に沿った移動量及び基準線ＲＬと平行な方向（Ｖ方向と呼ぶ。）に沿った移動量を定義している。基準線ＲＬとは、顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向に沿った辺に平行な直線である（図１８参照）。従って、Ｈ方向は顔の横方向に略相等し、Ｖ方向は顔の上下方向に略相等する。この移動量は、例えば、注目画像ＯＩの画素ピッチを単位として表されたり、所定のサイズを１００としたときの比率などで表される。当該所定のサイズとは、例えば、Ｈ方向に対する所定のサイズであれば、顔領域ＦＡの横幅や、輪郭点ＯＰによって囲まれた領域の横幅などが該当し、Ｖ方向に対する所定のサイズであれば、顔領域ＦＡの縦幅や、輪郭点ＯＰによって囲まれた領域の縦幅などが該当する。
【００７８】
また、Ｈ方向については、注目画像ＯＩに向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、注目画像ＯＩに向かって上方への移動量が正の値として表され、下方への移動量が負の値として表される。このような移動量は、特徴点移動テーブル４２０が対応している変形度合いのレベルに応じて、異なる値に設定されている。
【００７９】
なお、変形処理のタイプとして「有名人化」が設定されている場合には、変形処理部２４０は、単純に特徴点移動テーブル４２０を参照するのではなく、選択特徴点ＳＣＰ毎の移動量を計算により設定して使用する。例えば、変形処理部２４０は、内部メモリー１２０に予め格納された、「有名人化」の目的となる有名人の顔における特徴部位（眉毛、目、鼻、口およびフェイスラインにおける所定位置）の位置を表す特徴点からなるモデル（有名人顔モデル）を読み出す。そして、上記輪郭点ＯＰに囲まれた領域の画像と、有名人顔モデルの画像とのスケールを一致させた上で、「有名人化」のための選択特徴点ＳＣＰと、当該選択特徴点ＳＣＰに対応する有名人顔モデル内の特徴点との位置の差異を算出する。そして、変形処理部２４０は、このように算出した差異を無くすようなＨ方向およびＶ方向への移動量を、各選択特徴点ＳＣＰに対して設定する。ただし、当該差異を完全に打ち消すような移動量を設定すると、変形後の画像が不自然なものとなってしまうこともある。そのため、変形処理部２４０は、当該差異の何割かを打ち消すためのＨ方向およびＶ方向への移動量を選択特徴点ＳＣＰに設定する。当該差異の何割を打ち消すかは、上記ステップＳ２２０で設定された変形度合いのレベルに応じて異ならせる。
【００８０】
図２２は、特徴点移動テーブル４２０に従った選択特徴点ＳＣＰの位置の移動の一例を示す説明図である。図２２の例では、変形領域ＣＡ内において、上記選択特徴点ＳＣＰ０〜ＳＣＰ１０の位置を移動させて変形する際の具体的な変形態様（小顔化）を示している。変形処理部２４０は、変形領域ＣＡを構成する各三角形領域について、選択特徴点ＳＣＰの位置移動前の状態における領域の画像が選択特徴点ＣＰの位置移動により新たに定義された領域の画像となるように、画像の変形処理を行う。図２２では、理解容易のために、上段（変形前の図）において、各選択特徴点ＳＣＰの移動方向を矢印で例示しており、下段（変形後の図）において、選択特徴点ＳＣＰの移動に伴って変形した各三角形領域にハッチングを付している。つまり、３つの頂点の中に１つでも選択特徴点ＳＣＰを含んでいる三角形領域は全て変形の対象となる。三角形領域毎の画像の変形処理は、上述したようにアフィン変換によって実現してもよいし、特開２００９‐１０４６７２号公報に記載された方法によって行ってもよい。
【００８１】
図２２に示すように、ステップＳ６２０における選択特徴点ＳＣＰの移動の結果、Ｖ方向に関しては、選択特徴点ＳＣＰ０〜ＳＣＰ１０のうち、左右の頬の最も高い位置に対応する選択特徴点ＳＣＰ０，ＳＣＰ１０を除く選択特徴点ＳＣＰ１〜ＳＣＰ９の位置が上方に移動される。また、Ｈ方向に関しては、顎の先端に対応する選択特徴点ＳＣＰ５を除いて、向かって左側の選択特徴点ＳＣＰ０〜ＳＣＰ４の位置が右方向に移動され、向かって右側の選択特徴点ＳＣＰ６〜ＳＣＰ１０の位置が左方向に移動される。そのため、注目画像ＯＩにおける顔画像は、フェイスライン内側の顎や頬を含む領域が全体的に顔の略中心方向に向かって縮小するように変形され、フェイスライン外側の領域（特に、首の領域）が全体的に顔の略中心方向に向かって延びるように変形される。この結果、小顔化が実現される。本実施例では、変形領域ＣＡの内外の画像間の境界が不自然とならないように、変形領域ＣＡの外枠上に位置する外枠点ＰＰの位置は移動されないものとしている。
【００８２】
このように本実施例によれば、画像処理装置は、注目画像ＯＩに含まれる顔画像の特徴部位の座標位置に対応する特徴点ＣＰを検出することにより、顔の輪郭に対応する輪郭点ＯＰを取得し、輪郭点ＯＰの位置に基づいて輪郭点ＯＰに囲まれた領域の外側に外枠点ＰＰを設定し、外枠点ＰＰで囲まれた領域を変形領域ＣＡとして設定する。そして、変形領域ＣＡ内の特徴点ＣＰのうち所定の特徴点（選択特徴点ＳＣＰ）を移動させて変形領域ＣＡ内の小領域単位での変形を行なうことにより、例えば「小顔化」等の目的に応じた画像変形を実現する。つまり、上記のように設定される変形領域ＣＡは、顔の具体的な輪郭（形状）を正確に反映した形状である。そのため、変形領域ＣＡ内の画像を変形処理の対象とすることで、そのとき処理対象としている顔にとって極めて自然な、かつ目的としている画像変形の効果が確実に表れた、画像変形結果を得ることができる。
【００８３】
また、本実施例によれば、上記のように顔の輪郭を正確に反映した変形領域ＣＡの画像を対象として「小顔化」や「有名人化」等、ユーザーが任意に設定したタイプの変形処理がユーザーの好みの変形度合いで実行されるため、違和感の無い、ユーザーが望む最適な画像変形結果が得られる。
【００８４】
本発明は第１実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、以下のような各実施例も可能である。むろん、第１実施例や各実施例を適宜組み合わた構成も、本発明の範囲となる。以下において特に言及しない部分については、第１実施例で説明した内容が適用されるものとする。
【００８５】
２．第２実施例
本発明においては、ある方向を向いた顔画像を元に、別の方向を向いた顔画像であって変形処理が施された顔画像を生成することができる。例えば、ステップＳ２４０（図１０）が終了した時点で、注目画像ＯＩから、正面を向いた顔の形状を表す特徴点ＣＰ（輪郭点ＯＰを含む。）の設定位置が検出されたとする。画像処理部２００は、顔が正面向きであるか否かは、Ｆｉｔ処理が完了した時点での形状パラメーター（特に、形状パラメーターｐ１および形状パラメーターｐ２）の値を評価する（例えば、所定のしきい値と比較する）ことにより判定できる。また、領域設定部２３０により、当該正面を向いた顔についての輪郭点ＯＰの位置に基づいて、外枠点ＰＰも設定されたものとする。このような状況において、本実施例では、正面向きの顔画像について設定された特徴点ＣＰおよび外枠点ＰＰに基づいて、横方向（左右方向）にある程度振りのある顔画像であって変形処理がなされた顔画像を生成する処理（横顔変形処理と呼ぶ。）について説明する。
【００８６】
横顔変形処理を説明する前提として、本実施例においては、基本的に各特徴点ＣＰは３次元の位置情報を有するものとする。上記第１実施例では、特徴点ＣＰはＸ方向の座標とＹ方向の座標で表される２次元（平面）情報であったが、本実施例では、特徴点ＣＰは、さらにＺ方向の座標を持つ３次元（立体）情報である。つまり前提としての、ＡＡＭ設定処理においては、位置がＸ，Ｙ，Ｚ座標で表される６８個の特徴点ＣＰを有するサンプル画像ＳＩを複数用意し、各サンプル画像ＳＩにおける特徴点ＣＰ（Ｘ座標、Ｙ座標およびＺ座標）により構成される座標ベクトルに対する主成分分析を行なうことにより、顔の形状ｓをモデル化しておく（３次元形状モデルを生成しておく）。このような３次元形状モデルを用いる場合であっても、注目画像ＯＩに対して上記Ｉｎｉｔ処理とＦｉｔ処理とを行うことにより、注目画像ＯＩに含まれた顔の各特徴部位に対応した各特徴点ＣＰ（Ｘ，Ｙ，Ｚ座標）からなる形状ｓ（立体形状）を設定することができる。なお、この場合、平均形状ｓ０の特徴点ＣＰや平均顔画像Ａ０（ｘ）も３次元の位置情報を有するものとする。そして、このように設定した形状ｓについて、顔の向きの変化に対応する形状パラメーターを変更することにより、正面向きの状態から振りのある状態へと変形させることができる。
【００８７】
上記のように特徴点ＣＰを３次元情報とした場合、輪郭点ＯＰの位置に基づいて設定される外枠点ＰＰも、Ｘ，Ｙ，Ｚ座標を有する３次元情報とする。領域設定部２３０は、３次元空間上で、例えば鼻の所定位置に対応する特徴点ＣＰ付近に基準点ＳＰを設定し、基準点ＳＰと各輪郭点ＯＰとを結ぶ各線分Ｌを、各輪郭点ＯＰから外側へ所定距離だけ延長した位置に、各輪郭点ＯＰに対応する外枠点ＰＰを設定する。
【００８８】
図２３は、横顔変形処理を示したフローチャートである。輪郭点検出部２２０は、顔の向きの変化に対応する形状パラメーター（顔の形状ｓの左右方向への向き（振り）の程度を変化させる上記形状パラメーターｐ１）を所定量変更することにより、顔の形状ｓを、正面向きの状態から振りのある状態（例えば、左振りの状態。図７（ｂ）参照。）へと変化させる（ステップＳ７１０）。つまり、立体形状（ワイヤーフレーム）としての形状ｓが顔の左方向に回転する。この結果、向きがある程度左向き（注目画像ＯＩに正対した向きから見て左向き画像）となった顔の輪郭や器官の位置を表現する特徴点ＣＰが設定される。
【００８９】
領域設定部２３０は、当該顔向きの変化に応じた特徴点ＣＰの位置の変更に追従して、外枠点ＰＰの位置を変更し、変形領域ＣＡを設定し直す（ステップＳ７２０）。つまり、正面向きの顔の形状ｓを表現していた特徴点ＣＰのうちの輪郭点ＯＰの位置に基づいて設定されていた外枠点ＰＰの位置を、対応する輪郭点ＯＰとの相対的な位置関係を維持しつつ、上記形状パラメーターｐ１の変更による形状ｓの振り量（左方向への回転量）に応じて変更する。この結果、左振りの顔の形状ｓを表す特徴点ＣＰの周囲を取り囲む外枠点ＰＰによって、当該左振りの顔の形状ｓに対応した変形領域ＣＡが新たに設定される。なお、当該ステップＳ７２０の処理は、顔の形状ｓの向きの変化（ステップＳ７１０）とほぼ同時に実行される。
【００９０】
変形処理部２４０は、上記ステップＳ６１０と同様に、変形処理の際の移動対象とする特徴点ＣＰ（選択特徴点ＳＣＰ）を選択する（ステップＳ７３０）。
次に、変形処理部２４０は、特徴点移動テーブル４２０に規定された選択特徴点ＳＣＰ毎の移動量および上記ステップＳ７１０における形状パラメーターの変更量に基づいて、選択特徴点ＳＣＰ毎の移動量を算出する（ステップＳ７４０）。具体的には、変形処理部２４０は、上記ステップＳ７１０において上述したように顔の左右方向への向きの程度を変化させる形状パラメーターｐ１が変更されている場合には、この形状パラメーターｐ１の変更量に応じて、特徴点移動テーブル４２０に規定された選択特徴点ＳＣＰ毎の移動量のうちＨ方向への移動量を補正する。
【００９１】
図２４は、形状パラメーターｐ１の変更量に応じて、選択特徴点ＳＣＰのＨ方向への移動量を算出する様子を説明する図である。図２４では、上記ステップＳ７１０において形状パラメーターｐ１を変更したことにより、形状ｓが正面向きの状態から顔の横方向へ回転した（ある程度左振りとなった）状況の一部を、顔の真上から見た状態を示している。図２４においては、形状ｓに含まれるある特徴点ＣＰ１と、これに隣接する特徴点ＣＰ２と、特徴点ＣＰ２に対応する外枠点ＰＰ１とが、角度θだけ回転した様子を示している。角度θは、上記ステップＳ７１０における形状パラメーターｐ１の変更量に応じて、一義的に定まる３次元空間上での回転量である。ここでは、回転後の各点ＣＰ１，ＣＰ２，ＰＰ１についてそれぞれ「´」を付して表している。なお、特徴点ＣＰ２は、輪郭点ＯＰであり、かつ選択特徴点ＳＣＰでもある。
【００９２】
本実施例では、内部メモリー１２０に予め格納されている特徴点移動テーブル４２０は、変形処理の対象となる顔が正面を向いている（左右にも上下にも振れていない）ことを前提として各選択特徴点ＳＣＰに対するＨ方向およびＶ方向の移動量を規定している。そこで、選択特徴点ＳＣＰに対して特徴点移動テーブル４２０に規定されているＨ方向の移動量をｈとした場合、形状パラメーターｐ１の変更によって形状ｓが正面向きの状態から顔の横方向へ角度θだけ回転したときの、選択特徴点ＳＣＰに対するＨ方向の移動量ｈ´は、下記式（６）によって算出される。
【数６】
【００９３】
なお、変形処理部２４０は、上記ステップＳ７１０において顔の上下方向への向きの程度を変化させる形状パラメーターｐ２が変更されている場合には、この形状パラメーターｐ２の変更量に応じて、特徴点移動テーブル４２０に規定された選択特徴点ＳＣＰ毎の移動量のうちＶ方向への移動量を補正する。つまり、特徴点移動テーブル４２０に規定されているＶ方向の移動量をｖとした場合、形状パラメーターｐ２の変更によって形状ｓが正面向きの状態から顔の上下方向へ角度θだけ回転したとき（上振りまたは下振りの状態となったとき。図７（ｃ）参照。）の、選択特徴点ＳＣＰに対するＶ方向の移動量ｖ´は、下記式（７）によって算出される。
【数７】
【００９４】
このように本実施例では、変形処理部２４０は、上記顔の向きの変化の程度に応じて、画像の変形量を異ならせている。変形処理部２４０は、上記のように算出した移動量（Ｈ方向及び又はＶ方向の移動量）に従い、上記ステップＳ７１０で向きが変更された後の形状ｓにおける選択特徴点ＳＣＰの位置をＨ方向及び又はＶ方向に移動させて三角形領域を変形する（ステップＳ７５０）。つまり、選択特徴点ＳＣＰをいずれかの頂点に含む各三角形領域について、上記ステップＳ７１０での向きの変更前の状態における領域の画像が、当該向きの変更および上記算出された移動量による選択特徴点ＳＣＰの移動により新たに定義された領域の画像となるように、変形処理を行う。この結果、正面向きの顔画像から、別の方向を向いた顔画像（例えば、左振りの顔）であって、その顔の振りの程度に応じた変形量によって適切に変形処理が施された（例えば「小顔化」が施された）顔画像が得られる。
【００９５】
上記説明で明らかなように、本実施例では、形状ｓに顔の横方向への振りを加えた上で変形処理を行うときには、選択特徴点ＳＣＰのＨ方向の移動量を補正し、形状ｓに顔の上下方向への振りを加えた上で変形処理を行うときには、選択特徴点ＳＣＰのＶ方向の移動量を補正する。これは言い換えれば、元々Ｖ方向への移動量のみが規定されている選択特徴点ＳＣＰ（例えば、顎の先端に対応する選択特徴点ＳＣＰ５。図２２参照。）に関しては、形状ｓに顔の横方向への振りだけを加えた上で変形処理を行うときには移動量（変形量）は一定である。同様に、Ｈ方向への移動量のみが規定されている選択特徴点ＳＣＰに関しては、形状ｓに顔の上下方向への振りだけを加えた上で変形処理を行うときには移動量（変形量）は一定である。つまり変形処理部２４０は、形状パラメーターの変更により顔の向きが変化する方向に略直交する方向にのみ変形させる箇所（選択特徴点ＳＣＰ）の画像に対する変形量は、顔の向きの変化の程度にかかわらず一定としている。
【００９６】
ここで、注目画像ＯＩは静止画に限定されず動画であってもよい。例えば、上述した横顔変形処理のように、向き等が変化する顔の変化に追従して変形領域ＣＡを設定して変形を施す処理を、動画を対象として行ってもよい。
【００９７】
図２５は、動画内の顔画像に対して変形を施す処理（動画変形処理）をフローチャートにより示している。当該フローチャートの処理を実行する画像処理装置は、プリンター１００であってもよいが、ここではコンピューター３００であるとする。そして、コンピューター３００は、上記画像処理部２００と同等の機能を実行可能なコンピュータープログラム（便宜上、画像処理部２００と呼ぶ。）を有しており、当該コンピュータープログラム（画像処理部２００）に従って、動画変形処理を実行する。本実施例における動画変形処理とは、概略的には、注目画像ＯＩとしての動画を構成するフレーム画像毎に、顔の輪郭点ＯＰ（特徴点ＣＰ）の検出と変形領域ＣＡの設定と画像の変形と、を行なう処理である。
【００９８】
まず、画像処理部２００は、動画変形処理の対象となる注目画像ＯＩとしての動画を表す動画ファイルを、コンピューター３００のＨＤＤ等から取得し（ステップＳ８１０）、上記ステップＳ２２０（図１０）と同様に 変形処理のタイプや変形度合い等を設定する（ステップＳ８２０）。
【００９９】
次に、画像処理部２００は、動画ファイルを構成する１フレーム目の画像の再生処理を行う（ステップＳ８３０）。１フレーム目の画像の再生処理においては、画像処理部２００は、まず、１フレーム目の画像に含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する。次に、画像処理部２００は、顔領域ＦＡの位置に基づいて上記Ｉｎｉｔ処理を実行し、Ｉｎｉｔ処理の結果設定された特徴点ＣＰの初期位置に基づいて、変形領域ＣＡを設定する（初期位置として設定された特徴点ＣＰのうちの輪郭点ＯＰ（外周に位置する特徴点ＣＰ）の位置に基づいて外枠点ＰＰを設定し、外枠点ＰＰに囲まれた領域を変形領域ＣＡとして設定する）。そして、画像処理部２００は、上述したように選択特徴点ＳＣＰを特徴点移動テーブル４２０に規定された移動量に従って移動させることにより、変形領域ＣＡ内の画像（三角形領域ごとの画像）を変形させる。そして、このように変形処理が施された画像領域を含む１フレーム目の画像を、コンピューター３００のディスプレイ等に表示させる。この結果、例えば、変形処理のタイプとして「小顔化」が設定されていた場合には、小顔化された顔画像を含む画面（１フレーム目）が、ディスプレイ上に表示される。
【０１００】
次に、画像処理部２００は、動画ファイルを構成する１＋ｋフレーム目の画像を対象とした再生処理を行う（ステップＳ８４０）。ｋは１以上の整数であり、画像処理部２００は、ステップＳ８３０の直後のステップＳ８４０においてはｋ＝１に設定し、以降、ステップＳ８４０を繰り返すたびにｋの値を１ずつインクリメントする。１＋ｋフレーム目（２フレーム目以降）の画像の再生処理においては、画像処理部２００は、まず、１＋ｋ−１フレーム目の画像の再生処理において設定された特徴点ＣＰの位置に基づいて、１＋ｋフレーム目の画像上でＦｉｔ処理を実行することにより、特徴点ＣＰの設定位置を補正する。つまり、２フレーム目の画像の再生処理であれば、１フレーム目の再生処理時のＩｎｉｔ処理によって初期位置として設定された特徴点ＣＰに基づいて、２フレーム目の画像から平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成し、上述したように差分画像Ｉｅに応じたパラメーター更新量ΔＰにより特徴点ＣＰの設定位置を補正する。３フレーム目以降の画像の再生処理であれば、直前のフレームの再生処理時のＦｉｔ処理によって補正された特徴点ＣＰに基づいて、現在のフレーム画像から平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成し、上述したように差分画像Ｉｅに応じたパラメーター更新量ΔＰにより特徴点ＣＰの設定位置をさらに補正する。
【０１０１】
なお、一回のステップＳ８４０において行うＦｉｔ処理では、パラメーター更新量ΔＰによる特徴点ＣＰの設定位置の補正を、一回だけ行うとしてもよい。画像処理部２００は、Ｆｉｔ処理の結果補正された特徴点ＣＰの設定位置に基づいて、変形領域ＣＡを設定（特徴点ＣＰのうちの輪郭点ＯＰ（外周に位置する特徴点ＣＰ）の位置に基づいて外枠点ＰＰを設定し、外枠点ＰＰに囲まれた領域を変形領域ＣＡとして設定）した上で、上述したように選択特徴点ＳＣＰを特徴点移動テーブル４２０に規定された移動量に従って移動させることにより、変形領域ＣＡ内の画像（三角形領域ごとの画像）を変形させる。そして、このように変形処理が施された画像領域を含む１＋ｋフレーム目の画像を、コンピューター３００のディスプレイ等に表示させる。
【０１０２】
ただし、当該ステップＳ８４０では、画像処理部２００は、特徴点移動テーブル４２０に規定された移動量をそのまま選択特徴点ＳＣＰの移動に適用するのではなく補正してもよい。つまり、Ｆｉｔ処理においてパラメーター更新量ΔＰによって更新した後の形状パラメーターｐ１，ｐ２に基づいて、Ｆｉｔ処理後の顔の向きを特定し、当該特定した顔の向きに応じて、上記横顔変形処理で説明したように、特徴点移動テーブル４２０に規定されたＨ方向及び又はＶ方向の移動量を補正し、補正後の移動量に従って選択特徴点ＳＣＰを移動させる。
【０１０３】
ステップＳ８５０では、画像処理部２００は、動画ファイルを構成する最終のフレーム画像についてステップＳ８４０の処理を実行したか否か判定し、実行済みと判定した場合には、動画変形処理を終了する。一方、最終のフレーム画像についてステップＳ８４０の処理を未実行であると判定した場合には、ステップＳ８４０に戻り、次のフレーム画像を対象としてステップＳ８４０を実行する。
【０１０４】
このように動画変形処理によれば、動画を構成するフレーム画像毎に、動画内の顔画像について、輪郭点ＯＰの検出、変形領域ＣＡの設定および変形処理を施し、変形処理した顔画像を含む各フレーム画像を表示する。そのため、極めて自然に「小顔化」等の変形処理が施された顔が複数のフレーム画像に亘って滑らかに動く画像をユーザーに提供することができる。また、フレーム画像毎に繰り返し実行される上記ステップＳ８４０においては、直前のフレーム画像でＩｎｉｔ処理またはＦｉｔ処理によって設定された特徴点ＣＰの位置に基づいてＦｉｔ処理を行う。そのため、各Ｆｉｔ処理では、フレーム画像間で随時変化する顔の特徴部位の位置に対して、特徴点ＣＰ（輪郭点ＯＰ）の位置を精度良く追従させることができる。従って、フレーム画像毎の変形処理の結果は、各フレーム画像が含む顔の形状や位置や大きさを正確に反映した最適な結果となる。
【０１０５】
３．第３実施例
上記では、画像処理装置は、ユーザーが設定した変形処理のタイプや変形度合い等（変形態様）に応じた変形処理を実行するとしたが、かかる構成に代えて或いは加えて、変形処理の対象となる顔の属性に応じた変形処理を行うようにしてもよい。顔の属性とは、例えば、性別や年齢層などである。画像処理部２００は、性別に応じた変形処理を行なう場合、属性判定部２５０（図１）によって、テクスチャー検出処理を実行する。テクスチャー検出処理は、上記輪郭点検出処理（図１０のステップＳ２４０）の後に行う。
【０１０６】
図２６は、テクスチャー検出処理を示すフローチャートである。属性判定部２５０（図１）は、輪郭点検出処理が完了した時点で注目画像ＯＩに設定されている特徴点ＣＰに基づいて、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ９１０）。
【０１０７】
さらに、属性判定部２５０は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に基づく平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））を算出する（ステップＳ９１５）。平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））は、以下の式（８）によって算出される。
【数８】
式（８）は、式（２）における顔のテクスチャーＡ（ｘ）に平均形状画像Ｉ（Ｗ（ｘ；ｐ））を代入したものであり、テクスチャーパラメーターλｉが適切に設定されれば、Ｊ（Ｑ（ｘ；λ））が平均顔画像Ａ０（ｘ）と等しくなる。なお、初めてステップＳ９１５において平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））を算出する場合、属性判定部２５０は、適当なテクスチャーパラメーターλｉ（例えば、デフォルト値として予め決められたテクスチャーパラメーターλｉ）を用いて算出する。本実施例では、平均テクスチャー画像は、テクスチャーパラメーターλの変更による上記式（８）の変換Ｑ（ｘ；λ）によって生成された画像（画素群）Ｊという意味で、平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））と表現している。
【０１０８】
属性判定部２５０は、平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））と平均顔画像Ａ０（ｘ）との差分画像Ｉｅを算出する（ステップＳ９２０）。属性判定部２５０は、差分画像Ｉｅに基づき、テクスチャー検出処理が収束したか否かを判定する（ステップＳ９３０）。属性判定部２５０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定されたしきい値より小さい場合には収束したと判定し、ノルムの値がしきい値以上の場合には未だ収束していないと判定する。なお、属性判定部２５０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ９３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。ここにおける収束の判定は、上述したＦｉｔ処理における収束判定と同様の手法により行うことができる。
【０１０９】
ステップＳ９３０の収束判定において未だ収束していないと判定された場合には、属性判定部２５０は、パラメーター更新量ΔΛを算出する（ステップＳ９４０）。パラメーター更新量ΔΛは、特徴量であるｍ個のテクスチャーパラメーターλｉ（ｉ＝１〜ｍの整数。）の値の変更量を意味している。パラメーター更新量ΔΛは、下記の式（９）により算出される。すなわち、パラメーター更新量ΔΛは、アップデートマトリックスＵと差分画像Ｉｅとの積である。
【０１１０】
【数９】
【０１１１】
式（９）におけるアップデートマトリックスＵは、差分画像Ｉｅに基づきパラメーター更新量ΔΛを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＵの行数Ｍは、テクスチャーパラメーターλｉの数（ｍ個）に等しく、列数Ｎは、平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＵは、下記の式（１０），（１１）により算出される。
【数１０】
【数１１】
式（１０）および（１１）における関数Ｑは、上記式（８）による変換を指し、変数Λは、テクスチャーパラメーターλｉを指し、Ｔは転置行列を意味する。
【０１１２】
属性判定部２５０は、算出したパラメーター更新量ΔΛに基づきテクスチャーパラメーターλｉを更新する（ステップＳ９５０）。これにより、顔のテクスチャーＡ（ｘ）が補正される。すなわち、属性判定部２５０は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、補正されたテクスチャーパラメーターλｉに基づいて平均テクスチャー画像Ｊ（Ｑ（ｘ；λ））の算出（ステップＳ９１５）、差分画像Ｉｅの算出（ステップＳ９２０）、差分画像Ｉｅに基づく収束判定（ステップＳ９３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔΛの算出（ステップＳ９４０）、パラメーターの更新によるテクスチャーの補正（ステップＳ９５０）が行われる。
【０１１３】
図２６のステップＳ９１０からＳ９５０までの処理が繰り返し実行されると、上記式（２）で計算される顔のテクスチャーＡ（ｘ）の各画素の輝度値（色彩値）が、実際の顔画像の輝度値に全体として近づいていき、ある時点で収束判定（ステップＳ９３０）において収束したと判定される。収束判定において収束したと判定されると、テクスチャー検出処理が完了する（ステップＳ９６０）。このとき設定されているテクスチャーパラメーターλｉの値は、対応するテクスチャーベクトルＡｉ（ｘ）が表す顔の特性に関して、注目画像ＯＩにおける実際の顔の見えと平均顔画像Ａ０（ｘ）見えとがどれぐらい異なっているかを示している。従って、このとき設定されているテクスチャーパラメーターλｉの値により特定される顔のテクスチャーＡ（ｘ）が最終的な顔の見えとして特定される。
【０１１４】
属性判定部２５０は、テクスチャー検出処理が完了した時点で設定されているｍ個のテクスチャーパラメーターλｉのうち、性別の差に相関する第１テクスチャーベクトルＡ１（ｘ）のテクスチャーパラメーターλ１を読み出す。そして、当該テクスチャーパラメーターλ１を所定のしきい値と比較して評価することにより、テクスチャーパラメーターλ１が示す性別が男性と女性とのどちらであるかを判定（推定）する。ただし、属性判定部２５０による顔の性別の判定は、テクスチャーパラメーターによる判定に限られず、注目画像ＯＩに含まれている顔の性別を判定可能な手法であれば、公知の手法を含めてあらゆる手法を採用可能である。
【０１１５】
変形処理部２４０は、変形領域ＣＡ内の画像の変形処理（図１０のステップＳ２６０）に際して、上記のように属性判定部２５０によって判定された顔の属性（性別）に応じて異なる変形を行なう。例えば、内部メモリー１２０には、男性の顔に対して適用して好適な移動量を規定した特徴点移動テーブル４２０と、女性の顔に対して適用して好適な移動量を規定した特徴点移動テーブル４２０とがそれぞれ予め格納されている。そして、変形処理部２４０は、上記判定された顔の性別に応じて特徴点移動テーブル４２０を選択し、当該選択した特徴点移動テーブル４２０に規定されている移動量に従って選択特徴点ＳＣＰを移動させることにより、性別に応じた最適な変形処理を行う。或いは、上記第１実施例のように、変形処理のタイプ別かつ変形度合い別に、特徴点移動テーブル４２０を予め用意する場合、より詳細に、変形処理のタイプ別かつ変形度合い別かつ男女別に、特徴点移動テーブル４２０を内部メモリー１２０に用意しておく。そして、変形処理部２４０は、ユーザーによって設定されている変形処理のタイプ、変形度合い、および上記判定された顔の性別に応じて、特徴点移動テーブル４２０を選択し、当該選択した特徴点移動テーブル４２０に規定されている移動量に従って選択特徴点ＳＣＰを移動させることにより、変形処理のタイプ、変形度合いおよび性別に応じた最適な変形処理を行うとしてもよい。
【０１１６】
画像処理部２００は、年齢層に応じた変形処理を行なう場合、輪郭点検出処理が完了した時点で設定されている形状パラメーターｐｉの値を総合的に評価することにより、顔の年齢層を判定する処理（年齢層判定処理）を実行する。年齢層判定処理は、上記輪郭点検出処理（図１０のステップＳ２４０）の後に行う。
【０１１７】
図２７は、年齢層判定処理を示すフローチャートである。属性判定部２５０は、判定対象の年齢層を選択する（ステップＳ１０１０）。本実施例では、数種類の年齢層（例えば、幼児、少年、成人、老人などの各年齢層）を判定対象とし、幼児→少年→成人→老人…の順で判定対象を選択する。属性判定部２５０は、ｎ個の形状パラメーターｐｉの中から、その年齢層らしさを示す判定値Ｅを算出するために使用するｇ個の形状パラメーター（形状パラメーターｑｉと表す。ｉ＝１〜ｇの整数。）を選択する（ステップＳ１０２０）。属性判定部２５０は、形状パラメーターｑｉを下記式（１２）に代入することにより、判定値Ｅを算出する（ステップＳ１０３０）。
【数１２】
【０１１８】
式（１２）において、αｉは各形状パラメーターｑｉについて設定された重み係数を示し、ｋｎは正規化のための係数を示している。すなわち、判定値Ｅは、形状パラメーターｑｉを重み係数αｉに基づく重みによって線形結合した値である。なお、年齢層毎に、ｎ個の形状パラメーターｐｉの中から選択されるｇ個の形状パラメーターｑｉは異ならせ、形状パラメーターｑｉに対する重み係数αｉも各年齢層に対応して用意されているとしてもよい。判定値Ｅを算出すると、属性判定部２５０はすべての年齢層の選択を完了したか否かを判定し（ステップＳ１０４０）、完了していない場合にはステップＳ１０１０に戻り次の年齢層を選択する。これにより、数種類の各年齢層についてそれぞれ判定値Ｅを順に算出していくことができる。各年齢層について判定値Ｅが算出できると、属性判定部２５０は年齢層の判定を行う。具体的には、属性判定部２５０は、最も判定値Ｅの大きい年齢層を、注目画像ＯＩに含まれている顔の年齢層であると判定（推定）する（ステップＳ１０５０）。ただし、属性判定部２５０による顔の年齢層の判定は、上述した手法に限られず、注目画像ＯＩに含まれている顔の年齢層を判定可能な手法であれば、公知の手法を含めてあらゆる手法を採用可能である。
【０１１９】
変形処理部２４０は、変形領域ＣＡ内の画像の変形処理（図１０のステップＳ２６０）に際して、上記のように属性判定部２５０によって判定された顔の年齢層に応じて異なる変形を行なう。例えば、内部メモリー１２０には、各年齢層の顔に対して適用して好適な移動量を規定した各特徴点移動テーブル４２０が予め格納されている。変形処理部２４０は、上記判定された顔の年齢層に応じて特徴点移動テーブル４２０を選択し、当該選択した特徴点移動テーブル４２０に規定されている移動量に従って選択特徴点ＳＣＰを移動させることにより、年齢層に応じた最適な変形処理を行う。或いは、上記第１実施例のように、変形処理のタイプ別かつ変形度合い別に、特徴点移動テーブル４２０を予め用意する場合、より詳細に、変形処理のタイプ別かつ変形度合い別かつ年齢層別に、特徴点移動テーブル４２０を内部メモリー１２０に用意しておく。そして、変形処理部２４０は、ユーザーによって設定されている変形処理のタイプ、変形度合い、および上記判定された顔の年齢層に応じて、特徴点移動テーブル４２０を選択し、当該選択した特徴点移動テーブル４２０に規定されている移動量に従って選択特徴点ＳＣＰを移動させることにより、変形処理のタイプ、変形度合いおよび年齢層に応じた最適な変形処理を行うとしてもよい。むろん、変形処理部２４０は、性別および年齢層の両方の違いに応じて、異なる変形処理を行うとしてもよい。
【０１２０】
４．第４実施例
ユーザーが望む変形結果をより精度良く得るために、個人の顔別の変形態様を予め画像処理装置（プリンター１００）に登録する構成が考えられる。この場合、登録部２６０（図１）は、異なる個人（人物Ａ，Ｂ，Ｃ…）毎の顔の特徴を表した情報（顔特徴情報）を、ユーザーによる操作部１４０の操作入力に応じて、或いは、外部のコンピューター３００等から入力し、内部メモリー１２０に登録しておく。あるいは、画像処理部２００は、個人毎の顔写真に基づいて、上記のように形状パラメーターやテクスチャーパラメーターを取得する処理を予め行なっておき、個人毎に取得した形状パラメーターやテクスチャーパラメーターを、顔特徴情報として登録部２６０に登録させる。また、登録部２６０は、上記個人（人物Ａ，Ｂ，Ｃ…）毎の変形態様を、ユーザーによる操作部１４０の入力操作等に応じて設定し、当該設定した内容を内部メモリー１２０に登録しておく。ユーザーは、変形処理のタイプ、変形度合いはもちろん、変形処理の際に移動対象とすべき選択特徴点ＳＣＰの位置や数、さらには、選択特徴点ＳＣＰ毎の移動量（移動後の位置）などの詳細な変形態様を、個人の顔毎に登録することができる。
【０１２１】
このような登録がなされていることを前提として、画像変形処理（図１０）を行なう場合、識別部２７０（図１）は、注目画像ＯＩに含まれている顔の個人識別を行う。本実施例においては、上記ステップＳ２２０の処理（図１０）は不要である。個人識別を行うタイミングは様々であるが、例えば、識別部２７０は、輪郭点検出処理（図１０のステップＳ２４０）の後に個人識別を行う。個人識別は、注目画像ＯＩに含まれている顔の特徴を表す所定の情報と、上記登録部２６０によって内部メモリー１２０に登録済みの個人毎の顔特徴情報とを比較することにより、注目画像ＯＩに含まれている顔が誰であるか（人物Ａ，Ｂ，Ｃ…の誰であるか）を特定する処理であり、公知の個人識別のための手法を採用すればよい。上記顔特徴情報および、顔の特徴を表す所定の情報とは、例えば、上記形状パラメーターやテクスチャーパラメーターなどであってもよいし、それら以外の所定の情報であってもよい。
【０１２２】
このように識別部２７０によって、注目画像ＯＩ内の顔の個人が識別された場合（例えば、注目画像ＯＩ内の顔が人物Ａであると特定された場合）、変形処理部２４０は、当該識別された顔（人物Ａ）に対応して設定されている変形領域ＣＡ内の画像に、当該識別された顔（人物Ａ）に対応して内部メモリー１２０に登録されている変形態様による変形処理を施す。この結果、注目画像ＯＩ内の人物Ａの顔は、ユーザーが人物Ａのために予め登録した変形態様による変形処理が施された結果となる。なお、本実施例においては、注目画像ＯＩに顔が含まれている場合であっても、識別部２７０による個人識別が成功しなかった顔（人物Ａ，Ｂ，Ｃ…の誰であるかが特定されなかった顔）については、その変形領域ＣＡの変形処理は実行しないものとする。つまり、予め顔特徴情報および変形態様を登録しておいた人物についてのみ、変形処理が行われる構成としてもよい。
【０１２３】
５．変形例
上述した特徴点ＣＰの初期位置設定処理（Ｉｎｉｔ処理）や設定位置補正処理（Ｆｉｔ処理）では、注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより、注目画像ＯＩの特徴点ＣＰの設定位置を平均顔画像Ａ０（ｘ）の特徴点ＣＰの設定位置に整合させている。しかし逆に、平均顔画像Ａ０（ｘ）に対して画像変換を行うことにより、注目画像ＯＩの特徴点ＣＰと平均顔画像Ａ０（ｘ）の特徴点ＣＰとの配置を整合させるとしてもよい。
【０１２４】
また、Ｉｎｉｔ処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。
また上記では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【０１２５】
また、平均顔画像Ａ０（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ０（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ０（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
また上記では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【０１２６】
また上記では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。
また上記では、主に画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がコンピューター３００やデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【符号の説明】
【０１２７】
１００…プリンター、１１０…ＣＰＵ、１２０…内部メモリー、１４０…操作部、１５０…表示部、１６０…印刷機構、１７０…カードインターフェイス、１７２…カードスロット、２００…画像処理部、２１０…顔領域検出部、２２０…輪郭点検出部、２３０…領域設定部、２４０…変形処理部、２５０…属性判定部、２６０…登録部、２７０…識別部、３００…コンピューター、３１０…表示処理部、３２０…印刷処理部、４２０…特徴点移動テーブル
【特許請求の範囲】
【請求項１】
注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出部と、
上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定部と、
上記設定された対象領域内の画像の変形を行う変形処理部とを備えることを特徴とする画像処理装置。
【請求項２】
上記注目画像としての動画を構成するフレーム画像毎に、上記輪郭点の検出と対象領域の設定と画像の変形とを行なうことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記検出部は、複数の特徴量に基づいて顔の輪郭を複数の特徴点の位置によって表現する形状モデルにおける特徴点の位置が、顔の輪郭に近づくように、当該特徴量を変更し、当該変更により補正された特徴点の位置を上記輪郭点の位置として検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
上記検出部は、顔の向きの変化に対応する特徴量を変更することにより、向きが変更された顔の輪郭を表現する位置に特徴点を設定するとともに、上記領域設定部は、当該特徴点の設定に追従して上記対象領域の設定を行なうことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記変形処理部は、上記顔の向きの変化の程度に応じて、画像の変形量を異ならせることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記変形処理部は、上記顔の向きが変化する方向に略直交する方向にのみ変形させる所定箇所の画像に対する変形量は、上記顔の向きの変化の程度にかかわらず一定とすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記領域設定部は、上記検出された輪郭点に囲まれた領域内に基準点を設定し、当該基準点と各輪郭点とを結ぶ各線分を各輪郭点よりも外側へ所定距離延長した位置に各外枠点を設定し、当該各外枠点によって囲まれた領域を上記対象領域とすることを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
【請求項８】
上記顔の属性を判定する属性判定部を備え、
上記変形処理部は、上記判定された顔の属性に応じて異なる変形を行なうことを特徴とする請求項１〜請求項７のいずれかに記載の画像処理装置。
【請求項９】
個人の顔別の変形態様を外部からの入力に従って登録する登録部と、
上記注目画像に含まれる顔の個人識別を行なう識別部とを備え、
上記変形処理部は、上記識別部によって識別された顔に対応する変形態様が上記登録部によって登録されている場合には、当該識別された顔を含んで設定されている対象領域の画像に、当該識別された顔に対応する変形態様による変形を施すことを特徴とする請求項１〜請求項８のいずれかに記載の画像処理装置。
【請求項１０】
注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出工程と、
上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定工程と、
上記設定された対象領域内の画像の変形を行う変形処理工程とを備えることを特徴とする画像処理方法。
【請求項１１】
注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出機能と、
上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定機能と、
上記設定された対象領域内の画像の変形を行う変形処理機能とをコンピューターに実行させることを特徴とする画像処理プログラム。
【請求項１】
注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出部と、
上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定部と、
上記設定された対象領域内の画像の変形を行う変形処理部とを備えることを特徴とする画像処理装置。
【請求項２】
上記注目画像としての動画を構成するフレーム画像毎に、上記輪郭点の検出と対象領域の設定と画像の変形とを行なうことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記検出部は、複数の特徴量に基づいて顔の輪郭を複数の特徴点の位置によって表現する形状モデルにおける特徴点の位置が、顔の輪郭に近づくように、当該特徴量を変更し、当該変更により補正された特徴点の位置を上記輪郭点の位置として検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
上記検出部は、顔の向きの変化に対応する特徴量を変更することにより、向きが変更された顔の輪郭を表現する位置に特徴点を設定するとともに、上記領域設定部は、当該特徴点の設定に追従して上記対象領域の設定を行なうことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記変形処理部は、上記顔の向きの変化の程度に応じて、画像の変形量を異ならせることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記変形処理部は、上記顔の向きが変化する方向に略直交する方向にのみ変形させる所定箇所の画像に対する変形量は、上記顔の向きの変化の程度にかかわらず一定とすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記領域設定部は、上記検出された輪郭点に囲まれた領域内に基準点を設定し、当該基準点と各輪郭点とを結ぶ各線分を各輪郭点よりも外側へ所定距離延長した位置に各外枠点を設定し、当該各外枠点によって囲まれた領域を上記対象領域とすることを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
【請求項８】
上記顔の属性を判定する属性判定部を備え、
上記変形処理部は、上記判定された顔の属性に応じて異なる変形を行なうことを特徴とする請求項１〜請求項７のいずれかに記載の画像処理装置。
【請求項９】
個人の顔別の変形態様を外部からの入力に従って登録する登録部と、
上記注目画像に含まれる顔の個人識別を行なう識別部とを備え、
上記変形処理部は、上記識別部によって識別された顔に対応する変形態様が上記登録部によって登録されている場合には、当該識別された顔を含んで設定されている対象領域の画像に、当該識別された顔に対応する変形態様による変形を施すことを特徴とする請求項１〜請求項８のいずれかに記載の画像処理装置。
【請求項１０】
注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出工程と、
上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定工程と、
上記設定された対象領域内の画像の変形を行う変形処理工程とを備えることを特徴とする画像処理方法。
【請求項１１】
注目画像に含まれる顔の輪郭に対応する輪郭点を検出する検出機能と、
上記検出された輪郭点の位置に基づいて、上記顔の少なくとも一部を含む領域を変形処理の対象領域として設定する領域設定機能と、
上記設定された対象領域内の画像の変形を行う変形処理機能とをコンピューターに実行させることを特徴とする画像処理プログラム。
【図１】
【図１０】
【図１５】
【図１７】
【図１９】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１８】
【図２０】
【図２２】
【図１０】
【図１５】
【図１７】
【図１９】
【図２１】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１８】
【図２０】
【図２２】
【公開番号】特開２０１１−５３９４２（Ｐ２０１１−５３９４２Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０２７１７（Ｐ２００９−２０２７１７）
【出願日】平成２１年９月２日（２００９．９．２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月２日（２００９．９．２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]