画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置
【課題】本発明は、表情を精度よく判別することを目的とする。
【解決手段】注目画像に含まれる顔の表情を判定するにあたり、前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出し、複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定し、前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正し、前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正し、前記補正された前記表情用特徴量に基づいて顔の表情を判定する。
【解決手段】注目画像に含まれる顔の表情を判定するにあたり、前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出し、複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定し、前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正し、前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正し、前記補正された前記表情用特徴量に基づいて顔の表情を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる顔の表情を判定する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置に関する。
【背景技術】
【０００２】
顔画像の表情を目や鼻や口や髪型や色彩などについての位置や大きさや比率などの顔特徴情報に基づいて推定する印刷装置が開示されている（特許文献１、段落００３１、参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２０６９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、顔器官の位置や形状の検出と表情の判定とを同時におこなうと、顔器官の検出精度や表情判定の精度が悪くなるという課題があった。
【０００５】
本発明は、前記の課題を解決するためになされたものであり、表情を精度よく判別することが可能な画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。すなわち、顔領域検出部を備え、該顔領域検出部は前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する。設定部は、複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定する。基本特徴量補正部は、前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域に近似するように前記基本特徴量を補正する。一方、表情用特徴量補正部は、前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が前記顔領域に近似するように前記表情用特徴量を補正する。そして、判定部は前記補正された前記表情用特徴量に基づいて顔の表情を判定する。
【０００７】
かかる構成では、まず前記基本特徴量補正部が前記基本特徴量を補正することにより、前記特徴部位の基本的な位置や形状を精度よく特定することができる。次に、特定された顔の特徴部位の位置をもとにして、前記表情用特徴量補正部が前記表情用特徴量を補正する。このように、予め顔の器官の輪郭等の特徴部位の基本的な配置を特定しておくことにより、前記表情用顔モデルによって、表情に起因した顔の器官の形状や位置の細かな変動を特定することができる。従って、補正された前記表情用特徴量に基づいて表情を精度よく判定することができる。なお、前記基本顔モデルと前記表情用顔モデルは、少なくとも前記特徴部位の位置を再現することができればよく、前記特徴部位の位置とともに他の顔の状態（例えば、テクスチャー等。）も再現するものであってもよい。
【０００８】
別の態様に係る画像処理装置では、前記基本特徴量と前記表情用特徴量の少なくとも一つを、複数のサンプル画像の前記特徴部位の位置を主成分分析して得られる各主成分の固有ベクトルの係数とする。すなわち、顔モデルを主成分分析を利用して用意するとともに、前記特徴量を各主成分の固有ベクトルの係数とする。さらに、前記複数のサンプル画像の画素の色彩値を主成分分析することにより、顔の見えをモデル化するようにしてもよい。また、前記基本顔モデルは前記特徴部位の基本的な配置を再現するのに特化し、前記表情用顔モデルは表情に起因した前記特徴部位の細かな変動を特定したものであるのが望ましく、前記サンプル画像は前記基本顔モデルと前記表情用顔モデルとで異ならせるのが望ましい。
【０００９】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、特徴部位の位置検出方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するための画像処理プログラム、その画像処理プログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。
【図２】実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ０の一例を示す説明図である。
【図７】形状ベクトルｓiおよび形状パラメーターｐiと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図１０】実施例における顔特徴検出処理の流れを示すフローチャートである。
【図１１】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１２】実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。
【図１３】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１４】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１５】実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【図１６】ＣＰ設定位置補正処理の結果の一例を示す説明図である。
【図１７】テクスチャー検出処理の流れを示すフローチャートである。
【図１８】表情判定処理の流れを示すフローチャートである。
【図１９】表情判定用画像を示す図である。
【図２０】表情判定処理における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【図２１】表情判定処理におけるテクスチャー検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明に係る画像処理装置の一態様であるプリンターについて、図面を参照しつつ、実施例に基づいて説明する。
【００１２】
Ａ．本実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の本実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信をおこなうためのインターフェースを備えていてもよい。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００１３】
印刷機構１６０は、印刷データに基づき印刷をおこなう。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りをおこなうためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００１４】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで顔特徴検出処理や表情判定処理をおこなう。顔特徴検出処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を検出する処理である。顔特徴検出処理については、後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００１５】
画像処理部２００は、プログラムモジュールとして、設定部２１０と、特徴位置検出部２２０と、顔領域検出部２３０と、テクスチャー検出部２４０と、表情判定部２５０と、を含んでいる。特徴位置検出部２２０とテクスチャー検出部２４０は、それぞれ生成部２２２，２４２と、算出部２２４，２４４と、補正部２２６，２４６と、を含んでいる。これら各部の機能については、後述の顔特徴検出処理および表情判定処理の説明において詳述する。
【００１６】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバーである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００１７】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００１８】
Ａ２．ＡＡＭ設定処理：
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルおよび表情用形状モデルおよび表情用テクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、オペレーターがコンピューターを使用することによりおこなわれる。コンピューターは、ＣＰＵとＲＡＭとＲＯＭとＨＤＤとディスプレイと入力装置等を有しており、これらがバスによって接続されている。ＣＰＵはＨＤＤに記録されたプログラムを読み出し、該プログラムにしたがった演算処理を実行することにより、コンピューターが後述する各処理を実行させる。なお、形状モデルおよびテクスチャーモデルおよび表情用形状モデルおよび表情用テクスチャーモデルを設定するコンピューターは特許請求の範囲の「設定部」に相当する。また、形状モデルおよびテクスチャーモデルは特許請求の範囲の「基本顔モデル」に相当し、表情用形状モデルおよび表情用テクスチャーモデルは特許請求の範囲の「表情用顔モデル」に相当する。
【００１９】
はじめに、オペレーターは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとして用意する（ステップＳ１１０）。図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性・人種・性別・向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。本実施例では、これらのサンプル画像ＳＩのすべてによって構成されるサンプル群Ｇ１と、表情（喜顔、悲顔、驚顔、怒顔）の属性に関して互いに相違する顔画像のみを含むサンプル群Ｇ２とをそれぞれ用意する。サンプル群Ｇ１によれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴検出処理（後述）の実行が可能となる。一方、サンプル群Ｇ２によれば、ＡＡＭによって表情の特徴のみを選択的にモデル化することができ、精度の良い表情判定処理（後述）の実行が可能となる。なお、サンプル群Ｇ２においては、表情以外の個性・人種・性別・向きについての属性ができるだけ多様とならないようにサンプル画像ＳＩが選択される。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２０】
以下、サンプル群Ｇ１に属するサンプル画像ＳＩに対しておこなう処理を例に説明する。サンプル群Ｇ１に属するそれぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、各サンプル画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００２１】
サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｇ）（ｇ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。各サンプル画像ＳＩと、各特徴点ＣＰの座標と、人物ＩＤとは、コンピューターに入力される。
【００２２】
つづいて、オペレーターは、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をコンピューターがおこない、さらにコンピューターが特徴点ＣＰの位置により特定される顔の形状ｓを下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００２３】
【数１】
【００２４】
前記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。コンピューターは、平均形状ｓ0に対して、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡを、平均形状領域ＢＳＡをメッシュ状に分割するように設定する。
【００２５】
形状モデルを表す前記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。前記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。前記式（１ａ）が示すように、形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。また、前記式（１ｂ）が示すように、形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる形状ｓから平均形状ｓ0へと逆変換することができる。
【００２６】
図７は、形状ベクトルｓiおよび形状パラメーターｐiと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、コンピューターは、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率の高い順に選択された個数ｎ（本実施例では１０個とする。）の固有ベクトルを、形状ベクトルｓiとして採用する。形状ベクトルｓiのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ1を大小することにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ2を大小することにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。形状モデルにおけるｎ個の「形状パラメーター」は特許請求の範囲における「基本特徴量」に該当する。
【００２７】
なお、形状モデル設定ステップ（ステップＳ１３０）においてコンピューターが設定した平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）としてプリンター１００の内部メモリー１２０に格納される。つづいて、コンピューターはＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）をおこなう。
【００２８】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。コンピューターは、各サンプル画像ＳＩにおいて、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡを設定する。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。コンピューターは、ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）を生成する。
【００２９】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、コンピューターは、各サンプル画像ＳＩｗを、例えば５６画素×５６画素のサイズの画像として正規化する。
【００３０】
次に、コンピューターは、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析を行い、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）を下記の式（２）によりモデル化する。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【数２】
【００３１】
前記式（２）において、Ａ0（ｘ）は平均顔画像である。図９は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。
【００３２】
テクスチャーモデルを表す前記式（２）において、ａk（ｘ）はテクスチャーベクトルであり、λkはテクスチャーベクトルａk（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルａk（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｊ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍ（本実施例では４個とする。）の固有ベクトルが、テクスチャーベクトルａk（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００３３】
前記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルａk（ｘ）の線形結合との和としてモデル化される。前記式（２ａ）に示すように、テクスチャーモデルにおいてテクスチャーパラメーターλkを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。逆に、前記式（２ｂ）に示すように、テクスチャーモデルにおいてテクスチャーパラメーターλkを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）から平均顔画像Ａ0（ｘ）へと逆変換することができる。テクスチャーモデルにおけるｍ個の「テクスチャーパラメーター」は特許請求の範囲における「基本特徴量」に該当する。
【００３４】
なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルａk（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）としてプリンター１００の内部メモリー１２０に格納される。コンピューターはＡＡＭ情報ＡＭＩをいずれかの記録媒体に記録しておき、プリンター１００の製造時において該記録媒体から読み出したＡＡＭ情報ＡＭＩを記録した内部メモリー１２０をプリンター１００に組み込むか、プリンター１００に組み込むまれた内部メモリー１２０に対して該記録媒体から読み出したＡＡＭ情報ＡＭＩを記録させる。
【００３５】
ここまでの処理により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図８に示したワープＷの逆変換）をおこなうことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００３６】
次に、サンプル群Ｇ２に属するサンプル画像ＳＩを対象としてＡＡＭ設定処理（ステップＳ１１０〜Ｓ１４０）の処理を実行させる。これにより、サンプル群Ｇ１に属するサンプル画像ＳＩを対象としてＡＡＭ設定処理を行った場合と異なる平均形状ｓ0と平均顔画像Ａ0（ｘ）と形状ベクトルｓiとテクスチャーベクトルａk（ｘ）とがＡＡＭ情報ＡＭＩとして記憶されることとなる。平均形状ｓ0と形状ベクトルｓiにより表情用形状モデルが設定され、平均顔画像Ａ0（ｘ）とテクスチャーベクトルａk（ｘ）により表情用テクスチャーモデルが設定されたこととなる。なお、表情用形状モデルと表情用テクスチャーモデルにおける平均形状ｓ0と平均顔画像Ａ0（ｘ）は、それぞれ無表情に対応する。
【００３７】
サンプル群Ｇ２に属するサンプル画像ＳＩを対象としてＡＡＭ設定処理をおこなうため、表情用形状モデルにおいて最も寄与率の大きい第１〜４主成分に対応する第１〜４形状ベクトルｓ1〜ｓ4は、それぞれ喜顔であるか否か、悲顔であるか否か、驚顔であるか否か、怒顔であるか否かと、相関するベクトルとなっている。すなわち、表情（喜顔、悲顔、驚顔、怒顔）の属性に関して互いに相違する顔画像のみを含むサンプル群Ｇ２を対象としてＡＡＭ設定処理を行っているため、各表情であるか否かを示す形状ベクトルｓiの累積寄与率がもっとも高くなる。なお、表情用形状モデルに使用する主成分は第１〜４主成分（ｎ＝４）とする。例えば、喜顔であるか否かに対応する形状ベクトルｓ1は、目尻の角度と口角と目尻の下がり具合等を総合的に変動させる固有ベクトルとなる。また、第１〜４形状ベクトルｓ1〜ｓ4についての係数である形状パラメーターｐ1〜ｐ4は、特許請求の範囲における「表情用特徴量」に相当する。
【００３８】
一方、表情用テクスチャーモデルにおいても、同様に最も寄与率の大きい第１〜４主成分に対応する第１〜４テクスチャーベクトルａ1（ｘ）〜ａ4（ｘ）は、それぞれ喜顔であるか否か、悲顔であるか否か、驚顔であるか否か、怒顔であるか否かほぼ相関するベクトルとなっている。なお、ここでも使用する主成分は第１〜４主成分（ｍ＝４）とする。例えば、喜顔であるか否かに対応するテクスチャーベクトルａ1（ｘ）は、目尻のしわと口のまわりのしわなどに起因する色の変化等を総合的に変動させる固有ベクトルとなる。また、第１〜４形状ベクトルｓ1〜ｓ4についての係数であるテクスチャーパラメーターλ1〜λ4は、特許請求の範囲における「表情用特徴量」に相当する。
【００３９】
Ａ３．顔特徴検出処理：
図１０は、実施例における顔特徴検出処理の流れを示すフローチャートである。本実施例における顔特徴検出処理は、ＡＡＭ（基本顔モデル（形状モデル，テクスチャーモデル））を利用して注目画像に含まれる顔画像における特徴点ＣＰの配置を決定する特徴点ＣＰ設定位置補正処理（ステップＳ２５０）により、顔画像における特徴部位の位置を検出し、さらにテクスチャー検出処理（ステップＳ２６０）により顔のテクスチャーを検出する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴検出処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００４０】
なお、顔特徴検出処理によって顔画像における特徴点ＣＰの配置が決定されると、顔画像についての形状パラメーターｐiの値が特定される。従って、顔特徴検出処理の処理結果は特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形、顔の陰影補正等に利用可能である。
【００４１】
はじめに、画像処理部２００（図１）は、顔特徴検出処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザーにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶものとする。
【００４２】
顔領域検出部２３０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２３０）。顔領域ＦＡの検出は、公知の顔検出手法を用いておこなうことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００４３】
図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００４４】
設定部２１０（図１）は、注目画像ＯＩにおける特徴点ＣＰの初期位置を設定する（ステップＳ２４０）。図１２は、本実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。本実施例では、設定部２１０は、顔領域ＦＡに対する顔画像の大きさ、傾き、位置（上下方向の位置および左右方向の位置）を表すグローバルパラメーターの値を種々変更して、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する（ステップＳ３１０）。
【００４５】
図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュが示されている。設定部２１０は、図１３（ａ）および図１３（ｂ）の中央に示すように、顔領域ＦＡの中央部に平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置（以下、「基準仮設定位置」とも呼ぶ）を設定する。
【００４６】
設定部２１０は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、設定部２１０は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、設定部２１０は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００４７】
また、図１３（ｂ）に示すように、設定部２１０は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、設定部２１０は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００４８】
設定部２１０は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と、基準仮設定位置の合計８１通りの仮設定位置が設定される。
【００４９】
生成部２２２（図１）は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００５０】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに配置された特徴点ＣＰ（図１３参照）によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、注目画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００５１】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（注目画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、注目画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００５２】
算出部２２４（図１）は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と、特許請求の範囲の「比較顔画像」としての平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、算出部２２４（図１）は、８１個の差分画像Ｉｅを算出することとなる。
【００５３】
設定部２１０は、各差分画像Ｉｅの画素値からノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により特徴点ＣＰ初期位置設定処理が完了する。なお、ノルムの値が小さいほど平均形状画像Ｉ（Ｗ（ｘ；ｐ））と、平均顔画像Ａ0（ｘ）との差が小さくなる（両者が近似する）。
【００５４】
Ａ３−１．特徴点ＣＰ設定位置補正処理：
特徴点ＣＰ初期位置設定処理が完了すると、特徴位置検出部２２０（図１）は、注目画像ＯＩにおける特徴点ＣＰの設定位置の補正をおこなう（ステップＳ２５０）。図１５は、本実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【００５５】
生成部２２２（図１）は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ３２０と同様である。
【００５６】
特徴位置検出部２２０は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。特徴位置検出部２２０は、差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ４３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、特徴位置検出部２２０は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定をおこなうものとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００５７】
前記のステップＳ４３０の収束判定において未だ収束していないと判定された場合には、補正部２２６（図１）がパラメーター更新量ΔＰを算出する（ステップＳ４５０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、特徴量であるｎ個の形状パラメーターｐi（ｉ＝１〜ｎの整数。）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰ初期位置設定処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ0の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値およびテクスチャーモデルにおけるテクスチャーパラメーターλkはすべてゼロである。
【００５８】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００５９】
【数３】
【００６０】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、
ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００６１】
【数４】
【数５】
【００６２】
補正部２２６（図１）は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターとｎ個の形状パラメーターｐi）を更新する（ステップＳ４６０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。なお、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、形状パラメーターｐiの更新（変化）に応じて変化するものであり、特許請求の範囲の「顔領域」に相当する。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４５０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４６０）が行われる。
【００６３】
図１５のステップＳ４１０からＳ４６０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置、実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴検出処理が完了する（ステップＳ４７０）。このとき設定されているグローバルパラメーターおよび形状パラメーターｐiの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。
【００６４】
図１６は、特徴点ＣＰ設定位置補正処理の結果の一例を示す説明図である。図１６には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。
【００６５】
特徴点ＣＰ設定位置補正処理が完了すると、テクスチャー検出部２４０（図１）は、注目画像ＯＩにおいて設定される平均形状画像Ｉ（Ｗ（ｘ；ｐ））のテクスチャー（見え）の補正（検出）をおこなう（ステップＳ２６０）。
【００６６】
Ａ３−２．テクスチャー検出処理：
図１７は、テクスチャー検出処理の流れを示すフローチャートである。生成部２４２（図１）は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ５１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ３２０、および、特徴点ＣＰ設定位置補正処理におけるステップＳ４１０と同様であるが、特徴点ＣＰ設定位置補正処理完了時のグローバルパラメーターおよび形状パラメーターｐiの値を使用して平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。
【００６７】
さらに、テクスチャー検出部２４０の生成部２４２は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に基づく平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））を算出する（ステップＳ５１５）。平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））は、以下の（６）式によって算出される。
【数６】
前記式（６）は、前記式（２ｂ）における顔のテクスチャーＡ（ｘ）にＷ（ｘ；ｐ）を代入したものであり、テクスチャーパラメーターλkが適切に設定されれば、Ｔ（ｘ；λ）が平均顔画像Ａ0（ｘ）と等しくなる。
【００６８】
そして、算出部２４４は、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ５２０）。テクスチャー検出部２４０は、差分画像Ｉｅに基づき、テクスチャー検出処理が収束したか否かを判定する（ステップＳ５３０）。テクスチャー検出部２４０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、テクスチャー検出部２４０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ５３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。ここにおける収束の判定は、特徴点ＣＰ設定位置補正処理におけるステップＳ４３０と同様の手法によりおこなうことができる。
【００６９】
前記のステップＳ５３０の収束判定において未だ収束していないと判定された場合には、補正部２４６（図１）がパラメーター更新量Δλを算出する（ステップＳ５５０）。パラメーター更新量ΔΛは、特徴量であるｍ個のテクスチャーパラメーターλk（ｋ＝１〜ｍの整数。）の値の変更量を意味している。パラメーター更新量ΔΛは、下記の式（７）により算出される。すなわち、パラメーター更新量ΔΛは、アップデートマトリックスＵと差分画像Ｉｅとの積である。
【００７０】
【数７】
【００７１】
式（７）におけるアップデートマトリックスＵは、差分画像Ｉｅに基づきパラメーター更新量ΔΛを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、
ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＵの行数Ｍは、テクスチャーパラメーターλk（ｍ個）に等しく、列数Ｎは、平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＵは、下記の式（８），（９）により算出される。
【数８】
【数９】
【００７２】
補正部２４６（図１）は、算出されたパラメーター更新量ΔΛに基づきテクスチャーパラメーターλkを更新する（ステップＳ５６０）。これにより、顔のテクスチャーＡ（ｘ）が補正される。すなわち、補正部２４６は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、補正されたテクスチャーパラメーターλkに基づいて平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））の算出（ステップＳ５１５）、差分画像Ｉｅの算出（ステップＳ５２０）、差分画像Ｉｅに基づく収束判定（ステップＳ５３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔΛの算出（ステップＳ５５０）、パラメーターの更新によるテクスチャーの補正（ステップＳ５６０）が行われる。
【００７３】
図１７のステップＳ５１０からＳ５６０までの処理が繰り返し実行されると、顔のテクスチャーＡ（ｘ）の各画素の輝度値（色彩値）が、実際の顔画像の輝度値に全体として近づいていき、ある時点で収束判定（ステップＳ５３０）において収束したと判定される。収束判定において収束したと判定されると、テクスチャー検出処理が完了する（ステップＳ５７０）。このとき設定されているテクスチャーパラメーターλkの値により特定される顔のテクスチャーＡ（ｘ）が最終的な顔の見えとして特定される。顔のテクスチャーＡ（ｘ）に基づいて、顔色補正等をおこなうことができる。以上のようにして、注目画像ＯＩにおける顔領域ＦＡについての形状パラメーターｐiとテクスチャーパラメーターλkが特定できると、次に表情判定処理を実行する。
【００７４】
Ａ４．表情判定処理：
図１８は、表情判定処理の流れを示すフローチャートである。表情判定処理も、上述した顔特徴検出処理と同様に、特徴点ＣＰ設定位置補正処理（ステップＳ６２０）とテクスチャー検出処理（ステップＳ６３０）とを有し、これらの処理は特徴位置検出部２２０とテクスチャー検出部２４０によって実行される。ただし、ＡＡＭとして表情用形状モデルと表情用テクスチャーモデルを使用する点で上述した顔特徴検出処理と異なる。顔特徴検出処理では目や口などの顔の器官の基本的な形状や位置を特定されるが、表情判定処理では予め特定された顔の器官の基本的な形状や位置から細かく変動した顔の器官の形状や位置に基づいて表情を判定する。なお、顔特徴検出処理における特徴点ＣＰ設定位置補正処理とテクスチャー検出処理を実行する特徴位置検出部２２０とテクスチャー検出部２４０は、特許請求の範囲における「基本特徴量補正部」に相当する。一方、表情判定処理における特徴点ＣＰ設定位置補正処理とテクスチャー検出処理を実行する特徴位置検出部２２０とテクスチャー検出部２４０は、特許請求の範囲における「表情用特徴量補正部」に相当する。まず、上述した顔特徴検出処理によって最終的に求められたグローバルパラメーターと形状パラメーターｐiとテクスチャーパラメーターλk（特許請求の範囲の「補正された基本特徴量」に相当。）を使用して、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））を算出する（ステップＳ６１０）。平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））の算出は、上述したステップＳ５１０，Ｓ５１５と同様におこなうことができる。
【００７５】
平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））は、注目画像ＯＩにおける顔領域ＦＡをグローバルパラメーターと形状パラメーターｐiとテクスチャーパラメーターλkに基づいて平均化した画像を示すこととなる。ただし、表情の属性の有無を含まないサンプル画像ＳＩが含まれるサンプル群Ｇ１を用いてモデル化したＡＡＭ（形状モデルとテクスチャーモデル）を使用し、累積寄与率の高い順に選択された一部の固有ベクトルを用いて平均化を行っているため、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））には表情に起因する特徴が残存することとなる。表情の属性の有無を含まないサンプル画像ＳＩで学習を行った形状モデルとテクスチャーモデルでは、表情に関連する固有ベクトルの累積寄与率は低くなり、表情を変化させる固有ベクトルの累積寄与率が上位ｎ，ｍ位以内とはならないからである。
【００７６】
図１９は、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））の一例を示す図である。同図においては、笑っている表情（喜顔）についての平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））を示している。例えば、注目画像ＯＩにおける本来の顔領域ＦＡは左振りの顔を示すが、第１形状ベクトルｓ1に基づく補正により、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））では正面向きに補正されている。その他、人種・性別などの個性も失われるように平均化されている。しかし、サンプル群Ｇ１に属するサンプル画像ＳＩには表情の属性の有無を含まれていないため、喜顔に起因する細かな特徴（口角や目尻の角度や笑いじわ等）は平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））に残存している。このような平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））が算出できると、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））を表情判定の対象とする表情判定用顔画像ＦＥとする。
【００７７】
図２０，図２１は、表情判定処理における特徴点ＣＰ設定位置補正処理（ステップＳ６２０）とテクスチャー検出処理（ステップＳ６３０）の流れを示すフローチャートである。特徴点ＣＰ設定位置補正処理とテクスチャー検出処理の全体的な流れは、上述した顔特徴検出処理における特徴点ＣＰ設定位置補正処理（ステップＳ２５０）とテクスチャー検出処理（ステップＳ２６０）と同様である。ただし、特徴点ＣＰ設定位置補正処理のステップＳ７１０において、表情判定用顔画像ＦＥを取得して該表情判定用顔画像ＦＥを処理の対象とする点と、表情用形状モデルおよび表情用テクスチャーモデルを使用する点で顔特徴検出処理とは相違している。ステップＳ７１０においては、表情判定用顔画像ＦＥに対して特徴点ＣＰを初期設定する。表情判定用顔画像ＦＥは、概ね平均形状ｓ0における特徴点ＣＰの配置と同様の特徴部位の位置を有することとなるため、グローバルパラメーターを複数設定することなく平均形状ｓ0における特徴点ＣＰの配置を初期設定すればよい。初期設定の段階において、基本的に、表情に起因した細かい特徴点ＣＰのずれが生じることとなる。
【００７８】
特徴点ＣＰ設定位置補正処理のステップＳ７５０においては、各表情（喜顔、悲顔、驚顔、怒顔）であるか否かを示す表情用形状モデルの４個（ｎ＝４）の形状パラメーターｐiが順次更新されることとなる。このようにすることにより、表情判定用顔画像ＦＥの特徴点ＣＰの配置を表情の変化（形状パラメーターｐiの変化）に対応付けて変化させていき、無表情を示す平均形状ｓ0に近い特徴点ＣＰの配置が得られるときの形状パラメーターｐiを特定することができる。同様に、テクスチャー検出処理のＳ８５０においても、各表情（喜顔、悲顔、驚顔、怒顔）であるか否かを示す表情用テクスチャーモデルの４個（ｍ＝４）のテクスチャーパラメーターλkが順次更新されることとなる。このようにすることにより、表情判定用顔画像ＦＥの各画素の輝度値を表情の変化（テクスチャーパラメーターλkの変化）に対応付けて変化させていき、無表情を示す平均顔画像Ａ0（ｘ）に近い輝度値分布が得られるときのテクスチャーパラメーターλkを特定することができる。
【００７９】
図１９のように、上述した顔特徴検出処理によって顔の器官の基本的な形状と位置等が特定された平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））の段階では、表情に応じた特徴点ＣＰの位置の変動に対応できないが、表情用形状モデルおよび表情用テクスチャーモデルを使用して特徴点ＣＰ設定位置補正処理とテクスチャー検出処理をおこなうことにより、表情に応じて変動する特徴点ＣＰの位置や各画素の輝度値に合わせ込むことができる。例えば、特徴点ＣＰ設定位置補正処理によって、喜顔における口角の上がり具合に合った特徴点ＣＰの位置に補正することができる。また、テクスチャー検出処理によって、喜顔における笑いじわ等を反映させることができる。
【００８０】
テクスチャー検出処理が終了すると、表情判定部２５０がテクスチャー検出処理終了時の形状パラメーターｐiとテクスチャーパラメーターλkとを取得し（ステップＳ６４０）、これらに基づいて表情を判定する（ステップＳ６５０）。上述したように、表情用形状モデルにおいて最も寄与率の大きい第１〜４主成分に対応する第１〜４形状ベクトルｓ1〜ｓ4は、それぞれ喜顔であるか否か、悲顔であるか否か、驚顔であるか否か、怒顔であるか否かと、ほぼ相関するベクトルとなっているため、これらの係数である形状パラメーターｐi（ｉ＝１〜４）の大きさは、それぞれの表情らしさを示すこととなる。表情用テクスチャーモデルのテクスチャーパラメーターλk（ｋ＝１〜４）の大きさも、それぞれの表情らしさを示すこととなる。従って、形状パラメーターｐiとテクスチャーパラメーターλkの値に基づいて、どの表情であるかを判定することができる。本実施例では、形状パラメーターｐiとテクスチャーパラメーターλkを、各表情らしさの度合いに関して正規化する変換式により形状パラメーターｐiとテクスチャーパラメーターλkの各値を正規化する。各表情らしさの度合いは人間の感覚に左右されるため、形状パラメーターｐiとテクスチャーパラメーターλkの各値に対応する標本について、オペレーターが各表情らしさを判定した結果に基づいて前記変換式が用意されるのが望ましい。
【００８１】
そして、正規化した形状パラメーターｐiのうち最も大きい成分と、正規化したテクスチャーパラメーターλkのうち最も大きい成分とを検出し、それらが同一の表情に対応したものである場合には、当該表情であると判定する。なお、形状パラメーターｐiとテクスチャーパラメーターλkとが矛盾した表情を示す場合には、それらのうち大きい方を採用したり、形状パラメーターｐiを優先するようにしてもよい。また、正規化した形状パラメーターｐiとテクスチャーパラメーターλkのうち最も大きい成分の値が所定の閾値よりも小さい場合には、無表情であると判定してもよい。本実施例では、注目画像ＯＩに各表情を識別するタグ情報を添付した後、注目画像ＯＩに喜顔が含まれる場合には、印刷機構１６０に注目画像ＯＩを出力し、印刷を実行させる（ステップＳ６６０）。
【００８２】
本実施例では、顔特徴検出処理と表情判定処理とで独立したＡＡＭを使用するため、各処理における形状パラメーターｐiとテクスチャーパラメーターλkの更新を高速かつ高精度におこなうことができる。すなわち、顔特徴検出処理と表情判定処理において、変化させる形状パラメーターｐiとテクスチャーパラメーターλkの要素の個数を抑えることができ、処理を効率的とすることができる。例えば、顔特徴検出処理と同時に表情判定をおこなうことができるように、サンプル群Ｇ１とサンプル群Ｇ２を統合したサンプル画像ＳＩで学習したＡＡＭを使用することにより、顔特徴検出処理と同時に表情判定をおこなうことも考えられる。しかしながら、特徴点ＣＰ設定位置補正処理とテクスチャー検出処理とにおいて更新すべき形状パラメーターｐiとテクスチャーパラメーターλkの個数が増大し、処理が非効率的となる。また、顔特徴検出処理において確実に顔器官等の基本的な位置や形状や色彩を検出した後に、表情判定処理において表情に起因した顔器官の位置や形状や色彩の変動を検出するため、細かな表情変化も精度よく判定することができる。
【００８３】
Ｂ．変形例：
なお、この発明は前記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８４】
Ｂ１．変形例１：
前記実施例では、サンプル群Ｇ２に表情（喜顔、悲顔、驚顔、怒顔）の属性に関して互いに相違する顔画像のみを含むサンプル画像ＳＩのみを含ませるようにしたが、サンプル群Ｇ２は表情の属性に関して互いに相違する顔画像のみを含むものに限られない。サンプル群Ｇ２に別の属性を有するサンプル画像ＳＩを含ませるようにしてもよい。例えば、異なる人種の属性を有するサンプル画像ＳＩをサンプル群Ｇ２に含ませてもよい。
【００８５】
Ｂ２．変形例２：
反対に、サンプル群Ｇ１に表情（喜顔、悲顔、驚顔、怒顔）の属性に関して互いに相違する顔画像を含むサンプル画像ＳＩを含ませるようにしてもよい。サンプル群Ｇ１に表情の属性に関して互いに相違する顔画像を加えることにより、表情の変動に対する顔特徴検出処理のロバスト性を確保することができる。この場合、表情の相違が、顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkに顕れることも考えられる。従って、顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkに基づいて表情の判定をおこなうことも可能である。ただし、顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkだけでは十分な表情判定精度が得られないおそれがあるため、顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkの表情の顕れ方が顕著である場合（例えば、ある形状パラメーターｐiの線形結合値が所定の閾値以上等の場合等。）に限り、これらに基づいて表情判定をおこなうようにしてもよい。これにより、表情用顔モデルについての演算を省略することができ、処理の高速化を図ることができる。顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkの表情の顕れ方が顕著でない場合には、前記実施形態のように、表情用形状モデルと表情用テクスチャーモデルを使用して精度よく表情判定を行えばよい。
【００８６】
Ｂ３．変形例３：
前記実施例においては、もっとも大きい単一の表情を有していると判定するようにしたが、複数の表情に対応する形状パラメーターｐiとテクスチャーパラメーターλkが所定の閾値よりも表情らしいと示すのであれば、複数の表情が混在すると判定するようにしてもよい。例えば、喜顔と驚顔に対応する形状パラメーターｐiを正規化した値が双方とも閾値を超える場合には、双方の表情を有していると判定するようにしてもよい。
【００８７】
Ｂ４．変形例４：
前記実施例では、特徴点ＣＰ初期位置設定処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３−１）の仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。例えば、４つのグローバルパラメーターの内の一部のみが仮設定位置の設定に用いられるとしてもよいし、用いられるパラメーターのそれぞれについて、５段階の値の組み合わせにより仮設置位置が設定されるものとしてもよい。
【００８８】
Ｂ５．変形例５：
前記実施例の特徴点ＣＰ設定位置補正処理では、注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより注目画像ＯＩの特徴点ＣＰの設置位置を平均顔画像Ａ0（ｘ）の特徴点ＣＰの設置位置に整合させているが、平均顔画像Ａ0（ｘ）に対して画像変換をおこなうことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。すなわち、前記実施例では、「顔領域」としての平均形状画像Ｉ（Ｗ（ｘ；ｐ））を変化させることとしたが、平均顔画像Ａ0（ｘ）を形状パラメーターｐiやテクスチャーパラメーターλkの変化に応じて変化させてもよい。いずれにしても、注目画像ＯＩに含まれる「顔領域」と、顔モデルによって再現される顔の画像との差を小さくさせる形状パラメーターｐiやテクスチャーパラメーターλkに補正されることとなる。なお、前記実施例の顔特徴検出処理によって最終的に求められたグローバルパラメーターと形状パラメーターｐiとテクスチャーパラメーターλk（特許請求の範囲の「補正された基本特徴量」に相当。）を前記の式（１），（２）に代入して得られるテクスチャーＡ（ｘ）が特許請求の範囲の「基本顔画像」に相当する。前記実施例では、「基本顔画像」を算出せず、代わりに注目画像ＯＩにおける顔領域ＦＡを「補正された基本特徴量」によって平均顔画像Ａ0（ｘ）に近づくように逆変換することとしている。
【００８９】
Ｂ６．変形例６：
前記実施例におけるサンプル画像ＳＩ（図３）はあくまで一例であり、サンプル画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、前記実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【００９０】
また、前記実施例では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【００９１】
また、前記実施例において、平均顔画像Ａ0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
【００９２】
また、判定対象の表情は、喜顔と悲顔と驚顔と怒顔に限られるものではなく、困顔や寝顔や焦顔等の表情を判定するようにしてもよい。むろん、前記実施例や変形例において、喜顔と悲顔と驚顔と怒顔のすべてを判定するのではなく、例えば喜顔であるか否かのみを判定するようにしてもよい。
【００９３】
また、前記実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【００９４】
また、前記実施例では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。また、前記実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【００９５】
前記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【００９６】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【符号の説明】
【００９７】
１００…プリンター、１１０…ＣＰＵ、１２０…内部メモリー、１４０…操作部、１５０…表示部、１６０…印刷機構、１７０…カードインターフェース、１７２…カードスロット、２００…画像処理部、２１０…設定部、２２０…特徴位置検出部、２２２，２４２…生成部、２２４，２４４…算出部、２２６，２４６…補正部、２３０…顔領域検出部、２４０…テクスチャー検出部、２５０…表情判定部、３１０…表示処理部、３２０…印刷処理部。
【技術分野】
【０００１】
本発明は、画像に含まれる顔の表情を判定する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置に関する。
【背景技術】
【０００２】
顔画像の表情を目や鼻や口や髪型や色彩などについての位置や大きさや比率などの顔特徴情報に基づいて推定する印刷装置が開示されている（特許文献１、段落００３１、参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２０６９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、顔器官の位置や形状の検出と表情の判定とを同時におこなうと、顔器官の検出精度や表情判定の精度が悪くなるという課題があった。
【０００５】
本発明は、前記の課題を解決するためになされたものであり、表情を精度よく判別することが可能な画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。すなわち、顔領域検出部を備え、該顔領域検出部は前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する。設定部は、複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定する。基本特徴量補正部は、前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域に近似するように前記基本特徴量を補正する。一方、表情用特徴量補正部は、前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が前記顔領域に近似するように前記表情用特徴量を補正する。そして、判定部は前記補正された前記表情用特徴量に基づいて顔の表情を判定する。
【０００７】
かかる構成では、まず前記基本特徴量補正部が前記基本特徴量を補正することにより、前記特徴部位の基本的な位置や形状を精度よく特定することができる。次に、特定された顔の特徴部位の位置をもとにして、前記表情用特徴量補正部が前記表情用特徴量を補正する。このように、予め顔の器官の輪郭等の特徴部位の基本的な配置を特定しておくことにより、前記表情用顔モデルによって、表情に起因した顔の器官の形状や位置の細かな変動を特定することができる。従って、補正された前記表情用特徴量に基づいて表情を精度よく判定することができる。なお、前記基本顔モデルと前記表情用顔モデルは、少なくとも前記特徴部位の位置を再現することができればよく、前記特徴部位の位置とともに他の顔の状態（例えば、テクスチャー等。）も再現するものであってもよい。
【０００８】
別の態様に係る画像処理装置では、前記基本特徴量と前記表情用特徴量の少なくとも一つを、複数のサンプル画像の前記特徴部位の位置を主成分分析して得られる各主成分の固有ベクトルの係数とする。すなわち、顔モデルを主成分分析を利用して用意するとともに、前記特徴量を各主成分の固有ベクトルの係数とする。さらに、前記複数のサンプル画像の画素の色彩値を主成分分析することにより、顔の見えをモデル化するようにしてもよい。また、前記基本顔モデルは前記特徴部位の基本的な配置を再現するのに特化し、前記表情用顔モデルは表情に起因した前記特徴部位の細かな変動を特定したものであるのが望ましく、前記サンプル画像は前記基本顔モデルと前記表情用顔モデルとで異ならせるのが望ましい。
【０００９】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、特徴部位の位置検出方法および装置、表情判定方法および装置、これらの方法または装置の機能を実現するための画像処理プログラム、その画像処理プログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。
【図２】実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。
【図３】サンプル画像ＳＩの一例を示す説明図である。
【図４】サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。
【図５】サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。
【図６】平均形状ｓ０の一例を示す説明図である。
【図７】形状ベクトルｓiおよび形状パラメーターｐiと顔の形状ｓとの関係を例示した説明図である。
【図８】サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。
【図９】平均顔画像Ａ0（ｘ）の一例を示す説明図である。
【図１０】実施例における顔特徴検出処理の流れを示すフローチャートである。
【図１１】注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。
【図１２】実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。
【図１３】グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。
【図１４】平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。
【図１５】実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【図１６】ＣＰ設定位置補正処理の結果の一例を示す説明図である。
【図１７】テクスチャー検出処理の流れを示すフローチャートである。
【図１８】表情判定処理の流れを示すフローチャートである。
【図１９】表情判定用画像を示す図である。
【図２０】表情判定処理における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【図２１】表情判定処理におけるテクスチャー検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明に係る画像処理装置の一態様であるプリンターについて、図面を参照しつつ、実施例に基づいて説明する。
【００１２】
Ａ．本実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の本実施例における画像処理装置としてのプリンター１００の構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信をおこなうためのインターフェースを備えていてもよい。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。
【００１３】
印刷機構１６０は、印刷データに基づき印刷をおこなう。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りをおこなうためのインターフェースである。なお、本実施例では、メモリーカードＭＣに画像データを含む画像ファイルが格納されている。
【００１４】
内部メモリー１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで顔特徴検出処理や表情判定処理をおこなう。顔特徴検出処理は、顔画像における所定の特徴部位（例えば目尻や鼻頭やフェイスライン）の位置を検出する処理である。顔特徴検出処理については、後に詳述する。表示処理部３１０、および、印刷処理部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。
【００１５】
画像処理部２００は、プログラムモジュールとして、設定部２１０と、特徴位置検出部２２０と、顔領域検出部２３０と、テクスチャー検出部２４０と、表情判定部２５０と、を含んでいる。特徴位置検出部２２０とテクスチャー検出部２４０は、それぞれ生成部２２２，２４２と、算出部２２４，２４４と、補正部２２６，２４６と、を含んでいる。これら各部の機能については、後述の顔特徴検出処理および表情判定処理の説明において詳述する。
【００１６】
表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバーである。印刷処理部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示処理部３１０、印刷処理部３２０）を読み出して実行することにより、これら各部の機能を実現する。
【００１７】
内部メモリー１２０には、また、ＡＡＭ情報ＡＭＩが格納されている。ＡＡＭ情報ＡＭＩは、後述のＡＡＭ設定処理によって予め設定される情報であり、後述の顔特徴検出処理において参照される。ＡＡＭ情報ＡＭＩの内容については、後述のＡＡＭ設定処理の説明において詳述する。
【００１８】
Ａ２．ＡＡＭ設定処理：
図２は、本実施例におけるＡＡＭ設定処理の流れを示すフローチャートである。ＡＡＭ設定処理は、ＡＡＭ（アクティブアピアランスモデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ））と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルおよび表情用形状モデルおよび表情用テクスチャーモデルを設定する処理である。本実施例において、ＡＡＭ設定処理は、オペレーターがコンピューターを使用することによりおこなわれる。コンピューターは、ＣＰＵとＲＡＭとＲＯＭとＨＤＤとディスプレイと入力装置等を有しており、これらがバスによって接続されている。ＣＰＵはＨＤＤに記録されたプログラムを読み出し、該プログラムにしたがった演算処理を実行することにより、コンピューターが後述する各処理を実行させる。なお、形状モデルおよびテクスチャーモデルおよび表情用形状モデルおよび表情用テクスチャーモデルを設定するコンピューターは特許請求の範囲の「設定部」に相当する。また、形状モデルおよびテクスチャーモデルは特許請求の範囲の「基本顔モデル」に相当し、表情用形状モデルおよび表情用テクスチャーモデルは特許請求の範囲の「表情用顔モデル」に相当する。
【００１９】
はじめに、オペレーターは、人物の顔を含んだ複数の画像をサンプル画像ＳＩとして用意する（ステップＳ１１０）。図３は、サンプル画像ＳＩの一例を示す説明図である。図３に示すように、サンプル画像ＳＩは、個性・人種・性別・向き（正面向き、上向き、下向き、右向き、左向き等）といった種々の属性に関して互いに相違する顔画像が含まれるように用意される。本実施例では、これらのサンプル画像ＳＩのすべてによって構成されるサンプル群Ｇ１と、表情（喜顔、悲顔、驚顔、怒顔）の属性に関して互いに相違する顔画像のみを含むサンプル群Ｇ２とをそれぞれ用意する。サンプル群Ｇ１によれば、ＡＡＭによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴検出処理（後述）の実行が可能となる。一方、サンプル群Ｇ２によれば、ＡＡＭによって表情の特徴のみを選択的にモデル化することができ、精度の良い表情判定処理（後述）の実行が可能となる。なお、サンプル群Ｇ２においては、表情以外の個性・人種・性別・向きについての属性ができるだけ多様とならないようにサンプル画像ＳＩが選択される。なお、サンプル画像ＳＩは、学習用画像とも呼ばれる。
【００２０】
以下、サンプル群Ｇ１に属するサンプル画像ＳＩに対しておこなう処理を例に説明する。サンプル群Ｇ１に属するそれぞれのサンプル画像ＳＩに含まれる顔画像に、特徴点ＣＰを設定する（ステップＳ１２０）。図４は、サンプル画像ＳＩにおける特徴点ＣＰの設定方法の一例を示す説明図である。特徴点ＣＰは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置（例えば端点や４分割点等、以下同じ）、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭（フェイスライン）上の所定位置といった６８箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置を、特徴部位として設定する。図４に示すように、特徴点ＣＰは、各サンプル画像ＳＩにおいてオペレーターにより指定された６８個の特徴部位を表す位置に設定（配置）される。このように設定された各特徴点ＣＰは各特徴部位に対応しているため、顔画像における特徴点ＣＰの配置は顔の形状を特定していると表現することができる。
【００２１】
サンプル画像ＳＩにおける特徴点ＣＰの位置は、座標により特定される。図５は、サンプル画像ＳＩに設定された特徴点ＣＰの座標の一例を示す説明図である。図５において、ＳＩ（ｇ）（ｇ＝１，２，３・・・）は各サンプル画像ＳＩを示しており、ＣＰ（ｋ）（ｋ＝０，１，・・・，６７）は各特徴点ＣＰを示している。また、ＣＰ（ｋ）−Ｘは、特徴点ＣＰ（ｋ）のＸ座標を示しており、ＣＰ（ｋ）−Ｙは、特徴点ＣＰ（ｋ）のＹ座標を示している。特徴点ＣＰの座標としては、顔の大きさと顔の傾き（画像面内の傾き）と顔のＸ方向およびＹ方向の位置とのそれぞれについて正規化されたサンプル画像ＳＩにおける所定の基準点（例えば画像の左下の点）を原点とした座標が用いられる。また、本実施例では、１つのサンプル画像ＳＩに複数の人物の顔画像が含まれる場合が許容されており（例えばサンプル画像ＳＩ（２）には２人の顔画像が含まれている）、１つのサンプル画像ＳＩにおける各人物は人物ＩＤによって特定される。各サンプル画像ＳＩと、各特徴点ＣＰの座標と、人物ＩＤとは、コンピューターに入力される。
【００２２】
つづいて、オペレーターは、ＡＡＭの形状モデルの設定をおこなう（ステップＳ１３０）。具体的には、各サンプル画像ＳＩにおける６８個の特徴点ＣＰの座標（Ｘ座標およびＹ座標）により構成される座標ベクトル（図５参照）に対する主成分分析をコンピューターがおこない、さらにコンピューターが特徴点ＣＰの位置により特定される顔の形状ｓを下記の式（１）によりモデル化する。なお、形状モデルは、特徴点ＣＰの配置モデルとも呼ぶ。
【００２３】
【数１】
【００２４】
前記式（１）において、ｓ0は平均形状である。図６は、平均形状ｓ0の一例を示す説明図である。図６（ａ）および（ｂ）に示すように、平均形状ｓ0は、サンプル画像ＳＩの各特徴点ＣＰについての平均位置（平均座標）により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状ｓ0において、外周に位置する特徴点ＣＰ（フェイスラインおよび眉毛、眉間に対応する特徴点ＣＰ、図４参照）を結ぶ直線により囲まれた領域（図６（ｂ）においてハッチングを付して示す）を「平均形状領域ＢＳＡ」と呼ぶ。コンピューターは、平均形状ｓ0に対して、図６（ａ）に示すように、特徴点ＣＰを頂点とする複数の三角形領域ＴＡを、平均形状領域ＢＳＡをメッシュ状に分割するように設定する。
【００２５】
形状モデルを表す前記式（１）において、ｓiは形状ベクトルであり、ｐiは形状ベクトルｓiの重みを表す形状パラメーターである。形状ベクトルｓiは、顔の形状ｓの特性を表すベクトルであり、主成分分析により得られる第ｉ主成分に対応する固有ベクトルである。前記式（１）に示すように、本実施例における形状モデルでは、特徴点ＣＰの配置を表す顔形状ｓが、平均形状ｓ0とｎ個の形状ベクトルｓiの線形結合との和としてモデル化される。前記式（１ａ）が示すように、形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる画像における顔の形状ｓを再現することが可能である。また、前記式（１ｂ）が示すように、形状モデルにおいて形状パラメーターｐiを適切に設定することにより、あらゆる形状ｓから平均形状ｓ0へと逆変換することができる。
【００２６】
図７は、形状ベクトルｓiおよび形状パラメーターｐiと、顔の形状ｓとの関係を例示した説明図である。図７（ａ）に示すように、コンピューターは、顔の形状ｓを特定するために、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率の高い順に選択された個数ｎ（本実施例では１０個とする。）の固有ベクトルを、形状ベクトルｓiとして採用する。形状ベクトルｓiのそれぞれは、図７（ａ）の矢印に示すように、各特徴点ＣＰの移動方向・移動量と対応している。本実施例では、最も寄与率の大きい第１主成分に対応する第１形状ベクトルｓ1は顔の左右振りにほぼ相関するベクトルとなっており、形状パラメーターｐ1を大小することにより、図７（ｂ）に示すように、顔の形状ｓの横方向の顔向きが変化する。２番目に寄与率の大きい第２主成分に対応する第２形状ベクトルｓ2は顔の上下振りにほぼ相関するベクトルとなっており、形状パラメーターｐ2を大小することにより、図７（ｃ）に示すように、顔の形状ｓの縦方向の顔向きが変化する。また、３番目に寄与率の大きい第３主成分に対応する第３形状ベクトルｓ3は顔の形状の縦横比にほぼ相関するベクトルとなっており、４番目に寄与率の大きい第４主成分に対応する第４形状ベクトルｓ4は口の開きの程度にほぼ相関するベクトルとなっている。このように、形状パラメーターの値は、顔の表情や、顔向きなど顔画像の特徴を表す。形状モデルにおけるｎ個の「形状パラメーター」は特許請求の範囲における「基本特徴量」に該当する。
【００２７】
なお、形状モデル設定ステップ（ステップＳ１３０）においてコンピューターが設定した平均形状ｓ0および形状ベクトルｓiは、ＡＡＭ情報ＡＭＩ（図１）としてプリンター１００の内部メモリー１２０に格納される。つづいて、コンピューターはＡＡＭのテクスチャーモデルの設定をおこなう（ステップＳ１４０）。具体的には、まず、各サンプル画像ＳＩに対して、サンプル画像ＳＩにおける特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しくなるように、画像変換（以下、「ワープＷ」とも呼ぶ）をおこなう。
【００２８】
図８は、サンプル画像ＳＩのワープＷの方法の一例を示す説明図である。コンピューターは、各サンプル画像ＳＩにおいて、平均形状ｓ0と同様に、外周に位置する特徴点ＣＰにより囲まれた領域をメッシュ状に分割する複数の三角形領域ＴＡを設定する。ワープＷは、複数の三角形領域ＴＡのそれぞれについてのアフィン変換の集合である。すなわち、ワープＷにおいては、サンプル画像ＳＩにおけるある三角形領域ＴＡの画像は、平均形状ｓ0における対応する三角形領域ＴＡの画像へとアフィン変換される。コンピューターは、ワープＷにより、特徴点ＣＰの設定位置が平均形状ｓ0における特徴点ＣＰの設定位置と等しいサンプル画像ＳＩ（以下「サンプル画像ＳＩｗ」と表す）を生成する。
【００２９】
なお、各サンプル画像ＳＩｗは、平均形状領域ＢＳＡ（図８においてハッチングを付して示す）を内包する矩形枠を外周とし、平均形状領域ＢＳＡ以外の領域（以下「マスク領域ＭＡ」とも呼ぶ）がマスクされた画像として生成される。平均形状領域ＢＳＡとマスク領域ＭＡとを併せた画像領域を基準領域ＢＡと呼ぶ。また、コンピューターは、各サンプル画像ＳＩｗを、例えば５６画素×５６画素のサイズの画像として正規化する。
【００３０】
次に、コンピューターは、各サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析を行い、顔のテクスチャー（「見え」とも呼ぶ）Ａ（ｘ）を下記の式（２）によりモデル化する。なお、画素群ｘは、平均形状領域ＢＳＡに位置する画素の集合である。
【数２】
【００３１】
前記式（２）において、Ａ0（ｘ）は平均顔画像である。図９は、平均顔画像Ａ0（ｘ）の一例を示す説明図である。平均顔画像Ａ0（ｘ）は、ワープＷの後のサンプル画像ＳＩｗ（図８参照）の平均の顔が表された画像である。すなわち、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗの平均形状領域ＢＳＡ内の画素群ｘの画素値（輝度値）の平均をとることにより算出される画像である。従って、平均顔画像Ａ0（ｘ）は、平均的な顔の形状における平均的な顔のテクスチャー（見え）を表すモデルである。なお、平均顔画像Ａ0（ｘ）は、サンプル画像ＳＩｗと同様に、平均形状領域ＢＳＡとマスク領域ＭＡとで構成され、例えば５６画素×５６画素のサイズの画像として算出される。
【００３２】
テクスチャーモデルを表す前記式（２）において、ａk（ｘ）はテクスチャーベクトルであり、λkはテクスチャーベクトルａk（ｘ）の重みを表すテクスチャーパラメーターである。テクスチャーベクトルａk（ｘ）は、顔のテクスチャーＡ（ｘ）の特性を表すベクトルであり、具体的には、主成分分析により得られる第ｊ主成分に対応する固有ベクトルである。すなわち、寄与率のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数ｍ（本実施例では４個とする。）の固有ベクトルが、テクスチャーベクトルａk（ｘ）として採用される。本実施例では、最も寄与率の大きい第１主成分に対応する第１テクスチャーベクトルＡ1（ｘ）は、顔色の変化（性別の差とも捉えられる）にほぼ相関するベクトルとなっている。
【００３３】
前記式（２）に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーＡ（ｘ）が、平均顔画像Ａ0（ｘ）とｍ個のテクスチャーベクトルａk（ｘ）の線形結合との和としてモデル化される。前記式（２ａ）に示すように、テクスチャーモデルにおいてテクスチャーパラメーターλkを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）を再現することが可能である。逆に、前記式（２ｂ）に示すように、テクスチャーモデルにおいてテクスチャーパラメーターλkを適切に設定することにより、あらゆる画像における顔のテクスチャーＡ（ｘ）から平均顔画像Ａ0（ｘ）へと逆変換することができる。テクスチャーモデルにおけるｍ個の「テクスチャーパラメーター」は特許請求の範囲における「基本特徴量」に該当する。
【００３４】
なお、テクスチャーモデル設定ステップ（図２のステップＳ１４０）において設定された平均顔画像Ａ0（ｘ）およびテクスチャーベクトルａk（ｘ）は、ＡＡＭ情報ＡＭＩ（図１）としてプリンター１００の内部メモリー１２０に格納される。コンピューターはＡＡＭ情報ＡＭＩをいずれかの記録媒体に記録しておき、プリンター１００の製造時において該記録媒体から読み出したＡＡＭ情報ＡＭＩを記録した内部メモリー１２０をプリンター１００に組み込むか、プリンター１００に組み込むまれた内部メモリー１２０に対して該記録媒体から読み出したＡＡＭ情報ＡＭＩを記録させる。
【００３５】
ここまでの処理により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルが設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーＡ（ｘ）に対して平均形状ｓ0から形状ｓへの変換（図８に示したワープＷの逆変換）をおこなうことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
【００３６】
次に、サンプル群Ｇ２に属するサンプル画像ＳＩを対象としてＡＡＭ設定処理（ステップＳ１１０〜Ｓ１４０）の処理を実行させる。これにより、サンプル群Ｇ１に属するサンプル画像ＳＩを対象としてＡＡＭ設定処理を行った場合と異なる平均形状ｓ0と平均顔画像Ａ0（ｘ）と形状ベクトルｓiとテクスチャーベクトルａk（ｘ）とがＡＡＭ情報ＡＭＩとして記憶されることとなる。平均形状ｓ0と形状ベクトルｓiにより表情用形状モデルが設定され、平均顔画像Ａ0（ｘ）とテクスチャーベクトルａk（ｘ）により表情用テクスチャーモデルが設定されたこととなる。なお、表情用形状モデルと表情用テクスチャーモデルにおける平均形状ｓ0と平均顔画像Ａ0（ｘ）は、それぞれ無表情に対応する。
【００３７】
サンプル群Ｇ２に属するサンプル画像ＳＩを対象としてＡＡＭ設定処理をおこなうため、表情用形状モデルにおいて最も寄与率の大きい第１〜４主成分に対応する第１〜４形状ベクトルｓ1〜ｓ4は、それぞれ喜顔であるか否か、悲顔であるか否か、驚顔であるか否か、怒顔であるか否かと、相関するベクトルとなっている。すなわち、表情（喜顔、悲顔、驚顔、怒顔）の属性に関して互いに相違する顔画像のみを含むサンプル群Ｇ２を対象としてＡＡＭ設定処理を行っているため、各表情であるか否かを示す形状ベクトルｓiの累積寄与率がもっとも高くなる。なお、表情用形状モデルに使用する主成分は第１〜４主成分（ｎ＝４）とする。例えば、喜顔であるか否かに対応する形状ベクトルｓ1は、目尻の角度と口角と目尻の下がり具合等を総合的に変動させる固有ベクトルとなる。また、第１〜４形状ベクトルｓ1〜ｓ4についての係数である形状パラメーターｐ1〜ｐ4は、特許請求の範囲における「表情用特徴量」に相当する。
【００３８】
一方、表情用テクスチャーモデルにおいても、同様に最も寄与率の大きい第１〜４主成分に対応する第１〜４テクスチャーベクトルａ1（ｘ）〜ａ4（ｘ）は、それぞれ喜顔であるか否か、悲顔であるか否か、驚顔であるか否か、怒顔であるか否かほぼ相関するベクトルとなっている。なお、ここでも使用する主成分は第１〜４主成分（ｍ＝４）とする。例えば、喜顔であるか否かに対応するテクスチャーベクトルａ1（ｘ）は、目尻のしわと口のまわりのしわなどに起因する色の変化等を総合的に変動させる固有ベクトルとなる。また、第１〜４形状ベクトルｓ1〜ｓ4についての係数であるテクスチャーパラメーターλ1〜λ4は、特許請求の範囲における「表情用特徴量」に相当する。
【００３９】
Ａ３．顔特徴検出処理：
図１０は、実施例における顔特徴検出処理の流れを示すフローチャートである。本実施例における顔特徴検出処理は、ＡＡＭ（基本顔モデル（形状モデル，テクスチャーモデル））を利用して注目画像に含まれる顔画像における特徴点ＣＰの配置を決定する特徴点ＣＰ設定位置補正処理（ステップＳ２５０）により、顔画像における特徴部位の位置を検出し、さらにテクスチャー検出処理（ステップＳ２６０）により顔のテクスチャーを検出する処理である。上述したように、本実施例では、ＡＡＭ設定処理（図２）において、人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における計６８箇所の所定位置が、特徴部位として設定されている（図４参照）。そのため、本実施例の顔特徴検出処理では、人物の顔の器官および顔の輪郭における所定位置を示す６８個の特徴点ＣＰの配置が決定される。
【００４０】
なお、顔特徴検出処理によって顔画像における特徴点ＣＰの配置が決定されると、顔画像についての形状パラメーターｐiの値が特定される。従って、顔特徴検出処理の処理結果は特定の向き（例えば右向きや下向き）の顔画像を検出するための顔向き判定、顔の形状を変形する顔変形、顔の陰影補正等に利用可能である。
【００４１】
はじめに、画像処理部２００（図１）は、顔特徴検出処理の対象となる注目画像を表す画像データを取得する（ステップＳ２１０）。本実施例のプリンター１００では、カードスロット１７２にメモリーカードＭＣが挿入されると、メモリーカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。処理の対象となる１つまたは複数の画像は、操作部１４０を介してユーザーにより選択される。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードＭＣより取得して内部メモリー１２０の所定の領域に格納する。なお、取得された画像データを注目画像データと呼び、注目画像データの表す画像を注目画像ＯＩと呼ぶものとする。
【００４２】
顔領域検出部２３０（図１）は、注目画像ＯＩに含まれる顔画像の少なくとも一部を含む画像領域を顔領域ＦＡとして検出する（ステップＳ２３０）。顔領域ＦＡの検出は、公知の顔検出手法を用いておこなうことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル画像を用いた学習（例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等）により設定される学習データを用いる手法等がある。
【００４３】
図１１は、注目画像ＯＩにおける顔領域ＦＡの検出結果の一例を示す説明図である。図１１には、注目画像ＯＩにおいて検出された顔領域ＦＡが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域ＦＡとして検出されるような顔検出手法が用いられている。
【００４４】
設定部２１０（図１）は、注目画像ＯＩにおける特徴点ＣＰの初期位置を設定する（ステップＳ２４０）。図１２は、本実施例における特徴点ＣＰの初期位置設定処理の流れを示すフローチャートである。本実施例では、設定部２１０は、顔領域ＦＡに対する顔画像の大きさ、傾き、位置（上下方向の位置および左右方向の位置）を表すグローバルパラメーターの値を種々変更して、特徴点ＣＰを注目画像ＯＩ上の仮設定位置に設定する（ステップＳ３１０）。
【００４５】
図１３は、グローバルパラメーターの値を変更することによる特徴点ＣＰの仮設定位置の一例を示す説明図である。図１３（ａ）および図１３（ｂ）には、注目画像ＯＩにおける特徴点ＣＰおよび特徴点ＣＰをつないで形成されるメッシュが示されている。設定部２１０は、図１３（ａ）および図１３（ｂ）の中央に示すように、顔領域ＦＡの中央部に平均形状ｓ0が形成されるような特徴点ＣＰの仮設定位置（以下、「基準仮設定位置」とも呼ぶ）を設定する。
【００４６】
設定部２１０は、また、基準仮設定位置に対して、グローバルパラメーターの値を種々変更させた複数の仮設定位置を設定する。グローバルパラメーター（大きさ、傾き、上下方向の位置および左右方向の位置）を変更することは、注目画像ＯＩにおいて特徴点ＣＰにより形成されるメッシュが拡大・縮小、傾きを変更、並行移動することに相当する。従って、設定部２１０は、図１３（ａ）に示すように、基準仮設定位置のメッシュを所定倍率で拡大または縮小したメッシュを形成するような仮設定位置（基準仮設定位置の図の下および上に示す）や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュを形成するような仮設定位置（基準仮設定位置の図の右および左に示す）を設定する。また、設定部２１０は、基準仮設定位置のメッシュに対して、拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００４７】
また、図１３（ｂ）に示すように、設定部２１０は、基準仮設定位置のメッシュを所定量だけ上または下に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の上および下に示す）や、左または右に並行移動したメッシュを形成するような仮設定位置（基準仮設定位置の図の左および右に示す）を設定する。また、設定部２１０は、基準仮設定位置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュを形成するような仮設定位置（基準仮設定位置の図の左上、左下、右上、右下に示す）も設定する。
【００４８】
設定部２１０は、図１３（ａ）に示す基準仮設定位置以外の８つの仮設定位置のそれぞれにおけるメッシュに対して図１３（ｂ）に示す上下左右の並行移動が実行される仮設定位置も設定する。従って、本実施例では、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）をそれぞれ既知の３段階の値として組み合わせにより設定される８０通り（＝３×３×３×３−１）の仮設定位置と、基準仮設定位置の合計８１通りの仮設定位置が設定される。
【００４９】
生成部２２２（図１）は、設定された各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））を生成する（ステップＳ３２０）。図１４は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））の一例を示す説明図である。平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、入力画像における特徴点ＣＰの配置が平均形状ｓ0における特徴点ＣＰの配置と等しくなるような変換によって算出される。
【００５０】
平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出するための変換は、サンプル画像ＳＩｗ算出のための変換（図８参照）と同様に、三角形領域ＴＡ毎のアフィン変換の集合であるワープＷにより行われる。具体的には、注目画像ＯＩに配置された特徴点ＣＰ（図１３参照）によって平均形状領域ＢＳＡ（外周に位置する特徴点ＣＰにより囲まれた領域）が特定され、注目画像ＯＩにおける平均形状領域ＢＳＡに対して三角形領域ＴＡ毎のアフィン変換が行われることにより、平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。本実施例では、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、平均顔画像Ａ0（ｘ）と同様に平均形状領域ＢＳＡおよびマスク領域ＭＡにより構成され、平均顔画像Ａ0（ｘ）と同サイズの画像として算出される。
【００５１】
なお、上述したように、画素群ｘは、平均形状ｓ0における平均形状領域ＢＳＡに位置する画素の集合である。ワープＷ実行後の画像（平均形状ｓ0を有する顔画像）における画素群ｘに対応するワープＷ実行前の画像（注目画像ＯＩの平均形状領域ＢＳＡ）における画素群をＷ（ｘ；ｐ）と表す。平均形状画像は、注目画像ＯＩの平均形状領域ＢＳＡにおける画素群Ｗ（ｘ；ｐ）のそれぞれにおける輝度値により構成される画像であるため、Ｉ（Ｗ（ｘ；ｐ））と表される。図１４には、図１３（ａ）に示した９個の仮設定位置に対応する９個の平均形状画像Ｉ（Ｗ（ｘ；ｐ））を示している。
【００５２】
算出部２２４（図１）は、各仮設定位置に対応する平均形状画像Ｉ（Ｗ（ｘ；ｐ））と、特許請求の範囲の「比較顔画像」としての平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ３３０）。特徴点ＣＰの仮設定位置は８１種類設定されているため、算出部２２４（図１）は、８１個の差分画像Ｉｅを算出することとなる。
【００５３】
設定部２１０は、各差分画像Ｉｅの画素値からノルムを算出し、ノルムの値が最も小さい差分画像Ｉｅに対応する仮設置位置（以下「ノルム最小仮設定位置」とも呼ぶ）を、注目画像ＯＩにおける特徴点ＣＰの初期位置として設定する（ステップＳ３４０）。ノルムを算出するための画素値は輝度値であってもよいしＲＧＢ値であってもよい。以上により特徴点ＣＰ初期位置設定処理が完了する。なお、ノルムの値が小さいほど平均形状画像Ｉ（Ｗ（ｘ；ｐ））と、平均顔画像Ａ0（ｘ）との差が小さくなる（両者が近似する）。
【００５４】
Ａ３−１．特徴点ＣＰ設定位置補正処理：
特徴点ＣＰ初期位置設定処理が完了すると、特徴位置検出部２２０（図１）は、注目画像ＯＩにおける特徴点ＣＰの設定位置の補正をおこなう（ステップＳ２５０）。図１５は、本実施例における特徴点ＣＰ設定位置補正処理の流れを示すフローチャートである。
【００５５】
生成部２２２（図１）は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ４１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ３２０と同様である。
【００５６】
特徴位置検出部２２０は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ４２０）。特徴位置検出部２２０は、差分画像Ｉｅに基づき、特徴点ＣＰの設定位置補正処理が収束したか否かを判定する（ステップＳ４３０）。特徴位置検出部２２０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、特徴位置検出部２２０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ４３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、特徴位置検出部２２０は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定をおこなうものとしてもよい。例えば、特徴位置検出部２２０は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
【００５７】
前記のステップＳ４３０の収束判定において未だ収束していないと判定された場合には、補正部２２６（図１）がパラメーター更新量ΔＰを算出する（ステップＳ４５０）。パラメーター更新量ΔＰは、４個のグローバルパラメーター（全体としての大きさ、傾き、Ｘ方向位置、Ｙ方向位置）、および、特徴量であるｎ個の形状パラメーターｐi（ｉ＝１〜ｎの整数。）の値の変更量を意味している。なお、特徴点ＣＰを初期位置に設定した直後においては、グローバルパラメーターは、特徴点ＣＰ初期位置設定処理（図１２）において決定された値が設定されている。また、このときの特徴点ＣＰの初期位置と平均形状ｓ0の特徴点ＣＰの設定位置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターｐiの値およびテクスチャーモデルにおけるテクスチャーパラメーターλkはすべてゼロである。
【００５８】
パラメーター更新量ΔＰは、下記の式（３）により算出される。すなわち、パラメーター更新量ΔＰは、アップデートマトリックスＲと差分画像Ｉｅとの積である。
【００５９】
【数３】
【００６０】
式（３）におけるアップデートマトリックスＲは、差分画像Ｉｅに基づきパラメーター更新量ΔＰを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、
ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＲの行数Ｍは、グローバルパラメーターの数（４個）と、形状パラメーターｐiの数（ｎ個）との和（（４＋ｎ）個）に等しく、列数Ｎは、平均顔画像Ａ0（ｘ）の平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＲは、下記の式（４）および（５）により算出される。
【００６１】
【数４】
【数５】
【００６２】
補正部２２６（図１）は、算出されたパラメーター更新量ΔＰに基づきパラメーター（４個のグローバルパラメーターとｎ個の形状パラメーターｐi）を更新する（ステップＳ４６０）。これにより、注目画像ＯＩにおける特徴点ＣＰの設定位置が補正される。補正部２２６は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、特徴点ＣＰの設置位置が補正された注目画像ＯＩからの平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出（ステップＳ４１０）、差分画像Ｉｅの算出（ステップＳ４２０）、差分画像Ｉｅに基づく収束判定（ステップＳ４３０）が行われる。なお、平均形状画像Ｉ（Ｗ（ｘ；ｐ））は、形状パラメーターｐiの更新（変化）に応じて変化するものであり、特許請求の範囲の「顔領域」に相当する。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔＰの算出（ステップＳ４５０）、パラメーターの更新による特徴点ＣＰの設定位置補正（ステップＳ４６０）が行われる。
【００６３】
図１５のステップＳ４１０からＳ４６０までの処理が繰り返し実行されると、注目画像ＯＩにおける各特徴部位に対応する特徴点ＣＰの位置、実際の特徴部位の位置に全体として近づいていき、ある時点で収束判定（ステップＳ４３０）において収束したと判定される。収束判定において収束したと判定されると、顔特徴検出処理が完了する（ステップＳ４７０）。このとき設定されているグローバルパラメーターおよび形状パラメーターｐiの値により特定される特徴点ＣＰの設定位置が、最終的な注目画像ＯＩにおける特徴点ＣＰの設定位置として特定される。
【００６４】
図１６は、特徴点ＣＰ設定位置補正処理の結果の一例を示す説明図である。図１６には、注目画像ＯＩにおいて最終的に特定された特徴点ＣＰの設定位置が示されている。特徴点ＣＰの設定位置により、注目画像ＯＩに含まれる顔の特徴部位（人物の顔の器官（眉毛、目、鼻、口）および顔の輪郭における所定位置）の位置が特定されるため、注目画像ＯＩにおける人物の顔の器官の形状・位置や顔の輪郭形状の検出が可能となる。
【００６５】
特徴点ＣＰ設定位置補正処理が完了すると、テクスチャー検出部２４０（図１）は、注目画像ＯＩにおいて設定される平均形状画像Ｉ（Ｗ（ｘ；ｐ））のテクスチャー（見え）の補正（検出）をおこなう（ステップＳ２６０）。
【００６６】
Ａ３−２．テクスチャー検出処理：
図１７は、テクスチャー検出処理の流れを示すフローチャートである。生成部２４２（図１）は、注目画像ＯＩから平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出する（ステップＳ５１０）。平均形状画像Ｉ（Ｗ（ｘ；ｐ））の算出方法は、特徴点ＣＰ初期位置設定処理におけるステップＳ３２０、および、特徴点ＣＰ設定位置補正処理におけるステップＳ４１０と同様であるが、特徴点ＣＰ設定位置補正処理完了時のグローバルパラメーターおよび形状パラメーターｐiの値を使用して平均形状画像Ｉ（Ｗ（ｘ；ｐ））が算出される。
【００６７】
さらに、テクスチャー検出部２４０の生成部２４２は、平均形状画像Ｉ（Ｗ（ｘ；ｐ））に基づく平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））を算出する（ステップＳ５１５）。平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））は、以下の（６）式によって算出される。
【数６】
前記式（６）は、前記式（２ｂ）における顔のテクスチャーＡ（ｘ）にＷ（ｘ；ｐ）を代入したものであり、テクスチャーパラメーターλkが適切に設定されれば、Ｔ（ｘ；λ）が平均顔画像Ａ0（ｘ）と等しくなる。
【００６８】
そして、算出部２４４は、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））と平均顔画像Ａ0（ｘ）との差分画像Ｉｅを算出する（ステップＳ５２０）。テクスチャー検出部２４０は、差分画像Ｉｅに基づき、テクスチャー検出処理が収束したか否かを判定する（ステップＳ５３０）。テクスチャー検出部２４０は、差分画像Ｉｅのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。なお、テクスチャー検出部２４０は、算出された差分画像Ｉｅのノルムの値が前回のステップＳ５３０において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。ここにおける収束の判定は、特徴点ＣＰ設定位置補正処理におけるステップＳ４３０と同様の手法によりおこなうことができる。
【００６９】
前記のステップＳ５３０の収束判定において未だ収束していないと判定された場合には、補正部２４６（図１）がパラメーター更新量Δλを算出する（ステップＳ５５０）。パラメーター更新量ΔΛは、特徴量であるｍ個のテクスチャーパラメーターλk（ｋ＝１〜ｍの整数。）の値の変更量を意味している。パラメーター更新量ΔΛは、下記の式（７）により算出される。すなわち、パラメーター更新量ΔΛは、アップデートマトリックスＵと差分画像Ｉｅとの積である。
【００７０】
【数７】
【００７１】
式（７）におけるアップデートマトリックスＵは、差分画像Ｉｅに基づきパラメーター更新量ΔΛを算出するために予め学習により設定されたＭ行Ｎ列のマトリックスであり、
ＡＡＭ情報ＡＭＩ（図１）として内部メモリー１２０に格納されている。本実施例では、アップデートマトリックスＵの行数Ｍは、テクスチャーパラメーターλk（ｍ個）に等しく、列数Ｎは、平均形状領域ＢＳＡ内の画素数（５６画素×５６画素−マスク領域ＭＡの画素数）に等しい。アップデートマトリックスＵは、下記の式（８），（９）により算出される。
【数８】
【数９】
【００７２】
補正部２４６（図１）は、算出されたパラメーター更新量ΔΛに基づきテクスチャーパラメーターλkを更新する（ステップＳ５６０）。これにより、顔のテクスチャーＡ（ｘ）が補正される。すなわち、補正部２４６は、差分画像Ｉｅのノルムが小さくなるように補正する。パラメーターの更新の後には、再度、補正されたテクスチャーパラメーターλkに基づいて平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））の算出（ステップＳ５１５）、差分画像Ｉｅの算出（ステップＳ５２０）、差分画像Ｉｅに基づく収束判定（ステップＳ５３０）が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ｉｅに基づくパラメーター更新量ΔΛの算出（ステップＳ５５０）、パラメーターの更新によるテクスチャーの補正（ステップＳ５６０）が行われる。
【００７３】
図１７のステップＳ５１０からＳ５６０までの処理が繰り返し実行されると、顔のテクスチャーＡ（ｘ）の各画素の輝度値（色彩値）が、実際の顔画像の輝度値に全体として近づいていき、ある時点で収束判定（ステップＳ５３０）において収束したと判定される。収束判定において収束したと判定されると、テクスチャー検出処理が完了する（ステップＳ５７０）。このとき設定されているテクスチャーパラメーターλkの値により特定される顔のテクスチャーＡ（ｘ）が最終的な顔の見えとして特定される。顔のテクスチャーＡ（ｘ）に基づいて、顔色補正等をおこなうことができる。以上のようにして、注目画像ＯＩにおける顔領域ＦＡについての形状パラメーターｐiとテクスチャーパラメーターλkが特定できると、次に表情判定処理を実行する。
【００７４】
Ａ４．表情判定処理：
図１８は、表情判定処理の流れを示すフローチャートである。表情判定処理も、上述した顔特徴検出処理と同様に、特徴点ＣＰ設定位置補正処理（ステップＳ６２０）とテクスチャー検出処理（ステップＳ６３０）とを有し、これらの処理は特徴位置検出部２２０とテクスチャー検出部２４０によって実行される。ただし、ＡＡＭとして表情用形状モデルと表情用テクスチャーモデルを使用する点で上述した顔特徴検出処理と異なる。顔特徴検出処理では目や口などの顔の器官の基本的な形状や位置を特定されるが、表情判定処理では予め特定された顔の器官の基本的な形状や位置から細かく変動した顔の器官の形状や位置に基づいて表情を判定する。なお、顔特徴検出処理における特徴点ＣＰ設定位置補正処理とテクスチャー検出処理を実行する特徴位置検出部２２０とテクスチャー検出部２４０は、特許請求の範囲における「基本特徴量補正部」に相当する。一方、表情判定処理における特徴点ＣＰ設定位置補正処理とテクスチャー検出処理を実行する特徴位置検出部２２０とテクスチャー検出部２４０は、特許請求の範囲における「表情用特徴量補正部」に相当する。まず、上述した顔特徴検出処理によって最終的に求められたグローバルパラメーターと形状パラメーターｐiとテクスチャーパラメーターλk（特許請求の範囲の「補正された基本特徴量」に相当。）を使用して、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））を算出する（ステップＳ６１０）。平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））の算出は、上述したステップＳ５１０，Ｓ５１５と同様におこなうことができる。
【００７５】
平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））は、注目画像ＯＩにおける顔領域ＦＡをグローバルパラメーターと形状パラメーターｐiとテクスチャーパラメーターλkに基づいて平均化した画像を示すこととなる。ただし、表情の属性の有無を含まないサンプル画像ＳＩが含まれるサンプル群Ｇ１を用いてモデル化したＡＡＭ（形状モデルとテクスチャーモデル）を使用し、累積寄与率の高い順に選択された一部の固有ベクトルを用いて平均化を行っているため、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））には表情に起因する特徴が残存することとなる。表情の属性の有無を含まないサンプル画像ＳＩで学習を行った形状モデルとテクスチャーモデルでは、表情に関連する固有ベクトルの累積寄与率は低くなり、表情を変化させる固有ベクトルの累積寄与率が上位ｎ，ｍ位以内とはならないからである。
【００７６】
図１９は、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））の一例を示す図である。同図においては、笑っている表情（喜顔）についての平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））を示している。例えば、注目画像ＯＩにおける本来の顔領域ＦＡは左振りの顔を示すが、第１形状ベクトルｓ1に基づく補正により、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））では正面向きに補正されている。その他、人種・性別などの個性も失われるように平均化されている。しかし、サンプル群Ｇ１に属するサンプル画像ＳＩには表情の属性の有無を含まれていないため、喜顔に起因する細かな特徴（口角や目尻の角度や笑いじわ等）は平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））に残存している。このような平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））が算出できると、平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））を表情判定の対象とする表情判定用顔画像ＦＥとする。
【００７７】
図２０，図２１は、表情判定処理における特徴点ＣＰ設定位置補正処理（ステップＳ６２０）とテクスチャー検出処理（ステップＳ６３０）の流れを示すフローチャートである。特徴点ＣＰ設定位置補正処理とテクスチャー検出処理の全体的な流れは、上述した顔特徴検出処理における特徴点ＣＰ設定位置補正処理（ステップＳ２５０）とテクスチャー検出処理（ステップＳ２６０）と同様である。ただし、特徴点ＣＰ設定位置補正処理のステップＳ７１０において、表情判定用顔画像ＦＥを取得して該表情判定用顔画像ＦＥを処理の対象とする点と、表情用形状モデルおよび表情用テクスチャーモデルを使用する点で顔特徴検出処理とは相違している。ステップＳ７１０においては、表情判定用顔画像ＦＥに対して特徴点ＣＰを初期設定する。表情判定用顔画像ＦＥは、概ね平均形状ｓ0における特徴点ＣＰの配置と同様の特徴部位の位置を有することとなるため、グローバルパラメーターを複数設定することなく平均形状ｓ0における特徴点ＣＰの配置を初期設定すればよい。初期設定の段階において、基本的に、表情に起因した細かい特徴点ＣＰのずれが生じることとなる。
【００７８】
特徴点ＣＰ設定位置補正処理のステップＳ７５０においては、各表情（喜顔、悲顔、驚顔、怒顔）であるか否かを示す表情用形状モデルの４個（ｎ＝４）の形状パラメーターｐiが順次更新されることとなる。このようにすることにより、表情判定用顔画像ＦＥの特徴点ＣＰの配置を表情の変化（形状パラメーターｐiの変化）に対応付けて変化させていき、無表情を示す平均形状ｓ0に近い特徴点ＣＰの配置が得られるときの形状パラメーターｐiを特定することができる。同様に、テクスチャー検出処理のＳ８５０においても、各表情（喜顔、悲顔、驚顔、怒顔）であるか否かを示す表情用テクスチャーモデルの４個（ｍ＝４）のテクスチャーパラメーターλkが順次更新されることとなる。このようにすることにより、表情判定用顔画像ＦＥの各画素の輝度値を表情の変化（テクスチャーパラメーターλkの変化）に対応付けて変化させていき、無表情を示す平均顔画像Ａ0（ｘ）に近い輝度値分布が得られるときのテクスチャーパラメーターλkを特定することができる。
【００７９】
図１９のように、上述した顔特徴検出処理によって顔の器官の基本的な形状と位置等が特定された平均テクスチャー画像Ｊ（Ｔ（ｘ；λ））の段階では、表情に応じた特徴点ＣＰの位置の変動に対応できないが、表情用形状モデルおよび表情用テクスチャーモデルを使用して特徴点ＣＰ設定位置補正処理とテクスチャー検出処理をおこなうことにより、表情に応じて変動する特徴点ＣＰの位置や各画素の輝度値に合わせ込むことができる。例えば、特徴点ＣＰ設定位置補正処理によって、喜顔における口角の上がり具合に合った特徴点ＣＰの位置に補正することができる。また、テクスチャー検出処理によって、喜顔における笑いじわ等を反映させることができる。
【００８０】
テクスチャー検出処理が終了すると、表情判定部２５０がテクスチャー検出処理終了時の形状パラメーターｐiとテクスチャーパラメーターλkとを取得し（ステップＳ６４０）、これらに基づいて表情を判定する（ステップＳ６５０）。上述したように、表情用形状モデルにおいて最も寄与率の大きい第１〜４主成分に対応する第１〜４形状ベクトルｓ1〜ｓ4は、それぞれ喜顔であるか否か、悲顔であるか否か、驚顔であるか否か、怒顔であるか否かと、ほぼ相関するベクトルとなっているため、これらの係数である形状パラメーターｐi（ｉ＝１〜４）の大きさは、それぞれの表情らしさを示すこととなる。表情用テクスチャーモデルのテクスチャーパラメーターλk（ｋ＝１〜４）の大きさも、それぞれの表情らしさを示すこととなる。従って、形状パラメーターｐiとテクスチャーパラメーターλkの値に基づいて、どの表情であるかを判定することができる。本実施例では、形状パラメーターｐiとテクスチャーパラメーターλkを、各表情らしさの度合いに関して正規化する変換式により形状パラメーターｐiとテクスチャーパラメーターλkの各値を正規化する。各表情らしさの度合いは人間の感覚に左右されるため、形状パラメーターｐiとテクスチャーパラメーターλkの各値に対応する標本について、オペレーターが各表情らしさを判定した結果に基づいて前記変換式が用意されるのが望ましい。
【００８１】
そして、正規化した形状パラメーターｐiのうち最も大きい成分と、正規化したテクスチャーパラメーターλkのうち最も大きい成分とを検出し、それらが同一の表情に対応したものである場合には、当該表情であると判定する。なお、形状パラメーターｐiとテクスチャーパラメーターλkとが矛盾した表情を示す場合には、それらのうち大きい方を採用したり、形状パラメーターｐiを優先するようにしてもよい。また、正規化した形状パラメーターｐiとテクスチャーパラメーターλkのうち最も大きい成分の値が所定の閾値よりも小さい場合には、無表情であると判定してもよい。本実施例では、注目画像ＯＩに各表情を識別するタグ情報を添付した後、注目画像ＯＩに喜顔が含まれる場合には、印刷機構１６０に注目画像ＯＩを出力し、印刷を実行させる（ステップＳ６６０）。
【００８２】
本実施例では、顔特徴検出処理と表情判定処理とで独立したＡＡＭを使用するため、各処理における形状パラメーターｐiとテクスチャーパラメーターλkの更新を高速かつ高精度におこなうことができる。すなわち、顔特徴検出処理と表情判定処理において、変化させる形状パラメーターｐiとテクスチャーパラメーターλkの要素の個数を抑えることができ、処理を効率的とすることができる。例えば、顔特徴検出処理と同時に表情判定をおこなうことができるように、サンプル群Ｇ１とサンプル群Ｇ２を統合したサンプル画像ＳＩで学習したＡＡＭを使用することにより、顔特徴検出処理と同時に表情判定をおこなうことも考えられる。しかしながら、特徴点ＣＰ設定位置補正処理とテクスチャー検出処理とにおいて更新すべき形状パラメーターｐiとテクスチャーパラメーターλkの個数が増大し、処理が非効率的となる。また、顔特徴検出処理において確実に顔器官等の基本的な位置や形状や色彩を検出した後に、表情判定処理において表情に起因した顔器官の位置や形状や色彩の変動を検出するため、細かな表情変化も精度よく判定することができる。
【００８３】
Ｂ．変形例：
なお、この発明は前記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８４】
Ｂ１．変形例１：
前記実施例では、サンプル群Ｇ２に表情（喜顔、悲顔、驚顔、怒顔）の属性に関して互いに相違する顔画像のみを含むサンプル画像ＳＩのみを含ませるようにしたが、サンプル群Ｇ２は表情の属性に関して互いに相違する顔画像のみを含むものに限られない。サンプル群Ｇ２に別の属性を有するサンプル画像ＳＩを含ませるようにしてもよい。例えば、異なる人種の属性を有するサンプル画像ＳＩをサンプル群Ｇ２に含ませてもよい。
【００８５】
Ｂ２．変形例２：
反対に、サンプル群Ｇ１に表情（喜顔、悲顔、驚顔、怒顔）の属性に関して互いに相違する顔画像を含むサンプル画像ＳＩを含ませるようにしてもよい。サンプル群Ｇ１に表情の属性に関して互いに相違する顔画像を加えることにより、表情の変動に対する顔特徴検出処理のロバスト性を確保することができる。この場合、表情の相違が、顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkに顕れることも考えられる。従って、顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkに基づいて表情の判定をおこなうことも可能である。ただし、顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkだけでは十分な表情判定精度が得られないおそれがあるため、顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkの表情の顕れ方が顕著である場合（例えば、ある形状パラメーターｐiの線形結合値が所定の閾値以上等の場合等。）に限り、これらに基づいて表情判定をおこなうようにしてもよい。これにより、表情用顔モデルについての演算を省略することができ、処理の高速化を図ることができる。顔特徴検出処理における形状パラメーターｐiとテクスチャーパラメーターλkの表情の顕れ方が顕著でない場合には、前記実施形態のように、表情用形状モデルと表情用テクスチャーモデルを使用して精度よく表情判定を行えばよい。
【００８６】
Ｂ３．変形例３：
前記実施例においては、もっとも大きい単一の表情を有していると判定するようにしたが、複数の表情に対応する形状パラメーターｐiとテクスチャーパラメーターλkが所定の閾値よりも表情らしいと示すのであれば、複数の表情が混在すると判定するようにしてもよい。例えば、喜顔と驚顔に対応する形状パラメーターｐiを正規化した値が双方とも閾値を超える場合には、双方の表情を有していると判定するようにしてもよい。
【００８７】
Ｂ４．変形例４：
前記実施例では、特徴点ＣＰ初期位置設定処理において、４つのグローバルパラメーター（大きさ、傾き、上下方向の位置、左右方向の位置）のそれぞれについての３段階の値の組み合わせに対応する合計８０種類（＝３×３×３×３−１）の仮設定位置が予め設定されているが、仮設定位置の設定に用いるパラメーターの種類および数やパラメーター値の段階数は変更可能である。例えば、４つのグローバルパラメーターの内の一部のみが仮設定位置の設定に用いられるとしてもよいし、用いられるパラメーターのそれぞれについて、５段階の値の組み合わせにより仮設置位置が設定されるものとしてもよい。
【００８８】
Ｂ５．変形例５：
前記実施例の特徴点ＣＰ設定位置補正処理では、注目画像ＯＩに基づき平均形状画像Ｉ（Ｗ（ｘ；ｐ））を算出することにより注目画像ＯＩの特徴点ＣＰの設置位置を平均顔画像Ａ0（ｘ）の特徴点ＣＰの設置位置に整合させているが、平均顔画像Ａ0（ｘ）に対して画像変換をおこなうことにより両者の特徴点ＣＰの配置を整合させるものとしてもよい。すなわち、前記実施例では、「顔領域」としての平均形状画像Ｉ（Ｗ（ｘ；ｐ））を変化させることとしたが、平均顔画像Ａ0（ｘ）を形状パラメーターｐiやテクスチャーパラメーターλkの変化に応じて変化させてもよい。いずれにしても、注目画像ＯＩに含まれる「顔領域」と、顔モデルによって再現される顔の画像との差を小さくさせる形状パラメーターｐiやテクスチャーパラメーターλkに補正されることとなる。なお、前記実施例の顔特徴検出処理によって最終的に求められたグローバルパラメーターと形状パラメーターｐiとテクスチャーパラメーターλk（特許請求の範囲の「補正された基本特徴量」に相当。）を前記の式（１），（２）に代入して得られるテクスチャーＡ（ｘ）が特許請求の範囲の「基本顔画像」に相当する。前記実施例では、「基本顔画像」を算出せず、代わりに注目画像ＯＩにおける顔領域ＦＡを「補正された基本特徴量」によって平均顔画像Ａ0（ｘ）に近づくように逆変換することとしている。
【００８９】
Ｂ６．変形例６：
前記実施例におけるサンプル画像ＳＩ（図３）はあくまで一例であり、サンプル画像ＳＩとして採用する画像の数、種類は任意に設定可能である。また、前記実施例において、特徴点ＣＰの位置で示される顔の所定の特徴部位（図４参照）はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
【００９０】
また、前記実施例では、サンプル画像ＳＩｗの画素群ｘのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー（見え）を表す輝度値以外の指標値（例えばＲＧＢ値）に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
【００９１】
また、前記実施例において、平均顔画像Ａ0（ｘ）のサイズは５６画素×５６画素に限られず他のサイズであってもよい。また、平均顔画像Ａ0（ｘ）は、マスク領域ＭＡ（図８）を含む必要はなく、平均形状領域ＢＳＡのみによって構成されるとしてもよい。また、平均顔画像Ａ0（ｘ）の代わりに、サンプル画像ＳＩの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
【００９２】
また、判定対象の表情は、喜顔と悲顔と驚顔と怒顔に限られるものではなく、困顔や寝顔や焦顔等の表情を判定するようにしてもよい。むろん、前記実施例や変形例において、喜顔と悲顔と驚顔と怒顔のすべてを判定するのではなく、例えば喜顔であるか否かのみを判定するようにしてもよい。
【００９３】
また、前記実施例では、ＡＡＭを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法（例えばＭｏｒｐｈａｂｌｅ Ｍｏｄｅｌと呼ばれる手法やＡｃｔｉｖｅ Ｂｌｏｂと呼ばれる手法）を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
【００９４】
また、前記実施例では、メモリーカードＭＣに格納された画像が注目画像ＯＩに設定されているが、注目画像ＯＩは例えばネットワークを介して取得された画像であってもよい。また、前記実施例では、画像処理装置としてのプリンター１００による画像処理を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター１００はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
【００９５】
前記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【００９６】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【符号の説明】
【００９７】
１００…プリンター、１１０…ＣＰＵ、１２０…内部メモリー、１４０…操作部、１５０…表示部、１６０…印刷機構、１７０…カードインターフェース、１７２…カードスロット、２００…画像処理部、２１０…設定部、２２０…特徴位置検出部、２２２，２４２…生成部、２２４，２４４…算出部、２２６，２４６…補正部、２３０…顔領域検出部、２４０…テクスチャー検出部、２５０…表情判定部、３１０…表示処理部、３２０…印刷処理部。
【特許請求の範囲】
【請求項１】
注目画像に含まれる顔の表情を判定する画像処理装置であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定する設定部と、
前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正する基本特徴量補正部と、
前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正する表情用特徴量補正部と、
前記補正された前記表情用特徴量に基づいて顔の表情を判定する判定部と、を備える画像処理装置。
【請求項２】
前記基本特徴量と前記表情用特徴量は、複数のサンプル画像の特徴部位の位置を主成分分析して得られる各主成分の固有ベクトルの係数を含む請求項１に記載の画像処理装置。
【請求項３】
前記基本顔モデルと前記表情用顔モデルは互いに異なる前記サンプル画像を用いて設定される請求項２に記載の画像処理装置。
【請求項４】
前記基本特徴量と前記表情用特徴量は、複数のサンプル画像の画素の色彩値を主成分分析して得られる各主成分の固有ベクトルの係数を含む請求項２または請求項３のいずれかに記載の画像処理装置。
【請求項５】
各表情用特徴量は、それぞれ異なる表情についての表情らしさを示す請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
注目画像に含まれる顔の表情を判定する画像処理方法であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出し、
複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定し、
前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正し、
前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正し、
前記補正された前記表情用特徴量に基づいて顔の表情を判定する画像処理方法。
【請求項７】
注目画像に含まれる顔の表情を判定する画像処理のための画像処理プログラムであって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出機能と、
複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定する設定機能と、
前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正する基本特徴量補正機能と、
前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正する表情用特徴量補正機能と、
前記補正された前記表情用特徴量に基づいて顔の表情を判定する判定機能と、をコンピューターに実現させる画像処理プログラム。
【請求項８】
注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定する設定部と、
前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正する基本特徴量補正部と、
前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正する表情用特徴量補正部と、
前記補正された前記表情用特徴量に基づいて顔の表情を判定する判定部と、
前記注目画像のうち所定の表情であると判定された顔画像を含む前記注目画像を印刷する印刷部とを備える印刷装置。
【請求項１】
注目画像に含まれる顔の表情を判定する画像処理装置であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定する設定部と、
前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正する基本特徴量補正部と、
前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正する表情用特徴量補正部と、
前記補正された前記表情用特徴量に基づいて顔の表情を判定する判定部と、を備える画像処理装置。
【請求項２】
前記基本特徴量と前記表情用特徴量は、複数のサンプル画像の特徴部位の位置を主成分分析して得られる各主成分の固有ベクトルの係数を含む請求項１に記載の画像処理装置。
【請求項３】
前記基本顔モデルと前記表情用顔モデルは互いに異なる前記サンプル画像を用いて設定される請求項２に記載の画像処理装置。
【請求項４】
前記基本特徴量と前記表情用特徴量は、複数のサンプル画像の画素の色彩値を主成分分析して得られる各主成分の固有ベクトルの係数を含む請求項２または請求項３のいずれかに記載の画像処理装置。
【請求項５】
各表情用特徴量は、それぞれ異なる表情についての表情らしさを示す請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
注目画像に含まれる顔の表情を判定する画像処理方法であって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出し、
複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定し、
前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正し、
前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正し、
前記補正された前記表情用特徴量に基づいて顔の表情を判定する画像処理方法。
【請求項７】
注目画像に含まれる顔の表情を判定する画像処理のための画像処理プログラムであって、
前記注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出機能と、
複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定する設定機能と、
前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正する基本特徴量補正機能と、
前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正する表情用特徴量補正機能と、
前記補正された前記表情用特徴量に基づいて顔の表情を判定する判定機能と、をコンピューターに実現させる画像処理プログラム。
【請求項８】
注目画像から顔画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部と、
複数の基本特徴量に基づいて少なくとも顔の特徴部位の位置を再現する基本顔モデルと、表情に対応付けられた複数の表情用特徴量に基づいて少なくとも表情に応じた前記特徴部位の位置の変動を再現する表情用顔モデルとを設定する設定部と、
前記基本顔モデルによって再現される前記特徴部位の位置が、前記顔領域と近似するように前記基本特徴量を補正する基本特徴量補正部と、
前記補正された前記基本特徴量を前記基本顔モデルに適用して再現した前記特徴部位の位置を、さらに前記表情用顔モデルによって変動させたときの前記特徴部位の位置が、前記顔領域と近似するように前記表情用特徴量を補正する表情用特徴量補正部と、
前記補正された前記表情用特徴量に基づいて顔の表情を判定する判定部と、
前記注目画像のうち所定の表情であると判定された顔画像を含む前記注目画像を印刷する印刷部とを備える印刷装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−２７１９５５（Ｐ２０１０−２７１９５５Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２３６１０（Ｐ２００９−１２３６１０）
【出願日】平成２１年５月２１日（２００９．５．２１）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２１日（２００９．５．２１）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]