情報処理装置及び方法、並びにプログラム
【課題】似顔絵画像の表現力を向上させる。
【解決手段】顔輪郭領域決定部１４は、検出された特徴点に基づいて、顔輪郭領域を決定し、肌基準色抽出部１７Ａは、顔輪郭領域から肌基準色を抽出し、肌色調整部１８Ａは、肌基準色を似顔絵画像用の色に調整する。髪領域決定部１５は、検出された特徴点に基づいて、髪領域を決定し、髪基準色抽出部１７Ｂは、髪領域から髪基準色を抽出し、髪色調整部１８Ｂは、髪基準色を似顔絵画像用の色に調整する。イラスト画像色調整部１８Ｃは、パーツ基準色抽出部１７Ｃにより抽出されたパーツ基準色に基づいて、パーツ領域処理部１６により選択されたイラスト画像の色を似顔絵画像用の色に調整する。そして、描画生成部１９は、色調整部１８により調整された似顔絵画像用の色を用いた描画を行って、似顔絵画像を生成する。顔画像を含む入力画像から似顔絵画像を生成する似顔絵画像生成装置に適用することができる。
【解決手段】顔輪郭領域決定部１４は、検出された特徴点に基づいて、顔輪郭領域を決定し、肌基準色抽出部１７Ａは、顔輪郭領域から肌基準色を抽出し、肌色調整部１８Ａは、肌基準色を似顔絵画像用の色に調整する。髪領域決定部１５は、検出された特徴点に基づいて、髪領域を決定し、髪基準色抽出部１７Ｂは、髪領域から髪基準色を抽出し、髪色調整部１８Ｂは、髪基準色を似顔絵画像用の色に調整する。イラスト画像色調整部１８Ｃは、パーツ基準色抽出部１７Ｃにより抽出されたパーツ基準色に基づいて、パーツ領域処理部１６により選択されたイラスト画像の色を似顔絵画像用の色に調整する。そして、描画生成部１９は、色調整部１８により調整された似顔絵画像用の色を用いた描画を行って、似顔絵画像を生成する。顔画像を含む入力画像から似顔絵画像を生成する似顔絵画像生成装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、似顔絵画像の表現力を向上させることができるようにした情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年の顔画像認識技術の発達により、写真等の撮影画像に含まれる顔画像から似顔絵画像を生成する技術がより現実的なものとなってきている。
【０００３】
このような似顔絵画像を生成するに際して、元の顔画像により近づけるために、各種の方法が提案されている。
【０００４】
例えば、特許文献１には、投稿された人物の写真画像がそのまま公開されないように、写真画像中の被写体の顔を似顔絵に置き換えた画像に加工するに際して、顔面や頭髪部について特定されたエッジに基づき輪郭線を作成し、元の写真画像に近い色彩を設定するものが開示されている（特に、特許文献１の００３９段落）。
【０００５】
また、特許文献２には、入力画像から似顔絵画像を作成するに際して、右目、左目、口の座標に基づいて、鼻付近の領域内の画素値を用いて肌色を抽出し、その肌色の情報を後段の処理に用いるものが開示されている（特に、特許文献２の０１７２段落）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２２３５００号公報
【特許文献２】特開２０００−３１１２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術であると、撮影画像の撮影条件によっては、似顔絵画像を生成する際に、適切でない色が使用される可能性があるという問題がある。
【０００８】
すなわち、特許文献１では、肌や髪の色は元の写真画像に近い色彩を設定すると記載されているが、撮影条件によっては適切でない色が使用される場合がある。
【０００９】
また、特許文献２では、鼻付近の画素値の平均値や中央値付近の値を用いると記載されているが、撮影条件によっては、適切でない色が使用される場合がある。また、唇や鼻の陰など、色の決定に不適切な領域の影響を受ける可能性も出てくる。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、違和感のない適切な色に調整された似顔絵画像を生成して、似顔絵画像の表現力を向上させることができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の情報処理装置は、対象画像から顔領域を検出する顔検出手段と、検出された前記顔領域の特徴点を検出する特徴点検出手段と、検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定する決定手段と、決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出する基準色抽出手段と、抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整する調整手段と、前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する生成手段とを備える。
【００１２】
前記注目領域は、顔輪郭領域、髪領域、及び所定のパーツを含んでいるパーツ領域からなり、前記基準色抽出手段は、前記顔輪郭領域、前記髪領域、及び前記パーツ領域における基準色を抽出し、前記調整手段は、所定の階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整し、前記生成手段は、前記顔輪郭領域、前記髪領域、及び前記パーツ領域を、それぞれの前記変形画像用の色設定における階調により描画する。
【００１３】
前記調整手段は、前記顔領域から得られる属性である顔属性情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する。
【００１４】
前記調整手段は、前記対象画像又は前記対象画像に付加された情報から得られる照明状態に関する照明情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する。
【００１５】
前記調整手段は、ユーザにより設定された顔の属性に関する情報である顔属性情報又は照明状態に関する照明情報を用いて、抽出された前記基準色のそれぞれを前記変形画像用の色設定に調整する。
【００１６】
前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定する判定手段と、判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択する選択手段とをさらに備え、前記調整手段は、選択された前記変形パーツ画像の色設定の階調を、前記変形画像用の色設定における階調に調整し、前記生成手段は、階調の調整された前記変形パーツ画像を描画する。
【００１７】
前記対象画像は、撮像された撮像画像であり、前記変形画像は、検出された顔領域内の顔画像を絵により表した似顔絵画像であり、前記変形パーツ画像は、前記パーツを絵により表したイラスト画像である。
【００１８】
生成された前記変形画像を表示する表示手段をさらに備える。
【００１９】
本発明の一側面の情報処理方法は、情報処理装置が、対象画像から顔領域を検出し、検出された前記顔領域の特徴点を検出し、検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定し、決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出し、抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整し、前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成するステップを含む。
【００２０】
本発明の一側面のプログラムは、対象画像から顔領域を検出する顔検出手段と、検出された前記顔領域の特徴点を検出する特徴点検出手段と、検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定する決定手段と、決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出する基準色抽出手段と、抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整する調整手段と、前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する生成手段として、コンピュータを機能させる。
【００２１】
本発明の一側面の情報処理装置及び方法、並びにプログラムにおいては、対象画像から顔領域が検出され、検出された顔領域の特徴点が検出され、検出された特徴点に基づいて、顔領域内の注目している領域である注目領域が決定され、決定された注目領域内における対象画像から得られる色設定である基準色が抽出され、抽出された基準色が変形画像用の色設定に調整され、注目領域が変形画像用の色設定を用いて描画され、対象画像から変形画像が生成される。
【発明の効果】
【００２２】
以上のように、本発明の一側面によれば、似顔絵画像の表現力を向上させることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【図２】パーツ領域処理部の構成の例を示す図である。
【図３】似顔絵画像生成処理を説明するフローチャートである。
【図４】肌基準色抽出色調整処理の詳細について説明するフローチャートである。
【図５】肌基準色を抽出するために検出される特徴点について説明する図である。
【図６】入力画像から肌基準色を抽出する処理の詳細について説明する図である。
【図７】入力画像から得られる基準色を似顔絵画像の色に変換する原理を説明する図である。
【図８】肌色の色調整設定の具体的な数値の例を示す図である。
【図９】髪基準色抽出色調整処理の詳細について説明するフローチャートである。
【図１０】髪領域抽出処理の詳細について説明する図である。
【図１１】描画処理の詳細について説明する図である。
【図１２】パーツ基準色抽出色調整処理の詳細について説明するフローチャートである。
【図１３】パーツ領域定義情報の例を示す図である。
【図１４】イラスト画像を選択する処理の詳細について説明する図である。
【図１５】イラスト画像描画処理の詳細について説明する図である。
【図１６】似顔絵画像の例を示す図である。
【図１７】本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【図１８】肌基準色抽出色調整処理の詳細について説明するフローチャートである。
【図１９】顔属性情報を用いた色調整設定の調整を説明する図である。
【図２０】顔属性情報を用いた色調整設定の具体的な数値の例を示す図である。
【図２１】撮影条件に応じて変化する肌色の例を示す模式図である。
【図２２】本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【図２３】肌基準色抽出色調整処理の詳細について説明するフローチャートである。
【図２４】撮影時の照明状態に応じた色調整設定の調整を説明する図である。
【図２５】照明スコアによる色調整設定の値の例を示す図である。
【図２６】本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【図２７】似顔絵画像生成処理を説明するフローチャートである。
【図２８】肌基準色抽出色調整処理の詳細について説明するフローチャートである。
【図２９】ユーザによる色調整設定の調整（性別）を説明する図である。
【図３０】ユーザによる色調整設定の調整（撮影場所）を説明する図である。
【図３１】ユーザが色調整設定を調整する場合の色調整設定の具体的な数値の例を示す図である。
【図３２】前処理装置の構成の例を示す図である。
【図３３】前処理を説明するフローチャートである。
【図３４】学習処理を説明するフローチャートである。
【図３５】Kクラス判別器の詳細について説明する図である。
【図３６】K次元スコアベクトルの算出手順の詳細を説明する図である。
【図３７】生成処理を説明するフローチャートである。
【図３８】目のモデル画像の例を示す図である。
【図３９】設定処理を説明するフローチャートである。
【図４０】目のイラスト画像の例を示す図である。
【図４１】目のモデル画像とイラスト画像の対応例を示す図である。
【図４２】イラスト画像を拡張して描画する場合の例について説明する図である。
【図４３】コンピュータの構成を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
６．前処理装置の構成例
【００２５】
＜１．第１の実施の形態＞
最初に、図１ないし図１６を参照して、本発明の第１の実施の形態について説明する。
【００２６】
［似顔絵画像生成装置の構成例］
図１は、本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【００２７】
図１の似顔絵画像生成装置１は、顔画像を含む対象画像（例えば入力画像）から似顔絵画像などの変形画像を生成し、LCD（Liquid Crystal Display）などの表示装置２の画面に表示させる。
【００２８】
似顔絵画像生成装置１は、図１に示すように、対象画像取得部１１、顔検出部１２、特徴点検出部１３、顔輪郭領域決定部１４、髪領域決定部１５、パーツ領域処理部１６、基準色抽出部１７、色調整部１８、及び描画生成部１９から構成される。
【００２９】
対象画像取得部１１は、対象画像として入力される入力画像を取得し、顔検出部１２に供給する。
【００３０】
対象画像は、例えば、対象画像取得部１１がレンズやCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）等の撮像素子などから構成されるカメラ部である場合には、このカメラ部により撮像される撮像画像となる。また、対象画像は、メモリカード等の記録媒体に記録された画像データを読み出して取得したもの、あるいは、インターネット等のネットワークに接続された機器から、ネットワークを介して取得したものなどであってもよい。すなわち、対象画像は顔画像を含んでいる画像であればよく、その取得方法は任意である。
【００３１】
顔検出部１２は、対象画像取得部１１から供給される入力画像に対し、顔領域を検出するための所定の画像処理を施して、それにより得られる顔領域内の顔画像に関する情報を、特徴点検出部１３に供給する。
【００３２】
特徴点検出部１３は、顔検出部１２から供給される顔領域内の顔画像に対して、目、眉、鼻、口などの器官（パーツ）や輪郭を特定するための特徴点を検出するための所定の画像処理を施して、それにより得られる特徴点に関する情報を、顔輪郭領域決定部１４、髪領域決定部１５、及びパーツ領域処理部１６に供給する。
【００３３】
顔輪郭領域決定部１４は、特徴点検出部１３から供給される特徴点に関する情報に基づいて、顔の輪郭の内側部分の領域（以下、顔輪郭領域という）を決定し、その決定の結果を、基準色抽出部１７に供給する。
【００３４】
髪領域決定部１５は、特徴点検出部１３から供給される特徴点に関する情報に基づいて、顔の髪の部分の領域（以下、髪領域という）を決定し、その決定の結果を、基準色抽出部１７に供給する。
【００３５】
パーツ領域処理部１６は、特徴点検出部１３から供給される特徴点に関する情報に基づいて、顔領域内の目、眉、鼻、口などの所定のパーツに対応する各部分の領域（以下、パーツ領域という）を決定して抽出し、その抽出結果を、基準色抽出部１７に供給する。また、パーツ領域処理部１６は、抽出されたパーツ領域に対応する目、眉、鼻、口などのイラスト画像を選択して、色調整部１８に供給する。
【００３６】
なお、これらの顔輪郭領域、髪領域、パーツ領域は、顔領域内の注目している領域となるため、注目領域であるとも言える。また、パーツ領域処理部１６の詳細は、図２を参照して後述する。
【００３７】
基準色抽出部１７は、肌基準色抽出部１７Ａ、髪基準色抽出部１７Ｂ、及びパーツ基準色抽出部１７Ｃから構成される。また、基準色抽出部１７を構成する各基準色抽出部に対応して、色調整部１８は、肌色調整部１８Ａ、髪色調整部１８Ｂ、及びイラスト画像色調整部１８Ｃから構成される。
【００３８】
肌基準色抽出部１７Ａには、顔輪郭領域決定部１４からの顔輪郭領域の決定の結果が供給される。肌基準色抽出部１７Ａは、顔輪郭領域決定部１４により決定された顔輪郭領域に基づいて、肌基準色を抽出して、肌色調整部１８Ａに供給する。
【００３９】
髪基準色抽出部１７Ｂには、髪領域決定部１５からの髪領域の決定の結果が供給される。髪基準色抽出部１７Ｂは、髪領域決定部１５により決定された髪領域に基づいて、髪基準色を抽出して、髪色調整部１８Ｂに供給する。
【００４０】
パーツ基準色抽出部１７Ｃには、パーツ領域処理部１６からの各パーツ毎のパーツ領域の抽出結果が供給される。パーツ基準色抽出部１７Ｃは、パーツ領域処理部１６により抽出された各パーツ毎のパーツ領域に基づいて、各パーツ毎のパーツ基準色を抽出して、イラスト画像色調整部１８Ｃに供給する。
【００４１】
なお、本実施の形態において、「基準色」とは、対象画像（入力画像）から得られる色に関する設定である色設定を意味するものとする。そして、顔輪郭領域から得られる基準色を「肌基準色」、髪領域から得られる基準色を「髪基準色」、パーツ領域から得られる基準色を「パーツ基準色」とそれぞれ称して説明する。
【００４２】
肌色調整部１８Ａは、所定の変換条件にしたがって、肌基準色抽出部１７Ａから供給される顔輪郭領域内の肌基準色を似顔絵画像用の色（色設定）に調整し、その調整により得られた情報を、描画生成部１９に供給する。
【００４３】
髪色調整部１８Ｂは、所定の変換条件にしたがって、髪基準色抽出部１７Ｂから供給される髪領域内の髪基準色を似顔絵画像用の色（色設定）に調整し、その調整により得られた情報を、描画生成部１９に供給する。
【００４４】
イラスト画像色調整部１８Ｃには、パーツ領域処理部１６からの各パーツに対応するイラスト画像と、パーツ基準色抽出部１７Ｃからの各パーツ毎のパーツ基準色が供給される。イラスト画像色調整部１８Ｃは、所定の変換条件及び各パーツ基準色に基づいて、対応するイラスト画像の色を似顔絵画像用の色（色設定）に調整し、その調整により得られた情報を、描画生成部１９に供給する。
【００４５】
描画生成部１９には、肌色調整部１８Ａ、髪色調整部１８Ｂ、及びイラスト画像色調整部１８Ｃからの色調整設定の調整により得られた情報が供給される。
【００４６】
なお、以下の説明において、入力画像から得られる基準色における色設定（色範囲）と、似顔絵画像で使用される色設定（色範囲）の対応関係のことを、「色調整設定」と称して説明する。
【００４７】
描画生成部１９は、顔輪郭領域と髪領域に関する情報に基づいて、顔輪郭領域と髪領域の和集合の領域内を色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、髪領域内を色調整設定の調整が行われた髪色で塗りつぶして、肌領域と髪領域だけからなる画像（以下、土台画像という）を描画する。
【００４８】
その後、描画生成部１９は、色調整設定の調整が行われたイラスト画像に対して、アンカー点定義情報により定義されたアンカー点とパーツ点とが一致するように回転や拡大縮小（リサイズ）などの所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置し、似顔絵画像を生成する。なお、このアンカー点定義情報は、例えば、パーツ領域処理部１６から取得される情報であり、その詳細は後述する。
【００４９】
このようにして生成された似顔絵画像は、描画生成部１９によって、表示装置２に表示される。
【００５０】
なお、以下の説明では、説明の都合上、顔輪郭領域決定部１４、肌基準色抽出部１７Ａ、及び肌色調整部１８Ａを、肌基準色抽出色調整部２０Ａと称する。同様に、髪領域決定部１５、髪基準色抽出部１７Ｂ、及び髪色調整部１８Ｂを、髪基準色抽出色調整部２０Ｂと称し、パーツ領域処理部１６、パーツ基準色抽出部１７Ｃ、及びイラスト画像色調整部１８Ｃを、パーツ基準色抽出色調整部２０Ｃと称して説明する。
【００５１】
以上のようにして、図１の似顔絵画像生成装置１は構成される。
【００５２】
［パーツ領域処理部の構成例］
図２は、図１のパーツ領域処理部１６の構成例を示す図である。
【００５３】
パーツ領域処理部１６は、パーツ領域決定部３１、Kクラス判別器３２、類似度判定部３３、イラスト画像選択部３４、及びデータベース３５から構成される。
【００５４】
パーツ領域決定部３１には、特徴点検出部１３からの特徴点に関する情報と、データベース３５からのパーツ領域定義情報が供給される。パーツ領域決定部３１は、パーツ領域定義情報に基づいて、特徴点検出部１３からの特徴点に基づいた顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を決定して抽出し、その抽出結果を、パーツ基準色抽出部１７Ｃ（図１）及びKクラス判別器３２に供給する。
【００５５】
なお、パーツ領域定義情報は、例えば、データベース３５などにあらかじめ登録されており、そこから、パーツ領域決定部３１によって取得される。
【００５６】
Kクラス判別器３２は、パーツ領域決定部３１から供給されるパーツ領域内のパーツ画像についてのK次元のスコア（以下、K次元スコアベクトルという）を求めて、類似度判定部３３に供給する。
【００５７】
なお、このKクラス判別器３２は、各パーツ毎に用意されるものであって、後述する図３２の前処理装置１０１により求められるものであり、その詳細な説明は後述する。
【００５８】
類似度判定部３３は、データベース３５に登録されているパーツ対応情報により対応付けられたモデル画像のK次元スコアベクトルのうち、Kクラス判別器３２から供給されるK次元スコアベクトルに最も類似しているK次元スコアベクトルを特定して、最も類似したモデル画像を判定し、その判定結果をイラスト画像選択部３４に供給する。
【００５９】
なお、パーツ対応情報とは、イラスト画像と、モデル画像とを対応付けた情報であって、データベース３５に登録されている。このイラスト画像は、各パーツを変形させて表した変形パーツ画像の一例であって、各パーツを絵（イラスト）により表した画像である。また、モデル画像は、複数のサンプル画像の画像特徴量を用いたAdaBoostECOC（Error Correct Output Coding）学習により生成される多クラス判別器（後述する図３２のKクラス判別器３２）から出力される入力画像に対する多次元スコアベクトルに基づいて、入力画像のパーツ画像を複数のプロトタイプに分類し、各プロトタイプに属するパーツ画像群の平均画像を求めることで生成される画像である。
【００６０】
このパーツ対応情報についても、図３２の前処理装置１０１により求められるものであるため、その詳細な説明は後述する。
【００６１】
イラスト画像選択部３４は、類似度判定部３３から供給された判定結果に基づいて、データベース３５に登録されているパーツ対応情報の中から、最も類似していると判定されたモデル画像に対応付けられたイラスト画像を選択し、イラスト画像色調整部１８Ｃに供給する。
【００６２】
データベース３５は、先に述べたパーツ領域定義情報とパーツ対応情報の他、アンカー点定義情報などの似顔絵画像を生成する上で必要となる各種の情報を保持する。なお、アンカー点定義情報は、入力画像に含まれる顔画像から検出される各パーツの位置（以下、パーツ点という）に対応付けられたイラスト画像上の点（以下、アンカー点という）を定義している。アンカー点定義情報は、描画生成部１９により似顔絵画像が生成される際に用いられるものであり、似顔絵画像の生成が行われるとき、描画生成部１９に提供される。このアンカー点定義情報についても、図３２の前処理装置１０１により求められるものであるため、その詳細な説明は後述する。
【００６３】
［似顔絵画像生成処理の説明］
次に、図３のフローチャートを参照して、図１の似顔絵画像生成装置１により実行される、似顔絵画像を生成する処理（似顔絵画像生成処理）について説明する。
【００６４】
ステップＳ１１において、対象画像取得部１１は、撮像画像などの顔画像を含んだ入力画像を取得する。
【００６５】
ステップＳ１２において、顔検出部１２は、対象画像取得部１１から供給される入力画像中の顔パターンをスキャンすることで、入力画像における顔領域の位置（x，y，w，h）を検出する。
【００６６】
ステップＳ１３において、特徴点検出部１３は、顔検出部１２により検出された顔領域内の顔画像の各特徴点のパターンをスキャンすることで、特徴点の位置（x，y）を検出する。この特徴点によって、顔輪郭領域や髪領域、各パーツ領域が特定される。
【００６７】
ステップＳ１４においては、肌基準色抽出色調整部２０Ａによって、肌基準色抽出色調整処理が行われる。
【００６８】
ここで、図４のフローチャートを参照して、図３のステップＳ１４の処理に対応する肌基準色抽出色調整処理の詳細について説明する。
【００６９】
ステップＳ３１において、顔輪郭領域決定部１４は、特徴点検出部１３により検出された特徴点に基づいて、顔輪郭領域を決定する。
【００７０】
すなわち、特徴点検出部１３によって、例えば、図５に示すような、顔の輪郭部分の点が特徴点として検出されるので、顔輪郭領域決定部１４によって、それらの特徴点に基づいた顔の輪郭の内側部分が顔輪郭領域として決定される。
【００７１】
ステップＳ３２において、肌基準色抽出部１７Ａは、顔輪郭領域決定部１４により決定された顔輪郭領域における肌基準色を抽出する。
【００７２】
図６は、入力画像が取得されてから、その入力画像の顔輪郭領域における肌基準色が抽出されるまでの一連の処理の流れの例を示す図である。
【００７３】
まず、図６Ａの入力画像に対して、カラーセグメンテーション処理を施すと、図６Ｂに示す画像が得られる。ここでは、例えば、図６Ａの入力画像のRGB値に対してk-meansアルゴリズムを用いたクラスタリングが行われる。次に、図６Ｃに示すように、カラーセグメンテーション処理の結果得られる図６Ｂの画像に対して、特徴点検出部１３により検出された特徴点を用いて、肌基準色を抽出する範囲の指定を行う。この範囲の指定には、例えば、検出された特徴点をスプライン曲線で結ぶ方法が用いられる。
【００７４】
図６Ｃの肌基準色を抽出する範囲が指定されると、図６Ｄに示すように、指定範囲内の領域から肌基準色が抽出される。この肌基準色の抽出には、指定範囲内で相対的に広い範囲を占める色を選択するのが望ましい。例えば、図６Ｃの指定範囲において、50％以上や30％以上などの面積となる所定の領域の色を肌基準色として抽出する。図６Ｄでは、２色の肌基準色が抽出された例を図示しているが、肌基準色を１色とするために、これらの色の平均値を採用するか、あるいは、指定範囲内の最も面積の広い領域の色を選択してもよい。また、基準色を複数もって似顔絵画像にそれぞれの領域で反映してもよいし、複数の色情報をグラデーション処理の設定値として利用してもよい。
【００７５】
図４のフローチャートに戻り、ステップＳ３３において、肌色調整部１８Ａは、所定の階調変換条件にしたがって、肌基準色抽出部１７Ａにより抽出された肌基準色を調整して、似顔絵画像で用いられる肌色に変換する。
【００７６】
ここで、図７を参照して、肌基準色を似顔絵画像で用いられる肌色に変換する方法について説明する。
【００７７】
なお、ここでは、かかる変換方法の一例として、色情報を、8ビットのRGB値として扱い、それぞれの値を調整する方法を示す。図７には、赤成分（図７Ａ）、緑成分（図７Ｂ）、青成分（図７Ｃ）のそれぞれについて、入力画像から得られる基準色（図中各色成分の左側の「入力画像」と表記している）と、似顔絵画像の色（図中各色成分の右側の「似顔絵画像」と表記している）の色範囲の対応関係が図示されている。この色範囲は、図中の0〜255の範囲をとるRGBの階調値のうちの、太枠で囲まれた範囲であり、図中の矢印で示すように、「入力画像」と「似顔絵画像」で対応している。なお、これらの関係は、後述する対応した他の図でも同様とされる。
【００７８】
図７Ａに示すように、赤成分に関して、入力画像から得られる基準色の色範囲を[RImin, RImax]とする。この色範囲は、入力される可能性のある画像において統計的に範囲を求めて得るとよい。
【００７９】
ここでは、基準色のR値がRIminより小さい場合はRIminとし、RImaxより大きい場合はRImaxとして、入力される値が[RImin, RImax]の範囲になるように変換する。また、緑成分、青成分に関しても同様に、図７Ｂ，図７Ｃに示すように、[GImin, GImax]、[BImin, BImax]を定義する。
【００８０】
なお、以下の説明では、入力画像から得られる基準色の色範囲は、RGBに関して一般化して、[XImin, XImax]と表記するものとする。
【００８１】
図７Ａに示すように、赤成分に関して、似顔絵画像で使用する色範囲を、[RCmin, RCmax]とする。この色範囲は、例えば、生成される似顔絵画像の顔属性や雰囲気、テーマなどに応じて決められる。
【００８２】
また、緑成分、青成分に関しても同様に、図７Ｂ，図７Ｃに示すように、[GCmin, GCmax]、[BCmin, BCmax]を定義する。
【００８３】
なお、以下の説明では、似顔絵画像で用いられる色の色範囲は、RGBに関して一般化して、[XCmin, XCmax]と表記する。
【００８４】
基準色（の階調）を似顔絵画像で使用する色（の階調）へ変換する方法のシンプルな例としては、[XImin, XImax]から[XCmin, XCmax]への線形変換が考えられる。
【００８５】
RGB値をそれぞれ独立に変換する方法の場合、基準色を[Rin, Gin, Bin]として似顔絵画像で使用する色を[R, G, B]とした場合、下記の変換式（１）を用いることができる。
【００８６】
if(Rin < RImin){Rin = RImin}
if(RImax < Rin ){Rin = RImax}
R = (RCmax-RCmin)*(Rin-RImin)/(RImax-RImin)+RCmin
if(Gin < GImin){Gin = GImin}
if(GImax < Gin ){Gin = GImax}
G = (GCmax-GCmin)*(Gin-GImin)/(GImax-GImin)+GCmin
if(Bin < BImin){Bin = Bimin}
if(BImax < Bin ){Bin = Bimax}
B = (BCmax-BCmin)*(Bin-BImin)/(BImax-BImin)+BCmin
・・・（１）
【００８７】
ただし、上記の変換式（１）の場合、RGB値が独立に調整されるため、場合によってはRGB値のバランスが崩れて意図した色にならない場合がある。この問題を避けるために、RGB値を連動して調整する下記の変換式（２）も考えられる。
【００８８】
RGBin = (Rin+Gin+Bin)/3
RGBImax = (RImax+GImax+BImax)/3
RGBImin = (RImin+GImin+BImin)/3
if(RGBin < RGBmin){RGBin = RGBmin}
if(RGBmax < RGBin ){RGBin = RGBmax}
R = (RCmax-RCmin)*(RGBin-RGBImin)/(RGBImax-RGBImin)+RCmin
G = (GCmax-GCmin)*(RGBin-RGBImin)/(RGBImax-RGBImin)+GCmin
B = (BCmax-BCmin)*(RGBin-RGBImin)/(RGBImax-RGBImin)+BCmin
・・・（２）
【００８９】
これらの変換式（階調変換条件）により、入力画像から得られた肌基準色（の階調）を似顔絵画像で用いられる肌色（の階調）に変換することができる。
【００９０】
図８は、肌色の色調整設定の具体的な数値の例を示す図である。
【００９１】
図８Ａには、RGB値の肌基準色における色範囲として、[XImin, XImax]が示され、図８Ｂには、RGB値の似顔絵画像における色範囲として、[XCmin, XCmax]が示されている。
【００９２】
すなわち、[RImin, RImax] = [90, 170]で指定される肌基準色の色範囲は、似顔絵画像における色範囲として、[RCmin, RCmax] = [217, 255]に変換される。
【００９３】
同様に、[GImin, GImax] = [60, 140]は、[GCmin, GCmax] = [191, 231]に変換され、[BImin, BImax] = [40, 120]は、[BCmin, BCmax] = [172, 212]に変換される。
【００９４】
このように、肌色の色調整設定の調整が行われ、処理は、図３のステップＳ１４の処理に戻る。
【００９５】
ステップＳ１５においては、髪基準色抽出色調整部２０Ｂによって、髪基準色抽出色調整処理が行われる。
【００９６】
ここで、図９のフローチャートを参照して、図３のステップＳ１５の処理に対応する髪基準色抽出色調整処理の詳細について説明する。
【００９７】
ステップＳ５１において、髪領域決定部１５は、特徴点検出部１３から供給される特徴点に基づいて、髪領域を決定する。
【００９８】
例えば、髪領域決定部１５は、顔検出部１２により検出された顔領域（あるいは入力画像）内の顔画像の上半分の領域（頭頂部側の領域）の画像から得られるRGB値に対し、例えばk-meansアルゴリズムを用いてクラスタリングして、所定の領域を髪領域として決定する。
【００９９】
図１０は、髪領域決定部１５により実行される髪領域決定処理の詳細について説明する図である。
【０１００】
髪領域決定処理としては、図１０Ａに示すように、まず、顔領域内の上半分の顔上部領域ＡＵが決定される。そして、この顔上部領域ＡＵ内の全ての画素（R，G，B）を、k-meansアルゴリズムを用いて３色にクラスタリングすると、全ての画素は、３つのクラスのうちのどれかに属することになる。次に、隣り合う画素のラベルが一致するか否かが判定され、領域分割が行われると、図１０Ｂに示すように、背景、髪、肌の３つの領域に分割される。
【０１０１】
なお、この分割処理では、３つ以上の領域に分割されることもあるが、髪領域決定部１５は、図１０Ｃに示すように、例えば黒色に最も近い領域の中で、面積が最大となる領域を髪領域として決定するようにすればよい。
【０１０２】
図９のフローチャートに戻り、ステップＳ５２において、髪基準色抽出部１７Ｂは、髪領域決定部１５により決定された髪領域における髪基準色を抽出する。
【０１０３】
この髪基準色の抽出方法であるが、上述した図６の肌基準色の抽出方法と同様に、例えば、図１０Ｃの髪領域の指定範囲において、50％以上などの面積となる領域の色が髪基準色として抽出される。
【０１０４】
ステップＳ５３において、髪色調整部１８Ｂは、所定の階調変換条件にしたがって、髪基準色抽出部１７Ｂにより抽出された髪基準色を調整して、似顔絵画像で用いられる髪色に変換する。
【０１０５】
この髪基準色の色調整設定の調整であるが、上述した肌基準色の色調整設定（図７，図８）と同様に、例えば、[XImin, XImax]で指定される髪基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることで行われる。
【０１０６】
このように、髪色の色調整設定の調整が行われ、処理は、図３のステップＳ１５の処理に戻る。
【０１０７】
ステップＳ１６において、描画生成部１９は、顔輪郭領域と髪領域の和集合の領域内を色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、色調整設定の調整が行われた髪色で塗りつぶして、顔の土台画像を描画する。
【０１０８】
図１１は、描画生成部１９により実行される土台画像の描画処理の詳細について説明する図である。
【０１０９】
図１１Ａに示すように、検出された輪郭の特徴点が、スプライン曲線補間などの所定の補間処理により繋がれて、曲線により囲まれた領域が求められると、図１１Ｂに示すような顔輪郭領域となる。そして、図１１Ｃに示すように、この顔輪郭領域と、髪領域の内側を、色調整設定の調整が行われた肌色で塗りつぶした後、さらに、髪領域だけを色調整設定の調整が行われた髪色で塗りつぶすことで、図１１Ｄの土台画像が得られる。
【０１１０】
なお、ここでは、説明を簡略化するために、入力画像の画像サイズのリサイズ処理に関する説明を省略したが、実際には、入力画像から、顔検出部１２により検出された顔領域を中心として拡大した領域が切り出され、生成する似顔絵画像の画像サイズに合わせてリサイズする処理が行われることになる。このリサイズの大きさとしては、顔検出部１２により検出される顔領域では顔全体が少しはみ出すくらいの領域を抽出するので、例えば、この領域を中心として大きさ1.6倍くらいの領域が入力画像から切り出される。この際、例えば、求めたい似顔絵画像の画像サイズを300×300画素とすると、検出された顔領域内の顔画像が、この画像サイズにリサイズされることになる。またこのとき、特徴点検出部１３により検出された顔領域の特徴点の位置が、切り出された画像での位置に変換されることになる。
【０１１１】
図３のフローチャートに戻り、ステップＳ１７においては、パーツ基準色抽出色調整部２０Ｃによって、パーツ基準色抽出色調整処理が行われる。
【０１１２】
ここで、図１２のフローチャートを参照して、図３のステップＳ１７のパーツ基準色抽出色調整処理の詳細について説明する。なお、ここでは、説明を分かり易くするため、目、眉、鼻、口などのパーツのうちの、目のイラスト画像を選択して色調整設定の調整が行われる例を中心に説明する。
【０１１３】
パーツ領域処理部１６では、ステップＳ７１において、入力画像の顔領域が所定の画像サイズにリサイズされ、ステップＳ７２において、パーツ領域決定部３１によって、所定の画像サイズとなった顔領域から、パーツ領域定義情報に従ったパーツ領域が切り出される。
【０１１４】
図１３は、パーツ領域定義情報の例を示す図である。
【０１１５】
図１３に示すように、64×64画素の大きさにリサイズされた顔領域から各パーツ領域を切り出す場合、顔領域上の任意の位置である点（x1，y1）と点（x2，y2）を対角とする四角形の領域を抽出することになる。例えば、目パーツ領域は、点（10，23）と点（55，30）を対角とする四角形の領域となるので、パーツ領域決定部３１によって、その領域が目パーツ領域として切り出される。
【０１１６】
このようにして切り出された目パーツ領域は、パーツ基準色抽出部１７Ｃ及びKクラス判別器３２に供給される。
【０１１７】
図１２のフローチャートに戻り、ステップＳ７３において、目パーツ領域用のKクラス判別器３２は、目パーツ領域内のパーツ画像に対応するK次元スコアベクトルを求める。
【０１１８】
ステップＳ７４において、類似度判定部３３は、データベース３５に登録されているパーツ対応情報によりイラスト画像と対応付けられたモデル画像のK次元スコアベクトルのうち、目パーツ領域用のKクラス判別器３２により演算された目パーツ領域内のパーツ画像から得られるK次元スコアベクトルに最も類似しているK次元スコアベクトルを特定して、最も類似したモデル画像を判定する。なお、このK次元スコアベクトルどうしの類似度には、例えば、ユークリット距離が採用される。
【０１１９】
ステップＳ７５において、イラスト画像選択部３４は、類似度判定部３３の判定結果に基づいて、データベース３５に登録されているパーツ対応情報の中から、最も類似していると判定されたモデル画像に対応付けられたイラスト画像を選択する。
【０１２０】
図１４は、イラスト画像を選択する処理の詳細について説明する図である。
【０１２１】
図１４に示すように、パーツ領域決定部３１によって、入力画像の顔領域から目パーツ領域内のパーツ画像が抽出された場合、類似度判定部３３は、Kクラス判別器３２の演算結果から、そのパーツ画像と、複数のモデル画像との類似度を判定し、最も類似度の高いモデル画像を判定する。パーツ対応情報では、モデル画像とイラスト画像とがあらかじめ対応付けられているので、イラスト画像選択部３４は、最も類似度の高いモデル画像と紐付けられた１つのイラスト画像を選択することが可能となる。
【０１２２】
これにより、あらかじめ用意された複数のイラスト画像の中から、顔領域から抽出された目パーツ領域内のパーツ画像に最も類似するモデル画像に紐付けられた１つのイラスト画像が選択される。
【０１２３】
図１２のフローチャートに戻り、ステップＳ７６において、パーツ基準色抽出部１７Ｃは、パーツ領域決定部３１により決定された目パーツ領域における目パーツ基準色を抽出する。
【０１２４】
この目パーツ領域の基準色の抽出方法であるが、上述した図６の肌基準色の抽出方法などと同様に、例えば、目パーツ領域の指定範囲において、50％以上などの面積となる領域の色が目パーツ基準色として抽出される。
【０１２５】
ステップＳ７７において、イラスト画像色調整部１８Ｃは、所定の階調変換条件及びパーツ基準色抽出部１７Ｃにより抽出された目パーツ基準色に基づいて、イラスト画像選択部３４により選択された目のイラスト画像の色を調整して、似顔絵画像で用いられる目の色に変換する。
【０１２６】
この目パーツ基準色の色調整設定の調整であるが、上述した肌基準色の色調整設定（図７，図８）と同様に、例えば、[XImin, XImax]で指定される目パーツ基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることで行われる。
【０１２７】
以上のようにして、イラスト画像の色調整設定の調整が行われ、処理は、図３のステップＳ１７の処理に戻る。
【０１２８】
ステップＳ１８において、描画生成部１９は、イラスト画像色調整部１８Ｃにより色調整設定の調整が行われたイラスト画像に対して、アンカー点定義情報により定義されたアンカー点と対応するパーツ点とが一致するように回転や拡大縮小などの画像処理を施し、それにより得られたイラスト画像を、ステップＳ１６の処理により得られた土台画像に描画する。
【０１２９】
図１５は、イラスト画像描画処理の詳細について説明する図である。
【０１３０】
図１５に示すように、イラスト画像色調整部１８Ｃにより色調整設定の調整が行われた目のイラスト画像のアンカー点ＰＡと、特徴点検出部１３により検出された顔領域の特徴点に対応する似顔絵画像（土台画像）上のパーツ点ＰＰとが、アンカー点定義情報によって対応付けられていることは、先に述べた通りである。
【０１３１】
すなわち、図１５Ａに示すように、一方のアンカー点ＰA1とパーツ点Ｐp1とが対応し、他方のアンカー点ＰA2とパーツ点Ｐp2とが対応しているので、描画生成部１９は、それらの点をそれぞれ一致させて目のイラスト画像を土台画像上に描画できるように、イラスト画像に対して回転や拡大縮小などの画像処理を施してから、対応するアンカー点ＰＡとパーツ点ＰＰとのそれぞれが一致するように描画する。このようにして描画すると、図１５Ｂに示すように、右目のイラスト画像が土台画像上に描画される。
【０１３２】
なお、このとき、土台画像として、既に肌領域は描画されているので、イラスト画像に対応する画素だけが上書きされることになる。また、パーツ点ＰＰは、検出された特徴点と一致する点であってもよいし、この特徴点とは別に設定された点であってもよい。
【０１３３】
図３のフローチャートに戻り、ステップＳ１９において、パーツ基準色抽出色調整部２０Ｃは、土台画像に対して、目、眉、鼻、口、額などの全てのイラスト画像を描画したか否かを判定する。
【０１３４】
ステップＳ１９において、全てのイラスト画像を描画していないと判定された場合、ステップＳ１７に戻り、上述したステップＳ１７ないしＳ１９のパーツ基準色抽出色調整・描画処理が繰り返される。
【０１３５】
すなわち、このパーツ基準色抽出色調整・描画処理が繰り返されることで、図１３のパーツ領域定義情報に定義された目パーツ領域以外の、眉パーツ領域（点（8，15）−点（57，22））、鼻パーツ領域（点（21，31）−点（44，45））、口パーツ領域（点（18，46）−点（47，59））、額パーツ領域（点（1，1）−点（64，14））がそれぞれ抽出され、それらのパーツ領域毎に用意されたKクラス判別器３２を用いてモデル画像との類似度が判定され、最も類似度の高いモデル画像に対応したイラスト画像がそれぞれ選択される。そして、選択されたイラスト画像は、対応するパーツ基準色に基づいた色調整設定の調整が行われ、さらに、アンカー点定義情報に従って画像処理が施された後、土台画像上の所定の位置に描画され、配置される。
【０１３６】
一方、全てのイラスト画像の描画が終了したと判定された場合、全てのパーツが描画されたことになるので、パーツ基準色抽出色調整・描画処理が終了される。
【０１３７】
以上のようにして生成される似顔絵画像を例示すると、次のようになる。すなわち、図１６は、描画生成部１９により生成された似顔絵画像（変形画像）を、表示装置２の画面に表示した例を示す図である。
【０１３８】
図１６Ａないし図１６Ｆのそれぞれの入力画像（左側）と似顔絵画像（右側）との組み合わせで示すように、上記の似顔絵画像生成処理を実行することで、左側の入力画像に含まれる顔画像の各パーツ領域に対応するイラスト画像がそれぞれ個別に選択され、それらの選択されたイラスト画像が色調整設定の調整が行われ後に、土台画像上に描画されて、右側の似顔絵画像がそれぞれ生成される。
【０１３９】
すなわち、この似顔絵画像では、顔の肌の色や髪の色、目、唇などの各パーツの色を適切に調整して、入力画像の顔画像の人物を反映した色になっているため、元の顔画像に似ているものとなり、結果として、似顔絵画像の質が向上することになる。
【０１４０】
また、入力画像から基準色を取得するに際して、k-meansアルゴリズムによる方法などによりクラスタリングを前処理として行い、同一のクラスタに属する領域の色を用いることで、例えば、肌色の場合、目の周辺や唇の周辺などの肌色以外の色がある場所を避けて、基準色を取得できる。その結果、より目的に適した色を得ることができるため、顔の肌の色や髪の色、目、唇などの各パーツの色を、似顔絵画像として違和感のない適切な色にすることができる。
【０１４１】
また、この似顔絵画像は、各パーツ領域内のパーツ画像とイラスト画像との類似度ではなく、パーツ画像とモデル画像との類似度に基づいて選択されたイラスト画像から生成されたものとなるので、入力画像の各パーツ画像に最も似ているモデル画像に紐付けられたイラスト画像を顔画像の見えから直接的に選択して、顔画像の特徴を捉えた似顔絵画像を生成することができる。つまり、直接的にパーツ画像とイラスト画像との類似度を求めることは困難であるが、本実施の形態では、あらかじめモデル画像とイラスト画像とを紐付けしておき、パーツ画像とモデル画像との類似度を計算して、パーツ画像に最も類似しているモデル画像に紐付けられたイラスト画像を選択するようにしている。
【０１４２】
以上のようにして、図１の似顔絵画像生成装置１による似顔絵画像生成処理が実行される。
【０１４３】
＜２．第２の実施の形態＞
次に、図１７ないし図２０を参照して、本発明の第２の実施の形態について説明する。
【０１４４】
［顔属性情報を用いた色調整設定の調整方法］
ところで、似顔絵画像において、例えば男性は色黒っぽい色を、女性は色白っぽい色を肌色に用いると、似顔絵画像の印象が改善する場合がある。また、例えば、笑っている顔に関してはピンク色っぽい色を、緊張した顔に関しては水色っぽい色を肌色に利用するなど、似顔絵画像の印象を改善させる要素には、様々なものがある。
【０１４５】
このような色調整設定の調整を行うためには、例えば男女の性別に関する男女属性や顔の表情に関する表情属性などの顔画像の属性を認識して、その認識結果を用いて色調整設定を調整する方法が考えられる。そこで、以下、第２の実施の形態として、顔属性情報を用いた色調整設定の調整方法について説明する。
【０１４６】
［似顔絵画像生成装置の構成例］
図１７は、本発明を適用した似顔絵画像生成装置の一実施の形態の他の構成を示す図である。
【０１４７】
図１７の似顔絵画像生成装置１は、図１の似顔絵画像生成装置１と比較して、顔画像から顔属性情報を認識するための顔属性認識部２１が設けられている点が異なる。なお、図１７において、図１と同様の箇所には同一の符号が付してあり、処理が同じ部分は適宜説明を省略する。
【０１４８】
顔属性認識部２１には、顔検出部１２から顔領域内の顔画像に関する情報が供給される。顔属性認識部２１は、顔画像に対して、顔属性を認識するための所定の画像処理を施して、顔属性を認識する。
【０１４９】
顔属性の認識結果は、顔属性情報として、色調整部１８に供給される。この顔属性としては、例えば男女の性別や人種、表情、眼鏡の有無などが判別され、認識される。
【０１５０】
色調整部１８は、顔属性認識部２１から供給される顔属性情報に基づいた階調変換条件にしたがって、基準色を似顔絵画像用の色に調整し、その色調整設定の調整により得られた情報を、描画生成部１９に供給する。
【０１５１】
すなわち、肌色調整部１８Ａは、肌基準色を、顔属性情報により似顔絵画像で用いられる肌色に調整する。同様に、髪色調整部１８Ｂは、髪基準色を、顔属性情報により似顔絵画像で用いられる髪色に調整する。また、イラスト画像色調整部１８Ｃは、各パーツ基準色及び顔属性情報に基づいて、対応するイラスト画像の色を似顔絵画像用の色に調整する。
【０１５２】
描画生成部１９は、顔輪郭領域と髪領域の和集合の領域内を、顔属性情報を用いた色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、髪領域内を、顔属性情報を用いた色調整設定の調整が行われた髪色で塗りつぶして、土台画像を描画する。描画生成部１９はさらに、顔属性情報を用いた色調整設定の調整が行われたイラスト画像に対して所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置して、似顔絵画像を生成する。
【０１５３】
以上のようにして、図１７の似顔絵画像生成装置１は構成される。
【０１５４】
［似顔絵画像生成処理の説明］
次に、図１７の似顔絵画像生成装置１により実行される、似顔絵画像生成処理について説明する。
【０１５５】
なお、図１７の似顔絵画像生成装置１により実行される似顔絵画像生成処理は、基本的には、上述した図３の似顔絵画像生成処理と同様であるが、肌基準色抽出色調整処理（ステップＳ１４の処理）、髪基準色抽出色調整処理（ステップＳ１５の処理）、及びパーツ基準色抽出色調整処理（ステップＳ１７の処理）において、顔属性情報を用いた色調整設定の調整が行われる点が異なる。したがって、ここでは、図１８のフローチャートを参照して、図３のステップＳ１４の処理に対応する、肌基準色抽出色調整処理を代表して説明する。
【０１５６】
ステップＳ９１及びＳ９２においては、図４のステップＳ３１及びＳ３２と同様に、顔輪郭領域決定部１４によって、顔輪郭領域が決定され、肌基準色抽出部１７Ａによって、肌基準色が抽出される。
【０１５７】
ステップＳ９３において、顔属性認識部２１は、顔画像に対して、顔属性を認識するための所定の画像処理を施し、それにより得られる顔属性情報を取得する。顔属性情報は、肌色調整部１８Ａに供給される。
【０１５８】
ステップＳ９４において、肌色調整部１８Ａは、取得した顔属性情報に基づいた階調変換条件にしたがって、肌基準色を調整して、似顔絵画像で用いられる肌色に変換する。
【０１５９】
ここで、図１９を参照して、顔属性情報を用いた色調整設定の調整の詳細について説明する。
【０１６０】
図１９においては、[XImin, XImax]で示される基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることが示されているが、図中の矢印で示すように、顔属性情報から得られるスコア値に応じて、XCmin, XCmaxの値が調整される。
【０１６１】
より具体的には、顔属性情報を用いた色調整設定の調整方法の一例として、男女の性別を示す顔属性情報を用いて肌の色を調整する方法を説明すると、次のようになる。
【０１６２】
ここで、顔画像の男女属性認識において、スコアSが[0.0（男性）, 1.0（女性）]の範囲で得られるものとする。男女属性スコアSが0.0（最大男性スコア）のときの似顔絵画像における色範囲を[XCMmin, XCMmax]（XはRGBのいずれか）、男女属性スコアSが1.0（最大女性スコア）のときの似顔絵画像における色範囲を[XCFmin, XCFmax]とすると、下記の式（３）によって似顔絵画像における色範囲[XCmin, XCmax]を男女属性スコアSから得ることができる。
【０１６３】
RCmax = (RCFmax-RCMmax)*S + RCMmax
RCmin = (RCFmin-RCMmin)*S + RCMmin
GCmax = (GCFmax-GCMmax)*S + GCMmax
GCmin = (GCFmin-GCMmin)*S + GCMmin
BCmax = (BCFmax-BCMmax)*S + BCMmax
BCmin = (BCFmin-BCMmin)*S + BCMmin
・・・（３）
【０１６４】
これによって得られる[XCmin, XCmax]を用いて、似顔絵画像において使用する色[R, G, B]が得られることになる。
【０１６５】
図２０は、顔属性情報として、男女属性と表情属性のスコアを用いて肌色の色調整設定を調整する際に必要な具体的な数値の例を示している。
【０１６６】
図２０Ａには、男女属性による色調整設定の数値の例が示されており、ベース設定が、[RCmin, RCmax] = [217, 255]，[GCmin, GCmax] = [191, 231]，[BCmin, BCmax] = [172, 212]であるのに対して、男女属性のスコアを用いた場合には、次のようになる。すなわち、男女属性が女性である場合には、[RCmin, RCmax] = [227, 255]，[GCmin, GCmax] = [214, 254]，[BCmin, BCmax] = [205, 245]となる一方、男女属性が男性である場合には、[RCmin, RCmax] = [197, 237]，[GCmin, GCmax] = [142, 182]，[BCmin, BCmax] = [101, 141]となる。
【０１６７】
これらのRGB値により表される平均色が、図２０Ａの「平均色」の欄に示されているが、ベース設定の平均色と比べて、女性の平均色は白っぽくなり、男性の平均色は黒っぽくなっているのは明らかである。これにより、男性には色黒っぽい色を、女性には色白っぽい色を肌色に用いることができるため、似顔絵画像の印象を改善することができる。
【０１６８】
図２０Ｂには、表情属性による色調整設定の数値の例が示されており、ベース設定が、[RCmin, RCmax] = [217, 255]，[GCmin, GCmax] = [191, 231]，[BCmin, BCmax] = [172, 212]であるのに対して、表情属性のスコアを用いた場合には、次のようになる。すなわち、表情属性が笑顔である場合には、[RCmin, RCmax] = [220, 255]，[GCmin, GCmax] = [171, 211]，[BCmin, BCmax] = [170, 210]となる一方、表情属性が落ち込み顔である場合には、[RCmin, RCmax] = [177, 217]，[GCmin, GCmax] = [212, 252]，[BCmin, BCmax] = [213, 253]となる。
【０１６９】
これらのRGB値により表される平均色が、図２０Ｂの「平均色」の欄に示されているが、ベース設定の平均色と比べて、笑顔の平均色は、ピンク色っぽくなり、落ち込み顔の平均色は、水色っぽい色となっている。これにより、笑っている顔に関してはピンク色っぽい色を、緊張した顔に関しては水色っぽい色を肌色に用いることができるため、似顔絵画像の印象を改善することができる。
【０１７０】
このように、顔属性情報を用いた色調整設定の調整が行われる。
【０１７１】
すなわち、入力画像の色をそのまま使用して似顔絵画像を生成すると、似顔絵画像の顔属性や雰囲気（例えば性別や表情など）によっては、色が不自然になる場合があり、使用すべき色が異なる。そこで、第２の実施の形態では、似顔絵画像における色の不自然さを避けるために、似顔絵画像で使用する色の範囲をあらかじめ決めておいて、その範囲内において入力画像の色情報と顔属性に応じて使用する色を決定するようにしている。
【０１７２】
これにより、例えば、入力画像から、顔属性情報として、男女の性別に関する男女属性を取得して、例えば女性なら肌色が色白になるようにするなど、色調整設定を顔属性に応じて変更することが可能となる。
【０１７３】
なお、以上の説明では、肌基準色抽出色調整処理について説明したが、髪基準色抽出色調整処理（ステップＳ１５の処理）及びパーツ基準色抽出色調整処理（ステップＳ１７の処理）についても同様に、顔属性情報を用いた色調整設定の調整が行われるのは先に述べた通りである。髪基準色抽出色調整処理及びパーツ基準色抽出色調整処理で行われる顔属性情報を用いた色調整設定の調整は、上述した肌基準色抽出色調整処理で行われる顔属性情報を用いた色調整設定の調整と同様であるため、その説明は省略する。
【０１７４】
また、上述した方法と同様にして、顔画像から得られる人種や年齢などの顔属性情報を用いて似顔絵画像の色の調整をすることができる。例えば、入力画像から、人種に関する顔属性情報を取得して、例えば西欧人なら目を青色にすることができる。また、これらの顔属性情報がモノクロ顔画像から得られる場合は、モノクロの顔画像（入力画像）からカラーの似顔絵画像を生成することも可能となる。
【０１７５】
さらに、ここでは男女属性認識のスコア値に応じて連続的に色調整設定の値が変化する例を説明したが、例えば男女属性スコアが0.5未満なら男性、0.5以上なら女性として、固定値の色調整設定を用いてもよい。
【０１７６】
以上のようにして、図１７の似顔絵画像生成装置１による似顔絵画像生成処理が実行される。
【０１７７】
＜３．第３の実施の形態＞
次に、図２１ないし図２５を参照して、本発明の第３の実施の形態について説明する。
【０１７８】
［撮影時の撮影条件に応じた色調整設定の調整方法］
ところで、同一人物の顔画像であっても、撮影画像の撮影条件（例えば照明状態など）が異なると、抽出される基準色は大きく異なることになる。
【０１７９】
図２１には、屋内と屋外で撮影した画像と、それらの画像の顔の肌色領域（顔輪郭領域）及び肌基準色の関係を示している。
【０１８０】
図２１Ａの屋内で撮影された画像から抽出された肌基準色（[R, G, B] = [131, 62, 32]）と、図２１Ｂの屋外で撮影された画像から抽出された肌基準色（[R, G, B] = [175, 138, 132]）を比べると、屋外の画像よりも、屋内の画像のほうが、全体的に暗い色になっているのは明らかである。
【０１８１】
本来、同一人物であれば、撮影条件が異なっていても、近い基準色を抽出できることが望ましい。このような色調整設定の調整を行うためには、撮影時に得られる撮影条件に関する情報（例えば照明状態に関する照明情報）を用いて色調整設定を調整する方法が考えられる。そこで、以下、第３の実施の形態として、撮影時の照明情報を用いた色調整設定の調整方法について説明する。
【０１８２】
［似顔絵画像生成装置の構成例］
図２２は、本発明を適用した似顔絵画像生成装置の一実施の形態のさらに他の構成を示す図である。
【０１８３】
図２２の似顔絵画像生成装置１は、図１の似顔絵画像生成装置１と比較して、入力画像から照明状態を認識するための照明状態認識部２２が設けられている点が異なる。なお、図２２において、図１と同様の箇所には同一の符号が付してあり、処理が同じ部分は適宜説明を省略する。
【０１８４】
照明状態認識部２２には、対象画像取得部１１から入力画像が供給される。照明状態認識部２２は、対象画像取得部１１から供給される入力画像に対し、照明状態を認識するための所定の画像処理を施して、照明状態を認識する。
【０１８５】
照明状態の認識結果は、照明情報として、色調整部１８に供給される。この照明状態としては、例えば入力画像が、屋外で撮影されたものであるのか、あるいは屋内で撮影されたものであるのかなどが判別され、認識される。
【０１８６】
色調整部１８は、照明状態認識部２２からの照明情報に基づいた階調変換条件にしたがって、基準色を似顔絵画像用の色に調整し、その色調整設定の調整により得られた情報を、描画生成部１９に供給する。
【０１８７】
すなわち、肌色調整部１８Ａは、肌基準色を、照明情報により似顔絵画像で用いられる肌色に調整する。同様に、髪色調整部１８Ｂは、髪基準色を、照明情報により似顔絵画像で用いられる髪色に調整する。また、イラスト画像色調整部１８Ｃは、各パーツ基準色及び照明情報に基づいて、対応するイラスト画像の色を似顔絵画像用の色に調整する。
【０１８８】
描画生成部１９は、顔輪郭領域と髪領域の和集合の領域内を、照明情報を用いた色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、髪領域内を、照明情報を用いた色調整設定の調整が行われた髪色で塗りつぶして、土台画像を描画する。描画生成部１９はさらに、照明情報を用いた色調整設定の調整が行われたイラスト画像に対して所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置して、似顔絵画像を生成する。
【０１８９】
以上のようにして、図２２の似顔絵画像生成装置１は構成される。
【０１９０】
［似顔絵画像生成処理の説明］
次に、図２２の似顔絵画像生成装置１により実行される、似顔絵画像生成処理について説明する。
【０１９１】
なお、図２２の似顔絵画像生成装置１により実行される似顔絵画像生成処理は、基本的には、上述した図３の似顔絵画像生成処理と同様であるが、肌基準色抽出色調整処理（ステップＳ１４の処理）、髪基準色抽出色調整処理（ステップＳ１５の処理）、及びパーツ基準色抽出色調整処理（ステップＳ１７の処理）において、照明情報を用いた色調整設定の調整が行われる点が異なる。したがって、ここでは、図２３のフローチャートを参照して、図３のステップＳ１４の処理に対応する、肌基準色抽出色調整処理を代表して説明する。
【０１９２】
ステップＳ１１１及びＳ１１２においては、図４のステップＳ３１及びＳ３２と同様に、顔輪郭領域決定部１４によって、顔輪郭領域が決定され、肌基準色抽出部１７Ａによって、肌基準色が抽出される。
【０１９３】
ステップＳ１１３において、照明状態認識部２２は、入力画像に対して、照明状態を認識するための所定の画像処理を施し、それにより得られる照明情報を取得する。照明情報は、肌色調整部１８Ａに供給される。
【０１９４】
ステップＳ１１４において、肌色調整部１８Ａは、取得した照明情報に基づいた階調変換条件にしたがって、肌基準色を調整して、似顔絵画像で用いられる肌色に変換する。
【０１９５】
ここで、図２４を参照して、照明情報を用いた色調整設定の調整の詳細について説明する。
【０１９６】
図２４においては、[XImin, XImax]で示される基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることが示されているが、図中の矢印で示すように、照明情報から得られるスコア値に応じて、XImin, XImaxの値が調整される。
【０１９７】
より具体的には、照明情報を用いた色調整設定の調整方法の一例として、屋外内情報を用いた方法を説明すると、次のようになる。
【０１９８】
ここで、入力画像の屋内外認識において、スコアSが[0.0（屋内）, 1.0（屋外）]の範囲で得られるものとする。屋内外認識スコアSが0.0（最大屋内スコア）のときの基準色の色範囲を[XIImin, XIImax]（XはRGBのいずれか）、屋内外認識スコアSが1.0（最大屋外スコア）のときの基準色の色範囲を[XIOmin, XIOmax]とすると、下記の式（４）によって基準色の色範囲[XImin, XImax]を屋内外認識スコアSから得ることができる。
【０１９９】
RImax = (RIOmax-RIImax)*S + RIImax
RImin = (RIOmin-RIImin)*S + RIImin
GImax = (GIOmax-GIImax)*S + GIImax
GImin = (GIOmin-GIImin)*S + GIImin
BImax = (BIOmax-BIImax)*S + BIImax
BImin = (BIOmin-BIImin)*S + BIImin
・・・（４）
【０２００】
これによって得られる[XImin, XImax]を用いて、似顔絵画像で使用する色[R, G, B]が得られることになる。
【０２０１】
図２５は、屋内外認識スコアを用いて肌色の色調整設定を調整する際に必要となる具体的な数値の例を示している。
【０２０２】
屋内の場合には、[RImin, RImax] = [155, 195]，[GImin, GImax] = [118, 158]，[BImin, BImax] = [112, 152]となる一方、屋内の場合には、[RImin, RImax] = [111, 151]，[GImin, GImax] = [42, 82]，[BImin, BImax] = [12, 52]となる。これらのRGB値により表される平均色が、図２５の「平均色」の欄に示されているが、屋外の平均色よりも、屋内の平均色のほうが、全体的に暗い色になっている。これにより、上述した図２１の屋内と屋外で撮影した画像のように、撮影条件が異なっていても、近い基準色が抽出されることになる。
【０２０３】
このように、照明情報を用いた色調整設定の調整が行われる。
【０２０４】
すなわち、入力画像の色をそのまま使用して似顔絵画像を生成すると、撮影条件（例えば照明状態など）によっては、色が不自然になる場合がある。そこで、第３の実施の形態では、似顔絵画像における色の不自然さを避けるために、似顔絵画像で使用する色の範囲をあらかじめ決めておいて、その範囲内において入力画像の色情報と照明状態などに応じて使用する色を決定するようにしている。
【０２０５】
これにより、例えば、暗い部屋やフラッシュの利用などの撮影時の照明状態を入力画像の画像認識から推定し、その情報を色調整設定に反映させることができる。例えば、暗い場所で撮影された画像であるなら、その分明るくして、肌などの色に反映させるようにすることもできる。
【０２０６】
なお、以上の説明では、肌基準色抽出色調整処理について説明したが、髪基準色抽出色調整処理（ステップＳ１５の処理）及びパーツ基準色抽出色調整処理（ステップＳ１７の処理）についても同様に、照明情報を用いた色調整設定の調整が行われるのは先に述べた通りである。髪基準色抽出色調整処理及びパーツ基準色抽出色調整処理で行われる照明情報を用いた色調整設定の調整は、上述した肌基準色抽出色調整処理で行われる照明情報を用いた色調整設定の調整と同様であるため、その説明は省略する
【０２０７】
また、上述した方法と同様にして、例えばExif（Exchangeable Image File Format）情報などの撮影時に付加されるフラッシュ撮影やレンズの絞り情報などのパラメータを用いて、似顔絵画像の色の調整をすることも可能である。
【０２０８】
さらに、撮影条件としては、上述した屋内や屋外の他、例えば、晴れ、曇り、若しくは雨等の天気に関する情報や、朝、昼、夜（夜景）などの時間に関する情報などを用いることができる。
【０２０９】
以上のようにして、図２２の似顔絵画像生成装置１による似顔絵画像生成処理が実行される。
【０２１０】
＜４．第４の実施の形態＞
次に、図２６ないし図３１を参照して、本発明の第４の実施の形態について説明する。
【０２１１】
［ユーザにより色調整設定を調整する方法］
上述した例では、顔属性や照明状態などの撮影条件の認識を自動で行い、そのスコアを用いて色調整設定を行う方法について説明した。これらの色調整設定に使用される、例えば男女の性別若しくは表情などの顔属性情報、又は屋内若しくは屋外などの照明情報がユーザにより設定されるようにしてもよい。すなわち、この場合、例えば、顔属性情報に関する顔属性モードと、照明情報に関する照明状態モードが、ユーザによって切り替えられることなる。そこで、以下、第４の実施の形態として、ユーザにより設定されたモードに応じて行われる色調整設定の調整方法について説明する。
【０２１２】
［似顔絵画像生成装置の構成例］
図２６は、本発明を適用した似顔絵画像生成装置の一実施の形態のさらに他の構成を示す図である。
【０２１３】
図２６の似顔絵画像生成装置１は、図１の似顔絵画像生成装置１と比較して、モード設定部２３が設けられている点が異なる。なお、図２６において、図１と同様の箇所には同一の符号が付してあり、処理が同じ部分は適宜説明を省略する。
【０２１４】
モード設定部２３は、ユーザの操作に応じて、各種のモードを設定する。設定されたモードに関する情報は、色調整部１８に供給される。モードとしては、例えば、男女の性別や表情などの顔属性情報に関する顔属性モード、あるいは屋内や屋外などの照明情報に関する照明状態モードが設定される。
【０２１５】
色調整部１８は、モード設定部２３から供給されるモードに関する情報に基づいた階調変換条件にしたがって、基準色を似顔絵画像用の色に調整し、その色調整設定の調整により得られた情報を、描画生成部１９に供給する。
【０２１６】
すなわち、肌色調整部１８Ａは、肌基準色を、モードに関する情報により似顔絵画像で用いられる肌色に調整する。同様に、髪色調整部１８Ｂは、髪基準色を、モードに関する情報により似顔絵画像で用いられる髪色に調整する。また、イラスト画像色調整部１８Ｃは、各パーツ基準色及びモードに関する情報に基づいて、対応するイラスト画像の色を似顔絵画像用の色に調整する。
【０２１７】
描画生成部１９は、顔輪郭領域と髪領域の和集合の領域内を、モードに関する情報を用いた色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、髪領域内を、モードに関する情報を用いた色調整設定の調整が行われた髪色で塗りつぶして、土台画像を描画する。その後、描画生成部１９はさらに、モードに関する情報を用いた色調整設定の調整が行われたイラスト画像に対して所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置して、似顔絵画像を生成する。
【０２１８】
以上のようにして、図２６の似顔絵画像生成装置１は構成される。
【０２１９】
［似顔絵画像生成処理の説明］
次に、図２７のフローチャートを参照して、図２６の似顔絵画像生成装置１により実行される、似顔絵画像生成処理について説明する。
【０２２０】
ステップＳ１３１Ａにおいては、図３のステップＳ１１と同様に、対象画像取得部１１によって、撮像画像などの顔画像を含んだ入力画像が取得される。
【０２２１】
モード設定部２３は、ステップＳ１３１Ｂにおいて、ユーザによるモードの設定を受け付け、ステップＳ１３１Ｃにおいて、ユーザにより指示されたモードを設定する。
【０２２２】
例えば、入力画像を確認したユーザは、対象となる入力画像に応じたモードを設定する。その後、ユーザにより設定されたモードでの似顔絵画像の生成が指示された場合、ステップＳ１３２以降の処理が実行される。ステップＳ１３２ないしＳ１３９においては、基本的に、図３のステップＳ１２ないしＳ１９と同様の処理が実行されるが、肌基準色抽出色調整処理（ステップＳ１３４の処理）、髪基準色抽出色調整処理（ステップＳ１３５の処理）、及びパーツ基準色抽出色調整処理（ステップＳ１３７の処理）において、モードに関する情報を用いた色調整設定の調整が行われる点が異なる。
【０２２３】
したがって、ここでは、図２８のフローチャートを参照して、図２７のステップＳ１３４の処理に対応する、肌基準色抽出色調整処理を代表して説明する。
【０２２４】
ステップＳ１５１及びＳ１５２においては、図４のステップＳ３１及びＳ３２と同様に、顔輪郭領域決定部１４によって、顔輪郭領域が決定され、肌基準色抽出部１７Ａによって、肌基準色が抽出される。
【０２２５】
ステップＳ１５３において、肌色調整部１８Ａは、モード設定部２３により設定されたモードに関する情報を取得する。
【０２２６】
ステップＳ１５４において、肌色調整部１８Ａは、ユーザにより設定されたモードに関する情報に基づいた階調変換条件にしたがって、肌基準色を調整して、似顔絵画像で用いられる肌色に変換する。
【０２２７】
ここで、図２９及び図３０を参照して、モードに関する情報を用いた色調整設定の調整の詳細について説明する。
【０２２８】
図２９は、ユーザにより、顔属性モードとして、男女の性別が設定された場合の色調整設定の調整を説明する図である。
【０２２９】
図２９においては、[XImin, XImax]で示される基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることが示されているが、設定されるモードに応じて、XCmin, XCmaxの値が調整される。すなわち、似顔絵画像における色範囲であるが、女性設定のモードが選択された場合、図２９Ａに示すように、図２９Ｂの男性設定のモードが選択された場合と比べて、最大階調値と最小階調値が共に大きくなる。
【０２３０】
このような性別のモードに関する情報を用いることで、ユーザにより女性設定のモードが選択された場合には、似顔絵画像の肌の色を白っぽい色にする一方、男性設定のモードが選択された場合には、似顔絵画像の肌の色を黒っぽい色にすることが可能となる。
【０２３１】
図３０は、ユーザにより、照明状態モードとして、屋内や屋外などの撮影場所が設定された場合の色調整設定の調整を説明する図である。
【０２３２】
図３０においては、[XImin, XImax]で示される基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることが示されているが、設定されるモードに応じて、XImin, XImaxの値が調整される。すなわち、入力画像から得られる基準色の色範囲であるが、屋外撮影設定のモードが選択された場合、屋内撮影設定のモードが選択された場合と比べて、最大階調値と最小階調値が共に大きくなる。
【０２３３】
このような撮影場所のモードに関する情報を用いることで、例えば、屋内と屋外で撮影した画像のように、撮影条件が異なっていても、近い基準色が抽出されることになる。
【０２３４】
図３１は、性別と撮影場所のモードの色調整設定の具体的な数値の例を示す図である。
【０２３５】
図３１に示すように、デフォルト設定であると、R値は、[RImin, RImax] = [90, 170]から、[RCmin, RCmax] = [217, 255]に変換され、G値は、[GImin, GImax] = [60, 140]から、[GCmin, GCmax] = [191, 231]に変換され、B値は、[BImin, BImax] = [40, 120]から、[BCmin, BCmax] = [172, 212]に変換される。
【０２３６】
性別のモードとして、女性設定のモードが選択された場合には、R値は、[RImin, RImax] = [90, 170]から、[RCmin, RCmax] = [227, 255]に変換され、G値は、[GImin, GImax] = [60, 140]から、[GCmin, GCmax] = [214, 254]に変換され、B値は、[BImin, BImax] = [40, 120]から、[BCmin, BCmax] = [205, 245]に変換される。
【０２３７】
一方、性別のモードとして、男性設定のモードが選択された場合には、R値は、[RImin, RImax] = [90, 170]から、[RCmin, RCmax] = [197, 237]に変換され、G値は、[GImin, GImax] = [60, 140]から、[GCmin, GCmax] = [142, 182]に変換され、B値は、[BImin, BImax] = [40, 120]から、[BCmin, BCmax] = [101, 141]に変換される。
【０２３８】
また、撮影場所のモードとして、屋外撮影設定のモードが選択された場合、R値は、[RImin, RImax] = [155, 195]から、[RCmin, RCmax] = [217, 255]に変換され、G値は、[GImin, GImax] = [118, 158]から、[GCmin, GCmax] = [191, 231]に変換され、B値は、[BImin, BImax] = [112, 152]から、[BCmin, BCmax] = [172, 212]に変換される。
【０２３９】
一方、撮影場所のモードとして、屋内撮影設定のモードが選択された場合、R値は、[RImin, RImax] = [111, 151]から、[RCmin, RCmax] = [217, 255]に変換され、G値は、[GImin, GImax] = [42, 82]から、[GCmin, GCmax] = [191, 231]に変換され、B値は、[BImin, BImax] = [12, 52]から、[BCmin, BCmax] = [172, 212]に変換される。
【０２４０】
このように、モードに関する情報を用いた色調整設定の調整が行われる。
【０２４１】
すなわち、入力画像の色をそのまま使用して似顔絵画像を生成すると、似顔絵画像の雰囲気（性別や表情など）や撮影条件（照明状態など）によっては、色が不自然になる場合があり、使用すべき色が異なる。そこで、第４の実施の形態では、似顔絵画像における色の不自然さを避けるために、似顔絵画像で使用する色の範囲をあらかじめ決めておいて、その範囲内において入力画像の色情報とユーザにより設定されたモードに応じて使用する色を決定するようにしている。
【０２４２】
なお、以上の説明では、肌基準色抽出色調整処理について説明したが、髪基準色抽出色調整処理（図２７のステップＳ１３５の処理）及びパーツ基準色抽出色調整処理（図２７のステップＳ１３７の処理）についても同様に、モードに関する情報を用いた色調整設定の調整が行われるのは先に述べた通りである。髪基準色抽出色調整処理及びパーツ基準色抽出色調整処理で行われるモードに関する情報を用いた色調整設定の調整は、上述した肌基準色抽出色調整処理で行われるモードに関する情報を用いた色調整設定の調整と同様であるため、その説明は省略する。
【０２４３】
また、上述した方法と同様にして、例えば、笑顔などの表情属性、晴れや曇りなどの天気属性、あるいは、夜景などの時間属性などに関するモードがユーザにより設定されるようにしてもよいし、１つの属性に対して複数の色調整設定を用意してもよい。例えば男女の性別の属性に関する色調整設定を複数用意して、それらが切り替えられるようにしてもよい。
【０２４４】
以上のようにして、図２６の似顔絵画像生成装置１による似顔絵画像生成処理が実行される。
【０２４５】
＜５．変形例＞
本発明の第２ないし第４の実施の形態を組み合わせて、顔属性情報と照明情報の両方を用いて、色調整設定の調整が行われるようにしてもよいし、さらに、それらの情報をモードとして、ユーザが選択できるようにしてもよい。
【０２４６】
また、上記の説明では、顔輪郭領域、髪領域、及び各パーツ領域のすべてについて色調整設定の調整を行う例を説明したが、例えば、顔輪郭領域の肌基準色のみに色調整設定の調整を行うなど、それらの一部の領域についてのみ色調整設定の調整を行うようにしてもよい。さらに、それらの顔輪郭領域、髪領域、又はパーツ領域の決定方法であるが、上述した方法に限らず、公知の方法を用いることができる。
【０２４７】
また、本実施の形態では、似顔絵画像の肌や髪などの色は、単色でなくて複数色であってもよいし、グラデーションがかかっていてもよい。グラデーションの設定パラメータの調整として、先に述べた、顔属性や撮影条件などを用いてもよい。さらに、似顔絵画像についての所定のテーマに応じて色調整設定の調整を行うようにしてもよい。この似顔絵画像のテーマとは、例えば抽象化されたアイコン的なものや、劇画調なものなどのことで、似顔絵画像で使用する色の色範囲は、例えば似顔絵のテーマや使用する各パーツとの兼ね合いで決定されるべきものである。
【０２４８】
また、上記の説明では、似顔絵画像の各パーツを、パーツ対応情報により対応付けられたモデル画像とイラスト画像から選択する例を説明したが、その方法に限定されず、各パーツの画像は、他の方法により選択・描画されるようにしてもよい。また、顔属性認識部２１により、顔属性として眼鏡の有無が判別されるようにしてもよい。そして、顔属性認識部２１により眼鏡が有ると判別された場合には、描画生成部１９によって、アンカー点定義情報に従って、眼鏡のフレーム部分の画像を、土台画像上の所定の位置に描画させることになる。
【０２４９】
また、上述した実施の形態では、似顔絵画像生成装置１と、表示装置２とは別の装置であるとして説明したが、表示装置２に対応する一処理部としての表示部が、似顔絵画像生成装置１内に設けられると捉えることもできる。この場合、描画生成部１９は、表示部の画面に対して生成した似顔絵画像を表示させることになる。
【０２５０】
さらに、描画生成部１９により生成される似顔絵画像は、表示装置２の画面に表示させるだけでなく、JPEG（Joint Photographic Experts Group）方式などの所定の圧縮方式により圧縮し、ファイルとして所定の記録媒体に保存することもできる。
【０２５１】
＜６．前処理装置の構成例＞
［前処理装置の構成例］
次に、図１の似顔絵画像生成装置１が似顔絵画像生成処理を実行する上で必要となる事前の前処理として、Kクラス判定器３２を生成するための学習処理、モデル画像を生成するための生成処理、及びパーツ対応情報やアンカー点定義情報などの各種情報を設定するための設定処理について説明する。これらの前処理は、前処理装置により実行される。
【０２５２】
図３２は、前処理装置の構成の例を示す図である。
【０２５３】
図３２に示すように、前処理装置１０１は、学習処理を行う学習系１１１と、生成処理を行う生成系１１２と、設定処理を行う設定系１１３から構成される。
【０２５４】
学習系１１１には、学習サンプル取得部１２１、前画像処理部１２２、学習部１２３、及びKクラス判別器３２が属する。生成系１１２には、生成用画像取得部１２４、前画像処理部１２５、Kクラス判別器３２、生成部１２６、及びデータベース３５が属する。設定系１１３には、イラスト画像取得部１２７、設定部１２８、及びデータベース３５が属する。
【０２５５】
なお、図３２において、図１と対応する箇所には同一の符号が付してあり、その説明は適宜省略する。すなわち、図３２には、図１と同様のKクラス判別器３２とデータベース３５が記述されているが、前処理装置１０１においては、似顔絵画像生成装置１を構成するKクラス判別器３２を生成し、さらに、各種情報を設定してデータベース３５に登録するための処理が行われることになる。
【０２５６】
まず、学習系１１１について説明する。
【０２５７】
学習サンプル取得部１２１は、K人（K=1,2,・・・,K）のサンプル人物についてそれぞれ様々なバリエーションで用意されている顔画像（以下、サンプル画像という）を取得し、前画像処理部１２２に供給する。
【０２５８】
前画像処理部１２２は、学習サンプル取得部１２１から供給されるサンプル画像から顔領域を検出し、所定の画像サイズにリサイズする処理を行う。このリサイズ処理では、先に述べたパーツ領域定義情報（図１３）に定義された画像サイズに合わせた大きさにリサイズされる。そして、前画像処理部１２２は、リサイズ後の顔領域から、パーツ領域定義情報に従ったパーツ領域を切り出し、学習部１２３に供給する。
【０２５９】
学習部１２３は、前画像処理部１２２から供給されるパーツ領域内のパーツ画像の画像特徴量を求めて、AdaBoostECOC（Error Correct Output Coding）により複数の弱判別器を学習し、これら複数の弱判別器からなるKクラス判別器３２を生成する。
【０２６０】
次に、生成系１１２について説明する。
【０２６１】
生成用画像取得部１２４は、モデル画像を生成するために無作為に抽出した多数の顔画像（以下、生成用画像という）を取得し、前画像処理部１２５に供給する。
【０２６２】
前画像処理部１２５は、前画像処理部１２２においてサンプル画像をリサイズする処理と同様に、生成用画像取得部１２４からの生成用画像をリサイズしてパーツ領域を切り出し、Kクラス判別器３２に供給する。
【０２６３】
Kクラス判別器３２は、前画像処理部１２５から供給されるパーツ領域内のパーツ画像に対応するK次元スコアベクトルを求めて、生成部１２６に供給する。
【０２６４】
生成部１２６は、Kクラス判別器３２から供給されるK次元スコアベクトルに基づいて、パーツ画像をN個（N=1,2,・・・,N）のプロトタイプに分類して、各プロトタイプに属するパーツ画像群の平均画像を求めることでモデル画像を生成する。このモデル画像は、データベース３５に登録される。
【０２６５】
次に、設定系１１３について説明する。
【０２６６】
イラスト画像取得部１２７は、各パーツのイラスト画像を取得し、設定部１２８に供給する。
【０２６７】
設定部１２８は、イラスト画像取得部１２７から供給されるイラスト画像と、データベース３５に登録されているモデル画像とを対応付けることでパーツ対応情報を設定して、データベースに登録する。また、設定部１２８は、アンカー点定義情報を設定して、データベース３５に登録する。
【０２６８】
以上のようにして、前処理装置１０１は構成される。
【０２６９】
［前処理の説明］
次に、図３３のフローチャートを参照して、図３２の前処理装置１０１により実行される前処理について説明する。
【０２７０】
ステップＳ２５１において、前処理装置１０１の学習系１１１は、学習処理を実行することにより、Kクラス判別器３２を生成する。
【０２７１】
ステップＳ２５２において、前処理装置１０１の生成系１１２は、生成処理を実行することのより、モデル画像を生成し、データベース３５に登録する。
【０２７２】
ステップＳ２５３において、前処理装置１０１の設定系１１３は、設定処理を実行することにより、パーツ対応情報及びアンカー点定義情報をそれぞれ設定し、データベース３５に登録する。
【０２７３】
以下、上述した図３３のステップＳ２５１ないしＳ２５３の詳細について説明する。
【０２７４】
［学習処理を詳細］
図３４は、学習処理を詳細に説明するフローチャートである。
【０２７５】
ステップＳ２７１において、学習サンプル取得部１２１は、K人のサンプル人物についてそれぞれ様々なバリエーションで用意されているサンプル画像を取得する。
【０２７６】
前画像処理部１２２は、ステップＳ２７２において、学習サンプル取得部１２１により取得されたサンプル画像から顔領域を検出した後、パーツ領域定義情報に基づいて、検出した顔領域を所定の画像サイズにリサイズし（ステップＳ２７３の処理）、リサイズ後の顔領域からパーツ領域を切り出す（ステップＳ２７４の処理）。
【０２７７】
このリサイズ処理では、先に述べた、図１３のパーツ領域定義情報に定義された画像サイズに合わせて、例えば64×64画素の大きさにリサイズされ、例えば目パーツ領域（点（10，23）−点（55，30））が切り出される。
【０２７８】
そして、学習部１２３では、ステップＳ２７５において、パーツ画像の画像特徴量が求められ、ステップＳ２７６において、AdaBoostECOCにより複数の弱判別器が学習されることで、Kクラス判別器３２が生成される。
【０２７９】
なお、各クラスに属するか否か判別する複数の弱判別器では、判別の基準としてサンプル画像（パーツ画像）の画像特徴量を用いる。画像特徴量としては、例えば、本発明者が既に提案しているピクセル差分特徴（PixDif Feature）を用いることができる。
【０２８０】
このピクセル差分特徴については、“佐部、日台、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」、第10回画像センシングシンポジウム予稿集、pp.547-552．2004”、特開２００５−１５７６７９号公報などに開示されている。
【０２８１】
図３５は、学習部１２３により生成されるKクラス判別器３２の詳細について説明する図である。
【０２８２】
図３５に示すように、“Aさん”、“Bさん”、“Cさん”、・・・などのK人のサンプル人物についてそれぞれ様々なバリエーションでサンプル画像が取得され、それらの顔領域がリサイズされた後、そこから各パーツ領域が切り出されるのは、図３４のステップＳ２７１ないしＳ２７４の処理の説明で述べた通りである。
【０２８３】
学習部１２３においては、このようにして得られたK人のサンプル人物の顔画像の各パーツ画像についての画像特徴量がピクセル差分特徴により求められ、その画像特徴量を用いたAdaBoostECOCにより複数の弱判別器が学習され、多クラス判別器としてのKクラス判別器３２が生成される。
【０２８４】
以上のように生成されるKクラス判別器３２では、入力される顔画像が各サンプル人物Kにどの程度似ているかを示すスコアが算出される。なお、このスコアの値が大きいほどよく似ているものとする。したがって、先に述べた通り、このKクラス判別器３２は、K次元のスコアであるK次元スコアベクトルを出力することになる。
【０２８５】
このように、各パーツ毎にK次元からなるスコア空間が得られることになり、例えば、入力されるパーツ画像が同一人物のものであれば、K次元スコア空間での距離は近いものとなる。そして、入力される顔画像が未知顔の人物“Xさん”である場合には、その“Xさん”の各パーツが、サンプル人物“Aさん”、“Bさん”、“Cさん”、・・・の各パーツのそれぞれに対してどの程度似ているかを数値化して表すことができる。これにより、パーツ毎のK次元スコア空間での距離によって、各パーツの類似度を判定することが可能となる。
【０２８６】
より具体的には、図３６に示す処理が行われる。すなわち、顔画像（Face image A）上の２画素の画素値（輝度値）I1，I2の差分（I1−I2）を算出することで、ピクセル差分特徴（PixDif Feature）が得られる。２画素の組み合わせにそれぞれ対応する２値判別弱判別器h（x）では、次式（５）に示すように、このピクセル差分特徴（I1−I2）と、閾値Thによって、真（+1）又は偽（-1）が判別される。
【０２８７】
h(x)＝-1 if I1−I2≦Th
h(x)＝+1 if I1−I2＞Th ・・・（５）
【０２８８】
式（５）より得られたh(x)と、各クラス毎に定義されたECOCビット（1行K列のECOCテーブル（ECOC table）に格納されるK列の値（+1又は-1））とを比較して、その判定結果がECOCビットと一致する場合、そのクラスのスコアは信頼度α分だけ上昇し、逆に、判定結果がECOCビットと不一致である場合、スコアは信頼度α分だけ減少する。
【０２８９】
この処理を画像特徴量の数だけ繰り返すことで、K次元スコアベクトル（Score of K-Class）として、H(1)，H(2)，H(3)，H(4)，H(5)，・・・を求めることができる。
【０２９０】
図３４のフローチャートに戻り、ステップＳ２７７において、学習部１２３は、全てのパーツについて、Kクラス判別器３２の生成が終了したか否かを判定する。
【０２９１】
ステップＳ２７７において、全てのパーツのKクラス判別器３２の生成が終了していないと判定された場合、ステップＳ２７４に戻り、上述した、生成処理（ステップＳ２７４ないしＳ２７７の処理）が繰り返される。
【０２９２】
すなわち、それらの生成処理が繰り返されることで、図１３のパーツ領域定義情報に従って、リサイズ後の顔領域から、目パーツ領域、眉パーツ領域、鼻パーツ領域、口パーツ領域、及び額パーツ領域などの各パーツ領域がそれぞれ抽出され、それらのパーツ領域毎に、各Kクラス判別器３２がそれぞれ個別に生成される。
【０２９３】
そして、図１３のパーツ領域定義情報により定義されたパーツ領域毎のKクラス判別器３２を得て、学習処理は終了される。
【０２９４】
以上のように生成された各パーツ毎のKクラス判別器３２によれば、入力される顔画像（パーツ画像）の画像特徴量をK次元スコアベクトルにより表現できる。すなわち、例えば、サンプル人物を、“Aさん”、“Bさん”、“Cさん”、・・・とすれば、未知顔の人物“Xさん”の各パーツがサンプル人物“Aさん”、“Bさん”、“Cさん”、・・・の各パーツのそれぞれに対してどの程度似ているかを数値化して表すことができる。
【０２９５】
［生成処理の詳細］
図３７は、生成処理を詳細に説明するフローチャートである。
【０２９６】
ステップＳ２９１ないしＳ２９４においては、図３４のステップＳ２７１ないしＳ２７４と同様にして、前画像処理部１２５によって、生成用画像取得部１２４により取得された生成用画像から顔領域が検出され、リサイズ後の顔領域からパーツ領域が切り出される。なお、生成用画像としては、例えば10000枚の無作為に抽出された顔画像を含む画像が用いられる。
【０２９７】
このようにして得られたパーツ画像は、各パーツ毎のKクラス判別器３２に入力される。Kクラス判別器３２では、ステップＳ２９５において、入力されたパーツ画像のピクセル差分特徴が閾値判別され、クラス毎に定義されたECOCビットと比較されることで、K次元スコアベクトルが求められる。
【０２９８】
ステップＳ２９６において、生成部１２６は、Kクラス判別器３２により演算されたパーツ画像に対応するK次元スコアベクトルの集合を、そのK次元スコア空間上で、例えばk-meansアルゴリズムを用いてクラスタリングしてN個の部分集合に分割する。これにより、パーツ画像がN個のプロトタイプに分類されるので、生成部１２６は、分類した各プロトタイプに属するパーツ画像群の平均画像を求めることで、モデル画像を生成し、データベース３５に登録する。
【０２９９】
図３８は、目のモデル画像の例を示す図である。
【０３００】
図３８に示すように、例えば、目のクラスタとして、目のパーツ画像を24個のプロトタイプに分類した場合において、各プロトタイプに属するパーツ画像群の平均をとったものが、目のモデル画像となる。図３８の例では、各プロトタイプのモデル画像毎に、特に、目の形状だけが異なっていることが分かる。
【０３０１】
図３７のフローチャートに戻り、ステップＳ２９７において、生成部１２６は、全てのパーツについて、モデル画像の生成が終了したか否かを判定する。
【０３０２】
ステップＳ２９７において、全てのパーツのモデル画像の生成が終了していないと判定された場合、ステップＳ２９４に戻り、上述した、生成処理（ステップＳ２９４ないしＳ２９７の処理）が繰り返される。
【０３０３】
すなわち、それらの生成処理が繰り返されることで、図１３のパーツ領域定義情報に従って、リサイズ後の顔領域から、先に述べた目パーツ領域以外の眉パーツ領域、鼻パーツ領域、口パーツ領域、及び額パーツ領域などの各パーツ領域がそれぞれ抽出され、それらのパーツ領域毎に、N枚のモデル画像がそれぞれ個別に生成され、データベース３５に登録される。
【０３０４】
そして、図１３のパーツ領域定義情報により定義されたパーツ領域毎のN枚のモデル画像を得て（各パーツ領域毎のモデル画像の枚数は、同数である必要はない）、生成処理は終了される。
【０３０５】
［設定処理］
図３９は、設定処理を詳細に説明するフローチャートである。
【０３０６】
ステップＳ３０１において、イラスト画像取得部１２７は、各パーツのイラスト画像を取得する。例えば目のイラスト画像を設定する場合、イラスト画像として、図４０ａないし１９ｌで示すような、似顔絵画像を構成するためのパーツのうちの、目の形状を示した様々なバリエーションからなるイラスト画像をあらかじめ用意しておくことになる。
【０３０７】
ステップＳ３０２において、設定部１２８は、データベース３５に登録されているモデル画像を取得する。このモデル画像は、生成系１１２により生成され、データベース３５に登録されたものであって（図３７の生成処理）、例えば目のイラスト画像の設定を行う場合、パーツ領域毎に生成されてデータベース３５に登録されているモデル画像のうち、図３８の目のモデル画像が取得される。
【０３０８】
ステップＳ３０３において、設定部１２８は、取得したイラスト画像とモデル画像とを対応付けることで、パーツ対応情報を設定して、データベース３５に登録する。
【０３０９】
この対応付けの方法としては、第１に、あるモデル画像に対して、候補のイラスト画像群の中から最も類似するイラスト画像を紐付けるための画像処理を実行することで対応付けを行う方法、第２に、ユーザが目視でモデル画像を確認して、そのモデル画像に似ていると感じたイラスト画像を候補のイラスト画像群の中から選択して指示することで対応付けを行う方法の２つがある。
【０３１０】
これらの方法のいずれかで対応付けが行われると、例えば、イラスト画像（図４０）とモデル画像（図３８）は、図４１に示すように対応付けされる。図４１の例では、6×4のモデル画像に対して、それらの目の見えに応じた6×4のイラスト画像がそれぞれ対応付けられている。これにより、パーツの幾何学的な大きさや比率ではなく、パーツ画像とモデル画像との見えのパターンから類似度を算出することができ、より人間の主観とあった類似度を定義することができる。
【０３１１】
なお、ユーザが目視により対応付けを行う場合には、設定部１２８は、例えば、図４２Ａに示すように、口に特徴があるモデル画像に対して、特徴的な口のイラスト画像を意図的に対応付けることができる。また、設定部１２８は、ユーザからの指示に基づいて、図４２Ｂに示すように、目に特徴があるモデル画像に対しては、特徴的な目のイラスト画像を意図的に対応付けることもできる。
【０３１２】
このように、パーツ対応情報の設定時において、モデル画像に対して、実際の見えよりも誇張した表現のイラスト画像を割り当てておくことで、似顔絵画像の生成時には、人間の主観とあった顔の特徴を有する似顔絵画像（顔の特徴がより強調された似顔絵画像）を生成することができる。
【０３１３】
図３９のフローチャートに戻り、ステップＳ３０４において、設定部１２８は、例えばユーザからの指示に基づいて、各イラスト画像毎のアンカー点定義情報を設定して、データベース３５に登録する。
【０３１４】
このアンカー点定義情報については、図１５などを参照して先に述べたが、アンカー点ＰA1，ＰA2のそれぞれの位置をより内側に設定して、それらの点の間隔をパーツ点Ｐp1，Ｐp2の間隔よりも狭くすることで、対応するパーツ点Ｐp1，Ｐp2に配置したときに、例えば目のイラスト画像であれば拡大されてから描画されるので、同じイラスト画像でも、より大きな目を表現することができる。一方、アンカー点ＰA1，ＰA2のそれぞれの位置をより外側に設定すると、それらの点の間隔は逆にパーツ点Ｐp1，Ｐp2の間隔よりも広がるので、例えば目のイラスト画像であれば縮小されてから描画されるので、同じイラスト画像でも、より小さな目を表現することができる。
【０３１５】
このように、同じイラスト画像であっても、アンカー点の位置を変更するだけで、様々な表示形態でパーツを表すことができるので、用意するイラスト画像を少なくできるとともに、各パーツの特徴を捉えた変形パーツ画像を提供できる。
【０３１６】
なお、アンカー点は、２点に限らず、対応するパーツ点の数に合わせて設定することができる。
【０３１７】
ステップＳ３０５において、設定部１２８は、全てのパーツのパーツ対応情報とアンカー点定義情報の設定が終了したか否かを判定する。
【０３１８】
ステップＳ３０５において、全てのパーツのパーツ対応情報とアンカー点定義情報の設定が終了していないと判定された場合、ステップＳ３０１に戻り、上述した、設定処理（ステップＳ３０１ないしＳ３０５の処理）が繰り返される。
【０３１９】
すなわち、それらの設定処理が繰り返されることで、パーツ領域毎に生成されたモデル画像に対してイラスト画像がそれぞれ個別に紐付けられ、さらにそれらのイラスト画像のアンカー点もそれぞれ個別に設定される。
【０３２０】
これらの設定処理により対応付けられた情報は、パーツ対応情報としてデータベース３５に登録される。そして、全てのパーツのパーツ対応情報とアンカー点定義情報を設定して、設定処理は終了される。
【０３２１】
このように、前処理装置１０１において、各パーツ毎のKクラス判別器３２を生成し、さらに、パーツ対応情報とアンカー点定義情報を設定してデータベース３５にあらかじめ登録しておくことで、それらのKクラス判別器３２とデータベース３５を用いる似顔絵画像生成装置１においては、ユーザの操作を介さずに、顔画像を含む入力画像から似顔絵画像を生成することができる。
【０３２２】
［クラス分けの他の例］
ここまでは、パーツ対応情報によって、単にモデル画像とイラスト画像とを対応付けていたが、サンプル人物の属性情報をクラスラベルとしてサンプル画像に付与し、それぞれについてKクラス判別器３２に学習させるようにしてもよい。サンプル人物の属性情報としては、例えば、人種、年齢区分、性別、眼鏡の有無などの同一のサンプル人物であれば、同じ属性に属するものが挙げられる。
【０３２３】
各属性情報をクラスラベルとして学習したKクラス判別器３２を使用することで、単にパーツ画像とモデル画像との類似度を求めていた場合と比較し、パーツ画像とモデル画像をより詳細に特徴付けることができる。よって、パーツ画像とモデル画像の類似度をより正確に求めることができ、正確なイラスト画像を選択することが可能となる。
【０３２４】
なお、本実施の形態では、図１の似顔絵画像生成装置１と、図３２の前処理装置１０１とは別の装置であるとして説明したが、図１の似顔絵画像生成装置１に対応する一処理部としての似顔絵画像生成部と、図３２の前処理装置１０１に対応する一処理部としての前処理部とからなる１つの装置として捉えることもできる。この場合、それらの装置で共通な構成となる、Kクラス判別器３２とデータベース３５は、前処理部により生成（設定）され、似顔絵画像生成部による似顔絵画像生成処理で用いられる。
【０３２５】
［本発明を適用したコンピュータの説明］
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０３２６】
図４３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示す図である。CPU（Central Processing Unit）２１１は、ROM（Read Only Memory）２１２、又は記録部２１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２１３には、CPU２１１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２１１、ROM２１２、及びRAM２１３は、バス２１４により相互に接続されている。
【０３２７】
CPU２１１にはまた、バス２１４を介して入出力インターフェース２１５が接続されている。入出力インターフェース２１５には、マイクロホン等よりなる入力部２１６、ディスプレイ、スピーカ等よりなる出力部２１７が接続されている。CPU２１１は、入力部２１６から入力される指令に対応して各種の処理を実行する。そして、CPU２１１は、処理の結果を出力部２１７に出力する。
【０３２８】
入出力インターフェース２１５に接続されている記録部２１８は、例えばハードディスクからなり、CPU２１１が実行するプログラムや各種のデータを記録する。通信部２１９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０３２９】
また、通信部２１９を介してプログラムを取得し、記録部２１８に記録してもよい。
【０３３０】
入出力インターフェース２１５に接続されているドライブ２２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記録部２１８に転送され、記録される。
【０３３１】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２２１、又は、プログラムが一時的もしくは永続的に格納されるROM２１２や、記録部２１８を構成するハードディスク等により構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデム等のインターフェースである通信部２１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０３３２】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３３３】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０３３４】
１ 似顔絵画像生成装置， ２ 表示装置， １１ 対象画像取得部， １２ 顔検出部， １３ 特徴点検出部， １４ 顔輪郭領域決定部， １５ 髪領域決定部， １６ パーツ領域処理部， １７ 基準色抽出部， １７Ａ 肌基準色抽出部， １７Ｂ 髪基準色抽出部， １７Ｃ パーツ基準色抽出部， １８ 色調整部， １８Ａ 肌色調整部， １８Ｂ 髪色調整部， １８Ｃ イラスト画像色調整部， １９ 描画生成部， ２０Ａ 肌基準色抽出色調整部， ２０Ｂ 髪基準色抽出色調整部， ２０Ｃ パーツ基準色抽出色調整部， ２１ 顔属性認識部， ２２ 照明状態認識部， ２３ モード設定部， ３１ パーツ領域決定部， ３２ Kクラス判別器， ３３ 類似度判定部， ３４ イラスト画像選択部， ３５ データベース， １０１ 前処理装置， １１１ 学習系， １１２ 生成系， １１３ 設定系， １２１ 学習サンプル取得部， １２２ 前画像処理部， １２３ 学習部， １２４ 生成用画像入力部， １２５ 前画像処理部， １２６ 生成部， １２７ イラスト画像取得部， １２８ 設定部
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、似顔絵画像の表現力を向上させることができるようにした情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年の顔画像認識技術の発達により、写真等の撮影画像に含まれる顔画像から似顔絵画像を生成する技術がより現実的なものとなってきている。
【０００３】
このような似顔絵画像を生成するに際して、元の顔画像により近づけるために、各種の方法が提案されている。
【０００４】
例えば、特許文献１には、投稿された人物の写真画像がそのまま公開されないように、写真画像中の被写体の顔を似顔絵に置き換えた画像に加工するに際して、顔面や頭髪部について特定されたエッジに基づき輪郭線を作成し、元の写真画像に近い色彩を設定するものが開示されている（特に、特許文献１の００３９段落）。
【０００５】
また、特許文献２には、入力画像から似顔絵画像を作成するに際して、右目、左目、口の座標に基づいて、鼻付近の領域内の画素値を用いて肌色を抽出し、その肌色の情報を後段の処理に用いるものが開示されている（特に、特許文献２の０１７２段落）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２２３５００号公報
【特許文献２】特開２０００−３１１２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術であると、撮影画像の撮影条件によっては、似顔絵画像を生成する際に、適切でない色が使用される可能性があるという問題がある。
【０００８】
すなわち、特許文献１では、肌や髪の色は元の写真画像に近い色彩を設定すると記載されているが、撮影条件によっては適切でない色が使用される場合がある。
【０００９】
また、特許文献２では、鼻付近の画素値の平均値や中央値付近の値を用いると記載されているが、撮影条件によっては、適切でない色が使用される場合がある。また、唇や鼻の陰など、色の決定に不適切な領域の影響を受ける可能性も出てくる。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、違和感のない適切な色に調整された似顔絵画像を生成して、似顔絵画像の表現力を向上させることができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の情報処理装置は、対象画像から顔領域を検出する顔検出手段と、検出された前記顔領域の特徴点を検出する特徴点検出手段と、検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定する決定手段と、決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出する基準色抽出手段と、抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整する調整手段と、前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する生成手段とを備える。
【００１２】
前記注目領域は、顔輪郭領域、髪領域、及び所定のパーツを含んでいるパーツ領域からなり、前記基準色抽出手段は、前記顔輪郭領域、前記髪領域、及び前記パーツ領域における基準色を抽出し、前記調整手段は、所定の階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整し、前記生成手段は、前記顔輪郭領域、前記髪領域、及び前記パーツ領域を、それぞれの前記変形画像用の色設定における階調により描画する。
【００１３】
前記調整手段は、前記顔領域から得られる属性である顔属性情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する。
【００１４】
前記調整手段は、前記対象画像又は前記対象画像に付加された情報から得られる照明状態に関する照明情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する。
【００１５】
前記調整手段は、ユーザにより設定された顔の属性に関する情報である顔属性情報又は照明状態に関する照明情報を用いて、抽出された前記基準色のそれぞれを前記変形画像用の色設定に調整する。
【００１６】
前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定する判定手段と、判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択する選択手段とをさらに備え、前記調整手段は、選択された前記変形パーツ画像の色設定の階調を、前記変形画像用の色設定における階調に調整し、前記生成手段は、階調の調整された前記変形パーツ画像を描画する。
【００１７】
前記対象画像は、撮像された撮像画像であり、前記変形画像は、検出された顔領域内の顔画像を絵により表した似顔絵画像であり、前記変形パーツ画像は、前記パーツを絵により表したイラスト画像である。
【００１８】
生成された前記変形画像を表示する表示手段をさらに備える。
【００１９】
本発明の一側面の情報処理方法は、情報処理装置が、対象画像から顔領域を検出し、検出された前記顔領域の特徴点を検出し、検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定し、決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出し、抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整し、前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成するステップを含む。
【００２０】
本発明の一側面のプログラムは、対象画像から顔領域を検出する顔検出手段と、検出された前記顔領域の特徴点を検出する特徴点検出手段と、検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定する決定手段と、決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出する基準色抽出手段と、抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整する調整手段と、前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する生成手段として、コンピュータを機能させる。
【００２１】
本発明の一側面の情報処理装置及び方法、並びにプログラムにおいては、対象画像から顔領域が検出され、検出された顔領域の特徴点が検出され、検出された特徴点に基づいて、顔領域内の注目している領域である注目領域が決定され、決定された注目領域内における対象画像から得られる色設定である基準色が抽出され、抽出された基準色が変形画像用の色設定に調整され、注目領域が変形画像用の色設定を用いて描画され、対象画像から変形画像が生成される。
【発明の効果】
【００２２】
以上のように、本発明の一側面によれば、似顔絵画像の表現力を向上させることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【図２】パーツ領域処理部の構成の例を示す図である。
【図３】似顔絵画像生成処理を説明するフローチャートである。
【図４】肌基準色抽出色調整処理の詳細について説明するフローチャートである。
【図５】肌基準色を抽出するために検出される特徴点について説明する図である。
【図６】入力画像から肌基準色を抽出する処理の詳細について説明する図である。
【図７】入力画像から得られる基準色を似顔絵画像の色に変換する原理を説明する図である。
【図８】肌色の色調整設定の具体的な数値の例を示す図である。
【図９】髪基準色抽出色調整処理の詳細について説明するフローチャートである。
【図１０】髪領域抽出処理の詳細について説明する図である。
【図１１】描画処理の詳細について説明する図である。
【図１２】パーツ基準色抽出色調整処理の詳細について説明するフローチャートである。
【図１３】パーツ領域定義情報の例を示す図である。
【図１４】イラスト画像を選択する処理の詳細について説明する図である。
【図１５】イラスト画像描画処理の詳細について説明する図である。
【図１６】似顔絵画像の例を示す図である。
【図１７】本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【図１８】肌基準色抽出色調整処理の詳細について説明するフローチャートである。
【図１９】顔属性情報を用いた色調整設定の調整を説明する図である。
【図２０】顔属性情報を用いた色調整設定の具体的な数値の例を示す図である。
【図２１】撮影条件に応じて変化する肌色の例を示す模式図である。
【図２２】本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【図２３】肌基準色抽出色調整処理の詳細について説明するフローチャートである。
【図２４】撮影時の照明状態に応じた色調整設定の調整を説明する図である。
【図２５】照明スコアによる色調整設定の値の例を示す図である。
【図２６】本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【図２７】似顔絵画像生成処理を説明するフローチャートである。
【図２８】肌基準色抽出色調整処理の詳細について説明するフローチャートである。
【図２９】ユーザによる色調整設定の調整（性別）を説明する図である。
【図３０】ユーザによる色調整設定の調整（撮影場所）を説明する図である。
【図３１】ユーザが色調整設定を調整する場合の色調整設定の具体的な数値の例を示す図である。
【図３２】前処理装置の構成の例を示す図である。
【図３３】前処理を説明するフローチャートである。
【図３４】学習処理を説明するフローチャートである。
【図３５】Kクラス判別器の詳細について説明する図である。
【図３６】K次元スコアベクトルの算出手順の詳細を説明する図である。
【図３７】生成処理を説明するフローチャートである。
【図３８】目のモデル画像の例を示す図である。
【図３９】設定処理を説明するフローチャートである。
【図４０】目のイラスト画像の例を示す図である。
【図４１】目のモデル画像とイラスト画像の対応例を示す図である。
【図４２】イラスト画像を拡張して描画する場合の例について説明する図である。
【図４３】コンピュータの構成を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
６．前処理装置の構成例
【００２５】
＜１．第１の実施の形態＞
最初に、図１ないし図１６を参照して、本発明の第１の実施の形態について説明する。
【００２６】
［似顔絵画像生成装置の構成例］
図１は、本発明を適用した似顔絵画像生成装置の一実施の形態の構成を示す図である。
【００２７】
図１の似顔絵画像生成装置１は、顔画像を含む対象画像（例えば入力画像）から似顔絵画像などの変形画像を生成し、LCD（Liquid Crystal Display）などの表示装置２の画面に表示させる。
【００２８】
似顔絵画像生成装置１は、図１に示すように、対象画像取得部１１、顔検出部１２、特徴点検出部１３、顔輪郭領域決定部１４、髪領域決定部１５、パーツ領域処理部１６、基準色抽出部１７、色調整部１８、及び描画生成部１９から構成される。
【００２９】
対象画像取得部１１は、対象画像として入力される入力画像を取得し、顔検出部１２に供給する。
【００３０】
対象画像は、例えば、対象画像取得部１１がレンズやCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）等の撮像素子などから構成されるカメラ部である場合には、このカメラ部により撮像される撮像画像となる。また、対象画像は、メモリカード等の記録媒体に記録された画像データを読み出して取得したもの、あるいは、インターネット等のネットワークに接続された機器から、ネットワークを介して取得したものなどであってもよい。すなわち、対象画像は顔画像を含んでいる画像であればよく、その取得方法は任意である。
【００３１】
顔検出部１２は、対象画像取得部１１から供給される入力画像に対し、顔領域を検出するための所定の画像処理を施して、それにより得られる顔領域内の顔画像に関する情報を、特徴点検出部１３に供給する。
【００３２】
特徴点検出部１３は、顔検出部１２から供給される顔領域内の顔画像に対して、目、眉、鼻、口などの器官（パーツ）や輪郭を特定するための特徴点を検出するための所定の画像処理を施して、それにより得られる特徴点に関する情報を、顔輪郭領域決定部１４、髪領域決定部１５、及びパーツ領域処理部１６に供給する。
【００３３】
顔輪郭領域決定部１４は、特徴点検出部１３から供給される特徴点に関する情報に基づいて、顔の輪郭の内側部分の領域（以下、顔輪郭領域という）を決定し、その決定の結果を、基準色抽出部１７に供給する。
【００３４】
髪領域決定部１５は、特徴点検出部１３から供給される特徴点に関する情報に基づいて、顔の髪の部分の領域（以下、髪領域という）を決定し、その決定の結果を、基準色抽出部１７に供給する。
【００３５】
パーツ領域処理部１６は、特徴点検出部１３から供給される特徴点に関する情報に基づいて、顔領域内の目、眉、鼻、口などの所定のパーツに対応する各部分の領域（以下、パーツ領域という）を決定して抽出し、その抽出結果を、基準色抽出部１７に供給する。また、パーツ領域処理部１６は、抽出されたパーツ領域に対応する目、眉、鼻、口などのイラスト画像を選択して、色調整部１８に供給する。
【００３６】
なお、これらの顔輪郭領域、髪領域、パーツ領域は、顔領域内の注目している領域となるため、注目領域であるとも言える。また、パーツ領域処理部１６の詳細は、図２を参照して後述する。
【００３７】
基準色抽出部１７は、肌基準色抽出部１７Ａ、髪基準色抽出部１７Ｂ、及びパーツ基準色抽出部１７Ｃから構成される。また、基準色抽出部１７を構成する各基準色抽出部に対応して、色調整部１８は、肌色調整部１８Ａ、髪色調整部１８Ｂ、及びイラスト画像色調整部１８Ｃから構成される。
【００３８】
肌基準色抽出部１７Ａには、顔輪郭領域決定部１４からの顔輪郭領域の決定の結果が供給される。肌基準色抽出部１７Ａは、顔輪郭領域決定部１４により決定された顔輪郭領域に基づいて、肌基準色を抽出して、肌色調整部１８Ａに供給する。
【００３９】
髪基準色抽出部１７Ｂには、髪領域決定部１５からの髪領域の決定の結果が供給される。髪基準色抽出部１７Ｂは、髪領域決定部１５により決定された髪領域に基づいて、髪基準色を抽出して、髪色調整部１８Ｂに供給する。
【００４０】
パーツ基準色抽出部１７Ｃには、パーツ領域処理部１６からの各パーツ毎のパーツ領域の抽出結果が供給される。パーツ基準色抽出部１７Ｃは、パーツ領域処理部１６により抽出された各パーツ毎のパーツ領域に基づいて、各パーツ毎のパーツ基準色を抽出して、イラスト画像色調整部１８Ｃに供給する。
【００４１】
なお、本実施の形態において、「基準色」とは、対象画像（入力画像）から得られる色に関する設定である色設定を意味するものとする。そして、顔輪郭領域から得られる基準色を「肌基準色」、髪領域から得られる基準色を「髪基準色」、パーツ領域から得られる基準色を「パーツ基準色」とそれぞれ称して説明する。
【００４２】
肌色調整部１８Ａは、所定の変換条件にしたがって、肌基準色抽出部１７Ａから供給される顔輪郭領域内の肌基準色を似顔絵画像用の色（色設定）に調整し、その調整により得られた情報を、描画生成部１９に供給する。
【００４３】
髪色調整部１８Ｂは、所定の変換条件にしたがって、髪基準色抽出部１７Ｂから供給される髪領域内の髪基準色を似顔絵画像用の色（色設定）に調整し、その調整により得られた情報を、描画生成部１９に供給する。
【００４４】
イラスト画像色調整部１８Ｃには、パーツ領域処理部１６からの各パーツに対応するイラスト画像と、パーツ基準色抽出部１７Ｃからの各パーツ毎のパーツ基準色が供給される。イラスト画像色調整部１８Ｃは、所定の変換条件及び各パーツ基準色に基づいて、対応するイラスト画像の色を似顔絵画像用の色（色設定）に調整し、その調整により得られた情報を、描画生成部１９に供給する。
【００４５】
描画生成部１９には、肌色調整部１８Ａ、髪色調整部１８Ｂ、及びイラスト画像色調整部１８Ｃからの色調整設定の調整により得られた情報が供給される。
【００４６】
なお、以下の説明において、入力画像から得られる基準色における色設定（色範囲）と、似顔絵画像で使用される色設定（色範囲）の対応関係のことを、「色調整設定」と称して説明する。
【００４７】
描画生成部１９は、顔輪郭領域と髪領域に関する情報に基づいて、顔輪郭領域と髪領域の和集合の領域内を色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、髪領域内を色調整設定の調整が行われた髪色で塗りつぶして、肌領域と髪領域だけからなる画像（以下、土台画像という）を描画する。
【００４８】
その後、描画生成部１９は、色調整設定の調整が行われたイラスト画像に対して、アンカー点定義情報により定義されたアンカー点とパーツ点とが一致するように回転や拡大縮小（リサイズ）などの所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置し、似顔絵画像を生成する。なお、このアンカー点定義情報は、例えば、パーツ領域処理部１６から取得される情報であり、その詳細は後述する。
【００４９】
このようにして生成された似顔絵画像は、描画生成部１９によって、表示装置２に表示される。
【００５０】
なお、以下の説明では、説明の都合上、顔輪郭領域決定部１４、肌基準色抽出部１７Ａ、及び肌色調整部１８Ａを、肌基準色抽出色調整部２０Ａと称する。同様に、髪領域決定部１５、髪基準色抽出部１７Ｂ、及び髪色調整部１８Ｂを、髪基準色抽出色調整部２０Ｂと称し、パーツ領域処理部１６、パーツ基準色抽出部１７Ｃ、及びイラスト画像色調整部１８Ｃを、パーツ基準色抽出色調整部２０Ｃと称して説明する。
【００５１】
以上のようにして、図１の似顔絵画像生成装置１は構成される。
【００５２】
［パーツ領域処理部の構成例］
図２は、図１のパーツ領域処理部１６の構成例を示す図である。
【００５３】
パーツ領域処理部１６は、パーツ領域決定部３１、Kクラス判別器３２、類似度判定部３３、イラスト画像選択部３４、及びデータベース３５から構成される。
【００５４】
パーツ領域決定部３１には、特徴点検出部１３からの特徴点に関する情報と、データベース３５からのパーツ領域定義情報が供給される。パーツ領域決定部３１は、パーツ領域定義情報に基づいて、特徴点検出部１３からの特徴点に基づいた顔領域内の顔画像から、所定のパーツを含んでいるパーツ領域を決定して抽出し、その抽出結果を、パーツ基準色抽出部１７Ｃ（図１）及びKクラス判別器３２に供給する。
【００５５】
なお、パーツ領域定義情報は、例えば、データベース３５などにあらかじめ登録されており、そこから、パーツ領域決定部３１によって取得される。
【００５６】
Kクラス判別器３２は、パーツ領域決定部３１から供給されるパーツ領域内のパーツ画像についてのK次元のスコア（以下、K次元スコアベクトルという）を求めて、類似度判定部３３に供給する。
【００５７】
なお、このKクラス判別器３２は、各パーツ毎に用意されるものであって、後述する図３２の前処理装置１０１により求められるものであり、その詳細な説明は後述する。
【００５８】
類似度判定部３３は、データベース３５に登録されているパーツ対応情報により対応付けられたモデル画像のK次元スコアベクトルのうち、Kクラス判別器３２から供給されるK次元スコアベクトルに最も類似しているK次元スコアベクトルを特定して、最も類似したモデル画像を判定し、その判定結果をイラスト画像選択部３４に供給する。
【００５９】
なお、パーツ対応情報とは、イラスト画像と、モデル画像とを対応付けた情報であって、データベース３５に登録されている。このイラスト画像は、各パーツを変形させて表した変形パーツ画像の一例であって、各パーツを絵（イラスト）により表した画像である。また、モデル画像は、複数のサンプル画像の画像特徴量を用いたAdaBoostECOC（Error Correct Output Coding）学習により生成される多クラス判別器（後述する図３２のKクラス判別器３２）から出力される入力画像に対する多次元スコアベクトルに基づいて、入力画像のパーツ画像を複数のプロトタイプに分類し、各プロトタイプに属するパーツ画像群の平均画像を求めることで生成される画像である。
【００６０】
このパーツ対応情報についても、図３２の前処理装置１０１により求められるものであるため、その詳細な説明は後述する。
【００６１】
イラスト画像選択部３４は、類似度判定部３３から供給された判定結果に基づいて、データベース３５に登録されているパーツ対応情報の中から、最も類似していると判定されたモデル画像に対応付けられたイラスト画像を選択し、イラスト画像色調整部１８Ｃに供給する。
【００６２】
データベース３５は、先に述べたパーツ領域定義情報とパーツ対応情報の他、アンカー点定義情報などの似顔絵画像を生成する上で必要となる各種の情報を保持する。なお、アンカー点定義情報は、入力画像に含まれる顔画像から検出される各パーツの位置（以下、パーツ点という）に対応付けられたイラスト画像上の点（以下、アンカー点という）を定義している。アンカー点定義情報は、描画生成部１９により似顔絵画像が生成される際に用いられるものであり、似顔絵画像の生成が行われるとき、描画生成部１９に提供される。このアンカー点定義情報についても、図３２の前処理装置１０１により求められるものであるため、その詳細な説明は後述する。
【００６３】
［似顔絵画像生成処理の説明］
次に、図３のフローチャートを参照して、図１の似顔絵画像生成装置１により実行される、似顔絵画像を生成する処理（似顔絵画像生成処理）について説明する。
【００６４】
ステップＳ１１において、対象画像取得部１１は、撮像画像などの顔画像を含んだ入力画像を取得する。
【００６５】
ステップＳ１２において、顔検出部１２は、対象画像取得部１１から供給される入力画像中の顔パターンをスキャンすることで、入力画像における顔領域の位置（x，y，w，h）を検出する。
【００６６】
ステップＳ１３において、特徴点検出部１３は、顔検出部１２により検出された顔領域内の顔画像の各特徴点のパターンをスキャンすることで、特徴点の位置（x，y）を検出する。この特徴点によって、顔輪郭領域や髪領域、各パーツ領域が特定される。
【００６７】
ステップＳ１４においては、肌基準色抽出色調整部２０Ａによって、肌基準色抽出色調整処理が行われる。
【００６８】
ここで、図４のフローチャートを参照して、図３のステップＳ１４の処理に対応する肌基準色抽出色調整処理の詳細について説明する。
【００６９】
ステップＳ３１において、顔輪郭領域決定部１４は、特徴点検出部１３により検出された特徴点に基づいて、顔輪郭領域を決定する。
【００７０】
すなわち、特徴点検出部１３によって、例えば、図５に示すような、顔の輪郭部分の点が特徴点として検出されるので、顔輪郭領域決定部１４によって、それらの特徴点に基づいた顔の輪郭の内側部分が顔輪郭領域として決定される。
【００７１】
ステップＳ３２において、肌基準色抽出部１７Ａは、顔輪郭領域決定部１４により決定された顔輪郭領域における肌基準色を抽出する。
【００７２】
図６は、入力画像が取得されてから、その入力画像の顔輪郭領域における肌基準色が抽出されるまでの一連の処理の流れの例を示す図である。
【００７３】
まず、図６Ａの入力画像に対して、カラーセグメンテーション処理を施すと、図６Ｂに示す画像が得られる。ここでは、例えば、図６Ａの入力画像のRGB値に対してk-meansアルゴリズムを用いたクラスタリングが行われる。次に、図６Ｃに示すように、カラーセグメンテーション処理の結果得られる図６Ｂの画像に対して、特徴点検出部１３により検出された特徴点を用いて、肌基準色を抽出する範囲の指定を行う。この範囲の指定には、例えば、検出された特徴点をスプライン曲線で結ぶ方法が用いられる。
【００７４】
図６Ｃの肌基準色を抽出する範囲が指定されると、図６Ｄに示すように、指定範囲内の領域から肌基準色が抽出される。この肌基準色の抽出には、指定範囲内で相対的に広い範囲を占める色を選択するのが望ましい。例えば、図６Ｃの指定範囲において、50％以上や30％以上などの面積となる所定の領域の色を肌基準色として抽出する。図６Ｄでは、２色の肌基準色が抽出された例を図示しているが、肌基準色を１色とするために、これらの色の平均値を採用するか、あるいは、指定範囲内の最も面積の広い領域の色を選択してもよい。また、基準色を複数もって似顔絵画像にそれぞれの領域で反映してもよいし、複数の色情報をグラデーション処理の設定値として利用してもよい。
【００７５】
図４のフローチャートに戻り、ステップＳ３３において、肌色調整部１８Ａは、所定の階調変換条件にしたがって、肌基準色抽出部１７Ａにより抽出された肌基準色を調整して、似顔絵画像で用いられる肌色に変換する。
【００７６】
ここで、図７を参照して、肌基準色を似顔絵画像で用いられる肌色に変換する方法について説明する。
【００７７】
なお、ここでは、かかる変換方法の一例として、色情報を、8ビットのRGB値として扱い、それぞれの値を調整する方法を示す。図７には、赤成分（図７Ａ）、緑成分（図７Ｂ）、青成分（図７Ｃ）のそれぞれについて、入力画像から得られる基準色（図中各色成分の左側の「入力画像」と表記している）と、似顔絵画像の色（図中各色成分の右側の「似顔絵画像」と表記している）の色範囲の対応関係が図示されている。この色範囲は、図中の0〜255の範囲をとるRGBの階調値のうちの、太枠で囲まれた範囲であり、図中の矢印で示すように、「入力画像」と「似顔絵画像」で対応している。なお、これらの関係は、後述する対応した他の図でも同様とされる。
【００７８】
図７Ａに示すように、赤成分に関して、入力画像から得られる基準色の色範囲を[RImin, RImax]とする。この色範囲は、入力される可能性のある画像において統計的に範囲を求めて得るとよい。
【００７９】
ここでは、基準色のR値がRIminより小さい場合はRIminとし、RImaxより大きい場合はRImaxとして、入力される値が[RImin, RImax]の範囲になるように変換する。また、緑成分、青成分に関しても同様に、図７Ｂ，図７Ｃに示すように、[GImin, GImax]、[BImin, BImax]を定義する。
【００８０】
なお、以下の説明では、入力画像から得られる基準色の色範囲は、RGBに関して一般化して、[XImin, XImax]と表記するものとする。
【００８１】
図７Ａに示すように、赤成分に関して、似顔絵画像で使用する色範囲を、[RCmin, RCmax]とする。この色範囲は、例えば、生成される似顔絵画像の顔属性や雰囲気、テーマなどに応じて決められる。
【００８２】
また、緑成分、青成分に関しても同様に、図７Ｂ，図７Ｃに示すように、[GCmin, GCmax]、[BCmin, BCmax]を定義する。
【００８３】
なお、以下の説明では、似顔絵画像で用いられる色の色範囲は、RGBに関して一般化して、[XCmin, XCmax]と表記する。
【００８４】
基準色（の階調）を似顔絵画像で使用する色（の階調）へ変換する方法のシンプルな例としては、[XImin, XImax]から[XCmin, XCmax]への線形変換が考えられる。
【００８５】
RGB値をそれぞれ独立に変換する方法の場合、基準色を[Rin, Gin, Bin]として似顔絵画像で使用する色を[R, G, B]とした場合、下記の変換式（１）を用いることができる。
【００８６】
if(Rin < RImin){Rin = RImin}
if(RImax < Rin ){Rin = RImax}
R = (RCmax-RCmin)*(Rin-RImin)/(RImax-RImin)+RCmin
if(Gin < GImin){Gin = GImin}
if(GImax < Gin ){Gin = GImax}
G = (GCmax-GCmin)*(Gin-GImin)/(GImax-GImin)+GCmin
if(Bin < BImin){Bin = Bimin}
if(BImax < Bin ){Bin = Bimax}
B = (BCmax-BCmin)*(Bin-BImin)/(BImax-BImin)+BCmin
・・・（１）
【００８７】
ただし、上記の変換式（１）の場合、RGB値が独立に調整されるため、場合によってはRGB値のバランスが崩れて意図した色にならない場合がある。この問題を避けるために、RGB値を連動して調整する下記の変換式（２）も考えられる。
【００８８】
RGBin = (Rin+Gin+Bin)/3
RGBImax = (RImax+GImax+BImax)/3
RGBImin = (RImin+GImin+BImin)/3
if(RGBin < RGBmin){RGBin = RGBmin}
if(RGBmax < RGBin ){RGBin = RGBmax}
R = (RCmax-RCmin)*(RGBin-RGBImin)/(RGBImax-RGBImin)+RCmin
G = (GCmax-GCmin)*(RGBin-RGBImin)/(RGBImax-RGBImin)+GCmin
B = (BCmax-BCmin)*(RGBin-RGBImin)/(RGBImax-RGBImin)+BCmin
・・・（２）
【００８９】
これらの変換式（階調変換条件）により、入力画像から得られた肌基準色（の階調）を似顔絵画像で用いられる肌色（の階調）に変換することができる。
【００９０】
図８は、肌色の色調整設定の具体的な数値の例を示す図である。
【００９１】
図８Ａには、RGB値の肌基準色における色範囲として、[XImin, XImax]が示され、図８Ｂには、RGB値の似顔絵画像における色範囲として、[XCmin, XCmax]が示されている。
【００９２】
すなわち、[RImin, RImax] = [90, 170]で指定される肌基準色の色範囲は、似顔絵画像における色範囲として、[RCmin, RCmax] = [217, 255]に変換される。
【００９３】
同様に、[GImin, GImax] = [60, 140]は、[GCmin, GCmax] = [191, 231]に変換され、[BImin, BImax] = [40, 120]は、[BCmin, BCmax] = [172, 212]に変換される。
【００９４】
このように、肌色の色調整設定の調整が行われ、処理は、図３のステップＳ１４の処理に戻る。
【００９５】
ステップＳ１５においては、髪基準色抽出色調整部２０Ｂによって、髪基準色抽出色調整処理が行われる。
【００９６】
ここで、図９のフローチャートを参照して、図３のステップＳ１５の処理に対応する髪基準色抽出色調整処理の詳細について説明する。
【００９７】
ステップＳ５１において、髪領域決定部１５は、特徴点検出部１３から供給される特徴点に基づいて、髪領域を決定する。
【００９８】
例えば、髪領域決定部１５は、顔検出部１２により検出された顔領域（あるいは入力画像）内の顔画像の上半分の領域（頭頂部側の領域）の画像から得られるRGB値に対し、例えばk-meansアルゴリズムを用いてクラスタリングして、所定の領域を髪領域として決定する。
【００９９】
図１０は、髪領域決定部１５により実行される髪領域決定処理の詳細について説明する図である。
【０１００】
髪領域決定処理としては、図１０Ａに示すように、まず、顔領域内の上半分の顔上部領域ＡＵが決定される。そして、この顔上部領域ＡＵ内の全ての画素（R，G，B）を、k-meansアルゴリズムを用いて３色にクラスタリングすると、全ての画素は、３つのクラスのうちのどれかに属することになる。次に、隣り合う画素のラベルが一致するか否かが判定され、領域分割が行われると、図１０Ｂに示すように、背景、髪、肌の３つの領域に分割される。
【０１０１】
なお、この分割処理では、３つ以上の領域に分割されることもあるが、髪領域決定部１５は、図１０Ｃに示すように、例えば黒色に最も近い領域の中で、面積が最大となる領域を髪領域として決定するようにすればよい。
【０１０２】
図９のフローチャートに戻り、ステップＳ５２において、髪基準色抽出部１７Ｂは、髪領域決定部１５により決定された髪領域における髪基準色を抽出する。
【０１０３】
この髪基準色の抽出方法であるが、上述した図６の肌基準色の抽出方法と同様に、例えば、図１０Ｃの髪領域の指定範囲において、50％以上などの面積となる領域の色が髪基準色として抽出される。
【０１０４】
ステップＳ５３において、髪色調整部１８Ｂは、所定の階調変換条件にしたがって、髪基準色抽出部１７Ｂにより抽出された髪基準色を調整して、似顔絵画像で用いられる髪色に変換する。
【０１０５】
この髪基準色の色調整設定の調整であるが、上述した肌基準色の色調整設定（図７，図８）と同様に、例えば、[XImin, XImax]で指定される髪基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることで行われる。
【０１０６】
このように、髪色の色調整設定の調整が行われ、処理は、図３のステップＳ１５の処理に戻る。
【０１０７】
ステップＳ１６において、描画生成部１９は、顔輪郭領域と髪領域の和集合の領域内を色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、色調整設定の調整が行われた髪色で塗りつぶして、顔の土台画像を描画する。
【０１０８】
図１１は、描画生成部１９により実行される土台画像の描画処理の詳細について説明する図である。
【０１０９】
図１１Ａに示すように、検出された輪郭の特徴点が、スプライン曲線補間などの所定の補間処理により繋がれて、曲線により囲まれた領域が求められると、図１１Ｂに示すような顔輪郭領域となる。そして、図１１Ｃに示すように、この顔輪郭領域と、髪領域の内側を、色調整設定の調整が行われた肌色で塗りつぶした後、さらに、髪領域だけを色調整設定の調整が行われた髪色で塗りつぶすことで、図１１Ｄの土台画像が得られる。
【０１１０】
なお、ここでは、説明を簡略化するために、入力画像の画像サイズのリサイズ処理に関する説明を省略したが、実際には、入力画像から、顔検出部１２により検出された顔領域を中心として拡大した領域が切り出され、生成する似顔絵画像の画像サイズに合わせてリサイズする処理が行われることになる。このリサイズの大きさとしては、顔検出部１２により検出される顔領域では顔全体が少しはみ出すくらいの領域を抽出するので、例えば、この領域を中心として大きさ1.6倍くらいの領域が入力画像から切り出される。この際、例えば、求めたい似顔絵画像の画像サイズを300×300画素とすると、検出された顔領域内の顔画像が、この画像サイズにリサイズされることになる。またこのとき、特徴点検出部１３により検出された顔領域の特徴点の位置が、切り出された画像での位置に変換されることになる。
【０１１１】
図３のフローチャートに戻り、ステップＳ１７においては、パーツ基準色抽出色調整部２０Ｃによって、パーツ基準色抽出色調整処理が行われる。
【０１１２】
ここで、図１２のフローチャートを参照して、図３のステップＳ１７のパーツ基準色抽出色調整処理の詳細について説明する。なお、ここでは、説明を分かり易くするため、目、眉、鼻、口などのパーツのうちの、目のイラスト画像を選択して色調整設定の調整が行われる例を中心に説明する。
【０１１３】
パーツ領域処理部１６では、ステップＳ７１において、入力画像の顔領域が所定の画像サイズにリサイズされ、ステップＳ７２において、パーツ領域決定部３１によって、所定の画像サイズとなった顔領域から、パーツ領域定義情報に従ったパーツ領域が切り出される。
【０１１４】
図１３は、パーツ領域定義情報の例を示す図である。
【０１１５】
図１３に示すように、64×64画素の大きさにリサイズされた顔領域から各パーツ領域を切り出す場合、顔領域上の任意の位置である点（x1，y1）と点（x2，y2）を対角とする四角形の領域を抽出することになる。例えば、目パーツ領域は、点（10，23）と点（55，30）を対角とする四角形の領域となるので、パーツ領域決定部３１によって、その領域が目パーツ領域として切り出される。
【０１１６】
このようにして切り出された目パーツ領域は、パーツ基準色抽出部１７Ｃ及びKクラス判別器３２に供給される。
【０１１７】
図１２のフローチャートに戻り、ステップＳ７３において、目パーツ領域用のKクラス判別器３２は、目パーツ領域内のパーツ画像に対応するK次元スコアベクトルを求める。
【０１１８】
ステップＳ７４において、類似度判定部３３は、データベース３５に登録されているパーツ対応情報によりイラスト画像と対応付けられたモデル画像のK次元スコアベクトルのうち、目パーツ領域用のKクラス判別器３２により演算された目パーツ領域内のパーツ画像から得られるK次元スコアベクトルに最も類似しているK次元スコアベクトルを特定して、最も類似したモデル画像を判定する。なお、このK次元スコアベクトルどうしの類似度には、例えば、ユークリット距離が採用される。
【０１１９】
ステップＳ７５において、イラスト画像選択部３４は、類似度判定部３３の判定結果に基づいて、データベース３５に登録されているパーツ対応情報の中から、最も類似していると判定されたモデル画像に対応付けられたイラスト画像を選択する。
【０１２０】
図１４は、イラスト画像を選択する処理の詳細について説明する図である。
【０１２１】
図１４に示すように、パーツ領域決定部３１によって、入力画像の顔領域から目パーツ領域内のパーツ画像が抽出された場合、類似度判定部３３は、Kクラス判別器３２の演算結果から、そのパーツ画像と、複数のモデル画像との類似度を判定し、最も類似度の高いモデル画像を判定する。パーツ対応情報では、モデル画像とイラスト画像とがあらかじめ対応付けられているので、イラスト画像選択部３４は、最も類似度の高いモデル画像と紐付けられた１つのイラスト画像を選択することが可能となる。
【０１２２】
これにより、あらかじめ用意された複数のイラスト画像の中から、顔領域から抽出された目パーツ領域内のパーツ画像に最も類似するモデル画像に紐付けられた１つのイラスト画像が選択される。
【０１２３】
図１２のフローチャートに戻り、ステップＳ７６において、パーツ基準色抽出部１７Ｃは、パーツ領域決定部３１により決定された目パーツ領域における目パーツ基準色を抽出する。
【０１２４】
この目パーツ領域の基準色の抽出方法であるが、上述した図６の肌基準色の抽出方法などと同様に、例えば、目パーツ領域の指定範囲において、50％以上などの面積となる領域の色が目パーツ基準色として抽出される。
【０１２５】
ステップＳ７７において、イラスト画像色調整部１８Ｃは、所定の階調変換条件及びパーツ基準色抽出部１７Ｃにより抽出された目パーツ基準色に基づいて、イラスト画像選択部３４により選択された目のイラスト画像の色を調整して、似顔絵画像で用いられる目の色に変換する。
【０１２６】
この目パーツ基準色の色調整設定の調整であるが、上述した肌基準色の色調整設定（図７，図８）と同様に、例えば、[XImin, XImax]で指定される目パーツ基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることで行われる。
【０１２７】
以上のようにして、イラスト画像の色調整設定の調整が行われ、処理は、図３のステップＳ１７の処理に戻る。
【０１２８】
ステップＳ１８において、描画生成部１９は、イラスト画像色調整部１８Ｃにより色調整設定の調整が行われたイラスト画像に対して、アンカー点定義情報により定義されたアンカー点と対応するパーツ点とが一致するように回転や拡大縮小などの画像処理を施し、それにより得られたイラスト画像を、ステップＳ１６の処理により得られた土台画像に描画する。
【０１２９】
図１５は、イラスト画像描画処理の詳細について説明する図である。
【０１３０】
図１５に示すように、イラスト画像色調整部１８Ｃにより色調整設定の調整が行われた目のイラスト画像のアンカー点ＰＡと、特徴点検出部１３により検出された顔領域の特徴点に対応する似顔絵画像（土台画像）上のパーツ点ＰＰとが、アンカー点定義情報によって対応付けられていることは、先に述べた通りである。
【０１３１】
すなわち、図１５Ａに示すように、一方のアンカー点ＰA1とパーツ点Ｐp1とが対応し、他方のアンカー点ＰA2とパーツ点Ｐp2とが対応しているので、描画生成部１９は、それらの点をそれぞれ一致させて目のイラスト画像を土台画像上に描画できるように、イラスト画像に対して回転や拡大縮小などの画像処理を施してから、対応するアンカー点ＰＡとパーツ点ＰＰとのそれぞれが一致するように描画する。このようにして描画すると、図１５Ｂに示すように、右目のイラスト画像が土台画像上に描画される。
【０１３２】
なお、このとき、土台画像として、既に肌領域は描画されているので、イラスト画像に対応する画素だけが上書きされることになる。また、パーツ点ＰＰは、検出された特徴点と一致する点であってもよいし、この特徴点とは別に設定された点であってもよい。
【０１３３】
図３のフローチャートに戻り、ステップＳ１９において、パーツ基準色抽出色調整部２０Ｃは、土台画像に対して、目、眉、鼻、口、額などの全てのイラスト画像を描画したか否かを判定する。
【０１３４】
ステップＳ１９において、全てのイラスト画像を描画していないと判定された場合、ステップＳ１７に戻り、上述したステップＳ１７ないしＳ１９のパーツ基準色抽出色調整・描画処理が繰り返される。
【０１３５】
すなわち、このパーツ基準色抽出色調整・描画処理が繰り返されることで、図１３のパーツ領域定義情報に定義された目パーツ領域以外の、眉パーツ領域（点（8，15）−点（57，22））、鼻パーツ領域（点（21，31）−点（44，45））、口パーツ領域（点（18，46）−点（47，59））、額パーツ領域（点（1，1）−点（64，14））がそれぞれ抽出され、それらのパーツ領域毎に用意されたKクラス判別器３２を用いてモデル画像との類似度が判定され、最も類似度の高いモデル画像に対応したイラスト画像がそれぞれ選択される。そして、選択されたイラスト画像は、対応するパーツ基準色に基づいた色調整設定の調整が行われ、さらに、アンカー点定義情報に従って画像処理が施された後、土台画像上の所定の位置に描画され、配置される。
【０１３６】
一方、全てのイラスト画像の描画が終了したと判定された場合、全てのパーツが描画されたことになるので、パーツ基準色抽出色調整・描画処理が終了される。
【０１３７】
以上のようにして生成される似顔絵画像を例示すると、次のようになる。すなわち、図１６は、描画生成部１９により生成された似顔絵画像（変形画像）を、表示装置２の画面に表示した例を示す図である。
【０１３８】
図１６Ａないし図１６Ｆのそれぞれの入力画像（左側）と似顔絵画像（右側）との組み合わせで示すように、上記の似顔絵画像生成処理を実行することで、左側の入力画像に含まれる顔画像の各パーツ領域に対応するイラスト画像がそれぞれ個別に選択され、それらの選択されたイラスト画像が色調整設定の調整が行われ後に、土台画像上に描画されて、右側の似顔絵画像がそれぞれ生成される。
【０１３９】
すなわち、この似顔絵画像では、顔の肌の色や髪の色、目、唇などの各パーツの色を適切に調整して、入力画像の顔画像の人物を反映した色になっているため、元の顔画像に似ているものとなり、結果として、似顔絵画像の質が向上することになる。
【０１４０】
また、入力画像から基準色を取得するに際して、k-meansアルゴリズムによる方法などによりクラスタリングを前処理として行い、同一のクラスタに属する領域の色を用いることで、例えば、肌色の場合、目の周辺や唇の周辺などの肌色以外の色がある場所を避けて、基準色を取得できる。その結果、より目的に適した色を得ることができるため、顔の肌の色や髪の色、目、唇などの各パーツの色を、似顔絵画像として違和感のない適切な色にすることができる。
【０１４１】
また、この似顔絵画像は、各パーツ領域内のパーツ画像とイラスト画像との類似度ではなく、パーツ画像とモデル画像との類似度に基づいて選択されたイラスト画像から生成されたものとなるので、入力画像の各パーツ画像に最も似ているモデル画像に紐付けられたイラスト画像を顔画像の見えから直接的に選択して、顔画像の特徴を捉えた似顔絵画像を生成することができる。つまり、直接的にパーツ画像とイラスト画像との類似度を求めることは困難であるが、本実施の形態では、あらかじめモデル画像とイラスト画像とを紐付けしておき、パーツ画像とモデル画像との類似度を計算して、パーツ画像に最も類似しているモデル画像に紐付けられたイラスト画像を選択するようにしている。
【０１４２】
以上のようにして、図１の似顔絵画像生成装置１による似顔絵画像生成処理が実行される。
【０１４３】
＜２．第２の実施の形態＞
次に、図１７ないし図２０を参照して、本発明の第２の実施の形態について説明する。
【０１４４】
［顔属性情報を用いた色調整設定の調整方法］
ところで、似顔絵画像において、例えば男性は色黒っぽい色を、女性は色白っぽい色を肌色に用いると、似顔絵画像の印象が改善する場合がある。また、例えば、笑っている顔に関してはピンク色っぽい色を、緊張した顔に関しては水色っぽい色を肌色に利用するなど、似顔絵画像の印象を改善させる要素には、様々なものがある。
【０１４５】
このような色調整設定の調整を行うためには、例えば男女の性別に関する男女属性や顔の表情に関する表情属性などの顔画像の属性を認識して、その認識結果を用いて色調整設定を調整する方法が考えられる。そこで、以下、第２の実施の形態として、顔属性情報を用いた色調整設定の調整方法について説明する。
【０１４６】
［似顔絵画像生成装置の構成例］
図１７は、本発明を適用した似顔絵画像生成装置の一実施の形態の他の構成を示す図である。
【０１４７】
図１７の似顔絵画像生成装置１は、図１の似顔絵画像生成装置１と比較して、顔画像から顔属性情報を認識するための顔属性認識部２１が設けられている点が異なる。なお、図１７において、図１と同様の箇所には同一の符号が付してあり、処理が同じ部分は適宜説明を省略する。
【０１４８】
顔属性認識部２１には、顔検出部１２から顔領域内の顔画像に関する情報が供給される。顔属性認識部２１は、顔画像に対して、顔属性を認識するための所定の画像処理を施して、顔属性を認識する。
【０１４９】
顔属性の認識結果は、顔属性情報として、色調整部１８に供給される。この顔属性としては、例えば男女の性別や人種、表情、眼鏡の有無などが判別され、認識される。
【０１５０】
色調整部１８は、顔属性認識部２１から供給される顔属性情報に基づいた階調変換条件にしたがって、基準色を似顔絵画像用の色に調整し、その色調整設定の調整により得られた情報を、描画生成部１９に供給する。
【０１５１】
すなわち、肌色調整部１８Ａは、肌基準色を、顔属性情報により似顔絵画像で用いられる肌色に調整する。同様に、髪色調整部１８Ｂは、髪基準色を、顔属性情報により似顔絵画像で用いられる髪色に調整する。また、イラスト画像色調整部１８Ｃは、各パーツ基準色及び顔属性情報に基づいて、対応するイラスト画像の色を似顔絵画像用の色に調整する。
【０１５２】
描画生成部１９は、顔輪郭領域と髪領域の和集合の領域内を、顔属性情報を用いた色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、髪領域内を、顔属性情報を用いた色調整設定の調整が行われた髪色で塗りつぶして、土台画像を描画する。描画生成部１９はさらに、顔属性情報を用いた色調整設定の調整が行われたイラスト画像に対して所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置して、似顔絵画像を生成する。
【０１５３】
以上のようにして、図１７の似顔絵画像生成装置１は構成される。
【０１５４】
［似顔絵画像生成処理の説明］
次に、図１７の似顔絵画像生成装置１により実行される、似顔絵画像生成処理について説明する。
【０１５５】
なお、図１７の似顔絵画像生成装置１により実行される似顔絵画像生成処理は、基本的には、上述した図３の似顔絵画像生成処理と同様であるが、肌基準色抽出色調整処理（ステップＳ１４の処理）、髪基準色抽出色調整処理（ステップＳ１５の処理）、及びパーツ基準色抽出色調整処理（ステップＳ１７の処理）において、顔属性情報を用いた色調整設定の調整が行われる点が異なる。したがって、ここでは、図１８のフローチャートを参照して、図３のステップＳ１４の処理に対応する、肌基準色抽出色調整処理を代表して説明する。
【０１５６】
ステップＳ９１及びＳ９２においては、図４のステップＳ３１及びＳ３２と同様に、顔輪郭領域決定部１４によって、顔輪郭領域が決定され、肌基準色抽出部１７Ａによって、肌基準色が抽出される。
【０１５７】
ステップＳ９３において、顔属性認識部２１は、顔画像に対して、顔属性を認識するための所定の画像処理を施し、それにより得られる顔属性情報を取得する。顔属性情報は、肌色調整部１８Ａに供給される。
【０１５８】
ステップＳ９４において、肌色調整部１８Ａは、取得した顔属性情報に基づいた階調変換条件にしたがって、肌基準色を調整して、似顔絵画像で用いられる肌色に変換する。
【０１５９】
ここで、図１９を参照して、顔属性情報を用いた色調整設定の調整の詳細について説明する。
【０１６０】
図１９においては、[XImin, XImax]で示される基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることが示されているが、図中の矢印で示すように、顔属性情報から得られるスコア値に応じて、XCmin, XCmaxの値が調整される。
【０１６１】
より具体的には、顔属性情報を用いた色調整設定の調整方法の一例として、男女の性別を示す顔属性情報を用いて肌の色を調整する方法を説明すると、次のようになる。
【０１６２】
ここで、顔画像の男女属性認識において、スコアSが[0.0（男性）, 1.0（女性）]の範囲で得られるものとする。男女属性スコアSが0.0（最大男性スコア）のときの似顔絵画像における色範囲を[XCMmin, XCMmax]（XはRGBのいずれか）、男女属性スコアSが1.0（最大女性スコア）のときの似顔絵画像における色範囲を[XCFmin, XCFmax]とすると、下記の式（３）によって似顔絵画像における色範囲[XCmin, XCmax]を男女属性スコアSから得ることができる。
【０１６３】
RCmax = (RCFmax-RCMmax)*S + RCMmax
RCmin = (RCFmin-RCMmin)*S + RCMmin
GCmax = (GCFmax-GCMmax)*S + GCMmax
GCmin = (GCFmin-GCMmin)*S + GCMmin
BCmax = (BCFmax-BCMmax)*S + BCMmax
BCmin = (BCFmin-BCMmin)*S + BCMmin
・・・（３）
【０１６４】
これによって得られる[XCmin, XCmax]を用いて、似顔絵画像において使用する色[R, G, B]が得られることになる。
【０１６５】
図２０は、顔属性情報として、男女属性と表情属性のスコアを用いて肌色の色調整設定を調整する際に必要な具体的な数値の例を示している。
【０１６６】
図２０Ａには、男女属性による色調整設定の数値の例が示されており、ベース設定が、[RCmin, RCmax] = [217, 255]，[GCmin, GCmax] = [191, 231]，[BCmin, BCmax] = [172, 212]であるのに対して、男女属性のスコアを用いた場合には、次のようになる。すなわち、男女属性が女性である場合には、[RCmin, RCmax] = [227, 255]，[GCmin, GCmax] = [214, 254]，[BCmin, BCmax] = [205, 245]となる一方、男女属性が男性である場合には、[RCmin, RCmax] = [197, 237]，[GCmin, GCmax] = [142, 182]，[BCmin, BCmax] = [101, 141]となる。
【０１６７】
これらのRGB値により表される平均色が、図２０Ａの「平均色」の欄に示されているが、ベース設定の平均色と比べて、女性の平均色は白っぽくなり、男性の平均色は黒っぽくなっているのは明らかである。これにより、男性には色黒っぽい色を、女性には色白っぽい色を肌色に用いることができるため、似顔絵画像の印象を改善することができる。
【０１６８】
図２０Ｂには、表情属性による色調整設定の数値の例が示されており、ベース設定が、[RCmin, RCmax] = [217, 255]，[GCmin, GCmax] = [191, 231]，[BCmin, BCmax] = [172, 212]であるのに対して、表情属性のスコアを用いた場合には、次のようになる。すなわち、表情属性が笑顔である場合には、[RCmin, RCmax] = [220, 255]，[GCmin, GCmax] = [171, 211]，[BCmin, BCmax] = [170, 210]となる一方、表情属性が落ち込み顔である場合には、[RCmin, RCmax] = [177, 217]，[GCmin, GCmax] = [212, 252]，[BCmin, BCmax] = [213, 253]となる。
【０１６９】
これらのRGB値により表される平均色が、図２０Ｂの「平均色」の欄に示されているが、ベース設定の平均色と比べて、笑顔の平均色は、ピンク色っぽくなり、落ち込み顔の平均色は、水色っぽい色となっている。これにより、笑っている顔に関してはピンク色っぽい色を、緊張した顔に関しては水色っぽい色を肌色に用いることができるため、似顔絵画像の印象を改善することができる。
【０１７０】
このように、顔属性情報を用いた色調整設定の調整が行われる。
【０１７１】
すなわち、入力画像の色をそのまま使用して似顔絵画像を生成すると、似顔絵画像の顔属性や雰囲気（例えば性別や表情など）によっては、色が不自然になる場合があり、使用すべき色が異なる。そこで、第２の実施の形態では、似顔絵画像における色の不自然さを避けるために、似顔絵画像で使用する色の範囲をあらかじめ決めておいて、その範囲内において入力画像の色情報と顔属性に応じて使用する色を決定するようにしている。
【０１７２】
これにより、例えば、入力画像から、顔属性情報として、男女の性別に関する男女属性を取得して、例えば女性なら肌色が色白になるようにするなど、色調整設定を顔属性に応じて変更することが可能となる。
【０１７３】
なお、以上の説明では、肌基準色抽出色調整処理について説明したが、髪基準色抽出色調整処理（ステップＳ１５の処理）及びパーツ基準色抽出色調整処理（ステップＳ１７の処理）についても同様に、顔属性情報を用いた色調整設定の調整が行われるのは先に述べた通りである。髪基準色抽出色調整処理及びパーツ基準色抽出色調整処理で行われる顔属性情報を用いた色調整設定の調整は、上述した肌基準色抽出色調整処理で行われる顔属性情報を用いた色調整設定の調整と同様であるため、その説明は省略する。
【０１７４】
また、上述した方法と同様にして、顔画像から得られる人種や年齢などの顔属性情報を用いて似顔絵画像の色の調整をすることができる。例えば、入力画像から、人種に関する顔属性情報を取得して、例えば西欧人なら目を青色にすることができる。また、これらの顔属性情報がモノクロ顔画像から得られる場合は、モノクロの顔画像（入力画像）からカラーの似顔絵画像を生成することも可能となる。
【０１７５】
さらに、ここでは男女属性認識のスコア値に応じて連続的に色調整設定の値が変化する例を説明したが、例えば男女属性スコアが0.5未満なら男性、0.5以上なら女性として、固定値の色調整設定を用いてもよい。
【０１７６】
以上のようにして、図１７の似顔絵画像生成装置１による似顔絵画像生成処理が実行される。
【０１７７】
＜３．第３の実施の形態＞
次に、図２１ないし図２５を参照して、本発明の第３の実施の形態について説明する。
【０１７８】
［撮影時の撮影条件に応じた色調整設定の調整方法］
ところで、同一人物の顔画像であっても、撮影画像の撮影条件（例えば照明状態など）が異なると、抽出される基準色は大きく異なることになる。
【０１７９】
図２１には、屋内と屋外で撮影した画像と、それらの画像の顔の肌色領域（顔輪郭領域）及び肌基準色の関係を示している。
【０１８０】
図２１Ａの屋内で撮影された画像から抽出された肌基準色（[R, G, B] = [131, 62, 32]）と、図２１Ｂの屋外で撮影された画像から抽出された肌基準色（[R, G, B] = [175, 138, 132]）を比べると、屋外の画像よりも、屋内の画像のほうが、全体的に暗い色になっているのは明らかである。
【０１８１】
本来、同一人物であれば、撮影条件が異なっていても、近い基準色を抽出できることが望ましい。このような色調整設定の調整を行うためには、撮影時に得られる撮影条件に関する情報（例えば照明状態に関する照明情報）を用いて色調整設定を調整する方法が考えられる。そこで、以下、第３の実施の形態として、撮影時の照明情報を用いた色調整設定の調整方法について説明する。
【０１８２】
［似顔絵画像生成装置の構成例］
図２２は、本発明を適用した似顔絵画像生成装置の一実施の形態のさらに他の構成を示す図である。
【０１８３】
図２２の似顔絵画像生成装置１は、図１の似顔絵画像生成装置１と比較して、入力画像から照明状態を認識するための照明状態認識部２２が設けられている点が異なる。なお、図２２において、図１と同様の箇所には同一の符号が付してあり、処理が同じ部分は適宜説明を省略する。
【０１８４】
照明状態認識部２２には、対象画像取得部１１から入力画像が供給される。照明状態認識部２２は、対象画像取得部１１から供給される入力画像に対し、照明状態を認識するための所定の画像処理を施して、照明状態を認識する。
【０１８５】
照明状態の認識結果は、照明情報として、色調整部１８に供給される。この照明状態としては、例えば入力画像が、屋外で撮影されたものであるのか、あるいは屋内で撮影されたものであるのかなどが判別され、認識される。
【０１８６】
色調整部１８は、照明状態認識部２２からの照明情報に基づいた階調変換条件にしたがって、基準色を似顔絵画像用の色に調整し、その色調整設定の調整により得られた情報を、描画生成部１９に供給する。
【０１８７】
すなわち、肌色調整部１８Ａは、肌基準色を、照明情報により似顔絵画像で用いられる肌色に調整する。同様に、髪色調整部１８Ｂは、髪基準色を、照明情報により似顔絵画像で用いられる髪色に調整する。また、イラスト画像色調整部１８Ｃは、各パーツ基準色及び照明情報に基づいて、対応するイラスト画像の色を似顔絵画像用の色に調整する。
【０１８８】
描画生成部１９は、顔輪郭領域と髪領域の和集合の領域内を、照明情報を用いた色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、髪領域内を、照明情報を用いた色調整設定の調整が行われた髪色で塗りつぶして、土台画像を描画する。描画生成部１９はさらに、照明情報を用いた色調整設定の調整が行われたイラスト画像に対して所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置して、似顔絵画像を生成する。
【０１８９】
以上のようにして、図２２の似顔絵画像生成装置１は構成される。
【０１９０】
［似顔絵画像生成処理の説明］
次に、図２２の似顔絵画像生成装置１により実行される、似顔絵画像生成処理について説明する。
【０１９１】
なお、図２２の似顔絵画像生成装置１により実行される似顔絵画像生成処理は、基本的には、上述した図３の似顔絵画像生成処理と同様であるが、肌基準色抽出色調整処理（ステップＳ１４の処理）、髪基準色抽出色調整処理（ステップＳ１５の処理）、及びパーツ基準色抽出色調整処理（ステップＳ１７の処理）において、照明情報を用いた色調整設定の調整が行われる点が異なる。したがって、ここでは、図２３のフローチャートを参照して、図３のステップＳ１４の処理に対応する、肌基準色抽出色調整処理を代表して説明する。
【０１９２】
ステップＳ１１１及びＳ１１２においては、図４のステップＳ３１及びＳ３２と同様に、顔輪郭領域決定部１４によって、顔輪郭領域が決定され、肌基準色抽出部１７Ａによって、肌基準色が抽出される。
【０１９３】
ステップＳ１１３において、照明状態認識部２２は、入力画像に対して、照明状態を認識するための所定の画像処理を施し、それにより得られる照明情報を取得する。照明情報は、肌色調整部１８Ａに供給される。
【０１９４】
ステップＳ１１４において、肌色調整部１８Ａは、取得した照明情報に基づいた階調変換条件にしたがって、肌基準色を調整して、似顔絵画像で用いられる肌色に変換する。
【０１９５】
ここで、図２４を参照して、照明情報を用いた色調整設定の調整の詳細について説明する。
【０１９６】
図２４においては、[XImin, XImax]で示される基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることが示されているが、図中の矢印で示すように、照明情報から得られるスコア値に応じて、XImin, XImaxの値が調整される。
【０１９７】
より具体的には、照明情報を用いた色調整設定の調整方法の一例として、屋外内情報を用いた方法を説明すると、次のようになる。
【０１９８】
ここで、入力画像の屋内外認識において、スコアSが[0.0（屋内）, 1.0（屋外）]の範囲で得られるものとする。屋内外認識スコアSが0.0（最大屋内スコア）のときの基準色の色範囲を[XIImin, XIImax]（XはRGBのいずれか）、屋内外認識スコアSが1.0（最大屋外スコア）のときの基準色の色範囲を[XIOmin, XIOmax]とすると、下記の式（４）によって基準色の色範囲[XImin, XImax]を屋内外認識スコアSから得ることができる。
【０１９９】
RImax = (RIOmax-RIImax)*S + RIImax
RImin = (RIOmin-RIImin)*S + RIImin
GImax = (GIOmax-GIImax)*S + GIImax
GImin = (GIOmin-GIImin)*S + GIImin
BImax = (BIOmax-BIImax)*S + BIImax
BImin = (BIOmin-BIImin)*S + BIImin
・・・（４）
【０２００】
これによって得られる[XImin, XImax]を用いて、似顔絵画像で使用する色[R, G, B]が得られることになる。
【０２０１】
図２５は、屋内外認識スコアを用いて肌色の色調整設定を調整する際に必要となる具体的な数値の例を示している。
【０２０２】
屋内の場合には、[RImin, RImax] = [155, 195]，[GImin, GImax] = [118, 158]，[BImin, BImax] = [112, 152]となる一方、屋内の場合には、[RImin, RImax] = [111, 151]，[GImin, GImax] = [42, 82]，[BImin, BImax] = [12, 52]となる。これらのRGB値により表される平均色が、図２５の「平均色」の欄に示されているが、屋外の平均色よりも、屋内の平均色のほうが、全体的に暗い色になっている。これにより、上述した図２１の屋内と屋外で撮影した画像のように、撮影条件が異なっていても、近い基準色が抽出されることになる。
【０２０３】
このように、照明情報を用いた色調整設定の調整が行われる。
【０２０４】
すなわち、入力画像の色をそのまま使用して似顔絵画像を生成すると、撮影条件（例えば照明状態など）によっては、色が不自然になる場合がある。そこで、第３の実施の形態では、似顔絵画像における色の不自然さを避けるために、似顔絵画像で使用する色の範囲をあらかじめ決めておいて、その範囲内において入力画像の色情報と照明状態などに応じて使用する色を決定するようにしている。
【０２０５】
これにより、例えば、暗い部屋やフラッシュの利用などの撮影時の照明状態を入力画像の画像認識から推定し、その情報を色調整設定に反映させることができる。例えば、暗い場所で撮影された画像であるなら、その分明るくして、肌などの色に反映させるようにすることもできる。
【０２０６】
なお、以上の説明では、肌基準色抽出色調整処理について説明したが、髪基準色抽出色調整処理（ステップＳ１５の処理）及びパーツ基準色抽出色調整処理（ステップＳ１７の処理）についても同様に、照明情報を用いた色調整設定の調整が行われるのは先に述べた通りである。髪基準色抽出色調整処理及びパーツ基準色抽出色調整処理で行われる照明情報を用いた色調整設定の調整は、上述した肌基準色抽出色調整処理で行われる照明情報を用いた色調整設定の調整と同様であるため、その説明は省略する
【０２０７】
また、上述した方法と同様にして、例えばExif（Exchangeable Image File Format）情報などの撮影時に付加されるフラッシュ撮影やレンズの絞り情報などのパラメータを用いて、似顔絵画像の色の調整をすることも可能である。
【０２０８】
さらに、撮影条件としては、上述した屋内や屋外の他、例えば、晴れ、曇り、若しくは雨等の天気に関する情報や、朝、昼、夜（夜景）などの時間に関する情報などを用いることができる。
【０２０９】
以上のようにして、図２２の似顔絵画像生成装置１による似顔絵画像生成処理が実行される。
【０２１０】
＜４．第４の実施の形態＞
次に、図２６ないし図３１を参照して、本発明の第４の実施の形態について説明する。
【０２１１】
［ユーザにより色調整設定を調整する方法］
上述した例では、顔属性や照明状態などの撮影条件の認識を自動で行い、そのスコアを用いて色調整設定を行う方法について説明した。これらの色調整設定に使用される、例えば男女の性別若しくは表情などの顔属性情報、又は屋内若しくは屋外などの照明情報がユーザにより設定されるようにしてもよい。すなわち、この場合、例えば、顔属性情報に関する顔属性モードと、照明情報に関する照明状態モードが、ユーザによって切り替えられることなる。そこで、以下、第４の実施の形態として、ユーザにより設定されたモードに応じて行われる色調整設定の調整方法について説明する。
【０２１２】
［似顔絵画像生成装置の構成例］
図２６は、本発明を適用した似顔絵画像生成装置の一実施の形態のさらに他の構成を示す図である。
【０２１３】
図２６の似顔絵画像生成装置１は、図１の似顔絵画像生成装置１と比較して、モード設定部２３が設けられている点が異なる。なお、図２６において、図１と同様の箇所には同一の符号が付してあり、処理が同じ部分は適宜説明を省略する。
【０２１４】
モード設定部２３は、ユーザの操作に応じて、各種のモードを設定する。設定されたモードに関する情報は、色調整部１８に供給される。モードとしては、例えば、男女の性別や表情などの顔属性情報に関する顔属性モード、あるいは屋内や屋外などの照明情報に関する照明状態モードが設定される。
【０２１５】
色調整部１８は、モード設定部２３から供給されるモードに関する情報に基づいた階調変換条件にしたがって、基準色を似顔絵画像用の色に調整し、その色調整設定の調整により得られた情報を、描画生成部１９に供給する。
【０２１６】
すなわち、肌色調整部１８Ａは、肌基準色を、モードに関する情報により似顔絵画像で用いられる肌色に調整する。同様に、髪色調整部１８Ｂは、髪基準色を、モードに関する情報により似顔絵画像で用いられる髪色に調整する。また、イラスト画像色調整部１８Ｃは、各パーツ基準色及びモードに関する情報に基づいて、対応するイラスト画像の色を似顔絵画像用の色に調整する。
【０２１７】
描画生成部１９は、顔輪郭領域と髪領域の和集合の領域内を、モードに関する情報を用いた色調整設定の調整が行われた肌色で塗りつぶし、さらにその上から、髪領域内を、モードに関する情報を用いた色調整設定の調整が行われた髪色で塗りつぶして、土台画像を描画する。その後、描画生成部１９はさらに、モードに関する情報を用いた色調整設定の調整が行われたイラスト画像に対して所定の画像処理を施し、それにより得られたイラスト画像を土台画像に描画して配置して、似顔絵画像を生成する。
【０２１８】
以上のようにして、図２６の似顔絵画像生成装置１は構成される。
【０２１９】
［似顔絵画像生成処理の説明］
次に、図２７のフローチャートを参照して、図２６の似顔絵画像生成装置１により実行される、似顔絵画像生成処理について説明する。
【０２２０】
ステップＳ１３１Ａにおいては、図３のステップＳ１１と同様に、対象画像取得部１１によって、撮像画像などの顔画像を含んだ入力画像が取得される。
【０２２１】
モード設定部２３は、ステップＳ１３１Ｂにおいて、ユーザによるモードの設定を受け付け、ステップＳ１３１Ｃにおいて、ユーザにより指示されたモードを設定する。
【０２２２】
例えば、入力画像を確認したユーザは、対象となる入力画像に応じたモードを設定する。その後、ユーザにより設定されたモードでの似顔絵画像の生成が指示された場合、ステップＳ１３２以降の処理が実行される。ステップＳ１３２ないしＳ１３９においては、基本的に、図３のステップＳ１２ないしＳ１９と同様の処理が実行されるが、肌基準色抽出色調整処理（ステップＳ１３４の処理）、髪基準色抽出色調整処理（ステップＳ１３５の処理）、及びパーツ基準色抽出色調整処理（ステップＳ１３７の処理）において、モードに関する情報を用いた色調整設定の調整が行われる点が異なる。
【０２２３】
したがって、ここでは、図２８のフローチャートを参照して、図２７のステップＳ１３４の処理に対応する、肌基準色抽出色調整処理を代表して説明する。
【０２２４】
ステップＳ１５１及びＳ１５２においては、図４のステップＳ３１及びＳ３２と同様に、顔輪郭領域決定部１４によって、顔輪郭領域が決定され、肌基準色抽出部１７Ａによって、肌基準色が抽出される。
【０２２５】
ステップＳ１５３において、肌色調整部１８Ａは、モード設定部２３により設定されたモードに関する情報を取得する。
【０２２６】
ステップＳ１５４において、肌色調整部１８Ａは、ユーザにより設定されたモードに関する情報に基づいた階調変換条件にしたがって、肌基準色を調整して、似顔絵画像で用いられる肌色に変換する。
【０２２７】
ここで、図２９及び図３０を参照して、モードに関する情報を用いた色調整設定の調整の詳細について説明する。
【０２２８】
図２９は、ユーザにより、顔属性モードとして、男女の性別が設定された場合の色調整設定の調整を説明する図である。
【０２２９】
図２９においては、[XImin, XImax]で示される基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることが示されているが、設定されるモードに応じて、XCmin, XCmaxの値が調整される。すなわち、似顔絵画像における色範囲であるが、女性設定のモードが選択された場合、図２９Ａに示すように、図２９Ｂの男性設定のモードが選択された場合と比べて、最大階調値と最小階調値が共に大きくなる。
【０２３０】
このような性別のモードに関する情報を用いることで、ユーザにより女性設定のモードが選択された場合には、似顔絵画像の肌の色を白っぽい色にする一方、男性設定のモードが選択された場合には、似顔絵画像の肌の色を黒っぽい色にすることが可能となる。
【０２３１】
図３０は、ユーザにより、照明状態モードとして、屋内や屋外などの撮影場所が設定された場合の色調整設定の調整を説明する図である。
【０２３２】
図３０においては、[XImin, XImax]で示される基準色の色範囲が、似顔絵画像における色範囲として、[XCmin, XCmax]に変換されることが示されているが、設定されるモードに応じて、XImin, XImaxの値が調整される。すなわち、入力画像から得られる基準色の色範囲であるが、屋外撮影設定のモードが選択された場合、屋内撮影設定のモードが選択された場合と比べて、最大階調値と最小階調値が共に大きくなる。
【０２３３】
このような撮影場所のモードに関する情報を用いることで、例えば、屋内と屋外で撮影した画像のように、撮影条件が異なっていても、近い基準色が抽出されることになる。
【０２３４】
図３１は、性別と撮影場所のモードの色調整設定の具体的な数値の例を示す図である。
【０２３５】
図３１に示すように、デフォルト設定であると、R値は、[RImin, RImax] = [90, 170]から、[RCmin, RCmax] = [217, 255]に変換され、G値は、[GImin, GImax] = [60, 140]から、[GCmin, GCmax] = [191, 231]に変換され、B値は、[BImin, BImax] = [40, 120]から、[BCmin, BCmax] = [172, 212]に変換される。
【０２３６】
性別のモードとして、女性設定のモードが選択された場合には、R値は、[RImin, RImax] = [90, 170]から、[RCmin, RCmax] = [227, 255]に変換され、G値は、[GImin, GImax] = [60, 140]から、[GCmin, GCmax] = [214, 254]に変換され、B値は、[BImin, BImax] = [40, 120]から、[BCmin, BCmax] = [205, 245]に変換される。
【０２３７】
一方、性別のモードとして、男性設定のモードが選択された場合には、R値は、[RImin, RImax] = [90, 170]から、[RCmin, RCmax] = [197, 237]に変換され、G値は、[GImin, GImax] = [60, 140]から、[GCmin, GCmax] = [142, 182]に変換され、B値は、[BImin, BImax] = [40, 120]から、[BCmin, BCmax] = [101, 141]に変換される。
【０２３８】
また、撮影場所のモードとして、屋外撮影設定のモードが選択された場合、R値は、[RImin, RImax] = [155, 195]から、[RCmin, RCmax] = [217, 255]に変換され、G値は、[GImin, GImax] = [118, 158]から、[GCmin, GCmax] = [191, 231]に変換され、B値は、[BImin, BImax] = [112, 152]から、[BCmin, BCmax] = [172, 212]に変換される。
【０２３９】
一方、撮影場所のモードとして、屋内撮影設定のモードが選択された場合、R値は、[RImin, RImax] = [111, 151]から、[RCmin, RCmax] = [217, 255]に変換され、G値は、[GImin, GImax] = [42, 82]から、[GCmin, GCmax] = [191, 231]に変換され、B値は、[BImin, BImax] = [12, 52]から、[BCmin, BCmax] = [172, 212]に変換される。
【０２４０】
このように、モードに関する情報を用いた色調整設定の調整が行われる。
【０２４１】
すなわち、入力画像の色をそのまま使用して似顔絵画像を生成すると、似顔絵画像の雰囲気（性別や表情など）や撮影条件（照明状態など）によっては、色が不自然になる場合があり、使用すべき色が異なる。そこで、第４の実施の形態では、似顔絵画像における色の不自然さを避けるために、似顔絵画像で使用する色の範囲をあらかじめ決めておいて、その範囲内において入力画像の色情報とユーザにより設定されたモードに応じて使用する色を決定するようにしている。
【０２４２】
なお、以上の説明では、肌基準色抽出色調整処理について説明したが、髪基準色抽出色調整処理（図２７のステップＳ１３５の処理）及びパーツ基準色抽出色調整処理（図２７のステップＳ１３７の処理）についても同様に、モードに関する情報を用いた色調整設定の調整が行われるのは先に述べた通りである。髪基準色抽出色調整処理及びパーツ基準色抽出色調整処理で行われるモードに関する情報を用いた色調整設定の調整は、上述した肌基準色抽出色調整処理で行われるモードに関する情報を用いた色調整設定の調整と同様であるため、その説明は省略する。
【０２４３】
また、上述した方法と同様にして、例えば、笑顔などの表情属性、晴れや曇りなどの天気属性、あるいは、夜景などの時間属性などに関するモードがユーザにより設定されるようにしてもよいし、１つの属性に対して複数の色調整設定を用意してもよい。例えば男女の性別の属性に関する色調整設定を複数用意して、それらが切り替えられるようにしてもよい。
【０２４４】
以上のようにして、図２６の似顔絵画像生成装置１による似顔絵画像生成処理が実行される。
【０２４５】
＜５．変形例＞
本発明の第２ないし第４の実施の形態を組み合わせて、顔属性情報と照明情報の両方を用いて、色調整設定の調整が行われるようにしてもよいし、さらに、それらの情報をモードとして、ユーザが選択できるようにしてもよい。
【０２４６】
また、上記の説明では、顔輪郭領域、髪領域、及び各パーツ領域のすべてについて色調整設定の調整を行う例を説明したが、例えば、顔輪郭領域の肌基準色のみに色調整設定の調整を行うなど、それらの一部の領域についてのみ色調整設定の調整を行うようにしてもよい。さらに、それらの顔輪郭領域、髪領域、又はパーツ領域の決定方法であるが、上述した方法に限らず、公知の方法を用いることができる。
【０２４７】
また、本実施の形態では、似顔絵画像の肌や髪などの色は、単色でなくて複数色であってもよいし、グラデーションがかかっていてもよい。グラデーションの設定パラメータの調整として、先に述べた、顔属性や撮影条件などを用いてもよい。さらに、似顔絵画像についての所定のテーマに応じて色調整設定の調整を行うようにしてもよい。この似顔絵画像のテーマとは、例えば抽象化されたアイコン的なものや、劇画調なものなどのことで、似顔絵画像で使用する色の色範囲は、例えば似顔絵のテーマや使用する各パーツとの兼ね合いで決定されるべきものである。
【０２４８】
また、上記の説明では、似顔絵画像の各パーツを、パーツ対応情報により対応付けられたモデル画像とイラスト画像から選択する例を説明したが、その方法に限定されず、各パーツの画像は、他の方法により選択・描画されるようにしてもよい。また、顔属性認識部２１により、顔属性として眼鏡の有無が判別されるようにしてもよい。そして、顔属性認識部２１により眼鏡が有ると判別された場合には、描画生成部１９によって、アンカー点定義情報に従って、眼鏡のフレーム部分の画像を、土台画像上の所定の位置に描画させることになる。
【０２４９】
また、上述した実施の形態では、似顔絵画像生成装置１と、表示装置２とは別の装置であるとして説明したが、表示装置２に対応する一処理部としての表示部が、似顔絵画像生成装置１内に設けられると捉えることもできる。この場合、描画生成部１９は、表示部の画面に対して生成した似顔絵画像を表示させることになる。
【０２５０】
さらに、描画生成部１９により生成される似顔絵画像は、表示装置２の画面に表示させるだけでなく、JPEG（Joint Photographic Experts Group）方式などの所定の圧縮方式により圧縮し、ファイルとして所定の記録媒体に保存することもできる。
【０２５１】
＜６．前処理装置の構成例＞
［前処理装置の構成例］
次に、図１の似顔絵画像生成装置１が似顔絵画像生成処理を実行する上で必要となる事前の前処理として、Kクラス判定器３２を生成するための学習処理、モデル画像を生成するための生成処理、及びパーツ対応情報やアンカー点定義情報などの各種情報を設定するための設定処理について説明する。これらの前処理は、前処理装置により実行される。
【０２５２】
図３２は、前処理装置の構成の例を示す図である。
【０２５３】
図３２に示すように、前処理装置１０１は、学習処理を行う学習系１１１と、生成処理を行う生成系１１２と、設定処理を行う設定系１１３から構成される。
【０２５４】
学習系１１１には、学習サンプル取得部１２１、前画像処理部１２２、学習部１２３、及びKクラス判別器３２が属する。生成系１１２には、生成用画像取得部１２４、前画像処理部１２５、Kクラス判別器３２、生成部１２６、及びデータベース３５が属する。設定系１１３には、イラスト画像取得部１２７、設定部１２８、及びデータベース３５が属する。
【０２５５】
なお、図３２において、図１と対応する箇所には同一の符号が付してあり、その説明は適宜省略する。すなわち、図３２には、図１と同様のKクラス判別器３２とデータベース３５が記述されているが、前処理装置１０１においては、似顔絵画像生成装置１を構成するKクラス判別器３２を生成し、さらに、各種情報を設定してデータベース３５に登録するための処理が行われることになる。
【０２５６】
まず、学習系１１１について説明する。
【０２５７】
学習サンプル取得部１２１は、K人（K=1,2,・・・,K）のサンプル人物についてそれぞれ様々なバリエーションで用意されている顔画像（以下、サンプル画像という）を取得し、前画像処理部１２２に供給する。
【０２５８】
前画像処理部１２２は、学習サンプル取得部１２１から供給されるサンプル画像から顔領域を検出し、所定の画像サイズにリサイズする処理を行う。このリサイズ処理では、先に述べたパーツ領域定義情報（図１３）に定義された画像サイズに合わせた大きさにリサイズされる。そして、前画像処理部１２２は、リサイズ後の顔領域から、パーツ領域定義情報に従ったパーツ領域を切り出し、学習部１２３に供給する。
【０２５９】
学習部１２３は、前画像処理部１２２から供給されるパーツ領域内のパーツ画像の画像特徴量を求めて、AdaBoostECOC（Error Correct Output Coding）により複数の弱判別器を学習し、これら複数の弱判別器からなるKクラス判別器３２を生成する。
【０２６０】
次に、生成系１１２について説明する。
【０２６１】
生成用画像取得部１２４は、モデル画像を生成するために無作為に抽出した多数の顔画像（以下、生成用画像という）を取得し、前画像処理部１２５に供給する。
【０２６２】
前画像処理部１２５は、前画像処理部１２２においてサンプル画像をリサイズする処理と同様に、生成用画像取得部１２４からの生成用画像をリサイズしてパーツ領域を切り出し、Kクラス判別器３２に供給する。
【０２６３】
Kクラス判別器３２は、前画像処理部１２５から供給されるパーツ領域内のパーツ画像に対応するK次元スコアベクトルを求めて、生成部１２６に供給する。
【０２６４】
生成部１２６は、Kクラス判別器３２から供給されるK次元スコアベクトルに基づいて、パーツ画像をN個（N=1,2,・・・,N）のプロトタイプに分類して、各プロトタイプに属するパーツ画像群の平均画像を求めることでモデル画像を生成する。このモデル画像は、データベース３５に登録される。
【０２６５】
次に、設定系１１３について説明する。
【０２６６】
イラスト画像取得部１２７は、各パーツのイラスト画像を取得し、設定部１２８に供給する。
【０２６７】
設定部１２８は、イラスト画像取得部１２７から供給されるイラスト画像と、データベース３５に登録されているモデル画像とを対応付けることでパーツ対応情報を設定して、データベースに登録する。また、設定部１２８は、アンカー点定義情報を設定して、データベース３５に登録する。
【０２６８】
以上のようにして、前処理装置１０１は構成される。
【０２６９】
［前処理の説明］
次に、図３３のフローチャートを参照して、図３２の前処理装置１０１により実行される前処理について説明する。
【０２７０】
ステップＳ２５１において、前処理装置１０１の学習系１１１は、学習処理を実行することにより、Kクラス判別器３２を生成する。
【０２７１】
ステップＳ２５２において、前処理装置１０１の生成系１１２は、生成処理を実行することのより、モデル画像を生成し、データベース３５に登録する。
【０２７２】
ステップＳ２５３において、前処理装置１０１の設定系１１３は、設定処理を実行することにより、パーツ対応情報及びアンカー点定義情報をそれぞれ設定し、データベース３５に登録する。
【０２７３】
以下、上述した図３３のステップＳ２５１ないしＳ２５３の詳細について説明する。
【０２７４】
［学習処理を詳細］
図３４は、学習処理を詳細に説明するフローチャートである。
【０２７５】
ステップＳ２７１において、学習サンプル取得部１２１は、K人のサンプル人物についてそれぞれ様々なバリエーションで用意されているサンプル画像を取得する。
【０２７６】
前画像処理部１２２は、ステップＳ２７２において、学習サンプル取得部１２１により取得されたサンプル画像から顔領域を検出した後、パーツ領域定義情報に基づいて、検出した顔領域を所定の画像サイズにリサイズし（ステップＳ２７３の処理）、リサイズ後の顔領域からパーツ領域を切り出す（ステップＳ２７４の処理）。
【０２７７】
このリサイズ処理では、先に述べた、図１３のパーツ領域定義情報に定義された画像サイズに合わせて、例えば64×64画素の大きさにリサイズされ、例えば目パーツ領域（点（10，23）−点（55，30））が切り出される。
【０２７８】
そして、学習部１２３では、ステップＳ２７５において、パーツ画像の画像特徴量が求められ、ステップＳ２７６において、AdaBoostECOCにより複数の弱判別器が学習されることで、Kクラス判別器３２が生成される。
【０２７９】
なお、各クラスに属するか否か判別する複数の弱判別器では、判別の基準としてサンプル画像（パーツ画像）の画像特徴量を用いる。画像特徴量としては、例えば、本発明者が既に提案しているピクセル差分特徴（PixDif Feature）を用いることができる。
【０２８０】
このピクセル差分特徴については、“佐部、日台、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」、第10回画像センシングシンポジウム予稿集、pp.547-552．2004”、特開２００５−１５７６７９号公報などに開示されている。
【０２８１】
図３５は、学習部１２３により生成されるKクラス判別器３２の詳細について説明する図である。
【０２８２】
図３５に示すように、“Aさん”、“Bさん”、“Cさん”、・・・などのK人のサンプル人物についてそれぞれ様々なバリエーションでサンプル画像が取得され、それらの顔領域がリサイズされた後、そこから各パーツ領域が切り出されるのは、図３４のステップＳ２７１ないしＳ２７４の処理の説明で述べた通りである。
【０２８３】
学習部１２３においては、このようにして得られたK人のサンプル人物の顔画像の各パーツ画像についての画像特徴量がピクセル差分特徴により求められ、その画像特徴量を用いたAdaBoostECOCにより複数の弱判別器が学習され、多クラス判別器としてのKクラス判別器３２が生成される。
【０２８４】
以上のように生成されるKクラス判別器３２では、入力される顔画像が各サンプル人物Kにどの程度似ているかを示すスコアが算出される。なお、このスコアの値が大きいほどよく似ているものとする。したがって、先に述べた通り、このKクラス判別器３２は、K次元のスコアであるK次元スコアベクトルを出力することになる。
【０２８５】
このように、各パーツ毎にK次元からなるスコア空間が得られることになり、例えば、入力されるパーツ画像が同一人物のものであれば、K次元スコア空間での距離は近いものとなる。そして、入力される顔画像が未知顔の人物“Xさん”である場合には、その“Xさん”の各パーツが、サンプル人物“Aさん”、“Bさん”、“Cさん”、・・・の各パーツのそれぞれに対してどの程度似ているかを数値化して表すことができる。これにより、パーツ毎のK次元スコア空間での距離によって、各パーツの類似度を判定することが可能となる。
【０２８６】
より具体的には、図３６に示す処理が行われる。すなわち、顔画像（Face image A）上の２画素の画素値（輝度値）I1，I2の差分（I1−I2）を算出することで、ピクセル差分特徴（PixDif Feature）が得られる。２画素の組み合わせにそれぞれ対応する２値判別弱判別器h（x）では、次式（５）に示すように、このピクセル差分特徴（I1−I2）と、閾値Thによって、真（+1）又は偽（-1）が判別される。
【０２８７】
h(x)＝-1 if I1−I2≦Th
h(x)＝+1 if I1−I2＞Th ・・・（５）
【０２８８】
式（５）より得られたh(x)と、各クラス毎に定義されたECOCビット（1行K列のECOCテーブル（ECOC table）に格納されるK列の値（+1又は-1））とを比較して、その判定結果がECOCビットと一致する場合、そのクラスのスコアは信頼度α分だけ上昇し、逆に、判定結果がECOCビットと不一致である場合、スコアは信頼度α分だけ減少する。
【０２８９】
この処理を画像特徴量の数だけ繰り返すことで、K次元スコアベクトル（Score of K-Class）として、H(1)，H(2)，H(3)，H(4)，H(5)，・・・を求めることができる。
【０２９０】
図３４のフローチャートに戻り、ステップＳ２７７において、学習部１２３は、全てのパーツについて、Kクラス判別器３２の生成が終了したか否かを判定する。
【０２９１】
ステップＳ２７７において、全てのパーツのKクラス判別器３２の生成が終了していないと判定された場合、ステップＳ２７４に戻り、上述した、生成処理（ステップＳ２７４ないしＳ２７７の処理）が繰り返される。
【０２９２】
すなわち、それらの生成処理が繰り返されることで、図１３のパーツ領域定義情報に従って、リサイズ後の顔領域から、目パーツ領域、眉パーツ領域、鼻パーツ領域、口パーツ領域、及び額パーツ領域などの各パーツ領域がそれぞれ抽出され、それらのパーツ領域毎に、各Kクラス判別器３２がそれぞれ個別に生成される。
【０２９３】
そして、図１３のパーツ領域定義情報により定義されたパーツ領域毎のKクラス判別器３２を得て、学習処理は終了される。
【０２９４】
以上のように生成された各パーツ毎のKクラス判別器３２によれば、入力される顔画像（パーツ画像）の画像特徴量をK次元スコアベクトルにより表現できる。すなわち、例えば、サンプル人物を、“Aさん”、“Bさん”、“Cさん”、・・・とすれば、未知顔の人物“Xさん”の各パーツがサンプル人物“Aさん”、“Bさん”、“Cさん”、・・・の各パーツのそれぞれに対してどの程度似ているかを数値化して表すことができる。
【０２９５】
［生成処理の詳細］
図３７は、生成処理を詳細に説明するフローチャートである。
【０２９６】
ステップＳ２９１ないしＳ２９４においては、図３４のステップＳ２７１ないしＳ２７４と同様にして、前画像処理部１２５によって、生成用画像取得部１２４により取得された生成用画像から顔領域が検出され、リサイズ後の顔領域からパーツ領域が切り出される。なお、生成用画像としては、例えば10000枚の無作為に抽出された顔画像を含む画像が用いられる。
【０２９７】
このようにして得られたパーツ画像は、各パーツ毎のKクラス判別器３２に入力される。Kクラス判別器３２では、ステップＳ２９５において、入力されたパーツ画像のピクセル差分特徴が閾値判別され、クラス毎に定義されたECOCビットと比較されることで、K次元スコアベクトルが求められる。
【０２９８】
ステップＳ２９６において、生成部１２６は、Kクラス判別器３２により演算されたパーツ画像に対応するK次元スコアベクトルの集合を、そのK次元スコア空間上で、例えばk-meansアルゴリズムを用いてクラスタリングしてN個の部分集合に分割する。これにより、パーツ画像がN個のプロトタイプに分類されるので、生成部１２６は、分類した各プロトタイプに属するパーツ画像群の平均画像を求めることで、モデル画像を生成し、データベース３５に登録する。
【０２９９】
図３８は、目のモデル画像の例を示す図である。
【０３００】
図３８に示すように、例えば、目のクラスタとして、目のパーツ画像を24個のプロトタイプに分類した場合において、各プロトタイプに属するパーツ画像群の平均をとったものが、目のモデル画像となる。図３８の例では、各プロトタイプのモデル画像毎に、特に、目の形状だけが異なっていることが分かる。
【０３０１】
図３７のフローチャートに戻り、ステップＳ２９７において、生成部１２６は、全てのパーツについて、モデル画像の生成が終了したか否かを判定する。
【０３０２】
ステップＳ２９７において、全てのパーツのモデル画像の生成が終了していないと判定された場合、ステップＳ２９４に戻り、上述した、生成処理（ステップＳ２９４ないしＳ２９７の処理）が繰り返される。
【０３０３】
すなわち、それらの生成処理が繰り返されることで、図１３のパーツ領域定義情報に従って、リサイズ後の顔領域から、先に述べた目パーツ領域以外の眉パーツ領域、鼻パーツ領域、口パーツ領域、及び額パーツ領域などの各パーツ領域がそれぞれ抽出され、それらのパーツ領域毎に、N枚のモデル画像がそれぞれ個別に生成され、データベース３５に登録される。
【０３０４】
そして、図１３のパーツ領域定義情報により定義されたパーツ領域毎のN枚のモデル画像を得て（各パーツ領域毎のモデル画像の枚数は、同数である必要はない）、生成処理は終了される。
【０３０５】
［設定処理］
図３９は、設定処理を詳細に説明するフローチャートである。
【０３０６】
ステップＳ３０１において、イラスト画像取得部１２７は、各パーツのイラスト画像を取得する。例えば目のイラスト画像を設定する場合、イラスト画像として、図４０ａないし１９ｌで示すような、似顔絵画像を構成するためのパーツのうちの、目の形状を示した様々なバリエーションからなるイラスト画像をあらかじめ用意しておくことになる。
【０３０７】
ステップＳ３０２において、設定部１２８は、データベース３５に登録されているモデル画像を取得する。このモデル画像は、生成系１１２により生成され、データベース３５に登録されたものであって（図３７の生成処理）、例えば目のイラスト画像の設定を行う場合、パーツ領域毎に生成されてデータベース３５に登録されているモデル画像のうち、図３８の目のモデル画像が取得される。
【０３０８】
ステップＳ３０３において、設定部１２８は、取得したイラスト画像とモデル画像とを対応付けることで、パーツ対応情報を設定して、データベース３５に登録する。
【０３０９】
この対応付けの方法としては、第１に、あるモデル画像に対して、候補のイラスト画像群の中から最も類似するイラスト画像を紐付けるための画像処理を実行することで対応付けを行う方法、第２に、ユーザが目視でモデル画像を確認して、そのモデル画像に似ていると感じたイラスト画像を候補のイラスト画像群の中から選択して指示することで対応付けを行う方法の２つがある。
【０３１０】
これらの方法のいずれかで対応付けが行われると、例えば、イラスト画像（図４０）とモデル画像（図３８）は、図４１に示すように対応付けされる。図４１の例では、6×4のモデル画像に対して、それらの目の見えに応じた6×4のイラスト画像がそれぞれ対応付けられている。これにより、パーツの幾何学的な大きさや比率ではなく、パーツ画像とモデル画像との見えのパターンから類似度を算出することができ、より人間の主観とあった類似度を定義することができる。
【０３１１】
なお、ユーザが目視により対応付けを行う場合には、設定部１２８は、例えば、図４２Ａに示すように、口に特徴があるモデル画像に対して、特徴的な口のイラスト画像を意図的に対応付けることができる。また、設定部１２８は、ユーザからの指示に基づいて、図４２Ｂに示すように、目に特徴があるモデル画像に対しては、特徴的な目のイラスト画像を意図的に対応付けることもできる。
【０３１２】
このように、パーツ対応情報の設定時において、モデル画像に対して、実際の見えよりも誇張した表現のイラスト画像を割り当てておくことで、似顔絵画像の生成時には、人間の主観とあった顔の特徴を有する似顔絵画像（顔の特徴がより強調された似顔絵画像）を生成することができる。
【０３１３】
図３９のフローチャートに戻り、ステップＳ３０４において、設定部１２８は、例えばユーザからの指示に基づいて、各イラスト画像毎のアンカー点定義情報を設定して、データベース３５に登録する。
【０３１４】
このアンカー点定義情報については、図１５などを参照して先に述べたが、アンカー点ＰA1，ＰA2のそれぞれの位置をより内側に設定して、それらの点の間隔をパーツ点Ｐp1，Ｐp2の間隔よりも狭くすることで、対応するパーツ点Ｐp1，Ｐp2に配置したときに、例えば目のイラスト画像であれば拡大されてから描画されるので、同じイラスト画像でも、より大きな目を表現することができる。一方、アンカー点ＰA1，ＰA2のそれぞれの位置をより外側に設定すると、それらの点の間隔は逆にパーツ点Ｐp1，Ｐp2の間隔よりも広がるので、例えば目のイラスト画像であれば縮小されてから描画されるので、同じイラスト画像でも、より小さな目を表現することができる。
【０３１５】
このように、同じイラスト画像であっても、アンカー点の位置を変更するだけで、様々な表示形態でパーツを表すことができるので、用意するイラスト画像を少なくできるとともに、各パーツの特徴を捉えた変形パーツ画像を提供できる。
【０３１６】
なお、アンカー点は、２点に限らず、対応するパーツ点の数に合わせて設定することができる。
【０３１７】
ステップＳ３０５において、設定部１２８は、全てのパーツのパーツ対応情報とアンカー点定義情報の設定が終了したか否かを判定する。
【０３１８】
ステップＳ３０５において、全てのパーツのパーツ対応情報とアンカー点定義情報の設定が終了していないと判定された場合、ステップＳ３０１に戻り、上述した、設定処理（ステップＳ３０１ないしＳ３０５の処理）が繰り返される。
【０３１９】
すなわち、それらの設定処理が繰り返されることで、パーツ領域毎に生成されたモデル画像に対してイラスト画像がそれぞれ個別に紐付けられ、さらにそれらのイラスト画像のアンカー点もそれぞれ個別に設定される。
【０３２０】
これらの設定処理により対応付けられた情報は、パーツ対応情報としてデータベース３５に登録される。そして、全てのパーツのパーツ対応情報とアンカー点定義情報を設定して、設定処理は終了される。
【０３２１】
このように、前処理装置１０１において、各パーツ毎のKクラス判別器３２を生成し、さらに、パーツ対応情報とアンカー点定義情報を設定してデータベース３５にあらかじめ登録しておくことで、それらのKクラス判別器３２とデータベース３５を用いる似顔絵画像生成装置１においては、ユーザの操作を介さずに、顔画像を含む入力画像から似顔絵画像を生成することができる。
【０３２２】
［クラス分けの他の例］
ここまでは、パーツ対応情報によって、単にモデル画像とイラスト画像とを対応付けていたが、サンプル人物の属性情報をクラスラベルとしてサンプル画像に付与し、それぞれについてKクラス判別器３２に学習させるようにしてもよい。サンプル人物の属性情報としては、例えば、人種、年齢区分、性別、眼鏡の有無などの同一のサンプル人物であれば、同じ属性に属するものが挙げられる。
【０３２３】
各属性情報をクラスラベルとして学習したKクラス判別器３２を使用することで、単にパーツ画像とモデル画像との類似度を求めていた場合と比較し、パーツ画像とモデル画像をより詳細に特徴付けることができる。よって、パーツ画像とモデル画像の類似度をより正確に求めることができ、正確なイラスト画像を選択することが可能となる。
【０３２４】
なお、本実施の形態では、図１の似顔絵画像生成装置１と、図３２の前処理装置１０１とは別の装置であるとして説明したが、図１の似顔絵画像生成装置１に対応する一処理部としての似顔絵画像生成部と、図３２の前処理装置１０１に対応する一処理部としての前処理部とからなる１つの装置として捉えることもできる。この場合、それらの装置で共通な構成となる、Kクラス判別器３２とデータベース３５は、前処理部により生成（設定）され、似顔絵画像生成部による似顔絵画像生成処理で用いられる。
【０３２５】
［本発明を適用したコンピュータの説明］
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０３２６】
図４３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示す図である。CPU（Central Processing Unit）２１１は、ROM（Read Only Memory）２１２、又は記録部２１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２１３には、CPU２１１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２１１、ROM２１２、及びRAM２１３は、バス２１４により相互に接続されている。
【０３２７】
CPU２１１にはまた、バス２１４を介して入出力インターフェース２１５が接続されている。入出力インターフェース２１５には、マイクロホン等よりなる入力部２１６、ディスプレイ、スピーカ等よりなる出力部２１７が接続されている。CPU２１１は、入力部２１６から入力される指令に対応して各種の処理を実行する。そして、CPU２１１は、処理の結果を出力部２１７に出力する。
【０３２８】
入出力インターフェース２１５に接続されている記録部２１８は、例えばハードディスクからなり、CPU２１１が実行するプログラムや各種のデータを記録する。通信部２１９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０３２９】
また、通信部２１９を介してプログラムを取得し、記録部２１８に記録してもよい。
【０３３０】
入出力インターフェース２１５に接続されているドライブ２２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記録部２１８に転送され、記録される。
【０３３１】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２２１、又は、プログラムが一時的もしくは永続的に格納されるROM２１２や、記録部２１８を構成するハードディスク等により構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデム等のインターフェースである通信部２１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０３３２】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３３３】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０３３４】
１ 似顔絵画像生成装置， ２ 表示装置， １１ 対象画像取得部， １２ 顔検出部， １３ 特徴点検出部， １４ 顔輪郭領域決定部， １５ 髪領域決定部， １６ パーツ領域処理部， １７ 基準色抽出部， １７Ａ 肌基準色抽出部， １７Ｂ 髪基準色抽出部， １７Ｃ パーツ基準色抽出部， １８ 色調整部， １８Ａ 肌色調整部， １８Ｂ 髪色調整部， １８Ｃ イラスト画像色調整部， １９ 描画生成部， ２０Ａ 肌基準色抽出色調整部， ２０Ｂ 髪基準色抽出色調整部， ２０Ｃ パーツ基準色抽出色調整部， ２１ 顔属性認識部， ２２ 照明状態認識部， ２３ モード設定部， ３１ パーツ領域決定部， ３２ Kクラス判別器， ３３ 類似度判定部， ３４ イラスト画像選択部， ３５ データベース， １０１ 前処理装置， １１１ 学習系， １１２ 生成系， １１３ 設定系， １２１ 学習サンプル取得部， １２２ 前画像処理部， １２３ 学習部， １２４ 生成用画像入力部， １２５ 前画像処理部， １２６ 生成部， １２７ イラスト画像取得部， １２８ 設定部
【特許請求の範囲】
【請求項１】
対象画像から顔領域を検出する顔検出手段と、
検出された前記顔領域の特徴点を検出する特徴点検出手段と、
検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定する決定手段と、
決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出する基準色抽出手段と、
抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整する調整手段と、
前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する生成手段と
を備える情報処理装置。
【請求項２】
前記注目領域は、顔輪郭領域、髪領域、及び所定のパーツを含んでいるパーツ領域からなり、
前記基準色抽出手段は、前記顔輪郭領域、前記髪領域、及び前記パーツ領域における基準色を抽出し、
前記調整手段は、所定の階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整し、
前記生成手段は、前記顔輪郭領域、前記髪領域、及び前記パーツ領域を、それぞれの前記変形画像用の色設定における階調により描画する
請求項１に記載の情報処理装置。
【請求項３】
前記調整手段は、前記顔領域から得られる属性である顔属性情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する
請求項２に記載の情報処理装置。
【請求項４】
前記調整手段は、前記対象画像又は前記対象画像に付加された情報から得られる照明状態に関する照明情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する
請求項２に記載の情報処理装置。
【請求項５】
前記調整手段は、ユーザにより設定された顔の属性に関する情報である顔属性情報又は照明状態に関する照明情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する
請求項２に記載の情報処理装置。
【請求項６】
前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定する判定手段と、
判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択する選択手段と
をさらに備え、
前記調整手段は、選択された前記変形パーツ画像の色設定の階調を、前記変形画像用の色設定における階調に調整し、
前記生成手段は、階調の調整された前記変形パーツ画像を描画する
請求項２に記載の情報処理装置。
【請求項７】
前記対象画像は、撮像された撮像画像であり、
前記変形画像は、検出された顔領域内の顔画像を絵により表した似顔絵画像であり、
前記変形パーツ画像は、前記パーツを絵により表したイラスト画像である
請求項６に記載の情報処理装置。
【請求項８】
生成された前記変形画像を表示する表示手段をさらに備える
請求項１に記載の情報処理装置。
【請求項９】
情報処理装置が、
対象画像から顔領域を検出し、
検出された前記顔領域の特徴点を検出し、
検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定し、
決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出し、
抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整し、
前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する
ステップを含む情報処理方法。
【請求項１０】
対象画像から顔領域を検出する顔検出手段と、
検出された前記顔領域の特徴点を検出する特徴点検出手段と、
検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定する決定手段と、
決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出する基準色抽出手段と、
抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整する調整手段と、
前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する生成手段と
して、コンピュータを機能させるためのプログラム。
【請求項１】
対象画像から顔領域を検出する顔検出手段と、
検出された前記顔領域の特徴点を検出する特徴点検出手段と、
検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定する決定手段と、
決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出する基準色抽出手段と、
抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整する調整手段と、
前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する生成手段と
を備える情報処理装置。
【請求項２】
前記注目領域は、顔輪郭領域、髪領域、及び所定のパーツを含んでいるパーツ領域からなり、
前記基準色抽出手段は、前記顔輪郭領域、前記髪領域、及び前記パーツ領域における基準色を抽出し、
前記調整手段は、所定の階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整し、
前記生成手段は、前記顔輪郭領域、前記髪領域、及び前記パーツ領域を、それぞれの前記変形画像用の色設定における階調により描画する
請求項１に記載の情報処理装置。
【請求項３】
前記調整手段は、前記顔領域から得られる属性である顔属性情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する
請求項２に記載の情報処理装置。
【請求項４】
前記調整手段は、前記対象画像又は前記対象画像に付加された情報から得られる照明状態に関する照明情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する
請求項２に記載の情報処理装置。
【請求項５】
前記調整手段は、ユーザにより設定された顔の属性に関する情報である顔属性情報又は照明状態に関する照明情報に基づいた前記階調変換条件にしたがって、抽出された前記基準色の階調のそれぞれを前記変形画像用の色設定における階調に調整する
請求項２に記載の情報処理装置。
【請求項６】
前記パーツを変形させて表した変形パーツ画像に対応付けられたモデル画像の中から、前記パーツ領域内のパーツ画像と類似する前記モデル画像を判定する判定手段と、
判定結果に応じて、前記モデル画像に対応付けられた前記変形パーツ画像を選択する選択手段と
をさらに備え、
前記調整手段は、選択された前記変形パーツ画像の色設定の階調を、前記変形画像用の色設定における階調に調整し、
前記生成手段は、階調の調整された前記変形パーツ画像を描画する
請求項２に記載の情報処理装置。
【請求項７】
前記対象画像は、撮像された撮像画像であり、
前記変形画像は、検出された顔領域内の顔画像を絵により表した似顔絵画像であり、
前記変形パーツ画像は、前記パーツを絵により表したイラスト画像である
請求項６に記載の情報処理装置。
【請求項８】
生成された前記変形画像を表示する表示手段をさらに備える
請求項１に記載の情報処理装置。
【請求項９】
情報処理装置が、
対象画像から顔領域を検出し、
検出された前記顔領域の特徴点を検出し、
検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定し、
決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出し、
抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整し、
前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する
ステップを含む情報処理方法。
【請求項１０】
対象画像から顔領域を検出する顔検出手段と、
検出された前記顔領域の特徴点を検出する特徴点検出手段と、
検出された前記特徴点に基づいて、前記顔領域内の注目している領域である注目領域を決定する決定手段と、
決定された前記注目領域内における前記対象画像から得られる色設定である基準色を抽出する基準色抽出手段と、
抽出された前記基準色を、前記対象画像を基に生成される変形画像用の色設定に調整する調整手段と、
前記注目領域を前記変形画像用の色設定を用いて描画して、前記対象画像から前記変形画像を生成する生成手段と
して、コンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【公開番号】特開２０１１−２２１８１２（Ｐ２０１１−２２１８１２Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９０７１６（Ｐ２０１０−９０７１６）
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]