似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラム
【課題】本人の特徴を捉えた似顔絵を作成するためのパーツの配置情報を生成することのできる似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラムを提供する。
【解決手段】似顔絵作成装置１０は、ユーザの顔画像を取得する画像取得部３１と、上記顔画像中のパーツに関する特徴点の位置情報を取得する特徴点取得部３３と、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類する顔タイプ分類部３５と、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部３７と、上記配置情報に基づいてパーツ画像を配置し、似顔絵画像を生成する似顔絵作成部３９と、を有する。
【解決手段】似顔絵作成装置１０は、ユーザの顔画像を取得する画像取得部３１と、上記顔画像中のパーツに関する特徴点の位置情報を取得する特徴点取得部３３と、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類する顔タイプ分類部３５と、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部３７と、上記配置情報に基づいてパーツ画像を配置し、似顔絵画像を生成する似顔絵作成部３９と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラムに関する。
【背景技術】
【０００２】
顔画像から似顔絵を自動生成する装置の中には、例えば、顔画像に対して線画処理を施すことにより顔画像をスケッチに変換する装置がある。このような装置は、顔画像に含まれるユーザの顔の形状、顔の中の各パーツの配置等を、顔画像に基づいて忠実に再現することができる。
【０００３】
これに対し、似顔絵を描くことが上手いと言われるイラストレータや似顔絵師等は、本人らしい似顔絵を描くために、自らの経験やノウハウに基づいてユーザの顔の特徴を解析して似顔絵を描いている。このとき、イラストレータや似顔絵師は、ユーザの顔の特徴を強調して描くことが多い。似顔絵を描くとき、ユーザの特徴を強調する方が、より本人に似た似顔絵を描くことができることをイラストレータや似顔絵師は経験的に知っている。
【０００４】
このため、例えば特許文献１には、顔の特徴を強調する処理を行うキャラクター提供システムが開示されている。このキャラクター提供システムは、標準と比較して一定以上離れた特徴を有するパーツの特徴を誇張する誇張処理部を有する。例えば目が標準の範囲よりも大きい場合には、より目パーツを大きくする変形処理が行われる。
【０００５】
ところで、顔の印象は、各パーツの配置に大きく左右される。そこで、特許文献２には、顔画像からアニメーションを作成するに当たって、パーツの配置位置補正手段を有する画像処理装置が開示されている。この画像処理装置は、例えば、目と目の間の距離が平均よりも大きいユーザについては、より目と目の間の距離を離すように強調する補正を加える。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２２８１８５号公報
【特許文献２】特開２００１−２２２７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、各パーツをそれぞれ平均値と比較して差分を強調する上記特許文献２に記載の方法では、複数のパーツ間のバランスは考慮されず、結局ユーザと似た似顔絵を生成するのは難しいという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のパーツ間の相対位置に基づいて、顔のバランスから受ける印象が強調された似顔絵を生成するために用いられるパーツの配置情報を生成することが可能な、似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、ユーザの顔画像を取得する画像取得部と、上記顔画像中のパーツに関する特徴点の位置情報を取得する特徴点取得部と、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類する顔タイプ分類部と、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と、上記配置情報に基づいてパーツ画像を配置し、似顔絵画像を生成する似顔絵作成部と、を有する似顔絵作成装置を提供することが出来る。
【０００９】
かかる構成によれば、顔画像中の複数のパーツ間の相対位置に基づいて顔タイプに分類される。そして、この顔タイプに基づいて配置情報が強調される。ここで用いられる顔タイプは、複数のパーツ間の相対位置に基づいて分類される。このため、顔タイプは、顔全体のバランスによる印象を反映する。そして、上記似顔絵作成装置は、この顔タイプに基づいて強調処理を行うため、顔全体のバランスから受ける印象を反映させた強調処理を行うことができる。このため、より本人の特徴をとらえた似顔絵を作成することができる。
【００１０】
また、上記配置情報生成部は、２以上のパーツの縦軸上の位置情報及び横軸上の位置情報の少なくともいずれかについて、上記２以上のパーツのうちのいずれかの位置情報を他のパーツの位置情報の変化量に基づいて決定することにより上記２以上のパーツを連動して上記補正を行ってもよい。
【００１１】
また、上記顔タイプ分類部は、上記特徴点取得部により取得された左目、右目、顔輪郭の左端、及び顔輪郭の右端を示す横軸上の位置情報に基づいて、パーツ位置が顔輪郭の内側に寄っている特徴を示す内顔タイプと、外側に寄っている特徴を示す外顔タイプとのいずれかに分類する第１の分類部を有し、上記配置情報生成部は、上記第１の分類部の分類結果に基づいて、各パーツの縦軸上の位置情報および横軸上の位置情報の少なくともいずれかを補正する第１の強調処理部を有してもよい。
【００１２】
また、上記第１の強調処理部は、口パーツの縦軸上の位置情報の補正量に基づいて決定される補正量を用いて、鼻パーツの縦軸上の位置情報を補正してもよい。
【００１３】
また、上記顔タイプ分類部は、上記特徴点取得部により取得された額の上端、顎の下端、左アイホールの上端、及び右アイホールの上端の縦軸位置情報に基づいて、パーツ位置が顔輪郭の上側に寄っている特徴を示す上顔タイプと、下側に寄っている特徴を示す下顔タイプとのいずれかに分類する第２の分類部を有し、上記配置情報生成部は、上記第２の分類部の分類結果に基づいて、各パーツの縦軸上の位置情報を補正する第２の強調処理部を有してもよい。
【００１４】
また、上記第２の強調処理部は、顔輪郭内に配置される２以上のパーツの縦軸上の位置情報の変位が互いに連動するように補正してもよい。
【００１５】
また、上記顔タイプ分類部は、上記特徴点取得部により取得された左目の目頭、左目の目尻、右目の目頭、右目の目尻、小鼻の左端、小鼻の右端、及び鼻先の中心を示す縦軸位置情報に基づいて、パーツの角度が上向きである特徴を示す上形顔タイプと、下向きである特徴を示す下形顔タイプとのいずれかに分類する第３の分類部を有し、上記配置情報生成部は、上記第３の分類部の分類結果に基づいて、特定のパーツの角度を補正する第３の強調処理部を有してもよい。
【００１６】
また、上記第３の強調処理部は、目パーツの配置角度及び鼻パーツの小鼻角度の少なくともいずれかを補正してもよい。
【００１７】
また、上記似顔絵作成部は、分類された上記顔タイプの示す特徴が強調されたパーツ画像を用いて上記似顔絵画像を生成してもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得部と、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得部と、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部とを有する、配置情報生成装置が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得ステップと、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得ステップと、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成ステップと、を含むことを特徴とする、配置情報生成方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得部と、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得部と、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と有する、配置情報生成装置として機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、より本人に似た似顔絵を生成するためのパーツ配置情報を作成することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る似顔絵作成処理の流れを概略的に示す説明図である。
【図２】同実施形態に係る似顔絵作成装置の強調処理において用いられる顔タイプ分類と各顔タイプが人に与える印象を示す図である。
【図３】顔画像における特徴点の位置と顔タイプ分類との関係を概略的に示す説明図である。
【図４】同実施形態に係る似顔絵作成装置の構成を示すブロック図である。
【図５】同実施形態に係る似顔絵作成装置の制御部の構成を示すブロック図である。
【図６】同実施形態に係る似顔絵作成処理の全体の流れを示すフローチャートである。
【図７】同実施形態に係る似顔絵作成装置が抽出する特徴点を示す説明図である。
【図８】同実施形態に係る内顔・外顔分類に用いる特徴点を示す説明図である。
【図９】同実施形態に係る内顔・外顔分類処理の判別アルゴリズムを示すフローチャートである。
【図１０】同実施形態に係る上顔・下顔分類に用いる特徴点を示す説明図である。
【図１１】同実施形態に係る上顔・下顔分類処理の判別アルゴリズムを示すフローチャートである。
【図１２】同実施形態に係る上形顔・下形顔分類に用いる特徴点を示す説明図である。
【図１３】同実施形態に係る上形顔・下形顔分類処理の判別アルゴリズムを示すフローチャートである。
【図１４】同実施形態で用いられる顔輪郭パーツの特徴点と基準点位置とを示す説明図である。
【図１５】同実施形態で用いられる各パーツの特徴点を示す説明図である。
【図１６】同実施形態に係る内顔・外顔強調処理の流れを示すフローチャートである。
【図１７】同実施形態に係る内顔強調処理結果の一例を示す説明図である。
【図１８】同実施形態に係る外顔強調処理結果の一例を示す説明図である。
【図１９】同実施形態に係る上顔・下顔強調処理の流れを示すフローチャートである。
【図２０】同実施形態に係る上顔強調処理結果の一例を示す説明図である。
【図２１】同実施形態に係る下顔強調処理結果の一例を示す説明図である。
【図２２】同実施形態に係る上形顔・下形顔強調処理の流れを示すフローチャートである。
【図２３】同実施形態に係る上形顔強調処理結果の一例を示す説明図である。
【図２４】同実施形態に係る下形顔強調処理結果の一例を示す説明図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、本明細書及び図面において、概念的には同一となる複数の要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば顔写真２０を、必要に応じてユーザＡについての顔写真２０ａ、ユーザＢについての顔写真２０ｂのように区別する。ただし、複数の顔写真２０の夫々を特に区別する必要がない場合には、同一符号のみを付する。例えば、顔写真２０ａ、顔写真２０ｂなどを特に区別する必要がない場合には、単に顔写真２０と称する。
【００２５】
＜概要＞
まず、図１〜図３を参照しながら、本発明の一実施形態に係る似顔絵作成処理の概要について説明する。図１は、本発明の一実施形態に係る似顔絵作成処理の流れを概略的に示す説明図である。図２は、同実施形態に係る似顔絵作成装置の強調処理において用いられる顔タイプ分類と各顔タイプが人に与える印象を示す図である。図３は、顔画像における特徴点の位置と顔タイプ分類との関係を概略的に示す説明図である。
【００２６】
図１に示されるように、本実施形態において、似顔絵作成処理は、顔写真２０の解析結果から各パーツ画像の初期配置を決定するステップと、この初期配置から分類された顔タイプに基づいて、ユーザの特徴を強調する強調処理を実行するステップと、パーツ画像を選択して似顔絵を生成するステップと、を含む。
【００２７】
このとき、パーツの初期配置を示す初期画像３０が示される。この初期画像３０は、顔写真から抽出された特徴点の配置に忠実に、各顔パーツを並べた画像である。これに対し、強調画像４０は、パーツの配置及び角度について、初期画像に強調処理を加えた画像である。この強調処理を加えた後の強調画像４０のパーツ配置に基づいて、それぞれ選択されたパーツ画像を配置することにより、本人の特徴を強調した似顔絵画像５０を生成することができる。
【００２８】
本人の顔パーツの配置を忠実に再現した初期画像３０は、本人の特徴をそのまま表しているはずである。しかし、通常、この初期画像３０のパーツ配置に基づいて作成した似顔絵よりも、特徴を強調した強調画像４０のパーツ配置に基づいて作成した似顔絵画像５０の方が、似顔絵を見る人にとっては、より本人に似ていると感じる場合が多い。
【００２９】
この強調処理は、通常人間が行う場合には、経験とノウハウとに基づいて行われている。例えば、目と目の間が離れているからより目と目の間を離すように強調する、口が大きいからより口を大きくするよう強調する、といった単純にパーツ毎の特徴を強調するだけではなく、顔全体のバランスから受ける印象を反映することが多い。ところが、コンピュータにこのような処理を行わせる場合には、それぞれのパーツの特徴を個別に位置、大きさ、角度について所定の平均値と比較することによって、差分を強調する手法が取られることがあった。
【００３０】
しかし、顔の印象は、各パーツの相対的な配置バランスに大きく左右される。このため、口が大きいからより大きく、目がたれているからより下がり気味に、両目の間が離れているからより離す、といったように、個別の強調処理を繰り返すと、顔のバランスが崩れてしまい、結局本人に似た似顔絵を生成することは困難である可能性が高かった。そこで、本発明の一実施形態に係る似顔絵作成装置は、顔全体の配置バランスから受ける印象に基づいて、顔のタイプを分類し、分類された顔タイプに基づいて強調処理を行う構成を有する。
【００３１】
ここで、本発明の一実施形態に係る似顔絵作成装置において用いられる顔タイプ分類と、各顔タイプから受ける顔の印象との対応関係が図２に示される。以下、各顔タイプの特徴について説明する。
【００３２】
内顔タイプは、顔輪郭内の各パーツが輪郭の中心に寄っている特徴を有する。これに対し、外顔タイプは、顔輪郭内の各パーツが輪郭の外側に寄っている特徴を有する。図３を参照すると、顔の右端と右黒目の中心との間、右黒目の中心と顔の中心との間、顔の中心と左黒目の中心との間、及び左黒目の中心と顔の左端との間の距離がそれぞれ等しい場合には、各顔パーツのバランスの均整が取れており、理想系とする。この理想系に対して、黒目の位置が顔の内側に寄っている内心傾向を示す場合には、内顔タイプと言える。一方、理想系に対して、黒目の位置が顔の外側に寄っているが外心傾向を示す場合には、外顔タイプと言える。
【００３３】
上顔タイプは、顔輪郭内の各パーツが輪郭の上側に寄っているという特徴を有する。これに対し、下顔タイプは、顔輪郭内の各パーツが輪郭の下側に寄っているという特徴を有する。図３を参照すると、額の上端とアイホールの上端との間、アイホールの上端と両小鼻の下端との間、及び両小鼻の下端とあごの下端との間の距離がそれぞれ等しい場合には、各顔パーツのバランスの均整が取れており、理想系とする。この理想系に対して、アイホールの上端からあごの下端までの距離が広く上心傾向を示す場合には、上顔タイプと言える。一方、理想系に対して、額の上端からアイホールの上端までの距離が広く、パーツが下に寄っている下心傾向を示す場合には、下顔タイプと言える。
【００３４】
また、上形顔タイプは、顔輪郭内のパーツの角度が釣りあがっているという特徴を有する。これに対し、下形顔タイプは、顔輪郭内のパーツの角度が垂れ下がっているという特徴を有する。
【００３５】
なおここでは、概略的に各顔タイプの特徴が説明された。各顔タイプへの分類方法の詳細等については後述される。
【００３６】
このように分類された顔タイプのうち、内顔タイプ、上顔タイプ、及び上形顔タイプは、例えば小顔、活発、神経質、大人っぽい、男性的、きつい、行動的である印象を与える場合が多い。また、外顔タイプ、下顔タイプ、及び下形顔タイプは、おっとり、ぼんやり、子供っぽい、賢そう、優しい、かなしそうであるという印象を与える場合が多い。本実施形態においては、この顔タイプに基づいて、顔の特徴を強調する強調処理を実行する。
【００３７】
＜構成＞
次に、図４及び図５を参照しながら、本発明の一実施形態に係る似顔絵作成装置の構成について説明する。図４は、同実施形態に係る似顔絵作成装置の構成を示すブロック図である。図５は、同実施形態に係る似顔絵作成装置の制御部の構成を示すブロック図である。
【００３８】
図４に示される似顔絵作成装置１０は、ユーザの顔画像から似顔絵を作成する機能を有する。そして、似顔絵作成装置１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、似顔絵作成装置１０は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。なお、似顔絵作成装置１０は、配置情報生成装置の一例である。
【００３９】
この似顔絵作成装置１０は、撮像部１１と、記憶部１２と、制御部１３と、通信部１４と、表示部１５と、音声出力部１６と、操作入力部１７とを主に有する。
【００４０】
撮像部１１は、例えばレンズと撮像素子と信号処理部とを含み、撮像機能を有する。撮像部１１は、取得した映像を制御部１３に入力することができる。又は、撮像部１１は、取得した映像を記憶部１２に記憶することもできる。
【００４１】
記憶部１２は、データ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ここで記憶媒体としては、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、フラッシュメモリ、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリなどが用いられる。この記憶部１２は、例えば制御部１３が実行するプログラムや各種データを格納することができる。
【００４２】
制御部１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロプロセッサなどの演算処理装置又は制御装置により実現され、各種プログラムに従って、似顔絵作成装置１０内の動作全般を制御する機能を有する。制御部１３の詳細な構成は、図５を用いて後に詳述される。
【００４３】
インタフェース部１４は、外部の装置と接続するための接続インタフェースである。インタフェース部１４は、例えば、通信網を介して外部の装置と接続するための通信デバイス等で構成された通信インタフェースであってよい。このときインタフェース部１４は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。また、インタフェース部１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの規格に従った通信を行うための通信装置であってもよい。或いは、インタフェース部１４は、メモリーカード等の記憶媒体を挿入するためのスロットであってもよい。
【００４４】
表示部１５は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ブラウン管（ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置などの表示装置により構成される。表示部１５は、例えば生成された似顔絵の画像を表示することによりユーザに提供する機能を有する。
【００４５】
音声出力部１６は、再生された音声データ等を出力する機能を有し、例えばスピーカーにより構成される。
【００４６】
操作入力部１７は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部１３に出力する入力制御回路などから構成されている。似顔絵作成装置１０のユーザは、該操作入力部１７を操作することにより、似顔絵作成装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。入力手段がタッチパネルである場合、このタッチパネルは表示部１５に重畳して設けることができる。
【００４７】
ここで、次に図５を参照しながら、似顔絵作成装置１０の制御部１３の詳細な構成について説明する。制御部１３は、画像データ取得部３１と、特徴点抽出部３３と、顔タイプ分類部３５と、配置情報生成部３７と、似顔絵作成部３９との機能を主に有する。
【００４８】
画像データ取得部３１は、画像取得部の一例であり、ユーザの顔画像データを取得する機能を有する。画像データ取得部３１は、例えば撮像部１１が撮像した画像データを取得してもよい。また、画像データ取得部３１は、記憶部１２に記憶された画像データを取得してもよい。或いは、画像データ取得部３１は、インタフェース部１４を介して接続される外部装置に記憶された画像データを取得してもよい。
【００４９】
特徴点抽出部３３は、特徴点取得部の一例であり、画像データ取得部３１により取得された画像データを解析することにより、ユーザの顔の各パーツ（例えば、顔輪郭、目、眉、鼻、口、耳など）に関する特徴点の位置情報を抽出する機能を有する。ここで、特徴点は、例えば各パーツの顔輪郭に対する相対位置と角度とを検出することができる点であることが望ましい。例えば、目に関する特徴点は、内端、外端、黒目中心、及びアイホール上端とすることができる。また、例えば、鼻に関する特徴点は、鼻先の中心、小鼻の右端及び左端とすることができる。本実施形態においては、これら各特徴点の位置情報は、画像解析ソフトウェア等が用いられることにより、自動抽出されるものとするが、本発明はこれに限定されない。例えば、特徴点の位置情報は、表示部１５に表示されている顔画像に対して、操作入力部１７を用いることにより入力された位置情報に基づいて特定されてもよい。
【００５０】
顔タイプ分類部３５は、分類結果取得部の一例であり、特徴点抽出部３３により抽出された各パーツに関する特徴点の位置情報に基づいて、ユーザの顔タイプを所定の顔タイプのいずれかに分類する機能を有する。顔タイプ分類部３５は、さらに詳しくは、内顔・外顔分類部３５１と、上顔・下顔分類部３５３と、上形顔・下形顔分類部３５５との機能を有する。
【００５１】
内顔・外顔分類部３５１は、顔タイプ分類部３５の第１の分類部の機能を有し、特徴点抽出部３３により取得された左目、右目、顔輪郭の左端および顔輪郭の右端を示す横軸（Ｘ軸）位置情報に基づいて、所定の内顔タイプと外顔タイプのいずれかにユーザを分類する。この内顔・外顔分類部３５１は、顔輪郭の左端と左目中心との横軸座標さの絶対値と、顔輪郭の右端と右目の中心との横軸座標差の絶対値との和が、左目中心と右目中心との横軸座標差の絶対値より大きいか否かを判別し、その判別結果に基づいて内顔タイプと外顔タイプとのいずれかにユーザを分類する。内顔タイプは、各パーツ位置が顔輪郭の内側（中心）に寄っている特徴を有する。また、外顔タイプは、各パーツ位置が顔輪郭の外側に寄っている特徴を有する。
【００５２】
上顔・下顔分類部３５３は、顔タイプ分類部３５の第２の分類部の機能を有し、特徴点抽出部３３により取得された額の上端、顎の下端、左アイホールの上端及び右アイホールの上端の縦軸（Ｙ軸）位置情報に基づいて、所定の上顔タイプと下顔タイプとのいずれかにユーザを分類する。ここで、左右アイホールの上端とは、各目の中心点と眉毛の中心点とを結ぶ線分を、２：１で分割する点とする。この上顔・下顔分類部３５３は、額の上端と左アイホールの上端との縦軸座標差の絶対値と、額の上端と右アイホールの上端との縦軸座標差の絶対値との和を２倍した値が、左アイホールの上端と顎の下端との縦軸座標値の絶対値と、右アイホールの上端と顎の下端との縦軸座標差の絶対値との和より大きいか否かを判別し、その判別結果に基づいて上顔タイプと下顔タイプとのいずれかにユーザを分類する。上顔タイプは、各パーツ位置が顔輪郭の上（額側を上とする）側に寄っている特徴を有する。下顔タイプは、各パーツ位置が顔輪郭の下（顎側を下とする）側に寄っている特徴を有する。
【００５３】
上形顔・下形顔分類部３５５は、顔タイプ分類部３５の第３の分類部の機能を有し、特徴点抽出部３３により取得された左目の外端、左目の内端、右目の外端、右目の内端、小鼻の左端、小鼻の右端、および鼻先の中心を示す縦軸位置情報に基づいて、所定の上形顔タイプ及び下形顔タイプのいずれかにユーザを分類する。この上形顔・下形顔分類部３５５は、左目の外端と左目の内端との縦軸座標差と、右目の外端と右目の内端との縦軸座標差との和が、０以上であるか否かを判別すると共に、小鼻の左端と鼻先の中心との縦軸座標差と、小鼻の右端と鼻先の中心との縦軸座標差との和が０以上であるか否かを判別し、その判別結果に基づいて上形顔タイプと下形顔タイプとのいずれかにユーザを分類する。上形顔タイプは、各パーツが釣りあがっている傾向であるという特徴を有する。下形顔タイプは、各パーツが垂れ下がっている傾向であるという特徴を有する。
【００５４】
配置情報生成部３７は、顔タイプ分類部３５による分類結果に基づいて、顔輪郭パーツ上に配置される各パーツの位置及び角度を含む配置情報を生成する機能を有する。この配置情報生成部３７は、まず初期配置情報生成部３７１により、特徴点抽出部３３により抽出された特徴点の位置情報に基づいて、特徴点の位置を忠実に再現することのできる初期配置情報を生成する。そして、内顔・外顔強調処理部３７３、上顔・下顔強調処理部３７５、上形顔・下形顔強調処理部３７７によりそれぞれの顔タイプ分類に基づいた強調処理を施して、似顔絵を生成するための各パーツの配置情報を生成する。
【００５５】
なお、配置情報生成部３７は、２以上のパーツの位置情報を他のパーツの位置情報の変化量に基づいて決定することにより、２以上のパーツが連動して補正されてもよい。２以上のパーツを連動して補正することにより、顔全体のバランスを保つことができる。
【００５６】
初期配置情報生成部３７１は、上述の通り特徴点の位置情報を忠実に再現する初期配置情報を生成する機能を有する。初期配置をユーザの各パーツ位置とすることにより、この後実行される強調処理によって、実際の配置をさらに強調する強調処理を行うことができる。
【００５７】
内顔・外顔強調処理部３７３は、第１の強調処理部の一例であり、内顔・外顔分類部３５１による内顔・外顔分類処理の分類結果に基づいた強調処理を行う。この内顔・外顔強調処理は、内顔タイプに分類されたユーザの初期配置情報に対して、顔輪郭内に配置されるパーツを顔中心に近づけるように補正処理を行う。また、内顔・外顔強調処理は、外顔タイプに分類されたユーザの初期配置情報に対して、顔輪郭内に配置されるパーツを顔中心から遠ざけるように補正処理を行う。
【００５８】
上顔・下顔強調処理部３７５は、第２の強調処理部の一例であり、上顔・下顔分類部３５３による上顔・下顔分類処理の分類結果に基づいた強調処理を行う。この上顔・下顔分類処理は、上顔タイプに分類されたユーザの初期配置情報に対して、顔輪郭内に配置されるパーツを顔上部に近づけるように補正処理を行う。また、上顔・下顔強調処理は、下顔タイプに分類されたユーザの初期配置情報に対して、顔輪郭内に配置されるパーツを顔下部に近づけるように補正処理を行う。
【００５９】
上形顔・下形顔強調処理部３７７は、第３の強調処理部の一例であり、上形顔・下形顔分類部３５５による上形顔・下形顔分類処理の分類結果に基づいた強調処理を行う。この上形顔・下形顔分類処理は、上形顔タイプに分類されたユーザの初期配置情報に対して、特定のパーツの角度を釣り上げるように角度を補正する。また、上形顔・下形顔強調処理は、下形顔タイプに分類されたユーザの初期配置情報に対して、特定のパーツの角度を釣り下げるように角度を補正する。ここで特定のパーツとしては、例えば目パーツ及び鼻パーツが挙げられる。
【００６０】
似顔絵作成部３９は、配置情報生成部３７の生成した配置情報に基づいて似顔絵を生成する機能を有する。この似顔絵作成部３９は、配置情報、分類された顔タイプ、及び特徴点の配置情報を似顔絵作成に用いてもよい。例えば、似顔絵作成部３９は、分類された顔タイプに基づいて似顔絵作成に用いるパーツ画像を予め準備されたパーツ画像の中から選択してもよい。このとき似顔絵作成部３９は、パーツ画像に対して顔タイプ等に基づいた変形処理を行ってもよいし、例えば顔画像の分析結果に基づいて新たなパーツ画像を生成してもよい。似顔絵作成部３９は、上述のいずれかの方法により決定されたパーツ画像を、配置情報生成部３７の生成した配置情報の示す位置に配置することにより似顔絵画像を生成することができる。
【００６１】
以上、本実施形態に係る似顔絵作成装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００６２】
なお、上述のような本実施形態に係る似顔絵作成装置１０の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００６３】
＜似顔絵作成処理＞
次に、図６を参照しながら、本発明の一実施形態に係る似顔絵作成処理の全体の流れについて説明する。図６は、同実施形態に係る似顔絵作成処理の全体の流れを示すフローチャートである。
【００６４】
まず、ユーザの顔を示す画像データが、似顔絵作成装置１０の機能を実現するためのソフトウェア上にアップロードされる（Ｓ１０１）。ここで用いられる画像データは、ユーザの顔正面が撮影されたものであることが望ましい。
【００６５】
次に、特徴点抽出部３３は、アップロードされた顔画像から、所定の特徴点を抽出する（Ｓ１０３）。ここで抽出される特徴点が、図７に示される。図７は、同実施形態に係る似顔絵作成装置が抽出する特徴点を示す説明図である。ここで示されるように、特徴点抽出部３３は、左黒目の中心１０１、右黒目の中心１０２、顔輪郭の左端１０３、顔輪郭の右端１０４、額の上端１０５、顎の下端１０６、左アイホールの上端１０７、右アイホールの上端１０８、左目の外端１０９、左目の内端１１０、右目の外端１１１、右目の内端１１２、小鼻の左端１１３、小鼻の右端１１４、鼻先の中心１１５、左眉毛の中心１１６、右眉毛の中心１１７、及び口の中心１１８の位置を抽出して、各特徴点の位置情報を取得する。なお、各特徴点の位置情報は、ユーザが操作入力部１７を用いて入力したポイントの位置情報であってもよい。ここで、例えば左黒目の中心１０１の位置情報は、［Ｘ１０１，Ｙ１０１］と示される。
【００６６】
［顔タイプ分類処理］
次に、顔タイプ分類部３５は、内顔・外顔分類部３５１による内顔・外顔分類処理（ステップＳ１０５）、上顔・下顔分類部３５３による上顔・下顔分類処理（ステップＳ１０７）、及び上形顔・下形顔分類部３５５による上形顔・下形顔分類処理（ステップＳ１０９）を実行する。以下、それぞれの分類処理の詳細について順に説明される。
【００６７】
（内顔・外顔分類処理）
まず、内顔・外顔分類部３５１によるステップＳ１０５の内顔・外顔分類処理について、図８及び図９を参照しながら説明する。図８は、本実施形態に係る内顔・外顔分類に用いる特徴点を示す説明図である。図９は、本実施形態に係る内顔・外顔分類処理の判別アルゴリズムを示すフローチャートである。
【００６８】
図８に示すように、この内顔・外顔分類処理では、ステップＳ１０３で抽出された顔の各特徴点の中から、左黒目の中心点１０１（Ｘ軸座標＝Ｘ１０１，Ｙ軸座標＝Ｙ１０１）、右黒目の中心点１０２（Ｘ軸座標＝Ｘ１０２，Ｙ軸座標＝Ｙ１０２）、顔輪郭の左端１０３（Ｘ軸座標＝Ｘ１０３，Ｙ軸座標＝Ｙ１０３）および顔輪郭の右端１０４（Ｘ軸座標＝Ｘ１０４，Ｙ軸座標＝Ｙ１０４）の各位置情報を任意の基点として用い、内顔タイプと外顔タイプとの分類判別が実行される。
【００６９】
図９において、内顔・外顔の分類処理が開始されると、ステップＳ１０３で取得された上記各基点の位置情報が参照され、内顔・外顔分類部３５１は、顔輪郭の左端１０３と左目の中心１０１とのＸ軸座標差の絶対値（｜Ｘ１０３−Ｘ１０１｜）と、右目の中心と顔輪郭の右端とのＸ軸座標差の絶対値（｜Ｘ１０２−Ｘ１０４｜）との和Ｃを演算する（ステップＳ２０１）。続いて、内顔・外顔分類部３５１は、左目の中心１０１と右目の中心１０２とのＸ軸座標差の絶対値Ｉ（｜Ｘ１０１−Ｘ１０２｜）を演算する（ステップＳ２０３）。
【００７０】
そして、内顔・外顔分類部３５１は、ステップＳ２０１で求めた値ＣとステップＳ２０３で求めた値Ｉとを比較する（ステップＳ２０５）。ここで値Ｃが値Ｉ以上である場合には、左右黒目の外側幅に対して左右黒目間が狭いことになるので内顔タイプであると判断され、内顔・外顔分類部３５１は、内顔・外顔判別変数Ｆ＿ＩｎＣｉｒｃに１を設定する（ステップＳ２０７）。一方、ステップＳ２０５において値Ｃが値Ｉより小さいと判断された場合には、左右黒目の外側幅に対して左右黒目間が広いことになるので外顔タイプであると判断され、内顔・外顔分類部３５１は、内顔・外顔判別変数としてＦ＿ＩｎＣｉｒｃに０を設定する（ステップＳ２０９）。
【００７１】
（上顔・下顔分類処理）
次に、上顔・下顔分類部３５３によるステップＳ１０７の上顔・下顔分類処理について、図１０及び図１１を参照しながら説明する。図１０は、本実施形態に係る上顔・下顔分類に用いる特徴点を示す説明図である。図１１は、本実施形態に係る上顔・下顔分類処理の判別アルゴリズムを示すフローチャートである。
【００７２】
図１０に示すように、この上顔・下顔分類処理では、ステップＳ１０３で抽出された顔の各特徴点の中から、額の上端１０５（Ｘ軸座標＝Ｘ１０５，Ｙ軸座標＝Ｙ１０５）、顎の下端１０６（Ｘ軸座標＝Ｘ１０６，Ｙ軸座標＝Ｙ１０６）、左アイホールの上端１０７（Ｘ軸座標＝Ｘ１０７，Ｙ軸座標＝Ｙ１０７）および右アイホールの上端１０８（Ｘ軸座標＝Ｘ１０８，Ｙ軸座標＝Ｙ１０８）の各位置情報を任意の基点として用い、上顔タイプと下顔タイプとの分類判別が実行される。
【００７３】
図１１において、上顔・下顔の分類処理が開始されると、ステップＳ１０３で取得された上記各基点の位置情報が参照され、上顔・外顔分類部３５３は、額の上端１０５と左アイホールの上端１０７とのＹ軸座標差の絶対値（｜Ｙ１０５−Ｙ１０７｜）と、額の上端１０５と右アイホールの上端１０８とのＹ軸座標差の絶対値（｜Ｙ１０５−Ｙ１０８｜）との和Ｔを演算する（ステップＳ３０１）。続いて、上顔・外顔分類部３５３は、左アイホールの上端１０７と顎の下端１０６とのＹ軸座標差の絶対値（｜Ｙ１０７−Ｙ１０６｜）と、右アイホールの上端１０８と顎の下端１０６とのＹ軸座標差の絶対値（｜Ｙ１０８−Ｙ１０６｜）との和Ｂを演算する（ステップＳ３０３）。
【００７４】
そして、上顔・外顔分類部３５３は、ステップＳ３０１で求めた値Ｔを２倍した値２ＴとステップＳ３０３で求めた値Ｂとを比較する（ステップＳ３０５）。ここで値２Ｔが値Ｂ以下である場合には、額が狭く顔のパーツが全体的に上に配置されていることになるので上顔タイプであると判断され、上顔・外顔分類部３５３は、上顔・下顔判別変数Ｆ＿ＴｏｐＢｔｍに１を設定する（ステップＳ３０７）。一方、ステップＳ３０５において値２Ｔが値Ｂより大きい場合には、額が広く顔のパーツが全体的に下に配置されていることになるので下顔タイプであると判断され、上顔・外顔分類部３５３は、上顔・下顔判別変数Ｆ＿ＴｏｐＢｔｍに０を設定する（ステップＳ３０９）。
【００７５】
（上形顔・下形顔分類処理）
次に、上形顔・下形顔分類部３５５によるステップＳ１０９の上顔・下顔分類処理について、図１２及び図１３を参照しながら説明する。図１２は、本実施形態に係る上形顔・下形顔分類に用いる特徴点を示す説明図である。図１３は、本実施形態に係る上形顔・下形顔分類処理の判別アルゴリズムを示すフローチャートである。
【００７６】
図１２に示すように、この上形顔・下形顔分類処理では、ステップＳ１０３で抽出された顔の各特徴点の中から、左目の外端１０９（Ｘ軸座標＝Ｘ１０９，Ｙ軸座標＝Ｙ１０９）、左目の内端１１０（Ｘ軸座標＝Ｘ１１０，Ｙ軸座標＝Ｙ１１０）、右目の外端１１１（Ｘ軸座標＝Ｘ１１１，Ｙ軸座標＝Ｙ１１１）、右目の内端１１２（Ｘ軸座標＝Ｘ１１２，Ｙ軸座標＝Ｙ１１２）、小鼻の左端１１３（Ｘ軸座標＝Ｘ１１３，Ｙ軸座標＝Ｙ１１３）、小鼻の右端１１４（Ｘ軸座標＝Ｘ１１４，Ｙ軸座標＝Ｙ１１４）および鼻先の中心１１５（Ｘ軸座標＝Ｘ１１５，Ｙ軸座標＝Ｙ１１５）の各位置情報を任意の基点として用い、上顔タイプと下顔タイプとの分類判別が実行される。
【００７７】
図１３において、上形顔・下形顔の分類処理が開始されると、ステップＳ１０３で取得された上記各基点の位置情報が参照され、上形顔・下形顔分類部３５５は、左目の外端１０９と左目の内端１１０とのＹ軸座標差（Ｙ１０９−Ｙ１１０）と、右目の外端１１１と右目の内端１１２とのＹ軸座標差（Ｙ１１１−Ｙ１１２）との和Ｄ＿ＥＩを演算する（ステップＳ４０１）。続いて、上形顔・下形顔分類部３５５は、小鼻の左端１１３と鼻先の中心１１５とのＹ軸座標差（Ｙ１１３−Ｙ１１５）と、小鼻の右端１１４と鼻先の中心１１５とのＹ軸座標差（Ｙ１１４−Ｙ１１５）との和Ｄ＿Ｎを演算する（ステップＳ４０３）。
【００７８】
そして、上形顔・下形顔分類部３５５は、ステップＳ４０１で求めた値Ｄ＿ＥＩが０以上、かつステップＳ４０３で求めた値Ｄ＿Ｎが０以上であるか否かを判別する（ステップＳ４０５）。ここで値Ｄ＿ＥＩが０以上、かつ値Ｄ＿Ｎが０以上である場合には、目が吊り上っていて、小鼻の位置が鼻先に較べて高く、頬の位置が高いことになるので、上形顔タイプであると判断され、上形顔・下形顔分類部３５５は、上形顔・下形顔判別変数Ｆ＿ＵｐＤｐに１を設定する（ステップＳ４０７）。一方、ステップＳ４０５において値Ｄ＿ＥＩが０より小さい、または値Ｄ＿Ｎが０より小さい場合には、目尻が下がっていて、小鼻の位置が鼻先に較べて低く、頬の位置が低いことになるので、下形顔タイプであると判断され、上形顔・下形顔分類部３５５は、上形顔・下形顔判別変数Ｆ＿ＵｐＤｐに０を設定する（ステップＳ４０９）。
【００７９】
［パーツ配置情報生成処理］
次に、配置情報生成部３７は、パーツの配置情報生成処理を実行する。この配置情報生成処理は、初期配置情報生成部３７１による顔パーツ位置初期値決定処理（ステップＳ１１１）と、内顔・外顔強調処理部３７３による内顔・外顔による位置強調処理（ステップＳ１１３）と、上顔・下顔強調処理部３７５による上顔・下顔による位置強調処理（ステップＳ１１５）と、上形顔・下形顔強調処理部３７７による上形顔・下形顔による角度強調処理（Ｓ１１７）を含む。以下、それぞれの処理について詳細が順に説明される。
【００８０】
（初期配置の決定）
まず、初期配置情報生成部３７１は、配置情報の初期値を示す初期配置情報を生成する。この初期配置情報は、特徴点抽出部３３により抽出された特徴点の位置情報に基づいて生成される。初期配置情報生成部３７１は、顔パーツの輪郭に対して、この特徴点の位置情報が示す通りに各パーツが配置されるように初期配置情報を生成する。
【００８１】
例えば、以下図１４に示す顔輪郭パーツＰＦＡＣＥに対して、図１５に示す各パーツＰを配置する場合について考えることにする。図１４は、本実施形態で用いられる顔輪郭パーツの特徴点と基準点位置とを示す説明図である。図１５は、同実施形態で用いられる各パーツの特徴点を示す説明図である。なお、図１４に示すように、顔パーツＰＦＡＣＥ毎に予め顔の左端２０３、顔の右端２０４、額の上端２０５、及びあごの下端２０６の位置が設定されている。そして、各パーツＰの配置においては、顔の左端２０３及び顔の右端２０４を結んだ線の中点に当たる基準点２００が用いられる。
【００８２】
図１５を参照すると、本実施形態においては、顔輪郭パーツＰＦＡＣＥに対して、左眉パーツＰＬ−ＥＹＥＢＲＯＷ、右眉パーツＰＲ−ＥＹＥＢＲＯＷ、左目パーツＰＬ−ＥＹＥ、右目パーツＰＲ−ＥＹＥ、鼻パーツＰＮＯＳＥ、口パーツＰＭＯＵＴＨが配置される。
【００８３】
ここで、配置情報を生成する際に用いられる特徴点は、特徴点抽出部３３が抽出した顔画像中の特徴点（図７参照）と対応する特徴点である。顔輪郭パーツを基準とした特徴点の位置を、以下左黒目の中心２０１、右黒目の中心２０２、顔輪郭の左端２０３、顔輪郭の右端２０４、額の上端２０５、顎の下端２０６、左アイホールの上端２０７、右アイホールの上端２０８、左目の外端２０９、左目の内端１２０、右目の外端２１１、右目の内端２１２、小鼻の左端２１３、小鼻の右端２１４、鼻先の中心２１５、左眉毛の中心２１６、右眉毛の中心２１７、及び口の中心２１８として示す。なお、例えば左黒目の中心２０１の位置情報は、［Ｘ２０１，Ｙ２０１］と示される。
【００８４】
初期配置情報は、例えば下記の計算式により求められる位置情報を含むことができる。例えば、基準点２００の横軸位置は、Ｘ２００＝（Ｘ２０３＋Ｘ２０４）／２で示される。顔画像における両目中心の縦軸位置は、Y100 = (Y101 + Y102) / 2で示される。顔画像における両眉毛中心の縦軸位置は、Y119 = (Y116 + Y117) / 2で示される。
【００８５】
上記の定義に基づくと、左目位置は下記の計算式により得られる。
X201 = X200 + |X203 -
X204| / 2 * |X101 - X102| / |X103 -
X104|
Y201 = Y206 + |Y205 -
Y206| * |Y100 - Y106| / |Y105 - Y106|
【００８６】
また、右目位置は、下記の計算式により得られる。
X202 = X200 - |X203 - X204| / 2 *
|X101 - X102| / |X103 - X104|
Y202 = Y201
【００８７】
なお、ここで左目の外端209、内端210、右目の外端211、内端212は目パーツに対して事前に定められた位置データである。
【００８８】
また、左眉位置は、下記の計算式により得られる。
X216 = X200 + |X203 - X204| / 2 *
|X116 - X117| / |X103 - X104|
Y216 = Y206 + |Y205 - Y206| * |Y119
- Y106| / |Y105 - Y106|
【００８９】
右眉位置は、下記の計算式により得られる。
X217 = X200 - |X203 -
X204| / 2 * |X116 - X117| / |X103 -
X104|
Y217 = Y201
【００９０】
鼻位置は、下記の計算式により得られる。
X215 = X200
Y215 = Y206 + |Y205 -
Y206| * |Y115 - Y106| / |Y105 - Y106|
【００９１】
口位置は、下記の計算式により得られる。
X218 = X200
Y218 = Y206 + |Y205 -
Y206| * |Y118 - Y106| / |Y105 - Y106|
【００９２】
上記の各計算式に基づいて、各パーツの初期の位置情報を含む初期配置情報が生成される。この初期配置情報に対して、後述の各強調処理が施される。
【００９３】
（内顔・外顔強調処理）
まず、内顔・外顔強調処理部３７３により内顔・外顔強調処理が実行される。この内顔・外顔強調処理の流れが図１６に示される。図１６は、本実施形態に係る内顔・外顔強調処理の流れを示すフローチャートである。
【００９４】
まず、内顔・外顔強調処理部３７３は、内顔・外顔分類部３５１による分類結果である内顔・外顔分類結果を取得する（Ｓ５０１）。そして、内顔・外顔強調処理部３７３は、この分類結果が内顔タイプであるか外顔タイプであるかを判断する（Ｓ５０３）。
【００９５】
ステップＳ５０３において内顔タイプであると判断された場合には、次に内顔・外顔強調処理部３７３は、左右目距離ＤＥＹＥ＝|X101 - X102| / |X103 - X104|と、事前に定められた左右目距離の平均値ＭＤＥＹＥと比較する（Ｓ５０５）。そして、ＤＥＹＥがＭＤＥＹＥよりも小さい場合には、内顔・外顔強調処理部３７３は、目の左右位置の強調処理を実行する（Ｓ５０７）。
【００９６】
次に、内顔・外顔強調処理部３７３は、顔横幅に対する左右眉毛距離ＤＥＹＥＢＲＯＷ =
|X116 - X117| / |X103 - X104|と、事前に定められた左右眉毛距離の平均値ＭＤＥＹＥＢＲＯＷとを比較する（Ｓ５０９）。そして、ＤＥＹＥＢＲＯＷがＭＤＥＹＥＢＲＯＷよりも小さい場合には、内顔・外顔強調処理部３７３は、眉の左右位置の強調処理を実行する（Ｓ５１１）。
【００９７】
次に、内顔・外顔強調処理部３７３は、顔縦幅に対する口と顎の距離ＤＭＯＵＴＨ = |Y118
- Y106| / |Y105 - Y106|と事前に定められた口と顎の距離の平均値ＭＤＭＯＵＴＨとを比較する（Ｓ５１３）。そして、ＤＭＯＵＴＨがＭＤＭＯＵＴＨよりも小さい場合には、内顔・外顔強調処理部３７３は、口位置及び鼻位置の強調処理を実行する（Ｓ５１５）。
【００９８】
一方、ステップＳ５０３において外顔タイプと判断された場合には、次に内顔・外顔強調処理部３７３は、左右目距離ＤＥＹＥ＝|X101 - X102| / |X103 - X104|と、事前に定められた左右目距離の平均値ＭＤＥＹＥと比較する（Ｓ５１７）。そして、ＤＥＹＥがＭＤＥＹＥよりも大きい場合には、内顔・外顔強調処理部３７３は、目の左右位置の強調処理を実行する（Ｓ５１９）。
【００９９】
次に、内顔・外顔強調処理部３７３は、顔横幅に対する左右眉毛距離ＤＥＹＥＢＲＯＷ =
|X116 - X117| / |X103 - X104|と、事前に定められた左右眉毛距離の平均値ＭＤＥＹＥＢＲＯＷとを比較する（Ｓ５２１）。そして、ＤＥＹＥＢＲＯＷがＭＤＥＹＥＢＲＯＷよりも大きい場合には、内顔・外顔強調処理部３７３は、眉の左右位置の強調処理を実行する（Ｓ５２３）。
【０１００】
次に、内顔・外顔強調処理部３７３は、顔縦幅に対する口と顎の距離ＤＭＯＵＴＨ = |Y118
- Y106| / |Y105 - Y106|と事前に定められた口と顎の距離の平均値ＭＤＭＯＵＴＨとを比較する（Ｓ５２５）。そして、ＤＭＯＵＴＨがＭＤＭＯＵＴＨよりも小さい場合には、内顔・外顔強調処理部３７３は、口位置及び鼻位置の強調処理を実行する（Ｓ５２７）。
【０１０１】
ここで、ステップＳ５０７及びステップＳ５１９により補正される配置情報に含まれる目パーツの位置は、下記の計算により求められる。ここで、強調度合いを示す値をＦとする。
X201 = X201 + F * (DEYE
- MDEYE)
Y201 = Y201
X202 = X202 - F * (DEYE
- MDEYE)
Y202 = Y202
【０１０２】
また、ステップＳ５１１及びステップＳ５２３により補正される配置情報に含まれる眉パーツの位置は、下記の計算により求められる。
X216 = X216 + F * (DEYEBROW
- MDEYEBROW)
Y216 = Y216
X217 = X217 - F * (DEYEBROW
- MDEYEBROW)
Y217 = Y217
【０１０３】
また、ステップＳ５１５及びステップＳ５２７により補正される配置情報に含まれる口パーツの位置は、下記の計算により求められる。
X218 = X218
Y218 = Y218 + F * (DMOUTH
- MDMOUTH)
【０１０４】
また、ここで口パーツと連動して鼻パーツの位置も補正される。鼻パーツの位置は、下記の計算により求められる。
X215 = X215
Y215 = Y218 + (Y201 -
Y218) * (Y215 - Y218) / (Y201 - Y218)
【０１０５】
なお、図１７に内顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図１７は、本実施形態に係る内顔強調処理結果の一例を示す説明図である。図１７に示されるように、顔輪郭内に配置される各パーツは、より顔の中心に寄るように位置を補正して特徴が強調される。一方図１８に外顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図１８は、本実施形態に係る外顔強調処理結果の一例を示す説明図である。図１８に示されるように、顔輪郭内に配置される各パーツは、より顔の外側に寄るように位置を補正して特徴が強調される。
【０１０６】
（上顔・下顔強調処理）
次に、上顔・下顔強調処理部３７５により上顔・下顔強調処理が実行される。この上顔・下顔強調処理の流れが図１９に示される。図１９は、本実施形態に係る上顔・下顔強調処理の流れを示すフローチャートである。
【０１０７】
まず、上顔・下顔強調処理部３７５は、上顔・下顔分類部３５３による分類結果である上顔・下顔分類結果を取得する（Ｓ６０１）。そして、上顔・下顔強調処理部３７５は、この分類結果が上顔タイプであるか下顔タイプであるかを判断する（Ｓ６０３）。
【０１０８】
ステップＳ６０３において上顔タイプであると判断された場合には、次に上顔・下顔強調処理部３７５は、顔縦幅に対するアイホールと顎距離ＤＥＹＥＨＯＬＥ= |(Y116 + Y117) / 2 - Y106| / |Y105
- Y106|と、事前に定められた顔縦幅に対するアイホールと顎距離の平均値ＭＤＥＹＥＨＯＬＥと比較する。そして、ＤＥＹＥＨＯＬＥがＭＤＥＹＥＨＯＬＥよりも大きい場合には、上顔・下顔強調処理部３７５は、目の上下位置の強調処理（Ｓ６０７）、眉の上下位置の強調処理（Ｓ６０９）、鼻の上下位置の強調処理（Ｓ６１１）を実行する。
【０１０９】
一方、ステップＳ６０３において下顔タイプであると判断された場合には、次に上顔・下顔強調処理部３７５は、顔縦幅に対するアイホールと顎距離ＤＥＹＥＨＯＬＥ= |(Y116 + Y117) / 2 - Y106| / |Y105
- Y106|と、事前に定められた顔縦幅に対するアイホールと顎距離の平均値ＭＤＥＹＥＨＯＬＥと比較する。そして、ＤＥＹＥＨＯＬＥがＭＤＥＹＥＨＯＬＥよりも小さい場合には、上顔・下顔強調処理部３７５は、目の上下位置の強調処理（Ｓ６１５）、眉の上下位置の強調処理（Ｓ６１７）、鼻の上下位置の強調処理（Ｓ６１９）を実行する。
【０１１０】
ここで、ステップＳ６０７及びステップＳ６１５により補正される配置情報に含まれる目パーツの位置は、下記の計算により求められる。
X201 = X201
Y201 = Y201 + F * (DEYEHOLE
- MDEYEHOLE)
X202 = X202
Y202 = Y202 + F * (DEYEHOLE
- MDEYEHOLE)
【０１１１】
また、ステップＳ６０９およびステップＳ６１７により補正される配置情報に含まれる眉パーツの位置は、下記の計算により求められる。
X216 = X216
Y216 = Y206 + |Y201 -
Y206| * |Y119 - Y106| / |Y101 - Y106|
X217 = X217
Y217 = Y216
【０１１２】
また、ステップＳ６１１及びステップＳ６１９により補正される配置情報に含まれる鼻パーツの位置は、下記の計算により求められる。
X215 = X215
Y215 = Y218 + (Y201 -
Y218) * (Y215 - Y218) / (Y201 - Y218)
【０１１３】
なお、図２０に上顔と判断された場合の強調処理後の各パーツの配置の一例が示される。図２０は、本実施形態に係る上顔強調処理結果の一例を示す説明図である。図２０に示されるように、顔輪郭内に配置される各パーツは、より顔の上側に寄るように位置を補正して特徴が強調される。一方図２１に下顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図２１は、本実施形態に係る下顔強調処理結果の一例を示す説明図である。図２１に示されるように、顔輪郭内に配置される各パーツは、より顔の下側に寄るように位置を補正して特徴が強調される。なお上顔・下顔強調処理において、眉パーツ及び鼻パーツの位置は、それぞれ目パーツの位置と連動して補正される。
【０１１４】
（上形顔・下形顔強調処理）
次に、上形顔・下形顔強調処理部３７７により上形顔・下形顔強調処理が実行される。この上形顔・下形顔強調処理の流れが図２２に示される。図２２は、本実施形態に係る上形顔・下形顔強調処理の流れを示すフローチャートである。
【０１１５】
まず、上形顔・下形顔強調処理部３７７は、上形顔・下形顔分類部３５５による分類結果である上形顔・下形顔分類結果を取得する（Ｓ７０１）。そして、上形顔・下形顔強調処理部３７７は、この分類結果が上形顔タイプであるか下形顔タイプであるかを判断する（Ｓ７０３）。
【０１１６】
ステップＳ７０３において、上形顔タイプであると判断された場合には、次に上形顔・下形顔強調処理部３７７は、顔画像から取得した特徴点の位置情報から、下記を満たす左目角度ＲＯＴＬＥＹＥと右目角度ＲＯＴＲＥＹＥとを得る。
LENLEYE = SQRT( POW(X109-X110,
2) + POW(Y109-Y110, 2) )
COS(ROTLEYE) = (|(X109 - X110)|
/ LENLEYE
SIN(ROTLEYE) = (|(Y109 - Y110)|
/ LENLEYE
LENREYE = SQRT( POW(X111-X112,
2) + POW(Y111-Y112, 2) )
COS(ROTREYE) = (|(X111 - X112)|
/ LENREYE
SIN(ROTREYE) = (|(Y111 - Y112)|
/ LENREYE
【０１１７】
そして、上形顔・下形顔強調処理部３７７は、左右目の角度平均ＲＯＴＥＹＥ＝(ROTLEYE
+ ROTREYE) / 2と、事前に定められた左右目の角度平均の（複数ユーザの）平均値ＭＲＯＴＥＹＥとを比較する（Ｓ７０５）。そして、ステップＳ７０５においてＲＯＴＥＹＥがＭＲＯＴＥＹＥよりも大きい場合には、上形顔・下形顔強調処理部３７７は、目角度の強調処理を実行する（Ｓ７０７）。
【０１１８】
次に、上形顔・下形顔強調処理部３７７は、顔画像から取得した特徴点の位置情報から、下記を満たす左小鼻角度ＲＯＴＬＮＯＳＥと右小鼻角度ＲＯＴＲＮＯＳＥとを得る。
LENLNOSE = SQRT( POW(X113-X115, 2) + POW(Y113-Y115,
2) )
COS(ROTLNOSE) = (|(X113 - X115)| / LENLNOSE
SIN(ROTLNOSE) = (|(Y113 - Y115)| / LENLNOSE
LENRNOSE = SQRT( POW(X114-X115, 2) + POW(Y114-Y115,
2) )
COS(ROTRNOSE) = (|(X114 - X115)| / LENRNOSE
SIN(ROTRNOSE) = (|(Y114 - Y115)| / LENRNOSE
【０１１９】
そして、上形顔・下形顔強調処理部３７７は、左右小鼻の角度平均ＲＯＴＮＯＳＥ= (ROTLNOSE+
ROTRNOSE) / 2と、事前に求められた左右小鼻角度平均の（複数ユーザの）平均値ＭＲＯＴＮＯＳＥとを比較する（Ｓ７０９）。そして、ステップＳ７０９においてＲＯＴＮＯＳＥがＭＲＯＴＮＯＳＥよりも大きい場合には、上形顔・下形顔強調処理部３７７は、小鼻角度の強調処理を実行する（Ｓ７１１）。
【０１２０】
一方、ステップＳ７０３において下形顔タイプであると判断された場合には、上形顔の場合と同様に上形顔・下形顔強調処理部３７７は、左右目の角度平均ＲＯＴＥＹＥ＝(ROTLEYE + ROTREYE) / 2を算出する。そして、このＲＯＴＥＹＥとＭＲＯＴＥＹＥとを比較する（Ｓ７１３）。そして、ステップＳ７１３においてＲＯＴＥＹＥがＭＲＯＴＥＹＥよりも小さい場合には、上形顔・下形顔強調処理部３７７は、目角度の強調処理を実行する（Ｓ７１５）。
【０１２１】
次に、上形顔・下形顔強調処理部３７７は、上形顔の場合と同様に、左右小鼻の角度平均ＲＯＴＮＯＳＥ= (ROTLNOSE + ROTRNOSE) / 2を算出する。そして、上形顔・下形顔強調処理部３７７は、このＲＯＴＮＯＳＥとＭＲＯＴＮＯＳＥとを比較する（Ｓ７１７）。そして、ステップＳ７１７においてＲＯＴＮＯＳＥがＭＲＯＴＮＯＳＥよりも小さい場合には、上形顔・下形顔強調処理部３７７は、小鼻角度の強調処理を実行する（Ｓ７１９）。
【０１２２】
ここで、ステップＳ７０７及びステップＳ７１５により補正される配置情報に含まれる目位置及び角度は、下記の計算により求められる。
ROTEYE = ROTEYE + F * (ROTEYE - MROTEYE)
X209 = (X209 - X201) + COS(ROTEYE) * (X209 - X201) - SIN(ROTEYE)
* (Y209 - Y201)
Y209 = (Y209 - Y201) + SIN(ROTEYE) * (X209 - X201) + COS(ROTEYE)
* (Y209 - Y201)
X210 = (X210 - X201) + COS(ROTEYE) * (X210 - X201) - SIN(ROTEYE)
* (Y210 - Y201)
Y210 = (Y210 - Y201) + SIN(ROTEYE) * (X210 - X201) + COS(ROTEYE)
* (Y210 - Y201)
X211 = (X211 - X201) + COS(ROTEYE) * (X211 - X201) - SIN(ROTEYE)
* (Y211 - Y201)
Y211 = (Y211 - Y201) + SIN(ROTEYE) * (X211 - X201) + COS(ROTEYE)
* (Y211 - Y201)
X212 = (X212 - X201) + COS(ROTEYE) * (X212 - X201) - SIN(ROTEYE)
* (Y212 - Y201)
Y212 = (Y212 - Y201) + SIN(ROTEYE) * (X212 - X201) + COS(ROTEYE)
* (Y212 - Y201)
【０１２３】
また、ステップS711及びステップS719により補正される配置情報に含まれる小鼻角度及び位置は、下記の計算により求められる。
ROTNOSE = ROTNOSE + F * (ROTNOSE - MROTNOSE)
X213 = (X213 - X215) + COS(ROTNOSE) * (X213 - X215) - SIN(ROTNOSE)
* (Y213 - Y215)
Y213 = (Y213 - Y215) + SIN(ROTNOSE) * (X213 - X215) + COS(ROTNOSE)
* (Y213 - Y215)
X214 = (X214 - X215) + COS(ROTNOSE) * (X214 - X215) - SIN(ROTNOSE)
* (Y214 - Y215)
Y214 = (Y214 - Y215) + SIN(ROTNOSE) * (X214 - X215) + COS(ROTNOSE)
* (Y214 - Y215)
【０１２４】
なお、図２３に上形顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図２３は、本実施形態に係る上形顔強調処理結果の一例を示す説明図である。図２３に示されるように、目パーツ及び鼻パーツの角度が強調される。一方図２４に下形顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図２４は、本実施形態に係る下形顔強調処理結果の一例を示す説明図である。図２４に示されるように、目パーツ及び鼻パーツの角度が強調される。
【０１２５】
以上の処理から、本人らしい似顔絵を作成するために必要な各パーツの位置及び角度が得られる。
【０１２６】
ここで再び図６に戻ると、次に、この配置情報に基づいて似顔絵が生成及び出力される（S119)。似顔絵作成部３９は、配置情報生成部３７により生成された配置情報に基づいて、パーツ画像を配置することによって、専門的な知識やノウハウ、センスがなくても、本人らしい似顔絵を生成することができる。ここで、用いられるパーツ画像は、ユーザの特徴点の形状や顔タイプ分類の結果等に基づいて似顔絵作成部３９が自動的に選択してもよい。また、パーツ画像は、ユーザによって手動で選択されたパーツ画像を用いてもよい。
【０１２７】
似顔絵が出力されると、次に顔写真が変更されたかどうかを検出し（S121）、変更された場合には、再びステップS101の処理に戻る。一方、顔写真が変更されない場合には、似顔絵作成処理が終了される。
【０１２８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１２９】
例えば、上記実施形態では、似顔絵を生成する似顔絵生成装置としたが、本発明はかかる例に限定されない。例えば、配置情報を出力する配置情報生成装置と、当該配置情報を受信して似顔絵を生成する似顔絵生成装置とは別体の装置であってもよい。さらに、特徴点の抽出、顔タイプ分類など、それぞれの処理が別の装置において実行されてもよいことは言うまでもない。
【０１３０】
また、上記実施形態では、人の形をしたキャラクターを作成する似顔絵作成装置について説明されたが、似顔絵はかかる形態のものに限定されない。例えば、擬人化した動物又はロボット等のキャラクターも似顔絵の概念に含まれる。
【０１３１】
また、上記実施形態では、２次元の似顔絵を作成する似顔絵作成装置について説明されたが、当然３次元のキャラクターを作成する装置に適用することができる。
【０１３２】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【０１３３】
１０ 似顔絵作成装置（配置情報生成装置）
１１ 撮像部
１２ 記憶部
１３ 制御部
１４ インタフェース部
１５ 表示部
１６ 音声出力部
１７ 操作入力部
３１ 画像データ取得部
３３ 特徴点抽出部
３５ 顔タイプ分類部
３５１ 内顔・外顔分類部（第１の分類部）
３５３ 上顔・下顔分類部（第２の分類部）
３５５ 上形顔・下形顔分類部（第３の分類部）
３７ 配置情報生成部
３７１ 初期配置情報生成部
３７３ 内顔・外顔強調処理部（第１の強調処理部）
３７５ 上顔・下顔強調処理部（第２の強調処理部）
３７７ 上形顔・下形顔強調処理部（第３の強調処理部）
３９ 似顔絵作成部
【技術分野】
【０００１】
本発明は、似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラムに関する。
【背景技術】
【０００２】
顔画像から似顔絵を自動生成する装置の中には、例えば、顔画像に対して線画処理を施すことにより顔画像をスケッチに変換する装置がある。このような装置は、顔画像に含まれるユーザの顔の形状、顔の中の各パーツの配置等を、顔画像に基づいて忠実に再現することができる。
【０００３】
これに対し、似顔絵を描くことが上手いと言われるイラストレータや似顔絵師等は、本人らしい似顔絵を描くために、自らの経験やノウハウに基づいてユーザの顔の特徴を解析して似顔絵を描いている。このとき、イラストレータや似顔絵師は、ユーザの顔の特徴を強調して描くことが多い。似顔絵を描くとき、ユーザの特徴を強調する方が、より本人に似た似顔絵を描くことができることをイラストレータや似顔絵師は経験的に知っている。
【０００４】
このため、例えば特許文献１には、顔の特徴を強調する処理を行うキャラクター提供システムが開示されている。このキャラクター提供システムは、標準と比較して一定以上離れた特徴を有するパーツの特徴を誇張する誇張処理部を有する。例えば目が標準の範囲よりも大きい場合には、より目パーツを大きくする変形処理が行われる。
【０００５】
ところで、顔の印象は、各パーツの配置に大きく左右される。そこで、特許文献２には、顔画像からアニメーションを作成するに当たって、パーツの配置位置補正手段を有する画像処理装置が開示されている。この画像処理装置は、例えば、目と目の間の距離が平均よりも大きいユーザについては、より目と目の間の距離を離すように強調する補正を加える。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２２８１８５号公報
【特許文献２】特開２００１−２２２７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、各パーツをそれぞれ平均値と比較して差分を強調する上記特許文献２に記載の方法では、複数のパーツ間のバランスは考慮されず、結局ユーザと似た似顔絵を生成するのは難しいという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のパーツ間の相対位置に基づいて、顔のバランスから受ける印象が強調された似顔絵を生成するために用いられるパーツの配置情報を生成することが可能な、似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、ユーザの顔画像を取得する画像取得部と、上記顔画像中のパーツに関する特徴点の位置情報を取得する特徴点取得部と、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類する顔タイプ分類部と、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と、上記配置情報に基づいてパーツ画像を配置し、似顔絵画像を生成する似顔絵作成部と、を有する似顔絵作成装置を提供することが出来る。
【０００９】
かかる構成によれば、顔画像中の複数のパーツ間の相対位置に基づいて顔タイプに分類される。そして、この顔タイプに基づいて配置情報が強調される。ここで用いられる顔タイプは、複数のパーツ間の相対位置に基づいて分類される。このため、顔タイプは、顔全体のバランスによる印象を反映する。そして、上記似顔絵作成装置は、この顔タイプに基づいて強調処理を行うため、顔全体のバランスから受ける印象を反映させた強調処理を行うことができる。このため、より本人の特徴をとらえた似顔絵を作成することができる。
【００１０】
また、上記配置情報生成部は、２以上のパーツの縦軸上の位置情報及び横軸上の位置情報の少なくともいずれかについて、上記２以上のパーツのうちのいずれかの位置情報を他のパーツの位置情報の変化量に基づいて決定することにより上記２以上のパーツを連動して上記補正を行ってもよい。
【００１１】
また、上記顔タイプ分類部は、上記特徴点取得部により取得された左目、右目、顔輪郭の左端、及び顔輪郭の右端を示す横軸上の位置情報に基づいて、パーツ位置が顔輪郭の内側に寄っている特徴を示す内顔タイプと、外側に寄っている特徴を示す外顔タイプとのいずれかに分類する第１の分類部を有し、上記配置情報生成部は、上記第１の分類部の分類結果に基づいて、各パーツの縦軸上の位置情報および横軸上の位置情報の少なくともいずれかを補正する第１の強調処理部を有してもよい。
【００１２】
また、上記第１の強調処理部は、口パーツの縦軸上の位置情報の補正量に基づいて決定される補正量を用いて、鼻パーツの縦軸上の位置情報を補正してもよい。
【００１３】
また、上記顔タイプ分類部は、上記特徴点取得部により取得された額の上端、顎の下端、左アイホールの上端、及び右アイホールの上端の縦軸位置情報に基づいて、パーツ位置が顔輪郭の上側に寄っている特徴を示す上顔タイプと、下側に寄っている特徴を示す下顔タイプとのいずれかに分類する第２の分類部を有し、上記配置情報生成部は、上記第２の分類部の分類結果に基づいて、各パーツの縦軸上の位置情報を補正する第２の強調処理部を有してもよい。
【００１４】
また、上記第２の強調処理部は、顔輪郭内に配置される２以上のパーツの縦軸上の位置情報の変位が互いに連動するように補正してもよい。
【００１５】
また、上記顔タイプ分類部は、上記特徴点取得部により取得された左目の目頭、左目の目尻、右目の目頭、右目の目尻、小鼻の左端、小鼻の右端、及び鼻先の中心を示す縦軸位置情報に基づいて、パーツの角度が上向きである特徴を示す上形顔タイプと、下向きである特徴を示す下形顔タイプとのいずれかに分類する第３の分類部を有し、上記配置情報生成部は、上記第３の分類部の分類結果に基づいて、特定のパーツの角度を補正する第３の強調処理部を有してもよい。
【００１６】
また、上記第３の強調処理部は、目パーツの配置角度及び鼻パーツの小鼻角度の少なくともいずれかを補正してもよい。
【００１７】
また、上記似顔絵作成部は、分類された上記顔タイプの示す特徴が強調されたパーツ画像を用いて上記似顔絵画像を生成してもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得部と、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得部と、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部とを有する、配置情報生成装置が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得ステップと、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得ステップと、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成ステップと、を含むことを特徴とする、配置情報生成方法が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得部と、上記特徴点の位置情報を用いて、上記顔画像を上記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得部と、上記特徴点の位置情報に基づいた初期配置に対して、分類された上記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と有する、配置情報生成装置として機能させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、より本人に似た似顔絵を生成するためのパーツ配置情報を作成することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る似顔絵作成処理の流れを概略的に示す説明図である。
【図２】同実施形態に係る似顔絵作成装置の強調処理において用いられる顔タイプ分類と各顔タイプが人に与える印象を示す図である。
【図３】顔画像における特徴点の位置と顔タイプ分類との関係を概略的に示す説明図である。
【図４】同実施形態に係る似顔絵作成装置の構成を示すブロック図である。
【図５】同実施形態に係る似顔絵作成装置の制御部の構成を示すブロック図である。
【図６】同実施形態に係る似顔絵作成処理の全体の流れを示すフローチャートである。
【図７】同実施形態に係る似顔絵作成装置が抽出する特徴点を示す説明図である。
【図８】同実施形態に係る内顔・外顔分類に用いる特徴点を示す説明図である。
【図９】同実施形態に係る内顔・外顔分類処理の判別アルゴリズムを示すフローチャートである。
【図１０】同実施形態に係る上顔・下顔分類に用いる特徴点を示す説明図である。
【図１１】同実施形態に係る上顔・下顔分類処理の判別アルゴリズムを示すフローチャートである。
【図１２】同実施形態に係る上形顔・下形顔分類に用いる特徴点を示す説明図である。
【図１３】同実施形態に係る上形顔・下形顔分類処理の判別アルゴリズムを示すフローチャートである。
【図１４】同実施形態で用いられる顔輪郭パーツの特徴点と基準点位置とを示す説明図である。
【図１５】同実施形態で用いられる各パーツの特徴点を示す説明図である。
【図１６】同実施形態に係る内顔・外顔強調処理の流れを示すフローチャートである。
【図１７】同実施形態に係る内顔強調処理結果の一例を示す説明図である。
【図１８】同実施形態に係る外顔強調処理結果の一例を示す説明図である。
【図１９】同実施形態に係る上顔・下顔強調処理の流れを示すフローチャートである。
【図２０】同実施形態に係る上顔強調処理結果の一例を示す説明図である。
【図２１】同実施形態に係る下顔強調処理結果の一例を示す説明図である。
【図２２】同実施形態に係る上形顔・下形顔強調処理の流れを示すフローチャートである。
【図２３】同実施形態に係る上形顔強調処理結果の一例を示す説明図である。
【図２４】同実施形態に係る下形顔強調処理結果の一例を示す説明図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
なお、本明細書及び図面において、概念的には同一となる複数の要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば顔写真２０を、必要に応じてユーザＡについての顔写真２０ａ、ユーザＢについての顔写真２０ｂのように区別する。ただし、複数の顔写真２０の夫々を特に区別する必要がない場合には、同一符号のみを付する。例えば、顔写真２０ａ、顔写真２０ｂなどを特に区別する必要がない場合には、単に顔写真２０と称する。
【００２５】
＜概要＞
まず、図１〜図３を参照しながら、本発明の一実施形態に係る似顔絵作成処理の概要について説明する。図１は、本発明の一実施形態に係る似顔絵作成処理の流れを概略的に示す説明図である。図２は、同実施形態に係る似顔絵作成装置の強調処理において用いられる顔タイプ分類と各顔タイプが人に与える印象を示す図である。図３は、顔画像における特徴点の位置と顔タイプ分類との関係を概略的に示す説明図である。
【００２６】
図１に示されるように、本実施形態において、似顔絵作成処理は、顔写真２０の解析結果から各パーツ画像の初期配置を決定するステップと、この初期配置から分類された顔タイプに基づいて、ユーザの特徴を強調する強調処理を実行するステップと、パーツ画像を選択して似顔絵を生成するステップと、を含む。
【００２７】
このとき、パーツの初期配置を示す初期画像３０が示される。この初期画像３０は、顔写真から抽出された特徴点の配置に忠実に、各顔パーツを並べた画像である。これに対し、強調画像４０は、パーツの配置及び角度について、初期画像に強調処理を加えた画像である。この強調処理を加えた後の強調画像４０のパーツ配置に基づいて、それぞれ選択されたパーツ画像を配置することにより、本人の特徴を強調した似顔絵画像５０を生成することができる。
【００２８】
本人の顔パーツの配置を忠実に再現した初期画像３０は、本人の特徴をそのまま表しているはずである。しかし、通常、この初期画像３０のパーツ配置に基づいて作成した似顔絵よりも、特徴を強調した強調画像４０のパーツ配置に基づいて作成した似顔絵画像５０の方が、似顔絵を見る人にとっては、より本人に似ていると感じる場合が多い。
【００２９】
この強調処理は、通常人間が行う場合には、経験とノウハウとに基づいて行われている。例えば、目と目の間が離れているからより目と目の間を離すように強調する、口が大きいからより口を大きくするよう強調する、といった単純にパーツ毎の特徴を強調するだけではなく、顔全体のバランスから受ける印象を反映することが多い。ところが、コンピュータにこのような処理を行わせる場合には、それぞれのパーツの特徴を個別に位置、大きさ、角度について所定の平均値と比較することによって、差分を強調する手法が取られることがあった。
【００３０】
しかし、顔の印象は、各パーツの相対的な配置バランスに大きく左右される。このため、口が大きいからより大きく、目がたれているからより下がり気味に、両目の間が離れているからより離す、といったように、個別の強調処理を繰り返すと、顔のバランスが崩れてしまい、結局本人に似た似顔絵を生成することは困難である可能性が高かった。そこで、本発明の一実施形態に係る似顔絵作成装置は、顔全体の配置バランスから受ける印象に基づいて、顔のタイプを分類し、分類された顔タイプに基づいて強調処理を行う構成を有する。
【００３１】
ここで、本発明の一実施形態に係る似顔絵作成装置において用いられる顔タイプ分類と、各顔タイプから受ける顔の印象との対応関係が図２に示される。以下、各顔タイプの特徴について説明する。
【００３２】
内顔タイプは、顔輪郭内の各パーツが輪郭の中心に寄っている特徴を有する。これに対し、外顔タイプは、顔輪郭内の各パーツが輪郭の外側に寄っている特徴を有する。図３を参照すると、顔の右端と右黒目の中心との間、右黒目の中心と顔の中心との間、顔の中心と左黒目の中心との間、及び左黒目の中心と顔の左端との間の距離がそれぞれ等しい場合には、各顔パーツのバランスの均整が取れており、理想系とする。この理想系に対して、黒目の位置が顔の内側に寄っている内心傾向を示す場合には、内顔タイプと言える。一方、理想系に対して、黒目の位置が顔の外側に寄っているが外心傾向を示す場合には、外顔タイプと言える。
【００３３】
上顔タイプは、顔輪郭内の各パーツが輪郭の上側に寄っているという特徴を有する。これに対し、下顔タイプは、顔輪郭内の各パーツが輪郭の下側に寄っているという特徴を有する。図３を参照すると、額の上端とアイホールの上端との間、アイホールの上端と両小鼻の下端との間、及び両小鼻の下端とあごの下端との間の距離がそれぞれ等しい場合には、各顔パーツのバランスの均整が取れており、理想系とする。この理想系に対して、アイホールの上端からあごの下端までの距離が広く上心傾向を示す場合には、上顔タイプと言える。一方、理想系に対して、額の上端からアイホールの上端までの距離が広く、パーツが下に寄っている下心傾向を示す場合には、下顔タイプと言える。
【００３４】
また、上形顔タイプは、顔輪郭内のパーツの角度が釣りあがっているという特徴を有する。これに対し、下形顔タイプは、顔輪郭内のパーツの角度が垂れ下がっているという特徴を有する。
【００３５】
なおここでは、概略的に各顔タイプの特徴が説明された。各顔タイプへの分類方法の詳細等については後述される。
【００３６】
このように分類された顔タイプのうち、内顔タイプ、上顔タイプ、及び上形顔タイプは、例えば小顔、活発、神経質、大人っぽい、男性的、きつい、行動的である印象を与える場合が多い。また、外顔タイプ、下顔タイプ、及び下形顔タイプは、おっとり、ぼんやり、子供っぽい、賢そう、優しい、かなしそうであるという印象を与える場合が多い。本実施形態においては、この顔タイプに基づいて、顔の特徴を強調する強調処理を実行する。
【００３７】
＜構成＞
次に、図４及び図５を参照しながら、本発明の一実施形態に係る似顔絵作成装置の構成について説明する。図４は、同実施形態に係る似顔絵作成装置の構成を示すブロック図である。図５は、同実施形態に係る似顔絵作成装置の制御部の構成を示すブロック図である。
【００３８】
図４に示される似顔絵作成装置１０は、ユーザの顔画像から似顔絵を作成する機能を有する。そして、似顔絵作成装置１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、似顔絵作成装置１０は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。なお、似顔絵作成装置１０は、配置情報生成装置の一例である。
【００３９】
この似顔絵作成装置１０は、撮像部１１と、記憶部１２と、制御部１３と、通信部１４と、表示部１５と、音声出力部１６と、操作入力部１７とを主に有する。
【００４０】
撮像部１１は、例えばレンズと撮像素子と信号処理部とを含み、撮像機能を有する。撮像部１１は、取得した映像を制御部１３に入力することができる。又は、撮像部１１は、取得した映像を記憶部１２に記憶することもできる。
【００４１】
記憶部１２は、データ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ここで記憶媒体としては、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、フラッシュメモリ、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリなどが用いられる。この記憶部１２は、例えば制御部１３が実行するプログラムや各種データを格納することができる。
【００４２】
制御部１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロプロセッサなどの演算処理装置又は制御装置により実現され、各種プログラムに従って、似顔絵作成装置１０内の動作全般を制御する機能を有する。制御部１３の詳細な構成は、図５を用いて後に詳述される。
【００４３】
インタフェース部１４は、外部の装置と接続するための接続インタフェースである。インタフェース部１４は、例えば、通信網を介して外部の装置と接続するための通信デバイス等で構成された通信インタフェースであってよい。このときインタフェース部１４は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。また、インタフェース部１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの規格に従った通信を行うための通信装置であってもよい。或いは、インタフェース部１４は、メモリーカード等の記憶媒体を挿入するためのスロットであってもよい。
【００４４】
表示部１５は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ブラウン管（ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置などの表示装置により構成される。表示部１５は、例えば生成された似顔絵の画像を表示することによりユーザに提供する機能を有する。
【００４５】
音声出力部１６は、再生された音声データ等を出力する機能を有し、例えばスピーカーにより構成される。
【００４６】
操作入力部１７は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部１３に出力する入力制御回路などから構成されている。似顔絵作成装置１０のユーザは、該操作入力部１７を操作することにより、似顔絵作成装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。入力手段がタッチパネルである場合、このタッチパネルは表示部１５に重畳して設けることができる。
【００４７】
ここで、次に図５を参照しながら、似顔絵作成装置１０の制御部１３の詳細な構成について説明する。制御部１３は、画像データ取得部３１と、特徴点抽出部３３と、顔タイプ分類部３５と、配置情報生成部３７と、似顔絵作成部３９との機能を主に有する。
【００４８】
画像データ取得部３１は、画像取得部の一例であり、ユーザの顔画像データを取得する機能を有する。画像データ取得部３１は、例えば撮像部１１が撮像した画像データを取得してもよい。また、画像データ取得部３１は、記憶部１２に記憶された画像データを取得してもよい。或いは、画像データ取得部３１は、インタフェース部１４を介して接続される外部装置に記憶された画像データを取得してもよい。
【００４９】
特徴点抽出部３３は、特徴点取得部の一例であり、画像データ取得部３１により取得された画像データを解析することにより、ユーザの顔の各パーツ（例えば、顔輪郭、目、眉、鼻、口、耳など）に関する特徴点の位置情報を抽出する機能を有する。ここで、特徴点は、例えば各パーツの顔輪郭に対する相対位置と角度とを検出することができる点であることが望ましい。例えば、目に関する特徴点は、内端、外端、黒目中心、及びアイホール上端とすることができる。また、例えば、鼻に関する特徴点は、鼻先の中心、小鼻の右端及び左端とすることができる。本実施形態においては、これら各特徴点の位置情報は、画像解析ソフトウェア等が用いられることにより、自動抽出されるものとするが、本発明はこれに限定されない。例えば、特徴点の位置情報は、表示部１５に表示されている顔画像に対して、操作入力部１７を用いることにより入力された位置情報に基づいて特定されてもよい。
【００５０】
顔タイプ分類部３５は、分類結果取得部の一例であり、特徴点抽出部３３により抽出された各パーツに関する特徴点の位置情報に基づいて、ユーザの顔タイプを所定の顔タイプのいずれかに分類する機能を有する。顔タイプ分類部３５は、さらに詳しくは、内顔・外顔分類部３５１と、上顔・下顔分類部３５３と、上形顔・下形顔分類部３５５との機能を有する。
【００５１】
内顔・外顔分類部３５１は、顔タイプ分類部３５の第１の分類部の機能を有し、特徴点抽出部３３により取得された左目、右目、顔輪郭の左端および顔輪郭の右端を示す横軸（Ｘ軸）位置情報に基づいて、所定の内顔タイプと外顔タイプのいずれかにユーザを分類する。この内顔・外顔分類部３５１は、顔輪郭の左端と左目中心との横軸座標さの絶対値と、顔輪郭の右端と右目の中心との横軸座標差の絶対値との和が、左目中心と右目中心との横軸座標差の絶対値より大きいか否かを判別し、その判別結果に基づいて内顔タイプと外顔タイプとのいずれかにユーザを分類する。内顔タイプは、各パーツ位置が顔輪郭の内側（中心）に寄っている特徴を有する。また、外顔タイプは、各パーツ位置が顔輪郭の外側に寄っている特徴を有する。
【００５２】
上顔・下顔分類部３５３は、顔タイプ分類部３５の第２の分類部の機能を有し、特徴点抽出部３３により取得された額の上端、顎の下端、左アイホールの上端及び右アイホールの上端の縦軸（Ｙ軸）位置情報に基づいて、所定の上顔タイプと下顔タイプとのいずれかにユーザを分類する。ここで、左右アイホールの上端とは、各目の中心点と眉毛の中心点とを結ぶ線分を、２：１で分割する点とする。この上顔・下顔分類部３５３は、額の上端と左アイホールの上端との縦軸座標差の絶対値と、額の上端と右アイホールの上端との縦軸座標差の絶対値との和を２倍した値が、左アイホールの上端と顎の下端との縦軸座標値の絶対値と、右アイホールの上端と顎の下端との縦軸座標差の絶対値との和より大きいか否かを判別し、その判別結果に基づいて上顔タイプと下顔タイプとのいずれかにユーザを分類する。上顔タイプは、各パーツ位置が顔輪郭の上（額側を上とする）側に寄っている特徴を有する。下顔タイプは、各パーツ位置が顔輪郭の下（顎側を下とする）側に寄っている特徴を有する。
【００５３】
上形顔・下形顔分類部３５５は、顔タイプ分類部３５の第３の分類部の機能を有し、特徴点抽出部３３により取得された左目の外端、左目の内端、右目の外端、右目の内端、小鼻の左端、小鼻の右端、および鼻先の中心を示す縦軸位置情報に基づいて、所定の上形顔タイプ及び下形顔タイプのいずれかにユーザを分類する。この上形顔・下形顔分類部３５５は、左目の外端と左目の内端との縦軸座標差と、右目の外端と右目の内端との縦軸座標差との和が、０以上であるか否かを判別すると共に、小鼻の左端と鼻先の中心との縦軸座標差と、小鼻の右端と鼻先の中心との縦軸座標差との和が０以上であるか否かを判別し、その判別結果に基づいて上形顔タイプと下形顔タイプとのいずれかにユーザを分類する。上形顔タイプは、各パーツが釣りあがっている傾向であるという特徴を有する。下形顔タイプは、各パーツが垂れ下がっている傾向であるという特徴を有する。
【００５４】
配置情報生成部３７は、顔タイプ分類部３５による分類結果に基づいて、顔輪郭パーツ上に配置される各パーツの位置及び角度を含む配置情報を生成する機能を有する。この配置情報生成部３７は、まず初期配置情報生成部３７１により、特徴点抽出部３３により抽出された特徴点の位置情報に基づいて、特徴点の位置を忠実に再現することのできる初期配置情報を生成する。そして、内顔・外顔強調処理部３７３、上顔・下顔強調処理部３７５、上形顔・下形顔強調処理部３７７によりそれぞれの顔タイプ分類に基づいた強調処理を施して、似顔絵を生成するための各パーツの配置情報を生成する。
【００５５】
なお、配置情報生成部３７は、２以上のパーツの位置情報を他のパーツの位置情報の変化量に基づいて決定することにより、２以上のパーツが連動して補正されてもよい。２以上のパーツを連動して補正することにより、顔全体のバランスを保つことができる。
【００５６】
初期配置情報生成部３７１は、上述の通り特徴点の位置情報を忠実に再現する初期配置情報を生成する機能を有する。初期配置をユーザの各パーツ位置とすることにより、この後実行される強調処理によって、実際の配置をさらに強調する強調処理を行うことができる。
【００５７】
内顔・外顔強調処理部３７３は、第１の強調処理部の一例であり、内顔・外顔分類部３５１による内顔・外顔分類処理の分類結果に基づいた強調処理を行う。この内顔・外顔強調処理は、内顔タイプに分類されたユーザの初期配置情報に対して、顔輪郭内に配置されるパーツを顔中心に近づけるように補正処理を行う。また、内顔・外顔強調処理は、外顔タイプに分類されたユーザの初期配置情報に対して、顔輪郭内に配置されるパーツを顔中心から遠ざけるように補正処理を行う。
【００５８】
上顔・下顔強調処理部３７５は、第２の強調処理部の一例であり、上顔・下顔分類部３５３による上顔・下顔分類処理の分類結果に基づいた強調処理を行う。この上顔・下顔分類処理は、上顔タイプに分類されたユーザの初期配置情報に対して、顔輪郭内に配置されるパーツを顔上部に近づけるように補正処理を行う。また、上顔・下顔強調処理は、下顔タイプに分類されたユーザの初期配置情報に対して、顔輪郭内に配置されるパーツを顔下部に近づけるように補正処理を行う。
【００５９】
上形顔・下形顔強調処理部３７７は、第３の強調処理部の一例であり、上形顔・下形顔分類部３５５による上形顔・下形顔分類処理の分類結果に基づいた強調処理を行う。この上形顔・下形顔分類処理は、上形顔タイプに分類されたユーザの初期配置情報に対して、特定のパーツの角度を釣り上げるように角度を補正する。また、上形顔・下形顔強調処理は、下形顔タイプに分類されたユーザの初期配置情報に対して、特定のパーツの角度を釣り下げるように角度を補正する。ここで特定のパーツとしては、例えば目パーツ及び鼻パーツが挙げられる。
【００６０】
似顔絵作成部３９は、配置情報生成部３７の生成した配置情報に基づいて似顔絵を生成する機能を有する。この似顔絵作成部３９は、配置情報、分類された顔タイプ、及び特徴点の配置情報を似顔絵作成に用いてもよい。例えば、似顔絵作成部３９は、分類された顔タイプに基づいて似顔絵作成に用いるパーツ画像を予め準備されたパーツ画像の中から選択してもよい。このとき似顔絵作成部３９は、パーツ画像に対して顔タイプ等に基づいた変形処理を行ってもよいし、例えば顔画像の分析結果に基づいて新たなパーツ画像を生成してもよい。似顔絵作成部３９は、上述のいずれかの方法により決定されたパーツ画像を、配置情報生成部３７の生成した配置情報の示す位置に配置することにより似顔絵画像を生成することができる。
【００６１】
以上、本実施形態に係る似顔絵作成装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００６２】
なお、上述のような本実施形態に係る似顔絵作成装置１０の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００６３】
＜似顔絵作成処理＞
次に、図６を参照しながら、本発明の一実施形態に係る似顔絵作成処理の全体の流れについて説明する。図６は、同実施形態に係る似顔絵作成処理の全体の流れを示すフローチャートである。
【００６４】
まず、ユーザの顔を示す画像データが、似顔絵作成装置１０の機能を実現するためのソフトウェア上にアップロードされる（Ｓ１０１）。ここで用いられる画像データは、ユーザの顔正面が撮影されたものであることが望ましい。
【００６５】
次に、特徴点抽出部３３は、アップロードされた顔画像から、所定の特徴点を抽出する（Ｓ１０３）。ここで抽出される特徴点が、図７に示される。図７は、同実施形態に係る似顔絵作成装置が抽出する特徴点を示す説明図である。ここで示されるように、特徴点抽出部３３は、左黒目の中心１０１、右黒目の中心１０２、顔輪郭の左端１０３、顔輪郭の右端１０４、額の上端１０５、顎の下端１０６、左アイホールの上端１０７、右アイホールの上端１０８、左目の外端１０９、左目の内端１１０、右目の外端１１１、右目の内端１１２、小鼻の左端１１３、小鼻の右端１１４、鼻先の中心１１５、左眉毛の中心１１６、右眉毛の中心１１７、及び口の中心１１８の位置を抽出して、各特徴点の位置情報を取得する。なお、各特徴点の位置情報は、ユーザが操作入力部１７を用いて入力したポイントの位置情報であってもよい。ここで、例えば左黒目の中心１０１の位置情報は、［Ｘ１０１，Ｙ１０１］と示される。
【００６６】
［顔タイプ分類処理］
次に、顔タイプ分類部３５は、内顔・外顔分類部３５１による内顔・外顔分類処理（ステップＳ１０５）、上顔・下顔分類部３５３による上顔・下顔分類処理（ステップＳ１０７）、及び上形顔・下形顔分類部３５５による上形顔・下形顔分類処理（ステップＳ１０９）を実行する。以下、それぞれの分類処理の詳細について順に説明される。
【００６７】
（内顔・外顔分類処理）
まず、内顔・外顔分類部３５１によるステップＳ１０５の内顔・外顔分類処理について、図８及び図９を参照しながら説明する。図８は、本実施形態に係る内顔・外顔分類に用いる特徴点を示す説明図である。図９は、本実施形態に係る内顔・外顔分類処理の判別アルゴリズムを示すフローチャートである。
【００６８】
図８に示すように、この内顔・外顔分類処理では、ステップＳ１０３で抽出された顔の各特徴点の中から、左黒目の中心点１０１（Ｘ軸座標＝Ｘ１０１，Ｙ軸座標＝Ｙ１０１）、右黒目の中心点１０２（Ｘ軸座標＝Ｘ１０２，Ｙ軸座標＝Ｙ１０２）、顔輪郭の左端１０３（Ｘ軸座標＝Ｘ１０３，Ｙ軸座標＝Ｙ１０３）および顔輪郭の右端１０４（Ｘ軸座標＝Ｘ１０４，Ｙ軸座標＝Ｙ１０４）の各位置情報を任意の基点として用い、内顔タイプと外顔タイプとの分類判別が実行される。
【００６９】
図９において、内顔・外顔の分類処理が開始されると、ステップＳ１０３で取得された上記各基点の位置情報が参照され、内顔・外顔分類部３５１は、顔輪郭の左端１０３と左目の中心１０１とのＸ軸座標差の絶対値（｜Ｘ１０３−Ｘ１０１｜）と、右目の中心と顔輪郭の右端とのＸ軸座標差の絶対値（｜Ｘ１０２−Ｘ１０４｜）との和Ｃを演算する（ステップＳ２０１）。続いて、内顔・外顔分類部３５１は、左目の中心１０１と右目の中心１０２とのＸ軸座標差の絶対値Ｉ（｜Ｘ１０１−Ｘ１０２｜）を演算する（ステップＳ２０３）。
【００７０】
そして、内顔・外顔分類部３５１は、ステップＳ２０１で求めた値ＣとステップＳ２０３で求めた値Ｉとを比較する（ステップＳ２０５）。ここで値Ｃが値Ｉ以上である場合には、左右黒目の外側幅に対して左右黒目間が狭いことになるので内顔タイプであると判断され、内顔・外顔分類部３５１は、内顔・外顔判別変数Ｆ＿ＩｎＣｉｒｃに１を設定する（ステップＳ２０７）。一方、ステップＳ２０５において値Ｃが値Ｉより小さいと判断された場合には、左右黒目の外側幅に対して左右黒目間が広いことになるので外顔タイプであると判断され、内顔・外顔分類部３５１は、内顔・外顔判別変数としてＦ＿ＩｎＣｉｒｃに０を設定する（ステップＳ２０９）。
【００７１】
（上顔・下顔分類処理）
次に、上顔・下顔分類部３５３によるステップＳ１０７の上顔・下顔分類処理について、図１０及び図１１を参照しながら説明する。図１０は、本実施形態に係る上顔・下顔分類に用いる特徴点を示す説明図である。図１１は、本実施形態に係る上顔・下顔分類処理の判別アルゴリズムを示すフローチャートである。
【００７２】
図１０に示すように、この上顔・下顔分類処理では、ステップＳ１０３で抽出された顔の各特徴点の中から、額の上端１０５（Ｘ軸座標＝Ｘ１０５，Ｙ軸座標＝Ｙ１０５）、顎の下端１０６（Ｘ軸座標＝Ｘ１０６，Ｙ軸座標＝Ｙ１０６）、左アイホールの上端１０７（Ｘ軸座標＝Ｘ１０７，Ｙ軸座標＝Ｙ１０７）および右アイホールの上端１０８（Ｘ軸座標＝Ｘ１０８，Ｙ軸座標＝Ｙ１０８）の各位置情報を任意の基点として用い、上顔タイプと下顔タイプとの分類判別が実行される。
【００７３】
図１１において、上顔・下顔の分類処理が開始されると、ステップＳ１０３で取得された上記各基点の位置情報が参照され、上顔・外顔分類部３５３は、額の上端１０５と左アイホールの上端１０７とのＹ軸座標差の絶対値（｜Ｙ１０５−Ｙ１０７｜）と、額の上端１０５と右アイホールの上端１０８とのＹ軸座標差の絶対値（｜Ｙ１０５−Ｙ１０８｜）との和Ｔを演算する（ステップＳ３０１）。続いて、上顔・外顔分類部３５３は、左アイホールの上端１０７と顎の下端１０６とのＹ軸座標差の絶対値（｜Ｙ１０７−Ｙ１０６｜）と、右アイホールの上端１０８と顎の下端１０６とのＹ軸座標差の絶対値（｜Ｙ１０８−Ｙ１０６｜）との和Ｂを演算する（ステップＳ３０３）。
【００７４】
そして、上顔・外顔分類部３５３は、ステップＳ３０１で求めた値Ｔを２倍した値２ＴとステップＳ３０３で求めた値Ｂとを比較する（ステップＳ３０５）。ここで値２Ｔが値Ｂ以下である場合には、額が狭く顔のパーツが全体的に上に配置されていることになるので上顔タイプであると判断され、上顔・外顔分類部３５３は、上顔・下顔判別変数Ｆ＿ＴｏｐＢｔｍに１を設定する（ステップＳ３０７）。一方、ステップＳ３０５において値２Ｔが値Ｂより大きい場合には、額が広く顔のパーツが全体的に下に配置されていることになるので下顔タイプであると判断され、上顔・外顔分類部３５３は、上顔・下顔判別変数Ｆ＿ＴｏｐＢｔｍに０を設定する（ステップＳ３０９）。
【００７５】
（上形顔・下形顔分類処理）
次に、上形顔・下形顔分類部３５５によるステップＳ１０９の上顔・下顔分類処理について、図１２及び図１３を参照しながら説明する。図１２は、本実施形態に係る上形顔・下形顔分類に用いる特徴点を示す説明図である。図１３は、本実施形態に係る上形顔・下形顔分類処理の判別アルゴリズムを示すフローチャートである。
【００７６】
図１２に示すように、この上形顔・下形顔分類処理では、ステップＳ１０３で抽出された顔の各特徴点の中から、左目の外端１０９（Ｘ軸座標＝Ｘ１０９，Ｙ軸座標＝Ｙ１０９）、左目の内端１１０（Ｘ軸座標＝Ｘ１１０，Ｙ軸座標＝Ｙ１１０）、右目の外端１１１（Ｘ軸座標＝Ｘ１１１，Ｙ軸座標＝Ｙ１１１）、右目の内端１１２（Ｘ軸座標＝Ｘ１１２，Ｙ軸座標＝Ｙ１１２）、小鼻の左端１１３（Ｘ軸座標＝Ｘ１１３，Ｙ軸座標＝Ｙ１１３）、小鼻の右端１１４（Ｘ軸座標＝Ｘ１１４，Ｙ軸座標＝Ｙ１１４）および鼻先の中心１１５（Ｘ軸座標＝Ｘ１１５，Ｙ軸座標＝Ｙ１１５）の各位置情報を任意の基点として用い、上顔タイプと下顔タイプとの分類判別が実行される。
【００７７】
図１３において、上形顔・下形顔の分類処理が開始されると、ステップＳ１０３で取得された上記各基点の位置情報が参照され、上形顔・下形顔分類部３５５は、左目の外端１０９と左目の内端１１０とのＹ軸座標差（Ｙ１０９−Ｙ１１０）と、右目の外端１１１と右目の内端１１２とのＹ軸座標差（Ｙ１１１−Ｙ１１２）との和Ｄ＿ＥＩを演算する（ステップＳ４０１）。続いて、上形顔・下形顔分類部３５５は、小鼻の左端１１３と鼻先の中心１１５とのＹ軸座標差（Ｙ１１３−Ｙ１１５）と、小鼻の右端１１４と鼻先の中心１１５とのＹ軸座標差（Ｙ１１４−Ｙ１１５）との和Ｄ＿Ｎを演算する（ステップＳ４０３）。
【００７８】
そして、上形顔・下形顔分類部３５５は、ステップＳ４０１で求めた値Ｄ＿ＥＩが０以上、かつステップＳ４０３で求めた値Ｄ＿Ｎが０以上であるか否かを判別する（ステップＳ４０５）。ここで値Ｄ＿ＥＩが０以上、かつ値Ｄ＿Ｎが０以上である場合には、目が吊り上っていて、小鼻の位置が鼻先に較べて高く、頬の位置が高いことになるので、上形顔タイプであると判断され、上形顔・下形顔分類部３５５は、上形顔・下形顔判別変数Ｆ＿ＵｐＤｐに１を設定する（ステップＳ４０７）。一方、ステップＳ４０５において値Ｄ＿ＥＩが０より小さい、または値Ｄ＿Ｎが０より小さい場合には、目尻が下がっていて、小鼻の位置が鼻先に較べて低く、頬の位置が低いことになるので、下形顔タイプであると判断され、上形顔・下形顔分類部３５５は、上形顔・下形顔判別変数Ｆ＿ＵｐＤｐに０を設定する（ステップＳ４０９）。
【００７９】
［パーツ配置情報生成処理］
次に、配置情報生成部３７は、パーツの配置情報生成処理を実行する。この配置情報生成処理は、初期配置情報生成部３７１による顔パーツ位置初期値決定処理（ステップＳ１１１）と、内顔・外顔強調処理部３７３による内顔・外顔による位置強調処理（ステップＳ１１３）と、上顔・下顔強調処理部３７５による上顔・下顔による位置強調処理（ステップＳ１１５）と、上形顔・下形顔強調処理部３７７による上形顔・下形顔による角度強調処理（Ｓ１１７）を含む。以下、それぞれの処理について詳細が順に説明される。
【００８０】
（初期配置の決定）
まず、初期配置情報生成部３７１は、配置情報の初期値を示す初期配置情報を生成する。この初期配置情報は、特徴点抽出部３３により抽出された特徴点の位置情報に基づいて生成される。初期配置情報生成部３７１は、顔パーツの輪郭に対して、この特徴点の位置情報が示す通りに各パーツが配置されるように初期配置情報を生成する。
【００８１】
例えば、以下図１４に示す顔輪郭パーツＰＦＡＣＥに対して、図１５に示す各パーツＰを配置する場合について考えることにする。図１４は、本実施形態で用いられる顔輪郭パーツの特徴点と基準点位置とを示す説明図である。図１５は、同実施形態で用いられる各パーツの特徴点を示す説明図である。なお、図１４に示すように、顔パーツＰＦＡＣＥ毎に予め顔の左端２０３、顔の右端２０４、額の上端２０５、及びあごの下端２０６の位置が設定されている。そして、各パーツＰの配置においては、顔の左端２０３及び顔の右端２０４を結んだ線の中点に当たる基準点２００が用いられる。
【００８２】
図１５を参照すると、本実施形態においては、顔輪郭パーツＰＦＡＣＥに対して、左眉パーツＰＬ−ＥＹＥＢＲＯＷ、右眉パーツＰＲ−ＥＹＥＢＲＯＷ、左目パーツＰＬ−ＥＹＥ、右目パーツＰＲ−ＥＹＥ、鼻パーツＰＮＯＳＥ、口パーツＰＭＯＵＴＨが配置される。
【００８３】
ここで、配置情報を生成する際に用いられる特徴点は、特徴点抽出部３３が抽出した顔画像中の特徴点（図７参照）と対応する特徴点である。顔輪郭パーツを基準とした特徴点の位置を、以下左黒目の中心２０１、右黒目の中心２０２、顔輪郭の左端２０３、顔輪郭の右端２０４、額の上端２０５、顎の下端２０６、左アイホールの上端２０７、右アイホールの上端２０８、左目の外端２０９、左目の内端１２０、右目の外端２１１、右目の内端２１２、小鼻の左端２１３、小鼻の右端２１４、鼻先の中心２１５、左眉毛の中心２１６、右眉毛の中心２１７、及び口の中心２１８として示す。なお、例えば左黒目の中心２０１の位置情報は、［Ｘ２０１，Ｙ２０１］と示される。
【００８４】
初期配置情報は、例えば下記の計算式により求められる位置情報を含むことができる。例えば、基準点２００の横軸位置は、Ｘ２００＝（Ｘ２０３＋Ｘ２０４）／２で示される。顔画像における両目中心の縦軸位置は、Y100 = (Y101 + Y102) / 2で示される。顔画像における両眉毛中心の縦軸位置は、Y119 = (Y116 + Y117) / 2で示される。
【００８５】
上記の定義に基づくと、左目位置は下記の計算式により得られる。
X201 = X200 + |X203 -
X204| / 2 * |X101 - X102| / |X103 -
X104|
Y201 = Y206 + |Y205 -
Y206| * |Y100 - Y106| / |Y105 - Y106|
【００８６】
また、右目位置は、下記の計算式により得られる。
X202 = X200 - |X203 - X204| / 2 *
|X101 - X102| / |X103 - X104|
Y202 = Y201
【００８７】
なお、ここで左目の外端209、内端210、右目の外端211、内端212は目パーツに対して事前に定められた位置データである。
【００８８】
また、左眉位置は、下記の計算式により得られる。
X216 = X200 + |X203 - X204| / 2 *
|X116 - X117| / |X103 - X104|
Y216 = Y206 + |Y205 - Y206| * |Y119
- Y106| / |Y105 - Y106|
【００８９】
右眉位置は、下記の計算式により得られる。
X217 = X200 - |X203 -
X204| / 2 * |X116 - X117| / |X103 -
X104|
Y217 = Y201
【００９０】
鼻位置は、下記の計算式により得られる。
X215 = X200
Y215 = Y206 + |Y205 -
Y206| * |Y115 - Y106| / |Y105 - Y106|
【００９１】
口位置は、下記の計算式により得られる。
X218 = X200
Y218 = Y206 + |Y205 -
Y206| * |Y118 - Y106| / |Y105 - Y106|
【００９２】
上記の各計算式に基づいて、各パーツの初期の位置情報を含む初期配置情報が生成される。この初期配置情報に対して、後述の各強調処理が施される。
【００９３】
（内顔・外顔強調処理）
まず、内顔・外顔強調処理部３７３により内顔・外顔強調処理が実行される。この内顔・外顔強調処理の流れが図１６に示される。図１６は、本実施形態に係る内顔・外顔強調処理の流れを示すフローチャートである。
【００９４】
まず、内顔・外顔強調処理部３７３は、内顔・外顔分類部３５１による分類結果である内顔・外顔分類結果を取得する（Ｓ５０１）。そして、内顔・外顔強調処理部３７３は、この分類結果が内顔タイプであるか外顔タイプであるかを判断する（Ｓ５０３）。
【００９５】
ステップＳ５０３において内顔タイプであると判断された場合には、次に内顔・外顔強調処理部３７３は、左右目距離ＤＥＹＥ＝|X101 - X102| / |X103 - X104|と、事前に定められた左右目距離の平均値ＭＤＥＹＥと比較する（Ｓ５０５）。そして、ＤＥＹＥがＭＤＥＹＥよりも小さい場合には、内顔・外顔強調処理部３７３は、目の左右位置の強調処理を実行する（Ｓ５０７）。
【００９６】
次に、内顔・外顔強調処理部３７３は、顔横幅に対する左右眉毛距離ＤＥＹＥＢＲＯＷ =
|X116 - X117| / |X103 - X104|と、事前に定められた左右眉毛距離の平均値ＭＤＥＹＥＢＲＯＷとを比較する（Ｓ５０９）。そして、ＤＥＹＥＢＲＯＷがＭＤＥＹＥＢＲＯＷよりも小さい場合には、内顔・外顔強調処理部３７３は、眉の左右位置の強調処理を実行する（Ｓ５１１）。
【００９７】
次に、内顔・外顔強調処理部３７３は、顔縦幅に対する口と顎の距離ＤＭＯＵＴＨ = |Y118
- Y106| / |Y105 - Y106|と事前に定められた口と顎の距離の平均値ＭＤＭＯＵＴＨとを比較する（Ｓ５１３）。そして、ＤＭＯＵＴＨがＭＤＭＯＵＴＨよりも小さい場合には、内顔・外顔強調処理部３７３は、口位置及び鼻位置の強調処理を実行する（Ｓ５１５）。
【００９８】
一方、ステップＳ５０３において外顔タイプと判断された場合には、次に内顔・外顔強調処理部３７３は、左右目距離ＤＥＹＥ＝|X101 - X102| / |X103 - X104|と、事前に定められた左右目距離の平均値ＭＤＥＹＥと比較する（Ｓ５１７）。そして、ＤＥＹＥがＭＤＥＹＥよりも大きい場合には、内顔・外顔強調処理部３７３は、目の左右位置の強調処理を実行する（Ｓ５１９）。
【００９９】
次に、内顔・外顔強調処理部３７３は、顔横幅に対する左右眉毛距離ＤＥＹＥＢＲＯＷ =
|X116 - X117| / |X103 - X104|と、事前に定められた左右眉毛距離の平均値ＭＤＥＹＥＢＲＯＷとを比較する（Ｓ５２１）。そして、ＤＥＹＥＢＲＯＷがＭＤＥＹＥＢＲＯＷよりも大きい場合には、内顔・外顔強調処理部３７３は、眉の左右位置の強調処理を実行する（Ｓ５２３）。
【０１００】
次に、内顔・外顔強調処理部３７３は、顔縦幅に対する口と顎の距離ＤＭＯＵＴＨ = |Y118
- Y106| / |Y105 - Y106|と事前に定められた口と顎の距離の平均値ＭＤＭＯＵＴＨとを比較する（Ｓ５２５）。そして、ＤＭＯＵＴＨがＭＤＭＯＵＴＨよりも小さい場合には、内顔・外顔強調処理部３７３は、口位置及び鼻位置の強調処理を実行する（Ｓ５２７）。
【０１０１】
ここで、ステップＳ５０７及びステップＳ５１９により補正される配置情報に含まれる目パーツの位置は、下記の計算により求められる。ここで、強調度合いを示す値をＦとする。
X201 = X201 + F * (DEYE
- MDEYE)
Y201 = Y201
X202 = X202 - F * (DEYE
- MDEYE)
Y202 = Y202
【０１０２】
また、ステップＳ５１１及びステップＳ５２３により補正される配置情報に含まれる眉パーツの位置は、下記の計算により求められる。
X216 = X216 + F * (DEYEBROW
- MDEYEBROW)
Y216 = Y216
X217 = X217 - F * (DEYEBROW
- MDEYEBROW)
Y217 = Y217
【０１０３】
また、ステップＳ５１５及びステップＳ５２７により補正される配置情報に含まれる口パーツの位置は、下記の計算により求められる。
X218 = X218
Y218 = Y218 + F * (DMOUTH
- MDMOUTH)
【０１０４】
また、ここで口パーツと連動して鼻パーツの位置も補正される。鼻パーツの位置は、下記の計算により求められる。
X215 = X215
Y215 = Y218 + (Y201 -
Y218) * (Y215 - Y218) / (Y201 - Y218)
【０１０５】
なお、図１７に内顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図１７は、本実施形態に係る内顔強調処理結果の一例を示す説明図である。図１７に示されるように、顔輪郭内に配置される各パーツは、より顔の中心に寄るように位置を補正して特徴が強調される。一方図１８に外顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図１８は、本実施形態に係る外顔強調処理結果の一例を示す説明図である。図１８に示されるように、顔輪郭内に配置される各パーツは、より顔の外側に寄るように位置を補正して特徴が強調される。
【０１０６】
（上顔・下顔強調処理）
次に、上顔・下顔強調処理部３７５により上顔・下顔強調処理が実行される。この上顔・下顔強調処理の流れが図１９に示される。図１９は、本実施形態に係る上顔・下顔強調処理の流れを示すフローチャートである。
【０１０７】
まず、上顔・下顔強調処理部３７５は、上顔・下顔分類部３５３による分類結果である上顔・下顔分類結果を取得する（Ｓ６０１）。そして、上顔・下顔強調処理部３７５は、この分類結果が上顔タイプであるか下顔タイプであるかを判断する（Ｓ６０３）。
【０１０８】
ステップＳ６０３において上顔タイプであると判断された場合には、次に上顔・下顔強調処理部３７５は、顔縦幅に対するアイホールと顎距離ＤＥＹＥＨＯＬＥ= |(Y116 + Y117) / 2 - Y106| / |Y105
- Y106|と、事前に定められた顔縦幅に対するアイホールと顎距離の平均値ＭＤＥＹＥＨＯＬＥと比較する。そして、ＤＥＹＥＨＯＬＥがＭＤＥＹＥＨＯＬＥよりも大きい場合には、上顔・下顔強調処理部３７５は、目の上下位置の強調処理（Ｓ６０７）、眉の上下位置の強調処理（Ｓ６０９）、鼻の上下位置の強調処理（Ｓ６１１）を実行する。
【０１０９】
一方、ステップＳ６０３において下顔タイプであると判断された場合には、次に上顔・下顔強調処理部３７５は、顔縦幅に対するアイホールと顎距離ＤＥＹＥＨＯＬＥ= |(Y116 + Y117) / 2 - Y106| / |Y105
- Y106|と、事前に定められた顔縦幅に対するアイホールと顎距離の平均値ＭＤＥＹＥＨＯＬＥと比較する。そして、ＤＥＹＥＨＯＬＥがＭＤＥＹＥＨＯＬＥよりも小さい場合には、上顔・下顔強調処理部３７５は、目の上下位置の強調処理（Ｓ６１５）、眉の上下位置の強調処理（Ｓ６１７）、鼻の上下位置の強調処理（Ｓ６１９）を実行する。
【０１１０】
ここで、ステップＳ６０７及びステップＳ６１５により補正される配置情報に含まれる目パーツの位置は、下記の計算により求められる。
X201 = X201
Y201 = Y201 + F * (DEYEHOLE
- MDEYEHOLE)
X202 = X202
Y202 = Y202 + F * (DEYEHOLE
- MDEYEHOLE)
【０１１１】
また、ステップＳ６０９およびステップＳ６１７により補正される配置情報に含まれる眉パーツの位置は、下記の計算により求められる。
X216 = X216
Y216 = Y206 + |Y201 -
Y206| * |Y119 - Y106| / |Y101 - Y106|
X217 = X217
Y217 = Y216
【０１１２】
また、ステップＳ６１１及びステップＳ６１９により補正される配置情報に含まれる鼻パーツの位置は、下記の計算により求められる。
X215 = X215
Y215 = Y218 + (Y201 -
Y218) * (Y215 - Y218) / (Y201 - Y218)
【０１１３】
なお、図２０に上顔と判断された場合の強調処理後の各パーツの配置の一例が示される。図２０は、本実施形態に係る上顔強調処理結果の一例を示す説明図である。図２０に示されるように、顔輪郭内に配置される各パーツは、より顔の上側に寄るように位置を補正して特徴が強調される。一方図２１に下顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図２１は、本実施形態に係る下顔強調処理結果の一例を示す説明図である。図２１に示されるように、顔輪郭内に配置される各パーツは、より顔の下側に寄るように位置を補正して特徴が強調される。なお上顔・下顔強調処理において、眉パーツ及び鼻パーツの位置は、それぞれ目パーツの位置と連動して補正される。
【０１１４】
（上形顔・下形顔強調処理）
次に、上形顔・下形顔強調処理部３７７により上形顔・下形顔強調処理が実行される。この上形顔・下形顔強調処理の流れが図２２に示される。図２２は、本実施形態に係る上形顔・下形顔強調処理の流れを示すフローチャートである。
【０１１５】
まず、上形顔・下形顔強調処理部３７７は、上形顔・下形顔分類部３５５による分類結果である上形顔・下形顔分類結果を取得する（Ｓ７０１）。そして、上形顔・下形顔強調処理部３７７は、この分類結果が上形顔タイプであるか下形顔タイプであるかを判断する（Ｓ７０３）。
【０１１６】
ステップＳ７０３において、上形顔タイプであると判断された場合には、次に上形顔・下形顔強調処理部３７７は、顔画像から取得した特徴点の位置情報から、下記を満たす左目角度ＲＯＴＬＥＹＥと右目角度ＲＯＴＲＥＹＥとを得る。
LENLEYE = SQRT( POW(X109-X110,
2) + POW(Y109-Y110, 2) )
COS(ROTLEYE) = (|(X109 - X110)|
/ LENLEYE
SIN(ROTLEYE) = (|(Y109 - Y110)|
/ LENLEYE
LENREYE = SQRT( POW(X111-X112,
2) + POW(Y111-Y112, 2) )
COS(ROTREYE) = (|(X111 - X112)|
/ LENREYE
SIN(ROTREYE) = (|(Y111 - Y112)|
/ LENREYE
【０１１７】
そして、上形顔・下形顔強調処理部３７７は、左右目の角度平均ＲＯＴＥＹＥ＝(ROTLEYE
+ ROTREYE) / 2と、事前に定められた左右目の角度平均の（複数ユーザの）平均値ＭＲＯＴＥＹＥとを比較する（Ｓ７０５）。そして、ステップＳ７０５においてＲＯＴＥＹＥがＭＲＯＴＥＹＥよりも大きい場合には、上形顔・下形顔強調処理部３７７は、目角度の強調処理を実行する（Ｓ７０７）。
【０１１８】
次に、上形顔・下形顔強調処理部３７７は、顔画像から取得した特徴点の位置情報から、下記を満たす左小鼻角度ＲＯＴＬＮＯＳＥと右小鼻角度ＲＯＴＲＮＯＳＥとを得る。
LENLNOSE = SQRT( POW(X113-X115, 2) + POW(Y113-Y115,
2) )
COS(ROTLNOSE) = (|(X113 - X115)| / LENLNOSE
SIN(ROTLNOSE) = (|(Y113 - Y115)| / LENLNOSE
LENRNOSE = SQRT( POW(X114-X115, 2) + POW(Y114-Y115,
2) )
COS(ROTRNOSE) = (|(X114 - X115)| / LENRNOSE
SIN(ROTRNOSE) = (|(Y114 - Y115)| / LENRNOSE
【０１１９】
そして、上形顔・下形顔強調処理部３７７は、左右小鼻の角度平均ＲＯＴＮＯＳＥ= (ROTLNOSE+
ROTRNOSE) / 2と、事前に求められた左右小鼻角度平均の（複数ユーザの）平均値ＭＲＯＴＮＯＳＥとを比較する（Ｓ７０９）。そして、ステップＳ７０９においてＲＯＴＮＯＳＥがＭＲＯＴＮＯＳＥよりも大きい場合には、上形顔・下形顔強調処理部３７７は、小鼻角度の強調処理を実行する（Ｓ７１１）。
【０１２０】
一方、ステップＳ７０３において下形顔タイプであると判断された場合には、上形顔の場合と同様に上形顔・下形顔強調処理部３７７は、左右目の角度平均ＲＯＴＥＹＥ＝(ROTLEYE + ROTREYE) / 2を算出する。そして、このＲＯＴＥＹＥとＭＲＯＴＥＹＥとを比較する（Ｓ７１３）。そして、ステップＳ７１３においてＲＯＴＥＹＥがＭＲＯＴＥＹＥよりも小さい場合には、上形顔・下形顔強調処理部３７７は、目角度の強調処理を実行する（Ｓ７１５）。
【０１２１】
次に、上形顔・下形顔強調処理部３７７は、上形顔の場合と同様に、左右小鼻の角度平均ＲＯＴＮＯＳＥ= (ROTLNOSE + ROTRNOSE) / 2を算出する。そして、上形顔・下形顔強調処理部３７７は、このＲＯＴＮＯＳＥとＭＲＯＴＮＯＳＥとを比較する（Ｓ７１７）。そして、ステップＳ７１７においてＲＯＴＮＯＳＥがＭＲＯＴＮＯＳＥよりも小さい場合には、上形顔・下形顔強調処理部３７７は、小鼻角度の強調処理を実行する（Ｓ７１９）。
【０１２２】
ここで、ステップＳ７０７及びステップＳ７１５により補正される配置情報に含まれる目位置及び角度は、下記の計算により求められる。
ROTEYE = ROTEYE + F * (ROTEYE - MROTEYE)
X209 = (X209 - X201) + COS(ROTEYE) * (X209 - X201) - SIN(ROTEYE)
* (Y209 - Y201)
Y209 = (Y209 - Y201) + SIN(ROTEYE) * (X209 - X201) + COS(ROTEYE)
* (Y209 - Y201)
X210 = (X210 - X201) + COS(ROTEYE) * (X210 - X201) - SIN(ROTEYE)
* (Y210 - Y201)
Y210 = (Y210 - Y201) + SIN(ROTEYE) * (X210 - X201) + COS(ROTEYE)
* (Y210 - Y201)
X211 = (X211 - X201) + COS(ROTEYE) * (X211 - X201) - SIN(ROTEYE)
* (Y211 - Y201)
Y211 = (Y211 - Y201) + SIN(ROTEYE) * (X211 - X201) + COS(ROTEYE)
* (Y211 - Y201)
X212 = (X212 - X201) + COS(ROTEYE) * (X212 - X201) - SIN(ROTEYE)
* (Y212 - Y201)
Y212 = (Y212 - Y201) + SIN(ROTEYE) * (X212 - X201) + COS(ROTEYE)
* (Y212 - Y201)
【０１２３】
また、ステップS711及びステップS719により補正される配置情報に含まれる小鼻角度及び位置は、下記の計算により求められる。
ROTNOSE = ROTNOSE + F * (ROTNOSE - MROTNOSE)
X213 = (X213 - X215) + COS(ROTNOSE) * (X213 - X215) - SIN(ROTNOSE)
* (Y213 - Y215)
Y213 = (Y213 - Y215) + SIN(ROTNOSE) * (X213 - X215) + COS(ROTNOSE)
* (Y213 - Y215)
X214 = (X214 - X215) + COS(ROTNOSE) * (X214 - X215) - SIN(ROTNOSE)
* (Y214 - Y215)
Y214 = (Y214 - Y215) + SIN(ROTNOSE) * (X214 - X215) + COS(ROTNOSE)
* (Y214 - Y215)
【０１２４】
なお、図２３に上形顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図２３は、本実施形態に係る上形顔強調処理結果の一例を示す説明図である。図２３に示されるように、目パーツ及び鼻パーツの角度が強調される。一方図２４に下形顔と判断された場合の強調処理後の各パーツ配置の一例が示される。図２４は、本実施形態に係る下形顔強調処理結果の一例を示す説明図である。図２４に示されるように、目パーツ及び鼻パーツの角度が強調される。
【０１２５】
以上の処理から、本人らしい似顔絵を作成するために必要な各パーツの位置及び角度が得られる。
【０１２６】
ここで再び図６に戻ると、次に、この配置情報に基づいて似顔絵が生成及び出力される（S119)。似顔絵作成部３９は、配置情報生成部３７により生成された配置情報に基づいて、パーツ画像を配置することによって、専門的な知識やノウハウ、センスがなくても、本人らしい似顔絵を生成することができる。ここで、用いられるパーツ画像は、ユーザの特徴点の形状や顔タイプ分類の結果等に基づいて似顔絵作成部３９が自動的に選択してもよい。また、パーツ画像は、ユーザによって手動で選択されたパーツ画像を用いてもよい。
【０１２７】
似顔絵が出力されると、次に顔写真が変更されたかどうかを検出し（S121）、変更された場合には、再びステップS101の処理に戻る。一方、顔写真が変更されない場合には、似顔絵作成処理が終了される。
【０１２８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１２９】
例えば、上記実施形態では、似顔絵を生成する似顔絵生成装置としたが、本発明はかかる例に限定されない。例えば、配置情報を出力する配置情報生成装置と、当該配置情報を受信して似顔絵を生成する似顔絵生成装置とは別体の装置であってもよい。さらに、特徴点の抽出、顔タイプ分類など、それぞれの処理が別の装置において実行されてもよいことは言うまでもない。
【０１３０】
また、上記実施形態では、人の形をしたキャラクターを作成する似顔絵作成装置について説明されたが、似顔絵はかかる形態のものに限定されない。例えば、擬人化した動物又はロボット等のキャラクターも似顔絵の概念に含まれる。
【０１３１】
また、上記実施形態では、２次元の似顔絵を作成する似顔絵作成装置について説明されたが、当然３次元のキャラクターを作成する装置に適用することができる。
【０１３２】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【０１３３】
１０ 似顔絵作成装置（配置情報生成装置）
１１ 撮像部
１２ 記憶部
１３ 制御部
１４ インタフェース部
１５ 表示部
１６ 音声出力部
１７ 操作入力部
３１ 画像データ取得部
３３ 特徴点抽出部
３５ 顔タイプ分類部
３５１ 内顔・外顔分類部（第１の分類部）
３５３ 上顔・下顔分類部（第２の分類部）
３５５ 上形顔・下形顔分類部（第３の分類部）
３７ 配置情報生成部
３７１ 初期配置情報生成部
３７３ 内顔・外顔強調処理部（第１の強調処理部）
３７５ 上顔・下顔強調処理部（第２の強調処理部）
３７７ 上形顔・下形顔強調処理部（第３の強調処理部）
３９ 似顔絵作成部
【特許請求の範囲】
【請求項１】
ユーザの顔画像を取得する画像取得部と、
前記顔画像中のパーツに関する特徴点の位置情報を取得する特徴点取得部と、
前記特徴点の位置情報を用いて、前記顔画像を前記複数のパーツ間の相対位置に基づいた顔タイプに分類する顔タイプ分類部と、
前記特徴点の位置情報に基づいた初期配置に対して、分類された前記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と、
前記配置情報に基づいてパーツ画像を配置し、似顔絵画像を生成する似顔絵作成部と、
を備えることを特徴とする、似顔絵作成装置。
【請求項２】
前記配置情報生成部は、２以上のパーツの縦軸上の位置情報及び横軸上の位置情報の少なくともいずれかについて、前記２以上のパーツのうちのいずれかの位置情報を他のパーツの位置情報の変化量に基づいて決定することにより前記２以上のパーツを連動して前記補正を行う、請求項１に記載の似顔絵作成装置。
【請求項３】
前記顔タイプ分類部は、前記特徴点取得部により取得された左目、右目、顔輪郭の左端、及び顔輪郭の右端を示す横軸上の位置情報に基づいて、パーツ位置が顔輪郭の内側に寄っている特徴を示す内顔タイプと、外側に寄っている特徴を示す外顔タイプとのいずれかに分類する第１の分類部を有し、
前記配置情報生成部は、前記第１の分類部の分類結果に基づいて、各パーツの縦軸上の位置情報および横軸上の位置情報の少なくともいずれかを補正する第１の強調処理部を有することを特徴とする、請求項１または２のいずれかに記載の似顔絵作成装置。
【請求項４】
前記第１の強調処理部は、口パーツの縦軸上の位置情報の補正量に基づいて決定される補正量を用いて、鼻パーツの縦軸上の位置情報を補正することを特徴とする、請求項３に記載の似顔絵作成装置。
【請求項５】
前記顔タイプ分類部は、前記特徴点取得部により取得された額の上端、顎の下端、左アイホールの上端、及び右アイホールの上端の縦軸位置情報に基づいて、パーツ位置が顔輪郭の上側に寄っている特徴を示す上顔タイプと、下側に寄っている特徴を示す下顔タイプとのいずれかに分類する第２の分類部を有し、
前記配置情報生成部は、前記第２の分類部の分類結果に基づいて、顔輪郭内に配置される各パーツの縦軸上の位置情報を補正する第２の強調処理部を有することを特徴とする、請求項１〜４のいずれか１項に記載の似顔絵作成装置。
【請求項６】
前記第２の強調処理部は、前記顔輪郭内に配置されるパーツのうちの２以上のパーツの縦軸上の位置情報の変位が互いに連動するように補正することを特徴とする、請求項５に記載の似顔絵作成装置。
【請求項７】
前記顔タイプ分類部は、前記特徴点取得部により取得された左目の目頭、左目の目尻、右目の目頭、右目の目尻、小鼻の左端、小鼻の右端、及び鼻先の中心を示す縦軸位置情報に基づいて、パーツの角度が上向きである特徴を示す上形顔タイプと、下向きである特徴を示す下形顔タイプとのいずれかに分類する第３の分類部を有し、
前記配置情報生成部は、前記第３の分類部の分類結果に基づいて、特定のパーツの角度を補正する第３の強調処理部を有することを特徴とする、請求項１〜６のいずれか１項に記載の似顔絵作成装置。
【請求項８】
前記第３の強調処理部は、目パーツの配置角度及び鼻パーツの小鼻角度の少なくともいずれかを補正することを特徴とする、請求項７に記載の似顔絵作成装置。
【請求項９】
前記似顔絵作成部は、分類された前記顔タイプの示す特徴が強調されたパーツ画像を用いて前記似顔絵画像を生成することを特徴とする、請求項１〜８のいずれか１項に記載の似顔絵作成装置。
【請求項１０】
ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得部と、
前記特徴点の位置情報を用いて、前記顔画像を前記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得部と、
前記特徴点の位置情報に基づいた初期配置に対して、分類された前記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と、
を備えることを特徴とする、配置情報生成装置。
【請求項１１】
ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得ステップと、
前記特徴点の位置情報を用いて、前記顔画像を前記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得ステップと、
前記特徴点の位置情報に基づいた初期配置に対して、分類された前記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成ステップと、
を含むことを特徴とする、配置情報生成方法。
【請求項１２】
コンピュータを、
ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得部と、
前記特徴点の位置情報を用いて、前記顔画像を前記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得部と、
前記特徴点の位置情報に基づいた初期配置に対して、分類された前記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と、
を備えることを特徴とする、配置情報生成装置として機能させるためのプログラム。
【請求項１】
ユーザの顔画像を取得する画像取得部と、
前記顔画像中のパーツに関する特徴点の位置情報を取得する特徴点取得部と、
前記特徴点の位置情報を用いて、前記顔画像を前記複数のパーツ間の相対位置に基づいた顔タイプに分類する顔タイプ分類部と、
前記特徴点の位置情報に基づいた初期配置に対して、分類された前記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と、
前記配置情報に基づいてパーツ画像を配置し、似顔絵画像を生成する似顔絵作成部と、
を備えることを特徴とする、似顔絵作成装置。
【請求項２】
前記配置情報生成部は、２以上のパーツの縦軸上の位置情報及び横軸上の位置情報の少なくともいずれかについて、前記２以上のパーツのうちのいずれかの位置情報を他のパーツの位置情報の変化量に基づいて決定することにより前記２以上のパーツを連動して前記補正を行う、請求項１に記載の似顔絵作成装置。
【請求項３】
前記顔タイプ分類部は、前記特徴点取得部により取得された左目、右目、顔輪郭の左端、及び顔輪郭の右端を示す横軸上の位置情報に基づいて、パーツ位置が顔輪郭の内側に寄っている特徴を示す内顔タイプと、外側に寄っている特徴を示す外顔タイプとのいずれかに分類する第１の分類部を有し、
前記配置情報生成部は、前記第１の分類部の分類結果に基づいて、各パーツの縦軸上の位置情報および横軸上の位置情報の少なくともいずれかを補正する第１の強調処理部を有することを特徴とする、請求項１または２のいずれかに記載の似顔絵作成装置。
【請求項４】
前記第１の強調処理部は、口パーツの縦軸上の位置情報の補正量に基づいて決定される補正量を用いて、鼻パーツの縦軸上の位置情報を補正することを特徴とする、請求項３に記載の似顔絵作成装置。
【請求項５】
前記顔タイプ分類部は、前記特徴点取得部により取得された額の上端、顎の下端、左アイホールの上端、及び右アイホールの上端の縦軸位置情報に基づいて、パーツ位置が顔輪郭の上側に寄っている特徴を示す上顔タイプと、下側に寄っている特徴を示す下顔タイプとのいずれかに分類する第２の分類部を有し、
前記配置情報生成部は、前記第２の分類部の分類結果に基づいて、顔輪郭内に配置される各パーツの縦軸上の位置情報を補正する第２の強調処理部を有することを特徴とする、請求項１〜４のいずれか１項に記載の似顔絵作成装置。
【請求項６】
前記第２の強調処理部は、前記顔輪郭内に配置されるパーツのうちの２以上のパーツの縦軸上の位置情報の変位が互いに連動するように補正することを特徴とする、請求項５に記載の似顔絵作成装置。
【請求項７】
前記顔タイプ分類部は、前記特徴点取得部により取得された左目の目頭、左目の目尻、右目の目頭、右目の目尻、小鼻の左端、小鼻の右端、及び鼻先の中心を示す縦軸位置情報に基づいて、パーツの角度が上向きである特徴を示す上形顔タイプと、下向きである特徴を示す下形顔タイプとのいずれかに分類する第３の分類部を有し、
前記配置情報生成部は、前記第３の分類部の分類結果に基づいて、特定のパーツの角度を補正する第３の強調処理部を有することを特徴とする、請求項１〜６のいずれか１項に記載の似顔絵作成装置。
【請求項８】
前記第３の強調処理部は、目パーツの配置角度及び鼻パーツの小鼻角度の少なくともいずれかを補正することを特徴とする、請求項７に記載の似顔絵作成装置。
【請求項９】
前記似顔絵作成部は、分類された前記顔タイプの示す特徴が強調されたパーツ画像を用いて前記似顔絵画像を生成することを特徴とする、請求項１〜８のいずれか１項に記載の似顔絵作成装置。
【請求項１０】
ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得部と、
前記特徴点の位置情報を用いて、前記顔画像を前記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得部と、
前記特徴点の位置情報に基づいた初期配置に対して、分類された前記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と、
を備えることを特徴とする、配置情報生成装置。
【請求項１１】
ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得ステップと、
前記特徴点の位置情報を用いて、前記顔画像を前記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得ステップと、
前記特徴点の位置情報に基づいた初期配置に対して、分類された前記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成ステップと、
を含むことを特徴とする、配置情報生成方法。
【請求項１２】
コンピュータを、
ユーザの顔画像中の複数のパーツに関する特徴点の位置情報を取得する特徴点取得部と、
前記特徴点の位置情報を用いて、前記顔画像を前記複数のパーツ間の相対位置に基づいた顔タイプに分類した分類結果を取得する分類結果取得部と、
前記特徴点の位置情報に基づいた初期配置に対して、分類された前記顔タイプの示す特徴を強調する補正を加えた配置情報を生成する配置情報生成部と、
を備えることを特徴とする、配置情報生成装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１７４１９７（Ｐ２０１２−１７４１９７Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３８４４１（Ｐ２０１１−３８４４１）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（３９７０１１３７３）ソネットエンタテインメント株式会社 (17)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（３９７０１１３７３）ソネットエンタテインメント株式会社 (17)
【Ｆターム（参考）】
[ Back to top ]