カリカチュア生成システムとその方法およびその記録媒体
本発明は、イメージデータからカリカチュアを生成するシステムとその方法およびその記録媒体に関し、ユーザから入力を受けたイメージデータから顔領域と背景領域を区分して生成された顔輪郭線情報を含んだ顔形態情報を抽出して顔形態を生成する顔形態生成部と、イメージデータから顔構成要素の形状を抽出し、顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部と、顔形態とキャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部と、を含むことができる。または、イメージデータから顔領域と背景領域を区分して生成された顔輪郭と顔屈曲を含む陰影板を生成する陰影板生成部と、キャラクタイメージ生成部と、カリカチュア生成部と、を含むこともできる。本発明によれば、カリカチュアの生成において、より正確に顔の輪郭線を抽出して顔屈曲を形成することで、実際の人物とより一層類似したカリカチュアを生成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カリカチュアを生成するシステムおよび方法に関し、より詳細には、ユーザからイメージデータの入力を受けて顔情報を抽出するカリカチュアを生成するシステムおよび方法に関する。
【背景技術】
【０００２】
最近、インターネットコミュニティーサイト、インターネットショッピングモールサイト、インターネットゲームサイトを利用するユーザの増加に伴い、アバタ、ゲームキャラクタなどインターネット上で自分を表現することができるキャラクタを自分と同一視する傾向が一般化している。このようなユーザの要求を満たすために、インターネットサイトでは、ユーザがそれぞれの構成要素を組み合わせて自分の容姿と類似したキャラクタを生成することができるように、多様な顔型、髪型、目、鼻、口などの顔の各要素、表情などを提供している。
【０００３】
しかし、このように与えられた構成要素を組み合わせてキャラクタを生成する方法は、構成要素がどんなに多様に提供されたとしてもユーザの欲求を完全に満たすことはできないし、ユーザのキャラクタが互いに類似する場合も多いため、個性あるキャラクタをユーザに提供することに限界が生じてしまう。また、インターネットサイト側でも、最大限に多様な構成要素を提供するためには、デザインやイメージ製作などの作業に多くの人力と時間を投入せざるを得なくなる。
【０００４】
したがって、最近では、写真などのイメージデータを用いて自動的にカリカチュアを生成し、これを用いてユーザと類似したキャラクタを生成できるようにする方法が紹介されている。例えば、大韓民国登録特許第10−376760号に公開されているカリカチュア製作方法は、ユーザが提供したソース写真を用いて写真の各部分を分析し、各部分のカリカチュアモデルをデータベースから抽出し、前記抽出された各部分を合成した後、必要な背景イメージを合成するという方法によってカリカチュアを製作している。
【０００５】
図1は、前記のような従来技術のカリカチュア製作方法を示した図である。図1を参照すると、従来のカリカチュアを製作するための写真入力段階において、カリカチュアを製作するためのソース写真をカリカチュア自動製造機の写真入力口に入力する（100）。この写真は有名芸能人の写真などであっても良いが、一般的にはユーザ自身の顔写真とする。ソース写真が入力されれば、写真に盛り込まれた各部分、すなわち顔を構成する各要素として顔形態、目、鼻、口などに対する分析が成され（102）、分析された各要素に対してカリカチュアとして用いる適切なモデルを抽出する（104）。このモデルは、人物の各部分に対してすでに構築されているデータベースを用いて抽出を進行する。例えば、顔形態の場合は、顔の明暗を計算して抽出された情報に基づいて全体的な顔形態を完成し、目、鼻および口の場合は、各部分の位置およびの比率を計算してデータベースから抽出する。
【０００６】
顔の各要素に対する抽出が完成すればこれを合成し（106）、合成された顔に対するデータを入力して髪型データベースから合成された顔に適合した髪型を選択して（108）顔を完成させる（109）。この後、カリカチュアの体を選択するようになるが（112）、身体の他の部分に対しても同じ方式で選択が遂行される。これに背景イメージを合成して（114）、カリカチュアを完成させる（116）。
【０００７】
このような方法を用いれば、ユーザが自身の写真をイメージデータで入力するだけで、プログラムが内蔵された自動化機器から自分の容貌と類似したキャラクタを容易に生成することができる効果がある。しかし、既存のカリカチュア自動生成方法は、写真から実際の顔の位置および範囲を正確に判断することができない場合が多く、顔の輪郭線を正確に把握するのが困難であり、特にイメージデータにおける顔の顎線部分は一般的に首と顎が同じ色であるため、その境界を正確に把握し難いという問題点があった。
【０００８】
また、イメージプログラムが内蔵された自動化機器を用いる場合は、ユーザがすでに保存されたデータベースから選択することに限られるため、自身の顔の明暗や輪郭線を直接修正することができず、立体感やリアリティが低下することにより、実際の人物と類似したカリカチュアの生成が困難であるという短所があった。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、前記のような従来技術を改善するために案出されたものであって、ユーザが自分の写真をイメージデータで入力するだけで、カリカチュアを簡単に生成することを目的とする。
【００１０】
また、本発明は、カリカチュアの生成において、顔領域と背景領域の色相差を用いて顔輪郭線を抽出することで、実際のユーザと類似したカリカチュアを生成することを他の目的とする。
【００１１】
また、本発明は、カリカチュアの生成において、顔輪郭線を正確に抽出することで、実際のユーザと一層類似したカリカチュアを生成することを他の目的とする。
【００１２】
また、本発明は、自動で抽出した輪郭線をユーザが簡単なマウスクリックを介して修正することで、ユーザが所望するカリカチュアを生成することを他の目的とする。
【００１３】
また、本発明は、カリカチュアを生成するための顔輪郭線の抽出において、瞳の位置および唇の位置を用いて顔の横幅および縦幅を推定することで、これを参考に実際のユーザの顔輪郭線とほぼ類似した輪郭線を抽出することをさらに他の目的とする。
【００１４】
また、本発明は、カリカチュアを生成するために顔輪郭線を抽出することにおいて、顔範囲内で輪郭線を抽出することで、顎線のように背景領域と顔領域の色相が類似した輪郭線を抽出することをさらに他の目的とする。
【００１５】
また、本発明は、カリカチュアの生成において、顔輪郭および顔屈曲を含む陰影板を用いることで、実際の顔の立体的な容貌までも表現することを他の目的とする。
【００１６】
また、本発明は、ユーザから入力を受けたイメージデータで顔領域をポスターライジング（posterizing）することで、顔屈曲を簡単に生成できるようにすることをさらに他の目的とする。
【００１７】
また、本発明は、顔屈曲を生成するためにユーザから入力を受けたイメージデータで顔領域をポスターライジングすることにおいて、実際の顔領域の色相を用いることで、実際の顔と類似したカリカチュアを生成することをさらに他の目的とする。
【００１８】
また、本発明は、陰影板とキャラクタイメージを合成することにおいて、陰影板の透明度をユーザから入力を受けて合成比率を決定することで、多様な印象のカリカチュアを生成することをさらに他の目的とする。
【課題を解決するための手段】
【００１９】
前記の目的を達成し、従来技術の問題点を解決するために、本発明で提供するユーザから入力を受けたイメージデータを用いてカリカチュアを生成するシステムは、前記イメージデータから顔領域と背景領域を区分して生成された顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する顔形態生成部と、前記イメージデータから顔の構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部と、前記顔形態および前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部と、を含むことを特徴とする。
【００２０】
前記顔形態生成部は、前記イメージデータから瞳位置情報と唇位置情報を識別する顔構成要素位置識別部と、前記識別された瞳位置および唇位置に基づいて顔の横幅におよび縦幅を推定する顔幅推定部と、前記推定された顔の横幅および縦幅を用いて予測された顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する顔輪郭線情報抽出部と、前記顔輪郭線情報や前記イメージデータを処理して顔形態を形成する顔形態形成部と、を含む。
【００２１】
本発明の一側によれば、ユーザから入力を受けたイメージデータからカリカチュアを生成するシステムは、前記イメージデータから顔領域と背景領域を区分して生成された顔輪郭と顔屈曲を含む陰影板を生成する陰影板生成部と、前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部と、前記陰影板および前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部と、を含むことを特徴とする。
【００２２】
本発明の一側によれば、ユーザから入力を受けたイメージデータを用いてカリカチュアを生成する方法は、（a）前記イメージデータから顔領域と背景領域を区分して顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する段階と、（b）前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する段階と、（c）前記顔形態および前記キャラクタイメージを合成してカリカチュアを生成する段階と、を含むことを特徴とする。
【００２３】
前記（a）段階は、前記イメージデータから瞳位置情報および唇位置情報を識別する段階と、前記識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する段階と、前記推定された顔の横幅および縦幅を用いて予測した顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する段階と、前記抽出された顔輪郭線情報に基づいて顔形態を生成し、前記イメージデータの目、眉毛、鼻、口または耳の形状に対応する顔要素イメージを生成した後、前記顔形態に前記顔要素イメージを合成してカリカチュアを生成する段階と、を含む。
【００２４】
本発明の他の一側によれば、ユーザから入力されたイメージデータからカリカチュアを生成する方法は（a）前記イメージデータから顔輪郭および顔屈曲を含む陰影板を生成する段階と、（b）前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する段階と、（c）前記陰影板および前記キャラクタイメージを合成してカリカチュアを生成する段階と、を含むことを特徴とする。
【００２５】
また、本発明は、上述したカリカチュア生成方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００２６】
本発明によれば、ユーザが自身の写真をイメージデータとして入力するだけで、カリカチュアを簡単に生成することができる効果がある。
【００２７】
また、本発明によれば、カリカチュアの生成において、顔輪郭線を正確に抽出することで、実際のユーザと一層類似したカリカチュアを生成することができる。
【００２８】
また、本発明によれば、自動で抽出した輪郭線をユーザの簡単なマウスクリックを介して修正できるようにすることで、ユーザが所望するカリカチュアを生成することができる効果がある。
【００２９】
また、本発明によれば、カリカチュアの生成において、顔領域と背景領域との色相差を用いて顔輪郭線を抽出することで、実際のユーザと類似したカリカチュアを生成することができる。
【００３０】
また、本発明によれば、カリカチュアを生成するために顔輪郭線を抽出することにおいて、瞳の位置および唇の位置を用いて顔の横幅および縦幅を推定できるようにすることで、これを参考して実際のユーザの顔輪郭線とほぼ類似した輪郭線を抽出することができる効果がある。
【００３１】
また、本発明によれば、カリカチュアを生成するために顔輪郭線を抽出することにおいて、顔範囲内で輪郭線を抽出するようにすることで、顎線のように背景領域と顔領域の色相が類似した輪郭線を抽出することができる。
【００３２】
また、本発明によれば、カリカチュアの生成において、顔輪郭および顔屈曲を含む陰影板を用いることで、実際の顔の立体的な形状までも表現することができる効果がある。
【００３３】
また、本発明によれば、ユーザから入力を受けたイメージデータで顔領域をポスターライジングすることで、顔屈曲を簡単に生成することができる効果がある。
【００３４】
また、本発明によれば、顔屈曲を生成するためにユーザから入力を受けたイメージデータで顔領域をポスターライジングすることにおいて、実際の顔領域の色相を用いることで、実際の顔と類似したカリカチュアを生成することができる効果がある。
【００３５】
また、本発明によれば、陰影板とキャラクタイメージを合成することにおいて、陰影板の透明度をユーザからの入力を受けて合成の比率を決定することで、多様な印象のカリカチュアを生成することができる効果がある。
【発明を実施するための最良の形態】
【００３６】
以下、添付の図面を参照して、本発明の実施形態を詳しく説明する。
【００３７】
図2は、本発明の第1実施形態に係るカリカチュア生成システムの概略的な動作を説明するための図である。図2に示すように、カリカチュア生成システム120は、ユーザからイメージデータ110が入力された後、これを用いてカリカチュア130を生成する。
【００３８】
イメージデータ110は、停止映像で示されるすべてのデータを含むことができる。一例として、JPEG、GIF、TIFFまたはBMPなどの形式を有するデジタルデータであっても良いし、印画された写真などのアナログデータであっても良い。デジタルデータの場合にはフロッピィーディスク、CD−ROM、USB−Memory、通信網などのデジタル媒体を用いて入力することができるし、アナログデータの場合にはスキャナなどの変換装置を介してデジタルデータに変換した後に入力することができる。さらに、動画の場合でも、停止映像を捕獲してイメージデータ110として用いることができる。
【００３９】
カリカチュア生成システム120は、ユーザの端末機に設置されて動作することもできるし、サーバに設置されて通信網を介して前記サーバと連結したユーザの端末機を介し、イメージデータ110の入力を受けてカリカチュア130を生成した後、通信網を介して前記カリカチュア130を前記ユーザの端末機に送信したり、前記サーバ内部の保存装置に保存してユーザの必要時にユーザ端末機に送信するようにしたりすることができる。
【００４０】
図3は、図2に示されたカリカチュア生成システム120の内部構成を示したブロック図である。図3を参照すれば、カリカチュア生成システムは、イメージデータから顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する顔形態生成部210と、前記イメージデータから顔構成要素の形状を抽出し、抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部220と、前記顔形態と前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部230と、を含んで成される。顔形態情報は、顔輪郭線情報の他に抽出される瞳位置情報と、唇位置情報と、顔の縦横幅情報と、を含む。
【００４１】
カリカチュアとは「誇張されたもの」、「歪曲されたもの」を意味するイタリア語「caricatura」から来由された言葉であって、風刺画、マンガ式に描かれた絵などを意味するものである。以前は芸能人、政治家、運動選手など有名人の容姿を面白く誇張して描写するのに主に用いられていたが、最近ではインターネットにおいてユーザの特徴を示すイメージとして幅広く用いられている。本明細書の「カリカチュア」とは、特定人物の顔の特徴を用いて特定人物の実際の容姿と類似して描かれた顔イメージを意味するものであり、具体的な形態、構成要素数および表現形式にとらわれることなく幅広く解釈されるものである。
【００４２】
図4は、図3に示された本発明の第1実施形態に係るカリカチュア生成システムにおける顔形態生成部の内部構成をより詳しく示したブロック図である。図4に示すように、顔形態生成部210は、顔構成要素位置識別部210−1と、顔幅推定部210−2と、顔輪郭線情報抽出部210−3と、顔形態形成部210−4と、を含む。以下、各構成要素別にその機能について詳述する。
【００４３】
顔構成要素位置識別部210−1は、イメージデータから瞳位置情報および唇位置情報を識別する。顔構成要素位置識別部210−1で識別する瞳位置情報および唇位置情報は、イメージデータ内で瞳中央の位置に対応するピクセルの座標および唇中央の位置に対応するピクセルの座標を含むことができる。瞳位置情報および唇位置情報は、瞳の位置および唇の位置に対応するピクセルの色相と瞳および唇の周辺肌の色相との差を用いて識別することもできるし、ユーザにイメージデータを提供した後にユーザから瞳および唇の位置のクリック入力を受けてクリックされたピクセルの座標を識別することもできる。
【００４４】
顔幅推定部210−2は、顔構成要素位置識別部210−1で識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する。前記推定のためには、複数のイメージデータサンプルから抽出した瞳位置および唇位置と顔の横幅および縦幅との相関関係を用いることができ、前記相関関係はイメージデータサンプル中の人物の性別によってそれぞれ求められ、ユーザから入力されたイメージデータの人物の性別によって対応する相関関係を用いて顔幅および縦幅を推定することができる。このため、顔幅推定部210−2は、性別情報を含むユーザ性別情報データベースをさらに含むことができる。
【００４５】
一例として、顔幅推定部210−2は、2つの瞳の間の距離に基づいて顔の横幅を推定し、瞳と唇の間の距離に基づいて顔の縦幅を推定することができる。前記推定のためには、複数のイメージデータから2つの瞳の間の距離と顔の横幅をそれぞれ抽出し、これを用いて統計的に2つの瞳の間の距離と顔の横幅との相関関係を求めることができる。顔幅推定部210−2は、このようにして求められた相関関係を別途の保存装置に保存しておき、ユーザがイメージデータを入力する場合に、入力されたイメージデータから抽出した2つの瞳の間の距離に基づいて前記保存しておいた相関関係を用いて顔の横幅を推定することができる。顔の縦幅の場合も、瞳と唇の間の相関関係を用いて同様の方法で推定することができる。
【００４６】
顔輪郭線情報抽出部210−3は、顔幅推定部210−2で推定した顔の横幅および縦幅を用いて前記イメージデータ内における顔範囲を予測する。顔範囲は、顔が含まれる最小サイズの四角形を範囲とすることができ、前記顔の横幅および縦幅それぞれを前記四角形の横幅および縦幅となるようにできる。前記四角形の位置は、顔構成要素位置識別部210−1で識別した瞳および唇の位置情報を用いて予測することができる。
【００４７】
また、顔輪郭線情報抽出部210−3は、前記顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する。顔領域と背景領域は、顔領域に対応するピクセルの色相データと背景領域に対応するピクセルの色相データとの差を用いて区分することができ、前記区分された領域の境界線に対する情報を顔輪郭線情報とすることができる。しかし、顎線のように顔領域の色相と背景領域の色相を区分し難い場合には、色相データの差だけでは領域を明確に区分することができない。したがって、前記顔範囲内で領域を区分することで、既存の方法よりも正確に領域を区分することができ、これによってより正確な顔輪郭線情報を抽出し、実際の人物と一層類似したカリカチュアを生成することができる効果がある。
【００４８】
また、顔輪郭線情報抽出部210−3は、抽出した顔輪郭線情報をユーザに提供した後、ユーザから輪郭線変更情報を受信し、前記輪郭線変更情報に基づいて輪郭線情報を修正することもできる。顔幅推定部210−2では、顔の横幅および縦幅を推定する方法は統計的な方法を用いており、顔輪郭線情報抽出部210−3では前記顔の横幅および縦幅を用いて顔範囲を予測して前記顔範囲から輪郭線情報を抽出しているため、統計に対する例外が発生する場合には、実際の顔輪郭線とは異なる輪郭線情報が抽出される場合が発生することがある。このような場合には、ユーザが簡単なマウスクリックを介して抽出された顔輪郭線を修正して実際の輪郭線と一致させるようにすることで、実際の写真に一層近付いたカリカチュアを生成できるようになる。
【００４９】
顔形態形成部210−4は、顔輪郭線情報抽出部210−3で抽出した顔輪郭線情報に基づいて顔形態を生成する。顔形態は、顔輪郭線情報抽出部210−3抽出した顔輪郭線の内部に実際の顔の色相と類似した色相を塗って生成することもできるし、ユーザが入力したイメージデータから顔輪郭線内部の部分を抽出して所定の処理過程を経て生成することもできる。
【００５０】
再び図3を参照すると、キャラクタイメージ生成部220は、前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する。前記顔構成要素とは、顔において特徴を有する構成要素を意味するものであって、目、眉毛、鼻、口または耳などを含むことができる。また、キャラクタイメージとは、前記顔構成要素の特徴的な形状を表現するイメージであって、他のデジタルイメージとの合成が可能なデジタルイメージの形式を有することができる。
【００５１】
このため、キャラクタイメージ生成部220は、顔構成要素の位置を識別した後、前記把握された位置から顔構成要素を抽出することができる。顔構成要素の位置を識別するためには、顔構成要素の位置に対応するピクセルの色相と周辺肌の色相との差を用いて識別することもできるし、ユーザにイメージデータを提供してユーザによって瞳および唇の位置がクリック入力された後、クリックされたピクセルの座標を識別することもできる。このように顔構成要素の位置が把握されれば、前記把握された位置から顔構成要素と周辺肌の色相との差を用いて前記顔構成要素の輪郭線を抽出し、これによって前記顔構成要素の形状を抽出することもできる。
【００５２】
また、キャラクタイメージ生成部220は、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する。このために、キャラクタイメージ生成部220は、キャラクタイメージデータベース240に保存されたキャラクタイメージリストから前記抽出された顔構成要素の形状に対応するキャラクタイメージを抽出することもできるし、ユーザにキャラクタイメージリストを提供してユーザから選択入力を受けることもできる。また、キャラクタイメージ生成部220は、前記キャラクタイメージを生成することにおいて、前記ユーザの性別、二重まぶたの有無などを含むユーザ情報を用いることもできる。また、前記ユーザ情報を所定のユーザ情報データベースに保管しておき、キャラクタイメージを生成するときに参考とすることもできる。
【００５３】
カリカチュア生成部230は、前記顔形態に前記顔構成要素のキャラクタイメージを合成してカリカチュアを生成する。前記顔の構成要素イメージは、目、眉毛、鼻、唇、耳などの形状を示すイメージを含むことができ、複数の顔構成要素のイメージを所定の保存装置に保存した状態でユーザにリストを提供してユーザから所望するイメージの選択入力を受けることもでき、ユーザが入力したイメージデータから顔構成要素を識別し、識別した構成要素と類似した顔構成要素イメージを前記保存場所から抽出することもできる。
【００５４】
また、カリカチュア生成部230は、顔形態に顔構成要素のキャラクタイメージを合成することにおいて、顔構成要素位置識別部210−1で識別した瞳位置および唇位置に基づいてイメージが合成される位置を決定することもできる。
【００５５】
図5は、図3に示されたカリカチュア生成システム120を含む本発明に係る第1実施形態を駆動するために、瞳および唇の位置に基づいて顔幅を推定する方法を示した図である。図面符号310は、実際の写真から瞳および唇の位置に基づいて顔幅を推定する方法を示したものであり、図面符号320は、同じ図面を写真の代わりに絵によって見やすく表現したものである。
【００５６】
図5に示すように、本発明に係るカリカチュア生成システムは、イメージデータから瞳位置および唇位置を識別し、2つの瞳の間の距離（width_eyes）および瞳と唇の間の距離（height_eyemouth）を測定した後、これを用いて顔の横幅（width_face）および顔の縦幅（height_face）を推定する。前記推定のために、2つの瞳の間の距離と顔の横幅との相関関係および瞳と唇の間の距離と顔の縦幅との相関関係を用いることができる。
【００５７】
一例として、本発明に係るカリカチュア生成システムは、複数のイメージデータから2つの瞳の間の距離、瞳と唇の間の距離、顔の横幅および顔の縦幅を測定し、前記測定した値の相関関係を求めて所定の保存装置に保存しておく。ユーザがイメージデータを入力してカリカチュアを生成しようとするときに、カリカチュア生成システムは、ユーザが入力したイメージデータから2つの瞳の間の距離および瞳と唇の間の距離を測定し、保存しておいた相関関係に前記測定された値を代入して顔の横幅および顔の縦幅を推定することができる。このとき、前記相関関係は、性別によって相違して求められて別途に保存され、入力されたイメージデータの主人公の性別に対応する相関関係を適用させることもできる。
【００５８】
図6および図7は、本発明の好ましい一実施形態に係る目の間距離と顔の横幅との相関関係および目と唇の間の距離と顔の縦幅との相関関係を求めるための実験データを示した図である。図6は女性に対する実験データを示したものであり、図7は男性に対する実験データを示したものである。
【００５９】
図6および図7に示すように、本発明に係るカリカチュア生成システムは、複数のサンプルイメージデータから2つの瞳の間の距離、瞳と唇の間の距離、顔の横幅および顔の縦幅を測定し、それぞれのサンプルイメージデータ別に2つの瞳の間の距離と顔の横幅の比率（ratio eye／face）および瞳と唇の間の距離と顔の縦幅の比率（ratio height／face）を計算する。
【００６０】
図6および図7に示された実験データによれば、前記ratio eye／faceおよびratio height／faceはサンプルイメージデータ別にほぼ一定した値を有することを知ることができるため、2つの瞳の間の距離と顔の横幅、瞳と唇の間の距離と顔の縦幅は線形的な1次の相関関係を有することを確認することができる。したがって、2つの瞳の間の距離および瞳と唇の間の距離を測定することができれば、前記測定した比率を適用して顔の横幅および縦幅を推定することができる。
【００６１】
また、図6のデータと図7のデータを比較すると、男性と女性とではratio eye／faceおよびratio height／faceに差を有することを知ることができる。データによれば、男性の場合にはratio eye／faceが0．4〜0．5の範囲に存在している反面、女性の場合は0．3〜0．35の範囲に存在している。また、男性の場合にはratio height／faceが0．3〜0．4の範囲に存在している反面、女性の場合には0．4〜0．5の範囲に存在している。このように性別によって相関関係が異なる特徴があるため、2つの瞳の間の距離、瞳と唇の間の距離を用いて顔の横幅および縦幅を推定することにおいて、イメージデータの主人公の性別に対する情報を用いれば、より正確に顔の横幅および縦幅を推定することもできる。
【００６２】
図8は、本発明に係る一実施形態において、顔範囲内で顔領域と背景領域を区分する方法を示した図である。
【００６３】
図面符合601で示すように、本発明に係るカリカチュア生成システムは、顔の横幅および縦幅を用いて顔範囲610を予測する。前記顔範囲は顔が含まれる最小限の四角形とすることができ、顔の横幅および縦幅はそれぞれ前記四角形の横幅および縦幅になることができる。
【００６４】
図面符号602で示すように、本発明に係るカリカチュア生成システムは、前記顔範囲610内で顔領域620と背景領域630を区分して顔輪郭線640を抽出する。前記顔領域620と背景領域630は、それぞれその色相の差を用いて区分することができ、顎線のように顔輪郭線640を明確に区分し難い部分は、顔範囲の境界を顔輪郭線とすることもできる。
【００６５】
図9は本発明の第1実施形態に係るカリカチュア生成方法の流れを示したフローチャートであり、図10は図9の段階720をより詳しく説明したフローチャートである。
【００６６】
段階710でユーザからイメージデータの入力を受け、段階720で顔輪郭線情報を含む顔形態情報を抽出する。
【００６７】
段階720を図10を参照して説明すれば、まず、ユーザから入力されたイメージデータから瞳位置情報および唇位置情報を識別する（720−1）。識別する瞳位置情報および唇位置情報は、イメージデータ内で瞳中央の位置に対応するピクセルの座標および唇中央の位置に対応するピクセルの座標を含むことができる。瞳位置情報および唇位置情報は、瞳の位置および唇の位置に対応するピクセルの色相と瞳および唇の周辺肌の色相との差を用いて識別することもできるし、ユーザにイメージデータを提供してユーザから瞳および唇の位置に対するクリック入力を受けた後、クリックされたピクセルの座標を識別することもできる。
【００６８】
段階720−2では、段階720−1で識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する。前記推定のためには、複数のイメージデータサンプルから抽出した瞳位置および唇位置と顔の横幅および縦幅との相関関係を用いることができ、前記相関関係はイメージデータサンプル中の人物の性別によってそれぞれ別途で求められ、ユーザから入力されたイメージデータの人物の性別によって対応する相関関係を用いて顔の横幅および縦幅を推定することができる。
【００６９】
段階720−3では、段階720−2で推定した顔の横幅および縦幅を用いて前記イメージデータ内における顔範囲を予測する。顔範囲は顔が含まれる最小サイズの四角形を範囲とすることができ、前記顔の横幅および縦幅それぞれを前記四角形の横幅および縦幅とすることができる。また、前記四角形の位置は、段階720−1で識別した瞳および唇の位置情報を用いて予測することができる。
【００７０】
また、段階720−3では、前記顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する。顔領域と背景領域は、顔領域に対応するピクセルの色相データと背景領域に対応するピクセルの色相データとの差を用いて区分することができ、前記区分された領域の境目に対する情報を顔輪郭線情報とすることができる。しかし、顎線のように顔領域の色相と背景領域の色相を区分し難い場合には、色相データの差だけでは明確に領域を区分することができない。したがって、前記顔範囲内で領域を区分することによって、既存の方法より領域を正確に区分することができ、これによってより正確な顔輪郭線情報を抽出し、実際の人物と一層類似したカリカチュアを生成することができる効果がある。
【００７１】
また、段階720−3では、抽出した顔輪郭線情報をユーザに提供した後にユーザから輪郭線変更情報を受信し、前記輪郭線変更情報に基づいて輪郭線情報を修正することもできる。
【００７２】
段階720−4では、段階720−3で抽出した顔輪郭線情報に基づいて顔形態を生成する。顔形態は、段階720−3で抽出した顔輪郭線の内部に実際の顔の色相と類似した色相を塗って生成することもできるし、ユーザが入力したイメージデータから顔輪郭線内部の部分を抽出し、所定の処理過程を経て生成することもできる。
【００７３】
再び図9を参照すれば、段階730では、前記イメージデータから顔の構成要素の形状を抽出し、前記構成要素の形状に対応するキャラクタイメージを生成する。前記顔の構成要素の形状は、目、眉毛、鼻、唇、耳などの形状を示すイメージを含むことができ、複数の顔構成要素のイメージを所定の保存装置に保存した後にユーザにリストを提供し、ユーザから所望するイメージの選択入力を受けることもできるし、ユーザが入力したイメージデータから顔構成要素を識別し、識別した構成要素と類似したイメージを前記保存場所から抽出することもできる。
【００７４】
段階740では、前記顔形態に生成した顔構成要素のキャラクタイメージを合成してカリカチュアを生成する。前記合成には、段階720−1で識別した瞳位置および唇位置を用いることもできる。
【００７５】
以下、本発明の第2実施形態に係るカリカチュア生成システムおよびカリカチュア生成方法について、図面を参照して詳しく説明する。
【００７６】
図11は、本発明の第2実施形態に係るカリカチュア生成システムの内部構成図を示したブロック図である。図11に示すように、カリカチュア生成シテムは、陰影板生成部210'と、キャラクタイメージ生成部220と、カリカチュア生成部230と、を含み、キャラクタイメージデータベース240をさらに含むことができる。
【００７７】
陰影板生成部210'は、ユーザから入力を受けたイメージデータから顔輪郭および顔屈曲を含む陰影板を生成する。前記イメージデータは、ユーザが入力したデータを陰影板生成部210'で用いることができる形式に変換したものであっても良い。一例として、ユーザがJPEG（joint photographic coding experts group）、GIF（graphics interchange format）などの圧縮された形式のイメージデータを入力した場合には、BMP（bit map）形式のようにすべてのピクセル（pixel）の色相データを含むイメージ形式に変換して用いることもできるし、ユーザが実際の写真などのアナログデータを入力した場合には、スキャナなどの変換装置を用いてデジタルデータに変換して用いることもできる。また、前記顔輪郭は顔と背景の境界線を意味するものであって顔の平面的な特徴を表現し、前記顔屈曲は顔の凹凸程度を意味するものであって顔の立体的な特徴を表現する。
【００７８】
陰影板生成部210'は、陰影板を生成するためにイメージデータから顔輪郭を抽出する。前記抽出のために、陰影板生成部210'は、イメージデータから顔領域と背景領域を区分してその境界線を識別することができる。一例として、イメージデータの各ピクセル別に色相データ値を比較し、色相データ値が大きく変わる部分を境界線として識別することができる。
【００７９】
また、陰影板生成部210'は、陰影板を生成するためにイメージデータから顔屈曲を生成する。前記顔屈曲を生成するために、陰影板生成部210'は、ポスターライジング方法を用いることができる。ポスターライジングとは、映像で各ピクセルが有し得る明暗値の範囲を縮小することを意味するものであって、ポスターライジング過程を経ればイメージデータが所定数の色相のみを用いるものに変換されるようになる。
【００８０】
したがって、ポスターライジング過程を経たイメージデータは、全体的に薄暗く表示されて各部分の具体的な形態を明確に区分し難くなるため、顔領域に対してポスターライジングを遂行すれば顔の構成要素は薄暗く消され、結果的には全体的な顔屈曲だけが残るようになる。また、ポスターライジングは、所定数の色相のみを用いるものであり、前記色相をどの色相を中心として決定するのかによって他のイメージが生成されるようになる。したがって、陰影版生成部210’では、前記ポスターライジングの基礎となる色相を決定することができ、前記色相はユーザから入力を受けたイメージデータにおいて顔領域部分の色相に基づいて決定することができる。この他にも、イメージデータに基づいて顔輪郭を実際の顔と類似して生成することができる方法があれば、いかなる方法であっても本発明に適用させることができる。例えば、発明の第1実施形態に係るカリカチュア生成システムにおいて顔輪郭線を抽出する方法を本発明に適用することができるであろう。
【００８１】
キャラクタイメージ生成部220については、上述した発明の第1実施形態に係るカリカチュア生成システムの説明を参照する。
【００８２】
カリカチュア生成部230は、陰影板生成部210で生成した陰影板にキャラクタイメージ生成部220で生成したキャラクタイメージを合成してカリカチュアを生成する。前記陰影板および前記キャラクタイメージは、ピクセルごとに色相データを有するBMP形式を有することができ、重なるピクセルの色相データをそれぞれ所定の比率によって加えて2つのイメージを合成することができる。また、前記ピクセルの色相データは、R（Red）、G（Green）、B（Blue）の3種類の値に区分することができ、前記RGB値をそれぞれ所定の比率によって加えて合成を遂行することができる。
【００８３】
また、カリカチュア生成部230では、ユーザから陰影板の透明度値の入力を受け、前記陰影板の透明度値に基づいて前記合成を遂行することができる。前記陰影版の透明度は、各ピクセルの色相データを加えることにおいて陰影板に該当するピクセルの色相データの比率を意味することができる。前記陰影板の透明度は0〜1の値を有することができ、合成は次の数式1に基づいて成される。
【００８４】
dstR＝picR×alpha＋chaR×（1−alpha）
dstG＝picG×alpha＋chaG×（1−alpha）
dstB＝picB×alpha＋chaB×（1−alpha）・・・（数式1）
ここで、前記数学式（1）において、alphaは前記陰影板の透明度、dstR、dstG、dstBは合成されたカリカチュアのRGB値、picR、picG、picBは陰影板のRGB値、chaR、chaG、chaBはキャラクタイメージのRGB値を意味する。
【００８５】
キャラクタイメージデータベース240は、顔構成要素に対応するキャラクタイメージを保存する。キャラクタイメージデータベース240は複数のキャラクタイメージを保存し、キャラクタイメージ生成部220でキャラクタイメージリストから顔構成要素の形状に対応するキャラクタイメージを抽出する場合には、前記顔構成要素の形状に対応するキャラクタイメージを検索して提供する。キャラクタイメージデータベース240は、目、眉毛、鼻、口または耳などの顔構成要素別に区分してキャラクタイメージを保存することができる。
【００８６】
図12は、本発明の第2実施形態に係るカリカチュア生成システムに導入されるポスターライジングを用いて生成した陰影板を示したものである。
【００８７】
図12に示すように、本発明の一実施形態に係るカリカチュア生成システムは、イメージデータを所定の色相でポスターライジングして陰影板を生成することができる。図面符号301は、ユーザから入力を受けたイメージデータから抽出した顔領域を示したものであり、図面符号302は、前記顔領域を前記イメージデータにおける顔領域の肌色に基づいてポスターライジングして生成した陰影板を示したものである。このように、ポスターライジングを介して生成された陰影板は、顔屈曲を含んではいるが顔構成要素は薄暗くて正確に見えないため、後でキャラクタイメージを合成しても本来の顔構成要素と重なって見えないことがある。
【００８８】
図13は、本発明に係る一実施形態において、陰影板の透明度によって変化するカリカチュアを示した図である。
【００８９】
図13に示すように、本発明に係るカリカチュア生成システムは、陰影板とキャラクタイメージを合成することにおいて、陰影板の透明度に基づいて合成の比率を決定することができる。前記陰影板の透明度とは、前記合成において陰影板が占める比率を意味することができ、0〜1の値を有することができる。図面符号401は陰影板の透明度が0の場合であり、図面符号404は陰影板の透明度が1の場合である。また、図面符号402および図面符号403は陰影板の透明度がその中間値を有することを示しており、図面符号401から図面符号404側に行くほど陰影板の透明度が高くなる。
【００９０】
このように、陰影板の透明度が低い場合には顔屈曲がはっきり表れないため絵のように感じられ、陰影板の透明度が高い場合には顔屈曲がはっきり表れるため実際の写真と類似したように感じられるようになる。前記陰影板の透明度は、ユーザから入力を受けて用いることができる。
【００９１】
図14は、本発明の好ましい一実施形態に係るキャラクタイメージデータベース240を示した図である。
【００９２】
図14に示すように、キャラクタイメージデータベース240は、目、眉毛、鼻、口または耳のような顔構成要素に対応するキャラクタイメージを保存し、それぞれの顔構成要素別に個別に保存される。一例として、キャラクタイメージ生成部220において、ユーザから入力を受けたイメージデータから目の形状を抽出した場合、キャラクタイメージデータベース240において、顔構成要素フィールドが「目」であるレコード中から前記抽出した目の形状と最も類似したキャラクタイメージを抽出してキャラクタイメージを生成することができる。さらに他の一例として、ユーザから目の形状に対応するキャラクタイメージの選択入力を受ける場合には、キャラクタイメージデータベース240から顔構成要素フィールドが「目」であるレコードのリストをユーザに提供し、前記リスト中から選択入力されるようにすることもできる。
【００９３】
図15は、本発明の一実施形態において、ユーザからカリカチュアの髪型および目の形状の選択入力を受ける画面を示した図である。図面符号610は本発明に係るカリカチュア生成システムで生成したカリカチュアあり、図面符号620は前記カリカチュアの目形状を選択する画面であり、図面符号630は前記カリカチュアの髪型を選択する画面ある。また、図面符号640は、前記図面符号630で選択した髪型によって変化するカリカチュアを示したものである。
【００９４】
図15に示すように、本発明に係るカリカチュア生成システムは、ユーザがカリカチュアの顔構成要素イメージを自由に選択できるようにし、ユーザが髪型、アクセサリ、衣装などを選択して自身のカリカチュアを自由に装飾できるようにすることで、ユーザが所望する通りにカリカチュアを介して自身を表現できるようにする効果がある。
【００９５】
図16は、本発明によって生成されたカリカチュアを移動端末機で用いる一例を示した図である。
【００９６】
図16に示すように、本発明によって生成されたカリカチュアは、移動端末機内で自分を表現するイメージとして用いることができ、この他にもインターネットコミュニティ、個人ホームページ、インターネットゲームサイトなどでユーザを表現するイメージとして多様に用いることができる。本発明によれば、より多くの顔屈曲を含む陰影板を用いて自分の特徴をより表現できるカリカチュアを生成することができるため、有無線を介して連結されるインターネット上で自分を表現するイメージとして幅広く用いることができる。
【００９７】
図17は、本発明に第2実施形態に係るカリカチュア生成方法の流れを示したフローチャートである。
【００９８】
段階801では、ユーザから入力を受けたイメージデータから顔輪郭および顔屈曲を含む陰影板を生成する。前記陰影板における顔輪郭は、前記イメージデータで顔領域と背景領域との色相差を用いて生成することができ、前記顔屈曲はポスターライジングを用いて簡単に生成することができる。前記ポスターライジングとは、映像で各ピクセルが有し得る明暗値の範囲を縮小することを意味するものであって、所定の色相に基づいて遂行される。前記所定の色相は、前記顔領域の色相を用いて決定することができる。
【００９９】
段階802では、前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する。前記顔構成要素の形状は、顔構成要素の色相と周辺肌色相との差を用いて抽出することができ、前記キャラクタイメージは、キャラクタイメージリストから前記抽出された顔構成要素の形状に対応するキャラクタイメージを抽出することもできるし、ユーザにキャラクタイメージリストを提供してユーザから選択入力を受けることもできる。また、前記キャラクタイメージの生成において、ユーザの性別、二重まぶたの有無などを含むユーザ情報を用いることもできる。また、前記ユーザ情報を所定のユーザ情報データベースに保管しておき、キャラクタイメージを生成するときに参考とすることもできる。
【０１００】
段階803では、段階801で生成した陰影板と段階802で生成したキャラクタイメージを合成してカリカチュアを生成する。前記陰影板および前記キャラクタイメージはピクセルごとに色相データ有するBMP形式を有することができ、重なるピクセルの色相データをそれぞれ所定の比率によって加えて2つのイメージを合成することができる。また、前記ピクセルの色相データは、R（Red）、G（Green）、B（Blue）の3種類の値に区分することができ、前記RGB値をそれぞれ所定の割合によって加えて合成を遂行することができる。
【０１０１】
また、段階803では、ユーザによって陰影板の透明度値が入力され、前記陰影板の透明度値に基づいて前記合成を遂行することができる。前記陰影板の透明度は、各ピクセルの色相データを加えることにおいて、陰影板に該当するピクセルの色相データの比率を意味することができる。前記陰影板の透明度は0〜1の値を有することができ、合成は次の数式2に基づいて成される。
【０１０２】
dstR＝picR×alpha＋chaR×（1−alpha）
dstG＝picG×alpha＋chaG×（1−alpha）
dstB＝picB×alpha＋chaB×（1−alpha）・・・（数式2）
ここで、前記数学式（2）において、alphaは前記陰影板の透明度、dstR、dstG、dstBは合成されたカリカチュアのRGB値、picR、picG、picBは陰影板のRGB値、chaR、chaG、chaBはキャラクタイメージのRGB値を意味する。
【０１０３】
本発明の第1および第2実施形態に係るカリカチュア生成方法は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読み取り可能な媒体を含む。前記媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともできる。前記媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。前記媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【０１０４】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【図面の簡単な説明】
【０１０５】
【図１】従来技術に係るカリカチュアの製作方法を示したフローチャートである。
【図２】本発明の実施形態に係るカリカチュアシステムの概略的な動作を説明するための図である。
【図３】本発明の第1実施形態に係るカリカチュア生成システムの内部構成を示したブロック図である。
【図４】図3の顔形態生成部の内部構成を示したブロック図である。
【図５】本発明に係る一実施形態において瞳および唇の位置に基づいて顔幅を推定する方法を示した図である。
【図６】本発明の好ましい一実施形態に係る女性の目の間距離と顔の横幅との間の相関関係および女性の目と唇の間の距離と顔の縦幅との相関関係を求めるための実験データを示した図である。
【図７】本発明の好ましい一実施形態に係る男性の目の間距離と顔の横幅との間の相関関係および男性の目と唇の間の距離と顔の縦幅との相関関係を求めるための実験データを示した図である。
【図８】本発明に係る一実施形態において顔範囲内で顔領域と背景領域を区分する方法を示した図である。
【図９】本発明の第1実施形態に係るカリカチュア生成方法の流れを示したフローチャートである。
【図１０】図9の顔形態生成段階720をさらに詳しく説明したフローチャートである。
【図１１】本発明の第2実施形態に係るカリカチュア生成システムの内部構成を示したブロック図である。
【図１２】本発明に係る一実施形態においてポスターライジングを用いて生成した陰影板を示した図である。
【図１３】本発明に係る一実施形態において陰影板の透明度によって変化するカリカチュアを示した図である。
【図１４】本発明の好ましい一実施形態に係るキャラクタイメージデータベースを示した図である。
【図１５】本発明の一実施形態においてユーザからカリカチュアの髪型および目の形状が選択入力される画面を示した図である。
【図１６】本発明によって生成されたカリカチュアを移動端末機で用いる一例を示した図である。
【図１７】本発明の第2実施形態に係るカリカチュア生成方法の流れを示したフローチャートである。
【技術分野】
【０００１】
本発明は、カリカチュアを生成するシステムおよび方法に関し、より詳細には、ユーザからイメージデータの入力を受けて顔情報を抽出するカリカチュアを生成するシステムおよび方法に関する。
【背景技術】
【０００２】
最近、インターネットコミュニティーサイト、インターネットショッピングモールサイト、インターネットゲームサイトを利用するユーザの増加に伴い、アバタ、ゲームキャラクタなどインターネット上で自分を表現することができるキャラクタを自分と同一視する傾向が一般化している。このようなユーザの要求を満たすために、インターネットサイトでは、ユーザがそれぞれの構成要素を組み合わせて自分の容姿と類似したキャラクタを生成することができるように、多様な顔型、髪型、目、鼻、口などの顔の各要素、表情などを提供している。
【０００３】
しかし、このように与えられた構成要素を組み合わせてキャラクタを生成する方法は、構成要素がどんなに多様に提供されたとしてもユーザの欲求を完全に満たすことはできないし、ユーザのキャラクタが互いに類似する場合も多いため、個性あるキャラクタをユーザに提供することに限界が生じてしまう。また、インターネットサイト側でも、最大限に多様な構成要素を提供するためには、デザインやイメージ製作などの作業に多くの人力と時間を投入せざるを得なくなる。
【０００４】
したがって、最近では、写真などのイメージデータを用いて自動的にカリカチュアを生成し、これを用いてユーザと類似したキャラクタを生成できるようにする方法が紹介されている。例えば、大韓民国登録特許第10−376760号に公開されているカリカチュア製作方法は、ユーザが提供したソース写真を用いて写真の各部分を分析し、各部分のカリカチュアモデルをデータベースから抽出し、前記抽出された各部分を合成した後、必要な背景イメージを合成するという方法によってカリカチュアを製作している。
【０００５】
図1は、前記のような従来技術のカリカチュア製作方法を示した図である。図1を参照すると、従来のカリカチュアを製作するための写真入力段階において、カリカチュアを製作するためのソース写真をカリカチュア自動製造機の写真入力口に入力する（100）。この写真は有名芸能人の写真などであっても良いが、一般的にはユーザ自身の顔写真とする。ソース写真が入力されれば、写真に盛り込まれた各部分、すなわち顔を構成する各要素として顔形態、目、鼻、口などに対する分析が成され（102）、分析された各要素に対してカリカチュアとして用いる適切なモデルを抽出する（104）。このモデルは、人物の各部分に対してすでに構築されているデータベースを用いて抽出を進行する。例えば、顔形態の場合は、顔の明暗を計算して抽出された情報に基づいて全体的な顔形態を完成し、目、鼻および口の場合は、各部分の位置およびの比率を計算してデータベースから抽出する。
【０００６】
顔の各要素に対する抽出が完成すればこれを合成し（106）、合成された顔に対するデータを入力して髪型データベースから合成された顔に適合した髪型を選択して（108）顔を完成させる（109）。この後、カリカチュアの体を選択するようになるが（112）、身体の他の部分に対しても同じ方式で選択が遂行される。これに背景イメージを合成して（114）、カリカチュアを完成させる（116）。
【０００７】
このような方法を用いれば、ユーザが自身の写真をイメージデータで入力するだけで、プログラムが内蔵された自動化機器から自分の容貌と類似したキャラクタを容易に生成することができる効果がある。しかし、既存のカリカチュア自動生成方法は、写真から実際の顔の位置および範囲を正確に判断することができない場合が多く、顔の輪郭線を正確に把握するのが困難であり、特にイメージデータにおける顔の顎線部分は一般的に首と顎が同じ色であるため、その境界を正確に把握し難いという問題点があった。
【０００８】
また、イメージプログラムが内蔵された自動化機器を用いる場合は、ユーザがすでに保存されたデータベースから選択することに限られるため、自身の顔の明暗や輪郭線を直接修正することができず、立体感やリアリティが低下することにより、実際の人物と類似したカリカチュアの生成が困難であるという短所があった。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、前記のような従来技術を改善するために案出されたものであって、ユーザが自分の写真をイメージデータで入力するだけで、カリカチュアを簡単に生成することを目的とする。
【００１０】
また、本発明は、カリカチュアの生成において、顔領域と背景領域の色相差を用いて顔輪郭線を抽出することで、実際のユーザと類似したカリカチュアを生成することを他の目的とする。
【００１１】
また、本発明は、カリカチュアの生成において、顔輪郭線を正確に抽出することで、実際のユーザと一層類似したカリカチュアを生成することを他の目的とする。
【００１２】
また、本発明は、自動で抽出した輪郭線をユーザが簡単なマウスクリックを介して修正することで、ユーザが所望するカリカチュアを生成することを他の目的とする。
【００１３】
また、本発明は、カリカチュアを生成するための顔輪郭線の抽出において、瞳の位置および唇の位置を用いて顔の横幅および縦幅を推定することで、これを参考に実際のユーザの顔輪郭線とほぼ類似した輪郭線を抽出することをさらに他の目的とする。
【００１４】
また、本発明は、カリカチュアを生成するために顔輪郭線を抽出することにおいて、顔範囲内で輪郭線を抽出することで、顎線のように背景領域と顔領域の色相が類似した輪郭線を抽出することをさらに他の目的とする。
【００１５】
また、本発明は、カリカチュアの生成において、顔輪郭および顔屈曲を含む陰影板を用いることで、実際の顔の立体的な容貌までも表現することを他の目的とする。
【００１６】
また、本発明は、ユーザから入力を受けたイメージデータで顔領域をポスターライジング（posterizing）することで、顔屈曲を簡単に生成できるようにすることをさらに他の目的とする。
【００１７】
また、本発明は、顔屈曲を生成するためにユーザから入力を受けたイメージデータで顔領域をポスターライジングすることにおいて、実際の顔領域の色相を用いることで、実際の顔と類似したカリカチュアを生成することをさらに他の目的とする。
【００１８】
また、本発明は、陰影板とキャラクタイメージを合成することにおいて、陰影板の透明度をユーザから入力を受けて合成比率を決定することで、多様な印象のカリカチュアを生成することをさらに他の目的とする。
【課題を解決するための手段】
【００１９】
前記の目的を達成し、従来技術の問題点を解決するために、本発明で提供するユーザから入力を受けたイメージデータを用いてカリカチュアを生成するシステムは、前記イメージデータから顔領域と背景領域を区分して生成された顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する顔形態生成部と、前記イメージデータから顔の構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部と、前記顔形態および前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部と、を含むことを特徴とする。
【００２０】
前記顔形態生成部は、前記イメージデータから瞳位置情報と唇位置情報を識別する顔構成要素位置識別部と、前記識別された瞳位置および唇位置に基づいて顔の横幅におよび縦幅を推定する顔幅推定部と、前記推定された顔の横幅および縦幅を用いて予測された顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する顔輪郭線情報抽出部と、前記顔輪郭線情報や前記イメージデータを処理して顔形態を形成する顔形態形成部と、を含む。
【００２１】
本発明の一側によれば、ユーザから入力を受けたイメージデータからカリカチュアを生成するシステムは、前記イメージデータから顔領域と背景領域を区分して生成された顔輪郭と顔屈曲を含む陰影板を生成する陰影板生成部と、前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部と、前記陰影板および前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部と、を含むことを特徴とする。
【００２２】
本発明の一側によれば、ユーザから入力を受けたイメージデータを用いてカリカチュアを生成する方法は、（a）前記イメージデータから顔領域と背景領域を区分して顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する段階と、（b）前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する段階と、（c）前記顔形態および前記キャラクタイメージを合成してカリカチュアを生成する段階と、を含むことを特徴とする。
【００２３】
前記（a）段階は、前記イメージデータから瞳位置情報および唇位置情報を識別する段階と、前記識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する段階と、前記推定された顔の横幅および縦幅を用いて予測した顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する段階と、前記抽出された顔輪郭線情報に基づいて顔形態を生成し、前記イメージデータの目、眉毛、鼻、口または耳の形状に対応する顔要素イメージを生成した後、前記顔形態に前記顔要素イメージを合成してカリカチュアを生成する段階と、を含む。
【００２４】
本発明の他の一側によれば、ユーザから入力されたイメージデータからカリカチュアを生成する方法は（a）前記イメージデータから顔輪郭および顔屈曲を含む陰影板を生成する段階と、（b）前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する段階と、（c）前記陰影板および前記キャラクタイメージを合成してカリカチュアを生成する段階と、を含むことを特徴とする。
【００２５】
また、本発明は、上述したカリカチュア生成方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００２６】
本発明によれば、ユーザが自身の写真をイメージデータとして入力するだけで、カリカチュアを簡単に生成することができる効果がある。
【００２７】
また、本発明によれば、カリカチュアの生成において、顔輪郭線を正確に抽出することで、実際のユーザと一層類似したカリカチュアを生成することができる。
【００２８】
また、本発明によれば、自動で抽出した輪郭線をユーザの簡単なマウスクリックを介して修正できるようにすることで、ユーザが所望するカリカチュアを生成することができる効果がある。
【００２９】
また、本発明によれば、カリカチュアの生成において、顔領域と背景領域との色相差を用いて顔輪郭線を抽出することで、実際のユーザと類似したカリカチュアを生成することができる。
【００３０】
また、本発明によれば、カリカチュアを生成するために顔輪郭線を抽出することにおいて、瞳の位置および唇の位置を用いて顔の横幅および縦幅を推定できるようにすることで、これを参考して実際のユーザの顔輪郭線とほぼ類似した輪郭線を抽出することができる効果がある。
【００３１】
また、本発明によれば、カリカチュアを生成するために顔輪郭線を抽出することにおいて、顔範囲内で輪郭線を抽出するようにすることで、顎線のように背景領域と顔領域の色相が類似した輪郭線を抽出することができる。
【００３２】
また、本発明によれば、カリカチュアの生成において、顔輪郭および顔屈曲を含む陰影板を用いることで、実際の顔の立体的な形状までも表現することができる効果がある。
【００３３】
また、本発明によれば、ユーザから入力を受けたイメージデータで顔領域をポスターライジングすることで、顔屈曲を簡単に生成することができる効果がある。
【００３４】
また、本発明によれば、顔屈曲を生成するためにユーザから入力を受けたイメージデータで顔領域をポスターライジングすることにおいて、実際の顔領域の色相を用いることで、実際の顔と類似したカリカチュアを生成することができる効果がある。
【００３５】
また、本発明によれば、陰影板とキャラクタイメージを合成することにおいて、陰影板の透明度をユーザからの入力を受けて合成の比率を決定することで、多様な印象のカリカチュアを生成することができる効果がある。
【発明を実施するための最良の形態】
【００３６】
以下、添付の図面を参照して、本発明の実施形態を詳しく説明する。
【００３７】
図2は、本発明の第1実施形態に係るカリカチュア生成システムの概略的な動作を説明するための図である。図2に示すように、カリカチュア生成システム120は、ユーザからイメージデータ110が入力された後、これを用いてカリカチュア130を生成する。
【００３８】
イメージデータ110は、停止映像で示されるすべてのデータを含むことができる。一例として、JPEG、GIF、TIFFまたはBMPなどの形式を有するデジタルデータであっても良いし、印画された写真などのアナログデータであっても良い。デジタルデータの場合にはフロッピィーディスク、CD−ROM、USB−Memory、通信網などのデジタル媒体を用いて入力することができるし、アナログデータの場合にはスキャナなどの変換装置を介してデジタルデータに変換した後に入力することができる。さらに、動画の場合でも、停止映像を捕獲してイメージデータ110として用いることができる。
【００３９】
カリカチュア生成システム120は、ユーザの端末機に設置されて動作することもできるし、サーバに設置されて通信網を介して前記サーバと連結したユーザの端末機を介し、イメージデータ110の入力を受けてカリカチュア130を生成した後、通信網を介して前記カリカチュア130を前記ユーザの端末機に送信したり、前記サーバ内部の保存装置に保存してユーザの必要時にユーザ端末機に送信するようにしたりすることができる。
【００４０】
図3は、図2に示されたカリカチュア生成システム120の内部構成を示したブロック図である。図3を参照すれば、カリカチュア生成システムは、イメージデータから顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する顔形態生成部210と、前記イメージデータから顔構成要素の形状を抽出し、抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部220と、前記顔形態と前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部230と、を含んで成される。顔形態情報は、顔輪郭線情報の他に抽出される瞳位置情報と、唇位置情報と、顔の縦横幅情報と、を含む。
【００４１】
カリカチュアとは「誇張されたもの」、「歪曲されたもの」を意味するイタリア語「caricatura」から来由された言葉であって、風刺画、マンガ式に描かれた絵などを意味するものである。以前は芸能人、政治家、運動選手など有名人の容姿を面白く誇張して描写するのに主に用いられていたが、最近ではインターネットにおいてユーザの特徴を示すイメージとして幅広く用いられている。本明細書の「カリカチュア」とは、特定人物の顔の特徴を用いて特定人物の実際の容姿と類似して描かれた顔イメージを意味するものであり、具体的な形態、構成要素数および表現形式にとらわれることなく幅広く解釈されるものである。
【００４２】
図4は、図3に示された本発明の第1実施形態に係るカリカチュア生成システムにおける顔形態生成部の内部構成をより詳しく示したブロック図である。図4に示すように、顔形態生成部210は、顔構成要素位置識別部210−1と、顔幅推定部210−2と、顔輪郭線情報抽出部210−3と、顔形態形成部210−4と、を含む。以下、各構成要素別にその機能について詳述する。
【００４３】
顔構成要素位置識別部210−1は、イメージデータから瞳位置情報および唇位置情報を識別する。顔構成要素位置識別部210−1で識別する瞳位置情報および唇位置情報は、イメージデータ内で瞳中央の位置に対応するピクセルの座標および唇中央の位置に対応するピクセルの座標を含むことができる。瞳位置情報および唇位置情報は、瞳の位置および唇の位置に対応するピクセルの色相と瞳および唇の周辺肌の色相との差を用いて識別することもできるし、ユーザにイメージデータを提供した後にユーザから瞳および唇の位置のクリック入力を受けてクリックされたピクセルの座標を識別することもできる。
【００４４】
顔幅推定部210−2は、顔構成要素位置識別部210−1で識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する。前記推定のためには、複数のイメージデータサンプルから抽出した瞳位置および唇位置と顔の横幅および縦幅との相関関係を用いることができ、前記相関関係はイメージデータサンプル中の人物の性別によってそれぞれ求められ、ユーザから入力されたイメージデータの人物の性別によって対応する相関関係を用いて顔幅および縦幅を推定することができる。このため、顔幅推定部210−2は、性別情報を含むユーザ性別情報データベースをさらに含むことができる。
【００４５】
一例として、顔幅推定部210−2は、2つの瞳の間の距離に基づいて顔の横幅を推定し、瞳と唇の間の距離に基づいて顔の縦幅を推定することができる。前記推定のためには、複数のイメージデータから2つの瞳の間の距離と顔の横幅をそれぞれ抽出し、これを用いて統計的に2つの瞳の間の距離と顔の横幅との相関関係を求めることができる。顔幅推定部210−2は、このようにして求められた相関関係を別途の保存装置に保存しておき、ユーザがイメージデータを入力する場合に、入力されたイメージデータから抽出した2つの瞳の間の距離に基づいて前記保存しておいた相関関係を用いて顔の横幅を推定することができる。顔の縦幅の場合も、瞳と唇の間の相関関係を用いて同様の方法で推定することができる。
【００４６】
顔輪郭線情報抽出部210−3は、顔幅推定部210−2で推定した顔の横幅および縦幅を用いて前記イメージデータ内における顔範囲を予測する。顔範囲は、顔が含まれる最小サイズの四角形を範囲とすることができ、前記顔の横幅および縦幅それぞれを前記四角形の横幅および縦幅となるようにできる。前記四角形の位置は、顔構成要素位置識別部210−1で識別した瞳および唇の位置情報を用いて予測することができる。
【００４７】
また、顔輪郭線情報抽出部210−3は、前記顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する。顔領域と背景領域は、顔領域に対応するピクセルの色相データと背景領域に対応するピクセルの色相データとの差を用いて区分することができ、前記区分された領域の境界線に対する情報を顔輪郭線情報とすることができる。しかし、顎線のように顔領域の色相と背景領域の色相を区分し難い場合には、色相データの差だけでは領域を明確に区分することができない。したがって、前記顔範囲内で領域を区分することで、既存の方法よりも正確に領域を区分することができ、これによってより正確な顔輪郭線情報を抽出し、実際の人物と一層類似したカリカチュアを生成することができる効果がある。
【００４８】
また、顔輪郭線情報抽出部210−3は、抽出した顔輪郭線情報をユーザに提供した後、ユーザから輪郭線変更情報を受信し、前記輪郭線変更情報に基づいて輪郭線情報を修正することもできる。顔幅推定部210−2では、顔の横幅および縦幅を推定する方法は統計的な方法を用いており、顔輪郭線情報抽出部210−3では前記顔の横幅および縦幅を用いて顔範囲を予測して前記顔範囲から輪郭線情報を抽出しているため、統計に対する例外が発生する場合には、実際の顔輪郭線とは異なる輪郭線情報が抽出される場合が発生することがある。このような場合には、ユーザが簡単なマウスクリックを介して抽出された顔輪郭線を修正して実際の輪郭線と一致させるようにすることで、実際の写真に一層近付いたカリカチュアを生成できるようになる。
【００４９】
顔形態形成部210−4は、顔輪郭線情報抽出部210−3で抽出した顔輪郭線情報に基づいて顔形態を生成する。顔形態は、顔輪郭線情報抽出部210−3抽出した顔輪郭線の内部に実際の顔の色相と類似した色相を塗って生成することもできるし、ユーザが入力したイメージデータから顔輪郭線内部の部分を抽出して所定の処理過程を経て生成することもできる。
【００５０】
再び図3を参照すると、キャラクタイメージ生成部220は、前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する。前記顔構成要素とは、顔において特徴を有する構成要素を意味するものであって、目、眉毛、鼻、口または耳などを含むことができる。また、キャラクタイメージとは、前記顔構成要素の特徴的な形状を表現するイメージであって、他のデジタルイメージとの合成が可能なデジタルイメージの形式を有することができる。
【００５１】
このため、キャラクタイメージ生成部220は、顔構成要素の位置を識別した後、前記把握された位置から顔構成要素を抽出することができる。顔構成要素の位置を識別するためには、顔構成要素の位置に対応するピクセルの色相と周辺肌の色相との差を用いて識別することもできるし、ユーザにイメージデータを提供してユーザによって瞳および唇の位置がクリック入力された後、クリックされたピクセルの座標を識別することもできる。このように顔構成要素の位置が把握されれば、前記把握された位置から顔構成要素と周辺肌の色相との差を用いて前記顔構成要素の輪郭線を抽出し、これによって前記顔構成要素の形状を抽出することもできる。
【００５２】
また、キャラクタイメージ生成部220は、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する。このために、キャラクタイメージ生成部220は、キャラクタイメージデータベース240に保存されたキャラクタイメージリストから前記抽出された顔構成要素の形状に対応するキャラクタイメージを抽出することもできるし、ユーザにキャラクタイメージリストを提供してユーザから選択入力を受けることもできる。また、キャラクタイメージ生成部220は、前記キャラクタイメージを生成することにおいて、前記ユーザの性別、二重まぶたの有無などを含むユーザ情報を用いることもできる。また、前記ユーザ情報を所定のユーザ情報データベースに保管しておき、キャラクタイメージを生成するときに参考とすることもできる。
【００５３】
カリカチュア生成部230は、前記顔形態に前記顔構成要素のキャラクタイメージを合成してカリカチュアを生成する。前記顔の構成要素イメージは、目、眉毛、鼻、唇、耳などの形状を示すイメージを含むことができ、複数の顔構成要素のイメージを所定の保存装置に保存した状態でユーザにリストを提供してユーザから所望するイメージの選択入力を受けることもでき、ユーザが入力したイメージデータから顔構成要素を識別し、識別した構成要素と類似した顔構成要素イメージを前記保存場所から抽出することもできる。
【００５４】
また、カリカチュア生成部230は、顔形態に顔構成要素のキャラクタイメージを合成することにおいて、顔構成要素位置識別部210−1で識別した瞳位置および唇位置に基づいてイメージが合成される位置を決定することもできる。
【００５５】
図5は、図3に示されたカリカチュア生成システム120を含む本発明に係る第1実施形態を駆動するために、瞳および唇の位置に基づいて顔幅を推定する方法を示した図である。図面符号310は、実際の写真から瞳および唇の位置に基づいて顔幅を推定する方法を示したものであり、図面符号320は、同じ図面を写真の代わりに絵によって見やすく表現したものである。
【００５６】
図5に示すように、本発明に係るカリカチュア生成システムは、イメージデータから瞳位置および唇位置を識別し、2つの瞳の間の距離（width_eyes）および瞳と唇の間の距離（height_eyemouth）を測定した後、これを用いて顔の横幅（width_face）および顔の縦幅（height_face）を推定する。前記推定のために、2つの瞳の間の距離と顔の横幅との相関関係および瞳と唇の間の距離と顔の縦幅との相関関係を用いることができる。
【００５７】
一例として、本発明に係るカリカチュア生成システムは、複数のイメージデータから2つの瞳の間の距離、瞳と唇の間の距離、顔の横幅および顔の縦幅を測定し、前記測定した値の相関関係を求めて所定の保存装置に保存しておく。ユーザがイメージデータを入力してカリカチュアを生成しようとするときに、カリカチュア生成システムは、ユーザが入力したイメージデータから2つの瞳の間の距離および瞳と唇の間の距離を測定し、保存しておいた相関関係に前記測定された値を代入して顔の横幅および顔の縦幅を推定することができる。このとき、前記相関関係は、性別によって相違して求められて別途に保存され、入力されたイメージデータの主人公の性別に対応する相関関係を適用させることもできる。
【００５８】
図6および図7は、本発明の好ましい一実施形態に係る目の間距離と顔の横幅との相関関係および目と唇の間の距離と顔の縦幅との相関関係を求めるための実験データを示した図である。図6は女性に対する実験データを示したものであり、図7は男性に対する実験データを示したものである。
【００５９】
図6および図7に示すように、本発明に係るカリカチュア生成システムは、複数のサンプルイメージデータから2つの瞳の間の距離、瞳と唇の間の距離、顔の横幅および顔の縦幅を測定し、それぞれのサンプルイメージデータ別に2つの瞳の間の距離と顔の横幅の比率（ratio eye／face）および瞳と唇の間の距離と顔の縦幅の比率（ratio height／face）を計算する。
【００６０】
図6および図7に示された実験データによれば、前記ratio eye／faceおよびratio height／faceはサンプルイメージデータ別にほぼ一定した値を有することを知ることができるため、2つの瞳の間の距離と顔の横幅、瞳と唇の間の距離と顔の縦幅は線形的な1次の相関関係を有することを確認することができる。したがって、2つの瞳の間の距離および瞳と唇の間の距離を測定することができれば、前記測定した比率を適用して顔の横幅および縦幅を推定することができる。
【００６１】
また、図6のデータと図7のデータを比較すると、男性と女性とではratio eye／faceおよびratio height／faceに差を有することを知ることができる。データによれば、男性の場合にはratio eye／faceが0．4〜0．5の範囲に存在している反面、女性の場合は0．3〜0．35の範囲に存在している。また、男性の場合にはratio height／faceが0．3〜0．4の範囲に存在している反面、女性の場合には0．4〜0．5の範囲に存在している。このように性別によって相関関係が異なる特徴があるため、2つの瞳の間の距離、瞳と唇の間の距離を用いて顔の横幅および縦幅を推定することにおいて、イメージデータの主人公の性別に対する情報を用いれば、より正確に顔の横幅および縦幅を推定することもできる。
【００６２】
図8は、本発明に係る一実施形態において、顔範囲内で顔領域と背景領域を区分する方法を示した図である。
【００６３】
図面符合601で示すように、本発明に係るカリカチュア生成システムは、顔の横幅および縦幅を用いて顔範囲610を予測する。前記顔範囲は顔が含まれる最小限の四角形とすることができ、顔の横幅および縦幅はそれぞれ前記四角形の横幅および縦幅になることができる。
【００６４】
図面符号602で示すように、本発明に係るカリカチュア生成システムは、前記顔範囲610内で顔領域620と背景領域630を区分して顔輪郭線640を抽出する。前記顔領域620と背景領域630は、それぞれその色相の差を用いて区分することができ、顎線のように顔輪郭線640を明確に区分し難い部分は、顔範囲の境界を顔輪郭線とすることもできる。
【００６５】
図9は本発明の第1実施形態に係るカリカチュア生成方法の流れを示したフローチャートであり、図10は図9の段階720をより詳しく説明したフローチャートである。
【００６６】
段階710でユーザからイメージデータの入力を受け、段階720で顔輪郭線情報を含む顔形態情報を抽出する。
【００６７】
段階720を図10を参照して説明すれば、まず、ユーザから入力されたイメージデータから瞳位置情報および唇位置情報を識別する（720−1）。識別する瞳位置情報および唇位置情報は、イメージデータ内で瞳中央の位置に対応するピクセルの座標および唇中央の位置に対応するピクセルの座標を含むことができる。瞳位置情報および唇位置情報は、瞳の位置および唇の位置に対応するピクセルの色相と瞳および唇の周辺肌の色相との差を用いて識別することもできるし、ユーザにイメージデータを提供してユーザから瞳および唇の位置に対するクリック入力を受けた後、クリックされたピクセルの座標を識別することもできる。
【００６８】
段階720−2では、段階720−1で識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する。前記推定のためには、複数のイメージデータサンプルから抽出した瞳位置および唇位置と顔の横幅および縦幅との相関関係を用いることができ、前記相関関係はイメージデータサンプル中の人物の性別によってそれぞれ別途で求められ、ユーザから入力されたイメージデータの人物の性別によって対応する相関関係を用いて顔の横幅および縦幅を推定することができる。
【００６９】
段階720−3では、段階720−2で推定した顔の横幅および縦幅を用いて前記イメージデータ内における顔範囲を予測する。顔範囲は顔が含まれる最小サイズの四角形を範囲とすることができ、前記顔の横幅および縦幅それぞれを前記四角形の横幅および縦幅とすることができる。また、前記四角形の位置は、段階720−1で識別した瞳および唇の位置情報を用いて予測することができる。
【００７０】
また、段階720−3では、前記顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する。顔領域と背景領域は、顔領域に対応するピクセルの色相データと背景領域に対応するピクセルの色相データとの差を用いて区分することができ、前記区分された領域の境目に対する情報を顔輪郭線情報とすることができる。しかし、顎線のように顔領域の色相と背景領域の色相を区分し難い場合には、色相データの差だけでは明確に領域を区分することができない。したがって、前記顔範囲内で領域を区分することによって、既存の方法より領域を正確に区分することができ、これによってより正確な顔輪郭線情報を抽出し、実際の人物と一層類似したカリカチュアを生成することができる効果がある。
【００７１】
また、段階720−3では、抽出した顔輪郭線情報をユーザに提供した後にユーザから輪郭線変更情報を受信し、前記輪郭線変更情報に基づいて輪郭線情報を修正することもできる。
【００７２】
段階720−4では、段階720−3で抽出した顔輪郭線情報に基づいて顔形態を生成する。顔形態は、段階720−3で抽出した顔輪郭線の内部に実際の顔の色相と類似した色相を塗って生成することもできるし、ユーザが入力したイメージデータから顔輪郭線内部の部分を抽出し、所定の処理過程を経て生成することもできる。
【００７３】
再び図9を参照すれば、段階730では、前記イメージデータから顔の構成要素の形状を抽出し、前記構成要素の形状に対応するキャラクタイメージを生成する。前記顔の構成要素の形状は、目、眉毛、鼻、唇、耳などの形状を示すイメージを含むことができ、複数の顔構成要素のイメージを所定の保存装置に保存した後にユーザにリストを提供し、ユーザから所望するイメージの選択入力を受けることもできるし、ユーザが入力したイメージデータから顔構成要素を識別し、識別した構成要素と類似したイメージを前記保存場所から抽出することもできる。
【００７４】
段階740では、前記顔形態に生成した顔構成要素のキャラクタイメージを合成してカリカチュアを生成する。前記合成には、段階720−1で識別した瞳位置および唇位置を用いることもできる。
【００７５】
以下、本発明の第2実施形態に係るカリカチュア生成システムおよびカリカチュア生成方法について、図面を参照して詳しく説明する。
【００７６】
図11は、本発明の第2実施形態に係るカリカチュア生成システムの内部構成図を示したブロック図である。図11に示すように、カリカチュア生成シテムは、陰影板生成部210'と、キャラクタイメージ生成部220と、カリカチュア生成部230と、を含み、キャラクタイメージデータベース240をさらに含むことができる。
【００７７】
陰影板生成部210'は、ユーザから入力を受けたイメージデータから顔輪郭および顔屈曲を含む陰影板を生成する。前記イメージデータは、ユーザが入力したデータを陰影板生成部210'で用いることができる形式に変換したものであっても良い。一例として、ユーザがJPEG（joint photographic coding experts group）、GIF（graphics interchange format）などの圧縮された形式のイメージデータを入力した場合には、BMP（bit map）形式のようにすべてのピクセル（pixel）の色相データを含むイメージ形式に変換して用いることもできるし、ユーザが実際の写真などのアナログデータを入力した場合には、スキャナなどの変換装置を用いてデジタルデータに変換して用いることもできる。また、前記顔輪郭は顔と背景の境界線を意味するものであって顔の平面的な特徴を表現し、前記顔屈曲は顔の凹凸程度を意味するものであって顔の立体的な特徴を表現する。
【００７８】
陰影板生成部210'は、陰影板を生成するためにイメージデータから顔輪郭を抽出する。前記抽出のために、陰影板生成部210'は、イメージデータから顔領域と背景領域を区分してその境界線を識別することができる。一例として、イメージデータの各ピクセル別に色相データ値を比較し、色相データ値が大きく変わる部分を境界線として識別することができる。
【００７９】
また、陰影板生成部210'は、陰影板を生成するためにイメージデータから顔屈曲を生成する。前記顔屈曲を生成するために、陰影板生成部210'は、ポスターライジング方法を用いることができる。ポスターライジングとは、映像で各ピクセルが有し得る明暗値の範囲を縮小することを意味するものであって、ポスターライジング過程を経ればイメージデータが所定数の色相のみを用いるものに変換されるようになる。
【００８０】
したがって、ポスターライジング過程を経たイメージデータは、全体的に薄暗く表示されて各部分の具体的な形態を明確に区分し難くなるため、顔領域に対してポスターライジングを遂行すれば顔の構成要素は薄暗く消され、結果的には全体的な顔屈曲だけが残るようになる。また、ポスターライジングは、所定数の色相のみを用いるものであり、前記色相をどの色相を中心として決定するのかによって他のイメージが生成されるようになる。したがって、陰影版生成部210’では、前記ポスターライジングの基礎となる色相を決定することができ、前記色相はユーザから入力を受けたイメージデータにおいて顔領域部分の色相に基づいて決定することができる。この他にも、イメージデータに基づいて顔輪郭を実際の顔と類似して生成することができる方法があれば、いかなる方法であっても本発明に適用させることができる。例えば、発明の第1実施形態に係るカリカチュア生成システムにおいて顔輪郭線を抽出する方法を本発明に適用することができるであろう。
【００８１】
キャラクタイメージ生成部220については、上述した発明の第1実施形態に係るカリカチュア生成システムの説明を参照する。
【００８２】
カリカチュア生成部230は、陰影板生成部210で生成した陰影板にキャラクタイメージ生成部220で生成したキャラクタイメージを合成してカリカチュアを生成する。前記陰影板および前記キャラクタイメージは、ピクセルごとに色相データを有するBMP形式を有することができ、重なるピクセルの色相データをそれぞれ所定の比率によって加えて2つのイメージを合成することができる。また、前記ピクセルの色相データは、R（Red）、G（Green）、B（Blue）の3種類の値に区分することができ、前記RGB値をそれぞれ所定の比率によって加えて合成を遂行することができる。
【００８３】
また、カリカチュア生成部230では、ユーザから陰影板の透明度値の入力を受け、前記陰影板の透明度値に基づいて前記合成を遂行することができる。前記陰影版の透明度は、各ピクセルの色相データを加えることにおいて陰影板に該当するピクセルの色相データの比率を意味することができる。前記陰影板の透明度は0〜1の値を有することができ、合成は次の数式1に基づいて成される。
【００８４】
dstR＝picR×alpha＋chaR×（1−alpha）
dstG＝picG×alpha＋chaG×（1−alpha）
dstB＝picB×alpha＋chaB×（1−alpha）・・・（数式1）
ここで、前記数学式（1）において、alphaは前記陰影板の透明度、dstR、dstG、dstBは合成されたカリカチュアのRGB値、picR、picG、picBは陰影板のRGB値、chaR、chaG、chaBはキャラクタイメージのRGB値を意味する。
【００８５】
キャラクタイメージデータベース240は、顔構成要素に対応するキャラクタイメージを保存する。キャラクタイメージデータベース240は複数のキャラクタイメージを保存し、キャラクタイメージ生成部220でキャラクタイメージリストから顔構成要素の形状に対応するキャラクタイメージを抽出する場合には、前記顔構成要素の形状に対応するキャラクタイメージを検索して提供する。キャラクタイメージデータベース240は、目、眉毛、鼻、口または耳などの顔構成要素別に区分してキャラクタイメージを保存することができる。
【００８６】
図12は、本発明の第2実施形態に係るカリカチュア生成システムに導入されるポスターライジングを用いて生成した陰影板を示したものである。
【００８７】
図12に示すように、本発明の一実施形態に係るカリカチュア生成システムは、イメージデータを所定の色相でポスターライジングして陰影板を生成することができる。図面符号301は、ユーザから入力を受けたイメージデータから抽出した顔領域を示したものであり、図面符号302は、前記顔領域を前記イメージデータにおける顔領域の肌色に基づいてポスターライジングして生成した陰影板を示したものである。このように、ポスターライジングを介して生成された陰影板は、顔屈曲を含んではいるが顔構成要素は薄暗くて正確に見えないため、後でキャラクタイメージを合成しても本来の顔構成要素と重なって見えないことがある。
【００８８】
図13は、本発明に係る一実施形態において、陰影板の透明度によって変化するカリカチュアを示した図である。
【００８９】
図13に示すように、本発明に係るカリカチュア生成システムは、陰影板とキャラクタイメージを合成することにおいて、陰影板の透明度に基づいて合成の比率を決定することができる。前記陰影板の透明度とは、前記合成において陰影板が占める比率を意味することができ、0〜1の値を有することができる。図面符号401は陰影板の透明度が0の場合であり、図面符号404は陰影板の透明度が1の場合である。また、図面符号402および図面符号403は陰影板の透明度がその中間値を有することを示しており、図面符号401から図面符号404側に行くほど陰影板の透明度が高くなる。
【００９０】
このように、陰影板の透明度が低い場合には顔屈曲がはっきり表れないため絵のように感じられ、陰影板の透明度が高い場合には顔屈曲がはっきり表れるため実際の写真と類似したように感じられるようになる。前記陰影板の透明度は、ユーザから入力を受けて用いることができる。
【００９１】
図14は、本発明の好ましい一実施形態に係るキャラクタイメージデータベース240を示した図である。
【００９２】
図14に示すように、キャラクタイメージデータベース240は、目、眉毛、鼻、口または耳のような顔構成要素に対応するキャラクタイメージを保存し、それぞれの顔構成要素別に個別に保存される。一例として、キャラクタイメージ生成部220において、ユーザから入力を受けたイメージデータから目の形状を抽出した場合、キャラクタイメージデータベース240において、顔構成要素フィールドが「目」であるレコード中から前記抽出した目の形状と最も類似したキャラクタイメージを抽出してキャラクタイメージを生成することができる。さらに他の一例として、ユーザから目の形状に対応するキャラクタイメージの選択入力を受ける場合には、キャラクタイメージデータベース240から顔構成要素フィールドが「目」であるレコードのリストをユーザに提供し、前記リスト中から選択入力されるようにすることもできる。
【００９３】
図15は、本発明の一実施形態において、ユーザからカリカチュアの髪型および目の形状の選択入力を受ける画面を示した図である。図面符号610は本発明に係るカリカチュア生成システムで生成したカリカチュアあり、図面符号620は前記カリカチュアの目形状を選択する画面であり、図面符号630は前記カリカチュアの髪型を選択する画面ある。また、図面符号640は、前記図面符号630で選択した髪型によって変化するカリカチュアを示したものである。
【００９４】
図15に示すように、本発明に係るカリカチュア生成システムは、ユーザがカリカチュアの顔構成要素イメージを自由に選択できるようにし、ユーザが髪型、アクセサリ、衣装などを選択して自身のカリカチュアを自由に装飾できるようにすることで、ユーザが所望する通りにカリカチュアを介して自身を表現できるようにする効果がある。
【００９５】
図16は、本発明によって生成されたカリカチュアを移動端末機で用いる一例を示した図である。
【００９６】
図16に示すように、本発明によって生成されたカリカチュアは、移動端末機内で自分を表現するイメージとして用いることができ、この他にもインターネットコミュニティ、個人ホームページ、インターネットゲームサイトなどでユーザを表現するイメージとして多様に用いることができる。本発明によれば、より多くの顔屈曲を含む陰影板を用いて自分の特徴をより表現できるカリカチュアを生成することができるため、有無線を介して連結されるインターネット上で自分を表現するイメージとして幅広く用いることができる。
【００９７】
図17は、本発明に第2実施形態に係るカリカチュア生成方法の流れを示したフローチャートである。
【００９８】
段階801では、ユーザから入力を受けたイメージデータから顔輪郭および顔屈曲を含む陰影板を生成する。前記陰影板における顔輪郭は、前記イメージデータで顔領域と背景領域との色相差を用いて生成することができ、前記顔屈曲はポスターライジングを用いて簡単に生成することができる。前記ポスターライジングとは、映像で各ピクセルが有し得る明暗値の範囲を縮小することを意味するものであって、所定の色相に基づいて遂行される。前記所定の色相は、前記顔領域の色相を用いて決定することができる。
【００９９】
段階802では、前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する。前記顔構成要素の形状は、顔構成要素の色相と周辺肌色相との差を用いて抽出することができ、前記キャラクタイメージは、キャラクタイメージリストから前記抽出された顔構成要素の形状に対応するキャラクタイメージを抽出することもできるし、ユーザにキャラクタイメージリストを提供してユーザから選択入力を受けることもできる。また、前記キャラクタイメージの生成において、ユーザの性別、二重まぶたの有無などを含むユーザ情報を用いることもできる。また、前記ユーザ情報を所定のユーザ情報データベースに保管しておき、キャラクタイメージを生成するときに参考とすることもできる。
【０１００】
段階803では、段階801で生成した陰影板と段階802で生成したキャラクタイメージを合成してカリカチュアを生成する。前記陰影板および前記キャラクタイメージはピクセルごとに色相データ有するBMP形式を有することができ、重なるピクセルの色相データをそれぞれ所定の比率によって加えて2つのイメージを合成することができる。また、前記ピクセルの色相データは、R（Red）、G（Green）、B（Blue）の3種類の値に区分することができ、前記RGB値をそれぞれ所定の割合によって加えて合成を遂行することができる。
【０１０１】
また、段階803では、ユーザによって陰影板の透明度値が入力され、前記陰影板の透明度値に基づいて前記合成を遂行することができる。前記陰影板の透明度は、各ピクセルの色相データを加えることにおいて、陰影板に該当するピクセルの色相データの比率を意味することができる。前記陰影板の透明度は0〜1の値を有することができ、合成は次の数式2に基づいて成される。
【０１０２】
dstR＝picR×alpha＋chaR×（1−alpha）
dstG＝picG×alpha＋chaG×（1−alpha）
dstB＝picB×alpha＋chaB×（1−alpha）・・・（数式2）
ここで、前記数学式（2）において、alphaは前記陰影板の透明度、dstR、dstG、dstBは合成されたカリカチュアのRGB値、picR、picG、picBは陰影板のRGB値、chaR、chaG、chaBはキャラクタイメージのRGB値を意味する。
【０１０３】
本発明の第1および第2実施形態に係るカリカチュア生成方法は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読み取り可能な媒体を含む。前記媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともできる。前記媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。前記媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【０１０４】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【図面の簡単な説明】
【０１０５】
【図１】従来技術に係るカリカチュアの製作方法を示したフローチャートである。
【図２】本発明の実施形態に係るカリカチュアシステムの概略的な動作を説明するための図である。
【図３】本発明の第1実施形態に係るカリカチュア生成システムの内部構成を示したブロック図である。
【図４】図3の顔形態生成部の内部構成を示したブロック図である。
【図５】本発明に係る一実施形態において瞳および唇の位置に基づいて顔幅を推定する方法を示した図である。
【図６】本発明の好ましい一実施形態に係る女性の目の間距離と顔の横幅との間の相関関係および女性の目と唇の間の距離と顔の縦幅との相関関係を求めるための実験データを示した図である。
【図７】本発明の好ましい一実施形態に係る男性の目の間距離と顔の横幅との間の相関関係および男性の目と唇の間の距離と顔の縦幅との相関関係を求めるための実験データを示した図である。
【図８】本発明に係る一実施形態において顔範囲内で顔領域と背景領域を区分する方法を示した図である。
【図９】本発明の第1実施形態に係るカリカチュア生成方法の流れを示したフローチャートである。
【図１０】図9の顔形態生成段階720をさらに詳しく説明したフローチャートである。
【図１１】本発明の第2実施形態に係るカリカチュア生成システムの内部構成を示したブロック図である。
【図１２】本発明に係る一実施形態においてポスターライジングを用いて生成した陰影板を示した図である。
【図１３】本発明に係る一実施形態において陰影板の透明度によって変化するカリカチュアを示した図である。
【図１４】本発明の好ましい一実施形態に係るキャラクタイメージデータベースを示した図である。
【図１５】本発明の一実施形態においてユーザからカリカチュアの髪型および目の形状が選択入力される画面を示した図である。
【図１６】本発明によって生成されたカリカチュアを移動端末機で用いる一例を示した図である。
【図１７】本発明の第2実施形態に係るカリカチュア生成方法の流れを示したフローチャートである。
【特許請求の範囲】
【請求項１】
ユーザから入力を受けたイメージデータを用いてカリカチュアを生成するシステムにおいて、
前記イメージデータから顔領域と背景領域を区分して生成された顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する顔形態生成部と、
前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部と、
前記顔形態および前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部と、
を含むことを特徴とするカリカチュア生成システム。
【請求項２】
前記顔形態情報は、瞳と唇位置情報および顔の横と縦幅情報を含むことを特徴とする請求項1に記載のカリカチュア生成システム。
【請求項３】
前記顔形態生成部は、
前記イメージデータから瞳位置情報と唇位置情報を識別する顔構成要素位置識別部と、
前記識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する顔幅推定部と、
前記推定された顔の横幅および縦幅を用いて予測された顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する顔輪郭線情報抽出部と、
前記顔輪郭線情報や前記イメージデータを処理して顔形態を形成する顔形態形成部と、
を含むことを特徴とする請求項1に記載のカリカチュア生成システム。
【請求項４】
前記顔幅推定部は、2つの瞳の間の距離を用いて前記横幅を推定し、瞳と唇の間の距離を用いて前記縦幅を推定することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項５】
前記顔幅推定部は、複数のサンプルイメージデータから2つの瞳の間の距離と顔横幅間との相関関係および瞳と唇の間の距離と顔縦幅間との相関関係を抽出し、前記相関関係を用いて前記横幅および前記縦幅を推定することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項６】
前記顔幅推定部は、性別情報を含むユーザ情報を保存するユーザ性別情報データベースをさらに含むことを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項７】
前記顔幅推定部は、前記データベースを参考して前記ユーザの性別情報を抽出し、前記抽出された性別情報をさらに考慮して前記横幅および前記縦幅を推定することを特徴とする請求項6に記載のカリカチュア生成システム。
【請求項８】
前記顔輪郭線情報抽出部は、前記顔領域色相と前記背景領域色相との差を用いて顔領域と背景領域を区分することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項９】
前記顔輪郭線情報抽出部は、前記顔領域から顔輪郭線を抽出することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１０】
前記顔輪郭線情報抽出部は、前記抽出した輪郭線情報をユーザに提供し、前記ユーザから輪郭線変更情報を受信し、前記輪郭線変更情報に基づいて輪郭線情報を修正することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１１】
前記顔形態形成部は、前記顔輪郭線情報抽出部から抽出された顔輪郭線内部に実際の顔と類似した色相を塗る処理をして顔形態を生成することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１２】
前記顔形態形成部は、前記イメージデータから顔輪郭線内部の部分を抽出処理して顔形態を生成することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１３】
複数の顔構成要素の形状を有する複数のキャラクタイメージを保存するキャラクタイメージデータベースをさらに含み、
前記キャラクタイメージ生成部は、前記キャラクタイメージデータベースを参考して前記抽出された顔構成要素の形状と対応するキャラクタイメージを生成することを特徴とする請求項1または3に記載のカリカチュア生成システム。
【請求項１４】
複数の顔構成要素の形状を有する複数のキャラクタイメージを保存するキャラクタイメージデータベースをさらに含み、
前記キャラクタイメージ生成部は、前記キャラクタイメージデータベースに保存されたキャラクタイメージリストを前記ユーザに提供し、前記ユーザから選択入力を受け、これに基づいてキャラクタイメージを生成することを特徴とする請求項1または3に記載のカリカチュア生成システム。
【請求項１５】
前記キャラクタイメージ生成部は、前記ユーザの性別情報または二重まぶたの有無に対する情報を含むユーザ情報をさらに考慮してキャラクタイメージを生成することを特徴とする請求項1または3に記載のカリカチュア生成システム
【請求項１６】
性別情報または二重まぶたの有無に対する情報を含むユーザ情報を保存するユーザ情報データベースをさらに含み、
前記キャラクタイメージ生成部は、前記ユーザ情報データベースを参考して前記ユーザの性別情報または二重まぶたの有無に対する情報を抽出し、前記抽出された性別情報または二重まぶたの有無に対する情報をさらに考慮してキャラクタイメージを生成することを特徴とする請求項1または3に記載のカリカチュア生成システム。
【請求項１７】
前記カリカチュア生成部は、前記顔構成要素位置識別部で識別された瞳位置および唇位置に基づいて前記キャラクタイメージを合成する位置を決定することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１８】
ユーザから入力を受けたイメージデータからカリカチュアを生成するシステムにおいて、
前記イメージデータから顔領域と背景領域を区分して生成された顔輪郭と顔屈曲を含む陰影板を生成する陰影版生成部と、
前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部と、
前記陰影板および前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部と、
を含むことを特徴にするカリカチュア生成システム。
【請求項１９】
前記陰影板生成部は、前記顔輪郭を抽出し、前記顔輪郭によって特定する顔領域を所定の色相に基づいてポスターライジングして前記顔屈曲を生成することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２０】
前記所定の色相は、前記顔輪郭領域の色相に基づいて決定されることを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２１】
前記カリカチュア生成部は、前記顔構成要素の位置に基づいて前記陰影板に前記キャラクタイメージを合成する位置を決定することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２２】
前記カリカチュア生成部は、前記陰影板と前記キャラクタイメージを所定の合成の比率によって合成し、前記合成比率は、ユーザから入力された陰影板の透明度値によって決定されることを特徴とする請求項18に記載の陰影板を用いたカリカチュア生成システム。
【請求項２３】
前記カリカチュア生成部は、前記陰影板のRGB値と前記キャラクタイメージのRGB値を考慮して前記カリカチュアを生成することを特徴とする請求項22に記載のカリカチュア生成システム。
【請求項２４】
前記陰影板の透明度値（alpha）は0〜1の値を有し、前記合成されたカリカチュアの各ピクセル（pixel）のRGB値は下記数式によって決定されることを特徴とする請求項23に記載のカリカチュア生成システム。
dstR＝picR×alpha＋chaR×（1−alpha）
dstG＝picG×alpha＋chaG×（1−alpha）
dstB＝picB×alpha＋chaB×（1−alpha）
ここで、dstR、dstG、dstBはカリカチュアのRGB値、picR、picG、picBは陰影板のRGB値、chaR、chaG、chaBはキャラクタイメージのRGB値をそれぞれ示す。
【請求項２５】
複数の顔構成要素の形状を有する複数のキャラクタイメージを保存するキャラクタイメージデータベースをさらに含み、
前記キャラクタイメージ生成部は、前記キャラクタイメージデータベースを参考して前記抽出された顔構成要素の形状と対応するキャラクタイメージを生成することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２６】
複数の顔構成要素の形状を有する複数のキャラクタイメージを保存するキャラクタイメージデータベースをさらに含み、
前記キャラクタイメージ生成部は、前記キャラクタイメージデータベースに保存されたキャラクタイメージリストを前記ユーザに提供して前記ユーザから選択入力を受け、これに基づいてキャラクタイメージを生成することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２７】
前記キャラクタイメージ生成部は、前記ユーザの性別情報または二重まぶたの有無に対する情報を含むユーザ情報をさらに考慮してキャラクタイメージを生成することを特徴とする請求項18に記載のカリカチュア生成システム
【請求項２８】
性別情報または二重まぶたの有無に対する情報を含むユーザ情報を保存するユーザ情報データベースをさらに含み、
前記キャラクタイメージ生成部は、前記ユーザ情報データベースを参考して前記ユーザの性別情報または二重まぶたの有無に対する情報を抽出し、前記抽出された性別情報または二重まぶたの有無に対する情報をさらに考慮してキャラクタイメージを生成することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２９】
ユーザによって入力されたイメージデータを用いてカリカチュアを生成する方法において、
（a）前記イメージデータから顔領域と背景領域を区分して顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する段階と、
（b）前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する段階と、
（c）前記顔形態および前記キャラクタイメージを合成してカリカチュアを生成する段階と、
を含むことを特徴とするカリカチュア生成方法。
【請求項３０】
前記（a）段階は、
前記イメージデータから瞳位置情報および唇位置情報を識別する段階と、
前記識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する段階と、
前記推定された顔の横幅および縦幅を用いて予測した顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する段階と、
前記抽出された顔輪郭線情報に基づいて顔形態を生成し、前記イメージデータの目、眉毛、鼻、口または耳の形状に対応する顔要素イメージを生成した後、前記顔形態に前記顔要素イメージを合成してカリカチュアを生成する段階と、
を含むことを特徴とする請求項29に記載のカリカチュア生成方法。
【請求項３１】
ユーザによって入力されたイメージデータからカリカチュアを生成する方法において、
（a）前記イメージデータから顔輪郭および顔屈曲を含む陰影板を生成する段階と、
（b）前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する段階と、
（c）前記陰影板および前記キャラクタイメージを合成してカリカチュアを生成する段階と、
を含むことを特徴とするカリカチュア生成方法。
【請求項３２】
請求項29〜31のいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
ユーザから入力を受けたイメージデータを用いてカリカチュアを生成するシステムにおいて、
前記イメージデータから顔領域と背景領域を区分して生成された顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する顔形態生成部と、
前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部と、
前記顔形態および前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部と、
を含むことを特徴とするカリカチュア生成システム。
【請求項２】
前記顔形態情報は、瞳と唇位置情報および顔の横と縦幅情報を含むことを特徴とする請求項1に記載のカリカチュア生成システム。
【請求項３】
前記顔形態生成部は、
前記イメージデータから瞳位置情報と唇位置情報を識別する顔構成要素位置識別部と、
前記識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する顔幅推定部と、
前記推定された顔の横幅および縦幅を用いて予測された顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する顔輪郭線情報抽出部と、
前記顔輪郭線情報や前記イメージデータを処理して顔形態を形成する顔形態形成部と、
を含むことを特徴とする請求項1に記載のカリカチュア生成システム。
【請求項４】
前記顔幅推定部は、2つの瞳の間の距離を用いて前記横幅を推定し、瞳と唇の間の距離を用いて前記縦幅を推定することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項５】
前記顔幅推定部は、複数のサンプルイメージデータから2つの瞳の間の距離と顔横幅間との相関関係および瞳と唇の間の距離と顔縦幅間との相関関係を抽出し、前記相関関係を用いて前記横幅および前記縦幅を推定することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項６】
前記顔幅推定部は、性別情報を含むユーザ情報を保存するユーザ性別情報データベースをさらに含むことを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項７】
前記顔幅推定部は、前記データベースを参考して前記ユーザの性別情報を抽出し、前記抽出された性別情報をさらに考慮して前記横幅および前記縦幅を推定することを特徴とする請求項6に記載のカリカチュア生成システム。
【請求項８】
前記顔輪郭線情報抽出部は、前記顔領域色相と前記背景領域色相との差を用いて顔領域と背景領域を区分することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項９】
前記顔輪郭線情報抽出部は、前記顔領域から顔輪郭線を抽出することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１０】
前記顔輪郭線情報抽出部は、前記抽出した輪郭線情報をユーザに提供し、前記ユーザから輪郭線変更情報を受信し、前記輪郭線変更情報に基づいて輪郭線情報を修正することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１１】
前記顔形態形成部は、前記顔輪郭線情報抽出部から抽出された顔輪郭線内部に実際の顔と類似した色相を塗る処理をして顔形態を生成することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１２】
前記顔形態形成部は、前記イメージデータから顔輪郭線内部の部分を抽出処理して顔形態を生成することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１３】
複数の顔構成要素の形状を有する複数のキャラクタイメージを保存するキャラクタイメージデータベースをさらに含み、
前記キャラクタイメージ生成部は、前記キャラクタイメージデータベースを参考して前記抽出された顔構成要素の形状と対応するキャラクタイメージを生成することを特徴とする請求項1または3に記載のカリカチュア生成システム。
【請求項１４】
複数の顔構成要素の形状を有する複数のキャラクタイメージを保存するキャラクタイメージデータベースをさらに含み、
前記キャラクタイメージ生成部は、前記キャラクタイメージデータベースに保存されたキャラクタイメージリストを前記ユーザに提供し、前記ユーザから選択入力を受け、これに基づいてキャラクタイメージを生成することを特徴とする請求項1または3に記載のカリカチュア生成システム。
【請求項１５】
前記キャラクタイメージ生成部は、前記ユーザの性別情報または二重まぶたの有無に対する情報を含むユーザ情報をさらに考慮してキャラクタイメージを生成することを特徴とする請求項1または3に記載のカリカチュア生成システム
【請求項１６】
性別情報または二重まぶたの有無に対する情報を含むユーザ情報を保存するユーザ情報データベースをさらに含み、
前記キャラクタイメージ生成部は、前記ユーザ情報データベースを参考して前記ユーザの性別情報または二重まぶたの有無に対する情報を抽出し、前記抽出された性別情報または二重まぶたの有無に対する情報をさらに考慮してキャラクタイメージを生成することを特徴とする請求項1または3に記載のカリカチュア生成システム。
【請求項１７】
前記カリカチュア生成部は、前記顔構成要素位置識別部で識別された瞳位置および唇位置に基づいて前記キャラクタイメージを合成する位置を決定することを特徴とする請求項3に記載のカリカチュア生成システム。
【請求項１８】
ユーザから入力を受けたイメージデータからカリカチュアを生成するシステムにおいて、
前記イメージデータから顔領域と背景領域を区分して生成された顔輪郭と顔屈曲を含む陰影板を生成する陰影版生成部と、
前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成するキャラクタイメージ生成部と、
前記陰影板および前記キャラクタイメージを合成してカリカチュアを生成するカリカチュア生成部と、
を含むことを特徴にするカリカチュア生成システム。
【請求項１９】
前記陰影板生成部は、前記顔輪郭を抽出し、前記顔輪郭によって特定する顔領域を所定の色相に基づいてポスターライジングして前記顔屈曲を生成することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２０】
前記所定の色相は、前記顔輪郭領域の色相に基づいて決定されることを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２１】
前記カリカチュア生成部は、前記顔構成要素の位置に基づいて前記陰影板に前記キャラクタイメージを合成する位置を決定することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２２】
前記カリカチュア生成部は、前記陰影板と前記キャラクタイメージを所定の合成の比率によって合成し、前記合成比率は、ユーザから入力された陰影板の透明度値によって決定されることを特徴とする請求項18に記載の陰影板を用いたカリカチュア生成システム。
【請求項２３】
前記カリカチュア生成部は、前記陰影板のRGB値と前記キャラクタイメージのRGB値を考慮して前記カリカチュアを生成することを特徴とする請求項22に記載のカリカチュア生成システム。
【請求項２４】
前記陰影板の透明度値（alpha）は0〜1の値を有し、前記合成されたカリカチュアの各ピクセル（pixel）のRGB値は下記数式によって決定されることを特徴とする請求項23に記載のカリカチュア生成システム。
dstR＝picR×alpha＋chaR×（1−alpha）
dstG＝picG×alpha＋chaG×（1−alpha）
dstB＝picB×alpha＋chaB×（1−alpha）
ここで、dstR、dstG、dstBはカリカチュアのRGB値、picR、picG、picBは陰影板のRGB値、chaR、chaG、chaBはキャラクタイメージのRGB値をそれぞれ示す。
【請求項２５】
複数の顔構成要素の形状を有する複数のキャラクタイメージを保存するキャラクタイメージデータベースをさらに含み、
前記キャラクタイメージ生成部は、前記キャラクタイメージデータベースを参考して前記抽出された顔構成要素の形状と対応するキャラクタイメージを生成することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２６】
複数の顔構成要素の形状を有する複数のキャラクタイメージを保存するキャラクタイメージデータベースをさらに含み、
前記キャラクタイメージ生成部は、前記キャラクタイメージデータベースに保存されたキャラクタイメージリストを前記ユーザに提供して前記ユーザから選択入力を受け、これに基づいてキャラクタイメージを生成することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２７】
前記キャラクタイメージ生成部は、前記ユーザの性別情報または二重まぶたの有無に対する情報を含むユーザ情報をさらに考慮してキャラクタイメージを生成することを特徴とする請求項18に記載のカリカチュア生成システム
【請求項２８】
性別情報または二重まぶたの有無に対する情報を含むユーザ情報を保存するユーザ情報データベースをさらに含み、
前記キャラクタイメージ生成部は、前記ユーザ情報データベースを参考して前記ユーザの性別情報または二重まぶたの有無に対する情報を抽出し、前記抽出された性別情報または二重まぶたの有無に対する情報をさらに考慮してキャラクタイメージを生成することを特徴とする請求項18に記載のカリカチュア生成システム。
【請求項２９】
ユーザによって入力されたイメージデータを用いてカリカチュアを生成する方法において、
（a）前記イメージデータから顔領域と背景領域を区分して顔輪郭線情報を含む顔形態情報を抽出して顔形態を生成する段階と、
（b）前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する段階と、
（c）前記顔形態および前記キャラクタイメージを合成してカリカチュアを生成する段階と、
を含むことを特徴とするカリカチュア生成方法。
【請求項３０】
前記（a）段階は、
前記イメージデータから瞳位置情報および唇位置情報を識別する段階と、
前記識別された瞳位置および唇位置に基づいて顔の横幅および縦幅を推定する段階と、
前記推定された顔の横幅および縦幅を用いて予測した顔範囲内で顔領域と背景領域を区分して顔輪郭線情報を抽出する段階と、
前記抽出された顔輪郭線情報に基づいて顔形態を生成し、前記イメージデータの目、眉毛、鼻、口または耳の形状に対応する顔要素イメージを生成した後、前記顔形態に前記顔要素イメージを合成してカリカチュアを生成する段階と、
を含むことを特徴とする請求項29に記載のカリカチュア生成方法。
【請求項３１】
ユーザによって入力されたイメージデータからカリカチュアを生成する方法において、
（a）前記イメージデータから顔輪郭および顔屈曲を含む陰影板を生成する段階と、
（b）前記イメージデータから顔構成要素の形状を抽出し、前記抽出された顔構成要素の形状に対応するキャラクタイメージを生成する段階と、
（c）前記陰影板および前記キャラクタイメージを合成してカリカチュアを生成する段階と、
を含むことを特徴とするカリカチュア生成方法。
【請求項３２】
請求項29〜31のいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図２】
【図８】
【図１６】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図２】
【図８】
【図１６】
【公表番号】特表２００９−５２１０６５（Ｐ２００９−５２１０６５Ａ）
【公表日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願番号】特願２００９−５０９４０２（Ｐ２００９−５０９４０２）
【出願日】平成１９年４月１２日（２００７．４．１２）
【国際出願番号】ＰＣＴ／ＫＲ２００７／００１７８８
【国際公開番号】ＷＯ２００８／１２６９４８
【国際公開日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（５０７１７６８４０）
【Ｆターム（参考）】
【公表日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願日】平成１９年４月１２日（２００７．４．１２）
【国際出願番号】ＰＣＴ／ＫＲ２００７／００１７８８
【国際公開番号】ＷＯ２００８／１２６９４８
【国際公開日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（５０７１７６８４０）
【Ｆターム（参考）】
[ Back to top ]