画像処理装置および画像処理方法
【課題】好ましい結果が得られる画像変形を可能とする。
【解決手段】画像処理装置は、撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定するサイズ設定部を備える。画像処理装置は、また、対象画像における特定種類の被写体の画像を含む領域内の画像を、設定されたサイズに応じた変形の度合いで変形する変形処理部を備える。
【解決手段】画像処理装置は、撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定するサイズ設定部を備える。画像処理装置は、また、対象画像における特定種類の被写体の画像を含む領域内の画像を、設定されたサイズに応じた変形の度合いで変形する変形処理部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像上の少なくとも一部の領域を変形する画像処理技術に関する。
【背景技術】
【０００２】
デジタル画像を対象に、画像を変形するための画像処理技術が知られている（例えば特許文献１）。特許文献１には、顔の画像上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の画像の形状を変形する画像処理が開示されている。
【０００３】
【特許文献１】特開２００４−３１８２０４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置（例えばデジタルスチルカメラ）による撮像によって生成された顔の画像を観察して得られる印象は、実際の顔を観察して得られる印象とは異なる場合があった。このような場合に、顔の画像の印象を実際の顔の印象に近づけるように、顔の画像の形状を変形する画像処理を行うことが考えられる。しかし、顔の画像の印象は、様々な要因に応じて種々に変化しうると考えられ、一律に画像の変形を行っても望ましい画像が得られない可能性があった。
【０００５】
なお、このような問題は、被写体としての顔の画像を変形させる場合に限らず、特定種類の被写体の画像を変形させる画像処理に共通する問題であった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、好ましい結果が得られる画像変形を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【０００８】
［適用例１］画像処理装置であって、
撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定するサイズ設定部と、
前記対象画像における前記特定種類の被写体の画像を含む領域内の画像を、設定された前記サイズに応じた変形の度合いで変形する変形処理部と、を備える、画像処理装置。
【０００９】
この画像処理装置では、特定種類の被写体の幅方向および奥行き方向のサイズが設定され、設定されたサイズに応じた変形の度合いで、対象画像における特定種類の被写体の画像を含む領域内の画像が変形される。そのため、特定種類の被写体の幅方向および奥行き方向のサイズを要因とする画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。従って、この画像処理装置では、好ましい結果が得られる画像変形を行うことができる。
【００１０】
［適用例２］適用例１に記載の画像処理装置であって、
前記変形処理部は、少なくとも前記特定種類の被写体の幅方向に沿って画像が変形されるように、画像の変形を行う、画像処理装置。
【００１１】
この画像処理装置では、特定種類の被写体の幅方向および奥行き方向のサイズを要因とする画像の幅方向の大きさの印象と実物の幅方向の大きさの印象との差異を少なくするような画像の変形を実現可能である。
【００１２】
［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記変形処理部は、前記特定種類の被写体の幅方向と奥行き方向との一方のサイズが一定の場合に、前記幅方向のサイズに対する前記奥行き方向のサイズの比が大きいほど前記変形の度合いが大きくなるように、画像の変形を行う、画像処理装置。
【００１３】
この画像処理装置では、幅方向のサイズに対する奥行き方向のサイズの比が大きいほど画像の印象と実物の印象との差異が大きく感じられる傾向にある特定種類の被写体について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００１４】
［適用例４］適用例３に記載の画像処理装置であって、さらに、
前記対象画像生成時の撮像装置から前記特定種類の被写体までの距離である被写体距離を設定する距離設定部を備え、
前記変形処理部は、前記特定種類の被写体の幅方向および奥行き方向のサイズが一定の場合に、設定された前記被写体距離が小さいほど前記変形の度合いが大きくなるように、画像の変形を行う、画像処理装置。
【００１５】
この画像処理装置では、被写体距離が小さいほど画像の印象と実物の印象との差異が大きく感じられる傾向にある特定種類の被写体について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００１６】
［適用例５］適用例１ないし適用例４のいずれかに記載の画像処理装置であって、さらに、
前記対象画像における前記特定種類の被写体の画像を検出する被写体検出部を備える、画像処理装置。
【００１７】
この画像処理装置では、対象画像から検出された特定種類の被写体について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００１８】
［適用例６］適用例１ないし適用例５のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、略楕円形状の水平断面を有する被写体である、画像処理装置。
【００１９】
この画像処理装置では、幅方向および奥行き方向のサイズを要因とする画像の印象と実物の印象との差異が生じやすいと考えられる略楕円形状の水平断面を有する被写体について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００２０】
［適用例７］適用例１ないし適用例６のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、人物の頭部である、画像処理装置。
【００２１】
この画像処理装置では、幅方向および奥行き方向のサイズを要因とする画像の印象と実物の印象との差異が生じやすいと考えられる被写体である人物の頭部について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００２２】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像変形方法および装置、画像生成方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．顔形状補正印刷処理：
Ａ−３．変形領域の設定：
Ａ−４．変形処理：
Ａ−５．他の変形処理：
Ｂ．変形例：
【００２４】
Ａ．実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。
【００２５】
プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣにＲＧＢデータとしての画像データを含む画像ファイルが格納されている。この画像ファイルは、例えばデジタルスチルカメラ等の撮像装置によりＥｘｉｆ（Exchangeable Image File Format）規格に則って生成されたファイルであり、撮像により生成された画像データの他に、撮像時の絞り・シャッタースピード・レンズの焦点距離等の付加データを含んでいる。プリンタ１００は、カードインターフェース１７０を介してメモリカードＭＣに格納された画像ファイルの取得を行う。
【００２６】
内部メモリ１２０には、顔形状補正部２００と、顔領域検出部２２０と、被写体距離設定部３３０と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正部２００と顔領域検出部２２０と被写体距離設定部３３０とは、所定のオペレーティングシステムの下で、それぞれ後述する顔形状補正処理、顔領域検出処理、被写体距離設定処理を実行するためのコンピュータプログラムである。また、表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。
【００２７】
顔形状補正部２００は、プログラムモジュールとして、変形態様設定部２１０と、顔領域調整部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、変形量設定部２９０と、を含んでいる。変形態様設定部２１０は、サイズ設定部２１４を含んでいる。また、被写体距離設定部３３０は、プログラムモジュールとして、情報取得部３４０を含んでいる。これらの各部の機能については、後述の顔形状補正印刷処理の説明において詳述する。なお、後述するように、変形領域分割部２５０と、分割領域変形部２６０と、により画像の変形が行われる。また、変形量設定部２９０により画像の変形における変形の度合い（変形量）が設定される。そのため、変形量設定部２９０と変形領域分割部２５０と分割領域変形部２６０とは、併せて「変形処理部」とも呼ぶことができる。また、顔領域検出部２２０は、被写体としての顔の画像を検出するものであり、「被写体検出部」とも呼ぶことができる。
【００２８】
内部メモリ１２０には、また、分割点配置パターンテーブル４１０と分割点移動テーブル４２０と頭部サイズ情報４３０とが格納されている。これらの内容についても、後述の顔形状補正印刷処理の説明において詳述する。
【００２９】
Ａ−２．顔形状補正印刷処理：
プリンタ１００は、メモリカードＭＣに格納された画像ファイルに基づき、画像の印刷を行う。カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部３１０により、メモリカードＭＣに格納された画像の一覧表示を含むユーザインターフェースが表示部１５０に表示される。図２は、画像の一覧表示を含むユーザインターフェースの一例を示す説明図である。図２に示すユーザインターフェースには、８つのサムネイル画像ＴＮ１〜ＴＮ８と、５つのボタンＢＮ１〜ＢＮ５が表示されている。なお、本実施例では、画像の一覧表示は、メモリカードＭＣに格納された画像ファイルに含まれるサムネイル画像を用いて実現される。
【００３０】
本実施例のプリンタ１００は、図２に示すユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンＢＮ３が選択されると、選択画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に顔形状補正印刷ボタンＢＮ４が選択されると、プリンタ１００は、選択画像について、選択画像中の顔の画像の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。図２の例では、サムネイル画像ＴＮ１と顔形状補正印刷ボタンＢＮ４とが選択されているため、プリンタ１００は、サムネイル画像ＴＮ１に対応する画像について顔形状補正印刷処理を行う。
【００３１】
図３は、本実施例のプリンタ１００による顔形状補正印刷処理の流れを示すフローチャートである。ステップＳ１００では、顔形状補正部２００（図１）が、顔形状補正処理を実行する。本実施例の顔形状補正処理は、画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状や目の形状）を補正する処理である。なお、目や鼻などの顔の一部分は、一般に器官とも呼ばれる。
【００３２】
図４は、本実施例における顔形状補正処理（図３のステップＳ１００）の流れを示すフローチャートである。ステップＳ１１０では、顔形状補正部２００（図１）が、顔形状補正処理の対象となる対象画像ＴＩを設定する。顔形状補正部２００は、図２に示したユーザインターフェースにおいてユーザにより選択されたサムネイル画像ＴＮ１に対応する画像を対象画像ＴＩとして設定する。設定された対象画像ＴＩの画像ファイルは、メモリカードＭＣからカードインターフェース１７０を介してプリンタ１００に取得され、内部メモリ１２０の所定領域に格納される。なお、以下では、このようにメモリカードＭＣから取得され、プリンタ１００の内部メモリ１２０に格納された画像ファイルに含まれる画像データを「元画像データ」とも呼ぶ。また、元画像データにより表される画像を「元画像」とも呼ぶ。
【００３３】
ステップＳ１２０（図４）では、変形態様設定部２１０（図１）が、顔形状補正のための画像変形のタイプと画像変形の度合いとを設定する。変形態様設定部２１０は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインターフェースを通じてユーザにより指定された画像変形のタイプおよび度合いを選択し、処理に使用する画像変形タイプおよび度合いとして設定する。
【００３４】
図５は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースの一例を示す説明図である。図５に示すように、このユーザインターフェースには、画像変形タイプを設定するためのインターフェースが含まれている。本実施例では、例えば、顔の形状をシャープにする変形タイプ「タイプＡ」や、目の形状を大きくする変形タイプ「タイプＢ」等が選択肢として予め設定されているものとする。ユーザは、このインターフェースを介して画像変形のタイプを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形タイプを、実際の処理に使用する画像変形タイプとして設定する。
【００３５】
また、図５に示すユーザインターフェースには、画像変形の度合い（程度）を設定するためのインターフェースが含まれている。図５に示すように、本実施例では、画像変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階と、自動と、の４つの選択肢が予め設定されているものとする。ユーザは、このインターフェースを介して画像変形の度合いを指定する。強、中、弱の３つの内のいずれかが指定された場合には、変形態様設定部２１０は、指定された画像変形の度合いを、実際の処理に使用する画像変形の度合いとして設定する。「自動」が指定された場合には、後述するように、画像変形の度合い（変形量）が変形量設定部２９０（図１）によって自動的に設定される。ユーザインターフェースに設けられたチェックボックスは、ユーザが変形態様の詳細指定を希望する場合にチェックされる。
【００３６】
以降では、画像変形のタイプとして顔の形状をシャープにするための変形タイプ「タイプＡ」が設定され、画像変形の度合い（変形量）として「自動」が選択され、ユーザによる詳細指定の希望はなかったものとして説明を行う。
【００３７】
ステップＳ１２４（図４）では、サイズ設定部２１４（図１）が、対象画像ＴＩにおける被写体としての人の頭部の幅方向および奥行き方向のサイズを設定する。サイズ設定部２１４による頭部のサイズの設定は、後述の画像変形の度合い（変形量）の自動設定（図４のステップＳ５９０）を行うために実行される。サイズ設定部２１４は、頭部のサイズを設定するためのユーザインターフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインターフェースを通じたユーザによる指示に基づき、頭部のサイズを設定する。
【００３８】
図６は、頭部のサイズを設定するためのユーザインターフェースの一例を示す説明図である。図６に示すように、このユーザインターフェースには、頭部の幅方向のサイズＷｈおよび奥行き方向のサイズＤｈの入力欄が含まれている。この入力欄にユーザによって幅方向サイズＷｈおよび奥行き方向サイズＤｈの値が入力され、「ＯＫ」ボタンが選択されると、サイズ設定部２１４は、入力された値を頭部の幅方向サイズＷｈおよび奥行き方向サイズＤｈとして設定する。他方、図６に示したユーザインターフェースには、「サイズ自動設定」ボタンが含まれている。ユーザにより「サイズ自動設定」ボタンが選択され、「ＯＫ」ボタンが選択されると、サイズ設定部２１４は、頭部の幅方向サイズＷｈおよび奥行き方向サイズＤｈを自動設定する。内部メモリ１２０に格納された頭部サイズ情報４３０（図１）には、人の頭部の幅方向サイズＷｈおよび奥行き方向サイズＤｈの標準的な値が規定されている。サイズ設定部２１４による頭部のサイズの自動設定は、頭部サイズ情報４３０に規定された標準値を頭部の幅方向サイズＷｈおよび奥行き方向サイズＤｈの値として設定することにより行われる。
【００３９】
ステップＳ１３０（図４）では、顔領域検出部２２０（図１）が、対象画像ＴＩにおける顔領域ＦＡの検出を行う。ここで、顔領域ＦＡとは、対象画像ＴＩにおける画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２２０による顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。
【００４０】
図７は、顔領域ＦＡの検出結果の一例を示す説明図である。図７の例では、対象画像ＴＩに人物の顔の画像が含まれている。そのため、ステップＳ１３０において、対象画像ＴＩから顔領域ＦＡが検出される。この顔領域ＦＡは、図７に示すように、両目と鼻と口の画像を含む矩形の領域となっている。なお、顔領域検出部２２０は、顔領域ＦＡの検出結果として、対象画像ＴＩにおける顔領域ＦＡの位置を特定可能な情報（例えば顔領域ＦＡの４つの頂点の座標）を出力する。また、図７に示すように、本実施例では、対象画像ＴＩの幅をＷｗｉ（単位は画素数）と表し、顔領域ＦＡの幅をＷｆｉ（単位は画素数）と表すものとする。
【００４１】
なお、ステップＳ１３０の顔領域ＦＡの検出において、顔領域ＦＡが検出されなかった場合には、その旨が表示部１５０を通じてユーザに通知される。この場合には、顔形状補正を伴わない通常印刷が行われるとしてもよいし、他の顔検出方法を用いた顔領域ＦＡの再度の検出処理が行われるとしてもよい。
【００４２】
ステップＳ１３０では、テンプレートを利用したパターンマッチングにより対象画像ＴＩから顔領域ＦＡが検出される。このようなテンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、一般に、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像ＴＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。
【００４３】
ステップＳ５００（図４）では、プリンタ１００が、ステップＳ１３０で検出された顔領域ＦＡに基づいて変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。変形領域ＴＡの設定方法については、後述の「Ａ−３．変形領域の設定」において詳述する。図８は、ステップＳ５００における変形領域ＴＡの設定結果を示す説明図である。図８では、破線によりステップＳ１３０において検出された顔領域ＦＡを示しており、太実線により設定された変形領域ＴＡを示している。
【００４４】
ステップＳ５７０（図４）では、被写体距離設定部３３０（図１）が、被写体距離Ｓｄの設定を行う。ここで、被写体距離Ｓｄは、対象画像ＴＩの撮像時における撮像装置（より詳細には撮像装置のレンズの主点）から特定種類の被写体までの距離を意味している。また、本実施例では、特定種類の被写体として人物の頭部が設定されている。従って、本実施例における被写体距離Ｓｄは、撮像装置から人物の頭部までの距離である。被写体距離設定部３３０による被写体距離Ｓｄの設定は、後述の画像変形の度合い（変形量）の自動設定（図４のステップＳ５９０）を行うために実行される。
【００４５】
被写体距離設定部３３０は、被写体距離Ｓｄの推定を行い、推定された値を被写体距離Ｓｄとして設定する。図９は、被写体距離Ｓｄの推定方法を示す説明図である。図９には、対象画像ＴＩの撮像時における撮像装置の結像面ＩＳと被写体としての人物Ｐの頭部との位置関係を示している。図９に示すように、レンズの主点ＵＰと人物Ｐの頭部（の中心）との間の距離である被写体距離Ｓｄは、人物Ｐの頭部の位置を含み結像面ＩＳに平行な面（以下「被写体面ＳＳ」とも呼ぶ）における撮像範囲の幅Ｗｗと画角θとにより定まる。また、画角θは、レンズの焦点距離ｆと結像面ＩＳの幅Ｗｘとの関係により特定される。すなわち、下記の式（１）が成り立つ。
【００４６】
【数１】
【００４７】
また、被写体面ＳＳにおける撮像範囲の幅Ｗｗは、大きさが既知の被写体の画像が対象画像ＴＩにおいて占める大きさに基づき特定される。本実施例では、顔領域ＦＡの検出によって対象画像ＴＩにおける顔の画像の大きさがわかっているため（図７参照）、大きさが既知の被写体として人物の顔を用いている。すなわち、被写体面ＳＳにおける撮像範囲の幅Ｗｗと人物Ｐの顔の幅Ｗｆとの比は、図７に示した対象画像ＴＩにおける画像全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉとの比に等しいと考えられる（式（２）参照）。
【００４８】
【数２】
【００４９】
上記式（１）および（２）から、下記の式（３）が導かれる。
【００５０】
【数３】
【００５１】
被写体距離設定部３３０の情報取得部３４０（図１）は、式（３）を用いた被写体距離Ｓｄの算出に必要な情報を取得する。具体的には、情報取得部３４０は、対象画像ＴＩを表す画像ファイルにメタデータとして付加されている対象画像ＴＩの全体の幅Ｗｗｉの値（画素数）を取得すると共に、顔領域ＦＡ（図７）の幅Ｗｆｉの値（画素数）を算出する。顔領域ＦＡの幅Ｗｆｉの算出は、例えば顔領域ＦＡの２つの頂点の座標を用いて２つの頂点間の距離を算出することにより行う。
【００５２】
情報取得部３４０は、また、人物Ｐの顔の幅Ｗｆの値として、予め設定され内部メモリ１２０（図１）に格納された人物の顔の幅（顔の現実の大きさ）の標準値（例えば１８０ｍｍ）を取得する。なお、人物Ｐの顔の幅Ｗｆの値をユーザにより入力させ、情報取得部３４０が入力された値を取得するものとしてもよい。
【００５３】
さらに、情報取得部３４０は、対象画像ＴＩの画像ファイルの付加データに含まれる撮像時のレンズ焦点距離ｆの値を取得する。ここで、取得されるレンズの焦点距離ｆの値は、３５ｍｍフィルム換算値であり、撮像装置の実際の焦点距離（実焦点距離）とは異なる場合がある。このような場合には、情報取得部３４０は、結像面ＩＳの幅Ｗｘとして、予め設定された３５ｍｍフィルムの幅の値（＝３６ｍｍ）を取得する。なお、画像ファイルの付加データに実焦点距離のデータと撮像装置の撮像素子の幅のデータとが含まれている場合には、情報取得部３４０が、レンズの焦点距離ｆとして実焦点距離の値を取得し、結像面ＩＳの幅Ｗｘとして撮像素子の幅の値を取得するとしてもよい。また、画像ファイルの付加データに画角そのものを示すデータが含まれている場合には、情報取得部３４０が画角を示すデータを取得するとしてもよい。レンズの焦点距離ｆの値と結像面ＩＳの幅Ｗｘの値とは、対象画像ＴＩの画角θを特定可能な情報である。
【００５４】
被写体距離設定部３３０は、情報取得部３４０により取得された上記各情報（対象画像ＴＩの全体の幅Ｗｗｉの値、顔領域ＦＡの幅Ｗｆｉの値、人物Ｐの顔の幅Ｗｆの値、レンズの焦点距離ｆの値、結像面ＩＳの幅Ｗｘの値）と、上記式（３）とを用いて、被写体距離Ｓｄを算出（推定）する。
【００５５】
次にステップＳ５９０（図４）では、変形量設定部２９０（図１）が、変形量（「変形の度合い」または「変形の程度」とも呼ぶ）を設定する。その後のステップＳ６００（図４）では、ステップＳ５００で設定された変形領域ＴＡの画像に対し、ステップＳ５９０で設定された変形量で変形処理が行われる。変形処理の具体的方法については、後述の「Ａ−４．変形処理」において詳述する。
【００５６】
ここで、変形量設定部２９０による変形量の設定（図４のステップＳ５９０）について説明する。図１０は、変形領域ＴＡの画像を対象とした変形処理（図４のステップＳ６００）が行われた結果を示す説明図である。図１０（ａ）には、変形処理が行われる前の対象画像ＴＩを示しており、図１０（ｂ）には、変形処理後の対象画像ＴＩを示している。図１０（ｂ）に示すように、変形処理後の対象画像ＴＩでは、変形領域ＴＡ内の人物の顔の画像の幅が小さくなっている。なお、ステップＳ６００における変形処理は対象画像ＴＩ中の変形領域ＴＡ内の画像にのみ施され、変形領域ＴＡの外の画像は変形されない。その結果、画像の全体を過剰に変形させずに、被写体を変形させることができる。
【００５７】
図１０の例では、顔の画像が顔の幅方向に沿って縮小変形され、顔の左右の頬のライン（顔の輪郭）の画像が変形量ＤＱだけ内側に移動している。この変形量ＤＱは、図４のステップＳ５９０において設定された量である。このような変形処理によって、変形処理後の顔の画像の幅Ｗｄは、変形前の顔の画像の幅Ｗｏと比べて、変形量ＤＱの２倍だけ小さくなる。このように幅が小さくなるように画像を変形する理由は、顔の画像の観察によって得られる印象を、実物の顔の観察によって得られる印象に近づけるためである。
【００５８】
図１１は、顔の画像と実物の顔との印象の違いを示す説明図である。図１１には、人の頭部Ｈの水平断面と、観察者の右目ＲＥおよび左目ＬＥと、撮像装置としてのカメラＣＭとを示している。図１１に示す配置では、頭部Ｈは顔の部分が２つの目ＲＥ、ＬＥの真正面に位置するような配置であるものとする。また、カメラＣＭは、２つの目ＲＥ、ＬＥの中点ＭＰに配置されている。すなわち、カメラＣＭは、観察者とほぼ同じ位置から頭部Ｈの顔の部分を見るような配置となっている。
【００５９】
本実施例では、頭部Ｈの水平断面は楕円形状であるものとしている。頭部Ｈの水平断面の外周（以下「頭部楕円ＨＥ」と呼ぶ）において、頭部Ｈの奥行き方向（図１１のｘ方向）に沿った半径をＡとし、幅方向（図１１のｙ方向）に沿った半径をＢとする。すなわち、半径Ａは頭部Ｈの奥行き方向のサイズＤｈ（図６参照）の２分の１に相当し、半径Ｂは頭部Ｈの幅方向のサイズＷｈの２分の１に相当する。なお、本明細書において、「楕円」の語は円（すなわちＡ＝Ｂの場合）を含むものとする。
【００６０】
中点ＭＰは頭部楕円ＨＥの中心ＣＰを通るｘ軸上に位置し、２つの目ＲＥ、ＬＥは、中心ＣＰを通りｘ軸に垂直な座標軸であるｙ軸に沿って並んでいる。距離Ｌは、２つの目ＲＥ、ＬＥの間の距離を示しており、距離ｄは、頭部楕円ＨＥの中心ＣＰと目ＲＥ、ＬＥとの間のｘ軸に沿った距離を示している。
【００６１】
図１１中の第１幅Ｗ１は、カメラＣＭから見える部分の頭部Ｈの幅を示している。カメラＣＭから見える部分は、頭部Ｈの表面の内、カメラ被写体範囲ＳＲＣ内の部分である。このカメラ被写体範囲ＳＲＣは、カメラＣＭの視野の全範囲の内の頭部Ｈが占める範囲である。第１幅Ｗ１は、頭部楕円ＨＥと中点ＭＰとの２つの接点間の距離に相当し、以下の式（４）により算出される。
【００６２】
【数４】
【００６３】
図１１中の第２幅Ｗ２は、両目ＲＥ、ＬＥから見える部分の頭部Ｈの幅を示している。両目ＲＥ、ＬＥから見える部分は、頭部Ｈの表面の内、右被写体範囲ＳＲＲと左被写体範囲ＳＲＬとの重なる範囲内の部分である。右被写体範囲ＳＲＲは、右目ＲＥの視野の全範囲の内の頭部Ｈが占める範囲であり、左被写体範囲ＳＲＬは、左目ＬＥの視野の全範囲の内の頭部Ｈが占める範囲である。第２幅Ｗ２は、頭部楕円ＨＥと右目ＲＥとの２つの接点の内のより中点ＭＰに近い方の接点と、頭部楕円ＨＥと左目ＬＥとの２つの接点の内のより中点ＭＰに近い方の接点と、の間の距離に相当し、以下の式（５）により算出される。
【００６４】
【数５】
【００６５】
図１１に示すように、右目ＲＥと左目ＬＥとの間では、頭部Ｈの見える部分が異なっている。すなわち、右目ＲＥから見える部分は右目ＲＥ側に偏っており、左目ＬＥから見える部分は左目ＬＥ側に偏っている。このような場合には、人（観察者）による頭部Ｈの認識は、両目ＲＥ、ＬＥに共通な可視部分から強い影響を受けると推定される。例えば、人は、両目ＲＥ、ＬＥに共通な可視部分の幅Ｗ２が頭部Ｈの幅であるという認識を持つと推定される。
【００６６】
図１１に示すように、第２幅Ｗ２は第１幅Ｗ１よりも狭い。すなわち、撮像によって生成された顔の画像を観察すると、実際の顔を直接観察したときと比べて幅が広い印象を受けるものと考えられる。そこで、図１０（ｂ）に示すように顔の幅が狭くなるように画像を変形することによって、顔の画像の観察によって得られる印象を、実物の顔の観察によって得られる印象に近づけることができる。
【００６７】
上記式（４）および（５）から明らかなように、第１幅Ｗ１および第２幅Ｗ２は、半径Ａ，Ｂの値や距離ｄの値に応じて変化する。なお、距離Ｌの値は、例えば、１００ｍｍを採用可能である。半径Ａ，Ｂの値や距離ｄの値を種々変化させたときの第１幅Ｗ１に対する第２幅Ｗ２の比率Ｒｉ（＝Ｗ２／Ｗ１）の値を以下の表１に示す。なお、第２幅Ｗ２の値は第１幅Ｗ１の値より小さいため、比率Ｒｉの値は１．０よりも小さくなる。また、表１において、ｆ（＝（Ａ−Ｂ）／Ａ）は頭部Ｈの水平断面の楕円形状外周の扁平率である。
【００６８】
【表１】
【００６９】
表１のｃａｓｅ１〜４からわかるように、Ｌ，ｄ，Ｂの値が一定の場合には、半径Ａの値が大きいほど比率Ｒｉの値は小さい。すなわち、顔の画像の観察によって得られる印象と実物の顔の観察によって得られる印象との差が大きくなるものと考えられる。一方、表１のｃａｓｅ２，５〜７からわかるように、Ｌ，ｄ，Ａの値が一定の場合には、半径Ｂの値が小さいほど比率Ｒｉの値は小さい。すなわち、顔の画像の観察によって得られる印象と実物の顔の観察によって得られる印象との差が大きくなるものと考えられる。さらに、表１のｃａｓｅ２，７，８からわかるように、Ｌ，Ａ，Ｂの値が一定の場合には、カメラＣＭおよび観察者から頭部Ｈまでの距離ｄの値が小さいほど比率Ｒｉの値は小さい。すなわち、顔の画像の観察によって得られる印象と実物の顔の観察によって得られる印象との差が大きくなるものと考えられる。
【００７０】
図１２は、半径Ａ、半径Ｂ、距離ｄと比率Ｒｉとの関係を示すグラフである。図１２（ａ）には、Ｌ，ｄ，Ｂの値が一定とした場合の半径Ａと比率Ｒｉとの関係を示しており、図１２（ｂ）には、Ｌ，ｄ，Ａの値が一定とした場合の半径Ｂと比率Ｒｉとの関係を示しており、図１２（ｃ）には、Ｌ，Ａ，Ｂの値が一定とした場合の距離ｄと比率Ｒｉとの関係を示している。
【００７１】
顔の画像の変形処理は、顔の画像の観察によって得られる印象が、実物の顔の観察によって得られる印象になるべく近づくように行われることが好ましい。このような画像の変形処理を実現するためには、図１０（ｂ）に示した変形処理前の顔の画像の幅Ｗｏに対する変形処理後の顔の画像の幅Ｗｄの比率Ｒｗが、図１１に示した第１幅Ｗ１に対する第２幅Ｗ２の比率Ｒｉと等しくなるように、変形量ＤＱを設定すればよい。
【００７２】
上述した図４のステップＳ５９０では、変形量設定部２９０（図１）が、ステップＳ１２４で設定された頭部のサイズ（ＷｈおよびＤｈ）から上記式（４）および（５）におけるＡおよびＢの値を算出する。変形量設定部２９０は、また、ステップＳ１２４で設定された被写体距離Ｓｄの値を上記式（４）および（５）におけるｄの値に設定する。変形量設定部２９０は、これらの値を用いて第１幅Ｗ１および第２幅Ｗ２を算出し、比率Ｒｗ（Ｗｄ／Ｗｏ）が比率Ｒｉ（Ｗ２／Ｗ１）と等しくなるように変形量ＤＱを算出する。
【００７３】
図１３は、半径Ａ、半径Ｂ、距離ｄと変形量ＤＱとの関係を示すグラフである。図１３（ａ）には、Ｌ，ｄ，Ｂの値が一定とした場合の半径Ａと変形量ＤＱとの関係を示しており、図１３（ｂ）には、Ｌ，ｄ，Ａの値が一定とした場合の半径Ｂと変形量ＤＱとの関係を示しており、図１３（ｃ）には、Ｌ，Ａ，Ｂの値が一定とした場合の距離ｄと変形量ＤＱとの関係を示している。図１３（ａ）に示すように、Ｌ，ｄ，Ｂの値が一定の場合には、半径Ａ（本発明における奥行き方向に沿った頭部Ｈの半径）の値が大きいほど変形量ＤＱは大きい値に設定される。同様に、Ｌ，ｄ，Ａの値が一定の場合には、半径Ｂ（本発明における幅方向に沿った頭部Ｈの半径）の値が小さいほど変形量ＤＱは大きい値に設定され（図１３（ｂ）参照）、Ｌ，Ａ，Ｂの値が一定の場合には、距離ｄの値が小さいほど変形量ＤＱは大きい値に設定される（図１３（ｃ）参照）。
【００７４】
図４のステップＳ６００では、このように決定された変形量ＤＱを用いて画像が変形される（図１０（ｂ））。その結果、顔の画像の観察によって得られる印象を実物の顔の観察によって得られる印象に近づけるような画像変形処理が実現される。
【００７５】
なお、「奥行き方向」とは、撮像装置のレンズの光軸に平行な方向を意味し、「幅方向」とは、撮像装置のレンズの光軸を含む水平面内において光軸と直交する直線に平行な方向を意味する。
【００７６】
顔形状補正処理（図４）が終了すると、図３のフローチャートに戻り、顔形状補正部２００（図１）が、顔形状補正後の対象画像ＴＩを表示部１５０に表示するよう表示処理部３１０に指示する（ステップＳ２００）。図１４は、顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。顔形状補正後の対象画像ＴＩが表示された表示部１５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足せず「戻る」ボタンを選択すると、例えば表示部１５０に図５に示した変形タイプおよび変形度合いを選択する画面や、図６に示した頭部のサイズを設定するための画面が表示され、ユーザによる変形タイプ・変形度合いや頭部サイズの再度の設定が実行される。
【００７７】
ユーザが補正結果に満足し、「印刷」ボタンを選択すると、印刷処理部３２０（図１）が、プリンタエンジン１６０を制御して、顔形状補正処理後の対象画像ＴＩの印刷を行う（図３のステップＳ３００）。印刷処理部３２０は、顔形状補正処理後の対象画像ＴＩの画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２０からプリンタエンジン１６０に供給され、プリンタエンジン１６０は対象画像ＴＩの印刷を実行する。これにより、顔形状補正後の対象画像ＴＩの印刷が完了する。
【００７８】
Ａ−３．変形領域の設定：
上述した顔形状補正処理（図４）における変形領域ＴＡの設定処理（ステップＳ５００）について詳述する。図１５は、顔領域ＦＡの検出結果の一例を示す説明図である。図１５に示すように、図４のステップＳ１３０において、対象画像ＴＩから顔領域ＦＡが検出されている。図１５に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。
【００７９】
変形領域ＴＡは、顔領域ＦＡに基づき設定される。ここで、上述したように、顔領域ＦＡの検出に用いられる公知の顔検出方法（テンプレートを利用したパターンマッチングによる方法等）は、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像ＴＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。他方、顔の画像は、一般に、観察者の注目度が高いため、顔領域ＦＡに基づき設定された変形領域ＴＡと顔の画像との位置や角度の関係によっては、顔形状補正後の画像が不自然なものとなる可能性がある。そこで、本実施例では、より自然で好ましい顔形状補正が実現されるように、ステップＳ１３０で検出された顔領域ＦＡについて、以下に説明する位置調整および傾き調整を行うものとしている。
【００８０】
図１６は、変形領域設定処理の流れを示すフローチャートである。ステップＳ５１０では、顔領域調整部２３０（図１）が、ステップＳ１３０（図４）で検出された顔領域ＦＡの高さ方向の位置調整を行う。ここで、顔領域ＦＡの高さ方向の位置調整とは、顔領域ＦＡの基準線ＲＬ（図１５参照）に沿った位置を調整して、対象画像ＴＩにおける顔領域ＦＡを再設定することを意味している。
【００８１】
図１７は、顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。ステップＳ５１１では、顔領域調整部２３０（図１）が、特定領域ＳＡを設定する。ここで、特定領域ＳＡとは、対象画像ＴＩ上の領域であって、顔領域ＦＡの高さ方向の位置調整を実行する際に参照する所定の参照被写体の画像を含む領域である。参照被写体は、例えば「目」に設定することができ、その場合、特定領域ＳＡは「目」の画像を含む領域として設定される。
【００８２】
図１８は、特定領域ＳＡの一例を示す説明図である。本実施例では、顔領域調整部２３０（図１）が、特定領域ＳＡを顔領域ＦＡとの関係に基づいて設定する。具体的には、顔領域ＦＡの大きさを、基準線ＲＬに直行する方向および基準線ＲＬに平行な方向に、所定比率で縮小（または拡大）した大きさの領域であって、顔領域ＦＡの位置と所定の位置関係を有する領域が、特定領域ＳＡとして設定される。すなわち、本実施例では、顔領域検出部２２０により検出された顔領域ＦＡとの関係に基づき特定領域ＳＡを設定すれば、特定領域ＳＡが両方の目の画像を含む領域となるように、上記所定比率や所定の位置関係が予め設定されている。なお、特定領域ＳＡは、目の画像とまぎらわしい画像（例えば髪の毛の画像）がなるべく含まれないように、両目の画像を含む限りにおいて、なるべく小さい領域として設定されることが好ましい。
【００８３】
また、図１８に示すように、特定領域ＳＡは、基準線ＲＬに対して対称な矩形形状の領域として設定される。特定領域ＳＡは、基準線ＲＬにより、向かって左側の領域（以下「左分割特定領域ＳＡ（ｌ）」とも呼ぶ）と、向かって右側の領域（以下「右分割特定領域ＳＡ（ｒ）」とも呼ぶ）とに分割される。特定領域ＳＡは、左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれに片目の画像が含まれるように設定される。
【００８４】
ステップＳ５１２（図１７）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の画像の位置を検出するための評価値を算出する。図１９は、評価値の算出方法の一例を示す説明図である。本実施例では、ＲＧＢ画像データとしての対象画像ＴＩの各画素のＲ値（Ｒ成分値）が評価値の算出に用いられる。これは、肌の部分の画像と目の部分の画像とではＲ値の差が大きいため、Ｒ値を評価値の算出に用いることにより、目の画像の検出精度を向上させることができると考えられるからである。また、本実施例では、対象画像ＴＩのデータがＲＧＢデータとして取得されているため、Ｒ値を評価値の算出に用いることにより、評価値の算出の効率化を図ることができるからでもある。なお、図１９に示すように、評価値の算出は、２つの分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））のそれぞれについて個別に行われる。
【００８５】
顔領域調整部２３０は、図１９に示すように、分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））内に、基準線ＲＬと直行するｎ本の直線（以下「対象画素特定線ＰＬ１〜ＰＬｎ」と呼ぶ）を設定する。対象画素特定線ＰＬ１〜ＰＬｎは、分割特定領域の高さ（基準線ＲＬに沿った大きさ）を（ｎ＋１）等分する直線である。すなわち、対象画素特定線ＰＬ同士の間隔は、すべて等間隔ｓである。
【００８６】
顔領域調整部２３０は、対象画素特定線ＰＬ１〜ＰＬｎのそれぞれについて、対象画像ＴＩを構成する画素の中から評価値の算出に用いる画素（以下「評価対象画素ＴＰ」と呼ぶ）を選択する。図２０は、評価対象画素ＴＰの選択方法の一例を示す説明図である。顔領域調整部２３０は、対象画像ＴＩを構成する画素の内、対象画素特定線ＰＬと重なる画素を評価対象画素ＴＰとして選択する。図２０（ａ）は、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（図２０のＸ方向）と平行である場合を示している。この場合には、各対象画素特定線ＰＬと重なる画素行上の画素（図２０（ａ）において○印を付した画素）が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。
【００８７】
一方、顔領域ＦＡの検出方法や特定領域ＳＡの設定方法によっては、図２０（ｂ）に示すように、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（Ｘ方向）と平行とはならない場合も生ずる。このような場合にも、原則として、各対象画素特定線ＰＬと重なる画素が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。ただし、例えば図２０（ｂ）における対象画素特定線ＰＬ１と画素ＰＸａおよびＰＸｂとの関係のように、ある対象画素特定線ＰＬが、対象画像ＴＩの画素マトリクスの同一列に位置する（すなわちＹ座標が同一の）２つの画素と重なる場合には、重なり部分の距離のより短い方の画素（例えば画素ＰＸｂ）は評価対象画素ＴＰから除外される。すなわち、各対象画素特定線ＰＬについて、画素マトリクスの１つの列からは１つの画素のみが評価対象画素ＴＰとして選択される。
【００８８】
なお、対象画素特定線ＰＬの傾きが、Ｘ方向に対して４５度を超える場合には、上記説明において画素マトリクスの列と行との関係が逆転し、画素マトリクスの１つの行から１つの画素のみが評価対象画素ＴＰとして選択されることとなる。また、対象画像ＴＩと特定領域ＳＡとの大きさの関係によっては、１つの画素が複数の対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される場合もある。
【００８９】
顔領域調整部２３０は、対象画素特定線ＰＬのそれぞれについて、評価対象画素ＴＰのＲ値の平均値を評価値として算出する。ただし、本実施例では、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。具体的には、例えば、ある対象画素特定線ＰＬについてｋ個の評価対象画素ＴＰが選択された場合、評価対象画素ＴＰが、Ｒ値の比較的大きい０．７５ｋ個の画素により構成される第１グループと、比較的Ｒ値の小さい０．２５ｋ個の画素により構成される第２グループとの２グループに分けられ、第２グループに属する画素のみが評価値としてのＲ値の平均値の算出対象となる。このように一部の評価対象画素ＴＰを評価値の算出対象から除外する理由については後述する。
【００９０】
以上のように、本実施例では、顔領域調整部２３０により各対象画素特定線ＰＬについての評価値が算出される。ここで、対象画素特定線ＰＬは基準線ＲＬに直行する直線であるため、評価値は、基準線ＲＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、基準線ＲＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。
【００９１】
ステップＳ５１３（図１７）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の位置を検出し、検出結果に基づき高さ基準点Ｒｈを決定する。まず、顔領域調整部２３０は、図１９の右側に示すように、各分割特定領域について、基準線ＲＬに沿った評価値（Ｒ値の平均値）の分布を表す曲線を作成し、評価値が極小値をとる基準線ＲＬ方向に沿った位置を目の位置Ｅｈとして検出する。なお、左分割特定領域ＳＡ（ｌ）における目の位置ＥｈをＥｈ（ｌ）と表し、右分割特定領域ＳＡ（ｒ）における目の位置ＥｈをＥｈ（ｒ）と表わす。
【００９２】
黄色人種の場合、分割特定領域中の肌の画像を表す部分はＲ値が大きい一方、目（より詳細には目の中央の黒目部分）の画像を表す部分はＲ値が小さいと考えられる。そのため、上述のように、評価値（Ｒ値の平均値）が極小値をとる基準線ＲＬに沿った位置を目の位置Ｅｈと判断することが可能となる。但し、他の人種（白色人種や黒色人種）を対象とする場合には、他の評価値（例えば、輝度や明度やＢ値）が用いられる。
【００９３】
なお、図１９に示すように、分割特定領域には、目の画像以外にもＲ値の小さい他の画像（例えば、眉や髪の毛の画像）が含まれている場合もある。そのため、顔領域調整部２３０は、基準線ＲＬに沿った評価値の分布を表す曲線が複数の極小値をとる場合には、極小値をとる位置の内、最も下側の位置を目の位置Ｅｈと判断する。一般に、目の画像より上側には眉や髪の毛等のＲ値の小さい画像が位置することが多い一方、目の画像より下側にはＲ値の小さい画像が位置することが少ないと考えられることから、このような判断が可能となる。
【００９４】
また、上記曲線が、目の画像の位置よりも下側（主に肌の画像に対応した位置）であっても、評価値が大きいながらも極小値をとる可能性があるため、極小値の内、所定の閾値より大きいものは無視するものとしてもよい。あるいは、単純に、各対象画素特定線ＰＬについて算出された評価値の内の最小値に対応した対象画素特定線ＰＬの位置を目の位置Ｅｈとしてもよい。
【００９５】
なお、本実施例では、顔において周囲との色の差が比較的大きいと考えられる部位である目（目の中央の黒目部分）を顔領域ＦＡの位置調整の参照被写体として用いている。しかし、評価値としてのＲ値の平均値は、対象画素特定線ＰＬ上の複数の評価対象画素ＴＰを対象として算出されるため、例えば、黒目の周縁の白目部分の画像の影響により、黒目部分の検出の精度が低下する怖れがある。本実施例では、上述したように、参照被写体とは色の差が大きいと考えられる一部の評価対象画素ＴＰ（例えば上述した第１のグループに属する比較的Ｒ値の大きい画素）を評価値の算出対象から除外することにより、参照被写体の検出精度をより向上させている。
【００９６】
次に、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき高さ基準点Ｒｈを決定する。図２１は、高さ基準点Ｒｈの決定方法の一例を示す説明図である。高さ基準点Ｒｈは、顔領域ＦＡの高さ方向の位置調整の際に、基準として用いられる点である。本実施例では、図２１に示すように、左右２つの目の位置Ｅｈ（ｌ）およびＥｈ（ｒ）の中間に位置する基準線ＲＬ上の点が高さ基準点Ｒｈとして設定される。すなわち、左の目の位置Ｅｈ（ｌ）を示す直線ＥｈＬ（ｌ）と基準線ＲＬとの交点と、右の目の位置Ｅｈ（ｒ）を示す直線ＥｈＬ（ｒ）と基準線ＲＬとの交点と、の中点が、高さ基準点Ｒｈとして設定される。
【００９７】
なお、本実施例では、顔領域調整部２３０が、検出された目の位置Ｅｈに基づき、顔画像の概略の傾き角（以下「概略傾き角ＲＩ」と呼ぶ）を算出するものとしている。顔画像の概略傾き角ＲＩは、対象画像ＴＩ中の顔の画像が、顔領域ＦＡの基準線ＲＬに対して概ねどれぐらい傾いているかを推定した角度である。図２２は、概略傾き角ＲＩの算出方法の一例を示す説明図である。図２２に示すように、顔領域調整部２３０は、まず、左分割特定領域ＳＡ（ｌ）の幅Ｗｓ（ｌ）を半分に分割する直線と直線ＥｈＬ（ｌ）との交点ＩＰ（ｌ）と、右分割特定領域ＳＡ（ｒ）の幅Ｗｓ（ｒ）を半分に分割する直線と直線ＥｈＬ（ｒ）との交点ＩＰ（ｒ）とを決定する。そして、交点ＩＰ（ｌ）と交点ＩＰ（ｒ）とを結ぶ直線に直交する直線ＩＬと、基準線ＲＬとのなす角が、概略傾き角ＲＩとして算出される。
【００９８】
ステップＳ５１４（図１７）では、顔領域調整部２３０（図１）が、顔領域ＦＡの高さ方向の位置調整を行う。図２３は、顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。顔領域ＦＡの高さ方向の位置調整は、高さ基準点Ｒｈが、位置調整後の顔領域ＦＡにおける所定の位置に位置することとなるように、顔領域ＦＡを再設定することにより行う。具体的には、図２３に示すように、高さ基準点Ｒｈが、顔領域ＦＡの高さＨｆを所定の比率ｒ１対ｒ２で分けるような位置に位置することとなるように、顔領域ＦＡが基準線ＲＬに沿って上下に位置調整される。図２３の例では、破線で示した調整前の顔領域ＦＡを上方向に移動することにより、実線で示した調整後の顔領域ＦＡが再設定されている。
【００９９】
顔領域ＦＡの位置調整の後、ステップＳ５２０（図１６）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整（角度調整）を行う。ここで、顔領域ＦＡの傾き調整とは、対象画像ＴＩにおける顔領域ＦＡの傾きを顔の画像の傾きに適合するように調整して、顔領域ＦＡを再設定することを意味している。本実施例では、顔領域ＦＡの傾き調整を実行する際に参照する所定の参照被写体は、「両目」と設定されている。本実施例における顔領域ＦＡの傾き調整では、傾き調整の調整角度の選択肢を表す複数の評価方向が設定され、各評価方向に対応した評価特定領域ＥＳＡが両目の画像を含む領域として設定される。そして、各評価方向について評価特定領域ＥＳＡの画像の画素値に基づき評価値が算出され、評価値に基づき決定される傾き調整の調整角度を用いて顔領域ＦＡの傾きが調整される。
【０１００】
図２４は、本実施例における顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。また、図２５は、顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。ステップＳ５２１（図２４）では、顔領域調整部２３０（図１）が、初期評価特定領域ＥＳＡ（０）を設定する。初期評価特定領域ＥＳＡ（０）は、顔領域ＦＡの位置調整後の基準線ＲＬ（図２３参照）と平行な方向（以下「初期評価方向」とも呼ぶ）に対応付けられた評価特定領域ＥＳＡである。本実施例では、位置調整後の顔領域ＦＡに対応した特定領域ＳＡ（図２３参照）が、そのまま初期評価特定領域ＥＳＡ（０）として設定される。なお、顔領域ＦＡの傾き調整における評価特定領域ＥＳＡは、顔領域ＦＡの位置調整時の特定領域ＳＡとは異なり、左右２つの領域に分割されることはない。図２５の最上段には、設定された初期評価特定領域ＥＳＡ（０）が示されている。
【０１０１】
ステップＳ５２２（図２４）では、顔領域調整部２３０（図１）が、複数の評価方向と各評価方向に対応した評価特定領域ＥＳＡとを設定する。複数の評価方向は、傾き調整の調整角度の選択肢を表す方向として設定される。本実施例では、基準線ＲＬとのなす角が所定の範囲内である複数の評価方向線ＥＬが設定され、評価方向線ＥＬと平行な方向が評価方向として設定される。図２５に示すように、基準線ＲＬを初期評価特定領域ＥＳＡ（０）の中心点（重心）ＣＰを中心として反時計回りおよび時計回りに所定の角度α刻みで回転させることにより定まる直線が、複数の評価方向線ＥＬとして設定される。なお、基準線ＲＬとのなす角がφ度である評価方向線ＥＬをＥＬ（φ）と表す。
【０１０２】
本実施例では、上述した各評価方向線ＥＬと基準線ＲＬとのなす角についての所定の範囲は±２０度と設定される。ここで本明細書では、基準線ＲＬを時計回りに回転させたときの回転角は正の値で表され、基準線ＲＬを反時計回りに回転させたときの回転角は負の値で表される。顔領域調整部２３０は、基準線ＲＬを反時計回りおよび時計回りにα度、２α度・・・と２０度を超えない範囲で回転角を増加させつつ回転させ、複数の評価方向線ＥＬを設定する。図２５には、基準線ＲＬを−α度，−２α度，α度回転させることによりそれぞれ定まる評価方向線ＥＬ（ＥＬ（−α），ＥＬ（−２α），ＥＬ（α））が示されている。なお、基準線ＲＬは、評価方向線ＥＬ（０）とも表現できる。
【０１０３】
各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、中心点ＣＰを中心として、評価方向線ＥＬの設定時の回転角と同じ角度で回転させた領域である。評価方向線ＥＬ（φ）に対応した評価特定領域ＥＳＡは、評価特定領域ＥＳＡ（φ）と表される。図２５には、評価方向線ＥＬ（−α），ＥＬ（−２α），ＥＬ（α）のそれぞれに対応した評価特定領域ＥＳＡ（ＥＳＡ（−α），ＥＳＡ（−２α），ＥＳＡ（α））が示されている。なお、初期評価特定領域ＥＳＡ（０）も評価特定領域ＥＳＡの１つとして扱われるものとする。
【０１０４】
ステップＳ５２３（図２４）では、顔領域調整部２３０（図１）が、設定された複数の評価方向のそれぞれについて、評価特定領域ＥＳＡの画像の画素値に基づき評価値を算出する。本実施例では、顔領域ＦＡの傾き調整における評価値として、上述した顔領域ＦＡの位置調整における評価値と同様に、Ｒ値の平均値が用いられる。顔領域調整部２３０は、評価方向に沿った複数の評価位置についての評価値を算出する。
【０１０５】
評価値の算出方法は、上述した顔領域ＦＡの位置調整における評価値の算出方法と同様である。すなわち、顔領域調整部２３０は、図２５に示すように、各評価特定領域ＥＳＡ内に、評価方向線ＥＬに直交する対象画素特定線ＰＬ１〜ＰＬｎを設定し、各対象画素特定線ＰＬ１〜ＰＬｎについて評価対象画素ＴＰを選択し、選択された評価対象画素ＴＰのＲ値の平均値を評価値として算出する。
【０１０６】
評価特定領域ＥＳＡにおける対象画素特定線ＰＬの設定方法や評価対象画素ＴＰの選択方法は、領域を左右に分割するか否かの違いはあるものの、図１９および図２０に示した顔領域ＦＡの位置調整における方法と同様である。なお、顔領域ＦＡの位置調整時と同様に、選択された評価対象画素ＴＰの内の一部（例えばｋ個の評価対象画素ＴＰの内のＲ値の比較的大きい０．７５ｋ個の画素）を評価値の算出対象から除外するとしてもよい。図２５の右側には、各評価方向について、算出された評価値の評価方向線ＥＬに沿った分布を示している。
【０１０７】
なお、対象画素特定線ＰＬは評価方向線ＥＬに直行する直線であるため、評価値は、評価方向線ＥＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、評価方向線ＥＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。
【０１０８】
ステップＳ５２４（図２４）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整に用いる調整角度を決定する。顔領域調整部２３０は、各評価方向について、ステップＳ５２３において算出された評価値の評価方向線ＥＬに沿った分散を算出し、分散の値が最大となる評価方向を選択する。そして、選択された評価方向に対応した評価方向線ＥＬと基準線ＲＬとのなす角を、傾き調整に用いる調整角度として決定する。
【０１０９】
図２６は、各評価方向についての評価値の分散の算出結果の一例を示す説明図である。図２６の例では、回転角が−α度である評価方向において、分散が最大値Ｖｍａｘをとる。従って、−α度、すなわち反時計回りにα度の回転角が、顔領域ＦＡの傾き調整に用いる調整角度として決定される。
【０１１０】
評価値の分散の値が最大となるときの評価方向に対応した角度が傾き調整に用いる調整角度として決定される理由について説明する。図２５の上から２段目に示すように、回転角が−α度であるときの評価特定領域ＥＳＡ（−α）では、左右の目の中央部（黒目部分）の画像が、概ね対象画素特定線ＰＬに平行な方向（すなわち評価方向線ＥＬに直行する方向）に並ぶような配置となっている。また、このときには、左右の眉の画像も同様に、概ね評価方向線ＥＬに直行する方向に並ぶような配置となる。従って、このときの評価方向線ＥＬに対応した評価方向が、概ね顔の画像の傾きを表す方向であると考えられる。このときには、一般にＲ値が小さい目や眉の画像と一般にＲ値が大きい肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の小さい位置関係となる。そのため、目や眉の画像の位置における評価値は比較的小さくなり、肌の部分の画像の位置における評価値は比較的大きくなる。従って、評価方向線ＥＬに沿った評価値の分布は、図２５に示すように、比較的ばらつきの大きい（振幅の大きい）分布となり、分散の値は大きくなる。
【０１１１】
一方、図２５中の最上段および３段目、４段目に示すように、回転角が０度，−２α度，α度であるときの評価特定領域ＥＳＡ（０），ＥＳＡ（−２α），ＥＳＡ（α）では、左右の目の中央部や左右の眉の画像が、評価方向線ＥＬに直行する方向に並ばず、ずれた配置となっている。従って、このときの評価方向線ＥＬに対応した評価方向は、顔の画像の傾きを表していはいない。このときには、目や眉の画像と肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の大きい位置関係となる。そのため、評価方向線ＥＬに沿った評価値の分布は、図２５に示すように、比較的ばらつきの小さい（振幅の小さい）分布となり、分散の値は小さくなる。
【０１１２】
以上のように、評価方向が顔の画像の傾きの方向に近い場合には、評価方向線ＥＬに沿った評価値の分散の値が大きくなり、評価方向が顔の画像の傾きの方向から遠い場合には、評価方向線ＥＬに沿った評価値の分散の値が小さくなる。従って、評価値の分散の値が最大となるときの評価方向に対応した角度を傾き調整に用いる調整角度として決定すれば、顔領域ＦＡの傾きが顔の画像の傾きに適合するような顔領域ＦＡの傾き調整を実現することができる。
【０１１３】
なお本実施例では、評価値の分散の算出結果が、角度の範囲の臨界値、すなわち−２０度または２０度において最大値をとるような結果となった場合には、顔の傾きが正確に評価されていない可能性が高いと考えられるため、顔領域ＦＡの傾き調整を行わないものとしている。
【０１１４】
また本実施例では、決定された調整角度が、上述した顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩと比較される。調整角度と概略傾き角ＲＩとの差が所定の閾値より大きい場合には、顔領域ＦＡの位置調整および傾き調整における評価や決定の際に何らかの誤りが発生したと考えられるため、顔領域ＦＡの位置調整および傾き調整を行わないものとしている。
【０１１５】
ステップＳ５２５（図２４）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整を行う。図２７は、顔領域ＦＡの傾き調整方法の一例を示す説明図である。顔領域ＦＡの傾き調整は、顔領域ＦＡを、初期評価特定領域ＥＳＡ（０）の中心点ＣＰを中心に、ステップＳ５２４において決定された調整角度だけ回転させることにより行う。図２７の例では、破線で示した調整前の顔領域ＦＡを反時計回りにα度回転させることにより、実線で示した調整後の顔領域ＦＡが設定される。
【０１１６】
顔領域ＦＡの傾き調整終了後のステップＳ５３０（図１６）では、変形領域設定部２４０（図１）が、変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図２８は、変形領域ＴＡの設定方法の一例を示す説明図である。図２８に示すように、本実施例では、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。
【０１１７】
このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。
【０１１８】
図２８に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づき、上述の係数ｋ１，ｋ２，ｋ３が予め設定されている。
【０１１９】
Ａ−４．変形処理：
上述した顔形状補正処理（図４）における変形処理（ステップＳ６００）について詳述する。図２９は、変形処理の流れを示すフローチャートである。ステップＳ６１０では、変形領域分割部２５０（図１）が、変形領域ＴＡを複数の小領域に分割する。図３０は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。
【０１２０】
分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと対応付けて定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照し、ステップＳ１２０において設定された変形タイプと対応付けられた態様で分割点Ｄを配置する。本実施例では、上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定されているため、この変形タイプに対応付けられた態様で分割点Ｄが配置される。
【０１２１】
図３０に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図３０に示すように、顔をシャープにするための変形タイプに対応付けられた分割点Ｄの配置では、基準線ＲＬと直行する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。
【０１２２】
水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。
【０１２３】
上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図３０に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。
【０１２４】
なお、図３０に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。
【０１２５】
変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。本実施例では、図３０に示すように、変形領域ＴＡが１５個の矩形の小領域に分割される。
【０１２６】
なお本実施例では、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。
【０１２７】
ステップＳ６２０（図２９）では、分割領域変形部２６０（図１）が、対象画像ＴＩの変形領域ＴＡを対象とした画像の変形処理を行う。分割領域変形部２６０による変形処理は、ステップＳ６１０で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形することにより行われる。
【０１２８】
変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと変形の度合いとの組み合わせに対応付けて、予め定められている。分割領域変形部２６０は、分割点移動テーブル４２０を参照し、ステップＳ１２０において設定された変形タイプと変形の度合いとの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置を移動する。
【０１２９】
変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されている場合には、これらの変形タイプおよび変形度合いの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置が移動されることとなる。
【０１３０】
また、変形度合いとして「自動」が選択されている場合には、分割点Ｄの移動方向および移動距離が、変形量設定部２９０によって設定された変形量ＤＱに基づいて決定される。
【０１３１】
図３１は、分割点移動テーブル４２０の内容の一例を示す説明図である。また図３２は、分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図３１には、分割点移動テーブル４２０により定義された分割点Ｄの位置の移動態様の内、顔をシャープにするための変形タイプと変形度合い「自動」との組み合わせに対応付けられた移動態様を示している。図３１に示すように、分割点移動テーブル４２０には、各分割点Ｄについて、基準線ＲＬと直交する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、分割点移動テーブル４２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、テーブル中の移動量ＤＱｐは、変形量設定部２９０（図１）によって決定される。図４のステップＳ５９０では、変形量設定部２９０は、設定した変形量ＤＱを画素ピッチに換算することによって、移動量ＤＱｐを算出する。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰのＤＱｐ倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの２＊ＤＱｐ倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。なお、変形度合いとして「強（Ｓ）」、「中（Ｍ）」、「弱（Ｗ）」のいずれかが選択された場合には、移動量ＤＱｐとして、変形量設定部２９０によって調整された値の代わりに、各変形度合いに対応付けて予め定められた値が利用される。
【０１３２】
なお、本実施例では、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図３０に示す分割点Ｄ１０等）の位置は移動されないものとしている。従って、図３１に示した分割点移動テーブル４２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。
【０１３３】
図３２では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ’と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図３２において右上方向に移動され、分割点Ｄ’１１となる。
【０１３４】
なお、本実施例では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。
【０１３５】
分割領域変形部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図３２において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ’１１，Ｄ’２１，Ｄ２２，Ｄ’１２を頂点とする小領域の画像に変形される。
【０１３６】
図３３は、分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。図３３では、分割点Ｄを黒丸で示している。図３３では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図３３の例では、中央の分割点Ｄａが分割点Ｄａ’の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ’，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。
【０１３７】
本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図３３の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ’を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ’，Ｄｄおよび重心ＣＧ’を頂点とする三角形領域の画像に変形される。
【０１３８】
図３４は、三角形領域における画像の変形処理方法の概念を示す説明図である。図３４の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ’，ｔ’，ｕ’を頂点とする三角形領域ｓ’ｔ’ｕ’の画像に変形される。画像の変形は、変形後の三角形領域ｓ’ｔ’ｕ’の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。
【０１３９】
例えば、図３４において、変形後の三角形領域ｓ’ｔ’ｕ’の画像中の注目画素ｐ’の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ’の位置を、下記の式（６）のようにベクトルｓ’ｔ’とベクトルｓ’ｕ’との和で表現するための係数ｍ１およびｍ２を算出する。
【０１４０】
【数６】
【０１４１】
次に、算出された係数ｍ１およびｍ２を用いて、下記の式（７）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。
【０１４２】
【数７】
【０１４３】
変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。
【０１４４】
変形後の三角形領域ｓ’ｔ’ｕ’の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ’ｔ’ｕ’の画像への画像変形処理を行うことができる。分割領域変形部２６０は、図３２に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。
【０１４５】
ここで、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして「自動」が設定された場合を例に取り、顔形状補正の態様についてより詳細に説明する。図３５は、この場合における顔形状補正の態様を示す説明図である。図３５には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。
【０１４６】
図３５の例に示す顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図３１参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、この顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。
【０１４７】
他方、基準線ＲＬと直交する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図３１参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図３１参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。
【０１４８】
上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、図３５の例における顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。
【０１４９】
上述したＨ方向およびＶ方向の変形態様を総合すると、図３５の例に示した顔形状補正により、対象画像ＴＩ中の顔の形状がシャープになる。なお、顔の形状がシャープになるとは、いわゆる「小顔」になると表現することもできる。
【０１５０】
なお、図３５に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図３１に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように図３５の例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。
【０１５１】
Ａ−５．他の変形処理：
図３６は、変形処理の他の実施例を示す概略図である。図１０に示す変形処理とは異なり、図３６の例では、対象画像ＴＩ上の一部の変形領域が変形される代わりに、対象画像ＴＩの全体のアスペクト比が変更される。
【０１５２】
図３６（ａ）は、変形前の対象画像ＴＩを示し、図３６（ｂ）は変形後の画像ＴＩｄを示している。また、図中には、互いに直交する２つの方向Ｄｒ１、Ｄｒ２が示されている。第１方向Ｄｒ１は、矩形画像ＴＩ、ＴＩｄの短辺と平行な方向を示し、第２方向Ｄｒ２は、矩形画像ＴＩ、ＴＩｄの長辺と平行な方向を示している。図３６の例では、顔の幅方向は、第２方向Ｄｒ２とほぼ一致している。
【０１５３】
図３６の例では、第１方向Ｄｒ１に沿った変形は実行されずに、第２方向Ｄｒ２に沿った変形（圧縮）が実行される。この変形によって、画像の全体が、第２方向Ｄｒ２に沿って圧縮される。すなわち、対象画像ＴＩ上の被写体の幅も狭くなる。その結果、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。
【０１５４】
この変形では、変形済画像ＴＩｄの第２方向Ｄｒ２の大きさ（幅ＩＷｄ）が、変形前の大きさ（幅ＩＷ）と比べて、変形量ＤＱの２倍だけ小さくなる。すなわち、変形済画像ＴＩｄの第２方向Ｄｒ２方向の画素数が、変形前の画素数と比べて、少なくなる。ここで、変形済画像ＴＩｄの画素値（各画素の階調値）の決定方法としては、種々の方法を採用可能である。例えば、対象画像ＴＩの画素値を補間することによって、変形済画像ＴＩｄの画素値を決定してもよい。
【０１５５】
変形量ＤＱとしては、上述の実施例で説明した任意の変形量を採用可能である。例えば、被写体距離Ｓｄに基づいて決定された変形量ＤＱを採用してもよい。
【０１５６】
なお、２つの方向Ｄｒ１、Ｄｒ２から圧縮すべき方向を、被写体の方向の検出結果に基づいて選択することが好ましい。例えば、顔領域検出部２２０（図１）は、図１５、図３６（ａ）に示すように、顔領域ＦＡの高さ方向（上下方向）を示す基準線ＲＬを検出可能である。そこで、２つの方向Ｄｒ１、Ｄｒ２の内の、この基準線ＲＬとのなす角度が大きい方の方向を選択することが好ましい（図３６の例では、第２方向Ｄｒ２）。こうすば、被写体の幅（水平方向の大きさ）を小さくすることができる。
【０１５７】
なお、対象画像ＴＩの全体のアスペクト比を変更する変形処理を採用する場合には、顔形状補正部として、図１に示すような顔形状補正部２００を採用可能である。ただし、変形処理部から、変形領域分割部２５０と分割領域変形部２６０とを省略することができる。その代わりに、変形処理部は、対象画像ＴＩのアスペクト比を変更する機能を有していればよい。また、顔領域調整部２３０と変形領域設定部２４０とを省略可能である。顔領域検出部２２０は、被写体の方向を検出するために利用され得る。ただし、顔領域検出部２２０を省略してもよい。
【０１５８】
ここで、被写体の幅方向に沿って対象画像ＴＩを圧縮する変形処理の代わりに、被写体の高さ方向に沿って対象画像ＴＩを伸張する変形処理を採用してもよい。この場合も、被写体の高さに対する幅の比率が小さくなるので、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。
【０１５９】
Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１６０】
Ｂ１．変形例１：
上記実施例では、頭部のサイズを設定するためのユーザインターフェース（図６）を介したユーザの指示に応じて頭部サイズの設定処理（図４のステップＳ１２４）が行われるとしているが、必ずしもユーザの指示に応じて頭部サイズの設定処理が行われる必要は無い。例えば、図６に示したユーザインターフェースを用いることなく、常に頭部サイズ情報４３０に規定された頭部サイズの標準値が、処理に使用される頭部サイズの値として設定されるとしてもよい。
【０１６１】
また、頭部のサイズを設定するためのユーザインターフェースとして、図６に示したものとは異なるユーザインターフェースが用いられるとしてもよい。例えば、幅方向サイズＷｈおよび奥行き方向サイズＤｈの入力欄の代わりに、頭部のサイズに関する他の情報を入力する入力欄が含まれるユーザインターフェースが用いられるとしてもよい。このような他の情報として、例えば、頭部の水平断面を楕円形とした場合の当該楕円の扁平率を採用することが考えられる。この場合には、扁平率に対応した頭部サイズの値が頭部サイズ情報４３０に規定されており、ユーザにより入力された扁平率に対応した頭部サイズの値が、処理に使用される値として設定されるとしてもよい。
【０１６２】
上記他の情報として、他にも例えば、被写体の年齢（または年齢層）や被写体の人種等を採用することが考えられる。このような場合にも、被写体の年齢（または年齢層）や被写体の人種（またはそれらの組み合わせ）に対応した頭部サイズの値が頭部サイズ情報４３０に規定されており、ユーザにより入力された被写体の年齢（または年齢層）や被写体の人種に対応した頭部サイズの値が、処理に使用される値として設定されるとしてもよい。このとき、被写体の年齢（または年齢層）や人種は必ずしもユーザにより入力される必要はなく、例えば対象画像ＴＩの画像解析により、被写体の年齢（または年齢層）や人種を推定し、推定された年齢（または年齢層）や人種に対応付けられた頭部サイズの標準値が、処理に使用される値として設定されるとしてもよい。
【０１６３】
Ｂ２．変形例２：
上記実施例では、変形量ＤＱの設定に用いられる距離ｄ（図１１）として、図４のステップＳ５７０で推定（設定）された被写体距離Ｓｄが採用されているが、必ずしも距離ｄとして被写体距離Ｓｄを用いる必要はない。距離ｄとして、ユーザにより指定された値や予め設定された値（固定値）が採用されるとしてもよい。このような場合には、ステップＳ５７０における被写体距離Ｓｄの設定（推定）を行う必要はない。
【０１６４】
Ｂ３．変形例３：
上記実施例では、特定種類の被写体として人物の頭部が採用され、人物の頭部に含まれる顔の形状を補正する画像変形処理が行われている。しかし、特定種類の被写体は人物の頭部に限られず、他の被写体を特定種類の被写体として採用可能である。特定種類の被写体は、略楕円形（円形を含む）の水平断面を有する被写体であることが好ましく、例えば、ボールや略円柱形状の建築物等も特定種類の被写体として採用可能である。また、対象画像から被写体を検出する方法としては、任意の方法を採用可能である。
【０１６５】
Ｂ４．変形例４：
上記実施例では、特定種類の被写体としての人物の頭部の１つの断面（図１１の頭部楕円ＨＥ）においてカメラＣＭの見える範囲（図１１の第１幅Ｗ１）と目の見える範囲（図１１の第２幅Ｗ２）との差を考慮した変形量ＤＱの設定が行われていた。しかし、人物の頭部の複数の断面において同様に考慮した変形量ＤＱの設定が行われるとしてもよい。図３７は、変形例における顔の画像と実物の顔との印象の違いを示す説明図である。図３７に示した変形例では、人物の頭部Ｈは楕円体または球体としてモデル化されている。図３７において、右目ＲＥと左目ＬＥとを結ぶ直線ＯＬと頭部Ｈの中心ＣＰとを含む平面における頭部Ｈの断面Ｓ０が、図１１における頭部楕円ＨＥに相当する。断面Ｓ０においては、図１１に示した実施例と同様に、第１幅Ｗ１および第２幅Ｗ２が算出される。
【０１６６】
図３７に示した変形例では、さらに、直線ＯＬを通り、断面Ｓ０とのなす角がθ１およびθ２である平面における頭部Ｈの断面Ｓ１およびＳ２が考慮される。すなわち、断面Ｓ１および断面Ｓ２においても、同様に、第１幅Ｗ１および第２幅Ｗ２が算出される。なお、第１幅Ｗ１および第２幅Ｗ２の算出に用いる断面Ｓ１および断面Ｓ２の中心と中点ＭＰとの距離や、断面Ｓ１および断面Ｓ２の径は、角度θ１およびθ２に応じて幾何的に算出することができる。図３７に示した変形例では、頭部Ｈの顔側表面における断面Ｓ１および断面Ｓ２の位置（高さ）において、断面Ｓ１および断面Ｓ２において算出された第１幅Ｗ１および第２幅Ｗ２を用いて変形量ＤＱが算出される。すなわち、顔の高さ方向に沿って変形量ＤＱが変化しうる。図３７に示した変形例では、頭部Ｈの水平断面形状だけでなく、垂直断面形状をも考慮された変形量ＤＱを設定することが可能となるため、顔の画像の観察によって得られる印象を実物の顔の観察によって得られる印象により近づける画像変形処理を実現することができる。
【０１６７】
Ｂ５．変形例５：
上記実施例では、対象画像ＴＩから１つの顔領域ＦＡのみが検出された場合について説明したが、対象画像ＴＩから複数の顔領域ＦＡが検出された場合には、各顔領域ＦＡについて顔形状補正処理等の画像処理を行うとしてもよい。
【０１６８】
また、上記実施例における顔領域ＦＡの検出（図４のステップＳ１３０）、変形領域ＴＡの設定（図４のステップＳ５００）、変形処理（図４のステップＳ６００）等の方法はあくまで一例であり、これらの処理を他の方法により実行することも可能である。
【０１６９】
Ｂ６．変形例６：
上記実施例では、図９に示すように、水平方向の長さ（対象画像ＴＩの全体の幅Ｗｗｉ、顔領域ＦＡの幅Ｗｆｉ、人物Ｐの顔の幅Ｗｆ、結像面ＩＳの幅Ｗｘ）を用いて被写体距離Ｓｄを推定しているが、垂直方向の長さ、すなわち、対象画像ＴＩの高さ、顔領域ＦＡの高さ、人物Ｐの顔の高さ、結像面ＩＳの高さを用いて被写体距離Ｓｄを推定することも可能である。
【０１７０】
また、上記実施例では、対象画像ＴＩの大きさに対する被写体の画像の大きさを特定するデータとして、対象画像ＴＩの全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉとを用いているが、代わりに対象画像ＴＩの全体面積（または画素数）に対する顔領域ＦＡの面積（または画素数）を用いることも可能である。
【０１７１】
Ｂ７．変形例７：
上記実施例では、変形領域ＴＡを矩形の領域として設定しているが、変形領域ＴＡの形状は、他の形状（例えば、楕円や菱形）であってもよい。
【０１７２】
Ｂ８．変形例８：
上記実施例では、画像処理装置としてのプリンタ１００による顔形状補正印刷処理（図３）を説明したが、顔形状補正印刷処理は例えば、顔形状補正と補正画像の表示（ステップＳ１００，Ｓ２００）がパーソナルコンピュータにより実行され、印刷処理（ステップＳ３００）のみがプリンタにより実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。
【０１７３】
また、変形済画像データは、印刷に限らず、任意の用途に利用可能である。例えば、表示装置（例えば、プロジェクタ）による表示を採用してもよい。
【０１７４】
Ｂ９．変形例９：
上記実施例において、変形処理としては種々の処理を採用可能である。例えば、変形領域ＴＡ内の画像を、被写体の高さ方向には変形させずに、被写体の水平方向にのみ変形させてもよい。
【０１７５】
いずれの場合も、変形処理としては、被写体の少なくとも一部分の対象画像ＴＩ上における少なくとも一方向（以下「短縮方向」と呼ぶ）の大きさが小さくなるような変形処理を採用することが好ましい。こうすれば、観察者から見た横方向に短縮方向が向くような角度で画像と実物とを観察した場合に、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。ここで、被写体の輪郭によって示される大きさを、短縮方向に小さくすることが好ましい。すなわち、輪郭で囲まれる領域の短縮方向の長さが小さくなることが好ましい。このように、変形処理によって、被写体の少なくとも輪郭が変形されることが好ましい。こうすれば、画像の観察によって得られる被写体の印象を、適切に、実物の観察によって得られる印象に近づけることができる。
【０１７６】
なお、短縮方向は、対象画像ＴＩ上の任意の方向に設定可能である。例えば、所定の方向（例えば、対象画像ＴＩの長辺と平行な方向）を短縮方向として採用してもよい。ただし、短縮方向と被写体の幅方向とがなす角度が３０度以下であることが好ましく、この角度が１５度以下であることが特に好ましく、短縮方向が被写体の幅方向に向けられることが最も好ましい。こうすれば、多くの場合において、自然で好ましい変形を実行することができる。
【０１７７】
ここで、被写体の幅方向に近くなるように短縮方向を決定する方法としては、種々の方法を採用可能である。例えば、変形処理部は、被写体の幅方向と関連のある情報を利用することによって、短縮方向を決定してもよい。被写体の幅方向と関連のある情報としては、種々の情報を採用可能である。例えば、被写体の方向の検出結果を採用可能である。上述の実施例では、顔領域検出部２２０は、対象画像ＴＩを解析することによって被写体（この場合は顔）の方向を検出する。また、撮像装置の中には、撮像時の地面に対する鉛直方向（重力方向）を示す鉛直情報を、履歴情報として画像ファイルに格納するものがある。このような鉛直情報を利用可能な場合には、鉛直情報に基づいて対象画像ＴＩ上の重力方向を特定することができ、その重力方向と垂直な方向を被写体の幅方向として採用することができる。
【０１７８】
また、変形処理部は、ユーザの指示に従って短縮方向を決定してもよい。例えば、変形処理部は、被写体の幅方向を示す指示を受け入れ、受け入れた指示に従って短縮方向を決定してもよい。
【０１７９】
また、被写体の幅方向が、対象画像ＴＩ上の所定の方向と一致することが予め決まっている場合がある。例えば、一般的なユーザによって撮像された対象画像ＴＩでは、被写体の幅方向は、対象画像ＴＩの長辺と平行であることが多い。このような場合には、変形処理部は、対象画像ＴＩ上の所定の方向（この場合は、長辺と平行な方向）を、被写体の幅方向として採用してもよい。すなわち、対象画像ＴＩ上の所定の方向を短縮方向として採用してもよい。
【０１８０】
以上の説明は、被写体が人物の顔とは異なる場合についても、同様に適用可能である。また、被写体の変形される部分は、任意に設定可能である。
【０１８１】
Ｂ１０．変形例１０：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図１の変形領域分割部２５０と分割領域変形部２６０との全体の機能を、論理回路を有するハードウェア回路によって実現してもよい。
【０１８２】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【０１８３】
Ｂ１１．変形例１１：
［変形処理を行うための手段］
変形処理を行うために、画像処理装置は、画像の変形を行う画像処理装置であって、対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定部と、前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する変形領域分割部と、少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う変形処理部と、を備えるものとしてもよい。
【０１８４】
この画像処理装置では、対象画像上に設定された変形領域内に複数の分割点が配置され、分割点同士を結ぶ直線を用いて変形領域が複数の小領域に分割される。また、分割点の位置が移動され、小領域が変形されることにより変形領域内の画像の変形処理が実行される。このように、この画像処理装置では、変形領域内に分割点を配置して、配置された分割点を移動するだけで画像変形を行うことができ、多様な変形態様に対応した画像変形の画像処理を、容易に、かつ効率的に実現することができる。
【０１８５】
上記画像処理装置において、さらに、複数の所定の変形タイプの内の１つを選択して前記変形領域内の画像の変形に適用する変形タイプとして設定する変形態様設定部を備え、前記変形領域分割部は、前記設定された変形タイプに対応付けられた所定の配置パターンに従い前記複数の分割点を配置するとしてもよい。
【０１８６】
このようにすれば、例えば顔をシャープする変形タイプや目を大きくする変形タイプ等、それぞれの変形タイプに適した分割点の配置、すなわち変形領域の分割が行われるため、各変形タイプに対応した画像変形のための画像処理のさらなる容易化を実現することができる。
【０１８７】
また、上記画像処理装置において、前記変形態様設定部は、複数の所定の変形度合いの内の１つを選択して前記変形領域内の画像の変形に適用する変形度合いとして設定し、前記変形処理部は、前記設定された変形タイプと変形度合いとの組み合わせに対応付けられた所定の移動方向および移動量に従い前記分割点の位置を移動するとしてもよい。
【０１８８】
このようにすれば、変形タイプと変形度合いとが設定されれば、それらの組み合わせに応じた画像変形が実行されるため、画像変形のための画像処理のさらなる容易化を実現することができる。
【０１８９】
また、上記画像処理装置において、前記変形態様設定部は、少なくとも１つの前記分割点について、前記分割点の移動方向および移動量に関するユーザ指定を取得する指定取得部を含み、前記変形処理部は、前記取得されたユーザ指定に従い前記分割点の位置を移動するとしてもよい。
【０１９０】
このようにすれば、よりユーザの希望に近い態様での画像変形のための画像処理を容易に実現することができる。
【０１９１】
また、上記画像処理装置において、前記変形領域設定部は、前記変形領域に顔の少なくとも一部の画像が含まれるように前記変形領域を設定するとしてもよい。
【０１９２】
このようにすれば、顔の画像を対象として、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。
【０１９３】
また、上記画像処理装置において、前記変形領域分割部は、少なくとも１組の前記分割点が所定の基準線に対して互いに対称の位置に配置されるように、前記複数の分割点を配置し、前記変形処理部は、前記少なくとも１組の分割点を、前記所定の基準線に対して互いに対称である位置関係を維持したまま移動するとしてもよい。
【０１９４】
このようにすれば、所定の基準線に対して左右対称な画像変形が行われることとなり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。
【０１９５】
また、上記画像処理装置において、前記変形処理部は、少なくとも１つの前記小領域について、変形を行わないとしてもよい。
【０１９６】
このようにすれば、顔の印象を大きく変更することなく所望の画像変形を行うことが可能となり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。
【０１９７】
また、上記画像処理装置において、前記変形処理部は、目の画像を含む前記小領域について、変形を行わないとしてもよい。
【０１９８】
このようにすれば、目の画像を含む小領域については変形を行わないものとすることにより、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。
【０１９９】
また、上記画像処理装置において、さらに、前記対象画像上の顔の画像を表す顔領域を検出する顔領域検出部を備え、前記変形領域設定部は、検出された前記顔領域に基づき前記変形領域を設定するとしてもよい。
【０２００】
このようにすれば、対象画像から検出された顔領域に基づき設定された変形領域の画像変形について、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。
【０２０１】
また、上記画像処理装置において、さらに、前記変形領域内の画像の変形が行われた前記対象画像を印刷する印刷部を備えるとしてもよい。
【０２０２】
このようにすれば、多様な変形態様に対応した画像変形後の画像の印刷を、容易に、かつ効率的に実現することができる。
【図面の簡単な説明】
【０２０３】
【図１】本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。
【図２】画像の一覧表示を含むユーザインターフェースの一例を示す説明図である。
【図３】本実施例のプリンタ１００による顔形状補正印刷処理の流れを示すフローチャートである。
【図４】本実施例における顔形状補正処理の流れを示すフローチャートである。
【図５】画像変形のタイプおよび度合いを設定するためのユーザインターフェースの一例を示す説明図である。
【図６】頭部のサイズを設定するためのユーザインターフェースの一例を示す説明図である。
【図７】顔領域ＦＡの検出結果の一例を示す説明図である。
【図８】ステップＳ５００における変形領域ＴＡの設定結果を示す説明図である。
【図９】被写体距離Ｓｄの推定方法を示す説明図である。
【図１０】変形領域ＴＡの画像を対象とした変形処理が行われた結果を示す説明図である。
【図１１】顔の画像と実物の顔との印象の違いを示す説明図である。
【図１２】半径Ａ半径Ｂ距離ｄと比率Ｒｉとの関係を示すグラフである。
【図１３】半径Ａ半径Ｂ距離ｄと変形量ＤＱとの関係を示すグラフである。
【図１４】顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。
【図１５】顔領域ＦＡの検出結果の一例を示す説明図である。
【図１６】変形領域設定処理の流れを示すフローチャートである。
【図１７】顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。
【図１８】特定領域ＳＡの一例を示す説明図である。
【図１９】評価値の算出方法の一例を示す説明図である。
【図２０】評価対象画素ＴＰの選択方法の一例を示す説明図である。
【図２１】高さ基準点Ｒｈの決定方法の一例を示す説明図である。
【図２２】概略傾き角ＲＩの算出方法の一例を示す説明図である。
【図２３】顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。
【図２４】本実施例における顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。
【図２５】顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。
【図２６】各評価方向についての評価値の分散の算出結果の一例を示す説明図である。
【図２７】顔領域ＦＡの傾き調整方法の一例を示す説明図である。
【図２８】変形領域ＴＡの設定方法の一例を示す説明図である。
【図２９】変形処理の流れを示すフローチャートである。
【図３０】変形領域ＴＡの小領域への分割方法の一例を示す説明図である。
【図３１】分割点移動テーブル４２０の内容の一例を示す説明図である。
【図３２】分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。
【図３３】分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。
【図３４】三角形領域における画像の変形処理方法の概念を示す説明図である。
【図３５】顔形状補正の態様を示す説明図である。
【図３６】変形処理の他の実施例を示す概略図である。
【図３７】変形例における顔の画像と実物の顔との印象の違いを示す説明図である。
【符号の説明】
【０２０４】
１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…顔形状補正部
２１０…変形態様設定部
２１４…サイズ設定部
２２０…顔領域検出部
２３０…顔領域調整部
２４０…変形領域設定部
２５０…変形領域分割部
２６０…分割領域変形部
２９０…変形量設定部
３１０…表示処理部
３２０…印刷処理部
３３０…被写体距離設定部
３４０…情報取得部
４１０…分割点配置パターンテーブル
４２０…分割点移動テーブル
４３０…頭部サイズ情報
【技術分野】
【０００１】
本発明は、対象画像上の少なくとも一部の領域を変形する画像処理技術に関する。
【背景技術】
【０００２】
デジタル画像を対象に、画像を変形するための画像処理技術が知られている（例えば特許文献１）。特許文献１には、顔の画像上の一部の領域（頬の画像を表す領域）を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の画像の形状を変形する画像処理が開示されている。
【０００３】
【特許文献１】特開２００４−３１８２０４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置（例えばデジタルスチルカメラ）による撮像によって生成された顔の画像を観察して得られる印象は、実際の顔を観察して得られる印象とは異なる場合があった。このような場合に、顔の画像の印象を実際の顔の印象に近づけるように、顔の画像の形状を変形する画像処理を行うことが考えられる。しかし、顔の画像の印象は、様々な要因に応じて種々に変化しうると考えられ、一律に画像の変形を行っても望ましい画像が得られない可能性があった。
【０００５】
なお、このような問題は、被写体としての顔の画像を変形させる場合に限らず、特定種類の被写体の画像を変形させる画像処理に共通する問題であった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、好ましい結果が得られる画像変形を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【０００８】
［適用例１］画像処理装置であって、
撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定するサイズ設定部と、
前記対象画像における前記特定種類の被写体の画像を含む領域内の画像を、設定された前記サイズに応じた変形の度合いで変形する変形処理部と、を備える、画像処理装置。
【０００９】
この画像処理装置では、特定種類の被写体の幅方向および奥行き方向のサイズが設定され、設定されたサイズに応じた変形の度合いで、対象画像における特定種類の被写体の画像を含む領域内の画像が変形される。そのため、特定種類の被写体の幅方向および奥行き方向のサイズを要因とする画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。従って、この画像処理装置では、好ましい結果が得られる画像変形を行うことができる。
【００１０】
［適用例２］適用例１に記載の画像処理装置であって、
前記変形処理部は、少なくとも前記特定種類の被写体の幅方向に沿って画像が変形されるように、画像の変形を行う、画像処理装置。
【００１１】
この画像処理装置では、特定種類の被写体の幅方向および奥行き方向のサイズを要因とする画像の幅方向の大きさの印象と実物の幅方向の大きさの印象との差異を少なくするような画像の変形を実現可能である。
【００１２】
［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記変形処理部は、前記特定種類の被写体の幅方向と奥行き方向との一方のサイズが一定の場合に、前記幅方向のサイズに対する前記奥行き方向のサイズの比が大きいほど前記変形の度合いが大きくなるように、画像の変形を行う、画像処理装置。
【００１３】
この画像処理装置では、幅方向のサイズに対する奥行き方向のサイズの比が大きいほど画像の印象と実物の印象との差異が大きく感じられる傾向にある特定種類の被写体について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００１４】
［適用例４］適用例３に記載の画像処理装置であって、さらに、
前記対象画像生成時の撮像装置から前記特定種類の被写体までの距離である被写体距離を設定する距離設定部を備え、
前記変形処理部は、前記特定種類の被写体の幅方向および奥行き方向のサイズが一定の場合に、設定された前記被写体距離が小さいほど前記変形の度合いが大きくなるように、画像の変形を行う、画像処理装置。
【００１５】
この画像処理装置では、被写体距離が小さいほど画像の印象と実物の印象との差異が大きく感じられる傾向にある特定種類の被写体について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００１６】
［適用例５］適用例１ないし適用例４のいずれかに記載の画像処理装置であって、さらに、
前記対象画像における前記特定種類の被写体の画像を検出する被写体検出部を備える、画像処理装置。
【００１７】
この画像処理装置では、対象画像から検出された特定種類の被写体について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００１８】
［適用例６］適用例１ないし適用例５のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、略楕円形状の水平断面を有する被写体である、画像処理装置。
【００１９】
この画像処理装置では、幅方向および奥行き方向のサイズを要因とする画像の印象と実物の印象との差異が生じやすいと考えられる略楕円形状の水平断面を有する被写体について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００２０】
［適用例７］適用例１ないし適用例６のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、人物の頭部である、画像処理装置。
【００２１】
この画像処理装置では、幅方向および奥行き方向のサイズを要因とする画像の印象と実物の印象との差異が生じやすいと考えられる被写体である人物の頭部について、画像の印象と実物の印象との差異を少なくするような画像の変形を実現可能である。
【００２２】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像変形方法および装置、画像生成方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．顔形状補正印刷処理：
Ａ−３．変形領域の設定：
Ａ−４．変形処理：
Ａ−５．他の変形処理：
Ｂ．変形例：
【００２４】
Ａ．実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。
【００２５】
プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣにＲＧＢデータとしての画像データを含む画像ファイルが格納されている。この画像ファイルは、例えばデジタルスチルカメラ等の撮像装置によりＥｘｉｆ（Exchangeable Image File Format）規格に則って生成されたファイルであり、撮像により生成された画像データの他に、撮像時の絞り・シャッタースピード・レンズの焦点距離等の付加データを含んでいる。プリンタ１００は、カードインターフェース１７０を介してメモリカードＭＣに格納された画像ファイルの取得を行う。
【００２６】
内部メモリ１２０には、顔形状補正部２００と、顔領域検出部２２０と、被写体距離設定部３３０と、表示処理部３１０と、印刷処理部３２０とが格納されている。顔形状補正部２００と顔領域検出部２２０と被写体距離設定部３３０とは、所定のオペレーティングシステムの下で、それぞれ後述する顔形状補正処理、顔領域検出処理、被写体距離設定処理を実行するためのコンピュータプログラムである。また、表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。
【００２７】
顔形状補正部２００は、プログラムモジュールとして、変形態様設定部２１０と、顔領域調整部２３０と、変形領域設定部２４０と、変形領域分割部２５０と、分割領域変形部２６０と、変形量設定部２９０と、を含んでいる。変形態様設定部２１０は、サイズ設定部２１４を含んでいる。また、被写体距離設定部３３０は、プログラムモジュールとして、情報取得部３４０を含んでいる。これらの各部の機能については、後述の顔形状補正印刷処理の説明において詳述する。なお、後述するように、変形領域分割部２５０と、分割領域変形部２６０と、により画像の変形が行われる。また、変形量設定部２９０により画像の変形における変形の度合い（変形量）が設定される。そのため、変形量設定部２９０と変形領域分割部２５０と分割領域変形部２６０とは、併せて「変形処理部」とも呼ぶことができる。また、顔領域検出部２２０は、被写体としての顔の画像を検出するものであり、「被写体検出部」とも呼ぶことができる。
【００２８】
内部メモリ１２０には、また、分割点配置パターンテーブル４１０と分割点移動テーブル４２０と頭部サイズ情報４３０とが格納されている。これらの内容についても、後述の顔形状補正印刷処理の説明において詳述する。
【００２９】
Ａ−２．顔形状補正印刷処理：
プリンタ１００は、メモリカードＭＣに格納された画像ファイルに基づき、画像の印刷を行う。カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部３１０により、メモリカードＭＣに格納された画像の一覧表示を含むユーザインターフェースが表示部１５０に表示される。図２は、画像の一覧表示を含むユーザインターフェースの一例を示す説明図である。図２に示すユーザインターフェースには、８つのサムネイル画像ＴＮ１〜ＴＮ８と、５つのボタンＢＮ１〜ＢＮ５が表示されている。なお、本実施例では、画像の一覧表示は、メモリカードＭＣに格納された画像ファイルに含まれるサムネイル画像を用いて実現される。
【００３０】
本実施例のプリンタ１００は、図２に示すユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に通常印刷ボタンＢＮ３が選択されると、選択画像を通常通り印刷する通常印刷処理を実行する。他方、当該ユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共に顔形状補正印刷ボタンＢＮ４が選択されると、プリンタ１００は、選択画像について、選択画像中の顔の画像の形状を補正して補正後の画像を印刷する顔形状補正印刷処理を実行する。図２の例では、サムネイル画像ＴＮ１と顔形状補正印刷ボタンＢＮ４とが選択されているため、プリンタ１００は、サムネイル画像ＴＮ１に対応する画像について顔形状補正印刷処理を行う。
【００３１】
図３は、本実施例のプリンタ１００による顔形状補正印刷処理の流れを示すフローチャートである。ステップＳ１００では、顔形状補正部２００（図１）が、顔形状補正処理を実行する。本実施例の顔形状補正処理は、画像中の顔の少なくとも一部の形状（例えば顔の輪郭形状や目の形状）を補正する処理である。なお、目や鼻などの顔の一部分は、一般に器官とも呼ばれる。
【００３２】
図４は、本実施例における顔形状補正処理（図３のステップＳ１００）の流れを示すフローチャートである。ステップＳ１１０では、顔形状補正部２００（図１）が、顔形状補正処理の対象となる対象画像ＴＩを設定する。顔形状補正部２００は、図２に示したユーザインターフェースにおいてユーザにより選択されたサムネイル画像ＴＮ１に対応する画像を対象画像ＴＩとして設定する。設定された対象画像ＴＩの画像ファイルは、メモリカードＭＣからカードインターフェース１７０を介してプリンタ１００に取得され、内部メモリ１２０の所定領域に格納される。なお、以下では、このようにメモリカードＭＣから取得され、プリンタ１００の内部メモリ１２０に格納された画像ファイルに含まれる画像データを「元画像データ」とも呼ぶ。また、元画像データにより表される画像を「元画像」とも呼ぶ。
【００３３】
ステップＳ１２０（図４）では、変形態様設定部２１０（図１）が、顔形状補正のための画像変形のタイプと画像変形の度合いとを設定する。変形態様設定部２１０は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインターフェースを通じてユーザにより指定された画像変形のタイプおよび度合いを選択し、処理に使用する画像変形タイプおよび度合いとして設定する。
【００３４】
図５は、画像変形のタイプおよび度合いを設定するためのユーザインターフェースの一例を示す説明図である。図５に示すように、このユーザインターフェースには、画像変形タイプを設定するためのインターフェースが含まれている。本実施例では、例えば、顔の形状をシャープにする変形タイプ「タイプＡ」や、目の形状を大きくする変形タイプ「タイプＢ」等が選択肢として予め設定されているものとする。ユーザは、このインターフェースを介して画像変形のタイプを指定する。変形態様設定部２１０は、ユーザにより指定された画像変形タイプを、実際の処理に使用する画像変形タイプとして設定する。
【００３５】
また、図５に示すユーザインターフェースには、画像変形の度合い（程度）を設定するためのインターフェースが含まれている。図５に示すように、本実施例では、画像変形の度合いとして、強（Ｓ）、中（Ｍ）、弱（Ｗ）の３段階と、自動と、の４つの選択肢が予め設定されているものとする。ユーザは、このインターフェースを介して画像変形の度合いを指定する。強、中、弱の３つの内のいずれかが指定された場合には、変形態様設定部２１０は、指定された画像変形の度合いを、実際の処理に使用する画像変形の度合いとして設定する。「自動」が指定された場合には、後述するように、画像変形の度合い（変形量）が変形量設定部２９０（図１）によって自動的に設定される。ユーザインターフェースに設けられたチェックボックスは、ユーザが変形態様の詳細指定を希望する場合にチェックされる。
【００３６】
以降では、画像変形のタイプとして顔の形状をシャープにするための変形タイプ「タイプＡ」が設定され、画像変形の度合い（変形量）として「自動」が選択され、ユーザによる詳細指定の希望はなかったものとして説明を行う。
【００３７】
ステップＳ１２４（図４）では、サイズ設定部２１４（図１）が、対象画像ＴＩにおける被写体としての人の頭部の幅方向および奥行き方向のサイズを設定する。サイズ設定部２１４による頭部のサイズの設定は、後述の画像変形の度合い（変形量）の自動設定（図４のステップＳ５９０）を行うために実行される。サイズ設定部２１４は、頭部のサイズを設定するためのユーザインターフェースを表示部１５０に表示するように表示処理部３１０に指示し、当該ユーザインターフェースを通じたユーザによる指示に基づき、頭部のサイズを設定する。
【００３８】
図６は、頭部のサイズを設定するためのユーザインターフェースの一例を示す説明図である。図６に示すように、このユーザインターフェースには、頭部の幅方向のサイズＷｈおよび奥行き方向のサイズＤｈの入力欄が含まれている。この入力欄にユーザによって幅方向サイズＷｈおよび奥行き方向サイズＤｈの値が入力され、「ＯＫ」ボタンが選択されると、サイズ設定部２１４は、入力された値を頭部の幅方向サイズＷｈおよび奥行き方向サイズＤｈとして設定する。他方、図６に示したユーザインターフェースには、「サイズ自動設定」ボタンが含まれている。ユーザにより「サイズ自動設定」ボタンが選択され、「ＯＫ」ボタンが選択されると、サイズ設定部２１４は、頭部の幅方向サイズＷｈおよび奥行き方向サイズＤｈを自動設定する。内部メモリ１２０に格納された頭部サイズ情報４３０（図１）には、人の頭部の幅方向サイズＷｈおよび奥行き方向サイズＤｈの標準的な値が規定されている。サイズ設定部２１４による頭部のサイズの自動設定は、頭部サイズ情報４３０に規定された標準値を頭部の幅方向サイズＷｈおよび奥行き方向サイズＤｈの値として設定することにより行われる。
【００３９】
ステップＳ１３０（図４）では、顔領域検出部２２０（図１）が、対象画像ＴＩにおける顔領域ＦＡの検出を行う。ここで、顔領域ＦＡとは、対象画像ＴＩにおける画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２２０による顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。
【００４０】
図７は、顔領域ＦＡの検出結果の一例を示す説明図である。図７の例では、対象画像ＴＩに人物の顔の画像が含まれている。そのため、ステップＳ１３０において、対象画像ＴＩから顔領域ＦＡが検出される。この顔領域ＦＡは、図７に示すように、両目と鼻と口の画像を含む矩形の領域となっている。なお、顔領域検出部２２０は、顔領域ＦＡの検出結果として、対象画像ＴＩにおける顔領域ＦＡの位置を特定可能な情報（例えば顔領域ＦＡの４つの頂点の座標）を出力する。また、図７に示すように、本実施例では、対象画像ＴＩの幅をＷｗｉ（単位は画素数）と表し、顔領域ＦＡの幅をＷｆｉ（単位は画素数）と表すものとする。
【００４１】
なお、ステップＳ１３０の顔領域ＦＡの検出において、顔領域ＦＡが検出されなかった場合には、その旨が表示部１５０を通じてユーザに通知される。この場合には、顔形状補正を伴わない通常印刷が行われるとしてもよいし、他の顔検出方法を用いた顔領域ＦＡの再度の検出処理が行われるとしてもよい。
【００４２】
ステップＳ１３０では、テンプレートを利用したパターンマッチングにより対象画像ＴＩから顔領域ＦＡが検出される。このようなテンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、一般に、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像ＴＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。
【００４３】
ステップＳ５００（図４）では、プリンタ１００が、ステップＳ１３０で検出された顔領域ＦＡに基づいて変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。変形領域ＴＡの設定方法については、後述の「Ａ−３．変形領域の設定」において詳述する。図８は、ステップＳ５００における変形領域ＴＡの設定結果を示す説明図である。図８では、破線によりステップＳ１３０において検出された顔領域ＦＡを示しており、太実線により設定された変形領域ＴＡを示している。
【００４４】
ステップＳ５７０（図４）では、被写体距離設定部３３０（図１）が、被写体距離Ｓｄの設定を行う。ここで、被写体距離Ｓｄは、対象画像ＴＩの撮像時における撮像装置（より詳細には撮像装置のレンズの主点）から特定種類の被写体までの距離を意味している。また、本実施例では、特定種類の被写体として人物の頭部が設定されている。従って、本実施例における被写体距離Ｓｄは、撮像装置から人物の頭部までの距離である。被写体距離設定部３３０による被写体距離Ｓｄの設定は、後述の画像変形の度合い（変形量）の自動設定（図４のステップＳ５９０）を行うために実行される。
【００４５】
被写体距離設定部３３０は、被写体距離Ｓｄの推定を行い、推定された値を被写体距離Ｓｄとして設定する。図９は、被写体距離Ｓｄの推定方法を示す説明図である。図９には、対象画像ＴＩの撮像時における撮像装置の結像面ＩＳと被写体としての人物Ｐの頭部との位置関係を示している。図９に示すように、レンズの主点ＵＰと人物Ｐの頭部（の中心）との間の距離である被写体距離Ｓｄは、人物Ｐの頭部の位置を含み結像面ＩＳに平行な面（以下「被写体面ＳＳ」とも呼ぶ）における撮像範囲の幅Ｗｗと画角θとにより定まる。また、画角θは、レンズの焦点距離ｆと結像面ＩＳの幅Ｗｘとの関係により特定される。すなわち、下記の式（１）が成り立つ。
【００４６】
【数１】
【００４７】
また、被写体面ＳＳにおける撮像範囲の幅Ｗｗは、大きさが既知の被写体の画像が対象画像ＴＩにおいて占める大きさに基づき特定される。本実施例では、顔領域ＦＡの検出によって対象画像ＴＩにおける顔の画像の大きさがわかっているため（図７参照）、大きさが既知の被写体として人物の顔を用いている。すなわち、被写体面ＳＳにおける撮像範囲の幅Ｗｗと人物Ｐの顔の幅Ｗｆとの比は、図７に示した対象画像ＴＩにおける画像全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉとの比に等しいと考えられる（式（２）参照）。
【００４８】
【数２】
【００４９】
上記式（１）および（２）から、下記の式（３）が導かれる。
【００５０】
【数３】
【００５１】
被写体距離設定部３３０の情報取得部３４０（図１）は、式（３）を用いた被写体距離Ｓｄの算出に必要な情報を取得する。具体的には、情報取得部３４０は、対象画像ＴＩを表す画像ファイルにメタデータとして付加されている対象画像ＴＩの全体の幅Ｗｗｉの値（画素数）を取得すると共に、顔領域ＦＡ（図７）の幅Ｗｆｉの値（画素数）を算出する。顔領域ＦＡの幅Ｗｆｉの算出は、例えば顔領域ＦＡの２つの頂点の座標を用いて２つの頂点間の距離を算出することにより行う。
【００５２】
情報取得部３４０は、また、人物Ｐの顔の幅Ｗｆの値として、予め設定され内部メモリ１２０（図１）に格納された人物の顔の幅（顔の現実の大きさ）の標準値（例えば１８０ｍｍ）を取得する。なお、人物Ｐの顔の幅Ｗｆの値をユーザにより入力させ、情報取得部３４０が入力された値を取得するものとしてもよい。
【００５３】
さらに、情報取得部３４０は、対象画像ＴＩの画像ファイルの付加データに含まれる撮像時のレンズ焦点距離ｆの値を取得する。ここで、取得されるレンズの焦点距離ｆの値は、３５ｍｍフィルム換算値であり、撮像装置の実際の焦点距離（実焦点距離）とは異なる場合がある。このような場合には、情報取得部３４０は、結像面ＩＳの幅Ｗｘとして、予め設定された３５ｍｍフィルムの幅の値（＝３６ｍｍ）を取得する。なお、画像ファイルの付加データに実焦点距離のデータと撮像装置の撮像素子の幅のデータとが含まれている場合には、情報取得部３４０が、レンズの焦点距離ｆとして実焦点距離の値を取得し、結像面ＩＳの幅Ｗｘとして撮像素子の幅の値を取得するとしてもよい。また、画像ファイルの付加データに画角そのものを示すデータが含まれている場合には、情報取得部３４０が画角を示すデータを取得するとしてもよい。レンズの焦点距離ｆの値と結像面ＩＳの幅Ｗｘの値とは、対象画像ＴＩの画角θを特定可能な情報である。
【００５４】
被写体距離設定部３３０は、情報取得部３４０により取得された上記各情報（対象画像ＴＩの全体の幅Ｗｗｉの値、顔領域ＦＡの幅Ｗｆｉの値、人物Ｐの顔の幅Ｗｆの値、レンズの焦点距離ｆの値、結像面ＩＳの幅Ｗｘの値）と、上記式（３）とを用いて、被写体距離Ｓｄを算出（推定）する。
【００５５】
次にステップＳ５９０（図４）では、変形量設定部２９０（図１）が、変形量（「変形の度合い」または「変形の程度」とも呼ぶ）を設定する。その後のステップＳ６００（図４）では、ステップＳ５００で設定された変形領域ＴＡの画像に対し、ステップＳ５９０で設定された変形量で変形処理が行われる。変形処理の具体的方法については、後述の「Ａ−４．変形処理」において詳述する。
【００５６】
ここで、変形量設定部２９０による変形量の設定（図４のステップＳ５９０）について説明する。図１０は、変形領域ＴＡの画像を対象とした変形処理（図４のステップＳ６００）が行われた結果を示す説明図である。図１０（ａ）には、変形処理が行われる前の対象画像ＴＩを示しており、図１０（ｂ）には、変形処理後の対象画像ＴＩを示している。図１０（ｂ）に示すように、変形処理後の対象画像ＴＩでは、変形領域ＴＡ内の人物の顔の画像の幅が小さくなっている。なお、ステップＳ６００における変形処理は対象画像ＴＩ中の変形領域ＴＡ内の画像にのみ施され、変形領域ＴＡの外の画像は変形されない。その結果、画像の全体を過剰に変形させずに、被写体を変形させることができる。
【００５７】
図１０の例では、顔の画像が顔の幅方向に沿って縮小変形され、顔の左右の頬のライン（顔の輪郭）の画像が変形量ＤＱだけ内側に移動している。この変形量ＤＱは、図４のステップＳ５９０において設定された量である。このような変形処理によって、変形処理後の顔の画像の幅Ｗｄは、変形前の顔の画像の幅Ｗｏと比べて、変形量ＤＱの２倍だけ小さくなる。このように幅が小さくなるように画像を変形する理由は、顔の画像の観察によって得られる印象を、実物の顔の観察によって得られる印象に近づけるためである。
【００５８】
図１１は、顔の画像と実物の顔との印象の違いを示す説明図である。図１１には、人の頭部Ｈの水平断面と、観察者の右目ＲＥおよび左目ＬＥと、撮像装置としてのカメラＣＭとを示している。図１１に示す配置では、頭部Ｈは顔の部分が２つの目ＲＥ、ＬＥの真正面に位置するような配置であるものとする。また、カメラＣＭは、２つの目ＲＥ、ＬＥの中点ＭＰに配置されている。すなわち、カメラＣＭは、観察者とほぼ同じ位置から頭部Ｈの顔の部分を見るような配置となっている。
【００５９】
本実施例では、頭部Ｈの水平断面は楕円形状であるものとしている。頭部Ｈの水平断面の外周（以下「頭部楕円ＨＥ」と呼ぶ）において、頭部Ｈの奥行き方向（図１１のｘ方向）に沿った半径をＡとし、幅方向（図１１のｙ方向）に沿った半径をＢとする。すなわち、半径Ａは頭部Ｈの奥行き方向のサイズＤｈ（図６参照）の２分の１に相当し、半径Ｂは頭部Ｈの幅方向のサイズＷｈの２分の１に相当する。なお、本明細書において、「楕円」の語は円（すなわちＡ＝Ｂの場合）を含むものとする。
【００６０】
中点ＭＰは頭部楕円ＨＥの中心ＣＰを通るｘ軸上に位置し、２つの目ＲＥ、ＬＥは、中心ＣＰを通りｘ軸に垂直な座標軸であるｙ軸に沿って並んでいる。距離Ｌは、２つの目ＲＥ、ＬＥの間の距離を示しており、距離ｄは、頭部楕円ＨＥの中心ＣＰと目ＲＥ、ＬＥとの間のｘ軸に沿った距離を示している。
【００６１】
図１１中の第１幅Ｗ１は、カメラＣＭから見える部分の頭部Ｈの幅を示している。カメラＣＭから見える部分は、頭部Ｈの表面の内、カメラ被写体範囲ＳＲＣ内の部分である。このカメラ被写体範囲ＳＲＣは、カメラＣＭの視野の全範囲の内の頭部Ｈが占める範囲である。第１幅Ｗ１は、頭部楕円ＨＥと中点ＭＰとの２つの接点間の距離に相当し、以下の式（４）により算出される。
【００６２】
【数４】
【００６３】
図１１中の第２幅Ｗ２は、両目ＲＥ、ＬＥから見える部分の頭部Ｈの幅を示している。両目ＲＥ、ＬＥから見える部分は、頭部Ｈの表面の内、右被写体範囲ＳＲＲと左被写体範囲ＳＲＬとの重なる範囲内の部分である。右被写体範囲ＳＲＲは、右目ＲＥの視野の全範囲の内の頭部Ｈが占める範囲であり、左被写体範囲ＳＲＬは、左目ＬＥの視野の全範囲の内の頭部Ｈが占める範囲である。第２幅Ｗ２は、頭部楕円ＨＥと右目ＲＥとの２つの接点の内のより中点ＭＰに近い方の接点と、頭部楕円ＨＥと左目ＬＥとの２つの接点の内のより中点ＭＰに近い方の接点と、の間の距離に相当し、以下の式（５）により算出される。
【００６４】
【数５】
【００６５】
図１１に示すように、右目ＲＥと左目ＬＥとの間では、頭部Ｈの見える部分が異なっている。すなわち、右目ＲＥから見える部分は右目ＲＥ側に偏っており、左目ＬＥから見える部分は左目ＬＥ側に偏っている。このような場合には、人（観察者）による頭部Ｈの認識は、両目ＲＥ、ＬＥに共通な可視部分から強い影響を受けると推定される。例えば、人は、両目ＲＥ、ＬＥに共通な可視部分の幅Ｗ２が頭部Ｈの幅であるという認識を持つと推定される。
【００６６】
図１１に示すように、第２幅Ｗ２は第１幅Ｗ１よりも狭い。すなわち、撮像によって生成された顔の画像を観察すると、実際の顔を直接観察したときと比べて幅が広い印象を受けるものと考えられる。そこで、図１０（ｂ）に示すように顔の幅が狭くなるように画像を変形することによって、顔の画像の観察によって得られる印象を、実物の顔の観察によって得られる印象に近づけることができる。
【００６７】
上記式（４）および（５）から明らかなように、第１幅Ｗ１および第２幅Ｗ２は、半径Ａ，Ｂの値や距離ｄの値に応じて変化する。なお、距離Ｌの値は、例えば、１００ｍｍを採用可能である。半径Ａ，Ｂの値や距離ｄの値を種々変化させたときの第１幅Ｗ１に対する第２幅Ｗ２の比率Ｒｉ（＝Ｗ２／Ｗ１）の値を以下の表１に示す。なお、第２幅Ｗ２の値は第１幅Ｗ１の値より小さいため、比率Ｒｉの値は１．０よりも小さくなる。また、表１において、ｆ（＝（Ａ−Ｂ）／Ａ）は頭部Ｈの水平断面の楕円形状外周の扁平率である。
【００６８】
【表１】
【００６９】
表１のｃａｓｅ１〜４からわかるように、Ｌ，ｄ，Ｂの値が一定の場合には、半径Ａの値が大きいほど比率Ｒｉの値は小さい。すなわち、顔の画像の観察によって得られる印象と実物の顔の観察によって得られる印象との差が大きくなるものと考えられる。一方、表１のｃａｓｅ２，５〜７からわかるように、Ｌ，ｄ，Ａの値が一定の場合には、半径Ｂの値が小さいほど比率Ｒｉの値は小さい。すなわち、顔の画像の観察によって得られる印象と実物の顔の観察によって得られる印象との差が大きくなるものと考えられる。さらに、表１のｃａｓｅ２，７，８からわかるように、Ｌ，Ａ，Ｂの値が一定の場合には、カメラＣＭおよび観察者から頭部Ｈまでの距離ｄの値が小さいほど比率Ｒｉの値は小さい。すなわち、顔の画像の観察によって得られる印象と実物の顔の観察によって得られる印象との差が大きくなるものと考えられる。
【００７０】
図１２は、半径Ａ、半径Ｂ、距離ｄと比率Ｒｉとの関係を示すグラフである。図１２（ａ）には、Ｌ，ｄ，Ｂの値が一定とした場合の半径Ａと比率Ｒｉとの関係を示しており、図１２（ｂ）には、Ｌ，ｄ，Ａの値が一定とした場合の半径Ｂと比率Ｒｉとの関係を示しており、図１２（ｃ）には、Ｌ，Ａ，Ｂの値が一定とした場合の距離ｄと比率Ｒｉとの関係を示している。
【００７１】
顔の画像の変形処理は、顔の画像の観察によって得られる印象が、実物の顔の観察によって得られる印象になるべく近づくように行われることが好ましい。このような画像の変形処理を実現するためには、図１０（ｂ）に示した変形処理前の顔の画像の幅Ｗｏに対する変形処理後の顔の画像の幅Ｗｄの比率Ｒｗが、図１１に示した第１幅Ｗ１に対する第２幅Ｗ２の比率Ｒｉと等しくなるように、変形量ＤＱを設定すればよい。
【００７２】
上述した図４のステップＳ５９０では、変形量設定部２９０（図１）が、ステップＳ１２４で設定された頭部のサイズ（ＷｈおよびＤｈ）から上記式（４）および（５）におけるＡおよびＢの値を算出する。変形量設定部２９０は、また、ステップＳ１２４で設定された被写体距離Ｓｄの値を上記式（４）および（５）におけるｄの値に設定する。変形量設定部２９０は、これらの値を用いて第１幅Ｗ１および第２幅Ｗ２を算出し、比率Ｒｗ（Ｗｄ／Ｗｏ）が比率Ｒｉ（Ｗ２／Ｗ１）と等しくなるように変形量ＤＱを算出する。
【００７３】
図１３は、半径Ａ、半径Ｂ、距離ｄと変形量ＤＱとの関係を示すグラフである。図１３（ａ）には、Ｌ，ｄ，Ｂの値が一定とした場合の半径Ａと変形量ＤＱとの関係を示しており、図１３（ｂ）には、Ｌ，ｄ，Ａの値が一定とした場合の半径Ｂと変形量ＤＱとの関係を示しており、図１３（ｃ）には、Ｌ，Ａ，Ｂの値が一定とした場合の距離ｄと変形量ＤＱとの関係を示している。図１３（ａ）に示すように、Ｌ，ｄ，Ｂの値が一定の場合には、半径Ａ（本発明における奥行き方向に沿った頭部Ｈの半径）の値が大きいほど変形量ＤＱは大きい値に設定される。同様に、Ｌ，ｄ，Ａの値が一定の場合には、半径Ｂ（本発明における幅方向に沿った頭部Ｈの半径）の値が小さいほど変形量ＤＱは大きい値に設定され（図１３（ｂ）参照）、Ｌ，Ａ，Ｂの値が一定の場合には、距離ｄの値が小さいほど変形量ＤＱは大きい値に設定される（図１３（ｃ）参照）。
【００７４】
図４のステップＳ６００では、このように決定された変形量ＤＱを用いて画像が変形される（図１０（ｂ））。その結果、顔の画像の観察によって得られる印象を実物の顔の観察によって得られる印象に近づけるような画像変形処理が実現される。
【００７５】
なお、「奥行き方向」とは、撮像装置のレンズの光軸に平行な方向を意味し、「幅方向」とは、撮像装置のレンズの光軸を含む水平面内において光軸と直交する直線に平行な方向を意味する。
【００７６】
顔形状補正処理（図４）が終了すると、図３のフローチャートに戻り、顔形状補正部２００（図１）が、顔形状補正後の対象画像ＴＩを表示部１５０に表示するよう表示処理部３１０に指示する（ステップＳ２００）。図１４は、顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。顔形状補正後の対象画像ＴＩが表示された表示部１５０により、ユーザは、補正結果を確認することができる。ユーザが補正結果に満足せず「戻る」ボタンを選択すると、例えば表示部１５０に図５に示した変形タイプおよび変形度合いを選択する画面や、図６に示した頭部のサイズを設定するための画面が表示され、ユーザによる変形タイプ・変形度合いや頭部サイズの再度の設定が実行される。
【００７７】
ユーザが補正結果に満足し、「印刷」ボタンを選択すると、印刷処理部３２０（図１）が、プリンタエンジン１６０を制御して、顔形状補正処理後の対象画像ＴＩの印刷を行う（図３のステップＳ３００）。印刷処理部３２０は、顔形状補正処理後の対象画像ＴＩの画像データに、解像度変換やハーフトーン処理などの処理を施して印刷データを生成する。生成された印刷データは、印刷処理部３２０からプリンタエンジン１６０に供給され、プリンタエンジン１６０は対象画像ＴＩの印刷を実行する。これにより、顔形状補正後の対象画像ＴＩの印刷が完了する。
【００７８】
Ａ−３．変形領域の設定：
上述した顔形状補正処理（図４）における変形領域ＴＡの設定処理（ステップＳ５００）について詳述する。図１５は、顔領域ＦＡの検出結果の一例を示す説明図である。図１５に示すように、図４のステップＳ１３０において、対象画像ＴＩから顔領域ＦＡが検出されている。図１５に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。
【００７９】
変形領域ＴＡは、顔領域ＦＡに基づき設定される。ここで、上述したように、顔領域ＦＡの検出に用いられる公知の顔検出方法（テンプレートを利用したパターンマッチングによる方法等）は、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、対象画像ＴＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。他方、顔の画像は、一般に、観察者の注目度が高いため、顔領域ＦＡに基づき設定された変形領域ＴＡと顔の画像との位置や角度の関係によっては、顔形状補正後の画像が不自然なものとなる可能性がある。そこで、本実施例では、より自然で好ましい顔形状補正が実現されるように、ステップＳ１３０で検出された顔領域ＦＡについて、以下に説明する位置調整および傾き調整を行うものとしている。
【００８０】
図１６は、変形領域設定処理の流れを示すフローチャートである。ステップＳ５１０では、顔領域調整部２３０（図１）が、ステップＳ１３０（図４）で検出された顔領域ＦＡの高さ方向の位置調整を行う。ここで、顔領域ＦＡの高さ方向の位置調整とは、顔領域ＦＡの基準線ＲＬ（図１５参照）に沿った位置を調整して、対象画像ＴＩにおける顔領域ＦＡを再設定することを意味している。
【００８１】
図１７は、顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。ステップＳ５１１では、顔領域調整部２３０（図１）が、特定領域ＳＡを設定する。ここで、特定領域ＳＡとは、対象画像ＴＩ上の領域であって、顔領域ＦＡの高さ方向の位置調整を実行する際に参照する所定の参照被写体の画像を含む領域である。参照被写体は、例えば「目」に設定することができ、その場合、特定領域ＳＡは「目」の画像を含む領域として設定される。
【００８２】
図１８は、特定領域ＳＡの一例を示す説明図である。本実施例では、顔領域調整部２３０（図１）が、特定領域ＳＡを顔領域ＦＡとの関係に基づいて設定する。具体的には、顔領域ＦＡの大きさを、基準線ＲＬに直行する方向および基準線ＲＬに平行な方向に、所定比率で縮小（または拡大）した大きさの領域であって、顔領域ＦＡの位置と所定の位置関係を有する領域が、特定領域ＳＡとして設定される。すなわち、本実施例では、顔領域検出部２２０により検出された顔領域ＦＡとの関係に基づき特定領域ＳＡを設定すれば、特定領域ＳＡが両方の目の画像を含む領域となるように、上記所定比率や所定の位置関係が予め設定されている。なお、特定領域ＳＡは、目の画像とまぎらわしい画像（例えば髪の毛の画像）がなるべく含まれないように、両目の画像を含む限りにおいて、なるべく小さい領域として設定されることが好ましい。
【００８３】
また、図１８に示すように、特定領域ＳＡは、基準線ＲＬに対して対称な矩形形状の領域として設定される。特定領域ＳＡは、基準線ＲＬにより、向かって左側の領域（以下「左分割特定領域ＳＡ（ｌ）」とも呼ぶ）と、向かって右側の領域（以下「右分割特定領域ＳＡ（ｒ）」とも呼ぶ）とに分割される。特定領域ＳＡは、左分割特定領域ＳＡ（ｌ）と右分割特定領域ＳＡ（ｒ）とのそれぞれに片目の画像が含まれるように設定される。
【００８４】
ステップＳ５１２（図１７）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の画像の位置を検出するための評価値を算出する。図１９は、評価値の算出方法の一例を示す説明図である。本実施例では、ＲＧＢ画像データとしての対象画像ＴＩの各画素のＲ値（Ｒ成分値）が評価値の算出に用いられる。これは、肌の部分の画像と目の部分の画像とではＲ値の差が大きいため、Ｒ値を評価値の算出に用いることにより、目の画像の検出精度を向上させることができると考えられるからである。また、本実施例では、対象画像ＴＩのデータがＲＧＢデータとして取得されているため、Ｒ値を評価値の算出に用いることにより、評価値の算出の効率化を図ることができるからでもある。なお、図１９に示すように、評価値の算出は、２つの分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））のそれぞれについて個別に行われる。
【００８５】
顔領域調整部２３０は、図１９に示すように、分割特定領域（右分割特定領域ＳＡ（ｒ）および左分割特定領域ＳＡ（ｌ））内に、基準線ＲＬと直行するｎ本の直線（以下「対象画素特定線ＰＬ１〜ＰＬｎ」と呼ぶ）を設定する。対象画素特定線ＰＬ１〜ＰＬｎは、分割特定領域の高さ（基準線ＲＬに沿った大きさ）を（ｎ＋１）等分する直線である。すなわち、対象画素特定線ＰＬ同士の間隔は、すべて等間隔ｓである。
【００８６】
顔領域調整部２３０は、対象画素特定線ＰＬ１〜ＰＬｎのそれぞれについて、対象画像ＴＩを構成する画素の中から評価値の算出に用いる画素（以下「評価対象画素ＴＰ」と呼ぶ）を選択する。図２０は、評価対象画素ＴＰの選択方法の一例を示す説明図である。顔領域調整部２３０は、対象画像ＴＩを構成する画素の内、対象画素特定線ＰＬと重なる画素を評価対象画素ＴＰとして選択する。図２０（ａ）は、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（図２０のＸ方向）と平行である場合を示している。この場合には、各対象画素特定線ＰＬと重なる画素行上の画素（図２０（ａ）において○印を付した画素）が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。
【００８７】
一方、顔領域ＦＡの検出方法や特定領域ＳＡの設定方法によっては、図２０（ｂ）に示すように、対象画素特定線ＰＬが対象画像ＴＩの画素の行方向（Ｘ方向）と平行とはならない場合も生ずる。このような場合にも、原則として、各対象画素特定線ＰＬと重なる画素が、各対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される。ただし、例えば図２０（ｂ）における対象画素特定線ＰＬ１と画素ＰＸａおよびＰＸｂとの関係のように、ある対象画素特定線ＰＬが、対象画像ＴＩの画素マトリクスの同一列に位置する（すなわちＹ座標が同一の）２つの画素と重なる場合には、重なり部分の距離のより短い方の画素（例えば画素ＰＸｂ）は評価対象画素ＴＰから除外される。すなわち、各対象画素特定線ＰＬについて、画素マトリクスの１つの列からは１つの画素のみが評価対象画素ＴＰとして選択される。
【００８８】
なお、対象画素特定線ＰＬの傾きが、Ｘ方向に対して４５度を超える場合には、上記説明において画素マトリクスの列と行との関係が逆転し、画素マトリクスの１つの行から１つの画素のみが評価対象画素ＴＰとして選択されることとなる。また、対象画像ＴＩと特定領域ＳＡとの大きさの関係によっては、１つの画素が複数の対象画素特定線ＰＬについての評価対象画素ＴＰとして選択される場合もある。
【００８９】
顔領域調整部２３０は、対象画素特定線ＰＬのそれぞれについて、評価対象画素ＴＰのＲ値の平均値を評価値として算出する。ただし、本実施例では、各対象画素特定線ＰＬについて、選択された複数の評価対象画素ＴＰの内、Ｒ値の大きい一部の画素を評価値の算出対象から除外するものとしている。具体的には、例えば、ある対象画素特定線ＰＬについてｋ個の評価対象画素ＴＰが選択された場合、評価対象画素ＴＰが、Ｒ値の比較的大きい０．７５ｋ個の画素により構成される第１グループと、比較的Ｒ値の小さい０．２５ｋ個の画素により構成される第２グループとの２グループに分けられ、第２グループに属する画素のみが評価値としてのＲ値の平均値の算出対象となる。このように一部の評価対象画素ＴＰを評価値の算出対象から除外する理由については後述する。
【００９０】
以上のように、本実施例では、顔領域調整部２３０により各対象画素特定線ＰＬについての評価値が算出される。ここで、対象画素特定線ＰＬは基準線ＲＬに直行する直線であるため、評価値は、基準線ＲＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、基準線ＲＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。
【００９１】
ステップＳ５１３（図１７）では、顔領域調整部２３０（図１）が、特定領域ＳＡにおける目の位置を検出し、検出結果に基づき高さ基準点Ｒｈを決定する。まず、顔領域調整部２３０は、図１９の右側に示すように、各分割特定領域について、基準線ＲＬに沿った評価値（Ｒ値の平均値）の分布を表す曲線を作成し、評価値が極小値をとる基準線ＲＬ方向に沿った位置を目の位置Ｅｈとして検出する。なお、左分割特定領域ＳＡ（ｌ）における目の位置ＥｈをＥｈ（ｌ）と表し、右分割特定領域ＳＡ（ｒ）における目の位置ＥｈをＥｈ（ｒ）と表わす。
【００９２】
黄色人種の場合、分割特定領域中の肌の画像を表す部分はＲ値が大きい一方、目（より詳細には目の中央の黒目部分）の画像を表す部分はＲ値が小さいと考えられる。そのため、上述のように、評価値（Ｒ値の平均値）が極小値をとる基準線ＲＬに沿った位置を目の位置Ｅｈと判断することが可能となる。但し、他の人種（白色人種や黒色人種）を対象とする場合には、他の評価値（例えば、輝度や明度やＢ値）が用いられる。
【００９３】
なお、図１９に示すように、分割特定領域には、目の画像以外にもＲ値の小さい他の画像（例えば、眉や髪の毛の画像）が含まれている場合もある。そのため、顔領域調整部２３０は、基準線ＲＬに沿った評価値の分布を表す曲線が複数の極小値をとる場合には、極小値をとる位置の内、最も下側の位置を目の位置Ｅｈと判断する。一般に、目の画像より上側には眉や髪の毛等のＲ値の小さい画像が位置することが多い一方、目の画像より下側にはＲ値の小さい画像が位置することが少ないと考えられることから、このような判断が可能となる。
【００９４】
また、上記曲線が、目の画像の位置よりも下側（主に肌の画像に対応した位置）であっても、評価値が大きいながらも極小値をとる可能性があるため、極小値の内、所定の閾値より大きいものは無視するものとしてもよい。あるいは、単純に、各対象画素特定線ＰＬについて算出された評価値の内の最小値に対応した対象画素特定線ＰＬの位置を目の位置Ｅｈとしてもよい。
【００９５】
なお、本実施例では、顔において周囲との色の差が比較的大きいと考えられる部位である目（目の中央の黒目部分）を顔領域ＦＡの位置調整の参照被写体として用いている。しかし、評価値としてのＲ値の平均値は、対象画素特定線ＰＬ上の複数の評価対象画素ＴＰを対象として算出されるため、例えば、黒目の周縁の白目部分の画像の影響により、黒目部分の検出の精度が低下する怖れがある。本実施例では、上述したように、参照被写体とは色の差が大きいと考えられる一部の評価対象画素ＴＰ（例えば上述した第１のグループに属する比較的Ｒ値の大きい画素）を評価値の算出対象から除外することにより、参照被写体の検出精度をより向上させている。
【００９６】
次に、顔領域調整部２３０は、検出された目の位置Ｅｈに基づき高さ基準点Ｒｈを決定する。図２１は、高さ基準点Ｒｈの決定方法の一例を示す説明図である。高さ基準点Ｒｈは、顔領域ＦＡの高さ方向の位置調整の際に、基準として用いられる点である。本実施例では、図２１に示すように、左右２つの目の位置Ｅｈ（ｌ）およびＥｈ（ｒ）の中間に位置する基準線ＲＬ上の点が高さ基準点Ｒｈとして設定される。すなわち、左の目の位置Ｅｈ（ｌ）を示す直線ＥｈＬ（ｌ）と基準線ＲＬとの交点と、右の目の位置Ｅｈ（ｒ）を示す直線ＥｈＬ（ｒ）と基準線ＲＬとの交点と、の中点が、高さ基準点Ｒｈとして設定される。
【００９７】
なお、本実施例では、顔領域調整部２３０が、検出された目の位置Ｅｈに基づき、顔画像の概略の傾き角（以下「概略傾き角ＲＩ」と呼ぶ）を算出するものとしている。顔画像の概略傾き角ＲＩは、対象画像ＴＩ中の顔の画像が、顔領域ＦＡの基準線ＲＬに対して概ねどれぐらい傾いているかを推定した角度である。図２２は、概略傾き角ＲＩの算出方法の一例を示す説明図である。図２２に示すように、顔領域調整部２３０は、まず、左分割特定領域ＳＡ（ｌ）の幅Ｗｓ（ｌ）を半分に分割する直線と直線ＥｈＬ（ｌ）との交点ＩＰ（ｌ）と、右分割特定領域ＳＡ（ｒ）の幅Ｗｓ（ｒ）を半分に分割する直線と直線ＥｈＬ（ｒ）との交点ＩＰ（ｒ）とを決定する。そして、交点ＩＰ（ｌ）と交点ＩＰ（ｒ）とを結ぶ直線に直交する直線ＩＬと、基準線ＲＬとのなす角が、概略傾き角ＲＩとして算出される。
【００９８】
ステップＳ５１４（図１７）では、顔領域調整部２３０（図１）が、顔領域ＦＡの高さ方向の位置調整を行う。図２３は、顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。顔領域ＦＡの高さ方向の位置調整は、高さ基準点Ｒｈが、位置調整後の顔領域ＦＡにおける所定の位置に位置することとなるように、顔領域ＦＡを再設定することにより行う。具体的には、図２３に示すように、高さ基準点Ｒｈが、顔領域ＦＡの高さＨｆを所定の比率ｒ１対ｒ２で分けるような位置に位置することとなるように、顔領域ＦＡが基準線ＲＬに沿って上下に位置調整される。図２３の例では、破線で示した調整前の顔領域ＦＡを上方向に移動することにより、実線で示した調整後の顔領域ＦＡが再設定されている。
【００９９】
顔領域ＦＡの位置調整の後、ステップＳ５２０（図１６）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整（角度調整）を行う。ここで、顔領域ＦＡの傾き調整とは、対象画像ＴＩにおける顔領域ＦＡの傾きを顔の画像の傾きに適合するように調整して、顔領域ＦＡを再設定することを意味している。本実施例では、顔領域ＦＡの傾き調整を実行する際に参照する所定の参照被写体は、「両目」と設定されている。本実施例における顔領域ＦＡの傾き調整では、傾き調整の調整角度の選択肢を表す複数の評価方向が設定され、各評価方向に対応した評価特定領域ＥＳＡが両目の画像を含む領域として設定される。そして、各評価方向について評価特定領域ＥＳＡの画像の画素値に基づき評価値が算出され、評価値に基づき決定される傾き調整の調整角度を用いて顔領域ＦＡの傾きが調整される。
【０１００】
図２４は、本実施例における顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。また、図２５は、顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。ステップＳ５２１（図２４）では、顔領域調整部２３０（図１）が、初期評価特定領域ＥＳＡ（０）を設定する。初期評価特定領域ＥＳＡ（０）は、顔領域ＦＡの位置調整後の基準線ＲＬ（図２３参照）と平行な方向（以下「初期評価方向」とも呼ぶ）に対応付けられた評価特定領域ＥＳＡである。本実施例では、位置調整後の顔領域ＦＡに対応した特定領域ＳＡ（図２３参照）が、そのまま初期評価特定領域ＥＳＡ（０）として設定される。なお、顔領域ＦＡの傾き調整における評価特定領域ＥＳＡは、顔領域ＦＡの位置調整時の特定領域ＳＡとは異なり、左右２つの領域に分割されることはない。図２５の最上段には、設定された初期評価特定領域ＥＳＡ（０）が示されている。
【０１０１】
ステップＳ５２２（図２４）では、顔領域調整部２３０（図１）が、複数の評価方向と各評価方向に対応した評価特定領域ＥＳＡとを設定する。複数の評価方向は、傾き調整の調整角度の選択肢を表す方向として設定される。本実施例では、基準線ＲＬとのなす角が所定の範囲内である複数の評価方向線ＥＬが設定され、評価方向線ＥＬと平行な方向が評価方向として設定される。図２５に示すように、基準線ＲＬを初期評価特定領域ＥＳＡ（０）の中心点（重心）ＣＰを中心として反時計回りおよび時計回りに所定の角度α刻みで回転させることにより定まる直線が、複数の評価方向線ＥＬとして設定される。なお、基準線ＲＬとのなす角がφ度である評価方向線ＥＬをＥＬ（φ）と表す。
【０１０２】
本実施例では、上述した各評価方向線ＥＬと基準線ＲＬとのなす角についての所定の範囲は±２０度と設定される。ここで本明細書では、基準線ＲＬを時計回りに回転させたときの回転角は正の値で表され、基準線ＲＬを反時計回りに回転させたときの回転角は負の値で表される。顔領域調整部２３０は、基準線ＲＬを反時計回りおよび時計回りにα度、２α度・・・と２０度を超えない範囲で回転角を増加させつつ回転させ、複数の評価方向線ＥＬを設定する。図２５には、基準線ＲＬを−α度，−２α度，α度回転させることによりそれぞれ定まる評価方向線ＥＬ（ＥＬ（−α），ＥＬ（−２α），ＥＬ（α））が示されている。なお、基準線ＲＬは、評価方向線ＥＬ（０）とも表現できる。
【０１０３】
各評価方向を表す評価方向線ＥＬに対応した評価特定領域ＥＳＡは、初期評価特定領域ＥＳＡ（０）を、中心点ＣＰを中心として、評価方向線ＥＬの設定時の回転角と同じ角度で回転させた領域である。評価方向線ＥＬ（φ）に対応した評価特定領域ＥＳＡは、評価特定領域ＥＳＡ（φ）と表される。図２５には、評価方向線ＥＬ（−α），ＥＬ（−２α），ＥＬ（α）のそれぞれに対応した評価特定領域ＥＳＡ（ＥＳＡ（−α），ＥＳＡ（−２α），ＥＳＡ（α））が示されている。なお、初期評価特定領域ＥＳＡ（０）も評価特定領域ＥＳＡの１つとして扱われるものとする。
【０１０４】
ステップＳ５２３（図２４）では、顔領域調整部２３０（図１）が、設定された複数の評価方向のそれぞれについて、評価特定領域ＥＳＡの画像の画素値に基づき評価値を算出する。本実施例では、顔領域ＦＡの傾き調整における評価値として、上述した顔領域ＦＡの位置調整における評価値と同様に、Ｒ値の平均値が用いられる。顔領域調整部２３０は、評価方向に沿った複数の評価位置についての評価値を算出する。
【０１０５】
評価値の算出方法は、上述した顔領域ＦＡの位置調整における評価値の算出方法と同様である。すなわち、顔領域調整部２３０は、図２５に示すように、各評価特定領域ＥＳＡ内に、評価方向線ＥＬに直交する対象画素特定線ＰＬ１〜ＰＬｎを設定し、各対象画素特定線ＰＬ１〜ＰＬｎについて評価対象画素ＴＰを選択し、選択された評価対象画素ＴＰのＲ値の平均値を評価値として算出する。
【０１０６】
評価特定領域ＥＳＡにおける対象画素特定線ＰＬの設定方法や評価対象画素ＴＰの選択方法は、領域を左右に分割するか否かの違いはあるものの、図１９および図２０に示した顔領域ＦＡの位置調整における方法と同様である。なお、顔領域ＦＡの位置調整時と同様に、選択された評価対象画素ＴＰの内の一部（例えばｋ個の評価対象画素ＴＰの内のＲ値の比較的大きい０．７５ｋ個の画素）を評価値の算出対象から除外するとしてもよい。図２５の右側には、各評価方向について、算出された評価値の評価方向線ＥＬに沿った分布を示している。
【０１０７】
なお、対象画素特定線ＰＬは評価方向線ＥＬに直行する直線であるため、評価値は、評価方向線ＥＬに沿った複数の位置（評価位置）について算出されると表現することができる。また、評価値は、各評価位置について、評価方向線ＥＬに直行する方向に沿った画素値の分布の特徴を表す値と表現することができる。
【０１０８】
ステップＳ５２４（図２４）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整に用いる調整角度を決定する。顔領域調整部２３０は、各評価方向について、ステップＳ５２３において算出された評価値の評価方向線ＥＬに沿った分散を算出し、分散の値が最大となる評価方向を選択する。そして、選択された評価方向に対応した評価方向線ＥＬと基準線ＲＬとのなす角を、傾き調整に用いる調整角度として決定する。
【０１０９】
図２６は、各評価方向についての評価値の分散の算出結果の一例を示す説明図である。図２６の例では、回転角が−α度である評価方向において、分散が最大値Ｖｍａｘをとる。従って、−α度、すなわち反時計回りにα度の回転角が、顔領域ＦＡの傾き調整に用いる調整角度として決定される。
【０１１０】
評価値の分散の値が最大となるときの評価方向に対応した角度が傾き調整に用いる調整角度として決定される理由について説明する。図２５の上から２段目に示すように、回転角が−α度であるときの評価特定領域ＥＳＡ（−α）では、左右の目の中央部（黒目部分）の画像が、概ね対象画素特定線ＰＬに平行な方向（すなわち評価方向線ＥＬに直行する方向）に並ぶような配置となっている。また、このときには、左右の眉の画像も同様に、概ね評価方向線ＥＬに直行する方向に並ぶような配置となる。従って、このときの評価方向線ＥＬに対応した評価方向が、概ね顔の画像の傾きを表す方向であると考えられる。このときには、一般にＲ値が小さい目や眉の画像と一般にＲ値が大きい肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の小さい位置関係となる。そのため、目や眉の画像の位置における評価値は比較的小さくなり、肌の部分の画像の位置における評価値は比較的大きくなる。従って、評価方向線ＥＬに沿った評価値の分布は、図２５に示すように、比較的ばらつきの大きい（振幅の大きい）分布となり、分散の値は大きくなる。
【０１１１】
一方、図２５中の最上段および３段目、４段目に示すように、回転角が０度，−２α度，α度であるときの評価特定領域ＥＳＡ（０），ＥＳＡ（−２α），ＥＳＡ（α）では、左右の目の中央部や左右の眉の画像が、評価方向線ＥＬに直行する方向に並ばず、ずれた配置となっている。従って、このときの評価方向線ＥＬに対応した評価方向は、顔の画像の傾きを表していはいない。このときには、目や眉の画像と肌の部分の画像との位置関係が、対象画素特定線ＰＬの方向に沿って両者が重なる部分の大きい位置関係となる。そのため、評価方向線ＥＬに沿った評価値の分布は、図２５に示すように、比較的ばらつきの小さい（振幅の小さい）分布となり、分散の値は小さくなる。
【０１１２】
以上のように、評価方向が顔の画像の傾きの方向に近い場合には、評価方向線ＥＬに沿った評価値の分散の値が大きくなり、評価方向が顔の画像の傾きの方向から遠い場合には、評価方向線ＥＬに沿った評価値の分散の値が小さくなる。従って、評価値の分散の値が最大となるときの評価方向に対応した角度を傾き調整に用いる調整角度として決定すれば、顔領域ＦＡの傾きが顔の画像の傾きに適合するような顔領域ＦＡの傾き調整を実現することができる。
【０１１３】
なお本実施例では、評価値の分散の算出結果が、角度の範囲の臨界値、すなわち−２０度または２０度において最大値をとるような結果となった場合には、顔の傾きが正確に評価されていない可能性が高いと考えられるため、顔領域ＦＡの傾き調整を行わないものとしている。
【０１１４】
また本実施例では、決定された調整角度が、上述した顔領域ＦＡの位置調整の際に算出された概略傾き角ＲＩと比較される。調整角度と概略傾き角ＲＩとの差が所定の閾値より大きい場合には、顔領域ＦＡの位置調整および傾き調整における評価や決定の際に何らかの誤りが発生したと考えられるため、顔領域ＦＡの位置調整および傾き調整を行わないものとしている。
【０１１５】
ステップＳ５２５（図２４）では、顔領域調整部２３０（図１）が、顔領域ＦＡの傾き調整を行う。図２７は、顔領域ＦＡの傾き調整方法の一例を示す説明図である。顔領域ＦＡの傾き調整は、顔領域ＦＡを、初期評価特定領域ＥＳＡ（０）の中心点ＣＰを中心に、ステップＳ５２４において決定された調整角度だけ回転させることにより行う。図２７の例では、破線で示した調整前の顔領域ＦＡを反時計回りにα度回転させることにより、実線で示した調整後の顔領域ＦＡが設定される。
【０１１６】
顔領域ＦＡの傾き調整終了後のステップＳ５３０（図１６）では、変形領域設定部２４０（図１）が、変形領域ＴＡを設定する。変形領域ＴＡは、対象画像ＴＩ上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図２８は、変形領域ＴＡの設定方法の一例を示す説明図である。図２８に示すように、本実施例では、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｋ１・Ｈｆ、下方向にｋ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｋ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｋ１，ｋ２，ｋ３は、所定の係数である。
【０１１７】
このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。
【０１１８】
図２８に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づき、上述の係数ｋ１，ｋ２，ｋ３が予め設定されている。
【０１１９】
Ａ−４．変形処理：
上述した顔形状補正処理（図４）における変形処理（ステップＳ６００）について詳述する。図２９は、変形処理の流れを示すフローチャートである。ステップＳ６１０では、変形領域分割部２５０（図１）が、変形領域ＴＡを複数の小領域に分割する。図３０は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形領域分割部２５０は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。
【０１２０】
分割点Ｄの配置の態様（分割点Ｄの個数および位置）は、分割点配置パターンテーブル４１０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと対応付けて定義されている。変形領域分割部２５０は、分割点配置パターンテーブル４１０を参照し、ステップＳ１２０において設定された変形タイプと対応付けられた態様で分割点Ｄを配置する。本実施例では、上述したように、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定されているため、この変形タイプに対応付けられた態様で分割点Ｄが配置される。
【０１２１】
図３０に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。図３０に示すように、顔をシャープにするための変形タイプに対応付けられた分割点Ｄの配置では、基準線ＲＬと直行する２本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。２本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。
【０１２２】
水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。
【０１２３】
上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図３０に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。
【０１２４】
なお、図３０に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。
【０１２５】
変形領域分割部２５０は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。本実施例では、図３０に示すように、変形領域ＴＡが１５個の矩形の小領域に分割される。
【０１２６】
なお本実施例では、分割点Ｄの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置により定まるため、分割点配置パターンテーブル４１０は水平分割線Ｌｈおよび垂直分割線Ｌｖの本数および位置を定義していると言い換えることも可能である。
【０１２７】
ステップＳ６２０（図２９）では、分割領域変形部２６０（図１）が、対象画像ＴＩの変形領域ＴＡを対象とした画像の変形処理を行う。分割領域変形部２６０による変形処理は、ステップＳ６１０で変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形することにより行われる。
【０１２８】
変形処理のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、分割点移動テーブル４２０（図１）により、ステップＳ１２０（図４）において設定される変形タイプと変形の度合いとの組み合わせに対応付けて、予め定められている。分割領域変形部２６０は、分割点移動テーブル４２０を参照し、ステップＳ１２０において設定された変形タイプと変形の度合いとの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置を移動する。
【０１２９】
変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして程度「中」の度合いが設定されている場合には、これらの変形タイプおよび変形度合いの組み合わせに対応付けられた移動方向および移動距離で、分割点Ｄの位置が移動されることとなる。
【０１３０】
また、変形度合いとして「自動」が選択されている場合には、分割点Ｄの移動方向および移動距離が、変形量設定部２９０によって設定された変形量ＤＱに基づいて決定される。
【０１３１】
図３１は、分割点移動テーブル４２０の内容の一例を示す説明図である。また図３２は、分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。図３１には、分割点移動テーブル４２０により定義された分割点Ｄの位置の移動態様の内、顔をシャープにするための変形タイプと変形度合い「自動」との組み合わせに対応付けられた移動態様を示している。図３１に示すように、分割点移動テーブル４２０には、各分割点Ｄについて、基準線ＲＬと直交する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。なお、分割点移動テーブル４２０に示された移動量の単位は、対象画像ＴＩの画素ピッチＰＰである。また、テーブル中の移動量ＤＱｐは、変形量設定部２９０（図１）によって決定される。図４のステップＳ５９０では、変形量設定部２９０は、設定した変形量ＤＱを画素ピッチに換算することによって、移動量ＤＱｐを算出する。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｈ方向に沿って右側に画素ピッチＰＰのＤＱｐ倍の距離だけ移動され、Ｖ方向に沿って上方に画素ピッチＰＰの２＊ＤＱｐ倍の距離だけ移動される。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。なお、変形度合いとして「強（Ｓ）」、「中（Ｍ）」、「弱（Ｗ）」のいずれかが選択された場合には、移動量ＤＱｐとして、変形量設定部２９０によって調整された値の代わりに、各変形度合いに対応付けて予め定められた値が利用される。
【０１３２】
なお、本実施例では、変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図３０に示す分割点Ｄ１０等）の位置は移動されないものとしている。従って、図３１に示した分割点移動テーブル４２０には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。
【０１３３】
図３２では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ’と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図３２において右上方向に移動され、分割点Ｄ’１１となる。
【０１３４】
なお、本実施例では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。
【０１３５】
分割領域変形部２６０は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図３２において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ’１１，Ｄ’２１，Ｄ２２，Ｄ’１２を頂点とする小領域の画像に変形される。
【０１３６】
図３３は、分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。図３３では、分割点Ｄを黒丸で示している。図３３では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図３３の例では、中央の分割点Ｄａが分割点Ｄａ’の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ’，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。
【０１３７】
本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図３３の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ’を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ’，Ｄｄおよび重心ＣＧ’を頂点とする三角形領域の画像に変形される。
【０１３８】
図３４は、三角形領域における画像の変形処理方法の概念を示す説明図である。図３４の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ’，ｔ’，ｕ’を頂点とする三角形領域ｓ’ｔ’ｕ’の画像に変形される。画像の変形は、変形後の三角形領域ｓ’ｔ’ｕ’の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。
【０１３９】
例えば、図３４において、変形後の三角形領域ｓ’ｔ’ｕ’の画像中の注目画素ｐ’の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ’の位置を、下記の式（６）のようにベクトルｓ’ｔ’とベクトルｓ’ｕ’との和で表現するための係数ｍ１およびｍ２を算出する。
【０１４０】
【数６】
【０１４１】
次に、算出された係数ｍ１およびｍ２を用いて、下記の式（７）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。
【０１４２】
【数７】
【０１４３】
変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。
【０１４４】
変形後の三角形領域ｓ’ｔ’ｕ’の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ’ｔ’ｕ’の画像への画像変形処理を行うことができる。分割領域変形部２６０は、図３２に示した変形領域ＴＡを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡにおける画像変形処理を行う。
【０１４５】
ここで、変形タイプとして顔をシャープにするための変形「タイプＡ」（図５参照）が設定され、変形度合いとして「自動」が設定された場合を例に取り、顔形状補正の態様についてより詳細に説明する。図３５は、この場合における顔形状補正の態様を示す説明図である。図３５には、変形領域ＴＡを構成する各小領域の変形態様のイメージを矢印により示している。
【０１４６】
図３５の例に示す顔形状補正では、基準線ＲＬと平行な方向（Ｖ方向）に関し、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１）の位置は上方に移動される一方、水平分割線Ｌｈ２上に配置された分割点Ｄ（Ｄ１２，Ｄ２２，Ｄ３２，Ｄ４２）の位置は移動されない（図３１参照）。従って、水平分割線Ｌｈ１と水平分割線Ｌｈ２との間に位置する画像は、Ｖ方向に関して縮小される。上述したように、水平分割線Ｌｈ１は顎の画像より下方に配置され、水平分割線Ｌｈ２は目の画像のすぐ下付近に配置されるため、この顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がＶ方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。
【０１４７】
他方、基準線ＲＬと直交する方向（Ｈ方向）に関しては、垂直分割線Ｌｖ１上に配置された分割点Ｄ（Ｄ１１，Ｄ１２）の位置は右方向に移動され、垂直分割線Ｌｖ４上に配置された分割点Ｄ（Ｄ４１，Ｄ４２）の位置は左方向に移動される（図３１参照）。さらに、垂直分割線Ｌｖ２上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ２１）の位置は右方向に移動され、垂直分割線Ｌｖ３上に配置された２つの分割点Ｄの内、水平分割線Ｌｈ１上に配置された分割点Ｄ（Ｄ３１）の位置は左方向に移動される（図３１参照）。従って、垂直分割線Ｌｖ１より左側に位置する画像は、Ｈ方向に関して右側に拡大され、垂直分割線Ｌｖ４より右側に位置する画像は、左側に拡大される。また、垂直分割線Ｌｖ１と垂直分割線Ｌｖ２との間に位置する画像は、Ｈ方向に関して縮小または右側に移動され、垂直分割線Ｌｖ３と垂直分割線Ｌｖ４との間に位置する画像は、Ｈ方向に関して縮小または左側に移動される。さらに、垂直分割線Ｌｖ２と垂直分割線Ｌｖ３との間に位置する画像は、水平分割線Ｌｈ１の位置を中心にＨ方向に関して縮小される。
【０１４８】
上述したように、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。そのため、図３５の例における顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にＨ方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。
【０１４９】
上述したＨ方向およびＶ方向の変形態様を総合すると、図３５の例に示した顔形状補正により、対象画像ＴＩ中の顔の形状がシャープになる。なお、顔の形状がシャープになるとは、いわゆる「小顔」になると表現することもできる。
【０１５０】
なお、図３５に示す分割点Ｄ２２，Ｄ３２，Ｄ３３，Ｄ２３を頂点とする小領域（ハッチングを付した領域）は、上述した水平分割線Ｌｈ２や垂直分割線Ｌｖ２およびＬｖ３の配置方法によると、両目の画像を含む領域となる。図３１に示すように、分割点Ｄ２２およびＤ３２はＨ方向にもＶ方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように図３５の例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。
【０１５１】
Ａ−５．他の変形処理：
図３６は、変形処理の他の実施例を示す概略図である。図１０に示す変形処理とは異なり、図３６の例では、対象画像ＴＩ上の一部の変形領域が変形される代わりに、対象画像ＴＩの全体のアスペクト比が変更される。
【０１５２】
図３６（ａ）は、変形前の対象画像ＴＩを示し、図３６（ｂ）は変形後の画像ＴＩｄを示している。また、図中には、互いに直交する２つの方向Ｄｒ１、Ｄｒ２が示されている。第１方向Ｄｒ１は、矩形画像ＴＩ、ＴＩｄの短辺と平行な方向を示し、第２方向Ｄｒ２は、矩形画像ＴＩ、ＴＩｄの長辺と平行な方向を示している。図３６の例では、顔の幅方向は、第２方向Ｄｒ２とほぼ一致している。
【０１５３】
図３６の例では、第１方向Ｄｒ１に沿った変形は実行されずに、第２方向Ｄｒ２に沿った変形（圧縮）が実行される。この変形によって、画像の全体が、第２方向Ｄｒ２に沿って圧縮される。すなわち、対象画像ＴＩ上の被写体の幅も狭くなる。その結果、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。
【０１５４】
この変形では、変形済画像ＴＩｄの第２方向Ｄｒ２の大きさ（幅ＩＷｄ）が、変形前の大きさ（幅ＩＷ）と比べて、変形量ＤＱの２倍だけ小さくなる。すなわち、変形済画像ＴＩｄの第２方向Ｄｒ２方向の画素数が、変形前の画素数と比べて、少なくなる。ここで、変形済画像ＴＩｄの画素値（各画素の階調値）の決定方法としては、種々の方法を採用可能である。例えば、対象画像ＴＩの画素値を補間することによって、変形済画像ＴＩｄの画素値を決定してもよい。
【０１５５】
変形量ＤＱとしては、上述の実施例で説明した任意の変形量を採用可能である。例えば、被写体距離Ｓｄに基づいて決定された変形量ＤＱを採用してもよい。
【０１５６】
なお、２つの方向Ｄｒ１、Ｄｒ２から圧縮すべき方向を、被写体の方向の検出結果に基づいて選択することが好ましい。例えば、顔領域検出部２２０（図１）は、図１５、図３６（ａ）に示すように、顔領域ＦＡの高さ方向（上下方向）を示す基準線ＲＬを検出可能である。そこで、２つの方向Ｄｒ１、Ｄｒ２の内の、この基準線ＲＬとのなす角度が大きい方の方向を選択することが好ましい（図３６の例では、第２方向Ｄｒ２）。こうすば、被写体の幅（水平方向の大きさ）を小さくすることができる。
【０１５７】
なお、対象画像ＴＩの全体のアスペクト比を変更する変形処理を採用する場合には、顔形状補正部として、図１に示すような顔形状補正部２００を採用可能である。ただし、変形処理部から、変形領域分割部２５０と分割領域変形部２６０とを省略することができる。その代わりに、変形処理部は、対象画像ＴＩのアスペクト比を変更する機能を有していればよい。また、顔領域調整部２３０と変形領域設定部２４０とを省略可能である。顔領域検出部２２０は、被写体の方向を検出するために利用され得る。ただし、顔領域検出部２２０を省略してもよい。
【０１５８】
ここで、被写体の幅方向に沿って対象画像ＴＩを圧縮する変形処理の代わりに、被写体の高さ方向に沿って対象画像ＴＩを伸張する変形処理を採用してもよい。この場合も、被写体の高さに対する幅の比率が小さくなるので、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。
【０１５９】
Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１６０】
Ｂ１．変形例１：
上記実施例では、頭部のサイズを設定するためのユーザインターフェース（図６）を介したユーザの指示に応じて頭部サイズの設定処理（図４のステップＳ１２４）が行われるとしているが、必ずしもユーザの指示に応じて頭部サイズの設定処理が行われる必要は無い。例えば、図６に示したユーザインターフェースを用いることなく、常に頭部サイズ情報４３０に規定された頭部サイズの標準値が、処理に使用される頭部サイズの値として設定されるとしてもよい。
【０１６１】
また、頭部のサイズを設定するためのユーザインターフェースとして、図６に示したものとは異なるユーザインターフェースが用いられるとしてもよい。例えば、幅方向サイズＷｈおよび奥行き方向サイズＤｈの入力欄の代わりに、頭部のサイズに関する他の情報を入力する入力欄が含まれるユーザインターフェースが用いられるとしてもよい。このような他の情報として、例えば、頭部の水平断面を楕円形とした場合の当該楕円の扁平率を採用することが考えられる。この場合には、扁平率に対応した頭部サイズの値が頭部サイズ情報４３０に規定されており、ユーザにより入力された扁平率に対応した頭部サイズの値が、処理に使用される値として設定されるとしてもよい。
【０１６２】
上記他の情報として、他にも例えば、被写体の年齢（または年齢層）や被写体の人種等を採用することが考えられる。このような場合にも、被写体の年齢（または年齢層）や被写体の人種（またはそれらの組み合わせ）に対応した頭部サイズの値が頭部サイズ情報４３０に規定されており、ユーザにより入力された被写体の年齢（または年齢層）や被写体の人種に対応した頭部サイズの値が、処理に使用される値として設定されるとしてもよい。このとき、被写体の年齢（または年齢層）や人種は必ずしもユーザにより入力される必要はなく、例えば対象画像ＴＩの画像解析により、被写体の年齢（または年齢層）や人種を推定し、推定された年齢（または年齢層）や人種に対応付けられた頭部サイズの標準値が、処理に使用される値として設定されるとしてもよい。
【０１６３】
Ｂ２．変形例２：
上記実施例では、変形量ＤＱの設定に用いられる距離ｄ（図１１）として、図４のステップＳ５７０で推定（設定）された被写体距離Ｓｄが採用されているが、必ずしも距離ｄとして被写体距離Ｓｄを用いる必要はない。距離ｄとして、ユーザにより指定された値や予め設定された値（固定値）が採用されるとしてもよい。このような場合には、ステップＳ５７０における被写体距離Ｓｄの設定（推定）を行う必要はない。
【０１６４】
Ｂ３．変形例３：
上記実施例では、特定種類の被写体として人物の頭部が採用され、人物の頭部に含まれる顔の形状を補正する画像変形処理が行われている。しかし、特定種類の被写体は人物の頭部に限られず、他の被写体を特定種類の被写体として採用可能である。特定種類の被写体は、略楕円形（円形を含む）の水平断面を有する被写体であることが好ましく、例えば、ボールや略円柱形状の建築物等も特定種類の被写体として採用可能である。また、対象画像から被写体を検出する方法としては、任意の方法を採用可能である。
【０１６５】
Ｂ４．変形例４：
上記実施例では、特定種類の被写体としての人物の頭部の１つの断面（図１１の頭部楕円ＨＥ）においてカメラＣＭの見える範囲（図１１の第１幅Ｗ１）と目の見える範囲（図１１の第２幅Ｗ２）との差を考慮した変形量ＤＱの設定が行われていた。しかし、人物の頭部の複数の断面において同様に考慮した変形量ＤＱの設定が行われるとしてもよい。図３７は、変形例における顔の画像と実物の顔との印象の違いを示す説明図である。図３７に示した変形例では、人物の頭部Ｈは楕円体または球体としてモデル化されている。図３７において、右目ＲＥと左目ＬＥとを結ぶ直線ＯＬと頭部Ｈの中心ＣＰとを含む平面における頭部Ｈの断面Ｓ０が、図１１における頭部楕円ＨＥに相当する。断面Ｓ０においては、図１１に示した実施例と同様に、第１幅Ｗ１および第２幅Ｗ２が算出される。
【０１６６】
図３７に示した変形例では、さらに、直線ＯＬを通り、断面Ｓ０とのなす角がθ１およびθ２である平面における頭部Ｈの断面Ｓ１およびＳ２が考慮される。すなわち、断面Ｓ１および断面Ｓ２においても、同様に、第１幅Ｗ１および第２幅Ｗ２が算出される。なお、第１幅Ｗ１および第２幅Ｗ２の算出に用いる断面Ｓ１および断面Ｓ２の中心と中点ＭＰとの距離や、断面Ｓ１および断面Ｓ２の径は、角度θ１およびθ２に応じて幾何的に算出することができる。図３７に示した変形例では、頭部Ｈの顔側表面における断面Ｓ１および断面Ｓ２の位置（高さ）において、断面Ｓ１および断面Ｓ２において算出された第１幅Ｗ１および第２幅Ｗ２を用いて変形量ＤＱが算出される。すなわち、顔の高さ方向に沿って変形量ＤＱが変化しうる。図３７に示した変形例では、頭部Ｈの水平断面形状だけでなく、垂直断面形状をも考慮された変形量ＤＱを設定することが可能となるため、顔の画像の観察によって得られる印象を実物の顔の観察によって得られる印象により近づける画像変形処理を実現することができる。
【０１６７】
Ｂ５．変形例５：
上記実施例では、対象画像ＴＩから１つの顔領域ＦＡのみが検出された場合について説明したが、対象画像ＴＩから複数の顔領域ＦＡが検出された場合には、各顔領域ＦＡについて顔形状補正処理等の画像処理を行うとしてもよい。
【０１６８】
また、上記実施例における顔領域ＦＡの検出（図４のステップＳ１３０）、変形領域ＴＡの設定（図４のステップＳ５００）、変形処理（図４のステップＳ６００）等の方法はあくまで一例であり、これらの処理を他の方法により実行することも可能である。
【０１６９】
Ｂ６．変形例６：
上記実施例では、図９に示すように、水平方向の長さ（対象画像ＴＩの全体の幅Ｗｗｉ、顔領域ＦＡの幅Ｗｆｉ、人物Ｐの顔の幅Ｗｆ、結像面ＩＳの幅Ｗｘ）を用いて被写体距離Ｓｄを推定しているが、垂直方向の長さ、すなわち、対象画像ＴＩの高さ、顔領域ＦＡの高さ、人物Ｐの顔の高さ、結像面ＩＳの高さを用いて被写体距離Ｓｄを推定することも可能である。
【０１７０】
また、上記実施例では、対象画像ＴＩの大きさに対する被写体の画像の大きさを特定するデータとして、対象画像ＴＩの全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉとを用いているが、代わりに対象画像ＴＩの全体面積（または画素数）に対する顔領域ＦＡの面積（または画素数）を用いることも可能である。
【０１７１】
Ｂ７．変形例７：
上記実施例では、変形領域ＴＡを矩形の領域として設定しているが、変形領域ＴＡの形状は、他の形状（例えば、楕円や菱形）であってもよい。
【０１７２】
Ｂ８．変形例８：
上記実施例では、画像処理装置としてのプリンタ１００による顔形状補正印刷処理（図３）を説明したが、顔形状補正印刷処理は例えば、顔形状補正と補正画像の表示（ステップＳ１００，Ｓ２００）がパーソナルコンピュータにより実行され、印刷処理（ステップＳ３００）のみがプリンタにより実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。
【０１７３】
また、変形済画像データは、印刷に限らず、任意の用途に利用可能である。例えば、表示装置（例えば、プロジェクタ）による表示を採用してもよい。
【０１７４】
Ｂ９．変形例９：
上記実施例において、変形処理としては種々の処理を採用可能である。例えば、変形領域ＴＡ内の画像を、被写体の高さ方向には変形させずに、被写体の水平方向にのみ変形させてもよい。
【０１７５】
いずれの場合も、変形処理としては、被写体の少なくとも一部分の対象画像ＴＩ上における少なくとも一方向（以下「短縮方向」と呼ぶ）の大きさが小さくなるような変形処理を採用することが好ましい。こうすれば、観察者から見た横方向に短縮方向が向くような角度で画像と実物とを観察した場合に、画像の観察によって得られる被写体の印象を、実物の観察によって得られる印象に近づけることができる。ここで、被写体の輪郭によって示される大きさを、短縮方向に小さくすることが好ましい。すなわち、輪郭で囲まれる領域の短縮方向の長さが小さくなることが好ましい。このように、変形処理によって、被写体の少なくとも輪郭が変形されることが好ましい。こうすれば、画像の観察によって得られる被写体の印象を、適切に、実物の観察によって得られる印象に近づけることができる。
【０１７６】
なお、短縮方向は、対象画像ＴＩ上の任意の方向に設定可能である。例えば、所定の方向（例えば、対象画像ＴＩの長辺と平行な方向）を短縮方向として採用してもよい。ただし、短縮方向と被写体の幅方向とがなす角度が３０度以下であることが好ましく、この角度が１５度以下であることが特に好ましく、短縮方向が被写体の幅方向に向けられることが最も好ましい。こうすれば、多くの場合において、自然で好ましい変形を実行することができる。
【０１７７】
ここで、被写体の幅方向に近くなるように短縮方向を決定する方法としては、種々の方法を採用可能である。例えば、変形処理部は、被写体の幅方向と関連のある情報を利用することによって、短縮方向を決定してもよい。被写体の幅方向と関連のある情報としては、種々の情報を採用可能である。例えば、被写体の方向の検出結果を採用可能である。上述の実施例では、顔領域検出部２２０は、対象画像ＴＩを解析することによって被写体（この場合は顔）の方向を検出する。また、撮像装置の中には、撮像時の地面に対する鉛直方向（重力方向）を示す鉛直情報を、履歴情報として画像ファイルに格納するものがある。このような鉛直情報を利用可能な場合には、鉛直情報に基づいて対象画像ＴＩ上の重力方向を特定することができ、その重力方向と垂直な方向を被写体の幅方向として採用することができる。
【０１７８】
また、変形処理部は、ユーザの指示に従って短縮方向を決定してもよい。例えば、変形処理部は、被写体の幅方向を示す指示を受け入れ、受け入れた指示に従って短縮方向を決定してもよい。
【０１７９】
また、被写体の幅方向が、対象画像ＴＩ上の所定の方向と一致することが予め決まっている場合がある。例えば、一般的なユーザによって撮像された対象画像ＴＩでは、被写体の幅方向は、対象画像ＴＩの長辺と平行であることが多い。このような場合には、変形処理部は、対象画像ＴＩ上の所定の方向（この場合は、長辺と平行な方向）を、被写体の幅方向として採用してもよい。すなわち、対象画像ＴＩ上の所定の方向を短縮方向として採用してもよい。
【０１８０】
以上の説明は、被写体が人物の顔とは異なる場合についても、同様に適用可能である。また、被写体の変形される部分は、任意に設定可能である。
【０１８１】
Ｂ１０．変形例１０：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図１の変形領域分割部２５０と分割領域変形部２６０との全体の機能を、論理回路を有するハードウェア回路によって実現してもよい。
【０１８２】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【０１８３】
Ｂ１１．変形例１１：
［変形処理を行うための手段］
変形処理を行うために、画像処理装置は、画像の変形を行う画像処理装置であって、対象画像上の少なくとも一部の領域を変形領域として設定する変形領域設定部と、前記変形領域内に複数の分割点を配置し、前記分割点同士を結ぶ直線を用いて前記変形領域を複数の小領域に分割する変形領域分割部と、少なくとも１つの前記分割点の位置を移動して前記小領域を変形することにより前記変形領域内の画像の変形を行う変形処理部と、を備えるものとしてもよい。
【０１８４】
この画像処理装置では、対象画像上に設定された変形領域内に複数の分割点が配置され、分割点同士を結ぶ直線を用いて変形領域が複数の小領域に分割される。また、分割点の位置が移動され、小領域が変形されることにより変形領域内の画像の変形処理が実行される。このように、この画像処理装置では、変形領域内に分割点を配置して、配置された分割点を移動するだけで画像変形を行うことができ、多様な変形態様に対応した画像変形の画像処理を、容易に、かつ効率的に実現することができる。
【０１８５】
上記画像処理装置において、さらに、複数の所定の変形タイプの内の１つを選択して前記変形領域内の画像の変形に適用する変形タイプとして設定する変形態様設定部を備え、前記変形領域分割部は、前記設定された変形タイプに対応付けられた所定の配置パターンに従い前記複数の分割点を配置するとしてもよい。
【０１８６】
このようにすれば、例えば顔をシャープする変形タイプや目を大きくする変形タイプ等、それぞれの変形タイプに適した分割点の配置、すなわち変形領域の分割が行われるため、各変形タイプに対応した画像変形のための画像処理のさらなる容易化を実現することができる。
【０１８７】
また、上記画像処理装置において、前記変形態様設定部は、複数の所定の変形度合いの内の１つを選択して前記変形領域内の画像の変形に適用する変形度合いとして設定し、前記変形処理部は、前記設定された変形タイプと変形度合いとの組み合わせに対応付けられた所定の移動方向および移動量に従い前記分割点の位置を移動するとしてもよい。
【０１８８】
このようにすれば、変形タイプと変形度合いとが設定されれば、それらの組み合わせに応じた画像変形が実行されるため、画像変形のための画像処理のさらなる容易化を実現することができる。
【０１８９】
また、上記画像処理装置において、前記変形態様設定部は、少なくとも１つの前記分割点について、前記分割点の移動方向および移動量に関するユーザ指定を取得する指定取得部を含み、前記変形処理部は、前記取得されたユーザ指定に従い前記分割点の位置を移動するとしてもよい。
【０１９０】
このようにすれば、よりユーザの希望に近い態様での画像変形のための画像処理を容易に実現することができる。
【０１９１】
また、上記画像処理装置において、前記変形領域設定部は、前記変形領域に顔の少なくとも一部の画像が含まれるように前記変形領域を設定するとしてもよい。
【０１９２】
このようにすれば、顔の画像を対象として、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。
【０１９３】
また、上記画像処理装置において、前記変形領域分割部は、少なくとも１組の前記分割点が所定の基準線に対して互いに対称の位置に配置されるように、前記複数の分割点を配置し、前記変形処理部は、前記少なくとも１組の分割点を、前記所定の基準線に対して互いに対称である位置関係を維持したまま移動するとしてもよい。
【０１９４】
このようにすれば、所定の基準線に対して左右対称な画像変形が行われることとなり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。
【０１９５】
また、上記画像処理装置において、前記変形処理部は、少なくとも１つの前記小領域について、変形を行わないとしてもよい。
【０１９６】
このようにすれば、顔の印象を大きく変更することなく所望の画像変形を行うことが可能となり、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。
【０１９７】
また、上記画像処理装置において、前記変形処理部は、目の画像を含む前記小領域について、変形を行わないとしてもよい。
【０１９８】
このようにすれば、目の画像を含む小領域については変形を行わないものとすることにより、より自然で好ましい顔画像の画像変形のための画像処理を実現することができる。
【０１９９】
また、上記画像処理装置において、さらに、前記対象画像上の顔の画像を表す顔領域を検出する顔領域検出部を備え、前記変形領域設定部は、検出された前記顔領域に基づき前記変形領域を設定するとしてもよい。
【０２００】
このようにすれば、対象画像から検出された顔領域に基づき設定された変形領域の画像変形について、多様な変形態様に対応した画像変形のための画像処理を、容易に、かつ効率的に実現することができる。
【０２０１】
また、上記画像処理装置において、さらに、前記変形領域内の画像の変形が行われた前記対象画像を印刷する印刷部を備えるとしてもよい。
【０２０２】
このようにすれば、多様な変形態様に対応した画像変形後の画像の印刷を、容易に、かつ効率的に実現することができる。
【図面の簡単な説明】
【０２０３】
【図１】本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。
【図２】画像の一覧表示を含むユーザインターフェースの一例を示す説明図である。
【図３】本実施例のプリンタ１００による顔形状補正印刷処理の流れを示すフローチャートである。
【図４】本実施例における顔形状補正処理の流れを示すフローチャートである。
【図５】画像変形のタイプおよび度合いを設定するためのユーザインターフェースの一例を示す説明図である。
【図６】頭部のサイズを設定するためのユーザインターフェースの一例を示す説明図である。
【図７】顔領域ＦＡの検出結果の一例を示す説明図である。
【図８】ステップＳ５００における変形領域ＴＡの設定結果を示す説明図である。
【図９】被写体距離Ｓｄの推定方法を示す説明図である。
【図１０】変形領域ＴＡの画像を対象とした変形処理が行われた結果を示す説明図である。
【図１１】顔の画像と実物の顔との印象の違いを示す説明図である。
【図１２】半径Ａ半径Ｂ距離ｄと比率Ｒｉとの関係を示すグラフである。
【図１３】半径Ａ半径Ｂ距離ｄと変形量ＤＱとの関係を示すグラフである。
【図１４】顔形状補正後の対象画像ＴＩが表示された表示部１５０の状態の一例を示す説明図である。
【図１５】顔領域ＦＡの検出結果の一例を示す説明図である。
【図１６】変形領域設定処理の流れを示すフローチャートである。
【図１７】顔領域ＦＡの高さ方向の位置調整処理の流れを示すフローチャートである。
【図１８】特定領域ＳＡの一例を示す説明図である。
【図１９】評価値の算出方法の一例を示す説明図である。
【図２０】評価対象画素ＴＰの選択方法の一例を示す説明図である。
【図２１】高さ基準点Ｒｈの決定方法の一例を示す説明図である。
【図２２】概略傾き角ＲＩの算出方法の一例を示す説明図である。
【図２３】顔領域ＦＡの高さ方向の位置調整方法の一例を示す説明図である。
【図２４】本実施例における顔領域ＦＡの傾き調整処理の流れを示すフローチャートである。
【図２５】顔領域ＦＡの傾き調整のための評価値の算出方法の一例を示す説明図である。
【図２６】各評価方向についての評価値の分散の算出結果の一例を示す説明図である。
【図２７】顔領域ＦＡの傾き調整方法の一例を示す説明図である。
【図２８】変形領域ＴＡの設定方法の一例を示す説明図である。
【図２９】変形処理の流れを示すフローチャートである。
【図３０】変形領域ＴＡの小領域への分割方法の一例を示す説明図である。
【図３１】分割点移動テーブル４２０の内容の一例を示す説明図である。
【図３２】分割点移動テーブル４２０に従った分割点Ｄの位置の移動の一例を示す説明図である。
【図３３】分割領域変形部２６０による画像の変形処理方法の概念を示す説明図である。
【図３４】三角形領域における画像の変形処理方法の概念を示す説明図である。
【図３５】顔形状補正の態様を示す説明図である。
【図３６】変形処理の他の実施例を示す概略図である。
【図３７】変形例における顔の画像と実物の顔との印象の違いを示す説明図である。
【符号の説明】
【０２０４】
１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…顔形状補正部
２１０…変形態様設定部
２１４…サイズ設定部
２２０…顔領域検出部
２３０…顔領域調整部
２４０…変形領域設定部
２５０…変形領域分割部
２６０…分割領域変形部
２９０…変形量設定部
３１０…表示処理部
３２０…印刷処理部
３３０…被写体距離設定部
３４０…情報取得部
４１０…分割点配置パターンテーブル
４２０…分割点移動テーブル
４３０…頭部サイズ情報
【特許請求の範囲】
【請求項１】
画像処理装置であって、
撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定するサイズ設定部と、
前記対象画像における前記特定種類の被写体の画像を含む領域内の画像を、設定された前記サイズに応じた変形の度合いで変形する変形処理部と、を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記変形処理部は、少なくとも前記特定種類の被写体の幅方向に沿って画像が変形されるように、画像の変形を行う、画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記変形処理部は、前記特定種類の被写体の幅方向と奥行き方向との一方のサイズが一定の場合に、前記幅方向のサイズに対する前記奥行き方向のサイズの比が大きいほど前記変形の度合いが大きくなるように、画像の変形を行う、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、さらに、
前記対象画像生成時の撮像装置から前記特定種類の被写体までの距離である被写体距離を設定する距離設定部を備え、
前記変形処理部は、前記特定種類の被写体の幅方向および奥行き方向のサイズが一定の場合に、設定された前記被写体距離が小さいほど前記変形の度合いが大きくなるように、画像の変形を行う、画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置であって、さらに、
前記対象画像における前記特定種類の被写体の画像を検出する被写体検出部を備える、画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、略楕円形状の水平断面を有する被写体である、画像処理装置。
【請求項７】
請求項１ないし請求項６のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、人物の頭部である、画像処理装置。
【請求項８】
画像処理方法であって、
（ａ）撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定する工程と、
（ｂ）前記対象画像における前記特定種類の被写体の画像を含む領域内の画像を、設定された前記サイズに応じた変形の度合いで変形する工程と、を備える、画像処理方法。
【請求項９】
画像処理のためのコンピュータプログラムであって、
撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定するサイズ設定機能と、
前記対象画像における前記特定種類の被写体の画像を含む領域内の画像を、設定された前記サイズに応じた変形の度合いで変形する変形処理機能と、を、コンピュータに実現させる、コンピュータプログラム。
【請求項１】
画像処理装置であって、
撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定するサイズ設定部と、
前記対象画像における前記特定種類の被写体の画像を含む領域内の画像を、設定された前記サイズに応じた変形の度合いで変形する変形処理部と、を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記変形処理部は、少なくとも前記特定種類の被写体の幅方向に沿って画像が変形されるように、画像の変形を行う、画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記変形処理部は、前記特定種類の被写体の幅方向と奥行き方向との一方のサイズが一定の場合に、前記幅方向のサイズに対する前記奥行き方向のサイズの比が大きいほど前記変形の度合いが大きくなるように、画像の変形を行う、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、さらに、
前記対象画像生成時の撮像装置から前記特定種類の被写体までの距離である被写体距離を設定する距離設定部を備え、
前記変形処理部は、前記特定種類の被写体の幅方向および奥行き方向のサイズが一定の場合に、設定された前記被写体距離が小さいほど前記変形の度合いが大きくなるように、画像の変形を行う、画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置であって、さらに、
前記対象画像における前記特定種類の被写体の画像を検出する被写体検出部を備える、画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、略楕円形状の水平断面を有する被写体である、画像処理装置。
【請求項７】
請求項１ないし請求項６のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、人物の頭部である、画像処理装置。
【請求項８】
画像処理方法であって、
（ａ）撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定する工程と、
（ｂ）前記対象画像における前記特定種類の被写体の画像を含む領域内の画像を、設定された前記サイズに応じた変形の度合いで変形する工程と、を備える、画像処理方法。
【請求項９】
画像処理のためのコンピュータプログラムであって、
撮像によって生成された対象画像における特定種類の被写体の幅方向および奥行き方向のサイズを設定するサイズ設定機能と、
前記対象画像における前記特定種類の被写体の画像を含む領域内の画像を、設定された前記サイズに応じた変形の度合いで変形する変形処理機能と、を、コンピュータに実現させる、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【公開番号】特開２００９−５３９１４（Ｐ２００９−５３９１４Ａ）
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願番号】特願２００７−２１９７１２（Ｐ２００７−２１９７１２）
【出願日】平成１９年８月２７日（２００７．８．２７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願日】平成１９年８月２７日（２００７．８．２７）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]