画像領域の指定
【課題】特定種類の被写体の画像の変形に支障のないように画像の領域を指定することを可能とする。
【解決手段】画像処理装置は、画像を表示する画像表示部と、ユーザによる表示画像中の第1の領域の指定を受領する領域指定受領部と、第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域を変形する変形処理部とを備える。また、画像処理装置は、ユーザに、第1の領域として、変形領域に対応した表示画像中の第2の領域を包含する領域を指定させるために、表示画像上に所定の参照表示を行う参照表示部を備える。
【解決手段】画像処理装置は、画像を表示する画像表示部と、ユーザによる表示画像中の第1の領域の指定を受領する領域指定受領部と、第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域を変形する変形処理部とを備える。また、画像処理装置は、ユーザに、第1の領域として、変形領域に対応した表示画像中の第2の領域を包含する領域を指定させるために、表示画像上に所定の参照表示を行う参照表示部を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像において領域を指定する技術に関する。
【背景技術】
【0002】
デジタル画像を対象に、画像を変形するための画像処理技術が知られている(例えば特許文献1)。特許文献1には、顔の画像上の一部の領域(頬の画像を表す領域)を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の画像の形状を変形する画像処理が開示されている。
【0003】
【特許文献1】特開2004−318204
【0004】
他方、画像の一部の領域を指定し、指定された領域以外の領域を切り落とす処理(いわゆるトリミング処理)や、指定された領域のみを拡大して表示・印刷する処理等が広く行われている。
【発明の開示】
【発明が解決しようとする課題】
【0005】
上述した顔の画像の形状を変形する処理の際には、処理結果を自然なものとするために、顔の画像の領域だけでなく、顔の画像の周囲の領域も使用される場合がある。そのため、画像中の指定された領域に対応した画像を対象として顔の画像の形状を変形する処理を行う場合に、指定された領域に顔の画像の周囲の領域が含まれていないと、変形処理が実行できなくなる場合があった。
【0006】
なお、このような問題は、顔の画像を変形する処理を行う場合に限らず、画像の領域を指定し、指定された領域に対応した画像を対象として特定種類の被写体の画像を変形する処理を行う場合に共通する問題であった。
【0007】
本発明は、上記の課題を解決するためになされたものであり、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【0009】
[適用例1]画像処理装置であって、
画像を表示する画像表示部と、
ユーザによる表示画像中の第1の領域の指定を受領する領域指定受領部と、
前記第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域の変形を行う変形処理部と、
ユーザに、前記第1の領域として、前記変形領域に対応した前記表示画像中の第2の領域を包含する領域を指定させるために、前記表示画像上に所定の参照表示を行う参照表示部と、を備える、画像処理装置。
【0010】
この画像処理装置では、表示画像上に所定の参照表示が行われるため、ユーザは、第1の領域として、特定種類の被写体の画像を変形するための変形が行われる変形領域に対応した表示画像中の第2の領域を包含する領域を指定することができる。そのため、この画像処理装置では、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0011】
[適用例2]適用例1に記載の画像処理装置であって、
前記参照表示は、第3の領域を前記特定種類の被写体の画像を含むように設定すると前記第1の領域が前記第2の領域を包含する領域となるように前記第1の領域との関係が予め設定された前記第3の領域を示す表示を含む、画像処理装置。
【0012】
この画像処理装置では、ユーザが第3の領域を示す表示を参照しつつ、第3の領域が特定種類の被写体の画像を含むこととなるように第1の領域を指定すれば、第1の領域は第2の領域を包含する領域となる。そのため、この画像処理装置では、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0013】
[適用例3]適用例1に記載の画像処理装置であって、
前記参照表示は、前記第2の領域を示す表示を含む、画像処理装置。
【0014】
この画像処理装置では、ユーザが、第2の領域を示す表示を参照しつつ、第2の領域を包含するように第1の領域を指定することができる。そのため、この画像処理装置では、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0015】
[適用例4]適用例1に記載の画像処理装置であって、さらに、
画像における前記特定種類の被写体の画像の領域を設定する被写体領域設定部を備え、
前記参照表示は、設定された前記特定種類の被写体の画像の領域に対応した第4の領域を示す表示と、第5の領域を前記第4の領域を包含するように設定すると前記第1の領域が前記第2の領域を包含する領域となるように前記第1の領域との関係が予め設定された前記第5の領域を示す表示と、を含む、画像処理装置。
【0016】
この画像処理装置では、ユーザが第5の領域を示す表示を参照しつつ、第5の領域が第4の領域を包含することとなるように第1の領域を指定すれば、第1の領域は第2の領域を包含する領域となる。そのため、この画像処理装置では、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0017】
[適用例5]適用例1ないし適用例4のいずれかに記載の画像処理装置であって、
前記変形領域は、位置および大きさが、前記特定種類の被写体の画像の位置および大きさと所定の関係にある領域である、画像処理装置。
【0018】
この画像処理装置では、位置および大きさが、特定種類の被写体の画像の位置および大きさと所定の関係にある変形領域において変形が行われる場合に、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0019】
[適用例6]適用例1ないし適用例5のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、人物の顔である、画像処理装置。
【0020】
この画像処理装置では、人物の顔の画像の変形に支障のないように画像の領域を指定することができる。
【0021】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像変形方法および装置、画像表示方法および装置、画像領域指定方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【0022】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.実施例:
A−1.画像処理装置の構成:
A−2.印刷処理:
A−3.顔形状補正処理:
B.変形例:
【0023】
A.実施例:
A−1.画像処理装置の構成:
図1は、本発明の実施例における画像処理装置としてのプリンタ100の構成を概略的に示す説明図である。本実施例のプリンタ100は、メモリカードMC等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ100は、プリンタ100の各部を制御するCPU110と、例えばROMやRAMによって構成された内部メモリ120と、ボタンやタッチパネルにより構成された操作部140と、液晶ディスプレイにより構成された表示部150と、プリンタエンジン160と、カードインターフェース(カードI/F)170と、を備えている。プリンタ100は、さらに、他の機器(例えばデジタルスチルカメラやパーソナルコンピュータ)とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ100の各構成要素は、バスを介して互いに接続されている。
【0024】
プリンタエンジン160は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース170は、カードスロット172に挿入されたメモリカードMCとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードMCにRGBデータとしての画像データを含む画像ファイルが格納されている。この画像ファイルは、例えばデジタルスチルカメラ等の撮像装置によりExif(Exchangeable Image File Format)規格に則って生成されたファイルであり、撮像により生成されたJPEG形式の画像データの他に、撮像時の絞り・シャッタースピード・レンズの焦点距離等の付加データを含んでいる。
【0025】
内部メモリ120には、補正印刷部200と、表示処理部310と、印刷処理部320とが格納されている。補正印刷部200は、所定のオペレーティングシステムの下で、後述するナチュラルフェイスモードでの印刷処理を実行するためのコンピュータプログラムである。表示処理部310は、表示部150を制御して、表示部150上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部320は、画像データから印刷データを生成し、プリンタエンジン160を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。CPU110は、内部メモリ120から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。
【0026】
補正印刷部200は、プログラムモジュールとして、顔領域設定部210と、補正度合設定部220と、印刷領域設定部230と、補正処理部250と、を含んでいる。また、印刷領域設定部230は、参照表示部232を含んでいる。補正処理部250は、変形領域設定部252と、変形領域分割部254と、分割領域変形部256と、肌色補正部258と、を含んでいる。これらの各部の機能については、後述の印刷処理の説明において詳述する。
【0027】
内部メモリ120には、また、分割点配置パターンテーブル410と分割点移動テーブル420と、肌色補正量テーブル430と、が格納されている。これらの内容についても、後述の印刷処理の説明において詳述する。
【0028】
A−2.印刷処理:
プリンタ100は、画像中の顔の画像の部分の補正と補正された画像の印刷とを行うナチュラルフェイスモードでの印刷処理を実行することができる。ナチュラルフェイスモードにおいては、顔の画像の部分の補正として、顔を小さくする補正(「小顔補正」とも呼ぶ)と、肌をきれいにする補正(「美白補正」とも呼ぶ)と、が実行可能となっている。顔を小さくする補正は、一般に実物の顔よりも幅が広いという印象を受けやすい顔の画像を、実物の顔の印象に近づけるように、顔の画像を変形する補正である。肌をきれいにする補正は、実物の肌の色とは異なる印象を受けやすい顔の肌色部分の画像を、実物の肌の色の印象に近づけるように、顔の肌色部分の画像の色を調整する補正である。
【0029】
図2は、ナチュラルフェイスモードでの印刷処理の流れを示すフローチャートである。カードスロット172(図1)にメモリカードMCが挿入され、ユーザによる操作部140を介した所定の操作が行われると、ナチュラルフェイスモードでの印刷処理が開始される。
【0030】
ステップS100(図2)では、補正印刷部200(図1)が、印刷処理の対象となる対象画像TIを設定する。補正印刷部200は、対象画像TIの設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図3は、対象画像TIの設定のためのユーザインターフェースの一例を示す説明図である。図3に示したユーザインターフェースにおいて、メモリカードMCに格納された画像が、画像表示欄IAに表示される。メモリカードMCに複数の画像が格納されている場合には、ユーザによる操作部140を介した操作に応じて、画像表示欄IAに表示される画像が順次切り替えられる。また、プリンタ100は、メモリカードMCに格納された複数の画像の一覧表示が可能であるとしてもよい。補正印刷部200は、図3に示したユーザインターフェースにおいてユーザにより選択された画像を対象画像TIとして設定する。
【0031】
ステップS200(図2)では、顔領域設定部210(図1)が、対象画像TIにおける顔領域FAの設定を行う。ここで、顔領域FAは、対象画像TIにおける画像領域であって、少なくとも顔の一部の画像を含む領域である。顔領域設定部210は、対象画像TIを解析して顔の画像を含むと想定される領域を検出し、当該領域を顔領域FAとして設定する。顔領域設定部210による顔の画像を含むと想定される領域の検出は、例えばテンプレートを利用したパターンマッチングによる方法(特開2006−279460参照)といった公知の検出方法を用いて実行される。このようなテンプレートを利用したパターンマッチングによる方法は、一般に、顔の器官(目、眉、鼻、口等)の画像の位置に基づいて、対象画像TI中から顔の画像が概ね含まれると考えられる領域を検出するものである。
【0032】
図4は、顔領域FAの設定結果の一例を示す説明図である。本実施例では、顔領域FAは、図4に示すように、両目と鼻と口の画像を含む矩形の領域となっている。なお、顔領域設定部210は、設定された顔領域FAを、例えば顔領域FAの4つの頂点の座標により特定する。
【0033】
ステップS200(図2)において、顔の画像を含むと想定される領域が検出されず、顔領域FAの設定に成功しなかった場合には(ステップS300:No)、その旨が表示部150を通じてユーザに通知される。この場合には、顔の画像の補正を行うナチュラルフェイスモードでの印刷処理が実行できないため、ユーザに他の画像を対象画像TIとして選択させるために、対象画像TIの選択のためのユーザインターフェース(図3)が表示部150に再度表示される(ステップS100)。
【0034】
一方、ステップS200(図2)において、顔の画像を含むと想定される領域が検出され、顔領域FAの設定に成功した場合には(ステップS300:Yes)、ナチュラルフェイスモードでの印刷処理が実行可能となる。ステップS400では、補正度合設定部220(図1)が、補正度合いの設定を行う。ここで、補正度合いとは、ナチュラルフェイスモードでの印刷処理において、画像に施す補正(顔を小さくする補正および肌をきれいにする補正)の度合い(程度)である。
【0035】
図5は、補正度合いの設定の処理の流れを示すフローチャートである。ステップS410では、補正度合設定部220が、補正度合いの設定方法を選択する。補正度合設定部220は、補正度合いの設定方法の選択のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図6は、補正度合いの設定方法の選択のためのユーザインターフェースの一例を示す説明図である。本実施例では、補正度合いの設定方法として、マニュアル設定と、フェイスシートFSを利用した設定と、の2通りの設定方法が用意されている。マニュアル設定は、顔を小さくする補正と肌をきれいにする補正とのそれぞれについて、ユーザが直接指定した補正度合いを、処理に使用する補正度合いとして採用する設定方法である。フェイスシートFSを利用した設定は、顔を小さくする補正と肌をきれいにする補正とのそれぞれの補正度合いを変化させて補正を行った複数の画像を1枚のシート(フェイスシートFS)上に並べて印刷し、当該複数の画像の中からユーザが選択した1つの画像に対応した補正度合いを、処理に使用する補正度合いとして採用する設定方法である。補正度合設定部220は、図6に示したユーザインターフェースにおけるユーザの選択に従い、補正度合いの設定方法を選択する。
【0036】
図5のステップS410においてマニュアル設定が選択された場合には(ステップS420:Yes)、補正度合設定部220が、マニュアル設定による補正度合いの選択・設定を行う(ステップS430)。補正度合設定部220は、マニュアル設定による補正度合いの選択・設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図7は、マニュアル設定による補正度合いの選択・設定のためのユーザインターフェースの一例を示す説明図である。本実施例では、顔を小さくする補正と肌をきれいにする補正とのそれぞれについて、補正の度合いとして、「なし(補正しない)」、「弱」、「強」の3段階の選択肢が予め設定されている。補正度合設定部220は、図7に示したユーザインターフェースにおけるユーザの選択に従い、顔を小さくする補正と肌をきれいにする補正とのそれぞれについての補正度合いを設定する。その後、補正度合設定部220は、設定された補正度合いを対象画像TIと共に表示部150に表示するよう表示処理部310に指示する。図8は、対象画像TIと補正度合いとの表示の一例を示す説明図である。図8の例では、対象画像表示欄TIAに対象画像TIが表示され、また、顔を小さくする補正および肌をきれいにする補正について設定された補正度合いが表示されている。
【0037】
一方、図5のステップS410においてフェイスシートFSを利用した設定が選択された場合には(ステップS420:No)、フェイスシートFSを利用した補正度合いの選択・設定が行われる。図9はフェイスシートFSの一例を示す説明図である。図9に示すように、フェイスシートFSには、顔を小さくする補正についての補正度合い3段階(「なし」、「弱」、「強」)と肌をきれいにする補正についての補正度合い3段階(同)との組み合わせに対応した9個の画像が印刷される。フェイスシートFSにおいて、各画像には番号が付されている。例えば、図9に示したフェイスシートFSの1番の画像は、顔を小さくする補正も肌をきれいにする補正も行われていない画像である。また、5番の画像は、程度「弱」の顔を小さくする補正と程度「弱」の肌をきれいにする補正とが行われた画像である。
【0038】
まず、ステップS440(図5)において、印刷領域設定部230(図1)が、対象画像TIにおけるフェイスシートFS用の印刷領域の設定を行う(ステップS440)。本実施例では、フェイスシートFSにおいて各画像間の比較を容易にするため、なるべく顔の画像が大きく印刷されるようにフェイスシートFS用の印刷領域の設定が行われる。ここで設定されたフェイスシートFS用の印刷領域を対象に、後に説明するフェイスシート用画像FIの取得・補正・印刷が行われることとなる。ただし、ここで設定された印刷領域は、あくまでフェイスシートFS上に印刷される画像の領域を規定するものであり、最終的な画像の印刷(図2のステップS700)における印刷領域を規定するものではない。
【0039】
印刷領域設定部230は、フェイスシートFS用の印刷領域の設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図10は、フェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。図10に示したユーザインターフェースには、対象画像表示欄TIAに対象画像TIが表示されている。より詳細には、対象画像表示欄TIAに表示される画像は、メモリカードMCに格納された画像ファイルに含まれるJPEG形式の画像データがデコードされ、さらに表示部150上の対象画像表示欄TIAの解像度に応じて縮小(または拡大)された画像(以下「表示画像DI」とも呼ぶ)である。
【0040】
図10に示したユーザインターフェースにおいて、表示画像DI上には、トリミング枠TFが表示されている。トリミング枠TFは、表示画像DIにおけるフェイスシートFS用の印刷領域に対応する領域を規定する。トリミング枠TFは、ユーザによる操作部140を介した操作に応じて拡大・縮小・移動・回転が可能となっており、最終的にユーザにより決定されたトリミング枠TFに対応した対象画像TI上の領域が、フェイスシートFS用の印刷領域として設定される。
【0041】
図10に示したユーザインターフェースにおいて、表示画像DI上には、さらに参照枠RFが表示されている。参照枠RFは、参照表示部232(図1)が表示処理部310に指示することにより表示される。参照枠RFは、その位置および大きさが、トリミング枠TFの位置および大きさと所定の関係になるように予め設定された枠であり、トリミング枠TFの拡大・縮小・移動・回転に応じて、上記所定の関係を保ちつつ拡大・縮小・移動・回転される。
【0042】
ここで、トリミング枠TFと参照枠RFとの関係について説明する。図11は、トリミング枠TFと参照枠RFとの関係を示す説明図である。図11には、顔領域FAと、顔を小さくする補正において変形が行われる領域である変形領域TAとが示されている。変形領域TAは、後に詳述するが、顔領域FAを上下左右にそれぞれ所定の倍率で拡大した領域である。変形領域TAは、顔の画像の他に顔の周囲の画像も含む領域となっている。
【0043】
変形領域TAは顔を小さくする補正において変形が行われる領域であるため、フェイスシートFS用の印刷領域が変形領域TAの一部または全部を含まないように設定されると、後に顔を小さくする補正の実行が不可能となる。そのため、フェイスシートFS用の印刷領域は、変形領域TAを包含する領域として設定される必要がある。すなわち、表示画像DI上において、図11に示すように、トリミング枠TFは、その内側に変形領域TAに対応した領域を包含するように指定される必要がある。
【0044】
トリミング枠TFと参照枠RFとの位置および大きさの関係は、参照枠RFがその内側に顔の画像が概ね含まれるように設定されると、トリミング枠TFがその内側に変形領域TAに対応した表示画像DI上の領域を包含することとなるように、予め設定されている。従って、ユーザは、参照枠RFの内側に顔の画像が概ね含まれることとなるようなトリミング枠TFを指定すれば、トリミング枠TFに対応した対象画像TI上の領域として設定されるフェイスシートFS用の印刷領域は、変形領域TAを包含する領域となる。
【0045】
ユーザは、参照枠RFを参照しつつトリミング枠TFの拡大・縮小・移動・回転を行って、参照枠RFの内側に顔の画像が概ね含まれるようにトリミング枠TFの位置や大きさを決定する。図12は、決定されたトリミング枠TFの一例を示す説明図である。印刷領域設定部230は、決定されたトリミング枠TFに対応した対象画像TI上の領域をフェイスシートFS用の印刷領域として設定する。
【0046】
なお、表示画像DI上のトリミング枠TF内の領域は本発明における第1の領域に相当し、表示画像DI上の変形領域TAに対応した領域は本発明における第2の領域に相当する。また、参照枠RFは本発明における参照表示に相当し、参照枠RF内の領域は本発明における第3の領域に相当する。また、トリミング枠TFの決定の指示を受領する印刷領域設定部230は、本発明における領域指定受領部として機能する。
【0047】
なお、上述したようなトリミング枠TFの決定の際に、ユーザに対する所定のガイド表示が行われるとしてもよい。図13は、ガイド表示の一例を示す説明図である。図13に示すように、ガイド表示においては、顔の画像を含むサンプル画像SIが表示され、サンプル画像SI上にトリミング枠TFおよび参照枠RFが表示される。このとき、参照枠RFは、参照枠RFの内側にサンプル画像SI内の顔の画像が概ね含まれるような位置および大きさとなっている。このような、ガイド表示を行うことにより、ユーザに、フェイスシートFS用の印刷領域が変形領域TAを包含する領域となるようなトリミング枠TFの指定を促すことができる。
【0048】
ステップS450(図5)では、補正印刷部200(図1)が、設定されたフェイスシートFS用の印刷領域の画像(以下「フェイスシート用画像FI」とも呼ぶ)を対象に画像の補正を行い、補正後の画像を用いてフェイスシートFSの印刷を行う。まず補正処理部250が、フェイスシート用画像FIに対して、顔を小さくする補正および肌をきれいにする補正を行う。このとき、補正処理部250は、顔を小さくする補正についての補正度合い3段階(「なし」、「弱」、「強」)と肌をきれいにする補正についての補正度合い3段階(同)との組み合わせに対応した9つの態様で補正を行い、9個の補正画像を生成する。なお、このとき補正処理部250は、本発明における変形処理部として機能する。
【0049】
なお、肌をきれいにする補正は、フェイスシート用画像FIにおける肌色の領域を設定し、設定された領域の色を、肌色補正量テーブル430(図1)において補正度合いに応じて規定された補正量で調整することにより行われる。また、顔を小さくする補正は、フェイスシート用画像FIにおける変形領域TA(図11参照)を複数の領域に分割し、分割点移動テーブル420(図1)において補正度合いに応じて規定された変形量で各分割領域の形状を変形することにより行われる。顔を小さくする補正(以下「顔形状補正」とも呼ぶ)については、後の「A−3.顔形状補正処理」において詳述する。
【0050】
補正印刷部200は、フェイスシート用画像FIの補正によって生成された9個の補正画像を用いたフェイスシートFS(図9参照)の印刷を印刷処理部320(図1)に指示する。これによりフェイスシートFSが印刷される。
【0051】
ステップS460(図5)では、補正度合設定部220が、フェイスシートFSにおける画像番号の選択による補正度合いの設定を行う。補正度合設定部220は、フェイスシートFSを用いた補正度合いの設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図14は、フェイスシートFSを用いた補正度合いの設定のためのユーザインターフェースの一例を示す説明図である。このユーザインターフェースには、フェイスシートFSにおける画像番号選択欄が含まれている。ユーザは、フェイスシートFSに印刷された9個の画像(図9参照)の中から、補正結果が最も希望に近い画像を選択し、その画像番号を図14に示したユーザインターフェースにおいて入力する。補正度合設定部220は、ユーザに選択された画像に対応した補正度合いを、使用する補正度合いとして設定する。例えば、ユーザにより5番の画像が選択された場合には、5番の画像に対応した補正度合いである、顔を小さくする補正と肌をきれいにする補正との両方について「弱」の補正度合いが設定される。その後、補正度合設定部220は、選択された画像番号を対象画像TIと共に表示部150に表示するよう表示処理部310に指示する。図15は、対象画像TIと選択された画像番号との表示の一例を示す説明図である。図15の例では、対象画像表示欄TIAに対象画像TIが表示されると共に、選択された画像番号が表示されている。
【0052】
以上の処理により、補正度合いの設定(図2のステップS400)が行われる。次に、補正印刷部200(図1)は、操作部140を介してユーザから拡大印刷の指示がなされたか否かを判定する(ステップS500)。ここで、拡大印刷は、対象画像TI中の一部の領域を拡大して印刷を行うことを意味する。
【0053】
ステップS500において拡大印刷の指示がなされたと判定された場合には(ステップS500:Yes)、印刷領域設定部230(図1)が、印刷領域の設定を行う(ステップS600)。印刷領域の設定は、フェイスシートFS用の印刷領域の設定(図5のステップS440)と同様に行われる。すなわち、印刷領域設定部230は、まず、印刷領域の設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図16は、印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。図16に示したユーザインターフェースには、フェイスシートFS用の印刷領域の設定のためのユーザインターフェース(図10)と同様に、対象画像表示欄TIAに表示画像DIが表示され、表示画像DI上にトリミング枠TFと参照枠RFとが表示されている。ユーザは、参照枠RFを参照しつつ、参照枠RFの内側に顔の画像が概ね含まれる範囲で、トリミング枠TFの位置や大きさを決定する。印刷領域設定部230は、決定されたトリミング枠TFに対応した対象画像TI上の領域を印刷領域として設定する。このように印刷領域が設定されると、トリミング枠TFに対応した対象画像TI上の領域として設定される印刷領域は、変形領域TAを包含する領域となる。
【0054】
一方、ステップS500において拡大印刷の指示がなされなかったと判定された場合には(ステップS500:No)、自動的に、対象画像TIの全体が印刷領域となる。
【0055】
ステップS700(図2)では、補正印刷部200(図1)が、印刷領域の画像(以下「印刷用画像PI」とも呼ぶ)を対象として画像の補正を行い、補正後の画像を用いて印刷を行う。このとき、補正処理部250による補正(顔を小さくする補正および肌をきれいにする補正)は、ステップS400において設定された度合いで実行される。これにより、設定された補正度合いで顔を小さくする補正および肌をきれいにする補正がなされた画像が印刷される。なお、このとき補正処理部250は、本発明における変形処理部として機能する。
【0056】
以上説明したように、本実施例のプリンタ100では、フェイスシートFS用の印刷領域の設定の際(図5のステップS440)に、表示画像DI上にトリミング枠TFと参照枠RFとが表示される。トリミング枠TFと参照枠RFとの関係は、参照枠RFがその内側に顔の画像が概ね含まれるように設定されると、トリミング枠TFがその内側に変形領域TAに対応した表示画像DI上の領域を包含することとなる関係となっている。そのため、ユーザが、参照枠RFの内側に顔の画像が概ね含まれることとなるようなトリミング枠TFを指定すれば、トリミング枠TFに対応した対象画像TI上の領域として設定されるフェイスシートFS用の印刷領域は、変形領域TAを包含する領域となる。従って、フェイスシートFS用の印刷領域に対応した画像(フェイスシート用画像FI)は、顔を小さくする補正(図5のステップS450)の際に必要となる画像の領域をすべて有する画像となる。このように、本実施例のプリンタ100では、顔の画像の変形に支障のないように画像の領域を指定することができる。
【0057】
同様に、本実施例のプリンタ100では、印刷領域の設定の際(図2のステップS600)にも、表示画像DI上にトリミング枠TFと参照枠RFとが表示されるため、印刷領域に対応した画像(印刷用画像PI)も、顔を小さくする補正(図2のステップS700)の際に必要となる画像の領域をすべて有する画像となる。
【0058】
A−3.顔形状補正処理:
図17は、本実施例のプリンタ100による顔形状補正の流れを示すフローチャートである。顔形状補正(顔を小さくする補正)は、図2のステップS700や図5のステップS450において実行される補正の1つであり、印刷用画像PIやフェイスシート用画像FIを対象として、画像中の顔の輪郭形状を補正する処理である。以下、顔形状補正の対象画像がフェイスシート用画像FIであるとして説明する。
【0059】
ステップS910(図17)では、顔領域設定部210(図1)が、フェイスシート用画像FIにおける顔領域FAを設定する。ステップS910における顔領域FAの設定は、図2のステップS200における顔領域FAの設定と同様に行われる。なお、ステップS910では、新たに顔領域FAの検出を行うことなく、ステップS200における顔領域FAの設定結果を利用して顔領域FAを設定するとしてもよい。
【0060】
ステップS920(図17)では、変形領域設定部252(図1)が、フェイスシート用画像FIにおける変形領域TAを設定する。変形領域TAは、顔形状補正のための画像変形処理の対象となる領域である。図18は、変形領域TAの設定方法の一例を示す説明図である。図18には、人物の顔の画像と設定された顔領域FAとが示されている。図18に示した基準線RLは、顔領域FAの高さ方向(上下方向)を定義すると共に、顔領域FAの幅方向(左右方向)の中心を示す線である。すなわち、基準線RLは、矩形の顔領域FAの重心を通り、顔領域FAの高さ方向(上下方向)に沿った境界線に平行な直線である。
【0061】
図18に示すように、本実施例では、変形領域TAは、顔領域FAを基準線RLと平行な方向(高さ方向)および基準線RLに直行する方向(幅方向)に伸張(または短縮)した領域として設定される。具体的には、顔領域FAの高さ方向の大きさをHf、幅方向の大きさをWfとすると、顔領域FAを、上方向にk1・Hf、下方向にk2・Hfだけ伸ばすと共に、左右にそれぞれk3・Wfだけ伸ばした領域が、変形領域TAとして設定される。なお、k1,k2,k3は、所定の係数である。
【0062】
このように変形領域TAが設定されると、顔領域FAの高さ方向の輪郭線に平行な直線である基準線RLは、変形領域TAの高さ方向の輪郭線にも平行な直線となる。また、基準線RLは、変形領域TAの幅を半分に分割する直線となる。
【0063】
図18に示すように、変形領域TAは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域TAが概ねそのような範囲の画像を含む領域となるように、顔領域FAの大きさとの関係に基づき、上述の係数k1,k2,k3が予め設定されている。
【0064】
ステップS930(図17)では、変形領域分割部254(図1)が、変形領域TAを複数の小領域に分割する。図19は、変形領域TAの小領域への分割方法の一例を示す説明図である。変形領域分割部254は、変形領域TAに複数の分割点Dを配置し、分割点Dを結ぶ直線を用いて変形領域TAを複数の小領域に分割する。
【0065】
分割点Dの配置の態様(分割点Dの個数および位置)は、分割点配置パターンテーブル410(図1)により定義されている。変形領域分割部254は、分割点配置パターンテーブル410を参照して変形領域TAに分割点Dを配置する。
【0066】
図19に示すように、分割点Dは、水平分割線Lhと垂直分割線Lvとの交点と、水平分割線Lhおよび垂直分割線Lvと変形領域TAの外枠との交点とに配置される。ここで、水平分割線Lhおよび垂直分割線Lvは、変形領域TA内に分割点Dを配置するための基準となる線である。図19に示すように、分割点Dの配置では、基準線RLと直行する2本の水平分割線Lhと、基準線RLに平行な4本の垂直分割線Lvとが設定される。2本の水平分割線Lhを、変形領域TAの下方から順に、Lh1,Lh2と呼ぶ。また、4本の垂直分割線Lvを、変形領域TAの左から順に、Lv1,Lv2,Lv3,Lv4と呼ぶ。
【0067】
水平分割線Lh1は、変形領域TAにおいて、顎の画像より下方に配置され、水平分割線Lh2は、目の画像のすぐ下付近に配置される。また、垂直分割線Lv1およびLv4は、頬のラインの画像の外側に配置され、垂直分割線Lv2およびLv3は、目尻の画像の外側に配置される。なお、水平分割線Lhおよび垂直分割線Lvの配置は、水平分割線Lhおよび垂直分割線Lvと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域TAの大きさとの対応関係に従い実行される。
【0068】
上述した水平分割線Lhと垂直分割線Lvとの配置に従い、水平分割線Lhと垂直分割線Lvとの交点と、水平分割線Lhおよび垂直分割線Lvと変形領域TAの外枠との交点とに、分割点Dが配置される。図19に示すように、水平分割線Lhi(i=1または2)上に位置する分割点Dを、左から順に、D0i,D1i,D2i,D3i,D4i,D5iと呼ぶものとする。例えば、水平分割線Lh1上に位置する分割点Dは、D01,D11,D21,D31,D41,D51と呼ばれる。同様に、垂直分割線Lvj(j=1,2,3,4のいずれか)上に位置する分割点Dを、下から順に、Dj0,Dj1,Dj2,Dj3と呼ぶものとする。例えば、垂直分割線Lv1上に位置する分割点Dは、D10,D11,D12,D13と呼ばれる。
【0069】
なお、図19に示すように、本実施例における分割点Dの配置は、基準線RLに対して対称の配置となっている。
【0070】
変形領域分割部254は、配置された分割点Dを結ぶ直線(すなわち水平分割線Lhおよび垂直分割線Lv)により、変形領域TAを複数の小領域に分割する。本実施例では、図19に示すように、変形領域TAが15個の矩形の小領域に分割される。
【0071】
なお本実施例では、分割点Dの配置は、水平分割線Lhおよび垂直分割線Lvの本数および位置により定まるため、分割点配置パターンテーブル410は水平分割線Lhおよび垂直分割線Lvの本数および位置を定義していると言い換えることも可能である。
【0072】
ステップS940(図17)では、分割領域変形部256(図1)が、変形領域TAを対象とした画像の変形処理を行う。分割領域変形部256による変形処理は、ステップS930で変形領域TA内に配置された分割点Dの位置を移動して、小領域を変形することにより行われる。
【0073】
変形処理のための各分割点Dの位置の移動態様(移動方向および移動距離)は、分割点移動テーブル420(図1)により、補正度合いに対応付けて予め定められている。分割領域変形部256は、分割点移動テーブル420を参照し、補正度合いに対応付けられた移動方向および移動距離で、分割点Dの位置を移動する。
【0074】
図20は、分割点移動テーブル420の内容の一例を示す説明図である。また図21は、分割点移動テーブル420に従った分割点Dの位置の移動の一例を示す説明図である。図20には、分割点移動テーブル420により定義された分割点Dの位置の移動態様の内、補正度合い「弱」に対応付けられた移動態様を示している。図20に示すように、分割点移動テーブル420には、各分割点Dについて、基準線RLと直行する方向(H方向)および基準線RLと平行な方向(V方向)に沿った移動量が示されている。なお、本実施例では、分割点移動テーブル420に示された移動量の単位は、対象画像TIの画素ピッチPPである。また、H方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、V方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点D11は、H方向に沿って右側に画素ピッチPPの7倍の距離だけ移動され、V方向に沿って上方に画素ピッチPPの14倍の距離だけ移動される。また、例えば分割点D22は、H方向およびV方向共に移動量がゼロであるため、移動されない。
【0075】
なお、本実施例では、変形領域TAの内外の画像間の境界が不自然とならないように、変形領域TAの外枠上に位置する分割点D(例えば図19に示す分割点D10等)の位置は移動されないものとしている。従って、図20に示した分割点移動テーブル420には、変形領域TAの外枠上に位置する分割点Dについての移動態様は定義されていない。また、分割点移動テーブル420により定義された分割点Dの位置の移動態様の内、補正度合い「強」に対応付けられた移動態様は、図20に示した移動態様と比較して、少なくとも1つの分割点Dについての移動量がより大きく規定されている。また、補正度合い「なし」に対応付けられた移動態様は、すべての分割点Dの移動量がゼロと規定されている。
【0076】
図21では、移動前の分割点Dは白抜きの丸で、移動後の分割点Dや位置の移動の無い分割点Dは黒丸で示されている。また、移動後の分割点Dは分割点D’と呼ばれるものとする。例えば分割点D11の位置は、図21において右上方向に移動され、分割点D’11となる。
【0077】
なお、本実施例では、基準線RLに対して対称な位置関係にある2つの分割点Dの組み合わせ(例えば分割点D11とD41との組み合わせ)のすべてが、分割点Dの移動後も、基準線RLに対して対称な位置関係を維持するように、移動態様が定められている。
【0078】
分割領域変形部256は、変形領域TAを構成する各小領域について、分割点Dの位置移動前の状態における小領域の画像が、分割点Dの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図21において、分割点D11,D21,D22,D12を頂点とする小領域(ハッチングを付して示す小領域)の画像は、分割点D’11,D’21,D22,D’12を頂点とする小領域の画像に変形される。
【0079】
図22は、分割領域変形部256による画像の変形処理方法の概念を示す説明図である。図22では、分割点Dを黒丸で示している。図22では、説明を簡略化するために、4つの小領域について、左側に分割点Dの位置移動前の状態を、右側に分割点Dの位置移動後の状態を、それぞれ示している。図22の例では、中央の分割点Daが分割点Da’の位置に移動され、その他の分割点Dの位置は移動されない。これにより、例えば、分割点Dの移動前の分割点Da,Db,Dc,Ddを頂点とする矩形の小領域(以下「変形前注目小領域BSA」とも呼ぶ)の画像は、分割点Da’,Db,Dc,Ddを頂点とする矩形の小領域(以下「変形後注目小領域ASA」とも呼ぶ)の画像に変形される。
【0080】
本実施例では、矩形の小領域を小領域の重心CGを用いて4つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図22の例では、変形前注目小領域BSAが、変形前注目小領域BSAの重心CGを頂点の1つとする4つの三角形領域に分割される。同様に、変形後注目小領域ASAが、変形後注目小領域ASAの重心CG’を頂点の1つとする4つの三角形領域に分割される。そして、分割点Daの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域BSA中の分割点Da,Ddおよび重心CGを頂点とする三角形領域の画像が、変形後注目小領域ASA中の分割点Da’,Ddおよび重心CG’を頂点とする三角形領域の画像に変形される。
【0081】
図23は、三角形領域における画像の変形処理方法の概念を示す説明図である。図23の例では、点s,t,uを頂点とする三角形領域stuの画像が、点s’,t’,u’を頂点とする三角形領域s’t’u’の画像に変形される。画像の変形は、変形後の三角形領域s’t’u’の画像中のある画素の位置が、変形前の三角形領域stuの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。
【0082】
例えば、図23において、変形後の三角形領域s’t’u’の画像中の注目画素p’の位置は、変形前の三角形領域stuの画像中の位置pに相当するものとする。位置pの算出は、以下のように行う。まず、注目画素p’の位置を、下記の式(1)のようにベクトルs’t’とベクトルs’u’との和で表現するための係数m1およびm2を算出する。
【0083】
【数1】
【0084】
次に、算出された係数m1およびm2を用いて、下記の式(2)により、変形前の三角形領域stuにおけるベクトルstとベクトルsuとの和を算出することにより、位置pが求まる。
【0085】
【数2】
【0086】
変形前の三角形領域stuにおける位置pが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域stuにおける位置pが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置pの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置pにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。
【0087】
変形後の三角形領域s’t’u’の画像中の各画素について上述のように画素値を算出することにより、三角形領域stuの画像から三角形領域s’t’u’の画像への画像変形処理を行うことができる。分割領域変形部256は、図19に示した変形領域TAを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域TAにおける画像変形処理を行う。
【0088】
ここで、本実施例の顔形状補正の態様についてより詳細に説明する。図24は、本実施例における顔形状補正の態様を示す説明図である。図24には、変形領域TAを構成する各小領域の変形態様のイメージを矢印により示している。図24に示すように、本実施例の顔形状補正では、基準線RLと平行な方向(V方向)に関し、水平分割線Lh1上に配置された分割点D(D11,D21,D31,D41)の位置は上方に移動される一方、水平分割線Lh2上に配置された分割点D(D12,D22,D32,D42)の位置は移動されない(図20参照)。従って、水平分割線Lh1と水平分割線Lh2との間に位置する画像は、V方向に関して縮小される。上述したように、水平分割線Lh1は顎の画像より下方に配置され、水平分割線Lh2は目の画像のすぐ下付近に配置されるため、本実施例の顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がV方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。
【0089】
他方、基準線RLと直行する方向(H方向)に関しては、垂直分割線Lv1上に配置された分割点D(D11,D12)の位置は右方向に移動され、垂直分割線Lv4上に配置された分割点D(D41,D42)の位置は左方向に移動される(図20参照)。さらに、垂直分割線Lv2上に配置された2つの分割点Dの内、水平分割線Lh1上に配置された分割点D(D21)の位置は右方向に移動され、垂直分割線Lv3上に配置された2つの分割点Dの内、水平分割線Lh1上に配置された分割点D(D31)の位置は左方向に移動される(図20参照)。従って、垂直分割線Lv1より左側に位置する画像は、H方向に関して右側に拡大され、垂直分割線Lv4より右側に位置する画像は、左側に拡大される。また、垂直分割線Lv1と垂直分割線Lv2との間に位置する画像は、H方向に関して縮小または右側に移動され、垂直分割線Lv3と垂直分割線Lv4との間に位置する画像は、H方向に関して縮小または左側に移動される。さらに、垂直分割線Lv2と垂直分割線Lv3との間に位置する画像は、水平分割線Lh1の位置を中心にH方向に関して縮小される。
【0090】
上述したように、垂直分割線Lv1およびLv4は、頬のラインの画像の外側に配置され、垂直分割線Lv2およびLv3は、目尻の画像の外側に配置される。そのため、本実施例の顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にH方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。
【0091】
上述したH方向およびV方向の変形態様を総合すると、本実施例の顔形状補正により、画像中の顔の形状が小さくなる。
【0092】
なお、図24に示す分割点D22,D32,D33,D23を頂点とする小領域(ハッチングを付した領域)は、上述した水平分割線Lh2や垂直分割線Lv2およびLv3の配置方法によると、両目の画像を含む領域となる。図20に示すように、分割点D22およびD32はH方向にもV方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように本実施例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。
【0093】
B.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【0094】
B1.変形例1:
図25は、変形例1におけるフェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。図10に示した実施例との違いは、変形例1では表示画像DI上に参照枠RFが表示されず、代わりに、変形領域TAに対応した領域を示す変形領域枠TAFが表示される点である。変形例1では、表示画像DI上に変形領域枠TAFが表示されるため、ユーザは、トリミング枠TFを変形領域枠TAFを包含するように指定することにより、トリミング枠TFに対応した対象画像TI上の領域として設定されるフェイスシートFS用の印刷領域を、変形領域TAを包含する領域として設定することが可能となる。そのため、フェイスシートFS用の印刷領域に対応した画像(フェイスシート用画像FI)は、顔を小さくする補正の際に必要となる画像の領域をすべて有する画像となる。従って、変形例1においても、顔の画像の変形に支障のないように画像の領域を指定することができる。
【0095】
なお、変形例1において、変形領域TAに対応した領域は本発明における第2の領域に相当する。また、印刷領域の設定のためのユーザインターフェース(図16参照)においても、図25に示した変形例と同様に、表示画像DI上に参照枠RFの代わりに変形領域枠TAFが表示されるとしてもよい。
【0096】
B2.変形例2:
図26は、変形例2におけるフェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。図10に示した実施例との違いは、変形例2では表示画像DI上に、さらに、顔領域FAに対応した領域を示す顔領域枠FAFが表示される点である。また、変形例2では、参照枠RFとトリミング枠TFとの関係が上記実施例とは異なっている。すなわち、参照枠RFは、参照枠RFがその内側に顔領域枠FAFを包含するように設定されると、トリミング枠TFがその内側に変形領域TAに対応した表示画像DI上の領域を包含することとなるように、トリミング枠TFとの関係が設定されている。そのため、ユーザは、参照枠RFを参照して、参照枠RFが顔領域枠FAFを包含することとなるようにトリミング枠TFを指定することにより、トリミング枠TFに対応した対象画像TI上の領域として設定されるフェイスシートFS用の印刷領域を、変形領域TAを包含する領域として設定することが可能となる。そのため、フェイスシートFS用の印刷領域に対応した画像(フェイスシート用画像FI)は、顔を小さくする補正の際に必要となる画像の領域をすべて有する画像となる。従って、変形例2においても、顔の画像の変形に支障のないように画像の領域を指定することができる。
【0097】
なお、変形例2において、顔領域FAに対応した領域は本発明における第4の領域に相当し、参照枠RFにより規定される領域は本発明における第5の領域に相当する。また、印刷領域の設定のためのユーザインターフェース(図16参照)においても、図26に示した変形例と同様に、表示画像DI上に顔領域枠FAFが表示されるとしてもよい。
【0098】
B3.変形例3:
上記実施例では、画像の補正(顔を小さくする補正および肌をきれいにする補正)と補正後の画像の印刷とを行う印刷処理を例に用いて説明したが、本発明は、表示画像において指定された領域に対応した画像を対象に特定種類の被写体の画像を変形する変形処理一般に適用可能である。例えば、本発明は、パーソナルコンピュータによる顔を小さくする補正のみが行われる補正処理や顔以外の被写体(建築物等)を変形する補正処理にも適用可能である。
【0099】
B4.変形例4:
上記実施例では、フェイスシートFS用の印刷領域の設定のためのユーザインターフェース(図10)と、印刷領域の設定のためのユーザインターフェース(図16)と、の両方において、表示画像DI上に参照枠RFが表示されるとしているが、どちらか一方においてのみ参照枠RFが表示されるとしてもよい。
【0100】
B5.変形例5:
上記実施例における顔領域FA、変形領域TAの設定方法はあくまで一例であり、これらの領域を他の方法により設定することも可能である。例えば、顔領域FAは、必ずしも対象画像TIの画像解析による顔の画像を含むと思われる領域検出を介して設定される必要はなく、ユーザによる位置の指定に基づき顔領域FAが設定されるとしてもよい。また、変形領域TAは、その位置および大きさが、顔の画像の位置および大きさと所定の関係にある領域として設定されれば、上記実施例とは異なる領域として設定されてもよい。また、顔領域FA、変形領域TAは矩形の領域である必要はなく、矩形以外の多角形形状や円形形状の領域であってもよい。
【0101】
B6.変形例6:
上記実施例における変形処理の方法はあくまで一例であり、これらの処理を他の方法により実行することも可能である。
【0102】
B7.変形例7:
上記実施例では、画像処理装置としてのプリンタ100による印刷処理(図2)を説明したが、印刷処理の一部がパーソナルコンピュータにより実行されるものとしてもよい。また、プリンタ100はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。
【0103】
B8.変形例8:
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【0104】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【0105】
【図1】本発明の実施例における画像処理装置としてのプリンタ100の構成を概略的に示す説明図である。
【図2】ナチュラルフェイスモードでの印刷処理の流れを示すフローチャートである。
【図3】対象画像TIの設定のためのユーザインターフェースの一例を示す説明図である。
【図4】顔領域FAの設定結果の一例を示す説明図である。
【図5】補正度合いの設定の処理の流れを示すフローチャートである。
【図6】補正度合いの設定方法の選択のためのユーザインターフェースの一例を示す説明図である。
【図7】マニュアル設定による補正度合いの選択・設定のためのユーザインターフェースの一例を示す説明図である。
【図8】対象画像TIと補正度合いとの表示の一例を示す説明図である。
【図9】フェイスシートFSの一例を示す説明図である。
【図10】フェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。
【図11】トリミング枠TFと参照枠RFとの関係を示す説明図である。
【図12】決定されたトリミング枠TFの一例を示す説明図である。
【図13】ガイド表示の一例を示す説明図である。
【図14】フェイスシートFSを用いた補正度合いの設定のためのユーザインターフェースの一例を示す説明図である。
【図15】対象画像TIと選択された画像番号との表示の一例を示す説明図である。
【図16】印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。
【図17】本実施例のプリンタ100による顔形状補正の流れを示すフローチャートである。
【図18】変形領域TAの設定方法の一例を示す説明図である。
【図19】変形領域TAの小領域への分割方法の一例を示す説明図である。
【図20】分割点移動テーブル420の内容の一例を示す説明図である。
【図21】分割点移動テーブル420に従った分割点Dの位置の移動の一例を示す説明図である。
【図22】分割領域変形部256による画像の変形処理方法の概念を示す説明図である。
【図23】三角形領域における画像の変形処理方法の概念を示す説明図である。
【図24】本実施例における顔形状補正の態様を示す説明図である。
【図25】変形例1におけるフェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。
【図26】変形例2におけるフェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。
【符号の説明】
【0106】
100…プリンタ
110…CPU
120…内部メモリ
140…操作部
150…表示部
160…プリンタエンジン
170…カードインターフェース
172…カードスロット
200…補正印刷部
210…顔領域設定部
220…補正度合設定部
230…印刷領域設定部
232…参照表示部
250…補正処理部
252…変形領域設定部
254…変形領域分割部
256…分割領域変形部
258…肌色補正部
310…表示処理部
320…印刷処理部
410…分割点配置パターンテーブル
420…分割点移動テーブル
430…肌色補正量テーブル
【技術分野】
【0001】
本発明は、画像において領域を指定する技術に関する。
【背景技術】
【0002】
デジタル画像を対象に、画像を変形するための画像処理技術が知られている(例えば特許文献1)。特許文献1には、顔の画像上の一部の領域(頬の画像を表す領域)を補正領域として設定し、補正領域を所定のパターンに従い複数の小領域に分割し、小領域毎に設定された倍率で画像を拡大または縮小することにより、顔の画像の形状を変形する画像処理が開示されている。
【0003】
【特許文献1】特開2004−318204
【0004】
他方、画像の一部の領域を指定し、指定された領域以外の領域を切り落とす処理(いわゆるトリミング処理)や、指定された領域のみを拡大して表示・印刷する処理等が広く行われている。
【発明の開示】
【発明が解決しようとする課題】
【0005】
上述した顔の画像の形状を変形する処理の際には、処理結果を自然なものとするために、顔の画像の領域だけでなく、顔の画像の周囲の領域も使用される場合がある。そのため、画像中の指定された領域に対応した画像を対象として顔の画像の形状を変形する処理を行う場合に、指定された領域に顔の画像の周囲の領域が含まれていないと、変形処理が実行できなくなる場合があった。
【0006】
なお、このような問題は、顔の画像を変形する処理を行う場合に限らず、画像の領域を指定し、指定された領域に対応した画像を対象として特定種類の被写体の画像を変形する処理を行う場合に共通する問題であった。
【0007】
本発明は、上記の課題を解決するためになされたものであり、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【0009】
[適用例1]画像処理装置であって、
画像を表示する画像表示部と、
ユーザによる表示画像中の第1の領域の指定を受領する領域指定受領部と、
前記第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域の変形を行う変形処理部と、
ユーザに、前記第1の領域として、前記変形領域に対応した前記表示画像中の第2の領域を包含する領域を指定させるために、前記表示画像上に所定の参照表示を行う参照表示部と、を備える、画像処理装置。
【0010】
この画像処理装置では、表示画像上に所定の参照表示が行われるため、ユーザは、第1の領域として、特定種類の被写体の画像を変形するための変形が行われる変形領域に対応した表示画像中の第2の領域を包含する領域を指定することができる。そのため、この画像処理装置では、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0011】
[適用例2]適用例1に記載の画像処理装置であって、
前記参照表示は、第3の領域を前記特定種類の被写体の画像を含むように設定すると前記第1の領域が前記第2の領域を包含する領域となるように前記第1の領域との関係が予め設定された前記第3の領域を示す表示を含む、画像処理装置。
【0012】
この画像処理装置では、ユーザが第3の領域を示す表示を参照しつつ、第3の領域が特定種類の被写体の画像を含むこととなるように第1の領域を指定すれば、第1の領域は第2の領域を包含する領域となる。そのため、この画像処理装置では、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0013】
[適用例3]適用例1に記載の画像処理装置であって、
前記参照表示は、前記第2の領域を示す表示を含む、画像処理装置。
【0014】
この画像処理装置では、ユーザが、第2の領域を示す表示を参照しつつ、第2の領域を包含するように第1の領域を指定することができる。そのため、この画像処理装置では、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0015】
[適用例4]適用例1に記載の画像処理装置であって、さらに、
画像における前記特定種類の被写体の画像の領域を設定する被写体領域設定部を備え、
前記参照表示は、設定された前記特定種類の被写体の画像の領域に対応した第4の領域を示す表示と、第5の領域を前記第4の領域を包含するように設定すると前記第1の領域が前記第2の領域を包含する領域となるように前記第1の領域との関係が予め設定された前記第5の領域を示す表示と、を含む、画像処理装置。
【0016】
この画像処理装置では、ユーザが第5の領域を示す表示を参照しつつ、第5の領域が第4の領域を包含することとなるように第1の領域を指定すれば、第1の領域は第2の領域を包含する領域となる。そのため、この画像処理装置では、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0017】
[適用例5]適用例1ないし適用例4のいずれかに記載の画像処理装置であって、
前記変形領域は、位置および大きさが、前記特定種類の被写体の画像の位置および大きさと所定の関係にある領域である、画像処理装置。
【0018】
この画像処理装置では、位置および大きさが、特定種類の被写体の画像の位置および大きさと所定の関係にある変形領域において変形が行われる場合に、特定種類の被写体の画像の変形に支障のないように画像の領域を指定することができる。
【0019】
[適用例6]適用例1ないし適用例5のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、人物の顔である、画像処理装置。
【0020】
この画像処理装置では、人物の顔の画像の変形に支障のないように画像の領域を指定することができる。
【0021】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、画像変形方法および装置、画像表示方法および装置、画像領域指定方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【0022】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.実施例:
A−1.画像処理装置の構成:
A−2.印刷処理:
A−3.顔形状補正処理:
B.変形例:
【0023】
A.実施例:
A−1.画像処理装置の構成:
図1は、本発明の実施例における画像処理装置としてのプリンタ100の構成を概略的に示す説明図である。本実施例のプリンタ100は、メモリカードMC等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ100は、プリンタ100の各部を制御するCPU110と、例えばROMやRAMによって構成された内部メモリ120と、ボタンやタッチパネルにより構成された操作部140と、液晶ディスプレイにより構成された表示部150と、プリンタエンジン160と、カードインターフェース(カードI/F)170と、を備えている。プリンタ100は、さらに、他の機器(例えばデジタルスチルカメラやパーソナルコンピュータ)とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ100の各構成要素は、バスを介して互いに接続されている。
【0024】
プリンタエンジン160は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース170は、カードスロット172に挿入されたメモリカードMCとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードMCにRGBデータとしての画像データを含む画像ファイルが格納されている。この画像ファイルは、例えばデジタルスチルカメラ等の撮像装置によりExif(Exchangeable Image File Format)規格に則って生成されたファイルであり、撮像により生成されたJPEG形式の画像データの他に、撮像時の絞り・シャッタースピード・レンズの焦点距離等の付加データを含んでいる。
【0025】
内部メモリ120には、補正印刷部200と、表示処理部310と、印刷処理部320とが格納されている。補正印刷部200は、所定のオペレーティングシステムの下で、後述するナチュラルフェイスモードでの印刷処理を実行するためのコンピュータプログラムである。表示処理部310は、表示部150を制御して、表示部150上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部320は、画像データから印刷データを生成し、プリンタエンジン160を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。CPU110は、内部メモリ120から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。
【0026】
補正印刷部200は、プログラムモジュールとして、顔領域設定部210と、補正度合設定部220と、印刷領域設定部230と、補正処理部250と、を含んでいる。また、印刷領域設定部230は、参照表示部232を含んでいる。補正処理部250は、変形領域設定部252と、変形領域分割部254と、分割領域変形部256と、肌色補正部258と、を含んでいる。これらの各部の機能については、後述の印刷処理の説明において詳述する。
【0027】
内部メモリ120には、また、分割点配置パターンテーブル410と分割点移動テーブル420と、肌色補正量テーブル430と、が格納されている。これらの内容についても、後述の印刷処理の説明において詳述する。
【0028】
A−2.印刷処理:
プリンタ100は、画像中の顔の画像の部分の補正と補正された画像の印刷とを行うナチュラルフェイスモードでの印刷処理を実行することができる。ナチュラルフェイスモードにおいては、顔の画像の部分の補正として、顔を小さくする補正(「小顔補正」とも呼ぶ)と、肌をきれいにする補正(「美白補正」とも呼ぶ)と、が実行可能となっている。顔を小さくする補正は、一般に実物の顔よりも幅が広いという印象を受けやすい顔の画像を、実物の顔の印象に近づけるように、顔の画像を変形する補正である。肌をきれいにする補正は、実物の肌の色とは異なる印象を受けやすい顔の肌色部分の画像を、実物の肌の色の印象に近づけるように、顔の肌色部分の画像の色を調整する補正である。
【0029】
図2は、ナチュラルフェイスモードでの印刷処理の流れを示すフローチャートである。カードスロット172(図1)にメモリカードMCが挿入され、ユーザによる操作部140を介した所定の操作が行われると、ナチュラルフェイスモードでの印刷処理が開始される。
【0030】
ステップS100(図2)では、補正印刷部200(図1)が、印刷処理の対象となる対象画像TIを設定する。補正印刷部200は、対象画像TIの設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図3は、対象画像TIの設定のためのユーザインターフェースの一例を示す説明図である。図3に示したユーザインターフェースにおいて、メモリカードMCに格納された画像が、画像表示欄IAに表示される。メモリカードMCに複数の画像が格納されている場合には、ユーザによる操作部140を介した操作に応じて、画像表示欄IAに表示される画像が順次切り替えられる。また、プリンタ100は、メモリカードMCに格納された複数の画像の一覧表示が可能であるとしてもよい。補正印刷部200は、図3に示したユーザインターフェースにおいてユーザにより選択された画像を対象画像TIとして設定する。
【0031】
ステップS200(図2)では、顔領域設定部210(図1)が、対象画像TIにおける顔領域FAの設定を行う。ここで、顔領域FAは、対象画像TIにおける画像領域であって、少なくとも顔の一部の画像を含む領域である。顔領域設定部210は、対象画像TIを解析して顔の画像を含むと想定される領域を検出し、当該領域を顔領域FAとして設定する。顔領域設定部210による顔の画像を含むと想定される領域の検出は、例えばテンプレートを利用したパターンマッチングによる方法(特開2006−279460参照)といった公知の検出方法を用いて実行される。このようなテンプレートを利用したパターンマッチングによる方法は、一般に、顔の器官(目、眉、鼻、口等)の画像の位置に基づいて、対象画像TI中から顔の画像が概ね含まれると考えられる領域を検出するものである。
【0032】
図4は、顔領域FAの設定結果の一例を示す説明図である。本実施例では、顔領域FAは、図4に示すように、両目と鼻と口の画像を含む矩形の領域となっている。なお、顔領域設定部210は、設定された顔領域FAを、例えば顔領域FAの4つの頂点の座標により特定する。
【0033】
ステップS200(図2)において、顔の画像を含むと想定される領域が検出されず、顔領域FAの設定に成功しなかった場合には(ステップS300:No)、その旨が表示部150を通じてユーザに通知される。この場合には、顔の画像の補正を行うナチュラルフェイスモードでの印刷処理が実行できないため、ユーザに他の画像を対象画像TIとして選択させるために、対象画像TIの選択のためのユーザインターフェース(図3)が表示部150に再度表示される(ステップS100)。
【0034】
一方、ステップS200(図2)において、顔の画像を含むと想定される領域が検出され、顔領域FAの設定に成功した場合には(ステップS300:Yes)、ナチュラルフェイスモードでの印刷処理が実行可能となる。ステップS400では、補正度合設定部220(図1)が、補正度合いの設定を行う。ここで、補正度合いとは、ナチュラルフェイスモードでの印刷処理において、画像に施す補正(顔を小さくする補正および肌をきれいにする補正)の度合い(程度)である。
【0035】
図5は、補正度合いの設定の処理の流れを示すフローチャートである。ステップS410では、補正度合設定部220が、補正度合いの設定方法を選択する。補正度合設定部220は、補正度合いの設定方法の選択のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図6は、補正度合いの設定方法の選択のためのユーザインターフェースの一例を示す説明図である。本実施例では、補正度合いの設定方法として、マニュアル設定と、フェイスシートFSを利用した設定と、の2通りの設定方法が用意されている。マニュアル設定は、顔を小さくする補正と肌をきれいにする補正とのそれぞれについて、ユーザが直接指定した補正度合いを、処理に使用する補正度合いとして採用する設定方法である。フェイスシートFSを利用した設定は、顔を小さくする補正と肌をきれいにする補正とのそれぞれの補正度合いを変化させて補正を行った複数の画像を1枚のシート(フェイスシートFS)上に並べて印刷し、当該複数の画像の中からユーザが選択した1つの画像に対応した補正度合いを、処理に使用する補正度合いとして採用する設定方法である。補正度合設定部220は、図6に示したユーザインターフェースにおけるユーザの選択に従い、補正度合いの設定方法を選択する。
【0036】
図5のステップS410においてマニュアル設定が選択された場合には(ステップS420:Yes)、補正度合設定部220が、マニュアル設定による補正度合いの選択・設定を行う(ステップS430)。補正度合設定部220は、マニュアル設定による補正度合いの選択・設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図7は、マニュアル設定による補正度合いの選択・設定のためのユーザインターフェースの一例を示す説明図である。本実施例では、顔を小さくする補正と肌をきれいにする補正とのそれぞれについて、補正の度合いとして、「なし(補正しない)」、「弱」、「強」の3段階の選択肢が予め設定されている。補正度合設定部220は、図7に示したユーザインターフェースにおけるユーザの選択に従い、顔を小さくする補正と肌をきれいにする補正とのそれぞれについての補正度合いを設定する。その後、補正度合設定部220は、設定された補正度合いを対象画像TIと共に表示部150に表示するよう表示処理部310に指示する。図8は、対象画像TIと補正度合いとの表示の一例を示す説明図である。図8の例では、対象画像表示欄TIAに対象画像TIが表示され、また、顔を小さくする補正および肌をきれいにする補正について設定された補正度合いが表示されている。
【0037】
一方、図5のステップS410においてフェイスシートFSを利用した設定が選択された場合には(ステップS420:No)、フェイスシートFSを利用した補正度合いの選択・設定が行われる。図9はフェイスシートFSの一例を示す説明図である。図9に示すように、フェイスシートFSには、顔を小さくする補正についての補正度合い3段階(「なし」、「弱」、「強」)と肌をきれいにする補正についての補正度合い3段階(同)との組み合わせに対応した9個の画像が印刷される。フェイスシートFSにおいて、各画像には番号が付されている。例えば、図9に示したフェイスシートFSの1番の画像は、顔を小さくする補正も肌をきれいにする補正も行われていない画像である。また、5番の画像は、程度「弱」の顔を小さくする補正と程度「弱」の肌をきれいにする補正とが行われた画像である。
【0038】
まず、ステップS440(図5)において、印刷領域設定部230(図1)が、対象画像TIにおけるフェイスシートFS用の印刷領域の設定を行う(ステップS440)。本実施例では、フェイスシートFSにおいて各画像間の比較を容易にするため、なるべく顔の画像が大きく印刷されるようにフェイスシートFS用の印刷領域の設定が行われる。ここで設定されたフェイスシートFS用の印刷領域を対象に、後に説明するフェイスシート用画像FIの取得・補正・印刷が行われることとなる。ただし、ここで設定された印刷領域は、あくまでフェイスシートFS上に印刷される画像の領域を規定するものであり、最終的な画像の印刷(図2のステップS700)における印刷領域を規定するものではない。
【0039】
印刷領域設定部230は、フェイスシートFS用の印刷領域の設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図10は、フェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。図10に示したユーザインターフェースには、対象画像表示欄TIAに対象画像TIが表示されている。より詳細には、対象画像表示欄TIAに表示される画像は、メモリカードMCに格納された画像ファイルに含まれるJPEG形式の画像データがデコードされ、さらに表示部150上の対象画像表示欄TIAの解像度に応じて縮小(または拡大)された画像(以下「表示画像DI」とも呼ぶ)である。
【0040】
図10に示したユーザインターフェースにおいて、表示画像DI上には、トリミング枠TFが表示されている。トリミング枠TFは、表示画像DIにおけるフェイスシートFS用の印刷領域に対応する領域を規定する。トリミング枠TFは、ユーザによる操作部140を介した操作に応じて拡大・縮小・移動・回転が可能となっており、最終的にユーザにより決定されたトリミング枠TFに対応した対象画像TI上の領域が、フェイスシートFS用の印刷領域として設定される。
【0041】
図10に示したユーザインターフェースにおいて、表示画像DI上には、さらに参照枠RFが表示されている。参照枠RFは、参照表示部232(図1)が表示処理部310に指示することにより表示される。参照枠RFは、その位置および大きさが、トリミング枠TFの位置および大きさと所定の関係になるように予め設定された枠であり、トリミング枠TFの拡大・縮小・移動・回転に応じて、上記所定の関係を保ちつつ拡大・縮小・移動・回転される。
【0042】
ここで、トリミング枠TFと参照枠RFとの関係について説明する。図11は、トリミング枠TFと参照枠RFとの関係を示す説明図である。図11には、顔領域FAと、顔を小さくする補正において変形が行われる領域である変形領域TAとが示されている。変形領域TAは、後に詳述するが、顔領域FAを上下左右にそれぞれ所定の倍率で拡大した領域である。変形領域TAは、顔の画像の他に顔の周囲の画像も含む領域となっている。
【0043】
変形領域TAは顔を小さくする補正において変形が行われる領域であるため、フェイスシートFS用の印刷領域が変形領域TAの一部または全部を含まないように設定されると、後に顔を小さくする補正の実行が不可能となる。そのため、フェイスシートFS用の印刷領域は、変形領域TAを包含する領域として設定される必要がある。すなわち、表示画像DI上において、図11に示すように、トリミング枠TFは、その内側に変形領域TAに対応した領域を包含するように指定される必要がある。
【0044】
トリミング枠TFと参照枠RFとの位置および大きさの関係は、参照枠RFがその内側に顔の画像が概ね含まれるように設定されると、トリミング枠TFがその内側に変形領域TAに対応した表示画像DI上の領域を包含することとなるように、予め設定されている。従って、ユーザは、参照枠RFの内側に顔の画像が概ね含まれることとなるようなトリミング枠TFを指定すれば、トリミング枠TFに対応した対象画像TI上の領域として設定されるフェイスシートFS用の印刷領域は、変形領域TAを包含する領域となる。
【0045】
ユーザは、参照枠RFを参照しつつトリミング枠TFの拡大・縮小・移動・回転を行って、参照枠RFの内側に顔の画像が概ね含まれるようにトリミング枠TFの位置や大きさを決定する。図12は、決定されたトリミング枠TFの一例を示す説明図である。印刷領域設定部230は、決定されたトリミング枠TFに対応した対象画像TI上の領域をフェイスシートFS用の印刷領域として設定する。
【0046】
なお、表示画像DI上のトリミング枠TF内の領域は本発明における第1の領域に相当し、表示画像DI上の変形領域TAに対応した領域は本発明における第2の領域に相当する。また、参照枠RFは本発明における参照表示に相当し、参照枠RF内の領域は本発明における第3の領域に相当する。また、トリミング枠TFの決定の指示を受領する印刷領域設定部230は、本発明における領域指定受領部として機能する。
【0047】
なお、上述したようなトリミング枠TFの決定の際に、ユーザに対する所定のガイド表示が行われるとしてもよい。図13は、ガイド表示の一例を示す説明図である。図13に示すように、ガイド表示においては、顔の画像を含むサンプル画像SIが表示され、サンプル画像SI上にトリミング枠TFおよび参照枠RFが表示される。このとき、参照枠RFは、参照枠RFの内側にサンプル画像SI内の顔の画像が概ね含まれるような位置および大きさとなっている。このような、ガイド表示を行うことにより、ユーザに、フェイスシートFS用の印刷領域が変形領域TAを包含する領域となるようなトリミング枠TFの指定を促すことができる。
【0048】
ステップS450(図5)では、補正印刷部200(図1)が、設定されたフェイスシートFS用の印刷領域の画像(以下「フェイスシート用画像FI」とも呼ぶ)を対象に画像の補正を行い、補正後の画像を用いてフェイスシートFSの印刷を行う。まず補正処理部250が、フェイスシート用画像FIに対して、顔を小さくする補正および肌をきれいにする補正を行う。このとき、補正処理部250は、顔を小さくする補正についての補正度合い3段階(「なし」、「弱」、「強」)と肌をきれいにする補正についての補正度合い3段階(同)との組み合わせに対応した9つの態様で補正を行い、9個の補正画像を生成する。なお、このとき補正処理部250は、本発明における変形処理部として機能する。
【0049】
なお、肌をきれいにする補正は、フェイスシート用画像FIにおける肌色の領域を設定し、設定された領域の色を、肌色補正量テーブル430(図1)において補正度合いに応じて規定された補正量で調整することにより行われる。また、顔を小さくする補正は、フェイスシート用画像FIにおける変形領域TA(図11参照)を複数の領域に分割し、分割点移動テーブル420(図1)において補正度合いに応じて規定された変形量で各分割領域の形状を変形することにより行われる。顔を小さくする補正(以下「顔形状補正」とも呼ぶ)については、後の「A−3.顔形状補正処理」において詳述する。
【0050】
補正印刷部200は、フェイスシート用画像FIの補正によって生成された9個の補正画像を用いたフェイスシートFS(図9参照)の印刷を印刷処理部320(図1)に指示する。これによりフェイスシートFSが印刷される。
【0051】
ステップS460(図5)では、補正度合設定部220が、フェイスシートFSにおける画像番号の選択による補正度合いの設定を行う。補正度合設定部220は、フェイスシートFSを用いた補正度合いの設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図14は、フェイスシートFSを用いた補正度合いの設定のためのユーザインターフェースの一例を示す説明図である。このユーザインターフェースには、フェイスシートFSにおける画像番号選択欄が含まれている。ユーザは、フェイスシートFSに印刷された9個の画像(図9参照)の中から、補正結果が最も希望に近い画像を選択し、その画像番号を図14に示したユーザインターフェースにおいて入力する。補正度合設定部220は、ユーザに選択された画像に対応した補正度合いを、使用する補正度合いとして設定する。例えば、ユーザにより5番の画像が選択された場合には、5番の画像に対応した補正度合いである、顔を小さくする補正と肌をきれいにする補正との両方について「弱」の補正度合いが設定される。その後、補正度合設定部220は、選択された画像番号を対象画像TIと共に表示部150に表示するよう表示処理部310に指示する。図15は、対象画像TIと選択された画像番号との表示の一例を示す説明図である。図15の例では、対象画像表示欄TIAに対象画像TIが表示されると共に、選択された画像番号が表示されている。
【0052】
以上の処理により、補正度合いの設定(図2のステップS400)が行われる。次に、補正印刷部200(図1)は、操作部140を介してユーザから拡大印刷の指示がなされたか否かを判定する(ステップS500)。ここで、拡大印刷は、対象画像TI中の一部の領域を拡大して印刷を行うことを意味する。
【0053】
ステップS500において拡大印刷の指示がなされたと判定された場合には(ステップS500:Yes)、印刷領域設定部230(図1)が、印刷領域の設定を行う(ステップS600)。印刷領域の設定は、フェイスシートFS用の印刷領域の設定(図5のステップS440)と同様に行われる。すなわち、印刷領域設定部230は、まず、印刷領域の設定のための所定のユーザインターフェースを表示部150に表示するよう表示処理部310に指示する。図16は、印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。図16に示したユーザインターフェースには、フェイスシートFS用の印刷領域の設定のためのユーザインターフェース(図10)と同様に、対象画像表示欄TIAに表示画像DIが表示され、表示画像DI上にトリミング枠TFと参照枠RFとが表示されている。ユーザは、参照枠RFを参照しつつ、参照枠RFの内側に顔の画像が概ね含まれる範囲で、トリミング枠TFの位置や大きさを決定する。印刷領域設定部230は、決定されたトリミング枠TFに対応した対象画像TI上の領域を印刷領域として設定する。このように印刷領域が設定されると、トリミング枠TFに対応した対象画像TI上の領域として設定される印刷領域は、変形領域TAを包含する領域となる。
【0054】
一方、ステップS500において拡大印刷の指示がなされなかったと判定された場合には(ステップS500:No)、自動的に、対象画像TIの全体が印刷領域となる。
【0055】
ステップS700(図2)では、補正印刷部200(図1)が、印刷領域の画像(以下「印刷用画像PI」とも呼ぶ)を対象として画像の補正を行い、補正後の画像を用いて印刷を行う。このとき、補正処理部250による補正(顔を小さくする補正および肌をきれいにする補正)は、ステップS400において設定された度合いで実行される。これにより、設定された補正度合いで顔を小さくする補正および肌をきれいにする補正がなされた画像が印刷される。なお、このとき補正処理部250は、本発明における変形処理部として機能する。
【0056】
以上説明したように、本実施例のプリンタ100では、フェイスシートFS用の印刷領域の設定の際(図5のステップS440)に、表示画像DI上にトリミング枠TFと参照枠RFとが表示される。トリミング枠TFと参照枠RFとの関係は、参照枠RFがその内側に顔の画像が概ね含まれるように設定されると、トリミング枠TFがその内側に変形領域TAに対応した表示画像DI上の領域を包含することとなる関係となっている。そのため、ユーザが、参照枠RFの内側に顔の画像が概ね含まれることとなるようなトリミング枠TFを指定すれば、トリミング枠TFに対応した対象画像TI上の領域として設定されるフェイスシートFS用の印刷領域は、変形領域TAを包含する領域となる。従って、フェイスシートFS用の印刷領域に対応した画像(フェイスシート用画像FI)は、顔を小さくする補正(図5のステップS450)の際に必要となる画像の領域をすべて有する画像となる。このように、本実施例のプリンタ100では、顔の画像の変形に支障のないように画像の領域を指定することができる。
【0057】
同様に、本実施例のプリンタ100では、印刷領域の設定の際(図2のステップS600)にも、表示画像DI上にトリミング枠TFと参照枠RFとが表示されるため、印刷領域に対応した画像(印刷用画像PI)も、顔を小さくする補正(図2のステップS700)の際に必要となる画像の領域をすべて有する画像となる。
【0058】
A−3.顔形状補正処理:
図17は、本実施例のプリンタ100による顔形状補正の流れを示すフローチャートである。顔形状補正(顔を小さくする補正)は、図2のステップS700や図5のステップS450において実行される補正の1つであり、印刷用画像PIやフェイスシート用画像FIを対象として、画像中の顔の輪郭形状を補正する処理である。以下、顔形状補正の対象画像がフェイスシート用画像FIであるとして説明する。
【0059】
ステップS910(図17)では、顔領域設定部210(図1)が、フェイスシート用画像FIにおける顔領域FAを設定する。ステップS910における顔領域FAの設定は、図2のステップS200における顔領域FAの設定と同様に行われる。なお、ステップS910では、新たに顔領域FAの検出を行うことなく、ステップS200における顔領域FAの設定結果を利用して顔領域FAを設定するとしてもよい。
【0060】
ステップS920(図17)では、変形領域設定部252(図1)が、フェイスシート用画像FIにおける変形領域TAを設定する。変形領域TAは、顔形状補正のための画像変形処理の対象となる領域である。図18は、変形領域TAの設定方法の一例を示す説明図である。図18には、人物の顔の画像と設定された顔領域FAとが示されている。図18に示した基準線RLは、顔領域FAの高さ方向(上下方向)を定義すると共に、顔領域FAの幅方向(左右方向)の中心を示す線である。すなわち、基準線RLは、矩形の顔領域FAの重心を通り、顔領域FAの高さ方向(上下方向)に沿った境界線に平行な直線である。
【0061】
図18に示すように、本実施例では、変形領域TAは、顔領域FAを基準線RLと平行な方向(高さ方向)および基準線RLに直行する方向(幅方向)に伸張(または短縮)した領域として設定される。具体的には、顔領域FAの高さ方向の大きさをHf、幅方向の大きさをWfとすると、顔領域FAを、上方向にk1・Hf、下方向にk2・Hfだけ伸ばすと共に、左右にそれぞれk3・Wfだけ伸ばした領域が、変形領域TAとして設定される。なお、k1,k2,k3は、所定の係数である。
【0062】
このように変形領域TAが設定されると、顔領域FAの高さ方向の輪郭線に平行な直線である基準線RLは、変形領域TAの高さ方向の輪郭線にも平行な直線となる。また、基準線RLは、変形領域TAの幅を半分に分割する直線となる。
【0063】
図18に示すように、変形領域TAは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域TAが概ねそのような範囲の画像を含む領域となるように、顔領域FAの大きさとの関係に基づき、上述の係数k1,k2,k3が予め設定されている。
【0064】
ステップS930(図17)では、変形領域分割部254(図1)が、変形領域TAを複数の小領域に分割する。図19は、変形領域TAの小領域への分割方法の一例を示す説明図である。変形領域分割部254は、変形領域TAに複数の分割点Dを配置し、分割点Dを結ぶ直線を用いて変形領域TAを複数の小領域に分割する。
【0065】
分割点Dの配置の態様(分割点Dの個数および位置)は、分割点配置パターンテーブル410(図1)により定義されている。変形領域分割部254は、分割点配置パターンテーブル410を参照して変形領域TAに分割点Dを配置する。
【0066】
図19に示すように、分割点Dは、水平分割線Lhと垂直分割線Lvとの交点と、水平分割線Lhおよび垂直分割線Lvと変形領域TAの外枠との交点とに配置される。ここで、水平分割線Lhおよび垂直分割線Lvは、変形領域TA内に分割点Dを配置するための基準となる線である。図19に示すように、分割点Dの配置では、基準線RLと直行する2本の水平分割線Lhと、基準線RLに平行な4本の垂直分割線Lvとが設定される。2本の水平分割線Lhを、変形領域TAの下方から順に、Lh1,Lh2と呼ぶ。また、4本の垂直分割線Lvを、変形領域TAの左から順に、Lv1,Lv2,Lv3,Lv4と呼ぶ。
【0067】
水平分割線Lh1は、変形領域TAにおいて、顎の画像より下方に配置され、水平分割線Lh2は、目の画像のすぐ下付近に配置される。また、垂直分割線Lv1およびLv4は、頬のラインの画像の外側に配置され、垂直分割線Lv2およびLv3は、目尻の画像の外側に配置される。なお、水平分割線Lhおよび垂直分割線Lvの配置は、水平分割線Lhおよび垂直分割線Lvと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域TAの大きさとの対応関係に従い実行される。
【0068】
上述した水平分割線Lhと垂直分割線Lvとの配置に従い、水平分割線Lhと垂直分割線Lvとの交点と、水平分割線Lhおよび垂直分割線Lvと変形領域TAの外枠との交点とに、分割点Dが配置される。図19に示すように、水平分割線Lhi(i=1または2)上に位置する分割点Dを、左から順に、D0i,D1i,D2i,D3i,D4i,D5iと呼ぶものとする。例えば、水平分割線Lh1上に位置する分割点Dは、D01,D11,D21,D31,D41,D51と呼ばれる。同様に、垂直分割線Lvj(j=1,2,3,4のいずれか)上に位置する分割点Dを、下から順に、Dj0,Dj1,Dj2,Dj3と呼ぶものとする。例えば、垂直分割線Lv1上に位置する分割点Dは、D10,D11,D12,D13と呼ばれる。
【0069】
なお、図19に示すように、本実施例における分割点Dの配置は、基準線RLに対して対称の配置となっている。
【0070】
変形領域分割部254は、配置された分割点Dを結ぶ直線(すなわち水平分割線Lhおよび垂直分割線Lv)により、変形領域TAを複数の小領域に分割する。本実施例では、図19に示すように、変形領域TAが15個の矩形の小領域に分割される。
【0071】
なお本実施例では、分割点Dの配置は、水平分割線Lhおよび垂直分割線Lvの本数および位置により定まるため、分割点配置パターンテーブル410は水平分割線Lhおよび垂直分割線Lvの本数および位置を定義していると言い換えることも可能である。
【0072】
ステップS940(図17)では、分割領域変形部256(図1)が、変形領域TAを対象とした画像の変形処理を行う。分割領域変形部256による変形処理は、ステップS930で変形領域TA内に配置された分割点Dの位置を移動して、小領域を変形することにより行われる。
【0073】
変形処理のための各分割点Dの位置の移動態様(移動方向および移動距離)は、分割点移動テーブル420(図1)により、補正度合いに対応付けて予め定められている。分割領域変形部256は、分割点移動テーブル420を参照し、補正度合いに対応付けられた移動方向および移動距離で、分割点Dの位置を移動する。
【0074】
図20は、分割点移動テーブル420の内容の一例を示す説明図である。また図21は、分割点移動テーブル420に従った分割点Dの位置の移動の一例を示す説明図である。図20には、分割点移動テーブル420により定義された分割点Dの位置の移動態様の内、補正度合い「弱」に対応付けられた移動態様を示している。図20に示すように、分割点移動テーブル420には、各分割点Dについて、基準線RLと直行する方向(H方向)および基準線RLと平行な方向(V方向)に沿った移動量が示されている。なお、本実施例では、分割点移動テーブル420に示された移動量の単位は、対象画像TIの画素ピッチPPである。また、H方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、V方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点D11は、H方向に沿って右側に画素ピッチPPの7倍の距離だけ移動され、V方向に沿って上方に画素ピッチPPの14倍の距離だけ移動される。また、例えば分割点D22は、H方向およびV方向共に移動量がゼロであるため、移動されない。
【0075】
なお、本実施例では、変形領域TAの内外の画像間の境界が不自然とならないように、変形領域TAの外枠上に位置する分割点D(例えば図19に示す分割点D10等)の位置は移動されないものとしている。従って、図20に示した分割点移動テーブル420には、変形領域TAの外枠上に位置する分割点Dについての移動態様は定義されていない。また、分割点移動テーブル420により定義された分割点Dの位置の移動態様の内、補正度合い「強」に対応付けられた移動態様は、図20に示した移動態様と比較して、少なくとも1つの分割点Dについての移動量がより大きく規定されている。また、補正度合い「なし」に対応付けられた移動態様は、すべての分割点Dの移動量がゼロと規定されている。
【0076】
図21では、移動前の分割点Dは白抜きの丸で、移動後の分割点Dや位置の移動の無い分割点Dは黒丸で示されている。また、移動後の分割点Dは分割点D’と呼ばれるものとする。例えば分割点D11の位置は、図21において右上方向に移動され、分割点D’11となる。
【0077】
なお、本実施例では、基準線RLに対して対称な位置関係にある2つの分割点Dの組み合わせ(例えば分割点D11とD41との組み合わせ)のすべてが、分割点Dの移動後も、基準線RLに対して対称な位置関係を維持するように、移動態様が定められている。
【0078】
分割領域変形部256は、変形領域TAを構成する各小領域について、分割点Dの位置移動前の状態における小領域の画像が、分割点Dの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図21において、分割点D11,D21,D22,D12を頂点とする小領域(ハッチングを付して示す小領域)の画像は、分割点D’11,D’21,D22,D’12を頂点とする小領域の画像に変形される。
【0079】
図22は、分割領域変形部256による画像の変形処理方法の概念を示す説明図である。図22では、分割点Dを黒丸で示している。図22では、説明を簡略化するために、4つの小領域について、左側に分割点Dの位置移動前の状態を、右側に分割点Dの位置移動後の状態を、それぞれ示している。図22の例では、中央の分割点Daが分割点Da’の位置に移動され、その他の分割点Dの位置は移動されない。これにより、例えば、分割点Dの移動前の分割点Da,Db,Dc,Ddを頂点とする矩形の小領域(以下「変形前注目小領域BSA」とも呼ぶ)の画像は、分割点Da’,Db,Dc,Ddを頂点とする矩形の小領域(以下「変形後注目小領域ASA」とも呼ぶ)の画像に変形される。
【0080】
本実施例では、矩形の小領域を小領域の重心CGを用いて4つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図22の例では、変形前注目小領域BSAが、変形前注目小領域BSAの重心CGを頂点の1つとする4つの三角形領域に分割される。同様に、変形後注目小領域ASAが、変形後注目小領域ASAの重心CG’を頂点の1つとする4つの三角形領域に分割される。そして、分割点Daの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域BSA中の分割点Da,Ddおよび重心CGを頂点とする三角形領域の画像が、変形後注目小領域ASA中の分割点Da’,Ddおよび重心CG’を頂点とする三角形領域の画像に変形される。
【0081】
図23は、三角形領域における画像の変形処理方法の概念を示す説明図である。図23の例では、点s,t,uを頂点とする三角形領域stuの画像が、点s’,t’,u’を頂点とする三角形領域s’t’u’の画像に変形される。画像の変形は、変形後の三角形領域s’t’u’の画像中のある画素の位置が、変形前の三角形領域stuの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。
【0082】
例えば、図23において、変形後の三角形領域s’t’u’の画像中の注目画素p’の位置は、変形前の三角形領域stuの画像中の位置pに相当するものとする。位置pの算出は、以下のように行う。まず、注目画素p’の位置を、下記の式(1)のようにベクトルs’t’とベクトルs’u’との和で表現するための係数m1およびm2を算出する。
【0083】
【数1】
【0084】
次に、算出された係数m1およびm2を用いて、下記の式(2)により、変形前の三角形領域stuにおけるベクトルstとベクトルsuとの和を算出することにより、位置pが求まる。
【0085】
【数2】
【0086】
変形前の三角形領域stuにおける位置pが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域stuにおける位置pが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置pの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置pにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。
【0087】
変形後の三角形領域s’t’u’の画像中の各画素について上述のように画素値を算出することにより、三角形領域stuの画像から三角形領域s’t’u’の画像への画像変形処理を行うことができる。分割領域変形部256は、図19に示した変形領域TAを構成する各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域TAにおける画像変形処理を行う。
【0088】
ここで、本実施例の顔形状補正の態様についてより詳細に説明する。図24は、本実施例における顔形状補正の態様を示す説明図である。図24には、変形領域TAを構成する各小領域の変形態様のイメージを矢印により示している。図24に示すように、本実施例の顔形状補正では、基準線RLと平行な方向(V方向)に関し、水平分割線Lh1上に配置された分割点D(D11,D21,D31,D41)の位置は上方に移動される一方、水平分割線Lh2上に配置された分割点D(D12,D22,D32,D42)の位置は移動されない(図20参照)。従って、水平分割線Lh1と水平分割線Lh2との間に位置する画像は、V方向に関して縮小される。上述したように、水平分割線Lh1は顎の画像より下方に配置され、水平分割線Lh2は目の画像のすぐ下付近に配置されるため、本実施例の顔形状補正では、顔の画像の内、顎から目の下にかけての部分の画像がV方向に縮小されることとなる。この結果、画像中の顎のラインは上方に移動する。
【0089】
他方、基準線RLと直行する方向(H方向)に関しては、垂直分割線Lv1上に配置された分割点D(D11,D12)の位置は右方向に移動され、垂直分割線Lv4上に配置された分割点D(D41,D42)の位置は左方向に移動される(図20参照)。さらに、垂直分割線Lv2上に配置された2つの分割点Dの内、水平分割線Lh1上に配置された分割点D(D21)の位置は右方向に移動され、垂直分割線Lv3上に配置された2つの分割点Dの内、水平分割線Lh1上に配置された分割点D(D31)の位置は左方向に移動される(図20参照)。従って、垂直分割線Lv1より左側に位置する画像は、H方向に関して右側に拡大され、垂直分割線Lv4より右側に位置する画像は、左側に拡大される。また、垂直分割線Lv1と垂直分割線Lv2との間に位置する画像は、H方向に関して縮小または右側に移動され、垂直分割線Lv3と垂直分割線Lv4との間に位置する画像は、H方向に関して縮小または左側に移動される。さらに、垂直分割線Lv2と垂直分割線Lv3との間に位置する画像は、水平分割線Lh1の位置を中心にH方向に関して縮小される。
【0090】
上述したように、垂直分割線Lv1およびLv4は、頬のラインの画像の外側に配置され、垂直分割線Lv2およびLv3は、目尻の画像の外側に配置される。そのため、本実施例の顔形状補正では、顔の画像の内、両目尻より外側の部分の画像が全体的にH方向に縮小される。特に顎付近において縮小率が高くなる。この結果、画像中の顔の形状は、全体的に幅方向に細くなる。
【0091】
上述したH方向およびV方向の変形態様を総合すると、本実施例の顔形状補正により、画像中の顔の形状が小さくなる。
【0092】
なお、図24に示す分割点D22,D32,D33,D23を頂点とする小領域(ハッチングを付した領域)は、上述した水平分割線Lh2や垂直分割線Lv2およびLv3の配置方法によると、両目の画像を含む領域となる。図20に示すように、分割点D22およびD32はH方向にもV方向にも移動されないため、この両目の画像を含む小領域は変形されない。このように本実施例では、両目の画像を含む小領域については変形しないこととし、顔形状補正後の画像がより自然で好ましいものとなるようにしている。
【0093】
B.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【0094】
B1.変形例1:
図25は、変形例1におけるフェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。図10に示した実施例との違いは、変形例1では表示画像DI上に参照枠RFが表示されず、代わりに、変形領域TAに対応した領域を示す変形領域枠TAFが表示される点である。変形例1では、表示画像DI上に変形領域枠TAFが表示されるため、ユーザは、トリミング枠TFを変形領域枠TAFを包含するように指定することにより、トリミング枠TFに対応した対象画像TI上の領域として設定されるフェイスシートFS用の印刷領域を、変形領域TAを包含する領域として設定することが可能となる。そのため、フェイスシートFS用の印刷領域に対応した画像(フェイスシート用画像FI)は、顔を小さくする補正の際に必要となる画像の領域をすべて有する画像となる。従って、変形例1においても、顔の画像の変形に支障のないように画像の領域を指定することができる。
【0095】
なお、変形例1において、変形領域TAに対応した領域は本発明における第2の領域に相当する。また、印刷領域の設定のためのユーザインターフェース(図16参照)においても、図25に示した変形例と同様に、表示画像DI上に参照枠RFの代わりに変形領域枠TAFが表示されるとしてもよい。
【0096】
B2.変形例2:
図26は、変形例2におけるフェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。図10に示した実施例との違いは、変形例2では表示画像DI上に、さらに、顔領域FAに対応した領域を示す顔領域枠FAFが表示される点である。また、変形例2では、参照枠RFとトリミング枠TFとの関係が上記実施例とは異なっている。すなわち、参照枠RFは、参照枠RFがその内側に顔領域枠FAFを包含するように設定されると、トリミング枠TFがその内側に変形領域TAに対応した表示画像DI上の領域を包含することとなるように、トリミング枠TFとの関係が設定されている。そのため、ユーザは、参照枠RFを参照して、参照枠RFが顔領域枠FAFを包含することとなるようにトリミング枠TFを指定することにより、トリミング枠TFに対応した対象画像TI上の領域として設定されるフェイスシートFS用の印刷領域を、変形領域TAを包含する領域として設定することが可能となる。そのため、フェイスシートFS用の印刷領域に対応した画像(フェイスシート用画像FI)は、顔を小さくする補正の際に必要となる画像の領域をすべて有する画像となる。従って、変形例2においても、顔の画像の変形に支障のないように画像の領域を指定することができる。
【0097】
なお、変形例2において、顔領域FAに対応した領域は本発明における第4の領域に相当し、参照枠RFにより規定される領域は本発明における第5の領域に相当する。また、印刷領域の設定のためのユーザインターフェース(図16参照)においても、図26に示した変形例と同様に、表示画像DI上に顔領域枠FAFが表示されるとしてもよい。
【0098】
B3.変形例3:
上記実施例では、画像の補正(顔を小さくする補正および肌をきれいにする補正)と補正後の画像の印刷とを行う印刷処理を例に用いて説明したが、本発明は、表示画像において指定された領域に対応した画像を対象に特定種類の被写体の画像を変形する変形処理一般に適用可能である。例えば、本発明は、パーソナルコンピュータによる顔を小さくする補正のみが行われる補正処理や顔以外の被写体(建築物等)を変形する補正処理にも適用可能である。
【0099】
B4.変形例4:
上記実施例では、フェイスシートFS用の印刷領域の設定のためのユーザインターフェース(図10)と、印刷領域の設定のためのユーザインターフェース(図16)と、の両方において、表示画像DI上に参照枠RFが表示されるとしているが、どちらか一方においてのみ参照枠RFが表示されるとしてもよい。
【0100】
B5.変形例5:
上記実施例における顔領域FA、変形領域TAの設定方法はあくまで一例であり、これらの領域を他の方法により設定することも可能である。例えば、顔領域FAは、必ずしも対象画像TIの画像解析による顔の画像を含むと思われる領域検出を介して設定される必要はなく、ユーザによる位置の指定に基づき顔領域FAが設定されるとしてもよい。また、変形領域TAは、その位置および大きさが、顔の画像の位置および大きさと所定の関係にある領域として設定されれば、上記実施例とは異なる領域として設定されてもよい。また、顔領域FA、変形領域TAは矩形の領域である必要はなく、矩形以外の多角形形状や円形形状の領域であってもよい。
【0101】
B6.変形例6:
上記実施例における変形処理の方法はあくまで一例であり、これらの処理を他の方法により実行することも可能である。
【0102】
B7.変形例7:
上記実施例では、画像処理装置としてのプリンタ100による印刷処理(図2)を説明したが、印刷処理の一部がパーソナルコンピュータにより実行されるものとしてもよい。また、プリンタ100はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。
【0103】
B8.変形例8:
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【0104】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【0105】
【図1】本発明の実施例における画像処理装置としてのプリンタ100の構成を概略的に示す説明図である。
【図2】ナチュラルフェイスモードでの印刷処理の流れを示すフローチャートである。
【図3】対象画像TIの設定のためのユーザインターフェースの一例を示す説明図である。
【図4】顔領域FAの設定結果の一例を示す説明図である。
【図5】補正度合いの設定の処理の流れを示すフローチャートである。
【図6】補正度合いの設定方法の選択のためのユーザインターフェースの一例を示す説明図である。
【図7】マニュアル設定による補正度合いの選択・設定のためのユーザインターフェースの一例を示す説明図である。
【図8】対象画像TIと補正度合いとの表示の一例を示す説明図である。
【図9】フェイスシートFSの一例を示す説明図である。
【図10】フェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。
【図11】トリミング枠TFと参照枠RFとの関係を示す説明図である。
【図12】決定されたトリミング枠TFの一例を示す説明図である。
【図13】ガイド表示の一例を示す説明図である。
【図14】フェイスシートFSを用いた補正度合いの設定のためのユーザインターフェースの一例を示す説明図である。
【図15】対象画像TIと選択された画像番号との表示の一例を示す説明図である。
【図16】印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。
【図17】本実施例のプリンタ100による顔形状補正の流れを示すフローチャートである。
【図18】変形領域TAの設定方法の一例を示す説明図である。
【図19】変形領域TAの小領域への分割方法の一例を示す説明図である。
【図20】分割点移動テーブル420の内容の一例を示す説明図である。
【図21】分割点移動テーブル420に従った分割点Dの位置の移動の一例を示す説明図である。
【図22】分割領域変形部256による画像の変形処理方法の概念を示す説明図である。
【図23】三角形領域における画像の変形処理方法の概念を示す説明図である。
【図24】本実施例における顔形状補正の態様を示す説明図である。
【図25】変形例1におけるフェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。
【図26】変形例2におけるフェイスシートFS用の印刷領域の設定のためのユーザインターフェースの一例を示す説明図である。
【符号の説明】
【0106】
100…プリンタ
110…CPU
120…内部メモリ
140…操作部
150…表示部
160…プリンタエンジン
170…カードインターフェース
172…カードスロット
200…補正印刷部
210…顔領域設定部
220…補正度合設定部
230…印刷領域設定部
232…参照表示部
250…補正処理部
252…変形領域設定部
254…変形領域分割部
256…分割領域変形部
258…肌色補正部
310…表示処理部
320…印刷処理部
410…分割点配置パターンテーブル
420…分割点移動テーブル
430…肌色補正量テーブル
【特許請求の範囲】
【請求項1】
画像処理装置であって、
画像を表示する画像表示部と、
ユーザによる表示画像中の第1の領域の指定を受領する領域指定受領部と、
前記第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域の変形を行う変形処理部と、
ユーザに、前記第1の領域として、前記変形領域に対応した前記表示画像中の第2の領域を包含する領域を指定させるために、前記表示画像上に所定の参照表示を行う参照表示部と、を備える、画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記参照表示は、第3の領域を前記特定種類の被写体の画像を含むように設定すると前記第1の領域が前記第2の領域を包含する領域となるように前記第1の領域との関係が予め設定された前記第3の領域を示す表示を含む、画像処理装置。
【請求項3】
請求項1に記載の画像処理装置であって、
前記参照表示は、前記第2の領域を示す表示を含む、画像処理装置。
【請求項4】
請求項1に記載の画像処理装置であって、さらに、
画像における前記特定種類の被写体の画像の領域を設定する被写体領域設定部を備え、
前記参照表示は、設定された前記特定種類の被写体の画像の領域に対応した第4の領域を示す表示と、第5の領域を前記第4の領域を包含するように設定すると前記第1の領域が前記第2の領域を包含する領域となるように前記第1の領域との関係が予め設定された前記第5の領域を示す表示と、を含む、画像処理装置。
【請求項5】
請求項1ないし請求項4のいずれかに記載の画像処理装置であって、
前記変形領域は、位置および大きさが、前記特定種類の被写体の画像の位置および大きさと所定の関係にある領域である、画像処理装置。
【請求項6】
請求項1ないし請求項5のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、人物の顔である、画像処理装置。
【請求項7】
画像処理方法であって、
(a)画像を表示する工程と、
(b)ユーザによる表示画像中の第1の領域の指定を受領する工程と、
(c)前記第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域の変形を行う工程と、
(d)ユーザに、前記第1の領域として、前記変形領域に対応した前記表示画像中の第2の領域を包含する領域を指定させるために、前記表示画像上に所定の参照表示を行う工程と、を備える、画像処理方法。
【請求項8】
画像処理のためのコンピュータプログラムであって、
画像を表示する画像表示機能と、
ユーザによる表示画像中の第1の領域の指定を受領する領域指定受領機能と、
前記第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域の変形を行う変形処理機能と、
ユーザに、前記第1の領域として、前記変形領域に対応した前記表示画像中の第2の領域を包含する領域を指定させるために、前記表示画像上に所定の参照表示を行う参照表示機能と、を、コンピュータに実現させる、コンピュータプログラム。
【請求項1】
画像処理装置であって、
画像を表示する画像表示部と、
ユーザによる表示画像中の第1の領域の指定を受領する領域指定受領部と、
前記第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域の変形を行う変形処理部と、
ユーザに、前記第1の領域として、前記変形領域に対応した前記表示画像中の第2の領域を包含する領域を指定させるために、前記表示画像上に所定の参照表示を行う参照表示部と、を備える、画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記参照表示は、第3の領域を前記特定種類の被写体の画像を含むように設定すると前記第1の領域が前記第2の領域を包含する領域となるように前記第1の領域との関係が予め設定された前記第3の領域を示す表示を含む、画像処理装置。
【請求項3】
請求項1に記載の画像処理装置であって、
前記参照表示は、前記第2の領域を示す表示を含む、画像処理装置。
【請求項4】
請求項1に記載の画像処理装置であって、さらに、
画像における前記特定種類の被写体の画像の領域を設定する被写体領域設定部を備え、
前記参照表示は、設定された前記特定種類の被写体の画像の領域に対応した第4の領域を示す表示と、第5の領域を前記第4の領域を包含するように設定すると前記第1の領域が前記第2の領域を包含する領域となるように前記第1の領域との関係が予め設定された前記第5の領域を示す表示と、を含む、画像処理装置。
【請求項5】
請求項1ないし請求項4のいずれかに記載の画像処理装置であって、
前記変形領域は、位置および大きさが、前記特定種類の被写体の画像の位置および大きさと所定の関係にある領域である、画像処理装置。
【請求項6】
請求項1ないし請求項5のいずれかに記載の画像処理装置であって、
前記特定種類の被写体は、人物の顔である、画像処理装置。
【請求項7】
画像処理方法であって、
(a)画像を表示する工程と、
(b)ユーザによる表示画像中の第1の領域の指定を受領する工程と、
(c)前記第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域の変形を行う工程と、
(d)ユーザに、前記第1の領域として、前記変形領域に対応した前記表示画像中の第2の領域を包含する領域を指定させるために、前記表示画像上に所定の参照表示を行う工程と、を備える、画像処理方法。
【請求項8】
画像処理のためのコンピュータプログラムであって、
画像を表示する画像表示機能と、
ユーザによる表示画像中の第1の領域の指定を受領する領域指定受領機能と、
前記第1の領域に対応した画像を対象として、特定種類の被写体の画像を変形するために、所定の変形領域の変形を行う変形処理機能と、
ユーザに、前記第1の領域として、前記変形領域に対応した前記表示画像中の第2の領域を包含する領域を指定させるために、前記表示画像上に所定の参照表示を行う参照表示機能と、を、コンピュータに実現させる、コンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2009−69940(P2009−69940A)
【公開日】平成21年4月2日(2009.4.2)
【国際特許分類】
【出願番号】特願2007−235122(P2007−235122)
【出願日】平成19年9月11日(2007.9.11)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成21年4月2日(2009.4.2)
【国際特許分類】
【出願日】平成19年9月11日(2007.9.11)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]