画像処理装置、画像処理方法、および、コンピュータプログラム
【課題】顔画像を含む装飾画像と対象画像とを用いて合成される出力画像において、新たな楽しみをユーザに提供する。
【解決手段】画像処理装置は、第１の顔画像を含む対象画像を取得する第１の取得部と、第２の顔画像を含む装飾画像を取得する第２の取得部と、装飾画像の第２の顔画像の特徴を付与するように対象画像の第１の顔画像に対して画質調整処理を行う画質調整部と、画質調整処理後の対象画像と装飾画像とを合成して、出力画像を生成する合成部と、を備える。
【解決手段】画像処理装置は、第１の顔画像を含む対象画像を取得する第１の取得部と、第２の顔画像を含む装飾画像を取得する第２の取得部と、装飾画像の第２の顔画像の特徴を付与するように対象画像の第１の顔画像に対して画質調整処理を行う画質調整部と、画質調整処理後の対象画像と装飾画像とを合成して、出力画像を生成する合成部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および、コンピュータプログラムに関する。
【背景技術】
【０００２】
装飾画像、例えば、画像のフレーム枠を表すフレーム画像と、対象画像、例えば、デジタルカメラによる撮像画像とを合成して、出力画像を生成する技術が実用化されている（例えば、特許文献１）。これらの出力画像は、ディスプレイ上に表示、紙媒体上に印刷されることにより、ユーザに提供される。
【０００３】
【特許文献１】ＷＯ２００３／０８５５１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、装飾画像には、漫画の登場人物や、著名人、動物などのキャラクタの顔画像が含まれる場合がある。上記従来技術では、このような装飾画像を用いる場合に、装飾画像の顔画像と、対象画像の顔画像との関係について、なんら考慮されていない。
【０００５】
本発明は、顔画像を含む装飾画像と対象画像とを用いて合成される出力画像において、新たな楽しみをユーザに提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するために以下の形態または適用例として実現することが可能である。
【０００７】
［適用例１］画像処理装置であって、第１の顔画像を含む対象画像を取得する第１の取得部と、第２の顔画像を含む装飾画像を取得する第２の取得部と、前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行う画質調整部と、前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する合成部と、を備える、画像処理装置。
【０００８】
適用例１に係る画像処理装置によれば、対象画像に含まれる顔画像が装飾画像に含まれる顔画像の特徴を有するように調整された合成画像が生成されるので、ユーザに新たな楽しみを提供することができる。
【０００９】
適用例１に係る画像処理装置において、前記装飾画像の第２の顔画像の特徴は、顔の外形または構成要素の形態の特徴を含み、前記画質調整処理は、前記第１の顔画像の前記外形または構成要素の形態を、前記第２の顔画像の前記外形または構成要素の形態に近付けるように、前記第１の顔画像を変形する処理を含んでも良い。こうすれば、第１の顔画像の形態が第２の顔画像の形態に近づくように、第１の顔画像を変形するので、ユーザに新たな楽しみを提供することができる。
【００１０】
適用例１に係る画像処理装置において、前記画質調整処理の処理内容を、前記装飾画像と関連づけて記憶する記憶部を備え、前記画質調整処理部は、前記記憶部を参照して、前記対象画像の前記第１の顔画像に対して画質調整処理を行っても良い。こうすれば、容易に第１の顔画像に対する画質調整処理を行うことができる。
【００１１】
適用例１に係る画像処理装置において、画質調整処理は、前記第１の顔画像に前記第２の顔画像を合成する処理を含んでも良い。こうすれば、第１の顔画像と第２の顔画像の合成により、新たに創作された顔を含む、出力画像が生成されるので、ユーザに新たな楽しみを提供することができる。
【００１２】
［適用例２］画像処理方法であって、第１の顔画像を含む対象画像を取得し、第２の顔画像を含む装飾画像を取得し、前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行い、前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する、画像処理方法。
【００１３】
［適用例３］画像処理のためのコンピュータプログラムであって、第１の顔画像を含む対象画像を取得する第１の取得機能と、第２の顔画像を含む装飾画像を取得する第２の取得機能と、前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行う画質調整機能と、前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する合成機能と、をコンピュータに実現させる、コンピュータプログラム。
【００１４】
上記適用例２に係る画像処理方法、および、適用例３に係るコンピュータプログラムは、適用例１に係る画像処理装置と同様の作用効果を得ることができる。また、上記適用例２に係る画像処理方法、および、適用例３に係るコンピュータプログラムは、適用例１に係る画像処理装置と同様にして種々の態様にて実現され得る。
【００１５】
さらに、本発明は、上記適用例３に係るコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。
【発明を実施するための最良の形態】
【００１６】
次に、本発明の実施態様について図面を参照しながら実施例に基づいて説明する。
Ａ．実施例：
・プリンタ１００の構成：
図１は、本発明の実施例における画像処理装置としてのプリンタ１００の構成を示すブロック図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばリードオンリメモリ（ＲＯＭ）やランダムアクセスメモリ（ＲＡＭ）によって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラ）とのデータ通信を行うためのインターフェースを備えていてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。
【００１７】
プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例において、メモリカードＭＣには、画像データとしてＲＧＢデータが格納されている。
【００１８】
内部メモリ１２０には、機能部として、画像データ取得部２１０と、装飾画像データ取得部２２０と、画質調整部２３０と、適用処理決定部２４０と、合成処理部２５０と、表示処理部２６０と、印刷処理部２７０とが格納されている。各機能部２１０〜２７０は、ＣＰＵ１１０により内部メモリ１２０から読み出され、実行されることにより、所定の機能を実現するコンピュータプログラムである。画質調整部２３０は、サブモジュールとして、変形処理部２３２と、画素値処理部２３４とを備える。機能部２１０〜２５０は、後述する画像処理を実行する。表示処理部２６０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部２７０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。
【００１９】
内部メモリ１２０には、さらに、複数のフレーム画像データ４００が格納されている。フレーム画像データは、ユーザが撮像した撮像画像などの対象画像の周囲に付加されるフレーム画像を表すデータである。フレーム画像は、対象画像を装飾するための装飾画像の１つの態様である。フレーム画像には、それぞれ、識別子（フレームＩＤ）が付与されており、本実施例では、フレームＩＤとして「＃ｎ」（ｎは自然数）を用いる。
【００２０】
内部メモリ１２０には、さらに、キャラクタデータベース３１０と、処理内容データベース３２０を備えている。
【００２１】
図２は、キャラクタデータベース３１０の内容を概念的に示す図である。キャラクタデータベース３１０には、フレーム画像ごとに、フレーム画像に含まれるキャラクタの名前が、そのフレーム画像のフレームＩＤと関連付けて、記述されている。
【００２２】
図３は、フレーム画像を例示する図である。図３に示すフレーム画像４００ａ〜４００ｄは、フレームＩＤが＃１〜＃４のフレーム画像をそれぞれ示している。フレーム画像４００ａ〜４００ｄは、それぞれ、キャラクタデータベース３１０（図２）に記述されているキャラクタの顔画像ＣＦを含んでいる。
【００２３】
図４は、処理内容データベース３２０の内容を概念的に示す図である。処理内容データベース３２０には、キャラクタごとに、キャラクタの顔画像の特徴が記述されている。本実施例では、後述するように、キャラクタの顔画像の特徴を対象画像の顔画像に付与するように顔画像に画質調整処理を行うので、処理内容データベース３２０に記述されているキャラクタの顔画像の特徴は、後述する画質調整処理の処理内容を規定するものである。
【００２４】
キャラクタの顔画像の特徴は、キャラクタの顔画像の外形、および、構成要素の形態に関する特徴を含んでいる。図４に示す例では、処理内容データベース３２０には、顔画像の外形に関する特徴として「輪郭」の特徴が、構成要素に関する特徴として「目」「口」の特徴が記述されている。ここで、形態とは、形状、相対的な位置、大きさ、色を始めとする外見上の性質を全て含む概念である。
【００２５】
例えば、図４に示すように、キャラクタ「子供」の目の特徴として、目の形状は「均等」、目尻角度「平坦」、目高さ「低」、両目間隔「高」、目形状「丸」、黒目の形状「大」が記述されている。また、キャラクタ「子供」の口の特徴として、口の縦横比「横長」、口高さ「低」、輪郭の特徴として、輪郭の縦横比「均等」、上下の差「均等」、輪郭の形状「丸」が記述されている。
【００２６】
・プリンタ１００の動作：
図５は、対象画像の選択を受け付けるためのユーザインターフェースの一例を示す図である。図６は、フレーム画像の選択を受け付けるためのユーザインターフェースの一例を示す図である。プリンタ１００は、メモリカードＭＣに格納された画像データに基づき、画像の印刷を行う。カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部２６０により、図５に示すユーザインターフェースが表示部１５０に表示される。図５に示すユーザインターフェースは、対象画像（例えば、メモリカードＭＣに格納された画像）の一覧表示を含む。対象画像には、顔画像Ｆを含む画像と、含まない画像がある。なお、本実施例では、対象画像の一覧表示は、メモリカードＭＣに格納された画像データ（画像ファイル）に含まれるサムネイル画像を用いて実現される。
【００２７】
本実施例のプリンタ１００は、図５に示すユーザインターフェースにおいて、ユーザにより、１つ（または複数）の対象画像が選択されると共に印刷ボタンが選択されると、選択された対象画像をそのまま印刷する通常印刷処理を実行する。他方、当該ユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共にフレーム印刷ボタンが選択されると、図６に示すユーザインターフェースが表示部１５０に表示される。図６に示すユーザインターフェースは、内部メモリ１２０に格納された複数のフレーム画像データ４００が表す複数のフレーム画像の一覧表示を含む。ユーザにより、フレーム画像が選択されると共に決定ボタンが選択されると、プリンタ１００は、選択された対象画像と、選択されたフレーム画像とを合成した出力画像を生成し、生成された出力画像を印刷・保存する処理（フレーム合成処理）を実行する。出力画像を保存する場合、保存先は所定の記憶領域となる。記憶領域は、例えば、メモリカードなどの外部メモリであっても良いし、内部メモリであっても良い。また、出力画像は、新規の画像ファイルとして保存されても良いし、既存の画像ファイル（例えば、フレーム合成処理前の対象画像の画像ファイル）に上書きされても良い。
【００２８】
図７は、実施例のプリンタ１００によるフレーム合成処理の流れを示すフローチャートである。フレーム合成処理が開始されると、選択された対象画像と、選択されたフレーム画像とを合成した出力画像を生成する画像処理を実行する（ステップＳ１００）。
【００２９】
図８は、実施例における画像処理の流れを示すフローチャートである。画像処理が開始されると、画像データ取得部２１０は、選択された対象画像の画像データをカードスロット１７２から読み出して取得する（ステップＳ１１０）。装飾画像データ取得部２２０は、選択されたフレーム画像のフレーム画像データ４００を内部メモリ１２０から取得する（ステップＳ１２０）。
【００３０】
適用処理決定部２４０は、キャラクタデータベース３１０を参照して、選択されたフレーム画像のキャラクタを認識する（ステップＳ１３０）。以下では、フレームＩＤ「＃１」のフレーム画像が選択されているものとして説明する。図２に示すように、キャラクタデータベース３１０において、フレームＩＤ「＃１」のフレーム画像に関連付けられているキャラクタは、「子供」であるので、適用処理決定部２４０は、選択されたフレーム画像のキャラクタは、「子供」であると認識する。
【００３１】
適用処理決定部２４０は、認識したキャラクタの特徴を、処理内容データベース３２０から取得する。（ステップＳ１４０）。例えば、認識したキャラクタが「子供」である場合には、適用処理決定部２４０は、上述したキャラクタ「子供」の「目」「口」「輪郭」の特徴（図４）を全て取得する。
【００３２】
適用処理が決定されると、対象画像に対する画質調整処理が実行される（ステップＳ１５０）。図９は、画質調整処理の流れを示すフローチャートである。画質調整処理が開始されると、適用処理決定部２４０は、対象画像における顔領域ＦＡを検出する（ステップＳ１５１）。ここで、顔領域ＦＡとは対象画像上の人物の顔に対応する領域を意味している。顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。
【００３３】
顔領域ＦＡが検出されなかった場合には（ステップＳ１５２：ＮＯ）、画像処理は終了される。顔領域ＦＡが検出された場合には（ステップＳ１５２：ＹＥＳ）、適用処理決定部２４０は、顔領域ＦＡに対応する顔画像の構成要素である「目」「口」をそれぞれ検出する（ステップＳ１５３）。「目」「口」の検出は、顔領域ＦＡの検出と同様にテンプレートを利用したパターンマッチングや、顔領域ＦＡ内部における相対的な位置関係、構成要素の色相の特徴などを用いた方法で行われる。例えば、検出された顔領域ＦＡの内部の相対的な位置関係から、「目」が存在する領域を規定する。そして、「目」が存在する領域において、黒色の画素の分布を算出し、左右対称に分布する黒色画素領域を検出することにより、「目」を検出することができる。
【００３４】
「目」「口」が検出されると、適用処理決定部２４０は、対象画像に対して実行する顔変形処理の具体的な内容を決定する（ステップＳ１５４）。具体的には、適用処理決定部２４０は、ステップＳ１４０（図８）において取得されたキャラクタの特徴と、対象画像において検出された「顔領域ＦＡ」「目」「口」の特徴を比較して、対象画像において検出された「顔領域ＦＡ」「目」「口」の特徴を、キャラクタの特徴に近付けるように、具体的な処理内容を決定する。例えば、キャラクタ「子供」の輪郭の縦横比の特徴は「均等」であるが、対象画像において検出された「顔領域ＦＡ」が縦長である場合、適用処理決定部２４０は、顔領域ＦＡに対応する顔画像を「縦に小さく」「横に大きく」する顔変形処理を行うことを決定する。この結果、画質調整処理により、顔領域ＦＡに対応する顔画像の輪郭の縦横比を「均等」に近付けることができる。また、キャラクタ「子供」の輪郭の上下差の特徴は「均等」であるが、対象画像において検出された「顔領域ＦＡ」の上下差が均等である場合、適用処理決定部２４０は、顔領域ＦＡに対応する顔画像に対して、輪郭の上下差を変更する処理（例えば、顔画像の下側を広げる変形処理）は、行わないと決定する。このようにして、適用処理決定部２４０は、処理内容データベース３２０に記述されたキャラクタの特徴に関する各項目について比較し、具体的な顔変形処理の内容を決定する。
【００３５】
顔変形処理が決定されると、画質調整部２３０の変形処理部２３２は、顔変形処理を行う（ステップＳ１５５〜Ｓ１５７）。変形処理部２３２は、顔変形処理を開始すると、顔画像の一部または全部を含む変形領域ＴＡを設定する（ステップＳ１５５）。
【００３６】
図１０は、変形領域の設定について説明する図である。図１０に示すように、本実施例では、顔領域ＦＡは、対象画像上の顔画像の目と鼻と口の画像を含む矩形の領域が顔領域ＦＡとして検出される。なお、図１０に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。変形領域ＴＡは、対象画像上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図１０に示すように、本実施例では、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｍ１・Ｈｆ、下方向にｍ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｍ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｍ１，ｍ２，ｍ３は、所定の係数である。
【００３７】
このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。
【００３８】
図１３に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づき、上述の係数ｍ１，ｍ２，ｍ３が予め設定されている。
【００３９】
変形領域ＴＡが設定されると、変形処理部２３２は、変形領域ＴＡを複数の小領域に分割する（ステップＳ１５６）。図１１〜図１３は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形処理部２３２は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。
【００４０】
分割点Ｄの配置（分割点Ｄの個数および位置）は、顔画像の変形の態様に応じて予め定められたパターンで行われる。例えば、顔画像の変形の態様と対応付けて配置パターンが記録されたパターンテーブル（図示省略）を予め容易しておき、変形処理部２３２は、かかるパターンテーブルを参照して変形の態様に応じて分割点Ｄを配置する。図１１は、顔画像の態様が、顔画像の「輪郭」を変形する場合の一例を示している。図１２は、顔画像の「口」を変形する場合の一例を示している。図１３は、顔画像の「目」を変形する場合の一例を示している。
【００４１】
図１１〜図１３に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点、あるいは、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。
【００４２】
「輪郭」変形する場合には、図１１に示すように、基準線ＲＬと直行する３本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。３本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２，Ｌｈ３と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。水平分割線Ｌｈ３は、目の画像のすぐ上付近に配置されている。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。あるいは、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、さらに、「目」「口」などの検出結果を用いて実行される。
【００４３】
「口」変形する場合には、図１２に示すように、４本の水平分割線Ｌｈと、４本の垂直分割線Ｌｖとが設定される。４本の水平分割線Ｌｈは、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ５，Ｌｈ６，Ｌｈ２である。水平分割線Ｌｈ１、Ｌｈ２は、図１１に示す「輪郭」を変形する場合に用いる同符号の水平分割線と同一である。水平分割線Ｌｈ５は、口の画像のすぐ下付近に配置され、水平分割線Ｌｈ６は、口の画像のすぐ上付近に配置されている。また、４本の垂直分割線Ｌｖは、変形領域ＴＡの左から順に、Ｌｖ２，Ｌｖ６，Ｌｖ７，Ｌｖ３である。垂直分割線Ｌｖ２、Ｌｖ３は、図１１に示す「輪郭」を変形する場合に用いる同符号の垂直分割線と同一である。垂直分割線Ｌｖ６は、口の画像のすぐ左付近に配置され、垂直分割線Ｌｖ７は、口の画像のすぐ右付近に配置されている。
【００４４】
「目」変形する場合には、図１３に示すように、４本の水平分割線Ｌｈと、平行な４本の垂直分割線Ｌｖとが設定される。４本の水平分割線Ｌｈは、変形領域ＴＡの下方から順に、Ｌｈ６，Ｌｈ２，Ｌｈ３，Ｌｈ７である。水平分割線Ｌｈ６、Ｌｈ２、Ｌｈ３は、図１１または図１２に示す「輪郭」または「口」を変形する場合に用いる同符号の水平分割線と同一である。水平分割線Ｌｈ７は、眉毛の画像のすぐ下付近に配置されている。また、４本の垂直分割線Ｌｖは、変形領域ＴＡの左から順に、Ｌｖ２，Ｌｖ８，Ｌｖ９，Ｌｖ３である。垂直分割線Ｌｖ２、Ｌｖ３は、図１１または図１２に示す「輪郭」または「口」を変形する場合に用いる同符号の垂直分割線と同一である。垂直分割線Ｌｖ８は、左目の画像のすぐ右付近に配置され、垂直分割線Ｌｖ９は、右目の画像のすぐ左付近に配置されている。
【００４５】
上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図１１〜図１３に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。
【００４６】
なお、図１１〜図１３に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。
【００４７】
変形処理部２３２は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。本実施例では、例えば、「輪郭」を変形する場合には、図１１に示すように、変形領域ＴＡが２０個の矩形の小領域に分割される。
【００４８】
変形処理部２３２は、対象画像の変形領域ＴＡを対象とした画像の変形を行う（ステップＳ１５７）。画像の変形は、変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形することにより行われる。
【００４９】
変形のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、変形の態様に応じて、予め定められている。変形処理部２３２は、予め定められた移動方向および移動距離で、分割点Ｄの位置を移動する。
【００５０】
図１４は、分割点Ｄの位置の移動の一例を示す説明図である。図１５は、予め定められた移動方向および移動距離の一例を示す説明図である。図１４および図１５は、顔画像における「輪郭」を「縦に小さく」「横に大きく」変形する場合の一例を示している。図１５には、各分割点Ｄについて、基準線ＲＬと直行する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。かかるデータを、例えば、テーブルの形式で予め内部メモリ１２０上に記憶しておけば、変形処理部２３２は、容易に様々な態様の変形を行うことができる。なお、図１５に示す移動量の単位は、対象画像の画素ピッチＰＰである。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｖ方向に沿って右側に画素ピッチＰＰの２０倍の距離だけ移動され、Ｈ方向に沿っては移動されない（画素ピッチＰＰの０倍）。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。
【００５１】
なお、図１５に示す例では、変形しようとする領域の変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図１１に示す分割点Ｄ１０等）の位置は移動されないものとしている。従って、図１５には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。
【００５２】
図１４では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ’と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図１４において右方向に移動され、分割点Ｄ’１１となる。
【００５３】
なお、本実施例では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。
【００５４】
変形処理部２３２は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図１４において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ’１１，Ｄ’２１，Ｄ２２，Ｄ’１２を頂点とする小領域の画像に変形される。
【００５５】
図１６は、画像の変形方法の概念を示す説明図である。図１６では、分割点Ｄを黒丸で示している。図１６では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図１６の例では、中央の分割点Ｄａが分割点Ｄａ’の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ’，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。
【００５６】
本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ’を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ’，Ｄｄおよび重心ＣＧ’を頂点とする三角形領域の画像に変形される。
【００５７】
図１７は、三角形領域における画像の変形処理方法の概念を示す説明図である。図１７の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ’，ｔ’，ｕ’を頂点とする三角形領域ｓ’ｔ’ｕ’の画像に変形される。画像の変形は、変形後の三角形領域ｓ’ｔ’ｕ’の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。
【００５８】
例えば、図１７において、変形後の三角形領域ｓ’ｔ’ｕ’の画像中の注目画素ｐ’の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ’の位置を、下記の式（１）のようにベクトルｓ’ｔ’とベクトルｓ’ｕ’との和で表現するための係数ｍ１およびｍ２を算出する。
【００５９】
【数１】
【００６０】
次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。
【００６１】
【数２】
【００６２】
変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。
【００６３】
変形後の三角形領域ｓ’ｔ’ｕ’の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ’ｔ’ｕ’の画像への画像変形処理を行うことができる。変形処理部２３２は、図１１に示した変形領域ＴＡ内に構成された各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡ内の画像を変形する。
【００６４】
以上、顔画像における輪郭「縦に小さく」「横に大きく」変形する場合を具体例として、分割点の移動による顔変形を説明したが、他の変形の態様については、図１６に示すような分割点Ｄの移動方向および移動距離を、変形の態様に応じて設定することにより、容易に実行することができる。例えば、「口」を変形する場合には、図１２に示す分割点Ｄのうち、口の画像を囲む４つの分割点Ｄ６６、Ｄ７６、Ｄ６５、Ｄ７５を移動させ、他の分割点は移動させないこととして、同様の処理を行えば良い。また、「目」を変形する場合には、図１３に示す分割点Ｄのうち、左目の画像を囲む４つの分割点Ｄ２３、Ｄ８３、Ｄ２２、Ｄ８２と、右目の画像を囲む４つの分割点Ｄ９３、Ｄ３３、Ｄ９２、Ｄ３２を移動させ、他の分割点は移動させないこととして、同様の処理を行えば良い。
【００６５】
また、複数の部分の変形、例えば、「輪郭」と「口」の変形を行う場合には、順番に１つの部分ずつ変形させて行けば良い。例えば、顔画像の「輪郭」を変形した後、さらに、「口」を変形する場合には、図１２に示す各分割点Ｄについて、輪郭を変形した後の顔画像における位置（座標）を算出する。係る変形後の分割点Ｄの位置は、上述した式（１）（２）において、輪郭の変形前における口の変形のための分割点Ｄの位置をｐ、輪郭の変形後における口の変形のための分割点Ｄの位置をｐ’と置き、輪郭を変形した時に算出された係数ｍ１およびｍ２を用いて算出することができる。そして、輪郭の変形後における口の変形のための分割点Ｄを用いて、「口」を変形する処理を行えば良い。
【００６６】
図８に戻って説明を続ける。画質調整処理が終了すると、合成処理部２５０は、画質調整後の対象画像と、ステップＳ１２０において取得されたフレーム画像とを合成して、出力画像を生成する（ステップＳ１６０）。出力画像が生成されると、表示処理部２６０は、生成された出力画像を、表示部１５０に表示する（ステップＳ１７０）。
【００６７】
図１８は、出力画像が表示された表示部１５０の一例を示す説明図である。出力画像が表示された表示部１５０により、ユーザは、出力画像果を確認することができる。ユーザが出力画像に満足し、「保存」ボタンを選択した場合には（図７：ステップＳ２００）、これに応じて、画質調整後の対象画像を表す画像データの保存処理が行われる（ステップＳ４００）。例えば、画質調整後の対象画像（ビットマップデータ）を、ＪＰＥＧなどの所定の形式に圧縮し、ＥＸＩＦなどの所定のファイル形式に従って、画像ファイルとして保存する。かかる画像ファイルは、所定の記憶領域、例えば、挿入されているメモリカードＭＣに保存されても良い。かかる場合、画質調整後の対象画像の画像ファイルは、画質調整前の対象画像の画像ファイルに上書きされても良いし、異なる新規の画像ファイルとして保存されても良い。
【００６８】
ユーザが画質調整結果に満足し、「印刷」ボタンを選択した場合には（図７：ステップＳ２００）、印刷処理部２７０は、画質調整後の対象画像の印刷処理（ステップＳ３００）を実行する。図１９は、印刷処理の流れを示すフローチャートである。印刷処理部２７０は、画質調整後の対象画像の画像データの解像度を、プリンタエンジン１６０による印刷処理に適した解像度に変換し（ステップＳ３１０）、解像度変換後の画像データを、プリンタエンジン１６０における印刷に用いられる複数のインク色で階調表現されたインク色画像データに変換する（ステップＳ３２０）。なお、本実施例では、プリンタエンジン１６０における印刷に用いられる複数のインク色は、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色であるものとする。さらに、印刷処理部２７０は、インク色画像データにおける各インク色の階調値に基づいてハーフトーン処理を実行することによって、印刷画素毎のインクドットの形成状態を示すドットデータを生成し（ステップＳ３３０）、ドットデータを配列して印刷データを生成する（ステップＳ３４０）。印刷処理部２７０は、生成された印刷データをプリンタエンジン１６０に供給し、プリンタエンジン１６０に対象画像の印刷を行わせる（ステップＳ３５０）。これにより、画質調整後の対象画像の印刷が完了する。
【００６９】
以上説明した実施例によれば、フレーム画像に含まれるキャラクタの顔画像の特徴に応じて、対象画像の顔画像Ｆが、そのキャラクタの顔画像の特徴を有するように、対象画像に対する画質調整処理を行う。この結果、フレーム画像と対象画像とを合成した生成された出力画像において、ユーザに新たな楽しみを提供することができる。
【００７０】
また、対象画像に対する画質調整処理では、対象画像の顔画像の外形または構成要素の形態を、キャラクタの顔画像の外形または構成要素の形態に近付けるように、対象画像の顔画像を変形する。この結果、対象画像の顔画像の形態が、キャラクタの顔画像の形態が、キャラクタの顔画像風にデフォルメされるので、ユーザに新たな楽しみを提供することができる。
【００７１】
Ｂ．変形例：
・第１変形例：
上記実施例では、処理内容データベース３２０にキャラクタの特徴を記述し、適用処理決定部２４０が、処理内容データベース３２０を参照して、対象画像の顔画像に適用する画質調整処理の内容を決定しているが、これに代えて、対象画像の顔画像に、キャラクタの顔画像を合成する処理を、対象画像の顔画像に対する画質調整処理として実行しても良い。具体的には、画質調整部２３０は、フレーム画像においてキャラクタの顔画像の領域を検出して、キャラクタの顔画像の画像データを取得する。画質調整部２３０は、取得された顔画像の画像データを、対象画像における顔画像の画像データと合成して、合成顔画像を生成すれば良い。
【００７２】
対象画像の顔画像の画像データと、キャラクタの顔画像の画像データを構成する処理としては、例えば、公知のモーフィング技術を用いることができる。モーフィング技術では、合成の程度を自由に設定することができる。例えば、第１の顔画像２０％、第２の顔画像８０％で合成したり、第１の顔画像６０％、第２の顔画像４０％で合成したりすることができる。このような合成の程度をユーザから受け付けて、合成の程度を変化させても良い。
【００７３】
また、フレーム画像において、キャラクタの顔画像の画像データを解析して、キャラクタの顔画像の特徴を認識することにより、対象画像の顔画像に適用する画質調整処理の内容を決定しても良い。例えば、適用処理決定部２４０は、キャラクタの顔画像において、顔の輪郭、目、口を検出し、検出結果を用いて、キャラクタの顔画像の形態を認識する。適用処理決定部２４０は、認識したキャラクタの顔画像の形態における特徴を、対象画像の顔画像に付与するように、対象画像の顔画像に適用する画質調整処理（例えば、顔変形処理）の具体的な処理内容を決定すれば良い。
【００７４】
・第２変形例：
上記実施例では、フレーム画像データのキャラクタに関する情報は、キャラクタデータベース３１０に記録されているが、これに代えて、フレーム画像データの画像ファイルの中に係る情報を記録しても良い。
【００７５】
図２０は、画像データと共に、画像データと関連付けられた付属情報を含む画像ファイルの一例を概念的に示す説明図である。画像ファイル５００は、画像データを格納する画像データ格納領域５０１と、付属情報を格納する付属情報格納領域５０２を備えている。付属情報は、例えば、ＴＩＦＦ（Tagged Image File Format）形式に従って、タグを用いて、付属情報としての各種パラメータを特定できるように格納されている。フレーム画像データ４００を画像ファイル５００の付属情報格納領域５０２に格納し、図２０に示すように付属情報格納領域５０２に、フレーム画像に顔画像が含まれるキャラクタを特定するための情報を格納しても良い。こうすれば、適用処理決定部２４０は、選択されたフレーム画像のフレーム画像データを格納している画像ファイル５００の付属情報格納領域５０２を参照して、フレーム画像上のキャラクタを認識することができる。
【００７６】
Ｅ．その他の変形例：
上記実施例およびその変形例において、その処理内容をフローチャートで示しているが、あくまで一例であり、各ステップの順番を変更したり、一部のステップの実行を省略したりしてもよい。例えば、実施例の画像処理の前に、印刷処理の内の解像度変換や色変換（図１９のステップＳ３１０やＳ３２０）が実行されるとしても良い。
【００７７】
また上記実施例における画像処理では、顔領域ＦＡの検出が実行されるが、顔領域ＦＡの検出の代わりに、例えばユーザ指定を介した顔領域ＦＡの情報の取得が行われるとしてもよい。
【００７８】
上記実施例では、対象画像に合成される装飾画像として、対象画像の周囲を囲むように配置されるフレーム画像が用いられているが、装飾画像は、これに限らず、様々な態様の画像が用いられる。例えば、対象画像に含まれる人物の画像と、キャラクタとのツーショット画像を合成するためのキャラクタ画像が、装飾画像として用いられても良い。
【００７９】
上記実施例およびその変形例では、画像処理装置としてのプリンタ１００によるフレーム合成処理を説明したが、フレーム合成処理の一部または全部は、例えば、印刷処理を除き、デジタルカメラなどの画像データ生成機器の制御コンピュータあるいは画像処理チップにより実行されても良いし、パーソナルコンピュータにより実行されても良い。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。
【００８０】
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしても良い。
【００８１】
以上、本発明の実施例および変形例について説明したが、本発明はこれらの実施例および変形例になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々の態様での実施が可能である。
【図面の簡単な説明】
【００８２】
【図１】実施例における画像処理装置としてのプリンタの構成を示すブロック図。
【図２】キャラクタデータベースの内容を概念的に示す図。
【図３】フレーム画像を例示する図。
【図４】処理内容データベースの内容を概念的に示す図。
【図５】対象画像の選択を受け付けるためのユーザインターフェースの一例を示す図。
【図６】フレーム画像の選択を受け付けるためのユーザインターフェースの一例を示す図。
【図７】実施例のプリンタによるフレーム合成処理の流れを示すフローチャート。
【図８】実施例における画像処理の流れを示すフローチャート。
【図９】画質調整処理の流れを示すフローチャート。
【図１０】変形領域の設定について説明する図。
【図１１】変形領域の小領域への分割方法の一例を示す第１の図である。
【図１２】変形領域の小領域への分割方法の一例を示す第２の図である。
【図１３】変形領域の小領域への分割方法の一例を示す第３の図である。
【図１４】分割点の位置の移動の一例を示す説明図。
【図１５】予め定められた移動方向および移動距離の一例を示す説明図である。
【図１６】画像の変形方法の概念を示す説明図。
【図１７】三角形領域における画像の変形処理方法の概念を示す説明図。
【図１８】出力画像が表示された表示部の一例を示す説明図。
【図１９】印刷処理の流れを示すフローチャート。
【図２０】画像データと共に画像データと関連付けられた付属情報を含む画像ファイルの一例を概念的に示す説明図。
【符号の説明】
【００８３】
１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２１０…画像データ取得部
２２０…装飾画像データ取得部
２３０…画質調整部
２３２…変形処理部
２３４…画素値処理部
２４０…適用処理決定部
２５０…合成処理部
２６０…表示処理部
２７０…印刷処理部
３１０…キャラクタデータベース
３２０…処理内容データベース
４００…フレーム画像データ
５００…画像ファイル
５０１…画像データ格納領域
５０２…付属情報格納領域
ＭＣ…メモリカード
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および、コンピュータプログラムに関する。
【背景技術】
【０００２】
装飾画像、例えば、画像のフレーム枠を表すフレーム画像と、対象画像、例えば、デジタルカメラによる撮像画像とを合成して、出力画像を生成する技術が実用化されている（例えば、特許文献１）。これらの出力画像は、ディスプレイ上に表示、紙媒体上に印刷されることにより、ユーザに提供される。
【０００３】
【特許文献１】ＷＯ２００３／０８５５１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、装飾画像には、漫画の登場人物や、著名人、動物などのキャラクタの顔画像が含まれる場合がある。上記従来技術では、このような装飾画像を用いる場合に、装飾画像の顔画像と、対象画像の顔画像との関係について、なんら考慮されていない。
【０００５】
本発明は、顔画像を含む装飾画像と対象画像とを用いて合成される出力画像において、新たな楽しみをユーザに提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するために以下の形態または適用例として実現することが可能である。
【０００７】
［適用例１］画像処理装置であって、第１の顔画像を含む対象画像を取得する第１の取得部と、第２の顔画像を含む装飾画像を取得する第２の取得部と、前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行う画質調整部と、前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する合成部と、を備える、画像処理装置。
【０００８】
適用例１に係る画像処理装置によれば、対象画像に含まれる顔画像が装飾画像に含まれる顔画像の特徴を有するように調整された合成画像が生成されるので、ユーザに新たな楽しみを提供することができる。
【０００９】
適用例１に係る画像処理装置において、前記装飾画像の第２の顔画像の特徴は、顔の外形または構成要素の形態の特徴を含み、前記画質調整処理は、前記第１の顔画像の前記外形または構成要素の形態を、前記第２の顔画像の前記外形または構成要素の形態に近付けるように、前記第１の顔画像を変形する処理を含んでも良い。こうすれば、第１の顔画像の形態が第２の顔画像の形態に近づくように、第１の顔画像を変形するので、ユーザに新たな楽しみを提供することができる。
【００１０】
適用例１に係る画像処理装置において、前記画質調整処理の処理内容を、前記装飾画像と関連づけて記憶する記憶部を備え、前記画質調整処理部は、前記記憶部を参照して、前記対象画像の前記第１の顔画像に対して画質調整処理を行っても良い。こうすれば、容易に第１の顔画像に対する画質調整処理を行うことができる。
【００１１】
適用例１に係る画像処理装置において、画質調整処理は、前記第１の顔画像に前記第２の顔画像を合成する処理を含んでも良い。こうすれば、第１の顔画像と第２の顔画像の合成により、新たに創作された顔を含む、出力画像が生成されるので、ユーザに新たな楽しみを提供することができる。
【００１２】
［適用例２］画像処理方法であって、第１の顔画像を含む対象画像を取得し、第２の顔画像を含む装飾画像を取得し、前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行い、前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する、画像処理方法。
【００１３】
［適用例３］画像処理のためのコンピュータプログラムであって、第１の顔画像を含む対象画像を取得する第１の取得機能と、第２の顔画像を含む装飾画像を取得する第２の取得機能と、前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行う画質調整機能と、前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する合成機能と、をコンピュータに実現させる、コンピュータプログラム。
【００１４】
上記適用例２に係る画像処理方法、および、適用例３に係るコンピュータプログラムは、適用例１に係る画像処理装置と同様の作用効果を得ることができる。また、上記適用例２に係る画像処理方法、および、適用例３に係るコンピュータプログラムは、適用例１に係る画像処理装置と同様にして種々の態様にて実現され得る。
【００１５】
さらに、本発明は、上記適用例３に係るコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。
【発明を実施するための最良の形態】
【００１６】
次に、本発明の実施態様について図面を参照しながら実施例に基づいて説明する。
Ａ．実施例：
・プリンタ１００の構成：
図１は、本発明の実施例における画像処理装置としてのプリンタ１００の構成を示すブロック図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、例えばリードオンリメモリ（ＲＯＭ）やランダムアクセスメモリ（ＲＡＭ）によって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラ）とのデータ通信を行うためのインターフェースを備えていてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。
【００１７】
プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例において、メモリカードＭＣには、画像データとしてＲＧＢデータが格納されている。
【００１８】
内部メモリ１２０には、機能部として、画像データ取得部２１０と、装飾画像データ取得部２２０と、画質調整部２３０と、適用処理決定部２４０と、合成処理部２５０と、表示処理部２６０と、印刷処理部２７０とが格納されている。各機能部２１０〜２７０は、ＣＰＵ１１０により内部メモリ１２０から読み出され、実行されることにより、所定の機能を実現するコンピュータプログラムである。画質調整部２３０は、サブモジュールとして、変形処理部２３２と、画素値処理部２３４とを備える。機能部２１０〜２５０は、後述する画像処理を実行する。表示処理部２６０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージを表示させるディスプレイドライバである。印刷処理部２７０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。
【００１９】
内部メモリ１２０には、さらに、複数のフレーム画像データ４００が格納されている。フレーム画像データは、ユーザが撮像した撮像画像などの対象画像の周囲に付加されるフレーム画像を表すデータである。フレーム画像は、対象画像を装飾するための装飾画像の１つの態様である。フレーム画像には、それぞれ、識別子（フレームＩＤ）が付与されており、本実施例では、フレームＩＤとして「＃ｎ」（ｎは自然数）を用いる。
【００２０】
内部メモリ１２０には、さらに、キャラクタデータベース３１０と、処理内容データベース３２０を備えている。
【００２１】
図２は、キャラクタデータベース３１０の内容を概念的に示す図である。キャラクタデータベース３１０には、フレーム画像ごとに、フレーム画像に含まれるキャラクタの名前が、そのフレーム画像のフレームＩＤと関連付けて、記述されている。
【００２２】
図３は、フレーム画像を例示する図である。図３に示すフレーム画像４００ａ〜４００ｄは、フレームＩＤが＃１〜＃４のフレーム画像をそれぞれ示している。フレーム画像４００ａ〜４００ｄは、それぞれ、キャラクタデータベース３１０（図２）に記述されているキャラクタの顔画像ＣＦを含んでいる。
【００２３】
図４は、処理内容データベース３２０の内容を概念的に示す図である。処理内容データベース３２０には、キャラクタごとに、キャラクタの顔画像の特徴が記述されている。本実施例では、後述するように、キャラクタの顔画像の特徴を対象画像の顔画像に付与するように顔画像に画質調整処理を行うので、処理内容データベース３２０に記述されているキャラクタの顔画像の特徴は、後述する画質調整処理の処理内容を規定するものである。
【００２４】
キャラクタの顔画像の特徴は、キャラクタの顔画像の外形、および、構成要素の形態に関する特徴を含んでいる。図４に示す例では、処理内容データベース３２０には、顔画像の外形に関する特徴として「輪郭」の特徴が、構成要素に関する特徴として「目」「口」の特徴が記述されている。ここで、形態とは、形状、相対的な位置、大きさ、色を始めとする外見上の性質を全て含む概念である。
【００２５】
例えば、図４に示すように、キャラクタ「子供」の目の特徴として、目の形状は「均等」、目尻角度「平坦」、目高さ「低」、両目間隔「高」、目形状「丸」、黒目の形状「大」が記述されている。また、キャラクタ「子供」の口の特徴として、口の縦横比「横長」、口高さ「低」、輪郭の特徴として、輪郭の縦横比「均等」、上下の差「均等」、輪郭の形状「丸」が記述されている。
【００２６】
・プリンタ１００の動作：
図５は、対象画像の選択を受け付けるためのユーザインターフェースの一例を示す図である。図６は、フレーム画像の選択を受け付けるためのユーザインターフェースの一例を示す図である。プリンタ１００は、メモリカードＭＣに格納された画像データに基づき、画像の印刷を行う。カードスロット１７２にメモリカードＭＣが挿入されると、表示処理部２６０により、図５に示すユーザインターフェースが表示部１５０に表示される。図５に示すユーザインターフェースは、対象画像（例えば、メモリカードＭＣに格納された画像）の一覧表示を含む。対象画像には、顔画像Ｆを含む画像と、含まない画像がある。なお、本実施例では、対象画像の一覧表示は、メモリカードＭＣに格納された画像データ（画像ファイル）に含まれるサムネイル画像を用いて実現される。
【００２７】
本実施例のプリンタ１００は、図５に示すユーザインターフェースにおいて、ユーザにより、１つ（または複数）の対象画像が選択されると共に印刷ボタンが選択されると、選択された対象画像をそのまま印刷する通常印刷処理を実行する。他方、当該ユーザインターフェースにおいて、ユーザにより、１つ（または複数）の画像が選択されると共にフレーム印刷ボタンが選択されると、図６に示すユーザインターフェースが表示部１５０に表示される。図６に示すユーザインターフェースは、内部メモリ１２０に格納された複数のフレーム画像データ４００が表す複数のフレーム画像の一覧表示を含む。ユーザにより、フレーム画像が選択されると共に決定ボタンが選択されると、プリンタ１００は、選択された対象画像と、選択されたフレーム画像とを合成した出力画像を生成し、生成された出力画像を印刷・保存する処理（フレーム合成処理）を実行する。出力画像を保存する場合、保存先は所定の記憶領域となる。記憶領域は、例えば、メモリカードなどの外部メモリであっても良いし、内部メモリであっても良い。また、出力画像は、新規の画像ファイルとして保存されても良いし、既存の画像ファイル（例えば、フレーム合成処理前の対象画像の画像ファイル）に上書きされても良い。
【００２８】
図７は、実施例のプリンタ１００によるフレーム合成処理の流れを示すフローチャートである。フレーム合成処理が開始されると、選択された対象画像と、選択されたフレーム画像とを合成した出力画像を生成する画像処理を実行する（ステップＳ１００）。
【００２９】
図８は、実施例における画像処理の流れを示すフローチャートである。画像処理が開始されると、画像データ取得部２１０は、選択された対象画像の画像データをカードスロット１７２から読み出して取得する（ステップＳ１１０）。装飾画像データ取得部２２０は、選択されたフレーム画像のフレーム画像データ４００を内部メモリ１２０から取得する（ステップＳ１２０）。
【００３０】
適用処理決定部２４０は、キャラクタデータベース３１０を参照して、選択されたフレーム画像のキャラクタを認識する（ステップＳ１３０）。以下では、フレームＩＤ「＃１」のフレーム画像が選択されているものとして説明する。図２に示すように、キャラクタデータベース３１０において、フレームＩＤ「＃１」のフレーム画像に関連付けられているキャラクタは、「子供」であるので、適用処理決定部２４０は、選択されたフレーム画像のキャラクタは、「子供」であると認識する。
【００３１】
適用処理決定部２４０は、認識したキャラクタの特徴を、処理内容データベース３２０から取得する。（ステップＳ１４０）。例えば、認識したキャラクタが「子供」である場合には、適用処理決定部２４０は、上述したキャラクタ「子供」の「目」「口」「輪郭」の特徴（図４）を全て取得する。
【００３２】
適用処理が決定されると、対象画像に対する画質調整処理が実行される（ステップＳ１５０）。図９は、画質調整処理の流れを示すフローチャートである。画質調整処理が開始されると、適用処理決定部２４０は、対象画像における顔領域ＦＡを検出する（ステップＳ１５１）。ここで、顔領域ＦＡとは対象画像上の人物の顔に対応する領域を意味している。顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。
【００３３】
顔領域ＦＡが検出されなかった場合には（ステップＳ１５２：ＮＯ）、画像処理は終了される。顔領域ＦＡが検出された場合には（ステップＳ１５２：ＹＥＳ）、適用処理決定部２４０は、顔領域ＦＡに対応する顔画像の構成要素である「目」「口」をそれぞれ検出する（ステップＳ１５３）。「目」「口」の検出は、顔領域ＦＡの検出と同様にテンプレートを利用したパターンマッチングや、顔領域ＦＡ内部における相対的な位置関係、構成要素の色相の特徴などを用いた方法で行われる。例えば、検出された顔領域ＦＡの内部の相対的な位置関係から、「目」が存在する領域を規定する。そして、「目」が存在する領域において、黒色の画素の分布を算出し、左右対称に分布する黒色画素領域を検出することにより、「目」を検出することができる。
【００３４】
「目」「口」が検出されると、適用処理決定部２４０は、対象画像に対して実行する顔変形処理の具体的な内容を決定する（ステップＳ１５４）。具体的には、適用処理決定部２４０は、ステップＳ１４０（図８）において取得されたキャラクタの特徴と、対象画像において検出された「顔領域ＦＡ」「目」「口」の特徴を比較して、対象画像において検出された「顔領域ＦＡ」「目」「口」の特徴を、キャラクタの特徴に近付けるように、具体的な処理内容を決定する。例えば、キャラクタ「子供」の輪郭の縦横比の特徴は「均等」であるが、対象画像において検出された「顔領域ＦＡ」が縦長である場合、適用処理決定部２４０は、顔領域ＦＡに対応する顔画像を「縦に小さく」「横に大きく」する顔変形処理を行うことを決定する。この結果、画質調整処理により、顔領域ＦＡに対応する顔画像の輪郭の縦横比を「均等」に近付けることができる。また、キャラクタ「子供」の輪郭の上下差の特徴は「均等」であるが、対象画像において検出された「顔領域ＦＡ」の上下差が均等である場合、適用処理決定部２４０は、顔領域ＦＡに対応する顔画像に対して、輪郭の上下差を変更する処理（例えば、顔画像の下側を広げる変形処理）は、行わないと決定する。このようにして、適用処理決定部２４０は、処理内容データベース３２０に記述されたキャラクタの特徴に関する各項目について比較し、具体的な顔変形処理の内容を決定する。
【００３５】
顔変形処理が決定されると、画質調整部２３０の変形処理部２３２は、顔変形処理を行う（ステップＳ１５５〜Ｓ１５７）。変形処理部２３２は、顔変形処理を開始すると、顔画像の一部または全部を含む変形領域ＴＡを設定する（ステップＳ１５５）。
【００３６】
図１０は、変形領域の設定について説明する図である。図１０に示すように、本実施例では、顔領域ＦＡは、対象画像上の顔画像の目と鼻と口の画像を含む矩形の領域が顔領域ＦＡとして検出される。なお、図１０に示した基準線ＲＬは、顔領域ＦＡの高さ方向（上下方向）を定義すると共に、顔領域ＦＡの幅方向（左右方向）の中心を示す線である。すなわち、基準線ＲＬは、矩形の顔領域ＦＡの重心を通り、顔領域ＦＡの高さ方向（上下方向）に沿った境界線に平行な直線である。変形領域ＴＡは、対象画像上の領域であって顔形状補正のための画像変形処理の対象となる領域である。図１０に示すように、本実施例では、変形領域ＴＡは、顔領域ＦＡを基準線ＲＬと平行な方向（高さ方向）および基準線ＲＬに直行する方向（幅方向）に伸張（または短縮）した領域として設定される。具体的には、顔領域ＦＡの高さ方向の大きさをＨｆ、幅方向の大きさをＷｆとすると、顔領域ＦＡを、上方向にｍ１・Ｈｆ、下方向にｍ２・Ｈｆだけ伸ばすと共に、左右にそれぞれｍ３・Ｗｆだけ伸ばした領域が、変形領域ＴＡとして設定される。なお、ｍ１，ｍ２，ｍ３は、所定の係数である。
【００３７】
このように変形領域ＴＡが設定されると、顔領域ＦＡの高さ方向の輪郭線に平行な直線である基準線ＲＬは、変形領域ＴＡの高さ方向の輪郭線にも平行な直線となる。また、基準線ＲＬは、変形領域ＴＡの幅を半分に分割する直線となる。
【００３８】
図１３に示すように、変形領域ＴＡは、高さ方向に関しては、概ね顎から額までの画像を含み、幅方向に関しては、左右の頬の画像を含むような領域として設定される。すなわち、本実施例では、変形領域ＴＡが概ねそのような範囲の画像を含む領域となるように、顔領域ＦＡの大きさとの関係に基づき、上述の係数ｍ１，ｍ２，ｍ３が予め設定されている。
【００３９】
変形領域ＴＡが設定されると、変形処理部２３２は、変形領域ＴＡを複数の小領域に分割する（ステップＳ１５６）。図１１〜図１３は、変形領域ＴＡの小領域への分割方法の一例を示す説明図である。変形処理部２３２は、変形領域ＴＡに複数の分割点Ｄを配置し、分割点Ｄを結ぶ直線を用いて変形領域ＴＡを複数の小領域に分割する。
【００４０】
分割点Ｄの配置（分割点Ｄの個数および位置）は、顔画像の変形の態様に応じて予め定められたパターンで行われる。例えば、顔画像の変形の態様と対応付けて配置パターンが記録されたパターンテーブル（図示省略）を予め容易しておき、変形処理部２３２は、かかるパターンテーブルを参照して変形の態様に応じて分割点Ｄを配置する。図１１は、顔画像の態様が、顔画像の「輪郭」を変形する場合の一例を示している。図１２は、顔画像の「口」を変形する場合の一例を示している。図１３は、顔画像の「目」を変形する場合の一例を示している。
【００４１】
図１１〜図１３に示すように、分割点Ｄは、水平分割線Ｌｈと垂直分割線Ｌｖとの交点、あるいは、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに配置される。ここで、水平分割線Ｌｈおよび垂直分割線Ｌｖは、変形領域ＴＡ内に分割点Ｄを配置するための基準となる線である。
【００４２】
「輪郭」変形する場合には、図１１に示すように、基準線ＲＬと直行する３本の水平分割線Ｌｈと、基準線ＲＬに平行な４本の垂直分割線Ｌｖとが設定される。３本の水平分割線Ｌｈを、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ２，Ｌｈ３と呼ぶ。また、４本の垂直分割線Ｌｖを、変形領域ＴＡの左から順に、Ｌｖ１，Ｌｖ２，Ｌｖ３，Ｌｖ４と呼ぶ。水平分割線Ｌｈ１は、変形領域ＴＡにおいて、顎の画像より下方に配置され、水平分割線Ｌｈ２は、目の画像のすぐ下付近に配置される。水平分割線Ｌｈ３は、目の画像のすぐ上付近に配置されている。また、垂直分割線Ｌｖ１およびＬｖ４は、頬のラインの画像の外側に配置され、垂直分割線Ｌｖ２およびＬｖ３は、目尻の画像の外側に配置される。なお、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、水平分割線Ｌｈおよび垂直分割線Ｌｖと画像との位置関係が結果的に上述の位置関係となるように予め設定された変形領域ＴＡの大きさとの対応関係に従い実行される。あるいは、水平分割線Ｌｈおよび垂直分割線Ｌｖの配置は、さらに、「目」「口」などの検出結果を用いて実行される。
【００４３】
「口」変形する場合には、図１２に示すように、４本の水平分割線Ｌｈと、４本の垂直分割線Ｌｖとが設定される。４本の水平分割線Ｌｈは、変形領域ＴＡの下方から順に、Ｌｈ１，Ｌｈ５，Ｌｈ６，Ｌｈ２である。水平分割線Ｌｈ１、Ｌｈ２は、図１１に示す「輪郭」を変形する場合に用いる同符号の水平分割線と同一である。水平分割線Ｌｈ５は、口の画像のすぐ下付近に配置され、水平分割線Ｌｈ６は、口の画像のすぐ上付近に配置されている。また、４本の垂直分割線Ｌｖは、変形領域ＴＡの左から順に、Ｌｖ２，Ｌｖ６，Ｌｖ７，Ｌｖ３である。垂直分割線Ｌｖ２、Ｌｖ３は、図１１に示す「輪郭」を変形する場合に用いる同符号の垂直分割線と同一である。垂直分割線Ｌｖ６は、口の画像のすぐ左付近に配置され、垂直分割線Ｌｖ７は、口の画像のすぐ右付近に配置されている。
【００４４】
「目」変形する場合には、図１３に示すように、４本の水平分割線Ｌｈと、平行な４本の垂直分割線Ｌｖとが設定される。４本の水平分割線Ｌｈは、変形領域ＴＡの下方から順に、Ｌｈ６，Ｌｈ２，Ｌｈ３，Ｌｈ７である。水平分割線Ｌｈ６、Ｌｈ２、Ｌｈ３は、図１１または図１２に示す「輪郭」または「口」を変形する場合に用いる同符号の水平分割線と同一である。水平分割線Ｌｈ７は、眉毛の画像のすぐ下付近に配置されている。また、４本の垂直分割線Ｌｖは、変形領域ＴＡの左から順に、Ｌｖ２，Ｌｖ８，Ｌｖ９，Ｌｖ３である。垂直分割線Ｌｖ２、Ｌｖ３は、図１１または図１２に示す「輪郭」または「口」を変形する場合に用いる同符号の垂直分割線と同一である。垂直分割線Ｌｖ８は、左目の画像のすぐ右付近に配置され、垂直分割線Ｌｖ９は、右目の画像のすぐ左付近に配置されている。
【００４５】
上述した水平分割線Ｌｈと垂直分割線Ｌｖとの配置に従い、水平分割線Ｌｈと垂直分割線Ｌｖとの交点と、水平分割線Ｌｈおよび垂直分割線Ｌｖと変形領域ＴＡの外枠との交点とに、分割点Ｄが配置される。図１１〜図１３に示すように、水平分割線Ｌｈｉ（ｉ＝１または２）上に位置する分割点Ｄを、左から順に、Ｄ０ｉ，Ｄ１ｉ，Ｄ２ｉ，Ｄ３ｉ，Ｄ４ｉ，Ｄ５ｉと呼ぶものとする。例えば、水平分割線Ｌｈ１上に位置する分割点Ｄは、Ｄ０１，Ｄ１１，Ｄ２１，Ｄ３１，Ｄ４１，Ｄ５１と呼ばれる。同様に、垂直分割線Ｌｖｊ（ｊ＝１，２，３，４のいずれか）上に位置する分割点Ｄを、下から順に、Ｄｊ０，Ｄｊ１，Ｄｊ２，Ｄｊ３と呼ぶものとする。例えば、垂直分割線Ｌｖ１上に位置する分割点Ｄは、Ｄ１０，Ｄ１１，Ｄ１２，Ｄ１３と呼ばれる。
【００４６】
なお、図１１〜図１３に示すように、本実施例における分割点Ｄの配置は、基準線ＲＬに対して対称の配置となっている。
【００４７】
変形処理部２３２は、配置された分割点Ｄを結ぶ直線（すなわち水平分割線Ｌｈおよび垂直分割線Ｌｖ）により、変形領域ＴＡを複数の小領域に分割する。本実施例では、例えば、「輪郭」を変形する場合には、図１１に示すように、変形領域ＴＡが２０個の矩形の小領域に分割される。
【００４８】
変形処理部２３２は、対象画像の変形領域ＴＡを対象とした画像の変形を行う（ステップＳ１５７）。画像の変形は、変形領域ＴＡ内に配置された分割点Ｄの位置を移動して、小領域を変形することにより行われる。
【００４９】
変形のための各分割点Ｄの位置の移動態様（移動方向および移動距離）は、変形の態様に応じて、予め定められている。変形処理部２３２は、予め定められた移動方向および移動距離で、分割点Ｄの位置を移動する。
【００５０】
図１４は、分割点Ｄの位置の移動の一例を示す説明図である。図１５は、予め定められた移動方向および移動距離の一例を示す説明図である。図１４および図１５は、顔画像における「輪郭」を「縦に小さく」「横に大きく」変形する場合の一例を示している。図１５には、各分割点Ｄについて、基準線ＲＬと直行する方向（Ｈ方向）および基準線ＲＬと平行な方向（Ｖ方向）に沿った移動量が示されている。かかるデータを、例えば、テーブルの形式で予め内部メモリ１２０上に記憶しておけば、変形処理部２３２は、容易に様々な態様の変形を行うことができる。なお、図１５に示す移動量の単位は、対象画像の画素ピッチＰＰである。また、Ｈ方向については、向かって右側への移動量が正の値として表され、向かって左側への移動量が負の値として表され、Ｖ方向については、上方への移動量が正の値として表され、下方への移動量が負の値として表される。例えば、分割点Ｄ１１は、Ｖ方向に沿って右側に画素ピッチＰＰの２０倍の距離だけ移動され、Ｈ方向に沿っては移動されない（画素ピッチＰＰの０倍）。また、例えば分割点Ｄ２２は、Ｈ方向およびＶ方向共に移動量がゼロであるため、移動されない。
【００５１】
なお、図１５に示す例では、変形しようとする領域の変形領域ＴＡの内外の画像間の境界が不自然とならないように、変形領域ＴＡの外枠上に位置する分割点Ｄ（例えば図１１に示す分割点Ｄ１０等）の位置は移動されないものとしている。従って、図１５には、変形領域ＴＡの外枠上に位置する分割点Ｄについての移動態様は定義されていない。
【００５２】
図１４では、移動前の分割点Ｄは白抜きの丸で、移動後の分割点Ｄや位置の移動の無い分割点Ｄは黒丸で示されている。また、移動後の分割点Ｄは分割点Ｄ’と呼ばれるものとする。例えば分割点Ｄ１１の位置は、図１４において右方向に移動され、分割点Ｄ’１１となる。
【００５３】
なお、本実施例では、基準線ＲＬに対して対称な位置関係にある２つの分割点Ｄの組み合わせ（例えば分割点Ｄ１１とＤ４１との組み合わせ）のすべてが、分割点Ｄの移動後も、基準線ＲＬに対して対称な位置関係を維持するように、移動態様が定められている。
【００５４】
変形処理部２３２は、変形領域ＴＡを構成する各小領域について、分割点Ｄの位置移動前の状態における小領域の画像が、分割点Ｄの位置移動により新たに定義された小領域の画像となるように、画像の変形処理を行う。例えば、図１４において、分割点Ｄ１１，Ｄ２１，Ｄ２２，Ｄ１２を頂点とする小領域（ハッチングを付して示す小領域）の画像は、分割点Ｄ’１１，Ｄ’２１，Ｄ２２，Ｄ’１２を頂点とする小領域の画像に変形される。
【００５５】
図１６は、画像の変形方法の概念を示す説明図である。図１６では、分割点Ｄを黒丸で示している。図１６では、説明を簡略化するために、４つの小領域について、左側に分割点Ｄの位置移動前の状態を、右側に分割点Ｄの位置移動後の状態を、それぞれ示している。図１６の例では、中央の分割点Ｄａが分割点Ｄａ’の位置に移動され、その他の分割点Ｄの位置は移動されない。これにより、例えば、分割点Ｄの移動前の分割点Ｄａ，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形前注目小領域ＢＳＡ」とも呼ぶ）の画像は、分割点Ｄａ’，Ｄｂ，Ｄｃ，Ｄｄを頂点とする矩形の小領域（以下「変形後注目小領域ＡＳＡ」とも呼ぶ）の画像に変形される。
【００５６】
本実施例では、矩形の小領域を小領域の重心ＣＧを用いて４つの三角形領域に分割し、三角形領域単位で画像の変形処理を行っている。図の例では、変形前注目小領域ＢＳＡが、変形前注目小領域ＢＳＡの重心ＣＧを頂点の１つとする４つの三角形領域に分割される。同様に、変形後注目小領域ＡＳＡが、変形後注目小領域ＡＳＡの重心ＣＧ’を頂点の１つとする４つの三角形領域に分割される。そして、分割点Ｄａの移動前後のそれぞれの状態において対応する三角形領域毎に、画像の変形処理が行われる。例えば、変形前注目小領域ＢＳＡ中の分割点Ｄａ，Ｄｄおよび重心ＣＧを頂点とする三角形領域の画像が、変形後注目小領域ＡＳＡ中の分割点Ｄａ’，Ｄｄおよび重心ＣＧ’を頂点とする三角形領域の画像に変形される。
【００５７】
図１７は、三角形領域における画像の変形処理方法の概念を示す説明図である。図１７の例では、点ｓ，ｔ，ｕを頂点とする三角形領域ｓｔｕの画像が、点ｓ’，ｔ’，ｕ’を頂点とする三角形領域ｓ’ｔ’ｕ’の画像に変形される。画像の変形は、変形後の三角形領域ｓ’ｔ’ｕ’の画像中のある画素の位置が、変形前の三角形領域ｓｔｕの画像中のどの位置に相当するかを算出し、算出された位置における変形前の画像における画素値を変形後の画像の画素値とすることにより行う。
【００５８】
例えば、図１７において、変形後の三角形領域ｓ’ｔ’ｕ’の画像中の注目画素ｐ’の位置は、変形前の三角形領域ｓｔｕの画像中の位置ｐに相当するものとする。位置ｐの算出は、以下のように行う。まず、注目画素ｐ’の位置を、下記の式（１）のようにベクトルｓ’ｔ’とベクトルｓ’ｕ’との和で表現するための係数ｍ１およびｍ２を算出する。
【００５９】
【数１】
【００６０】
次に、算出された係数ｍ１およびｍ２を用いて、下記の式（２）により、変形前の三角形領域ｓｔｕにおけるベクトルｓｔとベクトルｓｕとの和を算出することにより、位置ｐが求まる。
【００６１】
【数２】
【００６２】
変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置に一致した場合には、当該画素の画素値が変形後の画像の画素値とされる。一方、変形前の三角形領域ｓｔｕにおける位置ｐが、変形前の画像の画素中心位置からはずれた位置となった場合には、位置ｐの周囲の画素の画素値を用いたバイキュービック等の補間演算により、位置ｐにおける画素値を算出し、算出された画素値が変形後の画像の画素値とされる。
【００６３】
変形後の三角形領域ｓ’ｔ’ｕ’の画像中の各画素について上述のように画素値を算出することにより、三角形領域ｓｔｕの画像から三角形領域ｓ’ｔ’ｕ’の画像への画像変形処理を行うことができる。変形処理部２３２は、図１１に示した変形領域ＴＡ内に構成された各小領域について、上述したように三角形領域を定義して変形処理を行い、変形領域ＴＡ内の画像を変形する。
【００６４】
以上、顔画像における輪郭「縦に小さく」「横に大きく」変形する場合を具体例として、分割点の移動による顔変形を説明したが、他の変形の態様については、図１６に示すような分割点Ｄの移動方向および移動距離を、変形の態様に応じて設定することにより、容易に実行することができる。例えば、「口」を変形する場合には、図１２に示す分割点Ｄのうち、口の画像を囲む４つの分割点Ｄ６６、Ｄ７６、Ｄ６５、Ｄ７５を移動させ、他の分割点は移動させないこととして、同様の処理を行えば良い。また、「目」を変形する場合には、図１３に示す分割点Ｄのうち、左目の画像を囲む４つの分割点Ｄ２３、Ｄ８３、Ｄ２２、Ｄ８２と、右目の画像を囲む４つの分割点Ｄ９３、Ｄ３３、Ｄ９２、Ｄ３２を移動させ、他の分割点は移動させないこととして、同様の処理を行えば良い。
【００６５】
また、複数の部分の変形、例えば、「輪郭」と「口」の変形を行う場合には、順番に１つの部分ずつ変形させて行けば良い。例えば、顔画像の「輪郭」を変形した後、さらに、「口」を変形する場合には、図１２に示す各分割点Ｄについて、輪郭を変形した後の顔画像における位置（座標）を算出する。係る変形後の分割点Ｄの位置は、上述した式（１）（２）において、輪郭の変形前における口の変形のための分割点Ｄの位置をｐ、輪郭の変形後における口の変形のための分割点Ｄの位置をｐ’と置き、輪郭を変形した時に算出された係数ｍ１およびｍ２を用いて算出することができる。そして、輪郭の変形後における口の変形のための分割点Ｄを用いて、「口」を変形する処理を行えば良い。
【００６６】
図８に戻って説明を続ける。画質調整処理が終了すると、合成処理部２５０は、画質調整後の対象画像と、ステップＳ１２０において取得されたフレーム画像とを合成して、出力画像を生成する（ステップＳ１６０）。出力画像が生成されると、表示処理部２６０は、生成された出力画像を、表示部１５０に表示する（ステップＳ１７０）。
【００６７】
図１８は、出力画像が表示された表示部１５０の一例を示す説明図である。出力画像が表示された表示部１５０により、ユーザは、出力画像果を確認することができる。ユーザが出力画像に満足し、「保存」ボタンを選択した場合には（図７：ステップＳ２００）、これに応じて、画質調整後の対象画像を表す画像データの保存処理が行われる（ステップＳ４００）。例えば、画質調整後の対象画像（ビットマップデータ）を、ＪＰＥＧなどの所定の形式に圧縮し、ＥＸＩＦなどの所定のファイル形式に従って、画像ファイルとして保存する。かかる画像ファイルは、所定の記憶領域、例えば、挿入されているメモリカードＭＣに保存されても良い。かかる場合、画質調整後の対象画像の画像ファイルは、画質調整前の対象画像の画像ファイルに上書きされても良いし、異なる新規の画像ファイルとして保存されても良い。
【００６８】
ユーザが画質調整結果に満足し、「印刷」ボタンを選択した場合には（図７：ステップＳ２００）、印刷処理部２７０は、画質調整後の対象画像の印刷処理（ステップＳ３００）を実行する。図１９は、印刷処理の流れを示すフローチャートである。印刷処理部２７０は、画質調整後の対象画像の画像データの解像度を、プリンタエンジン１６０による印刷処理に適した解像度に変換し（ステップＳ３１０）、解像度変換後の画像データを、プリンタエンジン１６０における印刷に用いられる複数のインク色で階調表現されたインク色画像データに変換する（ステップＳ３２０）。なお、本実施例では、プリンタエンジン１６０における印刷に用いられる複数のインク色は、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色であるものとする。さらに、印刷処理部２７０は、インク色画像データにおける各インク色の階調値に基づいてハーフトーン処理を実行することによって、印刷画素毎のインクドットの形成状態を示すドットデータを生成し（ステップＳ３３０）、ドットデータを配列して印刷データを生成する（ステップＳ３４０）。印刷処理部２７０は、生成された印刷データをプリンタエンジン１６０に供給し、プリンタエンジン１６０に対象画像の印刷を行わせる（ステップＳ３５０）。これにより、画質調整後の対象画像の印刷が完了する。
【００６９】
以上説明した実施例によれば、フレーム画像に含まれるキャラクタの顔画像の特徴に応じて、対象画像の顔画像Ｆが、そのキャラクタの顔画像の特徴を有するように、対象画像に対する画質調整処理を行う。この結果、フレーム画像と対象画像とを合成した生成された出力画像において、ユーザに新たな楽しみを提供することができる。
【００７０】
また、対象画像に対する画質調整処理では、対象画像の顔画像の外形または構成要素の形態を、キャラクタの顔画像の外形または構成要素の形態に近付けるように、対象画像の顔画像を変形する。この結果、対象画像の顔画像の形態が、キャラクタの顔画像の形態が、キャラクタの顔画像風にデフォルメされるので、ユーザに新たな楽しみを提供することができる。
【００７１】
Ｂ．変形例：
・第１変形例：
上記実施例では、処理内容データベース３２０にキャラクタの特徴を記述し、適用処理決定部２４０が、処理内容データベース３２０を参照して、対象画像の顔画像に適用する画質調整処理の内容を決定しているが、これに代えて、対象画像の顔画像に、キャラクタの顔画像を合成する処理を、対象画像の顔画像に対する画質調整処理として実行しても良い。具体的には、画質調整部２３０は、フレーム画像においてキャラクタの顔画像の領域を検出して、キャラクタの顔画像の画像データを取得する。画質調整部２３０は、取得された顔画像の画像データを、対象画像における顔画像の画像データと合成して、合成顔画像を生成すれば良い。
【００７２】
対象画像の顔画像の画像データと、キャラクタの顔画像の画像データを構成する処理としては、例えば、公知のモーフィング技術を用いることができる。モーフィング技術では、合成の程度を自由に設定することができる。例えば、第１の顔画像２０％、第２の顔画像８０％で合成したり、第１の顔画像６０％、第２の顔画像４０％で合成したりすることができる。このような合成の程度をユーザから受け付けて、合成の程度を変化させても良い。
【００７３】
また、フレーム画像において、キャラクタの顔画像の画像データを解析して、キャラクタの顔画像の特徴を認識することにより、対象画像の顔画像に適用する画質調整処理の内容を決定しても良い。例えば、適用処理決定部２４０は、キャラクタの顔画像において、顔の輪郭、目、口を検出し、検出結果を用いて、キャラクタの顔画像の形態を認識する。適用処理決定部２４０は、認識したキャラクタの顔画像の形態における特徴を、対象画像の顔画像に付与するように、対象画像の顔画像に適用する画質調整処理（例えば、顔変形処理）の具体的な処理内容を決定すれば良い。
【００７４】
・第２変形例：
上記実施例では、フレーム画像データのキャラクタに関する情報は、キャラクタデータベース３１０に記録されているが、これに代えて、フレーム画像データの画像ファイルの中に係る情報を記録しても良い。
【００７５】
図２０は、画像データと共に、画像データと関連付けられた付属情報を含む画像ファイルの一例を概念的に示す説明図である。画像ファイル５００は、画像データを格納する画像データ格納領域５０１と、付属情報を格納する付属情報格納領域５０２を備えている。付属情報は、例えば、ＴＩＦＦ（Tagged Image File Format）形式に従って、タグを用いて、付属情報としての各種パラメータを特定できるように格納されている。フレーム画像データ４００を画像ファイル５００の付属情報格納領域５０２に格納し、図２０に示すように付属情報格納領域５０２に、フレーム画像に顔画像が含まれるキャラクタを特定するための情報を格納しても良い。こうすれば、適用処理決定部２４０は、選択されたフレーム画像のフレーム画像データを格納している画像ファイル５００の付属情報格納領域５０２を参照して、フレーム画像上のキャラクタを認識することができる。
【００７６】
Ｅ．その他の変形例：
上記実施例およびその変形例において、その処理内容をフローチャートで示しているが、あくまで一例であり、各ステップの順番を変更したり、一部のステップの実行を省略したりしてもよい。例えば、実施例の画像処理の前に、印刷処理の内の解像度変換や色変換（図１９のステップＳ３１０やＳ３２０）が実行されるとしても良い。
【００７７】
また上記実施例における画像処理では、顔領域ＦＡの検出が実行されるが、顔領域ＦＡの検出の代わりに、例えばユーザ指定を介した顔領域ＦＡの情報の取得が行われるとしてもよい。
【００７８】
上記実施例では、対象画像に合成される装飾画像として、対象画像の周囲を囲むように配置されるフレーム画像が用いられているが、装飾画像は、これに限らず、様々な態様の画像が用いられる。例えば、対象画像に含まれる人物の画像と、キャラクタとのツーショット画像を合成するためのキャラクタ画像が、装飾画像として用いられても良い。
【００７９】
上記実施例およびその変形例では、画像処理装置としてのプリンタ１００によるフレーム合成処理を説明したが、フレーム合成処理の一部または全部は、例えば、印刷処理を除き、デジタルカメラなどの画像データ生成機器の制御コンピュータあるいは画像処理チップにより実行されても良いし、パーソナルコンピュータにより実行されても良い。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。
【００８０】
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしても良い。
【００８１】
以上、本発明の実施例および変形例について説明したが、本発明はこれらの実施例および変形例になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々の態様での実施が可能である。
【図面の簡単な説明】
【００８２】
【図１】実施例における画像処理装置としてのプリンタの構成を示すブロック図。
【図２】キャラクタデータベースの内容を概念的に示す図。
【図３】フレーム画像を例示する図。
【図４】処理内容データベースの内容を概念的に示す図。
【図５】対象画像の選択を受け付けるためのユーザインターフェースの一例を示す図。
【図６】フレーム画像の選択を受け付けるためのユーザインターフェースの一例を示す図。
【図７】実施例のプリンタによるフレーム合成処理の流れを示すフローチャート。
【図８】実施例における画像処理の流れを示すフローチャート。
【図９】画質調整処理の流れを示すフローチャート。
【図１０】変形領域の設定について説明する図。
【図１１】変形領域の小領域への分割方法の一例を示す第１の図である。
【図１２】変形領域の小領域への分割方法の一例を示す第２の図である。
【図１３】変形領域の小領域への分割方法の一例を示す第３の図である。
【図１４】分割点の位置の移動の一例を示す説明図。
【図１５】予め定められた移動方向および移動距離の一例を示す説明図である。
【図１６】画像の変形方法の概念を示す説明図。
【図１７】三角形領域における画像の変形処理方法の概念を示す説明図。
【図１８】出力画像が表示された表示部の一例を示す説明図。
【図１９】印刷処理の流れを示すフローチャート。
【図２０】画像データと共に画像データと関連付けられた付属情報を含む画像ファイルの一例を概念的に示す説明図。
【符号の説明】
【００８３】
１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２１０…画像データ取得部
２２０…装飾画像データ取得部
２３０…画質調整部
２３２…変形処理部
２３４…画素値処理部
２４０…適用処理決定部
２５０…合成処理部
２６０…表示処理部
２７０…印刷処理部
３１０…キャラクタデータベース
３２０…処理内容データベース
４００…フレーム画像データ
５００…画像ファイル
５０１…画像データ格納領域
５０２…付属情報格納領域
ＭＣ…メモリカード
【特許請求の範囲】
【請求項１】
画像処理装置であって、
第１の顔画像を含む対象画像を取得する第１の取得部と、
第２の顔画像を含む装飾画像を取得する第２の取得部と、
前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行う画質調整部と、
前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する合成部と、
を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記装飾画像の第２の顔画像の特徴は、顔の外形または構成要素の形態の特徴を含み、
前記画質調整処理は、前記第１の顔画像の前記外形または構成要素の形態を、前記第２の顔画像の前記外形または構成要素の形態に近付けるように、前記第１の顔画像を変形する処理を含む、画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置は、さらに、
前記画質調整処理の処理内容を、前記装飾画像と関連づけて記憶する記憶部を備え、
前記画質調整処理部は、前記記憶部を参照して、前記対象画像の前記第１の顔画像に対して画質調整処理を行う、画像処理装置。
【請求項４】
請求項１または請求項２に記載の画像処理装置において、
前記画質調整処理は、前記第１の顔画像に前記第２の顔画像を合成する処理を含む、画像処理装置。
【請求項５】
画像処理方法であって、
第１の顔画像を含む対象画像を取得し、
第２の顔画像を含む装飾画像を取得し、
前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行い、
前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する、画像処理方法。
【請求項６】
画像処理のためのコンピュータプログラムであって、
第１の顔画像を含む対象画像を取得する第１の取得機能と、
第２の顔画像を含む装飾画像を取得する第２の取得機能と、
前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行う画質調整機能と、
前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する合成機能と、
をコンピュータに実現させる、コンピュータプログラム。
【請求項１】
画像処理装置であって、
第１の顔画像を含む対象画像を取得する第１の取得部と、
第２の顔画像を含む装飾画像を取得する第２の取得部と、
前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行う画質調整部と、
前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する合成部と、
を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記装飾画像の第２の顔画像の特徴は、顔の外形または構成要素の形態の特徴を含み、
前記画質調整処理は、前記第１の顔画像の前記外形または構成要素の形態を、前記第２の顔画像の前記外形または構成要素の形態に近付けるように、前記第１の顔画像を変形する処理を含む、画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置は、さらに、
前記画質調整処理の処理内容を、前記装飾画像と関連づけて記憶する記憶部を備え、
前記画質調整処理部は、前記記憶部を参照して、前記対象画像の前記第１の顔画像に対して画質調整処理を行う、画像処理装置。
【請求項４】
請求項１または請求項２に記載の画像処理装置において、
前記画質調整処理は、前記第１の顔画像に前記第２の顔画像を合成する処理を含む、画像処理装置。
【請求項５】
画像処理方法であって、
第１の顔画像を含む対象画像を取得し、
第２の顔画像を含む装飾画像を取得し、
前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行い、
前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する、画像処理方法。
【請求項６】
画像処理のためのコンピュータプログラムであって、
第１の顔画像を含む対象画像を取得する第１の取得機能と、
第２の顔画像を含む装飾画像を取得する第２の取得機能と、
前記装飾画像の第２の顔画像の特徴を付与するように前記対象画像の前記第１の顔画像に対して画質調整処理を行う画質調整機能と、
前記画質調整処理後の前記対象画像と前記装飾画像とを合成して、出力画像を生成する合成機能と、
をコンピュータに実現させる、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−３３２４９（Ｐ２００９−３３２４９Ａ）
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願番号】特願２００７−１９２３２７（Ｐ２００７−１９２３２７）
【出願日】平成１９年７月２４日（２００７．７．２４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願日】平成１９年７月２４日（２００７．７．２４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]