画像変形装置、電子機器、画像変形方法、および画像変形プログラム
【課題】画像変形における処理負担を軽減する。
【解決手段】デジタルカメラ１０の制御部１１は、顔の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形するものである。制御部１１は、顔の撮影画像を取得する画像取得部２０と、取得された顔の撮影画像から、顔を特徴付ける特徴点を検出する特徴点検出部２２と、検出された特徴点と、変形の種類に対応する配置パターンおよび移動パターンとに基づいて、撮影画像に制御点およびその移動量ベクトルを設定する制御点設定部２３と、撮影画像に格子点を設定し、設定した格子点の移動量ベクトルを、設定された制御点およびその移動量ベクトルに基づいて設定する格子点設定部２４と、設定された格子点の移動量に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形部２５とを備える。
【解決手段】デジタルカメラ１０の制御部１１は、顔の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形するものである。制御部１１は、顔の撮影画像を取得する画像取得部２０と、取得された顔の撮影画像から、顔を特徴付ける特徴点を検出する特徴点検出部２２と、検出された特徴点と、変形の種類に対応する配置パターンおよび移動パターンとに基づいて、撮影画像に制御点およびその移動量ベクトルを設定する制御点設定部２３と、撮影画像に格子点を設定し、設定した格子点の移動量ベクトルを、設定された制御点およびその移動量ベクトルに基づいて設定する格子点設定部２４と、設定された格子点の移動量に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形部２５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形装置、電子機器、画像変形方法、および画像変形プログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ、カメラ付き携帯電話機などのデジタル撮影装置において、ハードウェアの多機能化および高機能化が進んだことにより、ソフトウェアの多機能化および高機能化により商品の差別化を図る傾向にある。このソフトウェアの多機能化および高機能化の一例としては、また、撮影した顔画像における顔の一部の形状を拡大または縮小することにより、小顔にしたり、滑稽な顔にしたりする顔変形機能が挙げられる。
【０００３】
この顔変形機能の従来技術としては、特許文献１〜３が挙げられる。特許文献１に記載の画像処理装置では、対象画像から顔画像を検出し、検出した顔画像に対し、変形の種類に対応付けられた所定の配置パターンに従って、複数の分割点を配置し、分割点を移動することにより、分割点で囲まれた領域を変形することによって上記顔画像を変形している。
【０００４】
また、特許文献２に記載の画像処理装置では、人物の画像から顔領域を抽出し、抽出された顔領域から上記人物の輪郭を検出し、検出された上記人物の顔の輪郭に基づいて上記人物の顔の形を分類し、分類された上記人物の顔の形の種類に基づき、上記人物の顔の輪郭を補正している。また、特許文献３に記載の顔画像変形装置では、人の顔および首の画像上に点を配置し、上記点からメッシュを生成して重畳し、上記点のそれぞれに対し、歪みベクトルを適用して再配置することにより、上記メッシュが変形されて顔画像が変形される。
【０００５】
以上のように、従来の顔変形機能では、対象画像から顔画像を検出し、検出した顔画像に応じて、分割点または顔の輪郭を配置し、これを変形の種類に応じて移動させることにより、上記分割点または顔の輪郭で囲まれた領域を変形している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４２８０７号公報（２００８年１０月０９日公開）
【特許文献２】特開２００４−２６４８９３号公報（２００４年０９月２４日公開）
【特許文献３】米国特許出願公開第２００８／０１７４７９５号明細書（２００８年０７月２４日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術においては、検出された顔画像に応じて分割点または顔の輪郭を配置するため、顔画像における顔が傾いている場合、該顔の傾きに応じて、上記分割点または顔の輪郭を回転させる必要がある。このため、上記分割点または顔の輪郭で囲まれた領域の境界を算出し、画像のピクセルが何れの領域に含まれるかをピクセルごとに判定する必要がある。その結果、処理すべき量が多くなってしまい、特に、デジタルカメラやカメラ付き携帯電話機などの小型機器で上記顔変形機能を実行させようとした場合には、処理時間が問題となってしまう。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、処理負担を軽減できる画像変形装置などを提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る画像変形装置は、対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形装置であって、上記課題を解決するために、上記対象物の撮影画像を取得する取得手段と、該取得手段が取得した対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出手段と、該検出手段が検出した特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定手段と、上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定手段が設定した制御点およびその移動情報に基づいて設定する格子点設定手段と、該格子点設定手段が設定した格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形手段とを備えることを特徴としている。
【００１０】
また、本発明に係る画像変形方法は、対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形方法であって、上記課題を解決するために、上記対象物の撮影画像を取得する取得ステップと、該取得ステップにて取得された対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出ステップと、該検出ステップにて検出された特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定ステップと、上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定ステップにて設定された制御点およびその移動情報に基づいて設定する格子点設定ステップと、該格子点設定ステップにて設定された格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形ステップとを含むことを特徴としている。
【００１１】
ここで、変形の種類の例としては、小顔変形などが挙げられる。また、特徴情報の例としては、特徴情報の例としては、顔画像であれば、目尻、目頭、口端点、顔中心点、あご端点、こめかみなどが挙げられる。
【００１２】
上記構成および方法によると、対象物の撮影画像を取得すると、取得された対象物の撮影画像から、該対象物を特徴付ける特徴情報を検出し、検出された特徴情報と、変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する。一方、制御点に関係なく、撮影画像に格子点を設定する。次に、設定され格子点の移動情報を、上記制御点およびその移動情報に基づいて設定する。そして、設定された格子点の移動情報に基づいて、格子点を頂点とする四角形の画像領域を変形する。これにより、対象物の画像が変形される。
【００１３】
このように、本発明では、画像変形にて利用される格子点は、画像の特徴情報に応じて配置される制御点に関係なく設定されている。これにより、撮影画像における対象物の傾きに応じて制御点を傾けて配置しても、格子点は傾けて配置する必要が無く、上記格子点を頂点とする四角形の画像領域も傾けて配置する必要が無い。従って、画像のピクセルが上記画像領域の何れに含まれるかを容易に判定することができ、処理負担を軽減することができる。
【００１４】
なお、上記変形のための制御点の移動量は、例えば、各制御点についてどの程度移動させることが好ましいかを予め学習することにより、対象物の移動量ベクトル分布モデルを生成し、生成したモデルを、上記対象物の特徴点にフィッティングさせて決定すればよい。また、ユーザが各制御点の移動量を手動で設定して記憶してもよい。
【００１５】
また、上記変形のための格子点の移動量は、上記制御点の移動量の情報を用いて、例えば、３次のＢスプライン関数を用いる等、一般的に用いられる補間処理により求めればよい。通常は、高次補間を用いるのが望ましいが、上述の制御点と同様に、移動量ベクトル分布モデルを生成しておけば、制御点の移動量とモデルの移動量との関係から線形的に算出することができる。
【００１６】
ところで、一般に、画像中の対象物を変形する処理は、変形の対象領域すべてのピクセルが移動対象となるため、変形の対象領域のピクセル数に比例して処理時間も増えることになる。例えば、３０万画素（６４０ピクセル×４８０ライン）の画像での処理時間が１秒とすると、２００万画素（１６００ピクセル×１２００ライン）の画像では処理時間が６．２５秒となり、５００万画素（２５６０ピクセル×１９２０ライン）の画像では処理時間が１６秒となり、１２００万画素（４０００ピクセル×３０００ライン）の画像では処理時間が３９秒となり、実用的な処理時間ではなくなってしまうと考えられる。従って、ピクセル数が増えても実用的な処理時間を維持できることが望まれる。
【００１７】
そこで、本発明に係る画像変形装置では、上記画像変形手段は、対象となる画像領域に含まれる格子点の移動すべき量の統計値が第１の所定値よりも少ない場合、当該画像領域の変形を省略することが好ましい。
【００１８】
この場合、処理の高速化および処理時間の短縮を図ることができる。なお、第１の所定値としては、当該画像領域を変形したとしても、変形前の画像と変形後の画像との差をほとんど視認できないような場合の上記統計値の上限に設定することが望ましい。この場合、当該画像領域の変形を省略しても、処理後の画像の画質にほとんど影響を与えることがない。なお、統計値としては、最大値、最小値、平均値などが挙げられる。
【００１９】
さらに、本発明に係る画像変形装置では、上記画像変形手段は、対象となる画像領域に含まれる格子点の移動すべき量の統計値が第１の所定値以上であり、かつ第２の所定値よりも少ない場合、当該画像領域の変形を線形補間により行う一方、上記格子点の移動すべき量が第２の所定値以上である場合、当該画像領域の変形を高次補間により行うことが好ましい。
【００２０】
この場合、高次補間の代わりに線形補間を利用することにより、処理の高速化および処理時間の短縮をさらに図ることができる。なお、第２の所定値としては、変形前の画像と変形後の画像との差を視認できるが、画質への影響が小さいような場合の上記統計値の上限に設定することが望ましい。この場合、当該画像領域の変形を線形補間により行っても、処理後の画像の画質にほとんど影響を与えることがない。
【００２１】
なお、上記構成の画像変形装置を備えた電子機器でも、上述の作用効果を奏することができる。また、上記画像変形方法における各ステップを、画像変形プログラムによりコンピュータに実行させることができる。さらに、上記画像変形プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記画像変形プログラムを実行させることができる。
【発明の効果】
【００２２】
以上のように、本発明に係る画像変形装置は、画像変形にて利用される格子点が、画像の特徴情報に応じて配置される制御点に関係なく設定されるので、撮影画像における対象物の傾きに応じて制御点を傾けて配置しても、格子点を傾けて配置する必要が無く、上記格子点を頂点とする四角形の画像領域も傾けて配置する必要が無く、その結果、画像のピクセルが上記画像領域の何れに含まれるかを容易に判定することができ、処理負担を軽減することができるという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態であるデジタルカメラの概略構成を示すブロック図である。
【図２】上記実施形態における小顔変形の概要を示す図である。
【図３】上記小顔変形の概要を示す図である。
【図４】上記小顔変形の概要を示す図である。
【図５】上記小顔変形の概要を示す図である。
【図６】上記小顔変形の概要を示す図である。
【図７】上記小顔変形の概要を示す図である。
【図８】上記デジタルカメラの記憶部に記憶される移動量ベクトル分布テーブルの顔画像に対する有無を示す図である。
【図９】上記移動量ベクトル分布テーブルのｘ軸方向の移動量を示すテーブルの一例を示す図である。
【図１０】上記ｘ軸方向の移動量を示すテーブルの一例を示す図である。
【図１１】上記ｘ軸方向の移動量を示すテーブルの一例を示す図である。
【図１２】上記デジタルカメラにおける画像変形の処理動作を示すフローチャートである。
【発明を実施するための形態】
【００２４】
本発明の一実施形態について図１〜図１２を参照して説明する。図１は、本実施形態であるデジタルカメラの概略構成を示している。図示のように、デジタルカメラ（電子機器）１０は、制御部（画像変形装置）１１、記憶部１２、撮影部１３、操作部１４、および表示部１５を備える構成である。
【００２５】
制御部１１は、デジタルカメラ１０内における各種構成の動作を統括的に制御する。制御部１１は、例えばＣＰＵ（Central Processing Unit）およびメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。このプログラムは、例えばフラッシュメモリなどのリムーバブルメディアに記録されているものを読み込んで使用する形態であってもよいし、ハードディスクなどにインストールされたものを読み込んで使用する形態であってもよい。また、上記プログラムをダウンロードしてハードディスクなどにインストールして実行する形態なども考えられる。なお、制御部１１の詳細については後述する。
【００２６】
記憶部１２は、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの不揮発性の記憶装置と、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置とによって構成されるものである。不揮発性の記憶装置に記憶される内容としては、上記した制御プログラム、ＯＳ（operating system）プログラム、その他の各種プログラム、後述する撮影画像のデータ、などが挙げられる。一方、揮発性の記憶装置に記憶される内容としては、作業用ファイル、テンポラリファイルなどが挙げられる。なお、記憶部１２の詳細については後述する。
【００２７】
撮影部１３は、被写体の撮影を行うものであり、例えばレンズ群、絞り、撮像素子などの光学系と、アンプ、Ａ／Ｄコンバータなどの回路系とを備えている。撮像素子の例としては、ＣＣＤ、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどが挙げられる。撮影部１３は、上記撮影により撮影画像を生成し、撮影画像のデータに変換して制御部１１に送信する。
【００２８】
操作部１４は、ユーザの操作によりユーザから各種の入力を受け付けるものであり、入力用ボタン、タッチパネル、その他の入力デバイスによって構成されている。操作部１４は、ユーザが操作した情報を操作データに変換して制御部１１に送信する。なお、入力デバイスの他の例としては、キーボードと、テンキーと、マウスなどのポインティングデバイスとが挙げられる。
【００２９】
表示部１５は、制御部１１からの画像データに基づいて、文字や画像などの各種の情報を表示出力するものである。表示部１５は、ＬＣＤ（液晶表示素子）、ＣＲＴ（陰極線管）、プラズマディスプレイなどの表示デバイスによって構成されている。
【００３０】
本実施形態では、正面を向いた顔画像の顔がすっきりと小さく見えるように、顔の輪郭、特に顎付近を変形させる、いわゆる小顔変形を実行している。図２〜図７は、本実施形態における小顔変形の概要を示している。
【００３１】
まず、撮影部１３または記憶部１２から撮影画像ＣＩのデータを取得すると、図２の（ａ）に示すように、撮影画像ＣＩにおける顔の領域ＦＡを検出する。図示の例では、顔の領域ＦＡは、黒枠で囲まれた領域である。
【００３２】
次に、検出された顔の領域ＦＡから、図２の（ｂ）に示すように、顔の特徴点（特徴情報）ＦＰを検出する。なお、顔の特徴点ＦＰには、目、口、鼻など、顔の器官を特徴付ける顔器官点も含まれる。目の顔器官点としては、目頭、目尻、目の中心点などが挙げられ、口の顔器官点としては、口の端点、口の中心点などが挙げられ、鼻の顔器官点としては、鼻の中心点などが挙げられる。なお、全ての特徴点を検出する必要は無く、小顔変形に関係のある顔の特徴点ＦＰを検出すればよい。図２の（ｂ）に示す例では、特徴点ＦＰとして、目尻、目頭、口の端点、顔の中心点、顎の端点、こめかみを検出している。
【００３３】
次に、検出された顔の特徴点ＦＰに基づいて、図２の（ｃ）に示すように、制御点ＣＰが撮影画像ＣＩに配置される。具体的には、制御点ＣＰは、撮影画像ＣＩにおいて変形対象となる領域（例えば、顔、鼻、目など）の輪郭上に配置される。小顔変形の例では、顎の下端、こめかみ、および顎のえらなどを制御点ＣＰとすればよい。なお、特徴点ＦＰの幾つかを制御点ＣＰとしてもよい。図示の例では、制御点ＣＰは、小顔変形の対象となる、顎からこめかみにかけての顔の輪郭上に配置される。また、顎の端点の特徴点ＦＰを制御点ＣＰとしている。
【００３４】
なお、制御点ＣＰの配置のパターンは、変形の種類によって予め定められている。また、制御点ＣＰの配置方法は、対象となる輪郭線を検出することにより行う方法、輪郭線モデルを生成する方法などの中から選択される。
【００３５】
次に、図３に示すように、配置された制御点ＣＰごとに、小顔変形で移動すべき移動量および移動方向を決定する。例えば、配置された制御点ＣＰに対し移動量テーブルをフィッティングすることにより、上記移動量および移動方向を決定することができる。
【００３６】
図３に示す例では、決定された移動量および移動方向を移動量ベクトル（制御点の移動情報）ＭＶで示している。各制御点ＣＰにおける移動量ベクトルＭＶは、当該制御点ＣＰから顔の中心点（鼻の頂点）の特徴点ＦＰまでのベクトルに比例しており、比例定数は、小顔変形に適合するように、制御点ＣＰごとに設定されている。図示の例では、両側の制御点ＣＰにおいて比例定数が大きく、すなわち移動量が多く設定され、下側の制御点ＣＰにおいて比例定数が小さく、すなわち移動量が少なく設定されている。
【００３７】
次に、制御点ＣＰとは別に、図４に示すように、変形対象となる領域を少なくとも含む領域に格子点ＧＤを設定する。なお、格子点ＧＤは、ピクセルの座標軸と平行であることが望ましい。この場合、４つの格子点ＧＤを頂点とする何れの画像領域にピクセルが含まれるかを容易に判定することができる。
【００３８】
次に、制御点ＣＰの移動量ベクトルＭＶに基づいて、図５に示すように、格子点ＧＤにおける移動量および移動方向を算出する。図示の例では、算出された移動量および移動方向を移動量ベクトル（格子点の移動情報）ＭＶｇで示している。
【００３９】
各格子点ＧＤにおける移動方向は、各制御点ＣＰにおける移動方向と同様に、当該格子点ＧＤから顔の中心点の特徴点ＦＰに向かう方向となる。また、各格子点ＧＤにおける移動量は、当該格子点ＧＤ付近の制御点ＣＰの移動量ベクトルＭＶの分布から、３次Ｂ−スプライン関数などの高次補間を利用して算出される。例えば、隣接する格子点ＧＤ間の距離を１として、当該格子点ＧＤから制御点ＣＰまでの距離に基づき移動量を算出する。
【００４０】
次に、図６の（ａ）に示すように、４つの格子点ＧＤを頂点とする画像領域を、同図の（ｂ）に示すように、当該４つの格子点ＧＤにおける移動量および移動方向に基づいて変形する。その結果、図７に示すように、小顔変形の行われた撮影画像ＣＩ´が作成され、表示部１５を介して表示出力される。なお、上記画像領域内の各ピクセルの移動量および移動方向は、上記４つの格子点ＧＤにおける移動量および移動方向に基づき補間を利用して算出することができる。
【００４１】
なお、上記４つの格子点ＧＤにおける移動量が所定値以下である場合、上記４つの格子点ＧＤを頂点とする画像領域の変形を省略することが望ましい。この場合、変形処理が行われる画像領域を減らすことができるので、処理を高速化することができる。
【００４２】
また、上記４つの格子点ＧＤの何れかの移動量または輝度差が所定値以上である場合、高次の補間を利用して、上記画像領域内の各ピクセルの移動量および移動方向を算出することが望ましい。この場合、上記画像領域の画像を精度よく変形することにより、画像の変形による画質の低下を抑制することができる。
【００４３】
これにより、本実施形態のデジタルカメラ１０は、画像変形にて利用される格子点ＧＤは、画像の特徴情報に応じて配置される制御点ＣＰに関係なく設定されている。これにより、撮影画像ＣＩにおける顔の傾きに応じて制御点ＣＰを傾けて配置しても、格子点ＧＤは傾けて配置する必要が無く、上記格子点ＧＤを頂点とする四角形の画像領域も傾けて配置する必要が無い。従って、画像のピクセルが上記画像領域の何れに含まれるかを容易に判定することができ、処理負担を軽減することができる。
【００４４】
次に、制御部１１および記憶部１２の詳細について説明する。図１に示すように、制御部１１は、画像取得部（取得手段）２０、顔検出部２１、特徴点検出部（検出手段）２２、制御点設定部（制御点設定手段）２３、格子点設定部（格子点設定手段）２４、および画像変形部（画像変形手段）２５を備える構成である。また、記憶部１２は、撮影画像のデータを記憶する画像記憶部３０、および、移動量ベクトル分布テーブル（配置パターン、移動パターン）を記憶するテーブル記憶部３１を備える構成である。
【００４５】
画像取得部２０は、撮影部１３からの撮影画像ＣＩのデータを取得するものである。画像取得部２０は、取得した撮影画像ＣＩのデータを画像記憶部３０に記憶する。本実施形態では、画像取得部２０は、撮影部１３または画像記憶部３０から取得した撮影画像ＣＩのデータを顔検出部２１および特徴点検出部２２に送信する。
【００４６】
顔検出部２１は、画像取得部２０からの撮影画像ＣＩのデータを用いて、撮影画像ＣＩから顔の領域ＦＡを検出するものである（図２の（ａ））。顔検出部２１は、検出した顔の領域ＦＡの位置情報を特徴点検出部２２に送信する。なお、顔の領域ＦＡの検出手法としては、テンプレートマッチングを利用したり、肌色領域を検出したり、顔の輪郭を検出したりするなど、公知の技術を利用することができる。
【００４７】
特徴点検出部２２は、画像取得部２０からの撮影画像ＣＩのデータと、顔検出部２１からの顔の領域ＦＡの位置情報とを利用して、顔の特徴点ＦＰを検出するものである（図２の（ｂ））。特徴点検出部２２は、検出した顔の特徴点ＦＰの位置情報を制御点設定部２３に送信する。なお、顔の特徴点ＦＰの検出手法としては、エッジを抽出するなど、公知の技術を利用することができる。
【００４８】
制御点設定部２３は、特徴点検出部２２からの顔の特徴点ＦＰの位置情報に基づいて、制御点ＣＰを設定するものである（図２の（ｃ））。さらに、制御点設定部２３は、設定された制御点ＣＰごとに、小顔変形で移動すべき移動量および移動方向を設定するものである（図３）。制御点設定部２３は、設定された制御点ＣＰの位置情報と、設定された移動量および移動方向とを格子点設定部２４に送信する。
【００４９】
ここで、上記移動量および移動方向の設定の詳細について、図８〜図１１を参照して説明する。本実施形態では、制御点設定部２３は、テーブル記憶部３１に記憶された移動量ベクトル分布テーブルを利用して、上記上記移動量および移動方向を設定している。
【００５０】
移動量ベクトル分布テーブルは、各制御点ＣＰをどの程度移動させることが好ましいかを予め定義した対象物の移動量ベクトル分布モデルより生成される。移動量ベクトル分布テーブルは、顔輪郭が顔の中心に向かって移動するように移動方向が予め設定されている。
【００５１】
図８は、顔画像に対する移動量ベクトル分布テーブルの有無を示すものである。図示において、黒色の領域は、移動量がゼロであり、移動量ベクトルが存在しない領域を示しており、白色の領域は、移動量が非ゼロであり、移動量ベクトルが存在する領域を示している。図示のように、移動量ベクトルは顔画像の顎付近に存在している。従って、移動量ベクトル分布テーブルは、顔画像の顎付近の変形度合いを定義するものとなっている。
【００５２】
移動量ベクトル分布テーブルは、顔画像の特徴点（例えば、こめかみおよび顎の下端点など）との位置関係が決められており、検出された顔の領域ＦＡに適合するように、リサイズ（resize）および回転を行う。このリサイズは以下のように行われる。なお、移動量ベクトル分布テーブルは、ｘ軸方向の移動量を示すテーブルと、ｙ軸方向の移動量を示すテーブルとを有している。以下では、ｘ軸方向の移動量を示すテーブルについて説明するが、ｙ軸方向の移動量を示すテーブルも同様である。
【００５３】
図９〜図１１は、移動量ベクトル分布テーブルのｘ軸方向の移動量を示すテーブルの一例を示している。図９〜図１１において、左上側にはリサイズ前のテーブルＭＴxを記載しており、下側にはリサイズ後のテーブルＭＴx´を記載している。また、ｘ座標は左右対称軸を０とする相対座標を利用している。
【００５４】
ところで、顔はほぼ左右対称である。従って、図示のように、実際のテーブルＭＴxは、図８に示す白い領域のうち、左右何れかの領域にのみデータを有しており、実際に利用される時に、残りの領域のデータが算出される。
【００５５】
まず、テーブルＭＴxの１行目から１つずつ順にデータ値を読み込み、リサイズ後のテーブルＭＴx´にデータ値を書き込む。このとき、リサイズ後の座標は、元のＭＴxの座標のｎ倍（ｎ≠０）の値を整数化した値とする。また、左右に対称な座標にも同じ値をコピーする。但し、図９に示すようなｘ軸方向の移動量であれば符号を逆転させる。ｘ軸方向にｎ倍のリサイズであればデータ値もｎ倍する。
【００５６】
テーブルＭＴxを拡大する場合、１行目のデータ値の書込みが終わった後、データ値の書き込まれていない座標が存在する。この場合、書き込まれている座標のデータ値を用いて線形補間によりデータ値を埋めればよい。図１０は、テーブルＭＴx´において１行目のデータ値の書込みが完了した状態を示している。
【００５７】
テーブルＭＴxの２行目以降についても同様の処理を繰り返せばよい。なお、テーブルＭＴxを拡大する場合、データ値が書き込まれていないラインが発生する。この場合、データ値が書き込まれていないラインについては、上下のデータ値が書き込まれているラインのデータ値を用いて線形補間によりデータ値を埋めればよい。図１１は、テーブルＭＴxの１・２行目のデータ値を利用して、テーブルＭＴx´の１〜３行目のデータ値の書込みが完了した状態を示している。このようにして、各制御点ＣＰにおける移動量ベクトルを算出すればよい。
【００５８】
図１に戻って、格子点設定部２４は、制御点ＣＰに関係なく、顔画像の領域を格子状に分割して、格子点ＧＤを設定する。例えば、顔の中心を原点とし、（２Ｎ＋１）本のｙ軸に平行な直線ｘ＝ｌ×Ｍ（ｌは−Ｎ〜Ｎの整数）と、（２Ｎ＋１）本のｘ軸に平行な直線ｙ＝ｍ×Ｍ（ｍは−Ｎ〜Ｎの整数）により顔画像の領域を分割すればよい。なお、Ｍは隣り合う直線同士の画素数となる。
【００５９】
さらに、格子点設定部２４は、制御点設定部２３からの各制御点ＣＰの位置情報、並びに、移動量および移動方向（実際にはｘ軸方向の移動量とｙ軸方向の移動量）に基づいて、各格子点ＧＤの移動量および移動方向を算出するものである。格子点設定部２４は、各格子点ＧＤの位置情報、並びに移動量および移動方向を画像変形部２５に送信する。
【００６０】
画像変形部２５は、格子点設定部２４からの各格子点ＧＤの位置情報、並びに移動量および移動方向に基づいて、格子状に分割された画像領域、すなわち４つの格子点ＧＤを頂点とする画像領域を変形することにより、撮影画像を変形するものである。画像変形部２５は、変形された撮影画像を表示するように表示部１５を制御する。
【００６１】
なお、画像変形部２５は、下記の３つの条件を設定し、何れの条件を満たすかにより処理を切り替えることが望ましい。すなわち、
第１の条件：画像領域における４つの格子点ＧＤの移動量ベクトルの大きさの最大値が、第１の所定値未満である場合、
第２の条件：上記４つの格子点ＧＤの移動量ベクトルの大きさの最大値が、第１の所定値以上であり、かつ第２の所定値未満である場合、
第３の条件：上記４つの格子点ＧＤの移動量ベクトルの大きさの最大値が、第２の所定値以上である場合。
【００６２】
第１の条件を満たす画像領域は、各格子点ＧＤの移動量が小さく、顔の輪郭から離れていると考えられ、ピクセルの移動量も全て小さいので、変形前の画像と変形後の画像との差はほとんど無いと考えられる。このため、第１の条件を満たす画像領域では画像変形の処理をスキップする。これにより、処理の高速化を図ることができる。
【００６３】
次に、第２の条件を満たす画像領域は、顔の輪郭から少し離れているが、変形後の画像に対する違和感を無くすために、画像変形を行うことが望ましいと考えられる。但し、変形後の画像の画質への影響は小さいと考えられるため、線形補間により画像変形を行う。
【００６４】
そして、第３の条件を満たす画像領域は、顔の輪郭付近であり、変形の度合いが最も大きいと考えられる。従って、線形補間により画像変形を行った場合、変形後の画像が不自然なものになる虞があるので、高次補間により画像変形を行う。これらの処理を行うことにより、画像変形による画質の低下を抑制しつつ、画像変形の処理の高速化を図ることができる。
【００６５】
なお、本実施形態では、上記３つの条件において、４つの格子点ＧＤの移動量ベクトルの大きさの最大値が利用されているが、最小値、平均値など、任意の統計値を利用することができる。
【００６６】
図１２は、上記構成のデジタルカメラ１０における画像変形の処理動作を示している。図示のように、まず、画像取得部２０が取得した撮影画像ＣＩを利用して、顔検出部２１が顔（対象物）の領域ＦＡを検出し（Ｓ１０）、検出された顔の領域ＦＡに基づいて、特徴点検出部２２が顔の特徴点ＦＰを検出する（Ｓ１１）。
【００６７】
次に、検出された顔の特徴点ＦＰに基づいて、制御点設定部２３が、制御点ＣＰを設定し（Ｓ１２）、各制御点ＣＰの移動量（ベクトル）を設定する（Ｓ１３）。次に、格子点設定部２４が、顔画像の領域を格子状の小領域に分割し（Ｓ１４）、設定された制御点ＣＰとその移動量とに基づいて、各格子点ＧＤの移動量（ベクトル）を算出する（Ｓ１５）。
【００６８】
次に、画像変形部２５は、整数ｉを０に初期化し（Ｓ１６）、整数ｉが小領域の数Ｎsを超えるまで以下の処理を繰り返す（Ｓ１７）。すなわち、画像変形部２５は、ｉ番目の小領域における４つの格子点ＧＤの移動量（ベクトル）を取得し（Ｓ１８）、取得された移動量（ベクトル）の絶対値の最大値が第１の所定値未満である場合（Ｓ１９にてＹＥＳ）、画像変形部２５は、画像変形の処理を省略して、Ｓ２３に進む。
【００６９】
一方、取得された移動量（ベクトル）の絶対値の最大値が第１の所定値以上であり、かつ、第２の所定値未満である場合（Ｓ１９にてＮＯ、Ｓ２０にてＹＥＳ）、画像変形部２５は、線形補間による画像変形を行い（Ｓ２１）、その後、Ｓ２３に進む。一方、取得された移動量（ベクトル）の絶対値の最大値が第２の所定値以上である場合（Ｓ１９にてＮＯ、Ｓ２０にてＮＯ）、画像変形部２５は、高次補間による画像変形を行い（Ｓ２２）、その後、Ｓ２３に進む。Ｓ２３では、整数ｉを１つ増分して、Ｓ１７に戻る。
【００７０】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００７１】
例えば、上記実施形態では、本発明を人の顔画像の変形に適用しているが、人の目・鼻・口などの器官、人の全身、動物、壺など、特有の形状を有し、該形状を特徴付ける特徴点を抽出可能な物体であれば、任意の物体の画像の変形に適用することができる。
【００７２】
また、上記実施形態では、本発明をデジタルカメラに適用しているが、カメラ付携帯電話機、カメラを取り付けたＰＣなど、撮影機能を有する任意の電子機器に適用することができる。さらに、撮影機能を有していなくても、撮影画像のデータを、有線通信、無線通信、通信ネットワーク、着脱可能な記録媒体などを介して取得する機能を有する任意の電子機器に適用することができる。特に、本発明は、従来技術に比べて、処理負担が軽減されるので、小型の電子機器に好適である。
【００７３】
最後に、デジタルカメラ１０の各ブロック、特に制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００７４】
すなわち、デジタルカメラ１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカメラ１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、デジタルカメラ１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００７５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００７６】
また、デジタルカメラ１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【産業上の利用可能性】
【００７７】
以上のように、本発明に係る画像変形装置は、画像変形にて利用される格子点が、画像の特徴情報に応じて配置される制御点に関係なく設定されるので、撮影画像における対象物の傾きに応じて制御点を傾けて配置しても、格子点を傾けて配置する必要が無く、上記格子点を頂点とする四角形の画像領域も傾けて配置する必要が無くなるので、撮影画像を取得可能な任意の電子機器に適用することができる。
【符号の説明】
【００７８】
１０ デジタルカメラ（電子機器）
１１ 制御部（画像変形装置）
１２ 記憶部
１３ 撮影部
１４ 操作部
１５ 表示部
２０ 画像取得部（取得手段）
２１ 顔検出部
２２ 特徴点検出部（検出手段）
２３ 制御点設定部（制御点設定手段）
２４ 格子点設定部（格子点設定手段）
２５ 画像変形部（画像変形手段）
３０ 画像記憶部
３１ テーブル記憶部
ＣＩ 撮影画像
ＦＰ 特徴点（特徴情報）
ＣＰ 制御点
ＭＶ 移動量ベクトル（制御点の移動情報）
ＧＤ 格子点
ＭＶｇ 移動量ベクトル（格子点の移動情報）
ＭＴx テーブル
【技術分野】
【０００１】
本発明は、対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形装置、電子機器、画像変形方法、および画像変形プログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ、カメラ付き携帯電話機などのデジタル撮影装置において、ハードウェアの多機能化および高機能化が進んだことにより、ソフトウェアの多機能化および高機能化により商品の差別化を図る傾向にある。このソフトウェアの多機能化および高機能化の一例としては、また、撮影した顔画像における顔の一部の形状を拡大または縮小することにより、小顔にしたり、滑稽な顔にしたりする顔変形機能が挙げられる。
【０００３】
この顔変形機能の従来技術としては、特許文献１〜３が挙げられる。特許文献１に記載の画像処理装置では、対象画像から顔画像を検出し、検出した顔画像に対し、変形の種類に対応付けられた所定の配置パターンに従って、複数の分割点を配置し、分割点を移動することにより、分割点で囲まれた領域を変形することによって上記顔画像を変形している。
【０００４】
また、特許文献２に記載の画像処理装置では、人物の画像から顔領域を抽出し、抽出された顔領域から上記人物の輪郭を検出し、検出された上記人物の顔の輪郭に基づいて上記人物の顔の形を分類し、分類された上記人物の顔の形の種類に基づき、上記人物の顔の輪郭を補正している。また、特許文献３に記載の顔画像変形装置では、人の顔および首の画像上に点を配置し、上記点からメッシュを生成して重畳し、上記点のそれぞれに対し、歪みベクトルを適用して再配置することにより、上記メッシュが変形されて顔画像が変形される。
【０００５】
以上のように、従来の顔変形機能では、対象画像から顔画像を検出し、検出した顔画像に応じて、分割点または顔の輪郭を配置し、これを変形の種類に応じて移動させることにより、上記分割点または顔の輪郭で囲まれた領域を変形している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４２８０７号公報（２００８年１０月０９日公開）
【特許文献２】特開２００４−２６４８９３号公報（２００４年０９月２４日公開）
【特許文献３】米国特許出願公開第２００８／０１７４７９５号明細書（２００８年０７月２４日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術においては、検出された顔画像に応じて分割点または顔の輪郭を配置するため、顔画像における顔が傾いている場合、該顔の傾きに応じて、上記分割点または顔の輪郭を回転させる必要がある。このため、上記分割点または顔の輪郭で囲まれた領域の境界を算出し、画像のピクセルが何れの領域に含まれるかをピクセルごとに判定する必要がある。その結果、処理すべき量が多くなってしまい、特に、デジタルカメラやカメラ付き携帯電話機などの小型機器で上記顔変形機能を実行させようとした場合には、処理時間が問題となってしまう。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、処理負担を軽減できる画像変形装置などを提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る画像変形装置は、対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形装置であって、上記課題を解決するために、上記対象物の撮影画像を取得する取得手段と、該取得手段が取得した対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出手段と、該検出手段が検出した特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定手段と、上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定手段が設定した制御点およびその移動情報に基づいて設定する格子点設定手段と、該格子点設定手段が設定した格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形手段とを備えることを特徴としている。
【００１０】
また、本発明に係る画像変形方法は、対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形方法であって、上記課題を解決するために、上記対象物の撮影画像を取得する取得ステップと、該取得ステップにて取得された対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出ステップと、該検出ステップにて検出された特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定ステップと、上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定ステップにて設定された制御点およびその移動情報に基づいて設定する格子点設定ステップと、該格子点設定ステップにて設定された格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形ステップとを含むことを特徴としている。
【００１１】
ここで、変形の種類の例としては、小顔変形などが挙げられる。また、特徴情報の例としては、特徴情報の例としては、顔画像であれば、目尻、目頭、口端点、顔中心点、あご端点、こめかみなどが挙げられる。
【００１２】
上記構成および方法によると、対象物の撮影画像を取得すると、取得された対象物の撮影画像から、該対象物を特徴付ける特徴情報を検出し、検出された特徴情報と、変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する。一方、制御点に関係なく、撮影画像に格子点を設定する。次に、設定され格子点の移動情報を、上記制御点およびその移動情報に基づいて設定する。そして、設定された格子点の移動情報に基づいて、格子点を頂点とする四角形の画像領域を変形する。これにより、対象物の画像が変形される。
【００１３】
このように、本発明では、画像変形にて利用される格子点は、画像の特徴情報に応じて配置される制御点に関係なく設定されている。これにより、撮影画像における対象物の傾きに応じて制御点を傾けて配置しても、格子点は傾けて配置する必要が無く、上記格子点を頂点とする四角形の画像領域も傾けて配置する必要が無い。従って、画像のピクセルが上記画像領域の何れに含まれるかを容易に判定することができ、処理負担を軽減することができる。
【００１４】
なお、上記変形のための制御点の移動量は、例えば、各制御点についてどの程度移動させることが好ましいかを予め学習することにより、対象物の移動量ベクトル分布モデルを生成し、生成したモデルを、上記対象物の特徴点にフィッティングさせて決定すればよい。また、ユーザが各制御点の移動量を手動で設定して記憶してもよい。
【００１５】
また、上記変形のための格子点の移動量は、上記制御点の移動量の情報を用いて、例えば、３次のＢスプライン関数を用いる等、一般的に用いられる補間処理により求めればよい。通常は、高次補間を用いるのが望ましいが、上述の制御点と同様に、移動量ベクトル分布モデルを生成しておけば、制御点の移動量とモデルの移動量との関係から線形的に算出することができる。
【００１６】
ところで、一般に、画像中の対象物を変形する処理は、変形の対象領域すべてのピクセルが移動対象となるため、変形の対象領域のピクセル数に比例して処理時間も増えることになる。例えば、３０万画素（６４０ピクセル×４８０ライン）の画像での処理時間が１秒とすると、２００万画素（１６００ピクセル×１２００ライン）の画像では処理時間が６．２５秒となり、５００万画素（２５６０ピクセル×１９２０ライン）の画像では処理時間が１６秒となり、１２００万画素（４０００ピクセル×３０００ライン）の画像では処理時間が３９秒となり、実用的な処理時間ではなくなってしまうと考えられる。従って、ピクセル数が増えても実用的な処理時間を維持できることが望まれる。
【００１７】
そこで、本発明に係る画像変形装置では、上記画像変形手段は、対象となる画像領域に含まれる格子点の移動すべき量の統計値が第１の所定値よりも少ない場合、当該画像領域の変形を省略することが好ましい。
【００１８】
この場合、処理の高速化および処理時間の短縮を図ることができる。なお、第１の所定値としては、当該画像領域を変形したとしても、変形前の画像と変形後の画像との差をほとんど視認できないような場合の上記統計値の上限に設定することが望ましい。この場合、当該画像領域の変形を省略しても、処理後の画像の画質にほとんど影響を与えることがない。なお、統計値としては、最大値、最小値、平均値などが挙げられる。
【００１９】
さらに、本発明に係る画像変形装置では、上記画像変形手段は、対象となる画像領域に含まれる格子点の移動すべき量の統計値が第１の所定値以上であり、かつ第２の所定値よりも少ない場合、当該画像領域の変形を線形補間により行う一方、上記格子点の移動すべき量が第２の所定値以上である場合、当該画像領域の変形を高次補間により行うことが好ましい。
【００２０】
この場合、高次補間の代わりに線形補間を利用することにより、処理の高速化および処理時間の短縮をさらに図ることができる。なお、第２の所定値としては、変形前の画像と変形後の画像との差を視認できるが、画質への影響が小さいような場合の上記統計値の上限に設定することが望ましい。この場合、当該画像領域の変形を線形補間により行っても、処理後の画像の画質にほとんど影響を与えることがない。
【００２１】
なお、上記構成の画像変形装置を備えた電子機器でも、上述の作用効果を奏することができる。また、上記画像変形方法における各ステップを、画像変形プログラムによりコンピュータに実行させることができる。さらに、上記画像変形プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記画像変形プログラムを実行させることができる。
【発明の効果】
【００２２】
以上のように、本発明に係る画像変形装置は、画像変形にて利用される格子点が、画像の特徴情報に応じて配置される制御点に関係なく設定されるので、撮影画像における対象物の傾きに応じて制御点を傾けて配置しても、格子点を傾けて配置する必要が無く、上記格子点を頂点とする四角形の画像領域も傾けて配置する必要が無く、その結果、画像のピクセルが上記画像領域の何れに含まれるかを容易に判定することができ、処理負担を軽減することができるという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態であるデジタルカメラの概略構成を示すブロック図である。
【図２】上記実施形態における小顔変形の概要を示す図である。
【図３】上記小顔変形の概要を示す図である。
【図４】上記小顔変形の概要を示す図である。
【図５】上記小顔変形の概要を示す図である。
【図６】上記小顔変形の概要を示す図である。
【図７】上記小顔変形の概要を示す図である。
【図８】上記デジタルカメラの記憶部に記憶される移動量ベクトル分布テーブルの顔画像に対する有無を示す図である。
【図９】上記移動量ベクトル分布テーブルのｘ軸方向の移動量を示すテーブルの一例を示す図である。
【図１０】上記ｘ軸方向の移動量を示すテーブルの一例を示す図である。
【図１１】上記ｘ軸方向の移動量を示すテーブルの一例を示す図である。
【図１２】上記デジタルカメラにおける画像変形の処理動作を示すフローチャートである。
【発明を実施するための形態】
【００２４】
本発明の一実施形態について図１〜図１２を参照して説明する。図１は、本実施形態であるデジタルカメラの概略構成を示している。図示のように、デジタルカメラ（電子機器）１０は、制御部（画像変形装置）１１、記憶部１２、撮影部１３、操作部１４、および表示部１５を備える構成である。
【００２５】
制御部１１は、デジタルカメラ１０内における各種構成の動作を統括的に制御する。制御部１１は、例えばＣＰＵ（Central Processing Unit）およびメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。このプログラムは、例えばフラッシュメモリなどのリムーバブルメディアに記録されているものを読み込んで使用する形態であってもよいし、ハードディスクなどにインストールされたものを読み込んで使用する形態であってもよい。また、上記プログラムをダウンロードしてハードディスクなどにインストールして実行する形態なども考えられる。なお、制御部１１の詳細については後述する。
【００２６】
記憶部１２は、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの不揮発性の記憶装置と、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置とによって構成されるものである。不揮発性の記憶装置に記憶される内容としては、上記した制御プログラム、ＯＳ（operating system）プログラム、その他の各種プログラム、後述する撮影画像のデータ、などが挙げられる。一方、揮発性の記憶装置に記憶される内容としては、作業用ファイル、テンポラリファイルなどが挙げられる。なお、記憶部１２の詳細については後述する。
【００２７】
撮影部１３は、被写体の撮影を行うものであり、例えばレンズ群、絞り、撮像素子などの光学系と、アンプ、Ａ／Ｄコンバータなどの回路系とを備えている。撮像素子の例としては、ＣＣＤ、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどが挙げられる。撮影部１３は、上記撮影により撮影画像を生成し、撮影画像のデータに変換して制御部１１に送信する。
【００２８】
操作部１４は、ユーザの操作によりユーザから各種の入力を受け付けるものであり、入力用ボタン、タッチパネル、その他の入力デバイスによって構成されている。操作部１４は、ユーザが操作した情報を操作データに変換して制御部１１に送信する。なお、入力デバイスの他の例としては、キーボードと、テンキーと、マウスなどのポインティングデバイスとが挙げられる。
【００２９】
表示部１５は、制御部１１からの画像データに基づいて、文字や画像などの各種の情報を表示出力するものである。表示部１５は、ＬＣＤ（液晶表示素子）、ＣＲＴ（陰極線管）、プラズマディスプレイなどの表示デバイスによって構成されている。
【００３０】
本実施形態では、正面を向いた顔画像の顔がすっきりと小さく見えるように、顔の輪郭、特に顎付近を変形させる、いわゆる小顔変形を実行している。図２〜図７は、本実施形態における小顔変形の概要を示している。
【００３１】
まず、撮影部１３または記憶部１２から撮影画像ＣＩのデータを取得すると、図２の（ａ）に示すように、撮影画像ＣＩにおける顔の領域ＦＡを検出する。図示の例では、顔の領域ＦＡは、黒枠で囲まれた領域である。
【００３２】
次に、検出された顔の領域ＦＡから、図２の（ｂ）に示すように、顔の特徴点（特徴情報）ＦＰを検出する。なお、顔の特徴点ＦＰには、目、口、鼻など、顔の器官を特徴付ける顔器官点も含まれる。目の顔器官点としては、目頭、目尻、目の中心点などが挙げられ、口の顔器官点としては、口の端点、口の中心点などが挙げられ、鼻の顔器官点としては、鼻の中心点などが挙げられる。なお、全ての特徴点を検出する必要は無く、小顔変形に関係のある顔の特徴点ＦＰを検出すればよい。図２の（ｂ）に示す例では、特徴点ＦＰとして、目尻、目頭、口の端点、顔の中心点、顎の端点、こめかみを検出している。
【００３３】
次に、検出された顔の特徴点ＦＰに基づいて、図２の（ｃ）に示すように、制御点ＣＰが撮影画像ＣＩに配置される。具体的には、制御点ＣＰは、撮影画像ＣＩにおいて変形対象となる領域（例えば、顔、鼻、目など）の輪郭上に配置される。小顔変形の例では、顎の下端、こめかみ、および顎のえらなどを制御点ＣＰとすればよい。なお、特徴点ＦＰの幾つかを制御点ＣＰとしてもよい。図示の例では、制御点ＣＰは、小顔変形の対象となる、顎からこめかみにかけての顔の輪郭上に配置される。また、顎の端点の特徴点ＦＰを制御点ＣＰとしている。
【００３４】
なお、制御点ＣＰの配置のパターンは、変形の種類によって予め定められている。また、制御点ＣＰの配置方法は、対象となる輪郭線を検出することにより行う方法、輪郭線モデルを生成する方法などの中から選択される。
【００３５】
次に、図３に示すように、配置された制御点ＣＰごとに、小顔変形で移動すべき移動量および移動方向を決定する。例えば、配置された制御点ＣＰに対し移動量テーブルをフィッティングすることにより、上記移動量および移動方向を決定することができる。
【００３６】
図３に示す例では、決定された移動量および移動方向を移動量ベクトル（制御点の移動情報）ＭＶで示している。各制御点ＣＰにおける移動量ベクトルＭＶは、当該制御点ＣＰから顔の中心点（鼻の頂点）の特徴点ＦＰまでのベクトルに比例しており、比例定数は、小顔変形に適合するように、制御点ＣＰごとに設定されている。図示の例では、両側の制御点ＣＰにおいて比例定数が大きく、すなわち移動量が多く設定され、下側の制御点ＣＰにおいて比例定数が小さく、すなわち移動量が少なく設定されている。
【００３７】
次に、制御点ＣＰとは別に、図４に示すように、変形対象となる領域を少なくとも含む領域に格子点ＧＤを設定する。なお、格子点ＧＤは、ピクセルの座標軸と平行であることが望ましい。この場合、４つの格子点ＧＤを頂点とする何れの画像領域にピクセルが含まれるかを容易に判定することができる。
【００３８】
次に、制御点ＣＰの移動量ベクトルＭＶに基づいて、図５に示すように、格子点ＧＤにおける移動量および移動方向を算出する。図示の例では、算出された移動量および移動方向を移動量ベクトル（格子点の移動情報）ＭＶｇで示している。
【００３９】
各格子点ＧＤにおける移動方向は、各制御点ＣＰにおける移動方向と同様に、当該格子点ＧＤから顔の中心点の特徴点ＦＰに向かう方向となる。また、各格子点ＧＤにおける移動量は、当該格子点ＧＤ付近の制御点ＣＰの移動量ベクトルＭＶの分布から、３次Ｂ−スプライン関数などの高次補間を利用して算出される。例えば、隣接する格子点ＧＤ間の距離を１として、当該格子点ＧＤから制御点ＣＰまでの距離に基づき移動量を算出する。
【００４０】
次に、図６の（ａ）に示すように、４つの格子点ＧＤを頂点とする画像領域を、同図の（ｂ）に示すように、当該４つの格子点ＧＤにおける移動量および移動方向に基づいて変形する。その結果、図７に示すように、小顔変形の行われた撮影画像ＣＩ´が作成され、表示部１５を介して表示出力される。なお、上記画像領域内の各ピクセルの移動量および移動方向は、上記４つの格子点ＧＤにおける移動量および移動方向に基づき補間を利用して算出することができる。
【００４１】
なお、上記４つの格子点ＧＤにおける移動量が所定値以下である場合、上記４つの格子点ＧＤを頂点とする画像領域の変形を省略することが望ましい。この場合、変形処理が行われる画像領域を減らすことができるので、処理を高速化することができる。
【００４２】
また、上記４つの格子点ＧＤの何れかの移動量または輝度差が所定値以上である場合、高次の補間を利用して、上記画像領域内の各ピクセルの移動量および移動方向を算出することが望ましい。この場合、上記画像領域の画像を精度よく変形することにより、画像の変形による画質の低下を抑制することができる。
【００４３】
これにより、本実施形態のデジタルカメラ１０は、画像変形にて利用される格子点ＧＤは、画像の特徴情報に応じて配置される制御点ＣＰに関係なく設定されている。これにより、撮影画像ＣＩにおける顔の傾きに応じて制御点ＣＰを傾けて配置しても、格子点ＧＤは傾けて配置する必要が無く、上記格子点ＧＤを頂点とする四角形の画像領域も傾けて配置する必要が無い。従って、画像のピクセルが上記画像領域の何れに含まれるかを容易に判定することができ、処理負担を軽減することができる。
【００４４】
次に、制御部１１および記憶部１２の詳細について説明する。図１に示すように、制御部１１は、画像取得部（取得手段）２０、顔検出部２１、特徴点検出部（検出手段）２２、制御点設定部（制御点設定手段）２３、格子点設定部（格子点設定手段）２４、および画像変形部（画像変形手段）２５を備える構成である。また、記憶部１２は、撮影画像のデータを記憶する画像記憶部３０、および、移動量ベクトル分布テーブル（配置パターン、移動パターン）を記憶するテーブル記憶部３１を備える構成である。
【００４５】
画像取得部２０は、撮影部１３からの撮影画像ＣＩのデータを取得するものである。画像取得部２０は、取得した撮影画像ＣＩのデータを画像記憶部３０に記憶する。本実施形態では、画像取得部２０は、撮影部１３または画像記憶部３０から取得した撮影画像ＣＩのデータを顔検出部２１および特徴点検出部２２に送信する。
【００４６】
顔検出部２１は、画像取得部２０からの撮影画像ＣＩのデータを用いて、撮影画像ＣＩから顔の領域ＦＡを検出するものである（図２の（ａ））。顔検出部２１は、検出した顔の領域ＦＡの位置情報を特徴点検出部２２に送信する。なお、顔の領域ＦＡの検出手法としては、テンプレートマッチングを利用したり、肌色領域を検出したり、顔の輪郭を検出したりするなど、公知の技術を利用することができる。
【００４７】
特徴点検出部２２は、画像取得部２０からの撮影画像ＣＩのデータと、顔検出部２１からの顔の領域ＦＡの位置情報とを利用して、顔の特徴点ＦＰを検出するものである（図２の（ｂ））。特徴点検出部２２は、検出した顔の特徴点ＦＰの位置情報を制御点設定部２３に送信する。なお、顔の特徴点ＦＰの検出手法としては、エッジを抽出するなど、公知の技術を利用することができる。
【００４８】
制御点設定部２３は、特徴点検出部２２からの顔の特徴点ＦＰの位置情報に基づいて、制御点ＣＰを設定するものである（図２の（ｃ））。さらに、制御点設定部２３は、設定された制御点ＣＰごとに、小顔変形で移動すべき移動量および移動方向を設定するものである（図３）。制御点設定部２３は、設定された制御点ＣＰの位置情報と、設定された移動量および移動方向とを格子点設定部２４に送信する。
【００４９】
ここで、上記移動量および移動方向の設定の詳細について、図８〜図１１を参照して説明する。本実施形態では、制御点設定部２３は、テーブル記憶部３１に記憶された移動量ベクトル分布テーブルを利用して、上記上記移動量および移動方向を設定している。
【００５０】
移動量ベクトル分布テーブルは、各制御点ＣＰをどの程度移動させることが好ましいかを予め定義した対象物の移動量ベクトル分布モデルより生成される。移動量ベクトル分布テーブルは、顔輪郭が顔の中心に向かって移動するように移動方向が予め設定されている。
【００５１】
図８は、顔画像に対する移動量ベクトル分布テーブルの有無を示すものである。図示において、黒色の領域は、移動量がゼロであり、移動量ベクトルが存在しない領域を示しており、白色の領域は、移動量が非ゼロであり、移動量ベクトルが存在する領域を示している。図示のように、移動量ベクトルは顔画像の顎付近に存在している。従って、移動量ベクトル分布テーブルは、顔画像の顎付近の変形度合いを定義するものとなっている。
【００５２】
移動量ベクトル分布テーブルは、顔画像の特徴点（例えば、こめかみおよび顎の下端点など）との位置関係が決められており、検出された顔の領域ＦＡに適合するように、リサイズ（resize）および回転を行う。このリサイズは以下のように行われる。なお、移動量ベクトル分布テーブルは、ｘ軸方向の移動量を示すテーブルと、ｙ軸方向の移動量を示すテーブルとを有している。以下では、ｘ軸方向の移動量を示すテーブルについて説明するが、ｙ軸方向の移動量を示すテーブルも同様である。
【００５３】
図９〜図１１は、移動量ベクトル分布テーブルのｘ軸方向の移動量を示すテーブルの一例を示している。図９〜図１１において、左上側にはリサイズ前のテーブルＭＴxを記載しており、下側にはリサイズ後のテーブルＭＴx´を記載している。また、ｘ座標は左右対称軸を０とする相対座標を利用している。
【００５４】
ところで、顔はほぼ左右対称である。従って、図示のように、実際のテーブルＭＴxは、図８に示す白い領域のうち、左右何れかの領域にのみデータを有しており、実際に利用される時に、残りの領域のデータが算出される。
【００５５】
まず、テーブルＭＴxの１行目から１つずつ順にデータ値を読み込み、リサイズ後のテーブルＭＴx´にデータ値を書き込む。このとき、リサイズ後の座標は、元のＭＴxの座標のｎ倍（ｎ≠０）の値を整数化した値とする。また、左右に対称な座標にも同じ値をコピーする。但し、図９に示すようなｘ軸方向の移動量であれば符号を逆転させる。ｘ軸方向にｎ倍のリサイズであればデータ値もｎ倍する。
【００５６】
テーブルＭＴxを拡大する場合、１行目のデータ値の書込みが終わった後、データ値の書き込まれていない座標が存在する。この場合、書き込まれている座標のデータ値を用いて線形補間によりデータ値を埋めればよい。図１０は、テーブルＭＴx´において１行目のデータ値の書込みが完了した状態を示している。
【００５７】
テーブルＭＴxの２行目以降についても同様の処理を繰り返せばよい。なお、テーブルＭＴxを拡大する場合、データ値が書き込まれていないラインが発生する。この場合、データ値が書き込まれていないラインについては、上下のデータ値が書き込まれているラインのデータ値を用いて線形補間によりデータ値を埋めればよい。図１１は、テーブルＭＴxの１・２行目のデータ値を利用して、テーブルＭＴx´の１〜３行目のデータ値の書込みが完了した状態を示している。このようにして、各制御点ＣＰにおける移動量ベクトルを算出すればよい。
【００５８】
図１に戻って、格子点設定部２４は、制御点ＣＰに関係なく、顔画像の領域を格子状に分割して、格子点ＧＤを設定する。例えば、顔の中心を原点とし、（２Ｎ＋１）本のｙ軸に平行な直線ｘ＝ｌ×Ｍ（ｌは−Ｎ〜Ｎの整数）と、（２Ｎ＋１）本のｘ軸に平行な直線ｙ＝ｍ×Ｍ（ｍは−Ｎ〜Ｎの整数）により顔画像の領域を分割すればよい。なお、Ｍは隣り合う直線同士の画素数となる。
【００５９】
さらに、格子点設定部２４は、制御点設定部２３からの各制御点ＣＰの位置情報、並びに、移動量および移動方向（実際にはｘ軸方向の移動量とｙ軸方向の移動量）に基づいて、各格子点ＧＤの移動量および移動方向を算出するものである。格子点設定部２４は、各格子点ＧＤの位置情報、並びに移動量および移動方向を画像変形部２５に送信する。
【００６０】
画像変形部２５は、格子点設定部２４からの各格子点ＧＤの位置情報、並びに移動量および移動方向に基づいて、格子状に分割された画像領域、すなわち４つの格子点ＧＤを頂点とする画像領域を変形することにより、撮影画像を変形するものである。画像変形部２５は、変形された撮影画像を表示するように表示部１５を制御する。
【００６１】
なお、画像変形部２５は、下記の３つの条件を設定し、何れの条件を満たすかにより処理を切り替えることが望ましい。すなわち、
第１の条件：画像領域における４つの格子点ＧＤの移動量ベクトルの大きさの最大値が、第１の所定値未満である場合、
第２の条件：上記４つの格子点ＧＤの移動量ベクトルの大きさの最大値が、第１の所定値以上であり、かつ第２の所定値未満である場合、
第３の条件：上記４つの格子点ＧＤの移動量ベクトルの大きさの最大値が、第２の所定値以上である場合。
【００６２】
第１の条件を満たす画像領域は、各格子点ＧＤの移動量が小さく、顔の輪郭から離れていると考えられ、ピクセルの移動量も全て小さいので、変形前の画像と変形後の画像との差はほとんど無いと考えられる。このため、第１の条件を満たす画像領域では画像変形の処理をスキップする。これにより、処理の高速化を図ることができる。
【００６３】
次に、第２の条件を満たす画像領域は、顔の輪郭から少し離れているが、変形後の画像に対する違和感を無くすために、画像変形を行うことが望ましいと考えられる。但し、変形後の画像の画質への影響は小さいと考えられるため、線形補間により画像変形を行う。
【００６４】
そして、第３の条件を満たす画像領域は、顔の輪郭付近であり、変形の度合いが最も大きいと考えられる。従って、線形補間により画像変形を行った場合、変形後の画像が不自然なものになる虞があるので、高次補間により画像変形を行う。これらの処理を行うことにより、画像変形による画質の低下を抑制しつつ、画像変形の処理の高速化を図ることができる。
【００６５】
なお、本実施形態では、上記３つの条件において、４つの格子点ＧＤの移動量ベクトルの大きさの最大値が利用されているが、最小値、平均値など、任意の統計値を利用することができる。
【００６６】
図１２は、上記構成のデジタルカメラ１０における画像変形の処理動作を示している。図示のように、まず、画像取得部２０が取得した撮影画像ＣＩを利用して、顔検出部２１が顔（対象物）の領域ＦＡを検出し（Ｓ１０）、検出された顔の領域ＦＡに基づいて、特徴点検出部２２が顔の特徴点ＦＰを検出する（Ｓ１１）。
【００６７】
次に、検出された顔の特徴点ＦＰに基づいて、制御点設定部２３が、制御点ＣＰを設定し（Ｓ１２）、各制御点ＣＰの移動量（ベクトル）を設定する（Ｓ１３）。次に、格子点設定部２４が、顔画像の領域を格子状の小領域に分割し（Ｓ１４）、設定された制御点ＣＰとその移動量とに基づいて、各格子点ＧＤの移動量（ベクトル）を算出する（Ｓ１５）。
【００６８】
次に、画像変形部２５は、整数ｉを０に初期化し（Ｓ１６）、整数ｉが小領域の数Ｎsを超えるまで以下の処理を繰り返す（Ｓ１７）。すなわち、画像変形部２５は、ｉ番目の小領域における４つの格子点ＧＤの移動量（ベクトル）を取得し（Ｓ１８）、取得された移動量（ベクトル）の絶対値の最大値が第１の所定値未満である場合（Ｓ１９にてＹＥＳ）、画像変形部２５は、画像変形の処理を省略して、Ｓ２３に進む。
【００６９】
一方、取得された移動量（ベクトル）の絶対値の最大値が第１の所定値以上であり、かつ、第２の所定値未満である場合（Ｓ１９にてＮＯ、Ｓ２０にてＹＥＳ）、画像変形部２５は、線形補間による画像変形を行い（Ｓ２１）、その後、Ｓ２３に進む。一方、取得された移動量（ベクトル）の絶対値の最大値が第２の所定値以上である場合（Ｓ１９にてＮＯ、Ｓ２０にてＮＯ）、画像変形部２５は、高次補間による画像変形を行い（Ｓ２２）、その後、Ｓ２３に進む。Ｓ２３では、整数ｉを１つ増分して、Ｓ１７に戻る。
【００７０】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００７１】
例えば、上記実施形態では、本発明を人の顔画像の変形に適用しているが、人の目・鼻・口などの器官、人の全身、動物、壺など、特有の形状を有し、該形状を特徴付ける特徴点を抽出可能な物体であれば、任意の物体の画像の変形に適用することができる。
【００７２】
また、上記実施形態では、本発明をデジタルカメラに適用しているが、カメラ付携帯電話機、カメラを取り付けたＰＣなど、撮影機能を有する任意の電子機器に適用することができる。さらに、撮影機能を有していなくても、撮影画像のデータを、有線通信、無線通信、通信ネットワーク、着脱可能な記録媒体などを介して取得する機能を有する任意の電子機器に適用することができる。特に、本発明は、従来技術に比べて、処理負担が軽減されるので、小型の電子機器に好適である。
【００７３】
最後に、デジタルカメラ１０の各ブロック、特に制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００７４】
すなわち、デジタルカメラ１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカメラ１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、デジタルカメラ１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００７５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００７６】
また、デジタルカメラ１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【産業上の利用可能性】
【００７７】
以上のように、本発明に係る画像変形装置は、画像変形にて利用される格子点が、画像の特徴情報に応じて配置される制御点に関係なく設定されるので、撮影画像における対象物の傾きに応じて制御点を傾けて配置しても、格子点を傾けて配置する必要が無く、上記格子点を頂点とする四角形の画像領域も傾けて配置する必要が無くなるので、撮影画像を取得可能な任意の電子機器に適用することができる。
【符号の説明】
【００７８】
１０ デジタルカメラ（電子機器）
１１ 制御部（画像変形装置）
１２ 記憶部
１３ 撮影部
１４ 操作部
１５ 表示部
２０ 画像取得部（取得手段）
２１ 顔検出部
２２ 特徴点検出部（検出手段）
２３ 制御点設定部（制御点設定手段）
２４ 格子点設定部（格子点設定手段）
２５ 画像変形部（画像変形手段）
３０ 画像記憶部
３１ テーブル記憶部
ＣＩ 撮影画像
ＦＰ 特徴点（特徴情報）
ＣＰ 制御点
ＭＶ 移動量ベクトル（制御点の移動情報）
ＧＤ 格子点
ＭＶｇ 移動量ベクトル（格子点の移動情報）
ＭＴx テーブル
【特許請求の範囲】
【請求項１】
対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形装置であって、
上記対象物の撮影画像を取得する取得手段と、
該取得手段が取得した対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出手段と、
該検出手段が検出した特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定手段と、
上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定手段が設定した制御点およびその移動情報に基づいて設定する格子点設定手段と、
該格子点設定手段が設定した格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形手段とを備えることを特徴とする画像変形装置。
【請求項２】
上記画像変形手段は、対象となる画像領域に含まれる格子点の移動すべき量の統計値が第１の所定値よりも少ない場合、当該画像領域の変形を省略することを特徴とする請求項１に記載の画像変形装置。
【請求項３】
上記画像変形手段は、対象となる画像領域に含まれる格子点の移動すべき量の統計値が第１の所定値以上であり、かつ第２の所定値よりも少ない場合、当該画像領域の変形を線形補間により行う一方、上記格子点の移動すべき量が第２の所定値以上である場合、当該画像領域の変形を高次補間により行うことを特徴とする請求項２に記載の画像変形装置。
【請求項４】
請求項１から３までの何れか１項に記載の画像変形装置を備えた電子機器。
【請求項５】
対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形方法であって、
上記対象物の撮影画像を取得する取得ステップと、
該取得ステップにて取得された対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出ステップと、
該検出ステップにて検出された特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定ステップと、
上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定ステップにて設定された制御点およびその移動情報に基づいて設定する格子点設定ステップと、
該格子点設定ステップにて設定された格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形ステップとを含むことを特徴とする画像変形方法。
【請求項６】
対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形装置を動作させるための画像変形プログラムであって、
上記対象物の撮影画像を取得する取得ステップと、
該取得ステップにて取得された対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出ステップと、
該検出ステップにて検出された特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定ステップと、
上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定ステップにて設定された制御点およびその移動情報に基づいて設定する格子点設定ステップと、
該格子点設定ステップにて設定された格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形ステップとをコンピュータに実行させるための画像変形プログラム。
【請求項１】
対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形装置であって、
上記対象物の撮影画像を取得する取得手段と、
該取得手段が取得した対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出手段と、
該検出手段が検出した特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定手段と、
上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定手段が設定した制御点およびその移動情報に基づいて設定する格子点設定手段と、
該格子点設定手段が設定した格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形手段とを備えることを特徴とする画像変形装置。
【請求項２】
上記画像変形手段は、対象となる画像領域に含まれる格子点の移動すべき量の統計値が第１の所定値よりも少ない場合、当該画像領域の変形を省略することを特徴とする請求項１に記載の画像変形装置。
【請求項３】
上記画像変形手段は、対象となる画像領域に含まれる格子点の移動すべき量の統計値が第１の所定値以上であり、かつ第２の所定値よりも少ない場合、当該画像領域の変形を線形補間により行う一方、上記格子点の移動すべき量が第２の所定値以上である場合、当該画像領域の変形を高次補間により行うことを特徴とする請求項２に記載の画像変形装置。
【請求項４】
請求項１から３までの何れか１項に記載の画像変形装置を備えた電子機器。
【請求項５】
対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形方法であって、
上記対象物の撮影画像を取得する取得ステップと、
該取得ステップにて取得された対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出ステップと、
該検出ステップにて検出された特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定ステップと、
上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定ステップにて設定された制御点およびその移動情報に基づいて設定する格子点設定ステップと、
該格子点設定ステップにて設定された格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形ステップとを含むことを特徴とする画像変形方法。
【請求項６】
対象となる物体である対象物の撮影画像の少なくとも一部を、所定の変形の種類に基づいて変形する画像変形装置を動作させるための画像変形プログラムであって、
上記対象物の撮影画像を取得する取得ステップと、
該取得ステップにて取得された対象物の撮影画像から、上記対象物を特徴付ける特徴情報を検出する検出ステップと、
該検出ステップにて検出された特徴情報と、上記変形の種類に対応する配置パターンおよび移動パターンとに基づいて、上記撮影画像に制御点およびその移動情報を設定する制御点設定ステップと、
上記撮影画像に格子点を設定し、設定した格子点の移動情報を、上記制御点設定ステップにて設定された制御点およびその移動情報に基づいて設定する格子点設定ステップと、
該格子点設定ステップにて設定された格子点の移動情報に基づいて格子点を移動させて、格子点を頂点とする四角形の画像領域を変形する画像変形ステップとをコンピュータに実行させるための画像変形プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２３３０７３（Ｐ２０１１−２３３０７３Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０５１５０（Ｐ２０１０−１０５１５０）
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
[ Back to top ]