画像合成装置、及び画像合成方法、画像合成プログラム
【課題】任意の人物の顔を他の人物の顔に似た顔に加工した場合に、違和感のない自然な顔の画像を得ることができる。
【解決手段】画像合成モードが設けられたデジタルカメラにおいて、画像合成モードが設定されているとき、ＣＰＵ６に、第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する処理と、設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する処理とを行わせ、生成した合成画像を表示部１３に表示させる。第１の画像に第２の画像を合成して合成画像を生成する際、合成画像に第１の画像の特徴として使用者が意図する程度の特徴が確保される。
【解決手段】画像合成モードが設けられたデジタルカメラにおいて、画像合成モードが設定されているとき、ＣＰＵ６に、第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する処理と、設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する処理とを行わせ、生成した合成画像を表示部１３に表示させる。第１の画像に第２の画像を合成して合成画像を生成する際、合成画像に第１の画像の特徴として使用者が意図する程度の特徴が確保される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば異なる２つの顔画像から新たな顔画像を生成する画像合成装置、及び画像合成方法、画像合成プログラムに関するものである。
【背景技術】
【０００２】
従来、２つの顔写真を掛け合わせて別の顔写真を作成し、利用者に提供するサービスがある（非特許文献１参照）。かかるサービスによれば、利用者は、自身の顔と著名人等の顔との合成画像を見て楽しむことができる。これは、映画等において使用されるモーフィング（morphing）と呼ばれるコンピュータグラフィックスの手法（以下、モーフィング合成処理という）を利用したもので、一方の顔画像から他方の顔画像へ変形する間の顔画像を補完する技術を用いて２つの顔の中間的な特徴を有する顔を生成するものである。係る技術を用いれば、自分の顔と、好みの有名人や芸能人の顔とを合成した顔を簡単に得ることができる。
【非特許文献１】Ｍｏｒｐｈ Ｔｈｉｎｇホームページ、[online]、インターネット＜ＵＲＬ：http://www.morphthing.com/＞
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の技術を用いれば任意の人物の顔を他の人物の顔に似た顔に加工した画像を容易に取得することができるが、上記の技術においては、例えば両者の顔の特徴が著しく異なっている場合には、新たに生成される合成画像が、例えばユーザの意図に反し元の顔の特徴が余り残っていない顔画像となってしまう場合も多い。係ることから、例えば任意の人物の顔を他の人物の顔に似た顔に加工したい場合には甚だ不便である等の問題があった。
【０００４】
本発明は、かかる従来の課題に鑑みてなされたものであり、任意の人物の顔を他の人物の顔に似た顔に加工した場合に、違和感のない自然な顔の画像を容易に得ることができる画像合成装置、及び画像合成方法、それらの実現に使用される画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため請求項１記載の発明に係る画像合成装置にあっては、第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する合成比率設定手段と、この合成比率設定手段により設定された合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成手段とを備えたことを特徴とする。
【０００６】
また、請求項２記載の発明に係る画像合成装置にあっては、前記第１の画像は第１の顔画像であり、かつ前記第２の画像は第２の顔画像であって、前記画像合成手段は、合成画像として第３の顔画像を生成することを特徴とする。
【０００７】
また、請求項３記載の発明に係る画像合成装置にあっては、前記第１の画像について前記第２の画像を合成する部位を使用者の要求に応じて設定する部位設定手段を備え、前記画像合成手段は、前記合成画像の生成に際し、前記第１の画像であって前記部位設定手段により設定された部位と、当該部位と対応する前記第２の画像の対応部位とを前記合成比率設定手段により設定された合成比率で合成することを特徴とする。
【０００８】
また、請求項４記載の発明に係る画像合成装置にあっては、前記部位設定手段は、使用者の要求に応じ、前記第１の画像について前記第２の画像を合成する部位を複数設定し、前記合成比率設定手段は、使用者の要求に応じ、前記第１の画像と前記第２の画像との合成比率を前記部位設定手段により設定された部位毎に設定する前記画像合成手段は、前記合成画像の生成に際し、前記第１の画像であって前記部位設定手段により設定された複数の部位と、当該複数の部位と対応する前記第２の画像の複数の対応部位とを、前記合成比率設定手段により部位毎に設定された合成比率で合成することを特徴とする。
【０００９】
また、請求項５記載の発明に係る画像合成装置にあっては、複数の所定の画像を記憶した画像記憶手段と、この画像記憶手段に記憶されている複数の画像の中で、前記第１の画像に類似する類似画像を前記第２の画像として抽出する類似画像抽出手段とをさらに備え、前記画像合成手段は、前記合成比率設定手段により設定された合成比率で、前記第１の画像と前記類似画像抽出手段により前記第２の画像として抽出された類似画像とを合成して合成画像を生成することを特徴とする。
【００１０】
また、請求項６記載の発明に係る画像合成装置にあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体の画像を記録する記憶手段とを備え、前記画像合成手段は、前記記憶手段に記録された画像に基づく前記第１の画像と前記第２の画像とを合成して合成画像を生成することを特徴とする。
【００１１】
また、請求項７記載の発明に係る画像合成方法にあっては、第１の画像と第２の画像とを合成し合成画像を生成する画像合成方法であって、第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する工程と、設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する工程とを含むことを特徴とする。
【００１２】
また、請求項８記載の発明に係る画像合成プログラムにあっては、第１の画像と第２の画像とを合成し合成画像を生成する画像合成装置が有するコンピュータに、第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する手順と、設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する手順とを実行されることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、任意の人物の顔を他の人物の顔に似た顔に加工した場合に、違和感のない自然な顔の画像を容易に得ることが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明の画像合成装置としての機能を備えたデジタルカメラの電子回路構成の概略を示すブロック図である。
【００１５】
図１は、デジタルカメラは、撮影した被写体の画像データを取り込むためカメラモジュール１を有している。カメラモジュール１は、結像光学系ブロック２と、イメージセンサ３、ＩＳＰ（lmage Signa1 Processor）４、光学系駆動制御部５から構成される。前記結像光学系ブロック２は、図示しない撮像レンズを構成するレンズ群を駆動するズームモータ及び合焦モータと、絞り、メカニカルシャッタを含み、それらがＣＰＵ６の命令に従い光学系駆動制御部５により駆動を制御される。
【００１６】
イメージセンサ３はＣＣＤやＣＭＯＳセンサ等であり、前記撮像レンズにより結像された被写体の光学像を光電変換するとともにＡ／Ｄ変換し、デジタルデータとしてＩＳＰ４に出力する。イメージセンサ３の出力は、その受光面におけるカラーフィルタ配列（本実施形態ではベイヤー配列）に従った出力である。ＩＳＰ４は、入力したデジタルデータに対し、色の調整、データフォーマット変換（ベイヤーデータからＹ，Ｃｂ，Ｃｒデータへの変換）を行う。
【００１７】
カメラモジュール１（ＩＳＰ４）からの出力信号（Ｙ，Ｃｒ，Ｃｂの各データ）は、ＤＭＡ７によってＤＲＡＭ等で構成されるワークメモリ８へ転送される。ワークメモリ８へ転送されたデータは、画像処理部９によってＲＧＢ形式の画像データに変換された後、表示制御部１２を介してＶＲＡＭ１１に転送される。
【００１８】
また、画像処理部９は、ＣＰＵ６の命令に従って、ワークメモリ８内のＹ，Ｃｒ，Ｃｂの各データを圧縮しＪＰＥＧ等の所定のファイルフォーマットの画像データに変換する。変換後の画像データはフラッシュメモリ１０に保存される一方、必要に応じて読み出されて画像処理部９によって伸張され、ワークメモリ８内に展開される。
【００１９】
表示制御部１２は、ＶＲＡＭ１１に格納された画像データに基づく表示データを生成し液晶モニタ等からなる表示部１３に出力し、表示部１３において画像を表示させる。例えば撮影待機状態において所定のフレームレートでカメラモジュール１により逐次取り込まれた画像をスルー画像として表示部１３に表示させる。また、フラッシュメモリ１０から読み出され伸張された後の画像データに基づく記録画像を表示部１３に表示させる。さらに、前記画像データに、必要に応じて撮影条件情報や、デジタルカメラの種々の動作設定に用いられるメニュー画面等の種々のＯＳＤ（On Screen Display）データを合成したり、メニュー画面のみからなる表示データを生成し表示部１３に出力したりする。
【００２０】
キー入力部１４は、図示しない電源ボタン、モード設定キー、シャッターボタン、メニューキー、カーソルキー及びＳＥＴキーからなるコントロールキー等を含み各キーの操作状態を示す状態信号をＣＰＵ６へ出力する。上記モード設定キーは、デジタルカメラの基本の動作モードを撮影モード、又は記録画像の表示用の再生モードに設定するためのキーである。また、コントロールキーは、デジタルカメラにおいて一般的な上下左右の方向指示操作や確定操作が可能な構造を有するキーであり、デジタルカメラにおける種々の動作内容を設定するためのメニュー画面や設定画面での項目選択や、選択した項目の設定値の選択、設定内容の決定等に使用される。
【００２１】
ＵＳＢ制御部１５は、ＵＳＢケーブルを介してＵＳＢ接続端子部１６に接続されたパーソナルコンピュータ等とデジタルカメラの間における画像データの通信を制御する。
【００２２】
図２は、前記フラッシュメモリ１０のメモリ空間を示す概念図である。フラッシュメモリ１０には、図示したようにプログラムデータ格納領域１０ａ、設定データ格納領域１０ｂ、顔画像データ格納領域１０ｃ、撮影画像データ格納領域１０ｄが確保されている。
【００２３】
プログラムデータ格納領域１０ａには、ＣＰＵ６の動作プログラム、及び動作プログラムに付随する各種のデータ（ＡＥ制御用のプログラムＡＥデータ等）が記憶されている。設定データ格納領域１０ｂには、前述したＯＳＤデータや、デジタルカメラの動作内容に関する各種の設定データであって、ユーザにより設定されたデータや自動的に設定されたデータといった適宜書き替えられるデータが記憶されている。撮影画像データ格納領域１０ｄには、画像処理部９により圧縮され所定のファイルフォーマットの画像データに変換された撮影画像のデータが記憶されている。
【００２４】
また、顔画像データ格納領域１０ｃにはユーザによって予め登録された人物の顔画像データが記憶されており、本実施形態においては前記フラッシュメモリ１０により本発明の画像記憶手段が実現されている。
【００２５】
そして、ＣＰＵ６は、前記キー入力部１４からの状態信号と、前記動作プログラムに従いデジタルカメラの各部の動作を制御する。例えば、シャッターボタンを押したときの撮影動作、画像データの記録、記録した画像の再生・表示、メニューキーやカーソルキー、ＳＥＴキーの操作に応じた各種の機能設定画面の表示制御や、設定内容の変更等を行う。
【００２６】
また、ＣＰＵ６は、ユーザによって再生モードの下位モードである顔登録モードが設定されたときには、前記フラッシュメモリ１０（撮影画像データ格納領域１０ｄ）に記録されている記録画像から、ユーザに所望の画像であって人物を写した画像を選択させ、選択された画像から任意の人物の顔領域を二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、例えば一定の配置関係にある目や鼻や口が存在する部分を認識する等の公知の顔検出技術を用いて検出するとともに、検出した顔領域を切り出し、その画像データを前記フラッシュメモリ１０（顔画像データ格納領域１０ｃ）に記憶させる。さらに、顔登録モードでは、ユーザの要求に応じ、ＵＳＢケーブルを介してしてパーソナルコンピュータ等から送られた顔部分の画像データも前記フラッシュメモリ１０（顔画像データ格納領域１０ｃ）に記憶させる。
【００２７】
また、ＣＰＵ６は、再生モードの下位モードとして設けられている画像合成モードがユーザによって設定されたときには、後述する処理を実行することにより本発明の合成比率設定手段、画像合成手段、部位設定手段、類似画像抽出手段として機能する。なお、上記画像合成モードは、任意の人物の顔を他の人物の顔に似た顔に加工することを主たる目的として予め設けられているものであり、より具体的には、異なる２つの顔画像を所定の方法で合成して合成画像（本発明における第３の顔画像）を生成するためのモードである。
【００２８】
次に、以上の構成からなるデジタルカメラにおいて上記画像合成モードが設定されたときのＣＰＵ６の処理を図３のフローチャートに従い説明する。
【００２９】
画像合成モードが設定されるとＣＰＵ６は、まず、顔画像を合成する際の単位（合成単位）をユーザに設定させる（ステップＳ１）。なお、本実施形態では合成単位として「顔単位」と「部位単位」の２種類が設定可能であり、係る処理では、所定の選択画面を表示するとともにユーザにいずれか一方の合成単位を選択させる。さらに、表示部１３にフラッシュメモリ１０に記録されている撮影画像のサムネイルを一覧表示するなどして、ユーザに所望する画像を選択させる（ステップＳ２）。但し、このときユーザには、任意の人物の顔を正面から写した画像を選択させる。係る画像が本発明における第１の画像であり、以下の説明ではここで選択された画像を元画像という。
【００３０】
次に、ＣＰＵ６は、前記フラッシュメモリ１０（顔画像データ格納領域１０ｃ）に記憶されている顔画像データの中から、元画像における人物の顔と最も類似する顔画像（以下、類似モデル画像という）のデータ、つまり本発明の第２の画像を３つ抽出する（ステップＳ３）。なお、係る処理では、まず元画像から先に述べた顔画像の登録時と同様に公知の顔検出技術を用いて顔領域（顔部分）を検出した後、例えば当該顔領域の顔の複数の特徴項目（顔の輪郭や、目と鼻と口の位置関係等）毎に、記憶されている全ての顔画像データについてマッチングを行い、各々の類似度を検査し、上記複数の特徴項目毎の類似度に基づく所定の順位付け基準に従い、記憶されている全ての顔画像データを類似度合が高い順に順位付けを行い、順位が１番目から３番目までの顔画像を類似モデル画像として抽出する。
【００３１】
引き続き、ＣＰＵ６は、当初ユーザに選択させた合成単位を判別した後（ステップＳ４）、その判別結果に応じて、後述する以下の処理を行う。
【００３２】
まず、ユーザにより合成単位として「顔単位」が選択されていた場合の処理について説明する。「顔単位」が選択されていた場合においてＣＰＵ６は、対象とする類似モデル画像を順に変えて、元画像に、各類似モデル画像を３段階の合成比率で個別に合成し、類似モデル画像、合成比率ごとに合成画像を生成し、生成した合成画像のデータをワークメモリ８に一時記憶する（ステップＳ５）。上記３段階の合成比率は、それぞれが元画像に対して類似モデル画像を合成する比率であるとともに、互いに４％ずつ異なり、動作開始当初は４％、８％、１２％である。また、上記の元画像と類似モデル画像との合成は、既説したモーフィング合成処理に基づくものである。
【００３３】
ここで、元画像と類似モデル画像とを対象とした基本的な合成方法の概略を図５に示す。まず、元画像ｆに顔の輪郭や目、鼻、口等の要部Ａの領域を特定するための特徴点（図で黒丸）を設定し、係る特徴点に基づいてメッシュＭｓを生成し、同様に合成対象となる類似モデル画像ｇに、各々が元画像ｆの各特徴点と対応するとともに顔の輪郭や目、鼻、口等の要部Ｂを特定する特徴点（図で黒丸）を設定し、係る特徴点に基づいてメッシュＭｔを生成する。
【００３４】
次に、メッシュＭｓとメッシュＭｔとの間に、線形補間（linearly interpolate）により中間メッシュＭｉを生成する。次に、メッシュＭｓと中間メッシュＭｉとを用いて、元画像ｆ内の各メッシュの画像Ｌｓの各点をワープ（変形変換）して第１のメッシュ画像（ｉｍａｇｅ１）を生成するとともに、メッシュＭｔと中間メッシュＭｉとを用いて、類似モデル画像ｇ内の各メッシュの画像Ｌｇの各点をワープ（変形変換）して第２の画像（ｉｍａｇｅ２）を生成する。しかる後、第１のメッシュ画像（ｉｍａｇｅ１）と第２の画像（ｉｍａｇｅ２）との画素値（輝度、色差）をクロス・ディゾルブ混合（cross-dissolve）するか、または、まばらな中間点の画素を線形補間（linearly interpolate）して、モーフィング合成画像（ｉｍａｇｅ３）を生成する。
【００３５】
そして、ステップＳ５では、上述した中間メッシュＭｉの生成に際し、その配置を前述した合成比率に応じて決定する。例えば合成比率が９０％、すなわち「元画像：類似モデル画像」＝１：９であれば、メッシュＭｓとメッシュＭｔとの間を１：９に内分する中間メッシュＭｉを生成することにより、所定の合成比率を有する合成画像（モーフィング合成画像）をそれぞれ生成する。
【００３６】
しかる後、ＣＰＵ６は、上述したように各々の類似モデル画像ごとに３段階の合成比率の合成画像を生成した後には、それらを元画像及び類似モデル画像と共に表示部１３に表示させる（ステップＳ６）。
【００３７】
図６は、その場合における表示部１３の表示画面Ｇ１の一例を便宜的に示した図である。ステップＳ６においてＣＰＵ６は、表示画面Ｇ１の左上に元画像２０１を表示させ、かつ表示画面Ｇ１の右側に寄せて３種類の類似モデル画像２０２ａ〜２０２ｃを縦並びで表示させる。そして、元画像２０１と、画面右上の１番目の類似モデル画像２０２ａとの間には、双方の画像に基づき生成した合成画像であって、合成時における１番目の類似モデル画像２０２ａの合成比率が異なる３種類の合成画像２０３ａ〜２０３ｃを横並びで表示させ、同様にその下に、２番目の類似モデル画像２０２ｂに対応する３種類の合成画像２０３ａ〜２０３ｃを、さらにその下に、３番目の類似モデル画像２０２ｃに対応する３段階の合成画像２０３ａ〜２０３ｃを横並びで表示させる。
【００３８】
また、各々の合成画像２０３ａ〜２０３ｃに重ねて、それらが対応する類似モデル画像２０２ａ〜２０２ｃの元画像２０１に対する合成比率（ｎ％）を表示させる。さらに、表示画面Ｇ１の下辺には、各々の合成画像２０３ａ〜２０３ｃをスクロールさせるためのスクロールバー３０１を表示させる。
【００３９】
その後、ＣＰＵ６はユーザによるスクロール指示、記録候補の選択指示、合成画像の記録指示の有無を逐次検出する。ここで、上記スクロール指示は、例えばコントロールキーの操作によりスクロールバー３０１を選択して状態での、スクロールバー３０１によって右方向又は左方向の方向指示であり、記録候補の選択指示は、コントロールキーによる方向指示操作及び決定操作である。
【００４０】
そして、以上の表示画面Ｇ１の表示中においてユーザによるスクロール指示を検出したときには（ステップＳ７でＹＥＳ）、前述した３段階の合成比率を増加、若しくは減少させるように１段階ずつ変更した後（ステップＳ８）、ステップＳ５へ戻り、元画像２０１に対する各々の類似モデル画像２０２ａ〜２０２ｃの合成比率を変更後の合成比率に変えて、新たな合成画像２０３ａ〜２０３ｃを生成し（ステップＳ６）、それを表示画面Ｇ１に表示させる。
【００４１】
例えばスクロール指示があったとき、各々の類似モデル画像２０２ａ〜２０２ｃに対応する合成画像２０３ａ〜２０３ｃとして合成比率が８％、１２％、１６％の合成画像を表示させていた場合には、それらを合成比率が１２％、１６％、２０％の３種類の合成画像、若しくは合成比率が４％、８％、１２％の３種類の合成画像に変更する。
【００４２】
また、スクロール指示が検出できないときには（ステップＳ７でＮＯ）、引き続きユーザの指示に応じて記録候補の合成画像を設定する（ステップＳ９）。すなわち所定のキー操作に応じて選択状態を示すマーク（図の例では丸印）を、各々の類似モデル画像２０２ａ〜２０２ｃに対応する合成画像２０３ａ〜２０３ｃのいずれかに重ねて表示するとともに、それをコントロールキーによる方向指示操作に応じて移動させるとともに、決定操作に応じて上記マークを固定表示とする。
【００４３】
そして、上述したステップＳ５以降の処理を繰り返す間に、いずれかの時点でユーザによる記録指示を検出したら（ステップＳ１０でＹＥＳ）、その時点で選択されている（記録候補として設定してある）１又は複数の合成画像をフラッシュメモリ１０の撮影画像データ格納領域１０ｄに記録する（ステップＳ１１）。
【００４４】
一方、前述したステップＳ４でユーザにより合成単位として「部位単位」が選択されていた場合、ＣＰＵ６は図４に示した処理へ移行する。この場合には、まず、ユーザに予定のキー操作によって、予め決められている複数の部位の中から合成対象とする１又は複数の顔の部位を選択させ、かつ部位毎の合成比率（０％〜１００％）を設定させる（ステップＳ１２）。なお、本実施形態において選択可能な部位は、輪郭、目、眉毛、鼻、唇の５つの部位である（図７参照）。
【００４５】
次に、選択された１又は複数の部位毎の合成比率を設定された合成比率として元画像と各々の類似モデル画像とを既説したモーフィング合成処理に基づいて合成する。具体的には、選択された部位に対応する中間メッシュＭｉ（図５参照）の生成に際して、当該部位について設定された合成比率が９０％、すなわち「元画像：類似モデル画像」＝１：９であれば、元画像ｆのメッシュＭｓと類似モデル画像ｇのメッシュＭｔとの間を１：９に内分する中間メッシュＭｉを生成する一方、選択されていない部位に対応する中間メッシュＭｉを元画像ｆのメッシュＭｓとする処理を行い、類似モデル画像と同数の合成画像を生成する。また生成した合成画像のデータをワークメモリ８に一時記憶する（ステップＳ１３）。
【００４６】
しかる後、ＣＰＵ６は、各々の類似モデル画像を対象として生成した合成画像を元画像及び類似モデル画像と共に表示部１３に表示させる（ステップＳ１４）。図７は、その場合における表示部１３の表示画面Ｇ２の一例を便宜的に示した図であり、ステップＳ１４においてＣＰＵ６は、表示画面Ｇ２の上部中央に、元画像２０１を表示させ、かつ表示画面Ｇ２の右側に寄せて３種類の類似モデル画像２０２ａ〜２０２ｃを縦並びで表示させる。そして、元画像２０１と、画面右上の１番目の類似モデル画像２０２ａとの間には、双方の画像に基づき生成した合成画像であって、１又は複数の特定の部位が特定の比率で合成された合成画像２０３を表示させ、同様にその下に、２番目の類似モデル画像２０２ｂとの間で合成した合成画像２０３を、さらにその下に、３番目の類似モデル画像２０２ｃとの間で合成した合成画像２０３をそれぞれ表示させる。
【００４７】
また、図示したように表示画面Ｇ２の左側には、選択可能な顔の部位（輪郭、目、眉毛、鼻、唇）、及びその時点で選択されている部位と、部位毎に設定されている合成比率を表示する。本実施形態では、各部位の選択の有無は所謂ラジオボタン４０１で示し、かつ合成比率はスライダ４０２の位置で表示する。
【００４８】
その後、ＣＰＵ６はユーザによる合成部位の変更、又は合成比率の変更の有無、記録候補の選択指示、合成画像の記録指示を逐次検出する。ここで、合成部位の変更は、例えばコントロールキーの操作により、任意の部位を選択した状態でラジオボタン４０１のオンオフ状態の変更指示であり、合成比率の変更は、任意の部位を選択した状態での右方向又は左方向の方向指示であり、また、記録候補の選択指示は、コントロールキーによる方向指示操作及び決定操作である。
【００４９】
そして、前記表示画面Ｇ２の表示中において合成部位の変更、又は合成比率の変更を検出したときには（ステップＳ１５でＹＥＳ）、前述したステップＳ１３へ戻り、変更後の設定内容に従い新たな合成画像を生成し、生成した合成画像のデータをワークメモリ８に一時記憶するとともに、それを表示画面Ｇ２内に表示させる。
【００５０】
また、合成部位の変更、又は合成比率の変更が検出できないときには（ステップＳ１５でＮＯ）、引き続きユーザの指示に応じて記録候補の合成画像を設定する（ステップＳ１６）。すなわち所定のキー操作に応じて選択状態を示すマーク（図の例では丸印）を、各々の類似モデル画像２０２ａ〜２０２ｃの各々のに対応する合成画像２０３のいずれかに重ねて表示するとともに、それをコントロールキーによる方向指示操作に応じて移動させるとともに、決定操作に応じて上記マークを固定表示とする。
【００５１】
そして、上述したステップＳ１３〜ステップＳ１６の処理を繰り返す間に、いずれかの時点でユーザによる記録指示を検出したら（ステップＳ１７でＹＥＳ）、その時点で、図３のステップＳ１１へ進み、選択されている（記録候補として設定してある）１又は複数の合成画像をフラッシュメモリ１０の撮影画像データ格納領域１０ｄに記録する。これにより画像合成モードによる１回の処理を終了する。
【００５２】
以上のように本実施形態のデジタルカメラにおいては、画像合成モードを用いることにより、任意の人物の顔を、他の人物の顔に似た顔に加工した画像を簡単に得ることができる。しかも、その際には、ユーザが合成単位として「顔単位」を選択すれば、元画像と類似モデル画像との合成比率を所望の比率に調整することができるため、合成後（加工後）の顔画像にユーザが意図する程度で元の人物の顔の特徴を確保することができる。その結果、任意の人物の顔を他の人物の顔に似た顔に加工した場合には、違和感のない自然な顔の画像を得ることができる。
【００５３】
さらに、本実施形態においては、ユーザが最初に元画像を指定すると、フラッシュメモリ１０に記憶されている顔画像の中からその元画像における人物の顔と最も類似する顔の画像である類似モデル画像が自動的に抽出されるため、任意の人物の顔を他の人物の顔に似た顔に加工した場合には、違和感のない自然な顔の画像を容易に得ることができる。
【００５４】
また、ユーザが合成単位として「部位単位」を選択すれば、顔の各部位を単位として、しかも必要な部位についてのみ元画像と類似モデル画像とを合成させることができる。したがって、合成後（加工後）の顔画像として、ユーザの細かな意図を反映した顔画像を生成することができる。さらに、その際には部位毎に合成比率を指定することができることから、ユーザにおけるより一層細かな意図を反映した顔画像を生成することができる。
【００５５】
なお、本実施形態においては、前述した画像合成モードが、任意の人物の顔を他の人物の顔に似た顔に加工することを主たる目的として予め設けられているものであって、画像合成モードにおいては、元画像を指定すると、元画像と合成する画像として類似モデル画像を自動的に抽出し、係る元画像と類似モデル画像とを合成して新たな画像を生成する構成について説明したが、画像合成モードを幅広い使用目的に対応するものにする場合には、元画像と合成する画像を、登録された人物の顔画像や、記録されている他の撮影画像（人物の顔部分の撮影画像）の中からユーザに手動で選択させるようにしても構わない。
【００５６】
また、元画像と合成する画像は、必ずしも自機で撮影されたものである必要はなく、フラッシュメモリ１０に記憶されている画像であれば任意の画像を使用することができる。例えば、好みの有名人や芸能人の顔の画像を予め記憶しておけば、自分の顔の全部、又は一部を有名人等に似せて美容整形した場合の顔を確認することもできる。また、同一人物について第１の年齢のときに撮影された第１の顔画像と、第２の年齢のときに撮影された第２の顔画像とを記憶しておけば、第１の年齢から第２の年齢までの間の任意の年齢のときの顔を擬似的に確認することができる。さらに、例えば顔画像として多数の顔画像を登録（記憶）しておき、合成単位として「部位単位」を選択して特定部位のみの合成を行った後、合成後の画像を元画像として再び特定部位のみの合成を行う作業を繰り返し行えば、違和感のない自然な顔のモンタージュ画像を得ることができる。
【００５７】
さらに、本実施形態においては合成する２つの画像が人物の顔画像である場合について説明したが、これに限らず、本発明は人物の顔画像以外の画像を対象として合成する場合にも適用することができる。例えば一方、又は双方の画像をペット等の動物の顔であっても構わないし、また、それ以外の任意の画像同士を対象として新たな画像を合成する場合にも適用することができる。
【００５８】
また、ここでは本発明をデジタルカメラに適用した場合について説明したが、本発明は、異なる２つの画像を合成する機能を有する機器であれば、パーソナルコンピュータ等の任意の画像合成装置にも適用することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明に係るデジタルカメラのブロック図である。
【図２】フラッシュメモリのメモリ空間を示す概念図である。
【図３】画像合成モードが設定されたときのＣＰＵの処理内容を示したフローチャートである。
【図４】図３に続くフローチャートである。
【図５】元画像と類似モデル画像との合成方法を示す模式説明図である。
【図６】合成単位として「顔単位」が選択されていた場合の合成画像を含む表示画面の一例を示した図である。
【図７】合成単位として「部位単位」が選択されていた場合の合成画像を含む表示画面の一例を示した図である。
【符号の説明】
【００６０】
１ カメラモジュール
３ イメージセンサ
６ ＣＰＵ
７ ＤＭＡ
８ ワークメモリ
９ 画像処理部
１０ フラッシュメモリ
１４ キー入力部
【技術分野】
【０００１】
本発明は、例えば異なる２つの顔画像から新たな顔画像を生成する画像合成装置、及び画像合成方法、画像合成プログラムに関するものである。
【背景技術】
【０００２】
従来、２つの顔写真を掛け合わせて別の顔写真を作成し、利用者に提供するサービスがある（非特許文献１参照）。かかるサービスによれば、利用者は、自身の顔と著名人等の顔との合成画像を見て楽しむことができる。これは、映画等において使用されるモーフィング（morphing）と呼ばれるコンピュータグラフィックスの手法（以下、モーフィング合成処理という）を利用したもので、一方の顔画像から他方の顔画像へ変形する間の顔画像を補完する技術を用いて２つの顔の中間的な特徴を有する顔を生成するものである。係る技術を用いれば、自分の顔と、好みの有名人や芸能人の顔とを合成した顔を簡単に得ることができる。
【非特許文献１】Ｍｏｒｐｈ Ｔｈｉｎｇホームページ、[online]、インターネット＜ＵＲＬ：http://www.morphthing.com/＞
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の技術を用いれば任意の人物の顔を他の人物の顔に似た顔に加工した画像を容易に取得することができるが、上記の技術においては、例えば両者の顔の特徴が著しく異なっている場合には、新たに生成される合成画像が、例えばユーザの意図に反し元の顔の特徴が余り残っていない顔画像となってしまう場合も多い。係ることから、例えば任意の人物の顔を他の人物の顔に似た顔に加工したい場合には甚だ不便である等の問題があった。
【０００４】
本発明は、かかる従来の課題に鑑みてなされたものであり、任意の人物の顔を他の人物の顔に似た顔に加工した場合に、違和感のない自然な顔の画像を容易に得ることができる画像合成装置、及び画像合成方法、それらの実現に使用される画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため請求項１記載の発明に係る画像合成装置にあっては、第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する合成比率設定手段と、この合成比率設定手段により設定された合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成手段とを備えたことを特徴とする。
【０００６】
また、請求項２記載の発明に係る画像合成装置にあっては、前記第１の画像は第１の顔画像であり、かつ前記第２の画像は第２の顔画像であって、前記画像合成手段は、合成画像として第３の顔画像を生成することを特徴とする。
【０００７】
また、請求項３記載の発明に係る画像合成装置にあっては、前記第１の画像について前記第２の画像を合成する部位を使用者の要求に応じて設定する部位設定手段を備え、前記画像合成手段は、前記合成画像の生成に際し、前記第１の画像であって前記部位設定手段により設定された部位と、当該部位と対応する前記第２の画像の対応部位とを前記合成比率設定手段により設定された合成比率で合成することを特徴とする。
【０００８】
また、請求項４記載の発明に係る画像合成装置にあっては、前記部位設定手段は、使用者の要求に応じ、前記第１の画像について前記第２の画像を合成する部位を複数設定し、前記合成比率設定手段は、使用者の要求に応じ、前記第１の画像と前記第２の画像との合成比率を前記部位設定手段により設定された部位毎に設定する前記画像合成手段は、前記合成画像の生成に際し、前記第１の画像であって前記部位設定手段により設定された複数の部位と、当該複数の部位と対応する前記第２の画像の複数の対応部位とを、前記合成比率設定手段により部位毎に設定された合成比率で合成することを特徴とする。
【０００９】
また、請求項５記載の発明に係る画像合成装置にあっては、複数の所定の画像を記憶した画像記憶手段と、この画像記憶手段に記憶されている複数の画像の中で、前記第１の画像に類似する類似画像を前記第２の画像として抽出する類似画像抽出手段とをさらに備え、前記画像合成手段は、前記合成比率設定手段により設定された合成比率で、前記第１の画像と前記類似画像抽出手段により前記第２の画像として抽出された類似画像とを合成して合成画像を生成することを特徴とする。
【００１０】
また、請求項６記載の発明に係る画像合成装置にあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体の画像を記録する記憶手段とを備え、前記画像合成手段は、前記記憶手段に記録された画像に基づく前記第１の画像と前記第２の画像とを合成して合成画像を生成することを特徴とする。
【００１１】
また、請求項７記載の発明に係る画像合成方法にあっては、第１の画像と第２の画像とを合成し合成画像を生成する画像合成方法であって、第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する工程と、設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する工程とを含むことを特徴とする。
【００１２】
また、請求項８記載の発明に係る画像合成プログラムにあっては、第１の画像と第２の画像とを合成し合成画像を生成する画像合成装置が有するコンピュータに、第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する手順と、設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する手順とを実行されることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、任意の人物の顔を他の人物の顔に似た顔に加工した場合に、違和感のない自然な顔の画像を容易に得ることが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明の画像合成装置としての機能を備えたデジタルカメラの電子回路構成の概略を示すブロック図である。
【００１５】
図１は、デジタルカメラは、撮影した被写体の画像データを取り込むためカメラモジュール１を有している。カメラモジュール１は、結像光学系ブロック２と、イメージセンサ３、ＩＳＰ（lmage Signa1 Processor）４、光学系駆動制御部５から構成される。前記結像光学系ブロック２は、図示しない撮像レンズを構成するレンズ群を駆動するズームモータ及び合焦モータと、絞り、メカニカルシャッタを含み、それらがＣＰＵ６の命令に従い光学系駆動制御部５により駆動を制御される。
【００１６】
イメージセンサ３はＣＣＤやＣＭＯＳセンサ等であり、前記撮像レンズにより結像された被写体の光学像を光電変換するとともにＡ／Ｄ変換し、デジタルデータとしてＩＳＰ４に出力する。イメージセンサ３の出力は、その受光面におけるカラーフィルタ配列（本実施形態ではベイヤー配列）に従った出力である。ＩＳＰ４は、入力したデジタルデータに対し、色の調整、データフォーマット変換（ベイヤーデータからＹ，Ｃｂ，Ｃｒデータへの変換）を行う。
【００１７】
カメラモジュール１（ＩＳＰ４）からの出力信号（Ｙ，Ｃｒ，Ｃｂの各データ）は、ＤＭＡ７によってＤＲＡＭ等で構成されるワークメモリ８へ転送される。ワークメモリ８へ転送されたデータは、画像処理部９によってＲＧＢ形式の画像データに変換された後、表示制御部１２を介してＶＲＡＭ１１に転送される。
【００１８】
また、画像処理部９は、ＣＰＵ６の命令に従って、ワークメモリ８内のＹ，Ｃｒ，Ｃｂの各データを圧縮しＪＰＥＧ等の所定のファイルフォーマットの画像データに変換する。変換後の画像データはフラッシュメモリ１０に保存される一方、必要に応じて読み出されて画像処理部９によって伸張され、ワークメモリ８内に展開される。
【００１９】
表示制御部１２は、ＶＲＡＭ１１に格納された画像データに基づく表示データを生成し液晶モニタ等からなる表示部１３に出力し、表示部１３において画像を表示させる。例えば撮影待機状態において所定のフレームレートでカメラモジュール１により逐次取り込まれた画像をスルー画像として表示部１３に表示させる。また、フラッシュメモリ１０から読み出され伸張された後の画像データに基づく記録画像を表示部１３に表示させる。さらに、前記画像データに、必要に応じて撮影条件情報や、デジタルカメラの種々の動作設定に用いられるメニュー画面等の種々のＯＳＤ（On Screen Display）データを合成したり、メニュー画面のみからなる表示データを生成し表示部１３に出力したりする。
【００２０】
キー入力部１４は、図示しない電源ボタン、モード設定キー、シャッターボタン、メニューキー、カーソルキー及びＳＥＴキーからなるコントロールキー等を含み各キーの操作状態を示す状態信号をＣＰＵ６へ出力する。上記モード設定キーは、デジタルカメラの基本の動作モードを撮影モード、又は記録画像の表示用の再生モードに設定するためのキーである。また、コントロールキーは、デジタルカメラにおいて一般的な上下左右の方向指示操作や確定操作が可能な構造を有するキーであり、デジタルカメラにおける種々の動作内容を設定するためのメニュー画面や設定画面での項目選択や、選択した項目の設定値の選択、設定内容の決定等に使用される。
【００２１】
ＵＳＢ制御部１５は、ＵＳＢケーブルを介してＵＳＢ接続端子部１６に接続されたパーソナルコンピュータ等とデジタルカメラの間における画像データの通信を制御する。
【００２２】
図２は、前記フラッシュメモリ１０のメモリ空間を示す概念図である。フラッシュメモリ１０には、図示したようにプログラムデータ格納領域１０ａ、設定データ格納領域１０ｂ、顔画像データ格納領域１０ｃ、撮影画像データ格納領域１０ｄが確保されている。
【００２３】
プログラムデータ格納領域１０ａには、ＣＰＵ６の動作プログラム、及び動作プログラムに付随する各種のデータ（ＡＥ制御用のプログラムＡＥデータ等）が記憶されている。設定データ格納領域１０ｂには、前述したＯＳＤデータや、デジタルカメラの動作内容に関する各種の設定データであって、ユーザにより設定されたデータや自動的に設定されたデータといった適宜書き替えられるデータが記憶されている。撮影画像データ格納領域１０ｄには、画像処理部９により圧縮され所定のファイルフォーマットの画像データに変換された撮影画像のデータが記憶されている。
【００２４】
また、顔画像データ格納領域１０ｃにはユーザによって予め登録された人物の顔画像データが記憶されており、本実施形態においては前記フラッシュメモリ１０により本発明の画像記憶手段が実現されている。
【００２５】
そして、ＣＰＵ６は、前記キー入力部１４からの状態信号と、前記動作プログラムに従いデジタルカメラの各部の動作を制御する。例えば、シャッターボタンを押したときの撮影動作、画像データの記録、記録した画像の再生・表示、メニューキーやカーソルキー、ＳＥＴキーの操作に応じた各種の機能設定画面の表示制御や、設定内容の変更等を行う。
【００２６】
また、ＣＰＵ６は、ユーザによって再生モードの下位モードである顔登録モードが設定されたときには、前記フラッシュメモリ１０（撮影画像データ格納領域１０ｄ）に記録されている記録画像から、ユーザに所望の画像であって人物を写した画像を選択させ、選択された画像から任意の人物の顔領域を二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、例えば一定の配置関係にある目や鼻や口が存在する部分を認識する等の公知の顔検出技術を用いて検出するとともに、検出した顔領域を切り出し、その画像データを前記フラッシュメモリ１０（顔画像データ格納領域１０ｃ）に記憶させる。さらに、顔登録モードでは、ユーザの要求に応じ、ＵＳＢケーブルを介してしてパーソナルコンピュータ等から送られた顔部分の画像データも前記フラッシュメモリ１０（顔画像データ格納領域１０ｃ）に記憶させる。
【００２７】
また、ＣＰＵ６は、再生モードの下位モードとして設けられている画像合成モードがユーザによって設定されたときには、後述する処理を実行することにより本発明の合成比率設定手段、画像合成手段、部位設定手段、類似画像抽出手段として機能する。なお、上記画像合成モードは、任意の人物の顔を他の人物の顔に似た顔に加工することを主たる目的として予め設けられているものであり、より具体的には、異なる２つの顔画像を所定の方法で合成して合成画像（本発明における第３の顔画像）を生成するためのモードである。
【００２８】
次に、以上の構成からなるデジタルカメラにおいて上記画像合成モードが設定されたときのＣＰＵ６の処理を図３のフローチャートに従い説明する。
【００２９】
画像合成モードが設定されるとＣＰＵ６は、まず、顔画像を合成する際の単位（合成単位）をユーザに設定させる（ステップＳ１）。なお、本実施形態では合成単位として「顔単位」と「部位単位」の２種類が設定可能であり、係る処理では、所定の選択画面を表示するとともにユーザにいずれか一方の合成単位を選択させる。さらに、表示部１３にフラッシュメモリ１０に記録されている撮影画像のサムネイルを一覧表示するなどして、ユーザに所望する画像を選択させる（ステップＳ２）。但し、このときユーザには、任意の人物の顔を正面から写した画像を選択させる。係る画像が本発明における第１の画像であり、以下の説明ではここで選択された画像を元画像という。
【００３０】
次に、ＣＰＵ６は、前記フラッシュメモリ１０（顔画像データ格納領域１０ｃ）に記憶されている顔画像データの中から、元画像における人物の顔と最も類似する顔画像（以下、類似モデル画像という）のデータ、つまり本発明の第２の画像を３つ抽出する（ステップＳ３）。なお、係る処理では、まず元画像から先に述べた顔画像の登録時と同様に公知の顔検出技術を用いて顔領域（顔部分）を検出した後、例えば当該顔領域の顔の複数の特徴項目（顔の輪郭や、目と鼻と口の位置関係等）毎に、記憶されている全ての顔画像データについてマッチングを行い、各々の類似度を検査し、上記複数の特徴項目毎の類似度に基づく所定の順位付け基準に従い、記憶されている全ての顔画像データを類似度合が高い順に順位付けを行い、順位が１番目から３番目までの顔画像を類似モデル画像として抽出する。
【００３１】
引き続き、ＣＰＵ６は、当初ユーザに選択させた合成単位を判別した後（ステップＳ４）、その判別結果に応じて、後述する以下の処理を行う。
【００３２】
まず、ユーザにより合成単位として「顔単位」が選択されていた場合の処理について説明する。「顔単位」が選択されていた場合においてＣＰＵ６は、対象とする類似モデル画像を順に変えて、元画像に、各類似モデル画像を３段階の合成比率で個別に合成し、類似モデル画像、合成比率ごとに合成画像を生成し、生成した合成画像のデータをワークメモリ８に一時記憶する（ステップＳ５）。上記３段階の合成比率は、それぞれが元画像に対して類似モデル画像を合成する比率であるとともに、互いに４％ずつ異なり、動作開始当初は４％、８％、１２％である。また、上記の元画像と類似モデル画像との合成は、既説したモーフィング合成処理に基づくものである。
【００３３】
ここで、元画像と類似モデル画像とを対象とした基本的な合成方法の概略を図５に示す。まず、元画像ｆに顔の輪郭や目、鼻、口等の要部Ａの領域を特定するための特徴点（図で黒丸）を設定し、係る特徴点に基づいてメッシュＭｓを生成し、同様に合成対象となる類似モデル画像ｇに、各々が元画像ｆの各特徴点と対応するとともに顔の輪郭や目、鼻、口等の要部Ｂを特定する特徴点（図で黒丸）を設定し、係る特徴点に基づいてメッシュＭｔを生成する。
【００３４】
次に、メッシュＭｓとメッシュＭｔとの間に、線形補間（linearly interpolate）により中間メッシュＭｉを生成する。次に、メッシュＭｓと中間メッシュＭｉとを用いて、元画像ｆ内の各メッシュの画像Ｌｓの各点をワープ（変形変換）して第１のメッシュ画像（ｉｍａｇｅ１）を生成するとともに、メッシュＭｔと中間メッシュＭｉとを用いて、類似モデル画像ｇ内の各メッシュの画像Ｌｇの各点をワープ（変形変換）して第２の画像（ｉｍａｇｅ２）を生成する。しかる後、第１のメッシュ画像（ｉｍａｇｅ１）と第２の画像（ｉｍａｇｅ２）との画素値（輝度、色差）をクロス・ディゾルブ混合（cross-dissolve）するか、または、まばらな中間点の画素を線形補間（linearly interpolate）して、モーフィング合成画像（ｉｍａｇｅ３）を生成する。
【００３５】
そして、ステップＳ５では、上述した中間メッシュＭｉの生成に際し、その配置を前述した合成比率に応じて決定する。例えば合成比率が９０％、すなわち「元画像：類似モデル画像」＝１：９であれば、メッシュＭｓとメッシュＭｔとの間を１：９に内分する中間メッシュＭｉを生成することにより、所定の合成比率を有する合成画像（モーフィング合成画像）をそれぞれ生成する。
【００３６】
しかる後、ＣＰＵ６は、上述したように各々の類似モデル画像ごとに３段階の合成比率の合成画像を生成した後には、それらを元画像及び類似モデル画像と共に表示部１３に表示させる（ステップＳ６）。
【００３７】
図６は、その場合における表示部１３の表示画面Ｇ１の一例を便宜的に示した図である。ステップＳ６においてＣＰＵ６は、表示画面Ｇ１の左上に元画像２０１を表示させ、かつ表示画面Ｇ１の右側に寄せて３種類の類似モデル画像２０２ａ〜２０２ｃを縦並びで表示させる。そして、元画像２０１と、画面右上の１番目の類似モデル画像２０２ａとの間には、双方の画像に基づき生成した合成画像であって、合成時における１番目の類似モデル画像２０２ａの合成比率が異なる３種類の合成画像２０３ａ〜２０３ｃを横並びで表示させ、同様にその下に、２番目の類似モデル画像２０２ｂに対応する３種類の合成画像２０３ａ〜２０３ｃを、さらにその下に、３番目の類似モデル画像２０２ｃに対応する３段階の合成画像２０３ａ〜２０３ｃを横並びで表示させる。
【００３８】
また、各々の合成画像２０３ａ〜２０３ｃに重ねて、それらが対応する類似モデル画像２０２ａ〜２０２ｃの元画像２０１に対する合成比率（ｎ％）を表示させる。さらに、表示画面Ｇ１の下辺には、各々の合成画像２０３ａ〜２０３ｃをスクロールさせるためのスクロールバー３０１を表示させる。
【００３９】
その後、ＣＰＵ６はユーザによるスクロール指示、記録候補の選択指示、合成画像の記録指示の有無を逐次検出する。ここで、上記スクロール指示は、例えばコントロールキーの操作によりスクロールバー３０１を選択して状態での、スクロールバー３０１によって右方向又は左方向の方向指示であり、記録候補の選択指示は、コントロールキーによる方向指示操作及び決定操作である。
【００４０】
そして、以上の表示画面Ｇ１の表示中においてユーザによるスクロール指示を検出したときには（ステップＳ７でＹＥＳ）、前述した３段階の合成比率を増加、若しくは減少させるように１段階ずつ変更した後（ステップＳ８）、ステップＳ５へ戻り、元画像２０１に対する各々の類似モデル画像２０２ａ〜２０２ｃの合成比率を変更後の合成比率に変えて、新たな合成画像２０３ａ〜２０３ｃを生成し（ステップＳ６）、それを表示画面Ｇ１に表示させる。
【００４１】
例えばスクロール指示があったとき、各々の類似モデル画像２０２ａ〜２０２ｃに対応する合成画像２０３ａ〜２０３ｃとして合成比率が８％、１２％、１６％の合成画像を表示させていた場合には、それらを合成比率が１２％、１６％、２０％の３種類の合成画像、若しくは合成比率が４％、８％、１２％の３種類の合成画像に変更する。
【００４２】
また、スクロール指示が検出できないときには（ステップＳ７でＮＯ）、引き続きユーザの指示に応じて記録候補の合成画像を設定する（ステップＳ９）。すなわち所定のキー操作に応じて選択状態を示すマーク（図の例では丸印）を、各々の類似モデル画像２０２ａ〜２０２ｃに対応する合成画像２０３ａ〜２０３ｃのいずれかに重ねて表示するとともに、それをコントロールキーによる方向指示操作に応じて移動させるとともに、決定操作に応じて上記マークを固定表示とする。
【００４３】
そして、上述したステップＳ５以降の処理を繰り返す間に、いずれかの時点でユーザによる記録指示を検出したら（ステップＳ１０でＹＥＳ）、その時点で選択されている（記録候補として設定してある）１又は複数の合成画像をフラッシュメモリ１０の撮影画像データ格納領域１０ｄに記録する（ステップＳ１１）。
【００４４】
一方、前述したステップＳ４でユーザにより合成単位として「部位単位」が選択されていた場合、ＣＰＵ６は図４に示した処理へ移行する。この場合には、まず、ユーザに予定のキー操作によって、予め決められている複数の部位の中から合成対象とする１又は複数の顔の部位を選択させ、かつ部位毎の合成比率（０％〜１００％）を設定させる（ステップＳ１２）。なお、本実施形態において選択可能な部位は、輪郭、目、眉毛、鼻、唇の５つの部位である（図７参照）。
【００４５】
次に、選択された１又は複数の部位毎の合成比率を設定された合成比率として元画像と各々の類似モデル画像とを既説したモーフィング合成処理に基づいて合成する。具体的には、選択された部位に対応する中間メッシュＭｉ（図５参照）の生成に際して、当該部位について設定された合成比率が９０％、すなわち「元画像：類似モデル画像」＝１：９であれば、元画像ｆのメッシュＭｓと類似モデル画像ｇのメッシュＭｔとの間を１：９に内分する中間メッシュＭｉを生成する一方、選択されていない部位に対応する中間メッシュＭｉを元画像ｆのメッシュＭｓとする処理を行い、類似モデル画像と同数の合成画像を生成する。また生成した合成画像のデータをワークメモリ８に一時記憶する（ステップＳ１３）。
【００４６】
しかる後、ＣＰＵ６は、各々の類似モデル画像を対象として生成した合成画像を元画像及び類似モデル画像と共に表示部１３に表示させる（ステップＳ１４）。図７は、その場合における表示部１３の表示画面Ｇ２の一例を便宜的に示した図であり、ステップＳ１４においてＣＰＵ６は、表示画面Ｇ２の上部中央に、元画像２０１を表示させ、かつ表示画面Ｇ２の右側に寄せて３種類の類似モデル画像２０２ａ〜２０２ｃを縦並びで表示させる。そして、元画像２０１と、画面右上の１番目の類似モデル画像２０２ａとの間には、双方の画像に基づき生成した合成画像であって、１又は複数の特定の部位が特定の比率で合成された合成画像２０３を表示させ、同様にその下に、２番目の類似モデル画像２０２ｂとの間で合成した合成画像２０３を、さらにその下に、３番目の類似モデル画像２０２ｃとの間で合成した合成画像２０３をそれぞれ表示させる。
【００４７】
また、図示したように表示画面Ｇ２の左側には、選択可能な顔の部位（輪郭、目、眉毛、鼻、唇）、及びその時点で選択されている部位と、部位毎に設定されている合成比率を表示する。本実施形態では、各部位の選択の有無は所謂ラジオボタン４０１で示し、かつ合成比率はスライダ４０２の位置で表示する。
【００４８】
その後、ＣＰＵ６はユーザによる合成部位の変更、又は合成比率の変更の有無、記録候補の選択指示、合成画像の記録指示を逐次検出する。ここで、合成部位の変更は、例えばコントロールキーの操作により、任意の部位を選択した状態でラジオボタン４０１のオンオフ状態の変更指示であり、合成比率の変更は、任意の部位を選択した状態での右方向又は左方向の方向指示であり、また、記録候補の選択指示は、コントロールキーによる方向指示操作及び決定操作である。
【００４９】
そして、前記表示画面Ｇ２の表示中において合成部位の変更、又は合成比率の変更を検出したときには（ステップＳ１５でＹＥＳ）、前述したステップＳ１３へ戻り、変更後の設定内容に従い新たな合成画像を生成し、生成した合成画像のデータをワークメモリ８に一時記憶するとともに、それを表示画面Ｇ２内に表示させる。
【００５０】
また、合成部位の変更、又は合成比率の変更が検出できないときには（ステップＳ１５でＮＯ）、引き続きユーザの指示に応じて記録候補の合成画像を設定する（ステップＳ１６）。すなわち所定のキー操作に応じて選択状態を示すマーク（図の例では丸印）を、各々の類似モデル画像２０２ａ〜２０２ｃの各々のに対応する合成画像２０３のいずれかに重ねて表示するとともに、それをコントロールキーによる方向指示操作に応じて移動させるとともに、決定操作に応じて上記マークを固定表示とする。
【００５１】
そして、上述したステップＳ１３〜ステップＳ１６の処理を繰り返す間に、いずれかの時点でユーザによる記録指示を検出したら（ステップＳ１７でＹＥＳ）、その時点で、図３のステップＳ１１へ進み、選択されている（記録候補として設定してある）１又は複数の合成画像をフラッシュメモリ１０の撮影画像データ格納領域１０ｄに記録する。これにより画像合成モードによる１回の処理を終了する。
【００５２】
以上のように本実施形態のデジタルカメラにおいては、画像合成モードを用いることにより、任意の人物の顔を、他の人物の顔に似た顔に加工した画像を簡単に得ることができる。しかも、その際には、ユーザが合成単位として「顔単位」を選択すれば、元画像と類似モデル画像との合成比率を所望の比率に調整することができるため、合成後（加工後）の顔画像にユーザが意図する程度で元の人物の顔の特徴を確保することができる。その結果、任意の人物の顔を他の人物の顔に似た顔に加工した場合には、違和感のない自然な顔の画像を得ることができる。
【００５３】
さらに、本実施形態においては、ユーザが最初に元画像を指定すると、フラッシュメモリ１０に記憶されている顔画像の中からその元画像における人物の顔と最も類似する顔の画像である類似モデル画像が自動的に抽出されるため、任意の人物の顔を他の人物の顔に似た顔に加工した場合には、違和感のない自然な顔の画像を容易に得ることができる。
【００５４】
また、ユーザが合成単位として「部位単位」を選択すれば、顔の各部位を単位として、しかも必要な部位についてのみ元画像と類似モデル画像とを合成させることができる。したがって、合成後（加工後）の顔画像として、ユーザの細かな意図を反映した顔画像を生成することができる。さらに、その際には部位毎に合成比率を指定することができることから、ユーザにおけるより一層細かな意図を反映した顔画像を生成することができる。
【００５５】
なお、本実施形態においては、前述した画像合成モードが、任意の人物の顔を他の人物の顔に似た顔に加工することを主たる目的として予め設けられているものであって、画像合成モードにおいては、元画像を指定すると、元画像と合成する画像として類似モデル画像を自動的に抽出し、係る元画像と類似モデル画像とを合成して新たな画像を生成する構成について説明したが、画像合成モードを幅広い使用目的に対応するものにする場合には、元画像と合成する画像を、登録された人物の顔画像や、記録されている他の撮影画像（人物の顔部分の撮影画像）の中からユーザに手動で選択させるようにしても構わない。
【００５６】
また、元画像と合成する画像は、必ずしも自機で撮影されたものである必要はなく、フラッシュメモリ１０に記憶されている画像であれば任意の画像を使用することができる。例えば、好みの有名人や芸能人の顔の画像を予め記憶しておけば、自分の顔の全部、又は一部を有名人等に似せて美容整形した場合の顔を確認することもできる。また、同一人物について第１の年齢のときに撮影された第１の顔画像と、第２の年齢のときに撮影された第２の顔画像とを記憶しておけば、第１の年齢から第２の年齢までの間の任意の年齢のときの顔を擬似的に確認することができる。さらに、例えば顔画像として多数の顔画像を登録（記憶）しておき、合成単位として「部位単位」を選択して特定部位のみの合成を行った後、合成後の画像を元画像として再び特定部位のみの合成を行う作業を繰り返し行えば、違和感のない自然な顔のモンタージュ画像を得ることができる。
【００５７】
さらに、本実施形態においては合成する２つの画像が人物の顔画像である場合について説明したが、これに限らず、本発明は人物の顔画像以外の画像を対象として合成する場合にも適用することができる。例えば一方、又は双方の画像をペット等の動物の顔であっても構わないし、また、それ以外の任意の画像同士を対象として新たな画像を合成する場合にも適用することができる。
【００５８】
また、ここでは本発明をデジタルカメラに適用した場合について説明したが、本発明は、異なる２つの画像を合成する機能を有する機器であれば、パーソナルコンピュータ等の任意の画像合成装置にも適用することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明に係るデジタルカメラのブロック図である。
【図２】フラッシュメモリのメモリ空間を示す概念図である。
【図３】画像合成モードが設定されたときのＣＰＵの処理内容を示したフローチャートである。
【図４】図３に続くフローチャートである。
【図５】元画像と類似モデル画像との合成方法を示す模式説明図である。
【図６】合成単位として「顔単位」が選択されていた場合の合成画像を含む表示画面の一例を示した図である。
【図７】合成単位として「部位単位」が選択されていた場合の合成画像を含む表示画面の一例を示した図である。
【符号の説明】
【００６０】
１ カメラモジュール
３ イメージセンサ
６ ＣＰＵ
７ ＤＭＡ
８ ワークメモリ
９ 画像処理部
１０ フラッシュメモリ
１４ キー入力部
【特許請求の範囲】
【請求項１】
第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する合成比率設定手段と、
この合成比率設定手段により設定された合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成手段と
を備えたことを特徴とする画像合成装置。
【請求項２】
前記第１の画像は第１の顔画像であり、かつ前記第２の画像は第２の顔画像であって、
前記画像合成手段は、合成画像として第３の顔画像を生成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記第１の画像について前記第２の画像を合成する部位を使用者の要求に応じて設定する部位設定手段を備え、
前記画像合成手段は、前記合成画像の生成に際し、前記第１の画像であって前記部位設定手段により設定された部位と、当該部位と対応する前記第２の画像の対応部位とを前記合成比率設定手段により設定された合成比率で合成する
ことを特徴とする請求項１又は２記載の画像合成装置。
【請求項４】
前記部位設定手段は、使用者の要求に応じ、前記第１の画像について前記第２の画像を合成する部位を複数設定し、
前記合成比率設定手段は、使用者の要求に応じ、前記第１の画像と前記第２の画像との合成比率を前記部位設定手段により設定された部位毎に設定する
前記画像合成手段は、前記合成画像の生成に際し、前記第１の画像であって前記部位設定手段により設定された複数の部位と、当該複数の部位と対応する前記第２の画像の複数の対応部位とを、前記合成比率設定手段により部位毎に設定された合成比率で合成する
ことを特徴とする請求項３記載の画像合成装置。
【請求項５】
複数の所定の画像を記憶した画像記憶手段と、
この画像記憶手段に記憶されている複数の画像の中で、前記第１の画像に類似する類似画像を前記第２の画像として抽出する類似画像抽出手段と
をさらに備え、
前記画像合成手段は、前記合成比率設定手段により設定された合成比率で、前記第１の画像と前記類似画像抽出手段により前記第２の画像として抽出された類似画像とを合成して合成画像を生成する
ことを特徴とする請求項１乃至４いずれか記載の画像合成装置。
【請求項６】
第１の画像と第２の画像とを合成し合成画像を生成する画像合成方法であって、
第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する工程と、
設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する工程と
を含むことを特徴とする画像合成方法。
【請求項７】
第１の画像と第２の画像とを合成し合成画像を生成する画像合成装置が有するコンピュータに、
第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する手順と、
設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する手順と
を実行されることを特徴とする画像合成プログラム。
【請求項１】
第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する合成比率設定手段と、
この合成比率設定手段により設定された合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する画像合成手段と
を備えたことを特徴とする画像合成装置。
【請求項２】
前記第１の画像は第１の顔画像であり、かつ前記第２の画像は第２の顔画像であって、
前記画像合成手段は、合成画像として第３の顔画像を生成する
ことを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記第１の画像について前記第２の画像を合成する部位を使用者の要求に応じて設定する部位設定手段を備え、
前記画像合成手段は、前記合成画像の生成に際し、前記第１の画像であって前記部位設定手段により設定された部位と、当該部位と対応する前記第２の画像の対応部位とを前記合成比率設定手段により設定された合成比率で合成する
ことを特徴とする請求項１又は２記載の画像合成装置。
【請求項４】
前記部位設定手段は、使用者の要求に応じ、前記第１の画像について前記第２の画像を合成する部位を複数設定し、
前記合成比率設定手段は、使用者の要求に応じ、前記第１の画像と前記第２の画像との合成比率を前記部位設定手段により設定された部位毎に設定する
前記画像合成手段は、前記合成画像の生成に際し、前記第１の画像であって前記部位設定手段により設定された複数の部位と、当該複数の部位と対応する前記第２の画像の複数の対応部位とを、前記合成比率設定手段により部位毎に設定された合成比率で合成する
ことを特徴とする請求項３記載の画像合成装置。
【請求項５】
複数の所定の画像を記憶した画像記憶手段と、
この画像記憶手段に記憶されている複数の画像の中で、前記第１の画像に類似する類似画像を前記第２の画像として抽出する類似画像抽出手段と
をさらに備え、
前記画像合成手段は、前記合成比率設定手段により設定された合成比率で、前記第１の画像と前記類似画像抽出手段により前記第２の画像として抽出された類似画像とを合成して合成画像を生成する
ことを特徴とする請求項１乃至４いずれか記載の画像合成装置。
【請求項６】
第１の画像と第２の画像とを合成し合成画像を生成する画像合成方法であって、
第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する工程と、
設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する工程と
を含むことを特徴とする画像合成方法。
【請求項７】
第１の画像と第２の画像とを合成し合成画像を生成する画像合成装置が有するコンピュータに、
第１の画像と第２の画像との合成比率を使用者の要求に応じて設定する手順と、
設定した合成比率で前記第１の画像と前記第２の画像とを合成して合成画像を生成する手順と
を実行されることを特徴とする画像合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−９７４４９（Ｐ２０１０−９７４４９Ａ）
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願番号】特願２００８−２６８１３１（Ｐ２００８−２６８１３１）
【出願日】平成２０年１０月１７日（２００８．１０．１７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願日】平成２０年１０月１７日（２００８．１０．１７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]