画像合成装置、画像合成方法及びプログラム
【課題】背景画像と前景画像とを合成する場合に、背景画像に対する前景画像の識別性を向上させる。
【解決手段】撮像装置１００であって、前景画像寸法及び色に基づき、切抜画像生成部６ｇにより取得された被写体切り抜き画像P2（前景画像）に対して所定の加工を施す加工処理部６ｉと、所定の加工が施された前景画像と背景画像とを合成して合成画像を生成する画像合成部６ｌとを備えている。
【解決手段】撮像装置１００であって、前景画像寸法及び色に基づき、切抜画像生成部６ｇにより取得された被写体切り抜き画像P2（前景画像）に対して所定の加工を施す加工処理部６ｉと、所定の加工が施された前景画像と背景画像とを合成して合成画像を生成する画像合成部６ｌとを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置、画像合成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置を用いて、背景内に被写体が存在する画像と被写体が存在しない背景画像とを撮像して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを抜き出すアプリケーションが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２１４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１のアプリケーションによって抜き出した被写体の画像を他の背景画像に合成して合成画像を生成するような場合に、被写体の画像のサイズや、被写体の画像と背景画像との色調の組み合わせによっては、合成画像にて被写体を見難くなってしまうという問題があった。
【０００５】
そこで、本発明の課題は、前景画像を背景画像に合成する場合に、背景画像に対する前景画像の識別性を向上させることができる画像合成装置、画像合成方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像合成装置は、
背景画像を取得する背景取得手段と、前景画像を取得する前景取得手段と、この前景取得手段により取得された前記前景画像の色を判定する判定手段と、この判定手段によって判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工手段と、この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像合成装置において、
前記前景画像の寸法を算出する寸法算出手段を更に備え、前記加工手段は、前記寸法算出手段により算出された前記前景画像の寸法に基づいて、前記所定の加工の内容を変更することを特徴としている。
【０００８】
請求項３に記載の発明の画像合成装置は、
背景画像を取得する背景取得手段と、前景画像を取得する前景取得手段と、この前景取得手段により取得された前記前景画像の寸法を算出する寸法算出手段と、この寸法算出手段により算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段と、この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段と、を備えたことを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像合成装置において、
前記背景画像から特定領域を検出する検出手段と、この検出手段により検出された特定領域の位置に基づいて、前記背景画像における前記所定の加工が施された前景画像の合成位置を決定する決定手段とを更に備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像合成装置において、
前記加工手段は、前記所定の加工として、前記前景画像を所定形状のふきだし画像に合成する処理を施し、前記合成手段は、前記所定形状のふきだし画像に合成した前景画像を前記背景画像に合成して合成画像を生成することを特徴としている。
【００１１】
請求項６に記載の発明の画像合成方法は、
画像合成装置を用いた画像合成方法であって、背景画像を取得する処理と、前景画像を取得する処理と、取得された前記前景画像の色を判定する処理と、判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工処理と、前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する処理と、を備えたことを特徴としている。
【００１２】
請求項７に記載の発明の画像合成方法は、
画像合成装置を用いた画像合成方法であって、背景画像を取得する処理と、前景画像を取得する処理と、取得された前記前景画像の寸法を算出する処理と、算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す処理と、前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成処理と、を備えたことを特徴としている。
【００１３】
請求項８に記載の発明のプログラムは、
画像合成装置のコンピュータを、背景画像を取得する背景取得手段、前景画像を取得する前景取得手段、この前景取得手段により取得された前記前景画像の色を判定する判定手段、この判定手段によって判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工手段、この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段、として機能させることを特徴としている。
【００１４】
請求項９に記載の発明のプログラムは、
画像合成装置のコンピュータを、背景画像を取得する背景取得手段、前景画像を取得する前景取得手段、この前景取得手段により取得された前記前景画像の寸法を算出する寸法算出手段、この寸法算出手段により算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段、この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段、として機能させることを特徴としている。
【発明の効果】
【００１５】
本発明によれば、前景画像を背景画像に合成する場合に、背景画像に対して前景画像の識別性を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による被写体加工処理に係る動作の一例を示すフローチャートである。
【図３】図２の被写体加工処理における被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図４】図３の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図５】図３の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図６】図２の被写体加工処理における被写体範囲算出処理に係る動作の一例を示すフローチャートである。
【図７】図６の被写体範囲算出処理を説明するための画像の一例を模式的に示す図である。
【図８】図２の被写体加工処理におけるふきだし付加処理に係る動作の一例を示すフローチャートである。
【図９】図８のふきだし付加処理を説明するための画像の一例を模式的に示す図である。
【図１０】図１の撮像装置による合成処理に係る動作の一例を示すフローチャートである。
【図１１】図１０の合成処理を説明するための画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１７】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１８】
本実施形態の撮像装置１００は、前景画像（被写体画像Pg）に対して所定の加工を施した（ふきだし画像と合成した）後、当該所定の加工が施された前景画像（ふきだし合成画像Pd）と背景画像Pbとを合成して合成画像Pfを生成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、画像処理部６と、表示制御部７と、表示部８と、記録媒体制御部９と、操作入力部１０と、中央制御部１１とを備えている。
また、撮像制御部３と、画像処理部６と、中央制御部１１は、例えば、カスタムＬＳＩ１Ａとして設計されている。
【００１９】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体Ｓ（例えば、文字「あつい！！」等；図４（ａ）等参照）の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【００２０】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２１】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体Ｓの撮像条件の調整制御を行う。
【００２２】
また、撮像モードとして被写体切り抜きモード（後述）が設定されている場合に、ユーザによるシャッタボタン１０ａの撮像指示操作に基づいて、撮像制御部３は、レンズ部１を通過した背景内に被写体Ｓが存在する被写体存在画像P1（図４（ａ）参照）の光学像を所定の撮像条件で電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から被写体存在画像P1に係る画像フレームを読み出させる。
ここで、電子撮像部２及び撮像制御部３は、背景内に被写体Ｓが存在する被写体存在画像P1を所定のタイミングで撮像する撮像手段を構成している。
【００２３】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、画像データ生成部４は、ＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度の縮小画像データを生成する。
カラープロセス回路から出力されるＹＵＶデータは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００２４】
なお、Ａ／Ｄ変換後のデジタルデータを現像するデモザイク部（図示略）が、カスタムＬＳＩ１Ａに実装されていても良い。
【００２５】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、画像データ生成部４から転送された被写体存在画像P1のＹＵＶデータを一時的に記憶する。また、画像メモリ５は、画像処理部６、中央制御部１１等によって処理されるデータ等を一時的に記憶する。
【００２６】
画像処理部６は、画像取得部６ａと、分割部６ｂと、ばらつき量算出部６ｃと、非平坦度判定部６ｄと、背景生成部６ｅと、位置情報生成部６ｆと、切抜画像生成部６ｇと、寸法算出部６ｈと、加工処理部６ｉと、顔検出部６ｊと、合成位置決定部６ｋと、画像合成部６ｌとを具備している。
【００２７】
画像取得部６ａは、画像メモリ５に一時的に記憶されている被写体存在画像P1のＹＵＶデータを取得する。
即ち、画像取得部６ａは、被写体切り抜き処理（後述）にて、電子撮像部２及び撮像制御部３による被写体存在画像P1（図４（ａ）参照）の撮像後、画像データ生成部４から転送されて画像メモリ５に一時的に記憶された被写体存在画像P1のＹＵＶデータを取得する。
【００２８】
また、画像取得部６ａは、記録媒体９ａに記録されている所定の背景画像Pbの画像データを取得する。即ち、画像取得部６ａは、合成処理（後述）にて、ふきだし合成画像Pdと合成される所定の画像を背景画像Pb（図１１（ａ）参照）として、当該背景画像Pbの画像データを取得する。
ここで、画像取得部６ａは、背景画像Pbを取得する背景取得手段を構成している。
【００２９】
分割部６ｂは、被写体存在画像P1を複数の画像ブロックＢ、…に分割する。
即ち、分割部６ｂは、被写体切り抜き処理にて、被写体存在画像P1のＹＵＶデータに基づいて、当該被写体存在画像P1全体を縦横がそれぞれ所定画素からなる複数の画像ブロックＢ、…に分割する（図４（ｂ）参照）。
なお、分割部６ｂによる被写体存在画像P1の画像データは、例えば、記録用として記録媒体９ａに記録される高解像度の画像データであっても良いし、画像データ生成部４により生成されたライブビュー表示用の低解像度の縮小画像データであっても良い。
【００３０】
ばらつき量算出部６ｃは、画像ブロックＢ内の画素値のばらつき量（非平坦度）を算出する。
具体的には、ばらつき量算出部６ｃは、被写体切り抜き処理にて、分割部６ｂにより分割された被写体存在画像P1の複数の画像ブロックＢ、…の各々についてのばらつき量として、標準偏差を下記式（１）に従って算出する。
【数１】
なお、上記式（１）において、ｂ：各ブロック領域の画素値としては、例えば、輝度値が挙げられる。
【００３１】
非平坦度判定部６ｄは、各画像ブロックＢの非平坦度（ばらつき量）の判定を行う。
即ち、非平坦度判定部６ｄは、被写体切り抜き処理にて、画像ブロック内の画素値のばらつき量が所定値以下であるか否かを判定する。具体的には、例えば、非平坦度判定部６ｄは、被写体存在画像P1の複数の画像ブロックＢ、…のうち、被写体Ｓを含む画像ブロックＢについては、ブロック内の画素値のばらつき量が大きく、画素値のばらつき量が所定値以下であると判定しない。一方で、非平坦度判定部６ｄは、特徴量の少ない無地の背景をバックに撮像される被写体存在画像P1の複数の画像ブロックＢ、…のうち、被写体Ｓを含まない画像ブロックＢ、つまり、特徴量の少ない無地の背景部分は、ブロック内の画素値のばらつき量が被写体Ｓを含む画像ブロックＢに比して大幅に小さくなり、画素値のばらつき量が所定値以下であると判定する。
そして、画像処理部６は、当該非平坦度判定部６ｄによる判定結果に基づいて、非平坦度が所定値以下である画像ブロックＢを特定する。即ち、画像処理部６は、非平坦度判定部６ｄによる判定の結果、ブロック内の画素値の非平坦度が所定値以下であると判定された少なくとも一の画像ブロックＢを含んでなる画像領域を特定する。
【００３２】
背景生成部６ｅは、クロマキー技術を利用して被写体領域を抽出するための抽出用背景画像（図示略）を生成する。
即ち、背景生成部６ｅは、非平坦度判定部６ｄにより画素値の非平坦度が所定値以下であると判定された被写体存在画像P1の画像ブロックＢの色とほぼ等しい色を背景色とする抽出用背景画像を生成する。例えば、業務用机やホワイトボード等のように特徴量の少ない無地の背景をバックに被写体Ｓを撮影した場合には、背景生成部６ｅは、無地の背景とほぼ等しい色の抽出用背景画像を生成する。
なお、クロマキーとは、特定の色背景を用いて一の画像データから被写体Ｓを切り抜く手法である。クロマキーでは、通常、背景に被写体Ｓと補色の関係にある青や緑のスクリーンを用いるようになっており、被写体存在画像P1における画素値のばらつき量が所定値以下である画像ブロックＢとほぼ等しい色の抽出用背景画像を生成することで、抽出用背景画像と被写体存在画像P1の色情報を基にして背景部分と被写体部分を分離することができる。
【００３３】
位置情報生成部６ｆは、被写体存在画像P1から被写体領域を抽出するための被写体用アルファマップM1（図５（ａ）参照）を生成する。
即ち、位置情報生成部６ｆは、抽出用背景画像と被写体存在画像P1の対応する各画素の各画素の差分情報、例えば、相違度Ｄを下記式（２）に従って算出して相違度マップを生成する。
【数２】
なお、上記式にあっては、抽出用背景画像のＹＵＶデータを「Y」、「U」、「V」で表し、被写体存在画像P1のＹＵＶデータを「Yc」、「Uc」、「Vc」で表す。また、Ｇは、色差信号U、Vのゲインを表している。
そして、位置情報生成部６ｆは、生成した相違度マップを所定の閾値で二値化（０、２５５）することにより、被写体用アルファマップM1を生成する（詳細後述）。
ここで、被写体用アルファマップM1とは、被写体存在画像P1における被写体画像Pgの位置を示す位置情報であり、被写体存在画像P1の各画素について、被写体画像Pgを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
【００３４】
切抜画像生成部６ｇは、生成された被写体用アルファマップM1に基づいて、被写体存在画像P1の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させず、且つ、アルファ値が０の画素を透過させ、且つ、アルファ値が０＜α＜１の画素を所定の単一色とブレンディングさせるように、被写体画像Pgを所定の単一色画像と合成して被写体切り抜き画像P2の画像データを生成する。
これにより、切抜画像生成部６ｇは、背景と被写体Ｓとが存在する被写体存在画像P1から被写体Ｓが含まれる領域を切り抜いた被写体切り抜き画像P2の被写体画像Pgを前景画像として取得する。
ここで、切抜画像生成部６ｇは、前景画像を取得する前景取得手段を構成している。
【００３５】
寸法算出部６ｈは、被写体切り抜き画像P2の被写体画像Pgのサイズを算出する。
即ち、寸法算出部６ｈは、被写体範囲算出処理（図６参照；後述）にて、被写体切り抜き画像P2における被写体画像Pgの存する範囲を被写体範囲Prとして、当該被写体範囲Prのx軸方向及びy軸方向の画素数（Xsize, Ysize）を算出する。なお、被写体範囲Prのサイズの算出方法は、被写体範囲算出処理（図６参照）にて詳細に説明する。
ここで、寸法算出部６ｈは、被写体切り抜き画像P2（前景画像）の寸法を算出する寸法算出手段を構成している。
【００３６】
加工処理部６ｉは、切抜画像生成部６ｇにより取得された被写体切り抜き画像P2の被写体画像Pgに対して所定の加工を施す。
即ち、加工処理部６ｉは、所定の加工として、被写体切り抜き画像P2の被写体画像Pgに所定形状（例えば、矩形状等）のふきだしｆを付加する処理を施す。具体的には、加工処理部６ｉは、所定の記録手段（例えば、画像メモリ５等）に記録されているふきだし情報fdを取得して、当該ふきだし情報fdに係る所定形状のふきだしｆ内に被写体画像Pg（被写体範囲Pr）が配置されるようにふきだしｆのサイズを変更する。なお、加工処理部６ｉは、被写体切り抜き画像P2の被写体範囲Prのサイズに基づいて、所定の記録手段から取得されるふきだし情報fdを変更しても良い。このように、加工処理部６ｉは、寸法算出部６ｈにより算出された被写体切り抜き画像P2の被写体画像Pg（被写体範囲Pr）の寸法に基づいて、所定の加工の内容を変更する。
【００３７】
また、加工処理部６ｉは、被写体切り抜き画像P2の被写体画像Pgの色に基づいて、所定の加工の色を変更する。即ち、加工処理部６ｉは、例えば、被写体画像Pgの平均色を判定し、ふきだしｆ内の色がこの被写体画像Pgの平均色と反対の色となるように変更する。
具体的には、加工処理部６ｉは、被写体画像Pgの各画素の画素値に基づいて、当該被写体画像Pgの平均色と反対の色を式（３）に従って算出して、画像メモリ５に一時的に記憶する。
【数３】
なお、上記式（３）にあっては、被写体画像Pgの平均色の輝度信号及び色差信号の反対値を算出するようにしたが、必ずしも輝度信号の反対値を算出する必要はなく、少なくとも色差信号の反対値を算出すれば良い。また、被写体画像Pgの平均色と正反対の色を上記式（３）に基づいて算出するようにしたが、一例であってこれに限られるものではなく、必ずしも正反対の色である必要はない。つまり、被写体画像Pgと背景画像Pbの識別性を高めることができる色であれば良い。
【００３８】
なお、被写体画像Pgに対する所定の加工として、ふきだしｆを付加する処理を例示したが、一例であってこれに限られるものではなく、例えば、被写体画像Pgの輪郭を強調する処理など適宜任意に変更可能である。
このように、加工処理部６ｉは、切抜画像生成部６ｇにより取得された被写体切り抜き画像P2（前景画像）に対して所定の加工を施す。
【００３９】
顔検出部６ｊは、背景画像Pbから顔領域を検出する。
即ち、顔検出部６ｊは、画像取得部６ａにより取得された背景画像Pbの画像データに対して所定の顔検出処理を行って顔領域（特定領域）を検出する。
なお、特定領域として、顔領域を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、物体、植物、動物などの主要領域であっても良い。また、特定領域の検出方法として、顔検出処理の他に、エッジ検出処理、特徴抽出処理等の各種画像処理を適用しても良い。また、顔検出処理やエッジ検出処理や特徴抽出処理等は、公知の技術であるので、ここでは詳細な説明を省略する。
このように、顔検出部６ｊは、背景画像Pbから特定領域を検出する検出手段を構成している。
【００４０】
合成位置決定部６ｋは、背景画像Pbにおける所定の加工が施された被写体切り抜き画像P2の合成位置を決定する。
即ち、合成位置決定部６ｋは、顔検出部６ｊにより検出された顔領域の位置に基づいて、背景画像Pbにおけるふきだし合成画像Pdの合成位置を決定する。具体的には、例えば、ふきだし合成画像Pdが引き出し線を具備している場合、合成位置決定部６ｋは、背景画像Pb内にて、顔検出部６ｊにより検出された顔領域の中心位置に引き出し線の先端が向くようにふきだし合成画像Pdの合成中心座標としてふきだし合成中心を決定する。このとき、合成位置決定部６ｋは、顔検出部６ｊにより検出された顔領域の位置に加えて、当該顔領域のサイズ、ふきだし合成画像Pdの引き出し線の有無、引き出し線の向き等を考慮して、ふきだし合成中心を決定しても良い。
ここで、合成位置決定部６ｋは、顔検出部６ｊにより検出された特定領域（顔領域）の位置に基づいて、背景画像Pbにおける所定の加工が施された被写体切り抜き画像P2（前景画像）の合成位置を決定する決定手段を構成している。
【００４１】
画像合成部６ｌは、所定の加工が施された被写体切り抜き画像P2（ふきだし合成画像Pd）と背景画像Pbとを合成して合成画像Pfを生成する。
即ち、画像合成部６ｌは、加工処理部６ｉにより生成されたふきだし合成画像Pdと背景画像Pbとを合成して合成画像Pfを生成する。具体的には、画像合成部６ｌは、背景画像Pbの各画素のうち、ふきだし用アルファマップのアルファ値が０の画素は透過させ、アルファ値が１の画素はふきだし合成画像Pdの対応する画素の画素値で上書きし、さらに、アルファ値が０＜α＜１の画素については、ふきだし合成画像Pdとブレンディングを行う。
ここで、画像合成部６ｌは、加工処理部６ｉにより所定の加工が施された前景画像と背景画像Pbとを合成して合成画像Pfを生成する合成手段を構成している。
【００４２】
表示制御部７は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００４３】
表示部８は、例えば、液晶表示装置であり、表示制御部７からのビデオ信号に基づいてライブビュー画像やレックビュー画像などを表示画面に表示する。
即ち、表示制御部７は、撮像モードにて、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像や、本撮像画像として撮像されたレックビュー画像などを表示部８の表示画面に表示させる。
【００４４】
記録媒体制御部９は、記録媒体９ａが着脱自在に構成され、装着された記録媒体９ａからのデータの読み出しや記録媒体９ａに対するデータの書き込みを制御する。即ち、記録媒体制御部９は、画像処理部６のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記録媒体９ａに記録させる。
また、ふきだし画像gfの画像データは、画像処理部６の位置情報生成部６ｆにより生成されたふきだし用アルファマップと対応付けられて、当該ふきだし合成画像Pdの画像データの拡張子を「.jpe」として保存されている。
【００４５】
なお、記録媒体９ａは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００４６】
操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体Ｓの撮影指示に係るシャッタボタン１０ａ、メニュー画面にて撮像モードや機能等の選択指示に係る選択決定用ボタン１０ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１１に出力する。
【００４７】
中央制御部１１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４８】
次に、撮像装置１００による被写体加工処理について、図２〜図９を参照して説明する。
図２は、被写体加工処理に係る動作の一例を示すフローチャートである。
被写体加工処理は、ユーザによる操作入力部１０の選択決定用ボタン１０ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体加工モードが選択指示された場合に実行される処理である。
【００４９】
図２に示すように、先ず、画像処理部６は、電子撮像部２及び撮像制御部３により撮像された被写体存在画像P1から被写体領域を切り抜く被写体切り抜き処理（後述；図３〜図５参照）を実行する（ステップＳ１）。
次に、画像処理部６の寸法算出部６ｈは、被写体切り抜き画像P2における被写体画像Pgの存する範囲を被写体範囲Prとして算出する被写体範囲算出処理（後述；図６、図７参照）を実行する（ステップＳ２）。
続けて、画像処理部６の加工処理部６ｉは、被写体切り抜き画像P2の被写体画像Pgにふきだしｆを付加するふきだし付加処理（後述；図８、図９参照）を実行する（ステップＳ３）。
その後、画像処理部６は、ふきだし用アルファマップに基づいて、被写体切り抜き画像P2のふきだし画像gf以外の領域を所定の色（例えば、グレー等）で塗りつぶすことによりふきだし合成画像Pd（図９（ｄ）参照）を生成し、記録媒体制御部９は、当該ふきだし合成画像Pdとふきだし用アルファマップとを対応付けて記録媒体９ａに記録させる（ステップＳ４）。
これにより、被写体加工処理を終了する。
【００５０】
次に、被写体切り抜き処理について図３〜図５を参照して説明する。
図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【００５１】
図３に示すように、先ず、ユーザによる操作入力部１０のシャッタボタン１０ａの所定操作に基づいて、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の撮像条件を調整させて、背景内に所定の被写体Ｓが存在する被写体存在画像P1（図４（ａ）参照）の光学像を所定の撮像条件で電子撮像部２により撮像させる（ステップＳ１０１）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体存在画像P1のＹＵＶデータを生成した後、当該被写体存在画像P1のＹＵＶデータを画像メモリ５に一時的に記憶させる。
【００５２】
次に、画像処理部６は、被写体存在画像P1から被写体領域を抽出するための抽出用背景画像（図示略）を生成する処理を行う（ステップＳ１０２）。
具体的には、画像処理部６の分割部６ｂは、画像取得部６ａにより画像メモリ５から取得された被写体存在画像P1のＹＵＶデータに基づいて、当該被写体存在画像P1を複数の画像ブロックＢ、…（図４（ｂ）参照）に分割する。続けて、ばらつき量算出部６ｃは、被写体存在画像P1の複数の画像ブロックＢの各々について、画素値のばらつき量としての標準偏差を式（１）に従って算出する。
【数４】
【００５３】
次に、非平坦度判定部６ｄは、算出された各画像ブロックＢのばらつき量が所定値以下であるか否かを判定し、画像処理部６は、ばらつき量が所定値以下であると判定された各画像ブロックＢの平均色を算出する。
そして、画像処理部６の背景生成部６ｅは、同一色であるとみなすことができる色の画像ブロックＢの数を各色毎に算出して、この中で、最多の色の画像ブロックＢの平均色を背景色とする抽出用背景画像のＹＵＶデータを生成する。
【００５４】
次に、画像処理部６は、被写体存在画像P1から被写体Ｓが含まれる被写体領域を検出する処理を行う（ステップＳ１０３）。
具体的には、画像処理部６の位置情報生成部６ｆは、抽出用背景画像のＹＵＶデータと被写体存在画像P1のＹＵＶデータとの間で対応する各画素の相違度Ｄを下記式（２）に従って算出して相違度マップを生成する。
【数５】
【００５５】
次に、位置情報生成部６ｆは、生成した相違度マップを所定の閾値で二値化してマスク画像データを生成する。そして、位置情報生成部６ｆは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後、収縮分を修正するための膨張処理を行う。
その後、位置情報生成部６ｆは、マスク画像データに対して平均化フィルタをかけて被写体領域の縁部に合成階調をつけて、被写体存在画像P1内での被写体領域を示す被写体用アルファマップM1（図５（ａ）参照）を生成する。
【００５６】
続けて、画像処理部６の切抜画像生成部６ｇは、クロマキー技術を利用して、領域検出処理にて生成された被写体用アルファマップM1を用いて被写体存在画像P1から被写体領域を切り出して、所定の単一色画像（図示略）と合成して被写体切り抜き画像P2（図５（ｂ）参照）の画像データを生成する（ステップＳ１０４）。
具体的には、切抜画像生成部６ｇは、被写体存在画像P1、単一色画像及び被写体用アルファマップM1を読み出して画像メモリ５に展開した後、被写体存在画像P1の全ての画素について、アルファ値が０の画素については、透過させ、アルファ値が０＜α＜１の画素については、所定の単一色とブレンディングを行い、アルファ値が１の画素については、何もせずに所定の単一色に対して透過させないようにする。
なお、被写体用アルファマップM1の縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色画像（背景）との境界部分がはっきりしていない自然な感じとなる。
【００５７】
次に、画像処理部６の加工処理部６ｉは、被写体切り抜き画像P2の被写体画像Pgの各画素の画素値に基づいて、当該被写体画像Pgの平均色を算出した後（ステップＳ１０５）、当該平均色と反対の色を式（３）に従って算出して、画像メモリ５に一時的に記憶する（ステップＳ１０６）。
【数６】
これにより、被写体切り抜き処理を終了する。
【００５８】
次に、被写体範囲算出処理について図６及び図７を参照して説明する。
図６は、被写体範囲算出処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体範囲算出処理では、被写体範囲Prを矩形として想定し、当該被写体範囲Prの左上隅部の座標を（Xstart, Ystart）、右下隅部の座標を（Xend, Yend）とし、x軸方向及びy軸方向のサイズをXsize, Ysizeとする（図７参照）。また、被写体用アルファマップM1のサイズを（Xmax, Ymax）とする。
【００５９】
図６に示すように、先ず、画像処理部６の寸法算出部６ｈは、被写体用アルファマップM1を取得した後、当該被写体用アルファマップM1における範囲情報を初期化する（ステップＳ２０１）。具体的には、寸法算出部６ｈは、処理対象座標（x, y）＝（0, 0）に設定するとともに、初期座標を（Xstart, Ystart）＝（0, 0）、（Xend, Yend）＝（Xmax-1, Ymax-1）に設定する。
【００６０】
次に、寸法算出部６ｈは、y軸方向で被写体Ｓが存在する範囲を算出する（ステップＳ２０２〜Ｓ２１０）。
具体的には、寸法算出部６ｈは、先ず、被写体Ｓが存在する範囲のy座標の開始位置（Ystart）を算出する。ここで、被写体用アルファマップM1の所定の座標（x, y）における値をM（x, y）とすると、被写体Ｓが存在する座標では０以上の値になることから、寸法算出部６ｈは、x軸方向の和が０であるか否かを判定する（ステップＳ２０２）。
ここで、x軸方向の和が０であると判定されると（ステップＳ２０２；ＹＥＳ）、寸法算出部６ｈは、処理対象のy座標の値を＋１して次の座標に設定し（ステップＳ２０３）、処理対象のy座標が被写体用アルファマップM1の最下行（Ymax）に達したか否かを判定する（ステップＳ２０４）。
【００６１】
ステップＳ２０４にて、処理対象のy座標が被写体用アルファマップM1の最下行（Ymax）に達していないと判定されると（ステップＳ２０４；ＮＯ）、寸法算出部６ｈは、処理をステップＳ２０２に移行して、x軸方向の和が０であるか否かを判定する（ステップＳ２０２）。
一方、処理対象のy座標が被写体用アルファマップM1の最下行（Ymax）に達していると判定されると（ステップＳ２０４；ＹＥＳ）、寸法算出部６ｈは、被写体範囲Prの開始位置（Xstart, Ystart）、終了位置（Xend, Yend）、x軸方向及びy軸方向のサイズ（Xsize, Ysize）を全て「0」とする（ステップＳ２０５）。その後、寸法算出部６ｈは、処理をステップＳ２２０に移行して、被写体範囲Prの中心座標（Xcenter, Ycenter）を算出する（後述）。
【００６２】
ステップＳ２０２にて、x軸方向の和が０でないと判定されると（ステップＳ２０２；ＮＯ）、寸法算出部６ｈは、そのy座標から被写体Ｓが存在する範囲を構成していると判断して、Ystartにy座標の値を登録する（ステップＳ２０６）。
【００６３】
続けて、寸法算出部６ｈは、被写体Ｓが存在する範囲のy座標の終了位置（Yend）を算出する。
具体的には、寸法算出部６ｈは、先ず、処理対象のy座標を最下行（Ymax-1）に設定した後（ステップＳ２０７）、ステップＳ２０２と同様に、被写体Ｓが存在する座標ではx軸方向の和が０以上の値になることから、寸法算出部６ｈは、x軸方向の和が０であるか否かを判定する（ステップＳ２０８）。
ここで、x軸方向の和が０であると判定されると（ステップＳ２０８；ＹＥＳ）、寸法算出部６ｈは、処理対象のy座標の値を−１して次の座標に設定した後（ステップＳ２０９）、処理をステップＳ２０８に移行して、x軸方向の和が０であるか否かを判定する（ステップＳ２０８）。
【００６４】
ステップＳ２０８にて、x軸方向の和が０でないと判定されると（ステップＳ２０８；ＮＯ）、寸法算出部６ｈは、そのy座標まで被写体Ｓが存在する範囲を構成していると判断して、Yendにy座標の値を登録する（ステップＳ２１０）。
【００６５】
次に、寸法算出部６ｈは、x軸方向で被写体Ｓが存在する範囲を算出する（ステップＳ２１１〜Ｓ２１８）。
具体的には、寸法算出部６ｈは、先ず、被写体Ｓが存在する範囲のx座標の開始位置（Xstart）を算出する。即ち、寸法算出部６ｈは、処理対象のx座標の値を初期化（x＝0）した後（ステップＳ２１１）、上記と同様に、y軸方向の和が０であるか否かを判定する（ステップＳ２１２）。
ここで、y軸方向の和が０であると判定されると（ステップＳ２１２；ＹＥＳ）、寸法算出部６ｈは、処理対象のx座標の値を＋１して次の座標に設定した後（ステップＳ２１３）、処理をステップＳ２１２に移行して、y軸方向の和が０であるか否かを判定する（ステップＳ２１２）。
【００６６】
ステップＳ２１２にて、y軸方向の和が０でないと判定されると（ステップＳ２１２；ＮＯ）、寸法算出部６ｈは、そのx座標から被写体Ｓが存在する範囲を構成していると判断して、Xstartにx座標の値を登録する（ステップＳ２１４）。
【００６７】
続けて、寸法算出部６ｈは、被写体Ｓが存在する範囲のx座標の終了位置（Xend）を算出する。
具体的には、寸法算出部６ｈは、先ず、処理対象のx座標を最右列（Xmax-1）に設定した後（ステップＳ２１５）、ステップＳ２１２と同様に、被写体Ｓが存在する座標ではy軸方向の和が０以上の値になることから、寸法算出部６ｈは、y軸方向の和が０であるか否かを判定する（ステップＳ２１６）。
ここで、y軸方向の和が０であると判定されると（ステップＳ２１６；ＹＥＳ）、寸法算出部６ｈは、処理対象のx座標の値を−１して次の座標に設定した後（ステップＳ２１７）、処理をステップＳ２１６に移行して、y軸方向の和が０であるか否かを判定する（ステップＳ２１６）。
【００６８】
ステップＳ２１６にて、y軸方向の和が０でないと判定されると（ステップＳ２１６；ＮＯ）、寸法算出部６ｈは、そのx座標まで被写体Ｓが存在する範囲を構成していると判断して、Xendにx座標の値を登録する（ステップＳ２１８）。
【００６９】
次に、寸法算出部６ｈは、上記のようにして算出された被写体範囲Prの終了位置（Xend, Yend）から開始位置（Xstart, Ystart）を減算して＋１することにより、被写体範囲Prのx軸方向及びy軸方向のサイズ（Xsize, Ysize）を算出する（ステップＳ２１９）。
さらに、寸法算出部６ｈは、被写体範囲Prのサイズ（Xsize, Ysize）を二分して開始位置（Xstart, Ystart）を加算することにより、被写体範囲Prの中心座標（Xcenter, Ycenter）を算出する（ステップＳ２２０）。
これにより、被写体範囲算出処理を終了する。
【００７０】
次に、ふきだし付加処理について図８及び図９を参照して説明する。
図８は、ふきだし付加処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体範囲算出処理では、被写体画像Pgと合成される所定形状のふきだしｆが、ユーザによる操作入力部１０の所定操作に基づいて、或いは、デフォルトとして設定されているものとする。
【００７１】
図８に示すように、加工処理部６ｉは、予め設定されている所定形状のふきだしｆに係るふきだし情報fdを取得した後（ステップＳ３０１）、寸法算出部６ｈにより算出された被写体画像Pg（被写体範囲Pr）のサイズ（Xsize, Ysize）に基づいて、当該被写体画像Pgがふきだしｆ内に配置されるようにふきだしｆのサイズを調整して、ふきだしｆ内における被写体画像Pgの合成位置を決定する（ステップＳ３０２；図９（ａ）参照）。
なお、ふきだし情報fdには、所定形状のふきだしｆのデータに加えて、ふきだし用アルファマップ（図示略）が含まれており、加工処理部６ｉは、サイズ調整後のふきだしｆのサイズに合わせてふきだし用アルファマップのサイズも調整する。
【００７２】
次に、加工処理部６ｉは、ふきだしｆが引き出し線を具備しているか否かを判定する（ステップＳ３０３）。
ここで、引き出し線を具備していると判定されると（ステップＳ３０３；ＹＥＳ）、加工処理部６ｉは、引き出し線の先端座標を画像メモリ５に一時的に記憶させる（ステップＳ３０４）。一方、ステップＳ３０３にて、引き出し線を具備していないと判定されると（ステップＳ３０３；ＮＯ）、加工処理部６ｉは、ステップＳ３０４をスキップする。
【００７３】
その後、加工処理部６ｉは、被写体切り抜き処理にて算出された被写体画像Pgの平均色を判別し、判別した平均色と反対の色をふきだしｆの色として、ふきだしｆ内を塗りつぶした後（ステップＳ３０５；図９（ｂ）参照）、被写体用アルファマップM1に基づいて、当該ふきだしｆ内に被写体切り抜き画像P2の被写体画像Pgを合成してふきだし画像gfを生成する（ステップＳ３０６；図９（ｃ）参照）。具体的には、加工処理部６ｉは、被写体切り抜き画像P2の全ての画素について、アルファ値が０の画素については、透過させ、アルファ値が０＜α＜１の画素については、所定の単一色とブレンディングを行い、アルファ値が１の画素については、何もせずに所定の単一色に対して透過させないようにする。
次に、加工処理部６ｉは、生成されたふきだし画像gfの画像データとふきだし用アルファマップとを対応付けて画像メモリ５に一時的に記憶させる（ステップＳ３０７）。
これにより、ふきだし付加処理を終了する。
【００７４】
次に、合成処理について図１０及び図１１を参照して説明する。
図１０は、合成処理に係る動作の一例を示すフローチャートである。
合成処理は、ユーザによる操作入力部１０の選択決定用ボタン１０ｂの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
【００７５】
図１０に示すように、画像処理部６の画像取得部６ａは、記録媒体９ａに記録されている所定の背景画像Pb（図１１（ａ）参照）及びふきだし合成画像Pd（図１１（ｂ）参照）の画像データを読み出して取得する（ステップＳ１１）。なお、ふきだし合成画像Pdは、図１１（ｂ）に示すように、引き出し線を具備しているものとする。
続けて、画像処理部６は、顔検出部６ｊによる所定の顔検出処理が有効になっているか否かを判定する（ステップＳ１２）。ここで、所定の顔検出処理が有効になっていると判定されると（ステップＳ１２；ＹＥＳ）、顔検出部６ｊは、背景画像Pbの画像データに対して所定の顔検出処理を行い、顔領域が検出されたか否かを判定する（ステップＳ１３；図１１（ｃ）参照）。
【００７６】
ステップＳ１３にて、顔領域が検出されたと判定されると（ステップＳ１３；ＹＥＳ）、画像処理部６は、顔検出部６ｊにより検出された顔領域が一つであるか否かを判定する（ステップＳ１４）。なお、表示制御部７は、検出された顔領域に重畳させて顔枠Wを表示部８の表示画面に表示させる（図１１（ｃ）参照）。
ここで、顔領域が一つであると判定されると（ステップＳ１４；ＹＥＳ）、合成位置決定部６ｋは、顔検出部６ｊにより検出された顔領域の位置及びサイズ、ふきだし合成画像Pdの引き出し線の有無、引き出し線の向き等に基づいて、背景画像Pbにおけるふきだし合成画像Pdのふきだし画像gfの合成中心座標（ふきだし合成中心）を決定する（ステップＳ１５）。また、ステップＳ１４にて、顔領域が一つでないと判定されると（ステップＳ１４；ＮＯ）、画像処理部６は、ユーザによる操作入力部１０の所定操作に基づいて、或いは、所定の選択条件（例えば、最も大きい顔等）に従って、一の顔領域を指定した後（ステップＳ１６）、処理をステップＳ１５に移行する。
その後、画像合成部６ｌは、背景画像Pb内にふきだし合成画像Pdのふきだし画像gfが配置されるように当該ふきだし合成画像Pdのサイズを調整する（ステップＳ１７；図１１（ｄ）参照）。
【００７７】
次に、画像合成部６ｌは、ふきだし合成画像Pdに引き出し線が具備されているか否かを判定し（ステップＳ１８）、引き出し線が具備されていると判定されると（ステップＳ１８；ＹＥＳ）、ふきだし用アルファマップに基づいて、ふきだし合成画像Pdのふきだし画像gfと背景画像Pbとを合成して合成画像Pf（図１１（ｅ）参照）を生成する（ステップＳ１９）。具体的には、画像合成部６ｌは、背景画像Pbの各画素のうち、ふきだし用アルファマップのアルファ値が０の画素は透過させ、アルファ値が１の画素はふきだし合成画像Pdの対応する画素の画素値で上書きし、さらに、アルファ値が０＜α＜１の画素については、ふきだし合成画像Pdとブレンディングを行う。
【００７８】
一方、ふきだし合成画像Pdが引き出し線を具備していない場合（図１１（ｆ）参照）、ステップＳ１５にて、合成位置決定部６ｋは、背景画像Pbにおけるふきだし合成画像Pdの合成中心座標（ふきだし合成中心）を決定した後、ステップＳ１７にて、画像合成部６ｌは、ふきだし合成画像Pdのサイズを調整する（図１１（ｇ）参照）。
そして、ステップＳ１７にて、ふきだし合成画像Pdに引き出し線が具備されていないと判定されると（ステップＳ１７；ＮＯ）、加工処理部６ｉは、顔領域の中心位置とふきだし合成中心とを結ぶ線分上であって、顔領域の近傍（例えば、顔の輪郭の所定画素外側の位置）を引き出し線の先端座標として特定する（ステップＳ２０）。続けて、加工処理部６ｉは、引き出し線の先端を頂点とするとともに、ふきだし合成中心を底辺の中点とする二等辺三角形ｔを設定して（図１１（ｈ）参照）、当該二等辺三角形ｔの頂点と交わる２つの辺とふきだし合成画像Pdのふきだし画像gf（図１１（ｆ）参照）とが交わる２つの交点座標を特定する。そして、加工処理部６ｉは、これら２つの交点座標と二等辺三角形ｔの先端座標とからなる三角形を引き出し線として設定し、当該引き出し線を被写体切り抜き処理にて算出された被写体画像Pgの平均色と反対の色で塗りつぶす（ステップＳ２１）。
【００７９】
その後、処理をステップＳ１９に移行して、画像合成部６ｌは、ふきだし用アルファマップに基づいて、ふきだし合成画像Pdのふきだし画像gfと背景画像Pbとを合成して合成画像Pf（図１１（ｉ）参照）を生成する（ステップＳ１９）。
【００８０】
また、ステップＳ１２にて、所定の顔検出処理が有効になっていないと判定されるか（ステップＳ１２；ＮＯ）、或いは、ステップＳ１３にて、顔領域が検出されなかったと判定されると（ステップＳ１３；ＮＯ）、合成位置決定部６ｋは、ユーザによる操作入力部１０の所定操作に基づいて指定された位置をふきだし合成画像Pdのふきだし画像gfの合成位置（例えば、ふきだし合成中心の座標等）として決定するとともに、画像合成部６ｌは、ユーザによる操作入力部１０の所定操作に基づいて指定されたサイズにふきだし合成画像Pdのサイズを調整する（ステップＳ２２）。
【００８１】
続けて、画像合成部６ｌは、ふきだし合成画像Pdに引き出し線が具備されているか否かを判定し（ステップＳ２３）、引き出し線が具備されていると判定されると（ステップＳ２３；ＹＥＳ）、処理をステップＳ１９に移行して、ふきだし用アルファマップに基づいて、ふきだし合成画像Pdのふきだし画像gfと背景画像Pbとを合成して合成画像Pfを生成する（ステップＳ１９）。
一方、ステップＳ２３にて、ふきだし合成画像Pdに引き出し線が具備されていないと判定されると（ステップＳ２３；ＮＯ）、加工処理部６ｉは、ユーザによる操作入力部１０の所定操作に基づいて指定された位置を引き出し線の先端座標とした後（ステップＳ２４）、処理をステップＳ２１に移行して、引き出し線を設定して被写体画像Pgの平均色と反対の色で塗りつぶす（ステップＳ２１）。
その後、ステップＳ１９にて、画像合成部６ｌは、ふきだし合成画像Pdのふきだし画像gfと背景画像Pbとを合成して合成画像Pfを生成する（ステップＳ１９）。
【００８２】
以上のように、本実施形態の撮像装置１００によれば、被写体切り抜き画像P2の被写体画像Pgに対して所定の加工を施した後、当該所定の加工が施された被写体画像Pg（ふきだし合成画像Pd）と背景画像Pbとを合成して合成画像Pfを生成するので、合成画像Pf内で被写体画像Pgに視認者の注意を惹かせることができ、背景画像Pbに対する被写体画像Pgの識別性を向上させることができる。
具体的には、所定の加工として、被写体画像Pgに所定形状のふきだしｆを付加する処理を施すので、合成画像Pf内で被写体画像Pgをふきだしｆにより区分することができ、背景画像Pbに対する被写体画像Pgの識別性を向上させることができる。さらに、例えば、被写体画像Pgを文字とした場合には、当該文字を発言内容やオノマトペとして付加した合成画像Pfを生成することができ、当該合成画像Pfの興趣性の向上を図ることができる。
【００８３】
また、被写体画像Pg（被写体範囲Pr）のサイズに基づいて、当該被写体画像Pgに対する所定の加工の内容を変更したり、被写体画像Pgの色に基づいて、当該被写体画像Pgに対する所定の加工の色（例えば、ふきだし内の色等）を変更することによって、背景画像Pbに対する被写体画像Pgの識別性をさらに向上させることができる。
【００８４】
また、背景画像Pbから検出された顔領域の位置に基づいて、背景画像Pbにおける所定の加工が施された被写体画像Pgの合成位置を決定するので、ユーザが所定操作に基づいて背景画像Pb内で被写体画像Pgの合成位置を指定する必要がなくなって、合成画像Pfの生成を簡便に行うことができる。
【００８５】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、被写体存在画像P1として一枚の静止画像データを例示したが、連続撮像された所定枚数の被写体存在画像P１であっても良いし、所定の記録方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式や、ＭＰＥＧ形式等）により撮像された被写体存在画像P1の動画像であっても良い。
【００８６】
また、上記実施形態にあっては、被写体加工処理（図２参照）のサブルーチンとして、被写体切り抜き処理（図３参照）、被写体範囲算出処理（図６参照）、ふきだし付加処理（図８参照）等を実行するようにしたが、これらの処理の各々は所定条件の成立を契機としてそれぞれ実行するような構成としても良い。
【００８７】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像合成装置として、撮像装置１００を例示したが、これに限られるものではい。例えば、被写体存在画像P1の撮像や当該被写体存在画像P1の画像データの生成は、当該撮像装置１００とは異なる撮像装置（図示略）にて行い、この撮像装置から転送された画像データのみを記録して、上記の画像合成に係る各種処理を実行する構成でも良い。
また、被写体画像Pg（被写体範囲Pr）のサイズ及び被写体画像Pgの色のうち、何れか一方に基づいて、当該被写体画像Pgに所定の加工を施すような構成としても良い。
【００８８】
加えて、上記実施形態にあっては、背景取得手段、前景取得手段、判定手段、寸法算出手段、加工手段、合成手段としての機能を、画像処理部６の画像取得部６ａ、切抜画像生成部６ｇ、加工処理部６ｉ、寸法算出部６ｈ、画像合成部６ｌが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、撮像装置１００のプログラムを記憶するプログラムメモリ（図示略）に、背景取得処理ルーチン、前景取得処理ルーチン、判定処理ルーチン、加工処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、背景取得処理ルーチンにより中央制御部１１のＣＰＵを、背景画像Pbを取得する背景取得手段として機能させるようにしても良い。また、前景取得処理ルーチンにより中央制御部１１のＣＰＵを、前景画像を取得する前景取得手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部１１のＣＰＵを、画像取得手段により取得された前記前景画像の色を判定する判定手段として機能させるようにしても良い。また、加工処理ルーチンにより中央制御部１１のＣＰＵを、判定手段によって判定された色に基づいて、前景画像に対して所定の加工を施す加工手段として機能させるようにしても良い。また、合成処理ルーチンにより中央制御部１１のＣＰＵを、加工手段により所定の加工が施された前景画像と背景画像Pbとを合成して合成画像Pfを生成する合成手段として機能させるようにしても良い。
また、同様に、撮像装置１００のプログラムを記憶するプログラムメモリ（図示略）に、上記の背景取得処理ルーチン、前景取得処理ルーチン及び合成処理ルーチンに加えて、寸法算出処理ルーチン、加工処理ルーチンを含むプログラムを記憶しておく。そして、寸法算出処理ルーチンにより中央制御部１１のＣＰＵを、前景取得手段により取得された前景画像の寸法を算出する寸法算出手段として機能させるようにしても良い。また、加工処理ルーチンにより中央制御部１１のＣＰＵを、寸法算出手段により算出された前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段として機能させるようにしても良い。
【００８９】
同様に、検出手段、決定手段についても、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００９０】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【符号の説明】
【００９１】
１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
６ 画像処理部
６ａ 画像取得部
６ｇ 切抜画像生成部
６ｈ 寸法算出部
６ｉ 加工処理部
６ｊ 顔検出部
６ｋ 合成位置決定部
６ｌ 画像合成部
１１ 中央制御部
【技術分野】
【０００１】
本発明は、画像合成装置、画像合成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置を用いて、背景内に被写体が存在する画像と被写体が存在しない背景画像とを撮像して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを抜き出すアプリケーションが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２１４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１のアプリケーションによって抜き出した被写体の画像を他の背景画像に合成して合成画像を生成するような場合に、被写体の画像のサイズや、被写体の画像と背景画像との色調の組み合わせによっては、合成画像にて被写体を見難くなってしまうという問題があった。
【０００５】
そこで、本発明の課題は、前景画像を背景画像に合成する場合に、背景画像に対する前景画像の識別性を向上させることができる画像合成装置、画像合成方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像合成装置は、
背景画像を取得する背景取得手段と、前景画像を取得する前景取得手段と、この前景取得手段により取得された前記前景画像の色を判定する判定手段と、この判定手段によって判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工手段と、この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段と、を備えたことを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像合成装置において、
前記前景画像の寸法を算出する寸法算出手段を更に備え、前記加工手段は、前記寸法算出手段により算出された前記前景画像の寸法に基づいて、前記所定の加工の内容を変更することを特徴としている。
【０００８】
請求項３に記載の発明の画像合成装置は、
背景画像を取得する背景取得手段と、前景画像を取得する前景取得手段と、この前景取得手段により取得された前記前景画像の寸法を算出する寸法算出手段と、この寸法算出手段により算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段と、この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段と、を備えたことを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像合成装置において、
前記背景画像から特定領域を検出する検出手段と、この検出手段により検出された特定領域の位置に基づいて、前記背景画像における前記所定の加工が施された前景画像の合成位置を決定する決定手段とを更に備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像合成装置において、
前記加工手段は、前記所定の加工として、前記前景画像を所定形状のふきだし画像に合成する処理を施し、前記合成手段は、前記所定形状のふきだし画像に合成した前景画像を前記背景画像に合成して合成画像を生成することを特徴としている。
【００１１】
請求項６に記載の発明の画像合成方法は、
画像合成装置を用いた画像合成方法であって、背景画像を取得する処理と、前景画像を取得する処理と、取得された前記前景画像の色を判定する処理と、判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工処理と、前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する処理と、を備えたことを特徴としている。
【００１２】
請求項７に記載の発明の画像合成方法は、
画像合成装置を用いた画像合成方法であって、背景画像を取得する処理と、前景画像を取得する処理と、取得された前記前景画像の寸法を算出する処理と、算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す処理と、前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成処理と、を備えたことを特徴としている。
【００１３】
請求項８に記載の発明のプログラムは、
画像合成装置のコンピュータを、背景画像を取得する背景取得手段、前景画像を取得する前景取得手段、この前景取得手段により取得された前記前景画像の色を判定する判定手段、この判定手段によって判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工手段、この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段、として機能させることを特徴としている。
【００１４】
請求項９に記載の発明のプログラムは、
画像合成装置のコンピュータを、背景画像を取得する背景取得手段、前景画像を取得する前景取得手段、この前景取得手段により取得された前記前景画像の寸法を算出する寸法算出手段、この寸法算出手段により算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段、この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段、として機能させることを特徴としている。
【発明の効果】
【００１５】
本発明によれば、前景画像を背景画像に合成する場合に、背景画像に対して前景画像の識別性を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による被写体加工処理に係る動作の一例を示すフローチャートである。
【図３】図２の被写体加工処理における被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図４】図３の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図５】図３の被写体切り抜き処理を説明するための画像の一例を模式的に示す図である。
【図６】図２の被写体加工処理における被写体範囲算出処理に係る動作の一例を示すフローチャートである。
【図７】図６の被写体範囲算出処理を説明するための画像の一例を模式的に示す図である。
【図８】図２の被写体加工処理におけるふきだし付加処理に係る動作の一例を示すフローチャートである。
【図９】図８のふきだし付加処理を説明するための画像の一例を模式的に示す図である。
【図１０】図１の撮像装置による合成処理に係る動作の一例を示すフローチャートである。
【図１１】図１０の合成処理を説明するための画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１７】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１８】
本実施形態の撮像装置１００は、前景画像（被写体画像Pg）に対して所定の加工を施した（ふきだし画像と合成した）後、当該所定の加工が施された前景画像（ふきだし合成画像Pd）と背景画像Pbとを合成して合成画像Pfを生成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、画像処理部６と、表示制御部７と、表示部８と、記録媒体制御部９と、操作入力部１０と、中央制御部１１とを備えている。
また、撮像制御部３と、画像処理部６と、中央制御部１１は、例えば、カスタムＬＳＩ１Ａとして設計されている。
【００１９】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体Ｓ（例えば、文字「あつい！！」等；図４（ａ）等参照）の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【００２０】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２１】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体Ｓの撮像条件の調整制御を行う。
【００２２】
また、撮像モードとして被写体切り抜きモード（後述）が設定されている場合に、ユーザによるシャッタボタン１０ａの撮像指示操作に基づいて、撮像制御部３は、レンズ部１を通過した背景内に被写体Ｓが存在する被写体存在画像P1（図４（ａ）参照）の光学像を所定の撮像条件で電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から被写体存在画像P1に係る画像フレームを読み出させる。
ここで、電子撮像部２及び撮像制御部３は、背景内に被写体Ｓが存在する被写体存在画像P1を所定のタイミングで撮像する撮像手段を構成している。
【００２３】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、画像データ生成部４は、ＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度の縮小画像データを生成する。
カラープロセス回路から出力されるＹＵＶデータは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００２４】
なお、Ａ／Ｄ変換後のデジタルデータを現像するデモザイク部（図示略）が、カスタムＬＳＩ１Ａに実装されていても良い。
【００２５】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、画像データ生成部４から転送された被写体存在画像P1のＹＵＶデータを一時的に記憶する。また、画像メモリ５は、画像処理部６、中央制御部１１等によって処理されるデータ等を一時的に記憶する。
【００２６】
画像処理部６は、画像取得部６ａと、分割部６ｂと、ばらつき量算出部６ｃと、非平坦度判定部６ｄと、背景生成部６ｅと、位置情報生成部６ｆと、切抜画像生成部６ｇと、寸法算出部６ｈと、加工処理部６ｉと、顔検出部６ｊと、合成位置決定部６ｋと、画像合成部６ｌとを具備している。
【００２７】
画像取得部６ａは、画像メモリ５に一時的に記憶されている被写体存在画像P1のＹＵＶデータを取得する。
即ち、画像取得部６ａは、被写体切り抜き処理（後述）にて、電子撮像部２及び撮像制御部３による被写体存在画像P1（図４（ａ）参照）の撮像後、画像データ生成部４から転送されて画像メモリ５に一時的に記憶された被写体存在画像P1のＹＵＶデータを取得する。
【００２８】
また、画像取得部６ａは、記録媒体９ａに記録されている所定の背景画像Pbの画像データを取得する。即ち、画像取得部６ａは、合成処理（後述）にて、ふきだし合成画像Pdと合成される所定の画像を背景画像Pb（図１１（ａ）参照）として、当該背景画像Pbの画像データを取得する。
ここで、画像取得部６ａは、背景画像Pbを取得する背景取得手段を構成している。
【００２９】
分割部６ｂは、被写体存在画像P1を複数の画像ブロックＢ、…に分割する。
即ち、分割部６ｂは、被写体切り抜き処理にて、被写体存在画像P1のＹＵＶデータに基づいて、当該被写体存在画像P1全体を縦横がそれぞれ所定画素からなる複数の画像ブロックＢ、…に分割する（図４（ｂ）参照）。
なお、分割部６ｂによる被写体存在画像P1の画像データは、例えば、記録用として記録媒体９ａに記録される高解像度の画像データであっても良いし、画像データ生成部４により生成されたライブビュー表示用の低解像度の縮小画像データであっても良い。
【００３０】
ばらつき量算出部６ｃは、画像ブロックＢ内の画素値のばらつき量（非平坦度）を算出する。
具体的には、ばらつき量算出部６ｃは、被写体切り抜き処理にて、分割部６ｂにより分割された被写体存在画像P1の複数の画像ブロックＢ、…の各々についてのばらつき量として、標準偏差を下記式（１）に従って算出する。
【数１】
なお、上記式（１）において、ｂ：各ブロック領域の画素値としては、例えば、輝度値が挙げられる。
【００３１】
非平坦度判定部６ｄは、各画像ブロックＢの非平坦度（ばらつき量）の判定を行う。
即ち、非平坦度判定部６ｄは、被写体切り抜き処理にて、画像ブロック内の画素値のばらつき量が所定値以下であるか否かを判定する。具体的には、例えば、非平坦度判定部６ｄは、被写体存在画像P1の複数の画像ブロックＢ、…のうち、被写体Ｓを含む画像ブロックＢについては、ブロック内の画素値のばらつき量が大きく、画素値のばらつき量が所定値以下であると判定しない。一方で、非平坦度判定部６ｄは、特徴量の少ない無地の背景をバックに撮像される被写体存在画像P1の複数の画像ブロックＢ、…のうち、被写体Ｓを含まない画像ブロックＢ、つまり、特徴量の少ない無地の背景部分は、ブロック内の画素値のばらつき量が被写体Ｓを含む画像ブロックＢに比して大幅に小さくなり、画素値のばらつき量が所定値以下であると判定する。
そして、画像処理部６は、当該非平坦度判定部６ｄによる判定結果に基づいて、非平坦度が所定値以下である画像ブロックＢを特定する。即ち、画像処理部６は、非平坦度判定部６ｄによる判定の結果、ブロック内の画素値の非平坦度が所定値以下であると判定された少なくとも一の画像ブロックＢを含んでなる画像領域を特定する。
【００３２】
背景生成部６ｅは、クロマキー技術を利用して被写体領域を抽出するための抽出用背景画像（図示略）を生成する。
即ち、背景生成部６ｅは、非平坦度判定部６ｄにより画素値の非平坦度が所定値以下であると判定された被写体存在画像P1の画像ブロックＢの色とほぼ等しい色を背景色とする抽出用背景画像を生成する。例えば、業務用机やホワイトボード等のように特徴量の少ない無地の背景をバックに被写体Ｓを撮影した場合には、背景生成部６ｅは、無地の背景とほぼ等しい色の抽出用背景画像を生成する。
なお、クロマキーとは、特定の色背景を用いて一の画像データから被写体Ｓを切り抜く手法である。クロマキーでは、通常、背景に被写体Ｓと補色の関係にある青や緑のスクリーンを用いるようになっており、被写体存在画像P1における画素値のばらつき量が所定値以下である画像ブロックＢとほぼ等しい色の抽出用背景画像を生成することで、抽出用背景画像と被写体存在画像P1の色情報を基にして背景部分と被写体部分を分離することができる。
【００３３】
位置情報生成部６ｆは、被写体存在画像P1から被写体領域を抽出するための被写体用アルファマップM1（図５（ａ）参照）を生成する。
即ち、位置情報生成部６ｆは、抽出用背景画像と被写体存在画像P1の対応する各画素の各画素の差分情報、例えば、相違度Ｄを下記式（２）に従って算出して相違度マップを生成する。
【数２】
なお、上記式にあっては、抽出用背景画像のＹＵＶデータを「Y」、「U」、「V」で表し、被写体存在画像P1のＹＵＶデータを「Yc」、「Uc」、「Vc」で表す。また、Ｇは、色差信号U、Vのゲインを表している。
そして、位置情報生成部６ｆは、生成した相違度マップを所定の閾値で二値化（０、２５５）することにより、被写体用アルファマップM1を生成する（詳細後述）。
ここで、被写体用アルファマップM1とは、被写体存在画像P1における被写体画像Pgの位置を示す位置情報であり、被写体存在画像P1の各画素について、被写体画像Pgを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
【００３４】
切抜画像生成部６ｇは、生成された被写体用アルファマップM1に基づいて、被写体存在画像P1の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させず、且つ、アルファ値が０の画素を透過させ、且つ、アルファ値が０＜α＜１の画素を所定の単一色とブレンディングさせるように、被写体画像Pgを所定の単一色画像と合成して被写体切り抜き画像P2の画像データを生成する。
これにより、切抜画像生成部６ｇは、背景と被写体Ｓとが存在する被写体存在画像P1から被写体Ｓが含まれる領域を切り抜いた被写体切り抜き画像P2の被写体画像Pgを前景画像として取得する。
ここで、切抜画像生成部６ｇは、前景画像を取得する前景取得手段を構成している。
【００３５】
寸法算出部６ｈは、被写体切り抜き画像P2の被写体画像Pgのサイズを算出する。
即ち、寸法算出部６ｈは、被写体範囲算出処理（図６参照；後述）にて、被写体切り抜き画像P2における被写体画像Pgの存する範囲を被写体範囲Prとして、当該被写体範囲Prのx軸方向及びy軸方向の画素数（Xsize, Ysize）を算出する。なお、被写体範囲Prのサイズの算出方法は、被写体範囲算出処理（図６参照）にて詳細に説明する。
ここで、寸法算出部６ｈは、被写体切り抜き画像P2（前景画像）の寸法を算出する寸法算出手段を構成している。
【００３６】
加工処理部６ｉは、切抜画像生成部６ｇにより取得された被写体切り抜き画像P2の被写体画像Pgに対して所定の加工を施す。
即ち、加工処理部６ｉは、所定の加工として、被写体切り抜き画像P2の被写体画像Pgに所定形状（例えば、矩形状等）のふきだしｆを付加する処理を施す。具体的には、加工処理部６ｉは、所定の記録手段（例えば、画像メモリ５等）に記録されているふきだし情報fdを取得して、当該ふきだし情報fdに係る所定形状のふきだしｆ内に被写体画像Pg（被写体範囲Pr）が配置されるようにふきだしｆのサイズを変更する。なお、加工処理部６ｉは、被写体切り抜き画像P2の被写体範囲Prのサイズに基づいて、所定の記録手段から取得されるふきだし情報fdを変更しても良い。このように、加工処理部６ｉは、寸法算出部６ｈにより算出された被写体切り抜き画像P2の被写体画像Pg（被写体範囲Pr）の寸法に基づいて、所定の加工の内容を変更する。
【００３７】
また、加工処理部６ｉは、被写体切り抜き画像P2の被写体画像Pgの色に基づいて、所定の加工の色を変更する。即ち、加工処理部６ｉは、例えば、被写体画像Pgの平均色を判定し、ふきだしｆ内の色がこの被写体画像Pgの平均色と反対の色となるように変更する。
具体的には、加工処理部６ｉは、被写体画像Pgの各画素の画素値に基づいて、当該被写体画像Pgの平均色と反対の色を式（３）に従って算出して、画像メモリ５に一時的に記憶する。
【数３】
なお、上記式（３）にあっては、被写体画像Pgの平均色の輝度信号及び色差信号の反対値を算出するようにしたが、必ずしも輝度信号の反対値を算出する必要はなく、少なくとも色差信号の反対値を算出すれば良い。また、被写体画像Pgの平均色と正反対の色を上記式（３）に基づいて算出するようにしたが、一例であってこれに限られるものではなく、必ずしも正反対の色である必要はない。つまり、被写体画像Pgと背景画像Pbの識別性を高めることができる色であれば良い。
【００３８】
なお、被写体画像Pgに対する所定の加工として、ふきだしｆを付加する処理を例示したが、一例であってこれに限られるものではなく、例えば、被写体画像Pgの輪郭を強調する処理など適宜任意に変更可能である。
このように、加工処理部６ｉは、切抜画像生成部６ｇにより取得された被写体切り抜き画像P2（前景画像）に対して所定の加工を施す。
【００３９】
顔検出部６ｊは、背景画像Pbから顔領域を検出する。
即ち、顔検出部６ｊは、画像取得部６ａにより取得された背景画像Pbの画像データに対して所定の顔検出処理を行って顔領域（特定領域）を検出する。
なお、特定領域として、顔領域を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、物体、植物、動物などの主要領域であっても良い。また、特定領域の検出方法として、顔検出処理の他に、エッジ検出処理、特徴抽出処理等の各種画像処理を適用しても良い。また、顔検出処理やエッジ検出処理や特徴抽出処理等は、公知の技術であるので、ここでは詳細な説明を省略する。
このように、顔検出部６ｊは、背景画像Pbから特定領域を検出する検出手段を構成している。
【００４０】
合成位置決定部６ｋは、背景画像Pbにおける所定の加工が施された被写体切り抜き画像P2の合成位置を決定する。
即ち、合成位置決定部６ｋは、顔検出部６ｊにより検出された顔領域の位置に基づいて、背景画像Pbにおけるふきだし合成画像Pdの合成位置を決定する。具体的には、例えば、ふきだし合成画像Pdが引き出し線を具備している場合、合成位置決定部６ｋは、背景画像Pb内にて、顔検出部６ｊにより検出された顔領域の中心位置に引き出し線の先端が向くようにふきだし合成画像Pdの合成中心座標としてふきだし合成中心を決定する。このとき、合成位置決定部６ｋは、顔検出部６ｊにより検出された顔領域の位置に加えて、当該顔領域のサイズ、ふきだし合成画像Pdの引き出し線の有無、引き出し線の向き等を考慮して、ふきだし合成中心を決定しても良い。
ここで、合成位置決定部６ｋは、顔検出部６ｊにより検出された特定領域（顔領域）の位置に基づいて、背景画像Pbにおける所定の加工が施された被写体切り抜き画像P2（前景画像）の合成位置を決定する決定手段を構成している。
【００４１】
画像合成部６ｌは、所定の加工が施された被写体切り抜き画像P2（ふきだし合成画像Pd）と背景画像Pbとを合成して合成画像Pfを生成する。
即ち、画像合成部６ｌは、加工処理部６ｉにより生成されたふきだし合成画像Pdと背景画像Pbとを合成して合成画像Pfを生成する。具体的には、画像合成部６ｌは、背景画像Pbの各画素のうち、ふきだし用アルファマップのアルファ値が０の画素は透過させ、アルファ値が１の画素はふきだし合成画像Pdの対応する画素の画素値で上書きし、さらに、アルファ値が０＜α＜１の画素については、ふきだし合成画像Pdとブレンディングを行う。
ここで、画像合成部６ｌは、加工処理部６ｉにより所定の加工が施された前景画像と背景画像Pbとを合成して合成画像Pfを生成する合成手段を構成している。
【００４２】
表示制御部７は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００４３】
表示部８は、例えば、液晶表示装置であり、表示制御部７からのビデオ信号に基づいてライブビュー画像やレックビュー画像などを表示画面に表示する。
即ち、表示制御部７は、撮像モードにて、電子撮像部２及び撮像制御部３による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像や、本撮像画像として撮像されたレックビュー画像などを表示部８の表示画面に表示させる。
【００４４】
記録媒体制御部９は、記録媒体９ａが着脱自在に構成され、装着された記録媒体９ａからのデータの読み出しや記録媒体９ａに対するデータの書き込みを制御する。即ち、記録媒体制御部９は、画像処理部６のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記録媒体９ａに記録させる。
また、ふきだし画像gfの画像データは、画像処理部６の位置情報生成部６ｆにより生成されたふきだし用アルファマップと対応付けられて、当該ふきだし合成画像Pdの画像データの拡張子を「.jpe」として保存されている。
【００４５】
なお、記録媒体９ａは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００４６】
操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体Ｓの撮影指示に係るシャッタボタン１０ａ、メニュー画面にて撮像モードや機能等の選択指示に係る選択決定用ボタン１０ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１１に出力する。
【００４７】
中央制御部１１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４８】
次に、撮像装置１００による被写体加工処理について、図２〜図９を参照して説明する。
図２は、被写体加工処理に係る動作の一例を示すフローチャートである。
被写体加工処理は、ユーザによる操作入力部１０の選択決定用ボタン１０ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体加工モードが選択指示された場合に実行される処理である。
【００４９】
図２に示すように、先ず、画像処理部６は、電子撮像部２及び撮像制御部３により撮像された被写体存在画像P1から被写体領域を切り抜く被写体切り抜き処理（後述；図３〜図５参照）を実行する（ステップＳ１）。
次に、画像処理部６の寸法算出部６ｈは、被写体切り抜き画像P2における被写体画像Pgの存する範囲を被写体範囲Prとして算出する被写体範囲算出処理（後述；図６、図７参照）を実行する（ステップＳ２）。
続けて、画像処理部６の加工処理部６ｉは、被写体切り抜き画像P2の被写体画像Pgにふきだしｆを付加するふきだし付加処理（後述；図８、図９参照）を実行する（ステップＳ３）。
その後、画像処理部６は、ふきだし用アルファマップに基づいて、被写体切り抜き画像P2のふきだし画像gf以外の領域を所定の色（例えば、グレー等）で塗りつぶすことによりふきだし合成画像Pd（図９（ｄ）参照）を生成し、記録媒体制御部９は、当該ふきだし合成画像Pdとふきだし用アルファマップとを対応付けて記録媒体９ａに記録させる（ステップＳ４）。
これにより、被写体加工処理を終了する。
【００５０】
次に、被写体切り抜き処理について図３〜図５を参照して説明する。
図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【００５１】
図３に示すように、先ず、ユーザによる操作入力部１０のシャッタボタン１０ａの所定操作に基づいて、撮像制御部３は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の撮像条件を調整させて、背景内に所定の被写体Ｓが存在する被写体存在画像P1（図４（ａ）参照）の光学像を所定の撮像条件で電子撮像部２により撮像させる（ステップＳ１０１）。
そして、画像データ生成部４は、電子撮像部２から転送された被写体存在画像P1のＹＵＶデータを生成した後、当該被写体存在画像P1のＹＵＶデータを画像メモリ５に一時的に記憶させる。
【００５２】
次に、画像処理部６は、被写体存在画像P1から被写体領域を抽出するための抽出用背景画像（図示略）を生成する処理を行う（ステップＳ１０２）。
具体的には、画像処理部６の分割部６ｂは、画像取得部６ａにより画像メモリ５から取得された被写体存在画像P1のＹＵＶデータに基づいて、当該被写体存在画像P1を複数の画像ブロックＢ、…（図４（ｂ）参照）に分割する。続けて、ばらつき量算出部６ｃは、被写体存在画像P1の複数の画像ブロックＢの各々について、画素値のばらつき量としての標準偏差を式（１）に従って算出する。
【数４】
【００５３】
次に、非平坦度判定部６ｄは、算出された各画像ブロックＢのばらつき量が所定値以下であるか否かを判定し、画像処理部６は、ばらつき量が所定値以下であると判定された各画像ブロックＢの平均色を算出する。
そして、画像処理部６の背景生成部６ｅは、同一色であるとみなすことができる色の画像ブロックＢの数を各色毎に算出して、この中で、最多の色の画像ブロックＢの平均色を背景色とする抽出用背景画像のＹＵＶデータを生成する。
【００５４】
次に、画像処理部６は、被写体存在画像P1から被写体Ｓが含まれる被写体領域を検出する処理を行う（ステップＳ１０３）。
具体的には、画像処理部６の位置情報生成部６ｆは、抽出用背景画像のＹＵＶデータと被写体存在画像P1のＹＵＶデータとの間で対応する各画素の相違度Ｄを下記式（２）に従って算出して相違度マップを生成する。
【数５】
【００５５】
次に、位置情報生成部６ｆは、生成した相違度マップを所定の閾値で二値化してマスク画像データを生成する。そして、位置情報生成部６ｆは、被写体領域の周辺部の残り過ぎを修正したり細かいノイズを除去するため、マスク画像データに対する収縮処理を行って所定値よりも小さい画素集合を除いた後、収縮分を修正するための膨張処理を行う。
その後、位置情報生成部６ｆは、マスク画像データに対して平均化フィルタをかけて被写体領域の縁部に合成階調をつけて、被写体存在画像P1内での被写体領域を示す被写体用アルファマップM1（図５（ａ）参照）を生成する。
【００５６】
続けて、画像処理部６の切抜画像生成部６ｇは、クロマキー技術を利用して、領域検出処理にて生成された被写体用アルファマップM1を用いて被写体存在画像P1から被写体領域を切り出して、所定の単一色画像（図示略）と合成して被写体切り抜き画像P2（図５（ｂ）参照）の画像データを生成する（ステップＳ１０４）。
具体的には、切抜画像生成部６ｇは、被写体存在画像P1、単一色画像及び被写体用アルファマップM1を読み出して画像メモリ５に展開した後、被写体存在画像P1の全ての画素について、アルファ値が０の画素については、透過させ、アルファ値が０＜α＜１の画素については、所定の単一色とブレンディングを行い、アルファ値が１の画素については、何もせずに所定の単一色に対して透過させないようにする。
なお、被写体用アルファマップM1の縁部分には、合成階調がつけられているため、切り出された被写体領域と単一色画像（背景）との境界部分がはっきりしていない自然な感じとなる。
【００５７】
次に、画像処理部６の加工処理部６ｉは、被写体切り抜き画像P2の被写体画像Pgの各画素の画素値に基づいて、当該被写体画像Pgの平均色を算出した後（ステップＳ１０５）、当該平均色と反対の色を式（３）に従って算出して、画像メモリ５に一時的に記憶する（ステップＳ１０６）。
【数６】
これにより、被写体切り抜き処理を終了する。
【００５８】
次に、被写体範囲算出処理について図６及び図７を参照して説明する。
図６は、被写体範囲算出処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体範囲算出処理では、被写体範囲Prを矩形として想定し、当該被写体範囲Prの左上隅部の座標を（Xstart, Ystart）、右下隅部の座標を（Xend, Yend）とし、x軸方向及びy軸方向のサイズをXsize, Ysizeとする（図７参照）。また、被写体用アルファマップM1のサイズを（Xmax, Ymax）とする。
【００５９】
図６に示すように、先ず、画像処理部６の寸法算出部６ｈは、被写体用アルファマップM1を取得した後、当該被写体用アルファマップM1における範囲情報を初期化する（ステップＳ２０１）。具体的には、寸法算出部６ｈは、処理対象座標（x, y）＝（0, 0）に設定するとともに、初期座標を（Xstart, Ystart）＝（0, 0）、（Xend, Yend）＝（Xmax-1, Ymax-1）に設定する。
【００６０】
次に、寸法算出部６ｈは、y軸方向で被写体Ｓが存在する範囲を算出する（ステップＳ２０２〜Ｓ２１０）。
具体的には、寸法算出部６ｈは、先ず、被写体Ｓが存在する範囲のy座標の開始位置（Ystart）を算出する。ここで、被写体用アルファマップM1の所定の座標（x, y）における値をM（x, y）とすると、被写体Ｓが存在する座標では０以上の値になることから、寸法算出部６ｈは、x軸方向の和が０であるか否かを判定する（ステップＳ２０２）。
ここで、x軸方向の和が０であると判定されると（ステップＳ２０２；ＹＥＳ）、寸法算出部６ｈは、処理対象のy座標の値を＋１して次の座標に設定し（ステップＳ２０３）、処理対象のy座標が被写体用アルファマップM1の最下行（Ymax）に達したか否かを判定する（ステップＳ２０４）。
【００６１】
ステップＳ２０４にて、処理対象のy座標が被写体用アルファマップM1の最下行（Ymax）に達していないと判定されると（ステップＳ２０４；ＮＯ）、寸法算出部６ｈは、処理をステップＳ２０２に移行して、x軸方向の和が０であるか否かを判定する（ステップＳ２０２）。
一方、処理対象のy座標が被写体用アルファマップM1の最下行（Ymax）に達していると判定されると（ステップＳ２０４；ＹＥＳ）、寸法算出部６ｈは、被写体範囲Prの開始位置（Xstart, Ystart）、終了位置（Xend, Yend）、x軸方向及びy軸方向のサイズ（Xsize, Ysize）を全て「0」とする（ステップＳ２０５）。その後、寸法算出部６ｈは、処理をステップＳ２２０に移行して、被写体範囲Prの中心座標（Xcenter, Ycenter）を算出する（後述）。
【００６２】
ステップＳ２０２にて、x軸方向の和が０でないと判定されると（ステップＳ２０２；ＮＯ）、寸法算出部６ｈは、そのy座標から被写体Ｓが存在する範囲を構成していると判断して、Ystartにy座標の値を登録する（ステップＳ２０６）。
【００６３】
続けて、寸法算出部６ｈは、被写体Ｓが存在する範囲のy座標の終了位置（Yend）を算出する。
具体的には、寸法算出部６ｈは、先ず、処理対象のy座標を最下行（Ymax-1）に設定した後（ステップＳ２０７）、ステップＳ２０２と同様に、被写体Ｓが存在する座標ではx軸方向の和が０以上の値になることから、寸法算出部６ｈは、x軸方向の和が０であるか否かを判定する（ステップＳ２０８）。
ここで、x軸方向の和が０であると判定されると（ステップＳ２０８；ＹＥＳ）、寸法算出部６ｈは、処理対象のy座標の値を−１して次の座標に設定した後（ステップＳ２０９）、処理をステップＳ２０８に移行して、x軸方向の和が０であるか否かを判定する（ステップＳ２０８）。
【００６４】
ステップＳ２０８にて、x軸方向の和が０でないと判定されると（ステップＳ２０８；ＮＯ）、寸法算出部６ｈは、そのy座標まで被写体Ｓが存在する範囲を構成していると判断して、Yendにy座標の値を登録する（ステップＳ２１０）。
【００６５】
次に、寸法算出部６ｈは、x軸方向で被写体Ｓが存在する範囲を算出する（ステップＳ２１１〜Ｓ２１８）。
具体的には、寸法算出部６ｈは、先ず、被写体Ｓが存在する範囲のx座標の開始位置（Xstart）を算出する。即ち、寸法算出部６ｈは、処理対象のx座標の値を初期化（x＝0）した後（ステップＳ２１１）、上記と同様に、y軸方向の和が０であるか否かを判定する（ステップＳ２１２）。
ここで、y軸方向の和が０であると判定されると（ステップＳ２１２；ＹＥＳ）、寸法算出部６ｈは、処理対象のx座標の値を＋１して次の座標に設定した後（ステップＳ２１３）、処理をステップＳ２１２に移行して、y軸方向の和が０であるか否かを判定する（ステップＳ２１２）。
【００６６】
ステップＳ２１２にて、y軸方向の和が０でないと判定されると（ステップＳ２１２；ＮＯ）、寸法算出部６ｈは、そのx座標から被写体Ｓが存在する範囲を構成していると判断して、Xstartにx座標の値を登録する（ステップＳ２１４）。
【００６７】
続けて、寸法算出部６ｈは、被写体Ｓが存在する範囲のx座標の終了位置（Xend）を算出する。
具体的には、寸法算出部６ｈは、先ず、処理対象のx座標を最右列（Xmax-1）に設定した後（ステップＳ２１５）、ステップＳ２１２と同様に、被写体Ｓが存在する座標ではy軸方向の和が０以上の値になることから、寸法算出部６ｈは、y軸方向の和が０であるか否かを判定する（ステップＳ２１６）。
ここで、y軸方向の和が０であると判定されると（ステップＳ２１６；ＹＥＳ）、寸法算出部６ｈは、処理対象のx座標の値を−１して次の座標に設定した後（ステップＳ２１７）、処理をステップＳ２１６に移行して、y軸方向の和が０であるか否かを判定する（ステップＳ２１６）。
【００６８】
ステップＳ２１６にて、y軸方向の和が０でないと判定されると（ステップＳ２１６；ＮＯ）、寸法算出部６ｈは、そのx座標まで被写体Ｓが存在する範囲を構成していると判断して、Xendにx座標の値を登録する（ステップＳ２１８）。
【００６９】
次に、寸法算出部６ｈは、上記のようにして算出された被写体範囲Prの終了位置（Xend, Yend）から開始位置（Xstart, Ystart）を減算して＋１することにより、被写体範囲Prのx軸方向及びy軸方向のサイズ（Xsize, Ysize）を算出する（ステップＳ２１９）。
さらに、寸法算出部６ｈは、被写体範囲Prのサイズ（Xsize, Ysize）を二分して開始位置（Xstart, Ystart）を加算することにより、被写体範囲Prの中心座標（Xcenter, Ycenter）を算出する（ステップＳ２２０）。
これにより、被写体範囲算出処理を終了する。
【００７０】
次に、ふきだし付加処理について図８及び図９を参照して説明する。
図８は、ふきだし付加処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体範囲算出処理では、被写体画像Pgと合成される所定形状のふきだしｆが、ユーザによる操作入力部１０の所定操作に基づいて、或いは、デフォルトとして設定されているものとする。
【００７１】
図８に示すように、加工処理部６ｉは、予め設定されている所定形状のふきだしｆに係るふきだし情報fdを取得した後（ステップＳ３０１）、寸法算出部６ｈにより算出された被写体画像Pg（被写体範囲Pr）のサイズ（Xsize, Ysize）に基づいて、当該被写体画像Pgがふきだしｆ内に配置されるようにふきだしｆのサイズを調整して、ふきだしｆ内における被写体画像Pgの合成位置を決定する（ステップＳ３０２；図９（ａ）参照）。
なお、ふきだし情報fdには、所定形状のふきだしｆのデータに加えて、ふきだし用アルファマップ（図示略）が含まれており、加工処理部６ｉは、サイズ調整後のふきだしｆのサイズに合わせてふきだし用アルファマップのサイズも調整する。
【００７２】
次に、加工処理部６ｉは、ふきだしｆが引き出し線を具備しているか否かを判定する（ステップＳ３０３）。
ここで、引き出し線を具備していると判定されると（ステップＳ３０３；ＹＥＳ）、加工処理部６ｉは、引き出し線の先端座標を画像メモリ５に一時的に記憶させる（ステップＳ３０４）。一方、ステップＳ３０３にて、引き出し線を具備していないと判定されると（ステップＳ３０３；ＮＯ）、加工処理部６ｉは、ステップＳ３０４をスキップする。
【００７３】
その後、加工処理部６ｉは、被写体切り抜き処理にて算出された被写体画像Pgの平均色を判別し、判別した平均色と反対の色をふきだしｆの色として、ふきだしｆ内を塗りつぶした後（ステップＳ３０５；図９（ｂ）参照）、被写体用アルファマップM1に基づいて、当該ふきだしｆ内に被写体切り抜き画像P2の被写体画像Pgを合成してふきだし画像gfを生成する（ステップＳ３０６；図９（ｃ）参照）。具体的には、加工処理部６ｉは、被写体切り抜き画像P2の全ての画素について、アルファ値が０の画素については、透過させ、アルファ値が０＜α＜１の画素については、所定の単一色とブレンディングを行い、アルファ値が１の画素については、何もせずに所定の単一色に対して透過させないようにする。
次に、加工処理部６ｉは、生成されたふきだし画像gfの画像データとふきだし用アルファマップとを対応付けて画像メモリ５に一時的に記憶させる（ステップＳ３０７）。
これにより、ふきだし付加処理を終了する。
【００７４】
次に、合成処理について図１０及び図１１を参照して説明する。
図１０は、合成処理に係る動作の一例を示すフローチャートである。
合成処理は、ユーザによる操作入力部１０の選択決定用ボタン１０ｂの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
【００７５】
図１０に示すように、画像処理部６の画像取得部６ａは、記録媒体９ａに記録されている所定の背景画像Pb（図１１（ａ）参照）及びふきだし合成画像Pd（図１１（ｂ）参照）の画像データを読み出して取得する（ステップＳ１１）。なお、ふきだし合成画像Pdは、図１１（ｂ）に示すように、引き出し線を具備しているものとする。
続けて、画像処理部６は、顔検出部６ｊによる所定の顔検出処理が有効になっているか否かを判定する（ステップＳ１２）。ここで、所定の顔検出処理が有効になっていると判定されると（ステップＳ１２；ＹＥＳ）、顔検出部６ｊは、背景画像Pbの画像データに対して所定の顔検出処理を行い、顔領域が検出されたか否かを判定する（ステップＳ１３；図１１（ｃ）参照）。
【００７６】
ステップＳ１３にて、顔領域が検出されたと判定されると（ステップＳ１３；ＹＥＳ）、画像処理部６は、顔検出部６ｊにより検出された顔領域が一つであるか否かを判定する（ステップＳ１４）。なお、表示制御部７は、検出された顔領域に重畳させて顔枠Wを表示部８の表示画面に表示させる（図１１（ｃ）参照）。
ここで、顔領域が一つであると判定されると（ステップＳ１４；ＹＥＳ）、合成位置決定部６ｋは、顔検出部６ｊにより検出された顔領域の位置及びサイズ、ふきだし合成画像Pdの引き出し線の有無、引き出し線の向き等に基づいて、背景画像Pbにおけるふきだし合成画像Pdのふきだし画像gfの合成中心座標（ふきだし合成中心）を決定する（ステップＳ１５）。また、ステップＳ１４にて、顔領域が一つでないと判定されると（ステップＳ１４；ＮＯ）、画像処理部６は、ユーザによる操作入力部１０の所定操作に基づいて、或いは、所定の選択条件（例えば、最も大きい顔等）に従って、一の顔領域を指定した後（ステップＳ１６）、処理をステップＳ１５に移行する。
その後、画像合成部６ｌは、背景画像Pb内にふきだし合成画像Pdのふきだし画像gfが配置されるように当該ふきだし合成画像Pdのサイズを調整する（ステップＳ１７；図１１（ｄ）参照）。
【００７７】
次に、画像合成部６ｌは、ふきだし合成画像Pdに引き出し線が具備されているか否かを判定し（ステップＳ１８）、引き出し線が具備されていると判定されると（ステップＳ１８；ＹＥＳ）、ふきだし用アルファマップに基づいて、ふきだし合成画像Pdのふきだし画像gfと背景画像Pbとを合成して合成画像Pf（図１１（ｅ）参照）を生成する（ステップＳ１９）。具体的には、画像合成部６ｌは、背景画像Pbの各画素のうち、ふきだし用アルファマップのアルファ値が０の画素は透過させ、アルファ値が１の画素はふきだし合成画像Pdの対応する画素の画素値で上書きし、さらに、アルファ値が０＜α＜１の画素については、ふきだし合成画像Pdとブレンディングを行う。
【００７８】
一方、ふきだし合成画像Pdが引き出し線を具備していない場合（図１１（ｆ）参照）、ステップＳ１５にて、合成位置決定部６ｋは、背景画像Pbにおけるふきだし合成画像Pdの合成中心座標（ふきだし合成中心）を決定した後、ステップＳ１７にて、画像合成部６ｌは、ふきだし合成画像Pdのサイズを調整する（図１１（ｇ）参照）。
そして、ステップＳ１７にて、ふきだし合成画像Pdに引き出し線が具備されていないと判定されると（ステップＳ１７；ＮＯ）、加工処理部６ｉは、顔領域の中心位置とふきだし合成中心とを結ぶ線分上であって、顔領域の近傍（例えば、顔の輪郭の所定画素外側の位置）を引き出し線の先端座標として特定する（ステップＳ２０）。続けて、加工処理部６ｉは、引き出し線の先端を頂点とするとともに、ふきだし合成中心を底辺の中点とする二等辺三角形ｔを設定して（図１１（ｈ）参照）、当該二等辺三角形ｔの頂点と交わる２つの辺とふきだし合成画像Pdのふきだし画像gf（図１１（ｆ）参照）とが交わる２つの交点座標を特定する。そして、加工処理部６ｉは、これら２つの交点座標と二等辺三角形ｔの先端座標とからなる三角形を引き出し線として設定し、当該引き出し線を被写体切り抜き処理にて算出された被写体画像Pgの平均色と反対の色で塗りつぶす（ステップＳ２１）。
【００７９】
その後、処理をステップＳ１９に移行して、画像合成部６ｌは、ふきだし用アルファマップに基づいて、ふきだし合成画像Pdのふきだし画像gfと背景画像Pbとを合成して合成画像Pf（図１１（ｉ）参照）を生成する（ステップＳ１９）。
【００８０】
また、ステップＳ１２にて、所定の顔検出処理が有効になっていないと判定されるか（ステップＳ１２；ＮＯ）、或いは、ステップＳ１３にて、顔領域が検出されなかったと判定されると（ステップＳ１３；ＮＯ）、合成位置決定部６ｋは、ユーザによる操作入力部１０の所定操作に基づいて指定された位置をふきだし合成画像Pdのふきだし画像gfの合成位置（例えば、ふきだし合成中心の座標等）として決定するとともに、画像合成部６ｌは、ユーザによる操作入力部１０の所定操作に基づいて指定されたサイズにふきだし合成画像Pdのサイズを調整する（ステップＳ２２）。
【００８１】
続けて、画像合成部６ｌは、ふきだし合成画像Pdに引き出し線が具備されているか否かを判定し（ステップＳ２３）、引き出し線が具備されていると判定されると（ステップＳ２３；ＹＥＳ）、処理をステップＳ１９に移行して、ふきだし用アルファマップに基づいて、ふきだし合成画像Pdのふきだし画像gfと背景画像Pbとを合成して合成画像Pfを生成する（ステップＳ１９）。
一方、ステップＳ２３にて、ふきだし合成画像Pdに引き出し線が具備されていないと判定されると（ステップＳ２３；ＮＯ）、加工処理部６ｉは、ユーザによる操作入力部１０の所定操作に基づいて指定された位置を引き出し線の先端座標とした後（ステップＳ２４）、処理をステップＳ２１に移行して、引き出し線を設定して被写体画像Pgの平均色と反対の色で塗りつぶす（ステップＳ２１）。
その後、ステップＳ１９にて、画像合成部６ｌは、ふきだし合成画像Pdのふきだし画像gfと背景画像Pbとを合成して合成画像Pfを生成する（ステップＳ１９）。
【００８２】
以上のように、本実施形態の撮像装置１００によれば、被写体切り抜き画像P2の被写体画像Pgに対して所定の加工を施した後、当該所定の加工が施された被写体画像Pg（ふきだし合成画像Pd）と背景画像Pbとを合成して合成画像Pfを生成するので、合成画像Pf内で被写体画像Pgに視認者の注意を惹かせることができ、背景画像Pbに対する被写体画像Pgの識別性を向上させることができる。
具体的には、所定の加工として、被写体画像Pgに所定形状のふきだしｆを付加する処理を施すので、合成画像Pf内で被写体画像Pgをふきだしｆにより区分することができ、背景画像Pbに対する被写体画像Pgの識別性を向上させることができる。さらに、例えば、被写体画像Pgを文字とした場合には、当該文字を発言内容やオノマトペとして付加した合成画像Pfを生成することができ、当該合成画像Pfの興趣性の向上を図ることができる。
【００８３】
また、被写体画像Pg（被写体範囲Pr）のサイズに基づいて、当該被写体画像Pgに対する所定の加工の内容を変更したり、被写体画像Pgの色に基づいて、当該被写体画像Pgに対する所定の加工の色（例えば、ふきだし内の色等）を変更することによって、背景画像Pbに対する被写体画像Pgの識別性をさらに向上させることができる。
【００８４】
また、背景画像Pbから検出された顔領域の位置に基づいて、背景画像Pbにおける所定の加工が施された被写体画像Pgの合成位置を決定するので、ユーザが所定操作に基づいて背景画像Pb内で被写体画像Pgの合成位置を指定する必要がなくなって、合成画像Pfの生成を簡便に行うことができる。
【００８５】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、被写体存在画像P1として一枚の静止画像データを例示したが、連続撮像された所定枚数の被写体存在画像P１であっても良いし、所定の記録方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式や、ＭＰＥＧ形式等）により撮像された被写体存在画像P1の動画像であっても良い。
【００８６】
また、上記実施形態にあっては、被写体加工処理（図２参照）のサブルーチンとして、被写体切り抜き処理（図３参照）、被写体範囲算出処理（図６参照）、ふきだし付加処理（図８参照）等を実行するようにしたが、これらの処理の各々は所定条件の成立を契機としてそれぞれ実行するような構成としても良い。
【００８７】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像合成装置として、撮像装置１００を例示したが、これに限られるものではい。例えば、被写体存在画像P1の撮像や当該被写体存在画像P1の画像データの生成は、当該撮像装置１００とは異なる撮像装置（図示略）にて行い、この撮像装置から転送された画像データのみを記録して、上記の画像合成に係る各種処理を実行する構成でも良い。
また、被写体画像Pg（被写体範囲Pr）のサイズ及び被写体画像Pgの色のうち、何れか一方に基づいて、当該被写体画像Pgに所定の加工を施すような構成としても良い。
【００８８】
加えて、上記実施形態にあっては、背景取得手段、前景取得手段、判定手段、寸法算出手段、加工手段、合成手段としての機能を、画像処理部６の画像取得部６ａ、切抜画像生成部６ｇ、加工処理部６ｉ、寸法算出部６ｈ、画像合成部６ｌが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、撮像装置１００のプログラムを記憶するプログラムメモリ（図示略）に、背景取得処理ルーチン、前景取得処理ルーチン、判定処理ルーチン、加工処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、背景取得処理ルーチンにより中央制御部１１のＣＰＵを、背景画像Pbを取得する背景取得手段として機能させるようにしても良い。また、前景取得処理ルーチンにより中央制御部１１のＣＰＵを、前景画像を取得する前景取得手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部１１のＣＰＵを、画像取得手段により取得された前記前景画像の色を判定する判定手段として機能させるようにしても良い。また、加工処理ルーチンにより中央制御部１１のＣＰＵを、判定手段によって判定された色に基づいて、前景画像に対して所定の加工を施す加工手段として機能させるようにしても良い。また、合成処理ルーチンにより中央制御部１１のＣＰＵを、加工手段により所定の加工が施された前景画像と背景画像Pbとを合成して合成画像Pfを生成する合成手段として機能させるようにしても良い。
また、同様に、撮像装置１００のプログラムを記憶するプログラムメモリ（図示略）に、上記の背景取得処理ルーチン、前景取得処理ルーチン及び合成処理ルーチンに加えて、寸法算出処理ルーチン、加工処理ルーチンを含むプログラムを記憶しておく。そして、寸法算出処理ルーチンにより中央制御部１１のＣＰＵを、前景取得手段により取得された前景画像の寸法を算出する寸法算出手段として機能させるようにしても良い。また、加工処理ルーチンにより中央制御部１１のＣＰＵを、寸法算出手段により算出された前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段として機能させるようにしても良い。
【００８９】
同様に、検出手段、決定手段についても、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００９０】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【符号の説明】
【００９１】
１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
６ 画像処理部
６ａ 画像取得部
６ｇ 切抜画像生成部
６ｈ 寸法算出部
６ｉ 加工処理部
６ｊ 顔検出部
６ｋ 合成位置決定部
６ｌ 画像合成部
１１ 中央制御部
【特許請求の範囲】
【請求項１】
背景画像を取得する背景取得手段と、
前景画像を取得する前景取得手段と、
この前景取得手段により取得された前記前景画像の色を判定する判定手段と、
この判定手段によって判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工手段と、
この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段と、
を備えたことを特徴とする画像合成装置。
【請求項２】
前記前景画像の寸法を算出する寸法算出手段を更に備え、
前記加工手段は、前記寸法算出手段により算出された前記前景画像の寸法に基づいて、前記所定の加工の内容を変更することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
背景画像を取得する背景取得手段と、
前景画像を取得する前景取得手段と、
この前景取得手段により取得された前記前景画像の寸法を算出する寸法算出手段と、
この寸法算出手段により算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段と、
この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段と、
を備えたことを特徴とする画像合成装置。
【請求項４】
前記背景画像から特定領域を検出する検出手段と、
この検出手段により検出された特定領域の位置に基づいて、前記背景画像における前記所定の加工が施された前景画像の合成位置を決定する決定手段とを更に備えることを特徴とする請求項１〜３の何れか一項に記載の画像合成装置。
【請求項５】
前記加工手段は、前記所定の加工として、前記前景画像を所定形状のふきだし画像に合成する処理を施し、
前記合成手段は、前記所定形状のふきだし画像に合成した前景画像を前記背景画像に合成して合成画像を生成することを特徴とする請求項１〜４の何れか一項に記載の画像合成装置。
【請求項６】
画像合成装置を用いた画像合成方法であって、
背景画像を取得する処理と、
前景画像を取得する処理と、
取得された前記前景画像の色を判定する処理と、
判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工処理と、
前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する処理と、
を備えたことを特徴とする画像合成方法。
【請求項７】
画像合成装置を用いた画像合成方法であって、
背景画像を取得する処理と、
前景画像を取得する処理と、
取得された前記前景画像の寸法を算出する処理と、
算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す処理と、
前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成処理と、
を備えたことを特徴とする画像合成方法。
【請求項８】
画像合成装置のコンピュータを、
背景画像を取得する背景取得手段、
前景画像を取得する前景取得手段、
この前景取得手段により取得された前記前景画像の色を判定する判定手段、
この判定手段によって判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工手段、
この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段、
として機能させることを特徴とするプログラム。
【請求項９】
画像合成装置のコンピュータを、
背景画像を取得する背景取得手段、
前景画像を取得する前景取得手段、
この前景取得手段により取得された前記前景画像の寸法を算出する寸法算出手段、
この寸法算出手段により算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段、
この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段、
として機能させることを特徴とするプログラム。
【請求項１】
背景画像を取得する背景取得手段と、
前景画像を取得する前景取得手段と、
この前景取得手段により取得された前記前景画像の色を判定する判定手段と、
この判定手段によって判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工手段と、
この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段と、
を備えたことを特徴とする画像合成装置。
【請求項２】
前記前景画像の寸法を算出する寸法算出手段を更に備え、
前記加工手段は、前記寸法算出手段により算出された前記前景画像の寸法に基づいて、前記所定の加工の内容を変更することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
背景画像を取得する背景取得手段と、
前景画像を取得する前景取得手段と、
この前景取得手段により取得された前記前景画像の寸法を算出する寸法算出手段と、
この寸法算出手段により算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段と、
この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段と、
を備えたことを特徴とする画像合成装置。
【請求項４】
前記背景画像から特定領域を検出する検出手段と、
この検出手段により検出された特定領域の位置に基づいて、前記背景画像における前記所定の加工が施された前景画像の合成位置を決定する決定手段とを更に備えることを特徴とする請求項１〜３の何れか一項に記載の画像合成装置。
【請求項５】
前記加工手段は、前記所定の加工として、前記前景画像を所定形状のふきだし画像に合成する処理を施し、
前記合成手段は、前記所定形状のふきだし画像に合成した前景画像を前記背景画像に合成して合成画像を生成することを特徴とする請求項１〜４の何れか一項に記載の画像合成装置。
【請求項６】
画像合成装置を用いた画像合成方法であって、
背景画像を取得する処理と、
前景画像を取得する処理と、
取得された前記前景画像の色を判定する処理と、
判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工処理と、
前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する処理と、
を備えたことを特徴とする画像合成方法。
【請求項７】
画像合成装置を用いた画像合成方法であって、
背景画像を取得する処理と、
前景画像を取得する処理と、
取得された前記前景画像の寸法を算出する処理と、
算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す処理と、
前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成処理と、
を備えたことを特徴とする画像合成方法。
【請求項８】
画像合成装置のコンピュータを、
背景画像を取得する背景取得手段、
前景画像を取得する前景取得手段、
この前景取得手段により取得された前記前景画像の色を判定する判定手段、
この判定手段によって判定された前記前景画像の色に基づいて、前記前景画像に対して所定の加工を施す加工手段、
この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段、
として機能させることを特徴とするプログラム。
【請求項９】
画像合成装置のコンピュータを、
背景画像を取得する背景取得手段、
前景画像を取得する前景取得手段、
この前景取得手段により取得された前記前景画像の寸法を算出する寸法算出手段、
この寸法算出手段により算出された前記前景画像の寸法に基づいて、この前景画像に所定の加工を施す加工手段、
この加工手段により前記所定の加工が施された前景画像と前記背景画像とを合成して合成画像を生成する合成手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−６５００２（Ｐ２０１２−６５００２Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１０−２０５３０２（Ｐ２０１０−２０５３０２）
【出願日】平成２２年９月１４日（２０１０．９．１４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２２年９月１４日（２０１０．９．１４）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]