画像処理装置及びプログラム
【課題】撮影環境の影響を極力少なくし違和感の少ない合成画像を生成する。
【解決手段】撮像装置100であって、画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記録媒体9と、合成が指示された画像に夫々関連付けられた撮像条件を記録媒体9より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理し、処理された他方の画像を、一方の画像に合成する画像合成部8gとを備える。これらの構成により、撮影環境の影響を極力少なくし違和感が少なくなった合成画像を生成できる。
【解決手段】撮像装置100であって、画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記録媒体9と、合成が指示された画像に夫々関連付けられた撮像条件を記録媒体9より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理し、処理された他方の画像を、一方の画像に合成する画像合成部8gとを備える。これらの構成により、撮影環境の影響を極力少なくし違和感が少なくなった合成画像を生成できる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の画像を合成する画像処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、被写体画像と背景用画像やフレーム画像を合成することにより合成画像を生成する技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−159158号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、被写体画像と背景用画像やフレーム画像の撮像条件が異なると、合成画像における被写体画像と背景用画像やフレーム画像とのバランスが悪くなってしまうといった問題がある。例えば、被写体画像の撮像を室内の照明下で行う一方、背景用画像の撮像を晴天の屋外で行った場合、被写体画像と背景用画像とではコントラストや明るさが異なるため、違和感のある合成画像が生成されるという問題があった。
【0005】
そこで、本発明の課題は、撮影環境の影響を極力少なくし違和感の少ない合成画像を生成することができる画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記憶手段と、この記憶手段に複数記憶されている画像同士の合成を指示する指示手段と、この指示手段によって合成が指示された画像に夫々関連付けられた撮像条件を前記記憶手段より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理する画像処理手段と、この画像処理手段によって処理された前記他方の画像と前記一方の画像とを合成する合成手段と、を備えたことを特徴としている。
【0007】
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記指示手段によって合成が指示された画像に夫々関連付けられた撮像条件が略一致するか否かを判定する判定手段を更に備え、前記画像処理手段は、この判定手段によって撮像条件が略一致しないと判定された場合に、一方の画像の撮像条件に近づくように他方の画像を処理することを特徴としている。
【0008】
請求項3に記載の発明は、請求項1又は2に記載の画像処理装置において、
前記撮像条件は、前記画像の撮影時のコントラスト及び色調のうち、少なくとも一方を含むことを特徴としている。
【0009】
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の画像処理装置において、
前記撮像条件は、前記画像の撮像時におけるこの画像の水平面に対する傾きを含み、
前記画像処理手段は、この水平面の傾きを示す情報を前記記憶手段より読み出し、一方の画像の傾きに近づくように他方の画像の傾きを変化させることを特徴としている。
【0010】
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の画像処理装置において、
撮像手段と、この撮像手段による撮像時の撮像条件を取得する撮像条件取得手段と、前記撮像手段によって撮像された画像と前記撮像条件取得手段によって取得された撮像条件とを関連付けて前記記憶手段に記憶するよう制御する記憶制御手段と、を更に備えたことを特徴としている。
【0011】
請求項6に記載の発明の画像処理装置は、
少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示する領域指示手段と、この領域指示手段によって指示された一方の画像の合成すべき領域の明るさを取得する明るさ取得手段と、前記他方の画像の明るさが、前記明るさ取得手段によって取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、前記二つの画像を合成する合成手段と、を備えたことを特徴としている。
【0012】
請求項7に記載の発明の画像処理装置は、
少なくとも二つの画像において、一方の画像における光源の位置を特定する特定手段と、前記一方の画像において、他方の画像を合成すべき位置を指示する位置指示手段と、前記一方の画像の光源の位置と前記位置指示手段によって指示された位置とに基づいて前記他方の画像に処理を施し、前記二つの画像を合成する合成手段と、を備えたことを特徴としている。
【0013】
請求項8に記載の発明は、請求項7に記載の画像処理装置において、
前記処理は、前記他方の画像の明るさを調整する処理、及び、前記他方の画像に影を付ける処理の少なくとも一方を含むことを特徴としている。
【0014】
請求項9に記載の発明は、請求項1〜8の何れか一項に記載の画像処理装置において、
前記他方の画像とは、背景と被写体とが存在する画像から被写体が含まれる領域を切り抜いた被写体画像であることを特徴としている。
【0015】
請求項10に記載の発明のプログラムは、
画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記憶手段を備える画像処理装置のコンピュータを、前記記憶手段に複数記憶されている画像同士の合成を指示する指示手段、この指示手段によって合成が指示された画像に夫々関連付けられた撮像条件を前記記憶手段より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理する画像処理手段、この画像処理手段によって処理された前記他方の画像と前記一方の画像とを合成する合成手段、として機能させることを特徴としている。
【0016】
また、請求項11に記載の発明のプログラムは、
画像処理装置のコンピュータを、少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示する領域指示手段、この領域指示手段によって指示された一方の画像の合成すべき領域の明るさを取得する明るさ取得手段、前記他方の画像の明るさが、前記明るさ取得手段によって取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、前記二つの画像を合成する合成手段、として機能させることを特徴としている。
【0017】
また、請求項12に記載の発明のプログラムは、
画像処理装置のコンピュータを、少なくとも二つの画像において、一方の画像における光源の位置を特定する特定手段、前記一方の画像において、他方の画像を合成すべき位置を指示する位置指示手段、前記一方の画像の光源の位置と前記位置指示手段によって指示された位置とに基づいて前記他方の画像に処理を施し、前記二つの画像を合成する合成手段、として機能させることを特徴としている。
【発明の効果】
【0018】
本発明によれば、撮影環境の影響を極力少なくし違和感の少ない合成画像を生成することができる。
【図面の簡単な説明】
【0019】
【図1】本発明を適用した実施形態1の撮像装置の概略構成を示すブロック図である。
【図2】図1の撮像装置による背景用画像生成処理に係る動作の一例を示すフローチャートである。
【図3】図1の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図4】図1の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。
【図5】図4の合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【図6】図4の合成画像生成処理に係る画像の一例を模式的に示す図である。
【図7】本発明を適用した実施形態2の撮像装置の概略構成を示すブロック図である。
【図8】図7の撮像装置による背景用画像生成処理に係る動作の一例を示すフローチャートである。
【図9】図7の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図10】図7の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。
【図11】図10の合成画像生成処理に係る画像の一例を模式的に示す図である。
【図12】被写体合成画像の一例を模式的に示す図である。
【発明を実施するための形態】
【0020】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【0021】
[実施形態1]
図1は、本発明を適用した実施形態1の撮像装置100の概略構成を示すブロック図である。
実施形態1の撮像装置100は、背景用画像P1及び被写体切り抜き画像P3の明るさ、コントラスト、色調(色味)等の撮像条件が一致するか否かを判定し、撮像条件が一致しないと判定された場合に、被写体切り抜き画像P3に所定の画像処理を施してから背景用画像P1と合成する。
具体的には、図1に示すように、撮像装置100は、レンズ部1と、電子撮像部2と、撮像制御部3と、画像データ生成部4と、画像メモリ5と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、記録媒体9と、表示制御部10と、表示部11と、操作入力部12と、CPU13とを備えている。
また、撮像制御部3と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、CPU13は、例えば、カスタムLSI1Aとして設計されている。
【0022】
レンズ部1は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部1は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【0023】
電子撮像部2は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部1の各種レンズを通過した光学像を二次元の画像信号に変換する。
【0024】
撮像制御部3は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部3は、タイミング発生器、ドライバにより電子撮像部2を走査駆動して、所定周期毎に光学像を電子撮像部2により二次元の画像信号に変換させ、当該電子撮像部2の撮像領域から1画面分ずつ画像フレームを読み出して画像データ生成部4に出力させる。
また、撮像制御部3は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行う。
【0025】
このように構成された撮像レンズ部1、電子撮像部2及び撮像制御部3は、画像合成処理に係る背景用画像P1(図6(a)参照)や被写体存在画像P2(図6(b)参照)を撮像する。
また、撮像レンズ部1、電子撮像部2及び撮像制御部3は、被写体存在画像P2の撮像後、当該被写体存在画像P2の撮像の際の撮像条件を固定した状態で、被写体切り抜き画像P3の生成のための被写体非存在画像(図示略)を撮像する。
【0026】
画像データ生成部4は、電子撮像部2から転送された画像フレームのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用される画像メモリ5にDMA転送される。
【0027】
画像メモリ5は、例えば、DRAM等により構成され、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、CPU13等によって処理されるデータ等を一時記憶する。
【0028】
特徴量演算部6は、被写体非存在画像を基準として、当該被写体非存在画像から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部6は、被写体非存在画像のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレート(例えば、16×16画素の正方形)として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
【0029】
ブロックマッチング部7は、被写体非存在画像と被写体存在画像P2の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像P2内のどこに対応するか、つまり、被写体存在画像P2内にてテンプレートの画素値が最適にマッチする位置(対応領域)を探索する。そして、画素値の相違度の評価値(例えば、差分二乗和(SSD)や差分絶対値和(SAD)等)が最も良かった被写体非存在画像と被写体存在画像P2間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
【0030】
画像処理部8は、被写体存在画像P2と被写体非存在画像との位置合わせを行う位置合わせ部8aを具備している。
位置合わせ部8aは、被写体非存在画像から抽出した特徴点に基づいて、被写体非存在画像に対する被写体存在画像P2の各画素の座標変換式(射影変換行列)を算出し、当該座標変換式に従って被写体存在画像P2を座標変換して被写体非存在画像と位置合わせを行う。
【0031】
また、画像処理部8は、位置合わせ部8aにより位置合わせされた被写体存在画像P2と被写体非存在画像との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像P2から被写体が含まれる被写体領域を抽出する被写体領域抽出部8bを具備している。
【0032】
また、画像処理部8は、被写体存在画像P2内で抽出された被写体領域の位置を特定して、被写体存在画像P2における被写体領域の位置を示す位置情報を生成する位置情報生成部8cを具備している。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、被写体存在画像P2の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したものである。
【0033】
また、画像処理部8は、生成されたアルファマップに基づいて、被写体存在画像P2の各画素のうち、アルファ値が1の画素を所定の単一色画像(図示略)に対して透過させずに、且つ、アルファ値が0の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像P3(図6(c)参照)の画像データを生成する切抜画像生成部8dを具備している。
【0034】
また、画像処理部8は、各画像の画像合成処理に関連する合成関連情報として撮像条件を取得する撮像条件取得部8eを具備している。
ここで、撮像条件としては、例えば、明るさ、コントラスト、色調等が挙げられる。そして、撮像条件取得部8eは、画像データ生成部4により生成された背景用画像P1や切抜画像生成部8dにより生成された被写体切り抜き画像P3の画像データに基づいて、各々の画像の明るさやコントラストを取得する。また、撮像条件取得部8eは、背景用画像P1や被写体切り抜き画像P3の撮像の際に、撮像制御部3からホワイトバランスの調整値を色調として取得する。さらに、撮像条件取得部8eは、合成画像生成処理にて、記録媒体9にExif形式の画像ファイルとして記録されている背景用画像P1や被写体切り抜き画像P3の画像データのExif情報から当該画像の明るさやコントラスト、ホワイトバランスの調整値(色調)等の撮像条件を読み出して取得する。
ここで、撮像条件取得部8eは、背景用画像(第1の画像)P1の画像合成処理に関連する撮像条件を取得し、被写体切り抜き画像(第2の画像)P3の撮像条件として、当該被写体切り抜き画像P3の生成に係る被写体存在画像P2を撮像した際の撮像条件を取得する。
【0035】
また、画像処理部8は、撮像条件取得部8eにより取得された背景用画像P1の撮像条件と被写体切り抜き画像P3の撮像条件とが一致するか否かを判定する撮像条件判定部8fを具備している。具体的には、撮像条件判定部8fは、合成画像生成処理にて、ユーザにより指定された合成画像の背景となる背景用画像P1の撮像条件と、ユーザにより指定された被写体切り抜き画像P3の撮像条件とが一致するか否かを判定する。
ここで、撮像条件判定部8fは、撮像条件取得部8eによって取得された背景用画像(第1の画像)P1の撮像条件と被写体切り抜き画像(第2の画像)P3の撮像条件とが一致するか否かを判定する。
【0036】
また、画像処理部8は、被写体切り抜き画像P3と背景用画像P1とを合成する画像合成部8gを具備している。具体的には、画像合成部8gは、背景用画像P1の各画素のうち、アルファ値が0の画素は透過させ、アルファ値が1の画素は被写体切り抜き画像P3の対応する画素の画素値で上書きし、さらに、背景用画像P1の各画素のうち、アルファ値が0<α<1の画素は1の補数(1−α)を用いて被写体領域を切り抜いた画像(背景用画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて被写体切り抜き画像P3を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像P3から減算し、それを被写体領域を切り抜いた画像(背景用画像×(1−α))と合成する。
また、画像合成部8gは、撮像条件取得部8eによって取得された被写体切り抜き画像P3の撮像条件と背景用画像P1の撮像条件に基づいて、被写体切り抜き画像P3と背景用画像P1とを合成する。具体的には、画像合成部8gは、撮像条件判定部8fによって背景用画像P1の撮像条件と被写体切り抜き画像P3の撮像条件が一致しないと判定された場合に、背景用画像P1の明るさ、コントラスト、色調等の撮像条件を基準として被写体切り抜き画像P3に対して明るさ調整、コントラスト調整、ホワイトバランス調整等の画像処理を施して、当該画像処理後の被写体切り抜き画像P3と背景用画像P1とを合成して被写体合成画像P4を生成する。
【0037】
記録媒体9は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、画像処理部8のJPEG圧縮部(図示略)により符号化された背景用画像P1や被写体切り抜き画像P3の画像データを記憶する。
また、被写体切り抜き画像P3の画像データは、画像処理部8の位置情報生成部8cにより生成されたアルファマップと対応付けられて、当該被写体切り抜き画像P3の画像データの拡張子を「.jpe」として保存されている。
また、各画像データは、当該画像の明るさやコントラスト、ホワイトバランスの調整値(色調)等の撮像条件がExif情報として付帯されたExif形式の画像ファイルから構成されている。
【0038】
表示制御部10は、画像メモリ5に一時的に記憶されている表示用の画像データを読み出して表示部11に表示させる制御を行う。
具体的には、表示制御部10は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、CPU13の制御下にて画像メモリ5から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部11に出力する。
【0039】
表示部11は、例えば、液晶表示装置であり、表示制御部10からのビデオ信号に基づいて電子撮像部2により撮像された画像などを表示画面に表示する。具体的には、表示部11は、撮像モードにて、撮像レンズ部1、電子撮像部2及び撮像制御部3による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【0040】
操作入力部12は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部12は、被写体の撮影指示に係るシャッタボタン12a、撮像モードや機能等の選択指示や被写体切り抜き画像P3の合成位置の設定指示に係る選択決定ボタン12b、ズーム量の調整指示に係るズームボタン(図示略)等を備え、これらのボタンの操作に応じて所定の操作信号をCPU13に出力する。
【0041】
CPU13は、撮像装置100の各部を制御するものである。具体的には、CPU13は、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行うものである。
【0042】
次に、撮像装置100による背景用画像生成処理について、図2を参照して説明する。
図2は、背景用画像生成処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する背景用画像生成処理にあっては、背景用画像P1の撮像を室内で行うものとし、屋外で撮像される画像(例えば、後述する被写体存在画像P2)とは、例えば、明るさ、コントラスト、色調等が異なるものとする。
【0043】
背景用画像生成処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部12の選択決定ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。
図2に示すように、先ず、CPU13は、表示制御部10に、撮像レンズ部1、電子撮像部2及び撮像制御部3による背景用画像P1の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部11の表示画面に表示させる(ステップS1)。
【0044】
次に、CPU13は、ユーザにより操作入力部12のシャッタボタン12aが撮像指示操作されたか否かを判定する(ステップS2)。ここで、シャッタボタン12aが撮像指示操作されたと判定されると(ステップS2;YES)、CPU13は、撮像制御部3に、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の条件を調整させて、背景用画像P1(図6(a)参照)の光学像を所定の条件で電子撮像部2により撮像させる(ステップS3)。
【0045】
続けて、CPU13は、画像データ生成部4に、電子撮像部2から転送された背景用画像P1の画像フレームのYUVデータを生成させた後、画像処理部8の撮像条件取得部8eに、撮像条件として、背景用画像P1のYUVデータに基づいて当該画像の明るさやコントラストを取得させるとともに、撮像制御部3から背景用画像P1の撮像の際のホワイトバランスの調整値を色調として取得させる(ステップS4)。
その後、CPU13は、記録媒体9の所定の記憶領域に、背景用画像P1のYUVデータを撮像条件取得部8eにより取得された撮像条件(当該画像の明るさ、コントラスト、色調等)がExif情報として付帯されたExif形式の画像ファイルとして記憶させる(ステップS5)。
これにより、背景用画像生成処理を終了する。
【0046】
次に、撮像装置100による被写体切り抜き処理について、図3を参照して説明する。
図3は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体切り抜き処理にあっては、被写体存在画像P2の撮像を屋外で行うものとする。また、被写体存在画像P2や被写体切り抜き画像P3の明るさを画像上のドット数で表し、ドット数が少ないほど明るい画像を表すものとする。
【0047】
被写体切り抜き処理は、ユーザによる操作入力部12の選択決定ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図3に示すように、先ず、CPU13は、表示制御部10に、撮像レンズ部1、電子撮像部2及び撮像制御部3による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部11の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P2の撮像指示メッセージを表示部11の表示画面に表示させる(ステップS11)。
【0048】
次に、CPU13は、ユーザにより操作入力部12のシャッタボタン12aが撮像指示操作されたか否かを判定する(ステップS12)。ここで、シャッタボタン12aが撮像指示操作されたと判定されると(ステップS12;YES)、CPU13は、撮像制御部3に、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の条件を調整させて、被写体存在画像P2(図6(b)参照)の光学像を所定の条件で電子撮像部2により撮像させる(ステップS13)。
【0049】
続けて、CPU13は、画像データ生成部4に、電子撮像部2から転送された被写体存在画像P2の画像フレームのYUVデータを生成させた後、画像処理部8の撮像条件取得部8eに、撮像条件として、被写体存在画像P2のYUVデータに基づいて当該画像の明るさやコントラストを取得させるとともに、撮像制御部3から被写体存在画像P2の撮像の際のホワイトバランスの調整値を色調として取得させる(ステップS14)。なお、画像データ生成部4により生成された被写体存在画像P2のYUVデータは、画像メモリ5に一時記憶される。
また、CPU13は、撮像制御部3を制御して、当該被写体存在画像P2の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
【0050】
そして、CPU13は、表示制御部10に、撮像レンズ部1、電子撮像部2及び撮像制御部3による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部11の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P2の半透過の表示態様の画像と被写体非存在画像の撮像指示メッセージを表示部11の表示画面に表示させる(ステップS15)。
この後、CPU13は、ユーザにより操作入力部12のシャッタボタン12aが撮像指示操作されたか否かを判定する(ステップS16)。そして、ユーザは、被写体を画角外に移動させるか、或いは被写体が移動するのを待った後、ユーザにより被写体非存在画像が被写体存在画像P2の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部12のシャッタボタン12aが撮像指示操作されたと判定されると(ステップS16;YES)、CPU13は、撮像制御部3に、被写体非存在画像の光学像を被写体存在画像P2の撮像後に固定された条件で電子撮像部2により撮像させる(ステップS17)。
その後、CPU13は、画像データ生成部4に、電子撮像部2から転送された被写体非存在画像の画像フレームに基づいて、被写体非存在画像のYUVデータを生成させて、当該YUVデータを画像メモリ5に一時記憶させる。
【0051】
次に、CPU13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、画像メモリ5に一時記憶されている被写体非存在画像のYUVデータを基準として、被写体存在画像P2のYUVデータを射影変換させるための射影変換行列を所定の画像変換モデル(例えば、相似変換モデル、或いは合同変換モデル)で算出させる(ステップS18)。
具体的には、特徴量演算部6は、被写体非存在画像のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像P2内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像と被写体存在画像P2間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、画像処理部8の位置合わせ部8aは、ブロックマッチング部7により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像P2の射影変換行列を算出する。
【0052】
次に、CPU13は、位置合わせ部8aに、算出された射影変換行例に基づいて被写体存在画像P2を射影変換させることで、被写体存在画像P2のYUVデータと被写体非存在画像のYUVデータとを位置合わせする処理を行わせる(ステップS19)。
【0053】
そして、CPU13は、画像処理部8の被写体領域抽出部8bに、被写体存在画像P2から被写体が含まれる被写体領域を抽出する処理を行わせる(ステップS20)。
具体的には、被写体領域抽出部8bは、被写体存在画像P2のYUVデータと被写体非存在画像のYUVデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部8bは、ローパスフィルタをかけた被写体存在画像P2と被写体非存在画像との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部8bは、各画素に係る相違度マップを所定の閾値で2値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部8bは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。
【0054】
次に、CPU13は、画像処理部8の位置情報生成部8cに、抽出された被写体領域の被写体存在画像P2内での位置を示すアルファマップを生成させる(ステップS21)。
【0055】
その後、CPU13は、画像処理部8の切抜画像生成部8dに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像P3(図6(c)参照)の画像データを生成する処理を行わせる(ステップS22)。
具体的には、切抜画像生成部8dは、被写体存在画像P2、単一色画像及びアルファマップを読み出して画像メモリ5に展開した後、被写体存在画像P2の全ての画素について、アルファ値が0の画素については(α=0)、透過させ、アルファ値が0<α<1の画素については(0<α<1)、所定の単一色とブレンディングを行い、アルファ値が1の画素については(α=1)、何もせずに所定の単一色に対して透過させないようにする。
【0056】
その後、CPU13は、被写体切り抜き画像P3のYUVデータを、撮像条件取得部8eにより取得された撮像条件(当該画像の明るさやコントラスト、色調等)及び画像処理部8の位置情報生成部8cにより生成されたアルファマップがExif情報として付帯されたExif形式の画像ファイルとし、例えば、当該被写体切り抜き画像P3の画像データの拡張子を「.jpe」とする一ファイルで記録媒体9の所定の記憶領域に記憶させる(ステップS23)。
これにより、被写体切り抜き処理を終了する。
【0057】
次に、合成画像生成処理について図4及び図5を参照して詳細に説明する。
図4は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図5は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【0058】
合成画像生成処理は、ユーザによる操作入力部12の選択決定ボタン12bの所定操作からなる指示に基づいて、メニュー画面に表示された複数の撮像モードの中から画像合成モードが選択指示された場合に実行される処理である。
図4に示すように、ユーザによる操作入力部12の所定操作からなる指示に基づいて、記録媒体9に記録されている複数の画像の中で合成画像の背景となる所望の背景用画像P1(図6(a)参照)が選択して指定されると(ステップS31)、画像処理部8は、指定された背景用画像P1の画像データを読み出して画像メモリ5に展開するとともに、画像処理部8の撮像条件取得部8eが、当該画像データと対応付けて記憶されている撮像条件(当該画像の明るさ、コントラスト、色調等)を読み出して取得する(ステップS32)。
【0059】
次に、ユーザによる操作入力部12の所定操作に基づいて、記録媒体9に記録されている複数の画像の中で所望の被写体切り抜き画像P3が選択して指定されると(ステップS33)、画像処理部8は、指定された被写体切り抜き画像P3の画像データを読み出して画像メモリ5に展開するとともに、画像処理部8の撮像条件取得部8eが、当該画像データと対応付けて記憶されている撮像条件(当該画像の明るさ、コントラスト、色調等)を読み出して取得する(ステップS34)。
【0060】
続けて、画像処理部8の撮像条件判定部8fは、読み出された背景用画像P1の撮像条件と被写体切り抜き画像P3の撮像条件に基づいて、互いの画像の明るさ、コントラスト、色調等が一致するか否かを判定する(ステップS35)。
ここで、背景用画像P1と被写体切り抜き画像P3の撮像条件が一致しないと判定されると(ステップS35;NO)、画像合成部8gは、背景用画像P1の撮像条件を基準として被写体切り抜き画像P3の撮像条件が背景用画像P1の撮像条件に近づくように所定の画像処理を施す(ステップS36)。具体的には、背景用画像P1と被写体切り抜き画像P3の明るさが一致しない場合には、被写体切り抜き画像P3に対し、背景用画像P1に近づくように明るさ調整を施し、また、背景用画像P1と被写体切り抜き画像P3のコントラストの強弱が一致しない場合には、被写体切り抜き画像P3に対し、背景用画像P1に近づくようにコントラスト調整を施し、また、背景用画像P1と被写体切り抜き画像P3の色調が一致しない場合には、被写体切り抜き画像P3に対し、背景用画像P1に近づくようにホワイトバランス調整を施す。
一方、ステップS35にて、撮像条件が一致すると判定されると(ステップS35;YES)、被写体切り抜き画像P3に対する画像処理を行わずに、それ以降の処理を行う。
【0061】
そして、ユーザによる操作入力部12の所定操作に基づいて、背景用画像P1における被写体切り抜き画像P3の合成位置が指定されると(ステップS37)、画像合成部8gは、背景用画像P1と被写体切り抜き画像P3(ステップS36における画像処理後のものも含む)とを合成する画像合成処理を行う(ステップS38)。
なお、背景用画像P1における被写体切り抜き画像P3の合成位置を指定する処理(ステップS37)は、画像合成処理(ステップS38)よりも前であれば如何なるタイミングで行っても良い。
【0062】
ここで、画像合成処理について図5を参照して詳細に説明する。
図5に示すように、画像合成部8gは、被写体切り抜き画像P3と対応付けて保存されているアルファマップを読み出して画像メモリ5に展開する(ステップS41)。
なお、図4のステップS37にて背景用画像P1における被写体切り抜き画像P3の合成位置が指定された際に、背景用画像P1とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α=0としてアルファ値が存在しない領域を生じさせないようにする。
【0063】
次に、画像合成部8gは、背景用画像P1の何れか一の画素(例えば、左上隅部の画素)を指定して(ステップS42)、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる(ステップS43)。具体的には、画像合成部8gは、背景用画像P1の何れか一の画素のうち、アルファ値が1の画素については(ステップS43;α=1)、被写体切り抜き画像P3の対応する画素の画素値で上書きし(ステップS44)、アルファ値が0<α<1の画素については(ステップS43;0<α<1)、1の補数(1−α)を用いて被写体領域を切り抜いた画像(背景用画像P1×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて被写体切り抜き画像P3を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像P3から減算し、それを被写体領域を切り抜いた画像(背景用画像P1×(1−α))と合成し(ステップS45、アルファ値が0の画素については(ステップS43;α=0)、何もせずに背景用画像P1を透過させるようにする。
【0064】
続けて、画像合成部8gは、背景用画像P1の全ての画素について処理したか否かを判定する(ステップS46)。
ここで、全ての画素について処理していないと判定されると(ステップS46;NO)、画像合成部8gは、処理対象を次の画素に移動させて(ステップS47)、処理をステップS42に移行させる。
上記の処理を、ステップS46にて全ての画素について処理したと判定されるまで(ステップS46;YES)、繰り返すことで、画像合成部8gは、被写体切り抜き画像P3と背景用画像P1とを合成した被写体合成画像P4の画像データを生成させる。
これにより、画像合成処理を終了する。
【0065】
その後、図4に示すように、CPU13は、表示制御部10に、画像合成部8gにより生成された被写体合成画像P4の画像データに基づいて、背景用画像P1に被写体が重畳された被写体合成画像P4(図6(c)参照)を表示部11の表示画面に表示させる(ステップS39)。
これにより、合成画像生成処理を終了する。
【0066】
以上のように、実施形態1の撮像装置100によれば、撮像条件取得部8eによって取得された背景用画像P1及び被写体切り抜き画像P3の撮像条件に基づいて、背景用画像P1及び被写体切り抜き画像P3を合成して被写体合成画像P4を生成する。具体的には、被写体存在画像P2を所定の撮像条件で撮像した後、被写体存在画像P2から被写体が含まれる被写体領域を抽出した被写体切り抜き画像P3を生成する。そして、背景用画像P1及び被写体切り抜き画像P3の明るさ、コントラスト、色調等の撮像条件を取得して、これらの撮像条件が一致するか否かを判定し、撮像条件が一致しないと判定された場合に、被写体切り抜き画像P3に対し、背景用画像P1に撮像条件が近づくように所定の画像処理を施してから背景用画像P1と合成するので、被写体切り抜き画像P3の撮像条件と背景用画像P1の撮像条件が異なる場合に、これらの撮像条件を考慮して被写体切り抜き画像P3と背景用画像P1の明るさやコントラスト、色調が一致するように画像処理を施すことができ、違和感のより少ない被写体合成画像P4を生成することができる。
【0067】
なお、上記実施形態1にあっては、画像合成部8gは、撮像条件判定部8fによって背景用画像P1と被写体切り抜き画像P3の明るさ、コントラスト、色調等の撮像条件が一致しないと判定された場合に、背景用画像P1の撮像条件を基準として被写体切り抜き画像P3に画像処理を施して、当該画像処理後の被写体切り抜き画像P3と背景用画像P1とを合成するようにしたが、これに限られるものではなく、例えば、被写体切り抜き画像P3の撮像条件を基準として背景用画像P1に画像処理を施して、当該画像処理後の背景用画像P1と被写体切り抜き画像P3とを合成しても良い。
また、被写体切り抜き画像P3の撮像条件と背景用画像P1の撮像条件が互いに近づくように両方の画像に画像処理を施した後、これらの画像を合成しても良い。
【0068】
[実施形態2]
以下に、実施形態2の撮像装置200について、図7〜図11を参照して説明する。
実施形態2の撮像装置200は、図7〜図11に示すように、背景用画像P11及び被写体切り抜き画像P13の水平面に対する傾き(撮像条件)が一致するか否かを判定し、傾きが一致しないと判定された場合に、背景用画像P11の水平方向を基準として被写体切り抜き画像P13に所定の回転処理を施してから背景用画像P11と合成する。
なお、実施形態2の撮像装置200は、撮像制御部3の構成及び撮像条件の内容が異なる以外の点で上記実施形態1の撮像装置100と略同様の構成を成し、その説明は省略する。
【0069】
実施形態2の撮像装置200の撮像制御部3は、撮像レンズ部1及び電子撮像部2とともに画像を撮像する際の当該撮像装置200の水平面に対する傾きを検出する傾き検出部3aを備えている。
【0070】
傾き検出部3aは、例えば、加速度センサや角速度センサ等を具備する電子式の水準器等から構成されている。そして、傾き検出部3aは、背景用画像P11や被写体存在画像P12の撮像の際に検出した当該撮像装置200の水平面に対する傾きを各画像の傾き情報(撮像条件)としてCPU13に出力する。なお、撮像装置200の水平面に対する傾きは、画像の天地を考慮して、水平面を基準として所定の一方向の回転角度で検出するのが好ましい。
ここで、傾き検出部3aは、背景用画像(第1の画像)P11を撮像した際の撮像条件を取得し、被写体切り抜き画像(第2の画像)P13の撮像条件として、当該被写体切り抜き画像P13の生成に係る被写体存在画像P12を撮像した際の撮像条件を取得する。
【0071】
なお、傾き検出部3aにより検出された傾き情報(撮像条件)は、背景用画像P11や被写体切り抜き画像P13の画像データにExif情報として付帯される。
【0072】
次に、背景用画像生成処理について、図8を参照して説明する。
図8は、背景用画像生成処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する背景用画像生成処理のうち、傾き情報を取得する処理及び傾き情報を記憶する処理以外の処理は、実施形態1におけるものと略同様であり、その詳細な説明は省略する。
また、背景用画像P11の撮像にあっては、撮像装置200が水平面に対して所定の角度傾いた状態で撮像されたものとする(図11(a)参照)。
【0073】
図8に示すように、実施形態1と同様に、ライブビュー画像の表示中に(ステップS1)、シャッタボタン12aが撮像指示操作されたと判定されると(ステップS2;YES)、CPU13は、撮像制御部3に、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の撮像条件を調整させて、背景用画像P11(図11(a)参照)の光学像を所定の撮像条件で電子撮像部2により撮像させる(ステップS3)。
このとき、撮像制御部3の傾き検出部3aは、背景用画像P11の撮像の際の水平面に対する傾きとして当該撮像装置200の水平面に対する傾きを検出して、その傾き情報をCPU13に出力する(ステップS61)。
【0074】
続けて、CPU13は、画像データ生成部4に、電子撮像部2から転送された背景用画像P11の画像フレームのYUVデータを生成させた後、記録媒体9の所定の記憶領域に、背景用画像P11のYUVデータを撮像条件取得部8eにより取得された傾き情報(撮像条件)がExif情報として付帯されたExif形式の画像ファイルとして記憶させる(ステップS62)。
これにより、背景用画像生成処理を終了する。
【0075】
次に、被写体切り抜き処理について、図9を参照して説明する。
図9は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体切り抜き処理における被写体切り抜き画像P13の撮像にあっては、撮像装置200が水平な状態で撮像されたものとする(図11(b)参照)。
【0076】
図9に示すように、実施形態1と同様に、ライブビュー画像の表示中に(ステップS11)、シャッタボタン12aが撮像指示操作されたと判定されると(ステップS12;YES)、CPU13は、撮像制御部3に、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の撮像条件を調整させて、被写体存在画像P12(図11(b)参照)の光学像を所定の撮像条件で電子撮像部2により撮像させる(ステップS13)。
このとき、撮像制御部3の傾き検出部3aは、被写体存在画像P12の撮像の際の水平面に対する傾きとして当該撮像装置200の水平面に対する傾きを検出して、その傾き情報をCPU13に出力する(ステップS71)。
【0077】
続けて、CPU13は、実施形態1と同様に、画像データ生成部4に、電子撮像部2から転送された被写体存在画像P12の画像フレームのYUVデータを生成させ、当該被写体存在画像P12のYUVデータを画像メモリ5に一時記憶させる。
【0078】
そして、実施形態1と同様に、ライブビュー画像の表示中に(ステップS15)、ユーザにより被写体非存在画像が被写体存在画像P12の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部12のシャッタボタン12aが撮像指示操作されたと判定されると(ステップS16;YES)、CPU13は、撮像制御部3に、被写体非存在画像の光学像を被写体存在画像P12の撮像後に固定された撮像条件で電子撮像部2により撮像させる(ステップS17)。
その後、CPU13は、実施形態1と同様に、画像データ生成部4に、電子撮像部2から転送された被写体非存在画像の画像フレームに基づいて、被写体非存在画像のYUVデータを生成させて、当該YUVデータを画像メモリ5に一時記憶させる。
【0079】
次に、CPU13は、実施形態1と同様に、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、画像メモリ5に一時記憶されている被写体非存在画像のYUVデータを基準として、被写体存在画像P12のYUVデータを射影変換させるための射影変換行列を所定の画像変換モデル(例えば、相似変換モデル、或いは合同変換モデル)で算出させる(ステップS18)。
【0080】
次に、CPU13は、実施形態1と同様に、画像処理部8の位置合わせ部8aに、算出された射影変換行例に基づいて被写体存在画像P12を射影変換させることで、被写体存在画像P12のYUVデータと被写体非存在画像のYUVデータとを位置合わせする処理を行わせる(ステップS19)。
そして、CPU13は、実施形態1と同様に、画像処理部8の被写体領域抽出部8bに、被写体存在画像P12から被写体が含まれる被写体領域を抽出する処理を行わせる(ステップS20)。
【0081】
次に、CPU13は、実施形態1と同様に、画像処理部8の位置情報生成部8cに、抽出された被写体領域の被写体存在画像P12内での位置を示すアルファマップを生成させる(ステップS21)。
その後、CPU13は、実施形態1と同様に、画像処理部8の切抜画像生成部8dに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像P13の画像データを生成する処理を行わせる(ステップS22)。
【0082】
その後、CPU13は、被写体切り抜き画像P13のYUVデータを撮像条件取得部8eにより取得された傾き情報(撮像条件)及び画像処理部8の位置情報生成部8cにより生成されたアルファマップがExif情報として付帯されたExif形式の画像ファイルとし、例えば、当該被写体切り抜き画像P13の画像データの拡張子を「.jpe」とする一ファイルで記録媒体9の所定の記憶領域に記憶させる(ステップS72)。
これにより、被写体切り抜き処理を終了する。
【0083】
次に、合成画像生成処理について図10を参照して詳細に説明する。
図10は、合成画像生成処理に係る動作の一例を示すフローチャートである。
図10に示すように、実施形態1と同様に、ユーザによる操作入力部12の所定操作に基づいて、記録媒体9に記録されている複数の画像の中で合成画像の背景となる所望の背景用画像P11(図11(a)参照)が選択して指定されると(ステップS31)、画像処理部8は、指定された背景用画像P11の画像データを読み出して画像メモリ5に展開するとともに、画像処理部8の撮像条件取得部8eが、当該画像データと対応付けて記憶されている撮像条件(傾き情報)を読み出して取得する(ステップS81)。
【0084】
次に、実施形態1と同様に、ユーザによる操作入力部12の所定操作に基づいて、記録媒体9に記録されている複数の画像の中で所望の被写体切り抜き画像P13が選択して指定されると(ステップS33)、画像処理部8は、指定された被写体切り抜き画像P13の画像データを読み出して画像メモリ5に展開するとともに、画像処理部8の撮像条件取得部8eが、当該画像データと対応付けて記憶されている撮像条件(傾き情報)を読み出して取得する(ステップS82)。
【0085】
続けて、実施形態1と同様に、画像処理部8の撮像条件判定部8fは、読み出された背景用画像P11の撮像条件(傾き情報)と被写体切り抜き画像P13の撮像条件(傾き情報)に基づいて、互いの画像の水平面に対する傾きが一致するか否かを判定する(ステップS83)。
ここで、背景用画像P11は撮像の際に撮像装置200が水平面に対して傾いた画像であり、被写体切り抜き画像P13は水平な状態で撮像された被写体存在画像P12に係る画像であることから、撮像条件(傾き情報)が一致しないと判定されると(ステップS83;NO)、画像合成部8gは、背景用画像P11の撮像条件を基準として被写体切り抜き画像P13に対して所定の回転処理(画像処理)を施す(ステップS84)。具体的には、背景用画像P11の水平方向と被写体切り抜き画像P13の水平方向を一致させるように当該被写体切り抜き画像P13を所定の角度回転させる。
一方、ステップS83にて、撮像条件が一致すると判定されると(ステップS83;YES)、被写体切り抜き画像P13に対する回転処理を行わずに、それ以降の処理を行う。
【0086】
そして、実施形態1と同様に、ユーザによる操作入力部12の所定操作に基づいて、背景用画像P11における被写体切り抜き画像P13の合成位置が指定されると(ステップS37)、画像合成部8gは、背景用画像P11と被写体切り抜き画像P13(ステップS84における回転処理後のものも含む)とを合成する画像合成処理を行う(ステップS38)。
その後、実施形態1と同様に、CPU13は、表示制御部10に、画像合成部8gにより生成された被写体合成画像P14の画像データに基づいて、背景用画像P11に被写体が重畳された被写体合成画像P14(図11(c)参照)を表示部11の表示画面に表示させる(ステップS39)。
これにより、合成画像生成処理を終了する。
【0087】
以上のように、実施形態2の撮像装置200によれば、撮像条件として背景用画像P11及び被写体切り抜き画像P13の水平面に対する傾きを取得して、これらの画像の傾きが一致するか否かを判定し、傾きが一致しないと判定された場合に、被写体切り抜き画像P13に所定の回転処理を施してから背景用画像P11と合成するので、被写体切り抜き画像P13と背景用画像P11の水平面に対する傾きが異なる場合に、被写体切り抜き画像P13と背景用画像P11の水平方向が一致するように背景用画像P11の水平方向を基準として被写体切り抜き画像P13を所定の角度回転させる回転処理を施すことができ、水平方向が一致した違和感のより少ない被写体合成画像P14を生成することができる。
【0088】
なお、上記実施形態2にあっては、画像合成部8gは、撮像条件判定部8fによって背景用画像P11の撮像条件と被写体切り抜き画像P13の撮像条件(傾き情報)が一致しないと判定された場合に、背景用画像P11の水平面を基準として被写体切り抜き画像P13を所定の角度回転させるようにしたが、これに限られるものではなく、例えば、被写体切り抜き画像P13の水平面を基準として背景用画像P11を所定の角度回転させても良い。ただし、背景用画像P11の回転により画像全体が表示画面に対して斜めに傾いてしまい見栄えが悪いため、被写体部分を含む領域の縦方向及び横方向が天地方向及び水平面と略等しくなるようにトリミング処理を施すか、或いは当該画像の表示の際に傾いた部分が表示画面に表示されないように所定の倍率で拡大表示するのが好ましい。
また、被写体切り抜き画像P13の傾きと背景用画像P11の傾きが一致するように両方の画像を所定角度ずつ回転させる回転処理を施した後、これらの画像を合成しても良いし、水平面に対する傾きだけでなく垂直面に対する傾きも考慮するようにしてもよい。
【0089】
なお、本発明は、上記実施形態1、2に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態1、2にあっては、背景用画像P1(P11)や被写体切り抜き画像P3(P13)の明るさ、コントラスト、色調、各画像の水平面に対する傾き等の撮像条件を基準として、背景用画像P1と被写体切り抜き画像P3の合成を行うようにしたが、画像合成の基準はこれらに限られるものではない。
即ち、撮像条件取得部8eが、背景用画像P1における被写体切り抜き画像P3の合成位置の明るさの情報を取得し、画像合成部8gが、当該明るさの情報に基づいて、被写体切り抜き画像P3の明るさを調整して合成して被写体合成画像P24を生成するようにしても良い。具体的には、背景用画像P1の画像データに基づいて各画素の輝度を測定して明るさを検出する。そして、被写体切り抜き画像P3の合成位置の明るさと背景用画像P1全体に対する合成位置の相対的な明るさの情報を取得し、当該合成位置の明るさ及び相対的な明るさに合わせて被写体切り抜き画像P3の明るさを調整して合成するようにしても良い。
これにより、背景用画像P1における被写体切り抜き画像P3の合成位置の明るさの情報に基づいて、当該被写体切り抜き画像P3の明るさを調整して合成することができ、画質が一致した違和感のより少ない被写体合成画像P4を生成することができる。
【0090】
また、背景用画像P1の各画素の輝度に基づいて当該画像中から光源(例えば、蛍光灯や白熱灯)Lを検出して、当該光源Lの位置に対する被写体切り抜き画像P23の合成位置の相対的な距離に応じて、被写体切り抜き画像P23の明るさを調整するようにしても良い。例えば、被写体切り抜き画像P23が光源Lの位置に対して相対的に遠い位置に合成される場合には、被写体切り抜き画像P23をより暗くさせるように画像処理し(図12(a)参照)、一方、光源Lの位置に対して相対的に近い位置に合成される場合には、被写体切り抜き画像P23をより明るくさせるように画像処理する(図12(b)参照)。なお、図12(a)及び図12(b)にあっては、被写体切り抜き画像P23の明るさを画像上のドット数で表し、ドット数が少ないほど明るい画像を表すものとする。
即ち、撮像条件取得部8eによって取得された光源Lの位置情報のみに基づいて、被写体切り抜き画像P23と背景用画像P21とを合成しても良い。
【0091】
このとき、被写体切り抜き画像P23の合成位置と光源Lの位置情報に基づいて、被写体切り抜き画像P23の影を付して合成しても良い。例えば、光源Lの位置に応じて被写体切り抜き画像P23の影の向きを変更して合成する。
さらに、光源Lの位置に対する相対的な被写体切り抜き画像P23の合成位置に従って、合成位置が近くなる程影が濃くなるように影の濃度を変更しても良い。
【0092】
従って、背景用画像P21中の光源Lの位置情報を取得して、当該光源Lの位置情報と、背景用画像P21における被写体切り抜き画像P23の合成位置に基づいて、被写体切り抜き画像P23の影を付してから画像合成するので、光源Lからの被写体切り抜き画像P23への光の到来方向(入射方向)を考慮して画像合成することができ、違和感のより少ない被写体合成画像P24を生成することができる。
【0093】
なお、光源として、背景用画像P1中から太陽が検出された場合には、当該光源の位置に対する被写体切り抜き画像P23の合成位置の相対的な距離に応じて被写体切り抜き画像P23の明るさを調整する処理を行う必要はなく、被写体切り抜き画像P23の影を付して合成するのが好ましい。
また、被写体切り抜き画像P23として、モーションJPEG画像を合成する場合において、被写体切り抜き画像が背景用画像内で移動することで光源Lに対する位置や合成位置の明るさが変化するときには、各画像フレーム毎に光源Lに対する位置や合成位置の明るさを取得して、当該位置や明るさに基づいて被写体切り抜き画像の明るさを変更したり、所定の向きで影を付して合成する。
【0094】
さらに、上記実施形態1、2にあっては、背景用画像P1(P11)に一の被写体切り抜き画像P3(P13)を合成するようにしたが、被写体切り抜き画像P3の合成数は適宜任意に変更することができ、複数であっても良い。かかる場合には、全ての被写体切り抜き画像P3、…と背景用画像P1とが違和感を生じさせないように所定の画像処理や回転処理等を行うのが好ましい。
また、背景用画像生成処理を行った後、被写体切り抜き処理を行うようにしたが、これらの処理の順番は逆であっても良い。
【0095】
また、画像合成モードを指定した後に、ユーザ所望の背景用画像や被写体切り抜き画像を撮像して、撮像された背景用画像や被写体切り抜き画像を画像合成するようにしても良い。例えば、予め所定の背景用画像を撮像条件と関連付けて記録媒体9に記録しておき、画像合成モードを指定した後に、当該背景用画像と合成される所望の被写体切り抜き画像を撮像し、その際の明るさやコントラスト等の撮像条件を取得して互いの撮像条件を近付けるように画像処理を施すようにしても良い。また、同様に、背景用画像における被写体切り抜き画像の合成領域の明るさを取得しておき、画像合成モードを指定した後に、当該背景用画像と合成される所望の被写体切り抜き画像を撮像し、その画像の明るさを取得して互いの明るさを近付けるように画像処理を施すようにしても良い。また、同様に、背景用画像における光源の位置を特定しておき、画像合成モードを指定した後に、当該背景用画像と合成される所望の被写体切り抜き画像を撮像し、その画像に対して背景用画像における光源の位置及び被写体切り抜き画像の合成位置に基づいて画像処理を施すようにしても良い。
【0096】
さらに、撮像装置100、200の構成は、上記実施形態1、2に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として、撮像装置を例示したが、これに限られるものではない。例えば、背景用画像、被写体切り抜き画像の生成は、当該撮像装置100、200とは異なる撮像装置にて行い、この撮像装置から転送された画像データや撮像条件のみを記録して、合成画像生成処理のみを実行する画像処理装置であっても良い。
【0097】
加えて、上記実施形態にあっては、CPU13の制御下にて、画像処理部8の撮像条件取得部8eや画像合成部8gが駆動することにより本発明が実現される構成としたが、これに限られるものではなく、CPU13によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、指示処理ルーチン、画像処理処理ルーチン及び合成処理ルーチンを含むプログラム、或いは領域指示処理ルーチン、明るさ取得処理ルーチン及び合成処理ルーチンを含むプログラム、或いは特定処理ルーチン、位置指示処理ルーチン及び合成処理ルーチンを含むプログラムを記憶しておく。そして、指示処理ルーチンによりCPU13に、記録媒体9に複数記憶されている画像同士の合成を指示させるようにしても良い。また、画像処理処理ルーチンによりCPU13に、合成が指示された画像に夫々関連付けられた撮像条件を記録媒体9より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理させるようにしても良い。また、合成処理ルーチンによりCPU13に、画像処理された他方の画像と一方の画像とを合成させるようにしても良い。
また、領域指示処理ルーチンによりCPU13に、少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示させるようにしても良い。また、明るさ取得処理ルーチンによりCPU13に、指示された一方の画像の合成すべき領域の明るさを取得させるようにしても良い。また、合成処理ルーチンによりCPU13に、他方の画像の明るさが、取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、二つの画像を合成させるようにしても良い。
また、特定処理ルーチンによりCPU13に、少なくとも二つの画像において、一方の画像における光源の位置を特定させるようにしても良い。また、位置指示処理ルーチンによりCPU13に、一方の画像において、他方の画像を合成すべき位置を指示させるようにしても良い。また、合成処理ルーチンによりCPU13に、指示された位置と一方の画像の光源の位置とに基づいて他方の画像に処理を施し、二つの画像を合成させるようにしても良い。
【符号の説明】
【0098】
100、200 撮像装置
1 レンズ部
2 電子撮像部
3 撮像制御部
3a 傾き検出部
8 画像処理部
8e 撮像条件取得部
8f 撮像条件判定部
8g 画像合成部
9 記録媒体
11 表示部
13 CPU
【技術分野】
【0001】
本発明は、複数の画像を合成する画像処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、被写体画像と背景用画像やフレーム画像を合成することにより合成画像を生成する技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−159158号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、被写体画像と背景用画像やフレーム画像の撮像条件が異なると、合成画像における被写体画像と背景用画像やフレーム画像とのバランスが悪くなってしまうといった問題がある。例えば、被写体画像の撮像を室内の照明下で行う一方、背景用画像の撮像を晴天の屋外で行った場合、被写体画像と背景用画像とではコントラストや明るさが異なるため、違和感のある合成画像が生成されるという問題があった。
【0005】
そこで、本発明の課題は、撮影環境の影響を極力少なくし違和感の少ない合成画像を生成することができる画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記憶手段と、この記憶手段に複数記憶されている画像同士の合成を指示する指示手段と、この指示手段によって合成が指示された画像に夫々関連付けられた撮像条件を前記記憶手段より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理する画像処理手段と、この画像処理手段によって処理された前記他方の画像と前記一方の画像とを合成する合成手段と、を備えたことを特徴としている。
【0007】
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記指示手段によって合成が指示された画像に夫々関連付けられた撮像条件が略一致するか否かを判定する判定手段を更に備え、前記画像処理手段は、この判定手段によって撮像条件が略一致しないと判定された場合に、一方の画像の撮像条件に近づくように他方の画像を処理することを特徴としている。
【0008】
請求項3に記載の発明は、請求項1又は2に記載の画像処理装置において、
前記撮像条件は、前記画像の撮影時のコントラスト及び色調のうち、少なくとも一方を含むことを特徴としている。
【0009】
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の画像処理装置において、
前記撮像条件は、前記画像の撮像時におけるこの画像の水平面に対する傾きを含み、
前記画像処理手段は、この水平面の傾きを示す情報を前記記憶手段より読み出し、一方の画像の傾きに近づくように他方の画像の傾きを変化させることを特徴としている。
【0010】
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の画像処理装置において、
撮像手段と、この撮像手段による撮像時の撮像条件を取得する撮像条件取得手段と、前記撮像手段によって撮像された画像と前記撮像条件取得手段によって取得された撮像条件とを関連付けて前記記憶手段に記憶するよう制御する記憶制御手段と、を更に備えたことを特徴としている。
【0011】
請求項6に記載の発明の画像処理装置は、
少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示する領域指示手段と、この領域指示手段によって指示された一方の画像の合成すべき領域の明るさを取得する明るさ取得手段と、前記他方の画像の明るさが、前記明るさ取得手段によって取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、前記二つの画像を合成する合成手段と、を備えたことを特徴としている。
【0012】
請求項7に記載の発明の画像処理装置は、
少なくとも二つの画像において、一方の画像における光源の位置を特定する特定手段と、前記一方の画像において、他方の画像を合成すべき位置を指示する位置指示手段と、前記一方の画像の光源の位置と前記位置指示手段によって指示された位置とに基づいて前記他方の画像に処理を施し、前記二つの画像を合成する合成手段と、を備えたことを特徴としている。
【0013】
請求項8に記載の発明は、請求項7に記載の画像処理装置において、
前記処理は、前記他方の画像の明るさを調整する処理、及び、前記他方の画像に影を付ける処理の少なくとも一方を含むことを特徴としている。
【0014】
請求項9に記載の発明は、請求項1〜8の何れか一項に記載の画像処理装置において、
前記他方の画像とは、背景と被写体とが存在する画像から被写体が含まれる領域を切り抜いた被写体画像であることを特徴としている。
【0015】
請求項10に記載の発明のプログラムは、
画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記憶手段を備える画像処理装置のコンピュータを、前記記憶手段に複数記憶されている画像同士の合成を指示する指示手段、この指示手段によって合成が指示された画像に夫々関連付けられた撮像条件を前記記憶手段より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理する画像処理手段、この画像処理手段によって処理された前記他方の画像と前記一方の画像とを合成する合成手段、として機能させることを特徴としている。
【0016】
また、請求項11に記載の発明のプログラムは、
画像処理装置のコンピュータを、少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示する領域指示手段、この領域指示手段によって指示された一方の画像の合成すべき領域の明るさを取得する明るさ取得手段、前記他方の画像の明るさが、前記明るさ取得手段によって取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、前記二つの画像を合成する合成手段、として機能させることを特徴としている。
【0017】
また、請求項12に記載の発明のプログラムは、
画像処理装置のコンピュータを、少なくとも二つの画像において、一方の画像における光源の位置を特定する特定手段、前記一方の画像において、他方の画像を合成すべき位置を指示する位置指示手段、前記一方の画像の光源の位置と前記位置指示手段によって指示された位置とに基づいて前記他方の画像に処理を施し、前記二つの画像を合成する合成手段、として機能させることを特徴としている。
【発明の効果】
【0018】
本発明によれば、撮影環境の影響を極力少なくし違和感の少ない合成画像を生成することができる。
【図面の簡単な説明】
【0019】
【図1】本発明を適用した実施形態1の撮像装置の概略構成を示すブロック図である。
【図2】図1の撮像装置による背景用画像生成処理に係る動作の一例を示すフローチャートである。
【図3】図1の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図4】図1の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。
【図5】図4の合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【図6】図4の合成画像生成処理に係る画像の一例を模式的に示す図である。
【図7】本発明を適用した実施形態2の撮像装置の概略構成を示すブロック図である。
【図8】図7の撮像装置による背景用画像生成処理に係る動作の一例を示すフローチャートである。
【図9】図7の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。
【図10】図7の撮像装置による合成画像生成処理に係る動作の一例を示すフローチャートである。
【図11】図10の合成画像生成処理に係る画像の一例を模式的に示す図である。
【図12】被写体合成画像の一例を模式的に示す図である。
【発明を実施するための形態】
【0020】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【0021】
[実施形態1]
図1は、本発明を適用した実施形態1の撮像装置100の概略構成を示すブロック図である。
実施形態1の撮像装置100は、背景用画像P1及び被写体切り抜き画像P3の明るさ、コントラスト、色調(色味)等の撮像条件が一致するか否かを判定し、撮像条件が一致しないと判定された場合に、被写体切り抜き画像P3に所定の画像処理を施してから背景用画像P1と合成する。
具体的には、図1に示すように、撮像装置100は、レンズ部1と、電子撮像部2と、撮像制御部3と、画像データ生成部4と、画像メモリ5と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、記録媒体9と、表示制御部10と、表示部11と、操作入力部12と、CPU13とを備えている。
また、撮像制御部3と、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、CPU13は、例えば、カスタムLSI1Aとして設計されている。
【0022】
レンズ部1は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部1は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【0023】
電子撮像部2は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部1の各種レンズを通過した光学像を二次元の画像信号に変換する。
【0024】
撮像制御部3は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部3は、タイミング発生器、ドライバにより電子撮像部2を走査駆動して、所定周期毎に光学像を電子撮像部2により二次元の画像信号に変換させ、当該電子撮像部2の撮像領域から1画面分ずつ画像フレームを読み出して画像データ生成部4に出力させる。
また、撮像制御部3は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行う。
【0025】
このように構成された撮像レンズ部1、電子撮像部2及び撮像制御部3は、画像合成処理に係る背景用画像P1(図6(a)参照)や被写体存在画像P2(図6(b)参照)を撮像する。
また、撮像レンズ部1、電子撮像部2及び撮像制御部3は、被写体存在画像P2の撮像後、当該被写体存在画像P2の撮像の際の撮像条件を固定した状態で、被写体切り抜き画像P3の生成のための被写体非存在画像(図示略)を撮像する。
【0026】
画像データ生成部4は、電子撮像部2から転送された画像フレームのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用される画像メモリ5にDMA転送される。
【0027】
画像メモリ5は、例えば、DRAM等により構成され、特徴量演算部6と、ブロックマッチング部7と、画像処理部8と、CPU13等によって処理されるデータ等を一時記憶する。
【0028】
特徴量演算部6は、被写体非存在画像を基準として、当該被写体非存在画像から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部6は、被写体非存在画像のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレート(例えば、16×16画素の正方形)として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
【0029】
ブロックマッチング部7は、被写体非存在画像と被写体存在画像P2の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像P2内のどこに対応するか、つまり、被写体存在画像P2内にてテンプレートの画素値が最適にマッチする位置(対応領域)を探索する。そして、画素値の相違度の評価値(例えば、差分二乗和(SSD)や差分絶対値和(SAD)等)が最も良かった被写体非存在画像と被写体存在画像P2間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
【0030】
画像処理部8は、被写体存在画像P2と被写体非存在画像との位置合わせを行う位置合わせ部8aを具備している。
位置合わせ部8aは、被写体非存在画像から抽出した特徴点に基づいて、被写体非存在画像に対する被写体存在画像P2の各画素の座標変換式(射影変換行列)を算出し、当該座標変換式に従って被写体存在画像P2を座標変換して被写体非存在画像と位置合わせを行う。
【0031】
また、画像処理部8は、位置合わせ部8aにより位置合わせされた被写体存在画像P2と被写体非存在画像との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像P2から被写体が含まれる被写体領域を抽出する被写体領域抽出部8bを具備している。
【0032】
また、画像処理部8は、被写体存在画像P2内で抽出された被写体領域の位置を特定して、被写体存在画像P2における被写体領域の位置を示す位置情報を生成する位置情報生成部8cを具備している。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、被写体存在画像P2の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したものである。
【0033】
また、画像処理部8は、生成されたアルファマップに基づいて、被写体存在画像P2の各画素のうち、アルファ値が1の画素を所定の単一色画像(図示略)に対して透過させずに、且つ、アルファ値が0の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像P3(図6(c)参照)の画像データを生成する切抜画像生成部8dを具備している。
【0034】
また、画像処理部8は、各画像の画像合成処理に関連する合成関連情報として撮像条件を取得する撮像条件取得部8eを具備している。
ここで、撮像条件としては、例えば、明るさ、コントラスト、色調等が挙げられる。そして、撮像条件取得部8eは、画像データ生成部4により生成された背景用画像P1や切抜画像生成部8dにより生成された被写体切り抜き画像P3の画像データに基づいて、各々の画像の明るさやコントラストを取得する。また、撮像条件取得部8eは、背景用画像P1や被写体切り抜き画像P3の撮像の際に、撮像制御部3からホワイトバランスの調整値を色調として取得する。さらに、撮像条件取得部8eは、合成画像生成処理にて、記録媒体9にExif形式の画像ファイルとして記録されている背景用画像P1や被写体切り抜き画像P3の画像データのExif情報から当該画像の明るさやコントラスト、ホワイトバランスの調整値(色調)等の撮像条件を読み出して取得する。
ここで、撮像条件取得部8eは、背景用画像(第1の画像)P1の画像合成処理に関連する撮像条件を取得し、被写体切り抜き画像(第2の画像)P3の撮像条件として、当該被写体切り抜き画像P3の生成に係る被写体存在画像P2を撮像した際の撮像条件を取得する。
【0035】
また、画像処理部8は、撮像条件取得部8eにより取得された背景用画像P1の撮像条件と被写体切り抜き画像P3の撮像条件とが一致するか否かを判定する撮像条件判定部8fを具備している。具体的には、撮像条件判定部8fは、合成画像生成処理にて、ユーザにより指定された合成画像の背景となる背景用画像P1の撮像条件と、ユーザにより指定された被写体切り抜き画像P3の撮像条件とが一致するか否かを判定する。
ここで、撮像条件判定部8fは、撮像条件取得部8eによって取得された背景用画像(第1の画像)P1の撮像条件と被写体切り抜き画像(第2の画像)P3の撮像条件とが一致するか否かを判定する。
【0036】
また、画像処理部8は、被写体切り抜き画像P3と背景用画像P1とを合成する画像合成部8gを具備している。具体的には、画像合成部8gは、背景用画像P1の各画素のうち、アルファ値が0の画素は透過させ、アルファ値が1の画素は被写体切り抜き画像P3の対応する画素の画素値で上書きし、さらに、背景用画像P1の各画素のうち、アルファ値が0<α<1の画素は1の補数(1−α)を用いて被写体領域を切り抜いた画像(背景用画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて被写体切り抜き画像P3を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像P3から減算し、それを被写体領域を切り抜いた画像(背景用画像×(1−α))と合成する。
また、画像合成部8gは、撮像条件取得部8eによって取得された被写体切り抜き画像P3の撮像条件と背景用画像P1の撮像条件に基づいて、被写体切り抜き画像P3と背景用画像P1とを合成する。具体的には、画像合成部8gは、撮像条件判定部8fによって背景用画像P1の撮像条件と被写体切り抜き画像P3の撮像条件が一致しないと判定された場合に、背景用画像P1の明るさ、コントラスト、色調等の撮像条件を基準として被写体切り抜き画像P3に対して明るさ調整、コントラスト調整、ホワイトバランス調整等の画像処理を施して、当該画像処理後の被写体切り抜き画像P3と背景用画像P1とを合成して被写体合成画像P4を生成する。
【0037】
記録媒体9は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、画像処理部8のJPEG圧縮部(図示略)により符号化された背景用画像P1や被写体切り抜き画像P3の画像データを記憶する。
また、被写体切り抜き画像P3の画像データは、画像処理部8の位置情報生成部8cにより生成されたアルファマップと対応付けられて、当該被写体切り抜き画像P3の画像データの拡張子を「.jpe」として保存されている。
また、各画像データは、当該画像の明るさやコントラスト、ホワイトバランスの調整値(色調)等の撮像条件がExif情報として付帯されたExif形式の画像ファイルから構成されている。
【0038】
表示制御部10は、画像メモリ5に一時的に記憶されている表示用の画像データを読み出して表示部11に表示させる制御を行う。
具体的には、表示制御部10は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、CPU13の制御下にて画像メモリ5から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部11に出力する。
【0039】
表示部11は、例えば、液晶表示装置であり、表示制御部10からのビデオ信号に基づいて電子撮像部2により撮像された画像などを表示画面に表示する。具体的には、表示部11は、撮像モードにて、撮像レンズ部1、電子撮像部2及び撮像制御部3による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【0040】
操作入力部12は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部12は、被写体の撮影指示に係るシャッタボタン12a、撮像モードや機能等の選択指示や被写体切り抜き画像P3の合成位置の設定指示に係る選択決定ボタン12b、ズーム量の調整指示に係るズームボタン(図示略)等を備え、これらのボタンの操作に応じて所定の操作信号をCPU13に出力する。
【0041】
CPU13は、撮像装置100の各部を制御するものである。具体的には、CPU13は、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行うものである。
【0042】
次に、撮像装置100による背景用画像生成処理について、図2を参照して説明する。
図2は、背景用画像生成処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する背景用画像生成処理にあっては、背景用画像P1の撮像を室内で行うものとし、屋外で撮像される画像(例えば、後述する被写体存在画像P2)とは、例えば、明るさ、コントラスト、色調等が異なるものとする。
【0043】
背景用画像生成処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部12の選択決定ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。
図2に示すように、先ず、CPU13は、表示制御部10に、撮像レンズ部1、電子撮像部2及び撮像制御部3による背景用画像P1の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部11の表示画面に表示させる(ステップS1)。
【0044】
次に、CPU13は、ユーザにより操作入力部12のシャッタボタン12aが撮像指示操作されたか否かを判定する(ステップS2)。ここで、シャッタボタン12aが撮像指示操作されたと判定されると(ステップS2;YES)、CPU13は、撮像制御部3に、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の条件を調整させて、背景用画像P1(図6(a)参照)の光学像を所定の条件で電子撮像部2により撮像させる(ステップS3)。
【0045】
続けて、CPU13は、画像データ生成部4に、電子撮像部2から転送された背景用画像P1の画像フレームのYUVデータを生成させた後、画像処理部8の撮像条件取得部8eに、撮像条件として、背景用画像P1のYUVデータに基づいて当該画像の明るさやコントラストを取得させるとともに、撮像制御部3から背景用画像P1の撮像の際のホワイトバランスの調整値を色調として取得させる(ステップS4)。
その後、CPU13は、記録媒体9の所定の記憶領域に、背景用画像P1のYUVデータを撮像条件取得部8eにより取得された撮像条件(当該画像の明るさ、コントラスト、色調等)がExif情報として付帯されたExif形式の画像ファイルとして記憶させる(ステップS5)。
これにより、背景用画像生成処理を終了する。
【0046】
次に、撮像装置100による被写体切り抜き処理について、図3を参照して説明する。
図3は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体切り抜き処理にあっては、被写体存在画像P2の撮像を屋外で行うものとする。また、被写体存在画像P2や被写体切り抜き画像P3の明るさを画像上のドット数で表し、ドット数が少ないほど明るい画像を表すものとする。
【0047】
被写体切り抜き処理は、ユーザによる操作入力部12の選択決定ボタン12bの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
図3に示すように、先ず、CPU13は、表示制御部10に、撮像レンズ部1、電子撮像部2及び撮像制御部3による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部11の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P2の撮像指示メッセージを表示部11の表示画面に表示させる(ステップS11)。
【0048】
次に、CPU13は、ユーザにより操作入力部12のシャッタボタン12aが撮像指示操作されたか否かを判定する(ステップS12)。ここで、シャッタボタン12aが撮像指示操作されたと判定されると(ステップS12;YES)、CPU13は、撮像制御部3に、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の条件を調整させて、被写体存在画像P2(図6(b)参照)の光学像を所定の条件で電子撮像部2により撮像させる(ステップS13)。
【0049】
続けて、CPU13は、画像データ生成部4に、電子撮像部2から転送された被写体存在画像P2の画像フレームのYUVデータを生成させた後、画像処理部8の撮像条件取得部8eに、撮像条件として、被写体存在画像P2のYUVデータに基づいて当該画像の明るさやコントラストを取得させるとともに、撮像制御部3から被写体存在画像P2の撮像の際のホワイトバランスの調整値を色調として取得させる(ステップS14)。なお、画像データ生成部4により生成された被写体存在画像P2のYUVデータは、画像メモリ5に一時記憶される。
また、CPU13は、撮像制御部3を制御して、当該被写体存在画像P2の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。
【0050】
そして、CPU13は、表示制御部10に、撮像レンズ部1、電子撮像部2及び撮像制御部3による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部11の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像P2の半透過の表示態様の画像と被写体非存在画像の撮像指示メッセージを表示部11の表示画面に表示させる(ステップS15)。
この後、CPU13は、ユーザにより操作入力部12のシャッタボタン12aが撮像指示操作されたか否かを判定する(ステップS16)。そして、ユーザは、被写体を画角外に移動させるか、或いは被写体が移動するのを待った後、ユーザにより被写体非存在画像が被写体存在画像P2の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部12のシャッタボタン12aが撮像指示操作されたと判定されると(ステップS16;YES)、CPU13は、撮像制御部3に、被写体非存在画像の光学像を被写体存在画像P2の撮像後に固定された条件で電子撮像部2により撮像させる(ステップS17)。
その後、CPU13は、画像データ生成部4に、電子撮像部2から転送された被写体非存在画像の画像フレームに基づいて、被写体非存在画像のYUVデータを生成させて、当該YUVデータを画像メモリ5に一時記憶させる。
【0051】
次に、CPU13は、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、画像メモリ5に一時記憶されている被写体非存在画像のYUVデータを基準として、被写体存在画像P2のYUVデータを射影変換させるための射影変換行列を所定の画像変換モデル(例えば、相似変換モデル、或いは合同変換モデル)で算出させる(ステップS18)。
具体的には、特徴量演算部6は、被写体非存在画像のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部7は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像P2内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像と被写体存在画像P2間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、画像処理部8の位置合わせ部8aは、ブロックマッチング部7により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像P2の射影変換行列を算出する。
【0052】
次に、CPU13は、位置合わせ部8aに、算出された射影変換行例に基づいて被写体存在画像P2を射影変換させることで、被写体存在画像P2のYUVデータと被写体非存在画像のYUVデータとを位置合わせする処理を行わせる(ステップS19)。
【0053】
そして、CPU13は、画像処理部8の被写体領域抽出部8bに、被写体存在画像P2から被写体が含まれる被写体領域を抽出する処理を行わせる(ステップS20)。
具体的には、被写体領域抽出部8bは、被写体存在画像P2のYUVデータと被写体非存在画像のYUVデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部8bは、ローパスフィルタをかけた被写体存在画像P2と被写体非存在画像との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部8bは、各画素に係る相違度マップを所定の閾値で2値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部8bは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。
【0054】
次に、CPU13は、画像処理部8の位置情報生成部8cに、抽出された被写体領域の被写体存在画像P2内での位置を示すアルファマップを生成させる(ステップS21)。
【0055】
その後、CPU13は、画像処理部8の切抜画像生成部8dに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像P3(図6(c)参照)の画像データを生成する処理を行わせる(ステップS22)。
具体的には、切抜画像生成部8dは、被写体存在画像P2、単一色画像及びアルファマップを読み出して画像メモリ5に展開した後、被写体存在画像P2の全ての画素について、アルファ値が0の画素については(α=0)、透過させ、アルファ値が0<α<1の画素については(0<α<1)、所定の単一色とブレンディングを行い、アルファ値が1の画素については(α=1)、何もせずに所定の単一色に対して透過させないようにする。
【0056】
その後、CPU13は、被写体切り抜き画像P3のYUVデータを、撮像条件取得部8eにより取得された撮像条件(当該画像の明るさやコントラスト、色調等)及び画像処理部8の位置情報生成部8cにより生成されたアルファマップがExif情報として付帯されたExif形式の画像ファイルとし、例えば、当該被写体切り抜き画像P3の画像データの拡張子を「.jpe」とする一ファイルで記録媒体9の所定の記憶領域に記憶させる(ステップS23)。
これにより、被写体切り抜き処理を終了する。
【0057】
次に、合成画像生成処理について図4及び図5を参照して詳細に説明する。
図4は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図5は、合成画像生成処理における画像合成処理に係る動作の一例を示すフローチャートである。
【0058】
合成画像生成処理は、ユーザによる操作入力部12の選択決定ボタン12bの所定操作からなる指示に基づいて、メニュー画面に表示された複数の撮像モードの中から画像合成モードが選択指示された場合に実行される処理である。
図4に示すように、ユーザによる操作入力部12の所定操作からなる指示に基づいて、記録媒体9に記録されている複数の画像の中で合成画像の背景となる所望の背景用画像P1(図6(a)参照)が選択して指定されると(ステップS31)、画像処理部8は、指定された背景用画像P1の画像データを読み出して画像メモリ5に展開するとともに、画像処理部8の撮像条件取得部8eが、当該画像データと対応付けて記憶されている撮像条件(当該画像の明るさ、コントラスト、色調等)を読み出して取得する(ステップS32)。
【0059】
次に、ユーザによる操作入力部12の所定操作に基づいて、記録媒体9に記録されている複数の画像の中で所望の被写体切り抜き画像P3が選択して指定されると(ステップS33)、画像処理部8は、指定された被写体切り抜き画像P3の画像データを読み出して画像メモリ5に展開するとともに、画像処理部8の撮像条件取得部8eが、当該画像データと対応付けて記憶されている撮像条件(当該画像の明るさ、コントラスト、色調等)を読み出して取得する(ステップS34)。
【0060】
続けて、画像処理部8の撮像条件判定部8fは、読み出された背景用画像P1の撮像条件と被写体切り抜き画像P3の撮像条件に基づいて、互いの画像の明るさ、コントラスト、色調等が一致するか否かを判定する(ステップS35)。
ここで、背景用画像P1と被写体切り抜き画像P3の撮像条件が一致しないと判定されると(ステップS35;NO)、画像合成部8gは、背景用画像P1の撮像条件を基準として被写体切り抜き画像P3の撮像条件が背景用画像P1の撮像条件に近づくように所定の画像処理を施す(ステップS36)。具体的には、背景用画像P1と被写体切り抜き画像P3の明るさが一致しない場合には、被写体切り抜き画像P3に対し、背景用画像P1に近づくように明るさ調整を施し、また、背景用画像P1と被写体切り抜き画像P3のコントラストの強弱が一致しない場合には、被写体切り抜き画像P3に対し、背景用画像P1に近づくようにコントラスト調整を施し、また、背景用画像P1と被写体切り抜き画像P3の色調が一致しない場合には、被写体切り抜き画像P3に対し、背景用画像P1に近づくようにホワイトバランス調整を施す。
一方、ステップS35にて、撮像条件が一致すると判定されると(ステップS35;YES)、被写体切り抜き画像P3に対する画像処理を行わずに、それ以降の処理を行う。
【0061】
そして、ユーザによる操作入力部12の所定操作に基づいて、背景用画像P1における被写体切り抜き画像P3の合成位置が指定されると(ステップS37)、画像合成部8gは、背景用画像P1と被写体切り抜き画像P3(ステップS36における画像処理後のものも含む)とを合成する画像合成処理を行う(ステップS38)。
なお、背景用画像P1における被写体切り抜き画像P3の合成位置を指定する処理(ステップS37)は、画像合成処理(ステップS38)よりも前であれば如何なるタイミングで行っても良い。
【0062】
ここで、画像合成処理について図5を参照して詳細に説明する。
図5に示すように、画像合成部8gは、被写体切り抜き画像P3と対応付けて保存されているアルファマップを読み出して画像メモリ5に展開する(ステップS41)。
なお、図4のステップS37にて背景用画像P1における被写体切り抜き画像P3の合成位置が指定された際に、背景用画像P1とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α=0としてアルファ値が存在しない領域を生じさせないようにする。
【0063】
次に、画像合成部8gは、背景用画像P1の何れか一の画素(例えば、左上隅部の画素)を指定して(ステップS42)、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる(ステップS43)。具体的には、画像合成部8gは、背景用画像P1の何れか一の画素のうち、アルファ値が1の画素については(ステップS43;α=1)、被写体切り抜き画像P3の対応する画素の画素値で上書きし(ステップS44)、アルファ値が0<α<1の画素については(ステップS43;0<α<1)、1の補数(1−α)を用いて被写体領域を切り抜いた画像(背景用画像P1×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて被写体切り抜き画像P3を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像P3から減算し、それを被写体領域を切り抜いた画像(背景用画像P1×(1−α))と合成し(ステップS45、アルファ値が0の画素については(ステップS43;α=0)、何もせずに背景用画像P1を透過させるようにする。
【0064】
続けて、画像合成部8gは、背景用画像P1の全ての画素について処理したか否かを判定する(ステップS46)。
ここで、全ての画素について処理していないと判定されると(ステップS46;NO)、画像合成部8gは、処理対象を次の画素に移動させて(ステップS47)、処理をステップS42に移行させる。
上記の処理を、ステップS46にて全ての画素について処理したと判定されるまで(ステップS46;YES)、繰り返すことで、画像合成部8gは、被写体切り抜き画像P3と背景用画像P1とを合成した被写体合成画像P4の画像データを生成させる。
これにより、画像合成処理を終了する。
【0065】
その後、図4に示すように、CPU13は、表示制御部10に、画像合成部8gにより生成された被写体合成画像P4の画像データに基づいて、背景用画像P1に被写体が重畳された被写体合成画像P4(図6(c)参照)を表示部11の表示画面に表示させる(ステップS39)。
これにより、合成画像生成処理を終了する。
【0066】
以上のように、実施形態1の撮像装置100によれば、撮像条件取得部8eによって取得された背景用画像P1及び被写体切り抜き画像P3の撮像条件に基づいて、背景用画像P1及び被写体切り抜き画像P3を合成して被写体合成画像P4を生成する。具体的には、被写体存在画像P2を所定の撮像条件で撮像した後、被写体存在画像P2から被写体が含まれる被写体領域を抽出した被写体切り抜き画像P3を生成する。そして、背景用画像P1及び被写体切り抜き画像P3の明るさ、コントラスト、色調等の撮像条件を取得して、これらの撮像条件が一致するか否かを判定し、撮像条件が一致しないと判定された場合に、被写体切り抜き画像P3に対し、背景用画像P1に撮像条件が近づくように所定の画像処理を施してから背景用画像P1と合成するので、被写体切り抜き画像P3の撮像条件と背景用画像P1の撮像条件が異なる場合に、これらの撮像条件を考慮して被写体切り抜き画像P3と背景用画像P1の明るさやコントラスト、色調が一致するように画像処理を施すことができ、違和感のより少ない被写体合成画像P4を生成することができる。
【0067】
なお、上記実施形態1にあっては、画像合成部8gは、撮像条件判定部8fによって背景用画像P1と被写体切り抜き画像P3の明るさ、コントラスト、色調等の撮像条件が一致しないと判定された場合に、背景用画像P1の撮像条件を基準として被写体切り抜き画像P3に画像処理を施して、当該画像処理後の被写体切り抜き画像P3と背景用画像P1とを合成するようにしたが、これに限られるものではなく、例えば、被写体切り抜き画像P3の撮像条件を基準として背景用画像P1に画像処理を施して、当該画像処理後の背景用画像P1と被写体切り抜き画像P3とを合成しても良い。
また、被写体切り抜き画像P3の撮像条件と背景用画像P1の撮像条件が互いに近づくように両方の画像に画像処理を施した後、これらの画像を合成しても良い。
【0068】
[実施形態2]
以下に、実施形態2の撮像装置200について、図7〜図11を参照して説明する。
実施形態2の撮像装置200は、図7〜図11に示すように、背景用画像P11及び被写体切り抜き画像P13の水平面に対する傾き(撮像条件)が一致するか否かを判定し、傾きが一致しないと判定された場合に、背景用画像P11の水平方向を基準として被写体切り抜き画像P13に所定の回転処理を施してから背景用画像P11と合成する。
なお、実施形態2の撮像装置200は、撮像制御部3の構成及び撮像条件の内容が異なる以外の点で上記実施形態1の撮像装置100と略同様の構成を成し、その説明は省略する。
【0069】
実施形態2の撮像装置200の撮像制御部3は、撮像レンズ部1及び電子撮像部2とともに画像を撮像する際の当該撮像装置200の水平面に対する傾きを検出する傾き検出部3aを備えている。
【0070】
傾き検出部3aは、例えば、加速度センサや角速度センサ等を具備する電子式の水準器等から構成されている。そして、傾き検出部3aは、背景用画像P11や被写体存在画像P12の撮像の際に検出した当該撮像装置200の水平面に対する傾きを各画像の傾き情報(撮像条件)としてCPU13に出力する。なお、撮像装置200の水平面に対する傾きは、画像の天地を考慮して、水平面を基準として所定の一方向の回転角度で検出するのが好ましい。
ここで、傾き検出部3aは、背景用画像(第1の画像)P11を撮像した際の撮像条件を取得し、被写体切り抜き画像(第2の画像)P13の撮像条件として、当該被写体切り抜き画像P13の生成に係る被写体存在画像P12を撮像した際の撮像条件を取得する。
【0071】
なお、傾き検出部3aにより検出された傾き情報(撮像条件)は、背景用画像P11や被写体切り抜き画像P13の画像データにExif情報として付帯される。
【0072】
次に、背景用画像生成処理について、図8を参照して説明する。
図8は、背景用画像生成処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する背景用画像生成処理のうち、傾き情報を取得する処理及び傾き情報を記憶する処理以外の処理は、実施形態1におけるものと略同様であり、その詳細な説明は省略する。
また、背景用画像P11の撮像にあっては、撮像装置200が水平面に対して所定の角度傾いた状態で撮像されたものとする(図11(a)参照)。
【0073】
図8に示すように、実施形態1と同様に、ライブビュー画像の表示中に(ステップS1)、シャッタボタン12aが撮像指示操作されたと判定されると(ステップS2;YES)、CPU13は、撮像制御部3に、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の撮像条件を調整させて、背景用画像P11(図11(a)参照)の光学像を所定の撮像条件で電子撮像部2により撮像させる(ステップS3)。
このとき、撮像制御部3の傾き検出部3aは、背景用画像P11の撮像の際の水平面に対する傾きとして当該撮像装置200の水平面に対する傾きを検出して、その傾き情報をCPU13に出力する(ステップS61)。
【0074】
続けて、CPU13は、画像データ生成部4に、電子撮像部2から転送された背景用画像P11の画像フレームのYUVデータを生成させた後、記録媒体9の所定の記憶領域に、背景用画像P11のYUVデータを撮像条件取得部8eにより取得された傾き情報(撮像条件)がExif情報として付帯されたExif形式の画像ファイルとして記憶させる(ステップS62)。
これにより、背景用画像生成処理を終了する。
【0075】
次に、被写体切り抜き処理について、図9を参照して説明する。
図9は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する被写体切り抜き処理における被写体切り抜き画像P13の撮像にあっては、撮像装置200が水平な状態で撮像されたものとする(図11(b)参照)。
【0076】
図9に示すように、実施形態1と同様に、ライブビュー画像の表示中に(ステップS11)、シャッタボタン12aが撮像指示操作されたと判定されると(ステップS12;YES)、CPU13は、撮像制御部3に、フォーカスレンズの合焦位置や露出条件(シャッター速度、絞り、増幅率等)やホワイトバランス等の撮像条件を調整させて、被写体存在画像P12(図11(b)参照)の光学像を所定の撮像条件で電子撮像部2により撮像させる(ステップS13)。
このとき、撮像制御部3の傾き検出部3aは、被写体存在画像P12の撮像の際の水平面に対する傾きとして当該撮像装置200の水平面に対する傾きを検出して、その傾き情報をCPU13に出力する(ステップS71)。
【0077】
続けて、CPU13は、実施形態1と同様に、画像データ生成部4に、電子撮像部2から転送された被写体存在画像P12の画像フレームのYUVデータを生成させ、当該被写体存在画像P12のYUVデータを画像メモリ5に一時記憶させる。
【0078】
そして、実施形態1と同様に、ライブビュー画像の表示中に(ステップS15)、ユーザにより被写体非存在画像が被写体存在画像P12の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部12のシャッタボタン12aが撮像指示操作されたと判定されると(ステップS16;YES)、CPU13は、撮像制御部3に、被写体非存在画像の光学像を被写体存在画像P12の撮像後に固定された撮像条件で電子撮像部2により撮像させる(ステップS17)。
その後、CPU13は、実施形態1と同様に、画像データ生成部4に、電子撮像部2から転送された被写体非存在画像の画像フレームに基づいて、被写体非存在画像のYUVデータを生成させて、当該YUVデータを画像メモリ5に一時記憶させる。
【0079】
次に、CPU13は、実施形態1と同様に、特徴量演算部6、ブロックマッチング部7及び画像処理部8に、画像メモリ5に一時記憶されている被写体非存在画像のYUVデータを基準として、被写体存在画像P12のYUVデータを射影変換させるための射影変換行列を所定の画像変換モデル(例えば、相似変換モデル、或いは合同変換モデル)で算出させる(ステップS18)。
【0080】
次に、CPU13は、実施形態1と同様に、画像処理部8の位置合わせ部8aに、算出された射影変換行例に基づいて被写体存在画像P12を射影変換させることで、被写体存在画像P12のYUVデータと被写体非存在画像のYUVデータとを位置合わせする処理を行わせる(ステップS19)。
そして、CPU13は、実施形態1と同様に、画像処理部8の被写体領域抽出部8bに、被写体存在画像P12から被写体が含まれる被写体領域を抽出する処理を行わせる(ステップS20)。
【0081】
次に、CPU13は、実施形態1と同様に、画像処理部8の位置情報生成部8cに、抽出された被写体領域の被写体存在画像P12内での位置を示すアルファマップを生成させる(ステップS21)。
その後、CPU13は、実施形態1と同様に、画像処理部8の切抜画像生成部8dに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像P13の画像データを生成する処理を行わせる(ステップS22)。
【0082】
その後、CPU13は、被写体切り抜き画像P13のYUVデータを撮像条件取得部8eにより取得された傾き情報(撮像条件)及び画像処理部8の位置情報生成部8cにより生成されたアルファマップがExif情報として付帯されたExif形式の画像ファイルとし、例えば、当該被写体切り抜き画像P13の画像データの拡張子を「.jpe」とする一ファイルで記録媒体9の所定の記憶領域に記憶させる(ステップS72)。
これにより、被写体切り抜き処理を終了する。
【0083】
次に、合成画像生成処理について図10を参照して詳細に説明する。
図10は、合成画像生成処理に係る動作の一例を示すフローチャートである。
図10に示すように、実施形態1と同様に、ユーザによる操作入力部12の所定操作に基づいて、記録媒体9に記録されている複数の画像の中で合成画像の背景となる所望の背景用画像P11(図11(a)参照)が選択して指定されると(ステップS31)、画像処理部8は、指定された背景用画像P11の画像データを読み出して画像メモリ5に展開するとともに、画像処理部8の撮像条件取得部8eが、当該画像データと対応付けて記憶されている撮像条件(傾き情報)を読み出して取得する(ステップS81)。
【0084】
次に、実施形態1と同様に、ユーザによる操作入力部12の所定操作に基づいて、記録媒体9に記録されている複数の画像の中で所望の被写体切り抜き画像P13が選択して指定されると(ステップS33)、画像処理部8は、指定された被写体切り抜き画像P13の画像データを読み出して画像メモリ5に展開するとともに、画像処理部8の撮像条件取得部8eが、当該画像データと対応付けて記憶されている撮像条件(傾き情報)を読み出して取得する(ステップS82)。
【0085】
続けて、実施形態1と同様に、画像処理部8の撮像条件判定部8fは、読み出された背景用画像P11の撮像条件(傾き情報)と被写体切り抜き画像P13の撮像条件(傾き情報)に基づいて、互いの画像の水平面に対する傾きが一致するか否かを判定する(ステップS83)。
ここで、背景用画像P11は撮像の際に撮像装置200が水平面に対して傾いた画像であり、被写体切り抜き画像P13は水平な状態で撮像された被写体存在画像P12に係る画像であることから、撮像条件(傾き情報)が一致しないと判定されると(ステップS83;NO)、画像合成部8gは、背景用画像P11の撮像条件を基準として被写体切り抜き画像P13に対して所定の回転処理(画像処理)を施す(ステップS84)。具体的には、背景用画像P11の水平方向と被写体切り抜き画像P13の水平方向を一致させるように当該被写体切り抜き画像P13を所定の角度回転させる。
一方、ステップS83にて、撮像条件が一致すると判定されると(ステップS83;YES)、被写体切り抜き画像P13に対する回転処理を行わずに、それ以降の処理を行う。
【0086】
そして、実施形態1と同様に、ユーザによる操作入力部12の所定操作に基づいて、背景用画像P11における被写体切り抜き画像P13の合成位置が指定されると(ステップS37)、画像合成部8gは、背景用画像P11と被写体切り抜き画像P13(ステップS84における回転処理後のものも含む)とを合成する画像合成処理を行う(ステップS38)。
その後、実施形態1と同様に、CPU13は、表示制御部10に、画像合成部8gにより生成された被写体合成画像P14の画像データに基づいて、背景用画像P11に被写体が重畳された被写体合成画像P14(図11(c)参照)を表示部11の表示画面に表示させる(ステップS39)。
これにより、合成画像生成処理を終了する。
【0087】
以上のように、実施形態2の撮像装置200によれば、撮像条件として背景用画像P11及び被写体切り抜き画像P13の水平面に対する傾きを取得して、これらの画像の傾きが一致するか否かを判定し、傾きが一致しないと判定された場合に、被写体切り抜き画像P13に所定の回転処理を施してから背景用画像P11と合成するので、被写体切り抜き画像P13と背景用画像P11の水平面に対する傾きが異なる場合に、被写体切り抜き画像P13と背景用画像P11の水平方向が一致するように背景用画像P11の水平方向を基準として被写体切り抜き画像P13を所定の角度回転させる回転処理を施すことができ、水平方向が一致した違和感のより少ない被写体合成画像P14を生成することができる。
【0088】
なお、上記実施形態2にあっては、画像合成部8gは、撮像条件判定部8fによって背景用画像P11の撮像条件と被写体切り抜き画像P13の撮像条件(傾き情報)が一致しないと判定された場合に、背景用画像P11の水平面を基準として被写体切り抜き画像P13を所定の角度回転させるようにしたが、これに限られるものではなく、例えば、被写体切り抜き画像P13の水平面を基準として背景用画像P11を所定の角度回転させても良い。ただし、背景用画像P11の回転により画像全体が表示画面に対して斜めに傾いてしまい見栄えが悪いため、被写体部分を含む領域の縦方向及び横方向が天地方向及び水平面と略等しくなるようにトリミング処理を施すか、或いは当該画像の表示の際に傾いた部分が表示画面に表示されないように所定の倍率で拡大表示するのが好ましい。
また、被写体切り抜き画像P13の傾きと背景用画像P11の傾きが一致するように両方の画像を所定角度ずつ回転させる回転処理を施した後、これらの画像を合成しても良いし、水平面に対する傾きだけでなく垂直面に対する傾きも考慮するようにしてもよい。
【0089】
なお、本発明は、上記実施形態1、2に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態1、2にあっては、背景用画像P1(P11)や被写体切り抜き画像P3(P13)の明るさ、コントラスト、色調、各画像の水平面に対する傾き等の撮像条件を基準として、背景用画像P1と被写体切り抜き画像P3の合成を行うようにしたが、画像合成の基準はこれらに限られるものではない。
即ち、撮像条件取得部8eが、背景用画像P1における被写体切り抜き画像P3の合成位置の明るさの情報を取得し、画像合成部8gが、当該明るさの情報に基づいて、被写体切り抜き画像P3の明るさを調整して合成して被写体合成画像P24を生成するようにしても良い。具体的には、背景用画像P1の画像データに基づいて各画素の輝度を測定して明るさを検出する。そして、被写体切り抜き画像P3の合成位置の明るさと背景用画像P1全体に対する合成位置の相対的な明るさの情報を取得し、当該合成位置の明るさ及び相対的な明るさに合わせて被写体切り抜き画像P3の明るさを調整して合成するようにしても良い。
これにより、背景用画像P1における被写体切り抜き画像P3の合成位置の明るさの情報に基づいて、当該被写体切り抜き画像P3の明るさを調整して合成することができ、画質が一致した違和感のより少ない被写体合成画像P4を生成することができる。
【0090】
また、背景用画像P1の各画素の輝度に基づいて当該画像中から光源(例えば、蛍光灯や白熱灯)Lを検出して、当該光源Lの位置に対する被写体切り抜き画像P23の合成位置の相対的な距離に応じて、被写体切り抜き画像P23の明るさを調整するようにしても良い。例えば、被写体切り抜き画像P23が光源Lの位置に対して相対的に遠い位置に合成される場合には、被写体切り抜き画像P23をより暗くさせるように画像処理し(図12(a)参照)、一方、光源Lの位置に対して相対的に近い位置に合成される場合には、被写体切り抜き画像P23をより明るくさせるように画像処理する(図12(b)参照)。なお、図12(a)及び図12(b)にあっては、被写体切り抜き画像P23の明るさを画像上のドット数で表し、ドット数が少ないほど明るい画像を表すものとする。
即ち、撮像条件取得部8eによって取得された光源Lの位置情報のみに基づいて、被写体切り抜き画像P23と背景用画像P21とを合成しても良い。
【0091】
このとき、被写体切り抜き画像P23の合成位置と光源Lの位置情報に基づいて、被写体切り抜き画像P23の影を付して合成しても良い。例えば、光源Lの位置に応じて被写体切り抜き画像P23の影の向きを変更して合成する。
さらに、光源Lの位置に対する相対的な被写体切り抜き画像P23の合成位置に従って、合成位置が近くなる程影が濃くなるように影の濃度を変更しても良い。
【0092】
従って、背景用画像P21中の光源Lの位置情報を取得して、当該光源Lの位置情報と、背景用画像P21における被写体切り抜き画像P23の合成位置に基づいて、被写体切り抜き画像P23の影を付してから画像合成するので、光源Lからの被写体切り抜き画像P23への光の到来方向(入射方向)を考慮して画像合成することができ、違和感のより少ない被写体合成画像P24を生成することができる。
【0093】
なお、光源として、背景用画像P1中から太陽が検出された場合には、当該光源の位置に対する被写体切り抜き画像P23の合成位置の相対的な距離に応じて被写体切り抜き画像P23の明るさを調整する処理を行う必要はなく、被写体切り抜き画像P23の影を付して合成するのが好ましい。
また、被写体切り抜き画像P23として、モーションJPEG画像を合成する場合において、被写体切り抜き画像が背景用画像内で移動することで光源Lに対する位置や合成位置の明るさが変化するときには、各画像フレーム毎に光源Lに対する位置や合成位置の明るさを取得して、当該位置や明るさに基づいて被写体切り抜き画像の明るさを変更したり、所定の向きで影を付して合成する。
【0094】
さらに、上記実施形態1、2にあっては、背景用画像P1(P11)に一の被写体切り抜き画像P3(P13)を合成するようにしたが、被写体切り抜き画像P3の合成数は適宜任意に変更することができ、複数であっても良い。かかる場合には、全ての被写体切り抜き画像P3、…と背景用画像P1とが違和感を生じさせないように所定の画像処理や回転処理等を行うのが好ましい。
また、背景用画像生成処理を行った後、被写体切り抜き処理を行うようにしたが、これらの処理の順番は逆であっても良い。
【0095】
また、画像合成モードを指定した後に、ユーザ所望の背景用画像や被写体切り抜き画像を撮像して、撮像された背景用画像や被写体切り抜き画像を画像合成するようにしても良い。例えば、予め所定の背景用画像を撮像条件と関連付けて記録媒体9に記録しておき、画像合成モードを指定した後に、当該背景用画像と合成される所望の被写体切り抜き画像を撮像し、その際の明るさやコントラスト等の撮像条件を取得して互いの撮像条件を近付けるように画像処理を施すようにしても良い。また、同様に、背景用画像における被写体切り抜き画像の合成領域の明るさを取得しておき、画像合成モードを指定した後に、当該背景用画像と合成される所望の被写体切り抜き画像を撮像し、その画像の明るさを取得して互いの明るさを近付けるように画像処理を施すようにしても良い。また、同様に、背景用画像における光源の位置を特定しておき、画像合成モードを指定した後に、当該背景用画像と合成される所望の被写体切り抜き画像を撮像し、その画像に対して背景用画像における光源の位置及び被写体切り抜き画像の合成位置に基づいて画像処理を施すようにしても良い。
【0096】
さらに、撮像装置100、200の構成は、上記実施形態1、2に例示したものは一例であり、これに限られるものではない。即ち、画像処理装置として、撮像装置を例示したが、これに限られるものではない。例えば、背景用画像、被写体切り抜き画像の生成は、当該撮像装置100、200とは異なる撮像装置にて行い、この撮像装置から転送された画像データや撮像条件のみを記録して、合成画像生成処理のみを実行する画像処理装置であっても良い。
【0097】
加えて、上記実施形態にあっては、CPU13の制御下にて、画像処理部8の撮像条件取得部8eや画像合成部8gが駆動することにより本発明が実現される構成としたが、これに限られるものではなく、CPU13によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、指示処理ルーチン、画像処理処理ルーチン及び合成処理ルーチンを含むプログラム、或いは領域指示処理ルーチン、明るさ取得処理ルーチン及び合成処理ルーチンを含むプログラム、或いは特定処理ルーチン、位置指示処理ルーチン及び合成処理ルーチンを含むプログラムを記憶しておく。そして、指示処理ルーチンによりCPU13に、記録媒体9に複数記憶されている画像同士の合成を指示させるようにしても良い。また、画像処理処理ルーチンによりCPU13に、合成が指示された画像に夫々関連付けられた撮像条件を記録媒体9より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理させるようにしても良い。また、合成処理ルーチンによりCPU13に、画像処理された他方の画像と一方の画像とを合成させるようにしても良い。
また、領域指示処理ルーチンによりCPU13に、少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示させるようにしても良い。また、明るさ取得処理ルーチンによりCPU13に、指示された一方の画像の合成すべき領域の明るさを取得させるようにしても良い。また、合成処理ルーチンによりCPU13に、他方の画像の明るさが、取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、二つの画像を合成させるようにしても良い。
また、特定処理ルーチンによりCPU13に、少なくとも二つの画像において、一方の画像における光源の位置を特定させるようにしても良い。また、位置指示処理ルーチンによりCPU13に、一方の画像において、他方の画像を合成すべき位置を指示させるようにしても良い。また、合成処理ルーチンによりCPU13に、指示された位置と一方の画像の光源の位置とに基づいて他方の画像に処理を施し、二つの画像を合成させるようにしても良い。
【符号の説明】
【0098】
100、200 撮像装置
1 レンズ部
2 電子撮像部
3 撮像制御部
3a 傾き検出部
8 画像処理部
8e 撮像条件取得部
8f 撮像条件判定部
8g 画像合成部
9 記録媒体
11 表示部
13 CPU
【特許請求の範囲】
【請求項1】
画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記憶手段と、
この記憶手段に複数記憶されている画像同士の合成を指示する指示手段と、
この指示手段によって合成が指示された画像に夫々関連付けられた撮像条件を前記記憶手段より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理する画像処理手段と、
この画像処理手段によって処理された前記他方の画像と前記一方の画像とを合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記指示手段によって合成が指示された画像に夫々関連付けられた撮像条件が略一致するか否かを判定する判定手段を更に備え、
前記画像処理手段は、この判定手段によって撮像条件が略一致しないと判定された場合に、一方の画像の撮像条件に近づくように他方の画像を処理することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記撮像条件は、前記画像の撮影時のコントラスト及び色調のうち、少なくとも一方を含むことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記撮像条件は、前記画像の撮像時におけるこの画像の水平面に対する傾きを含み、
前記画像処理手段は、この水平面の傾きを示す情報を前記記憶手段より読み出し、一方の画像の傾きに近づくように他方の画像の傾きを変化させることを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項5】
撮像手段と、
この撮像手段による撮像時の撮像条件を取得する撮像条件取得手段と、
前記撮像手段によって撮像された画像と前記撮像条件取得手段によって取得された撮像条件とを関連付けて前記記憶手段に記憶するよう制御する記憶制御手段と、
を更に備えたことを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。
【請求項6】
少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示する領域指示手段と、
この領域指示手段によって指示された一方の画像の合成すべき領域の明るさを取得する明るさ取得手段と、
前記他方の画像の明るさが、前記明るさ取得手段によって取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、前記二つの画像を合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項7】
少なくとも二つの画像において、一方の画像における光源の位置を特定する特定手段と、
前記一方の画像において、他方の画像を合成すべき位置を指示する位置指示手段と、
前記一方の画像の光源の位置と前記位置指示手段によって指示された位置とに基づいて前記他方の画像に処理を施し、前記二つの画像を合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項8】
前記処理は、前記他方の画像の明るさを調整する処理、及び、前記他方の画像に影を付ける処理の少なくとも一方を含むことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記他方の画像とは、背景と被写体とが存在する画像から被写体が含まれる領域を切り抜いた被写体画像であることを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
【請求項10】
画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記憶手段を備える画像処理装置のコンピュータを、
前記記憶手段に複数記憶されている画像同士の合成を指示する指示手段、
この指示手段によって合成が指示された画像に夫々関連付けられた撮像条件を前記記憶手段より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理する画像処理手段、
この画像処理手段によって処理された前記他方の画像と前記一方の画像とを合成する合成手段、
として機能させることを特徴とするプログラム。
【請求項11】
画像処理装置のコンピュータを、
少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示する領域指示手段、
この領域指示手段によって指示された一方の画像の合成すべき領域の明るさを取得する明るさ取得手段、
前記他方の画像の明るさが、前記明るさ取得手段によって取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、前記二つの画像を合成する合成手段、
として機能させることを特徴とするプログラム。
【請求項12】
画像処理装置のコンピュータを、
少なくとも二つの画像において、一方の画像における光源の位置を特定する特定手段、
前記一方の画像において、他方の画像を合成すべき位置を指示する位置指示手段、
前記一方の画像の光源の位置と前記位置指示手段によって指示された位置とに基づいて前記他方の画像に処理を施し、前記二つの画像を合成する合成手段、
として機能させることを特徴とするプログラム。
【請求項1】
画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記憶手段と、
この記憶手段に複数記憶されている画像同士の合成を指示する指示手段と、
この指示手段によって合成が指示された画像に夫々関連付けられた撮像条件を前記記憶手段より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理する画像処理手段と、
この画像処理手段によって処理された前記他方の画像と前記一方の画像とを合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記指示手段によって合成が指示された画像に夫々関連付けられた撮像条件が略一致するか否かを判定する判定手段を更に備え、
前記画像処理手段は、この判定手段によって撮像条件が略一致しないと判定された場合に、一方の画像の撮像条件に近づくように他方の画像を処理することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記撮像条件は、前記画像の撮影時のコントラスト及び色調のうち、少なくとも一方を含むことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記撮像条件は、前記画像の撮像時におけるこの画像の水平面に対する傾きを含み、
前記画像処理手段は、この水平面の傾きを示す情報を前記記憶手段より読み出し、一方の画像の傾きに近づくように他方の画像の傾きを変化させることを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項5】
撮像手段と、
この撮像手段による撮像時の撮像条件を取得する撮像条件取得手段と、
前記撮像手段によって撮像された画像と前記撮像条件取得手段によって取得された撮像条件とを関連付けて前記記憶手段に記憶するよう制御する記憶制御手段と、
を更に備えたことを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。
【請求項6】
少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示する領域指示手段と、
この領域指示手段によって指示された一方の画像の合成すべき領域の明るさを取得する明るさ取得手段と、
前記他方の画像の明るさが、前記明るさ取得手段によって取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、前記二つの画像を合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項7】
少なくとも二つの画像において、一方の画像における光源の位置を特定する特定手段と、
前記一方の画像において、他方の画像を合成すべき位置を指示する位置指示手段と、
前記一方の画像の光源の位置と前記位置指示手段によって指示された位置とに基づいて前記他方の画像に処理を施し、前記二つの画像を合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項8】
前記処理は、前記他方の画像の明るさを調整する処理、及び、前記他方の画像に影を付ける処理の少なくとも一方を含むことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記他方の画像とは、背景と被写体とが存在する画像から被写体が含まれる領域を切り抜いた被写体画像であることを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
【請求項10】
画像とこの画像の撮像時の撮像条件とを関連付けて複数記憶する記憶手段を備える画像処理装置のコンピュータを、
前記記憶手段に複数記憶されている画像同士の合成を指示する指示手段、
この指示手段によって合成が指示された画像に夫々関連付けられた撮像条件を前記記憶手段より読み出し、一方の画像の撮像条件に近づくように他方の画像を処理する画像処理手段、
この画像処理手段によって処理された前記他方の画像と前記一方の画像とを合成する合成手段、
として機能させることを特徴とするプログラム。
【請求項11】
画像処理装置のコンピュータを、
少なくとも二つの画像において、一方の画像における他方の画像を合成すべき領域を指示する領域指示手段、
この領域指示手段によって指示された一方の画像の合成すべき領域の明るさを取得する明るさ取得手段、
前記他方の画像の明るさが、前記明るさ取得手段によって取得された一方の画像の合成すべき領域の明るさに近づくように処理を施し、前記二つの画像を合成する合成手段、
として機能させることを特徴とするプログラム。
【請求項12】
画像処理装置のコンピュータを、
少なくとも二つの画像において、一方の画像における光源の位置を特定する特定手段、
前記一方の画像において、他方の画像を合成すべき位置を指示する位置指示手段、
前記一方の画像の光源の位置と前記位置指示手段によって指示された位置とに基づいて前記他方の画像に処理を施し、前記二つの画像を合成する合成手段、
として機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−135619(P2011−135619A)
【公開日】平成23年7月7日(2011.7.7)
【国際特許分類】
【出願番号】特願2011−66853(P2011−66853)
【出願日】平成23年3月25日(2011.3.25)
【分割の表示】特願2009−51876(P2009−51876)の分割
【原出願日】平成21年3月5日(2009.3.5)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成23年7月7日(2011.7.7)
【国際特許分類】
【出願日】平成23年3月25日(2011.3.25)
【分割の表示】特願2009−51876(P2009−51876)の分割
【原出願日】平成21年3月5日(2009.3.5)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]