画像処理装置、画像処理方法、および撮像装置
【課題】画像合成を行う際に、ＷＢモードに応じて適切なＷＢ補正を行うことができる画像処理装置、画像処理方法、および撮像装置を提供する。
【解決手段】ホワイトバランス補正処理のための設定に応じて、記録されている複数の画像データのそれぞれに対する画像ＷＢゲインを算出し（Ｓ１２５）、複数の画像データを合成して合成画像データを生成し（Ｓ１３１）、複数の画像データの合成方法と、複数の画像データのそれぞれに対応する画像ＷＢゲインと、に応じて合成画像データに対応する合成画像ＷＢゲインを算出し（Ｓ１３３）、この算出された合成画像ＷＢゲインに応じて合成画像データのホワイトバランス補正を行う（Ｓ１３７、Ｓ９３）。
【解決手段】ホワイトバランス補正処理のための設定に応じて、記録されている複数の画像データのそれぞれに対する画像ＷＢゲインを算出し（Ｓ１２５）、複数の画像データを合成して合成画像データを生成し（Ｓ１３１）、複数の画像データの合成方法と、複数の画像データのそれぞれに対応する画像ＷＢゲインと、に応じて合成画像データに対応する合成画像ＷＢゲインを算出し（Ｓ１３３）、この算出された合成画像ＷＢゲインに応じて合成画像データのホワイトバランス補正を行う（Ｓ１３７、Ｓ９３）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像等の複数の画像を合成する画像処理装置、画像処理方法、および撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の画像処理装置では、複数のＪＰＥＧ画像やＲＡＷ画像に係数を乗じて輝度を調節してから加算することで合成し、１つの画像に複数のシーンが写ったような画像を生成する画像合成（多重露出ともいう）機能が搭載されているものがある。
【０００３】
例えば、特許文献１には、ＪＰＥＧ画像などの画像処理された画像を用いて合成する場合、画像処理前の画像に変換して合成し、再度、画像処理を行うことにより、ガンマ変換などの影響を排除した画像合成装置が開示されている。また、特許文献２には、ＲＡＷ画像に対して予めホワイトバランス（以下、「ＷＢ」と称す）補正を行った画像データを合成することで、異なる光源かで撮影されたＲＡＷ画像を合成する場合であっても、ＷＢが補正された画像合成を可能にした画像処理装置が開示されている。
【０００４】
デジタルカメラのような撮影装置においては、撮影時の光源を自動的に推定し、ＷＢを適切に補正するオートホワイトバランス（ＡＷＢ）モードや、ユーザが光源に合わせてモードを選択するプリセットＷＢモード、特定の被写体にＷＢをあわせるワンタッチＷＢモードなどの様々なＷＢモードが搭載され、ユーザが選択したＷＢモードに応じてＷＢ補正を行っている。
【０００５】
ユーザは撮影時の光源に適したＷＢモードやＡＷＢモードを選択することで、無彩色（白色や灰色）の被写体のＷＢがとれた写真を撮影することができる。また、意図的に異なるＷＢモードを選択することで、無彩色の被写体に色彩をつけることもできる。このように、ＷＢモードの設定次第で写真の色味を変えることができ、写真に対する印象を変えることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３８００１９２号公報
【特許文献２】特開２０１０−１２４４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述の特許文献１や特許文献２に開示の画像合成では、合成した画像データを画像処理する際に、複数のＷＢモードのそれぞれに対してどのようなＷＢゲインを用いてＷＢ補正するべきかについて何ら示唆されていない。そのため、合成した画像データのＷＢを変更して画像処理を行う場合、どのようなＷＢゲインを用いてＷＢ補正するのが適切であるかが分からなかった。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、画像合成を行う際に、ＷＢモードに応じて適切なＷＢ補正を行うことができる画像処理装置、画像処理方法、および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる画像処理装置は、複数の合成用画像データを合成し、合成画像データを生成する画像合成部と、ホワイトバランス補正処理のための設定を行うＷＢ設定部と、上記ＷＢ設定部の設定に応じて、上記複数の合成用画像データのそれぞれに対するＷＢゲインを算出する画像ＷＢゲイン算出部と、上記画像合成部における合成方法と、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対するＷＢゲインを算出する合成画像ＷＢゲイン算出部と、ＷＢゲインに応じて画像データのホワイトバランス補正を行うＷＢ補正部と、を具備し、上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを用いて、上記合成画像データに対するホワイトバランス補正を行う。
【００１０】
第２の発明に係わる画像処理装置は、上記第１の発明において、上記画像合成部は、上記複数の合成用画像データに対する合成時の合成係数を設定する合成係数設定部を含み、上記画像合成部は、上記合成係数に応じ上記複数の合成用画像データを合成して合成画像データを生成し、上記合成画像ＷＢゲイン算出部は、上記合成係数と、上記画像ＷＢゲイン算出部で算出された上記複数の画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対する合成画像ＷＢゲインを算出する。
【００１１】
第３の発明に係わる画像処理装置は、上記第２の発明において、上記画像合成部は、画像データに対し所定の値を乗じる乗算部と、複数の画像データを加算する加算部を含み、上記乗算部は、上記複数の合成用画像データに対し上記合成係数を乗じて複数の中間画像データを生成し、上記加算部は、上記複数の中間画像データを加算することで、上記合成画像データを生成し、上記合成画像ＷＢゲイン算出部は、上記合成係数に応じ、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインの加重平均を算出することで、上記合成画像データに対する合成画像ＷＢゲインを算出する。
【００１２】
第４の発明に係わる画像処理装置は、上記第１ないし第３の発明において、上記ＷＢ補正部は、上記複数の画像データのそれぞれに対し、少なくともホワイトバランス補正処理を行った複数の画像データを上記複数の合成用画像データとして上記画像合成部に入力させ、上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを所定の値で除算した換算合成画像ＷＢゲインを用いて、上記合成画像データデータに対するホワイトバランス補正を行う。
【００１３】
第５の発明に係わる画像処理装置は、上記第４の発明において、上記ＷＢ設定部は、少なくとも晴天に対するＷＢモードを含み、上記所定の値は、上記晴天に対するＷＢモードに対して上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢである。
【００１４】
第６の発明に係わる画像処理装置は、上記第１ないし第５の発明において、上記ＷＢ設定部で設定可能なＷＢモードの少なくとも１つ以上に対し算出された上記合成画像データに対する合成画像ＷＢゲインまたは換算合成画像ＷＢゲインと、上記合成画像データと、を同一のファイルとして保存する画像データ記録部をさらに具備する。
【００１５】
第７の発明に係わる画像処理方法は、撮影により得られる、または記録されている複数の画像データを合成して合成画像データを生成し、ホワイトバランス補正処理のための設定に応じて、上記複数の画像データのそれぞれに対する画像ＷＢゲインを算出し、上記複数の画像データの合成方法と、上記複数の画像データのそれぞれに対応する画像ＷＢゲインと、に応じて上記合成画像データに対応する合成画像ＷＢゲインを算出し、該合成画像ＷＢゲインに応じて上記合成画像データのホワイトバランス補正を行う。
【００１６】
第８の発明に係わる撮像装置は、被写体像を撮像して撮像データを生成する撮像部と、上記撮像部の出力する撮像データを画像処理して画像データを作成し記録を行う画像作成・記録部と、複数の合成用画像データを合成し、合成画像データを生成する画像合成部と、ホワイトバランス補正処理のための設定を行うＷＢ設定部と、上記ＷＢ設定部の設定に応じて、上記複数の合成用画像データのそれぞれに対するＷＢゲインを算出する画像ＷＢゲイン算出部と、上記画像合成部における合成方法と、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対するＷＢゲインを算出する合成画像ＷＢゲイン算出部と、ＷＢゲインに応じて画像データのホワイトバランス補正を行うＷＢ補正部と、を具備し、上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを用いて、上記合成画像データに対するホワイトバランス補正を行う。
【発明の効果】
【００１７】
本発明によれば、合成前の画像データのそれぞれに対して算出されたＷＢゲインを用いて、合成後の画像データを画像処理するときのＷＢゲインを算出するようにしている。このため、合成後の画像データを画像処理するときに、設定されたＷＢモードに応じて適切なＷＢ補正を行うことができ、ＷＢモードに応じて印象の異なる写真を生成することができる画像処理装置、画像処理方法、および撮像装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるデジタルカメラのメイン動作を示すフローチャートである。
【図３】本発明の第１実施形態に係わるデジタルカメラの静止画撮影・画像処理の動作を示すフローチャートである。
【図４】本発明の第１実施形態に係わるデジタルカメラの動画撮影・画像処理の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係わるデジタルカメラの現像処理の動作を示すフローチャートである。
【図６】本発明の第１実施形態に係わるデジタルカメラの画像合成の動作を示すフローチャートである。
【図７】本発明の第１実施形態に係わるデジタルカメラのＲＡＷ編集の動作を示すフローチャートである。
【図８】本発明の第２実施形態に係わるデジタルカメラの画像合成の動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００２０】
図１は、本発明の第１実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。
【００２１】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）９９９を有する。
【００２２】
撮影レンズ２０１は、被写体像を形成するための光学レンズであって、単焦点レンズまたはズームレンズで構成される。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１の通過した被写体光束を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。このドライバ２０５は、絞り２０４の口径の制御も行う。
【００２３】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ９９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２４】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ９９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２５】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のレンズシャッタまたはフォーカルプレーンシャッタが採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２６】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有し、さらにその３つのラインを垂直方向にも交互に配置することで構成されている。
【００２７】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１０９に出力する。
【００２８】
バス１０９は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１０９は、前述のＡ／Ｄ変換部１０７の他、画像処理部１１１、ＡＥ処理部１１３、ＡＦ処理部１１５、画像圧縮展開部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶（以後、ＬＣＤという）ドライバ１３３が接続されている。
【００２９】
バス１０９に接続された画像処理部１１１は、オプティカルブラック減算部（以下、ＯＢ減算部という）１１１ａ、ホワイトバランス補正部（以後、ＷＢ補正部という）１１１ｂ、同時化処理部１１１ｃ、ガンマ・色再現処理部１１１ｄ、カラーマトリックス演算部１１１ｅ、エッジ強調処理部１１１ｆ、ノイズリダクション処理部（以後、ＮＲ処理部という）１１１ｇを含み、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。
【００３０】
ＯＢ減算部１１１ａは、オプティカルブラック減算処理を行う。このオプティカルブラック減算処理では、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値を減算する。
【００３１】
ＷＢ補正部１１１ｂは、画像データに対して、ホワイトバランス補正を行う。ホワイトバランス補正は、さまざまな色温度の光源のもとで、白色を正確に白く映し出すように補正する。晴天、曇天、日陰、電球、蛍光灯などの光源モードをユーザが設定するか、若しくはカメラ側で自動的にホワイトバランス補正量を算出するオートホワイトバランスモード、水中ホワイトバランスモードを選択するので、この設定されたモードに応じて、画像データに対してホワイトバランス補正を行う。水中ホワイトバランスモードは、水中において水深や天候など様々な要因で変化する水中の色味を自動的に検出し、ホワイトバランス補正量を自動的に算出するモードである。
【００３２】
同時化処理部１１１ｃは、ベイヤー配列の下で取得された画像データに対して、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化処理を行う。ガンマ・色再現処理部１１１ｄは、ガンマ補正処理、および画像の色味を変化させる色再現処理を行う。カラーマトリクス演算部１１１ｅは、画像データに対してカラーマトリックスを乗じる線形変換を行って画像データの色を補正する。エッジ強調処理部１１１ｆは、画像データからエッジを抽出し、画像データのエッジを強調するエッジ強調を行う
【００３３】
ＮＲ処理部１１１ｇは、高周波を低減するフィルタを用いたり、またコアリング処理等により、画像データのノイズを低減する処理を行う。画像処理部１１１は、必要に応じて、各部１１１ａ〜１１１ｇを選択し各処理を行い、画像処理を施された画像データは、バス１０９を介してＳＤＲＡＭ１２７に一時記憶される。
【００３４】
ＡＥ処理部１１３は、被写体輝度を測定し、バス１０９を介してマイクロコンピュータ１２１に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、撮像素子１０３の出力に基づく画像データに基づいて被写体輝度を算出する。ＡＦ処理部１１５は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１０９を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。
【００３５】
画像圧縮展開部１１７は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式等の各種圧縮方式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ１２７に一旦記憶する。マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、この作成したＪＰＥＧファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００３６】
また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているＪＰＥＧファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００３７】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ９９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３８】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００３９】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４０】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。
【００４１】
メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、カメラの各種モードの設定が可能であり、例えば、晴天、曇天、日陰、電球、蛍光灯等のホワイトバランスモードや、オートホワイトバランス、水中オートホワイトバランス等のホワイトバランスモードの設定を行うことができる。また、メニュー画面において、画像合成およびＲＡＷ編集を設定することができる。
【００４２】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、被写体輝度に対して適正露光となる露出制御値（ＩＳＯ感度、絞り値、シャッタ速度）の組合せを示すテーブル（露出条件決定テーブル）、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。
【００４３】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１１１や画像圧縮展開部１１７等において処理された画像データを一時記憶する。
【００４４】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、カメラ本体に脱着可能なメモリであるが、ハードディスク等、カメラ本体に内蔵のメモリであってもよい。
【００４５】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮展開部１１７によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮展開部１１７によって伸張処理を施した後に表示する。また、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００４６】
次に、図２に示すメインのフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、記録中フラグをオフに初期化する（Ｓ１１）。この記録中フラグは、動画の記録中であるか否かを示すフラグであり、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。
【００４７】
記録中フラグをオフに初期化すると、次に、再生釦が押されたか否かを判定する（Ｓ１３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生モードを実行する（Ｓ１５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字釦を操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。確定された画像が動画の場合には、時系列的に先頭フレームから順次動画再生を行う。確定された画像が静止画の場合には、確定した静止画を表示する。
【００４８】
ステップＳ１５において再生を行うと、またはステップＳ１３における判定の結果、再生釦が押されていなかった場合には、次に、画像合成が選択されたか否かを判定する（Ｓ１７）。画像合成は、記録媒体１３１に複数のＲＡＷデータが記録されている場合に、メニュー画面で設定可能である。この判定の結果、画像合成が選択されていた場合には、画像合成を行う（Ｓ１９）。画像合成は、選択された複数のＲＡＷデータを合成して、あたかも多重露出写真のような画像を生成する。ここでＲＡＷデータは、撮像素子１０３から読み出し、画像処理前の同時化されていない画像データである。この画像合成の詳しい動作については、図６を用いて後述する。
【００４９】
ステップＳ１９において画像合成を行うと、またはステップＳ１７における判定の結果、画像合成が選択されていなかった場合には、次に、ＲＡＷ編集が選択されたか否かを判定する（Ｓ２１）。ＲＡＷ編集は、記録媒体１３１にＲＡＷデータが記録されている場合に、メニュー画面において設定可能である。
【００５０】
ステップＳ２１における判定の結果、ＲＡＷ編集が選択されていた場合には、ＲＡＷ編集を行う（Ｓ２３）。ＲＡＷ編集は、ＲＡＷデータを画像処理してＪＰＥＧファイルを作成する。このＲＡＷ編集の詳しい動作については、図７を用いて後述する。
【００５１】
ステップＳ２３においてＲＡＷ編集を行うと、またはステップＳ２１における判定の結果、ＲＡＷ編集が選択されていなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ２５）。このステップでは、操作部１２３において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。
【００５２】
ステップＳ２５における判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ２７）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００５３】
ステップＳ２７において記録中フラグの反転を行うと、またはステップＳ２５における判定の結果、動画釦が押されていなかった場合には、次に、動画の記録中か否かの判定を行う（Ｓ３１）。記録中フラグが動画の記録状態を示しているので、このステップでは、記録中フラグがオンであるか否かの判定を行う。
【００５４】
ステップＳ３１における判定の結果、動画記録中でなかった場合には、次に、ファーストレリーズが押されたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに変化した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００５５】
ステップＳ３３における判定の結果、ファーストレリーズが押され、オフからファーストレリーズに遷移した場合には、ＡＥ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１３によって、撮像素子１０３によって取得された画像データに基づいて被写体輝度を測光し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００５６】
ＡＥ動作を行うと、次に、ＡＦ（オートフォーカス）動作を実行する（Ｓ３７）。ここでは、ＡＦ処理部１１５によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを１回行う。
【００５７】
ステップＳ３３における判定の結果、ファーストレリーズがオフからオンに遷移しなかった場合には、セカンドレリーズが押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオンであるか否かの判定を行う（Ｓ３７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００５８】
ステップＳ３９における判定の結果、セカンドレリーズが押された場合には、静止画撮影およびその画像処理を行う（Ｓ４１）。ここでは、撮像素子１０３からの画像信号に基づく静止画の画像データについて画像処理および画像圧縮処理を行った後、記録媒体１３１に記録する。この静止画撮影・画像処理の詳しい動作については、図３を用いて後述する。
【００５９】
ステップＳ３１における判定の結果、動画記録中であった場合、またはステップＳ３９における判定の結果、セカンドレリーズが押されていない場合には、動画撮影および画像処理を行う（Ｓ４３）。このステップでは、動画記録中であった場合には、撮像素子１０３からの画像信号に基づく動画の画像データについて画像処理および画像圧縮を行った後、記録媒体に１３１に記録する。また、動画記録中ではない場合には、静止画撮影における被写体構図やシャッタタイミングの決定を行うためにライブビュー表示を行う。この動画撮影・画像処理の詳しい動作については、図４を用いて後述する。
【００６０】
ステップＳ３７におけるＡＦ動作を実行すると、またはステップＳ４１における静止画撮影・画像処理を実行すると、またはステップＳ４３における動画撮影・画像処理を実行すると、次に、電源オフか否かの判定を行う（Ｓ４５）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ１３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。
【００６１】
次に、ステップＳ４１における静止画撮影・画像処理について、図３を用いて説明する。静止画撮影・画像処理のフローに入ると、撮影動作を行う（Ｓ５１）。ここでは、ステップＳ３５において算出された露出制御値に基づいて、メカシャッタ１０１や絞り２０３等の制御を行い、また、撮像素子１０３の光電電流の電荷蓄積制御を行う。撮像素子１０３における露光動作が終了すると、画像信号の読み出しを行う。
【００６２】
ステップＳ５１における撮影動作が終了すると、次に、画像処理を行う（Ｓ５３）。このステップでは撮像素子１０３から読み出された画像信号に対して、画像処理部１１１において、オプティカルブラック補正、ホワイトバランス補正、同時化処理、カラーマトリックス演算等、種々の画像処理を行い、ベイヤー配列の下で得られたベイヤーデータをＹＣｂＣｒデータに変換する。なお、ＹＣｂＣｒデータへの変換に代えて、ＲＧＢデータへの変換でも構わない。この画像処理の詳しい動作については、図５を用いて後述する。
【００６３】
ステップＳ５３における画像処理が終わると、次に、ＬＣＤ表示を行う（Ｓ５５）。ここでは、ステップＳ５１において取得し、ステップＳ５３において画像処理を施した画像データに基づいて、レックビュー画像としてＬＣＤ１３５に表示する。
【００６４】
ＬＣＤ表示を行うと、次に、ＲＡＷ記録を行うか否かの判定を行う（Ｓ５７）。メニュー画面で予め、画像データの記録方式が設定されるので、ここでは設定状態に応じて判定する。なお、画像データの記録方式としては、ＪＰＥＧのみ、またはＲＡＷおよびＪＰＥＧ等がある。少なくともＲＡＷが選択されていれば、ＲＡＷ記録と判定される。したがって、ＲＡＷおよびＪＰＥＧが設定された場合には、ステップＳ５７における判定はＹｅｓとなる。なお、記録方式としては、これ以外に、ＲＡＷのみの記録モードを設けてもよい。
【００６５】
ステップＳ５７における判定の結果、ＲＡＷ記録であった場合には、次に、ＲＡＷファイルの生成を行う（Ｓ５９）。ここでは、撮像素子１０３から読み出されたベイヤーデータ（画像信号）に画像処理したＹＣｂＣｒデータを縮小したサムネール画像と、ＯＢ値と、各ＷＢモードに対応するＷＢゲインと、その他画像サイズなどの情報をヘッダとして付加して、ＲＡＷファイルを生成する。ベイヤーデータは圧縮しても問題ない。
【００６６】
ＲＡＷファイルを生成すると、次に、ＲＡＷファイルを記録する（Ｓ６１）。ここでは、ステップＳ５９において生成したＲＡＷファイルを、メモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００６７】
ステップＳ６１においてＲＡＷファイルを記録すると、またはステップＳ５７における判定の結果、ＲＡＷ記録でなかった場合には、次に、ＪＰＥＧファイル生成を行う（Ｓ６３）。このステップでは、ＹＣｂＣｒデータ形式の静止画の画像データを、画像圧縮展開部１１７によってＪＰＥＧ圧縮を行う。そして、画像サイズや撮影条件等の情報をヘッダ情報として作成し、このヘッダ情報をＪＰＥＧ圧縮された画像データに付加し、ＪＰＥＧファイルを生成する。
【００６８】
続いて、ＪＰＥＧファイルの記録を行う（Ｓ６５）。このステップでは、ステップＳ６３において生成されたＪＰＥＧファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。ＪＰＥＧファイルの記録を行うと、元のフローに戻る。
【００６９】
次に、ステップＳ４３における動画撮影・画像処理について、図４を用いて説明する。動画撮影・画像処理のフローに入ると、まず、ＡＥ処理を行う（Ｓ７１）。このステップでは、ＡＥ処理部１１３によって被写体輝度を測定し、この被写体輝度に基づいて適正露光となる露出制御値を決定する。露出制御値の決定にあたっては、動画撮影におけるＡＥ処理であることから、メカシャッタ１０１は開放のままで、露光時間の制御は電子シャッタのシャッタ速度を用い、適正露光となるシャッタ速度、絞り値やＩＳＯ感度値を決定する。これらのシャッタ速度、絞り値、ＩＳＯ感度は、被写体輝度に基づいて、フラッシュメモリ１２５に予め記録されている露出条件決定テーブルを参照して決定する。
【００７０】
次に、撮影動作を行う（Ｓ７３）。このステップでは、ステップＳ７１で算出された露出制御値に従って絞り値、電子シャッタ、およびＩＳＯ感度等の制御を行い、また、撮像素子１０３の光電電流の電荷蓄積制御を行う。１フレーム分の露光が終わると、画像信号の読み出しを行う。
【００７１】
撮影を行うと、画像処理を行う（Ｓ７５）。この画像処理は、ステップＳ５３と同様であり、ベイヤーデータを画像処理し、ＹＣｂＣｒデータに変換するが、静止画の場合と同様、ＲＧＢデータでも構わない。詳しくは、図５を用いて説明するが、動画用の画像処理であることから、パラメータ等は適宜動画に相応しい値とする。
【００７２】
画像処理を行うと、次に、ＬＣＤ表示を行う（Ｓ７７）。ここでは、ステップＳ７３で取得され、ステップＳ７５において画像処理された動画の１フレームをＬＣＤ１３５に表示する。
【００７３】
ＬＣＤに表示すると、次に、ステップＳ３１と同様に、動画記録中であるか否かの判定を行う（Ｓ７９）。このステップでは、記録中フラグがオンとなっているか否かの判定を行う。この判定の結果、動画記録中であった場合には、次に、動画ファイルの保存を行う（Ｓ８１）。ステップＳ７３で取得され、ステップＳ７５において画像処理された動画の画像データを、画像圧縮展開部１１７によって動画ファイルの形式に合わせた圧縮を行い、記録媒体１３１に記録する。なお、動画記録中でなかった場合には、静止撮影モードであることから、ステップＳ７７においてライブビュー表示を行い、ステップＳ８１はスキップする。
【００７４】
ステップＳ８１において動画ファイルへの保存を行うと、またはステップＳ７９における判定の結果、動画記録中でなかった場合には、動画撮影・画像処理のフローを終了し、元のフローに戻る。
【００７５】
次に、ステップＳ５３およびＳ７５における画像処理について、図５を用いて説明する。画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ９１）。このステップでは、ＯＢ演算部１１１ａによって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。
【００７６】
ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ９３）。このステップでは、ＷＢ補正部１１１ｂによって、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ベイヤー配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。なお、後述する画像合成の際に行われる画像処理（図６参照のＳ１３７）中のＷＢ補正においては、合成ＷＢゲインを用いて行う。また、後述するＲＡＷ編集の際に行われる画像処理（図７参照のＳ１５５）中のＷＢ補正においては、画像データのヘッダ部に記録されているＷＢゲインを用いて行う。
【００７７】
続いて、同時化処理を行う（Ｓ９５）。このステップでは、ホワイトバランス補正を行った画像データに対して、同時化処理部１１１ｃによって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。
【００７８】
同時化処理を行うと、次に、カラーマトリックス演算を行う（Ｓ９７）。このステップでは、カラーマトリックス演算部１１１ｅによって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。
【００７９】
カラーマトリックス演算を行うと、次に、ガンマ変換を行う（Ｓ９９）。このステップでは、ガンマ・色再現処理部１１１ｄによって、画像データに対して、ガンマ補正処理を行う。続いて、色補正を行う（Ｓ１０１）。このステップでは、ガンマ・色再現処理部１１１ｄによって、画像データに対して、彩度や色相の補正処理を行う。
【００８０】
色補正を行うと、次に、エッジ強調を行う（Ｓ１０３）。このステップでは、ガンマ補正および色再現処理の行われた画像データに対して、エッジ強調処理部１１１ｆが、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。
【００８１】
エッジ強調を行うと、次に、ノイズ低減処理（ＮＲ）を行う（Ｓ１０５）。このステップでは、ＮＲ処理部１１１ｇによって、高周波を低減するフィルタを用いたり、またコアリング処理等により、画像データのノイズを低減させる。ノイズ低減処理を行うと、元のフローに戻る。
【００８２】
次に、ステップＳ１９における画像合成について、図６を用いて説明する。画像合成のフローに入ると、まず、ホワイトバランス（ＷＢ）モードの設定を行う（Ｓ１１１）。ここでは、メニュー画面においてユーザが設定したＷＢモードを選択する。ＷＢモードとしては、オートホワイトバランス（ＡＷＢ）、晴天、曇天、日陰、電球、蛍光灯、水中オート等のモードがある。
【００８３】
ＷＢモードの設定を行うと、次に、ＲＡＷファイルの選択を行う（Ｓ１１３）。記録媒体１３１に記録されているＲＡＷファイルのサムネールを、ＲＡＷファイル一覧として、ＬＣＤ１３５に表示する。ユーザは、Ｎ個（Ｎ≧２）のＲＡＷファイルを十字釦とＯＫ釦を操作することにより選択する。
【００８４】
ＲＡＷファイルの選択を行うと、次に、合成係数自動設定か否かを判定する（Ｓ１１５）。合成係数は、２以上の画像を合成する際、各画像がどの程度、強く現われるかを設定するための係数である。自動設定は、この合成係数を自動的に設定するものであり、本実施形態においては、各画像が等分の比となるようにしている。
【００８５】
ステップＳ１１５における判定の結果、合成係数が自動設定であった場合には、合成係数を１／Ｎに設定する（Ｓ１１７）。自動設定の場合には、選択した全てのＲＡＷファイルに対して１／Ｎを係数として設定する。もちろん、１／Ｎ以外の数値でもよく、また、画像ごとに異なる係数を自動的に設定するようにしても構わない。
【００８６】
一方、ステップＳ１１５における判定の結果、合成係数が自動設定でなかった場合には、合成係数をユーザ設定とする（Ｓ１１９）。ここでは、係数設定用の画面をＬＣＤ１３５に表示し、ユーザが各ＲＡＷファイルに対する係数（Ｋｉ＞０、１≦ｉ≦Ｎ、ｉ整数）を設定する。
【００８７】
ステップＳ１１７またはＳ１１９において、合成係数の設定を行うと、次に、ステップＳ１２１からＳ１２９において、ｉを１からＮまで順次、変更しながら、演算を行う。まず、ＲＡＷ読み込みを行う（Ｓ１２３）。ここでは、ｉ番目に選択したＲＡＷファイルのＲＡＷデータを、記録媒体１３１から読み出す。
【００８８】
ｉ番目のＲＡＷデータを読み出すと、次に、読み出されたＲＡＷデータにおける、ＷＢゲインの算出を行う（Ｓ１２５）。設定されたＷＢモードに応じて、ｉ番目のＲＡＷデータに対応するＷＢゲイン（ＲＧｉ：Ｒゲイン、ＢＧｉ：Ｂゲイン）を算出する。ＲＡＷファイルと一緒に各ＷＢモードに対応するＷＢゲインが記録媒体１３１に記録されている場合には、ＲＡＷファイルのヘッダからＷＢゲインを取得するようにしてもよい。
【００８９】
ＷＢゲインの算出を行うと、次に、係数乗算を行う（Ｓ１２７）。ここでは、ステップＳ１１７またはステップＳ１１９において設定した合成係数Ｋｉを、ＲＡＷデータに乗算する。すなわち、ＲＡＷデータは、各画素からの生データであり、それぞれの各画素の値に対して合成係数Ｋｉを乗算する。
【００９０】
係数乗算を行うと、次に、変数ｉが選択ＲＡＷファイル数Ｎに達したかを判定する（Ｓ１２９）。この判定の結果、変数ｉがＮに達していなかった場合には、変数ｉに１を加算して、ステップＳ１２１に戻り、前述の演算等を繰り返す。
【００９１】
ステップＳ１２９において変数ｉがＮに達すると、次に、加算を行う（Ｓ１３１）。ここでは、ＲＡＷファイルの同一の画素（ベイヤーデータ）ごとに、ステップＳ１２７において係数乗算された画素データを加算する。
【００９２】
加算を行うと、次に、合成ＷＢゲインを算出する（Ｓ１３３）。ここでは、各ＲＡＷファイルに対応するＷＢゲインの加重平均を算出する。ＲゲインをＲＧ、ＢゲインをＢＧとすると、下記の（１）（２）式
ＲＧ＝Σ（Ｋｉ×ＲＧｉ）／Σ（Ｋｉ） （１）
ＢＧ＝Σ（Ｋｉ×ＢＧｉ）／Σ（Ｋｉ） （２）
により求める。
【００９３】
合成ＷＢゲインを算出すると、次に、ＯＢ値算出を行う（Ｓ１３５）。ここでは、各ＲＡＷデータのＯＢ値を示すＯＢｉを読み込み、合成画像に対するＯＢ値を下記の（３）式で算出する。
ＯＢ＝Σ（Ｋｉ×ＯＢｉ） （３）
【００９４】
ＯＢ値を算出すると、画像処理を行う（Ｓ１３７）。ここでは、ステップＳ１３１において合成したデータと、ステップＳ１３３において加重平均により算出したＷＢゲインと、ステップＳ１３５において算出したＯＢ値を用いて画像処理を行う。この画像処理は、図５を用いて説明したフローと同じであるので、詳しい説明は省略する。
【００９５】
画像処理を行うと、次に、ステップＳ５７と同様に、ＲＡＷ記録か否かの判定を行う（Ｓ１３９）。この判定の結果、ＲＡＷ記録であった場合には、ＲＡＷファイルの生成を行う（Ｓ１４１）。ここでのＲＡＷファイルの生成にあたっては、ステップＳ１３５において算出したＯＢ値を、またステップＳ１３１においてベイヤーデータとして合成した画像データを生成する。また、各ＷＢゲインは、ステップＳ１３３において算出した方法と同じ方法で算出されたＷＢゲインを生成する。ＲＡＷファイルを生成すると、ここで生成されたＲＡＷファイルを記録媒体１３１に記録する（Ｓ１４３）。
【００９６】
ステップＳ１４３においてＲＡＷファイルを記録すると、またはステップＳ１３９における判定の結果、ＲＡＷ記録がない場合には、次に、ステップＳ６３と同様に、ＪＰＥＧファイルを生成する（Ｓ１４５）。続いて、生成ＪＰＥＧファイルを記録日値１３１に記録する（Ｓ１４７）。ＪＰＥＧファイルを記録すると、元のフローに戻る。
【００９７】
このように、本実施形態における画像合成のフローにおいては、合成するための複数のＲＡＷファイルが選択されると（Ｓ１１３）、ＲＡＷデータごとに、設定されたＷＢモードに応じてＷＢゲインを算出、またはヘッダから取得し（Ｓ１２５）、合成したＲＡＷデータに対応する合成ＷＢゲインを算出し（Ｓ１３３）、画像処理にあたっては（Ｓ１３７）、合成ＷＢゲインを用いて画像処理を行うようにしている（Ｓ９３）。このため、画像合成を行うにあたって、ＷＢモードに応じて適切なＷＢ補正を行うことができる。
【００９８】
次に、ステップＳ２３におけるＲＡＷ編集について、図７を用いて説明する。ＲＡＷ編集のフローに入ると、まず、ステップＳ１１１と同様に、ＷＢモード設定を行う（Ｓ１５１）。続いて、ＲＡＷファイル選択を行う（Ｓ１５３）。ここでは、記録媒体１３１に記録されているＲＡＷファイルのサムネールを、ＲＡＷファイル一覧として表示する。ユーザが１個のＲＡＷファイルを十字釦とＯＫ釦を操作することにより選択する。
【００９９】
ＲＡＷファイルを選択すると、次に、選択したＲＡＷファイルの画像処理を行う（Ｓ１５５）。ここでは、選択されたＲＡＷファイルに記録されている情報を読み取り、図５に示した画像処理のフローに従って処理する。画像処理を行うと、次に、ステップＳ６３と同様に、ＪＰＥＧファイルを生成する（Ｓ１５７）。続いて、生成したＪＰＥＧファイルを記録媒体１３１に記録する（Ｓ１５９）。ＪＰＥＧファイルを記録すると、元のフローに戻る。
【０１００】
このように、本実施形態においては、ＲＡＷファイルを選択して（Ｓ１１３）、合成係数を各ＲＡＷデータに乗じて（Ｓ１２７）、加算して合成している（Ｓ１３１）。合成画像に対するＷＢゲインは、各ＲＡＷデータに対して算出したＷＢゲインを、係数の加重平均により求めている（Ｓ１３３）。このため、合成前のＲＡＷデータでＷＢモードを変えてＲＡＷ編集した場合に生成されるＪＰＥＧの色味の変化と同様の変化を、合成したＲＡＷ画像に対して行うことができる。
【０１０１】
次に、本発明の第２実施形態について、図８を用いて説明する。第１実施形態においては、各ＲＡＷデータに対して、ＷＢゲイン補正およびＯＢ減算を行うことがなかったが、第２実施形態においては、各ＲＡＷデータに対してＯＢ減算とＷＢ補正を処理行うようにしている。第２実施形態における構成は、図１に示した構成と略同様であり、また、フローチャートは図６に示した画像合成のフローを、図８に示す画像合成のフローに変更するだけであるので、異なる点を中心に説明する。
【０１０２】
本実施形態における画像合成にフローに入り、ステップＳ１１１からステップＳ１１９までは、第１実施形態において図６に示したフローと同様であることから、詳しい説明を省略する。
【０１０３】
ステップＳ１１７またはＳ１１９において合成係数の設定を行うと、次に、ステップＳ２２１からＳ２３５において、ｉを１からＮまで順次、変更しながら、演算を行う。まず、ＲＡＷ読み込みを行う（Ｓ２２３）。ここでは、ｉ番目に選択したＲＡＷファイルのＲＡＷデータを、記録媒体１３１から読み出す。
【０１０４】
ＲＡＷファイルのデータを読み込むと、次に、ＷＢゲイン算出を行う（Ｓ２２５）。ここでは、ＷＢモード設定に応じて、ｉ番目のＲＡＷデータに対応するＷＢゲイン（ＲＧｉ：Ｒゲイン、ＢＧｉ：Ｂゲイン）と、晴天に対応するＷＢゲイン（ＲＧｉ’、ＢＧｉ’）を算出する。ＲＡＷファイルと一緒に各ＷＢモードに対応するＷＢゲインが記録媒体１３１に記録されている場合には、ＲＡＷファイルのヘッダからＷＢゲインを取得するようにしてもよい。なお、本実施形態においては、晴天に対するＷＢゲインを算出しているが、晴天に限らず、他のＷＢモードに対するＷＢゲインでも構わない。
【０１０５】
ＷＢゲインを算出すると、次に、撮影時ＷＢゲインの算出を行う（Ｓ２２７）。撮影時のＷＢモード設定に応じて、ｉ番目のＲＡＷファイルに対応するＷＢゲインを算出する。ＲＡＷファイルと一緒に各ＷＢモードに対応するＷＢゲインを記録するようにし、ＲＡＷファイルのヘッダから取得するようにしてもよい。もちろん、撮影時のＷＢモードでなく、例えば、ＡＷＢなどでもよい。
【０１０６】
撮影時ＷＢゲインの算出を行うと、次に、ＯＢ減算を行う（Ｓ２２９）。ここでは、ｉ番目のＲＡＷファイルのベイヤーデータに対するＯＢ値をＲＡＷファイルから取得し、ＯＢ減算を行う。
【０１０７】
ＯＢ減算を行うと、次に、ＷＢ補正を行う（Ｓ２３１）。ここでは、ＯＢ減算されたベイヤーデータに、ステップＳ２２７において算出した撮影時ＷＢゲインを乗算することによりＷＢ補正を行う。
【０１０８】
ＷＢ補正を行うと、次に、係数乗算を行う（Ｓ２３３）。ここでは、ＷＢ補正されたベイヤーデータにステップＳ１１７またはＳ１１９において設定された合成係数Ｋｉを乗算する。
【０１０９】
係数乗算を行うと、次に、変数ｉが選択ＲＡＷファイル数Ｎに達したかを判定する（Ｓ２３５）。この判定の結果、変数ｉがＮに達していなかった場合には、変数ｉに１を加算して、ステップＳ２２１に戻り、前述の演算等を繰り返す。
【０１１０】
ステップＳ２３５において変数ｉがＮに達すると、次に、加算を行う（Ｓ２３７）。ここでは、ＲＡＷファイルの同一の画素（ベイヤーデータ）ごとに、ＯＢ減算、ＷＢ補正、および係数乗算された画素データを加算する。
【０１１１】
加算を行うと、次に、合成ＷＢゲインの算出を行う（Ｓ２３７）。ここでは、下記の（４）（５）式に基づいて、各ＲＡＷファイルに対応するＷＢゲインの加重平均を算出する。ここでは、現在のＷＢ設定モードに応じた各ＲＡＷデータに対応するＷＢゲインを合成係数で加重平均した値を、所定のＷＢ設定モード（ここでは、晴天モード）に応じた各ＲＡＷデータに対応するＷＢゲインを合成係数で加重平均した値で、除算して得られる「換算合成画像ＷＢゲイン」を算出する。
ＲＧ＝｛Σ（Ｋｉ×ＲＧｉ）／Σ（Ｋｉ）｝／｛Σ（Ｋｉ×ＲＧｉ’）／Σ（Ｋｉ）｝ （４）
ＢＧ＝｛Σ（Ｋｉ×ＢＧｉ）／Σ（Ｋｉ）｝／｛Σ（Ｋｉ×ＢＧｉ’）／Σ（Ｋｉ）｝ （５）
【０１１２】
合成ＷＢゲインを算出すると、次に、画像処理を行う（Ｓ２３９）。図５を用いて説明した画像処理のフローに基づいて行う。この画像処理にあたって、ステップＳ２３７において加算により合成したデータと、ステップＳ２３７において算出した合成ＷＢゲインを用いて行う。なお、ＯＢは既に減算して合成しているために（Ｓ２２９参照）、ここでの処理ではＯＢ値は０として行う。
【０１１３】
画像処理を行うと、次に、ステップＳ１３９と同様に、ＲＡＷ記録か否かの判定を行う（Ｓ２４１）。この判定の結果、ＲＡＷ記録であった場合には、ＲＡＷファイルの生成を行う（Ｓ２４３）。ここで、ＯＢはすでに減算して（Ｓ２２９）合成しているため（Ｓ２３７）、ＯＢ値は０とＲＡＷファイルに記録する。これ以外は、ステップＳ１４１と同様に、ＲＡＷファイルを生成する。ＲＡＷファイルを生成すると、続いて、ステップＳ１４３と同様に、ＲＡＷファイルの記録を行う（Ｓ２４５）。
【０１１４】
ＲＡＷファイルの記録を行うと、またはステップＳ２４１における判定の結果、ＲＡＷ記録でなかった場合には、次に、ステップＳ１４５と同様に、ＪＰＥＧファイルの生成を行う（Ｓ２４７）。続いて、ステップＳ１４７と同様に、ＪＰＥＧファイルの記録を行う（Ｓ２４９）。ＪＰＥＧファイルの記録が終わると、元のフローに戻る。
【０１１５】
以上説明したように、第２実施形態においては、合成時に、撮影時のＷＢゲインを乗算したＲＡＷデータを合成している（Ｓ２３１）。このため、合成画像に対するＷＢゲインは、本実施形態の例では、各ＲＡＷに対して算出したＷＢゲインを係数の加重平均したものを、同様に算出した晴天モードにおけるゲインでそれぞれ除算した値を用いている。もちろん、晴天モードに限られるものではなく、他のＷＢモードを用いてもよく、また、常に固定値を用いるようにしてもよい。
【０１１６】
合成画像は、異なるシーン撮影された画像が合成されたものであり、どのような光源下で撮影したものなのか明確ではない。しかしながら、撮影時設定に応じて、ＷＢ補正されたＲＡＷデータを合成しているため、ＷＢは適切なものとなる。そこで、本実施形態においては、合成画像は、自然光で、一般的な晴天モードでＷＢ補正された画像データとみなし、晴天モードに対応するＷＢゲインで除算したゲインを用いている。その結果、ＷＢモードの設定に応じ、色味を適切に変えることができる。
【０１１７】
以上説明したように、本発明の各実施形態においては、ＷＢ補正部１１１ｂは、操作部１２３によってＷＢの設定に応じて、合成画像ＷＢゲイン（Ｓ１３３、Ｓ２３７）を用いて、合成画像データに対するホワイトバランス補正を行うようにしている（Ｓ９３）。このため、画像合成を行う場合に、ＷＢモードに応じて適切なＷＢ補正を行うことができる。
【０１１８】
また、本発明の各実施形態においては、ＷＢ設定部で設定可能なＷＢモードの少なくとも１つ以上に対し算出された合成画像データに対する合成画像ＷＢゲインまたは換算合成画像ＷＢゲインと、上記合成画像データと、を同一のファイルとして保存するようにしている。すなわち、合成画像に対する各ＷＢモードのゲインを算出し、合成した画像データと一緒に、ＲＡＷ画像形式で記録するようにしている。このため、合成画像とＲＡＷ画像の区別なく、同じ処理で画像処理ができる。
【０１１９】
なお、本発明の各実施形態においては、ＲＡＷデータとしてベイヤーデータを用いた例について説明した。しかしながらＲＡＷデータとしては、ベイヤーデータに限らず、例えば、ホビオン（Fovion）配列された撮像素子から得られるデータであっても構わない。
【０１２０】
また、本発明の各実施形態においては、画像合成用のＲＡＷファイルを選択して合成するフローを示した。しかし、これに限らず、画像合成モードをカメラに設け、画像合成モードが選択されると、撮影して得られる複数のベイヤーデータを用いて同様の処理をしてもよい。また、撮影済みの画像に限らず、ライブビュー表示中の画像を複数選択し、この選択した画像を用いて、撮影前に画像合成を行って表示するようにしてもよい。
【０１２１】
また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１２２】
また、本発明の各実施形態においては、画像処理装置としてカメラに適用した例について説明したが、カメラ以外の画像処理装置に適用しても勿論かまわない。たとえば、撮影画像を記録媒体に格納したパーソナルコンピュータに適用することも可能である。
【０１２３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１２４】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・バス、１１１・・・画像処理部、１１１ａ・・・ＯＢ減算部、１１１ｂ・・・ＷＢ補正部、１１１ｃ・・・同時化処理部、１１１ｄ・・・ガンマ・色再現処理部、１１１ｅ・・・カラーマトリクス演算部、１１１ｆ・・・エッジ強調処理部、１１１ｇ・・・ＮＲ処理部、１１３・・・ＡＥ処理部、１１５・・・ＡＦ処理部、１１７・・・画像圧縮展開部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３５・・・ＬＣＤ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、９９９・・・Ｉ／Ｆ
【技術分野】
【０００１】
本発明は、撮影画像等の複数の画像を合成する画像処理装置、画像処理方法、および撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の画像処理装置では、複数のＪＰＥＧ画像やＲＡＷ画像に係数を乗じて輝度を調節してから加算することで合成し、１つの画像に複数のシーンが写ったような画像を生成する画像合成（多重露出ともいう）機能が搭載されているものがある。
【０００３】
例えば、特許文献１には、ＪＰＥＧ画像などの画像処理された画像を用いて合成する場合、画像処理前の画像に変換して合成し、再度、画像処理を行うことにより、ガンマ変換などの影響を排除した画像合成装置が開示されている。また、特許文献２には、ＲＡＷ画像に対して予めホワイトバランス（以下、「ＷＢ」と称す）補正を行った画像データを合成することで、異なる光源かで撮影されたＲＡＷ画像を合成する場合であっても、ＷＢが補正された画像合成を可能にした画像処理装置が開示されている。
【０００４】
デジタルカメラのような撮影装置においては、撮影時の光源を自動的に推定し、ＷＢを適切に補正するオートホワイトバランス（ＡＷＢ）モードや、ユーザが光源に合わせてモードを選択するプリセットＷＢモード、特定の被写体にＷＢをあわせるワンタッチＷＢモードなどの様々なＷＢモードが搭載され、ユーザが選択したＷＢモードに応じてＷＢ補正を行っている。
【０００５】
ユーザは撮影時の光源に適したＷＢモードやＡＷＢモードを選択することで、無彩色（白色や灰色）の被写体のＷＢがとれた写真を撮影することができる。また、意図的に異なるＷＢモードを選択することで、無彩色の被写体に色彩をつけることもできる。このように、ＷＢモードの設定次第で写真の色味を変えることができ、写真に対する印象を変えることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３８００１９２号公報
【特許文献２】特開２０１０−１２４４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述の特許文献１や特許文献２に開示の画像合成では、合成した画像データを画像処理する際に、複数のＷＢモードのそれぞれに対してどのようなＷＢゲインを用いてＷＢ補正するべきかについて何ら示唆されていない。そのため、合成した画像データのＷＢを変更して画像処理を行う場合、どのようなＷＢゲインを用いてＷＢ補正するのが適切であるかが分からなかった。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、画像合成を行う際に、ＷＢモードに応じて適切なＷＢ補正を行うことができる画像処理装置、画像処理方法、および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる画像処理装置は、複数の合成用画像データを合成し、合成画像データを生成する画像合成部と、ホワイトバランス補正処理のための設定を行うＷＢ設定部と、上記ＷＢ設定部の設定に応じて、上記複数の合成用画像データのそれぞれに対するＷＢゲインを算出する画像ＷＢゲイン算出部と、上記画像合成部における合成方法と、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対するＷＢゲインを算出する合成画像ＷＢゲイン算出部と、ＷＢゲインに応じて画像データのホワイトバランス補正を行うＷＢ補正部と、を具備し、上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを用いて、上記合成画像データに対するホワイトバランス補正を行う。
【００１０】
第２の発明に係わる画像処理装置は、上記第１の発明において、上記画像合成部は、上記複数の合成用画像データに対する合成時の合成係数を設定する合成係数設定部を含み、上記画像合成部は、上記合成係数に応じ上記複数の合成用画像データを合成して合成画像データを生成し、上記合成画像ＷＢゲイン算出部は、上記合成係数と、上記画像ＷＢゲイン算出部で算出された上記複数の画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対する合成画像ＷＢゲインを算出する。
【００１１】
第３の発明に係わる画像処理装置は、上記第２の発明において、上記画像合成部は、画像データに対し所定の値を乗じる乗算部と、複数の画像データを加算する加算部を含み、上記乗算部は、上記複数の合成用画像データに対し上記合成係数を乗じて複数の中間画像データを生成し、上記加算部は、上記複数の中間画像データを加算することで、上記合成画像データを生成し、上記合成画像ＷＢゲイン算出部は、上記合成係数に応じ、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインの加重平均を算出することで、上記合成画像データに対する合成画像ＷＢゲインを算出する。
【００１２】
第４の発明に係わる画像処理装置は、上記第１ないし第３の発明において、上記ＷＢ補正部は、上記複数の画像データのそれぞれに対し、少なくともホワイトバランス補正処理を行った複数の画像データを上記複数の合成用画像データとして上記画像合成部に入力させ、上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを所定の値で除算した換算合成画像ＷＢゲインを用いて、上記合成画像データデータに対するホワイトバランス補正を行う。
【００１３】
第５の発明に係わる画像処理装置は、上記第４の発明において、上記ＷＢ設定部は、少なくとも晴天に対するＷＢモードを含み、上記所定の値は、上記晴天に対するＷＢモードに対して上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢである。
【００１４】
第６の発明に係わる画像処理装置は、上記第１ないし第５の発明において、上記ＷＢ設定部で設定可能なＷＢモードの少なくとも１つ以上に対し算出された上記合成画像データに対する合成画像ＷＢゲインまたは換算合成画像ＷＢゲインと、上記合成画像データと、を同一のファイルとして保存する画像データ記録部をさらに具備する。
【００１５】
第７の発明に係わる画像処理方法は、撮影により得られる、または記録されている複数の画像データを合成して合成画像データを生成し、ホワイトバランス補正処理のための設定に応じて、上記複数の画像データのそれぞれに対する画像ＷＢゲインを算出し、上記複数の画像データの合成方法と、上記複数の画像データのそれぞれに対応する画像ＷＢゲインと、に応じて上記合成画像データに対応する合成画像ＷＢゲインを算出し、該合成画像ＷＢゲインに応じて上記合成画像データのホワイトバランス補正を行う。
【００１６】
第８の発明に係わる撮像装置は、被写体像を撮像して撮像データを生成する撮像部と、上記撮像部の出力する撮像データを画像処理して画像データを作成し記録を行う画像作成・記録部と、複数の合成用画像データを合成し、合成画像データを生成する画像合成部と、ホワイトバランス補正処理のための設定を行うＷＢ設定部と、上記ＷＢ設定部の設定に応じて、上記複数の合成用画像データのそれぞれに対するＷＢゲインを算出する画像ＷＢゲイン算出部と、上記画像合成部における合成方法と、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対するＷＢゲインを算出する合成画像ＷＢゲイン算出部と、ＷＢゲインに応じて画像データのホワイトバランス補正を行うＷＢ補正部と、を具備し、上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを用いて、上記合成画像データに対するホワイトバランス補正を行う。
【発明の効果】
【００１７】
本発明によれば、合成前の画像データのそれぞれに対して算出されたＷＢゲインを用いて、合成後の画像データを画像処理するときのＷＢゲインを算出するようにしている。このため、合成後の画像データを画像処理するときに、設定されたＷＢモードに応じて適切なＷＢ補正を行うことができ、ＷＢモードに応じて印象の異なる写真を生成することができる画像処理装置、画像処理方法、および撮像装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるデジタルカメラのメイン動作を示すフローチャートである。
【図３】本発明の第１実施形態に係わるデジタルカメラの静止画撮影・画像処理の動作を示すフローチャートである。
【図４】本発明の第１実施形態に係わるデジタルカメラの動画撮影・画像処理の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係わるデジタルカメラの現像処理の動作を示すフローチャートである。
【図６】本発明の第１実施形態に係わるデジタルカメラの画像合成の動作を示すフローチャートである。
【図７】本発明の第１実施形態に係わるデジタルカメラのＲＡＷ編集の動作を示すフローチャートである。
【図８】本発明の第２実施形態に係わるデジタルカメラの画像合成の動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００２０】
図１は、本発明の第１実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。
【００２１】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）９９９を有する。
【００２２】
撮影レンズ２０１は、被写体像を形成するための光学レンズであって、単焦点レンズまたはズームレンズで構成される。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１の通過した被写体光束を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。このドライバ２０５は、絞り２０４の口径の制御も行う。
【００２３】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ９９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２４】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ９９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２５】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のレンズシャッタまたはフォーカルプレーンシャッタが採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２６】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有し、さらにその３つのラインを垂直方向にも交互に配置することで構成されている。
【００２７】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１０９に出力する。
【００２８】
バス１０９は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１０９は、前述のＡ／Ｄ変換部１０７の他、画像処理部１１１、ＡＥ処理部１１３、ＡＦ処理部１１５、画像圧縮展開部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶（以後、ＬＣＤという）ドライバ１３３が接続されている。
【００２９】
バス１０９に接続された画像処理部１１１は、オプティカルブラック減算部（以下、ＯＢ減算部という）１１１ａ、ホワイトバランス補正部（以後、ＷＢ補正部という）１１１ｂ、同時化処理部１１１ｃ、ガンマ・色再現処理部１１１ｄ、カラーマトリックス演算部１１１ｅ、エッジ強調処理部１１１ｆ、ノイズリダクション処理部（以後、ＮＲ処理部という）１１１ｇを含み、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。
【００３０】
ＯＢ減算部１１１ａは、オプティカルブラック減算処理を行う。このオプティカルブラック減算処理では、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値を減算する。
【００３１】
ＷＢ補正部１１１ｂは、画像データに対して、ホワイトバランス補正を行う。ホワイトバランス補正は、さまざまな色温度の光源のもとで、白色を正確に白く映し出すように補正する。晴天、曇天、日陰、電球、蛍光灯などの光源モードをユーザが設定するか、若しくはカメラ側で自動的にホワイトバランス補正量を算出するオートホワイトバランスモード、水中ホワイトバランスモードを選択するので、この設定されたモードに応じて、画像データに対してホワイトバランス補正を行う。水中ホワイトバランスモードは、水中において水深や天候など様々な要因で変化する水中の色味を自動的に検出し、ホワイトバランス補正量を自動的に算出するモードである。
【００３２】
同時化処理部１１１ｃは、ベイヤー配列の下で取得された画像データに対して、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化処理を行う。ガンマ・色再現処理部１１１ｄは、ガンマ補正処理、および画像の色味を変化させる色再現処理を行う。カラーマトリクス演算部１１１ｅは、画像データに対してカラーマトリックスを乗じる線形変換を行って画像データの色を補正する。エッジ強調処理部１１１ｆは、画像データからエッジを抽出し、画像データのエッジを強調するエッジ強調を行う
【００３３】
ＮＲ処理部１１１ｇは、高周波を低減するフィルタを用いたり、またコアリング処理等により、画像データのノイズを低減する処理を行う。画像処理部１１１は、必要に応じて、各部１１１ａ〜１１１ｇを選択し各処理を行い、画像処理を施された画像データは、バス１０９を介してＳＤＲＡＭ１２７に一時記憶される。
【００３４】
ＡＥ処理部１１３は、被写体輝度を測定し、バス１０９を介してマイクロコンピュータ１２１に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、撮像素子１０３の出力に基づく画像データに基づいて被写体輝度を算出する。ＡＦ処理部１１５は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１０９を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。
【００３５】
画像圧縮展開部１１７は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式等の各種圧縮方式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ１２７に一旦記憶する。マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、この作成したＪＰＥＧファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００３６】
また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているＪＰＥＧファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００３７】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ９９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３８】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００３９】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４０】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。初期状態では動画未撮影状態であるので、この状態で動画釦を押すと動画の撮影を開始し、動画撮影中に動画釦を押すと、動画の撮影を終了する。従って、動画釦を押すたびに、動画の撮影開始と終了を交互に繰り返す。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。
【００４１】
メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、カメラの各種モードの設定が可能であり、例えば、晴天、曇天、日陰、電球、蛍光灯等のホワイトバランスモードや、オートホワイトバランス、水中オートホワイトバランス等のホワイトバランスモードの設定を行うことができる。また、メニュー画面において、画像合成およびＲＡＷ編集を設定することができる。
【００４２】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいて当該デジタルカメラの制御を行う。また、フラッシュメモリ１２５は、被写体輝度に対して適正露光となる露出制御値（ＩＳＯ感度、絞り値、シャッタ速度）の組合せを示すテーブル（露出条件決定テーブル）、ホワイトバランス補正を行うためのホワイトバランスゲインや、カラーマトリックス係数を記憶している。
【００４３】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１１１や画像圧縮展開部１１７等において処理された画像データを一時記憶する。
【００４４】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、カメラ本体に脱着可能なメモリであるが、ハードディスク等、カメラ本体に内蔵のメモリであってもよい。
【００４５】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮展開部１１７によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、画像圧縮展開部１１７によって伸張処理を施した後に表示する。また、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００４６】
次に、図２に示すメインのフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、記録中フラグをオフに初期化する（Ｓ１１）。この記録中フラグは、動画の記録中であるか否かを示すフラグであり、オンの場合には動画を記録中であることを示し、オフの場合には動画の記録を行っていないことを示す。
【００４７】
記録中フラグをオフに初期化すると、次に、再生釦が押されたか否かを判定する（Ｓ１３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生モードを実行する（Ｓ１５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字釦を操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。確定された画像が動画の場合には、時系列的に先頭フレームから順次動画再生を行う。確定された画像が静止画の場合には、確定した静止画を表示する。
【００４８】
ステップＳ１５において再生を行うと、またはステップＳ１３における判定の結果、再生釦が押されていなかった場合には、次に、画像合成が選択されたか否かを判定する（Ｓ１７）。画像合成は、記録媒体１３１に複数のＲＡＷデータが記録されている場合に、メニュー画面で設定可能である。この判定の結果、画像合成が選択されていた場合には、画像合成を行う（Ｓ１９）。画像合成は、選択された複数のＲＡＷデータを合成して、あたかも多重露出写真のような画像を生成する。ここでＲＡＷデータは、撮像素子１０３から読み出し、画像処理前の同時化されていない画像データである。この画像合成の詳しい動作については、図６を用いて後述する。
【００４９】
ステップＳ１９において画像合成を行うと、またはステップＳ１７における判定の結果、画像合成が選択されていなかった場合には、次に、ＲＡＷ編集が選択されたか否かを判定する（Ｓ２１）。ＲＡＷ編集は、記録媒体１３１にＲＡＷデータが記録されている場合に、メニュー画面において設定可能である。
【００５０】
ステップＳ２１における判定の結果、ＲＡＷ編集が選択されていた場合には、ＲＡＷ編集を行う（Ｓ２３）。ＲＡＷ編集は、ＲＡＷデータを画像処理してＪＰＥＧファイルを作成する。このＲＡＷ編集の詳しい動作については、図７を用いて後述する。
【００５１】
ステップＳ２３においてＲＡＷ編集を行うと、またはステップＳ２１における判定の結果、ＲＡＷ編集が選択されていなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ２５）。このステップでは、操作部１２３において、動画釦の操作状態を検知し、この検知結果に基づいて判定する。
【００５２】
ステップＳ２５における判定の結果、動画釦が押された場合には、次に、記録中フラグの反転を行う（Ｓ２７）。前述したように、動画釦は押されるたびに、動画撮影開始と終了を交互に繰り返すので、このステップでは、記録中フラグがオフであった場合にはオンに、またオンであった場合にはオフに、記録中フラグを反転させる。
【００５３】
ステップＳ２７において記録中フラグの反転を行うと、またはステップＳ２５における判定の結果、動画釦が押されていなかった場合には、次に、動画の記録中か否かの判定を行う（Ｓ３１）。記録中フラグが動画の記録状態を示しているので、このステップでは、記録中フラグがオンであるか否かの判定を行う。
【００５４】
ステップＳ３１における判定の結果、動画記録中でなかった場合には、次に、ファーストレリーズが押されたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに変化した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００５５】
ステップＳ３３における判定の結果、ファーストレリーズが押され、オフからファーストレリーズに遷移した場合には、ＡＥ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１３によって、撮像素子１０３によって取得された画像データに基づいて被写体輝度を測光し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００５６】
ＡＥ動作を行うと、次に、ＡＦ（オートフォーカス）動作を実行する（Ｓ３７）。ここでは、ＡＦ処理部１１５によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を制御する。したがって、動画記録中ではない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを１回行う。
【００５７】
ステップＳ３３における判定の結果、ファーストレリーズがオフからオンに遷移しなかった場合には、セカンドレリーズが押されたか否か、言い換えると、レリーズ釦が全押しされセカンドレリーズスイッチがオンであるか否かの判定を行う（Ｓ３７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００５８】
ステップＳ３９における判定の結果、セカンドレリーズが押された場合には、静止画撮影およびその画像処理を行う（Ｓ４１）。ここでは、撮像素子１０３からの画像信号に基づく静止画の画像データについて画像処理および画像圧縮処理を行った後、記録媒体１３１に記録する。この静止画撮影・画像処理の詳しい動作については、図３を用いて後述する。
【００５９】
ステップＳ３１における判定の結果、動画記録中であった場合、またはステップＳ３９における判定の結果、セカンドレリーズが押されていない場合には、動画撮影および画像処理を行う（Ｓ４３）。このステップでは、動画記録中であった場合には、撮像素子１０３からの画像信号に基づく動画の画像データについて画像処理および画像圧縮を行った後、記録媒体に１３１に記録する。また、動画記録中ではない場合には、静止画撮影における被写体構図やシャッタタイミングの決定を行うためにライブビュー表示を行う。この動画撮影・画像処理の詳しい動作については、図４を用いて後述する。
【００６０】
ステップＳ３７におけるＡＦ動作を実行すると、またはステップＳ４１における静止画撮影・画像処理を実行すると、またはステップＳ４３における動画撮影・画像処理を実行すると、次に、電源オフか否かの判定を行う（Ｓ４５）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ１３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。
【００６１】
次に、ステップＳ４１における静止画撮影・画像処理について、図３を用いて説明する。静止画撮影・画像処理のフローに入ると、撮影動作を行う（Ｓ５１）。ここでは、ステップＳ３５において算出された露出制御値に基づいて、メカシャッタ１０１や絞り２０３等の制御を行い、また、撮像素子１０３の光電電流の電荷蓄積制御を行う。撮像素子１０３における露光動作が終了すると、画像信号の読み出しを行う。
【００６２】
ステップＳ５１における撮影動作が終了すると、次に、画像処理を行う（Ｓ５３）。このステップでは撮像素子１０３から読み出された画像信号に対して、画像処理部１１１において、オプティカルブラック補正、ホワイトバランス補正、同時化処理、カラーマトリックス演算等、種々の画像処理を行い、ベイヤー配列の下で得られたベイヤーデータをＹＣｂＣｒデータに変換する。なお、ＹＣｂＣｒデータへの変換に代えて、ＲＧＢデータへの変換でも構わない。この画像処理の詳しい動作については、図５を用いて後述する。
【００６３】
ステップＳ５３における画像処理が終わると、次に、ＬＣＤ表示を行う（Ｓ５５）。ここでは、ステップＳ５１において取得し、ステップＳ５３において画像処理を施した画像データに基づいて、レックビュー画像としてＬＣＤ１３５に表示する。
【００６４】
ＬＣＤ表示を行うと、次に、ＲＡＷ記録を行うか否かの判定を行う（Ｓ５７）。メニュー画面で予め、画像データの記録方式が設定されるので、ここでは設定状態に応じて判定する。なお、画像データの記録方式としては、ＪＰＥＧのみ、またはＲＡＷおよびＪＰＥＧ等がある。少なくともＲＡＷが選択されていれば、ＲＡＷ記録と判定される。したがって、ＲＡＷおよびＪＰＥＧが設定された場合には、ステップＳ５７における判定はＹｅｓとなる。なお、記録方式としては、これ以外に、ＲＡＷのみの記録モードを設けてもよい。
【００６５】
ステップＳ５７における判定の結果、ＲＡＷ記録であった場合には、次に、ＲＡＷファイルの生成を行う（Ｓ５９）。ここでは、撮像素子１０３から読み出されたベイヤーデータ（画像信号）に画像処理したＹＣｂＣｒデータを縮小したサムネール画像と、ＯＢ値と、各ＷＢモードに対応するＷＢゲインと、その他画像サイズなどの情報をヘッダとして付加して、ＲＡＷファイルを生成する。ベイヤーデータは圧縮しても問題ない。
【００６６】
ＲＡＷファイルを生成すると、次に、ＲＡＷファイルを記録する（Ｓ６１）。ここでは、ステップＳ５９において生成したＲＡＷファイルを、メモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００６７】
ステップＳ６１においてＲＡＷファイルを記録すると、またはステップＳ５７における判定の結果、ＲＡＷ記録でなかった場合には、次に、ＪＰＥＧファイル生成を行う（Ｓ６３）。このステップでは、ＹＣｂＣｒデータ形式の静止画の画像データを、画像圧縮展開部１１７によってＪＰＥＧ圧縮を行う。そして、画像サイズや撮影条件等の情報をヘッダ情報として作成し、このヘッダ情報をＪＰＥＧ圧縮された画像データに付加し、ＪＰＥＧファイルを生成する。
【００６８】
続いて、ＪＰＥＧファイルの記録を行う（Ｓ６５）。このステップでは、ステップＳ６３において生成されたＪＰＥＧファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。ＪＰＥＧファイルの記録を行うと、元のフローに戻る。
【００６９】
次に、ステップＳ４３における動画撮影・画像処理について、図４を用いて説明する。動画撮影・画像処理のフローに入ると、まず、ＡＥ処理を行う（Ｓ７１）。このステップでは、ＡＥ処理部１１３によって被写体輝度を測定し、この被写体輝度に基づいて適正露光となる露出制御値を決定する。露出制御値の決定にあたっては、動画撮影におけるＡＥ処理であることから、メカシャッタ１０１は開放のままで、露光時間の制御は電子シャッタのシャッタ速度を用い、適正露光となるシャッタ速度、絞り値やＩＳＯ感度値を決定する。これらのシャッタ速度、絞り値、ＩＳＯ感度は、被写体輝度に基づいて、フラッシュメモリ１２５に予め記録されている露出条件決定テーブルを参照して決定する。
【００７０】
次に、撮影動作を行う（Ｓ７３）。このステップでは、ステップＳ７１で算出された露出制御値に従って絞り値、電子シャッタ、およびＩＳＯ感度等の制御を行い、また、撮像素子１０３の光電電流の電荷蓄積制御を行う。１フレーム分の露光が終わると、画像信号の読み出しを行う。
【００７１】
撮影を行うと、画像処理を行う（Ｓ７５）。この画像処理は、ステップＳ５３と同様であり、ベイヤーデータを画像処理し、ＹＣｂＣｒデータに変換するが、静止画の場合と同様、ＲＧＢデータでも構わない。詳しくは、図５を用いて説明するが、動画用の画像処理であることから、パラメータ等は適宜動画に相応しい値とする。
【００７２】
画像処理を行うと、次に、ＬＣＤ表示を行う（Ｓ７７）。ここでは、ステップＳ７３で取得され、ステップＳ７５において画像処理された動画の１フレームをＬＣＤ１３５に表示する。
【００７３】
ＬＣＤに表示すると、次に、ステップＳ３１と同様に、動画記録中であるか否かの判定を行う（Ｓ７９）。このステップでは、記録中フラグがオンとなっているか否かの判定を行う。この判定の結果、動画記録中であった場合には、次に、動画ファイルの保存を行う（Ｓ８１）。ステップＳ７３で取得され、ステップＳ７５において画像処理された動画の画像データを、画像圧縮展開部１１７によって動画ファイルの形式に合わせた圧縮を行い、記録媒体１３１に記録する。なお、動画記録中でなかった場合には、静止撮影モードであることから、ステップＳ７７においてライブビュー表示を行い、ステップＳ８１はスキップする。
【００７４】
ステップＳ８１において動画ファイルへの保存を行うと、またはステップＳ７９における判定の結果、動画記録中でなかった場合には、動画撮影・画像処理のフローを終了し、元のフローに戻る。
【００７５】
次に、ステップＳ５３およびＳ７５における画像処理について、図５を用いて説明する。画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ９１）。このステップでは、ＯＢ演算部１１１ａによって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。
【００７６】
ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ９３）。このステップでは、ＷＢ補正部１１１ｂによって、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ベイヤー配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。なお、後述する画像合成の際に行われる画像処理（図６参照のＳ１３７）中のＷＢ補正においては、合成ＷＢゲインを用いて行う。また、後述するＲＡＷ編集の際に行われる画像処理（図７参照のＳ１５５）中のＷＢ補正においては、画像データのヘッダ部に記録されているＷＢゲインを用いて行う。
【００７７】
続いて、同時化処理を行う（Ｓ９５）。このステップでは、ホワイトバランス補正を行った画像データに対して、同時化処理部１１１ｃによって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。
【００７８】
同時化処理を行うと、次に、カラーマトリックス演算を行う（Ｓ９７）。このステップでは、カラーマトリックス演算部１１１ｅによって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。
【００７９】
カラーマトリックス演算を行うと、次に、ガンマ変換を行う（Ｓ９９）。このステップでは、ガンマ・色再現処理部１１１ｄによって、画像データに対して、ガンマ補正処理を行う。続いて、色補正を行う（Ｓ１０１）。このステップでは、ガンマ・色再現処理部１１１ｄによって、画像データに対して、彩度や色相の補正処理を行う。
【００８０】
色補正を行うと、次に、エッジ強調を行う（Ｓ１０３）。このステップでは、ガンマ補正および色再現処理の行われた画像データに対して、エッジ強調処理部１１１ｆが、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。
【００８１】
エッジ強調を行うと、次に、ノイズ低減処理（ＮＲ）を行う（Ｓ１０５）。このステップでは、ＮＲ処理部１１１ｇによって、高周波を低減するフィルタを用いたり、またコアリング処理等により、画像データのノイズを低減させる。ノイズ低減処理を行うと、元のフローに戻る。
【００８２】
次に、ステップＳ１９における画像合成について、図６を用いて説明する。画像合成のフローに入ると、まず、ホワイトバランス（ＷＢ）モードの設定を行う（Ｓ１１１）。ここでは、メニュー画面においてユーザが設定したＷＢモードを選択する。ＷＢモードとしては、オートホワイトバランス（ＡＷＢ）、晴天、曇天、日陰、電球、蛍光灯、水中オート等のモードがある。
【００８３】
ＷＢモードの設定を行うと、次に、ＲＡＷファイルの選択を行う（Ｓ１１３）。記録媒体１３１に記録されているＲＡＷファイルのサムネールを、ＲＡＷファイル一覧として、ＬＣＤ１３５に表示する。ユーザは、Ｎ個（Ｎ≧２）のＲＡＷファイルを十字釦とＯＫ釦を操作することにより選択する。
【００８４】
ＲＡＷファイルの選択を行うと、次に、合成係数自動設定か否かを判定する（Ｓ１１５）。合成係数は、２以上の画像を合成する際、各画像がどの程度、強く現われるかを設定するための係数である。自動設定は、この合成係数を自動的に設定するものであり、本実施形態においては、各画像が等分の比となるようにしている。
【００８５】
ステップＳ１１５における判定の結果、合成係数が自動設定であった場合には、合成係数を１／Ｎに設定する（Ｓ１１７）。自動設定の場合には、選択した全てのＲＡＷファイルに対して１／Ｎを係数として設定する。もちろん、１／Ｎ以外の数値でもよく、また、画像ごとに異なる係数を自動的に設定するようにしても構わない。
【００８６】
一方、ステップＳ１１５における判定の結果、合成係数が自動設定でなかった場合には、合成係数をユーザ設定とする（Ｓ１１９）。ここでは、係数設定用の画面をＬＣＤ１３５に表示し、ユーザが各ＲＡＷファイルに対する係数（Ｋｉ＞０、１≦ｉ≦Ｎ、ｉ整数）を設定する。
【００８７】
ステップＳ１１７またはＳ１１９において、合成係数の設定を行うと、次に、ステップＳ１２１からＳ１２９において、ｉを１からＮまで順次、変更しながら、演算を行う。まず、ＲＡＷ読み込みを行う（Ｓ１２３）。ここでは、ｉ番目に選択したＲＡＷファイルのＲＡＷデータを、記録媒体１３１から読み出す。
【００８８】
ｉ番目のＲＡＷデータを読み出すと、次に、読み出されたＲＡＷデータにおける、ＷＢゲインの算出を行う（Ｓ１２５）。設定されたＷＢモードに応じて、ｉ番目のＲＡＷデータに対応するＷＢゲイン（ＲＧｉ：Ｒゲイン、ＢＧｉ：Ｂゲイン）を算出する。ＲＡＷファイルと一緒に各ＷＢモードに対応するＷＢゲインが記録媒体１３１に記録されている場合には、ＲＡＷファイルのヘッダからＷＢゲインを取得するようにしてもよい。
【００８９】
ＷＢゲインの算出を行うと、次に、係数乗算を行う（Ｓ１２７）。ここでは、ステップＳ１１７またはステップＳ１１９において設定した合成係数Ｋｉを、ＲＡＷデータに乗算する。すなわち、ＲＡＷデータは、各画素からの生データであり、それぞれの各画素の値に対して合成係数Ｋｉを乗算する。
【００９０】
係数乗算を行うと、次に、変数ｉが選択ＲＡＷファイル数Ｎに達したかを判定する（Ｓ１２９）。この判定の結果、変数ｉがＮに達していなかった場合には、変数ｉに１を加算して、ステップＳ１２１に戻り、前述の演算等を繰り返す。
【００９１】
ステップＳ１２９において変数ｉがＮに達すると、次に、加算を行う（Ｓ１３１）。ここでは、ＲＡＷファイルの同一の画素（ベイヤーデータ）ごとに、ステップＳ１２７において係数乗算された画素データを加算する。
【００９２】
加算を行うと、次に、合成ＷＢゲインを算出する（Ｓ１３３）。ここでは、各ＲＡＷファイルに対応するＷＢゲインの加重平均を算出する。ＲゲインをＲＧ、ＢゲインをＢＧとすると、下記の（１）（２）式
ＲＧ＝Σ（Ｋｉ×ＲＧｉ）／Σ（Ｋｉ） （１）
ＢＧ＝Σ（Ｋｉ×ＢＧｉ）／Σ（Ｋｉ） （２）
により求める。
【００９３】
合成ＷＢゲインを算出すると、次に、ＯＢ値算出を行う（Ｓ１３５）。ここでは、各ＲＡＷデータのＯＢ値を示すＯＢｉを読み込み、合成画像に対するＯＢ値を下記の（３）式で算出する。
ＯＢ＝Σ（Ｋｉ×ＯＢｉ） （３）
【００９４】
ＯＢ値を算出すると、画像処理を行う（Ｓ１３７）。ここでは、ステップＳ１３１において合成したデータと、ステップＳ１３３において加重平均により算出したＷＢゲインと、ステップＳ１３５において算出したＯＢ値を用いて画像処理を行う。この画像処理は、図５を用いて説明したフローと同じであるので、詳しい説明は省略する。
【００９５】
画像処理を行うと、次に、ステップＳ５７と同様に、ＲＡＷ記録か否かの判定を行う（Ｓ１３９）。この判定の結果、ＲＡＷ記録であった場合には、ＲＡＷファイルの生成を行う（Ｓ１４１）。ここでのＲＡＷファイルの生成にあたっては、ステップＳ１３５において算出したＯＢ値を、またステップＳ１３１においてベイヤーデータとして合成した画像データを生成する。また、各ＷＢゲインは、ステップＳ１３３において算出した方法と同じ方法で算出されたＷＢゲインを生成する。ＲＡＷファイルを生成すると、ここで生成されたＲＡＷファイルを記録媒体１３１に記録する（Ｓ１４３）。
【００９６】
ステップＳ１４３においてＲＡＷファイルを記録すると、またはステップＳ１３９における判定の結果、ＲＡＷ記録がない場合には、次に、ステップＳ６３と同様に、ＪＰＥＧファイルを生成する（Ｓ１４５）。続いて、生成ＪＰＥＧファイルを記録日値１３１に記録する（Ｓ１４７）。ＪＰＥＧファイルを記録すると、元のフローに戻る。
【００９７】
このように、本実施形態における画像合成のフローにおいては、合成するための複数のＲＡＷファイルが選択されると（Ｓ１１３）、ＲＡＷデータごとに、設定されたＷＢモードに応じてＷＢゲインを算出、またはヘッダから取得し（Ｓ１２５）、合成したＲＡＷデータに対応する合成ＷＢゲインを算出し（Ｓ１３３）、画像処理にあたっては（Ｓ１３７）、合成ＷＢゲインを用いて画像処理を行うようにしている（Ｓ９３）。このため、画像合成を行うにあたって、ＷＢモードに応じて適切なＷＢ補正を行うことができる。
【００９８】
次に、ステップＳ２３におけるＲＡＷ編集について、図７を用いて説明する。ＲＡＷ編集のフローに入ると、まず、ステップＳ１１１と同様に、ＷＢモード設定を行う（Ｓ１５１）。続いて、ＲＡＷファイル選択を行う（Ｓ１５３）。ここでは、記録媒体１３１に記録されているＲＡＷファイルのサムネールを、ＲＡＷファイル一覧として表示する。ユーザが１個のＲＡＷファイルを十字釦とＯＫ釦を操作することにより選択する。
【００９９】
ＲＡＷファイルを選択すると、次に、選択したＲＡＷファイルの画像処理を行う（Ｓ１５５）。ここでは、選択されたＲＡＷファイルに記録されている情報を読み取り、図５に示した画像処理のフローに従って処理する。画像処理を行うと、次に、ステップＳ６３と同様に、ＪＰＥＧファイルを生成する（Ｓ１５７）。続いて、生成したＪＰＥＧファイルを記録媒体１３１に記録する（Ｓ１５９）。ＪＰＥＧファイルを記録すると、元のフローに戻る。
【０１００】
このように、本実施形態においては、ＲＡＷファイルを選択して（Ｓ１１３）、合成係数を各ＲＡＷデータに乗じて（Ｓ１２７）、加算して合成している（Ｓ１３１）。合成画像に対するＷＢゲインは、各ＲＡＷデータに対して算出したＷＢゲインを、係数の加重平均により求めている（Ｓ１３３）。このため、合成前のＲＡＷデータでＷＢモードを変えてＲＡＷ編集した場合に生成されるＪＰＥＧの色味の変化と同様の変化を、合成したＲＡＷ画像に対して行うことができる。
【０１０１】
次に、本発明の第２実施形態について、図８を用いて説明する。第１実施形態においては、各ＲＡＷデータに対して、ＷＢゲイン補正およびＯＢ減算を行うことがなかったが、第２実施形態においては、各ＲＡＷデータに対してＯＢ減算とＷＢ補正を処理行うようにしている。第２実施形態における構成は、図１に示した構成と略同様であり、また、フローチャートは図６に示した画像合成のフローを、図８に示す画像合成のフローに変更するだけであるので、異なる点を中心に説明する。
【０１０２】
本実施形態における画像合成にフローに入り、ステップＳ１１１からステップＳ１１９までは、第１実施形態において図６に示したフローと同様であることから、詳しい説明を省略する。
【０１０３】
ステップＳ１１７またはＳ１１９において合成係数の設定を行うと、次に、ステップＳ２２１からＳ２３５において、ｉを１からＮまで順次、変更しながら、演算を行う。まず、ＲＡＷ読み込みを行う（Ｓ２２３）。ここでは、ｉ番目に選択したＲＡＷファイルのＲＡＷデータを、記録媒体１３１から読み出す。
【０１０４】
ＲＡＷファイルのデータを読み込むと、次に、ＷＢゲイン算出を行う（Ｓ２２５）。ここでは、ＷＢモード設定に応じて、ｉ番目のＲＡＷデータに対応するＷＢゲイン（ＲＧｉ：Ｒゲイン、ＢＧｉ：Ｂゲイン）と、晴天に対応するＷＢゲイン（ＲＧｉ’、ＢＧｉ’）を算出する。ＲＡＷファイルと一緒に各ＷＢモードに対応するＷＢゲインが記録媒体１３１に記録されている場合には、ＲＡＷファイルのヘッダからＷＢゲインを取得するようにしてもよい。なお、本実施形態においては、晴天に対するＷＢゲインを算出しているが、晴天に限らず、他のＷＢモードに対するＷＢゲインでも構わない。
【０１０５】
ＷＢゲインを算出すると、次に、撮影時ＷＢゲインの算出を行う（Ｓ２２７）。撮影時のＷＢモード設定に応じて、ｉ番目のＲＡＷファイルに対応するＷＢゲインを算出する。ＲＡＷファイルと一緒に各ＷＢモードに対応するＷＢゲインを記録するようにし、ＲＡＷファイルのヘッダから取得するようにしてもよい。もちろん、撮影時のＷＢモードでなく、例えば、ＡＷＢなどでもよい。
【０１０６】
撮影時ＷＢゲインの算出を行うと、次に、ＯＢ減算を行う（Ｓ２２９）。ここでは、ｉ番目のＲＡＷファイルのベイヤーデータに対するＯＢ値をＲＡＷファイルから取得し、ＯＢ減算を行う。
【０１０７】
ＯＢ減算を行うと、次に、ＷＢ補正を行う（Ｓ２３１）。ここでは、ＯＢ減算されたベイヤーデータに、ステップＳ２２７において算出した撮影時ＷＢゲインを乗算することによりＷＢ補正を行う。
【０１０８】
ＷＢ補正を行うと、次に、係数乗算を行う（Ｓ２３３）。ここでは、ＷＢ補正されたベイヤーデータにステップＳ１１７またはＳ１１９において設定された合成係数Ｋｉを乗算する。
【０１０９】
係数乗算を行うと、次に、変数ｉが選択ＲＡＷファイル数Ｎに達したかを判定する（Ｓ２３５）。この判定の結果、変数ｉがＮに達していなかった場合には、変数ｉに１を加算して、ステップＳ２２１に戻り、前述の演算等を繰り返す。
【０１１０】
ステップＳ２３５において変数ｉがＮに達すると、次に、加算を行う（Ｓ２３７）。ここでは、ＲＡＷファイルの同一の画素（ベイヤーデータ）ごとに、ＯＢ減算、ＷＢ補正、および係数乗算された画素データを加算する。
【０１１１】
加算を行うと、次に、合成ＷＢゲインの算出を行う（Ｓ２３７）。ここでは、下記の（４）（５）式に基づいて、各ＲＡＷファイルに対応するＷＢゲインの加重平均を算出する。ここでは、現在のＷＢ設定モードに応じた各ＲＡＷデータに対応するＷＢゲインを合成係数で加重平均した値を、所定のＷＢ設定モード（ここでは、晴天モード）に応じた各ＲＡＷデータに対応するＷＢゲインを合成係数で加重平均した値で、除算して得られる「換算合成画像ＷＢゲイン」を算出する。
ＲＧ＝｛Σ（Ｋｉ×ＲＧｉ）／Σ（Ｋｉ）｝／｛Σ（Ｋｉ×ＲＧｉ’）／Σ（Ｋｉ）｝ （４）
ＢＧ＝｛Σ（Ｋｉ×ＢＧｉ）／Σ（Ｋｉ）｝／｛Σ（Ｋｉ×ＢＧｉ’）／Σ（Ｋｉ）｝ （５）
【０１１２】
合成ＷＢゲインを算出すると、次に、画像処理を行う（Ｓ２３９）。図５を用いて説明した画像処理のフローに基づいて行う。この画像処理にあたって、ステップＳ２３７において加算により合成したデータと、ステップＳ２３７において算出した合成ＷＢゲインを用いて行う。なお、ＯＢは既に減算して合成しているために（Ｓ２２９参照）、ここでの処理ではＯＢ値は０として行う。
【０１１３】
画像処理を行うと、次に、ステップＳ１３９と同様に、ＲＡＷ記録か否かの判定を行う（Ｓ２４１）。この判定の結果、ＲＡＷ記録であった場合には、ＲＡＷファイルの生成を行う（Ｓ２４３）。ここで、ＯＢはすでに減算して（Ｓ２２９）合成しているため（Ｓ２３７）、ＯＢ値は０とＲＡＷファイルに記録する。これ以外は、ステップＳ１４１と同様に、ＲＡＷファイルを生成する。ＲＡＷファイルを生成すると、続いて、ステップＳ１４３と同様に、ＲＡＷファイルの記録を行う（Ｓ２４５）。
【０１１４】
ＲＡＷファイルの記録を行うと、またはステップＳ２４１における判定の結果、ＲＡＷ記録でなかった場合には、次に、ステップＳ１４５と同様に、ＪＰＥＧファイルの生成を行う（Ｓ２４７）。続いて、ステップＳ１４７と同様に、ＪＰＥＧファイルの記録を行う（Ｓ２４９）。ＪＰＥＧファイルの記録が終わると、元のフローに戻る。
【０１１５】
以上説明したように、第２実施形態においては、合成時に、撮影時のＷＢゲインを乗算したＲＡＷデータを合成している（Ｓ２３１）。このため、合成画像に対するＷＢゲインは、本実施形態の例では、各ＲＡＷに対して算出したＷＢゲインを係数の加重平均したものを、同様に算出した晴天モードにおけるゲインでそれぞれ除算した値を用いている。もちろん、晴天モードに限られるものではなく、他のＷＢモードを用いてもよく、また、常に固定値を用いるようにしてもよい。
【０１１６】
合成画像は、異なるシーン撮影された画像が合成されたものであり、どのような光源下で撮影したものなのか明確ではない。しかしながら、撮影時設定に応じて、ＷＢ補正されたＲＡＷデータを合成しているため、ＷＢは適切なものとなる。そこで、本実施形態においては、合成画像は、自然光で、一般的な晴天モードでＷＢ補正された画像データとみなし、晴天モードに対応するＷＢゲインで除算したゲインを用いている。その結果、ＷＢモードの設定に応じ、色味を適切に変えることができる。
【０１１７】
以上説明したように、本発明の各実施形態においては、ＷＢ補正部１１１ｂは、操作部１２３によってＷＢの設定に応じて、合成画像ＷＢゲイン（Ｓ１３３、Ｓ２３７）を用いて、合成画像データに対するホワイトバランス補正を行うようにしている（Ｓ９３）。このため、画像合成を行う場合に、ＷＢモードに応じて適切なＷＢ補正を行うことができる。
【０１１８】
また、本発明の各実施形態においては、ＷＢ設定部で設定可能なＷＢモードの少なくとも１つ以上に対し算出された合成画像データに対する合成画像ＷＢゲインまたは換算合成画像ＷＢゲインと、上記合成画像データと、を同一のファイルとして保存するようにしている。すなわち、合成画像に対する各ＷＢモードのゲインを算出し、合成した画像データと一緒に、ＲＡＷ画像形式で記録するようにしている。このため、合成画像とＲＡＷ画像の区別なく、同じ処理で画像処理ができる。
【０１１９】
なお、本発明の各実施形態においては、ＲＡＷデータとしてベイヤーデータを用いた例について説明した。しかしながらＲＡＷデータとしては、ベイヤーデータに限らず、例えば、ホビオン（Fovion）配列された撮像素子から得られるデータであっても構わない。
【０１２０】
また、本発明の各実施形態においては、画像合成用のＲＡＷファイルを選択して合成するフローを示した。しかし、これに限らず、画像合成モードをカメラに設け、画像合成モードが選択されると、撮影して得られる複数のベイヤーデータを用いて同様の処理をしてもよい。また、撮影済みの画像に限らず、ライブビュー表示中の画像を複数選択し、この選択した画像を用いて、撮影前に画像合成を行って表示するようにしてもよい。
【０１２１】
また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１２２】
また、本発明の各実施形態においては、画像処理装置としてカメラに適用した例について説明したが、カメラ以外の画像処理装置に適用しても勿論かまわない。たとえば、撮影画像を記録媒体に格納したパーソナルコンピュータに適用することも可能である。
【０１２３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１２４】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・バス、１１１・・・画像処理部、１１１ａ・・・ＯＢ減算部、１１１ｂ・・・ＷＢ補正部、１１１ｃ・・・同時化処理部、１１１ｄ・・・ガンマ・色再現処理部、１１１ｅ・・・カラーマトリクス演算部、１１１ｆ・・・エッジ強調処理部、１１１ｇ・・・ＮＲ処理部、１１３・・・ＡＥ処理部、１１５・・・ＡＦ処理部、１１７・・・画像圧縮展開部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３５・・・ＬＣＤ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、９９９・・・Ｉ／Ｆ
【特許請求の範囲】
【請求項１】
複数の合成用画像データを合成し、合成画像データを生成する画像合成部と、
ホワイトバランス補正処理のための設定を行うＷＢ設定部と、
上記ＷＢ設定部の設定に応じて、上記複数の合成用画像データのそれぞれに対するＷＢゲインを算出する画像ＷＢゲイン算出部と、
上記画像合成部における合成方法と、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対するＷＢゲインを算出する合成画像ＷＢゲイン算出部と、
ＷＢゲインに応じて画像データのホワイトバランス補正を行うＷＢ補正部と、
を具備し、
上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを用いて、上記合成画像データに対するホワイトバランス補正を行うことを特徴とする画像処理装置。
【請求項２】
上記画像合成部は、上記複数の合成用画像データに対する合成時の合成係数を設定する合成係数設定部を含み、
上記画像合成部は、上記合成係数に応じ上記複数の合成用画像データを合成して合成画像データを生成し、
上記合成画像ＷＢゲイン算出部は、上記合成係数と、上記画像ＷＢゲイン算出部で算出された上記複数の画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対する合成画像ＷＢゲインを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像合成部は、画像データに対し所定の値を乗じる乗算部と、複数の画像データを加算する加算部を含み、
上記乗算部は、上記複数の合成用画像データに対し上記合成係数を乗じて複数の中間画像データを生成し、上記加算部は、上記複数の中間画像データを加算することで、上記合成画像データを生成し、
上記合成画像ＷＢゲイン算出部は、上記合成係数に応じ、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインの加重平均を算出することで、上記合成画像データに対する合成画像ＷＢゲインを算出する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記ＷＢ補正部は、上記複数の画像データのそれぞれに対し、少なくともホワイトバランス補正処理を行った複数の画像データを上記複数の合成用画像データとして上記画像合成部に入力させ、
上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを所定の値で除算した換算合成画像ＷＢゲインを用いて、上記合成画像データデータに対するホワイトバランス補正を行う、
ことを特徴とする請求項１から３に記載の画像処理装置。
【請求項５】
上記ＷＢ設定部は、少なくとも晴天に対するＷＢモードを含み、
上記所定の値は、上記晴天に対するＷＢモードに対して上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記ＷＢ設定部で設定可能なＷＢモードの少なくとも１つ以上に対し算出された上記合成画像データに対する合成画像ＷＢゲインまたは換算合成画像ＷＢゲインと、上記合成画像データと、を同一のファイルとして保存する画像データ記録部をさらに具備することを特徴とする請求項１から５に記載の画像処理装置。
【請求項７】
撮影により得られる、または記録されている複数の画像データを合成して合成画像データを生成し、
ホワイトバランス補正処理のための設定に応じて、上記複数の画像データのそれぞれに対する画像ＷＢゲインを算出し、
上記複数の画像データの合成方法と、上記複数の画像データのそれぞれに対応する画像ＷＢゲインと、に応じて上記合成画像データに対応する合成画像ＷＢゲインを算出し、
該合成画像ＷＢゲインに応じて上記合成画像データのホワイトバランス補正を行う、
ことを特徴とする画像処理方法。
【請求項８】
被写体像を撮像して撮像データを生成する撮像部と、
上記撮像部の出力する撮像データを画像処理して画像データを作成し記録を行う画像作成・記録部と、
複数の合成用画像データを合成し、合成画像データを生成する画像合成部と、
ホワイトバランス補正処理のための設定を行うＷＢ設定部と、
上記ＷＢ設定部の設定に応じて、上記複数の合成用画像データのそれぞれに対するＷＢゲインを算出する画像ＷＢゲイン算出部と、
上記画像合成部における合成方法と、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対するＷＢゲインを算出する合成画像ＷＢゲイン算出部と、
ＷＢゲインに応じて画像データのホワイトバランス補正を行うＷＢ補正部と、
を具備し、
上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを用いて、上記合成画像データに対するホワイトバランス補正を行うことを特徴とする撮像装置。
【請求項１】
複数の合成用画像データを合成し、合成画像データを生成する画像合成部と、
ホワイトバランス補正処理のための設定を行うＷＢ設定部と、
上記ＷＢ設定部の設定に応じて、上記複数の合成用画像データのそれぞれに対するＷＢゲインを算出する画像ＷＢゲイン算出部と、
上記画像合成部における合成方法と、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対するＷＢゲインを算出する合成画像ＷＢゲイン算出部と、
ＷＢゲインに応じて画像データのホワイトバランス補正を行うＷＢ補正部と、
を具備し、
上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを用いて、上記合成画像データに対するホワイトバランス補正を行うことを特徴とする画像処理装置。
【請求項２】
上記画像合成部は、上記複数の合成用画像データに対する合成時の合成係数を設定する合成係数設定部を含み、
上記画像合成部は、上記合成係数に応じ上記複数の合成用画像データを合成して合成画像データを生成し、
上記合成画像ＷＢゲイン算出部は、上記合成係数と、上記画像ＷＢゲイン算出部で算出された上記複数の画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対する合成画像ＷＢゲインを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像合成部は、画像データに対し所定の値を乗じる乗算部と、複数の画像データを加算する加算部を含み、
上記乗算部は、上記複数の合成用画像データに対し上記合成係数を乗じて複数の中間画像データを生成し、上記加算部は、上記複数の中間画像データを加算することで、上記合成画像データを生成し、
上記合成画像ＷＢゲイン算出部は、上記合成係数に応じ、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインの加重平均を算出することで、上記合成画像データに対する合成画像ＷＢゲインを算出する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記ＷＢ補正部は、上記複数の画像データのそれぞれに対し、少なくともホワイトバランス補正処理を行った複数の画像データを上記複数の合成用画像データとして上記画像合成部に入力させ、
上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを所定の値で除算した換算合成画像ＷＢゲインを用いて、上記合成画像データデータに対するホワイトバランス補正を行う、
ことを特徴とする請求項１から３に記載の画像処理装置。
【請求項５】
上記ＷＢ設定部は、少なくとも晴天に対するＷＢモードを含み、
上記所定の値は、上記晴天に対するＷＢモードに対して上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記ＷＢ設定部で設定可能なＷＢモードの少なくとも１つ以上に対し算出された上記合成画像データに対する合成画像ＷＢゲインまたは換算合成画像ＷＢゲインと、上記合成画像データと、を同一のファイルとして保存する画像データ記録部をさらに具備することを特徴とする請求項１から５に記載の画像処理装置。
【請求項７】
撮影により得られる、または記録されている複数の画像データを合成して合成画像データを生成し、
ホワイトバランス補正処理のための設定に応じて、上記複数の画像データのそれぞれに対する画像ＷＢゲインを算出し、
上記複数の画像データの合成方法と、上記複数の画像データのそれぞれに対応する画像ＷＢゲインと、に応じて上記合成画像データに対応する合成画像ＷＢゲインを算出し、
該合成画像ＷＢゲインに応じて上記合成画像データのホワイトバランス補正を行う、
ことを特徴とする画像処理方法。
【請求項８】
被写体像を撮像して撮像データを生成する撮像部と、
上記撮像部の出力する撮像データを画像処理して画像データを作成し記録を行う画像作成・記録部と、
複数の合成用画像データを合成し、合成画像データを生成する画像合成部と、
ホワイトバランス補正処理のための設定を行うＷＢ設定部と、
上記ＷＢ設定部の設定に応じて、上記複数の合成用画像データのそれぞれに対するＷＢゲインを算出する画像ＷＢゲイン算出部と、
上記画像合成部における合成方法と、上記画像ＷＢゲイン算出部で算出された上記複数の合成用画像データのそれぞれに対する画像ＷＢゲインと、に応じ、上記合成画像データに対するＷＢゲインを算出する合成画像ＷＢゲイン算出部と、
ＷＢゲインに応じて画像データのホワイトバランス補正を行うＷＢ補正部と、
を具備し、
上記ＷＢ補正部は、上記ＷＢ設定部の設定に応じ、上記合成画像ＷＢゲイン算出部で算出された合成画像ＷＢゲインを用いて、上記合成画像データに対するホワイトバランス補正を行うことを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−８５０４３（Ｐ２０１２−８５０４３Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２２８５２９（Ｐ２０１０−２２８５２９）
【出願日】平成２２年１０月８日（２０１０．１０．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月８日（２０１０．１０．８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]