画像処理装置
【構成】シャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、最適露光量，過大露光量および過小露光量に対応する３フレームの画像を取得し、２フレーム目および３フレーム目の画像データのヒストグラムを参照してシフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓを算出する。３つの露光量に対応して取得された３フレームの画像データは、算出されたシフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓを参照して縮小状態で合成される。シフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓは、合成縮小画像データのヒストグラムを参照して補正される。３つの露光量に対応して取得された３フレームの画像データは、補正後のシフト量ＳＦＴ＿ＣおよびゲインＧＮ＿Ｃを参照して合成される。
【効果】画像合成性能が向上する。
【効果】画像合成性能が向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に互いに異なる複数の露光設定にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像に基づいて合成画像を作成する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、適正露光による標準画像が撮影され、撮影された標準画像のヒストグラムがヒストグラム処理部によって取得される。ダイナミックレンジ拡大判定部は取得されたヒストグラムに基づいてダイナミックレンジ拡大の必要性を判定し、拡大の必要があれば異なる露光のための撮影パラメータがパラメータ決定部によって決定される。撮像素子制御部は、決定された撮影パラメータに基づいて２回目の撮影を行い、非標準画像を取得する。広ダイナミックレンジ画像は、こうして取得された標準画像および非標準画像を合成することで作成される。なお、拡大の必要がなければ、２回目の撮影は中止され、標準画像のみが出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５００７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、標準画像と非標準画像を合成するにあたって標準画像および／または非標準画像のヒストグラムが参照されることはなく、画像合成性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、画像合成性能を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得手段(S31, S35, S39)、取得手段によって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出手段(S47, S51)、取得手段によって取得された複数の画像を算出手段によって算出された合成係数を参照して合成する第１合成手段(S45, S49, S53)、算出手段によって算出された合成係数の値を第１合成手段によって作成された合成画像の輝度特性を参照して補正する補正手段(S55~S61)、および取得手段によって取得された複数の画像を補正手段によって補正された値を有する合成係数を参照して合成する第２合成手段(S63~S65)を備える。
【０００７】
好ましくは、第１合成手段は、複数の画像の各々の解像度を低減して複数の低減画像を作成する低減手段(S45)、および低減手段によって作成された複数の低減画像に合成処理を施す合成処理手段(S49, S53)を含む。
【０００８】
好ましくは、取得手段によって取得される複数の画像は、適正露光量に対応する第１画像，過大露光量に対応する第２画像および過小露光量に対応する第３画像を含み、算出手段は、第２画像の輝度分布を低輝度側にシフトさせる第１シフト量を合成係数の一部として算出する第１シフト量算出手段(S47)、および第３画像の輝度分布を高輝度側に引き伸ばす第１ゲインを合成係数の他の一部として算出する第１ゲイン算出手段(S51)を含む。
【０００９】
さらに好ましくは、補正手段は、合成画像の輝度分布を低輝度側にシフトさせる第２シフト量を算出する第２シフト量算出手段(S55)、および合成画像の輝度分布を高輝度側に引き伸ばす第２ゲインを算出する第２ゲイン算出手段(S57)を含む。
【００１０】
より好ましくは、補正手段は、第２シフト量算出手段によって算出された第２シフト量を第１シフト量算出手段によって算出された第１シフト量に加算して得られる第３シフト量を合成係数の一部として算出する第３シフト量算出手段(S59)、および第２ゲイン算出手段によって算出された第２ゲインを第１ゲイン算出手段によって算出された第１ゲインに掛け算して得られる第３ゲインを合成係数の他の一部として算出する第３ゲイン量算出手段(S61)をさらに含む。
【００１１】
好ましくは、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)がさらに備えられ、取得手段によって取得される画像は撮像手段から出力された画像に相当する。
【００１２】
この発明に従う画像合成プログラムは、画像処理装置(10)のプロセッサ(26)に、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第１合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップ(S63~S65)を実行させるための、画像合成プログラムである。
【００１３】
この発明に従う画像合成方法は、画像処理装置(10)によって実行される画像合成方法であって、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第１合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップ(S63~S65)を備える。
【００１４】
この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第１合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップ(S63~S65)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(46)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置であって、外部制御プログラムは、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第１合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップ(S63~S65)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
この発明によれば、合成係数は、取得された複数の画像に基づいて算出され、この合成係数を参照して作成された合成画像に基づいて補正される。取得された複数の画像の合成処理は、補正後の合成画像を参照して再度実行される。これによって、画像合成性能が向上する。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】（Ａ）は通常露光によって取得された画像データのヒストグラムの一例を示すグラフであり、（Ｂ）は長時間露光によって取得された画像データのヒストグラムの一例を示すグラフであり、（Ｃ）は短時間露光によって取得された画像データのヒストグラムの一例を示すグラフである。
【図６】（Ａ）は通常露光によって取得された縮小画像データのヒストグラムの一例を示すグラフであり、（Ｂ）は長時間露光によって取得された縮小画像データのヒストグラムをシフト量ＳＦＴ＿Ｓを参照して低輝度側にシフトさせた状態の一例を示すグラフであり、（Ｃ）は短時間露光によって取得された縮小画像データのヒストグラムをゲインＧＮ＿Ｓを参照して高輝度側に引き伸ばした状態の一例を示すグラフである。
【図７】（Ａ）は図６（Ａ）〜図６（Ｃ）に示す縮小画像データに基づく合成縮小画像データのヒストグラムの一例を示すグラフであり、（Ｂ）は合成縮小画像データのヒストグラムをシフト量ＳＦＴ＿Ｌを参照して低輝度側にシフトさせた状態の一例を示すグラフであり、（Ｃ）はシフト後の合成縮小画像データのヒストグラムを高輝度側に引き伸ばした状態の一例を示すグラフである。
【図８】（Ａ）は通常露光によって取得された画像データのヒストグラムの一例を示すグラフであり、（Ｂ）は長時間露光によって取得された画像データのヒストグラムをシフト量ＳＦＴ＿Ｃを参照して低輝度側にシフトさせた状態の一例を示すグラフであり、（Ｃ）は短時間露光によって取得された画像データのヒストグラムをゲインＧＮ＿Ｃを参照して高輝度側に引き伸ばした状態の一例を示すグラフである。
【図９】（Ａ）は図８（Ａ）〜図８（Ｃ）に示す画像データに基づく合成縮小画像データのヒストグラムの一例を示すグラフである。
【図１０】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１１】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１４】この発明のその他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の画像合成装置は、基本的に次のように構成される。取得手段１は、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する。算出手段２は、取得手段１によって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する。第１合成手段３は、取得手段１によって取得された複数の画像を算出手段２によって算出された合成係数を参照して合成する。補正手段４は、算出手段２によって算出された合成係数の値を第１合成手段３によって作成された合成画像の輝度特性を参照して補正する。第２合成手段５は、取得手段１によって取得された複数の画像を補正手段４によって補正された値を有する合成係数を参照して合成する。
【００２１】
このように、合成係数は、取得された複数の画像に基づいて算出され、この合成係数を参照して作成された合成画像に基づいて補正される。取得された複数の画像の合成処理は、補正後の合成画像を参照して再度実行される。これによって、画像合成性能が向上する。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、光学像に対応する電荷が生成される。
【００２３】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａ（図３参照）に書き込まれる。
【００２５】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂ（図３参照）に書き込まれる。
【００２６】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、撮像面で捉えられたシーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２７】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２８】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００２９】
キー入力装置２８に設けられたシャッタボタン２８ｓｈが非操作状態にあるとき、ＣＰＵ２６は、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づいて簡易ＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが大まかに調整される。
【００３０】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価値を参照した厳格ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間もまたドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値に基づいてＡＦ処理を実行する。フォーカスレンズ１２は合焦点の探索のためにドライバ１８ａによって光軸方向に移動し、これによって発見された合焦点に配置される。この結果、スルー画像の鮮鋭度が向上する。
【００３１】
撮像モードは、モード切換えスイッチ２８ｍｄによって通常モードおよびＨＤＲ(High Dynamic Range)モードの間で切り換えられる。
【００３２】
通常モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、静止画取り込み処理を１回だけ実行する。この結果、シャッタボタン２８ｓｈが全押しされた時点のシーンを表す１フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃ（図３参照）に退避される。
【００３３】
ＨＤＲモードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、互いに異なる３つの露光量にそれぞれ対応する３フレームの画像データを静止画像エリア３２ｃに取り込み、取り込まれた３フレームの画像データに基づいて１フレームの合成画像データを作成する（詳細は後述）。合成画像データは、ワークエリア３２ｄ（図３参照）で作成され、その後に静止画像エリア３２ｃに戻される。
【００３４】
こうして１フレームの静止画像データまたは合成画像データが得られると、ＣＰＵ２６は、記録処理を実行するべく、対応する命令をメモリＩ／Ｆ４０に与える。メモリＩ／Ｆ４０は、静止画像エリア３２ｃに格納された１フレームの画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。
【００３５】
ＨＤＲ処理ではまず、シャッタボタン２８ｓｈの全押しの後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝１フレーム目の画像データ）が、ＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。
【００３６】
次に、撮像面の露光量が最適ＥＶ値に相当する露光量のα倍を示すように露光設定（＝絞り量および／または露光時間）が変更され、変更後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝２フレーム目の画像データ）がＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。
【００３７】
続いて、撮像面の露光量が最適ＥＶ値に相当する露光量の１／α倍を示すように露光設定（＝絞り量および／または露光時間）が変更され、変更後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝３フレーム目の画像データ）がＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。
【００３８】
こうして得られた３フレームの画像データは共通のシーンを表し、たとえば図５（Ａ）〜図５（Ｃ）に示すヒストグラムを示す。図５（Ａ）に示すヒストグラムは１フレーム目の画像データの輝度分布を示し、図５（Ｂ）に示すヒストグラムは２フレーム目の画像データの輝度分布を示し、図５（Ｃ）に示すヒストグラムは３フレーム目の画像データの輝度分布を示す。
【００３９】
３フレームの画像データが静止画像エリア３２に確保されると、１フレーム目の画像データによって表される画像と２フレーム目の画像データによって表される画像との間の位置ずれがオフセットＯＦＳＴ１２として検出され、１フレーム目の画像データによって表される画像と３フレーム目の画像データによって表される画像との間の位置ずれがオフセットＯＦＳＴ１３として検出される。
【００４０】
静止画像エリア３２ｃに退避された１フレーム目〜３フレーム目の画像データは続いて、ワークエリア３２ｄに複製され、かつ個別に縮小される。これによって、１フレーム目〜３フレーム目の縮小画像データがワークエリア３２ｄ上に得られる。
【００４１】
３フレームの縮小画像データが作成されると、２フレーム目の縮小画像データのヒストグラムが検出され、検出されたヒストグラムに基づいてシフト量ＳＦＴ＿Ｓが算出される。算出されたシフト量ＳＦＴ＿Ｓは、１フレーム目の縮小画像データと２フレーム目の縮小画像データとの間でのヒストグラムの位置ずれを抑制するための係数に相当する。
【００４２】
１フレーム目の縮小画像データのヒストグラムが図６（Ａ）に示す特性を有し、２フレーム目の縮小画像データのヒストグラムが図６（Ｂ）に破線で示す特性を有する場合、シフト量ＳＦＴ＿Ｓを参照して低輝度側にシフトされた２フレーム目の縮小画像データのヒストグラムは図６（Ｂ）に実線で示す特性を有することとなる。
【００４３】
１フレーム目の縮小画像データおよび２フレーム目の縮小画像データは、上述の要領で算出されたオフセットＯＦＳＴ１２およびシフト量ＳＦＴ＿Ｓを参照して合成される。まず、２フレーム目の縮小画像データのヒストグラムがシフト量ＳＦＴ＿Ｓだけ低輝度側にシフトされるように、２フレーム目の縮小画像データの輝度が調整される。次に、調整された輝度を有する縮小画像データが、オフセットＯＦＳＴ１２を参照して１フレーム目の縮小画像データと合成される。これによって、黒つぶれが改善された中間合成縮小画像データがワークエリア３２ｄ上に得られる。
【００４４】
中間合成縮小画像データが作成されると、３フレーム目の縮小画像データのヒストグラムが検出され、検出されたヒストグラムに基づいてゲインＧＮ＿Ｓが算出される。算出されたゲインＧＮ＿Ｓは、３フレーム目の縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
【００４５】
１フレーム目の縮小画像データのヒストグラムが図６（Ａ）に示す特性を有し、３フレーム目の縮小画像データのヒストグラムが図６（Ｃ）に破線で示す特性を有する場合、ゲインＧＮ＿Ｓを参照して高輝度に引き伸ばされた３フレーム目の縮小画像データのヒストグラムは図６（Ｃ）に実線で示す特性を有することとなる。
【００４６】
中間合成縮小画像データおよび３フレーム目の縮小画像データは、上述の要領で算出されたオフセットＯＦＳＴ１３およびゲインＧＮ＿Ｓを参照して合成される。まず、３フレーム目の縮小画像データの輝度がゲインＧＮ＿Ｓに従って増幅される。次に、増幅された輝度を有する縮小画像データが、オフセットＯＦＳＴ１３を参照して中間合成縮小画像データと合成される。これによって、黒つぶれおよび白飛びの両方が改善された最終合成縮小画像データがワークエリア３２ｄ上に得られる。
【００４７】
続いて、最終合成縮小画像データのヒストグラムが検出され、検出されたヒストグラムに基づいてシフト量ＳＦＴ＿ＬおよびゲインＧＮ＿Ｌが算出される。シフト量ＳＦＴ＿Ｌは、最終合成縮小画像データのヒストグラムを低輝度側にシフトさせるための係数に相当する。また、ゲインＧＮ＿Ｌは、最終合成縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
【００４８】
最終合成画像データのヒストグラムが図７（Ａ）に示す特性を有する場合、シフト量ＳＦＴ＿Ｌの大きさは、ヒストグラムの低輝度側エッジが再現範囲の下限に接する大きさに相当する（図７（Ｂ）参照）。また、ゲインＧＮ＿Ｌの大きさは、シフト量ＳＦＴ＿Ｌを参照して低輝度側にシフトされたヒストグラムが再現範囲の上限まで引き伸ばされる大きさに相当する（図７（Ｃ）参照）。
【００４９】
シフト量ＳＦＴ＿Ｌは上述のシフト量ＳＦＴ＿Ｌと加算され、これによって補正シフト量ＳＦＴ＿Ｃが得られる。また、ゲインＧＮ＿Ｌは上述のゲインＧＮ＿Ｓに掛け算され、これによって補正ゲインＧＮ＿Ｃが算出される。
【００５０】
１フレーム目の画像データのヒストグラムが図８（Ａ）に示す特性を有し、２フレーム目の画像データのヒストグラムが図８（Ｂ）に破線で示す特性を有し、３フレーム目の縮小画像データのヒストグラムが図８（Ｃ）に破線で示す特性を有する場合、補正シフト量ＳＦＴ＿Ｃを参照して低輝度側にシフトされた２フレーム目の画像データのヒストグラムは図８（Ｂ）に実線で示す特性を有し、ゲインＧＮ＿Ｓを参照して高輝度に引き伸ばされた３フレーム目の画像データのヒストグラムは図８（Ｃ）に実線で示す特性を有することとなる。
【００５１】
こうして補正シフト量ＳＦＴ＿Ｃおよび補正ゲインＧＮ＿Ｃが算出されると、静止画像エリア３２ｃに退避された１フレーム目〜２フレーム目の画像データがワークエリア３２ｄに複製され、複製された２フレームの画像データに対して合成処理が実行される。まず、２フレーム目の画像データのヒストグラムが補正シフト量ＳＦＴ＿Ｃだけ低輝度側にシフトされるように、２フレーム目の画像データの輝度が調整される。次に、調整された輝度を有する画像データが、オフセットＯＦＳＴ１２を参照して１フレーム目の画像データと合成する。これによって、黒つぶれがさらに改善された中間合成画像データがワークエリア３２ｄ上に得られる。
【００５２】
続いて、静止画像エリア３２ｃに退避された３フレーム目の画像データがワークエリア３２ｄに複製され、中間合成画像データと複製された３フレーム目の画像データとに対して合成処理が実行される。まず、３フレーム目の画像データの輝度が補正ゲインＧＡ＿Ｃに従って増幅する。次に、増幅された輝度を有する画像データが、オフセットＯＦＳＴ１３を参照して中間合成画像データと合成される。これによって、黒つぶれおよび白飛びの両方がさらに改善された最終合成画像データがワークエリア３２ｄ上に得られる。
【００５３】
こうして得られた最終合成画像データのヒストグラムは、図９に実線で示す特性を有する。参考までに、シフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓを参照して作成された最終合成画像データのヒストグラムは、図９に破線で示す特性を有する。最終合成画像データはその後ワークエリア３２ｄから静止画像エリア３２ｃに複製される。ＨＲＤ処理は、複製の後に終了される。
【００５４】
ＣＰＵ２６は、図１０〜図１３に示す撮像タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００５５】
図１０を参照して、ステップＳ１では動画取込み処理を実行する。この結果、撮像面で捉えられたシーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ５で簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが大まかに調整される。
【００５６】
ステップＳ３の判別結果がＮＯからＹＥＳに更新されると、ステップＳ７で厳格ＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。スルー画像の明るさは厳格ＡＥ処理によって厳格に調整され、スルー画像の鮮鋭度はＡＦ処理によって向上する。
【００５７】
ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１３でＹＥＳであればそのままステップＳ３に戻り、ステップＳ１１でＹＥＳであればステップＳ１５〜Ｓ２１の処理を経てステップＳ３に戻る。
【００５８】
ステップＳ１５では、現時点の撮像モードが通常モードおよびＨＤＲモードのいずれであるかを判別する。現時点の撮像モードが通常モードであれば、ステップＳ１７で静止画取り込み処理を実行し、現時点の撮像モードがＨＤＲモードであれば、ステップＳ１９でＨＤＲ処理を実行する。
【００５９】
ステップＳ１７の静止画取り込み処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。ステップＳ１９のＨＤＲ処理の結果、互いに異なる３つの露光量にそれぞれ対応する３フレームの画像データが静止画像エリア３２ｃに取り込まれ、１フレームの合成画像データがワークエリア３２ｄ上で作成される。作成された合成画像データは、静止画像エリア３２ｃに戻される。
【００６０】
ステップＳ１７またはＳ１９の処理が完了すると、ステップＳ２１で記録処理を実行するべく、対応する命令をメモリＩ／Ｆ４０に与える。メモリＩ／Ｆ４０は、静止画像エリア３２ｃに格納された１フレームの画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。
【００６１】
ステップＳ１９のＨＤＲ処理は、図１１〜図１３に示すサブルーチンに従って実行される。
【００６２】
ステップＳ３１では、シャッタボタン２８ｓｈの全押しの後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝１フレーム目の画像データ）をＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避させる。ステップＳ３３では、撮像面の露光量が最適ＥＶ値に相当する露光量のα倍を示すように、露光設定（＝絞り量および／または露光時間）を変更する。ステップＳ３５では、ステップＳ３３の処理の後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝２フレーム目の画像データ）をＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避させる。
【００６３】
ステップＳ３７では、撮像面の露光量が最適ＥＶ値に相当する露光量の１／α倍を示すように、露光設定（＝絞り量および／または露光時間）を変更する。ステップＳ３９では、ステップＳ３７の処理の後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝３フレーム目の画像データ）をＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避させる。この結果、互いに異なる３つの露光量にそれぞれ対応する３フレームの画像データが、静止画像エリア３２に確保される。
【００６４】
ステップＳ４１では１フレーム目の画像データによって表される画像と２フレーム目の画像データによって表される画像との間の位置ずれをオフセットＯＦＳＴ１２として検出し、ステップＳ４３では１フレーム目の画像データによって表される画像と３フレーム目の画像データによって表される画像との間の位置ずれをオフセットＯＦＳＴ１３として検出する。ステップＳ４５では、静止画像エリア３２ｃに退避された１フレーム目〜３フレーム目の画像データをワークエリア３２ｄに複製し、複製された３フレームの画像データを個別に縮小する。これによって、１フレーム目〜３フレーム目の縮小画像データがワークエリア３２ｄ上に得られる。
【００６５】
ステップＳ４７では、２フレーム目の縮小画像データのヒストグラムを検出し、検出されたヒストグラムに基づいてシフト量ＳＦＴ＿Ｓを算出する。算出されたシフト量ＳＦＴ＿Ｓは、１フレーム目の縮小画像データと２フレーム目の縮小画像データとの間でのヒストグラムの位置ずれを抑制するための係数に相当する。
【００６６】
ステップＳ４９では、１フレーム目の縮小画像データと２フレーム目の縮小画像データとに合成処理を施す。まず、２フレーム目の縮小画像データのヒストグラムがステップＳ４７で算出されたシフト量ＳＦＴ＿Ｓだけ低輝度側にシフトされるように、２フレーム目の縮小画像データの輝度を調整する。次に、調整された輝度を有する縮小画像データを、ステップＳ４１で算出されたオフセットＯＦＳＴ１２を参照して、１フレーム目の縮小画像データと合成する。これによって、黒つぶれが改善された中間合成縮小画像データがワークエリア３２ｄ上に得られる。
【００６７】
ステップＳ５１では、３フレーム目の縮小画像データのヒストグラムを検出し、検出されたヒストグラムに基づいてゲインＧＮ＿Ｓを算出する。算出されたゲインＧＮ＿Ｓは、３フレーム目の縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
【００６８】
ステップＳ５３では、ステップＳ４９で作成された中間合成縮小画像データと３フレーム目の縮小画像データとに合成処理を施す。まず、３フレーム目の縮小画像データの輝度をステップＳ５１で算出されたゲインＧＮ＿Ｓに従って増幅する。次に、増幅された輝度を有する縮小画像データを、ステップＳ４３で算出されたオフセットＯＦＳＴ１３を参照して、中間合成縮小画像データと合成する。これによって、黒つぶれおよび白飛びの両方が改善された最終合成縮小画像データがワークエリア３２ｄ上に得られる。
【００６９】
ステップＳ５５では、ステップＳ５３で作成された最終合成縮小画像データのヒストグラムを検出し、検出されたヒストグラムに基づいてシフト量ＳＦＴ＿Ｌを算出する。算出されたシフト量ＳＦＴ＿Ｌは、最終合成縮小画像データのヒストグラムを低輝度側にシフトさせるための係数に相当する。
【００７０】
ステップＳ５７では、ステップＳ５３で検出された最終合成縮小画像データのヒストグラムに基づいてゲインＧＮ＿Ｌを算出する。算出されたゲインＧＮ＿Ｌは、最終合成縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
【００７１】
ステップＳ５９では、ステップＳ５５で算出されたシフト量ＳＦＴ＿ＬをステップＳ４７で算出されたシフト量ＳＦＴ＿Ｌに加算して補正シフト量ＳＦＴ＿Ｃを算出する。ステップＳ６１では、ステップＳ５７で算出されたゲインＧＮ＿ＬをステップＳ５１で算出されたゲインＧＮ＿Ｓに掛け算して補正ゲインＧＮ＿Ｃを算出する。
【００７２】
ステップＳ６３では、静止画像エリア３２ｃに退避された１フレーム目〜２フレーム目の画像データをワークエリア３２ｄに複製し、複製された２フレームの画像データに合成処理を施す。まず、２フレーム目の画像データのヒストグラムがステップＳ５９で算出された補正シフト量ＳＦＴ＿Ｃだけ低輝度側にシフトされるように、２フレーム目の画像データの輝度を調整する。次に、調整された輝度を有する画像データを、ステップＳ４１で算出されたオフセットＯＦＳＴ１２を参照して、１フレーム目の画像データと合成する。これによって、黒つぶれがさらに改善された中間合成画像データがワークエリア３２ｄ上に得られる。
【００７３】
ステップＳ６５では、静止画像エリア３２ｃに退避された３フレーム目の画像データをワークエリア３２ｄに複製し、ステップＳ６３で作成された中間合成画像データと複製された３フレーム目の画像データとに合成処理を施す。まず、３フレーム目の画像データの輝度をステップＳ６１で算出された補正ゲインＧＡ＿Ｃに従って増幅する。次に、増幅された輝度を有する画像データを、ステップＳ４３で算出されたオフセットＯＦＳＴ１３を参照して、中間合成画像データと合成する。これによって、黒つぶれおよび白飛びの両方がさらに改善された最終合成画像データがワークエリア３２ｄ上に得られる。
【００７４】
ステップＳ６７では、こうして作成された最終合成画像データをワークエリア３２ｄから静止画像エリア３２ｃに複製する。複製が完了すると、上階層のルーチンに復帰する。
【００７５】
以上の説明から分かるように、ＨＤＲモードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、最適露光量，過大露光量および過小露光量にそれぞれ対応しかつ共通のシーンを各々が表す３フレームの画像データを取得する(S31, S35, S39)。ＣＰＵ２６はまた、取得された３フレームの画像データのうち２フレーム目の画像データおよび３フレーム目の画像データの各々のヒストグラムを参照して、いずれも合成係数に相当するシフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓを算出する(S47, S51)。
【００７６】
３つの露光量に対応して取得された３フレームの画像データに対応する３フレームの縮小画像データは、算出されたシフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓを参照して合成される(S45, S49, S53)。シフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓは、合成縮小画像データのヒストグラムを参照して算出されたシフト量ＳＦＴ＿ＬおよびゲインＧＮ＿Ｌに基づいて補正され(S55~S61)、これによって、補正シフト量ＳＦＴ＿Ｃおよび補正ゲインＧＮ＿Ｃが得られる。３つの露光量に対応して取得された３フレームの画像データは、こうして得られた補正シフト量ＳＦＴ＿Ｃおよび補正ゲインＧＮ＿Ｃを参照して合成され(S63~S65)、これによって合成画像データが作成される。
【００７７】
このように、シフト量およびゲインは、取得された３フレームの画像データに基づいて算出され、かつこの３フレームの画像データに基づく合成縮小画像データに基づいて補正される。取得された３フレームの画像データは、補正後のシフト量およびゲインを参照して再度実行される。これによって、画像合成性能が向上する。
【００７８】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、図１４に示すように通信Ｉ／Ｆ４６をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００７９】
また、この実施例では、ＣＰＵ２６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００８０】
１０ …ディジタルカメラ
１６ …イメージャ
２０ …前処理回路
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３４ …後処理回路
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に互いに異なる複数の露光設定にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像に基づいて合成画像を作成する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、適正露光による標準画像が撮影され、撮影された標準画像のヒストグラムがヒストグラム処理部によって取得される。ダイナミックレンジ拡大判定部は取得されたヒストグラムに基づいてダイナミックレンジ拡大の必要性を判定し、拡大の必要があれば異なる露光のための撮影パラメータがパラメータ決定部によって決定される。撮像素子制御部は、決定された撮影パラメータに基づいて２回目の撮影を行い、非標準画像を取得する。広ダイナミックレンジ画像は、こうして取得された標準画像および非標準画像を合成することで作成される。なお、拡大の必要がなければ、２回目の撮影は中止され、標準画像のみが出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５００７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、標準画像と非標準画像を合成するにあたって標準画像および／または非標準画像のヒストグラムが参照されることはなく、画像合成性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、画像合成性能を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得手段(S31, S35, S39)、取得手段によって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出手段(S47, S51)、取得手段によって取得された複数の画像を算出手段によって算出された合成係数を参照して合成する第１合成手段(S45, S49, S53)、算出手段によって算出された合成係数の値を第１合成手段によって作成された合成画像の輝度特性を参照して補正する補正手段(S55~S61)、および取得手段によって取得された複数の画像を補正手段によって補正された値を有する合成係数を参照して合成する第２合成手段(S63~S65)を備える。
【０００７】
好ましくは、第１合成手段は、複数の画像の各々の解像度を低減して複数の低減画像を作成する低減手段(S45)、および低減手段によって作成された複数の低減画像に合成処理を施す合成処理手段(S49, S53)を含む。
【０００８】
好ましくは、取得手段によって取得される複数の画像は、適正露光量に対応する第１画像，過大露光量に対応する第２画像および過小露光量に対応する第３画像を含み、算出手段は、第２画像の輝度分布を低輝度側にシフトさせる第１シフト量を合成係数の一部として算出する第１シフト量算出手段(S47)、および第３画像の輝度分布を高輝度側に引き伸ばす第１ゲインを合成係数の他の一部として算出する第１ゲイン算出手段(S51)を含む。
【０００９】
さらに好ましくは、補正手段は、合成画像の輝度分布を低輝度側にシフトさせる第２シフト量を算出する第２シフト量算出手段(S55)、および合成画像の輝度分布を高輝度側に引き伸ばす第２ゲインを算出する第２ゲイン算出手段(S57)を含む。
【００１０】
より好ましくは、補正手段は、第２シフト量算出手段によって算出された第２シフト量を第１シフト量算出手段によって算出された第１シフト量に加算して得られる第３シフト量を合成係数の一部として算出する第３シフト量算出手段(S59)、および第２ゲイン算出手段によって算出された第２ゲインを第１ゲイン算出手段によって算出された第１ゲインに掛け算して得られる第３ゲインを合成係数の他の一部として算出する第３ゲイン量算出手段(S61)をさらに含む。
【００１１】
好ましくは、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)がさらに備えられ、取得手段によって取得される画像は撮像手段から出力された画像に相当する。
【００１２】
この発明に従う画像合成プログラムは、画像処理装置(10)のプロセッサ(26)に、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第１合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップ(S63~S65)を実行させるための、画像合成プログラムである。
【００１３】
この発明に従う画像合成方法は、画像処理装置(10)によって実行される画像合成方法であって、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第１合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップ(S63~S65)を備える。
【００１４】
この発明に従う外部制御プログラムは、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第１合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップ(S63~S65)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(46)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置であって、外部制御プログラムは、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ(S31, S35, S39)、取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ(S47, S51)、取得ステップによって取得された複数の画像を算出ステップによって算出された合成係数を参照して合成する第１合成ステップ(S45, S49, S53)、算出ステップによって算出された合成係数の値を第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ(S55~S61)、および取得ステップによって取得された複数の画像を補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップ(S63~S65)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
この発明によれば、合成係数は、取得された複数の画像に基づいて算出され、この合成係数を参照して作成された合成画像に基づいて補正される。取得された複数の画像の合成処理は、補正後の合成画像を参照して再度実行される。これによって、画像合成性能が向上する。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】（Ａ）は通常露光によって取得された画像データのヒストグラムの一例を示すグラフであり、（Ｂ）は長時間露光によって取得された画像データのヒストグラムの一例を示すグラフであり、（Ｃ）は短時間露光によって取得された画像データのヒストグラムの一例を示すグラフである。
【図６】（Ａ）は通常露光によって取得された縮小画像データのヒストグラムの一例を示すグラフであり、（Ｂ）は長時間露光によって取得された縮小画像データのヒストグラムをシフト量ＳＦＴ＿Ｓを参照して低輝度側にシフトさせた状態の一例を示すグラフであり、（Ｃ）は短時間露光によって取得された縮小画像データのヒストグラムをゲインＧＮ＿Ｓを参照して高輝度側に引き伸ばした状態の一例を示すグラフである。
【図７】（Ａ）は図６（Ａ）〜図６（Ｃ）に示す縮小画像データに基づく合成縮小画像データのヒストグラムの一例を示すグラフであり、（Ｂ）は合成縮小画像データのヒストグラムをシフト量ＳＦＴ＿Ｌを参照して低輝度側にシフトさせた状態の一例を示すグラフであり、（Ｃ）はシフト後の合成縮小画像データのヒストグラムを高輝度側に引き伸ばした状態の一例を示すグラフである。
【図８】（Ａ）は通常露光によって取得された画像データのヒストグラムの一例を示すグラフであり、（Ｂ）は長時間露光によって取得された画像データのヒストグラムをシフト量ＳＦＴ＿Ｃを参照して低輝度側にシフトさせた状態の一例を示すグラフであり、（Ｃ）は短時間露光によって取得された画像データのヒストグラムをゲインＧＮ＿Ｃを参照して高輝度側に引き伸ばした状態の一例を示すグラフである。
【図９】（Ａ）は図８（Ａ）〜図８（Ｃ）に示す画像データに基づく合成縮小画像データのヒストグラムの一例を示すグラフである。
【図１０】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１１】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１４】この発明のその他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２０】
図１を参照して、この実施例の画像合成装置は、基本的に次のように構成される。取得手段１は、互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する。算出手段２は、取得手段１によって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する。第１合成手段３は、取得手段１によって取得された複数の画像を算出手段２によって算出された合成係数を参照して合成する。補正手段４は、算出手段２によって算出された合成係数の値を第１合成手段３によって作成された合成画像の輝度特性を参照して補正する。第２合成手段５は、取得手段１によって取得された複数の画像を補正手段４によって補正された値を有する合成係数を参照して合成する。
【００２１】
このように、合成係数は、取得された複数の画像に基づいて算出され、この合成係数を参照して作成された合成画像に基づいて補正される。取得された複数の画像の合成処理は、補正後の合成画像を参照して再度実行される。これによって、画像合成性能が向上する。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、光学像に対応する電荷が生成される。
【００２３】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａ（図３参照）に書き込まれる。
【００２５】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂ（図３参照）に書き込まれる。
【００２６】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、撮像面で捉えられたシーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２７】
図４を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２８】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００２９】
キー入力装置２８に設けられたシャッタボタン２８ｓｈが非操作状態にあるとき、ＣＰＵ２６は、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づいて簡易ＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが大まかに調整される。
【００３０】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価値を参照した厳格ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間もまたドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値に基づいてＡＦ処理を実行する。フォーカスレンズ１２は合焦点の探索のためにドライバ１８ａによって光軸方向に移動し、これによって発見された合焦点に配置される。この結果、スルー画像の鮮鋭度が向上する。
【００３１】
撮像モードは、モード切換えスイッチ２８ｍｄによって通常モードおよびＨＤＲ(High Dynamic Range)モードの間で切り換えられる。
【００３２】
通常モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、静止画取り込み処理を１回だけ実行する。この結果、シャッタボタン２８ｓｈが全押しされた時点のシーンを表す１フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃ（図３参照）に退避される。
【００３３】
ＨＤＲモードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、互いに異なる３つの露光量にそれぞれ対応する３フレームの画像データを静止画像エリア３２ｃに取り込み、取り込まれた３フレームの画像データに基づいて１フレームの合成画像データを作成する（詳細は後述）。合成画像データは、ワークエリア３２ｄ（図３参照）で作成され、その後に静止画像エリア３２ｃに戻される。
【００３４】
こうして１フレームの静止画像データまたは合成画像データが得られると、ＣＰＵ２６は、記録処理を実行するべく、対応する命令をメモリＩ／Ｆ４０に与える。メモリＩ／Ｆ４０は、静止画像エリア３２ｃに格納された１フレームの画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。
【００３５】
ＨＤＲ処理ではまず、シャッタボタン２８ｓｈの全押しの後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝１フレーム目の画像データ）が、ＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。
【００３６】
次に、撮像面の露光量が最適ＥＶ値に相当する露光量のα倍を示すように露光設定（＝絞り量および／または露光時間）が変更され、変更後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝２フレーム目の画像データ）がＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。
【００３７】
続いて、撮像面の露光量が最適ＥＶ値に相当する露光量の１／α倍を示すように露光設定（＝絞り量および／または露光時間）が変更され、変更後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝３フレーム目の画像データ）がＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。
【００３８】
こうして得られた３フレームの画像データは共通のシーンを表し、たとえば図５（Ａ）〜図５（Ｃ）に示すヒストグラムを示す。図５（Ａ）に示すヒストグラムは１フレーム目の画像データの輝度分布を示し、図５（Ｂ）に示すヒストグラムは２フレーム目の画像データの輝度分布を示し、図５（Ｃ）に示すヒストグラムは３フレーム目の画像データの輝度分布を示す。
【００３９】
３フレームの画像データが静止画像エリア３２に確保されると、１フレーム目の画像データによって表される画像と２フレーム目の画像データによって表される画像との間の位置ずれがオフセットＯＦＳＴ１２として検出され、１フレーム目の画像データによって表される画像と３フレーム目の画像データによって表される画像との間の位置ずれがオフセットＯＦＳＴ１３として検出される。
【００４０】
静止画像エリア３２ｃに退避された１フレーム目〜３フレーム目の画像データは続いて、ワークエリア３２ｄに複製され、かつ個別に縮小される。これによって、１フレーム目〜３フレーム目の縮小画像データがワークエリア３２ｄ上に得られる。
【００４１】
３フレームの縮小画像データが作成されると、２フレーム目の縮小画像データのヒストグラムが検出され、検出されたヒストグラムに基づいてシフト量ＳＦＴ＿Ｓが算出される。算出されたシフト量ＳＦＴ＿Ｓは、１フレーム目の縮小画像データと２フレーム目の縮小画像データとの間でのヒストグラムの位置ずれを抑制するための係数に相当する。
【００４２】
１フレーム目の縮小画像データのヒストグラムが図６（Ａ）に示す特性を有し、２フレーム目の縮小画像データのヒストグラムが図６（Ｂ）に破線で示す特性を有する場合、シフト量ＳＦＴ＿Ｓを参照して低輝度側にシフトされた２フレーム目の縮小画像データのヒストグラムは図６（Ｂ）に実線で示す特性を有することとなる。
【００４３】
１フレーム目の縮小画像データおよび２フレーム目の縮小画像データは、上述の要領で算出されたオフセットＯＦＳＴ１２およびシフト量ＳＦＴ＿Ｓを参照して合成される。まず、２フレーム目の縮小画像データのヒストグラムがシフト量ＳＦＴ＿Ｓだけ低輝度側にシフトされるように、２フレーム目の縮小画像データの輝度が調整される。次に、調整された輝度を有する縮小画像データが、オフセットＯＦＳＴ１２を参照して１フレーム目の縮小画像データと合成される。これによって、黒つぶれが改善された中間合成縮小画像データがワークエリア３２ｄ上に得られる。
【００４４】
中間合成縮小画像データが作成されると、３フレーム目の縮小画像データのヒストグラムが検出され、検出されたヒストグラムに基づいてゲインＧＮ＿Ｓが算出される。算出されたゲインＧＮ＿Ｓは、３フレーム目の縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
【００４５】
１フレーム目の縮小画像データのヒストグラムが図６（Ａ）に示す特性を有し、３フレーム目の縮小画像データのヒストグラムが図６（Ｃ）に破線で示す特性を有する場合、ゲインＧＮ＿Ｓを参照して高輝度に引き伸ばされた３フレーム目の縮小画像データのヒストグラムは図６（Ｃ）に実線で示す特性を有することとなる。
【００４６】
中間合成縮小画像データおよび３フレーム目の縮小画像データは、上述の要領で算出されたオフセットＯＦＳＴ１３およびゲインＧＮ＿Ｓを参照して合成される。まず、３フレーム目の縮小画像データの輝度がゲインＧＮ＿Ｓに従って増幅される。次に、増幅された輝度を有する縮小画像データが、オフセットＯＦＳＴ１３を参照して中間合成縮小画像データと合成される。これによって、黒つぶれおよび白飛びの両方が改善された最終合成縮小画像データがワークエリア３２ｄ上に得られる。
【００４７】
続いて、最終合成縮小画像データのヒストグラムが検出され、検出されたヒストグラムに基づいてシフト量ＳＦＴ＿ＬおよびゲインＧＮ＿Ｌが算出される。シフト量ＳＦＴ＿Ｌは、最終合成縮小画像データのヒストグラムを低輝度側にシフトさせるための係数に相当する。また、ゲインＧＮ＿Ｌは、最終合成縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
【００４８】
最終合成画像データのヒストグラムが図７（Ａ）に示す特性を有する場合、シフト量ＳＦＴ＿Ｌの大きさは、ヒストグラムの低輝度側エッジが再現範囲の下限に接する大きさに相当する（図７（Ｂ）参照）。また、ゲインＧＮ＿Ｌの大きさは、シフト量ＳＦＴ＿Ｌを参照して低輝度側にシフトされたヒストグラムが再現範囲の上限まで引き伸ばされる大きさに相当する（図７（Ｃ）参照）。
【００４９】
シフト量ＳＦＴ＿Ｌは上述のシフト量ＳＦＴ＿Ｌと加算され、これによって補正シフト量ＳＦＴ＿Ｃが得られる。また、ゲインＧＮ＿Ｌは上述のゲインＧＮ＿Ｓに掛け算され、これによって補正ゲインＧＮ＿Ｃが算出される。
【００５０】
１フレーム目の画像データのヒストグラムが図８（Ａ）に示す特性を有し、２フレーム目の画像データのヒストグラムが図８（Ｂ）に破線で示す特性を有し、３フレーム目の縮小画像データのヒストグラムが図８（Ｃ）に破線で示す特性を有する場合、補正シフト量ＳＦＴ＿Ｃを参照して低輝度側にシフトされた２フレーム目の画像データのヒストグラムは図８（Ｂ）に実線で示す特性を有し、ゲインＧＮ＿Ｓを参照して高輝度に引き伸ばされた３フレーム目の画像データのヒストグラムは図８（Ｃ）に実線で示す特性を有することとなる。
【００５１】
こうして補正シフト量ＳＦＴ＿Ｃおよび補正ゲインＧＮ＿Ｃが算出されると、静止画像エリア３２ｃに退避された１フレーム目〜２フレーム目の画像データがワークエリア３２ｄに複製され、複製された２フレームの画像データに対して合成処理が実行される。まず、２フレーム目の画像データのヒストグラムが補正シフト量ＳＦＴ＿Ｃだけ低輝度側にシフトされるように、２フレーム目の画像データの輝度が調整される。次に、調整された輝度を有する画像データが、オフセットＯＦＳＴ１２を参照して１フレーム目の画像データと合成する。これによって、黒つぶれがさらに改善された中間合成画像データがワークエリア３２ｄ上に得られる。
【００５２】
続いて、静止画像エリア３２ｃに退避された３フレーム目の画像データがワークエリア３２ｄに複製され、中間合成画像データと複製された３フレーム目の画像データとに対して合成処理が実行される。まず、３フレーム目の画像データの輝度が補正ゲインＧＡ＿Ｃに従って増幅する。次に、増幅された輝度を有する画像データが、オフセットＯＦＳＴ１３を参照して中間合成画像データと合成される。これによって、黒つぶれおよび白飛びの両方がさらに改善された最終合成画像データがワークエリア３２ｄ上に得られる。
【００５３】
こうして得られた最終合成画像データのヒストグラムは、図９に実線で示す特性を有する。参考までに、シフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓを参照して作成された最終合成画像データのヒストグラムは、図９に破線で示す特性を有する。最終合成画像データはその後ワークエリア３２ｄから静止画像エリア３２ｃに複製される。ＨＲＤ処理は、複製の後に終了される。
【００５４】
ＣＰＵ２６は、図１０〜図１３に示す撮像タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００５５】
図１０を参照して、ステップＳ１では動画取込み処理を実行する。この結果、撮像面で捉えられたシーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ５で簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが大まかに調整される。
【００５６】
ステップＳ３の判別結果がＮＯからＹＥＳに更新されると、ステップＳ７で厳格ＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。スルー画像の明るさは厳格ＡＥ処理によって厳格に調整され、スルー画像の鮮鋭度はＡＦ処理によって向上する。
【００５７】
ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１３でＹＥＳであればそのままステップＳ３に戻り、ステップＳ１１でＹＥＳであればステップＳ１５〜Ｓ２１の処理を経てステップＳ３に戻る。
【００５８】
ステップＳ１５では、現時点の撮像モードが通常モードおよびＨＤＲモードのいずれであるかを判別する。現時点の撮像モードが通常モードであれば、ステップＳ１７で静止画取り込み処理を実行し、現時点の撮像モードがＨＤＲモードであれば、ステップＳ１９でＨＤＲ処理を実行する。
【００５９】
ステップＳ１７の静止画取り込み処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データがＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避される。ステップＳ１９のＨＤＲ処理の結果、互いに異なる３つの露光量にそれぞれ対応する３フレームの画像データが静止画像エリア３２ｃに取り込まれ、１フレームの合成画像データがワークエリア３２ｄ上で作成される。作成された合成画像データは、静止画像エリア３２ｃに戻される。
【００６０】
ステップＳ１７またはＳ１９の処理が完了すると、ステップＳ２１で記録処理を実行するべく、対応する命令をメモリＩ／Ｆ４０に与える。メモリＩ／Ｆ４０は、静止画像エリア３２ｃに格納された１フレームの画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。
【００６１】
ステップＳ１９のＨＤＲ処理は、図１１〜図１３に示すサブルーチンに従って実行される。
【００６２】
ステップＳ３１では、シャッタボタン２８ｓｈの全押しの後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝１フレーム目の画像データ）をＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避させる。ステップＳ３３では、撮像面の露光量が最適ＥＶ値に相当する露光量のα倍を示すように、露光設定（＝絞り量および／または露光時間）を変更する。ステップＳ３５では、ステップＳ３３の処理の後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝２フレーム目の画像データ）をＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避させる。
【００６３】
ステップＳ３７では、撮像面の露光量が最適ＥＶ値に相当する露光量の１／α倍を示すように、露光設定（＝絞り量および／または露光時間）を変更する。ステップＳ３９では、ステップＳ３７の処理の後にイメージャ１６から出力された生画像データに基づくＹＵＶ形式の画像データ（＝３フレーム目の画像データ）をＹＵＶ画像エリア３２ｂから静止画像エリア３２ｃに退避させる。この結果、互いに異なる３つの露光量にそれぞれ対応する３フレームの画像データが、静止画像エリア３２に確保される。
【００６４】
ステップＳ４１では１フレーム目の画像データによって表される画像と２フレーム目の画像データによって表される画像との間の位置ずれをオフセットＯＦＳＴ１２として検出し、ステップＳ４３では１フレーム目の画像データによって表される画像と３フレーム目の画像データによって表される画像との間の位置ずれをオフセットＯＦＳＴ１３として検出する。ステップＳ４５では、静止画像エリア３２ｃに退避された１フレーム目〜３フレーム目の画像データをワークエリア３２ｄに複製し、複製された３フレームの画像データを個別に縮小する。これによって、１フレーム目〜３フレーム目の縮小画像データがワークエリア３２ｄ上に得られる。
【００６５】
ステップＳ４７では、２フレーム目の縮小画像データのヒストグラムを検出し、検出されたヒストグラムに基づいてシフト量ＳＦＴ＿Ｓを算出する。算出されたシフト量ＳＦＴ＿Ｓは、１フレーム目の縮小画像データと２フレーム目の縮小画像データとの間でのヒストグラムの位置ずれを抑制するための係数に相当する。
【００６６】
ステップＳ４９では、１フレーム目の縮小画像データと２フレーム目の縮小画像データとに合成処理を施す。まず、２フレーム目の縮小画像データのヒストグラムがステップＳ４７で算出されたシフト量ＳＦＴ＿Ｓだけ低輝度側にシフトされるように、２フレーム目の縮小画像データの輝度を調整する。次に、調整された輝度を有する縮小画像データを、ステップＳ４１で算出されたオフセットＯＦＳＴ１２を参照して、１フレーム目の縮小画像データと合成する。これによって、黒つぶれが改善された中間合成縮小画像データがワークエリア３２ｄ上に得られる。
【００６７】
ステップＳ５１では、３フレーム目の縮小画像データのヒストグラムを検出し、検出されたヒストグラムに基づいてゲインＧＮ＿Ｓを算出する。算出されたゲインＧＮ＿Ｓは、３フレーム目の縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
【００６８】
ステップＳ５３では、ステップＳ４９で作成された中間合成縮小画像データと３フレーム目の縮小画像データとに合成処理を施す。まず、３フレーム目の縮小画像データの輝度をステップＳ５１で算出されたゲインＧＮ＿Ｓに従って増幅する。次に、増幅された輝度を有する縮小画像データを、ステップＳ４３で算出されたオフセットＯＦＳＴ１３を参照して、中間合成縮小画像データと合成する。これによって、黒つぶれおよび白飛びの両方が改善された最終合成縮小画像データがワークエリア３２ｄ上に得られる。
【００６９】
ステップＳ５５では、ステップＳ５３で作成された最終合成縮小画像データのヒストグラムを検出し、検出されたヒストグラムに基づいてシフト量ＳＦＴ＿Ｌを算出する。算出されたシフト量ＳＦＴ＿Ｌは、最終合成縮小画像データのヒストグラムを低輝度側にシフトさせるための係数に相当する。
【００７０】
ステップＳ５７では、ステップＳ５３で検出された最終合成縮小画像データのヒストグラムに基づいてゲインＧＮ＿Ｌを算出する。算出されたゲインＧＮ＿Ｌは、最終合成縮小画像データのヒストグラムを高輝度側に引き伸ばすための係数に相当する。
【００７１】
ステップＳ５９では、ステップＳ５５で算出されたシフト量ＳＦＴ＿ＬをステップＳ４７で算出されたシフト量ＳＦＴ＿Ｌに加算して補正シフト量ＳＦＴ＿Ｃを算出する。ステップＳ６１では、ステップＳ５７で算出されたゲインＧＮ＿ＬをステップＳ５１で算出されたゲインＧＮ＿Ｓに掛け算して補正ゲインＧＮ＿Ｃを算出する。
【００７２】
ステップＳ６３では、静止画像エリア３２ｃに退避された１フレーム目〜２フレーム目の画像データをワークエリア３２ｄに複製し、複製された２フレームの画像データに合成処理を施す。まず、２フレーム目の画像データのヒストグラムがステップＳ５９で算出された補正シフト量ＳＦＴ＿Ｃだけ低輝度側にシフトされるように、２フレーム目の画像データの輝度を調整する。次に、調整された輝度を有する画像データを、ステップＳ４１で算出されたオフセットＯＦＳＴ１２を参照して、１フレーム目の画像データと合成する。これによって、黒つぶれがさらに改善された中間合成画像データがワークエリア３２ｄ上に得られる。
【００７３】
ステップＳ６５では、静止画像エリア３２ｃに退避された３フレーム目の画像データをワークエリア３２ｄに複製し、ステップＳ６３で作成された中間合成画像データと複製された３フレーム目の画像データとに合成処理を施す。まず、３フレーム目の画像データの輝度をステップＳ６１で算出された補正ゲインＧＡ＿Ｃに従って増幅する。次に、増幅された輝度を有する画像データを、ステップＳ４３で算出されたオフセットＯＦＳＴ１３を参照して、中間合成画像データと合成する。これによって、黒つぶれおよび白飛びの両方がさらに改善された最終合成画像データがワークエリア３２ｄ上に得られる。
【００７４】
ステップＳ６７では、こうして作成された最終合成画像データをワークエリア３２ｄから静止画像エリア３２ｃに複製する。複製が完了すると、上階層のルーチンに復帰する。
【００７５】
以上の説明から分かるように、ＨＤＲモードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、最適露光量，過大露光量および過小露光量にそれぞれ対応しかつ共通のシーンを各々が表す３フレームの画像データを取得する(S31, S35, S39)。ＣＰＵ２６はまた、取得された３フレームの画像データのうち２フレーム目の画像データおよび３フレーム目の画像データの各々のヒストグラムを参照して、いずれも合成係数に相当するシフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓを算出する(S47, S51)。
【００７６】
３つの露光量に対応して取得された３フレームの画像データに対応する３フレームの縮小画像データは、算出されたシフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓを参照して合成される(S45, S49, S53)。シフト量ＳＦＴ＿ＳおよびゲインＧＮ＿Ｓは、合成縮小画像データのヒストグラムを参照して算出されたシフト量ＳＦＴ＿ＬおよびゲインＧＮ＿Ｌに基づいて補正され(S55~S61)、これによって、補正シフト量ＳＦＴ＿Ｃおよび補正ゲインＧＮ＿Ｃが得られる。３つの露光量に対応して取得された３フレームの画像データは、こうして得られた補正シフト量ＳＦＴ＿Ｃおよび補正ゲインＧＮ＿Ｃを参照して合成され(S63~S65)、これによって合成画像データが作成される。
【００７７】
このように、シフト量およびゲインは、取得された３フレームの画像データに基づいて算出され、かつこの３フレームの画像データに基づく合成縮小画像データに基づいて補正される。取得された３フレームの画像データは、補正後のシフト量およびゲインを参照して再度実行される。これによって、画像合成性能が向上する。
【００７８】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、図１４に示すように通信Ｉ／Ｆ４６をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００７９】
また、この実施例では、ＣＰＵ２６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００８０】
１０ …ディジタルカメラ
１６ …イメージャ
２０ …前処理回路
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３４ …後処理回路
【特許請求の範囲】
【請求項１】
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得手段、
前記取得手段によって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出手段、
前記取得手段によって取得された複数の画像を前記算出手段によって算出された合成係数を参照して合成する第１合成手段、
前記算出手段によって算出された合成係数の値を前記第１合成手段によって作成された合成画像の輝度特性を参照して補正する補正手段、および
前記取得手段によって取得された複数の画像を前記補正手段によって補正された値を有する合成係数を参照して合成する第２合成手段を備える、画像処理装置。
【請求項２】
前記第１合成手段は、前記複数の画像の各々の解像度を低減して複数の低減画像を作成する低減手段、および前記低減手段によって作成された複数の低減画像に合成処理を施す合成処理手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記取得手段によって取得される複数の画像は、適正露光量に対応する第１画像，過大露光量に対応する第２画像および過小露光量に対応する第３画像を含み、
前記算出手段は、前記第２画像の輝度分布を低輝度側にシフトさせる第１シフト量を前記合成係数の一部として算出する第１シフト量算出手段、および前記第３画像の輝度分布を高輝度側に引き伸ばす第１ゲインを前記合成係数の他の一部として算出する第１ゲイン算出手段を含む、請求項１または２記載の画像処理装置。
【請求項４】
前記補正手段は、前記合成画像の輝度分布を低輝度側にシフトさせる第２シフト量を算出する第２シフト量算出手段、および前記合成画像の輝度分布を高輝度側に引き伸ばす第２ゲインを算出する第２ゲイン算出手段を含む、請求項３記載の画像処理装置。
【請求項５】
前記補正手段は、前記第２シフト量算出手段によって算出された第２シフト量を前記第１シフト量算出手段によって算出された第１シフト量に加算して得られる第３シフト量を前記合成係数の一部として算出する第３シフト量算出手段、および前記第２ゲイン算出手段によって算出された第２ゲインを前記第１ゲイン算出手段によって算出された第１ゲインに掛け算して得られる第３ゲインを前記合成係数の他の一部として算出する第３ゲイン量算出手段をさらに含む、請求項４記載の画像処理装置。
【請求項６】
撮像面で捉えられたシーンを表す画像を出力する撮像手段をさらに備え、
前記取得手段によって取得される画像は前記撮像手段から出力された画像に相当する、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
画像処理装置のプロセッサに、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第１合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップを実行させるための、画像合成プログラム。
【請求項８】
画像処理装置によって実行される画像合成方法であって、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第１合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップを備える、画像合成方法。
【請求項９】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第１合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第１合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【請求項１】
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得手段、
前記取得手段によって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出手段、
前記取得手段によって取得された複数の画像を前記算出手段によって算出された合成係数を参照して合成する第１合成手段、
前記算出手段によって算出された合成係数の値を前記第１合成手段によって作成された合成画像の輝度特性を参照して補正する補正手段、および
前記取得手段によって取得された複数の画像を前記補正手段によって補正された値を有する合成係数を参照して合成する第２合成手段を備える、画像処理装置。
【請求項２】
前記第１合成手段は、前記複数の画像の各々の解像度を低減して複数の低減画像を作成する低減手段、および前記低減手段によって作成された複数の低減画像に合成処理を施す合成処理手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記取得手段によって取得される複数の画像は、適正露光量に対応する第１画像，過大露光量に対応する第２画像および過小露光量に対応する第３画像を含み、
前記算出手段は、前記第２画像の輝度分布を低輝度側にシフトさせる第１シフト量を前記合成係数の一部として算出する第１シフト量算出手段、および前記第３画像の輝度分布を高輝度側に引き伸ばす第１ゲインを前記合成係数の他の一部として算出する第１ゲイン算出手段を含む、請求項１または２記載の画像処理装置。
【請求項４】
前記補正手段は、前記合成画像の輝度分布を低輝度側にシフトさせる第２シフト量を算出する第２シフト量算出手段、および前記合成画像の輝度分布を高輝度側に引き伸ばす第２ゲインを算出する第２ゲイン算出手段を含む、請求項３記載の画像処理装置。
【請求項５】
前記補正手段は、前記第２シフト量算出手段によって算出された第２シフト量を前記第１シフト量算出手段によって算出された第１シフト量に加算して得られる第３シフト量を前記合成係数の一部として算出する第３シフト量算出手段、および前記第２ゲイン算出手段によって算出された第２ゲインを前記第１ゲイン算出手段によって算出された第１ゲインに掛け算して得られる第３ゲインを前記合成係数の他の一部として算出する第３ゲイン量算出手段をさらに含む、請求項４記載の画像処理装置。
【請求項６】
撮像面で捉えられたシーンを表す画像を出力する撮像手段をさらに備え、
前記取得手段によって取得される画像は前記撮像手段から出力された画像に相当する、請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
画像処理装置のプロセッサに、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第１合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップを実行させるための、画像合成プログラム。
【請求項８】
画像処理装置によって実行される画像合成方法であって、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第１合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップを備える、画像合成方法。
【請求項９】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第１合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
互いに異なる複数の露光量にそれぞれ対応しかつ共通のシーンを各々が表す複数の画像を取得する取得ステップ、
前記取得ステップによって取得された複数の画像の少なくとも一部の輝度特性を参照して合成係数を算出する算出ステップ、
前記取得ステップによって取得された複数の画像を前記算出ステップによって算出された合成係数を参照して合成する第１合成ステップ、
前記算出ステップによって算出された合成係数の値を前記第１合成ステップによって作成された合成画像の輝度特性を参照して補正する補正ステップ、および
前記取得ステップによって取得された複数の画像を前記補正ステップによって補正された値を有する合成係数を参照して合成する第２合成ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８５０４０（Ｐ２０１３−８５０４０Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２２７１（Ｐ２０１１−２２２２７１）
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]