画像処理装置及び画像処理方法
【課題】視覚的に自然な広ダイナミックレンジ画像を生成することができる画像処理装置を提供する。
【解決手段】画素値変換部５１は、露光量を互いに異ならせて同一の被写体を複数回撮影した画像信号の画素値を、画素値変換係数Ｃoa，Ｃobに基づいて変換する。合成重み付け係数生成部５２は合成重み付け係数を生成する。差分生成部５３は、短時間露光画像データＤa1と長時間露光画像データＤb2との差分を生成する。重み付け合成部５４は、短時間露光画像データＤa1と長時間露光画像データＤb2とを合成重み付け係数を用いて合成する。制御部１１は、差分を評価して差分が小さくなるように画素値変換係数を更新する。
【解決手段】画素値変換部５１は、露光量を互いに異ならせて同一の被写体を複数回撮影した画像信号の画素値を、画素値変換係数Ｃoa，Ｃobに基づいて変換する。合成重み付け係数生成部５２は合成重み付け係数を生成する。差分生成部５３は、短時間露光画像データＤa1と長時間露光画像データＤb2との差分を生成する。重み付け合成部５４は、短時間露光画像データＤa1と長時間露光画像データＤb2とを合成重み付け係数を用いて合成する。制御部１１は、差分を評価して差分が小さくなるように画素値変換係数を更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露光量の異なる複数フレームの画像を合成してダイナミックレンジを拡大した合成画像を生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
人間の視覚が非常に広いダイナミックレンジを持っているのに対し、ビデオカメラ等の撮像装置はダイナミックレンジが狭い。このため、人物等の主要な被写体と背景とを同時に撮影する場合、主要な被写体が暗く撮影されたり、背景が白く飛んで撮影されたりして、見た目と異なった状態で撮影される場合がある。そこで、同一の被写体を、露光量を異ならせる等の異なる撮影条件で複数回撮影して、複数フレームの画像を合成することにより、画像のダイナミックレンジを拡大するという技術が知られている。
【０００３】
複数フレームの画像を合成して広ダイナミックレンジ画像を生成する場合、合成する各画像の画素値を撮影時の露光量比に基づいて整合させる必要がある。ところが、実際の撮影においては設定した露光量比で撮影することが難しく、複数フレームの画像を合成した場合の画像が切り替わる境界部で画素値が不連続になってしまう。境界部での画素値の不連続性を低減させるための技術が例えば特許文献１，２に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２２３３５０号公報
【特許文献２】特開２０１０−２７３００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２においては、複数枚の画像を合成する際に画像のヒストグラムを用いて合成する各画像の画素値の整合を図っている。ヒストグラムのような演算量の大きい処理を用い、高精度な演算を行うとすれば、回路規模が増大する。回路規模の増大はコストアップを招く。動画像を撮影するビデオカメラにおいて動画像を合成する場合には、被写体の状態は刻々と変化するため、被写体の変化に対応して素早く対応して境界部で画素値を整合させようとすると、高速の演算素子が必要となってしまう。演算量の大きい処理を高速で行おうとすれば、回路規模の増大とコストアップを避けることは難しい。
【０００６】
本発明はこのような問題点に鑑み、回路規模や演算量をさほど増大させることなく、複数フレームの画像を合成する際の境界部での画素値を連続させることができ、視覚的に自然な広ダイナミックレンジ画像を生成することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、露光量を互いに異ならせて同一の被写体を複数回撮影した第１の複数の画像信号が入力され、露光量が異なることによる前記第１の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第１の複数の画像信号の内の少なくとも１つの画像信号の画素値を変換して、第２の複数の画像信号として出力する画素値変換部（５１）と、前記第２の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成する合成重み付け係数生成部（５２）と、前記第２の複数の画像信号の差分を生成する差分生成部（５３）と、前記第２の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成する重み付け合成部（５４）と、前記差分生成部によって生成された差分を評価して、差分が小さくなるように前記画素値変換係数を更新するパラメータ更新部（１１）とを備えることを特徴とする画像処理装置を提供する。
【０００８】
上記の構成において、前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記合成重み付け係数を更新することが好ましい。
【０００９】
上記の構成において、前記境界部は複数の画素値の画素を含む領域であり、前記境界部の最も大きい画素値を上限値とし、前記境界部の最も小さい画素値を下限値としたとき、前記合成重み付け係数生成部は、前記第２の複数の画像信号における２つの画像信号を合成する合成重み付け係数として、前記上限値より大きい部分では前記２つの画像信号の内の一方の画像信号とし、前記下限値より小さい部分では前記２つの画像信号の内の他方の画像信号とし、前記上限値と前記下限値との間では、前記２つの画像信号をクロスフェードさせて混合させる合成重み付け係数を生成することが好ましい。
【００１０】
上記の構成において、前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記上限値と前記下限値とを互いの間隔が狭くなるように更新し、前記合成重み付け係数生成部は、更新された前記上限値と前記下限値とに基づいて合成重み付け係数を生成することが好ましい。
【００１１】
上記の構成において、前記差分生成部は、前記２つの画像信号における一方の画像信号を基準としたとき、基準とした前記一方の画像信号が前記上限値と前記下限値との間で他方の画像信号の差分を生成することが好ましい。
【００１２】
前記パラメータ更新部は、画面内の部分的な領域における前記第２の複数の画像信号の差分を評価してもよい。
【００１３】
また、本発明は、上述した従来の技術の課題を解決するため、露光量を互いに異ならせて同一の被写体を複数回撮影して第１の複数の画像信号を生成し（Ｓ１）、露光量が異なることによる前記第１の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第１の複数の画像信号の内の少なくとも１つの画像信号の画素値を変換して、第２の複数の画像信号を生成し（Ｓ６）、前記第２の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成し（Ｓ７）、前記第２の複数の画像信号の差分を生成し、前記第２の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成し（Ｓ８）、前記差分を評価して、差分が小さくなるように前記画素値変換係数を更新する（Ｓ５０４）ことを特徴とする画像処理方法を提供する。
【発明の効果】
【００１４】
本発明の画像処理装置及び画像処理方法によれば、回路規模や演算量をさほど増大させることなく、複数フレームの画像を合成する際の境界部での画素値を連続させることができ、視覚的に自然な広ダイナミックレンジ画像を生成することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１，第２，第４実施形態を示すブロック図である。
【図２】画素値変換部５１の動作を説明するための図である。
【図３】多重露光画像合成部５０１，５０３，５０６，５０７の動作を説明するための図である。
【図４】重み付け合成部５４における重み付け合成動作を説明するための図である。
【図５】各実施形態の全体的な動作を示すフローチャートである。
【図６】図５におけるステップＳ５であり、第１実施形態によるステップＳ５１の具体的な処理を示すフローチャートである。
【図７】図５におけるステップＳ７の具体的な処理を示すフローチャートである。
【図８】図５におけるステップＳ５であり、第２実施形態によるステップＳ５２の具体的な処理を示すフローチャートである。
【図９】第３実施形態を示すブロック図である。
【図１０】図５におけるステップＳ５であり、第３実施形態によるステップＳ５３の具体的な処理を示すフローチャートである。
【図１１】第４実施形態を示すブロック図である。
【図１２】図５におけるステップＳ５であり、第４実施形態によるステップＳ５４の具体的な処理を示すフローチャートである。
【図１３】第５実施形態を示すブロック図である。
【図１４】図５におけるステップＳ５であり、第５実施形態によるステップＳ５５の具体的な処理を示すフローチャートである。
【図１５】第６実施形態を示すブロック図である。
【図１６】図５におけるステップＳ５であり、第６実施形態によるステップＳ５６の具体的な処理を示すフローチャートである。
【図１７】第７実施形態を示すブロック図である。
【図１８】図５におけるステップＳ５であり、第７実施形態によるステップＳ５７の具体的な処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の画像処理装置及び画像処理方法の各実施形態について、添付図面を参照して説明する。各実施形態は、ビデオカメラに画像処理装置を搭載した例を示している。
【００１７】
＜第１実施形態＞
図１において、ビデオカメラ１０１は、撮像部１，入力信号処理部２，多重露光画像出力部３，バッファメモリ４，多重露光画像合成部５０１，ダイナミックレンジ圧縮部６，バッファメモリ７，圧縮伸張処理部８，出力信号処理部９，表示部１０，制御部１１，ＲＡＭ１２，ＲＯＭ１３，記録再生部１４，操作スイッチ１５を備える。多重露光画像合成部５０１は、画素値変換部５１，合成重み付け係数生成部５２，差分生成部５３，重み付け合成部５４を備える。画素値変換部５１は、画素値変換部５１ａ，５１ｂを含む。
【００１８】
撮像部１は、レンズや絞り等の光学系、ＣＣＤやＣＭＯＳ等の撮像素子、露出やピントの制御機構等を備えている。撮像部１は、レンズを介して撮像素子に入力された光情報を所定のタイミングで電気信号として取り出し、電気信号を入力信号処理部２に供給する。撮像部１は、制御部１１による制御に基づいて、撮像素子のダイナミックレンジより広いダイナミックレンジの画像を生成するため、同一の被写体を異なる撮像条件で複数回に分けて撮影する、いわゆる多重露光を行う。第１実施形態では、異なる撮影条件として露光量を異ならせて撮影する。
【００１９】
露光量を異ならせるためには、シャッタスピードを調節して露光時間を異ならせたり、絞り値を調節したり、両者を組み合わせたりすればよい。第１実施形態では、シャッタスピードを速くした短時間露光による画像と、シャッタスピードを遅くした長時間露光による画像との２枚の画像を撮影して、両者を合成するものとする。なお、長時間露光による撮影の際にフレームレートに合わせてシャッタスピードを固定とし、短時間露光画像の高輝度部分が大幅に飽和しないよう露出を制御しながら撮影をすることが好ましい。
【００２０】
撮像部１は、短時間露光画像の電気信号と長時間露光画像の電気信号とをいずれかの順で入力信号処理部２に供給する。入力信号処理部２は、入力された電気信号をＡ／Ｄ変換し、ＲＧＢの３原色信号に変換して、ホワイトバランス調整，ゲイン調整，ガンマ処理等の各種の信号処理を施して、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換する。短時間露光画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒと、長時間露光画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒとは、多重露光画像出力部３に順次入力される。ＲＧＢ信号を輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換すると、データ量が削減されるので必要となるメモリ容量を削減することができる。この際、色差信号Ｃｂ，Ｃｒの帯域を制限して時間軸多重することにより、データ量をさらに削減することができる。
【００２１】
多重露光画像出力部３は、先に入力された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、バッファメモリ４を用いて１垂直走査期間だけ遅延させる。そして、多重露光画像出力部３は、短時間露光画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（以下、短時間露光画像データＤａと称する）と、長時間露光画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（以下、長時間露光画像データＤｂと称する）とを同じタイミングに揃えて多重露光画像合成部５０１に供給する。この際、動きベクトルを用いてバッファメモリ４からのデータの読み出し開始アドレスを制御することにより、短時間露光画像データＤａ及び長時間露光画像データＤｂの画面ぶれを補正することが好ましい。
【００２２】
短時間露光画像データＤａは画素値変換部５１ａに入力され、長時間露光画像データＤｂは画素値変換部５１ｂに入力される。画素値変換部５１ａには、制御部１１によって画素値変換係数Ｃoaが設定され、画素値変換部５１ｂには、制御部１１によって画素値変換係数Ｃobが設定される。画素値変換係数Ｃoa，Ｃobは画像合成の際に用いるパラメータの１つである。以下、変換係数Ｃoa，Ｃobと略記する。
【００２３】
変換係数Ｃoa，Ｃobは、後述するように、仮設定された変換係数から順次補正された変換係数へと変更されていく。変換係数Ｃoa，Ｃobの一方を固定の変換係数とし、他方を順次補正された変換係数へと変更するようにしてもよい。第１実施形態では、短時間露光画像データＤａに対する変換係数Ｃoaを固定とし、長時間露光画像データＤｂに対する変換係数Ｃobを順次変更する。
【００２４】
短時間露光画像データＤａ及び長時間露光画像データＤｂを例えば１０ビットのデジタルデータであるとする。画素値変換部５１ａは、変換係数Ｃoaに基づいて、入力された１０ビットの短時間露光画像データＤａを６４倍して１６ビットのデジタルデータに変換する。第１実施形態では、短時間露光画像の高輝度部分が大幅に飽和しないよう露出が制御されているため、短時間露光画像データＤａの画素値を画像合成後のフルダイナミックレンジに正規化させるよう、変換係数Ｃoaとして固定のゲイン値を設定している。図２（Ａ）は、１６ビットに変換後の短時間露光画像データＤa1の特性ａ１を示している。横軸は被写体の明るさ、縦軸は画素値（輝度値）である。
【００２５】
画素値変換部５１ｂは、まず、入力された１０ビットの長時間露光画像データＤｂを１６ビットのデジタルデータに変換する。図２（Ｂ）は、１６ビットに変換後の長時間露光画像データＤb1の特性ｂ１を示している。図２（Ｂ）に示すように、長時間露光画像データＤb1の特性ｂ１は、所定の明るさ以上で画素値が飽和している特性である。画素値変換部５１ｂは、次に、特性ｂ１の非飽和領域の傾きを特性ａ１の傾きと一致させて、互いの画素値を合わせるために、特性ｂ１を短時間露光画像データＤａ（Ｄa1）と長時間露光画像データＤｂ（Ｄb1）との露光量比に応じて画素値を変換して特性ｂ２の長時間露光画像データＤb2とする。長時間露光画像データＤｂの露光量が短時間露光画像データＤａの露光量のｎ倍であれば、特性ｂ１の画素値を１／ｎ倍すればよい。
【００２６】
長時間露光画像データＤb1の画素値を露光量比に応じて変換するのは、上記のように正規化した短時間露光画像データＤa1の領域に、長時間露光画像データＤb2をマッピングさせるためである。長時間露光画像データＤｂに対する変換係数Ｃobは、ビット数変換及び露光量比に応じて画素値を変換するための変換係数である。
【００２７】
画素値変換部５１ａ，５１ｂが短時間露光画像データＤａ及び長時間露光画像データＤｂを１０ビットから１６ビットに変換するのは必須ではない。画素値変換部５１ａ，５１ｂは、少なくとも、短時間露光画像データＤａと長時間露光画像データＤｂとの一方を基準として、被写体の明るさに対する画素値の特性の傾きを一致させて互いの画素値を合わせるよう、露光量比に応じて画素値を変換すればよい。
【００２８】
図２（Ａ），（Ｂ）では、ガンマ補正を省略して特性ａ１を直線で、特性ｂ１，ｂ２を直線の折れ線にて示しているが、実際には、画素値変換部５１ａ，５１ｂに入力される短時間露光画像データＤａ及び長時間露光画像データＤｂはガンマ補正が施されている。そこで、制御部１１は、短時間露光画像データＤａ及び長時間露光画像データＤｂそれぞれ標準ガンマ変換による画素値の変化量を求める。制御部１１は、求めた変化量に基づいて仮の補正値を設定し、露光量比をゲインとした変換係数Ｃobに対して仮の補正値を加えて変換係数Ｃobを補正する。
【００２９】
図３を用いて、ガンマ補正を考慮した変換係数Ｃobの補正について説明する。図３は、図２（Ａ），（Ｂ）における合成の境界部であるポイントＰａ，Ｐｂの近傍を拡大して示している。図３では、ガンマ補正が施された状態の特性ａ１，ｂ２を示している。特性ｂ２は、補正値を加えていない状態の変換係数Ｃobによって画素値が変換された長時間露光画像データＤb2の特性である。制御部１１は、短時間露光画像データＤa1と長時間露光画像データＤb2とを合成する際の境界部を設ける範囲として、高輝度側の上限値ＴhHと低輝度側の下限値ＴhLを設定する。境界部は、上限値ＴhHを最大の画素値、下限値ＴhLを最小の画素値として、複数の画素値の画素を含む領域となっている。
【００３０】
図２（Ａ），（Ｂ）では便宜上ポイントＰａ，Ｐｂで合成するように示しているが、短時間露光画像データＤa1と長時間露光画像データＤb2とは、上限値ＴhHと下限値ＴhLとの間の境界部を合成領域として合成される。上限値ＴhHと下限値ＴhLは、画像合成の際に用いるパラメータの１つである。
【００３１】
一例として、初期の仮設定として、特性ｂ２の飽和領域の画素値に対して、３／４を上限値ＴhHに、１／２を下限値ＴhLに設定する。飽和領域の画素値は厳密には一定値ではないが、適宜設定すればよい。画素値変換部５１ａ，５１ｂで設定している変換係数Ｃoa，Ｃobの比によって長時間露光画像データＤb2のデータが取り得る範囲を算出でき、飽和領域の画素値も算出することができる。従って、制御部１１は、上限値ＴhHと下限値ＴhLとをそれぞれ適切な画素値に設定することができる。後述するように、上限値ＴhHと下限値ＴhLは合成領域を順次狭くするように補正される。
【００３２】
第１実施形態においては、特性ｂ２で示す長時間露光画像データＤb2を上限値ＴhHと下限値ＴhLとの中央の画素値に近付けた特性ｂ20とするよう、変換係数Ｃobを補正する。なお、図３の横軸に示す被写体の明るさによって中央の画素値に補正する補正量が異なるが、平均値として中央の画素値に変位させるような補正量とすればよい。
【００３３】
画素値変換部５１ａ，５１ｂにおいて、短時間露光画像データＤａと長時間露光画像データＤｂとの一方をオフセットさせて画素値を変換することもある。同一の被写体を異なる撮像条件で３回以上に分けて撮影して合成する場合には、ゲインの変更のみでは画素値を整合させることが困難な場合がある。この場合には、画素値のオフセットを併用することが好ましい。
【００３４】
多重露光画像合成部５０１は、以上のように画素値が変換された短時間露光画像データＤa1と長時間露光画像データＤb2とを合成する。概念的には、多重露光画像合成部５０１は、図２（Ｂ）に示す長時間露光画像データＤb2の特性ｂ２における画素値０から所定のポイントＰｂの画素値までの領域ＡＲｂと、図２（Ａ）に示す短時間露光画像データＤa1の特性ａ１におけるポイントＰａの画素値以上の領域ＡＲａとを合成する。領域ＡＲｂは図３における特性ｂ20の実線部分に相当し、領域ＡＲａは特性ａ１の実線部分に相当する。多重露光画像合成部５０１は、後述する動作によってポイントＰａの画素値とポイントＰｂの画素値とを極力一致させるようにして、境界部での画素値を連続させる。
【００３５】
画素値変換部５１ａ，５１ｂより出力された画素値が変換された短時間露光画像データＤa1及び長時間露光画像データＤb2は、合成重み付け係数生成部５２，差分生成部５３，重み付け合成部５４に入力される。合成重み付け係数生成部５２は、短時間露光画像データＤa1と長時間露光画像データＤb2とを合成する際に用いる合成重み付け係数を生成する。短時間露光画像データＤa1に対する合成重み付け係数を合成重み付け係数Ｗａ、長時間露光画像データＤb2に対する合成重み付け係数を合成重み付け係数Ｗｂとする。合成重み付け係数Ｗａ，Ｗｂは、画像合成の際に用いるパラメータの１つである。
【００３６】
合成重み付け係数生成部５２には、制御部１１より上限値ＴhHと下限値ＴhLとが入力される。合成重み付け係数生成部５２は、短時間露光画像データＤa1と長時間露光画像データＤb2との一方を基準として、合成重み付け係数Ｗａと合成重み付け係数Ｗｂとを生成する。まず、長時間露光画像データＤb2を基準とした場合について説明する。長時間露光画像データＤb2におけるフレーム内の画素の位置を（ｉ，ｊ）とし、それぞれの位置（ｉ，ｊ）における画素値をＹｂ（ｉ，ｊ）とする。ここでの画素値は輝度値である。それぞれの画素の位置（ｉ，ｊ）における合成重み付け係数Ｗｂ，Ｗａは次の（１），（２）式で表すことができる。
【００３７】
【数１】
【００３８】
短時間露光画像データＤa1を基準とした場合には、短時間露光画像データＤa1におけるフレーム内の画素の位置を同様に（ｉ，ｊ）とし、それぞれの位置（ｉ，ｊ）における画素値（輝度値）をＹａ（ｉ，ｊ）とする。それぞれの画素の位置（ｉ，ｊ）における合成重み付け係数Ｗａと合成重み付け係数Ｗｂは次の（３），（４）式で表すことができる。基準とする画像信号は、長時間露光画像データＤb2と短時間露光画像データＤa1とのいずれでもよい。即ち、合成重み付け係数Ｗａ，Ｗｂを、（１），（２）式で求めてもよいし、（３），（４）式で求めてもよい。
【００３９】
【数２】
【００４０】
以上のように求めた合成重み付け係数Ｗａ，Ｗｂは、重み付け合成部５４に入力される。
【００４１】
差分生成部５３は、入力された短時間露光画像データＤa1と長時間露光画像データＤb2との輝度信号Ｙの差分値を生成する。制御部１１は、差分値に対して正の閾値と負の閾値を設定している。差分生成部５３は、正の閾値と負の閾値それぞれを超えた差分値をカウントし、差分カウント値Ｄdfcを生成する。
【００４２】
図３を用いて差分生成部５３における差分生成動作について説明する。差分生成部５３は、短時間露光画像データＤa1と長時間露光画像データＤb2との内のいずれか一方を基準として両者の差分を求める。この際、制御部１１から入力される上限値ＴhHと下限値ＴhLとの範囲内で差分を求めることが好ましい。短時間露光画像データＤa1を基準とした場合、差分生成部５３は、図３に示すように、特性ａ１で示す短時間露光画像データＤa1の下限値ＴhLに相当するポイントＰa1の画素値（輝度値）から上限値ＴhHに相当するポイントＰa2の画素値（輝度値）までの範囲で、特性ｂ20で示す長時間露光画像データＤb2とのフレーム内の画素の位置ごとの差分を求める。
【００４３】
差分生成部５３は、ポイントＰa1の画素値から、ポイントＰa1に対応したフレーム内の画素の位置である長時間露光画像データＤb2のポイントＰb1の画素値を減算して差分値を求める。上記は一例として対応した画素位置における長時間露光画像データＤb2の画素値がＰb1であった場合についての説明である。同様に、差分生成部５３は、ポイントＰa2の画素値から、ポイントＰa2に対応したフレーム内の画素の位置である長時間露光画像データＤb2のポイントＰb2の画素値を減算して差分値を求める。上記は一例として対応した画素位置における長時間露光画像データＤb2の画素値がＰb2であった場合についての説明である。図３では図示を省略しているが、差分生成部５３は、ポイントＰa1とポイントＰa2との間に位置しているそれぞれの画素に対しても差分値を求める。差分生成部５３はこのようにして求めた差分値に基づいて、正の閾値と負の閾値それぞれを超えた差分カウント値Ｄdfcを生成する。
【００４４】
上限値ＴhHと下限値ＴhLとの間の合成領域で差分カウント値Ｄdfcを生成するのは、上記のように標準ガンマ変換による画素値の変化量に基づいて仮に設定した補正値を加えた変換係数Ｃobが適切であるか否かを判断するためである。差分カウント値Ｄdfcが大きければ、合成領域において、特性ａ１で示す短時間露光画像データＤa1と特性ｂ20で示す長時間露光画像データＤb2とがずれていることを示している。この場合には、変換係数Ｃobをさらに補正することが必要となる。差分生成部５３が上限値ＴhHと下限値ＴhLとの間の合成領域のみで差分値を生成して差分カウント値Ｄdfcを求めることにより、合成領域以外の誤差を除外して、合成領域における差分を正確に求めることができる。また、不必要な部分の差分を求めないので計算が簡略化され、データ量を削減することも可能となる。
【００４５】
差分生成部５３が生成した差分カウント値Ｄdfcは制御部１１に入力される。制御部１１は、短時間露光画像データＤa1と長時間露光画像データＤb2との差分が大きいか否かを判断する一例として、上記のように求めた差分カウント値Ｄdfcを用いる。差分カウント値Ｄdfcが大きければ、短時間露光画像データＤa1と長時間露光画像データＤb2とがずれていることになる。
【００４６】
制御部１１は、差分カウント値Ｄdfcに応じて画素値変換部５１ｂに供給する変換係数Ｃobを補正する。変換係数Ｃobを補正した結果、カウント値が小さくなる方向に変化した場合には、制御部１１は、上限値ＴhHと下限値ＴhLとの互いの間隔が狭くなるように、上限値ＴhHに下限値ＴhLを近付けるように更新する。上限値ＴhHと下限値ＴhLとが更新されると、合成重み付け係数生成部５２で生成する合成重み付け係数Ｗａ，Ｗｂが更新される。制御部１１は、変換係数Ｃob、上限値ＴhHと下限値ＴhL、合成重み付け係数Ｗａ，Ｗｂの各パラメータを更新するパラメータ更新部として動作している。
【００４７】
重み付け合成部５４は、画素値変換部５１ａ，５１ｂより供給された短時間露光画像データＤa1と長時間露光画像データＤb2とを、合成重み付け係数Ｗａ，Ｗｂとを用いて重み付け合成する。図４は、重み付け合成部５４における重み付け合成を概念的に示している。横軸は画素値、縦軸は混合比である。即ち、合成重み付け係数Ｗａ，Ｗｂを（１），（２）式で生成した場合を示している。混合比１は１００％であり、短時間露光画像データＤa1と長時間露光画像データＤb2との一方のみを用いることを示す。
【００４８】
重み付け合成部５４は、図４に示すように、画素値が０から下限値ＴhLまでは長時間露光画像データＤb2（実線）のみとし、下限値ＴhLから上限値ＴhHまでは長時間露光画像データＤb2が１から０となるまで順次減少させる一方で短時間露光画像データＤa1（破線）を０から１まで順次増加させるように混合する。重み付け合成部５４は、上限値ＴhHを超えたら、短時間露光画像データＤa1のみとする。なお、（１），（３）式におけるＹｂ（ｉ，ｊ）がＴhL以上ＴhH以下で用いる式は図４における短時間露光画像データＤa1と長時間露光画像データＤb2とをクロスフェードさせる際の傾きを表す。
【００４９】
なお、重み付け合成部５４は、短時間露光画像データＤa1と長時間露光画像データＤb2とを、輝度信号Ｙと色差信号Ｃｂ，Ｃｒそれぞれで合成重み付け係数Ｗａ，Ｗｂを用いて重み付け合成する。輝度信号Ｙに基づいて生成した合成重み付け係数Ｗａ，Ｗｂを色差信号Ｃｂ，Ｃｒの合成にも用いればよい。
【００５０】
制御部１１は、上記のように直前のフレームにおいて評価した差分カウント値Ｄdfcによって変換係数Ｃobを補正し、上限値ＴhHと下限値ＴhLとを更新し、合成重み付け係数Ｗａ，Ｗｂを更新する動作を合成画像のフレーム単位で繰り返す。すると、変換係数Ｃobは順次最適化されていき、上限値ＴhHと下限値ＴhLとの間の合成領域で短時間露光画像データＤa1と長時間露光画像データＤb2との画素値は順次近付いていく。しかも、合成領域が順次狭くなっていくことから、短時間露光画像データＤa1と長時間露光画像データＤb2とは上限値ＴhHと下限値ＴhLとの中央部の極めて狭い範囲で混合される。これにより、合成画像は境界部での画素値が連続して、自然な広ダイナミックレンジ画像となる。
【００５１】
図１に戻り、重み付け合成部５４より出力された広ダイナミックレンジ画像データＤHDRは、ダイナミックレンジ圧縮部６に入力される。ダイナミックレンジ圧縮部６は、広ダイナミックレンジ画像データＤHDRを通常の画像処理回路で扱うことができる画像データに変換するためにダイナミックレンジを圧縮する。第１実施形態では、ダイナミックレンジ圧縮部６は、Retinex理論に基づいた階調補正によって広ダイナミックレンジ画像データＤHDRのダイナミックレンジを圧縮して、圧縮広ダイナミックレンジ画像データＤCHDRを生成する。
【００５２】
バッファメモリ７は、広ダイナミックレンジ画像データＤHDRまたは圧縮広ダイナミックレンジ画像データＤCHDRを一時的に保持しておくメモリである。圧縮伸張処理部８は、バッファメモリ７に保持させた圧縮広ダイナミックレンジ画像データＤCHDRをＪＰＥＧ，ＭＰＥＧ等の圧縮方式によって圧縮処理して符号化データを生成する。符号化データは制御部１１によって記録再生部１４に記録される。また、圧縮伸張処理部８は、制御部１１が記録再生部１４に記録された符号化データを読み出した場合に、符号化データを伸張処理する。
【００５３】
出力信号処理部９は、圧縮広ダイナミックレンジ画像データＤCHDRを表示部１０で表示可能な形式に変換して表示部１０に入力する。また、出力信号処理部９は、図示していないディスプレイ装置等の外部機器に供給するために、外部機器のフォーマットやサイズに合わせて圧縮広ダイナミックレンジ画像データＤCHDRを変換する。一例として、出力信号処理部９は圧縮広ダイナミックレンジ画像データＤCHDRをＮＴＳＣ信号に変換する。
【００５４】
制御部１１はビデオカメラ１０１の全体を制御する。制御部１１はＣＰＵによって構成することができる。上記のように、制御部１１は、変換係数Ｃoa，Ｃobを生成して画素値変換部５１ａ，５１ｂに供給し、上限値ＴhH及び下限値ＴhLを生成して合成重み付け係数生成部５２及び差分生成部５３に供給する。制御部１１は、画像合成処理に必要なその他の各種のパラメータも生成または設定する。また、制御部１１は、表示部１０に表示する画像データや外部出力する画像データに重畳するキャラクタデータを生成して、出力信号処理部９に供給する。
【００５５】
制御部１１には、制御部１１の作業用メモリであるＲＡＭ１２が接続されている。ＲＯＭ１３には、制御部１１を動作させるためのプログラムが記憶されている。制御部１１は、ＲＯＭ１３に記憶されたプログラムに基づいてビデオカメラ１０１を制御する。記録再生部１４は、ハードディスクドライブや半導体メモリ等の任意の記録媒体であり、制御部１１によって記録再生が制御される。制御部１１には操作スイッチ１５が接続されており、操作スイッチ１５による操作信号は制御部１１に入力される。操作スイッチ１５はリモートコントローラであってもよい。
【００５６】
第１実施形態の画像処理装置は、ハードウェアで構成してもよいし、ソフトウェア（コンピュータプログラム）で構成してもよい。両者を混在させて構成してもよい。
【００５７】
図５〜図７に示すフローチャートを用いて、ビデオカメラ１０１で実行される画像処理動作についてさらに説明する。図５は第１実施形態及び後述する第２〜第７実施形態で実行される画像処理動作の全体を示している。図５において、撮像部１は、ステップＳ１にて、同一の被写体を設定されたシャッタスピードで多重露光する。入力信号処理部２は、ステップＳ２にて、多重露光画像信号を取り込む。入力信号処理部２は、ステップＳ３にて、ＲＧＢ信号を生成して、Ｙ，Ｃｂ，Ｃｒ信号に変換する。多重露光画像出力部３は、ステップＳ４にて、短時間露光画像データＤａと長時間露光画像データＤｂとを揃えて出力する。制御部１１は、ステップＳ５にて、変換係数Ｃoa，Ｃobを算出する。ステップＳ５の具体的な処理は後述する。
【００５８】
画素値変換部５１ａ，５１ｂは、ステップＳ６にて、変換係数Ｃoa，Ｃobに基づいて短時間露光画像データＤａと長時間露光画像データＤｂの画素値を変換する。合成重み付け係数生成部５２は、ステップＳ７にて、画素値が変換された短時間露光画像データＤa1と長時間露光画像データＤb2とを合成するための合成重み付け係数Ｗａ，Ｗｂを算出する。ステップＳ７の具体的な処理は後述する。重み付け合成部５４は、ステップＳ８にて、短時間露光画像データＤa1と長時間露光画像データＤb2とを、合成重み付け係数Ｗａ，Ｗｂとを用いて重み付けして合成する。
【００５９】
ダイナミックレンジ圧縮部６は、ステップＳ９にて、広ダイナミックレンジ画像データＤHDRのダイナミックレンジを圧縮する。制御部１１は、ステップＳ１０にて、圧縮広ダイナミックレンジ画像データＤCHDRを圧縮し、符号化後に記録再生部１４に記録したり、圧縮広ダイナミックレンジ画像データＤCHDRを表示部１０に表示したりする。制御部１１は、ステップＳ１１にて、画像合成の指示が終了したか否かを判定する。多重露光した画像を合成するか否かは操作スイッチ１５の操作によって切り換えることができる。画像合成の指示が終了していないと判定されればステップＳ１に戻り、終了したと判定されれば合成処理の動作を終了する。
【００６０】
図６を用いて、図５のステップＳ５における変換係数Ｃoa，Ｃobの算出処理の詳細について説明する。第１実施形態で実行されるステップＳ５をステップＳ５１と称することとする。図６において、制御部１１は、ステップＳ５０１にて、短時間露光画像データＤａに対する変換係数Ｃoaを仮設定する。前述のように、変換係数Ｃoaは、１０ビットの短時間露光画像データＤａを１６ビットのデジタルデータに変換する固定のゲイン値でよい。仮設定としたが、第１実施形態では変換係数Ｃoaは更新されない。制御部１１は、ステップＳ５０２にて、長時間露光画像データＤｂに対する変換係数Ｃobを仮設定する。前述のように、変換係数Ｃobは、１０ビットの長時間露光画像データＤｂを１６ビットのデジタルデータに変換して、さらに露光量比に応じて画素値を変換するための係数である。
【００６１】
制御部１１は、ステップＳ５０３にて、変換係数Ｃobを、ガンマ処理によるゲイン変化分だけ補正する。ここでの補正は、短時間露光画像データＤａ及び長時間露光画像データＤｂそれぞれ標準ガンマ変換による画素値の変化量に基づいた仮の補正である。制御部１１は、ステップＳ５０４にて、ステップＳ５０９，Ｓ５１１における短時間露光画像データＤa1と長時間露光画像データＤb2との差分値Ｄdfの評価結果に基づいて変換係数Ｃobを追加補正する。
【００６２】
制御部１１は、ステップＳ５０５にて、差分生成部５３が生成する差分値に対して正の閾値と負の閾値を設定する。制御部１１は、ステップＳ５０６にて、差分生成部５３が生成した差分カウント値Ｄdfcを取り込む。制御部１１は、ノイズ等による差分値Ｄdfの急激な変化を除外するため、ステップＳ５０７にて、差分カウント値Ｄdfcを平滑化する。図１及び図６では差分カウント値Ｄdfcと総称しているが、ここでは便宜的に、正の閾値を越えた差分カウント値Ｄdfcを差分カウント値Ｄdfc(+)、負の閾値を越えた差分カウント値Ｄdfcを差分カウント値Ｄdfc(-)と称することとする。
【００６３】
制御部１１は、ステップＳ５０８にて、正の閾値を越えた差分カウント値Ｄdfc(+)が制御部１１に予め設定した評価用規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、即ち、規定値を超えた場合には、制御部１１は、ステップＳ５０９にて、変換係数Ｃobを増加させるよう設定して、処理をステップＳ５０４に移行させる。規定値以内であると判定されれば（YES）、制御部１１は、ステップＳ５１０にて、負の閾値を越えた差分カウント値Ｄdfc(-)が制御部１１に予め設定した評価用規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、即ち、規定値を超えた場合には、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定して、処理をステップＳ５０４に移行させる。規定値以内であると判定されれば（YES）、制御部１１は、ステップＳ５１２にて、仮設定された変換係数Ｃobを維持して、処理をステップＳ５０４に移行させる。
【００６４】
次に、図７を用いて、図５のステップＳ７における合成重み付け係数Ｗａ，Ｗｂを算出処理の詳細について説明する。図７において、制御部１１は、ステップＳ７０１にて、図３で説明した合成領域の上限値ＴhHを仮設定する。制御部１１は、ステップＳ７０２にて、図３で説明した合成領域の下限値ＴhLを仮設定する。制御部１１は、ステップＳ７０３にて、図６で説明した差分カウント値Ｄdfcが規定値以内であるか否かによって上限値ＴhHと下限値ＴhLとを更新するか否かを判定する。更新すると判定されれば（YES）、制御部１１は、ステップＳ７０４にて、変換係数Ｃobの変化が少なくなって安定しているか否かを判定する。更新すると判定されなければ（NO）、制御部１１は、処理をステップＳ７０７に移行させる。
【００６５】
ステップＳ７０４にて変換係数Ｃobが安定していると判定されれば（YES）、制御部１１は、ステップＳ７０５にて、差分カウント値Ｄdfc（差分カウント値Ｄdfc(+)，Ｄdfc(-)）の変化が少なくなって安定しているか否かを判定する。変換係数Ｃobが安定していると判定されなければ（NO）、制御部１１は、処理をステップＳ７０７に移行させる。ステップＳ７０５にて差分カウント値Ｄdfcが安定していると判定されれば（YES）、制御部１１は、ステップＳ７０６にて、合成領域を狭くするよう上限値ＴhHと下限値ＴhLとを更新する。差分カウント値Ｄdfcが安定していると判定されなければ（NO）、制御部１１は、処理をステップＳ７０７に移行させる。
【００６６】
引き続き、制御部１１は、ステップＳ７０７にて、長時間露光画像データＤb2が基準になっているか否かを判定する。長時間露光画像データＤb2が基準になっていると判定されれば（YES）、制御部１１は、ステップＳ７０８にて、長時間露光画像データＤb2に対する合成重み付け係数Ｗｂを生成し、ステップＳ７０９にて、短時間露光画像データＤa1に対する合成重み付け係数Ｗａを生成する。長時間露光画像データＤb2が基準になっていると判定されなければ（NO）、制御部１１は、ステップＳ７１０にて、合成重み付け係数Ｗａを生成し、ステップＳ７１１にて、合成重み付け係数Ｗｂを生成する。
【００６７】
以上のように、第１実施形態においては、図５のステップＳ１〜Ｓ７を繰り返すことによって、変換係数Ｃobと合成重み付け係数Ｗａ，Ｗｂが好ましい状態に収束していく。結果として、重み付け合成部５４が図５のステップＳ８にて出力する広ダイナミックレンジ画像データＤHDRは、境界部での画素値が連続して視覚的に自然な画像となる。以上の説明より分かるように、第１実施形態においては、短時間露光画像データＤa1と長時間露光画像データＤb2との差分値に基づいた差分カウント値Ｄdfcを求めて、変換係数Ｃobと合成重み付け係数Ｗａ，Ｗｂとが収束するまで更新していけばよいため、回路規模や演算量は少なくてよい。よって、コストアップはほとんどなく、あってもわずかである。
【００６８】
＜第２実施形態＞
第２実施形態の構成は図１に示す構成と同様である。第２実施形態は、図５におけるステップＳ５を図８に示すステップＳ５２としたものである。図８において、図６と同一部分には同一符号を付し、その説明を省略する。図８に示すように、ステップＳ５２は、図６に示すステップＳ５１におけるステップＳ５０１とステップＳ５０２との間にステップＳ５１３を設けたものである。
【００６９】
短時間露光画像データＤａと長時間露光画像データＤｂとの露光量比によっては、合成画像の多くの領域を短時間露光画像データＤａが占めることになる。すると、ノイズが少ない長時間露光画像データＤｂが占める領域が少なくなり、長時間露光画像データＤｂによる効果が十分に発揮されない。そこで、制御部１１は、第２実施形態によるステップＳ５２においては、ステップＳ５１３にて、ステップＳ５０１にて６４倍に仮設定した変換係数Ｃoaの倍数を増加させるよう設定する。制御部１１は、例えば短時間露光画像データＤａを１００倍にするよう変換係数Ｃoaを増加させる。この際、短時間露光画像データＤａの高輝度側が飽和しないよう入力信号処理部２において短時間露光画像データＤａのニー特性を変更することが好ましい。
【００７０】
変換係数Ｃoaを増加設定したことにより、短時間露光画像データＤａをガンマ処理した場合の画素値の変化量は、ステップＳ５１４を設けない場合と比較して異なることになる。従って、変換係数Ｃobの補正値も変換係数Ｃoaの増加設定に対応させて適切な値とする。
【００７１】
第２実施形態によれば、合成画像における長時間露光画像データＤｂが占める領域を多くすることができ、ノイズの少ない合成画像を得ることができる。
【００７２】
＜第３実施形態＞
図９及び図１０を用いて第３実施形態の構成及び動作について説明する。第３実施形態は、図５におけるステップＳ５を図１０に示すステップＳ５３としたものである。図９において図１と同一部分には同一符号を付し、図１０において図６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図９において、ビデオカメラ１０３は、図１における多重露光画像合成部５０１の代わりに多重露光画像合成部５０３を設けている。多重露光画像合成部５０３は、差分生成部５３より出力された画面（フレーム）全体における差分カウント値Ｄdfcの内、部分的な特定の領域内の差分カウント値Ｄdfcpを出力する差分領域設定部５５を有する。ここでも便宜的に、正の閾値を越えた差分カウント値Ｄdfcpを差分カウント値Ｄdfcp(+)、負の閾値を越えた差分カウント値Ｄdfcpを差分カウント値Ｄdfcp(-)と称することとする。
【００７３】
画面内の特定の領域は、例えば画面の中央部である。ユーザが操作スイッチ１５によって特定の領域を指定してもよい。また、図示していない顔検出部によって検出された顔の領域を特定の領域とすることもできる。
【００７４】
第３実施形態においては、図１０に示すように、制御部１１は、ステップＳ５０５の後、ステップＳ５０６３にて、差分領域設定部５５から出力された部分的な領域からの差分カウント値Ｄdfcpを取り込む。制御部１１は、ステップＳ５０７３にて差分カウント値Ｄdfcpを平滑化する。制御部１１は、ステップＳ５０８３にて、正の差分カウント値Ｄdfcp(+)が制御部１１に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１０にて、変換係数Ｃobを増加させるよう設定する。制御部１１は、ステップＳ５１０３にて、負の差分カウント値Ｄdfcp(-)が制御部１１に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定する。ステップＳ５０６３にて部分的な領域からの差分カウント値Ｄdfcpを取り込むことから、図１０のステップＳ５０８３，Ｓ５１０３で用いる規定値は図６のステップＳ５０８，Ｓ５１０で用いる規定値とは異ならせる必要がある。
【００７５】
第３実施形態によれば、短時間露光画像データＤa1と長時間露光画像データＤb2とが合成領域で画素値が近接したか否かを部分的な領域からの差分カウント値Ｄdfcpに基づいて判断するので、データ量を削減することができ、合成のための各種パラメータが収束するまでの時間も短くすることができる。画面全体の差分カウント値Ｄdfcの代わりに部分的な領域からの差分カウント値Ｄdfcpを用いることから、境界部で画素値を連続させる精度は第１実施形態の方がよい。しかしながら、ユーザが画面内で注目する中央部や顔の領域を特定の領域とすることにより、実質的に精度の差は問題にならない。
【００７６】
第３実施形態においても、図１０のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。
【００７７】
＜第４実施形態＞
図１１及び図１２を用いて第４実施形態の構成及び動作について説明する。第４実施形態は、図５におけるステップＳ５を図１２に示すステップＳ５４としたものである。図１１において図１と同一部分には同一符号を付し、図１２において図６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図１１において、ビデオカメラ１０４は、図１における多重露光画像合成部５０１の代わりに多重露光画像合成部５０４を設けている。多重露光画像合成部５０４においては、差分生成部５３が第１実施形態の差分カウント値Ｄdfcを出力するのではなく、差分値Ｄdf自体を出力するように構成している。第４実施形態においては、制御部１１は差分値Ｄdfに基づく代表値を直接評価する。
【００７８】
図１２において、制御部１１は、ステップＳ５０５４にて、後述する差分平均値Ｄdfavgに対する閾値を設定する。ここで設定する閾値は、差分平均値Ｄdfavgの変動に過敏に追従しないよう、差分平均値Ｄdfavgが閾値以下の場合には変換係数Ｃobを増減させにようにするためのものである。制御部１１は、ステップＳ５０６４にて、差分値Ｄdfを取り込む。制御部１１は、ステップＳ５０７４にて、差分値Ｄdfを平滑化し、平均値化して差分平均値Ｄdfavgを生成する。制御部１１は、差分平均値Ｄdfavgを差分値Ｄdfの評価のための代表値とする。差分値Ｄdfを平均値化する代わりに、差分値Ｄdfを加算した差分加算値を代表値としてもよい。
【００７９】
図１２において、制御部１１は、ステップＳ５０８４にて、差分平均値Ｄdfavgが制御部１１に予め設定した正の規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５０９にて、変換係数Ｃobを増加させるよう設定する。制御部１１は、ステップＳ５１０４にて、差分平均値Ｄdfavgが制御部１１に予め設定した規定値以内であるか否かを判定する。負の規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定する。
【００８０】
このように、閾値を超えた差分値の差分カウント値Ｄdfcの代わりに差分値Ｄdf自体から求めた差分平均値Ｄdfavgを評価するようにしても、第１実施形態と同様の効果を奏することができる。なお、第４実施形態では差分カウント値Ｄdfcを用いないので、図７におけるステップＳ７０５は差分平均値Ｄdfavgが安定しているか否かを判定するステップとすればよい。
【００８１】
第４実施形態においても、図１１のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。
【００８２】
＜第５実施形態＞
図１３及び図１４を用いて第５実施形態の構成及び動作について説明する。第５実施形態は、図５におけるステップＳ５を図１４に示すステップＳ５５としたものである。図１３において図１と同一部分には同一符号を付し、図１４において図６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図１３において、ビデオカメラ１０５は、図１における多重露光画像合成部５０１の代わりに多重露光画像合成部５０５を設けている。多重露光画像合成部５０５においては、差分生成部５３が差分値Ｄdf自体を出力し、差分領域設定部５５が画面（フレーム）全体における差分値Ｄdfの内、部分的な特定の領域内の差分値Ｄdfpを出力するように構成している。画面内の特定の領域は、第３実施形態と同様である。
【００８３】
図１４において、制御部１１は、ステップＳ５０５５にて、後述する差分平均値Ｄdfpavgに対する閾値を設定する。差分平均値Ｄdfpavgに対する閾値は、第４実施形態における差分平均値Ｄdfavgに対する閾値と同様である。制御部１１は、ステップＳ５０６５にて、部分的な差分値Ｄdfpを取り込む。制御部１１は、ステップＳ５０７５にて、部分的な差分値Ｄdfpを平滑化し、平均値化して差分平均値Ｄdfpavgを生成する。制御部１１は、ステップＳ５０８５にて、差分平均値Ｄdfpavgが制御部１１に予め設定した正の規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５０９にて、変換係数Ｃobを増加させるよう設定する。制御部１１は、ステップＳ５１０５にて、差分平均値Ｄdfpavgが制御部１１に予め設定した負の規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定する。
【００８４】
閾値を超えた差分カウント値Ｄdfcを評価する代わりに差分値Ｄdf自体を評価する場合には、部分的な領域からの差分平均値Ｄdfpavgとした方がデータ量を削減することができるので好ましい。
【００８５】
第５実施形態においても、図１２のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。
【００８６】
＜第６実施形態＞
図１５及び図１６を用いて第６実施形態の構成及び動作について説明する。第６実施形態は、図５におけるステップＳ５を図１６に示すステップＳ５６としたものである。図１５において図１と同一部分には同一符号を付し、図１６において図６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図１６において、ビデオカメラ１０６は、図１における多重露光画像合成部５０１の代わりに多重露光画像合成部５０６を設けている。
【００８７】
多重露光画像合成部５０６は平滑化処理部５６を備える。平滑化処理部５６は、画素値変換部５１ａより出力された短時間露光画像データＤa1を平滑化する平滑化処理部５６ａと、画素値変換部５１ｂより出力された長時間露光画像データＤb2を平滑化する平滑化処理部５６ｂとを含む。
【００８８】
平滑化処理部５６ａ，５６ｂは、画面内で画素値を平滑化するローパスフィルタで構成することができる。平滑化処理部５６ａ，５６ｂによって短時間露光画像データＤa1と長時間露光画像データＤb2を平滑化することにより、多重露光画像出力部３で除去した画面ぶれ以外の被写体の動きやノイズが短時間露光画像データＤa1と長時間露光画像データＤb2との差分値に与える影響を軽減することができる。
【００８９】
平滑化処理部５６ａ，５６ｂより出力された平滑化処理が施された短時間露光画像データＤa1と長時間露光画像データＤb2は、差分生成部５３に入力される。差分生成部５３は、平滑化処理が施された短時間露光画像データＤa1と長時間露光画像データＤb2に基づいて差分カウント値Ｄdfcを生成する。短時間露光画像データＤa1の低輝度部分はＳ／Ｎがよくなく、階調が低くなるという特性があるため、制御部１１は、平滑化処理部５６ａにおける短時間露光画像データＤa1に対するフィルタの平滑化係数を、平滑化処理部５６ｂにおける長時間露光画像データＤb2に対するフィルタの平滑化係数よりも大きくすることが好ましい。即ち、短時間露光画像データＤa1に対する平滑化の程度を、長時間露光画像データＤb2に対する平滑化の程度よりも大きくすることが好ましい。
【００９０】
図１６において、制御部１１は、ステップＳ５１４にて、平滑化処理部５６ａ，５６ｂによって短時間露光画像データＤa1と長時間露光画像データＤb2を平滑化させる。ステップＳ５０６で取り込まれる差分カウント値Ｄdfcは、平滑化処理部５６ａ，５６ｂによる平滑化によって被写体の動きやノイズによる影響が軽減された差分値に基づいて生成されたものである。ステップＳ５１４に続くステップＳ５０５以降は、第１実施形態と同様である。
【００９１】
第６実施形態においても、図１４のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。また、第６実施形態においても、第４実施形態と同様に、閾値を超えた差分値の差分カウント値Ｄdfcの代わりに差分値Ｄdfに基づいて生成した差分平均値Ｄdfavgを評価するようにしてもよい。
【００９２】
＜第７実施形態＞
図１７及び図１８を用いて第７実施形態の構成及び動作について説明する。第７実施形態は、図５におけるステップＳ５を図１８に示すステップＳ５７としたものである。図１７において図９，図１５と同一部分には同一符号を付し、図１８において図１６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図１７において、ビデオカメラ１０７は、図９における多重露光画像合成部５０３の代わりに多重露光画像合成部５０７を設けている。多重露光画像合成部５０７は、平滑化処理部５６と差分領域設定部５５とを備える。
【００９３】
第７実施形態は、差分生成部５３が、平滑化処理部５６ａ，５６ｂによって平滑化処理が施された短時間露光画像データＤa1と長時間露光画像データＤb2とに基づいて差分カウント値Ｄdfcを生成し、差分領域設定部５５が、差分カウント値Ｄdfcに基づいて部分的な領域からの差分カウント値Ｄdfcpを生成する構成である。
【００９４】
図１８において、制御部１１は、ステップＳ５０６７にて、差分領域設定部５５から出力された部分的な領域からの差分カウント値Ｄdfcpを取り込む。制御部１１は、ステップＳ５０７７にて差分カウント値Ｄdfcpを平滑化する。制御部１１は、ステップＳ５０８７にて、正の差分カウント値Ｄdfcp(+)が制御部１１に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１０にて、変換係数Ｃobを増加させるよう設定する。制御部１１は、ステップＳ５１０７にて、負の差分カウント値Ｄdfcp(-)が制御部１１に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定する。
【００９５】
第７実施形態においても、図１６のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。また、第７実施形態においても、部分的な領域からの差分カウント値Ｄdfcpを評価する代わりに、第５実施形態と同様に、部分的な領域からの差分平均値Ｄdfpavgを評価してもよい。
【００９６】
本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。各実施形態としてビデオカメラに画像処理装置を搭載した例を示したが、本発明は画像表示装置やコンピュータ等の情報処理装置に適用することができる。各実施形態では、撮影した画像を即座に合成して合成画像を生成するようにしているが、露光量を異ならせて撮影した画像を記憶媒体に記憶させて貯蔵しておき、記憶媒体に貯蔵された画像を合成する画像処理装置であってよい。各実施形態では、輝度信号Ｙと色差信号Ｃｂ，Ｃｒの形態で画像合成するようにしたが、ＲＧＢ信号で合成することも可能である。
【００９７】
各実施形態では動画の合成について説明したが、静止画の合成であってもよい。露光量を異ならせて撮影した２枚の静止画を合成する場合には、同じ画像に対して繰り返し各種パラメータを更新して最適な合成画像となるまでパラメータの更新処理を繰り返せばよい。各実施形態では、圧縮広ダイナミックレンジ画像データＤCHDRを表示部１０に表示したり、圧縮広ダイナミックレンジ画像データＤCHDRに基づいた符号化データを記録再生部１４に記録したりしているが、広ダイナミックレンジ画像データＤHDRそのままで記録や表示を行ってもよい。前述のように、露光量の異なる３枚以上の画像を合成してもよい。
【００９８】
さらに、各実施形態では、制御部１１をパラメータ更新部として動作させたが、変換係数Ｃoa，Ｃobを設定または更新する制御部と、上限値ＴhHと下限値ＴhLとを設定または更新する制御部とを別々に設けてもよく、具体的な構成の仕方は任意である。
【００９９】
ところで、各実施形態では、多重露光画像出力部３以降のデジタル信号を便宜上データと称したが、信号とはアナログ信号とデジタル信号とを区別せず両者を含む。各実施形態では、多重露光画像出力部３以降をデジタル信号処理としたが、デジタル信号処理とアナログ信号処理との使い分けも任意である。
【符号の説明】
【０１００】
１ 撮像部
２ 入力信号処理部
３ 多重露光画像出力部
６ ダイナミックレンジ圧縮部
１１ 制御部（パラメータ更新部）
５１，５１ａ，５１ｂ 画素値変換部
５２ 合成重み付け係数生成部
５３ 差分生成部
５４ 重み付け合成部
５５ 差分領域設定部
５６，５６ａ，５６ｂ 平滑化処理部
１０１，１０３，１０４，１０５，１０６，１０７ ビデオカメラ
５０１，５０３，５０４，５０５，５０６，５０７ 多重露光画像合成部
【技術分野】
【０００１】
本発明は、露光量の異なる複数フレームの画像を合成してダイナミックレンジを拡大した合成画像を生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
人間の視覚が非常に広いダイナミックレンジを持っているのに対し、ビデオカメラ等の撮像装置はダイナミックレンジが狭い。このため、人物等の主要な被写体と背景とを同時に撮影する場合、主要な被写体が暗く撮影されたり、背景が白く飛んで撮影されたりして、見た目と異なった状態で撮影される場合がある。そこで、同一の被写体を、露光量を異ならせる等の異なる撮影条件で複数回撮影して、複数フレームの画像を合成することにより、画像のダイナミックレンジを拡大するという技術が知られている。
【０００３】
複数フレームの画像を合成して広ダイナミックレンジ画像を生成する場合、合成する各画像の画素値を撮影時の露光量比に基づいて整合させる必要がある。ところが、実際の撮影においては設定した露光量比で撮影することが難しく、複数フレームの画像を合成した場合の画像が切り替わる境界部で画素値が不連続になってしまう。境界部での画素値の不連続性を低減させるための技術が例えば特許文献１，２に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２２３３５０号公報
【特許文献２】特開２０１０−２７３００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２においては、複数枚の画像を合成する際に画像のヒストグラムを用いて合成する各画像の画素値の整合を図っている。ヒストグラムのような演算量の大きい処理を用い、高精度な演算を行うとすれば、回路規模が増大する。回路規模の増大はコストアップを招く。動画像を撮影するビデオカメラにおいて動画像を合成する場合には、被写体の状態は刻々と変化するため、被写体の変化に対応して素早く対応して境界部で画素値を整合させようとすると、高速の演算素子が必要となってしまう。演算量の大きい処理を高速で行おうとすれば、回路規模の増大とコストアップを避けることは難しい。
【０００６】
本発明はこのような問題点に鑑み、回路規模や演算量をさほど増大させることなく、複数フレームの画像を合成する際の境界部での画素値を連続させることができ、視覚的に自然な広ダイナミックレンジ画像を生成することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、露光量を互いに異ならせて同一の被写体を複数回撮影した第１の複数の画像信号が入力され、露光量が異なることによる前記第１の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第１の複数の画像信号の内の少なくとも１つの画像信号の画素値を変換して、第２の複数の画像信号として出力する画素値変換部（５１）と、前記第２の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成する合成重み付け係数生成部（５２）と、前記第２の複数の画像信号の差分を生成する差分生成部（５３）と、前記第２の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成する重み付け合成部（５４）と、前記差分生成部によって生成された差分を評価して、差分が小さくなるように前記画素値変換係数を更新するパラメータ更新部（１１）とを備えることを特徴とする画像処理装置を提供する。
【０００８】
上記の構成において、前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記合成重み付け係数を更新することが好ましい。
【０００９】
上記の構成において、前記境界部は複数の画素値の画素を含む領域であり、前記境界部の最も大きい画素値を上限値とし、前記境界部の最も小さい画素値を下限値としたとき、前記合成重み付け係数生成部は、前記第２の複数の画像信号における２つの画像信号を合成する合成重み付け係数として、前記上限値より大きい部分では前記２つの画像信号の内の一方の画像信号とし、前記下限値より小さい部分では前記２つの画像信号の内の他方の画像信号とし、前記上限値と前記下限値との間では、前記２つの画像信号をクロスフェードさせて混合させる合成重み付け係数を生成することが好ましい。
【００１０】
上記の構成において、前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記上限値と前記下限値とを互いの間隔が狭くなるように更新し、前記合成重み付け係数生成部は、更新された前記上限値と前記下限値とに基づいて合成重み付け係数を生成することが好ましい。
【００１１】
上記の構成において、前記差分生成部は、前記２つの画像信号における一方の画像信号を基準としたとき、基準とした前記一方の画像信号が前記上限値と前記下限値との間で他方の画像信号の差分を生成することが好ましい。
【００１２】
前記パラメータ更新部は、画面内の部分的な領域における前記第２の複数の画像信号の差分を評価してもよい。
【００１３】
また、本発明は、上述した従来の技術の課題を解決するため、露光量を互いに異ならせて同一の被写体を複数回撮影して第１の複数の画像信号を生成し（Ｓ１）、露光量が異なることによる前記第１の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第１の複数の画像信号の内の少なくとも１つの画像信号の画素値を変換して、第２の複数の画像信号を生成し（Ｓ６）、前記第２の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成し（Ｓ７）、前記第２の複数の画像信号の差分を生成し、前記第２の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成し（Ｓ８）、前記差分を評価して、差分が小さくなるように前記画素値変換係数を更新する（Ｓ５０４）ことを特徴とする画像処理方法を提供する。
【発明の効果】
【００１４】
本発明の画像処理装置及び画像処理方法によれば、回路規模や演算量をさほど増大させることなく、複数フレームの画像を合成する際の境界部での画素値を連続させることができ、視覚的に自然な広ダイナミックレンジ画像を生成することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１，第２，第４実施形態を示すブロック図である。
【図２】画素値変換部５１の動作を説明するための図である。
【図３】多重露光画像合成部５０１，５０３，５０６，５０７の動作を説明するための図である。
【図４】重み付け合成部５４における重み付け合成動作を説明するための図である。
【図５】各実施形態の全体的な動作を示すフローチャートである。
【図６】図５におけるステップＳ５であり、第１実施形態によるステップＳ５１の具体的な処理を示すフローチャートである。
【図７】図５におけるステップＳ７の具体的な処理を示すフローチャートである。
【図８】図５におけるステップＳ５であり、第２実施形態によるステップＳ５２の具体的な処理を示すフローチャートである。
【図９】第３実施形態を示すブロック図である。
【図１０】図５におけるステップＳ５であり、第３実施形態によるステップＳ５３の具体的な処理を示すフローチャートである。
【図１１】第４実施形態を示すブロック図である。
【図１２】図５におけるステップＳ５であり、第４実施形態によるステップＳ５４の具体的な処理を示すフローチャートである。
【図１３】第５実施形態を示すブロック図である。
【図１４】図５におけるステップＳ５であり、第５実施形態によるステップＳ５５の具体的な処理を示すフローチャートである。
【図１５】第６実施形態を示すブロック図である。
【図１６】図５におけるステップＳ５であり、第６実施形態によるステップＳ５６の具体的な処理を示すフローチャートである。
【図１７】第７実施形態を示すブロック図である。
【図１８】図５におけるステップＳ５であり、第７実施形態によるステップＳ５７の具体的な処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の画像処理装置及び画像処理方法の各実施形態について、添付図面を参照して説明する。各実施形態は、ビデオカメラに画像処理装置を搭載した例を示している。
【００１７】
＜第１実施形態＞
図１において、ビデオカメラ１０１は、撮像部１，入力信号処理部２，多重露光画像出力部３，バッファメモリ４，多重露光画像合成部５０１，ダイナミックレンジ圧縮部６，バッファメモリ７，圧縮伸張処理部８，出力信号処理部９，表示部１０，制御部１１，ＲＡＭ１２，ＲＯＭ１３，記録再生部１４，操作スイッチ１５を備える。多重露光画像合成部５０１は、画素値変換部５１，合成重み付け係数生成部５２，差分生成部５３，重み付け合成部５４を備える。画素値変換部５１は、画素値変換部５１ａ，５１ｂを含む。
【００１８】
撮像部１は、レンズや絞り等の光学系、ＣＣＤやＣＭＯＳ等の撮像素子、露出やピントの制御機構等を備えている。撮像部１は、レンズを介して撮像素子に入力された光情報を所定のタイミングで電気信号として取り出し、電気信号を入力信号処理部２に供給する。撮像部１は、制御部１１による制御に基づいて、撮像素子のダイナミックレンジより広いダイナミックレンジの画像を生成するため、同一の被写体を異なる撮像条件で複数回に分けて撮影する、いわゆる多重露光を行う。第１実施形態では、異なる撮影条件として露光量を異ならせて撮影する。
【００１９】
露光量を異ならせるためには、シャッタスピードを調節して露光時間を異ならせたり、絞り値を調節したり、両者を組み合わせたりすればよい。第１実施形態では、シャッタスピードを速くした短時間露光による画像と、シャッタスピードを遅くした長時間露光による画像との２枚の画像を撮影して、両者を合成するものとする。なお、長時間露光による撮影の際にフレームレートに合わせてシャッタスピードを固定とし、短時間露光画像の高輝度部分が大幅に飽和しないよう露出を制御しながら撮影をすることが好ましい。
【００２０】
撮像部１は、短時間露光画像の電気信号と長時間露光画像の電気信号とをいずれかの順で入力信号処理部２に供給する。入力信号処理部２は、入力された電気信号をＡ／Ｄ変換し、ＲＧＢの３原色信号に変換して、ホワイトバランス調整，ゲイン調整，ガンマ処理等の各種の信号処理を施して、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換する。短時間露光画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒと、長時間露光画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒとは、多重露光画像出力部３に順次入力される。ＲＧＢ信号を輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒに変換すると、データ量が削減されるので必要となるメモリ容量を削減することができる。この際、色差信号Ｃｂ，Ｃｒの帯域を制限して時間軸多重することにより、データ量をさらに削減することができる。
【００２１】
多重露光画像出力部３は、先に入力された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、バッファメモリ４を用いて１垂直走査期間だけ遅延させる。そして、多重露光画像出力部３は、短時間露光画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（以下、短時間露光画像データＤａと称する）と、長時間露光画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（以下、長時間露光画像データＤｂと称する）とを同じタイミングに揃えて多重露光画像合成部５０１に供給する。この際、動きベクトルを用いてバッファメモリ４からのデータの読み出し開始アドレスを制御することにより、短時間露光画像データＤａ及び長時間露光画像データＤｂの画面ぶれを補正することが好ましい。
【００２２】
短時間露光画像データＤａは画素値変換部５１ａに入力され、長時間露光画像データＤｂは画素値変換部５１ｂに入力される。画素値変換部５１ａには、制御部１１によって画素値変換係数Ｃoaが設定され、画素値変換部５１ｂには、制御部１１によって画素値変換係数Ｃobが設定される。画素値変換係数Ｃoa，Ｃobは画像合成の際に用いるパラメータの１つである。以下、変換係数Ｃoa，Ｃobと略記する。
【００２３】
変換係数Ｃoa，Ｃobは、後述するように、仮設定された変換係数から順次補正された変換係数へと変更されていく。変換係数Ｃoa，Ｃobの一方を固定の変換係数とし、他方を順次補正された変換係数へと変更するようにしてもよい。第１実施形態では、短時間露光画像データＤａに対する変換係数Ｃoaを固定とし、長時間露光画像データＤｂに対する変換係数Ｃobを順次変更する。
【００２４】
短時間露光画像データＤａ及び長時間露光画像データＤｂを例えば１０ビットのデジタルデータであるとする。画素値変換部５１ａは、変換係数Ｃoaに基づいて、入力された１０ビットの短時間露光画像データＤａを６４倍して１６ビットのデジタルデータに変換する。第１実施形態では、短時間露光画像の高輝度部分が大幅に飽和しないよう露出が制御されているため、短時間露光画像データＤａの画素値を画像合成後のフルダイナミックレンジに正規化させるよう、変換係数Ｃoaとして固定のゲイン値を設定している。図２（Ａ）は、１６ビットに変換後の短時間露光画像データＤa1の特性ａ１を示している。横軸は被写体の明るさ、縦軸は画素値（輝度値）である。
【００２５】
画素値変換部５１ｂは、まず、入力された１０ビットの長時間露光画像データＤｂを１６ビットのデジタルデータに変換する。図２（Ｂ）は、１６ビットに変換後の長時間露光画像データＤb1の特性ｂ１を示している。図２（Ｂ）に示すように、長時間露光画像データＤb1の特性ｂ１は、所定の明るさ以上で画素値が飽和している特性である。画素値変換部５１ｂは、次に、特性ｂ１の非飽和領域の傾きを特性ａ１の傾きと一致させて、互いの画素値を合わせるために、特性ｂ１を短時間露光画像データＤａ（Ｄa1）と長時間露光画像データＤｂ（Ｄb1）との露光量比に応じて画素値を変換して特性ｂ２の長時間露光画像データＤb2とする。長時間露光画像データＤｂの露光量が短時間露光画像データＤａの露光量のｎ倍であれば、特性ｂ１の画素値を１／ｎ倍すればよい。
【００２６】
長時間露光画像データＤb1の画素値を露光量比に応じて変換するのは、上記のように正規化した短時間露光画像データＤa1の領域に、長時間露光画像データＤb2をマッピングさせるためである。長時間露光画像データＤｂに対する変換係数Ｃobは、ビット数変換及び露光量比に応じて画素値を変換するための変換係数である。
【００２７】
画素値変換部５１ａ，５１ｂが短時間露光画像データＤａ及び長時間露光画像データＤｂを１０ビットから１６ビットに変換するのは必須ではない。画素値変換部５１ａ，５１ｂは、少なくとも、短時間露光画像データＤａと長時間露光画像データＤｂとの一方を基準として、被写体の明るさに対する画素値の特性の傾きを一致させて互いの画素値を合わせるよう、露光量比に応じて画素値を変換すればよい。
【００２８】
図２（Ａ），（Ｂ）では、ガンマ補正を省略して特性ａ１を直線で、特性ｂ１，ｂ２を直線の折れ線にて示しているが、実際には、画素値変換部５１ａ，５１ｂに入力される短時間露光画像データＤａ及び長時間露光画像データＤｂはガンマ補正が施されている。そこで、制御部１１は、短時間露光画像データＤａ及び長時間露光画像データＤｂそれぞれ標準ガンマ変換による画素値の変化量を求める。制御部１１は、求めた変化量に基づいて仮の補正値を設定し、露光量比をゲインとした変換係数Ｃobに対して仮の補正値を加えて変換係数Ｃobを補正する。
【００２９】
図３を用いて、ガンマ補正を考慮した変換係数Ｃobの補正について説明する。図３は、図２（Ａ），（Ｂ）における合成の境界部であるポイントＰａ，Ｐｂの近傍を拡大して示している。図３では、ガンマ補正が施された状態の特性ａ１，ｂ２を示している。特性ｂ２は、補正値を加えていない状態の変換係数Ｃobによって画素値が変換された長時間露光画像データＤb2の特性である。制御部１１は、短時間露光画像データＤa1と長時間露光画像データＤb2とを合成する際の境界部を設ける範囲として、高輝度側の上限値ＴhHと低輝度側の下限値ＴhLを設定する。境界部は、上限値ＴhHを最大の画素値、下限値ＴhLを最小の画素値として、複数の画素値の画素を含む領域となっている。
【００３０】
図２（Ａ），（Ｂ）では便宜上ポイントＰａ，Ｐｂで合成するように示しているが、短時間露光画像データＤa1と長時間露光画像データＤb2とは、上限値ＴhHと下限値ＴhLとの間の境界部を合成領域として合成される。上限値ＴhHと下限値ＴhLは、画像合成の際に用いるパラメータの１つである。
【００３１】
一例として、初期の仮設定として、特性ｂ２の飽和領域の画素値に対して、３／４を上限値ＴhHに、１／２を下限値ＴhLに設定する。飽和領域の画素値は厳密には一定値ではないが、適宜設定すればよい。画素値変換部５１ａ，５１ｂで設定している変換係数Ｃoa，Ｃobの比によって長時間露光画像データＤb2のデータが取り得る範囲を算出でき、飽和領域の画素値も算出することができる。従って、制御部１１は、上限値ＴhHと下限値ＴhLとをそれぞれ適切な画素値に設定することができる。後述するように、上限値ＴhHと下限値ＴhLは合成領域を順次狭くするように補正される。
【００３２】
第１実施形態においては、特性ｂ２で示す長時間露光画像データＤb2を上限値ＴhHと下限値ＴhLとの中央の画素値に近付けた特性ｂ20とするよう、変換係数Ｃobを補正する。なお、図３の横軸に示す被写体の明るさによって中央の画素値に補正する補正量が異なるが、平均値として中央の画素値に変位させるような補正量とすればよい。
【００３３】
画素値変換部５１ａ，５１ｂにおいて、短時間露光画像データＤａと長時間露光画像データＤｂとの一方をオフセットさせて画素値を変換することもある。同一の被写体を異なる撮像条件で３回以上に分けて撮影して合成する場合には、ゲインの変更のみでは画素値を整合させることが困難な場合がある。この場合には、画素値のオフセットを併用することが好ましい。
【００３４】
多重露光画像合成部５０１は、以上のように画素値が変換された短時間露光画像データＤa1と長時間露光画像データＤb2とを合成する。概念的には、多重露光画像合成部５０１は、図２（Ｂ）に示す長時間露光画像データＤb2の特性ｂ２における画素値０から所定のポイントＰｂの画素値までの領域ＡＲｂと、図２（Ａ）に示す短時間露光画像データＤa1の特性ａ１におけるポイントＰａの画素値以上の領域ＡＲａとを合成する。領域ＡＲｂは図３における特性ｂ20の実線部分に相当し、領域ＡＲａは特性ａ１の実線部分に相当する。多重露光画像合成部５０１は、後述する動作によってポイントＰａの画素値とポイントＰｂの画素値とを極力一致させるようにして、境界部での画素値を連続させる。
【００３５】
画素値変換部５１ａ，５１ｂより出力された画素値が変換された短時間露光画像データＤa1及び長時間露光画像データＤb2は、合成重み付け係数生成部５２，差分生成部５３，重み付け合成部５４に入力される。合成重み付け係数生成部５２は、短時間露光画像データＤa1と長時間露光画像データＤb2とを合成する際に用いる合成重み付け係数を生成する。短時間露光画像データＤa1に対する合成重み付け係数を合成重み付け係数Ｗａ、長時間露光画像データＤb2に対する合成重み付け係数を合成重み付け係数Ｗｂとする。合成重み付け係数Ｗａ，Ｗｂは、画像合成の際に用いるパラメータの１つである。
【００３６】
合成重み付け係数生成部５２には、制御部１１より上限値ＴhHと下限値ＴhLとが入力される。合成重み付け係数生成部５２は、短時間露光画像データＤa1と長時間露光画像データＤb2との一方を基準として、合成重み付け係数Ｗａと合成重み付け係数Ｗｂとを生成する。まず、長時間露光画像データＤb2を基準とした場合について説明する。長時間露光画像データＤb2におけるフレーム内の画素の位置を（ｉ，ｊ）とし、それぞれの位置（ｉ，ｊ）における画素値をＹｂ（ｉ，ｊ）とする。ここでの画素値は輝度値である。それぞれの画素の位置（ｉ，ｊ）における合成重み付け係数Ｗｂ，Ｗａは次の（１），（２）式で表すことができる。
【００３７】
【数１】
【００３８】
短時間露光画像データＤa1を基準とした場合には、短時間露光画像データＤa1におけるフレーム内の画素の位置を同様に（ｉ，ｊ）とし、それぞれの位置（ｉ，ｊ）における画素値（輝度値）をＹａ（ｉ，ｊ）とする。それぞれの画素の位置（ｉ，ｊ）における合成重み付け係数Ｗａと合成重み付け係数Ｗｂは次の（３），（４）式で表すことができる。基準とする画像信号は、長時間露光画像データＤb2と短時間露光画像データＤa1とのいずれでもよい。即ち、合成重み付け係数Ｗａ，Ｗｂを、（１），（２）式で求めてもよいし、（３），（４）式で求めてもよい。
【００３９】
【数２】
【００４０】
以上のように求めた合成重み付け係数Ｗａ，Ｗｂは、重み付け合成部５４に入力される。
【００４１】
差分生成部５３は、入力された短時間露光画像データＤa1と長時間露光画像データＤb2との輝度信号Ｙの差分値を生成する。制御部１１は、差分値に対して正の閾値と負の閾値を設定している。差分生成部５３は、正の閾値と負の閾値それぞれを超えた差分値をカウントし、差分カウント値Ｄdfcを生成する。
【００４２】
図３を用いて差分生成部５３における差分生成動作について説明する。差分生成部５３は、短時間露光画像データＤa1と長時間露光画像データＤb2との内のいずれか一方を基準として両者の差分を求める。この際、制御部１１から入力される上限値ＴhHと下限値ＴhLとの範囲内で差分を求めることが好ましい。短時間露光画像データＤa1を基準とした場合、差分生成部５３は、図３に示すように、特性ａ１で示す短時間露光画像データＤa1の下限値ＴhLに相当するポイントＰa1の画素値（輝度値）から上限値ＴhHに相当するポイントＰa2の画素値（輝度値）までの範囲で、特性ｂ20で示す長時間露光画像データＤb2とのフレーム内の画素の位置ごとの差分を求める。
【００４３】
差分生成部５３は、ポイントＰa1の画素値から、ポイントＰa1に対応したフレーム内の画素の位置である長時間露光画像データＤb2のポイントＰb1の画素値を減算して差分値を求める。上記は一例として対応した画素位置における長時間露光画像データＤb2の画素値がＰb1であった場合についての説明である。同様に、差分生成部５３は、ポイントＰa2の画素値から、ポイントＰa2に対応したフレーム内の画素の位置である長時間露光画像データＤb2のポイントＰb2の画素値を減算して差分値を求める。上記は一例として対応した画素位置における長時間露光画像データＤb2の画素値がＰb2であった場合についての説明である。図３では図示を省略しているが、差分生成部５３は、ポイントＰa1とポイントＰa2との間に位置しているそれぞれの画素に対しても差分値を求める。差分生成部５３はこのようにして求めた差分値に基づいて、正の閾値と負の閾値それぞれを超えた差分カウント値Ｄdfcを生成する。
【００４４】
上限値ＴhHと下限値ＴhLとの間の合成領域で差分カウント値Ｄdfcを生成するのは、上記のように標準ガンマ変換による画素値の変化量に基づいて仮に設定した補正値を加えた変換係数Ｃobが適切であるか否かを判断するためである。差分カウント値Ｄdfcが大きければ、合成領域において、特性ａ１で示す短時間露光画像データＤa1と特性ｂ20で示す長時間露光画像データＤb2とがずれていることを示している。この場合には、変換係数Ｃobをさらに補正することが必要となる。差分生成部５３が上限値ＴhHと下限値ＴhLとの間の合成領域のみで差分値を生成して差分カウント値Ｄdfcを求めることにより、合成領域以外の誤差を除外して、合成領域における差分を正確に求めることができる。また、不必要な部分の差分を求めないので計算が簡略化され、データ量を削減することも可能となる。
【００４５】
差分生成部５３が生成した差分カウント値Ｄdfcは制御部１１に入力される。制御部１１は、短時間露光画像データＤa1と長時間露光画像データＤb2との差分が大きいか否かを判断する一例として、上記のように求めた差分カウント値Ｄdfcを用いる。差分カウント値Ｄdfcが大きければ、短時間露光画像データＤa1と長時間露光画像データＤb2とがずれていることになる。
【００４６】
制御部１１は、差分カウント値Ｄdfcに応じて画素値変換部５１ｂに供給する変換係数Ｃobを補正する。変換係数Ｃobを補正した結果、カウント値が小さくなる方向に変化した場合には、制御部１１は、上限値ＴhHと下限値ＴhLとの互いの間隔が狭くなるように、上限値ＴhHに下限値ＴhLを近付けるように更新する。上限値ＴhHと下限値ＴhLとが更新されると、合成重み付け係数生成部５２で生成する合成重み付け係数Ｗａ，Ｗｂが更新される。制御部１１は、変換係数Ｃob、上限値ＴhHと下限値ＴhL、合成重み付け係数Ｗａ，Ｗｂの各パラメータを更新するパラメータ更新部として動作している。
【００４７】
重み付け合成部５４は、画素値変換部５１ａ，５１ｂより供給された短時間露光画像データＤa1と長時間露光画像データＤb2とを、合成重み付け係数Ｗａ，Ｗｂとを用いて重み付け合成する。図４は、重み付け合成部５４における重み付け合成を概念的に示している。横軸は画素値、縦軸は混合比である。即ち、合成重み付け係数Ｗａ，Ｗｂを（１），（２）式で生成した場合を示している。混合比１は１００％であり、短時間露光画像データＤa1と長時間露光画像データＤb2との一方のみを用いることを示す。
【００４８】
重み付け合成部５４は、図４に示すように、画素値が０から下限値ＴhLまでは長時間露光画像データＤb2（実線）のみとし、下限値ＴhLから上限値ＴhHまでは長時間露光画像データＤb2が１から０となるまで順次減少させる一方で短時間露光画像データＤa1（破線）を０から１まで順次増加させるように混合する。重み付け合成部５４は、上限値ＴhHを超えたら、短時間露光画像データＤa1のみとする。なお、（１），（３）式におけるＹｂ（ｉ，ｊ）がＴhL以上ＴhH以下で用いる式は図４における短時間露光画像データＤa1と長時間露光画像データＤb2とをクロスフェードさせる際の傾きを表す。
【００４９】
なお、重み付け合成部５４は、短時間露光画像データＤa1と長時間露光画像データＤb2とを、輝度信号Ｙと色差信号Ｃｂ，Ｃｒそれぞれで合成重み付け係数Ｗａ，Ｗｂを用いて重み付け合成する。輝度信号Ｙに基づいて生成した合成重み付け係数Ｗａ，Ｗｂを色差信号Ｃｂ，Ｃｒの合成にも用いればよい。
【００５０】
制御部１１は、上記のように直前のフレームにおいて評価した差分カウント値Ｄdfcによって変換係数Ｃobを補正し、上限値ＴhHと下限値ＴhLとを更新し、合成重み付け係数Ｗａ，Ｗｂを更新する動作を合成画像のフレーム単位で繰り返す。すると、変換係数Ｃobは順次最適化されていき、上限値ＴhHと下限値ＴhLとの間の合成領域で短時間露光画像データＤa1と長時間露光画像データＤb2との画素値は順次近付いていく。しかも、合成領域が順次狭くなっていくことから、短時間露光画像データＤa1と長時間露光画像データＤb2とは上限値ＴhHと下限値ＴhLとの中央部の極めて狭い範囲で混合される。これにより、合成画像は境界部での画素値が連続して、自然な広ダイナミックレンジ画像となる。
【００５１】
図１に戻り、重み付け合成部５４より出力された広ダイナミックレンジ画像データＤHDRは、ダイナミックレンジ圧縮部６に入力される。ダイナミックレンジ圧縮部６は、広ダイナミックレンジ画像データＤHDRを通常の画像処理回路で扱うことができる画像データに変換するためにダイナミックレンジを圧縮する。第１実施形態では、ダイナミックレンジ圧縮部６は、Retinex理論に基づいた階調補正によって広ダイナミックレンジ画像データＤHDRのダイナミックレンジを圧縮して、圧縮広ダイナミックレンジ画像データＤCHDRを生成する。
【００５２】
バッファメモリ７は、広ダイナミックレンジ画像データＤHDRまたは圧縮広ダイナミックレンジ画像データＤCHDRを一時的に保持しておくメモリである。圧縮伸張処理部８は、バッファメモリ７に保持させた圧縮広ダイナミックレンジ画像データＤCHDRをＪＰＥＧ，ＭＰＥＧ等の圧縮方式によって圧縮処理して符号化データを生成する。符号化データは制御部１１によって記録再生部１４に記録される。また、圧縮伸張処理部８は、制御部１１が記録再生部１４に記録された符号化データを読み出した場合に、符号化データを伸張処理する。
【００５３】
出力信号処理部９は、圧縮広ダイナミックレンジ画像データＤCHDRを表示部１０で表示可能な形式に変換して表示部１０に入力する。また、出力信号処理部９は、図示していないディスプレイ装置等の外部機器に供給するために、外部機器のフォーマットやサイズに合わせて圧縮広ダイナミックレンジ画像データＤCHDRを変換する。一例として、出力信号処理部９は圧縮広ダイナミックレンジ画像データＤCHDRをＮＴＳＣ信号に変換する。
【００５４】
制御部１１はビデオカメラ１０１の全体を制御する。制御部１１はＣＰＵによって構成することができる。上記のように、制御部１１は、変換係数Ｃoa，Ｃobを生成して画素値変換部５１ａ，５１ｂに供給し、上限値ＴhH及び下限値ＴhLを生成して合成重み付け係数生成部５２及び差分生成部５３に供給する。制御部１１は、画像合成処理に必要なその他の各種のパラメータも生成または設定する。また、制御部１１は、表示部１０に表示する画像データや外部出力する画像データに重畳するキャラクタデータを生成して、出力信号処理部９に供給する。
【００５５】
制御部１１には、制御部１１の作業用メモリであるＲＡＭ１２が接続されている。ＲＯＭ１３には、制御部１１を動作させるためのプログラムが記憶されている。制御部１１は、ＲＯＭ１３に記憶されたプログラムに基づいてビデオカメラ１０１を制御する。記録再生部１４は、ハードディスクドライブや半導体メモリ等の任意の記録媒体であり、制御部１１によって記録再生が制御される。制御部１１には操作スイッチ１５が接続されており、操作スイッチ１５による操作信号は制御部１１に入力される。操作スイッチ１５はリモートコントローラであってもよい。
【００５６】
第１実施形態の画像処理装置は、ハードウェアで構成してもよいし、ソフトウェア（コンピュータプログラム）で構成してもよい。両者を混在させて構成してもよい。
【００５７】
図５〜図７に示すフローチャートを用いて、ビデオカメラ１０１で実行される画像処理動作についてさらに説明する。図５は第１実施形態及び後述する第２〜第７実施形態で実行される画像処理動作の全体を示している。図５において、撮像部１は、ステップＳ１にて、同一の被写体を設定されたシャッタスピードで多重露光する。入力信号処理部２は、ステップＳ２にて、多重露光画像信号を取り込む。入力信号処理部２は、ステップＳ３にて、ＲＧＢ信号を生成して、Ｙ，Ｃｂ，Ｃｒ信号に変換する。多重露光画像出力部３は、ステップＳ４にて、短時間露光画像データＤａと長時間露光画像データＤｂとを揃えて出力する。制御部１１は、ステップＳ５にて、変換係数Ｃoa，Ｃobを算出する。ステップＳ５の具体的な処理は後述する。
【００５８】
画素値変換部５１ａ，５１ｂは、ステップＳ６にて、変換係数Ｃoa，Ｃobに基づいて短時間露光画像データＤａと長時間露光画像データＤｂの画素値を変換する。合成重み付け係数生成部５２は、ステップＳ７にて、画素値が変換された短時間露光画像データＤa1と長時間露光画像データＤb2とを合成するための合成重み付け係数Ｗａ，Ｗｂを算出する。ステップＳ７の具体的な処理は後述する。重み付け合成部５４は、ステップＳ８にて、短時間露光画像データＤa1と長時間露光画像データＤb2とを、合成重み付け係数Ｗａ，Ｗｂとを用いて重み付けして合成する。
【００５９】
ダイナミックレンジ圧縮部６は、ステップＳ９にて、広ダイナミックレンジ画像データＤHDRのダイナミックレンジを圧縮する。制御部１１は、ステップＳ１０にて、圧縮広ダイナミックレンジ画像データＤCHDRを圧縮し、符号化後に記録再生部１４に記録したり、圧縮広ダイナミックレンジ画像データＤCHDRを表示部１０に表示したりする。制御部１１は、ステップＳ１１にて、画像合成の指示が終了したか否かを判定する。多重露光した画像を合成するか否かは操作スイッチ１５の操作によって切り換えることができる。画像合成の指示が終了していないと判定されればステップＳ１に戻り、終了したと判定されれば合成処理の動作を終了する。
【００６０】
図６を用いて、図５のステップＳ５における変換係数Ｃoa，Ｃobの算出処理の詳細について説明する。第１実施形態で実行されるステップＳ５をステップＳ５１と称することとする。図６において、制御部１１は、ステップＳ５０１にて、短時間露光画像データＤａに対する変換係数Ｃoaを仮設定する。前述のように、変換係数Ｃoaは、１０ビットの短時間露光画像データＤａを１６ビットのデジタルデータに変換する固定のゲイン値でよい。仮設定としたが、第１実施形態では変換係数Ｃoaは更新されない。制御部１１は、ステップＳ５０２にて、長時間露光画像データＤｂに対する変換係数Ｃobを仮設定する。前述のように、変換係数Ｃobは、１０ビットの長時間露光画像データＤｂを１６ビットのデジタルデータに変換して、さらに露光量比に応じて画素値を変換するための係数である。
【００６１】
制御部１１は、ステップＳ５０３にて、変換係数Ｃobを、ガンマ処理によるゲイン変化分だけ補正する。ここでの補正は、短時間露光画像データＤａ及び長時間露光画像データＤｂそれぞれ標準ガンマ変換による画素値の変化量に基づいた仮の補正である。制御部１１は、ステップＳ５０４にて、ステップＳ５０９，Ｓ５１１における短時間露光画像データＤa1と長時間露光画像データＤb2との差分値Ｄdfの評価結果に基づいて変換係数Ｃobを追加補正する。
【００６２】
制御部１１は、ステップＳ５０５にて、差分生成部５３が生成する差分値に対して正の閾値と負の閾値を設定する。制御部１１は、ステップＳ５０６にて、差分生成部５３が生成した差分カウント値Ｄdfcを取り込む。制御部１１は、ノイズ等による差分値Ｄdfの急激な変化を除外するため、ステップＳ５０７にて、差分カウント値Ｄdfcを平滑化する。図１及び図６では差分カウント値Ｄdfcと総称しているが、ここでは便宜的に、正の閾値を越えた差分カウント値Ｄdfcを差分カウント値Ｄdfc(+)、負の閾値を越えた差分カウント値Ｄdfcを差分カウント値Ｄdfc(-)と称することとする。
【００６３】
制御部１１は、ステップＳ５０８にて、正の閾値を越えた差分カウント値Ｄdfc(+)が制御部１１に予め設定した評価用規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、即ち、規定値を超えた場合には、制御部１１は、ステップＳ５０９にて、変換係数Ｃobを増加させるよう設定して、処理をステップＳ５０４に移行させる。規定値以内であると判定されれば（YES）、制御部１１は、ステップＳ５１０にて、負の閾値を越えた差分カウント値Ｄdfc(-)が制御部１１に予め設定した評価用規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、即ち、規定値を超えた場合には、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定して、処理をステップＳ５０４に移行させる。規定値以内であると判定されれば（YES）、制御部１１は、ステップＳ５１２にて、仮設定された変換係数Ｃobを維持して、処理をステップＳ５０４に移行させる。
【００６４】
次に、図７を用いて、図５のステップＳ７における合成重み付け係数Ｗａ，Ｗｂを算出処理の詳細について説明する。図７において、制御部１１は、ステップＳ７０１にて、図３で説明した合成領域の上限値ＴhHを仮設定する。制御部１１は、ステップＳ７０２にて、図３で説明した合成領域の下限値ＴhLを仮設定する。制御部１１は、ステップＳ７０３にて、図６で説明した差分カウント値Ｄdfcが規定値以内であるか否かによって上限値ＴhHと下限値ＴhLとを更新するか否かを判定する。更新すると判定されれば（YES）、制御部１１は、ステップＳ７０４にて、変換係数Ｃobの変化が少なくなって安定しているか否かを判定する。更新すると判定されなければ（NO）、制御部１１は、処理をステップＳ７０７に移行させる。
【００６５】
ステップＳ７０４にて変換係数Ｃobが安定していると判定されれば（YES）、制御部１１は、ステップＳ７０５にて、差分カウント値Ｄdfc（差分カウント値Ｄdfc(+)，Ｄdfc(-)）の変化が少なくなって安定しているか否かを判定する。変換係数Ｃobが安定していると判定されなければ（NO）、制御部１１は、処理をステップＳ７０７に移行させる。ステップＳ７０５にて差分カウント値Ｄdfcが安定していると判定されれば（YES）、制御部１１は、ステップＳ７０６にて、合成領域を狭くするよう上限値ＴhHと下限値ＴhLとを更新する。差分カウント値Ｄdfcが安定していると判定されなければ（NO）、制御部１１は、処理をステップＳ７０７に移行させる。
【００６６】
引き続き、制御部１１は、ステップＳ７０７にて、長時間露光画像データＤb2が基準になっているか否かを判定する。長時間露光画像データＤb2が基準になっていると判定されれば（YES）、制御部１１は、ステップＳ７０８にて、長時間露光画像データＤb2に対する合成重み付け係数Ｗｂを生成し、ステップＳ７０９にて、短時間露光画像データＤa1に対する合成重み付け係数Ｗａを生成する。長時間露光画像データＤb2が基準になっていると判定されなければ（NO）、制御部１１は、ステップＳ７１０にて、合成重み付け係数Ｗａを生成し、ステップＳ７１１にて、合成重み付け係数Ｗｂを生成する。
【００６７】
以上のように、第１実施形態においては、図５のステップＳ１〜Ｓ７を繰り返すことによって、変換係数Ｃobと合成重み付け係数Ｗａ，Ｗｂが好ましい状態に収束していく。結果として、重み付け合成部５４が図５のステップＳ８にて出力する広ダイナミックレンジ画像データＤHDRは、境界部での画素値が連続して視覚的に自然な画像となる。以上の説明より分かるように、第１実施形態においては、短時間露光画像データＤa1と長時間露光画像データＤb2との差分値に基づいた差分カウント値Ｄdfcを求めて、変換係数Ｃobと合成重み付け係数Ｗａ，Ｗｂとが収束するまで更新していけばよいため、回路規模や演算量は少なくてよい。よって、コストアップはほとんどなく、あってもわずかである。
【００６８】
＜第２実施形態＞
第２実施形態の構成は図１に示す構成と同様である。第２実施形態は、図５におけるステップＳ５を図８に示すステップＳ５２としたものである。図８において、図６と同一部分には同一符号を付し、その説明を省略する。図８に示すように、ステップＳ５２は、図６に示すステップＳ５１におけるステップＳ５０１とステップＳ５０２との間にステップＳ５１３を設けたものである。
【００６９】
短時間露光画像データＤａと長時間露光画像データＤｂとの露光量比によっては、合成画像の多くの領域を短時間露光画像データＤａが占めることになる。すると、ノイズが少ない長時間露光画像データＤｂが占める領域が少なくなり、長時間露光画像データＤｂによる効果が十分に発揮されない。そこで、制御部１１は、第２実施形態によるステップＳ５２においては、ステップＳ５１３にて、ステップＳ５０１にて６４倍に仮設定した変換係数Ｃoaの倍数を増加させるよう設定する。制御部１１は、例えば短時間露光画像データＤａを１００倍にするよう変換係数Ｃoaを増加させる。この際、短時間露光画像データＤａの高輝度側が飽和しないよう入力信号処理部２において短時間露光画像データＤａのニー特性を変更することが好ましい。
【００７０】
変換係数Ｃoaを増加設定したことにより、短時間露光画像データＤａをガンマ処理した場合の画素値の変化量は、ステップＳ５１４を設けない場合と比較して異なることになる。従って、変換係数Ｃobの補正値も変換係数Ｃoaの増加設定に対応させて適切な値とする。
【００７１】
第２実施形態によれば、合成画像における長時間露光画像データＤｂが占める領域を多くすることができ、ノイズの少ない合成画像を得ることができる。
【００７２】
＜第３実施形態＞
図９及び図１０を用いて第３実施形態の構成及び動作について説明する。第３実施形態は、図５におけるステップＳ５を図１０に示すステップＳ５３としたものである。図９において図１と同一部分には同一符号を付し、図１０において図６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図９において、ビデオカメラ１０３は、図１における多重露光画像合成部５０１の代わりに多重露光画像合成部５０３を設けている。多重露光画像合成部５０３は、差分生成部５３より出力された画面（フレーム）全体における差分カウント値Ｄdfcの内、部分的な特定の領域内の差分カウント値Ｄdfcpを出力する差分領域設定部５５を有する。ここでも便宜的に、正の閾値を越えた差分カウント値Ｄdfcpを差分カウント値Ｄdfcp(+)、負の閾値を越えた差分カウント値Ｄdfcpを差分カウント値Ｄdfcp(-)と称することとする。
【００７３】
画面内の特定の領域は、例えば画面の中央部である。ユーザが操作スイッチ１５によって特定の領域を指定してもよい。また、図示していない顔検出部によって検出された顔の領域を特定の領域とすることもできる。
【００７４】
第３実施形態においては、図１０に示すように、制御部１１は、ステップＳ５０５の後、ステップＳ５０６３にて、差分領域設定部５５から出力された部分的な領域からの差分カウント値Ｄdfcpを取り込む。制御部１１は、ステップＳ５０７３にて差分カウント値Ｄdfcpを平滑化する。制御部１１は、ステップＳ５０８３にて、正の差分カウント値Ｄdfcp(+)が制御部１１に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１０にて、変換係数Ｃobを増加させるよう設定する。制御部１１は、ステップＳ５１０３にて、負の差分カウント値Ｄdfcp(-)が制御部１１に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定する。ステップＳ５０６３にて部分的な領域からの差分カウント値Ｄdfcpを取り込むことから、図１０のステップＳ５０８３，Ｓ５１０３で用いる規定値は図６のステップＳ５０８，Ｓ５１０で用いる規定値とは異ならせる必要がある。
【００７５】
第３実施形態によれば、短時間露光画像データＤa1と長時間露光画像データＤb2とが合成領域で画素値が近接したか否かを部分的な領域からの差分カウント値Ｄdfcpに基づいて判断するので、データ量を削減することができ、合成のための各種パラメータが収束するまでの時間も短くすることができる。画面全体の差分カウント値Ｄdfcの代わりに部分的な領域からの差分カウント値Ｄdfcpを用いることから、境界部で画素値を連続させる精度は第１実施形態の方がよい。しかしながら、ユーザが画面内で注目する中央部や顔の領域を特定の領域とすることにより、実質的に精度の差は問題にならない。
【００７６】
第３実施形態においても、図１０のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。
【００７７】
＜第４実施形態＞
図１１及び図１２を用いて第４実施形態の構成及び動作について説明する。第４実施形態は、図５におけるステップＳ５を図１２に示すステップＳ５４としたものである。図１１において図１と同一部分には同一符号を付し、図１２において図６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図１１において、ビデオカメラ１０４は、図１における多重露光画像合成部５０１の代わりに多重露光画像合成部５０４を設けている。多重露光画像合成部５０４においては、差分生成部５３が第１実施形態の差分カウント値Ｄdfcを出力するのではなく、差分値Ｄdf自体を出力するように構成している。第４実施形態においては、制御部１１は差分値Ｄdfに基づく代表値を直接評価する。
【００７８】
図１２において、制御部１１は、ステップＳ５０５４にて、後述する差分平均値Ｄdfavgに対する閾値を設定する。ここで設定する閾値は、差分平均値Ｄdfavgの変動に過敏に追従しないよう、差分平均値Ｄdfavgが閾値以下の場合には変換係数Ｃobを増減させにようにするためのものである。制御部１１は、ステップＳ５０６４にて、差分値Ｄdfを取り込む。制御部１１は、ステップＳ５０７４にて、差分値Ｄdfを平滑化し、平均値化して差分平均値Ｄdfavgを生成する。制御部１１は、差分平均値Ｄdfavgを差分値Ｄdfの評価のための代表値とする。差分値Ｄdfを平均値化する代わりに、差分値Ｄdfを加算した差分加算値を代表値としてもよい。
【００７９】
図１２において、制御部１１は、ステップＳ５０８４にて、差分平均値Ｄdfavgが制御部１１に予め設定した正の規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５０９にて、変換係数Ｃobを増加させるよう設定する。制御部１１は、ステップＳ５１０４にて、差分平均値Ｄdfavgが制御部１１に予め設定した規定値以内であるか否かを判定する。負の規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定する。
【００８０】
このように、閾値を超えた差分値の差分カウント値Ｄdfcの代わりに差分値Ｄdf自体から求めた差分平均値Ｄdfavgを評価するようにしても、第１実施形態と同様の効果を奏することができる。なお、第４実施形態では差分カウント値Ｄdfcを用いないので、図７におけるステップＳ７０５は差分平均値Ｄdfavgが安定しているか否かを判定するステップとすればよい。
【００８１】
第４実施形態においても、図１１のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。
【００８２】
＜第５実施形態＞
図１３及び図１４を用いて第５実施形態の構成及び動作について説明する。第５実施形態は、図５におけるステップＳ５を図１４に示すステップＳ５５としたものである。図１３において図１と同一部分には同一符号を付し、図１４において図６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図１３において、ビデオカメラ１０５は、図１における多重露光画像合成部５０１の代わりに多重露光画像合成部５０５を設けている。多重露光画像合成部５０５においては、差分生成部５３が差分値Ｄdf自体を出力し、差分領域設定部５５が画面（フレーム）全体における差分値Ｄdfの内、部分的な特定の領域内の差分値Ｄdfpを出力するように構成している。画面内の特定の領域は、第３実施形態と同様である。
【００８３】
図１４において、制御部１１は、ステップＳ５０５５にて、後述する差分平均値Ｄdfpavgに対する閾値を設定する。差分平均値Ｄdfpavgに対する閾値は、第４実施形態における差分平均値Ｄdfavgに対する閾値と同様である。制御部１１は、ステップＳ５０６５にて、部分的な差分値Ｄdfpを取り込む。制御部１１は、ステップＳ５０７５にて、部分的な差分値Ｄdfpを平滑化し、平均値化して差分平均値Ｄdfpavgを生成する。制御部１１は、ステップＳ５０８５にて、差分平均値Ｄdfpavgが制御部１１に予め設定した正の規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５０９にて、変換係数Ｃobを増加させるよう設定する。制御部１１は、ステップＳ５１０５にて、差分平均値Ｄdfpavgが制御部１１に予め設定した負の規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定する。
【００８４】
閾値を超えた差分カウント値Ｄdfcを評価する代わりに差分値Ｄdf自体を評価する場合には、部分的な領域からの差分平均値Ｄdfpavgとした方がデータ量を削減することができるので好ましい。
【００８５】
第５実施形態においても、図１２のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。
【００８６】
＜第６実施形態＞
図１５及び図１６を用いて第６実施形態の構成及び動作について説明する。第６実施形態は、図５におけるステップＳ５を図１６に示すステップＳ５６としたものである。図１５において図１と同一部分には同一符号を付し、図１６において図６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図１６において、ビデオカメラ１０６は、図１における多重露光画像合成部５０１の代わりに多重露光画像合成部５０６を設けている。
【００８７】
多重露光画像合成部５０６は平滑化処理部５６を備える。平滑化処理部５６は、画素値変換部５１ａより出力された短時間露光画像データＤa1を平滑化する平滑化処理部５６ａと、画素値変換部５１ｂより出力された長時間露光画像データＤb2を平滑化する平滑化処理部５６ｂとを含む。
【００８８】
平滑化処理部５６ａ，５６ｂは、画面内で画素値を平滑化するローパスフィルタで構成することができる。平滑化処理部５６ａ，５６ｂによって短時間露光画像データＤa1と長時間露光画像データＤb2を平滑化することにより、多重露光画像出力部３で除去した画面ぶれ以外の被写体の動きやノイズが短時間露光画像データＤa1と長時間露光画像データＤb2との差分値に与える影響を軽減することができる。
【００８９】
平滑化処理部５６ａ，５６ｂより出力された平滑化処理が施された短時間露光画像データＤa1と長時間露光画像データＤb2は、差分生成部５３に入力される。差分生成部５３は、平滑化処理が施された短時間露光画像データＤa1と長時間露光画像データＤb2に基づいて差分カウント値Ｄdfcを生成する。短時間露光画像データＤa1の低輝度部分はＳ／Ｎがよくなく、階調が低くなるという特性があるため、制御部１１は、平滑化処理部５６ａにおける短時間露光画像データＤa1に対するフィルタの平滑化係数を、平滑化処理部５６ｂにおける長時間露光画像データＤb2に対するフィルタの平滑化係数よりも大きくすることが好ましい。即ち、短時間露光画像データＤa1に対する平滑化の程度を、長時間露光画像データＤb2に対する平滑化の程度よりも大きくすることが好ましい。
【００９０】
図１６において、制御部１１は、ステップＳ５１４にて、平滑化処理部５６ａ，５６ｂによって短時間露光画像データＤa1と長時間露光画像データＤb2を平滑化させる。ステップＳ５０６で取り込まれる差分カウント値Ｄdfcは、平滑化処理部５６ａ，５６ｂによる平滑化によって被写体の動きやノイズによる影響が軽減された差分値に基づいて生成されたものである。ステップＳ５１４に続くステップＳ５０５以降は、第１実施形態と同様である。
【００９１】
第６実施形態においても、図１４のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。また、第６実施形態においても、第４実施形態と同様に、閾値を超えた差分値の差分カウント値Ｄdfcの代わりに差分値Ｄdfに基づいて生成した差分平均値Ｄdfavgを評価するようにしてもよい。
【００９２】
＜第７実施形態＞
図１７及び図１８を用いて第７実施形態の構成及び動作について説明する。第７実施形態は、図５におけるステップＳ５を図１８に示すステップＳ５７としたものである。図１７において図９，図１５と同一部分には同一符号を付し、図１８において図１６と同一ステップには同一符号を付し、それぞれ説明を適宜省略する。図１７において、ビデオカメラ１０７は、図９における多重露光画像合成部５０３の代わりに多重露光画像合成部５０７を設けている。多重露光画像合成部５０７は、平滑化処理部５６と差分領域設定部５５とを備える。
【００９３】
第７実施形態は、差分生成部５３が、平滑化処理部５６ａ，５６ｂによって平滑化処理が施された短時間露光画像データＤa1と長時間露光画像データＤb2とに基づいて差分カウント値Ｄdfcを生成し、差分領域設定部５５が、差分カウント値Ｄdfcに基づいて部分的な領域からの差分カウント値Ｄdfcpを生成する構成である。
【００９４】
図１８において、制御部１１は、ステップＳ５０６７にて、差分領域設定部５５から出力された部分的な領域からの差分カウント値Ｄdfcpを取り込む。制御部１１は、ステップＳ５０７７にて差分カウント値Ｄdfcpを平滑化する。制御部１１は、ステップＳ５０８７にて、正の差分カウント値Ｄdfcp(+)が制御部１１に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１０にて、変換係数Ｃobを増加させるよう設定する。制御部１１は、ステップＳ５１０７にて、負の差分カウント値Ｄdfcp(-)が制御部１１に予め設定した規定値以内であるか否かを判定する。規定値以内であると判定されなければ（NO）、制御部１１は、ステップＳ５１１にて、変換係数Ｃobを減少させるよう設定する。
【００９５】
第７実施形態においても、図１６のステップＳ５０１とステップＳ５０２との間に、第２実施形態の図８におけるステップＳ５１３を設けてもよい。また、第７実施形態においても、部分的な領域からの差分カウント値Ｄdfcpを評価する代わりに、第５実施形態と同様に、部分的な領域からの差分平均値Ｄdfpavgを評価してもよい。
【００９６】
本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。各実施形態としてビデオカメラに画像処理装置を搭載した例を示したが、本発明は画像表示装置やコンピュータ等の情報処理装置に適用することができる。各実施形態では、撮影した画像を即座に合成して合成画像を生成するようにしているが、露光量を異ならせて撮影した画像を記憶媒体に記憶させて貯蔵しておき、記憶媒体に貯蔵された画像を合成する画像処理装置であってよい。各実施形態では、輝度信号Ｙと色差信号Ｃｂ，Ｃｒの形態で画像合成するようにしたが、ＲＧＢ信号で合成することも可能である。
【００９７】
各実施形態では動画の合成について説明したが、静止画の合成であってもよい。露光量を異ならせて撮影した２枚の静止画を合成する場合には、同じ画像に対して繰り返し各種パラメータを更新して最適な合成画像となるまでパラメータの更新処理を繰り返せばよい。各実施形態では、圧縮広ダイナミックレンジ画像データＤCHDRを表示部１０に表示したり、圧縮広ダイナミックレンジ画像データＤCHDRに基づいた符号化データを記録再生部１４に記録したりしているが、広ダイナミックレンジ画像データＤHDRそのままで記録や表示を行ってもよい。前述のように、露光量の異なる３枚以上の画像を合成してもよい。
【００９８】
さらに、各実施形態では、制御部１１をパラメータ更新部として動作させたが、変換係数Ｃoa，Ｃobを設定または更新する制御部と、上限値ＴhHと下限値ＴhLとを設定または更新する制御部とを別々に設けてもよく、具体的な構成の仕方は任意である。
【００９９】
ところで、各実施形態では、多重露光画像出力部３以降のデジタル信号を便宜上データと称したが、信号とはアナログ信号とデジタル信号とを区別せず両者を含む。各実施形態では、多重露光画像出力部３以降をデジタル信号処理としたが、デジタル信号処理とアナログ信号処理との使い分けも任意である。
【符号の説明】
【０１００】
１ 撮像部
２ 入力信号処理部
３ 多重露光画像出力部
６ ダイナミックレンジ圧縮部
１１ 制御部（パラメータ更新部）
５１，５１ａ，５１ｂ 画素値変換部
５２ 合成重み付け係数生成部
５３ 差分生成部
５４ 重み付け合成部
５５ 差分領域設定部
５６，５６ａ，５６ｂ 平滑化処理部
１０１，１０３，１０４，１０５，１０６，１０７ ビデオカメラ
５０１，５０３，５０４，５０５，５０６，５０７ 多重露光画像合成部
【特許請求の範囲】
【請求項１】
露光量を互いに異ならせて同一の被写体を複数回撮影した第１の複数の画像信号が入力され、露光量が異なることによる前記第１の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第１の複数の画像信号の内の少なくとも１つの画像信号の画素値を変換して、第２の複数の画像信号として出力する画素値変換部と、
前記第２の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成する合成重み付け係数生成部と、
前記第２の複数の画像信号の差分を生成する差分生成部と、
前記第２の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成する重み付け合成部と、
前記差分生成部によって生成された差分を評価して、差分が小さくなるように前記画素値変換係数を更新するパラメータ更新部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記合成重み付け係数を更新する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記境界部は複数の画素値の画素を含む領域であり、前記境界部の最も大きい画素値を上限値とし、前記境界部の最も小さい画素値を下限値としたとき、
前記合成重み付け係数生成部は、前記第２の複数の画像信号における２つの画像信号を合成する合成重み付け係数として、前記上限値より大きい部分では前記２つの画像信号の内の一方の画像信号とし、前記下限値より小さい部分では前記２つの画像信号の内の他方の画像信号とし、前記上限値と前記下限値との間では、前記２つの画像信号をクロスフェードさせて混合させる合成重み付け係数を生成する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記上限値と前記下限値とを互いの間隔が狭くなるように更新し、
前記合成重み付け係数生成部は、更新された前記上限値と前記下限値とに基づいて合成重み付け係数を生成する
ことを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記差分生成部は、前記２つの画像信号における一方の画像信号を基準としたとき、基準とした前記一方の画像信号が前記上限値と前記下限値との間で他方の画像信号の差分を生成する
ことを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記パラメータ更新部は、画面内の部分的な領域における前記第２の複数の画像信号の差分を評価する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
露光量を互いに異ならせて同一の被写体を複数回撮影して第１の複数の画像信号を生成し、
露光量が異なることによる前記第１の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第１の複数の画像信号の内の少なくとも１つの画像信号の画素値を変換して、第２の複数の画像信号を生成し、
前記第２の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成し、
前記第２の複数の画像信号の差分を生成し、
前記第２の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成し、
前記差分を評価して、差分が小さくなるように前記画素値変換係数を更新する
ことを特徴とする画像処理方法。
【請求項１】
露光量を互いに異ならせて同一の被写体を複数回撮影した第１の複数の画像信号が入力され、露光量が異なることによる前記第１の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第１の複数の画像信号の内の少なくとも１つの画像信号の画素値を変換して、第２の複数の画像信号として出力する画素値変換部と、
前記第２の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成する合成重み付け係数生成部と、
前記第２の複数の画像信号の差分を生成する差分生成部と、
前記第２の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成する重み付け合成部と、
前記差分生成部によって生成された差分を評価して、差分が小さくなるように前記画素値変換係数を更新するパラメータ更新部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記合成重み付け係数を更新する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記境界部は複数の画素値の画素を含む領域であり、前記境界部の最も大きい画素値を上限値とし、前記境界部の最も小さい画素値を下限値としたとき、
前記合成重み付け係数生成部は、前記第２の複数の画像信号における２つの画像信号を合成する合成重み付け係数として、前記上限値より大きい部分では前記２つの画像信号の内の一方の画像信号とし、前記下限値より小さい部分では前記２つの画像信号の内の他方の画像信号とし、前記上限値と前記下限値との間では、前記２つの画像信号をクロスフェードさせて混合させる合成重み付け係数を生成する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記パラメータ更新部は、前記画素値変換係数を更新するのに併せて、前記上限値と前記下限値とを互いの間隔が狭くなるように更新し、
前記合成重み付け係数生成部は、更新された前記上限値と前記下限値とに基づいて合成重み付け係数を生成する
ことを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記差分生成部は、前記２つの画像信号における一方の画像信号を基準としたとき、基準とした前記一方の画像信号が前記上限値と前記下限値との間で他方の画像信号の差分を生成する
ことを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記パラメータ更新部は、画面内の部分的な領域における前記第２の複数の画像信号の差分を評価する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
露光量を互いに異ならせて同一の被写体を複数回撮影して第１の複数の画像信号を生成し、
露光量が異なることによる前記第１の複数の画像信号における画素値の違いを合わせるように、画素値変換係数に基づいて、前記第１の複数の画像信号の内の少なくとも１つの画像信号の画素値を変換して、第２の複数の画像信号を生成し、
前記第２の複数の画像信号を所定の画素値の画素を含む領域を境界部として合成する際に用いる合成重み付け係数を生成し、
前記第２の複数の画像信号の差分を生成し、
前記第２の複数の画像信号を、前記合成重み付け係数を用いて重み付けして合成して合成画像信号を生成し、
前記差分を評価して、差分が小さくなるように前記画素値変換係数を更新する
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−９１０４（Ｐ２０１３−９１０４Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３９６８８（Ｐ２０１１−１３９６８８）
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]