画像処理装置、及びその制御方法
【課題】少数の合成用画像を用いた広ダイナミックレンジ処理の効果を多数の合成用画像を用いた広ダイナミックレンジ処理の効果に近づける技術を提供する。
【解決手段】撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置であって、前記撮像手段に２個の異なる露出値で２枚の画像を撮像させる撮像制御手段と、前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換手段と、前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御手段と、を備え、前記変換手段は、前記Ｎ個の露出値及び前記２枚の画像の２個の露出値に基づいて、前記２枚の画像から生成されるＨＤＲ画像の階調特性が前記Ｎ枚の画像から生成されるＨＤＲ画像の階調特性に近くなるように前記２枚の画像のうちの少なくとも一方の階調特性を変換することを特徴とする画像処理装置を提供する。
【解決手段】撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置であって、前記撮像手段に２個の異なる露出値で２枚の画像を撮像させる撮像制御手段と、前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換手段と、前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御手段と、を備え、前記変換手段は、前記Ｎ個の露出値及び前記２枚の画像の２個の露出値に基づいて、前記２枚の画像から生成されるＨＤＲ画像の階調特性が前記Ｎ枚の画像から生成されるＨＤＲ画像の階調特性に近くなるように前記２枚の画像のうちの少なくとも一方の階調特性を変換することを特徴とする画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及びその制御方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いた撮像において、明度差の大きなシーンを撮像すると明部では白とびが、暗部では黒つぶれが発生することがある。このような白とびや黒つぶれの補正方法として、露光量の異なる複数枚の画像を撮像し、それぞれの画像中に存在する白とびの無い領域と黒つぶれの無い領域とを合成することで、明部や暗部が適切に再現された広ダイナミックレンジ画像を生成する手法がある。
【０００３】
特許文献１に記載の撮像装置は、動画と静止画の撮像モードを切り替えて撮像することが可能であり、広ダイナミックレンジ処理後の画像から撮像状況を推定して階調特性情報を生成し、画像再生時に階調特性を制御する。また、特許文献２に記載の撮像装置は、長時間撮像と短時間撮像とを交互に行い、現在の露光時間に対応した広ダイナミックレンジ処理への切り替えを行う。この撮像装置は更に、現在のフレームとの類似度に応じて、２枚の画像を合成するか３枚の画像を合成するかを切り替える。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０４６８４８号公報
【特許文献２】特開２００３−０４６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、露光量の異なる合成用画像の枚数が多いほど広ダイナミックレンジ処理の効果が向上するが、処理に長時間を要する。従って、動画像やライブビュー画像などに対して広ダイナミックレンジ処理を適用する場合、合成用画像の数が多いとフレームレートが低下する。しかしながら、フレームレートの低下を抑制するために合成用画像の数を減らすと、プレビュー画像と多数の合成用画像から生成される記録用静止画像とで広ダイナミックレンジ処理の効果が大きく異なってしまう。従って、動画像やプレビュー画像を通じて記録用静止画像に対する広ダイナミックレンジ処理の効果をユーザが事前に確認することが困難になる。
【０００６】
上述のように広ダイナミックレンジ処理の手法は種々提案されているが、特許文献１及び特許文献２はいずれも、上述の課題に対する解決策を提示してはいない。更に、特許文献１の撮像装置は、再生時に階調特性の制御を行っているため、プレビュー画像と再生画像とでは広ダイナミックレンジ処理の効果が異なる。また、特許文献２の撮像装置は、動きに対する類似度を基に広ダイナミックレンジ処理に使用する合成用画像の数を切り替えているため、常に最大合成枚数で処理を行えるようにリソースを準備しておく必要がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、少数の合成用画像を用いた広ダイナミックレンジ処理の効果を多数の合成用画像を用いた広ダイナミックレンジ処理の効果に近づける技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、第１の本発明は、撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置であって、前記撮像手段に２個の異なる露出値で２枚の画像を撮像させる撮像制御手段と、前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換手段と、前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御手段と、を備え、前記変換手段は、前記Ｎ個の露出値及び前記２枚の画像の２個の露出値に基づいて、前記２枚の画像から生成されるＨＤＲ画像の階調特性が前記Ｎ枚の画像から生成されるＨＤＲ画像の階調特性に近くなるように前記２枚の画像のうちの少なくとも一方の階調特性を変換することを特徴とする画像処理装置を提供する。
【０００９】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１０】
以上の構成により、本発明によれば、少数の合成用画像を用いた広ダイナミックレンジ処理の効果を多数の合成用画像を用いた広ダイナミックレンジ処理の効果に近づけることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係るデジタルカメラ１００の構成を示すブロック図
【図２】第１の実施形態に係るデジタルカメラ１００が実行する簡易ＨＤＲ処理の流れを示すフローチャート
【図３】通常ＨＤＲ処理用の画像の撮像条件を算出する処理の流れを示すフローチャート
【図４】入力画像の輝度値ヒストグラムの一例を示す図
【図５】高露光画像の輝度値ヒストグラムの一例を示す図
【図６】（ａ）露出段差が小さい２枚の合成用画像に基づくＨＤＲ処理の概念図、（ｂ）低露光画像と高露光画像との露出段差が大きい場合のＨＤＲ処理の概念図
【図７】（ａ）簡易ＨＤＲ処理における各合成用画像のダイナミックレンジと処理後のＨＤＲ画像のダイナミックレンジとの関係を模式的に表す図、（ｂ）注目する階調領域として中間階調が選択された場合の簡易ＨＤＲ処理の概念図
【図８】（ａ）黒階調領域により多くの階調値を割り当てるトーンマッピングの概念図、（ｂ）白階調領域により多くの階調値を割り当てるトーンマッピングの概念図
【図９】第２の実施形態に係るデジタルカメラ９００の構成を示すブロック図
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１３】
［第１の実施形態］
以下、本発明の画像処理装置をデジタルカメラに適用した実施形態について説明する。図１は、第１の実施形態に係るデジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、被写体像を形成する光学系１０１、及び、光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子１０２を備える。デジタルカメラ１００はまた、撮像素子１０２から出力される電気信号から映像信号を形成するカメラ信号処理部１０３を備える。カメラ信号処理部１０３は、不図示のＡ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、及びオートホワイトバランス部を含み、デジタル信号を形成する。撮像素子１０２及びカメラ信号処理部１０３により、画像の取得（撮像）を行う撮像系が構成される。
【００１４】
デジタルカメラ１００はまた、メモリ１０４を備える。メモリ１０４は、カメラ信号処理部１０３により形成された映像信号の１フィールド又は複数のフィールドの画像を一時的に記憶保持する。デジタルカメラ１００はまた、入力された画像に対して例えば白とびや黒つぶれの量を評価する、評価値取得部１０５を備える。
【００１５】
デジタルカメラ１００はまた、評価値取得部１０５から得られる画像評価値に応じて静止画合成に用いる画像の撮像条件を算出する、撮像条件算出部１０６を備える。デジタルカメラ１００はまた、時間的に隔たりのある２枚の合成用画像間の、複数の座標のそれぞれにおける移動量（動きベクトル）を検出する、動きベクトル検出部１０７を備える。
【００１６】
デジタルカメラ１００はまた、動きベクトル検出部１０７によって検出された動きベクトルに基づいて合成用画像間のずれ量を画像変形量として算出する、位置合わせパラメータ算出部１０８を備える。デジタルカメラ１００はまた、位置合わせ部１０９を備える。位置合わせ部１０９は、位置合わせパラメータ算出部１０８によって算出された画像変形量を用いて、画像間の位置合わせを行うための画像幾何変換処理を行う。
【００１７】
デジタルカメラ１００はまた、階調制御部１１１を備える。階調制御部１１１は、撮像条件算出部１０６から得られた撮像パラメータに基づいて、ライブビュー表示等のための広ダイナミックレンジ処理（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ処理：以下、「ＨＤＲ処理」と呼ぶ）に用いる合成用画像に対してトーンマッピング処理等を施すことにより、合成用画像の階調補正を行う。
【００１８】
デジタルカメラ１００はまた、画像合成部１１２を備える。画像合成部１１２は、位置合わせ部１０９において位置合わせが行われた複数枚の合成用画像を用いて画像合成を行うことで、広ダイナミックレンジ画像（以下、「ＨＤＲ画像」と呼ぶ）を生成する。画像合成部１１２は、Ｎ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより、静止画記録用の高精度なＨＤＲ画像を生成可能である。画像合成部１１２はまた、Ｎ個の露出値のうちの２個の露出値で撮像された２枚の画像を合成することにより、ライブビュー表示用等のＨＤＲ画像を生成することもできる。以下、静止画記録用のＨＤＲ処理及びライブビュー表示用等のＨＤＲ処理をそれぞれ、「通常ＨＤＲ処理」「簡易ＨＤＲ処理」とも呼ぶことにする。後述する制御部１１３によって位置合わせ部１０９及びメモリ１０４を制御し、ライブビュー表示用等の簡易ＨＤＲ処理のときと静止画記録用の通常ＨＤＲ処理のときとでパスを変える。簡易ＨＤＲ処理のときには、低露光画像及び高露光画像がまずリサイズ部１１０にて表示媒体での表示に適したサイズにリサイズされ、階調制御部１１１にて後述するトーンマッピングを行い、画像合成部１１２に出力される。通常ＨＤＲ処理のときには、低露光画像及び高露光画像はリサイズ部１１０、階調制御部１１１を介さずに直接画像合成部１１２に送られる。また、本実施形態の簡易ＨＤＲ処理は通常ＨＤＲ処理の方が多数の合成用画像を使用する場合に特に効果があるのでＮは３以上の整数としたが、画像合成部１１２は２枚の画像を使用して通常ＨＤＲ処理を実行しても構わない。また、本実施形態では、２枚の画像を用いて簡易ＨＤＲ処理を実現しているが、通常ＨＤＲ処理に比べて簡易であればよく、通常ＨＤＲ処理で用いられる画像の枚数よりも少なければ、何枚でも構わない。
【００１９】
デジタルカメラ１００はまた、制御部１１３を備える。制御部１１３は、デジタルカメラ１００の各部に指示を行ったり、各部の処理に必要な演算等を行ったりする。図１では、本実施形態に特徴的な動作に係わるブロックに対して制御の関係を図示（矢印）しているが、制御部１１３はこれ以外のブロックの制御も担っている。
【００２０】
デジタルカメラ１００はまた、記録部１１４を備える。記録部１１４は、画像合成部１１２から出力される合成画像データを所定の圧縮形式で圧縮し、記録媒体に記録する。記録媒体は内部に搭載されているメモリでもよいし、外部から着脱可能なものでもよい。
【００２１】
デジタルカメラ１００はまた、表示部１１５を備える。表示部１１５は、画像合成部１１２から出力される合成画像データを表示手段に表示する。表示手段としては、内部に液晶等の表示媒体を有していても良いし、外部のモニタ等を表示手段として、表示させても良い。
【００２２】
図２は、第１の実施形態に係るデジタルカメラ１００が実行する簡易ＨＤＲ処理の流れを示すフローチャートである。但し、簡易ＨＤＲ処理と通常ＨＤＲ処理とでは共通点もあるため、以下では、部分的に通常ＨＤＲ処理についても説明する。
【００２３】
（Ｓ２０１：画像入力）
Ｓ２０１で、撮像素子１０２は、光学系１０１によって形成された被写体像を被写体輝度に応じたアナログ信号として出力する。カメラ信号処理部１０３は、出力されたアナログ信号に対してＡ／Ｄ変換を行い、例えば１２ビットのデジタル信号を生成する。更に、カメラ信号処理部１０３は、デジタル信号に対してＡＧＣ処理及びＡＷＢ処理を行うことにより、信号レベル補正や白レベル補正が行われたデジタル映像信号を生成し、メモリ１０４に記録する。本実施形態のデジタルカメラ１００では、所定のフレームレートで順次フィールド画像が生成される。メモリ１０４に記録されるフィールド画像は、評価値取得部１０５及び動きベクトル検出部１０７にも入力される。また、メモリ１０４に記録されているフィールド画像は順次更新される。
【００２４】
ここで、画像合成によるＨＤＲ処理では、露光量の異なる（異なる露出値で撮像された）複数枚の画像が必要となる。従って、動画撮影やライブビュー表示などの際には、簡易ＨＤＲ処理を行うために、デジタルカメラ１００は、少なくとも低露光及び高露光の２種類の露光条件の画像を繰り返し撮像する。他方、静止画記録時や動画撮像中の静止画同時記録時には、高精度なＨＤＲ処理（通常ＨＤＲ処理）を行うために、デジタルカメラ１００は、３種類以上（前述の通り、２種類でも構わない）の露光条件で連続して撮像を行う。このような「３種類以上の露光条件」等の撮像条件は、Ｓ２０２で決定される。
【００２５】
（Ｓ２０２：撮像条件決定）
Ｓ２０２で、デジタルカメラ１００は、入力された画像を評価することで、通常ＨＤＲ処理のための撮像条件（特に、合成用画像の枚数と各合成用画像の露出値）を算出する。簡易ＨＤＲ処理ではなく通常ＨＤＲ処理のための撮像条件を算出する理由は、簡易ＨＤＲ処理の効果を通常ＨＤＲ処理の効果に近づけるためには、前提として通常ＨＤＲ処理の内容を知る必要があるからである。この撮像条件決定の処理は、動画像、あるいはライブビュー表示で簡易ＨＤＲ処理を実現するためには、所定の周期で行われて撮像条件が更新されなければならない。また、静止画撮影後のクイックレビュー表示で簡易ＨＤＲ処理を実現するためには、静止画撮影時のレリーズスイッチの半押し等のタイミングで行われればよい。
【００２６】
図３は、通常ＨＤＲ処理用の画像の撮像条件を算出する処理の流れを示すフローチャートである。評価値取得部１０５には、前述したとおり、撮像素子１０２及びカメラ信号処理部１０３を経て高露光画像（高露出画像）と低露光画像（低露出画像）とが交互に入力される。また、本実施形態では、撮像条件を決定するための画像の評価方法の一例として、画像の輝度値のヒストグラムから得られる黒階調領域及び白階調領域の輝度分布を用いる方法について説明する。
【００２７】
まず、Ｓ３０１で、評価値取得部１０５は、Ｓ２０１において入力された画像の輝度値ヒストグラムを作成する。図４に、入力画像の輝度値ヒストグラムの一例を示す。図４において、横軸は輝度値を表しており、ここでは色深度が８ビットの場合の例として０から２５５までの値を示している。また、縦軸は輝度値の出現頻度を表しており、それぞれの輝度値を有する画素が画像中にどれだけ存在しているかを示している。図４において、輝度値０付近に存在している画素は画像中の黒い領域、つまり黒つぶれを含む領域の画素であり、輝度値２５５付近に存在している画素は画像中の白い領域、つまり白とびを含む領域の画素である。
【００２８】
Ｓ３０２で、評価値取得部１０５は、Ｓ３０１で取得したヒストグラムにおいて黒つぶれ及び白とびを含んでいると見なすことのできる階調を決定し、画像中の黒階調領域及び白階調領域の輝度値の分布を判定する。例えば、図４のヒストグラムから画像中の黒階調領域の輝度分布を判定する場合には、評価値取得部１０５は、符号４０１により示す黒階調領域とみなすことのできる階調の範囲を設定し、その範囲内に存在している輝度値の分布状態を判定する。同様に、画像中の白階調領域について判定を行う場合には、評価値取得部１０５は、符号４０２により示す白階調領域と判定できる階調の範囲を設定し、その範囲内に存在している画素の輝度分布を判定する。ここで、符号４０１及び４０２により示す階調の範囲の決定方法には特に制限は無く、実画像を参考にして主観的に決定したり、輝度値の取り得る範囲の例えば１０％というように輝度値の範囲の割合として設定したりしてもよい。そして、以上のようにして定められた符号４０１及び４０２の範囲が、ＨＤＲ処理により改善を図る輝度値となる。つまり、入力された画像が高露光画像の場合には、適正露光画像では黒つぶれしている領域である符号４０１の範囲の画素でも良好なテクスチャが得られているので、合成時にはこの領域を使用することになる。同様に、入力された画像が低露光画像であれば、符号４０２の範囲が白とびの改善に使用する領域となる。
【００２９】
また、本実施形態では、輝度値ヒストグラムにより画像の評価値を得る手法について述べたが、その手法に制限は無く、例えば主被写体領域の輝度値や、画面全体の輝度値の分散値を用いる手法等を用いてもよい。或いは、デジタルカメラ１００に搭載されている測光手段の値を用いてもよい。
【００３０】
図３のフローチャートの処理は、Ｓ３０２の後で、現在の撮像のタイミングが高露光撮影のタイミングであるか否かに応じて分岐する。高露光撮影のタイミングの場合、処理はＳ３０３に進み、そうでない場合（低露光撮影の場合）、処理はＳ３０４に進む。Ｓ３０３及びＳ３０４で、撮像条件算出部１０６は、輝度値ヒストグラムで決定された黒階調領域及び白階調領域の輝度分布に基づいて、ＨＤＲ処理に使用する合成用画像の撮像条件を決定する。
【００３１】
以下に、Ｓ３０３の処理を例にとって、合成用画像の撮像条件として露光量（露出値）を決定する方法について説明する。図５に、図４の画像よりも高露光で撮像した画像の輝度値ヒストグラムの例を示す。高露光で撮像されたことで、図４の符号４０１により示した黒階調領域は図５の符号５０１により示すように、より広い範囲の輝度値を有する。そして、撮像条件算出部１０６は、このときの露光量が高露光画像として適切であるか否かを判定するために、黒階調領域５０１の輝度分布のエントロピーを算出する。ここで、エントロピーとは、あるデータの平均化の度合いを表す数値である。エントロピーが大きいほどデータにばらつきが多くなり、逆にエントロピーが小さいほどデータのばらつきが小さいことを示している。以下に、画像中の輝度値のエントロピーＥｇを算出するための計算式を示す。
【００３２】
式（１）において、ｎは黒階調領域の全画素数、ｎｉはその黒階調領域内で輝度値がｉである画素の数を示している。従って、式（１）より得られた輝度分布のエントロピーの値が、直前の高露光画像でのエントロピーの値よりも大きい場合には、図５の符号５０１に示すように黒階調領域の輝度変動が大きくなったことになる。従って、輝度値の変動が少ない黒つぶれの領域が減少したと判定することができる。そして、次の高露光フレームでは現フレームよりも露光量を上げて撮像することで更に黒つぶれを抑制することができると考えられる。また、露光量を上げ過ぎると、画像全体が明るくなるため、黒階調領域のエントロピーは逆に減少してしまう。そのため、Ｓ３０３においてエントロピーが減少しと判定した場合、黒つぶれ量が増加したと考えられるため、次の高露光フレームでは露光量を下げて撮像するようにする。図３のフローチャートの処理（図２のＳ２０２の処理）は繰り返し実行されるため、Ｓ３０３の処理も繰り返し実行され、高露光画像の露光量は最終的に最適な値（黒階調領域のエントロピーを最大にする露光量）に収束する。
【００３３】
以上のように、現時点で撮像された高露光画像とそれ以前に撮像された高露光画像とで黒階調領域のエントロピーとを比較し、エントロピーが最大となる方向に露光量を制御することで、好適な高露光画像を撮像することが可能となる。このことは、Ｓ３０４に示した低露光画像が入力された場合についても同様であるが、低露光画像では白とび領域に着目して露光量の制御を行うことになる。また、露光量の制御には絞りやシャッタースピード等の撮像パラメータを変更すればよく、露光量を変更できるパラメータであれば特に制限はない。
【００３４】
ここまでは露光量の制御方法について述べたが、合成用画像撮像のための撮像条件としては、この他に撮像枚数を決定する必要がある。まず、前述の露光量の制御において決定された低露光画像と高露光画像の露光段数の差が小さい場合、例えば適正露光を基準として低露光画像が−１段、高露光画像が＋１段というような場合を考える。図６（ａ）に露出段差が小さい２枚の合成用画像を用いてＨＤＲ処理を行った際の各画像のダイナミックレンジとＨＤＲ画像のダイナミックレンジとの関係を模式的に示す。図６（ａ）において、縦方向が画像の階調を示しており、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）はＨＤＲ画像の最小輝度値であり、ＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）は最大輝度値を表す。また、符号６０１は、低露光画像の輝度値のダイナミックレンジを表しており、白とびの無い白階調領域を有している。それに対して符号６０２は、高露光画像の輝度値のダイナミックレンジを表しており、黒つぶれの無い黒階調領域を有している。符号６０３は、ＨＤＲ画像における中間階調領域を表している。但し、図６（ａ）に示した低露光画像６０１及び高露光画像６０２のダイナミックレンジは、以下に詳述するように、予め輝度値のレベル合わせを施したものを示している。
【００３５】
低露光画像６０１と高露光画像６０２とでは、撮像されたままの状態では入出力特性の違いにより同じ光強度でも出力輝度値が異なるため、そのままでは合成することができない。そこで、２画像間の出力輝度値のレベルを合わせるために、どちらかの画像にゲイン補正を施すことが必要となる。ゲイン補正の値は、２枚の合成用画像の露出段差から求めることができる。例えば、低露光画像６０１と高露光画像６０２との露出段差が１であったとすると、高露光画像の低露光画像に対する光強度の比は２倍となる。従って、低露光画像６０１の各画素の輝度値に対して２倍のゲインアップを行うことで、高露光画像６０２との輝度値のレベルが一致し、合成が可能となる。以上のようにして作成された図６（ａ）は、ＨＤＲ処理に用いるそれぞれの画像が、処理後のＨＤＲ画像のダイナミックレンジのどの階調を担っているのかを示していることになる。
【００３６】
ここで、露出段差が小さい場合には、どちらの画像でも中間階調領域６０３に相当する階調をカバーできているため、これら２枚の画像のどちらかもしくは両方の画素を使用すれば良好なＨＤＲ画像を生成することができる。従って、図６（ａ）において必要な撮像枚数は２枚であると判定できる。
【００３７】
それに対して、低露光画像と高露光画像との露出段差が大きい場合、例えば適正露出を基準として低露光画像が−３段、高露光画像が＋３段というような場合のダイナミックレンジの関係を図６（ｂ）に示す。同図より、露出段差が大きい場合には低露光画像６０４及び高露光画像６０５共に、中間階調領域６０７をカバーしている範囲が狭くなる。更に、低露光画像６０４の黒階調領域では黒つぶれが、高露光画像６０５の白階調領域では白とびが多く生じているため、このまま画像を合成してＨＤＲ画像を生成したとしても中間階調領域の階調性は良好に再現されない。このような場合には、図６（ｂ）の符号６０６に示すように、低露光画像６０４と高露光画像６０５の２枚に加えて中間の露光量の画像を撮像して合成に使用することで、中間階調の再現性を向上させる必要がある。ここで、図６（ｂ）では必要な撮像枚数は３枚であると判定しているが、実際には合成に使用する枚数に特に制限は無く、更に多くの枚数を撮像してもよい。また、撮像枚数の決定方法についても制限は無く、露出段差から自動的に算出してもよいし、ユーザが手動で指定する等の方法を用いてもよい。
【００３８】
しかしながら、実際のデジタルカメラ１００の動作としては、常に撮像条件として決定された枚数の画像を撮像する必要は無く、撮像状況に応じて撮影枚数を切り替えればよい。つまり、動画撮影、ライブビュー表示等においては少ない枚数での簡易ＨＤＲ処理を行えばよいので、デジタルカメラ１００は、撮像条件として決定された複数個の露出値の中から２個の露出値を選び２枚を撮像しておけばよいことになる（図３のＳ３０３及びＳ３０４の処理を実行するためには、撮像条件として決定された複数個の露出値のうち、露出値が最大のものと最小のものなど）。そして、シャッターボタンが押下される等により、デジタルカメラ１００に対して静止画記録用の高精細なＨＤＲ処理を行う指示が出されたら、デジタルカメラ１００は、撮像条件として決定された露光量及び枚数の撮影を行う。
【００３９】
以上のようにして、Ｓ２０２では、通常ＨＤＲ処理に必要となる合成用画像の撮像条件として撮像パラメータ（露光量）及び撮像枚数が決定され、その情報に従ってデジタルカメラ１００は撮像を行う。そして、撮像された合成用画像はメモリ１０４へ格納され、撮像条件の情報は階調制御部１１１へと伝送される。
【００４０】
（Ｓ２０３：画像位置合わせ）
Ｓ２０３の処理は、Ｓ２０２の処理と並行して実行される（直列的に実行されてもよい）。Ｓ２０３では、Ｓ２０２において撮像された複数枚の合成用画像間の位置合わせが行われる。合成用画像の撮像中にデジタルカメラ１００や被写体に動きが生じていた場合、各合成用画像間には微小な位置ずれが生じている。その位置ずれのために、そのままの状態で画像合成を行うと合成結果であるＨＤＲ画像において被写体像にぶれが生じる。そこで、画像合成を行う前に、各合成用画像間の位置ずれ量を検出し、そのずれ量を打ち消すように画像に幾何変換を施して位置合わせを行う必要がある。
【００４１】
具体的には、まず、動きベクトル検出部１０７は、合成用画像間の動きベクトルを求める。動きベクトルの検出は一般に、２つの画像間における注目画素及びその近傍領域のテクスチャ情報の相関関係に基づいて実行される。注目画素の配置は画像全体を覆うような等間隔の配置であってもよいし、テクスチャのエッジやコーナー等の特徴点を抽出して注目画素としてもよい。しかしながら、合成用画像はお互いに異なる露光量で撮像されているため、そのままの状態では画像全体の明るさに差があり、同じ領域でも相関が低いと判定されてしまう。そこで、動きベクトルの検出を行う前に各合成用画像の輝度値のレベルを合わせておく必要がある。
【００４２】
輝度値のレベル合わせの方法としては、画像撮像時の撮像パラメータに基づいてゲイン調整を行う方法や、全画素に対して正規化処理を施す方法等があるが、特にこれらの方法に限られるものではない。また、動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法を用いればよいが、利用可能な方法に制限は無い。
【００４３】
続いて、位置合わせパラメータ算出部１０８は、動きベクトル検出部１０７で算出された動きベクトル群を用いて、合成用画像間の位置ずれ量を画像変形量として算出する。本実施形態では、画像変形量のモデルとして平面射影モデルを使用して位置合わせのための画像変形量を算出する場合について説明する。
【００４４】
ここで、位置合わせを行う２枚の画像の第１画像上に存在するある点ａ、
ａ＝［ｘ，ｙ，１］Ｔ ・・・ （２）
が第２画像において点ａ’、
ａ’＝［ｘ’，ｙ’，１］Ｔ ・・・ （３）
へ移動したとすると、点ａと点ａ’の対応関係は平面射影行列Ｈを用いることにより、
ａ’＝Ｈａ ・・・ （４）
と表すことができる。
【００４５】
ここで、式（２）及び式（３）のＴは行列の転置を表している。そして、式（４）の平面射影行列Ｈは画像間の並進、回転、変倍、せん断、あおりの変化量を示す行列式であり、以下の式により表すことができる。
【００４６】
また、点ａ及びａ’、並びに平面射影行列Ｈは、斉次座標を用いて表している。このことは以下でも同様である。
【００４７】
平面射影行列Ｈの各要素は、動きベクトル検出部１０７で算出された動きベクトル群、つまり合成用画像間における注目点の対応関係を用いて、最小二乗法のような統計的処理等を適用することにより算出することができる。このようにして求められた平面射影行列Ｈは画像間の位置ずれ量を表すものであるから、位置ずれを補正するためには、位置ずれを打ち消す画像変形量にＨを変換する必要がある。つまり、平面射影行列Ｈの逆行列をＫとすると、
ａ＝Ｋａ’ ・・・ （６）
となる。式（６）により、位置ずれが生じた後の特徴点ａ’を位置ずれが生じる前の特徴点ａと同じ座標に戻すことが可能となる。本実施形態では、このＫを位置合わせパラメータと呼ぶものとする。
【００４８】
本実施形態では、第１画像を基準として第２画像の位置ずれ量を算出しているが、特にこれに限ったものではなく、画像合成の基準画像に合わせて位置ずれ検出の基準画像を選択すればよい。例えば、３枚の画像を合成用画像として撮像する場合には、第１画像を基準として第３画像の位置ずれ量を算出すると、間に第２画像を挟むことになり第１画像−第２画像間のずれ量よりも大きなずれ量が算出されることになる。ここで、一般的に画像間の位置ずれ量が大きくなるほど算出される画像変形量の誤差も大きくなる。そのため、３枚の画像を合成する場合には第２画像を基準画像として位置ずれ量を算出した方が誤差の少ない画像変形量を算出できることになり、精度の高い位置合わせを行うことが可能となる。このように、位置ずれ量算出のための基準画像は合成に使用する画像の枚数によって適切なものを選択すればよい。
【００４９】
続いて、画像位置合わせ部１０９は、この位置合わせパラメータを用いて画像上の全画素に対して画像幾何変換処理を施すことにより、位置ずれの補正を行う。ここで、本実施形態においては、位置ずれを表す画像変形量として平面射影行列を使用しているが、実際にはこれに限ったものではなく、画像間に生じている位置ずれの種類に応じて、ヘルマート行列やアフィン変換行列等といった他の画像変形量を使用してもよい。
【００５０】
（Ｓ２０４：露出値決定）
Ｓ２０４で、撮像条件算出部１０６は、簡易ＨＤＲ処理用の合成用画像の露出値を決定する。本実施形態では、Ｓ２０２で決定された露出値のうちの最大値及び最小値が選択されるものとする。図６（ｂ）の例では、低露光画像６０４及び高露光画像６０５に対応する露出値が選択される。この場合、簡易ＨＤＲ処理では、通常ＨＤＲ処理で使用される複数個の露出値のうち、最大の露出値と最小の露出値でＨＤＲ画像が生成されることになる。また、これに限らず、通常ＨＤＲ処理で使用される複数個の露出値により生成されるＨＤＲ画像の階調特性に近い階調特性を実現するのに、複数個の露出値とは異なる他の露出値を選んでも良い。例えば、通常ＨＤＲ処理で３個の露出値で撮像が行われる場合、最大の露出値と適の露出値との中間値、及び、適の露出値と最小の露出値との中間値の２つを、簡易ＨＤＲ処理用の露出値として決定する。すると、適の露出値付近の中間的な領域についてより再現性のよい簡易ＨＤＲ画像が生成できる。
【００５１】
（Ｓ２０５：簡易ＨＤＲ処理用の合成用画像取得）
Ｓ２０５で、撮像条件算出部１０６は、Ｓ２０４で選択された露出値で撮像された画像を取得するための処理（撮像制御）を行う。具体的には、撮像条件算出部１０６は、Ｓ２０４で決定された露出値で画像を撮像するように、光学系１０１及び撮像素子１０２を制御する。
【００５２】
（Ｓ２０６：階調特性変換）
Ｓ２０６で、階調制御部１１１は、合成用画像に階調制御処理を施すことでライブビュー等に用いる簡易ＨＤＲ画像の階調表現を静止画記録用の通常ＨＤＲ画像の階調表現（階調特性）に近似させる。静止画記録時における通常ＨＤＲ処理は、白とびや黒つぶれが全く無く、どの階調領域においても現実世界と同等の階調表現を再現することが理想である。更に、ライブビュー表示時とは異なり、フレームレート等の時間的な制約が少ないため、多少処理に時間がかかったとしても多くの合成用画像を撮像して高精度なＨＤＲ処理を行っている。それに対して、本実施形態で述べているライブビュー用の簡易ＨＤＲ処理では、一定のフレームレートで画像が撮像され続けるため、高精度なＨＤＲ処理を行うと表示に対して処理が間に合わなくなる。そこで、ライブビュー用の簡易ＨＤＲ処理は、静止画記録用の通常ＨＤＲ処理で使用する複数個の露出値の中から任意の２つの露出値の２枚の画像を撮像して簡易的にＨＤＲ画像を生成する。
【００５３】
図７（ａ）は、簡易ＨＤＲ処理における各合成用画像のダイナミックレンジと処理後のＨＤＲ画像のダイナミックレンジとの関係を模式的に表す図である。図７（ａ）は、図６（ｂ）に示したような静止画記録用に３枚で合成を行うという撮影条件に対して、ライブビュー表示用に低露光画像７０１と高露光画像７０２の２枚の画像を用いて簡易的にＨＤＲ画像を生成する場合を示す。この場合、中間階調領域７０３の範囲内には黒つぶれ領域を多く含む低露光画像７０１の黒階調領域と白とび領域を多く含む高露光画像７０２の白階調領域しか存在していない。そのため、このまま合成を行っても中間階調領域７０３については、実際に記録される高精度なＨＤＲ画像との整合性がとれない。その結果、ユーザがライブビュー表示を参考にして撮像を行っても意図した通りの画像を得ることが困難である。
【００５４】
そこで、簡易ＨＤＲ処理の前処理として、各合成用画像に対して階調制御処理を施すことにより、中間階調領域７０３の階調を再現するのに十分な階調を得るようにする。本実施形態では、階調制御の方法としてトーンマッピング処理を用いる方法について説明する。トーンマッピング処理はある画像の階調特性を、異なる階調特性に変換する処理である。トーンマッピングの計算式の一例を以下に示す。
【００５５】
上式において、Ｉ（ｘ，ｙ）は、入力画像の座標（ｘ、ｙ）にある画素の輝度値、ｔ＿ｉｎは入力画像の最大輝度値、ｔ＿ｏｕｔはトーンマッピング後の最大輝度値、そしてＯ（ｘ、ｙ）はＩ（ｘ、ｙ）のトーンマッピング後の輝度値をそれぞれ示している。従って、ｔ＿ｏｕｔの値を変更することで、例えば１２ｂｉｔの画像を８ｂｉｔに圧縮したり、１４ｂｉｔに伸長したりすることができる。また、γはトーンマッピング後の階調値の割り当てを調整する係数であり、γの値を１より大きくすれば黒階調領域に多くの階調値を割り当てることになり、トーンマッピング後の黒階調領域は濃淡の差が明確になり黒つぶれが抑制される。それに対して、γの値を０から１までの値に設定すると、白階調領域に多くの階調値が割り当てられ、トーンマッピング後の白階調領域は濃淡の差が明確になり白とびが抑制される。
【００５６】
トーンマッピングの一例として低露光画像７０１の黒階調領域を伸長させる場合について説明する。図７（ａ）において、例えばＨＤＲ画像のダイナミックレンジを１６ｂｉｔとし、中間階調領域７０３を４ｂｉｔから１２ｂｉｔの範囲であるとする。そして、低露光画像７０１のダイナミックレンジを８ｂｉｔとすると、図７（ａ）においてＨＤＲ画像上では、低露光画像７０１の階調がＨＤＲ画像の８ｂｉｔから１６ｂｉｔを担っていることになる。ここで、低露光画像７０１の黒階調領域を、トーンマッピング処理を施して図７（ａ）の符号７０４のように伸長することで、低露光画像７０１の階調がＨＤＲ画像の４ｂｉｔから１６ｂｉｔの範囲を担うようにする。以上のことを、式７を用いて表すと、図８（ａ）のようなグラフを描くことができる。
【００５７】
図８（ａ）において、横軸は元の画像の輝度値を表し、縦軸はトーンマッピング後の輝度値を表している。図８（ａ）に示すように、画像のダイナミックレンジを拡大させると同時に黒階調領域には細かく階調を割り当てることで、黒階調領域の範囲を伸長させつつ黒つぶれが抑制された画像を、中間階調領域７０３内に得ることができる。そして、階調制御処理が施された低露光画像７０１と高露光画像７０２とを合成用画像とすることにより、簡易ＨＤＲ処理によるＨＤＲ画像、及び静止画記録時の通常ＨＤＲ処理によるＨＤＲ画像の、中間階調の表現を近似させることが可能となる。
【００５８】
ここまで述べてきたことは、低露光画像７０１の黒階調領域を伸長させる場合についてであるが、高露光画像７０２の白階調領域を伸長させてＨＤＲ画像用の中間階調を得る方法もある。しかしながら、高露光画像７０２の白階調領域は白とび領域であり、輝度情報が画像の階調の上限を超えて失われてしまっている可能性があるため、低露光画像７０１の低輝度側よりも伸長できる範囲が制限される。
【００５９】
このように、階調特性の変換には、低露光画像７０１の黒階調領域を伸長させるやり方や高露光画像７０２の白階調領域を伸長させるやり方など、様々なやり方があるが、重要なことは、次に述べることである。通常ＨＤＲ処理の合成用画像（図６（ｂ）参照）の一部のみを使用して簡易ＨＤＲ処理を行う場合、図７（ａ）に示すように、ＨＤＲ画像の全階調領域（ＬＳＢとＭＳＢとの間）の一部の階調領域は、いずれの合成用画像によっても良好にカバーされない。具体的には、低露光画像７０１が良好にカバーする階調領域は、低露光画像７０１の全階調領域のうちの黒階調領域を除いた階調領域（階調値が第１閾値以上の階調領域）である。また、高露光画像７０２が良好にカバーする階調領域は、高露光画像７０２の全階調領域のうちの白階調領域を除いた階調領域（階調値が第２閾値以下の階調領域）である。従って、ＨＤＲ画像の全階調領域の中央付近の階調領域は、低露光画像７０１及び高露光画像７０２のいずれによっても良好にカバーされない。そこで、階調制御部１１１は、このような階調領域に対して変換前より多くの階調値を割り当てるように、低露光画像７０１及び高露光画像７０２の少なくとも一方の階調特性を変換する。そのような階調特性の変換の一例が、図７（ａ）に示す、低露光画像７０１の黒階調領域の伸長である。本実施形態の実際の動作としては、通常ＨＤＲ処理に用いるＮ個の露出値及び簡易ＨＤＲ処理に用いる２個の露出値から、上記に述べたいずれのトーンマッピングを行えばよいかを決定し、トーンカーブを生成する。もちろん、その都度生成するのではなく、予め記憶されたトーンカーブの中から選択して用いるような構成にしても良い。
【００６０】
また、トーンマッピングで階調を伸長させると、特に黒階調領域においてノイズ成分も一緒に伸長され強調されることになる。そのため、本実施形態では、簡易ＨＤＲ処理を行う際には、階調制御部１１１は、静止画記録用の処理よりも平滑化等のノイズ抑制処理を強くかけて強調されてしまったノイズ成分を抑制する。
【００６１】
（Ｓ２０７：画像合成）
図２において、Ｓ２０７では、画像合成部１１２は、ライブビュー表示用のＨＤＲ画像生成のための画像合成（生成制御）を行う。画像合成の概要について、図７（ａ）を参照して説明する。図７（ａ）は、生成されるＨＤＲ画像の階調の範囲を表しており、通常は入力されてくる合成用画像のダイナミックレンジよりも広く設定される。そして、合成用画像である低露光画像７０１及び高露光画像７０２は、位置合わせ部１０９において画像間の輝度値レベル合わせが行われ、位置ずれが補正されたものである。更に、低露光画像７０１及び高露光画像７０２の少なくとも一方は、Ｓ２０６において階調制御部１１１によりトーンマッピング処理などの階調の伸長（階調特性の変換）が施されている。
【００６２】
上記の合成用画像をダイナミックレンジの連続性を考慮して並べると、図７（ａ）に示すように、ＨＤＲ画像の各階調をどちらかの画像が有していることが分かる。従って、ＨＤＲ画像を生成するためには、それぞれの階調の画素をどちらの画像から持ってくるかを決定していけばよい。輝度値の選択方法としては、どちらか一方にしか該当する階調が無いのであれば、それを使えばよい。また、低露光画像７０１の白階調領域を合成に使えば白とびは抑制され、高露光画像７０２の黒階調領域を使えば黒つぶれも抑制できる。そして、中間階調領域７０３については、黒階調領域が伸長された低露光画像７０１を使えば、簡易ＨＤＲ処理の効果を通常ＨＤＲ処理の効果に近づけることができる。このようにして全ての階調についてどの画像の画素を用いるかを決定すれば、黒つぶれも白とびも抑制されたＨＤＲ画像を生成することができる。なお、通常ＨＤＲ処理でも、階調制御部１１１による階調制御の有無や合成用画像の枚数の違いを除き、簡易ＨＤＲ処理の場合と同様である（図６（ｂ）参照）。
【００６３】
（Ｓ２０８：画像出力）
Ｓ２０８で、画像合成部１１２は、生成されたＨＤＲ画像を不図示の表示装置又は記憶装置に出力する。ここで、生成されたＨＤＲ画像は通常の画像よりもダイナミックレンジが拡大されているため、そのままでは表示装置へ出力できない場合がある。そのような場合には、ＨＤＲ画像に対してさらにトーンマッピング処理を施すことによって、ＨＤＲ画像のダイナミックレンジを例えば８ｂｉｔ等の一般的なダイナミックレンジに変換すればよい。
【００６４】
以上説明したように、本実施形態によれば、デジタルカメラ１００は、通常ＨＤＲ処理用の複数の合成用画像のうち、２枚の画像を合成することにより、ＨＤＲ画像を生成する。デジタルカメラ１００は、画像合成前に、ＨＤＲ画像の全階調領域のうち２枚の画像のいずれによっても良好にカバーされない階調領域に変換前より多くの階調値を割り当てるように、２枚の画像のうちの少なくとも一方の階調特性を変換する。これにより、合成用画像の枚数を削減してフレームレートの低下を抑制すると共に、簡易ＨＤＲ処理の効果を通常ＨＤＲ処理の効果に近づけることができる。また、合成用画像の枚数が削減されるので、ＨＤＲ処理に必要なメモリ容量を削減することもできる。
【００６５】
［第２の実施形態］
第１の実施形態では、図２のＳ２０４において、Ｓ２０２で決定された露出値のうちの最大値及び最小値が選択された。この場合、簡易ＨＤＲ処理により生成されるＨＤＲ画像の全階調領域のうち、中心に近い階調領域とそれ以外の階調領域とでは、通常ＨＤＲ処理に対する近似の程度が異なる。中心に近い階調領域については、図６（ｂ）と図７（ａ）との比較から理解できるように階調特性の変換による近似が行われるため、簡易ＨＤＲ処理の効果が通常ＨＤＲ処理の効果にある程度近づけられるとはいえ、近似による誤差が生じる。一方、それ以外の階調領域については、図６（ｂ）と図７（ａ）との比較から理解できるように近似の必要が無いため、簡易ＨＤＲ処理であっても通常ＨＤＲ処理とほぼ同じ効果が得られる。
【００６６】
簡易ＨＤＲ処理のこのような性質に鑑み、本実施形態では、簡易ＨＤＲ処理により生成されるＨＤＲ画像のどの階調領域に注目するかによって、選択する露出値、及び階調制御の内容を変更する。
【００６７】
図９は、第２の実施形態に係るデジタルカメラ９００の構成を示すブロック図である。図９において、図１と同一又は同様の構成要素には同一の符号を付し、説明を省略する。デジタルカメラ９００は、図１に示した構成に加えて、注目画像領域選択部９０１を有する。本実施形態における処理については、図２に示したフローチャートの中で第１の実施形態と異なる処理を行う部分についてのみ説明する。
【００６８】
本実施形態における図２のＳ２０４では、プレビュー画像で注目したい画像領域を指定した上で露出値を選択する。例えば、注目画像領域選択部９０１により被写体の顔が指定され、顔画像が中間階調の画素を多く含んでいた場合を考える。この場合、注目画像領域選択部９０１による顔の指定は、ＨＤＲ画像の全階調領域のうち中心に近い階調領域（中間階調領域）の指定と見なすことができる。
【００６９】
以下に、注目する階調領域と画像間の露光差との関係について説明する。図７（ａ）に示した合成方法は、前述のように、実際に記録される広ダイナミックレンジ画像に対して中間階調領域はトーンマッピングにより近似的に整合性を取っているが、それ以外の階調領域については記録画像とほぼ同じ画像を得ることができている。
【００７０】
それに対して、図７（ｂ）は、注目する階調領域として中間階調が選択された場合の簡易ＨＤＲ処理の概念図を示す。図７（ｂ）では、ＨＤＲ画像の中間階調領域７０９の範囲内に低露光画像７０５の中間階調領域と高露光画像７０６の中間階調領域が共に含まれているため、中間階調領域については記録画像とほぼ同じ画像が得られる。しかしながら、ＨＤＲ画像の最小輝度値であるＬＳＢ及び最大輝度値であるＭＳＢ付近にはどちらの画像の階調領域も存在していないため、黒つぶれ及び白とびを改善することはできない。従って、このような階調領域については階調制御処理によって近似的に整合性をとる必要がある。
【００７１】
以上のように、簡易ＨＤＲ処理に使用する画像間の露出差に応じて、生成される画像の階調再現性が異なる。そこで本実施形態では、簡易ＨＤＲ処理によって黒つぶれや白とびがどのように改善されるのかを知りたい場合には、撮像条件算出部１０６はＳ２０４において相互の差の大きな２つの露出値を選択する。その一方で、中間階調領域の画質に注目するのであれば、撮像条件算出部１０６はＳ２０４において相互の差の小さな２つの露出値を選択する。注目する階調領域の選択方法としては、例えばユーザがメニュー画面等から注目したい画像領域を手動で指定することにより、その画像領域に含まれる階調領域を選択する方法がある。また、別の選択方法としては、評価値取得部１０５で生成された輝度値ヒストグラムから黒階調領域及び白階調領域に含まれる画素の数に基づいて選択してもよい。この場合には、ユーザが主導で選択するのではなく、黒階調領域に含まれる画素の数が予め定められた閾値以下の時には画像中の黒つぶれ領域は微少であると判断して、自動的に中間階調領域を注目階調領域に設定するようにしてもよい。
【００７２】
本実施形態における図２のＳ２０６では、注目階調領域に応じて選択された露出値で撮像された画像に対して階調制御を行う。ここで、黒つぶれや白とびの改善に注目した場合、つまり画像間の露光差が大きい場合については、第１の実施形態における図７（ａ）と同様の処理が行われる。一方、中間階調に注目した場合、つまり画像間の露光差の小さい場合については、図７（ｂ）に示すように階調制御が行われる。即ち、トーンマッピングにより低露光画像７０５の白階調領域を符号７０７に示すように伸長させ、高露光画像７０６の黒階調領域を符号７０８に示すように伸長させる処理が行われる。このとき、白階調領域の伸長には図８（ｂ）に示すような白階調領域に多くの階調を割り当てるトーンマッピング処理を行えばよく、黒階調領域の伸長には図８（ａ）と同様の処理を行えばよい。これにより、簡易ＨＤＲ処理に用いる画像間の露光差が小さい場合でも、実際に記録されている画像との整合性がとれたＨＤＲ画像を得ることができる。
【００７３】
以上説明したように、本実施形態によれば、デジタルカメラ９００は、簡易ＨＤＲ処理により得られるＨＤＲ画像のどの階調領域に注目するかに応じて、簡易ＨＤＲ処理で用いる画像の露出値を選択する。そして、デジタルカメラ９００は、図７（ａ）及び図７（ｂ）を参照して説明したように、選択された露出値で撮像された２枚の画像間の露出差に応じた階調制御を行う。これにより、ユーザが注目する階調領域について、通常ＨＤＲ処理により得られるＨＤＲ画像との整合性がより良くとれたＨＤＲ画像を簡易ＨＤＲ処理により得ることが可能となる。
【００７４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置、及びその制御方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いた撮像において、明度差の大きなシーンを撮像すると明部では白とびが、暗部では黒つぶれが発生することがある。このような白とびや黒つぶれの補正方法として、露光量の異なる複数枚の画像を撮像し、それぞれの画像中に存在する白とびの無い領域と黒つぶれの無い領域とを合成することで、明部や暗部が適切に再現された広ダイナミックレンジ画像を生成する手法がある。
【０００３】
特許文献１に記載の撮像装置は、動画と静止画の撮像モードを切り替えて撮像することが可能であり、広ダイナミックレンジ処理後の画像から撮像状況を推定して階調特性情報を生成し、画像再生時に階調特性を制御する。また、特許文献２に記載の撮像装置は、長時間撮像と短時間撮像とを交互に行い、現在の露光時間に対応した広ダイナミックレンジ処理への切り替えを行う。この撮像装置は更に、現在のフレームとの類似度に応じて、２枚の画像を合成するか３枚の画像を合成するかを切り替える。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０４６８４８号公報
【特許文献２】特開２００３−０４６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、露光量の異なる合成用画像の枚数が多いほど広ダイナミックレンジ処理の効果が向上するが、処理に長時間を要する。従って、動画像やライブビュー画像などに対して広ダイナミックレンジ処理を適用する場合、合成用画像の数が多いとフレームレートが低下する。しかしながら、フレームレートの低下を抑制するために合成用画像の数を減らすと、プレビュー画像と多数の合成用画像から生成される記録用静止画像とで広ダイナミックレンジ処理の効果が大きく異なってしまう。従って、動画像やプレビュー画像を通じて記録用静止画像に対する広ダイナミックレンジ処理の効果をユーザが事前に確認することが困難になる。
【０００６】
上述のように広ダイナミックレンジ処理の手法は種々提案されているが、特許文献１及び特許文献２はいずれも、上述の課題に対する解決策を提示してはいない。更に、特許文献１の撮像装置は、再生時に階調特性の制御を行っているため、プレビュー画像と再生画像とでは広ダイナミックレンジ処理の効果が異なる。また、特許文献２の撮像装置は、動きに対する類似度を基に広ダイナミックレンジ処理に使用する合成用画像の数を切り替えているため、常に最大合成枚数で処理を行えるようにリソースを準備しておく必要がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、少数の合成用画像を用いた広ダイナミックレンジ処理の効果を多数の合成用画像を用いた広ダイナミックレンジ処理の効果に近づける技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、第１の本発明は、撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置であって、前記撮像手段に２個の異なる露出値で２枚の画像を撮像させる撮像制御手段と、前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換手段と、前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御手段と、を備え、前記変換手段は、前記Ｎ個の露出値及び前記２枚の画像の２個の露出値に基づいて、前記２枚の画像から生成されるＨＤＲ画像の階調特性が前記Ｎ枚の画像から生成されるＨＤＲ画像の階調特性に近くなるように前記２枚の画像のうちの少なくとも一方の階調特性を変換することを特徴とする画像処理装置を提供する。
【０００９】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１０】
以上の構成により、本発明によれば、少数の合成用画像を用いた広ダイナミックレンジ処理の効果を多数の合成用画像を用いた広ダイナミックレンジ処理の効果に近づけることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係るデジタルカメラ１００の構成を示すブロック図
【図２】第１の実施形態に係るデジタルカメラ１００が実行する簡易ＨＤＲ処理の流れを示すフローチャート
【図３】通常ＨＤＲ処理用の画像の撮像条件を算出する処理の流れを示すフローチャート
【図４】入力画像の輝度値ヒストグラムの一例を示す図
【図５】高露光画像の輝度値ヒストグラムの一例を示す図
【図６】（ａ）露出段差が小さい２枚の合成用画像に基づくＨＤＲ処理の概念図、（ｂ）低露光画像と高露光画像との露出段差が大きい場合のＨＤＲ処理の概念図
【図７】（ａ）簡易ＨＤＲ処理における各合成用画像のダイナミックレンジと処理後のＨＤＲ画像のダイナミックレンジとの関係を模式的に表す図、（ｂ）注目する階調領域として中間階調が選択された場合の簡易ＨＤＲ処理の概念図
【図８】（ａ）黒階調領域により多くの階調値を割り当てるトーンマッピングの概念図、（ｂ）白階調領域により多くの階調値を割り当てるトーンマッピングの概念図
【図９】第２の実施形態に係るデジタルカメラ９００の構成を示すブロック図
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１３】
［第１の実施形態］
以下、本発明の画像処理装置をデジタルカメラに適用した実施形態について説明する。図１は、第１の実施形態に係るデジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、被写体像を形成する光学系１０１、及び、光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子１０２を備える。デジタルカメラ１００はまた、撮像素子１０２から出力される電気信号から映像信号を形成するカメラ信号処理部１０３を備える。カメラ信号処理部１０３は、不図示のＡ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、及びオートホワイトバランス部を含み、デジタル信号を形成する。撮像素子１０２及びカメラ信号処理部１０３により、画像の取得（撮像）を行う撮像系が構成される。
【００１４】
デジタルカメラ１００はまた、メモリ１０４を備える。メモリ１０４は、カメラ信号処理部１０３により形成された映像信号の１フィールド又は複数のフィールドの画像を一時的に記憶保持する。デジタルカメラ１００はまた、入力された画像に対して例えば白とびや黒つぶれの量を評価する、評価値取得部１０５を備える。
【００１５】
デジタルカメラ１００はまた、評価値取得部１０５から得られる画像評価値に応じて静止画合成に用いる画像の撮像条件を算出する、撮像条件算出部１０６を備える。デジタルカメラ１００はまた、時間的に隔たりのある２枚の合成用画像間の、複数の座標のそれぞれにおける移動量（動きベクトル）を検出する、動きベクトル検出部１０７を備える。
【００１６】
デジタルカメラ１００はまた、動きベクトル検出部１０７によって検出された動きベクトルに基づいて合成用画像間のずれ量を画像変形量として算出する、位置合わせパラメータ算出部１０８を備える。デジタルカメラ１００はまた、位置合わせ部１０９を備える。位置合わせ部１０９は、位置合わせパラメータ算出部１０８によって算出された画像変形量を用いて、画像間の位置合わせを行うための画像幾何変換処理を行う。
【００１７】
デジタルカメラ１００はまた、階調制御部１１１を備える。階調制御部１１１は、撮像条件算出部１０６から得られた撮像パラメータに基づいて、ライブビュー表示等のための広ダイナミックレンジ処理（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ処理：以下、「ＨＤＲ処理」と呼ぶ）に用いる合成用画像に対してトーンマッピング処理等を施すことにより、合成用画像の階調補正を行う。
【００１８】
デジタルカメラ１００はまた、画像合成部１１２を備える。画像合成部１１２は、位置合わせ部１０９において位置合わせが行われた複数枚の合成用画像を用いて画像合成を行うことで、広ダイナミックレンジ画像（以下、「ＨＤＲ画像」と呼ぶ）を生成する。画像合成部１１２は、Ｎ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより、静止画記録用の高精度なＨＤＲ画像を生成可能である。画像合成部１１２はまた、Ｎ個の露出値のうちの２個の露出値で撮像された２枚の画像を合成することにより、ライブビュー表示用等のＨＤＲ画像を生成することもできる。以下、静止画記録用のＨＤＲ処理及びライブビュー表示用等のＨＤＲ処理をそれぞれ、「通常ＨＤＲ処理」「簡易ＨＤＲ処理」とも呼ぶことにする。後述する制御部１１３によって位置合わせ部１０９及びメモリ１０４を制御し、ライブビュー表示用等の簡易ＨＤＲ処理のときと静止画記録用の通常ＨＤＲ処理のときとでパスを変える。簡易ＨＤＲ処理のときには、低露光画像及び高露光画像がまずリサイズ部１１０にて表示媒体での表示に適したサイズにリサイズされ、階調制御部１１１にて後述するトーンマッピングを行い、画像合成部１１２に出力される。通常ＨＤＲ処理のときには、低露光画像及び高露光画像はリサイズ部１１０、階調制御部１１１を介さずに直接画像合成部１１２に送られる。また、本実施形態の簡易ＨＤＲ処理は通常ＨＤＲ処理の方が多数の合成用画像を使用する場合に特に効果があるのでＮは３以上の整数としたが、画像合成部１１２は２枚の画像を使用して通常ＨＤＲ処理を実行しても構わない。また、本実施形態では、２枚の画像を用いて簡易ＨＤＲ処理を実現しているが、通常ＨＤＲ処理に比べて簡易であればよく、通常ＨＤＲ処理で用いられる画像の枚数よりも少なければ、何枚でも構わない。
【００１９】
デジタルカメラ１００はまた、制御部１１３を備える。制御部１１３は、デジタルカメラ１００の各部に指示を行ったり、各部の処理に必要な演算等を行ったりする。図１では、本実施形態に特徴的な動作に係わるブロックに対して制御の関係を図示（矢印）しているが、制御部１１３はこれ以外のブロックの制御も担っている。
【００２０】
デジタルカメラ１００はまた、記録部１１４を備える。記録部１１４は、画像合成部１１２から出力される合成画像データを所定の圧縮形式で圧縮し、記録媒体に記録する。記録媒体は内部に搭載されているメモリでもよいし、外部から着脱可能なものでもよい。
【００２１】
デジタルカメラ１００はまた、表示部１１５を備える。表示部１１５は、画像合成部１１２から出力される合成画像データを表示手段に表示する。表示手段としては、内部に液晶等の表示媒体を有していても良いし、外部のモニタ等を表示手段として、表示させても良い。
【００２２】
図２は、第１の実施形態に係るデジタルカメラ１００が実行する簡易ＨＤＲ処理の流れを示すフローチャートである。但し、簡易ＨＤＲ処理と通常ＨＤＲ処理とでは共通点もあるため、以下では、部分的に通常ＨＤＲ処理についても説明する。
【００２３】
（Ｓ２０１：画像入力）
Ｓ２０１で、撮像素子１０２は、光学系１０１によって形成された被写体像を被写体輝度に応じたアナログ信号として出力する。カメラ信号処理部１０３は、出力されたアナログ信号に対してＡ／Ｄ変換を行い、例えば１２ビットのデジタル信号を生成する。更に、カメラ信号処理部１０３は、デジタル信号に対してＡＧＣ処理及びＡＷＢ処理を行うことにより、信号レベル補正や白レベル補正が行われたデジタル映像信号を生成し、メモリ１０４に記録する。本実施形態のデジタルカメラ１００では、所定のフレームレートで順次フィールド画像が生成される。メモリ１０４に記録されるフィールド画像は、評価値取得部１０５及び動きベクトル検出部１０７にも入力される。また、メモリ１０４に記録されているフィールド画像は順次更新される。
【００２４】
ここで、画像合成によるＨＤＲ処理では、露光量の異なる（異なる露出値で撮像された）複数枚の画像が必要となる。従って、動画撮影やライブビュー表示などの際には、簡易ＨＤＲ処理を行うために、デジタルカメラ１００は、少なくとも低露光及び高露光の２種類の露光条件の画像を繰り返し撮像する。他方、静止画記録時や動画撮像中の静止画同時記録時には、高精度なＨＤＲ処理（通常ＨＤＲ処理）を行うために、デジタルカメラ１００は、３種類以上（前述の通り、２種類でも構わない）の露光条件で連続して撮像を行う。このような「３種類以上の露光条件」等の撮像条件は、Ｓ２０２で決定される。
【００２５】
（Ｓ２０２：撮像条件決定）
Ｓ２０２で、デジタルカメラ１００は、入力された画像を評価することで、通常ＨＤＲ処理のための撮像条件（特に、合成用画像の枚数と各合成用画像の露出値）を算出する。簡易ＨＤＲ処理ではなく通常ＨＤＲ処理のための撮像条件を算出する理由は、簡易ＨＤＲ処理の効果を通常ＨＤＲ処理の効果に近づけるためには、前提として通常ＨＤＲ処理の内容を知る必要があるからである。この撮像条件決定の処理は、動画像、あるいはライブビュー表示で簡易ＨＤＲ処理を実現するためには、所定の周期で行われて撮像条件が更新されなければならない。また、静止画撮影後のクイックレビュー表示で簡易ＨＤＲ処理を実現するためには、静止画撮影時のレリーズスイッチの半押し等のタイミングで行われればよい。
【００２６】
図３は、通常ＨＤＲ処理用の画像の撮像条件を算出する処理の流れを示すフローチャートである。評価値取得部１０５には、前述したとおり、撮像素子１０２及びカメラ信号処理部１０３を経て高露光画像（高露出画像）と低露光画像（低露出画像）とが交互に入力される。また、本実施形態では、撮像条件を決定するための画像の評価方法の一例として、画像の輝度値のヒストグラムから得られる黒階調領域及び白階調領域の輝度分布を用いる方法について説明する。
【００２７】
まず、Ｓ３０１で、評価値取得部１０５は、Ｓ２０１において入力された画像の輝度値ヒストグラムを作成する。図４に、入力画像の輝度値ヒストグラムの一例を示す。図４において、横軸は輝度値を表しており、ここでは色深度が８ビットの場合の例として０から２５５までの値を示している。また、縦軸は輝度値の出現頻度を表しており、それぞれの輝度値を有する画素が画像中にどれだけ存在しているかを示している。図４において、輝度値０付近に存在している画素は画像中の黒い領域、つまり黒つぶれを含む領域の画素であり、輝度値２５５付近に存在している画素は画像中の白い領域、つまり白とびを含む領域の画素である。
【００２８】
Ｓ３０２で、評価値取得部１０５は、Ｓ３０１で取得したヒストグラムにおいて黒つぶれ及び白とびを含んでいると見なすことのできる階調を決定し、画像中の黒階調領域及び白階調領域の輝度値の分布を判定する。例えば、図４のヒストグラムから画像中の黒階調領域の輝度分布を判定する場合には、評価値取得部１０５は、符号４０１により示す黒階調領域とみなすことのできる階調の範囲を設定し、その範囲内に存在している輝度値の分布状態を判定する。同様に、画像中の白階調領域について判定を行う場合には、評価値取得部１０５は、符号４０２により示す白階調領域と判定できる階調の範囲を設定し、その範囲内に存在している画素の輝度分布を判定する。ここで、符号４０１及び４０２により示す階調の範囲の決定方法には特に制限は無く、実画像を参考にして主観的に決定したり、輝度値の取り得る範囲の例えば１０％というように輝度値の範囲の割合として設定したりしてもよい。そして、以上のようにして定められた符号４０１及び４０２の範囲が、ＨＤＲ処理により改善を図る輝度値となる。つまり、入力された画像が高露光画像の場合には、適正露光画像では黒つぶれしている領域である符号４０１の範囲の画素でも良好なテクスチャが得られているので、合成時にはこの領域を使用することになる。同様に、入力された画像が低露光画像であれば、符号４０２の範囲が白とびの改善に使用する領域となる。
【００２９】
また、本実施形態では、輝度値ヒストグラムにより画像の評価値を得る手法について述べたが、その手法に制限は無く、例えば主被写体領域の輝度値や、画面全体の輝度値の分散値を用いる手法等を用いてもよい。或いは、デジタルカメラ１００に搭載されている測光手段の値を用いてもよい。
【００３０】
図３のフローチャートの処理は、Ｓ３０２の後で、現在の撮像のタイミングが高露光撮影のタイミングであるか否かに応じて分岐する。高露光撮影のタイミングの場合、処理はＳ３０３に進み、そうでない場合（低露光撮影の場合）、処理はＳ３０４に進む。Ｓ３０３及びＳ３０４で、撮像条件算出部１０６は、輝度値ヒストグラムで決定された黒階調領域及び白階調領域の輝度分布に基づいて、ＨＤＲ処理に使用する合成用画像の撮像条件を決定する。
【００３１】
以下に、Ｓ３０３の処理を例にとって、合成用画像の撮像条件として露光量（露出値）を決定する方法について説明する。図５に、図４の画像よりも高露光で撮像した画像の輝度値ヒストグラムの例を示す。高露光で撮像されたことで、図４の符号４０１により示した黒階調領域は図５の符号５０１により示すように、より広い範囲の輝度値を有する。そして、撮像条件算出部１０６は、このときの露光量が高露光画像として適切であるか否かを判定するために、黒階調領域５０１の輝度分布のエントロピーを算出する。ここで、エントロピーとは、あるデータの平均化の度合いを表す数値である。エントロピーが大きいほどデータにばらつきが多くなり、逆にエントロピーが小さいほどデータのばらつきが小さいことを示している。以下に、画像中の輝度値のエントロピーＥｇを算出するための計算式を示す。
【００３２】
式（１）において、ｎは黒階調領域の全画素数、ｎｉはその黒階調領域内で輝度値がｉである画素の数を示している。従って、式（１）より得られた輝度分布のエントロピーの値が、直前の高露光画像でのエントロピーの値よりも大きい場合には、図５の符号５０１に示すように黒階調領域の輝度変動が大きくなったことになる。従って、輝度値の変動が少ない黒つぶれの領域が減少したと判定することができる。そして、次の高露光フレームでは現フレームよりも露光量を上げて撮像することで更に黒つぶれを抑制することができると考えられる。また、露光量を上げ過ぎると、画像全体が明るくなるため、黒階調領域のエントロピーは逆に減少してしまう。そのため、Ｓ３０３においてエントロピーが減少しと判定した場合、黒つぶれ量が増加したと考えられるため、次の高露光フレームでは露光量を下げて撮像するようにする。図３のフローチャートの処理（図２のＳ２０２の処理）は繰り返し実行されるため、Ｓ３０３の処理も繰り返し実行され、高露光画像の露光量は最終的に最適な値（黒階調領域のエントロピーを最大にする露光量）に収束する。
【００３３】
以上のように、現時点で撮像された高露光画像とそれ以前に撮像された高露光画像とで黒階調領域のエントロピーとを比較し、エントロピーが最大となる方向に露光量を制御することで、好適な高露光画像を撮像することが可能となる。このことは、Ｓ３０４に示した低露光画像が入力された場合についても同様であるが、低露光画像では白とび領域に着目して露光量の制御を行うことになる。また、露光量の制御には絞りやシャッタースピード等の撮像パラメータを変更すればよく、露光量を変更できるパラメータであれば特に制限はない。
【００３４】
ここまでは露光量の制御方法について述べたが、合成用画像撮像のための撮像条件としては、この他に撮像枚数を決定する必要がある。まず、前述の露光量の制御において決定された低露光画像と高露光画像の露光段数の差が小さい場合、例えば適正露光を基準として低露光画像が−１段、高露光画像が＋１段というような場合を考える。図６（ａ）に露出段差が小さい２枚の合成用画像を用いてＨＤＲ処理を行った際の各画像のダイナミックレンジとＨＤＲ画像のダイナミックレンジとの関係を模式的に示す。図６（ａ）において、縦方向が画像の階調を示しており、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）はＨＤＲ画像の最小輝度値であり、ＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）は最大輝度値を表す。また、符号６０１は、低露光画像の輝度値のダイナミックレンジを表しており、白とびの無い白階調領域を有している。それに対して符号６０２は、高露光画像の輝度値のダイナミックレンジを表しており、黒つぶれの無い黒階調領域を有している。符号６０３は、ＨＤＲ画像における中間階調領域を表している。但し、図６（ａ）に示した低露光画像６０１及び高露光画像６０２のダイナミックレンジは、以下に詳述するように、予め輝度値のレベル合わせを施したものを示している。
【００３５】
低露光画像６０１と高露光画像６０２とでは、撮像されたままの状態では入出力特性の違いにより同じ光強度でも出力輝度値が異なるため、そのままでは合成することができない。そこで、２画像間の出力輝度値のレベルを合わせるために、どちらかの画像にゲイン補正を施すことが必要となる。ゲイン補正の値は、２枚の合成用画像の露出段差から求めることができる。例えば、低露光画像６０１と高露光画像６０２との露出段差が１であったとすると、高露光画像の低露光画像に対する光強度の比は２倍となる。従って、低露光画像６０１の各画素の輝度値に対して２倍のゲインアップを行うことで、高露光画像６０２との輝度値のレベルが一致し、合成が可能となる。以上のようにして作成された図６（ａ）は、ＨＤＲ処理に用いるそれぞれの画像が、処理後のＨＤＲ画像のダイナミックレンジのどの階調を担っているのかを示していることになる。
【００３６】
ここで、露出段差が小さい場合には、どちらの画像でも中間階調領域６０３に相当する階調をカバーできているため、これら２枚の画像のどちらかもしくは両方の画素を使用すれば良好なＨＤＲ画像を生成することができる。従って、図６（ａ）において必要な撮像枚数は２枚であると判定できる。
【００３７】
それに対して、低露光画像と高露光画像との露出段差が大きい場合、例えば適正露出を基準として低露光画像が−３段、高露光画像が＋３段というような場合のダイナミックレンジの関係を図６（ｂ）に示す。同図より、露出段差が大きい場合には低露光画像６０４及び高露光画像６０５共に、中間階調領域６０７をカバーしている範囲が狭くなる。更に、低露光画像６０４の黒階調領域では黒つぶれが、高露光画像６０５の白階調領域では白とびが多く生じているため、このまま画像を合成してＨＤＲ画像を生成したとしても中間階調領域の階調性は良好に再現されない。このような場合には、図６（ｂ）の符号６０６に示すように、低露光画像６０４と高露光画像６０５の２枚に加えて中間の露光量の画像を撮像して合成に使用することで、中間階調の再現性を向上させる必要がある。ここで、図６（ｂ）では必要な撮像枚数は３枚であると判定しているが、実際には合成に使用する枚数に特に制限は無く、更に多くの枚数を撮像してもよい。また、撮像枚数の決定方法についても制限は無く、露出段差から自動的に算出してもよいし、ユーザが手動で指定する等の方法を用いてもよい。
【００３８】
しかしながら、実際のデジタルカメラ１００の動作としては、常に撮像条件として決定された枚数の画像を撮像する必要は無く、撮像状況に応じて撮影枚数を切り替えればよい。つまり、動画撮影、ライブビュー表示等においては少ない枚数での簡易ＨＤＲ処理を行えばよいので、デジタルカメラ１００は、撮像条件として決定された複数個の露出値の中から２個の露出値を選び２枚を撮像しておけばよいことになる（図３のＳ３０３及びＳ３０４の処理を実行するためには、撮像条件として決定された複数個の露出値のうち、露出値が最大のものと最小のものなど）。そして、シャッターボタンが押下される等により、デジタルカメラ１００に対して静止画記録用の高精細なＨＤＲ処理を行う指示が出されたら、デジタルカメラ１００は、撮像条件として決定された露光量及び枚数の撮影を行う。
【００３９】
以上のようにして、Ｓ２０２では、通常ＨＤＲ処理に必要となる合成用画像の撮像条件として撮像パラメータ（露光量）及び撮像枚数が決定され、その情報に従ってデジタルカメラ１００は撮像を行う。そして、撮像された合成用画像はメモリ１０４へ格納され、撮像条件の情報は階調制御部１１１へと伝送される。
【００４０】
（Ｓ２０３：画像位置合わせ）
Ｓ２０３の処理は、Ｓ２０２の処理と並行して実行される（直列的に実行されてもよい）。Ｓ２０３では、Ｓ２０２において撮像された複数枚の合成用画像間の位置合わせが行われる。合成用画像の撮像中にデジタルカメラ１００や被写体に動きが生じていた場合、各合成用画像間には微小な位置ずれが生じている。その位置ずれのために、そのままの状態で画像合成を行うと合成結果であるＨＤＲ画像において被写体像にぶれが生じる。そこで、画像合成を行う前に、各合成用画像間の位置ずれ量を検出し、そのずれ量を打ち消すように画像に幾何変換を施して位置合わせを行う必要がある。
【００４１】
具体的には、まず、動きベクトル検出部１０７は、合成用画像間の動きベクトルを求める。動きベクトルの検出は一般に、２つの画像間における注目画素及びその近傍領域のテクスチャ情報の相関関係に基づいて実行される。注目画素の配置は画像全体を覆うような等間隔の配置であってもよいし、テクスチャのエッジやコーナー等の特徴点を抽出して注目画素としてもよい。しかしながら、合成用画像はお互いに異なる露光量で撮像されているため、そのままの状態では画像全体の明るさに差があり、同じ領域でも相関が低いと判定されてしまう。そこで、動きベクトルの検出を行う前に各合成用画像の輝度値のレベルを合わせておく必要がある。
【００４２】
輝度値のレベル合わせの方法としては、画像撮像時の撮像パラメータに基づいてゲイン調整を行う方法や、全画素に対して正規化処理を施す方法等があるが、特にこれらの方法に限られるものではない。また、動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法を用いればよいが、利用可能な方法に制限は無い。
【００４３】
続いて、位置合わせパラメータ算出部１０８は、動きベクトル検出部１０７で算出された動きベクトル群を用いて、合成用画像間の位置ずれ量を画像変形量として算出する。本実施形態では、画像変形量のモデルとして平面射影モデルを使用して位置合わせのための画像変形量を算出する場合について説明する。
【００４４】
ここで、位置合わせを行う２枚の画像の第１画像上に存在するある点ａ、
ａ＝［ｘ，ｙ，１］Ｔ ・・・ （２）
が第２画像において点ａ’、
ａ’＝［ｘ’，ｙ’，１］Ｔ ・・・ （３）
へ移動したとすると、点ａと点ａ’の対応関係は平面射影行列Ｈを用いることにより、
ａ’＝Ｈａ ・・・ （４）
と表すことができる。
【００４５】
ここで、式（２）及び式（３）のＴは行列の転置を表している。そして、式（４）の平面射影行列Ｈは画像間の並進、回転、変倍、せん断、あおりの変化量を示す行列式であり、以下の式により表すことができる。
【００４６】
また、点ａ及びａ’、並びに平面射影行列Ｈは、斉次座標を用いて表している。このことは以下でも同様である。
【００４７】
平面射影行列Ｈの各要素は、動きベクトル検出部１０７で算出された動きベクトル群、つまり合成用画像間における注目点の対応関係を用いて、最小二乗法のような統計的処理等を適用することにより算出することができる。このようにして求められた平面射影行列Ｈは画像間の位置ずれ量を表すものであるから、位置ずれを補正するためには、位置ずれを打ち消す画像変形量にＨを変換する必要がある。つまり、平面射影行列Ｈの逆行列をＫとすると、
ａ＝Ｋａ’ ・・・ （６）
となる。式（６）により、位置ずれが生じた後の特徴点ａ’を位置ずれが生じる前の特徴点ａと同じ座標に戻すことが可能となる。本実施形態では、このＫを位置合わせパラメータと呼ぶものとする。
【００４８】
本実施形態では、第１画像を基準として第２画像の位置ずれ量を算出しているが、特にこれに限ったものではなく、画像合成の基準画像に合わせて位置ずれ検出の基準画像を選択すればよい。例えば、３枚の画像を合成用画像として撮像する場合には、第１画像を基準として第３画像の位置ずれ量を算出すると、間に第２画像を挟むことになり第１画像−第２画像間のずれ量よりも大きなずれ量が算出されることになる。ここで、一般的に画像間の位置ずれ量が大きくなるほど算出される画像変形量の誤差も大きくなる。そのため、３枚の画像を合成する場合には第２画像を基準画像として位置ずれ量を算出した方が誤差の少ない画像変形量を算出できることになり、精度の高い位置合わせを行うことが可能となる。このように、位置ずれ量算出のための基準画像は合成に使用する画像の枚数によって適切なものを選択すればよい。
【００４９】
続いて、画像位置合わせ部１０９は、この位置合わせパラメータを用いて画像上の全画素に対して画像幾何変換処理を施すことにより、位置ずれの補正を行う。ここで、本実施形態においては、位置ずれを表す画像変形量として平面射影行列を使用しているが、実際にはこれに限ったものではなく、画像間に生じている位置ずれの種類に応じて、ヘルマート行列やアフィン変換行列等といった他の画像変形量を使用してもよい。
【００５０】
（Ｓ２０４：露出値決定）
Ｓ２０４で、撮像条件算出部１０６は、簡易ＨＤＲ処理用の合成用画像の露出値を決定する。本実施形態では、Ｓ２０２で決定された露出値のうちの最大値及び最小値が選択されるものとする。図６（ｂ）の例では、低露光画像６０４及び高露光画像６０５に対応する露出値が選択される。この場合、簡易ＨＤＲ処理では、通常ＨＤＲ処理で使用される複数個の露出値のうち、最大の露出値と最小の露出値でＨＤＲ画像が生成されることになる。また、これに限らず、通常ＨＤＲ処理で使用される複数個の露出値により生成されるＨＤＲ画像の階調特性に近い階調特性を実現するのに、複数個の露出値とは異なる他の露出値を選んでも良い。例えば、通常ＨＤＲ処理で３個の露出値で撮像が行われる場合、最大の露出値と適の露出値との中間値、及び、適の露出値と最小の露出値との中間値の２つを、簡易ＨＤＲ処理用の露出値として決定する。すると、適の露出値付近の中間的な領域についてより再現性のよい簡易ＨＤＲ画像が生成できる。
【００５１】
（Ｓ２０５：簡易ＨＤＲ処理用の合成用画像取得）
Ｓ２０５で、撮像条件算出部１０６は、Ｓ２０４で選択された露出値で撮像された画像を取得するための処理（撮像制御）を行う。具体的には、撮像条件算出部１０６は、Ｓ２０４で決定された露出値で画像を撮像するように、光学系１０１及び撮像素子１０２を制御する。
【００５２】
（Ｓ２０６：階調特性変換）
Ｓ２０６で、階調制御部１１１は、合成用画像に階調制御処理を施すことでライブビュー等に用いる簡易ＨＤＲ画像の階調表現を静止画記録用の通常ＨＤＲ画像の階調表現（階調特性）に近似させる。静止画記録時における通常ＨＤＲ処理は、白とびや黒つぶれが全く無く、どの階調領域においても現実世界と同等の階調表現を再現することが理想である。更に、ライブビュー表示時とは異なり、フレームレート等の時間的な制約が少ないため、多少処理に時間がかかったとしても多くの合成用画像を撮像して高精度なＨＤＲ処理を行っている。それに対して、本実施形態で述べているライブビュー用の簡易ＨＤＲ処理では、一定のフレームレートで画像が撮像され続けるため、高精度なＨＤＲ処理を行うと表示に対して処理が間に合わなくなる。そこで、ライブビュー用の簡易ＨＤＲ処理は、静止画記録用の通常ＨＤＲ処理で使用する複数個の露出値の中から任意の２つの露出値の２枚の画像を撮像して簡易的にＨＤＲ画像を生成する。
【００５３】
図７（ａ）は、簡易ＨＤＲ処理における各合成用画像のダイナミックレンジと処理後のＨＤＲ画像のダイナミックレンジとの関係を模式的に表す図である。図７（ａ）は、図６（ｂ）に示したような静止画記録用に３枚で合成を行うという撮影条件に対して、ライブビュー表示用に低露光画像７０１と高露光画像７０２の２枚の画像を用いて簡易的にＨＤＲ画像を生成する場合を示す。この場合、中間階調領域７０３の範囲内には黒つぶれ領域を多く含む低露光画像７０１の黒階調領域と白とび領域を多く含む高露光画像７０２の白階調領域しか存在していない。そのため、このまま合成を行っても中間階調領域７０３については、実際に記録される高精度なＨＤＲ画像との整合性がとれない。その結果、ユーザがライブビュー表示を参考にして撮像を行っても意図した通りの画像を得ることが困難である。
【００５４】
そこで、簡易ＨＤＲ処理の前処理として、各合成用画像に対して階調制御処理を施すことにより、中間階調領域７０３の階調を再現するのに十分な階調を得るようにする。本実施形態では、階調制御の方法としてトーンマッピング処理を用いる方法について説明する。トーンマッピング処理はある画像の階調特性を、異なる階調特性に変換する処理である。トーンマッピングの計算式の一例を以下に示す。
【００５５】
上式において、Ｉ（ｘ，ｙ）は、入力画像の座標（ｘ、ｙ）にある画素の輝度値、ｔ＿ｉｎは入力画像の最大輝度値、ｔ＿ｏｕｔはトーンマッピング後の最大輝度値、そしてＯ（ｘ、ｙ）はＩ（ｘ、ｙ）のトーンマッピング後の輝度値をそれぞれ示している。従って、ｔ＿ｏｕｔの値を変更することで、例えば１２ｂｉｔの画像を８ｂｉｔに圧縮したり、１４ｂｉｔに伸長したりすることができる。また、γはトーンマッピング後の階調値の割り当てを調整する係数であり、γの値を１より大きくすれば黒階調領域に多くの階調値を割り当てることになり、トーンマッピング後の黒階調領域は濃淡の差が明確になり黒つぶれが抑制される。それに対して、γの値を０から１までの値に設定すると、白階調領域に多くの階調値が割り当てられ、トーンマッピング後の白階調領域は濃淡の差が明確になり白とびが抑制される。
【００５６】
トーンマッピングの一例として低露光画像７０１の黒階調領域を伸長させる場合について説明する。図７（ａ）において、例えばＨＤＲ画像のダイナミックレンジを１６ｂｉｔとし、中間階調領域７０３を４ｂｉｔから１２ｂｉｔの範囲であるとする。そして、低露光画像７０１のダイナミックレンジを８ｂｉｔとすると、図７（ａ）においてＨＤＲ画像上では、低露光画像７０１の階調がＨＤＲ画像の８ｂｉｔから１６ｂｉｔを担っていることになる。ここで、低露光画像７０１の黒階調領域を、トーンマッピング処理を施して図７（ａ）の符号７０４のように伸長することで、低露光画像７０１の階調がＨＤＲ画像の４ｂｉｔから１６ｂｉｔの範囲を担うようにする。以上のことを、式７を用いて表すと、図８（ａ）のようなグラフを描くことができる。
【００５７】
図８（ａ）において、横軸は元の画像の輝度値を表し、縦軸はトーンマッピング後の輝度値を表している。図８（ａ）に示すように、画像のダイナミックレンジを拡大させると同時に黒階調領域には細かく階調を割り当てることで、黒階調領域の範囲を伸長させつつ黒つぶれが抑制された画像を、中間階調領域７０３内に得ることができる。そして、階調制御処理が施された低露光画像７０１と高露光画像７０２とを合成用画像とすることにより、簡易ＨＤＲ処理によるＨＤＲ画像、及び静止画記録時の通常ＨＤＲ処理によるＨＤＲ画像の、中間階調の表現を近似させることが可能となる。
【００５８】
ここまで述べてきたことは、低露光画像７０１の黒階調領域を伸長させる場合についてであるが、高露光画像７０２の白階調領域を伸長させてＨＤＲ画像用の中間階調を得る方法もある。しかしながら、高露光画像７０２の白階調領域は白とび領域であり、輝度情報が画像の階調の上限を超えて失われてしまっている可能性があるため、低露光画像７０１の低輝度側よりも伸長できる範囲が制限される。
【００５９】
このように、階調特性の変換には、低露光画像７０１の黒階調領域を伸長させるやり方や高露光画像７０２の白階調領域を伸長させるやり方など、様々なやり方があるが、重要なことは、次に述べることである。通常ＨＤＲ処理の合成用画像（図６（ｂ）参照）の一部のみを使用して簡易ＨＤＲ処理を行う場合、図７（ａ）に示すように、ＨＤＲ画像の全階調領域（ＬＳＢとＭＳＢとの間）の一部の階調領域は、いずれの合成用画像によっても良好にカバーされない。具体的には、低露光画像７０１が良好にカバーする階調領域は、低露光画像７０１の全階調領域のうちの黒階調領域を除いた階調領域（階調値が第１閾値以上の階調領域）である。また、高露光画像７０２が良好にカバーする階調領域は、高露光画像７０２の全階調領域のうちの白階調領域を除いた階調領域（階調値が第２閾値以下の階調領域）である。従って、ＨＤＲ画像の全階調領域の中央付近の階調領域は、低露光画像７０１及び高露光画像７０２のいずれによっても良好にカバーされない。そこで、階調制御部１１１は、このような階調領域に対して変換前より多くの階調値を割り当てるように、低露光画像７０１及び高露光画像７０２の少なくとも一方の階調特性を変換する。そのような階調特性の変換の一例が、図７（ａ）に示す、低露光画像７０１の黒階調領域の伸長である。本実施形態の実際の動作としては、通常ＨＤＲ処理に用いるＮ個の露出値及び簡易ＨＤＲ処理に用いる２個の露出値から、上記に述べたいずれのトーンマッピングを行えばよいかを決定し、トーンカーブを生成する。もちろん、その都度生成するのではなく、予め記憶されたトーンカーブの中から選択して用いるような構成にしても良い。
【００６０】
また、トーンマッピングで階調を伸長させると、特に黒階調領域においてノイズ成分も一緒に伸長され強調されることになる。そのため、本実施形態では、簡易ＨＤＲ処理を行う際には、階調制御部１１１は、静止画記録用の処理よりも平滑化等のノイズ抑制処理を強くかけて強調されてしまったノイズ成分を抑制する。
【００６１】
（Ｓ２０７：画像合成）
図２において、Ｓ２０７では、画像合成部１１２は、ライブビュー表示用のＨＤＲ画像生成のための画像合成（生成制御）を行う。画像合成の概要について、図７（ａ）を参照して説明する。図７（ａ）は、生成されるＨＤＲ画像の階調の範囲を表しており、通常は入力されてくる合成用画像のダイナミックレンジよりも広く設定される。そして、合成用画像である低露光画像７０１及び高露光画像７０２は、位置合わせ部１０９において画像間の輝度値レベル合わせが行われ、位置ずれが補正されたものである。更に、低露光画像７０１及び高露光画像７０２の少なくとも一方は、Ｓ２０６において階調制御部１１１によりトーンマッピング処理などの階調の伸長（階調特性の変換）が施されている。
【００６２】
上記の合成用画像をダイナミックレンジの連続性を考慮して並べると、図７（ａ）に示すように、ＨＤＲ画像の各階調をどちらかの画像が有していることが分かる。従って、ＨＤＲ画像を生成するためには、それぞれの階調の画素をどちらの画像から持ってくるかを決定していけばよい。輝度値の選択方法としては、どちらか一方にしか該当する階調が無いのであれば、それを使えばよい。また、低露光画像７０１の白階調領域を合成に使えば白とびは抑制され、高露光画像７０２の黒階調領域を使えば黒つぶれも抑制できる。そして、中間階調領域７０３については、黒階調領域が伸長された低露光画像７０１を使えば、簡易ＨＤＲ処理の効果を通常ＨＤＲ処理の効果に近づけることができる。このようにして全ての階調についてどの画像の画素を用いるかを決定すれば、黒つぶれも白とびも抑制されたＨＤＲ画像を生成することができる。なお、通常ＨＤＲ処理でも、階調制御部１１１による階調制御の有無や合成用画像の枚数の違いを除き、簡易ＨＤＲ処理の場合と同様である（図６（ｂ）参照）。
【００６３】
（Ｓ２０８：画像出力）
Ｓ２０８で、画像合成部１１２は、生成されたＨＤＲ画像を不図示の表示装置又は記憶装置に出力する。ここで、生成されたＨＤＲ画像は通常の画像よりもダイナミックレンジが拡大されているため、そのままでは表示装置へ出力できない場合がある。そのような場合には、ＨＤＲ画像に対してさらにトーンマッピング処理を施すことによって、ＨＤＲ画像のダイナミックレンジを例えば８ｂｉｔ等の一般的なダイナミックレンジに変換すればよい。
【００６４】
以上説明したように、本実施形態によれば、デジタルカメラ１００は、通常ＨＤＲ処理用の複数の合成用画像のうち、２枚の画像を合成することにより、ＨＤＲ画像を生成する。デジタルカメラ１００は、画像合成前に、ＨＤＲ画像の全階調領域のうち２枚の画像のいずれによっても良好にカバーされない階調領域に変換前より多くの階調値を割り当てるように、２枚の画像のうちの少なくとも一方の階調特性を変換する。これにより、合成用画像の枚数を削減してフレームレートの低下を抑制すると共に、簡易ＨＤＲ処理の効果を通常ＨＤＲ処理の効果に近づけることができる。また、合成用画像の枚数が削減されるので、ＨＤＲ処理に必要なメモリ容量を削減することもできる。
【００６５】
［第２の実施形態］
第１の実施形態では、図２のＳ２０４において、Ｓ２０２で決定された露出値のうちの最大値及び最小値が選択された。この場合、簡易ＨＤＲ処理により生成されるＨＤＲ画像の全階調領域のうち、中心に近い階調領域とそれ以外の階調領域とでは、通常ＨＤＲ処理に対する近似の程度が異なる。中心に近い階調領域については、図６（ｂ）と図７（ａ）との比較から理解できるように階調特性の変換による近似が行われるため、簡易ＨＤＲ処理の効果が通常ＨＤＲ処理の効果にある程度近づけられるとはいえ、近似による誤差が生じる。一方、それ以外の階調領域については、図６（ｂ）と図７（ａ）との比較から理解できるように近似の必要が無いため、簡易ＨＤＲ処理であっても通常ＨＤＲ処理とほぼ同じ効果が得られる。
【００６６】
簡易ＨＤＲ処理のこのような性質に鑑み、本実施形態では、簡易ＨＤＲ処理により生成されるＨＤＲ画像のどの階調領域に注目するかによって、選択する露出値、及び階調制御の内容を変更する。
【００６７】
図９は、第２の実施形態に係るデジタルカメラ９００の構成を示すブロック図である。図９において、図１と同一又は同様の構成要素には同一の符号を付し、説明を省略する。デジタルカメラ９００は、図１に示した構成に加えて、注目画像領域選択部９０１を有する。本実施形態における処理については、図２に示したフローチャートの中で第１の実施形態と異なる処理を行う部分についてのみ説明する。
【００６８】
本実施形態における図２のＳ２０４では、プレビュー画像で注目したい画像領域を指定した上で露出値を選択する。例えば、注目画像領域選択部９０１により被写体の顔が指定され、顔画像が中間階調の画素を多く含んでいた場合を考える。この場合、注目画像領域選択部９０１による顔の指定は、ＨＤＲ画像の全階調領域のうち中心に近い階調領域（中間階調領域）の指定と見なすことができる。
【００６９】
以下に、注目する階調領域と画像間の露光差との関係について説明する。図７（ａ）に示した合成方法は、前述のように、実際に記録される広ダイナミックレンジ画像に対して中間階調領域はトーンマッピングにより近似的に整合性を取っているが、それ以外の階調領域については記録画像とほぼ同じ画像を得ることができている。
【００７０】
それに対して、図７（ｂ）は、注目する階調領域として中間階調が選択された場合の簡易ＨＤＲ処理の概念図を示す。図７（ｂ）では、ＨＤＲ画像の中間階調領域７０９の範囲内に低露光画像７０５の中間階調領域と高露光画像７０６の中間階調領域が共に含まれているため、中間階調領域については記録画像とほぼ同じ画像が得られる。しかしながら、ＨＤＲ画像の最小輝度値であるＬＳＢ及び最大輝度値であるＭＳＢ付近にはどちらの画像の階調領域も存在していないため、黒つぶれ及び白とびを改善することはできない。従って、このような階調領域については階調制御処理によって近似的に整合性をとる必要がある。
【００７１】
以上のように、簡易ＨＤＲ処理に使用する画像間の露出差に応じて、生成される画像の階調再現性が異なる。そこで本実施形態では、簡易ＨＤＲ処理によって黒つぶれや白とびがどのように改善されるのかを知りたい場合には、撮像条件算出部１０６はＳ２０４において相互の差の大きな２つの露出値を選択する。その一方で、中間階調領域の画質に注目するのであれば、撮像条件算出部１０６はＳ２０４において相互の差の小さな２つの露出値を選択する。注目する階調領域の選択方法としては、例えばユーザがメニュー画面等から注目したい画像領域を手動で指定することにより、その画像領域に含まれる階調領域を選択する方法がある。また、別の選択方法としては、評価値取得部１０５で生成された輝度値ヒストグラムから黒階調領域及び白階調領域に含まれる画素の数に基づいて選択してもよい。この場合には、ユーザが主導で選択するのではなく、黒階調領域に含まれる画素の数が予め定められた閾値以下の時には画像中の黒つぶれ領域は微少であると判断して、自動的に中間階調領域を注目階調領域に設定するようにしてもよい。
【００７２】
本実施形態における図２のＳ２０６では、注目階調領域に応じて選択された露出値で撮像された画像に対して階調制御を行う。ここで、黒つぶれや白とびの改善に注目した場合、つまり画像間の露光差が大きい場合については、第１の実施形態における図７（ａ）と同様の処理が行われる。一方、中間階調に注目した場合、つまり画像間の露光差の小さい場合については、図７（ｂ）に示すように階調制御が行われる。即ち、トーンマッピングにより低露光画像７０５の白階調領域を符号７０７に示すように伸長させ、高露光画像７０６の黒階調領域を符号７０８に示すように伸長させる処理が行われる。このとき、白階調領域の伸長には図８（ｂ）に示すような白階調領域に多くの階調を割り当てるトーンマッピング処理を行えばよく、黒階調領域の伸長には図８（ａ）と同様の処理を行えばよい。これにより、簡易ＨＤＲ処理に用いる画像間の露光差が小さい場合でも、実際に記録されている画像との整合性がとれたＨＤＲ画像を得ることができる。
【００７３】
以上説明したように、本実施形態によれば、デジタルカメラ９００は、簡易ＨＤＲ処理により得られるＨＤＲ画像のどの階調領域に注目するかに応じて、簡易ＨＤＲ処理で用いる画像の露出値を選択する。そして、デジタルカメラ９００は、図７（ａ）及び図７（ｂ）を参照して説明したように、選択された露出値で撮像された２枚の画像間の露出差に応じた階調制御を行う。これにより、ユーザが注目する階調領域について、通常ＨＤＲ処理により得られるＨＤＲ画像との整合性がより良くとれたＨＤＲ画像を簡易ＨＤＲ処理により得ることが可能となる。
【００７４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置であって、
前記撮像手段に２個の異なる露出値で２枚の画像を撮像させる撮像制御手段と、
前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換手段と、
前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御手段と、を備え、
前記変換手段は、前記Ｎ個の露出値及び前記２枚の画像の２個の露出値に基づいて、前記２枚の画像から生成されるＨＤＲ画像の階調特性が前記Ｎ枚の画像から生成されるＨＤＲ画像の階調特性に近くなるように前記２枚の画像のうちの少なくとも一方の階調特性を変換する
ことを特徴とする画像処理装置。
【請求項２】
撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置であって、
前記撮像手段に前記Ｎ個の露出値のうちの２個の露出値で２枚の画像を撮像させる撮像制御手段と、
前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換手段と、
前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御手段と、
を備え、
前記変換手段は、前記Ｎ枚の画像から生成されるＨＤＲ画像の全階調領域のうち、
前記２枚の画像のうちの露出が小さい方の画像である低露出画像における、階調値が第１閾値以上の階調領域と、
前記２枚の画像のうちの露出が大きい方の画像である高露出画像における、階調値が第２閾値以下の階調領域と、
のいずれによってもカバーされない階調領域に対して変換前より多くの階調値を割り当てるように、前記２枚の画像のうちの少なくとも一方の階調特性を変換する
ことを特徴とする画像処理装置。
【請求項３】
前記２個の露出値を前記Ｎ個の露出値から選択する選択手段を更に備える
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記２個の露出値が、前記Ｎ個の露出値のうちの最大の露出値と最小の露出値である場合、
前記変換手段は、階調値が小さい階調領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が小さい方の画像である低露出画像の階調特性を変換する
ことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
前記２個の露出値の差が前記Ｎ個の露出値のうちの最大の露出値と最小の露出値との差よりも小さい場合、
前記変換手段は、階調値が大きい階調領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が小さい方の画像である低露出画像の階調特性を変換し、階調値が小さい領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が大きい方の画像である高露出画像の階調特性を変換する
ことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項６】
前記２枚の画像から生成されるＨＤＲ画像の全階調領域のうちの注目する階調領域として、中心に近い階調領域とそれ以外の階調領域とのうちの一方を指定する指定手段を更に備え、
前記中心に近い階調領域が指定され、前記２個の露出値の差が前記Ｎ個の露出値のうちの最大の露出値と最小の露出値との差よりも小さい場合、
前記変換手段は、階調値が大きい階調領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が小さい方の画像である低露出画像の階調特性を変換し、階調値が小さい領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が大きい方の画像である高露出画像の階調特性を変換し、
前記それ以外の領域が指定され、前記２個の露出値が、前記Ｎ個の露出値のうちの最大の露出値と最小の露出値である場合、
前記変換手段は、階調値が小さい階調領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が小さい方の画像である低露出画像の階調特性を変換する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記生成手段により生成されるＨＤＲ画像のノイズを抑制する抑制手段を更に備え、
前記抑制手段は、前記生成手段が前記２枚の画像からＨＤＲ画像を生成する場合は、前記生成手段が前記Ｎ枚の画像からＨＤＲ画像を生成する場合よりも強くノイズの抑制を行う
ことを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
【請求項８】
前記２枚の画像は、前記Ｎ枚の画像の撮影が行われる前に前記撮像手段により撮影され、前記生成手段で合成され表示手段に表示されることを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
【請求項９】
前記２枚の画像は、前記Ｎ枚の画像の撮影が行われる際に前記Ｎ枚の画像の中から選ばれた２枚であり、前記Ｎ枚の画像が前記生成手段で合成される前に、前記生成手段で合成されることを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置。
【請求項１０】
撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置の制御方法であって、
前記画像処理装置の撮像制御手段が、前記撮像手段に２個の異なる露出値で２枚の画像を撮像させる撮像制御工程と、
前記画像処理装置の変換手段が、前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換工程と、
前記画像処理装置の生成制御手段が、前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御工程と、を備え、
前記変換工程においては、前記変換手段が、前記Ｎ個の露出値及び前記２枚の画像の２個の露出値に基づいて、前記２枚の画像から生成されるＨＤＲ画像の階調特性が前記Ｎ枚の画像から生成されるＨＤＲ画像の階調特性に近くなるように前記２枚の画像のうちの少なくとも一方の階調特性を変換する
ことを特徴とする画像処理装置の制御方法。
【請求項１１】
撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置の制御方法であって、
前記画像処理装置の撮像制御手段が、前記撮像手段に前記Ｎ個の露出値のうちの２個の露出値で２枚の画像を撮像させる撮像制御工程と、
前記画像処理装置の変換手段が、前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換工程と、
前記画像処理装置の生成制御手段が、前記変換工程により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御工程と、
を備え、
前記変換工程において、前記変換手段は、前記Ｎ枚の画像から生成されるＨＤＲ画像の全階調領域のうち、
前記２枚の画像のうちの露出が小さい方の画像である低露出画像における、階調値が第１閾値以上の階調領域と、
前記２枚の画像のうちの露出が大きい方の画像である高露出画像における、階調値が第２閾値以下の階調領域と、
のいずれによってもカバーされない階調領域に対して変換前より多くの階調値を割り当てるように、前記２枚の画像のうちの少なくとも一方の階調特性を変換する
ことを特徴とする画像処理装置の制御方法。
【請求項１２】
コンピュータに、請求項１０または１１に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。
【請求項１３】
コンピュータに、請求項１０または１１に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１】
撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置であって、
前記撮像手段に２個の異なる露出値で２枚の画像を撮像させる撮像制御手段と、
前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換手段と、
前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御手段と、を備え、
前記変換手段は、前記Ｎ個の露出値及び前記２枚の画像の２個の露出値に基づいて、前記２枚の画像から生成されるＨＤＲ画像の階調特性が前記Ｎ枚の画像から生成されるＨＤＲ画像の階調特性に近くなるように前記２枚の画像のうちの少なくとも一方の階調特性を変換する
ことを特徴とする画像処理装置。
【請求項２】
撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置であって、
前記撮像手段に前記Ｎ個の露出値のうちの２個の露出値で２枚の画像を撮像させる撮像制御手段と、
前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換手段と、
前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御手段と、
を備え、
前記変換手段は、前記Ｎ枚の画像から生成されるＨＤＲ画像の全階調領域のうち、
前記２枚の画像のうちの露出が小さい方の画像である低露出画像における、階調値が第１閾値以上の階調領域と、
前記２枚の画像のうちの露出が大きい方の画像である高露出画像における、階調値が第２閾値以下の階調領域と、
のいずれによってもカバーされない階調領域に対して変換前より多くの階調値を割り当てるように、前記２枚の画像のうちの少なくとも一方の階調特性を変換する
ことを特徴とする画像処理装置。
【請求項３】
前記２個の露出値を前記Ｎ個の露出値から選択する選択手段を更に備える
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記２個の露出値が、前記Ｎ個の露出値のうちの最大の露出値と最小の露出値である場合、
前記変換手段は、階調値が小さい階調領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が小さい方の画像である低露出画像の階調特性を変換する
ことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
前記２個の露出値の差が前記Ｎ個の露出値のうちの最大の露出値と最小の露出値との差よりも小さい場合、
前記変換手段は、階調値が大きい階調領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が小さい方の画像である低露出画像の階調特性を変換し、階調値が小さい領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が大きい方の画像である高露出画像の階調特性を変換する
ことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項６】
前記２枚の画像から生成されるＨＤＲ画像の全階調領域のうちの注目する階調領域として、中心に近い階調領域とそれ以外の階調領域とのうちの一方を指定する指定手段を更に備え、
前記中心に近い階調領域が指定され、前記２個の露出値の差が前記Ｎ個の露出値のうちの最大の露出値と最小の露出値との差よりも小さい場合、
前記変換手段は、階調値が大きい階調領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が小さい方の画像である低露出画像の階調特性を変換し、階調値が小さい領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が大きい方の画像である高露出画像の階調特性を変換し、
前記それ以外の領域が指定され、前記２個の露出値が、前記Ｎ個の露出値のうちの最大の露出値と最小の露出値である場合、
前記変換手段は、階調値が小さい階調領域ほど多くの階調値を割り当てるように、前記２枚の画像のうちの露出が小さい方の画像である低露出画像の階調特性を変換する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
前記生成手段により生成されるＨＤＲ画像のノイズを抑制する抑制手段を更に備え、
前記抑制手段は、前記生成手段が前記２枚の画像からＨＤＲ画像を生成する場合は、前記生成手段が前記Ｎ枚の画像からＨＤＲ画像を生成する場合よりも強くノイズの抑制を行う
ことを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
【請求項８】
前記２枚の画像は、前記Ｎ枚の画像の撮影が行われる前に前記撮像手段により撮影され、前記生成手段で合成され表示手段に表示されることを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
【請求項９】
前記２枚の画像は、前記Ｎ枚の画像の撮影が行われる際に前記Ｎ枚の画像の中から選ばれた２枚であり、前記Ｎ枚の画像が前記生成手段で合成される前に、前記生成手段で合成されることを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置。
【請求項１０】
撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置の制御方法であって、
前記画像処理装置の撮像制御手段が、前記撮像手段に２個の異なる露出値で２枚の画像を撮像させる撮像制御工程と、
前記画像処理装置の変換手段が、前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換工程と、
前記画像処理装置の生成制御手段が、前記変換手段により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御工程と、を備え、
前記変換工程においては、前記変換手段が、前記Ｎ個の露出値及び前記２枚の画像の２個の露出値に基づいて、前記２枚の画像から生成されるＨＤＲ画像の階調特性が前記Ｎ枚の画像から生成されるＨＤＲ画像の階調特性に近くなるように前記２枚の画像のうちの少なくとも一方の階調特性を変換する
ことを特徴とする画像処理装置の制御方法。
【請求項１１】
撮像手段によりＮ個（Ｎは３以上の整数）の異なる露出値で撮像されたＮ枚の画像を合成することにより広ダイナミックレンジ（ＨＤＲ）画像を生成可能な生成手段を備える画像処理装置の制御方法であって、
前記画像処理装置の撮像制御手段が、前記撮像手段に前記Ｎ個の露出値のうちの２個の露出値で２枚の画像を撮像させる撮像制御工程と、
前記画像処理装置の変換手段が、前記２枚の画像のうちの少なくとも一方の階調特性を変換する変換工程と、
前記画像処理装置の生成制御手段が、前記変換工程により少なくとも一方の階調特性が変換された前記２枚の画像を前記生成手段に合成させる生成制御工程と、
を備え、
前記変換工程において、前記変換手段は、前記Ｎ枚の画像から生成されるＨＤＲ画像の全階調領域のうち、
前記２枚の画像のうちの露出が小さい方の画像である低露出画像における、階調値が第１閾値以上の階調領域と、
前記２枚の画像のうちの露出が大きい方の画像である高露出画像における、階調値が第２閾値以下の階調領域と、
のいずれによってもカバーされない階調領域に対して変換前より多くの階調値を割り当てるように、前記２枚の画像のうちの少なくとも一方の階調特性を変換する
ことを特徴とする画像処理装置の制御方法。
【請求項１２】
コンピュータに、請求項１０または１１に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。
【請求項１３】
コンピュータに、請求項１０または１１に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２０５２４４（Ｐ２０１２−２０５２４４Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−７０３９６（Ｐ２０１１−７０３９６）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]