画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
【課題】ハードウェア規模の大幅な増大を招くことなく、ダイナミックレンジが改善されていて、より自然な画像を得ること。
【解決手段】画像処理部３００は、同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定し、この基準画像データから階調変換特性を導出する階調変換特性導出部３１０と、階調変換特性導出部３１０で導出された階調変換特性に基づいて複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部３２０とを備える。
【解決手段】画像処理部３００は、同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定し、この基準画像データから階調変換特性を導出する階調変換特性導出部３１０と、階調変換特性導出部３１０で導出された階調変換特性に基づいて複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部３２０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同一被写体を撮影し、得られた複数フレーム分の異なる露光量の画像データを合成して階調が改善された画像を得る技術に関する。
【背景技術】
【０００２】
屋外晴天下での逆光撮影条件等においては、撮影シーン内の被写体輝度のレンジ（以下では単に「輝度レンジ」と称する）が広くなる。輝度レンジの広い被写体をデジタルカメラで撮影したときに、撮像系および画像信号処理系で記録可能なダイナミックレンジ内に収まらない場合がある。その場合、画像内の暗部においては、像が黒くつぶれてしまう、いわゆる黒つぶれを生じる。また、画像内の明部においては、像が白く飛んでしまう、いわゆる白飛びを生じる。
【０００３】
このような現象を解決するための技術として、High Dynamic Range Imaging技術（以下、ＨＤＲ技術と称する）がある。ＨＤＲ技術においては、同じ撮影シーンが、シャッタ速度を変えながら複数回にわたって撮影され、互いに異なる露光量で複数の画像データが取得される。そして、画像内の黒つぶれが生じる可能性のある領域に対しては、多めの露光量で得られた画像データの画素値が用いられ、白飛びが生じる可能性のある領域に対しては少なめの露光量で得られた画像データの画素値が用いられて合成処理が行われる。その結果、画像内の暗部から明部に至るまでの階調が再現された画像を得ることができる。
【０００４】
特許文献１には、電荷蓄積時間の異なる２枚以上の画像を得て、各画像の信号レベルに応じて重み付けして加算し、得られた高ダイナミックレンジ信号のレベルを基準レベルに圧縮する技術が開示される。
【０００５】
特許文献１に開示されるものでは、複数の信号を合成する際にビット幅（ビット深度）を拡げる必要がある。これが原因となり、必要とするハードウェアの規模が増大してしまう。この問題を解決するため、特許文献２には、画像信号の高レベル部を非線形に圧縮する処理を行った後に複数の画像を所定の重み付けで合成し、画像信号のビット幅（ビット数）の拡大を抑制する技術が開示される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−１４１２２９号公報
【特許文献２】特開２００４−２６６３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示されるものでは、上述した理由によりハードウェアの規模が増大してしまう。また特許文献２に開示されるものでは、露光量の異なる複数の画像を合成する際、予め決められている関数を用いて求まる加重加算比で合成が行われるため、撮影シーンによっては好ましい階調特性を得ることができない場合がある。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、ハードウェア規模の大幅な増大を招くことなく、ダイナミックレンジが改善されていて、より自然な画像を得ることが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明のある態様によれば、画像処理装置が、
同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備える。
【００１０】
本発明のある態様によれば、画像処理方法が、
同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定することと、
前記基準画像データから階調変換特性を導出することと、
前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成することと
を備える。
【００１１】
本発明のある態様によれば、
同一被写体を撮影して得られた異なる露光量の複数の入力画像データを合成して階調の改善された合成画像データを生成する処理をコンピュータに実行させるための画像処理プログラムが、
前記複数の入力画像データの中から基準画像データを設定する基準画像データ設定ステップと、
前記基準画像データから階調変換特性を導出する階調変換特性導出ステップと、
前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成ステップと
を備える。
【００１２】
本発明のある態様によれば、
撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像部を備える撮影装置が、
前記撮像部において、同一被写体を撮影し、異なる露光量の複数の入力画像データを得る撮像制御部と、
前記複数の入力画像データの中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備える。
【発明の効果】
【００１３】
本発明によれば、ハードウェア規模の大幅な増大を招くことなく、同一被写体を撮影して得られた異なる露光量の複数の画像を合成し、ダイナミックレンジが改善されてより自然に見える合成画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】デジタルカメラの概略的構成を説明するブロック図である。
【図２】コンピュータの概略的内部構成を説明するブロック図であり、画像処理プログラムをコンピュータが実行することにより画像処理部が実現される例を説明する図である。
【図３】画像処理部の概略的構成を説明するブロック図である。
【図４】画像処理部で導出される階調変換特性と、この階調変換特性に基づいて基準画像データから階調変換特性情報が導出される様子を概念的に示す図である。
【図５】基準画像データを解析して階調変換特性を導出する手順の一例を概念的に示す図であり、（ａ）は基準画像データの画素値のヒストグラムを、（ｂ）は基準画像データの画素値の累積頻度曲線を、（ｃ）は基準画像データの画素値の累積頻度曲線に基づいて導出される階調変換特性曲線の例を、それぞれ示す図である。
【図６】第１の実施の形態に係る画像処理部内に設けられる画像合成処理部の内部構成を概略的に示すブロック図である。
【図７】第１の実施の形態に係る画像処理部で実行される画像合成処理手順を説明するフローチャートである。
【図８】第２の実施の形態に係る画像処理部内に設けられる画像合成処理部の内部構成を概略的に示すブロック図である。
【図９】第２の実施の形態に係る画像処理部内に設けられる画像合成処理部で行われる画像選択／混合の処理内容を概念的に示す図である。
【図１０】第２の実施の形態に係る画像処理部で実行される画像合成処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、デジタルカメラ１００の概略的構成を説明するブロック図である。デジタルカメラ１００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ１００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。
【００１６】
デジタルカメラ１００は、撮影光学系１１０と、レンズ駆動部１１２と、撮像部１２０と、アナログ・フロントエンド（図１中では「ＡＦＥ」と表記される）１２２と、画像記録媒体１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、ＣＰＵ１７０と、ＤＳＰ（ディジタル・シグナル・プロセッサ）１９０と、システムバス１８０とを備える。記憶部１６０は、ＲＯＭ１６２とＲＡＭ１６４とを備える。ＤＳＰ１９０には、画像処理部３００が実装される。
【００１７】
レンズ駆動部１１２、撮像部１２０、アナログ・フロントエンド１２２、画像記録媒体１３０、操作部１４０、表示部１５０、記憶部１６０、ＣＰＵ１７０、ＤＳＰ１９０は、システムバス１８０を介して電気的に接続される。ＲＡＭ１６４は、ＣＰＵ１７０およびＤＳＰ１９０の双方からアクセス可能に構成される。
【００１８】
撮影光学系１１０は、被写体像を撮像部１２０の受光エリア上に形成する。レンズ駆動部１１２は、撮影光学系１１０の焦点調節動作を行う。また、撮影光学系１１０が可変焦点距離光学系である場合には、撮影光学系１１０がレンズ駆動部１１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【００１９】
撮像部１２０は、シャッタと撮像素子とを含んで構成され、撮影光学系１１０を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子の受光エリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド１２２に入力される。アナログ・フロントエンド１２２は、撮像部１２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ１６４に一時的に記憶される。
【００２０】
ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、必要に応じて画像記録媒体１３０に記録したり、表示部１５０に出力したりする。
【００２１】
画像記録媒体１３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ１００に対して着脱可能に装着される。あるいは、画像記録媒体１３０がデジタルカメラ１００に内蔵されていてもよい。その場合、ＲＯＭ１６２内に画像データ記録のための領域が確保されて、それを画像記録媒体１３０とすることが可能である。
【００２２】
操作部１４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部１５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部１５０は表示インターフェースを備えていて、ＲＡＭ１６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部１５０に表示されるものとする。
【００２３】
ＲＯＭ１６２は、フラッシュメモリ等で構成され、ＣＰＵ１７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ１００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭ１６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ１７０は、ＲＯＭ１６２からＲＡＭ１６４に転送されたファームウェアを解釈・実行してデジタルカメラ１００の動作を統括的に制御する。
【００２４】
ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されるデジタル画像信号に上述した様々な処理を施し、記録用画像データ、表示用画像データ等を生成する。
【００２５】
デジタルカメラ１００は、ＨＤＲ撮影モードで静止画を撮影する動作を行うことが可能に構成される。つまり、同一の被写体を撮影して異なる露光量の複数の画像データが得られて、それら複数の画像データから階調の改善された合成画像データを生成するモードで動作可能に構成される。無論、ＨＤＲ撮影モードで動画撮影が可能に構成されていても良い。その場合、動画像の記録フレームレートよりも高速のフレームレートで露光量を変えながら撮像が行われ、得られる複数の画像データから１フレーム分の画像データが生成され、記録される。ところで、上述した同一被写体を異なる露光量で撮影する際に、同一構図で撮影が行われること、つまり一連の撮影で得られる複数の画像は、露光量が異なっている以外は全て同じものが写っていることが、より良い合成画像データを得る上で望ましい。しかし、手持ち撮影であったために撮影動作中に撮影範囲が若干変化する場合や、被写体が動体であったために画面内における位置や形状が変化する場合がある。その場合、パターンマッチングの技術を用いて画像の切り出し、貼り付け等の処理を行い、画像を合成することが可能である。
【００２６】
上記のように露光量を変えながら撮影動作を行う際、ＣＰＵ１７０は撮像部１２０を制御し、決められた回数の露光を、各露光に対応して決められた露光量で行う。つまり、ＣＰＵ１７０は、同一の被写体を異なる露光量で撮影し、複数の画像データが得られるように撮像部１２０を制御する。
【００２７】
ところで、デジタルカメラ１００が、撮影光学系１１０、レンズ駆動部１１２、および撮像部１２０等からなる撮像系を複数備えるものであってもよい。この場合、複数組の撮像系を用い、ユーザによる一回のレリーズ操作に応じて各撮像系で異なる露光量での画像を略同時に得ることが可能である。この構成を用いて、動画像撮影時に異なる露光量の複数の画像を各フレームに対応して得ることも可能である。
【００２８】
あるいは、撮像部１２０を複数備えていて、撮影光学系１１０の後方にビームスプリッタ（光路分割部材）を配置し、ビームスプリッタで分割された複数の光路上に撮像部１２０が配置される構成をデジタルカメラ１００が備えていてもよい。ビームスプリッタは不等の光量分割比率で光束を分割する。例えば、ビームスプリッタが入射光束を二つの光束に分割して出射するものである場合、一の光路に沿って出射する光束の光量と、他の光路に沿って出射する光束の光量との比率が例えば１：４などといった光量分割比率となるようにビームスプリッタを設計することが可能である。このようにビームスプリッタを用いる構成では、撮影光学系１１０での設定絞り値や、シャッタ速度（露光時間）は、各撮像部１２０に対して同一の露光条件となる。しかし、ビームスプリッタの作用により、各撮像部１２０に入射する被写体光の光量が異なるので、結果として異なる露光量の複数の画像を一回の撮影動作で得ることができる。この構成を備えることにより、１回の露光動作で異なる露光量の複数の画像を得ることができる。また、この構成を用いて、動画像撮影時に異なる露光量の複数の画像を各フレームに対応して得ることも可能である。
【００２９】
異なる露光量の複数の画像を得るためには、以上に説明した三つの方法のうち、いずれかを用いることが可能である。すなわち、第１の方法は、露光条件を変えながら複数回の露光動作を時系列に行う方法である。第２の方法は、複数の撮像系それぞれで異なる露光条件を設定し、略同時に撮影を行う方法である。第３の方法は、一つの撮影光学系の後方に配置した光路分割部材によって異なる光量分割比率で複数の撮像素子に被写体光を導き、異なる露光量の複数の画像を、一回の露光動作で得る方法である。
【００３０】
図２は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部３００としての機能が実装される例を説明するブロック図である。コンピュータ２００は、ＣＰＵ２１０と、メモリ２２０と、補助記憶装置２３０と、インターフェース２４０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とを備える。ＣＰＵ２１０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とは、インターフェース２４０を介して電気的に接続される。
【００３１】
メモリ２２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置２３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を備える。
【００３２】
メモリカードインターフェース２５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース２５０を介してコンピュータ２００内に読み込むことができる。また、コンピュータ２００内の画像データをメモリカードＭＣに書き込むこともできる。
【００３３】
光ディスクドライブ２６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ２６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【００３４】
ネットワークインターフェース２７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ２００との間で情報を授受可能に構成される。
【００３５】
表示部２８０は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。
【００３６】
画像処理部３００は、メモリ２２０上にロードされた画像処理プログラムをＣＰＵ２１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ２００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置２３０に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置２３０に記憶されてもよい。
【００３７】
画像処理部３００は、補助記憶装置２３０に記憶された画像データ、あるいはメモリカードＭＣ、光ディスクＯＤ、ネットワークＮＷ等を介して入力した画像データに後述する画像処理を行う。以下、画像処理部３００における処理について二つの実施の形態で説明する。
【００３８】
− 第１の実施の形態 −
図３は、画像処理部３００の構成を概略的に説明するブロック図である。画像処理部３００は、先に説明したように、デジタルカメラ１００内のＤＳＰ１９０に実装されていてもよいし、コンピュータ２００のＣＰＵ２１０が画像処理プログラムを実行することにより実現されてもよい。
【００３９】
画像処理部３００は、階調変換特性導出部３１０と、画像合成処理部３２０と、画像取得部３３０とを備える。画像処理部３００に接続される画像記録部３６０は、先に図１、図２を参照して説明した画像記録媒体１３０、補助記憶装置２３０に対応する。同じく、画像処理部３００に接続される表示部３５０は、表示部１５０、２８０に対応する。
【００４０】
画像取得部３３０は、同一の被写体を撮影して異なる露光量の複数の入力画像データを取得する。異なる露光量の複数の入力画像データを得るためには、上述した三つの方法のうち、いずれかの方法を用いることができる。以下では、第一の方法、すなわち露光条件を変えながら複数回の露光を時系列に行う（以下では、同一の被写体を異なる露光量で複数回、時系列に撮影することを「ブラケティング露光」と称する）ものとして説明する。このブラケティング露光に際しては、露光時間の長短で露光量を調節することがボケや収差の揃った複数の画像を得る上で望ましい。但し、ブラケティング露光に際しての露光の変化ステップ（補正ステップ）が小さめで、絞りを変えることによるボケや収差の変化が殆ど問題とならない状況では絞り値を変えて露光量を変化させてもよい。また、撮影光学系１１０の内部等に、被写体光の光路に対して挿抜可能に構成されるＮＤフィルタが備えられる場合、ＮＤフィルタの挿抜切り換えによって異なる露光量の画像が得られるようにしてもよい。
【００４１】
画像処理部３００がデジタルカメラ１００のＤＳＰ１９０に実装される場合、画像取得部３３０は以下のようにして複数の入力画像データを取得することが可能である。すなわち、デジタルカメラ１００でブラケティング露光が行われている間にアナログ・フロントエンド１２２から逐次出力されるデジタル画像信号をＤＳＰ１９０が処理して得られた複数の入力画像データを画像取得部３３０が取得することが可能である。あるいは、過去にブラケティング露光が行われて画像記録部３６０（画像記録媒体１３０）に記録されていた複数の入力画像データを読み出し、画像取得部３３０で取得することも可能である。いずれの場合であっても、入力画像データはいわゆるロー（ＲＡＷ）画像データから得られるものであっても、現像処理の行われたＲＧＢやＹＣｂＣｒ等の形式の画像データであってもよい。
【００４２】
画像取得部３３０で取得する入力画像データの数は２以上の任意の数ｎとすることが可能である。この数は、固定値であっても、ユーザが設定可能に構成されていても、あるいは撮影準備動作中（ライブビュー表示動作中）に被写界輝度の分布が検出されて、その結果に基づいて自動的に設定されてもよい。例えば、曇天下の順光撮影条件などのように、被写界中の最大輝度と最小輝度との差が比較的小さい場合、ブラケティング露光に際しての露光回数（入力画像データの数）は少なめに設定される場合がある。逆に、晴天下の逆光撮影条件や夜景などのように、被写界中の最大輝度（最明部）と最小輝度（最暗部）との差が比較的大きい場合、ブラケティング露光に際しての露光回数を多めに設定される場合がある。このとき、補正ステップもユーザが任意に設定することが可能に構成されていてもよいし、自動的に設定されるものであってもよい。
【００４３】
例えば、理解を容易にすることを目的として、補正ステップが１Ｅｖで、露光回数が５回であるものとして説明すると、最も少ない露光量を基準として、＋０Ｅｖ（一倍）、＋１Ｅｖ（二倍）、＋２Ｅｖ（四倍）、＋３Ｅｖ（八倍）、＋４Ｅｖ（十六倍）の露光量の画像が得られる。以下では、入力画像データ１を得る際の露光量を基準として、入力画像データ２、入力画像データ３、…、入力画像データｎを得る際の露光量が段階的に増すものとして説明をする。これらの入力画像データからは、その画素位置（ｉ，ｊ）に対応して画素値Ｐ（ｉ，ｊ）が得られる。以下、入力画像データ１、入力画像データ２、…、入力画像データｎの所与の画素位置（ｉ，ｊ）における画素値をＰ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）、…Ｐn（ｉ，ｊ）と表す。また、入力画像データ１、入力画像データ２、…、入力画像データｎを総称して入力画像データ１〜ｎと表す。なお、上述した補正ステップや露光回数については被写体や作画意図等に応じて任意に定めることが可能であり、補正ステップについては露光量が等間隔で変化するように設定されていても、不等間隔で変化するように設定されていてもよい。
【００４４】
階調変換特性導出部３１０は、画像取得部３３０で取得された複数の入力画像データ１〜ｎ中、一つの入力画像データを基準画像データとして選択し、この基準画像データを解析して階調変換特性を導出する。基準画像データの選択方法としては、様々な方法を適用可能である。例えば、一連のブラケティング露光で得られた複数の入力画像データ中、最も少ない露光量で得られた入力画像データを基準画像データとすることができる。また、中間の露光量で得られた入力画像データ、あるいは最も多い露光量で得られた入力画像データを基準画像データとすることも可能である。あるいは、複数の入力画像データをヒストグラム解析して、画素値の分布の中心が明るい側、または暗い側に極端に偏っていないものを基準画像データとすることも可能である。本実施の形態においては、露光量の最も少ない状態で得られた画像データ（入力画像データ１）を基準画像データとする。階調変換特性導出部３１０はさらに、導出された階調変換特性に基づき、基準画像データを構成する画素それぞれの値に対応して階調変換特性情報を導出する。階調変換特性および階調変換特性情報の詳細については後で説明する。
【００４５】
画像合成処理部３２０は、複数の入力画像データ１〜ｎをもとに合成画像データを生成する。合成画像データの生成方法は以下のとおりである。すなわち、画像合成処理部３２０は、合成画像データを構成する画素のひとつ一つの画素値を決定する際に、複数の入力画像データ１〜ｎ中のいずれかの画像データの画素値を選択する。例えば、合成画像データ中の左上隅の画素位置の座標値を（１，１）として説明すると、画素位置（１，１）の画素値としては、複数の入力画像データ１〜ｎそれぞれの左上隅の、画素位置（１，１）の画素値が候補となる。画像合成処理部３２０は、これらｎ個の候補の中からいずれかの画素値を合成画像データ中の当該位置の画素値として決定する。この処理を全ての画素位置（ｉ，ｊ）に対応して行うことにより、合成画像データが生成される。
【００４６】
画像合成処理部３２０は、階調変換特性導出部３１０で画素ごとに導出された階調変換特性情報と閾値とを比較し、その比較結果に基づいて上述したｎ個の候補の中からいずれかを選択する。画像合成処理部３２０に入力される閾値は、ブラケティング露光に際しての露光回数および補正ステップに応じて自動的に設定されるものとすることが可能である。この閾値は、ユーザによって適宜設定可能に構成されていてもよい。以下、階調変換特性、階調変換特性情報および閾値について説明する。
【００４７】
合成画像データを生成する際、輝度が低めで黒つぶれしがちな部分（シャドウ部）については比較的多めの露光量で得られた入力画像データの画素値が選択される。比較的多めの露光量で得られた入力画像データは、暗部における階調情報が比較的豊富で、ノイズの影響が減じられているという特徴がある。
【００４８】
逆に、輝度が高めで白飛びしがちな部分（ハイライト部）については、比較的少なめの露光量で得られた入力画像データの画素値が選択される。比較的少なめの露光量で得られた入力画像データは、明部における階調情報が比較的豊富であるという特徴がある。
【００４９】
上記のようにして合成画像データ中の各画素値が選択されることにより、合成画像データで形成される画像中のシャドウ部およびハイライト部の双方において階調を再現することが可能となる。また、シャドウ部におけるノイズの影響も減じることができる。このようにして合成画像データを生成する際に、より自然に階調が再現されるように閾値および階調変換特性情報が設定される。
【００５０】
図４は、階調変換特性導出部３１０で導出される階調変換特性の例を説明する図である。先にも説明したように、本実施の形態において基準画像データは入力画像データ１であるものとして説明する。階調変換特性導出部３１０は、基準画像データを解析して階調変換特性を導出する。ここで、基準画像データ（入力画像データ１）中の画素位置（ｉ，ｊ）における画素値Ｐ1（ｉ，ｊ）に対応して導出される階調変換特性情報をＧ（ｉ，ｊ）と表す。つまり、階調変換特性は、画素値Ｐ1（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を導出するための特性である。図４の中央に示されるグラフは、階調変換特性の一例を概念的に示したものであり、横軸に基準画像データの画素値Ｐ1（ｉ，ｊ）が、縦軸に階調変換特性情報Ｇ（ｉ，ｊ）の値がとられている。
【００５１】
階調変換特性は、基準画像データの画素値Ｐ1（ｉ，ｊ）が増加するほど階調変換特性情報Ｇ（ｉ，ｊ）は傾向として減少するように特性を定めることが可能である。つまり、小さめ（暗め）の画素値Ｐ1（ｉ，ｊ）に対応して大きめの階調変換特性情報Ｇ（ｉ，ｊ）が導出され、大きめ（明るめ）の画素値Ｐ1（ｉ，ｊ）に対応して小さめの階調変換特性情報Ｇ（ｉ，ｊ）が導出される。導出される階調変換特性の一例としては、図４の中央のグラフに示されるように、いわゆる逆Ｓ字の特性がある。あるいは、Ｐ1（ｉ，ｊ）の増加に伴ってＧ（ｉ，ｊ）が直線的に減少する特性であっても、凸カーブや凹カーブを描いて減少する特性でもよい。無論、この階調変換特性は、画像の表現意図や撮影シーンの状況に従って様々なものとすることが可能である。
【００５２】
本実施の形態において、階調変換特性情報Ｇ（ｉ，ｊ）は増幅率として扱われる。たとえば入力画像データ１〜ｎが先に説明したように補正ステップが１Ｅｖで５回のブラケティング露光が行われた場合、最小の露光量を基準として、１倍（＋０Ｅｖ）から１６倍（＋４Ｅｖ）までの露光が行われる。階調変換特性情報Ｇ（ｉ，ｊ）は、この１倍から１６倍の露光量に対応して定められる。増幅率としては、真数（上記の例では１から１６の実数）で扱うことも可能であるが、以下では写真の技術分野における慣例に従って２を底とする対数表現で扱うものとして説明する。つまり、上記の例においては、増幅率Ｇ（ｉ，ｊ）は０以上４以下の実数となる。なお、画像処理装置内部のＣＰＵによる演算に際して、数値の表現形式は整数とすることも可能であるが、ここでは理解の容易を目的とし、増幅率Ｇ（ｉ，ｊ）は０以上の実数であるものとして説明をする。
【００５３】
ブラケティング露光によって＋０Ｅｖから＋４Ｅｖまでの段階露光が行われた場合、上述のように増幅率Ｇ（ｉ，ｊ）は０から４までの値をとる実数とすることが可能である。このとき、閾値は、導出される階調変換特性情報Ｇ（ｉ，ｊ）との比較結果に基づいて適切な入力画像データの画素値Ｐn（ｉ，ｊ）が選択されるように、ブラケティング露光に際しての露光回数と補正ステップとに基づいてその個数および値が設定される。その結果、ある画素に対して大きめの増幅率、つまり大きめの階調変換特性情報Ｇ（ｉ，ｊ）が設定された場合には、多めの露光量で得られた入力画像データの画素値Ｐn（ｉ，ｊ）が選択される。また、小さめの階調変換特性情報Ｇ（ｉ，ｊ）が設定された場合には、少なめの露光量で得られた入力画像データの画素値Ｐn（ｉ，ｊ）が選択される。
【００５４】
以上に説明した階調変換特性、つまりＰ1（ｉ，ｊ）の増加に伴ってＧ（ｉ，ｊ）が減少する特性が設定されることと、階調変換特性情報Ｇ（ｉ，ｊ）が増幅率として扱われることとにより、以下のように合成画像データ中の画素値を選択することが可能となる。すなわち、基準画像データによる画像中、暗めの画素に対応して高めの増幅率が設定され、結果として多めの露光量で得られた入力画像データの画素値が選択される。その結果、シャドウ部での階調を増すことができ、ノイズの影響も低減することが可能となる。逆に、基準画像データによる画像中、明るめの画素に対応して低めの増幅率が設定され、結果として少なめの露光量で得られた入力画像データの画素値が選択される。その結果、ハイライト部での階調を増すことができる。このようにして、被写体のより広い輝度範囲に対応して階調を再現することが可能となる。また、シャドウ部におけるノイズも低減することが可能となる。このとき、階調変換特性情報Ｇ（ｉ，ｊ）を増幅率として扱うことにより、ブラケティング露光における補正ステップとの対応付けが容易となり、画像データの階調変換の処理を単純化することが可能となる。
【００５５】
本発明の実施の形態においては、画像合成処理の過程において、各画素位置（ｉ，ｊ）に対応する画素値として、一連のブラケティング露光で得られた複数の入力画像データ１〜ｎの画素値Ｐ1（ｉ，ｊ）〜Ｐn（ｉ，ｊ）の中からいずれかを選択することが各画素位置（ｉ，ｊ）において行われる。このように各画素値が選択された結果、階調変換が行われたかのような合成画像を得ることができるので、本明細書中では「階調変換特性」という文言を用いている。
【００５６】
ここで、階調変換特性導出部３１０において階調変換特性を導出する際の導出方法の一例を説明する。図５（ａ）は、基準画像データのヒストグラム例を示す。図５（ａ）の例は、少なめの露光量で得られた画像データを基準画像データとすることを想定しており、その結果ヒストグラムが全体として画素値の小さい側に偏っている。
【００５７】
図５（ｂ）は、図５（ａ）に例示されるヒストグラムを呈する画像の画像データを解析して求められた累積頻度を示している。図５（ｂ）中に示される累積頻度の曲線は、画素値の低い領域で急激に立ち上がり、その後中間から高めの画素値の領域で累積頻度の増加が頭打ちとなる凸カーブを描いている。図５（ｃ）は、図５（ｂ）に示される累積頻度曲線に基づいて導出される階調変換特性の例を示す図である。図５（ｃ）に示されるカーブは、図５（ｂ）に示される累積頻度の曲線の傾きに基づいて導出されたものとなっている。つまり、図５（ｂ）に示される累積頻度特性を画素値で微分して得たものとなっている。
【００５８】
図５（ｃ）に示される階調変換特性に基づき、基準画像データの各画素値Ｐ1（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）が導出される。図５（ｃ）に示される例では、以下のような特性となっている。すなわち、図５（ｃ）に示される例において、階調変換特性は逆Ｓ字状のカーブ形状を有している。その結果、小さ目の画素値Ｐ1（ｉ，ｊ）に対応して大きめの階調変換特性情報Ｇ（ｉ，ｊ）が導出され、大きめの画素値Ｐ1（ｉ，ｊ）に対して小さめの階調変換特性情報Ｇ（ｉ，ｊ）が導出される。また、中間域の画素値Ｐ1（ｉ，ｊ）に対しては、画素値Ｐ1（ｉ，ｊ）の僅かな増加に対して階調変換特性情報Ｇ（ｉ，ｊ）が比較的大きく減少する特性となっている。その結果、図５（ｃ）に示される階調変換特性が適用されると、基準画像データ内において画素値の小さ目の画素に対しては比較的多めの露光量で得られた入力画像データ中の画素値が選択される。また、基準画像データ内において画素値の大きめの画素に対しては比較的少なめの露光量で得られた入力画像データ中の画素値が選択される。このようにして得られる画像は、低輝度部ではノイズが少なく、高輝度部では白飛びが抑制される。また、中間域に対してはより多くの階調が割り当てられるので、見た目のコントラストが増して見栄えのする画像を得ることが可能となる。
【００５９】
図５を参照して説明した階調変換特性の導出方法は一例であり、別の方法によって階調変換特性を導出することも可能である。
【００６０】
以上に説明した階調変換特性情報Ｇ（ｉ，ｊ）を導出する処理に際して、以下のような方法で行うことが可能である。一例としては、基準画像データ全体の画素値Ｐ1（ｉ，ｊ）を解析し、図５を参照して説明した方法に基づいて、一つの画像に対して一つの階調変換特性を導出する方法がある。この場合、一つの画像に対して図５（ｃ）に例示される階調変換特性が一つ導出される。別の例としては、以下に説明するように、スペースバリアントに階調変換特性を導出する方法がある。
【００６１】
例えば、基準画像データで形成される画像を縦、横任意の数でグリッド状に分割し、複数のブロックを画定する。画定したブロックごとに図５を参照して説明した処理を行い、各ブロックに対応する階調変換特性を導出する。複数のブロックを画定する際には、以上のように単純に幾何学的に分割するだけでなく、被写体認識等の画像処理技術を用いて、画像内で主要被写体が存在すると目される領域を一つの領域として画定することも可能である。それ以外の領域については、例えば主要被写体が存在する領域からの距離や明るさ等に応じて設定される主要度の高さに応じて分割することが可能である。上記のように各ブロックに対応して導出された階調変換特性を用い、各ブロック内に存在する画素の画素値に対応して階調変換特性情報Ｇ（ｉ，ｊ）を導出することができる。
【００６２】
画像処理部３００がデジタルカメラ１００に実装される場合には、表示部１５０に表示されるライブビュー画像を観ながらユーザがタッチパネル等を操作して主要被写体等を指定するのに応じて階調変換特性導出のための領域が画定されてもよい。また、画像処理部３００がコンピュータ２００により実施される場合、表示部２８０に表示される画像を観ながらユーザがコンピュータマウス等を操作して階調変換特性導出のための領域を設定可能に構成されていてもよい。上述したいずれかの方法によって分割された各領域に対応して導出された階調変換特性を用い、基準画像データの各領域内における画素値Ｐ1（ｉ，ｊ）に対応して、スペースバリアントに階調変換特性情報Ｇ（ｉ，ｊ）を導出することが可能となる。
【００６３】
図６は、画像合成処理部３２０の要部を示すブロック図である。画像合成処理部３２０は、選択部３７０を備える。選択部３７０は、入力された階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1、ＴＨ2、…、ＴＨnとを、各画素位置（ｉ，ｊ）に対応して比較する。この比較結果に基づき、選択部３７０は、合成画像データＳを構成する各画素値Ｓ（ｉ，ｊ）を、入力画像データ１〜ｎ中の対応する画素位置（ｉ，ｊ）の画素値Ｐ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）、…、Ｐn（ｉ，ｊ）の中から選択する。以下では閾値ＴＨ1、ＴＨ2、…、ＴＨnを閾値ＴＨ1〜ＴＨnと表す。
【００６４】
図７は、画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。画像処理部３００がデジタルカメラ１００に内蔵される場合、デジタルカメラ１００で一連のブラケティング露光が行われた後に図７の処理手順が実行される。あるいは、過去にブラケティング露光が行われて画像記録媒体１３０に記録されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。画像処理部３００がコンピュータ２００によって実施される場合、画像処理ソフトウェアがコンピュータ２００上で実行されて、補助記憶装置２３０中に記憶されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。図７に示される処理手順は、ハードウェアによって実行されても、ソフトウェアによって実行されても、それらの組み合わせによって実行されてもよい。
【００６５】
Ｓ７００において画像処理部３００は、複数の入力画像データ１〜ｎを取得する。Ｓ７０２において画像処理部３００は、入力画像データ１〜ｎの中から、いずれかの入力画像データを基準画像データとして設定する。本実施の形態においては、先に説明したように、一連のブラケティング露光中で最も少ない露光量で得られた入力画像データ１が基準画像データとして設定されるものとする。
【００６６】
Ｓ７０４において画像処理部３００は、基準画像データを解析して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を生成する。本実施の形態において、階調変換特性情報Ｇ（ｉ，ｊ）は、先にも説明したように、増幅率として扱われるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）を生成する手順の詳細については図４、図５等を参照して先に説明したとおりである。このとき、階調変換特性情報Ｇ（ｉ，ｊ）は、基準画像データ全体の画素値を解析して求められるものであってもよい。あるいは、基準画像データが複数の領域に分割され、分割された領域ごとに画像データの解析が行われて、スペースバリアントに階調変換特性情報Ｇ（ｉ，ｊ）が求められるものであってもよい。
【００６７】
Ｓ７０６において画像処理部３００は、Ｓ７０４で生成された階調変換特性情報Ｇ（ｉ，ｊ）中、所与の画素位置（ｉ，ｊ）における階調変換特性情報Ｇ（ｉ，ｊ）を、閾値ＴＨ1〜ＴＨnと比較する。そして、この比較結果に基づき、画像処理部３００は所与の画素位置（ｉ，ｊ）に対応する画素値を抽出する対象として、入力画像データ１〜ｎのうち、いずれかの入力画像データを選択する。
【００６８】
Ｓ７０８において画像処理部３００は、Ｓ７０６で選択された入力画像データ中から、所与の画素位置（ｉ，ｊ）に対応する画素値を抽出し、合成画像データＳの画素値Ｓ（ｉ，ｊ）とする。
【００６９】
以上のＳ７０６、Ｓ７０８の処理を全ての画素位置（ｉ，ｊ）に対応して行ったか否かを画像処理部３００はＳ７１０で判定する。この判定が否定される間、Ｓ７０６からＳ７１０までの処理が繰り返し行われる。一方、Ｓ７１０での判定が肯定されると、画像処理部３００は合成画像データＳを出力する処理をＳ７１２で行う。その結果、合成画像データＳに基づく画像は、図３に示される画像記録部３６０に記録される。また、必要に応じて合成画像データＳに基づく画像が表示部３５０に表示される。
【００７０】
以上に説明したように、基準画像データから階調変換特性が導出され、その階調変換特性に基づいて階調変換特性情報Ｇ（ｉ，ｊ）が生成される。この階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとが各画素位置（ｉ，ｊ）に対応して比較された結果、入力画像データ１〜ｎのいずれかが選択され、選択された入力画像データ中の対応画素位置における画素値が合成画像データＳの画素値Ｓ（ｉ，ｊ）とされる。このように、ｎ枚の異なる露光量の画像中から一枚の画像を選択して画素値を抽出することが画素ごとに行われてＨＤＲ画像が生成されるため、撮影シーンに適した階調変換特性のＨＤＲ画像を生成することができる。このとき、所定のビット深度で表現される入力画像データの対応する画素値Ｐn（ｉ，ｊ）が、同じビット深度で表現される合成画像Ｓ中の対応する画素値Ｓ（ｉ，ｊ）とされるため、ビット深度を増すことなく合成画像Ｓを得る処理を行うことができる。したがって、最終的に得られる合成画像データのビット深度の範囲で合成の処理を行うことができるので、ハードウェア規模の増大を抑制することが可能となる。
【００７１】
このとき、階調変換特性を、先に説明したようにスペースバリアントに導出すると、画像内の各領域に適した階調変換特性で画像の合成処理を行うことが可能となる。
【００７２】
− 第２の実施の形態 −
第１の実施の形態において、合成画像データＳ中の所与の画素位置（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとが比較され、複数の入力画像データ１〜ｎの中からいずれか一つが選択される。そして、選択された入力画像データ中の対応する画素位置（ｉ，ｊ）の画素値Ｐn（ｉ，ｊ）が合成画像データＳ中の対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）とされる。これに対し、第２の実施の形態では、合成画像データＳ中の所与の画素位置（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとが比較された結果、複数の入力画像データ１〜ｎの中から二つの入力画像データが選択される。選択された二つの入力画像データ中の対応する画素位置（ｉ，ｊ）の画素値（二つの画素値）が階調変換特性情報Ｇ（ｉ，ｊ）と、この階調変換特性情報Ｇ（ｉ，ｊ）の値を挟む二つの閾値との関係に基づいて導出される混合比率で混合される。混合して得られた画素値が、合成画像データＳ中の対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）とされる。
【００７３】
第２の実施の形態においても、図３から図５を参照して説明した、第１の実施の形態における画像処理部３００の構成および階調変換特性情報Ｇ（ｉ，ｊ）の導出手順と同様の構成および導出手順であるのでその説明を省略する。また、階調変換特性情報Ｇ（ｉ，ｊ）は、第１の実施の形態と同様、増幅率として扱われるものとして説明をする。
【００７４】
図８は、画像合成処理部３２０Ａの要部を示すブロック図である。第１の実施の形態における画像合成処理部３２０との違いは、選択部３７０に代えて選択／混合部３８０を備える点にある。その他の部分については第１の実施の形態で説明したものと同様である。選択／混合部３８０は、入力された階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとを比較する。この比較結果に基づき、選択／混合部３８０は、入力画像データ１〜ｎの中から二つの入力画像データを選択する。選択／混合部３８０はまた、後で図９を参照して説明するように、選択された二つの入力画像データ中の対応する画素位置（ｉ，ｊ）の画素値を混合する処理を行い、合成画像データＳを生成する。
【００７５】
図９は、選択／混合部３８０で選択された二つの入力画像データ中の二つの画素値が混合される様子を概念的に示す図である。図９において、ブラケティング露光に際しての補正ステップと露光回数とに対応して閾値ＴＨ1〜ＴＨnが設定される。このとき、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1を下回る場合があり、また、閾値Ｔｈnを上回る場合もある。階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1を下回る場合には、Ｇ（ｉ，ｊ）＝ＴＨ1にクリッピングされるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨnを上回る場合には、Ｇ（ｉ，ｊ）＝ＴＨnにクリッピングされるものとする。図９中では、階調変換特性情報Ｇ（ｉ，ｊ）の値は図９の下方に向かうにつれて増すものとして描かれている。また、図９中に示される式において、記号＊は乗算を表す（以下同様）。
【００７６】
階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1以上かつ閾値ＴＨ2以下の場合、入力画像データ１および入力画像データ２が選択される。これらの入力画像データ１および２中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｐ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）が以下の式（１）、すなわち、
【００７７】
【数１】
【００７８】
を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。式（１）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1に近いほど入力画像データ１の画素値Ｐ1（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1に等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データ１の画素値Ｐ1（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐ1（ｉ，ｊ）に等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2に近いほど入力画像データ２の画素値Ｐ2（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2に等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データ２の画素値Ｐ2（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐ2（ｉ，ｊ）に等しくなる。この、画素値Ｐ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）の混合比率の変化する様子が図９中に斜めの実線で示されている。そして、斜めの線を挟む左右両側において、両端に矢印の付された破線が示されているが、これが所与の階調変換情報Ｇ（ｉ，ｊ）の値に対応する入力画像データ１、入力画像データ２の画素値Ｐ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）の混合比率を示している。
【００７９】
階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2を越し、かつ閾値ＴＨ3以下の場合、入力画像データ２および入力画像データ３が選択される。これらの入力画像データ２および３中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｐ2（ｉ，ｊ）、Ｐ3（ｉ，ｊ）が以下の式（２）、すなわち、
【００８０】
【数２】
【００８１】
を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。式（２）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2に近いほど入力画像データ２の画素値Ｐ2（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2に限りなく近づくとき、画素値Ｓ（ｉ，ｊ）は入力画像データ２の画素値Ｐ2（ｉ，ｊ）の混合比率が１００％に近づき、画素値Ｐ2（ｉ，ｊ）に限りなく等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ3に近いほど入力画像データ３の画素値Ｐ3（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ3に等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データ３の画素値Ｐ3（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐ3（ｉ，ｊ）に等しくなる。
【００８２】
以下、同様にして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨn-1を越し、かつ閾値ＴＨn以下の場合、入力画像データｎ−１および入力画像データｎが選択される。これらの入力画像データｎ−１およびｎ中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｐn-1（ｉ，ｊ）、Ｐn（ｉ，ｊ）が以下の式（３）、すなわち、
【００８３】
【数３】
【００８４】
を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。式（３）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨn-1に近いほど入力画像２の画素値Ｐn-1（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨn-1に限りなく近づくとき、画素値Ｓ（ｉ，ｊ）は入力画像ｎ−１の画素値Ｐn-1（ｉ，ｊ）の混合比率が１００％に近づき、画素値Ｐn-1（ｉ，ｊ）に限りなく等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨnに近いほど入力画像データｎの画素値Ｐn（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨnに等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データｎの画素値Ｐn（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐn（ｉ，ｊ）に等しくなる。
【００８５】
以上のように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨnに等しいとき、導出される合成画像Ｓの画素値Ｓ（ｉ，ｊ）は入力画像データｎの画素値Ｐn（ｉ，ｊ）と等しくなるように構成される。また、階調変換特性情報Ｇ（ｉ，ｊ）の値が相隣り合う二つの閾値ＴＨn-1、ＴＨnの間の値をとるとき、これら二つの閾値ＴＨn-1、ＴＨnと階調変換特性情報Ｇ（ｉ，ｊ）の値とに基づいて導出される混合比率で入力画像データｎ−１、ｎの画素値Ｐn-1（ｉ，ｊ）およびＰn（ｉ，ｊ）が混合される。
【００８６】
図１０は、画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。第１の実施の形態で説明したのと同様、画像処理部３００がデジタルカメラ１００に内蔵される場合、デジタルカメラ１００で一連のブラケティング露光が行われた後に図１０の処理手順が実行される。あるいは、過去にブラケティング露光が行われて画像記録媒体１３０に記録されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。画像処理部３００がコンピュータ２００によって実施される場合、画像処理ソフトウェアがコンピュータ２００上で実行されて、補助記憶装置２３０中に記憶されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。図１０に示される処理手順は、ハードウェアによって実行されても、ソフトウェアによって実行されてもよい。
【００８７】
Ｓ１０００において画像処理部３００は、入力画像データ１〜ｎを取得する。Ｓ１００２において画像処理部３００は、入力画像データ１〜ｎの中から、いずれかの入力画像データを基準画像データとして設定する。本実施の形態においては、一連のブラケティング露光中で最も少ない露光量で得られた入力画像データ１が基準画像データとして設定されるものとする。
【００８８】
Ｓ１００４において画像処理部３００は、基準画像データを解析して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を生成する。第２の実施の形態においても、階調変換特性情報Ｇ（ｉ，ｊ）は増幅率として扱われるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）を生成する手順の詳細については図４、図５等を参照して先に説明したとおりである。さらに、階調変換特性情報Ｇ（ｉ，ｊ）は、基準画像データ全体の画素値を解析して求められるものであっても、スペースバリアントに求められるものであってもよいのは第１の実施の形態と同様である。
【００８９】
Ｓ１００６において画像処理部３００は、Ｓ１００４で生成された階調変換特性情報Ｇ（ｉ，ｊ）中、所与の画素位置（ｉ，ｊ）における階調変換特性情報Ｇ（ｉ，ｊ）を、閾値ＴＨ1〜ＴＨnと比較する。そして、この比較結果に基づき、画像処理部３００は所与の画素位置（ｉ，ｊ）に対応する画素値を抽出する対象として、図９を参照して説明したように、入力画像データ１〜ｎのうち、二つの入力画像データを選択する。
【００９０】
Ｓ１００８において画像処理部３００は、Ｓ１００６で選択された二つの入力画像データ中から、所与の画素位置（ｉ，ｊ）に対応する画素値を抽出し、混合処理をして合成画像データＳの画素値Ｓ（ｉ，ｊ）とする。上記混合処理をする際の混合比率は、図９を参照して説明したとおりである。すなわち、所与の画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）の値と、この値を挟む二つの閾値の値とに基づいて導出される混合比率で二つの入力画像データの画素値を混合し、合成画像データＳの画素値Ｓ（ｉ，ｊ）とする。
【００９１】
以上のＳ１００６、Ｓ１００８の処理を全ての画素位置（ｉ，ｊ）に対応して行ったか否かを画像処理部３００はＳ１０１０で判定する。この判定が否定される間、Ｓ１００６からＳ１０１０までの処理が繰り返し行われる。一方、Ｓ１０１０での判定が肯定されると、画像処理部３００は合成画像データＳを出力する処理をＳ１０１２で行う。その結果、合成画像データＳに基づく画像は、図３に示される画像記録部３６０に記録される。また、合成画像データＳに基づく画像が必要に応じて表示部３５０に表示される。
【００９２】
以上に説明したように、本発明の第２の実施の形態においても、基準画像データから階調変換特性が導出され、その階調変換特性に基づいて階調変換特性情報Ｇ（ｉ，ｊ）が生成される。この階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとが各画素位置（ｉ，ｊ）に対応して比較される。比較された結果、入力画像データ１〜ｎの中から、ブラケティング露光で得られた一連の入力画像データ１〜ｎ中、二つの入力画像データが選択される。選択される入力画像データは、図９を参照して説明したように、階調変換特性情報Ｇ（ｉ，ｊ）の値を挟む二つの閾値ＴＨn-1、ＴＨnに対応する入力画像データである。これら二つの入力画像データの画素値Ｐn-1（ｉ，ｊ）、Ｐn（ｉ，ｊ）が、先に説明した式（１）、式（２）、式（３）等のいずれかを用い、階調変換特性情報Ｇ（ｉ，ｊ）の値、およびこの値を挟む二つの閾値ＴＨn-1、ＴＨnに基づく混合比率で混合される。このようにして得られた値が合成画像データＳの画素値Ｓ（ｉ，ｊ）とされる。
【００９３】
以上のようにして生成される合成画像データＳでは、上述した混合処理によって画像が生成されることにより、第１の実施の形態によるものと同様の効果が得られることに加えて、いわゆるアーティファクトの発生が抑制される。つまり、合成画像データで形成される画像中において明度の変化がより滑らかなものとなり、人の肌などのようにトーンが微妙に変化する画像中で階調が不自然に変化する、トーンジャンプのような現象の発生を抑制可能となる。
【００９４】
以上、第２の実施の形態においては、階調変換特性情報Ｇ（ｉ，ｊ）に基づいて二つの入力画像データが選択され、これらの入力画像データの画素値が混合される例について説明したが、本発明はこの例に限られるものではない。すなわち、階調変換特性情報Ｇ（ｉ，ｊ）に基づいて、三つ以上の入力画像データが選択され、選択されたこれらの入力画像データの画素値が混合されてもよい。
【００９５】
また、図９を参照しての説明で、階調変換特性情報Ｇ（ｉ，ｊ）の最小値が閾値ＴＨ1を下回る場合があり、また、閾値Ｔｈnを上回る場合もあることについて説明した。そのような場合、階調変換特性情報Ｇ（ｉ，ｊ）はＴＨ1あるいはＴＨnにクリッピングされるものとして説明した。つまり、階調変換特性情報Ｇ（ｉ，ｊ）が、ＴＨ1を下回る場合、Ｓ（ｉ，ｊ）はＰ1（ｉ，ｊ）に、ＴＨnを越す場合、Ｓ（ｉ，ｊ）はＰn（ｉ，ｊ）に、それぞれ固定される。これに対して、階調変換特性情報Ｇ（ｉ，ｊ）がＴＨ1を下回る場合、あるいはＴＨnを越す場合に、以下に説明する方法によって画素値Ｓ（ｉ，ｊ）を導出することも可能である。
【００９６】
階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨ1を下回る場合、例えば以下の式（３）に基づいて画素値Ｓ（ｉ，ｊ）を導出することができる。
画素値Ｓ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＊Ｐ1（ｉ，ｊ） … 式（３）
階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨ1を下回る場合に式（３）を用いて画素値を導出することにより、階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨ1を下回って減少するのにつれて画素値Ｓ（ｉ，ｊ）も減少する。その結果、画像の暗部における階調再現域を拡大することが可能となる。なお、式（３）を用いて画素値Ｓ（ｉ，ｊ）を導出する場合、閾値ＴＨ1＝１とすることが望ましい。理由は、階調変換特性情報Ｇ（ｉ，ｊ）の値が１をはさんで変化する際の画素値Ｓ（ｉ，ｊ）の連続性が得られ、トーンジャンプを生じにくくなるからである。
【００９７】
階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨnを上回る場合、例え場以下の式（４）に基づいて画素値Ｓ（ｉ，ｊ）を導出することができる。
画素値Ｓ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＊Ｐn（ｉ，ｊ）＊ＴＨ1／ＴＨn … 式（４）
階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨnを上回る場合に式（４）を用いて画素値を導出することにより、階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨnを上回って増加するのにつれて画素値Ｓ（ｉ，ｊ）も増加する。その結果、画像の明部における階調再現域を拡大することが可能となる。式（４）を用いて画素値Ｓ（ｉ，ｊ）を導出する場合も、式（３）に関して説明したのと同様の理由により、閾値ＴＨ1＝１とすることが望ましい。
【００９８】
以上に説明した第１の実施の形態および第２の実施の形態においては、入力画像データの画素値Ｐn（ｉ，ｊ）の詳細について、説明を単純化して理解を容易にすることを目的として、詳しく触れなかったが、以下のようにすることが可能である。入力画像データがいわゆるＲＧＢ画像データである場合、Ｒ、Ｇ、Ｂの各画素値に対して以上に説明した処理をすることが可能である。入力画像データがＹＣｂＣｒ、Ｌａｂ等の表色系で表されるものである場合、Ｙ、Ｃｂ、Ｃｒ、あるいはＬ、ａ、ｂの各値に対して以上に説明した処理をしてもよいし、Ｙ値、Ｌ値のみに対して以上に説明した処理をしてもよい。
【００９９】
以上の第１および第２の実施の形態において、閾値ＴＨ1〜ＴＨnは、一連のブラケティング露光が行われる際の補正ステップおよび露光回数に基づいて自動的、あるいはユーザ設定によって設定される例について説明した。また、階調変換特性をスペースバリアントに導出し、導出されたそれぞれの階調変換特性から階調変換特性情報Ｇ（ｉ，ｊ）を導出することも可能であることについて説明した。これに代えて、階調変換特性としては基準画像データ全体から一つの特性を導出して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を導出し、閾値ＴＨ1〜ＴＨnがスペースバリアントに設定されるようにしてもよい。この場合、スペースバリアントな閾値ＴＨ1〜ＴＨnは、一連のブラケティング露光が行われる際の補正ステップおよび露光回数と、基準画像データを解析した結果とに基づいて導出することが可能である。
【０１００】
以上に説明した画像処理装置は、デジタルスチルカメラ、静止画撮影が可能なデジタルムービーカメラ、カメラ付き携帯電話やＰＤＡ、可搬型コンピュータ等に内蔵可能である。また、コンピュータ上で画像処理プログラムが実行されて画像処理装置が実現されてもよい。
【符号の説明】
【０１０１】
１００ … デジタルカメラ
１１０ … 撮影光学系
１１２ … レンズ駆動部
１２０ … 撮像部
１３０ … 画像記録媒体
１５０、２８０、３５０ … 表示部
１６０ … 記憶部
１９０ … ＤＳＰ（ディジタル・シグナル・プロセッサ）
２００ … コンピュータ
２１０ … ＣＰＵ
２２０ … メモリ
２３０ … 補助記憶装置
２５０ … メモリカードインターフェース
２６０ … 光ディスクドライブ
２７０ … ネットワークインターフェース
３００ … 画像処理部
３１０ … 階調変換特性導出部
３２０、３２０Ａ …画像合成処理部
３３０ … 画像取得部
３６０ … 画像記録部
３７０ … 選択部
３８０ … 選択／混合部
【技術分野】
【０００１】
本発明は、同一被写体を撮影し、得られた複数フレーム分の異なる露光量の画像データを合成して階調が改善された画像を得る技術に関する。
【背景技術】
【０００２】
屋外晴天下での逆光撮影条件等においては、撮影シーン内の被写体輝度のレンジ（以下では単に「輝度レンジ」と称する）が広くなる。輝度レンジの広い被写体をデジタルカメラで撮影したときに、撮像系および画像信号処理系で記録可能なダイナミックレンジ内に収まらない場合がある。その場合、画像内の暗部においては、像が黒くつぶれてしまう、いわゆる黒つぶれを生じる。また、画像内の明部においては、像が白く飛んでしまう、いわゆる白飛びを生じる。
【０００３】
このような現象を解決するための技術として、High Dynamic Range Imaging技術（以下、ＨＤＲ技術と称する）がある。ＨＤＲ技術においては、同じ撮影シーンが、シャッタ速度を変えながら複数回にわたって撮影され、互いに異なる露光量で複数の画像データが取得される。そして、画像内の黒つぶれが生じる可能性のある領域に対しては、多めの露光量で得られた画像データの画素値が用いられ、白飛びが生じる可能性のある領域に対しては少なめの露光量で得られた画像データの画素値が用いられて合成処理が行われる。その結果、画像内の暗部から明部に至るまでの階調が再現された画像を得ることができる。
【０００４】
特許文献１には、電荷蓄積時間の異なる２枚以上の画像を得て、各画像の信号レベルに応じて重み付けして加算し、得られた高ダイナミックレンジ信号のレベルを基準レベルに圧縮する技術が開示される。
【０００５】
特許文献１に開示されるものでは、複数の信号を合成する際にビット幅（ビット深度）を拡げる必要がある。これが原因となり、必要とするハードウェアの規模が増大してしまう。この問題を解決するため、特許文献２には、画像信号の高レベル部を非線形に圧縮する処理を行った後に複数の画像を所定の重み付けで合成し、画像信号のビット幅（ビット数）の拡大を抑制する技術が開示される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−１４１２２９号公報
【特許文献２】特開２００４−２６６３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示されるものでは、上述した理由によりハードウェアの規模が増大してしまう。また特許文献２に開示されるものでは、露光量の異なる複数の画像を合成する際、予め決められている関数を用いて求まる加重加算比で合成が行われるため、撮影シーンによっては好ましい階調特性を得ることができない場合がある。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、ハードウェア規模の大幅な増大を招くことなく、ダイナミックレンジが改善されていて、より自然な画像を得ることが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【０００９】
本発明のある態様によれば、画像処理装置が、
同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備える。
【００１０】
本発明のある態様によれば、画像処理方法が、
同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定することと、
前記基準画像データから階調変換特性を導出することと、
前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成することと
を備える。
【００１１】
本発明のある態様によれば、
同一被写体を撮影して得られた異なる露光量の複数の入力画像データを合成して階調の改善された合成画像データを生成する処理をコンピュータに実行させるための画像処理プログラムが、
前記複数の入力画像データの中から基準画像データを設定する基準画像データ設定ステップと、
前記基準画像データから階調変換特性を導出する階調変換特性導出ステップと、
前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成ステップと
を備える。
【００１２】
本発明のある態様によれば、
撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像部を備える撮影装置が、
前記撮像部において、同一被写体を撮影し、異なる露光量の複数の入力画像データを得る撮像制御部と、
前記複数の入力画像データの中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備える。
【発明の効果】
【００１３】
本発明によれば、ハードウェア規模の大幅な増大を招くことなく、同一被写体を撮影して得られた異なる露光量の複数の画像を合成し、ダイナミックレンジが改善されてより自然に見える合成画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】デジタルカメラの概略的構成を説明するブロック図である。
【図２】コンピュータの概略的内部構成を説明するブロック図であり、画像処理プログラムをコンピュータが実行することにより画像処理部が実現される例を説明する図である。
【図３】画像処理部の概略的構成を説明するブロック図である。
【図４】画像処理部で導出される階調変換特性と、この階調変換特性に基づいて基準画像データから階調変換特性情報が導出される様子を概念的に示す図である。
【図５】基準画像データを解析して階調変換特性を導出する手順の一例を概念的に示す図であり、（ａ）は基準画像データの画素値のヒストグラムを、（ｂ）は基準画像データの画素値の累積頻度曲線を、（ｃ）は基準画像データの画素値の累積頻度曲線に基づいて導出される階調変換特性曲線の例を、それぞれ示す図である。
【図６】第１の実施の形態に係る画像処理部内に設けられる画像合成処理部の内部構成を概略的に示すブロック図である。
【図７】第１の実施の形態に係る画像処理部で実行される画像合成処理手順を説明するフローチャートである。
【図８】第２の実施の形態に係る画像処理部内に設けられる画像合成処理部の内部構成を概略的に示すブロック図である。
【図９】第２の実施の形態に係る画像処理部内に設けられる画像合成処理部で行われる画像選択／混合の処理内容を概念的に示す図である。
【図１０】第２の実施の形態に係る画像処理部で実行される画像合成処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、デジタルカメラ１００の概略的構成を説明するブロック図である。デジタルカメラ１００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ１００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。
【００１６】
デジタルカメラ１００は、撮影光学系１１０と、レンズ駆動部１１２と、撮像部１２０と、アナログ・フロントエンド（図１中では「ＡＦＥ」と表記される）１２２と、画像記録媒体１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、ＣＰＵ１７０と、ＤＳＰ（ディジタル・シグナル・プロセッサ）１９０と、システムバス１８０とを備える。記憶部１６０は、ＲＯＭ１６２とＲＡＭ１６４とを備える。ＤＳＰ１９０には、画像処理部３００が実装される。
【００１７】
レンズ駆動部１１２、撮像部１２０、アナログ・フロントエンド１２２、画像記録媒体１３０、操作部１４０、表示部１５０、記憶部１６０、ＣＰＵ１７０、ＤＳＰ１９０は、システムバス１８０を介して電気的に接続される。ＲＡＭ１６４は、ＣＰＵ１７０およびＤＳＰ１９０の双方からアクセス可能に構成される。
【００１８】
撮影光学系１１０は、被写体像を撮像部１２０の受光エリア上に形成する。レンズ駆動部１１２は、撮影光学系１１０の焦点調節動作を行う。また、撮影光学系１１０が可変焦点距離光学系である場合には、撮影光学系１１０がレンズ駆動部１１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【００１９】
撮像部１２０は、シャッタと撮像素子とを含んで構成され、撮影光学系１１０を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子の受光エリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド１２２に入力される。アナログ・フロントエンド１２２は、撮像部１２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ１６４に一時的に記憶される。
【００２０】
ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、必要に応じて画像記録媒体１３０に記録したり、表示部１５０に出力したりする。
【００２１】
画像記録媒体１３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ１００に対して着脱可能に装着される。あるいは、画像記録媒体１３０がデジタルカメラ１００に内蔵されていてもよい。その場合、ＲＯＭ１６２内に画像データ記録のための領域が確保されて、それを画像記録媒体１３０とすることが可能である。
【００２２】
操作部１４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部１５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部１５０は表示インターフェースを備えていて、ＲＡＭ１６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部１５０に表示されるものとする。
【００２３】
ＲＯＭ１６２は、フラッシュメモリ等で構成され、ＣＰＵ１７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ１００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭ１６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ１７０は、ＲＯＭ１６２からＲＡＭ１６４に転送されたファームウェアを解釈・実行してデジタルカメラ１００の動作を統括的に制御する。
【００２４】
ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されるデジタル画像信号に上述した様々な処理を施し、記録用画像データ、表示用画像データ等を生成する。
【００２５】
デジタルカメラ１００は、ＨＤＲ撮影モードで静止画を撮影する動作を行うことが可能に構成される。つまり、同一の被写体を撮影して異なる露光量の複数の画像データが得られて、それら複数の画像データから階調の改善された合成画像データを生成するモードで動作可能に構成される。無論、ＨＤＲ撮影モードで動画撮影が可能に構成されていても良い。その場合、動画像の記録フレームレートよりも高速のフレームレートで露光量を変えながら撮像が行われ、得られる複数の画像データから１フレーム分の画像データが生成され、記録される。ところで、上述した同一被写体を異なる露光量で撮影する際に、同一構図で撮影が行われること、つまり一連の撮影で得られる複数の画像は、露光量が異なっている以外は全て同じものが写っていることが、より良い合成画像データを得る上で望ましい。しかし、手持ち撮影であったために撮影動作中に撮影範囲が若干変化する場合や、被写体が動体であったために画面内における位置や形状が変化する場合がある。その場合、パターンマッチングの技術を用いて画像の切り出し、貼り付け等の処理を行い、画像を合成することが可能である。
【００２６】
上記のように露光量を変えながら撮影動作を行う際、ＣＰＵ１７０は撮像部１２０を制御し、決められた回数の露光を、各露光に対応して決められた露光量で行う。つまり、ＣＰＵ１７０は、同一の被写体を異なる露光量で撮影し、複数の画像データが得られるように撮像部１２０を制御する。
【００２７】
ところで、デジタルカメラ１００が、撮影光学系１１０、レンズ駆動部１１２、および撮像部１２０等からなる撮像系を複数備えるものであってもよい。この場合、複数組の撮像系を用い、ユーザによる一回のレリーズ操作に応じて各撮像系で異なる露光量での画像を略同時に得ることが可能である。この構成を用いて、動画像撮影時に異なる露光量の複数の画像を各フレームに対応して得ることも可能である。
【００２８】
あるいは、撮像部１２０を複数備えていて、撮影光学系１１０の後方にビームスプリッタ（光路分割部材）を配置し、ビームスプリッタで分割された複数の光路上に撮像部１２０が配置される構成をデジタルカメラ１００が備えていてもよい。ビームスプリッタは不等の光量分割比率で光束を分割する。例えば、ビームスプリッタが入射光束を二つの光束に分割して出射するものである場合、一の光路に沿って出射する光束の光量と、他の光路に沿って出射する光束の光量との比率が例えば１：４などといった光量分割比率となるようにビームスプリッタを設計することが可能である。このようにビームスプリッタを用いる構成では、撮影光学系１１０での設定絞り値や、シャッタ速度（露光時間）は、各撮像部１２０に対して同一の露光条件となる。しかし、ビームスプリッタの作用により、各撮像部１２０に入射する被写体光の光量が異なるので、結果として異なる露光量の複数の画像を一回の撮影動作で得ることができる。この構成を備えることにより、１回の露光動作で異なる露光量の複数の画像を得ることができる。また、この構成を用いて、動画像撮影時に異なる露光量の複数の画像を各フレームに対応して得ることも可能である。
【００２９】
異なる露光量の複数の画像を得るためには、以上に説明した三つの方法のうち、いずれかを用いることが可能である。すなわち、第１の方法は、露光条件を変えながら複数回の露光動作を時系列に行う方法である。第２の方法は、複数の撮像系それぞれで異なる露光条件を設定し、略同時に撮影を行う方法である。第３の方法は、一つの撮影光学系の後方に配置した光路分割部材によって異なる光量分割比率で複数の撮像素子に被写体光を導き、異なる露光量の複数の画像を、一回の露光動作で得る方法である。
【００３０】
図２は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部３００としての機能が実装される例を説明するブロック図である。コンピュータ２００は、ＣＰＵ２１０と、メモリ２２０と、補助記憶装置２３０と、インターフェース２４０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とを備える。ＣＰＵ２１０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とは、インターフェース２４０を介して電気的に接続される。
【００３１】
メモリ２２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置２３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を備える。
【００３２】
メモリカードインターフェース２５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース２５０を介してコンピュータ２００内に読み込むことができる。また、コンピュータ２００内の画像データをメモリカードＭＣに書き込むこともできる。
【００３３】
光ディスクドライブ２６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ２６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。
【００３４】
ネットワークインターフェース２７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ２００との間で情報を授受可能に構成される。
【００３５】
表示部２８０は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。
【００３６】
画像処理部３００は、メモリ２２０上にロードされた画像処理プログラムをＣＰＵ２１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ２００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置２３０に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置２３０に記憶されてもよい。
【００３７】
画像処理部３００は、補助記憶装置２３０に記憶された画像データ、あるいはメモリカードＭＣ、光ディスクＯＤ、ネットワークＮＷ等を介して入力した画像データに後述する画像処理を行う。以下、画像処理部３００における処理について二つの実施の形態で説明する。
【００３８】
− 第１の実施の形態 −
図３は、画像処理部３００の構成を概略的に説明するブロック図である。画像処理部３００は、先に説明したように、デジタルカメラ１００内のＤＳＰ１９０に実装されていてもよいし、コンピュータ２００のＣＰＵ２１０が画像処理プログラムを実行することにより実現されてもよい。
【００３９】
画像処理部３００は、階調変換特性導出部３１０と、画像合成処理部３２０と、画像取得部３３０とを備える。画像処理部３００に接続される画像記録部３６０は、先に図１、図２を参照して説明した画像記録媒体１３０、補助記憶装置２３０に対応する。同じく、画像処理部３００に接続される表示部３５０は、表示部１５０、２８０に対応する。
【００４０】
画像取得部３３０は、同一の被写体を撮影して異なる露光量の複数の入力画像データを取得する。異なる露光量の複数の入力画像データを得るためには、上述した三つの方法のうち、いずれかの方法を用いることができる。以下では、第一の方法、すなわち露光条件を変えながら複数回の露光を時系列に行う（以下では、同一の被写体を異なる露光量で複数回、時系列に撮影することを「ブラケティング露光」と称する）ものとして説明する。このブラケティング露光に際しては、露光時間の長短で露光量を調節することがボケや収差の揃った複数の画像を得る上で望ましい。但し、ブラケティング露光に際しての露光の変化ステップ（補正ステップ）が小さめで、絞りを変えることによるボケや収差の変化が殆ど問題とならない状況では絞り値を変えて露光量を変化させてもよい。また、撮影光学系１１０の内部等に、被写体光の光路に対して挿抜可能に構成されるＮＤフィルタが備えられる場合、ＮＤフィルタの挿抜切り換えによって異なる露光量の画像が得られるようにしてもよい。
【００４１】
画像処理部３００がデジタルカメラ１００のＤＳＰ１９０に実装される場合、画像取得部３３０は以下のようにして複数の入力画像データを取得することが可能である。すなわち、デジタルカメラ１００でブラケティング露光が行われている間にアナログ・フロントエンド１２２から逐次出力されるデジタル画像信号をＤＳＰ１９０が処理して得られた複数の入力画像データを画像取得部３３０が取得することが可能である。あるいは、過去にブラケティング露光が行われて画像記録部３６０（画像記録媒体１３０）に記録されていた複数の入力画像データを読み出し、画像取得部３３０で取得することも可能である。いずれの場合であっても、入力画像データはいわゆるロー（ＲＡＷ）画像データから得られるものであっても、現像処理の行われたＲＧＢやＹＣｂＣｒ等の形式の画像データであってもよい。
【００４２】
画像取得部３３０で取得する入力画像データの数は２以上の任意の数ｎとすることが可能である。この数は、固定値であっても、ユーザが設定可能に構成されていても、あるいは撮影準備動作中（ライブビュー表示動作中）に被写界輝度の分布が検出されて、その結果に基づいて自動的に設定されてもよい。例えば、曇天下の順光撮影条件などのように、被写界中の最大輝度と最小輝度との差が比較的小さい場合、ブラケティング露光に際しての露光回数（入力画像データの数）は少なめに設定される場合がある。逆に、晴天下の逆光撮影条件や夜景などのように、被写界中の最大輝度（最明部）と最小輝度（最暗部）との差が比較的大きい場合、ブラケティング露光に際しての露光回数を多めに設定される場合がある。このとき、補正ステップもユーザが任意に設定することが可能に構成されていてもよいし、自動的に設定されるものであってもよい。
【００４３】
例えば、理解を容易にすることを目的として、補正ステップが１Ｅｖで、露光回数が５回であるものとして説明すると、最も少ない露光量を基準として、＋０Ｅｖ（一倍）、＋１Ｅｖ（二倍）、＋２Ｅｖ（四倍）、＋３Ｅｖ（八倍）、＋４Ｅｖ（十六倍）の露光量の画像が得られる。以下では、入力画像データ１を得る際の露光量を基準として、入力画像データ２、入力画像データ３、…、入力画像データｎを得る際の露光量が段階的に増すものとして説明をする。これらの入力画像データからは、その画素位置（ｉ，ｊ）に対応して画素値Ｐ（ｉ，ｊ）が得られる。以下、入力画像データ１、入力画像データ２、…、入力画像データｎの所与の画素位置（ｉ，ｊ）における画素値をＰ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）、…Ｐn（ｉ，ｊ）と表す。また、入力画像データ１、入力画像データ２、…、入力画像データｎを総称して入力画像データ１〜ｎと表す。なお、上述した補正ステップや露光回数については被写体や作画意図等に応じて任意に定めることが可能であり、補正ステップについては露光量が等間隔で変化するように設定されていても、不等間隔で変化するように設定されていてもよい。
【００４４】
階調変換特性導出部３１０は、画像取得部３３０で取得された複数の入力画像データ１〜ｎ中、一つの入力画像データを基準画像データとして選択し、この基準画像データを解析して階調変換特性を導出する。基準画像データの選択方法としては、様々な方法を適用可能である。例えば、一連のブラケティング露光で得られた複数の入力画像データ中、最も少ない露光量で得られた入力画像データを基準画像データとすることができる。また、中間の露光量で得られた入力画像データ、あるいは最も多い露光量で得られた入力画像データを基準画像データとすることも可能である。あるいは、複数の入力画像データをヒストグラム解析して、画素値の分布の中心が明るい側、または暗い側に極端に偏っていないものを基準画像データとすることも可能である。本実施の形態においては、露光量の最も少ない状態で得られた画像データ（入力画像データ１）を基準画像データとする。階調変換特性導出部３１０はさらに、導出された階調変換特性に基づき、基準画像データを構成する画素それぞれの値に対応して階調変換特性情報を導出する。階調変換特性および階調変換特性情報の詳細については後で説明する。
【００４５】
画像合成処理部３２０は、複数の入力画像データ１〜ｎをもとに合成画像データを生成する。合成画像データの生成方法は以下のとおりである。すなわち、画像合成処理部３２０は、合成画像データを構成する画素のひとつ一つの画素値を決定する際に、複数の入力画像データ１〜ｎ中のいずれかの画像データの画素値を選択する。例えば、合成画像データ中の左上隅の画素位置の座標値を（１，１）として説明すると、画素位置（１，１）の画素値としては、複数の入力画像データ１〜ｎそれぞれの左上隅の、画素位置（１，１）の画素値が候補となる。画像合成処理部３２０は、これらｎ個の候補の中からいずれかの画素値を合成画像データ中の当該位置の画素値として決定する。この処理を全ての画素位置（ｉ，ｊ）に対応して行うことにより、合成画像データが生成される。
【００４６】
画像合成処理部３２０は、階調変換特性導出部３１０で画素ごとに導出された階調変換特性情報と閾値とを比較し、その比較結果に基づいて上述したｎ個の候補の中からいずれかを選択する。画像合成処理部３２０に入力される閾値は、ブラケティング露光に際しての露光回数および補正ステップに応じて自動的に設定されるものとすることが可能である。この閾値は、ユーザによって適宜設定可能に構成されていてもよい。以下、階調変換特性、階調変換特性情報および閾値について説明する。
【００４７】
合成画像データを生成する際、輝度が低めで黒つぶれしがちな部分（シャドウ部）については比較的多めの露光量で得られた入力画像データの画素値が選択される。比較的多めの露光量で得られた入力画像データは、暗部における階調情報が比較的豊富で、ノイズの影響が減じられているという特徴がある。
【００４８】
逆に、輝度が高めで白飛びしがちな部分（ハイライト部）については、比較的少なめの露光量で得られた入力画像データの画素値が選択される。比較的少なめの露光量で得られた入力画像データは、明部における階調情報が比較的豊富であるという特徴がある。
【００４９】
上記のようにして合成画像データ中の各画素値が選択されることにより、合成画像データで形成される画像中のシャドウ部およびハイライト部の双方において階調を再現することが可能となる。また、シャドウ部におけるノイズの影響も減じることができる。このようにして合成画像データを生成する際に、より自然に階調が再現されるように閾値および階調変換特性情報が設定される。
【００５０】
図４は、階調変換特性導出部３１０で導出される階調変換特性の例を説明する図である。先にも説明したように、本実施の形態において基準画像データは入力画像データ１であるものとして説明する。階調変換特性導出部３１０は、基準画像データを解析して階調変換特性を導出する。ここで、基準画像データ（入力画像データ１）中の画素位置（ｉ，ｊ）における画素値Ｐ1（ｉ，ｊ）に対応して導出される階調変換特性情報をＧ（ｉ，ｊ）と表す。つまり、階調変換特性は、画素値Ｐ1（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を導出するための特性である。図４の中央に示されるグラフは、階調変換特性の一例を概念的に示したものであり、横軸に基準画像データの画素値Ｐ1（ｉ，ｊ）が、縦軸に階調変換特性情報Ｇ（ｉ，ｊ）の値がとられている。
【００５１】
階調変換特性は、基準画像データの画素値Ｐ1（ｉ，ｊ）が増加するほど階調変換特性情報Ｇ（ｉ，ｊ）は傾向として減少するように特性を定めることが可能である。つまり、小さめ（暗め）の画素値Ｐ1（ｉ，ｊ）に対応して大きめの階調変換特性情報Ｇ（ｉ，ｊ）が導出され、大きめ（明るめ）の画素値Ｐ1（ｉ，ｊ）に対応して小さめの階調変換特性情報Ｇ（ｉ，ｊ）が導出される。導出される階調変換特性の一例としては、図４の中央のグラフに示されるように、いわゆる逆Ｓ字の特性がある。あるいは、Ｐ1（ｉ，ｊ）の増加に伴ってＧ（ｉ，ｊ）が直線的に減少する特性であっても、凸カーブや凹カーブを描いて減少する特性でもよい。無論、この階調変換特性は、画像の表現意図や撮影シーンの状況に従って様々なものとすることが可能である。
【００５２】
本実施の形態において、階調変換特性情報Ｇ（ｉ，ｊ）は増幅率として扱われる。たとえば入力画像データ１〜ｎが先に説明したように補正ステップが１Ｅｖで５回のブラケティング露光が行われた場合、最小の露光量を基準として、１倍（＋０Ｅｖ）から１６倍（＋４Ｅｖ）までの露光が行われる。階調変換特性情報Ｇ（ｉ，ｊ）は、この１倍から１６倍の露光量に対応して定められる。増幅率としては、真数（上記の例では１から１６の実数）で扱うことも可能であるが、以下では写真の技術分野における慣例に従って２を底とする対数表現で扱うものとして説明する。つまり、上記の例においては、増幅率Ｇ（ｉ，ｊ）は０以上４以下の実数となる。なお、画像処理装置内部のＣＰＵによる演算に際して、数値の表現形式は整数とすることも可能であるが、ここでは理解の容易を目的とし、増幅率Ｇ（ｉ，ｊ）は０以上の実数であるものとして説明をする。
【００５３】
ブラケティング露光によって＋０Ｅｖから＋４Ｅｖまでの段階露光が行われた場合、上述のように増幅率Ｇ（ｉ，ｊ）は０から４までの値をとる実数とすることが可能である。このとき、閾値は、導出される階調変換特性情報Ｇ（ｉ，ｊ）との比較結果に基づいて適切な入力画像データの画素値Ｐn（ｉ，ｊ）が選択されるように、ブラケティング露光に際しての露光回数と補正ステップとに基づいてその個数および値が設定される。その結果、ある画素に対して大きめの増幅率、つまり大きめの階調変換特性情報Ｇ（ｉ，ｊ）が設定された場合には、多めの露光量で得られた入力画像データの画素値Ｐn（ｉ，ｊ）が選択される。また、小さめの階調変換特性情報Ｇ（ｉ，ｊ）が設定された場合には、少なめの露光量で得られた入力画像データの画素値Ｐn（ｉ，ｊ）が選択される。
【００５４】
以上に説明した階調変換特性、つまりＰ1（ｉ，ｊ）の増加に伴ってＧ（ｉ，ｊ）が減少する特性が設定されることと、階調変換特性情報Ｇ（ｉ，ｊ）が増幅率として扱われることとにより、以下のように合成画像データ中の画素値を選択することが可能となる。すなわち、基準画像データによる画像中、暗めの画素に対応して高めの増幅率が設定され、結果として多めの露光量で得られた入力画像データの画素値が選択される。その結果、シャドウ部での階調を増すことができ、ノイズの影響も低減することが可能となる。逆に、基準画像データによる画像中、明るめの画素に対応して低めの増幅率が設定され、結果として少なめの露光量で得られた入力画像データの画素値が選択される。その結果、ハイライト部での階調を増すことができる。このようにして、被写体のより広い輝度範囲に対応して階調を再現することが可能となる。また、シャドウ部におけるノイズも低減することが可能となる。このとき、階調変換特性情報Ｇ（ｉ，ｊ）を増幅率として扱うことにより、ブラケティング露光における補正ステップとの対応付けが容易となり、画像データの階調変換の処理を単純化することが可能となる。
【００５５】
本発明の実施の形態においては、画像合成処理の過程において、各画素位置（ｉ，ｊ）に対応する画素値として、一連のブラケティング露光で得られた複数の入力画像データ１〜ｎの画素値Ｐ1（ｉ，ｊ）〜Ｐn（ｉ，ｊ）の中からいずれかを選択することが各画素位置（ｉ，ｊ）において行われる。このように各画素値が選択された結果、階調変換が行われたかのような合成画像を得ることができるので、本明細書中では「階調変換特性」という文言を用いている。
【００５６】
ここで、階調変換特性導出部３１０において階調変換特性を導出する際の導出方法の一例を説明する。図５（ａ）は、基準画像データのヒストグラム例を示す。図５（ａ）の例は、少なめの露光量で得られた画像データを基準画像データとすることを想定しており、その結果ヒストグラムが全体として画素値の小さい側に偏っている。
【００５７】
図５（ｂ）は、図５（ａ）に例示されるヒストグラムを呈する画像の画像データを解析して求められた累積頻度を示している。図５（ｂ）中に示される累積頻度の曲線は、画素値の低い領域で急激に立ち上がり、その後中間から高めの画素値の領域で累積頻度の増加が頭打ちとなる凸カーブを描いている。図５（ｃ）は、図５（ｂ）に示される累積頻度曲線に基づいて導出される階調変換特性の例を示す図である。図５（ｃ）に示されるカーブは、図５（ｂ）に示される累積頻度の曲線の傾きに基づいて導出されたものとなっている。つまり、図５（ｂ）に示される累積頻度特性を画素値で微分して得たものとなっている。
【００５８】
図５（ｃ）に示される階調変換特性に基づき、基準画像データの各画素値Ｐ1（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）が導出される。図５（ｃ）に示される例では、以下のような特性となっている。すなわち、図５（ｃ）に示される例において、階調変換特性は逆Ｓ字状のカーブ形状を有している。その結果、小さ目の画素値Ｐ1（ｉ，ｊ）に対応して大きめの階調変換特性情報Ｇ（ｉ，ｊ）が導出され、大きめの画素値Ｐ1（ｉ，ｊ）に対して小さめの階調変換特性情報Ｇ（ｉ，ｊ）が導出される。また、中間域の画素値Ｐ1（ｉ，ｊ）に対しては、画素値Ｐ1（ｉ，ｊ）の僅かな増加に対して階調変換特性情報Ｇ（ｉ，ｊ）が比較的大きく減少する特性となっている。その結果、図５（ｃ）に示される階調変換特性が適用されると、基準画像データ内において画素値の小さ目の画素に対しては比較的多めの露光量で得られた入力画像データ中の画素値が選択される。また、基準画像データ内において画素値の大きめの画素に対しては比較的少なめの露光量で得られた入力画像データ中の画素値が選択される。このようにして得られる画像は、低輝度部ではノイズが少なく、高輝度部では白飛びが抑制される。また、中間域に対してはより多くの階調が割り当てられるので、見た目のコントラストが増して見栄えのする画像を得ることが可能となる。
【００５９】
図５を参照して説明した階調変換特性の導出方法は一例であり、別の方法によって階調変換特性を導出することも可能である。
【００６０】
以上に説明した階調変換特性情報Ｇ（ｉ，ｊ）を導出する処理に際して、以下のような方法で行うことが可能である。一例としては、基準画像データ全体の画素値Ｐ1（ｉ，ｊ）を解析し、図５を参照して説明した方法に基づいて、一つの画像に対して一つの階調変換特性を導出する方法がある。この場合、一つの画像に対して図５（ｃ）に例示される階調変換特性が一つ導出される。別の例としては、以下に説明するように、スペースバリアントに階調変換特性を導出する方法がある。
【００６１】
例えば、基準画像データで形成される画像を縦、横任意の数でグリッド状に分割し、複数のブロックを画定する。画定したブロックごとに図５を参照して説明した処理を行い、各ブロックに対応する階調変換特性を導出する。複数のブロックを画定する際には、以上のように単純に幾何学的に分割するだけでなく、被写体認識等の画像処理技術を用いて、画像内で主要被写体が存在すると目される領域を一つの領域として画定することも可能である。それ以外の領域については、例えば主要被写体が存在する領域からの距離や明るさ等に応じて設定される主要度の高さに応じて分割することが可能である。上記のように各ブロックに対応して導出された階調変換特性を用い、各ブロック内に存在する画素の画素値に対応して階調変換特性情報Ｇ（ｉ，ｊ）を導出することができる。
【００６２】
画像処理部３００がデジタルカメラ１００に実装される場合には、表示部１５０に表示されるライブビュー画像を観ながらユーザがタッチパネル等を操作して主要被写体等を指定するのに応じて階調変換特性導出のための領域が画定されてもよい。また、画像処理部３００がコンピュータ２００により実施される場合、表示部２８０に表示される画像を観ながらユーザがコンピュータマウス等を操作して階調変換特性導出のための領域を設定可能に構成されていてもよい。上述したいずれかの方法によって分割された各領域に対応して導出された階調変換特性を用い、基準画像データの各領域内における画素値Ｐ1（ｉ，ｊ）に対応して、スペースバリアントに階調変換特性情報Ｇ（ｉ，ｊ）を導出することが可能となる。
【００６３】
図６は、画像合成処理部３２０の要部を示すブロック図である。画像合成処理部３２０は、選択部３７０を備える。選択部３７０は、入力された階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1、ＴＨ2、…、ＴＨnとを、各画素位置（ｉ，ｊ）に対応して比較する。この比較結果に基づき、選択部３７０は、合成画像データＳを構成する各画素値Ｓ（ｉ，ｊ）を、入力画像データ１〜ｎ中の対応する画素位置（ｉ，ｊ）の画素値Ｐ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）、…、Ｐn（ｉ，ｊ）の中から選択する。以下では閾値ＴＨ1、ＴＨ2、…、ＴＨnを閾値ＴＨ1〜ＴＨnと表す。
【００６４】
図７は、画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。画像処理部３００がデジタルカメラ１００に内蔵される場合、デジタルカメラ１００で一連のブラケティング露光が行われた後に図７の処理手順が実行される。あるいは、過去にブラケティング露光が行われて画像記録媒体１３０に記録されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。画像処理部３００がコンピュータ２００によって実施される場合、画像処理ソフトウェアがコンピュータ２００上で実行されて、補助記憶装置２３０中に記憶されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。図７に示される処理手順は、ハードウェアによって実行されても、ソフトウェアによって実行されても、それらの組み合わせによって実行されてもよい。
【００６５】
Ｓ７００において画像処理部３００は、複数の入力画像データ１〜ｎを取得する。Ｓ７０２において画像処理部３００は、入力画像データ１〜ｎの中から、いずれかの入力画像データを基準画像データとして設定する。本実施の形態においては、先に説明したように、一連のブラケティング露光中で最も少ない露光量で得られた入力画像データ１が基準画像データとして設定されるものとする。
【００６６】
Ｓ７０４において画像処理部３００は、基準画像データを解析して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を生成する。本実施の形態において、階調変換特性情報Ｇ（ｉ，ｊ）は、先にも説明したように、増幅率として扱われるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）を生成する手順の詳細については図４、図５等を参照して先に説明したとおりである。このとき、階調変換特性情報Ｇ（ｉ，ｊ）は、基準画像データ全体の画素値を解析して求められるものであってもよい。あるいは、基準画像データが複数の領域に分割され、分割された領域ごとに画像データの解析が行われて、スペースバリアントに階調変換特性情報Ｇ（ｉ，ｊ）が求められるものであってもよい。
【００６７】
Ｓ７０６において画像処理部３００は、Ｓ７０４で生成された階調変換特性情報Ｇ（ｉ，ｊ）中、所与の画素位置（ｉ，ｊ）における階調変換特性情報Ｇ（ｉ，ｊ）を、閾値ＴＨ1〜ＴＨnと比較する。そして、この比較結果に基づき、画像処理部３００は所与の画素位置（ｉ，ｊ）に対応する画素値を抽出する対象として、入力画像データ１〜ｎのうち、いずれかの入力画像データを選択する。
【００６８】
Ｓ７０８において画像処理部３００は、Ｓ７０６で選択された入力画像データ中から、所与の画素位置（ｉ，ｊ）に対応する画素値を抽出し、合成画像データＳの画素値Ｓ（ｉ，ｊ）とする。
【００６９】
以上のＳ７０６、Ｓ７０８の処理を全ての画素位置（ｉ，ｊ）に対応して行ったか否かを画像処理部３００はＳ７１０で判定する。この判定が否定される間、Ｓ７０６からＳ７１０までの処理が繰り返し行われる。一方、Ｓ７１０での判定が肯定されると、画像処理部３００は合成画像データＳを出力する処理をＳ７１２で行う。その結果、合成画像データＳに基づく画像は、図３に示される画像記録部３６０に記録される。また、必要に応じて合成画像データＳに基づく画像が表示部３５０に表示される。
【００７０】
以上に説明したように、基準画像データから階調変換特性が導出され、その階調変換特性に基づいて階調変換特性情報Ｇ（ｉ，ｊ）が生成される。この階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとが各画素位置（ｉ，ｊ）に対応して比較された結果、入力画像データ１〜ｎのいずれかが選択され、選択された入力画像データ中の対応画素位置における画素値が合成画像データＳの画素値Ｓ（ｉ，ｊ）とされる。このように、ｎ枚の異なる露光量の画像中から一枚の画像を選択して画素値を抽出することが画素ごとに行われてＨＤＲ画像が生成されるため、撮影シーンに適した階調変換特性のＨＤＲ画像を生成することができる。このとき、所定のビット深度で表現される入力画像データの対応する画素値Ｐn（ｉ，ｊ）が、同じビット深度で表現される合成画像Ｓ中の対応する画素値Ｓ（ｉ，ｊ）とされるため、ビット深度を増すことなく合成画像Ｓを得る処理を行うことができる。したがって、最終的に得られる合成画像データのビット深度の範囲で合成の処理を行うことができるので、ハードウェア規模の増大を抑制することが可能となる。
【００７１】
このとき、階調変換特性を、先に説明したようにスペースバリアントに導出すると、画像内の各領域に適した階調変換特性で画像の合成処理を行うことが可能となる。
【００７２】
− 第２の実施の形態 −
第１の実施の形態において、合成画像データＳ中の所与の画素位置（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとが比較され、複数の入力画像データ１〜ｎの中からいずれか一つが選択される。そして、選択された入力画像データ中の対応する画素位置（ｉ，ｊ）の画素値Ｐn（ｉ，ｊ）が合成画像データＳ中の対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）とされる。これに対し、第２の実施の形態では、合成画像データＳ中の所与の画素位置（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとが比較された結果、複数の入力画像データ１〜ｎの中から二つの入力画像データが選択される。選択された二つの入力画像データ中の対応する画素位置（ｉ，ｊ）の画素値（二つの画素値）が階調変換特性情報Ｇ（ｉ，ｊ）と、この階調変換特性情報Ｇ（ｉ，ｊ）の値を挟む二つの閾値との関係に基づいて導出される混合比率で混合される。混合して得られた画素値が、合成画像データＳ中の対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）とされる。
【００７３】
第２の実施の形態においても、図３から図５を参照して説明した、第１の実施の形態における画像処理部３００の構成および階調変換特性情報Ｇ（ｉ，ｊ）の導出手順と同様の構成および導出手順であるのでその説明を省略する。また、階調変換特性情報Ｇ（ｉ，ｊ）は、第１の実施の形態と同様、増幅率として扱われるものとして説明をする。
【００７４】
図８は、画像合成処理部３２０Ａの要部を示すブロック図である。第１の実施の形態における画像合成処理部３２０との違いは、選択部３７０に代えて選択／混合部３８０を備える点にある。その他の部分については第１の実施の形態で説明したものと同様である。選択／混合部３８０は、入力された階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとを比較する。この比較結果に基づき、選択／混合部３８０は、入力画像データ１〜ｎの中から二つの入力画像データを選択する。選択／混合部３８０はまた、後で図９を参照して説明するように、選択された二つの入力画像データ中の対応する画素位置（ｉ，ｊ）の画素値を混合する処理を行い、合成画像データＳを生成する。
【００７５】
図９は、選択／混合部３８０で選択された二つの入力画像データ中の二つの画素値が混合される様子を概念的に示す図である。図９において、ブラケティング露光に際しての補正ステップと露光回数とに対応して閾値ＴＨ1〜ＴＨnが設定される。このとき、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1を下回る場合があり、また、閾値Ｔｈnを上回る場合もある。階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1を下回る場合には、Ｇ（ｉ，ｊ）＝ＴＨ1にクリッピングされるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨnを上回る場合には、Ｇ（ｉ，ｊ）＝ＴＨnにクリッピングされるものとする。図９中では、階調変換特性情報Ｇ（ｉ，ｊ）の値は図９の下方に向かうにつれて増すものとして描かれている。また、図９中に示される式において、記号＊は乗算を表す（以下同様）。
【００７６】
階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1以上かつ閾値ＴＨ2以下の場合、入力画像データ１および入力画像データ２が選択される。これらの入力画像データ１および２中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｐ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）が以下の式（１）、すなわち、
【００７７】
【数１】
【００７８】
を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。式（１）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1に近いほど入力画像データ１の画素値Ｐ1（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ1に等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データ１の画素値Ｐ1（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐ1（ｉ，ｊ）に等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2に近いほど入力画像データ２の画素値Ｐ2（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2に等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データ２の画素値Ｐ2（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐ2（ｉ，ｊ）に等しくなる。この、画素値Ｐ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）の混合比率の変化する様子が図９中に斜めの実線で示されている。そして、斜めの線を挟む左右両側において、両端に矢印の付された破線が示されているが、これが所与の階調変換情報Ｇ（ｉ，ｊ）の値に対応する入力画像データ１、入力画像データ２の画素値Ｐ1（ｉ，ｊ）、Ｐ2（ｉ，ｊ）の混合比率を示している。
【００７９】
階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2を越し、かつ閾値ＴＨ3以下の場合、入力画像データ２および入力画像データ３が選択される。これらの入力画像データ２および３中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｐ2（ｉ，ｊ）、Ｐ3（ｉ，ｊ）が以下の式（２）、すなわち、
【００８０】
【数２】
【００８１】
を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。式（２）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2に近いほど入力画像データ２の画素値Ｐ2（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ2に限りなく近づくとき、画素値Ｓ（ｉ，ｊ）は入力画像データ２の画素値Ｐ2（ｉ，ｊ）の混合比率が１００％に近づき、画素値Ｐ2（ｉ，ｊ）に限りなく等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ3に近いほど入力画像データ３の画素値Ｐ3（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ3に等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データ３の画素値Ｐ3（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐ3（ｉ，ｊ）に等しくなる。
【００８２】
以下、同様にして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨn-1を越し、かつ閾値ＴＨn以下の場合、入力画像データｎ−１および入力画像データｎが選択される。これらの入力画像データｎ−１およびｎ中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｐn-1（ｉ，ｊ）、Ｐn（ｉ，ｊ）が以下の式（３）、すなわち、
【００８３】
【数３】
【００８４】
を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。式（３）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨn-1に近いほど入力画像２の画素値Ｐn-1（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨn-1に限りなく近づくとき、画素値Ｓ（ｉ，ｊ）は入力画像ｎ−１の画素値Ｐn-1（ｉ，ｊ）の混合比率が１００％に近づき、画素値Ｐn-1（ｉ，ｊ）に限りなく等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨnに近いほど入力画像データｎの画素値Ｐn（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨnに等しいとき、画素値Ｓ（ｉ，ｊ）は入力画像データｎの画素値Ｐn（ｉ，ｊ）の混合比率が１００％となり、画素値Ｐn（ｉ，ｊ）に等しくなる。
【００８５】
以上のように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨnに等しいとき、導出される合成画像Ｓの画素値Ｓ（ｉ，ｊ）は入力画像データｎの画素値Ｐn（ｉ，ｊ）と等しくなるように構成される。また、階調変換特性情報Ｇ（ｉ，ｊ）の値が相隣り合う二つの閾値ＴＨn-1、ＴＨnの間の値をとるとき、これら二つの閾値ＴＨn-1、ＴＨnと階調変換特性情報Ｇ（ｉ，ｊ）の値とに基づいて導出される混合比率で入力画像データｎ−１、ｎの画素値Ｐn-1（ｉ，ｊ）およびＰn（ｉ，ｊ）が混合される。
【００８６】
図１０は、画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。第１の実施の形態で説明したのと同様、画像処理部３００がデジタルカメラ１００に内蔵される場合、デジタルカメラ１００で一連のブラケティング露光が行われた後に図１０の処理手順が実行される。あるいは、過去にブラケティング露光が行われて画像記録媒体１３０に記録されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。画像処理部３００がコンピュータ２００によって実施される場合、画像処理ソフトウェアがコンピュータ２００上で実行されて、補助記憶装置２３０中に記憶されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。図１０に示される処理手順は、ハードウェアによって実行されても、ソフトウェアによって実行されてもよい。
【００８７】
Ｓ１０００において画像処理部３００は、入力画像データ１〜ｎを取得する。Ｓ１００２において画像処理部３００は、入力画像データ１〜ｎの中から、いずれかの入力画像データを基準画像データとして設定する。本実施の形態においては、一連のブラケティング露光中で最も少ない露光量で得られた入力画像データ１が基準画像データとして設定されるものとする。
【００８８】
Ｓ１００４において画像処理部３００は、基準画像データを解析して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を生成する。第２の実施の形態においても、階調変換特性情報Ｇ（ｉ，ｊ）は増幅率として扱われるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）を生成する手順の詳細については図４、図５等を参照して先に説明したとおりである。さらに、階調変換特性情報Ｇ（ｉ，ｊ）は、基準画像データ全体の画素値を解析して求められるものであっても、スペースバリアントに求められるものであってもよいのは第１の実施の形態と同様である。
【００８９】
Ｓ１００６において画像処理部３００は、Ｓ１００４で生成された階調変換特性情報Ｇ（ｉ，ｊ）中、所与の画素位置（ｉ，ｊ）における階調変換特性情報Ｇ（ｉ，ｊ）を、閾値ＴＨ1〜ＴＨnと比較する。そして、この比較結果に基づき、画像処理部３００は所与の画素位置（ｉ，ｊ）に対応する画素値を抽出する対象として、図９を参照して説明したように、入力画像データ１〜ｎのうち、二つの入力画像データを選択する。
【００９０】
Ｓ１００８において画像処理部３００は、Ｓ１００６で選択された二つの入力画像データ中から、所与の画素位置（ｉ，ｊ）に対応する画素値を抽出し、混合処理をして合成画像データＳの画素値Ｓ（ｉ，ｊ）とする。上記混合処理をする際の混合比率は、図９を参照して説明したとおりである。すなわち、所与の画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）の値と、この値を挟む二つの閾値の値とに基づいて導出される混合比率で二つの入力画像データの画素値を混合し、合成画像データＳの画素値Ｓ（ｉ，ｊ）とする。
【００９１】
以上のＳ１００６、Ｓ１００８の処理を全ての画素位置（ｉ，ｊ）に対応して行ったか否かを画像処理部３００はＳ１０１０で判定する。この判定が否定される間、Ｓ１００６からＳ１０１０までの処理が繰り返し行われる。一方、Ｓ１０１０での判定が肯定されると、画像処理部３００は合成画像データＳを出力する処理をＳ１０１２で行う。その結果、合成画像データＳに基づく画像は、図３に示される画像記録部３６０に記録される。また、合成画像データＳに基づく画像が必要に応じて表示部３５０に表示される。
【００９２】
以上に説明したように、本発明の第２の実施の形態においても、基準画像データから階調変換特性が導出され、その階調変換特性に基づいて階調変換特性情報Ｇ（ｉ，ｊ）が生成される。この階調変換特性情報Ｇ（ｉ，ｊ）と閾値ＴＨ1〜ＴＨnとが各画素位置（ｉ，ｊ）に対応して比較される。比較された結果、入力画像データ１〜ｎの中から、ブラケティング露光で得られた一連の入力画像データ１〜ｎ中、二つの入力画像データが選択される。選択される入力画像データは、図９を参照して説明したように、階調変換特性情報Ｇ（ｉ，ｊ）の値を挟む二つの閾値ＴＨn-1、ＴＨnに対応する入力画像データである。これら二つの入力画像データの画素値Ｐn-1（ｉ，ｊ）、Ｐn（ｉ，ｊ）が、先に説明した式（１）、式（２）、式（３）等のいずれかを用い、階調変換特性情報Ｇ（ｉ，ｊ）の値、およびこの値を挟む二つの閾値ＴＨn-1、ＴＨnに基づく混合比率で混合される。このようにして得られた値が合成画像データＳの画素値Ｓ（ｉ，ｊ）とされる。
【００９３】
以上のようにして生成される合成画像データＳでは、上述した混合処理によって画像が生成されることにより、第１の実施の形態によるものと同様の効果が得られることに加えて、いわゆるアーティファクトの発生が抑制される。つまり、合成画像データで形成される画像中において明度の変化がより滑らかなものとなり、人の肌などのようにトーンが微妙に変化する画像中で階調が不自然に変化する、トーンジャンプのような現象の発生を抑制可能となる。
【００９４】
以上、第２の実施の形態においては、階調変換特性情報Ｇ（ｉ，ｊ）に基づいて二つの入力画像データが選択され、これらの入力画像データの画素値が混合される例について説明したが、本発明はこの例に限られるものではない。すなわち、階調変換特性情報Ｇ（ｉ，ｊ）に基づいて、三つ以上の入力画像データが選択され、選択されたこれらの入力画像データの画素値が混合されてもよい。
【００９５】
また、図９を参照しての説明で、階調変換特性情報Ｇ（ｉ，ｊ）の最小値が閾値ＴＨ1を下回る場合があり、また、閾値Ｔｈnを上回る場合もあることについて説明した。そのような場合、階調変換特性情報Ｇ（ｉ，ｊ）はＴＨ1あるいはＴＨnにクリッピングされるものとして説明した。つまり、階調変換特性情報Ｇ（ｉ，ｊ）が、ＴＨ1を下回る場合、Ｓ（ｉ，ｊ）はＰ1（ｉ，ｊ）に、ＴＨnを越す場合、Ｓ（ｉ，ｊ）はＰn（ｉ，ｊ）に、それぞれ固定される。これに対して、階調変換特性情報Ｇ（ｉ，ｊ）がＴＨ1を下回る場合、あるいはＴＨnを越す場合に、以下に説明する方法によって画素値Ｓ（ｉ，ｊ）を導出することも可能である。
【００９６】
階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨ1を下回る場合、例えば以下の式（３）に基づいて画素値Ｓ（ｉ，ｊ）を導出することができる。
画素値Ｓ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＊Ｐ1（ｉ，ｊ） … 式（３）
階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨ1を下回る場合に式（３）を用いて画素値を導出することにより、階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨ1を下回って減少するのにつれて画素値Ｓ（ｉ，ｊ）も減少する。その結果、画像の暗部における階調再現域を拡大することが可能となる。なお、式（３）を用いて画素値Ｓ（ｉ，ｊ）を導出する場合、閾値ＴＨ1＝１とすることが望ましい。理由は、階調変換特性情報Ｇ（ｉ，ｊ）の値が１をはさんで変化する際の画素値Ｓ（ｉ，ｊ）の連続性が得られ、トーンジャンプを生じにくくなるからである。
【００９７】
階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨnを上回る場合、例え場以下の式（４）に基づいて画素値Ｓ（ｉ，ｊ）を導出することができる。
画素値Ｓ（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＊Ｐn（ｉ，ｊ）＊ＴＨ1／ＴＨn … 式（４）
階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨnを上回る場合に式（４）を用いて画素値を導出することにより、階調変換特性情報Ｇ（ｉ，ｊ）が閾値ＴＨnを上回って増加するのにつれて画素値Ｓ（ｉ，ｊ）も増加する。その結果、画像の明部における階調再現域を拡大することが可能となる。式（４）を用いて画素値Ｓ（ｉ，ｊ）を導出する場合も、式（３）に関して説明したのと同様の理由により、閾値ＴＨ1＝１とすることが望ましい。
【００９８】
以上に説明した第１の実施の形態および第２の実施の形態においては、入力画像データの画素値Ｐn（ｉ，ｊ）の詳細について、説明を単純化して理解を容易にすることを目的として、詳しく触れなかったが、以下のようにすることが可能である。入力画像データがいわゆるＲＧＢ画像データである場合、Ｒ、Ｇ、Ｂの各画素値に対して以上に説明した処理をすることが可能である。入力画像データがＹＣｂＣｒ、Ｌａｂ等の表色系で表されるものである場合、Ｙ、Ｃｂ、Ｃｒ、あるいはＬ、ａ、ｂの各値に対して以上に説明した処理をしてもよいし、Ｙ値、Ｌ値のみに対して以上に説明した処理をしてもよい。
【００９９】
以上の第１および第２の実施の形態において、閾値ＴＨ1〜ＴＨnは、一連のブラケティング露光が行われる際の補正ステップおよび露光回数に基づいて自動的、あるいはユーザ設定によって設定される例について説明した。また、階調変換特性をスペースバリアントに導出し、導出されたそれぞれの階調変換特性から階調変換特性情報Ｇ（ｉ，ｊ）を導出することも可能であることについて説明した。これに代えて、階調変換特性としては基準画像データ全体から一つの特性を導出して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を導出し、閾値ＴＨ1〜ＴＨnがスペースバリアントに設定されるようにしてもよい。この場合、スペースバリアントな閾値ＴＨ1〜ＴＨnは、一連のブラケティング露光が行われる際の補正ステップおよび露光回数と、基準画像データを解析した結果とに基づいて導出することが可能である。
【０１００】
以上に説明した画像処理装置は、デジタルスチルカメラ、静止画撮影が可能なデジタルムービーカメラ、カメラ付き携帯電話やＰＤＡ、可搬型コンピュータ等に内蔵可能である。また、コンピュータ上で画像処理プログラムが実行されて画像処理装置が実現されてもよい。
【符号の説明】
【０１０１】
１００ … デジタルカメラ
１１０ … 撮影光学系
１１２ … レンズ駆動部
１２０ … 撮像部
１３０ … 画像記録媒体
１５０、２８０、３５０ … 表示部
１６０ … 記憶部
１９０ … ＤＳＰ（ディジタル・シグナル・プロセッサ）
２００ … コンピュータ
２１０ … ＣＰＵ
２２０ … メモリ
２３０ … 補助記憶装置
２５０ … メモリカードインターフェース
２６０ … 光ディスクドライブ
２７０ … ネットワークインターフェース
３００ … 画像処理部
３１０ … 階調変換特性導出部
３２０、３２０Ａ …画像合成処理部
３３０ … 画像取得部
３６０ … 画像記録部
３７０ … 選択部
３８０ … 選択／混合部
【特許請求の範囲】
【請求項１】
同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像合成処理部はさらに、前記階調変換特性を用いて、前記基準画像データ中の各画素値に対する増幅率を導出し、当該の増幅率の大小に対応した露光量の入力画像データを選択し、選択された入力画像データ中の画素値を用いて前記新たな画素値を導出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成処理部はさらに、
前記増幅率の大小に対応した露光量の入力画像データを二以上選択し、前記増幅率に基づいて導出される混合比率で前記二以上の入力画像データの画素値を混合し、前記新たな画素値を導出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像合成処理部は、
前記増幅率と、前記二以上の入力画像データを得る際のそれぞれの露光量とに基づいて導出される混合比率で前記二以上の入力画像データの画素値を混合することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像合成処理部は、
前記複数の入力画像データの数と、前記複数の入力画像データのそれぞれを得る際に設定される露光量とに応じて設定される閾値であって、前記複数の入力画像データから前記増幅率の大小に対応して前記二以上の入力画像データを選択する際の選択基準となる閾値と、前記増幅率とに基づいて導出される混合比率で前記二以上の入力画像データの画素値を混合することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像合成処理部は、前記増幅率に基づいて前記複数の入力画像データの中から一つの入力画像データを選択し、当該の選択された入力画像データ中の画素値を前記新たな画素値とすることを前記画素ごとに行い、前記合成画像データを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記画像合成処理部は、前記複数の入力画像データの中から、前記増幅率の大小に対応した露光量の入力画像データを一つ選択することを特徴とする請求項６に記載の画像処理装置。
処理装置。
【請求項８】
前記画像合成処理部は、
前記複数の入力画像データのそれぞれを得る際に設定される露光量および前記複数の入力画像データの数に応じて設定される閾値と、前記増幅率との比較結果に基づき、前記入力画像データを一つ選択することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記階調変換特性導出部は、前記基準画像データ中で複数に分割されたそれぞれの領域内の画像データに対応して前記階調変換特性を導出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定することと、
前記基準画像データから階調変換特性を導出することと、
前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成することと
を備えることを特徴とする画像処理方法。
【請求項１１】
同一被写体を撮影して得られた異なる露光量の複数の入力画像データを合成して階調の改善された合成画像データを生成する処理をコンピュータに実行させるための画像処理プログラムであって、
前記複数の入力画像データの中から基準画像データを設定する基準画像データ設定ステップと、
前記基準画像データから階調変換特性を導出する階調変換特性導出ステップと、
前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成ステップと
を備えることを特徴とする画像処理プログラム。
【請求項１２】
撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像部を備える撮影装置であって、
前記撮像部において、同一被写体を撮影して異なる露光量の複数の入力画像データを得る撮像制御部と、
前記複数の入力画像データの中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備えることを特徴とする撮影装置。
【請求項１】
同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像合成処理部はさらに、前記階調変換特性を用いて、前記基準画像データ中の各画素値に対する増幅率を導出し、当該の増幅率の大小に対応した露光量の入力画像データを選択し、選択された入力画像データ中の画素値を用いて前記新たな画素値を導出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成処理部はさらに、
前記増幅率の大小に対応した露光量の入力画像データを二以上選択し、前記増幅率に基づいて導出される混合比率で前記二以上の入力画像データの画素値を混合し、前記新たな画素値を導出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像合成処理部は、
前記増幅率と、前記二以上の入力画像データを得る際のそれぞれの露光量とに基づいて導出される混合比率で前記二以上の入力画像データの画素値を混合することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像合成処理部は、
前記複数の入力画像データの数と、前記複数の入力画像データのそれぞれを得る際に設定される露光量とに応じて設定される閾値であって、前記複数の入力画像データから前記増幅率の大小に対応して前記二以上の入力画像データを選択する際の選択基準となる閾値と、前記増幅率とに基づいて導出される混合比率で前記二以上の入力画像データの画素値を混合することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像合成処理部は、前記増幅率に基づいて前記複数の入力画像データの中から一つの入力画像データを選択し、当該の選択された入力画像データ中の画素値を前記新たな画素値とすることを前記画素ごとに行い、前記合成画像データを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記画像合成処理部は、前記複数の入力画像データの中から、前記増幅率の大小に対応した露光量の入力画像データを一つ選択することを特徴とする請求項６に記載の画像処理装置。
処理装置。
【請求項８】
前記画像合成処理部は、
前記複数の入力画像データのそれぞれを得る際に設定される露光量および前記複数の入力画像データの数に応じて設定される閾値と、前記増幅率との比較結果に基づき、前記入力画像データを一つ選択することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記階調変換特性導出部は、前記基準画像データ中で複数に分割されたそれぞれの領域内の画像データに対応して前記階調変換特性を導出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
同一被写体を撮影して得られた異なる露光量の複数の入力画像データ中から基準画像データを設定することと、
前記基準画像データから階調変換特性を導出することと、
前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成することと
を備えることを特徴とする画像処理方法。
【請求項１１】
同一被写体を撮影して得られた異なる露光量の複数の入力画像データを合成して階調の改善された合成画像データを生成する処理をコンピュータに実行させるための画像処理プログラムであって、
前記複数の入力画像データの中から基準画像データを設定する基準画像データ設定ステップと、
前記基準画像データから階調変換特性を導出する階調変換特性導出ステップと、
前記階調変換特性に基づいて前記複数の入力画像データから選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成ステップと
を備えることを特徴とする画像処理プログラム。
【請求項１２】
撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像部を備える撮影装置であって、
前記撮像部において、同一被写体を撮影して異なる露光量の複数の入力画像データを得る撮像制御部と、
前記複数の入力画像データの中から基準画像データを設定し、当該の基準画像データから階調変換特性を導出する階調変換特性導出部と、
前記階調変換特性に基づいて前記複数の入力画像データの中から選択された一または複数の入力画像データ中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像データを生成する画像合成処理部と
を備えることを特徴とする撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１５１７３２（Ｐ２０１２−１５１７３２Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−９７８５（Ｐ２０１１−９７８５）
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]