撮像装置、その制御方法、及びプログラム
【課題】露出の異なる複数の画像を合成して得られる、階調範囲を拡張した画像における像の不連続を回避する。
【解決手段】被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び画像の各々についての露出条件を決定する。複数の画像から、画像内に含まれる動体領域を特定した後、該動体領域に対応する位置についての適正露出条件を決定し、画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する。そして撮像装置は、決定された露出条件で撮像された画像について、階調レベルを合わせた後、画像間における対応する画素値の差分が閾値以上である領域を特定する。そして、適正露出条件で撮像された画像の画素を、特定された画素値の差分が閾値以上である領域の画素として用い、他の画素については画像を合成してダイナミックレンジを拡張した画像を生成する。
【解決手段】被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び画像の各々についての露出条件を決定する。複数の画像から、画像内に含まれる動体領域を特定した後、該動体領域に対応する位置についての適正露出条件を決定し、画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する。そして撮像装置は、決定された露出条件で撮像された画像について、階調レベルを合わせた後、画像間における対応する画素値の差分が閾値以上である領域を特定する。そして、適正露出条件で撮像された画像の画素を、特定された画素値の差分が閾値以上である領域の画素として用い、他の画素については画像を合成してダイナミックレンジを拡張した画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、及びプログラムに関し、露出の異なる複数の画像を合成することにより、階調範囲を拡張するダイナミックレンジ拡張技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラ等の撮像装置の中には、露出時間を異ならせて被写体を撮影することにより得られた、露出の異なる複数の画像を合成することにより階調範囲を拡張した画像を得る、ダイナミックレンジ拡張機能を有するものがある。
【０００３】
特許文献１には、撮像した画像が所定の輝度レンジに収まらない場合に、高輝度側の最高輝度及び低輝度側の最低輝度を検出して、高輝度側及び低輝度側の各々について輝度レンジに収まる２種類の画像を撮像してＨＤＲ画像を生成する撮像装置が開示されている。
【０００４】
また、動体が含まれる場合のダイナミックレンジ拡張画像生成処理により出力された合成画像における像の不連続を回避するために、ダイナミックレンジ拡張画像生成処理における画像合成を動的に制御する技術が開示されている。
【０００５】
特許文献２には、低露出画像と高露出画像の２枚の画像を用いてＨＤＲ画像を生成する場合に、正規化した各画像の階調レベルの差分に基づいて像の不連続が生じうる領域を特定し、当該領域で低露出画像への置き換えを行わないことが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１０４００９号公報
【特許文献２】特開２００２−１０１３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した特許文献２の方法を用いたとしても、合成により生成されたＨＤＲ画像の動体領域において、高露出画像及び低露出画像の両方から抽出された画素が使用されることがあり、動体領域におけるテクスチャの不連続の問題が生じうる。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、露出の異なる複数の画像を合成して得られる、階調範囲を拡張した画像における像の不連続を回避する撮像装置、その制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
被写体を撮像して得られた画像を出力する撮像手段と、被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び該２以上の画像の各々についての露出条件を決定する決定手段と、撮像手段により時分割で撮像された複数の画像から、画像内に含まれる動体領域を特定する第１の特定手段と、第１の特定手段により特定された動体領域に対応する位置についての適正露出条件を決定し、決定手段により決定された２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する変更手段と、変更手段により変更された適正露出条件を含む、決定手段により決定された露出条件で撮像手段により撮像された２以上の画像について、階調レベルを合わせた後、２以上の画像間における対応する画素値の差分が閾値以上である領域を特定する第２の特定手段と、２以上の画像を合成してダイナミックレンジを拡張した画像を生成する生成手段であって、適正露出条件で撮像された画像の画素を、第２の特定手段により特定された画素値の差分が閾値以上である領域の画素として用いる生成手段と、を有することを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、露出の異なる複数の画像を合成して得られる、階調範囲を拡張した画像における像の不連続を回避することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】従来のダイナミックレンジ拡張処理により生じる、ＨＤＲ画像における像の不連続を説明するための図
【図３】本発明の実施形態に係るダイナミックレンジ拡張画像生成処理のフローチャート
【図４】本発明の実施形態に係る動体領域を説明するための図
【図５】本発明の実施形態に係る露出条件の設定について説明するための図
【図６】本発明の実施形態に係る動物体に対応する画素のグループ化処理を説明するための図
【図７】本発明の実施形態に係る動体領域に対応した測光領域を示した図
【図８】本発明の実施形態に係る露出条件の変更を説明するための図
【図９】本発明の実施形態に係る並行処理を説明するための図
【図１０】本発明の実施形態に係る、露出の異なる複数の画像の例
【図１１】露出時間の違いによる、階調レベル合わせ後の階調範囲を説明するための図
【図１２】本発明の実施形態に係る、検出された動き画素を示した図
【図１３】本発明の実施形態に係るトーンマッピング処理を説明するための図
【発明を実施するための形態】
【００１２】
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、異なる露出時間で被写体を撮影して得られた複数の画像を合成して、ダイナミックレンジを拡張した画像（ＨＤＲ画像）を出力可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、異なる露出時間で被写体を撮影して得られた複数の画像を合成して、ダイナミックレンジを拡張した画像を出力することが可能な任意の機器に適用可能である。また、本明細書において、「像の不連続」とは、ＨＤＲ画像における透明化、テクスチャの不連続、残像、多重エッジ、及びパターン混合の問題を総称するものとして説明する。
【００１３】
まず、ＨＤＲ画像における透明化、テクスチャの不連続、残像、多重エッジ、及びパターン混合について説明する。特許文献１のようなダイナミックレンジ拡張技術によるＨＤＲ画像の生成には、被写体について露出時間を異ならせた複数回の撮影を行って得られる複数枚の合成用の画像を必要とする。しかしながら、被写体の中に動体が存在する場合、合成用の画像間において当該動体の被写体の存在する領域にずれが生じるため、合成用の画像を合成して得られたＨＤＲ画像において像が不連続となる問題が生じる。
【００１４】
具体的には、被写体の中に動体が存在した場合に、複数回の撮影によって得られた画像を合成して得られたＨＤＲ画像には、以下のような像の不連続に係る問題が生じうる。例えば図２に示すように、高露出画像２００において動体領域２０１内に白飛び領域２０２が存在する場合を想定すると、
１．白飛び領域２０２と同じ位置の領域に、動体が既に存在しない低露出画像２２０の
画素を用いて画素の置き換えを行うと、ＨＤＲ画像２３０の動体領域内に背景が見
える透明領域２３１が生じてしまう（透明化）。
２．また、白飛び領域２０２と同じ位置の領域に動体は存在するが、その位置が異なっ
ている低露出画像２２０の画素を用いて画素の置き換えを行うことにより、当該領
域２３２の境界において動体表面のテクスチャは不連続となる。
３．さらに、図２とは異なり、高露出画像において背景の領域に白飛び領域があり、低
露出画像において当該領域を遮蔽する位置に動体が存在する場合は、白飛び領域の
画素の低露出画像への置き換えにより動体の像が複数あるように合成されてしまう
（残像）。
【００１５】
また、画素の置き換えによる処理に限らず、中間階調における複数の画像の重み付け平均を用いた合成処理により、従来の画像合成時に係る問題である、動体周囲の多重エッジや、加算された動体領域におけるパターン混合等の、像の不連続も生じる。
【００１６】
なお、上述した特許文献２の方法を用いたとしても、合成により生成されたＨＤＲ画像の動体領域において、高露出画像及び低露出画像の両方から抽出された画素が使用されることがあり、動体領域におけるテクスチャの不連続の問題が生じうる。
【００１７】
一方、ＨＤＲ画像の生成用に撮像された複数の画像全ての差分から、画素値の変化量が閾値以上の領域を特定し、該領域の画素については１つの画像から抽出した画素でＨＤＲ画像を生成することで、像の不連続を解消する方法が考えられる。しかしながら、画素値の変化量が閾値以上の領域に割り当てる画素を抽出する画像の選択によっては、該画像に白飛び領域や黒潰れ領域が含まれる場合があり、得られるＨＤＲ画像では所望のダイナミックレンジ拡張効果が得られない可能性がある。特に、特許文献１のように、最高輝度及び最低輝度に応じてＨＤＲ画像生成用の高露出画像及び低露出画像を撮像する場合、いずれの画像にも白飛び領域あるいは黒潰れ領域が含まれることが考えられ、所望のダイナミックレンジ拡張効果は得られない。
【００１８】
そこで本発明は、画像内に含まれる動体領域についての適正露出条件を決定し、２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更して２以上の画像を撮像し、動体領域と判定される領域に当該適正露出条件で撮像された画像の画素を使用することを特徴とする。
【００１９】
＜デジタルカメラの機能構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００２０】
制御部１０１は、例えばＣＰＵであり、ＲＯＭ１０２に記憶された、後述するダイナミックレンジ拡張画像生成処理のプログラムを読み出してＲＡＭ１０３に展開して実行することにより、デジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリ等のレジスタであり、ダイナミックレンジ拡張画像生成処理のプログラムに加え、デジタルカメラ１００が備える各ブロックの動作に必要な制御パラメータ等の情報を格納する。ＲＡＭ１０３は、例えば揮発性メモリであり、ダイナミックレンジ拡張画像生成処理のプログラムの展開領域としてだけでなく、デジタルカメラ１００が備える各ブロックの動作において出力された中間データを一時的に格納する記憶領域として用いられる。
【００２１】
なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて各処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は当該各ブロックと同様の処理を行うプログラムで実現されてもよい。
【００２２】
絞り１０５は、光学系１０４の瞳面に配置されて撮像部１０７面上に入射する光を部分的に遮ることで光量を調整する露出制御要素である。メカシャッタ１０６は、撮像部１０７面上に入射する光線を物理的に遮蔽することにより時間的な入射光量を調整する露出制御要素である。
【００２３】
撮像部１０７は、撮像素子であり、例えばベイヤ配列状にカラーフィルタを敷き詰めて一面で被写体像を受光する単板素子、または図示しない分光プリズムにより色情報を３つ以上に分離し、それぞれの光を別々の撮像素子で受光する３板素子等で構成される。撮像部１０７は、複数枚のレンズ及びミラーから構成される光学系１０４を介して結像された被写体像を光電変換することにより、アナログ画像信号を前処理部１０８に出力する。
【００２４】
なお、撮像部１０７が３板式の場合、分光光学素子が必要となるが、後述の画像処理部１１０におけるベイヤ配列補間処理を省略することが可能である。また撮像部１０７は、撮像素子が電子シャッタ機能を備えており、撮像素子の蓄積時間及び読み出しタイミングを制御することにより光量調整を行う露出制御要素でもある。
【００２５】
前処理部１０８は、入力されたアナログ画像信号に対し、相関二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）によるゲイン調整を用いた露出制御、黒レベル補正、及びＡ／Ｄ変換処理を適用してデジタル画像信号を出力する。前処理部１０８で行われる各種処理は、アナログ画像信号に対する前処理であるため、ＡＦＥ（アナログフロントエンド）処理とも呼ばれる。
【００２６】
本実施形態では、露出の異なる複数の画像を時分割で撮影するため、露出制御部１０９を用いて絞り１０５、メカシャッタ１０６、撮像部１０７、及び前処理部１０８における露出制御の動作を制御する。具体的には露出制御部１０９は、制御部１０１から入力された複数の画像それぞれの露出の情報に従い、絞り１０５の絞り量、メカシャッタ１０６の開放時間、撮像素子の蓄積時間及び読み出しタイミング、及び前処理部１０８におけるゲイン調整量を制御する。
【００２７】
画像処理部１１０は、入力されたデジタル画像信号に対し、ベイヤ配列補間、線形化マトリクス処理、ホワイトバランス調整、ＹＣＣ変換、色差・階調・コントラスト補正、エッジ強調処理等の画像処理を適用する。画像処理部１１０は、これらの画像処理を適用することにより、一枚の出力画像（通常の１枚撮影に係る画像）を生成可能である。生成された画像は、例えば後述する画像メモリ１１１に格納される、あるいは記録媒体Ｉ／Ｆ部１１４を介して記録媒体１１５に記録される。また画像処理部１１０で行われる各種画像処理は、前処理部のＡＦＥ処理に対してＤＢＥ（デジタルバックエンド）処理と呼ばれる。
【００２８】
また本実施形態では、画像処理部１１０は、露出の異なる複数の画像からダイナミックレンジを拡張したＨＤＲ画像を生成するための各工程で実行される、合成処理を含む画像処理を実行するものとする。ダイナミックレンジ拡張画像生成処理で用いられる、露出の異なる複数の画像は、画像処理部１１０におけるＤＢＥ処理の適用後、画像メモリ１１１に順次蓄積されており、画像処理部１１０は当該画像メモリ１１１から各画像を読み出して必要な処理を適用する。
【００２９】
また、画像処理部１１０は、例えばＲＯＭ１０２に記憶されている、撮影された画像の記録フォーマットに従い、圧縮・符号化等の変換処理が必要である場合は該処理を画像データに適用し、記録用の画像データを生成する。
【００３０】
画像メモリ１１１は、デジタルカメラ１００が備える、画像用の格納領域であり、ダイナミックレンジ拡張画像生成処理に限らず、ＤＢＥ処理の一部の処理が適用されて得られた中間画像データが必要に応じて一時的に格納されてもよい。画像メモリ１１１に格納される画像は、例えばベイヤ配列補間、線形化マトリクス処理が適用された３プレーンのＲＡＷ画像データ、さらにホワイトバランス調整を行ったＲＧＢ画像、あるいはさらにＹＣＣ変換が適用されたＹＣＣ画像であってもよい。なお、本実施形態では画像メモリ１１１に格納されるダイナミックレンジ拡張画像生成処理用の画像はＹＣＣ画像であるものとして、以下に説明するものとする。しかしながら、後述するダイナミックレンジ拡張画像生成処理で用いられる画像は、ＹＣＣ色空間に限らず、他の色空間の画像が用いられてもよい。
【００３１】
表示部１１２は、例えば小型ＬＣＤ等のデジタルカメラ１００が備える表示装置であり、撮影された画像、生成されたＨＤＲ画像、あるいは後述する記録媒体Ｉ／Ｆ部１１４を介して記録媒体１１５から読み出された画像が表示される。
【００３２】
操作部１１３は、例えば撮影ボタンやメニューボタン等のデジタルカメラ１００が備える、ユーザからの操作入力を受け付けるためのユーザインタフェースである。操作部１１３は、ユーザによりなされた操作入力を解析し、当該操作入力に対応する信号を制御部１０１に出力する。また操作部１１３は、上述した撮影ボタンやメニューボタン等の物理的な操作部材に限らず、タッチパネルセンサを備えてもよく、例えばユーザにより操作された表示部１１２の表示領域上の位置の情報を制御部１０１に出力する。
【００３３】
記録媒体Ｉ／Ｆ部１１４は、例えば画像処理部１１０で生成された画像データ等の接続された記録媒体１１５への書き込み、あるいは記録媒体１１５からのデータの読み出し等を行うためのインタフェースである。また記録媒体１１５は、例えばデジタルカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置であってよい。
【００３４】
＜ダイナミックレンジ拡張画像生成処理＞
このような構成をもつ本実施形態のデジタルカメラ１００のダイナミックレンジ拡張画像生成処理について、図３のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本ダイナミックレンジ拡張画像生成処理は、例えばデジタルカメラ１００の撮影モードがＨＤＲ画像撮影モードに設定された状態で、ユーザが撮影ボタンを操作することにより撮影指示がなされた際に開始されるものとして説明する。
【００３５】
Ｓ３０１で、制御部１０１は、撮影画角内の動体領域を特定し（第１の特定）、ＲＡＭ１０３に記憶させる。動体領域は、ＨＤＲ画像の生成のために撮影される画像に含まれる、移動中の被写体等、動きのある被写体が存在する領域を指す。具体的には制御部１０１は、時分割で撮像された複数の予備撮影画像を画像メモリ１１１から取得し、該複数の予備撮影画像について画素値の差分を算出する。そして制御部１０１は、該差分が動体と判断する所定の閾値ＴｈＭＯＶ以上であるか否かを判断することにより、画素ごとに動体領域であるか否かを特定する。本実施形態では制御部１０１は、同一の露出条件で、時分割で撮像された２つの予備撮影画像について、前処理部１０８及び画像処理部１１０に所定の処理を適用させてＹＣＣ形式の画像を生成させる。そして制御部１０１は、ＹＣＣ形式の２つの予備撮影画像の輝度成分について差分を算出させ、画素ごとに閾値ＴｈＭＯＶとの比較を行う。
【００３６】
例えば図４（ａ）及び（ｂ）に示すような、動体４１０を含む被写体を時分割撮像した２つの予備撮影画像４０１及び４０２を用いて動体領域を検出する場合、制御部１０１は、画像を複数のブロックに分割し、ブロックごとに輝度成分の差分を算出する。図４の例では、被写体の移動により輝度値が変化した、図４（ｃ）に黒丸で示したブロックが動体領域として特定される。
【００３７】
なお、本実施形態では制御部１０１は、同一の露出条件で時分割撮像された２つの予備撮影画像を用いて動体領域を特定する。予備撮影画像の露出条件が異なる場合、２つの予備撮影画像の階調レベルを、同一の被写体について階調レベルが等しくなるように露出条件に応じて調整することで、制御部１０１は比較を行うことも可能である。しかしながら、露出条件が異なることにより、予備撮影画像内に白飛び領域あるいは黒潰れ領域が含まれる場合、該領域が露出条件によって変化するため、結果的に静止物体の一部の領域も動体領域として検出されてしまう。
【００３８】
ＨＤＲ画像の生成では「動物体に対応する領域に白飛び領域あるいは黒潰れ領域が含まれる」場合に、露出条件の異なる複数の画像からサンプリングされた画素を動体領域に割り当てることで像の不連続が生じうる。このような領域について１枚の画像からサンプリングした画素を割り当てることで、像の不連続を回避することができるが、上述したように該領域に白飛び画素あるいは黒潰れ画素を割り当てた場合、得られる画像のダイナミックレンジの拡張効果は低い。即ち、このような画素の割当てを含む処理により生成されたＨＤＲ画像は、像の不連続の問題は回避しているが、そもそもの目的であったダイナミックレンジの拡張については好適な結果が得られない可能性がある。このため本実施形態では、少なくとも動体領域について好適な露出条件（適正露出条件）を設定し、該条件で撮影された画像を用いてＨＤＲ画像を生成する。このとき、露出条件の変化に応じて、静止物体の領域に生じた白飛び画素や黒潰れ画素の変化を動体領域として検出してしまうと、決定された露出条件が厳密な動物体についての好適な露出条件から外れてしまうことが考えられる。
【００３９】
１つの領域について適正露出条件を決定する場合、制御部１０１は例えば図５に示すような該領域の階調分布から、階調分布の重み付け重心Ｉｇを算出する。そして制御部１０１は、階調分布の重み付け重心Ｉｇが、所定の階調範囲の中央値近傍となる露出条件を決定する。つまり、例えば静止物体の領域存在する白飛び画素の変化を考慮して決定される露出条件は、階調分布の重み付け重心が高階調側にあるため動物体のみを考慮した場合よりも低い露出量となる。即ち、このように決定した露出条件で撮像した画像を動体領域の画素として割り当てる場合、露出が低いため、該領域に黒潰れ画素が含まれることがある。このため、本実施形態では露出条件が異なる複数の予備撮影画像を用いて動体領域を検出する場合は、それぞれの露出条件において白飛び画素及び黒潰れ画素の変化がない、あるいは変化量が小さい予備撮影画像を用いるものとする。
【００４０】
なお、本実施形態では同一の露出条件で撮像された２つの予備撮影画像を用いて、動体領域を特定するものとして説明するが、動体領域の特定方法はこれに限られない。例えば、動体領域決定のために用いられる予備撮影画像は３以上であってもよいし、複数の予備撮影画像はそれぞれ異なる露出条件で撮像された画像であってもよい。なお、異なる露出条件で撮像された画像を用いる場合、各画像は上述したように静止物体の領域において白飛び画素や黒潰れ画素による変化が生じない露出条件で撮像されることが好ましい。
【００４１】
また、動体領域の特定においては、露出条件によって白飛び領域あるいは黒潰れ領域となる領域内にも動物体が存在することもある。このため制御部１０１は、低露出側の露出条件及び高露出側の露出条件等、異なる露出条件の各々で取得した複数の予備撮影画像から特定した動体領域を統合して、最終的な動体領域を決定してもよい。
【００４２】
また、動体領域は画角内の領域ごとに複数特定する構成であってもよい。複数に分割して特定された動体領域は、動物体に対応する画素のグループ化により得られる。具体的には制御部１０１は、画素についての座標情報を基準として、画素の輝度値及び色情報を追加情報としてグループ化を行う。
【００４３】
ここで動物体に対応する画素のグループ化について、図６を用いて説明する。例えば本ステップで検出された動物体に対応する画素が図６（ａ）のように分布している場合、同一の条件に当てはまる動物体に対応する画素をグループ化するために、制御部１０１は領域成長法を用いてグループ化に係る処理を実行すればよい。
【００４４】
領域成長法とは、最初は細かく（例えば画素単位に）分かれた要素をある評価値に基づき、グループの評価値と要素の評価値の差があらかじめ決めた閾値以下の場合には合体し、それ以外は合体しないようにグループ化する、一般的な画像処理の一つである。領域成長法については、例えば「新編 画像解析ハンドブック，高木幹雄・下田陽久，東京大学出版会」に示されている。
【００４５】
このように動体領域の特定が完了した後、制御部１０１は処理をＳ３０２に移す。
【００４６】
Ｓ３０２で、制御部１０１は、ＨＤＲ画像の生成に必要な画像の数（２以上）、及び当該画像それぞれの露出量（露出条件）を決定し、ＲＡＭ１０３に記憶させる。ＨＤＲ画像の生成に必要な画像の数、及び当該画像それぞれの露出量の情報は、例えば予め設定されてＲＯＭ１０２に記憶されていてもよいし、被写体の測光処理の結果に応じて決定されてもよい。本実施形態では制御部１０１は、高露出側の露出条件及び低露出側の露出条件のそれぞれで撮像部１０７に予備撮影を行わせ、得られた画像から被写体の最高輝度部及び最低輝度部を特定する。そして制御部１０１は、最高輝度及び最低輝度から算出される輝度範囲と、撮像素子のダイナミックレンジとからＨＤＲ画像の生成に必要な画像の数を決定する。さらに制御部１０１は、被写体の最高輝度部を白飛びさせないアンダーな露出量ＥＵＮＤＥＲ、及び最低輝度部分を黒潰れさせないオーバーな露出量ＥＯＶＥＲを含む、各露出画像の露出条件を決定する。ＨＤＲ画像の生成に必要な画像の数が３以上の場合、各画像の露出条件は、例えばＥＵＮＤＥＲとＥＯＶＥＲとの間を均等配分するように決定されればよい。
【００４７】
なお、本実施形態ではＨＤＲ画像の生成に必要な画像の数を被写体の輝度分布に応じて決定するものとして説明したが、ＨＤＲ画像の生成に用いる画像の数は固定値であってもよい。
【００４８】
Ｓ３０３で、制御部１０１は、動体領域についての適正露出条件を決定し、ＲＡＭ１０３に記憶させる。図４（ｃ）のように動体領域が検出された場合、制御部１０１は、該動体領域に対応する図７のような測光領域について不図示の測光部に測光を行わせ、得られた測光結果を用いて適正露出条件を決定する。適正露出条件の決定方法は、例えば図５を参照して上述したように、測光結果から得られた動体領域の階調分布に応じて決定すればよい。
【００４９】
Ｓ３０４で、制御部１０１は、ＲＡＭ１０３に記憶されているＳ３０２で決定したＨＤＲ画像の生成に用いる２以上の画像についての露出条件のうち、１つの露出条件をＳ３０３で決定した適正露出条件に変更する。具体的には制御部１０１は、ＨＤＲ画像の生成に用いる２以上の画像についての露出条件のうち、適正露出条件に最も露出量が近い露出条件を特定し、該露出条件を適正露出条件に変更する。
【００５０】
即ち、本実施形態ではＨＤＲ画像の生成において、少なくとも動体領域については適正露出条件で撮影された１つの画像の画素を割り当てるため、ＨＤＲ画像の生成に用いる２以上の画像の露出条件には適正露出条件が含まれる必要がある。つまり、Ｓ３０２では被写体の全体についての輝度分布に応じてＨＤＲ画像の生成に用いる２以上の画像の露出条件を決定しているため、該露出条件には適正露出条件が含まれていない可能性があり、本ステップにおいて変更を行う。
【００５１】
例えば、ＨＤＲ画像の生成に必要な画像の数が２であり、ＥＵＮＤＥＲ及びＥＯＶＥＲと、適正露出条件ＥＭＶとが図８（ａ）に示されるような関係にある場合を考える。このとき適性露出条件ＥＭＶに最も近い露出量はＥＵＮＤＥＲであるため、制御部１０１は図８（ｂ）に示されるように、ＨＤＲ画像の生成に必要な２つの画像の露出条件を適正露出条件ＥＭＶとＥＯＶＥＲとに変更する。また同様にＨＤＲ画像の生成に必要な画像の数が３であり、ＥＵＮＤＥＲ、中間階調画像の露出量ＥＭＩＤ、及びＥＯＶＥＲと、適正露出条件ＥＭＶとが図８（ｃ）に示されるような関係にある場合を考える。このとき適性露出条件ＥＭＶに最も近い露出量はＥＭＩＤであるため、制御部１０１は図８（ｄ）に示されるように、ＨＤＲ画像の生成に必要な３つの画像の露出条件を適正露出条件ＥＭＶ、ＥＵＮＤＥＲ、及びＥＯＶＥＲに変更する。
【００５２】
このように、本ダイナミックレンジ拡張画像生成処理では、Ｓ３０１乃至Ｓ３０４により、被写体の動体領域を検出し、該動体領域についての適正露出条件を含めて、ＨＤＲ画像の生成に必要な画像の露出条件を決定する。なお、Ｓ３０１及びＳ３０２では、それぞれ予備撮影画像を撮像し、予備撮影画像に基づいて制御部１０１が動体領域及び露出条件を決定するものとして説明した。しかしながら、それぞれのステップにおいて予備撮影動作を行う場合、実際にＨＤＲ画像の生成に用いる画像の撮影（本撮影）までに要する時間が増加するため、Ｓ３０１乃至Ｓ３０３の処理は並行して実行されてもよい。
【００５３】
例えば図９に示すように、制御部１０１は露出制御部１０９に絞り１０５、メカシャッタ１０６、撮像部１０７、及び前処理部１０８を制御させ、本撮影までに低露出画像９０１、高露出画像９０２、及び低露出画像９０３を時系列順に取得する。制御部１０１は、高露出画像９０２が取得された際に最低輝度部を特定し、Ｓ３０２における露出量ＥＯＶＥＲの決定を行えばよい。また制御部１０１は、低露出画像９０３（低露出画像９０１と同一の露出条件）が取得された際に最高輝度部を特定してＳ３０２における露出量ＥＵＮＤＥＲを決定し、さらにＨＤＲ画像の生成に必要な他の画像の露出条件を決定すればよい。このとき制御部１０１は並行して低露出画像９０１と低露出画像９０３とを比較してＳ３０１における動体領域を特定し、さらにＳ３０３の適正露出条件を決定すればよい。そしてＳ３０４でＨＤＲ画像の生成に必要な画像の露出条件のうち１つの露出条件を適正露出条件に変更した後、制御部１０１は露出制御部１０９に露出制御を行わせ、Ｓ３０５以降の本撮影処理及びＨＤＲ画像の合成処理を実行すればよい。
【００５４】
このように並行処理を行うことにより、本撮影までに要する時間を短縮することができるが、例えば直近にＨＤＲ画像の生成を行う撮影が行われた場合、本撮影までに要する時間をさらに短縮することもできる。直近に行われたＨＤＲ画像の生成は、所定の時間内であれば同一の被写体について行われていると考えられる。このため制御部１０１は、例えばＳ３０１あるいはＳ３０３において、動体領域あるいは適正露出条件の情報を直近に行われたＨＤＲ画像の生成に用いた動体領域あるいは適正露出条件を使用するようにしてもよい。この場合、動体領域あるいは適正露出条件を示す情報はＲＡＭ１０３に記憶されていればよい。
【００５５】
Ｓ３０５で、制御部１０１は、ＲＡＭ１０３に記憶された、Ｓ３０４における変更後の露出条件に従い、露出制御部１０９に絞り１０５、メカシャッタ１０６、撮像部１０７、及び前処理部１０８を制御させて、時分割撮影された複数の画像を取得する。なお、取得された時分割撮影された、露出の異なる複数の画像は、前処理部１０８及び画像処理部１１０における所定の処理が適用されてＹＣＣ形式の画像に変換された上で、画像メモリ１１１に格納される。
【００５６】
なお、本実施形態では簡単のため、図１０に示すような３枚の露出の異なる画像１００１、１００２、１００３を用いてＨＤＲ画像の生成を行うものとして説明するが、本発明の実施はこれに限らず、２枚以上の露出の異なる画像による生成において適用可能である。画像１００１〜１００３は、１００１、１００２、１００３の順に露出量が小さくなっており、時系列において同様の順番で撮影されるものとする。以下ではこれらの画像を、高露出画像１００１、中間露出画像１００２、低露出画像１００３と称して説明するものとする。またそれぞれの画像には、被写体として静止物体１０１０及び１０１１と動物体１０１２及び１０１３が含まれ、複数の画像の撮影中、動物体１０１２及び１０１３はデジタルカメラ１００に対して右方向に動いている。
【００５７】
また、デジタルカメラ１００が不図示の光学式及び電子式の少なくともいずれかの防振機能と類似のレジストレーション機能を備える場合、該機能はＳ３０５で得られる露出の異なる複数の画像に適用される。
【００５８】
Ｓ３０６で、制御部１０１は、画像メモリ１１１に格納されている複数の画像間で、同一の被写体に係る画素値を均一にするために、画像処理部１１０に各画像の露出に関する階調レベル合わせ処理を行わせる。具体的には画像処理部１１０は、画像メモリ１１１に格納されている複数の画像のそれぞれに対し、最長露出の画像の露出時間を基準とした各画像の露出時間の比の逆数を乗算することにより、階調レベル合わせを行う。なお、制御部１０１は、画像処理部１１０に当該レベル合わせ後の画像を画像メモリ１１１に出力させ、格納させる。
【００５９】
図１１は、階調レベル合わせを行った後の、各画像の階調範囲と、複数の画像を用いて生成されるＨＤＲ画像で表現可能な階調範囲を示した図である。図では階調範囲として画像の輝度Ｙ成分の画素値を用いている。またレベル合わせ後の各画像において白飛びの輝度閾値ＨＬＶ、黒潰れの輝度閾値ＬＬＶは参照符号を用いて表現され、それぞれａは高露出画像１００１、ｂは中間露出画像１００２、ｃは低露出画像１００３に対応している。
【００６０】
なお、本実施形態において、画素値とは画素が有する階調データを示し、画素が有色である場合は、色空間の成分の数の構成要素を有するベクトル量として表現するものとする。即ち、輝度のように色空間の特定成分の値についてはスカラー量を表すものとする。
【００６１】
Ｓ３０７で、制御部１０１は、画像メモリ１１１に格納されているレベル合わせ後の複数の画像間における、被写体に変化が生じている画素（動き画素）、即ち動物体が存在する領域と黒潰れあるいは白飛びの状態が変化する画素を検出する（第２の特定）。具体的には制御部１０１は、画像処理部１１０に格納されているレベル合わせ後の複数の画像を２枚ずつ読み出し、同一座標の画素に係る画素値の差分を算出し、当該画素値の差分が予め定められた閾値以上である場合に、当該画素を動き画素として検出する。即ち、本ステップで検出する動き画素は、Ｓ３０１で特定した動体領域とは異なり、露出条件により変化する白飛び領域及び黒潰れ領域を含む。本ステップにおいて検出する動き画素は、ＨＤＲ画像の生成において、生成ように撮像された画像のうち、適正露出条件で撮像された画像の画素を割り当てる画素を示している。
【００６２】
例えばレベル合わせ後の高露出画像１００１を基準として、中間露出画像１００２及び低露出画像１００３について輝度値の差分を算出する場合、３枚の画像の各画素が動き画素であるか否かを示す論理型変数ＢＭＯＶは、次の論理式により判断する。
ＢＭＯＶ＝Ｆ（Ｙｂ−Ｙａ）∨Ｆ（Ｙｃ−Ｙａ）・・・（１）
【００６３】
ここで、Ｆは画素の輝度値の差分ΔＹが、当該画素が動き画素であるかを判断するために予め定められた閾値ＴｈＭＯＶを超えるか否かを判断するための関数であり、次のように表される。
【００６４】
なお、本実施形態では画像メモリ１１１に格納されているＹＣＣ画像の画素値の輝度成分を用いて動き画素を検出するものとして説明するが、本発明の実施はこれに限らない。例えば、画像メモリ１１１に記憶されている画像がＲＧＢ画像やＲＡＷ画像である場合は、画素が動き画素であるか否かを、画素値を構成する各色成分を示すベクトルの絶対値、あるいは特定の色成分を用いて判断してもよい。
【００６５】
また、本実施形態ではＨＤＲ画像を合成するために用いる画像が３枚の場合について説明するが、それ以外の枚数を用いて合成を行う場合は、（１）の論理式は枚数に依存して変化する。複数の画像間において、同一座標の画素が動き画素であるか否かは、合成に用いる画像の数−１回の差分演算が少なくとも必要であり、論理式の項は当該回数と同じ数になり、全ての項はＯＲ条件で結合した論理式を（１）の代わりに用いればよい。なお、本実施形態では１つの画像を基準として、当該画像とその他の画像の輝度値の差分を算出して論理式を判断するものとして説明するが、基準の画像を設定せずに例えば時系列で連続する２つの画像間で輝度値の差分を算出してもよい。
【００６６】
図１０に示した高露出画像１００１、中間露出画像１００２、及び低露出画像１００３の間で動き画素を検出すると、画像の各画素は例えば図１２に示すように分類される。図では、動き画素は黒丸、動き画素に該当しない画素は白丸で示されている。
【００６７】
Ｓ３０８で、制御部１０１は画像処理部１１０を制御し、ダイナミックレンジを拡張したＨＤＲ画像を生成させる。具体的には制御部１０１は、Ｓ３０７で検出された動き画素の情報を画像処理部１１０に伝送し、動き画素とそれ以外の画素に応じて処理を切り替えてＨＤＲ画像を生成させる。画像処理部１１０は、入力された動き画素の情報に従い、生成するＨＤＲ画像のそれぞれの画素の画素値を次のように生成する。
【００６８】
動き画素と判定された画素については、画像処理部１１０はＳ３０３で決定した適正露出条件で、Ｓ３０５において撮像された画像における、同一座標の画素値をそのまま代入する。
【００６９】
動き画素以外の画素については、Ｓ３０７で動き画素として判定されていない、即ち露出の異なる複数の画像の全てにおいて、画素値の変化が閾値以内に収まっているため、いずれの画像の画素値を代入してもよい。なお、撮像素子の性能が低い場合、または前処理部１０８が電気的な影響を受けやすい場合には画素値にノイズが混入することも考えられるため、動き画素以外の画素については露出の異なる画像の全てあるいは一部の画像の画素値の重み付け平均値としてもよい。低露出画像がレベル合わせ処理において相対的に大きなゲインが乗じられており、ノイズやＡ／Ｄ変換の階調レベルの有限性による量子誤差の影響を受けやすいため、例えば重み付け平均では低露出画像の重み付けを小さくすればよい。
【００７０】
なお、本ステップで画像処理部１１０により生成されたＨＤＲ画像は、画像メモリ１１１に格納されるものとする。
【００７１】
Ｓ３０９で、制御部１０１は、Ｓ３０８で生成されたＨＤＲ画像に対して、画像処理部１１０にトーンマッピング処理あるいはレンジ圧縮処理を適用させ、最終的な出力のＨＤＲ画像を生成する。
【００７２】
なおレンジ圧縮処理は、出力画像が所望のビット深度よりも大きい場合にビット深度を一致させるための処理である。
【００７３】
またトーンマッピング処理は、例えば画像中の暗領域について階調を持ち上げさせ、明領域については階調を圧縮させる等、所望の階調表現となるような補正処理である。ダイナミックレンジを拡張した画像の生成において、ダイナミックレンジ拡張後にも残る白飛び、黒潰れ階調の画素を目立たなくするようにトーンマッピング処理を適用することは有効である。
【００７４】
本実施形態では、動き画素として検出された画素については、ＨＤＲ画像の生成時に１つの露出画像の画素値が割り当てられるため、当該露出画像の白飛び及び黒潰れ画素がそれぞれ階調表現の最大あるいは最小値に近づくようにトーンマッピング処理を行えばよい。このようにすることで、最終的な出力のＨＤＲ画像において、白飛び及び黒潰れ画素を目立たなくさせることができる。
【００７５】
また、ＨＤＲ画像の生成時に、動き画素として検出された画素に割り当てられる露出画像が有する白飛び画素の数と黒潰れ画素の数に応じて、トーンマッピング処理でマッピングする階調変換曲線を異ならせてもよい。
【００７６】
例えばＨＤＲ画像の生成時に、動き画素として検出された画素に割り当てられる露出画像において、白飛び画素に対して黒潰れ画素が多い場合は、図１３に示す１３０１のような変換曲線にマッピングされるように処理を行えばよい。図１３は、横軸がトーンマッピング対象画像の階調値、縦軸がトーンマッピング後の階調値を示しており、軸はそれぞれ右方向あるいは上方向にいくほど高階調となっている。図１３において対角線上に示した破線１３０４はトーンマッピングによる階調補正を行わない場合の階調変換曲線を表している。つまり、変換曲線１３０１は、露出画像における黒潰れ画素を目立たなくするために、黒潰れ画素の階調値が低階調端に近づけられるようになっており、黒潰れ階調以上の画素の階調表現の幅を拡張するような曲線となっている。
【００７７】
反対に、露出画像において黒潰れ画素に対して白飛び画素が多い場合は、１３０２のような変換曲線にマッピングされる。また被写体のダイナミックレンジが広く、露出画像において黒潰れ画素と白飛び画素の両方が同様の割合で存在する場合は、１３０３に示すような変換曲線を用いる。これにより、黒潰れ画素の階調値が低階調端に近づけられ、白飛び画素の階調値が高階調端に近づけられるため、中間階調における階調表現を広くするとともに、黒潰れ画素及び白飛び画素を目立たなくすることができる。
【００７８】
このように、トーンマッピング処理において適用する階調変換曲線を動的に変化させることで、最終的な出力のＨＤＲ画像において、黒潰れ画素及び白飛び画素を目立ちにくくすることが可能となる。
【００７９】
また、本ステップの処理は、Ｓ３０８で生成されたＨＤＲ画像のビット深度が最終的な出力のＨＤＲ画像のビット深度と同一、あるいは階調特性が既に所望の特性を呈している場合は行う必要がない。
【００８０】
Ｓ３１０で、制御部１０１は、最終的な出力のＨＤＲ画像を、予め定められた記録形式に変換するために画像処理部１１０において所定の符号化処理を適用させた後、記録媒体Ｉ／Ｆ部１１４を介して記録媒体１１５に出力し、記録させて本処理を完了する。また制御部１０１は、焦点距離や絞り値等の露出制御情報をメタデータとしてＨＤＲ画像と同時記録する場合には、制御部より必要な撮影設定情報や状態情報を取得し、記録媒体１１５に記録させる。
【００８１】
なお、本実施形態では、最終的な出力のＨＤＲ画像を記録するものとして説明したが、ＨＤＲ画像に対して、さらに階調・色調・コントラスト補正、エッジ強調等の画像処理を適用する場合は、当該ＨＤＲ画像を画像メモリ１１１に格納すればよい。
【００８２】
また、本実施形態では、例えば三脚を用いて撮影された画像のように、撮影シーンに含まれる、静止している被写体の画像内の位置が変化しない複数の画像を用いてＨＤＲ画像を生成するものとして説明した。しかしながら、本発明はこれに限らず、撮影された画像が手ぶれ等の影響により、撮影シーンに含まれる、静止している被写体の画像内の位置が変化する場合は、公知の方法により画像間の位置あわせを行った上で、被写体に変化が生じた画素を判断してもよい。手ぶれによる影響は、例えば図１に破線で示した姿勢変化検出部１２０を用いて、各画像について撮像時のデジタルカメラ１００の姿勢情報を検出しておき、画像の比較時あるいは合成時に影響を補正すればよい。
【００８３】
また、本実施形態では、時分割で撮影された露出の異なる複数の画像を用いるものとして説明したが、本発明の実施は、例えば撮影日が異なる同一時刻の画像等、同一の撮影シーンを撮影した画像を用いてＨＤＲ画像を生成する場合にも適用可能である。
【００８４】
以上説明したように、本実施形態の撮像装置は、露出の異なる複数の画像を合成して得られる、階調範囲を拡張した画像における像の不連続を回避することができる。具体的には撮像装置は、被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び該２以上の画像の各々についての露出条件を決定する。また時分割で撮像された複数の画像から、画像内に含まれる動体領域を特定した後、該動体領域に対応する位置についての適正露出条件を決定し、２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する。そして撮像装置は、変更された適正露出条件を含む、決定された露出条件で撮像された２以上の画像について、階調レベルを合わせた後、２以上の画像間における対応する画素値の差分が閾値以上である領域を特定する。そして、適正露出条件で撮像された画像の画素を、特定された画素値の差分が閾値以上である領域の画素として用い、他の画素については２以上の画像を合成してダイナミックレンジを拡張した画像を生成する。
【００８５】
このようにすることで、動物体に対応する領域に白飛び領域あるいは黒潰れ領域が含まれる場合であっても、像の不連続を生じさせないとともに、該領域の画素を好適な露出条件で撮像された画素としたＨＤＲ画像を生成することができる。
【００８６】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、及びプログラムに関し、露出の異なる複数の画像を合成することにより、階調範囲を拡張するダイナミックレンジ拡張技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラ等の撮像装置の中には、露出時間を異ならせて被写体を撮影することにより得られた、露出の異なる複数の画像を合成することにより階調範囲を拡張した画像を得る、ダイナミックレンジ拡張機能を有するものがある。
【０００３】
特許文献１には、撮像した画像が所定の輝度レンジに収まらない場合に、高輝度側の最高輝度及び低輝度側の最低輝度を検出して、高輝度側及び低輝度側の各々について輝度レンジに収まる２種類の画像を撮像してＨＤＲ画像を生成する撮像装置が開示されている。
【０００４】
また、動体が含まれる場合のダイナミックレンジ拡張画像生成処理により出力された合成画像における像の不連続を回避するために、ダイナミックレンジ拡張画像生成処理における画像合成を動的に制御する技術が開示されている。
【０００５】
特許文献２には、低露出画像と高露出画像の２枚の画像を用いてＨＤＲ画像を生成する場合に、正規化した各画像の階調レベルの差分に基づいて像の不連続が生じうる領域を特定し、当該領域で低露出画像への置き換えを行わないことが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１０４００９号公報
【特許文献２】特開２００２−１０１３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した特許文献２の方法を用いたとしても、合成により生成されたＨＤＲ画像の動体領域において、高露出画像及び低露出画像の両方から抽出された画素が使用されることがあり、動体領域におけるテクスチャの不連続の問題が生じうる。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、露出の異なる複数の画像を合成して得られる、階調範囲を拡張した画像における像の不連続を回避する撮像装置、その制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
被写体を撮像して得られた画像を出力する撮像手段と、被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び該２以上の画像の各々についての露出条件を決定する決定手段と、撮像手段により時分割で撮像された複数の画像から、画像内に含まれる動体領域を特定する第１の特定手段と、第１の特定手段により特定された動体領域に対応する位置についての適正露出条件を決定し、決定手段により決定された２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する変更手段と、変更手段により変更された適正露出条件を含む、決定手段により決定された露出条件で撮像手段により撮像された２以上の画像について、階調レベルを合わせた後、２以上の画像間における対応する画素値の差分が閾値以上である領域を特定する第２の特定手段と、２以上の画像を合成してダイナミックレンジを拡張した画像を生成する生成手段であって、適正露出条件で撮像された画像の画素を、第２の特定手段により特定された画素値の差分が閾値以上である領域の画素として用いる生成手段と、を有することを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、露出の異なる複数の画像を合成して得られる、階調範囲を拡張した画像における像の不連続を回避することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】従来のダイナミックレンジ拡張処理により生じる、ＨＤＲ画像における像の不連続を説明するための図
【図３】本発明の実施形態に係るダイナミックレンジ拡張画像生成処理のフローチャート
【図４】本発明の実施形態に係る動体領域を説明するための図
【図５】本発明の実施形態に係る露出条件の設定について説明するための図
【図６】本発明の実施形態に係る動物体に対応する画素のグループ化処理を説明するための図
【図７】本発明の実施形態に係る動体領域に対応した測光領域を示した図
【図８】本発明の実施形態に係る露出条件の変更を説明するための図
【図９】本発明の実施形態に係る並行処理を説明するための図
【図１０】本発明の実施形態に係る、露出の異なる複数の画像の例
【図１１】露出時間の違いによる、階調レベル合わせ後の階調範囲を説明するための図
【図１２】本発明の実施形態に係る、検出された動き画素を示した図
【図１３】本発明の実施形態に係るトーンマッピング処理を説明するための図
【発明を実施するための形態】
【００１２】
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、異なる露出時間で被写体を撮影して得られた複数の画像を合成して、ダイナミックレンジを拡張した画像（ＨＤＲ画像）を出力可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、異なる露出時間で被写体を撮影して得られた複数の画像を合成して、ダイナミックレンジを拡張した画像を出力することが可能な任意の機器に適用可能である。また、本明細書において、「像の不連続」とは、ＨＤＲ画像における透明化、テクスチャの不連続、残像、多重エッジ、及びパターン混合の問題を総称するものとして説明する。
【００１３】
まず、ＨＤＲ画像における透明化、テクスチャの不連続、残像、多重エッジ、及びパターン混合について説明する。特許文献１のようなダイナミックレンジ拡張技術によるＨＤＲ画像の生成には、被写体について露出時間を異ならせた複数回の撮影を行って得られる複数枚の合成用の画像を必要とする。しかしながら、被写体の中に動体が存在する場合、合成用の画像間において当該動体の被写体の存在する領域にずれが生じるため、合成用の画像を合成して得られたＨＤＲ画像において像が不連続となる問題が生じる。
【００１４】
具体的には、被写体の中に動体が存在した場合に、複数回の撮影によって得られた画像を合成して得られたＨＤＲ画像には、以下のような像の不連続に係る問題が生じうる。例えば図２に示すように、高露出画像２００において動体領域２０１内に白飛び領域２０２が存在する場合を想定すると、
１．白飛び領域２０２と同じ位置の領域に、動体が既に存在しない低露出画像２２０の
画素を用いて画素の置き換えを行うと、ＨＤＲ画像２３０の動体領域内に背景が見
える透明領域２３１が生じてしまう（透明化）。
２．また、白飛び領域２０２と同じ位置の領域に動体は存在するが、その位置が異なっ
ている低露出画像２２０の画素を用いて画素の置き換えを行うことにより、当該領
域２３２の境界において動体表面のテクスチャは不連続となる。
３．さらに、図２とは異なり、高露出画像において背景の領域に白飛び領域があり、低
露出画像において当該領域を遮蔽する位置に動体が存在する場合は、白飛び領域の
画素の低露出画像への置き換えにより動体の像が複数あるように合成されてしまう
（残像）。
【００１５】
また、画素の置き換えによる処理に限らず、中間階調における複数の画像の重み付け平均を用いた合成処理により、従来の画像合成時に係る問題である、動体周囲の多重エッジや、加算された動体領域におけるパターン混合等の、像の不連続も生じる。
【００１６】
なお、上述した特許文献２の方法を用いたとしても、合成により生成されたＨＤＲ画像の動体領域において、高露出画像及び低露出画像の両方から抽出された画素が使用されることがあり、動体領域におけるテクスチャの不連続の問題が生じうる。
【００１７】
一方、ＨＤＲ画像の生成用に撮像された複数の画像全ての差分から、画素値の変化量が閾値以上の領域を特定し、該領域の画素については１つの画像から抽出した画素でＨＤＲ画像を生成することで、像の不連続を解消する方法が考えられる。しかしながら、画素値の変化量が閾値以上の領域に割り当てる画素を抽出する画像の選択によっては、該画像に白飛び領域や黒潰れ領域が含まれる場合があり、得られるＨＤＲ画像では所望のダイナミックレンジ拡張効果が得られない可能性がある。特に、特許文献１のように、最高輝度及び最低輝度に応じてＨＤＲ画像生成用の高露出画像及び低露出画像を撮像する場合、いずれの画像にも白飛び領域あるいは黒潰れ領域が含まれることが考えられ、所望のダイナミックレンジ拡張効果は得られない。
【００１８】
そこで本発明は、画像内に含まれる動体領域についての適正露出条件を決定し、２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更して２以上の画像を撮像し、動体領域と判定される領域に当該適正露出条件で撮像された画像の画素を使用することを特徴とする。
【００１９】
＜デジタルカメラの機能構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００２０】
制御部１０１は、例えばＣＰＵであり、ＲＯＭ１０２に記憶された、後述するダイナミックレンジ拡張画像生成処理のプログラムを読み出してＲＡＭ１０３に展開して実行することにより、デジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリ等のレジスタであり、ダイナミックレンジ拡張画像生成処理のプログラムに加え、デジタルカメラ１００が備える各ブロックの動作に必要な制御パラメータ等の情報を格納する。ＲＡＭ１０３は、例えば揮発性メモリであり、ダイナミックレンジ拡張画像生成処理のプログラムの展開領域としてだけでなく、デジタルカメラ１００が備える各ブロックの動作において出力された中間データを一時的に格納する記憶領域として用いられる。
【００２１】
なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて各処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は当該各ブロックと同様の処理を行うプログラムで実現されてもよい。
【００２２】
絞り１０５は、光学系１０４の瞳面に配置されて撮像部１０７面上に入射する光を部分的に遮ることで光量を調整する露出制御要素である。メカシャッタ１０６は、撮像部１０７面上に入射する光線を物理的に遮蔽することにより時間的な入射光量を調整する露出制御要素である。
【００２３】
撮像部１０７は、撮像素子であり、例えばベイヤ配列状にカラーフィルタを敷き詰めて一面で被写体像を受光する単板素子、または図示しない分光プリズムにより色情報を３つ以上に分離し、それぞれの光を別々の撮像素子で受光する３板素子等で構成される。撮像部１０７は、複数枚のレンズ及びミラーから構成される光学系１０４を介して結像された被写体像を光電変換することにより、アナログ画像信号を前処理部１０８に出力する。
【００２４】
なお、撮像部１０７が３板式の場合、分光光学素子が必要となるが、後述の画像処理部１１０におけるベイヤ配列補間処理を省略することが可能である。また撮像部１０７は、撮像素子が電子シャッタ機能を備えており、撮像素子の蓄積時間及び読み出しタイミングを制御することにより光量調整を行う露出制御要素でもある。
【００２５】
前処理部１０８は、入力されたアナログ画像信号に対し、相関二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）によるゲイン調整を用いた露出制御、黒レベル補正、及びＡ／Ｄ変換処理を適用してデジタル画像信号を出力する。前処理部１０８で行われる各種処理は、アナログ画像信号に対する前処理であるため、ＡＦＥ（アナログフロントエンド）処理とも呼ばれる。
【００２６】
本実施形態では、露出の異なる複数の画像を時分割で撮影するため、露出制御部１０９を用いて絞り１０５、メカシャッタ１０６、撮像部１０７、及び前処理部１０８における露出制御の動作を制御する。具体的には露出制御部１０９は、制御部１０１から入力された複数の画像それぞれの露出の情報に従い、絞り１０５の絞り量、メカシャッタ１０６の開放時間、撮像素子の蓄積時間及び読み出しタイミング、及び前処理部１０８におけるゲイン調整量を制御する。
【００２７】
画像処理部１１０は、入力されたデジタル画像信号に対し、ベイヤ配列補間、線形化マトリクス処理、ホワイトバランス調整、ＹＣＣ変換、色差・階調・コントラスト補正、エッジ強調処理等の画像処理を適用する。画像処理部１１０は、これらの画像処理を適用することにより、一枚の出力画像（通常の１枚撮影に係る画像）を生成可能である。生成された画像は、例えば後述する画像メモリ１１１に格納される、あるいは記録媒体Ｉ／Ｆ部１１４を介して記録媒体１１５に記録される。また画像処理部１１０で行われる各種画像処理は、前処理部のＡＦＥ処理に対してＤＢＥ（デジタルバックエンド）処理と呼ばれる。
【００２８】
また本実施形態では、画像処理部１１０は、露出の異なる複数の画像からダイナミックレンジを拡張したＨＤＲ画像を生成するための各工程で実行される、合成処理を含む画像処理を実行するものとする。ダイナミックレンジ拡張画像生成処理で用いられる、露出の異なる複数の画像は、画像処理部１１０におけるＤＢＥ処理の適用後、画像メモリ１１１に順次蓄積されており、画像処理部１１０は当該画像メモリ１１１から各画像を読み出して必要な処理を適用する。
【００２９】
また、画像処理部１１０は、例えばＲＯＭ１０２に記憶されている、撮影された画像の記録フォーマットに従い、圧縮・符号化等の変換処理が必要である場合は該処理を画像データに適用し、記録用の画像データを生成する。
【００３０】
画像メモリ１１１は、デジタルカメラ１００が備える、画像用の格納領域であり、ダイナミックレンジ拡張画像生成処理に限らず、ＤＢＥ処理の一部の処理が適用されて得られた中間画像データが必要に応じて一時的に格納されてもよい。画像メモリ１１１に格納される画像は、例えばベイヤ配列補間、線形化マトリクス処理が適用された３プレーンのＲＡＷ画像データ、さらにホワイトバランス調整を行ったＲＧＢ画像、あるいはさらにＹＣＣ変換が適用されたＹＣＣ画像であってもよい。なお、本実施形態では画像メモリ１１１に格納されるダイナミックレンジ拡張画像生成処理用の画像はＹＣＣ画像であるものとして、以下に説明するものとする。しかしながら、後述するダイナミックレンジ拡張画像生成処理で用いられる画像は、ＹＣＣ色空間に限らず、他の色空間の画像が用いられてもよい。
【００３１】
表示部１１２は、例えば小型ＬＣＤ等のデジタルカメラ１００が備える表示装置であり、撮影された画像、生成されたＨＤＲ画像、あるいは後述する記録媒体Ｉ／Ｆ部１１４を介して記録媒体１１５から読み出された画像が表示される。
【００３２】
操作部１１３は、例えば撮影ボタンやメニューボタン等のデジタルカメラ１００が備える、ユーザからの操作入力を受け付けるためのユーザインタフェースである。操作部１１３は、ユーザによりなされた操作入力を解析し、当該操作入力に対応する信号を制御部１０１に出力する。また操作部１１３は、上述した撮影ボタンやメニューボタン等の物理的な操作部材に限らず、タッチパネルセンサを備えてもよく、例えばユーザにより操作された表示部１１２の表示領域上の位置の情報を制御部１０１に出力する。
【００３３】
記録媒体Ｉ／Ｆ部１１４は、例えば画像処理部１１０で生成された画像データ等の接続された記録媒体１１５への書き込み、あるいは記録媒体１１５からのデータの読み出し等を行うためのインタフェースである。また記録媒体１１５は、例えばデジタルカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置であってよい。
【００３４】
＜ダイナミックレンジ拡張画像生成処理＞
このような構成をもつ本実施形態のデジタルカメラ１００のダイナミックレンジ拡張画像生成処理について、図３のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本ダイナミックレンジ拡張画像生成処理は、例えばデジタルカメラ１００の撮影モードがＨＤＲ画像撮影モードに設定された状態で、ユーザが撮影ボタンを操作することにより撮影指示がなされた際に開始されるものとして説明する。
【００３５】
Ｓ３０１で、制御部１０１は、撮影画角内の動体領域を特定し（第１の特定）、ＲＡＭ１０３に記憶させる。動体領域は、ＨＤＲ画像の生成のために撮影される画像に含まれる、移動中の被写体等、動きのある被写体が存在する領域を指す。具体的には制御部１０１は、時分割で撮像された複数の予備撮影画像を画像メモリ１１１から取得し、該複数の予備撮影画像について画素値の差分を算出する。そして制御部１０１は、該差分が動体と判断する所定の閾値ＴｈＭＯＶ以上であるか否かを判断することにより、画素ごとに動体領域であるか否かを特定する。本実施形態では制御部１０１は、同一の露出条件で、時分割で撮像された２つの予備撮影画像について、前処理部１０８及び画像処理部１１０に所定の処理を適用させてＹＣＣ形式の画像を生成させる。そして制御部１０１は、ＹＣＣ形式の２つの予備撮影画像の輝度成分について差分を算出させ、画素ごとに閾値ＴｈＭＯＶとの比較を行う。
【００３６】
例えば図４（ａ）及び（ｂ）に示すような、動体４１０を含む被写体を時分割撮像した２つの予備撮影画像４０１及び４０２を用いて動体領域を検出する場合、制御部１０１は、画像を複数のブロックに分割し、ブロックごとに輝度成分の差分を算出する。図４の例では、被写体の移動により輝度値が変化した、図４（ｃ）に黒丸で示したブロックが動体領域として特定される。
【００３７】
なお、本実施形態では制御部１０１は、同一の露出条件で時分割撮像された２つの予備撮影画像を用いて動体領域を特定する。予備撮影画像の露出条件が異なる場合、２つの予備撮影画像の階調レベルを、同一の被写体について階調レベルが等しくなるように露出条件に応じて調整することで、制御部１０１は比較を行うことも可能である。しかしながら、露出条件が異なることにより、予備撮影画像内に白飛び領域あるいは黒潰れ領域が含まれる場合、該領域が露出条件によって変化するため、結果的に静止物体の一部の領域も動体領域として検出されてしまう。
【００３８】
ＨＤＲ画像の生成では「動物体に対応する領域に白飛び領域あるいは黒潰れ領域が含まれる」場合に、露出条件の異なる複数の画像からサンプリングされた画素を動体領域に割り当てることで像の不連続が生じうる。このような領域について１枚の画像からサンプリングした画素を割り当てることで、像の不連続を回避することができるが、上述したように該領域に白飛び画素あるいは黒潰れ画素を割り当てた場合、得られる画像のダイナミックレンジの拡張効果は低い。即ち、このような画素の割当てを含む処理により生成されたＨＤＲ画像は、像の不連続の問題は回避しているが、そもそもの目的であったダイナミックレンジの拡張については好適な結果が得られない可能性がある。このため本実施形態では、少なくとも動体領域について好適な露出条件（適正露出条件）を設定し、該条件で撮影された画像を用いてＨＤＲ画像を生成する。このとき、露出条件の変化に応じて、静止物体の領域に生じた白飛び画素や黒潰れ画素の変化を動体領域として検出してしまうと、決定された露出条件が厳密な動物体についての好適な露出条件から外れてしまうことが考えられる。
【００３９】
１つの領域について適正露出条件を決定する場合、制御部１０１は例えば図５に示すような該領域の階調分布から、階調分布の重み付け重心Ｉｇを算出する。そして制御部１０１は、階調分布の重み付け重心Ｉｇが、所定の階調範囲の中央値近傍となる露出条件を決定する。つまり、例えば静止物体の領域存在する白飛び画素の変化を考慮して決定される露出条件は、階調分布の重み付け重心が高階調側にあるため動物体のみを考慮した場合よりも低い露出量となる。即ち、このように決定した露出条件で撮像した画像を動体領域の画素として割り当てる場合、露出が低いため、該領域に黒潰れ画素が含まれることがある。このため、本実施形態では露出条件が異なる複数の予備撮影画像を用いて動体領域を検出する場合は、それぞれの露出条件において白飛び画素及び黒潰れ画素の変化がない、あるいは変化量が小さい予備撮影画像を用いるものとする。
【００４０】
なお、本実施形態では同一の露出条件で撮像された２つの予備撮影画像を用いて、動体領域を特定するものとして説明するが、動体領域の特定方法はこれに限られない。例えば、動体領域決定のために用いられる予備撮影画像は３以上であってもよいし、複数の予備撮影画像はそれぞれ異なる露出条件で撮像された画像であってもよい。なお、異なる露出条件で撮像された画像を用いる場合、各画像は上述したように静止物体の領域において白飛び画素や黒潰れ画素による変化が生じない露出条件で撮像されることが好ましい。
【００４１】
また、動体領域の特定においては、露出条件によって白飛び領域あるいは黒潰れ領域となる領域内にも動物体が存在することもある。このため制御部１０１は、低露出側の露出条件及び高露出側の露出条件等、異なる露出条件の各々で取得した複数の予備撮影画像から特定した動体領域を統合して、最終的な動体領域を決定してもよい。
【００４２】
また、動体領域は画角内の領域ごとに複数特定する構成であってもよい。複数に分割して特定された動体領域は、動物体に対応する画素のグループ化により得られる。具体的には制御部１０１は、画素についての座標情報を基準として、画素の輝度値及び色情報を追加情報としてグループ化を行う。
【００４３】
ここで動物体に対応する画素のグループ化について、図６を用いて説明する。例えば本ステップで検出された動物体に対応する画素が図６（ａ）のように分布している場合、同一の条件に当てはまる動物体に対応する画素をグループ化するために、制御部１０１は領域成長法を用いてグループ化に係る処理を実行すればよい。
【００４４】
領域成長法とは、最初は細かく（例えば画素単位に）分かれた要素をある評価値に基づき、グループの評価値と要素の評価値の差があらかじめ決めた閾値以下の場合には合体し、それ以外は合体しないようにグループ化する、一般的な画像処理の一つである。領域成長法については、例えば「新編 画像解析ハンドブック，高木幹雄・下田陽久，東京大学出版会」に示されている。
【００４５】
このように動体領域の特定が完了した後、制御部１０１は処理をＳ３０２に移す。
【００４６】
Ｓ３０２で、制御部１０１は、ＨＤＲ画像の生成に必要な画像の数（２以上）、及び当該画像それぞれの露出量（露出条件）を決定し、ＲＡＭ１０３に記憶させる。ＨＤＲ画像の生成に必要な画像の数、及び当該画像それぞれの露出量の情報は、例えば予め設定されてＲＯＭ１０２に記憶されていてもよいし、被写体の測光処理の結果に応じて決定されてもよい。本実施形態では制御部１０１は、高露出側の露出条件及び低露出側の露出条件のそれぞれで撮像部１０７に予備撮影を行わせ、得られた画像から被写体の最高輝度部及び最低輝度部を特定する。そして制御部１０１は、最高輝度及び最低輝度から算出される輝度範囲と、撮像素子のダイナミックレンジとからＨＤＲ画像の生成に必要な画像の数を決定する。さらに制御部１０１は、被写体の最高輝度部を白飛びさせないアンダーな露出量ＥＵＮＤＥＲ、及び最低輝度部分を黒潰れさせないオーバーな露出量ＥＯＶＥＲを含む、各露出画像の露出条件を決定する。ＨＤＲ画像の生成に必要な画像の数が３以上の場合、各画像の露出条件は、例えばＥＵＮＤＥＲとＥＯＶＥＲとの間を均等配分するように決定されればよい。
【００４７】
なお、本実施形態ではＨＤＲ画像の生成に必要な画像の数を被写体の輝度分布に応じて決定するものとして説明したが、ＨＤＲ画像の生成に用いる画像の数は固定値であってもよい。
【００４８】
Ｓ３０３で、制御部１０１は、動体領域についての適正露出条件を決定し、ＲＡＭ１０３に記憶させる。図４（ｃ）のように動体領域が検出された場合、制御部１０１は、該動体領域に対応する図７のような測光領域について不図示の測光部に測光を行わせ、得られた測光結果を用いて適正露出条件を決定する。適正露出条件の決定方法は、例えば図５を参照して上述したように、測光結果から得られた動体領域の階調分布に応じて決定すればよい。
【００４９】
Ｓ３０４で、制御部１０１は、ＲＡＭ１０３に記憶されているＳ３０２で決定したＨＤＲ画像の生成に用いる２以上の画像についての露出条件のうち、１つの露出条件をＳ３０３で決定した適正露出条件に変更する。具体的には制御部１０１は、ＨＤＲ画像の生成に用いる２以上の画像についての露出条件のうち、適正露出条件に最も露出量が近い露出条件を特定し、該露出条件を適正露出条件に変更する。
【００５０】
即ち、本実施形態ではＨＤＲ画像の生成において、少なくとも動体領域については適正露出条件で撮影された１つの画像の画素を割り当てるため、ＨＤＲ画像の生成に用いる２以上の画像の露出条件には適正露出条件が含まれる必要がある。つまり、Ｓ３０２では被写体の全体についての輝度分布に応じてＨＤＲ画像の生成に用いる２以上の画像の露出条件を決定しているため、該露出条件には適正露出条件が含まれていない可能性があり、本ステップにおいて変更を行う。
【００５１】
例えば、ＨＤＲ画像の生成に必要な画像の数が２であり、ＥＵＮＤＥＲ及びＥＯＶＥＲと、適正露出条件ＥＭＶとが図８（ａ）に示されるような関係にある場合を考える。このとき適性露出条件ＥＭＶに最も近い露出量はＥＵＮＤＥＲであるため、制御部１０１は図８（ｂ）に示されるように、ＨＤＲ画像の生成に必要な２つの画像の露出条件を適正露出条件ＥＭＶとＥＯＶＥＲとに変更する。また同様にＨＤＲ画像の生成に必要な画像の数が３であり、ＥＵＮＤＥＲ、中間階調画像の露出量ＥＭＩＤ、及びＥＯＶＥＲと、適正露出条件ＥＭＶとが図８（ｃ）に示されるような関係にある場合を考える。このとき適性露出条件ＥＭＶに最も近い露出量はＥＭＩＤであるため、制御部１０１は図８（ｄ）に示されるように、ＨＤＲ画像の生成に必要な３つの画像の露出条件を適正露出条件ＥＭＶ、ＥＵＮＤＥＲ、及びＥＯＶＥＲに変更する。
【００５２】
このように、本ダイナミックレンジ拡張画像生成処理では、Ｓ３０１乃至Ｓ３０４により、被写体の動体領域を検出し、該動体領域についての適正露出条件を含めて、ＨＤＲ画像の生成に必要な画像の露出条件を決定する。なお、Ｓ３０１及びＳ３０２では、それぞれ予備撮影画像を撮像し、予備撮影画像に基づいて制御部１０１が動体領域及び露出条件を決定するものとして説明した。しかしながら、それぞれのステップにおいて予備撮影動作を行う場合、実際にＨＤＲ画像の生成に用いる画像の撮影（本撮影）までに要する時間が増加するため、Ｓ３０１乃至Ｓ３０３の処理は並行して実行されてもよい。
【００５３】
例えば図９に示すように、制御部１０１は露出制御部１０９に絞り１０５、メカシャッタ１０６、撮像部１０７、及び前処理部１０８を制御させ、本撮影までに低露出画像９０１、高露出画像９０２、及び低露出画像９０３を時系列順に取得する。制御部１０１は、高露出画像９０２が取得された際に最低輝度部を特定し、Ｓ３０２における露出量ＥＯＶＥＲの決定を行えばよい。また制御部１０１は、低露出画像９０３（低露出画像９０１と同一の露出条件）が取得された際に最高輝度部を特定してＳ３０２における露出量ＥＵＮＤＥＲを決定し、さらにＨＤＲ画像の生成に必要な他の画像の露出条件を決定すればよい。このとき制御部１０１は並行して低露出画像９０１と低露出画像９０３とを比較してＳ３０１における動体領域を特定し、さらにＳ３０３の適正露出条件を決定すればよい。そしてＳ３０４でＨＤＲ画像の生成に必要な画像の露出条件のうち１つの露出条件を適正露出条件に変更した後、制御部１０１は露出制御部１０９に露出制御を行わせ、Ｓ３０５以降の本撮影処理及びＨＤＲ画像の合成処理を実行すればよい。
【００５４】
このように並行処理を行うことにより、本撮影までに要する時間を短縮することができるが、例えば直近にＨＤＲ画像の生成を行う撮影が行われた場合、本撮影までに要する時間をさらに短縮することもできる。直近に行われたＨＤＲ画像の生成は、所定の時間内であれば同一の被写体について行われていると考えられる。このため制御部１０１は、例えばＳ３０１あるいはＳ３０３において、動体領域あるいは適正露出条件の情報を直近に行われたＨＤＲ画像の生成に用いた動体領域あるいは適正露出条件を使用するようにしてもよい。この場合、動体領域あるいは適正露出条件を示す情報はＲＡＭ１０３に記憶されていればよい。
【００５５】
Ｓ３０５で、制御部１０１は、ＲＡＭ１０３に記憶された、Ｓ３０４における変更後の露出条件に従い、露出制御部１０９に絞り１０５、メカシャッタ１０６、撮像部１０７、及び前処理部１０８を制御させて、時分割撮影された複数の画像を取得する。なお、取得された時分割撮影された、露出の異なる複数の画像は、前処理部１０８及び画像処理部１１０における所定の処理が適用されてＹＣＣ形式の画像に変換された上で、画像メモリ１１１に格納される。
【００５６】
なお、本実施形態では簡単のため、図１０に示すような３枚の露出の異なる画像１００１、１００２、１００３を用いてＨＤＲ画像の生成を行うものとして説明するが、本発明の実施はこれに限らず、２枚以上の露出の異なる画像による生成において適用可能である。画像１００１〜１００３は、１００１、１００２、１００３の順に露出量が小さくなっており、時系列において同様の順番で撮影されるものとする。以下ではこれらの画像を、高露出画像１００１、中間露出画像１００２、低露出画像１００３と称して説明するものとする。またそれぞれの画像には、被写体として静止物体１０１０及び１０１１と動物体１０１２及び１０１３が含まれ、複数の画像の撮影中、動物体１０１２及び１０１３はデジタルカメラ１００に対して右方向に動いている。
【００５７】
また、デジタルカメラ１００が不図示の光学式及び電子式の少なくともいずれかの防振機能と類似のレジストレーション機能を備える場合、該機能はＳ３０５で得られる露出の異なる複数の画像に適用される。
【００５８】
Ｓ３０６で、制御部１０１は、画像メモリ１１１に格納されている複数の画像間で、同一の被写体に係る画素値を均一にするために、画像処理部１１０に各画像の露出に関する階調レベル合わせ処理を行わせる。具体的には画像処理部１１０は、画像メモリ１１１に格納されている複数の画像のそれぞれに対し、最長露出の画像の露出時間を基準とした各画像の露出時間の比の逆数を乗算することにより、階調レベル合わせを行う。なお、制御部１０１は、画像処理部１１０に当該レベル合わせ後の画像を画像メモリ１１１に出力させ、格納させる。
【００５９】
図１１は、階調レベル合わせを行った後の、各画像の階調範囲と、複数の画像を用いて生成されるＨＤＲ画像で表現可能な階調範囲を示した図である。図では階調範囲として画像の輝度Ｙ成分の画素値を用いている。またレベル合わせ後の各画像において白飛びの輝度閾値ＨＬＶ、黒潰れの輝度閾値ＬＬＶは参照符号を用いて表現され、それぞれａは高露出画像１００１、ｂは中間露出画像１００２、ｃは低露出画像１００３に対応している。
【００６０】
なお、本実施形態において、画素値とは画素が有する階調データを示し、画素が有色である場合は、色空間の成分の数の構成要素を有するベクトル量として表現するものとする。即ち、輝度のように色空間の特定成分の値についてはスカラー量を表すものとする。
【００６１】
Ｓ３０７で、制御部１０１は、画像メモリ１１１に格納されているレベル合わせ後の複数の画像間における、被写体に変化が生じている画素（動き画素）、即ち動物体が存在する領域と黒潰れあるいは白飛びの状態が変化する画素を検出する（第２の特定）。具体的には制御部１０１は、画像処理部１１０に格納されているレベル合わせ後の複数の画像を２枚ずつ読み出し、同一座標の画素に係る画素値の差分を算出し、当該画素値の差分が予め定められた閾値以上である場合に、当該画素を動き画素として検出する。即ち、本ステップで検出する動き画素は、Ｓ３０１で特定した動体領域とは異なり、露出条件により変化する白飛び領域及び黒潰れ領域を含む。本ステップにおいて検出する動き画素は、ＨＤＲ画像の生成において、生成ように撮像された画像のうち、適正露出条件で撮像された画像の画素を割り当てる画素を示している。
【００６２】
例えばレベル合わせ後の高露出画像１００１を基準として、中間露出画像１００２及び低露出画像１００３について輝度値の差分を算出する場合、３枚の画像の各画素が動き画素であるか否かを示す論理型変数ＢＭＯＶは、次の論理式により判断する。
ＢＭＯＶ＝Ｆ（Ｙｂ−Ｙａ）∨Ｆ（Ｙｃ−Ｙａ）・・・（１）
【００６３】
ここで、Ｆは画素の輝度値の差分ΔＹが、当該画素が動き画素であるかを判断するために予め定められた閾値ＴｈＭＯＶを超えるか否かを判断するための関数であり、次のように表される。
【００６４】
なお、本実施形態では画像メモリ１１１に格納されているＹＣＣ画像の画素値の輝度成分を用いて動き画素を検出するものとして説明するが、本発明の実施はこれに限らない。例えば、画像メモリ１１１に記憶されている画像がＲＧＢ画像やＲＡＷ画像である場合は、画素が動き画素であるか否かを、画素値を構成する各色成分を示すベクトルの絶対値、あるいは特定の色成分を用いて判断してもよい。
【００６５】
また、本実施形態ではＨＤＲ画像を合成するために用いる画像が３枚の場合について説明するが、それ以外の枚数を用いて合成を行う場合は、（１）の論理式は枚数に依存して変化する。複数の画像間において、同一座標の画素が動き画素であるか否かは、合成に用いる画像の数−１回の差分演算が少なくとも必要であり、論理式の項は当該回数と同じ数になり、全ての項はＯＲ条件で結合した論理式を（１）の代わりに用いればよい。なお、本実施形態では１つの画像を基準として、当該画像とその他の画像の輝度値の差分を算出して論理式を判断するものとして説明するが、基準の画像を設定せずに例えば時系列で連続する２つの画像間で輝度値の差分を算出してもよい。
【００６６】
図１０に示した高露出画像１００１、中間露出画像１００２、及び低露出画像１００３の間で動き画素を検出すると、画像の各画素は例えば図１２に示すように分類される。図では、動き画素は黒丸、動き画素に該当しない画素は白丸で示されている。
【００６７】
Ｓ３０８で、制御部１０１は画像処理部１１０を制御し、ダイナミックレンジを拡張したＨＤＲ画像を生成させる。具体的には制御部１０１は、Ｓ３０７で検出された動き画素の情報を画像処理部１１０に伝送し、動き画素とそれ以外の画素に応じて処理を切り替えてＨＤＲ画像を生成させる。画像処理部１１０は、入力された動き画素の情報に従い、生成するＨＤＲ画像のそれぞれの画素の画素値を次のように生成する。
【００６８】
動き画素と判定された画素については、画像処理部１１０はＳ３０３で決定した適正露出条件で、Ｓ３０５において撮像された画像における、同一座標の画素値をそのまま代入する。
【００６９】
動き画素以外の画素については、Ｓ３０７で動き画素として判定されていない、即ち露出の異なる複数の画像の全てにおいて、画素値の変化が閾値以内に収まっているため、いずれの画像の画素値を代入してもよい。なお、撮像素子の性能が低い場合、または前処理部１０８が電気的な影響を受けやすい場合には画素値にノイズが混入することも考えられるため、動き画素以外の画素については露出の異なる画像の全てあるいは一部の画像の画素値の重み付け平均値としてもよい。低露出画像がレベル合わせ処理において相対的に大きなゲインが乗じられており、ノイズやＡ／Ｄ変換の階調レベルの有限性による量子誤差の影響を受けやすいため、例えば重み付け平均では低露出画像の重み付けを小さくすればよい。
【００７０】
なお、本ステップで画像処理部１１０により生成されたＨＤＲ画像は、画像メモリ１１１に格納されるものとする。
【００７１】
Ｓ３０９で、制御部１０１は、Ｓ３０８で生成されたＨＤＲ画像に対して、画像処理部１１０にトーンマッピング処理あるいはレンジ圧縮処理を適用させ、最終的な出力のＨＤＲ画像を生成する。
【００７２】
なおレンジ圧縮処理は、出力画像が所望のビット深度よりも大きい場合にビット深度を一致させるための処理である。
【００７３】
またトーンマッピング処理は、例えば画像中の暗領域について階調を持ち上げさせ、明領域については階調を圧縮させる等、所望の階調表現となるような補正処理である。ダイナミックレンジを拡張した画像の生成において、ダイナミックレンジ拡張後にも残る白飛び、黒潰れ階調の画素を目立たなくするようにトーンマッピング処理を適用することは有効である。
【００７４】
本実施形態では、動き画素として検出された画素については、ＨＤＲ画像の生成時に１つの露出画像の画素値が割り当てられるため、当該露出画像の白飛び及び黒潰れ画素がそれぞれ階調表現の最大あるいは最小値に近づくようにトーンマッピング処理を行えばよい。このようにすることで、最終的な出力のＨＤＲ画像において、白飛び及び黒潰れ画素を目立たなくさせることができる。
【００７５】
また、ＨＤＲ画像の生成時に、動き画素として検出された画素に割り当てられる露出画像が有する白飛び画素の数と黒潰れ画素の数に応じて、トーンマッピング処理でマッピングする階調変換曲線を異ならせてもよい。
【００７６】
例えばＨＤＲ画像の生成時に、動き画素として検出された画素に割り当てられる露出画像において、白飛び画素に対して黒潰れ画素が多い場合は、図１３に示す１３０１のような変換曲線にマッピングされるように処理を行えばよい。図１３は、横軸がトーンマッピング対象画像の階調値、縦軸がトーンマッピング後の階調値を示しており、軸はそれぞれ右方向あるいは上方向にいくほど高階調となっている。図１３において対角線上に示した破線１３０４はトーンマッピングによる階調補正を行わない場合の階調変換曲線を表している。つまり、変換曲線１３０１は、露出画像における黒潰れ画素を目立たなくするために、黒潰れ画素の階調値が低階調端に近づけられるようになっており、黒潰れ階調以上の画素の階調表現の幅を拡張するような曲線となっている。
【００７７】
反対に、露出画像において黒潰れ画素に対して白飛び画素が多い場合は、１３０２のような変換曲線にマッピングされる。また被写体のダイナミックレンジが広く、露出画像において黒潰れ画素と白飛び画素の両方が同様の割合で存在する場合は、１３０３に示すような変換曲線を用いる。これにより、黒潰れ画素の階調値が低階調端に近づけられ、白飛び画素の階調値が高階調端に近づけられるため、中間階調における階調表現を広くするとともに、黒潰れ画素及び白飛び画素を目立たなくすることができる。
【００７８】
このように、トーンマッピング処理において適用する階調変換曲線を動的に変化させることで、最終的な出力のＨＤＲ画像において、黒潰れ画素及び白飛び画素を目立ちにくくすることが可能となる。
【００７９】
また、本ステップの処理は、Ｓ３０８で生成されたＨＤＲ画像のビット深度が最終的な出力のＨＤＲ画像のビット深度と同一、あるいは階調特性が既に所望の特性を呈している場合は行う必要がない。
【００８０】
Ｓ３１０で、制御部１０１は、最終的な出力のＨＤＲ画像を、予め定められた記録形式に変換するために画像処理部１１０において所定の符号化処理を適用させた後、記録媒体Ｉ／Ｆ部１１４を介して記録媒体１１５に出力し、記録させて本処理を完了する。また制御部１０１は、焦点距離や絞り値等の露出制御情報をメタデータとしてＨＤＲ画像と同時記録する場合には、制御部より必要な撮影設定情報や状態情報を取得し、記録媒体１１５に記録させる。
【００８１】
なお、本実施形態では、最終的な出力のＨＤＲ画像を記録するものとして説明したが、ＨＤＲ画像に対して、さらに階調・色調・コントラスト補正、エッジ強調等の画像処理を適用する場合は、当該ＨＤＲ画像を画像メモリ１１１に格納すればよい。
【００８２】
また、本実施形態では、例えば三脚を用いて撮影された画像のように、撮影シーンに含まれる、静止している被写体の画像内の位置が変化しない複数の画像を用いてＨＤＲ画像を生成するものとして説明した。しかしながら、本発明はこれに限らず、撮影された画像が手ぶれ等の影響により、撮影シーンに含まれる、静止している被写体の画像内の位置が変化する場合は、公知の方法により画像間の位置あわせを行った上で、被写体に変化が生じた画素を判断してもよい。手ぶれによる影響は、例えば図１に破線で示した姿勢変化検出部１２０を用いて、各画像について撮像時のデジタルカメラ１００の姿勢情報を検出しておき、画像の比較時あるいは合成時に影響を補正すればよい。
【００８３】
また、本実施形態では、時分割で撮影された露出の異なる複数の画像を用いるものとして説明したが、本発明の実施は、例えば撮影日が異なる同一時刻の画像等、同一の撮影シーンを撮影した画像を用いてＨＤＲ画像を生成する場合にも適用可能である。
【００８４】
以上説明したように、本実施形態の撮像装置は、露出の異なる複数の画像を合成して得られる、階調範囲を拡張した画像における像の不連続を回避することができる。具体的には撮像装置は、被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び該２以上の画像の各々についての露出条件を決定する。また時分割で撮像された複数の画像から、画像内に含まれる動体領域を特定した後、該動体領域に対応する位置についての適正露出条件を決定し、２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する。そして撮像装置は、変更された適正露出条件を含む、決定された露出条件で撮像された２以上の画像について、階調レベルを合わせた後、２以上の画像間における対応する画素値の差分が閾値以上である領域を特定する。そして、適正露出条件で撮像された画像の画素を、特定された画素値の差分が閾値以上である領域の画素として用い、他の画素については２以上の画像を合成してダイナミックレンジを拡張した画像を生成する。
【００８５】
このようにすることで、動物体に対応する領域に白飛び領域あるいは黒潰れ領域が含まれる場合であっても、像の不連続を生じさせないとともに、該領域の画素を好適な露出条件で撮像された画素としたＨＤＲ画像を生成することができる。
【００８６】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
被写体を撮像して得られた画像を出力する撮像手段と、
前記被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び該２以上の画像の各々についての露出条件を決定する決定手段と、
前記撮像手段により時分割で撮像された複数の予備撮影画像から、画像内に含まれる動体領域を特定する第１の特定手段と、
前記第１の特定手段により特定された前記動体領域に対応する位置についての適正露出条件を決定し、前記決定手段により決定された前記２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する変更手段と、
前記変更手段により変更された前記適正露出条件を含む、前記決定手段により決定された露出条件で前記撮像手段により撮像された前記２以上の画像について、階調レベルを合わせた後、前記２以上の画像間における対応する画素値の差分が閾値以上である領域を特定する第２の特定手段と、
前記２以上の画像を合成してダイナミックレンジを拡張した画像を生成する生成手段であって、前記適正露出条件で撮像された画像の画素を、前記第２の特定手段により特定された前記画素値の差分が閾値以上である領域の画素として用いる生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記変更手段は、前記決定手段により決定された前記２以上の画像の露出条件のうち、前記適正露出条件と露出量が最も近い露出条件を、前記適正露出条件に変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記変更手段は、前記動体領域に白飛び画素が含まれない露出量の範囲のうちの最も高い露出量に基づいて前記適正露出条件を決定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１の特定手段は、前記生成手段により直近にダイナミックレンジを拡張した画像が生成されている場合に、該直近のダイナミックレンジを拡張した画像の生成に用いた動体領域を前記画像内に含まれる動体領域として特定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記変更手段は、前記生成手段により直近にダイナミックレンジを拡張した画像が生成されている場合に、前記２以上の画像の露出条件のうち、１つの露出条件を、該直近のダイナミックレンジを拡張した画像の生成に用いた適正露出条件に変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の特定手段は、同一の露出条件で、時分割で撮像された複数の画像の画素値の差分を用いて、前記動体領域を特定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
被写体を撮像して得られた画像を出力する撮像手段を有する撮像装置の制御方法であって、
前記撮像装置の決定手段が、前記被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び該２以上の画像の各々についての露出条件を決定する決定工程と、
前記撮像装置の第１の特定手段が、前記撮像手段により時分割で撮像された複数の予備撮影画像から、画像内に含まれる動体領域を特定する第１の特定工程と、
前記撮像装置の変更手段が、前記第１の特定工程において特定された前記動体領域に対応する位置についての適正露出条件を決定し、前記決定工程において決定された前記２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する変更工程と、
前記撮像装置の第２の特定手段が、前記変更工程において変更された前記適正露出条件を含む、前記決定工程において決定された露出条件で前記撮像手段により撮像された前記２以上の画像について、階調レベルを合わせた後、前記２以上の画像間における対応する画素値の差分が閾値以上である領域を特定する第２の特定工程と、
前記撮像装置の生成手段が、前記２以上の画像を合成してダイナミックレンジを拡張した画像を生成する生成工程であって、前記適正露出条件で撮像された画像の画素を、前記第２の特定工程において特定された前記画素値の差分が閾値以上である領域の画素として用いる生成工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の撮像装置の撮像手段を除く各手段として機能させるためのプログラム。
【請求項１】
被写体を撮像して得られた画像を出力する撮像手段と、
前記被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び該２以上の画像の各々についての露出条件を決定する決定手段と、
前記撮像手段により時分割で撮像された複数の予備撮影画像から、画像内に含まれる動体領域を特定する第１の特定手段と、
前記第１の特定手段により特定された前記動体領域に対応する位置についての適正露出条件を決定し、前記決定手段により決定された前記２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する変更手段と、
前記変更手段により変更された前記適正露出条件を含む、前記決定手段により決定された露出条件で前記撮像手段により撮像された前記２以上の画像について、階調レベルを合わせた後、前記２以上の画像間における対応する画素値の差分が閾値以上である領域を特定する第２の特定手段と、
前記２以上の画像を合成してダイナミックレンジを拡張した画像を生成する生成手段であって、前記適正露出条件で撮像された画像の画素を、前記第２の特定手段により特定された前記画素値の差分が閾値以上である領域の画素として用いる生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記変更手段は、前記決定手段により決定された前記２以上の画像の露出条件のうち、前記適正露出条件と露出量が最も近い露出条件を、前記適正露出条件に変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記変更手段は、前記動体領域に白飛び画素が含まれない露出量の範囲のうちの最も高い露出量に基づいて前記適正露出条件を決定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１の特定手段は、前記生成手段により直近にダイナミックレンジを拡張した画像が生成されている場合に、該直近のダイナミックレンジを拡張した画像の生成に用いた動体領域を前記画像内に含まれる動体領域として特定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記変更手段は、前記生成手段により直近にダイナミックレンジを拡張した画像が生成されている場合に、前記２以上の画像の露出条件のうち、１つの露出条件を、該直近のダイナミックレンジを拡張した画像の生成に用いた適正露出条件に変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の特定手段は、同一の露出条件で、時分割で撮像された複数の画像の画素値の差分を用いて、前記動体領域を特定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
被写体を撮像して得られた画像を出力する撮像手段を有する撮像装置の制御方法であって、
前記撮像装置の決定手段が、前記被写体の全体における画素値の分布から、ダイナミックレンジを拡張した画像の生成に用いる２以上の画像の数、及び該２以上の画像の各々についての露出条件を決定する決定工程と、
前記撮像装置の第１の特定手段が、前記撮像手段により時分割で撮像された複数の予備撮影画像から、画像内に含まれる動体領域を特定する第１の特定工程と、
前記撮像装置の変更手段が、前記第１の特定工程において特定された前記動体領域に対応する位置についての適正露出条件を決定し、前記決定工程において決定された前記２以上の画像の露出条件のうち、１つの露出条件を該適正露出条件に変更する変更工程と、
前記撮像装置の第２の特定手段が、前記変更工程において変更された前記適正露出条件を含む、前記決定工程において決定された露出条件で前記撮像手段により撮像された前記２以上の画像について、階調レベルを合わせた後、前記２以上の画像間における対応する画素値の差分が閾値以上である領域を特定する第２の特定工程と、
前記撮像装置の生成手段が、前記２以上の画像を合成してダイナミックレンジを拡張した画像を生成する生成工程であって、前記適正露出条件で撮像された画像の画素を、前記第２の特定工程において特定された前記画素値の差分が閾値以上である領域の画素として用いる生成工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の撮像装置の撮像手段を除く各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−１０６１４９（Ｐ２０１３−１０６１４９Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４７９６２（Ｐ２０１１−２４７９６２）
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]