撮像装置及び方法
【課題】階調変換時のノイズ増幅を抑制した、ダイナミックレンジ拡大画像を得ること。
【解決手段】複数枚数の異露光撮像画像を合成して生成したダイナミックレンジ拡大画像について階調変換曲線を算出する階調変換曲線算出部１４と、前記階調変換曲線からコントラスト増幅率を算出する増幅率算出部１５と、前記コントラスト増幅率に基づき、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する輝度範囲選択部１６と、前記異露光撮像時の露光条件のうちの前記輝度範囲に対応する露光条件と前記輝度範囲と前記コントラスト増幅率とに基づき同露光撮像回数を算出する同露光撮像回数算出部１９と、を有する同露光撮像設定部９が設定した条件で同露光撮像を行い、画像合成部５が前記ダイナミックレンジ拡大画像と複数枚数の同露光撮像画像とを合成し、得られた合成画像に対して階調変換部７が階調変換を行う。
【解決手段】複数枚数の異露光撮像画像を合成して生成したダイナミックレンジ拡大画像について階調変換曲線を算出する階調変換曲線算出部１４と、前記階調変換曲線からコントラスト増幅率を算出する増幅率算出部１５と、前記コントラスト増幅率に基づき、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する輝度範囲選択部１６と、前記異露光撮像時の露光条件のうちの前記輝度範囲に対応する露光条件と前記輝度範囲と前記コントラスト増幅率とに基づき同露光撮像回数を算出する同露光撮像回数算出部１９と、を有する同露光撮像設定部９が設定した条件で同露光撮像を行い、画像合成部５が前記ダイナミックレンジ拡大画像と複数枚数の同露光撮像画像とを合成し、得られた合成画像に対して階調変換部７が階調変換を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚数の露光が異なる撮像画像を合成してダイナミックレンジ拡大画像を生成する撮像装置及び方法に関する。
【背景技術】
【０００２】
一般に、デジタルカメラ等の撮像装置に搭載される撮像素子のダイナミックレンジが、撮像範囲（フレーム）内の全被写体（以下「シーン」と記載する）の最高輝度と最低輝度の比、即ち、シーンのダイナミックレンジより狭い場合がある。この様な場合、撮像により得られた画像（撮像画像）においては、高輝度部分では白飛びが、低輝度部分では黒つぶれが発生する。この様な撮像画像は、撮像者が観察するシーンとは異なる。
【０００３】
そこで、上述の様な撮像装置のダイナミックレンジの狭小さを解決する技術が、例えば特許文献１及び２に開示されている。特許文献１は、１つのシーンに対して露光量が異なる複数枚数の撮像画像を取得し、それらを合成して１枚の画像を作成することで広いダイナミックレンジの画像を得る技術を開示している。この技術は、複数回の撮像により実質的に画像のダイナミックレンジをシーンのダイナミックレンジより広くすることで、最終的に得られる画像での高輝度部分の白飛びや低輝度部分の黒つぶれを防ぐものである。また、特許文献２は、シーンに注目する被写体（注目被写体）が存在する場合、全撮像範囲に対する適性露出で取得した全撮像範囲画像と、注目被写体に対する適正露出で取得した注目被写体画像とを得て、注目被写体画像から当該注目被写体領域の部分画像を抽出し、その抽出した部分画像を全撮像範囲画像における当該注目被写体領域の部分画像と置換することで、注目被写体とその他被写体が共に適正露光となる画像を得る技術を開示している。
【０００４】
また一般に、撮像により得られた撮像画像に対して階調変換処理等の画像処理を実施することで、観察者がより自然な画像として観察できるようにした上で、保存用或いは表示等することが行われている。このとき、階調変換処理において、コントラストの増幅により低輝度部分のノイズが増幅されてしまう。そこで、このノイズ増幅の問題を解決する技術が、例えば特許文献３に開示されている。一般に同条件で撮像した画像を重ね合わせることでノイズを低減させることができる。そこで特許文献３に開示されている技術では、まず、階調変換処理において用いる階調変換曲線を微分して、コントラスト増幅率を算出し、その算出したコントラスト増幅率に基づき、同条件で撮像した画像の重ね合わせる枚数を設定する。そして、それらコントラスト増幅率に応じて設定した枚数の画像を合成する。この合成処理によって、ノイズの増幅が抑制された階調変換が行なわれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３９４０１９号公報
【特許文献２】特開２００８−１７２３９５号公報
【特許文献３】特開２００８−６０８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記特許文献３に開示されているノイズ増幅抑制技術では、１回の撮像で得た１枚の画像の情報を用いてコントラスト増幅率を算出し、前記コントラスト増幅率に基づいて合成枚数を算出している。
従って、前記特許文献１又は２に開示されているダイナミックレンジを拡大する技術に、この特許文献３に開示されている技術を適用しようとすると、異なる露光条件で得た複数枚数の画像を合成して作成した１枚のダイナミックレンジ拡大画像の情報を用いてコントラスト増幅率を算出し、前記コントラスト増幅率に基づいて前記ダイナミックレンジ拡大画像の枚数を算出する必要がある。即ち、前記異なる露光条件で得た複数枚数の画像が、コントラスト増幅率に基づいて求めたセット数必要となる。しかしながら、多くの画像を得て合成画像を作成するには、例えば撮像時間、演算処理及び記憶媒体等の演算資源を多く要する。
【０００７】
そこで本発明は、露光条件が異なる複数枚数の撮影撮像画像を合成しダイナミックレンジ拡大画像を生成する撮像装置及び方法において、少ない撮像枚数により、階調変換時のノイズ増幅を抑制する撮像装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を果たすため、本発明の撮像装置の一態様は、露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得する異露光画像取得手段と、前記異露光撮像画像のそれぞれの撮像時の露光条件を記憶する露光条件記憶手段と、前記複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成するダイナミックレンジ拡大画像生成手段と、前記ダイナミックレンジ拡大画像について階調変換曲線を算出する階調変換曲線算出手段と、前記階調変換曲線からコントラスト増幅率を算出する増幅率算出手段と、前記コントラスト増幅率に基づいて、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する輝度範囲選択手段と、前記輝度範囲に対応する露光条件を前記露光条件記憶手段より読み出す露光条件読出手段と、前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出する同露光撮像回数算出手段と、前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得する同露光画像取得手段と、前記ダイナミックレンジ拡大画像に前記複数枚数の同露光撮像画像を合成して合成画像を生成する画像合成手段と、前記合成画像に対し前記階調変換曲線に基づき階調変換を行う階調変換手段と、を備えることを特徴とする。
【０００９】
また、前記目的を果たすため、本発明の撮像方法の一態様は、撮像手段によって露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得し、前記異露光撮像画像撮像時の露光条件を記憶手段に記憶し、前記複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成し、前記ダイナミックレンジ拡大画像について階調変換曲線を算出し、前記階調変換曲線からコントラスト増幅率を算出し、前記コントラスト増幅率に基づいて、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択し、前記輝度範囲に対応する露光条件を前記記憶手段より読み出し、前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出し、前記撮像手段によって前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得し、前記ダイナミックレンジ拡大画像に前記複数枚数の同露光撮像画像を合成して合成画像を生成し、前記合成画像に対し前記階調変換曲線に基づき階調変換を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、露光条件が異なる複数枚数の撮像画像を合成しダイナミックレンジ拡大画像を生成する撮像装置及び方法において、ダイナミックレンジ拡大画像より求めたコントラスト増幅率が高い特定の輝度範囲に対応する露光条件で複数枚数の同露光撮像画像を取得し、それらとダイナミックレンジ拡大画像とを合成した上で階調変換を行うので、少ない撮像枚数により、階調変換時のノイズ増幅を抑制する撮像装置及び方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る撮像装置の一実施形態を示すブロック構成図。
【図２】撮像装置のダイナミックレンジと、シーンのダイナミックレンジの関係の一例を示す図。
【図３】撮像装置のダイナミックレンジと、シーンのダイナミックレンジの関係の一例を示す図。
【図４】入力及び出力がそれぞれ８ビットの場合の階調変換曲線の一例を示す図。
【図５】ヒストグラムに基づいた階調変換曲線の算出方法の例を示す図。
【図６】入力画像輝度値Ｉinに対するコントラスト増幅率Ｒの関係の例を示す図。
【図７】コントラスト増幅率Ｒ及び閾値Ｚと、特定領域Ａとの関係を示す図。
【図８】輝度範囲選択部の構成例を示すブロック図。
【図９】コントラスト増幅率Ｒとノイズ量Ｎｏｉとの積及び閾値Ｌと、特定領域Ａとの関係を示す図。
【図１０】コントラスト増幅率Ｒに応じて閾値Ｚを設定し特定される、特定領域Ａにおける同露光撮像回数ＰＦの算出例を示す図。
【図１１】特定領域Ａが複数の露光条件を含む場合における同露光撮像の露光条件と撮像回数の例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について図面を参照して説明する。図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。図１に示す撮像装置は、撮像部１と、撮像制御部２と、撮像設定部３と、画像取得部４と、画像合成部５と、合成画像記憶部６と、階調変換部７と、異露光撮像設定部８と、同露光撮像設定部９とを具備する。前記異露光撮像設定部８は、ダイナミックレンジ推定部１０と、シーン輝度取得部１１と、ダイナミックレンジ算出部１２と、異露光撮像回数算出部１３とを有する。前記同露光撮像設定部９は、階調変換曲線算出部１４と、増幅率算出部１５と、輝度範囲選択部１６と、露光条件記憶部１７と、露光条件読出部１８と、同露光撮像回数算出部１９とを有する。
【００１３】
撮像設定部３は露光条件を設定し、それを撮像制御部２に出力する。撮像制御部２は、撮像設定部３から入力された条件に基づき撮像部１を制御する。撮像部１は、撮像光学系１Ａ、絞り１Ｂ、シャッター１Ｃ、撮像素子１Ｄ、Ａ／Ｄ変換器１Ｅを有しており、撮像制御部２により制御され撮像動作をする。また、撮像設定部３及び撮像制御部２により露光条件を変更することが可能であり、撮像部１は、１枚以上の露光が異なる画像（以下、「異露光撮像画像」と称する）を取得できる。尚、本実施形態においては、撮像部１における撮像素子１ＤはＲＧＢ原色系であり、Ａ／Ｄ変換器１Ｅによる信号の階調幅をＢビットとする。
【００１４】
撮像手段としての撮像部１は、画像取得部４に、少なくとも１枚の撮像し得られた画像（撮像画像）を出力する。画像取得部４は、図示しない画像記憶部を含むものであり、撮像部１から入力された撮像画像を前記画像記憶部に記憶する。尚、画像取得部４は、階調幅Ｂビットの映像信号を、必要な枚数記憶できる。このように、撮像部１、撮像制御部２、撮像設定部３及び画像取得部４は、例えば、露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得する異露光画像取得手段として機能する。
【００１５】
一方、異露光撮像設定部８においては、ダイナミックレンジ推定部１０は、撮像部１に内包される撮像素子１Ｄのダイナミックレンジを取得し、前記撮像素子１Ｄにて撮像される映像のＲＧＢ信号のうち、最小信号値Ｖmin及び最大信号値Ｖmaxを取得する。また、ダイナミックレンジ推定部１０は、撮像部１におけるＩＳＯ感度ＩＳＯ、絞り値Ｆ、シャッター速度Ｔ等の露光条件に関わる撮像情報を取得する。ダイナミックレンジ推定部１０は、これらを用いてＡＰＥＸ単位で定義される信号値ＢＶの最小値ＢＶminISO及び最大値ＢＶmaxISOを、次の式（１）により算出する。
【数１】
ここで、bitは撮像画像におけるデジタル信号変換時のビット精度であり、ｊ及びｋはそれぞれ映像信号をＢＶ値に変換する際の補正係数である。
【００１６】
該ダイナミックレンジ推定部１０は、更に、前記ＢＶminISO及びＢＶmaxISOを用いて、最小輝度値ＢminISO及び最大輝度値ＢmaxISOを、次の式（２）により算出する。
【数２】
ここでＮ及びＫはそれぞれ定数である。
【００１７】
そして、該ダイナミックレンジ推定部１０は、撮像素子１Ｄのダイナミックレンジに相応する輝度範囲ΔＢを当該撮像装置のダイナミックレンジと見做すものとして前記算出した撮像画像の最小輝度値ＢminISO及び最大輝度値ＢmaxISOを用いて、当該撮像装置のダイナミックレンジΔＢを、次の式（３）により算出する。
【数３】
【００１８】
また、前記式（３）により算出する撮像装置のダイナミックレンジΔＢは、次の式（４）の様に、デシベル値ＤＲ＿ΔＢとしてもよい。
【数４】
【００１９】
また、ダイナミックレンジ推定部１０は、撮像装置のダイナミックレンジを記憶する図示しないダイナミックレンジ記憶部を備え、予めダイナミックレンジ測定用チャート等を撮像して撮像装置のダイナミックレンジの推定値を求めて、該ダイナミックレンジ記憶部に記憶しておいても良い。これにより、ダイナミックレンジ推定部１０は、ダイナミックレンジ拡大画像生成の度に撮像装置のダイナミックレンジΔＢを算出しなくても、予め記憶された撮像装置のダイナミックレンジの推定値を読み出し利用することができる。
【００２０】
ダイナミックレンジ推定部１０は、こうして算出した又は予め記憶した撮像装置のダイナミックレンジΔＢを、異露光撮像回数算出部１３に出力する。
また、シーン輝度取得部１１は、図示しないＡＥセンサ等によりシーンの輝度値Ｅを測定し、それをダイナミックレンジ算出部１２に出力する。ダイナミックレンジ算出部１２は、シーン輝度取得部１１から入力された輝度値Ｅの最小値Ｅmin及び最大値Ｅmaxを用いて、シーンのダイナミックレンジΔＥを、次の式（５）により算出する。
【数５】
【００２１】
また、前記式（５）により算出されるシーンのダイナミックレンジΔＥは、次の式（６）の様に、デシベル値ＤＲ＿ΔＥとしてもよい。
【数６】
【００２２】
ダイナミックレンジ算出部１２は、こうして算出したシーンのダイナミックレンジΔＥを、異露光撮像回数算出部１３に出力する。
異露光撮像回数算出部１３は、前記ダイナミックレンジ推定部１０から入力された撮像装置のダイナミックレンジΔＢと、前記ダイナミックレンジ算出部１２から入力されたシーンのダイナミックレンジΔＥとに基づいて、撮像装置のダイナミックレンジΔＢを偏移させることでシーンのダイナミックレンジΔＥの範囲の画像情報を取得するために必要な撮像装置のダイナミックレンジΔＢの範囲の数、即ち必要な異露光撮像画像の枚数（異露光撮像回数ＤＦ）を、次の式（７）により算出する。
【数７】
【００２３】
図２は、シーンのダイナミックレンジΔＥと撮像装置のダイナミックレンジΔＢ及び異露光撮像回数ＤＦとの関係の一例を示す図である。図２は、輝度値の高い範囲から順に、範囲が重ならない様に撮像装置のダイナミックレンジΔＢを異露光撮像ごとに偏移させ、シーンのダイナミックレンジΔＥより広い輝度範囲の画像情報を得ることを示している。
【００２４】
あるいは、前述の異露光撮像回数算出部１３による異露光撮像回数ＤＦの算出においては、図３に示す様に重複する輝度範囲Ｘを含む様に算出してもよい。図３は、シーンのダイナミックレンジΔＥと撮像装置のダイナミックレンジΔＢ及び異露光撮像回数ＤＦとの関係の一例を示す図であり、輝度値の高い範囲から順に、範囲が重なる様に撮像装置のダイナミックレンジΔＢを異露光撮像ごとに偏移させ、シーンのダイナミックレンジΔＥより広い輝度範囲の画像情報を得ることを示している。この場合、異露光撮像回数ＤＦは、次の式（８）により算出する。
【数８】
【００２５】
異露光撮像回数算出部１３は、こうして算出した異露光撮像回数ＤＦを、撮像設定部３に出力する。撮像設定部３は、この異露光撮像回数算出部１３から入力された異露光撮像画像回数ＤＦに基づいて撮像条件（ＩＳＯ感度、絞り値、シャッター速度）を設定し、撮像制御部２に、その設定した撮像条件を出力する。撮像制御部２は、この撮像設定部３から入力された撮像条件に基づき、撮像部１を制御する。撮像部１は、撮像制御部２の制御下でＤＦ回の異露光撮像を行う。撮像部１は、画像取得部４に、ＤＦ回の異露光撮像により得られたＤＦ枚の異露光撮像画像を出力する。
【００２６】
画像取得部４は、それら撮像部１から入力されたＤＦ枚の異露光撮像画像を図示しない画像記憶部に記憶する。画像取得部４は、画像合成部５に、それら記憶したＤＦ枚の異露光撮像画像を出力する。画像合成部５は、それら画像取得部４が出力するＤＦ枚の異露光撮像画像の画像信号に対し、公知の動きベクトルを用いたマッチング処理等で、ＤＦ枚の異露光撮像画像の位置合わせをする。次に、画像合成部５は、ＤＦ枚の異露光撮像画像の同座標の画素値を合成する画像合成処理を行い、ダイナミックレンジ拡大画像を生成する。合成方法は単純加算でも良いし、次の式（９）の様に、重み付け加算でも良い。
【数９】
【００２７】
ここで、Ｉは合成後の画像信号、Ｉiはi枚目の画像信号、αiは重み付け係数を示す。重み付け加算を行うことにより、単純加算の場合より撮像者が観察するシーンに近い画像を作成することができる。このように、画像合成部５は、例えば、複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成するダイナミックレンジ拡大画像生成手段として機能する。また、重み付け加算を行なう場合には、画像合成部５は、例えば、複数枚数の異露光撮像画像の輝度値に基づいて重み付け係数を算出する重み付け算出手段として、及び、前記重み付け係数に基づき複数枚数の異露光撮像画像の重み付け加算を行う加算手段として機能する。画像合成部５は、合成画像記憶部６に、この生成したダイナミックレンジ拡大画像を出力する。合成画像記憶部６は、この画像合成部５から入力されたダイナミックレンジ拡大画像を記憶する。
【００２８】
該合成画像記憶部６は、階調変換曲線算出部１４からの要求に応じて、その階調変換曲線算出部１４に、記憶しているダイナミックレンジ拡大画像を出力する。階調変換曲線算出部１４は、この合成画像記憶部６から入力されたダイナミックレンジ拡大画像に基づいて、階調変換曲線を算出する。即ち、この階調変換曲線算出部１４は、例えば、ダイナミックレンジ拡大画像について階調変換曲線を算出する階調変換曲線算出手段として機能する。この階調変換曲線は、階調変換処理における入力画像輝度値Ｉinと出力画像輝度値Ｑとの関係を示す曲線である。図４は、入力及び出力がそれぞれ８ビットの場合の階調変換曲線の一例を示す図である。
【００２９】
階調変換曲線は、予め作成し、階調変換曲線算出部１４内の図示しない記憶手段に記憶し、同じく階調変換曲線算出部１４内の図示しない読出し部によって読み出すことで算出することができる。階調変換曲線を予め作成し記憶しておけば、撮影時にはそれを読み出せば良いので、撮像時の処理負荷が軽減される。このように、階調変換曲線算出部１４内の図示しない記憶手段は、例えば、撮像装置において予め設定された階調変換曲線を記憶する階調変換曲線記憶手段として機能し、階調変換曲線算出部１４内の図示しない読出し部は、例えば、前記階調変換曲線記憶手段より階調変換曲線を読み出す階調変換曲線読出手段として機能する。
【００３０】
あるいは、階調変換曲線は、ダイナミックレンジ拡大画像信号Ｉから算出しても良い。そのようにダイナミックレンジ拡大画像信号Ｉから階調変換曲線を算出する場合、階調変換曲線算出部１４は、特に図示はしないが、例えば、ヒストグラム算出部、クリッピング部、累積値算出部を備える。
【００３１】
ヒストグラム算出部は、ダイナミックレンジ拡大画像信号Ｉから、図５（ａ）に示すようなヒストグラムを算出する。このヒストグラムは、対象とする画像について横軸に画素の輝度値を示し、縦軸に当該輝度値である画素の数又は割合で表される頻度を示す。このように、階調変換曲線算出部１４内の図示しないヒストグラム算出部は、例えば、ダイナミックレンジ拡大画像からヒストグラムを算出するヒストグラム算出手段として機能する。
【００３２】
クリッピング部は、図５（ａ）に破線で示すような所定の頻度をクリップ値としてクリップ処理を行い、図５（ｂ）に示すようなヒストグラムを作成する。このように、階調変換曲線算出部１４内の図示しないクリッピング部は、例えば、前記ヒストグラムに対してクリップ処理を行うクリッピング手段として機能する。
【００３３】
累積算出部は、このクリップ処理後のヒストグラムから画素の頻度を累積処理して階調変換曲線を算出する。このように、階調変換曲線算出部１４内の図示しない累積算出部は、例えば、前記クリップ処理が行われたヒストグラムの累積値を算出する累積値算出手段として機能する。また、クリップ処理を行なわずに、直接、ヒストグラム算出部で算出したヒストグラムから画素の頻度を累積処理して階調変換曲線を算出するようにしても構わない。図５（ｃ）において、実線は、クリップ処理前のヒストグラムから算出した階調変換曲線を、破線は、クリップ処理後のヒストグラムから算出した階調変換曲線を、それぞれ示している。本実施形態では、図５（ｃ）の実線で示した階調変換曲線と破線で示した階調変換曲線のいずれの階調変換曲線を用いても良い。シーン毎にヒストグラムを用いて階調変換曲線を算出する場合は、予め作成し記憶しておいた階調変換曲線を用いる場合と異なり、シーン毎に適切な階調変換曲線が得られるため、コントラストを強調しすぎない適切な階調変換を行うことができる。
【００３４】
一般に階調変換処理の際、例えば図４又は図５（ｃ）に示した階調変換曲線において入力画像輝度値Ｉinが低い部分で認められる様な、階調変換曲線の傾きが大きい急激な階調変換を行うとノイズが増幅される。そこで本実施形態では、同条件で撮像した複数枚数の画像を合成することで、このノイズの増幅を抑制する。
【００３５】
ここで、本実施形態で用いるノイズ増幅の抑制方法の原理を簡単に説明する。画像の信号値をＳ、ノイズをＮとすると、２枚の画像を合成した場合の信号値Ｓ’及びノイズＮ’は次の式（１０）で表される。
【数１０】
【００３６】
このように、信号値は２倍になるのに対して、ノイズは２倍ではなくてルート２倍の増加に抑えられる。従って、２枚の画像を合成した場合の合成信号のＳＮ比は、次の式（１１）の様に算出される。
【数１１】
【００３７】
前記式（１１）の右辺第１項は元の１枚の画像信号のＳＮ比と同じであり、同式右辺第２項の分だけ、元の１枚の画像信号のＳＮ比より、２枚の画像を合成した画像信号のＳＮ比の方が高くなる。同様に、より多くの画像を合成した画像は、よりＳＮ比が向上する。
【００３８】
本実施形態では、ダイナミックレンジ拡大画像に対する階調変換処理でノイズが増幅する場合、同露光条件で撮像する複数枚数の画像（以下、「同露光撮像画像」と称する）を合成することでノイズを低減させる。
このため、階調変換曲線算出部１４は、増幅率算出部１５に、前述の算出した階調変換曲線を出力する。増幅率算出部１５は、この階調変換曲線算出部１４から入力された階調変換曲線を微分してコントラスト増幅率Ｒを算出する。このように、増幅率算出部１５は、例えば、階調変換曲線からコントラスト増幅率を算出する増幅率算出手段として機能する。ここでコントラスト増幅率Ｒは、階調変換曲線の微分値であり、階調変換時の入力画像輝度値に対する出力画像輝度値の増幅率を表す。図６は、入力画像輝度値Ｉinに対するコントラスト増幅率Ｒの関係の例を示す図である。
【００３９】
増幅率算出部１５は、輝度範囲選択部１６に、算出したコントラスト増幅率Ｒを出力する。輝度範囲選択部１６は、この増幅率算出部１５から入力されたコントラスト増幅率Ｒに関する閾値Ｚを設定し、それら入力されたコントラスト増幅率Ｒと設定した閾値Ｚとが次の式（１２）の条件を満たす時、ノイズが増幅されると判断する。
【数１２】
【００４０】
即ち、輝度範囲選択部１６は、前記式（１２）における条件を満たす輝度範囲を、特定領域Ａとして選択する。図７は、これらコントラスト増幅率Ｒ及び閾値Ｚと、特定領域Ａとの関係を示す図である。このように、輝度範囲選択部１６は、例えば、コントラスト増幅率に基づいて、ダイナミックレンジ拡大画像における特定の輝度範囲を選択する輝度範囲選択手段として機能する。即ち、輝度範囲選択部１６は、例えば、コントラスト増幅率における閾値を設定する閾値設定手段と、前記コントラスト増幅率と前記閾値とを比較してダイナミックレンジ拡大画像における特定の輝度範囲を選択する選択手段としての機能を果たす。
【００４１】
この時、輝度範囲選択部１６は、露光条件読出部１８を介して記憶手段としての露光条件記憶部１７から、前記特定領域Ａに対応する輝度範囲撮像時の絞り値、シャッター速度、ＩＳＯ感度等の露光条件に関わる設定値を読み出す。即ち、露光条件記憶部１７は、露光条件読出部１８の要求に応じて、その露光条件読出部１８に対し記憶している露光条件を出力し、露光条件読出部１８は、この露光条件記憶部１７から入力された露光条件を輝度範囲選択部１６に出力する。このように、露光条件記憶部１７は、例えば、異露光撮像画像のそれぞれの撮像時の露光条件を記憶する露光条件記憶手段として機能し、露光条件読出部１８は、例えば、前記輝度範囲に対応する露光条件を露光条件記憶手段より読み出す露光条件読出手段として機能する。
【００４２】
また、輝度範囲選択部１６は、合成画像記憶部６に記憶された前記ダイナミックレンジ拡大画像を読み出し、下記の様にダイナミックレンジ拡大画像におけるノイズ量を算出し、これを用いて特定領域Ａを選択しても良い。
この場合、輝度範囲選択部１６は、図８に示す通り、バッファ部２０と、局所領域抽出部２１と、ノイズ量算出部２２と、算出部２３と、輝度範囲特定部２４とにより構成する。
【００４３】
バッファ部２０は、合成画像記憶部６から入力される前記ダイナミックレンジ拡大画像信号Ｉを記憶する。該バッファ部２０は、局所領域抽出部２１の要求に応じて、その局所領域抽出部２１に、記憶しているダイナミックレンジ拡大画像信号Ｉを出力する。局所領域抽出部２１は、そのバッファ部２０から入力されたダイナミックレンジ拡大画像信号Ｉから、注目画素を中心とする例えば５×５の局所領域を抽出する。この局所領域の抽出は、ダイナミックレンジ拡大画像Ｉ全体に対して行っても良いし、指定された領域についてのみ行っても良い。局所領域抽出部２１は、ノイズ量算出部２２に、抽出した局所領域の情報を出力する。ノイズ量算出部２２は、その局所領域抽出部２１から入力された局所領域の情報を用いて、ノイズ量を算出する。ある注目画素νにおけるノイズ量Ｎνは、例えば局所領域における信号の平均値Ｓνに対する関数として、次の式（１３）により算出する。
【数１３】
ここで、α、β、γはそれぞれ定数である。
【００４４】
前記式（１３）の関数以外にも、ノイズ量Ｎνは、入力信号に対するノイズ量についてルックアップテーブル（ＬＵＴ）を用いて算出しても良いし、局所領域の信号に対する標準偏差をノイズ量Ｎνとしても良い。
【００４５】
ノイズ量算出部２２は、ダイナミックレンジ拡大画像Ｉ全体又は指定された領域の各画素を注目画素としてそれぞれに対して前記処理を行い、算出部２３に、算出した画素毎のノイズ量を出力する。算出部２３は、そのノイズ量算出部２２から入力された画素毎のノイズ量用いて、当該ダイナミックレンジ拡大画像信号全体のノイズ量Ｎｏｉを次の式（１４）により算出する。
【数１４】
【００４６】
ここで、Ｍは総画素数を表す。ダイナミックレンジ拡大画像信号全体のノイズ量Ｎｏｉを算出するにあたっては、前記式（１４）の単純加算以外にも、領域による重み付け加算を用いても良い。このように、局所領域抽出部２１、ノイズ量算出部２２及び算出部２３は、例えば、ダイナミックレンジ拡大画像からノイズ量を算出するノイズ量算出手段として機能する。即ち、局所領域抽出部２１は、例えば、ダイナミックレンジ拡大画像の注目画素を中心とする局所領域を抽出する局所領域抽出手段として機能し、ノイズ量算出部２２は、例えば、局所領域中の画像に対してノイズ量を算出する局所領域ノイズ量算出手段として機能し、算出部２３は、例えば、局所領域中のノイズ量を用いて前記ダイナミックレンジ拡大画像全体のノイズ量を算出する算出手段として機能する。
【００４７】
算出部２３は、輝度範囲特定部２４に、算出したノイズ量Ｎｏｉを出力する。輝度範囲特定部２４は、前記増幅率算出部１５から入力されたコントラスト増幅率Ｒ、前記算出部２３から入力されたノイズ量Ｎｏｉ及び閾値Ｌを用いて次の式（１５）の条件を満たす時、ノイズが増幅されると判断する。
【数１５】
【００４８】
即ち、輝度範囲特定部２４は、前記式（１５）における条件を満たす輝度範囲を、特定領域Ａとして選択する。図９は、コントラスト増幅率Ｒとノイズ量Ｎｏｉとの積及び図示しない輝度範囲選択部１６内の閾値設定部が設定する閾値Ｌと、特定領域Ａとの関係を示す図である。このように、輝度範囲特定部２４は、例えば、閾値を設定する閾値設定手段として、及び、前記コントラスト増幅率及び前記ノイズ量を用いて算出した値と、前記閾値とを比較してダイナミックレンジ拡大画像における特定の輝度範囲を選択する選択手段として機能する。
【００４９】
輝度範囲選択部１６は、同露光撮像回数算出部１９に、選択された特定領域Ａの輝度範囲情報を出力する。同露光撮像回数算出部１９は、この輝度範囲選択部１６から入力された特定領域Ａの輝度範囲情報に基づき、前記輝度範囲の露光条件で行う同露光撮像の回数を算出する。このように、同露光撮像回数算出部１９は、前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出する同露光撮像回数算出手段として機能する。
【００５０】
図１０は、閾値Ｚを設定しコントラスト増幅率Ｒより特定される特定領域Ａの輝度範囲の露光条件で行う同露光撮像画像回数ＰＦの算出方法の例を示す図である。同露光撮像回数算出部１９は、前記増幅率算出部１５よりコントラスト増幅率Ｒを取得し、同露光撮像回数算出部１９内の図示しない代表輝度値算出部は、前記特定領域Ａの輝度範囲における入力画像輝度値の平均値である代表輝度値ＩAを算出し、同露光撮像回数算出部１９内の図示しない代表輝度値増幅率算出部は、代表輝度値ＩAに対応するコントラスト増幅率ＲAを用いて、同露光撮像回数ＰＦを次の式（１６）により算出する。
【数１６】
【００５１】
ここで、Ｃ1及びＣ2はそれぞれ定数であり、撮像装置の構成によって設定される整数である。本実施形態においてはＣ1＝Ｃ2＝１とする。同露光撮像回数算出部１９は、撮像設定部３に、こうして算出した同露光撮像回数ＰＦを出力する。このように、同露光撮像回数算出部１９内の図示しない代表輝度値算出部は、例えば、前記特定輝度範囲から代表輝度値を算出する代表輝度値算出手段として機能し、同じく同露光撮像回数算出部１９内の図示しない代表輝度値増幅率算出部は、例えば、前記代表輝度値に対する増幅率を算出する代表輝度値増幅率算出手段として機能する。
【００５２】
撮像設定部３は、同露光撮像を行う特定領域Ａの露光条件を、露光条件読出部１８を介して前記露光条件記憶部１７から読み出す。即ち、露光条件記憶部１７は、露光条件読出部１８の要求に応じて、その露光条件読出部１８に対し記憶している同露光撮像を行う特定領域Ａの露光条件を出力し、露光条件読出部１８は、その露光条件記憶部１７が出力する同露光撮像を行う特定領域Ａの露光条件を撮像設定部３に出力する。撮像設定部３は、この露光条件読出部１８からの入力される特定領域Ａの露光条件と、前記同露光撮像回数算出部１９から入力される同露光撮像回数ＰＦとを合わせて撮像条件を設定する。撮像設定部３は、撮像制御部２に、その設定した撮像条件を出力する。撮像制御部２は、その撮像設定部３から入力された撮像条件に基づき、撮像部１を制御する。撮像部１は、撮像制御部２の制御下でＰＦ回の同露光撮像を行う。以上の処理により、前記コントラスト増幅率に基づいて選択された前記ダイナミックレンジ拡大画像における特定の輝度範囲に対応する異露光撮像における露光条件を用いて、ＰＦ回の同露光撮像を行う。
【００５３】
撮像部１は、画像取得部４に、ＰＦ回の同露光撮像により得られるＰＦ枚の同露光撮像画像を出力する。画像取得部４は、これらの撮像部１から入力されるＰＦ枚の同露光撮像画像を図示しない画像記憶部に記憶する。このように、撮像部１、撮像制御部２、撮像設定部３及び画像取得部４は、例えば、前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得する同露光画像取得手段として機能する。
【００５４】
この時、図１１に示す例のように、前記特定領域Ａが撮像装置のダイナミックレンジΔＢ以上であり複数の露光条件Ａ1及びＡ2を含むものであった場合には、前記算出された同露光撮像回数ＰＦについて、例えば、露光条件Ａ1について入力画像輝度値の代表輝度値ＩA1を、露光条件Ａ2について入力画像輝度値の代表輝度値ＩA2をそれぞれ算出し、代表輝度値ＩA1及びＩA2にそれぞれ対応するコントラスト増幅率ＲA1及びＲA2を用いて、次の式（１７）の様に、前記同露光撮像回数ＰＦを複数露光条件の数Ｈ各々に適宜割り振り、露光条件Ａ1でＰＦ1回（図１１の例では３回）、露光条件Ａ2でＰＦ2回（図１１の例では２回）の撮像を行っても良い。この割り振りは、撮像装置の構成によって設定される。
【数１７】
【００５５】
画像取得部４は、画像合成部５に、記憶したＰＦ枚の同露光撮像画像を出力する。また、前記合成画像記憶部６は、画像合成部５に、記憶しているダイナミックレンジ拡大画像を出力する。画像合成部５は、それら画像取得部４から入力されたＰＦ枚の同露光撮像画像の画像信号と、合成画像記憶部６から入力されたダイナミックレンジ拡大画像との合成画像を生成する。このように、画像合成部５は、例えば、ダイナミックレンジ拡大画像に複数枚数の同露光撮像画像を合成して合成画像を生成する画像合成手段として機能する。
【００５６】
画像合成部５は、階調変換部７に、その生成した前記ＰＦ枚の同露光撮像画像とダイナミックレンジ拡大画像との合成画像を出力する。また、前記階調変換曲線算出部１４は、階調変換部７に、算出したダイナミックレンジ拡大画像に対して適正な階調変換曲線を出力する。階調変換部７は、その階調変換曲線算出部１４から入力された階調変換曲線に基づいて、画像合成部５から入力された前記合成画像の階調変換処理を行う。そして、階調変換部７は、最終的なダイナミックレンジ拡大画像として、この階調変換された合成画像を出力する。このように、階調変換部７は、例えば、合成画像に対し階調変換曲線に基づき階調変換を行う階調変換手段として機能する。
【００５７】
このダイナミックレンジが拡大され階調変換された階調変換部７からの出力画像は、図示しない記録媒体に記録されたり、図示しないインタフェースを介して表示装置や印刷装置等の外部出力装置で出力されたり、あるいは図示しないインタフェースを介してネットワーク上の記憶装置等に記憶されたりすることができる。
【００５８】
以上のような本実施形態に係る撮像装置によれば、露光量が異なる複数枚数の画像を合成し生成されるダイナミックレンジ拡大画像において、コントラスト増幅率Ｒが高い特定領域ＡについてＰＦ枚の同露光撮像画像を取得して合成することで、少ない撮像枚数により、階調変換処理により増幅されるノイズの影響を低減させることができ、撮像者が観察するシーンと同様に広いダイナミックレンジを有しかつノイズが少ない画像を提供することができる。
【００５９】
また、図７を参照して説明した通り、コントラスト増幅率Ｒに基づいて、ノイズが増幅される特定領域Ａを決定することで、ノイズ増幅が懸念される輝度範囲を高精度に選択することができる。さらに、図８及び９を参照して説明した通り、ノイズ量を算出しこれを用いて特定領域Ａを決定することで、ノイズ増幅が懸念される輝度範囲をさらに高精度に選択することができる。この時、局所領域毎のノイズ量を算出することにより、各画素のノイズ量を正確に算出することができる。
【００６０】
また、特定領域Ａに含まれる輝度を撮影した露光条件についてのみ同露光撮像を行うことによって、異露光撮像時の異なる露光条件の個々について同露光撮像を行う場合に比し撮像回数及び得られた画像の処理を低減することができる。前記同露光撮像を実行するために、露光条件は露光条件記憶部１７に記憶され、その条件は露光条件読出部１８を介して読み出される。
【００６１】
尚、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。
【符号の説明】
【００６２】
１…撮像部、２…撮像制御部、３…撮像設定部、４…画像取得部、５…画像合成部、６…合成画像記憶部、７…階調変換部、８…異露光撮像設定部、９…同露光撮像設定部、１０…ダイナミックレンジ推定部、１１…シーン輝度取得部、１２…ダイナミックレンジ算出部、１３…異露光撮像回数算出部、１４…階調変換曲線算出部、１５…増幅率算出部、１６…輝度範囲選択部、１７…露光条件記憶部、１８…露光条件読出部、１９…同露光撮像回数算出部、２０…バッファ部、２１…局所領域抽出部、２２…ノイズ量算出部、２３…算出部、２４…輝度範囲特定部。
【技術分野】
【０００１】
本発明は、複数枚数の露光が異なる撮像画像を合成してダイナミックレンジ拡大画像を生成する撮像装置及び方法に関する。
【背景技術】
【０００２】
一般に、デジタルカメラ等の撮像装置に搭載される撮像素子のダイナミックレンジが、撮像範囲（フレーム）内の全被写体（以下「シーン」と記載する）の最高輝度と最低輝度の比、即ち、シーンのダイナミックレンジより狭い場合がある。この様な場合、撮像により得られた画像（撮像画像）においては、高輝度部分では白飛びが、低輝度部分では黒つぶれが発生する。この様な撮像画像は、撮像者が観察するシーンとは異なる。
【０００３】
そこで、上述の様な撮像装置のダイナミックレンジの狭小さを解決する技術が、例えば特許文献１及び２に開示されている。特許文献１は、１つのシーンに対して露光量が異なる複数枚数の撮像画像を取得し、それらを合成して１枚の画像を作成することで広いダイナミックレンジの画像を得る技術を開示している。この技術は、複数回の撮像により実質的に画像のダイナミックレンジをシーンのダイナミックレンジより広くすることで、最終的に得られる画像での高輝度部分の白飛びや低輝度部分の黒つぶれを防ぐものである。また、特許文献２は、シーンに注目する被写体（注目被写体）が存在する場合、全撮像範囲に対する適性露出で取得した全撮像範囲画像と、注目被写体に対する適正露出で取得した注目被写体画像とを得て、注目被写体画像から当該注目被写体領域の部分画像を抽出し、その抽出した部分画像を全撮像範囲画像における当該注目被写体領域の部分画像と置換することで、注目被写体とその他被写体が共に適正露光となる画像を得る技術を開示している。
【０００４】
また一般に、撮像により得られた撮像画像に対して階調変換処理等の画像処理を実施することで、観察者がより自然な画像として観察できるようにした上で、保存用或いは表示等することが行われている。このとき、階調変換処理において、コントラストの増幅により低輝度部分のノイズが増幅されてしまう。そこで、このノイズ増幅の問題を解決する技術が、例えば特許文献３に開示されている。一般に同条件で撮像した画像を重ね合わせることでノイズを低減させることができる。そこで特許文献３に開示されている技術では、まず、階調変換処理において用いる階調変換曲線を微分して、コントラスト増幅率を算出し、その算出したコントラスト増幅率に基づき、同条件で撮像した画像の重ね合わせる枚数を設定する。そして、それらコントラスト増幅率に応じて設定した枚数の画像を合成する。この合成処理によって、ノイズの増幅が抑制された階調変換が行なわれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３３９４０１９号公報
【特許文献２】特開２００８−１７２３９５号公報
【特許文献３】特開２００８−６０８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記特許文献３に開示されているノイズ増幅抑制技術では、１回の撮像で得た１枚の画像の情報を用いてコントラスト増幅率を算出し、前記コントラスト増幅率に基づいて合成枚数を算出している。
従って、前記特許文献１又は２に開示されているダイナミックレンジを拡大する技術に、この特許文献３に開示されている技術を適用しようとすると、異なる露光条件で得た複数枚数の画像を合成して作成した１枚のダイナミックレンジ拡大画像の情報を用いてコントラスト増幅率を算出し、前記コントラスト増幅率に基づいて前記ダイナミックレンジ拡大画像の枚数を算出する必要がある。即ち、前記異なる露光条件で得た複数枚数の画像が、コントラスト増幅率に基づいて求めたセット数必要となる。しかしながら、多くの画像を得て合成画像を作成するには、例えば撮像時間、演算処理及び記憶媒体等の演算資源を多く要する。
【０００７】
そこで本発明は、露光条件が異なる複数枚数の撮影撮像画像を合成しダイナミックレンジ拡大画像を生成する撮像装置及び方法において、少ない撮像枚数により、階調変換時のノイズ増幅を抑制する撮像装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を果たすため、本発明の撮像装置の一態様は、露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得する異露光画像取得手段と、前記異露光撮像画像のそれぞれの撮像時の露光条件を記憶する露光条件記憶手段と、前記複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成するダイナミックレンジ拡大画像生成手段と、前記ダイナミックレンジ拡大画像について階調変換曲線を算出する階調変換曲線算出手段と、前記階調変換曲線からコントラスト増幅率を算出する増幅率算出手段と、前記コントラスト増幅率に基づいて、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する輝度範囲選択手段と、前記輝度範囲に対応する露光条件を前記露光条件記憶手段より読み出す露光条件読出手段と、前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出する同露光撮像回数算出手段と、前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得する同露光画像取得手段と、前記ダイナミックレンジ拡大画像に前記複数枚数の同露光撮像画像を合成して合成画像を生成する画像合成手段と、前記合成画像に対し前記階調変換曲線に基づき階調変換を行う階調変換手段と、を備えることを特徴とする。
【０００９】
また、前記目的を果たすため、本発明の撮像方法の一態様は、撮像手段によって露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得し、前記異露光撮像画像撮像時の露光条件を記憶手段に記憶し、前記複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成し、前記ダイナミックレンジ拡大画像について階調変換曲線を算出し、前記階調変換曲線からコントラスト増幅率を算出し、前記コントラスト増幅率に基づいて、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択し、前記輝度範囲に対応する露光条件を前記記憶手段より読み出し、前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出し、前記撮像手段によって前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得し、前記ダイナミックレンジ拡大画像に前記複数枚数の同露光撮像画像を合成して合成画像を生成し、前記合成画像に対し前記階調変換曲線に基づき階調変換を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、露光条件が異なる複数枚数の撮像画像を合成しダイナミックレンジ拡大画像を生成する撮像装置及び方法において、ダイナミックレンジ拡大画像より求めたコントラスト増幅率が高い特定の輝度範囲に対応する露光条件で複数枚数の同露光撮像画像を取得し、それらとダイナミックレンジ拡大画像とを合成した上で階調変換を行うので、少ない撮像枚数により、階調変換時のノイズ増幅を抑制する撮像装置及び方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る撮像装置の一実施形態を示すブロック構成図。
【図２】撮像装置のダイナミックレンジと、シーンのダイナミックレンジの関係の一例を示す図。
【図３】撮像装置のダイナミックレンジと、シーンのダイナミックレンジの関係の一例を示す図。
【図４】入力及び出力がそれぞれ８ビットの場合の階調変換曲線の一例を示す図。
【図５】ヒストグラムに基づいた階調変換曲線の算出方法の例を示す図。
【図６】入力画像輝度値Ｉinに対するコントラスト増幅率Ｒの関係の例を示す図。
【図７】コントラスト増幅率Ｒ及び閾値Ｚと、特定領域Ａとの関係を示す図。
【図８】輝度範囲選択部の構成例を示すブロック図。
【図９】コントラスト増幅率Ｒとノイズ量Ｎｏｉとの積及び閾値Ｌと、特定領域Ａとの関係を示す図。
【図１０】コントラスト増幅率Ｒに応じて閾値Ｚを設定し特定される、特定領域Ａにおける同露光撮像回数ＰＦの算出例を示す図。
【図１１】特定領域Ａが複数の露光条件を含む場合における同露光撮像の露光条件と撮像回数の例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について図面を参照して説明する。図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。図１に示す撮像装置は、撮像部１と、撮像制御部２と、撮像設定部３と、画像取得部４と、画像合成部５と、合成画像記憶部６と、階調変換部７と、異露光撮像設定部８と、同露光撮像設定部９とを具備する。前記異露光撮像設定部８は、ダイナミックレンジ推定部１０と、シーン輝度取得部１１と、ダイナミックレンジ算出部１２と、異露光撮像回数算出部１３とを有する。前記同露光撮像設定部９は、階調変換曲線算出部１４と、増幅率算出部１５と、輝度範囲選択部１６と、露光条件記憶部１７と、露光条件読出部１８と、同露光撮像回数算出部１９とを有する。
【００１３】
撮像設定部３は露光条件を設定し、それを撮像制御部２に出力する。撮像制御部２は、撮像設定部３から入力された条件に基づき撮像部１を制御する。撮像部１は、撮像光学系１Ａ、絞り１Ｂ、シャッター１Ｃ、撮像素子１Ｄ、Ａ／Ｄ変換器１Ｅを有しており、撮像制御部２により制御され撮像動作をする。また、撮像設定部３及び撮像制御部２により露光条件を変更することが可能であり、撮像部１は、１枚以上の露光が異なる画像（以下、「異露光撮像画像」と称する）を取得できる。尚、本実施形態においては、撮像部１における撮像素子１ＤはＲＧＢ原色系であり、Ａ／Ｄ変換器１Ｅによる信号の階調幅をＢビットとする。
【００１４】
撮像手段としての撮像部１は、画像取得部４に、少なくとも１枚の撮像し得られた画像（撮像画像）を出力する。画像取得部４は、図示しない画像記憶部を含むものであり、撮像部１から入力された撮像画像を前記画像記憶部に記憶する。尚、画像取得部４は、階調幅Ｂビットの映像信号を、必要な枚数記憶できる。このように、撮像部１、撮像制御部２、撮像設定部３及び画像取得部４は、例えば、露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得する異露光画像取得手段として機能する。
【００１５】
一方、異露光撮像設定部８においては、ダイナミックレンジ推定部１０は、撮像部１に内包される撮像素子１Ｄのダイナミックレンジを取得し、前記撮像素子１Ｄにて撮像される映像のＲＧＢ信号のうち、最小信号値Ｖmin及び最大信号値Ｖmaxを取得する。また、ダイナミックレンジ推定部１０は、撮像部１におけるＩＳＯ感度ＩＳＯ、絞り値Ｆ、シャッター速度Ｔ等の露光条件に関わる撮像情報を取得する。ダイナミックレンジ推定部１０は、これらを用いてＡＰＥＸ単位で定義される信号値ＢＶの最小値ＢＶminISO及び最大値ＢＶmaxISOを、次の式（１）により算出する。
【数１】
ここで、bitは撮像画像におけるデジタル信号変換時のビット精度であり、ｊ及びｋはそれぞれ映像信号をＢＶ値に変換する際の補正係数である。
【００１６】
該ダイナミックレンジ推定部１０は、更に、前記ＢＶminISO及びＢＶmaxISOを用いて、最小輝度値ＢminISO及び最大輝度値ＢmaxISOを、次の式（２）により算出する。
【数２】
ここでＮ及びＫはそれぞれ定数である。
【００１７】
そして、該ダイナミックレンジ推定部１０は、撮像素子１Ｄのダイナミックレンジに相応する輝度範囲ΔＢを当該撮像装置のダイナミックレンジと見做すものとして前記算出した撮像画像の最小輝度値ＢminISO及び最大輝度値ＢmaxISOを用いて、当該撮像装置のダイナミックレンジΔＢを、次の式（３）により算出する。
【数３】
【００１８】
また、前記式（３）により算出する撮像装置のダイナミックレンジΔＢは、次の式（４）の様に、デシベル値ＤＲ＿ΔＢとしてもよい。
【数４】
【００１９】
また、ダイナミックレンジ推定部１０は、撮像装置のダイナミックレンジを記憶する図示しないダイナミックレンジ記憶部を備え、予めダイナミックレンジ測定用チャート等を撮像して撮像装置のダイナミックレンジの推定値を求めて、該ダイナミックレンジ記憶部に記憶しておいても良い。これにより、ダイナミックレンジ推定部１０は、ダイナミックレンジ拡大画像生成の度に撮像装置のダイナミックレンジΔＢを算出しなくても、予め記憶された撮像装置のダイナミックレンジの推定値を読み出し利用することができる。
【００２０】
ダイナミックレンジ推定部１０は、こうして算出した又は予め記憶した撮像装置のダイナミックレンジΔＢを、異露光撮像回数算出部１３に出力する。
また、シーン輝度取得部１１は、図示しないＡＥセンサ等によりシーンの輝度値Ｅを測定し、それをダイナミックレンジ算出部１２に出力する。ダイナミックレンジ算出部１２は、シーン輝度取得部１１から入力された輝度値Ｅの最小値Ｅmin及び最大値Ｅmaxを用いて、シーンのダイナミックレンジΔＥを、次の式（５）により算出する。
【数５】
【００２１】
また、前記式（５）により算出されるシーンのダイナミックレンジΔＥは、次の式（６）の様に、デシベル値ＤＲ＿ΔＥとしてもよい。
【数６】
【００２２】
ダイナミックレンジ算出部１２は、こうして算出したシーンのダイナミックレンジΔＥを、異露光撮像回数算出部１３に出力する。
異露光撮像回数算出部１３は、前記ダイナミックレンジ推定部１０から入力された撮像装置のダイナミックレンジΔＢと、前記ダイナミックレンジ算出部１２から入力されたシーンのダイナミックレンジΔＥとに基づいて、撮像装置のダイナミックレンジΔＢを偏移させることでシーンのダイナミックレンジΔＥの範囲の画像情報を取得するために必要な撮像装置のダイナミックレンジΔＢの範囲の数、即ち必要な異露光撮像画像の枚数（異露光撮像回数ＤＦ）を、次の式（７）により算出する。
【数７】
【００２３】
図２は、シーンのダイナミックレンジΔＥと撮像装置のダイナミックレンジΔＢ及び異露光撮像回数ＤＦとの関係の一例を示す図である。図２は、輝度値の高い範囲から順に、範囲が重ならない様に撮像装置のダイナミックレンジΔＢを異露光撮像ごとに偏移させ、シーンのダイナミックレンジΔＥより広い輝度範囲の画像情報を得ることを示している。
【００２４】
あるいは、前述の異露光撮像回数算出部１３による異露光撮像回数ＤＦの算出においては、図３に示す様に重複する輝度範囲Ｘを含む様に算出してもよい。図３は、シーンのダイナミックレンジΔＥと撮像装置のダイナミックレンジΔＢ及び異露光撮像回数ＤＦとの関係の一例を示す図であり、輝度値の高い範囲から順に、範囲が重なる様に撮像装置のダイナミックレンジΔＢを異露光撮像ごとに偏移させ、シーンのダイナミックレンジΔＥより広い輝度範囲の画像情報を得ることを示している。この場合、異露光撮像回数ＤＦは、次の式（８）により算出する。
【数８】
【００２５】
異露光撮像回数算出部１３は、こうして算出した異露光撮像回数ＤＦを、撮像設定部３に出力する。撮像設定部３は、この異露光撮像回数算出部１３から入力された異露光撮像画像回数ＤＦに基づいて撮像条件（ＩＳＯ感度、絞り値、シャッター速度）を設定し、撮像制御部２に、その設定した撮像条件を出力する。撮像制御部２は、この撮像設定部３から入力された撮像条件に基づき、撮像部１を制御する。撮像部１は、撮像制御部２の制御下でＤＦ回の異露光撮像を行う。撮像部１は、画像取得部４に、ＤＦ回の異露光撮像により得られたＤＦ枚の異露光撮像画像を出力する。
【００２６】
画像取得部４は、それら撮像部１から入力されたＤＦ枚の異露光撮像画像を図示しない画像記憶部に記憶する。画像取得部４は、画像合成部５に、それら記憶したＤＦ枚の異露光撮像画像を出力する。画像合成部５は、それら画像取得部４が出力するＤＦ枚の異露光撮像画像の画像信号に対し、公知の動きベクトルを用いたマッチング処理等で、ＤＦ枚の異露光撮像画像の位置合わせをする。次に、画像合成部５は、ＤＦ枚の異露光撮像画像の同座標の画素値を合成する画像合成処理を行い、ダイナミックレンジ拡大画像を生成する。合成方法は単純加算でも良いし、次の式（９）の様に、重み付け加算でも良い。
【数９】
【００２７】
ここで、Ｉは合成後の画像信号、Ｉiはi枚目の画像信号、αiは重み付け係数を示す。重み付け加算を行うことにより、単純加算の場合より撮像者が観察するシーンに近い画像を作成することができる。このように、画像合成部５は、例えば、複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成するダイナミックレンジ拡大画像生成手段として機能する。また、重み付け加算を行なう場合には、画像合成部５は、例えば、複数枚数の異露光撮像画像の輝度値に基づいて重み付け係数を算出する重み付け算出手段として、及び、前記重み付け係数に基づき複数枚数の異露光撮像画像の重み付け加算を行う加算手段として機能する。画像合成部５は、合成画像記憶部６に、この生成したダイナミックレンジ拡大画像を出力する。合成画像記憶部６は、この画像合成部５から入力されたダイナミックレンジ拡大画像を記憶する。
【００２８】
該合成画像記憶部６は、階調変換曲線算出部１４からの要求に応じて、その階調変換曲線算出部１４に、記憶しているダイナミックレンジ拡大画像を出力する。階調変換曲線算出部１４は、この合成画像記憶部６から入力されたダイナミックレンジ拡大画像に基づいて、階調変換曲線を算出する。即ち、この階調変換曲線算出部１４は、例えば、ダイナミックレンジ拡大画像について階調変換曲線を算出する階調変換曲線算出手段として機能する。この階調変換曲線は、階調変換処理における入力画像輝度値Ｉinと出力画像輝度値Ｑとの関係を示す曲線である。図４は、入力及び出力がそれぞれ８ビットの場合の階調変換曲線の一例を示す図である。
【００２９】
階調変換曲線は、予め作成し、階調変換曲線算出部１４内の図示しない記憶手段に記憶し、同じく階調変換曲線算出部１４内の図示しない読出し部によって読み出すことで算出することができる。階調変換曲線を予め作成し記憶しておけば、撮影時にはそれを読み出せば良いので、撮像時の処理負荷が軽減される。このように、階調変換曲線算出部１４内の図示しない記憶手段は、例えば、撮像装置において予め設定された階調変換曲線を記憶する階調変換曲線記憶手段として機能し、階調変換曲線算出部１４内の図示しない読出し部は、例えば、前記階調変換曲線記憶手段より階調変換曲線を読み出す階調変換曲線読出手段として機能する。
【００３０】
あるいは、階調変換曲線は、ダイナミックレンジ拡大画像信号Ｉから算出しても良い。そのようにダイナミックレンジ拡大画像信号Ｉから階調変換曲線を算出する場合、階調変換曲線算出部１４は、特に図示はしないが、例えば、ヒストグラム算出部、クリッピング部、累積値算出部を備える。
【００３１】
ヒストグラム算出部は、ダイナミックレンジ拡大画像信号Ｉから、図５（ａ）に示すようなヒストグラムを算出する。このヒストグラムは、対象とする画像について横軸に画素の輝度値を示し、縦軸に当該輝度値である画素の数又は割合で表される頻度を示す。このように、階調変換曲線算出部１４内の図示しないヒストグラム算出部は、例えば、ダイナミックレンジ拡大画像からヒストグラムを算出するヒストグラム算出手段として機能する。
【００３２】
クリッピング部は、図５（ａ）に破線で示すような所定の頻度をクリップ値としてクリップ処理を行い、図５（ｂ）に示すようなヒストグラムを作成する。このように、階調変換曲線算出部１４内の図示しないクリッピング部は、例えば、前記ヒストグラムに対してクリップ処理を行うクリッピング手段として機能する。
【００３３】
累積算出部は、このクリップ処理後のヒストグラムから画素の頻度を累積処理して階調変換曲線を算出する。このように、階調変換曲線算出部１４内の図示しない累積算出部は、例えば、前記クリップ処理が行われたヒストグラムの累積値を算出する累積値算出手段として機能する。また、クリップ処理を行なわずに、直接、ヒストグラム算出部で算出したヒストグラムから画素の頻度を累積処理して階調変換曲線を算出するようにしても構わない。図５（ｃ）において、実線は、クリップ処理前のヒストグラムから算出した階調変換曲線を、破線は、クリップ処理後のヒストグラムから算出した階調変換曲線を、それぞれ示している。本実施形態では、図５（ｃ）の実線で示した階調変換曲線と破線で示した階調変換曲線のいずれの階調変換曲線を用いても良い。シーン毎にヒストグラムを用いて階調変換曲線を算出する場合は、予め作成し記憶しておいた階調変換曲線を用いる場合と異なり、シーン毎に適切な階調変換曲線が得られるため、コントラストを強調しすぎない適切な階調変換を行うことができる。
【００３４】
一般に階調変換処理の際、例えば図４又は図５（ｃ）に示した階調変換曲線において入力画像輝度値Ｉinが低い部分で認められる様な、階調変換曲線の傾きが大きい急激な階調変換を行うとノイズが増幅される。そこで本実施形態では、同条件で撮像した複数枚数の画像を合成することで、このノイズの増幅を抑制する。
【００３５】
ここで、本実施形態で用いるノイズ増幅の抑制方法の原理を簡単に説明する。画像の信号値をＳ、ノイズをＮとすると、２枚の画像を合成した場合の信号値Ｓ’及びノイズＮ’は次の式（１０）で表される。
【数１０】
【００３６】
このように、信号値は２倍になるのに対して、ノイズは２倍ではなくてルート２倍の増加に抑えられる。従って、２枚の画像を合成した場合の合成信号のＳＮ比は、次の式（１１）の様に算出される。
【数１１】
【００３７】
前記式（１１）の右辺第１項は元の１枚の画像信号のＳＮ比と同じであり、同式右辺第２項の分だけ、元の１枚の画像信号のＳＮ比より、２枚の画像を合成した画像信号のＳＮ比の方が高くなる。同様に、より多くの画像を合成した画像は、よりＳＮ比が向上する。
【００３８】
本実施形態では、ダイナミックレンジ拡大画像に対する階調変換処理でノイズが増幅する場合、同露光条件で撮像する複数枚数の画像（以下、「同露光撮像画像」と称する）を合成することでノイズを低減させる。
このため、階調変換曲線算出部１４は、増幅率算出部１５に、前述の算出した階調変換曲線を出力する。増幅率算出部１５は、この階調変換曲線算出部１４から入力された階調変換曲線を微分してコントラスト増幅率Ｒを算出する。このように、増幅率算出部１５は、例えば、階調変換曲線からコントラスト増幅率を算出する増幅率算出手段として機能する。ここでコントラスト増幅率Ｒは、階調変換曲線の微分値であり、階調変換時の入力画像輝度値に対する出力画像輝度値の増幅率を表す。図６は、入力画像輝度値Ｉinに対するコントラスト増幅率Ｒの関係の例を示す図である。
【００３９】
増幅率算出部１５は、輝度範囲選択部１６に、算出したコントラスト増幅率Ｒを出力する。輝度範囲選択部１６は、この増幅率算出部１５から入力されたコントラスト増幅率Ｒに関する閾値Ｚを設定し、それら入力されたコントラスト増幅率Ｒと設定した閾値Ｚとが次の式（１２）の条件を満たす時、ノイズが増幅されると判断する。
【数１２】
【００４０】
即ち、輝度範囲選択部１６は、前記式（１２）における条件を満たす輝度範囲を、特定領域Ａとして選択する。図７は、これらコントラスト増幅率Ｒ及び閾値Ｚと、特定領域Ａとの関係を示す図である。このように、輝度範囲選択部１６は、例えば、コントラスト増幅率に基づいて、ダイナミックレンジ拡大画像における特定の輝度範囲を選択する輝度範囲選択手段として機能する。即ち、輝度範囲選択部１６は、例えば、コントラスト増幅率における閾値を設定する閾値設定手段と、前記コントラスト増幅率と前記閾値とを比較してダイナミックレンジ拡大画像における特定の輝度範囲を選択する選択手段としての機能を果たす。
【００４１】
この時、輝度範囲選択部１６は、露光条件読出部１８を介して記憶手段としての露光条件記憶部１７から、前記特定領域Ａに対応する輝度範囲撮像時の絞り値、シャッター速度、ＩＳＯ感度等の露光条件に関わる設定値を読み出す。即ち、露光条件記憶部１７は、露光条件読出部１８の要求に応じて、その露光条件読出部１８に対し記憶している露光条件を出力し、露光条件読出部１８は、この露光条件記憶部１７から入力された露光条件を輝度範囲選択部１６に出力する。このように、露光条件記憶部１７は、例えば、異露光撮像画像のそれぞれの撮像時の露光条件を記憶する露光条件記憶手段として機能し、露光条件読出部１８は、例えば、前記輝度範囲に対応する露光条件を露光条件記憶手段より読み出す露光条件読出手段として機能する。
【００４２】
また、輝度範囲選択部１６は、合成画像記憶部６に記憶された前記ダイナミックレンジ拡大画像を読み出し、下記の様にダイナミックレンジ拡大画像におけるノイズ量を算出し、これを用いて特定領域Ａを選択しても良い。
この場合、輝度範囲選択部１６は、図８に示す通り、バッファ部２０と、局所領域抽出部２１と、ノイズ量算出部２２と、算出部２３と、輝度範囲特定部２４とにより構成する。
【００４３】
バッファ部２０は、合成画像記憶部６から入力される前記ダイナミックレンジ拡大画像信号Ｉを記憶する。該バッファ部２０は、局所領域抽出部２１の要求に応じて、その局所領域抽出部２１に、記憶しているダイナミックレンジ拡大画像信号Ｉを出力する。局所領域抽出部２１は、そのバッファ部２０から入力されたダイナミックレンジ拡大画像信号Ｉから、注目画素を中心とする例えば５×５の局所領域を抽出する。この局所領域の抽出は、ダイナミックレンジ拡大画像Ｉ全体に対して行っても良いし、指定された領域についてのみ行っても良い。局所領域抽出部２１は、ノイズ量算出部２２に、抽出した局所領域の情報を出力する。ノイズ量算出部２２は、その局所領域抽出部２１から入力された局所領域の情報を用いて、ノイズ量を算出する。ある注目画素νにおけるノイズ量Ｎνは、例えば局所領域における信号の平均値Ｓνに対する関数として、次の式（１３）により算出する。
【数１３】
ここで、α、β、γはそれぞれ定数である。
【００４４】
前記式（１３）の関数以外にも、ノイズ量Ｎνは、入力信号に対するノイズ量についてルックアップテーブル（ＬＵＴ）を用いて算出しても良いし、局所領域の信号に対する標準偏差をノイズ量Ｎνとしても良い。
【００４５】
ノイズ量算出部２２は、ダイナミックレンジ拡大画像Ｉ全体又は指定された領域の各画素を注目画素としてそれぞれに対して前記処理を行い、算出部２３に、算出した画素毎のノイズ量を出力する。算出部２３は、そのノイズ量算出部２２から入力された画素毎のノイズ量用いて、当該ダイナミックレンジ拡大画像信号全体のノイズ量Ｎｏｉを次の式（１４）により算出する。
【数１４】
【００４６】
ここで、Ｍは総画素数を表す。ダイナミックレンジ拡大画像信号全体のノイズ量Ｎｏｉを算出するにあたっては、前記式（１４）の単純加算以外にも、領域による重み付け加算を用いても良い。このように、局所領域抽出部２１、ノイズ量算出部２２及び算出部２３は、例えば、ダイナミックレンジ拡大画像からノイズ量を算出するノイズ量算出手段として機能する。即ち、局所領域抽出部２１は、例えば、ダイナミックレンジ拡大画像の注目画素を中心とする局所領域を抽出する局所領域抽出手段として機能し、ノイズ量算出部２２は、例えば、局所領域中の画像に対してノイズ量を算出する局所領域ノイズ量算出手段として機能し、算出部２３は、例えば、局所領域中のノイズ量を用いて前記ダイナミックレンジ拡大画像全体のノイズ量を算出する算出手段として機能する。
【００４７】
算出部２３は、輝度範囲特定部２４に、算出したノイズ量Ｎｏｉを出力する。輝度範囲特定部２４は、前記増幅率算出部１５から入力されたコントラスト増幅率Ｒ、前記算出部２３から入力されたノイズ量Ｎｏｉ及び閾値Ｌを用いて次の式（１５）の条件を満たす時、ノイズが増幅されると判断する。
【数１５】
【００４８】
即ち、輝度範囲特定部２４は、前記式（１５）における条件を満たす輝度範囲を、特定領域Ａとして選択する。図９は、コントラスト増幅率Ｒとノイズ量Ｎｏｉとの積及び図示しない輝度範囲選択部１６内の閾値設定部が設定する閾値Ｌと、特定領域Ａとの関係を示す図である。このように、輝度範囲特定部２４は、例えば、閾値を設定する閾値設定手段として、及び、前記コントラスト増幅率及び前記ノイズ量を用いて算出した値と、前記閾値とを比較してダイナミックレンジ拡大画像における特定の輝度範囲を選択する選択手段として機能する。
【００４９】
輝度範囲選択部１６は、同露光撮像回数算出部１９に、選択された特定領域Ａの輝度範囲情報を出力する。同露光撮像回数算出部１９は、この輝度範囲選択部１６から入力された特定領域Ａの輝度範囲情報に基づき、前記輝度範囲の露光条件で行う同露光撮像の回数を算出する。このように、同露光撮像回数算出部１９は、前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出する同露光撮像回数算出手段として機能する。
【００５０】
図１０は、閾値Ｚを設定しコントラスト増幅率Ｒより特定される特定領域Ａの輝度範囲の露光条件で行う同露光撮像画像回数ＰＦの算出方法の例を示す図である。同露光撮像回数算出部１９は、前記増幅率算出部１５よりコントラスト増幅率Ｒを取得し、同露光撮像回数算出部１９内の図示しない代表輝度値算出部は、前記特定領域Ａの輝度範囲における入力画像輝度値の平均値である代表輝度値ＩAを算出し、同露光撮像回数算出部１９内の図示しない代表輝度値増幅率算出部は、代表輝度値ＩAに対応するコントラスト増幅率ＲAを用いて、同露光撮像回数ＰＦを次の式（１６）により算出する。
【数１６】
【００５１】
ここで、Ｃ1及びＣ2はそれぞれ定数であり、撮像装置の構成によって設定される整数である。本実施形態においてはＣ1＝Ｃ2＝１とする。同露光撮像回数算出部１９は、撮像設定部３に、こうして算出した同露光撮像回数ＰＦを出力する。このように、同露光撮像回数算出部１９内の図示しない代表輝度値算出部は、例えば、前記特定輝度範囲から代表輝度値を算出する代表輝度値算出手段として機能し、同じく同露光撮像回数算出部１９内の図示しない代表輝度値増幅率算出部は、例えば、前記代表輝度値に対する増幅率を算出する代表輝度値増幅率算出手段として機能する。
【００５２】
撮像設定部３は、同露光撮像を行う特定領域Ａの露光条件を、露光条件読出部１８を介して前記露光条件記憶部１７から読み出す。即ち、露光条件記憶部１７は、露光条件読出部１８の要求に応じて、その露光条件読出部１８に対し記憶している同露光撮像を行う特定領域Ａの露光条件を出力し、露光条件読出部１８は、その露光条件記憶部１７が出力する同露光撮像を行う特定領域Ａの露光条件を撮像設定部３に出力する。撮像設定部３は、この露光条件読出部１８からの入力される特定領域Ａの露光条件と、前記同露光撮像回数算出部１９から入力される同露光撮像回数ＰＦとを合わせて撮像条件を設定する。撮像設定部３は、撮像制御部２に、その設定した撮像条件を出力する。撮像制御部２は、その撮像設定部３から入力された撮像条件に基づき、撮像部１を制御する。撮像部１は、撮像制御部２の制御下でＰＦ回の同露光撮像を行う。以上の処理により、前記コントラスト増幅率に基づいて選択された前記ダイナミックレンジ拡大画像における特定の輝度範囲に対応する異露光撮像における露光条件を用いて、ＰＦ回の同露光撮像を行う。
【００５３】
撮像部１は、画像取得部４に、ＰＦ回の同露光撮像により得られるＰＦ枚の同露光撮像画像を出力する。画像取得部４は、これらの撮像部１から入力されるＰＦ枚の同露光撮像画像を図示しない画像記憶部に記憶する。このように、撮像部１、撮像制御部２、撮像設定部３及び画像取得部４は、例えば、前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得する同露光画像取得手段として機能する。
【００５４】
この時、図１１に示す例のように、前記特定領域Ａが撮像装置のダイナミックレンジΔＢ以上であり複数の露光条件Ａ1及びＡ2を含むものであった場合には、前記算出された同露光撮像回数ＰＦについて、例えば、露光条件Ａ1について入力画像輝度値の代表輝度値ＩA1を、露光条件Ａ2について入力画像輝度値の代表輝度値ＩA2をそれぞれ算出し、代表輝度値ＩA1及びＩA2にそれぞれ対応するコントラスト増幅率ＲA1及びＲA2を用いて、次の式（１７）の様に、前記同露光撮像回数ＰＦを複数露光条件の数Ｈ各々に適宜割り振り、露光条件Ａ1でＰＦ1回（図１１の例では３回）、露光条件Ａ2でＰＦ2回（図１１の例では２回）の撮像を行っても良い。この割り振りは、撮像装置の構成によって設定される。
【数１７】
【００５５】
画像取得部４は、画像合成部５に、記憶したＰＦ枚の同露光撮像画像を出力する。また、前記合成画像記憶部６は、画像合成部５に、記憶しているダイナミックレンジ拡大画像を出力する。画像合成部５は、それら画像取得部４から入力されたＰＦ枚の同露光撮像画像の画像信号と、合成画像記憶部６から入力されたダイナミックレンジ拡大画像との合成画像を生成する。このように、画像合成部５は、例えば、ダイナミックレンジ拡大画像に複数枚数の同露光撮像画像を合成して合成画像を生成する画像合成手段として機能する。
【００５６】
画像合成部５は、階調変換部７に、その生成した前記ＰＦ枚の同露光撮像画像とダイナミックレンジ拡大画像との合成画像を出力する。また、前記階調変換曲線算出部１４は、階調変換部７に、算出したダイナミックレンジ拡大画像に対して適正な階調変換曲線を出力する。階調変換部７は、その階調変換曲線算出部１４から入力された階調変換曲線に基づいて、画像合成部５から入力された前記合成画像の階調変換処理を行う。そして、階調変換部７は、最終的なダイナミックレンジ拡大画像として、この階調変換された合成画像を出力する。このように、階調変換部７は、例えば、合成画像に対し階調変換曲線に基づき階調変換を行う階調変換手段として機能する。
【００５７】
このダイナミックレンジが拡大され階調変換された階調変換部７からの出力画像は、図示しない記録媒体に記録されたり、図示しないインタフェースを介して表示装置や印刷装置等の外部出力装置で出力されたり、あるいは図示しないインタフェースを介してネットワーク上の記憶装置等に記憶されたりすることができる。
【００５８】
以上のような本実施形態に係る撮像装置によれば、露光量が異なる複数枚数の画像を合成し生成されるダイナミックレンジ拡大画像において、コントラスト増幅率Ｒが高い特定領域ＡについてＰＦ枚の同露光撮像画像を取得して合成することで、少ない撮像枚数により、階調変換処理により増幅されるノイズの影響を低減させることができ、撮像者が観察するシーンと同様に広いダイナミックレンジを有しかつノイズが少ない画像を提供することができる。
【００５９】
また、図７を参照して説明した通り、コントラスト増幅率Ｒに基づいて、ノイズが増幅される特定領域Ａを決定することで、ノイズ増幅が懸念される輝度範囲を高精度に選択することができる。さらに、図８及び９を参照して説明した通り、ノイズ量を算出しこれを用いて特定領域Ａを決定することで、ノイズ増幅が懸念される輝度範囲をさらに高精度に選択することができる。この時、局所領域毎のノイズ量を算出することにより、各画素のノイズ量を正確に算出することができる。
【００６０】
また、特定領域Ａに含まれる輝度を撮影した露光条件についてのみ同露光撮像を行うことによって、異露光撮像時の異なる露光条件の個々について同露光撮像を行う場合に比し撮像回数及び得られた画像の処理を低減することができる。前記同露光撮像を実行するために、露光条件は露光条件記憶部１７に記憶され、その条件は露光条件読出部１８を介して読み出される。
【００６１】
尚、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。
【符号の説明】
【００６２】
１…撮像部、２…撮像制御部、３…撮像設定部、４…画像取得部、５…画像合成部、６…合成画像記憶部、７…階調変換部、８…異露光撮像設定部、９…同露光撮像設定部、１０…ダイナミックレンジ推定部、１１…シーン輝度取得部、１２…ダイナミックレンジ算出部、１３…異露光撮像回数算出部、１４…階調変換曲線算出部、１５…増幅率算出部、１６…輝度範囲選択部、１７…露光条件記憶部、１８…露光条件読出部、１９…同露光撮像回数算出部、２０…バッファ部、２１…局所領域抽出部、２２…ノイズ量算出部、２３…算出部、２４…輝度範囲特定部。
【特許請求の範囲】
【請求項１】
露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得する異露光画像取得手段と、
前記異露光撮像画像のそれぞれの撮像時の露光条件を記憶する露光条件記憶手段と、
前記複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成するダイナミックレンジ拡大画像生成手段と、
前記ダイナミックレンジ拡大画像について階調変換曲線を算出する階調変換曲線算出手段と、
前記階調変換曲線からコントラスト増幅率を算出する増幅率算出手段と、
前記コントラスト増幅率に基づいて、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する輝度範囲選択手段と、
前記輝度範囲に対応する露光条件を前記露光条件記憶手段より読み出す露光条件読出手段と、
前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出する同露光撮像回数算出手段と、
前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得する同露光画像取得手段と、
前記ダイナミックレンジ拡大画像に前記複数枚数の同露光撮像画像を合成して合成画像を生成する画像合成手段と、
前記合成画像に対し前記階調変換曲線に基づき階調変換を行う階調変換手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記輝度範囲選択手段は、
前記コントラスト増幅率における閾値を設定する閾値設定手段と、
前記コントラスト増幅率と前記閾値とを比較して前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する選択手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記輝度範囲選択手段は、
閾値を設定する閾値設定手段と、
前記ダイナミックレンジ拡大画像からノイズ量を算出するノイズ量算出手段と、
前記コントラスト増幅率及び前記ノイズ量を用いて算出した値と、前記閾値とを比較して前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する選択手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ノイズ量算出手段は、
前記ダイナミックレンジ拡大画像の注目画素を中心とする局所領域を抽出する局所領域抽出手段と、
前記局所領域中の画像に対してノイズ量を算出する局所領域ノイズ量算出手段と、
前記局所領域中のノイズ量を用いて前記ダイナミックレンジ拡大画像全体のノイズ量を算出する算出手段と、
を備えることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記階調変換曲線算出手段は、
前記撮像装置において予め設定された階調変換曲線を記憶する階調変換曲線記憶手段と、
前記階調変換曲線記憶手段より階調変換曲線を読み出す階調変換曲線読出手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記階調変換曲線算出手段は、
前記ダイナミックレンジ拡大画像からヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムに対してクリップ処理を行うクリッピング手段と、
前記クリップ処理が行われたヒストグラムの累積値を算出する累積値算出手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記露光条件は、絞り値、シャッター速度及びＩＳＯ感度を含むことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記ダイナミックレンジ拡大画像生成手段は、
前記複数枚数の異露光撮像画像の輝度値に基づいて重み付け係数を算出する重み付け算出手段と、
前記重み付け係数に基づき前記複数枚数の異露光撮像画像の重み付け加算を行う加算手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記同露光画像取得手段は、
前記特定輝度範囲から代表輝度値を算出する代表輝度値算出手段と、
前記代表輝度値に対する増幅率を算出する代表輝度値増幅率算出手段と、
を備え、
前記同露光撮像回数算出手段は、前記代表輝度値及び前記代表輝度値に対する増幅率を用いて同露光撮像回数を算出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
撮像手段によって露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得し、
前記異露光撮像画像撮像時の露光条件を記憶手段に記憶し、
前記複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成し、
前記ダイナミックレンジ拡大画像について階調変換曲線を算出し、
前記階調変換曲線からコントラスト増幅率を算出し、
前記コントラスト増幅率に基づいて、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択し、
前記輝度範囲に対応する露光条件を前記記憶手段より読み出し、
前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出し、
前記撮像手段によって前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得し、
前記ダイナミックレンジ拡大画像に前記複数枚数の同露光撮像画像を合成して合成画像を生成し、
前記合成画像に対し前記階調変換曲線に基づき階調変換を行う
ことを特徴とする撮像方法。
【請求項１】
露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得する異露光画像取得手段と、
前記異露光撮像画像のそれぞれの撮像時の露光条件を記憶する露光条件記憶手段と、
前記複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成するダイナミックレンジ拡大画像生成手段と、
前記ダイナミックレンジ拡大画像について階調変換曲線を算出する階調変換曲線算出手段と、
前記階調変換曲線からコントラスト増幅率を算出する増幅率算出手段と、
前記コントラスト増幅率に基づいて、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する輝度範囲選択手段と、
前記輝度範囲に対応する露光条件を前記露光条件記憶手段より読み出す露光条件読出手段と、
前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出する同露光撮像回数算出手段と、
前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得する同露光画像取得手段と、
前記ダイナミックレンジ拡大画像に前記複数枚数の同露光撮像画像を合成して合成画像を生成する画像合成手段と、
前記合成画像に対し前記階調変換曲線に基づき階調変換を行う階調変換手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記輝度範囲選択手段は、
前記コントラスト増幅率における閾値を設定する閾値設定手段と、
前記コントラスト増幅率と前記閾値とを比較して前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する選択手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記輝度範囲選択手段は、
閾値を設定する閾値設定手段と、
前記ダイナミックレンジ拡大画像からノイズ量を算出するノイズ量算出手段と、
前記コントラスト増幅率及び前記ノイズ量を用いて算出した値と、前記閾値とを比較して前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択する選択手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ノイズ量算出手段は、
前記ダイナミックレンジ拡大画像の注目画素を中心とする局所領域を抽出する局所領域抽出手段と、
前記局所領域中の画像に対してノイズ量を算出する局所領域ノイズ量算出手段と、
前記局所領域中のノイズ量を用いて前記ダイナミックレンジ拡大画像全体のノイズ量を算出する算出手段と、
を備えることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記階調変換曲線算出手段は、
前記撮像装置において予め設定された階調変換曲線を記憶する階調変換曲線記憶手段と、
前記階調変換曲線記憶手段より階調変換曲線を読み出す階調変換曲線読出手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記階調変換曲線算出手段は、
前記ダイナミックレンジ拡大画像からヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムに対してクリップ処理を行うクリッピング手段と、
前記クリップ処理が行われたヒストグラムの累積値を算出する累積値算出手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記露光条件は、絞り値、シャッター速度及びＩＳＯ感度を含むことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記ダイナミックレンジ拡大画像生成手段は、
前記複数枚数の異露光撮像画像の輝度値に基づいて重み付け係数を算出する重み付け算出手段と、
前記重み付け係数に基づき前記複数枚数の異露光撮像画像の重み付け加算を行う加算手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記同露光画像取得手段は、
前記特定輝度範囲から代表輝度値を算出する代表輝度値算出手段と、
前記代表輝度値に対する増幅率を算出する代表輝度値増幅率算出手段と、
を備え、
前記同露光撮像回数算出手段は、前記代表輝度値及び前記代表輝度値に対する増幅率を用いて同露光撮像回数を算出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
撮像手段によって露光条件の異なる異露光撮像を複数回数行って複数枚数の異露光撮像画像を取得し、
前記異露光撮像画像撮像時の露光条件を記憶手段に記憶し、
前記複数枚数の異露光撮像画像を合成してダイナミックレンジ拡大画像を生成し、
前記ダイナミックレンジ拡大画像について階調変換曲線を算出し、
前記階調変換曲線からコントラスト増幅率を算出し、
前記コントラスト増幅率に基づいて、前記ダイナミックレンジ拡大画像における特定の輝度範囲を選択し、
前記輝度範囲に対応する露光条件を前記記憶手段より読み出し、
前記輝度範囲、前記コントラスト増幅率及び前記輝度範囲に対応する露光条件に基づいて、同露光撮像回数を算出し、
前記撮像手段によって前記輝度範囲に対応する露光条件を用いて複数回数の同露光撮像を行って複数枚数の同露光撮像画像を取得し、
前記ダイナミックレンジ拡大画像に前記複数枚数の同露光撮像画像を合成して合成画像を生成し、
前記合成画像に対し前記階調変換曲線に基づき階調変換を行う
ことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１９９７８５（Ｐ２０１１−１９９７８５Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６７０１３（Ｐ２０１０−６７０１３）
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]