画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
【課題】多段露光によって得られた画像を重み付け合成するのに好適な画像処理装置、画像処理方法、撮像装置及び電子機器を提供する。
【解決手段】撮像装置１を、撮像素子１０と、第１〜第４メモリ１２〜１５と、映像信号処理部１６と、フレームメモリ１７と、制御部１８と、画像解析部１９と、操作部２０とを含む構成とし、映像信号処理部１６の重み計算部１６ａにおいて、露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）で撮像して得られた画素データＳ１〜Ｓ４のうち、画素データＳ２の合成重みＷ２を計算時に画素データＳ２及びＳ３の明度を用い、画素データＳ３の合成重みＷ３を計算時に画素データＳ３及びＳ４の明度を用いる構成とした。また、合成重みＷ１〜Ｗ４の計算において、明度の大きさに応じて関数値が増加し、関数値の最大値が１となる関数Ｆ（ｘ）を用いる構成とした。
【解決手段】撮像装置１を、撮像素子１０と、第１〜第４メモリ１２〜１５と、映像信号処理部１６と、フレームメモリ１７と、制御部１８と、画像解析部１９と、操作部２０とを含む構成とし、映像信号処理部１６の重み計算部１６ａにおいて、露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）で撮像して得られた画素データＳ１〜Ｓ４のうち、画素データＳ２の合成重みＷ２を計算時に画素データＳ２及びＳ３の明度を用い、画素データＳ３の合成重みＷ３を計算時に画素データＳ３及びＳ４の明度を用いる構成とした。また、合成重みＷ１〜Ｗ４の計算において、明度の大きさに応じて関数値が増加し、関数値の最大値が１となる関数Ｆ（ｘ）を用いる構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露光量の異なる複数種類の撮像画像データを合成して、ダイナミックレンジを拡張した画像データを生成するのに好適な画像処理装置、画像処理方法、撮像装置及び電子機器等に関する。
【背景技術】
【０００２】
従来、複数種類の露光量（露光時間）で同一被写体を撮像し、この撮像で得られた複数種類の露光量にそれぞれ対応した画素信号を合成して、ダイナミックレンジを拡張した画像データ（ＨＤＲ画像データ）を生成する技術がある。かかる技術においては、合成画像における、各露光量に対応する画像部分と他の露光量に対応する画像部分との境界領域に発生するノイズ（偽色、疑似輪郭など）がしばしば問題となっていた。
【０００３】
例えば、露光量Ｌ１、Ｌ２（Ｌ１＜Ｌ２）に対応する露光時間Ｔ１、Ｔ２（Ｔ１＜Ｔ２）で同一被写体を撮像して、画素信号Ｄ１（Ｔ１に対応）、Ｄ２（Ｔ２に対応）が得られたとする。この場合に、図１２（ａ）及び（ｂ）に示すように、Ｄ１の傾きをＤ２の傾きに合わせるために、画素信号Ｄ１に係数「Ｔ２／Ｔ１」を乗算して正規化を行う。次に、正規化した「Ｄ１×Ｔ２／Ｔ１」と、「Ｄ２」とを線形合成する。これにより、図１２（ｃ）に示すように、ダイナミックレンジを拡張した（Ｓ／Ｎの良い）撮像画像信号が得られる。
【０００４】
しかし、「Ｄ１×Ｔ２／Ｔ１」の傾きとＤ２の傾きとに微妙な差が生じた場合に、合成後の撮像画像信号の線形性が崩れる恐れがある。線形性が崩れると、「Ｄ１×Ｔ２／Ｔ１」の画像とＤ２の画像との境界領域において、偽色や疑似輪郭等の原因となるノイズが発生する場合がある。
このような問題を解決するために、画像の重み付け合成が従来から用いられている。例えば、特許文献１では、２組の合成画像のうち、より明るい方の明度情報をもとに重みが変わる関数ｆ、ｇを用意し、合成後の画像Ｄ０を、下式（１）により求めている。
Ｄ０＝（Ｄ１×Ｔ２／Ｔ１）×ｆ（Ｄ２）＋Ｄ２×ｇ（Ｄ２） ・・・（１）
また、特許文献２では、オーバーラップ領域（信号の８０％〜１００％）を予め設定しておき、２つの画像を合成する際に、より長い露光時間の画像がオーバーラップ領域に達している部分、即ちハイライト部分で、飽和しにくいより短い露光時間の画像との重み付け合成を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３０８４１８９号公報
【特許文献２】特許第２９７０４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の従来技術においては、露光量の異なる４枚の画像を重み付け合成する場合に、上式（１）を用いた合成方法では、２枚ずつの画像合成にしか対応していない。そのため、例えば、Ｄ１〜Ｄ４の４画素を重み付け合成するためには、図１３に示すように、合計６回もの合成処理を行う必要があり、合成する画像の枚数が増加するほど計算量が飛躍的に増加する。
【０００７】
また、上記特許文献２の従来技術においては、重み付け合成の行われる領域が、オーバーラップ領域に限定されるため、重み付け合成されているハイライト部分とそうでない部分とに、不自然な繋ぎ目が発生する恐れがある。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものである。本発明の幾つかの態様によれば、多段露光によって得られた画像を重み付け合成するのに好適な画像処理装置、画像処理方法、撮像装置及び電子機器を提供できる。
【課題を解決するための手段】
【０００８】
〔形態１〕 上記目的を達成するために、形態１の画像処理装置は、
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出手段と、
前記重み算出手段で算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成手段と、を備える。
【０００９】
このような構成であれば、重み付け算出手段によって、３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、第１の画像の画像合成に用いる重みが算出される。
例えば、４種類の露光量Ｌ１、Ｌ２、Ｌ３、Ｌ４（Ｌ１＜Ｌ２＜Ｌ３＜Ｌ）で被写体を撮像して得られた画像Ｓ１〜Ｓ４について重みの算出を行う場合に、例えば、画像Ｓ２の重みについては、Ｓ２の輝度と、Ｓ３の輝度とに基づき重みが算出されることになる。
【００１０】
ここで、重みの算出は、重み付けの必要な露光量の画像の全てについて行う。例えば、重み付けの必要な露光量の画像が２種類以上ある場合は、そのそれぞれを第１の画像とし、そのそれぞれの次に露光量の大きい画像を第２の画像として重みを算出する。
重みが算出されると、画像合成手段によって、算出した重みを用いて、３種類以上の画像の重み付け加算が行われ、画像が合成される。
以上のことから、合成する画像のうち、露光量の大きさが隣り合う２つの画像の明度に基づき露光量の小さい方の画像の重みを算出することができる。これにより、露光量の大きい方の画像の明度のみに基づき重みを算出するよりも滑らかな線形合成が可能になるという効果が得られる。
【００１１】
〔形態２〕 更に、形態２の撮像装置は、形態１の撮像装置において、
前記重み算出手段は、前記３種類以上の画像のうち、露光量が最小及び最大となる２種類の画像以外の画像について、前記第１の画像の輝度と、前記第２の画像の輝度とに基づき重みを算出する。
このような構成であれば、重み算出手段によって、露光量が最小及び最大となる２種類の画像を除く、残りの中間の露光量について、第１の画像の輝度と第２の画像の輝度とに基づき重みが算出される。
これにより、露光量の大きい方の画像の明度のみに基づき重みを算出するよりも滑らかな線形合成が可能になるという効果が得られる。
【００１２】
〔形態３〕 更に、形態３の撮像装置は、形態１又は２の撮像装置において、
前記重み算出手段は、前記重みを、画像の輝度を要素ｘとし、関数値が輝度の大きさに応じて増加する関数Ｆ（ｘ）によって算出した値を用いて算出する。
このような構成であれば、重み算出手段によって、輝度ｘの大きさに応じて増加する関数Ｆ（ｘ）によって算出した値を用いて第１の画像に対する重みを算出することができる。
【００１３】
これによって、第２の画像の輝度が大きければ大きいほど、第１の画像に対する重みを大きくすることができるので、例えば、第１の画像の輝度が非飽和で、第２の画像の輝度が飽和している場合に、その飽和部分を第１の画像で補完してやることができる。
従って、露光量の大きい方の画像の明度のみに基づき重みを算出するよりも滑らかな線形合成が可能になるという効果が得られる。
【００１４】
〔形態４〕 更に、形態４の撮像装置は、形態３の撮像装置において、
前記重み算出手段は、前記関数として、前記要素ｘに対する算出値が、より急峻に変化する第１の関数Ｆ１（ｘ）と、より緩やかに変化する第２の関数Ｆ２（ｘ）とを切り替えて用いる。
このような構成であれば、重み算出手段によって、重みの算出に、第１の関数Ｆ１（ｘ）と、第２の関数Ｆ２（ｘ）とを切り替えて用いることができる。
つまり、より急峻に変化する関数Ｆ１（ｘ）を用いた場合は、該当の画像の混合度合いをより強くすることができ、より緩やかに変化する関数Ｆ２（ｘ）を用いた場合は、該当の画像の混合度合いをより弱くすることができる。
これによって、複数種類の画像の混合度合いを変化させることができ、より適切な重みを算出することができるという効果が得られる。
【００１５】
〔形態５〕 一方、上記目的を達成するために、形態４の画像処理方法は、
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出ステップと、
前記重み算出ステップで算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成ステップと、を含む。
このような構成であれば、形態１に記載の画像処理装置と同等の作用及び効果が得られる。
【００１６】
〔形態６〕 また、上記目的を達成するために、形態５の画像処理プログラムは、
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出ステップと、
前記重み算出ステップで算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成ステップとを有する処理をコンピューターに実行させるためのプログラムを含む。
このような構成であれば、コンピューターによってプログラムが実行されると、形態１に記載の画像処理装置と同等の作用及び効果が得られる。
【００１７】
〔形態７〕 また、上記目的を達成するために、形態７の撮像装置は、
Ｎ種類（Ｎは３以上の自然数）の露光量で被写体を撮像する撮像手段と、
形態１乃至４のいずれか１に記載の画像処理装置と、を備え、
前記画像処理装置は、前記撮像手段で撮像して得られたＮ種類の露光量に対応するＮ種類の画像のうち、少なくとも画像合成に用いる３種類以上の画像について、前記第１の画像に対する重みを算出する。
このような構成であれば、形態１に記載の画像処理装置と同等の作用及び効果が得られる。
〔形態８〕 また、上記目的を達成するために、形態６の電子機器は、
形態７に記載の撮像装置を備える。
このような構成であれば、形態７に記載の撮像装置と同等の作用及び効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る撮像装置１の構成を示すブロック図である。
【図２】（ａ）は、撮像素子１０の内部構成を示す模式図であり、（ｂ）は、ＨＤＲセンサ１０ｄの内部構成を示すブロック図である。
【図３】映像信号処理部１６の内部構成を示すブロック図である。
【図４】センサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図５】撮像装置１の動作処理の一例を示すフローチャートである。
【図６】ＨＤＲ合成処理の一例を示すフローチャートである。
【図７】露光比調整処理の一例を示すフローチャートである。
【図８】（ａ）〜（ｄ）は、比率が均等となるように決定された露光時間Ｔ１〜Ｔ４における入射光に対する応答信号Ｓ１〜Ｓ４の一例を示す図である。
【図９】（ａ）〜（ｄ）は、入射光に対する合成重みＷ１〜Ｗ４の一例を示す図である。
【図１０】図９（ａ）〜（ｄ）を重ねて表示した図である。
【図１１】図８（ａ）〜（ｄ）における入射光の軸を対数で表した場合の図である。
【図１２】従来の重み付けなしの場合の合成対象の画像及びＨＤＲ合成処理後の画像の光−信号特性の一例を示す図である。
【図１３】従来の重み付けありの場合のＨＤＲ合成処理に係る計算処理の流れの一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の第１実施形態を図面に基づき説明する。図１〜図１１は、本発明に係る画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器の実施形態を示す図である。
まず、本発明に係る撮像装置の構成を図１に基づき説明する。図１は、本発明に係る撮像装置１の構成を示すブロック図である。
撮像装置１は、図１に示すように、撮像素子１０と、ＳＷ（スイッチ）１１と、第１〜第４メモリ１２〜１５と、映像信号処理部１６と、フレームメモリ１７と、制御部１８と、画像解析部１９と、操作部２０とを含んで構成される。
【００２０】
次に、図２に基づき、撮像素子１０の詳細な構成を説明する。ここで、図２（ａ）は、撮像素子１０の内部構成を示す模式図であり、（ｂ）は、ＨＤＲセンサ１０ｄの内部構成を示すブロック図である。
撮像素子１０は、複数種類の露光量で被写体を撮像する機能を有し、図２（ａ）に示すように、レンズ１０ａと、マイクロレンズ１０ｂと、カラーフィルタアレイ１０ｃと、ＨＤＲセンサ１０ｄとを含んで構成される。
【００２１】
以下、説明の便宜上、撮像素子１０は、４種類の露光量Ｌ１、Ｌ２、Ｌ３、Ｌ４（Ｌ１＜Ｌ２＜Ｌ３＜Ｌ４）に対応する露光時間Ｔ１、Ｔ２、Ｔ３、Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）で撮像を行うものとして構成を説明をする。もちろん、露光量は４種類に限らず、３種類又は５種類以上であってもよい。
レンズ１０ａは、被写体からの反射光を集光して、マイクロレンズへと導くものである。なお、撮像条件などに応じて、単焦点レンズ、ズームレンズ、オートアイリスレンズなどの種類がある。
【００２２】
マイクロレンズ１０ｂは、レンズを透過した光をＨＤＲセンサ１０ｄの有するセンサセルアレイの各センサセル（画素）に集光するものである。
カラーフィルタアレイ１０ｃは、マイクロレンズ１０ｂを透過した光から所定の１種類の色要素に対応する波長の光を分離して該分離した光を対応する各画素に入射するカラーフィルター部（以下、ＣＦ部と称す）を少なくとも画素数分含んで構成されるものである。
【００２３】
ＨＤＲセンサ１０ｄは、電子シャッタ方式によって露光時間Ｔ１〜Ｔ４を制御して露光量の異なる４種類のデジタルの画像データを出力するものである。
ＨＤＲセンサ１０ｄは、図２（ｂ）に示すように、基準タイミング発生器５０と、走査ラインスキャナ５４と、センサセルアレイ５６と、水平転送部５８とを含んで構成される。
基準タイミング発生器５０は、制御部１８からの垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生し、これを走査ラインスキャナ５４に出力する。
【００２４】
走査ラインスキャナ５４は、基準タイミング発生器５０及び制御部１８からの各種信号に基づき、リセット処理を行うラインを有効にするリセットライン選択信号を生成する。そして、該生成したリセットライン選択信号をセンサセルアレイ５６に出力する。
更に、走査ラインスキャナ５４は、リセット後で且つ設定された露光時間Ｔ１〜Ｔ４の電荷の蓄積が行われたラインを画素信号の読出ラインとして有効にする読出しライン選択信号を生成する。そして、該生成した読出ライン選択信号をセンサセルアレイ５６に出力する。
センサセルアレイ５６は、ＣＭＯＳ技術を用いて構成された、受光素子（フォトダイオードなど）を含む複数のセンサセル（画素）が２次元マトリクス状に配設された構成の受光領域を備え、各画素のラインに対して、アドレス線、リセット線及び読出し線が共通に接続された構成を有している。
【００２５】
そして、前記３つの制御線を介して各種駆動信号（選択信号）が各ラインを構成するセンサセルに送信され、アドレス線及び読出し線が有効になると、信号線を介して蓄積電荷（画素信号）を水平転送部５８に転送（出力）する。
このような構成によって、センサセルアレイ５６は、走査ラインスキャナ５４から供給される選択信号に基づき、アドレス線により、リセット動作又は読出し動作を行わせる画素のラインを有効に（選択）する。そして、当該選択信号で選択したラインの各画素に対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。更に、選択信号によって選択された各画素おいては、リセット動作を指示する信号が入力されたときはリセット動作が行われ、蓄積電荷の転送を指示する信号が入力されたときは、信号線を介して水平転送部５８への蓄積電荷の転送が行われる。
【００２６】
水平転送部５８は、センサセルアレイ５６の各画素から読み出された画素信号（アナログ信号）のデータをＡ／Ｄ変換して、ライン単位にメモリ１２〜１５へとシリアルで順次出力する。
図１に戻って、ＳＷ１１は、撮像素子１０から画像データＳ１〜Ｓ４が入力されると、これと対応して入力された識別信号に基づきスイッチを切り替え、第１〜第４メモリ１２〜１５のうち識別信号が示す露光時間に対応するメモリに、入力された画像データを出力する。具体的に、露光時間Ｔ１の画像データＳ１を第１メモリ１２に、露光時間Ｔ２の画像データＳ２を第１メモリ１３に、露光時間Ｔ３の画像データＳ３を第３メモリ１４に、露光時間Ｔ４の画像データＳ４を第４メモリ１５に出力する。
【００２７】
第１〜第４メモリ１２〜１５は、ＳＷ１１を介して入力される、露光時間Ｔ１〜Ｔ４で被写体を撮像して得られた４種類の露光量Ｌ１〜Ｌ４に対応する画像データＳ１〜Ｓ４のいずれか対応するものを一時記憶するメモリである。具体的に、ＳＷ１１を介して順次入力される画像データＳ１〜Ｓ４を、同期をとって映像信号処理部１６に出力するバッファとしての役割を果たすメモリである。
【００２８】
映像信号処理部１６は、図３に示すように、重み計算部１６ａと、正規化部１６ｂと、合成部１６ｃとを含んで構成される。ここで、図３は、映像信号処理部１６の内部構成を示すブロック図である。
重み計算部１６ａは、露光時間Ｔ１〜Ｔ４に対応する画素データＳ１〜Ｓ４について、画像合成時に用いる重みＷ１〜Ｗ４（ｘ，ｙ）（以下、合成重みＷ１〜Ｗ４（ｘ，ｙ）と称す）を計算する機能を有している。
【００２９】
具体的に、Ｓ１（ｘ，ｙ）の合成重みＷ１（ｘ，ｙ）を計算するときはＳ２（ｘ，ｙ）を用いる。また、Ｓ２（ｘ，ｙ）の合成重みＷ２（ｘ，ｙ）を計算するときは、Ｓ２（ｘ，ｙ）とＳ３（ｘ，ｙ）の２つの画素データを用いる。また、Ｓ３（ｘ，ｙ）の合成重みＷ３（ｘ，ｙ）を計算するときは、Ｓ３（ｘ，ｙ）とＳ４（ｘ，ｙ）の２つの画素データを用いて重みを計算する。また、Ｓ４（ｘ，ｙ）の合成重みＷ４（ｘ，ｙ）を計算するときは、合成重みＷ１〜Ｗ４（ｘ，ｙ）の総和が「１」となることを利用して計算を行う。
【００３０】
本実施形態では、重み計算部１６ａは、下式（２）〜（６）に基づき、合成重みＷ１〜Ｗ４（ｘ，ｙ）を計算する。
Ｆ（ｘ）＝（ｘ／２５５）n ・・・（２）
Ｗ１（ｘ，ｙ）＝Ｆ（Ｓ２（ｘ，ｙ）） ・・・（３）
Ｗ２（ｘ，ｙ）＝Ｆ（Ｓ３（ｘ，ｙ））−Ｗ１
＝Ｆ（Ｓ３（ｘ，ｙ））−Ｆ（Ｓ２（ｘ，ｙ）） ・・・（４）
Ｗ３（ｘ，ｙ）＝Ｆ（Ｓ４（ｘ，ｙ））−Ｗ２−Ｗ１
＝Ｆ（Ｓ４（ｘ，ｙ））−Ｆ（Ｓ３（ｘ，ｙ）） ・・・（５）
Ｗ４（ｘ，ｙ）＝１−Ｗ３（ｘ，ｙ）−Ｗ２（ｘ，ｙ）−Ｗ１（ｘ，ｙ）
＝１−Ｆ（Ｓ４（ｘ，ｙ）） ・・・（６）
【００３１】
但し、上式（２）は、８ビットの階調範囲（０〜２５５）のｘに対応する式であって、例えば、階調範囲が１０ビットであれば、上式（２）の「２５５」を「１０２３」とする。このように、要素となるデータのビット数に応じて値を変更する必要がある。
なお、重み計算部１６ａは、上式（２）〜（６）に従って計算して得られた合成重みＷ１〜Ｗ４（ｘ，ｙ）の情報を、合成部１６ｃに出力する。
正規化部１６ｂは、メモリ１２〜１５からの画素データＳ１〜Ｓ４（ｘ，ｙ）及び制御部１８からの露光比情報に基づき、画素データＳ１〜Ｓ４（ｘ，ｙ）の正規化処理を行う。本実施の形態において、露光比情報は、露光時間Ｔ１〜Ｔ４の情報となる。
【００３２】
具体的に、本実施形態において、正規化部１６ｂは、下式（７）〜（１０）に基づき、露光時間Ｔ１〜Ｔ４を用いてＳ１〜Ｓ４（ｘ，ｙ）の正規化を行い、正規化後の画素データＮ１〜Ｎ４（ｘ，ｙ）を生成する。
Ｎ１（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）×Ｔ４／Ｔ１ ・・・（７）
Ｎ２（ｘ，ｙ）＝Ｓ２（ｘ，ｙ）×Ｔ４／Ｔ２ ・・・（８）
Ｎ３（ｘ，ｙ）＝Ｓ３（ｘ，ｙ）×Ｔ４／Ｔ３ ・・・（９）
Ｎ４（ｘ，ｙ）＝Ｓ４（ｘ，ｙ）×Ｔ４／Ｔ４ ・・・（１０）
なお、正規化部１６ｂは、上式（７）〜（１０）に従って計算して得られた正規化画素データＮ１〜Ｎ４（ｘ，ｙ）の情報を、合成部１６ｃに出力する。
【００３３】
合成部１６ｃは、重み計算部１６ａから取得した合成重みＷ１〜Ｗ４（ｘ，ｙ）と、正規化部１６ｂから取得した正規化画素データＮ１〜Ｎ４（ｘ，ｙ）に基づき、ＨＤＲ合成処理を行い、ＨＤＲ画素データを生成する機能を有している。
具体的に、本実施形態において、合成部１６ｃは、下式（１１）に基づき、正規化画素データＮ１〜Ｎ４（ｘ，ｙ）をＷ１〜Ｗ４（ｘ，ｙ）で重み付けしてから合成し、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）を生成する。
ＨＤＲ（ｘ，ｙ）＝Ｗ１（ｘ，ｙ）×Ｎ１（ｘ，ｙ）＋Ｗ２（ｘ，ｙ）×Ｎ２（ｘ，ｙ）＋Ｗ３（ｘ，ｙ）×Ｎ３（ｘ，ｙ）＋Ｗ４（ｘ，ｙ）×Ｎ４（ｘ，ｙ）
・・・（１１）
なお、合成部１６ｃは、上式（１１）に従って計算して得られたＨＤＲ画素データＨＤＲ（ｘ，ｙ）を、フレームメモリ１７に格納する。
図１に戻って、フレームメモリ１７は、映像信号処理部１６において合成後のＨＤＲ画像データを記憶するメモリである。
【００３４】
また、制御部１８は、操作部２０からの入力情報に基づき露光比情報を生成する機能と、画像解析部１９から取得した統計情報に基づき現在の露光比を適切なものに調整する機能と、生成した露光比情報を映像信号処理部１６に出力する機能とを有するものである。
更に、制御部１８は、調整後の露光比に対応する露光比情報又は新規に生成した露光比情報に基づき露光量信号を生成し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する機能も有している。ここで、各種制御信号は、垂直同期信号、水平同期信号、ピクセルクロックなどを含む。
具体的に、本実施形態の撮像素子１０は、制御部１８から出力される露光量信号に応じた４種類の露光量Ｌ１〜Ｌ４に対応する露光時間Ｔ１〜Ｔ４で同一被写体を撮像する。
【００３５】
そして、本実施形態において、制御部１８は、昇順に並ぶ露光量Ｌ１、Ｌ２、Ｌ３、Ｌ４における隣接する各２つの露光量の比率「Ｌ２／Ｌ１」、「Ｌ３／Ｌ２」、「Ｌ４／Ｌ３」が均等（Ｌ２／Ｌ１＝Ｌ３／Ｌ２＝Ｌ４／Ｌ３）となるように露光量Ｌ１〜Ｌ４に対応する露光時間Ｔ１〜Ｔ４を設定するようになっている。
また、本実施形態では、制御部１８は、撮像環境の明るさに応じて露光量比を最適な比となるように調整するようになっている。そのために、制御部１８は、画像解析部１９から得たＨＤＲ画像データの平均輝度Ｌａｖと、予め用意された高輝度側の閾値Ｌｔｈと、低輝度側の閾値Ｌｔｌとをそれぞれ比較する。
【００３６】
制御部１８は、この比較結果によって、平均輝度ＬａｖがＬｔｈより大きければ、撮像環境が比較的明るいと判断し、ＬａｖがＬｔｌより小さければ、撮像環境が比較的暗いと判断する。更に、この判断結果に基づき、現在設定されている露光時間Ｔ１〜Ｔ４を、露光量の比率を均等とする状態を保ったままで増減することで、撮像環境の明るさに対して最適な露光量比となるように調整を行う。
【００３７】
画像解析部１９は、映像信号処理部１６で生成され、フレームメモリ１７に格納されたＨＤＲ画像データに基づき、撮像環境の明るさに係る統計情報を算出し、算出した統計情報を制御部１８に出力する機能を有している。本実施形態において、画像解析部１９は、複数フレームの連続撮像時において、フレームメモリ１７から得たＨＤＲ画像データ（少なくとも最初のフレーム分を含む）を統計的に解析する。本実施形態では、撮像環境の明るさに係る情報を得るために、統計情報として、ＨＤＲ画像データの平均輝度Ｌａｖを算出する。そして、算出したＬａｖを、制御部１８に出力する。
操作部２０は、撮像時、撮像画像の閲覧時、複数種類の撮像モードのうち任意のモードを選択時などにユーザによって操作されるもので、ユーザの操作内容に応じた情報を制御部１８に出力する機能を有している。
【００３８】
次に、図４に基づき、撮像素子１０のＨＤＲセンサ１０ｄの露光時間の制御方法、及びセンサセルアレイ５６からの画素信号の読み出し方法について説明する。ここで、図４は、ＨＤＲセンサのセンサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
本実施形態においては、センサセルアレイ５６の露光領域（走査領域）に対して、露光時間Ｔ１の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ１と、露光時間Ｔ２の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ２とを設定する。更に、露光時間Ｔ３の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ３を設定する。更に、各画素のラインの蓄積電荷のリセット及び露光時間Ｔ４の画素信号の読み出しを行う読み出し＆リセットラインＬ４＆Ｒを設定する。なお、Ｔ１〜Ｔ４の関係は、「Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４」となっている。そして、リセットされてから、まずＴ１経過時に非破壊読み出しラインＬ１が設定される。次にＴ２経過時に非破壊読み出しラインＬ２が設定され、次にＴ３経過時に非破壊読み出しラインＬ３が設定され、次にＴ４経過時に読み出し＆リセットラインＬ４＆Ｒが設定される。
【００３９】
具体的に、非破壊読み出しラインＬ１、Ｌ２及びＬ３並びに読み出し＆リセットラインＬ４＆Ｒは、図４に示すように、露光領域における画素のラインに順次露光時間Ｔ４分の電荷が蓄積されると、読み出し＆リセットラインＬ４＆Ｒが各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、露光時間Ｔ４分の電荷が蓄積される期間中、露光時間Ｔ１、Ｔ２及びＴ３において各画素のラインの画素信号を非破壊で順次読み出すように非破壊読み出しラインＬ１、Ｌ２及びＬ３がそれぞれ設定される。
【００４０】
例えば、露光領域の一番目のラインである第１ラインにおいて露光時間Ｔ４の画素信号Ｓ４の読み出し及びリセットが行われたとする。以降は、画素信号Ｓ４が第４ラインメモリから読み出される毎に、図４中のスキャン方向に１ラインずつ、読み出し＆リセットラインＬ４＆Ｒの走査が順次行われる。このとき、読み出し＆リセットラインＬ４＆Ｒが再び第１ラインに到達したときに、丁度、露光時間Ｔ４が経過するタイミングとなるように走査が行われる。このような手順で、センサセルアレイの露光領域の画素のラインに対して、各画素のライン毎に、露光時間Ｔ４で露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。
【００４１】
一方、蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、非破壊読み出しラインＬ１において露光時間Ｔ１の露光が行われた画素の画素信号Ｓ１の非破壊読み出しを行い、引き続き、非破壊読み出しラインＬ２において露光時間Ｔ２の露光が行われた画素の画素信号Ｓ２の非破壊読み出しを行う。引き続き、非破壊読み出しラインＬ３において露光時間Ｔ３の露光が行われた画素の画素信号Ｓ３の非破壊読み出しを行う。このような手順で、センサセルアレイの各画素のラインに対して、ライン毎に、露光時間Ｔ１、Ｔ２及びＴ３で露光時の画素信号Ｓ１、Ｓ２及びＳ３の非破壊読み出しを順次行う。
【００４２】
なお、本実施形態においては、図４に示すように、露光時間Ｔ１に対応する画素信号のデータ（アナログデータ）Ｓ１は、第１ラインメモリに読み出され、露光時間Ｔ２に対応する画素信号のデータ（アナログデータ）Ｓ２は、第２ラインメモリに読み出される。更に、露光時間Ｔ３に対応する画素信号のデータ（アナログデータ）Ｓ３は、第３ラインメモリに読み出され、露光時間Ｔ４に対応する画素信号のデータ（アナログデータ）Ｓ４は、第４ラインメモリに読み出される。そして、これら読み出された画素信号のデータＳ１〜Ｓ４（以下、画素データＳ１〜Ｓ４と称す）は、図４に示すように、それぞれ選択回路を経てＡＤＣにＳ１〜Ｓ４の順で順次出力されそこでデジタルデータに変換される。変換された各画素データＳ１〜Ｓ４は、変換された順に（Ｓ１〜Ｓ４の順に）、Ｓ１は第１メモリ１２に、Ｓ２は第２メモリ１３に、Ｓ３は第３メモリ１４に、Ｓ４は第４メモリ１５にそれぞれ出力される。
【００４３】
次に、図５に基づき、撮像装置１の動作処理の流れを説明する。ここで、図５は、撮像装置１の動作処理の一例を示すフローチャートである。
撮像装置１の電源が投入されると、図５に示すように、まず、ステップＳ１００に移行する。
ステップＳ１００では、制御部１８において、最短露光時間Ｔｍｉｎ及び最長露光時間Ｔｍａｘの初期値を設定して、ステップＳ１０２に移行する。初期値の設定は、操作部２０を介してユーザが入力又は選択した値を用いても良いし、標準露光時間として予め設定されている初期値を用いてもよい。
【００４４】
ステップＳ１０２では、制御部１８において、ステップＳ１００で設定された初期値を用いて、中間の露光量に対応する露光時間である露光時間Ｔｍｉｄを算出し、算出したＴｍｉｄと、初期値として設定したＴｍｉｎ及びＴｍａｘとに基づき露光比情報を生成する。そして、生成した露光比情報に基づき露光量信号を生成し、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、ステップＳ１０４に移行する。
【００４５】
本実施形態では、露光量の種類をＬ１〜Ｌ４の４種類としたので、露光量Ｌ１に対応する最短露光時間ＴｍｉｎはＴ１に、露光量Ｌ４に対応する最長露光時間ＴｍａｘはＴ４となる。そして、露光量Ｌ２及びＬ３に対応する中間露光時間ＴｍｉｄはＴ２及びＴ３となる。そして、制御部１８は、下式（１２）及び（１３）に従って、「Ｔ２／Ｔ１＝Ｔ３／Ｔ２＝Ｔ４／Ｔ３」となる中間露光時間Ｔ２及びＴ３を算出する。
Ｔ２＝（Ｔ１2×Ｔ４）1/3 ・・・（１２）
Ｔ３＝（Ｔ１×Ｔ４2）1/3 ・・・（１３）
【００４６】
例えば、設定可能な最短露光時間Ｔｍｉｎが１Ｈ、最長露光時間Ｔｍａｘが１０００Ｈの場合は、Ｔ１＝１Ｈ、Ｔ３＝１０００Ｈとして、上式（１２）から「Ｔ２＝（１2×１０００）1/3＝１０」と算出できる。また、上式（１３）から「Ｔ３＝（１×１０００2）1/3＝１００」と算出できる。これにより、露光量比＝露光時間比＝「１：１０：１００：１０００」が求まる。この場合は、ダイナミックレンジが「６０[ｄＢ]」となる。
なお、センサセルアレイにおける１ラインの走査時間を水平同期信号の呼称であるＨＳＹＮＣの頭文字を取り、１Ｈと表している。例えば、センサセルアレイの総ライン数５００ラインに対して、フレームレートが３０[fps]の場合は、１Ｈの期間は１／３０秒を５００ラインで除算した時間、つまり１／１５０００秒、換言すれば１／１５ミリ秒（約６７μ秒）となる。
【００４７】
ステップＳ１０４では、映像信号処理部１６において、撮像処理が開始されたか否かを判定し、開始されたと判定した場合(Yes)は、ステップＳ１０６に移行し、そうでない場合(No)は、撮像処理が開始されるまで判定処理を繰り返す。
なお、撮像処理が開始されると、撮像素子１０は、制御部１８からの露光量信号及び各種制御信号に基づき、露光量Ｌ１〜Ｌ４（露光時間Ｔ１〜Ｔ４）で被写体を撮像する。そして、撮像により得られた画像データＳ１〜Ｓ４を、第１〜第４メモリ１２〜１５に順次出力して、ステップＳ１０６に移行する。
【００４８】
ステップＳ１０６では、映像信号処理部１６において、第１〜第４メモリ１２〜１５から順次出力される画像データＳ１〜Ｓ４と、制御部１８からの露光比情報（Ｔ１：Ｔ２：Ｔ３：Ｔ４）とに基づき、ＨＤＲ合成処理を実行して、ステップＳ１０８に移行する。
ステップＳ１０８では、制御部１８において、撮像処理が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでない場合(No)は、ステップＳ１１０に移行する。
【００４９】
ステップＳ１１０に移行した場合は、制御部１８において、フレームメモリ１７に格納されたＨＤＲ合成処理によって生成されたＨＤＲ画像データに基づき、露光比調整処理を実行して、ステップＳ１０６に移行する。
露光比調整処理が実行されると、撮像素子１０は、調整後の露光量信号に基づき、撮像処理を実行する。
【００５０】
次に、図６に基づき、映像信号処理部１６におけるＨＤＲ合成処理の流れを説明する。ここで、図６は、ＨＤＲ合成処理の一例を示すフローチャートである。
ステップＳ１０６に移行すると、映像信号処理部１６においてＨＤＲ合成処理が開始され、図６に示すように、まず、ステップＳ２００に移行する。
ステップＳ２００では、映像信号処理部１６において、第１〜第４メモリ１２〜１５から画素データＳ１〜Ｓ４を１ライン分取得して、ステップＳ２０２に移行する。
【００５１】
具体的に、映像信号処理部１６は、第１〜第４メモリ１２〜１５に、同じ画素位置の１ライン分の画素データＳ１〜Ｓ４が格納されたタイミングで、該Ｓ１〜Ｓ４を取得する。
なお、本実施形態においては、画素データＳ１〜Ｓ４（ｘ，ｙ）は、輝度の情報（輝度値）と、画素の位置情報（行及び列の位置情報）とを含むデータであることとする。また、画素データＳ１〜Ｓ４が位置情報を持たず、映像信号処理部１６において、水平同期信号及びピクセルクロックをカウントすることで、画素の位置情報を生成する構成としてもよい。
【００５２】
また、映像信号処理部１６において、必要に応じて、取得した画素データＳ１〜Ｓ４に対して、固定パターンノイズの除去処理、クランプ処理等の前処理を施してもよい。
ステップＳ２０２では、映像信号処理部１６において、１ライン分の画素データＳ１〜Ｓ４の中から、合成重みＷ１〜Ｗ４及び正規化画素データＮ１〜Ｎ４の計算処理が未処理の１画素分の画素データＳ１〜Ｓ４（ｘ，ｙ）を選択する。そして、選択した画素データＳ１〜Ｓ４（ｘ，ｙ）を正規化部１６ｂに出力し、選択した画素データＳ１〜Ｓ４（ｘ，ｙ）のうちＳ２〜Ｓ４（ｘ，ｙ）を重み計算部１６ａに出力して、ステップＳ２０４に移行する。
【００５３】
ステップＳ２０４では、重み計算部１６ａにおいて、ステップＳ２０２で選択された画素データＳ２（ｘ，ｙ）を用いて、上式（２）及び（３）から、合成重みＷ１（ｘ，ｙ）として、「Ｗ１（ｘ，ｙ）＝Ｆ（Ｓ２（ｘ，ｙ））」を計算して、ステップＳ２０６に移行する。
ステップＳ２０６では、重み計算部１６ａにおいて、ステップＳ２０２で選択された画素データＳ３（ｘ，ｙ）に基づき、上式（２）から、まず、Ｆ（Ｓ３（ｘ，ｙ））を計算する。次に、該計算したＦ（Ｓ３（ｘ，ｙ））と、ステップＳ２０４で計算したＦ（Ｓ２（ｘ，ｙ））と、上式（４）とから、合成重みＷ２（ｘ，ｙ）として、「Ｗ２（ｘ，ｙ）＝Ｆ（Ｓ３（ｘ，ｙ））−Ｆ（Ｓ２（ｘ，ｙ））」を計算して、ステップＳ２０８に移行する。
【００５４】
ステップＳ２０８では、重み計算部１６ａにおいて、ステップＳ２０２で選択された画素データＳ４（ｘ，ｙ）に基づき、上式（２）から、まず、Ｆ（Ｓ４（ｘ，ｙ））を計算する。次に、該計算したＦ（Ｓ４（ｘ，ｙ））と、ステップＳ２０６で計算したＦ（Ｓ３（ｘ，ｙ））と、上式（５）とから、合成重みＷ３として、「Ｗ３（ｘ，ｙ）＝Ｆ（Ｓ４（ｘ，ｙ））−Ｆ（Ｓ３（ｘ，ｙ））」を計算して、ステップＳ２１０に移行する。
ステップＳ２１０では、重み計算部１６ａにおいて、ステップＳ２０８で計算したＦ（Ｓ４（ｘ，ｙ））と、上式（６）とから、合成重みＷ４（ｘ，ｙ）として、「Ｗ４（ｘ，ｙ）＝１−Ｆ（Ｓ４（ｘ，ｙ））」を計算して、ステップＳ２１２に移行する。
なお、ステップＳ２０４〜Ｓ２１０において計算した合成重みＷ１〜Ｗ４（ｘ，ｙ）は、合成部１６ｃに出力される。
【００５５】
ステップＳ２１２では、正規化部１６ｂにおいて、ステップＳ２０２で選択された画素データＳ１（ｘ，ｙ）と、制御部１８からの露光比情報「Ｔ１：Ｔ２：Ｔ３：Ｔ４」のうちＴ１とＴ４とに基づき、上式（７）から、画素データＳ１（ｘ，ｙ）を正規化する。具体的に、正規化画素データＮ１（ｘ，ｙ）として、「Ｎ１（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）×Ｔ４／Ｔ１」を計算して、ステップＳ２１４に移行する。
【００５６】
ステップＳ２１４では、正規化部１６ｂにおいて、ステップＳ２０２で選択された画素データＳ２（ｘ，ｙ）と、制御部１８からの露光比情報「Ｔ１：Ｔ２：Ｔ３：Ｔ４」のうちＴ２とＴ４とに基づき、上式（８）から、画素データＳ２（ｘ，ｙ）を正規化する。具体的に、正規化画素データＮ２（ｘ，ｙ）として、「Ｎ２（ｘ，ｙ）＝Ｓ２（ｘ，ｙ）×Ｔ４／Ｔ２」を計算して、ステップＳ２１６に移行する。
【００５７】
ステップＳ２１６では、正規化部１６ｂにおいて、ステップＳ２０２で選択された画素データＳ３（ｘ，ｙ）と、制御部１８からの露光比情報「Ｔ１：Ｔ２：Ｔ３：Ｔ４」のうちＴ３とＴ４とに基づき、上式（９）から、画素データＳ３を正規化する。具体的に、正規化画素データＮ３（ｘ，ｙ）として、「Ｎ３（ｘ，ｙ）＝Ｓ３（ｘ，ｙ）×Ｔ４／Ｔ３」を計算して、ステップＳ２１８に移行する。
なお、ステップＳ２１２〜Ｓ２１６で計算した正規化画素データＮ１〜Ｎ３（ｘ，ｙ）と、「Ｎ４（ｘ，ｙ）＝Ｓ４（ｘ，ｙ）」である正規化画素データＮ４（ｘ，ｙ）とは、合成部１６ｃに出力される。
【００５８】
ステップＳ２１８では、合成部１６ｃにおいて、重み計算部１６ａから取得した合成重みＷ１〜Ｗ４（ｘ，ｙ）と、正規化部１６ｂから取得した正規化画素データＮ１〜Ｎ４（ｘ，ｙ）とを用いて、上式（１１）に基づき、Ｎ１〜Ｎ４（ｘ，ｙ）を合成して、ステップＳ２２０に移行する。
具体的に、合成部１６ｃは、上式（１１）から、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）として、「ＨＤＲ（ｘ，ｙ）＝Ｗ１（ｘ，ｙ）×Ｎ１（ｘ，ｙ）＋Ｗ２（ｘ，ｙ）×Ｎ２（ｘ，ｙ）＋Ｗ３（ｘ，ｙ）×Ｎ３（ｘ，ｙ）＋Ｗ４（ｘ，ｙ）×Ｎ４（ｘ，ｙ）」を計算する。
【００５９】
ステップＳ２２０では、合成部１６ｃにおいて、ステップＳ２１８で合成して得られたＨＤＲ画素データＨＤＲ（ｘ，ｙ）を、フレームメモリ１７に格納して、ステップＳ２２２に移行する。
ステップＳ２２２では、映像信号処理部１６において、１ライン分の画素データＳ１〜Ｓ４について、ＨＤＲ合成処理が終了したか否かを判定し、終了したと判定した場合(Yes)は、ステップＳ２２４に移行し、そうでない場合(No)は、ステップＳ２０２に移行する。
【００６０】
ステップＳ２２４に移行した場合は、映像信号処理部１６において、１フレーム分（１画像分）の画素データＳ１〜Ｓ４について、ＨＤＲ合成処理が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了して元の処理に復帰する。一方、終了していないと判定した場合(No)は、ステップＳ２００に移行する。
なお、ステップＳ２０４〜Ｓ２１０の処理と、ステップＳ２１２〜Ｓ２１６の処理とは、順次行ってもよいし、並列に行ってもよい。
【００６１】
次に、図７に基づき、ステップＳ１１０の露光比調整処理の流れを説明する。ここで、図７は、露光比調整処理の一例を示すフローチャートである。
ステップＳ１１０に移行して、露光比調整処理が開始されると、図７に示すように、まず、ステップＳ３００に移行する。
ステップＳ３００では、制御部１８において、フレームメモリ１７からＨＤＲ合成処理によって生成された１フレーム分（１画像分）のＨＤＲ画像データを取得し、取得したＨＤＲ画像データから平均輝度Ｌａｖを算出して、ステップＳ３０２に移行する。
【００６２】
ステップＳ３０２では、制御部１８において、ステップＳ３００で算出した平均輝度Ｌａｖと、予め設定された平均輝度値の高輝度側の閾値Ｌｔｈとを比較し、ＬａｖがＬｔｈよりも大きいか否かを判定する。そして、ＬａｖがＬｔｈよりも大きいと判定した場合(Yes)は、ステップＳ３０４に移行し、そうでない場合(No)は、ステップＳ３０８に移行する。
ステップＳ３０４に移行した場合は、制御部１８において、最短露光時間Ｔｍｉｎを、予め設定された時間だけ減少して、ステップＳ３０６に移行する。つまり、撮像環境が比較的明るい状態であるので、白飛びしない画像を得るために最短露光時間Ｔｍｉｎを減少する調整を行う。なお、減少する時間は、平均輝度に応じてその都度適切な値を算出するようにしてもよいし、平均輝度の大きさに対応する値をテーブルとして予め用意するようにしてもよい。
【００６３】
ステップＳ３０６では、制御部１８において、ステップＳ３０４で減少したＴｍｉｎと、初期設定時のＴｍａｘとを用いて、中間露光時間Ｔｍｉｄを再計算し、再計算したＴｍｉｄと、減少後のＴｍｉｎ及び初期設定時のＴｍａｘとに基づき露光比情報を生成する。
例えば、露光時間がＴ１〜Ｔ４の４種類の場合に、露光比情報として「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝Ｔｍｉｎ（減）：Ｔｍｉｄ１（再）：Ｔｍｉｄ２（再）：Ｔｍａｘ（初）」を生成する。なお、各露光時間の後ろに付した、（減）は減少調整後の、（再）は再計算後の、（初）は初期設定時の各露光時間であることを示す。更に、制御部１８は、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、一連の処理を終了し元の処理に復帰する。
【００６４】
一方、ステップＳ３０２において、ＬａｖがＬｔｈ以下であってステップＳ３０８に移行した場合は、制御部１８において、ステップＳ３００で算出した平均輝度Ｌａｖと、予め設定された平均輝度値の低輝度側の閾値Ｌｔｌとを比較する。更に、この比較結果に基づき、ＬａｖがＬｔｌよりも小さいか否かを判定する。そして、ＬａｖがＬｔｌよりも小さいと判定した場合(Yes)は、ステップＳ３１０に移行し、そうでない場合(No)は、ステップＳ３１４に移行する。
【００６５】
ステップＳ３１０に移行した場合は、制御部１８において、最長露光時間Ｔｍａｘを、予め設定された時間だけ増加して、ステップＳ３１２に移行する。つまり、撮像環境が比較的暗い状態であるので、黒つぶれしない画像を得るために最長露光時間Ｔｍａｘを増加する調整を行う。なお、増加する時間は、平均輝度に応じてその都度適切な値を算出するようにしてもよいし、平均輝度の大きさに対応する値をテーブルとして予め用意するようにしてもよい。
【００６６】
ステップＳ３１２では、制御部１８において、ステップＳ３１０で増加したＴｍａｘと初期設定時のＴｍｉｎとを用いて、中間露光時間Ｔｍｉｄを再計算し、再計算したＴｍｉｄと、初期設定時のＴｍｉｎ及び増加後のＴｍａｘとに基づき露光比情報を生成する。
例えば、露光時間がＴ１〜Ｔ４の４種類の場合に、露光比情報は、「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝Ｔｍｉｎ（初）：Ｔｍｉｄ１（再）：Ｔｍｉｄ２（再）：Ｔｍａｘ（増）」となる。なお、露光時間Ｔｍａｘの後ろに付した（増）は増加調整後の露光時間であることを示す。更に、制御部１８は、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、一連の処理を終了し元の処理に復帰する。
【００６７】
また、ステップＳ３０８において、ＬａｖがＬｔｌ以上であってステップＳ３１４に移行した場合は、制御部１８において、最短露光時間Ｔｍｉｎと最長露光時間Ｔｍａｘとして通常露光時間を設定して、ステップＳ３１６に移行する。本実施形態では、通常露光時間として、初期設定時の露光時間を設定する。
ステップＳ３１６では、制御部１８において、ステップＳ３１４で設定されたＴｍｉｎ及びＴｍａｘを用いて、中間露光時間Ｔｍｉｄを再計算し、再計算したＴｍｉｄと、初期設定時のＴｍｉｎ及び増加後のＴｍａｘとに基づき露光比情報を生成する。
【００６８】
例えば、露光時間がＴ１〜Ｔ４の４種類の場合に、露光比情報は、「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝Ｔｍｉｎ（初）：Ｔｍｉｄ１（再）：Ｔｍｉｄ２（再）：Ｔｍａｘ（初）」となる。更に、制御部１８は、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、一連の処理を終了し元の処理に復帰する。
【００６９】
次に、図８〜図１１に基づき、本実施形態の動作を説明する。
ここで、図８（ａ）〜（ｄ）は、比率が均等となるように決定された露光時間Ｔ１〜Ｔ４における入射光に対する応答信号Ｓ１〜Ｓ４の一例を示す図である。また、図９（ａ）〜（ｄ）は、入射光に対する合成重みＷ１〜Ｗ４の一例を示す図である。また、図１０は、図９（ａ）〜（ｄ）を重ねて表示した図である。また、図１１は、図８（ａ）〜（ｄ）における入射光の軸を対数で表した場合の図である。
【００７０】
電源が投入されると、撮像装置１は、撮像処理が開始される前に、まず、制御部１８において、露光比情報及び露光量信号を生成し、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する。
具体的に、まず、操作部２０を介したユーザからの指示又は予め設定された値に基づき、露光時間Ｔ１及びＴ３の初期値が設定される（ステップＳ１００）。ここでは、初期値として、「Ｔ１＝２Ｈ、Ｔ４＝５００Ｈ」が設定されたとする。
【００７１】
制御部１８は、次に、上式（６）及び（７）に従って、「Ｔ２／Ｔ１＝Ｔ３／Ｔ２＝Ｔ４／Ｔ３」の関係となる中間露光時間Ｔ２及びＴ３を算出する（ステップＳ１０２）。具体的に、「Ｔ２＝２Ｈ、Ｔ３＝５００Ｈ」が設定されているので、制御部１８において、「Ｔ２＝（４×５００）1/3≒１２．６」が自動的に算出される。引き続き、制御部１８において、「Ｔ３＝（２×２５００００）1/3≒７９．４」が自動的に算出される。
【００７２】
ここでは、四捨五入してＴ２を「１３」に設定し、Ｔ３を「７９」に設定する。これにより、「Ｔ２／Ｔ１＝１３／２＝６．５」、「Ｔ３／Ｔ２＝７９／１３≒６．１」、「Ｔ４／Ｔ３＝５００／７９≒６．３」となり、比率が略均等になる露光比情報「「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝２：１３：７９：５００」を得ることができる。
更に、制御部１８は、露光比情報「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝２：１３：７９：５００」の情報を含む露光量信号を生成し、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する。
【００７３】
これにより、撮像素子１０のＨＤＲセンサ１０ｄのレジスタに、露光時間比「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝２：１３：７９：５００」の情報が書き込まれる。
引き続き、撮像素子１０において、被写体の撮像が開始されると、被写体から反射された光は、レンズ１０ａで集光されてマイクロレンズ１０ｂに入射される。レンズ１０ａからの入射光は、マイクロレンズ１０ｂにおいて平行化されて、カラーフィルタアレイ１０ｃを介してセンサセルアレイの各画素に入射される。
【００７４】
一方、ＨＤＲセンサ１０ｄにおいて、開始ラインから順に１ラインずつリセットラインＲが設定されて、各画素の蓄積電荷がリセットされる。引き続き、各走査ラインに対して、各画素のリセット後において露光時間Ｔ１、Ｔ２、Ｔ３の経過タイミングで非破壊読み出しラインＬ１、Ｌ２、Ｌ３が設定さる。これにより、図８（ａ）〜（ｃ）に示すような光応答の画素信号Ｓ１〜Ｓ３が順に読み出される。引き続き、開始ラインから順に読み出し＆リセットラインＬ４＆Ｒが設定されて、走査されたラインの各画素から図８（ｄ）に示すような光応答の画素信号Ｓ４が読み出され、その後、各画素の蓄積電荷がリセットされる。
以降、撮像が行われている間は、上記の手順でＬ１〜Ｌ３＆Ｒの設定、画素信号Ｓ１〜Ｓ３の読み出し及びリセット処理が繰り返し行われる。
【００７５】
このようにして読み出された画素信号Ｓ１〜Ｓ４は、ライン毎に、第１ラインメモリ〜第４ラインメモリにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、Ｓ１〜Ｓ４の順でアナログの画素データＳ１〜Ｓ４がＡＤＣに出力される。ＡＤＣは、アナログの画素データＳ１〜Ｓ４を、デジタルの画素データＳ１〜Ｓ４に変換する。そして、ＡＤＣからは、ライン単位で且つ画素データＳ１〜Ｓ４の順で順次画素データが、第１〜第４メモリ１２〜１５へと出力される。ここでは、画素データＳ１〜Ｓ４は８ビットの階調範囲の輝度値（０〜２５５）を示すデータとなる。
上記のようにして、比率が略均等となる露光時間Ｔ１、Ｔ２、Ｔ３、Ｔ４で撮像して得られる画素信号Ｓ１〜Ｓ４は、図１１に示すように、入射光を対数で表したグラフにおいて略均等な間隔で並ぶ。
【００７６】
一方、映像信号処理部１６は、撮像が開始され（ステップＳ１０４の「Ｙｅｓ」の分岐）、第１〜第４メモリ１２〜１５に１ライン分の画素データＳ１〜Ｓ４が格納されると、ＨＤＲ合成処理を開始する（ステップＳ１０６）。
ＨＤＲ合成処理が開始されると、映像信号処理部１６は、第１〜第４メモリ１２〜１５から、１ライン分の画素データＳ１〜Ｓ４を取得する（ステップＳ２００）。
映像信号処理部１６は、取得した１ライン分の画素データＳ１〜Ｓ４のうち、合成重みＷ１〜Ｗ４及び正規化画素データＮ１〜Ｎ４の計算処理が未処理の１画素分の画素データＳ１〜Ｓ４（ｘ，ｙ）を選択する。そして、画素データＳ２〜Ｓ４（ｘ，ｙ）を重み計算部１６ａに出力し、画素データＳ１〜Ｓ４（ｘ，ｙ）を正規化部１６ｂに出力する（ステップＳ２０２）。
【００７７】
一方、重み計算部１６ａは、画素データＳ２〜Ｓ４（ｘ，ｙ）を取得すると、まず、画素データＳ２（ｘ，ｙ）を、上式（２）に代入して、Ｆ（Ｓ２（ｘ，ｙ））を算出する。更に、上式（３）から、「Ｗ１（ｘ，ｙ）＝Ｆ（Ｓ２（ｘ，ｙ））」を計算する（ステップＳ２０４）。つまり、合成重みＷ１（ｘ，ｙ）を算出するときは、画素データＳ２（ｘ，ｙ）のみを用いる。
例えば、画素データＳ２（ｘ，ｙ）の輝度値が「１０」であるとする。また、ここでは、上式（２）におけるｎを「２」とする。この場合は、「Ｆ（Ｓ２（ｘ，ｙ））＝（１０／２５５）2≒１．５３８×１０-3」となり、上式（３）から、「Ｗ１（ｘ，ｙ）＝１．５３８×１０-3」となる。
【００７８】
なお、撮像条件などに応じて、ｎの値を適宜切り替えることで、上式（２）の関数Ｆ（ｘ）の値が、より急峻な変化をするように切り替えたり、より緩やかに変化するように切り替えたりすることができる。
ここで、合成重みＷ１（ｘ，ｙ）は、図９（ａ）に示すように、入射光量が少ないうちは比較的緩やかに変化し、ある入射光量を境に一定値となる。換言すると、Ｓ２（ｘ，ｙ）の明度（輝度値）が大きいほどＷ１（ｘ，ｙ）は大きくなり、Ｓ２（ｘ，ｙ）の明度が飽和状態となる明度のときにＷ１（ｘ，ｙ）は最大となる。
【００７９】
次に、重み計算部１６ａは、Ｓ３（ｘ，ｙ）を、上式（２）に代入して、Ｆ（Ｓ３（ｘ，ｙ））を算出し、算出したＦ（Ｓ３（ｘ，ｙ））と、先ほど算出したＦ（Ｓ２（ｘ，ｙ））とを上式（４）に代入する。これにより、「Ｗ２（ｘ，ｙ）＝Ｆ（Ｓ３（ｘ，ｙ））−Ｆ（Ｓ２（ｘ，ｙ））」を計算する（ステップＳ２０６）。つまり、合成重みＷ２（ｘ，ｙ）を算出するときは、画素データＳ２（ｘ，ｙ）及びＳ３（ｘ，ｙ）の２つを用いる。
【００８０】
例えば、画素データＳ３（ｘ，ｙ）の輝度値が「４０」であるとする。この場合は、「Ｆ（Ｓ３（ｘ，ｙ））＝（４０／２５５）2≒０．０２４６」となり、上式（４）から、「Ｗ２＝Ｆ（Ｓ３（ｘ，ｙ））−Ｆ（Ｓ２（ｘ，ｙ））＝０．０２４６−１．５３８×１０-3≒０．０２３０７」となる。
ここで、合成重みＷ２（ｘ，ｙ）は、図９（ｂ）に示すように、入射光量に対して、Ｗ１（ｘ，ｙ）と比較して急峻に上昇し、ある入射光量を境に低下する。換言すると、Ｓ３（ｘ，ｙ）の明度（輝度値）が大きいほどＷ２（ｘ，ｙ）は大きくなるが、Ｓ２（ｘ，ｙ）の明度も大きいときはＷ２（ｘ，ｙ）は小さくなる。また、Ｓ２（ｘ，ｙ）、Ｓ３（ｘ，ｙ）が両方とも飽和しているときはＷ２（ｘ，ｙ）は最小値「０」となる。
【００８１】
次に、重み計算部１６ａは、Ｓ４（ｘ，ｙ）を、上式（２）に代入して、Ｆ（Ｓ４（ｘ，ｙ））を算出し、算出したＦ（Ｓ４（ｘ，ｙ））と、先ほど算出したＦ（Ｓ３（ｘ，ｙ））とを上式（５）に代入する。これにより、「Ｗ３（ｘ，ｙ）＝Ｆ（Ｓ４（ｘ，ｙ））−Ｆ（Ｓ３（ｘ，ｙ））」を計算する（ステップＳ２０８）。つまり、合成重みＷ３（ｘ，ｙ）を算出するときは、画素データＳ３（ｘ，ｙ）及びＳ４（ｘ，ｙ）の２つを用いる。
【００８２】
例えば、画素データＳ４（ｘ，ｙ）の輝度値が「１６０」であるとする。この場合は、「Ｆ（Ｓ４（ｘ，ｙ））＝（１６０／２５５）2≒０．３９３７」となり、上式（５）から、「Ｗ３＝Ｆ（Ｓ４（ｘ，ｙ））−Ｆ（Ｓ３（ｘ，ｙ））＝０．３９３７−０．０２３０７≒０．３７０６」となる。
ここで、合成重みＷ３（ｘ，ｙ）は、図９（ｃ）に示すように、入射光量に対して、Ｗ２（ｘ，ｙ）と比較して急峻に上昇し、ある入射光量を境にＷ２（ｘ，ｙ）と比較して急峻に低下する。具体的に、Ｓ４（ｘ，ｙ）の明度（輝度値）が大きいほどＷ３（ｘ，ｙ）は大きくなるが、Ｓ３（ｘ，ｙ）の明度も大きいときはＷ３（ｘ，ｙ）は小さくなる。また、Ｓ３（ｘ，ｙ）、Ｓ４（ｘ，ｙ）が両方とも飽和しているときはＷ３（ｘ，ｙ）は最小値「０」となる。
【００８３】
次に、重み計算部１６ａは、先ほど算出したＦ（Ｓ４（ｘ，ｙ））を上式（６）に代入し、「Ｗ４（ｘ，ｙ）＝１−Ｆ（Ｓ４（ｘ，ｙ））」を計算する（ステップＳ２１０）。つまり、合成重みＷ４（ｘ，ｙ）を計算するときは、「Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４＝１」となることを利用して計算を行う。
例えば、上記数値例の値を用いた場合に、「Ｗ４＝１−Ｆ（Ｓ４（ｘ，ｙ））＝１−０．３７０６＝０．６２９４」となる。
【００８４】
ここで、合成重みＷ４（ｘ，ｙ）は、図９（ｄ）に示すように、入射光量が少なければ少ないほど大きな値となり、入射光量の増加に応じてＷ３（ｘ，ｙ）と比較して急峻に低下する。具体的に、Ｓ４（ｘ，ｙ）の明度（輝度値）が小さいほどＷ４（ｘ，ｙ）は大きくなるが、Ｓ４（ｘ，ｙ）の明度が大きいときはＷ４（ｘ，ｙ）は小さくなる。また、Ｓ４（ｘ，ｙ）が飽和しているときはＷ４（ｘ，ｙ）は最小値「０」となる。
【００８５】
以上のようにして計算される合成重みＷ１〜Ｗ４（ｘ，ｙ）を重ねて表示すると、図１０に示すように、入射光量に対して、Ｗ１〜Ｗ４（ｘ，ｙ）がオーバーラップする部分が現れる。本実施形態では、Ｗ２（ｘ，ｙ）を計算するときに、Ｓ２（ｘ，ｙ）及びＳ３（ｘ，ｙ）の２つの明度を用い、Ｗ３（ｘ，ｙ）を計算するときに、Ｓ３（ｘ，ｙ）及びＳ４（ｘ，ｙ）の２つの明度を用いている。そのため、特にオーバーラップする領域において、Ｓ３（ｘ，ｙ）だけ、又はＳ４（ｘ，ｙ）だけを用いて計算するよりも、より適切な合成重みＷ２（ｘ，ｙ）及びＷ３（ｘ，ｙ）を計算することができる。
なお、重み計算部１６ａは、上記のようにして算出した合成重みＷ１〜Ｗ４（ｘ，ｙ）を、合成部１６ｃに出力する。
【００８６】
また、正規化部１６ｂは、画素データＳ１〜Ｓ４（ｘ，ｙ）を取得すると、まず、画素データＳ１（ｘ，ｙ）と、制御部１８から取得した露光比情報のうちＴ１及びＴ４とに基づき、上式（７）から、画素データＳ１（ｘ，ｙ）を正規化する（ステップＳ２１２）。
具体的に、画素データＳ１（ｘ，ｙ）と、露光時間Ｔ１、Ｔ４とを、上式（７）に代入して、正規化画素データＮ１（ｘ，ｙ）として、「Ｎ１（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）×Ｔ４／Ｔ１」を計算する。
露光時間Ｔ１、Ｔ４として上記数値例を用い、画素データＳ１（ｘ，ｙ）の輝度値が「２」である場合に、「Ｎ１（ｘ，ｙ）＝２×５００／２＝５００」となる。
【００８７】
次に、正規化部１６ｂは、画素データＳ２（ｘ，ｙ）と、制御部１８から取得した露光比情報のうちＴ２及びＴ４とに基づき、上式（８）から、画素データＳ２（ｘ，ｙ）を正規化する（ステップＳ２１４）。
具体的に、画素データＳ２（ｘ，ｙ）と、露光時間Ｔ２、Ｔ４とを、上式（８）に代入して、正規化画素データＮ２（ｘ，ｙ）として、「Ｎ２（ｘ，ｙ）＝Ｓ２（ｘ，ｙ）×Ｔ４／Ｔ２」を計算する。
露光時間Ｔ２、Ｔ４、画素データＳ２（ｘ，ｙ）として上記数値例を用いた場合に、「Ｎ２（ｘ，ｙ）＝１０×５００／１３≒３８５」となる。
【００８８】
次に、正規化部１６ｂは、画素データＳ３（ｘ，ｙ）と、制御部１８から取得した露光比情報のうちＴ３及びＴ４とに基づき、上式（９）から、画素データＳ３（ｘ，ｙ）を正規化する（ステップＳ２１６）。
具体的に、画素データＳ３（ｘ，ｙ）と、露光時間Ｔ３、Ｔ４とを、上式（９）に代入して、正規化画素データＮ３（ｘ，ｙ）として、「Ｎ３（ｘ，ｙ）＝Ｓ３（ｘ，ｙ）×Ｔ４／Ｔ３」を計算する。
【００８９】
露光時間Ｔ３、Ｔ４、画素データＳ３（ｘ，ｙ）として上記数値例を用いた場合に、「Ｎ３（ｘ，ｙ）＝４０×５００／７９≒２５３」となる。
なお、露光時間Ｔ４を基準としているため、画素データＳ４（ｘ，ｙ）は、そのままの値を用いる（上式（１０））。上記数値例で言うと、「Ｎ４（ｘ，ｙ）＝１６０」となる。
なお、正規化部１６ｂは、上記のようにして算出した正規化画素データＮ１〜Ｎ４（ｘ，ｙ）を、合成部１６ｃに出力する。
【００９０】
合成部１６ｃは、重み計算部１６ａから合成重みＷ１〜Ｗ４（ｘ，ｙ）を取得し、正規化部１６ｂから正規化画素データＮ１〜Ｎ４（ｘ，ｙ）を取得すると、上式（１１）を用いて、Ｎ１〜Ｎ４のＨＤＲ合成処理を実行する（ステップＳ２１８）。
具体的に、上式（１１）に示すように、正規化画素データＮ１〜Ｎ４（ｘ，ｙ）を、合成重みＷ１〜Ｗ４で重み付けすると共に加算して、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）を計算する。つまり、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）として、「ＨＤＲ（ｘ，ｙ）＝Ｗ１（ｘ，ｙ）×Ｎ１（ｘ，ｙ）＋Ｗ２（ｘ，ｙ）×Ｎ２（ｘ，ｙ）＋Ｗ３（ｘ，ｙ）×Ｎ３（ｘ，ｙ）＋Ｗ４（ｘ，ｙ）×Ｎ４（ｘ，ｙ）」を計算する。
【００９１】
ここで、合成重みＷ１〜Ｗ４（ｘ，ｙ）及び正規化画素データＮ１〜Ｎ４（ｘ，ｙ）として、上記数値例を用いる。
上式（１１）に上記各数値を代入すると、「ＨＤＲ（ｘ，ｙ）＝１．５３８×１０-3×５００＋０．０２３０７×３８５＋０．３７０６×２５３＋０．６２９４×１６０≒０．７６９＋８．８８＋９３．８＋１０１≒２０４」となる。
【００９２】
このようにして生成されたＨＤＲ画素データＨＤＲ（ｘ，ｙ）は、フレームメモリ１７の各画素位置に対応するアドレスのメモリ領域に格納される（ステップＳ２２０）。
上記のようにして、各画素の合成重みＷ１〜Ｗ４（ｘ，ｙ）、正規化画素データＮ１〜Ｎ４（ｘ，ｙ）、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）を順次計算する。このＨＤＲ合成処理は、１フレーム分の画素についてＨＤＲ合成処理が終了するまで行われる（ステップＳ２２２及びＳ２２４の「Ｙｅｓ」の分岐）。
【００９３】
そして、１フレーム分のＨＤＲ画素データが生成され、且つ撮像処理が継続している場合に（ステップＳ１０８の「Ｎｏ」の分岐）、露光比調整処理を実行する（ステップＳ１１０）。
露光比調整処理が開始されると、画像解析部１９は、１フレーム分のＨＤＲ画素データを、フレームメモリ１７から取得する。そして、取得したＨＤＲ画素データに基づき、撮像環境の明るさに係る統計情報として、１フレーム分の平均輝度Ｌａｖを算出し、算出したＬａｖを制御部１８に出力する（ステップＳ３００）。なお、１フレーム分に限らず、複数フレーム分のＨＤＲ画素データを用いて複数フレーム分の平均輝度を算出するようにしてもよい。
制御部１８は、画像解析部１９から平均輝度Ｌａｖを取得すると、Ｌａｖと、高輝度側の閾値Ｌｔｈとを比較し、ＬａｖがＬｔｈより大きいか否かを判定する。ここでは、高輝度側の閾値Ｌｔｈを「１９２」、低輝度側の閾値Ｌｔｌを「６４」とする。
【００９４】
例えば、平均輝度Ｌａｖが「６１」の場合は、Ｌａｖ（６１）はＬｔｈ（１９２）よりも小さいので（ステップＳ３０２の「Ｎｏ」の分岐）、制御部１８は、次に、ＬａｖとＬｔｌとを比較し、ＬａｖがＬｔｌよりも小さいか否かを判定する。ここでは、Ｌａｖ（６１）はＬｔｌ（６４）よりも小さいので（ステップＳ３０８の「Ｙｅｓ」の分岐）、制御部１８は、撮像環境が暗いと判断し、現在設定されている最長露光時間「Ｔｍａｘ（Ｔ３）＝５００Ｈ」を増加する調整を行う（ステップＳ３１０）。例えば、「Ｔ３＝１０００Ｈ」に増加したとする。これにより、略均等となっていた比率が崩れてしまうので、制御部１８は、「Ｔ１＝２Ｈ（初）、Ｔ４＝１０００Ｈ（増）」を、上式（６）及び（７）に代入して、中間露光時間Ｔｍｉｄ（Ｔ２及びＴ３）を再計算する。これにより、「Ｔ２＝（４×１０００）1/3≒１６」が算出され、「Ｔ３＝（２×１００００００）1/3≒１２６」が算出される。そして、新たな露光比情報として、「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝２：１６：１２６：１０００」が生成され、この露光比情報に基づき、新たな露光情報信号が生成される。生成された露光比情報は映像信号処理部１６に出力され、生成された露光情報信号は、各制御信号と共に撮像素子１０に送信される。これにより、撮像素子１０では、撮像環境の明るさに適した新たな露光比情報に基づいて撮像処理が行われる。
【００９５】
また、算出した平均輝度Ｌａｖが「２２１」であった場合は、Ｌａｖ（２２１）はＬｔｈ（１９２）よりも大きいので（ステップＳ３０２の「Ｙｅｓ」の分岐）、制御部１８は、撮像環境が明るいと判断し、現在設定されている最短露光時間「Ｔｍｉｎ（Ｔ１）＝２Ｈ」を減少する調整を行う（ステップＳ１１４）。例えば、「Ｔ１＝１Ｈ」に減少したとする。これにより、略均等となっていた比率が崩れてしまうので、制御部１８は、「Ｔ１＝１Ｈ（減）、Ｔ４＝５００Ｈ（初）」を、上式（１２）及び（１３）に代入して、中間露光時間Ｔｍｉｄ（Ｔ２及びＴ３）を再計算する。これにより、「Ｔ２＝（１×５００）1/3≒８」が算出され、「Ｔ３＝（１×２５００００）1/3≒６３」が算出される。そして、新たな露光比情報として、「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝１：８：６３：５００」が生成され、この露光比情報に基づき、新たな露光情報信号が生成される。生成された露光比情報は映像信号処理部１６に出力され、生成された露光情報信号は、各制御信号と共に撮像素子１０に送信される。これにより、撮像素子１０では、撮像環境の明るさに適した新たな露光比情報に基づいて撮像処理が行われる。
【００９６】
以上説明したように、本実施形態の撮像装置１は、露光時間Ｔ１〜Ｔ４で撮像して得られた画素データＳ１〜Ｓ４を重み付けして合成する際の合成重みＷ１〜Ｗ４の計算において、Ｗ２については、Ｓ２及びＳ３の２つを用いて計算するようにした。更に、Ｗ３については、Ｓ３及びＳ４の２つを用いて計算するようにした。
つまり、Ｓ２に対する合成重みＷ２については、Ｓ２とその次に露光時間の長いＳ３の両方の明度（輝度値）を用いて計算するので、Ｓ２の明度だけ用いた場合と比較して、より自然で適切な合成重みＷ２を計算することができる。
同様に、Ｓ３に対する合成重みＷ３については、Ｓ３とその次に露光時間の長いＳ４の両方の明度（輝度値）を用いて計算するので、Ｓ３の明度だけ用いた場合と比較して、より自然で適切な合成重みＷ３を計算することができる。
【００９７】
また、撮像素子１０において、隣接する各２つの露光量の比率「Ｌ２／Ｌ１」、「Ｌ３／Ｌ２」及び「Ｌ４／Ｌ３」が均等「Ｌ２／Ｌ１＝Ｌ３／Ｌ２＝Ｌ４／Ｌ３」となる露光量Ｌ１〜Ｌ４に対応する露光時間Ｔ１〜Ｔ４で被写体を撮像することができる。
これによって、ＨＤＲ合成処理で用いる画素データＳ１〜Ｓ４の露光量の比が常に一定となるため、暗部から明部に渡って、輝度が均等になり且つノイズの少ない合成画像を得ることができる。
【００９８】
更に、撮像環境の明るさに係る統計情報として、１フレーム分のＨＤＲ画素データから平均輝度Ｌａｖを算出し、該Ｌａｖと高輝度側閾値Ｌｔｈ及び低輝度側閾値Ｌｔｌとを比較して、撮像環境の明るさの状態を判断することができる。
更に、撮像環境が明るいと判断された場合は、最短露光時間Ｔｍｉｎ（Ｔ１）を減少させる調整を行い、撮像環境が暗いと判断された場合は、最長露光時間Ｔｍａｘ（Ｔ４）を増加させる調整を行うことができる。
【００９９】
更に、調整後のＴ１及びＴ４を用いて、上式（１２）及び（１３）に従ってＴ２及びＴ３を再計算することで、露光時間の調整によって崩れた比率を均等に戻すことができる。
これによって、露光量比（露光時間比）を、撮像環境の明るさに適した露光量比に自動で調整することができる。
上記実施形態において、撮像素子１０及び制御部１８は、形態７に記載の撮像手段に対応し、重み計算部１６ａは、形態１乃至４のいずれか１に記載の重み算出手段に対応し、正規化部１６ｂ及び合成部１６ｃは、形態１に記載の画像合成手段に対応する。
【０１００】
また、上記実施形態において、ステップＳ２０４〜Ｓ２１０は、形態５又は６に記載の重み算出ステップに対応し、ステップ２１２〜ｓ２１８は、形態５又は６に記載の画像合成ステップに対応する。
なお、上記実施形態における、撮像装置１は、表示装置、メモリ装置等の不図示の他の装置と組み合わせて、デジタルカメラ、デジタルビデオカメラなどの電子機器を構成することが可能である。
また、上記実施形態において、合成重みを用いるときに、上式（２）に示す関数Ｆ（ｘ）を用いた構成を例に挙げたが、この構成に限らない。
【０１０１】
例えば、要素ｘの値（上記実施形態では輝度値）が大きいほど増加し、その最大値が「１」又は他の定数となるような関数であれば、他の関数を用いる構成としてもよい。例えば、オフセット値を設定して、ｘの値がオフセット値以下の場合は全て「０」とするような関数を用いてもよい。
また、上記実施形態において、比率が均等となる複数種類の露光量を、露光時間を制御することで実現する構成としたが、この構成に限らず、撮像素子１０の機能に応じて、例えば、アイリス（絞り）や、撮像感度などを制御して実現する構成としてもよい。
【０１０２】
また、上記実施形態において、上式（１２）及び（１３）を用いて、中間露光時間Ｔ２及びＴ３を算出する構成としたが、この構成に限らない。例えば、予め上式（１２）及び（１３）を用いて所定のＴ１及びＴ４に対するＴ２及びＴ３を算出してデータテーブル（ＬＵＴ）を生成し、この生成したＬＵＴを用いてＴ２及びＴ３を決定する構成としてもよい。
また、上記実施形態において、撮像素子１０のＨＤＲセンサ１０ｄが、ＣＭＯＳ技術を用いて構成されたセンサセルアレイ５６を有する構成としたが、この構成に限らない。例えば、ＣＣＤから構成されるセンサセルアレイを有する構成など他の構成としてもよい。
【０１０３】
また、上記実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【符号の説明】
【０１０４】
１…撮像装置、１０…撮像素子、１０ａ…レンズ、１０ｂ…マイクロレンズ、１０ｃ…カラーフィルタアレイ、１０ｄ…ＨＤＲセンサ、１２〜１５…第１〜第４メモリ、１６…映像信号処理部、１６ａ…重み計算部、１６ｂ…正規化部、１６ｃ…合成部、１７…フレームメモリ、１８…制御部、１９…画像解析部、２０…操作部、５０…基準タイミング発生器、５４…走査ラインスキャナ、５６…センサセルアレイ、５８…水平転送部
【技術分野】
【０００１】
本発明は、露光量の異なる複数種類の撮像画像データを合成して、ダイナミックレンジを拡張した画像データを生成するのに好適な画像処理装置、画像処理方法、撮像装置及び電子機器等に関する。
【背景技術】
【０００２】
従来、複数種類の露光量（露光時間）で同一被写体を撮像し、この撮像で得られた複数種類の露光量にそれぞれ対応した画素信号を合成して、ダイナミックレンジを拡張した画像データ（ＨＤＲ画像データ）を生成する技術がある。かかる技術においては、合成画像における、各露光量に対応する画像部分と他の露光量に対応する画像部分との境界領域に発生するノイズ（偽色、疑似輪郭など）がしばしば問題となっていた。
【０００３】
例えば、露光量Ｌ１、Ｌ２（Ｌ１＜Ｌ２）に対応する露光時間Ｔ１、Ｔ２（Ｔ１＜Ｔ２）で同一被写体を撮像して、画素信号Ｄ１（Ｔ１に対応）、Ｄ２（Ｔ２に対応）が得られたとする。この場合に、図１２（ａ）及び（ｂ）に示すように、Ｄ１の傾きをＤ２の傾きに合わせるために、画素信号Ｄ１に係数「Ｔ２／Ｔ１」を乗算して正規化を行う。次に、正規化した「Ｄ１×Ｔ２／Ｔ１」と、「Ｄ２」とを線形合成する。これにより、図１２（ｃ）に示すように、ダイナミックレンジを拡張した（Ｓ／Ｎの良い）撮像画像信号が得られる。
【０００４】
しかし、「Ｄ１×Ｔ２／Ｔ１」の傾きとＤ２の傾きとに微妙な差が生じた場合に、合成後の撮像画像信号の線形性が崩れる恐れがある。線形性が崩れると、「Ｄ１×Ｔ２／Ｔ１」の画像とＤ２の画像との境界領域において、偽色や疑似輪郭等の原因となるノイズが発生する場合がある。
このような問題を解決するために、画像の重み付け合成が従来から用いられている。例えば、特許文献１では、２組の合成画像のうち、より明るい方の明度情報をもとに重みが変わる関数ｆ、ｇを用意し、合成後の画像Ｄ０を、下式（１）により求めている。
Ｄ０＝（Ｄ１×Ｔ２／Ｔ１）×ｆ（Ｄ２）＋Ｄ２×ｇ（Ｄ２） ・・・（１）
また、特許文献２では、オーバーラップ領域（信号の８０％〜１００％）を予め設定しておき、２つの画像を合成する際に、より長い露光時間の画像がオーバーラップ領域に達している部分、即ちハイライト部分で、飽和しにくいより短い露光時間の画像との重み付け合成を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３０８４１８９号公報
【特許文献２】特許第２９７０４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の従来技術においては、露光量の異なる４枚の画像を重み付け合成する場合に、上式（１）を用いた合成方法では、２枚ずつの画像合成にしか対応していない。そのため、例えば、Ｄ１〜Ｄ４の４画素を重み付け合成するためには、図１３に示すように、合計６回もの合成処理を行う必要があり、合成する画像の枚数が増加するほど計算量が飛躍的に増加する。
【０００７】
また、上記特許文献２の従来技術においては、重み付け合成の行われる領域が、オーバーラップ領域に限定されるため、重み付け合成されているハイライト部分とそうでない部分とに、不自然な繋ぎ目が発生する恐れがある。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものである。本発明の幾つかの態様によれば、多段露光によって得られた画像を重み付け合成するのに好適な画像処理装置、画像処理方法、撮像装置及び電子機器を提供できる。
【課題を解決するための手段】
【０００８】
〔形態１〕 上記目的を達成するために、形態１の画像処理装置は、
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出手段と、
前記重み算出手段で算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成手段と、を備える。
【０００９】
このような構成であれば、重み付け算出手段によって、３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、第１の画像の画像合成に用いる重みが算出される。
例えば、４種類の露光量Ｌ１、Ｌ２、Ｌ３、Ｌ４（Ｌ１＜Ｌ２＜Ｌ３＜Ｌ）で被写体を撮像して得られた画像Ｓ１〜Ｓ４について重みの算出を行う場合に、例えば、画像Ｓ２の重みについては、Ｓ２の輝度と、Ｓ３の輝度とに基づき重みが算出されることになる。
【００１０】
ここで、重みの算出は、重み付けの必要な露光量の画像の全てについて行う。例えば、重み付けの必要な露光量の画像が２種類以上ある場合は、そのそれぞれを第１の画像とし、そのそれぞれの次に露光量の大きい画像を第２の画像として重みを算出する。
重みが算出されると、画像合成手段によって、算出した重みを用いて、３種類以上の画像の重み付け加算が行われ、画像が合成される。
以上のことから、合成する画像のうち、露光量の大きさが隣り合う２つの画像の明度に基づき露光量の小さい方の画像の重みを算出することができる。これにより、露光量の大きい方の画像の明度のみに基づき重みを算出するよりも滑らかな線形合成が可能になるという効果が得られる。
【００１１】
〔形態２〕 更に、形態２の撮像装置は、形態１の撮像装置において、
前記重み算出手段は、前記３種類以上の画像のうち、露光量が最小及び最大となる２種類の画像以外の画像について、前記第１の画像の輝度と、前記第２の画像の輝度とに基づき重みを算出する。
このような構成であれば、重み算出手段によって、露光量が最小及び最大となる２種類の画像を除く、残りの中間の露光量について、第１の画像の輝度と第２の画像の輝度とに基づき重みが算出される。
これにより、露光量の大きい方の画像の明度のみに基づき重みを算出するよりも滑らかな線形合成が可能になるという効果が得られる。
【００１２】
〔形態３〕 更に、形態３の撮像装置は、形態１又は２の撮像装置において、
前記重み算出手段は、前記重みを、画像の輝度を要素ｘとし、関数値が輝度の大きさに応じて増加する関数Ｆ（ｘ）によって算出した値を用いて算出する。
このような構成であれば、重み算出手段によって、輝度ｘの大きさに応じて増加する関数Ｆ（ｘ）によって算出した値を用いて第１の画像に対する重みを算出することができる。
【００１３】
これによって、第２の画像の輝度が大きければ大きいほど、第１の画像に対する重みを大きくすることができるので、例えば、第１の画像の輝度が非飽和で、第２の画像の輝度が飽和している場合に、その飽和部分を第１の画像で補完してやることができる。
従って、露光量の大きい方の画像の明度のみに基づき重みを算出するよりも滑らかな線形合成が可能になるという効果が得られる。
【００１４】
〔形態４〕 更に、形態４の撮像装置は、形態３の撮像装置において、
前記重み算出手段は、前記関数として、前記要素ｘに対する算出値が、より急峻に変化する第１の関数Ｆ１（ｘ）と、より緩やかに変化する第２の関数Ｆ２（ｘ）とを切り替えて用いる。
このような構成であれば、重み算出手段によって、重みの算出に、第１の関数Ｆ１（ｘ）と、第２の関数Ｆ２（ｘ）とを切り替えて用いることができる。
つまり、より急峻に変化する関数Ｆ１（ｘ）を用いた場合は、該当の画像の混合度合いをより強くすることができ、より緩やかに変化する関数Ｆ２（ｘ）を用いた場合は、該当の画像の混合度合いをより弱くすることができる。
これによって、複数種類の画像の混合度合いを変化させることができ、より適切な重みを算出することができるという効果が得られる。
【００１５】
〔形態５〕 一方、上記目的を達成するために、形態４の画像処理方法は、
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出ステップと、
前記重み算出ステップで算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成ステップと、を含む。
このような構成であれば、形態１に記載の画像処理装置と同等の作用及び効果が得られる。
【００１６】
〔形態６〕 また、上記目的を達成するために、形態５の画像処理プログラムは、
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出ステップと、
前記重み算出ステップで算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成ステップとを有する処理をコンピューターに実行させるためのプログラムを含む。
このような構成であれば、コンピューターによってプログラムが実行されると、形態１に記載の画像処理装置と同等の作用及び効果が得られる。
【００１７】
〔形態７〕 また、上記目的を達成するために、形態７の撮像装置は、
Ｎ種類（Ｎは３以上の自然数）の露光量で被写体を撮像する撮像手段と、
形態１乃至４のいずれか１に記載の画像処理装置と、を備え、
前記画像処理装置は、前記撮像手段で撮像して得られたＮ種類の露光量に対応するＮ種類の画像のうち、少なくとも画像合成に用いる３種類以上の画像について、前記第１の画像に対する重みを算出する。
このような構成であれば、形態１に記載の画像処理装置と同等の作用及び効果が得られる。
〔形態８〕 また、上記目的を達成するために、形態６の電子機器は、
形態７に記載の撮像装置を備える。
このような構成であれば、形態７に記載の撮像装置と同等の作用及び効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る撮像装置１の構成を示すブロック図である。
【図２】（ａ）は、撮像素子１０の内部構成を示す模式図であり、（ｂ）は、ＨＤＲセンサ１０ｄの内部構成を示すブロック図である。
【図３】映像信号処理部１６の内部構成を示すブロック図である。
【図４】センサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図５】撮像装置１の動作処理の一例を示すフローチャートである。
【図６】ＨＤＲ合成処理の一例を示すフローチャートである。
【図７】露光比調整処理の一例を示すフローチャートである。
【図８】（ａ）〜（ｄ）は、比率が均等となるように決定された露光時間Ｔ１〜Ｔ４における入射光に対する応答信号Ｓ１〜Ｓ４の一例を示す図である。
【図９】（ａ）〜（ｄ）は、入射光に対する合成重みＷ１〜Ｗ４の一例を示す図である。
【図１０】図９（ａ）〜（ｄ）を重ねて表示した図である。
【図１１】図８（ａ）〜（ｄ）における入射光の軸を対数で表した場合の図である。
【図１２】従来の重み付けなしの場合の合成対象の画像及びＨＤＲ合成処理後の画像の光−信号特性の一例を示す図である。
【図１３】従来の重み付けありの場合のＨＤＲ合成処理に係る計算処理の流れの一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の第１実施形態を図面に基づき説明する。図１〜図１１は、本発明に係る画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器の実施形態を示す図である。
まず、本発明に係る撮像装置の構成を図１に基づき説明する。図１は、本発明に係る撮像装置１の構成を示すブロック図である。
撮像装置１は、図１に示すように、撮像素子１０と、ＳＷ（スイッチ）１１と、第１〜第４メモリ１２〜１５と、映像信号処理部１６と、フレームメモリ１７と、制御部１８と、画像解析部１９と、操作部２０とを含んで構成される。
【００２０】
次に、図２に基づき、撮像素子１０の詳細な構成を説明する。ここで、図２（ａ）は、撮像素子１０の内部構成を示す模式図であり、（ｂ）は、ＨＤＲセンサ１０ｄの内部構成を示すブロック図である。
撮像素子１０は、複数種類の露光量で被写体を撮像する機能を有し、図２（ａ）に示すように、レンズ１０ａと、マイクロレンズ１０ｂと、カラーフィルタアレイ１０ｃと、ＨＤＲセンサ１０ｄとを含んで構成される。
【００２１】
以下、説明の便宜上、撮像素子１０は、４種類の露光量Ｌ１、Ｌ２、Ｌ３、Ｌ４（Ｌ１＜Ｌ２＜Ｌ３＜Ｌ４）に対応する露光時間Ｔ１、Ｔ２、Ｔ３、Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）で撮像を行うものとして構成を説明をする。もちろん、露光量は４種類に限らず、３種類又は５種類以上であってもよい。
レンズ１０ａは、被写体からの反射光を集光して、マイクロレンズへと導くものである。なお、撮像条件などに応じて、単焦点レンズ、ズームレンズ、オートアイリスレンズなどの種類がある。
【００２２】
マイクロレンズ１０ｂは、レンズを透過した光をＨＤＲセンサ１０ｄの有するセンサセルアレイの各センサセル（画素）に集光するものである。
カラーフィルタアレイ１０ｃは、マイクロレンズ１０ｂを透過した光から所定の１種類の色要素に対応する波長の光を分離して該分離した光を対応する各画素に入射するカラーフィルター部（以下、ＣＦ部と称す）を少なくとも画素数分含んで構成されるものである。
【００２３】
ＨＤＲセンサ１０ｄは、電子シャッタ方式によって露光時間Ｔ１〜Ｔ４を制御して露光量の異なる４種類のデジタルの画像データを出力するものである。
ＨＤＲセンサ１０ｄは、図２（ｂ）に示すように、基準タイミング発生器５０と、走査ラインスキャナ５４と、センサセルアレイ５６と、水平転送部５８とを含んで構成される。
基準タイミング発生器５０は、制御部１８からの垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生し、これを走査ラインスキャナ５４に出力する。
【００２４】
走査ラインスキャナ５４は、基準タイミング発生器５０及び制御部１８からの各種信号に基づき、リセット処理を行うラインを有効にするリセットライン選択信号を生成する。そして、該生成したリセットライン選択信号をセンサセルアレイ５６に出力する。
更に、走査ラインスキャナ５４は、リセット後で且つ設定された露光時間Ｔ１〜Ｔ４の電荷の蓄積が行われたラインを画素信号の読出ラインとして有効にする読出しライン選択信号を生成する。そして、該生成した読出ライン選択信号をセンサセルアレイ５６に出力する。
センサセルアレイ５６は、ＣＭＯＳ技術を用いて構成された、受光素子（フォトダイオードなど）を含む複数のセンサセル（画素）が２次元マトリクス状に配設された構成の受光領域を備え、各画素のラインに対して、アドレス線、リセット線及び読出し線が共通に接続された構成を有している。
【００２５】
そして、前記３つの制御線を介して各種駆動信号（選択信号）が各ラインを構成するセンサセルに送信され、アドレス線及び読出し線が有効になると、信号線を介して蓄積電荷（画素信号）を水平転送部５８に転送（出力）する。
このような構成によって、センサセルアレイ５６は、走査ラインスキャナ５４から供給される選択信号に基づき、アドレス線により、リセット動作又は読出し動作を行わせる画素のラインを有効に（選択）する。そして、当該選択信号で選択したラインの各画素に対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。更に、選択信号によって選択された各画素おいては、リセット動作を指示する信号が入力されたときはリセット動作が行われ、蓄積電荷の転送を指示する信号が入力されたときは、信号線を介して水平転送部５８への蓄積電荷の転送が行われる。
【００２６】
水平転送部５８は、センサセルアレイ５６の各画素から読み出された画素信号（アナログ信号）のデータをＡ／Ｄ変換して、ライン単位にメモリ１２〜１５へとシリアルで順次出力する。
図１に戻って、ＳＷ１１は、撮像素子１０から画像データＳ１〜Ｓ４が入力されると、これと対応して入力された識別信号に基づきスイッチを切り替え、第１〜第４メモリ１２〜１５のうち識別信号が示す露光時間に対応するメモリに、入力された画像データを出力する。具体的に、露光時間Ｔ１の画像データＳ１を第１メモリ１２に、露光時間Ｔ２の画像データＳ２を第１メモリ１３に、露光時間Ｔ３の画像データＳ３を第３メモリ１４に、露光時間Ｔ４の画像データＳ４を第４メモリ１５に出力する。
【００２７】
第１〜第４メモリ１２〜１５は、ＳＷ１１を介して入力される、露光時間Ｔ１〜Ｔ４で被写体を撮像して得られた４種類の露光量Ｌ１〜Ｌ４に対応する画像データＳ１〜Ｓ４のいずれか対応するものを一時記憶するメモリである。具体的に、ＳＷ１１を介して順次入力される画像データＳ１〜Ｓ４を、同期をとって映像信号処理部１６に出力するバッファとしての役割を果たすメモリである。
【００２８】
映像信号処理部１６は、図３に示すように、重み計算部１６ａと、正規化部１６ｂと、合成部１６ｃとを含んで構成される。ここで、図３は、映像信号処理部１６の内部構成を示すブロック図である。
重み計算部１６ａは、露光時間Ｔ１〜Ｔ４に対応する画素データＳ１〜Ｓ４について、画像合成時に用いる重みＷ１〜Ｗ４（ｘ，ｙ）（以下、合成重みＷ１〜Ｗ４（ｘ，ｙ）と称す）を計算する機能を有している。
【００２９】
具体的に、Ｓ１（ｘ，ｙ）の合成重みＷ１（ｘ，ｙ）を計算するときはＳ２（ｘ，ｙ）を用いる。また、Ｓ２（ｘ，ｙ）の合成重みＷ２（ｘ，ｙ）を計算するときは、Ｓ２（ｘ，ｙ）とＳ３（ｘ，ｙ）の２つの画素データを用いる。また、Ｓ３（ｘ，ｙ）の合成重みＷ３（ｘ，ｙ）を計算するときは、Ｓ３（ｘ，ｙ）とＳ４（ｘ，ｙ）の２つの画素データを用いて重みを計算する。また、Ｓ４（ｘ，ｙ）の合成重みＷ４（ｘ，ｙ）を計算するときは、合成重みＷ１〜Ｗ４（ｘ，ｙ）の総和が「１」となることを利用して計算を行う。
【００３０】
本実施形態では、重み計算部１６ａは、下式（２）〜（６）に基づき、合成重みＷ１〜Ｗ４（ｘ，ｙ）を計算する。
Ｆ（ｘ）＝（ｘ／２５５）n ・・・（２）
Ｗ１（ｘ，ｙ）＝Ｆ（Ｓ２（ｘ，ｙ）） ・・・（３）
Ｗ２（ｘ，ｙ）＝Ｆ（Ｓ３（ｘ，ｙ））−Ｗ１
＝Ｆ（Ｓ３（ｘ，ｙ））−Ｆ（Ｓ２（ｘ，ｙ）） ・・・（４）
Ｗ３（ｘ，ｙ）＝Ｆ（Ｓ４（ｘ，ｙ））−Ｗ２−Ｗ１
＝Ｆ（Ｓ４（ｘ，ｙ））−Ｆ（Ｓ３（ｘ，ｙ）） ・・・（５）
Ｗ４（ｘ，ｙ）＝１−Ｗ３（ｘ，ｙ）−Ｗ２（ｘ，ｙ）−Ｗ１（ｘ，ｙ）
＝１−Ｆ（Ｓ４（ｘ，ｙ）） ・・・（６）
【００３１】
但し、上式（２）は、８ビットの階調範囲（０〜２５５）のｘに対応する式であって、例えば、階調範囲が１０ビットであれば、上式（２）の「２５５」を「１０２３」とする。このように、要素となるデータのビット数に応じて値を変更する必要がある。
なお、重み計算部１６ａは、上式（２）〜（６）に従って計算して得られた合成重みＷ１〜Ｗ４（ｘ，ｙ）の情報を、合成部１６ｃに出力する。
正規化部１６ｂは、メモリ１２〜１５からの画素データＳ１〜Ｓ４（ｘ，ｙ）及び制御部１８からの露光比情報に基づき、画素データＳ１〜Ｓ４（ｘ，ｙ）の正規化処理を行う。本実施の形態において、露光比情報は、露光時間Ｔ１〜Ｔ４の情報となる。
【００３２】
具体的に、本実施形態において、正規化部１６ｂは、下式（７）〜（１０）に基づき、露光時間Ｔ１〜Ｔ４を用いてＳ１〜Ｓ４（ｘ，ｙ）の正規化を行い、正規化後の画素データＮ１〜Ｎ４（ｘ，ｙ）を生成する。
Ｎ１（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）×Ｔ４／Ｔ１ ・・・（７）
Ｎ２（ｘ，ｙ）＝Ｓ２（ｘ，ｙ）×Ｔ４／Ｔ２ ・・・（８）
Ｎ３（ｘ，ｙ）＝Ｓ３（ｘ，ｙ）×Ｔ４／Ｔ３ ・・・（９）
Ｎ４（ｘ，ｙ）＝Ｓ４（ｘ，ｙ）×Ｔ４／Ｔ４ ・・・（１０）
なお、正規化部１６ｂは、上式（７）〜（１０）に従って計算して得られた正規化画素データＮ１〜Ｎ４（ｘ，ｙ）の情報を、合成部１６ｃに出力する。
【００３３】
合成部１６ｃは、重み計算部１６ａから取得した合成重みＷ１〜Ｗ４（ｘ，ｙ）と、正規化部１６ｂから取得した正規化画素データＮ１〜Ｎ４（ｘ，ｙ）に基づき、ＨＤＲ合成処理を行い、ＨＤＲ画素データを生成する機能を有している。
具体的に、本実施形態において、合成部１６ｃは、下式（１１）に基づき、正規化画素データＮ１〜Ｎ４（ｘ，ｙ）をＷ１〜Ｗ４（ｘ，ｙ）で重み付けしてから合成し、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）を生成する。
ＨＤＲ（ｘ，ｙ）＝Ｗ１（ｘ，ｙ）×Ｎ１（ｘ，ｙ）＋Ｗ２（ｘ，ｙ）×Ｎ２（ｘ，ｙ）＋Ｗ３（ｘ，ｙ）×Ｎ３（ｘ，ｙ）＋Ｗ４（ｘ，ｙ）×Ｎ４（ｘ，ｙ）
・・・（１１）
なお、合成部１６ｃは、上式（１１）に従って計算して得られたＨＤＲ画素データＨＤＲ（ｘ，ｙ）を、フレームメモリ１７に格納する。
図１に戻って、フレームメモリ１７は、映像信号処理部１６において合成後のＨＤＲ画像データを記憶するメモリである。
【００３４】
また、制御部１８は、操作部２０からの入力情報に基づき露光比情報を生成する機能と、画像解析部１９から取得した統計情報に基づき現在の露光比を適切なものに調整する機能と、生成した露光比情報を映像信号処理部１６に出力する機能とを有するものである。
更に、制御部１８は、調整後の露光比に対応する露光比情報又は新規に生成した露光比情報に基づき露光量信号を生成し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する機能も有している。ここで、各種制御信号は、垂直同期信号、水平同期信号、ピクセルクロックなどを含む。
具体的に、本実施形態の撮像素子１０は、制御部１８から出力される露光量信号に応じた４種類の露光量Ｌ１〜Ｌ４に対応する露光時間Ｔ１〜Ｔ４で同一被写体を撮像する。
【００３５】
そして、本実施形態において、制御部１８は、昇順に並ぶ露光量Ｌ１、Ｌ２、Ｌ３、Ｌ４における隣接する各２つの露光量の比率「Ｌ２／Ｌ１」、「Ｌ３／Ｌ２」、「Ｌ４／Ｌ３」が均等（Ｌ２／Ｌ１＝Ｌ３／Ｌ２＝Ｌ４／Ｌ３）となるように露光量Ｌ１〜Ｌ４に対応する露光時間Ｔ１〜Ｔ４を設定するようになっている。
また、本実施形態では、制御部１８は、撮像環境の明るさに応じて露光量比を最適な比となるように調整するようになっている。そのために、制御部１８は、画像解析部１９から得たＨＤＲ画像データの平均輝度Ｌａｖと、予め用意された高輝度側の閾値Ｌｔｈと、低輝度側の閾値Ｌｔｌとをそれぞれ比較する。
【００３６】
制御部１８は、この比較結果によって、平均輝度ＬａｖがＬｔｈより大きければ、撮像環境が比較的明るいと判断し、ＬａｖがＬｔｌより小さければ、撮像環境が比較的暗いと判断する。更に、この判断結果に基づき、現在設定されている露光時間Ｔ１〜Ｔ４を、露光量の比率を均等とする状態を保ったままで増減することで、撮像環境の明るさに対して最適な露光量比となるように調整を行う。
【００３７】
画像解析部１９は、映像信号処理部１６で生成され、フレームメモリ１７に格納されたＨＤＲ画像データに基づき、撮像環境の明るさに係る統計情報を算出し、算出した統計情報を制御部１８に出力する機能を有している。本実施形態において、画像解析部１９は、複数フレームの連続撮像時において、フレームメモリ１７から得たＨＤＲ画像データ（少なくとも最初のフレーム分を含む）を統計的に解析する。本実施形態では、撮像環境の明るさに係る情報を得るために、統計情報として、ＨＤＲ画像データの平均輝度Ｌａｖを算出する。そして、算出したＬａｖを、制御部１８に出力する。
操作部２０は、撮像時、撮像画像の閲覧時、複数種類の撮像モードのうち任意のモードを選択時などにユーザによって操作されるもので、ユーザの操作内容に応じた情報を制御部１８に出力する機能を有している。
【００３８】
次に、図４に基づき、撮像素子１０のＨＤＲセンサ１０ｄの露光時間の制御方法、及びセンサセルアレイ５６からの画素信号の読み出し方法について説明する。ここで、図４は、ＨＤＲセンサのセンサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
本実施形態においては、センサセルアレイ５６の露光領域（走査領域）に対して、露光時間Ｔ１の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ１と、露光時間Ｔ２の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ２とを設定する。更に、露光時間Ｔ３の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ３を設定する。更に、各画素のラインの蓄積電荷のリセット及び露光時間Ｔ４の画素信号の読み出しを行う読み出し＆リセットラインＬ４＆Ｒを設定する。なお、Ｔ１〜Ｔ４の関係は、「Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４」となっている。そして、リセットされてから、まずＴ１経過時に非破壊読み出しラインＬ１が設定される。次にＴ２経過時に非破壊読み出しラインＬ２が設定され、次にＴ３経過時に非破壊読み出しラインＬ３が設定され、次にＴ４経過時に読み出し＆リセットラインＬ４＆Ｒが設定される。
【００３９】
具体的に、非破壊読み出しラインＬ１、Ｌ２及びＬ３並びに読み出し＆リセットラインＬ４＆Ｒは、図４に示すように、露光領域における画素のラインに順次露光時間Ｔ４分の電荷が蓄積されると、読み出し＆リセットラインＬ４＆Ｒが各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、露光時間Ｔ４分の電荷が蓄積される期間中、露光時間Ｔ１、Ｔ２及びＴ３において各画素のラインの画素信号を非破壊で順次読み出すように非破壊読み出しラインＬ１、Ｌ２及びＬ３がそれぞれ設定される。
【００４０】
例えば、露光領域の一番目のラインである第１ラインにおいて露光時間Ｔ４の画素信号Ｓ４の読み出し及びリセットが行われたとする。以降は、画素信号Ｓ４が第４ラインメモリから読み出される毎に、図４中のスキャン方向に１ラインずつ、読み出し＆リセットラインＬ４＆Ｒの走査が順次行われる。このとき、読み出し＆リセットラインＬ４＆Ｒが再び第１ラインに到達したときに、丁度、露光時間Ｔ４が経過するタイミングとなるように走査が行われる。このような手順で、センサセルアレイの露光領域の画素のラインに対して、各画素のライン毎に、露光時間Ｔ４で露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。
【００４１】
一方、蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、非破壊読み出しラインＬ１において露光時間Ｔ１の露光が行われた画素の画素信号Ｓ１の非破壊読み出しを行い、引き続き、非破壊読み出しラインＬ２において露光時間Ｔ２の露光が行われた画素の画素信号Ｓ２の非破壊読み出しを行う。引き続き、非破壊読み出しラインＬ３において露光時間Ｔ３の露光が行われた画素の画素信号Ｓ３の非破壊読み出しを行う。このような手順で、センサセルアレイの各画素のラインに対して、ライン毎に、露光時間Ｔ１、Ｔ２及びＴ３で露光時の画素信号Ｓ１、Ｓ２及びＳ３の非破壊読み出しを順次行う。
【００４２】
なお、本実施形態においては、図４に示すように、露光時間Ｔ１に対応する画素信号のデータ（アナログデータ）Ｓ１は、第１ラインメモリに読み出され、露光時間Ｔ２に対応する画素信号のデータ（アナログデータ）Ｓ２は、第２ラインメモリに読み出される。更に、露光時間Ｔ３に対応する画素信号のデータ（アナログデータ）Ｓ３は、第３ラインメモリに読み出され、露光時間Ｔ４に対応する画素信号のデータ（アナログデータ）Ｓ４は、第４ラインメモリに読み出される。そして、これら読み出された画素信号のデータＳ１〜Ｓ４（以下、画素データＳ１〜Ｓ４と称す）は、図４に示すように、それぞれ選択回路を経てＡＤＣにＳ１〜Ｓ４の順で順次出力されそこでデジタルデータに変換される。変換された各画素データＳ１〜Ｓ４は、変換された順に（Ｓ１〜Ｓ４の順に）、Ｓ１は第１メモリ１２に、Ｓ２は第２メモリ１３に、Ｓ３は第３メモリ１４に、Ｓ４は第４メモリ１５にそれぞれ出力される。
【００４３】
次に、図５に基づき、撮像装置１の動作処理の流れを説明する。ここで、図５は、撮像装置１の動作処理の一例を示すフローチャートである。
撮像装置１の電源が投入されると、図５に示すように、まず、ステップＳ１００に移行する。
ステップＳ１００では、制御部１８において、最短露光時間Ｔｍｉｎ及び最長露光時間Ｔｍａｘの初期値を設定して、ステップＳ１０２に移行する。初期値の設定は、操作部２０を介してユーザが入力又は選択した値を用いても良いし、標準露光時間として予め設定されている初期値を用いてもよい。
【００４４】
ステップＳ１０２では、制御部１８において、ステップＳ１００で設定された初期値を用いて、中間の露光量に対応する露光時間である露光時間Ｔｍｉｄを算出し、算出したＴｍｉｄと、初期値として設定したＴｍｉｎ及びＴｍａｘとに基づき露光比情報を生成する。そして、生成した露光比情報に基づき露光量信号を生成し、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、ステップＳ１０４に移行する。
【００４５】
本実施形態では、露光量の種類をＬ１〜Ｌ４の４種類としたので、露光量Ｌ１に対応する最短露光時間ＴｍｉｎはＴ１に、露光量Ｌ４に対応する最長露光時間ＴｍａｘはＴ４となる。そして、露光量Ｌ２及びＬ３に対応する中間露光時間ＴｍｉｄはＴ２及びＴ３となる。そして、制御部１８は、下式（１２）及び（１３）に従って、「Ｔ２／Ｔ１＝Ｔ３／Ｔ２＝Ｔ４／Ｔ３」となる中間露光時間Ｔ２及びＴ３を算出する。
Ｔ２＝（Ｔ１2×Ｔ４）1/3 ・・・（１２）
Ｔ３＝（Ｔ１×Ｔ４2）1/3 ・・・（１３）
【００４６】
例えば、設定可能な最短露光時間Ｔｍｉｎが１Ｈ、最長露光時間Ｔｍａｘが１０００Ｈの場合は、Ｔ１＝１Ｈ、Ｔ３＝１０００Ｈとして、上式（１２）から「Ｔ２＝（１2×１０００）1/3＝１０」と算出できる。また、上式（１３）から「Ｔ３＝（１×１０００2）1/3＝１００」と算出できる。これにより、露光量比＝露光時間比＝「１：１０：１００：１０００」が求まる。この場合は、ダイナミックレンジが「６０[ｄＢ]」となる。
なお、センサセルアレイにおける１ラインの走査時間を水平同期信号の呼称であるＨＳＹＮＣの頭文字を取り、１Ｈと表している。例えば、センサセルアレイの総ライン数５００ラインに対して、フレームレートが３０[fps]の場合は、１Ｈの期間は１／３０秒を５００ラインで除算した時間、つまり１／１５０００秒、換言すれば１／１５ミリ秒（約６７μ秒）となる。
【００４７】
ステップＳ１０４では、映像信号処理部１６において、撮像処理が開始されたか否かを判定し、開始されたと判定した場合(Yes)は、ステップＳ１０６に移行し、そうでない場合(No)は、撮像処理が開始されるまで判定処理を繰り返す。
なお、撮像処理が開始されると、撮像素子１０は、制御部１８からの露光量信号及び各種制御信号に基づき、露光量Ｌ１〜Ｌ４（露光時間Ｔ１〜Ｔ４）で被写体を撮像する。そして、撮像により得られた画像データＳ１〜Ｓ４を、第１〜第４メモリ１２〜１５に順次出力して、ステップＳ１０６に移行する。
【００４８】
ステップＳ１０６では、映像信号処理部１６において、第１〜第４メモリ１２〜１５から順次出力される画像データＳ１〜Ｓ４と、制御部１８からの露光比情報（Ｔ１：Ｔ２：Ｔ３：Ｔ４）とに基づき、ＨＤＲ合成処理を実行して、ステップＳ１０８に移行する。
ステップＳ１０８では、制御部１８において、撮像処理が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでない場合(No)は、ステップＳ１１０に移行する。
【００４９】
ステップＳ１１０に移行した場合は、制御部１８において、フレームメモリ１７に格納されたＨＤＲ合成処理によって生成されたＨＤＲ画像データに基づき、露光比調整処理を実行して、ステップＳ１０６に移行する。
露光比調整処理が実行されると、撮像素子１０は、調整後の露光量信号に基づき、撮像処理を実行する。
【００５０】
次に、図６に基づき、映像信号処理部１６におけるＨＤＲ合成処理の流れを説明する。ここで、図６は、ＨＤＲ合成処理の一例を示すフローチャートである。
ステップＳ１０６に移行すると、映像信号処理部１６においてＨＤＲ合成処理が開始され、図６に示すように、まず、ステップＳ２００に移行する。
ステップＳ２００では、映像信号処理部１６において、第１〜第４メモリ１２〜１５から画素データＳ１〜Ｓ４を１ライン分取得して、ステップＳ２０２に移行する。
【００５１】
具体的に、映像信号処理部１６は、第１〜第４メモリ１２〜１５に、同じ画素位置の１ライン分の画素データＳ１〜Ｓ４が格納されたタイミングで、該Ｓ１〜Ｓ４を取得する。
なお、本実施形態においては、画素データＳ１〜Ｓ４（ｘ，ｙ）は、輝度の情報（輝度値）と、画素の位置情報（行及び列の位置情報）とを含むデータであることとする。また、画素データＳ１〜Ｓ４が位置情報を持たず、映像信号処理部１６において、水平同期信号及びピクセルクロックをカウントすることで、画素の位置情報を生成する構成としてもよい。
【００５２】
また、映像信号処理部１６において、必要に応じて、取得した画素データＳ１〜Ｓ４に対して、固定パターンノイズの除去処理、クランプ処理等の前処理を施してもよい。
ステップＳ２０２では、映像信号処理部１６において、１ライン分の画素データＳ１〜Ｓ４の中から、合成重みＷ１〜Ｗ４及び正規化画素データＮ１〜Ｎ４の計算処理が未処理の１画素分の画素データＳ１〜Ｓ４（ｘ，ｙ）を選択する。そして、選択した画素データＳ１〜Ｓ４（ｘ，ｙ）を正規化部１６ｂに出力し、選択した画素データＳ１〜Ｓ４（ｘ，ｙ）のうちＳ２〜Ｓ４（ｘ，ｙ）を重み計算部１６ａに出力して、ステップＳ２０４に移行する。
【００５３】
ステップＳ２０４では、重み計算部１６ａにおいて、ステップＳ２０２で選択された画素データＳ２（ｘ，ｙ）を用いて、上式（２）及び（３）から、合成重みＷ１（ｘ，ｙ）として、「Ｗ１（ｘ，ｙ）＝Ｆ（Ｓ２（ｘ，ｙ））」を計算して、ステップＳ２０６に移行する。
ステップＳ２０６では、重み計算部１６ａにおいて、ステップＳ２０２で選択された画素データＳ３（ｘ，ｙ）に基づき、上式（２）から、まず、Ｆ（Ｓ３（ｘ，ｙ））を計算する。次に、該計算したＦ（Ｓ３（ｘ，ｙ））と、ステップＳ２０４で計算したＦ（Ｓ２（ｘ，ｙ））と、上式（４）とから、合成重みＷ２（ｘ，ｙ）として、「Ｗ２（ｘ，ｙ）＝Ｆ（Ｓ３（ｘ，ｙ））−Ｆ（Ｓ２（ｘ，ｙ））」を計算して、ステップＳ２０８に移行する。
【００５４】
ステップＳ２０８では、重み計算部１６ａにおいて、ステップＳ２０２で選択された画素データＳ４（ｘ，ｙ）に基づき、上式（２）から、まず、Ｆ（Ｓ４（ｘ，ｙ））を計算する。次に、該計算したＦ（Ｓ４（ｘ，ｙ））と、ステップＳ２０６で計算したＦ（Ｓ３（ｘ，ｙ））と、上式（５）とから、合成重みＷ３として、「Ｗ３（ｘ，ｙ）＝Ｆ（Ｓ４（ｘ，ｙ））−Ｆ（Ｓ３（ｘ，ｙ））」を計算して、ステップＳ２１０に移行する。
ステップＳ２１０では、重み計算部１６ａにおいて、ステップＳ２０８で計算したＦ（Ｓ４（ｘ，ｙ））と、上式（６）とから、合成重みＷ４（ｘ，ｙ）として、「Ｗ４（ｘ，ｙ）＝１−Ｆ（Ｓ４（ｘ，ｙ））」を計算して、ステップＳ２１２に移行する。
なお、ステップＳ２０４〜Ｓ２１０において計算した合成重みＷ１〜Ｗ４（ｘ，ｙ）は、合成部１６ｃに出力される。
【００５５】
ステップＳ２１２では、正規化部１６ｂにおいて、ステップＳ２０２で選択された画素データＳ１（ｘ，ｙ）と、制御部１８からの露光比情報「Ｔ１：Ｔ２：Ｔ３：Ｔ４」のうちＴ１とＴ４とに基づき、上式（７）から、画素データＳ１（ｘ，ｙ）を正規化する。具体的に、正規化画素データＮ１（ｘ，ｙ）として、「Ｎ１（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）×Ｔ４／Ｔ１」を計算して、ステップＳ２１４に移行する。
【００５６】
ステップＳ２１４では、正規化部１６ｂにおいて、ステップＳ２０２で選択された画素データＳ２（ｘ，ｙ）と、制御部１８からの露光比情報「Ｔ１：Ｔ２：Ｔ３：Ｔ４」のうちＴ２とＴ４とに基づき、上式（８）から、画素データＳ２（ｘ，ｙ）を正規化する。具体的に、正規化画素データＮ２（ｘ，ｙ）として、「Ｎ２（ｘ，ｙ）＝Ｓ２（ｘ，ｙ）×Ｔ４／Ｔ２」を計算して、ステップＳ２１６に移行する。
【００５７】
ステップＳ２１６では、正規化部１６ｂにおいて、ステップＳ２０２で選択された画素データＳ３（ｘ，ｙ）と、制御部１８からの露光比情報「Ｔ１：Ｔ２：Ｔ３：Ｔ４」のうちＴ３とＴ４とに基づき、上式（９）から、画素データＳ３を正規化する。具体的に、正規化画素データＮ３（ｘ，ｙ）として、「Ｎ３（ｘ，ｙ）＝Ｓ３（ｘ，ｙ）×Ｔ４／Ｔ３」を計算して、ステップＳ２１８に移行する。
なお、ステップＳ２１２〜Ｓ２１６で計算した正規化画素データＮ１〜Ｎ３（ｘ，ｙ）と、「Ｎ４（ｘ，ｙ）＝Ｓ４（ｘ，ｙ）」である正規化画素データＮ４（ｘ，ｙ）とは、合成部１６ｃに出力される。
【００５８】
ステップＳ２１８では、合成部１６ｃにおいて、重み計算部１６ａから取得した合成重みＷ１〜Ｗ４（ｘ，ｙ）と、正規化部１６ｂから取得した正規化画素データＮ１〜Ｎ４（ｘ，ｙ）とを用いて、上式（１１）に基づき、Ｎ１〜Ｎ４（ｘ，ｙ）を合成して、ステップＳ２２０に移行する。
具体的に、合成部１６ｃは、上式（１１）から、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）として、「ＨＤＲ（ｘ，ｙ）＝Ｗ１（ｘ，ｙ）×Ｎ１（ｘ，ｙ）＋Ｗ２（ｘ，ｙ）×Ｎ２（ｘ，ｙ）＋Ｗ３（ｘ，ｙ）×Ｎ３（ｘ，ｙ）＋Ｗ４（ｘ，ｙ）×Ｎ４（ｘ，ｙ）」を計算する。
【００５９】
ステップＳ２２０では、合成部１６ｃにおいて、ステップＳ２１８で合成して得られたＨＤＲ画素データＨＤＲ（ｘ，ｙ）を、フレームメモリ１７に格納して、ステップＳ２２２に移行する。
ステップＳ２２２では、映像信号処理部１６において、１ライン分の画素データＳ１〜Ｓ４について、ＨＤＲ合成処理が終了したか否かを判定し、終了したと判定した場合(Yes)は、ステップＳ２２４に移行し、そうでない場合(No)は、ステップＳ２０２に移行する。
【００６０】
ステップＳ２２４に移行した場合は、映像信号処理部１６において、１フレーム分（１画像分）の画素データＳ１〜Ｓ４について、ＨＤＲ合成処理が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了して元の処理に復帰する。一方、終了していないと判定した場合(No)は、ステップＳ２００に移行する。
なお、ステップＳ２０４〜Ｓ２１０の処理と、ステップＳ２１２〜Ｓ２１６の処理とは、順次行ってもよいし、並列に行ってもよい。
【００６１】
次に、図７に基づき、ステップＳ１１０の露光比調整処理の流れを説明する。ここで、図７は、露光比調整処理の一例を示すフローチャートである。
ステップＳ１１０に移行して、露光比調整処理が開始されると、図７に示すように、まず、ステップＳ３００に移行する。
ステップＳ３００では、制御部１８において、フレームメモリ１７からＨＤＲ合成処理によって生成された１フレーム分（１画像分）のＨＤＲ画像データを取得し、取得したＨＤＲ画像データから平均輝度Ｌａｖを算出して、ステップＳ３０２に移行する。
【００６２】
ステップＳ３０２では、制御部１８において、ステップＳ３００で算出した平均輝度Ｌａｖと、予め設定された平均輝度値の高輝度側の閾値Ｌｔｈとを比較し、ＬａｖがＬｔｈよりも大きいか否かを判定する。そして、ＬａｖがＬｔｈよりも大きいと判定した場合(Yes)は、ステップＳ３０４に移行し、そうでない場合(No)は、ステップＳ３０８に移行する。
ステップＳ３０４に移行した場合は、制御部１８において、最短露光時間Ｔｍｉｎを、予め設定された時間だけ減少して、ステップＳ３０６に移行する。つまり、撮像環境が比較的明るい状態であるので、白飛びしない画像を得るために最短露光時間Ｔｍｉｎを減少する調整を行う。なお、減少する時間は、平均輝度に応じてその都度適切な値を算出するようにしてもよいし、平均輝度の大きさに対応する値をテーブルとして予め用意するようにしてもよい。
【００６３】
ステップＳ３０６では、制御部１８において、ステップＳ３０４で減少したＴｍｉｎと、初期設定時のＴｍａｘとを用いて、中間露光時間Ｔｍｉｄを再計算し、再計算したＴｍｉｄと、減少後のＴｍｉｎ及び初期設定時のＴｍａｘとに基づき露光比情報を生成する。
例えば、露光時間がＴ１〜Ｔ４の４種類の場合に、露光比情報として「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝Ｔｍｉｎ（減）：Ｔｍｉｄ１（再）：Ｔｍｉｄ２（再）：Ｔｍａｘ（初）」を生成する。なお、各露光時間の後ろに付した、（減）は減少調整後の、（再）は再計算後の、（初）は初期設定時の各露光時間であることを示す。更に、制御部１８は、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、一連の処理を終了し元の処理に復帰する。
【００６４】
一方、ステップＳ３０２において、ＬａｖがＬｔｈ以下であってステップＳ３０８に移行した場合は、制御部１８において、ステップＳ３００で算出した平均輝度Ｌａｖと、予め設定された平均輝度値の低輝度側の閾値Ｌｔｌとを比較する。更に、この比較結果に基づき、ＬａｖがＬｔｌよりも小さいか否かを判定する。そして、ＬａｖがＬｔｌよりも小さいと判定した場合(Yes)は、ステップＳ３１０に移行し、そうでない場合(No)は、ステップＳ３１４に移行する。
【００６５】
ステップＳ３１０に移行した場合は、制御部１８において、最長露光時間Ｔｍａｘを、予め設定された時間だけ増加して、ステップＳ３１２に移行する。つまり、撮像環境が比較的暗い状態であるので、黒つぶれしない画像を得るために最長露光時間Ｔｍａｘを増加する調整を行う。なお、増加する時間は、平均輝度に応じてその都度適切な値を算出するようにしてもよいし、平均輝度の大きさに対応する値をテーブルとして予め用意するようにしてもよい。
【００６６】
ステップＳ３１２では、制御部１８において、ステップＳ３１０で増加したＴｍａｘと初期設定時のＴｍｉｎとを用いて、中間露光時間Ｔｍｉｄを再計算し、再計算したＴｍｉｄと、初期設定時のＴｍｉｎ及び増加後のＴｍａｘとに基づき露光比情報を生成する。
例えば、露光時間がＴ１〜Ｔ４の４種類の場合に、露光比情報は、「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝Ｔｍｉｎ（初）：Ｔｍｉｄ１（再）：Ｔｍｉｄ２（再）：Ｔｍａｘ（増）」となる。なお、露光時間Ｔｍａｘの後ろに付した（増）は増加調整後の露光時間であることを示す。更に、制御部１８は、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、一連の処理を終了し元の処理に復帰する。
【００６７】
また、ステップＳ３０８において、ＬａｖがＬｔｌ以上であってステップＳ３１４に移行した場合は、制御部１８において、最短露光時間Ｔｍｉｎと最長露光時間Ｔｍａｘとして通常露光時間を設定して、ステップＳ３１６に移行する。本実施形態では、通常露光時間として、初期設定時の露光時間を設定する。
ステップＳ３１６では、制御部１８において、ステップＳ３１４で設定されたＴｍｉｎ及びＴｍａｘを用いて、中間露光時間Ｔｍｉｄを再計算し、再計算したＴｍｉｄと、初期設定時のＴｍｉｎ及び増加後のＴｍａｘとに基づき露光比情報を生成する。
【００６８】
例えば、露光時間がＴ１〜Ｔ４の４種類の場合に、露光比情報は、「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝Ｔｍｉｎ（初）：Ｔｍｉｄ１（再）：Ｔｍｉｄ２（再）：Ｔｍａｘ（初）」となる。更に、制御部１８は、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、一連の処理を終了し元の処理に復帰する。
【００６９】
次に、図８〜図１１に基づき、本実施形態の動作を説明する。
ここで、図８（ａ）〜（ｄ）は、比率が均等となるように決定された露光時間Ｔ１〜Ｔ４における入射光に対する応答信号Ｓ１〜Ｓ４の一例を示す図である。また、図９（ａ）〜（ｄ）は、入射光に対する合成重みＷ１〜Ｗ４の一例を示す図である。また、図１０は、図９（ａ）〜（ｄ）を重ねて表示した図である。また、図１１は、図８（ａ）〜（ｄ）における入射光の軸を対数で表した場合の図である。
【００７０】
電源が投入されると、撮像装置１は、撮像処理が開始される前に、まず、制御部１８において、露光比情報及び露光量信号を生成し、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する。
具体的に、まず、操作部２０を介したユーザからの指示又は予め設定された値に基づき、露光時間Ｔ１及びＴ３の初期値が設定される（ステップＳ１００）。ここでは、初期値として、「Ｔ１＝２Ｈ、Ｔ４＝５００Ｈ」が設定されたとする。
【００７１】
制御部１８は、次に、上式（６）及び（７）に従って、「Ｔ２／Ｔ１＝Ｔ３／Ｔ２＝Ｔ４／Ｔ３」の関係となる中間露光時間Ｔ２及びＴ３を算出する（ステップＳ１０２）。具体的に、「Ｔ２＝２Ｈ、Ｔ３＝５００Ｈ」が設定されているので、制御部１８において、「Ｔ２＝（４×５００）1/3≒１２．６」が自動的に算出される。引き続き、制御部１８において、「Ｔ３＝（２×２５００００）1/3≒７９．４」が自動的に算出される。
【００７２】
ここでは、四捨五入してＴ２を「１３」に設定し、Ｔ３を「７９」に設定する。これにより、「Ｔ２／Ｔ１＝１３／２＝６．５」、「Ｔ３／Ｔ２＝７９／１３≒６．１」、「Ｔ４／Ｔ３＝５００／７９≒６．３」となり、比率が略均等になる露光比情報「「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝２：１３：７９：５００」を得ることができる。
更に、制御部１８は、露光比情報「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝２：１３：７９：５００」の情報を含む露光量信号を生成し、生成した露光比情報を映像信号処理部１６に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する。
【００７３】
これにより、撮像素子１０のＨＤＲセンサ１０ｄのレジスタに、露光時間比「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝２：１３：７９：５００」の情報が書き込まれる。
引き続き、撮像素子１０において、被写体の撮像が開始されると、被写体から反射された光は、レンズ１０ａで集光されてマイクロレンズ１０ｂに入射される。レンズ１０ａからの入射光は、マイクロレンズ１０ｂにおいて平行化されて、カラーフィルタアレイ１０ｃを介してセンサセルアレイの各画素に入射される。
【００７４】
一方、ＨＤＲセンサ１０ｄにおいて、開始ラインから順に１ラインずつリセットラインＲが設定されて、各画素の蓄積電荷がリセットされる。引き続き、各走査ラインに対して、各画素のリセット後において露光時間Ｔ１、Ｔ２、Ｔ３の経過タイミングで非破壊読み出しラインＬ１、Ｌ２、Ｌ３が設定さる。これにより、図８（ａ）〜（ｃ）に示すような光応答の画素信号Ｓ１〜Ｓ３が順に読み出される。引き続き、開始ラインから順に読み出し＆リセットラインＬ４＆Ｒが設定されて、走査されたラインの各画素から図８（ｄ）に示すような光応答の画素信号Ｓ４が読み出され、その後、各画素の蓄積電荷がリセットされる。
以降、撮像が行われている間は、上記の手順でＬ１〜Ｌ３＆Ｒの設定、画素信号Ｓ１〜Ｓ３の読み出し及びリセット処理が繰り返し行われる。
【００７５】
このようにして読み出された画素信号Ｓ１〜Ｓ４は、ライン毎に、第１ラインメモリ〜第４ラインメモリにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、Ｓ１〜Ｓ４の順でアナログの画素データＳ１〜Ｓ４がＡＤＣに出力される。ＡＤＣは、アナログの画素データＳ１〜Ｓ４を、デジタルの画素データＳ１〜Ｓ４に変換する。そして、ＡＤＣからは、ライン単位で且つ画素データＳ１〜Ｓ４の順で順次画素データが、第１〜第４メモリ１２〜１５へと出力される。ここでは、画素データＳ１〜Ｓ４は８ビットの階調範囲の輝度値（０〜２５５）を示すデータとなる。
上記のようにして、比率が略均等となる露光時間Ｔ１、Ｔ２、Ｔ３、Ｔ４で撮像して得られる画素信号Ｓ１〜Ｓ４は、図１１に示すように、入射光を対数で表したグラフにおいて略均等な間隔で並ぶ。
【００７６】
一方、映像信号処理部１６は、撮像が開始され（ステップＳ１０４の「Ｙｅｓ」の分岐）、第１〜第４メモリ１２〜１５に１ライン分の画素データＳ１〜Ｓ４が格納されると、ＨＤＲ合成処理を開始する（ステップＳ１０６）。
ＨＤＲ合成処理が開始されると、映像信号処理部１６は、第１〜第４メモリ１２〜１５から、１ライン分の画素データＳ１〜Ｓ４を取得する（ステップＳ２００）。
映像信号処理部１６は、取得した１ライン分の画素データＳ１〜Ｓ４のうち、合成重みＷ１〜Ｗ４及び正規化画素データＮ１〜Ｎ４の計算処理が未処理の１画素分の画素データＳ１〜Ｓ４（ｘ，ｙ）を選択する。そして、画素データＳ２〜Ｓ４（ｘ，ｙ）を重み計算部１６ａに出力し、画素データＳ１〜Ｓ４（ｘ，ｙ）を正規化部１６ｂに出力する（ステップＳ２０２）。
【００７７】
一方、重み計算部１６ａは、画素データＳ２〜Ｓ４（ｘ，ｙ）を取得すると、まず、画素データＳ２（ｘ，ｙ）を、上式（２）に代入して、Ｆ（Ｓ２（ｘ，ｙ））を算出する。更に、上式（３）から、「Ｗ１（ｘ，ｙ）＝Ｆ（Ｓ２（ｘ，ｙ））」を計算する（ステップＳ２０４）。つまり、合成重みＷ１（ｘ，ｙ）を算出するときは、画素データＳ２（ｘ，ｙ）のみを用いる。
例えば、画素データＳ２（ｘ，ｙ）の輝度値が「１０」であるとする。また、ここでは、上式（２）におけるｎを「２」とする。この場合は、「Ｆ（Ｓ２（ｘ，ｙ））＝（１０／２５５）2≒１．５３８×１０-3」となり、上式（３）から、「Ｗ１（ｘ，ｙ）＝１．５３８×１０-3」となる。
【００７８】
なお、撮像条件などに応じて、ｎの値を適宜切り替えることで、上式（２）の関数Ｆ（ｘ）の値が、より急峻な変化をするように切り替えたり、より緩やかに変化するように切り替えたりすることができる。
ここで、合成重みＷ１（ｘ，ｙ）は、図９（ａ）に示すように、入射光量が少ないうちは比較的緩やかに変化し、ある入射光量を境に一定値となる。換言すると、Ｓ２（ｘ，ｙ）の明度（輝度値）が大きいほどＷ１（ｘ，ｙ）は大きくなり、Ｓ２（ｘ，ｙ）の明度が飽和状態となる明度のときにＷ１（ｘ，ｙ）は最大となる。
【００７９】
次に、重み計算部１６ａは、Ｓ３（ｘ，ｙ）を、上式（２）に代入して、Ｆ（Ｓ３（ｘ，ｙ））を算出し、算出したＦ（Ｓ３（ｘ，ｙ））と、先ほど算出したＦ（Ｓ２（ｘ，ｙ））とを上式（４）に代入する。これにより、「Ｗ２（ｘ，ｙ）＝Ｆ（Ｓ３（ｘ，ｙ））−Ｆ（Ｓ２（ｘ，ｙ））」を計算する（ステップＳ２０６）。つまり、合成重みＷ２（ｘ，ｙ）を算出するときは、画素データＳ２（ｘ，ｙ）及びＳ３（ｘ，ｙ）の２つを用いる。
【００８０】
例えば、画素データＳ３（ｘ，ｙ）の輝度値が「４０」であるとする。この場合は、「Ｆ（Ｓ３（ｘ，ｙ））＝（４０／２５５）2≒０．０２４６」となり、上式（４）から、「Ｗ２＝Ｆ（Ｓ３（ｘ，ｙ））−Ｆ（Ｓ２（ｘ，ｙ））＝０．０２４６−１．５３８×１０-3≒０．０２３０７」となる。
ここで、合成重みＷ２（ｘ，ｙ）は、図９（ｂ）に示すように、入射光量に対して、Ｗ１（ｘ，ｙ）と比較して急峻に上昇し、ある入射光量を境に低下する。換言すると、Ｓ３（ｘ，ｙ）の明度（輝度値）が大きいほどＷ２（ｘ，ｙ）は大きくなるが、Ｓ２（ｘ，ｙ）の明度も大きいときはＷ２（ｘ，ｙ）は小さくなる。また、Ｓ２（ｘ，ｙ）、Ｓ３（ｘ，ｙ）が両方とも飽和しているときはＷ２（ｘ，ｙ）は最小値「０」となる。
【００８１】
次に、重み計算部１６ａは、Ｓ４（ｘ，ｙ）を、上式（２）に代入して、Ｆ（Ｓ４（ｘ，ｙ））を算出し、算出したＦ（Ｓ４（ｘ，ｙ））と、先ほど算出したＦ（Ｓ３（ｘ，ｙ））とを上式（５）に代入する。これにより、「Ｗ３（ｘ，ｙ）＝Ｆ（Ｓ４（ｘ，ｙ））−Ｆ（Ｓ３（ｘ，ｙ））」を計算する（ステップＳ２０８）。つまり、合成重みＷ３（ｘ，ｙ）を算出するときは、画素データＳ３（ｘ，ｙ）及びＳ４（ｘ，ｙ）の２つを用いる。
【００８２】
例えば、画素データＳ４（ｘ，ｙ）の輝度値が「１６０」であるとする。この場合は、「Ｆ（Ｓ４（ｘ，ｙ））＝（１６０／２５５）2≒０．３９３７」となり、上式（５）から、「Ｗ３＝Ｆ（Ｓ４（ｘ，ｙ））−Ｆ（Ｓ３（ｘ，ｙ））＝０．３９３７−０．０２３０７≒０．３７０６」となる。
ここで、合成重みＷ３（ｘ，ｙ）は、図９（ｃ）に示すように、入射光量に対して、Ｗ２（ｘ，ｙ）と比較して急峻に上昇し、ある入射光量を境にＷ２（ｘ，ｙ）と比較して急峻に低下する。具体的に、Ｓ４（ｘ，ｙ）の明度（輝度値）が大きいほどＷ３（ｘ，ｙ）は大きくなるが、Ｓ３（ｘ，ｙ）の明度も大きいときはＷ３（ｘ，ｙ）は小さくなる。また、Ｓ３（ｘ，ｙ）、Ｓ４（ｘ，ｙ）が両方とも飽和しているときはＷ３（ｘ，ｙ）は最小値「０」となる。
【００８３】
次に、重み計算部１６ａは、先ほど算出したＦ（Ｓ４（ｘ，ｙ））を上式（６）に代入し、「Ｗ４（ｘ，ｙ）＝１−Ｆ（Ｓ４（ｘ，ｙ））」を計算する（ステップＳ２１０）。つまり、合成重みＷ４（ｘ，ｙ）を計算するときは、「Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４＝１」となることを利用して計算を行う。
例えば、上記数値例の値を用いた場合に、「Ｗ４＝１−Ｆ（Ｓ４（ｘ，ｙ））＝１−０．３７０６＝０．６２９４」となる。
【００８４】
ここで、合成重みＷ４（ｘ，ｙ）は、図９（ｄ）に示すように、入射光量が少なければ少ないほど大きな値となり、入射光量の増加に応じてＷ３（ｘ，ｙ）と比較して急峻に低下する。具体的に、Ｓ４（ｘ，ｙ）の明度（輝度値）が小さいほどＷ４（ｘ，ｙ）は大きくなるが、Ｓ４（ｘ，ｙ）の明度が大きいときはＷ４（ｘ，ｙ）は小さくなる。また、Ｓ４（ｘ，ｙ）が飽和しているときはＷ４（ｘ，ｙ）は最小値「０」となる。
【００８５】
以上のようにして計算される合成重みＷ１〜Ｗ４（ｘ，ｙ）を重ねて表示すると、図１０に示すように、入射光量に対して、Ｗ１〜Ｗ４（ｘ，ｙ）がオーバーラップする部分が現れる。本実施形態では、Ｗ２（ｘ，ｙ）を計算するときに、Ｓ２（ｘ，ｙ）及びＳ３（ｘ，ｙ）の２つの明度を用い、Ｗ３（ｘ，ｙ）を計算するときに、Ｓ３（ｘ，ｙ）及びＳ４（ｘ，ｙ）の２つの明度を用いている。そのため、特にオーバーラップする領域において、Ｓ３（ｘ，ｙ）だけ、又はＳ４（ｘ，ｙ）だけを用いて計算するよりも、より適切な合成重みＷ２（ｘ，ｙ）及びＷ３（ｘ，ｙ）を計算することができる。
なお、重み計算部１６ａは、上記のようにして算出した合成重みＷ１〜Ｗ４（ｘ，ｙ）を、合成部１６ｃに出力する。
【００８６】
また、正規化部１６ｂは、画素データＳ１〜Ｓ４（ｘ，ｙ）を取得すると、まず、画素データＳ１（ｘ，ｙ）と、制御部１８から取得した露光比情報のうちＴ１及びＴ４とに基づき、上式（７）から、画素データＳ１（ｘ，ｙ）を正規化する（ステップＳ２１２）。
具体的に、画素データＳ１（ｘ，ｙ）と、露光時間Ｔ１、Ｔ４とを、上式（７）に代入して、正規化画素データＮ１（ｘ，ｙ）として、「Ｎ１（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）×Ｔ４／Ｔ１」を計算する。
露光時間Ｔ１、Ｔ４として上記数値例を用い、画素データＳ１（ｘ，ｙ）の輝度値が「２」である場合に、「Ｎ１（ｘ，ｙ）＝２×５００／２＝５００」となる。
【００８７】
次に、正規化部１６ｂは、画素データＳ２（ｘ，ｙ）と、制御部１８から取得した露光比情報のうちＴ２及びＴ４とに基づき、上式（８）から、画素データＳ２（ｘ，ｙ）を正規化する（ステップＳ２１４）。
具体的に、画素データＳ２（ｘ，ｙ）と、露光時間Ｔ２、Ｔ４とを、上式（８）に代入して、正規化画素データＮ２（ｘ，ｙ）として、「Ｎ２（ｘ，ｙ）＝Ｓ２（ｘ，ｙ）×Ｔ４／Ｔ２」を計算する。
露光時間Ｔ２、Ｔ４、画素データＳ２（ｘ，ｙ）として上記数値例を用いた場合に、「Ｎ２（ｘ，ｙ）＝１０×５００／１３≒３８５」となる。
【００８８】
次に、正規化部１６ｂは、画素データＳ３（ｘ，ｙ）と、制御部１８から取得した露光比情報のうちＴ３及びＴ４とに基づき、上式（９）から、画素データＳ３（ｘ，ｙ）を正規化する（ステップＳ２１６）。
具体的に、画素データＳ３（ｘ，ｙ）と、露光時間Ｔ３、Ｔ４とを、上式（９）に代入して、正規化画素データＮ３（ｘ，ｙ）として、「Ｎ３（ｘ，ｙ）＝Ｓ３（ｘ，ｙ）×Ｔ４／Ｔ３」を計算する。
【００８９】
露光時間Ｔ３、Ｔ４、画素データＳ３（ｘ，ｙ）として上記数値例を用いた場合に、「Ｎ３（ｘ，ｙ）＝４０×５００／７９≒２５３」となる。
なお、露光時間Ｔ４を基準としているため、画素データＳ４（ｘ，ｙ）は、そのままの値を用いる（上式（１０））。上記数値例で言うと、「Ｎ４（ｘ，ｙ）＝１６０」となる。
なお、正規化部１６ｂは、上記のようにして算出した正規化画素データＮ１〜Ｎ４（ｘ，ｙ）を、合成部１６ｃに出力する。
【００９０】
合成部１６ｃは、重み計算部１６ａから合成重みＷ１〜Ｗ４（ｘ，ｙ）を取得し、正規化部１６ｂから正規化画素データＮ１〜Ｎ４（ｘ，ｙ）を取得すると、上式（１１）を用いて、Ｎ１〜Ｎ４のＨＤＲ合成処理を実行する（ステップＳ２１８）。
具体的に、上式（１１）に示すように、正規化画素データＮ１〜Ｎ４（ｘ，ｙ）を、合成重みＷ１〜Ｗ４で重み付けすると共に加算して、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）を計算する。つまり、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）として、「ＨＤＲ（ｘ，ｙ）＝Ｗ１（ｘ，ｙ）×Ｎ１（ｘ，ｙ）＋Ｗ２（ｘ，ｙ）×Ｎ２（ｘ，ｙ）＋Ｗ３（ｘ，ｙ）×Ｎ３（ｘ，ｙ）＋Ｗ４（ｘ，ｙ）×Ｎ４（ｘ，ｙ）」を計算する。
【００９１】
ここで、合成重みＷ１〜Ｗ４（ｘ，ｙ）及び正規化画素データＮ１〜Ｎ４（ｘ，ｙ）として、上記数値例を用いる。
上式（１１）に上記各数値を代入すると、「ＨＤＲ（ｘ，ｙ）＝１．５３８×１０-3×５００＋０．０２３０７×３８５＋０．３７０６×２５３＋０．６２９４×１６０≒０．７６９＋８．８８＋９３．８＋１０１≒２０４」となる。
【００９２】
このようにして生成されたＨＤＲ画素データＨＤＲ（ｘ，ｙ）は、フレームメモリ１７の各画素位置に対応するアドレスのメモリ領域に格納される（ステップＳ２２０）。
上記のようにして、各画素の合成重みＷ１〜Ｗ４（ｘ，ｙ）、正規化画素データＮ１〜Ｎ４（ｘ，ｙ）、ＨＤＲ画素データＨＤＲ（ｘ，ｙ）を順次計算する。このＨＤＲ合成処理は、１フレーム分の画素についてＨＤＲ合成処理が終了するまで行われる（ステップＳ２２２及びＳ２２４の「Ｙｅｓ」の分岐）。
【００９３】
そして、１フレーム分のＨＤＲ画素データが生成され、且つ撮像処理が継続している場合に（ステップＳ１０８の「Ｎｏ」の分岐）、露光比調整処理を実行する（ステップＳ１１０）。
露光比調整処理が開始されると、画像解析部１９は、１フレーム分のＨＤＲ画素データを、フレームメモリ１７から取得する。そして、取得したＨＤＲ画素データに基づき、撮像環境の明るさに係る統計情報として、１フレーム分の平均輝度Ｌａｖを算出し、算出したＬａｖを制御部１８に出力する（ステップＳ３００）。なお、１フレーム分に限らず、複数フレーム分のＨＤＲ画素データを用いて複数フレーム分の平均輝度を算出するようにしてもよい。
制御部１８は、画像解析部１９から平均輝度Ｌａｖを取得すると、Ｌａｖと、高輝度側の閾値Ｌｔｈとを比較し、ＬａｖがＬｔｈより大きいか否かを判定する。ここでは、高輝度側の閾値Ｌｔｈを「１９２」、低輝度側の閾値Ｌｔｌを「６４」とする。
【００９４】
例えば、平均輝度Ｌａｖが「６１」の場合は、Ｌａｖ（６１）はＬｔｈ（１９２）よりも小さいので（ステップＳ３０２の「Ｎｏ」の分岐）、制御部１８は、次に、ＬａｖとＬｔｌとを比較し、ＬａｖがＬｔｌよりも小さいか否かを判定する。ここでは、Ｌａｖ（６１）はＬｔｌ（６４）よりも小さいので（ステップＳ３０８の「Ｙｅｓ」の分岐）、制御部１８は、撮像環境が暗いと判断し、現在設定されている最長露光時間「Ｔｍａｘ（Ｔ３）＝５００Ｈ」を増加する調整を行う（ステップＳ３１０）。例えば、「Ｔ３＝１０００Ｈ」に増加したとする。これにより、略均等となっていた比率が崩れてしまうので、制御部１８は、「Ｔ１＝２Ｈ（初）、Ｔ４＝１０００Ｈ（増）」を、上式（６）及び（７）に代入して、中間露光時間Ｔｍｉｄ（Ｔ２及びＴ３）を再計算する。これにより、「Ｔ２＝（４×１０００）1/3≒１６」が算出され、「Ｔ３＝（２×１００００００）1/3≒１２６」が算出される。そして、新たな露光比情報として、「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝２：１６：１２６：１０００」が生成され、この露光比情報に基づき、新たな露光情報信号が生成される。生成された露光比情報は映像信号処理部１６に出力され、生成された露光情報信号は、各制御信号と共に撮像素子１０に送信される。これにより、撮像素子１０では、撮像環境の明るさに適した新たな露光比情報に基づいて撮像処理が行われる。
【００９５】
また、算出した平均輝度Ｌａｖが「２２１」であった場合は、Ｌａｖ（２２１）はＬｔｈ（１９２）よりも大きいので（ステップＳ３０２の「Ｙｅｓ」の分岐）、制御部１８は、撮像環境が明るいと判断し、現在設定されている最短露光時間「Ｔｍｉｎ（Ｔ１）＝２Ｈ」を減少する調整を行う（ステップＳ１１４）。例えば、「Ｔ１＝１Ｈ」に減少したとする。これにより、略均等となっていた比率が崩れてしまうので、制御部１８は、「Ｔ１＝１Ｈ（減）、Ｔ４＝５００Ｈ（初）」を、上式（１２）及び（１３）に代入して、中間露光時間Ｔｍｉｄ（Ｔ２及びＴ３）を再計算する。これにより、「Ｔ２＝（１×５００）1/3≒８」が算出され、「Ｔ３＝（１×２５００００）1/3≒６３」が算出される。そして、新たな露光比情報として、「Ｔ１：Ｔ２：Ｔ３：Ｔ４＝１：８：６３：５００」が生成され、この露光比情報に基づき、新たな露光情報信号が生成される。生成された露光比情報は映像信号処理部１６に出力され、生成された露光情報信号は、各制御信号と共に撮像素子１０に送信される。これにより、撮像素子１０では、撮像環境の明るさに適した新たな露光比情報に基づいて撮像処理が行われる。
【００９６】
以上説明したように、本実施形態の撮像装置１は、露光時間Ｔ１〜Ｔ４で撮像して得られた画素データＳ１〜Ｓ４を重み付けして合成する際の合成重みＷ１〜Ｗ４の計算において、Ｗ２については、Ｓ２及びＳ３の２つを用いて計算するようにした。更に、Ｗ３については、Ｓ３及びＳ４の２つを用いて計算するようにした。
つまり、Ｓ２に対する合成重みＷ２については、Ｓ２とその次に露光時間の長いＳ３の両方の明度（輝度値）を用いて計算するので、Ｓ２の明度だけ用いた場合と比較して、より自然で適切な合成重みＷ２を計算することができる。
同様に、Ｓ３に対する合成重みＷ３については、Ｓ３とその次に露光時間の長いＳ４の両方の明度（輝度値）を用いて計算するので、Ｓ３の明度だけ用いた場合と比較して、より自然で適切な合成重みＷ３を計算することができる。
【００９７】
また、撮像素子１０において、隣接する各２つの露光量の比率「Ｌ２／Ｌ１」、「Ｌ３／Ｌ２」及び「Ｌ４／Ｌ３」が均等「Ｌ２／Ｌ１＝Ｌ３／Ｌ２＝Ｌ４／Ｌ３」となる露光量Ｌ１〜Ｌ４に対応する露光時間Ｔ１〜Ｔ４で被写体を撮像することができる。
これによって、ＨＤＲ合成処理で用いる画素データＳ１〜Ｓ４の露光量の比が常に一定となるため、暗部から明部に渡って、輝度が均等になり且つノイズの少ない合成画像を得ることができる。
【００９８】
更に、撮像環境の明るさに係る統計情報として、１フレーム分のＨＤＲ画素データから平均輝度Ｌａｖを算出し、該Ｌａｖと高輝度側閾値Ｌｔｈ及び低輝度側閾値Ｌｔｌとを比較して、撮像環境の明るさの状態を判断することができる。
更に、撮像環境が明るいと判断された場合は、最短露光時間Ｔｍｉｎ（Ｔ１）を減少させる調整を行い、撮像環境が暗いと判断された場合は、最長露光時間Ｔｍａｘ（Ｔ４）を増加させる調整を行うことができる。
【００９９】
更に、調整後のＴ１及びＴ４を用いて、上式（１２）及び（１３）に従ってＴ２及びＴ３を再計算することで、露光時間の調整によって崩れた比率を均等に戻すことができる。
これによって、露光量比（露光時間比）を、撮像環境の明るさに適した露光量比に自動で調整することができる。
上記実施形態において、撮像素子１０及び制御部１８は、形態７に記載の撮像手段に対応し、重み計算部１６ａは、形態１乃至４のいずれか１に記載の重み算出手段に対応し、正規化部１６ｂ及び合成部１６ｃは、形態１に記載の画像合成手段に対応する。
【０１００】
また、上記実施形態において、ステップＳ２０４〜Ｓ２１０は、形態５又は６に記載の重み算出ステップに対応し、ステップ２１２〜ｓ２１８は、形態５又は６に記載の画像合成ステップに対応する。
なお、上記実施形態における、撮像装置１は、表示装置、メモリ装置等の不図示の他の装置と組み合わせて、デジタルカメラ、デジタルビデオカメラなどの電子機器を構成することが可能である。
また、上記実施形態において、合成重みを用いるときに、上式（２）に示す関数Ｆ（ｘ）を用いた構成を例に挙げたが、この構成に限らない。
【０１０１】
例えば、要素ｘの値（上記実施形態では輝度値）が大きいほど増加し、その最大値が「１」又は他の定数となるような関数であれば、他の関数を用いる構成としてもよい。例えば、オフセット値を設定して、ｘの値がオフセット値以下の場合は全て「０」とするような関数を用いてもよい。
また、上記実施形態において、比率が均等となる複数種類の露光量を、露光時間を制御することで実現する構成としたが、この構成に限らず、撮像素子１０の機能に応じて、例えば、アイリス（絞り）や、撮像感度などを制御して実現する構成としてもよい。
【０１０２】
また、上記実施形態において、上式（１２）及び（１３）を用いて、中間露光時間Ｔ２及びＴ３を算出する構成としたが、この構成に限らない。例えば、予め上式（１２）及び（１３）を用いて所定のＴ１及びＴ４に対するＴ２及びＴ３を算出してデータテーブル（ＬＵＴ）を生成し、この生成したＬＵＴを用いてＴ２及びＴ３を決定する構成としてもよい。
また、上記実施形態において、撮像素子１０のＨＤＲセンサ１０ｄが、ＣＭＯＳ技術を用いて構成されたセンサセルアレイ５６を有する構成としたが、この構成に限らない。例えば、ＣＣＤから構成されるセンサセルアレイを有する構成など他の構成としてもよい。
【０１０３】
また、上記実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【符号の説明】
【０１０４】
１…撮像装置、１０…撮像素子、１０ａ…レンズ、１０ｂ…マイクロレンズ、１０ｃ…カラーフィルタアレイ、１０ｄ…ＨＤＲセンサ、１２〜１５…第１〜第４メモリ、１６…映像信号処理部、１６ａ…重み計算部、１６ｂ…正規化部、１６ｃ…合成部、１７…フレームメモリ、１８…制御部、１９…画像解析部、２０…操作部、５０…基準タイミング発生器、５４…走査ラインスキャナ、５６…センサセルアレイ、５８…水平転送部
【特許請求の範囲】
【請求項１】
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出手段と、
前記重み算出手段で算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記重み算出手段は、前記３種類以上の画像のうち、露光量が最小及び最大となる２種類の画像以外の画像について、前記第１の画像の輝度と、前記第２の画像の輝度とに基づき重みを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重み算出手段は、前記重みを、画像の輝度を要素ｘとし、関数値が輝度の大きさに応じて増加する関数Ｆ（ｘ）によって算出した値を用いて算出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記重み算出手段は、前記関数として、前記要素ｘに対する算出値が、より急峻に変化する第１の関数Ｆ１（ｘ）と、より緩やかに変化する第２の関数Ｆ２（ｘ）とを切り替えて用いることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出ステップと、
前記重み算出ステップで算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成ステップと、を含むことを特徴とする画像処理方法。
【請求項６】
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出ステップと、
前記重み算出ステップで算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成ステップとを有する処理をコンピューターに実行させるためのプログラムを含むことを特徴とする画像処理プログラム。
【請求項７】
Ｎ種類（Ｎは３以上の自然数）の露光量で被写体を撮像する撮像手段と、
請求項１乃至請求項４のいずれか１項に記載の画像処理装置と、を備え、
前記画像処理装置は、前記撮像手段で撮像して得られたＮ種類の露光量に対応するＮ種類の画像のうち、少なくとも画像合成に用いる３種類以上の画像について、前記第１の画像に対する重みを算出することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置を備える電子機器。
【請求項１】
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出手段と、
前記重み算出手段で算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記重み算出手段は、前記３種類以上の画像のうち、露光量が最小及び最大となる２種類の画像以外の画像について、前記第１の画像の輝度と、前記第２の画像の輝度とに基づき重みを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重み算出手段は、前記重みを、画像の輝度を要素ｘとし、関数値が輝度の大きさに応じて増加する関数Ｆ（ｘ）によって算出した値を用いて算出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記重み算出手段は、前記関数として、前記要素ｘに対する算出値が、より急峻に変化する第１の関数Ｆ１（ｘ）と、より緩やかに変化する第２の関数Ｆ２（ｘ）とを切り替えて用いることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出ステップと、
前記重み算出ステップで算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成ステップと、を含むことを特徴とする画像処理方法。
【請求項６】
３種類以上の露光量で被写体を撮像して得られた３種類以上の画像のうち、第１の画像の輝度と、該第１の画像の次に露光量の大きい第２の画像の輝度とに基づき、該第１の画像に対して画像合成時に用いる重みを算出する重み算出ステップと、
前記重み算出ステップで算出した重みを用いて、前記３種類以上の画像の重み付け加算を行い、画像を合成する画像合成ステップとを有する処理をコンピューターに実行させるためのプログラムを含むことを特徴とする画像処理プログラム。
【請求項７】
Ｎ種類（Ｎは３以上の自然数）の露光量で被写体を撮像する撮像手段と、
請求項１乃至請求項４のいずれか１項に記載の画像処理装置と、を備え、
前記画像処理装置は、前記撮像手段で撮像して得られたＮ種類の露光量に対応するＮ種類の画像のうち、少なくとも画像合成に用いる３種類以上の画像について、前記第１の画像に対する重みを算出することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置を備える電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１０１１８０（Ｐ２０１１−１０１１８０Ａ）
【公開日】平成２３年５月１９日（２０１１．５．１９）
【国際特許分類】
【出願番号】特願２００９−２５４２１２（Ｐ２００９−２５４２１２）
【出願日】平成２１年１１月５日（２００９．１１．５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年５月１９日（２０１１．５．１９）
【国際特許分類】
【出願日】平成２１年１１月５日（２００９．１１．５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]