撮像装置
【課題】ダイナミックレンジを変化させることなく撮像感度制御を行う。
【解決手段】撮像装置に、線形特性と対数特性との異なる光電変換特性の撮像信号を個別にアナログ信号で出力可能に構成された撮像素子と、前記アナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記デジタル信号のうち線形特性の撮像信号に対応するデジタル信号が入力され、線形特性での撮像に特有の固定パターンノイズを除去する線形特性用ノイズキャンセル手段と、前記デジタル信号のうち対数特性の撮像信号に対応するデジタル信号が入力され、対数特性での撮像に特有の固定パターンノイズを除去する対数特性用ノイズキャンセル手段と、
線形特性用ノイズキャンセル手段によってノイズが除去された撮像信号と対数特性用ノイズキャンセル手段によってノイズが除去された撮像信号とを合成して画像を生成する画像生成手段とを備える。
【解決手段】撮像装置に、線形特性と対数特性との異なる光電変換特性の撮像信号を個別にアナログ信号で出力可能に構成された撮像素子と、前記アナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記デジタル信号のうち線形特性の撮像信号に対応するデジタル信号が入力され、線形特性での撮像に特有の固定パターンノイズを除去する線形特性用ノイズキャンセル手段と、前記デジタル信号のうち対数特性の撮像信号に対応するデジタル信号が入力され、対数特性での撮像に特有の固定パターンノイズを除去する対数特性用ノイズキャンセル手段と、
線形特性用ノイズキャンセル手段によってノイズが除去された撮像信号と対数特性用ノイズキャンセル手段によってノイズが除去された撮像信号とを合成して画像を生成する画像生成手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、線形特性と対数特性との異なる光電変換特性を有する撮像センサを用いた撮像装置であって、特に、この撮像センサによる各特性の撮像信号に対する感度制御処理が可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジ（ＤＲ）を拡大させることが１つの大きなテーマとなっている。このＤＲの拡大化に関し、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性との異なる光電変換特性を有する撮像センサが知られている（この撮像センサのことを「リニアログセンサ」という）。この撮像センサによって、低輝度側では線形特性の撮像信号が、高輝度側では対数特性の撮像信号が出力される。ところで、一般的に、銀塩カメラでの撮影画像に対する各種補正処理の１つとして感度補正（ＩＳＯ感度補正）がある。デジタルカメラにおいてこの感度補正を行う場合、例えば撮像の感度を上げる（感度アップする）に際して、線形特性の撮像信号に対しては乗算処理を、対数特性の撮像信号に対しては加算処理を行う（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３５２８０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、アナログ信号状態で感度アップしようとするとダイナミックレンジが変化してしまうという問題がある。
【０００５】
本発明は、上記問題に鑑みてなされたもので、ダイナミックレンジを変化させることなく撮像感度制御（感度補正）を行うことが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、線形特性と対数特性との異なる光電変換特性を有し、該各光電変換特性の撮像信号を個別にアナログ信号で出力可能に構成された撮像素子と、前記撮像素子から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段により変換されたデジタル信号のうち、前記線形特性の撮像信号に対応するデジタル信号が入力され、入力されたデジタル信号における前記線形特性での撮像に特有の固定パターンノイズを除去する線形特性用ノイズキャンセル手段と、前記Ａ／Ｄ変換手段により変換されたデジタル信号のうち、前記対数特性の撮像信号に対応するデジタル信号が入力され、入力されたデジタル信号における前記対数特性での撮像に特有の固定パターンノイズを除去する対数特性用ノイズキャンセル手段と、前記線形特性用ノイズキャンセル手段によって前記線形特性での撮像に特有の固定パターンノイズが除去された撮像信号と前記対数特性用ノイズキャンセル手段によって前記対数特性での撮像に特有の固定パターンノイズが除去された撮像信号とを合成して画像を生成する画像生成手段とを備えることを特徴とする。
【０００７】
また、上記構成において、前記各光電変換特性の撮像信号を増幅する増幅手段と、前記増幅手段における前記各光電変換特性の撮像信号に対する増幅率を前記光電変換特性毎に個別に制御する増幅率制御手段とを更に備えるようにしてもよい。
【０００８】
上記構成によれば、撮像装置が、線形特性と対数特性との異なる光電変換特性を有し、該各光電変換特性の撮像信号を個別にアナログ信号で出力可能に構成された撮像素子と、各光電変換特性の撮像信号を増幅する増幅手段と、増幅手段における各光電変換特性の撮像信号に対する増幅率を光電変換特性毎に個別に制御する増幅率制御手段と、増幅手段により増幅された各光電変換特性の撮像信号を合成して画像を生成する画像生成手段とを備えたものとされ、増幅率制御手段によって算出された増幅率を用いて光電変換特性毎に増幅率制御が行われる。したがって、各光電変換特性の撮像信号の増幅率を個別に（互いに異なる値で）設定する、すなわち異なる光電変換特性の撮像信号それぞれに対して別々に（分離して）増幅処理することが可能となるため、例えば対数特性よりも感度が高い線形特性の撮像信号のみから得られる評価値に基づいて該線形特性の撮像信号の増幅率を制御する、つまり線形特性の撮像信号のみに対して増幅処理を行うといった増幅率制御が行えるようになり、当該増幅した光電変換特性（線形特性）の撮像信号とこれ以外の増幅していない対数特性の撮像信号とを画像生成手段により合成して画像を生成するようにすることで、ダイナミックレンジを変化させることなく撮像感度制御（感度補正）することが可能となる。
【０００９】
また、上記構成において、前記増幅率制御手段は、前記線形特性の撮像信号に対する増幅率を該線形特性の撮像信号に基づいて算出し、該算出した増幅率を用いて、前記画像生成後に前記線形特性の撮像信号のみの増幅率を制御するようにしてもよい。
【００１０】
これによれば、増幅率制御手段によって、線形特性の撮像信号に対する増幅率が該線形特性の撮像信号に基づいて算出され、該算出された増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみの増幅率が制御されるので、この画像生成後に最も低輝度の画像を表す撮像信号すなわち例えば線形特性の撮像信号とこれ以外の増幅していない光電変換特性つまり対数特性の撮像信号とを合成して画像を生成するようにすることで、ダイナミックレンジを変化させることなく撮像感度制御することが可能となる。
【００１１】
また、上記構成において、前記画像生成手段は、前記増幅率が制御された前記線形特性の撮像信号である第１撮像信号と、前記対数特性の撮像信号が前記増幅率制御手段によって算出した前記増幅率に応じてデータ変換されてなる第２撮像信号とから、所定信号レベル以下の前記第１撮像信号と該信号レベルより高いレベルの第２撮像信号とを選択し、該選択した第１及び第２撮像信号を合成して画像を生成することを特徴とする。
【００１２】
これによれば、画像生成手段によって、増幅率制御された特性の第１撮像信号と、増幅率制御された特性以外の特性の撮像信号が前記算出した増幅率に応じてデータ変換されてなる第２撮像信号とから、所定信号レベル以下の第１撮像信号と該信号レベルより高いレベルの第２撮像信号とが選択され、該選択された第１及び第２撮像信号が合成されて画像が生成されるので、所定信号レベルを各光電変換特性の変曲点レベルとするなどして、ダイナミックレンジを変化させることなく各特性の撮像信号を合成して画像生成することを容易に行えるようになる。
【発明の効果】
【００１３】
本発明の撮像装置によれば、ダイナミックレンジを変化させることなく撮像感度制御（感度補正）する（ダイナミックレンジを維持した状態で撮像信号の感度をアップさせる）ことが可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関する概略的なブロック構成図である。
【図２】上記デジタルカメラに用いられる撮像センサの光電変換特性の一例を示すグラフ図である。
【図３】上記撮像センサの回路構成の一例を示す図である。
【図４】上記デジタルカメラの撮像センサ及び画像処理部の一例を示す機能ブロック図である。
【図５】異なる光電変換特性が線形特性及び対数特性であるの場合の上記撮像センサの機能ブロック図である。
【図６】上記線形特性及び対数特性での露光及び撮像信号出力のタイミングを説明するための模式図である。
【図７】異なる光電変換特性が線形特性及び対数特性であるの場合の上記画像処理部の機能ブロック図である。
【図８】上記図７に示す画像処理部（選択部）における各特性の撮像信号に対する選択動作について説明するためのグラフ図である。
【図９】線形特性及び対数特性での露光時における変曲点レベルの位置について説明するためのグラフ図である。
【図１０】第２の実施形態におけるデジタルカメラの撮像センサ及び画像処理部の一例を示す機能ブロック図である。
【図１１】異なる光電変換特性が線形特性及び対数特性であるの場合の上記図１０に示す撮像センサの機能ブロック図である。
【図１２】第２の実施形態における上記線形特性及び対数特性での露光及び撮像信号出力のタイミングを説明するための模式図である。
【図１３】異なる光電変換特性が線形特性及び対数特性であるの場合の上記図１０に示す画像処理部の機能ブロック図である。
【図１４】第１及び第２の実施形態の変形態様であって、光電変換特性が２つの異なる線形特性（第１線形特性／第２線形特性）からなる場合の上記画像処理部（選択部）における各特性の撮像信号に対する選択動作について説明するためのグラフ図である。
【図１５】第１及び第２の実施形態の変形態様であって、光電変換特性が３つ以上の異なる線形特性からなる場合の上記画像処理部（選択部）における各特性の撮像信号に対する選択動作について説明するためのグラフ図である。
【発明を実施するための形態】
【００１５】
（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に
関する概略的なブロック構成図を示している。デジタルカメラ１は、レンズ部２、撮像センサ３、Ａ／Ｄ変換部４、画像処理部５及び制御部６を備えている。レンズ部２は、被写体光を撮像センサ３へ導くための光学レンズ系を構成するものである。レンズ部２には、透過光量を調節するための絞りやシャッタ（いずれも図示省略）を備えており、制御部６によってこれらの駆動制御がなされる。
【００１６】
撮像センサ３は、レンズ部２により導かれた被写体光の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換して出力するものである。本実施形態においては、撮像センサ３として、図２に示すような、センサ面照度（センサ入射輝度）が低い場合（暗時）に電気信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ面照度が高い場合（明時）に電気信号が対数的に変換（対数圧縮）されて出力される対数特性領域とからなる光電変換特性、換言すれば低輝度側が線形特性、高輝度側が対数特性の光電変換特性を有する対数変換型固体撮像素子が用いられる。この光電変換特性の線形特性と対数特性との切り替り点（変曲点；Ｖｔｈ）は、撮像センサ３の各画素回路に対する所定の制御信号により任意に制御可能とされている。
【００１７】
撮像センサ３は、例えばフォトダイオード等の光電変換素子やＰ型（又はＮ型）のＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）、或いはＦＤ（Floating Diffusion）等を画素回路内に備える複数の画素が、マトリクス（行列）状に配置さ
れたＭＯＳ型固体撮像素子であり、所謂Ｘ−ＹアドレスタイプのＣＭＯＳイメージセンサである。撮像センサ３は、この構成において、例えば上記ＭＯＳＦＥＴにおける転送トランジスタの転送ゲート電位やリセットトランジスタのリセットゲート電位等を変化させることで、ＦＤから線形特性を有する画素信号（線形特性出力）、及び対数特性を有する画素信号（対数特性出力）を出力する。なお、これに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。
【００１８】
撮像センサ３は、具体的には例えば図３に示す回路構成を有している。すなわち、撮像センサ３は、画素部３１、垂直走査回路３２、第１水平走査回路３３、第２水平走査回路３４、第１読出し回路３５及び第２読出し回路３６を備えている。画素部３１は、複数の画素３１１（ピクセル）を備え、被写体光像の光量に応じて上記線形特性及び対数特性の画像信号に光電変換して出力するものである。この画素部３１は、ゲートに負荷電圧（信号ＶＤ）が印加されて所謂電子負荷として機能する負荷トランジスタＱａを有した負荷回路３１２を備えている。
【００１９】
垂直走査回路３２は、画素部３１の各画素３１１（全画素行）に対する垂直走査を行う垂直シフトレジスタであって、各行選択信号線３１３を順次走査する。第１水平走査回路３３及び第２水平走査回路３４はそれぞれ、各画素３１１に対する水平走査（列選択動作）を行う水平シフトレジスタであって、各垂直信号線３１４（列選択信号線；出力信号線）を順次走査する。ただし、第１水平走査回路３３は各画素３１１からの線形特性出力に対する水平走査を行い、一方、第２水平走査回路３４は各画素３１１からの対数特性出力（対数圧縮特性出力）に対する水平走査を行う。
【００２０】
第１読出し回路３５は、垂直走査回路３２により走査された画素行の各画素３１１から垂直信号線３１４に導出された線形特性出力による画像信号を、第１水平走査回路３３による水平走査に従って画素毎に順次読み出すための回路である。第２読出し回路３６は、同様に垂直信号線３１４に導出された対数特性出力による画像信号を、第２水平走査回路３４による水平走査に従って画素毎に順次読み出すための回路である。このように、本実施形態では、各画素３１１の光電変換特性における異なる特性毎の、すなわち線形特性出力及び対数特性出力それぞれに対応した専用（個別）の読出し回路を備えている。これら第１及び第２読出し回路３５、３６はそれぞれ、当該線形特性出力及び対数特性出力によ
る画像信号とノイズ信号とをサンプルホールド（サンプリング）する所謂サンプルホールド回路として機能する。
【００２１】
すなわち、第１読出し回路３５は、シグナルサンプルホールド用スイッチＳａ１及びシグナルサンプルホールド容量Ｃａ１からなるシグナルサンプルホールド回路３５１と、ノイズサンプルホールド用スイッチＳａ２及びノイズサンプルホールド容量Ｃａ２からなるノイズサンプルホールド回路３５２とを有する線形特性出力用のサンプルホールド回路３５３を備え、入力されたアナログ信号としてのシグナル（画像信号）及びノイズ（ノイズ信号）をサンプリング（標本化）し、この値を一時的に保持する。同様に、第２読出し回路３６は、シグナルサンプルホールド用スイッチＳｂ１及びシグナルサンプルホールド容量Ｃｂ１からなるシグナルサンプルホールド回路３６１と、ノイズサンプルホールド用スイッチＳｂ２及びノイズサンプルホールド容量Ｃｂ２からなるノイズサンプルホールド回路３６２とを有する対数特性出力用のサンプルホールド回路３６３を備え、シグナル及びノイズをサンプルホールドする。
【００２２】
また、第１及び第２読出し回路３５、３６はそれぞれ、アンプ３５４、３６４（アナログ増幅部；差動アンプ）を備えており、これら各アンプによって、各画素３１１の感度バラツキによるノイズ成分を除去するとともに、各画素３１１の信号をアナログの状態で増幅するつまりアナログゲインをかけて増幅する。アンプ３５４、３６４においてノイズ除去及びゲイン調整された線形特性及び対数特性の画像データ（画像信号）は、後段の処理部（Ａ／Ｄ変換部４）に送信される。なお、サンプルホールド回路３５３（３６３）における１つのシグナルサンプルホールド回路３５１（３６１）及びノイズサンプルホールド回路３５２（３６２）からなる回路のことを垂直出力回路３５０（３６０）と表現する。
【００２３】
Ａ／Ｄ変換部４は、撮像センサ３内のアンプ３５４、３６４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するものである。画像処理部５は、Ａ／Ｄ変換部４から入力された各特性の画像信号に対する各種画像処理（デジタル信号処理）を行うものである。主制御部６は、各制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する（中央演算処理装置：ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。主制御部６は、画像処理部５での画像信号から得られる画像の評価結果に基づいて、撮像センサ３の撮像動作を制御したり、その他の画像処理パラメータを制御する。
【００２４】
ところで、本実施形態のデジタルカメラ１は、特性が異なる光電変換特性での撮像により得られた各特性の画像信号それぞれに対して個別の画像処理を行うことが可能に構成されている。図４は、この構成に関する、撮像センサ３及び画像処理部５における機能ブロック図である。同図に示すように撮像センサ３は、画素部３１、画素部３１に接続された第１増幅器３７１及び第２増幅器３７２、並びに第１増幅率制御部３８１及び第２増幅率制御部３８２を備えている。また、画像処理部５は、第１特性用画像処理部５１、第２特性用画像処理部５２、第１特性増幅率算出部５３、第２特性増幅率算出部５４及び合成部５５を備えている。ここでは当該異なる光電変換特性が２種類であるとし、それぞれ第１特性、第２特性と表現する。
【００２５】
第１増幅器３７１及び第２増幅器３７２はそれぞれ、画素部３１による各特性の画像信号すなわち第１特性撮像信号及び第２特性撮像信号に対して所定のアナログゲインをかけて増幅した後、これら撮像信号を画像処理部５へ出力するものである。ただし、これら撮像信号は図略のＡ／Ｄ変換部４によりアナログ信号からデジタル信号に変換されたものが画像処理部５へ入力される。第１及び第２特性用画像処理部５１、５２はそれぞれ、第１及び第２特性撮像信号に対して個別の画像処理を行うものである。第１特性増幅率算出部
５３は、第１特性用画像処理部５１における処理パラメータ（評価値）に基づいて、第１特性用の増幅率（第１特性増幅率）を算出するものである。算出された第１特性増幅率は制御信号として第１増幅率制御部３８１に送信される。第２特性増幅率算出部５４は、第２特性用画像処理部５２における処理パラメータに基づいて、第２特性用の増幅率（第２特性増幅率）を算出するものである。同様に、この第２特性増幅率は制御信号として第２増幅率制御部３８２に送信される。また、撮像センサ３における第１及び第２増幅率制御部３８１、３８２はそれぞれ、画像処理部５からの上記第１及び第２特性増幅率の情報に基づいて、第１増幅器３７１及び第２増幅器３７２の増幅動作を制御するものである。また、合成部５５は、第１及び第２特性用画像処理部５１、５２により各種画像処理が施された第１及び第２特性の各画像データに対する所定の合成処理を行うものである。合成処理後の合成画像は後段の処理部へ出力される。
【００２６】
このように、撮像センサ３及び画像処理部５は、撮像センサ３から各特性の撮像信号（アナログ信号）を出力し、画像処理部５でこれら撮像信号（デジタル信号）を受けて所定の画像処理及び各特性画像の合成処理を行うとともに、各特性用の増幅率を算出してこの増幅率情報を撮像センサ３にフィードバックし、撮像センサ３において、この増幅率情報を基に各特性の撮像信号を増幅（アナログ増幅）するという、撮像信号のアナログ増幅に関する所謂ループ制御が可能な構成を備えている。
【００２７】
第１の実施形態では、図４に示す構成を利用して、撮像センサ３により得られた線形特性及び対数特性の撮像信号を用いた感度制御（感度補正）処理を行う。これについて以下に詳述する。図５は、この感度制御に関し、図４に示す撮像センサ３を図３に示す実際の撮像センサ３の構成と対応させて示した撮像センサ３のブロック構成図である。この図５に示す撮像センサ３は、図３に示す上記画素部３１、上記垂直走査回路３２に相当する垂直走査部３２０、第１水平走査回路３３及び第１読出し回路３５（アンプ３５４は含まない）に相当する第１水平走査部３３０、第２水平走査回路３４及び第２読出し回路３６に相当する第２水平走査部３４０（アンプ３６４は含まない）、アンプ３５４及び３６４、並びに、図４に示す第１及び第２増幅率制御部３８１及び３８２を含むセンサ制御部３８０を備えている。
【００２８】
本実施形態における撮像センサ３は、画素部３１（全画素３１１）における画素行（水平１ライン）ごとに線形特性及び対数特性の露光を行い、これら特性での撮像信号を、各特性毎に異なる出力回路（読出し回路或いは出力端子（アンプ３５４、３６４））から出力する。撮像センサ３は、外部からすなわち画像処理部５或いは主制御部６からの制御信号（第１及び第２増幅率（増幅率制御信号）、タイミング信号等）に呼応して撮像動作を行い、各特性の撮像信号を出力する。画素部３１での光電変換により得られた撮像信号は、垂直走査部３２０によって水平１ライン分の撮像信号（水平１ラインの画素行における各画素３１１の画素信号）が特性毎に第１水平走査部３３０又は第２水平走査部３４０に出力され、これら水平走査部にて保持される。第１及び第２水平走査部３３０、３４０に保持された各特性の撮像信号は画素毎にアンプ３５４、３６４にて増幅処理され、アンプ３５４からは、上記第１特性撮像信号に相当する線形特性撮像信号が、アンプ３６４からは、上記第２特性撮像信号に相当する対数特性撮像信号が出力される。なお、アンプ３５４、３６４それぞれの増幅率は、上記外部からの制御信号に基づいてセンサ制御部３８０により設定される。また、センサ制御部３８０は、上記外部からの制御信号に呼応して、アンプ３５４、３６４の増幅処理を制御するとともに、画素部３１の光電変換動作、垂直走査部３２０の垂直走査動作、及び第１及び第２水平走査部３３０、３４０の水平走査動作を制御する。
【００２９】
ここで、上記水平１ライン毎における各光電変換特性での露光及び撮像信号の出力（読み出し）についてのタイミングを図６に示す。例えば水平３ライン分について説明すると
、先ず、或る水平１ライン（ラインＬ１）において、線形特性での露光が開始され、所定露光時間が終了すると、この線形特性での露光により得られた撮像信号が第１水平走査部３３０へ出力されて保持される（ｔ１〜ｔ３；時刻ｔ１からｔ３までの間の時間）。次に、対数特性での露光が開始され、所定露光時間が終了すると、この対数特性での露光により得られた撮像信号が第２水平走査部３４０へ出力されて保持される（ｔ３〜ｔ４）。その後、第１水平走査部３３０及び第２水平走査部３４０から、各特性の撮像信号がそれぞれ読み出される、すなわちアンプ３５４、３６４により所定の増幅率で増幅処理されて出力される（ｔ４〜ｔ６）。次の水平１ライン（ラインＬ２）、さらに次の水平１ライン（ラインＬ３）も同様に、露光及び読み出し制御が行われ、上記ラインＬ１の撮像信号出力に続いて順にラインＬ２、ラインＬ３の撮像信号が出力される（ラインＬ１の撮像信号出力時間ｔ４〜ｔ６に続いてライン２のｔ６〜ｔ８、ライン３のｔ８〜ｔ９と連続的に出力される）。このように、ライン毎の線形特性及び対数特性の露光、出力動作が、画素部３１の全水平ライン（全画素行）に亘って行われる。
【００３０】
図７は、上記図５に示す撮像センサ３と同様、図４に示す構成を利用して各特性の撮像信号を用いた感度制御（感度補正）処理を行う場合の、画像処理部５における主にこの感度制御に関する機能部についてのブロック構成図である。同図に示すように、画像処理部５は、線形特性用ノイズキャンセル部５１１、評価値算出部５１２、対数特性用ノイズキャンセル部５２１、特性変換部５２２、増幅率算出部５４１、選択部５５１及び比較部５５２を備えている。ただし、線形特性用ノイズキャンセル部５１１及び評価値算出部５１２は、図４の画像処理部５に示す第１特性用画像処理部５１に相当し、増幅率算出部５４１は第１特性増幅率算出部５３に相当し、対数特性用ノイズキャンセル部５２１及び特性変換部５２２は第２特性用画像処理部５２に相当し、選択部５５１及び比較部５５２は合成部５５に相当する。
【００３１】
線形特性用ノイズキャンセル部５１１は、Ａ／Ｄ変換部４によりデジタル信号に変換されて入力されてきた線形特性撮像信号における、つまり線形特性での撮像に特有の固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去（キャンセル）するものである。
この場合のＦＰＮは、画素３１１にて発生する画素毎に異なる暗電流のばらつき（オフセットばらつき）である。
【００３２】
評価値算出部５１２は、線形特性用ノイズキャンセル部５１１によりＦＰＮが除去された線形特性撮像信号であって、撮像１画面（１フレーム）に亘っての全体の線形特性撮像信号（線形特性データ）から所定の評価値を算出するものである。ここでは評価値として線形特性データ全体の平均値を算出する。算出した評価値は増幅率算出部５４１に出力される。ただし、評価値については当該画面全体の平均値（加算平均）のみならず、例えば主被写体領域での平均値や最大、最小値、或いは、画素の空間的配置に基づいた加重平均値やヒストグラム等に基づいた画素値の分散等、種々の値が採用可能である。
【００３３】
増幅率算出部５４１は、入力された評価値（平均値）に基づいて線形特性撮像信号用の増幅率（線形特性増幅率）を算出するものである。この線形特性増幅率は、当該評価値と基準評価値との比較処理（除算処理）によって算出される。この基準評価値は増幅率算出部５４１内に予め記憶されている。
【００３４】
なお、本実施形態の撮像装置における撮像信号の増幅率は、線形特性撮像信号の増幅率と対数特性撮像信号の増幅率とを異なる値で設定することが可能であるが（図４参照）、特にここでの感度制御処理においては、線形特性撮像信号の増幅率が、同じ線形特性撮像信号から得られる評価値（平均値）に基づいて制御可変な構成となっている。すなわち線形特性撮像信号に対してのみ増幅率を算出する構成であるので、図７には、図４に示す第２特性増幅率算出部５４に対応する増幅率算出部は図示していない。また、上記評価値に
ついては、画面（フレーム）全体での平均値のみならず、画素の空間的配置に基づいた加重平均値やヒストグラム等に基づいた画素値の分散等であってもよい。
【００３５】
対数特性用ノイズキャンセル部５２１は、同様に、Ａ／Ｄ変換部４によりデジタル信号に変換されて入力されてきた対数特性撮像信号における固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去（キャンセル）するものである。この場合のＦＰＮは、画素
３１１にて発生する画素毎に異なる対数特性が開始される閾値のばらつきである。特性変換部５２２は、対数特性用ノイズキャンセル部５２１によりＦＰＮが除去された対数特性撮像信号（線形特性データ）の特性を、該対数特性から線形特性に変換する、すなわち対数特性から線形特性へ変換するものである。この特性変換は、特性変換部５２２内に予め記憶しておいたＬＵＴ（Look Up Table）を用いて行う。このＬＵＴ（変換特性）は、線
形特性撮像信号の増幅率すなわち増幅率算出部５４１で算出された線形特性増幅率に応じて変更される（撮像センサ３においてこの線形特性増幅率を用いて増幅され出力された線形特性撮像信号に基づいて変更されるとも言える）。この場合例えば、特性変換部５２２内に、各線形特性増幅率に対応する各種ＬＵＴの情報が記憶されており、増幅率算出部５４１から与えられた線形増幅率の値に応じてこれら各種ＬＵＴから該当するＬＵＴが選択される、という構成であってもよい。なお、この実施形態の場合、対数特性の撮像信号に対しては増幅処理（増幅率制御）を行わないが、このときアンプ３６４（図５）或いは第２増幅器３７２では増幅率が「１」の増幅を行っていると考えてもよい。この場合、例えば特性変換部５２２からアンプ３６４或いは第２増幅器３７２に対して当該増幅率が「１」となるような増幅率制御信号（対数特性増幅率）を送信する構成としてもよい。
【００３６】
選択部５５１は、評価値算出部５１２から出力された線形特性撮像信号と、特性変換部５２２から出力された特性変換後の線形特性撮像信号とから、線形特性撮像信号のレベル（信号レベル）に応じて撮像信号を選択する（選択した撮像信号同士を合体させる、或いは線形特性画像データと対数特性画像データとを選択的に合成する）ものである。当該選択された撮像信号は後段の処理部へ出力される。比較部５５２は、例えば主制御部６により与えられた所定の変曲点レベルと、評価値算出部５１２から出力された線形特性撮像信号（後述のグラフの傾き；或いは評価値）とを比較し、この比較結果より得られた変曲点位置（後述の変曲点レベルと変曲点照度とで決まる座標位置）の情報を選択部５５１に与えるものである。この図８に示される変曲点レベルは、線形特性撮像信号及び対数特性撮像信号つまりセンサ出力の飽和レベル以下であればいずれのレベルであってもよい（後述の図１４、図１５についても同様）。
【００３７】
このような構成を備えることにより、本実施形態のデジタルカメラ１における撮像信号の増幅率は、線形特性撮像信号の増幅率と対数特性撮像信号の増幅率とを互いに異なる値で制御（設定）することが可能であり、特に、線形特性撮像信号の増幅率に関しては、線形特性撮像信号のみから得られる評価値（平均値）に基づいて制御可能となっている。
【００３８】
図８は、上記選択部５５１における選択処理について説明するためのグラフ図である。図８において、符号６０１で示す撮像信号（図８の原点から飽和レベルまでの範囲）は、増幅率算出部５４１により算出された或る線形特性増幅率を用いて撮像センサ３のアンプ３５４で増幅され、線形特性用ノイズキャンセル部５１１及び評価値算出部５１２を経て選択部５５１まで送信されてきた線形特性撮像信号（線形特性撮像信号６０１）である。一方、符号６０２で示す撮像信号（原点から飽和レベルまでの範囲）は、線形特性撮像信号６０１の場合の線形特性増幅率よりも増幅率が大きい線形特性増幅率を用いてアンプ３５４で増幅され、同じく線形特性用ノイズキャンセル部５１１及び評価値算出部５１２を経て選択部５５１まで送信されてきた線形特性撮像信号（線形特性撮像信号６０２）である。ところで、撮像センサ３のセンサ面照度に対する撮像信号レベル、すなわち被写体輝度の入力に対する出力度合いのことを、デジタルカメラ１の“感度”（ＩＳＯ感度に相当
）とすると、上記増幅率（線形特性増幅率）が違うことから、線形特性撮像信号６０１は低感度時の線形特性撮像信号、線形特性撮像信号６０２は高感度時の線形特性撮像信号であると言える。なお、低感度時の線形特性増幅率を低感度増幅率、高感度時の線形特性増幅率を高感度増幅率と表現する。また、図中の飽和レベルとは、撮像センサ３（線形特性撮像信号）の出力が飽和するレベル（例えば撮像センサ３の出力レベルの最大値）である（撮像センサ３の飽和レベルであって画像処理の飽和レベルではない）。符号６０３で示す撮像信号は、撮像センサ３（アンプ３６４）から出力され、対数特性用ノイズキャンセル部５２１を経て、特性変換部５２２まで送信されてきた対数特性撮像信号（対数特性撮像信号６０３）を示している。
【００３９】
また、図８に示す変曲点レベルは、上記比較部５５２に与えられるレベル（出力レベル情報）であり、飽和レベル以下のレベルとして与えられる。ただし、図９に示すように、線形特性での露光時には、この変曲点（変曲点レベル）がセンサ出力の飽和レベル以上となるように撮像センサ３の動作が制御される（これにより出力信号が全て線形特性となる）。また、対数特性での露光時には、この変曲点がセンサ出力の最低レベル以下となるように撮像センサ３の動作が制御される（これにより出力信号が全て対数特性となる）。
【００４０】
対数特性撮像信号６０３は、特性変換部５２２において、線形特性増幅率（増幅率算出部５４１から与えられる）の大きさに応じた線形特性撮像信号（増幅率に応じたグラフ上の傾きを有する線形特性）に特性変換される。すなわち、対数特性撮像信号６０３が上記高感度増幅率に応じて特性変換されたものが線形特性撮像信号６０４（これを変換後線形特性撮像信号６０４という）、対数特性撮像信号６０３が上記低感度増幅率に応じて特性変換されたものが変換後線形特性撮像信号６０５である。
【００４１】
選択部５５１は、撮像信号の出力レベルが変曲点レベル以下までは線形特性で撮像された撮像信号を選択し、変曲点レベルよりも高いレベル（出力値）は対数特性で撮像された撮像信号を選択する。すなわち、上記低感度時には、変曲点レベル以下で線形特性撮像信号６０１、変曲点レベルより高いレベルで変換後線形特性撮像信号６０５となるように選択する。換言すれば、低感度時には、変曲点レベル（低感度時変曲点照度）を境として、線形特性撮像信号６０１と、変換後線形特性撮像信号６０５における変曲点レベルからＤＲの最大値までの撮像信号６０５１とが選択される。同様に、高感度時には、線形特性撮像信号６０２と変換後線形特性撮像信号６０４とが選択される、すなわち、変曲点レベル（高感度時変曲点照度）を境として、線形特性撮像信号６０２と、変換後線形特性撮像信号６０４における変曲点レベルからＤＲの最大値までの撮像信号６０４１とが選択される。当該選択された各特性の撮像信号はこの選択部５５１で合成されて１つの画像として出力される（画像生成（画像合成）される）。ただし、撮像照度に関しての線形、対数特性の切り替わりレベルである上記変曲点照度は、線形特性撮像信号の増幅率によって異なり、高感度時（高増幅率時）は、低感度時（低増幅率時）よりも低い照度にて線形特性から対数特性に変化する。
【００４２】
上記構成により、少なくとも低輝度側を撮像する光電変換特性（線形特性）の増幅率を、該低輝度側の光電変換特性の撮像信号のみから得た評価値を用いて算出し、この増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみに対してすなわち例えばここでは低輝度側の光電変換特性の撮像信号に対してのみ増幅処理が行われる。この増幅した線形特性の撮像信号とこれ以外の増幅していない光電変換特性つまり対数特性の撮像信号とを上述のように選択部５５１で合成することで、撮像ＤＲを変化させることなく撮像感度制御する（感度アップする）ことが可能となる。また、Ａ／Ｄ変換部４の前段部における撮像センサ３において増幅させるので、つまりＡ／Ｄ変換部４で発生するノイズを含んでいないアナログ撮像信号に対する増幅処理（アナログ増幅）が可能であるので、ＳＮ比が高くなる（ＳＮ比が高い状態で、ＤＲが維持された撮像感度制御が行える）。因みに、上記低輝度側の光電変換特性（線形特性）の撮像信号に対する増幅処理を行う（感度アップを行う）のは、画像（上記画像生成により得られる画像）における暗い画像部分すなわち低輝度の画像部分をより良く見せようとする（より階調性を高めようとする）ことによる。
【００４３】
（実施形態２）
上記第１の実施形態は、各特性の画像信号それぞれに対する個別の画像処理を、図４に示す撮像センサ３及び画像処理部５の構成を用いて行うものであったが、第２の実施形態では、図１０に示す撮像センサ３ａ及び画像処理部５ａの構成を利用して行う。図４の場合は、第１及び第２特性撮像信号をそれぞれに対応する出力端子（第１増幅器３７１及び第２増幅器３７２）から個別に出力する構成であったが、図１０の場合では第１及び第２特性撮像信号を時間的に異なるタイミングで同一の出力端子（増幅器３７３）から出力する構成を備えている。すなわち、撮像センサ３ａにおいて、図４に示す第１及び第２増幅率制御部３８１、３８２の代わりに増幅率制御部３８３を、第１増幅器３７１及び第２増幅器３７２の代わりに増幅器３７３を備え、また、画像処理部５ａにおいて切替部５６を備えている。
【００４４】
増幅器３７３は、画素部３１から出力された第１特性撮像信号と第２特性撮像信号とに対して所定のアナログゲインをかけて増幅し、これら撮像信号を画像処理部５ａへ出力する。画像処理部５ａでは、この第１及び第２特性撮像信号を受けて第１及び第２特性用画像処理部５１、５２にて特性毎の画像処理を行い、この画像処理の結果を用いて合成部５５により所定の合成処理を行うとともに、画像処理時の処理パラメータ（評価値）を用いて第１及び第２特性増幅率算出部５３、５４にて第１及び第２特性増幅率を算出する（これら処理は画像処理部５の場合と同様）。算出された第１及び第２特性増幅率の情報は切替部５６へ送信される。切替部５６は、第１特性増幅率の信号と第２特性増幅率の信号とを切り替えて増幅率制御部３８３へ送信する。増幅率制御部３８３では、送信された第１特性増幅率の情報に基づいて第１特性撮像信号に対する増幅動作を制御するとともに、第２特性増幅率の情報に基づいて第２特性撮像信号に対する増幅動作を制御する。
【００４５】
本実施形態では、上記図１０に示す構成を用いて、線形特性及び対数特性の撮像信号を用いた感度制御（感度補正）処理を行う。図１１は、第１の実施形態における図５の構成に対する本実施形態の構成を示すものである。撮像センサ３ａは、図５に示す撮像センサ３と比べて、メイン制御部３８０ａ、水平走査部３３０ａ及び増幅器３７３が異なる。メイン制御部３８０ａは図１０に示す増幅率制御部３８３を含む制御部である。水平走査部３３０ａは、画素部３１から線形特性及び対数特性の撮像信号を読み出すものである。撮像センサ３ａは、１フレームごとに線形、対数特性の露光を行い、これら特性の撮像信号を上述したように同一の出力端子（増幅器３７３）から出力する（線形特性について１フレーム、対数特性について１フレームの合計２フレームに亘って露光を行い、これらの撮像信号を出力する）。画素部３１での光電変換により得られた撮像信号は、垂直走査部３２０によって水平１ライン分の撮像信号（水平１ラインの画素行における各画素３１１の画素信号）が特性毎に水平走査部３３０ａに出力されて保持される。当該水平走査部３３０ａに保持された各特性の撮像信号は画素毎に増幅器３７３（アンプ）にて増幅処理されて出力される。ただし、この増幅器３７３の増幅率はフレーム毎に変化可能な構成となっている。なお、増幅器３７３の増幅率は上記外部からの制御信号に基づいてセンサ制御部３８０ａにより設定される。また、センサ制御部３８０ａは、外部からの制御信号に呼応して、増幅器３７３の増幅処理を制御するとともに、画素部３１、垂直走査部３２０、及び水平走査部３３０ａの各種動作を制御する。
【００４６】
ここで、本実施形態における上記水平１ライン毎の各光電変換特性での露光及び撮像信号の出力（読み出し）についてのタイミングを図１２に示す。例えば水平３ライン分につ
いて説明すると、先ず、或る水平１ライン（ラインＬ１）において、線形特性での露光が開始され、所定露光時間が終了すると、この線形特性での露光により得られた撮像信号（線形特性撮像信号）が水平走査部３３０ａへ出力されて保持される（読み出される）（ｔ１１〜ｔ１２）。この水平走査部３３０ａに保存されたラインＬ１の線形特性撮像信号は、増幅器３７３にて所定の増幅率にて増幅処理されて出力される（ｔ１２〜ｔ１３）。ラインＬ２、ラインＬ３も同様に、露光及び読み出し制御が行われ、上記ラインＬ１の線形特性撮像信号の出力に続いて順にラインＬ２、ラインＬ３の線形特性撮像信号が出力される（線形特性撮像信号の出力が、ラインＬ１のｔ１２〜ｔ１３、ライン２のｔ１３〜ｔ１４、ライン３のｔ１４〜ｔ１６と連続的に出力される）。
【００４７】
ラインＬ１〜Ｌ３における線形特性の露光が終了すると、次に、ライン１での対数特性での露光が開始され、線形特性の場合と同様、この露光により得られた対数特性撮像信号の水平走査部３３０ａへの出力、保持が行われて（ｔ１５〜ｔ１６）、増幅器３７３にて所定の増幅率にて増幅処理されて出力される（ｔ１６〜ｔ１８）。ラインＬ２、ラインＬ３も同様に、露光及び読み出し制御が行われ、上記ラインＬ１の対数特性撮像信号の出力に続いて順にラインＬ２、ラインＬ３の対数特性撮像信号が出力される（対数特性撮像信号の出力が、ラインＬ１のｔ１６〜ｔ１８、ライン２のｔ１８〜ｔ２０、ライン３のｔ２０〜ｔ２１と連続的に出力される）。このように、ライン毎の線形特性での露光、出力動作が、画素部３１の全水平ライン（全画素行）に亘って行われる。
【００４８】
図１３は、図１０に示す構成を利用して各特性の撮像信号を用いた感度制御（感度補正）処理を行う場合の、画像処理部５ａにおける主にこの感度制御に関する機能部についてのブロック構成図である。画像処理部５ａは画像処理部５と比べて主にメモリ５１３を備えていることが異なる。すなわち、画像処理部５ａは、フレーム毎に線形特性撮像信号と対数特性撮像信号とが交互に入力されるため、当該フレーム毎に入力される各特性の撮像信号に応じて処理を変更する。線形特性撮像信号の入力時には、線形特性用ノイズキャンセル部５１１にてノイズ除去を行い、評価値算出部５１２及び増幅率算出部５４１にて評価値に基づいて線形特性増幅率を算出するとともに、この線形特性撮像信号をメモリ５１３に記憶する。対数特性撮像信号の入力時には、このメモリ５１３に記憶しておいた線形特性撮像信号を読み出し、読み出したこの線形特性撮像信号と、対数特性用ノイズキャンセル部５２１及び特性変換部５２２を経て送信されてきたノイズ除去及び特性変換がなされた対数特性撮像信号と、が選択部５５１に入力され、選択部５５１において、これら線形特性撮像信号及び対数特性撮像信号から、線形特性撮像信号のレベルに応じて撮像信号が選択される。なお、本実施形態における選択部５５１での選択処理は、第１の実施形態における選択部５５１の場合（上記図８で説明した選択方法）と同じである。
【００４９】
本実施形態の場合も同様、上記構成を有するデジタルカメラ１における撮像信号の増幅率は、線形特性撮像信号の増幅率と対数特性撮像信号の増幅率とを互いに異なる値で制御（設定）することが可能であり、特に、線形特性撮像信号の増幅率に関しては、線形特性撮像信号のみから得られる評価値（平均値）に基づいて制御可能となっている。
【００５０】
ところで、上記各実施形態では、低輝度側が線形特性、高輝度側が対数特性の光電変換特性を有するリニアログセンサ（撮像センサ３（３ａ））を用いたが、これに限らず、例えば低輝度側及び高輝度側共に線形特性である光電変換特性、つまりグラフ上の傾きが互いに異なる（露光時間等が異なる）第１線形特性及び第２線形特性からなる光電変換特性を有したセンサ（リニアリニアセンサ）を用いてもよい。ただし、第１及び第２線形特性はそれぞれ上記線形特性及び対数特性に相当し、第１線形特性の方が第２線形特性よりも傾きが大きいものとする。この場合、第２線形特性の方が第1の線形特性での撮像よりも
低感度（露光時間が短い）状態で撮影されている、すなわち、第１線形特性は「高感度（長時間露光）線形光電変換特性」、第２線形特性は「低感度（短時間露光）線形光電変換
特性」である。
【００５１】
図１４に示すように、上記第１線形特性に対応する撮像信号が第１線形特性撮像信号７０１及び第１線形特性撮像信号７０２であり、上記第２線形特性に対応する撮像信号が第２線形特性撮像信号７０３である。また、第２線形特性撮像信号７０３が低感度増幅率に応じて特性変換されたものが変換後線形特性撮像信号７０４、第２線形特性撮像信号７０３が高感度増幅率に応じて特性変換されたものが変換後線形特性撮像信号７０５である。
【００５２】
この場合、図８と同様、低感度時には、変曲点レベル（低感度時変曲点照度）を境として、第１線形特性撮像信号７０１と、変換後線形特性撮像信号７０５における変曲点レベルからＤＲの最大値までの撮像信号７０５１とが選択される。同様に、高感度時には、変曲点レベル（高感度時変曲点照度）を境として、第１線形特性撮像信号７０２と、変換後線形特性撮像信号７０４における変曲点レベルからＤＲの最大値までの撮像信号７０４１とが選択される。選択された各撮像信号は選択部５５１で合成されて出力される。この場合も、少なくとも低輝度側を撮像する光電変換特性（第１線形特性）の増幅率を、該低輝度側の光電変換特性の撮像信号のみから得た評価値を用いて算出し、この増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみに対してすなわち例えばここでは低輝度側の光電変換特性の撮像信号に対してのみ増幅処理を行えばよい。
【００５３】
以上のように、本実施形態の撮像装置（デジタルカメラ１）によれば、撮像装置が、２つ以上の異なる光電変換特性を有し、該各光電変換特性の撮像信号を個別に出力可能に構成された撮像素子（撮像センサ３、３ａ）と、各光電変換特性の撮像信号を増幅する増幅手段（第１及び第２増幅器３７１、３７２、増幅器３７３、アンプ３５４、３６４）と、増幅手段の増幅率を制御する増幅率制御手段（第１及び第２特性用画像処理部５１、５２、第１及び第２特性増幅率算出部５３、５４）と、増幅手段により増幅された各光電変換特性の撮像信号を合成して画像を生成する画像生成手段（合成部５５、選択部５５１及び比較部５５２）とを備えたものとされ、増幅率制御手段によって、各光電変換特性の撮像信号に対する増幅率が該各光電変換特性の撮像信号に基づいて算出され、該算出された増幅率を用いて光電変換特性毎に増幅率制御が行われる。したがって、各光電変換特性の撮像信号の増幅率を個別に（互いに異なる値で）設定する、すなわち異なる光電変換特性の撮像信号それぞれに対して別々に（分離して）増幅処理することが可能となるため、例えば対数特性よりも感度が高い線形特性の撮像信号のみから得られる評価値に基づいて該線形特性撮像信号の増幅率を制御する、つまり線形特性の撮像信号のみに対して増幅処理を行うといった増幅率制御が行えるようになり、当該増幅した光電変換特性（線形特性）の撮像信号とこれ以外の増幅していない光電変換特性の撮像信号とを画像生成手段により合成して画像を生成するようにすることで、ＤＲを変化させることなく撮像感度制御（感度補正）することが可能となる。
【００５４】
また、上記増幅率制御手段によって、２つ以上の異なる光電変換特性における少なくとも最も感度が高い光電変換特性の撮像信号の増幅率を用いて増幅率制御が行われるので、当該増幅した最高感度の光電変換特性の撮像信号とこれ以外の増幅していない光電変換特性の撮像信号とを合成して画像を生成するなどにより、ＤＲを変化させることなく撮像感度制御を行うことが容易且つ確実に行えるようになる。
【００５５】
また、上記撮像素子の異なる光電変換特性は線形特性及び対数特性であるので、上記最高感度の光電変換特性として線形特性の撮像信号を増幅し、一方の増幅していない対数特性の撮像信号と合成することなどにより、当該線形／対数特性を有する固体撮像素子（リニアログセンサ）を用いた場合において、ＤＲを変化させることなく撮像感度制御を行うことができる。
【００５６】
また、上記増幅率制御手段によって、線形特性の撮像信号に対する増幅率が該線形特性の撮像信号に基づいて算出され、該算出された増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみの増幅率が制御されるので、この画像生成後に最も低輝度の画像を表す撮像信号すなわち例えば線形特性の撮像信号とこれ以外の増幅していない光電変換特性つまり対数特性の撮像信号とを合成して画像を生成するようにすることで、ＤＲを変化させることなく撮像感度制御することが可能となる。
【００５７】
また、上記撮像素子の異なる光電変換特性は互いに感度が異なる２つ以上の線形特性であるので、上記最高感度である線形特性の撮像信号を増幅し、その他の増幅していない線形特性の撮像信号と合成することなどにより、当該感度が異なる２つ以上の線形特性を有する固体撮像素子を用いた場合において、ＤＲを変化させることなく撮像感度制御を行うことができる。
【００５８】
また、上記増幅率制御手段によって、２つ以上の線形特性のうちの最も高い感度を有する高感度線形特性の撮像信号に対する増幅率が該高感度線形特性の撮像信号に基づいて算出され、該算出された増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみの増幅率が制御されるので、当該増幅された画像生成後に最も低輝度の画像を表す撮像信号すなわち例えば高感度線形特性の撮像信号と、これ以外の増幅していない線形特性の撮像信号とを合成して画像を生成するようにすることで、ＤＲを変化させることなく撮像感度制御することが可能となる。なお、異なる光電変換特性がいずれも線形特性であるので、例えば各特性の撮像信号を合成して画像を生成するに際して対数特性を線形特性に変換するといった処理が不要となり、ひいてはＤＲを変化させることなく撮像感度制御することが容易に行えるようになる。
【００５９】
さらに、画像生成手段によって、増幅率制御された特性の第１撮像信号と、増幅率制御された特性以外の特性の撮像信号が前記算出した増幅率に応じてデータ変換されてなる第２撮像信号とから、所定信号レベル以下の第１撮像信号と該信号レベルより高いレベルの第２撮像信号とが選択され、該選択された第１及び第２撮像信号が合成されて画像が生成されるので、所定信号レベルを各光電変換特性の変曲点レベルとするなどして、ＤＲを変化させることなく各特性の撮像信号を合成して画像生成することを容易に行えるようになる。なお、本発明は、以下の態様をとることができる。
【００６０】
（Ａ）上記各実施形態では、増幅（感度アップ）をアナログ処理（第１及び第２増幅器３７１、３７２或いは増幅器３７３）にて行っているが、デジタル処理（例えば画像処理部５内のデジタルデータによる処理）にて行ってもよい。この場合、ＳＮ比は、Ａ／Ｄ変換部で発生するノイズを含まない撮像信号によるアナログ処理に比較して劣化する可能性があるものの、当該アナログ増幅するためのアナログ増幅器やこの増幅率を制御する増幅率制御部等を備える必要がなくなるため、構成の簡略化を図ることができる。
【００６１】
（Ｂ）上記各実施形態では、２つの異なる光電変換特性（線形特性／対数特性、或いは第１線形特性／第２線形特性）であったが、３つ以上の異なる光電変換特性であってもよい。この場合、図１５に示すように、例えば３種類の光電変換特性の撮像信号、つまり第１線形特性撮像信号８０１、第２線形特性撮像信号８０２及び第３線形特性撮像信号８０３に対する選択部５５での選択動作を行ってもよい。具体的には、これら３つの撮像信号８０１〜８０３のうちの最も感度が高い撮像信号の感度を制御する（増幅率を変化させる）とともに、残り２つの撮像信号をこの感度制御した撮像信号の増幅率（グラフ上の傾き）と一致させるようにデータ変換（ＬＵＴ変換；特性変換）し、これら撮像信号に対する選択動作を行う。
【００６２】
第１線形特性撮像信号８０４は、上記３つのうちの最も感度の高い第１線形特性撮像信
号８０１の増幅率を変化させてさらに感度を高めたものである。変換後線形特性撮像信号８０６は、第２線形特性撮像信号８０２及び第３線形特性撮像信号８０３それぞれが第１線形特性撮像信号８０１の線形増幅率に応じて特性変換されてなる撮像信号である。また、変換後線形特性撮像信号８０５は、第２線形特性撮像信号８０２及び第３線形特性撮像信号８０３それぞれが、第１線形特性撮像信号８０４の線形増幅率に応じて特性変換されてなる撮像信号である。
【００６３】
この場合も同様に、低感度時には、変曲点レベル（低感度時変曲点照度）を境として、第１線形特性撮像信号８０１と、変換後線形特性撮像信号８０６における変曲点レベルからＤＲの最大値までの撮像信号とが選択される。高感度時には、変曲点レベル（高感度時変曲点照度）を境として、第１線形特性撮像信号８０４と、変換後線形特性撮像信号８０５における変曲点レベルからＤＲの最大値までの撮像信号とが選択される。選択された各撮像信号は選択部５５１で合成されて出力される。なお、これを上記第１の実施形態に適用した場合、当該３つの光電変換特性に対応して水平走査部或いは増幅器が３つ必要となり、一方、第２の実施形態に適用した場合、３フレームに亘って異なる特性での露光及び撮像信号の出力が行われる構成が必要となる。また、異なる光電変換特性が４つ以上の場合も同様、最高感度の光電変換特性の撮像信号に対してのみ増幅率を変化させ、残りの光電変換特性はこの最高感度の光電変換特性の増幅率に応じてデータ変換し、これら撮像信号に対する選択動作を行うようにすればよい。
【００６４】
（Ｃ）３つ以上の異なる光電変換特性、例えば上記変形態様（Ｂ）に示すように３種類の線形特性すなわち第１〜第３線形特性（図１５参照）で撮像し、所定の増幅率算出部で算出した線形増幅率を用いて、画像生成後に最も高輝度の画像を表す撮像信号（最も感度が低い第３線形特性撮像信号）以外の撮像信号（低輝度側の２つの線形特性撮像信号；第３線形特性撮像信号よりも感度が高い第１線形特性撮像信号及び第２線形特性撮像信号）の増幅率を制御する構成であってもよい。ただし、この場合、線形増幅率は、第１線形特性撮像信号及び／又は第２線形特性撮像信号に基づいて算出される。また、この場合、第３線形特性撮像信号は、上記と同様、これら増幅率制御がなされる第１線形特性撮像信号及び第２線形特性撮像信号それぞれの増幅率と一致するようにデータ変換される。
【００６５】
このように、上記増幅率制御手段によって、各光電変換特性の撮像信号に基づいて算出された各光電変換特性の撮像信号に対する増幅率を用いて、画像生成後に最も高輝度の画像を表す撮像信号以外の撮像信号の増幅率が制御されるので、当該増幅された画像生成後に最も高輝度の画像を表す撮像信号以外の撮像信号（低輝度側の撮像信号）と、これ以外の増幅されていない撮像信号（最も高輝度或いは最も低感度の撮像信号）とを合成して画像を生成するようにすることで、ＤＲを変化させることなく撮像感度制御することが可能となる。
【００６６】
（Ｄ）上記各実施形態では増幅器が撮像センサ３（３ａ）内に設けられているが、撮像センサ３の外部に設けられていてもよい。また、上記各実施形態ではＡ／Ｄ変換部４が撮像センサ３の外部に設けられているが、撮像センサ３内（例えば垂直出力回路３５０、３６０内）に設けられていてもよい。
【符号の説明】
【００６７】
１ デジタルカメラ（撮像装置）
３、３ａ 撮像センサ（撮像素子）
３１ 画素部
３１１ 画素
３２ 垂直走査回路
３３ 第１水平走査回路
３４ 第２水平走査回路
３５ 第１読出し回路
３６ 第２読出し回路
３３０ 第１水平走査部
３４０ 第２水平走査部
３３０ａ 水平走査部
３５０、３６０ 垂直出力回路
３５４、３６４ アンプ（増幅手段）
３７１ 第１増幅器（増幅手段）
３７２ 第２増幅器（増幅手段）
３７３ 増幅器（増幅手段）
３８０、３８０ａ センサ制御部
３８３ 増幅率制御部
４ Ａ／Ｄ変換部
５、５ａ 画像処理部
５１ 第１特性用画像処理部（増幅率制御手段）
５２ 第２特性用画像処理部（増幅率制御手段）
５３ 第１特性増幅率算出部（増幅率制御手段）
５４ 第２特性増幅率算出部（増幅率制御手段）
５５ 合成部（画像生成手段）
５１２ 評価値算出部（増幅率制御手段）
５１３ メモリ
５２２ 特性変換部
５４１ 増幅率算出部（増幅率制御手段）
５５１ 選択部（画像生成手段）
５５２ 比較部（画像生成手段）
６ 主制御部
【技術分野】
【０００１】
本発明は、線形特性と対数特性との異なる光電変換特性を有する撮像センサを用いた撮像装置であって、特に、この撮像センサによる各特性の撮像信号に対する感度制御処理が可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジ（ＤＲ）を拡大させることが１つの大きなテーマとなっている。このＤＲの拡大化に関し、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性との異なる光電変換特性を有する撮像センサが知られている（この撮像センサのことを「リニアログセンサ」という）。この撮像センサによって、低輝度側では線形特性の撮像信号が、高輝度側では対数特性の撮像信号が出力される。ところで、一般的に、銀塩カメラでの撮影画像に対する各種補正処理の１つとして感度補正（ＩＳＯ感度補正）がある。デジタルカメラにおいてこの感度補正を行う場合、例えば撮像の感度を上げる（感度アップする）に際して、線形特性の撮像信号に対しては乗算処理を、対数特性の撮像信号に対しては加算処理を行う（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３５２８０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、アナログ信号状態で感度アップしようとするとダイナミックレンジが変化してしまうという問題がある。
【０００５】
本発明は、上記問題に鑑みてなされたもので、ダイナミックレンジを変化させることなく撮像感度制御（感度補正）を行うことが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、線形特性と対数特性との異なる光電変換特性を有し、該各光電変換特性の撮像信号を個別にアナログ信号で出力可能に構成された撮像素子と、前記撮像素子から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段により変換されたデジタル信号のうち、前記線形特性の撮像信号に対応するデジタル信号が入力され、入力されたデジタル信号における前記線形特性での撮像に特有の固定パターンノイズを除去する線形特性用ノイズキャンセル手段と、前記Ａ／Ｄ変換手段により変換されたデジタル信号のうち、前記対数特性の撮像信号に対応するデジタル信号が入力され、入力されたデジタル信号における前記対数特性での撮像に特有の固定パターンノイズを除去する対数特性用ノイズキャンセル手段と、前記線形特性用ノイズキャンセル手段によって前記線形特性での撮像に特有の固定パターンノイズが除去された撮像信号と前記対数特性用ノイズキャンセル手段によって前記対数特性での撮像に特有の固定パターンノイズが除去された撮像信号とを合成して画像を生成する画像生成手段とを備えることを特徴とする。
【０００７】
また、上記構成において、前記各光電変換特性の撮像信号を増幅する増幅手段と、前記増幅手段における前記各光電変換特性の撮像信号に対する増幅率を前記光電変換特性毎に個別に制御する増幅率制御手段とを更に備えるようにしてもよい。
【０００８】
上記構成によれば、撮像装置が、線形特性と対数特性との異なる光電変換特性を有し、該各光電変換特性の撮像信号を個別にアナログ信号で出力可能に構成された撮像素子と、各光電変換特性の撮像信号を増幅する増幅手段と、増幅手段における各光電変換特性の撮像信号に対する増幅率を光電変換特性毎に個別に制御する増幅率制御手段と、増幅手段により増幅された各光電変換特性の撮像信号を合成して画像を生成する画像生成手段とを備えたものとされ、増幅率制御手段によって算出された増幅率を用いて光電変換特性毎に増幅率制御が行われる。したがって、各光電変換特性の撮像信号の増幅率を個別に（互いに異なる値で）設定する、すなわち異なる光電変換特性の撮像信号それぞれに対して別々に（分離して）増幅処理することが可能となるため、例えば対数特性よりも感度が高い線形特性の撮像信号のみから得られる評価値に基づいて該線形特性の撮像信号の増幅率を制御する、つまり線形特性の撮像信号のみに対して増幅処理を行うといった増幅率制御が行えるようになり、当該増幅した光電変換特性（線形特性）の撮像信号とこれ以外の増幅していない対数特性の撮像信号とを画像生成手段により合成して画像を生成するようにすることで、ダイナミックレンジを変化させることなく撮像感度制御（感度補正）することが可能となる。
【０００９】
また、上記構成において、前記増幅率制御手段は、前記線形特性の撮像信号に対する増幅率を該線形特性の撮像信号に基づいて算出し、該算出した増幅率を用いて、前記画像生成後に前記線形特性の撮像信号のみの増幅率を制御するようにしてもよい。
【００１０】
これによれば、増幅率制御手段によって、線形特性の撮像信号に対する増幅率が該線形特性の撮像信号に基づいて算出され、該算出された増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみの増幅率が制御されるので、この画像生成後に最も低輝度の画像を表す撮像信号すなわち例えば線形特性の撮像信号とこれ以外の増幅していない光電変換特性つまり対数特性の撮像信号とを合成して画像を生成するようにすることで、ダイナミックレンジを変化させることなく撮像感度制御することが可能となる。
【００１１】
また、上記構成において、前記画像生成手段は、前記増幅率が制御された前記線形特性の撮像信号である第１撮像信号と、前記対数特性の撮像信号が前記増幅率制御手段によって算出した前記増幅率に応じてデータ変換されてなる第２撮像信号とから、所定信号レベル以下の前記第１撮像信号と該信号レベルより高いレベルの第２撮像信号とを選択し、該選択した第１及び第２撮像信号を合成して画像を生成することを特徴とする。
【００１２】
これによれば、画像生成手段によって、増幅率制御された特性の第１撮像信号と、増幅率制御された特性以外の特性の撮像信号が前記算出した増幅率に応じてデータ変換されてなる第２撮像信号とから、所定信号レベル以下の第１撮像信号と該信号レベルより高いレベルの第２撮像信号とが選択され、該選択された第１及び第２撮像信号が合成されて画像が生成されるので、所定信号レベルを各光電変換特性の変曲点レベルとするなどして、ダイナミックレンジを変化させることなく各特性の撮像信号を合成して画像生成することを容易に行えるようになる。
【発明の効果】
【００１３】
本発明の撮像装置によれば、ダイナミックレンジを変化させることなく撮像感度制御（感度補正）する（ダイナミックレンジを維持した状態で撮像信号の感度をアップさせる）ことが可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関する概略的なブロック構成図である。
【図２】上記デジタルカメラに用いられる撮像センサの光電変換特性の一例を示すグラフ図である。
【図３】上記撮像センサの回路構成の一例を示す図である。
【図４】上記デジタルカメラの撮像センサ及び画像処理部の一例を示す機能ブロック図である。
【図５】異なる光電変換特性が線形特性及び対数特性であるの場合の上記撮像センサの機能ブロック図である。
【図６】上記線形特性及び対数特性での露光及び撮像信号出力のタイミングを説明するための模式図である。
【図７】異なる光電変換特性が線形特性及び対数特性であるの場合の上記画像処理部の機能ブロック図である。
【図８】上記図７に示す画像処理部（選択部）における各特性の撮像信号に対する選択動作について説明するためのグラフ図である。
【図９】線形特性及び対数特性での露光時における変曲点レベルの位置について説明するためのグラフ図である。
【図１０】第２の実施形態におけるデジタルカメラの撮像センサ及び画像処理部の一例を示す機能ブロック図である。
【図１１】異なる光電変換特性が線形特性及び対数特性であるの場合の上記図１０に示す撮像センサの機能ブロック図である。
【図１２】第２の実施形態における上記線形特性及び対数特性での露光及び撮像信号出力のタイミングを説明するための模式図である。
【図１３】異なる光電変換特性が線形特性及び対数特性であるの場合の上記図１０に示す画像処理部の機能ブロック図である。
【図１４】第１及び第２の実施形態の変形態様であって、光電変換特性が２つの異なる線形特性（第１線形特性／第２線形特性）からなる場合の上記画像処理部（選択部）における各特性の撮像信号に対する選択動作について説明するためのグラフ図である。
【図１５】第１及び第２の実施形態の変形態様であって、光電変換特性が３つ以上の異なる線形特性からなる場合の上記画像処理部（選択部）における各特性の撮像信号に対する選択動作について説明するためのグラフ図である。
【発明を実施するための形態】
【００１５】
（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に
関する概略的なブロック構成図を示している。デジタルカメラ１は、レンズ部２、撮像センサ３、Ａ／Ｄ変換部４、画像処理部５及び制御部６を備えている。レンズ部２は、被写体光を撮像センサ３へ導くための光学レンズ系を構成するものである。レンズ部２には、透過光量を調節するための絞りやシャッタ（いずれも図示省略）を備えており、制御部６によってこれらの駆動制御がなされる。
【００１６】
撮像センサ３は、レンズ部２により導かれた被写体光の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換して出力するものである。本実施形態においては、撮像センサ３として、図２に示すような、センサ面照度（センサ入射輝度）が低い場合（暗時）に電気信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ面照度が高い場合（明時）に電気信号が対数的に変換（対数圧縮）されて出力される対数特性領域とからなる光電変換特性、換言すれば低輝度側が線形特性、高輝度側が対数特性の光電変換特性を有する対数変換型固体撮像素子が用いられる。この光電変換特性の線形特性と対数特性との切り替り点（変曲点；Ｖｔｈ）は、撮像センサ３の各画素回路に対する所定の制御信号により任意に制御可能とされている。
【００１７】
撮像センサ３は、例えばフォトダイオード等の光電変換素子やＰ型（又はＮ型）のＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）、或いはＦＤ（Floating Diffusion）等を画素回路内に備える複数の画素が、マトリクス（行列）状に配置さ
れたＭＯＳ型固体撮像素子であり、所謂Ｘ−ＹアドレスタイプのＣＭＯＳイメージセンサである。撮像センサ３は、この構成において、例えば上記ＭＯＳＦＥＴにおける転送トランジスタの転送ゲート電位やリセットトランジスタのリセットゲート電位等を変化させることで、ＦＤから線形特性を有する画素信号（線形特性出力）、及び対数特性を有する画素信号（対数特性出力）を出力する。なお、これに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。
【００１８】
撮像センサ３は、具体的には例えば図３に示す回路構成を有している。すなわち、撮像センサ３は、画素部３１、垂直走査回路３２、第１水平走査回路３３、第２水平走査回路３４、第１読出し回路３５及び第２読出し回路３６を備えている。画素部３１は、複数の画素３１１（ピクセル）を備え、被写体光像の光量に応じて上記線形特性及び対数特性の画像信号に光電変換して出力するものである。この画素部３１は、ゲートに負荷電圧（信号ＶＤ）が印加されて所謂電子負荷として機能する負荷トランジスタＱａを有した負荷回路３１２を備えている。
【００１９】
垂直走査回路３２は、画素部３１の各画素３１１（全画素行）に対する垂直走査を行う垂直シフトレジスタであって、各行選択信号線３１３を順次走査する。第１水平走査回路３３及び第２水平走査回路３４はそれぞれ、各画素３１１に対する水平走査（列選択動作）を行う水平シフトレジスタであって、各垂直信号線３１４（列選択信号線；出力信号線）を順次走査する。ただし、第１水平走査回路３３は各画素３１１からの線形特性出力に対する水平走査を行い、一方、第２水平走査回路３４は各画素３１１からの対数特性出力（対数圧縮特性出力）に対する水平走査を行う。
【００２０】
第１読出し回路３５は、垂直走査回路３２により走査された画素行の各画素３１１から垂直信号線３１４に導出された線形特性出力による画像信号を、第１水平走査回路３３による水平走査に従って画素毎に順次読み出すための回路である。第２読出し回路３６は、同様に垂直信号線３１４に導出された対数特性出力による画像信号を、第２水平走査回路３４による水平走査に従って画素毎に順次読み出すための回路である。このように、本実施形態では、各画素３１１の光電変換特性における異なる特性毎の、すなわち線形特性出力及び対数特性出力それぞれに対応した専用（個別）の読出し回路を備えている。これら第１及び第２読出し回路３５、３６はそれぞれ、当該線形特性出力及び対数特性出力によ
る画像信号とノイズ信号とをサンプルホールド（サンプリング）する所謂サンプルホールド回路として機能する。
【００２１】
すなわち、第１読出し回路３５は、シグナルサンプルホールド用スイッチＳａ１及びシグナルサンプルホールド容量Ｃａ１からなるシグナルサンプルホールド回路３５１と、ノイズサンプルホールド用スイッチＳａ２及びノイズサンプルホールド容量Ｃａ２からなるノイズサンプルホールド回路３５２とを有する線形特性出力用のサンプルホールド回路３５３を備え、入力されたアナログ信号としてのシグナル（画像信号）及びノイズ（ノイズ信号）をサンプリング（標本化）し、この値を一時的に保持する。同様に、第２読出し回路３６は、シグナルサンプルホールド用スイッチＳｂ１及びシグナルサンプルホールド容量Ｃｂ１からなるシグナルサンプルホールド回路３６１と、ノイズサンプルホールド用スイッチＳｂ２及びノイズサンプルホールド容量Ｃｂ２からなるノイズサンプルホールド回路３６２とを有する対数特性出力用のサンプルホールド回路３６３を備え、シグナル及びノイズをサンプルホールドする。
【００２２】
また、第１及び第２読出し回路３５、３６はそれぞれ、アンプ３５４、３６４（アナログ増幅部；差動アンプ）を備えており、これら各アンプによって、各画素３１１の感度バラツキによるノイズ成分を除去するとともに、各画素３１１の信号をアナログの状態で増幅するつまりアナログゲインをかけて増幅する。アンプ３５４、３６４においてノイズ除去及びゲイン調整された線形特性及び対数特性の画像データ（画像信号）は、後段の処理部（Ａ／Ｄ変換部４）に送信される。なお、サンプルホールド回路３５３（３６３）における１つのシグナルサンプルホールド回路３５１（３６１）及びノイズサンプルホールド回路３５２（３６２）からなる回路のことを垂直出力回路３５０（３６０）と表現する。
【００２３】
Ａ／Ｄ変換部４は、撮像センサ３内のアンプ３５４、３６４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するものである。画像処理部５は、Ａ／Ｄ変換部４から入力された各特性の画像信号に対する各種画像処理（デジタル信号処理）を行うものである。主制御部６は、各制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する（中央演算処理装置：ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。主制御部６は、画像処理部５での画像信号から得られる画像の評価結果に基づいて、撮像センサ３の撮像動作を制御したり、その他の画像処理パラメータを制御する。
【００２４】
ところで、本実施形態のデジタルカメラ１は、特性が異なる光電変換特性での撮像により得られた各特性の画像信号それぞれに対して個別の画像処理を行うことが可能に構成されている。図４は、この構成に関する、撮像センサ３及び画像処理部５における機能ブロック図である。同図に示すように撮像センサ３は、画素部３１、画素部３１に接続された第１増幅器３７１及び第２増幅器３７２、並びに第１増幅率制御部３８１及び第２増幅率制御部３８２を備えている。また、画像処理部５は、第１特性用画像処理部５１、第２特性用画像処理部５２、第１特性増幅率算出部５３、第２特性増幅率算出部５４及び合成部５５を備えている。ここでは当該異なる光電変換特性が２種類であるとし、それぞれ第１特性、第２特性と表現する。
【００２５】
第１増幅器３７１及び第２増幅器３７２はそれぞれ、画素部３１による各特性の画像信号すなわち第１特性撮像信号及び第２特性撮像信号に対して所定のアナログゲインをかけて増幅した後、これら撮像信号を画像処理部５へ出力するものである。ただし、これら撮像信号は図略のＡ／Ｄ変換部４によりアナログ信号からデジタル信号に変換されたものが画像処理部５へ入力される。第１及び第２特性用画像処理部５１、５２はそれぞれ、第１及び第２特性撮像信号に対して個別の画像処理を行うものである。第１特性増幅率算出部
５３は、第１特性用画像処理部５１における処理パラメータ（評価値）に基づいて、第１特性用の増幅率（第１特性増幅率）を算出するものである。算出された第１特性増幅率は制御信号として第１増幅率制御部３８１に送信される。第２特性増幅率算出部５４は、第２特性用画像処理部５２における処理パラメータに基づいて、第２特性用の増幅率（第２特性増幅率）を算出するものである。同様に、この第２特性増幅率は制御信号として第２増幅率制御部３８２に送信される。また、撮像センサ３における第１及び第２増幅率制御部３８１、３８２はそれぞれ、画像処理部５からの上記第１及び第２特性増幅率の情報に基づいて、第１増幅器３７１及び第２増幅器３７２の増幅動作を制御するものである。また、合成部５５は、第１及び第２特性用画像処理部５１、５２により各種画像処理が施された第１及び第２特性の各画像データに対する所定の合成処理を行うものである。合成処理後の合成画像は後段の処理部へ出力される。
【００２６】
このように、撮像センサ３及び画像処理部５は、撮像センサ３から各特性の撮像信号（アナログ信号）を出力し、画像処理部５でこれら撮像信号（デジタル信号）を受けて所定の画像処理及び各特性画像の合成処理を行うとともに、各特性用の増幅率を算出してこの増幅率情報を撮像センサ３にフィードバックし、撮像センサ３において、この増幅率情報を基に各特性の撮像信号を増幅（アナログ増幅）するという、撮像信号のアナログ増幅に関する所謂ループ制御が可能な構成を備えている。
【００２７】
第１の実施形態では、図４に示す構成を利用して、撮像センサ３により得られた線形特性及び対数特性の撮像信号を用いた感度制御（感度補正）処理を行う。これについて以下に詳述する。図５は、この感度制御に関し、図４に示す撮像センサ３を図３に示す実際の撮像センサ３の構成と対応させて示した撮像センサ３のブロック構成図である。この図５に示す撮像センサ３は、図３に示す上記画素部３１、上記垂直走査回路３２に相当する垂直走査部３２０、第１水平走査回路３３及び第１読出し回路３５（アンプ３５４は含まない）に相当する第１水平走査部３３０、第２水平走査回路３４及び第２読出し回路３６に相当する第２水平走査部３４０（アンプ３６４は含まない）、アンプ３５４及び３６４、並びに、図４に示す第１及び第２増幅率制御部３８１及び３８２を含むセンサ制御部３８０を備えている。
【００２８】
本実施形態における撮像センサ３は、画素部３１（全画素３１１）における画素行（水平１ライン）ごとに線形特性及び対数特性の露光を行い、これら特性での撮像信号を、各特性毎に異なる出力回路（読出し回路或いは出力端子（アンプ３５４、３６４））から出力する。撮像センサ３は、外部からすなわち画像処理部５或いは主制御部６からの制御信号（第１及び第２増幅率（増幅率制御信号）、タイミング信号等）に呼応して撮像動作を行い、各特性の撮像信号を出力する。画素部３１での光電変換により得られた撮像信号は、垂直走査部３２０によって水平１ライン分の撮像信号（水平１ラインの画素行における各画素３１１の画素信号）が特性毎に第１水平走査部３３０又は第２水平走査部３４０に出力され、これら水平走査部にて保持される。第１及び第２水平走査部３３０、３４０に保持された各特性の撮像信号は画素毎にアンプ３５４、３６４にて増幅処理され、アンプ３５４からは、上記第１特性撮像信号に相当する線形特性撮像信号が、アンプ３６４からは、上記第２特性撮像信号に相当する対数特性撮像信号が出力される。なお、アンプ３５４、３６４それぞれの増幅率は、上記外部からの制御信号に基づいてセンサ制御部３８０により設定される。また、センサ制御部３８０は、上記外部からの制御信号に呼応して、アンプ３５４、３６４の増幅処理を制御するとともに、画素部３１の光電変換動作、垂直走査部３２０の垂直走査動作、及び第１及び第２水平走査部３３０、３４０の水平走査動作を制御する。
【００２９】
ここで、上記水平１ライン毎における各光電変換特性での露光及び撮像信号の出力（読み出し）についてのタイミングを図６に示す。例えば水平３ライン分について説明すると
、先ず、或る水平１ライン（ラインＬ１）において、線形特性での露光が開始され、所定露光時間が終了すると、この線形特性での露光により得られた撮像信号が第１水平走査部３３０へ出力されて保持される（ｔ１〜ｔ３；時刻ｔ１からｔ３までの間の時間）。次に、対数特性での露光が開始され、所定露光時間が終了すると、この対数特性での露光により得られた撮像信号が第２水平走査部３４０へ出力されて保持される（ｔ３〜ｔ４）。その後、第１水平走査部３３０及び第２水平走査部３４０から、各特性の撮像信号がそれぞれ読み出される、すなわちアンプ３５４、３６４により所定の増幅率で増幅処理されて出力される（ｔ４〜ｔ６）。次の水平１ライン（ラインＬ２）、さらに次の水平１ライン（ラインＬ３）も同様に、露光及び読み出し制御が行われ、上記ラインＬ１の撮像信号出力に続いて順にラインＬ２、ラインＬ３の撮像信号が出力される（ラインＬ１の撮像信号出力時間ｔ４〜ｔ６に続いてライン２のｔ６〜ｔ８、ライン３のｔ８〜ｔ９と連続的に出力される）。このように、ライン毎の線形特性及び対数特性の露光、出力動作が、画素部３１の全水平ライン（全画素行）に亘って行われる。
【００３０】
図７は、上記図５に示す撮像センサ３と同様、図４に示す構成を利用して各特性の撮像信号を用いた感度制御（感度補正）処理を行う場合の、画像処理部５における主にこの感度制御に関する機能部についてのブロック構成図である。同図に示すように、画像処理部５は、線形特性用ノイズキャンセル部５１１、評価値算出部５１２、対数特性用ノイズキャンセル部５２１、特性変換部５２２、増幅率算出部５４１、選択部５５１及び比較部５５２を備えている。ただし、線形特性用ノイズキャンセル部５１１及び評価値算出部５１２は、図４の画像処理部５に示す第１特性用画像処理部５１に相当し、増幅率算出部５４１は第１特性増幅率算出部５３に相当し、対数特性用ノイズキャンセル部５２１及び特性変換部５２２は第２特性用画像処理部５２に相当し、選択部５５１及び比較部５５２は合成部５５に相当する。
【００３１】
線形特性用ノイズキャンセル部５１１は、Ａ／Ｄ変換部４によりデジタル信号に変換されて入力されてきた線形特性撮像信号における、つまり線形特性での撮像に特有の固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去（キャンセル）するものである。
この場合のＦＰＮは、画素３１１にて発生する画素毎に異なる暗電流のばらつき（オフセットばらつき）である。
【００３２】
評価値算出部５１２は、線形特性用ノイズキャンセル部５１１によりＦＰＮが除去された線形特性撮像信号であって、撮像１画面（１フレーム）に亘っての全体の線形特性撮像信号（線形特性データ）から所定の評価値を算出するものである。ここでは評価値として線形特性データ全体の平均値を算出する。算出した評価値は増幅率算出部５４１に出力される。ただし、評価値については当該画面全体の平均値（加算平均）のみならず、例えば主被写体領域での平均値や最大、最小値、或いは、画素の空間的配置に基づいた加重平均値やヒストグラム等に基づいた画素値の分散等、種々の値が採用可能である。
【００３３】
増幅率算出部５４１は、入力された評価値（平均値）に基づいて線形特性撮像信号用の増幅率（線形特性増幅率）を算出するものである。この線形特性増幅率は、当該評価値と基準評価値との比較処理（除算処理）によって算出される。この基準評価値は増幅率算出部５４１内に予め記憶されている。
【００３４】
なお、本実施形態の撮像装置における撮像信号の増幅率は、線形特性撮像信号の増幅率と対数特性撮像信号の増幅率とを異なる値で設定することが可能であるが（図４参照）、特にここでの感度制御処理においては、線形特性撮像信号の増幅率が、同じ線形特性撮像信号から得られる評価値（平均値）に基づいて制御可変な構成となっている。すなわち線形特性撮像信号に対してのみ増幅率を算出する構成であるので、図７には、図４に示す第２特性増幅率算出部５４に対応する増幅率算出部は図示していない。また、上記評価値に
ついては、画面（フレーム）全体での平均値のみならず、画素の空間的配置に基づいた加重平均値やヒストグラム等に基づいた画素値の分散等であってもよい。
【００３５】
対数特性用ノイズキャンセル部５２１は、同様に、Ａ／Ｄ変換部４によりデジタル信号に変換されて入力されてきた対数特性撮像信号における固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去（キャンセル）するものである。この場合のＦＰＮは、画素
３１１にて発生する画素毎に異なる対数特性が開始される閾値のばらつきである。特性変換部５２２は、対数特性用ノイズキャンセル部５２１によりＦＰＮが除去された対数特性撮像信号（線形特性データ）の特性を、該対数特性から線形特性に変換する、すなわち対数特性から線形特性へ変換するものである。この特性変換は、特性変換部５２２内に予め記憶しておいたＬＵＴ（Look Up Table）を用いて行う。このＬＵＴ（変換特性）は、線
形特性撮像信号の増幅率すなわち増幅率算出部５４１で算出された線形特性増幅率に応じて変更される（撮像センサ３においてこの線形特性増幅率を用いて増幅され出力された線形特性撮像信号に基づいて変更されるとも言える）。この場合例えば、特性変換部５２２内に、各線形特性増幅率に対応する各種ＬＵＴの情報が記憶されており、増幅率算出部５４１から与えられた線形増幅率の値に応じてこれら各種ＬＵＴから該当するＬＵＴが選択される、という構成であってもよい。なお、この実施形態の場合、対数特性の撮像信号に対しては増幅処理（増幅率制御）を行わないが、このときアンプ３６４（図５）或いは第２増幅器３７２では増幅率が「１」の増幅を行っていると考えてもよい。この場合、例えば特性変換部５２２からアンプ３６４或いは第２増幅器３７２に対して当該増幅率が「１」となるような増幅率制御信号（対数特性増幅率）を送信する構成としてもよい。
【００３６】
選択部５５１は、評価値算出部５１２から出力された線形特性撮像信号と、特性変換部５２２から出力された特性変換後の線形特性撮像信号とから、線形特性撮像信号のレベル（信号レベル）に応じて撮像信号を選択する（選択した撮像信号同士を合体させる、或いは線形特性画像データと対数特性画像データとを選択的に合成する）ものである。当該選択された撮像信号は後段の処理部へ出力される。比較部５５２は、例えば主制御部６により与えられた所定の変曲点レベルと、評価値算出部５１２から出力された線形特性撮像信号（後述のグラフの傾き；或いは評価値）とを比較し、この比較結果より得られた変曲点位置（後述の変曲点レベルと変曲点照度とで決まる座標位置）の情報を選択部５５１に与えるものである。この図８に示される変曲点レベルは、線形特性撮像信号及び対数特性撮像信号つまりセンサ出力の飽和レベル以下であればいずれのレベルであってもよい（後述の図１４、図１５についても同様）。
【００３７】
このような構成を備えることにより、本実施形態のデジタルカメラ１における撮像信号の増幅率は、線形特性撮像信号の増幅率と対数特性撮像信号の増幅率とを互いに異なる値で制御（設定）することが可能であり、特に、線形特性撮像信号の増幅率に関しては、線形特性撮像信号のみから得られる評価値（平均値）に基づいて制御可能となっている。
【００３８】
図８は、上記選択部５５１における選択処理について説明するためのグラフ図である。図８において、符号６０１で示す撮像信号（図８の原点から飽和レベルまでの範囲）は、増幅率算出部５４１により算出された或る線形特性増幅率を用いて撮像センサ３のアンプ３５４で増幅され、線形特性用ノイズキャンセル部５１１及び評価値算出部５１２を経て選択部５５１まで送信されてきた線形特性撮像信号（線形特性撮像信号６０１）である。一方、符号６０２で示す撮像信号（原点から飽和レベルまでの範囲）は、線形特性撮像信号６０１の場合の線形特性増幅率よりも増幅率が大きい線形特性増幅率を用いてアンプ３５４で増幅され、同じく線形特性用ノイズキャンセル部５１１及び評価値算出部５１２を経て選択部５５１まで送信されてきた線形特性撮像信号（線形特性撮像信号６０２）である。ところで、撮像センサ３のセンサ面照度に対する撮像信号レベル、すなわち被写体輝度の入力に対する出力度合いのことを、デジタルカメラ１の“感度”（ＩＳＯ感度に相当
）とすると、上記増幅率（線形特性増幅率）が違うことから、線形特性撮像信号６０１は低感度時の線形特性撮像信号、線形特性撮像信号６０２は高感度時の線形特性撮像信号であると言える。なお、低感度時の線形特性増幅率を低感度増幅率、高感度時の線形特性増幅率を高感度増幅率と表現する。また、図中の飽和レベルとは、撮像センサ３（線形特性撮像信号）の出力が飽和するレベル（例えば撮像センサ３の出力レベルの最大値）である（撮像センサ３の飽和レベルであって画像処理の飽和レベルではない）。符号６０３で示す撮像信号は、撮像センサ３（アンプ３６４）から出力され、対数特性用ノイズキャンセル部５２１を経て、特性変換部５２２まで送信されてきた対数特性撮像信号（対数特性撮像信号６０３）を示している。
【００３９】
また、図８に示す変曲点レベルは、上記比較部５５２に与えられるレベル（出力レベル情報）であり、飽和レベル以下のレベルとして与えられる。ただし、図９に示すように、線形特性での露光時には、この変曲点（変曲点レベル）がセンサ出力の飽和レベル以上となるように撮像センサ３の動作が制御される（これにより出力信号が全て線形特性となる）。また、対数特性での露光時には、この変曲点がセンサ出力の最低レベル以下となるように撮像センサ３の動作が制御される（これにより出力信号が全て対数特性となる）。
【００４０】
対数特性撮像信号６０３は、特性変換部５２２において、線形特性増幅率（増幅率算出部５４１から与えられる）の大きさに応じた線形特性撮像信号（増幅率に応じたグラフ上の傾きを有する線形特性）に特性変換される。すなわち、対数特性撮像信号６０３が上記高感度増幅率に応じて特性変換されたものが線形特性撮像信号６０４（これを変換後線形特性撮像信号６０４という）、対数特性撮像信号６０３が上記低感度増幅率に応じて特性変換されたものが変換後線形特性撮像信号６０５である。
【００４１】
選択部５５１は、撮像信号の出力レベルが変曲点レベル以下までは線形特性で撮像された撮像信号を選択し、変曲点レベルよりも高いレベル（出力値）は対数特性で撮像された撮像信号を選択する。すなわち、上記低感度時には、変曲点レベル以下で線形特性撮像信号６０１、変曲点レベルより高いレベルで変換後線形特性撮像信号６０５となるように選択する。換言すれば、低感度時には、変曲点レベル（低感度時変曲点照度）を境として、線形特性撮像信号６０１と、変換後線形特性撮像信号６０５における変曲点レベルからＤＲの最大値までの撮像信号６０５１とが選択される。同様に、高感度時には、線形特性撮像信号６０２と変換後線形特性撮像信号６０４とが選択される、すなわち、変曲点レベル（高感度時変曲点照度）を境として、線形特性撮像信号６０２と、変換後線形特性撮像信号６０４における変曲点レベルからＤＲの最大値までの撮像信号６０４１とが選択される。当該選択された各特性の撮像信号はこの選択部５５１で合成されて１つの画像として出力される（画像生成（画像合成）される）。ただし、撮像照度に関しての線形、対数特性の切り替わりレベルである上記変曲点照度は、線形特性撮像信号の増幅率によって異なり、高感度時（高増幅率時）は、低感度時（低増幅率時）よりも低い照度にて線形特性から対数特性に変化する。
【００４２】
上記構成により、少なくとも低輝度側を撮像する光電変換特性（線形特性）の増幅率を、該低輝度側の光電変換特性の撮像信号のみから得た評価値を用いて算出し、この増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみに対してすなわち例えばここでは低輝度側の光電変換特性の撮像信号に対してのみ増幅処理が行われる。この増幅した線形特性の撮像信号とこれ以外の増幅していない光電変換特性つまり対数特性の撮像信号とを上述のように選択部５５１で合成することで、撮像ＤＲを変化させることなく撮像感度制御する（感度アップする）ことが可能となる。また、Ａ／Ｄ変換部４の前段部における撮像センサ３において増幅させるので、つまりＡ／Ｄ変換部４で発生するノイズを含んでいないアナログ撮像信号に対する増幅処理（アナログ増幅）が可能であるので、ＳＮ比が高くなる（ＳＮ比が高い状態で、ＤＲが維持された撮像感度制御が行える）。因みに、上記低輝度側の光電変換特性（線形特性）の撮像信号に対する増幅処理を行う（感度アップを行う）のは、画像（上記画像生成により得られる画像）における暗い画像部分すなわち低輝度の画像部分をより良く見せようとする（より階調性を高めようとする）ことによる。
【００４３】
（実施形態２）
上記第１の実施形態は、各特性の画像信号それぞれに対する個別の画像処理を、図４に示す撮像センサ３及び画像処理部５の構成を用いて行うものであったが、第２の実施形態では、図１０に示す撮像センサ３ａ及び画像処理部５ａの構成を利用して行う。図４の場合は、第１及び第２特性撮像信号をそれぞれに対応する出力端子（第１増幅器３７１及び第２増幅器３７２）から個別に出力する構成であったが、図１０の場合では第１及び第２特性撮像信号を時間的に異なるタイミングで同一の出力端子（増幅器３７３）から出力する構成を備えている。すなわち、撮像センサ３ａにおいて、図４に示す第１及び第２増幅率制御部３８１、３８２の代わりに増幅率制御部３８３を、第１増幅器３７１及び第２増幅器３７２の代わりに増幅器３７３を備え、また、画像処理部５ａにおいて切替部５６を備えている。
【００４４】
増幅器３７３は、画素部３１から出力された第１特性撮像信号と第２特性撮像信号とに対して所定のアナログゲインをかけて増幅し、これら撮像信号を画像処理部５ａへ出力する。画像処理部５ａでは、この第１及び第２特性撮像信号を受けて第１及び第２特性用画像処理部５１、５２にて特性毎の画像処理を行い、この画像処理の結果を用いて合成部５５により所定の合成処理を行うとともに、画像処理時の処理パラメータ（評価値）を用いて第１及び第２特性増幅率算出部５３、５４にて第１及び第２特性増幅率を算出する（これら処理は画像処理部５の場合と同様）。算出された第１及び第２特性増幅率の情報は切替部５６へ送信される。切替部５６は、第１特性増幅率の信号と第２特性増幅率の信号とを切り替えて増幅率制御部３８３へ送信する。増幅率制御部３８３では、送信された第１特性増幅率の情報に基づいて第１特性撮像信号に対する増幅動作を制御するとともに、第２特性増幅率の情報に基づいて第２特性撮像信号に対する増幅動作を制御する。
【００４５】
本実施形態では、上記図１０に示す構成を用いて、線形特性及び対数特性の撮像信号を用いた感度制御（感度補正）処理を行う。図１１は、第１の実施形態における図５の構成に対する本実施形態の構成を示すものである。撮像センサ３ａは、図５に示す撮像センサ３と比べて、メイン制御部３８０ａ、水平走査部３３０ａ及び増幅器３７３が異なる。メイン制御部３８０ａは図１０に示す増幅率制御部３８３を含む制御部である。水平走査部３３０ａは、画素部３１から線形特性及び対数特性の撮像信号を読み出すものである。撮像センサ３ａは、１フレームごとに線形、対数特性の露光を行い、これら特性の撮像信号を上述したように同一の出力端子（増幅器３７３）から出力する（線形特性について１フレーム、対数特性について１フレームの合計２フレームに亘って露光を行い、これらの撮像信号を出力する）。画素部３１での光電変換により得られた撮像信号は、垂直走査部３２０によって水平１ライン分の撮像信号（水平１ラインの画素行における各画素３１１の画素信号）が特性毎に水平走査部３３０ａに出力されて保持される。当該水平走査部３３０ａに保持された各特性の撮像信号は画素毎に増幅器３７３（アンプ）にて増幅処理されて出力される。ただし、この増幅器３７３の増幅率はフレーム毎に変化可能な構成となっている。なお、増幅器３７３の増幅率は上記外部からの制御信号に基づいてセンサ制御部３８０ａにより設定される。また、センサ制御部３８０ａは、外部からの制御信号に呼応して、増幅器３７３の増幅処理を制御するとともに、画素部３１、垂直走査部３２０、及び水平走査部３３０ａの各種動作を制御する。
【００４６】
ここで、本実施形態における上記水平１ライン毎の各光電変換特性での露光及び撮像信号の出力（読み出し）についてのタイミングを図１２に示す。例えば水平３ライン分につ
いて説明すると、先ず、或る水平１ライン（ラインＬ１）において、線形特性での露光が開始され、所定露光時間が終了すると、この線形特性での露光により得られた撮像信号（線形特性撮像信号）が水平走査部３３０ａへ出力されて保持される（読み出される）（ｔ１１〜ｔ１２）。この水平走査部３３０ａに保存されたラインＬ１の線形特性撮像信号は、増幅器３７３にて所定の増幅率にて増幅処理されて出力される（ｔ１２〜ｔ１３）。ラインＬ２、ラインＬ３も同様に、露光及び読み出し制御が行われ、上記ラインＬ１の線形特性撮像信号の出力に続いて順にラインＬ２、ラインＬ３の線形特性撮像信号が出力される（線形特性撮像信号の出力が、ラインＬ１のｔ１２〜ｔ１３、ライン２のｔ１３〜ｔ１４、ライン３のｔ１４〜ｔ１６と連続的に出力される）。
【００４７】
ラインＬ１〜Ｌ３における線形特性の露光が終了すると、次に、ライン１での対数特性での露光が開始され、線形特性の場合と同様、この露光により得られた対数特性撮像信号の水平走査部３３０ａへの出力、保持が行われて（ｔ１５〜ｔ１６）、増幅器３７３にて所定の増幅率にて増幅処理されて出力される（ｔ１６〜ｔ１８）。ラインＬ２、ラインＬ３も同様に、露光及び読み出し制御が行われ、上記ラインＬ１の対数特性撮像信号の出力に続いて順にラインＬ２、ラインＬ３の対数特性撮像信号が出力される（対数特性撮像信号の出力が、ラインＬ１のｔ１６〜ｔ１８、ライン２のｔ１８〜ｔ２０、ライン３のｔ２０〜ｔ２１と連続的に出力される）。このように、ライン毎の線形特性での露光、出力動作が、画素部３１の全水平ライン（全画素行）に亘って行われる。
【００４８】
図１３は、図１０に示す構成を利用して各特性の撮像信号を用いた感度制御（感度補正）処理を行う場合の、画像処理部５ａにおける主にこの感度制御に関する機能部についてのブロック構成図である。画像処理部５ａは画像処理部５と比べて主にメモリ５１３を備えていることが異なる。すなわち、画像処理部５ａは、フレーム毎に線形特性撮像信号と対数特性撮像信号とが交互に入力されるため、当該フレーム毎に入力される各特性の撮像信号に応じて処理を変更する。線形特性撮像信号の入力時には、線形特性用ノイズキャンセル部５１１にてノイズ除去を行い、評価値算出部５１２及び増幅率算出部５４１にて評価値に基づいて線形特性増幅率を算出するとともに、この線形特性撮像信号をメモリ５１３に記憶する。対数特性撮像信号の入力時には、このメモリ５１３に記憶しておいた線形特性撮像信号を読み出し、読み出したこの線形特性撮像信号と、対数特性用ノイズキャンセル部５２１及び特性変換部５２２を経て送信されてきたノイズ除去及び特性変換がなされた対数特性撮像信号と、が選択部５５１に入力され、選択部５５１において、これら線形特性撮像信号及び対数特性撮像信号から、線形特性撮像信号のレベルに応じて撮像信号が選択される。なお、本実施形態における選択部５５１での選択処理は、第１の実施形態における選択部５５１の場合（上記図８で説明した選択方法）と同じである。
【００４９】
本実施形態の場合も同様、上記構成を有するデジタルカメラ１における撮像信号の増幅率は、線形特性撮像信号の増幅率と対数特性撮像信号の増幅率とを互いに異なる値で制御（設定）することが可能であり、特に、線形特性撮像信号の増幅率に関しては、線形特性撮像信号のみから得られる評価値（平均値）に基づいて制御可能となっている。
【００５０】
ところで、上記各実施形態では、低輝度側が線形特性、高輝度側が対数特性の光電変換特性を有するリニアログセンサ（撮像センサ３（３ａ））を用いたが、これに限らず、例えば低輝度側及び高輝度側共に線形特性である光電変換特性、つまりグラフ上の傾きが互いに異なる（露光時間等が異なる）第１線形特性及び第２線形特性からなる光電変換特性を有したセンサ（リニアリニアセンサ）を用いてもよい。ただし、第１及び第２線形特性はそれぞれ上記線形特性及び対数特性に相当し、第１線形特性の方が第２線形特性よりも傾きが大きいものとする。この場合、第２線形特性の方が第1の線形特性での撮像よりも
低感度（露光時間が短い）状態で撮影されている、すなわち、第１線形特性は「高感度（長時間露光）線形光電変換特性」、第２線形特性は「低感度（短時間露光）線形光電変換
特性」である。
【００５１】
図１４に示すように、上記第１線形特性に対応する撮像信号が第１線形特性撮像信号７０１及び第１線形特性撮像信号７０２であり、上記第２線形特性に対応する撮像信号が第２線形特性撮像信号７０３である。また、第２線形特性撮像信号７０３が低感度増幅率に応じて特性変換されたものが変換後線形特性撮像信号７０４、第２線形特性撮像信号７０３が高感度増幅率に応じて特性変換されたものが変換後線形特性撮像信号７０５である。
【００５２】
この場合、図８と同様、低感度時には、変曲点レベル（低感度時変曲点照度）を境として、第１線形特性撮像信号７０１と、変換後線形特性撮像信号７０５における変曲点レベルからＤＲの最大値までの撮像信号７０５１とが選択される。同様に、高感度時には、変曲点レベル（高感度時変曲点照度）を境として、第１線形特性撮像信号７０２と、変換後線形特性撮像信号７０４における変曲点レベルからＤＲの最大値までの撮像信号７０４１とが選択される。選択された各撮像信号は選択部５５１で合成されて出力される。この場合も、少なくとも低輝度側を撮像する光電変換特性（第１線形特性）の増幅率を、該低輝度側の光電変換特性の撮像信号のみから得た評価値を用いて算出し、この増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみに対してすなわち例えばここでは低輝度側の光電変換特性の撮像信号に対してのみ増幅処理を行えばよい。
【００５３】
以上のように、本実施形態の撮像装置（デジタルカメラ１）によれば、撮像装置が、２つ以上の異なる光電変換特性を有し、該各光電変換特性の撮像信号を個別に出力可能に構成された撮像素子（撮像センサ３、３ａ）と、各光電変換特性の撮像信号を増幅する増幅手段（第１及び第２増幅器３７１、３７２、増幅器３７３、アンプ３５４、３６４）と、増幅手段の増幅率を制御する増幅率制御手段（第１及び第２特性用画像処理部５１、５２、第１及び第２特性増幅率算出部５３、５４）と、増幅手段により増幅された各光電変換特性の撮像信号を合成して画像を生成する画像生成手段（合成部５５、選択部５５１及び比較部５５２）とを備えたものとされ、増幅率制御手段によって、各光電変換特性の撮像信号に対する増幅率が該各光電変換特性の撮像信号に基づいて算出され、該算出された増幅率を用いて光電変換特性毎に増幅率制御が行われる。したがって、各光電変換特性の撮像信号の増幅率を個別に（互いに異なる値で）設定する、すなわち異なる光電変換特性の撮像信号それぞれに対して別々に（分離して）増幅処理することが可能となるため、例えば対数特性よりも感度が高い線形特性の撮像信号のみから得られる評価値に基づいて該線形特性撮像信号の増幅率を制御する、つまり線形特性の撮像信号のみに対して増幅処理を行うといった増幅率制御が行えるようになり、当該増幅した光電変換特性（線形特性）の撮像信号とこれ以外の増幅していない光電変換特性の撮像信号とを画像生成手段により合成して画像を生成するようにすることで、ＤＲを変化させることなく撮像感度制御（感度補正）することが可能となる。
【００５４】
また、上記増幅率制御手段によって、２つ以上の異なる光電変換特性における少なくとも最も感度が高い光電変換特性の撮像信号の増幅率を用いて増幅率制御が行われるので、当該増幅した最高感度の光電変換特性の撮像信号とこれ以外の増幅していない光電変換特性の撮像信号とを合成して画像を生成するなどにより、ＤＲを変化させることなく撮像感度制御を行うことが容易且つ確実に行えるようになる。
【００５５】
また、上記撮像素子の異なる光電変換特性は線形特性及び対数特性であるので、上記最高感度の光電変換特性として線形特性の撮像信号を増幅し、一方の増幅していない対数特性の撮像信号と合成することなどにより、当該線形／対数特性を有する固体撮像素子（リニアログセンサ）を用いた場合において、ＤＲを変化させることなく撮像感度制御を行うことができる。
【００５６】
また、上記増幅率制御手段によって、線形特性の撮像信号に対する増幅率が該線形特性の撮像信号に基づいて算出され、該算出された増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみの増幅率が制御されるので、この画像生成後に最も低輝度の画像を表す撮像信号すなわち例えば線形特性の撮像信号とこれ以外の増幅していない光電変換特性つまり対数特性の撮像信号とを合成して画像を生成するようにすることで、ＤＲを変化させることなく撮像感度制御することが可能となる。
【００５７】
また、上記撮像素子の異なる光電変換特性は互いに感度が異なる２つ以上の線形特性であるので、上記最高感度である線形特性の撮像信号を増幅し、その他の増幅していない線形特性の撮像信号と合成することなどにより、当該感度が異なる２つ以上の線形特性を有する固体撮像素子を用いた場合において、ＤＲを変化させることなく撮像感度制御を行うことができる。
【００５８】
また、上記増幅率制御手段によって、２つ以上の線形特性のうちの最も高い感度を有する高感度線形特性の撮像信号に対する増幅率が該高感度線形特性の撮像信号に基づいて算出され、該算出された増幅率を用いて、画像生成後に最も低輝度の画像を表す撮像信号のみの増幅率が制御されるので、当該増幅された画像生成後に最も低輝度の画像を表す撮像信号すなわち例えば高感度線形特性の撮像信号と、これ以外の増幅していない線形特性の撮像信号とを合成して画像を生成するようにすることで、ＤＲを変化させることなく撮像感度制御することが可能となる。なお、異なる光電変換特性がいずれも線形特性であるので、例えば各特性の撮像信号を合成して画像を生成するに際して対数特性を線形特性に変換するといった処理が不要となり、ひいてはＤＲを変化させることなく撮像感度制御することが容易に行えるようになる。
【００５９】
さらに、画像生成手段によって、増幅率制御された特性の第１撮像信号と、増幅率制御された特性以外の特性の撮像信号が前記算出した増幅率に応じてデータ変換されてなる第２撮像信号とから、所定信号レベル以下の第１撮像信号と該信号レベルより高いレベルの第２撮像信号とが選択され、該選択された第１及び第２撮像信号が合成されて画像が生成されるので、所定信号レベルを各光電変換特性の変曲点レベルとするなどして、ＤＲを変化させることなく各特性の撮像信号を合成して画像生成することを容易に行えるようになる。なお、本発明は、以下の態様をとることができる。
【００６０】
（Ａ）上記各実施形態では、増幅（感度アップ）をアナログ処理（第１及び第２増幅器３７１、３７２或いは増幅器３７３）にて行っているが、デジタル処理（例えば画像処理部５内のデジタルデータによる処理）にて行ってもよい。この場合、ＳＮ比は、Ａ／Ｄ変換部で発生するノイズを含まない撮像信号によるアナログ処理に比較して劣化する可能性があるものの、当該アナログ増幅するためのアナログ増幅器やこの増幅率を制御する増幅率制御部等を備える必要がなくなるため、構成の簡略化を図ることができる。
【００６１】
（Ｂ）上記各実施形態では、２つの異なる光電変換特性（線形特性／対数特性、或いは第１線形特性／第２線形特性）であったが、３つ以上の異なる光電変換特性であってもよい。この場合、図１５に示すように、例えば３種類の光電変換特性の撮像信号、つまり第１線形特性撮像信号８０１、第２線形特性撮像信号８０２及び第３線形特性撮像信号８０３に対する選択部５５での選択動作を行ってもよい。具体的には、これら３つの撮像信号８０１〜８０３のうちの最も感度が高い撮像信号の感度を制御する（増幅率を変化させる）とともに、残り２つの撮像信号をこの感度制御した撮像信号の増幅率（グラフ上の傾き）と一致させるようにデータ変換（ＬＵＴ変換；特性変換）し、これら撮像信号に対する選択動作を行う。
【００６２】
第１線形特性撮像信号８０４は、上記３つのうちの最も感度の高い第１線形特性撮像信
号８０１の増幅率を変化させてさらに感度を高めたものである。変換後線形特性撮像信号８０６は、第２線形特性撮像信号８０２及び第３線形特性撮像信号８０３それぞれが第１線形特性撮像信号８０１の線形増幅率に応じて特性変換されてなる撮像信号である。また、変換後線形特性撮像信号８０５は、第２線形特性撮像信号８０２及び第３線形特性撮像信号８０３それぞれが、第１線形特性撮像信号８０４の線形増幅率に応じて特性変換されてなる撮像信号である。
【００６３】
この場合も同様に、低感度時には、変曲点レベル（低感度時変曲点照度）を境として、第１線形特性撮像信号８０１と、変換後線形特性撮像信号８０６における変曲点レベルからＤＲの最大値までの撮像信号とが選択される。高感度時には、変曲点レベル（高感度時変曲点照度）を境として、第１線形特性撮像信号８０４と、変換後線形特性撮像信号８０５における変曲点レベルからＤＲの最大値までの撮像信号とが選択される。選択された各撮像信号は選択部５５１で合成されて出力される。なお、これを上記第１の実施形態に適用した場合、当該３つの光電変換特性に対応して水平走査部或いは増幅器が３つ必要となり、一方、第２の実施形態に適用した場合、３フレームに亘って異なる特性での露光及び撮像信号の出力が行われる構成が必要となる。また、異なる光電変換特性が４つ以上の場合も同様、最高感度の光電変換特性の撮像信号に対してのみ増幅率を変化させ、残りの光電変換特性はこの最高感度の光電変換特性の増幅率に応じてデータ変換し、これら撮像信号に対する選択動作を行うようにすればよい。
【００６４】
（Ｃ）３つ以上の異なる光電変換特性、例えば上記変形態様（Ｂ）に示すように３種類の線形特性すなわち第１〜第３線形特性（図１５参照）で撮像し、所定の増幅率算出部で算出した線形増幅率を用いて、画像生成後に最も高輝度の画像を表す撮像信号（最も感度が低い第３線形特性撮像信号）以外の撮像信号（低輝度側の２つの線形特性撮像信号；第３線形特性撮像信号よりも感度が高い第１線形特性撮像信号及び第２線形特性撮像信号）の増幅率を制御する構成であってもよい。ただし、この場合、線形増幅率は、第１線形特性撮像信号及び／又は第２線形特性撮像信号に基づいて算出される。また、この場合、第３線形特性撮像信号は、上記と同様、これら増幅率制御がなされる第１線形特性撮像信号及び第２線形特性撮像信号それぞれの増幅率と一致するようにデータ変換される。
【００６５】
このように、上記増幅率制御手段によって、各光電変換特性の撮像信号に基づいて算出された各光電変換特性の撮像信号に対する増幅率を用いて、画像生成後に最も高輝度の画像を表す撮像信号以外の撮像信号の増幅率が制御されるので、当該増幅された画像生成後に最も高輝度の画像を表す撮像信号以外の撮像信号（低輝度側の撮像信号）と、これ以外の増幅されていない撮像信号（最も高輝度或いは最も低感度の撮像信号）とを合成して画像を生成するようにすることで、ＤＲを変化させることなく撮像感度制御することが可能となる。
【００６６】
（Ｄ）上記各実施形態では増幅器が撮像センサ３（３ａ）内に設けられているが、撮像センサ３の外部に設けられていてもよい。また、上記各実施形態ではＡ／Ｄ変換部４が撮像センサ３の外部に設けられているが、撮像センサ３内（例えば垂直出力回路３５０、３６０内）に設けられていてもよい。
【符号の説明】
【００６７】
１ デジタルカメラ（撮像装置）
３、３ａ 撮像センサ（撮像素子）
３１ 画素部
３１１ 画素
３２ 垂直走査回路
３３ 第１水平走査回路
３４ 第２水平走査回路
３５ 第１読出し回路
３６ 第２読出し回路
３３０ 第１水平走査部
３４０ 第２水平走査部
３３０ａ 水平走査部
３５０、３６０ 垂直出力回路
３５４、３６４ アンプ（増幅手段）
３７１ 第１増幅器（増幅手段）
３７２ 第２増幅器（増幅手段）
３７３ 増幅器（増幅手段）
３８０、３８０ａ センサ制御部
３８３ 増幅率制御部
４ Ａ／Ｄ変換部
５、５ａ 画像処理部
５１ 第１特性用画像処理部（増幅率制御手段）
５２ 第２特性用画像処理部（増幅率制御手段）
５３ 第１特性増幅率算出部（増幅率制御手段）
５４ 第２特性増幅率算出部（増幅率制御手段）
５５ 合成部（画像生成手段）
５１２ 評価値算出部（増幅率制御手段）
５１３ メモリ
５２２ 特性変換部
５４１ 増幅率算出部（増幅率制御手段）
５５１ 選択部（画像生成手段）
５５２ 比較部（画像生成手段）
６ 主制御部
【特許請求の範囲】
【請求項１】
線形特性と対数特性との異なる光電変換特性を有し、該各光電変換特性の撮像信号を個別にアナログ信号で出力可能に構成された撮像素子と、
前記撮像素子から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段により変換されたデジタル信号のうち、前記線形特性の撮像信号に対応するデジタル信号が入力され、入力されたデジタル信号における前記線形特性での撮像に特有の固定パターンノイズを除去する線形特性用ノイズキャンセル手段と、
前記Ａ／Ｄ変換手段により変換されたデジタル信号のうち、前記対数特性の撮像信号に対応するデジタル信号が入力され、入力されたデジタル信号における前記対数特性での撮像に特有の固定パターンノイズを除去する対数特性用ノイズキャンセル手段と、
前記線形特性用ノイズキャンセル手段によって前記線形特性での撮像に特有の固定パターンノイズが除去された撮像信号と前記対数特性用ノイズキャンセル手段によって前記対数特性での撮像に特有の固定パターンノイズが除去された撮像信号とを合成して画像を生成する画像生成手段とを備えることを特徴とする撮像装置。
【請求項２】
前記各光電変換特性の撮像信号を増幅する増幅手段と、
前記増幅手段における前記各光電変換特性の撮像信号に対する増幅率を前記光電変換特性毎に個別に制御する増幅率制御手段とを更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記増幅率制御手段は、
前記線形特性の撮像信号に対する増幅率を該線形特性の撮像信号に基づいて算出し、該算出した増幅率を用いて、前記画像生成後に前記線形特性の撮像信号のみの増幅率を制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像生成手段は、
前記増幅率が制御された前記線形特性の撮像信号である第１撮像信号と、前記対数特性の撮像信号が前記増幅率制御手段によって算出した前記増幅率に応じてデータ変換されてなる第２撮像信号とから、所定信号レベル以下の前記第１撮像信号と該信号レベルより高いレベルの第２撮像信号とを選択し、該選択した第１及び第２撮像信号を合成して画像を生成することを特徴とする請求項３に記載の撮像装置。
【請求項１】
線形特性と対数特性との異なる光電変換特性を有し、該各光電変換特性の撮像信号を個別にアナログ信号で出力可能に構成された撮像素子と、
前記撮像素子から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段により変換されたデジタル信号のうち、前記線形特性の撮像信号に対応するデジタル信号が入力され、入力されたデジタル信号における前記線形特性での撮像に特有の固定パターンノイズを除去する線形特性用ノイズキャンセル手段と、
前記Ａ／Ｄ変換手段により変換されたデジタル信号のうち、前記対数特性の撮像信号に対応するデジタル信号が入力され、入力されたデジタル信号における前記対数特性での撮像に特有の固定パターンノイズを除去する対数特性用ノイズキャンセル手段と、
前記線形特性用ノイズキャンセル手段によって前記線形特性での撮像に特有の固定パターンノイズが除去された撮像信号と前記対数特性用ノイズキャンセル手段によって前記対数特性での撮像に特有の固定パターンノイズが除去された撮像信号とを合成して画像を生成する画像生成手段とを備えることを特徴とする撮像装置。
【請求項２】
前記各光電変換特性の撮像信号を増幅する増幅手段と、
前記増幅手段における前記各光電変換特性の撮像信号に対する増幅率を前記光電変換特性毎に個別に制御する増幅率制御手段とを更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記増幅率制御手段は、
前記線形特性の撮像信号に対する増幅率を該線形特性の撮像信号に基づいて算出し、該算出した増幅率を用いて、前記画像生成後に前記線形特性の撮像信号のみの増幅率を制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像生成手段は、
前記増幅率が制御された前記線形特性の撮像信号である第１撮像信号と、前記対数特性の撮像信号が前記増幅率制御手段によって算出した前記増幅率に応じてデータ変換されてなる第２撮像信号とから、所定信号レベル以下の前記第１撮像信号と該信号レベルより高いレベルの第２撮像信号とを選択し、該選択した第１及び第２撮像信号を合成して画像を生成することを特徴とする請求項３に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２３５５３４（Ｐ２０１２−２３５５３４Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１２−１８４０９８（Ｐ２０１２−１８４０９８）
【出願日】平成２４年８月２３日（２０１２．８．２３）
【分割の表示】特願２００７−１０６３８８（Ｐ２００７−１０６３８８）の分割
【原出願日】平成１９年４月１３日（２００７．４．１３）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２４年８月２３日（２０１２．８．２３）
【分割の表示】特願２００７−１０６３８８（Ｐ２００７−１０６３８８）の分割
【原出願日】平成１９年４月１３日（２００７．４．１３）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]