固体撮像素子の信号処理回路、固体撮像素子の信号処理方法、及び、電子機器
【課題】ワイドダイナミックレンジ化を図るに当たって、被写体の持つ本来の輝度情報を階調性豊かに表現することを可能にする固体撮像素子の信号処理回路、信号処理方法、及び、当該信号処理回路を有する電子機器を提供する。
【解決手段】第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号処理に当たって、第１の画素群における着目画素の信号値をα倍し、第２の画素群の画素の信号値と合成する際に、着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行うようにする。
【解決手段】第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号処理に当たって、第１の画素群における着目画素の信号値をα倍し、第２の画素群の画素の信号値と合成する際に、着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行うようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、固体撮像素子の信号処理回路、固体撮像素子の信号処理方法、及び、電子機器に関する。
【背景技術】
【０００２】
固体撮像素子において、単位画素からは光電変換によって蓄積される電荷量に対してほぼ線形な出力信号が得られる。そして、固体撮像素子のダイナミックレンジは、単位画素が蓄積できる電荷量（飽和電荷量）とノイズレベルで一義的に決まる。すなわち、固体撮像素子の出力レベルの下限はノイズレベルで限定され、上限は飽和レベルで限定される。その結果、固体撮像素子のダイナミックレンジは、飽和電荷量とノイズレベルで一義的に決まる。
【０００３】
このダイナミックレンジの拡大を図る手法としては、長時間の電荷蓄積で撮像した、低輝度部分が比較的明瞭な画像と、短時間の電荷蓄積で撮像した、高輝度部分が比較的明瞭な画像とを合成する手法が広く用いられている。そして、ワイド（広）ダイナミックレンジ化を図るための従来技術の一つとして、露光時間の異なる複数の画像信号を入力し、当該入力信号に対して一義的に決まる値で重み付けする技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２６６３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１に記載の従来技術では、信号処理に必要なビット数を削減することを目的として、入力信号に対して一義的に決まる値で重み付けする手法を採っている。従って、被写体の持つ本来の輝度情報を階調性豊かに表現することは難しい。
【０００６】
そこで、本開示は、ワイドダイナミックレンジ化を図るに当たって、被写体の持つ本来の輝度情報を階調性豊かに表現することを可能にする固体撮像素子の信号処理回路、信号処理方法、及び、当該信号処理回路を有する電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本開示は、
第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号処理回路において、
前記第１の画素群における着目画素の信号値をα倍し、前記第２の画素群の画素の信号値と合成する際に、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う
構成を採っている。
【０００８】
第１の画素群の各画素は、電荷の蓄積時間が相対的に短い、あるいは、光感度が相対的に低い画素である。第２の画素群の各画素は、第１の画素群の各画素よりも蓄積時間がα倍長い、あるいは、光感度がα倍高い画素である。ワイドダイナミックレンジ化に当たっては、第１の画素群における着目画素の信号値をα倍し、第２の画素群の画素の信号値とを合成する訳であるが、その際に、着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う。この重み付けにより、第１の画素群の各画素が、第２の画素群の各画素との倍率差αに相当するステップの刻みとなる不自然な階調が緩和される。
【発明の効果】
【０００９】
本開示によれば、第１の画素群の各画素が、第２の画素群の各画素との倍率差αに相当するステップの刻みとなる不自然な階調が緩和されるため、被写体の持つ本来の輝度情報を階調性豊かに表現することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本開示の実施形態に係る信号処理回路を有する撮像装置の構成の一例を示すブロック図である。
【図２】ワイドダイナミックレンジ化のために長時間蓄積データと短時間蓄積データとを合成処理する際の概念を示す図である。
【図３】短時間蓄積データを１６倍したときに得られる信号値の例を示す図である。
【図４】短時間蓄積データに対して重み付け処理を行わないときの輝度レベルと出力イメージを示す図である。
【図５】本実施形態に係る重み付け処理を適用した場合の輝度レベルと出力イメージを示す図である。
【図６】実施例１に係る重み付け処理の場合の着目画素Ｂと当該着目画素Ｂに関連する画素Ａ，Ｃの関係を示す図である。
【図７】実施例１に係る重み付け処理を行った場合の輝度レベルと出力イメージを示す図である。
【図８】ノイズリダクションの技術を用いたときに得られる画素信号の信号値を示す図である。
【図９】図８の信号値を横方向にプロットしてグラフ化した図である。
【図１０】微細なエッジを含む被写体に対してノイズリダクションの技術を用いたときに得られる画素信号の信号値を示す図である。
【図１１】図１０の信号値を横方向にプロットしてグラフ化した図である。
【図１２】実施例１に係る重み付け処理を適用したときに得られる画素信号の信号値を示す図である。
【図１３】図１２の信号値を横方向にプロットしてグラフ化した図である。
【図１４】微細なエッジを含む被写体に対して実施例１に係る重み付け処理を適用したときに得られる画素信号の信号値を示す図である。
【図１５】図１４の信号値を横方向にプロットしてグラフ化した図である。
【図１６】実施例２に係る重み付け処理の場合の着目画素Ｅと当該着目画素Ｅに関連する画素Ｂ，Ｈ，Ｄ，Ｆの関係を示す図である。
【図１７】実施例３に係る重み付け処理における傾き変化による重み付けについて説明するための図である。
【図１８】実施例４に係る重み付け処理における時間的変化による重み付けについて説明するための図である。
【図１９】重み付け部の具体的な回路例を示すブロック図である。
【図２０】ＳＶＥ方式の場合の画素配列における長時間蓄積／短時間蓄積の各画素の配置関係の一例を示す図である。
【図２１】画素分割方式の場合の画素配列における長時間蓄積／短時間蓄積の各画素の配置関係の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の条件や数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の固体撮像素子の信号処理回路、信号処理方法、及び、電子機器、全般に関する説明
２．実施形態
２−１．実施例１（周辺画素として左右２つの隣接画素を用いる重み付け処理の例）
２−２．実施例２（周辺画素として上下左右４つの隣接画素を用いる重み付け処理の例）
２−３．実施例３（傾きの変化による重み付け処理の例）
２−４．実施例４（時間的変化による重み付け処理の例）
２−５．重み付け部の具体的な回路例
２−６．長時間蓄積／短時間蓄積の各画素の配置例
３．変形例／適用例
４．本開示の構成
【００１２】
＜１．本開示の固体撮像素子の信号処理回路、信号処理方法、及び、電子機器、全般に関する説明＞
本開示の信号処理回路または信号処理方法の処理の対象となる固体撮像素子としては、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサに代表されるＸＹアドレス型の撮像素子や、ＣＣＤ(Charge Coupled Device) イメージセンサに代表される電荷転送型の撮像素子などを例示することができる。本開示の信号処理回路は、固体撮像素子と同じ基板（チップ）上に集積した構成とすることもできるし、当該基板外に設けた構成とすることもできる。
【００１３】
固体撮像素子は、第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する。第１の画素群の各画素は、電荷の蓄積時間が相対的に短い、あるいは、光感度が相対的に低い画素である。第２の画素群の各画素は、第１の画素群の各画素よりも蓄積時間がα倍長い、あるいは、光感度がα倍高い画素である。以下では、説明の簡略化のために、第１の画素群の各画素を短時間蓄積画素と呼び、第２の画素群の各画素を長時間蓄積画素と呼ぶこととする。
【００１４】
本開示の信号処理回路または信号処理方法は、第１の画素群における着目画素の信号値をα倍し、第２の画素群の画素の信号値と合成することにより、固体撮像素子のワイドダイナミックレンジ化を図るための信号処理回路または信号処理方法である。そして、ワイドダイナミックレンジ化に当たって、着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行い、この重み付けした信号値と第２の画素群の画素の信号値とを合成することとする。
【００１５】
着目画素に関連する画素として、着目画素に対して位置的（座標的）に異なる当該着目画素の周辺画素を用いることができる。ここで、「着目画素に対して位置的に異なる周辺画素」とは、同じ画素行において着目画素と左右に隣接する画素、同じ画素列において着目画素と上下に隣接する画素、あるいは、着目画素に対して斜め方向に隣接する画素などである。
【００１６】
このとき、周辺画素としては、同じ画素行における着目画素の左右２画素、あいは、同じ画素列における着目画素の上下２画素に限られるものではない。すなわち、同じ画素行における着目画素の左側の複数画素、右側の複数画素を周辺画素として用いることもできるし、同じ画素例における着目画素の上側の複数画素、下側の複数画素を周辺画素として用いることもできる。
【００１７】
また、着目画素の周辺画素の信号値をそのまま用いて重み付けを行うのではなく、着目画素の例えば前後の隣接画素の傾向から重み付けを行うようにすることもできる。具体的には、前後の隣接画素の傾向、即ち、隣接画素の信号値の変化量の差分の傾向（傾き）から前後の隣接画素の信号値を推定し、当該推定値を用いて重み付けを行うようにすることができる。着目画素の前後の隣接画素の傾向を見るには、前後の隣接画素に対して座標的に連続な複数の画素の信号値を用いるようにすればよい。
【００１８】
あるいは又、着目画素に関連する画素として、着目画素に対して時間的に異なる当該着目画素と同一座標の画素を用いることができる。ここで、「着目画素に対して時間的に異なる同一座標の画素」とは、着目画素と異なる撮像フレームにおける着目画素と同一座標（同一位置）の画素（位置的（座標的）に同一の画素）である。
【００１９】
着目画素に関連する画素が、着目画素に対して位置的に異なる周辺画素である場合、あるいは、着目画素に対して時間的に異なる同一座標の画素である場合のいずれの場合にあっても、これらの画素は、着目画素と同一色の画素であるのが好ましい。但し、着目画素と異なる色の画素を排除するものではない。
【００２０】
着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行うに当たっては、好ましく、±（α／２）の範囲内の重み付け値（強度）にて重み付けを行うようにする、より好ましくは、±（α／４）の重み付け値にて重み付けを行うようにするのが望ましい。
【００２１】
重み付け処理を行うに当たっては、着目画素の信号値と、当該着目画素に関連する画素の信号値とを比較し、その比較結果に基づいて±（α／２）の範囲内で重み付け値を着目画素の信号値に加算または減算する処理とすることができる。このとき、着目画素に関連する画素の信号値が着目画素の信号値よりも大きい場合は加算を行い、小さい場合は減算を行う処理とすることができる。着目画素に関連する画素が当該着目画素の周辺画素であるときは、着目画素の信号値と複数の周辺画素の平均値とを比較するようにするのが好ましい。
【００２２】
また、重み付け処理について、着目画素の信号値と、当該着目画素に関連する画素の信号値との差分に対して複数のしきい値を設定し、当該複数のしきい値毎に異なる重み付け値を着目画素の信号値に加算または減算する処理とすることができる。
【００２３】
重み付け処理を行う重み付け部については、差分計算部、メモリ部、及び、加算／減算部を有する構成とすることができる。ここで、差分計算部は、着目画素に関連する画素の信号値と着目画素の信号値との差分値を求める。メモリ部は、着目画素に関連する画素の信号値と着目画素の信号値との差分値に対応した複数の重み付け値を予め格納する。加算／減算部は、メモリ部から差分計算部が求めた差分値に対応する重み付け値を得て着目画素の信号値に対して加算または減算する。
【００２４】
本開示の信号処理回路または信号処理方法は、デジタルスチルカメラやビデオカメラなどの撮像装置（カメラシステム）における撮像素子の信号処理回路または信号処理方法として用いることができる。また、本開示の信号処理回路または信号処理方法は、撮像装置への適用に限られるものではなく、携帯電話機などの撮像機能を有する携帯端末（携帯情報）装置や、複写機、ファクシミリ装置など、画像取込部（撮像部）に固体撮像素子を用いる電子機器全般に対して適用可能である。そして、画像取込部に固体撮像素子を用い、当該固体撮像素子の信号処理回路または信号処理方法として本開示の信号処理回路または信号処理方法を用いる電子機器が、本開示の電子機器ということになる。
【００２５】
＜２．実施形態＞
図１は、本開示の実施形態に係る信号処理回路を有する撮像装置の構成の一例を示すブロック図である。撮像装置としては、デジタルスチルカメラやビデオカメラなどを例示することができる。
【００２６】
図１において、撮像装置１は、撮像レンズ２１や絞り２２等を含む光学系２、固体撮像素子３、及び、本実施形態に係る信号処理回路４を有する構成となっている。本例では、信号処理回路４を固体撮像素子３のチップ外に配置して用いる構成の場合を例に挙げて示しているが、信号処理回路４を固体撮像素子３と同じチップ上に集積して用いる構成を採ることも可能である。
【００２７】
光学系２は、被写体像からの像光を固体撮像素子３の撮像面上に結像する。固体撮像素子３は、例えば、ＣＭＯＳイメージセンサであり、複数の単位画素（以下、単に「画素」と呼ぶ場合もある）が行列状に２次元配置されている。固体撮像素子３は、ＣＭＯＳイメージセンサに限られるものではない。単位画素の各々には、例えばベイヤー配列にてカラーフィルタが設けられている。カラーフィルタの色配列は、ベイヤー配列に限られるものではない。
【００２８】
固体撮像素子３は、電荷の蓄積時間（露光時間）が相対的に短い短時間蓄積画素の画素群（第１の画素群）と、短時間蓄積画素よりも蓄積時間がα倍長い長時間蓄積画素の画素群（第２の画素群）とを有する。固体撮像素子３において、各画素の信号電荷の蓄積時間の制御は、各画素の駆動を司る周辺回路（タイミングジェネレータや垂直走査部など）による駆動の下に実行される。固体撮像素子３から出力される短時間蓄積画素の信号及び長時間蓄積画素の信号は、本実施形態に係る信号処理回路４に供給される。
【００２９】
本実施形態に係る信号処理回路４は、Ａ／Ｄ変換部４０、クランプ部４１、メモリ部４２、倍率演算部４３、合成部４４、重み付け部４５、デモザイク部４６、リニアマトリックス部４７、ガンマ補正部４８、及び、輝度クロマ信号生成部４９を有する構成となっている。
【００３０】
固体撮像素子３から出力される短時間蓄積画素の信号及び長時間蓄積画素の信号は、Ａ／Ｄ変換部４０でアナログ信号からデジタル信号に変換される。以下、Ａ／Ｄ変換部４０から出力される短時間蓄積画素の信号を短時間蓄積データと呼び、長時間蓄積画素の信号を長時間蓄積データと呼ぶこととする。
【００３１】
これらのデータは、短時間蓄積画素及び長時間蓄積画素の各信号値を表わしており、クランプ部４１で黒レベルの補正処理が行われた後メモリ部４２に供給される。ここで、固体撮像素子３がＡ／Ｄ変換部を内蔵する構成のものであれば、Ａ／Ｄ変換部４０は不要となる。
【００３２】
メモリ部４２は、例えばフレームメモリから成り、入力される短時間蓄積データ及び長時間蓄積データを、行列状画素配列の行（ライン）単位、もしくは、フレーム単位で格納する。このメモリ部４２は、フレームメモリを制御するメモリ制御部（図示せず）を有しており、当該メモリ制御部による制御の下に、フレームメモリに対する短時間蓄積データ及び長時間蓄積データの書き込み及び読み出しを実行する。
【００３３】
メモリ部４２からは、ワイドダイナミックレンジ化のために合成される短時間蓄積データと長時間蓄積データとが対で読み出される。メモリ部４２から読み出された短時間蓄積データは倍率演算部４３に供給され、長時間蓄積データは合成部４４に供給される。
【００３４】
倍率演算部４３に供給された短時間蓄積データは、当該倍率演算部４３においてα倍の演算処理が行われる。ここで、「α倍」は、先述したように、長時間蓄積画素と短時間蓄積画素との蓄積時間（露光時間）の倍数差、即ち、（長時間蓄積画素の蓄積時間）／（短時間蓄積画素の蓄積時間）である。この倍率演算部４３での演算処理により、短時間蓄積データに対して蓄積時間の倍数差の補正が行われる。
【００３５】
倍率演算部４３でα倍された短時間蓄積データは重み付け部４５に供給される。重み付け部４５は、倍率演算部４３でα倍された短時間蓄積データについて、着目画素の信号値に対して当該着目画素に関連する画素、好ましくは、着目画素と同一色の画素の信号値を基に重み付けを行う。この重み付け部４５は本実施形態の特徴とする部分であり、その詳細については後述する。
【００３６】
重み付け部４５で重み付けされた短時間蓄積データは合成部４４に供給される。合成部４４は、メモリ部４２から直接供給される長時間蓄積データと、重み付け部４５で重み付けされて供給される短時間蓄積データとを合成する。合成部４４は、例えば、長時間蓄積画素が飽和しているときの長時間蓄積データについては、短時間蓄積データで置き換えるといった合成処理を行う。
【００３７】
合成部４４で合成処理された後の画素データは、デモザイク部４６で同時化処理が施され、リニアマトリックス部４７で色再現処理が施され、更に、ガンマ補正部４８でガンマ補正処理が施された後、輝度クロマ信号生成部４９に供給される。そして、輝度クロマ信号生成部４９において輝度信号及びクロマ信号として生成された後、図示せぬビデオＩ／Ｆ（インターフェース）を介して出力される。
【００３８】
上記構成の本実施形態に係る信号処理回路４において、倍率演算部４３でのα倍の演算前後の短時間蓄積データ及び長時間蓄積データの関係は次のようになる。
（倍率演算前）
短時間蓄積データ：Ａ［digit］ （Ａは得られた信号値）
長時間蓄積データ：Ｂ［digit］ （Ｂは得られた信号値）
（倍率演算後）
短時間蓄積データ：Ａ×α［digit］ （Ａは得られた信号値）
長時間蓄積データ：Ｂ ［digit］ （Ｂは得られた信号値）
【００３９】
ここで、一例として、長時間蓄積画素と短時間蓄積画素との蓄積時間に１６倍（α＝１６）の差があったとする。この場合、長時間蓄積データと短時間蓄積データとを合成するには、図２に示すように、短時間蓄積データに対して倍率演算部４３で１６倍のゲインをかけた上で、合成部４４で両データを合成することになる。
【００４０】
この合成処理で得られる信号値は、短時間蓄積データを使用するような高輝度領域、即ち、長時間蓄積画素が飽和するような高輝度領域においては、倍率差に相当するステップ（即ち、αステップ）での信号値であり、α＝１６である場合は、１６ステップでの信号値となる。一般的に、被写体自体が１６ステップの階調を持つようなことは考えにくいため、１６ステップでの信号値はいわば推定値となっている。
【００４１】
このような信号処理は、階調表現が十分にできないソラリゼーションや、ノイズ感の面でのリスクを抱える信号処理である。ここで、「ソラリゼーション」とは、映像信号の分解能がカメラ信号処理などでの演算精度の不足で欠落し、階調変化がある被写体において連続的な輝度変化を表現できずに段差が生じ、これが２次元的に並んでしまうことで模様（輪郭）のように見える画質劣化現象である。
【００４２】
ノイズに関しては、元のノイズレベルが１であっても、α倍されるとαのレベル差となる。αが１６である場合は、合成処理で得られる信号値は、図３に示すような飛び飛びの値を取る。
【００４３】
図４に、短時間蓄積データに対して重み付け処理を行わないときの輝度レベルと出力イメージを示す。図４において、（ａ）は倍率演算前の短時間蓄積データを表わし、（ｂ）は倍率演算後の短時間蓄積データを表わしている。
【００４４】
図４（ａ）に示すように、輝度レベルが徐々に変化するシーンにおいても、デジタル値は１ステップでしか刻むことができない。これを倍率演算すると、図４（ｂ）に示すように、１ステップではなく倍率（ここでは、１６倍）ステップになってしまう。例えば、１デジタル値、２デジタル値の出力は、１６デジタル値、３２デジタル値へ変化する。つまり、１６デジタル値と３２デジタル値との間に、１６デジタル値（＝３２−１６デジタル値）の出力の谷間が発生する。
【００４５】
このような問題を解消する機能、即ち、合成処理で得られる信号値が飛び飛びの値しか取らない出力状態を解消する機能を、信号処理回路４、より具体的には、重み付け部４５に持たせている点が本実施形態の特徴とするところである。
【００４６】
本実施形態では、倍率演算部４３での倍率演算後に、重み付け部４５で重み付けを行うことで、上記の谷間の修復を行う。図５に、本実施形態に係る重み付けを適用した場合の輝度レベルと出力イメージを示す。図５において、（ａ）は倍率演算前の短時間蓄積データを表わし、（ｂ）は倍率演算後の短時間蓄積データを表わしている。
【００４７】
先ず、デジタル値は１以下の数字を刻むことができないため、得られる出力は１デジタル値と２デジタル値であるとする（１０ビットであれば、０〜１０２３デジタル値の間を１ステップずつ遷移可能だが、小数点以下を取ることはできない）。ここでは、谷間を埋めることはできない。
【００４８】
次に、倍率演算部４３で倍率演算を行い、それぞれ１６デジタル値と３２デジタル値へ変化させる。倍率演算後は、表現可能なデジタル値に空きができる。つまり、この例の場合、１７デジタル値〜３１デジタル値を保持することができる。重み付け部４５でこの重み付け処理を実施する。
【００４９】
１デジタル値は、０．５〜１．５デジタル値（実際には取れない値）が収束されて１デジタル値となっている。２デジタル値は、１．５〜２．５デジタル値（実際には取れない値）が収束されて２デジタル値となっている。このように考えると、図５（ｂ）に示すように、倍率演算後（ここでは、１６倍）に本来取るべき数字は１デジタル値であれば１６倍の８〜２４の間、２デジタル値であれば２４〜４０の間となる。つまり、出力値に対して±（α／２）の範囲内の数値をとる（αは蓄積時間の倍率差。今回の場合、±８の範囲内）。
【００５０】
このように、重み付け部４５での重み付けによって谷間の修復を行うことにより、ワイドダイナミックレンジ化に当たり、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差に相当するステップを持つ不自然な階調が緩和され、より階調性豊かな映像表現が可能になる。すなわち、被写体の持つ本来の輝度情報を階調性豊かに表現することができる。換言すれば、被写体本来の状態をより忠実に予測再現することができる。これにより、重み付け部４５以降における信号処理についてもより的確に行うことができる。
【００５１】
上述した本実施形態に係る重み付け処理の概念を基とした、重み付け部４５の具体的な実施例について以下に説明する。尚、図１に示した撮像装置において、本実施形態に係る重み付け部４５の配置箇所は一例であって、短時間蓄積データに対して重み付けを行うことができる信号処理経路中の箇所であればいずれの箇所であってもよい。
【００５２】
［２−１．実施例１］
実施例１に係る重み付け部４５では、着目画素に関連する画素として当該着目画素の周辺画素を用いる。具体的には、図６に示すように、ある画素行における画素Ｂを着目画素とするとき、同じ画素行において着目画素Ｂと左右に隣接する画素Ａ，Ｃを、着目画素Ｂに関連する画素として用いる。
【００５３】
そして、重み付け部４５は、倍率演算部４３での倍率演算後の短時間蓄積データ（信号値）に対して、画素Ａ，Ｃの信号値を用いて、下記の条件の下に重み付け処理を行う。以下では、説明の簡略化のために、画素Ａ，Ｂ，Ｃの各信号値を単にＡ，Ｂ，Ｃと記述するものとする。
【００５４】
（着目画素Ｂに対する処理）
ＡとＣの平均値（中間値）がＢよりも小さい場合：Ｂの値−４デジタル値
ＡとＣの平均値（中間値）がＢよりも大きい場合：Ｂの値＋４デジタル値
ＡとＣの平均値（中間値）がＢと同じ場合：重み付けなし
【００５５】
つまり、ここでは重み付けの際に±（α／４）の値を用いて演算しているが、基本的には、出力値に対して±（α／２）の範囲内の数値を取るようにすればよい。±（α／４）は、±（α／２）の中間点（中間値）を取るための数値である。±（α／４）の値を用いて重み付けを行うことで、図７（ｂ）に示すように、１デジタル値は倍率演算と重み付け後に、１２，１６，２０デジタル値のいずれかの値を取り、２デジタル値は２８，３２，３６デジタル値のいずれかの値を取る。
【００５６】
図７に、実施例１に係る重み付け処理をした場合の輝度レベルと出力イメージを示す。図７において、（ａ）は倍率演算前の短時間蓄積データを表わし、（ｂ）は倍率演算後の短時間蓄積データを表わしている。
【００５７】
実施例１に係る重み付け処理によれば、同じ画素行において着目画素Ｂと隣接する画素Ａ，Ｃの信号値を基に重み付けを行なうことで、ワイドダイナミックレンジ化の際に、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差に相当するステップ（本例の場合、αステップ）を持つ不自然な階調が緩和される。その結果、より階調性豊かな映像表現を実現できる。
【００５８】
（ノイズリダクションについて）
ところで、固体撮像素子の信号処理において、周辺画素の信号値を使って、着目画素の数値を決定する手法の一つとして、ノイズリダクションの概念がある（例えば、特開２００５−３１１４５５号公報参照）。
【００５９】
ノイズリダクションは、任意の領域内で平滑化することによって、ノイズ感を除去する技術であり、ワイドダイナミックレンジ化にこの手法を用いることによっても、１６倍の露光差の固体撮像素子の場合であっても、１６デジタル値ステップの信号ではなく、図８に示すように、平滑化された信号値を得ることができる。
【００６０】
図８は、ノイズリダクションの技術を用いたときに得られる画素信号の信号値を示す図である。また、図９は、図８の信号値を横方向にプロットしてグラフ化した図である。図８及び図９において、（ａ）は被写体の輝度分布を、（ｂ）は短時間蓄積画素の信号値を、（ｃ）は倍率演算後の信号値を、（ｄ）はノイズリダクション後の信号値をそれぞれ表わしている。
【００６１】
図８（ａ）に示すように、被写体の輝度レベルは滑らかな輝度レベルを有しているものとする。それに対して、ワイドダイナミックレンジの短時間蓄積画素で得られる画素信号の信号値は、図８（ｂ）のようになる。まずこの時点で細かい階調が潰れることになる。例えば、固体撮像素子の出力データが１０ビットであった場合、０〜１０２３デジタル値で被写体の輝度レベルを表現する必要がある。表現が必要な輝度レベルが０〜１０２３０であった場合、輝度レベル１０ステップ毎に１デジタル値が向上することになる。
【００６２】
つまり、輝度信号が滑らかなアナログ値であっても、デジタル段階では当然ながら階段的に信号値が変化する。このようにビット幅と輝度階調の差異が階調潰れの原因となっている。そして、図８（ｃ）においては、長時間蓄積、短時間蓄積の蓄積時間の倍率差（この例では、１６倍）を短時間蓄積データに対して掛け合わせる。これは時間長蓄積データと短時間蓄積データを合成するために必要な処理である。
【００６３】
この時点では、階調が潰れたままの状態となっている。更に、ノイズリダクション処理を加えると、図８（ｄ）に示すようになる。ノイズリダクション（平滑化）の手法は多々あるが、ここでは着目画素と、左右に隣接する画素の３つの画素の平均値を着目画素の処理後の値としている。こうすることで元の輝度レベルのような階調表現を得ることができる。
【００６４】
しかし、微細なエッジを含むパターン（被写体）においては、ノイズリダクション処理が弊害となることもある。例えば、図１０（ａ）に示すようなエッジを含む被写体があった場合、短時間蓄積画素の信号値は、図１０（ｂ）に示すようになる。更に、ワイドダイナミックレンジ化の合成のために蓄積時間の倍率差（この例では、１６倍）を掛け合わせると、図１０（ｃ）に示すようになる。
【００６５】
ここで先程と同じように着目画素と左右の周辺画素の３画素の平均値を着目画素の値に置き換えると、図１０（ｄ）に示すようになる。図１０（ｄ）からも分かるようにエッジの値が潰れてしまい、周辺の値もエッジ部分と同じ出力値になっている。これが平滑化、即ち、ノイズリダクション処理の弊害である。図１１は、図１０の信号値を横方向にプロットしてグラフ化した図である。
【００６６】
（重み付け処理による特有の作用、効果）
実施例１に係る重み付け処理によれば、先述したより階調性豊かな映像表現を実現できるという作用、効果に加えて、以下に説明するような、ノイズリダクション処理では得られない特有の作用、効果を得ることができる。
【００６７】
図１２は、実施例１に係る重み付け処理を適用したときに得られる画素信号の信号値を示す図である。また、図１３は、図１２の信号値を横方向にプロットしてグラフ化した図である。図１２及び図１３において、（ａ）は被写体の輝度分布を、（ｂ）は短時間蓄積画素の信号値を、（ｃ）は倍率演算後の信号値を、（ｄ）は重み付け後の信号値をそれぞれ示している。尚、図１２及び図１３は、図８及び図９にそれぞれ対応している。
【００６８】
図１２及び図１３と、図８及び図９との対比から明らかなように、被写体像に微細なエッジを含むパターンが存在しない場合には、実施例１に係る重み付け処理によっても、ノイズリダクション（平滑化）処理と類似した結果が得られる。
【００６９】
これに対して、微細なエッジを含むパターン（被写体像）においては、実施例１に係る重み付け処理を用いることにより、ノイズリダクション処理における弊害を無くすことができる。すなわち、実施例１に係る重み付け処理によれば、ノイズリダクション処理とは異なり、画素が本来取り得る信号値を予測するのみであるため、エッジが潰れるような不具合を発生させない。この特有の作用、効果については、後述する実施例２乃至実施例４についても同様のことが言える。
【００７０】
図１４は、微細なエッジを含む被写体に対して実施例１に係る重み付け処理を適用したときに得られる画素信号の信号値を示す図である。また、図１５は、図１４の信号値を横方向にプロットしてグラフ化した図である。図１４及び図１５において、（ａ）は被写体の輝度分布を、（ｂ）は短時間蓄積画素の信号値を、（ｃ）は倍率演算後の信号値を、（ｄ）は重み付け後の信号値をそれぞれ示している。尚、図１４及び図１５は、図１０及び図１１にそれぞれ対応している。
【００７１】
図１４（ｄ）及び図１５（ｄ）と、図１０（ｄ）及び図１１（ｄ）との対比から明らかなように、実施例１に係る重み付け処理によれば、微細なエッジを含むパターンにおいてエッジの値が潰れるという弊害は生じない。すなわち、ノイズリダクション処理を用いた場合には、平滑化によって急峻なエッジ部が潰れるのに対して、実施例１に係る重み付け処理を用いた場合には、元の画素信号が取り得る値の範囲内にのみ限定して演算を行うため、エッジ部が潰れるような弊害は生じない。
【００７２】
［２−２．実施例２］
実施例２に係る重み付け部４５では、着目画素に関連する画素として、図１６に示す画素配列において、ある画素行における画素Ｅを着目画素とするとき、当該着目画素Ｅに対して同じ画素行において左右に隣接する画素Ｄ，Ｆ、及び、同じ画素列において上下に隣接する画素Ｂ，Ｈを用いる。
【００７３】
そして、重み付け部４５は、倍率演算部４３での倍率演算後の短時間蓄積データ（信号値）に対して、周辺画素Ｄ，Ｆ，Ｂ，Ｈの信号値を用いて、下記の条件の下に重み付け処理を行う。以下では、説明の簡略化のために、画素Ｂ，Ｄ，Ｅ，Ｆ，Ｈの各信号値を単にＢ，Ｄ，Ｅ，Ｆ，Ｈと記述するものとする。
【００７４】
（着目画素Ｅに対する処理）
(1)ＤとＦの平均値（中間値）がＥよりも小さい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも小さい場合：Ｅの値−６デジタル値
(2)ＤとＦの平均値（中間値）がＥよりも大きい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも大きい場合：Ｅの値＋６デジタル値
(3)ＤとＦの平均値（中間値）がＥよりも小さい場合で、なおかつ、ＢとＨの平均値（中間値）がＥと同じ出力の場合：Ｂの値−４デジタル値
(4)ＤとＦの平均値（中間値）がＥよりも大きい場合で、なおかつ、ＢとＨの平均値（中間値）がＥと同じ出力の場合：Ｂの値＋４デジタル値
(5)ＤとＦの平均値（中間値）がＥよりも小さい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも大きい出力の場合、Ｄ，Ｆ，Ｂ，Ｈの平均値がＥより小さい場合：Ｂの値−２デジタル値
(6)ＤとＦの平均値（中間値）がＢよりも小さい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも大きい出力の場合、Ｄ，Ｆ，Ｂ，Ｈの平均値がＥより大きい場合：Ｂの値＋２デジタル値
(7)ＤとＦの平均値（中間値）がＢよりも大きい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも小さい出力の場合、Ｄ，Ｆ，Ｂ，Ｈの平均値がＥより小さい場合：Ｂの値−２デジタル値
(8)ＤとＦの平均値（中間値）がＢよりも大きい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも小さい出力の場合、Ｄ，Ｆ，Ｂ，Ｈの平均値がＥより大きい場合：Ｂの値＋２デジタル値
【００７５】
上記(1)〜(8)の条件を適用することにより、１デジタル値は倍率演算（１６倍）と上記重み付け後に、１０，１２，１４，１６，１８，２０，２２の７種類のいずれかを取ることができる。つまり、従来のワイドダイナミックレンジ化では、１という出力に対して単純にα倍（１６倍）されて１６という数値に一義に決まっていたが、本技術では周辺画素の値から、±（α／２）の範囲内で数値を取ることができる。
【００７６】
上記の例では、周辺画素として、上下左右４つの隣接画素の信号値を用いるとしたが、これら４つの隣接画素に加えて、斜め方向に隣接する４つの画素の信号値を用いるようにしてよい。また、上記の例では、信号値の大小のみを比較して加算／減算するデジタル値を決めるようにしたが、例えば周辺画素の平均値などを基にしきい値を設定してさらに細かいステップで値を推定するようにしても良い。
【００７７】
例えば、図１６において、着目画素Ｅの周辺画素として、着目画素Ｅに対して斜め方向に隣接する画素Ａ，Ｃ，Ｇ，Ｉをも用いて、これら周辺画素（Ａ，Ｂ，Ｃ，Ｄ，Ｆ，Ｇ，Ｈ，Ｉ）の信号値の平均値と、着目画素Ｅの信号値の差分を求め、例えば下記のように重み付け値を細かく求めるようにしても良い。
【００７８】
着目画素Ｅ−周辺画素の平均値＞１０５以上 → −８デジタル値
着目画素Ｅ−周辺画素の平均値＞９０〜１０５未満 → −７デジタル値
着目画素Ｅ−周辺画素の平均値＞７５〜９０未満 → −６デジタル値
着目画素Ｅ−周辺画素の平均値＞６０〜７５未満 → −５デジタル値
着目画素Ｅ−周辺画素の平均値＞４５〜６０未満 → −４デジタル値
着目画素Ｅ−周辺画素の平均値＞３０〜４５未満 → −３デジタル値
着目画素Ｅ−周辺画素の平均値＞１５〜３０未満 → −２デジタル値
着目画素Ｅ−周辺画素の平均値＞１０〜１５未満 → −１デジタル値
着目画素Ｅ−周辺画素の平均値＞０〜１０未満 → ±０
尚、大小関係が逆転する場合は、上記マイナス（−）処理の部分がプラス（＋）処理となる。また、ここでのしきい値の条件や処理方法は、任意に設定可能である。
【００７９】
実施例２に係る重み付け処理によれば、着目画素に関連する画素として、実施例１の場合よりも多くの周辺画素の信号値を基に重み付けを行うことができるため、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差に相当するステップを持つ不自然な階調がより緩和されることになる。
【００８０】
［２−３．実施例３］
実施例１及び実施例２に係る重み付け処理では、着目画素の周辺画素、即ち、隣接画素の信号値をそのまま用いて重み付けを行うようにしていた。これに対して、実施例３に係る重み付け処理では、着目画素の例えば前後の隣接画素の傾向から重み付けを行うようにするようにしている。
【００８１】
具体的には、前後の隣接画素の傾向、即ち、当該隣接画素の信号値の変化量の差分の傾向（傾き）から前後の隣接画素の信号値を推定し、当該推定値を用いて重み付けを行うようにする。着目画素の前後の隣接画素の傾向を見るには、前後の隣接画素に対して座標的に連続な複数の画素の出力値（信号値）、例えば、行方向において連続する複数の画素出力値を用いるようにすればよい。
【００８２】
図１７を用いてより具体的に説明する。図１７において、（ａ）は重み付け前の各座標における画素の出力値（信号値）を、（ｂ）は重み付け後の各座標における画素の出力値をそれぞれ表わしている。図１７（ａ）において、着目画素を太枠画素とした場合、隣接画素だけを見ると同じ出力値となっているため、着目画素の信号値は重み付けされないことになる。
【００８３】
しかし、着目画素の前後の隣接画素の傾向、つまり、隣接画素の変化量の差分の傾向（傾き）を見ると、隣接画素の信号値よりも着目画素の信号値を高くする方が自然であることが容易に推定できる。従って、着目画素の前後の隣接画素の傾向から隣接画素の信号値を推定し、当該推定値を用いて着目画素の信号値に対して重み付けを行うことで、図１７（ｂ）に示すように、隣接画素の信号値よりも着目画素の信号値を高くなる。このときの重み付けの仕方としては、実施例１，２の場合と同様に、蓄積時間の倍率差の範囲内とする。
【００８４】
このように、着目画素に関連する画素（本例では、前後の隣接画素の傾向）の傾向から重み付けを行うようにしても、実施例１，２の場合と同様に、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差分のステップを持つ不自然な階調が緩和されることになる。その結果、より階調性豊かな映像表現を実現できる。
【００８５】
［２−４．実施例４］
実施例１乃至実施例３に係る重み付け処理では、着目画素に対して位置的（座標的）に異なる当該着目画素の周辺画素の信号値を用いて重み付けを行うようにしていた。これに対して、実施例４に係る重み付け処理では、着目画素に対して時間的に異なる当該着目画素と同一座標の画素の信号値を用いて重み付けを行うようにしている。
【００８６】
ここで、「着目画素に対して時間的に異なる同一座標の画素」とは、前にも述べたように、着目画素と異なる撮像フレームにおける着目画素と同一座標（同一位置）の画素（位置的（座標的）に同一の画素）である。従って、実施例４に係る重み付け処理は、同一座標の画素の信号値の時間的変化から重み付けを行うということになる。
【００８７】
実施例４に係る重み付け処理について、同一座標の画素の時間的変化を表わす図１８を用いてより具体的に説明する。図１８は、連続する５つの撮像フレームにおける５つの画素１〜５の重み付け前（ａ）、重み付け後（ｂ）の状態を表わしている。すなわち、図１８において、画素１〜５の番号は、同一座標の画素についての撮像フレーム順を示している。
【００８８】
ここでは、図１８において、画素５を着目画素とする。この着目画素５に対して重み付けを行う場合、その前の時間軸（フレーム）の画素１〜４の各出力値（信号値）を参照して、下記の処理を行うようにする。この場合、図１のメモリ部４２に、異なる時間（フレーム）の信号値データが蓄積されているものとする。
【００８９】
（着目画素５に対する処理）
画素１〜４の平均値（中間値）が画素５の信号値よりも小さい場合：画素５の信号値−４デジタル値
画素１〜４の平均値（中間値）が画素５の信号値よりも大きい場合：画素５の信号値＋４デジタル値
画素１〜４の平均値（中間値）が画素５と同じ場合：重み付けなし
【００９０】
図１８の例の場合、画素１〜４の信号値の平均値を点線で示している。画素５の信号値は、この平均値に対して大きな値となっている。従って、この場合は、上記で定めた処理のうち、１番目の処理、即ち、画素５の信号値から４デジタル値を減算する処理を実行することになる。
【００９１】
このように、着目画素に対して時間的に異なる当該着目画素と同一座標の画素の信号値を用いて重み付けを行うようにしても、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差分のステップを持つ不自然な階調が緩和されることになる。その結果、より階調性豊かな映像表現を実現できる。
【００９２】
［２−５．重み付け部の具体的な回路例］
次に、実施例１乃至実施例４に係る重み付け処理を実行する重み付け部４５の回路構成について、その具体的な回路例を示す図１９を用いて説明する。
【００９３】
図１９に示すように、本例に係る重み付け部４５は、差分計算部４５１、メモリ参照部４５２、及び、加算／減算部４５３から成る構成となっている。
【００９４】
差分計算部４５１は、着目画素に関連する画素の信号値と着目画素の信号値との差分値を求める。メモリ参照部４５２は、着目画素に関連する画素の信号値と着目画素の信号値との差分値に対応した複数の重み付け値を予め格納する。加算／減算部４５３は、メモリ参照部４５２から差分計算部４５１が求めた差分値に対応する重み付け値を得て着目画素の信号値に対して加算または減算する。
【００９５】
ここで、上記構成の重み付け部４５による重み付け処理について説明する。先述した実施例１乃至実施例４に係る重み付け処理を行うに当たり、先ず、短時間蓄積画素の信号値は、重み付け部４５の前段の倍率演算部４３において短時間蓄積画素と長時間蓄積画素との蓄積時間の倍率差αが掛け算される。このα倍された短時間蓄積画素の画素データは、差分計算部４５１及び加算／減算部４５３に与えられる。
【００９６】
差分計算部４５１は、着目画素に関連する画素の信号値と着目画素の信号値とを比較し、その差分値を計算する。この差分値は、メモリ参照部４５２に与えられる。メモリ参照部４５２には、種々の差分値に対応して各差分値のときにどのような重み付け処理を行うかの情報、即ち、種々の差分値に対応した重み付け値が記憶されている。従って、メモリ参照部４５２からは、差分計算部４５１が求めた差分値に対応する所定の重み付け値が出力される。
【００９７】
メモリ参照部４５２から出力された重み付け値は、加算／減算部４５３に与えられる。加算／減算部４５３は、倍率演算部４３で倍率演算後の短時間蓄積データに対して、メモリ参照部４５２を参照した結果の重み付け値を加算または減算する。
【００９８】
尚、ここでは、長時間蓄積画素につては詳細な説明を割愛しているが、一般に、ワイドダイナミックレンジ化の処理では、暗部では長時間蓄積画素のデータが用いられ、明部では短時間蓄積画素のデータが用いられる。
【００９９】
［２−６．長時間蓄積／短時間蓄積の各画素の配置例］
（画素配列例１）
ワイドダイナミックレンジ化を図る技術の一つとして、ＳＶＥ（Spatially Varying Exposure）方式のワイドダイナミックレンジ撮像技術が知られている（例えば、特開２００７−１３５２００号公報参照）。ＳＶＥ方式の場合の画素配列の一例を図２０に示す。図２０の画素配列では、２行毎に短時間蓄積画素と長時間蓄積画素とが配列されている。
【０１００】
このように、２行毎に短時間蓄積画素と長時間蓄積画素とが配列されて成る画素配列において、例えば実施例２に係る重み付け処理を行う場合を例に挙げて、着目画素と周辺画素との関係について説明する。
【０１０１】
図２０において、例えば、短時間蓄積のＲ3の画素を着目画素とする場合、同じ短時間蓄積画素であり、かつ、同色の画素である近傍のＲ1，Ｒ2，Ｒ4，Ｒ5の各画素を周辺画素として用い、これら画素Ｒ1，Ｒ2，Ｒ4，Ｒ5の各信号値を基に着目画素Ｒ3の信号値に対して重み付けを行うようにする。
【０１０２】
この場合、画素Ｒ2，Ｒ4に比べて画素Ｒ1，Ｒ5の方が着目画素Ｒ3に対して２倍距離が離れているため、画素Ｒ2，Ｒ4の信号値に対して２倍の重み付けを行うようにしてもよい。
【０１０３】
例えば、
着目画素Ｒ3の信号値：５０
画素Ｒ1，Ｒ5の平均値：４０
画素Ｒ2，Ｒ4の平均値：６０
と仮定する。このとき、画素Ｒ2，Ｒ4の信号値に対して重み付けを行わない場合は、画素Ｒ1，Ｒ2，Ｒ4，Ｒ5の平均値が着目画素Ｒ3の信号値と同じ５０であるため、着目画素Ｒ3の信号値に対して重み付けを行わないことになる（但し、周辺画素の平均値と着目画素の信号値とを比較して重み付け値を決める場合）。
【０１０４】
しかし、上述したように、画素Ｒ2，Ｒ4に比べて画素Ｒ1，Ｒ5の方が着目画素Ｒ3に対して２倍距離が離れているため、画素Ｒ2，Ｒ4の信号値に対して２倍の重み付けを行う。これにより、
周辺画素の平均値＝（４０＋６０×２）／３
＝５３
となり、周辺画素の平均値の方が着目画素Ｒ3の信号値よりも大きくなる。この場合、前述したように、着目画素Ｒ3の信号値に対して蓄積時間の倍率差の範囲内で所望の値を加算する重み付けを行うようにしてもよい。
【０１０５】
（画素配列例２）
ワイドダイナミックレンジ化を図る技術の他の一つとして、１つの画素を、電荷の蓄積時間が異なる複数の小画素に分割する方式のワイドダイナミックレンジ撮像技術が知られている（例えば、特開２０１０−２８４２３号公報参照）。この画素分割方式の場合の画素配列の一例を図２１に示す。図２１の画素配列では、４分割、即ち、４つの小画素を１つの画素に見立てて、上段２つの小画素を短時間蓄積画素とし、下段２つの小画素を長時間蓄積画素としている。
【０１０６】
このように、蓄積時間が異なる４つの小画素に分割された単位画素が行列状に２次元配置されて成る画素配列において、例えば、実施例２に係る重み付け処理を行う場合を例に挙げて着目画素と周辺画素との関係について説明する。但し、実施例２では、上下左右の４つの隣接画素を周辺画素として用いていたのに対し、本例では、着目画素に対して斜め方向において隣接する４つの隣接画素を周辺画素として用いるものとする。
【０１０７】
すなわち、本例では、図２１において、例えば、図の中央部の太枠で囲った緑の画素を着目画素とする場合、本例では、例えば、着目画素に対して斜め方向において隣接する、周辺の太枠で囲った４つの緑の画素を周辺画素として用いて重み付けを行う。
【０１０８】
蓄積時間が異なる複数の小画素に分割する方式のワイドダイナミックレンジ撮像技術では、短時間蓄積の小画素の信号値と長時間蓄積の小画素の信号値とが個別に読み出されるようになっている。従って、上述した重み付け処理において、実際に使用される画素の信号値は、図２１の各太枠部分の上段の短時間蓄積画素の信号値となる。
【０１０９】
＜３．変形例／適用例＞
前述したようなノイズリダクション（平滑化）の処理を行う回路部分を、本実施形態に係る重み付け部４５の後段の信号処理経路中に配置する構成を採ることもできる。かかる構成を採ることにより、ノイズリダクション処理に用いる元の信号レベルが、本実施形態に係る重み付け部４５の作用によって、より正確な階調で表現されたデジタル値となるため、ノイズリダクション処理をより的確に行うことができる。
【０１１０】
また、上記の実施形態では、第１の画素群と第２の画素群との間に電荷の蓄積時間がα倍異なる場合を例に挙げて説明したが、光感度がα倍異なるようにしても、即ち、α倍の蓄積時間差に相当するα倍の感度差を持たせるようにしても、同様の作用、効果を得ることができる。画素間で光感度を異ならせる技術としては、例えば、カラーフィルタの上に配される光減衰膜の光透過度を画素間で異ならせる技術（例えば、特開２０１０−２８４２３号公報参照）などを用いることができる。
【０１１１】
また、上記の実施形態では、ワイドダイナミックレンジ化に当たって、電荷の蓄積時間について、長い蓄積時間と短い蓄積時間の２種類に設定するとしたが、本開示の技術は、２種類の蓄積時間に限られるものではなく、３種類以上の蓄積時間に設定する場合にも同様に適用可能である。光感度についても、蓄積時間と同様である。
【０１１２】
また、図２０及び図２１では、カラーフィルタの色配列についてＲ，Ｇ，Ｂのベイヤー配列を例に挙げて説明したが、本開示の技術は、Ｒ，Ｇ，Ｂのベイヤー配列のカラーフィルタを用いる固体撮像素子への適用に限られるものではない。例えば、クリアビット配列や染料系カラーフィルタなどを用いる固体撮像素子に対しても同様に適用可能である。更には、同一画素内のフォトダイオードを縦方向に３段構成とし、同一画素内から複数の色信号を得る縦型分光構造の固体撮像素子（例えば、特開２０１０−２８４２３号公報参照）に対しても適用可能である。
【０１１３】
＜４．本開示の構成＞
尚、本開示は以下のような構成を採ることができる。
（１）第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号を処理するのに、
前記第１の画素群における着目画素の信号値をα倍する演算部と、
前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う重み付け部と、
前記演算部でα倍し、かつ、前記重み付け部で重み付けした信号値と前記第２の画素群の画素の信号値とを合成する合成部と
を備える固体撮像素子の信号処理回路。
（２）前記着目画素に関連する画素は、前記着目画素に対して位置的に異なる当該着目画素の周辺画素である
前記（１）に記載の固体撮像素子の信号処理回路。
（３）前記周辺画素は、前記着目画素に隣接する画素である
前記（２）に記載の固体撮像素子の信号処理回路。
（４）前記周辺画素は、前記着目画素に隣接する画素に対して座標的に連続な複数の画素である
前記（３）に記載の固体撮像素子の信号処理回路。
（５）前記重み付け部は、前記複数の画素の信号値を基に前記着目画素に隣接する画素の信号値を推定し、当該推定値を用いて重み付けを行う
前記（４）に記載の固体撮像素子の信号処理回路。
（６）前記着目画素に関連する画素は、前記着目画素に対して時間的に異なる当該着目画素と同一座標の画素である
前記（１）に記載の固体撮像素子の信号処理回路。
（７）前記着目画素に関連する画素は、前記着目画素と同一色の画素である
前記（１）から前記（６）のいずれかに記載の固体撮像素子の信号処理回路。
（８）前記重み付け部は、±（α／２）の範囲内の重み付け値にて重み付けを行う
前記（１）から前記（７）のいずれかに記載の固体撮像素子の信号処理回路。
（９）前記重み付け部は、±（α／４）の重み付け値にて重み付けを行う
前記（８）に記載の固体撮像素子の信号処理回路。
（１０）前記重み付け部は、前記着目画素の信号値と前記着目画素に関連する画素の信号値とを比較し、その比較結果に基づいて±（α／２）の範囲内で重み付け値を前記着目画素の信号値に加算または減算する
前記（８）に記載の固体撮像素子の信号処理回路。
（１１）前記重み付け部は、前記着目画素に関連する画素の信号値が前記着目画素の信号値よりも大きい場合は加算を行い、小さい場合は減算を行う
前記（１０）に記載の固体撮像素子の信号処理回路。
（１２）前記着目画素に関連する画素が前記着目画素に対して位置的に異なる複数の周辺画素であるとき、
前記重み付け部は、前記着目画素の信号値と前記複数の周辺画素の平均値とを比較する
前記（１０）に記載の固体撮像素子の信号処理回路。
（１３）前記重み付け部は、前記着目画素の信号値と前記着目画素に関連する画素の信号値との差分に対して複数のしきい値を設定し、当該複数のしきい値毎に異なる重み付け値を前記着目画素の信号値に加算または減算する
前記（８）に記載の固体撮像素子の信号処理回路。
（１４）前記重み付け部は、
前記着目画素に関連する画素の信号値と前記着目画素の信号値との差分値を求める差分計算部と、
前記着目画素に関連する画素の信号値と前記着目画素の信号値との差分値に対応した複数の重み付け値を予め格納するメモリ部と、
前記メモリ部から前記差分計算部が求めた差分値に対応する重み付け値を得て前記着目画素の信号値に対して加算または減算する加算／減算部とを有する
前記（１）から前記（１３）のいずれかに記載の固体撮像素子の信号処理回路。
（１５）第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号処理に当たって、
前記第１の画素群における着目画素の信号値をα倍し、前記第２の画素群の画素の信号値と合成する際に、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う
固体撮像素子の信号処理方法。
（１６）第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子と、
前記第１の画素群における着目画素の信号値をα倍する演算部、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う重み付け部、及び、前記演算部でα倍し、かつ、前記重み付け部で重み付けした信号値と前記第２の画素群の画素の信号値とを合成する合成部を備える信号処理回路と
を有する電子機器。
【符号の説明】
【０１１４】
１・・・撮像装置、２・・・光学系、３・・・固体撮像素子、４・・・信号処理回路、４０・・・Ａ／Ｄ変換部、４１・・・クランプ部、４２・・・メモリ部、４３・・・倍率演算部、４４・・・合成部、４５・・・重み付け部、４６・・・デモザイク部、４７・・・リニアマトリックス部、４８・・・ガンマ補正部、４９・・・輝度クロマ信号生成部、４５１・・・差分計算部、４５２・・・メモリ参照部、４５３・・・加算／減算部
【技術分野】
【０００１】
本開示は、固体撮像素子の信号処理回路、固体撮像素子の信号処理方法、及び、電子機器に関する。
【背景技術】
【０００２】
固体撮像素子において、単位画素からは光電変換によって蓄積される電荷量に対してほぼ線形な出力信号が得られる。そして、固体撮像素子のダイナミックレンジは、単位画素が蓄積できる電荷量（飽和電荷量）とノイズレベルで一義的に決まる。すなわち、固体撮像素子の出力レベルの下限はノイズレベルで限定され、上限は飽和レベルで限定される。その結果、固体撮像素子のダイナミックレンジは、飽和電荷量とノイズレベルで一義的に決まる。
【０００３】
このダイナミックレンジの拡大を図る手法としては、長時間の電荷蓄積で撮像した、低輝度部分が比較的明瞭な画像と、短時間の電荷蓄積で撮像した、高輝度部分が比較的明瞭な画像とを合成する手法が広く用いられている。そして、ワイド（広）ダイナミックレンジ化を図るための従来技術の一つとして、露光時間の異なる複数の画像信号を入力し、当該入力信号に対して一義的に決まる値で重み付けする技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２６６３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１に記載の従来技術では、信号処理に必要なビット数を削減することを目的として、入力信号に対して一義的に決まる値で重み付けする手法を採っている。従って、被写体の持つ本来の輝度情報を階調性豊かに表現することは難しい。
【０００６】
そこで、本開示は、ワイドダイナミックレンジ化を図るに当たって、被写体の持つ本来の輝度情報を階調性豊かに表現することを可能にする固体撮像素子の信号処理回路、信号処理方法、及び、当該信号処理回路を有する電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本開示は、
第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号処理回路において、
前記第１の画素群における着目画素の信号値をα倍し、前記第２の画素群の画素の信号値と合成する際に、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う
構成を採っている。
【０００８】
第１の画素群の各画素は、電荷の蓄積時間が相対的に短い、あるいは、光感度が相対的に低い画素である。第２の画素群の各画素は、第１の画素群の各画素よりも蓄積時間がα倍長い、あるいは、光感度がα倍高い画素である。ワイドダイナミックレンジ化に当たっては、第１の画素群における着目画素の信号値をα倍し、第２の画素群の画素の信号値とを合成する訳であるが、その際に、着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う。この重み付けにより、第１の画素群の各画素が、第２の画素群の各画素との倍率差αに相当するステップの刻みとなる不自然な階調が緩和される。
【発明の効果】
【０００９】
本開示によれば、第１の画素群の各画素が、第２の画素群の各画素との倍率差αに相当するステップの刻みとなる不自然な階調が緩和されるため、被写体の持つ本来の輝度情報を階調性豊かに表現することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本開示の実施形態に係る信号処理回路を有する撮像装置の構成の一例を示すブロック図である。
【図２】ワイドダイナミックレンジ化のために長時間蓄積データと短時間蓄積データとを合成処理する際の概念を示す図である。
【図３】短時間蓄積データを１６倍したときに得られる信号値の例を示す図である。
【図４】短時間蓄積データに対して重み付け処理を行わないときの輝度レベルと出力イメージを示す図である。
【図５】本実施形態に係る重み付け処理を適用した場合の輝度レベルと出力イメージを示す図である。
【図６】実施例１に係る重み付け処理の場合の着目画素Ｂと当該着目画素Ｂに関連する画素Ａ，Ｃの関係を示す図である。
【図７】実施例１に係る重み付け処理を行った場合の輝度レベルと出力イメージを示す図である。
【図８】ノイズリダクションの技術を用いたときに得られる画素信号の信号値を示す図である。
【図９】図８の信号値を横方向にプロットしてグラフ化した図である。
【図１０】微細なエッジを含む被写体に対してノイズリダクションの技術を用いたときに得られる画素信号の信号値を示す図である。
【図１１】図１０の信号値を横方向にプロットしてグラフ化した図である。
【図１２】実施例１に係る重み付け処理を適用したときに得られる画素信号の信号値を示す図である。
【図１３】図１２の信号値を横方向にプロットしてグラフ化した図である。
【図１４】微細なエッジを含む被写体に対して実施例１に係る重み付け処理を適用したときに得られる画素信号の信号値を示す図である。
【図１５】図１４の信号値を横方向にプロットしてグラフ化した図である。
【図１６】実施例２に係る重み付け処理の場合の着目画素Ｅと当該着目画素Ｅに関連する画素Ｂ，Ｈ，Ｄ，Ｆの関係を示す図である。
【図１７】実施例３に係る重み付け処理における傾き変化による重み付けについて説明するための図である。
【図１８】実施例４に係る重み付け処理における時間的変化による重み付けについて説明するための図である。
【図１９】重み付け部の具体的な回路例を示すブロック図である。
【図２０】ＳＶＥ方式の場合の画素配列における長時間蓄積／短時間蓄積の各画素の配置関係の一例を示す図である。
【図２１】画素分割方式の場合の画素配列における長時間蓄積／短時間蓄積の各画素の配置関係の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の条件や数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の固体撮像素子の信号処理回路、信号処理方法、及び、電子機器、全般に関する説明
２．実施形態
２−１．実施例１（周辺画素として左右２つの隣接画素を用いる重み付け処理の例）
２−２．実施例２（周辺画素として上下左右４つの隣接画素を用いる重み付け処理の例）
２−３．実施例３（傾きの変化による重み付け処理の例）
２−４．実施例４（時間的変化による重み付け処理の例）
２−５．重み付け部の具体的な回路例
２−６．長時間蓄積／短時間蓄積の各画素の配置例
３．変形例／適用例
４．本開示の構成
【００１２】
＜１．本開示の固体撮像素子の信号処理回路、信号処理方法、及び、電子機器、全般に関する説明＞
本開示の信号処理回路または信号処理方法の処理の対象となる固体撮像素子としては、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサに代表されるＸＹアドレス型の撮像素子や、ＣＣＤ(Charge Coupled Device) イメージセンサに代表される電荷転送型の撮像素子などを例示することができる。本開示の信号処理回路は、固体撮像素子と同じ基板（チップ）上に集積した構成とすることもできるし、当該基板外に設けた構成とすることもできる。
【００１３】
固体撮像素子は、第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する。第１の画素群の各画素は、電荷の蓄積時間が相対的に短い、あるいは、光感度が相対的に低い画素である。第２の画素群の各画素は、第１の画素群の各画素よりも蓄積時間がα倍長い、あるいは、光感度がα倍高い画素である。以下では、説明の簡略化のために、第１の画素群の各画素を短時間蓄積画素と呼び、第２の画素群の各画素を長時間蓄積画素と呼ぶこととする。
【００１４】
本開示の信号処理回路または信号処理方法は、第１の画素群における着目画素の信号値をα倍し、第２の画素群の画素の信号値と合成することにより、固体撮像素子のワイドダイナミックレンジ化を図るための信号処理回路または信号処理方法である。そして、ワイドダイナミックレンジ化に当たって、着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行い、この重み付けした信号値と第２の画素群の画素の信号値とを合成することとする。
【００１５】
着目画素に関連する画素として、着目画素に対して位置的（座標的）に異なる当該着目画素の周辺画素を用いることができる。ここで、「着目画素に対して位置的に異なる周辺画素」とは、同じ画素行において着目画素と左右に隣接する画素、同じ画素列において着目画素と上下に隣接する画素、あるいは、着目画素に対して斜め方向に隣接する画素などである。
【００１６】
このとき、周辺画素としては、同じ画素行における着目画素の左右２画素、あいは、同じ画素列における着目画素の上下２画素に限られるものではない。すなわち、同じ画素行における着目画素の左側の複数画素、右側の複数画素を周辺画素として用いることもできるし、同じ画素例における着目画素の上側の複数画素、下側の複数画素を周辺画素として用いることもできる。
【００１７】
また、着目画素の周辺画素の信号値をそのまま用いて重み付けを行うのではなく、着目画素の例えば前後の隣接画素の傾向から重み付けを行うようにすることもできる。具体的には、前後の隣接画素の傾向、即ち、隣接画素の信号値の変化量の差分の傾向（傾き）から前後の隣接画素の信号値を推定し、当該推定値を用いて重み付けを行うようにすることができる。着目画素の前後の隣接画素の傾向を見るには、前後の隣接画素に対して座標的に連続な複数の画素の信号値を用いるようにすればよい。
【００１８】
あるいは又、着目画素に関連する画素として、着目画素に対して時間的に異なる当該着目画素と同一座標の画素を用いることができる。ここで、「着目画素に対して時間的に異なる同一座標の画素」とは、着目画素と異なる撮像フレームにおける着目画素と同一座標（同一位置）の画素（位置的（座標的）に同一の画素）である。
【００１９】
着目画素に関連する画素が、着目画素に対して位置的に異なる周辺画素である場合、あるいは、着目画素に対して時間的に異なる同一座標の画素である場合のいずれの場合にあっても、これらの画素は、着目画素と同一色の画素であるのが好ましい。但し、着目画素と異なる色の画素を排除するものではない。
【００２０】
着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行うに当たっては、好ましく、±（α／２）の範囲内の重み付け値（強度）にて重み付けを行うようにする、より好ましくは、±（α／４）の重み付け値にて重み付けを行うようにするのが望ましい。
【００２１】
重み付け処理を行うに当たっては、着目画素の信号値と、当該着目画素に関連する画素の信号値とを比較し、その比較結果に基づいて±（α／２）の範囲内で重み付け値を着目画素の信号値に加算または減算する処理とすることができる。このとき、着目画素に関連する画素の信号値が着目画素の信号値よりも大きい場合は加算を行い、小さい場合は減算を行う処理とすることができる。着目画素に関連する画素が当該着目画素の周辺画素であるときは、着目画素の信号値と複数の周辺画素の平均値とを比較するようにするのが好ましい。
【００２２】
また、重み付け処理について、着目画素の信号値と、当該着目画素に関連する画素の信号値との差分に対して複数のしきい値を設定し、当該複数のしきい値毎に異なる重み付け値を着目画素の信号値に加算または減算する処理とすることができる。
【００２３】
重み付け処理を行う重み付け部については、差分計算部、メモリ部、及び、加算／減算部を有する構成とすることができる。ここで、差分計算部は、着目画素に関連する画素の信号値と着目画素の信号値との差分値を求める。メモリ部は、着目画素に関連する画素の信号値と着目画素の信号値との差分値に対応した複数の重み付け値を予め格納する。加算／減算部は、メモリ部から差分計算部が求めた差分値に対応する重み付け値を得て着目画素の信号値に対して加算または減算する。
【００２４】
本開示の信号処理回路または信号処理方法は、デジタルスチルカメラやビデオカメラなどの撮像装置（カメラシステム）における撮像素子の信号処理回路または信号処理方法として用いることができる。また、本開示の信号処理回路または信号処理方法は、撮像装置への適用に限られるものではなく、携帯電話機などの撮像機能を有する携帯端末（携帯情報）装置や、複写機、ファクシミリ装置など、画像取込部（撮像部）に固体撮像素子を用いる電子機器全般に対して適用可能である。そして、画像取込部に固体撮像素子を用い、当該固体撮像素子の信号処理回路または信号処理方法として本開示の信号処理回路または信号処理方法を用いる電子機器が、本開示の電子機器ということになる。
【００２５】
＜２．実施形態＞
図１は、本開示の実施形態に係る信号処理回路を有する撮像装置の構成の一例を示すブロック図である。撮像装置としては、デジタルスチルカメラやビデオカメラなどを例示することができる。
【００２６】
図１において、撮像装置１は、撮像レンズ２１や絞り２２等を含む光学系２、固体撮像素子３、及び、本実施形態に係る信号処理回路４を有する構成となっている。本例では、信号処理回路４を固体撮像素子３のチップ外に配置して用いる構成の場合を例に挙げて示しているが、信号処理回路４を固体撮像素子３と同じチップ上に集積して用いる構成を採ることも可能である。
【００２７】
光学系２は、被写体像からの像光を固体撮像素子３の撮像面上に結像する。固体撮像素子３は、例えば、ＣＭＯＳイメージセンサであり、複数の単位画素（以下、単に「画素」と呼ぶ場合もある）が行列状に２次元配置されている。固体撮像素子３は、ＣＭＯＳイメージセンサに限られるものではない。単位画素の各々には、例えばベイヤー配列にてカラーフィルタが設けられている。カラーフィルタの色配列は、ベイヤー配列に限られるものではない。
【００２８】
固体撮像素子３は、電荷の蓄積時間（露光時間）が相対的に短い短時間蓄積画素の画素群（第１の画素群）と、短時間蓄積画素よりも蓄積時間がα倍長い長時間蓄積画素の画素群（第２の画素群）とを有する。固体撮像素子３において、各画素の信号電荷の蓄積時間の制御は、各画素の駆動を司る周辺回路（タイミングジェネレータや垂直走査部など）による駆動の下に実行される。固体撮像素子３から出力される短時間蓄積画素の信号及び長時間蓄積画素の信号は、本実施形態に係る信号処理回路４に供給される。
【００２９】
本実施形態に係る信号処理回路４は、Ａ／Ｄ変換部４０、クランプ部４１、メモリ部４２、倍率演算部４３、合成部４４、重み付け部４５、デモザイク部４６、リニアマトリックス部４７、ガンマ補正部４８、及び、輝度クロマ信号生成部４９を有する構成となっている。
【００３０】
固体撮像素子３から出力される短時間蓄積画素の信号及び長時間蓄積画素の信号は、Ａ／Ｄ変換部４０でアナログ信号からデジタル信号に変換される。以下、Ａ／Ｄ変換部４０から出力される短時間蓄積画素の信号を短時間蓄積データと呼び、長時間蓄積画素の信号を長時間蓄積データと呼ぶこととする。
【００３１】
これらのデータは、短時間蓄積画素及び長時間蓄積画素の各信号値を表わしており、クランプ部４１で黒レベルの補正処理が行われた後メモリ部４２に供給される。ここで、固体撮像素子３がＡ／Ｄ変換部を内蔵する構成のものであれば、Ａ／Ｄ変換部４０は不要となる。
【００３２】
メモリ部４２は、例えばフレームメモリから成り、入力される短時間蓄積データ及び長時間蓄積データを、行列状画素配列の行（ライン）単位、もしくは、フレーム単位で格納する。このメモリ部４２は、フレームメモリを制御するメモリ制御部（図示せず）を有しており、当該メモリ制御部による制御の下に、フレームメモリに対する短時間蓄積データ及び長時間蓄積データの書き込み及び読み出しを実行する。
【００３３】
メモリ部４２からは、ワイドダイナミックレンジ化のために合成される短時間蓄積データと長時間蓄積データとが対で読み出される。メモリ部４２から読み出された短時間蓄積データは倍率演算部４３に供給され、長時間蓄積データは合成部４４に供給される。
【００３４】
倍率演算部４３に供給された短時間蓄積データは、当該倍率演算部４３においてα倍の演算処理が行われる。ここで、「α倍」は、先述したように、長時間蓄積画素と短時間蓄積画素との蓄積時間（露光時間）の倍数差、即ち、（長時間蓄積画素の蓄積時間）／（短時間蓄積画素の蓄積時間）である。この倍率演算部４３での演算処理により、短時間蓄積データに対して蓄積時間の倍数差の補正が行われる。
【００３５】
倍率演算部４３でα倍された短時間蓄積データは重み付け部４５に供給される。重み付け部４５は、倍率演算部４３でα倍された短時間蓄積データについて、着目画素の信号値に対して当該着目画素に関連する画素、好ましくは、着目画素と同一色の画素の信号値を基に重み付けを行う。この重み付け部４５は本実施形態の特徴とする部分であり、その詳細については後述する。
【００３６】
重み付け部４５で重み付けされた短時間蓄積データは合成部４４に供給される。合成部４４は、メモリ部４２から直接供給される長時間蓄積データと、重み付け部４５で重み付けされて供給される短時間蓄積データとを合成する。合成部４４は、例えば、長時間蓄積画素が飽和しているときの長時間蓄積データについては、短時間蓄積データで置き換えるといった合成処理を行う。
【００３７】
合成部４４で合成処理された後の画素データは、デモザイク部４６で同時化処理が施され、リニアマトリックス部４７で色再現処理が施され、更に、ガンマ補正部４８でガンマ補正処理が施された後、輝度クロマ信号生成部４９に供給される。そして、輝度クロマ信号生成部４９において輝度信号及びクロマ信号として生成された後、図示せぬビデオＩ／Ｆ（インターフェース）を介して出力される。
【００３８】
上記構成の本実施形態に係る信号処理回路４において、倍率演算部４３でのα倍の演算前後の短時間蓄積データ及び長時間蓄積データの関係は次のようになる。
（倍率演算前）
短時間蓄積データ：Ａ［digit］ （Ａは得られた信号値）
長時間蓄積データ：Ｂ［digit］ （Ｂは得られた信号値）
（倍率演算後）
短時間蓄積データ：Ａ×α［digit］ （Ａは得られた信号値）
長時間蓄積データ：Ｂ ［digit］ （Ｂは得られた信号値）
【００３９】
ここで、一例として、長時間蓄積画素と短時間蓄積画素との蓄積時間に１６倍（α＝１６）の差があったとする。この場合、長時間蓄積データと短時間蓄積データとを合成するには、図２に示すように、短時間蓄積データに対して倍率演算部４３で１６倍のゲインをかけた上で、合成部４４で両データを合成することになる。
【００４０】
この合成処理で得られる信号値は、短時間蓄積データを使用するような高輝度領域、即ち、長時間蓄積画素が飽和するような高輝度領域においては、倍率差に相当するステップ（即ち、αステップ）での信号値であり、α＝１６である場合は、１６ステップでの信号値となる。一般的に、被写体自体が１６ステップの階調を持つようなことは考えにくいため、１６ステップでの信号値はいわば推定値となっている。
【００４１】
このような信号処理は、階調表現が十分にできないソラリゼーションや、ノイズ感の面でのリスクを抱える信号処理である。ここで、「ソラリゼーション」とは、映像信号の分解能がカメラ信号処理などでの演算精度の不足で欠落し、階調変化がある被写体において連続的な輝度変化を表現できずに段差が生じ、これが２次元的に並んでしまうことで模様（輪郭）のように見える画質劣化現象である。
【００４２】
ノイズに関しては、元のノイズレベルが１であっても、α倍されるとαのレベル差となる。αが１６である場合は、合成処理で得られる信号値は、図３に示すような飛び飛びの値を取る。
【００４３】
図４に、短時間蓄積データに対して重み付け処理を行わないときの輝度レベルと出力イメージを示す。図４において、（ａ）は倍率演算前の短時間蓄積データを表わし、（ｂ）は倍率演算後の短時間蓄積データを表わしている。
【００４４】
図４（ａ）に示すように、輝度レベルが徐々に変化するシーンにおいても、デジタル値は１ステップでしか刻むことができない。これを倍率演算すると、図４（ｂ）に示すように、１ステップではなく倍率（ここでは、１６倍）ステップになってしまう。例えば、１デジタル値、２デジタル値の出力は、１６デジタル値、３２デジタル値へ変化する。つまり、１６デジタル値と３２デジタル値との間に、１６デジタル値（＝３２−１６デジタル値）の出力の谷間が発生する。
【００４５】
このような問題を解消する機能、即ち、合成処理で得られる信号値が飛び飛びの値しか取らない出力状態を解消する機能を、信号処理回路４、より具体的には、重み付け部４５に持たせている点が本実施形態の特徴とするところである。
【００４６】
本実施形態では、倍率演算部４３での倍率演算後に、重み付け部４５で重み付けを行うことで、上記の谷間の修復を行う。図５に、本実施形態に係る重み付けを適用した場合の輝度レベルと出力イメージを示す。図５において、（ａ）は倍率演算前の短時間蓄積データを表わし、（ｂ）は倍率演算後の短時間蓄積データを表わしている。
【００４７】
先ず、デジタル値は１以下の数字を刻むことができないため、得られる出力は１デジタル値と２デジタル値であるとする（１０ビットであれば、０〜１０２３デジタル値の間を１ステップずつ遷移可能だが、小数点以下を取ることはできない）。ここでは、谷間を埋めることはできない。
【００４８】
次に、倍率演算部４３で倍率演算を行い、それぞれ１６デジタル値と３２デジタル値へ変化させる。倍率演算後は、表現可能なデジタル値に空きができる。つまり、この例の場合、１７デジタル値〜３１デジタル値を保持することができる。重み付け部４５でこの重み付け処理を実施する。
【００４９】
１デジタル値は、０．５〜１．５デジタル値（実際には取れない値）が収束されて１デジタル値となっている。２デジタル値は、１．５〜２．５デジタル値（実際には取れない値）が収束されて２デジタル値となっている。このように考えると、図５（ｂ）に示すように、倍率演算後（ここでは、１６倍）に本来取るべき数字は１デジタル値であれば１６倍の８〜２４の間、２デジタル値であれば２４〜４０の間となる。つまり、出力値に対して±（α／２）の範囲内の数値をとる（αは蓄積時間の倍率差。今回の場合、±８の範囲内）。
【００５０】
このように、重み付け部４５での重み付けによって谷間の修復を行うことにより、ワイドダイナミックレンジ化に当たり、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差に相当するステップを持つ不自然な階調が緩和され、より階調性豊かな映像表現が可能になる。すなわち、被写体の持つ本来の輝度情報を階調性豊かに表現することができる。換言すれば、被写体本来の状態をより忠実に予測再現することができる。これにより、重み付け部４５以降における信号処理についてもより的確に行うことができる。
【００５１】
上述した本実施形態に係る重み付け処理の概念を基とした、重み付け部４５の具体的な実施例について以下に説明する。尚、図１に示した撮像装置において、本実施形態に係る重み付け部４５の配置箇所は一例であって、短時間蓄積データに対して重み付けを行うことができる信号処理経路中の箇所であればいずれの箇所であってもよい。
【００５２】
［２−１．実施例１］
実施例１に係る重み付け部４５では、着目画素に関連する画素として当該着目画素の周辺画素を用いる。具体的には、図６に示すように、ある画素行における画素Ｂを着目画素とするとき、同じ画素行において着目画素Ｂと左右に隣接する画素Ａ，Ｃを、着目画素Ｂに関連する画素として用いる。
【００５３】
そして、重み付け部４５は、倍率演算部４３での倍率演算後の短時間蓄積データ（信号値）に対して、画素Ａ，Ｃの信号値を用いて、下記の条件の下に重み付け処理を行う。以下では、説明の簡略化のために、画素Ａ，Ｂ，Ｃの各信号値を単にＡ，Ｂ，Ｃと記述するものとする。
【００５４】
（着目画素Ｂに対する処理）
ＡとＣの平均値（中間値）がＢよりも小さい場合：Ｂの値−４デジタル値
ＡとＣの平均値（中間値）がＢよりも大きい場合：Ｂの値＋４デジタル値
ＡとＣの平均値（中間値）がＢと同じ場合：重み付けなし
【００５５】
つまり、ここでは重み付けの際に±（α／４）の値を用いて演算しているが、基本的には、出力値に対して±（α／２）の範囲内の数値を取るようにすればよい。±（α／４）は、±（α／２）の中間点（中間値）を取るための数値である。±（α／４）の値を用いて重み付けを行うことで、図７（ｂ）に示すように、１デジタル値は倍率演算と重み付け後に、１２，１６，２０デジタル値のいずれかの値を取り、２デジタル値は２８，３２，３６デジタル値のいずれかの値を取る。
【００５６】
図７に、実施例１に係る重み付け処理をした場合の輝度レベルと出力イメージを示す。図７において、（ａ）は倍率演算前の短時間蓄積データを表わし、（ｂ）は倍率演算後の短時間蓄積データを表わしている。
【００５７】
実施例１に係る重み付け処理によれば、同じ画素行において着目画素Ｂと隣接する画素Ａ，Ｃの信号値を基に重み付けを行なうことで、ワイドダイナミックレンジ化の際に、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差に相当するステップ（本例の場合、αステップ）を持つ不自然な階調が緩和される。その結果、より階調性豊かな映像表現を実現できる。
【００５８】
（ノイズリダクションについて）
ところで、固体撮像素子の信号処理において、周辺画素の信号値を使って、着目画素の数値を決定する手法の一つとして、ノイズリダクションの概念がある（例えば、特開２００５−３１１４５５号公報参照）。
【００５９】
ノイズリダクションは、任意の領域内で平滑化することによって、ノイズ感を除去する技術であり、ワイドダイナミックレンジ化にこの手法を用いることによっても、１６倍の露光差の固体撮像素子の場合であっても、１６デジタル値ステップの信号ではなく、図８に示すように、平滑化された信号値を得ることができる。
【００６０】
図８は、ノイズリダクションの技術を用いたときに得られる画素信号の信号値を示す図である。また、図９は、図８の信号値を横方向にプロットしてグラフ化した図である。図８及び図９において、（ａ）は被写体の輝度分布を、（ｂ）は短時間蓄積画素の信号値を、（ｃ）は倍率演算後の信号値を、（ｄ）はノイズリダクション後の信号値をそれぞれ表わしている。
【００６１】
図８（ａ）に示すように、被写体の輝度レベルは滑らかな輝度レベルを有しているものとする。それに対して、ワイドダイナミックレンジの短時間蓄積画素で得られる画素信号の信号値は、図８（ｂ）のようになる。まずこの時点で細かい階調が潰れることになる。例えば、固体撮像素子の出力データが１０ビットであった場合、０〜１０２３デジタル値で被写体の輝度レベルを表現する必要がある。表現が必要な輝度レベルが０〜１０２３０であった場合、輝度レベル１０ステップ毎に１デジタル値が向上することになる。
【００６２】
つまり、輝度信号が滑らかなアナログ値であっても、デジタル段階では当然ながら階段的に信号値が変化する。このようにビット幅と輝度階調の差異が階調潰れの原因となっている。そして、図８（ｃ）においては、長時間蓄積、短時間蓄積の蓄積時間の倍率差（この例では、１６倍）を短時間蓄積データに対して掛け合わせる。これは時間長蓄積データと短時間蓄積データを合成するために必要な処理である。
【００６３】
この時点では、階調が潰れたままの状態となっている。更に、ノイズリダクション処理を加えると、図８（ｄ）に示すようになる。ノイズリダクション（平滑化）の手法は多々あるが、ここでは着目画素と、左右に隣接する画素の３つの画素の平均値を着目画素の処理後の値としている。こうすることで元の輝度レベルのような階調表現を得ることができる。
【００６４】
しかし、微細なエッジを含むパターン（被写体）においては、ノイズリダクション処理が弊害となることもある。例えば、図１０（ａ）に示すようなエッジを含む被写体があった場合、短時間蓄積画素の信号値は、図１０（ｂ）に示すようになる。更に、ワイドダイナミックレンジ化の合成のために蓄積時間の倍率差（この例では、１６倍）を掛け合わせると、図１０（ｃ）に示すようになる。
【００６５】
ここで先程と同じように着目画素と左右の周辺画素の３画素の平均値を着目画素の値に置き換えると、図１０（ｄ）に示すようになる。図１０（ｄ）からも分かるようにエッジの値が潰れてしまい、周辺の値もエッジ部分と同じ出力値になっている。これが平滑化、即ち、ノイズリダクション処理の弊害である。図１１は、図１０の信号値を横方向にプロットしてグラフ化した図である。
【００６６】
（重み付け処理による特有の作用、効果）
実施例１に係る重み付け処理によれば、先述したより階調性豊かな映像表現を実現できるという作用、効果に加えて、以下に説明するような、ノイズリダクション処理では得られない特有の作用、効果を得ることができる。
【００６７】
図１２は、実施例１に係る重み付け処理を適用したときに得られる画素信号の信号値を示す図である。また、図１３は、図１２の信号値を横方向にプロットしてグラフ化した図である。図１２及び図１３において、（ａ）は被写体の輝度分布を、（ｂ）は短時間蓄積画素の信号値を、（ｃ）は倍率演算後の信号値を、（ｄ）は重み付け後の信号値をそれぞれ示している。尚、図１２及び図１３は、図８及び図９にそれぞれ対応している。
【００６８】
図１２及び図１３と、図８及び図９との対比から明らかなように、被写体像に微細なエッジを含むパターンが存在しない場合には、実施例１に係る重み付け処理によっても、ノイズリダクション（平滑化）処理と類似した結果が得られる。
【００６９】
これに対して、微細なエッジを含むパターン（被写体像）においては、実施例１に係る重み付け処理を用いることにより、ノイズリダクション処理における弊害を無くすことができる。すなわち、実施例１に係る重み付け処理によれば、ノイズリダクション処理とは異なり、画素が本来取り得る信号値を予測するのみであるため、エッジが潰れるような不具合を発生させない。この特有の作用、効果については、後述する実施例２乃至実施例４についても同様のことが言える。
【００７０】
図１４は、微細なエッジを含む被写体に対して実施例１に係る重み付け処理を適用したときに得られる画素信号の信号値を示す図である。また、図１５は、図１４の信号値を横方向にプロットしてグラフ化した図である。図１４及び図１５において、（ａ）は被写体の輝度分布を、（ｂ）は短時間蓄積画素の信号値を、（ｃ）は倍率演算後の信号値を、（ｄ）は重み付け後の信号値をそれぞれ示している。尚、図１４及び図１５は、図１０及び図１１にそれぞれ対応している。
【００７１】
図１４（ｄ）及び図１５（ｄ）と、図１０（ｄ）及び図１１（ｄ）との対比から明らかなように、実施例１に係る重み付け処理によれば、微細なエッジを含むパターンにおいてエッジの値が潰れるという弊害は生じない。すなわち、ノイズリダクション処理を用いた場合には、平滑化によって急峻なエッジ部が潰れるのに対して、実施例１に係る重み付け処理を用いた場合には、元の画素信号が取り得る値の範囲内にのみ限定して演算を行うため、エッジ部が潰れるような弊害は生じない。
【００７２】
［２−２．実施例２］
実施例２に係る重み付け部４５では、着目画素に関連する画素として、図１６に示す画素配列において、ある画素行における画素Ｅを着目画素とするとき、当該着目画素Ｅに対して同じ画素行において左右に隣接する画素Ｄ，Ｆ、及び、同じ画素列において上下に隣接する画素Ｂ，Ｈを用いる。
【００７３】
そして、重み付け部４５は、倍率演算部４３での倍率演算後の短時間蓄積データ（信号値）に対して、周辺画素Ｄ，Ｆ，Ｂ，Ｈの信号値を用いて、下記の条件の下に重み付け処理を行う。以下では、説明の簡略化のために、画素Ｂ，Ｄ，Ｅ，Ｆ，Ｈの各信号値を単にＢ，Ｄ，Ｅ，Ｆ，Ｈと記述するものとする。
【００７４】
（着目画素Ｅに対する処理）
(1)ＤとＦの平均値（中間値）がＥよりも小さい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも小さい場合：Ｅの値−６デジタル値
(2)ＤとＦの平均値（中間値）がＥよりも大きい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも大きい場合：Ｅの値＋６デジタル値
(3)ＤとＦの平均値（中間値）がＥよりも小さい場合で、なおかつ、ＢとＨの平均値（中間値）がＥと同じ出力の場合：Ｂの値−４デジタル値
(4)ＤとＦの平均値（中間値）がＥよりも大きい場合で、なおかつ、ＢとＨの平均値（中間値）がＥと同じ出力の場合：Ｂの値＋４デジタル値
(5)ＤとＦの平均値（中間値）がＥよりも小さい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも大きい出力の場合、Ｄ，Ｆ，Ｂ，Ｈの平均値がＥより小さい場合：Ｂの値−２デジタル値
(6)ＤとＦの平均値（中間値）がＢよりも小さい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも大きい出力の場合、Ｄ，Ｆ，Ｂ，Ｈの平均値がＥより大きい場合：Ｂの値＋２デジタル値
(7)ＤとＦの平均値（中間値）がＢよりも大きい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも小さい出力の場合、Ｄ，Ｆ，Ｂ，Ｈの平均値がＥより小さい場合：Ｂの値−２デジタル値
(8)ＤとＦの平均値（中間値）がＢよりも大きい場合で、なおかつ、ＢとＨの平均値（中間値）がＥよりも小さい出力の場合、Ｄ，Ｆ，Ｂ，Ｈの平均値がＥより大きい場合：Ｂの値＋２デジタル値
【００７５】
上記(1)〜(8)の条件を適用することにより、１デジタル値は倍率演算（１６倍）と上記重み付け後に、１０，１２，１４，１６，１８，２０，２２の７種類のいずれかを取ることができる。つまり、従来のワイドダイナミックレンジ化では、１という出力に対して単純にα倍（１６倍）されて１６という数値に一義に決まっていたが、本技術では周辺画素の値から、±（α／２）の範囲内で数値を取ることができる。
【００７６】
上記の例では、周辺画素として、上下左右４つの隣接画素の信号値を用いるとしたが、これら４つの隣接画素に加えて、斜め方向に隣接する４つの画素の信号値を用いるようにしてよい。また、上記の例では、信号値の大小のみを比較して加算／減算するデジタル値を決めるようにしたが、例えば周辺画素の平均値などを基にしきい値を設定してさらに細かいステップで値を推定するようにしても良い。
【００７７】
例えば、図１６において、着目画素Ｅの周辺画素として、着目画素Ｅに対して斜め方向に隣接する画素Ａ，Ｃ，Ｇ，Ｉをも用いて、これら周辺画素（Ａ，Ｂ，Ｃ，Ｄ，Ｆ，Ｇ，Ｈ，Ｉ）の信号値の平均値と、着目画素Ｅの信号値の差分を求め、例えば下記のように重み付け値を細かく求めるようにしても良い。
【００７８】
着目画素Ｅ−周辺画素の平均値＞１０５以上 → −８デジタル値
着目画素Ｅ−周辺画素の平均値＞９０〜１０５未満 → −７デジタル値
着目画素Ｅ−周辺画素の平均値＞７５〜９０未満 → −６デジタル値
着目画素Ｅ−周辺画素の平均値＞６０〜７５未満 → −５デジタル値
着目画素Ｅ−周辺画素の平均値＞４５〜６０未満 → −４デジタル値
着目画素Ｅ−周辺画素の平均値＞３０〜４５未満 → −３デジタル値
着目画素Ｅ−周辺画素の平均値＞１５〜３０未満 → −２デジタル値
着目画素Ｅ−周辺画素の平均値＞１０〜１５未満 → −１デジタル値
着目画素Ｅ−周辺画素の平均値＞０〜１０未満 → ±０
尚、大小関係が逆転する場合は、上記マイナス（−）処理の部分がプラス（＋）処理となる。また、ここでのしきい値の条件や処理方法は、任意に設定可能である。
【００７９】
実施例２に係る重み付け処理によれば、着目画素に関連する画素として、実施例１の場合よりも多くの周辺画素の信号値を基に重み付けを行うことができるため、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差に相当するステップを持つ不自然な階調がより緩和されることになる。
【００８０】
［２−３．実施例３］
実施例１及び実施例２に係る重み付け処理では、着目画素の周辺画素、即ち、隣接画素の信号値をそのまま用いて重み付けを行うようにしていた。これに対して、実施例３に係る重み付け処理では、着目画素の例えば前後の隣接画素の傾向から重み付けを行うようにするようにしている。
【００８１】
具体的には、前後の隣接画素の傾向、即ち、当該隣接画素の信号値の変化量の差分の傾向（傾き）から前後の隣接画素の信号値を推定し、当該推定値を用いて重み付けを行うようにする。着目画素の前後の隣接画素の傾向を見るには、前後の隣接画素に対して座標的に連続な複数の画素の出力値（信号値）、例えば、行方向において連続する複数の画素出力値を用いるようにすればよい。
【００８２】
図１７を用いてより具体的に説明する。図１７において、（ａ）は重み付け前の各座標における画素の出力値（信号値）を、（ｂ）は重み付け後の各座標における画素の出力値をそれぞれ表わしている。図１７（ａ）において、着目画素を太枠画素とした場合、隣接画素だけを見ると同じ出力値となっているため、着目画素の信号値は重み付けされないことになる。
【００８３】
しかし、着目画素の前後の隣接画素の傾向、つまり、隣接画素の変化量の差分の傾向（傾き）を見ると、隣接画素の信号値よりも着目画素の信号値を高くする方が自然であることが容易に推定できる。従って、着目画素の前後の隣接画素の傾向から隣接画素の信号値を推定し、当該推定値を用いて着目画素の信号値に対して重み付けを行うことで、図１７（ｂ）に示すように、隣接画素の信号値よりも着目画素の信号値を高くなる。このときの重み付けの仕方としては、実施例１，２の場合と同様に、蓄積時間の倍率差の範囲内とする。
【００８４】
このように、着目画素に関連する画素（本例では、前後の隣接画素の傾向）の傾向から重み付けを行うようにしても、実施例１，２の場合と同様に、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差分のステップを持つ不自然な階調が緩和されることになる。その結果、より階調性豊かな映像表現を実現できる。
【００８５】
［２−４．実施例４］
実施例１乃至実施例３に係る重み付け処理では、着目画素に対して位置的（座標的）に異なる当該着目画素の周辺画素の信号値を用いて重み付けを行うようにしていた。これに対して、実施例４に係る重み付け処理では、着目画素に対して時間的に異なる当該着目画素と同一座標の画素の信号値を用いて重み付けを行うようにしている。
【００８６】
ここで、「着目画素に対して時間的に異なる同一座標の画素」とは、前にも述べたように、着目画素と異なる撮像フレームにおける着目画素と同一座標（同一位置）の画素（位置的（座標的）に同一の画素）である。従って、実施例４に係る重み付け処理は、同一座標の画素の信号値の時間的変化から重み付けを行うということになる。
【００８７】
実施例４に係る重み付け処理について、同一座標の画素の時間的変化を表わす図１８を用いてより具体的に説明する。図１８は、連続する５つの撮像フレームにおける５つの画素１〜５の重み付け前（ａ）、重み付け後（ｂ）の状態を表わしている。すなわち、図１８において、画素１〜５の番号は、同一座標の画素についての撮像フレーム順を示している。
【００８８】
ここでは、図１８において、画素５を着目画素とする。この着目画素５に対して重み付けを行う場合、その前の時間軸（フレーム）の画素１〜４の各出力値（信号値）を参照して、下記の処理を行うようにする。この場合、図１のメモリ部４２に、異なる時間（フレーム）の信号値データが蓄積されているものとする。
【００８９】
（着目画素５に対する処理）
画素１〜４の平均値（中間値）が画素５の信号値よりも小さい場合：画素５の信号値−４デジタル値
画素１〜４の平均値（中間値）が画素５の信号値よりも大きい場合：画素５の信号値＋４デジタル値
画素１〜４の平均値（中間値）が画素５と同じ場合：重み付けなし
【００９０】
図１８の例の場合、画素１〜４の信号値の平均値を点線で示している。画素５の信号値は、この平均値に対して大きな値となっている。従って、この場合は、上記で定めた処理のうち、１番目の処理、即ち、画素５の信号値から４デジタル値を減算する処理を実行することになる。
【００９１】
このように、着目画素に対して時間的に異なる当該着目画素と同一座標の画素の信号値を用いて重み付けを行うようにしても、短時間蓄積画素と長時間蓄積画素の蓄積時間の倍率差分のステップを持つ不自然な階調が緩和されることになる。その結果、より階調性豊かな映像表現を実現できる。
【００９２】
［２−５．重み付け部の具体的な回路例］
次に、実施例１乃至実施例４に係る重み付け処理を実行する重み付け部４５の回路構成について、その具体的な回路例を示す図１９を用いて説明する。
【００９３】
図１９に示すように、本例に係る重み付け部４５は、差分計算部４５１、メモリ参照部４５２、及び、加算／減算部４５３から成る構成となっている。
【００９４】
差分計算部４５１は、着目画素に関連する画素の信号値と着目画素の信号値との差分値を求める。メモリ参照部４５２は、着目画素に関連する画素の信号値と着目画素の信号値との差分値に対応した複数の重み付け値を予め格納する。加算／減算部４５３は、メモリ参照部４５２から差分計算部４５１が求めた差分値に対応する重み付け値を得て着目画素の信号値に対して加算または減算する。
【００９５】
ここで、上記構成の重み付け部４５による重み付け処理について説明する。先述した実施例１乃至実施例４に係る重み付け処理を行うに当たり、先ず、短時間蓄積画素の信号値は、重み付け部４５の前段の倍率演算部４３において短時間蓄積画素と長時間蓄積画素との蓄積時間の倍率差αが掛け算される。このα倍された短時間蓄積画素の画素データは、差分計算部４５１及び加算／減算部４５３に与えられる。
【００９６】
差分計算部４５１は、着目画素に関連する画素の信号値と着目画素の信号値とを比較し、その差分値を計算する。この差分値は、メモリ参照部４５２に与えられる。メモリ参照部４５２には、種々の差分値に対応して各差分値のときにどのような重み付け処理を行うかの情報、即ち、種々の差分値に対応した重み付け値が記憶されている。従って、メモリ参照部４５２からは、差分計算部４５１が求めた差分値に対応する所定の重み付け値が出力される。
【００９７】
メモリ参照部４５２から出力された重み付け値は、加算／減算部４５３に与えられる。加算／減算部４５３は、倍率演算部４３で倍率演算後の短時間蓄積データに対して、メモリ参照部４５２を参照した結果の重み付け値を加算または減算する。
【００９８】
尚、ここでは、長時間蓄積画素につては詳細な説明を割愛しているが、一般に、ワイドダイナミックレンジ化の処理では、暗部では長時間蓄積画素のデータが用いられ、明部では短時間蓄積画素のデータが用いられる。
【００９９】
［２−６．長時間蓄積／短時間蓄積の各画素の配置例］
（画素配列例１）
ワイドダイナミックレンジ化を図る技術の一つとして、ＳＶＥ（Spatially Varying Exposure）方式のワイドダイナミックレンジ撮像技術が知られている（例えば、特開２００７−１３５２００号公報参照）。ＳＶＥ方式の場合の画素配列の一例を図２０に示す。図２０の画素配列では、２行毎に短時間蓄積画素と長時間蓄積画素とが配列されている。
【０１００】
このように、２行毎に短時間蓄積画素と長時間蓄積画素とが配列されて成る画素配列において、例えば実施例２に係る重み付け処理を行う場合を例に挙げて、着目画素と周辺画素との関係について説明する。
【０１０１】
図２０において、例えば、短時間蓄積のＲ3の画素を着目画素とする場合、同じ短時間蓄積画素であり、かつ、同色の画素である近傍のＲ1，Ｒ2，Ｒ4，Ｒ5の各画素を周辺画素として用い、これら画素Ｒ1，Ｒ2，Ｒ4，Ｒ5の各信号値を基に着目画素Ｒ3の信号値に対して重み付けを行うようにする。
【０１０２】
この場合、画素Ｒ2，Ｒ4に比べて画素Ｒ1，Ｒ5の方が着目画素Ｒ3に対して２倍距離が離れているため、画素Ｒ2，Ｒ4の信号値に対して２倍の重み付けを行うようにしてもよい。
【０１０３】
例えば、
着目画素Ｒ3の信号値：５０
画素Ｒ1，Ｒ5の平均値：４０
画素Ｒ2，Ｒ4の平均値：６０
と仮定する。このとき、画素Ｒ2，Ｒ4の信号値に対して重み付けを行わない場合は、画素Ｒ1，Ｒ2，Ｒ4，Ｒ5の平均値が着目画素Ｒ3の信号値と同じ５０であるため、着目画素Ｒ3の信号値に対して重み付けを行わないことになる（但し、周辺画素の平均値と着目画素の信号値とを比較して重み付け値を決める場合）。
【０１０４】
しかし、上述したように、画素Ｒ2，Ｒ4に比べて画素Ｒ1，Ｒ5の方が着目画素Ｒ3に対して２倍距離が離れているため、画素Ｒ2，Ｒ4の信号値に対して２倍の重み付けを行う。これにより、
周辺画素の平均値＝（４０＋６０×２）／３
＝５３
となり、周辺画素の平均値の方が着目画素Ｒ3の信号値よりも大きくなる。この場合、前述したように、着目画素Ｒ3の信号値に対して蓄積時間の倍率差の範囲内で所望の値を加算する重み付けを行うようにしてもよい。
【０１０５】
（画素配列例２）
ワイドダイナミックレンジ化を図る技術の他の一つとして、１つの画素を、電荷の蓄積時間が異なる複数の小画素に分割する方式のワイドダイナミックレンジ撮像技術が知られている（例えば、特開２０１０−２８４２３号公報参照）。この画素分割方式の場合の画素配列の一例を図２１に示す。図２１の画素配列では、４分割、即ち、４つの小画素を１つの画素に見立てて、上段２つの小画素を短時間蓄積画素とし、下段２つの小画素を長時間蓄積画素としている。
【０１０６】
このように、蓄積時間が異なる４つの小画素に分割された単位画素が行列状に２次元配置されて成る画素配列において、例えば、実施例２に係る重み付け処理を行う場合を例に挙げて着目画素と周辺画素との関係について説明する。但し、実施例２では、上下左右の４つの隣接画素を周辺画素として用いていたのに対し、本例では、着目画素に対して斜め方向において隣接する４つの隣接画素を周辺画素として用いるものとする。
【０１０７】
すなわち、本例では、図２１において、例えば、図の中央部の太枠で囲った緑の画素を着目画素とする場合、本例では、例えば、着目画素に対して斜め方向において隣接する、周辺の太枠で囲った４つの緑の画素を周辺画素として用いて重み付けを行う。
【０１０８】
蓄積時間が異なる複数の小画素に分割する方式のワイドダイナミックレンジ撮像技術では、短時間蓄積の小画素の信号値と長時間蓄積の小画素の信号値とが個別に読み出されるようになっている。従って、上述した重み付け処理において、実際に使用される画素の信号値は、図２１の各太枠部分の上段の短時間蓄積画素の信号値となる。
【０１０９】
＜３．変形例／適用例＞
前述したようなノイズリダクション（平滑化）の処理を行う回路部分を、本実施形態に係る重み付け部４５の後段の信号処理経路中に配置する構成を採ることもできる。かかる構成を採ることにより、ノイズリダクション処理に用いる元の信号レベルが、本実施形態に係る重み付け部４５の作用によって、より正確な階調で表現されたデジタル値となるため、ノイズリダクション処理をより的確に行うことができる。
【０１１０】
また、上記の実施形態では、第１の画素群と第２の画素群との間に電荷の蓄積時間がα倍異なる場合を例に挙げて説明したが、光感度がα倍異なるようにしても、即ち、α倍の蓄積時間差に相当するα倍の感度差を持たせるようにしても、同様の作用、効果を得ることができる。画素間で光感度を異ならせる技術としては、例えば、カラーフィルタの上に配される光減衰膜の光透過度を画素間で異ならせる技術（例えば、特開２０１０−２８４２３号公報参照）などを用いることができる。
【０１１１】
また、上記の実施形態では、ワイドダイナミックレンジ化に当たって、電荷の蓄積時間について、長い蓄積時間と短い蓄積時間の２種類に設定するとしたが、本開示の技術は、２種類の蓄積時間に限られるものではなく、３種類以上の蓄積時間に設定する場合にも同様に適用可能である。光感度についても、蓄積時間と同様である。
【０１１２】
また、図２０及び図２１では、カラーフィルタの色配列についてＲ，Ｇ，Ｂのベイヤー配列を例に挙げて説明したが、本開示の技術は、Ｒ，Ｇ，Ｂのベイヤー配列のカラーフィルタを用いる固体撮像素子への適用に限られるものではない。例えば、クリアビット配列や染料系カラーフィルタなどを用いる固体撮像素子に対しても同様に適用可能である。更には、同一画素内のフォトダイオードを縦方向に３段構成とし、同一画素内から複数の色信号を得る縦型分光構造の固体撮像素子（例えば、特開２０１０−２８４２３号公報参照）に対しても適用可能である。
【０１１３】
＜４．本開示の構成＞
尚、本開示は以下のような構成を採ることができる。
（１）第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号を処理するのに、
前記第１の画素群における着目画素の信号値をα倍する演算部と、
前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う重み付け部と、
前記演算部でα倍し、かつ、前記重み付け部で重み付けした信号値と前記第２の画素群の画素の信号値とを合成する合成部と
を備える固体撮像素子の信号処理回路。
（２）前記着目画素に関連する画素は、前記着目画素に対して位置的に異なる当該着目画素の周辺画素である
前記（１）に記載の固体撮像素子の信号処理回路。
（３）前記周辺画素は、前記着目画素に隣接する画素である
前記（２）に記載の固体撮像素子の信号処理回路。
（４）前記周辺画素は、前記着目画素に隣接する画素に対して座標的に連続な複数の画素である
前記（３）に記載の固体撮像素子の信号処理回路。
（５）前記重み付け部は、前記複数の画素の信号値を基に前記着目画素に隣接する画素の信号値を推定し、当該推定値を用いて重み付けを行う
前記（４）に記載の固体撮像素子の信号処理回路。
（６）前記着目画素に関連する画素は、前記着目画素に対して時間的に異なる当該着目画素と同一座標の画素である
前記（１）に記載の固体撮像素子の信号処理回路。
（７）前記着目画素に関連する画素は、前記着目画素と同一色の画素である
前記（１）から前記（６）のいずれかに記載の固体撮像素子の信号処理回路。
（８）前記重み付け部は、±（α／２）の範囲内の重み付け値にて重み付けを行う
前記（１）から前記（７）のいずれかに記載の固体撮像素子の信号処理回路。
（９）前記重み付け部は、±（α／４）の重み付け値にて重み付けを行う
前記（８）に記載の固体撮像素子の信号処理回路。
（１０）前記重み付け部は、前記着目画素の信号値と前記着目画素に関連する画素の信号値とを比較し、その比較結果に基づいて±（α／２）の範囲内で重み付け値を前記着目画素の信号値に加算または減算する
前記（８）に記載の固体撮像素子の信号処理回路。
（１１）前記重み付け部は、前記着目画素に関連する画素の信号値が前記着目画素の信号値よりも大きい場合は加算を行い、小さい場合は減算を行う
前記（１０）に記載の固体撮像素子の信号処理回路。
（１２）前記着目画素に関連する画素が前記着目画素に対して位置的に異なる複数の周辺画素であるとき、
前記重み付け部は、前記着目画素の信号値と前記複数の周辺画素の平均値とを比較する
前記（１０）に記載の固体撮像素子の信号処理回路。
（１３）前記重み付け部は、前記着目画素の信号値と前記着目画素に関連する画素の信号値との差分に対して複数のしきい値を設定し、当該複数のしきい値毎に異なる重み付け値を前記着目画素の信号値に加算または減算する
前記（８）に記載の固体撮像素子の信号処理回路。
（１４）前記重み付け部は、
前記着目画素に関連する画素の信号値と前記着目画素の信号値との差分値を求める差分計算部と、
前記着目画素に関連する画素の信号値と前記着目画素の信号値との差分値に対応した複数の重み付け値を予め格納するメモリ部と、
前記メモリ部から前記差分計算部が求めた差分値に対応する重み付け値を得て前記着目画素の信号値に対して加算または減算する加算／減算部とを有する
前記（１）から前記（１３）のいずれかに記載の固体撮像素子の信号処理回路。
（１５）第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号処理に当たって、
前記第１の画素群における着目画素の信号値をα倍し、前記第２の画素群の画素の信号値と合成する際に、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う
固体撮像素子の信号処理方法。
（１６）第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子と、
前記第１の画素群における着目画素の信号値をα倍する演算部、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う重み付け部、及び、前記演算部でα倍し、かつ、前記重み付け部で重み付けした信号値と前記第２の画素群の画素の信号値とを合成する合成部を備える信号処理回路と
を有する電子機器。
【符号の説明】
【０１１４】
１・・・撮像装置、２・・・光学系、３・・・固体撮像素子、４・・・信号処理回路、４０・・・Ａ／Ｄ変換部、４１・・・クランプ部、４２・・・メモリ部、４３・・・倍率演算部、４４・・・合成部、４５・・・重み付け部、４６・・・デモザイク部、４７・・・リニアマトリックス部、４８・・・ガンマ補正部、４９・・・輝度クロマ信号生成部、４５１・・・差分計算部、４５２・・・メモリ参照部、４５３・・・加算／減算部
【特許請求の範囲】
【請求項１】
第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号を処理するのに、
前記第１の画素群における着目画素の信号値をα倍する演算部と、
前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う重み付け部と、
前記演算部でα倍し、かつ、前記重み付け部で重み付けした信号値と前記第２の画素群の画素の信号値とを合成する合成部と
を備える固体撮像素子の信号処理回路。
【請求項２】
前記着目画素に関連する画素は、前記着目画素に対して位置的に異なる当該着目画素の周辺画素である
請求項１に記載の固体撮像素子の信号処理回路。
【請求項３】
前記周辺画素は、前記着目画素に隣接する画素である
請求項２に記載の固体撮像素子の信号処理回路。
【請求項４】
前記周辺画素は、前記着目画素に隣接する画素に対して座標的に連続な複数の画素である
請求項３に記載の固体撮像素子の信号処理回路。
【請求項５】
前記重み付け部は、前記複数の画素の信号値を基に前記着目画素に隣接する画素の信号値を推定し、当該推定値を用いて重み付けを行う
請求項４に記載の固体撮像素子の信号処理回路。
【請求項６】
前記着目画素に関連する画素は、前記着目画素に対して時間的に異なる当該着目画素と同一座標の画素である
請求項１に記載の固体撮像素子の信号処理回路。
【請求項７】
前記着目画素に関連する画素は、前記着目画素と同一色の画素である
請求項１に記載の固体撮像素子の信号処理回路。
【請求項８】
前記重み付け部は、±（α／２）の範囲内の重み付け値にて重み付けを行う
請求項１に記載の固体撮像素子の信号処理回路。
【請求項９】
前記重み付け部は、±（α／４）の重み付け値にて重み付けを行う
請求項８に記載の固体撮像素子の信号処理回路。
【請求項１０】
前記重み付け部は、前記着目画素の信号値と前記着目画素に関連する画素の信号値とを比較し、その比較結果に基づいて±（α／２）の範囲内で重み付け値を前記着目画素の信号値に加算または減算する
請求項８に記載の固体撮像素子の信号処理回路。
【請求項１１】
前記重み付け部は、前記着目画素に関連する画素の信号値が前記着目画素の信号値よりも大きい場合は加算を行い、小さい場合は減算を行う
請求項１０に記載の固体撮像素子の信号処理回路。
【請求項１２】
前記着目画素に関連する画素が前記着目画素に対して位置的に異なる複数の周辺画素であるとき、
前記重み付け部は、前記着目画素の信号値と前記複数の周辺画素の平均値とを比較する
請求項１０に記載の固体撮像素子の信号処理回路。
【請求項１３】
前記重み付け部は、前記着目画素の信号値と前記着目画素に関連する画素の信号値との差分に対して複数のしきい値を設定し、当該複数のしきい値毎に異なる重み付け値を前記着目画素の信号値に加算または減算する
請求項８に記載の固体撮像素子の信号処理回路。
【請求項１４】
前記重み付け部は、
前記着目画素に関連する画素の信号値と前記着目画素の信号値との差分値を求める差分計算部と、
前記着目画素に関連する画素の信号値と前記着目画素の信号値との差分値に対応した複数の重み付け値を予め格納するメモリ部と、
前記メモリ部から前記差分計算部が求めた差分値に対応する重み付け値を得て前記着目画素の信号値に対して加算または減算する加算／減算部とを有する
請求項１に記載の固体撮像素子の信号処理回路。
【請求項１５】
第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号処理に当たって、
前記第１の画素群における着目画素の信号値をα倍し、前記第２の画素群の画素の信号値と合成する際に、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う
固体撮像素子の信号処理方法。
【請求項１６】
第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子と、
前記第１の画素群における着目画素の信号値をα倍する演算部、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う重み付け部、及び、前記演算部でα倍し、かつ、前記重み付け部で重み付けした信号値と前記第２の画素群の画素の信号値とを合成する合成部を備える信号処理回路と
を有する電子機器。
【請求項１】
第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号を処理するのに、
前記第１の画素群における着目画素の信号値をα倍する演算部と、
前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う重み付け部と、
前記演算部でα倍し、かつ、前記重み付け部で重み付けした信号値と前記第２の画素群の画素の信号値とを合成する合成部と
を備える固体撮像素子の信号処理回路。
【請求項２】
前記着目画素に関連する画素は、前記着目画素に対して位置的に異なる当該着目画素の周辺画素である
請求項１に記載の固体撮像素子の信号処理回路。
【請求項３】
前記周辺画素は、前記着目画素に隣接する画素である
請求項２に記載の固体撮像素子の信号処理回路。
【請求項４】
前記周辺画素は、前記着目画素に隣接する画素に対して座標的に連続な複数の画素である
請求項３に記載の固体撮像素子の信号処理回路。
【請求項５】
前記重み付け部は、前記複数の画素の信号値を基に前記着目画素に隣接する画素の信号値を推定し、当該推定値を用いて重み付けを行う
請求項４に記載の固体撮像素子の信号処理回路。
【請求項６】
前記着目画素に関連する画素は、前記着目画素に対して時間的に異なる当該着目画素と同一座標の画素である
請求項１に記載の固体撮像素子の信号処理回路。
【請求項７】
前記着目画素に関連する画素は、前記着目画素と同一色の画素である
請求項１に記載の固体撮像素子の信号処理回路。
【請求項８】
前記重み付け部は、±（α／２）の範囲内の重み付け値にて重み付けを行う
請求項１に記載の固体撮像素子の信号処理回路。
【請求項９】
前記重み付け部は、±（α／４）の重み付け値にて重み付けを行う
請求項８に記載の固体撮像素子の信号処理回路。
【請求項１０】
前記重み付け部は、前記着目画素の信号値と前記着目画素に関連する画素の信号値とを比較し、その比較結果に基づいて±（α／２）の範囲内で重み付け値を前記着目画素の信号値に加算または減算する
請求項８に記載の固体撮像素子の信号処理回路。
【請求項１１】
前記重み付け部は、前記着目画素に関連する画素の信号値が前記着目画素の信号値よりも大きい場合は加算を行い、小さい場合は減算を行う
請求項１０に記載の固体撮像素子の信号処理回路。
【請求項１２】
前記着目画素に関連する画素が前記着目画素に対して位置的に異なる複数の周辺画素であるとき、
前記重み付け部は、前記着目画素の信号値と前記複数の周辺画素の平均値とを比較する
請求項１０に記載の固体撮像素子の信号処理回路。
【請求項１３】
前記重み付け部は、前記着目画素の信号値と前記着目画素に関連する画素の信号値との差分に対して複数のしきい値を設定し、当該複数のしきい値毎に異なる重み付け値を前記着目画素の信号値に加算または減算する
請求項８に記載の固体撮像素子の信号処理回路。
【請求項１４】
前記重み付け部は、
前記着目画素に関連する画素の信号値と前記着目画素の信号値との差分値を求める差分計算部と、
前記着目画素に関連する画素の信号値と前記着目画素の信号値との差分値に対応した複数の重み付け値を予め格納するメモリ部と、
前記メモリ部から前記差分計算部が求めた差分値に対応する重み付け値を得て前記着目画素の信号値に対して加算または減算する加算／減算部とを有する
請求項１に記載の固体撮像素子の信号処理回路。
【請求項１５】
第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子の信号処理に当たって、
前記第１の画素群における着目画素の信号値をα倍し、前記第２の画素群の画素の信号値と合成する際に、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う
固体撮像素子の信号処理方法。
【請求項１６】
第１の画素群と、当該第１の画素群に対して電荷の蓄積時間または光感度がα倍異なる第２の画素群とを有する固体撮像素子と、
前記第１の画素群における着目画素の信号値をα倍する演算部、前記着目画素の信号値に対して当該着目画素に関連する画素の信号値を基に重み付けを行う重み付け部、及び、前記演算部でα倍し、かつ、前記重み付け部で重み付けした信号値と前記第２の画素群の画素の信号値とを合成する合成部を備える信号処理回路と
を有する電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−１１５４７０（Ｐ２０１３−１１５４７０Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５７３３５（Ｐ２０１１−２５７３３５）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]