撮像装置および画像処理方法
【課題】少ないピクセルで安定した平均値を得ることができる。
【解決手段】撮像装置１は、光を検知する受光ピクセル２ａと遮光された遮光ピクセル２ｂとを備える固体撮像素子２を有している。累積部３は、入力される遮光ピクセル２ｂの画素値を累積する。検出部４は、遮光ピクセル２ｂの画素値から最大値と最小値とを検出する。平均値算出部５は、遮光ピクセル２ｂの所定個数分の画素値の平均値を算出する。補完部６は、累積部３により累積された累積値から検出部４により検出された最大値と最小値とを除去し、除去した画素値を、平均値算出部５により算出された平均値で補完する。黒レベル作成部７は、補完部６により補完処理が施された累積値から黒レベルの基準値を作成する。
【解決手段】撮像装置１は、光を検知する受光ピクセル２ａと遮光された遮光ピクセル２ｂとを備える固体撮像素子２を有している。累積部３は、入力される遮光ピクセル２ｂの画素値を累積する。検出部４は、遮光ピクセル２ｂの画素値から最大値と最小値とを検出する。平均値算出部５は、遮光ピクセル２ｂの所定個数分の画素値の平均値を算出する。補完部６は、累積部３により累積された累積値から検出部４により検出された最大値と最小値とを除去し、除去した画素値を、平均値算出部５により算出された平均値で補完する。黒レベル作成部７は、補完部６により補完処理が施された累積値から黒レベルの基準値を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置および画像処理方法に関し、特に、固体撮像素子を有する撮像装置および固体撮像素子の出力信号を処理する画像処理方法に関する。
【背景技術】
【０００２】
ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の固体撮像素子では、ピクセルアレイに黒画素（遮光ピクセル）を用意し、黒レベルの調整（ブラッククランプ）を行っている（例えば、特許文献１〜３参照）。
【０００３】
このブラッククランプは、一般にライン毎に多画素を平均処理したものを用いる。この平均処理する過程において、他の画素より値が大きすぎたり、小さすぎたりする黒画素が混じると、横縞ノイズ等が発生する原因になる。ノイズを少なくするために、黒画素を多く用意することで改善を図っている。
【特許文献１】特許第３８０８３４９号公報
【特許文献２】特許第３６７０１４５号公報
【特許文献３】特許第３７９７１８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
平均処理にて安定した平均値を得る為には多くの黒画素を必要とする。しかし、１ラインに黒画素を多く用意すると、イメージセンサのチップ面積が大きくなる（画素はマトリクス状（行列状）に並んでいるため、水平方向に画素数を増加させると、垂直方向との乗算で画素面積への影響（インパクト）がある）。
【０００５】
本発明はこのような点に鑑みてなされたものであり、少ないピクセルで安定した平均値を得ることができる撮像装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では上記問題を解決するために、図１に示すような撮像装置１が提供される。
本発明に係る撮像装置１は、光を検知する受光ピクセル２ａと遮光された遮光ピクセル２ｂとを備える固体撮像素子２を有している。
【０００７】
累積部３は、入力される遮光ピクセル２ｂの画素値を累積する。
検出部４は、遮光ピクセル２ｂの画素値から最大値と最小値とを検出する。
平均値算出部５は、遮光ピクセル２ｂの所定個数分の画素値から平均値を算出する。
【０００８】
補完部６は、累積部３により累積された累積値から検出部４により検出された最大値と最小値とを除去し、除去した画素値を、平均値算出部５により算出された平均値で補完する。
【０００９】
黒レベル作成部７は、補完部６により補完処理が施された累積値から黒レベルの基準値を作成する。
このような撮像装置１によれば、累積部３により、入力される遮光ピクセル２ｂの画素値が累積される。検出部４により、最大値と最小値とが検出される。平均値算出部５により、遮光ピクセル２ｂの所定個数分の画素値から平均値が算出される。補完部６により、累積部３によって累積された累積値から検出部４により検出された最大値と最小値とが除去され、除去された画素値が、平均値算出部５により算出された平均値で補完される。黒レベル作成部７により、補完部６によって補完処理が施された累積値から黒レベルの基準値が作成される。
【発明の効果】
【００１０】
本発明によれば、基準値を作成する過程において、最大値および最小値を平均値で置き換えることにより、遮光ピクセルの数が少なくても安定した黒レベルの基準値を作成することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
まず、本発明の概要について説明し、その後、実施の形態を説明する。
図１は、本発明の概要を示す図である。
【００１２】
撮像装置１は、固体撮像素子２と、累積部３と、検出部４と、平均値算出部５と、補完部６と、黒レベル作成部７とを有している。
固体撮像素子２は、光を検知する（複数の）受光ピクセル２ａと遮光された（複数の）遮光ピクセル２ｂとを備えている。
【００１３】
累積部３は、入力される遮光ピクセル２ｂの画素値を累積する。入力される遮光ピクセルの単位は、特に限定されないが、例えば１行単位である。
検出部４は、入力された遮光ピクセル２ｂの画素値から最大値と最小値とを検出する。
【００１４】
平均値算出部５は、遮光ピクセル２ｂの所定個数分の画素値から平均値を算出する。
補完部６は、累積部３により累積された累積値から検出部４により検出された最大値と最小値とを除去し、除去した画素値を、平均値算出部５により算出された平均値で補完する補完処理を行う。
【００１５】
黒レベル作成部７は、補完部６により補完処理が施された累積値から黒レベルの基準値を作成する。具体的には、この累積値の平均値を黒レベルの基準値とする。
このような撮像装置１によれば、累積部３により、入力される遮光ピクセル２ｂの画素値が累積される。検出部４により、最大値と最小値とが検出される。平均値算出部５により、遮光ピクセル２ｂの所定個数分の画素値から平均値が算出される。補完部６により、累積部３によって累積された累積値から検出部４により検出された最大値と最小値とが除去され、除去された画素値が、平均値算出部５により算出された平均値で補完される。黒レベル作成部７により、補完部６によって補完処理が施された累積値から黒レベルの基準値が作成される。
【００１６】
以下、本発明の実施の形態を説明する。
図２は、実施の形態の撮像装置を示すブロック図である。
撮像装置１０は、ピクセルアレイ１１と読み出し回路１２とブラッククランプ回路１３とを有している。
【００１７】
ピクセルアレイ１１は、複数の受光ピクセルがマトリクス状に配置された受光画素領域１１ａと、複数の遮光ピクセルからなる遮光画素領域１１ｂ（図２中斜線部）とを有している。遮光ピクセルから読み出された画素信号は、受光ピクセルの画素信号から暗電流成分によるオフセットを除去するために用いられる。ここで、遮光画素領域１１ｂは、水平ライン（行）および垂直ライン（列）の一辺を形成するように配置されている。
【００１８】
読み出し回路１２は、ピクセルアレイ１１から受光画素領域１１ａおよび遮光画素領域１１ｂの画素信号を１水平ライン毎に読み出す。その後、読み出した画素信号をＡＤ変換処理することにより、遮光ピクセルの画素値（量子化値）を取得する。
【００１９】
ブラッククランプ回路１３は、ピクセルアレイ１１の温度変動に対して、黒レベルを一定に保つ回路であり、入力された遮光画素領域１１ｂの各画素値を用いて黒レベルの基準値を作成する。これにより、温度上昇等によって発生する暗電流の増加分をキャンセルすることができる。
【００２０】
次に、ブラッククランプ回路１３の黒レベルの基準値の作成処理について説明する。
図３は、ブラッククランプ回路の黒レベルの基準値の作成処理を示すフローチャートである。
【００２１】
まず、入力された画素値が処理対象の画素値か否か、すなわち、遮光画素領域１１ｂの画素値か否かを判断する（ステップＳ１）。この判断は、例えば撮像装置１０が備えるタイミングジェネレータ（図示せず）によって与えられるタイミング信号等に基づいて行うことができる。
【００２２】
処理対象の画素値でない場合（ステップＳ１のＮｏ）、処理対象の画素値の入力を待機する。
処理対象の画素値である場合（ステップＳ１のＹｅｓ）、その画素値を、前回入力された画素値に累積する（ステップＳ２）。
【００２３】
次に、今回入力された処理対象の画素値を、ブラッククランプ回路１３に保持されている値と比較することにより、今回入力された画素値が今まで入力された画素値の中で最も大きいか否か（最大値か否か）を判断する（ステップＳ３）。具体的には、最初に入力された値であれば、入力された画素値を、黒レベルを規定する予め用意された初期値または最小値０と比較する。最初に入力された画素値でなければ（２回目以降の画素値であれば）、入力された画素値を、ブラッククランプ回路１３が保持する今までに入力された画素値と比較し、最大値か否かを判断する。
【００２４】
そして、最大値ではない場合（ステップＳ３のＮｏ）、ステップＳ５に移行する。一方、最大値である場合（ステップＳ３のＹｅｓ）、その値を保持（上書き）し（ステップＳ４）、ステップＳ７に移行する。この保持した画素値が、ステップＳ３にて次回以降に入力された画素値と比較する画素値となる。
【００２５】
次に、入力された画素値が最小値か否かを判断する（ステップＳ５）。具体的には、最初に入力された値であれば、入力された画素値を、黒レベルを規定する予め用意された初期値（ステップＳ３のものと同じでも異なっていてもよい）または最大値（例えば１０ｂｉｔならば１０２３等）と比較する。最初に入力された画素値でなければ（２回目以降の画素値であれば）、入力された画素値を、ブラッククランプ回路１３が保持する今までに入力された画素値と比較し、最小値か否かを判断する。
【００２６】
そして、最小値ではない場合（ステップＳ５のＮｏ）、ステップＳ７に移行する。一方、最小値である場合（ステップＳ５のＹｅｓ）、その値を保存（上書き）し（ステップＳ６）、ステップＳ７に移行する。この保持した画素値が、ステップＳ５にて次回以降に入力された画素値と比較する画素値となる。
【００２７】
なお、ステップＳ２〜Ｓ６の処理は順番を入れ替えて行ってもよいし、並行して行ってもよい。
次に、今まで入力された画素値の累積値の平均値を取るタイミングを示す途中平均値出力タイミングか否かを判断する（ステップＳ７）。この判断も、例えばタイミングジェネレータによって与えられるタイミング信号等に基づいて行うことができる。また、このタイミングは、入力された画素値が２のべき乗のタイミング（例えば４番目、８番目等）であるのが好ましい。
【００２８】
途中平均値出力タイミングではない場合（ステップＳ７のＮｏ）、ステップＳ９に移行する。
一方、途中平均値出力タイミングである場合（ステップＳ７のＹｅｓ）、今まで入力された画素値の累積値の平均値を途中平均値としてそれぞれ保存する。例えば、１〜４番目に入力された画素値の累積値の平均値を第１の途中平均値として保存し、１〜８番目に入力された画素値の累積値の平均値を第２の途中平均値として保存する。
【００２９】
次に、入力されたピクセルが、最終画素であるか（対象遮光ピクセル分全てを処理したか）否かを判断する（ステップＳ９）。最終画素ではない場合（ステップＳ９のＮｏ）、ステップＳ１以降の処理を引き続き行う。
【００３０】
一方、最終画素である場合（ステップＳ９のＹｅｓ）、演算処理を行う（ステップＳ１０）。これにより、黒レベルの基準値が得られる。この演算処理については後述する。
以上で、黒レベルの基準値の作成処理を終了する。なお、ブラッククランプ回路１３は、その後、受光ピクセルから入力された各画素値と作成された黒レベルの基準値との差分をそれぞれ算出し、得られた値をそれぞれ次段（後段）の回路に出力する。
【００３１】
次に、ステップＳ１０の演算処理について詳しく説明する。
図４は、演算処理を示すフローチャートである。
まず、入力された全ての画素値の累積値から最大値および最小値を減算する（この値を累積値Ｐという）（ステップＳ２１）。
【００３２】
次に、第１の途中平均値および第２の途中平均値をそれぞれｍ倍（ｍ＝１，２，３，…）して加算する（この値を加算値Ｑという）（ステップＳ２２）。ｍの値は、特に限定されないが、次のステップＳ２３において得られる画素の累積値が、２のべき乗となるような値にするのが好ましい。
【００３３】
次に、累積値Ｐと加算値Ｑとを加算する（この値を比較用累積値Ｒという）（ステップＳ２３）。
次に、比較用累積値Ｒの平均値Ｓをとる（ステップＳ２４）。この平均値Ｓが、黒レベルの基準値となる。以上で演算処理を終了する。
【００３４】
次に、この処理について具体例を用いて説明する。
以下、遮光画素領域１１ｂは、１水平ラインに黒画素を１４画素備えるものとして説明する。
【００３５】
図５は、ブラッククランプ回路の構成を示す図である。
ブラッククランプ回路１３は、セレクタ１３１と累積部（アキュムレータ）１３２と、最大値検出部１３３と、最小値検出部１３４と、データバッファ１３５、１３６と、ビットシフト部１３７と、差分器１３８を有している。各回路の動作タイミングは、タイミングジェネレータのタイミング信号により制御されている。
【００３６】
セレクタ１３１は、入力された遮光ピクセルの画素値と、最大値検出部１３３、最小値検出部１３４、データバッファ１３５、１３６からそれぞれ出力された値とのいずれか一方の値を選択する。
【００３７】
累積部１３２は、加減算器１３２ａと、データ・ストレージ１３２ｂとを有している。
加減算器１３２ａは、セレクタ１３１により選択された値と、データ・ストレージ１３２ｂに格納されている値との加算または減算を行い、演算結果（累積値）をデータ・ストレージ１３２ｂに格納する。
【００３８】
また、累積部１３２は、加減算器１３２ａが４回演算を行った後に、データ・ストレージ１３２ｂに格納されている累積値（１〜４回分の累積値）をデータバッファ１３５に出力する。８回演算を行った後に、データ・ストレージ１３２ｂに格納されている累積値（１〜８回分の累積値）をデータバッファ１３６に出力する。
【００３９】
最大値検出部１３３は、スイッチ（セレクタ）１３３ａと、データバッファ１３３ｂと、比較器１３３ｃとを有している。
スイッチ１３３ａは、比較器１３３ｃから出力された値が“１”の場合（比較結果に応じて）データバッファ１３３ｂに入力された遮光ピクセルの画素値を格納する。
【００４０】
比較器１３３ｃは、入力された遮光ピクセルの画素値とデータバッファ１３３ｂに格納されている画素値とを比較し、入力された遮光ピクセルの画素値の方が大きい場合、比較結果として“１”をスイッチ１３３ａに出力する。一方、遮光ピクセルの画素値がデータバッファ１３３ｂに格納されている画素値以下の場合、比較結果として“０”をスイッチ１３３ａに出力する。
【００４１】
最小値検出部１３４は、スイッチ（セレクタ）１３４ａと、データバッファ１３４ｂと、比較器１３４ｃとを有している。
スイッチ１３４ａは、比較器１３４ｃから出力された値が“１”の場合（比較結果に応じて）データバッファ１３４ｂに入力された遮光ピクセルの画素値を入力する。
【００４２】
比較器１３４ｃは、入力された遮光ピクセルの画素値とデータバッファ１３４ｂに格納されている画素値とを比較し、入力された遮光ピクセルの画素値の方が小さい場合、比較結果として“１”をスイッチ１３４ａに出力する。一方、遮光ピクセルの画素値がデータバッファ１３４ｂに格納されている画素値以上の場合、比較結果として“０”をスイッチ１３４ａに出力する。
【００４３】
データバッファ１３５は、例えばＤ−フリップフロップで構成されており、データ・ストレージ１３２ｂに格納されている１〜４番目に入力された画素値の累積値を読み込み、右に２ビットシフトして（１／４倍して）累積値の平均値（第１の途中平均値）を作成し、保持する。
【００４４】
データバッファ１３６は、例えばＤ−フリップフロップで構成されており、データ・ストレージ１３２ｂに格納されている１〜８番目に入力された画素値の累積値を読み込み、右に３ビットシフトして（１／８倍して）累積値の平均値（第２の途中平均値）を作成し、保持する。
【００４５】
ビットシフト部１３７は、データ・ストレージ１３２ｂから出力される値を右に４ビットシフトして（１／１６倍して）その値を差分器１３８に出力する。
差分器１３８は、ピクセルの画素値と、ビットシフト部１３７から出力されるデータとの差分を取り、次段の回路に出力する。
【００４６】
以下、この回路の動作を説明する。
１画素分の遮光ピクセルの画素値が入力される度に、累積部１３２により累積が行われ、最大値検出部１３３により最大値の検出が行われ、最小値検出部１３４により最小値の検出が行われる。
【００４７】
これにより、全ての遮光ピクセルの画素値が読み出し回路１２から出力されたときには（１行分の全１４画素がそろったときには）、データ・ストレージ１３２ｂには、１４画素分の遮光ピクセルの画素値の累積値が蓄えられ、データバッファ１３３ｂ、１３４ｂにはそれぞれ全１４画素の画素値の最大値、最小値が蓄えられる。また、データバッファ１３５には、４画素分の途中平均値を保持しており、データバッファ１３６には、８画素分の途中平均値を保持している。
【００４８】
その後、セレクタ１３１により、最大値および最小値が選択され、加減算器１３２ａによって、１４画素の累積値から最大値および最小値が減算される。
また、データバッファ１３５により、保持している平均値を左に１ビットシフトした（２倍した）値が出力される。データバッファ１３６により、保持している平均値を左に１ビットシフトした（２倍した）値が出力される。
【００４９】
そして、セレクタ１３１によりデータバッファ１３５、１３６からそれぞれ出力される２つの値が選択され、これらを加算して得られた１６画素分の累積値を最終的な累積値とする。
【００５０】
その後、ビットシフト部１３７によって最終的な平均値（黒レベルの基準値）が算出され、差分器１３８により、受光ピクセルの画素値との差分データ（ブラッククランプ後のピクセルの画素値）が作成される。
【００５１】
以上述べたように、撮像装置１０によれば、最大値検出部１３３によって最大値を検出し、最小値検出部１３４によって最小値を検出して、その値を累積値から除去し、代わりに途中平均値を用いて補完することにより、少ない黒画素で、安定した平均値を得ることができる。また、遮光ピクセル数が少なくて済むので、チップ面積縮小、コストを削減することができる。
【００５２】
ここで、最大値検出部１３３によって最大値を検出し、最小値検出部１３４によって最小値を検出することにより、読み出し回路１２から出力された１行分の画素値をソートすることなく、１回の検索（処理）にて最大値、最小値を探し出すことができる。また、途中平均値を使って置き換えるので、最終平均値を乱すことがない。また、途中平均値や、最終的な累積値を作成する際に、意図的に２のべき乗の値を作成することにより、遮光ピクセル数が切りのいい数値（例えば２のべき乗等）でない場合においても、ブラッククランプ回路１３は、除算器を備えることなく演算を行うことができるため、回路規模を縮小することができる。
【００５３】
なお、本実施の形態では、最大値、最小値のみを除去したが、これに限らず、最大値、最小値に加えて最大値の次に大きい値と最小値の次に小さい値をさらに除去するようにしてもよい。
【００５４】
また、本実施の形態では、最大値検出部１３３の検出時に、データバッファ１３３ｂには最大値のみを格納するようにしたが、これに限らず、最大値の次に大きい値も格納するようにしてもよい。そして、比較器１３３ｃが入力された遮光ピクセルの画素値と最大値の次に大きい値とを比較するようにしてもよい。これにより、１列分の全１４画素がそろったときには、データバッファ１３３ｂには、最大値と最大値の次に大きい値とが格納されることとなる（最小値検出部１３４についても同様）。そして、これらをデータ・ストレージ１３２ｂに格納されている累積値から除去することにより、さらに、安定した平均値を得ることができる。
【００５５】
なお、本実施の形態では、説明を分かり易くするために、一度平均値をとり、その後２倍する例を示したが、これに限らず、例えばデータバッファ１３５、１３６は、平均値×２の値、すなわちデータバッファ１３５は、右に１ビットシフトして（１〜４回分の平均値×２）の値を作成し、データバッファ１３６は、右に２ビットシフトして（１〜４回分の平均値×２）の値を作成するようにしてもよい。これにより、後の段階で左に１ビットシフトする処理を省略することができる。
【００５６】
また、本実施の形態では、最大値、最小値を含めた途中平均値を算出したが、本発明は、これに限定されず、最大値、最小値を除いた平均値を算出してもよい。これにより、より正確な黒レベルの基準値が得られる。
【００５７】
以上、本発明の撮像装置および画像処理方法を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。
【００５８】
また、本発明は、前述した各実施の形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。
なお、本発明の撮像装置の用途は特に限定されないが、例えばＴＶ電話用小型カメラ等に用いることができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の概要を示す図である。
【図２】実施の形態の撮像装置を示すブロック図である。
【図３】ブラッククランプ回路の黒レベルの基準値の作成処理を示すフローチャートである。
【図４】演算処理を示すフローチャートである。
【図５】ブラッククランプ回路の構成を示す図である。
【符号の説明】
【００６０】
１、１０ 撮像装置
２ 固体撮像素子
２ａ 受光ピクセル
２ｂ 遮光ピクセル
３、１３２ 累積部
４ 検出部
５ 平均値算出部
６ 補完部
７ 黒レベル作成部
１１ ピクセルアレイ
１１ａ 受光画素領域
１１ｂ 遮光画素領域
１２ 読み出し回路
１３ ブラッククランプ回路
１３１ セレクタ
１３２ａ 加減算器
１３２ｂ データ・ストレージ
１３３ 最大値検出部
１３３ａ、１３４ａ スイッチ
１３３ｂ、１３４ｂ、１３５、１３６ データバッファ
１３３ｃ 比較器
１３４ 最小値検出部
１３４ｃ 比較器
１３７ ビットシフト部
１３８ 差分器
【技術分野】
【０００１】
本発明は撮像装置および画像処理方法に関し、特に、固体撮像素子を有する撮像装置および固体撮像素子の出力信号を処理する画像処理方法に関する。
【背景技術】
【０００２】
ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の固体撮像素子では、ピクセルアレイに黒画素（遮光ピクセル）を用意し、黒レベルの調整（ブラッククランプ）を行っている（例えば、特許文献１〜３参照）。
【０００３】
このブラッククランプは、一般にライン毎に多画素を平均処理したものを用いる。この平均処理する過程において、他の画素より値が大きすぎたり、小さすぎたりする黒画素が混じると、横縞ノイズ等が発生する原因になる。ノイズを少なくするために、黒画素を多く用意することで改善を図っている。
【特許文献１】特許第３８０８３４９号公報
【特許文献２】特許第３６７０１４５号公報
【特許文献３】特許第３７９７１８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
平均処理にて安定した平均値を得る為には多くの黒画素を必要とする。しかし、１ラインに黒画素を多く用意すると、イメージセンサのチップ面積が大きくなる（画素はマトリクス状（行列状）に並んでいるため、水平方向に画素数を増加させると、垂直方向との乗算で画素面積への影響（インパクト）がある）。
【０００５】
本発明はこのような点に鑑みてなされたものであり、少ないピクセルで安定した平均値を得ることができる撮像装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では上記問題を解決するために、図１に示すような撮像装置１が提供される。
本発明に係る撮像装置１は、光を検知する受光ピクセル２ａと遮光された遮光ピクセル２ｂとを備える固体撮像素子２を有している。
【０００７】
累積部３は、入力される遮光ピクセル２ｂの画素値を累積する。
検出部４は、遮光ピクセル２ｂの画素値から最大値と最小値とを検出する。
平均値算出部５は、遮光ピクセル２ｂの所定個数分の画素値から平均値を算出する。
【０００８】
補完部６は、累積部３により累積された累積値から検出部４により検出された最大値と最小値とを除去し、除去した画素値を、平均値算出部５により算出された平均値で補完する。
【０００９】
黒レベル作成部７は、補完部６により補完処理が施された累積値から黒レベルの基準値を作成する。
このような撮像装置１によれば、累積部３により、入力される遮光ピクセル２ｂの画素値が累積される。検出部４により、最大値と最小値とが検出される。平均値算出部５により、遮光ピクセル２ｂの所定個数分の画素値から平均値が算出される。補完部６により、累積部３によって累積された累積値から検出部４により検出された最大値と最小値とが除去され、除去された画素値が、平均値算出部５により算出された平均値で補完される。黒レベル作成部７により、補完部６によって補完処理が施された累積値から黒レベルの基準値が作成される。
【発明の効果】
【００１０】
本発明によれば、基準値を作成する過程において、最大値および最小値を平均値で置き換えることにより、遮光ピクセルの数が少なくても安定した黒レベルの基準値を作成することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
まず、本発明の概要について説明し、その後、実施の形態を説明する。
図１は、本発明の概要を示す図である。
【００１２】
撮像装置１は、固体撮像素子２と、累積部３と、検出部４と、平均値算出部５と、補完部６と、黒レベル作成部７とを有している。
固体撮像素子２は、光を検知する（複数の）受光ピクセル２ａと遮光された（複数の）遮光ピクセル２ｂとを備えている。
【００１３】
累積部３は、入力される遮光ピクセル２ｂの画素値を累積する。入力される遮光ピクセルの単位は、特に限定されないが、例えば１行単位である。
検出部４は、入力された遮光ピクセル２ｂの画素値から最大値と最小値とを検出する。
【００１４】
平均値算出部５は、遮光ピクセル２ｂの所定個数分の画素値から平均値を算出する。
補完部６は、累積部３により累積された累積値から検出部４により検出された最大値と最小値とを除去し、除去した画素値を、平均値算出部５により算出された平均値で補完する補完処理を行う。
【００１５】
黒レベル作成部７は、補完部６により補完処理が施された累積値から黒レベルの基準値を作成する。具体的には、この累積値の平均値を黒レベルの基準値とする。
このような撮像装置１によれば、累積部３により、入力される遮光ピクセル２ｂの画素値が累積される。検出部４により、最大値と最小値とが検出される。平均値算出部５により、遮光ピクセル２ｂの所定個数分の画素値から平均値が算出される。補完部６により、累積部３によって累積された累積値から検出部４により検出された最大値と最小値とが除去され、除去された画素値が、平均値算出部５により算出された平均値で補完される。黒レベル作成部７により、補完部６によって補完処理が施された累積値から黒レベルの基準値が作成される。
【００１６】
以下、本発明の実施の形態を説明する。
図２は、実施の形態の撮像装置を示すブロック図である。
撮像装置１０は、ピクセルアレイ１１と読み出し回路１２とブラッククランプ回路１３とを有している。
【００１７】
ピクセルアレイ１１は、複数の受光ピクセルがマトリクス状に配置された受光画素領域１１ａと、複数の遮光ピクセルからなる遮光画素領域１１ｂ（図２中斜線部）とを有している。遮光ピクセルから読み出された画素信号は、受光ピクセルの画素信号から暗電流成分によるオフセットを除去するために用いられる。ここで、遮光画素領域１１ｂは、水平ライン（行）および垂直ライン（列）の一辺を形成するように配置されている。
【００１８】
読み出し回路１２は、ピクセルアレイ１１から受光画素領域１１ａおよび遮光画素領域１１ｂの画素信号を１水平ライン毎に読み出す。その後、読み出した画素信号をＡＤ変換処理することにより、遮光ピクセルの画素値（量子化値）を取得する。
【００１９】
ブラッククランプ回路１３は、ピクセルアレイ１１の温度変動に対して、黒レベルを一定に保つ回路であり、入力された遮光画素領域１１ｂの各画素値を用いて黒レベルの基準値を作成する。これにより、温度上昇等によって発生する暗電流の増加分をキャンセルすることができる。
【００２０】
次に、ブラッククランプ回路１３の黒レベルの基準値の作成処理について説明する。
図３は、ブラッククランプ回路の黒レベルの基準値の作成処理を示すフローチャートである。
【００２１】
まず、入力された画素値が処理対象の画素値か否か、すなわち、遮光画素領域１１ｂの画素値か否かを判断する（ステップＳ１）。この判断は、例えば撮像装置１０が備えるタイミングジェネレータ（図示せず）によって与えられるタイミング信号等に基づいて行うことができる。
【００２２】
処理対象の画素値でない場合（ステップＳ１のＮｏ）、処理対象の画素値の入力を待機する。
処理対象の画素値である場合（ステップＳ１のＹｅｓ）、その画素値を、前回入力された画素値に累積する（ステップＳ２）。
【００２３】
次に、今回入力された処理対象の画素値を、ブラッククランプ回路１３に保持されている値と比較することにより、今回入力された画素値が今まで入力された画素値の中で最も大きいか否か（最大値か否か）を判断する（ステップＳ３）。具体的には、最初に入力された値であれば、入力された画素値を、黒レベルを規定する予め用意された初期値または最小値０と比較する。最初に入力された画素値でなければ（２回目以降の画素値であれば）、入力された画素値を、ブラッククランプ回路１３が保持する今までに入力された画素値と比較し、最大値か否かを判断する。
【００２４】
そして、最大値ではない場合（ステップＳ３のＮｏ）、ステップＳ５に移行する。一方、最大値である場合（ステップＳ３のＹｅｓ）、その値を保持（上書き）し（ステップＳ４）、ステップＳ７に移行する。この保持した画素値が、ステップＳ３にて次回以降に入力された画素値と比較する画素値となる。
【００２５】
次に、入力された画素値が最小値か否かを判断する（ステップＳ５）。具体的には、最初に入力された値であれば、入力された画素値を、黒レベルを規定する予め用意された初期値（ステップＳ３のものと同じでも異なっていてもよい）または最大値（例えば１０ｂｉｔならば１０２３等）と比較する。最初に入力された画素値でなければ（２回目以降の画素値であれば）、入力された画素値を、ブラッククランプ回路１３が保持する今までに入力された画素値と比較し、最小値か否かを判断する。
【００２６】
そして、最小値ではない場合（ステップＳ５のＮｏ）、ステップＳ７に移行する。一方、最小値である場合（ステップＳ５のＹｅｓ）、その値を保存（上書き）し（ステップＳ６）、ステップＳ７に移行する。この保持した画素値が、ステップＳ５にて次回以降に入力された画素値と比較する画素値となる。
【００２７】
なお、ステップＳ２〜Ｓ６の処理は順番を入れ替えて行ってもよいし、並行して行ってもよい。
次に、今まで入力された画素値の累積値の平均値を取るタイミングを示す途中平均値出力タイミングか否かを判断する（ステップＳ７）。この判断も、例えばタイミングジェネレータによって与えられるタイミング信号等に基づいて行うことができる。また、このタイミングは、入力された画素値が２のべき乗のタイミング（例えば４番目、８番目等）であるのが好ましい。
【００２８】
途中平均値出力タイミングではない場合（ステップＳ７のＮｏ）、ステップＳ９に移行する。
一方、途中平均値出力タイミングである場合（ステップＳ７のＹｅｓ）、今まで入力された画素値の累積値の平均値を途中平均値としてそれぞれ保存する。例えば、１〜４番目に入力された画素値の累積値の平均値を第１の途中平均値として保存し、１〜８番目に入力された画素値の累積値の平均値を第２の途中平均値として保存する。
【００２９】
次に、入力されたピクセルが、最終画素であるか（対象遮光ピクセル分全てを処理したか）否かを判断する（ステップＳ９）。最終画素ではない場合（ステップＳ９のＮｏ）、ステップＳ１以降の処理を引き続き行う。
【００３０】
一方、最終画素である場合（ステップＳ９のＹｅｓ）、演算処理を行う（ステップＳ１０）。これにより、黒レベルの基準値が得られる。この演算処理については後述する。
以上で、黒レベルの基準値の作成処理を終了する。なお、ブラッククランプ回路１３は、その後、受光ピクセルから入力された各画素値と作成された黒レベルの基準値との差分をそれぞれ算出し、得られた値をそれぞれ次段（後段）の回路に出力する。
【００３１】
次に、ステップＳ１０の演算処理について詳しく説明する。
図４は、演算処理を示すフローチャートである。
まず、入力された全ての画素値の累積値から最大値および最小値を減算する（この値を累積値Ｐという）（ステップＳ２１）。
【００３２】
次に、第１の途中平均値および第２の途中平均値をそれぞれｍ倍（ｍ＝１，２，３，…）して加算する（この値を加算値Ｑという）（ステップＳ２２）。ｍの値は、特に限定されないが、次のステップＳ２３において得られる画素の累積値が、２のべき乗となるような値にするのが好ましい。
【００３３】
次に、累積値Ｐと加算値Ｑとを加算する（この値を比較用累積値Ｒという）（ステップＳ２３）。
次に、比較用累積値Ｒの平均値Ｓをとる（ステップＳ２４）。この平均値Ｓが、黒レベルの基準値となる。以上で演算処理を終了する。
【００３４】
次に、この処理について具体例を用いて説明する。
以下、遮光画素領域１１ｂは、１水平ラインに黒画素を１４画素備えるものとして説明する。
【００３５】
図５は、ブラッククランプ回路の構成を示す図である。
ブラッククランプ回路１３は、セレクタ１３１と累積部（アキュムレータ）１３２と、最大値検出部１３３と、最小値検出部１３４と、データバッファ１３５、１３６と、ビットシフト部１３７と、差分器１３８を有している。各回路の動作タイミングは、タイミングジェネレータのタイミング信号により制御されている。
【００３６】
セレクタ１３１は、入力された遮光ピクセルの画素値と、最大値検出部１３３、最小値検出部１３４、データバッファ１３５、１３６からそれぞれ出力された値とのいずれか一方の値を選択する。
【００３７】
累積部１３２は、加減算器１３２ａと、データ・ストレージ１３２ｂとを有している。
加減算器１３２ａは、セレクタ１３１により選択された値と、データ・ストレージ１３２ｂに格納されている値との加算または減算を行い、演算結果（累積値）をデータ・ストレージ１３２ｂに格納する。
【００３８】
また、累積部１３２は、加減算器１３２ａが４回演算を行った後に、データ・ストレージ１３２ｂに格納されている累積値（１〜４回分の累積値）をデータバッファ１３５に出力する。８回演算を行った後に、データ・ストレージ１３２ｂに格納されている累積値（１〜８回分の累積値）をデータバッファ１３６に出力する。
【００３９】
最大値検出部１３３は、スイッチ（セレクタ）１３３ａと、データバッファ１３３ｂと、比較器１３３ｃとを有している。
スイッチ１３３ａは、比較器１３３ｃから出力された値が“１”の場合（比較結果に応じて）データバッファ１３３ｂに入力された遮光ピクセルの画素値を格納する。
【００４０】
比較器１３３ｃは、入力された遮光ピクセルの画素値とデータバッファ１３３ｂに格納されている画素値とを比較し、入力された遮光ピクセルの画素値の方が大きい場合、比較結果として“１”をスイッチ１３３ａに出力する。一方、遮光ピクセルの画素値がデータバッファ１３３ｂに格納されている画素値以下の場合、比較結果として“０”をスイッチ１３３ａに出力する。
【００４１】
最小値検出部１３４は、スイッチ（セレクタ）１３４ａと、データバッファ１３４ｂと、比較器１３４ｃとを有している。
スイッチ１３４ａは、比較器１３４ｃから出力された値が“１”の場合（比較結果に応じて）データバッファ１３４ｂに入力された遮光ピクセルの画素値を入力する。
【００４２】
比較器１３４ｃは、入力された遮光ピクセルの画素値とデータバッファ１３４ｂに格納されている画素値とを比較し、入力された遮光ピクセルの画素値の方が小さい場合、比較結果として“１”をスイッチ１３４ａに出力する。一方、遮光ピクセルの画素値がデータバッファ１３４ｂに格納されている画素値以上の場合、比較結果として“０”をスイッチ１３４ａに出力する。
【００４３】
データバッファ１３５は、例えばＤ−フリップフロップで構成されており、データ・ストレージ１３２ｂに格納されている１〜４番目に入力された画素値の累積値を読み込み、右に２ビットシフトして（１／４倍して）累積値の平均値（第１の途中平均値）を作成し、保持する。
【００４４】
データバッファ１３６は、例えばＤ−フリップフロップで構成されており、データ・ストレージ１３２ｂに格納されている１〜８番目に入力された画素値の累積値を読み込み、右に３ビットシフトして（１／８倍して）累積値の平均値（第２の途中平均値）を作成し、保持する。
【００４５】
ビットシフト部１３７は、データ・ストレージ１３２ｂから出力される値を右に４ビットシフトして（１／１６倍して）その値を差分器１３８に出力する。
差分器１３８は、ピクセルの画素値と、ビットシフト部１３７から出力されるデータとの差分を取り、次段の回路に出力する。
【００４６】
以下、この回路の動作を説明する。
１画素分の遮光ピクセルの画素値が入力される度に、累積部１３２により累積が行われ、最大値検出部１３３により最大値の検出が行われ、最小値検出部１３４により最小値の検出が行われる。
【００４７】
これにより、全ての遮光ピクセルの画素値が読み出し回路１２から出力されたときには（１行分の全１４画素がそろったときには）、データ・ストレージ１３２ｂには、１４画素分の遮光ピクセルの画素値の累積値が蓄えられ、データバッファ１３３ｂ、１３４ｂにはそれぞれ全１４画素の画素値の最大値、最小値が蓄えられる。また、データバッファ１３５には、４画素分の途中平均値を保持しており、データバッファ１３６には、８画素分の途中平均値を保持している。
【００４８】
その後、セレクタ１３１により、最大値および最小値が選択され、加減算器１３２ａによって、１４画素の累積値から最大値および最小値が減算される。
また、データバッファ１３５により、保持している平均値を左に１ビットシフトした（２倍した）値が出力される。データバッファ１３６により、保持している平均値を左に１ビットシフトした（２倍した）値が出力される。
【００４９】
そして、セレクタ１３１によりデータバッファ１３５、１３６からそれぞれ出力される２つの値が選択され、これらを加算して得られた１６画素分の累積値を最終的な累積値とする。
【００５０】
その後、ビットシフト部１３７によって最終的な平均値（黒レベルの基準値）が算出され、差分器１３８により、受光ピクセルの画素値との差分データ（ブラッククランプ後のピクセルの画素値）が作成される。
【００５１】
以上述べたように、撮像装置１０によれば、最大値検出部１３３によって最大値を検出し、最小値検出部１３４によって最小値を検出して、その値を累積値から除去し、代わりに途中平均値を用いて補完することにより、少ない黒画素で、安定した平均値を得ることができる。また、遮光ピクセル数が少なくて済むので、チップ面積縮小、コストを削減することができる。
【００５２】
ここで、最大値検出部１３３によって最大値を検出し、最小値検出部１３４によって最小値を検出することにより、読み出し回路１２から出力された１行分の画素値をソートすることなく、１回の検索（処理）にて最大値、最小値を探し出すことができる。また、途中平均値を使って置き換えるので、最終平均値を乱すことがない。また、途中平均値や、最終的な累積値を作成する際に、意図的に２のべき乗の値を作成することにより、遮光ピクセル数が切りのいい数値（例えば２のべき乗等）でない場合においても、ブラッククランプ回路１３は、除算器を備えることなく演算を行うことができるため、回路規模を縮小することができる。
【００５３】
なお、本実施の形態では、最大値、最小値のみを除去したが、これに限らず、最大値、最小値に加えて最大値の次に大きい値と最小値の次に小さい値をさらに除去するようにしてもよい。
【００５４】
また、本実施の形態では、最大値検出部１３３の検出時に、データバッファ１３３ｂには最大値のみを格納するようにしたが、これに限らず、最大値の次に大きい値も格納するようにしてもよい。そして、比較器１３３ｃが入力された遮光ピクセルの画素値と最大値の次に大きい値とを比較するようにしてもよい。これにより、１列分の全１４画素がそろったときには、データバッファ１３３ｂには、最大値と最大値の次に大きい値とが格納されることとなる（最小値検出部１３４についても同様）。そして、これらをデータ・ストレージ１３２ｂに格納されている累積値から除去することにより、さらに、安定した平均値を得ることができる。
【００５５】
なお、本実施の形態では、説明を分かり易くするために、一度平均値をとり、その後２倍する例を示したが、これに限らず、例えばデータバッファ１３５、１３６は、平均値×２の値、すなわちデータバッファ１３５は、右に１ビットシフトして（１〜４回分の平均値×２）の値を作成し、データバッファ１３６は、右に２ビットシフトして（１〜４回分の平均値×２）の値を作成するようにしてもよい。これにより、後の段階で左に１ビットシフトする処理を省略することができる。
【００５６】
また、本実施の形態では、最大値、最小値を含めた途中平均値を算出したが、本発明は、これに限定されず、最大値、最小値を除いた平均値を算出してもよい。これにより、より正確な黒レベルの基準値が得られる。
【００５７】
以上、本発明の撮像装置および画像処理方法を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。
【００５８】
また、本発明は、前述した各実施の形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。
なお、本発明の撮像装置の用途は特に限定されないが、例えばＴＶ電話用小型カメラ等に用いることができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の概要を示す図である。
【図２】実施の形態の撮像装置を示すブロック図である。
【図３】ブラッククランプ回路の黒レベルの基準値の作成処理を示すフローチャートである。
【図４】演算処理を示すフローチャートである。
【図５】ブラッククランプ回路の構成を示す図である。
【符号の説明】
【００６０】
１、１０ 撮像装置
２ 固体撮像素子
２ａ 受光ピクセル
２ｂ 遮光ピクセル
３、１３２ 累積部
４ 検出部
５ 平均値算出部
６ 補完部
７ 黒レベル作成部
１１ ピクセルアレイ
１１ａ 受光画素領域
１１ｂ 遮光画素領域
１２ 読み出し回路
１３ ブラッククランプ回路
１３１ セレクタ
１３２ａ 加減算器
１３２ｂ データ・ストレージ
１３３ 最大値検出部
１３３ａ、１３４ａ スイッチ
１３３ｂ、１３４ｂ、１３５、１３６ データバッファ
１３３ｃ 比較器
１３４ 最小値検出部
１３４ｃ 比較器
１３７ ビットシフト部
１３８ 差分器
【特許請求の範囲】
【請求項１】
光を検知する受光ピクセルと遮光された遮光ピクセルとを備える固体撮像素子を有する撮像装置において、
入力される遮光ピクセルの画素値を累積する累積部と、
前記遮光ピクセルの画素値から最大値と最小値とを検出する検出部と、
前記遮光ピクセルの所定個数分の画素値から平均値を算出する平均値算出部と、
前記累積部により累積された累積値から前記検出部により検出された最大値と最小値とを除去し、除去した画素値を、前記平均値算出部により算出された前記平均値で補完する補完部と、
前記補完部により補完処理が施された前記累積値から黒レベルの基準値を作成する黒レベル作成部と、
を有することを特徴とする撮像装置。
【請求項２】
入力される前記遮光ピクセルは、横一行のピクセル単位で処理されることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記平均値算出部は、２のべき乗の個数の前記遮光ピクセルの画素値から部分平均値を算出することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記平均値算出部は、異なる個数の前記遮光ピクセルの画素値の部分平均値を算出し、
前記補完部は、前記最大値および前記最小値を前記部分平均値で補完することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記補完部は、累積値が、２のべき乗の個数となるように前記部分平均値で補完することを特徴とする請求項３記載の撮像装置。
【請求項６】
前記累積部は、前記補完部を兼ねることを特徴とする請求項１記載の撮像装置。
【請求項７】
光を検知する受光ピクセルと遮光された遮光ピクセルとを備える固体撮像素子の出力信号を処理する画像処理方法において、
累積手段が、入力される遮光ピクセルの画素値を累積し、
検出手段が、前記遮光ピクセルの画素値から最大値と最小値とを検出し、
平均値算出手段が、前記遮光ピクセルの所定個数分の画素値から平均値を算出し、
補完手段が、前記累積手段により累積された累積値から前記検出手段により検出された最大値と最小値とを除去し、除去した画素値を、前記平均値算出手段により算出された前記平均値で補完し、
黒レベル作成手段が、前記補完手段により補完処理が施された前記累積値から黒レベルの基準値を作成する、
ことを特徴とする画像処理方法。
【請求項１】
光を検知する受光ピクセルと遮光された遮光ピクセルとを備える固体撮像素子を有する撮像装置において、
入力される遮光ピクセルの画素値を累積する累積部と、
前記遮光ピクセルの画素値から最大値と最小値とを検出する検出部と、
前記遮光ピクセルの所定個数分の画素値から平均値を算出する平均値算出部と、
前記累積部により累積された累積値から前記検出部により検出された最大値と最小値とを除去し、除去した画素値を、前記平均値算出部により算出された前記平均値で補完する補完部と、
前記補完部により補完処理が施された前記累積値から黒レベルの基準値を作成する黒レベル作成部と、
を有することを特徴とする撮像装置。
【請求項２】
入力される前記遮光ピクセルは、横一行のピクセル単位で処理されることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記平均値算出部は、２のべき乗の個数の前記遮光ピクセルの画素値から部分平均値を算出することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記平均値算出部は、異なる個数の前記遮光ピクセルの画素値の部分平均値を算出し、
前記補完部は、前記最大値および前記最小値を前記部分平均値で補完することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記補完部は、累積値が、２のべき乗の個数となるように前記部分平均値で補完することを特徴とする請求項３記載の撮像装置。
【請求項６】
前記累積部は、前記補完部を兼ねることを特徴とする請求項１記載の撮像装置。
【請求項７】
光を検知する受光ピクセルと遮光された遮光ピクセルとを備える固体撮像素子の出力信号を処理する画像処理方法において、
累積手段が、入力される遮光ピクセルの画素値を累積し、
検出手段が、前記遮光ピクセルの画素値から最大値と最小値とを検出し、
平均値算出手段が、前記遮光ピクセルの所定個数分の画素値から平均値を算出し、
補完手段が、前記累積手段により累積された累積値から前記検出手段により検出された最大値と最小値とを除去し、除去した画素値を、前記平均値算出手段により算出された前記平均値で補完し、
黒レベル作成手段が、前記補完手段により補完処理が施された前記累積値から黒レベルの基準値を作成する、
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−３０１１４３（Ｐ２００８−３０１１４３Ａ）
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願番号】特願２００７−１４４３３２（Ｐ２００７−１４４３３２）
【出願日】平成１９年５月３１日（２００７．５．３１）
【出願人】（３０８０１４３４１）富士通マイクロエレクトロニクス株式会社 (2,507)
【Ｆターム（参考）】
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願日】平成１９年５月３１日（２００７．５．３１）
【出願人】（３０８０１４３４１）富士通マイクロエレクトロニクス株式会社 (2,507)
【Ｆターム（参考）】
[ Back to top ]