撮像装置および撮像方法
【課題】 過剰補正によりかえって画像の画質劣化が起こってしまうことを防止する。
【解決手段】 複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択手段と、前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正手段と、を有することを特徴とする撮像装置を提供する。
【解決手段】 複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択手段と、前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正手段と、を有することを特徴とする撮像装置を提供する。
【発明の詳細な説明】
【技術分野】
【0001】
デジタルカメラやデジタルビデオカメラ等の撮像装置から出力された画像の補正に関する。
【背景技術】
【0002】
近年、デジタルカメラなど撮像素子を用いた撮像装置が様々な用途に使用されている。撮像素子は、製造過程において様々な種類の欠陥を生じ、異常なレベルの信号を出力する現象が発生することがある。
【0003】
特に、それらの欠陥の一つとして、垂直転送レジスタの欠陥による白線等が画質上の問題となっていた。この白線は発生しているレベルが非常に小さいにもかかわらず、固定した縦線となることから画面上非常にめだち易い不都合がある。この白線はレベルが非常に小さいことによりノイズに埋もれて検出が難しく、補正することが非常に困難であった。
【0004】
さらに使用される撮像素子は、年々画素数が増大するとともに、小型化により単位画素サイズが縮小傾向にあるため、これに伴い欠陥の発生も増大する可能性がある。
【0005】
これらを補正する方法としては、欠陥による白線やスミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、有効画素領域外に設けられた遮光された蓄積画素領域である垂直OB画素(オプティカルブラック:光学的黒)の出力レベルを除去基準信号とし、これを有効画面の画素出力信号から減じる方法がある。(例えば文献1)
また、撮像素子を遮光して暗時画像を取得し、撮像素子を露光して得た明時画像から差分することにより暗電流ノイズを除去する方法があった。(例えば文献2)
【特許文献1】特開平7−67038号公報
【特許文献2】特開2004−260596号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、文献1および文献2においては、白線が発生している画素以外についても画素出力信号からの減算を行うため、画面全体にランダムノイズがのってしまい補正を行うとかえって画質が悪くなってしまうことがあった。
【0007】
上述のような問題に鑑み、本発明では、撮像素子から出力された画像信号にノイズがのり、画質が劣化してしまう場合であっても適正に補正することのできる撮像装置を提供する。
【課題を解決するための手段】
【0008】
上記の問題を解決するために、本発明の撮像装置は、複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択手段と、前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正手段と、を有することを特徴とする。
【0009】
また、本発明の撮像方法は、複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択工程と、前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正工程と、を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、画質のよい画像を得ることのできる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施例を図面に基づいて詳細に説明する。
【0012】
[実施例1]
図1は、本発明の実施形態に係わる補正回路を備えた撮像装置のブロック図である。
【0013】
図1に、第1の実施例の撮像装置のブロック図を示す。
【0014】
1が、レンズおよび絞りからなる光学系、2が、メカニカルシャッタ(メカシャッタと図示する)、3が、撮像素子、4が、アナログ信号処理を行うCDS回路、5が、アナログ信号をデジタル信号に変換するA/D変換器、6が、撮像素子3、CDS回路4およびA/D変換器5を動作させる信号を発生するタイミング信号発生回路、7が、光学系1、メカニカルシャッタ2および撮像素子3の駆動回路、17が、撮影した画像データにキズ補正を行う補正回路、8が、キズ補正された画像データに必要な信号処理を行う信号処理回路、9が、信号処理された画像データを記憶する画像メモリ、10が、撮像装置から取り外し可能な画像記録媒体、11が、信号処理された画像データを画像記録媒体10に記録する記録回路、12が、信号処理された画像データを表示する画像表示装置、13が、画像表示装置11に画像を表示する表示回路、14が、撮像装置全体を制御するシステム制御部、15が、システム制御部14で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および、補正回路17において使用されるキズアドレス等の補正データを記憶しておく不揮発性メモリ(ROM)、16が、不揮発性メモリ15に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部14が撮像装置を制御する際に使用する揮発性メモリ(RAM)となっている。
【0015】
以下、上述のように構成された撮像装置を用いてメカニカルシャッタ2を使用した撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部14の動作開始時において、不揮発性メモリ15から必要なプログラム、制御データおよび補正データを揮発性メモリ16に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部14が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ15から揮発性メモリ16に転送したり、システム制御部14が直接不揮発性メモリ15内のデータを読み出して使用したりするものとする。
【0016】
まず、光学系1は、システム制御部14からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子3上に結像させる。次に、メカニカルシャッタ2は、システム制御部14からの制御信号により、必要な露光時間となるように撮像素子3の動作に合わせて撮像素子3を遮光するように駆動される。この時、撮像素子3が電子シャッター機能を有する場合は、メカニカルシャッタ2と併用して、必要な露光時間を確保してもよい。撮像素子3は、システム制御部14により制御されるタイミング信号発生回路6が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子3から出力されたアナログの画像信号は、システム制御部14により制御されるタイミング信号発生回路6が発生する動作パルスにより、CDS回路4でクロック同期性ノイズを除去し、A/D変換器5でデジタル画像信号に変換される。次に、アドレスメモリから取り込んだキズのアドレスをもとにしてシステム制御部14からの制御信号により、補正回路17において、デジタル画像信号のキズ補正を行う。キズ補正されたデジタル画像信号は、システム制御部14により制御される信号処理回路8において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ9は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。信号処理回路8で信号処理された画像データや画像メモリ9に記憶されている画像データは、記録回路において画像記録媒体10に適したデータ(例えば階層構造を持つファイルシステムデータ)に変換されて画像記録媒体10に記録したり、信号処理回路8で解像度変換処理を実施された後、表示回路において画像表示装置11に適した信号(例えばNTSC方式のアナログ信号等)に変換されて画像表示装置11に表示されたりする。
【0017】
ここで、システム制御部14からの制御信号によりキズ補正が必要ないとされた場合、補正回路17は入力されたデジタル画像信号をそのまま信号処理回路8に出力する。また、信号処理回路8においては、システム制御部14からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ9や記録回路に出力してもよい。さらに、信号処理回路8は、システム制御部14から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報をシステム制御部14に出力する。また、記録回路は、システム制御部14から要求があった場合に、画像記録媒体10の種類や空き容量等の情報をシステム制御部14に出力する。
【0018】
次に、補正回路17の動作について図2のフローチャートと図3の概念図を用いて説明を加える。
【0019】
まず、S201では、システム制御部14からの制御信号により、必要な露光時間となるように撮像素子3において本撮影を行う(参照図3_a)。S202ではシャッターを閉じた状態でS201と同じ露光時間だけ撮像素子3での暗時撮影を行う(参照図3_b)。この結果、図3_bでは、垂直転送レジスタの欠陥からのノイズ信号により垂直ラインにオプティカルブラック値以上の値をもつ白線キズが発生している。システム制御部14は、予め工場などで測定した白線キズのアドレスを取得し(S203)、S204では、補正回路17にて、S203で取得した白線キズのアドレス位置のみ本撮影(撮像素子を露光した状態で撮影)で取得した画像1から暗時撮影(撮像素子を遮光した状態で撮影)で取得した画像2のデータを差し引く(参照図3_c)。上述したように、白線キズのみを選択して暗時撮影で取得した画像の一部を用いて補正処理することにより、画面全体にランダムノイズがのってしまい、補正を行うとかえって画質劣化が起こる過補正による画質劣化が起こることがなく画質のよい画像を得ることができる。さらに、補正回路17においては、白線キズ部分のオプティカルブラック相当値(OB値)も同時に減算してしまうため、図3_aから算出したオプティカルブラック値(OB値)を白線キズを差し引いた部分に加算する(S205)。以上の方法で白線キズのみ減算することで全領域を減算する場合に比べて、ランダムノイズを減らすと共に白線キズの補正を適正に行うことができる。なお、実施例1では垂直方向に線キズが生じた場合について説明しているが、水平方向に線キズが生じた場合であっても同様に処理できる。
【0020】
[実施例2]
実施例2における撮像装置の構成は図1と同様であるので、構成要素についての説明は省略する。実施例1の撮像動作のフローにおいて、欠陥画素からのノイズ信号の信号値が大きくなった場合、もしくは、被写体が高輝度で、画像信号の信号値が大きくなった場合には、画像信号が飽和する現象が起こることがある。この現象を図4を用いて説明する。画像信号が飽和していない場合、本撮影画像(参照図4_1a)から、暗時撮影画像(参照図4_1b)の差分を取って、OB値を加算すると、正しく補正された補正画像(参照図4_1c)が得られる。しかし、画像信号が飽和している場合、飽和以上の信号値は出力されないため、飽和している本撮影画像(参照図4_2a)から、暗時撮影画像(参照図4_2b)の差分を取って、OB値を加算すると、白線キズに相当する信号が、飽和値より引き算された補正画像(参照図4_2c)が得られてしまう。このため、白線キズが黒い線として現れることになる。よって、画像信号が飽和している場合には、補正の方法を切り替える必要がある。そこで、実施例2では画像信号が飽和している場合における補正手法について説明する。
【0021】
図5は実施例2における撮像装置の動作フローを示している。
【0022】
まず、S501は実施例1のS201と同様、システム制御部14からの制御信号により、必要な露光時間となるように撮像素子3において本撮影を行う(画像データ1)。S502では実施例1のS201と同様、シャッターを閉じた状態でS501と同じ露光時間だけ撮像素子3での暗時撮影を行う(画像データ2)。S503では実施例1のS203と同様、予め工場などで測定した白線キズのアドレスを取得する。S504は白線キズ全てを補正するために、Height=垂直画素数を用いた条件文である。Yが垂直画素数になっている場合には、この補正のフローを終わらせる。Yが垂直画素数になっていない場合には、S505に進む。S505では白線キズの画素の画像信号が飽和しているか否かの判定を行う。この方法は例えば飽和を判定する閾値を設定しておき画像データ1の画素値がこの値以上であるならばその画素は飽和している、この値以下ならば飽和していないと判断する。もし飽和していない場合には、実施例1と同じ手段で画像データ2の白線キズのみを差し引き(S507)、オプティカルブラック値(OB値)を加算する(S508)ことで白線キズ補正を行う。もし飽和している場合には、S506で白線キズと同色の水平方向にある画素から補完させることにより白線キズ補正を行う。この概念図を図6に示す。図6中のC1(R/G2)、C2(G1/B)、C3(R/G2)、C4(G1/B)、C5(R/G2)は、垂直方向の画素列を示し、R,G,Bは上下方に繰り返される色フィルタを示している。C3(R/G2)列に白線キズが発生しており、白線キズと同色で隣り合う列C1(R/G2)およびC5(R/G2)には白線キズが発生していないものとする。そこで、もしC3(R/G2)が飽和している場合はC1(R/G2)とC5(R/G2)との平均値からC3(R/G2)の補正値を算出する。この水平補間方法は単純に両画素の平均を取る方法や、白線キズとの相関を考慮し、両側の画素を補間する際に重みをつけて補正する方法がある。S509は、次の垂直画素へ進むためのインクリメントであり、YをY+1とし、S504に戻る。
【0023】
以上の手段により白線キズが飽和している場合でも、正しく補正を施すことができる。
【0024】
なお、実施例2では画像信号が飽和した場合には、水平補間による補正を行うように構成されているが、例えば、周囲画素の信号を用いて補正する方法など、欠陥画素の信号を補正できる方法であればよい。また、実施例2では、本撮影で取得した画像データ1の信号値を用いて欠陥画素の領域が飽和しているか否かの判定を行ったが、暗時撮影で取得した画像データ2の信号値から飽和の判定を行ってもよい。この場合、画像データ2がある閾値よりも大きいか否かを判定し、ある閾値よりも画像データ2の方が大きい場合には飽和していると判定する。また、画像データ1と画像データ2の信号値を両方考慮して飽和の判定を行うようにしてもよい。例えば、画像データ1と画像データ2の差分値がある閾値よりも小さい場合に飽和していると判定することが考えられる。
【0025】
以上説明したように、画像信号が飽和したと判断された場合には、補正方法を変更して適正な補正処理を行うことにより、過補正による画質劣化を防止することができる。
【0026】
[実施例3]
実施例3における撮像装置の構成も図1と同様であるので、構成要素についての説明は省略する。
【0027】
実施例2では本撮影で取得した画像データ1の白線キズの信号が飽和した場合に水平補間をすることで補正を行ったが、これに替えて、実施例3では白線キズによる上乗せ分にクリップ処理を行うことで過剰補正による弊害を解決する方法について説明する。白線キズは撮像装置の温度特性およびISO感度によりその値が変化する。そこでこれら両者の値でクリップ値を可変にさせ、減算する値にクリップ処理を行う。まず温度特性についてであるが、撮像装置の温度が上昇するにつれ白線キズの値が大きくなる(参照図7)。なお図7はCCDが10BITレベルのものについてである。そこで図8のように予め設定したクリップ値に乗算するゲインを温度と共に大きくさせる。次にISO感度と白線キズ値との関係を図9に示す。このようにISO感度上昇に従って白線キズ値が大きくなるため、予めクリップ値に乗算するゲインをISO感度に応じて大きくさせる(参照図10)。これらのゲインを予め設定した白線キズクリップ値に乗算して処理を行う。これらのフローチャートを図11に示す。S1001からS1003までは実施例1のS201からS203と同じ処理のため説明を省略する。S1004では、白線キズ全てを補正するために、Height=垂直画素数を用いた条件文である。Yが垂直画素数になっている場合には、この補正のフローを終わらせる。Yが垂直画素数になっていない場合には、S1005に進む。S1005では撮像装置の温度時に応じて設定したクリップ値に乗算するゲインを決定させる。S1006では撮像装置のISO感度に応じてゲインを決定させる。S1007ではS1005およびS1006で決定したゲインを予め設定したリミッタ値に乗算させることでリミッタ値を決定させる。S1008では画像データ2の白線キズ値がS1007で決定したリミッタ値以上である場合、リミッタ値でクリップさせる。この値を画像データ1から減算することで白線キズ補正を行う(S1009)。さらに、白線キズを補正した部分にOB値を加算することにより黒レベルの調整を行う(S1010)。S1011は、次の垂直画素へ進むためのインクリメントであり、YをY+1とし、S1004に戻る。
【0028】
このように、白線キズ値に上限値を設け、それ以上の場合には、所定値をもって補正信号とすることにより、過補正による画質劣化を防止することができる。また、上限値を温度やISO感度等の撮影条件に基づいて切り替えることにより、より正確な補正を行うことが可能となる。
【0029】
なお、白線キズの画素の画像信号が所定値よりも信号値が大きく(若しくは飽和しており)、さらに白線キズの画素と同色両隣の画素の画像信号も所定値よりも信号値が大きい(もしくは飽和している)場合には、実施例2で説明したように水平補間による補正(もしくは補正を行わない)という補正方法に切り替えて補正を制御すれば、撮影条件に応じた画質の向上を図ることが可能となる。例えば、図6において、C3(R/G2)列に白線キズが発生しており、白線キズと同色で隣り合う列C1(R/G2)およびC5(R/G2)には白線キズが発生していないものとする。このとき、C3(R/G2)が飽和しており、白線キズと同色で隣り合う列C1(R/G2)およびC5(R/G2)も飽和していることが検出された場合には、補正を上記で説明したような所定値をもって補正を行うことを禁止するように制御する。これにより、被写体が画面全体に非常に明るい場合に過補正となることを防止することができる。
【図面の簡単な説明】
【0030】
【図1】実施例1の補正回路を備えた撮像装置のブロック図である。
【図2】実施例1の処理フローチャートを表す図である。
【図3】白線キズ補正の概念図である。
【図4】白線キズ飽和による弊害の概念図である。
【図5】実施例2の処理フローチャートを表す図である。
【図6】水平補間の概念図である。
【図7】白線キズ値の温度特性を示す図である。
【図8】温度とゲインの関係を示す図である。
【図9】白線キズ値のISO感度特性を示す図である。
【図10】ISO感度とゲインの関係を示す図である。
【図11】実施例3の処理フローチャートを表す図である。
【符号の説明】
【0031】
3 撮像素子
6 タイミング信号発生回路
8 信号処理回路
9 画像メモリ
14 システム制御部
17 補正回路
【技術分野】
【0001】
デジタルカメラやデジタルビデオカメラ等の撮像装置から出力された画像の補正に関する。
【背景技術】
【0002】
近年、デジタルカメラなど撮像素子を用いた撮像装置が様々な用途に使用されている。撮像素子は、製造過程において様々な種類の欠陥を生じ、異常なレベルの信号を出力する現象が発生することがある。
【0003】
特に、それらの欠陥の一つとして、垂直転送レジスタの欠陥による白線等が画質上の問題となっていた。この白線は発生しているレベルが非常に小さいにもかかわらず、固定した縦線となることから画面上非常にめだち易い不都合がある。この白線はレベルが非常に小さいことによりノイズに埋もれて検出が難しく、補正することが非常に困難であった。
【0004】
さらに使用される撮像素子は、年々画素数が増大するとともに、小型化により単位画素サイズが縮小傾向にあるため、これに伴い欠陥の発生も増大する可能性がある。
【0005】
これらを補正する方法としては、欠陥による白線やスミアがその発生原理から垂直方向にほぼ同レベルで生じることに着目して、有効画素領域外に設けられた遮光された蓄積画素領域である垂直OB画素(オプティカルブラック:光学的黒)の出力レベルを除去基準信号とし、これを有効画面の画素出力信号から減じる方法がある。(例えば文献1)
また、撮像素子を遮光して暗時画像を取得し、撮像素子を露光して得た明時画像から差分することにより暗電流ノイズを除去する方法があった。(例えば文献2)
【特許文献1】特開平7−67038号公報
【特許文献2】特開2004−260596号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、文献1および文献2においては、白線が発生している画素以外についても画素出力信号からの減算を行うため、画面全体にランダムノイズがのってしまい補正を行うとかえって画質が悪くなってしまうことがあった。
【0007】
上述のような問題に鑑み、本発明では、撮像素子から出力された画像信号にノイズがのり、画質が劣化してしまう場合であっても適正に補正することのできる撮像装置を提供する。
【課題を解決するための手段】
【0008】
上記の問題を解決するために、本発明の撮像装置は、複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択手段と、前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正手段と、を有することを特徴とする。
【0009】
また、本発明の撮像方法は、複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択工程と、前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正工程と、を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、画質のよい画像を得ることのできる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施例を図面に基づいて詳細に説明する。
【0012】
[実施例1]
図1は、本発明の実施形態に係わる補正回路を備えた撮像装置のブロック図である。
【0013】
図1に、第1の実施例の撮像装置のブロック図を示す。
【0014】
1が、レンズおよび絞りからなる光学系、2が、メカニカルシャッタ(メカシャッタと図示する)、3が、撮像素子、4が、アナログ信号処理を行うCDS回路、5が、アナログ信号をデジタル信号に変換するA/D変換器、6が、撮像素子3、CDS回路4およびA/D変換器5を動作させる信号を発生するタイミング信号発生回路、7が、光学系1、メカニカルシャッタ2および撮像素子3の駆動回路、17が、撮影した画像データにキズ補正を行う補正回路、8が、キズ補正された画像データに必要な信号処理を行う信号処理回路、9が、信号処理された画像データを記憶する画像メモリ、10が、撮像装置から取り外し可能な画像記録媒体、11が、信号処理された画像データを画像記録媒体10に記録する記録回路、12が、信号処理された画像データを表示する画像表示装置、13が、画像表示装置11に画像を表示する表示回路、14が、撮像装置全体を制御するシステム制御部、15が、システム制御部14で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および、補正回路17において使用されるキズアドレス等の補正データを記憶しておく不揮発性メモリ(ROM)、16が、不揮発性メモリ15に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部14が撮像装置を制御する際に使用する揮発性メモリ(RAM)となっている。
【0015】
以下、上述のように構成された撮像装置を用いてメカニカルシャッタ2を使用した撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部14の動作開始時において、不揮発性メモリ15から必要なプログラム、制御データおよび補正データを揮発性メモリ16に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部14が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ15から揮発性メモリ16に転送したり、システム制御部14が直接不揮発性メモリ15内のデータを読み出して使用したりするものとする。
【0016】
まず、光学系1は、システム制御部14からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子3上に結像させる。次に、メカニカルシャッタ2は、システム制御部14からの制御信号により、必要な露光時間となるように撮像素子3の動作に合わせて撮像素子3を遮光するように駆動される。この時、撮像素子3が電子シャッター機能を有する場合は、メカニカルシャッタ2と併用して、必要な露光時間を確保してもよい。撮像素子3は、システム制御部14により制御されるタイミング信号発生回路6が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子3から出力されたアナログの画像信号は、システム制御部14により制御されるタイミング信号発生回路6が発生する動作パルスにより、CDS回路4でクロック同期性ノイズを除去し、A/D変換器5でデジタル画像信号に変換される。次に、アドレスメモリから取り込んだキズのアドレスをもとにしてシステム制御部14からの制御信号により、補正回路17において、デジタル画像信号のキズ補正を行う。キズ補正されたデジタル画像信号は、システム制御部14により制御される信号処理回路8において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ9は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。信号処理回路8で信号処理された画像データや画像メモリ9に記憶されている画像データは、記録回路において画像記録媒体10に適したデータ(例えば階層構造を持つファイルシステムデータ)に変換されて画像記録媒体10に記録したり、信号処理回路8で解像度変換処理を実施された後、表示回路において画像表示装置11に適した信号(例えばNTSC方式のアナログ信号等)に変換されて画像表示装置11に表示されたりする。
【0017】
ここで、システム制御部14からの制御信号によりキズ補正が必要ないとされた場合、補正回路17は入力されたデジタル画像信号をそのまま信号処理回路8に出力する。また、信号処理回路8においては、システム制御部14からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ9や記録回路に出力してもよい。さらに、信号処理回路8は、システム制御部14から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報をシステム制御部14に出力する。また、記録回路は、システム制御部14から要求があった場合に、画像記録媒体10の種類や空き容量等の情報をシステム制御部14に出力する。
【0018】
次に、補正回路17の動作について図2のフローチャートと図3の概念図を用いて説明を加える。
【0019】
まず、S201では、システム制御部14からの制御信号により、必要な露光時間となるように撮像素子3において本撮影を行う(参照図3_a)。S202ではシャッターを閉じた状態でS201と同じ露光時間だけ撮像素子3での暗時撮影を行う(参照図3_b)。この結果、図3_bでは、垂直転送レジスタの欠陥からのノイズ信号により垂直ラインにオプティカルブラック値以上の値をもつ白線キズが発生している。システム制御部14は、予め工場などで測定した白線キズのアドレスを取得し(S203)、S204では、補正回路17にて、S203で取得した白線キズのアドレス位置のみ本撮影(撮像素子を露光した状態で撮影)で取得した画像1から暗時撮影(撮像素子を遮光した状態で撮影)で取得した画像2のデータを差し引く(参照図3_c)。上述したように、白線キズのみを選択して暗時撮影で取得した画像の一部を用いて補正処理することにより、画面全体にランダムノイズがのってしまい、補正を行うとかえって画質劣化が起こる過補正による画質劣化が起こることがなく画質のよい画像を得ることができる。さらに、補正回路17においては、白線キズ部分のオプティカルブラック相当値(OB値)も同時に減算してしまうため、図3_aから算出したオプティカルブラック値(OB値)を白線キズを差し引いた部分に加算する(S205)。以上の方法で白線キズのみ減算することで全領域を減算する場合に比べて、ランダムノイズを減らすと共に白線キズの補正を適正に行うことができる。なお、実施例1では垂直方向に線キズが生じた場合について説明しているが、水平方向に線キズが生じた場合であっても同様に処理できる。
【0020】
[実施例2]
実施例2における撮像装置の構成は図1と同様であるので、構成要素についての説明は省略する。実施例1の撮像動作のフローにおいて、欠陥画素からのノイズ信号の信号値が大きくなった場合、もしくは、被写体が高輝度で、画像信号の信号値が大きくなった場合には、画像信号が飽和する現象が起こることがある。この現象を図4を用いて説明する。画像信号が飽和していない場合、本撮影画像(参照図4_1a)から、暗時撮影画像(参照図4_1b)の差分を取って、OB値を加算すると、正しく補正された補正画像(参照図4_1c)が得られる。しかし、画像信号が飽和している場合、飽和以上の信号値は出力されないため、飽和している本撮影画像(参照図4_2a)から、暗時撮影画像(参照図4_2b)の差分を取って、OB値を加算すると、白線キズに相当する信号が、飽和値より引き算された補正画像(参照図4_2c)が得られてしまう。このため、白線キズが黒い線として現れることになる。よって、画像信号が飽和している場合には、補正の方法を切り替える必要がある。そこで、実施例2では画像信号が飽和している場合における補正手法について説明する。
【0021】
図5は実施例2における撮像装置の動作フローを示している。
【0022】
まず、S501は実施例1のS201と同様、システム制御部14からの制御信号により、必要な露光時間となるように撮像素子3において本撮影を行う(画像データ1)。S502では実施例1のS201と同様、シャッターを閉じた状態でS501と同じ露光時間だけ撮像素子3での暗時撮影を行う(画像データ2)。S503では実施例1のS203と同様、予め工場などで測定した白線キズのアドレスを取得する。S504は白線キズ全てを補正するために、Height=垂直画素数を用いた条件文である。Yが垂直画素数になっている場合には、この補正のフローを終わらせる。Yが垂直画素数になっていない場合には、S505に進む。S505では白線キズの画素の画像信号が飽和しているか否かの判定を行う。この方法は例えば飽和を判定する閾値を設定しておき画像データ1の画素値がこの値以上であるならばその画素は飽和している、この値以下ならば飽和していないと判断する。もし飽和していない場合には、実施例1と同じ手段で画像データ2の白線キズのみを差し引き(S507)、オプティカルブラック値(OB値)を加算する(S508)ことで白線キズ補正を行う。もし飽和している場合には、S506で白線キズと同色の水平方向にある画素から補完させることにより白線キズ補正を行う。この概念図を図6に示す。図6中のC1(R/G2)、C2(G1/B)、C3(R/G2)、C4(G1/B)、C5(R/G2)は、垂直方向の画素列を示し、R,G,Bは上下方に繰り返される色フィルタを示している。C3(R/G2)列に白線キズが発生しており、白線キズと同色で隣り合う列C1(R/G2)およびC5(R/G2)には白線キズが発生していないものとする。そこで、もしC3(R/G2)が飽和している場合はC1(R/G2)とC5(R/G2)との平均値からC3(R/G2)の補正値を算出する。この水平補間方法は単純に両画素の平均を取る方法や、白線キズとの相関を考慮し、両側の画素を補間する際に重みをつけて補正する方法がある。S509は、次の垂直画素へ進むためのインクリメントであり、YをY+1とし、S504に戻る。
【0023】
以上の手段により白線キズが飽和している場合でも、正しく補正を施すことができる。
【0024】
なお、実施例2では画像信号が飽和した場合には、水平補間による補正を行うように構成されているが、例えば、周囲画素の信号を用いて補正する方法など、欠陥画素の信号を補正できる方法であればよい。また、実施例2では、本撮影で取得した画像データ1の信号値を用いて欠陥画素の領域が飽和しているか否かの判定を行ったが、暗時撮影で取得した画像データ2の信号値から飽和の判定を行ってもよい。この場合、画像データ2がある閾値よりも大きいか否かを判定し、ある閾値よりも画像データ2の方が大きい場合には飽和していると判定する。また、画像データ1と画像データ2の信号値を両方考慮して飽和の判定を行うようにしてもよい。例えば、画像データ1と画像データ2の差分値がある閾値よりも小さい場合に飽和していると判定することが考えられる。
【0025】
以上説明したように、画像信号が飽和したと判断された場合には、補正方法を変更して適正な補正処理を行うことにより、過補正による画質劣化を防止することができる。
【0026】
[実施例3]
実施例3における撮像装置の構成も図1と同様であるので、構成要素についての説明は省略する。
【0027】
実施例2では本撮影で取得した画像データ1の白線キズの信号が飽和した場合に水平補間をすることで補正を行ったが、これに替えて、実施例3では白線キズによる上乗せ分にクリップ処理を行うことで過剰補正による弊害を解決する方法について説明する。白線キズは撮像装置の温度特性およびISO感度によりその値が変化する。そこでこれら両者の値でクリップ値を可変にさせ、減算する値にクリップ処理を行う。まず温度特性についてであるが、撮像装置の温度が上昇するにつれ白線キズの値が大きくなる(参照図7)。なお図7はCCDが10BITレベルのものについてである。そこで図8のように予め設定したクリップ値に乗算するゲインを温度と共に大きくさせる。次にISO感度と白線キズ値との関係を図9に示す。このようにISO感度上昇に従って白線キズ値が大きくなるため、予めクリップ値に乗算するゲインをISO感度に応じて大きくさせる(参照図10)。これらのゲインを予め設定した白線キズクリップ値に乗算して処理を行う。これらのフローチャートを図11に示す。S1001からS1003までは実施例1のS201からS203と同じ処理のため説明を省略する。S1004では、白線キズ全てを補正するために、Height=垂直画素数を用いた条件文である。Yが垂直画素数になっている場合には、この補正のフローを終わらせる。Yが垂直画素数になっていない場合には、S1005に進む。S1005では撮像装置の温度時に応じて設定したクリップ値に乗算するゲインを決定させる。S1006では撮像装置のISO感度に応じてゲインを決定させる。S1007ではS1005およびS1006で決定したゲインを予め設定したリミッタ値に乗算させることでリミッタ値を決定させる。S1008では画像データ2の白線キズ値がS1007で決定したリミッタ値以上である場合、リミッタ値でクリップさせる。この値を画像データ1から減算することで白線キズ補正を行う(S1009)。さらに、白線キズを補正した部分にOB値を加算することにより黒レベルの調整を行う(S1010)。S1011は、次の垂直画素へ進むためのインクリメントであり、YをY+1とし、S1004に戻る。
【0028】
このように、白線キズ値に上限値を設け、それ以上の場合には、所定値をもって補正信号とすることにより、過補正による画質劣化を防止することができる。また、上限値を温度やISO感度等の撮影条件に基づいて切り替えることにより、より正確な補正を行うことが可能となる。
【0029】
なお、白線キズの画素の画像信号が所定値よりも信号値が大きく(若しくは飽和しており)、さらに白線キズの画素と同色両隣の画素の画像信号も所定値よりも信号値が大きい(もしくは飽和している)場合には、実施例2で説明したように水平補間による補正(もしくは補正を行わない)という補正方法に切り替えて補正を制御すれば、撮影条件に応じた画質の向上を図ることが可能となる。例えば、図6において、C3(R/G2)列に白線キズが発生しており、白線キズと同色で隣り合う列C1(R/G2)およびC5(R/G2)には白線キズが発生していないものとする。このとき、C3(R/G2)が飽和しており、白線キズと同色で隣り合う列C1(R/G2)およびC5(R/G2)も飽和していることが検出された場合には、補正を上記で説明したような所定値をもって補正を行うことを禁止するように制御する。これにより、被写体が画面全体に非常に明るい場合に過補正となることを防止することができる。
【図面の簡単な説明】
【0030】
【図1】実施例1の補正回路を備えた撮像装置のブロック図である。
【図2】実施例1の処理フローチャートを表す図である。
【図3】白線キズ補正の概念図である。
【図4】白線キズ飽和による弊害の概念図である。
【図5】実施例2の処理フローチャートを表す図である。
【図6】水平補間の概念図である。
【図7】白線キズ値の温度特性を示す図である。
【図8】温度とゲインの関係を示す図である。
【図9】白線キズ値のISO感度特性を示す図である。
【図10】ISO感度とゲインの関係を示す図である。
【図11】実施例3の処理フローチャートを表す図である。
【符号の説明】
【0031】
3 撮像素子
6 タイミング信号発生回路
8 信号処理回路
9 画像メモリ
14 システム制御部
17 補正回路
【特許請求の範囲】
【請求項1】
複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択手段と、
前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正手段と、を有することを特徴とする撮像装置。
【請求項2】
前記補正手段は、前記選択された画素の信号が、所定の閾値よりも小さい場合に、前記第3の信号を用いて、前記第1の信号を補正することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記補正手段は、前記選択された画素の信号が、所定の閾値よりも大きい場合に、前記第1の信号を用いて前記第1の信号を補正することを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記補正手段は、前記第3の信号が前記所定値よりも大きい場合には、前記所定値を用いて補正を行うと共に、前記所定値を撮影条件に応じて切り替えて補正を行うことを特徴とする請求項1および請求項2に記載の撮像装置。
【請求項5】
前記撮影条件は、少なくとも温度およびISO感度設定のいずれか一方であることを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記複数の画素からの信号をA/D変換するA/D変換器と、
記録手段に前記補正手段から出力された信号を記録するように制御する記録制御手段と、を更に有することを特徴とする請求項1乃至請求項5のいずれか1項に記載の撮像装置。
【請求項7】
複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択工程と、
前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正工程と、を有することを特徴とする撮像方法。
【請求項1】
複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択手段と、
前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正手段と、を有することを特徴とする撮像装置。
【請求項2】
前記補正手段は、前記選択された画素の信号が、所定の閾値よりも小さい場合に、前記第3の信号を用いて、前記第1の信号を補正することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記補正手段は、前記選択された画素の信号が、所定の閾値よりも大きい場合に、前記第1の信号を用いて前記第1の信号を補正することを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記補正手段は、前記第3の信号が前記所定値よりも大きい場合には、前記所定値を用いて補正を行うと共に、前記所定値を撮影条件に応じて切り替えて補正を行うことを特徴とする請求項1および請求項2に記載の撮像装置。
【請求項5】
前記撮影条件は、少なくとも温度およびISO感度設定のいずれか一方であることを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記複数の画素からの信号をA/D変換するA/D変換器と、
記録手段に前記補正手段から出力された信号を記録するように制御する記録制御手段と、を更に有することを特徴とする請求項1乃至請求項5のいずれか1項に記載の撮像装置。
【請求項7】
複数の画素を露光して得た第1の信号のうち、所定値以上のノイズを含む第2の信号を選択する選択工程と、
前記第2の信号を得た画素を遮光して得た第3の信号を用いて、前記第1の信号を補正する補正工程と、を有することを特徴とする撮像方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2006−229308(P2006−229308A)
【公開日】平成18年8月31日(2006.8.31)
【国際特許分類】
【出願番号】特願2005−37717(P2005−37717)
【出願日】平成17年2月15日(2005.2.15)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成18年8月31日(2006.8.31)
【国際特許分類】
【出願日】平成17年2月15日(2005.2.15)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]