画像処理装置及びその制御方法
【課題】スジ状の固定パターンノイズを有する黒画像において、少なくともスジと平行な方向のランダムノイズを簡易な回路構成で適切に低減する。
【解決手段】遮光状態で撮像された黒画像を取得し、当該黒画像のスジと平行な方向のラインのそれぞれについて、巡回型のフィルタを適用することによりスジと平行な方向のランダムノイズを低減する。画像処理装置は、巡回型のフィルタを適用することにより得られた黒画像から、巡回型のフィルタの群遅延量分のスジと直交する方向のラインを削除する。さらに、群遅延量分のラインが削除された画像のスジと直交する方向の最終ラインを用いることにより、群遅延量分のライン数の画像を生成して、群遅延量分のラインが削除された画像に加えて出力する。
【解決手段】遮光状態で撮像された黒画像を取得し、当該黒画像のスジと平行な方向のラインのそれぞれについて、巡回型のフィルタを適用することによりスジと平行な方向のランダムノイズを低減する。画像処理装置は、巡回型のフィルタを適用することにより得られた黒画像から、巡回型のフィルタの群遅延量分のスジと直交する方向のラインを削除する。さらに、群遅延量分のラインが削除された画像のスジと直交する方向の最終ラインを用いることにより、群遅延量分のライン数の画像を生成して、群遅延量分のラインが削除された画像に加えて出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像における固定パターンノイズを低減する技術に関する。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳセンサ等の撮像素子では、垂直転送路の暗電流ムラや転送劣化に起因し、撮像された画像において、所謂「縦スジ」と呼ばれるスジ状の固定パターンノイズが発生することがある。このように発生した固定パターンノイズを補正するための方法として、遮光状態で撮像された撮像素子の出力信号（黒画像）を予め格納しておき、撮影された画像から減算する（黒引き処理）技術が知られている。
【０００３】
しかしながら、黒画像には固定パターンノイズだけではなくランダムノイズを含んでいるため、撮影された画像から黒画像を減算することにより得られた画像において、ランダムノイズが減算前の画像に比べて目立ちやすくなってしまうことがあった。このため、黒画像からランダムノイズを低減することにより、スジ状の固定パターンノイズを抽出した抽出画像を生成する技術が知られている。
【０００４】
特許文献１には、撮像素子の行または列を１処理単位としてメディアンフィルタを適用することによりランダムノイズを低減する技術が開示されている。また特許文献２には、撮像素子の周囲に撮像には用いない遮光領域を設け、当該遮光領域で測定された撮像時の暗電流量から撮像に用いる領域の暗電流量を算出し、撮像に用いる領域のランダムノイズを低減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０２８０２６号公報
【特許文献２】特開２００９−０３３３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１のように、行や列を単位としてランダムノイズを低減するためのフィルタを適用する方法によって十分にランダムノイズを低減するためには、十数タップ以上のディレイラインが必要となる場合があり、回路規模が増大してしまう。
【０００７】
特許文献２のように撮像素子の周囲に遮光領域を設ける方法では、撮像素子の有効画素数の低下を招く、または遮光領域を設けるための撮像素子の拡張により回路規模が増大してしまう等の問題があった。また特許文献２では撮像に用いる領域の暗電流量を線形的に推定して算出するため、撮像に用いる領域の暗電流量の変化傾向によっては適切にランダムノイズを低減することができなかった。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、スジ状の固定パターンノイズを有する黒画像において、少なくともスジと平行な方向のランダムノイズを簡易な回路構成で適切に低減することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
遮光状態で撮像された、スジ状の固定パターンノイズを有する黒画像を取得する取得手段と、取得手段により取得された黒画像に対し、当該黒画像のスジと平行な方向のラインのそれぞれについて、スジと平行な方向のランダムノイズを低減する巡回型のフィルタであって、スジと平行な方向の画素順に、着目画素の画素値、及び当該着目画素より前に当該巡回型のフィルタが適用された少なくとも１つの画素の画素値を重み付け加算する巡回型のフィルタを適用する第１の低減手段と、第１の低減手段により巡回型のフィルタが適用された黒画像から、巡回型のフィルタの群遅延量分のスジと直交する方向のラインを削除し、当該群遅延量分のラインが削除された画像のスジと直交する方向の最終ラインを用いることにより群遅延量分のライン数の画像を生成して、群遅延量分のラインが削除された画像に加えて出力する第１の出力手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、スジ状の固定パターンノイズを有する黒画像において、少なくともスジと平行な方向のランダムノイズを簡易な回路構成で適切に低減することを可能とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るデジタルカメラの機能構成例を示したブロック図。
【図２】図１の抽出画像生成部の機能構成例を示したブロック図。
【図３】図２のスジ強度算出部の回路構成例を示した図。
【図４】本発明の実施形態に係るスジ強度を説明するための図。
【図５】図２の平行方向ノイズフィルタの回路構成例を示した図。
【図６】図１の抽出画像生成部の処理の流れを示したフローチャート。
【図７】本発明の変形例に係るスジの強度の変化率を説明するための図。
【図８】本発明の変形例に係る図５の信号生成部の回路構成を示した図。
【発明を実施するための形態】
【００１２】
（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、ランダムノイズを低減した黒画像を用いて、撮影された画像内のスジ状の固定パターンノイズを補正可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、黒画像に含まれるランダムノイズを低減することが可能な任意の機器に適用可能である。
【００１３】
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばマイクロプロセッサであり、ＲＯＭ１０２に記憶されているデジタルカメラ１００が備える各ブロックの動作プログラムを読み出して、ＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。ＲＯＭ１０２は、例えばフラッシュメモリのような書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータや設定等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックで生成されたデータの一時的な記憶領域である。またＲＡＭ１０３には、撮影された画像からスジ状の固定パターンノイズを低減するための、補正用の黒画像が記憶される。補正用の黒画像は、遮光状態で撮像されて得られた黒画像から、ランダムノイズを低減して得られた、スジ状の固定パターンノイズの抽出画像である。
【００１４】
撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４を解して撮像素子上に結像された光学像を光電変換し、得られたアナログ画像信号を後述するＡ／Ｄ変換部１０７に出力する。メカシャッタ１０５は、物理的に光路を遮断することで露光時間を調整するブロックである。本明細書では、画像を撮影する際の条件に合わせて、メカシャッタ１０５を全て閉じた遮光状態で撮像を行って得られた画像を、後述するＡ／Ｄ変換部１０７でＡ／Ｄ変換した後、得られた画像を黒画像としてＲＡＭ１０３に格納する。Ａ／Ｄ変換部１０７は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、デジタル画像を得る。
【００１５】
抽出画像生成部１０８は、遮光状態で撮像されて得られた黒画像に含まれる、スジ状の固定パターンノイズ以外のランダムノイズを低減することにより、スジ状の固定パターンノイズを低減するための補正用の画像を出力するブロックである。即ち、抽出画像生成部１０８は、メカシャッタ１０５を開いて撮像されて得られた画像からスジ状の固定パターンノイズを低減するために、スジ状の固定パターンノイズが抽出された黒画像を生成する。
【００１６】
画像処理部１０９は、メカシャッタ１０５を開いて撮像されて得られた画像から、抽出画像生成部１０８で生成されたスジ状の固定パターンノイズが抽出された黒画像を減算することにより、スジ状の固定パターンノイズを低減した画像を出力する。また画像処理部１０９は、スジ状の固定パターンノイズを低減した画像について、色分離、アパーチャ補正、ガンマ補正、ホワイトバランス等の各種信号処理を行う。
【００１７】
（固定パターンノイズ抽出）
このような構成を持つ本実施形態のデジタルカメラ１００において、スジ状の固定パターンノイズを補正するために用いられる黒画像を生成する処理の流れについて、さらに図を用いて説明する。
【００１８】
まず制御部１０１は、例えばメカシャッタ１０５を開いて画像を撮像する際にデジタルカメラ１００に設定される感度設定や露光時間等の撮像パラメータを取得する。そして制御部１０１は、取得した撮像パラメータと同一の条件でメカシャッタ１０５を閉じて遮光状態で撮像部１０６からアナログ画像信号をＡ／Ｄ変換部１０７に出力させる。制御部１０１はＡ／Ｄ変換部１０７に入力されたアナログ画像信号にＡ／Ｄ変換処理を行わせ、黒画像を出力させる。制御部１０１は、Ａ／Ｄ変換部１０７から出力された黒画像をＲＡＭ１０３に記憶させる。このとき、ＲＡＭ１０３に記憶された黒画像にはスジ状の固定パターンノイズとランダムノイズとが含まれている。なお、黒画像は、フィールド読み出しにより、少なくとも１フィールド以上を読み出したような間引かれた画像データであっても良い。
【００１９】
制御部１０１は、スジ状の固定パターンノイズとランダムノイズとを含む黒画像をＲＡＭ１０３から読み出して抽出画像生成部１０８に出力し、ランダムノイズが低減された補正用の黒画像、即ちスジ状の固定パターンノイズを抽出した抽出画像を生成させる。
【００２０】
ここで、抽出画像生成部１０８で行われる抽出画像の生成処理について、図２のブロック図、及び図６のフローチャートを用いて説明する。ＲＡＭ１０３より読み出された入力された黒画像は、抽出画像生成部１０８に入力されると、スジ強度算出部２０１及び平行方向ノイズフィルタ２０２のそれぞれに入力される（Ｓ６０１）。
【００２１】
スジ強度算出部２０１は、図３に示すような回路構成になっており、黒画像に含まれるスジ状の固定パターンノイズの強度（スジ状の固定パターンノイズの振幅）を領域ごとに検出する（Ｓ６０２）。具体的には、スジ強度算出部２０１に入力された黒画像は、対象とする画素ごとにその画素を囲う領域が設定され、黒画像の各領域に対して各ブロックでの処理が実行されることにより、各対象とする画素のスジの強度を示すスジ強度αを決定する。
【００２２】
まず、入力された黒画像の領域に対して、平行方向ノイズフィルタ３０１では、スジと平行な方向の高周波成分を除去するために、当該スジと平行な方向のローパスフィルタを適用する。具体的には、例えば黒画像に含まれるスジ状の固定パターンノイズが、画像に対して縦（Ｖ）方向に発生するスジである場合、スジ強度算出部２０１に入力された黒画像の各領域の縦方向の直流成分を出力する。なお、スジと平行な方向のローパスフィルタは、例えば着目画素を中心とした、スジと平行な方向において当該着目画素と同一の横（Ｈ）方向の座標を有する２５画素など、所定数の画素値の加算平均を行うように構成されたフィルタであってよい。
【００２３】
直交方向ノイズフィルタ３０２では、平行方向ノイズフィルタ３０１より出力された、黒画像の各領域の、スジと平行な方向の直流成分に対して、スジと直交する方向の高周波成分を除去するために、当該スジと直交する方向のローパスフィルタを適用する。これにより直交方向ノイズフィルタ３０２は、スジ強度算出部２０１に入力された黒画像の各領域について、２次元の直流成分を出力する。
【００２４】
このようにして得られたスジ強度算出部２０１に入力された黒画像の各領域のスジと平行な方向の直流成分、及び当該黒画像の各領域の２次元の直流成分は、減算器３０３において減算される。具体的には、減算器３０３において黒画像の各領域のスジと平行な方向の直流成分から、当該黒画像の各領域の２次元の直流成分を減算することにより、当該黒画像の画素それぞれの、スジと直交する方向の交流成分を導出する。
【００２５】
そして絶対値算出部３０４では、減算器３０３から出力された黒画像の各画素のスジと直交する方向の交流成分を、当該交流成分の絶対値に変換してスジ強度決定部３０５に出力する。スジ強度決定部３０５では、入力された交流成分の絶対値に応じて、黒画像の各画素のスジ強度αを決定する。具体的には、スジ強度決定部３０５において、例えば図４に示すような関数により黒画像の各画素のスジ強度が決定される。
【００２６】
図４は、横軸が交流成分の絶対値、縦軸がスジ強度となっている。スジ強度は例えば８ビットの値で示され、スジ強度が０である場合は当該画素がスジではないことを示し、２５５である場合は当該画素がスジであることを示している。また、スジ強度が１〜２５４である場合は当該画素がスジか否かの区別つきにくい程度のスジであることを示している。なお、図４の閾値４０１は、スジと直交する方向の交流成分の絶対値がランダムノイズの振幅に対して十分に小さく、スジ状の固定パターンノイズを認識できない値とすることが望ましい。そして、スジ強度決定部３０５は決定されたスジ強度を正規化することによりスジ強度α（≦１）を出力する。
【００２７】
一方で、平行方向ノイズフィルタ２０２においても、入力された黒画像に対し、スジと平行な方向の高周波成分であるランダムノイズを低減するために、スジと平行な方向のローパスフィルタを適用する（第１の低減手段）（Ｓ６０３）。ここで、本実施形態に係る平行方向ノイズフィルタ２０２で行われる、スジと平行な方向のランダムノイズの低減処理について、図５を用いて詳細に説明する。
【００２８】
平行方向ノイズフィルタ２０２に入力された黒画像は、まずＩＩＲフィルタ５０１においてスジと平行な方向のランダムノイズを低減する処理が適用される。ＩＩＲフィルタ５０１は巡回型のフィルタであり、スジと平行な方向のラインのそれぞれについてスジと平行な方向のランダムノイズを低減する処理を行う。具体的にはＩＩＲフィルタ５０１は、スジと平行な方向の画素順に着目画素を設定し、当該着目画素の画素値と、着目画素より前にフィルタが適用されて出力された少なくとも１つの画素の画素値とを重み付け加算することにより、低減後の画素値を算出する。例えば、フィルタが適用された着目画素の１つ前の座標の画素を用いて重み付け加算を行う場合、次の式１のように表すことができる。
Ｙ（ｔ）＝β＊Ｘ（ｔ）＋（１−β）Ｙ（ｔ−１） ・・・式１
ここでＸ（ｔ）は着目画素の画素値、Ｙ（ｔ）はランダムノイズ低減後の画素値、βは重み付け係数に当たる巡回係数である。なお、巡回係数βは着目画素においてランダムノイズの振幅に応じて設定されることが望ましい。例えばＩＩＲフィルタ５０１の前段にスジと平行な方向の各ラインにおけるランダムノイズの振幅を検出する構成が存在する場合、ＩＩＲフィルタ５０１の巡回係数βは当該着目画素のラインのランダムノイズの振幅によって次のように設定されればよい。即ち、着目画素のスジと平行な方向のラインにおけるランダムノイズの振幅が高いほど当該着目画素の重み付けが小さくなるように巡回係数βは設定されればよい。このように巡回型のフィルタを用いることで、膨大なディレイラインを必要とせずに、ランダムノイズを低減することが可能である。
【００２９】
ＩＩＲフィルタ５０１において巡回型のフィルタが適用された黒画像は、出力制御部５０２に入力される。このとき、入力された巡回型のフィルタが適用された黒画像には、ＩＩＲフィルタ５０１の処理において参照されていた着目画素より前にフィルタが適用されて出力された画素数、または参照する画素との間隔に応じて、群遅延が生じている。出力制御部５０２は、巡回型のフィルタが適用された黒画像に生じている群遅延量分のスジと直交する方向のラインを削除する。そして、平行方向ノイズフィルタ２０２に入力された黒画像のスジと直交する方向の先頭ラインに対応するライン、すなわち削除されたラインの次のラインが先頭ラインとなるようにする。例えば、平行方向ノイズフィルタ２０２に入力された黒画像において、垂直方向にスジ状の固定パターンノイズが存在する場合、出力制御部５０２は当該黒画像の垂直ライン数ＶＳＩＺＥから、群遅延量分のライン数ＤＬが減算されたライン数の画像を出力する。即ち、垂直方向にスジ状の固定パターンノイズが存在する場合、出力制御部５０２から出力される画像は、入力された画像から群遅延量分のライン数の水平方向のラインが削除されて出力される（第１の出力）。
【００３０】
信号生成部５０３は、出力制御部５０２から出力された、スジと直行する方向の群遅延量分のラインが削除された画像に対して、スジと直交する方向の群遅延量分のライン数の画像を生成し、群遅延量分のラインが削除された画像に対して加える。具体的には信号生成部５０３は、入力された群遅延量分のラインが削除された画像の、スジと直交する方向の最終ラインを複製することにより群遅延量分のライン数の画像を生成し、入力された画像に対して追加する。即ち、スジと直交する方向の最終ラインを、群遅延量分のラインが削除された画像の最終ラインの後に、群遅延量のライン数分だけ追加することにより、平行方向ノイズフィルタ２０２に入力された黒画像と同じサイズの画像を生成して出力する。
【００３１】
このように、平行方向ノイズフィルタ２０２では、ＩＩＲフィルタ５０１、出力制御部５０２及び信号生成部５０３により、スジと平行な方向のランダムノイズを低減した黒画像を出力することが可能になる。
【００３２】
また、直交方向ノイズフィルタ２０３では、平行方向ノイズフィルタ２０２から出力された、スジと平行な方向のローパスフィルタが適用された黒画像に対して、スジと直交する方向のローパスフィルタを適用する（第２の低減手段）（Ｓ６０４）。なお、スジと直交する方向のローパスフィルタは、例えば着目画素を中心とした、当該着目画素と同一のスジと直交する方向の座標を有する２５画素など、所定数の画素値の加算平均を行うように構成されたフィルタであってよい。
【００３３】
なお、このようなスジと平行、及び直交する方向のローパスフィルタのフィルタ係数（所定数の画素値等）は、低減したいランダムノイズの振幅に応じて設定されることが望ましい。フィルタ係数は、例えば感度設定等の撮像条件のパターンに対して予め設定されてＲＯＭ１０２に記憶され、スジ状の固定パターンノイズを補正するために用いられる黒画像を生成する処理において読み出されてもよい。
【００３４】
スジ強度算出部２０１から出力されたスジ強度α、平行方向ノイズフィルタ２０２から出力された黒画像dark1、及び直交方向ノイズフィルタ２０３から出力された黒画像dark2は合成部２０４に入力され、合成部２０４により合成される（Ｓ６０５）。具体的には、合成部２０４は以下の式２のように重み付け加算することにより、各画素の画素値を合成して、ランダムノイズが低減されスジ状の固定パターンノイズが抽出された補正用の黒画像hosei_darkを生成する（第２の出力）。
hosei_dark＝α×dark1＋（１−α）×dark2 ・・・式２
【００３５】
このようにすることで、スジ強度の低い画素ほど、スジと平行な方向のローパスフィルタが適用された黒画像の重み付けが小さくなるようにすることができる。つまり、スジが存在しない画素、またはスジの振幅が小さい画素では、スジと平行な方向のローパスフィルタが適用されることで逆にスジの振幅を大きくしてしまうため、当該スジと平行な方向のローパスフィルタの適用度を低くする。それとともに、スジと直交する方向のローパスフィルタの適用度を高くすることで、スジと直交する方向のランダムノイズを低減することができるため、黒画像の各画素において適切にランダムノイズを低減することができる。さらに、画素ごとにスジ強度αを設定することができるため、同一のスジ上でスジの強度が変化する場合であっても、過補正となる領域が生じることを抑えることができる。また、従来の黒引き処理と同様にシェーディングも補正することができる。なお、黒画像の撮像は必ずしも撮影毎に行う必要はなく、撮像素子の特性に応じて、適宜実行すれば良い。
【００３６】
以上説明したように、本実施形態の画像処理装置は、スジ状の固定パターンノイズを有する黒画像において、少なくともスジと平行な方向のランダムノイズを簡易な回路構成で適切に低減することができる。具体的には画像処理装置は、遮光状態で撮像された黒画像を取得し、当該黒画像のスジと平行な方向のラインのそれぞれについて、巡回型のフィルタを適用することによりスジと平行な方向のランダムノイズを低減する。画像処理装置は、巡回型のフィルタを適用することにより得られた黒画像から、巡回型のフィルタの群遅延量分のスジと直交する方向のラインを削除する。さらに、群遅延量分のラインが削除された画像のスジと直交する方向の最終ラインを用いることにより、群遅延量分のライン数の画像を生成して、群遅延量分のラインが削除された画像に加えて出力する。
【００３７】
（変形例）
上述した実施形態では、巡回型のフィルタの群遅延量分のラインを削除された画像に対して加える群遅延量分のライン数の画像を、群遅延量分のラインを削除された画像の最終ラインを複製して生成する方法について説明した。上述した実施形態のような最終ラインを複製して追加する方法は、例えばスジ状の固定パターンノイズが存在する、スジと平行な方向のラインにおける画素値の変化率を０に近似できる場合や、群遅延量のライン数が全ライン数に比べて少ない場合に有効である。
【００３８】
ここで、例えば図７（ａ）に示すように、スジと平行な方向のラインにおけるスジ状の固定パターンノイズの画素値の変化率IIR_In_Sig７０１が急峻である場合を考える。ＩＩＲフィルタ５０１の出力であるIIR_Out_Sig７０２から群遅延量分のラインを削除し、当該群遅延量分のラインが削除された画像の最終ラインを複製して、群遅延量分のライン数の画像を生成すると、その画素値の変化率は図７（ｂ）のようになる。図からもわかるように、スジ状の固定パターンノイズの画素値の変化率が急峻である場合、最終ラインを複製して生成した画像CR_Add_Sig７０３を付加しても、適切にスジと平行な方向のランダムノイズが低減された黒画像を得ることはできない。特に、スジと平行な方向のランダムノイズの振幅が大きく、着目画素の画素値の重み付けが小さくなるように巡回係数βが設定された場合は群遅延量が増加するため、実際の固定パターンノイズの画素値とのずれが大きくなる可能性がある。
【００３９】
本変形例では、このようなスジ状の固定パターンノイズが存在する、スジと平行な方向のラインにおける画素値の変化率を０に近似できない場合や、画素値の変化率が変動する場合の群遅延量分のライン数の画像を生成する方法について説明する。なお、本変形例において、上述の実施形態と同様の構成であるブロックについては同一の参照番号を付して説明を省略し、本変形例に特徴的な構成の説明に留める。
【００４０】
図８は、本変形例における信号生成部５０３の回路構成を示した図である。本変形例では、信号生成部５０３に入力された、スジと直交する方向の群遅延量分のラインが削除された画像は、変化率算出部８０１及び出力選択部８０２に入力される。
【００４１】
変化率算出部８０１は、入力された画像のスジ状の固定パターンノイズが存在する、スジと平行な方向のラインのいずれかにおいて、スジと平行な方向における固定パターンノイズの画素値の変化率を算出する。具体的には、変化率算出部８０１は入力された画像のスジと直交する方向の最終ラインから予め定められた数ΔＶのラインのそれぞれについて、固定パターンノイズの画素値のライン間の変化率を取得する。そして全ての変化率の平均値をとることで、スジと平行な方向における固定パターンノイズの画素値の変化率γを得る。
【００４２】
なお、スジ状の固定パターンノイズの画素値の、当該スジと平行な方向のラインにおける変化傾向は、ラインによらず同様の傾向を示すとみなすことができるため、本変形例では１つのスジと平行な方向のラインについて変化率を算出している。しかしながら、本発明の実施はこれに限らず、例えば複数のスジと平行な方向のラインについて固定パターンノイズの画素値の変化率を算出して平均をとってもよい。
【００４３】
出力選択部８０２は、信号生成部５０３に入力された画像を出力するか、後述する乗算器８０３から入力される画像を出力するかを切り替えるブロックである。例えばスジ状の固定パターンノイズが垂直方向に発生しており、図５のように出力制御部５０２においてＤＬラインの水平ラインが削除された場合、出力選択部８０２は次のように出力を切り替える。まず、信号生成部５０３に入力された垂直方向にＶＳＩＺＥ−ＤＬラインを有する画像を全ライン出力した後に入力を切り替え、乗算器８０３から出力された画像をＤＬライン分出力する。
【００４４】
乗算器８０３は、入力された画像に対して、変化率算出部８０１で算出された変化率γの値を乗算することにより、固定パターンノイズの画素値が当該変化率で変化した場合の画像を生成する。乗算器８０３には、出力選択部８０２から出力される画像が、スジと直交する方向のライン単位で入力される。乗算器８０３は当該入力されるラインの画素のうち、少なくとも固定パターンノイズが存在する画素の画素値に対して変化率γを乗算すればよい。即ち、乗算器８０３から出力されるある画素の画素値Ｙ（ｔ）は、当該画素と同一のスジと直交する方向の座標を有し、出力選択部８０２から直前に出力された画素の画素値Ｙ（ｔ−１）を用いて、以下の式３で表せる。
Ｙ（ｔ）＝Ｙ（ｔ−１）×γ ・・・式３
【００４５】
なお、本変形例では、少なくとも固定パターンノイズが存在する画素の画素値に対して変化率γを乗算するものとして説明したが、本発明の実施はこれに限らず、入力されるラインの全ての画素に変化率ガンマを乗算してもよい。これは、本発明ではスジ状の固定パターンノイズが発生している黒画像に対して処理を適用するため、固定パターンノイズが存在しない画素の画素値は十分小さいと考えられ、当該画素値に対して変化率γを乗算しても、影響は少ないと考えられるからである。
【００４６】
このようにすることで本変形例の信号生成部５０３は、固定パターンノイズの画素値の変化率が急峻であっても、スジと直交する方向の群遅延量分のラインが削除された画像に対して、群遅延量分のライン数の画像を加えて出力することができる。具体的には信号生成部５０３では、図７（ｃ）に示すように入力された画像のスジと直交する方向の最終ラインから予め定められた数ΔＶのラインから、固定パターンノイズの画素値の変化率γが算出される。そして、加えられる群遅延量分のライン数の画像CR_Add_Sig７０４は、変化率γで固定パターンノイズの画素値が変化するように、入力された画像のスジと直交する方向の最終ラインから複製した画素を乗算することで生成される。
【００４７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像された画像における固定パターンノイズを低減する技術に関する。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳセンサ等の撮像素子では、垂直転送路の暗電流ムラや転送劣化に起因し、撮像された画像において、所謂「縦スジ」と呼ばれるスジ状の固定パターンノイズが発生することがある。このように発生した固定パターンノイズを補正するための方法として、遮光状態で撮像された撮像素子の出力信号（黒画像）を予め格納しておき、撮影された画像から減算する（黒引き処理）技術が知られている。
【０００３】
しかしながら、黒画像には固定パターンノイズだけではなくランダムノイズを含んでいるため、撮影された画像から黒画像を減算することにより得られた画像において、ランダムノイズが減算前の画像に比べて目立ちやすくなってしまうことがあった。このため、黒画像からランダムノイズを低減することにより、スジ状の固定パターンノイズを抽出した抽出画像を生成する技術が知られている。
【０００４】
特許文献１には、撮像素子の行または列を１処理単位としてメディアンフィルタを適用することによりランダムノイズを低減する技術が開示されている。また特許文献２には、撮像素子の周囲に撮像には用いない遮光領域を設け、当該遮光領域で測定された撮像時の暗電流量から撮像に用いる領域の暗電流量を算出し、撮像に用いる領域のランダムノイズを低減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０２８０２６号公報
【特許文献２】特開２００９−０３３３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１のように、行や列を単位としてランダムノイズを低減するためのフィルタを適用する方法によって十分にランダムノイズを低減するためには、十数タップ以上のディレイラインが必要となる場合があり、回路規模が増大してしまう。
【０００７】
特許文献２のように撮像素子の周囲に遮光領域を設ける方法では、撮像素子の有効画素数の低下を招く、または遮光領域を設けるための撮像素子の拡張により回路規模が増大してしまう等の問題があった。また特許文献２では撮像に用いる領域の暗電流量を線形的に推定して算出するため、撮像に用いる領域の暗電流量の変化傾向によっては適切にランダムノイズを低減することができなかった。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、スジ状の固定パターンノイズを有する黒画像において、少なくともスジと平行な方向のランダムノイズを簡易な回路構成で適切に低減することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
遮光状態で撮像された、スジ状の固定パターンノイズを有する黒画像を取得する取得手段と、取得手段により取得された黒画像に対し、当該黒画像のスジと平行な方向のラインのそれぞれについて、スジと平行な方向のランダムノイズを低減する巡回型のフィルタであって、スジと平行な方向の画素順に、着目画素の画素値、及び当該着目画素より前に当該巡回型のフィルタが適用された少なくとも１つの画素の画素値を重み付け加算する巡回型のフィルタを適用する第１の低減手段と、第１の低減手段により巡回型のフィルタが適用された黒画像から、巡回型のフィルタの群遅延量分のスジと直交する方向のラインを削除し、当該群遅延量分のラインが削除された画像のスジと直交する方向の最終ラインを用いることにより群遅延量分のライン数の画像を生成して、群遅延量分のラインが削除された画像に加えて出力する第１の出力手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、スジ状の固定パターンノイズを有する黒画像において、少なくともスジと平行な方向のランダムノイズを簡易な回路構成で適切に低減することを可能とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るデジタルカメラの機能構成例を示したブロック図。
【図２】図１の抽出画像生成部の機能構成例を示したブロック図。
【図３】図２のスジ強度算出部の回路構成例を示した図。
【図４】本発明の実施形態に係るスジ強度を説明するための図。
【図５】図２の平行方向ノイズフィルタの回路構成例を示した図。
【図６】図１の抽出画像生成部の処理の流れを示したフローチャート。
【図７】本発明の変形例に係るスジの強度の変化率を説明するための図。
【図８】本発明の変形例に係る図５の信号生成部の回路構成を示した図。
【発明を実施するための形態】
【００１２】
（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、ランダムノイズを低減した黒画像を用いて、撮影された画像内のスジ状の固定パターンノイズを補正可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、黒画像に含まれるランダムノイズを低減することが可能な任意の機器に適用可能である。
【００１３】
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばマイクロプロセッサであり、ＲＯＭ１０２に記憶されているデジタルカメラ１００が備える各ブロックの動作プログラムを読み出して、ＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。ＲＯＭ１０２は、例えばフラッシュメモリのような書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータや設定等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックで生成されたデータの一時的な記憶領域である。またＲＡＭ１０３には、撮影された画像からスジ状の固定パターンノイズを低減するための、補正用の黒画像が記憶される。補正用の黒画像は、遮光状態で撮像されて得られた黒画像から、ランダムノイズを低減して得られた、スジ状の固定パターンノイズの抽出画像である。
【００１４】
撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４を解して撮像素子上に結像された光学像を光電変換し、得られたアナログ画像信号を後述するＡ／Ｄ変換部１０７に出力する。メカシャッタ１０５は、物理的に光路を遮断することで露光時間を調整するブロックである。本明細書では、画像を撮影する際の条件に合わせて、メカシャッタ１０５を全て閉じた遮光状態で撮像を行って得られた画像を、後述するＡ／Ｄ変換部１０７でＡ／Ｄ変換した後、得られた画像を黒画像としてＲＡＭ１０３に格納する。Ａ／Ｄ変換部１０７は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、デジタル画像を得る。
【００１５】
抽出画像生成部１０８は、遮光状態で撮像されて得られた黒画像に含まれる、スジ状の固定パターンノイズ以外のランダムノイズを低減することにより、スジ状の固定パターンノイズを低減するための補正用の画像を出力するブロックである。即ち、抽出画像生成部１０８は、メカシャッタ１０５を開いて撮像されて得られた画像からスジ状の固定パターンノイズを低減するために、スジ状の固定パターンノイズが抽出された黒画像を生成する。
【００１６】
画像処理部１０９は、メカシャッタ１０５を開いて撮像されて得られた画像から、抽出画像生成部１０８で生成されたスジ状の固定パターンノイズが抽出された黒画像を減算することにより、スジ状の固定パターンノイズを低減した画像を出力する。また画像処理部１０９は、スジ状の固定パターンノイズを低減した画像について、色分離、アパーチャ補正、ガンマ補正、ホワイトバランス等の各種信号処理を行う。
【００１７】
（固定パターンノイズ抽出）
このような構成を持つ本実施形態のデジタルカメラ１００において、スジ状の固定パターンノイズを補正するために用いられる黒画像を生成する処理の流れについて、さらに図を用いて説明する。
【００１８】
まず制御部１０１は、例えばメカシャッタ１０５を開いて画像を撮像する際にデジタルカメラ１００に設定される感度設定や露光時間等の撮像パラメータを取得する。そして制御部１０１は、取得した撮像パラメータと同一の条件でメカシャッタ１０５を閉じて遮光状態で撮像部１０６からアナログ画像信号をＡ／Ｄ変換部１０７に出力させる。制御部１０１はＡ／Ｄ変換部１０７に入力されたアナログ画像信号にＡ／Ｄ変換処理を行わせ、黒画像を出力させる。制御部１０１は、Ａ／Ｄ変換部１０７から出力された黒画像をＲＡＭ１０３に記憶させる。このとき、ＲＡＭ１０３に記憶された黒画像にはスジ状の固定パターンノイズとランダムノイズとが含まれている。なお、黒画像は、フィールド読み出しにより、少なくとも１フィールド以上を読み出したような間引かれた画像データであっても良い。
【００１９】
制御部１０１は、スジ状の固定パターンノイズとランダムノイズとを含む黒画像をＲＡＭ１０３から読み出して抽出画像生成部１０８に出力し、ランダムノイズが低減された補正用の黒画像、即ちスジ状の固定パターンノイズを抽出した抽出画像を生成させる。
【００２０】
ここで、抽出画像生成部１０８で行われる抽出画像の生成処理について、図２のブロック図、及び図６のフローチャートを用いて説明する。ＲＡＭ１０３より読み出された入力された黒画像は、抽出画像生成部１０８に入力されると、スジ強度算出部２０１及び平行方向ノイズフィルタ２０２のそれぞれに入力される（Ｓ６０１）。
【００２１】
スジ強度算出部２０１は、図３に示すような回路構成になっており、黒画像に含まれるスジ状の固定パターンノイズの強度（スジ状の固定パターンノイズの振幅）を領域ごとに検出する（Ｓ６０２）。具体的には、スジ強度算出部２０１に入力された黒画像は、対象とする画素ごとにその画素を囲う領域が設定され、黒画像の各領域に対して各ブロックでの処理が実行されることにより、各対象とする画素のスジの強度を示すスジ強度αを決定する。
【００２２】
まず、入力された黒画像の領域に対して、平行方向ノイズフィルタ３０１では、スジと平行な方向の高周波成分を除去するために、当該スジと平行な方向のローパスフィルタを適用する。具体的には、例えば黒画像に含まれるスジ状の固定パターンノイズが、画像に対して縦（Ｖ）方向に発生するスジである場合、スジ強度算出部２０１に入力された黒画像の各領域の縦方向の直流成分を出力する。なお、スジと平行な方向のローパスフィルタは、例えば着目画素を中心とした、スジと平行な方向において当該着目画素と同一の横（Ｈ）方向の座標を有する２５画素など、所定数の画素値の加算平均を行うように構成されたフィルタであってよい。
【００２３】
直交方向ノイズフィルタ３０２では、平行方向ノイズフィルタ３０１より出力された、黒画像の各領域の、スジと平行な方向の直流成分に対して、スジと直交する方向の高周波成分を除去するために、当該スジと直交する方向のローパスフィルタを適用する。これにより直交方向ノイズフィルタ３０２は、スジ強度算出部２０１に入力された黒画像の各領域について、２次元の直流成分を出力する。
【００２４】
このようにして得られたスジ強度算出部２０１に入力された黒画像の各領域のスジと平行な方向の直流成分、及び当該黒画像の各領域の２次元の直流成分は、減算器３０３において減算される。具体的には、減算器３０３において黒画像の各領域のスジと平行な方向の直流成分から、当該黒画像の各領域の２次元の直流成分を減算することにより、当該黒画像の画素それぞれの、スジと直交する方向の交流成分を導出する。
【００２５】
そして絶対値算出部３０４では、減算器３０３から出力された黒画像の各画素のスジと直交する方向の交流成分を、当該交流成分の絶対値に変換してスジ強度決定部３０５に出力する。スジ強度決定部３０５では、入力された交流成分の絶対値に応じて、黒画像の各画素のスジ強度αを決定する。具体的には、スジ強度決定部３０５において、例えば図４に示すような関数により黒画像の各画素のスジ強度が決定される。
【００２６】
図４は、横軸が交流成分の絶対値、縦軸がスジ強度となっている。スジ強度は例えば８ビットの値で示され、スジ強度が０である場合は当該画素がスジではないことを示し、２５５である場合は当該画素がスジであることを示している。また、スジ強度が１〜２５４である場合は当該画素がスジか否かの区別つきにくい程度のスジであることを示している。なお、図４の閾値４０１は、スジと直交する方向の交流成分の絶対値がランダムノイズの振幅に対して十分に小さく、スジ状の固定パターンノイズを認識できない値とすることが望ましい。そして、スジ強度決定部３０５は決定されたスジ強度を正規化することによりスジ強度α（≦１）を出力する。
【００２７】
一方で、平行方向ノイズフィルタ２０２においても、入力された黒画像に対し、スジと平行な方向の高周波成分であるランダムノイズを低減するために、スジと平行な方向のローパスフィルタを適用する（第１の低減手段）（Ｓ６０３）。ここで、本実施形態に係る平行方向ノイズフィルタ２０２で行われる、スジと平行な方向のランダムノイズの低減処理について、図５を用いて詳細に説明する。
【００２８】
平行方向ノイズフィルタ２０２に入力された黒画像は、まずＩＩＲフィルタ５０１においてスジと平行な方向のランダムノイズを低減する処理が適用される。ＩＩＲフィルタ５０１は巡回型のフィルタであり、スジと平行な方向のラインのそれぞれについてスジと平行な方向のランダムノイズを低減する処理を行う。具体的にはＩＩＲフィルタ５０１は、スジと平行な方向の画素順に着目画素を設定し、当該着目画素の画素値と、着目画素より前にフィルタが適用されて出力された少なくとも１つの画素の画素値とを重み付け加算することにより、低減後の画素値を算出する。例えば、フィルタが適用された着目画素の１つ前の座標の画素を用いて重み付け加算を行う場合、次の式１のように表すことができる。
Ｙ（ｔ）＝β＊Ｘ（ｔ）＋（１−β）Ｙ（ｔ−１） ・・・式１
ここでＸ（ｔ）は着目画素の画素値、Ｙ（ｔ）はランダムノイズ低減後の画素値、βは重み付け係数に当たる巡回係数である。なお、巡回係数βは着目画素においてランダムノイズの振幅に応じて設定されることが望ましい。例えばＩＩＲフィルタ５０１の前段にスジと平行な方向の各ラインにおけるランダムノイズの振幅を検出する構成が存在する場合、ＩＩＲフィルタ５０１の巡回係数βは当該着目画素のラインのランダムノイズの振幅によって次のように設定されればよい。即ち、着目画素のスジと平行な方向のラインにおけるランダムノイズの振幅が高いほど当該着目画素の重み付けが小さくなるように巡回係数βは設定されればよい。このように巡回型のフィルタを用いることで、膨大なディレイラインを必要とせずに、ランダムノイズを低減することが可能である。
【００２９】
ＩＩＲフィルタ５０１において巡回型のフィルタが適用された黒画像は、出力制御部５０２に入力される。このとき、入力された巡回型のフィルタが適用された黒画像には、ＩＩＲフィルタ５０１の処理において参照されていた着目画素より前にフィルタが適用されて出力された画素数、または参照する画素との間隔に応じて、群遅延が生じている。出力制御部５０２は、巡回型のフィルタが適用された黒画像に生じている群遅延量分のスジと直交する方向のラインを削除する。そして、平行方向ノイズフィルタ２０２に入力された黒画像のスジと直交する方向の先頭ラインに対応するライン、すなわち削除されたラインの次のラインが先頭ラインとなるようにする。例えば、平行方向ノイズフィルタ２０２に入力された黒画像において、垂直方向にスジ状の固定パターンノイズが存在する場合、出力制御部５０２は当該黒画像の垂直ライン数ＶＳＩＺＥから、群遅延量分のライン数ＤＬが減算されたライン数の画像を出力する。即ち、垂直方向にスジ状の固定パターンノイズが存在する場合、出力制御部５０２から出力される画像は、入力された画像から群遅延量分のライン数の水平方向のラインが削除されて出力される（第１の出力）。
【００３０】
信号生成部５０３は、出力制御部５０２から出力された、スジと直行する方向の群遅延量分のラインが削除された画像に対して、スジと直交する方向の群遅延量分のライン数の画像を生成し、群遅延量分のラインが削除された画像に対して加える。具体的には信号生成部５０３は、入力された群遅延量分のラインが削除された画像の、スジと直交する方向の最終ラインを複製することにより群遅延量分のライン数の画像を生成し、入力された画像に対して追加する。即ち、スジと直交する方向の最終ラインを、群遅延量分のラインが削除された画像の最終ラインの後に、群遅延量のライン数分だけ追加することにより、平行方向ノイズフィルタ２０２に入力された黒画像と同じサイズの画像を生成して出力する。
【００３１】
このように、平行方向ノイズフィルタ２０２では、ＩＩＲフィルタ５０１、出力制御部５０２及び信号生成部５０３により、スジと平行な方向のランダムノイズを低減した黒画像を出力することが可能になる。
【００３２】
また、直交方向ノイズフィルタ２０３では、平行方向ノイズフィルタ２０２から出力された、スジと平行な方向のローパスフィルタが適用された黒画像に対して、スジと直交する方向のローパスフィルタを適用する（第２の低減手段）（Ｓ６０４）。なお、スジと直交する方向のローパスフィルタは、例えば着目画素を中心とした、当該着目画素と同一のスジと直交する方向の座標を有する２５画素など、所定数の画素値の加算平均を行うように構成されたフィルタであってよい。
【００３３】
なお、このようなスジと平行、及び直交する方向のローパスフィルタのフィルタ係数（所定数の画素値等）は、低減したいランダムノイズの振幅に応じて設定されることが望ましい。フィルタ係数は、例えば感度設定等の撮像条件のパターンに対して予め設定されてＲＯＭ１０２に記憶され、スジ状の固定パターンノイズを補正するために用いられる黒画像を生成する処理において読み出されてもよい。
【００３４】
スジ強度算出部２０１から出力されたスジ強度α、平行方向ノイズフィルタ２０２から出力された黒画像dark1、及び直交方向ノイズフィルタ２０３から出力された黒画像dark2は合成部２０４に入力され、合成部２０４により合成される（Ｓ６０５）。具体的には、合成部２０４は以下の式２のように重み付け加算することにより、各画素の画素値を合成して、ランダムノイズが低減されスジ状の固定パターンノイズが抽出された補正用の黒画像hosei_darkを生成する（第２の出力）。
hosei_dark＝α×dark1＋（１−α）×dark2 ・・・式２
【００３５】
このようにすることで、スジ強度の低い画素ほど、スジと平行な方向のローパスフィルタが適用された黒画像の重み付けが小さくなるようにすることができる。つまり、スジが存在しない画素、またはスジの振幅が小さい画素では、スジと平行な方向のローパスフィルタが適用されることで逆にスジの振幅を大きくしてしまうため、当該スジと平行な方向のローパスフィルタの適用度を低くする。それとともに、スジと直交する方向のローパスフィルタの適用度を高くすることで、スジと直交する方向のランダムノイズを低減することができるため、黒画像の各画素において適切にランダムノイズを低減することができる。さらに、画素ごとにスジ強度αを設定することができるため、同一のスジ上でスジの強度が変化する場合であっても、過補正となる領域が生じることを抑えることができる。また、従来の黒引き処理と同様にシェーディングも補正することができる。なお、黒画像の撮像は必ずしも撮影毎に行う必要はなく、撮像素子の特性に応じて、適宜実行すれば良い。
【００３６】
以上説明したように、本実施形態の画像処理装置は、スジ状の固定パターンノイズを有する黒画像において、少なくともスジと平行な方向のランダムノイズを簡易な回路構成で適切に低減することができる。具体的には画像処理装置は、遮光状態で撮像された黒画像を取得し、当該黒画像のスジと平行な方向のラインのそれぞれについて、巡回型のフィルタを適用することによりスジと平行な方向のランダムノイズを低減する。画像処理装置は、巡回型のフィルタを適用することにより得られた黒画像から、巡回型のフィルタの群遅延量分のスジと直交する方向のラインを削除する。さらに、群遅延量分のラインが削除された画像のスジと直交する方向の最終ラインを用いることにより、群遅延量分のライン数の画像を生成して、群遅延量分のラインが削除された画像に加えて出力する。
【００３７】
（変形例）
上述した実施形態では、巡回型のフィルタの群遅延量分のラインを削除された画像に対して加える群遅延量分のライン数の画像を、群遅延量分のラインを削除された画像の最終ラインを複製して生成する方法について説明した。上述した実施形態のような最終ラインを複製して追加する方法は、例えばスジ状の固定パターンノイズが存在する、スジと平行な方向のラインにおける画素値の変化率を０に近似できる場合や、群遅延量のライン数が全ライン数に比べて少ない場合に有効である。
【００３８】
ここで、例えば図７（ａ）に示すように、スジと平行な方向のラインにおけるスジ状の固定パターンノイズの画素値の変化率IIR_In_Sig７０１が急峻である場合を考える。ＩＩＲフィルタ５０１の出力であるIIR_Out_Sig７０２から群遅延量分のラインを削除し、当該群遅延量分のラインが削除された画像の最終ラインを複製して、群遅延量分のライン数の画像を生成すると、その画素値の変化率は図７（ｂ）のようになる。図からもわかるように、スジ状の固定パターンノイズの画素値の変化率が急峻である場合、最終ラインを複製して生成した画像CR_Add_Sig７０３を付加しても、適切にスジと平行な方向のランダムノイズが低減された黒画像を得ることはできない。特に、スジと平行な方向のランダムノイズの振幅が大きく、着目画素の画素値の重み付けが小さくなるように巡回係数βが設定された場合は群遅延量が増加するため、実際の固定パターンノイズの画素値とのずれが大きくなる可能性がある。
【００３９】
本変形例では、このようなスジ状の固定パターンノイズが存在する、スジと平行な方向のラインにおける画素値の変化率を０に近似できない場合や、画素値の変化率が変動する場合の群遅延量分のライン数の画像を生成する方法について説明する。なお、本変形例において、上述の実施形態と同様の構成であるブロックについては同一の参照番号を付して説明を省略し、本変形例に特徴的な構成の説明に留める。
【００４０】
図８は、本変形例における信号生成部５０３の回路構成を示した図である。本変形例では、信号生成部５０３に入力された、スジと直交する方向の群遅延量分のラインが削除された画像は、変化率算出部８０１及び出力選択部８０２に入力される。
【００４１】
変化率算出部８０１は、入力された画像のスジ状の固定パターンノイズが存在する、スジと平行な方向のラインのいずれかにおいて、スジと平行な方向における固定パターンノイズの画素値の変化率を算出する。具体的には、変化率算出部８０１は入力された画像のスジと直交する方向の最終ラインから予め定められた数ΔＶのラインのそれぞれについて、固定パターンノイズの画素値のライン間の変化率を取得する。そして全ての変化率の平均値をとることで、スジと平行な方向における固定パターンノイズの画素値の変化率γを得る。
【００４２】
なお、スジ状の固定パターンノイズの画素値の、当該スジと平行な方向のラインにおける変化傾向は、ラインによらず同様の傾向を示すとみなすことができるため、本変形例では１つのスジと平行な方向のラインについて変化率を算出している。しかしながら、本発明の実施はこれに限らず、例えば複数のスジと平行な方向のラインについて固定パターンノイズの画素値の変化率を算出して平均をとってもよい。
【００４３】
出力選択部８０２は、信号生成部５０３に入力された画像を出力するか、後述する乗算器８０３から入力される画像を出力するかを切り替えるブロックである。例えばスジ状の固定パターンノイズが垂直方向に発生しており、図５のように出力制御部５０２においてＤＬラインの水平ラインが削除された場合、出力選択部８０２は次のように出力を切り替える。まず、信号生成部５０３に入力された垂直方向にＶＳＩＺＥ−ＤＬラインを有する画像を全ライン出力した後に入力を切り替え、乗算器８０３から出力された画像をＤＬライン分出力する。
【００４４】
乗算器８０３は、入力された画像に対して、変化率算出部８０１で算出された変化率γの値を乗算することにより、固定パターンノイズの画素値が当該変化率で変化した場合の画像を生成する。乗算器８０３には、出力選択部８０２から出力される画像が、スジと直交する方向のライン単位で入力される。乗算器８０３は当該入力されるラインの画素のうち、少なくとも固定パターンノイズが存在する画素の画素値に対して変化率γを乗算すればよい。即ち、乗算器８０３から出力されるある画素の画素値Ｙ（ｔ）は、当該画素と同一のスジと直交する方向の座標を有し、出力選択部８０２から直前に出力された画素の画素値Ｙ（ｔ−１）を用いて、以下の式３で表せる。
Ｙ（ｔ）＝Ｙ（ｔ−１）×γ ・・・式３
【００４５】
なお、本変形例では、少なくとも固定パターンノイズが存在する画素の画素値に対して変化率γを乗算するものとして説明したが、本発明の実施はこれに限らず、入力されるラインの全ての画素に変化率ガンマを乗算してもよい。これは、本発明ではスジ状の固定パターンノイズが発生している黒画像に対して処理を適用するため、固定パターンノイズが存在しない画素の画素値は十分小さいと考えられ、当該画素値に対して変化率γを乗算しても、影響は少ないと考えられるからである。
【００４６】
このようにすることで本変形例の信号生成部５０３は、固定パターンノイズの画素値の変化率が急峻であっても、スジと直交する方向の群遅延量分のラインが削除された画像に対して、群遅延量分のライン数の画像を加えて出力することができる。具体的には信号生成部５０３では、図７（ｃ）に示すように入力された画像のスジと直交する方向の最終ラインから予め定められた数ΔＶのラインから、固定パターンノイズの画素値の変化率γが算出される。そして、加えられる群遅延量分のライン数の画像CR_Add_Sig７０４は、変化率γで固定パターンノイズの画素値が変化するように、入力された画像のスジと直交する方向の最終ラインから複製した画素を乗算することで生成される。
【００４７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
遮光状態で撮像された、スジ状の固定パターンノイズを有する黒画像を取得する取得手段と、
前記取得手段により取得された前記黒画像に対し、当該黒画像の前記スジと平行な方向のラインのそれぞれについて、前記スジと平行な方向のランダムノイズを低減する巡回型のフィルタであって、前記スジと平行な方向の画素順に、着目画素の画素値、及び当該着目画素より前に当該巡回型のフィルタが適用された少なくとも１つの画素の画素値を重み付け加算する巡回型のフィルタを適用する第１の低減手段と、
前記第１の低減手段により前記巡回型のフィルタが適用された黒画像から、前記巡回型のフィルタの群遅延量分の前記スジと直交する方向のラインを削除し、当該群遅延量分のラインが削除された画像の前記スジと直交する方向の最終ラインを用いることにより前記群遅延量分のライン数の画像を生成して、前記群遅延量分のラインが削除された画像に加えて出力する第１の出力手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の出力手段は、前記群遅延量分のラインが削除された画像の前記スジと直交する方向の最終ラインを複製することにより、前記群遅延量分のライン数の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の低減手段により前記巡回型のフィルタが適用された黒画像の、前記固定パターンノイズが存在する前記スジと平行な方向のラインのいずれかにおいて、前記スジと平行な方向における前記固定パターンノイズの画素値の変化率を算出する算出手段をさらに備え、
前記第１の出力手段は、前記算出手段により算出された前記固定パターンノイズの変化率が予め定められた値を超える場合、前記スジ状の固定パターンノイズの画素値が存在する前記スジと平行な方向のラインにおいて前記変化率で前記固定パターンノイズの画素値が変化するように、前記群遅延量分のライン数の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記スジと平行な方向のランダムノイズの振幅を検出する検出手段をさらに備え、
前記第１の低減手段は、前記検出手段により検出された前記スジと平行な方向のランダムノイズの振幅が高いほど、前記着目画素の重み付けを小さくすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記取得手段により取得された前記黒画像の各画素について、前記スジと直交する方向の交流成分を導出する導出手段と、
前記導出手段により導出された前記スジと直交する方向の交流成分の絶対値に応じて、前記黒画像の各画素の前記スジの強度を決定する決定手段と、
前記第１の出力手段により出力された黒画像に対し、前記スジと直交する方向のランダムノイズを低減するフィルタを適用する第２の低減手段と、
前記第１の出力手段により出力された黒画像と、前記スジと直交する方向のランダムノイズを低減するフィルタが適用された黒画像とを重み付け加算して、撮像された前記黒画像のスジ状の固定パターンノイズを抽出した抽出画像を生成する第２の出力手段と、をさらに備え、
前記第２の出力手段は、前記決定手段により決定された前記スジの強度が低い画素ほど、前記第１の出力手段により出力された黒画像の重み付けが大きくなるように重み付け加算することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記スジと直交する方向のランダムノイズを低減するフィルタは、着目画素に対し、当該着目画素と同一の前記スジと平行な方向の座標を有する所定数の画素の加算平均を行うように構成されたフィルタであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
取得手段が、遮光状態で撮像された、スジ状の固定パターンノイズを有する黒画像を取得する取得工程と、
第１の低減手段が、前記取得工程において取得された前記黒画像に対し、当該黒画像の前記スジと平行な方向のラインのそれぞれについて、前記スジと平行な方向のランダムノイズを低減する巡回型のフィルタであって、前記スジと平行な方向の画素順に、着目画素の画素値、及び当該着目画素より前に当該巡回型のフィルタが適用された少なくとも１つの画素の画素値を重み付け加算する巡回型のフィルタを適用する第１の低減工程と、
第１の出力手段が、前記第１の低減工程において前記巡回型のフィルタが適用された黒画像から、前記巡回型のフィルタが適用された黒画像から前記巡回型のフィルタの群遅延量分の前記スジと直交する方向のラインを削除し、当該群遅延量分のラインが削除された画像の前記スジと直交する方向の最終ラインを用いることにより前記群遅延量分のライン数の画像を生成して、前記群遅延量分のラインが削除された画像に加えて出力する第１の出力工程と、を備えることを特徴とする画像処理装置の制御方法。
【請求項１】
遮光状態で撮像された、スジ状の固定パターンノイズを有する黒画像を取得する取得手段と、
前記取得手段により取得された前記黒画像に対し、当該黒画像の前記スジと平行な方向のラインのそれぞれについて、前記スジと平行な方向のランダムノイズを低減する巡回型のフィルタであって、前記スジと平行な方向の画素順に、着目画素の画素値、及び当該着目画素より前に当該巡回型のフィルタが適用された少なくとも１つの画素の画素値を重み付け加算する巡回型のフィルタを適用する第１の低減手段と、
前記第１の低減手段により前記巡回型のフィルタが適用された黒画像から、前記巡回型のフィルタの群遅延量分の前記スジと直交する方向のラインを削除し、当該群遅延量分のラインが削除された画像の前記スジと直交する方向の最終ラインを用いることにより前記群遅延量分のライン数の画像を生成して、前記群遅延量分のラインが削除された画像に加えて出力する第１の出力手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の出力手段は、前記群遅延量分のラインが削除された画像の前記スジと直交する方向の最終ラインを複製することにより、前記群遅延量分のライン数の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の低減手段により前記巡回型のフィルタが適用された黒画像の、前記固定パターンノイズが存在する前記スジと平行な方向のラインのいずれかにおいて、前記スジと平行な方向における前記固定パターンノイズの画素値の変化率を算出する算出手段をさらに備え、
前記第１の出力手段は、前記算出手段により算出された前記固定パターンノイズの変化率が予め定められた値を超える場合、前記スジ状の固定パターンノイズの画素値が存在する前記スジと平行な方向のラインにおいて前記変化率で前記固定パターンノイズの画素値が変化するように、前記群遅延量分のライン数の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記スジと平行な方向のランダムノイズの振幅を検出する検出手段をさらに備え、
前記第１の低減手段は、前記検出手段により検出された前記スジと平行な方向のランダムノイズの振幅が高いほど、前記着目画素の重み付けを小さくすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記取得手段により取得された前記黒画像の各画素について、前記スジと直交する方向の交流成分を導出する導出手段と、
前記導出手段により導出された前記スジと直交する方向の交流成分の絶対値に応じて、前記黒画像の各画素の前記スジの強度を決定する決定手段と、
前記第１の出力手段により出力された黒画像に対し、前記スジと直交する方向のランダムノイズを低減するフィルタを適用する第２の低減手段と、
前記第１の出力手段により出力された黒画像と、前記スジと直交する方向のランダムノイズを低減するフィルタが適用された黒画像とを重み付け加算して、撮像された前記黒画像のスジ状の固定パターンノイズを抽出した抽出画像を生成する第２の出力手段と、をさらに備え、
前記第２の出力手段は、前記決定手段により決定された前記スジの強度が低い画素ほど、前記第１の出力手段により出力された黒画像の重み付けが大きくなるように重み付け加算することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記スジと直交する方向のランダムノイズを低減するフィルタは、着目画素に対し、当該着目画素と同一の前記スジと平行な方向の座標を有する所定数の画素の加算平均を行うように構成されたフィルタであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
取得手段が、遮光状態で撮像された、スジ状の固定パターンノイズを有する黒画像を取得する取得工程と、
第１の低減手段が、前記取得工程において取得された前記黒画像に対し、当該黒画像の前記スジと平行な方向のラインのそれぞれについて、前記スジと平行な方向のランダムノイズを低減する巡回型のフィルタであって、前記スジと平行な方向の画素順に、着目画素の画素値、及び当該着目画素より前に当該巡回型のフィルタが適用された少なくとも１つの画素の画素値を重み付け加算する巡回型のフィルタを適用する第１の低減工程と、
第１の出力手段が、前記第１の低減工程において前記巡回型のフィルタが適用された黒画像から、前記巡回型のフィルタが適用された黒画像から前記巡回型のフィルタの群遅延量分の前記スジと直交する方向のラインを削除し、当該群遅延量分のラインが削除された画像の前記スジと直交する方向の最終ラインを用いることにより前記群遅延量分のライン数の画像を生成して、前記群遅延量分のラインが削除された画像に加えて出力する第１の出力工程と、を備えることを特徴とする画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−９０１８５（Ｐ２０１２−９０１８５Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３６８４７（Ｐ２０１０−２３６８４７）
【出願日】平成２２年１０月２１日（２０１０．１０．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月２１日（２０１０．１０．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]