固定パターンノイズ検出装置、除去装置、およびその方法
【課題】外部デバイスの影響により撮像素子に発生する縦ライン状の固定パターンノイズを高速に検出、除去する。
【解決手段】パターンデータ記録用メモリ１６に外部回路に起因する撮像素子１１の縦ライン状の固定パターンノイズの全パターンを記録する。撮像素子１１の映像信号から、水平ライン毎に、水平オプティカルブラック領域における固定パターンノイズの１周期分以上の画像データを抽出し抽出データ保存用メモリ１５に保存する。抽出された画像データの全水平ラインに対する相加平均を算出する。算出された平均値を、ＦＰＮ比較回路１７においてパターンデータ記録用メモリ１６に記録された全パターンと比較し、最も近いパターンを固定パターンノイズとして特定する。ＦＰＮ補正演算回路１４において、映像信号から、特定された固定パターンノイズを除去して映像信号を出力する。
【解決手段】パターンデータ記録用メモリ１６に外部回路に起因する撮像素子１１の縦ライン状の固定パターンノイズの全パターンを記録する。撮像素子１１の映像信号から、水平ライン毎に、水平オプティカルブラック領域における固定パターンノイズの１周期分以上の画像データを抽出し抽出データ保存用メモリ１５に保存する。抽出された画像データの全水平ラインに対する相加平均を算出する。算出された平均値を、ＦＰＮ比較回路１７においてパターンデータ記録用メモリ１６に記録された全パターンと比較し、最も近いパターンを固定パターンノイズとして特定する。ＦＰＮ補正演算回路１４において、映像信号から、特定された固定パターンノイズを除去して映像信号を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号から固定パターンノイズを検出し、更にはこれを除去する装置に関する。
【背景技術】
【０００２】
撮像素子からの映像信号に含まれる固定パターンノイズ（ＦＰＮ）の一般的な除去方法では、遮光された状態で暗電流成分を検出し、これを映像信号から差し引くことで固定パターンノイズを除去している。また、温度変化に依存する撮像素子に固有の固定パターンノイズを除去する方法として、水平走査を２倍速で行い、水平走査期間の前半に通常の撮影をし、後半にリセット直後、またはリセットした状態で走査を行い遮光された状態に対応する固定パターンノイズを取得する構成も提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０４−１５２７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の一般的な固定パターンノイズを除去する方法では、固定パターンノイズを検出する際に撮像素子を遮光する必要がある。また、特許文献１の方法では、各水平ライン毎に高速で読み出しを行うとともに、その後映像信号を時間軸伸長して固定パターンノイズを分離し、更に検出された固定パターンノイズを水平走査期間の前半部を用いて撮影された映像信号から除去する必要があり処理が複雑になる。
【０００５】
本発明は、外部デバイスの影響により撮像素子に発生する縦ライン状の固定パターンノイズを高速に検出することを課題としている。
【課題を解決するための手段】
【０００６】
本発明の固定パターンノイズ検出装置は、撮像素子の水平オプティカルブラック領域の画像データを記憶する第１記憶手段と、外部回路に起因して撮像素子に発生する縦状固定パターンノイズの全てのパターンデータを記憶する第２記憶手段と、水平オプティカルブラック領域の画像データと複数のパターンデータの比較を行って水平オプティカルブラック領域の画像データに最も近いパターンデータを特定するパターン特定手段と備えたことを特徴とする。
【０００７】
固定パターンノイズ検出装置は、水平オプティカルブラック領域の複数の水平ラインの加算平均を算出する加算平均算出手段を備えることが好ましく、第１記憶手段に記憶される画像データはこの加算平均手段により算出される。
【０００８】
水平オプティカルブラック領域の水平方向の画素数は、固定パターンノイズの１周期を含む画素数以上であることが好ましい。また、水平オプティカルブラック領域は、前段水平オプティカルブラック領域であることが好ましい。
【０００９】
本発明の固定パターンノイズ除去装置は、上記の固定パターン検出装置により特定されるパターンデータに基づき撮像素子の映像信号から固定パターンノイズを除去することを特徴とする。また、本発明の電子内視鏡装置は、上記固定パターンノイズ除去装置を備えたことを特徴としている。
【００１０】
本発明の固定パターンノイズ検出方法は、撮像素子の水平オプティカルブラック領域の画像データを記憶し、外部回路に起因して撮像素子に発生する縦状固定パターンノイズの全てのパターンデータを記憶し、水平オプティカルブラック領域の画像データと複数のパターンデータの比較を行って水平オプティカルブラック領域の画像データに最も近いパターンデータを特定することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、外部デバイスの影響により撮像素子に発生する縦ライン状の固定パターンノイズを高速に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の撮像装置の電気的な構成を概略的に示すブロック図である。
【図２】撮像素子の構成を示す平面図である。
【図３】固定パターンノイズを含む複数の水平ラインの画像データを相加平均するときの概念図である。
【図４】本実施形態における固定パターンノイズ検出・除去処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である固定パターンノイズ（ＦＰＮ）除去装置を備えた撮像装置の構成を示すブロック図である。
【００１４】
撮像装置１０は例えば電子内視鏡装置であり、内視鏡挿入部先端に設けられた撮像素子（ＣＣＤ）１１で生成される映像信号は、アナログ信号処理回路１２において所定のアナログ画像処理が施された後、ＡＤ変換回路１３においてデジタルの画像データに変換される。画像データは、ＦＰＮ補正演算回路１４に入力され、後述するように抽出データ保存用メモリ１５、パターンデータ記録用メモリ１６、およびＦＰＮ比較回路１７を用いて撮像素子１１に発生する縦ライン状の固定パターンノイズ（ＦＰＮ）を特定（検出）する。
【００１５】
ＦＰＮ補正演算回路１４による固定パターンノイズ検出処理（後述）は、撮像装置１０の電源が投入された際に行われる。固定パターンノイズが特定された後、ＦＰＮ補正演算回路１４では、特定された固定パターンノイズが撮像素子１１からの映像信号（画像データ）から除去されデジタル信号処理（ＤＳＰ）回路１８に出力される。
【００１６】
デジタル信号処理回路１８では、従来周知の各種の画像処理が必要に応じて施され、その後画像データは例えばモニタやビデオプリンタ（図示せず）などの外部装置、あるいは不揮発性の記録媒体（図示せず）などへと必要に応じて出力される。
【００１７】
図２は、撮像素子１１の構成を模式的に示す平面図である。図２において、縦線で覆われた中央に配置された矩形領域１１Ａが実際に映像の撮影に用いられる有効画素領域である。また、有効画素領域１１Ａの周囲の領域１１Ｂは、遮光され、ペデスタルレベル等の決定に用いられるオプティカルブラック（ＯＢ）領域である。
【００１８】
有効画素領域１１Ａの左右（水平ライン方向）両側のオプティカルブラック領域１１Ｂは、水平オプティカルブラック領域と呼ばれ、上下（垂直ライン方向）に設けられた領域は、垂直オプティカルブラック領域と呼ばれる。また本明細書では、水平オプティカルブラック領域のうち、撮像素子１１から最初に読み出される側の領域を、前段水平オプティカルブラック領域、その反対側を後段水平オプティカルブラック領域として参照する。本実施形態では、前段水平オプティカルブラック領域の破線領域１９に含まれる画素データを用いて撮像素子１１からの映像信号に含まれる固定パターンノイズの一部を抽出する。
【００１９】
次に図１〜図３を参照して本実施形態における固定パターンノイズの検出・除去方法について説明する。
【００２０】
一般に撮像素子１１では、ＤＳＰ（１８）内部のＰＬＬなど、高速駆動されるデバイスをノイズ源とする縦ライン状の固定パターンノイズが発生する。このような外部回路に起因する固定パターンノイズは各水平ラインにおいて同一パターンを呈する。したがって、予め固定パターンノイズを測定しておき、これを映像信号から減ずれば、外部回路に起因する固定パターンノイズを映像信号から除去できる。
【００２１】
しかし、例えばＰＬＬの位相は電源が投入される毎に変化するため、撮像素子１１に現れる固定パターンノイズも電源を投入する度に変化する。そのため、このような固定パターンノイズを除去するには、電源が投入される度にそのときの固定パターンノイズを抽出・特定する必要がある。
【００２２】
一方、外部回路に起因する固定パターンノイズは周期的であり、発生する周期によりそのパターンの数も限られている。そのため予め位相も含めた全てのパターンの例えば１周期分以上のデータをメモリ１６に記録しておき、電源投入時に撮像素子１１に発生する固定パターンノイズの１周期分以上の画像データを抽出し、それがどのパターンに一致するかを特定すれば、水平ライン全体に亘る固定パターンノイズを特定でき、水平ライン全体に亘る固定パターンノイズを抽出または記憶しておく必要がない。
【００２３】
このようなことから本実施形態では、遮光されている水平オプティカルブラック領域、特に前段水平オプティカルブラック領域１９から固定パターンノイズの１周期を含む画像データを抽出して抽出データ保存用メモリ１５に記憶し、これをＦＰＮ比較回路１７において予め測定されメモリ１６に記憶された固定パターンノイズのデータと比較することで撮像素子１１に発生している外部回路に起因する固定パターンノイズを検出・特定する。
【００２４】
しかし、各水平ラインには、固定パターンノイズ以外のノイズも含まれるため、１水平ラインの１周期分程度の画像データのみからパターンを正確に特定することは実際には困難である。そのため、本実施形態では、水平オプティカルブラック領域の複数の水平ラインから固定パターンノイズの少なくとも１周期を含む画素数の画像データを取得して抽出データ保存用メモリ１５に記憶する。そしてＦＰＮ補正演算回路１４において、例えば図３に示されるように、これらの加算平均を取ることで固定パターンノイズ以外のノイズを低減した画像データを生成し、抽出データ保存用メモリ１５に記憶する。
【００２５】
固定パターンノイズ以外のノイズを十分に低減するには、５００ライン以上の加算平均を取ることが好ましいが、水平オプティカルブラック領域には全ての水平ラインが含まれるため、多くの水平ラインの画像データを利用できる。そのため本実施形態では固定パターンノイズを精度よく抽出でき、１周期の比較でも正確にパターンの特定が可能である。なお本実施形態では電源投入され電源が安定した後、前段水平オプティカルブラック領域１９の全ライン分の加算平均が算出され、予め記憶されたパターンとの比較がＦＰＮ比較回路１７において行われる。
【００２６】
ＦＰＮ比較回路１７における比較により、加算平均として得られた画像データがどのパターンの固定パターンノイズに対応するかが特定されると、ＦＰＮ補正演算回路１４では、その後開始される被写体の撮影において、映像信号（有効画素領域１１Ａの画像データ）から特定された固定パターンノイズを除去し、デジタル信号処理回路１８を介してノイズ除去後の映像信号をモニタ（図示せず）等に出力する。
【００２７】
次に図４のフローチャートを参照して、固定パターンノイズの特定・除去方法のより詳細な手順について説明する。
【００２８】
撮像素子１１やデジタル信号処理回路１８等に電源が投入されると図４のＦＰＮシーケンスがＦＰＮ補正演算回路１４を中心に開始される。ステップＳ１００では、撮像素子１１から画像データが読み出され、前段水平オプティカルブラック（ＯＢ）領域１９の画像データが少なくとも固定パターンノイズの１周期分以上の画素数に亘り抽出データ保存用メモリ１５に格納される。格納された画像データは、例えば全水平ライン分垂直ライン毎に加算され、その平均値が画像データＡｖとしてパターンデータ記録用メモリ１６に格納される。なお、画像データＡｖは例えば固定パターンノイズの１周期分の画像数に対応し、画像データＡｖからは上記相加平均演算により固定パターンノイズ以外のノイズが低減されている。
【００２９】
次にパターン検出シーケンスが開始され、ステップＳ１０２、１０４において、パターンデータ記録用メモリ１６から予め記録されている固定パターンノイズのパターンデータが順次読み出され、ＦＰＮ比較回路１７においてパターンデータ記録用メモリ１６に保存された画像データＡｖとの比較演算が行われる。本実施形態では、例えばパターンデータの総数Ｎからカウントダウンされ、カウント値ｎに対応するパターンデータＢｎが順次パターンデータ記録用メモリ１６から読み出され、画像データＡｖとの差Ｃｎ（＝Ａｖ−Ｂｎ）が計算されメモリに格納される。なお、ステップＳ１０４では、カウント値ｎが０になったか、すなわち全てのパターンデータに対する比較演算が終了したか否かが判定される。
【００３０】
全てのパターンデータＢｎと画像データＡｖの比較演算が終了すると、ステップＳ１０６において、差Ｃｎの絶対値｜Ｃｎ｜がそれぞれ計算され、絶対値が最も小さいカウント値ｎに対応するパターンデータＢｎが、固定パターンノイズのデータとして特定（検出）される。
【００３１】
ステップＳ１０８では、ＦＰＮ補正演算回路１４において、撮像素子１１からの画像信号（画像データ）から固定パターンノイズとして特定されたパターンデータＢｎが減算される。そして撮像素子１１による撮影が開始されると、固定パターンノイズが映像信号から除去され、デジタル信号処理回路１８へと出力されてこの処理は終了する。
【００３２】
以上のように本実施形態の撮像装置では、水平オプティカルブラック領域の画像データを用いることで撮像素子全体を遮光することなく簡略な構成で外部回路に起因する固定パターンノイズを検出し、これを映像信号から除去することができる。
【００３３】
また、本実施形態では水平オプティカルブラック領域の画像データを用いることで、有効画素領域が遮光されていない状態で固定パターンノイズの検出が行われる場合においても、垂直オプティカルブラック領域の画像データを用いる場合に比べ、スミアなどの影響を防止でき、より正確な固定パターンノイズの除去が可能になる。また更に、垂直オプティカルブラック領域に含まれる水平ラインの数は少ないため、この領域の画像データを用いて高い精度で固定パターンノイズを検出するには、何フィールドもの画像データが必要となるが、本実施形態では１、２フィールドの画像データで十分であり高速な処理が可能となる。
【００３４】
更に、本実施形態では、固定パターンノイズの１周期分のメモリのみで十分なので、メモリ容量を節約できる。
【００３５】
なお、本実施形態では撮像装置として、電子内視鏡装置を例に説明を行ったが、電子内視鏡以外でも、例えばメカニカルシャッタ等の遮光手段を持たず、固定パターンノイズを検出する際に撮像素子の遮光が困難な撮像装置（例えばカメラ機能付携帯電話など）であれば、本実施形態を適用することができる。
【００３６】
なお、本実施形態では前段水平オプティカルブラック領域の画像データを用いたが、後段水平オプティカルブラック領域の画像データを同様に用いることもできる。但しこの場合には、クランプが行われる部分を避ける必要がある。
【００３７】
また、本実施形態では、水平オプティカルブラック領域の画像データの相加平均値と予め測定、記録されたパターンデータとの差を用いて最も適正なパターンを特定したが、両データの比較には、従来周知のデータ一致度を評価する他の方法を採用してもよい。
【符号の説明】
【００３８】
１０ 撮像装置
１１ 撮像素子
１１Ａ 有効画素領域
１１Ｂ オプティカルブラック領域
１４ ＦＰＮ補正演算回路
１５ 抽出データ保存用メモリ（第１記憶手段）
１６ パターンデータ記録用メモリ（第２記憶手段）
１７ ＦＰＮ比較回路
１９ 前段水平オプティカルブラック領域
【技術分野】
【０００１】
本発明は、映像信号から固定パターンノイズを検出し、更にはこれを除去する装置に関する。
【背景技術】
【０００２】
撮像素子からの映像信号に含まれる固定パターンノイズ（ＦＰＮ）の一般的な除去方法では、遮光された状態で暗電流成分を検出し、これを映像信号から差し引くことで固定パターンノイズを除去している。また、温度変化に依存する撮像素子に固有の固定パターンノイズを除去する方法として、水平走査を２倍速で行い、水平走査期間の前半に通常の撮影をし、後半にリセット直後、またはリセットした状態で走査を行い遮光された状態に対応する固定パターンノイズを取得する構成も提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０４−１５２７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の一般的な固定パターンノイズを除去する方法では、固定パターンノイズを検出する際に撮像素子を遮光する必要がある。また、特許文献１の方法では、各水平ライン毎に高速で読み出しを行うとともに、その後映像信号を時間軸伸長して固定パターンノイズを分離し、更に検出された固定パターンノイズを水平走査期間の前半部を用いて撮影された映像信号から除去する必要があり処理が複雑になる。
【０００５】
本発明は、外部デバイスの影響により撮像素子に発生する縦ライン状の固定パターンノイズを高速に検出することを課題としている。
【課題を解決するための手段】
【０００６】
本発明の固定パターンノイズ検出装置は、撮像素子の水平オプティカルブラック領域の画像データを記憶する第１記憶手段と、外部回路に起因して撮像素子に発生する縦状固定パターンノイズの全てのパターンデータを記憶する第２記憶手段と、水平オプティカルブラック領域の画像データと複数のパターンデータの比較を行って水平オプティカルブラック領域の画像データに最も近いパターンデータを特定するパターン特定手段と備えたことを特徴とする。
【０００７】
固定パターンノイズ検出装置は、水平オプティカルブラック領域の複数の水平ラインの加算平均を算出する加算平均算出手段を備えることが好ましく、第１記憶手段に記憶される画像データはこの加算平均手段により算出される。
【０００８】
水平オプティカルブラック領域の水平方向の画素数は、固定パターンノイズの１周期を含む画素数以上であることが好ましい。また、水平オプティカルブラック領域は、前段水平オプティカルブラック領域であることが好ましい。
【０００９】
本発明の固定パターンノイズ除去装置は、上記の固定パターン検出装置により特定されるパターンデータに基づき撮像素子の映像信号から固定パターンノイズを除去することを特徴とする。また、本発明の電子内視鏡装置は、上記固定パターンノイズ除去装置を備えたことを特徴としている。
【００１０】
本発明の固定パターンノイズ検出方法は、撮像素子の水平オプティカルブラック領域の画像データを記憶し、外部回路に起因して撮像素子に発生する縦状固定パターンノイズの全てのパターンデータを記憶し、水平オプティカルブラック領域の画像データと複数のパターンデータの比較を行って水平オプティカルブラック領域の画像データに最も近いパターンデータを特定することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、外部デバイスの影響により撮像素子に発生する縦ライン状の固定パターンノイズを高速に検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の撮像装置の電気的な構成を概略的に示すブロック図である。
【図２】撮像素子の構成を示す平面図である。
【図３】固定パターンノイズを含む複数の水平ラインの画像データを相加平均するときの概念図である。
【図４】本実施形態における固定パターンノイズ検出・除去処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である固定パターンノイズ（ＦＰＮ）除去装置を備えた撮像装置の構成を示すブロック図である。
【００１４】
撮像装置１０は例えば電子内視鏡装置であり、内視鏡挿入部先端に設けられた撮像素子（ＣＣＤ）１１で生成される映像信号は、アナログ信号処理回路１２において所定のアナログ画像処理が施された後、ＡＤ変換回路１３においてデジタルの画像データに変換される。画像データは、ＦＰＮ補正演算回路１４に入力され、後述するように抽出データ保存用メモリ１５、パターンデータ記録用メモリ１６、およびＦＰＮ比較回路１７を用いて撮像素子１１に発生する縦ライン状の固定パターンノイズ（ＦＰＮ）を特定（検出）する。
【００１５】
ＦＰＮ補正演算回路１４による固定パターンノイズ検出処理（後述）は、撮像装置１０の電源が投入された際に行われる。固定パターンノイズが特定された後、ＦＰＮ補正演算回路１４では、特定された固定パターンノイズが撮像素子１１からの映像信号（画像データ）から除去されデジタル信号処理（ＤＳＰ）回路１８に出力される。
【００１６】
デジタル信号処理回路１８では、従来周知の各種の画像処理が必要に応じて施され、その後画像データは例えばモニタやビデオプリンタ（図示せず）などの外部装置、あるいは不揮発性の記録媒体（図示せず）などへと必要に応じて出力される。
【００１７】
図２は、撮像素子１１の構成を模式的に示す平面図である。図２において、縦線で覆われた中央に配置された矩形領域１１Ａが実際に映像の撮影に用いられる有効画素領域である。また、有効画素領域１１Ａの周囲の領域１１Ｂは、遮光され、ペデスタルレベル等の決定に用いられるオプティカルブラック（ＯＢ）領域である。
【００１８】
有効画素領域１１Ａの左右（水平ライン方向）両側のオプティカルブラック領域１１Ｂは、水平オプティカルブラック領域と呼ばれ、上下（垂直ライン方向）に設けられた領域は、垂直オプティカルブラック領域と呼ばれる。また本明細書では、水平オプティカルブラック領域のうち、撮像素子１１から最初に読み出される側の領域を、前段水平オプティカルブラック領域、その反対側を後段水平オプティカルブラック領域として参照する。本実施形態では、前段水平オプティカルブラック領域の破線領域１９に含まれる画素データを用いて撮像素子１１からの映像信号に含まれる固定パターンノイズの一部を抽出する。
【００１９】
次に図１〜図３を参照して本実施形態における固定パターンノイズの検出・除去方法について説明する。
【００２０】
一般に撮像素子１１では、ＤＳＰ（１８）内部のＰＬＬなど、高速駆動されるデバイスをノイズ源とする縦ライン状の固定パターンノイズが発生する。このような外部回路に起因する固定パターンノイズは各水平ラインにおいて同一パターンを呈する。したがって、予め固定パターンノイズを測定しておき、これを映像信号から減ずれば、外部回路に起因する固定パターンノイズを映像信号から除去できる。
【００２１】
しかし、例えばＰＬＬの位相は電源が投入される毎に変化するため、撮像素子１１に現れる固定パターンノイズも電源を投入する度に変化する。そのため、このような固定パターンノイズを除去するには、電源が投入される度にそのときの固定パターンノイズを抽出・特定する必要がある。
【００２２】
一方、外部回路に起因する固定パターンノイズは周期的であり、発生する周期によりそのパターンの数も限られている。そのため予め位相も含めた全てのパターンの例えば１周期分以上のデータをメモリ１６に記録しておき、電源投入時に撮像素子１１に発生する固定パターンノイズの１周期分以上の画像データを抽出し、それがどのパターンに一致するかを特定すれば、水平ライン全体に亘る固定パターンノイズを特定でき、水平ライン全体に亘る固定パターンノイズを抽出または記憶しておく必要がない。
【００２３】
このようなことから本実施形態では、遮光されている水平オプティカルブラック領域、特に前段水平オプティカルブラック領域１９から固定パターンノイズの１周期を含む画像データを抽出して抽出データ保存用メモリ１５に記憶し、これをＦＰＮ比較回路１７において予め測定されメモリ１６に記憶された固定パターンノイズのデータと比較することで撮像素子１１に発生している外部回路に起因する固定パターンノイズを検出・特定する。
【００２４】
しかし、各水平ラインには、固定パターンノイズ以外のノイズも含まれるため、１水平ラインの１周期分程度の画像データのみからパターンを正確に特定することは実際には困難である。そのため、本実施形態では、水平オプティカルブラック領域の複数の水平ラインから固定パターンノイズの少なくとも１周期を含む画素数の画像データを取得して抽出データ保存用メモリ１５に記憶する。そしてＦＰＮ補正演算回路１４において、例えば図３に示されるように、これらの加算平均を取ることで固定パターンノイズ以外のノイズを低減した画像データを生成し、抽出データ保存用メモリ１５に記憶する。
【００２５】
固定パターンノイズ以外のノイズを十分に低減するには、５００ライン以上の加算平均を取ることが好ましいが、水平オプティカルブラック領域には全ての水平ラインが含まれるため、多くの水平ラインの画像データを利用できる。そのため本実施形態では固定パターンノイズを精度よく抽出でき、１周期の比較でも正確にパターンの特定が可能である。なお本実施形態では電源投入され電源が安定した後、前段水平オプティカルブラック領域１９の全ライン分の加算平均が算出され、予め記憶されたパターンとの比較がＦＰＮ比較回路１７において行われる。
【００２６】
ＦＰＮ比較回路１７における比較により、加算平均として得られた画像データがどのパターンの固定パターンノイズに対応するかが特定されると、ＦＰＮ補正演算回路１４では、その後開始される被写体の撮影において、映像信号（有効画素領域１１Ａの画像データ）から特定された固定パターンノイズを除去し、デジタル信号処理回路１８を介してノイズ除去後の映像信号をモニタ（図示せず）等に出力する。
【００２７】
次に図４のフローチャートを参照して、固定パターンノイズの特定・除去方法のより詳細な手順について説明する。
【００２８】
撮像素子１１やデジタル信号処理回路１８等に電源が投入されると図４のＦＰＮシーケンスがＦＰＮ補正演算回路１４を中心に開始される。ステップＳ１００では、撮像素子１１から画像データが読み出され、前段水平オプティカルブラック（ＯＢ）領域１９の画像データが少なくとも固定パターンノイズの１周期分以上の画素数に亘り抽出データ保存用メモリ１５に格納される。格納された画像データは、例えば全水平ライン分垂直ライン毎に加算され、その平均値が画像データＡｖとしてパターンデータ記録用メモリ１６に格納される。なお、画像データＡｖは例えば固定パターンノイズの１周期分の画像数に対応し、画像データＡｖからは上記相加平均演算により固定パターンノイズ以外のノイズが低減されている。
【００２９】
次にパターン検出シーケンスが開始され、ステップＳ１０２、１０４において、パターンデータ記録用メモリ１６から予め記録されている固定パターンノイズのパターンデータが順次読み出され、ＦＰＮ比較回路１７においてパターンデータ記録用メモリ１６に保存された画像データＡｖとの比較演算が行われる。本実施形態では、例えばパターンデータの総数Ｎからカウントダウンされ、カウント値ｎに対応するパターンデータＢｎが順次パターンデータ記録用メモリ１６から読み出され、画像データＡｖとの差Ｃｎ（＝Ａｖ−Ｂｎ）が計算されメモリに格納される。なお、ステップＳ１０４では、カウント値ｎが０になったか、すなわち全てのパターンデータに対する比較演算が終了したか否かが判定される。
【００３０】
全てのパターンデータＢｎと画像データＡｖの比較演算が終了すると、ステップＳ１０６において、差Ｃｎの絶対値｜Ｃｎ｜がそれぞれ計算され、絶対値が最も小さいカウント値ｎに対応するパターンデータＢｎが、固定パターンノイズのデータとして特定（検出）される。
【００３１】
ステップＳ１０８では、ＦＰＮ補正演算回路１４において、撮像素子１１からの画像信号（画像データ）から固定パターンノイズとして特定されたパターンデータＢｎが減算される。そして撮像素子１１による撮影が開始されると、固定パターンノイズが映像信号から除去され、デジタル信号処理回路１８へと出力されてこの処理は終了する。
【００３２】
以上のように本実施形態の撮像装置では、水平オプティカルブラック領域の画像データを用いることで撮像素子全体を遮光することなく簡略な構成で外部回路に起因する固定パターンノイズを検出し、これを映像信号から除去することができる。
【００３３】
また、本実施形態では水平オプティカルブラック領域の画像データを用いることで、有効画素領域が遮光されていない状態で固定パターンノイズの検出が行われる場合においても、垂直オプティカルブラック領域の画像データを用いる場合に比べ、スミアなどの影響を防止でき、より正確な固定パターンノイズの除去が可能になる。また更に、垂直オプティカルブラック領域に含まれる水平ラインの数は少ないため、この領域の画像データを用いて高い精度で固定パターンノイズを検出するには、何フィールドもの画像データが必要となるが、本実施形態では１、２フィールドの画像データで十分であり高速な処理が可能となる。
【００３４】
更に、本実施形態では、固定パターンノイズの１周期分のメモリのみで十分なので、メモリ容量を節約できる。
【００３５】
なお、本実施形態では撮像装置として、電子内視鏡装置を例に説明を行ったが、電子内視鏡以外でも、例えばメカニカルシャッタ等の遮光手段を持たず、固定パターンノイズを検出する際に撮像素子の遮光が困難な撮像装置（例えばカメラ機能付携帯電話など）であれば、本実施形態を適用することができる。
【００３６】
なお、本実施形態では前段水平オプティカルブラック領域の画像データを用いたが、後段水平オプティカルブラック領域の画像データを同様に用いることもできる。但しこの場合には、クランプが行われる部分を避ける必要がある。
【００３７】
また、本実施形態では、水平オプティカルブラック領域の画像データの相加平均値と予め測定、記録されたパターンデータとの差を用いて最も適正なパターンを特定したが、両データの比較には、従来周知のデータ一致度を評価する他の方法を採用してもよい。
【符号の説明】
【００３８】
１０ 撮像装置
１１ 撮像素子
１１Ａ 有効画素領域
１１Ｂ オプティカルブラック領域
１４ ＦＰＮ補正演算回路
１５ 抽出データ保存用メモリ（第１記憶手段）
１６ パターンデータ記録用メモリ（第２記憶手段）
１７ ＦＰＮ比較回路
１９ 前段水平オプティカルブラック領域
【特許請求の範囲】
【請求項１】
撮像素子の水平オプティカルブラック領域の画像データを記憶する第１記憶手段と、
外部回路に起因して前記撮像素子に発生する縦状固定パターンノイズの全てのパターンデータを記憶する第２記憶手段と、
前記水平オプティカルブラック領域の画像データと前記複数のパターンデータの比較を行って前記水平オプティカルブラック領域の画像データに最も近いパターンデータを特定するパターン特定手段と
を備えることを特徴とする固定パターンノイズ検出装置。
【請求項２】
前記水平オプティカルブラック領域の複数の水平ラインの加算平均を算出する加算平均算出手段を備え、前記第１記憶手段に記憶される前記画像データが前記加算平均手段により算出されることを特徴とする請求項１に記載の固定パターンノイズ検出装置。
【請求項３】
前記水平オプティカルブラック領域の水平方向の画素数が、前記固定パターンノイズの１周期を含む画素数以上であることを特徴とする請求項１に記載の固定パターンノイズ検出装置。
【請求項４】
前記水平オプティカルブラック領域が、前段水平オプティカルブラック領域であることを特徴とする請求項１に記載の固定パターンノイズ検出装置。
【請求項５】
請求項１に記載の固定パターン検出装置により特定されるパターンデータに基づき前記撮像素子の映像信号から前記固定パターンノイズを除去することを特徴とする固定パターンノイズ除去装置。
【請求項６】
請求項５に記載の固定パターンノイズ除去装置を備えることを特徴とする電子内視鏡装置。
【請求項７】
撮像素子の水平オプティカルブラック領域の画像データを記憶し、
外部回路に起因して前記撮像素子に発生する縦状固定パターンノイズの全てのパターンデータを記憶し、
前記水平オプティカルブラック領域の画像データと前記複数のパターンデータの比較を行って前記水平オプティカルブラック領域の画像データに最も近いパターンデータを特定する
ことを特徴とする固定パターンノイズ検出方法。
【請求項１】
撮像素子の水平オプティカルブラック領域の画像データを記憶する第１記憶手段と、
外部回路に起因して前記撮像素子に発生する縦状固定パターンノイズの全てのパターンデータを記憶する第２記憶手段と、
前記水平オプティカルブラック領域の画像データと前記複数のパターンデータの比較を行って前記水平オプティカルブラック領域の画像データに最も近いパターンデータを特定するパターン特定手段と
を備えることを特徴とする固定パターンノイズ検出装置。
【請求項２】
前記水平オプティカルブラック領域の複数の水平ラインの加算平均を算出する加算平均算出手段を備え、前記第１記憶手段に記憶される前記画像データが前記加算平均手段により算出されることを特徴とする請求項１に記載の固定パターンノイズ検出装置。
【請求項３】
前記水平オプティカルブラック領域の水平方向の画素数が、前記固定パターンノイズの１周期を含む画素数以上であることを特徴とする請求項１に記載の固定パターンノイズ検出装置。
【請求項４】
前記水平オプティカルブラック領域が、前段水平オプティカルブラック領域であることを特徴とする請求項１に記載の固定パターンノイズ検出装置。
【請求項５】
請求項１に記載の固定パターン検出装置により特定されるパターンデータに基づき前記撮像素子の映像信号から前記固定パターンノイズを除去することを特徴とする固定パターンノイズ除去装置。
【請求項６】
請求項５に記載の固定パターンノイズ除去装置を備えることを特徴とする電子内視鏡装置。
【請求項７】
撮像素子の水平オプティカルブラック領域の画像データを記憶し、
外部回路に起因して前記撮像素子に発生する縦状固定パターンノイズの全てのパターンデータを記憶し、
前記水平オプティカルブラック領域の画像データと前記複数のパターンデータの比較を行って前記水平オプティカルブラック領域の画像データに最も近いパターンデータを特定する
ことを特徴とする固定パターンノイズ検出方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−８５１９６（Ｐ２０１３−８５１９６Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２５２６５（Ｐ２０１１−２２５２６５）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
[ Back to top ]