暗黒画像を用いて画像ノイズを抑制する電子カメラ
【課題】 本発明は、暗黒画像を用いたノイズ抑制において、ランダムノイズの影響を抑制する技術を提供する。
【解決手段】 本発明の電子カメラは、撮像部、遮光機構、制御部、およびノイズ抑制部を備える。撮像部は、光電変換により画像データを生成する。遮光機構は、撮像部を遮光する。制御部は、撮像部を駆動して被写界を撮像して画像データを生成する。また、遮光機構により遮光状態にした撮像部を駆動して、暗黒画像データを生成する。ノイズ抑制部は、暗黒画像データに基づいて、画像データ中の固定パターンノイズを抑制する。特に、上述の制御部は、制御部は、暗黒画像データの生成に際して、固定パターンノイズとランダムノイズとのレベル差を拡大する『予め定められた撮像条件』への設定を行う。
【解決手段】 本発明の電子カメラは、撮像部、遮光機構、制御部、およびノイズ抑制部を備える。撮像部は、光電変換により画像データを生成する。遮光機構は、撮像部を遮光する。制御部は、撮像部を駆動して被写界を撮像して画像データを生成する。また、遮光機構により遮光状態にした撮像部を駆動して、暗黒画像データを生成する。ノイズ抑制部は、暗黒画像データに基づいて、画像データ中の固定パターンノイズを抑制する。特に、上述の制御部は、制御部は、暗黒画像データの生成に際して、固定パターンノイズとランダムノイズとのレベル差を拡大する『予め定められた撮像条件』への設定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、暗黒画像を用いて画像ノイズを抑制する電子カメラに関する。
【背景技術】
【０００２】
一般に、電子カメラにおいて長秒時撮影を行うと、画像データに固定パターンノイズが現れる。この種のノイズを除去する装置として、特許文献１の従来装置が知られている。
この従来装置では、まず、通常に撮像された画像データと、シャッタを閉じて撮像した暗黒画像データとを用意する。従来装置は、この画像データから暗黒画像データを画素単位に減算することにより、固定パターンノイズを同相除去する。
【特許文献１】特開２０００−１２５２０４号公報（請求項１，２など）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、長秒時撮影された暗黒画像データには、固定パターンノイズの他に、ランダムノイズも含まれる。上述した従来装置の減算処理では、このランダムノイズを逆相にして、画像データに加算するため、画像データのノイズを逆に増やしてしまうという問題点があった。
そこで、本発明では、暗黒画像を用いたノイズ抑制において、ランダムノイズの影響を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
《１》 本発明の電子カメラは、撮像部、遮光機構、制御部、およびノイズ抑制部を備える。
撮像部は、光電変換により画像データを生成する。
遮光機構は、撮像部を遮光する。
制御部は、撮像部を駆動して被写界を撮像して画像データを生成する。また、制御部は、遮光機構により遮光にした撮像部を駆動して、暗黒画像データを生成する。
ノイズ抑制部は、暗黒画像データに基づいて、画像データ中の固定パターンノイズを抑制する。
特に、上述の制御部は、暗黒画像データの生成に際して、固定パターンノイズとランダムノイズとのレベル差を拡大する『予め定められた撮像条件』を設定する。
【０００５】
《２》 なお好ましくは、制御部は、暗黒画像データの電荷蓄積時間を画像データの電荷蓄積時間よりも長く設定することで、固定パターンノイズとランダムノイズとのレベル差を拡大する。
【０００６】
《３》 また好ましくは、制御部は、暗黒画像データの信号ゲイン（以下『撮像感度』）を、画像データの撮像感度よりも高く設定することで、固定パターンノイズとランダムノイズとのレベル差を拡大する。
【０００７】
《４》 なお好ましくは、制御部は、撮像部の温度を調整する機能を有する。制御部は、暗黒画像データの生成に際して、画像データの生成時よりも温度を上昇させる。これにより、固定パターンノイズとランダムノイズとのレベル差を拡大する。
【０００８】
《５》 また好ましくは、ノイズ抑制部は、暗黒画像データと画像データとの間で、撮像条件の設定変更で生じた固定パターンノイズのレベル差を補正する。このレベル補正後に、ノイズ抑制部は、暗黒画像データを画像データから減算することにより、画像データ中の固定パターンノイズを抑制する。
【０００９】
《６》 なお好ましくは、ノイズ抑制部は、暗黒画像データの撮像条件に応じた閾値レベルで、暗黒画像データ中の固定パターンノイズとランダムノイズとを弁別する。ノイズ抑制部は、弁別された固定パターンノイズに基づいて、画像データ中の固定パターンノイズを抑制する。
【発明の効果】
【００１０】
従来のノイズ処理では、暗黒画像データと画像データにおいて、固定パターンノイズの発生量を揃えるため、両データの撮像条件を極力揃えることが当業者の常識であった。
そのため、暗黒画像データと画像データにおいて電荷蓄積時間を等しく揃えることが当然に好ましいとされていた。また、撮像部の温度が大きく変化しないよう、画像データと暗黒画像データを連続的に生成することが好ましいとされていた。また、両データの撮像感度も当然に揃えることが好ましいとされていた。
【００１１】
しかしながら、本発明者は、暗黒画像データの撮像実験において、撮像条件を意図的に操作することで、固定パターンノイズとランダムノイズとの比率が変化することに気が付いた。
本発明は、この現象を積極的に利用して、暗黒画像データの生成に際して、当業者の常識に反して撮像条件を変更する。これにより、暗黒画像データ中の固定パターンノイズとランダムノイズとのレベル差を拡大する。
このようなレベル差の拡大により、暗黒画像データ中のランダムノイズは、固定パターンノイズに比べて相対的に小さくなる。したがって、暗黒画像データを用いた画像データのノイズ抑制において、ランダムノイズの悪影響を軽減することが可能になる。
【発明を実施するための最良の形態】
【００１２】
《本実施形態の構成説明》
図１は、電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。レンズ制御部１２ａは、この撮影レンズ１２のフォーカス駆動や絞り制御などを実施する。この撮影レンズ１２の像空間には、遮蔽機構１２ｂを介して撮像素子１３の受光面が配置される。この遮蔽機構１２ｂは、機械式シャッタまたは絞りを兼用するものでもよいし、あるいは専用の遮蔽機構でもよい。遮蔽機構１２ｂは、撮像制御部１４からの信号で撮影レンズ１２の入射光路を遮断することにより、撮像素子１３の受光面を遮光する機能を有する。
一方、撮像素子１３には、温度調整部１３ａが一体に設けられる。撮像制御部１４は、温度調整部１３ａを駆動することによって、撮像素子１３の温度を制御する。
【００１３】
なお、この温度調整部１３ａとしては、ペルチェ素子やカルノー熱機関のような加熱・冷却が可能な機構が好ましい。また、温度調整部１３ａとしては、抵抗体や電気回路や発光体（電子カメラ１１のモニタ画面用の発光素子など）のような温度上昇が可能な機構も好ましい。この温度調整部１３ａは、撮像素子１３の半導体基板に直に回路形成されたものでもよい。また、温度調整部１３ａは、撮像素子１３のパッケージと一体化した形態としてもよい。
特に、ペルチェ素子の場合には、電子カメラ１１の内部部品の配置関係から、撮像素子１３とモニタ画面（発光素子）との間に挟むように配置することが好ましい。このような構成では、発光素子の熱を、ペルチェ素子を用いて撮像素子１３へ伝熱することによって、撮像素子１３を短時間で温度上昇させることが可能になる。
【００１４】
さらに、撮像素子１３または温度調整部１３ａには、温度センサー１３ｂが設けられる。この温度センサー１３ｂで検出される温度は、撮像制御部１４に情報伝達される。
一方、この撮像素子１３は、撮像制御部１４によって駆動され、画像データを出力する。この画像データは、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時蓄積される。
このメモリ１７は、バス１８に接続される。このバス１８には、レンズ制御部１２ａ、撮像制御部１４、マイクロプロセッサ１９、画像処理部２０、記録部２２、およびモニタ画面（発光素子）を駆動するモニタ表示部２３も接続される。
上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａが接続される。また、上記の記録部２２には、記録媒体２２ａが装着される。
【００１５】
《本実施形態の動作説明》
図２は、本実施形態の動作を説明する流れ図である。
以下、図２に示すステップ番号に沿って、動作説明を行う。
【００１６】
ステップＳ１： 温度調整部１３ａがペルチェ素子のように加熱・冷却が選択可能な素子の場合、撮像制御部１４は、静止画の撮像動作に先立って温度調整部１３ａを温度下降させることが好ましい。撮像制御部１４は、この画像データの撮像時の温度を、温度センサー１３ｂで検出し、マイクロプロセッサ１９に情報伝達する。
【００１７】
ステップＳ２： マイクロプロセッサ１９は、ユーザーからのレリーズ指示を操作部１９ａなどで検出すると、画像データの撮像条件（電荷蓄積時間、撮像感度など）を撮像制御部１４に指示する。撮像制御部１４は、遮蔽機構１２ｂを開いた状態で、撮像素子１３に被写体像の光電変換を開始させ、指示された電荷蓄積時間の経過を待って、撮像素子１３から画像データを読み出す。
【００１８】
ステップＳ３： 撮像制御部１４は、暗黒画像データの生成に備えて、温度調整部１３ａを駆動し、撮像素子１３の温度上昇を開始させる。このとき、撮像制御部１４は、温度センサー１３ｂによる温度監視を実施し、予め定められた温度まで撮像素子１３を温度上昇させることが好ましい。この上昇後の温度は、撮像制御部１４からマイクロプロセッサ１９に情報伝達される。
【００１９】
ステップＳ４： 信号処理部１５は、読み出された画像データを、画像データ用に設定された撮像感度に従って増幅する。増幅後の画像データは、Ａ／Ｄ変換部１６でデジタル化された後、メモリ１７に一旦格納される。
【００２０】
ステップＳ５： 撮像制御部１４は、暗黒画像データの電荷蓄積時間を、電子カメラ１１にカスタム設定された『ノイズ除去に許容できる追加時間』などを上限としてなるべく長く設定する。なお、この電荷蓄積時間は、撮像素子１３の内部で暗黒画像データ（固定パターンノイズ）が飽和しない時間範囲（実験値など）でなるべく長く設定することが好ましい。このような設定により、暗黒画像データの電荷蓄積時間は、大半の画像データの電荷蓄積時間よりも長く設定される。
【００２１】
ステップＳ６： 撮像制御部１４は、信号処理部１５の撮像感度（信号ゲイン）を、信号処理部１５およびＡ／Ｄ変換部１６が信号飽和しない範囲でなるべく高く設定する。このような設定により、暗黒画像データの撮像感度は、大半の画像データの撮像感度よりも高く設定される。
【００２２】
ステップＳ７： 撮像制御部１４は、遮蔽機構１２ｂを遮蔽し、撮像素子１３の受光面を暗黒状態かつ温度上昇状態に保つ。
【００２３】
ステップＳ８： 撮像制御部１４は、ステップＳ５で設定された電荷蓄積時間に従って撮像素子１３に電荷を蓄積した後、撮像素子１３から暗黒画像データを読み出す。
【００２４】
ステップＳ９： 信号処理部１５は、生成された暗黒画像データを、ステップＳ６で設定された撮像感度に従って増幅する。増幅後の暗黒画像データは、Ａ／Ｄ変換部１６でデジタル化された後、メモリ１７に蓄積される。
なお、この段階の暗黒画像データについて、ランダムノイズ（非固定パターンノイズ）と見なされるレベル範囲（一般には小レベル域）を、変動抑制することが好ましい。また、このレベル範囲を、固定値（ランダムノイズが発生しないとした場合の仮想信号レベル）に置き換えてもよい。この場合、ランダムノイズが、撮像条件の変化によって目立って変化しなければ、ランダムノイズと見なすレベル範囲は、撮像条件の変化に依らずに一定にしてもよい。また、ランダムノイズが撮像条件の変化によって変化する場合には、ランダムノイズと見なすレベル範囲は、撮像条件の変化に応じて設定変更することが好ましい。
【００２５】
ステップＳ１０： マイクロプロセッサ１９は、暗黒画像データの撮像条件（ここでは電荷蓄積時間、撮像感度、または温度など）を撮像制御部１４から情報取得する。
マイクロプロセッサ１９は、予め記憶された対応関係を、『画像データ−暗黒画像データ間における撮像条件の変化』で参照することにより、この撮像条件の変化に伴う固定パターンノイズの増加割合を情報取得する。
この対応関係は、『撮像条件の変化』と『それに伴う固定パターンノイズの増加割合』を予め実験的に求めたものである。
【００２６】
ステップＳ１１： マイクロプロセッサ１９は、この増加割合をレベル補正するための階調補正テーブルを選択し、画像処理部２０に伝達する。
画像処理部２０は、選択された階調補正テーブルに従って、暗黒画像データのレベル補正を実施する。このレベル補正では、暗黒画像データ中の固定パターンノイズに対して、増加割合に逆比例する補正ゲインが掛かる。その結果、暗黒画像データ中の固定パターンノイズはレベル低下し、画像データ中の固定パターンノイズと同程度のレベルに揃う。
なお、レベル補正後の暗黒画像データについて、ランダムノイズ（非固定パターンノイズ）と見なされるレベル範囲（一般には小レベル域）を、非線形に変動抑制することが好ましい。また、このレベル範囲を、固定値（ランダムノイズが発生しないとした場合の仮想信号レベル）に置き換えるなどしてもよい。この場合、ランダムノイズと見なすレベル範囲は、撮像条件の変化とそれに伴うレベル補正に応じて設定変更することが好ましい。
【００２７】
ステップＳ１２： 画像処理部２０は、メモリ１７内の画像データから、レベル補正後の暗黒画像データを画素単位に減算する。この減算処理により、画像データ中の固定パターンノイズを抑制する。
【００２８】
《本実施形態の効果など》
以下、本実施形態の効果について説明する。
【００２９】
（電荷蓄積時間の延長効果について）
図３は、電荷蓄積時間と、固定パターンノイズおよびランダムノイズとの関係を実測した図である。この図３に示すように、固定パターンノイズのノイズレベルは、電荷蓄積時間が長くなるに従って顕著に増加する。一方、ランダムノイズのノイズレベルは、電荷蓄積時間が長くなっても目立って増加しない。
【００３０】
したがって、本実施形態のように、暗黒画像データの電荷蓄積時間を、画像データの電荷蓄積時間よりも長く設定することにより、固定パターンノイズとランダムノイズとのレベル差を拡大できる。その後、暗黒画像データをレベル補正することによって固定パターンノイズのノイズレベルは、画像データ中の固定パターンノイズのノイズレベルにほぼ揃う。このとき、レベル格差の拡大分に従って、暗黒画像データ中のランダムノイズは逆に小さくなる。
その結果、レベル補正後の暗黒画像データを用いた画像データのノイズ除去では、ランダムノイズの影響が小さくなり、良好なノイズ除去効果を得ることが可能になる。
【００３１】
（撮像感度の増感効果について）
図４は、撮像感度と、固定パターンノイズおよびランダムノイズとの関係を実測した図である。この図４に示すように、固定パターンノイズのノイズレベルは、撮像感度が高くなるに従って顕著に増加する。一方、ランダムノイズのノイズレベルは、撮像感度が高くなっても目立って増加しない。
【００３２】
したがって、本実施形態のように、暗黒画像データの撮像感度を、画像データの撮像感度よりも高く設定することにより、固定パターンノイズとランダムノイズとのレベル差を拡大できる。その後、暗黒画像データをレベル補正することによって、固定パターンノイズのノイズレベルは、画像データ中の固定パターンノイズのノイズレベルにほぼ揃う。このとき、レベル格差の拡大分に従って、暗黒画像データ中のランダムノイズは逆に小さくなる。
その結果、レベル補正後の暗黒画像データを用いた画像データのノイズ除去では、ランダムノイズの影響が小さくなり、良好なノイズ除去効果を得ることが可能になる。
【００３３】
（温度の上昇効果について）
図５は、温度と、固定パターンノイズおよびランダムノイズとの関係を実測した図である。この図５に示すように、固定パターンノイズのノイズレベルは、温度が高くなるに従って増加する。一方、ランダムノイズのノイズレベルは、温度が高くなっても目立って増加しない。
【００３４】
したがって、本実施形態のように、暗黒画像データの撮像時の温度を、画像データの撮像時の温度よりも高く設定することにより、固定パターンノイズとランダムノイズとのレベル差を拡大できる。その後、暗黒画像データをレベル補正することによって、固定パターンノイズのノイズレベルは、画像データ中の固定パターンノイズのノイズレベルにほぼ揃う。このとき、レベル格差の拡大分に従って、暗黒画像データ中のランダムノイズは逆に小さくなる。
その結果、レベル補正後の暗黒画像データを用いた画像データのノイズ除去では、ランダムノイズの影響が小さくなり、良好なノイズ除去効果を得ることが可能になる。
【００３５】
（複数の撮像条件の相乗効果について）
特に、本実施形態では、（電荷蓄積時間、撮像感度、温度）といった複数の撮像条件を変化させることにより、暗黒画像データ中の固定パターンノイズとランダムノイズとのレベル差を相乗的に拡大することができる。したがって、レベル差の相乗的な拡大分だけ、暗黒画像データ中のランダムノイズを抑制することが可能になる。したがって、暗黒画像データを用いた画像データのノイズ除去において、ランダムノイズの影響を相乗的に小さくすることが可能となり、一段と良好なノイズ除去効果を得ることが可能になる。
【００３６】
《実施形態の補足事項》
なお、上述した実施形態では、画像データから暗黒画像データを減算することにより、固定パターンノイズを除去している。しかしながら、実施形態はこれに限定されるものではない。
例えば、上述した実施形態では、撮像条件の変化によって暗黒画像データ中の固定パターンノイズとランダムノイズとのレベル差が拡大する。そこで、画像処理部２０が暗黒画像データの撮像条件に応じて、このレベル差内に閾値レベルを設定することで、固定パターンノイズの発生箇所を一段と正確に弁別できる。画像処理部２０は、これら発生箇所に対応する画像データ中の画素位置に対し、周辺画素などを参照したノイズ抑制処理を実施する。この場合も、ランダムノイズの影響を抑制しつつ、良好なノイズ除去効果を得ることが可能になる。
【００３７】
さらに、上述した実施形態では、暗黒画像データの生成時に（電荷蓄積時間、撮像感度、温度）といった複数の撮像条件を変化させている。しかしながら、実施形態はこれに限定されるものではない。電荷蓄積時間、撮像感度、または温度の少なくとも一つを変化させてもよい。
【００３８】
また、撮像条件は、これら３種類に限らない。一般的には、固定パターンノイズとランダムノイズのレベル差を拡大する撮像条件であればよい。
【００３９】
なお、上述した実施形態では、先に画像データを生成し、後から暗黒画像データを生成している。しかしながら、実施形態はこれに限定されるものではない。暗黒画像データを先に生成してもよい。また、画像データの生成とは独立したタイミング（電源投入時など）で暗黒画像データを生成してもかまわない（むしろ、上述した実施形態は、撮像条件を揃える必要がないため、独立したタイミングで暗黒画像データを生成しやすい）。このような動作では、画像データの撮影後に、暗黒画像データの撮影シーケンスを省くことが可能となる。
【００４０】
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
【産業上の利用可能性】
【００４１】
以上説明したように、本発明は、画像のノイズ抑制などに利用可能な技術である。
【図面の簡単な説明】
【００４２】
【図１】電子カメラ１１を示すブロック図である。
【図２】本実施形態の動作を説明する流れ図である。
【図３】電荷蓄積時間と、固定パターンノイズおよびランダムノイズとの関係を示す図である。
【図４】撮像感度と、固定パターンノイズおよびランダムノイズとの関係を示す図である。
【図５】温度と、固定パターンノイズおよびランダムノイズとの関係を示す図である。
【符号の説明】
【００４３】
１１…電子カメラ，１２…撮影レンズ，１２ａ…レンズ制御部，１２ｂ…遮蔽機構，１３…撮像素子，１３ａ…温度調整部，１３ｂ…温度センサー，１４…撮像制御部，１５…信号処理部，１６…Ａ／Ｄ変換部，１７…メモリ，１８…バス，１９…マイクロプロセッサ，２０…画像処理部
【技術分野】
【０００１】
本発明は、暗黒画像を用いて画像ノイズを抑制する電子カメラに関する。
【背景技術】
【０００２】
一般に、電子カメラにおいて長秒時撮影を行うと、画像データに固定パターンノイズが現れる。この種のノイズを除去する装置として、特許文献１の従来装置が知られている。
この従来装置では、まず、通常に撮像された画像データと、シャッタを閉じて撮像した暗黒画像データとを用意する。従来装置は、この画像データから暗黒画像データを画素単位に減算することにより、固定パターンノイズを同相除去する。
【特許文献１】特開２０００−１２５２０４号公報（請求項１，２など）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、長秒時撮影された暗黒画像データには、固定パターンノイズの他に、ランダムノイズも含まれる。上述した従来装置の減算処理では、このランダムノイズを逆相にして、画像データに加算するため、画像データのノイズを逆に増やしてしまうという問題点があった。
そこで、本発明では、暗黒画像を用いたノイズ抑制において、ランダムノイズの影響を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
《１》 本発明の電子カメラは、撮像部、遮光機構、制御部、およびノイズ抑制部を備える。
撮像部は、光電変換により画像データを生成する。
遮光機構は、撮像部を遮光する。
制御部は、撮像部を駆動して被写界を撮像して画像データを生成する。また、制御部は、遮光機構により遮光にした撮像部を駆動して、暗黒画像データを生成する。
ノイズ抑制部は、暗黒画像データに基づいて、画像データ中の固定パターンノイズを抑制する。
特に、上述の制御部は、暗黒画像データの生成に際して、固定パターンノイズとランダムノイズとのレベル差を拡大する『予め定められた撮像条件』を設定する。
【０００５】
《２》 なお好ましくは、制御部は、暗黒画像データの電荷蓄積時間を画像データの電荷蓄積時間よりも長く設定することで、固定パターンノイズとランダムノイズとのレベル差を拡大する。
【０００６】
《３》 また好ましくは、制御部は、暗黒画像データの信号ゲイン（以下『撮像感度』）を、画像データの撮像感度よりも高く設定することで、固定パターンノイズとランダムノイズとのレベル差を拡大する。
【０００７】
《４》 なお好ましくは、制御部は、撮像部の温度を調整する機能を有する。制御部は、暗黒画像データの生成に際して、画像データの生成時よりも温度を上昇させる。これにより、固定パターンノイズとランダムノイズとのレベル差を拡大する。
【０００８】
《５》 また好ましくは、ノイズ抑制部は、暗黒画像データと画像データとの間で、撮像条件の設定変更で生じた固定パターンノイズのレベル差を補正する。このレベル補正後に、ノイズ抑制部は、暗黒画像データを画像データから減算することにより、画像データ中の固定パターンノイズを抑制する。
【０００９】
《６》 なお好ましくは、ノイズ抑制部は、暗黒画像データの撮像条件に応じた閾値レベルで、暗黒画像データ中の固定パターンノイズとランダムノイズとを弁別する。ノイズ抑制部は、弁別された固定パターンノイズに基づいて、画像データ中の固定パターンノイズを抑制する。
【発明の効果】
【００１０】
従来のノイズ処理では、暗黒画像データと画像データにおいて、固定パターンノイズの発生量を揃えるため、両データの撮像条件を極力揃えることが当業者の常識であった。
そのため、暗黒画像データと画像データにおいて電荷蓄積時間を等しく揃えることが当然に好ましいとされていた。また、撮像部の温度が大きく変化しないよう、画像データと暗黒画像データを連続的に生成することが好ましいとされていた。また、両データの撮像感度も当然に揃えることが好ましいとされていた。
【００１１】
しかしながら、本発明者は、暗黒画像データの撮像実験において、撮像条件を意図的に操作することで、固定パターンノイズとランダムノイズとの比率が変化することに気が付いた。
本発明は、この現象を積極的に利用して、暗黒画像データの生成に際して、当業者の常識に反して撮像条件を変更する。これにより、暗黒画像データ中の固定パターンノイズとランダムノイズとのレベル差を拡大する。
このようなレベル差の拡大により、暗黒画像データ中のランダムノイズは、固定パターンノイズに比べて相対的に小さくなる。したがって、暗黒画像データを用いた画像データのノイズ抑制において、ランダムノイズの悪影響を軽減することが可能になる。
【発明を実施するための最良の形態】
【００１２】
《本実施形態の構成説明》
図１は、電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。レンズ制御部１２ａは、この撮影レンズ１２のフォーカス駆動や絞り制御などを実施する。この撮影レンズ１２の像空間には、遮蔽機構１２ｂを介して撮像素子１３の受光面が配置される。この遮蔽機構１２ｂは、機械式シャッタまたは絞りを兼用するものでもよいし、あるいは専用の遮蔽機構でもよい。遮蔽機構１２ｂは、撮像制御部１４からの信号で撮影レンズ１２の入射光路を遮断することにより、撮像素子１３の受光面を遮光する機能を有する。
一方、撮像素子１３には、温度調整部１３ａが一体に設けられる。撮像制御部１４は、温度調整部１３ａを駆動することによって、撮像素子１３の温度を制御する。
【００１３】
なお、この温度調整部１３ａとしては、ペルチェ素子やカルノー熱機関のような加熱・冷却が可能な機構が好ましい。また、温度調整部１３ａとしては、抵抗体や電気回路や発光体（電子カメラ１１のモニタ画面用の発光素子など）のような温度上昇が可能な機構も好ましい。この温度調整部１３ａは、撮像素子１３の半導体基板に直に回路形成されたものでもよい。また、温度調整部１３ａは、撮像素子１３のパッケージと一体化した形態としてもよい。
特に、ペルチェ素子の場合には、電子カメラ１１の内部部品の配置関係から、撮像素子１３とモニタ画面（発光素子）との間に挟むように配置することが好ましい。このような構成では、発光素子の熱を、ペルチェ素子を用いて撮像素子１３へ伝熱することによって、撮像素子１３を短時間で温度上昇させることが可能になる。
【００１４】
さらに、撮像素子１３または温度調整部１３ａには、温度センサー１３ｂが設けられる。この温度センサー１３ｂで検出される温度は、撮像制御部１４に情報伝達される。
一方、この撮像素子１３は、撮像制御部１４によって駆動され、画像データを出力する。この画像データは、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時蓄積される。
このメモリ１７は、バス１８に接続される。このバス１８には、レンズ制御部１２ａ、撮像制御部１４、マイクロプロセッサ１９、画像処理部２０、記録部２２、およびモニタ画面（発光素子）を駆動するモニタ表示部２３も接続される。
上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａが接続される。また、上記の記録部２２には、記録媒体２２ａが装着される。
【００１５】
《本実施形態の動作説明》
図２は、本実施形態の動作を説明する流れ図である。
以下、図２に示すステップ番号に沿って、動作説明を行う。
【００１６】
ステップＳ１： 温度調整部１３ａがペルチェ素子のように加熱・冷却が選択可能な素子の場合、撮像制御部１４は、静止画の撮像動作に先立って温度調整部１３ａを温度下降させることが好ましい。撮像制御部１４は、この画像データの撮像時の温度を、温度センサー１３ｂで検出し、マイクロプロセッサ１９に情報伝達する。
【００１７】
ステップＳ２： マイクロプロセッサ１９は、ユーザーからのレリーズ指示を操作部１９ａなどで検出すると、画像データの撮像条件（電荷蓄積時間、撮像感度など）を撮像制御部１４に指示する。撮像制御部１４は、遮蔽機構１２ｂを開いた状態で、撮像素子１３に被写体像の光電変換を開始させ、指示された電荷蓄積時間の経過を待って、撮像素子１３から画像データを読み出す。
【００１８】
ステップＳ３： 撮像制御部１４は、暗黒画像データの生成に備えて、温度調整部１３ａを駆動し、撮像素子１３の温度上昇を開始させる。このとき、撮像制御部１４は、温度センサー１３ｂによる温度監視を実施し、予め定められた温度まで撮像素子１３を温度上昇させることが好ましい。この上昇後の温度は、撮像制御部１４からマイクロプロセッサ１９に情報伝達される。
【００１９】
ステップＳ４： 信号処理部１５は、読み出された画像データを、画像データ用に設定された撮像感度に従って増幅する。増幅後の画像データは、Ａ／Ｄ変換部１６でデジタル化された後、メモリ１７に一旦格納される。
【００２０】
ステップＳ５： 撮像制御部１４は、暗黒画像データの電荷蓄積時間を、電子カメラ１１にカスタム設定された『ノイズ除去に許容できる追加時間』などを上限としてなるべく長く設定する。なお、この電荷蓄積時間は、撮像素子１３の内部で暗黒画像データ（固定パターンノイズ）が飽和しない時間範囲（実験値など）でなるべく長く設定することが好ましい。このような設定により、暗黒画像データの電荷蓄積時間は、大半の画像データの電荷蓄積時間よりも長く設定される。
【００２１】
ステップＳ６： 撮像制御部１４は、信号処理部１５の撮像感度（信号ゲイン）を、信号処理部１５およびＡ／Ｄ変換部１６が信号飽和しない範囲でなるべく高く設定する。このような設定により、暗黒画像データの撮像感度は、大半の画像データの撮像感度よりも高く設定される。
【００２２】
ステップＳ７： 撮像制御部１４は、遮蔽機構１２ｂを遮蔽し、撮像素子１３の受光面を暗黒状態かつ温度上昇状態に保つ。
【００２３】
ステップＳ８： 撮像制御部１４は、ステップＳ５で設定された電荷蓄積時間に従って撮像素子１３に電荷を蓄積した後、撮像素子１３から暗黒画像データを読み出す。
【００２４】
ステップＳ９： 信号処理部１５は、生成された暗黒画像データを、ステップＳ６で設定された撮像感度に従って増幅する。増幅後の暗黒画像データは、Ａ／Ｄ変換部１６でデジタル化された後、メモリ１７に蓄積される。
なお、この段階の暗黒画像データについて、ランダムノイズ（非固定パターンノイズ）と見なされるレベル範囲（一般には小レベル域）を、変動抑制することが好ましい。また、このレベル範囲を、固定値（ランダムノイズが発生しないとした場合の仮想信号レベル）に置き換えてもよい。この場合、ランダムノイズが、撮像条件の変化によって目立って変化しなければ、ランダムノイズと見なすレベル範囲は、撮像条件の変化に依らずに一定にしてもよい。また、ランダムノイズが撮像条件の変化によって変化する場合には、ランダムノイズと見なすレベル範囲は、撮像条件の変化に応じて設定変更することが好ましい。
【００２５】
ステップＳ１０： マイクロプロセッサ１９は、暗黒画像データの撮像条件（ここでは電荷蓄積時間、撮像感度、または温度など）を撮像制御部１４から情報取得する。
マイクロプロセッサ１９は、予め記憶された対応関係を、『画像データ−暗黒画像データ間における撮像条件の変化』で参照することにより、この撮像条件の変化に伴う固定パターンノイズの増加割合を情報取得する。
この対応関係は、『撮像条件の変化』と『それに伴う固定パターンノイズの増加割合』を予め実験的に求めたものである。
【００２６】
ステップＳ１１： マイクロプロセッサ１９は、この増加割合をレベル補正するための階調補正テーブルを選択し、画像処理部２０に伝達する。
画像処理部２０は、選択された階調補正テーブルに従って、暗黒画像データのレベル補正を実施する。このレベル補正では、暗黒画像データ中の固定パターンノイズに対して、増加割合に逆比例する補正ゲインが掛かる。その結果、暗黒画像データ中の固定パターンノイズはレベル低下し、画像データ中の固定パターンノイズと同程度のレベルに揃う。
なお、レベル補正後の暗黒画像データについて、ランダムノイズ（非固定パターンノイズ）と見なされるレベル範囲（一般には小レベル域）を、非線形に変動抑制することが好ましい。また、このレベル範囲を、固定値（ランダムノイズが発生しないとした場合の仮想信号レベル）に置き換えるなどしてもよい。この場合、ランダムノイズと見なすレベル範囲は、撮像条件の変化とそれに伴うレベル補正に応じて設定変更することが好ましい。
【００２７】
ステップＳ１２： 画像処理部２０は、メモリ１７内の画像データから、レベル補正後の暗黒画像データを画素単位に減算する。この減算処理により、画像データ中の固定パターンノイズを抑制する。
【００２８】
《本実施形態の効果など》
以下、本実施形態の効果について説明する。
【００２９】
（電荷蓄積時間の延長効果について）
図３は、電荷蓄積時間と、固定パターンノイズおよびランダムノイズとの関係を実測した図である。この図３に示すように、固定パターンノイズのノイズレベルは、電荷蓄積時間が長くなるに従って顕著に増加する。一方、ランダムノイズのノイズレベルは、電荷蓄積時間が長くなっても目立って増加しない。
【００３０】
したがって、本実施形態のように、暗黒画像データの電荷蓄積時間を、画像データの電荷蓄積時間よりも長く設定することにより、固定パターンノイズとランダムノイズとのレベル差を拡大できる。その後、暗黒画像データをレベル補正することによって固定パターンノイズのノイズレベルは、画像データ中の固定パターンノイズのノイズレベルにほぼ揃う。このとき、レベル格差の拡大分に従って、暗黒画像データ中のランダムノイズは逆に小さくなる。
その結果、レベル補正後の暗黒画像データを用いた画像データのノイズ除去では、ランダムノイズの影響が小さくなり、良好なノイズ除去効果を得ることが可能になる。
【００３１】
（撮像感度の増感効果について）
図４は、撮像感度と、固定パターンノイズおよびランダムノイズとの関係を実測した図である。この図４に示すように、固定パターンノイズのノイズレベルは、撮像感度が高くなるに従って顕著に増加する。一方、ランダムノイズのノイズレベルは、撮像感度が高くなっても目立って増加しない。
【００３２】
したがって、本実施形態のように、暗黒画像データの撮像感度を、画像データの撮像感度よりも高く設定することにより、固定パターンノイズとランダムノイズとのレベル差を拡大できる。その後、暗黒画像データをレベル補正することによって、固定パターンノイズのノイズレベルは、画像データ中の固定パターンノイズのノイズレベルにほぼ揃う。このとき、レベル格差の拡大分に従って、暗黒画像データ中のランダムノイズは逆に小さくなる。
その結果、レベル補正後の暗黒画像データを用いた画像データのノイズ除去では、ランダムノイズの影響が小さくなり、良好なノイズ除去効果を得ることが可能になる。
【００３３】
（温度の上昇効果について）
図５は、温度と、固定パターンノイズおよびランダムノイズとの関係を実測した図である。この図５に示すように、固定パターンノイズのノイズレベルは、温度が高くなるに従って増加する。一方、ランダムノイズのノイズレベルは、温度が高くなっても目立って増加しない。
【００３４】
したがって、本実施形態のように、暗黒画像データの撮像時の温度を、画像データの撮像時の温度よりも高く設定することにより、固定パターンノイズとランダムノイズとのレベル差を拡大できる。その後、暗黒画像データをレベル補正することによって、固定パターンノイズのノイズレベルは、画像データ中の固定パターンノイズのノイズレベルにほぼ揃う。このとき、レベル格差の拡大分に従って、暗黒画像データ中のランダムノイズは逆に小さくなる。
その結果、レベル補正後の暗黒画像データを用いた画像データのノイズ除去では、ランダムノイズの影響が小さくなり、良好なノイズ除去効果を得ることが可能になる。
【００３５】
（複数の撮像条件の相乗効果について）
特に、本実施形態では、（電荷蓄積時間、撮像感度、温度）といった複数の撮像条件を変化させることにより、暗黒画像データ中の固定パターンノイズとランダムノイズとのレベル差を相乗的に拡大することができる。したがって、レベル差の相乗的な拡大分だけ、暗黒画像データ中のランダムノイズを抑制することが可能になる。したがって、暗黒画像データを用いた画像データのノイズ除去において、ランダムノイズの影響を相乗的に小さくすることが可能となり、一段と良好なノイズ除去効果を得ることが可能になる。
【００３６】
《実施形態の補足事項》
なお、上述した実施形態では、画像データから暗黒画像データを減算することにより、固定パターンノイズを除去している。しかしながら、実施形態はこれに限定されるものではない。
例えば、上述した実施形態では、撮像条件の変化によって暗黒画像データ中の固定パターンノイズとランダムノイズとのレベル差が拡大する。そこで、画像処理部２０が暗黒画像データの撮像条件に応じて、このレベル差内に閾値レベルを設定することで、固定パターンノイズの発生箇所を一段と正確に弁別できる。画像処理部２０は、これら発生箇所に対応する画像データ中の画素位置に対し、周辺画素などを参照したノイズ抑制処理を実施する。この場合も、ランダムノイズの影響を抑制しつつ、良好なノイズ除去効果を得ることが可能になる。
【００３７】
さらに、上述した実施形態では、暗黒画像データの生成時に（電荷蓄積時間、撮像感度、温度）といった複数の撮像条件を変化させている。しかしながら、実施形態はこれに限定されるものではない。電荷蓄積時間、撮像感度、または温度の少なくとも一つを変化させてもよい。
【００３８】
また、撮像条件は、これら３種類に限らない。一般的には、固定パターンノイズとランダムノイズのレベル差を拡大する撮像条件であればよい。
【００３９】
なお、上述した実施形態では、先に画像データを生成し、後から暗黒画像データを生成している。しかしながら、実施形態はこれに限定されるものではない。暗黒画像データを先に生成してもよい。また、画像データの生成とは独立したタイミング（電源投入時など）で暗黒画像データを生成してもかまわない（むしろ、上述した実施形態は、撮像条件を揃える必要がないため、独立したタイミングで暗黒画像データを生成しやすい）。このような動作では、画像データの撮影後に、暗黒画像データの撮影シーケンスを省くことが可能となる。
【００４０】
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
【産業上の利用可能性】
【００４１】
以上説明したように、本発明は、画像のノイズ抑制などに利用可能な技術である。
【図面の簡単な説明】
【００４２】
【図１】電子カメラ１１を示すブロック図である。
【図２】本実施形態の動作を説明する流れ図である。
【図３】電荷蓄積時間と、固定パターンノイズおよびランダムノイズとの関係を示す図である。
【図４】撮像感度と、固定パターンノイズおよびランダムノイズとの関係を示す図である。
【図５】温度と、固定パターンノイズおよびランダムノイズとの関係を示す図である。
【符号の説明】
【００４３】
１１…電子カメラ，１２…撮影レンズ，１２ａ…レンズ制御部，１２ｂ…遮蔽機構，１３…撮像素子，１３ａ…温度調整部，１３ｂ…温度センサー，１４…撮像制御部，１５…信号処理部，１６…Ａ／Ｄ変換部，１７…メモリ，１８…バス，１９…マイクロプロセッサ，２０…画像処理部
【特許請求の範囲】
【請求項１】
光電変換により画像データを生成する撮像部と、
前記撮像部を遮光する遮光機構と、
前記撮像部を駆動して被写界を撮像して画像データを生成し、かつ前記遮光機構により遮光した前記撮像部を駆動して暗黒画像データを生成する制御部と、
前記暗黒画像データに基づいて、前記画像データ中の固定パターンノイズを抑制するノイズ抑制部とを備え、
前記制御部は、前記暗黒画像データの生成に際して、固定パターンノイズとランダムノイズとのレベル差が拡大する『予め定められた撮像条件』を設定する
ことを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記制御部は、前記暗黒画像データの電荷蓄積時間を前記画像データの電荷蓄積時間よりも長く設定することで、固定パターンノイズとランダムノイズとのレベル差を拡大する
ことを特徴とする電子カメラ。
【請求項３】
請求項１または請求項２に記載の電子カメラにおいて、
前記制御部は、前記暗黒画像データの信号ゲイン（以下『撮像感度』）を、前記画像データの撮像感度よりも高く設定することで、固定パターンノイズとランダムノイズとのレベル差を拡大する
ことを特徴とする電子カメラ。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、
前記制御部は、前記撮像部の温度を調整する機能を有し、前記暗黒画像データの生成に際して、前記画像データの生成時よりも前記温度を上昇させることで、固定パターンノイズとランダムノイズとのレベル差を拡大する
ことを特徴とする電子カメラ。
【請求項５】
請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、
前記ノイズ抑制部は、前記暗黒画像データと前記画像データとの間で、前記撮像条件の設定変更で生じた前記固定パターンノイズのレベル差を補正し、前記レベル補正後に前記暗黒画像データを前記画像データから減算することで、前記画像データ中の固定パターンノイズを抑制する
ことを特徴とする電子カメラ。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、
前記ノイズ抑制部は、前記暗黒画像データの前記撮像条件に応じた閾値レベルで、前記暗黒画像データ中の前記固定パターンノイズと前記ランダムノイズとを弁別し、弁別された前記固定パターンノイズに基づいて、前記画像データ中の固定パターンノイズを抑制する
ことを特徴とする電子カメラ。
【請求項１】
光電変換により画像データを生成する撮像部と、
前記撮像部を遮光する遮光機構と、
前記撮像部を駆動して被写界を撮像して画像データを生成し、かつ前記遮光機構により遮光した前記撮像部を駆動して暗黒画像データを生成する制御部と、
前記暗黒画像データに基づいて、前記画像データ中の固定パターンノイズを抑制するノイズ抑制部とを備え、
前記制御部は、前記暗黒画像データの生成に際して、固定パターンノイズとランダムノイズとのレベル差が拡大する『予め定められた撮像条件』を設定する
ことを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記制御部は、前記暗黒画像データの電荷蓄積時間を前記画像データの電荷蓄積時間よりも長く設定することで、固定パターンノイズとランダムノイズとのレベル差を拡大する
ことを特徴とする電子カメラ。
【請求項３】
請求項１または請求項２に記載の電子カメラにおいて、
前記制御部は、前記暗黒画像データの信号ゲイン（以下『撮像感度』）を、前記画像データの撮像感度よりも高く設定することで、固定パターンノイズとランダムノイズとのレベル差を拡大する
ことを特徴とする電子カメラ。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、
前記制御部は、前記撮像部の温度を調整する機能を有し、前記暗黒画像データの生成に際して、前記画像データの生成時よりも前記温度を上昇させることで、固定パターンノイズとランダムノイズとのレベル差を拡大する
ことを特徴とする電子カメラ。
【請求項５】
請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、
前記ノイズ抑制部は、前記暗黒画像データと前記画像データとの間で、前記撮像条件の設定変更で生じた前記固定パターンノイズのレベル差を補正し、前記レベル補正後に前記暗黒画像データを前記画像データから減算することで、前記画像データ中の固定パターンノイズを抑制する
ことを特徴とする電子カメラ。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、
前記ノイズ抑制部は、前記暗黒画像データの前記撮像条件に応じた閾値レベルで、前記暗黒画像データ中の前記固定パターンノイズと前記ランダムノイズとを弁別し、弁別された前記固定パターンノイズに基づいて、前記画像データ中の固定パターンノイズを抑制する
ことを特徴とする電子カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−３２４９８３（Ｐ２００６−３２４９８３Ａ）
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願番号】特願２００５−１４６７４９（Ｐ２００５−１４６７４９）
【出願日】平成１７年５月１９日（２００５．５．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願日】平成１７年５月１９日（２００５．５．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]