撮像装置及び暗電流成分キャンセル処理方法
【課題】あらゆる撮像条件において高速に暗ノイズ抑圧画像を取得することができる撮像装置を提供する。
【解決手段】撮像素子を遮光状態または非遮光状態にするシャッターを有する撮像装置は、複数の撮像条件を記憶する撮像条件記憶手段と、前記遮光状態において、前記撮像条件に基づいて、前記撮像素子を用いて撮像された複数の暗時画像データを記憶する暗時画像データ記憶手段と、前記非遮光状態において、前記撮像素子を用いて撮像された明時画像データを記憶する明時画像データ記憶手段と、前記明時画像が撮像された撮像条件に対応する撮像条件で撮像された前記暗時画像を前記暗時画像データ記憶手段より抽出する暗時画像データ抽出手段と、前記暗時画像データ抽出手段により抽出された前記暗時画像データに基づいて、前記明時画像データを補正する補正手段と、を備えることにより、上記課題の解決を図る。
【解決手段】撮像素子を遮光状態または非遮光状態にするシャッターを有する撮像装置は、複数の撮像条件を記憶する撮像条件記憶手段と、前記遮光状態において、前記撮像条件に基づいて、前記撮像素子を用いて撮像された複数の暗時画像データを記憶する暗時画像データ記憶手段と、前記非遮光状態において、前記撮像素子を用いて撮像された明時画像データを記憶する明時画像データ記憶手段と、前記明時画像が撮像された撮像条件に対応する撮像条件で撮像された前記暗時画像を前記暗時画像データ記憶手段より抽出する暗時画像データ抽出手段と、前記暗時画像データ抽出手段により抽出された前記暗時画像データに基づいて、前記明時画像データを補正する補正手段と、を備えることにより、上記課題の解決を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察画像データの暗電流成分除去技術に関する。
【背景技術】
【０００２】
近年、主として静止画を撮像記録するために、電子スチルカメラが開発されている。この種のカメラに用いられる撮像素子には、各画素における原料の結晶品質や出力特性のバラツキに起因する固定パターンノイズ（暗ノイズ）が存在する。そのため、撮像素子の出力信号をそのまま用いると有効な信号成分にその暗ノイズが重畳し、撮像画像の画質劣化の原因となる。
【０００３】
このような暗ノイズを除去するために、ノイズリダクション機能を備えた電子スチルカメラがある。このノイズリダクション機能によると、画像撮像時において、まずシャッターを閉じた状態で撮像素子を露光し、これによって得られた暗出力をメモリに記録する。
【０００４】
続いて、シャッターが開いた状態で撮像素子を露光し、この露光によって得られる明時画像信号から上記メモリに記憶された暗出力を減算する。
この方法によると、同感度・同露光時間における暗ノイズはおよそ一定であることから、暗出力時に発生している暗ノイズを差分により相殺することになるため、効率よく暗ノイズを抑圧することが可能となる。
【０００５】
暗ノイズは電荷蓄積時間や感度により増大するため、長時間露光および高感度露光の際にはこの手法により大きな画質改善効果を得ることができる。したがって、電子スチルカメラ使用者にとってノイズリダクション処理は有益な機能となっている。
【０００６】
しかしながら、ノイズリダクション処理は暗出力取得時間が必要であることから、撮像直後に暗出力取得を行う手法では、暗出力取得処理時間により連続撮像が妨げられる。また、撮像直前に暗出力取得を行う手法では、暗出力取得処理によりシャッタータイムラグが発生し、シャッターチャンスを逃すなどの弊害がある。
【０００７】
そこで、特許文献１では、測光時に定めた露光時間より数段階長い暗出力データを直前に取得し、以降の処理に使用する手法が開示されている。これによれば、暗出力データ取得後にデータを流用することにより、以降のシャッタータイムラグの発生を抑制し、連続撮像が可能になる。
【０００８】
また、特許文献２では、撮像素子の露出時間と撮影の時間間隔の関係に応じて撮像素子から信号の読み出しを制御し、非遮光状態において撮像素子から出力される明時信号から遮光状態において撮像素子から出力される暗時信号を減算処理して暗時ノイズが抑圧された信号を得ることができる撮像装置が開示されている。これによれば、所定の時間間隔で繰り返し撮影するインターバル撮影時において、撮影間隔を満たしながら暗時ノイズが抑圧された良質な画像を取得できる。
【特許文献１】特開２００２−１３５６６１号公報
【特許文献２】特開２００５−１５９４４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の手法では暗ノイズ抑圧画像取得する際に、初回の撮像処理に対して、連続撮像の抑制・シャッタータイムラグなどの影響が及ぶ。また、初回の暗出力データ取得後においても、その後撮像感度を変更した場合や露光時間が大きく延びた場合において、再度暗出力データを取得する必要がある。
【００１０】
上記課題に鑑み、本発明では、あらゆる撮像条件において高速に暗ノイズ抑圧画像を取得することができる撮像装置を提供する。
【課題を解決するための手段】
【００１１】
本発明にかかる、撮像素子を遮光状態または非遮光状態にするシャッターを有する撮像装置は、複数の撮像条件を記憶する撮像条件記憶手段と、前記遮光状態において、前記撮像条件に基づいて、前記撮像素子を用いて撮像された複数の暗時画像データを記憶する暗時画像データ記憶手段と、前記非遮光状態において、前記撮像素子を用いて撮像された明時画像データを記憶する明時画像データ記憶手段と、前記明時画像が撮像された撮像条件に対応する撮像条件で撮像された前記暗時画像を前記暗時画像データ記憶手段より抽出する暗時画像データ抽出手段と、前記暗時画像データ抽出手段により抽出された前記暗時画像データに基づいて、前記明時画像データを補正する補正手段と、を備えることを特徴とする。
【００１２】
前記撮像装置において、前記撮像条件は、撮像感度及び露光時間のうち少なくともいずれかを含むことを特徴とする。
前記撮像装置において、前記撮像条件は、さらに、前記撮像時の周囲温度を含むことを特徴とする。
【００１３】
前記撮像装置は、さらに、前記暗時画像データ記憶手段に記憶された暗時画像データから、前記撮像条件記憶手段に記憶されている撮像条件に存在しない撮像条件及び該撮像条件に対応する暗時画像データを生成する暗時画像データ生成手段を備えることを特徴とする。
【００１４】
前記撮像装置において、前記暗時画像データ記憶手段に記憶される前記複数の暗時画像データは、該暗時画像データ相互間の差分画像データであることを特徴とする。
前記撮像装置は、さらに、前記撮像素子の露光時間を分割する露光時間分割手段と、前記分割された露光時間毎に前記撮像素子を用いて撮像されて前記補正手段により補正された画像データを積算する積算手段と、前記積算手段により前記画像データが積算される毎に該積算された画像データが表示される表示手段と、を備えることを特徴とする。
【００１５】
撮像素子を用いて撮像された画像データから暗電流成分を除去する暗電流成分キャンセル処理方法は、前記撮像素子を用いて撮像された所定の撮像条件ごとの暗時画像データを予め記憶し、前記撮像素子を用いて観察対象を撮像することにより明時画像データを取得し、前記予め記憶した前記撮像条件から、前記明時データが得られたときの撮像条件に対応する撮像条件で得られた前記暗時画像データを選択し、前記明時画像データから前記選択した暗時画像データを減算することを特徴とする。
【００１６】
前記暗電流成分キャンセル処理方法において、前記暗時画像データは、周囲温度に応じて複数セット予め記憶されており、前記撮像素子による観察対象の撮像が終了した時点での周囲温度を検知し、前記記憶された暗時画像データのうち前記検出された周囲温度の最も近い暗時画像データを選択することを特徴とする。
【発明の効果】
【００１７】
本発明を用いることにより、どのような撮像条件においても、連続撮像の抑制やシャッタータイムラグの発生が起こることなく、高速に暗ノイズ抑圧画像を取得することができる。
【発明を実施するための最良の形態】
【００１８】
本発明にかかる撮像素子を遮光状態または非遮光状態にするシャッターを有する撮像装置は、撮像条件記憶手段、暗時画像データ記憶手段、明時画像データ記憶手段、暗時画像データ抽出手段、補正手段を備える。
【００１９】
撮像条件記憶手段は、複数の撮像条件を記憶するものである。撮像条件記憶手段は、本発明の実施形態で言えば、暗出力取得設定情報記憶部２３に相当する。
暗時画像データ記憶手段は、前記遮光状態において、前記撮像条件に基づいて、前記撮像素子を用いて撮像された複数の暗時画像データを記憶するものである。暗時画像データ記憶手段は、本発明の実施形態で言えば、暗出力メモリ２１に相当する。
【００２０】
明時画像データ記憶手段は、前記非遮光状態において、前記撮像素子を用いて撮像された明時画像データを記憶するものである。明時画像データ記憶手段は、本発明の実施形態で言えば、キャッシュメモリ１６に相当する。
【００２１】
暗時画像データ抽出手段は、前記明時画像が撮像された撮像条件に対応する撮像条件で撮像された前記暗時画像を前記暗時画像データ記憶手段より抽出する。暗時画像データ抽出手段は、本発明の実施形態で言えば、暗出力抽出部２２に相当し、さらに、暗出力抽出条件記憶部２６も含んでもよい。
【００２２】
補正手段は、前記暗時画像データ抽出手段により抽出された前記暗時画像データに基づいて、前記明時画像データを補正する。補正手段は、本発明の実施形態で言えば、信号減算部１７に相当する。
【００２３】
このように構成することにより、どのような撮像条件においても、連続撮像の抑制やシャッタータイムラグの発生が起こることなく、高速に暗ノイズ抑圧画像を取得することができる。
【００２４】
前記撮像条件には、撮像感度及び露光時間のうち少なくともいずれかを含む。このように構成することにより、撮像感度と露光時間の組み合わせに基づく撮像条件を設定することができる。
【００２５】
前記撮像条件は、さらに、前記撮像時の周囲温度を含めてもよい。このように構成することにより、より高精度なノイズリダクション処理を行うことができる。
前記撮像装置は、さらに、暗時画像データ生成手段を備えてもよい。暗時画像データ生成手段は、前記暗時画像データ記憶手段に記憶された暗時画像データから、前記撮像条件記憶手段に記憶されている撮像条件に存在しない撮像条件及び該撮像条件に対応する暗時画像データを生成するものである。暗時画像データ生成手段は、本発明の実施形態で言えば、ＣＰＵ２０に相当する。
【００２６】
このように構成することにより、予め設定した暗時撮像条件下で撮像した暗時画像から、補間処理により、より詳細な撮像条件下の暗時画像を得ることができるので、さらに適切なノイズ抑制を行うことができる。
【００２７】
前記暗時画像データ記憶手段に記憶される前記複数の暗時画像データは、該暗時画像データ相互間の差分画像データであってもよい。このように構成することにより、画像保存に用いるメモリ領域を縮小することができる。
【００２８】
前記撮像装置は、さらに、露光時間分割手段、積算手段、表示手段を備えてもよい。露光時間分割手段は、前記撮像素子に対する露光時間を分割する。露光時間分割手段は、本発明の実施形態で言えば、露光時間分割部３０に相当する。
【００２９】
積算手段は、前記分割された露光時間毎に前記撮像素子を用いて撮像されて前記補正手段により補正された画像データを積算する。積算手段は、本発明の実施形態で言えば、信号積算部３１に相当する。
【００３０】
表示手段は、前記積算手段により前記画像データが積算される毎に該積算された画像データが表示される。表示手段は、本発明の実施形態で言えば、モニタ３２に相当する。
このように構成することにより、長時間撮像時において、撮像処理の途中経過を画面上で確認することができる。
【００３１】
それでは、以下に、本発明の実施形態について詳述する。
＜第１の実施形態＞
本実施形態では、予め設定した撮像条件で暗時画像を取得しておき、その撮像条件に基づいて取得した明時画像からその暗時画像を減算することにより、暗ノイズの除去した明時画像を取得する撮像装置について説明する。
【００３２】
（実施例１）
本実施例では、少なくとも所定露光時間毎の暗時撮像データを予め記憶し、その記憶された暗時撮像データを用いて観察画像撮像データの暗電流成分をキャンセルする処理を行う。
【００３３】
図１は、本実施形態における撮像装置の構成概念を示す。撮像装置は、光学系１１、シャッター１２、撮像素子１３、増幅器（ＡＭＰ）１４、Ａ／Ｄ変換器１５、キャッシュメモリ１６、信号減算部１７、画像メモリ１８、タイミングジェネレータ（ＴＧ）１９、ＣＰＵ（中央処理装置）２０、暗出力メモリ２１、暗出力抽出部２２、暗出力抽出条件記憶部２６、暗出力取得設定情報記憶部２３、暗出力取得設定部２４、記憶部２５から構成される。
【００３４】
光学系１１は、各種レンズから構成される。シャッター１２は、被写体からの光を選択的に遮光するためのものである。撮像素子１３は、受けた光を電子信号に変換する素子であり、その受光面には、光学系１１及びシャッター１２を介して被写体の像が結像される。
【００３５】
増幅器１４は、撮像素子１３から出力された信号に対して、撮像感度に応じて信号増幅をかけるものである。Ａ／Ｄ変換器１５は、アナログ信号をデジタル変換するものである。キャッシュメモリ１６は、撮像した画像信号を記憶するためのである。
【００３６】
暗出力メモリ２１は、露光時間・感度毎に取得された暗出力データを複数枚保存することができる。暗出力抽出条件記憶部２６には、暗出力抽出部２２が暗出力メモリ２１から適切な暗出力を抽出するための抽出条件が記憶されている。暗出力抽出部２２は、カメラの撮像設定条件に対応する暗出力抽出条件を暗出力抽出条件記憶部２６より取得し、その暗出力抽出条件に基づいてキャッシュメモリ１６に記憶された画像信号を抽出する。
【００３７】
暗出力取得設定部２４は、暗出力メモリ２１に記憶する暗出力データ群の撮像設定（露光時間・撮像感度）および撮像順序を設定するための入力部である。暗出力取得設定情報記憶部２３は、暗出力取得設定部２４により設定された暗出力取得設定情報（露光時間・撮像感度、および撮像順序）が記憶される。
【００３８】
信号減算部１７では、キャッシュメモリ１６に記憶された画像信号から暗出力抽出部２２より得られた暗出力データを減算する。信号減算部１７から出力された画像信号は、画像メモリ１８に記憶される。
【００３９】
タイミングジェネレータ１９は、シャッター１２及び撮像素子１３の駆動タイミングを制御する。タイミングジェネレータ１９による制御が行われることで、露光時間や遮光／非遮光を制御することが可能である。
【００４０】
記憶部２５は、システムを制御するためのプログラムが格納されているＲＯＭ（リードオンリーメモリ）や制御に必要なデータが格納され揮発性メモリであるＲＡＭ（ランダムアクセスメモリ）等である。ＣＰＵ３０１は、ＲＯＭに記憶されている予め設定されたプログラムを読み出して、撮像装置内の各構成要素を統括的に制御する。
【００４１】
図２は、本実施形態における暗出力取得設定情報の一例を示す。同図に示すように、暗出力取得設定情報記憶部２３には、暗出力取得設定部２４により撮像感度及び露光時間に応じて設定された撮像順序が暗出力取得設定情報として記憶される。
【００４２】
これにより、暗出力メモリ２１に記憶する暗出力データ群の撮像設定（露光時間・撮像感度）および撮像順序（図中１−１５）を決めることができる。
図３は、本実施形態における暗出力データ取得動作のフローを示す。なお、この一連の動作は、カメラ工場出荷時およびユーザーがカメラ使用前に行うカメラキャリブレーションである。本フローの全ての制御はＣＰＵ２０により統括的に行われる。
【００４３】
まず、ユーザーによりカメラキャリブレーション開始の指示がなされるとその指示信号がＣＰＵ２０に送信される（ステップ１。以下、ステップを「Ｓ」と称する）。そのキャリブレーション指示信号を受信すると、ＣＰＵ２０は、暗出力取得設定情報記憶部２３から暗出力データ群を取得するための撮像条件（露光時間・撮像感度）およびその撮像条件に対応する撮像順序情報を読み出す（Ｓ２）。
【００４４】
次に、ＣＰＵ２０は、Ｓ２で読み出した番号順で、露光時間・撮像感度を設定する（Ｓ３）。例えば、図２の番号「１」の撮像条件は、「露光時間：２ｓ、撮像感度：ＩＳＯ２００」であるから、この条件を設定する。
【００４５】
その後、ＣＰＵ２０は、シャッター１２を閉じた状態で、Ｓ３で設定した撮像条件で暗出力データを取得する（Ｓ４）。上記の例では、「露光時間：２ｓ、撮像感度：ＩＳＯ２００」の暗出力データが得られる。ＣＰＵ２０は、その取得した暗出力データ（暗時画像）を暗出力メモリ２１に保存する（Ｓ５）。
【００４６】
ＣＰＵ２０は、Ｓ２で読み取った全ての撮像条件についての暗出力データを取得するまで、Ｓ３〜Ｓ５の処理を繰り返す（Ｓ６）。図２の場合では、「露光時間：２ｓ、撮像感度：ＩＳＯ２００」（第１番目）、「露光時間：１０ｓ、撮像感度：ＩＳＯ２００」（第２番目）、・・・、「露光時間：１２０ｓ、撮像感度：ＩＳＯ８００」（第１５番目）のそれぞれの暗出力データが取得されるまで当該ループ処理がなされる。
【００４７】
暗出力取得設定情報記憶部２３に設定された全ての撮像条件についての暗出力データを取得した場合（Ｓ６で「Ｙｅｓ」へ進む）、ＣＰＵ２０は、カメラキャリブレーションを終了する（Ｓ７）。
【００４８】
図４は、本実施形態におけるノイズリダクション処理のフローを示す。まず、ユーザーにより撮像開始の指示がなされると、その撮像開始指示信号がＣＰＵ２０に送信される（Ｓ１１）。
【００４９】
その撮像開始指示信号を受信すると、ＣＰＵ２０は、ユーザーにより指定された撮像条件に沿って感度・露光時間設定を行い（Ｓ１２）、撮像する。ＣＰＵ２０は、その撮像した画像をキャッシュメモリ１６に保存する（Ｓ１３）。
【００５０】
このとき、ＣＰＵ２０は露光時間の判定を行う（Ｓ１４）。露光時間が０．１［ｓ］より短いときは（Ｓ１４で「Ｎｏ」へ進む）、ＣＰＵ２０は、暗ノイズが十分小さいものとしてノイズリダクション処理を行なわずに、そのまま画像を画像メモリ１８に保存する（Ｓ１７）。
【００５１】
一方、露光時間が０．１［ｓ］以上のときは（Ｓ１４で「Ｙｅｓ」へ進む）、ＣＰＵ２０は暗出力抽出部２２を制御し、暗出力抽出部２２は図５に従い暗出力メモリ２１から暗出力データを抽出する（Ｓ１５）。ここで、図５について説明する。
【００５２】
図５は、本実施形態における露光時間に応じて選択される暗出力データを決定する暗出力抽出条件テーブルの一例を示す。当該暗出力抽出条件テーブルは、暗出力抽出条件記憶部２６に格納されている。
【００５３】
暗出力抽出部２２は、暗出力抽出条件テーブルに基づいて、例えば、Ｓ１２で設定された露光時間が０．１〜０．６［ｓ］の範囲内であれば、暗出力メモリ２１からＳ１２で設定された撮像感度と同一の撮像感度で撮像された暗出力データ（暗時画像）であって、露光時間２［ｓ］の暗出力データ（暗時画像）を抽出する。それでは、図４のフローの説明に戻る。
【００５４】
その後、ＣＰＵ２０は信号減算部１７を制御し、信号減算部１７は、キャッシュメモリ１６に保存された信号データから、Ｓ１５で抽出した暗出力データを減算する（Ｓ１６）。その後、ＣＰＵ２０は、信号減算部１７により減算処理された結果のデータ（暗ノイズ抑圧画像信号）を、画像メモリ１８に保存する（Ｓ１７）。
【００５５】
このようにすることにより、いずれの撮像条件においても被写体の撮像前後において長時間の暗ノイズ抑圧処理時間を必要せず、適切にノイズリダクション処理を行うことが可能となる。従って、あらゆる撮像条件において、高速に暗ノイズ抑圧画像を取得することができる。
【００５６】
（実施例２）
実施例１では、ノイズリダクションの際、露光時間近傍の暗出力データを用いる手法で説明を行ったが、取得した暗出力データから露光時間に相当する暗出力データを計算導出する手法も可能である。その場合の手法の一例を、図６を用いて説明する。
【００５７】
図６は、本実施形態（実施例２）を説明するための図である。同図では、露光時間ｔｘで取得した暗出力データＤｘの特定画素ｘにおける暗出力値ｎｘを抽出する例について説明する。
【００５８】
同撮像感度で露光時間ｔ１、ｔ２（ｔ１＜ｔｘ＜ｔ２）で取得した２つの暗出力データＤ１、Ｄ２（図６（ａ）参照）の画素ｘの値をそれぞれｎ１、ｎ２とすると（図６（ｂ）参照）、暗出力値ｎｘはリニア補間により下記のように示される。
【００５９】
【数１】
【００６０】
この補間処理を全ての画素に行うことで、暗出力データＤｘを構築することができる。この処理により、任意の露光時間ｔｘの暗出力データＤｘを得ることができる。したがって、図２で設定された露光時間以外の露光時間で撮像されても、その実際に撮像した露光時間ｔｘに応じた暗出力データＤｘに基づいてノイズリダクション処理を行うことができるので、より高い精度で暗出力データを除去することができる。
【００６１】
（実施例３）
上記実施例では、暗出力抽出部２２は、露光時間に基づいて減算の基礎となる暗出力データを抽出したが、さらに、撮像感度を抽出のパラメータに加えてもよい。
【００６２】
図７は、本実施形態（実施例３）における露光時間及び撮像感度に応じて選択される暗出力データを決定する暗出力抽出条件テーブルの一例を示す。同図に示すように、露光時間および撮像感度に基づいて、暗出力データを決定するようにしてもよい。
【００６３】
なお、同図において、例えば、露光時間が０．１ｓ以下の場合、ＩＳＯ８００のみ本実施形態のリダクション処理を行い、ＩＳＯ２００とＩＳＯ４００とで本実施形態のリダクション処理を行わないように設定しているのは、撮像感度が高いほど暗ノイズが目立つからである。
【００６４】
（実施例４）
さらに、撮像条件のパラメータとして、露光時間及び撮像感度の他に、撮像素子の温度を追加してもよい。すなわち、図３のキャリブレーション処理において、撮像条件の１つのパラメータの１つに撮像素子の冷却温度があり、その冷却温度で取得された暗出力データが保存されていてもよい。
【００６５】
この場合、撮像装置は、撮像素子の温度を検出するための温度検知センサを有している。ＣＰＵ２０は、撮像素子１３による観察対象の撮像が終了した時点でのその温度を温度検知センサにより検知して、暗出力メモリ２１に記憶された暗出力データのうち撮像素子の冷却温度の最も近い暗出力データを抽出する。なお、撮像素子の冷却温度に限定されず、例えば撮像素子の周囲の温度でもよい。これにより、より高精度な暗ノイズのリダクション処理を行うことができる。
【００６６】
（実施例５）
また、暗出力メモリ２１に保存する複数枚の暗出力データは、画像相互間の差分を保存するようにしてもよいし、または画像圧縮により保存するようにしてもよい。これにより、保存データ縮小による省メモリ効果がある。
【００６７】
なお、本実施形態では、暗出力取得設定情報記憶部２３の設定内容は予め設定されているものとしたが、使用者が設定できる構成でもよい。また、キャリブレーション時において、同条件の暗出力データを複数枚取得し平均化してもよい。これにより、ランダムノイズの低減による画質向上効果がある。
【００６８】
＜第２の実施形態＞
本実施形態では、長時間の露光時間を所定間隔で分割し、分割したそれぞれの露光時間ごとに、第１の実施形態で述べた、明時画像から予め設定した撮像条件で取得した暗時画像を減算することにより、長時間露光時において、露光終了を待たず段階的にノイズ抑圧画像を表示する撮像装置について説明する。なお、第１の実施形態と同様の箇所については説明を省略する。
【００６９】
図８は、本実施形態における撮像装置の構成図である。図８は、図１の撮像装置の構成に、露光時間分割部３０、信号積算部３１、モニタ３２を追加したものである。
露光時間分割部３０は、特定の露光時間以上の場合において露光時間を分割して設定する。信号積算部３１は、信号減算部１７から送られてくるデータを次々に加算し、画像メモリ１８に適宜保存する。モニタ３２は、画像メモリ１８に保存された画像データを表示する。
【００７０】
図９は、本実施形態における露光時間分割手法を説明する図である。同図では、露光時間分割部３０により５秒ごとに分割した例を示す。例えば、露光時間が８秒の場合には、露光時間を５秒とその残りの３秒とに分割する。また、露光時間が２５秒の場合には、５秒ごとに分割する。
【００７１】
このように露光時間を分割し、分割したそれぞれの露光時間ごとにノイズリダクション処理をするメリットは、次のことがある。例えば、露光時間が３０秒の場合、３０秒の露光時間を経過した後に、第１の実施形態のノイズリダクション処理が実行されるため、その露光時間が経過するまでは画像がモニタ３２に表示されないことになる。そこで、露光時間を分割して、分割したそれぞれの露光時間について第１の実施形態のノイズリダクション処理を実行してモニタ３２に表示させるようにし、さらに、そのノイズリダクション処理後の画像データを適宜加算することで、徐々に画像がはっきりとモニタ３２に表示されるようになる。また、長時間の露光用の暗出力データを追加する必要がなく、図２の撮像順序設定テーブルに設定された既存の設定を有効に活用できるので、撮像順序設定テーブルの格納領域を拡張する必要がない。
【００７２】
図１０は、本実施形態におけるノイズリダクション処理のフローを示す。なお、予め、図３のキャリブレーション処理を行っているとする。
まず、ユーザーにより撮像開始の指示がなされるとその撮像開始指示信号がＣＰＵ２０に送信される（Ｓ２１）。その撮像開始指示信号を受信すると、ＣＰＵ２０は、ユーザーにより指定された撮像条件に沿って露光時間・感度を設定する（Ｓ２２）。ここで、ＣＰＵ２０は、露光時間の長さを判定する（Ｓ２３）。
【００７３】
Ｓ２３において、露光時間が５ｓ以下の場合（Ｓ２３で「Ｎｏ」へ進む）、通常と同様の処理にて画像取得を行い（Ｓ３０）、暗出力減算を行い（Ｓ３１）、画像保存を行う（Ｓ３２）。Ｓ３０〜Ｓ３２は、第１の実施形態における図４のＳ１３〜Ｓ１７の処理に相当する。以上で、撮像処理を終了する（Ｓ３３）。
【００７４】
Ｓ２３において、露光時間が５ｓ以上の場合（Ｓ２３で「Ｙｅｓ」へ進む）、ＣＰＵ２０は露光時間分割部３０を制御する。そうすると、露光時間分割部３０はその露光時間を５ｓ区切りに分けてＣＰＵ２０にカメラ制御信号を出力する（Ｓ２４）。
【００７５】
そうすると、ＣＰＵ２０の制御により、その分割後の露光時間により画像取得が行われ（Ｓ２５）、信号減算部１７により暗出力データの減算を行う（Ｓ２６。図４のＳ１５〜Ｓ１６の処理と同様である。）。その得られた暗ノイズ抑圧画像信号に対して信号積算部３１で加算を行う（Ｓ２７）。信号積算部３１では、分割された露光時間ごとに繰り返し取得される暗ノイズ抑圧画像信号を累積する。Ｓ２７で得られた加算信号は画像メモリ１８に保存され（Ｓ２８）、その加算信号は適宜モニタ３２に表示される。
【００７６】
その後、露光時間分割部３０により分割された露光時間に対して全て画像取得したか否かを判定する（Ｓ２９）。Ｓ２９にて、全ての処理が終了していない場合（Ｓ２９で「Ｎｏ」へ進む）、次の分割露光を開始して画像取得を行う（Ｓ２５）。以下、Ｓ２８まで同様であり、得られた加算信号は随時更新される。
【００７７】
例えば、露光時間が８秒の場合、露光時間分割部３０により５秒と３秒に分割されるので、Ｓ２５〜Ｓ２９のループ処理が２回発生する。このとき、１回目のループ処理では、露光時間５秒で撮像されてキャッシュメモリ１６に保存される（Ｓ２５）。そして、暗出力抽出部２２は暗出力メモリ２１から露光時間５秒の暗出力データを抽出する。信号減算部１７は、キャッシュメモリ１６に保存された撮像信号データから、暗出力メモリ２１より抽出した暗出力データを減算する（Ｓ２６）。信号減算部１７より出力された暗ノイズ抑圧画像信号は、信号積算部３１に入力される。初回のループ処理なので、信号積算部３１は暗ノイズ抑圧画像信号をそのまま画像メモリ１８に出力し、モニタ３２に画像が表示される。
【００７８】
２回目のループ処理では、露光時間３秒で撮像されてキャッシュメモリ１６に保存される（Ｓ２５）。そして、暗出力抽出部２２は暗出力メモリ２１から露光時間３秒の暗出力データを抽出する。信号減算部１７は、キャッシュメモリ１６に保存された撮像信号データから、暗出力メモリ２１より抽出した暗出力データを減算する（Ｓ２６）。信号減算部１７より出力された暗ノイズ抑圧画像信号は、信号積算部３１に入力される。２回目以降のループ処理なので、信号積算部３１は前回までに得られた暗ノイズ抑圧画像信号に今回得られた暗ノイズ抑圧画像信号を加算して画像メモリ１８に出力し、モニタ３２に画像が表示される。
【００７９】
Ｓ２９にて全ての処理を終了したと判定された場合（Ｓ２９で「Ｙｅｓ」へ進む）、撮像処理を終了する（Ｓ３３）。
本実施形態を用いることにより、長時間露光を行う際、暗ノイズ抑圧をしつつ、その長時間の露光時間における暗ノイズ抑圧の途中経過の暗ノイズ抑圧画像を表示することが可能となる。
【００８０】
なお、上記では、露光の途中経過表示に対し加算信号を表示する手法を用いて説明を行ったが、加算信号に補正ゲインをかけた画像を表示する手法でも良い。すなわち、全露光時間Ｔａに対して、露光時間Ｔｂまで撮像した場合、画像信号値に対してＴａ／Ｔｂ倍をすることにより、デジタルゲインをかけた画像を取得・表示することができる。
【００８１】
また、露光時間によって分割時間幅を定めてもよい。例えば、より長時間露光の場合においては長めに区切り、やや短時間露光の場合においては短く区切るなどの処理ができても良い。
【００８２】
また、上記の実施形態では、暗出力取得設定情報記憶部２３に暗出力取得設定情報を記憶させ、暗出力抽出条件記憶部２６に暗出力抽出条件を記憶させたが、これらは記憶部２５に記憶させてもよい。
【００８３】
本発明において説明したいずれの実施形態においても、その趣旨を逸脱しない限り種々の変形が可能である。
本発明によれば、どのような撮像条件においても、連続撮像の抑制やシャッタータイムラグの発生が起こることなく、高速に暗ノイズ抑圧画像を取得することができる。従って、広範な使用環境に対しノイズの少ない画像を高速に取得できる。
【００８４】
また、予め設定した暗時撮像条件下で撮像した暗時画像から、補間処理により、より詳細な撮像条件下の暗時画像を得ることができるので、さらに適切なノイズ抑制を行うことができる。これにより、よりクリアな画像を取得できる。
【００８５】
また、暗出力メモリに暗出力データの差分を格納することにより、画像保存に用いるメモリ領域を縮小することが可能となる。これにより、コスト化を実現した撮像装置を提供することができる。
【００８６】
また、露光時間を分割して、分割したそれぞれの露光時間についてノイズリダクション処理を行うことにより、長時間撮像時において、撮像処理の途中経過を画面上で確認することができる。従って、長時間露光時において露光終了まで撮像画像の確認ができないということはなくなり、表示速度の高速化を実現した撮像装置を提供することができる。
【図面の簡単な説明】
【００８７】
【図１】第１の実施形態（実施例１）における撮像装置の構成概念を示す。
【図２】第１の実施形態（実施例１）における暗出力取得設定情報の一例を示す。
【図３】第１の実施形態（実施例１）における暗出力データ取得動作のフローを示す。
【図４】第１の実施形態（実施例１）におけるノイズリダクション処理のフローを示す。
【図５】第１の実施形態（実施例１）における露光時間に応じて選択される暗出力データを決定する暗出力抽出条件テーブルの一例を示す。
【図６】第１の実施形態（実施例２）を説明するための図である。
【図７】第１の実施形態（実施例３）における露光時間及び撮像感度に応じて選択される暗出力データを決定する暗出力抽出条件テーブルの一例を示す。
【図８】第２の実施形態における撮像装置の構成図である。
【図９】第２の実施形態における露光時間分割手法を説明する図である。
【図１０】第２の実施形態におけるノイズリダクション処理のフローを示す。
【符号の説明】
【００８８】
１１ 光学系
１２ シャッター
１３ 撮像素子
１４ ＡＭＰ
１５ Ａ／Ｄ変換器
１６ キャッシュメモリ
１７ 信号減算部
１８ 画像メモリ
１９ タイミングジェネレータ
２０ ＣＰＵ
２１ 暗出力メモリ
２２ 暗出力抽出部
２３ 暗出力取得設定情報記憶部
２４ 暗出力取得設定部
２５ 記憶部
２６ 暗出力抽出条件記憶部
３０ 露光時間分割部
３１ 信号積算部
３２ モニタ
【技術分野】
【０００１】
本発明は、観察画像データの暗電流成分除去技術に関する。
【背景技術】
【０００２】
近年、主として静止画を撮像記録するために、電子スチルカメラが開発されている。この種のカメラに用いられる撮像素子には、各画素における原料の結晶品質や出力特性のバラツキに起因する固定パターンノイズ（暗ノイズ）が存在する。そのため、撮像素子の出力信号をそのまま用いると有効な信号成分にその暗ノイズが重畳し、撮像画像の画質劣化の原因となる。
【０００３】
このような暗ノイズを除去するために、ノイズリダクション機能を備えた電子スチルカメラがある。このノイズリダクション機能によると、画像撮像時において、まずシャッターを閉じた状態で撮像素子を露光し、これによって得られた暗出力をメモリに記録する。
【０００４】
続いて、シャッターが開いた状態で撮像素子を露光し、この露光によって得られる明時画像信号から上記メモリに記憶された暗出力を減算する。
この方法によると、同感度・同露光時間における暗ノイズはおよそ一定であることから、暗出力時に発生している暗ノイズを差分により相殺することになるため、効率よく暗ノイズを抑圧することが可能となる。
【０００５】
暗ノイズは電荷蓄積時間や感度により増大するため、長時間露光および高感度露光の際にはこの手法により大きな画質改善効果を得ることができる。したがって、電子スチルカメラ使用者にとってノイズリダクション処理は有益な機能となっている。
【０００６】
しかしながら、ノイズリダクション処理は暗出力取得時間が必要であることから、撮像直後に暗出力取得を行う手法では、暗出力取得処理時間により連続撮像が妨げられる。また、撮像直前に暗出力取得を行う手法では、暗出力取得処理によりシャッタータイムラグが発生し、シャッターチャンスを逃すなどの弊害がある。
【０００７】
そこで、特許文献１では、測光時に定めた露光時間より数段階長い暗出力データを直前に取得し、以降の処理に使用する手法が開示されている。これによれば、暗出力データ取得後にデータを流用することにより、以降のシャッタータイムラグの発生を抑制し、連続撮像が可能になる。
【０００８】
また、特許文献２では、撮像素子の露出時間と撮影の時間間隔の関係に応じて撮像素子から信号の読み出しを制御し、非遮光状態において撮像素子から出力される明時信号から遮光状態において撮像素子から出力される暗時信号を減算処理して暗時ノイズが抑圧された信号を得ることができる撮像装置が開示されている。これによれば、所定の時間間隔で繰り返し撮影するインターバル撮影時において、撮影間隔を満たしながら暗時ノイズが抑圧された良質な画像を取得できる。
【特許文献１】特開２００２−１３５６６１号公報
【特許文献２】特開２００５−１５９４４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の手法では暗ノイズ抑圧画像取得する際に、初回の撮像処理に対して、連続撮像の抑制・シャッタータイムラグなどの影響が及ぶ。また、初回の暗出力データ取得後においても、その後撮像感度を変更した場合や露光時間が大きく延びた場合において、再度暗出力データを取得する必要がある。
【００１０】
上記課題に鑑み、本発明では、あらゆる撮像条件において高速に暗ノイズ抑圧画像を取得することができる撮像装置を提供する。
【課題を解決するための手段】
【００１１】
本発明にかかる、撮像素子を遮光状態または非遮光状態にするシャッターを有する撮像装置は、複数の撮像条件を記憶する撮像条件記憶手段と、前記遮光状態において、前記撮像条件に基づいて、前記撮像素子を用いて撮像された複数の暗時画像データを記憶する暗時画像データ記憶手段と、前記非遮光状態において、前記撮像素子を用いて撮像された明時画像データを記憶する明時画像データ記憶手段と、前記明時画像が撮像された撮像条件に対応する撮像条件で撮像された前記暗時画像を前記暗時画像データ記憶手段より抽出する暗時画像データ抽出手段と、前記暗時画像データ抽出手段により抽出された前記暗時画像データに基づいて、前記明時画像データを補正する補正手段と、を備えることを特徴とする。
【００１２】
前記撮像装置において、前記撮像条件は、撮像感度及び露光時間のうち少なくともいずれかを含むことを特徴とする。
前記撮像装置において、前記撮像条件は、さらに、前記撮像時の周囲温度を含むことを特徴とする。
【００１３】
前記撮像装置は、さらに、前記暗時画像データ記憶手段に記憶された暗時画像データから、前記撮像条件記憶手段に記憶されている撮像条件に存在しない撮像条件及び該撮像条件に対応する暗時画像データを生成する暗時画像データ生成手段を備えることを特徴とする。
【００１４】
前記撮像装置において、前記暗時画像データ記憶手段に記憶される前記複数の暗時画像データは、該暗時画像データ相互間の差分画像データであることを特徴とする。
前記撮像装置は、さらに、前記撮像素子の露光時間を分割する露光時間分割手段と、前記分割された露光時間毎に前記撮像素子を用いて撮像されて前記補正手段により補正された画像データを積算する積算手段と、前記積算手段により前記画像データが積算される毎に該積算された画像データが表示される表示手段と、を備えることを特徴とする。
【００１５】
撮像素子を用いて撮像された画像データから暗電流成分を除去する暗電流成分キャンセル処理方法は、前記撮像素子を用いて撮像された所定の撮像条件ごとの暗時画像データを予め記憶し、前記撮像素子を用いて観察対象を撮像することにより明時画像データを取得し、前記予め記憶した前記撮像条件から、前記明時データが得られたときの撮像条件に対応する撮像条件で得られた前記暗時画像データを選択し、前記明時画像データから前記選択した暗時画像データを減算することを特徴とする。
【００１６】
前記暗電流成分キャンセル処理方法において、前記暗時画像データは、周囲温度に応じて複数セット予め記憶されており、前記撮像素子による観察対象の撮像が終了した時点での周囲温度を検知し、前記記憶された暗時画像データのうち前記検出された周囲温度の最も近い暗時画像データを選択することを特徴とする。
【発明の効果】
【００１７】
本発明を用いることにより、どのような撮像条件においても、連続撮像の抑制やシャッタータイムラグの発生が起こることなく、高速に暗ノイズ抑圧画像を取得することができる。
【発明を実施するための最良の形態】
【００１８】
本発明にかかる撮像素子を遮光状態または非遮光状態にするシャッターを有する撮像装置は、撮像条件記憶手段、暗時画像データ記憶手段、明時画像データ記憶手段、暗時画像データ抽出手段、補正手段を備える。
【００１９】
撮像条件記憶手段は、複数の撮像条件を記憶するものである。撮像条件記憶手段は、本発明の実施形態で言えば、暗出力取得設定情報記憶部２３に相当する。
暗時画像データ記憶手段は、前記遮光状態において、前記撮像条件に基づいて、前記撮像素子を用いて撮像された複数の暗時画像データを記憶するものである。暗時画像データ記憶手段は、本発明の実施形態で言えば、暗出力メモリ２１に相当する。
【００２０】
明時画像データ記憶手段は、前記非遮光状態において、前記撮像素子を用いて撮像された明時画像データを記憶するものである。明時画像データ記憶手段は、本発明の実施形態で言えば、キャッシュメモリ１６に相当する。
【００２１】
暗時画像データ抽出手段は、前記明時画像が撮像された撮像条件に対応する撮像条件で撮像された前記暗時画像を前記暗時画像データ記憶手段より抽出する。暗時画像データ抽出手段は、本発明の実施形態で言えば、暗出力抽出部２２に相当し、さらに、暗出力抽出条件記憶部２６も含んでもよい。
【００２２】
補正手段は、前記暗時画像データ抽出手段により抽出された前記暗時画像データに基づいて、前記明時画像データを補正する。補正手段は、本発明の実施形態で言えば、信号減算部１７に相当する。
【００２３】
このように構成することにより、どのような撮像条件においても、連続撮像の抑制やシャッタータイムラグの発生が起こることなく、高速に暗ノイズ抑圧画像を取得することができる。
【００２４】
前記撮像条件には、撮像感度及び露光時間のうち少なくともいずれかを含む。このように構成することにより、撮像感度と露光時間の組み合わせに基づく撮像条件を設定することができる。
【００２５】
前記撮像条件は、さらに、前記撮像時の周囲温度を含めてもよい。このように構成することにより、より高精度なノイズリダクション処理を行うことができる。
前記撮像装置は、さらに、暗時画像データ生成手段を備えてもよい。暗時画像データ生成手段は、前記暗時画像データ記憶手段に記憶された暗時画像データから、前記撮像条件記憶手段に記憶されている撮像条件に存在しない撮像条件及び該撮像条件に対応する暗時画像データを生成するものである。暗時画像データ生成手段は、本発明の実施形態で言えば、ＣＰＵ２０に相当する。
【００２６】
このように構成することにより、予め設定した暗時撮像条件下で撮像した暗時画像から、補間処理により、より詳細な撮像条件下の暗時画像を得ることができるので、さらに適切なノイズ抑制を行うことができる。
【００２７】
前記暗時画像データ記憶手段に記憶される前記複数の暗時画像データは、該暗時画像データ相互間の差分画像データであってもよい。このように構成することにより、画像保存に用いるメモリ領域を縮小することができる。
【００２８】
前記撮像装置は、さらに、露光時間分割手段、積算手段、表示手段を備えてもよい。露光時間分割手段は、前記撮像素子に対する露光時間を分割する。露光時間分割手段は、本発明の実施形態で言えば、露光時間分割部３０に相当する。
【００２９】
積算手段は、前記分割された露光時間毎に前記撮像素子を用いて撮像されて前記補正手段により補正された画像データを積算する。積算手段は、本発明の実施形態で言えば、信号積算部３１に相当する。
【００３０】
表示手段は、前記積算手段により前記画像データが積算される毎に該積算された画像データが表示される。表示手段は、本発明の実施形態で言えば、モニタ３２に相当する。
このように構成することにより、長時間撮像時において、撮像処理の途中経過を画面上で確認することができる。
【００３１】
それでは、以下に、本発明の実施形態について詳述する。
＜第１の実施形態＞
本実施形態では、予め設定した撮像条件で暗時画像を取得しておき、その撮像条件に基づいて取得した明時画像からその暗時画像を減算することにより、暗ノイズの除去した明時画像を取得する撮像装置について説明する。
【００３２】
（実施例１）
本実施例では、少なくとも所定露光時間毎の暗時撮像データを予め記憶し、その記憶された暗時撮像データを用いて観察画像撮像データの暗電流成分をキャンセルする処理を行う。
【００３３】
図１は、本実施形態における撮像装置の構成概念を示す。撮像装置は、光学系１１、シャッター１２、撮像素子１３、増幅器（ＡＭＰ）１４、Ａ／Ｄ変換器１５、キャッシュメモリ１６、信号減算部１７、画像メモリ１８、タイミングジェネレータ（ＴＧ）１９、ＣＰＵ（中央処理装置）２０、暗出力メモリ２１、暗出力抽出部２２、暗出力抽出条件記憶部２６、暗出力取得設定情報記憶部２３、暗出力取得設定部２４、記憶部２５から構成される。
【００３４】
光学系１１は、各種レンズから構成される。シャッター１２は、被写体からの光を選択的に遮光するためのものである。撮像素子１３は、受けた光を電子信号に変換する素子であり、その受光面には、光学系１１及びシャッター１２を介して被写体の像が結像される。
【００３５】
増幅器１４は、撮像素子１３から出力された信号に対して、撮像感度に応じて信号増幅をかけるものである。Ａ／Ｄ変換器１５は、アナログ信号をデジタル変換するものである。キャッシュメモリ１６は、撮像した画像信号を記憶するためのである。
【００３６】
暗出力メモリ２１は、露光時間・感度毎に取得された暗出力データを複数枚保存することができる。暗出力抽出条件記憶部２６には、暗出力抽出部２２が暗出力メモリ２１から適切な暗出力を抽出するための抽出条件が記憶されている。暗出力抽出部２２は、カメラの撮像設定条件に対応する暗出力抽出条件を暗出力抽出条件記憶部２６より取得し、その暗出力抽出条件に基づいてキャッシュメモリ１６に記憶された画像信号を抽出する。
【００３７】
暗出力取得設定部２４は、暗出力メモリ２１に記憶する暗出力データ群の撮像設定（露光時間・撮像感度）および撮像順序を設定するための入力部である。暗出力取得設定情報記憶部２３は、暗出力取得設定部２４により設定された暗出力取得設定情報（露光時間・撮像感度、および撮像順序）が記憶される。
【００３８】
信号減算部１７では、キャッシュメモリ１６に記憶された画像信号から暗出力抽出部２２より得られた暗出力データを減算する。信号減算部１７から出力された画像信号は、画像メモリ１８に記憶される。
【００３９】
タイミングジェネレータ１９は、シャッター１２及び撮像素子１３の駆動タイミングを制御する。タイミングジェネレータ１９による制御が行われることで、露光時間や遮光／非遮光を制御することが可能である。
【００４０】
記憶部２５は、システムを制御するためのプログラムが格納されているＲＯＭ（リードオンリーメモリ）や制御に必要なデータが格納され揮発性メモリであるＲＡＭ（ランダムアクセスメモリ）等である。ＣＰＵ３０１は、ＲＯＭに記憶されている予め設定されたプログラムを読み出して、撮像装置内の各構成要素を統括的に制御する。
【００４１】
図２は、本実施形態における暗出力取得設定情報の一例を示す。同図に示すように、暗出力取得設定情報記憶部２３には、暗出力取得設定部２４により撮像感度及び露光時間に応じて設定された撮像順序が暗出力取得設定情報として記憶される。
【００４２】
これにより、暗出力メモリ２１に記憶する暗出力データ群の撮像設定（露光時間・撮像感度）および撮像順序（図中１−１５）を決めることができる。
図３は、本実施形態における暗出力データ取得動作のフローを示す。なお、この一連の動作は、カメラ工場出荷時およびユーザーがカメラ使用前に行うカメラキャリブレーションである。本フローの全ての制御はＣＰＵ２０により統括的に行われる。
【００４３】
まず、ユーザーによりカメラキャリブレーション開始の指示がなされるとその指示信号がＣＰＵ２０に送信される（ステップ１。以下、ステップを「Ｓ」と称する）。そのキャリブレーション指示信号を受信すると、ＣＰＵ２０は、暗出力取得設定情報記憶部２３から暗出力データ群を取得するための撮像条件（露光時間・撮像感度）およびその撮像条件に対応する撮像順序情報を読み出す（Ｓ２）。
【００４４】
次に、ＣＰＵ２０は、Ｓ２で読み出した番号順で、露光時間・撮像感度を設定する（Ｓ３）。例えば、図２の番号「１」の撮像条件は、「露光時間：２ｓ、撮像感度：ＩＳＯ２００」であるから、この条件を設定する。
【００４５】
その後、ＣＰＵ２０は、シャッター１２を閉じた状態で、Ｓ３で設定した撮像条件で暗出力データを取得する（Ｓ４）。上記の例では、「露光時間：２ｓ、撮像感度：ＩＳＯ２００」の暗出力データが得られる。ＣＰＵ２０は、その取得した暗出力データ（暗時画像）を暗出力メモリ２１に保存する（Ｓ５）。
【００４６】
ＣＰＵ２０は、Ｓ２で読み取った全ての撮像条件についての暗出力データを取得するまで、Ｓ３〜Ｓ５の処理を繰り返す（Ｓ６）。図２の場合では、「露光時間：２ｓ、撮像感度：ＩＳＯ２００」（第１番目）、「露光時間：１０ｓ、撮像感度：ＩＳＯ２００」（第２番目）、・・・、「露光時間：１２０ｓ、撮像感度：ＩＳＯ８００」（第１５番目）のそれぞれの暗出力データが取得されるまで当該ループ処理がなされる。
【００４７】
暗出力取得設定情報記憶部２３に設定された全ての撮像条件についての暗出力データを取得した場合（Ｓ６で「Ｙｅｓ」へ進む）、ＣＰＵ２０は、カメラキャリブレーションを終了する（Ｓ７）。
【００４８】
図４は、本実施形態におけるノイズリダクション処理のフローを示す。まず、ユーザーにより撮像開始の指示がなされると、その撮像開始指示信号がＣＰＵ２０に送信される（Ｓ１１）。
【００４９】
その撮像開始指示信号を受信すると、ＣＰＵ２０は、ユーザーにより指定された撮像条件に沿って感度・露光時間設定を行い（Ｓ１２）、撮像する。ＣＰＵ２０は、その撮像した画像をキャッシュメモリ１６に保存する（Ｓ１３）。
【００５０】
このとき、ＣＰＵ２０は露光時間の判定を行う（Ｓ１４）。露光時間が０．１［ｓ］より短いときは（Ｓ１４で「Ｎｏ」へ進む）、ＣＰＵ２０は、暗ノイズが十分小さいものとしてノイズリダクション処理を行なわずに、そのまま画像を画像メモリ１８に保存する（Ｓ１７）。
【００５１】
一方、露光時間が０．１［ｓ］以上のときは（Ｓ１４で「Ｙｅｓ」へ進む）、ＣＰＵ２０は暗出力抽出部２２を制御し、暗出力抽出部２２は図５に従い暗出力メモリ２１から暗出力データを抽出する（Ｓ１５）。ここで、図５について説明する。
【００５２】
図５は、本実施形態における露光時間に応じて選択される暗出力データを決定する暗出力抽出条件テーブルの一例を示す。当該暗出力抽出条件テーブルは、暗出力抽出条件記憶部２６に格納されている。
【００５３】
暗出力抽出部２２は、暗出力抽出条件テーブルに基づいて、例えば、Ｓ１２で設定された露光時間が０．１〜０．６［ｓ］の範囲内であれば、暗出力メモリ２１からＳ１２で設定された撮像感度と同一の撮像感度で撮像された暗出力データ（暗時画像）であって、露光時間２［ｓ］の暗出力データ（暗時画像）を抽出する。それでは、図４のフローの説明に戻る。
【００５４】
その後、ＣＰＵ２０は信号減算部１７を制御し、信号減算部１７は、キャッシュメモリ１６に保存された信号データから、Ｓ１５で抽出した暗出力データを減算する（Ｓ１６）。その後、ＣＰＵ２０は、信号減算部１７により減算処理された結果のデータ（暗ノイズ抑圧画像信号）を、画像メモリ１８に保存する（Ｓ１７）。
【００５５】
このようにすることにより、いずれの撮像条件においても被写体の撮像前後において長時間の暗ノイズ抑圧処理時間を必要せず、適切にノイズリダクション処理を行うことが可能となる。従って、あらゆる撮像条件において、高速に暗ノイズ抑圧画像を取得することができる。
【００５６】
（実施例２）
実施例１では、ノイズリダクションの際、露光時間近傍の暗出力データを用いる手法で説明を行ったが、取得した暗出力データから露光時間に相当する暗出力データを計算導出する手法も可能である。その場合の手法の一例を、図６を用いて説明する。
【００５７】
図６は、本実施形態（実施例２）を説明するための図である。同図では、露光時間ｔｘで取得した暗出力データＤｘの特定画素ｘにおける暗出力値ｎｘを抽出する例について説明する。
【００５８】
同撮像感度で露光時間ｔ１、ｔ２（ｔ１＜ｔｘ＜ｔ２）で取得した２つの暗出力データＤ１、Ｄ２（図６（ａ）参照）の画素ｘの値をそれぞれｎ１、ｎ２とすると（図６（ｂ）参照）、暗出力値ｎｘはリニア補間により下記のように示される。
【００５９】
【数１】
【００６０】
この補間処理を全ての画素に行うことで、暗出力データＤｘを構築することができる。この処理により、任意の露光時間ｔｘの暗出力データＤｘを得ることができる。したがって、図２で設定された露光時間以外の露光時間で撮像されても、その実際に撮像した露光時間ｔｘに応じた暗出力データＤｘに基づいてノイズリダクション処理を行うことができるので、より高い精度で暗出力データを除去することができる。
【００６１】
（実施例３）
上記実施例では、暗出力抽出部２２は、露光時間に基づいて減算の基礎となる暗出力データを抽出したが、さらに、撮像感度を抽出のパラメータに加えてもよい。
【００６２】
図７は、本実施形態（実施例３）における露光時間及び撮像感度に応じて選択される暗出力データを決定する暗出力抽出条件テーブルの一例を示す。同図に示すように、露光時間および撮像感度に基づいて、暗出力データを決定するようにしてもよい。
【００６３】
なお、同図において、例えば、露光時間が０．１ｓ以下の場合、ＩＳＯ８００のみ本実施形態のリダクション処理を行い、ＩＳＯ２００とＩＳＯ４００とで本実施形態のリダクション処理を行わないように設定しているのは、撮像感度が高いほど暗ノイズが目立つからである。
【００６４】
（実施例４）
さらに、撮像条件のパラメータとして、露光時間及び撮像感度の他に、撮像素子の温度を追加してもよい。すなわち、図３のキャリブレーション処理において、撮像条件の１つのパラメータの１つに撮像素子の冷却温度があり、その冷却温度で取得された暗出力データが保存されていてもよい。
【００６５】
この場合、撮像装置は、撮像素子の温度を検出するための温度検知センサを有している。ＣＰＵ２０は、撮像素子１３による観察対象の撮像が終了した時点でのその温度を温度検知センサにより検知して、暗出力メモリ２１に記憶された暗出力データのうち撮像素子の冷却温度の最も近い暗出力データを抽出する。なお、撮像素子の冷却温度に限定されず、例えば撮像素子の周囲の温度でもよい。これにより、より高精度な暗ノイズのリダクション処理を行うことができる。
【００６６】
（実施例５）
また、暗出力メモリ２１に保存する複数枚の暗出力データは、画像相互間の差分を保存するようにしてもよいし、または画像圧縮により保存するようにしてもよい。これにより、保存データ縮小による省メモリ効果がある。
【００６７】
なお、本実施形態では、暗出力取得設定情報記憶部２３の設定内容は予め設定されているものとしたが、使用者が設定できる構成でもよい。また、キャリブレーション時において、同条件の暗出力データを複数枚取得し平均化してもよい。これにより、ランダムノイズの低減による画質向上効果がある。
【００６８】
＜第２の実施形態＞
本実施形態では、長時間の露光時間を所定間隔で分割し、分割したそれぞれの露光時間ごとに、第１の実施形態で述べた、明時画像から予め設定した撮像条件で取得した暗時画像を減算することにより、長時間露光時において、露光終了を待たず段階的にノイズ抑圧画像を表示する撮像装置について説明する。なお、第１の実施形態と同様の箇所については説明を省略する。
【００６９】
図８は、本実施形態における撮像装置の構成図である。図８は、図１の撮像装置の構成に、露光時間分割部３０、信号積算部３１、モニタ３２を追加したものである。
露光時間分割部３０は、特定の露光時間以上の場合において露光時間を分割して設定する。信号積算部３１は、信号減算部１７から送られてくるデータを次々に加算し、画像メモリ１８に適宜保存する。モニタ３２は、画像メモリ１８に保存された画像データを表示する。
【００７０】
図９は、本実施形態における露光時間分割手法を説明する図である。同図では、露光時間分割部３０により５秒ごとに分割した例を示す。例えば、露光時間が８秒の場合には、露光時間を５秒とその残りの３秒とに分割する。また、露光時間が２５秒の場合には、５秒ごとに分割する。
【００７１】
このように露光時間を分割し、分割したそれぞれの露光時間ごとにノイズリダクション処理をするメリットは、次のことがある。例えば、露光時間が３０秒の場合、３０秒の露光時間を経過した後に、第１の実施形態のノイズリダクション処理が実行されるため、その露光時間が経過するまでは画像がモニタ３２に表示されないことになる。そこで、露光時間を分割して、分割したそれぞれの露光時間について第１の実施形態のノイズリダクション処理を実行してモニタ３２に表示させるようにし、さらに、そのノイズリダクション処理後の画像データを適宜加算することで、徐々に画像がはっきりとモニタ３２に表示されるようになる。また、長時間の露光用の暗出力データを追加する必要がなく、図２の撮像順序設定テーブルに設定された既存の設定を有効に活用できるので、撮像順序設定テーブルの格納領域を拡張する必要がない。
【００７２】
図１０は、本実施形態におけるノイズリダクション処理のフローを示す。なお、予め、図３のキャリブレーション処理を行っているとする。
まず、ユーザーにより撮像開始の指示がなされるとその撮像開始指示信号がＣＰＵ２０に送信される（Ｓ２１）。その撮像開始指示信号を受信すると、ＣＰＵ２０は、ユーザーにより指定された撮像条件に沿って露光時間・感度を設定する（Ｓ２２）。ここで、ＣＰＵ２０は、露光時間の長さを判定する（Ｓ２３）。
【００７３】
Ｓ２３において、露光時間が５ｓ以下の場合（Ｓ２３で「Ｎｏ」へ進む）、通常と同様の処理にて画像取得を行い（Ｓ３０）、暗出力減算を行い（Ｓ３１）、画像保存を行う（Ｓ３２）。Ｓ３０〜Ｓ３２は、第１の実施形態における図４のＳ１３〜Ｓ１７の処理に相当する。以上で、撮像処理を終了する（Ｓ３３）。
【００７４】
Ｓ２３において、露光時間が５ｓ以上の場合（Ｓ２３で「Ｙｅｓ」へ進む）、ＣＰＵ２０は露光時間分割部３０を制御する。そうすると、露光時間分割部３０はその露光時間を５ｓ区切りに分けてＣＰＵ２０にカメラ制御信号を出力する（Ｓ２４）。
【００７５】
そうすると、ＣＰＵ２０の制御により、その分割後の露光時間により画像取得が行われ（Ｓ２５）、信号減算部１７により暗出力データの減算を行う（Ｓ２６。図４のＳ１５〜Ｓ１６の処理と同様である。）。その得られた暗ノイズ抑圧画像信号に対して信号積算部３１で加算を行う（Ｓ２７）。信号積算部３１では、分割された露光時間ごとに繰り返し取得される暗ノイズ抑圧画像信号を累積する。Ｓ２７で得られた加算信号は画像メモリ１８に保存され（Ｓ２８）、その加算信号は適宜モニタ３２に表示される。
【００７６】
その後、露光時間分割部３０により分割された露光時間に対して全て画像取得したか否かを判定する（Ｓ２９）。Ｓ２９にて、全ての処理が終了していない場合（Ｓ２９で「Ｎｏ」へ進む）、次の分割露光を開始して画像取得を行う（Ｓ２５）。以下、Ｓ２８まで同様であり、得られた加算信号は随時更新される。
【００７７】
例えば、露光時間が８秒の場合、露光時間分割部３０により５秒と３秒に分割されるので、Ｓ２５〜Ｓ２９のループ処理が２回発生する。このとき、１回目のループ処理では、露光時間５秒で撮像されてキャッシュメモリ１６に保存される（Ｓ２５）。そして、暗出力抽出部２２は暗出力メモリ２１から露光時間５秒の暗出力データを抽出する。信号減算部１７は、キャッシュメモリ１６に保存された撮像信号データから、暗出力メモリ２１より抽出した暗出力データを減算する（Ｓ２６）。信号減算部１７より出力された暗ノイズ抑圧画像信号は、信号積算部３１に入力される。初回のループ処理なので、信号積算部３１は暗ノイズ抑圧画像信号をそのまま画像メモリ１８に出力し、モニタ３２に画像が表示される。
【００７８】
２回目のループ処理では、露光時間３秒で撮像されてキャッシュメモリ１６に保存される（Ｓ２５）。そして、暗出力抽出部２２は暗出力メモリ２１から露光時間３秒の暗出力データを抽出する。信号減算部１７は、キャッシュメモリ１６に保存された撮像信号データから、暗出力メモリ２１より抽出した暗出力データを減算する（Ｓ２６）。信号減算部１７より出力された暗ノイズ抑圧画像信号は、信号積算部３１に入力される。２回目以降のループ処理なので、信号積算部３１は前回までに得られた暗ノイズ抑圧画像信号に今回得られた暗ノイズ抑圧画像信号を加算して画像メモリ１８に出力し、モニタ３２に画像が表示される。
【００７９】
Ｓ２９にて全ての処理を終了したと判定された場合（Ｓ２９で「Ｙｅｓ」へ進む）、撮像処理を終了する（Ｓ３３）。
本実施形態を用いることにより、長時間露光を行う際、暗ノイズ抑圧をしつつ、その長時間の露光時間における暗ノイズ抑圧の途中経過の暗ノイズ抑圧画像を表示することが可能となる。
【００８０】
なお、上記では、露光の途中経過表示に対し加算信号を表示する手法を用いて説明を行ったが、加算信号に補正ゲインをかけた画像を表示する手法でも良い。すなわち、全露光時間Ｔａに対して、露光時間Ｔｂまで撮像した場合、画像信号値に対してＴａ／Ｔｂ倍をすることにより、デジタルゲインをかけた画像を取得・表示することができる。
【００８１】
また、露光時間によって分割時間幅を定めてもよい。例えば、より長時間露光の場合においては長めに区切り、やや短時間露光の場合においては短く区切るなどの処理ができても良い。
【００８２】
また、上記の実施形態では、暗出力取得設定情報記憶部２３に暗出力取得設定情報を記憶させ、暗出力抽出条件記憶部２６に暗出力抽出条件を記憶させたが、これらは記憶部２５に記憶させてもよい。
【００８３】
本発明において説明したいずれの実施形態においても、その趣旨を逸脱しない限り種々の変形が可能である。
本発明によれば、どのような撮像条件においても、連続撮像の抑制やシャッタータイムラグの発生が起こることなく、高速に暗ノイズ抑圧画像を取得することができる。従って、広範な使用環境に対しノイズの少ない画像を高速に取得できる。
【００８４】
また、予め設定した暗時撮像条件下で撮像した暗時画像から、補間処理により、より詳細な撮像条件下の暗時画像を得ることができるので、さらに適切なノイズ抑制を行うことができる。これにより、よりクリアな画像を取得できる。
【００８５】
また、暗出力メモリに暗出力データの差分を格納することにより、画像保存に用いるメモリ領域を縮小することが可能となる。これにより、コスト化を実現した撮像装置を提供することができる。
【００８６】
また、露光時間を分割して、分割したそれぞれの露光時間についてノイズリダクション処理を行うことにより、長時間撮像時において、撮像処理の途中経過を画面上で確認することができる。従って、長時間露光時において露光終了まで撮像画像の確認ができないということはなくなり、表示速度の高速化を実現した撮像装置を提供することができる。
【図面の簡単な説明】
【００８７】
【図１】第１の実施形態（実施例１）における撮像装置の構成概念を示す。
【図２】第１の実施形態（実施例１）における暗出力取得設定情報の一例を示す。
【図３】第１の実施形態（実施例１）における暗出力データ取得動作のフローを示す。
【図４】第１の実施形態（実施例１）におけるノイズリダクション処理のフローを示す。
【図５】第１の実施形態（実施例１）における露光時間に応じて選択される暗出力データを決定する暗出力抽出条件テーブルの一例を示す。
【図６】第１の実施形態（実施例２）を説明するための図である。
【図７】第１の実施形態（実施例３）における露光時間及び撮像感度に応じて選択される暗出力データを決定する暗出力抽出条件テーブルの一例を示す。
【図８】第２の実施形態における撮像装置の構成図である。
【図９】第２の実施形態における露光時間分割手法を説明する図である。
【図１０】第２の実施形態におけるノイズリダクション処理のフローを示す。
【符号の説明】
【００８８】
１１ 光学系
１２ シャッター
１３ 撮像素子
１４ ＡＭＰ
１５ Ａ／Ｄ変換器
１６ キャッシュメモリ
１７ 信号減算部
１８ 画像メモリ
１９ タイミングジェネレータ
２０ ＣＰＵ
２１ 暗出力メモリ
２２ 暗出力抽出部
２３ 暗出力取得設定情報記憶部
２４ 暗出力取得設定部
２５ 記憶部
２６ 暗出力抽出条件記憶部
３０ 露光時間分割部
３１ 信号積算部
３２ モニタ
【特許請求の範囲】
【請求項１】
撮像素子を遮光状態または非遮光状態にするシャッターを有する撮像装置であって、
複数の撮像条件を記憶する撮像条件記憶手段と、
前記遮光状態において、前記撮像条件に基づいて、前記撮像素子を用いて撮像された複数の暗時画像データを記憶する暗時画像データ記憶手段と、
前記非遮光状態において、前記撮像素子を用いて撮像された明時画像データを記憶する明時画像データ記憶手段と、
前記明時画像が撮像された撮像条件に対応する撮像条件で撮像された前記暗時画像を前記暗時画像データ記憶手段より抽出する暗時画像データ抽出手段と、
前記暗時画像データ抽出手段により抽出された前記暗時画像データに基づいて、前記明時画像データを補正する補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像条件は、撮像感度及び露光時間のうち少なくともいずれかを含む
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像条件は、さらに、前記撮像時の周囲温度を含む
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像装置は、さらに、
前記暗時画像データ記憶手段に記憶された暗時画像データから、前記撮像条件記憶手段に記憶されている撮像条件に存在しない撮像条件及び該撮像条件に対応する暗時画像データを生成する暗時画像データ生成手段
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記暗時画像データ記憶手段に記憶される前記複数の暗時画像データは、該暗時画像データ相互間の差分画像データである
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記撮像装置は、さらに、
前記撮像素子に対する露光時間を分割する露光時間分割手段と、
前記分割された露光時間毎に前記撮像素子を用いて撮像されて前記補正手段により補正された画像データを積算する積算手段と、
前記積算手段により前記画像データが積算される毎に該積算された画像データが表示される表示手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮像素子を用いて撮像された画像データから暗電流成分を除去する暗電流成分キャンセル処理方法であって、
前記撮像素子を用いて撮像された所定の撮像条件ごとの暗時画像データを予め記憶し、
前記撮像素子を用いて観察対象を撮像することにより明時画像データを取得し、
前記予め記憶した前記撮像条件から、前記明時データが得られたときの撮像条件に対応する撮像条件で得られた前記暗時画像データを選択し、
前記明時画像データから前記選択した暗時画像データを減算する
ことを特徴とする暗電流成分キャンセル処理方法。
【請求項８】
前記暗電流成分キャンセル処理方法において、
前記暗時画像データは、周囲温度に応じて複数セット予め記憶されており、
前記撮像素子による観察対象の撮像が終了した時点での周囲温度を検知し、
前記記憶された暗時画像データのうち前記検出された周囲温度の最も近い暗時画像データを選択する
ことを特徴とする請求項７に記載の暗電流成分キャンセル処理方法。
【請求項１】
撮像素子を遮光状態または非遮光状態にするシャッターを有する撮像装置であって、
複数の撮像条件を記憶する撮像条件記憶手段と、
前記遮光状態において、前記撮像条件に基づいて、前記撮像素子を用いて撮像された複数の暗時画像データを記憶する暗時画像データ記憶手段と、
前記非遮光状態において、前記撮像素子を用いて撮像された明時画像データを記憶する明時画像データ記憶手段と、
前記明時画像が撮像された撮像条件に対応する撮像条件で撮像された前記暗時画像を前記暗時画像データ記憶手段より抽出する暗時画像データ抽出手段と、
前記暗時画像データ抽出手段により抽出された前記暗時画像データに基づいて、前記明時画像データを補正する補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像条件は、撮像感度及び露光時間のうち少なくともいずれかを含む
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像条件は、さらに、前記撮像時の周囲温度を含む
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像装置は、さらに、
前記暗時画像データ記憶手段に記憶された暗時画像データから、前記撮像条件記憶手段に記憶されている撮像条件に存在しない撮像条件及び該撮像条件に対応する暗時画像データを生成する暗時画像データ生成手段
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記暗時画像データ記憶手段に記憶される前記複数の暗時画像データは、該暗時画像データ相互間の差分画像データである
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記撮像装置は、さらに、
前記撮像素子に対する露光時間を分割する露光時間分割手段と、
前記分割された露光時間毎に前記撮像素子を用いて撮像されて前記補正手段により補正された画像データを積算する積算手段と、
前記積算手段により前記画像データが積算される毎に該積算された画像データが表示される表示手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮像素子を用いて撮像された画像データから暗電流成分を除去する暗電流成分キャンセル処理方法であって、
前記撮像素子を用いて撮像された所定の撮像条件ごとの暗時画像データを予め記憶し、
前記撮像素子を用いて観察対象を撮像することにより明時画像データを取得し、
前記予め記憶した前記撮像条件から、前記明時データが得られたときの撮像条件に対応する撮像条件で得られた前記暗時画像データを選択し、
前記明時画像データから前記選択した暗時画像データを減算する
ことを特徴とする暗電流成分キャンセル処理方法。
【請求項８】
前記暗電流成分キャンセル処理方法において、
前記暗時画像データは、周囲温度に応じて複数セット予め記憶されており、
前記撮像素子による観察対象の撮像が終了した時点での周囲温度を検知し、
前記記憶された暗時画像データのうち前記検出された周囲温度の最も近い暗時画像データを選択する
ことを特徴とする請求項７に記載の暗電流成分キャンセル処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２３６６６１（Ｐ２００８−２３６６６１Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−７７０１６（Ｐ２００７−７７０１６）
【出願日】平成１９年３月２３日（２００７．３．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月２３日（２００７．３．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]