撮像装置、補正値算出方法、及び撮像方法
【課題】少量のメモリでゲイン補正値及びオフセット補正値を算出し、複数の撮像素子の出力値を、同一の対象物に対しては略一致するように補正することができる撮像装置、撮像装置の補正値算出方法及び撮像方法を提供する。
【解決手段】撮像部で撮像された互いに異なる均一な輝度を有する2つの画像を2つのメモリP1、P2にそれぞれ保存しておき、補正値を算出する際、両メモリから前記2つの画像を読み出して、これらの画像を用いてゲイン補正値(又はオフセット補正値)を算出して、一方のメモリに保存し、他方のメモリの画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、オフセット補正値(又はゲイン補正値)を算出する。
【解決手段】撮像部で撮像された互いに異なる均一な輝度を有する2つの画像を2つのメモリP1、P2にそれぞれ保存しておき、補正値を算出する際、両メモリから前記2つの画像を読み出して、これらの画像を用いてゲイン補正値(又はオフセット補正値)を算出して、一方のメモリに保存し、他方のメモリの画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、オフセット補正値(又はゲイン補正値)を算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子例えば赤外線撮像素子の出力輝度値を精度良く補正することができる撮像装置、撮像装置の補正値算出方法、及び撮像方法に関する。
【背景技術】
【0002】
赤外線撮像装置では、レンズで集光された赤外光が、光電変換部で電気信号に変換されて、信号読出部を経て、AD変換器によりA/D変換して、デジタル信号として出力する。
【0003】
光電変換部は行列状に配置されている赤外線センサによって構成される。赤外線センサは、赤外線領域の光(赤外線)を受光し電気信号に変換して、必要な情報を取り出すものである。従来の赤外線センサは、動作原理により大別すると、熱型と量子型の2種類に分けられる。
【0004】
熱型赤外線センサは、受光した赤外線によりセンサ自身の温度が上昇することを利用している。熱型赤外線センサには、熱起電力効果を原理としたサーモパイル、温度変化による電気抵抗の変化のボロメータなどがある。熱型赤外線センサは、動作の波長帯域が広く、室温動作が可能であるが、検出感度が低く、応答速度が遅いという欠点がある。
【0005】
量子型赤外線センサは、固体材料が吸収した赤外線を直接電気信号に変換する光電効果を利用し、光エネルギーによって起こる光電流を検知するものであり、光電導型とも呼ばれている。フォトダイオード及びフォトトランジスタならびにフォトICなどがある。量子型赤外線センサは、検出感度が高く、応答速度に優れ、熱型センサより100〜1000倍の検出能力を持つが、検出感度に波長依存性があり、動作温度が低いために液体窒素などで冷却しなければ動作しないという欠点がある。また、前述の熱型に比べて高価である。
【0006】
いずれの種類の赤外線センサを用いる場合でも、赤外線センサの出力側(後段)には、それぞれ信号読出し回路を設置する必要がある。信号読出し回路は、赤外線センサで検出した信号を読み出して増幅するものである。また、複数の赤外線センサを用いる場合は、そのセンサの数だけ信号読出し回路を設けなければならない。
【0007】
このような赤外線撮像装置は、赤外線センサの製造ばらつき、入射された光量や露光時間、印加された逆バイアス電圧、増幅器の製造ばらつきや温度などにより、画素ごとの信号出力にばらつきが生じる。これにより、映像に固定パターンノイズが重畳されてしまう。固定パターンノイズには、感度ばらつきに起因するゲイン成分と、明るさのばらつきによるオフセット成分とに大別できる。映像を正確に出力するために、同一の対象物の撮像データの輝度値が同一となるよう赤外線撮像装置の出力値を補正する必要がある。
【0008】
斯かる問題を解決すべく、例えば非特許文献1では、撮像素子ごとに相違している感度のばらつき(非均一性)を補正する方法の代表例であるNUC(Non-Uniformity Correction)について開示されている。非特許文献1では、撮像素子の出力特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、赤外線撮像装置からの出力値を補正している。
【先行技術文献】
【特許文献】
【0009】
【非特許文献1】「IR−CCD撮像データのリアルタイム2点補正(Real-time implementation of two-point non-uniformity correction for IR-CCD imagery)」、SPIE Proc. Vol.2598、1995年
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかし、非特許文献1の2点補正方法では、異なる輝度の基準画像2枚を撮像し、該2枚の基準画像を利用して、撮像素子ごとにオフセット補正値及びゲイン補正値を算出するので、該2枚の基準画像ならびに各撮像素子のオフセット補正値及びゲイン補正値を保存するために、少なくとも画像データ4フレーム分のメモリが必要となる。このため、赤外線映像信号の画像処理には大量のメモリが必要であり、撮像装置全体のサイズが大型になり、コストが高くなり、改善策が要望されていた。
【0011】
本発明は、斯かる事情に鑑みてなされたものであり、主たる目的は、撮像部で撮像された互いに異なる均一な輝度を有する2つの画像を2つのメモリにそれぞれ保存しておき、補正値を算出する際、両メモリから前記2つの画像を読み出して、これらの画像を用いてゲイン補正値(又はオフセット補正値)を算出して、一方のメモリに保存し、他方のメモリの画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、オフセット補正値(又はゲイン補正値)を算出するような構成とすることにより、少量のメモリでゲイン補正値及びオフセット補正値を算出し、複数の撮像素子の出力値を、同一の対象物に対しては略一致するように補正し、映像に重畳している固定パターンノイズを効果的に取り除くことができる撮像装置、撮像装置の補正値算出方法、及び撮像方法を提供することにある。なお、赤外線撮像に限られず、2点で出力値を補正できる各種の撮像に適用できる。
【課題を解決するための手段】
【0012】
本発明の撮像装置は、複数の撮像素子を有する撮像部と、第1及び第2のメモリと、各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出部とを備え、前記撮像部は、撮像した第1及び第2の画像を、前記第1及び第2のメモリにそれぞれ保存し、前記補正値算出部は、前記第1及び第2のメモリから前記第1及び第2の画像を読み出し、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存し、前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出するように構成してあることを特徴とする。
【0013】
また、本発明の撮像装置は、前記補正値算出部は、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存するように構成してあることを特徴とする。
【0014】
また、本発明の撮像装置は、前記第1及び第2の画像それぞれに含まれる複数の画素の明るさに係る画素値の平均値である第1及び第2の基準値を算出する基準値算出部をさらに有し、前記補正値算出部は、前記第1及び第2の基準値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする。
【0015】
また、本発明の撮像装置は、前記撮像部で撮像された画像に重畳しているランダムノイズを除去するランダムノイズ除去部をさらに有し、該ランダムノイズ除去部で前記第1及び第2の画像のランダムノイズを除去した後、前記第1及び第2のメモリに保存するように構成してあることを特徴とする。
【0016】
また、本発明の撮像装置は、前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、前記ランダムノイズ除去部は、画素毎に前記複数フレーム間での画素値の平均演算を行なうように構成してあることを特徴とする。
【0017】
また、本発明の撮像装置は、前記複数フレーム間での画素値の平均演算を、移動平均またはIIRフィルタリングで行なうことを特徴とする。
【0018】
また、本発明の撮像装置は、前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、前記第1及び第2の画像それぞれの複数フレーム分について、フレームごとに画像に含まれる複数の画素の明るさに係る画素値の平均値をフレーム内平均値として算出するフレーム内平均値演算部と、前記フレーム内平均値演算部で算出された各フレームのフレーム内平均値を、前記第1及び第2の画像ごとに、前記複数フレーム間で平均してフレーム間平均値として算出するフレーム間平均値演算部と、前記第1及び第2の画像それぞれの複数フレーム分について、画素毎に該複数のフレーム間で画素値を平均して画素平均値として算出して、前記第1及び第2のメモリに保存する画素平均値演算部とをさらに有し、前記補正値算出部は、前記第1及び第2の画像のフレーム間平均値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記第1及び第2の画像の画素平均値に基づいて、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする。
【0019】
また、本発明の撮像装置は、前記フレーム間平均値演算部及び/または前記画素平均値演算部は、移動平均またはIIRフィルタリングを利用して平均演算を行なうことを特徴とする。
【0020】
また、本発明の撮像装置は、前記オフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正するNUC処理部をさらに備えることを特徴とする。
【0021】
また、本発明の撮像装置は、前記撮像素子は赤外線撮像素子であることを特徴とする。
【0022】
本発明の補正値算出方法は、複数の撮像素子を有する撮像部と、該撮像部が撮像した画像を保存する第1及び第2のメモリとを備える撮像装置に、各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出方法において、前記撮像部は、互いに異なる均一な照度を有する2つの被撮像体を撮像して第1及び第2の画像を取得する撮像ステップと、該第1及び第2の画像を前記第1及び第2のメモリにそれぞれ保存する保存ステップと、前記第1及び第2のメモリから前記第1及び第2の画像を読み出して、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存する第1の算出ステップと、前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出する第2の算出ステップとを含むことを特徴とする。
【0023】
また、本発明の補正値算出方法は、前記第2の算出ステップは、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存することを特徴とする。
【0024】
本発明の撮像方法は、複数の撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法において、前述した補正値算出方法で算出されたオフセット補正値及びゲイン補正値により、前記撮像素子ごとの出力値を補正して出力することを特徴とする。
【0025】
本発明にあっては、互いに異なる均一な照度を有する2つの被撮像体を撮像して得た明暗2種類の一様な第1及び第2の画像を用いて、撮像素子ごとのゲイン補正値(又はオフセット補正値)を算出し、前記第2の画像ならびに算出されたゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出することができる。また、補正値の算出処理では、ゲイン補正値(又はオフセット補正値)を算出した後、第1の画像の画素値は不要になり、かつ該算出されたゲイン補正値(又はオフセット補正値)とデータを保存するタイミングが時間的に重ならないことを利用して、メモリを共用し、算出処理では画像データ3フレーム分のメモリで十分であり、必要となるメモリを大幅に削減することが可能となる。
【0026】
本発明にあっては、補正値の算出処理では、第2の画像の画素値と算出された前記オフセット補正値(又はゲイン補正値)は、データを保存するタイミングが時間的に重ならないことを利用して、メモリを共用し、算出処理では画像データ2フレーム分のメモリで十分であり、必要となるメモリをさらに削減することが可能となる。
【0027】
本発明にあっては、2点非均一性補正方法を利用し、被撮像体の照度に対する各撮像素子の出力値の平均値、すなわち平均出力特性を、第1及び第2の基準値で確定された直線に近似し、該直線で撮像素子ごとのゲイン補正値及びオフセット補正値を算出する。これにより、各撮像素子のゲイン補正値及びオフセット補正値を、簡便かつ高精度に算出することができる。
【0028】
本発明にあっては、前記第1及び第2の画像は、画像に重畳しているランダムノイズが除去された後、ゲイン補正値及びオフセット補正値の算出処理に供給される。これにより、各撮像素子のゲイン補正値及びオフセット補正値はいっそう高精度に算出される。
【0029】
本発明にあっては、ランダムノイズの分布の時間的な不規則性を利用して、画素毎のフレーム間平均演算でランダムノイズを効果的に除去することができる。
【0030】
本発明にあっては、移動平均またはIIRフィルタリングで画素値のフレーム間平均演算を行なう。特に、IIRフィルタリングにおいては、過去フレームの画素値を保存するメモリが不要となり、かつ、加算とビットシフトのみの簡易な演算回路で効果的にランダムノイズを除去することが可能となる。
【0031】
本発明にあっては、前記2つの被撮像体の明暗2種類の一様な第1及び第2の映像を撮像し、フレーム内平均演算及びフレーム間平均演算を行なうことで、ランダムノイズが効果的に除去されたフレーム間平均値を算出し、画素毎のフレーム間平均演算を行なうことで、ランダムノイズが効果的に除去された第1及び第2の画像を取得する。そして、2点非均一性補正方法を利用して撮像素子ごとのゲイン補正値及びオフセット補正値を算出する。これにより、各撮像素子のゲイン補正値及びオフセット補正値を、簡便かつ高精度に算出することができる。
【0032】
本発明にあっては、移動平均またはIIRフィルタリングでフレーム間平均演算及び/または画素毎のフレーム間平均演算を行なう。特に、IIRフィルタリングにおいては、過去フレームの画素値を保存するメモリが不要となり、加算とビットシフトのみの簡易な演算回路でランダムノイズ除去部を構成することが可能となる。
【0033】
本発明にあっては、NUC処理部で映像に重畳している固定パターンノイズを取り除く処理を行ない、クリアな映像を作製・表示することが可能となる。
【0034】
本発明にあっては、赤外線素子の製造ばらつき、動作環境のばらつきなどによるゲイン補正値及びオフセット補正値を、少量のメモリで算出し、算出されたゲイン補正値及びオフセット補正値で複数の赤外線撮像素子の出力値を、同一の対象物に対しては略一致するように補正し、映像に重畳している固定パターンノイズを効果的に取り除くことができる。
【0035】
本発明にあっては、本発明の補正値算出方法で算出されたゲイン補正値及びオフセット補正値で、複数の撮像素子の出力値を、同一の対象物に対しては略一致するように補正する撮像方法を提供できる。
【発明の効果】
【0036】
本発明によれば、補正値の算出処理でメモリを共用することによって、算出処理で必要となるメモリを大幅に削減することが可能となる。さらに、撮像装置全体のサイズが小型になり、コストが抑えられる。
【図面の簡単な説明】
【0037】
【図1】実施形態1に係る赤外線撮像装置の構成を示すブロック図である。
【図2】実施形態1に係る赤外線撮像装置の信号処理部の構成を示すブロック図である。
【図3】実施形態1に係る補正値算出部の構成を示すブロック図である。
【図4】実施形態1に係る信号処理部による補正処理の手順を示すフローチャートである。
【図5】実施形態1に係る補正値算出処理の手順を示すフローチャートである。
【図6】照度に対する赤外線撮像素子の出力を示す説明図である。
【図7】実施形態2に係る補正値算出部の構成を示すブロック図である。
【図8】実施形態2に係る補正値算出処理の手順を示すフローチャートである。
【図9】実施形態3に係る補正値算出部の構成を示すブロック図である。
【図10】実施形態3に係る補正値算出処理の手順を示すフローチャートである。
【図11】実施形態4に係る補正値算出部の構成を示すブロック図である。
【図12】実施形態4に係る補正値算出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0038】
以下に、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施形態1)
図1は、本発明の実施形態1に係る赤外線撮像装置1の構成を示すブロック図である。なお、本実施形態に係る赤外線撮像装置1は、VOxやアモルファスシリコンなどボロメータ型、SOIダイオードやサーモパイルなどを用いた非冷却型の8〜12μmに感度帯域を持つ遠赤外線撮像素子、InGaAsなどを受光面に採用した1.0〜3.0μmに感度帯域を持つ近赤外線撮像素子などを用いる。
【0039】
図1において、赤外線撮像装置1は、画像撮像部11、信号処理部12、通信インタフェース部13を備えている。画像撮像部11は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。画像撮像部11は、周囲の赤外線光像を輝度信号として読み取り、読み取った輝度信号を信号処理部12へ送信する。なお、撮像素子は、1次元アレイ状に配置されてもよい。
【0040】
信号処理部12は、LSIなどで構成され、画像撮像部11から入力された輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、撮像素子の出力値(輝度信号)を算出する処理、欠陥素子の補正処理、ゲイン制御処理等を行う。処理された映像データは、通信インタフェース部13を介して外部の記憶装置、表示装置などへ出力される。
【0041】
図2は、本発明の実施形態1に係る赤外線撮像装置1の信号処理部12の構成を示すブロック図である。信号処理部12は、一又は複数のLSI等の演算手段により動作が制御されるA/D変換部121、NUC(Non-Uniformity Correction)処理部122、補正値算出部123、及びフラッシュメモリ等の不揮発性メモリ、SRAM等の一時記憶用メモリであるメモリ部124で構成されている。
【0042】
信号処理部12は、画像撮像部11から受信した輝度信号をA/D変換部121でデジタル信号に変換してNUC処理部122に出力する。NUC処理部122は、補正値算出部123によってあらかじめ算出されメモリ部124に保存されている補正値で撮像素子ごとに出力された輝度信号を補正する。
【0043】
補正値算出部123では、輝度信号に重畳している固定パターンノイズを除去するために、キャリブレーションによる補正係数として、撮像素子ごとに所定の照度に対して出力される輝度値を補正するオフセット補正値、及び撮像素子ごとに所定の照度変化分に対して出力される輝度値の変動分を補正するゲイン補正値を算出して、メモリ部124に保存する。
【0044】
メモリ部124は、撮像素子ごとのゲイン補正値を保存するためのメモリP2と、撮像素子ごとのオフセット補正値を保存するためのメモリP1と、後述の補正値算出処理に用いられる2つの基準値を保存するための基準値メモリA2、A1に割り当てる。なお、メモリP2、P1は、後記の補正値算出処理において、画像撮像部1で撮像された2枚の画像を一時退避するために用いられる。なお、メモリP2、P1はフレームメモリであり、基準値メモリA2、A1は画素メモリ、メモリP2、P1に対して、基準値メモリA2、A2は無視できるほどである。
【0045】
NUC処理部122は、画像撮像部11から入力されA/D変換部121で変換された輝度信号が入力されると、メモリP2に保存されているゲイン補正値及びメモリP1に保存されているオフセット補正値を利用して、輝度信号を補正する。例えばN行M列のマトリックス状に配列された撮像素子(i,j)の輝度値をVijとした場合、NUC処理部122では数1に示す演算を行うことにより撮像素子ごとの輝度値Vijを出力輝度値Vij'へ補正する。
【0046】
【数1】
【0047】
但し、Gijはゲイン補正値を、Oijはオフセット補正値を示している。
【0048】
本実施形態1では、2点非均一性補正方法を利用し、撮像素子の出力特性が線形であることを前提として、例えば黒体炉及びシャッターの均一かつ互いに異なる照度を有する2つの被撮像体を撮像して明暗2種類の一様な画像を取得し、その出力特性の傾きを線形近似し、各撮像素子の傾き及び撮像素子全体の平均傾きを算出し、撮像素子ごとに傾きが平均傾きと同一になるようにゲイン補正値を算出する。ゲイン補正値が算出されると、基準照度下の各撮像素子の輝度値の平均である基準輝度値を算出し、撮像素子ごとに、感度ばらつきを考慮して輝度値と前記基準輝度値との差分をオフセット補正値として算出する。
【0049】
図6は照度に対する赤外線撮像素子の出力を示す説明図である。図6において、横軸は照度であり、縦軸は撮像素子の出力の輝度である。図6中、直線S1〜S3は、2次元アレイにおける3つの撮像素子それぞれの出力特性を線形近似したものであり、照度eに対する各撮像素子の出力である出力特性を、直線で表している。各撮像素子のオフセット及び感度のばらつき等により、同一の照度に対する出力は、撮像素子毎に異なる場合がある。また、照度eの変動分により撮像素子の出力の変動分、即ちゲインは、ほぼ線形な特性を有し、傾きで表すことができる。したがって、照度eH と照度eL での、撮像素子の出力の平均値バーV(eH )、バーV(eL )を算出すると、撮像素子全体の平均出力特性を表す直線を確定することが可能となる。該直線の傾きで各撮像素子の出力を補正することで、感度ばらつきの除去が実現される。具体的には、以下の数2に従って撮像素子ごとのゲイン補正値Gijを算出する。
【0050】
【数2】
【0051】
但し、Vij(e)は撮像素子(i,j)の照度eでの出力値を示している。
【0052】
また、撮像素子ごとのオフセット補正値Oijは、ゲイン補正値Gijが算出された後、例えば照度eL を基準照度として、感度ばらつきを考慮して撮像素子の出力平均値バーV(eL )との差分として、以下の数3に従って算出することができる。
【数3】
【0053】
図3は、本実施形態1に係る補正値算出部123の構成を示すブロック図である。図5は、本実施形態1に係る補正値算出処理の手順を示すフローチャートである。以下、図3、図5に基づいて本実施形態1の補正値算出処理を詳しく説明する。
【0054】
補正値算出部123は、図3に示すように、ランダムノイズ除去部231、基準値算出部232、オフセット補正値算出部233、ゲイン補正値算出部234を備える。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して、第1輝度の第1の映像を取得する(ステップS501)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS502)、ランダムノイズ除去部231へ出力される。ランダムノイズ除去部231は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出して、画素ごとのフレーム間平均演算により、画素ごとに個別に該nフレーム分の輝度平均値を計算する(ステップS503)。例えば、ランダムノイズ除去部231では数4に示す演算を行うことにより、第1照度eH 下の第1の映像に対して、画素即ち撮像素子ごとに、輝度値Vij(eH )からフレーム間平均値バーVij(eH )を算出する。これにより、ランダムノイズを除去することが可能となる。
【0055】
【数4】
【0056】
但し、Vijf(e)は照度eで、第fフレームの画素(i,j)の値を示している。
【0057】
また、平均値の計算ではなく、移動平均やIIR(Infinite Impulse Response,無限インパルス応答)フィルタを用いて計算を行ってもよい。特に、IIRフィルタを用いると過去フレームの輝度値を保存するメモリが不要となり、かつ、加算とビットシフトのみの簡易な演算回路で効果的にランダムノイズを除去することが可能となる。
【0058】
算出された画素ごとのフレーム間平均値バーVij(eH )は、メモリP1に保存されるとともに、基準値算出部232へ出力される。基準値算出部232は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eH )から1フレーム(1画面)の全ての画素の平均値を、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS504)。算出された第1の基準輝度値VH は基準値メモリA1に保存される。
【0059】
【数5】
【0060】
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS505)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS506)、ランダムノイズ除去部231へ出力する。ランダムノイズ除去部231は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、画素ごとに輝度のフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS507)とともに、基準値算出部232へ出力する。基準値算出部232は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eL )から、1フレーム(1画面)の全ての画素の平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出する(ステップS508)。算出された第2の基準輝度値VL は基準値メモリA2に保存される。
【0061】
そして、ゲイン補正値算出部234は、画素ごとにメモリP1、P2から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、これらの値を用いてゲイン補正値を計算する(ステップS509)。例えば、画素(i,j)についてゲイン補正値を算出する場合、ゲイン補正値算出部234は、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、メモリP1、P2から画素(i,j)のフレーム間平均値バーVij(eH )、バーVij(eL )を読み出して、数6に従って該画素(i,j)についてのゲイン補正値Gijを算出する。
【0062】
【数6】
【0063】
なお、前述のように、撮像素子ごとのオフセット補正値Oijは、ゲイン補正値Gijが算出されると、例えば照度eL を基準照度として、感度ばらつきを考慮して基準輝度値VL との差分として算出される。つまり、ゲイン補正値Gijが算出されると、第1の映像の画素ごとのフレーム間平均値バーVij(eH )は不必要になる。したがって、ゲイン補正値Gijが算出されると、第1の映像の画素ごとのフレーム間平均値バーVij(eH )を廃棄して、ゲイン補正値GijをメモリP1に保存することができる。
【0064】
次に、オフセット補正値算出部233は、画素ごとにメモリP1からゲイン補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、オフセット補正値を計算する(ステップS510)。例えば、画素(i,j)についてオフセット補正値を計算する場合、オフセット補正値算出部233は、メモリP1から画素(i,j)のゲイン補正値Gij、メモリP2から画素(i,j)のフレーム間平均値バーVij(eL )、基準値メモリA2から第2の基準輝度値VL を読み出して、数7に従って該画素(i,j)についてのオフセット補正値Oijを算出する。
【0065】
【数7】
【0066】
なお、オフセット補正値Oijが算出されると、メモリP2に保存されている第2の映像の画素ごとのフレーム間平均値バーVij(eL )は不必要になる。したがって、オフセット補正値OijをメモリP2に保存する。
【0067】
以上のように算出されたオフセット補正値及びゲイン補正値は、メモリ部124に保存されておき、実際の撮像時には、NUC処理部122は、保存されてあるオフセット補正値及びゲイン補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。
【0068】
以下、実際の撮像時に、本実施形態1に係る赤外線撮像装置1の信号処理部12での出力された輝度信号(出力値)の補正処理について説明する。図4は、本実施形態1に係る信号処理部12による補正処理の手順を示すフローチャートである。
【0069】
赤外線撮像装置1の画像撮像部11は、被撮像体を撮像し、撮像素子ごとの出力値が信号処理部12へ送信される。信号処理部12は、画像撮像部11から撮像素子ごとの輝度信号を受信し(ステップS401)、デジタル信号Vijへ変換する(ステップS402)。
【0070】
信号処理部12は、メモリ部124に保存してあるオフセット補正値及びゲイン補正値を読み出して(ステップS403)、画像撮像部11で撮像された輝度信号を補正する(ステップS404)。補正された輝度信号は出力輝度値Vij'として外部へ出力する(ステップS405)。
【0071】
以上のように本実施形態1によれば、異なる輝度を有する2種の基準画像に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズ(ゲイン成分やオフセット成分)を取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
【0072】
また、ゲイン補正値及びオフセット補正値を算出する処理では、2種の基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。
【0073】
(実施形態2)
以下、本発明の実施形態2に係る赤外線撮像装置について、図面を参照しながら詳細に説明する。実施形態2に係る赤外線撮像装置は、補正値算出部125の構成が実施形態1と相違する。それ以外は、本実施形態2に係る撮像装置は実施形態1に係る撮像装置と同様に構成されているため、説明は省略する。
【0074】
図7は、本実施形態2に係る補正値算出部125の構成を示すブロック図である。図8は、本実施形態2に係る補正値算出処理の手順を示すフローチャートである。以下、図7、図8に基づいて本実施形態2の補正値算出処理を詳しく説明する。補正値算出部125は、図7に示すように、フレーム内平均演算部251、フレーム間平均演算部252、画素平均値演算部255、オフセット補正値算出部253、ゲイン補正値算出部254を備える。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して第1輝度の第1の映像を取得する(ステップS801)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS802)、フレーム内平均演算部251及び画素平均値演算部255へ出力される。フレーム内平均演算部251は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出し、各フレームについて、数8によるフレーム内平均演算を実行することで、各フレームの平均輝度値バーVf (eH )を算出し、フレーム間平均演算部252へ出力する(ステップS803)。
【0075】
【数8】
【0076】
フレーム間平均演算部252は、数9に示すフレーム間平均演算により、各フレームの平均輝度値をnフレーム間で平均して、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS804)。算出された基準輝度値VH は基準値メモリA1に保存される。
【0077】
【数9】
【0078】
また、画素平均値演算部255は、前記第1の映像のnフレームについて、画素ごとのフレーム間平均演算により、画素ごと個別に該nフレーム分の輝度平均値を計算する。例えば、数4による演算で、第1照度eH 下の第1の映像に対して、画素即ち撮像素子ごとにフレーム間平均値バーVij(eH )を算出する。算出されたバーVij(eH )は、メモリP1に保存される(ステップS805)。
【0079】
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS806)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS807)、フレーム内平均演算部251及び画素平均値演算部255へ出力される。フレーム内平均演算部251は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、nフレーム分のフレーム内平均値を算出して、フレーム間平均演算部252へ出力する(ステップS808)。フレーム間平均演算部252は、nフレームの平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出して、基準値メモリA2に保存する(ステップS809)。また、画素平均値演算部255は、前記第2の映像のnフレームに対して、画素ごとにフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS810)
【0080】
これにより、本実施形態2の補正値算出部125は上記の実施形態1の補正値算出部123と同様に、映像に重畳しているランダムノイズを除去することが可能となる。また、平均値の計算ではなく、移動平均やIIRフィルタを用いて計算を行ってもよい。
【0081】
次に、ゲイン補正値及びオフセット補正値の算出処理について説明する。本実施形態2のオフセット補正値算出部253及びゲイン補正値算出部254の算出動作は、上記実施形態1のオフセット補正値算出部233及びゲイン補正値算出部234の算出動作と同様である。まず、ゲイン補正値算出部234は、画素ごとにメモリP1、P1から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、数6に従ってゲイン補正値Gijを算出して、メモリP1に保存する(ステップS811)。次に、オフセット補正値算出部253は、画素ごとにメモリP1からゲイン補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、数7に従ってオフセット補正値Oijを算出して、メモリP2に保存する(ステップS812)。
【0082】
これにより、本実施形態2の補正値算出部125は上記実施形態1の補正値算出部123と同様に、異なる輝度を有する2種の基準画像に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズを取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
【0083】
また、ゲイン補正値及びオフセット補正値を算出する処理では、2種の基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。
【0084】
(実施形態3)
以下、本発明の実施形態3に係る赤外線撮像装置について、図面を参照しながら詳細に説明する。実施形態3に係る赤外線撮像装置は、補正値算出部126の構成が実施形態1と相違する。それ以外は、本実施形態3に係る撮像装置は実施形態1に係る撮像装置と同様に構成されているため、説明は省略する。
【0085】
図9は、本実施形態3に係る補正値算出部126の構成を示すブロック図である。図10は、本実施形態3に係る補正値算出処理の手順を示すフローチャートである。以下、図9、図10に基づいて本実施形態3の補正値算出処理を詳しく説明する。補正値算出部126は、図9に示すように、ランダムノイズ除去部261、基準値算出部262、オフセット補正値算出部263、ゲイン補正値算出部264を備える。本実施形態3のランダムノイズ除去部261、基準値算出部262の構成及び動作は、上記実施形態1のランダムノイズ除去部231、基準値算出部232と同様である。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して第1輝度の第1の映像を取得する(ステップS1001)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS1002)、ランダムノイズ除去部261へ出力される。ランダムノイズ除去部261は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出し、数4に示すフレーム間平均演算により、画素ごとに個別に該nフレーム分のフレーム間平均値バーVij(eH )を算出し、メモリP1に保存するとともに、基準値算出部262へ出力する(ステップS1003)。これにより、ランダムノイズを除去することが可能となる。
【0086】
次に、基準値算出部262は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eH )から1フレーム(1画面)の全ての画素の平均値を、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS1004)。算出された基準輝度値VH は基準値メモリA1に保存される。
【0087】
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS1005)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS1006)、ランダムノイズ除去部261へ出力する。ランダムノイズ除去部261は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、画素ごとに輝度のフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS1007)とともに、基準値算出部262へ出力する。基準値算出部262は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eL )から、1フレーム(1画面)の全ての画素の平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出する(ステップS1008)。算出された第2の基準輝度値VL は基準値メモリA2に保存される。
【0088】
次に、オフセット補正値算出部263は、画素ごとにメモリP1、P2から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、これらの値を用いてオフセット補正値を算出して、メモリP1に保存する(ステップS1009)。上述した実施形態1、2では、第1及び第2の基準輝度値VH 、VL で撮像素子の平均出力特性を表す直線を確定し、撮像素子ごとのゲイン補正値Gijを算出した後、照度eL を基準照度として、感度ばらつきを考慮してオフセット補正値Oijを算出する場合について説明したが、本発明はこれに限られず、撮像素子ごとのオフセット補正値Oijを算出した後、ゲイン補正値Gijを算出しても良い。例えば、遠赤外線撮像の場合、前記第2照度eL を絶対温度下の照度にして該絶対温度下の撮像素子の出力平均値との差分として、オフセット補正値Oijを算出する。この他、前記数6、数7から得られる下記の数10にしたがって、オフセット補正値Oijを算出してもよい。
【0089】
【数10】
【0090】
次に、ゲイン補正値算出部264は、画素ごとにメモリP1からオフセット補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、数11に従ってゲイン補正値Gijを算出して、メモリP2に保存する(ステップS1010)。
【0091】
【数11】
【0092】
これにより、本実施形態3の補正値算出部126は上記実施形態1、2の補正値算出部123、125と同様に、異なる輝度を有する2種の基準画像に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズを取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
【0093】
また、ゲイン補正値及びオフセット補正値を算出する処理では、2種の基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。
【0094】
(実施形態4)
以下、本発明の実施形態4に係る赤外線撮像装置について、図面を参照しながら詳細に説明する。実施形態4に係る赤外線撮像装置は、補正値算出部127の構成が実施形態1と相違する。それ以外は、本実施形態4に係る撮像装置は実施形態1に係る撮像装置と同様に構成されているため、説明は省略する。
【0095】
図11は、本実施形態4に係る補正値算出部127の構成を示すブロック図である。図12は、本実施形態4に係る補正値算出処理の手順を示すフローチャートである。以下、図11、図12に基づいて本実施形態4の補正値算出処理を詳しく説明する。補正値算出部127は、図11に示すように、フレーム内平均演算部271、フレーム間平均演算部272、画素平均値演算部275、オフセット補正値算出部273、ゲイン補正値算出部274を備える。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して第1輝度の第1の映像を取得する(ステップS1201)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS1202)、フレーム内平均演算部271及び画素平均値演算部275へ出力される。フレーム内平均演算部271は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出し、各フレームについて、数8にしたがって各フレームの平均輝度値を算出し、フレーム間平均演算部272へ出力する(ステップS1203)。
【0096】
フレーム間平均演算部272は、数9に示すフレーム間平均演算により、各フレームの平均輝度値をnフレーム間で平均して、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS1204)。算出された基準輝度値VH は基準値メモリA1に保存される。
【0097】
また、画素平均値演算部275は、前記第1の映像のnフレームについて、数4による画素ごとのフレーム間平均演算により、画素ごと個別に該nフレーム分のフレーム間平均値バーVij(eH )を算出し、メモリP1に保存される(ステップS1205)。
【0098】
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS1206)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS1207)、フレーム内平均演算部271及び画素平均値演算部275へ出力される。フレーム内平均演算部271は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、nフレーム分のフレーム内平均値を算出して、フレーム間平均演算部272へ出力する(ステップS1208)。フレーム間平均演算部272は、nフレームの平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出して、基準値メモリA2に保存する(ステップS1209)。また、画素平均値演算部275は、前記第2の映像のnフレームに対して、画素ごとにフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS1210)
【0099】
これにより、本実施形態4の補正値算出部127は上記の実施形態1〜3と同様に、映像に重畳しているランダムノイズを除去することが可能となる。また、平均値の計算ではなく、移動平均やIIRフィルタを用いて計算を行ってもよい。
【0100】
次に、ゲイン補正値及びオフセット補正値の算出処理について説明する。本実施形態4のオフセット補正値算出部273及びゲイン補正値算出部274の算出動作は、上記実施形態3のオフセット補正値算出部263及びゲイン補正値算出部264の算出動作と同様である。まず、オフセット補正値算出部273は、画素ごとにメモリP1、P2から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、これらの値を用いてオフセット補正値Oijを算出して、メモリP1に保存する(ステップS1211)。次に、ゲイン補正値算出部274は、画素ごとにメモリP1からオフセット補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、ゲイン補正値Gijを算出して、メモリP2に保存する(ステップS1212)。
【0101】
これにより、本実施形態4の補正値算出部127は上記実施形態1〜3の補正値算出部と同様に、異なる輝度を有する基準画像2枚に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズを取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
【0102】
また、ゲイン補正値及びオフセット補正値を算出する処理では、2枚基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。
【0103】
以上、図面に基づいて本発明の実施形態を詳述したが、本発明は前記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
【0104】
例えば、前記実施形態1〜4において、赤外線撮像装置1の撮像開始前に補正値算出処理を実行しているが、補正値算出処理を実行するタイミングはこれに限定されるものではなく、例えば一定時間ごとに補正値算出処理を実行して、ゲイン補正値及びオフセット補正値を更新しても良い。また、赤外線撮像装置1の出荷時、ゲイン補正値及びオフセット補正値の初期値を保存しておき、随時シャッターを閉じた状態で補正値算出処理を実行して、算出結果によりゲイン補正値及びオフセット補正値を更新しても良い。
【0105】
また、前記実施形態1〜4において、オフセット補正値は、照度eL を基準照度とし、感度ばらつきを考慮して基準照度での撮像素子の出力基準値との差分として算出されるが、これに限定されるものではなく、例えば、照度eH を基準照度とし、感度ばらつきを考慮して基準照度での撮像素子の出力基準値との差分として算出してもよい。また、遠赤外線撮像の場合、絶対温度下の照度でオフセット補正値を算出しておき、実際に撮像の際、輝度値に基づいて撮像対象物の温度を推定し、算出されたオフセット補正値を該温度に応じて補完してもよい。
【0106】
また、前記実施形態1〜4において、赤外線撮像素子に係るゲイン補正値及びオフセット補正値を算出することを説明したが、これに限定されるものではなく、2点非均一性補正方法によって出力値を補正できる各種の撮像に適用することが可能となる。
【符号の説明】
【0107】
11 画像撮像部
124 メモリ部
231、261 ランダムノイズ除去部
233、253、263、273 オフセット補正値算出部
234、254、264、274 ゲイン補正値算出部
232、262 基準値算出部
251、271 フレーム内平均演算部
252、272 フレーム間平均演算部
255、275 画素平均値演算部
【技術分野】
【0001】
本発明は、撮像素子例えば赤外線撮像素子の出力輝度値を精度良く補正することができる撮像装置、撮像装置の補正値算出方法、及び撮像方法に関する。
【背景技術】
【0002】
赤外線撮像装置では、レンズで集光された赤外光が、光電変換部で電気信号に変換されて、信号読出部を経て、AD変換器によりA/D変換して、デジタル信号として出力する。
【0003】
光電変換部は行列状に配置されている赤外線センサによって構成される。赤外線センサは、赤外線領域の光(赤外線)を受光し電気信号に変換して、必要な情報を取り出すものである。従来の赤外線センサは、動作原理により大別すると、熱型と量子型の2種類に分けられる。
【0004】
熱型赤外線センサは、受光した赤外線によりセンサ自身の温度が上昇することを利用している。熱型赤外線センサには、熱起電力効果を原理としたサーモパイル、温度変化による電気抵抗の変化のボロメータなどがある。熱型赤外線センサは、動作の波長帯域が広く、室温動作が可能であるが、検出感度が低く、応答速度が遅いという欠点がある。
【0005】
量子型赤外線センサは、固体材料が吸収した赤外線を直接電気信号に変換する光電効果を利用し、光エネルギーによって起こる光電流を検知するものであり、光電導型とも呼ばれている。フォトダイオード及びフォトトランジスタならびにフォトICなどがある。量子型赤外線センサは、検出感度が高く、応答速度に優れ、熱型センサより100〜1000倍の検出能力を持つが、検出感度に波長依存性があり、動作温度が低いために液体窒素などで冷却しなければ動作しないという欠点がある。また、前述の熱型に比べて高価である。
【0006】
いずれの種類の赤外線センサを用いる場合でも、赤外線センサの出力側(後段)には、それぞれ信号読出し回路を設置する必要がある。信号読出し回路は、赤外線センサで検出した信号を読み出して増幅するものである。また、複数の赤外線センサを用いる場合は、そのセンサの数だけ信号読出し回路を設けなければならない。
【0007】
このような赤外線撮像装置は、赤外線センサの製造ばらつき、入射された光量や露光時間、印加された逆バイアス電圧、増幅器の製造ばらつきや温度などにより、画素ごとの信号出力にばらつきが生じる。これにより、映像に固定パターンノイズが重畳されてしまう。固定パターンノイズには、感度ばらつきに起因するゲイン成分と、明るさのばらつきによるオフセット成分とに大別できる。映像を正確に出力するために、同一の対象物の撮像データの輝度値が同一となるよう赤外線撮像装置の出力値を補正する必要がある。
【0008】
斯かる問題を解決すべく、例えば非特許文献1では、撮像素子ごとに相違している感度のばらつき(非均一性)を補正する方法の代表例であるNUC(Non-Uniformity Correction)について開示されている。非特許文献1では、撮像素子の出力特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、赤外線撮像装置からの出力値を補正している。
【先行技術文献】
【特許文献】
【0009】
【非特許文献1】「IR−CCD撮像データのリアルタイム2点補正(Real-time implementation of two-point non-uniformity correction for IR-CCD imagery)」、SPIE Proc. Vol.2598、1995年
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかし、非特許文献1の2点補正方法では、異なる輝度の基準画像2枚を撮像し、該2枚の基準画像を利用して、撮像素子ごとにオフセット補正値及びゲイン補正値を算出するので、該2枚の基準画像ならびに各撮像素子のオフセット補正値及びゲイン補正値を保存するために、少なくとも画像データ4フレーム分のメモリが必要となる。このため、赤外線映像信号の画像処理には大量のメモリが必要であり、撮像装置全体のサイズが大型になり、コストが高くなり、改善策が要望されていた。
【0011】
本発明は、斯かる事情に鑑みてなされたものであり、主たる目的は、撮像部で撮像された互いに異なる均一な輝度を有する2つの画像を2つのメモリにそれぞれ保存しておき、補正値を算出する際、両メモリから前記2つの画像を読み出して、これらの画像を用いてゲイン補正値(又はオフセット補正値)を算出して、一方のメモリに保存し、他方のメモリの画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、オフセット補正値(又はゲイン補正値)を算出するような構成とすることにより、少量のメモリでゲイン補正値及びオフセット補正値を算出し、複数の撮像素子の出力値を、同一の対象物に対しては略一致するように補正し、映像に重畳している固定パターンノイズを効果的に取り除くことができる撮像装置、撮像装置の補正値算出方法、及び撮像方法を提供することにある。なお、赤外線撮像に限られず、2点で出力値を補正できる各種の撮像に適用できる。
【課題を解決するための手段】
【0012】
本発明の撮像装置は、複数の撮像素子を有する撮像部と、第1及び第2のメモリと、各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出部とを備え、前記撮像部は、撮像した第1及び第2の画像を、前記第1及び第2のメモリにそれぞれ保存し、前記補正値算出部は、前記第1及び第2のメモリから前記第1及び第2の画像を読み出し、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存し、前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出するように構成してあることを特徴とする。
【0013】
また、本発明の撮像装置は、前記補正値算出部は、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存するように構成してあることを特徴とする。
【0014】
また、本発明の撮像装置は、前記第1及び第2の画像それぞれに含まれる複数の画素の明るさに係る画素値の平均値である第1及び第2の基準値を算出する基準値算出部をさらに有し、前記補正値算出部は、前記第1及び第2の基準値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする。
【0015】
また、本発明の撮像装置は、前記撮像部で撮像された画像に重畳しているランダムノイズを除去するランダムノイズ除去部をさらに有し、該ランダムノイズ除去部で前記第1及び第2の画像のランダムノイズを除去した後、前記第1及び第2のメモリに保存するように構成してあることを特徴とする。
【0016】
また、本発明の撮像装置は、前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、前記ランダムノイズ除去部は、画素毎に前記複数フレーム間での画素値の平均演算を行なうように構成してあることを特徴とする。
【0017】
また、本発明の撮像装置は、前記複数フレーム間での画素値の平均演算を、移動平均またはIIRフィルタリングで行なうことを特徴とする。
【0018】
また、本発明の撮像装置は、前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、前記第1及び第2の画像それぞれの複数フレーム分について、フレームごとに画像に含まれる複数の画素の明るさに係る画素値の平均値をフレーム内平均値として算出するフレーム内平均値演算部と、前記フレーム内平均値演算部で算出された各フレームのフレーム内平均値を、前記第1及び第2の画像ごとに、前記複数フレーム間で平均してフレーム間平均値として算出するフレーム間平均値演算部と、前記第1及び第2の画像それぞれの複数フレーム分について、画素毎に該複数のフレーム間で画素値を平均して画素平均値として算出して、前記第1及び第2のメモリに保存する画素平均値演算部とをさらに有し、前記補正値算出部は、前記第1及び第2の画像のフレーム間平均値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記第1及び第2の画像の画素平均値に基づいて、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする。
【0019】
また、本発明の撮像装置は、前記フレーム間平均値演算部及び/または前記画素平均値演算部は、移動平均またはIIRフィルタリングを利用して平均演算を行なうことを特徴とする。
【0020】
また、本発明の撮像装置は、前記オフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正するNUC処理部をさらに備えることを特徴とする。
【0021】
また、本発明の撮像装置は、前記撮像素子は赤外線撮像素子であることを特徴とする。
【0022】
本発明の補正値算出方法は、複数の撮像素子を有する撮像部と、該撮像部が撮像した画像を保存する第1及び第2のメモリとを備える撮像装置に、各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出方法において、前記撮像部は、互いに異なる均一な照度を有する2つの被撮像体を撮像して第1及び第2の画像を取得する撮像ステップと、該第1及び第2の画像を前記第1及び第2のメモリにそれぞれ保存する保存ステップと、前記第1及び第2のメモリから前記第1及び第2の画像を読み出して、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存する第1の算出ステップと、前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出する第2の算出ステップとを含むことを特徴とする。
【0023】
また、本発明の補正値算出方法は、前記第2の算出ステップは、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存することを特徴とする。
【0024】
本発明の撮像方法は、複数の撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法において、前述した補正値算出方法で算出されたオフセット補正値及びゲイン補正値により、前記撮像素子ごとの出力値を補正して出力することを特徴とする。
【0025】
本発明にあっては、互いに異なる均一な照度を有する2つの被撮像体を撮像して得た明暗2種類の一様な第1及び第2の画像を用いて、撮像素子ごとのゲイン補正値(又はオフセット補正値)を算出し、前記第2の画像ならびに算出されたゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出することができる。また、補正値の算出処理では、ゲイン補正値(又はオフセット補正値)を算出した後、第1の画像の画素値は不要になり、かつ該算出されたゲイン補正値(又はオフセット補正値)とデータを保存するタイミングが時間的に重ならないことを利用して、メモリを共用し、算出処理では画像データ3フレーム分のメモリで十分であり、必要となるメモリを大幅に削減することが可能となる。
【0026】
本発明にあっては、補正値の算出処理では、第2の画像の画素値と算出された前記オフセット補正値(又はゲイン補正値)は、データを保存するタイミングが時間的に重ならないことを利用して、メモリを共用し、算出処理では画像データ2フレーム分のメモリで十分であり、必要となるメモリをさらに削減することが可能となる。
【0027】
本発明にあっては、2点非均一性補正方法を利用し、被撮像体の照度に対する各撮像素子の出力値の平均値、すなわち平均出力特性を、第1及び第2の基準値で確定された直線に近似し、該直線で撮像素子ごとのゲイン補正値及びオフセット補正値を算出する。これにより、各撮像素子のゲイン補正値及びオフセット補正値を、簡便かつ高精度に算出することができる。
【0028】
本発明にあっては、前記第1及び第2の画像は、画像に重畳しているランダムノイズが除去された後、ゲイン補正値及びオフセット補正値の算出処理に供給される。これにより、各撮像素子のゲイン補正値及びオフセット補正値はいっそう高精度に算出される。
【0029】
本発明にあっては、ランダムノイズの分布の時間的な不規則性を利用して、画素毎のフレーム間平均演算でランダムノイズを効果的に除去することができる。
【0030】
本発明にあっては、移動平均またはIIRフィルタリングで画素値のフレーム間平均演算を行なう。特に、IIRフィルタリングにおいては、過去フレームの画素値を保存するメモリが不要となり、かつ、加算とビットシフトのみの簡易な演算回路で効果的にランダムノイズを除去することが可能となる。
【0031】
本発明にあっては、前記2つの被撮像体の明暗2種類の一様な第1及び第2の映像を撮像し、フレーム内平均演算及びフレーム間平均演算を行なうことで、ランダムノイズが効果的に除去されたフレーム間平均値を算出し、画素毎のフレーム間平均演算を行なうことで、ランダムノイズが効果的に除去された第1及び第2の画像を取得する。そして、2点非均一性補正方法を利用して撮像素子ごとのゲイン補正値及びオフセット補正値を算出する。これにより、各撮像素子のゲイン補正値及びオフセット補正値を、簡便かつ高精度に算出することができる。
【0032】
本発明にあっては、移動平均またはIIRフィルタリングでフレーム間平均演算及び/または画素毎のフレーム間平均演算を行なう。特に、IIRフィルタリングにおいては、過去フレームの画素値を保存するメモリが不要となり、加算とビットシフトのみの簡易な演算回路でランダムノイズ除去部を構成することが可能となる。
【0033】
本発明にあっては、NUC処理部で映像に重畳している固定パターンノイズを取り除く処理を行ない、クリアな映像を作製・表示することが可能となる。
【0034】
本発明にあっては、赤外線素子の製造ばらつき、動作環境のばらつきなどによるゲイン補正値及びオフセット補正値を、少量のメモリで算出し、算出されたゲイン補正値及びオフセット補正値で複数の赤外線撮像素子の出力値を、同一の対象物に対しては略一致するように補正し、映像に重畳している固定パターンノイズを効果的に取り除くことができる。
【0035】
本発明にあっては、本発明の補正値算出方法で算出されたゲイン補正値及びオフセット補正値で、複数の撮像素子の出力値を、同一の対象物に対しては略一致するように補正する撮像方法を提供できる。
【発明の効果】
【0036】
本発明によれば、補正値の算出処理でメモリを共用することによって、算出処理で必要となるメモリを大幅に削減することが可能となる。さらに、撮像装置全体のサイズが小型になり、コストが抑えられる。
【図面の簡単な説明】
【0037】
【図1】実施形態1に係る赤外線撮像装置の構成を示すブロック図である。
【図2】実施形態1に係る赤外線撮像装置の信号処理部の構成を示すブロック図である。
【図3】実施形態1に係る補正値算出部の構成を示すブロック図である。
【図4】実施形態1に係る信号処理部による補正処理の手順を示すフローチャートである。
【図5】実施形態1に係る補正値算出処理の手順を示すフローチャートである。
【図6】照度に対する赤外線撮像素子の出力を示す説明図である。
【図7】実施形態2に係る補正値算出部の構成を示すブロック図である。
【図8】実施形態2に係る補正値算出処理の手順を示すフローチャートである。
【図9】実施形態3に係る補正値算出部の構成を示すブロック図である。
【図10】実施形態3に係る補正値算出処理の手順を示すフローチャートである。
【図11】実施形態4に係る補正値算出部の構成を示すブロック図である。
【図12】実施形態4に係る補正値算出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0038】
以下に、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施形態1)
図1は、本発明の実施形態1に係る赤外線撮像装置1の構成を示すブロック図である。なお、本実施形態に係る赤外線撮像装置1は、VOxやアモルファスシリコンなどボロメータ型、SOIダイオードやサーモパイルなどを用いた非冷却型の8〜12μmに感度帯域を持つ遠赤外線撮像素子、InGaAsなどを受光面に採用した1.0〜3.0μmに感度帯域を持つ近赤外線撮像素子などを用いる。
【0039】
図1において、赤外線撮像装置1は、画像撮像部11、信号処理部12、通信インタフェース部13を備えている。画像撮像部11は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。画像撮像部11は、周囲の赤外線光像を輝度信号として読み取り、読み取った輝度信号を信号処理部12へ送信する。なお、撮像素子は、1次元アレイ状に配置されてもよい。
【0040】
信号処理部12は、LSIなどで構成され、画像撮像部11から入力された輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、撮像素子の出力値(輝度信号)を算出する処理、欠陥素子の補正処理、ゲイン制御処理等を行う。処理された映像データは、通信インタフェース部13を介して外部の記憶装置、表示装置などへ出力される。
【0041】
図2は、本発明の実施形態1に係る赤外線撮像装置1の信号処理部12の構成を示すブロック図である。信号処理部12は、一又は複数のLSI等の演算手段により動作が制御されるA/D変換部121、NUC(Non-Uniformity Correction)処理部122、補正値算出部123、及びフラッシュメモリ等の不揮発性メモリ、SRAM等の一時記憶用メモリであるメモリ部124で構成されている。
【0042】
信号処理部12は、画像撮像部11から受信した輝度信号をA/D変換部121でデジタル信号に変換してNUC処理部122に出力する。NUC処理部122は、補正値算出部123によってあらかじめ算出されメモリ部124に保存されている補正値で撮像素子ごとに出力された輝度信号を補正する。
【0043】
補正値算出部123では、輝度信号に重畳している固定パターンノイズを除去するために、キャリブレーションによる補正係数として、撮像素子ごとに所定の照度に対して出力される輝度値を補正するオフセット補正値、及び撮像素子ごとに所定の照度変化分に対して出力される輝度値の変動分を補正するゲイン補正値を算出して、メモリ部124に保存する。
【0044】
メモリ部124は、撮像素子ごとのゲイン補正値を保存するためのメモリP2と、撮像素子ごとのオフセット補正値を保存するためのメモリP1と、後述の補正値算出処理に用いられる2つの基準値を保存するための基準値メモリA2、A1に割り当てる。なお、メモリP2、P1は、後記の補正値算出処理において、画像撮像部1で撮像された2枚の画像を一時退避するために用いられる。なお、メモリP2、P1はフレームメモリであり、基準値メモリA2、A1は画素メモリ、メモリP2、P1に対して、基準値メモリA2、A2は無視できるほどである。
【0045】
NUC処理部122は、画像撮像部11から入力されA/D変換部121で変換された輝度信号が入力されると、メモリP2に保存されているゲイン補正値及びメモリP1に保存されているオフセット補正値を利用して、輝度信号を補正する。例えばN行M列のマトリックス状に配列された撮像素子(i,j)の輝度値をVijとした場合、NUC処理部122では数1に示す演算を行うことにより撮像素子ごとの輝度値Vijを出力輝度値Vij'へ補正する。
【0046】
【数1】
【0047】
但し、Gijはゲイン補正値を、Oijはオフセット補正値を示している。
【0048】
本実施形態1では、2点非均一性補正方法を利用し、撮像素子の出力特性が線形であることを前提として、例えば黒体炉及びシャッターの均一かつ互いに異なる照度を有する2つの被撮像体を撮像して明暗2種類の一様な画像を取得し、その出力特性の傾きを線形近似し、各撮像素子の傾き及び撮像素子全体の平均傾きを算出し、撮像素子ごとに傾きが平均傾きと同一になるようにゲイン補正値を算出する。ゲイン補正値が算出されると、基準照度下の各撮像素子の輝度値の平均である基準輝度値を算出し、撮像素子ごとに、感度ばらつきを考慮して輝度値と前記基準輝度値との差分をオフセット補正値として算出する。
【0049】
図6は照度に対する赤外線撮像素子の出力を示す説明図である。図6において、横軸は照度であり、縦軸は撮像素子の出力の輝度である。図6中、直線S1〜S3は、2次元アレイにおける3つの撮像素子それぞれの出力特性を線形近似したものであり、照度eに対する各撮像素子の出力である出力特性を、直線で表している。各撮像素子のオフセット及び感度のばらつき等により、同一の照度に対する出力は、撮像素子毎に異なる場合がある。また、照度eの変動分により撮像素子の出力の変動分、即ちゲインは、ほぼ線形な特性を有し、傾きで表すことができる。したがって、照度eH と照度eL での、撮像素子の出力の平均値バーV(eH )、バーV(eL )を算出すると、撮像素子全体の平均出力特性を表す直線を確定することが可能となる。該直線の傾きで各撮像素子の出力を補正することで、感度ばらつきの除去が実現される。具体的には、以下の数2に従って撮像素子ごとのゲイン補正値Gijを算出する。
【0050】
【数2】
【0051】
但し、Vij(e)は撮像素子(i,j)の照度eでの出力値を示している。
【0052】
また、撮像素子ごとのオフセット補正値Oijは、ゲイン補正値Gijが算出された後、例えば照度eL を基準照度として、感度ばらつきを考慮して撮像素子の出力平均値バーV(eL )との差分として、以下の数3に従って算出することができる。
【数3】
【0053】
図3は、本実施形態1に係る補正値算出部123の構成を示すブロック図である。図5は、本実施形態1に係る補正値算出処理の手順を示すフローチャートである。以下、図3、図5に基づいて本実施形態1の補正値算出処理を詳しく説明する。
【0054】
補正値算出部123は、図3に示すように、ランダムノイズ除去部231、基準値算出部232、オフセット補正値算出部233、ゲイン補正値算出部234を備える。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して、第1輝度の第1の映像を取得する(ステップS501)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS502)、ランダムノイズ除去部231へ出力される。ランダムノイズ除去部231は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出して、画素ごとのフレーム間平均演算により、画素ごとに個別に該nフレーム分の輝度平均値を計算する(ステップS503)。例えば、ランダムノイズ除去部231では数4に示す演算を行うことにより、第1照度eH 下の第1の映像に対して、画素即ち撮像素子ごとに、輝度値Vij(eH )からフレーム間平均値バーVij(eH )を算出する。これにより、ランダムノイズを除去することが可能となる。
【0055】
【数4】
【0056】
但し、Vijf(e)は照度eで、第fフレームの画素(i,j)の値を示している。
【0057】
また、平均値の計算ではなく、移動平均やIIR(Infinite Impulse Response,無限インパルス応答)フィルタを用いて計算を行ってもよい。特に、IIRフィルタを用いると過去フレームの輝度値を保存するメモリが不要となり、かつ、加算とビットシフトのみの簡易な演算回路で効果的にランダムノイズを除去することが可能となる。
【0058】
算出された画素ごとのフレーム間平均値バーVij(eH )は、メモリP1に保存されるとともに、基準値算出部232へ出力される。基準値算出部232は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eH )から1フレーム(1画面)の全ての画素の平均値を、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS504)。算出された第1の基準輝度値VH は基準値メモリA1に保存される。
【0059】
【数5】
【0060】
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS505)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS506)、ランダムノイズ除去部231へ出力する。ランダムノイズ除去部231は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、画素ごとに輝度のフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS507)とともに、基準値算出部232へ出力する。基準値算出部232は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eL )から、1フレーム(1画面)の全ての画素の平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出する(ステップS508)。算出された第2の基準輝度値VL は基準値メモリA2に保存される。
【0061】
そして、ゲイン補正値算出部234は、画素ごとにメモリP1、P2から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、これらの値を用いてゲイン補正値を計算する(ステップS509)。例えば、画素(i,j)についてゲイン補正値を算出する場合、ゲイン補正値算出部234は、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、メモリP1、P2から画素(i,j)のフレーム間平均値バーVij(eH )、バーVij(eL )を読み出して、数6に従って該画素(i,j)についてのゲイン補正値Gijを算出する。
【0062】
【数6】
【0063】
なお、前述のように、撮像素子ごとのオフセット補正値Oijは、ゲイン補正値Gijが算出されると、例えば照度eL を基準照度として、感度ばらつきを考慮して基準輝度値VL との差分として算出される。つまり、ゲイン補正値Gijが算出されると、第1の映像の画素ごとのフレーム間平均値バーVij(eH )は不必要になる。したがって、ゲイン補正値Gijが算出されると、第1の映像の画素ごとのフレーム間平均値バーVij(eH )を廃棄して、ゲイン補正値GijをメモリP1に保存することができる。
【0064】
次に、オフセット補正値算出部233は、画素ごとにメモリP1からゲイン補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、オフセット補正値を計算する(ステップS510)。例えば、画素(i,j)についてオフセット補正値を計算する場合、オフセット補正値算出部233は、メモリP1から画素(i,j)のゲイン補正値Gij、メモリP2から画素(i,j)のフレーム間平均値バーVij(eL )、基準値メモリA2から第2の基準輝度値VL を読み出して、数7に従って該画素(i,j)についてのオフセット補正値Oijを算出する。
【0065】
【数7】
【0066】
なお、オフセット補正値Oijが算出されると、メモリP2に保存されている第2の映像の画素ごとのフレーム間平均値バーVij(eL )は不必要になる。したがって、オフセット補正値OijをメモリP2に保存する。
【0067】
以上のように算出されたオフセット補正値及びゲイン補正値は、メモリ部124に保存されておき、実際の撮像時には、NUC処理部122は、保存されてあるオフセット補正値及びゲイン補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。
【0068】
以下、実際の撮像時に、本実施形態1に係る赤外線撮像装置1の信号処理部12での出力された輝度信号(出力値)の補正処理について説明する。図4は、本実施形態1に係る信号処理部12による補正処理の手順を示すフローチャートである。
【0069】
赤外線撮像装置1の画像撮像部11は、被撮像体を撮像し、撮像素子ごとの出力値が信号処理部12へ送信される。信号処理部12は、画像撮像部11から撮像素子ごとの輝度信号を受信し(ステップS401)、デジタル信号Vijへ変換する(ステップS402)。
【0070】
信号処理部12は、メモリ部124に保存してあるオフセット補正値及びゲイン補正値を読み出して(ステップS403)、画像撮像部11で撮像された輝度信号を補正する(ステップS404)。補正された輝度信号は出力輝度値Vij'として外部へ出力する(ステップS405)。
【0071】
以上のように本実施形態1によれば、異なる輝度を有する2種の基準画像に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズ(ゲイン成分やオフセット成分)を取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
【0072】
また、ゲイン補正値及びオフセット補正値を算出する処理では、2種の基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。
【0073】
(実施形態2)
以下、本発明の実施形態2に係る赤外線撮像装置について、図面を参照しながら詳細に説明する。実施形態2に係る赤外線撮像装置は、補正値算出部125の構成が実施形態1と相違する。それ以外は、本実施形態2に係る撮像装置は実施形態1に係る撮像装置と同様に構成されているため、説明は省略する。
【0074】
図7は、本実施形態2に係る補正値算出部125の構成を示すブロック図である。図8は、本実施形態2に係る補正値算出処理の手順を示すフローチャートである。以下、図7、図8に基づいて本実施形態2の補正値算出処理を詳しく説明する。補正値算出部125は、図7に示すように、フレーム内平均演算部251、フレーム間平均演算部252、画素平均値演算部255、オフセット補正値算出部253、ゲイン補正値算出部254を備える。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して第1輝度の第1の映像を取得する(ステップS801)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS802)、フレーム内平均演算部251及び画素平均値演算部255へ出力される。フレーム内平均演算部251は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出し、各フレームについて、数8によるフレーム内平均演算を実行することで、各フレームの平均輝度値バーVf (eH )を算出し、フレーム間平均演算部252へ出力する(ステップS803)。
【0075】
【数8】
【0076】
フレーム間平均演算部252は、数9に示すフレーム間平均演算により、各フレームの平均輝度値をnフレーム間で平均して、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS804)。算出された基準輝度値VH は基準値メモリA1に保存される。
【0077】
【数9】
【0078】
また、画素平均値演算部255は、前記第1の映像のnフレームについて、画素ごとのフレーム間平均演算により、画素ごと個別に該nフレーム分の輝度平均値を計算する。例えば、数4による演算で、第1照度eH 下の第1の映像に対して、画素即ち撮像素子ごとにフレーム間平均値バーVij(eH )を算出する。算出されたバーVij(eH )は、メモリP1に保存される(ステップS805)。
【0079】
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS806)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS807)、フレーム内平均演算部251及び画素平均値演算部255へ出力される。フレーム内平均演算部251は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、nフレーム分のフレーム内平均値を算出して、フレーム間平均演算部252へ出力する(ステップS808)。フレーム間平均演算部252は、nフレームの平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出して、基準値メモリA2に保存する(ステップS809)。また、画素平均値演算部255は、前記第2の映像のnフレームに対して、画素ごとにフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS810)
【0080】
これにより、本実施形態2の補正値算出部125は上記の実施形態1の補正値算出部123と同様に、映像に重畳しているランダムノイズを除去することが可能となる。また、平均値の計算ではなく、移動平均やIIRフィルタを用いて計算を行ってもよい。
【0081】
次に、ゲイン補正値及びオフセット補正値の算出処理について説明する。本実施形態2のオフセット補正値算出部253及びゲイン補正値算出部254の算出動作は、上記実施形態1のオフセット補正値算出部233及びゲイン補正値算出部234の算出動作と同様である。まず、ゲイン補正値算出部234は、画素ごとにメモリP1、P1から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、数6に従ってゲイン補正値Gijを算出して、メモリP1に保存する(ステップS811)。次に、オフセット補正値算出部253は、画素ごとにメモリP1からゲイン補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、数7に従ってオフセット補正値Oijを算出して、メモリP2に保存する(ステップS812)。
【0082】
これにより、本実施形態2の補正値算出部125は上記実施形態1の補正値算出部123と同様に、異なる輝度を有する2種の基準画像に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズを取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
【0083】
また、ゲイン補正値及びオフセット補正値を算出する処理では、2種の基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。
【0084】
(実施形態3)
以下、本発明の実施形態3に係る赤外線撮像装置について、図面を参照しながら詳細に説明する。実施形態3に係る赤外線撮像装置は、補正値算出部126の構成が実施形態1と相違する。それ以外は、本実施形態3に係る撮像装置は実施形態1に係る撮像装置と同様に構成されているため、説明は省略する。
【0085】
図9は、本実施形態3に係る補正値算出部126の構成を示すブロック図である。図10は、本実施形態3に係る補正値算出処理の手順を示すフローチャートである。以下、図9、図10に基づいて本実施形態3の補正値算出処理を詳しく説明する。補正値算出部126は、図9に示すように、ランダムノイズ除去部261、基準値算出部262、オフセット補正値算出部263、ゲイン補正値算出部264を備える。本実施形態3のランダムノイズ除去部261、基準値算出部262の構成及び動作は、上記実施形態1のランダムノイズ除去部231、基準値算出部232と同様である。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して第1輝度の第1の映像を取得する(ステップS1001)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS1002)、ランダムノイズ除去部261へ出力される。ランダムノイズ除去部261は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出し、数4に示すフレーム間平均演算により、画素ごとに個別に該nフレーム分のフレーム間平均値バーVij(eH )を算出し、メモリP1に保存するとともに、基準値算出部262へ出力する(ステップS1003)。これにより、ランダムノイズを除去することが可能となる。
【0086】
次に、基準値算出部262は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eH )から1フレーム(1画面)の全ての画素の平均値を、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS1004)。算出された基準輝度値VH は基準値メモリA1に保存される。
【0087】
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS1005)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS1006)、ランダムノイズ除去部261へ出力する。ランダムノイズ除去部261は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、画素ごとに輝度のフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS1007)とともに、基準値算出部262へ出力する。基準値算出部262は、数5に示すフレーム内平均演算により、該入力された画素ごとのフレーム間平均値バーVij(eL )から、1フレーム(1画面)の全ての画素の平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出する(ステップS1008)。算出された第2の基準輝度値VL は基準値メモリA2に保存される。
【0088】
次に、オフセット補正値算出部263は、画素ごとにメモリP1、P2から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、これらの値を用いてオフセット補正値を算出して、メモリP1に保存する(ステップS1009)。上述した実施形態1、2では、第1及び第2の基準輝度値VH 、VL で撮像素子の平均出力特性を表す直線を確定し、撮像素子ごとのゲイン補正値Gijを算出した後、照度eL を基準照度として、感度ばらつきを考慮してオフセット補正値Oijを算出する場合について説明したが、本発明はこれに限られず、撮像素子ごとのオフセット補正値Oijを算出した後、ゲイン補正値Gijを算出しても良い。例えば、遠赤外線撮像の場合、前記第2照度eL を絶対温度下の照度にして該絶対温度下の撮像素子の出力平均値との差分として、オフセット補正値Oijを算出する。この他、前記数6、数7から得られる下記の数10にしたがって、オフセット補正値Oijを算出してもよい。
【0089】
【数10】
【0090】
次に、ゲイン補正値算出部264は、画素ごとにメモリP1からオフセット補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、数11に従ってゲイン補正値Gijを算出して、メモリP2に保存する(ステップS1010)。
【0091】
【数11】
【0092】
これにより、本実施形態3の補正値算出部126は上記実施形態1、2の補正値算出部123、125と同様に、異なる輝度を有する2種の基準画像に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズを取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
【0093】
また、ゲイン補正値及びオフセット補正値を算出する処理では、2種の基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。
【0094】
(実施形態4)
以下、本発明の実施形態4に係る赤外線撮像装置について、図面を参照しながら詳細に説明する。実施形態4に係る赤外線撮像装置は、補正値算出部127の構成が実施形態1と相違する。それ以外は、本実施形態4に係る撮像装置は実施形態1に係る撮像装置と同様に構成されているため、説明は省略する。
【0095】
図11は、本実施形態4に係る補正値算出部127の構成を示すブロック図である。図12は、本実施形態4に係る補正値算出処理の手順を示すフローチャートである。以下、図11、図12に基づいて本実施形態4の補正値算出処理を詳しく説明する。補正値算出部127は、図11に示すように、フレーム内平均演算部271、フレーム間平均演算部272、画素平均値演算部275、オフセット補正値算出部273、ゲイン補正値算出部274を備える。補正値を算出する際、まず、画像撮像部11は略均一の第1照度eH を有する被撮像体を撮像して第1輝度の第1の映像を取得する(ステップS1201)。取得された第1の映像はA/D変換部121でデジタル信号に変換されて(ステップS1202)、フレーム内平均演算部271及び画素平均値演算部275へ出力される。フレーム内平均演算部271は、A/D変換された第1の映像から数フレーム例えばnフレームを抽出し、各フレームについて、数8にしたがって各フレームの平均輝度値を算出し、フレーム間平均演算部272へ出力する(ステップS1203)。
【0096】
フレーム間平均演算部272は、数9に示すフレーム間平均演算により、各フレームの平均輝度値をnフレーム間で平均して、第1照度eH 下の撮像素子の出力の基準値である第1の基準輝度値VH として算出する(ステップS1204)。算出された基準輝度値VH は基準値メモリA1に保存される。
【0097】
また、画素平均値演算部275は、前記第1の映像のnフレームについて、数4による画素ごとのフレーム間平均演算により、画素ごと個別に該nフレーム分のフレーム間平均値バーVij(eH )を算出し、メモリP1に保存される(ステップS1205)。
【0098】
次に、画像撮像部11は、略均一の前記第1照度eH より低い第2照度eL を有する被撮像体を撮像し、第2輝度の第2の映像を取得する(ステップS1206)。取得された第2の映像はA/D変換部121でデジタル信号に変換して(ステップS1207)、フレーム内平均演算部271及び画素平均値演算部275へ出力される。フレーム内平均演算部271は、A/D変換された第2の映像に対して、上述の第1の映像と同様に、nフレーム分のフレーム内平均値を算出して、フレーム間平均演算部272へ出力する(ステップS1208)。フレーム間平均演算部272は、nフレームの平均値を、第2照度eL 下の撮像素子の出力の基準値である第2の基準輝度値VL として算出して、基準値メモリA2に保存する(ステップS1209)。また、画素平均値演算部275は、前記第2の映像のnフレームに対して、画素ごとにフレーム間平均値バーVij(eL )を算出し、メモリP2に保存する(ステップS1210)
【0099】
これにより、本実施形態4の補正値算出部127は上記の実施形態1〜3と同様に、映像に重畳しているランダムノイズを除去することが可能となる。また、平均値の計算ではなく、移動平均やIIRフィルタを用いて計算を行ってもよい。
【0100】
次に、ゲイン補正値及びオフセット補正値の算出処理について説明する。本実施形態4のオフセット補正値算出部273及びゲイン補正値算出部274の算出動作は、上記実施形態3のオフセット補正値算出部263及びゲイン補正値算出部264の算出動作と同様である。まず、オフセット補正値算出部273は、画素ごとにメモリP1、P2から画素のフレーム間平均値を読み出して、基準値メモリA1、A2から第1及び第2の基準輝度値VH 、VL を読出し、これらの値を用いてオフセット補正値Oijを算出して、メモリP1に保存する(ステップS1211)。次に、ゲイン補正値算出部274は、画素ごとにメモリP1からオフセット補正値、メモリP2から画素のフレーム間平均値を読み出して、基準値メモリA2から第2の基準輝度値VL を読出し、ゲイン補正値Gijを算出して、メモリP2に保存する(ステップS1212)。
【0101】
これにより、本実施形態4の補正値算出部127は上記実施形態1〜3の補正値算出部と同様に、異なる輝度を有する基準画像2枚に基づいて、撮像素子ごとのゲイン(感度)補正値及びオフセット補正値を算出する。この算出結果を用いて、映像に重畳している固定パターンノイズを取り除くNUC処理を行ない、クリアな映像を作製・表示することが可能となる。
【0102】
また、ゲイン補正値及びオフセット補正値を算出する処理では、2枚基準画像の画素ごとの輝度値ならびにゲイン補正値及びオフセット補正値は、データを保存するタイミングが時間的に重ならないため、メモリを共用することが可能であることを利用して、算出処理で必要となるメモリを大幅に削減することが可能となる。
【0103】
以上、図面に基づいて本発明の実施形態を詳述したが、本発明は前記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
【0104】
例えば、前記実施形態1〜4において、赤外線撮像装置1の撮像開始前に補正値算出処理を実行しているが、補正値算出処理を実行するタイミングはこれに限定されるものではなく、例えば一定時間ごとに補正値算出処理を実行して、ゲイン補正値及びオフセット補正値を更新しても良い。また、赤外線撮像装置1の出荷時、ゲイン補正値及びオフセット補正値の初期値を保存しておき、随時シャッターを閉じた状態で補正値算出処理を実行して、算出結果によりゲイン補正値及びオフセット補正値を更新しても良い。
【0105】
また、前記実施形態1〜4において、オフセット補正値は、照度eL を基準照度とし、感度ばらつきを考慮して基準照度での撮像素子の出力基準値との差分として算出されるが、これに限定されるものではなく、例えば、照度eH を基準照度とし、感度ばらつきを考慮して基準照度での撮像素子の出力基準値との差分として算出してもよい。また、遠赤外線撮像の場合、絶対温度下の照度でオフセット補正値を算出しておき、実際に撮像の際、輝度値に基づいて撮像対象物の温度を推定し、算出されたオフセット補正値を該温度に応じて補完してもよい。
【0106】
また、前記実施形態1〜4において、赤外線撮像素子に係るゲイン補正値及びオフセット補正値を算出することを説明したが、これに限定されるものではなく、2点非均一性補正方法によって出力値を補正できる各種の撮像に適用することが可能となる。
【符号の説明】
【0107】
11 画像撮像部
124 メモリ部
231、261 ランダムノイズ除去部
233、253、263、273 オフセット補正値算出部
234、254、264、274 ゲイン補正値算出部
232、262 基準値算出部
251、271 フレーム内平均演算部
252、272 フレーム間平均演算部
255、275 画素平均値演算部
【特許請求の範囲】
【請求項1】
複数の撮像素子を有する撮像部と、
第1及び第2のメモリと、
各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出部と
を備え、
前記撮像部は、撮像した第1及び第2の画像を、前記第1及び第2のメモリにそれぞれ保存し、
前記補正値算出部は、前記第1及び第2のメモリから前記第1及び第2の画像を読み出し、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存し、前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出するように構成してあることを特徴とする撮像装置。
【請求項2】
前記補正値算出部は、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存するように構成してあることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記第1及び第2の画像それぞれに含まれる複数の画素の明るさに係る画素値の平均値である第1及び第2の基準値を算出する基準値算出部をさらに有し、
前記補正値算出部は、前記第1及び第2の基準値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記撮像部で撮像された画像に重畳しているランダムノイズを除去するランダムノイズ除去部をさらに有し、
該ランダムノイズ除去部で前記第1及び第2の画像のランダムノイズを除去した後、前記第1及び第2のメモリに保存するように構成してあることを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
【請求項5】
前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、
前記ランダムノイズ除去部は、画素毎に前記複数フレーム間での画素値の平均演算を行なうように構成してあることを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記複数フレーム間での画素値の平均演算を、移動平均またはIIRフィルタリングで行なうことを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、
前記第1及び第2の画像それぞれの複数フレーム分について、フレームごとに画像に含まれる複数の画素の明るさに係る画素値の平均値をフレーム内平均値として算出するフレーム内平均値演算部と、
前記フレーム内平均値演算部で算出された各フレームのフレーム内平均値を、前記第1及び第2の画像ごとに、前記複数フレーム間で平均してフレーム間平均値として算出するフレーム間平均値演算部と、
前記第1及び第2の画像それぞれの複数フレーム分について、画素毎に該複数のフレーム間で画素値を平均して画素平均値として算出して、前記第1及び第2のメモリに保存する画素平均値演算部と
をさらに有し、
前記補正値算出部は、前記第1及び第2の画像のフレーム間平均値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記第1及び第2の画像の画素平均値に基づいて、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする請求項1または2に記載の撮像装置。
【請求項8】
前記フレーム間平均値演算部及び/または前記画素平均値演算部は、移動平均またはIIRフィルタリングを利用して平均演算を行なうことを特徴とする請求項7に記載の撮像装置。
【請求項9】
前記オフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正するNUC処理部をさらに備えることを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
【請求項10】
前記撮像素子は赤外線撮像素子であることを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
【請求項11】
複数の撮像素子を有する撮像部と、該撮像部が撮像した画像を保存する第1及び第2のメモリとを備える撮像装置に、各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出方法において、
前記撮像部は、互いに異なる均一な照度を有する2つの被撮像体を撮像して第1及び第2の画像を取得する撮像ステップと、
該第1及び第2の画像を前記第1及び第2のメモリにそれぞれ保存する保存ステップと、
前記第1及び第2のメモリから前記第1及び第2の画像を読み出して、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存する第1の算出ステップと、
前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出する第2の算出ステップと
を含むことを特徴とする補正値算出方法。
【請求項12】
前記第2の算出ステップは、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存することを特徴とする請求項11に記載の補正値算出方法。
【請求項13】
複数の撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法において、請求項11または12に記載の補正値算出方法で算出されたオフセット補正値及びゲイン補正値により、前記撮像素子ごとの出力値を補正して出力することを特徴とする撮像方法。
【請求項1】
複数の撮像素子を有する撮像部と、
第1及び第2のメモリと、
各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出部と
を備え、
前記撮像部は、撮像した第1及び第2の画像を、前記第1及び第2のメモリにそれぞれ保存し、
前記補正値算出部は、前記第1及び第2のメモリから前記第1及び第2の画像を読み出し、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存し、前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出するように構成してあることを特徴とする撮像装置。
【請求項2】
前記補正値算出部は、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存するように構成してあることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記第1及び第2の画像それぞれに含まれる複数の画素の明るさに係る画素値の平均値である第1及び第2の基準値を算出する基準値算出部をさらに有し、
前記補正値算出部は、前記第1及び第2の基準値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記撮像部で撮像された画像に重畳しているランダムノイズを除去するランダムノイズ除去部をさらに有し、
該ランダムノイズ除去部で前記第1及び第2の画像のランダムノイズを除去した後、前記第1及び第2のメモリに保存するように構成してあることを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
【請求項5】
前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、
前記ランダムノイズ除去部は、画素毎に前記複数フレーム間での画素値の平均演算を行なうように構成してあることを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記複数フレーム間での画素値の平均演算を、移動平均またはIIRフィルタリングで行なうことを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記撮像部は、前記第1及び第2の画像それぞれ複数フレーム分を撮像し、
前記第1及び第2の画像それぞれの複数フレーム分について、フレームごとに画像に含まれる複数の画素の明るさに係る画素値の平均値をフレーム内平均値として算出するフレーム内平均値演算部と、
前記フレーム内平均値演算部で算出された各フレームのフレーム内平均値を、前記第1及び第2の画像ごとに、前記複数フレーム間で平均してフレーム間平均値として算出するフレーム間平均値演算部と、
前記第1及び第2の画像それぞれの複数フレーム分について、画素毎に該複数のフレーム間で画素値を平均して画素平均値として算出して、前記第1及び第2のメモリに保存する画素平均値演算部と
をさらに有し、
前記補正値算出部は、前記第1及び第2の画像のフレーム間平均値を用いて、被撮像体の照度に対する前記撮像部の出力を示す出力特性の直線を確定し、前記撮像素子ごとの出力値が該直線と一致するように、前記第1及び第2の画像の画素平均値に基づいて、前記ゲイン補正値及びオフセット補正値を算出するように構成してあることを特徴とする請求項1または2に記載の撮像装置。
【請求項8】
前記フレーム間平均値演算部及び/または前記画素平均値演算部は、移動平均またはIIRフィルタリングを利用して平均演算を行なうことを特徴とする請求項7に記載の撮像装置。
【請求項9】
前記オフセット補正値及びゲイン補正値により撮像素子ごとに出力値を補正するNUC処理部をさらに備えることを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
【請求項10】
前記撮像素子は赤外線撮像素子であることを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
【請求項11】
複数の撮像素子を有する撮像部と、該撮像部が撮像した画像を保存する第1及び第2のメモリとを備える撮像装置に、各撮像素子の感度ばらつきを補正するゲイン補正値及びオフセットばらつきを補正するオフセット補正値を、前記撮像素子ごとに算出する補正値算出方法において、
前記撮像部は、互いに異なる均一な照度を有する2つの被撮像体を撮像して第1及び第2の画像を取得する撮像ステップと、
該第1及び第2の画像を前記第1及び第2のメモリにそれぞれ保存する保存ステップと、
前記第1及び第2のメモリから前記第1及び第2の画像を読み出して、該第1及び第2の画像を用いて前記ゲイン補正値(又はオフセット補正値)を算出して、前記第1のメモリに保存する第1の算出ステップと、
前記第2の画像及び算出された前記ゲイン補正値(又はオフセット補正値)を用いて、前記オフセット補正値(又はゲイン補正値)を算出する第2の算出ステップと
を含むことを特徴とする補正値算出方法。
【請求項12】
前記第2の算出ステップは、算出された前記オフセット補正値(又はゲイン補正値)を前記第2のメモリに保存することを特徴とする請求項11に記載の補正値算出方法。
【請求項13】
複数の撮像素子を有する撮像部を備える撮像装置に用いられる撮像方法において、請求項11または12に記載の補正値算出方法で算出されたオフセット補正値及びゲイン補正値により、前記撮像素子ごとの出力値を補正して出力することを特徴とする撮像方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−44813(P2011−44813A)
【公開日】平成23年3月3日(2011.3.3)
【国際特許分類】
【出願番号】特願2009−190372(P2009−190372)
【出願日】平成21年8月19日(2009.8.19)
【出願人】(000002130)住友電気工業株式会社 (12,747)
【Fターム(参考)】
【公開日】平成23年3月3日(2011.3.3)
【国際特許分類】
【出願日】平成21年8月19日(2009.8.19)
【出願人】(000002130)住友電気工業株式会社 (12,747)
【Fターム(参考)】
[ Back to top ]