オフセット補正処理装置
【課題】通常のシーンの撮像において、ターゲットの撮像を行いながら撮像装置の素子の出力のオフセット補正を行うことを可能にする。
【解決手段】ターゲットの同一の部分を異なる素子で撮像したときに生じた素子間での補正後の出力の違いを解消するように、オフセット補正テーブルを変更することにより、撮像を停止することなくオフセットの補正を行う。
【解決手段】ターゲットの同一の部分を異なる素子で撮像したときに生じた素子間での補正後の出力の違いを解消するように、オフセット補正テーブルを変更することにより、撮像を停止することなくオフセットの補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線撮像装置において取得された画像のばらつきを補正する処理の技術に関する。
【背景技術】
【０００２】
赤外線撮像装置に含まれる各素子には、ゲインばらつき、オフセットばらつきがあるため、補正を行わずに撮像すると一様温度面を撮像しても出力が一定にはならない。従って、一様温度面を撮像したときの各素子の出力が一定になるように、ゲインおよびオフセットのばらつきを補正する必要がある。このとき、低温基準熱源と高温基準熱源の二種類の熱源を撮像したときのデータを用いて補正が行われる。
【０００３】
具体的には、各素子のゲイン補正テーブル（Gi）、および、各素子のオフセット補正テーブル（Oi）は以下のように算出される。
Gi＝(Have−Lave)/(Hi−Li)
Oi＝Lave−Li×Gi
ここで、
Hi：高温基準熱源撮像時の各素子の出力
Li：低温基準熱源撮像時の各素子の出力
Have：高温基準熱源撮像時の全素子の出力平均
Lave：低温基準熱源撮像時の全素子の出力平均。
【０００４】
さらに出力補正は以下のように行われる。
Ci＝Ii×Gi＋Oi
ここで
Ii：シーン撮像時の各素子の出力
Ci：シーン撮像時の各素子の補正出力。
【０００５】
しかし、ゲインおよびオフセットのばらつきを補正するためのデータを作成した後で、さらにゲインばらつき、および、オフセットばらつきが変化してしまった場合には、再度、二種類の基準熱源を用いて補正用データを作成しなおす必要が生じる。ここで、ゲインばらつきの経時変化は小さいため、ゲインの補正に用いるゲイン補正テーブルを電源投入直後に一度作成して、その後の補正に使用することができる。あるいは、あらかじめ生成したゲイン補正テーブルをROMなどに格納しておき、それを読み出して使用することも可能である。つまり、オフセットばらつきについてのみ、経時変化を考慮して補正用データを更新することもできる。この場合には、既存のゲイン補正テーブルを利用し、一種類の基準熱源のみを撮像してオフセット補正テーブルの更新を行うことが可能である。温度がほぼ均一な背景を撮像することによっても同様に、オフセットのみの補正が可能であるため、光学系の焦点をぼかして、背景などをほぼ一様の温度面として撮像することによるオフセット補正も行われてきた。
【０００６】
しかし、上記の従来方法では、オフセット補正テーブルの更新のためにターゲットの撮像を中断せざるを得ない。
特許文献１では、上記の問題を考慮した赤外線撮像装置の感度補正装置が記載されている。すなわち、赤外線検知器を視野に対して一周するように走査して得られる複数のフレームデータを間引き、および積分することによりオフセット補正データを取得する装置が開示されている。
【０００７】
しかし、特許文献１に記載された装置においては、指向手段により視軸を大きく動かしているため、共通に撮像される領域が非常に小さく、ターゲットを大きく撮像し続けることができない。つまり、空などの単純背景における微小物体の撮像などの、極めて限定された対象の撮像しか行うことができない。
【特許文献１】特開平５−２６４３５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述のとおり、従来技術にかかる素子の出力のオフセットを補正する方式のうち、基準熱源を用いる方式や光学系の焦点ぼかしを行う方式では、補正テーブルを更新するためにターゲットの撮像を一時中断する必要が生じる。また、特許文献１に記載されている、指向手段により視軸を大きく動かす方式においてはターゲットを大きく撮像することができない。さらに、特許文献１で開示された方式では擬似的にシーンを一様にして撮像するため、背景が空などの単純背景である場合にしか用いることができない。つまり、背景が複雑なシーンの撮像やターゲットが背景部分の大きさに対して微小とはいえない場合においては、実質上、オフセット補正値を更新するためにシーンの撮像を中止する必要がある。
【０００９】
本発明の課題はこの問題を解決することである。すなわち、本発明の課題は、任意のターゲットについて、ターゲットの撮像を行いながらオフセット補正テーブルの更新を行うことを可能にすることである。
【課題を解決するための手段】
【００１０】
本発明のオフセット補正処理装置は、画像取得手段と、前記画像取得手段の視軸を移動する指向手段と、前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正する補正手段と、前記画像取得手段が画像を取得した後、次の画像を取得する前に前記指向手段が前記画像取得手段の視軸を移動させることを繰り返して複数の画像を取得することにより、異なる複数の素子で同一撮像対象に対する前記補正手段による補正後の前記複数の素子の素子間出力差を用いて更新量を求め、該更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新するデータ更新手段と、を有する。
【００１１】
上記オフセット補正処理装置においては、画像取得手段に含まれる複数の素子によって、同一の撮像対象の同一部分が撮像されたときのデータを用いてオフセット補正用データを更新する。同一の撮像対象の同一部分が撮像された場合は、素子のオフセットおよびゲインの補正が十分に行われていれば、いずれの素子からの出力も同一になるはずである。同一の撮像対象の同一部分を撮像したときの出力に素子間で差があれば、その差を小さくするように補正をすれば素子間の出力のばらつきを小さくすることができる。そこで、素子間での出力の差を用いてオフセット補正用データの更新量を求め、求めた更新量によって、更新を行う。また、指向手段によって画像取得手段の視軸を移動させることにより、異なる素子で同一の撮像対象の同一部分を撮像することができる。
【００１２】
かかる処理は撮像対象を撮像しながら行うことが可能である。従って、本発明によれば撮像対象の撮像を中止することなく、素子間のオフセットばらつきを小さくすることが可能になる。
【発明の効果】
【００１３】
従来の技術では、素子の出力のオフセット補正用データを更新するためには、複雑な背景を持つターゲットシーンの撮像を中止する必要があった。また、特許文献１に記載された方式はターゲット（撮像対象）が小さく、背景が単純な場合しか用いることができず、実質上、オフセット補正用データを更新するためにはターゲットシーンの撮像を中止する
必要があった。本発明によれば、撮像中のデータを用いてオフセット補正テーブルを更新することができる。このため、ターゲットシーンの撮像を中止することなく、十分に補正された画像を取得することが可能である。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
＜オフセット補正処理装置の概要＞
図１はオフセット補正処理装置の概要を表す図である。本発明に係るオフセット補正処理装置の例には、画像取得部１、指向部２、補正部３、補正テーブル更新可能領域算出部４、および、補正テーブル更新部５を備えるものがある。これらの部分によって、初期補正処理テーブルの算出、画像取得と指向部２による視軸移動、補正テーブル更新可能領域の判断、補正テーブルの更新を行うことによって、撮像を続けながらオフセット補正値を更新する。
【００１５】
（１）初期補正処理テーブルの算出
オフセット補正処理装置に電源が投入されると、まず、従来法どおりに低温基準熱源と高温基準熱源の二種類の熱源を用いて初期補正処理テーブルが作成される。作成された初期補正処理テーブルはメモリに記憶される。
【００１６】
作成された初期補正テーブルに含まれるデータが有効な値である期間中は、一様温度面を撮像した場合に補正後の各素子の出力は同一の値を示すことになる。撮像するものがターゲットシーンであった場合でも、補正テーブルに含まれるデータが有効な間は、ターゲットシーンの同一の部分を撮像している素子間では、補正後の出力は、同一であるはずである。すなわち、素子間に出力の差があった場合には、前述の通りゲインばらつきは経時変化をほとんどしないため、出力の差がオフセット補正値のずれであるとみなすことができる。従って、ターゲットの同一の部分を異なる素子で撮像したときに生じた素子間での補正後の出力の違いを解消するようにオフセット補正テーブルを変更すると、撮像を停止することなくオフセットの補正が可能となる。
【００１７】
（２）画像取得と指向部による視軸移動
ターゲットの同一の部分を異なる素子で撮像したデータを得るために、画像取得部１と指向部２を用いる。
【００１８】
まず、画像取得部１でターゲットの撮像が行われると、得られたターゲットの画像データは補正部３に送られる。補正部３において、あらかじめメモリに記憶されている初期補正処理テーブルのデータを用いて、各素子の出力のゲインおよびオフセットを補正した出力を求める。補正後のデータは、補正画像として出力されると同時に、補正テーブル更新可能領域算出部４および補正テーブル更新部５に送られる。
【００１９】
次に指向部２が画像取得部１の視軸を移動させる。視軸が移動した後に画像取得部１でターゲットの撮像が行われ、同様に補正部３で処理が行われて補正画像が得られる。視軸移動後に取得された補正画像も、補正テーブル更新可能領域算出部４および補正テーブル更新部５に送られる。なお、本明細書中で「視軸」および「光軸」は同義である。
【００２０】
（３）補正テーブル更新可能領域の判断
複数の補正画像が補正テーブル更新可能領域算出部４に送られると、得られた複数の補正画像について「ターゲットシーンの同一の部分を異なる素子で撮像したデータ」の関係にあるかを判断する。
【００２１】
この判断は補正テーブル更新可能領域算出部４によって行われる。補正テーブル更新可
能領域算出部４において、各々の補正画像の一部分が比較領域として切り出される。ここで、画像取得部分の視軸の移動以外に撮像装置とターゲットとに一切、移動が無ければ、得られた各フレームは視軸の移動分だけずらすとターゲットシーンの同一部分を撮像することになる。そこで、ある画像を取得したときの視軸を基準として、各画像を取得したときに指向部２によって行われた視軸の移動に基づいて、各フレームについて比較領域の切り出し位置が決定される。すなわち、視軸の移動に合わせてフレームからの切り出し位置を変化させることによって、同一部分を撮像していると考えられる部分同士の画像を比較する。切り出された比較領域同士の相関値を求め、相関値が閾値以上であれば、同一部分を撮像している可能性があると判断され、その比較領域は補正テーブル更新可能領域とされる。なお、本明細書では「補正テーブル更新可能領域」を「更新可能領域」と記載することがある。
【００２２】
（４）補正テーブルの更新
補正テーブル更新可能領域算出部４で得られた判定結果は補正テーブル更新部５に送られる。補正テーブル更新部５は補正テーブル更新可能領域算出部４の判定結果によって更新可能とされた部分について、同一部分を撮像した複数の素子からの出力を比較する。ここで、前述のとおり、素子の出力のゲインばらつきは経時変化が小さいので、素子間の出力の差はオフセット値のずれであると考えることができる。補正テーブル更新部５により、各素子の出力の差が小さくなるように、同一部分を撮像した複数の素子からの出力差に基づいて補正テーブルが更新される。なお、補正テーブルの更新後の値と更新前の値との差を、「オフセット補正テーブル更新量」「補正テーブル更新量」「更新量」と記載することがあるが、いずれも同義である。
【００２３】
以上の動作を繰り返すことにより、ターゲットシーンの撮像を続けながらオフセット補正をすることが可能となる。本発明は主に、赤外線撮像装置として実現されるが、赤外線撮像装置に限定されるものではない。定期的、もしくは不定期に素子の出力のオフセット補正値を更新する必要がある任意の装置に用いることができる。特に外気にさらされた状態で撮像を行う必要があるなどの理由で素子のオフセットばらつきが激変する環境下でターゲットシーンを撮像する場合に有効である。また、動画の撮像などのように一定期間、ターゲットシーンの撮像を続ける必要がある場合にも有効である。
【００２４】
本発明に係るオフセット補正処理装置の構成の具体的な実施形態の一例を図２に示す。
画像取得部１にはレンズ部１０、光電変換部１５、増幅部１６、Ａ／Ｄ変換部１７が含まれる。図２に挙げた実施形態では指向部２はマイクロスキャナ部１１を有し、補正処理部２３が補正部３に該当する。補正テーブル更新可能領域算出部４は、比較領域抽出部２４と位相相関処理部２９を含む。オフセット補正テーブル更新部３０が補正テーブル更新部５に相当する。
【００２５】
図２を参照しながらオフセット補正処理装置全体の動作を説明する。ここでは、４つのフレームに基づいてオフセット補正テーブルの更新を行う場合について説明する。
（１）電源投入直後に低温基準熱板部１３と高温基準熱板部１４を用いて、初期補正テーブルを作成するために基準熱板の撮像を行う。光路切替部１２は光路を低温基準熱板部１３へ切り替え、低温基準熱板からの赤外線光を光電変換部１５で電気信号に変換する。変換された信号を増幅部１６が増幅した後、Ａ／Ｄ変換部１７がデジタル画像に変換し、初期補正テーブル算出部１８が得られた画像を低温画像格納メモリ１９へ格納する。光路切替部１２が光路を高温基準熱板部１４へ切り替えた後、同様に、画像取得部１が高温基準熱板の画像を取得し、高温画像格納メモリ２０へ格納する。
【００２６】
（２）初期補正テーブル算出部１８は、低温画像格納メモリ１９と高温画像格納メモリ２０とに格納された画像を用いてゲインおよびオフセットの補正テーブルを算出する。得
られたゲイン補正テーブル、オフセット補正テーブルは、初期補正テーブル算出部１８により、それぞれゲイン格納メモリ２１、オフセット格納メモリ２２に格納される。
【００２７】
（３）次にターゲットシーンを撮像する。まず、光路切替部１２はマイクロスキャナ部１１へと光路を切り替える。撮像時にはレンズ部１０を通って入射するシーンの赤外線光を光電変換部１５が電気信号へと変換する。増幅部１６が変換された信号を増幅した後、Ａ／Ｄ変換部１７がデジタル画像とし、補正処理部２３が、ゲイン格納メモリ２１、オフセット格納メモリ２２に格納された補正テーブルを用いて、ゲインばらつき、オフセットばらつきを補正し、補正画像が出力される。
【００２８】
（４）ターゲットシーンの撮像をしながら、画像取得部１はオフセット補正テーブルを更新するためのフレームを取得する。補正画像は比較領域抽出部２４へも送られ、撮像時のマイクロスキャナ部１１によって調節された光軸の向きに従ってフレーム(1)格納メモリ２５からフレーム(4)格納メモリ２８のいずれかに格納される。マイクロスキャナ部１１は、４フレームを用いてオフセット補正テーブル更新をするために、４画素相当の範囲で光軸を走査する。光軸の走査はフレームを撮像する間の非撮像時間にステップ的に行われるため、１フレーム撮像期間中の光軸は一定である。
【００２９】
（５）フレーム(1)〜フレーム(4)までがメモリに格納された後、オフセット補正テーブル更新可能領域が算出される。比較領域抽出部２４は各フレームに相関処理用注目点を設定し、相関処理用注目点を中心とした１５画素×１５画素などの微小領域を位相相関処理部２９へ送る。位相相関処理部２９では位相相関により相関値が閾値以上で、ピークが中心にあることを確認する。比較領域の抽出は相関処理用注目点を順次変更し、全画素に対して行う。相関値が閾値以上で、ピークが中心にある領域をオフセット補正テーブル更新可能領域とする。
【００３０】
（６）オフセット補正テーブル更新可能領域に対してオフセット補正テーブルの更新が行われる。オフセット補正テーブル更新部３０は、位相相関処理部２９でオフセット補正テーブル更新可能領域とされた画素に対して、フレーム(1)格納メモリ２５からフレーム(4)格納メモリ２８の画素値により、オフセット補正テーブルの更新量を算出する。オフセット補正テーブル更新部３０は、算出されたオフセット補正テーブルの更新量を平均値算出メモリ３１に加算する。４つのフレームを用いて更新可能領域の全ての画素について更新量の加算が終了したら、その更新量をオフセット格納メモリ２２に格納されている当該画素の補正量にオフセット補正テーブル更新部３０が加算することによってオフセット補正テーブルが更新される。
【００３１】
（７）このオフセット補正テーブルの更新は撮像期間を通して継続的に行われる。
＜初期補正テーブル算出＞
以下、オフセット補正処理装置の動作について詳細に説明する。
【００３２】
図３に、素子の出力のゲインばらつきとオフセットばらつきとを補正するための初期テーブル算出のフローチャートを示す。オフセット補正処理装置では前述したとおり、初期補正テーブル算出部１８が電源投入後などに、従来法によって初期補正テーブルを算出する。
【００３３】
まず、ステップＳ１で低温基準熱板を撮像したときの各素子からの出力を取得するために、光路切替部１２が光路を低温基準熱板部１３に切り替える。次にステップＳ２で、画像取得部１が低温基準熱板を撮像し、画像を取得する。取得された画像は、初期補正テーブル算出部１８により、低温基準熱板の画像データ（低温画像）を格納するための低温画像格納メモリ１９に格納される。低温基準熱板の撮像が終わったら、光路切替部１２が光
路を高温基準熱板部１４に切り替え、同様に高温基準熱板を撮像する（ステップＳ３、Ｓ４）。撮像後、高温基準熱源の画像データ（高温画像）も同様に高温画像格納メモリ２０に格納される。
【００３４】
二種類の基準熱板を撮像することによって得られた、高温基準熱板撮像時の各素子の出力（Hi）と低温基準熱板撮像時の各素子の出力（Li）から高温基準熱板撮像時の全素子の出力平均（Have）と低温基準熱板撮像時の全素子の出力平均（Lave）とを求める（ステップＳ５、Ｓ６）。次に、初期補正テーブル算出部１８は、各素子のゲイン補正テーブル（Gi）、および、各素子のオフセット補正テーブル（Oi）を以下のように算出する。
【００３５】
Gi ＝ (Have−Lave)/(Hi−Li)
Oi ＝ Lave−Li×Gi
全ての素子についてGiとOiが算出されると初期補正テーブルの算出が終了する（ステップＳ９）。
【００３６】
初期補正テーブル算出部１８は、算出されたゲイン補正テーブルをゲイン格納メモリ２１に格納し、各素子のオフセット補正テーブルをオフセット格納メモリ２２に格納する。算出された高温基準熱板撮像時の全素子の出力平均、低温基準熱板撮像時の全素子の出力平均、などもメモリに格納される。画像取得部１が画像を取得したときに、これらの値が読み込まれ、補正部３が補正画像を生成する。
【００３７】
ここで、低温基準熱板の撮像を行ってから高温基準熱板の撮像を行っているが、撮像の順序は変更しても良い。つまり、ステップＳ１、Ｓ２と、ステップＳ３、Ｓ４の順序は入れ替えても良い。また、各基準熱板撮像時の素子の出力平均の算出をしているステップＳ５、Ｓ６の順番も任意である。また、高温基準熱板撮像時の全素子の出力平均、低温基準熱源撮像時の全素子の出力平均、ゲイン補正テーブルおよび、各素子のオフセット補正テーブルを、メモリに格納する際には、全て同じメモリ領域に格納しても良いし、データの種類ごとに異なるメモリ領域に格納しても良い。つまり、メモリ領域への格納方法は任意である。
【００３８】
＜補正画像取得＞
次に、ターゲットシーンの画像を撮像するときの、オフセット補正処理装置の動作について説明する。図４に初期補正テーブル算出後に撮像を行った時の動作のフローチャートを示す。
【００３９】
まず、装置のレンズ部１０を通して画像取得部１に入った赤外線光を光電変換部１５の各素子が電気信号に変換し、増幅部１６が増幅する（ステップＳ１１、Ｓ１２）。増幅された信号はＡＤ変換されてデジタル信号となり、補正部３に送られる（ステップＳ１３）。
【００４０】
得られたシーン撮像時の各素子の出力（Ii）についてゲインのばらつき、および、オフセットのばらつきを次式に従って補正すると、シーン撮像時の各素子の補正出力（Ci）が得られる（ステップＳ１４、Ｓ１５）。
【００４１】
Ci ＝ Ii×Gi＋Oi
ステップＳ１６で取得された画像は、補正画像として出力される。また、補正テーブル更新可能領域算出部４、補正テーブル更新部５にも出力される。また、補正画像は、必要に応じて、オフセット補正テーブルの更新に用いるためにフレーム(1)格納メモリ２５〜フレーム(4)格納メモリ２８のいずれかに格納される。
【００４２】
＜指向部による視軸移動と視軸移動後の撮像＞
画像取得部１がターゲットシーンの撮像をした後に、指向部２が画像取得部１の視軸を上下左右の任意の方向に移動させる。互いに隣接した４画素を用いてオフセット補正を行う場合に指向部２が行う視軸移動の例を図５に示す。また、視軸移動とその後の撮像についてのフローチャートを図６に示す。
【００４３】
図６のステップＳ２１で画像取得部１の視軸が図５の(1)の部分に合わせられる。次に、画像取得部１がターゲットシーンの画像を取得し、画像取得部１の視軸が(1)にあるときの画像取得、補正部３による補正画像の出力、フレーム(1)格納メモリ２５への補正画像の格納等が行われる（ステップＳ２２）。
【００４４】
ターゲットシーンの画像の取得が終了すると、指向部２は画像取得部１の視軸を移動させる。図５の例では一画素相当の距離だけ右に視軸を移動させて(2)に視軸を合わせたときの、視軸移動後のターゲットシーン撮像が行われている（図６のステップＳ２３、Ｓ２４）。
【００４５】
その後、同様に指向部２が視軸を一画素分だけ下（図５(3)）に視軸を合わせたとき（図６のステップＳ２５、Ｓ２６）、一画素分だけ左（図５(4)）に視軸を合わせたとき（図６のステップＳ２７、Ｓ２８）についても同様の処理が行われる。
【００４６】
なお、指向部２は、あるフレームの画像を撮像した後、次のフレームの画像を撮像するまでの間の非撮像時間中に視軸を移動する。従って、１フレームの画像を撮像している期間中の視軸は一定に保たれる。
【００４７】
前述のとおりに指向部２が視軸移動をし、画像取得部１が視軸移動後に撮像を行った場合には、画像取得部１における本来の画素数よりも縦横に一画素分少ない領域では、ターゲットシーンについて他の画像と共通した部分を撮像していることになる。撮像されたターゲットを基準として、各フレームが撮像するターゲットシーンの範囲を図９に示す。ここで、図９は、同一のターゲットの同一部分を撮像している素子がどこに存在するかを説明している図ではないことに留意すべきである。
【００４８】
例えば、フレーム(1)のある画素４１においてターゲットの一部分４０が撮像されたとする。次に、画像取得部１がフレーム(2)を撮像する前に指向部２によって、図５に示したように、視軸が一画素分だけ右に移動される。このときフレーム(2)において４０は一画素分だけ左の画素４２に撮像されていることになる。すなわち、フレーム(2)の撮像時には、フレーム(1)で４０を撮像した素子の左隣に存在する素子によって４０が撮像されたことになる。同様に、画像取得部１がフレーム(3)を撮像するときは、一画素下に視軸が移動されており、フレーム(1)の撮像時から考えると視軸は右下に移動したことになる。従って、４０はフレーム(3)においてフレーム(1)よりも左上にずれた位置にある画素４３で撮像されている。つまり、フレーム(3)の撮像時には、フレーム(1)で４０を撮像した素子の左上に存在する素子が４０を撮像することになる。フレーム(4)の撮像時にはフレーム(1)の撮像時より一画素下に視軸がずれているので、フレーム(4)において４０はフレーム(1)よりも一画素上に存在する画素４４で撮像されている。つまり、フレーム(1)で４０を撮像した素子の上に存在する素子によって４０が撮像されている。まとめると、図５のように視軸を一画素ずつ右、下、左、に移動させると、フレーム(1)を基準に考えれば、
フレーム(2)は視軸が右に移動し、同一部分を撮像した素子は左に移動、
フレーム(3)は視軸が右下に移動、同一部分を撮像した素子は左上に移動、
フレーム(4)は視軸が下に移動し、同一部分を撮像した素子は上に移動となる。
【００４９】
＜補正テーブル更新可能領域の算出＞
図９に示した、各フレーム間で共通した領域は、補正テーブルを更新することができる可能性がある「有効領域」５０として扱うことができる。つまり、この有効領域５０はフレーム(1)〜(4)の共通領域に相当する。
【００５０】
補正テーブル更新可能領域算出部４は、有効領域５０のうち、異なるフレーム間で「ターゲットの同一の部分を異なる素子で撮像したデータ」が得られている領域である、補正テーブル更新可能領域を算出する。撮像装置、ターゲットが共に静止している場合には、有効領域５０の全域が、ターゲットの同一部分を異なる素子で撮像したデータを有する領域として扱うことができる。
【００５１】
一方、撮像装置とターゲットのいずれか一つであっても移動した場合には有効領域５０であっても「ターゲットの同一の部分を異なる素子で撮像したデータ」として扱えない部分が生じる。撮像と撮像の間には時間差があるため、フレーム間で撮像時刻が異なることになる。従って、ターゲットが移動している場合には、ターゲットの移動軌跡上の画素では、有効領域内の画素であっても異なるデータを撮像してしまうことになる。また、ターゲットが移動しなかったとしても、撮像装置が大きく移動すると有効領域内全てが一様に移動することになるため、全ての画素で異なる部分を撮像してしまうことになる。このような画素については原則として補正テーブルを更新することができないため、複数のフレーム間で静止している部分を抽出する必要がある。
【００５２】
撮像装置とターゲットとが静止した状態で撮像された部分を求めるために、補正テーブル更新可能領域算出部４は各フレームの有効領域５０の一部分を「比較領域」５１として切り出す。まず、比較領域５１を切り出すために「相関処理用注目点」５２が設定される。相関処理用注目点５２の周辺の領域が比較領域５１として切り出される。比較領域５１の大きさは任意の大きさであるが、比較領域同士の相関を判断するのに適切な大きさである必要がある。例えば、縦３画素×横３画素の大きさであっても良いし、位相相関を用いて相関を判断する場合においては縦８画素×横８画素の大きさから、縦１６画素×横１６画素程度の大きさに切り出されることもある。また、縦と横の画素数が異なっても良い。
【００５３】
画像（フレーム）の座標と、切り出される比較領域５１の座標とは図１０および図１１に示すとおりである。横にＭ画素、縦にＮ画素が含まれている場合、画像の座標は画像の左上を原点とすると図１０のように示される。図１１には、横に2a+1画素、縦に2b+1画素を含む比較領域５１が切り出される場合が示されている。各フレームは指向部２によって視軸がずらされた後に撮像されているので上下左右にずれた部分を撮像していることになる。従って、比較領域５１の切り出し座標は撮像装置とターゲットとが静止している場合に同じ場所を切り出すことができるようにずれた座標となる。前述のフレーム(1)〜(4)を例とする。図１２に示すようにフレーム(1)の相関処理用注目点５２ａを（ｘ，ｙ）に設定すると、指向部２がフレーム(1)の撮像後フレーム(2)の撮像までの間に視軸を右に１画素分だけ移動させているので、フレーム(2)についての相関処理用注目点５２ｂは（ｘ−１，ｙ）となる。同様に、フレーム(3)では（ｘ−１，ｙ−１）、フレーム(4)では（ｘ，ｙ−１）に設定される。
【００５４】
補正テーブル更新可能領域算出部４は、比較領域５１が切り出された後、比較領域間での相関値を算出する。相関値が閾値以上であった場合にそれらの比較領域５１（５１ａ〜５１ｄ）で撮像された対象はターゲットシーンのほぼ同一部分であると判断される。補正テーブル更新可能領域算出部４は比較領域間での画像の相関関係から、撮像装置とターゲットとが静止していたかについても判断し、その判断に基づいて補正テーブルの更新が可能か判断する。相関値の算出方法としては例えば、正規化相関、輝度相関、位相相関など様々な方法があり、どれを用いても良い。
【００５５】
位相相関を用いて相関値の算出を行うと、ある比較領域５１を含む画像を撮像したときと、比較対象とする比較領域５１を含む画像を撮像したときとで、撮像装置とターゲットとが静止しているかが判断しやすいという利点が有る。位相相関を用いたときの演算結果としては、例えば、図１３に示すような相関画像が得られる。撮像装置およびターゲットが静止しているときには、図１３のように中央の画素（（ｘ’，ｙ’）＝（０，０））がピーク値となり、このピーク値が相関値となる。ここで、相関値の閾値は撮像が行われる前、典型的には、オフセット処理装置の出荷前などに、あらかじめ決められている数値を用いる。閾値の決定に当たっては、オフセット処理装置によって一様温度面ではない任意のターゲットシーンについて複数の画像を撮像しておく。このときの撮像で得られた画像について比較領域５１の相関値を実際に計算してみて、ノイズによるピークの大きさの変動に基づいて閾値が決定される。
【００５６】
図７に補正テーブル更新可能領域算出部４が比較領域５１について補正テーブル更新可能領域かを、前述のフレーム(1)〜(4)について判断するフローチャートの一例を示す。まず、相関処理用注目点５２（５２ａ〜５２ｄ）が設定され（ステップＳ３１）、各フレームから比較領域５１ａ〜５１ｄが切り出される（ステップＳ３２）。ここで「相関処理用注目点」５２とは、比較領域５１を切り出すときに、切り出す範囲を設定するための基準となる画素のことを指す。次に、フレーム(1)と他のフレームの比較領域５１との間の相関値を算出し、フレーム(1)と他の全てのフレームとの間で相関値が閾値以上であれば、その比較領域５１では補正テーブルの更新が可能であると判断される（ステップＳ３３〜３９）。一方、いずれか一つでもフレーム(1)との相関値が閾値以下のフレームが存在した場合には、その比較領域５１は補正テーブルの更新が不可能な領域であると判断される（ステップＳ４０）。
【００５７】
補正テーブル更新可能領域算出部４は、あらかじめ、比較領域５１について補正テーブルの更新の可否を記録しておく、注目点更新可否テーブルを備えている。補正テーブル更新可能領域算出部４は、補正テーブルの更新が可能であると判断された比較領域５１については、その比較領域５１の相関処理用注目点に対して、注目点更新可否テーブルに「更新可」の設定をする（ステップＳ３９）。一方、補正テーブルの更新が不可能であると判断された領域については、注目点更新可否テーブルに「更新不可」の設定がされる（ステップＳ４０）。注目点更新可否テーブルは、注目点の座標および更新の可否を記録することができる任意の形式を取りうる。一例としては、「更新可」であれば１、「更新不可」であれば０の値を、注目点の座標と対応付けて記録することが考えられる。
【００５８】
以上の処理を、有効領域５０の全ての画素について行うまで、相関処理用注目点５２の座標を変更して続ける（ステップＳ４１）。
＜補正テーブル更新＞
補正テーブル更新部５は補正テーブル更新可能領域算出部４の判定結果によって更新可能とされた部分について、ターゲットシーンの同一部分を撮像した複数の素子からの出力を比較する。以下、フレーム(1)〜(4)を用いて、隣り合った４画素を用いてオフセット補正テーブルを更新する場合について、補正テーブル更新部５の動作のフローチャート（図８）を参照しながら具体的に述べる。なお、フレーム(1)〜(4)の４枚のフレームの一組を１セットだけ用いても、複数セット用いても良い。
【００５９】
｛４画素相対関係の算出｝
まず４画素相対関係算出用注目点が設定され、その位置が補正テーブル更新可能領域に設定されているかが調べられる。ここで、「４画素相対関係」とは、ターゲットシーンの同一部分を撮像した４画素での値の相対的なずれ量を指す。具体的には、ある画素での値を基準としたときの、他の画素の値と基準とした画素の値との差である。つまり「４画素
相対関係」は画像取得部１に含まれる素子を用いて定義すれば、ターゲットシーン（撮像対象）の同一部分を撮像している関係にある素子群において生じた各素子間での出力の差（素子間出力差）であるといえる。また、「４画素相対関係算出用注目点」は、フレーム(1)〜(4)の画素の相対関係を算出するための点であり、補正テーブル更新可能領域上に設定されるべき点である。４画素相対関係算出用注目点は補正テーブル更新可能領域の任意の位置に設定できる。なお、以下の説明において、４画素相対関係算出用注目点や注目点などの点を補正テーブル更新可能領域中に設定した場合に、設定された点である画素に相当する各フレームの画素を「注目画素」と記載することがある。
【００６０】
４画素相対関係算出用注目点が設定された画素が補正テーブル更新可能領域に存在しない場合は、補正テーブル更新可能領域になるまで４画素相対関係算出用注目点を設定しなおす（ステップＳ５１、５２）。補正テーブル更新可能領域に存在する画素の座標が見つかったら、設定された４画素相対関係算出用注目点に相当する各々のフレームの画素の値の差を算出する（ステップＳ５３）。
【００６１】
例えば、４画素の左上の画素を基準として４画素相対関係を算出する場合を示す。補正テーブル更新可能領域内の（ｘ，ｙ）＝（Ａ，Ｂ）に「４画素相対関係算出用注目点」が設定された場合について考える。ここでは、一例として、４画素のうち、一番左上にある画素を基準として相対関係を算出する場合について示す。すなわち、比較する４つのフレームのうち、一番左上にある素子で同一のターゲットの同一部分を撮像したフレームを基準とするので、フレーム(3)の（Ａ，Ｂ）に対応した画素を基準として演算を行う例を示す。４画素相対関係算出用注目点が設定されると、オフセット補正テーブル更新部３０は、基準としたフレーム(3)の４画素相対関係算出用注目点の座標の素子の出力を補正画像データから認識する。次に、他のフレームにおいて「４画素相対関係算出用注目点」の画素のデータを出力した素子の位置を、フレーム(3)撮像時とほかのフレーム撮像時の指向部２による視軸の移動量から求める。
【００６２】
ここで、（Ａ，Ｂ）の周辺にある素子の出力値が以下のようであったとする。
フレーム(3)の注目画素に該当する素子（Ａ，Ｂ）の出力値 ：Ａ１
フレーム(4)の注目画素に該当する素子（Ａ＋１，Ｂ）の出力値 ：Ａ２
フレーム(1)の注目画素に該当する素子（Ａ＋１，Ｂ＋１）の出力値：Ａ３
フレーム(2)の注目画素に該当する素子（Ａ，Ｂ＋１）の出力値 ：Ａ４
これらの値は、同じターゲットシーンの中の同一の部分について異なる４つの素子で出力した結果であるので、本来は同一の出力値になるべきものである。値がＡ１やＡ４のように変化しているのは、オフセットばらつきの経時変化によるものであるとみなすことができる。以上の値から、（Ａ，Ｂ）の素子を基準にして４画素相対関係を算出すると次のようになる。
【００６３】
（Ａ，Ｂ）の出力値と（Ａ＋１，Ｂ）の出力値の差 ：Ａ１−Ａ２
（Ａ，Ｂ）の出力値と（Ａ＋１，Ｂ＋１）の出力値の差：Ａ１−Ａ３
（Ａ，Ｂ）の出力値と（Ａ，Ｂ＋１）の出力値の差 ：Ａ１−Ａ４
４画素間での相対関係を算出したら、更新可能領域の全画素について４画素相対関係が算出されているかのチェックが行われる（ステップＳ５４）。全画素が終了していなければ、４画素相対関係算出用注目点を移動させて同様の計算が行われる。例えば、４画素相対関係算出用注目点が右側の隣接点に移動され、フレーム(3)の（ｘ，ｙ）＝（Ａ＋１，Ｂ）にある素子が撮像した、更新可能領域上の画素に「４画素相対関係算出用注目点」が設定された場合を考える。この場合は前述のとおり、注目画素はフレーム(4)で（Ａ＋２，Ｂ）、フレーム(1)で（Ａ＋２，Ｂ＋１）、フレーム(2)で（Ａ＋１，Ｂ＋１）となる。ここで、フレーム(1)〜(4)のそれぞれの注目画素について素子の出力値が次の値であったとする。
【００６４】
フレーム(3)の注目画素に該当する素子（Ａ＋１，Ｂ）の出力値 ：Ａ５
フレーム(4)の注目画素に該当する素子（Ａ＋２，Ｂ）の出力値 ：Ａ６
フレーム(1)の注目画素に該当する素子（Ａ＋２，Ｂ＋１）の出力値：Ａ７
フレーム(2)の注目画素に該当する素子（Ａ＋１，Ｂ＋１）の出力値：Ａ８
Ａ５〜Ａ８の値も、同じターゲットシーンの中の同一の部分について異なる４つの素子で出力した結果であるので、本来は同一の出力値になるべきものである。以上の値から、（Ａ＋１，Ｂ）の素子を基準にして４画素相対関係を算出すると次のようになる。
【００６５】
（Ａ＋１，Ｂ）の出力値と（Ａ＋２，Ｂ）の出力値の差 ：Ａ５−Ａ６
（Ａ＋１，Ｂ）の出力値と（Ａ＋２，Ｂ＋１）の出力値の差：Ａ５−Ａ７
（Ａ＋１，Ｂ）の出力値と（Ａ＋１，Ｂ＋１）の出力値の差：Ａ５−Ａ８
上記の例から明らかなように、（Ａ＋１，Ｂ）の素子と（Ａ＋１，Ｂ＋１）の素子から出力された画素の値は、最初の４画素相対関係算出用注目点での相対関係算出と、移動後の４画素相対関係算出用注目点での相対関係算出とで用いられることになる。しかし、（Ａ＋１，Ｂ）からの出力は、最初の４画素相対関係算出点を設定したときには、フレーム(4)での画素の値を使っていたのに対し、４画素相対関係算出点移動後ではフレーム(3)での画素の値を用いている。従って、同じ画素が撮像したとはいえ、フレーム(4)で（Ａ＋１，Ｂ）が撮像した部分と、フレーム(3)で（Ａ＋１，Ｂ）が撮像した部分とは、ターゲットシーンの異なる一部分であることに留意すべきである。説明のために、（Ａ，Ｂ）がフレーム(3)において出力した画素に撮像された撮像対象の一部分を「第一の部分」とする。最初の４画素相対関係算出時には、第一の部分を撮像した素子群について、第一の部分を撮像したときの素子間出力差を求めている。一方、４画素相対関係算出用注目点を前述の例のように移動させたときには、（Ａ＋１，Ｂ）がフレーム(3)において出力した画素に撮像された撮像対象の「第二の部分」を撮像した素子群について、第二の部分を撮像したときの素子間出力差を求めていることになる。従って、４画素相対関係の算出とは、撮像対象の各部分ごとに、当該部分を撮像した素子群を認識し、素子群に含まれる各素子での素子間出力差を算出していることに相当する。
【００６６】
上記の４画素相対関係の算出例では、説明のために左上を基準（基準画素）としたときの計算について示したが、どこに基準画素を置いても良い。つまり、基準画素の位置は同一ターゲットの同一部分を撮像した素子群のうちの任意の素子に設定することができる。本明細書中では、基準画素を撮像した素子を基準素子と記載することがある。
【００６７】
さらに、ここで、４画素として計算しているのは説明のために過ぎず、相対関係を求めるときに用いる画素数も任意であり、用いるフレーム数によって変化する数である。すなわち、「相対関係」はターゲットシーンの同一部分を撮像した任意の数の素子からなる素子群の各素子間での出力差である。
【００６８】
｛原点の設定と更新量の計算｝
４画素相対関係を算出しただけでは、第一の部分を撮像した第一の素子群についての素子間出力差が求められ、第二の部分を撮像した第二の素子群についての素子間出力差も求められるというように、同一部分を撮像した素子同士の出力差が求まるに過ぎない。しかし、オフセット補正テーブルの補正では、第一の素子群、第二の素子群などの複数の素子群の全てについて４画素相対関係として求めた素子間出力差を解消しつつ、同一対象を撮像したときに素子群の間で出力差を生じないようにする必要がある。そこで、更新可能領域の全画素について４画素相対関係が算出された場合には、オフセット補正テーブル更新部３０が原点の設定を行う（ステップＳ５５）。「原点」とは、更新量を算出するための基準となる点である。この「更新量」とは、オフセット補正テーブルの更新量である。つまり、「４画素相対関係」が４つの素子のみの間での出力値の差であるのに対し、「更新
量」は更新可能領域内に存在する全ての素子の出力値と原点に位置する素子の出力値の差である。従って、原点は全ての素子の更新量の基準となるため、原点の素子の更新量は常にゼロである。
【００６９】
原点が設定されたら、原点を基準としたときの相対関係を用いて、原点を基準として相対関係を求めた素子の更新量を算出する。先の例では、左上を基準として４画素相対関係を算出したので、更新量の算出は原点の右、右下、下に位置する素子の４つの素子について行われる（ステップS５６）。
【００７０】
前述のとおりに、同一のターゲットシーンの同一部分を撮像したときの（Ａ，Ｂ）の素子の出力としてＡ１の値が算出され、（Ａ＋１，Ｂ）の素子の出力としてＡ２が得られたとする。本来同じ値であるべき値が（Ａ，Ｂ）の素子からの出力ではＡ１、（Ａ＋１，Ｂ）の素子からの出力ではＡ２となったのであるから、（Ａ，Ｂ）の素子のオフセット値を基準とすると（Ａ＋１，Ｂ）の素子のオフセット値が先に算出した相対関係の値である、Ａ１−Ａ２だけずれてしまったことになる。そこで、ずれを解消できるように（Ａ＋１，Ｂ）の素子のオフセット値を変更すべきである。他の素子についても同様に考えられるので、以下のような更新量が求められる。
【００７１】
（Ａ＋１，Ｂ）のオフセット補正テーブル更新量 ：Ａ１−Ａ２
（Ａ＋１，Ｂ＋１）のオフセット補正テーブル更新量：Ａ１−Ａ３
（Ａ，Ｂ＋１）のオフセット補正テーブル更新量 ：Ａ１−Ａ４
この例で明確なように、相対関係を求めたときの基準点が原点と一致した場合、その相対関係の算出がされた各素子についての更新量は相対関係の値と常に一致する。
【００７２】
原点周辺の４つの素子のオフセット補正テーブル更新量が求められたら、その他の部分の素子について処理を行うために、注目点を設定する。注目点は、更新量既算出点であって、更新量を算出していない更新可能領域内の画素に隣接した点に設定される（ステップＳ５７）。次に、既算出点の更新量、および、注目点を基準画素として求めた相対関係を用い、注目点オフセット補正テーブル更新量が算出される（ステップS５８）。具体的には、注目点周辺の素子についての更新量は
更新量＝注目点の更新量＋注目点と更新量を算出したい画素との相対関係
として求められる。
【００７３】
この式から明確なように、更新量の算出には注目点の更新量が必要である。つまり、更新量がすでに算出された点にしか注目点を設定することができない。例えば（Ａ，Ｂ）から注目点を移動させるときには、（Ａ，Ｂ）を注目点として更新量を算出した点に、新たな注目点を設定しなければならない。従って、（Ａ，Ｂ）の右、右下、下の隣接している点が注目点を移動させることができる位置となる。
【００７４】
一例として、原点の（Ａ，Ｂ）の隣接点である（Ａ＋１，Ｂ）に注目点を設定したときについて述べる。この場合、注目点は原点を基準として右に一画素動いた位置に存在する。前述のとおり、（Ａ＋１，Ｂ）を基準として、（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）、（Ａ＋１，Ｂ＋１）について相対関係が各々、Ａ５−Ａ６、Ａ５−Ａ７、Ａ５−Ａ８であると算出されている。また、注目点である（Ａ＋１，Ｂ）の更新量はＡ１−Ａ２である。
【００７５】
このとき、原点に注目点を置いて更新量を求めた際とは異なり、すでに（Ａ，Ｂ）の素子を基準として（Ａ＋１，Ｂ）、（Ａ＋１，Ｂ＋１）、（Ａ，Ｂ＋１）の４画素間での更新量が求められている。従って、今回の更新量の算出を行う対象となる（Ａ＋１，Ｂ）、（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）、および（Ａ＋１，Ｂ＋１）のうち、（Ａ＋１，Ｂ）と（Ａ＋１，Ｂ＋１）の素子についてはすでに更新量が求められている。従って、（Ａ
＋２，Ｂ）と（Ａ＋２，Ｂ＋１）の二つの素子について更新量を計算すればよい。未算出点である（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）についての更新量は以下のとおりである。
【００７６】
（Ａ＋２，Ｂ）の更新量 ：（Ａ１−Ａ２）＋（Ａ５−Ａ６）
（Ａ＋２，Ｂ＋１）の更新量：（Ａ１−Ａ２）＋（Ａ５−Ａ７）
上記の処理によって第一の素子群、第二の素子群などの複数の素子群の全てについて４画素相対関係として求めた素子間出力差を解消しつつ、同一対象を撮像したときに素子群の間で出力差を生じないようにすることができる。例えば、（Ａ＋１，Ｂ）を基準素子として素子間出力差を求めた素子と（Ａ＋１，Ｂ）とを第一の素子群とする。また、（Ａ＋１，Ｂ）の素子を第一の基準素子とする。つまり、第一の素子群は、（Ａ＋１，Ｂ）の素子が撮像した画素を基準画素とした４画素相対関係算出に用いた画素の撮像を行った素子である。第一の素子群が撮像している撮像対象の第一の部分と異なる、第二の部分を撮像した素子群を第二の素子群、第三の部分を撮像した素子群を第三の素子群とする。ここでは、例として、（Ａ＋２，Ｂ）を第二の基準素子、（Ａ＋２，Ｂ＋１）を第三の基準素子とする。また、第二の基準素子（Ａ＋２，Ｂ）を用いて素子間出力差を求めた素子と第二の基準素子を第二の素子群とする。同様に第三の素子群は（Ａ＋２，Ｂ＋１）を用いて素子間出力差を求めた素子と第三の基準素子からなる。4画素相対関係を算出しただけでは、
第一の素子群：第一の基準素子（Ａ＋１，Ｂ）を基準とした素子間出力差
第二の素子群：第二の基準素子（Ａ＋２，Ｂ）を基準とした素子間出力差
第三の素子群：第三の基準素子（Ａ＋２，Ｂ＋１）を基準とした素子間出力差
しか分かっていない状態である。
【００７７】
そこで、ステップＳ５５で原点を設定して、原点の値を基準として前述のとおり、第一の基準素子に対する更新量を求め（ステップＳ５６に相当）、第一の基準素子の更新量を用いて、第一の素子群に含まれる（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）について更新量を求めた（ステップＳ５７、Ｓ５８）。（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）は前述のとおり、それぞれ第二の基準素子、第三の基準素子に該当する。つまり、第一の素子群の各素子について更新量を求めることによって、第二の基準素子、第三の基準素子の更新量を求めたことになる。第二の基準素子の更新量が分かったので第二の基準素子の更新量と第二の素子群での素子間出力差を用いて、第二の素子群に存在する素子の更新量が求められる。また、この処理で求められた第二の素子群に対する更新量は、第一の素子群の更新量と同様に、原点を基準としている。そのため、オフセット補正テーブルを更新量にしたがって更新した後に、第一の素子群と第二の素子群とで、撮像対象の同一部分を撮像しても、更にオフセットがずれない限りは、同一の出力値が得られる。第三の素子群についても同様である。
【００７８】
また、別の視点から見ると、ステップＳ５５〜Ｓ５９までの処理は、原点の素子（Ａ，Ｂ）、第一の基準素子（Ａ＋１，Ｂ）、第二の基準素子（Ａ＋２，Ｂ）、および、第三の基準素子（Ａ＋２，Ｂ＋１）が、仮に撮像対象の同一部分を撮像したときに原点の素子の出力を基準として各基準素子間の出力差がどれだけであるかを求めているともいえる。
【００７９】
このように、既算出点のオフセット補正テーブル更新量を基にして未算出点のオフセット補正テーブル更新量を算出することによって、画面全体の相対的なばらつきを補正することができる。
【００８０】
｛オフセット補正テーブルの更新｝
同様の処理を、更新可能領域中の未算出点であって、既算出点と隣接している点がなくなるまで、注目点を変更して行う（ステップS５９）。更新量を算出済みの点に隣接する未算出更新可能点がなくなったとき、オフセット補正テーブル更新部３０は、各素子につ
いて算出された更新量を、更新量平均値算出メモリ３１に格納する（ステップS６０）。ステップS６１の規定回数は、用いるフレームのセットの数に相当する。従って、用いるセット数と同じ回数分、各素子についての更新量算出が行われ、得られた更新量が更新量平均値算出メモリ３１に格納される（ステップＳ６０）。全てのセットについて更新量算出が終了したところで、更新量の平均値が求められ、オフセット補正テーブルに加算されてオフセット補正テーブルの更新が終了する（ステップＳ６２〜６４）。
【００８１】
例えば、フレーム撮像時の各素子についてのオフセット補正テーブルの値が以下のようであったとする。
オフセット補正テーブル（Ａ，Ｂ） ：Ｏ１
オフセット補正テーブル（Ａ＋１，Ｂ） ：Ｏ２
オフセット補正テーブル（Ａ＋１，Ｂ＋１）：Ｏ３
オフセット補正テーブル（Ａ，Ｂ＋１） ：Ｏ４
オフセット補正テーブル（Ａ＋２，Ｂ） ：Ｏ５
オフセット補正テーブル（Ａ＋２，Ｂ＋１）：Ｏ６
このオフセット補正テーブルの値に、算出された各素子に対しての更新量の平均値を足しこむ。用いられるフレームが上記の具体例で示した１セットのみであった場合は、更新量の平均値は算出された更新量自体となる。この場合には更新後のオフセット補正テーブルとして以下のような値が得られる。
【００８２】
（Ａ，Ｂ） ：Ｏ１
（Ａ＋１，Ｂ） ：Ｏ２＋Ａ１−Ａ２
（Ａ＋１，Ｂ＋１）：Ｏ３＋Ａ１−Ａ３
（Ａ，Ｂ＋１） ：Ｏ４＋Ａ１−Ａ４
（Ａ＋２，Ｂ） ：Ｏ５＋（Ａ１−Ａ２）＋（Ａ５−Ａ６）
（Ａ＋２，Ｂ＋１）：Ｏ６＋（Ａ１−Ａ２）＋（Ａ５−Ａ７）
更新後のオフセット補正テーブルを用いれば、素子間でのオフセットのずれが解消されているので、ターゲットシーンの同一部分を撮像したときの出力は同一になるはずである。
【００８３】
複数のセットを用いると、個々のフレームに生じてしまったノイズの影響が小さくなるという利点がある。ただし、オフセット補正テーブル更新に使用できるフレーム数が少ない場合や、演算処理に使用できるメモリ領域に制限がある場合などにおいては、１セットのみで処理をすることも可能である。
【００８４】
｛原点の設定位置とオフセット補正される領域との関係｝
以上に説明した方法においては、４画素相対関係算出において左上を基準とし、原点から注目点を右側に移動して更新量を算出した。しかし、４画素相対関係算出において左上を基準としたときには、基準とした素子の右だけでなく、下および右下の素子についても更新量が算出されている。従って、注目点は右だけでなく、原点の右下や下に設定することが可能である。
【００８５】
ここまでの説明で明らかなように、原則的には、４画素相対関係算出において、左上を基準とした場合においては、注目点の右、右下、下にしか既算出点が存在しない。つまり、原則として、原点より左側や上側の画素について更新量を算出することができない。従って、４画素相対関係算出において左上を基準とした場合においては、原点は更新可能領域のうちのできるだけ左上を選択したほうが、より広い範囲についてオフセット補正テーブルの更新を行うことができることになる。
【００８６】
ただし、４画素相対関係を別の画素を基準とした相対関係に読み替えるだけの計算をし
ても他の処理に支障をきたさない程度の性能を有するコンピュータを用いることができれば、原点はどこに設定しても良いことになる。具体的に前述の例を用いて述べる。（Ａ，Ｂ）の出力値を基準としたときの相対関係は
（Ａ＋１，Ｂ） ：Ａ１−Ａ２
（Ａ＋１，Ｂ＋１）：Ａ１−Ａ３
（Ａ，Ｂ＋１） ：Ａ１−Ａ４
であった。ここで、各々の画素の相対関係の値から（Ａ＋１，Ｂ＋１）の相対関係の値であるＡ１−Ａ３を差し引くと、（Ａ＋１，Ｂ＋１）の出力値を基準とした相対関係を算出することができる。
【００８７】
（Ａ，Ｂ） ：Ａ３−Ａ１
（Ａ＋１，Ｂ）：Ａ３−Ａ２
（Ａ，Ｂ＋１）：Ａ３−Ａ４
かかる場合は、（Ａ＋１，Ｂ＋１）に原点が設定されたとしても、（Ａ，Ｂ）を基準として算出した相対関係の値を（Ａ＋１，Ｂ＋１）を基準とした値に変換できるため、原点よりも上、左上、左の素子について更新量を算出することができる。同様に４画素相対関係の値をいずれかの更新量既算出点を基準とした値に変換して更新量を算出することができる。
【００８８】
いずれの方法においても、一つの原点を基準として相対的なオフセット補正値のずれを更新量として算出している関係上、一つの連続した更新可能領域に存在する各画素について更新量が算出される。従って、更新可能領域であっても周囲が更新不可能な領域に囲まれている領域に原点を設定しないことが望ましい。
【００８９】
＜他の実施形態＞
なお、本発明は上記の実施形態に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べる。
【００９０】
｛撮像装置、ターゲットが移動したときの処理｝
これまで述べてきた説明においては、撮像装置とターゲットとが静止している領域のみをオフセット補正テーブル更新可能領域であるとした。しかし、撮像装置もしくはターゲットが移動した場合であっても、オフセット補正テーブルの更新をすることができる場合がある。補正テーブル更新可能領域算出部４において比較領域５１が設定され、異なるフレーム間で比較領域５１の相関が調べられるが、比較領域内が全て平行移動している場合には、オフセット補正テーブル更新可能領域とできる場合がある。かかる場合は、補正テーブル更新部５で比較する画素の位置を移動分だけシフトすればターゲットシーンの同一部分の撮像をした素子として扱えるためである。
【００９１】
移動分を求めるために、例えば位相相関法を用いることができる。比較領域内の全てが平行移動している場合に位相相関法によって比較領域５１の相関を取ると、図１４に示すように、相関値が閾値を超えているがピーク位置が中央ではない相関画像が得られる。位相相関法で相関値を求めた場合は、中央からのピーク位置のシフト分が平行移動したときの移動量である。移動量が求まると、補正テーブル更新部５が４画素相対関係を算出するときにその移動量を用いてシフト分だけ移動した位置にある画素との間で相対関係を算出する（図８のステップＳ５３での処理に相当）。
【００９２】
｛視軸移動距離の変形例｝
上述の実施例等で指向部２による視軸移動と視軸移動後の撮像の部分で、互いに隣接した４画素で視軸を移動させる場合の説明を行ったのは理解しやすくするために過ぎない。すなわち、オフセット補正用のデータを取得するために視軸の移動と撮像とを行うときに
、視軸を移動させる範囲は互いに隣り合った４画素である必要はない。さらに多くの画素にわたって視軸の移動と撮像とを繰り返しても良いし、２画素か、３画素での視軸移動に基づいて補正を行うことも考えられる。また、指向部２によって視軸が移動される前の視軸が存在していた位置と、移動後の視軸との距離が１画素分である必要はなく、数画素以上離れた位置に視軸を移動させても同様の処理によってオフセットの補正をすることが可能である。このような運用が可能であることによって、例えば、１画素分ずつ移動させて１０フレーム程度の撮像をしたときに、そのフレームを間引きして一部を用いることも可能になり、運用の自由度が大きくなるという利点がある。
【００９３】
｛その他｝
オフセットの変動が急峻でない場合には、一定時間に一度、断続的にオフセット補正テーブル更新を行っても良い。このように断続的に行う場合においては、補正テーブルの更新を行っていない間は指向部２をサブピクセルステップで駆動して、スーパーレゾリューションに流用することが可能である。
【００９４】
また、オフセット補正テーブルを更新するために、取得された全フレームを用いて行うことも可能である。この場合においてもオフセット補正に用いるフレーム数が多くなればノイズの影響が小さくなるという利点がある。
【００９５】
先に述べた実施例においては、素子の補正後の出力値を比較して得られる相対値を基にオフセット補正テーブルを更新している。従って、実施例に示したとおりにオフセット補正とゲイン補正の両方を行った後のデータを用いた場合に限らず、ゲイン補正のみを行った後の出力値の相対値に基づいてオフセット補正テーブル更新値を算出することも可能である。
【００９６】
指向部２は画像取得部全体を指向しても良いし、画像取得部１の一部分であるレンズやミラーを動かすことで指向しても良い。指向部２はマイクロスキャナで構成しても良いし、ジンバルなどで構成しても良い。
【００９７】
（付記１） 画像取得手段と、
前記画像取得手段の視軸を移動する指向手段と、
前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正する補正手段と、
前記画像取得手段が画像を取得した後、次の画像を取得する前に前記指向手段が前記画像取得手段の視軸を移動させることを繰り返して複数の画像を取得することにより、異なる複数の素子で同一撮像対象に対する前記補正手段による補正後の前記複数の素子の素子間出力差を用いて更新量を求め、該更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新するデータ更新手段と、
を有することを特徴とするオフセット補正処理装置。
【００９８】
（付記２） 前記データ更新手段は、前記撮像対象の第一の部分を第一の素子群が撮像したときの第一の素子間出力差を算出し、
前記複数の画像のうちで、前記複数の素子のうちの一つの素子が前記第一の部分を撮像した画像とは異なる画像で撮像した、前記撮像対象の第二の部分について、前記一つの素子とは異なる素子も前記第二の部分を撮像している場合に、前記第二の部分を撮像した第二の素子群について第二の部分を撮像したときに生ずる第二の素子間出力差を前記一つの素子を基準として算出し、
第一の素子間出力差、および、第二の素子間出力差を用いて更新量を求め、前記更新量により、前記第一の素子群もしくは前記第二の素子群に含まれる素子のうち少なくとも一
つの素子についての前記補正手段で用いるオフセット補正用データを更新する
ことを特徴とする、付記１に記載のオフセット補正処理装置。
【００９９】
（付記３） 前記データ更新手段は、前記第一の素子群のうちの一つを第一の基準素子として、前記第一の基準素子の補正後の出力から前記第一の素子群の他の素子の補正後の出力を差し引いて第一の基準素子に対する素子間出力差を算出し、
前記第二の素子群のうちの一つを第二の基準素子として、前記第二の基準素子の補正後の出力から前記第二の素子群の他の素子の補正後の出力を差し引いて第二の基準素子に対する素子間出力差を算出し、
前記第一の基準素子と前記第二の基準素子との間で、撮像対象の同一部分を撮像するときに生じる基準素子間での出力差をさらに算出し、
算出された前記基準素子間での出力差と前記第一の基準素子の更新量とから、前記第二の基準素子の更新量を求め、
前記データ更新手段によって算出された前記第二の基準素子に対する素子間出力差、および、前記基準素子間での出力差を、前記第二の素子群の各素子の更新量に加算することにより、第二の素子群の少なくとも一つの素子のオフセット補正用データを更新して、前記第一の部分を撮像したときの素子の間の出力差、ならびに、第二の部分を撮像したときの素子の間の出力差を小さくする
ことを特徴とする、付記２に記載のオフセット補正処理装置。
【０１００】
（付記４） 前記複数の画像に、画像間の相関値を算出するための比較領域をそれぞれ設定し、前記複数の画像のうちの一つの画像の比較領域と他の画像の比較領域との相関を算出して、一定以上の相関が得られたときに、各画像の比較領域を補正テーブル更新が可能な領域であると判定する補正テーブル更新可能領域算出手段をさらに有し、
前記データ更新手段は、前記補正テーブル更新可能領域算出手段により、補正テーブル更新が可能であると判定された領域の撮像を行った、複数の素子を選択し、
前記選択された複数の素子のうちの一つの素子の前記補正手段による補正後の出力を基準として、前記選択された複数の素子のうちの他の素子からの出力の差を用いて更新量を求め、前記更新量により前記オフセット補正用データを更新する
ことを特徴とする、付記１乃至３のいずれか一項に記載のオフセット補正処理装置。
【０１０１】
（付記５） 画像取得手段の画像取得後に、指向手段が前記画像取得手段の視軸を移動させ、前記視軸の移動後に前記画像取得手段が画像を取得する処理を繰り返して複数の画像を取得することによって異なる複数の素子で同一撮像対象を撮像し、
前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正手段で補正したときの前記複数の素子からの出力の差を用いて更新量を求め、
前記更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新する
ことを特徴とするオフセット補正処理方法。
【０１０２】
（付記６） 前記画像取得手段による撮像と前記指向手段による前記視軸の移動を繰り返すことによって、複数の画像を取得し、
前記複数の画像において、異なる複数の素子で前記撮像対象の同一の部分を撮像した関係にある領域を特定し、
特定された領域を撮像した前記複数の素子に対して、撮像した前記撮像対象の部分ごとに、前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正手段で補正したときにおける、前記複数の素子間での出力差を用いて更新量を求め、
前記更新量により前記補正手段で用いるオフセット補正用データを更新することを特徴とする、付記５に記載のオフセット補正処理方法。
【０１０３】
（付記７） 前記複数の画像から基準の画像を選択し、
前記選択した画像から第一の比較領域を切り取り、
他の各画像を、各画像を取得したときの前記画像取得手段の視軸の位置と前記基準の画像を前記画像取得手段が取得したときとの視軸の移動量を打ち消すように切り取り位置を移動させて第二の比較領域を切り取り、
前記基準の画像から切り取られた第一の比較領域と、他の画像から切り取られた第二の比較領域とを比較して、
比較された画像同士において、前記撮像対象の同一部分を前記一定の領域内における同一の位置に撮像している場合には、異なる複数の素子で撮像対象の同一の部分を撮像していると判定することを特徴とする、付記６に記載のオフセット補正処理方法。
【０１０４】
（付記８） 異なる複数の素子で撮像対象の同一の部分を撮像した結果、前記同一の部分として撮像された部分が複数存在する場合に、
前記複数の素子の一つをオフセット補正用データの更新の基準の素子とし、
前記同一の部分として撮像された部分ごとに、同一の部分を撮像した素子間での出力差を求め、
前記複数の素子の各素子と、前記更新の基準の素子とが、前記撮像対象の同一部分の一つを撮像したときに生じる、各素子の出力と前記更新の基準とした素子との出力差を算出し、
算出した出力差により求めた更新量により、前記補正手段で用いるオフセット補正用データを更新することを特徴とする、付記６乃至８のいずれか一項に記載のオフセット補正処理方法。
【図面の簡単な説明】
【０１０５】
【図１】図１は、オフセット補正処理装置の一態様の概要を示す図である。
【図２】図２は、オフセット補正処理装置の構成の具体例を示す図である。
【図３】図３は、初期補正テーブルの算出についてのフローチャートである。
【図４】図４は、補正画像の取得についてのフローチャートである。
【図５】図５は、指向部による走査を示す図である。
【図６】図６は、指向部による視軸の移動と視軸移動後の撮像についてのフローチャートである。
【図７】図７は、補正テーブル更新可能領域が算出される際のフローチャートである。
【図８】図８は、オフセット補正テーブルの更新についてのフローチャートである。
【図９】図９は、各フレームで撮像されたターゲットシーンの範囲について説明する図である。
【図１０】図１０は、画像の座標系を示す図である。
【図１１】図１１は、比較領域の切り出しと比較領域の座標系を説明する図である。
【図１２】図１２は、比較領域の切り出し座標を説明する図である。
【図１３】図１３は、位相相関を用いて相関値算出を行った場合の相関画像の例を示す図である。
【図１４】図１４は、位相相関を用いた相関値算出により撮像装置等の移動を検出する場合の相関画像の例を示す図である。
【符号の説明】
【０１０６】
１ 画像取得部
２ 指向部
３ 補正部
４ 補正テーブル更新可能領域算出部
５ 補正テーブル更新部
１０ レンズ部
１１ マイクロスキャナ部
１２ 光路切替部
１３ 低温基準熱板部
１４ 高温基準熱板部
１５ 光電変換部
１６ 増幅部
１７ Ａ／Ｄ変換部
１８ 初期補正テーブル算出部
１９ 低温画像格納メモリ
２０ 高温画像格納メモリ
２１ ゲイン格納メモリ
２２ オフセット格納メモリ
２３ 補正処理部
２４ 比較領域抽出部
２５ フレーム(1)格納メモリ
２６ フレーム(2)格納メモリ
２７ フレーム(3)格納メモリ
２８ フレーム(4)格納メモリ
２９ 位相相関処理部
３０ オフセット補正テーブル更新部
３１ 平均値算出メモリ
４０ 撮像対象の一部分
４１ 撮像対象の一部分４０をフレーム(1)撮像時に撮像した画素
４２ 撮像対象の一部分４０をフレーム(2)撮像時に撮像した画素
４３ 撮像対象の一部分４０をフレーム(3)撮像時に撮像した画素
４４ 撮像対象の一部分４０をフレーム(4)撮像時に撮像した画素
５０ 有効領域
５１、５１ａ、５１ｂ、５１ｃ、５１ｄ 比較領域
５２、５２ａ、５２ｂ、５２ｃ、５２ｄ 相関処理用注目点
【技術分野】
【０００１】
本発明は、赤外線撮像装置において取得された画像のばらつきを補正する処理の技術に関する。
【背景技術】
【０００２】
赤外線撮像装置に含まれる各素子には、ゲインばらつき、オフセットばらつきがあるため、補正を行わずに撮像すると一様温度面を撮像しても出力が一定にはならない。従って、一様温度面を撮像したときの各素子の出力が一定になるように、ゲインおよびオフセットのばらつきを補正する必要がある。このとき、低温基準熱源と高温基準熱源の二種類の熱源を撮像したときのデータを用いて補正が行われる。
【０００３】
具体的には、各素子のゲイン補正テーブル（Gi）、および、各素子のオフセット補正テーブル（Oi）は以下のように算出される。
Gi＝(Have−Lave)/(Hi−Li)
Oi＝Lave−Li×Gi
ここで、
Hi：高温基準熱源撮像時の各素子の出力
Li：低温基準熱源撮像時の各素子の出力
Have：高温基準熱源撮像時の全素子の出力平均
Lave：低温基準熱源撮像時の全素子の出力平均。
【０００４】
さらに出力補正は以下のように行われる。
Ci＝Ii×Gi＋Oi
ここで
Ii：シーン撮像時の各素子の出力
Ci：シーン撮像時の各素子の補正出力。
【０００５】
しかし、ゲインおよびオフセットのばらつきを補正するためのデータを作成した後で、さらにゲインばらつき、および、オフセットばらつきが変化してしまった場合には、再度、二種類の基準熱源を用いて補正用データを作成しなおす必要が生じる。ここで、ゲインばらつきの経時変化は小さいため、ゲインの補正に用いるゲイン補正テーブルを電源投入直後に一度作成して、その後の補正に使用することができる。あるいは、あらかじめ生成したゲイン補正テーブルをROMなどに格納しておき、それを読み出して使用することも可能である。つまり、オフセットばらつきについてのみ、経時変化を考慮して補正用データを更新することもできる。この場合には、既存のゲイン補正テーブルを利用し、一種類の基準熱源のみを撮像してオフセット補正テーブルの更新を行うことが可能である。温度がほぼ均一な背景を撮像することによっても同様に、オフセットのみの補正が可能であるため、光学系の焦点をぼかして、背景などをほぼ一様の温度面として撮像することによるオフセット補正も行われてきた。
【０００６】
しかし、上記の従来方法では、オフセット補正テーブルの更新のためにターゲットの撮像を中断せざるを得ない。
特許文献１では、上記の問題を考慮した赤外線撮像装置の感度補正装置が記載されている。すなわち、赤外線検知器を視野に対して一周するように走査して得られる複数のフレームデータを間引き、および積分することによりオフセット補正データを取得する装置が開示されている。
【０００７】
しかし、特許文献１に記載された装置においては、指向手段により視軸を大きく動かしているため、共通に撮像される領域が非常に小さく、ターゲットを大きく撮像し続けることができない。つまり、空などの単純背景における微小物体の撮像などの、極めて限定された対象の撮像しか行うことができない。
【特許文献１】特開平５−２６４３５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述のとおり、従来技術にかかる素子の出力のオフセットを補正する方式のうち、基準熱源を用いる方式や光学系の焦点ぼかしを行う方式では、補正テーブルを更新するためにターゲットの撮像を一時中断する必要が生じる。また、特許文献１に記載されている、指向手段により視軸を大きく動かす方式においてはターゲットを大きく撮像することができない。さらに、特許文献１で開示された方式では擬似的にシーンを一様にして撮像するため、背景が空などの単純背景である場合にしか用いることができない。つまり、背景が複雑なシーンの撮像やターゲットが背景部分の大きさに対して微小とはいえない場合においては、実質上、オフセット補正値を更新するためにシーンの撮像を中止する必要がある。
【０００９】
本発明の課題はこの問題を解決することである。すなわち、本発明の課題は、任意のターゲットについて、ターゲットの撮像を行いながらオフセット補正テーブルの更新を行うことを可能にすることである。
【課題を解決するための手段】
【００１０】
本発明のオフセット補正処理装置は、画像取得手段と、前記画像取得手段の視軸を移動する指向手段と、前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正する補正手段と、前記画像取得手段が画像を取得した後、次の画像を取得する前に前記指向手段が前記画像取得手段の視軸を移動させることを繰り返して複数の画像を取得することにより、異なる複数の素子で同一撮像対象に対する前記補正手段による補正後の前記複数の素子の素子間出力差を用いて更新量を求め、該更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新するデータ更新手段と、を有する。
【００１１】
上記オフセット補正処理装置においては、画像取得手段に含まれる複数の素子によって、同一の撮像対象の同一部分が撮像されたときのデータを用いてオフセット補正用データを更新する。同一の撮像対象の同一部分が撮像された場合は、素子のオフセットおよびゲインの補正が十分に行われていれば、いずれの素子からの出力も同一になるはずである。同一の撮像対象の同一部分を撮像したときの出力に素子間で差があれば、その差を小さくするように補正をすれば素子間の出力のばらつきを小さくすることができる。そこで、素子間での出力の差を用いてオフセット補正用データの更新量を求め、求めた更新量によって、更新を行う。また、指向手段によって画像取得手段の視軸を移動させることにより、異なる素子で同一の撮像対象の同一部分を撮像することができる。
【００１２】
かかる処理は撮像対象を撮像しながら行うことが可能である。従って、本発明によれば撮像対象の撮像を中止することなく、素子間のオフセットばらつきを小さくすることが可能になる。
【発明の効果】
【００１３】
従来の技術では、素子の出力のオフセット補正用データを更新するためには、複雑な背景を持つターゲットシーンの撮像を中止する必要があった。また、特許文献１に記載された方式はターゲット（撮像対象）が小さく、背景が単純な場合しか用いることができず、実質上、オフセット補正用データを更新するためにはターゲットシーンの撮像を中止する
必要があった。本発明によれば、撮像中のデータを用いてオフセット補正テーブルを更新することができる。このため、ターゲットシーンの撮像を中止することなく、十分に補正された画像を取得することが可能である。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
＜オフセット補正処理装置の概要＞
図１はオフセット補正処理装置の概要を表す図である。本発明に係るオフセット補正処理装置の例には、画像取得部１、指向部２、補正部３、補正テーブル更新可能領域算出部４、および、補正テーブル更新部５を備えるものがある。これらの部分によって、初期補正処理テーブルの算出、画像取得と指向部２による視軸移動、補正テーブル更新可能領域の判断、補正テーブルの更新を行うことによって、撮像を続けながらオフセット補正値を更新する。
【００１５】
（１）初期補正処理テーブルの算出
オフセット補正処理装置に電源が投入されると、まず、従来法どおりに低温基準熱源と高温基準熱源の二種類の熱源を用いて初期補正処理テーブルが作成される。作成された初期補正処理テーブルはメモリに記憶される。
【００１６】
作成された初期補正テーブルに含まれるデータが有効な値である期間中は、一様温度面を撮像した場合に補正後の各素子の出力は同一の値を示すことになる。撮像するものがターゲットシーンであった場合でも、補正テーブルに含まれるデータが有効な間は、ターゲットシーンの同一の部分を撮像している素子間では、補正後の出力は、同一であるはずである。すなわち、素子間に出力の差があった場合には、前述の通りゲインばらつきは経時変化をほとんどしないため、出力の差がオフセット補正値のずれであるとみなすことができる。従って、ターゲットの同一の部分を異なる素子で撮像したときに生じた素子間での補正後の出力の違いを解消するようにオフセット補正テーブルを変更すると、撮像を停止することなくオフセットの補正が可能となる。
【００１７】
（２）画像取得と指向部による視軸移動
ターゲットの同一の部分を異なる素子で撮像したデータを得るために、画像取得部１と指向部２を用いる。
【００１８】
まず、画像取得部１でターゲットの撮像が行われると、得られたターゲットの画像データは補正部３に送られる。補正部３において、あらかじめメモリに記憶されている初期補正処理テーブルのデータを用いて、各素子の出力のゲインおよびオフセットを補正した出力を求める。補正後のデータは、補正画像として出力されると同時に、補正テーブル更新可能領域算出部４および補正テーブル更新部５に送られる。
【００１９】
次に指向部２が画像取得部１の視軸を移動させる。視軸が移動した後に画像取得部１でターゲットの撮像が行われ、同様に補正部３で処理が行われて補正画像が得られる。視軸移動後に取得された補正画像も、補正テーブル更新可能領域算出部４および補正テーブル更新部５に送られる。なお、本明細書中で「視軸」および「光軸」は同義である。
【００２０】
（３）補正テーブル更新可能領域の判断
複数の補正画像が補正テーブル更新可能領域算出部４に送られると、得られた複数の補正画像について「ターゲットシーンの同一の部分を異なる素子で撮像したデータ」の関係にあるかを判断する。
【００２１】
この判断は補正テーブル更新可能領域算出部４によって行われる。補正テーブル更新可
能領域算出部４において、各々の補正画像の一部分が比較領域として切り出される。ここで、画像取得部分の視軸の移動以外に撮像装置とターゲットとに一切、移動が無ければ、得られた各フレームは視軸の移動分だけずらすとターゲットシーンの同一部分を撮像することになる。そこで、ある画像を取得したときの視軸を基準として、各画像を取得したときに指向部２によって行われた視軸の移動に基づいて、各フレームについて比較領域の切り出し位置が決定される。すなわち、視軸の移動に合わせてフレームからの切り出し位置を変化させることによって、同一部分を撮像していると考えられる部分同士の画像を比較する。切り出された比較領域同士の相関値を求め、相関値が閾値以上であれば、同一部分を撮像している可能性があると判断され、その比較領域は補正テーブル更新可能領域とされる。なお、本明細書では「補正テーブル更新可能領域」を「更新可能領域」と記載することがある。
【００２２】
（４）補正テーブルの更新
補正テーブル更新可能領域算出部４で得られた判定結果は補正テーブル更新部５に送られる。補正テーブル更新部５は補正テーブル更新可能領域算出部４の判定結果によって更新可能とされた部分について、同一部分を撮像した複数の素子からの出力を比較する。ここで、前述のとおり、素子の出力のゲインばらつきは経時変化が小さいので、素子間の出力の差はオフセット値のずれであると考えることができる。補正テーブル更新部５により、各素子の出力の差が小さくなるように、同一部分を撮像した複数の素子からの出力差に基づいて補正テーブルが更新される。なお、補正テーブルの更新後の値と更新前の値との差を、「オフセット補正テーブル更新量」「補正テーブル更新量」「更新量」と記載することがあるが、いずれも同義である。
【００２３】
以上の動作を繰り返すことにより、ターゲットシーンの撮像を続けながらオフセット補正をすることが可能となる。本発明は主に、赤外線撮像装置として実現されるが、赤外線撮像装置に限定されるものではない。定期的、もしくは不定期に素子の出力のオフセット補正値を更新する必要がある任意の装置に用いることができる。特に外気にさらされた状態で撮像を行う必要があるなどの理由で素子のオフセットばらつきが激変する環境下でターゲットシーンを撮像する場合に有効である。また、動画の撮像などのように一定期間、ターゲットシーンの撮像を続ける必要がある場合にも有効である。
【００２４】
本発明に係るオフセット補正処理装置の構成の具体的な実施形態の一例を図２に示す。
画像取得部１にはレンズ部１０、光電変換部１５、増幅部１６、Ａ／Ｄ変換部１７が含まれる。図２に挙げた実施形態では指向部２はマイクロスキャナ部１１を有し、補正処理部２３が補正部３に該当する。補正テーブル更新可能領域算出部４は、比較領域抽出部２４と位相相関処理部２９を含む。オフセット補正テーブル更新部３０が補正テーブル更新部５に相当する。
【００２５】
図２を参照しながらオフセット補正処理装置全体の動作を説明する。ここでは、４つのフレームに基づいてオフセット補正テーブルの更新を行う場合について説明する。
（１）電源投入直後に低温基準熱板部１３と高温基準熱板部１４を用いて、初期補正テーブルを作成するために基準熱板の撮像を行う。光路切替部１２は光路を低温基準熱板部１３へ切り替え、低温基準熱板からの赤外線光を光電変換部１５で電気信号に変換する。変換された信号を増幅部１６が増幅した後、Ａ／Ｄ変換部１７がデジタル画像に変換し、初期補正テーブル算出部１８が得られた画像を低温画像格納メモリ１９へ格納する。光路切替部１２が光路を高温基準熱板部１４へ切り替えた後、同様に、画像取得部１が高温基準熱板の画像を取得し、高温画像格納メモリ２０へ格納する。
【００２６】
（２）初期補正テーブル算出部１８は、低温画像格納メモリ１９と高温画像格納メモリ２０とに格納された画像を用いてゲインおよびオフセットの補正テーブルを算出する。得
られたゲイン補正テーブル、オフセット補正テーブルは、初期補正テーブル算出部１８により、それぞれゲイン格納メモリ２１、オフセット格納メモリ２２に格納される。
【００２７】
（３）次にターゲットシーンを撮像する。まず、光路切替部１２はマイクロスキャナ部１１へと光路を切り替える。撮像時にはレンズ部１０を通って入射するシーンの赤外線光を光電変換部１５が電気信号へと変換する。増幅部１６が変換された信号を増幅した後、Ａ／Ｄ変換部１７がデジタル画像とし、補正処理部２３が、ゲイン格納メモリ２１、オフセット格納メモリ２２に格納された補正テーブルを用いて、ゲインばらつき、オフセットばらつきを補正し、補正画像が出力される。
【００２８】
（４）ターゲットシーンの撮像をしながら、画像取得部１はオフセット補正テーブルを更新するためのフレームを取得する。補正画像は比較領域抽出部２４へも送られ、撮像時のマイクロスキャナ部１１によって調節された光軸の向きに従ってフレーム(1)格納メモリ２５からフレーム(4)格納メモリ２８のいずれかに格納される。マイクロスキャナ部１１は、４フレームを用いてオフセット補正テーブル更新をするために、４画素相当の範囲で光軸を走査する。光軸の走査はフレームを撮像する間の非撮像時間にステップ的に行われるため、１フレーム撮像期間中の光軸は一定である。
【００２９】
（５）フレーム(1)〜フレーム(4)までがメモリに格納された後、オフセット補正テーブル更新可能領域が算出される。比較領域抽出部２４は各フレームに相関処理用注目点を設定し、相関処理用注目点を中心とした１５画素×１５画素などの微小領域を位相相関処理部２９へ送る。位相相関処理部２９では位相相関により相関値が閾値以上で、ピークが中心にあることを確認する。比較領域の抽出は相関処理用注目点を順次変更し、全画素に対して行う。相関値が閾値以上で、ピークが中心にある領域をオフセット補正テーブル更新可能領域とする。
【００３０】
（６）オフセット補正テーブル更新可能領域に対してオフセット補正テーブルの更新が行われる。オフセット補正テーブル更新部３０は、位相相関処理部２９でオフセット補正テーブル更新可能領域とされた画素に対して、フレーム(1)格納メモリ２５からフレーム(4)格納メモリ２８の画素値により、オフセット補正テーブルの更新量を算出する。オフセット補正テーブル更新部３０は、算出されたオフセット補正テーブルの更新量を平均値算出メモリ３１に加算する。４つのフレームを用いて更新可能領域の全ての画素について更新量の加算が終了したら、その更新量をオフセット格納メモリ２２に格納されている当該画素の補正量にオフセット補正テーブル更新部３０が加算することによってオフセット補正テーブルが更新される。
【００３１】
（７）このオフセット補正テーブルの更新は撮像期間を通して継続的に行われる。
＜初期補正テーブル算出＞
以下、オフセット補正処理装置の動作について詳細に説明する。
【００３２】
図３に、素子の出力のゲインばらつきとオフセットばらつきとを補正するための初期テーブル算出のフローチャートを示す。オフセット補正処理装置では前述したとおり、初期補正テーブル算出部１８が電源投入後などに、従来法によって初期補正テーブルを算出する。
【００３３】
まず、ステップＳ１で低温基準熱板を撮像したときの各素子からの出力を取得するために、光路切替部１２が光路を低温基準熱板部１３に切り替える。次にステップＳ２で、画像取得部１が低温基準熱板を撮像し、画像を取得する。取得された画像は、初期補正テーブル算出部１８により、低温基準熱板の画像データ（低温画像）を格納するための低温画像格納メモリ１９に格納される。低温基準熱板の撮像が終わったら、光路切替部１２が光
路を高温基準熱板部１４に切り替え、同様に高温基準熱板を撮像する（ステップＳ３、Ｓ４）。撮像後、高温基準熱源の画像データ（高温画像）も同様に高温画像格納メモリ２０に格納される。
【００３４】
二種類の基準熱板を撮像することによって得られた、高温基準熱板撮像時の各素子の出力（Hi）と低温基準熱板撮像時の各素子の出力（Li）から高温基準熱板撮像時の全素子の出力平均（Have）と低温基準熱板撮像時の全素子の出力平均（Lave）とを求める（ステップＳ５、Ｓ６）。次に、初期補正テーブル算出部１８は、各素子のゲイン補正テーブル（Gi）、および、各素子のオフセット補正テーブル（Oi）を以下のように算出する。
【００３５】
Gi ＝ (Have−Lave)/(Hi−Li)
Oi ＝ Lave−Li×Gi
全ての素子についてGiとOiが算出されると初期補正テーブルの算出が終了する（ステップＳ９）。
【００３６】
初期補正テーブル算出部１８は、算出されたゲイン補正テーブルをゲイン格納メモリ２１に格納し、各素子のオフセット補正テーブルをオフセット格納メモリ２２に格納する。算出された高温基準熱板撮像時の全素子の出力平均、低温基準熱板撮像時の全素子の出力平均、などもメモリに格納される。画像取得部１が画像を取得したときに、これらの値が読み込まれ、補正部３が補正画像を生成する。
【００３７】
ここで、低温基準熱板の撮像を行ってから高温基準熱板の撮像を行っているが、撮像の順序は変更しても良い。つまり、ステップＳ１、Ｓ２と、ステップＳ３、Ｓ４の順序は入れ替えても良い。また、各基準熱板撮像時の素子の出力平均の算出をしているステップＳ５、Ｓ６の順番も任意である。また、高温基準熱板撮像時の全素子の出力平均、低温基準熱源撮像時の全素子の出力平均、ゲイン補正テーブルおよび、各素子のオフセット補正テーブルを、メモリに格納する際には、全て同じメモリ領域に格納しても良いし、データの種類ごとに異なるメモリ領域に格納しても良い。つまり、メモリ領域への格納方法は任意である。
【００３８】
＜補正画像取得＞
次に、ターゲットシーンの画像を撮像するときの、オフセット補正処理装置の動作について説明する。図４に初期補正テーブル算出後に撮像を行った時の動作のフローチャートを示す。
【００３９】
まず、装置のレンズ部１０を通して画像取得部１に入った赤外線光を光電変換部１５の各素子が電気信号に変換し、増幅部１６が増幅する（ステップＳ１１、Ｓ１２）。増幅された信号はＡＤ変換されてデジタル信号となり、補正部３に送られる（ステップＳ１３）。
【００４０】
得られたシーン撮像時の各素子の出力（Ii）についてゲインのばらつき、および、オフセットのばらつきを次式に従って補正すると、シーン撮像時の各素子の補正出力（Ci）が得られる（ステップＳ１４、Ｓ１５）。
【００４１】
Ci ＝ Ii×Gi＋Oi
ステップＳ１６で取得された画像は、補正画像として出力される。また、補正テーブル更新可能領域算出部４、補正テーブル更新部５にも出力される。また、補正画像は、必要に応じて、オフセット補正テーブルの更新に用いるためにフレーム(1)格納メモリ２５〜フレーム(4)格納メモリ２８のいずれかに格納される。
【００４２】
＜指向部による視軸移動と視軸移動後の撮像＞
画像取得部１がターゲットシーンの撮像をした後に、指向部２が画像取得部１の視軸を上下左右の任意の方向に移動させる。互いに隣接した４画素を用いてオフセット補正を行う場合に指向部２が行う視軸移動の例を図５に示す。また、視軸移動とその後の撮像についてのフローチャートを図６に示す。
【００４３】
図６のステップＳ２１で画像取得部１の視軸が図５の(1)の部分に合わせられる。次に、画像取得部１がターゲットシーンの画像を取得し、画像取得部１の視軸が(1)にあるときの画像取得、補正部３による補正画像の出力、フレーム(1)格納メモリ２５への補正画像の格納等が行われる（ステップＳ２２）。
【００４４】
ターゲットシーンの画像の取得が終了すると、指向部２は画像取得部１の視軸を移動させる。図５の例では一画素相当の距離だけ右に視軸を移動させて(2)に視軸を合わせたときの、視軸移動後のターゲットシーン撮像が行われている（図６のステップＳ２３、Ｓ２４）。
【００４５】
その後、同様に指向部２が視軸を一画素分だけ下（図５(3)）に視軸を合わせたとき（図６のステップＳ２５、Ｓ２６）、一画素分だけ左（図５(4)）に視軸を合わせたとき（図６のステップＳ２７、Ｓ２８）についても同様の処理が行われる。
【００４６】
なお、指向部２は、あるフレームの画像を撮像した後、次のフレームの画像を撮像するまでの間の非撮像時間中に視軸を移動する。従って、１フレームの画像を撮像している期間中の視軸は一定に保たれる。
【００４７】
前述のとおりに指向部２が視軸移動をし、画像取得部１が視軸移動後に撮像を行った場合には、画像取得部１における本来の画素数よりも縦横に一画素分少ない領域では、ターゲットシーンについて他の画像と共通した部分を撮像していることになる。撮像されたターゲットを基準として、各フレームが撮像するターゲットシーンの範囲を図９に示す。ここで、図９は、同一のターゲットの同一部分を撮像している素子がどこに存在するかを説明している図ではないことに留意すべきである。
【００４８】
例えば、フレーム(1)のある画素４１においてターゲットの一部分４０が撮像されたとする。次に、画像取得部１がフレーム(2)を撮像する前に指向部２によって、図５に示したように、視軸が一画素分だけ右に移動される。このときフレーム(2)において４０は一画素分だけ左の画素４２に撮像されていることになる。すなわち、フレーム(2)の撮像時には、フレーム(1)で４０を撮像した素子の左隣に存在する素子によって４０が撮像されたことになる。同様に、画像取得部１がフレーム(3)を撮像するときは、一画素下に視軸が移動されており、フレーム(1)の撮像時から考えると視軸は右下に移動したことになる。従って、４０はフレーム(3)においてフレーム(1)よりも左上にずれた位置にある画素４３で撮像されている。つまり、フレーム(3)の撮像時には、フレーム(1)で４０を撮像した素子の左上に存在する素子が４０を撮像することになる。フレーム(4)の撮像時にはフレーム(1)の撮像時より一画素下に視軸がずれているので、フレーム(4)において４０はフレーム(1)よりも一画素上に存在する画素４４で撮像されている。つまり、フレーム(1)で４０を撮像した素子の上に存在する素子によって４０が撮像されている。まとめると、図５のように視軸を一画素ずつ右、下、左、に移動させると、フレーム(1)を基準に考えれば、
フレーム(2)は視軸が右に移動し、同一部分を撮像した素子は左に移動、
フレーム(3)は視軸が右下に移動、同一部分を撮像した素子は左上に移動、
フレーム(4)は視軸が下に移動し、同一部分を撮像した素子は上に移動となる。
【００４９】
＜補正テーブル更新可能領域の算出＞
図９に示した、各フレーム間で共通した領域は、補正テーブルを更新することができる可能性がある「有効領域」５０として扱うことができる。つまり、この有効領域５０はフレーム(1)〜(4)の共通領域に相当する。
【００５０】
補正テーブル更新可能領域算出部４は、有効領域５０のうち、異なるフレーム間で「ターゲットの同一の部分を異なる素子で撮像したデータ」が得られている領域である、補正テーブル更新可能領域を算出する。撮像装置、ターゲットが共に静止している場合には、有効領域５０の全域が、ターゲットの同一部分を異なる素子で撮像したデータを有する領域として扱うことができる。
【００５１】
一方、撮像装置とターゲットのいずれか一つであっても移動した場合には有効領域５０であっても「ターゲットの同一の部分を異なる素子で撮像したデータ」として扱えない部分が生じる。撮像と撮像の間には時間差があるため、フレーム間で撮像時刻が異なることになる。従って、ターゲットが移動している場合には、ターゲットの移動軌跡上の画素では、有効領域内の画素であっても異なるデータを撮像してしまうことになる。また、ターゲットが移動しなかったとしても、撮像装置が大きく移動すると有効領域内全てが一様に移動することになるため、全ての画素で異なる部分を撮像してしまうことになる。このような画素については原則として補正テーブルを更新することができないため、複数のフレーム間で静止している部分を抽出する必要がある。
【００５２】
撮像装置とターゲットとが静止した状態で撮像された部分を求めるために、補正テーブル更新可能領域算出部４は各フレームの有効領域５０の一部分を「比較領域」５１として切り出す。まず、比較領域５１を切り出すために「相関処理用注目点」５２が設定される。相関処理用注目点５２の周辺の領域が比較領域５１として切り出される。比較領域５１の大きさは任意の大きさであるが、比較領域同士の相関を判断するのに適切な大きさである必要がある。例えば、縦３画素×横３画素の大きさであっても良いし、位相相関を用いて相関を判断する場合においては縦８画素×横８画素の大きさから、縦１６画素×横１６画素程度の大きさに切り出されることもある。また、縦と横の画素数が異なっても良い。
【００５３】
画像（フレーム）の座標と、切り出される比較領域５１の座標とは図１０および図１１に示すとおりである。横にＭ画素、縦にＮ画素が含まれている場合、画像の座標は画像の左上を原点とすると図１０のように示される。図１１には、横に2a+1画素、縦に2b+1画素を含む比較領域５１が切り出される場合が示されている。各フレームは指向部２によって視軸がずらされた後に撮像されているので上下左右にずれた部分を撮像していることになる。従って、比較領域５１の切り出し座標は撮像装置とターゲットとが静止している場合に同じ場所を切り出すことができるようにずれた座標となる。前述のフレーム(1)〜(4)を例とする。図１２に示すようにフレーム(1)の相関処理用注目点５２ａを（ｘ，ｙ）に設定すると、指向部２がフレーム(1)の撮像後フレーム(2)の撮像までの間に視軸を右に１画素分だけ移動させているので、フレーム(2)についての相関処理用注目点５２ｂは（ｘ−１，ｙ）となる。同様に、フレーム(3)では（ｘ−１，ｙ−１）、フレーム(4)では（ｘ，ｙ−１）に設定される。
【００５４】
補正テーブル更新可能領域算出部４は、比較領域５１が切り出された後、比較領域間での相関値を算出する。相関値が閾値以上であった場合にそれらの比較領域５１（５１ａ〜５１ｄ）で撮像された対象はターゲットシーンのほぼ同一部分であると判断される。補正テーブル更新可能領域算出部４は比較領域間での画像の相関関係から、撮像装置とターゲットとが静止していたかについても判断し、その判断に基づいて補正テーブルの更新が可能か判断する。相関値の算出方法としては例えば、正規化相関、輝度相関、位相相関など様々な方法があり、どれを用いても良い。
【００５５】
位相相関を用いて相関値の算出を行うと、ある比較領域５１を含む画像を撮像したときと、比較対象とする比較領域５１を含む画像を撮像したときとで、撮像装置とターゲットとが静止しているかが判断しやすいという利点が有る。位相相関を用いたときの演算結果としては、例えば、図１３に示すような相関画像が得られる。撮像装置およびターゲットが静止しているときには、図１３のように中央の画素（（ｘ’，ｙ’）＝（０，０））がピーク値となり、このピーク値が相関値となる。ここで、相関値の閾値は撮像が行われる前、典型的には、オフセット処理装置の出荷前などに、あらかじめ決められている数値を用いる。閾値の決定に当たっては、オフセット処理装置によって一様温度面ではない任意のターゲットシーンについて複数の画像を撮像しておく。このときの撮像で得られた画像について比較領域５１の相関値を実際に計算してみて、ノイズによるピークの大きさの変動に基づいて閾値が決定される。
【００５６】
図７に補正テーブル更新可能領域算出部４が比較領域５１について補正テーブル更新可能領域かを、前述のフレーム(1)〜(4)について判断するフローチャートの一例を示す。まず、相関処理用注目点５２（５２ａ〜５２ｄ）が設定され（ステップＳ３１）、各フレームから比較領域５１ａ〜５１ｄが切り出される（ステップＳ３２）。ここで「相関処理用注目点」５２とは、比較領域５１を切り出すときに、切り出す範囲を設定するための基準となる画素のことを指す。次に、フレーム(1)と他のフレームの比較領域５１との間の相関値を算出し、フレーム(1)と他の全てのフレームとの間で相関値が閾値以上であれば、その比較領域５１では補正テーブルの更新が可能であると判断される（ステップＳ３３〜３９）。一方、いずれか一つでもフレーム(1)との相関値が閾値以下のフレームが存在した場合には、その比較領域５１は補正テーブルの更新が不可能な領域であると判断される（ステップＳ４０）。
【００５７】
補正テーブル更新可能領域算出部４は、あらかじめ、比較領域５１について補正テーブルの更新の可否を記録しておく、注目点更新可否テーブルを備えている。補正テーブル更新可能領域算出部４は、補正テーブルの更新が可能であると判断された比較領域５１については、その比較領域５１の相関処理用注目点に対して、注目点更新可否テーブルに「更新可」の設定をする（ステップＳ３９）。一方、補正テーブルの更新が不可能であると判断された領域については、注目点更新可否テーブルに「更新不可」の設定がされる（ステップＳ４０）。注目点更新可否テーブルは、注目点の座標および更新の可否を記録することができる任意の形式を取りうる。一例としては、「更新可」であれば１、「更新不可」であれば０の値を、注目点の座標と対応付けて記録することが考えられる。
【００５８】
以上の処理を、有効領域５０の全ての画素について行うまで、相関処理用注目点５２の座標を変更して続ける（ステップＳ４１）。
＜補正テーブル更新＞
補正テーブル更新部５は補正テーブル更新可能領域算出部４の判定結果によって更新可能とされた部分について、ターゲットシーンの同一部分を撮像した複数の素子からの出力を比較する。以下、フレーム(1)〜(4)を用いて、隣り合った４画素を用いてオフセット補正テーブルを更新する場合について、補正テーブル更新部５の動作のフローチャート（図８）を参照しながら具体的に述べる。なお、フレーム(1)〜(4)の４枚のフレームの一組を１セットだけ用いても、複数セット用いても良い。
【００５９】
｛４画素相対関係の算出｝
まず４画素相対関係算出用注目点が設定され、その位置が補正テーブル更新可能領域に設定されているかが調べられる。ここで、「４画素相対関係」とは、ターゲットシーンの同一部分を撮像した４画素での値の相対的なずれ量を指す。具体的には、ある画素での値を基準としたときの、他の画素の値と基準とした画素の値との差である。つまり「４画素
相対関係」は画像取得部１に含まれる素子を用いて定義すれば、ターゲットシーン（撮像対象）の同一部分を撮像している関係にある素子群において生じた各素子間での出力の差（素子間出力差）であるといえる。また、「４画素相対関係算出用注目点」は、フレーム(1)〜(4)の画素の相対関係を算出するための点であり、補正テーブル更新可能領域上に設定されるべき点である。４画素相対関係算出用注目点は補正テーブル更新可能領域の任意の位置に設定できる。なお、以下の説明において、４画素相対関係算出用注目点や注目点などの点を補正テーブル更新可能領域中に設定した場合に、設定された点である画素に相当する各フレームの画素を「注目画素」と記載することがある。
【００６０】
４画素相対関係算出用注目点が設定された画素が補正テーブル更新可能領域に存在しない場合は、補正テーブル更新可能領域になるまで４画素相対関係算出用注目点を設定しなおす（ステップＳ５１、５２）。補正テーブル更新可能領域に存在する画素の座標が見つかったら、設定された４画素相対関係算出用注目点に相当する各々のフレームの画素の値の差を算出する（ステップＳ５３）。
【００６１】
例えば、４画素の左上の画素を基準として４画素相対関係を算出する場合を示す。補正テーブル更新可能領域内の（ｘ，ｙ）＝（Ａ，Ｂ）に「４画素相対関係算出用注目点」が設定された場合について考える。ここでは、一例として、４画素のうち、一番左上にある画素を基準として相対関係を算出する場合について示す。すなわち、比較する４つのフレームのうち、一番左上にある素子で同一のターゲットの同一部分を撮像したフレームを基準とするので、フレーム(3)の（Ａ，Ｂ）に対応した画素を基準として演算を行う例を示す。４画素相対関係算出用注目点が設定されると、オフセット補正テーブル更新部３０は、基準としたフレーム(3)の４画素相対関係算出用注目点の座標の素子の出力を補正画像データから認識する。次に、他のフレームにおいて「４画素相対関係算出用注目点」の画素のデータを出力した素子の位置を、フレーム(3)撮像時とほかのフレーム撮像時の指向部２による視軸の移動量から求める。
【００６２】
ここで、（Ａ，Ｂ）の周辺にある素子の出力値が以下のようであったとする。
フレーム(3)の注目画素に該当する素子（Ａ，Ｂ）の出力値 ：Ａ１
フレーム(4)の注目画素に該当する素子（Ａ＋１，Ｂ）の出力値 ：Ａ２
フレーム(1)の注目画素に該当する素子（Ａ＋１，Ｂ＋１）の出力値：Ａ３
フレーム(2)の注目画素に該当する素子（Ａ，Ｂ＋１）の出力値 ：Ａ４
これらの値は、同じターゲットシーンの中の同一の部分について異なる４つの素子で出力した結果であるので、本来は同一の出力値になるべきものである。値がＡ１やＡ４のように変化しているのは、オフセットばらつきの経時変化によるものであるとみなすことができる。以上の値から、（Ａ，Ｂ）の素子を基準にして４画素相対関係を算出すると次のようになる。
【００６３】
（Ａ，Ｂ）の出力値と（Ａ＋１，Ｂ）の出力値の差 ：Ａ１−Ａ２
（Ａ，Ｂ）の出力値と（Ａ＋１，Ｂ＋１）の出力値の差：Ａ１−Ａ３
（Ａ，Ｂ）の出力値と（Ａ，Ｂ＋１）の出力値の差 ：Ａ１−Ａ４
４画素間での相対関係を算出したら、更新可能領域の全画素について４画素相対関係が算出されているかのチェックが行われる（ステップＳ５４）。全画素が終了していなければ、４画素相対関係算出用注目点を移動させて同様の計算が行われる。例えば、４画素相対関係算出用注目点が右側の隣接点に移動され、フレーム(3)の（ｘ，ｙ）＝（Ａ＋１，Ｂ）にある素子が撮像した、更新可能領域上の画素に「４画素相対関係算出用注目点」が設定された場合を考える。この場合は前述のとおり、注目画素はフレーム(4)で（Ａ＋２，Ｂ）、フレーム(1)で（Ａ＋２，Ｂ＋１）、フレーム(2)で（Ａ＋１，Ｂ＋１）となる。ここで、フレーム(1)〜(4)のそれぞれの注目画素について素子の出力値が次の値であったとする。
【００６４】
フレーム(3)の注目画素に該当する素子（Ａ＋１，Ｂ）の出力値 ：Ａ５
フレーム(4)の注目画素に該当する素子（Ａ＋２，Ｂ）の出力値 ：Ａ６
フレーム(1)の注目画素に該当する素子（Ａ＋２，Ｂ＋１）の出力値：Ａ７
フレーム(2)の注目画素に該当する素子（Ａ＋１，Ｂ＋１）の出力値：Ａ８
Ａ５〜Ａ８の値も、同じターゲットシーンの中の同一の部分について異なる４つの素子で出力した結果であるので、本来は同一の出力値になるべきものである。以上の値から、（Ａ＋１，Ｂ）の素子を基準にして４画素相対関係を算出すると次のようになる。
【００６５】
（Ａ＋１，Ｂ）の出力値と（Ａ＋２，Ｂ）の出力値の差 ：Ａ５−Ａ６
（Ａ＋１，Ｂ）の出力値と（Ａ＋２，Ｂ＋１）の出力値の差：Ａ５−Ａ７
（Ａ＋１，Ｂ）の出力値と（Ａ＋１，Ｂ＋１）の出力値の差：Ａ５−Ａ８
上記の例から明らかなように、（Ａ＋１，Ｂ）の素子と（Ａ＋１，Ｂ＋１）の素子から出力された画素の値は、最初の４画素相対関係算出用注目点での相対関係算出と、移動後の４画素相対関係算出用注目点での相対関係算出とで用いられることになる。しかし、（Ａ＋１，Ｂ）からの出力は、最初の４画素相対関係算出点を設定したときには、フレーム(4)での画素の値を使っていたのに対し、４画素相対関係算出点移動後ではフレーム(3)での画素の値を用いている。従って、同じ画素が撮像したとはいえ、フレーム(4)で（Ａ＋１，Ｂ）が撮像した部分と、フレーム(3)で（Ａ＋１，Ｂ）が撮像した部分とは、ターゲットシーンの異なる一部分であることに留意すべきである。説明のために、（Ａ，Ｂ）がフレーム(3)において出力した画素に撮像された撮像対象の一部分を「第一の部分」とする。最初の４画素相対関係算出時には、第一の部分を撮像した素子群について、第一の部分を撮像したときの素子間出力差を求めている。一方、４画素相対関係算出用注目点を前述の例のように移動させたときには、（Ａ＋１，Ｂ）がフレーム(3)において出力した画素に撮像された撮像対象の「第二の部分」を撮像した素子群について、第二の部分を撮像したときの素子間出力差を求めていることになる。従って、４画素相対関係の算出とは、撮像対象の各部分ごとに、当該部分を撮像した素子群を認識し、素子群に含まれる各素子での素子間出力差を算出していることに相当する。
【００６６】
上記の４画素相対関係の算出例では、説明のために左上を基準（基準画素）としたときの計算について示したが、どこに基準画素を置いても良い。つまり、基準画素の位置は同一ターゲットの同一部分を撮像した素子群のうちの任意の素子に設定することができる。本明細書中では、基準画素を撮像した素子を基準素子と記載することがある。
【００６７】
さらに、ここで、４画素として計算しているのは説明のために過ぎず、相対関係を求めるときに用いる画素数も任意であり、用いるフレーム数によって変化する数である。すなわち、「相対関係」はターゲットシーンの同一部分を撮像した任意の数の素子からなる素子群の各素子間での出力差である。
【００６８】
｛原点の設定と更新量の計算｝
４画素相対関係を算出しただけでは、第一の部分を撮像した第一の素子群についての素子間出力差が求められ、第二の部分を撮像した第二の素子群についての素子間出力差も求められるというように、同一部分を撮像した素子同士の出力差が求まるに過ぎない。しかし、オフセット補正テーブルの補正では、第一の素子群、第二の素子群などの複数の素子群の全てについて４画素相対関係として求めた素子間出力差を解消しつつ、同一対象を撮像したときに素子群の間で出力差を生じないようにする必要がある。そこで、更新可能領域の全画素について４画素相対関係が算出された場合には、オフセット補正テーブル更新部３０が原点の設定を行う（ステップＳ５５）。「原点」とは、更新量を算出するための基準となる点である。この「更新量」とは、オフセット補正テーブルの更新量である。つまり、「４画素相対関係」が４つの素子のみの間での出力値の差であるのに対し、「更新
量」は更新可能領域内に存在する全ての素子の出力値と原点に位置する素子の出力値の差である。従って、原点は全ての素子の更新量の基準となるため、原点の素子の更新量は常にゼロである。
【００６９】
原点が設定されたら、原点を基準としたときの相対関係を用いて、原点を基準として相対関係を求めた素子の更新量を算出する。先の例では、左上を基準として４画素相対関係を算出したので、更新量の算出は原点の右、右下、下に位置する素子の４つの素子について行われる（ステップS５６）。
【００７０】
前述のとおりに、同一のターゲットシーンの同一部分を撮像したときの（Ａ，Ｂ）の素子の出力としてＡ１の値が算出され、（Ａ＋１，Ｂ）の素子の出力としてＡ２が得られたとする。本来同じ値であるべき値が（Ａ，Ｂ）の素子からの出力ではＡ１、（Ａ＋１，Ｂ）の素子からの出力ではＡ２となったのであるから、（Ａ，Ｂ）の素子のオフセット値を基準とすると（Ａ＋１，Ｂ）の素子のオフセット値が先に算出した相対関係の値である、Ａ１−Ａ２だけずれてしまったことになる。そこで、ずれを解消できるように（Ａ＋１，Ｂ）の素子のオフセット値を変更すべきである。他の素子についても同様に考えられるので、以下のような更新量が求められる。
【００７１】
（Ａ＋１，Ｂ）のオフセット補正テーブル更新量 ：Ａ１−Ａ２
（Ａ＋１，Ｂ＋１）のオフセット補正テーブル更新量：Ａ１−Ａ３
（Ａ，Ｂ＋１）のオフセット補正テーブル更新量 ：Ａ１−Ａ４
この例で明確なように、相対関係を求めたときの基準点が原点と一致した場合、その相対関係の算出がされた各素子についての更新量は相対関係の値と常に一致する。
【００７２】
原点周辺の４つの素子のオフセット補正テーブル更新量が求められたら、その他の部分の素子について処理を行うために、注目点を設定する。注目点は、更新量既算出点であって、更新量を算出していない更新可能領域内の画素に隣接した点に設定される（ステップＳ５７）。次に、既算出点の更新量、および、注目点を基準画素として求めた相対関係を用い、注目点オフセット補正テーブル更新量が算出される（ステップS５８）。具体的には、注目点周辺の素子についての更新量は
更新量＝注目点の更新量＋注目点と更新量を算出したい画素との相対関係
として求められる。
【００７３】
この式から明確なように、更新量の算出には注目点の更新量が必要である。つまり、更新量がすでに算出された点にしか注目点を設定することができない。例えば（Ａ，Ｂ）から注目点を移動させるときには、（Ａ，Ｂ）を注目点として更新量を算出した点に、新たな注目点を設定しなければならない。従って、（Ａ，Ｂ）の右、右下、下の隣接している点が注目点を移動させることができる位置となる。
【００７４】
一例として、原点の（Ａ，Ｂ）の隣接点である（Ａ＋１，Ｂ）に注目点を設定したときについて述べる。この場合、注目点は原点を基準として右に一画素動いた位置に存在する。前述のとおり、（Ａ＋１，Ｂ）を基準として、（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）、（Ａ＋１，Ｂ＋１）について相対関係が各々、Ａ５−Ａ６、Ａ５−Ａ７、Ａ５−Ａ８であると算出されている。また、注目点である（Ａ＋１，Ｂ）の更新量はＡ１−Ａ２である。
【００７５】
このとき、原点に注目点を置いて更新量を求めた際とは異なり、すでに（Ａ，Ｂ）の素子を基準として（Ａ＋１，Ｂ）、（Ａ＋１，Ｂ＋１）、（Ａ，Ｂ＋１）の４画素間での更新量が求められている。従って、今回の更新量の算出を行う対象となる（Ａ＋１，Ｂ）、（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）、および（Ａ＋１，Ｂ＋１）のうち、（Ａ＋１，Ｂ）と（Ａ＋１，Ｂ＋１）の素子についてはすでに更新量が求められている。従って、（Ａ
＋２，Ｂ）と（Ａ＋２，Ｂ＋１）の二つの素子について更新量を計算すればよい。未算出点である（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）についての更新量は以下のとおりである。
【００７６】
（Ａ＋２，Ｂ）の更新量 ：（Ａ１−Ａ２）＋（Ａ５−Ａ６）
（Ａ＋２，Ｂ＋１）の更新量：（Ａ１−Ａ２）＋（Ａ５−Ａ７）
上記の処理によって第一の素子群、第二の素子群などの複数の素子群の全てについて４画素相対関係として求めた素子間出力差を解消しつつ、同一対象を撮像したときに素子群の間で出力差を生じないようにすることができる。例えば、（Ａ＋１，Ｂ）を基準素子として素子間出力差を求めた素子と（Ａ＋１，Ｂ）とを第一の素子群とする。また、（Ａ＋１，Ｂ）の素子を第一の基準素子とする。つまり、第一の素子群は、（Ａ＋１，Ｂ）の素子が撮像した画素を基準画素とした４画素相対関係算出に用いた画素の撮像を行った素子である。第一の素子群が撮像している撮像対象の第一の部分と異なる、第二の部分を撮像した素子群を第二の素子群、第三の部分を撮像した素子群を第三の素子群とする。ここでは、例として、（Ａ＋２，Ｂ）を第二の基準素子、（Ａ＋２，Ｂ＋１）を第三の基準素子とする。また、第二の基準素子（Ａ＋２，Ｂ）を用いて素子間出力差を求めた素子と第二の基準素子を第二の素子群とする。同様に第三の素子群は（Ａ＋２，Ｂ＋１）を用いて素子間出力差を求めた素子と第三の基準素子からなる。4画素相対関係を算出しただけでは、
第一の素子群：第一の基準素子（Ａ＋１，Ｂ）を基準とした素子間出力差
第二の素子群：第二の基準素子（Ａ＋２，Ｂ）を基準とした素子間出力差
第三の素子群：第三の基準素子（Ａ＋２，Ｂ＋１）を基準とした素子間出力差
しか分かっていない状態である。
【００７７】
そこで、ステップＳ５５で原点を設定して、原点の値を基準として前述のとおり、第一の基準素子に対する更新量を求め（ステップＳ５６に相当）、第一の基準素子の更新量を用いて、第一の素子群に含まれる（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）について更新量を求めた（ステップＳ５７、Ｓ５８）。（Ａ＋２，Ｂ）、（Ａ＋２，Ｂ＋１）は前述のとおり、それぞれ第二の基準素子、第三の基準素子に該当する。つまり、第一の素子群の各素子について更新量を求めることによって、第二の基準素子、第三の基準素子の更新量を求めたことになる。第二の基準素子の更新量が分かったので第二の基準素子の更新量と第二の素子群での素子間出力差を用いて、第二の素子群に存在する素子の更新量が求められる。また、この処理で求められた第二の素子群に対する更新量は、第一の素子群の更新量と同様に、原点を基準としている。そのため、オフセット補正テーブルを更新量にしたがって更新した後に、第一の素子群と第二の素子群とで、撮像対象の同一部分を撮像しても、更にオフセットがずれない限りは、同一の出力値が得られる。第三の素子群についても同様である。
【００７８】
また、別の視点から見ると、ステップＳ５５〜Ｓ５９までの処理は、原点の素子（Ａ，Ｂ）、第一の基準素子（Ａ＋１，Ｂ）、第二の基準素子（Ａ＋２，Ｂ）、および、第三の基準素子（Ａ＋２，Ｂ＋１）が、仮に撮像対象の同一部分を撮像したときに原点の素子の出力を基準として各基準素子間の出力差がどれだけであるかを求めているともいえる。
【００７９】
このように、既算出点のオフセット補正テーブル更新量を基にして未算出点のオフセット補正テーブル更新量を算出することによって、画面全体の相対的なばらつきを補正することができる。
【００８０】
｛オフセット補正テーブルの更新｝
同様の処理を、更新可能領域中の未算出点であって、既算出点と隣接している点がなくなるまで、注目点を変更して行う（ステップS５９）。更新量を算出済みの点に隣接する未算出更新可能点がなくなったとき、オフセット補正テーブル更新部３０は、各素子につ
いて算出された更新量を、更新量平均値算出メモリ３１に格納する（ステップS６０）。ステップS６１の規定回数は、用いるフレームのセットの数に相当する。従って、用いるセット数と同じ回数分、各素子についての更新量算出が行われ、得られた更新量が更新量平均値算出メモリ３１に格納される（ステップＳ６０）。全てのセットについて更新量算出が終了したところで、更新量の平均値が求められ、オフセット補正テーブルに加算されてオフセット補正テーブルの更新が終了する（ステップＳ６２〜６４）。
【００８１】
例えば、フレーム撮像時の各素子についてのオフセット補正テーブルの値が以下のようであったとする。
オフセット補正テーブル（Ａ，Ｂ） ：Ｏ１
オフセット補正テーブル（Ａ＋１，Ｂ） ：Ｏ２
オフセット補正テーブル（Ａ＋１，Ｂ＋１）：Ｏ３
オフセット補正テーブル（Ａ，Ｂ＋１） ：Ｏ４
オフセット補正テーブル（Ａ＋２，Ｂ） ：Ｏ５
オフセット補正テーブル（Ａ＋２，Ｂ＋１）：Ｏ６
このオフセット補正テーブルの値に、算出された各素子に対しての更新量の平均値を足しこむ。用いられるフレームが上記の具体例で示した１セットのみであった場合は、更新量の平均値は算出された更新量自体となる。この場合には更新後のオフセット補正テーブルとして以下のような値が得られる。
【００８２】
（Ａ，Ｂ） ：Ｏ１
（Ａ＋１，Ｂ） ：Ｏ２＋Ａ１−Ａ２
（Ａ＋１，Ｂ＋１）：Ｏ３＋Ａ１−Ａ３
（Ａ，Ｂ＋１） ：Ｏ４＋Ａ１−Ａ４
（Ａ＋２，Ｂ） ：Ｏ５＋（Ａ１−Ａ２）＋（Ａ５−Ａ６）
（Ａ＋２，Ｂ＋１）：Ｏ６＋（Ａ１−Ａ２）＋（Ａ５−Ａ７）
更新後のオフセット補正テーブルを用いれば、素子間でのオフセットのずれが解消されているので、ターゲットシーンの同一部分を撮像したときの出力は同一になるはずである。
【００８３】
複数のセットを用いると、個々のフレームに生じてしまったノイズの影響が小さくなるという利点がある。ただし、オフセット補正テーブル更新に使用できるフレーム数が少ない場合や、演算処理に使用できるメモリ領域に制限がある場合などにおいては、１セットのみで処理をすることも可能である。
【００８４】
｛原点の設定位置とオフセット補正される領域との関係｝
以上に説明した方法においては、４画素相対関係算出において左上を基準とし、原点から注目点を右側に移動して更新量を算出した。しかし、４画素相対関係算出において左上を基準としたときには、基準とした素子の右だけでなく、下および右下の素子についても更新量が算出されている。従って、注目点は右だけでなく、原点の右下や下に設定することが可能である。
【００８５】
ここまでの説明で明らかなように、原則的には、４画素相対関係算出において、左上を基準とした場合においては、注目点の右、右下、下にしか既算出点が存在しない。つまり、原則として、原点より左側や上側の画素について更新量を算出することができない。従って、４画素相対関係算出において左上を基準とした場合においては、原点は更新可能領域のうちのできるだけ左上を選択したほうが、より広い範囲についてオフセット補正テーブルの更新を行うことができることになる。
【００８６】
ただし、４画素相対関係を別の画素を基準とした相対関係に読み替えるだけの計算をし
ても他の処理に支障をきたさない程度の性能を有するコンピュータを用いることができれば、原点はどこに設定しても良いことになる。具体的に前述の例を用いて述べる。（Ａ，Ｂ）の出力値を基準としたときの相対関係は
（Ａ＋１，Ｂ） ：Ａ１−Ａ２
（Ａ＋１，Ｂ＋１）：Ａ１−Ａ３
（Ａ，Ｂ＋１） ：Ａ１−Ａ４
であった。ここで、各々の画素の相対関係の値から（Ａ＋１，Ｂ＋１）の相対関係の値であるＡ１−Ａ３を差し引くと、（Ａ＋１，Ｂ＋１）の出力値を基準とした相対関係を算出することができる。
【００８７】
（Ａ，Ｂ） ：Ａ３−Ａ１
（Ａ＋１，Ｂ）：Ａ３−Ａ２
（Ａ，Ｂ＋１）：Ａ３−Ａ４
かかる場合は、（Ａ＋１，Ｂ＋１）に原点が設定されたとしても、（Ａ，Ｂ）を基準として算出した相対関係の値を（Ａ＋１，Ｂ＋１）を基準とした値に変換できるため、原点よりも上、左上、左の素子について更新量を算出することができる。同様に４画素相対関係の値をいずれかの更新量既算出点を基準とした値に変換して更新量を算出することができる。
【００８８】
いずれの方法においても、一つの原点を基準として相対的なオフセット補正値のずれを更新量として算出している関係上、一つの連続した更新可能領域に存在する各画素について更新量が算出される。従って、更新可能領域であっても周囲が更新不可能な領域に囲まれている領域に原点を設定しないことが望ましい。
【００８９】
＜他の実施形態＞
なお、本発明は上記の実施形態に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べる。
【００９０】
｛撮像装置、ターゲットが移動したときの処理｝
これまで述べてきた説明においては、撮像装置とターゲットとが静止している領域のみをオフセット補正テーブル更新可能領域であるとした。しかし、撮像装置もしくはターゲットが移動した場合であっても、オフセット補正テーブルの更新をすることができる場合がある。補正テーブル更新可能領域算出部４において比較領域５１が設定され、異なるフレーム間で比較領域５１の相関が調べられるが、比較領域内が全て平行移動している場合には、オフセット補正テーブル更新可能領域とできる場合がある。かかる場合は、補正テーブル更新部５で比較する画素の位置を移動分だけシフトすればターゲットシーンの同一部分の撮像をした素子として扱えるためである。
【００９１】
移動分を求めるために、例えば位相相関法を用いることができる。比較領域内の全てが平行移動している場合に位相相関法によって比較領域５１の相関を取ると、図１４に示すように、相関値が閾値を超えているがピーク位置が中央ではない相関画像が得られる。位相相関法で相関値を求めた場合は、中央からのピーク位置のシフト分が平行移動したときの移動量である。移動量が求まると、補正テーブル更新部５が４画素相対関係を算出するときにその移動量を用いてシフト分だけ移動した位置にある画素との間で相対関係を算出する（図８のステップＳ５３での処理に相当）。
【００９２】
｛視軸移動距離の変形例｝
上述の実施例等で指向部２による視軸移動と視軸移動後の撮像の部分で、互いに隣接した４画素で視軸を移動させる場合の説明を行ったのは理解しやすくするために過ぎない。すなわち、オフセット補正用のデータを取得するために視軸の移動と撮像とを行うときに
、視軸を移動させる範囲は互いに隣り合った４画素である必要はない。さらに多くの画素にわたって視軸の移動と撮像とを繰り返しても良いし、２画素か、３画素での視軸移動に基づいて補正を行うことも考えられる。また、指向部２によって視軸が移動される前の視軸が存在していた位置と、移動後の視軸との距離が１画素分である必要はなく、数画素以上離れた位置に視軸を移動させても同様の処理によってオフセットの補正をすることが可能である。このような運用が可能であることによって、例えば、１画素分ずつ移動させて１０フレーム程度の撮像をしたときに、そのフレームを間引きして一部を用いることも可能になり、運用の自由度が大きくなるという利点がある。
【００９３】
｛その他｝
オフセットの変動が急峻でない場合には、一定時間に一度、断続的にオフセット補正テーブル更新を行っても良い。このように断続的に行う場合においては、補正テーブルの更新を行っていない間は指向部２をサブピクセルステップで駆動して、スーパーレゾリューションに流用することが可能である。
【００９４】
また、オフセット補正テーブルを更新するために、取得された全フレームを用いて行うことも可能である。この場合においてもオフセット補正に用いるフレーム数が多くなればノイズの影響が小さくなるという利点がある。
【００９５】
先に述べた実施例においては、素子の補正後の出力値を比較して得られる相対値を基にオフセット補正テーブルを更新している。従って、実施例に示したとおりにオフセット補正とゲイン補正の両方を行った後のデータを用いた場合に限らず、ゲイン補正のみを行った後の出力値の相対値に基づいてオフセット補正テーブル更新値を算出することも可能である。
【００９６】
指向部２は画像取得部全体を指向しても良いし、画像取得部１の一部分であるレンズやミラーを動かすことで指向しても良い。指向部２はマイクロスキャナで構成しても良いし、ジンバルなどで構成しても良い。
【００９７】
（付記１） 画像取得手段と、
前記画像取得手段の視軸を移動する指向手段と、
前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正する補正手段と、
前記画像取得手段が画像を取得した後、次の画像を取得する前に前記指向手段が前記画像取得手段の視軸を移動させることを繰り返して複数の画像を取得することにより、異なる複数の素子で同一撮像対象に対する前記補正手段による補正後の前記複数の素子の素子間出力差を用いて更新量を求め、該更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新するデータ更新手段と、
を有することを特徴とするオフセット補正処理装置。
【００９８】
（付記２） 前記データ更新手段は、前記撮像対象の第一の部分を第一の素子群が撮像したときの第一の素子間出力差を算出し、
前記複数の画像のうちで、前記複数の素子のうちの一つの素子が前記第一の部分を撮像した画像とは異なる画像で撮像した、前記撮像対象の第二の部分について、前記一つの素子とは異なる素子も前記第二の部分を撮像している場合に、前記第二の部分を撮像した第二の素子群について第二の部分を撮像したときに生ずる第二の素子間出力差を前記一つの素子を基準として算出し、
第一の素子間出力差、および、第二の素子間出力差を用いて更新量を求め、前記更新量により、前記第一の素子群もしくは前記第二の素子群に含まれる素子のうち少なくとも一
つの素子についての前記補正手段で用いるオフセット補正用データを更新する
ことを特徴とする、付記１に記載のオフセット補正処理装置。
【００９９】
（付記３） 前記データ更新手段は、前記第一の素子群のうちの一つを第一の基準素子として、前記第一の基準素子の補正後の出力から前記第一の素子群の他の素子の補正後の出力を差し引いて第一の基準素子に対する素子間出力差を算出し、
前記第二の素子群のうちの一つを第二の基準素子として、前記第二の基準素子の補正後の出力から前記第二の素子群の他の素子の補正後の出力を差し引いて第二の基準素子に対する素子間出力差を算出し、
前記第一の基準素子と前記第二の基準素子との間で、撮像対象の同一部分を撮像するときに生じる基準素子間での出力差をさらに算出し、
算出された前記基準素子間での出力差と前記第一の基準素子の更新量とから、前記第二の基準素子の更新量を求め、
前記データ更新手段によって算出された前記第二の基準素子に対する素子間出力差、および、前記基準素子間での出力差を、前記第二の素子群の各素子の更新量に加算することにより、第二の素子群の少なくとも一つの素子のオフセット補正用データを更新して、前記第一の部分を撮像したときの素子の間の出力差、ならびに、第二の部分を撮像したときの素子の間の出力差を小さくする
ことを特徴とする、付記２に記載のオフセット補正処理装置。
【０１００】
（付記４） 前記複数の画像に、画像間の相関値を算出するための比較領域をそれぞれ設定し、前記複数の画像のうちの一つの画像の比較領域と他の画像の比較領域との相関を算出して、一定以上の相関が得られたときに、各画像の比較領域を補正テーブル更新が可能な領域であると判定する補正テーブル更新可能領域算出手段をさらに有し、
前記データ更新手段は、前記補正テーブル更新可能領域算出手段により、補正テーブル更新が可能であると判定された領域の撮像を行った、複数の素子を選択し、
前記選択された複数の素子のうちの一つの素子の前記補正手段による補正後の出力を基準として、前記選択された複数の素子のうちの他の素子からの出力の差を用いて更新量を求め、前記更新量により前記オフセット補正用データを更新する
ことを特徴とする、付記１乃至３のいずれか一項に記載のオフセット補正処理装置。
【０１０１】
（付記５） 画像取得手段の画像取得後に、指向手段が前記画像取得手段の視軸を移動させ、前記視軸の移動後に前記画像取得手段が画像を取得する処理を繰り返して複数の画像を取得することによって異なる複数の素子で同一撮像対象を撮像し、
前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正手段で補正したときの前記複数の素子からの出力の差を用いて更新量を求め、
前記更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新する
ことを特徴とするオフセット補正処理方法。
【０１０２】
（付記６） 前記画像取得手段による撮像と前記指向手段による前記視軸の移動を繰り返すことによって、複数の画像を取得し、
前記複数の画像において、異なる複数の素子で前記撮像対象の同一の部分を撮像した関係にある領域を特定し、
特定された領域を撮像した前記複数の素子に対して、撮像した前記撮像対象の部分ごとに、前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正手段で補正したときにおける、前記複数の素子間での出力差を用いて更新量を求め、
前記更新量により前記補正手段で用いるオフセット補正用データを更新することを特徴とする、付記５に記載のオフセット補正処理方法。
【０１０３】
（付記７） 前記複数の画像から基準の画像を選択し、
前記選択した画像から第一の比較領域を切り取り、
他の各画像を、各画像を取得したときの前記画像取得手段の視軸の位置と前記基準の画像を前記画像取得手段が取得したときとの視軸の移動量を打ち消すように切り取り位置を移動させて第二の比較領域を切り取り、
前記基準の画像から切り取られた第一の比較領域と、他の画像から切り取られた第二の比較領域とを比較して、
比較された画像同士において、前記撮像対象の同一部分を前記一定の領域内における同一の位置に撮像している場合には、異なる複数の素子で撮像対象の同一の部分を撮像していると判定することを特徴とする、付記６に記載のオフセット補正処理方法。
【０１０４】
（付記８） 異なる複数の素子で撮像対象の同一の部分を撮像した結果、前記同一の部分として撮像された部分が複数存在する場合に、
前記複数の素子の一つをオフセット補正用データの更新の基準の素子とし、
前記同一の部分として撮像された部分ごとに、同一の部分を撮像した素子間での出力差を求め、
前記複数の素子の各素子と、前記更新の基準の素子とが、前記撮像対象の同一部分の一つを撮像したときに生じる、各素子の出力と前記更新の基準とした素子との出力差を算出し、
算出した出力差により求めた更新量により、前記補正手段で用いるオフセット補正用データを更新することを特徴とする、付記６乃至８のいずれか一項に記載のオフセット補正処理方法。
【図面の簡単な説明】
【０１０５】
【図１】図１は、オフセット補正処理装置の一態様の概要を示す図である。
【図２】図２は、オフセット補正処理装置の構成の具体例を示す図である。
【図３】図３は、初期補正テーブルの算出についてのフローチャートである。
【図４】図４は、補正画像の取得についてのフローチャートである。
【図５】図５は、指向部による走査を示す図である。
【図６】図６は、指向部による視軸の移動と視軸移動後の撮像についてのフローチャートである。
【図７】図７は、補正テーブル更新可能領域が算出される際のフローチャートである。
【図８】図８は、オフセット補正テーブルの更新についてのフローチャートである。
【図９】図９は、各フレームで撮像されたターゲットシーンの範囲について説明する図である。
【図１０】図１０は、画像の座標系を示す図である。
【図１１】図１１は、比較領域の切り出しと比較領域の座標系を説明する図である。
【図１２】図１２は、比較領域の切り出し座標を説明する図である。
【図１３】図１３は、位相相関を用いて相関値算出を行った場合の相関画像の例を示す図である。
【図１４】図１４は、位相相関を用いた相関値算出により撮像装置等の移動を検出する場合の相関画像の例を示す図である。
【符号の説明】
【０１０６】
１ 画像取得部
２ 指向部
３ 補正部
４ 補正テーブル更新可能領域算出部
５ 補正テーブル更新部
１０ レンズ部
１１ マイクロスキャナ部
１２ 光路切替部
１３ 低温基準熱板部
１４ 高温基準熱板部
１５ 光電変換部
１６ 増幅部
１７ Ａ／Ｄ変換部
１８ 初期補正テーブル算出部
１９ 低温画像格納メモリ
２０ 高温画像格納メモリ
２１ ゲイン格納メモリ
２２ オフセット格納メモリ
２３ 補正処理部
２４ 比較領域抽出部
２５ フレーム(1)格納メモリ
２６ フレーム(2)格納メモリ
２７ フレーム(3)格納メモリ
２８ フレーム(4)格納メモリ
２９ 位相相関処理部
３０ オフセット補正テーブル更新部
３１ 平均値算出メモリ
４０ 撮像対象の一部分
４１ 撮像対象の一部分４０をフレーム(1)撮像時に撮像した画素
４２ 撮像対象の一部分４０をフレーム(2)撮像時に撮像した画素
４３ 撮像対象の一部分４０をフレーム(3)撮像時に撮像した画素
４４ 撮像対象の一部分４０をフレーム(4)撮像時に撮像した画素
５０ 有効領域
５１、５１ａ、５１ｂ、５１ｃ、５１ｄ 比較領域
５２、５２ａ、５２ｂ、５２ｃ、５２ｄ 相関処理用注目点
【特許請求の範囲】
【請求項１】
画像取得手段と、
前記画像取得手段の視軸を移動する指向手段と、
前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正する補正手段と、
前記画像取得手段が画像を取得した後、次の画像を取得する前に前記指向手段が前記画像取得手段の視軸を移動させることを繰り返して複数の画像を取得することにより、異なる複数の素子で同一撮像対象に対する前記補正手段による補正後の前記複数の素子の素子間出力差を用いて更新量を求め、該更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新するデータ更新手段と、
を有することを特徴とするオフセット補正処理装置。
【請求項２】
前記データ更新手段は、前記撮像対象の第一の部分を第一の素子群が撮像したときの第一の素子間出力差を算出し、
前記複数の画像のうちで、前記複数の素子のうちの一つの素子が前記第一の部分を撮像した画像とは異なる画像で撮像した、前記撮像対象の第二の部分について、前記一つの素子とは異なる素子も前記第二の部分を撮像している場合に、前記第二の部分を撮像した第二の素子群について第二の部分を撮像したときに生ずる第二の素子間出力差を前記一つの素子を基準として算出し、
第一の素子間出力差、および、第二の素子間出力差を用いて更新量を求め、前記更新量により、前記第一の素子群もしくは前記第二の素子群に含まれる素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新する
ことを特徴とする、請求項１記載のオフセット補正処理装置。
【請求項３】
前記データ更新手段は、前記第一の素子群のうちの一つを第一の基準素子として、前記第一の基準素子の補正後の出力から前記第一の素子群の他の素子の補正後の出力を差し引いて第一の基準素子に対する素子間出力差を算出し、
前記第二の素子群のうちの一つを第二の基準素子として、前記第二の基準素子の補正後の出力から前記第二の素子群の他の素子の補正後の出力を差し引いて第二の基準素子に対する素子間出力差を算出し、
前記第一の基準素子と前記第二の基準素子との間で、撮像対象の同一部分を撮像するときに生じる基準素子間での出力差をさらに算出し、
算出された前記基準素子間での出力差と前記第一の基準素子の更新量とから、前記第二の基準素子の更新量を求め、
前記データ更新手段によって算出された前記第二の基準素子に対する素子間出力差、および、前記基準素子間での出力差を、前記第二の素子群の各素子の更新量に加算することにより、第二の素子群の少なくとも一つの素子のオフセット補正用データを更新して、前記第一の部分を撮像したときの素子の間の出力差、ならびに、第二の部分を撮像したときの素子の間の出力差を小さくする
ことを特徴とする、請求項２記載のオフセット補正処理装置。
【請求項４】
前記複数の画像に、画像間の相関値を算出するための比較領域をそれぞれ設定し、前記複数の画像のうちの一つの画像の比較領域と他の画像の比較領域との相関を算出して、一定以上の相関が得られたときに、各画像の比較領域を補正テーブル更新が可能な領域であると判定する補正テーブル更新可能領域算出手段をさらに有し、
前記データ更新手段は、前記補正テーブル更新可能領域算出手段により、補正テーブル更新が可能であると判定された領域の撮像を行った、複数の素子を選択し、
前記選択された複数の素子のうちの一つの素子の前記補正手段による補正後の出力を基
準として、前記選択された複数の素子のうちの他の素子からの出力の差を用いて更新量を求め、前記更新量により前記オフセット補正用データを更新する
ことを特徴とする、請求項１乃至３のいずれか一項に記載のオフセット補正処理装置。
【請求項５】
画像取得手段の画像取得後に、指向手段が前記画像取得手段の視軸を移動させ、前記視軸の移動後に前記画像取得手段が画像を取得する処理を繰り返して複数の画像を取得することによって異なる複数の素子で同一撮像対象を撮像し、
前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正手段で補正したときの前記複数の素子からの出力の差を用いて更新量を求め、
前記更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新する
ことを特徴とするオフセット補正処理方法。
【請求項６】
前記複数の画像において、異なる複数の素子で前記撮像対象の同一の部分を撮像した関係にある領域を特定し、
特定された領域を撮像した前記複数の素子に対して、撮像した前記撮像対象の部分ごとに、前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正手段で補正したときにおける、前記複数の素子間での出力差を用いて更新量を求め、
前記更新量により前記補正手段で用いるオフセット補正用データを更新することを特徴とする、請求項５記載のオフセット補正処理方法。
【請求項１】
画像取得手段と、
前記画像取得手段の視軸を移動する指向手段と、
前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正する補正手段と、
前記画像取得手段が画像を取得した後、次の画像を取得する前に前記指向手段が前記画像取得手段の視軸を移動させることを繰り返して複数の画像を取得することにより、異なる複数の素子で同一撮像対象に対する前記補正手段による補正後の前記複数の素子の素子間出力差を用いて更新量を求め、該更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新するデータ更新手段と、
を有することを特徴とするオフセット補正処理装置。
【請求項２】
前記データ更新手段は、前記撮像対象の第一の部分を第一の素子群が撮像したときの第一の素子間出力差を算出し、
前記複数の画像のうちで、前記複数の素子のうちの一つの素子が前記第一の部分を撮像した画像とは異なる画像で撮像した、前記撮像対象の第二の部分について、前記一つの素子とは異なる素子も前記第二の部分を撮像している場合に、前記第二の部分を撮像した第二の素子群について第二の部分を撮像したときに生ずる第二の素子間出力差を前記一つの素子を基準として算出し、
第一の素子間出力差、および、第二の素子間出力差を用いて更新量を求め、前記更新量により、前記第一の素子群もしくは前記第二の素子群に含まれる素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新する
ことを特徴とする、請求項１記載のオフセット補正処理装置。
【請求項３】
前記データ更新手段は、前記第一の素子群のうちの一つを第一の基準素子として、前記第一の基準素子の補正後の出力から前記第一の素子群の他の素子の補正後の出力を差し引いて第一の基準素子に対する素子間出力差を算出し、
前記第二の素子群のうちの一つを第二の基準素子として、前記第二の基準素子の補正後の出力から前記第二の素子群の他の素子の補正後の出力を差し引いて第二の基準素子に対する素子間出力差を算出し、
前記第一の基準素子と前記第二の基準素子との間で、撮像対象の同一部分を撮像するときに生じる基準素子間での出力差をさらに算出し、
算出された前記基準素子間での出力差と前記第一の基準素子の更新量とから、前記第二の基準素子の更新量を求め、
前記データ更新手段によって算出された前記第二の基準素子に対する素子間出力差、および、前記基準素子間での出力差を、前記第二の素子群の各素子の更新量に加算することにより、第二の素子群の少なくとも一つの素子のオフセット補正用データを更新して、前記第一の部分を撮像したときの素子の間の出力差、ならびに、第二の部分を撮像したときの素子の間の出力差を小さくする
ことを特徴とする、請求項２記載のオフセット補正処理装置。
【請求項４】
前記複数の画像に、画像間の相関値を算出するための比較領域をそれぞれ設定し、前記複数の画像のうちの一つの画像の比較領域と他の画像の比較領域との相関を算出して、一定以上の相関が得られたときに、各画像の比較領域を補正テーブル更新が可能な領域であると判定する補正テーブル更新可能領域算出手段をさらに有し、
前記データ更新手段は、前記補正テーブル更新可能領域算出手段により、補正テーブル更新が可能であると判定された領域の撮像を行った、複数の素子を選択し、
前記選択された複数の素子のうちの一つの素子の前記補正手段による補正後の出力を基
準として、前記選択された複数の素子のうちの他の素子からの出力の差を用いて更新量を求め、前記更新量により前記オフセット補正用データを更新する
ことを特徴とする、請求項１乃至３のいずれか一項に記載のオフセット補正処理装置。
【請求項５】
画像取得手段の画像取得後に、指向手段が前記画像取得手段の視軸を移動させ、前記視軸の移動後に前記画像取得手段が画像を取得する処理を繰り返して複数の画像を取得することによって異なる複数の素子で同一撮像対象を撮像し、
前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正手段で補正したときの前記複数の素子からの出力の差を用いて更新量を求め、
前記更新量により前記複数の素子のうち少なくとも一つの素子についての前記補正手段で用いるオフセット補正用データを更新する
ことを特徴とするオフセット補正処理方法。
【請求項６】
前記複数の画像において、異なる複数の素子で前記撮像対象の同一の部分を撮像した関係にある領域を特定し、
特定された領域を撮像した前記複数の素子に対して、撮像した前記撮像対象の部分ごとに、前記画像取得手段に含まれる各素子の出力のゲインおよびオフセットを補正手段で補正したときにおける、前記複数の素子間での出力差を用いて更新量を求め、
前記更新量により前記補正手段で用いるオフセット補正用データを更新することを特徴とする、請求項５記載のオフセット補正処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−１０９４４１（Ｐ２００９−１０９４４１Ａ）
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願番号】特願２００７−２８４５４４（Ｐ２００７−２８４５４４）
【出願日】平成１９年１０月３１日（２００７．１０．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願日】平成１９年１０月３１日（２００７．１０．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]