説明

赤外線撮像装置

【課題】 良好なシェーディング補正を行って、正確なシーン画像の再生を可能とする赤外線撮像装置を提供する。
【解決手段】 光学系と複数の赤外線検知素子と該複数の赤外線検知素子を収容する容器とを有するカメラヘッドにより撮像された画像データのシェーディング補正をする赤外線撮像装置において、均一シーンを撮像したとき画像データ に含まれるシーン成分が一定となるように光学系シェーディング成分を補正して感度補正画像データを作成する第1補正部と、赤外線検知素子毎に、光学系及び容器より放射される赤外線によるハウジングシェーディング成分を補正するためのハウジング応答プロファイルを記憶する記憶部と、各赤外線検知素子についての感度補正画像データ及びハウジング応答プロファイルに基づいてハウジングシェーディング成分を補正してハウジングシェーディング補正画像データを作成する第2補正部とを具備して構成する。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、赤外線撮像装置に関し、特に、赤外線撮像画像データに含まれるシェーディングの補正に関する。
【0002】
【従来の技術】全ての物体は、その温度が絶対零度以上であれば物体表面の原子あるいは分子の運動によりその温度に応じた電磁波を放射している。地球上の多くの物体の電磁波放射の最大の波長は赤外線領域にある。この赤外線を検出して画像処理をするのが赤外線撮像装置である。赤外線撮像装置は、受光装置のみで使われることが多く、装置を小形軽量にまとめられることが大きな特徴の一つである。一般にこれを受動方式(パッシブ方式)という。送信装置と受信装置の1組ででき上がるシステムを能動方式(アクティブ方式)という。赤外線パッシブ方式は電波レーダのように送信装置を使って電波を放射することがないのでも相手に気づかれずに秘匿性が高いという特徴があり、このため軍用として発展し赤外線技術開発の基礎となってきた。現在は民生品として画像装置を中心として多くの応用装置が市販されている。赤外線システムの受信装置は、赤外線を検出して電気信号に変換するカメラヘッド、アナログ/ディジタル変換するA/D変換器及び各種アプリケーションに応じて、画像処理を画像処理装置等から構成される。
【0003】図32は、カメラヘッドの一般的構成図である。図32に示すように、カメラへッド2は、光学系4及び赤外線検知器6より構成される。光学系4はレンズ8及び鏡筒10から構成される。レンズ8は赤外線を集光する。鏡筒10はレンズ8を支持すること及び鏡筒10に入射された赤外線を吸収してノイズの原因となる赤外線反射を阻止することの役割を果たす。赤外線検知器6は、窓12、コールドシールド14、赤外線センサ16、内筒18及び外筒20から構成される。窓12は赤外線を透過する窓である。コールドシールド14は、不要な赤外線が赤外線センサ16に入射することを減らす役割を果たす。赤外線センサ16は、各検知素子により入射赤外線強度に比例したレベルの信号を出力する役割を果たす。内筒18及び外筒20は赤外線センサ16を収納して真空を維持する役割を果たす。
【0004】図33は、カメラヘッドの構成例を示す図である。図33中のレンズ8は、複数のレンズ8a〜8dより構成される。8aはSi、8bはZnSe、8cはGe、8dはSiよりなる。窓12はGe、コールドシールド14は金属板、赤外線センサ16はHg1-xCdxTeやPb1-xSnxTe等により構成される。内筒18や外筒20はコバールなどの金属からなる。
【0005】図34は、図32中の赤外線検知器6の一例を示す図である。赤外線検知器6は、内筒18及び外筒20からなるデュア構造の真空断熱容器を用い、外筒20の一部に窓12を設けると共に、この窓12に対向した内筒18上に赤外線センサ16を搭載する。真空断熱容器の内筒18内に液体窒素のような冷媒を収容するか、或いはジュールトムソン式の冷却装置28を所定温度に冷却して動作させる。赤外線センサ16を取り囲むようにコールドシールド14を配設して、不要な赤外線が赤外線センサ16に入射することを抑制する。赤外線センサ16の電極とこれらの導体パターンがボンディングワイヤ22でボンディング接続され、導体パターンがボンディングワーヤ24でリードピン26にボンディング接続されている。リードピン26より赤外線センサ16で検知された赤外線が電気信号として外部に取り出されるようになっている。リードピン26より外部に取り出されたアナログ電気信号は、AD変換器により所定ビットのディジタルデータに変換された後、目標物の追尾や医療用等、画像処理装置により各種画像処理が行われる。
【0006】図35は、コールドシールド14の役割を示す図である。コールドシールド14は赤外線センサ16を囲むように配設されており、内面は黒塗装されており、内面側壁に不要な赤外線が赤外線センサ16に入射するのを減らすためのバッフル30が設けられている。赤外線センサ16面上のAの位置では、符号32で示される範囲の赤外線がレンズ8を通過するように設計されている。尚、図35中の破線は後述するハウジング成分である。
【0007】一般に、カメラヘッド2より撮像される画像は、均一な放射輝度分布を有するシーン又は対象物体を撮像したとき、赤外線センサ16の面上での照度分布が均一にならず、赤外線センサ16の出力信号が視野位置に対して二次関数分布を示す。これがシェーディングと呼ばれる現象である。こうしたシェーディングが顕著になると、撮像対象のシーン又は対象物体の正確な画像が得られず、撮像目的が達成できなくなる場合がある。撮像装置においてシーン又は対象物体の正確な画像情報を再生するためには赤外線センサ16の出力信号からシェーディング成分のみを効果的に除去できるシェーディング補正方法が求められている。
【0008】図36は、シェーディングを説明する図である。赤外線撮像装置におけシェーデングには、光学系シェーディング成分とハウジングシェーディング成分の2成分がある。光学系シェーディング成分とは、シーン成分40が光学系有効開口部分を通過して結像する際に、赤外線センサ16の面上の照度に分布が生じるシェーディングである。ハウジングシェーディング成分は、鏡筒10、内筒18及び外筒20(以下、これらをハウジング)自身が放射した赤外線が赤外線センサ16に入射する成分(ハウジング成分42)に起因して発生するシェーディングである。このハウジングシェーディング成分は可視撮像装置にはない赤外線撮像装置に特有なものであり、このシェーディング成分を如何に効果的に補正するかが赤外線撮像装置におけるシェーディング補正方法の重要な課題となる。尚、ハウジング成分とハウジングシェーディング成分の区別は次の通りである。前者は検知素子に入射する光の内、ハウジングから来るもの。後者は光学系シェーディング成分に対比して使用し、ハウジング成分に起因するシェーディング成分である。
【0009】赤外線撮像装置において、ハウジングシェーディング成分に着目したシェーディング補正方法として、以下の技術が知られている。
【0010】(1) 特公平7−32467号公報(従来技術1)は、光学系鏡筒の温度を温度センサで測定し、測定した温度データとメモリに格納した各検知素子から鏡筒を見たときの立体角テーブルとからハウジング成分を計算し、この計算結果を画像データから減算することによりハウジングシェーディング成分を補正して、この結果に対してメモリに格納された周辺光量分布データを乗算することにより光学系シェーディング成分を補正することを開示している。
【0011】(2) 特許第273196号公報(従来技術2)は、ライン状検知器から出力される画像信号複数ライン分を記憶して、これを各素子毎に積分平均化し、この平均化画像信号を低域フィルタ処理することによりシェーディング成分を抽出し、このシェーディング成分を元の画像信号から除去することを開示している。
【0012】(3) 特開平5−292403号公報(従来技術3)は、光学系の焦点調整を一時的にずらして画像をぼやけさせることにより、シーンの放射輝度分布が一定でない場合にも各検知素子に均一な赤外線が入射するようにして、そのときの各検知素子の出力を補正用データとして使用することを開示している。
【0013】(4) 特開平5−292403号公報(従来技術4)は、撮像装置の視軸を強制的に走査しながら通常撮像時の各検知素子の出力信号を平均化・平滑化し、この平滑化データを利用して、通常撮像時に連続して補正しようということを開示している。この技術は、視軸走査と信号平滑化の組み合わせにより、従来技術3の光学系焦点ずれと同様な効果、即ち、シーンの放射輝度分布が一定でない場合にも時間平均的には各検知素子に均一な赤外線が入射したと等価な状態を実現し、補正データを作成しようとするものである。具体的には、平滑化データから作成された校正データにおける各画素の全画素平均値からの偏差を、補正対象画像データから加減算するものである。
【0014】
【発明が解決しようとする課題】しかしながら、従来の技術では、以下の課題があった。従来技術1は、鏡筒温度測定値と各検知素子から鏡筒を見たときの立体角を用いてハウジング成分を求めているが、鏡筒10から各検知素子に入射する赤外線に起因するハウジング成分については計算可能な成分が多く比較的正確に補正できるが、窓12、コールドシールド14、内筒18、外筒20等の赤外線検知器容器に起因するハウジング成分は計算困難な成分が多く、計算では正確な補正はできない。赤外線検知器容器から入射される赤外線に起因するハウジング成分は、通常、鏡筒10から入射する赤外線に起因するハウジング成分に対して無視できないレベルであるため、従来技術1では、ハウジングシェーディング成分を正確には補正できず、正確なシェーディング補正が不可能となる。また、従来技術1は、例えば、ミサイルシーカ等の小型・高速応答が要求されるジンバルの可動構造に赤外線撮像装置を搭載する場合に、温度計測のための配線が付加されるため可動部駆動性能を劣化させるという問題もある。
【0015】従来技術2は、温度計測の必要がなく、通常撮像中の検知素子出力から直接シェーディング成分を抽出しようとするものであり、従来技術1での問題点の解決が意図されているが、低域フィルタ処理によっては、正確なシェーディング成分を抽出できない問題がある。即ち、一般に、シーンから入射する成分には種々の空間周波数成分が混合されており、シェーディング成分とシーン成分を空間周波数によって弁別し、シェーディング成分のみを抽出するのは実際上は困難である。
【0016】従来技術3は、焦点をずらす操作は撮像装置としての使用目的を一時的に中断することになるという問題点と共に、補正用データを取得したときからハウジング温度やシーン温度が変化すると補正データとしての適合性がなくなるため、正確なシェーディング補正が不可能になるという問題点がある。
【0017】従来技術4は、シェーディング補正が可能ではあるが、山の稜線などのようにシーン成分に構造的分布があると平滑化データ中にシーン成分の分布が残って均質データとはならず、それが補正演算において画像データ中に反映され、その結果、シーン画像が変質するという問題点がある。
【0018】本発明の目的は、シーン温度やハウジング温度が変化しても良好なシェーディング補正を行って、正確なシーン画像の再生を可能とする赤外線撮像装置を提供することである。
【0019】
【課題を解決するための手段】本発明の一側面によれば、光学系と複数の赤外線検知素子と該複数の赤外線検知素子を収容する容器とを有するカメラヘッドにより撮像された画像データのシェーディング補正をする赤外線撮像装置であって、均一シーンを撮像したとき前記画像データに含まれるシーン成分が一定となるように光学系シェーディング成分を補正して感度補正画像データを作成する第1補正部と、前記赤外線検知素子毎に、前記光学系及び前記容器より放射される赤外線によるハウジングシェーディング成分を補正するためのハウジング応答プロファイルを記憶する記憶部と、前記各赤外線検知素子についての前記感度補正画像データ及び前記ハウジング応答プロファイルに基づいてハウジングシェーディング成分を補正してハウジングシェーディング補正画像データを作成する第2補正部とを具備したことを特徴とする赤外線撮像装置が提供される。
【0020】好ましくは、前記第2補正部は、複数の赤外線検知素子についての前記感度補正画像データが該赤外線検知素子についての前記ハウジング応答プロファイルと第1定数との積からなるハウジング成分とシーン成分を示す第2定数との和であると仮定して、該第2定数との和と前記感度補正画像データとの差の二乗の前記複数の赤外線検知素子についての和が最小となる第1定数を算出し、前記各赤外線検知素子についての感度補正画像データから該赤外線検知素子についてのハウジング応答プロファイルと前記第1定数との積を減算して、ハウジングシェーディング成分を補正する。
【0021】
【発明の実施の形態】本発明の実施形態の説明をする前に本発明の原理を説明する。図1は本発明の原理図である。図1に示すように、赤外線撮像装置は、第1補正部34、記憶部36及び第2補正部38を具備する。第1補正部34には、光学系と複数の赤外線検知素子と該複数の赤外線検知素子を収容する容器とを有するカメラヘッドにより撮像された画像データが入力される。第1補正部34は、均一シーンを撮像したとき画像データに含まれるシーン成分が一定となるように光学系シェーディング成分を補正して、感度補正画像データを作成する。これにより、感度補正画像データから光学系シェーディング成分が補正されて、均一シーンの場合には、シーン成分が全ての赤外線検知素子について同じになる。
【0022】記憶部36には、赤外線検知素子毎に、容器より放射される赤外線によるハウジングシェーディング成分を補正するためのハウジング応答プロファイルが記憶されている。第2補正部38は、各赤外線検知素子についての感度補正画像データ及びハウジング応答プロファイルに基づいてハウジングシェーディング成分を補正してハウジングシェーディング補正画像データを作成する。これにより、ハウジングシェーディング補正画像データからはハウジングシェーディング成分が補正される。このハウジングシェーディング補正画像データに基づいて、各種画像処理が実施される。そのため、画質が向上する。
【0023】第1実施形態図2は本発明の第1実施形態による赤外線撮像装置の構成図であり、図32中の構成要素と実質的に同一の構成要素には同一の符号を附している。この赤外線撮像装置は、撮像画像から光学系シェーディング補正及びハウジングシェーディング成分の除去が可能な撮像装置であれば良い。この赤外線撮像装置は、図2に示すように、カメラヘッド2、AD変換器40、シェーディング補正部42及び画像処理装置44を具備する。カメラヘッド2は、図32に示すカメラヘッド2と実質的に同一であるが、本実施形態の赤外線撮像装置は、検知素子の物理位置の違いによる光学系シェーディング成分及びハウジングシェーディング成分の補正を行うものである。AD変換器40は、赤外線センサ16のアナログ画像データを所定ビットのディジタル画像データに変換して、シェーディング補正部42に出力する。ディジタル画像データのビット数は、アプリケーションに応じて定められるものである。このとき、ディジタル画像データと共にフレームの先頭を示す制御信号及びディジタル画像データに同期したクロック信号が入力される。フレームとは、1画面のディジタル画像データをいう。
【0024】シェーディング補正部42は、次の機能を有する。(i)感度補正校正データを元に各検知素子についてのディジタル画像データから光学系シェーディング補正をする。ここで、光学系シェーディング補正とは、均一シーン(シーンの輝度レベルが同じであること)が入力されたとき、検知素子の物理位置の違いによる画像信号レベルを補正して、シーン成分のレベルが均一となるようディジタル画像データの補正をすることをいう。 (ii)ハウジング応答プロファイルを元に感度補正画像データに含まれるハウジング成分を算出する。(iii)感度補正画像データからハウジングシェーディング成分を補正する。
【0025】画像処理装置44は、CPU、メインメモリ、ROM、ディスプレイ等を有し、目標物の追尾や医療用等のアプリケーションに応じた画像処理を行って、ディスプレイに表示等の処理を行う。シェーディング補正部42は、CPU、メインメモリ、ROMにより構成可能であり、画像処理装置44を構成するCPU等のユニットと共有することも可能である。これにより、シェーディング補正部42が容易且つ低コストで実現可能である。
【0026】図2中の破線により示される、感度補正校正データ作成部46及びハウジング応答プロファイル作成部48は、光学系シェーディング補正及びハウジングシェーディング補正を行うための前準備として赤外線撮像装置の運用前に必要とされる機能を果たす機能部であって、運用中は必ずしも必要とされない機能であり、赤外線撮像装置に搭載しても良いが、本実施形態では、運用中の赤外線撮像装置に搭載せずに別ユニットによって構成している。例えば、ミサイルシーカ等のように軽量化が望まれること、赤外線撮像装置が狭い場所に配設され、感度補正校正データ作成部46及びハウジング応答プロファイル作成部48の機能を赤外線撮像装置に搭載することが困難である場合には、本実施形態のように別ユニットにより機能させる。
【0027】感度補正校正データ作成部46は、赤外線撮像装置とは別ユニットにより構成され、光学系シェーディング補正(感度補正)のための感度補正校正データを赤外線撮像装置が運用される前に作成する。ハウジング応答プロファイル作成部48は、赤外線撮像装置とは別ユニットにより構成され、ハウジングシェーディング補正をするためのハウジング応答プロファイルを赤外線撮像装置が運用される前に作成する。ハウジング成分は、ハウジング放射パワーに比例する。例えば、シーンの放射パワーが0であると仮定し、ハウジング放射パワーがW1のときの検知素子iについてのディジタル画像データをHSi1とすると、ハウジング放射パワーがW2のときの検知素子iについてのディジタル画像データHSi2=(W2/W1)×HSi1となり、比例定数(W2/W1)は、検知素子iにかかわらず、全検知素子について一定である。よって、カメラヘッド2が任意の温度での検知素子iのハウジング成分はHSi1の定数倍となる。従って、プロファイルを各検知素子iについてのディジタル画像データHi1の定数倍とすれば良いことが分かるが、実際のプロファイル値及びその物理ディメンジョンは後述するように計算が容易であることの観点より決定される。
【0028】図3は、図2中のシェーディング補正部42の構成図である。図3に示すように、シェーディング補正部42は、感度補正演算部52、ハウジング応答プロファイルメモリ56、ハウジング成分強度演算部58、ハウジングシェーディング補正量算出部60及びハウジングシェーディング補正演算部62を有する。感度補正演算部52は、後述するように、感度補正校正データに従って感度補正画像データを作成するが、この感度校正データは赤外線撮像装置の稼動前に図2中の感度補正校正データ作成部46により作成される。
【0029】感度補正校正データには、オフセット補正校正データ、ゲイン補正校正データ及び平均値データがある。オフセット補正校正データは、各検知素子i毎に設定されるものであり、カメラヘッド2の温度がTa、均一シーンの温度がTLのときの、各検知素子iから出力されたハウジング成分を含むディジタル画像データLiである。平均値データは、全検知素子iに渡るLiの平均値Lである。ゲイン補正校正データgiは、検知素子i毎に設定されるものであり、カメラヘッド2の温度Ta、均一シーン温度THのときの、各検知素子iから出力されたハウジング成分を含むディジタルデータHiとすると、次式(1)で表される。
【0030】
gi=(H−L)/(Hi−Li) ・・・(1)
但し、Hは全検知素子に渡るHiの平均値、Lは全検知素子に渡るLiの平均値である。
【0031】図4は、図3中の感度補正校正データ作成部46の構成例を示す図である。図4に示すように、感度補正校正データ作成部46は、低温均一データ取得部70、高温均一データ取得部72、オフセット補正校正データ作成部74、ゲイン補正校正データ作成部76及び平均値算出部78を有する。図5は、感度補正校正データ作成方法を示す図である。図6は、感度補正校正データ作成フローチャートである。
【0032】(a) データ取得処理感度補正校正データを作成するには、図5に示すように、カメラヘッド2の前面に黒体板90を配置する。黒体板90は、均一シーンを得るための放射体の一例であり、例えば、表面を荒くしたアルミニウム等の金属板に黒体塗料を塗布したものである。温度制御部92は、黒体板90の温度を制御するものである。
【0033】ステップS2において、カメラヘッド2の温度Ta、例えば、Ta=10℃、黒体板90の温度TL、例えば、10℃の条件下で、黒体板90を撮像する。低温均一データ取得部70は、各検知素子iの出力レベルLiを取得してメモリに記憶する。ステップS4において、高温均一データ取得部72は、カメラヘッド2の温度Ta、黒体板90の温度TH、例えば、30℃の条件下で、黒体板90を撮像する。高温均一データ取得部72は、各検知素子iの出力レベルHiを取得してメモリに記憶する。
【0034】(b) 計算処理ステップS8において、ゲイン補正校正データ作成部76は、全ての検知素子iに渡るLiの平均値Lを算出する。ステップS10において、ゲイン補正校正データ作成部76は、全ての検知素子iに渡るHiの平均値Hを算出する。ステップS12において、ゲイン補正校正データ作成部76は、各検知素子iについて、式(1)で示すゲイン補正校正データgiを算出する。Hi,Li,H,Lは、ハウジングシェーディング成分を含むが、カメラヘッド2の温度Taが一定なので、黒体板90の温度TL、THのときの、ハウジング放射パワーが同じであり、Hi及びLi並びにH及びLは,それぞれ同じハウジングシェーディング成分を含むので、giはハウジングシェーディング成分を含まない。
【0035】(c) データ書込処理ステップS13において、オフセット補正校正データ作成部74は、全ての検知素子iについて、出力レベルLiをオフセット補正校正データメモリ80に書き込む。ステップS14において、ゲイン補正校正データ作成部76は、検知素子iについてのゲイン補正校正データgiをゲイン補正校正データメモリ82に書き込む。ステップS16において、平均値算出部78は、平均値Lを平均値格納メモリ84に書き込む。
【0036】図7は、図3中の感度補正演算部56の構成図である。図7に示すように、感度補正演算部56は、オフセット補正校正データメモリ80、ゲイン補正校正データメモリ82、平均値格納メモリ84、加算器90、乗算器92及び加算器94を有する。図8は、感度補正フローチャートである。ステップS20において、加算器90は、AD変換器40より図示しないクロックに同期してシリアルに出力される検知素子iについてのディジタル画像データOALLiを入力する。ステップS22において、加算器90は、検知素子iについてのオフセット補正校正データLiをオフセット補正校正データメモリ80より読み出す。ステップS24において、加算器90は、(OALLi−Li)を計算する。ステップS26において、乗算器92は、検知素子iについてのゲイン校正補正データgiをゲイン補正校正データメモリ82より読み出す。ステップS28において、乗算器92は、(OALLi−Li)×giを計算する。ステップS30において、加算器94は、平均値メモリ84から平均値Lを読み出して、画像データXi=((OALLi−Li)×gi+L)を計算する。尚、平均値Lはオフセット補正校正データLiを検知素子iの全てについて平均化する計算によって作成することもできる。
【0037】以下に、画像データXiが感度補正されていることを説明する。本発明の説明において、感度補正とは、光学的シェーディング補正及び検知素子の特性バラツキ補正をいい、シーン均一の場合に、シーン成分が検知素子によらずに一定となるような補正をいう。OALLi=SNi+HSi,Li=SNLi+HSLi,L=SNL+HSLとする。SNはシーン成分、HSはハウジング成分を表す。Xi=(SNi−SNLi)×gi+SNL+(HSi−HSLi)×gi+HSLとなる。giはハウジングシェーディング成分を含まないので、((SNi−SNLi)×gi+SNL)は、シーンが均一であるとき、全素子について略同一の値となり、感度補正されたシーン成分である。((HSi−HSLi)×gi+HSL)は、感度補正によりハウジング成分HSiとは異なる値となっているが、HSiが大きくなるとこの値が大きくなり、HSiの特徴を表している。この値は後述するようにしてハウジングシェーディング成分として除去される。よって、画像データXiはハウジグ成分を含んでいるが、感度補正されたデータである。以下、この画像データを感度補正画像データと呼ぶ。また、シーン均一でないときにも、ディジタル画像データOALLiの画像データレベルに応じてハウジングシェーディング成分を含まないゲイン補正校正データgiによりディジタル画像データを補正しているので、シーンの輝度レベルに応じて感度補正される。
【0038】図9は、図3中ハウジング応答プロファイル作成部48の一例を示す構成図である。図9に示すように、ハウジング応答プロファイル作成部48は、低温ハウジングデータ取得部100、高温ハウジングデータ取得部102、低温黒体板データ取得部104、高温黒体板データ取得部106、ハウジングデータ差分演算部108、黒体板データ差分演算部110及びハウジング応答プロファイル計算部112を有する。図10は、ハウジング応答プロファイル作成方法を示す図である。図11及び図12は、ハウジング応答プロファイル作成フローチャートである。
【0039】(a) データ取得処理ハウジング応答プロファイルを作成するには、図10に示すように、カメラヘッド2を恒温槽120に収容する。恒温槽120内の温度は、温度制御部122により制御する。カメラヘッド2の前面に黒体板90を配置する。黒体板90の温度は、温度制御部92により制御する。図11中のステップS40において、カメラヘッド2の温度Ta、例えば、Ta=10℃、黒体板90の温度Tt、例えば、10℃の条件下で、黒体板90を撮像する。低温ハウジングデータ取得部100は、各検知素子iの出力レベルHLiを取得してメモリに記憶する。ステップS42において、カメラヘッド2の温度TH、例えば、TH=30℃、黒体板90の温度Ttの条件下で、黒体板90を撮像する。高温ハウジングデータ取得部102は、各検知素子iの出力レベルHHiを取得してメモリに記憶する。ステップS44において、カメラヘッド2の温度Ta、黒体板90の温度TLの条件下で、黒体板90を撮像して、各検知素子iの出力レベルSLiを取得する。ステップS46において、カメラヘッド2の温度Ta、黒体板90の温度THの条件下で、黒体板90を撮像して、各検知素子iの出力レベルSHiを取得する。ここで、各検知素子iの出力レベルHLi,HHi,SLi,SHiは各々感度補正演算部52の出力である感度補正画像データである。
【0040】(b) 計算処理ステップS52において、ハウジングデータ差分演算部108は、各検知素子iの出力レベル差ΔHi=HHi−HLiを計算する。黒体板90の温度Ttが一定の条件の下で、HLi及びHHiを測定しているので、HLi及びHHiに含まれる黒体板90からのシーン成分は同じである。よって、ΔHiは、カメラヘッド2の温度変化ΔT=(TH−TL)によるハウジングシェーディング成分のみとなる。ステップS54において、黒体板データ差分演算部110は、各検知素子iの出力レベル差ΔSi=SHi−SLiを計算する。光学ヘッド2の温度Taが一定の条件下で測定されたSHi,SLiは、光学系シェーディングに対する感度補正されたものであるので、ΔSiは検出素子iに依らない一定の値ΔSとなる。
【0041】ハウジング温度変化量(TH−TL)に対応する赤外線放射パワー(Radiance:ラディアンス(W/cm2・sr))の変化ΔHPとすると、HRi=ΔHi/ΔHP(LSB/(W/cm2・sr))は、ハウジング放射単位パワー当たりの各検知素子iの出力レベル変化となる。一方、黒体板温度変化量(TH−TL)に対応する赤外線放射パワーの変化ΔSPとすると、SRi=ΔSi(=SHi−SLi)/ΔSP=ΔS/ΔSP(LSB/(W/cm2・sr))は、黒体板放射単位当パワー当たりの各検知素子iの出力レベル変化となる。ハウジング温度変化量(TH−TL)と黒体板温度変化量(TH−TL)が同じであるから、ΔSP=ΔHPである。尚、以上では、ハウジング及び黒体板は各々同質の黒体特性を有していると仮定している。ステップS56において、ハウジング応答プロファイル計算部112は、各検知素子iのハウジグ応答プロファイルPROFi=HRi/SR=(ΔHi/ΔHP)/(ΔS/ΔSP)=ΔHi/ΔSを計算する。
【0042】(c) データ書込処理ステップS58において、ハウジング応答プロファイル計算部112は、検知素子iについてのハウジグ応答プロファイルPROFiをハウジング応答ハウジング応答プロファイルメモリ56に書き込む。
【0043】PROFiは、黒体板の単位放射パワー当たりの検知素子iの出力(シーン成分)に対するハウジングの放射パワー当たりの検知素子iの出力(ハウジング成分)の比率である。ハウジング応答プロファイルは、ΔHiの定数倍であれば良いが、ΔHiをΔSで割ることにより、その物理ディメンションをディメンションレスにして感度補正画像データに含まれるハウジング成分の計算を容易にすると共に感度補正画像データに含まれるハウジング成分の比率の上限を推測する目安としている。
【0044】図13は、ハウジング応答プロファイルを示す図であり、横軸に検知素子の番号、縦軸にハウジング応答プロファイルを表す。図13は、検知素子が100×100のアレイ状に配置された赤外線センサ16の中央ライン上の100個の検知素子のプロファイルPROFiを示している。ハウジング応答プロファイルが中央の検知素子(検知素子番号50)から両端に向かって上昇しているのは、端の方の検知素子の方がハウジング見込み角が大きくなるためである。
【0045】ハウジング成分強度演算部58は、ハウジング応答プロファイルPROFiからハウジング成分を算出するための定数Ihを算出する。検知素子iについて、感度補正画像データレベルをMDOALLi、感度補正画像データにおけるシーン成分に対応する画像データレベルをMDSNi、ハウジング成分に対応する画像データレベルをMDHSiとすると、これらは次式(2)の関係を有する。
【0046】
MDOALLi=MDSNi+MDHSi ・・・(2)
ここで、MDHSiは、ハウジング応答プロファイルメモリ56に格納されたプロファイルPROFiに定数Ihを掛けた値であるので、式(2)は次式(3)に示すように書き換えられる。
【0047】
MDOALLi=MDSNi+Ih×PROFi ・・・(3)
シーンの輝度が一定の場合には、シーン入射成分SNiは検知素子iに依らずに一定の値SN0を持つため、式(3)を検知素子1,2について書き直すと、次式(4),(5)の連立方程式が得られる。
【0048】
MDOALL1=MDSN0+Ih×PROF1 ・・・(4)
MDOALL2=MDSN0+Ih×PROF2 ・・・(5)
式(4),(5)の連立方程式の解として、次式(6)で示されるIhを得ることができる。
【0049】
Ih=(MDOALL1−MDOALL2)/(PROF1−PROF2)
・・・(6)
実際の画像データにはノイズが重畳されており、均一シーンの場合においても連立方程式による厳密解を求めることは一般に困難であるため、近似解を求める方策が必要となる。また、均一シーンの場合に限らず、局所的に均一シーンであるときにも適用可能である必要がある。そこで、本実施形態では、事前に設定された画像データ領域内の検知素子分の連立方程式を立て、最小二乗法により、近似解を求めている。
【0050】図14は、図3中のハウジング成分強度演算部58の構成図である。図14に示すように、ハウジング成分強度演算部58は、RAM130、平均値算出部132、二乗誤差算出部134及び定数決定部136を有する。RAM130は、感度補正された画像データを蓄積するメモリである。尚、蓄積する画像データは、全画像データを蓄積しても良いが、二乗誤差算出部134で使用する事前に設定された画像データ領域に含まれるデータで十分である。平均値算出部132は、二乗誤差算出部134で事前に設定された画像データ領域に含まれるデータの平均値MOUTを算出する。二乗誤差算出部134は次の機能を有する。(i)仮定数値Ihj、仮設定シーンレベルISkを設定する。(ii)事前に設定された領域において、{ISk−(MDOALLi−Ihj×PROFi)}2の和である二乗誤差SE(j,k)を算出する。事前に設定された画像データ領域は、赤外線センサ16の全検知素子の出力画像データ領域でも良いが、定数の精度が良いこと、計算対象領域の範囲を小さくして計算処理を高速に行う必要があることが要求される。ハウジング成分は、中央の検知素子を中心として同心円状分布となることから、検知素子の1ライン(列又は行)の検知素子のデータを取ることとしている。この場合、極力シーン分布が均一なラインを選ぶのが望ましく、空を背景とする応用(空対空ミサイルシーカなど)では垂直ラインよりは水平ライン上のシーン分布が均一になるので、水平ライン上の検知素子のデータを使うこととしている。(iii)可能な全ての仮定数値Ihj,仮設定シーンレベルISkの組み合わせについて、(ii)の計算を行う。
【0051】図15は、二乗誤差算出のフローチャートである。以下、二乗誤差算出の詳細な説明をする。ステップS80において、仮定数値Ih=Ihst=MOUT/M,仮設定シーンレベルIs=Isst=MOUT/M、計算回数j=0,k=0、M=50とする。Mは計算回数であり、例えば、M=50である。ステップS82において、仮定数値Ihj=Ihst×(j+1)を設定する。ステップS84において、仮設定シーンレベルISk=Isst×(k+1)を設定する。ステップS86において、仮シェーディング補正後画像データと仮シーンレベルの偏差SE(j,k)=Σ{ISk−(MDOALLi−Ihj×PROFi)}2を計算する。Σは中央の横方向の1ラインの検知素子についての和である。
【0052】ステップS88において、計算回数kをインクリメント(k=(k+1))して、更新する。ステップS90において、計算回数k>Mであるか否かを判断する。計算回数k≦Mならば、ステップS84に戻る。計算回数k>Mならば、ステップ90に進む。ステップS92において、計算回数jをインクリメント(j=j+1)して、更新する。ステップS94において、計算回数k=0に初期値設定する。ステップS96において、計算回数j>Mであるか否かを判断する。計算回数j≦Mならば、ステップS82に戻る。計算回数j>Mならば、ステップ98に進む。ステップS98において、SE(j,k)が最小となる組み合わせを求める後述するフローチャートに進む。定数決定部136は、二乗誤差算出部134により算出された二乗誤差SE(j,k)が最小となる組み合わせJ,Kに対応する定数値Ih=Ihst×(J+1)を計算する。
【0053】図16は、図3中のハウジングシェーディング補正量算出部60の構成図である。図16に示すように、ハウジングシェーディング補正量算出部60は、乗算器140を有する。乗算器140は、全ての検知素子iについて、ハウジング応答プロファイルPROFi×定数値Ihを算出する。
【0054】図17は、SE(j,k)が最小となる組み合わせ及びハウジングシェーディング補正量算出のフローチャートである。ステップS100において、計算回数j,k及び最小値MINを、j=0,k=0,MIN=4095に初期設定する。ステップS102において、計算回数jをインクリメント(j=j+1)して、更新する。ステップS104において、計算回数kをインクリメント(k=k+1)して、更新する。ステップS106において、SE(j,k)<MINのとき、MINにSE(j,k)を代入する。SE(j,k)≧MINのとき、何もしない。ステップS110において、計算回数k>Mであるか否かを判定する。計算回数k≦Mならば、ステップS104に戻る。計算回数k>Mならば、ステップS114に進む。ステップS114において、計算回数kの初期化(k=0)する。ステップS116において、計算回数j>Mであるか否かを判定する。計算回数j≦Mならば、ステップS102に戻る。計算回数j>Mならば、ステップS118に進む。ステップS118において、SE(j,k)が最小となるj,kの組み合わせJ,Kに対応するIh=Ihst×(J+1)を計算する。このIhが求める定数となる。ステップS120において、各検知素子iのハウジング成分MDHSi=Ih×PROFiを計算する。
【0055】図18は、図3中のハウジングシェーディング補正演算部62の構成図である。図18に示すように、ハウジングシェーディング補正演算部62は、加算器150を有する。加算器150は、全ての検知素子iについて、感度補正画像データレベルMDOALLiからハウジング成分MDHSiを減算して、ハウジングシェーディング補正をする。
【0056】以下、図2の赤外線撮像装置の動作説明をする。
【0057】(1) 感度補正校正データの作成感度補正校正データは、赤外線撮像装置の運用前に感度補正校正データ作成部46により以下のようにして作成され、オフセット補正校正データメモリ80、ゲイン補正校正データメモリ82及び平均値格納メモリ84のROMに格納される。まず、図5に示したように、カメラヘッド2の温度Ta、例えば、10℃、黒体板90の温度TL、例えば、10℃の条件下で、黒体板90のシーンをカメラヘッド2により測定する。AD変換器40は、カメラヘッド2より出力されたアナログ画像データをディジタル画像データに変換する。感度補正校正データ作成部46は、検知素子iについてのディジタル画像データのレベルLiを入力して、オフセット補正校正データメモリ80に書き込む。感度補正校正データ作成部46は、全検知素子iについての出力レベルLiの平均値Lを平均値格納メモリ84に書き込む。カメラヘッド2の温度Ta、黒体板90の温度TH、例えば、30℃の条件下で、黒体板90のシーンをカメラヘッド2により測定する。AD変換器40は、カメラヘッド2より出力されたアナログ画像データをディジタル画像データに変換する。感度補正校正データ作成部46は、検知素子iについてのディジタル画像データのレベルHiを入力して、式(1)で示されるゲイン補正データgiを算出して、ゲイン補正校正データgiをオフセット補正構成データメモリ82に書き込む。
【0058】(2) ハウジング応答プロファイルの作成ハウジング応答プロファイルは、赤外線撮像装置の運用前にハウジング応答プロファイル作成部48により以下のようにして作成され、ハウジング応答プロファイルメモリ56のROMに格納される。図10に示したように、黒体板90の温度Ta、例えば、10℃、カメラヘッド2の温度TL、例えば、10℃の条件下で、黒体板90のシーンをカメラヘッド2により測定する。AD変換器40は、カメラヘッド2より出力されたアナログ画像データをディジタル画像データに変換する。次いで、感度補正演算部52で感度補正され、感度補正データが出力される。ハウジング応答プロファイル作成部48は、検知素子iについての感度補正画像データのレベルHLiを入力する。次に、黒体板90の温度Ta、カメラヘッド2の温度TH、例えば、30℃の条件下で、黒体板90のシーンをカメラヘッド2により測定する。AD変換器40は、カメラヘッド2より出力されたアナログ画像データをディジタル画像データに変換する。次いで、感度補正演算部52で感度補正され、感度補正データが出力される。ハウジング応答プロファイル作成部48は、検知素子iについての感度補正画像データのレベルHHiを入力する。
【0059】一方、カメラヘッド2の温度Ta、黒体板90の温度TLの条件下で、黒体板90のシーンをカメラヘッド2により測定する。AD変換器40は、カメラヘッド2より出力されたアナログ画像データをディジタル画像データに変換する。次いで、感度補正演算部52で感度補正され、感度補正データが出力される。ハウジング応答プロファイル作成部48は、検知素子iについての感度補正画像データのレベルSLiを入力する。次に、カメラヘッド2の温度Ta、黒体板90の温度THの条件下で、黒体板90のシーンをカメラヘッド2により測定する。AD変換器40は、カメラヘッド2より出力されたアナログ画像データをディジタル画像データに変換する。次いで、感度補正演算部52で感度補正され、感度補正データが出力される。ハウジング応答プロファイル作成部48は、検知素子iについての感度補正画像データのレベルSHiを入力する。ハウジング応答プロファイル作成部48は、赤外線センサ16の検知素子iについて、ΔHi=HHi−HLi及びΔSi=SHi−SLiを算出する。ΔSiは検知素子iに依らず一定の値ΔSになることは上述した通りである。ハウジング応答プロファイル作成部48は、検知素子iについて、PROFi=ΔHi/ΔSを計算する。PROFiをハウジグ応答プロファイルメモリ56に書き込む。
【0060】(3) 赤外線撮像装置の運用時の動作ミサイルのシーカー等の各種分野に適用された赤外線撮像装置は、シーンをレンズ8より集光し、赤外線センサ16の各検知素子iより受光してシーンの強度に応じたアナログ信号を出力する。このとき、鏡筒10、内筒18及び外筒20等のハウジングから放射されたハウジング放射成分がアナログ信号に含まれる。AD変換器40はアナログ/ディジタル変換をして、ディジタル画像データをシェーディング補正部42に出力する。
【0061】図19は、シーン均一の場合の100×100の検知素子から成る赤外線センサの照度分布を示す図である。図19に示すように、シーンが均一の場合、検知素子iのシーンの照度分布は赤外線センサ16の中央の検知素子を中心とする同心円となる。即ち、中心の検知素子から同一距離の検知素子の出力レベルは同一レベルとなる。
【0062】図20は、シーンが均一の場合の検知素子の出力に含まれる信号成分を示す図であり、横軸が検知素子の番号、縦軸が画像データレベルを示す。図20は、図19中の横方向の中央ラインL上に位置する100個の検知素子iについてのディジダル画像データに含まれる成分を示している。OALLはAD変換器40のディジタル画像データ、SNは検知素子の特性バラツキがなく光学系シーディングのみによるシーン成分、HSはハウジング成分、UNEは検知素子の特性バラツキ成分である。検知素子iについて、AD変換器40のディジタル画像データOALLi、シーン成分をSNi、ハウジング成分をHSi、バラツキ成分をUNEiとすると、OALLi=SNi+HSi+UNEiである。図20に示すように、シーン成分SNiはシーンが均一の場合でも一定とならず赤外線センサ16の中心が最大で中心から離れるにつれて小さくなるのは、光学系シェーディングのためである。
【0063】(a) 感度補正感度補正演算部52は、各検知素子iについて、((ディジタル画像データOALLi−オフセット補正校正データLi)×ゲイン補正校正データgi+平均値L)を計算して、感度補正画像データを出力する。これにより上述したように、図20に示したバラツキ成分UNEi及び光学系シェーディングによるシーンが補正されて、均一シーンの場合には、シーン成分が略一定となる。感度補正演算部52の出力を感度補正画像データと呼ぶ。
【0064】図21は、均一シーンの場合の感度補正画像データを示す図であり、横軸が検知素子の番号、縦軸が画像データレベルを示している。MDOALLが感度補正画像データ、MDSNが感度補正画像データ中の補正されたシーン成分、MDHSがハウジング成分を示している。図21に示すように、均一シーンの場合、補正されたシーン成分MDSNは検知素子iに依らずに一定となる。感度補正画像データMDOALLは補正されたシーン成分MDSNとハウジング成分MDHSの和となる。
【0065】図22は、均一シーンでない場合の感度補正画像データを示す図であり、横軸が検知素子の番号、縦軸が画像データレベルを示している。均一シーンでない場合は、シーン成分MDSNは検知素子iに依らずに一定とはならないが、上述したように、シーン成分の輝度レベルに対応するよう光学シェーディング補正及び検知素子の特性バラツキ補正がされて、感度補正画像データMDOALLは補正されたシーン成分MDSNとハウジング成分MDHSの和となる。
【0066】(b) ハウジングシェーディング補正(b−1) ハウジング成分強度算出ハウジング成分強度演算部58は、赤外線センサ16の所定領域、例えば、中央のセンタライン上の検知素子についての感度補正データMDOALLiの平均値MOUTをフレーム毎に計算する。フレームとは、赤外線センサ16から出力される一定周期、例えば、16ms毎に出力される1画面のデータをいう。各フレームの所定領域の感度補正画像データMDOALLiについて、MDOALLi=IS+MDHSiであると仮定する。ここで、ISは均一シーンの場合の感度補正データMDOALLiに含まれるシーン成分、MDHSiはハウジング成分である。MDHSi=Ih×PROFiと表されるので、仮定数値Ihj、初期仮設定シーンレベルISkについて、所定領域における、{ISk−(MDOALLi−Ihj×PROFi}2の和である二乗誤差SE(j,k)を算出する。尚、仮定数値ISkは感度補正画像データMDOALLiに含まれうるシーン成分の最小レベルから最大レベルまでの範囲の値を取る。例えば、平均値MOUT/M(Mは計算回数)からMOUT×(M+1)/Mの範囲とする。仮定数値Ihjは、感度補正画像データOUTALLiに含まれうるハウジングシェーディング成分の最小レベルから最大レベルまでに対応する範囲の値を取る。例えば、平均値MOUT/MからMOUT×(M+1)/Mの範囲とする。そして、二乗誤差SE(j,k)が最小となるJ,Kに対応するISk及びIhjを算出する。このIhjがハウジング成分強度Ihとなる。
【0067】(b−2) ハウジングシェーディング補正量算出ハウジングシェーディング補正量算出部60は、赤外線センサ16の全ての検知素子iについて、ハウジング応答プロファイルメモリ56に記憶されているハウジング応答プロファイルPROFiとハウジング成分強度Ihとを乗算して、ハウジングシェーディング補正量MDHSi=PROFi×Ihを出力する。
【0068】(b−3) ハウジングシェーディング補正ハウジングシェーディング補正演算部62は、感度補正画像データMDOALLiからハウジングシェーディング補正量MDHSiを減算して、ハウジングシェーディング補正画像データOUTi=MDOALLi−MDHSiを出力する。図21に示すように均一シーンについては、ハウジングシェーディング補正画像データOUTiは均一シーンMDSNiのみとなり、検知素子iによらず一定となる。また、均一シーンでない場合であっても、シーンが部分的に均一となる場合、例えば、図22中の右端近辺に位置する検知素子により検出されるシーンでは、最小二乗法が適用可能であり、ハウジングシェーディング成分が補正されて、シェーディング補正画像データOUTiは図22に示すシーン成分MDSNiのみとなりハウジングシェーディング補正される。また、シーンが部分的にも均一とはならない場合は、最小二乗法を適用することができないため、ハウジグシェーディング補正を行うことができないが、IhKが概略0となるので、ハウジグシェーディング補正量が概略0となって、ハウジングシェーディング補正演算部62より出力されるデータOUTiが無条件にハウジングシェーディング補正処理を行うことに起因する画質劣化が生じることはない。
【0069】(c) 画像処理画像処理装置44は、シェーディング補正部42により、光学系シェーディング補正及びハウジングシェーディング補正された、検知素子iについての画像データOUTiを入力して、該当する画像処理を施して、ディスプレイ等に表示する。このとき、画像データOUTiは、光学系シェーディング補正及びハウジングシェーディング補正されているので、画像処理の品質を向上させることができる。例えば、赤外線撮像装置がミサイルシーカに搭載された場合には、より確実に目標を追尾することができる。
【0070】第2実施形態図23は、本発明の第2実施形態により赤外線撮像装置の構成図であり、図2中の構成要素と実質的に同一の構成要素には同一の符号を附している。走査装置150はカメラヘッド2の視軸を走査する装置である。視軸とは、レンズ8の中心を通る赤外線の光路をいう。入力されるシーンが局所的にも均一でない場合にも、視軸を走査し、走査して得られた画像データを平滑化して、局所的に均一なシーンを得ることにより、ハウジングシェーディング補正を可能にするためである。
【0071】図24は視軸の走査を示す図であり、特に、同図(a)は垂直方向の視軸の走査を示す図であり、同図(b)は水平方向の視軸の走査を示す図である。図24(a)に示すように、視軸160は、水平方向に配設された軸162を中心として、上下方向にカメラヘッド2が回転することにより、164から166までの範囲168を垂直方向に走査する。また、図24(b)に示すように、視軸160は、軸162に直交する垂直方向に配設された軸171を中心として、水平方向にカメラヘッド2が回転することにより、172から174までの範囲176を水平方向に走査する。走査装置150は、軸162を中心として、水平及び垂直方向に一定範囲を一定周期で移動することにより視軸を走査する。視軸走査は、局所的に均一シーンを得られれば良く、例えば、周波数約1Hz、撮像装置視野と同等の走査半径の円形走査とする。
【0072】図25は、走査装置150の構成例を示す図であり、赤外線撮像装置がミサイルシーカに搭載された場合における水平断面図である。図25に示すように、カメラヘッド2が赤外線透過材料から成るドーム180に収容されて保護されている。ジンバル150に配設された軸162を中心にカメラヘッド2を垂直に走査することにより、視軸160が垂直に走査される。また、図25中の軸162と同様に垂直方向にジンバル150に配設された軸を中心にカメラヘッド2を水平に走査することにより、視軸160が水平方向に走査される。
【0073】図26は、図23中のシェーディング補正部152の構成図であり、図3中の構成要素と実質的に同一の構成要素には同一の符号を附している。図26に示すように、シェーディング補正部152は、図3に示すシェーディング補正部42に平滑化処理部190が付加されていること、ハウジング成分強度演算部192が、感度補正演算部56から出力される感度補正画像データではなく、平滑化処理部190から出力される出力画像データに対してハウジング成分強度を算出することが、図3に示すシェーディング補正部42と異なる。平滑化処理部190は、走査装置150によりカメラヘッド2の視軸を走査して得られた画像データの各検知素子iの感度補正画像データを一定フレーム数積分してから平均化処理を行って、ハウジング成分強度演算部58に出力する。画像データは視軸が走査されて得られたものであることから、各検知素子iについて平滑化処理を実行することにより得られる積分平均化画像データは、視軸変動範囲の画像データを平均化したものとなるので、各検知素子への入射シーン成分が殆ど平均化、均一化されることと等価となり、局所的に均一シーンの画像データを得ることができる。平滑化は、例えば、視軸走査周期と同じ時間のフレームに対して行うものとする。視軸走査周期を約1秒とすると、平滑化は、約1秒間(フレーム周波数100Hzの場合は100フレーム分)の画像データを積分し、積分した画像データをフレーム数で除算する。平滑化のフレーム数が2のべき乗であるとき、除算はビットシフトすることにより実現可能であり、処理が簡単になる。積分平均化データは平滑化対象時間毎に更新されることになる。
【0074】図27は、図26中の平滑化処理部190の構成図である。図27に示すように、平滑化処理部190は、加算器200、RAM202、セレクタ204、シフタ206及び積算回数制御部208を有する。加算器200は、感度補正演算部56より出力される各検知素子iについての感度補正画像データMDOALLiとセレクタ204の出力データを加算して、RAM202にデータ信号を出力する。RAM202は、複数フレーム分加算された画像データを蓄積するためのメモリである。セレクタ204は、積算回数制御部208から出力される選択信号に従ってシフタ206及び加算器200のいずれかに出力する。シフタ206は、積算回数制御部208の指示に従って、セレクタ204より入力される積分画像データのレベルをビットシフトして、積分平均化画像データを出力する。積算回数制御部208は、感度補正画像データフレーム及びフレーム内の各検知素子の出力に同期して、次の処理を行う。(1)一定数のフレーム周期で、RAM202にメモリされたデータをクリアする。(2)加算器200に入力された検知素子iについての感度補正画像データMDOALLiに該当する読み出しアドレス信号をRAM202に出力する。(3)加算器200が加算した検知素子iについての感度補正画像データMDOALLiに該当する書き込みアドレス信号をRAM202に出力する。(4)積分期間では加算器200に、積分期間の終了時にはシフタ206に出力するようセレクタ204に選択信号を出力する。(5)積算平均化画像データが出力されていることを示す制御信号をハウジング成分強度演算部192に出力する。尚、ここで記載した複数フレームの画像データの積算を一定フレーム数毎に繰り返す平滑化処理の方法は一実施例であり、その他の方法、例えば、「移動平均法」,「指数平滑化法」などと呼ばれる方法等も、画像データを素子毎に時間的平滑する方法であれば、適用できることは勿論である。
【0075】ハウジング成分強度演算部192は、平滑化処理部190より出力される、積分平均化画像データがイネーブルであることを示す制御信号に同期して、所定の領域の検知素子iについての積分平均化画像データからハウジング成分強度Ihを算出して、ハウジングシェーディング補正演算部60に出力する。
【0076】以下、図23の赤外線撮像装置の動作説明をする。
【0077】(1) 感度補正校正データの作成感度補正データの作成は、第1実施形態と同様である。
【0078】(2) ハウジング応答プロファイルの作成ハウジング応答プロファイルの作成は、第1実施形態と同様である。
【0079】(3) 赤外線撮像装置の運用時の動作(a) 視軸走査ミサイルのシーカー等の各種分野に適用された赤外線撮像装置は、ジンバル等の走査装置150によりカメラヘッド2の視軸を一定周期で走査させる。例えば、周波数約1Hz、撮像装置視野と同等の走査半径の円形走査とする。尚、ミサイルシーカでは、走査装置150としてのジンバルは、視軸を目標方向に指向・追尾させることを目的として備えられたものであり、この目的を果たす必要がある。そこで、局所的に均一なシーンを得るための視軸走査は、目標捜索・追尾等と並行して連続的又は間欠的に行うことができる。視軸走査する時間は、カメラヘッド2の温度変化によりハウジングシーディング成分が変化しない限り、ハウジングシェーディング成分の計算をする必要がないので、間欠的視軸走査でも支障がない。走査装置150によりカメラヘッド2の視軸が走査されて得られた画像データは、AD変換器40によりディジタル画像データに変換されて、感度補正演算部56に入力される。
【0080】(b) 感度補正感度補正演算部52は、第1実施形態と同様にして、ディジタル画像データの感度補正をして、検知素子iについての6感度補正画像データを平滑化処理部190及びハウジングシェーディング補正演算部62に出力する。
【0081】(c) 平滑化処理平滑化処理部190は、各検知素子iの感度補正画像データについて、一定フレーム数積分してから、ビットシフト等により平均処理を行って、積分平均化画像データ及び積分平均化画像データが出力されていることを示す制御信号をハウジング成分強度演算部192に出力する。このとき、入力のディジタル画像データが視軸走査されて得られたものであることから、各検知素子iについて積分平均化画像データは、局所的に均一シーンに等価となる。
【0082】(d) ハウジング成分強度算出ハウジング成分強度演算部192は、平滑化処理部190より出力される、積分平均化画像データがイネーブルであることを示す制御信号に同期して、所定の領域の検知素子iについての積分平均化画像データから、第1実施形態と同様にして、ハウジング成分強度Ihを算出して、ハウジングシェーディング補正演算部60に出力する。このとき、積分平均化画像データは局所的に均一シーンとなっているので、第1実施形態に比べてより正確にハウジング成分強度を計算することができる。
【0083】(e) ハウジングシェーディング補正量算出ハウジングシェーディング補正演算部60は、検知素子iについて、赤外線センサ16の全ての検知素子iについて、ハウジング応答プロファイルメモリ56に記憶されているハウジング応答プロファイルPROFiとハウジングシェーディング強度成分Ihとを乗算して、ハウジングシェーディング補正量をハウジングシェーディング補正演算部62に出力する。
【0084】(f) ハウジングシェーディング補正ハウジングシェーディング補正演算部62は、検知素子iについての感度補正画像データからハウジングシェーディング補正量を減算して、画像処理装置44に出力する。
【0085】(g) 画像処理画像処理装置44は、シェーディング補正部152により光学系シェーディング補正及びハウジングシェーディング補正された画像データを入力して、該当する画像処理を施して、ディスプレイ等に表示する。このとき、画像データは、第1実施形態と同様に光学系シェーディング補正及び第1実施形態よりもより正確にハウジングシェーディング補正されているので、第1実施形態よりも更に画質を向上させることができる。
【0086】第3実施形態図28は、本発明の第3実施形態により赤外線撮像装置の構成図であり、図23中の構成要素と実質的に同一の構成要素には同一の符号を附している。第1及び第2実施形態の感度補正演算部56での検知素子の特性バラツキ補正は、一般に特性バラツキ補正が経時変化のない基本特性のバラツキ補正に対応したものであるのに対して、シェーディング補正部210は、更に、経時変化を示し使用中に発生する特性バラツキをオフセット補正により補正するものである。
【0087】図29は、図28中のシェーディング補正部210の構成図であり、図26中の構成要素と実質的に同一の構成要素には同一の符号を附している。局所補正データ作成部220は、平滑化処理部190により検知素子iについての積分平均化画像データに対して、次の処理を行う。(1) 検知素子iの周辺素子の平均値を算出する。(2)各検知素子iの画像データレベルを、周辺素子の平均値から減算して、検知素子iについてのオフセット校正値として、オフセット補正部222に出力する。平滑化処理部190により局所的に均一なシーンが得られているので、前記オフセット校正値により経時変化による特性バラツキが補正されるのは、周辺素子の平均値と注目素子iの差分が経時変化による特性バラツキと推定されるからである。
【0088】図30は、図29中の局所補正データ作成部220の構成図である。図30に示すように、局所補正データ作成部220は、局所領域内平均値演算部230、RAM232及び加算器234を有する。局所領域内平均値演算部230は、検知素子iの周辺素子の平均値(局所領域内平均値)を算出する。周辺素子は、例えば、注目素子を中心とする上下・左右の11素子×11素子の画像データとする。RAM232は、全ての検知素子iの積分平均化画像データを蓄積するメモリである。加算器234は、検知素子iについての局所領域内平均値の出力に同期して、検知素子iについての積分平均化画像データをRAM232から読み出して、局所領域内平均値から積分平均化画像データを減算して、検知素子iについての補正校正量を出力する。
【0089】図31は、図29中のオフセット補正部222の構成図である。図31に示すように、オフセット補正部222は、加算器240を有する。加算器240は、検知素子iについての感度補正画像データと検知素子iについての補正校正量を加算して、感度補正画像データに対して経時変化による特性バラツキを補正する。
【0090】以下、図28の赤外線撮像装置の動作説明をする。
【0091】(1) 感度補正校正データの作成感度補正データの作成は、第1実施形態と同様である。
【0092】(2) ハウジング応答プロファイルの作成ハウジング応答プロファイルの作成は、第1実施形態と同様である。
【0093】(3) 赤外線撮像装置の運用時の動作(a) 視軸走査第2実施形態と同様にして、ジンバル等の走査装置150によりカメラヘッド2の視軸を一定周期で走査させる。走査装置150によりカメラヘッド2の視軸が走査されて得られた画像データは、AD変換器40によりディジタル画像データに変換されて、感度補正演算部56に入力される。
【0094】(b) 感度補正感度補正演算部52は、第1実施形態と同様にして、ディジタル画像データの感度補正をして、感度補正画像データを平滑化処理部190及びハウジングシェーディング補正演算部62に出力する。
【0095】(c) 平滑化処理平滑化処理部190は、第2実施形態と同様にして、各検知素子iの感度補正画像データについて、積分平均化処理を行って、積分平均化画像データを出力する。
【0096】(d) 局所補正データ作成局所補正データ作成部220は、検知素子iについて、局所領域内平均値を算出する。検知素子iについて、その局所領域内平均値から積分平均化画像データを減算して、補正校正量を出力する。
【0097】(e) オフセット補正オフセット補正部222は、検知素子iについての感度補正画像データと検知素子iについての補正校正量を加算して、感度補正画像データに対して経時変化による特性バラツキを補正する。
【0098】(f) ハウジング成分強度算出ハウジング成分強度演算部192は、第2実施形態と同様にして、所定の領域の検知素子iについての積分平均化画像データから、ハウジング成分強度Ihを算出して、ハウジングシェーディング補正演算部60に出力する。尚、ハウジング成分強度演算部192の入力を感度補正画像データが平滑化処理部190により積分平均化された積分平均化画像データではなく、オフセット補正部222によりオフセット補正された画像データに対して平滑化処理部190と同様に積分平均化処理をした積分平滑化画像データとしても良い。
【0099】(g) ハウジングシェーディング補正量算出ハウジングシェーディング補正演算部60は、赤外線センサ16の全ての検知素子iについて、ハウジング応答プロファイルメモリ56に記憶されているハウジング応答プロファイルPROFiとハウジングシェーディング強度成分Ihとを乗算して、ハウジングシェーディング補正量をハウジングシェーディング補正演算部62に出力する。
【0100】(h) ハウジングシェーディング補正ハウジングシェーディング補正演算部62は、検知素子iについてのオフセット補正補正画像データからハウジングシェーディング補正量を減算して、画像処理装置44に出力する。
【0101】(i) 画像処理画像処理装置44は、シェーディング補正部210により、光学系シェーディング補正、経時変化による特性バラツキ補正及びハウジングシェーディング補正された画像データを入力して、該当する画像処理を施して、ディスプレイ等に表示する。このとき、画像データは、光学系シェーディング補正、経時変化による特性バラツキ補正及びハウジングシェーディング補正されているので、画像の品質を更に向上させることができる。
【0102】本発明は以下の付記を含むものである。
【0103】(付記1) 光学系と複数の赤外線検知素子と該複数の赤外線検知素子を収容する容器とを有するカメラヘッドにより撮像された画像データのシェーディング補正をする赤外線撮像装置であって、均一シーンを撮像したとき前記画像データに含まれるシーン成分が一定となるように光学系シェーディング成分を補正して感度補正画像データを作成する第1補正部と、前記赤外線検知素子毎に、前記光学系及び前記容器より放射される赤外線によるハウジングシェーディング成分を補正するためのハウジング応答プロファイルを記憶する記憶部と、前記各赤外線検知素子についての前記感度補正画像データ及び前記ハウジング応答プロファイルに基づいて、ハウジングシェーディング成分を補正してハウジングシェーディング補正画像データを作成する第2補正部と、を具備したことを特徴とする赤外線撮像装置。
【0104】(付記2) 前記第2補正部は、複数の赤外線検知素子についての前記各ハウジング応答プロファイルと第1定数との積が該赤外線検知素子についてのハウジングシェーディング成分であると仮定して前記第1定数を算出し、前記各赤外線検知素子についての感度補正画像データから該赤外線検知素子についてのハウジング応答プロファイルと前記第1定数との積を減算して、ハウジングシェーディング成分を補正することを特徴とする付記1記載の赤外線撮像装置。
【0105】(付記3) 前記第2補正部は、複数の赤外線検知素子についての前記感度補正画像データが該赤外線検知素子についての前記ハウジング応答プロファイルと前記第1定数との積からなるハウジングシェーディング成分とシーン成分を示す第2定数との和であると仮定して、該第2定数との和と前記感度補正画像データとの差との差の二乗の前記所定領域に位置する前記複数の赤外線検知素子についての和が最小となる第1定数を算出することを特徴とする付記1記載の赤外線撮像装置。
【0106】(付記4) 前記応答プロファイルは物理ディメンションのないデータであることを特徴とする付記3記載の赤外線撮像装置。
【0107】(付記5) 前記第2補正部は、前記所定領域の複数の赤外線検知素子についての感度補正画像データの平均値に基づいて前記第1定数及び前記第2定数を変化させることを特徴とする付記4記載の赤外線撮像装置。
【0108】(付記6) 前記各赤外線検知素子についての前記応答プロファイルは、前記カメラヘッドの前方に配置された黒体板の温度が一定条件下で、前記カメラヘッドの温度が第1温度のときの該赤外線検知素子についての第1画像データと、第2温度のときの該赤外線検知素子についての第2画像データとの差分データの第3定数倍であることを特徴とする付記1記載の赤外線撮像装置。
【0109】(付記7) 前記第1補正部は、前記カメラヘッドの温度が一定条件下で、前記カメラヘッドの前方に配置された黒体板の温度が、第3温度のときの前記赤外線検知素子についての第3画像データ及び第4温度のときの前記赤外線検知素子についての第4画像データに基づく感度補正校正データに従って、光学系シェーディング成分を補正することを特徴とする付記1記載の赤外線撮像装置。
【0110】(付記8) 前記カメラヘッドの視軸を走査する走査装置と、赤外線センサの各赤外線検知素子についての前記感度補正画像データに対して積分平均化処理をして平滑化画像データを作成する平滑化処理部とを更に具備し、前記第2補正部は前記平滑化画像データに基づいて前記第1定数を算出することを特徴とする付記2記載の赤外線撮像装置。
【0111】(付記9) 赤外線センサの各赤外線検知素子についての前記感度補正画像データに対して積分平均化処理をして平滑化画像データを作成する平滑化処理部と、該各赤外線検知素子の周辺の領域の前記平滑化画像データの平均値と該赤外線検知素子の平滑化画像データとの差分に基づいて前記各赤外線検知素子についての感度補正画像データを補正する第3補正部を更に具備したことを特徴とする付記1記載の赤外線撮像装置。
【0112】(付記10) 前記感度補正校正データは、前記複数の赤外線検知素子についての前記第3画像データの第1平均値と前記複数の赤外線検知素子についての第4画像データの第2平均値との第1差分と各赤外線検知素子についての前記第3画像データと前記該赤外線検知素子についての第4画像データとの第2差分との比率であるゲイン補正校正データ、前記各赤外線検知素子についての第3画像データに基づくオフセット補正校正データ及び前記第1平均値である付記7記載の赤外線撮像装置。
【0113】
【発明の効果】本発明によれば、光学系シェーディング補正及びハウジングシェーディング補正をするので、画質を向上させることができる。
【図面の簡単な説明】
【図1】本発明の原理図である。
【図2】本発明の第1実施形態による赤外線撮像装置の構成図である。
【図3】図2中のシェーディング補正部の構成図である。
【図4】図2中の感度補正校正データ作成部の構成図である。
【図5】感度補正校正データ作成方法を示す図である。
【図6】感度補正校正データ作成フローチャートである。
【図7】図3中の感度補正演算部の構成図である。
【図8】感度補正フローチャートである。
【図9】図2中のハウジング応答プロファイル作成部の構成図である。
【図10】ハウジング応答プロファイル作成方法を示す図である。
【図11】ハウジング応答プロファイル作成フローチャートである。
【図12】ハウジング応答プロファイル作成フローチャートである。
【図13】ハウジング応答プロファイルの一例を示す図である。
【図14】図3中のハウジング成分強度演算部の構成図である。
【図15】二乗誤差算出フローチャートである。
【図16】図3中のハウジングシェーディング補正量算出部の構成図である。
【図17】SE(j,k)が最小となる組み合わせ及びハウジングシェーディング補正量算出のフローチャートである。
【図18】図3中のハウジングシェーディング補正演算部の構成図である。
【図19】シーン一定の場合の赤外線センサの照度分布を示す図である。
【図20】検知素子の出力に含まれる信号成分を示す図である。
【図21】均一シーンの場合の感度補正画像データを示す図である。
【図22】均一シーンでない場合の感度補正画像データを示す図である。
【図23】本発明の第2実施形態による赤外線撮像装置の構成図である。
【図24】視軸の走査を示す図である。
【図25】走査装置の一例を示す図である。
【図26】図23中のシェーディング補正部の構成図である。
【図27】図26中の平滑化処理部の構成図である。
【図28】本発明の第3実施形態による赤外線撮像装置の構成図である。
【図29】図28中のシェーディング補正部の構成図である。
【図30】図29中の局所補正データ作成部の構成図である。
【図31】図29中のオフセット補正部の構成図である。
【図32】カメラヘッドの一般的構成を示す図である。
【図33】カメラヘッドの構成例を示す図である。
【図34】図32中の赤外線検知器の構成図である。
【図35】コールドシールドの役割を示す図である。
【図36】シェーディング成分を示す図である。
【符号の説明】
34 第1補正部
36 記憶部
38 第2補正部

【特許請求の範囲】
【請求項1】 光学系と複数の赤外線検知素子と該複数の赤外線検知素子を収容する容器とを有するカメラヘッドにより撮像された画像データのシェーディング補正をする赤外線撮像装置であって、均一シーンを撮像したとき前記画像データに含まれるシーン成分が一定となるように光学系シェーディング成分を補正して感度補正画像データを作成する第1補正部と、前記赤外線検知素子毎に、前記光学系及び前記容器より放射される赤外線によるハウジングシェーディング成分を補正するためのハウジング応答プロファイルを記憶する記憶部と、前記各赤外線検知素子についての前記感度補正画像データ及び前記ハウジング応答プロファイルに基づいて、ハウジングシェーディング成分を補正してハウジングシェーディング補正画像データを作成する第2補正部と、を具備したことを特徴とする赤外線撮像装置。
【請求項2】 前記第2補正部は、複数の赤外線検知素子についての前記感度補正画像データが該赤外線検知素子についての前記ハウジング応答プロファイルと第1定数との積からなるハウジング成分とシーン成分を示す第2定数との和であると仮定して、該第2定数との和と前記感度補正画像データとの差の二乗の前記複数の赤外線検知素子についての和が最小となる第1定数を算出し、前記各赤外線検知素子についての感度補正画像データから該赤外線検知素子についてのハウジング応答プロファイルと前記第1定数との積を減算して、ハウジングシェーディング成分を補正することを特徴とする請求項1記載の赤外線撮像装置。
【請求項3】 前記各赤外線検知素子についての前記ハウジング応答プロファイルは、前記カメラヘッドの前方に配置された黒体板の温度が一定条件下で、前記カメラヘッドの温度が第1温度のときの該赤外線検知素子についての第1画像データと、第2温度のときの該赤外線検知素子についての第2画像データとの差分データの第3定数倍であることを特徴とする請求項1記載の赤外線撮像装置。
【請求項4】 前記カメラヘッドの視軸を走査する走査装置と、前記所定領域に位置する各赤外線検知素子についての前記感度補正画像データに対して積分平均化処理をして平滑化画像データを作成する平滑化処理部とを更に具備し、前記第2補正部は前記平滑化画像データに基づいて前記第1定数を算出することを特徴とする請求項2記載の赤外線撮像装置。
【請求項5】 所定領域に位置する各赤外線検知素子についての前記感度補正画像データに対して積分平均化処理をして平滑化画像データを作成する平滑化処理部と、該各赤外線検知素子の周辺の領域の前記平滑化画像データの平均値と該赤外線検知素子の平滑化画像データとの差分に基づいて前記各赤外線検知素子についての感度補正画像データを補正する第3補正部を更に具備したことを特徴とする請求項1記載の赤外線撮像装置。

【図1】
image rotate


【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図8】
image rotate


【図5】
image rotate


【図6】
image rotate


【図7】
image rotate


【図14】
image rotate


【図16】
image rotate


【図9】
image rotate


【図10】
image rotate


【図11】
image rotate


【図13】
image rotate


【図18】
image rotate


【図12】
image rotate


【図19】
image rotate


【図20】
image rotate


【図21】
image rotate


【図31】
image rotate


【図15】
image rotate


【図26】
image rotate


【図27】
image rotate


【図28】
image rotate


【図17】
image rotate


【図29】
image rotate


【図30】
image rotate


【図22】
image rotate


【図23】
image rotate


【図32】
image rotate


【図34】
image rotate


【図24】
image rotate


【図25】
image rotate


【図33】
image rotate


【図35】
image rotate


【図36】
image rotate


【公開番号】特開2002−251609(P2002−251609A)
【公開日】平成14年9月6日(2002.9.6)
【国際特許分類】
【出願番号】特願2001−49900(P2001−49900)
【出願日】平成13年2月26日(2001.2.26)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】