赤外線検出装置
【課題】赤外線センサにて得られた画像の分解能を向上する赤外線検出装置を得る。
【解決手段】赤外線検出装置は、バンドが異なるとともに互いに画素の数分の１ずれた複数の赤外線画像を同時または短時間内に撮像可能な赤外線センサと、入力される上記バンドが異なる複数の赤外線画像を、画像特性が整合するように、画像特性を調整して出力するバンド間特性整合処理器と、入力される上記画像特性が整合されたバンドが異なる複数の赤外線画像を超解像処理を施して分解能を向上した赤外線画像を生成する超解像処理器とを備える。
【解決手段】赤外線検出装置は、バンドが異なるとともに互いに画素の数分の１ずれた複数の赤外線画像を同時または短時間内に撮像可能な赤外線センサと、入力される上記バンドが異なる複数の赤外線画像を、画像特性が整合するように、画像特性を調整して出力するバンド間特性整合処理器と、入力される上記画像特性が整合されたバンドが異なる複数の赤外線画像を超解像処理を施して分解能を向上した赤外線画像を生成する超解像処理器とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、マルチバンドの赤外線センサにて得られた画像の分解能を向上する赤外線検出装置に関するものである。
【背景技術】
【０００２】
赤外線センサを用いてミサイルの警戒や航空機の捜索をするとともに、赤外線センサにより得られた画像を表示して操作者に赤外線画像を供給する赤外線検出装置に関しては、その方法及び装置が開示されている。
マルチバンドの赤外線を利用して周囲の警戒を行い、周囲のミサイルや航空機を検出することを目的とする赤外線検出装置は、例えば航空機に搭載され周囲を監視する場合には航空機の周囲全周を監視する要求があり、また例えば衛星から地球上を監視する場合には地球の大部分を監視する要求があり、共に広い視野が求められる。赤外線検出装置の視野を確保するため、複数の赤外線センサを用いて視野を確保することが一般的である（例えば、特許文献１参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−０４６９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、赤外線センサの数量を増すと装置全体の寸法及び質量が大きくなるために、赤外線センサの数量は例えば航空機搭載では数個程度に制限され、個々の赤外線センサは広視野角のものが必要となる。
しかし、赤外線センサに用いられる赤外線検知器の画素数には上限があり、広視野角の赤外線センサの出力する画像の分解能が低くなるために、航空機やミサイルの検出位置精度が悪化すると共に、操作者に供給する赤外線画像が粗くなるという課題があった。
【０００５】
この発明は、前記のような課題を解決するためになされたものであり、赤外線センサにて得られた画像の分解能を向上する赤外線検出装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る赤外線検出装置は、バンドが異なるとともに互いに画素の数分の１ずれた複数の赤外線画像を同時または短時間内に撮像可能な赤外線センサと、入力される上記バンドが異なる複数の赤外線画像を、画像特性が整合するように、画像特性を調整して出力するバンド間特性整合処理器と、入力される上記画像特性が整合されたバンドが異なる複数の赤外線画像を超解像処理を施して分解能を向上した赤外線画像を生成する超解像処理器とを備える。
【発明の効果】
【０００７】
この発明に係る赤外線検出装置は、バンド間特性整合処理器によりバンドが異なる複数の赤外線画像を特性が整合するように赤外線画像の特性を調整することにより超解像処理器で複数の赤外線画像に対する超解像処理が可能となり、分解能が向上した高分解能赤外線画像信号を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る赤外線検出装置の構成図である。
【図２】画素の半分が縦横にずれた２つの赤外線画像から超解像処理して高分解能化された赤外線画像を生成する様子を示す図である。
【図３】空気中を透過する赤外線の波長に対する透過率を示すグラフである。
【発明を実施するための形態】
【０００９】
以下、本発明の赤外線検出装置の好適な実施の形態につき図面を用いて説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る赤外線検出装置の構成図である。
この発明の実施の形態１に係る赤外線検出装置は、図１に示すように、赤外線センサ１、バンド間輝度整合処理器７、超解像処理器９から構成される。赤外線センサ１は、複数の異なる赤外線の波長帯（以下、「バンド」と称す。）の画像を同時刻または短時間内に撮像できるセンサである。
【００１０】
複数のバンドの赤外線は光学系２により集光され、検知器駆動回路４により制御されるマルチバンド赤外線検知器３によりバンド毎に光電変換され、バンド毎に映像信号処理器５により画像信号に変換されて、バンド毎の赤外線画像として赤外線画像信号６が出力される。ここで、赤外線センサ１はマルチバンド赤外線検知器３の各バンドが同一の被撮像物を画素寸法の数分の１ずつずらして撮影できるように構成したものである。尚、以下の説明では、マルチバンドとして２つのバンドの例を示すが、さらに多くのバンドでも良い。
【００１１】
バンド間輝度整合処理器７は、バンドの異なる第１赤外線画像信号６ａ及び第２赤外線画像信号６ｂを入力し、同一の画像特性に整合させる処理を行う。
超解像処理器９は、バンド間輝度整合処理器７の出力するバンド間の特性を整合した第１赤外線画像８ａ及び第２赤外線画像８ｂを入力し、超解像処理によって分解能を向上した高分解能赤外線画像信号１０を生成する処理を行う。
表示器は、超解像処理器９の出力する高分解能赤外線画像信号１０を入力し、画像として表示する。
【００１２】
次に、分解能向上の動作について説明する。
被対象物を画素寸法の数分の１ずつずらして撮像した複数枚の画像信号を用いて超解像処理によって分解能を向上することができることが知られている。
図２は、撮影対象物に対して各画素をずらして配置された検知器Ａと検知器Ｂで撮像した２枚の画像を用いて分解能向上の方法を説明するものである。
検知器Ａと検知器Ｂは、互いに１／２画素ずれた被対象物を撮像するように配置されている。検知器Ａまたは検知器Ｂそれぞれ単体の出力画像の分解能に対し、２枚の画像を用いて超解像処理手段により得られた画像は分解能がほぼ２倍に向上する。
【００１３】
超解像処理の手法としては、得られた撮像画像をフーリエ変換して２枚の画像間の位相差を検出し、画素のズレ量と組み合わせて画像量子化による周波数空間上の折り返し成分を打ち消すことで、高周波成分を復元して分解能を向上する手法が一般的に用いられる。
【００１４】
しかしながら、この発明の実施の形態１に係るマルチバンド検知器３で得られた画像は、バンド毎に撮像特性が異なるため、超解像処理による２枚の画像間の位相差の検出誤差が大きくなり、超解像処理手段を用いることができない。
図３は、赤外線の大気透過率のデータを示す。
赤外線の大気透過率はバンド毎に異なり、例えば３．５μｍ−４μｍと、４μｍ−４．５μｍの隣接する２バンドを選択した場合でも、大気透過率は異なるため撮像される画像のコントラストには差が生じ、超解像処理に供することができない。
【００１５】
そこで、この発明の実施の形態１では、バンド間輝度整合処理器７により赤外線センサ１が出力するバンドの異なる第１赤外線画像信号６ａ及び第２赤外線画像信号６ｂに対して平均輝度またはコントラストなどの画像特性を整合するように調整することで、バンドの異なる画像を超解像処理に供して分解能を向上することを可能とする。
【００１６】
バンド間輝度整合処理器７によるバンド間の画像特性の整合処理は、想定する大気透過率により輝度を割り戻して整合を図る方法や、選択した注目画素とその周辺画素についてバンド間の輝度を比較し同一平均輝度で同一コントラストになるように局所領域毎に画像の明るさ及びコントラストを調整する方法等が用いられる。
【００１７】
このように、バンド間輝度整合処理器７を通すことで超解像処理器９は赤外線マルチバンド画像に対する超解像処理が可能となり分解能が向上した高分解能赤外線画像信号１０が出力する。高分解能赤外線画像信号１０は、例えば表示器を通して表示することで操作者は高分解能の画像を得ることができる。また、高分解能赤外線画像信号１０は、例えば目標検出処理装置を通して航空機やミサイルの目標検出を行うことで、検出位置精度の高い目標検出結果を得ることができる。
【００１８】
尚、この発明の実施の形態１に係る赤外線検出装置は、あくまでも一例であって、搭載方法や操作者への画像出力方法に従って種々の形態にすることができる。例えば、光学系２とマルチバンド検知器３の組み合わせによる画素をずらした複数バンドの画像の撮像は、光学系と単バンドの検知器の組み合わせを複数用意して撮像方向をずらすことや、フィルタホイールと感度帯の広い検知器の組み合わせでも実現可能である。
【産業上の利用可能性】
【００１９】
マルチバンドを要求される赤外線センサに使用可能であり、例えば火災を監視する装置、温度を計測する装置、暗視装置等の画像の分解能向上に利用可能である。
【符号の説明】
【００２０】
１ 赤外線センサ、２ 光学系、３ マルチバンド検知器、４ 検知器駆動回路、５ 映像信号処理器、６ 赤外線画像信号、７ バンド間輝度整合処理器、８ 特性が整合された赤外線画像、９ 超解像処理器、１０ 高分解能赤外線画像信号。
【技術分野】
【０００１】
この発明は、マルチバンドの赤外線センサにて得られた画像の分解能を向上する赤外線検出装置に関するものである。
【背景技術】
【０００２】
赤外線センサを用いてミサイルの警戒や航空機の捜索をするとともに、赤外線センサにより得られた画像を表示して操作者に赤外線画像を供給する赤外線検出装置に関しては、その方法及び装置が開示されている。
マルチバンドの赤外線を利用して周囲の警戒を行い、周囲のミサイルや航空機を検出することを目的とする赤外線検出装置は、例えば航空機に搭載され周囲を監視する場合には航空機の周囲全周を監視する要求があり、また例えば衛星から地球上を監視する場合には地球の大部分を監視する要求があり、共に広い視野が求められる。赤外線検出装置の視野を確保するため、複数の赤外線センサを用いて視野を確保することが一般的である（例えば、特許文献１参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−０４６９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、赤外線センサの数量を増すと装置全体の寸法及び質量が大きくなるために、赤外線センサの数量は例えば航空機搭載では数個程度に制限され、個々の赤外線センサは広視野角のものが必要となる。
しかし、赤外線センサに用いられる赤外線検知器の画素数には上限があり、広視野角の赤外線センサの出力する画像の分解能が低くなるために、航空機やミサイルの検出位置精度が悪化すると共に、操作者に供給する赤外線画像が粗くなるという課題があった。
【０００５】
この発明は、前記のような課題を解決するためになされたものであり、赤外線センサにて得られた画像の分解能を向上する赤外線検出装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る赤外線検出装置は、バンドが異なるとともに互いに画素の数分の１ずれた複数の赤外線画像を同時または短時間内に撮像可能な赤外線センサと、入力される上記バンドが異なる複数の赤外線画像を、画像特性が整合するように、画像特性を調整して出力するバンド間特性整合処理器と、入力される上記画像特性が整合されたバンドが異なる複数の赤外線画像を超解像処理を施して分解能を向上した赤外線画像を生成する超解像処理器とを備える。
【発明の効果】
【０００７】
この発明に係る赤外線検出装置は、バンド間特性整合処理器によりバンドが異なる複数の赤外線画像を特性が整合するように赤外線画像の特性を調整することにより超解像処理器で複数の赤外線画像に対する超解像処理が可能となり、分解能が向上した高分解能赤外線画像信号を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る赤外線検出装置の構成図である。
【図２】画素の半分が縦横にずれた２つの赤外線画像から超解像処理して高分解能化された赤外線画像を生成する様子を示す図である。
【図３】空気中を透過する赤外線の波長に対する透過率を示すグラフである。
【発明を実施するための形態】
【０００９】
以下、本発明の赤外線検出装置の好適な実施の形態につき図面を用いて説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る赤外線検出装置の構成図である。
この発明の実施の形態１に係る赤外線検出装置は、図１に示すように、赤外線センサ１、バンド間輝度整合処理器７、超解像処理器９から構成される。赤外線センサ１は、複数の異なる赤外線の波長帯（以下、「バンド」と称す。）の画像を同時刻または短時間内に撮像できるセンサである。
【００１０】
複数のバンドの赤外線は光学系２により集光され、検知器駆動回路４により制御されるマルチバンド赤外線検知器３によりバンド毎に光電変換され、バンド毎に映像信号処理器５により画像信号に変換されて、バンド毎の赤外線画像として赤外線画像信号６が出力される。ここで、赤外線センサ１はマルチバンド赤外線検知器３の各バンドが同一の被撮像物を画素寸法の数分の１ずつずらして撮影できるように構成したものである。尚、以下の説明では、マルチバンドとして２つのバンドの例を示すが、さらに多くのバンドでも良い。
【００１１】
バンド間輝度整合処理器７は、バンドの異なる第１赤外線画像信号６ａ及び第２赤外線画像信号６ｂを入力し、同一の画像特性に整合させる処理を行う。
超解像処理器９は、バンド間輝度整合処理器７の出力するバンド間の特性を整合した第１赤外線画像８ａ及び第２赤外線画像８ｂを入力し、超解像処理によって分解能を向上した高分解能赤外線画像信号１０を生成する処理を行う。
表示器は、超解像処理器９の出力する高分解能赤外線画像信号１０を入力し、画像として表示する。
【００１２】
次に、分解能向上の動作について説明する。
被対象物を画素寸法の数分の１ずつずらして撮像した複数枚の画像信号を用いて超解像処理によって分解能を向上することができることが知られている。
図２は、撮影対象物に対して各画素をずらして配置された検知器Ａと検知器Ｂで撮像した２枚の画像を用いて分解能向上の方法を説明するものである。
検知器Ａと検知器Ｂは、互いに１／２画素ずれた被対象物を撮像するように配置されている。検知器Ａまたは検知器Ｂそれぞれ単体の出力画像の分解能に対し、２枚の画像を用いて超解像処理手段により得られた画像は分解能がほぼ２倍に向上する。
【００１３】
超解像処理の手法としては、得られた撮像画像をフーリエ変換して２枚の画像間の位相差を検出し、画素のズレ量と組み合わせて画像量子化による周波数空間上の折り返し成分を打ち消すことで、高周波成分を復元して分解能を向上する手法が一般的に用いられる。
【００１４】
しかしながら、この発明の実施の形態１に係るマルチバンド検知器３で得られた画像は、バンド毎に撮像特性が異なるため、超解像処理による２枚の画像間の位相差の検出誤差が大きくなり、超解像処理手段を用いることができない。
図３は、赤外線の大気透過率のデータを示す。
赤外線の大気透過率はバンド毎に異なり、例えば３．５μｍ−４μｍと、４μｍ−４．５μｍの隣接する２バンドを選択した場合でも、大気透過率は異なるため撮像される画像のコントラストには差が生じ、超解像処理に供することができない。
【００１５】
そこで、この発明の実施の形態１では、バンド間輝度整合処理器７により赤外線センサ１が出力するバンドの異なる第１赤外線画像信号６ａ及び第２赤外線画像信号６ｂに対して平均輝度またはコントラストなどの画像特性を整合するように調整することで、バンドの異なる画像を超解像処理に供して分解能を向上することを可能とする。
【００１６】
バンド間輝度整合処理器７によるバンド間の画像特性の整合処理は、想定する大気透過率により輝度を割り戻して整合を図る方法や、選択した注目画素とその周辺画素についてバンド間の輝度を比較し同一平均輝度で同一コントラストになるように局所領域毎に画像の明るさ及びコントラストを調整する方法等が用いられる。
【００１７】
このように、バンド間輝度整合処理器７を通すことで超解像処理器９は赤外線マルチバンド画像に対する超解像処理が可能となり分解能が向上した高分解能赤外線画像信号１０が出力する。高分解能赤外線画像信号１０は、例えば表示器を通して表示することで操作者は高分解能の画像を得ることができる。また、高分解能赤外線画像信号１０は、例えば目標検出処理装置を通して航空機やミサイルの目標検出を行うことで、検出位置精度の高い目標検出結果を得ることができる。
【００１８】
尚、この発明の実施の形態１に係る赤外線検出装置は、あくまでも一例であって、搭載方法や操作者への画像出力方法に従って種々の形態にすることができる。例えば、光学系２とマルチバンド検知器３の組み合わせによる画素をずらした複数バンドの画像の撮像は、光学系と単バンドの検知器の組み合わせを複数用意して撮像方向をずらすことや、フィルタホイールと感度帯の広い検知器の組み合わせでも実現可能である。
【産業上の利用可能性】
【００１９】
マルチバンドを要求される赤外線センサに使用可能であり、例えば火災を監視する装置、温度を計測する装置、暗視装置等の画像の分解能向上に利用可能である。
【符号の説明】
【００２０】
１ 赤外線センサ、２ 光学系、３ マルチバンド検知器、４ 検知器駆動回路、５ 映像信号処理器、６ 赤外線画像信号、７ バンド間輝度整合処理器、８ 特性が整合された赤外線画像、９ 超解像処理器、１０ 高分解能赤外線画像信号。
【特許請求の範囲】
【請求項１】
バンドが異なるとともに互いに画素の数分の１ずれた複数の赤外線画像を同時または短時間内に撮像可能な赤外線センサと、
入力される上記バンドが異なる複数の赤外線画像を、画像特性が整合するように、画像特性を調整して出力するバンド間特性整合処理器と、
入力される上記画像特性が整合されたバンドが異なる複数の赤外線画像を超解像処理を施して分解能を向上した赤外線画像を生成する超解像処理器と
を備えることを特徴とする赤外線検出装置。
【請求項２】
上記バンド間特性整合処理器は、上記バンドが異なる複数の赤外線画像を、輝度が整合するように、輝度を調整し、
上記バンド間特性整合処理器は、上記輝度が整合されたバンドが異なる複数の赤外線画像を該赤外線画像間の画素毎の輝度の相異から分解能を向上した赤外線画像を生成する
ことを特徴とする請求項１に記載の赤外線検出装置。
【請求項１】
バンドが異なるとともに互いに画素の数分の１ずれた複数の赤外線画像を同時または短時間内に撮像可能な赤外線センサと、
入力される上記バンドが異なる複数の赤外線画像を、画像特性が整合するように、画像特性を調整して出力するバンド間特性整合処理器と、
入力される上記画像特性が整合されたバンドが異なる複数の赤外線画像を超解像処理を施して分解能を向上した赤外線画像を生成する超解像処理器と
を備えることを特徴とする赤外線検出装置。
【請求項２】
上記バンド間特性整合処理器は、上記バンドが異なる複数の赤外線画像を、輝度が整合するように、輝度を調整し、
上記バンド間特性整合処理器は、上記輝度が整合されたバンドが異なる複数の赤外線画像を該赤外線画像間の画素毎の輝度の相異から分解能を向上した赤外線画像を生成する
ことを特徴とする請求項１に記載の赤外線検出装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−２０９６５６（Ｐ２０１２−２０９６５６Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７２０９６（Ｐ２０１１−７２０９６）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]