赤外線サーモグラムのデジタル信号処理システム及び方法
【課題】良好なシーンへの適応性を有する赤外線サーモグラムを提供する。
【解決手段】ＦＰＧＡチップを含み、ＦＰＧＡチップは、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、画像処理モジュールと接続され、フレームの有効走査期間において、画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールとを含む。
【解決手段】ＦＰＧＡチップを含み、ＦＰＧＡチップは、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、画像処理モジュールと接続され、フレームの有効走査期間において、画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線サーモグラフィの技術分野に関し、特に、赤外線サーモグラムのデジタル信号処理（ＦＰＧＡにより実現）などの技術に関する。
【背景技術】
【０００２】
現在、多くの赤外線サーモグラフィシステムにおいて、赤外線検出器から出力されるアナログ信号は、前置Ａ／Ｄ変換により１４ｂｉｔのデジタル信号に変換されてから、デジタル信号処理モジュールに入力されて８ｂｉｔの階調信号に変換され、さらに、ビデオデコーダーモジュールにより標準テレビ信号に変換されてからモニターに出力される。
【０００３】
デジタル信号処理モジュールは、ハイビット・ハイダイナミックレンジの入力信号を人間の視覚特性に適した２５６階調レベルの階調信号に変換するために、デジタル信号の圧縮／伸張、オーバーフロー／カットオフ処理、及び輝度のオフセット／ゲイン調整などの操作をリアルタイム且つ速やかに行う必要がある。これにより、ハイビット・ハイダイナミックレンジの入力信号を人間の視覚特性に適した画像信号に変換することができる。
【０００４】
従来技術１においては、隣り合うフレームの画像の間で通常連続性を有する特性に基づいて、前のフレームの画像における各画素のＡＤ値（デジタル化エネルギー値、すなわち、取得されたアナログ画像に対してＡ／Ｄ変換を行うことにより得られる１６ビットの信号）の相加平均値を、現フレームの画像の輝度のオフセットの参照とする。
【０００５】
従来技術２はヒストグラムによる統計に基づく画像均等化技術であり、当該従来技術２においては、前のフレームの画像にける階調レベルごとの画素の数を統計することで分布曲線を取得し、出力するときには、画素の数がゼロである階調レベル或いは画素の数の少ない階調レベルを圧縮するとともに、画素の数の多い階調レベルを伸張することにより、画像の強調を実現するようにしている。
なお、本出願人は、本願発明と関連する先行技術文献を検索したが、発見することができなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の２つの従来技術のそれぞれには以下の問題点が存在する。
従来技術１において、シーン中に小面積であって平均値を遥かに上回る明るいターゲットが現れると、ＡＤ値の累積和が大幅に増加して、現フレームの画像の輝度の低下が比較的激しくなるため、他の大面積のターゲットが完全に暗くなる場合もあり、ターゲットの観察に影響を与えてしまう。
【０００７】
従来技術２において、画像が強調されると同時に、バックグラウンド及びノイズも強調されるため、一部の画素の数の少ない「キーポイントになるターゲット」が埋没されたり、ターゲットのエッジ画素まで合併されたりして、画像の細部を失う恐れがある。
【課題を解決するための手段】
【０００８】
本発明は、シーンに大きい変化が発生する場合、赤外線サーモグラフィの適応性の不良により、ターゲットの観察に影響を与えてしまう問題を解決するためになされたものである。
【０００９】
具体的に、本発明は、従来技術１と従来技術２との存在する問題点を解消するために、従来技術１と従来技術２の両者の利点を同時に有し、シーンへの良好な適応性を有する赤外線サーモグラムのデジタル信号処理システム及び方法を提供する。本発明によれば、前のフレームの画像のレベルの異なるＡＤ値に対して個別重み累計処理を行うことにより、画像全体の輝度が、部分的に明るすぎるターゲットや暗すぎるターゲットの影響を受けないように確保することができるとともに、同時に、ヒストグラム統計技術を使用して、線形範囲を超えた明るいターゲットや暗いターゲットの階調値をオフセットさせ、線形範囲内まで圧縮することにより、明るいターゲットや暗いターゲットの細部を確保することができる。
【００１０】
以上の目的を達成するために、本発明は、赤外線サーモグラフィに搭載され、赤外線サーモグラフィにより撮影されたマルチフレームの赤外線サーモグラムのデジタル信号に対し処理を行うＦＰＧＡチップ、を含む赤外線サーモグラムのデジタル信号処理システムを提供する。ここで、前記ＦＰＧＡチップは、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、前記画像処理モジュールと接続され、フレームの有効走査期間において、前記画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールとを含む。
【００１１】
本発明の実施例において、前記画像処理モジュールが前記初期ヒストグラムのデータに対して行う個別重み累計処理は、数が総画素数の２％を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最大階調値Ｘｍａｘとするステップと、数が総画素数の２％を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最小階調値Ｘｍｉｎとするステップと、階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮するステップとを含む。
【００１２】
本発明の実施例において、前記無効走査期間において、前記画像処理モジュールは、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、前記重み関数ｙ（Ｘ）の算出には、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、即ちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定するステップと、ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピーク値の１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように、取得するステップと、前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間で成り立つ関係式ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）（但し、Ｘｎは初期画像の１画素の階調値、ｈ（Ｘｎ）は当該階調値に対応する画素の数であり、Ｘｋはターゲットのヒストグラムにおける１画素の階調値、ｈ（Ｘｋ）は当該階調値に対応する画素の数であり、Ｘは重み関数ｙ（Ｘ）の、Ｘｋに対応する定義域、ｙ（Ｘ）は当該重み関数の値域を示す）により、重み関数ｙ（Ｘ）を算出するステップとを含む。
【００１３】
本発明の実施例において、前記画像出力モジュールにより行われる多段折れ線式の階調オフセット処理は、前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップとを含む。
【００１４】
本発明の実施例において、前記ＦＰＧＡチップは、さらに、信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行うように、前記画像処理モジュールと前記画像出力モジュールを制御するための同期／制御モジュールを含む。
【００１５】
本発明の実施例において、前記ＦＰＧＡチップは、さらに、前記画像処理モジュールと接続され、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計するためのＤＰＲＡＭを含む。
【００１６】
本発明の実施例において、無効走査期間において、前記画像処理モジュールは、前記現フレームの画像の初期ヒストグラムのデータに対する上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する。
【００１７】
本発明の実施例において、無効走査期間において、前記画像処理モジュールは、階調変換処理を完了した後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する。
【００１８】
本発明の実施例において、前記画像出力モジュールは、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを前記赤外線サーモグラフィに設けられたビデオデコーダーモジュールに出力してビデオデータのデコード処理を行い、表示のために、デコード処理後のビデオデータを前記赤外線サーモグラフィに設けられた画像表示モジュールに出力する。
【００１９】
上述の目的を達成するために、本発明は赤外線サーモグラムのデジタル信号処理方法を提供する。当該赤外線サーモグラムのデジタル信号処理方法は、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送するステップと、フレームの有効走査期間において、受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力するステップとを含む。
【００２０】
本発明の実施例において、前記初期ヒストグラムのデータに対して行われる個別重み累計処理は、数が総画素数の２％を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最大階調値Ｘｍａｘとするステップと、数が総画素数の２％を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最小階調値Ｘｍｉｎとするステップと、階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮するステップとを含む。
【００２１】
本発明の実施例において、無効走査期間において、個別重み累計処理完了後、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、前記重み関数ｙ（Ｘ）の算出には、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、即ちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定するステップと、ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピーク値の１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように、取得するステップと、前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間で成り立つ関係式ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）（但し、Ｘｎは初期画像の１画素の階調値、ｈ（Ｘｎ）は当該階調値に対応する画素の数であり、Ｘｋはターゲットのヒストグラムにおける１画素の階調値、ｈ（Ｘｋ）は当該階調値に対応する画素の数であり、Ｘは重み関数ｙ（Ｘ）の、Ｘｋに対応する定義域、ｙ（Ｘ）は当該重み関数の値域を示す）により、重み関数ｙ（Ｘ）を算出するステップとを含む。
【００２２】
本発明の実施例において、前記多段折れ線式の階調オフセット処理は、前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップとを含む。
【００２３】
本発明の実施例において、信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行う。
【００２４】
本発明の実施例において、赤外線サーモグラムのデジタル信号処理方法は、さらに、無効走査期間において、前記個別重み累計処理を行う前に、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計し、統計された数値に基づき現フレームの画像の初期ヒストグラムの分布曲線を取得するステップを含む。
【００２５】
本発明の実施例において、無効走査期間において、上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する。
【００２６】
本発明の実施例において、無効走査期間において、重み付け処理後のヒストグラムに対する階調変換処理が完了後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する。
【００２７】
本発明の実施例において、赤外線サーモグラムのデジタル信号処理方法は、さらに、出力された多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データに対して、表示のためにビデオデータのデコード処理を行うステップを含む。
【００２８】
本発明によれば、画像のコントラストを強調することができるとともに、Ｓ／Ｎ比（信号対雑音比）を有効に向上させることができるため、ターゲット画像の細部が一層明瞭になり、異なるシーンへの適応性を向上させることができる。
【００２９】
具体的に、本発明は以下の利点を有する。
１.コントラストの低い赤外線画像において、当該赤外線画像のヒストグラム分布が集中し、通常、メインピークと対応る階調レベルは画像のバックグラウンドに該当する。特に、ターゲットが小さい場合、このような分布がより著しくなる。重み付け処理は、当該メインピークを平滑化することができ、その後のヒストグラム均等化処理に余裕を持たせることが可能である。
【００３０】
２.メジアンフィルタ処理は、ヒストグラム均等化処理により発生されたバックグラウンド・ノイズを効果的に除去することが可能である。
【００３１】
３.画像全体の輝度を適切且つ安定的なレベルに保持することができ、シーンへの適応性を向上させることが可能である。
【００３２】
４.明るすぎるターゲットの階調値に対して多段折れ線式のオフセット処理を施すことで、画像の一部分のみの飽和を避けることが可能である。
【図面の簡単な説明】
【００３３】
【図１】図１は、本発明の実施例に係る赤外線サーモグラムのデジタル信号処理システムの原理を示すブロック図である。
【図２】図２は、本発明の実施例に係る赤外線サーモグラムのデジタル信号処理方法のフローチャートである。
【図３】図３は、画像出力モジュールが前のフレームの画像に対して行う３段折れ線式の階調オフセット方法を模式的に示す図である。
【図４Ａ】図４Ａは、現フレームの画像の初期ヒストグラムである。
【図４Ｂ】図４Ｂは、本発明に係る赤外線サーモグラムのデジタル信号処理方法により算出された重み関数を模式的に示す図である。
【図４Ｃ】図４Ｃは、図４Ｂに示す重み関数を用いて図４Ａ中の初期ヒストグラムに対して重み付け処理を施した後のヒストグラムである。
【図５Ａ】図５Ａは、表示された現フレームの赤外線サーモグラムの初期画像を模式的に示す図である。
【図５Ｂ】図５Ｂは、図５Ａ中の初期画像に対し伝統的なヒストグラム均等化処理を施した後の画像を模式的に示す図である。
【図５Ｃ】図５Ｃは、図５Ａ中の初期画像に対し本発明の赤外線サーモグラムのデジタル信号処理方法による処理を施した後の画像を模式的に示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明に係る実施例の目的、技術案及びその利点をより一層明確にするために、図面を参照しながら、本発明に係る実施例についてさらに詳しく説明する。ここで、本発明を模式的に示す実施例及びその説明は、本発明を解釈するためのものであって、本発明に対する限定と見なしてはいけない。
【００３５】
前のフレームの画像における各画素のＡＤ値の相加平均値を現フレームの画像の輝度オフセットの参照とする方法、及びヒストグラム均等化は、画像処理中の一般的な手法であり、特に、ヒストグラム均等化は、今のところ、画像強調のために用いられる最も重要な手段の１つである。均等化は、その効果が特に可視光領域の画像に対して著しいが、赤外線画像それ自体の特徴（バックグラウンドにより占められる階調レベルが大きく、ターゲットの階調レベルが小さい）により、予備処理なしに均等化を施してしまうと、バックグラウンド・ノイズも増幅されてしまう確率が高く、さらに、均等化後に伸張されるのは画像のバックグラウンドであり、ターゲットが埋没されてしまう可能性まである。本発明のコアになる内容として、均等化に先行してヒストグラム重み付け処理を行うことにより、バックグラウンド・ノイズを抑制し、さらに、メジアンフィルタリングによりS/N（信号対雑音）比を一層向上させている。
【００３６】
本発明の１つの実施例において、図１に示すように、本発明の赤外線サーモグラムのデジタル信号処理システムは、赤外線サーモグラフィに搭載され、赤外線サーモグラフィにより撮影されたマルチフレームの赤外線サーモグラムのデジタル信号に対して処理を行うためのＦＰＧＡチップを含んで構成されても良い。当該ＦＰＧＡチップは、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、前記画像処理モジュールと接続され、フレームの有効走査期間において、前記画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールと、信号処理時系列上の異なるタイミングでそれぞれ前記個別重み累計処理と多段折れ線式の階調オフセット処理を行うように前記画像処理モジュールと前記画像出力モジュールを制御するための同期／制御モジュールと、前記画像処理モジュールと接続され、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計するためのＤＰＲＡＭ（Ｄｕａｌ Ｐｏｒｔ ＲＡＭ）とを含む。
【００３７】
画像出力モジュールは、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを、前記赤外線サーモグラフィに設けられたビデオデコーダーモジュールに出力してビデオデータのデコード処理を行い、デコードされたビデオデータを前記赤外線サーモグラフィに設けられた画像表示モジュールに伝送して表示する。
【００３８】
図２は、本実施例に係る赤外線サーモグラムのデジタル信号処理方法のフローチャートである。
【００３９】
図２に示すように、本発明の１つの実施例によれば、本発明の赤外線サーモグラムのデジタル信号処理方法は、主に、フレームの有効走査処理とフレームの無効走査処理の２つの処理ステップを含む。
【００４０】
フレームの無効走査処理において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査ステップで処理された前のフレームの画像の階調データを前記画像出力モジュールに伝送し、
フレームの有効走査処理において、受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する。
【００４１】
具体的に、有効走査処理と無効走査処理は、通常以下の内容を含む。
１.フレームの有効走査処理の期間において、システムは、前のフレームの画像の階調データを出力して表示するイベントと、現フレームの画像の階調データを統計するイベントとを同時に実行する。
【００４２】
１）前のフレームの画像のデータを出力するイベントにおいて、現フレームの画像の初期ＡＤ値をベースアドレスとして、ルックアップ・テーブル中から統計及び処理済みの前のフレームの画像のデータ（階調の写像値、すなわち、前のフレームの画像に対し有効走査処理及び無効走査処理を行った後、最終的にルックアップ・テーブル中に格納されたメジアンフィルタ処理後のヒストグラムデータ）を探し出してＦＰＧＡ内部の画像出力モジュールに出力し，当該画像出力モジュールにより多段折れ線式の階調オフセット処理を行うことにより、画像の暗すぎ及び明るすぎを防ぐことができる。
【００４３】
多段折れ線式の階調オフセット処理は、前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段(セグメント)に分割するステップと、各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップを含む。
【００４４】
例えば、本発明の１つの実施例として、図３には画像出力モジュールが前のフレームの画像に対して行う３段折れ線式の階調オフセット方法が示されている。ここで、ｘ軸は、前のフレームの画像の全ての画素の階調値の階調空間を示し、ｙ軸は、階調オフセット処理後の階調値を示す。階調オフセット処理を行うとき、前のフレームの画像の階調空間を例え三つの段に分割し、各段ごとに該当する傾き（当該傾きは階調オフセット係数を示す。通常、低階調レベルの段に対応する階調オフセット係数は１より大きく、中間階調レベルに対応する段に対してはオフセットを行わず（すなわち、中間階調レベルの段に対応する階調オフセット係数は１であり、高階調レベルの段に対応する階調オフセット係数は１より小さい）を掛け算すればよく、最終的に、オフセットされた階調データをＦＰＧＡチップの外部に設けられたビデオデコーダーモジュールに出力して表示する。
【００４５】
本発明に係る多段折れ線式の階調オフセット処理は、上述の実施例に限定されるものではなく、前のフレームの画像の階調空間の分割の段数及び各段に対応する折れ線の傾きの大きさは、初期画像とターゲット画像（つまり、処理済みの画像）の表示品質に基づいて適宜に調整することができる。
【００４６】
２）現フレームの画像のデータを統計するイベントにおいて、ＦＰＧＡは、内蔵のＤＰＲＡＭを介して赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信し、現フレームの画像における各階調レベルごとの画素の数を統計し、統計された数値から現フレームの画像の初期画像のヒストグラム分布（以降、初期ヒストグラムという）を取得してから、当該初期画像のヒストグラムにおけるレベルの異なるＡＤ値に対し個別重み累計処理を行う。前記個別重み累計処理は、下記の３つのステップを含む。
【００４７】
（１）例えば、数が総画素数の２％（当該パーセンテージは、表示される画像の品質により適宜に変更可能）を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とする。すなわち、ヒストグラムにおいて、階調値の大きい順で、最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を探し出そうとする最大階調値Ｘｍａｘとする。
【００４８】
（２）例えば、数が総画素数の２％（当該パーセンテージは、表示される画像の品質により適宜に変更可能）を占める、最小階調値を有する画素の中から最大階調値を探し出して全ての画素の最小階調値とする。すなわち、ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の階調値を探し出そうとする最小階調値Ｘｍｉｎとする。
【００４９】
（３）階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮する（画像階調の計量化レベルが８ｂｉｔであるとする）。
【００５０】
２.無効走査処理期間内に、システムは以下の処理を行う。
１）無効走査処理の第１段階において、個別重み累計処理後のヒストグラムの分布曲線に基づいて、重み関数を算出する。
【００５１】
個別重み累計処理完了後、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得することができる。図４Ａ〜図４Ｃを参照すると、図４Ａは、現フレームの画像の初期ヒストグラムであり、図４Ｂは、本発明に係る赤外線サーモグラムのデジタル信号処理方法により算出された重み関数を模式的に示す図であり、図４Ｃは、図４Ｂに示す重み関数を用いて図４Ａ中の初期ヒストグラムに対して重み付け処理を施した後のヒストグラムである。
【００５２】
ここで、前記重み関数ｙ（Ｘ）の算出には、以下のステップを含まれる。
前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、すなわちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定し、
ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピーク値の１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２（Ｘｂｗ１＞Ｘｂｗ２）を、当該メインピークに対する平滑処理のバンド幅として決定し、
所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように取得し、
前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間では、以下の関係式が成り立つ。
ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）
但し、図４Ａに示すように、Ｘｎは初期画像に含まれる階調値、ｈ（Ｘｎ）は同一の階調値を有する画素の数であり、図４Ｂに示すように、Ｘは初期画像中の階調値に対応する階調値，ｙは同一の階調値を有する画素の重み関数値であり、言い換えると、ＸはＸｋ及びＸｎに対応する重み関数の定義域を示し、ｙ（Ｘ）は当該重み関数の値域を示し、図４Ｃに示すように、Ｘｋは重み付け処理後の画像に含まれる階調値である。図面から、ＸｋとＸｎとは基本的に対応付けられており、ｙは同一の階調値を有する画素の数であることがわかる。
【００５３】
実験により明らかになったように、通常、前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内において、赤外線画像の初期ヒストグラムのメインピークが指数分布を示しているため、当該バンド幅範囲内の重み関数ｙ（Ｘ）も必ず指数分布を示すようになる。また、当該バンド幅Ｘｂｗ１−Ｘｂｗ２範囲外において、ｈ（Ｘｋ）がｈ（Ｘｎ）と略等しいため、図４Ｂに示すように、ｙ（Ｘ）は略１である。
【００５４】
２）無効走査処理の第２段階において、重み関数を用いて初期ヒストグラムのデータに対して重み付け処理（注意すべきことは、ここでのヒストグラムに対する重み付け処理と上記の個別重み累計処理とは同様の処理ではない）を行う。ユーザは、いずれのフレームの画像に対して、その具体的なシーン中のターゲット及び出力画像の品質の優劣に基づき、個別重み累計処理のみを行うか、それともさらにヒストグラムに対する重み付け処理を行うかを決めて、端末により制御指令を送信することで、ヒストグラムに対する重み付け処理を選択的に行うようにする。
【００５５】
図４Ｃに示すように、重み付け処理後のヒストグラムはより平滑且つ均等になる。
したがって、ヒストグラムに対する重み付け処理は、主に、初期ヒストグラムのメインピークを平滑にして、重り付け処理後のヒストグラムの分布をより均等にする役割を果たす。
【００５６】
３）無効走査処理の第３段階において、重み付け処理後のヒストグラムデータに対して階調変換処理を行うことにより、ヒストグラムの均等化を実現する。本発明に係る前記ヒストグラムに対する重み付け処理を実行してからヒストグラム均等化を行う方法によれば、重み付け処理を行わずに直接ヒストグラム均等化を行う伝統的な方法により発生されるバックグラウンド・ノイズの深刻程度を改善できる。
【００５７】
４）無効走査処理の最終段階において、均等化されたヒストグラムに対してメジアンフィルタ処理を行う。ヒストグラムに対する重み付け処理により初期ヒストグラムのメインピークがきれいに平滑化することができるが、均等化によりバックグラウンド・ノイズが再び増大される。ヒストグラム均等化処理の欠点の一つは、バックグラウンド・ノイズを増大させることであり、通常、このようなバックグラウンド・ノイズの増大は、なるべく減少させることはできるものの不可避である。均等化処理に先行して重み付け処理を行う理由は、バックグラウンド・ノイズをなるべく抑制するためであるが、バックグラウンド・ノイズの増大は依然として不可避であるため、さらにメジアンフィルタ処理を実行する必要がある。メジアンフィルタ処理は、均等化により発生され得るバックグラウンド・ノイズを除去することができる。
【００５８】
メジアンフィルタは、実際の効果に基づき、例えば４つの画素或いは９つの画素を選び取ってメジアンフィルタ処理をすることができ、ノイズを有効に除去することができるだけでなく、出力画面の更なる均等化を図ることができ、シーンへの適応性を向上される。
【００５９】
メジアンフィルタ処理後のヒストグラムデータをルックアップ・テーブルに格納すると同時に、ＤＰＲＡＭを空にする。
【００６０】
その後、次のフレームの画像があるかどうかを判断し、次のフレームの画像がある場合に、前記処理が施された現フレームの画像を前のフレームの画像とし、次のフレームの画像を現フレームの画像としてから、関連するデータに対して前記有効走査処理から前記無効走査処理までのステップを繰り返して行うようにする。
【００６１】
ここで、ＦＰＧＡチップに備えられた同期／制御モジュールは、当該ＦＰＧＡチップに備えられた画像出力モジュールと画像処理モジュールのそれぞれが信号処理時系列上の異なるタイミングで前記フレームの有効走査処理とフレームの無効走査処理を行うように制御する。さらに、本発明において、実際には、本来の信号処理時系列上に存在する隙間（処理に利用されていない時間帯）を利用して、それぞれフレームの有効走査処理及びフレームの無効走査処理に必要なデータ統計、演算及び変換を行っているため、時間資源及びＦＰＧＡチップ内部のＲＡＭ資源を無駄にすることはない。
【００６２】
いずれのフレームの画像に対して前記フレームの有効走査処理とフレームの無効走査処理を完了した後、赤外線サーモグラフィに設けられたビデオデコーダーモジュールは、画像出力モジュールから出力された多段折れ線式の階調オフセット処理後の当該フレーム（ここでは、現フレームの前のフレームである）の画像の階調データに対してビデオデータのデコード処理を行い、デコード処理後のデータを赤外線サーモグラフィの画像表示モジュールに表示する。
【００６３】
図５Ａ〜図５Ｃのそれぞれには、赤外線サーモグラムの現フレームの初期画像と、当該初期画像に対して伝統的なヒストグラム均等化処理を施した後の画像と、当該初期画像に対して本発明の赤外線サーモグラムのデジタル信号処理方法による処理を施した後の画像の表示効果が実例的に示されている。
【００６４】
図５Ａに示すように、初期画像に対し何らかの処理も施されてない場合、シーン中に高輝度のターゲットが現れると、バックグラウンドは暗くなってしまう。
【００６５】
図５Ｂに示すように、初期画像に対して伝統的なヒストグラム均等化処理を行った場合、表示される画像が有するノイズが大きく、高輝度のターゲットが飽和しやすくなる問題点がある。
【００６６】
図５Ｃに示すように、初期画像に対し本発明の赤外線サーモグラムのデジタル信号処理方法による処理を施した場合、表示される画像は、そのコントラストが強調されているだけでなく、ノイズも抑制されているため、シーンへの適応性が改善され、画像の画質も著しく向上される。
【００６７】
本発明は、従来技術に比べて、全体の流れにおいて以下のような効果及び利点を有する。
【００６８】
本発明と従来技術は、信号処理の全体の流れが類似している。しかし、本発明は、処理の際に、２つの従来技術の利点を取り入れ、本来の信号処理時系列上の隙間を利用して統計、演算及び変換などの処理を追加させることにより、時間資源及びＦＰＧＡチップ内部のRAM資源を無駄にすることがないようになり、ハードウェアシステムをアップデートせずにも、赤外線サーモグラムのシーンへの適応性を大幅に改善することができる。ヒストグラムに対する重み付け処理を取り入れた画像強調方法によれば、画像のバックグラウンドを効果的に抑制することができ、ターゲットを目立つようにすることができる。
【００６９】
本発明の技術的なキーポイントは以下のとおりである。
ａ．異なるレベルのＡＤ値に対し個別重み累計処理を行うことで、明るすぎる画素や暗すぎる画素を除去することにより、画像全体の輝度の安定性を保持し、シーンへの適応性を向上させる。
【００７０】
ｂ．多段折れ線式の階調オフセット処理により、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調オフセットを施すことで、画像全体の輝度の更なる均等化を図り、シーンへの適応性を一層向上させる。
【００７１】
ｃ．ヒストグラムに対する重み付け処理及びメジアンフィルタ処理などを取り入れたヒストグラム強調方法は、画像を効果的に強調することができるだけでなく、バックグラウンド・ノイズを抑えることができ、ターゲットが目立つようにすることができる。
【００７２】
本発明のアルゴリズムは、通常のヒストグラム均等化アルゴリズムの欠点を克服するためになされたものであって、異なるシーンに応じて自己適応的に初期画像を強調し、画像のバックグラウンドを効果的に抑制することができ、ターゲットが目立つようにすることができる。
【００７３】
以上、図面を参照しながら複数の実施例を挙げて本発明を具体的に説明したが、本発明に開示された内容の原理を逸脱しない主旨及び範囲内において、当業者が各種の変更及び他の実施例に想到しえることは言うまでもない。特に、本発明の開示内容、図面及び各請求項の保護範囲内において、コンポーネント及び／または付属品の設置や組合せに対して様々な変更及び改良を行うことが可能である。コンポーネント及び／または付属品に対する変更及び改良以外の、他の選択可能な適用も、当業者にとって自明なものである。
【技術分野】
【０００１】
本発明は、赤外線サーモグラフィの技術分野に関し、特に、赤外線サーモグラムのデジタル信号処理（ＦＰＧＡにより実現）などの技術に関する。
【背景技術】
【０００２】
現在、多くの赤外線サーモグラフィシステムにおいて、赤外線検出器から出力されるアナログ信号は、前置Ａ／Ｄ変換により１４ｂｉｔのデジタル信号に変換されてから、デジタル信号処理モジュールに入力されて８ｂｉｔの階調信号に変換され、さらに、ビデオデコーダーモジュールにより標準テレビ信号に変換されてからモニターに出力される。
【０００３】
デジタル信号処理モジュールは、ハイビット・ハイダイナミックレンジの入力信号を人間の視覚特性に適した２５６階調レベルの階調信号に変換するために、デジタル信号の圧縮／伸張、オーバーフロー／カットオフ処理、及び輝度のオフセット／ゲイン調整などの操作をリアルタイム且つ速やかに行う必要がある。これにより、ハイビット・ハイダイナミックレンジの入力信号を人間の視覚特性に適した画像信号に変換することができる。
【０００４】
従来技術１においては、隣り合うフレームの画像の間で通常連続性を有する特性に基づいて、前のフレームの画像における各画素のＡＤ値（デジタル化エネルギー値、すなわち、取得されたアナログ画像に対してＡ／Ｄ変換を行うことにより得られる１６ビットの信号）の相加平均値を、現フレームの画像の輝度のオフセットの参照とする。
【０００５】
従来技術２はヒストグラムによる統計に基づく画像均等化技術であり、当該従来技術２においては、前のフレームの画像にける階調レベルごとの画素の数を統計することで分布曲線を取得し、出力するときには、画素の数がゼロである階調レベル或いは画素の数の少ない階調レベルを圧縮するとともに、画素の数の多い階調レベルを伸張することにより、画像の強調を実現するようにしている。
なお、本出願人は、本願発明と関連する先行技術文献を検索したが、発見することができなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の２つの従来技術のそれぞれには以下の問題点が存在する。
従来技術１において、シーン中に小面積であって平均値を遥かに上回る明るいターゲットが現れると、ＡＤ値の累積和が大幅に増加して、現フレームの画像の輝度の低下が比較的激しくなるため、他の大面積のターゲットが完全に暗くなる場合もあり、ターゲットの観察に影響を与えてしまう。
【０００７】
従来技術２において、画像が強調されると同時に、バックグラウンド及びノイズも強調されるため、一部の画素の数の少ない「キーポイントになるターゲット」が埋没されたり、ターゲットのエッジ画素まで合併されたりして、画像の細部を失う恐れがある。
【課題を解決するための手段】
【０００８】
本発明は、シーンに大きい変化が発生する場合、赤外線サーモグラフィの適応性の不良により、ターゲットの観察に影響を与えてしまう問題を解決するためになされたものである。
【０００９】
具体的に、本発明は、従来技術１と従来技術２との存在する問題点を解消するために、従来技術１と従来技術２の両者の利点を同時に有し、シーンへの良好な適応性を有する赤外線サーモグラムのデジタル信号処理システム及び方法を提供する。本発明によれば、前のフレームの画像のレベルの異なるＡＤ値に対して個別重み累計処理を行うことにより、画像全体の輝度が、部分的に明るすぎるターゲットや暗すぎるターゲットの影響を受けないように確保することができるとともに、同時に、ヒストグラム統計技術を使用して、線形範囲を超えた明るいターゲットや暗いターゲットの階調値をオフセットさせ、線形範囲内まで圧縮することにより、明るいターゲットや暗いターゲットの細部を確保することができる。
【００１０】
以上の目的を達成するために、本発明は、赤外線サーモグラフィに搭載され、赤外線サーモグラフィにより撮影されたマルチフレームの赤外線サーモグラムのデジタル信号に対し処理を行うＦＰＧＡチップ、を含む赤外線サーモグラムのデジタル信号処理システムを提供する。ここで、前記ＦＰＧＡチップは、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、前記画像処理モジュールと接続され、フレームの有効走査期間において、前記画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールとを含む。
【００１１】
本発明の実施例において、前記画像処理モジュールが前記初期ヒストグラムのデータに対して行う個別重み累計処理は、数が総画素数の２％を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最大階調値Ｘｍａｘとするステップと、数が総画素数の２％を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最小階調値Ｘｍｉｎとするステップと、階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮するステップとを含む。
【００１２】
本発明の実施例において、前記無効走査期間において、前記画像処理モジュールは、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、前記重み関数ｙ（Ｘ）の算出には、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、即ちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定するステップと、ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピーク値の１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように、取得するステップと、前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間で成り立つ関係式ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）（但し、Ｘｎは初期画像の１画素の階調値、ｈ（Ｘｎ）は当該階調値に対応する画素の数であり、Ｘｋはターゲットのヒストグラムにおける１画素の階調値、ｈ（Ｘｋ）は当該階調値に対応する画素の数であり、Ｘは重み関数ｙ（Ｘ）の、Ｘｋに対応する定義域、ｙ（Ｘ）は当該重み関数の値域を示す）により、重み関数ｙ（Ｘ）を算出するステップとを含む。
【００１３】
本発明の実施例において、前記画像出力モジュールにより行われる多段折れ線式の階調オフセット処理は、前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップとを含む。
【００１４】
本発明の実施例において、前記ＦＰＧＡチップは、さらに、信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行うように、前記画像処理モジュールと前記画像出力モジュールを制御するための同期／制御モジュールを含む。
【００１５】
本発明の実施例において、前記ＦＰＧＡチップは、さらに、前記画像処理モジュールと接続され、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計するためのＤＰＲＡＭを含む。
【００１６】
本発明の実施例において、無効走査期間において、前記画像処理モジュールは、前記現フレームの画像の初期ヒストグラムのデータに対する上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する。
【００１７】
本発明の実施例において、無効走査期間において、前記画像処理モジュールは、階調変換処理を完了した後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する。
【００１８】
本発明の実施例において、前記画像出力モジュールは、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを前記赤外線サーモグラフィに設けられたビデオデコーダーモジュールに出力してビデオデータのデコード処理を行い、表示のために、デコード処理後のビデオデータを前記赤外線サーモグラフィに設けられた画像表示モジュールに出力する。
【００１９】
上述の目的を達成するために、本発明は赤外線サーモグラムのデジタル信号処理方法を提供する。当該赤外線サーモグラムのデジタル信号処理方法は、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送するステップと、フレームの有効走査期間において、受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力するステップとを含む。
【００２０】
本発明の実施例において、前記初期ヒストグラムのデータに対して行われる個別重み累計処理は、数が総画素数の２％を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最大階調値Ｘｍａｘとするステップと、数が総画素数の２％を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最小階調値Ｘｍｉｎとするステップと、階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮するステップとを含む。
【００２１】
本発明の実施例において、無効走査期間において、個別重み累計処理完了後、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、前記重み関数ｙ（Ｘ）の算出には、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、即ちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定するステップと、ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピーク値の１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように、取得するステップと、前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間で成り立つ関係式ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）（但し、Ｘｎは初期画像の１画素の階調値、ｈ（Ｘｎ）は当該階調値に対応する画素の数であり、Ｘｋはターゲットのヒストグラムにおける１画素の階調値、ｈ（Ｘｋ）は当該階調値に対応する画素の数であり、Ｘは重み関数ｙ（Ｘ）の、Ｘｋに対応する定義域、ｙ（Ｘ）は当該重み関数の値域を示す）により、重み関数ｙ（Ｘ）を算出するステップとを含む。
【００２２】
本発明の実施例において、前記多段折れ線式の階調オフセット処理は、前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップとを含む。
【００２３】
本発明の実施例において、信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行う。
【００２４】
本発明の実施例において、赤外線サーモグラムのデジタル信号処理方法は、さらに、無効走査期間において、前記個別重み累計処理を行う前に、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計し、統計された数値に基づき現フレームの画像の初期ヒストグラムの分布曲線を取得するステップを含む。
【００２５】
本発明の実施例において、無効走査期間において、上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する。
【００２６】
本発明の実施例において、無効走査期間において、重み付け処理後のヒストグラムに対する階調変換処理が完了後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する。
【００２７】
本発明の実施例において、赤外線サーモグラムのデジタル信号処理方法は、さらに、出力された多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データに対して、表示のためにビデオデータのデコード処理を行うステップを含む。
【００２８】
本発明によれば、画像のコントラストを強調することができるとともに、Ｓ／Ｎ比（信号対雑音比）を有効に向上させることができるため、ターゲット画像の細部が一層明瞭になり、異なるシーンへの適応性を向上させることができる。
【００２９】
具体的に、本発明は以下の利点を有する。
１.コントラストの低い赤外線画像において、当該赤外線画像のヒストグラム分布が集中し、通常、メインピークと対応る階調レベルは画像のバックグラウンドに該当する。特に、ターゲットが小さい場合、このような分布がより著しくなる。重み付け処理は、当該メインピークを平滑化することができ、その後のヒストグラム均等化処理に余裕を持たせることが可能である。
【００３０】
２.メジアンフィルタ処理は、ヒストグラム均等化処理により発生されたバックグラウンド・ノイズを効果的に除去することが可能である。
【００３１】
３.画像全体の輝度を適切且つ安定的なレベルに保持することができ、シーンへの適応性を向上させることが可能である。
【００３２】
４.明るすぎるターゲットの階調値に対して多段折れ線式のオフセット処理を施すことで、画像の一部分のみの飽和を避けることが可能である。
【図面の簡単な説明】
【００３３】
【図１】図１は、本発明の実施例に係る赤外線サーモグラムのデジタル信号処理システムの原理を示すブロック図である。
【図２】図２は、本発明の実施例に係る赤外線サーモグラムのデジタル信号処理方法のフローチャートである。
【図３】図３は、画像出力モジュールが前のフレームの画像に対して行う３段折れ線式の階調オフセット方法を模式的に示す図である。
【図４Ａ】図４Ａは、現フレームの画像の初期ヒストグラムである。
【図４Ｂ】図４Ｂは、本発明に係る赤外線サーモグラムのデジタル信号処理方法により算出された重み関数を模式的に示す図である。
【図４Ｃ】図４Ｃは、図４Ｂに示す重み関数を用いて図４Ａ中の初期ヒストグラムに対して重み付け処理を施した後のヒストグラムである。
【図５Ａ】図５Ａは、表示された現フレームの赤外線サーモグラムの初期画像を模式的に示す図である。
【図５Ｂ】図５Ｂは、図５Ａ中の初期画像に対し伝統的なヒストグラム均等化処理を施した後の画像を模式的に示す図である。
【図５Ｃ】図５Ｃは、図５Ａ中の初期画像に対し本発明の赤外線サーモグラムのデジタル信号処理方法による処理を施した後の画像を模式的に示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明に係る実施例の目的、技術案及びその利点をより一層明確にするために、図面を参照しながら、本発明に係る実施例についてさらに詳しく説明する。ここで、本発明を模式的に示す実施例及びその説明は、本発明を解釈するためのものであって、本発明に対する限定と見なしてはいけない。
【００３５】
前のフレームの画像における各画素のＡＤ値の相加平均値を現フレームの画像の輝度オフセットの参照とする方法、及びヒストグラム均等化は、画像処理中の一般的な手法であり、特に、ヒストグラム均等化は、今のところ、画像強調のために用いられる最も重要な手段の１つである。均等化は、その効果が特に可視光領域の画像に対して著しいが、赤外線画像それ自体の特徴（バックグラウンドにより占められる階調レベルが大きく、ターゲットの階調レベルが小さい）により、予備処理なしに均等化を施してしまうと、バックグラウンド・ノイズも増幅されてしまう確率が高く、さらに、均等化後に伸張されるのは画像のバックグラウンドであり、ターゲットが埋没されてしまう可能性まである。本発明のコアになる内容として、均等化に先行してヒストグラム重み付け処理を行うことにより、バックグラウンド・ノイズを抑制し、さらに、メジアンフィルタリングによりS/N（信号対雑音）比を一層向上させている。
【００３６】
本発明の１つの実施例において、図１に示すように、本発明の赤外線サーモグラムのデジタル信号処理システムは、赤外線サーモグラフィに搭載され、赤外線サーモグラフィにより撮影されたマルチフレームの赤外線サーモグラムのデジタル信号に対して処理を行うためのＦＰＧＡチップを含んで構成されても良い。当該ＦＰＧＡチップは、フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、前記画像処理モジュールと接続され、フレームの有効走査期間において、前記画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールと、信号処理時系列上の異なるタイミングでそれぞれ前記個別重み累計処理と多段折れ線式の階調オフセット処理を行うように前記画像処理モジュールと前記画像出力モジュールを制御するための同期／制御モジュールと、前記画像処理モジュールと接続され、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計するためのＤＰＲＡＭ（Ｄｕａｌ Ｐｏｒｔ ＲＡＭ）とを含む。
【００３７】
画像出力モジュールは、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを、前記赤外線サーモグラフィに設けられたビデオデコーダーモジュールに出力してビデオデータのデコード処理を行い、デコードされたビデオデータを前記赤外線サーモグラフィに設けられた画像表示モジュールに伝送して表示する。
【００３８】
図２は、本実施例に係る赤外線サーモグラムのデジタル信号処理方法のフローチャートである。
【００３９】
図２に示すように、本発明の１つの実施例によれば、本発明の赤外線サーモグラムのデジタル信号処理方法は、主に、フレームの有効走査処理とフレームの無効走査処理の２つの処理ステップを含む。
【００４０】
フレームの無効走査処理において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査ステップで処理された前のフレームの画像の階調データを前記画像出力モジュールに伝送し、
フレームの有効走査処理において、受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する。
【００４１】
具体的に、有効走査処理と無効走査処理は、通常以下の内容を含む。
１.フレームの有効走査処理の期間において、システムは、前のフレームの画像の階調データを出力して表示するイベントと、現フレームの画像の階調データを統計するイベントとを同時に実行する。
【００４２】
１）前のフレームの画像のデータを出力するイベントにおいて、現フレームの画像の初期ＡＤ値をベースアドレスとして、ルックアップ・テーブル中から統計及び処理済みの前のフレームの画像のデータ（階調の写像値、すなわち、前のフレームの画像に対し有効走査処理及び無効走査処理を行った後、最終的にルックアップ・テーブル中に格納されたメジアンフィルタ処理後のヒストグラムデータ）を探し出してＦＰＧＡ内部の画像出力モジュールに出力し，当該画像出力モジュールにより多段折れ線式の階調オフセット処理を行うことにより、画像の暗すぎ及び明るすぎを防ぐことができる。
【００４３】
多段折れ線式の階調オフセット処理は、前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段(セグメント)に分割するステップと、各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップを含む。
【００４４】
例えば、本発明の１つの実施例として、図３には画像出力モジュールが前のフレームの画像に対して行う３段折れ線式の階調オフセット方法が示されている。ここで、ｘ軸は、前のフレームの画像の全ての画素の階調値の階調空間を示し、ｙ軸は、階調オフセット処理後の階調値を示す。階調オフセット処理を行うとき、前のフレームの画像の階調空間を例え三つの段に分割し、各段ごとに該当する傾き（当該傾きは階調オフセット係数を示す。通常、低階調レベルの段に対応する階調オフセット係数は１より大きく、中間階調レベルに対応する段に対してはオフセットを行わず（すなわち、中間階調レベルの段に対応する階調オフセット係数は１であり、高階調レベルの段に対応する階調オフセット係数は１より小さい）を掛け算すればよく、最終的に、オフセットされた階調データをＦＰＧＡチップの外部に設けられたビデオデコーダーモジュールに出力して表示する。
【００４５】
本発明に係る多段折れ線式の階調オフセット処理は、上述の実施例に限定されるものではなく、前のフレームの画像の階調空間の分割の段数及び各段に対応する折れ線の傾きの大きさは、初期画像とターゲット画像（つまり、処理済みの画像）の表示品質に基づいて適宜に調整することができる。
【００４６】
２）現フレームの画像のデータを統計するイベントにおいて、ＦＰＧＡは、内蔵のＤＰＲＡＭを介して赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信し、現フレームの画像における各階調レベルごとの画素の数を統計し、統計された数値から現フレームの画像の初期画像のヒストグラム分布（以降、初期ヒストグラムという）を取得してから、当該初期画像のヒストグラムにおけるレベルの異なるＡＤ値に対し個別重み累計処理を行う。前記個別重み累計処理は、下記の３つのステップを含む。
【００４７】
（１）例えば、数が総画素数の２％（当該パーセンテージは、表示される画像の品質により適宜に変更可能）を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とする。すなわち、ヒストグラムにおいて、階調値の大きい順で、最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を探し出そうとする最大階調値Ｘｍａｘとする。
【００４８】
（２）例えば、数が総画素数の２％（当該パーセンテージは、表示される画像の品質により適宜に変更可能）を占める、最小階調値を有する画素の中から最大階調値を探し出して全ての画素の最小階調値とする。すなわち、ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の階調値を探し出そうとする最小階調値Ｘｍｉｎとする。
【００４９】
（３）階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮する（画像階調の計量化レベルが８ｂｉｔであるとする）。
【００５０】
２.無効走査処理期間内に、システムは以下の処理を行う。
１）無効走査処理の第１段階において、個別重み累計処理後のヒストグラムの分布曲線に基づいて、重み関数を算出する。
【００５１】
個別重み累計処理完了後、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得することができる。図４Ａ〜図４Ｃを参照すると、図４Ａは、現フレームの画像の初期ヒストグラムであり、図４Ｂは、本発明に係る赤外線サーモグラムのデジタル信号処理方法により算出された重み関数を模式的に示す図であり、図４Ｃは、図４Ｂに示す重み関数を用いて図４Ａ中の初期ヒストグラムに対して重み付け処理を施した後のヒストグラムである。
【００５２】
ここで、前記重み関数ｙ（Ｘ）の算出には、以下のステップを含まれる。
前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、すなわちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定し、
ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピーク値の１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２（Ｘｂｗ１＞Ｘｂｗ２）を、当該メインピークに対する平滑処理のバンド幅として決定し、
所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように取得し、
前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間では、以下の関係式が成り立つ。
ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）
但し、図４Ａに示すように、Ｘｎは初期画像に含まれる階調値、ｈ（Ｘｎ）は同一の階調値を有する画素の数であり、図４Ｂに示すように、Ｘは初期画像中の階調値に対応する階調値，ｙは同一の階調値を有する画素の重み関数値であり、言い換えると、ＸはＸｋ及びＸｎに対応する重み関数の定義域を示し、ｙ（Ｘ）は当該重み関数の値域を示し、図４Ｃに示すように、Ｘｋは重み付け処理後の画像に含まれる階調値である。図面から、ＸｋとＸｎとは基本的に対応付けられており、ｙは同一の階調値を有する画素の数であることがわかる。
【００５３】
実験により明らかになったように、通常、前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内において、赤外線画像の初期ヒストグラムのメインピークが指数分布を示しているため、当該バンド幅範囲内の重み関数ｙ（Ｘ）も必ず指数分布を示すようになる。また、当該バンド幅Ｘｂｗ１−Ｘｂｗ２範囲外において、ｈ（Ｘｋ）がｈ（Ｘｎ）と略等しいため、図４Ｂに示すように、ｙ（Ｘ）は略１である。
【００５４】
２）無効走査処理の第２段階において、重み関数を用いて初期ヒストグラムのデータに対して重み付け処理（注意すべきことは、ここでのヒストグラムに対する重み付け処理と上記の個別重み累計処理とは同様の処理ではない）を行う。ユーザは、いずれのフレームの画像に対して、その具体的なシーン中のターゲット及び出力画像の品質の優劣に基づき、個別重み累計処理のみを行うか、それともさらにヒストグラムに対する重み付け処理を行うかを決めて、端末により制御指令を送信することで、ヒストグラムに対する重み付け処理を選択的に行うようにする。
【００５５】
図４Ｃに示すように、重み付け処理後のヒストグラムはより平滑且つ均等になる。
したがって、ヒストグラムに対する重み付け処理は、主に、初期ヒストグラムのメインピークを平滑にして、重り付け処理後のヒストグラムの分布をより均等にする役割を果たす。
【００５６】
３）無効走査処理の第３段階において、重み付け処理後のヒストグラムデータに対して階調変換処理を行うことにより、ヒストグラムの均等化を実現する。本発明に係る前記ヒストグラムに対する重み付け処理を実行してからヒストグラム均等化を行う方法によれば、重み付け処理を行わずに直接ヒストグラム均等化を行う伝統的な方法により発生されるバックグラウンド・ノイズの深刻程度を改善できる。
【００５７】
４）無効走査処理の最終段階において、均等化されたヒストグラムに対してメジアンフィルタ処理を行う。ヒストグラムに対する重み付け処理により初期ヒストグラムのメインピークがきれいに平滑化することができるが、均等化によりバックグラウンド・ノイズが再び増大される。ヒストグラム均等化処理の欠点の一つは、バックグラウンド・ノイズを増大させることであり、通常、このようなバックグラウンド・ノイズの増大は、なるべく減少させることはできるものの不可避である。均等化処理に先行して重み付け処理を行う理由は、バックグラウンド・ノイズをなるべく抑制するためであるが、バックグラウンド・ノイズの増大は依然として不可避であるため、さらにメジアンフィルタ処理を実行する必要がある。メジアンフィルタ処理は、均等化により発生され得るバックグラウンド・ノイズを除去することができる。
【００５８】
メジアンフィルタは、実際の効果に基づき、例えば４つの画素或いは９つの画素を選び取ってメジアンフィルタ処理をすることができ、ノイズを有効に除去することができるだけでなく、出力画面の更なる均等化を図ることができ、シーンへの適応性を向上される。
【００５９】
メジアンフィルタ処理後のヒストグラムデータをルックアップ・テーブルに格納すると同時に、ＤＰＲＡＭを空にする。
【００６０】
その後、次のフレームの画像があるかどうかを判断し、次のフレームの画像がある場合に、前記処理が施された現フレームの画像を前のフレームの画像とし、次のフレームの画像を現フレームの画像としてから、関連するデータに対して前記有効走査処理から前記無効走査処理までのステップを繰り返して行うようにする。
【００６１】
ここで、ＦＰＧＡチップに備えられた同期／制御モジュールは、当該ＦＰＧＡチップに備えられた画像出力モジュールと画像処理モジュールのそれぞれが信号処理時系列上の異なるタイミングで前記フレームの有効走査処理とフレームの無効走査処理を行うように制御する。さらに、本発明において、実際には、本来の信号処理時系列上に存在する隙間（処理に利用されていない時間帯）を利用して、それぞれフレームの有効走査処理及びフレームの無効走査処理に必要なデータ統計、演算及び変換を行っているため、時間資源及びＦＰＧＡチップ内部のＲＡＭ資源を無駄にすることはない。
【００６２】
いずれのフレームの画像に対して前記フレームの有効走査処理とフレームの無効走査処理を完了した後、赤外線サーモグラフィに設けられたビデオデコーダーモジュールは、画像出力モジュールから出力された多段折れ線式の階調オフセット処理後の当該フレーム（ここでは、現フレームの前のフレームである）の画像の階調データに対してビデオデータのデコード処理を行い、デコード処理後のデータを赤外線サーモグラフィの画像表示モジュールに表示する。
【００６３】
図５Ａ〜図５Ｃのそれぞれには、赤外線サーモグラムの現フレームの初期画像と、当該初期画像に対して伝統的なヒストグラム均等化処理を施した後の画像と、当該初期画像に対して本発明の赤外線サーモグラムのデジタル信号処理方法による処理を施した後の画像の表示効果が実例的に示されている。
【００６４】
図５Ａに示すように、初期画像に対し何らかの処理も施されてない場合、シーン中に高輝度のターゲットが現れると、バックグラウンドは暗くなってしまう。
【００６５】
図５Ｂに示すように、初期画像に対して伝統的なヒストグラム均等化処理を行った場合、表示される画像が有するノイズが大きく、高輝度のターゲットが飽和しやすくなる問題点がある。
【００６６】
図５Ｃに示すように、初期画像に対し本発明の赤外線サーモグラムのデジタル信号処理方法による処理を施した場合、表示される画像は、そのコントラストが強調されているだけでなく、ノイズも抑制されているため、シーンへの適応性が改善され、画像の画質も著しく向上される。
【００６７】
本発明は、従来技術に比べて、全体の流れにおいて以下のような効果及び利点を有する。
【００６８】
本発明と従来技術は、信号処理の全体の流れが類似している。しかし、本発明は、処理の際に、２つの従来技術の利点を取り入れ、本来の信号処理時系列上の隙間を利用して統計、演算及び変換などの処理を追加させることにより、時間資源及びＦＰＧＡチップ内部のRAM資源を無駄にすることがないようになり、ハードウェアシステムをアップデートせずにも、赤外線サーモグラムのシーンへの適応性を大幅に改善することができる。ヒストグラムに対する重み付け処理を取り入れた画像強調方法によれば、画像のバックグラウンドを効果的に抑制することができ、ターゲットを目立つようにすることができる。
【００６９】
本発明の技術的なキーポイントは以下のとおりである。
ａ．異なるレベルのＡＤ値に対し個別重み累計処理を行うことで、明るすぎる画素や暗すぎる画素を除去することにより、画像全体の輝度の安定性を保持し、シーンへの適応性を向上させる。
【００７０】
ｂ．多段折れ線式の階調オフセット処理により、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調オフセットを施すことで、画像全体の輝度の更なる均等化を図り、シーンへの適応性を一層向上させる。
【００７１】
ｃ．ヒストグラムに対する重み付け処理及びメジアンフィルタ処理などを取り入れたヒストグラム強調方法は、画像を効果的に強調することができるだけでなく、バックグラウンド・ノイズを抑えることができ、ターゲットが目立つようにすることができる。
【００７２】
本発明のアルゴリズムは、通常のヒストグラム均等化アルゴリズムの欠点を克服するためになされたものであって、異なるシーンに応じて自己適応的に初期画像を強調し、画像のバックグラウンドを効果的に抑制することができ、ターゲットが目立つようにすることができる。
【００７３】
以上、図面を参照しながら複数の実施例を挙げて本発明を具体的に説明したが、本発明に開示された内容の原理を逸脱しない主旨及び範囲内において、当業者が各種の変更及び他の実施例に想到しえることは言うまでもない。特に、本発明の開示内容、図面及び各請求項の保護範囲内において、コンポーネント及び／または付属品の設置や組合せに対して様々な変更及び改良を行うことが可能である。コンポーネント及び／または付属品に対する変更及び改良以外の、他の選択可能な適用も、当業者にとって自明なものである。
【特許請求の範囲】
【請求項１】
赤外線サーモグラフィに搭載され、赤外線サーモグラフィにより撮影されたマルチフレームの赤外線サーモグラムのデジタル信号に対し処理を行うＦＰＧＡチップ、を含む赤外線サーモグラムのデジタル信号処理システムであって、
前記ＦＰＧＡチップは、
フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、
前記画像処理モジュールと接続され、フレームの有効走査期間において、前記画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールと、
を含む、赤外線サーモグラムのデジタル信号処理システム。
【請求項２】
前記画像処理モジュールが前記初期ヒストグラムのデータに対して行う個別重み累計処理は、
数が総画素数の２％を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最大階調値Ｘｍａｘとするステップと、
数が総画素数の２％を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最小階調値Ｘｍｉｎとするステップと、
階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮するステップと、
を含む、請求項１に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項３】
前記無効走査期間において、前記画像処理モジュールは、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、
前記重み関数ｙ（Ｘ）の算出には、
前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、即ちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定するステップと、
ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピークの１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、
所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように、取得するステップと、
前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間で成り立つ関係式
ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）
（但し、Ｘｎは初期画像の１画素の階調値、ｈ（Ｘｎ）は当該階調値に対応する画素の数であり、Ｘｋはターゲットのヒストグラムにおける１画素の階調値、ｈ（Ｘｋ）は当該階調値に対応する画素の数であり、Ｘは重み関数ｙ（Ｘ）の、Ｘｋに対応する定義域、ｙ（Ｘ）は当該重み関数の値域を示す）により、重み関数ｙ（Ｘ）を算出するステップと、
を含む、請求項２に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項４】
前記画像出力モジュールにより行われる多段折れ線式の階調オフセット処理は、
前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、
各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップと、
を含む、請求項１に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項５】
前記ＦＰＧＡチップは、さらに、信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行うように、前記画像処理モジュールと前記画像出力モジュールを制御するための同期／制御モジュールを含む、請求項１〜４の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項６】
前記ＦＰＧＡチップは、さらに、前記画像処理モジュールと接続され、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計するためのＤＰＲＡＭを含む、請求項５に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項７】
無効走査期間において、前記画像処理モジュールは、前記現フレームの画像の初期ヒストグラムのデータに対する上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する、請求項１〜４の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項８】
無効走査期間において、前記画像処理モジュールは、階調変換処理を完了した後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する、請求項７に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項９】
前記画像出力モジュールは、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを前記赤外線サーモグラフィに設けられたビデオデコーダーモジュールに出力してビデオデータのデコード処理を行い、表示のために、デコード処理後のビデオデータを前記赤外線サーモグラフィに設けられた画像表示モジュールに出力する、請求項１〜４の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項１０】
赤外線サーモグラムのデジタル信号処理方法であって、
フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送するステップと、
フレームの有効走査期間において、受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力するステップと、
を含む、赤外線サーモグラムのデジタル信号処理方法。
【請求項１１】
前記初期ヒストグラムのデータに対して行われる個別重み累計処理は、
数が総画素数の２％を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最大階調値Ｘｍａｘとするステップと、
数が総画素数の２％を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最小階調値Ｘｍｉｎとするステップと、
階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮するステップと、
を含む、請求項１０に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１２】
無効走査期間において、個別重み累計処理完了後、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、
前記重み関数ｙ（Ｘ）の算出には、
前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、即ちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定するステップと、
ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピークの１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、
所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように、取得するステップと、
前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間で成り立つ関係式
ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）
（但し、Ｘｎは初期画像の１画素の階調値、ｈ（Ｘｎ）は当該階調値に対応する画素の数であり、Ｘｋはターゲットのヒストグラムにおける１画素の階調値、ｈ（Ｘｋ）は当該階調値に対応する画素の数であり、Ｘは重み関数ｙ（Ｘ）の、Ｘｋに対応する定義域、ｙ（Ｘ）は当該重み関数の値域を示す）により、重み関数ｙ（Ｘ）を算出するステップと、
を含む、請求項１１に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１３】
前記多段折れ線式の階調オフセット処理は、
前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、
各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップと、
を含む、請求項１０に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１４】
信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行う、請求項１０〜１３の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１５】
さらに、
無効走査期間において、前記個別重み累計処理を行う前に、赤外線サーモグラフィからのマルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計し、統計された数値に基づき現フレームの画像の初期ヒストグラムの分布曲線を取得するステップを含む、請求項１４に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１６】
無効走査期間において、上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する、請求項１０〜１３の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１７】
無効走査期間において、重み付け処理後のヒストグラムに対する階調変換処理が完了後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する、請求項１６に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１８】
さらに、
出力された多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データに対して、表示のためにビデオデータのデコード処理を行うステップを含む、請求項１０〜１３の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１】
赤外線サーモグラフィに搭載され、赤外線サーモグラフィにより撮影されたマルチフレームの赤外線サーモグラムのデジタル信号に対し処理を行うＦＰＧＡチップ、を含む赤外線サーモグラムのデジタル信号処理システムであって、
前記ＦＰＧＡチップは、
フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送する画像処理モジュールと、
前記画像処理モジュールと接続され、フレームの有効走査期間において、前記画像処理モジュールから受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力する画像出力モジュールと、
を含む、赤外線サーモグラムのデジタル信号処理システム。
【請求項２】
前記画像処理モジュールが前記初期ヒストグラムのデータに対して行う個別重み累計処理は、
数が総画素数の２％を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最大階調値Ｘｍａｘとするステップと、
数が総画素数の２％を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最小階調値Ｘｍｉｎとするステップと、
階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮するステップと、
を含む、請求項１に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項３】
前記無効走査期間において、前記画像処理モジュールは、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、
前記重み関数ｙ（Ｘ）の算出には、
前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、即ちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定するステップと、
ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピークの１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、
所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように、取得するステップと、
前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間で成り立つ関係式
ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）
（但し、Ｘｎは初期画像の１画素の階調値、ｈ（Ｘｎ）は当該階調値に対応する画素の数であり、Ｘｋはターゲットのヒストグラムにおける１画素の階調値、ｈ（Ｘｋ）は当該階調値に対応する画素の数であり、Ｘは重み関数ｙ（Ｘ）の、Ｘｋに対応する定義域、ｙ（Ｘ）は当該重み関数の値域を示す）により、重み関数ｙ（Ｘ）を算出するステップと、
を含む、請求項２に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項４】
前記画像出力モジュールにより行われる多段折れ線式の階調オフセット処理は、
前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、
各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップと、
を含む、請求項１に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項５】
前記ＦＰＧＡチップは、さらに、信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行うように、前記画像処理モジュールと前記画像出力モジュールを制御するための同期／制御モジュールを含む、請求項１〜４の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項６】
前記ＦＰＧＡチップは、さらに、前記画像処理モジュールと接続され、赤外線サーモグラフィからの前記マルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計するためのＤＰＲＡＭを含む、請求項５に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項７】
無効走査期間において、前記画像処理モジュールは、前記現フレームの画像の初期ヒストグラムのデータに対する上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する、請求項１〜４の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項８】
無効走査期間において、前記画像処理モジュールは、階調変換処理を完了した後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する、請求項７に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項９】
前記画像出力モジュールは、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを前記赤外線サーモグラフィに設けられたビデオデコーダーモジュールに出力してビデオデータのデコード処理を行い、表示のために、デコード処理後のビデオデータを前記赤外線サーモグラフィに設けられた画像表示モジュールに出力する、請求項１〜４の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理システム。
【請求項１０】
赤外線サーモグラムのデジタル信号処理方法であって、
フレームの無効走査期間において、現フレームの画像の初期ヒストグラムの曲線分布を示す初期ヒストグラムのデータに対して個別重み累計処理を行うことにより、明るすぎる画素や暗すぎる画素を除去するとともに、前回の無効走査期間において処理された前のフレームの画像の階調データを伝送するステップと、
フレームの有効走査期間において、受信した前のフレームの画像の階調データに対して多段折れ線式の階調オフセット処理を行うことにより、輝度が明るすぎる階調データや暗すぎる階調データに対して程度の異なる階調のオフセットを施すとともに、多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データを出力するステップと、
を含む、赤外線サーモグラムのデジタル信号処理方法。
【請求項１１】
前記初期ヒストグラムのデータに対して行われる個別重み累計処理は、
数が総画素数の２％を占める、最大階調値を有する画素中から最小階調値を探し出して全ての画素の最大階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の大きい順で最大階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最大階調値Ｘｍａｘとするステップと、
数が総画素数の２％を占める、最小階調値を有する画素中から最大階調値を探し出して全ての画素の最小階調値とするステップ、すなわち、前記初期ヒストグラムにおいて、階調値の小さい順で最小階調値を有する画素から画素の数を累計し、累計した画素の数が総画素数の２％を占める時点の画素の階調値を最小階調値Ｘｍｉｎとするステップと、
階調値がＸｍａｘより大きい全ての画素の階調値を２５５に圧縮し、階調値がＸｍｉｎより小さい全ての画素の階調値を０に圧縮するステップと、
を含む、請求項１０に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１２】
無効走査期間において、個別重み累計処理完了後、重み関数ｙ（Ｘ）を算出することで、個別重み累計処理後のヒストグラムデータに対して重み付け処理を行うことにより、前記初期ヒストグラムのメインピークを平滑して、より均等なターゲットのヒストグラムの分布曲線を取得し、
前記重み関数ｙ（Ｘ）の算出には、
前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）のメインピークの最大値ｈ（Ｘ０）、即ちｈ（Ｘ０）＝ＭＡＸ［ｈ（Ｘｎ）］を決定するステップと、
ｈ（Ｘｎ）の振幅が前記メインピークから減少して当該メインピークの１／√２になる時点の階調値同士の差であるＸｂｗ１−Ｘｂｗ２を、当該メインピークに対する平滑処理のバンド幅として決定するステップと、
所望の平滑処理効果に基づき、当該ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）を、ｈ（Ｘｋ）の前記バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲内にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と類似する曲線波形を有し、かつ、ｈ（Ｘｋ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分が、前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）の当該バンド幅Ｘｂｗ１−Ｘｂｗ２の範囲外にある部分と略等しくなるように、取得するステップと、
前記重み関数ｙ（Ｘ）及び前記初期ヒストグラムの分布曲線の関数ｈ（Ｘｎ）と前記ターゲットのヒストグラムの分布曲線の関数ｈ（Ｘｋ）との間で成り立つ関係式
ｈ（Ｘｋ）＝ｈ（Ｘｎ）＊ｙ（Ｘ）
（但し、Ｘｎは初期画像の１画素の階調値、ｈ（Ｘｎ）は当該階調値に対応する画素の数であり、Ｘｋはターゲットのヒストグラムにおける１画素の階調値、ｈ（Ｘｋ）は当該階調値に対応する画素の数であり、Ｘは重み関数ｙ（Ｘ）の、Ｘｋに対応する定義域、ｙ（Ｘ）は当該重み関数の値域を示す）により、重み関数ｙ（Ｘ）を算出するステップと、
を含む、請求項１１に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１３】
前記多段折れ線式の階調オフセット処理は、
前記前のフレームの画像の画素の階調値の階調空間を、異なる階調オフセット係数を示す複数の傾きのそれぞれとそれぞれ対応付けられる複数の段に分割するステップと、
各段中の各画素の階調値に、それぞれ当該段と対応付けられた傾きを掛け算して得た値を、多段折れ線式の階調オフセット処理後の当該画素の階調値とするステップと、
を含む、請求項１０に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１４】
信号処理時系列上の異なるタイミングでそれぞれ前記フレームの有効走査期間中の処理とフレームの無効走査期間中の処理を行う、請求項１０〜１３の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１５】
さらに、
無効走査期間において、前記個別重み累計処理を行う前に、赤外線サーモグラフィからのマルチフレームの赤外線サーモグラムのデジタル信号を受信するとともに、前記現フレームの画像における各階調レベルごとの画素の数を統計し、統計された数値に基づき現フレームの画像の初期ヒストグラムの分布曲線を取得するステップを含む、請求項１４に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１６】
無効走査期間において、上記の処理が完了後、さらに、処理後のヒストグラムデータに対して階調変換処理を行うことにより、均等化されたヒストグラムを取得する、請求項１０〜１３の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１７】
無効走査期間において、重み付け処理後のヒストグラムに対する階調変換処理が完了後、さらに、均等化されたヒストグラムデータに対してメジアンフィルタ処理を行うことにより、前記均等化により発生されたバックグラウンド・ノイズを除去する、請求項１６に記載の赤外線サーモグラムのデジタル信号処理方法。
【請求項１８】
さらに、
出力された多段折れ線式の階調オフセット処理後の前のフレームの画像の階調データに対して、表示のためにビデオデータのデコード処理を行うステップを含む、請求項１０〜１３の何れかの１項に記載の赤外線サーモグラムのデジタル信号処理方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【公開番号】特開２０１３−９３８４９（Ｐ２０１３−９３８４９Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１２−２３４０８８（Ｐ２０１２−２３４０８８）
【出願日】平成２４年１０月２３日（２０１２．１０．２３）
【出願人】（５０７０２４００２）廣州颯特紅外股▲ふん▼有限公司 (4)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２４年１０月２３日（２０１２．１０．２３）
【出願人】（５０７０２４００２）廣州颯特紅外股▲ふん▼有限公司 (4)
【Ｆターム（参考）】
[ Back to top ]