説明

画像目標検出装置および画像目標検出方法

【課題】画素面積が小さく輝度値が低い微小目標と、画素面積が大きく輝度値が高い目標のいずれも安定して検出する。
【解決手段】目標検出回路(30)は、周囲領域の輝度値のばらつきに相当するノイズ量を計測する周囲領域ノイズ量計測回路(31)と、ノイズ量の比較に基づいて画素毎に算出したノイズ比の大きさから、第1の特徴領域と第2の特徴領域とに分割する特徴領域分割回路(32)と、第1の特徴領域の画素について、第1の閾値よりも大きい輝度値を有する画素を抽出することで第1の二値化画像を生成する第1の二値化回路(33)と、第2の特徴領域の画素について、第2の閾値よりも大きい輝度値を有する画素を抽出することで第2の二値化画像を生成する第2の二値化回路(34)と、第1の二値化画像と第2の二値化画像との論理和による統合二値化画像を生成する二値化画像統合回路(35)とを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、赤外線撮像機を利用した監視システムにおいて、赤外線撮像機と位置検出回路とを組み合わせて、監視エリア内の航空機、飛翔物を自動検出し、ディスプレィに検出位置を表示する画像目標検出装置および画像目標検出方法に関するものである。
【背景技術】
【0002】
図13は、従来の画像目標検出装置の構成図である(例えば、特許文献1参照)。図13に示す従来の画像目標検出装置は、赤外線撮像機10、A/D変換器20、目標検出回路30、位置検出回路40、およびディスプレィ50で構成されている。また、目標検出回路30は、微小目標検出回路39で構成されている。
【0003】
A/D変換器20は、赤外線撮像機10から出力される信号を、ディジタル画像信号に変換する。目標検出回路30内の微小目標検出回路39は、A/D変換器20から出力されるディジタル画像信号から、周囲より高い輝度値で形成される微小な画素群を検出することで、微小目標を抽出し、有意画素を示す微小目標二値化画像を出力する。
【0004】
位置検出回路40は、微小目標二値化画像の有意画素の連結状態を判別し、画面位置を検出し、検出位置情報を出力する。そして、ディスプレィ50は、A/D変換器20の出力であるディジタル画像信号と、位置検出回路40の出力である検出位置情報とを受けて、撮像画像上に検出位置を表示する。
【0005】
特許文献1における従来の画像目標検出装置では、目標検出回路30内の微小目標検出回路39において、画素毎に局所領域の輝度標準偏差を計算し、局所空間的に画素毎の閾値を算出し、二値化するフィルタを画像全体に施すことで、微小目標の検出を行っている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平7−209402号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来技術には次のような課題がある。
特許文献1は、微小目標に限定したフィルタにより、二値化画像が生成されるように構成されており、微小目標となる航空機、飛翔物の検出を行っている。しかしながら、このような微小目標とともに、画素面積が大きい目標が混在するような場合には、微小目標のみが抽出されてしまい、画素面積が大きい目標は検出できない。また、画素面積が大きい目標のみが存在する場合にも、目標が検出できないという問題があった。
【0008】
本発明は、上述のような課題を解決するためになされたものであり、画素面積が小さく輝度値が低い微小目標と、画素面積が大きく輝度値が高い目標のいずれも安定して検出することのできる画像目標検出装置および画像目標検出方法を得ることを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る画像目標検出装置は、赤外線撮像機を用いて取得したディジタル信号画像の各画素に対して二値化処理を施すことで、周囲より高い輝度値で形成される目標を検出する目標検出回路を備えた画像目標検出装置において、目標検出回路は、画素毎に複数の周囲領域を設け、複数の周囲領域のそれぞれについて、周囲領域を構成する複数の画素の輝度値のばらつきに相当するノイズ量を計測する周囲領域ノイズ量計測回路と、周囲領域ノイズ量計測回路により複数の周囲領域について計測されたそれぞれのノイズ量の比較に基づいて画素毎にノイズ比を算出し、算出したノイズ比が所定閾値を越える場合には、当該画素を第1の特徴領域と規定し、算出したノイズ比が所定閾値以下の場合には、当該画素を第2の特徴領域と規定することで、ディジタル信号画像の各画素をいずれかの特徴領域に分割する特徴領域分割回路と、特徴領域分割回路により第1の特徴領域と規定された画素について、第1の閾値よりも大きい輝度値を有する画素を抽出することで第1の二値化画像を生成する第1の二値化回路と、特徴領域分割回路により第2の特徴領域と規定された画素について、第2の閾値よりも大きい輝度値を有する画素を抽出することで第2の二値化画像を生成する第2の二値化回路と、第1の二値化回路で生成された第1の二値化画像と、第2の二値化回路で生成された第2の二値化画像との論理和を算出することで、目標を検出するための統合二値化画像を生成する二値化画像統合回路とを含むものである。
【0010】
また、本発明に係る画像目標検出方法は、赤外線撮像機を用いて取得したディジタル信号画像の各画素に対して二値化処理を施すことで、周囲より高い輝度値で形成される目標を検出する目標検出処理を備えた画像目標検出方法において、目標検出処理は、画素毎に複数の周囲領域を設け、複数の周囲領域のそれぞれについて、周囲領域を構成する複数の画素の輝度値のばらつきに相当するノイズ量を計測する周囲領域ノイズ量計測処理ステップと、周囲領域ノイズ量計測処理ステップにより複数の周囲領域について計測されたそれぞれのノイズ量の比較に基づいて画素毎にノイズ比を算出し、算出したノイズ比が所定閾値を越える場合には、当該画素を第1の特徴領域と規定し、算出したノイズ比が所定閾値以下の場合には、当該画素を第2の特徴領域と規定することで、ディジタル信号画像の各画素をいずれかの特徴領域に分割する特徴領域分割処理ステップと、特徴領域分割処理ステップにより第1の特徴領域と規定された画素について、第1の閾値よりも大きい輝度値を有する画素を抽出することで第1の二値化画像を生成する第1の二値化処理ステップと、特徴領域分割処理ステップにより第2の特徴領域と規定された画素について、第2の閾値よりも大きい輝度値を有する画素を抽出することで第2の二値化画像を生成する第2の二値化処理ステップと、第1の二値化処理ステップで生成された第1の二値化画像と、第2の二値化処理ステップで生成された第2の二値化画像との論理和を算出することで、目標を検出するための統合二値化画像を生成する二値化画像統合処理ステップとを含むものである。
【発明の効果】
【0011】
本発明に係る画像目標検出装置および画像目標検出方法によれば、画素毎に、周囲領域の輝度値のばらつき具合に基づいて特徴領域分割を行うことで、目標の大きさおよび輝度に応じて適切な閾値を用いて2値化検出処理することを可能にすることにより、画素面積が小さく輝度値が低い微小目標と、画素面積が大きく輝度値が高い目標のいずれも安定して検出することのできる画像目標検出装置および画像目標検出方法を得ることができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施の形態1における画像目標検出装置の構成図である。
【図2】本発明の実施の形態1における周囲領域ノイズ量計測回路の動作の様子を示す説明図である。
【図3】本発明の実施の形態1における画像目標検出装置の運用形態を示す図である。
【図4】本発明の実施の形態1における赤外線撮像機で撮像され、A/D変換器でA/D変換された後のディジタル信号画像の例示図である。
【図5】本発明の実施の形態1における特徴領域分割回路によるノイズ比の算出に関する説明図である。
【図6】本発明の実施の形態1における特徴領域分割回路によるフラグ信号の生成に関する説明図である。
【図7】本発明の実施の形態1における特徴領域分割回路によって出力されるフラグ信号により、第1の特徴領域と第2の特徴領域とが識別された様子を示す図である。
【図8】本発明の実施の形態1における第1の二値化回路の内部構成図である。
【図9】本発明の実施の形態1における第2の二値化回路の内部構成図である。
【図10】本発明の実施の形態1における第1の二値化回路および第2の二値化回路34から出力される二値化画像を示す図である。
【図11】本発明の実施の形態1における二値化画像統合回路から出力される二値画像を示した図である。
【図12】本発明の実施の形態2における画像目標検出装置の構成図である。
【図13】従来の画像目標検出装置の構成図である。
【発明を実施するための形態】
【0013】
実施の形態1.
図1は、本発明の実施の形態1における画像目標検出装置の構成図である。図1に示す本実施の形態1における画像目標検出装置は、赤外線撮像機10、A/D変換器20、目標検出回路30、位置検出回路40、およびディスプレィ50で構成されている。そして目標検出回路30は、周囲領域ノイズ量計測回路31、特徴領域分割回路32、第1の二値化回路33、第2の二値化回路34、および二値化画像統合回路35を備えている。
【0014】
先の図13における従来の画像目標検出装置の構成と比較すると、本実施の形態1における画像目標検出装置は、この目標検出回路30の内部構成が異なっている。そこで、本実施の形態1における図1の目標検出回路30の機能を中心に、以下に説明する。
【0015】
目標検出回路30内の周囲領域ノイズ量計測回路31は、画素毎に複数の周囲領域を設け、周囲領域毎に、その領域を構成する複数の画素の輝度値のばらつきに相当するノイズ量を計測する。特徴領域分割回路32は、周囲領域ノイズ量計測回路31により複数の周囲領域毎に計測されたノイズ量に基づいて、周囲領域同士のノイズ比(ノイズ量比率)を算出し、算出結果に基づいて各画素を第1の特徴領域と第2の特徴領域のいずれかに割り当てることで、特徴領域分割を行う。
【0016】
そして、特徴領域分割回路32は、特徴領域分割の結果に基づいて、画素毎に、その画素が含まれる特徴領域を識別するためのフラグ信号を出力する。この際、特徴領域分割回路32は、第1の特徴領域に対応する画素についてはフラグ信号として「1」を出力し、第2の特徴領域に対応する画素についてはフラグ信号として「2」を出力する。
【0017】
第1の二値化回路33は、A/D変換器20の出力であるディジタル画像信号に対して第1の閾値を用いて第1の二値化処理を施すことで有意画素を検出する。さらに、第1の二値化回路33は、検出した有意画素の中から、フラグ信号が「1」である画素のみを通過させ、他のフラグ信号である画素はマスク処理を施すことで、第1の特徴領域における有意画素のみを抽出し、第1の二値化画像として出力する。なお、第1の二値化回路33は、マスク処理を行った後に、第1の二値化処理を行うことも可能である。
【0018】
同様に、
第2の二値化回路34は、A/D変換器20の出力であるディジタル画像信号に対して第2の閾値を用いて第2の二値化処理を施すことで有意画素を検出する。さらに、第2の二値化回路34は、検出した有意画素の中から、フラグ信号が「2」である画素のみを通過させ、他のフラグ信号である画素はマスク処理を施すことで、第2の特徴領域における有意画素のみを抽出し、第2の二値化画像として出力する。なお、第2の二値化回路34は、マスク処理を行った後に、第2の二値化処理を行うことも可能である。
【0019】
二値化画像統合回路35は、第1の二値化回路33の出力である第1の二値化画像、および第2の二値化回路34の出力である第2の二値化画像のそれぞれの論理和を算出することで、統合された二値化画像を出力する。
【0020】
このようにして、本実施の形態1における図1の目標検出回路30は、ノイズ量の比較結果に基づいて第1の特徴領域および第2の特徴領域を識別するとともに、領域に応じた個別の閾値を用いて二値化処理を施すことができる。この結果、画素面積が小さく輝度値が低い微小目標と、画素面積が大きく輝度値が高い目標のいずれも安定して検出することができる。
【0021】
次に、本実施の形態1における図1の目標検出回路30の詳細な処理内容を、図面を用いて具体的に説明する。図2は、本発明の実施の形態1における周囲領域ノイズ量計測回路31の動作の様子を示す説明図である。図2では、注目画素1を中心とした領域2を、所定の画素数を含むように9分割し、8つの周囲領域2a〜2hを規定している状態を示している。なお、注目画素1は、画素毎に移動するものであり、注目画素1の位置に応じて、異なる8つの周囲領域2a〜2hが規定されることとなる。
【0022】
周囲領域ノイズ量計測回路31は、図2で示したように、A/D変換器20の出力であるディジタル画像信号の注目画素1ごとに、8つの周囲領域2a〜2hを規定する。さらに、周囲領域ノイズ量計測回路31は、注目画素1に対する複数の周囲領域2a〜2hのノイズ量を、注目画素ごとに計算する。
【0023】
例えば、周囲領域ノイズ量計測回路31は、第1の周囲領域2aについてのノイズ量を、下式(1)を用いて求める。
【0024】
【数1】

【0025】
上式(1)における各符号は、以下の内容を意味するものである。
(x、y):注目画素1の画像座標
Na:第1の周囲領域2aを構成する画素数
Ba:第1の周囲領域2aのNa個で構成された画素の中で、i(iは、1以上Na以下の整数)番目の画素の輝度値
Ba( ̄):第1の周囲領域2aのNa個の構成画素の輝度値の平均値
なお、表記( ̄)は、かっこの前の文字列の上部にバーが付された平均値を意味している。
【0026】
周囲領域ノイズ量計測回路31は、第1の周囲領域2aと同様に、第2の周囲領域2b〜第8の周囲領域2hについてのノイズ量も、下式(2)〜(8)を用いて求めることができる。なお、式(1)〜(8)における添え字a〜hは、第1の周囲領域2a〜第8の周囲領域2hの添え字に対応するものである。
【0027】
【数2】

【0028】
次に、特徴領域分割回路32の動作を説明する。本実施の形態1における特徴領域分割回路32は、周囲領域ノイズ量計測回路31で算出された8つの周囲領域のそれぞれのノイズ量に基づいて、注目画素1をはさんで対角に位置する2つの周囲領域のノイズ量からノイズ比を算出する。そこで、まず始めに、第2の周囲領域2bと、その対角に位置する第7の周囲領域2gとのノイズ比の算出を例に、具体的に説明する。
【0029】
特徴領域分割回路32は、第2の周囲領域2bのノイズ量SDbと、第7の周囲領域2gのノイズ量SDgとのノイズ比Noise Rate 0(x、y)を、下式(9)により求める。
【0030】
【数3】

【0031】
すなわち、上式(9)において、特徴領域分割回路32は、第2の周囲領域2bと、第7の周囲領域2gとで、ノイズ量が大きい方を分子として、ノイズ量が小さい方を分母として、ノイズ比を求めている。また、両ノイズ量が等しい場合には、ノイズ比は1として求められる。従って、算出されたノイズ比は、1以上の値となる。
【0032】
そして、特徴領域分割回路32は、上式(9)で算出したノイズ比Noise Rate 0(x、y)を、定数Const0と比較し、下式(10)に従って、フラグ信号(0)を「1」または「2」にセットする。
【0033】
【数4】

【0034】
すなわち、上式(10)において、特徴領域分割回路32は、ノイズ比Noise Rate 0(x、y)の値が定数Const0よりも大きい場合には、第1の特徴領域を示す「1」をフラグ信号(0)にセットする。一方、特徴領域分割回路32は、ノイズ比Noise Rate 0(x、y)の値が定数Const0以下の場合には、第2の特徴領域を示す「2」をフラグ信号(0)にセットする。
【0035】
同様に、特徴領域分割回路32は、図2において対角に位置する「第1の周囲領域2aと第8の周囲領域2h」に関するノイズ比Noise Rate1(x、y)、「第3の周囲領域2cと第6の周囲領域2f」に関するノイズ比Noise Rate2(x、y)、および「第4の周囲領域2dと第5の周囲領域2e」に関するノイズ比Noise Rate3(x、y)を、下式(11)〜(13)により求める。
【0036】
【数5】

【0037】
さらに、特徴領域分割回路32は、下式(14)〜(16)に従って、フラグ信号(1)〜フラグ信号(3)をセットする。
【0038】
【数6】

【0039】
そして、特徴領域分割回路32は、フラグ信号(0)〜フラグ信号(3)のいずれか1つでも「1」にセットされている場合には、最終的にフラグ信号を「1」として出力する。一方、特徴領域分割回路32は、フラグ信号(0)〜フラグ信号(3)のいずれもが「2」にセットされている場合には、最終的にフラグ信号を「2」として出力する。すなわち、対角に位置する周辺領域に関して算出した4つのノイズ比のうち、いずれか1つでも定数Const0より大きい場合には、フラグ信号を「1」として出力することとなる。
【0040】
図3は、本発明の実施の形態1における画像目標検出装置の運用形態を示す図である。図3における各符号は、以下の内容を意味している。
符号61:遠方の航空機
符号62:遠方の飛翔体
符号63:離陸した航空機
符号64:画像目標検出装置の赤外線撮像機10が、飛行場の上空を監視するように設置された建屋、監視塔
符号65:赤外線撮像機10の監視エリア
符号66:飛行場等の滑走路
【0041】
図4は、本発明の実施の形態1における赤外線撮像機10で撮像され、A/D変換器20でA/D変換された後のディジタル信号画像の例示図である。図4におけるディジタル信号画像内で、各符号は、以下の内容を意味している。
71、72:遠方の航空機61、および遠方の飛翔体62の赤外線画像(画素面積が小さく輝度値が低い微小目標に相当)
73:、離陸直後で加速中の航空機63の赤外線画像(画素面積が大きく輝度値が高い目標に相当)
【0042】
次に、図4に示すディジタル信号画像を用いて、特徴領域分割回路32の動作を説明する。図5は、本発明の実施の形態1における特徴領域分割回路32によるノイズ比の算出に関する説明図である。具体的には、図5(a)〜図5(f)は、それぞれ以下の内容を示す図である。
図5(a):図4のディジタル信号画像における航空機63の赤外線画像の部分に設定された断面73aを示す図である。
図5(b):画素面積が大きく輝度値が高い目標となる、離陸直後で加速中の航空機63の赤外線画像73における断面73aの輝度値分布を示す図である。
図5(c):図5(b)の輝度値分布に対応するノイズ量分布の様子を示した図である。
図5(d):図5(c)のノイズ量分布に対応するノイズ比の様子を示した図である。
図5(e):図5(a)のディジタル信号画像をy方向に投影したときの輝度値の最大値分布を示した図である。
図5(f):画素面積が小さく輝度値が低い微小目標に相当する遠方の航空機61、および飛翔体62に対して算出されたノイズ比の様子を示した図である。
【0043】
図5(b)に示すように、画素面積が大きい目標となる離陸直後で加速中の航空機63の赤外線画像73付近の輝度値分布は、背景部と高輝度部に大きく分けられる。低い値の輝度値分布を有する背景部と比較して、点線で囲まれた高輝度部の頂点付近の輝度値分布は、航空機63のアフターバーナ内燃焼の影響で起伏が生じる。
【0044】
図5(c)に示すように、周囲領域ノイズ量計測回路31により上式(1)〜(8)を用いて算出されるノイズ量は、背景部にあたる部分では少なくなるが、高輝度部に当たる部分では、図5(b)に示すような輝度値分布の起伏の影響で、背景部のノイズ量と比較して大きくなる。
【0045】
また、図5(b)の輝度値分布におけるエッジ部では、先の図2に示したような8つの周辺領域2a〜2h内に、背景部と高輝度部が両方含まれることとなるため、算出されたノイズ量は大きくなる。
【0046】
図5(c)に示すようなノイズ量分布に対して、特徴領域分割回路32により上式(9)および上式(11)〜(13)を用いて算出されるノイズ比(Noise Rate0(x、y)〜Noise Rate3(x、y))の分布は、図5(d)のようになる。上式(9)および上式(11)〜(13)では、対角に位置する周辺領域2a〜2hを用いてノイズ比を求めているため、背景部のノイズ比は、小さくなる。一方、高輝度部のエッジ部付近でのノイズ比は大きくなり、高輝度部の頂点付近でのノイズ比は輝度起伏より背景部のノイズ比より大きく、エッジ部のノイズ比より小さくなる。
【0047】
これに対して、画素面積が小さく輝度値が低い微小目標に相当する遠方の航空機61、および飛翔体62は、図5(e)に示すように、航空機63と比較して、高輝度部の輝度値が低い値であるとともに、頂点付近の輝度値は起伏がなく安定している。従って、このような微小目標に対して算出されたノイズ比は、図5(f)に示すように、その高輝度部の頂点付近でのノイズ比が背景部のノイズ比と同程度に低い値となる。
【0048】
図6は、本発明の実施の形態1における特徴領域分割回路32によるフラグ信号の生成に関する説明図である。具体的には、図6(a)〜図6(d)は、それぞれ以下の内容を示す図である。
図6(a):画素面積が大きく輝度値が高い目標となる、離陸直後で加速中の航空機63について算出されたノイズ比分布(図5(d)に相当)と、定数Const0(図6(a)中の破線に相当)との関係を示す図である。
図6(b):図6(a)に関し、上式(10)および上式(14)〜(16)に基づいて、特徴領域分割回路32により出力されるフラグ信号を示す図である。
図6(c):画素面積が小さく輝度値が低い微小目標となる、遠方の航空機61、および飛翔体62について算出されたノイズ比分布(図5(f)に相当)と、定数Const0(図6(a)中の破線に相当)との関係を示す図である。
図6(d):図6(c)に関し、上式(10)および上式(14)〜(16)に基づいて、特徴領域分割回路32により出力されるフラグ信号を示す図である。
【0049】
図6(a)、(b)に示すように、特徴領域分割回路32は、ノイズ比分布が定数Const0よりも大きい場合には、フラグ信号を「1」にセットし、ノイズ比分布が定数Const0以下の場合には、フラグ信号を「2」にセットする。図6(b)において、フラグ信号が「1」となる領域が第1の特徴領域に相当し、フラグ信号が「2」となる領域が第2の特徴領域に相当する。このようにして、特徴領域分割回路32は、画素面積が大きく輝度値が高い目標となる部分を、第1の特徴領域として抽出することができる。
【0050】
同様に、図6(c)、(d)に示すように、特徴領域分割回路32は、ノイズ比分布が定数Const0よりも大きい場合には、フラグ信号を「1」にセットし、ノイズ比分布が定数Const0以下の場合には、フラグ信号を「2」にセットする。図6(d)において、フラグ信号が「1」となる領域が第1の特徴領域に相当し、フラグ信号が「2」となる領域が第2の特徴領域に相当する。このようにして、特徴領域分割回路32は、画素面積が小さく輝度値が低い微小目標となる部分について、そのエッジ部分を第1の特徴領域として抽出し、エッジ部分より内側の部分を第2の特徴領域として抽出することができる。
【0051】
図7は、本発明の実施の形態1における特徴領域分割回路32によって出力されるフラグ信号により、第1の特徴領域と第2の特徴領域とが識別された様子を示す図である。具体的には、図7(a)は、A/D変換後のディジタル信号画像を示しており、図7(b)は、フラグ信号の画素毎の分布を示している。
【0052】
次に、第1の二値化回路33および第2の二値化回路34の動作について説明する。図8は、本発明の実施の形態1における第1の二値化回路33の内部構成図である。第1の二値化回路33は、比較回路33aおよび第1のマスク回路33bで構成されている。比較回路33aは、A/D変換器20の出力であるディジタル画像信号の各画素に対して、大局閾値による第1の二値化処理を施す。具体的には、比較回路33aは、大局閾値よりも大きい画素を論理値「1」、それ以外を論理値「0」とする二値画像を出力する。
【0053】
次に、第1のマスク回路33bは、特徴領域分割回路32の出力であるフラグ信号を読み込み、比較回路33aによる第1の二値化処理結果のうち、フラグ信号が「2」である第2の特徴領域をマスクすることで、フラグ信号が「1」である第1の特徴領域の二値化処理結果のみを出力する。
【0054】
一方、図9は、本発明の実施の形態1における第2の二値化回路34の内部構成図である。第2の二値化回路34は、微小目標検出回路34aおよび第2のマスク回路34bで構成されている。微小目標検出回路34aは、先の図13における従来の微小目標検出回路39に相当し、A/D変換器20の出力であるディジタル画像信号の各画素に対して、微小目標を抽出するための第2の二値化処理を施す。具体的には、微小目標検出回路34aは、微小目標を検出するための閾値よりも大きい画素を論理値「1」、それ以外を論理値「0」とする二値画像を出力する。
【0055】
次に、第2のマスク回路34bは、特徴領域分割回路32の出力であるフラグ信号を読み込み、微小目標検出回路34aによる第2の二値化処理結果のうち、フラグ信号が「1」である第1の特徴領域をマスクすることで、フラグ信号が「2」である第2の特徴領域の二値化処理結果のみを出力する。
【0056】
図10は、本発明の実施の形態1における第1の二値化回路33および第2の二値化回路34から出力される二値化画像を示す図である。具体的には、具体的には、図10(a)〜図10(c)は、それぞれ以下の内容を示す図である。
図10(a):A/D変換器20の出力であるディジタル信号画像(多値画像)
図10(b):第1の二値化回路33により、画素面積が大きく輝度値が高い目標を抽出するために行われた第1の二値化処理により得られた二値画像
図10(c):第2の二値化回路34により、画素面積が小さく輝度値が低い微小目標を抽出するために行われた第2の二値化処理により得られた二値画像
【0057】
なお、画素面積が大きく輝度値が高い目標を抽出するための第1の二値化処理に用いられる大局閾値は、例えば、先の図5に示すような輝度部分におけるディジタル信号画像内の平均輝度およびノイズ量を元に、下式(17)で算出することができる。
【0058】
【数7】

【0059】
上式(17)において、BImage maxはディジタル信号画像内の平均輝度値、Cは定数、σimageはディジタル信号画像内の標準偏差である。
【0060】
先の図8に示した第1の二値化回路33は、先の図7(b)のフラグ信号画像で白色として示した第1の特徴領域について、大局閾値を用いた第1の二値化処理を行うこととなる。ここで、第1の特徴領域としては、画素面積が大きく輝度値が高い目標の領域とともに、画素面積が小さく輝度値が低い微小目標の周囲部分も含まれる(図7(b)参照)。
【0061】
しかしながら、先の図5(e)に示すように、アフターバーナをたいている航空機63の輝度分布より、遠方の航空機61の輝度値分布、飛翔体62の輝度値分布の大きさは小さく、かつ、ディジタル画像信号内の画面に占める画素面積も小さい。このため、先の図8に示した比較回路33aから得られる大局閾値を用いた二値化処理によって、航空機61および飛翔体62が抽出されることはなく、航空機63のみを検出することができる(図10(b)参照)。
【0062】
一方、先の図9に示した第2の二値化回路34は、先の図7(b)のフラグ信号画像で黒色として示した第2の特徴領域について、微小目標を抽出するための閾値を用いた第2の二値化処理を行うこととなる。ここで、離陸直後で加速中の航空機63は、その領域が第1の特徴領域として識別されているため、第2の二値化処理で抽出されることはない。また、画素面積が小さく輝度値が低い微小目標の領域は、第1の特徴領域に囲まれた第2の特徴領域として識別されており(図7(b)参照)、微小目標を抽出するための適切な閾値を用いて第2の二値化処理を行うことで、微小目標のみを検出することができる(図10(c)参照)。
【0063】
次に、二値化画像統合回路35の動作について説明する。図11は、本発明の実施の形態1における二値化画像統合回路35から出力される統合二値化画像を示した図である。二値化画像統合回路35では、第1の二値化回路33から出力される第1の特徴領域における二値化画像と、第2の二値化回路34から出力される第2の特徴領域における二値化画像との論理和を求め、統合二値化画像を生成する。
【0064】
以上のように、実施の形態1によれば、周囲領域ノイズ量計測回路、特徴領域分割回路、第1の二値化回路、第2の二値化回路、および二値化画像統合回路で構成された目標検出回路を備えている。この結果、画素毎に、周囲領域の輝度値のばらつき具合に基づいて特徴領域分割を行うことで、目標の大きさおよび輝度に応じて適切な閾値を用いて2値化検出処理することができる。従って、画素面積が小さく輝度値が低い微小目標と、画素面積が大きく輝度値が高い目標のいずれも安定して検出することのできる画像目標検出装置および画像目標検出方法を得ることができる。
【0065】
実施の形態2.
先の実施の形態1における特徴領域分割回路32は、対角に位置する周辺領域に関して算出した4つのノイズ比を算出し、フラグ信号を求めていた。これに対して、本実施の形態2における特徴領域分割回路32は、先の実施の形態1とは異なる方法でノイズ比を算出するものである。
【0066】
図12は、本発明の実施の形態2における画像目標検出装置の構成図である。図12に示す本実施の形態2における画像目標検出装置は、赤外線撮像機10、A/D変換器20、目標検出回路30、位置検出回路40、およびディスプレィ50で構成されている。そして、目標検出回路30は、周囲領域ノイズ量計測回路31、特徴領域分割回路32、第1の二値化回路33、第2の二値化回路34、および二値化画像統合回路35を備えている。
【0067】
さらに、本実施の形態2における特徴領域分割回路32は、ノイズ量順序付け回路32a、ノイズ量比率算出回路32b、および比率比較回路32cで構成されている。ノイズ量順序付け回路32aは、周囲領域ノイズ量計測回路31の出力を受け、8つの周囲領域2a〜2hについて、ノイズ量の大きさで順序付けする。例えば、下式(18)に示すようにして、上式(1)〜(8)で算出されたそれぞれの周辺領域のノイズ量の順序付けを行う。
【0068】
【数8】

【0069】
上式(18)において、添え字rank*の「*」は、順序付け番号を示し、小さい順に順序付けした場合の番号である。例えば、rank1は、ノイズ量が最小値を有することを示す。
【0070】
次に、ノイズ量比率算出回路32bは、ノイズ量順序付け回路32aで算出した最大ノイズ値を示すrank8と、最小ノイズ値を示すrank1との比率を、下式(19)により算出する。
【0071】
【数9】

【0072】
そして、比率比較回路32cは、下式(20)に従って、フラグ信号を「1」または「2」にセットする。
【0073】
【数10】

【0074】
具体的には、比率比較回路32cは、上式(19)で算出された最大ノイズ量と最小ノイズ量との比率が、定数Const0よりも大きい場合には、フラグ信号を「1」にセットし、それ以外の場合は、フラグ信号を「2」にセットする。
【0075】
本実施の形態2における特徴領域分割回路32は、周囲領域のノイズ量を順序付けし、その最大値と最小値の比を取ることにより、画素毎の周辺領域のノイズ比が高い領域を抽出することができる。この結果、先の図7に示したフラブ信号の二値画像と同様の画像を得ることが可能である。
【0076】
以上のように、実施の形態2によれば、周囲領域のノイズ量を順序付けして、画素毎の周辺領域のノイズ比が高い領域を抽出することができ、先の実施の形態1と同様の効果を得ることができる。
【0077】
実施の形態3.
先の実施の形態2における特徴領域分割回路32内のノイズ量順序付け回路32aは、最大ノイズ値と最小ノイズ値を出力していた。これに対して、本実施の形態3では、特徴領域分割回路32内のノイズ量順序付け回路32aが、順序付けされたノイズ量の2番目に小さい値と2番目に大きい値を出力する。本実施の形態3における画像目標検出装置の構成は、先の実施の形態2における図12の構成と同じである。
【0078】
本実施の形態3におけるノイズ量比率算出回路32bは、ノイズ量順序付け回路32aで算出した2番目に大きいノイズ値を示すrank7と、2番目に小さいノイズ値を示すrank2との比率を、下式(21)により算出する。
【0079】
【数11】

【0080】
そして、比率比較回路32cは、先の実施の形態2と同様にして、上式(20)に従って、フラグ信号を「1」または「2」にセットする。具体的には、比率比較回路32cは、上式(21)で算出された2番目に大きいノイズ量と2番目に小さいノイズ量との比率が、定数Const0よりも大きい場合には、フラグ信号を「1」にセットし、それ以外の場合は、フラグ信号を「2」にセットする。
【0081】
本実施の形態3における特徴領域分割回路32は、周囲領域のノイズ量を順序付けし、その2番目に大きい値と2番目に小さい値との比を取ることにより、画素毎の周辺領域のノイズ比が高い領域を抽出することができる。この結果、画素毎の周囲領域に不確定なノイズ画素が含まれ、かつ変動する場合に、ノイズ量の最大値と最小値を除去してノイズ比を求めることができ、先の実施の形態2よりもロバスト性の向上を図ることができる。
【0082】
以上のように、実施の形態3によれば、周囲領域のノイズ量を順序付けして、画素毎の周辺領域のノイズ比が高い領域を抽出することができ、先の実施の形態1、2と同様の効果を得ることができる。さらに、ノイズ量の最大値と最小値を用いずにノイズ比が高い領域を抽出することで、先の実施の形態2よりもロバスト性の向上を図ることができる。
【符号の説明】
【0083】
10 赤外線撮像機、20 A/D変換器、30 目標検出回路、31 周囲領域ノイズ量計測回路、32 特徴領域分割回路、32a ノイズ量順序付け回路、32b ノイズ量比率算出回路、32c 比率比較回路、33 第1の二値化回路、33a 比較回路、33b 第1のマスク回路、34 第2の二値化回路、34a 微小目標検出回路、34b 第2のマスク回路、35 二値化画像統合回路、40 位置検出回路、50 ディスプレィ。

【特許請求の範囲】
【請求項1】
赤外線撮像機を用いて取得したディジタル信号画像の各画素に対して二値化処理を施すことで、周囲より高い輝度値で形成される目標を検出する目標検出回路を備えた画像目標検出装置において、
前記目標検出回路は、
画素毎に複数の周囲領域を設け、前記複数の周囲領域のそれぞれについて、周囲領域を構成する複数の画素の輝度値のばらつきに相当するノイズ量を計測する周囲領域ノイズ量計測回路と、
前記周囲領域ノイズ量計測回路により前記複数の周囲領域について計測されたそれぞれのノイズ量の比較に基づいて前記画素毎にノイズ比を算出し、算出した前記ノイズ比が所定閾値を越える場合には、当該画素を第1の特徴領域と規定し、算出した前記ノイズ比が所定閾値以下の場合には、当該画素を第2の特徴領域と規定することで、前記ディジタル信号画像の各画素をいずれかの特徴領域に分割する特徴領域分割回路と、
前記特徴領域分割回路により前記第1の特徴領域と規定された画素について、第1の閾値よりも大きい輝度値を有する画素を抽出することで第1の二値化画像を生成する第1の二値化回路と、
前記特徴領域分割回路により前記第2の特徴領域と規定された画素について、第2の閾値よりも大きい輝度値を有する画素を抽出することで第2の二値化画像を生成する第2の二値化回路と、
前記第1の二値化回路で生成された前記第1の二値化画像と、前記第2の二値化回路で生成された前記第2の二値化画像との論理和を算出することで、前記目標を検出するための統合二値化画像を生成する二値化画像統合回路と
を含むことを特徴とする画像目標検出装置。
【請求項2】
請求項1に記載の画像目標検出装置において、
前記特徴領域分割回路は、前記周囲領域ノイズ量計測回路により前記複数の周囲領域について計測されたそれぞれのノイズ量を大きい順に順序付けし、順序付けされたノイズ量の最小値と最大値との比を前記ノイズ比とする
ことを特徴とする画像目標検出装置。
【請求項3】
請求項1に記載の画像目標検出装置において、
前記特徴領域分割回路は、前記周囲領域ノイズ量計測回路により前記複数の周囲領域について計測されたそれぞれのノイズ量を大きい順に順序付けし、順序付けされたノイズ量の2番目に小さい値と2番目に大きい値との比を前記ノイズ比とする
ことを特徴とする画像目標検出装置。
【請求項4】
赤外線撮像機を用いて取得したディジタル信号画像の各画素に対して二値化処理を施すことで、周囲より高い輝度値で形成される目標を検出する目標検出処理を備えた画像目標検出方法において、
前記目標検出処理は、
画素毎に複数の周囲領域を設け、前記複数の周囲領域のそれぞれについて、周囲領域を構成する複数の画素の輝度値のばらつきに相当するノイズ量を計測する周囲領域ノイズ量計測処理ステップと、
前記周囲領域ノイズ量計測処理ステップにより前記複数の周囲領域について計測されたそれぞれのノイズ量の比較に基づいて前記画素毎にノイズ比を算出し、算出した前記ノイズ比が所定閾値を越える場合には、当該画素を第1の特徴領域と規定し、算出した前記ノイズ比が所定閾値以下の場合には、当該画素を第2の特徴領域と規定することで、前記ディジタル信号画像の各画素をいずれかの特徴領域に分割する特徴領域分割処理ステップと、
前記特徴領域分割処理ステップにより前記第1の特徴領域と規定された画素について、第1の閾値よりも大きい輝度値を有する画素を抽出することで第1の二値化画像を生成する第1の二値化処理ステップと、
前記特徴領域分割処理ステップにより前記第2の特徴領域と規定された画素について、第2の閾値よりも大きい輝度値を有する画素を抽出することで第2の二値化画像を生成する第2の二値化処理ステップと、
前記第1の二値化処理ステップで生成された前記第1の二値化画像と、前記第2の二値化処理ステップで生成された前記第2の二値化画像との論理和を算出することで、前記目標を検出するための統合二値化画像を生成する二値化画像統合処理ステップと
を含むことを特徴とする画像目標検出方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2011−196939(P2011−196939A)
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願番号】特願2010−66671(P2010−66671)
【出願日】平成22年3月23日(2010.3.23)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】