対象物識別装置
【課題】対空誘導飛翔体の誘導に用いられる対象物識別装置において、目標とフレアとの位置関係によらず、識別対象を確実に識別できる識別装置を提供する。
【解決手段】中赤外線画像データ１０１と遠赤外線画像データ１０２とのそれぞれにつき、画素間での信号強度の差分によるベクトル情報を算出する。各画像データにつき得られたベクトル情報を予め用意したモデルパターン１０ａと比較し、その類似度を反映する評価値が高い領域を目標の存在領域として抽出する。
【解決手段】中赤外線画像データ１０１と遠赤外線画像データ１０２とのそれぞれにつき、画素間での信号強度の差分によるベクトル情報を算出する。各画像データにつき得られたベクトル情報を予め用意したモデルパターン１０ａと比較し、その類似度を反映する評価値が高い領域を目標の存在領域として抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば対空誘導飛翔体の誘導に用いられる対象物識別装置に関する。
【背景技術】
【０００２】
赤外線による対象物識別装置が知られている。この種の装置では中赤外線波長センサで中赤外線領域の赤外線画像データを取得し、信号強度に基づいて目標を識別する。特許文献１、２には、目標飛翔体から発射されるフレア（妨害物）による誤識別を回避するため、近赤外線および中赤外線の２つの波長帯の画像データを利用して目標を識別する技術が提案されている。
【０００３】
しかしながら、目標が遠行（赤外線撮像装置に対して遠方へ進行）している状態では本体が目標の排気部に隠れてしまい、目標の情報は排気部の像しか得られなくなってしまう。このような状況下では２つの波長を用いても目標の排気部とフレアとを区別できず、誤検出の可能性が依然として残る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許３４３１２０６号公報
【特許文献２】特開平６−１７４８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上のように、既存の技術では目標が遠行している場合に誤検出の余地があり、飛翔体が誤った経路に誘導されてしまう虞がある。特許文献１の技術は目標本体の情報が画像内に映っていることを前提にしており、目標が遠行状態にあれば本体が排気部に隠れてしまうので、誤識別を起こす。特許文献２では目標の本体とフレアとの温度差に着目し、近赤外線画像と中赤外線画像との減算処理による差分画像から目標を検出するようにしているが、目標が遠行状態にあれば目標の排気部とフレアの温度差がほとんどなくなるので、やはり目標とフレアとを識別することが不可能になる。
この発明は上記事情によりなされたもので、その目的は、目標とフレアとの位置関係によらず、識別対象を確実に識別できるようにした対象物識別装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためにこの発明の一態様によれば、第１の波長帯での画像データである第１画像データと、第２の波長帯での画像データである第２画像データとを同じ視野で取得する画像データ取得手段と、前記第１画像データにおける画素間の信号強度の差分を演算して得られる第１ベクトル情報と、前記第２画像データにおける画素間の信号強度の差分を演算して得られる第２ベクトル情報とを算出する算出手段と、識別対象である対象物のモデルパターンを記憶する記憶部と、前記第１ベクトル情報と前記モデルパターンとの類似度を示す第１の評価値と、前記第２ベクトル情報と前記モデルパターンとの類似度を示す第２の評価値とを算出し、前記第１の評価値と前記第２の評価値とを比較して前記視野内における対象物領域を識別する識別手段とを具備することを特徴とする対象物識別装置が提供される。
【０００７】
このような手段を講じることにより、例えば中赤外線および遠赤外線の２つの波長帯で撮像された画像データが取得され、各画像データごとにピクセル間の信号強度の差分であるベクトル情報が算出される。このベクトル情報を用いれば対象物（目標またはフレア）の境界を明確に区別することができ、詳細な温度情報（特に分布形状）を基に識別を行うことが可能になる。よって識別すべき対象物の識別性能を向上させることができ、目標、あるいはフレアを明確に識別することが可能になる。従って、たとえ目標が遠行中にフレアを発出した場合でも目標を確実に検知できるようになり、ひいては飛翔体を確実に誘導することが可能になる。
【発明の効果】
【０００８】
この発明によれば、目標とフレアとの位置関係によらず、識別対象を確実に識別できるようにした対象物識別装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明に関わる対象物識別装置の第１の実施形態を示す機能ブロック図。
【図２】図１の対象物識別装置の光学系の一例を示す図。
【図３】中赤外線データ１０１および遠赤外線画像データ１０２の一例を示す図。
【図４】領域検出にあたり絶対量を用いる場合とベクトル量を用いる場合とを比較して示す図。
【図５】この発明に関わる対象物識別装置の第２の実施形態を示す機能ブロック図。
【図６】目標候補領域絞込み部１０６の作用を説明するための図。
【図７】この発明に関わる対象物識別装置の第３の実施形態を示す機能ブロック図。
【図８】この発明に関わる対象物識別装置の第４の実施形態を示す機能ブロック図。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
図１は、この発明に関わる対象物識別装置の第１の実施形態を示す機能ブロック図である。この実施形態に係わる対象物識別装置は、中赤外線および遠赤外線の２つの波長を用いて目標、またはフレアを識別する。もちろんこれら２つの波長帯に限らず近赤外線、あるいは紫外線などをも含めた複数の波長帯を用いることが可能である。目標およびフレアの温度は、中心部と周辺部のそれぞれで異なり、選定される波長の赤外線センサにより異なる像が得られる。
【００１１】
図１の対象物識別装置は、第１の目標候補領域検出部１０３と、第２の目標候補領域検出部１０４と、候補領域評価識別部１０５とを備える。第１の目標候補領域検出部１０３は、中赤外線画像データ１０１から第１の目標候補領域を検出する。第２の目標候補領域検出部１０４は、遠赤外線画像データ１０２から第２の目標候補領域を検出する。候補領域評価識別部１０５はデータベース部１０を備え、このデータベース部１０には目標識別のためのモデルパターン１０ａが記憶される。候補領域評価識別部１０５は、このモデルパターン１０ａと目標の候補領域データとを比較して目標候補領域に評価値を与え、そのスコアに基づいて対象物の存在領域を決定する。
【００１２】
モデルパターン１０ａは、識別対象としての目標の形状を示すパターン、または、フレアなどの妨害物の形状を示すパターンである。目標のパターンが記憶されていれば、候補領域評価識別部１０５は評価値をもとに目標の存在領域を決定する。フレアのパターンが記憶されていれば、候補領域評価識別部１０５は評価値をもとにフレアの存在領域を決定する。
【００１３】
図２は、図１の対象物識別装置の光学系の一例を示す図である。図２において撮像系１００はジンバル機構（図示せず）などにより駆動されて目標に指向する。視野内の像はレンズ２００およびダイクロイックミラー２０１を介して中赤外線センサ２０２、および遠赤外線センサ２０３に案内される。ダイクロイックミラー２０１は遠赤外線を透過し中赤外線を反射するもので、レンズ２００に対して後方に配置される。透過方向には遠赤外線センサ２０３が配置され、反射方向には中赤外線センサ２０２が配置される。このほか、多焦点レンズを用いて目標像を両センサ２０２，２０３に案内することもできる。
【００１４】
中赤外線センサ２０２は案内された光学的画像を中赤外線画像データ１０１に変換し、第１の目標候補領域検出部１０３（図１）に出力する。遠赤外線センサ２０３は案内された光学的画像を遠赤外線画像データ１０２に変換し、第２の目標候補領域検出部１０４に出力する。画像データ１０１，１０２のいずれも同じ視野内の画像であり、複数の画素（ピクセル）から構成される。
【００１５】
図３は、中赤外線データ１０１および遠赤外線画像データ１０２の一例を示す図である。図３（ａ）は中赤外線データ１０１を示し、図３（ｂ）は遠赤外線データ１０２を示す。各図において、領域１０１ａ、１０２ａはそれぞれ目標識別の閾値帯に対応する信号強度を示す領域である。これらの領域１０１ａ、１０２ａを例えば矩形の目標候補領域１０１ｂおよび１０２ｂにより抽出する。なお、目標候補領域１０１ｂ、１０２ｂは矩形に限らず、強度分布に従う任意の形状であってもよい。
目標候補領域を抽出するには、対象物の既知の温度データを用いて、対象物に対応する温度帯の領域を各画像データから対象物候補領域として抽出する手法が知られている。例えば目標の温度データを用いれば、目標の温度データに基づく閾値帯の信号強度を持つ領域が抽出される。
【００１６】
これに対しこの実施形態では、信号強度の閾値評価に代えて、各目標候補領域検出部１０３，１０４は、信号強度から演算されるベクトル情報を用いて目標の候補領域を検出する。以下に、目標を識別する手法につき詳しく説明する。なおフレアを識別するにも全く同様の手法を適用することができる。
【００１７】
ベクトル情報は、画像領域内の画素間の信号強度の差分として与えられ、次式（１）で表すことができる。
【数１】
【００１８】
式（１）においてＩは画素の信号強度であり、添え字ｉ、ｊは画素を区別するためのインデックスである。式（１）から得たベクトルＲi,jの大きさは画素間の信号強度の勾配の強度を示す。ベクトルの方向は画素の連結性を示す。すなわちベクトルＲi,jは画素の明るさの勾配に対する直交成分を示し、回転ベクトルとも称される量である。
【００１９】
目標候補領域検出部１０３，１０４は、このベクトルＲi,jを用いて信号分布形状の統計量を評価する。この統計量を用いることで、目標領域の抽出の指標を絶対量（強度そのもの）から相対量（強度間の関係）に置き換えることができる。従って目標候補領域検出部１０３，１０４に、信号レベルの強弱変化に対するロバストな性質を持たせることができる。
【００２０】
図４は、領域検出にあたり絶対量を用いる場合とベクトル量を用いる場合とを比較して示す図である。図４（ａ）は原画像データの一例であり、このデータから信号強度の比較により得た目標の境界データを図４（ｂ）に示す。既存の濃淡閾値処理、いわば２値化処理によればこの図４（ｂ）のデータを得られるが、明るさの変動により境界線がたやすく変化し、ロバスト性があるとはいえない。これは境界抽出の閾値が固定的であることによる、宿命的な不具合である。
【００２１】
図４（ｃ）は、この実施形態において新たに採用する、画素間の回転ベクトルを用いる手法（ベクトル処理）により抽出した境界線の一例を示す。ベクトル処理によれば明るさの変動に左右されることなく、視野内における境界線の位置を安定的に検出することが可能になる。つまりベクトル情報を得るには閾値を要さず、画素の明るさの相対的な関係に基づく処理方法であることから、画像の明るさの変化に対して高い安定性がある。よって境界が不鮮明であっても境界線を抽出でき、また、画素のサイズ以下の精度を得られるという利点もある。
【００２２】
目標候補領域検出部１０３，１０４は、それぞれ中赤外線画像データ１０１、遠赤外線画像データ１０２に上記の処理を施し、目標候補領域を抽出する。その結果は候補領域評価識別部１０５に与えられ、抽出された目標候補領域に評価値が与えられる。すなわち候補領域評価識別部１０５はモデルパターン１０ａとベクトル情報とを比較し、その類似度を示すスコア（評価値）を中赤外線画像、遠赤外線画像の双方につき算出する。そうしてこれらの両画像データで評価値を比較し、例えば評価値の最も高い領域を、画像フレーム内における目標の存在領域として識別する。
さらに、フレアのモデルパターン（温度データなど）を合わせてデータベース部１０に記憶させておき、フレアのモデルパターンと目標候補領域との類似度を算出する。そしてこの類似度を規定の閾値で判別し、閾値よりも類似度の高い領域をフレアとして識別して目標候補から除外する。
【００２３】
以上述べたように第１の実施形態によれば、中赤外線画像データ１０１と遠赤外線画像データ１０２とのそれぞれにつき、画素間での信号強度の差分によるベクトル情報を算出する。各画像データにつき得られたベクトル情報を予め用意したモデルパターン１０ａと比較し、その類似度を反映する評価値が高い領域を目標の存在領域として抽出するようにしている。
【００２４】
既存の技術では、信号強度の閾値評価によって目標候補領域を検出するようにしている。これは、撮影条件に変動がない環境化においては高い処理速度を得られ優位性を持つ。しかしながら現実には撮影条件が常に変動するという環境が圧倒的に多く、信号レベルにも変動が生じる。特に、対象物識別装置を飛翔体に搭載して目標を追跡するといった形態においては、処理速度よりも環境変動への耐性を求められる。
【００２５】
これに応え、この実施形態によればロバスト性を高めることができ、環境変動への耐性の高い対象物識別装置を実現することが可能になる。すなわち単画像で信号強度のみを用いるケースで生じる誤識別を防ぐことができ、目標とフレアとを確実に区別することが可能になる。ひいてはフレアへの誤誘導が防止され、目標への誘導精度の向上および誘導の信頼性を向上させることが可能になる。
【００２６】
特に、フレアを発射しつつ遠行するといったケースでは環境変動の激しさとも相俟ってさらに高いレベルでの精度を要求される。この実施形態によればベクトル情報を用いた識別手法により、このようなニーズにも十分に応えることが可能になる。これらのことから、目標とフレアとの位置関係によらず、識別対象を確実に識別できるようにした対象物識別装置を提供することが可能となる。
【００２７】
［第２の実施形態］
図５は、この発明に関わる対象物識別装置の第２の実施形態を示す機能ブロック図である。図５において図１と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。図５の装置は目標候補領域検出部１０３，１０４と候補領域評価識別部１０５との間に、候補領域絞込み部１０６を備える。
【００２８】
目標候補領域絞込み部１０６は、中赤外線画像データ１０１から抽出された目標候補領域と、遠赤外線画像データ１０２から抽出された目標候補領域とを比較する。そして、両画像データに存在し位置関係の一致する目標候補領域のみを、目標候補として残す。この処理により、中赤外線画像または遠赤外線画像のいずれか片方の画像データにしか存在しない領域は、目標候補から排除される。
【００２９】
図６は、目標候補領域絞込み部１０６の作用を説明するための図である。図６（ａ）の中赤外線画像データ１０１には、領域１０１ｂを含む目標候補領域１０１ｄが抽出されている。一方、図６（ｂ）の遠赤外線画像データ１０２の同じ位置には領域１０１ｂが現れておらず、目標候補領域が検出されない。よって目標候補領域絞込み部１０６は目標候補領域１０１ｄを処理対象から除外する。そして、目標候補領域絞込み部１０６により絞り込まれた目標候補領域は候補領域評価識別部１０５に与えられ、評価値に基づく判定により目標の存在領域が決定される。
【００３０】
このように第２の実施形態では、複数の波長帯での画像データを比較し、目標候補領域の位置関係の整合性から候補領域を絞り込み、いわば取捨選択する。そしてその結果を用いて目標識別を行うようにしているので、目標識別および誘導の信頼性の向上に加え、領域評価処理および識別処理の負荷を低減させることが可能になる。
【００３１】
［第３の実施形態］
図７は、この発明に関わる対象物識別装置の第３の実施形態を示す機能ブロック図である。図７において図１と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。図７の装置では中赤外線画像データ１０１および遠赤外線画像データ１０２は画像処理部１０７に与えられる。画像処理部１０７は中赤外線画像データ１０１と遠赤外線画像データ１０２とを融合し、一枚の画像フレームを形成する。この画像フレームは目標候補領域検出部１０８に与えられ、目標候補領域のベクトル情報が抽出される。この目標候補領域とモデルパターン１０ａとを用いた評価値の算出により、候補領域評価識別部１０５において、目標位置が最終的に決定される。
【００３２】
画像処理部１０７により中赤外線画像データ１０１と遠赤外線画像データ１０２とを融合することで、例えば中赤外線画像データ１０１上では信号強度が強すぎて像が得られなかった領域（飽和領域）に対し、遠赤外線画像データ１０２上の信号が補われた状態の画像フレームを得ることができる。この画像フレームは目標候補検出部１０８によりベクトル処理され、候補領域評価識別部１０５による評価のもとで目標領域が識別される。
【００３３】
第３の実施形態によれば、複数波長帯の画像データを利用することによる信頼性を損なわず、複数波長帯の画像データを一度に評価することができる。したがって領域評価処理および識別処理の負荷を低減させることができ、また、システムリソースを節約することができる。
【００３４】
［第４の実施形態］
図８は、この発明に関わる対象物識別装置の第４の実施形態を示す機能ブロック図である。図８において図１と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。図８の装置は図１の構成に加え、中赤外線画像の系統に設けられる第１の候補領域記録部１１１と、遠赤外線画像の系統に設けられる第２の候補領域記録部１１２とを備える。
【００３５】
第１の目標候補領域検出部１０３で検出された中赤外線の目標候補領域は、第１の候補領域記録部１１１に与えられ、連続するＮ（Ｎは自然数）フレーム分にわたって記憶される。同様に、第２の目標候補領域検出部１０４で検出された遠赤外線の目標候補領域は、第２の候補領域記録部１１２に与えられ、連続するＮフレーム分にわたって記憶される。記憶部１１２，１１３を設けることにより、現在のフレームから遡ってＮフレーム分までの画像データを用いて目標候補領域を抽出することができる。候補領域評価識別部１０５は、記憶部１１２，１１３に蓄積されるＮフレーム分の目標候補領域の時間的な変化に基づいて、各波長領域の画像データごとに目標候補領域を識別する。
【００３６】
この第４の実施形態によれば、目標候補領域を複数のフレーム分の一定期間にわたり観察することが可能になり、時間的な変化を特徴量の一つとして評価することができるようになる。この新たな特徴量を用いることで、ベクトル情報を用いることによる効果に加え、誤識別をさらに低減することが可能になる。特に、フレアのような妨害物は発出されたのち時間の経過とともに温度が減衰するという特性を持つので、時間変化を考慮することでフレアと目標とを確実に分離することができる。
以上述べたように各実施の形態によれば、目標とフレアとの位置関係によらず、識別対象を確実に識別できるようにした対象物識別装置を提供することが可能になる。
【００３７】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００３８】
１０…データベース部、１０ａ…モデルパターン、１０１…中赤外線画像データ、１０２…遠赤外線画像データ、１０３…第１の目標候補領域検出部、１０４…第２の目標候補領域検出部、１０５…候補領域評価識別部、１０６…候補領域絞込み部、１０７…画像処理部、１０８…目標候補領域検出部、１００…撮像系、２００…レンズ、２０１…ダイクロイックミラー、２０２…中赤外線センサ、２０３…遠赤外線センサ、１０１ａ，１０２ａ…領域、１０１ｂ，１０２ｂ…目標候補領域、１１１…第１の候補領域記録部、１１２…第２の候補領域記録部
【技術分野】
【０００１】
この発明は、例えば対空誘導飛翔体の誘導に用いられる対象物識別装置に関する。
【背景技術】
【０００２】
赤外線による対象物識別装置が知られている。この種の装置では中赤外線波長センサで中赤外線領域の赤外線画像データを取得し、信号強度に基づいて目標を識別する。特許文献１、２には、目標飛翔体から発射されるフレア（妨害物）による誤識別を回避するため、近赤外線および中赤外線の２つの波長帯の画像データを利用して目標を識別する技術が提案されている。
【０００３】
しかしながら、目標が遠行（赤外線撮像装置に対して遠方へ進行）している状態では本体が目標の排気部に隠れてしまい、目標の情報は排気部の像しか得られなくなってしまう。このような状況下では２つの波長を用いても目標の排気部とフレアとを区別できず、誤検出の可能性が依然として残る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許３４３１２０６号公報
【特許文献２】特開平６−１７４８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上のように、既存の技術では目標が遠行している場合に誤検出の余地があり、飛翔体が誤った経路に誘導されてしまう虞がある。特許文献１の技術は目標本体の情報が画像内に映っていることを前提にしており、目標が遠行状態にあれば本体が排気部に隠れてしまうので、誤識別を起こす。特許文献２では目標の本体とフレアとの温度差に着目し、近赤外線画像と中赤外線画像との減算処理による差分画像から目標を検出するようにしているが、目標が遠行状態にあれば目標の排気部とフレアの温度差がほとんどなくなるので、やはり目標とフレアとを識別することが不可能になる。
この発明は上記事情によりなされたもので、その目的は、目標とフレアとの位置関係によらず、識別対象を確実に識別できるようにした対象物識別装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためにこの発明の一態様によれば、第１の波長帯での画像データである第１画像データと、第２の波長帯での画像データである第２画像データとを同じ視野で取得する画像データ取得手段と、前記第１画像データにおける画素間の信号強度の差分を演算して得られる第１ベクトル情報と、前記第２画像データにおける画素間の信号強度の差分を演算して得られる第２ベクトル情報とを算出する算出手段と、識別対象である対象物のモデルパターンを記憶する記憶部と、前記第１ベクトル情報と前記モデルパターンとの類似度を示す第１の評価値と、前記第２ベクトル情報と前記モデルパターンとの類似度を示す第２の評価値とを算出し、前記第１の評価値と前記第２の評価値とを比較して前記視野内における対象物領域を識別する識別手段とを具備することを特徴とする対象物識別装置が提供される。
【０００７】
このような手段を講じることにより、例えば中赤外線および遠赤外線の２つの波長帯で撮像された画像データが取得され、各画像データごとにピクセル間の信号強度の差分であるベクトル情報が算出される。このベクトル情報を用いれば対象物（目標またはフレア）の境界を明確に区別することができ、詳細な温度情報（特に分布形状）を基に識別を行うことが可能になる。よって識別すべき対象物の識別性能を向上させることができ、目標、あるいはフレアを明確に識別することが可能になる。従って、たとえ目標が遠行中にフレアを発出した場合でも目標を確実に検知できるようになり、ひいては飛翔体を確実に誘導することが可能になる。
【発明の効果】
【０００８】
この発明によれば、目標とフレアとの位置関係によらず、識別対象を確実に識別できるようにした対象物識別装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明に関わる対象物識別装置の第１の実施形態を示す機能ブロック図。
【図２】図１の対象物識別装置の光学系の一例を示す図。
【図３】中赤外線データ１０１および遠赤外線画像データ１０２の一例を示す図。
【図４】領域検出にあたり絶対量を用いる場合とベクトル量を用いる場合とを比較して示す図。
【図５】この発明に関わる対象物識別装置の第２の実施形態を示す機能ブロック図。
【図６】目標候補領域絞込み部１０６の作用を説明するための図。
【図７】この発明に関わる対象物識別装置の第３の実施形態を示す機能ブロック図。
【図８】この発明に関わる対象物識別装置の第４の実施形態を示す機能ブロック図。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
図１は、この発明に関わる対象物識別装置の第１の実施形態を示す機能ブロック図である。この実施形態に係わる対象物識別装置は、中赤外線および遠赤外線の２つの波長を用いて目標、またはフレアを識別する。もちろんこれら２つの波長帯に限らず近赤外線、あるいは紫外線などをも含めた複数の波長帯を用いることが可能である。目標およびフレアの温度は、中心部と周辺部のそれぞれで異なり、選定される波長の赤外線センサにより異なる像が得られる。
【００１１】
図１の対象物識別装置は、第１の目標候補領域検出部１０３と、第２の目標候補領域検出部１０４と、候補領域評価識別部１０５とを備える。第１の目標候補領域検出部１０３は、中赤外線画像データ１０１から第１の目標候補領域を検出する。第２の目標候補領域検出部１０４は、遠赤外線画像データ１０２から第２の目標候補領域を検出する。候補領域評価識別部１０５はデータベース部１０を備え、このデータベース部１０には目標識別のためのモデルパターン１０ａが記憶される。候補領域評価識別部１０５は、このモデルパターン１０ａと目標の候補領域データとを比較して目標候補領域に評価値を与え、そのスコアに基づいて対象物の存在領域を決定する。
【００１２】
モデルパターン１０ａは、識別対象としての目標の形状を示すパターン、または、フレアなどの妨害物の形状を示すパターンである。目標のパターンが記憶されていれば、候補領域評価識別部１０５は評価値をもとに目標の存在領域を決定する。フレアのパターンが記憶されていれば、候補領域評価識別部１０５は評価値をもとにフレアの存在領域を決定する。
【００１３】
図２は、図１の対象物識別装置の光学系の一例を示す図である。図２において撮像系１００はジンバル機構（図示せず）などにより駆動されて目標に指向する。視野内の像はレンズ２００およびダイクロイックミラー２０１を介して中赤外線センサ２０２、および遠赤外線センサ２０３に案内される。ダイクロイックミラー２０１は遠赤外線を透過し中赤外線を反射するもので、レンズ２００に対して後方に配置される。透過方向には遠赤外線センサ２０３が配置され、反射方向には中赤外線センサ２０２が配置される。このほか、多焦点レンズを用いて目標像を両センサ２０２，２０３に案内することもできる。
【００１４】
中赤外線センサ２０２は案内された光学的画像を中赤外線画像データ１０１に変換し、第１の目標候補領域検出部１０３（図１）に出力する。遠赤外線センサ２０３は案内された光学的画像を遠赤外線画像データ１０２に変換し、第２の目標候補領域検出部１０４に出力する。画像データ１０１，１０２のいずれも同じ視野内の画像であり、複数の画素（ピクセル）から構成される。
【００１５】
図３は、中赤外線データ１０１および遠赤外線画像データ１０２の一例を示す図である。図３（ａ）は中赤外線データ１０１を示し、図３（ｂ）は遠赤外線データ１０２を示す。各図において、領域１０１ａ、１０２ａはそれぞれ目標識別の閾値帯に対応する信号強度を示す領域である。これらの領域１０１ａ、１０２ａを例えば矩形の目標候補領域１０１ｂおよび１０２ｂにより抽出する。なお、目標候補領域１０１ｂ、１０２ｂは矩形に限らず、強度分布に従う任意の形状であってもよい。
目標候補領域を抽出するには、対象物の既知の温度データを用いて、対象物に対応する温度帯の領域を各画像データから対象物候補領域として抽出する手法が知られている。例えば目標の温度データを用いれば、目標の温度データに基づく閾値帯の信号強度を持つ領域が抽出される。
【００１６】
これに対しこの実施形態では、信号強度の閾値評価に代えて、各目標候補領域検出部１０３，１０４は、信号強度から演算されるベクトル情報を用いて目標の候補領域を検出する。以下に、目標を識別する手法につき詳しく説明する。なおフレアを識別するにも全く同様の手法を適用することができる。
【００１７】
ベクトル情報は、画像領域内の画素間の信号強度の差分として与えられ、次式（１）で表すことができる。
【数１】
【００１８】
式（１）においてＩは画素の信号強度であり、添え字ｉ、ｊは画素を区別するためのインデックスである。式（１）から得たベクトルＲi,jの大きさは画素間の信号強度の勾配の強度を示す。ベクトルの方向は画素の連結性を示す。すなわちベクトルＲi,jは画素の明るさの勾配に対する直交成分を示し、回転ベクトルとも称される量である。
【００１９】
目標候補領域検出部１０３，１０４は、このベクトルＲi,jを用いて信号分布形状の統計量を評価する。この統計量を用いることで、目標領域の抽出の指標を絶対量（強度そのもの）から相対量（強度間の関係）に置き換えることができる。従って目標候補領域検出部１０３，１０４に、信号レベルの強弱変化に対するロバストな性質を持たせることができる。
【００２０】
図４は、領域検出にあたり絶対量を用いる場合とベクトル量を用いる場合とを比較して示す図である。図４（ａ）は原画像データの一例であり、このデータから信号強度の比較により得た目標の境界データを図４（ｂ）に示す。既存の濃淡閾値処理、いわば２値化処理によればこの図４（ｂ）のデータを得られるが、明るさの変動により境界線がたやすく変化し、ロバスト性があるとはいえない。これは境界抽出の閾値が固定的であることによる、宿命的な不具合である。
【００２１】
図４（ｃ）は、この実施形態において新たに採用する、画素間の回転ベクトルを用いる手法（ベクトル処理）により抽出した境界線の一例を示す。ベクトル処理によれば明るさの変動に左右されることなく、視野内における境界線の位置を安定的に検出することが可能になる。つまりベクトル情報を得るには閾値を要さず、画素の明るさの相対的な関係に基づく処理方法であることから、画像の明るさの変化に対して高い安定性がある。よって境界が不鮮明であっても境界線を抽出でき、また、画素のサイズ以下の精度を得られるという利点もある。
【００２２】
目標候補領域検出部１０３，１０４は、それぞれ中赤外線画像データ１０１、遠赤外線画像データ１０２に上記の処理を施し、目標候補領域を抽出する。その結果は候補領域評価識別部１０５に与えられ、抽出された目標候補領域に評価値が与えられる。すなわち候補領域評価識別部１０５はモデルパターン１０ａとベクトル情報とを比較し、その類似度を示すスコア（評価値）を中赤外線画像、遠赤外線画像の双方につき算出する。そうしてこれらの両画像データで評価値を比較し、例えば評価値の最も高い領域を、画像フレーム内における目標の存在領域として識別する。
さらに、フレアのモデルパターン（温度データなど）を合わせてデータベース部１０に記憶させておき、フレアのモデルパターンと目標候補領域との類似度を算出する。そしてこの類似度を規定の閾値で判別し、閾値よりも類似度の高い領域をフレアとして識別して目標候補から除外する。
【００２３】
以上述べたように第１の実施形態によれば、中赤外線画像データ１０１と遠赤外線画像データ１０２とのそれぞれにつき、画素間での信号強度の差分によるベクトル情報を算出する。各画像データにつき得られたベクトル情報を予め用意したモデルパターン１０ａと比較し、その類似度を反映する評価値が高い領域を目標の存在領域として抽出するようにしている。
【００２４】
既存の技術では、信号強度の閾値評価によって目標候補領域を検出するようにしている。これは、撮影条件に変動がない環境化においては高い処理速度を得られ優位性を持つ。しかしながら現実には撮影条件が常に変動するという環境が圧倒的に多く、信号レベルにも変動が生じる。特に、対象物識別装置を飛翔体に搭載して目標を追跡するといった形態においては、処理速度よりも環境変動への耐性を求められる。
【００２５】
これに応え、この実施形態によればロバスト性を高めることができ、環境変動への耐性の高い対象物識別装置を実現することが可能になる。すなわち単画像で信号強度のみを用いるケースで生じる誤識別を防ぐことができ、目標とフレアとを確実に区別することが可能になる。ひいてはフレアへの誤誘導が防止され、目標への誘導精度の向上および誘導の信頼性を向上させることが可能になる。
【００２６】
特に、フレアを発射しつつ遠行するといったケースでは環境変動の激しさとも相俟ってさらに高いレベルでの精度を要求される。この実施形態によればベクトル情報を用いた識別手法により、このようなニーズにも十分に応えることが可能になる。これらのことから、目標とフレアとの位置関係によらず、識別対象を確実に識別できるようにした対象物識別装置を提供することが可能となる。
【００２７】
［第２の実施形態］
図５は、この発明に関わる対象物識別装置の第２の実施形態を示す機能ブロック図である。図５において図１と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。図５の装置は目標候補領域検出部１０３，１０４と候補領域評価識別部１０５との間に、候補領域絞込み部１０６を備える。
【００２８】
目標候補領域絞込み部１０６は、中赤外線画像データ１０１から抽出された目標候補領域と、遠赤外線画像データ１０２から抽出された目標候補領域とを比較する。そして、両画像データに存在し位置関係の一致する目標候補領域のみを、目標候補として残す。この処理により、中赤外線画像または遠赤外線画像のいずれか片方の画像データにしか存在しない領域は、目標候補から排除される。
【００２９】
図６は、目標候補領域絞込み部１０６の作用を説明するための図である。図６（ａ）の中赤外線画像データ１０１には、領域１０１ｂを含む目標候補領域１０１ｄが抽出されている。一方、図６（ｂ）の遠赤外線画像データ１０２の同じ位置には領域１０１ｂが現れておらず、目標候補領域が検出されない。よって目標候補領域絞込み部１０６は目標候補領域１０１ｄを処理対象から除外する。そして、目標候補領域絞込み部１０６により絞り込まれた目標候補領域は候補領域評価識別部１０５に与えられ、評価値に基づく判定により目標の存在領域が決定される。
【００３０】
このように第２の実施形態では、複数の波長帯での画像データを比較し、目標候補領域の位置関係の整合性から候補領域を絞り込み、いわば取捨選択する。そしてその結果を用いて目標識別を行うようにしているので、目標識別および誘導の信頼性の向上に加え、領域評価処理および識別処理の負荷を低減させることが可能になる。
【００３１】
［第３の実施形態］
図７は、この発明に関わる対象物識別装置の第３の実施形態を示す機能ブロック図である。図７において図１と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。図７の装置では中赤外線画像データ１０１および遠赤外線画像データ１０２は画像処理部１０７に与えられる。画像処理部１０７は中赤外線画像データ１０１と遠赤外線画像データ１０２とを融合し、一枚の画像フレームを形成する。この画像フレームは目標候補領域検出部１０８に与えられ、目標候補領域のベクトル情報が抽出される。この目標候補領域とモデルパターン１０ａとを用いた評価値の算出により、候補領域評価識別部１０５において、目標位置が最終的に決定される。
【００３２】
画像処理部１０７により中赤外線画像データ１０１と遠赤外線画像データ１０２とを融合することで、例えば中赤外線画像データ１０１上では信号強度が強すぎて像が得られなかった領域（飽和領域）に対し、遠赤外線画像データ１０２上の信号が補われた状態の画像フレームを得ることができる。この画像フレームは目標候補検出部１０８によりベクトル処理され、候補領域評価識別部１０５による評価のもとで目標領域が識別される。
【００３３】
第３の実施形態によれば、複数波長帯の画像データを利用することによる信頼性を損なわず、複数波長帯の画像データを一度に評価することができる。したがって領域評価処理および識別処理の負荷を低減させることができ、また、システムリソースを節約することができる。
【００３４】
［第４の実施形態］
図８は、この発明に関わる対象物識別装置の第４の実施形態を示す機能ブロック図である。図８において図１と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。図８の装置は図１の構成に加え、中赤外線画像の系統に設けられる第１の候補領域記録部１１１と、遠赤外線画像の系統に設けられる第２の候補領域記録部１１２とを備える。
【００３５】
第１の目標候補領域検出部１０３で検出された中赤外線の目標候補領域は、第１の候補領域記録部１１１に与えられ、連続するＮ（Ｎは自然数）フレーム分にわたって記憶される。同様に、第２の目標候補領域検出部１０４で検出された遠赤外線の目標候補領域は、第２の候補領域記録部１１２に与えられ、連続するＮフレーム分にわたって記憶される。記憶部１１２，１１３を設けることにより、現在のフレームから遡ってＮフレーム分までの画像データを用いて目標候補領域を抽出することができる。候補領域評価識別部１０５は、記憶部１１２，１１３に蓄積されるＮフレーム分の目標候補領域の時間的な変化に基づいて、各波長領域の画像データごとに目標候補領域を識別する。
【００３６】
この第４の実施形態によれば、目標候補領域を複数のフレーム分の一定期間にわたり観察することが可能になり、時間的な変化を特徴量の一つとして評価することができるようになる。この新たな特徴量を用いることで、ベクトル情報を用いることによる効果に加え、誤識別をさらに低減することが可能になる。特に、フレアのような妨害物は発出されたのち時間の経過とともに温度が減衰するという特性を持つので、時間変化を考慮することでフレアと目標とを確実に分離することができる。
以上述べたように各実施の形態によれば、目標とフレアとの位置関係によらず、識別対象を確実に識別できるようにした対象物識別装置を提供することが可能になる。
【００３７】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００３８】
１０…データベース部、１０ａ…モデルパターン、１０１…中赤外線画像データ、１０２…遠赤外線画像データ、１０３…第１の目標候補領域検出部、１０４…第２の目標候補領域検出部、１０５…候補領域評価識別部、１０６…候補領域絞込み部、１０７…画像処理部、１０８…目標候補領域検出部、１００…撮像系、２００…レンズ、２０１…ダイクロイックミラー、２０２…中赤外線センサ、２０３…遠赤外線センサ、１０１ａ，１０２ａ…領域、１０１ｂ，１０２ｂ…目標候補領域、１１１…第１の候補領域記録部、１１２…第２の候補領域記録部
【特許請求の範囲】
【請求項１】
第１の波長帯での画像データである第１画像データと、第２の波長帯での画像データである第２画像データとを同じ視野で取得する画像データ取得手段と、
前記第１画像データにおける画素間の信号強度の差分を演算して得られる第１ベクトル情報と、前記第２画像データにおける画素間の信号強度の差分を演算して得られる第２ベクトル情報とを算出する算出手段と、
識別対象である対象物のモデルパターンを記憶する記憶部と、
前記第１ベクトル情報と前記モデルパターンとの類似度を示す第１の評価値と、前記第２ベクトル情報と前記モデルパターンとの類似度を示す第２の評価値とを算出し、前記第１の評価値と前記第２の評価値とを比較して前記視野内における対象物領域を識別する識別手段とを具備することを特徴とする対象物識別装置。
【請求項２】
前記記憶部は目標のモデルパターンを記憶し、
前記識別手段は、前記対象物領域と前記目標のモデルパターンとの類似度を算出し、その値に基づいて前記視野内における対象物を識別することを特徴とする請求項１に記載の対象物識別装置。
【請求項３】
前記記憶部は目標に対するフレアのモデルパターンを記憶し、
前記識別手段は、前記対象物領域と前記フレアのモデルパターンとの類似度を算出し、その値に基づいて前記視野内におけるフレアを識別することを特徴とする請求項１に記載の対象物識別装置。
【請求項４】
さらに、前記第１画像データに含まれる対象物候補領域と、前記第２画像データに含まれる対象物候補領域との前記視野内における位置関係の整合性から、識別すべき対象物候補領域を取捨選択する選択手段を具備し、
前記識別手段は、この選択手段により選択された対象物候補領域から前記対象物領域を識別することを特徴とする請求項１に記載の対象物識別装置。
【請求項５】
さらに、前記第１画像データと前記第２画像データとを融合して融合画像データを形成する画像処理手段を具備し、
前記算出手段は、前記融合画像データにおける画素間の信号強度の差分を演算して得られる融合ベクトル情報を算出し、
前記識別手段は、前記融合ベクトル情報と前記対象物のモデルパターンとの類似度を示す評価値を算出し、この評価値に基づいて前記融合画像データ内における対象物領域を識別することを特徴とする請求項１に記載の対象物識別装置。
【請求項６】
さらに、前記第１画像データにおいて検出された対象物候補領域と前記第２画像データにおいて検出された対象物候補領域とを、連続する複数のフレームにわたり記憶する記憶手段を具備し、
前記識別手段は、前記複数のフレームにわたる対象物候補領域の時間的な変化に基づいて前記対象物候補領域を識別することを特徴とする請求項１に記載の対象物識別装置。
【請求項１】
第１の波長帯での画像データである第１画像データと、第２の波長帯での画像データである第２画像データとを同じ視野で取得する画像データ取得手段と、
前記第１画像データにおける画素間の信号強度の差分を演算して得られる第１ベクトル情報と、前記第２画像データにおける画素間の信号強度の差分を演算して得られる第２ベクトル情報とを算出する算出手段と、
識別対象である対象物のモデルパターンを記憶する記憶部と、
前記第１ベクトル情報と前記モデルパターンとの類似度を示す第１の評価値と、前記第２ベクトル情報と前記モデルパターンとの類似度を示す第２の評価値とを算出し、前記第１の評価値と前記第２の評価値とを比較して前記視野内における対象物領域を識別する識別手段とを具備することを特徴とする対象物識別装置。
【請求項２】
前記記憶部は目標のモデルパターンを記憶し、
前記識別手段は、前記対象物領域と前記目標のモデルパターンとの類似度を算出し、その値に基づいて前記視野内における対象物を識別することを特徴とする請求項１に記載の対象物識別装置。
【請求項３】
前記記憶部は目標に対するフレアのモデルパターンを記憶し、
前記識別手段は、前記対象物領域と前記フレアのモデルパターンとの類似度を算出し、その値に基づいて前記視野内におけるフレアを識別することを特徴とする請求項１に記載の対象物識別装置。
【請求項４】
さらに、前記第１画像データに含まれる対象物候補領域と、前記第２画像データに含まれる対象物候補領域との前記視野内における位置関係の整合性から、識別すべき対象物候補領域を取捨選択する選択手段を具備し、
前記識別手段は、この選択手段により選択された対象物候補領域から前記対象物領域を識別することを特徴とする請求項１に記載の対象物識別装置。
【請求項５】
さらに、前記第１画像データと前記第２画像データとを融合して融合画像データを形成する画像処理手段を具備し、
前記算出手段は、前記融合画像データにおける画素間の信号強度の差分を演算して得られる融合ベクトル情報を算出し、
前記識別手段は、前記融合ベクトル情報と前記対象物のモデルパターンとの類似度を示す評価値を算出し、この評価値に基づいて前記融合画像データ内における対象物領域を識別することを特徴とする請求項１に記載の対象物識別装置。
【請求項６】
さらに、前記第１画像データにおいて検出された対象物候補領域と前記第２画像データにおいて検出された対象物候補領域とを、連続する複数のフレームにわたり記憶する記憶手段を具備し、
前記識別手段は、前記複数のフレームにわたる対象物候補領域の時間的な変化に基づいて前記対象物候補領域を識別することを特徴とする請求項１に記載の対象物識別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２１０２１２（Ｐ２０１０−２１０２１２Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−５９７３０（Ｐ２００９−５９７３０）
【出願日】平成２１年３月１２日（２００９．３．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年３月１２日（２００９．３．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]