合成開口レーダ画像による目標物識別方法及び装置
【課題】２次元ＳＡＲ画像における倒れ込み現象による影響を除去し目標対象の識別精度を向上させる。また、目標の領域そのものを精度良く決定し識別精度を向上させる。
【解決手段】本発明の目標物識別装置は、ＳＡＲ部１６１（合成開口レーダ部）と、レーダ反射信号をＳＡＲ部１６１から入力し２次元ＳＡＲ画像を生成するＳＡＲ画像取得部１６２と、ＳＡＲ画像の中から目標物を切り出す対象切り出し部１６３と、切り出された目標物の特徴量を計算する特徴計算部１６４と、モデルを記憶するモデル記憶部１６７と、目標物の特徴がモデルの特徴と合致するか否か識別する対象識別部１６５とを備える。対象識別部１６５は、飛翔体の飛翔方向及び目標物の姿勢に依存して目標物の２次元レーダ画像上に現れる変形（倒れ込み）を考慮し、反射強度分布をレーダ照射方向に射影して、目標物の特徴が、モデルの特徴と合致するか否か識別する。
【解決手段】本発明の目標物識別装置は、ＳＡＲ部１６１（合成開口レーダ部）と、レーダ反射信号をＳＡＲ部１６１から入力し２次元ＳＡＲ画像を生成するＳＡＲ画像取得部１６２と、ＳＡＲ画像の中から目標物を切り出す対象切り出し部１６３と、切り出された目標物の特徴量を計算する特徴計算部１６４と、モデルを記憶するモデル記憶部１６７と、目標物の特徴がモデルの特徴と合致するか否か識別する対象識別部１６５とを備える。対象識別部１６５は、飛翔体の飛翔方向及び目標物の姿勢に依存して目標物の２次元レーダ画像上に現れる変形（倒れ込み）を考慮し、反射強度分布をレーダ照射方向に射影して、目標物の特徴が、モデルの特徴と合致するか否か識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飛翔体に搭載される合成開口レーダ（ＳＡＲ）を使用し、飛翔体の飛翔方向及び目標物の姿勢に依存して変形する目標物の２次元レーダ画像の特徴が、記憶されたモデルの特徴と合致するか否か識別する目標物識別方法及び装置に関する。特に、２次元ＳＡＲ画像において、背の高い構造物が飛翔体に向かって倒れ込む「倒れ込み」（フォーショートニング）を考慮した目標物識別方法及び装置に関する。
【背景技術】
【０００２】
衛星からのリモートセンシングにおける合成開口レーダ（ＳＡＲ）で取得した画像に基づいて、目標物を識別するためのひとつの手法として、特許文献１に開示された技術では、ステレオＳＡＲ（同じ目標に対して同時に複数の画像を取得することで、複数画像の位相差からベースラインを求め精度よく移動物体を抽出する。また、特許文献２に開示された技術では、分割ＳＡＲ（画像化する際に少し時間のずれた複数画像を生成してその関係により安定した構造物を抽出する。また、特許文献３に開示された技術では、逆合成開口（焦点を合わせた画像を取得する方法）（特許文献４参照）で抽出した画像に対して、目標の２次元パターンをマッチングして対象の種類を判別する。
【特許文献１】特開平１０−２３２２８２号公報（段落０００６）
【特許文献２】特開２００２−２１４３３４号公報（段落００７）
【特許文献３】特開平１１−１０９０１３号公報（段落００１６）
【特許文献４】特開２００１−２２１８５７号公報（段落００３９）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、これらの従来技術では、第１に、例えば船舶等の高さを持つ構造物の集まりで成り立つ対象を識別する場合、構造物同士の位置関係や高さの関係におけるＳＡＲ特有の変形（倒れ込み（フォーショートニング））の影響は除去できず、識別精度が低下するという問題点があった。
【０００４】
そこで、図１を参照して、第１の問題点（倒れ込み）についてさらに説明する。図１（Ａ）は人工衛星等の飛翔体が艦船にレーダ電波を照射している。レーダ電波は、艦船の高いところにある部分から反射されれば、それだけ短時間で飛翔体に戻る。すなわち、高いところにあるもの程、飛翔体に近づいて見える。これが倒れ込みであり、艦船Ｓ１のマスト１の頂上は海面上衛星に近い点Ａに倒れ込む。また、マストより低い位置にあるブリッジ状の点Ｐは点Ａより飛翔体から遠い点Ｂに倒れ込む。図１（Ｂ）は、２次元ＳＡＲ画像における倒れ込みを示すもので、船腹方向からレーダ照射を行えば、船舶Ｓ１のマスト１の頂点は、船腹方向（レーダ照射方向と反対の飛翔体方向）に倒れ込む。図１（Ｃ）は、レーダ照射方向に斜めに進行する艦船Ｓ１での倒れ込みを示したものであるが、倒れ込み方向は、他の構成部分との関係では図１（Ｂ）の場合とは異なる。
【０００５】
また、第２に、目標の領域そのものを精度よく決定することが前提であるが、ＳＡＲの信号の特徴（目標の領域でも反射強度の低い部分がありうる）を踏まえると必ずしも正確に目標領域を決定できるとは限らないという問題点があった。
【０００６】
そこで、図２、図３、図４を参照して、第２の問題点（目標領域の決定）についてさらに説明する。まず、図２（Ａ）は、艦船のモデルであり、この艦船は、胴体Ｓ、ブリッジＢ、マスト２１、２２からなる。図２（Ｂ）には、この艦船からのレーダ反射を概念的に示す。反射レーダは、スポットとして示されており、胴体のエッジ部からの反射Ｑ、ブリッジのエッジ部からの反射Ｐなどの強度が強い。マスト２１、２２からの反射も強いが、２次元ＳＡＲ画像では、エッジ部より面積の大きな反射として現れる。図３は、従来の目標物体認識のフローチャートである。まず、Ｓ３０において、船舶にレーダ照射が行われ、Ｓ３１において、２次元ＳＡＲ画像が取得される。この２次元ＳＡＲ画像には 目標船舶だけでなく、波浪や他の物体も含まれる。そこで、Ｓ３２において、高輝度点群をピックアップし、Ｓ３３において、目標対象を切り出す。しかし、胴体のエッジ、たとえば点Ｑ１、Ｑ２、ブリッジのエッジＱ３などからの反射が強くないこともあり、目標対象が正しく切り出せないことがある。さらに、Ｓ３４において、レーダ照射方向を考慮せずに切り出し長方形の長辺（船体軸方向）を横軸として反射強度信号のヒストグラムを計算すると（以下、このような計算処理を「射影」という）、目標対象のプロファイルを正確に表さないこともある。図４（Ａ）、図４（Ｂ）は、船体の向きとレーダ照射方向に依存して信号強度プロファイルが変化することを示している。また、図４（Ｃ）、（Ｄ）は、岸壁Ｙが目標艦船Ｘに近接しており、高輝度点を切り出す長方形が、岸壁の一部に食い込んでおり、切り出しが正確に行われない場合を示す。
【０００７】
そこで、本発明の第１の課題は、倒れ込みによる影響を除去し、目標対象の識別精度を向上させることである。また、本発明の第２の課題は、目標の領域そのものを精度良く決定し、目標対象の識別精度を向上させることである。
【課題を解決するための手段】
【０００８】
上述した課題を解決するための第１の手段は、飛翔体に搭載される合成開口レーダを使用し、上記飛翔体の飛翔方向及び目標物の姿勢に依存して変形する上記目標物の２次元レーダ画像の特徴が、記憶されたモデルの特徴と合致するか否か識別する目標物識別方法であって、上記２次元レーダ画像の中から上記目標物を切り出すステップと、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波の反射強度分布を投影しヒストグラムを作成するステップと、上記投影後の反射強度分布が上記モデルの特徴と合致するか否か識別するステップとを含むことである。
【０００９】
第２手段は、第１手段において、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波の高強度の反射点群を囲む２本の平行線を決定するステップと、上記平行線を含み上記反射点群密度を最大とする平行四辺形を決定するステップと、上記目標物の特徴が、上記モデルの特徴と合致するか否か識別するステップとをさらに含むことである。
【００１０】
第３手段は、第１手段において、上記２次元レーダ画像から上記目標物を切り出す初期切り出し領域を決定する第１ステップと、上記初期切り出し領域内に存在する所定閾値以上の強度の上記レーダ電波の反射点群を選択する第２ステップと、上記反射点群中において該反射点相互の距離が最大であり上記初期切り出し領域の境界に最も近い反射点を除去する新切り出し領域を決定する第３ステップとを含み、上記反射点群の分散が収束するまで上記第３ステップを繰り返すステップとをさらに含み、上記目標物の特徴が上記モデルの特徴と合致するか否か識別するステップとを含むことである。
【００１１】
第４手段は、第１手段において、上記モデルの２次元レーダ画像をシミュレーションにより生成するステップと、上記目標物の特徴が、該シミュレーション画像の特徴と合致するか否か識別するステップとをさらに含むことである。
【００１２】
第５手段は、第１手段において、光学カメラによる光学画像を画像解析して上記目標物の上面図を作成するステップと、上記上面図中の構成要素の高さを計算するステップとをさらに含み、上記目標物の特徴が、上記モデルの特徴と合致するか否か識別することである。
【００１３】
第６手段は、飛翔体に搭載されるＳＡＲ部と、レーダ反射信号を上記ＳＡＲ部から入力し２次元ＳＡＲ画像を生成するＳＡＲ画像取得部と、上記ＳＡＲ画像の中から目標物を切り出す対象切り出し部と、該切り出された目標物の特徴量を計算する特徴計算部と、モデルを記憶するモデル記憶部と、上記目標物の特徴が上記モデルの特徴と合致するか否か識別する対象識別部とを備えた目標物識別装置において、上記対象識別部は、上記飛翔体の飛翔方向及び目標物の姿勢に依存して上記目標物の２次元レーダ画像上に現れる変形に基づいて、上記目標物の特徴が、上記モデルの特徴と合致するか否か識別することである。
【００１４】
第７手段は、第６手段において、上記特徴計算部は、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波の反射強度分布を投影したヒストグラムを作成し、上記対象識別部は、上記投影後の反射強度分布が上記モデルの特徴と合致するか否か識別することである。
【００１５】
第８手段は、第６手段において、上記切り出し部は、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波による高強度の反射点群を囲む２本の平行線を決定し、上記平行線を含み上記反射点群密度を最大とする平行四辺形を決定し、上記対象識別部は、上記平行四辺形によって切り出された上記目標物の特徴が上記モデルの特徴と合致するか否か識別することである。
【００１６】
第９手段は、第６手段において、上記切り出し部は、上記２次元レーダ画像から上記目標物を切り出す初期切り出し領域を決定し、さらに、上記初期切り出し領域内に存在する所定閾値以上の強度の上記レーダ電波による反射波を選択し、さらに、上記反射点群中において該反射点相互の距離が最大であり上記初期切り出し領域の境界に最も近い反射波を除去する新切り出し領域を決定し、さらに、上記反射点群の分散が収束するまで新切り出し領域を更新し、上記対象識別部は、上記目標物以外からの反射波を排除して切り出された上記目標物の特徴が、上記モデルの特徴と合致するか否か識別することである。
【００１７】
第１０手段は、第６手段において、上記モデルの２次元レーダ画像をシミュレーションにより生成するＳＡＲシミュレーション部をさらに備え、上記対象識別部は、上記対象切り出し部から入力される目標物の２次元レーダ画像が、該シミュレーション画像と合致するか否か識別することである。
【００１８】
第１１手段は、第６手段において、上記飛翔体に搭載される光学カメラ部と、上記光学カメラ部による光学画像を画像解析し上記目標物の上面図を作成する光学画像解析部とをさらに備え、上記対象認識部は、上記上面図中の構成要素を符号で区別し区別結果を上記特徴計算部に入力し、上記特徴計算部は、上記対象認識部からの入力に基づいて、上記構成要素の高さを計算し計算結果を上記対象認識部に入力し、上記対象認識部は、上記特徴計算部からの入力に基づいて、上記目標物の特徴が上記モデルの特徴と合致するか否か識別することである。
【発明の効果】
【００１９】
本発明によれば、倒れ込みによる影響を除去し、目標対象の識別精度を向上させることができる。また、目標の領域そのものを精度良く決定し、目標対象の識別精度を向上させることができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但し本実施形態に記載されている構成部品の寸法、材質、形状、その相対的配置等に特定的な記載があっても、本発明をそれに限定する趣旨ではない。また、本実施形態は２次元ＳＡＲ画像について記載されるが、広く、レーダ画像についても応用することができる。
【００２１】
［実施形態１］
実施形態１は、目標物識別方法に係り、２次元レーダ画像の中から目標物を切り出すステップと、レーダ電波を目標物に向けて照射する方向において、レーダ電波の反射強度分布を投影しヒストグラムを作成するステップと、投影後の反射強度分布がモデルの特徴と合致するか否か識別するステップとを含む。
【００２２】
実施形態１の目的は、目標が正しく切り出された前提で、対象の構造物の高さによる変形は、衛星の移動方向（アジマス方向）と電波照射方向(レンジ方向)に依存するため、衛星運動情報を使って取得画像の対象候補領域の反射強度パターンを変形する方向（レンジ方向）に射影したパターンを生成することである。
【００２３】
図５を参照して、実施形態１の原理について説明する。図５（Ａ）は、マストＭ１、Ｍ２、Ｍ３を含む艦船の進行方向に対して、斜めにレーダ照射が行われており、マストＭ１、Ｍ２、Ｍ３はレーダ照射方向と反対に倒れ込む。そこで、信号強度分布をレーダ照射方向に射影して計算する。図５（Ｂ）は、レーダ照射方向が艦船の進行方向に略垂直である場合であるが、この場合も、レーダ照射方向に射影した強度分布を計算する。このように計算された強度分布は、いずれも倒れ込み方向に射影した強度分布であり、マスト間の間隔を表すスポット位置間の間隔は、図５（Ａ）と図５（Ｂ）では変わらない。なお、マスト位置での信号強度は、それらのマストの周辺からの反射波に影響されるため、図５（Ａ）と図５（Ｂ）では必ずしも同じではない。
【００２４】
図６は、実施形態１の目標物識別方法のフローチャートである。まず、Ｓ５０において、
２次元ＳＡＲ画像が取得される。次に、Ｓ５２において、艦船等の目標対象が切り出される。次に、Ｓ５４において、切り出された画像中の点群をレーダ照射方向に投影して強度分布のヒストグラムを作成する。次に、Ｓ５６において対象の長さを正規化する。そして、最後にＳ５８において、登録データとの比較により対象が識別される。
【００２５】
したがって、実施形態１の作用効果は、衛星運動パターンと目標の姿勢に影響を受けた変形をするＳＡＲ特有の反射強度パターンを、そういう情報に影響されない(不変な)特徴に変換することが出来るということである。
【００２６】
［実施形態２］
実施形態２は、実施形態１において、レーダ電波を目標物に向けて照射する方向において、レーダ電波の高強度の反射点群を囲む２本の平行線を決定するステップと、平行線を含み反射点群密度を最大とする平行四辺形を決定するステップと、目標物の特徴が、モデルの特徴と合致するか否か識別するステップとをさらに含む目標物識別方法である。
【００２７】
実施形態２の目的は、目標の切り出しにおいて、目標に外接する長方形で切り出すと倒れ込み成分の一部が領域からはみ出して貴重な情報が失われる問題があったため、切り出す際に長方形ではなく、倒れ込み方向を考慮した「平行四辺形」で切り出す（アフィン変換による領域同定の代わりに、スキューアフィン変換を使う）ことである。
【００２８】
図７を参照して、実施形態２の原理について説明する。図７（Ａ）には、６つの反射スポットが実践の丸で示され、点線の２つの丸は倒れ込みがないと仮定したときのマストの位置を示す。４つの小円はブリッジのエッジを表す。そこで、まず、マストをあらわす大円２つをレーザ照射方向に平行な２つの平行線Ｌ１、Ｌ２で囲む。次に、図７（Ｂ）を参照すると、全てのスポットを包含するような２本の平行線Ｌ３、Ｌ４を初期設定する。そして、平行線Ｌ３、Ｌ４を平行線Ｌ１に対して回転させていき、点群密度が最大となるような方向の平行線Ｌ５、Ｌ６を決定する。こうして、目標切り出し用平行四辺形Ｌ１Ｌ２Ｌ５Ｌ６が得られる。
【００２９】
図８は、実施形態２の目標物識別方法のフローチャートである。まず、Ｓ７０において、２次元ＳＡＲ画像が取得される。次に、Ｓ７２において、レーダ反射方向に平行な２つの直線Ｌ１、Ｌ２で高強度の反射点群を囲む。最後に、Ｓ７４において、スキューアフィン変換により、点群密度を最大ならしめる平行四辺形（直線Ｌ１、Ｌ２を含む）を決定する。
【００３０】
したがって、実施形態２の作用効果は、目標切り出し時に、倒れ込みにより移動した特徴点を欠落させずに切り出すことができるということである。
【００３１】
［実施形態３］
実施形態３は、実施形態１において、２次元レーダ画像から目標物を切り出す初期切り出し領域を決定する第１ステップと、初期切り出し領域内に存在する所定閾値以上の強度のレーダ電波の反射点群を選択する第２ステップと、反射点群中において該反射点相互の距離が最大であり初期切り出し領域の境界に最も近い反射点を除去する新切り出し領域を決定する第３ステップとを含み、反射点群の分散が収束するまで第３ステップを繰り返すステップとをさらに含み、目標物の特徴がモデルの特徴と合致するか否か識別するステップとを含む目標物識別方法である。
【００３２】
実施形態３の目的は、目標の全長については、境界部分に必ずしも強い反射成分が存在しない可能性があり、目標の一部を切り出したり、目標以外のもの(船舶の場合に、停泊する桟橋の一部など)も含めてしまう問題があったため、強い反射成分の周囲を複数の可能性に基づいて切り出し、そのそれぞれを識別用のデータベースと照合することである。
【００３３】
図９を参照して、実施形態３の原理について説明する。図９は、岸壁Ｙに近接した対象Ｘを含む２次元ＳＡＲ画像の中から、対象Ｘを切り出す方法を示す。まず、対象対象Ｘの点群、波、岸壁上の構造物など、閾値以上の反射点を選択し、第１の切り出しを行う。次に、対象対象Ｘの点群（特にマストをあらわす２つの大円）から最も遠い反射点である「波」を除去して第２の切り出しを行う。次に、対象対象Ｘの点群（特にマストをあらわす２つの大円）から最も遠い反射点である「岸壁上の構造物」を除去して第３の切り出しを行う。以下、点群密度が収束するまで、切り出しを繰り返す。
【００３４】
図１０は、実施形態３の目標物識別方法のフローチャートである。まず、Ｓ９０において、切り出し領域の初期領域を決める。次に、Ｓ９２において、閾値以上の強度の反射点を全て囲むよう初期領域を変形する。その際、レーダ照射方向を考慮し倒れ込みによって移動した反射点を逃すことがないようにする。次に、Ｓ９４において、対象から最もはなれた反射点を除去するように切り出し領域を変形する。次に、Ｓ９６において、反射点群同士の分散が収束したか否かを判定する。Ｓ９６において、点群の分散が収束した場合（切り出し領域内の点群密度が収束した場合）は、切り出しを終了する。Ｓ９６において、未だ分散が収束しない場合は、Ｓ９４に戻り、切り出しを継続する。
【００３５】
したがって、実施形態３の作用効果は、目標位置の切り出し精度によっては識別精度が低い場合があったが、切り出しを一意に決定しにくい対象や画像条件においても、識別精度を向上できるということである。
【００３６】
［実施形態４］
実施形態４は、実施例１において、モデルの２次元レーダ画像をシミュレーションにより生成するステップと、目標物の特徴が、シミュレーション画像の特徴と合致するか否か識別するステップとをさらに含む目標物識別方法である。
【００３７】
実施形態４の目的は、目標物の特徴（反射強度分布のレーダ照射方向への投影など）を計算することなく、パターンマッチングにより目標を識別することである。
【００３８】
図１１を参照して、実施形態４の原理について説明する。１以上のモデル（モデルＡ、モデルＢ、モデルＣ）を用意し、レーダ照射方向ごとの（例えば、１０度刻みごとの）反射パターンを計算により生成し、データベースに格納しておく。一方、実際にレーダを照射することによって取得した２次元ＳＡＲ画像から、対象を切り出し（実施形態２、３による）、切り出し画像とデータベース画像をパターンマッチングにかける。
【００３９】
図１２は、実施形態４の目標物識別方法のフローチャートである。まず、Ｓ１１０において、モデルのレーダ反射パターンを、レーダ照射方向ごとに、計算により合成する。次に、Ｓ１１２において、実際に得られた２次元ＳＡＲ画像の長手方向を判断し、船体に対する倒れ込みの角度からレーダ照射方向を推定する。次に、Ｓ１１４において、切り出し画像と合成画像の大きさを揃え、対応する反射点の位置のズレ量を評価する。最後に、Ｓ１１６において、ズレ量が、例えば最小且つ閾値以下となさしめるモデルがあれば、対象は当該モデルと一致するものと識別される。
【００４０】
したがって、実施形態４の作用効果は、特徴量計算を不要とし、対象を高速に識別することができるということである。
【００４１】
［実施形態５］
実施形態５は、実施形態１において、光学カメラによる光学画像を画像解析して目標物の上面図を作成するステップと、上面図中の構成要素を符号で区別するステップと、構成要素の高さを計算するステップとをさらに含み、目標物の特徴が、モデルの特徴と合致するか否か識別する目標物識別方法である。
【００４２】
実施形態５の目的は、ＳＡＲ画像と同時に撮影した光学画像があり、光学画像だけでは真上からの映像であるため構造物の(位置ではなく)高さが識別の決め手となる対象の識別を行う必要がある場合に、光学画像から構造物の位置を求め、ＳＡＲ画像からその倒れ込み量を求めることで構造物の高さを得ることにより識別精度を向上させることである。
【００４３】
図１３を参照して、実施形態５の原理について説明する。対象モデルＡと対象モデルＢはマストの高さが異なるだけで、光学画像での幾何学的配置は同一であるものとする。この場合、２次元ＳＡＲ画像での倒れ込み量は、マストなどの高さに依存するため、光学画像により、マストなどの位置を正確に決定し符号を付して識別しておけば、２次元ＳＡＲ画像中で当該識別番号を付された構成要素がどこまで倒れ込んだかについても正確に決定することができる。したがって、倒れ込み後の各反射点の点群中心からのズレ量で高さ情報を計算することができる。計算方法は、図１３、図１５を参照して、後述する。
【００４４】
図１４は、実施形態５の目標物識別方法のフローチャートである。ＳＡＲ画像解析側では、まず、Ｓ１３０において、２次元ＳＡＲ画像が取得される。次に、Ｓ１３２において、対象が切り出される。最後に、Ｓ１３４において、構造物高さが計算される。一方、光学画像解析側では、まず、Ｓ１３１において、光学画像が取得される。次に、Ｓ１３３において、対象の角構造物の配置が計算され、対象の上面図が作成される。次に、この上面図に基づいて、例えば、ブリッジなどに対応する四角形の面積率、マストなどに対応する円の面積率などをモデルと比較し、識別モデルを、例えば図１３に示したモデルＡとモデルＢに絞り込む。最後に、Ｓ１３５において、Ｓ１３４で計算された構造物高さを取り入れることによって、目標物が、対象モデルＡと対象モデルＢのいずれかであるかが判別され得る。
【００４５】
図１５は、構造物高さ計算のフローチャートである。まず、Ｓ１４０において、対象（反射点群）が切り出される。次に、Ｓ１４２において、主軸（対象の長手方向の中心軸）が計算される（図１３参照）。次に、Ｓ１４４において、各反射点と主軸との距離が計算される。この距離は、レーダ照射方向にて計算される。そして、この距離に基づいて高さが計算される。最後に、Ｓ１４６において、反射点ごとの高さを特徴量として、対象とモデルの合致が判定される。
【００４６】
したがって、実施形態５の作用効果は、ＳＡＲ画像と光学画像を組み合わせることにより、識別精度を向上できるということである。
【００４７】
［実施形態６］
実施形態６は、目標物識別装置であり、飛翔体に搭載されるＳＡＲ部と、レーダ反射信号をＳＡＲ部から入力し２次元ＳＡＲ画像を生成するＳＡＲ画像取得部と、ＳＡＲ画像の中から目標物を切り出す対象切り出し部と、該切り出された目標物の特徴量を計算する特徴計算部と、モデルを記憶するモデル記憶部と、目標物の特徴がモデルの特徴と合致するか否か識別する対象識別部とを備えた目標物識別装置において、対象識別部は、飛翔体の飛翔方向及び目標物の姿勢に依存して目標物の２次元レーダ画像上に現れる変形に基づいて、目標物の特徴が、モデルの特徴と合致するか否か識別する。
【００４８】
本装置は、さらに光学カメラ部を備えてもよい。すなわち、本装置は、飛翔体に搭載される光学カメラ部と、光学カメラ部による光学画像を画像解析し目標物の上面図を作成する光学画像解析部とをさらに備え、対象認識部は、上面図に基づいて目標物の構成要素を同定し同定結果を特徴計算部に入力し、特徴計算部は、対象認識部からの入力に基づいて、飛翔体の飛翔方向と目標物の姿勢に依存して生じる目標物の２次元レーダ画像状における変形に基づいて構成要素の高さを計算し計算結果を対象認識部に入力し、対象認識部は、特徴計算部からの入力に基づいて、２次元ＳＡＲ画像及び光学画像により特定された目標物の特徴が、モデルの特徴と合致するか否か識別する。
【００４９】
図１６は、目標物識別装置のブロック図である。
【００５０】
ＳＡＲ部１６１（合成開口レーダ部）から出力されたレーダ反射信号は、ＳＡＲ画像取得部１６２に入力されて２次元ＳＡＲ画像が形成される。その２次元ＳＡＲ画像は対象切り出し部１６３に入力され、目標対象が切り出される。切り出された目標画像は、特徴計算部１６４に入力され、目標の特徴（反射強度分布のヒストグラムや目標中の構造物の高さなど）が計算される。特徴計算部１６４にて計算された特徴量は、対象識別部１６４に入力される。一方、モデル記憶部１６７には目標のモデルがデータベースとして格納されており、モデルは、対象識別部１６５の読み出し要求に応じて、対象識別部１６５に入力される。そこで、対象識別部１６５は、切り出し画像とモデルを照合し、識別結果を得る。その識別結果は識別結果出力部１７０（プリンタ、ディスプレイなど）に出力され、当該モデルとの合致の有無や合致の度合（相関係数）が出力される。当該モデルとの合致が認められないときは、別のモデルが対象識別部１６５に読み出され照合が繰り返されることもある。
【００５１】
対象切り出し部１６３は、実施形態２、実施形態３に記載された方法にて、目標対象を切り出す。
【００５２】
実施形態４記載の方法を実行する場合には、対象切り出し部１６３は、切り出し画像を対象識別部１６５に入力する。一方、ＳＡＲシミュレーション部１６６は、対象識別部１６５の要求に応じて、モデルのＳＡＲシミュレーション画像を、対象識別部１６５に入力する。当該モデルは、ＳＡＲシミュレーション部１６６がモデル記憶部１６７から読み出されたものである。
【００５３】
特徴計算部１６４は、実施形態１記載の方法にて目標の特徴量（レーダ方向に射影された反射強度ヒストグラムなど）を計算する。
【００５４】
実施形態５記載の方法を実行する場合には、光学カメラ部１６８からの光学画像を光学画像解析部１６９にて解析して目標物の上面の幾何学的配置を計算し、上面図を作成し、作成結果が対象識別部１６５に入力される。対象識別部１６５は、例えば、幾何学的配置中の四角形（デッキに対応）や丸（マストに対応）の面積占有率などからモデル候補を絞りこむ。その際、対象識別部１６５は上面図中の構造物に符号（番号、名前など）を付して区別しておく。その区別結果は特徴計算部１６４に入力される。一方、対象切り出し部１６３から特徴計算部へは切り出された２次元ＳＡＲ画像が入力されるため、符号付けされた構造物の高さが、図１３、図１５の方法により計算される。この計算結果は対象識別部１６５に入力される。これにより、対照の高さ情報と平面情報が特定され、モデルと対比される。
【００５５】
以上説明した本装置は、ＳＡＲ部１６１、光学カメラ部１６８、モデル記憶部１６７（不揮発性メモリ）、識別結果出力部１７０を除き、単一のコンピュータシステム又はマイクロコンピュータであってもよい。その場合は、図示しないコンピュータプログラムにより、上述した各動作が実行される。
【産業上の利用可能性】
【００５６】
本発明は、２次元ＳＡＲ画像による目標物認識に利用可能であり、目標物は船舶に限らず、移動又は停止している車両などについても利用可能である。
【図面の簡単な説明】
【００５７】
【図１】２次元ＳＡＲ画像における画像の歪み（倒れ込み（フォーショートニング））について説明する図である。
【図２】倒れ込みを含む２次元ＳＡＲ画像について説明する図である。
【図３】２次元ＳＡＲ画像解析の一般的方法のフローチャートである。
【図４】倒れ込みの影響と目標物切り出しの困難性を説明する図である。
【図５】実施形態１の方法の原理を説明する図である。
【図６】実施形態１の方法のフローチャートである。
【図７】実施形態２の方法の原理を説明する図である。
【図８】実施形態２の方法のフローチャートである。
【図９】実施形態３の方法の原理を説明する図である。
【図１０】実施形態３の方法のフローチャートである。
【図１１】実施形態４の方法の原理を説明する図である。
【図１２】実施形態４の方法のフローチャートである。
【図１３】実施形態５の方法の原理を説明する図である。
【図１４】実施形態５の方法の全体のフローチャートである。
【図１５】実施形態５の方法の一部のフローチャートである。
【図１６】実施形態６の装置のブロック図である
【符号の説明】
【００５８】
１６１ ＳＡＲ部
１６２ ＳＡＲ画像取得部
１６３ 対象切り出し部
１６４ 特徴計算部
１６５ 対象識別部
１６６ ＳＡＲシミュレーション部
１６７ モデル記憶部
１６８ 光学カメラ部
１６９ 光学画像解析部
１７０ 認識結果出力部
【技術分野】
【０００１】
本発明は、飛翔体に搭載される合成開口レーダ（ＳＡＲ）を使用し、飛翔体の飛翔方向及び目標物の姿勢に依存して変形する目標物の２次元レーダ画像の特徴が、記憶されたモデルの特徴と合致するか否か識別する目標物識別方法及び装置に関する。特に、２次元ＳＡＲ画像において、背の高い構造物が飛翔体に向かって倒れ込む「倒れ込み」（フォーショートニング）を考慮した目標物識別方法及び装置に関する。
【背景技術】
【０００２】
衛星からのリモートセンシングにおける合成開口レーダ（ＳＡＲ）で取得した画像に基づいて、目標物を識別するためのひとつの手法として、特許文献１に開示された技術では、ステレオＳＡＲ（同じ目標に対して同時に複数の画像を取得することで、複数画像の位相差からベースラインを求め精度よく移動物体を抽出する。また、特許文献２に開示された技術では、分割ＳＡＲ（画像化する際に少し時間のずれた複数画像を生成してその関係により安定した構造物を抽出する。また、特許文献３に開示された技術では、逆合成開口（焦点を合わせた画像を取得する方法）（特許文献４参照）で抽出した画像に対して、目標の２次元パターンをマッチングして対象の種類を判別する。
【特許文献１】特開平１０−２３２２８２号公報（段落０００６）
【特許文献２】特開２００２−２１４３３４号公報（段落００７）
【特許文献３】特開平１１−１０９０１３号公報（段落００１６）
【特許文献４】特開２００１−２２１８５７号公報（段落００３９）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、これらの従来技術では、第１に、例えば船舶等の高さを持つ構造物の集まりで成り立つ対象を識別する場合、構造物同士の位置関係や高さの関係におけるＳＡＲ特有の変形（倒れ込み（フォーショートニング））の影響は除去できず、識別精度が低下するという問題点があった。
【０００４】
そこで、図１を参照して、第１の問題点（倒れ込み）についてさらに説明する。図１（Ａ）は人工衛星等の飛翔体が艦船にレーダ電波を照射している。レーダ電波は、艦船の高いところにある部分から反射されれば、それだけ短時間で飛翔体に戻る。すなわち、高いところにあるもの程、飛翔体に近づいて見える。これが倒れ込みであり、艦船Ｓ１のマスト１の頂上は海面上衛星に近い点Ａに倒れ込む。また、マストより低い位置にあるブリッジ状の点Ｐは点Ａより飛翔体から遠い点Ｂに倒れ込む。図１（Ｂ）は、２次元ＳＡＲ画像における倒れ込みを示すもので、船腹方向からレーダ照射を行えば、船舶Ｓ１のマスト１の頂点は、船腹方向（レーダ照射方向と反対の飛翔体方向）に倒れ込む。図１（Ｃ）は、レーダ照射方向に斜めに進行する艦船Ｓ１での倒れ込みを示したものであるが、倒れ込み方向は、他の構成部分との関係では図１（Ｂ）の場合とは異なる。
【０００５】
また、第２に、目標の領域そのものを精度よく決定することが前提であるが、ＳＡＲの信号の特徴（目標の領域でも反射強度の低い部分がありうる）を踏まえると必ずしも正確に目標領域を決定できるとは限らないという問題点があった。
【０００６】
そこで、図２、図３、図４を参照して、第２の問題点（目標領域の決定）についてさらに説明する。まず、図２（Ａ）は、艦船のモデルであり、この艦船は、胴体Ｓ、ブリッジＢ、マスト２１、２２からなる。図２（Ｂ）には、この艦船からのレーダ反射を概念的に示す。反射レーダは、スポットとして示されており、胴体のエッジ部からの反射Ｑ、ブリッジのエッジ部からの反射Ｐなどの強度が強い。マスト２１、２２からの反射も強いが、２次元ＳＡＲ画像では、エッジ部より面積の大きな反射として現れる。図３は、従来の目標物体認識のフローチャートである。まず、Ｓ３０において、船舶にレーダ照射が行われ、Ｓ３１において、２次元ＳＡＲ画像が取得される。この２次元ＳＡＲ画像には 目標船舶だけでなく、波浪や他の物体も含まれる。そこで、Ｓ３２において、高輝度点群をピックアップし、Ｓ３３において、目標対象を切り出す。しかし、胴体のエッジ、たとえば点Ｑ１、Ｑ２、ブリッジのエッジＱ３などからの反射が強くないこともあり、目標対象が正しく切り出せないことがある。さらに、Ｓ３４において、レーダ照射方向を考慮せずに切り出し長方形の長辺（船体軸方向）を横軸として反射強度信号のヒストグラムを計算すると（以下、このような計算処理を「射影」という）、目標対象のプロファイルを正確に表さないこともある。図４（Ａ）、図４（Ｂ）は、船体の向きとレーダ照射方向に依存して信号強度プロファイルが変化することを示している。また、図４（Ｃ）、（Ｄ）は、岸壁Ｙが目標艦船Ｘに近接しており、高輝度点を切り出す長方形が、岸壁の一部に食い込んでおり、切り出しが正確に行われない場合を示す。
【０００７】
そこで、本発明の第１の課題は、倒れ込みによる影響を除去し、目標対象の識別精度を向上させることである。また、本発明の第２の課題は、目標の領域そのものを精度良く決定し、目標対象の識別精度を向上させることである。
【課題を解決するための手段】
【０００８】
上述した課題を解決するための第１の手段は、飛翔体に搭載される合成開口レーダを使用し、上記飛翔体の飛翔方向及び目標物の姿勢に依存して変形する上記目標物の２次元レーダ画像の特徴が、記憶されたモデルの特徴と合致するか否か識別する目標物識別方法であって、上記２次元レーダ画像の中から上記目標物を切り出すステップと、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波の反射強度分布を投影しヒストグラムを作成するステップと、上記投影後の反射強度分布が上記モデルの特徴と合致するか否か識別するステップとを含むことである。
【０００９】
第２手段は、第１手段において、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波の高強度の反射点群を囲む２本の平行線を決定するステップと、上記平行線を含み上記反射点群密度を最大とする平行四辺形を決定するステップと、上記目標物の特徴が、上記モデルの特徴と合致するか否か識別するステップとをさらに含むことである。
【００１０】
第３手段は、第１手段において、上記２次元レーダ画像から上記目標物を切り出す初期切り出し領域を決定する第１ステップと、上記初期切り出し領域内に存在する所定閾値以上の強度の上記レーダ電波の反射点群を選択する第２ステップと、上記反射点群中において該反射点相互の距離が最大であり上記初期切り出し領域の境界に最も近い反射点を除去する新切り出し領域を決定する第３ステップとを含み、上記反射点群の分散が収束するまで上記第３ステップを繰り返すステップとをさらに含み、上記目標物の特徴が上記モデルの特徴と合致するか否か識別するステップとを含むことである。
【００１１】
第４手段は、第１手段において、上記モデルの２次元レーダ画像をシミュレーションにより生成するステップと、上記目標物の特徴が、該シミュレーション画像の特徴と合致するか否か識別するステップとをさらに含むことである。
【００１２】
第５手段は、第１手段において、光学カメラによる光学画像を画像解析して上記目標物の上面図を作成するステップと、上記上面図中の構成要素の高さを計算するステップとをさらに含み、上記目標物の特徴が、上記モデルの特徴と合致するか否か識別することである。
【００１３】
第６手段は、飛翔体に搭載されるＳＡＲ部と、レーダ反射信号を上記ＳＡＲ部から入力し２次元ＳＡＲ画像を生成するＳＡＲ画像取得部と、上記ＳＡＲ画像の中から目標物を切り出す対象切り出し部と、該切り出された目標物の特徴量を計算する特徴計算部と、モデルを記憶するモデル記憶部と、上記目標物の特徴が上記モデルの特徴と合致するか否か識別する対象識別部とを備えた目標物識別装置において、上記対象識別部は、上記飛翔体の飛翔方向及び目標物の姿勢に依存して上記目標物の２次元レーダ画像上に現れる変形に基づいて、上記目標物の特徴が、上記モデルの特徴と合致するか否か識別することである。
【００１４】
第７手段は、第６手段において、上記特徴計算部は、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波の反射強度分布を投影したヒストグラムを作成し、上記対象識別部は、上記投影後の反射強度分布が上記モデルの特徴と合致するか否か識別することである。
【００１５】
第８手段は、第６手段において、上記切り出し部は、レーダ電波を上記目標物に向けて照射する方向において、上記レーダ電波による高強度の反射点群を囲む２本の平行線を決定し、上記平行線を含み上記反射点群密度を最大とする平行四辺形を決定し、上記対象識別部は、上記平行四辺形によって切り出された上記目標物の特徴が上記モデルの特徴と合致するか否か識別することである。
【００１６】
第９手段は、第６手段において、上記切り出し部は、上記２次元レーダ画像から上記目標物を切り出す初期切り出し領域を決定し、さらに、上記初期切り出し領域内に存在する所定閾値以上の強度の上記レーダ電波による反射波を選択し、さらに、上記反射点群中において該反射点相互の距離が最大であり上記初期切り出し領域の境界に最も近い反射波を除去する新切り出し領域を決定し、さらに、上記反射点群の分散が収束するまで新切り出し領域を更新し、上記対象識別部は、上記目標物以外からの反射波を排除して切り出された上記目標物の特徴が、上記モデルの特徴と合致するか否か識別することである。
【００１７】
第１０手段は、第６手段において、上記モデルの２次元レーダ画像をシミュレーションにより生成するＳＡＲシミュレーション部をさらに備え、上記対象識別部は、上記対象切り出し部から入力される目標物の２次元レーダ画像が、該シミュレーション画像と合致するか否か識別することである。
【００１８】
第１１手段は、第６手段において、上記飛翔体に搭載される光学カメラ部と、上記光学カメラ部による光学画像を画像解析し上記目標物の上面図を作成する光学画像解析部とをさらに備え、上記対象認識部は、上記上面図中の構成要素を符号で区別し区別結果を上記特徴計算部に入力し、上記特徴計算部は、上記対象認識部からの入力に基づいて、上記構成要素の高さを計算し計算結果を上記対象認識部に入力し、上記対象認識部は、上記特徴計算部からの入力に基づいて、上記目標物の特徴が上記モデルの特徴と合致するか否か識別することである。
【発明の効果】
【００１９】
本発明によれば、倒れ込みによる影響を除去し、目標対象の識別精度を向上させることができる。また、目標の領域そのものを精度良く決定し、目標対象の識別精度を向上させることができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但し本実施形態に記載されている構成部品の寸法、材質、形状、その相対的配置等に特定的な記載があっても、本発明をそれに限定する趣旨ではない。また、本実施形態は２次元ＳＡＲ画像について記載されるが、広く、レーダ画像についても応用することができる。
【００２１】
［実施形態１］
実施形態１は、目標物識別方法に係り、２次元レーダ画像の中から目標物を切り出すステップと、レーダ電波を目標物に向けて照射する方向において、レーダ電波の反射強度分布を投影しヒストグラムを作成するステップと、投影後の反射強度分布がモデルの特徴と合致するか否か識別するステップとを含む。
【００２２】
実施形態１の目的は、目標が正しく切り出された前提で、対象の構造物の高さによる変形は、衛星の移動方向（アジマス方向）と電波照射方向(レンジ方向)に依存するため、衛星運動情報を使って取得画像の対象候補領域の反射強度パターンを変形する方向（レンジ方向）に射影したパターンを生成することである。
【００２３】
図５を参照して、実施形態１の原理について説明する。図５（Ａ）は、マストＭ１、Ｍ２、Ｍ３を含む艦船の進行方向に対して、斜めにレーダ照射が行われており、マストＭ１、Ｍ２、Ｍ３はレーダ照射方向と反対に倒れ込む。そこで、信号強度分布をレーダ照射方向に射影して計算する。図５（Ｂ）は、レーダ照射方向が艦船の進行方向に略垂直である場合であるが、この場合も、レーダ照射方向に射影した強度分布を計算する。このように計算された強度分布は、いずれも倒れ込み方向に射影した強度分布であり、マスト間の間隔を表すスポット位置間の間隔は、図５（Ａ）と図５（Ｂ）では変わらない。なお、マスト位置での信号強度は、それらのマストの周辺からの反射波に影響されるため、図５（Ａ）と図５（Ｂ）では必ずしも同じではない。
【００２４】
図６は、実施形態１の目標物識別方法のフローチャートである。まず、Ｓ５０において、
２次元ＳＡＲ画像が取得される。次に、Ｓ５２において、艦船等の目標対象が切り出される。次に、Ｓ５４において、切り出された画像中の点群をレーダ照射方向に投影して強度分布のヒストグラムを作成する。次に、Ｓ５６において対象の長さを正規化する。そして、最後にＳ５８において、登録データとの比較により対象が識別される。
【００２５】
したがって、実施形態１の作用効果は、衛星運動パターンと目標の姿勢に影響を受けた変形をするＳＡＲ特有の反射強度パターンを、そういう情報に影響されない(不変な)特徴に変換することが出来るということである。
【００２６】
［実施形態２］
実施形態２は、実施形態１において、レーダ電波を目標物に向けて照射する方向において、レーダ電波の高強度の反射点群を囲む２本の平行線を決定するステップと、平行線を含み反射点群密度を最大とする平行四辺形を決定するステップと、目標物の特徴が、モデルの特徴と合致するか否か識別するステップとをさらに含む目標物識別方法である。
【００２７】
実施形態２の目的は、目標の切り出しにおいて、目標に外接する長方形で切り出すと倒れ込み成分の一部が領域からはみ出して貴重な情報が失われる問題があったため、切り出す際に長方形ではなく、倒れ込み方向を考慮した「平行四辺形」で切り出す（アフィン変換による領域同定の代わりに、スキューアフィン変換を使う）ことである。
【００２８】
図７を参照して、実施形態２の原理について説明する。図７（Ａ）には、６つの反射スポットが実践の丸で示され、点線の２つの丸は倒れ込みがないと仮定したときのマストの位置を示す。４つの小円はブリッジのエッジを表す。そこで、まず、マストをあらわす大円２つをレーザ照射方向に平行な２つの平行線Ｌ１、Ｌ２で囲む。次に、図７（Ｂ）を参照すると、全てのスポットを包含するような２本の平行線Ｌ３、Ｌ４を初期設定する。そして、平行線Ｌ３、Ｌ４を平行線Ｌ１に対して回転させていき、点群密度が最大となるような方向の平行線Ｌ５、Ｌ６を決定する。こうして、目標切り出し用平行四辺形Ｌ１Ｌ２Ｌ５Ｌ６が得られる。
【００２９】
図８は、実施形態２の目標物識別方法のフローチャートである。まず、Ｓ７０において、２次元ＳＡＲ画像が取得される。次に、Ｓ７２において、レーダ反射方向に平行な２つの直線Ｌ１、Ｌ２で高強度の反射点群を囲む。最後に、Ｓ７４において、スキューアフィン変換により、点群密度を最大ならしめる平行四辺形（直線Ｌ１、Ｌ２を含む）を決定する。
【００３０】
したがって、実施形態２の作用効果は、目標切り出し時に、倒れ込みにより移動した特徴点を欠落させずに切り出すことができるということである。
【００３１】
［実施形態３］
実施形態３は、実施形態１において、２次元レーダ画像から目標物を切り出す初期切り出し領域を決定する第１ステップと、初期切り出し領域内に存在する所定閾値以上の強度のレーダ電波の反射点群を選択する第２ステップと、反射点群中において該反射点相互の距離が最大であり初期切り出し領域の境界に最も近い反射点を除去する新切り出し領域を決定する第３ステップとを含み、反射点群の分散が収束するまで第３ステップを繰り返すステップとをさらに含み、目標物の特徴がモデルの特徴と合致するか否か識別するステップとを含む目標物識別方法である。
【００３２】
実施形態３の目的は、目標の全長については、境界部分に必ずしも強い反射成分が存在しない可能性があり、目標の一部を切り出したり、目標以外のもの(船舶の場合に、停泊する桟橋の一部など)も含めてしまう問題があったため、強い反射成分の周囲を複数の可能性に基づいて切り出し、そのそれぞれを識別用のデータベースと照合することである。
【００３３】
図９を参照して、実施形態３の原理について説明する。図９は、岸壁Ｙに近接した対象Ｘを含む２次元ＳＡＲ画像の中から、対象Ｘを切り出す方法を示す。まず、対象対象Ｘの点群、波、岸壁上の構造物など、閾値以上の反射点を選択し、第１の切り出しを行う。次に、対象対象Ｘの点群（特にマストをあらわす２つの大円）から最も遠い反射点である「波」を除去して第２の切り出しを行う。次に、対象対象Ｘの点群（特にマストをあらわす２つの大円）から最も遠い反射点である「岸壁上の構造物」を除去して第３の切り出しを行う。以下、点群密度が収束するまで、切り出しを繰り返す。
【００３４】
図１０は、実施形態３の目標物識別方法のフローチャートである。まず、Ｓ９０において、切り出し領域の初期領域を決める。次に、Ｓ９２において、閾値以上の強度の反射点を全て囲むよう初期領域を変形する。その際、レーダ照射方向を考慮し倒れ込みによって移動した反射点を逃すことがないようにする。次に、Ｓ９４において、対象から最もはなれた反射点を除去するように切り出し領域を変形する。次に、Ｓ９６において、反射点群同士の分散が収束したか否かを判定する。Ｓ９６において、点群の分散が収束した場合（切り出し領域内の点群密度が収束した場合）は、切り出しを終了する。Ｓ９６において、未だ分散が収束しない場合は、Ｓ９４に戻り、切り出しを継続する。
【００３５】
したがって、実施形態３の作用効果は、目標位置の切り出し精度によっては識別精度が低い場合があったが、切り出しを一意に決定しにくい対象や画像条件においても、識別精度を向上できるということである。
【００３６】
［実施形態４］
実施形態４は、実施例１において、モデルの２次元レーダ画像をシミュレーションにより生成するステップと、目標物の特徴が、シミュレーション画像の特徴と合致するか否か識別するステップとをさらに含む目標物識別方法である。
【００３７】
実施形態４の目的は、目標物の特徴（反射強度分布のレーダ照射方向への投影など）を計算することなく、パターンマッチングにより目標を識別することである。
【００３８】
図１１を参照して、実施形態４の原理について説明する。１以上のモデル（モデルＡ、モデルＢ、モデルＣ）を用意し、レーダ照射方向ごとの（例えば、１０度刻みごとの）反射パターンを計算により生成し、データベースに格納しておく。一方、実際にレーダを照射することによって取得した２次元ＳＡＲ画像から、対象を切り出し（実施形態２、３による）、切り出し画像とデータベース画像をパターンマッチングにかける。
【００３９】
図１２は、実施形態４の目標物識別方法のフローチャートである。まず、Ｓ１１０において、モデルのレーダ反射パターンを、レーダ照射方向ごとに、計算により合成する。次に、Ｓ１１２において、実際に得られた２次元ＳＡＲ画像の長手方向を判断し、船体に対する倒れ込みの角度からレーダ照射方向を推定する。次に、Ｓ１１４において、切り出し画像と合成画像の大きさを揃え、対応する反射点の位置のズレ量を評価する。最後に、Ｓ１１６において、ズレ量が、例えば最小且つ閾値以下となさしめるモデルがあれば、対象は当該モデルと一致するものと識別される。
【００４０】
したがって、実施形態４の作用効果は、特徴量計算を不要とし、対象を高速に識別することができるということである。
【００４１】
［実施形態５］
実施形態５は、実施形態１において、光学カメラによる光学画像を画像解析して目標物の上面図を作成するステップと、上面図中の構成要素を符号で区別するステップと、構成要素の高さを計算するステップとをさらに含み、目標物の特徴が、モデルの特徴と合致するか否か識別する目標物識別方法である。
【００４２】
実施形態５の目的は、ＳＡＲ画像と同時に撮影した光学画像があり、光学画像だけでは真上からの映像であるため構造物の(位置ではなく)高さが識別の決め手となる対象の識別を行う必要がある場合に、光学画像から構造物の位置を求め、ＳＡＲ画像からその倒れ込み量を求めることで構造物の高さを得ることにより識別精度を向上させることである。
【００４３】
図１３を参照して、実施形態５の原理について説明する。対象モデルＡと対象モデルＢはマストの高さが異なるだけで、光学画像での幾何学的配置は同一であるものとする。この場合、２次元ＳＡＲ画像での倒れ込み量は、マストなどの高さに依存するため、光学画像により、マストなどの位置を正確に決定し符号を付して識別しておけば、２次元ＳＡＲ画像中で当該識別番号を付された構成要素がどこまで倒れ込んだかについても正確に決定することができる。したがって、倒れ込み後の各反射点の点群中心からのズレ量で高さ情報を計算することができる。計算方法は、図１３、図１５を参照して、後述する。
【００４４】
図１４は、実施形態５の目標物識別方法のフローチャートである。ＳＡＲ画像解析側では、まず、Ｓ１３０において、２次元ＳＡＲ画像が取得される。次に、Ｓ１３２において、対象が切り出される。最後に、Ｓ１３４において、構造物高さが計算される。一方、光学画像解析側では、まず、Ｓ１３１において、光学画像が取得される。次に、Ｓ１３３において、対象の角構造物の配置が計算され、対象の上面図が作成される。次に、この上面図に基づいて、例えば、ブリッジなどに対応する四角形の面積率、マストなどに対応する円の面積率などをモデルと比較し、識別モデルを、例えば図１３に示したモデルＡとモデルＢに絞り込む。最後に、Ｓ１３５において、Ｓ１３４で計算された構造物高さを取り入れることによって、目標物が、対象モデルＡと対象モデルＢのいずれかであるかが判別され得る。
【００４５】
図１５は、構造物高さ計算のフローチャートである。まず、Ｓ１４０において、対象（反射点群）が切り出される。次に、Ｓ１４２において、主軸（対象の長手方向の中心軸）が計算される（図１３参照）。次に、Ｓ１４４において、各反射点と主軸との距離が計算される。この距離は、レーダ照射方向にて計算される。そして、この距離に基づいて高さが計算される。最後に、Ｓ１４６において、反射点ごとの高さを特徴量として、対象とモデルの合致が判定される。
【００４６】
したがって、実施形態５の作用効果は、ＳＡＲ画像と光学画像を組み合わせることにより、識別精度を向上できるということである。
【００４７】
［実施形態６］
実施形態６は、目標物識別装置であり、飛翔体に搭載されるＳＡＲ部と、レーダ反射信号をＳＡＲ部から入力し２次元ＳＡＲ画像を生成するＳＡＲ画像取得部と、ＳＡＲ画像の中から目標物を切り出す対象切り出し部と、該切り出された目標物の特徴量を計算する特徴計算部と、モデルを記憶するモデル記憶部と、目標物の特徴がモデルの特徴と合致するか否か識別する対象識別部とを備えた目標物識別装置において、対象識別部は、飛翔体の飛翔方向及び目標物の姿勢に依存して目標物の２次元レーダ画像上に現れる変形に基づいて、目標物の特徴が、モデルの特徴と合致するか否か識別する。
【００４８】
本装置は、さらに光学カメラ部を備えてもよい。すなわち、本装置は、飛翔体に搭載される光学カメラ部と、光学カメラ部による光学画像を画像解析し目標物の上面図を作成する光学画像解析部とをさらに備え、対象認識部は、上面図に基づいて目標物の構成要素を同定し同定結果を特徴計算部に入力し、特徴計算部は、対象認識部からの入力に基づいて、飛翔体の飛翔方向と目標物の姿勢に依存して生じる目標物の２次元レーダ画像状における変形に基づいて構成要素の高さを計算し計算結果を対象認識部に入力し、対象認識部は、特徴計算部からの入力に基づいて、２次元ＳＡＲ画像及び光学画像により特定された目標物の特徴が、モデルの特徴と合致するか否か識別する。
【００４９】
図１６は、目標物識別装置のブロック図である。
【００５０】
ＳＡＲ部１６１（合成開口レーダ部）から出力されたレーダ反射信号は、ＳＡＲ画像取得部１６２に入力されて２次元ＳＡＲ画像が形成される。その２次元ＳＡＲ画像は対象切り出し部１６３に入力され、目標対象が切り出される。切り出された目標画像は、特徴計算部１６４に入力され、目標の特徴（反射強度分布のヒストグラムや目標中の構造物の高さなど）が計算される。特徴計算部１６４にて計算された特徴量は、対象識別部１６４に入力される。一方、モデル記憶部１６７には目標のモデルがデータベースとして格納されており、モデルは、対象識別部１６５の読み出し要求に応じて、対象識別部１６５に入力される。そこで、対象識別部１６５は、切り出し画像とモデルを照合し、識別結果を得る。その識別結果は識別結果出力部１７０（プリンタ、ディスプレイなど）に出力され、当該モデルとの合致の有無や合致の度合（相関係数）が出力される。当該モデルとの合致が認められないときは、別のモデルが対象識別部１６５に読み出され照合が繰り返されることもある。
【００５１】
対象切り出し部１６３は、実施形態２、実施形態３に記載された方法にて、目標対象を切り出す。
【００５２】
実施形態４記載の方法を実行する場合には、対象切り出し部１６３は、切り出し画像を対象識別部１６５に入力する。一方、ＳＡＲシミュレーション部１６６は、対象識別部１６５の要求に応じて、モデルのＳＡＲシミュレーション画像を、対象識別部１６５に入力する。当該モデルは、ＳＡＲシミュレーション部１６６がモデル記憶部１６７から読み出されたものである。
【００５３】
特徴計算部１６４は、実施形態１記載の方法にて目標の特徴量（レーダ方向に射影された反射強度ヒストグラムなど）を計算する。
【００５４】
実施形態５記載の方法を実行する場合には、光学カメラ部１６８からの光学画像を光学画像解析部１６９にて解析して目標物の上面の幾何学的配置を計算し、上面図を作成し、作成結果が対象識別部１６５に入力される。対象識別部１６５は、例えば、幾何学的配置中の四角形（デッキに対応）や丸（マストに対応）の面積占有率などからモデル候補を絞りこむ。その際、対象識別部１６５は上面図中の構造物に符号（番号、名前など）を付して区別しておく。その区別結果は特徴計算部１６４に入力される。一方、対象切り出し部１６３から特徴計算部へは切り出された２次元ＳＡＲ画像が入力されるため、符号付けされた構造物の高さが、図１３、図１５の方法により計算される。この計算結果は対象識別部１６５に入力される。これにより、対照の高さ情報と平面情報が特定され、モデルと対比される。
【００５５】
以上説明した本装置は、ＳＡＲ部１６１、光学カメラ部１６８、モデル記憶部１６７（不揮発性メモリ）、識別結果出力部１７０を除き、単一のコンピュータシステム又はマイクロコンピュータであってもよい。その場合は、図示しないコンピュータプログラムにより、上述した各動作が実行される。
【産業上の利用可能性】
【００５６】
本発明は、２次元ＳＡＲ画像による目標物認識に利用可能であり、目標物は船舶に限らず、移動又は停止している車両などについても利用可能である。
【図面の簡単な説明】
【００５７】
【図１】２次元ＳＡＲ画像における画像の歪み（倒れ込み（フォーショートニング））について説明する図である。
【図２】倒れ込みを含む２次元ＳＡＲ画像について説明する図である。
【図３】２次元ＳＡＲ画像解析の一般的方法のフローチャートである。
【図４】倒れ込みの影響と目標物切り出しの困難性を説明する図である。
【図５】実施形態１の方法の原理を説明する図である。
【図６】実施形態１の方法のフローチャートである。
【図７】実施形態２の方法の原理を説明する図である。
【図８】実施形態２の方法のフローチャートである。
【図９】実施形態３の方法の原理を説明する図である。
【図１０】実施形態３の方法のフローチャートである。
【図１１】実施形態４の方法の原理を説明する図である。
【図１２】実施形態４の方法のフローチャートである。
【図１３】実施形態５の方法の原理を説明する図である。
【図１４】実施形態５の方法の全体のフローチャートである。
【図１５】実施形態５の方法の一部のフローチャートである。
【図１６】実施形態６の装置のブロック図である
【符号の説明】
【００５８】
１６１ ＳＡＲ部
１６２ ＳＡＲ画像取得部
１６３ 対象切り出し部
１６４ 特徴計算部
１６５ 対象識別部
１６６ ＳＡＲシミュレーション部
１６７ モデル記憶部
１６８ 光学カメラ部
１６９ 光学画像解析部
１７０ 認識結果出力部
【特許請求の範囲】
【請求項１】
飛翔体に搭載される合成開口レーダを使用し、前記飛翔体の飛翔方向及び目標物の姿勢に依存して変形する前記目標物の２次元レーダ画像の特徴が、記憶されたモデルの特徴と合致するか否か識別する目標物識別方法であって、
前記２次元レーダ画像の中から前記目標物を切り出すステップと、
レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波の反射強度分布を投影しヒストグラムを作成するステップと、
前記投影後の反射強度分布が前記モデルの特徴と合致するか否か識別するステップとを含むことを特徴とする目標物識別方法。
【請求項２】
レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波の高強度の反射点群を囲む２本の平行線を決定するステップと、
前記平行線を含み前記反射点群密度を最大とする平行四辺形を決定するステップと、
前記目標物の特徴が、前記モデルの特徴と合致するか否か識別するステップとをさらに含むことを特徴とする請求項１記載の目標物識別方法。
【請求項３】
前記２次元レーダ画像から前記目標物を切り出す初期切り出し領域を決定する第１ステップと、
前記初期切り出し領域内に存在する所定閾値以上の強度の前記レーダ電波の反射点群を選択する第２ステップと、
前記反射点群中において該反射点相互の距離が最大であり且つ前記初期切り出し領域の境界に最も近い反射点を除去する新切り出し領域を決定する第３ステップとを含み、
前記反射点群の分散が収束するまで前記第３ステップを繰り返すステップとをさらに含み、
前記目標物の特徴が前記モデルの特徴と合致するか否か識別するステップとを含むことを特徴とする請求項１記載の目標物識別方法。
【請求項４】
前記モデルの２次元レーダ画像をシミュレーションにより生成するステップと、
前記目標物の特徴が、該シミュレーション画像の特徴と合致するか否か識別するステップとをさらに含むことを特徴とする請求項１記載の目標物識別方法。
【請求項５】
光学カメラによる光学画像を画像解析して前記目標物の上面図を作成するステップと、前記上面図中の構成要素の高さを計算するステップとをさらに含み、
前記目標物の特徴が、前記モデルの特徴と合致するか否か識別することを特徴とする請求項１記載の目標物識別方法。
【請求項６】
飛翔体に搭載されるＳＡＲ部と、
レーダ反射信号を前記ＳＡＲ部から入力し２次元ＳＡＲ画像を生成するＳＡＲ画像取得部と、
前記ＳＡＲ画像の中から目標物を切り出す対象切り出し部と、
該切り出された目標物の特徴量を計算する特徴計算部と、
モデルを記憶するモデル記憶部と、
前記目標物の特徴が前記モデルの特徴と合致するか否か識別する対象識別部とを備えた目標物識別装置において、
前記対象識別部は、前記飛翔体の飛翔方向及び目標物の姿勢に依存して前記目標物の２次元レーダ画像上に現れる変形に基づいて、前記目標物の特徴が、前記モデルの特徴と合致するか否か識別することを特徴とする目標物識別装置。
【請求項７】
前記特徴計算部は、レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波の反射強度分布を投影したヒストグラムを作成し、
前記対象識別部は、前記投影後の反射強度分布が前記モデルの特徴と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【請求項８】
前記切り出し部は、レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波による高強度の反射点群を囲む２本の平行線を決定し、前記平行線を含み前記反射点群密度を最大とする平行四辺形を決定し、
前記対象識別部は、前記平行四辺形によって切り出された前記目標物の特徴が前記モデルの特徴と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【請求項９】
前記切り出し部は、前記２次元レーダ画像から前記目標物を切り出す初期切り出し領域を決定し、さらに、前記初期切り出し領域内に存在する所定閾値以上の強度の前記レーダ電波による反射波を選択し、さらに、前記反射点群中において該反射点相互の距離が最大であり前記初期切り出し領域の境界に最も近い反射波を除去する新切り出し領域を決定し、さらに、前記反射点群の分散が収束するまで新切り出し領域を更新し、
前記対象識別部は、前記目標物以外からの反射波を排除して切り出された前記目標物の特徴が、前記モデルの特徴と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【請求項１０】
前記モデルの２次元レーダ画像をシミュレーションにより生成するＳＡＲシミュレーション部をさらに備え、
前記対象識別部は、前記対象切り出し部から入力される目標物の２次元レーダ画像が、該シミュレーション画像と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【請求項１１】
前記飛翔体に搭載される光学カメラ部と、
前記光学カメラ部による光学画像を画像解析し前記目標物の上面図を作成する光学画像解析部とをさらに備え、
前記対象認識部は、前記上面図中の構成要素を符号で区別し区別結果を前記特徴計算部に入力し、
前記特徴計算部は、前記対象認識部からの入力に基づいて、前記構成要素の高さを計算し計算結果を前記対象認識部に入力し、
前記対象認識部は、前記特徴計算部からの入力に基づいて、前記目標物の特徴が前記モデルの特徴と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【請求項１】
飛翔体に搭載される合成開口レーダを使用し、前記飛翔体の飛翔方向及び目標物の姿勢に依存して変形する前記目標物の２次元レーダ画像の特徴が、記憶されたモデルの特徴と合致するか否か識別する目標物識別方法であって、
前記２次元レーダ画像の中から前記目標物を切り出すステップと、
レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波の反射強度分布を投影しヒストグラムを作成するステップと、
前記投影後の反射強度分布が前記モデルの特徴と合致するか否か識別するステップとを含むことを特徴とする目標物識別方法。
【請求項２】
レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波の高強度の反射点群を囲む２本の平行線を決定するステップと、
前記平行線を含み前記反射点群密度を最大とする平行四辺形を決定するステップと、
前記目標物の特徴が、前記モデルの特徴と合致するか否か識別するステップとをさらに含むことを特徴とする請求項１記載の目標物識別方法。
【請求項３】
前記２次元レーダ画像から前記目標物を切り出す初期切り出し領域を決定する第１ステップと、
前記初期切り出し領域内に存在する所定閾値以上の強度の前記レーダ電波の反射点群を選択する第２ステップと、
前記反射点群中において該反射点相互の距離が最大であり且つ前記初期切り出し領域の境界に最も近い反射点を除去する新切り出し領域を決定する第３ステップとを含み、
前記反射点群の分散が収束するまで前記第３ステップを繰り返すステップとをさらに含み、
前記目標物の特徴が前記モデルの特徴と合致するか否か識別するステップとを含むことを特徴とする請求項１記載の目標物識別方法。
【請求項４】
前記モデルの２次元レーダ画像をシミュレーションにより生成するステップと、
前記目標物の特徴が、該シミュレーション画像の特徴と合致するか否か識別するステップとをさらに含むことを特徴とする請求項１記載の目標物識別方法。
【請求項５】
光学カメラによる光学画像を画像解析して前記目標物の上面図を作成するステップと、前記上面図中の構成要素の高さを計算するステップとをさらに含み、
前記目標物の特徴が、前記モデルの特徴と合致するか否か識別することを特徴とする請求項１記載の目標物識別方法。
【請求項６】
飛翔体に搭載されるＳＡＲ部と、
レーダ反射信号を前記ＳＡＲ部から入力し２次元ＳＡＲ画像を生成するＳＡＲ画像取得部と、
前記ＳＡＲ画像の中から目標物を切り出す対象切り出し部と、
該切り出された目標物の特徴量を計算する特徴計算部と、
モデルを記憶するモデル記憶部と、
前記目標物の特徴が前記モデルの特徴と合致するか否か識別する対象識別部とを備えた目標物識別装置において、
前記対象識別部は、前記飛翔体の飛翔方向及び目標物の姿勢に依存して前記目標物の２次元レーダ画像上に現れる変形に基づいて、前記目標物の特徴が、前記モデルの特徴と合致するか否か識別することを特徴とする目標物識別装置。
【請求項７】
前記特徴計算部は、レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波の反射強度分布を投影したヒストグラムを作成し、
前記対象識別部は、前記投影後の反射強度分布が前記モデルの特徴と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【請求項８】
前記切り出し部は、レーダ電波を前記目標物に向けて照射する方向において、前記レーダ電波による高強度の反射点群を囲む２本の平行線を決定し、前記平行線を含み前記反射点群密度を最大とする平行四辺形を決定し、
前記対象識別部は、前記平行四辺形によって切り出された前記目標物の特徴が前記モデルの特徴と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【請求項９】
前記切り出し部は、前記２次元レーダ画像から前記目標物を切り出す初期切り出し領域を決定し、さらに、前記初期切り出し領域内に存在する所定閾値以上の強度の前記レーダ電波による反射波を選択し、さらに、前記反射点群中において該反射点相互の距離が最大であり前記初期切り出し領域の境界に最も近い反射波を除去する新切り出し領域を決定し、さらに、前記反射点群の分散が収束するまで新切り出し領域を更新し、
前記対象識別部は、前記目標物以外からの反射波を排除して切り出された前記目標物の特徴が、前記モデルの特徴と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【請求項１０】
前記モデルの２次元レーダ画像をシミュレーションにより生成するＳＡＲシミュレーション部をさらに備え、
前記対象識別部は、前記対象切り出し部から入力される目標物の２次元レーダ画像が、該シミュレーション画像と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【請求項１１】
前記飛翔体に搭載される光学カメラ部と、
前記光学カメラ部による光学画像を画像解析し前記目標物の上面図を作成する光学画像解析部とをさらに備え、
前記対象認識部は、前記上面図中の構成要素を符号で区別し区別結果を前記特徴計算部に入力し、
前記特徴計算部は、前記対象認識部からの入力に基づいて、前記構成要素の高さを計算し計算結果を前記対象認識部に入力し、
前記対象認識部は、前記特徴計算部からの入力に基づいて、前記目標物の特徴が前記モデルの特徴と合致するか否か識別することを特徴とする請求項６記載の目標物識別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００７−１２１１１１（Ｐ２００７−１２１１１１Ａ）
【公開日】平成１９年５月１７日（２００７．５．１７）
【国際特許分類】
【出願番号】特願２００５−３１３５７５（Ｐ２００５−３１３５７５）
【出願日】平成１７年１０月２７日（２００５．１０．２７）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成１９年５月１７日（２００７．５．１７）
【国際特許分類】
【出願日】平成１７年１０月２７日（２００５．１０．２７）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]