画像変化選別装置
【課題】地表面に生じた物理的な変化を対象に、ノイズが残った状態でも変化領域の特徴量抽出および選別対象変化候補領域の限定を行い、選別対象変化であるか否かを判定可能な画像変化選別装置を得る。
【解決手段】変化抽出結果画像のノイズ除去部2と、特徴量抽出部3と、画像をセグメント分割するセグメント生成部4と、セグメント位置調整部5と、セグメントの交差特徴算出部6と、交差特徴に基づくセグメント選択部7と、セグメント変換部8と、交差特徴と変換後セグメントとに基づくマッチング用のテンプレート選択部9と、選択されたテンプレートと変換後セグメントとのマッチング部10と、マッチング結果の適合テンプレートの空間的連続性評価結果に基づき適合テンプレートを選択するテンプレート評価部11と、選択後適合テンプレートTsを空間的に配置した変化選別結果を出力する変化選別部12と、を備えている。
【解決手段】変化抽出結果画像のノイズ除去部2と、特徴量抽出部3と、画像をセグメント分割するセグメント生成部4と、セグメント位置調整部5と、セグメントの交差特徴算出部6と、交差特徴に基づくセグメント選択部7と、セグメント変換部8と、交差特徴と変換後セグメントとに基づくマッチング用のテンプレート選択部9と、選択されたテンプレートと変換後セグメントとのマッチング部10と、マッチング結果の適合テンプレートの空間的連続性評価結果に基づき適合テンプレートを選択するテンプレート評価部11と、選択後適合テンプレートTsを空間的に配置した変化選別結果を出力する変化選別部12と、を備えている。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、複数回の定期観測によって得られた複数枚のレーダ画像から複数枚の複素相関分布(コヒーレンスマップ)を取得し、複数の複素相関分布から抽出された物理的な変化に対して、有意な変化を選別するための画像変化選別装置に関するものである。
【背景技術】
【0002】
従来から、ほぼ同一の撮像条件で地表面の同一エリアを時系列的に撮像し、取得時刻の異なる2枚のレーダ画像から、1枚目の画像取得時と2枚目の画像取得時との間に生じた地表面変化を抽出する技術として、CCD(Coherent Change Detection)が知られている。
【0003】
CCD技術においては、SAR画像の輝度情報のみならず、位相情報を利用して画像変化を検出しているので、輝度変化のみに基づく変化抽出技術と比較して、変化に対する感度が高いという利点がある。
【0004】
また、CCD技術においては、2枚のSAR画像間の複素相関値(コヒーレンス)が、地表面に生じた「変化を表す指標」として用いられるが、コヒーレンスは、変化のない領域では「1」に近い値をとり、変化が生じた領域では「0」に近い値をとる性質がある。
したがって、地表面の変化領域(2枚のSAR画像間のコヒーレンスの低い領域)は、閾値処理(閾値以下の領域を抽出)を行うことにより抽出することができる。
【0005】
しかしながら、この種の画像変化抽出装置で抽出される変化は、定常的に発生する定常変化(植生や水面の揺らぎなど)と、非定常変化(移動体の軌跡(轍跡)など)とに分かれるが、定常変化の多くは、通常、オペレータ(判読技術者)にとって不要である。したがって、分析対象となる変化を、オペレータの人手により選別する必要があった。
【0006】
また、変化選別の自動化に際し、移動体の軌跡といった選別対象変化の性質(連続な直線、または曲線形状)を踏まえると、たとえば、非特許文献1、非特許文献2の手法の適用が考えられる。
しかしながら、非特許文献1、非特許文献2に記載の手法の適用に際しては、いずれの場合も、対象物の特徴形状が抽出可能であること、および候補領域の限定が可能であることを前提条件としている。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】Vandana Shukla,R.ChandraKanth,R.Ramachandran,“Semi−Automatic Road Extraction Algorithm for High Resolution Images Using Path following Approach”,ICVGIP02,Ahmadabad,pp231−236,2002.
【非特許文献2】C.Heipke,H.Mayer,C.Wiedemann,O.Jamet,“Evaluation of automatic road extraction”,Internatinal Archives of Photogrammetry and Remote Sensing,pp47−56,1997.
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来の画像変化抽出装置では、分析対象となる変化の選別を、人手で行う必要があるという課題があった。
また、非特許文献1または非特許文献2のように、変化選別の自動化を実現しようとしても、SAR画像に特有のノイズや揺らぎの影響により、前提条件(対象物の特徴形状抽出および候補領域の限定)となる情報の高精度な抽出が困難になるという課題があった。
さらに、前提条件の情報抽出が可能であったとしても、選別対象物の形状および向きなどの自由度が高いことから、テンプレートの生成に限界があるという課題があった。
【0009】
この発明は、上記のような課題を解決するためになされたものであり、地表面に生じた物理的な変化を対象に、ノイズやゆらぎが残った状態であっても、変化領域の特徴量抽出、および選別対象変化候補領域の限定を行い、選別対象変化であるか否かを容易かつ確実に判定することのできる画像変化選別装置を得ることを目的とする。
【課題を解決するための手段】
【0010】
この発明に係る画像変化選別装置は、2枚の画像間の複素相関分布に基づいて算出された変化抽出画像データを格納する変化抽出結果ファイルと、変化抽出画像データに対してノイズ除去処理を行い、ノイズ除去後のノイズ除去画像データを生成するノイズ除去部と、ノイズ除去画像データに対して特徴量抽出処理を行い、特徴量抽出画像データを生成する特徴量抽出部と、特徴量抽出画像データを部分画像に分割してセグメント画像データを生成するセグメント生成部と、セグメント画像データの各セグメントを構成する画素の強度情報に基づき、セグメント位置を調整して位置調整後セグメント画像データを生成するセグメント位置調整部と、位置調整後セグメント画像データの各セグメントの交差特徴を算出して交差特徴データを生成する交差特徴算出部と、交差特徴データに基づきセグメントを選択して候補セグメント画像データを生成するセグメント選択部と、候補セグメント画像データおよび交差特徴データを入力情報とし、交差特徴データに基づき、候補セグメント画像データの分割、拡大および回転処理を行い、変換後セグメント画像データを生成するセグメント変換部と、変換後セグメント画像データおよび交差特徴データを入力情報とし、交差特徴データに基づき、変換後セグメント画像データとの間でマッチング処理を行うためのテンプレート画像を選択して、候補テンプレートを生成するテンプレート選択部と、候補テンプレート、変換後セグメント画像データおよび交差特徴データを入力情報とし、交差特徴データに基づく候補テンプレートと変換後セグメント画像データとのマッチング処理により、両者の類似性を判定してマッチング結果を生成するテンプレートマッチング部と、マッチング結果を評価し、マッチング評価結果が閾値以上のテンプレートを適合テンプレートとし、同一セグメントを対象に単一の適合テンプレートが存在する場合には、該当する適合テンプレートを選択後適合テンプレートとして生成し、同一セグメントを対象に複数の適合テンプレートが重複して存在する場合には、各々のマッチング評価結果に基づく取捨選択処理を行い、取捨選択後の適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、連続性評価結果に基づき選択された適合テンプレートを選択後適合テンプレートとして生成するテンプレート評価部と、選択後適合テンプレートを入力情報とし、すべての選択後適合テンプレートを配置した画像を変化選別結果として生成する変化選別部と、変化選別結果を格納する変化選別結果ファイルとを備えたものである。
【発明の効果】
【0011】
この発明によれば、複数回の定期観測による複数枚のレーダ画像から得られた複数枚の複素相関分布(コヒーレンスマップ)から得られた物理的変化の中から、ノイズやゆらぎが残った状態であっても、変化領域の特徴量抽出、および選別対象変化候補領域の限定を行い、選別対象変化であるか否かを容易かつ確実に判定することができる。
【図面の簡単な説明】
【0012】
【図1】この発明の実施の形態1に係る画像変化選別装置を示すブロック構成図である。
【図2】この発明の実施の形態1による位置調整例を示す説明図である。
【図3】この発明の実施の形態1による位置調整例を示す説明図である。
【図4】この発明の実施の形態1による基本4軸の例を示す説明図である。
【図5】この発明の実施の形態1による交差特徴抽出例を示す説明図である。
【図6】この発明の実施の形態1による交差特徴間の線分抽出例を示す説明図である。
【図7】この発明の実施の形態1による交差特徴間の線分抽出例を示す説明図である。
【図8】この発明の実施の形態1による交差特徴間の線分抽出例を示す説明図である。
【図9】この発明の実施の形態1による交差特徴間の線分抽出例を示す説明図である。
【図10】この発明の実施の形態1によるセグメント分割/拡大処理例を示す説明図である。
【図11】この発明の実施の形態1によるセグメント回転処理例を示す説明図である。
【図12】この発明の実施の形態2に係る画像変化選別装置を示すブロック構成図である。
【図13】この発明の実施の形態6による交差特徴抽出のための交差点探索処理例を示す説明図である。
【図14】この発明の実施の形態7に係る画像変化選別装置を示すブロック構成図である。
【図15】この発明の実施の形態7による細線化処理後の特徴抽出結果の画像例を示す説明図である。
【図16】この発明の実施の形態7による追跡処理例を示す説明図である。
【図17】この発明の実施の形態7によるループ検出除去手順を示すフローチャートである。
【発明を実施するための形態】
【0013】
実施の形態1.
図1はこの発明の実施の形態1に係る画像変化選別装置を示すブロック構成図である。
図1において、画像変化選別装置は、変化抽出結果ファイル1と、ノイズ除去部2と、特徴量抽出部3と、セグメント生成部4と、セグメント位置調整部5と、交差特徴算出部6と、セグメント選択部7と、セグメント変換部8と、テンプレート選択部9と、テンプレートマッチング部10と、テンプレート評価部11と、変化選別部12と、変化選別結果ファイル13とを備えている。
【0014】
なお、図1には示されていないが、変化抽出結果ファイル1の入力側には、撮像装置および信号処理装置が接続されている。
信号処理装置は、撮像装置で撮像された2枚の画像間の複素相関分布に基づいて変化抽出画像データGを算出し、変化抽出結果ファイル1は、変化抽出画像データGを格納するものとする。
【0015】
すなわち、変化抽出結果ファイル1は、同一の領域に対する、N回の異なる時刻の観測により得られた画像に基づいて算出された変化抽出画像データGを格納している。
ノイズ除去部2は、変化抽出結果ファイル1からの変化抽出画像データGを入力情報とし、変化抽出画像データGに対してノイズ除去処理を行い、ノイズ除去後の画像をノイズ除去画像データとして生成する。
【0016】
特徴量抽出部3は、ノイズ除去部2からのノイズ除去画像データに対して特徴量抽出処理を行い、特徴量抽出画像データを生成する。
セグメント生成部4は、特徴量抽出部3からの特徴量抽出画像データを部分画像に分割して、セグメント画像データを生成する。
【0017】
セグメント位置調整部5は、セグメント生成部4からのセグメント画像データの各セグメントを構成する画素値(強度情報)に基づき、セグメント位置を調整して位置調整後セグメント画像データPrを生成する。
交差特徴算出部6は、セグメント位置調整部5からの位置調整後セグメント画像データPrの各セグメントの交差特徴を算出して、交差特徴データRを生成する。
セグメント選択部7は、位置調整後セグメント画像データPrおよび交差特徴算出部6からの交差特徴データRに基づき、セグメントを選択して候補セグメント画像データSを生成する。
【0018】
セグメント変換部8は、セグメント選択部7からの候補セグメント画像データSと、交差特徴算出部6からの交差特徴データRとを入力情報とし、交差特徴データRに基づき、候補セグメント画像データSの分割、拡大および回転処理を行い、変換後セグメント画像データStを生成する。
【0019】
テンプレート選択部9は、セグメント変換部8からの変換後セグメント画像データStと、交差特徴算出部6からの交差特徴データRとを入力情報とし、交差特徴データRに基づき、変換後セグメント画像データStとの間でマッチング処理を行うためのテンプレート画像を選択して、候補テンプレートTを生成する。
【0020】
テンプレートマッチング部10は、テンプレート選択部9からの候補テンプレートTと、セグメント変換部8からの変換後セグメント画像データStとを入力情報とし、交差特徴データRに基づく候補テンプレートTと変換後セグメント画像データStとのマッチング処理により、両者の類似性を判定してマッチング結果Tmを生成する。
【0021】
テンプレート評価部11は、テンプレートマッチング部10からのマッチング結果Tmを評価し、「マッチング評価結果が閾値以上のテンプレート」である適合テンプレートが、同一セグメントを対象に単一で存在する場合には、そのまま連続性評価対象の適合テンプレートとする。
【0022】
一方、同一セグメントを対象に「マッチング評価結果が閾値以上のテンプレート」である適合テンプレートが複数存在する場合には、テンプレート評価部11は、各々のマッチング評価結果に基づく取捨選択処理を行い、評価値が最も高いテンプレートを連続性評価対象の適合テンプレートとする。
次に、隣接する、または空間的に重複関係にある、連続性評価対象の適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、連続性評価結果が閾値を超えた場合に、それらの適合テンプレートを選択後適合テンプレートTsとして生成する。
【0023】
変化選別部12は、テンプレート評価部11からの選択後適合テンプレートTsを入力情報とし、すべての選択後適合テンプレートTsを配置した画像を変化選別結果V(全体の出力情報)として生成し、変化選別結果ファイル13は、変化選別結果Vを格納する。
【0024】
次に、図2〜図11の説明図を参照しながら、図1内の各機能ブロック2〜12の動作について、さらに具体的に説明する。
まず、ノイズ除去部2は、変化抽出画像データGを対象として、たとえば移動平均処理を行うことにより、変化選別に不要な画素情報をノイズとして除去する。
【0025】
しかし、移動平均処理は、或る画素の値を周辺画素の値の平均値に設定するノイズ除去方法であり、平均値に置き換えることによりノイズをぼかす効果があるものの、その反面、輪郭もぼかしてしまうことが知られている。
したがって、移動平均処理の代わりに、メディアンフィルタによるノイズ除去処理を適用してもよい。メディアンフィルタは、或る画素の周辺の値をソートし、各周辺値の中央値に設定するものであり、輪郭をぼかすことなくノイズのみをぼかすという利点がある。
【0026】
また、ノイズ除去アルゴリズムとしては、平均化処理のみならず、図形を1画素分だけ細くする収縮処理や、図形を外側に1画素分だけ広げる膨張処理などが適用可能である。
膨張/収縮処理により、ノイズの影響で図形にできた1画素分の穴や、ひげのような突起物を除去することが可能になる。
【0027】
続いて、特徴量抽出部3は、ノイズ除去画像データを構成するすべての画素を対象として、変化選別に用いる特徴量(特徴的形状)を抽出し、特徴量抽出画像データを生成する。このとき、特徴的形状の抽出方法としては、たとえば「細線化処理」が適用される。
【0028】
細線化処理は、変化領域の中心線の形状に特徴のある場合に有効であり、図形の中心線を特徴として抽出するために、図形のトポロジーを変えずに、すなわち線が途中でとぎれたり、孔が空いたりすることなく、図形の連続性を保持しながら、幅「1」のピクセルの線画像に変換する処理である。
【0029】
なお、細線化処理に代えて、変化選別候補領域の輪郭を抽出する輪郭抽出処理を適用してもよい。
輪郭抽出処理を行う具体例としては、2次微分フィルタであるラプラシアンフィルタなどがあげられる。
【0030】
続いて、セグメント生成部4は、特徴量抽出画像データを重複が生じないように分割して、特徴量抽出画像データを部分画像に分割した画像であるセグメント画像データを生成する。
このとき、セグメントの大きさは、変化選別対象として想定している対象物の大きさに応じて決定される。
【0031】
たとえば、変化選別対象として「車の軌跡」を想定している場合であれば、想定される車両機種の平均的な車輪間隔を基準としてセグメントの大きさが設定される。この場合、たとえば車輪間隔の2倍をセグメント長とする。
このように、重複がない状態でセグメント分割を行うことにより、セグメント数が限定され、高効率のマッチング処理が可能になる。
【0032】
続いて、セグメント位置調整部5は、セグメント画像データを対象として、各セグメントを構成する画素の画素値情報に基づきセグメントの位置を調整し、位置調整後のセグメントデータである位置調整後セグメント画像データPrを生成する。
【0033】
具体的には、図2、図3(右側参照)に示すように、画素値(「0」、「1」の2値をとる)が「1」の画素iの平均位置Pがセグメント中心位置と一致するように、セグメント50をセグメント51にシフトして位置調整を行う。
【0034】
図2、図3において、左側は、調整前のセグメント50を示しており、画素強度「1」の画素iの平均位置Pがセグメント中心位置と一致していない状態である。
一方、図2、図3の右側は、調整前のセグメント50(破線参照)からシフトされた調整後のセグメント51を示しており、画素強度「1」の画素iの平均位置Pがセグメント中心位置と一致している。
【0035】
このように、セグメント中心付近が画素値「1」の変化画素の平均位置Pとなるようにセグメント位置を調整することにより、後段のマッチング処理を行う際に、画素値「1」の画素の平均位置Pを中心位置としたテンプレートのみを対象とすればよく、マッチング処理の高効率化が可能になる。
【0036】
次に、交差特徴算出部6は、位置調整後セグメント画像データPrに基づき、各セグメントの交差特徴を算出して交差特徴データRを生成する。
具体的には、交差特徴算出部6は、まず、位置調整後セグメント画像データPrを対象として、各セグメントの基本4軸で交差特徴の抽出を行う。
【0037】
ここで、基本4軸とは、図4に示すように、セグメントの垂直/水平の中心線X、Yと、2つの対角線W、Zとをいう。
また、「交差特徴」とは、図5に示すように、2値画像上の線形状の対象物(車両の軌跡など)が軸(たとえば、中心線Y)と交差する数(軸が画素値「1」の画素iの軌跡と交差した数)をいう。
【0038】
図5においては、2本の平行線上に画素値「1」の画素iが分布する場合の、中心線Y(垂直方向の軸)との交差特徴(交差点C1、C2の数「2」)を算出した例を示しており、交差特徴は「2」となる。
4軸(X、Y、W、Z)に対する交差特徴を抽出した結果、いずれかの軸で、交差特徴(交差数)が「1」以上であれば、そのセグメントを候補セグメントとする。
【0039】
続いて、交差特徴算出部6は、交差数が「1」以上であった軸Yを基本軸とし、図6のように、基本軸Yに対して平行で、かつ基本軸Yから等間隔な対称位置にある2軸Y1、Y2を求め、2軸Y1、Y2と線形状の対象物(画素iの軌跡)との交差特徴抽出処理を行う。
【0040】
図6〜図9は交差特徴(交差点数)間の線分(実線矢印)を抽出する例を示す説明図であり、それぞれ抽出対象の線分形状が異なる場合を示している。
図6〜図9において、交差特徴抽出用の平行軸Y1、Y2は、たとえば、基本軸Yからの距離が「基本軸Yからセグメント51の垂直方向の2境界線(両側端)までの距離の約1/2」となるように設定されている。
【0041】
図6においては、2本の平行線(車両の軌跡など)上に画素値「1」の画素iが分布しているセグメント51に対し、垂直方向の中心線Y(基本軸)および基本軸Yから等間隔にある2直線Y1、Y2と、2本の平行線(画素iの軌跡)との交差点C11、C12、C21、C22の検出例を示している。
【0042】
続いて、交差特徴算出部6は、交差特徴データRから、変化選別対象として想定している対象物の、本数、間隔、形状(直線/曲線)、平行/連続関係などの位置関係を、以下のように予測する。
【0043】
まず、異なる軸(Y、Y1、Y2)を通る交差点の組み合わせに基づき、平行線(車両の軌跡など)の線分式を近似的に求める。このとき、図6〜図9内の実線矢印で示すように、近傍の交差点間において、想定可能なすべての組み合わせに対し算出する。
【0044】
続いて、各線分式の勾配(各実線矢印の傾き)に基づき、図6〜図8のように、各線分をグルーピングする(破線枠参照)。
具体的には、勾配の値が近い交差点を「同一グループ」とする。すなわち、「平行関係にある」か、または「平行で連続である(同一直線上にある)」と想定される線分が「同一グループ」に所属する。
【0045】
また、同一グループ内の線分間の連続性は、以下の手順によって判定される。
たとえば、図9のように、同一交差点C21を通る線分L1、L2が複数存在する場合は、「連続性あり」と判定し、同一交差点C21を共有点とする2線分L1、L2の勾配平均または勾配変化率を算出する。
【0046】
このとき、2線分の勾配差が事前に設定した所定の閾値以下の場合には勾配平均を算出し、図9のように、2線分L1、L2の勾配差が閾値を超える場合には、線分ベクトル間の角度を勾配変化率として算出する。
勾配平均が算出された場合(勾配差≦閾値)には、2直線が同一直線上にあるものと見なし、図9のように、勾配変化率が算出された場合(勾配差>閾値)には、2直線L1、L2が同一曲線上にあるものと見なす。
【0047】
なお、ここでは、選別対象物として物体(車両など)の移動軌跡を想定しているので、想定形状は、「同一方向の直線形状」、「楕円や蛇行状の曲線形状」、「直線形状と方向転換部位としての曲線形状との組み合わせからなる混在形状」、「方向転換部位が不連続となっている、異なる方向の複数の直線形状からなる形状」、のいずれかとなる。
【0048】
図6〜図8においては、同一の交差特徴(交差点数が「2」)から得られた線分を対象として、それぞれ異なるグループ分け(破線枠)が行われた例を示しており、実線矢印で結ばれた交差点間の線分式が算出される。
また、図6〜図8において、各破線枠内には、近似した勾配によってグループ分けされた同一グループの交差点が示されている。
【0049】
図6においては、交差点C1、C2を通る線分(実線矢印)が、それぞれ、各点の左右対称位置に2本ずつ存在するので、交差点C1を通る2線分式の平均勾配を算出し、交差点C2を通る2線分式の平均勾配を算出する。
このとき、2つの交差点における各平均勾配がほぼ等しいことから、交差点C1を通る2線分、および交差点C2を通る2線分は、それぞれ同一直線上に位置するものと見なすことができる。
【0050】
さらに、各交差点C1、C2を通る各直線式(2線分式の平均値から算出)から、お互いが延長線上にない(延長関係にない)と判定された場合には、両者は平行関係にあるものと見なし、「平行関係にある2直線(たとえば、車両の軌跡に対応)」が対象物の形状候補となる。
【0051】
図6においては、対象物(画素iの軌跡)の形状候補が2平行直線の場合を示し、図7および図8においては、対象物の形状候補が「ほぼ等間隔に配置された、平行関係にあると見なせる、4つの曲線または直線」の場合を示している。
【0052】
ただし、図7においては、4つの線(画素iの軌跡)のうち、各2つの交差点を通る中央部の2線(交差点C1、C22を通る線と、交差点C11、C2を通る線と)の平行関係はある程度予想されるが、各1つの交差点のみを通る残りの2線(交差点C12を通る線と、交差点C21を通る線と)に関しては、平行関係が不明であり、各交差点を通過する線(または点)の存在情報のみが取得される。
【0053】
同様に、図8においては、4つの線(画素iの軌跡)のうち、各2つの交差点を通る2線(交差点C1、C12を通る線と、交差点C21、C2を通る線と)の平行関係は予想されるが、各1つの交差点のみを通る2線(交差点C11を通る線と、交差点C22を通る線と)に関しては、平行関係が不明である。
したがって、後段のマッチング処理の際に、各対象物との「適合の度合い」に重み付けを行う場合には、平行関係が不明な後者の線に対して「重み値」を下げる方法が考えられる。
【0054】
図7、図8において、対象物がそれぞれ直線/曲線のいずれであるかは、仮に直線であることを想定して求めた式と、基本軸Yおよび2隣接軸Y1、Y2に関して想定される交差点の有無とを判定要素の1つとする。
ただし、対象物の形状が部分的に欠落している場合も有り得るので、判定要素の1つに過ぎないものとし、曲線/直線である可能性を「0〜1」の範囲内の数値で表現する程度とする。
【0055】
図9においては、同一の交差点C21を通る勾配の異なる2線分L1、L2の例を示しており、各線分L1、L2は異なる勾配グループに属する。
この場合、前述の通り、交差点C21を通る2線分式の勾配差は閾値以上であり、対象物の形状候補としては、図示したように「1つの曲線」が考えられる。
【0056】
一方、図6〜図8のように、グループ分けに基づく位置関係から、平行関係にある対象物が複数存在する場合には、それぞれの2平行線/曲線間の組み合わせに対し、距離推定値(破線矢印参照)を求める。
具体的には、すべての対象物が直線であると仮定して算出した直線式から、線形状間の距離推定値を仮想直線間距離として求める。
【0057】
このように、交差特徴算出部6により交差特徴を抽出することにより、線形状対象物の形状特徴を容易に表現可能となり、後段のテンプレートマッチング処理における条件絞り込みに適用することができる。
【0058】
次に、セグメント選択部7は、交差特徴算出部6から入力される交差特徴データRと、セグメント位置調整部5から入力される位置調整後セグメント画像データPrとを入力情報として、各セグメントの交差特徴データRに基づき、選別対象となる変化の存在可能性を判定してセグメントを選択し、候補セグメント画像データSとして生成する。
【0059】
具体的には、たとえば、変化選別対象として軌跡を想定している場合に、軌跡と見なすことのできる直線(または、曲線)形状の存在数が「0」であれば、存在可能性が「0」と見なし、該当セグメントを選択対象外とする。
一方、存在数が「1」以上であれば、候補セグメント画像データSとして生成する。
このように、交差特徴データRに基づきセグメント選択を行い、マッチング対象となるセグメントを絞り込むことにより、高効率のマッチング処理が可能となる。
【0060】
続いて、セグメント変換部8は、候補セグメント画像データSおよび交差特徴データRを入力情報として、交差特徴データRから得られた形状特徴に基づき、図10、図11のように、セグメントの変換(分割/拡大/回転)処理を行い、変換後セグメント画像データStを生成する。
【0061】
セグメントの分割処理においては、図10に示すように、セグメント51内に存在する対象物の勾配変化状況から、勾配変化点Cが複数存在する場合には要分割と判定し、勾配変化点(交差点)Cを通る軸Y(または、軸Yに平行な線)により、セグメント51a、51bに分割する。
【0062】
また、図10に示すように、分割後のセグメント51a、51bは、後段のマッチング処理のために拡大処理が施されて、セグメント51a、51b内のデータを軸方向および垂直方向に拡大され、元のセグメント51の大きさに正規化される。
【0063】
一方、セグメントの回転処理に関しては、図11に示すように、対象物形状(画素iの軌跡)の平均勾配値に基づき、回転角度の決定後に、対象物形状の傾きが「0」となるように回転処理を行う。
図11においては、2つの平行線(画素iの軌跡)の平均勾配が45度の場合を示しており、セグメント50を時計方向に45度回転させることにより、新たなセグメント51を設定することができる。
【0064】
このように、セグメント変換部8において、同一セグメント内に複数のテンプレートにまたがる対象物が存在する場合に、各テンプレートに合わせて分割/拡大処理(図10)を行うとともに、回転処理(図11)による位置合わせを行い、セグメントを正規化する(基本テンプレートに整合させる)ことにより、基本となるテンプレート数を限定することができ、後段のマッチング処理を高効率に行うことが可能となる。
【0065】
次に、テンプレート選択部9は、交差特徴データRおよび変換後セグメント画像データStを入力情報として、各セグメントの交差特徴データRに基づき、各変換後セグメント画像データStとの間でマッチング処理を行うテンプレート(各セグメントの形状候補情報に即したテンプレート)を選択し、候補テンプレートTとして生成する。
【0066】
このとき、テンプレート選択部9は、形状候補情報として、たとえば「2平行線(直線間距離A1)」、「4つの平行関係にある曲線(曲線間距離A2)」、「4平行線(平行線間距離A3)」という情報が得られている場合には、これらの条件を満たすテンプレートをすべて選択する。
このように、事前に得られた交差特徴データRに基づき、マッチング対象となる候補テンプレートTを選択することにより、後段のマッチング処理を高効率に行うことが可能となる。
【0067】
続いて、テンプレートマッチング部10は、候補テンプレートTおよび変換後セグメント画像データStを入力情報として、すべての候補テンプレートTと、変換後セグメント画像データStのすべての対応画素の画素値と、の一致の有無を判定してマッチング処理を行い、一致の度合いに応じた評価値を算出してマッチング結果Tmを出力する。
このとき、簡単な例で言えば、一致した画素強度「1」の画素iの合計数を、評価値として算出する。
【0068】
次に、テンプレート評価部11は、マッチング結果Tmを入力情報として、マッチング結果Tmに適合し、かつ連続性の評価値(マッチング評価結果)が閾値以上のテンプレートを選択後適合テンプレートとして選択する。
このとき、一つのセグメントに対し、マッチング結果に適合するテンプレート、すなわち適合テンプレートが単一の場合には、そのまま連続性評価対象である適合テンプレートとなり、同一セグメントに対して適合テンプレートが複数個存在する場合には、マッチング評価結果が最も高い適合テンプレートを、連続性評価対象の適合テンプレートとする。
【0069】
また、連続性評価を行うにあたり、隣接セグメント間に空間的重複関係があり、かつ該当する各隣接セグメントに連続性評価対象となる適合テンプレートが存在する場合には、適合セグメントの重複部分と該当適合テンプレートの部分テンプレートとのマッチング処理を行い、より評価値が高い部分テンプレートを、該当領域の適合テンプレートとする。
【0070】
たとえば、セグメント51Aとセグメント51Bとの間に重複関係が有り、適合テンプレートTAの部分テンプレートの方が、適合テンプレートTBの部分テンプレートよりも、重複領域とのマッチング評価値が高い場合には、「適合テンプレートTAの全体と、適合テンプレートTBから重複部分を除去した適合テンプレートTB’と」を、重複領域解消後の適合テンプレートとする。
【0071】
さらに、テンプレート評価部11は、連続性評価対象である適合テンプレートを空間的に配置し、各適合テンプレートの相互間の空間的連続性の評価を行い、連続性評価結果の算出値が閾値以上の場合に、選択後適合テンプレートTsとして決定する。閾値以下の場合は、そのセグメントに対する選択後適合テンプレートは該当なしとする。
空間的連続性の評価は、隣接する(または、空間的に重複関係にある)セグメント(以下、「近傍セグメント」という)を対象とした適合テンプレート間の連続性を評価することを意味する。
【0072】
具体的には、近傍セグメント間で、「交差する(または、接する、近傍に位置する)」境界を対象として、各セグメントでの「該当する境界上(または、境界線の近傍)の画素値「1」の画素(以下、「境界近傍画素」という)」を抽出し、境界近傍画素の位置関係を評価する。
【0073】
このときの評価基準としては、境界上の画素値「1」の画素数差の逆数(一致する場合は「1」を用いることができる。)または、近傍セグメント間での対応する画素の組み合わせを距離などから決定し、その対応画素間距離の総和の逆数などが用いられ得る。
さらに、近傍セグメント間の境界線対でのパターンマッチング結果を連続性評価値としてもよい。
【0074】
なお、上記の例では、同一セグメントに対し、適合テンプレートが複数存在する場合、マッチング結果が最良のテンプレートを連続性評価対象の適合テンプレートとして選択する例を示したが、たとえば連続性評価対象となった適合テンプレートの連続性評価結果が閾値以下の場合には、マッチング結果が次に高い適合テンプレートに対し、連続性評価を行う方法も考えられる。連続性評価結果が閾値以上であれば、このテンプレートを選択後適合テンプレートとし、閾値以下の場合は、同じく、次にマッチング結果が高い適合テンプレートに対し連続性評価を行う、以上の処理を連続性評価値が閾値を超えるまで、あるいは同一セグメントに対する全適合テンプレートへの連続性の評価が終わるまで繰り返す。以上の例では、マッチング結果が高い順に適合テンプレートの連続性評価を行う例を示したが、最初から、同一セグメントに対する全ての適合テンプレートの連続性評価を行い、連続性評価結果が最良で、かつ閾値以上である適合テンプレートを選択後適合テンプレートとしてもよい。また、連続性評価を行う近隣セグメントそれぞれに複数の適合テンプレートが存在する場合には、それぞれのマッチング結果の高い順、あるいは、それらの全ての組み合わせに対し、連続性評価を行って、最良の組み合わせを選択してもよい。
【0075】
このように、テンプレートマッチング部10による個々のセグメントのマッチング結果Tmに加えて、テンプレート評価部11による空間的連続性の評価を行うことにより、部分的な一致のみでなく、全体の連続性をも考慮した良好な適合結果を得ることが可能となる。
【0076】
最後に、変化選別部12は、選択後適合テンプレートTsを入力情報として、これらを空間的に配置したものを元画像上に重ねて表示し、変化選別結果Vとして出力するとともに、変化選別結果Vを変化選別結果ファイル13に格納する。
【0077】
このように、選択後適合テンプレートTsを空間的に配置したものを元画像上に重ねて表示することにより、視覚的に分かりやすく変化選別結果Vを認識することができる。
また、元画像上の変化抽出結果(変化抽出画像データG)と変化選別結果Vとの整合性を簡単に確認することが可能となるので、分析対象となる変化の選別を自動的に行うのみでなく、ユーザによる変化の選別を支援することも可能となる。
【0078】
なお、テンプレート評価部11は、選択されたテンプレートとのマッチング結果Tmが閾値以上であれば適合テンプレートとし、マッチング結果Tmが閾値未満の場合には、適合テンプレートの候補外としているが、図1に示すように、テンプレート選択部9に対して候補テンプレート更新要求Uを生成し、マッチング結果Tmが閾値未満の場合には、テンプレート選択部9において、類似した(または、派生関係にある)テンプレートを再選択するように構成してもよい。
【0079】
すなわち、テンプレート評価部11は、すべての候補テンプレートTのマッチング評価結果であるマッチング結果Tm、または連続性評価結果が閾値以上を満たさない場合には、候補テンプレート更新要求Uを生成し、テンプレート選択部9は、候補テンプレート更新要求Uに応答して、新たな候補テンプレートTを選択し、新たな候補テンプレートTをテンプレートマッチング部10に入力する。
【0080】
具体的には、テンプレート選択部9で選択された候補テンプレートTが、たとえば「2平行直線」の場合、その類似または派生テンプレートとして「3平行直線」、「2曲線」などを選択する。なお、類似テンプレートや派生テンプレートは、事前に設定されているテンプレート間の類似度または派生関係に基づいて選択される。
【0081】
このように、テンプレート選択部9において、候補テンプレートTの再選択機能を備えることにより、交差特徴データRに合致する候補テンプレートTと変換後セグメント画像データStとのマッチング度や、適合テンプレートの連続性が低い場合であっても、それに準ずる類似度を有する(または、派生関係にある)新たな候補テンプレートTとのマッチングを行うことにより、柔軟性の高いマッチング処理が可能となる。
【0082】
以上のように、この発明の実施の形態1(図1)に係る画像変化選別装置は、2枚の画像間の複素相関分布に基づいて算出された変化抽出画像データGを格納する変化抽出結果ファイル1と、変化抽出画像データGに対してノイズ除去処理を行い、ノイズ除去後のノイズ除去画像データを生成するノイズ除去部2と、ノイズ除去画像データに対して特徴量抽出処理を行い、特徴量抽出画像データを生成する特徴量抽出部3と、特徴量抽出画像データを部分画像に分割してセグメント画像データを生成するセグメント生成部4と、セグメント画像データの各セグメントを構成する画素の強度情報に基づき、セグメント位置を調整して位置調整後セグメント画像データPrを生成するセグメント位置調整部5と、を備えている。
【0083】
また、この発明の実施の形態1に係る画像変化選別装置は、位置調整後セグメント画像データPrの各セグメントの交差特徴を算出して交差特徴データRを生成する交差特徴算出部6と、交差特徴データRに基づきセグメントを選択して候補セグメント画像データSを生成するセグメント選択部7と、候補セグメント画像データSおよび交差特徴データRを入力情報とし、交差特徴データRに基づき、候補セグメント画像データSの分割、拡大および回転処理を行い、変換後セグメント画像データStを生成するセグメント変換部8と、変換後セグメント画像データStおよび交差特徴データRを入力情報とし、交差特徴データRに基づき、変換後セグメント画像データStとの間でマッチング処理を行うためのテンプレート画像を選択して、候補テンプレートTを生成するテンプレート選択部9と、を備えている。
【0084】
さらに、この発明の実施の形態1に係る画像変化選別装置は、候補テンプレートT、変換後セグメント画像データStを入力情報とし、交差特徴データRに基づく候補テンプレートTと変換後セグメント画像データStとのマッチング処理により、両者の類似性を判定してマッチング結果Tmを生成するテンプレートマッチング部10と、マッチング結果Tmを評価し、マッチング評価結果が閾値以上のテンプレートを適合テンプレートとし、同一セグメントを対象に単一の適合テンプレートが存在する場合には、そのまま連続性評価対象の適合テンプレートとし、同一セグメントを対象に複数の適合テンプレートが重複して存在する場合には、各々のマッチング評価結果に基づく取捨選択処理を行って連続性評価対象の適合テンプレートを決定し、さらに適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、連続性評価結果が閾値を超えた適合テンプレートを選択後適合テンプレートTsとするテンプレート評価部11と、選択後適合テンプレートTsを入力情報とし、すべての選択後適合テンプレートTsを配置した画像を変化選別結果Vとして生成する変化選別部12と、変化選別結果Vを格納する変化選別結果ファイル13と、を備えている。
【0085】
これにより、複数回の定期観測による複数枚のレーダ画像から得られた複数枚の複素相関分布(コヒーレンスマップ)から得られた物理的変化の中から、ノイズやゆらぎが残った状態であっても、変化抽出画像データGに対してノイズ除去処理を行い、変化領域の特徴量抽出を行い、選別対象変化候補領域の限定を行うことができ、選別対象変化であるか否かを容易かつ確実に判定し、すべての選択後適合テンプレートTsを配置した画像を変化選別結果Vとして選別することができる。
【0086】
また、テンプレート評価部11は、すべての候補テンプレートTのマッチングの評価結果であるマッチング結果Tm、あるいは連続性評価結果が閾値以上を満たさない場合には、候補テンプレート更新要求Uを生成する。
これにより、テンプレート選択部9は、候補テンプレート更新要求Uに応答して、新たな候補テンプレートTを選択し、新たな候補テンプレートTをテンプレートマッチング部10に入力するので、有効な候補テンプレートTの評価に基づくマッチング結果Tmを用いて、選択後適合テンプレートTsを取得して、最終的な変化選別結果Vを得ることができる。
【0087】
実施の形態2.
なお、上記実施の形態1(図1)では、テンプレートマッチング部10によるマッチング結果Tm(または連続性評価結果)が閾値以上を満たさない場合に、テンプレート選択部9において、既存のテンプレートの中から候補テンプレートTを再選択したが、図12に示すように、候補テンプレート更新要求Uに応答してテンプレートを調整するテンプレート調整部14を設け、マッチングが行われた候補テンプレート自体を調整するように構成してもよい。
【0088】
図12はこの発明の実施の形態2に係る画像変化選別装置を示すブロック構成図であり、前述(図1参照)と同様のものについては、前述と同一符号を付して、または符号の後に「A」を付して詳述を省略する。
図12において、画像変化選別装置は、前述(図1)の構成に加えて、テンプレート調整部14を備えている。
【0089】
テンプレート調整部14は、テンプレート評価部11とテンプレートマッチング部10Aとの間に挿入されており、テンプレート評価部11からの候補テンプレート更新要求Uに応答して、調整後候補テンプレートTuを生成してテンプレートマッチング部10Aに入力する。
【0090】
この場合、前述(図1)との相違点は、テンプレート調整部14が、候補テンプレート更新要求U(マッチング評価結果)を入力情報として、調整後の候補テンプレートである調整後候補テンプレートTuを、テンプレートマッチング部10Aに入力する点のみである。
【0091】
なお、テンプレート調整部14による具体的な調整方法としては、選択済みの候補テンプレートTの線幅を調整する方法がある。
たとえば、基本形状の線幅が「1」であれば、線幅を倍の「2」に設定して、調整後候補テンプレートTuとして生成する。
【0092】
これにより、テンプレートマッチング部10Aは、調整後候補テンプレートTuに基づき再度のマッチング処理を行い、マッチング結果Tmを生成する。
以下、テンプレート評価部11は、前述と同様に、マッチング結果Tmが閾値以上の評価条件を満たしているか否かの判定を行い、条件を満たしている場合には、適合テンプレートとして、さらに連続性評価処理を行う。
【0093】
以上のように、この発明の実施の形態2(図12)に係る画像変化選別装置は、テンプレート評価部11とテンプレートマッチング部10Aとの間に挿入されたテンプレート調整部14を備えている。
【0094】
テンプレート評価部11は、すべての候補テンプレートTのマッチングの評価結果であるマッチング結果Tmが閾値以上を満たさない場合に、候補テンプレート更新要求Uを生成し、テンプレート調整部14は、候補テンプレート更新要求Uに応答して、前回の候補テンプレートTの線幅を調整し、調整後候補テンプレートTuをテンプレートマッチング部10Aに入力する。
【0095】
この場合、既に選択済みの候補テンプレートTの形状はそのままで、線幅を調整することにより調整後候補テンプレートTuが生成されるので、対象物の形状的なブレに対応したマッチング処理が可能となる。
【0096】
また、上記実施の形態1(図1)では、テンプレート評価部11において、同一セグメントに対し、適合テンプレートが複数存在する場合、これらの全テンプレートの連続性評価を行い、連続性評価値が最も高い適合テンプレートを選択する例を示したが、同一位置に重複して存在する適合テンプレートのすべての連続性評価値が基準値を満たさない場合には、上記実施の形態2(図12)のテンプレート調整部において、適合テンプレートの形状を連続性評価値に基づき微調整してもよい。
【0097】
ここで、図12内の各符号の後に「B」を付して説明すると、テンプレート調整部で微調整された微調整適合テンプレートTuBは、テンプレートマッチング部10Bに入力され、テンプレートマッチング部10Bは、微調整適合テンプレートTuBに基づく再度のマッチング処理を行い、マッチング結果Tmをテンプレート評価部11Bに入力する。
【0098】
テンプレート評価部11Bは、マッチング結果Tmが閾値以上を満たしていることを確認後、連続性の評価を行い、再評価結果が基準値を満たす場合に、微調整後の適合テンプレートを選択後適合テンプレートTsとして生成する。
【0099】
なお、適合テンプレートの形状の微調整方法としては、たとえば、連続性評価対象となる隣接セグメント間において、各隣接セグメントの境界(または、境界の最も近傍)に位置する画素値「1」の画素である境界近傍画素を抽出し、これらの画素間を結ぶ線分上に位置するすべての画素をすべて「1」に変換する方法がある。
【0100】
以上のように、連続性評価結果に基づき、適合テンプレートの位置および形状を微調整して連続性の再評価を行い、再評価結果が収束条件を満たした時点で、微調整後の適合テンプレートを選択後適合テンプレートTsとして生成する。
【0101】
これにより、連続性評価の基準値を満たさない適合テンプレートに対し、形状を微調整して連続性の高い形状にテンプレートが微調整されるので、変化選別部12における最終的な選択後適合テンプレートTsの表示の際に、選別変化の形状をより忠実に再現することが可能となる。
【0102】
実施の形態3.
なお、上記実施の形態1〜2(図1〜図12)では、特徴量抽出部3において、画像全域を対象に特徴量を抽出したが、特徴量抽出を行う前に、画像全域を対象に、画素分布の射影特徴に基づく特徴量算出領域の絞り込み処理を施してから、特徴量を算出してもよい。
【0103】
具体的には、画像の縦横方向別の画素値の和を算出し、画素値の和が事前に設定した閾値以下の行または列を除外対象とすればよい。
たとえば、第n列の画素値の和が、すべての画素値の和の1%以下であれば、第n列は除外される。
変化抽出画像データG(2値画像)の場合は、画素値は「1」または「0」であり、射影特徴は、変化画素の存在頻度を表している。
【0104】
以上のように、この発明の実施の形態3によれば、特徴量抽出部3は、特徴量抽出処理を行う前に、画像全域を対象に画素分布の射影特徴を算出し、射影特徴に基づいて特徴量算出領域の絞り込み処理を行うので、計算量の削減が可能となる。
【0105】
実施の形態4.
なお、上記実施の形態1〜2(図1〜図12)では、セグメント生成部4において、すべての特徴量抽出画像を対象にセグメント分割したが、すべての特徴量抽出画像を対象としたセグメント分割後に、セグメントごとの画素値の和による足切りを行い、セグメントの絞り込み処理を施してもよい。
【0106】
具体的には、各セグメントの画素値の和が、事前に設定した閾値以下のセグメントを除去すればよい。たとえば、画素値の和が「0」以下、すなわち変化画素が含まれないセグメントは、対象外とされる。
【0107】
以上のように、この発明の実施の形態4によれば、セグメント生成部4は、生成されたセグメントに対し、セグメントごとの画素値(画素強度)の和による足切りを行い、セグメントの画素値の和に基づいて、最終的に生成されるセグメントの絞り込み処理を行うので、計算量の削減が可能となる。
【0108】
実施の形態5.
なお、上記実施の形態1〜2(図1〜図12)では、テンプレートマッチング部10、10A、10Bにおいて、候補テンプレートTと変換後セグメント画像データSt(変化後セグメントデータ)とで、一致した画素強度「1」の画素の合計数を評価値としたが、対象物の数が不確定な場合を想定して、より存在可能性の高い対象物の一致に対する評価値の重み値を高く、存在可能性の低い対象物に対しては重みを低く設定してもよい。この場合、テンプレートマッチング部は、テンプレート選択部9からの候補テンプレートTと、セグメント変換部8からの変換後セグメント画像データStに加えて、交差特徴算出部6から出力される交差特徴データRを入力とする。
【0109】
この発明の実施の形態5によれば、テンプレートマッチング部10(10A、10B)は、マッチング処理前に得られた形状情報である交差特徴データRに基づき、マッチング処理の際に、対象物の存在可能性に応じた重み付け処理を行うので、よりノイズに強いマッチング処理が可能となる。
【0110】
実施の形態6.
なお、上記実施の形態1〜5では、交差特徴算出部6において、交差特徴を抽出する軸上の全画素を対象に、交差点である画素値「1」の画素を探索したが、軸上の1点とその近傍の複数点とを探索対象としてもよい。
具体的には、次探索点である軸上の1点と、たとえばその8方向の近傍点(以下、「8近傍」という)とを対象として、交差点を検出する。
【0111】
図13はこの発明の実施の形態6による交差特徴抽出のための交差点探索処理例を示す説明図であり、小さな正方形領域が各画素(ピクセル)を表しており、白丸が前探索点、黒丸が次探索点、斜線で塗られた丸が次探索点と同時に探索される点、破線の白丸が次々探索点を示している。
【0112】
図13(a)はこの発明の実施の形態6による交差点探索処理と比較するための説明図であり、軸上の単点(黒丸)を次探索点とした交差点探索例を示している。
図13(b)はこの発明の実施の形態6による交差点探索処理の説明図であり、軸上の点(黒丸:次探索点)と、その8近傍(白丸、ハッチング白丸および破線白丸)とを対象とした交差点検出例を示している。
【0113】
図13(b)において、8近傍の探索の際には、前探索点の8近傍として探索済みの3点(白丸)は探索対象外とし、また、次々探索点(破線白丸)も対象外とするので、実際の探索点は、軸上の次探索点(黒丸)と、斜線で塗られている4点(ハッチング白丸)との計5点となる。すなわち、薄灰色の正方形領域が対象画素となる。
【0114】
以上のように、この発明の実施の形態6(図13)によれば、交差特徴算出部6(図12参照)において、近傍に探索範囲を広げて交差点検出処理を行うので、対象物の形状にブレや途切れがあっても、交差点検出が可能となる。
【0115】
なお、交差点検出後に、次の交差点を探索する際には、近傍に位置する次探索点は探索対象外とする。また、探索対象外とする近傍の範囲に関しては、対象画像の質に応じて、ブレや揺らぎの大きい画像の場合には広めの範囲に設定し、小さい画像の場合には狭めの範囲に設定する。
このように、交差点検出後に、近傍点を探索対象外とすることにより、対象物のブレによって生じる重複検出を防ぐことができる。
【0116】
実施の形態7.
なお、上記実施の形態3、4では、特徴量抽出部3やセグメント生成部4において、射影特徴やセグメントごとの画素値和に基づいて、特徴量算出領域やセグメントの絞込み処理を実行したが、絞込み処理を行う以外にも、細線化などの特徴抽出手法に特化した、選別対象外変化の形状特徴に着目して、交差特徴算出処理前に、選別対象外変化の抽出およびその除去処理を実行してもよい。
【0117】
以下、図14〜図17を参照しながら、選別対象外変化の抽出および除去処理を行うこの発明の実施の形態7について説明する。
図14はこの発明の実施の形態7に係る画像変化選別装置を示すブロック構成図であり、前述(図1参照)と同様のものについては、前述と同一符号を付して、または符号の後に「C」を付して詳述を省略する。
【0118】
図14において、画像変化選別装置は、前述(図1)の構成に加えて、ループ検出除去部15を備えている。
ループ検出除去部15は、特徴量抽出部3Cとセグメント生成部4Cとの間に挿入されており、特徴量抽出部3Cからの特徴量抽出画像データを対象に、除去対象画素を検出して除去を行い、除去後の画像であるループ除去後特徴量抽出画像データをセグメント生成部4Cに入力する。
【0119】
図15はループ検出除去部15による画像の細線化処理を示す説明図であり、特徴抽出結果の画像例を段階的に示している。
図15(a)は元の濃淡画像であり、図15(b)は2値化処理後の2値化画像であり、図15(c)は細線化処理後の細線化画像である。
【0120】
図15(a)において、濃淡画像の左部に位置する大きな平行状態にある2曲線は、選別対象変化である車両の軌跡であり、濃淡画像の右側に位置する小さな複数の黒い塊は、選別対象外変化である植生領域である。
【0121】
図15(b)〜図15(c)において、細線化処理では、「連結成分が、ループ形状として抽出される」性質がある点に着目する。
これにより、図15(c)の細線化後の画像においても、植生領域(選別対象外変化)が、多数の小さなループ形状(以下、「小ループ」という)として抽出されている。
【0122】
ここで、選別対象変化である車両軌跡の形状特徴を「平行関係にある2曲線、または2直線」とした場合を考える。
前述の実施の形態1〜5による交差特徴抽出では、セグメント単位で形状特徴を抽出するが、セグメント化によってループ形状が分割されることにより、部分的なループ形状が、選別対象変化の形状特徴に合致した「平行関係にある2曲線、または2直線」として抽出される可能性が生じてくる。すなわち、セグメントの分け方によっては、小ループの形状が、選別対象変化として誤検出される可能性が高い。
【0123】
そこで、この発明の実施の形態7(図14)においては、選別対象外変化である小ループを、交差特徴抽出前に抽出して除去する。
具体的には、対象物存在画素である画素値「1」の画素の追跡処理により、選別対象外変化であるループ形状を検出して、除去する。
【0124】
図16はこの発明の実施の形態7による追跡処理例を示す説明図であり、追跡始点画素からの追跡処理を連続的な矢印で示している。
また、図17はこの発明の実施の形態7によるループ検出除去手順を示すフローチャートである。
【0125】
図17において、ループ検出除去部15は、まず、指定された探索方向に対象物存在画素の探索処理を行う(ステップ101)。
このとき、対象物存在画素であるか否かの判定は、探索点とその近傍とを対象とする。
【0126】
続いて、対象物存在画素を検出したか否かを判定し(ステップ102)、対象物存在画素を検出していない(すなわち、NO)と判定されれば、最終の判定処理(後述するステップ107)に移行する。
【0127】
一方、ステップ102において、対象物存在画素を検出した(すなわち、YES)と判定されれば、検出した対象物存在画素と、その近傍に位置する画素とを対象に、対象物存在画素の追跡処理を行う(ステップ103)。
このとき、追跡処理を開始した対象物存在画素を、追跡始点画素とする。
【0128】
続いて、近傍に対象物存在画素を検出したか否かを判定し(ステップ104)、対象物存在画素を検出していない(すなわち、NO)と判定されれば、最終の判定処理(後述するステップ107)に移行する。
【0129】
一方、ステップ104において、対象物存在画素を検出した(すなわち、YES)と判定されれば、続いて、ループ検出条件「次追跡点が、追跡始点画素、またはその近傍点」を満たすか否かを判定する(ステップ105)。
【0130】
ステップ105において、ループ検出条件を満たさない(すなわち、NO)と判定されれば、ステップ103に復帰して追跡処理を繰り返す。
一方、ステップ105において、ループ検出条件を満たす(すなわち、YES)と判定されれば、追跡結果に基づき、検出されたループを除去して(ステップ106)、ステップ107に移行する。
【0131】
最後に、収束条件「領域の境界」を満たすか否かを判定し(ステップ107)、収束条件を満たさない(すなわち、NO)と判定されれば、ステップ101に復帰してステップ101〜107の処理を繰り返し実行する。
一方、ステップ107において、収束条件を満たす(すなわち、YES)と判定されれば、図17の処理ルーチンを終了して抜け出る。
【0132】
このように、追跡始点画素から探索を開始して、対象物存在画素であるかの判定を、探索点とその近傍(たとえば8近傍)とを対象として行い、以下、対象物存在画素が近傍点に見つからなくなるか、または、画像領域の境界に到達するまで、ループ検出除去処理を繰り返す。そして、上記探索により、追跡始点画素またはその近傍点に到着した時点で、ループ検出とする。
【0133】
なお、追跡対象を、除去対象となる小ループに限定するために、ループ形状検出の際には、追跡距離(連続して追跡した画素値「1」の画素数)の上限値を設定する。
【0134】
以上のように、この発明の実施の形態7(図14〜図17)によるループ検出除去部15は、選別対象外変化であるループ形状を交差特徴抽出処理前に除去することにより、選別対象外変化の誤検出を防ぐことが可能となる。
また、近傍を判定対象とすることにより、局所的に不連続なループ形状であっても除去可能となる。
【0135】
なお、この発明は、上記各実施の形態1〜7に限定されるものではなく、各実施の形態1〜7の可能な組み合わせをすべて含むことは云うまでもない。
【符号の説明】
【0136】
1 変化抽出結果ファイル、2 ノイズ除去部、3、3C 特徴量抽出部、4、4C セグメント生成部、5 セグメント位置調整部、6 交差特徴算出部、7 セグメント選択部、8 セグメント変換部、9 テンプレート選択部、10、10A、10B テンプレートマッチング部、11、11B テンプレート評価部、12 変化選別部、13 変化選別結果ファイル、14 テンプレート調整部、15 ループ検出除去部、G 変化抽出画像データ、Pr 位置調整後セグメント画像データ、R 交差特徴データ、S 候補セグメント画像データ、St 変換後セグメント画像データ、T 候補テンプレート、Tm マッチング結果、Ts 選択後適合テンプレート、Tu 調整後候補テンプレート、TuB 微調整適合テンプレート、U 候補テンプレート更新要求、V 変化選別結果。
【技術分野】
【0001】
この発明は、複数回の定期観測によって得られた複数枚のレーダ画像から複数枚の複素相関分布(コヒーレンスマップ)を取得し、複数の複素相関分布から抽出された物理的な変化に対して、有意な変化を選別するための画像変化選別装置に関するものである。
【背景技術】
【0002】
従来から、ほぼ同一の撮像条件で地表面の同一エリアを時系列的に撮像し、取得時刻の異なる2枚のレーダ画像から、1枚目の画像取得時と2枚目の画像取得時との間に生じた地表面変化を抽出する技術として、CCD(Coherent Change Detection)が知られている。
【0003】
CCD技術においては、SAR画像の輝度情報のみならず、位相情報を利用して画像変化を検出しているので、輝度変化のみに基づく変化抽出技術と比較して、変化に対する感度が高いという利点がある。
【0004】
また、CCD技術においては、2枚のSAR画像間の複素相関値(コヒーレンス)が、地表面に生じた「変化を表す指標」として用いられるが、コヒーレンスは、変化のない領域では「1」に近い値をとり、変化が生じた領域では「0」に近い値をとる性質がある。
したがって、地表面の変化領域(2枚のSAR画像間のコヒーレンスの低い領域)は、閾値処理(閾値以下の領域を抽出)を行うことにより抽出することができる。
【0005】
しかしながら、この種の画像変化抽出装置で抽出される変化は、定常的に発生する定常変化(植生や水面の揺らぎなど)と、非定常変化(移動体の軌跡(轍跡)など)とに分かれるが、定常変化の多くは、通常、オペレータ(判読技術者)にとって不要である。したがって、分析対象となる変化を、オペレータの人手により選別する必要があった。
【0006】
また、変化選別の自動化に際し、移動体の軌跡といった選別対象変化の性質(連続な直線、または曲線形状)を踏まえると、たとえば、非特許文献1、非特許文献2の手法の適用が考えられる。
しかしながら、非特許文献1、非特許文献2に記載の手法の適用に際しては、いずれの場合も、対象物の特徴形状が抽出可能であること、および候補領域の限定が可能であることを前提条件としている。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】Vandana Shukla,R.ChandraKanth,R.Ramachandran,“Semi−Automatic Road Extraction Algorithm for High Resolution Images Using Path following Approach”,ICVGIP02,Ahmadabad,pp231−236,2002.
【非特許文献2】C.Heipke,H.Mayer,C.Wiedemann,O.Jamet,“Evaluation of automatic road extraction”,Internatinal Archives of Photogrammetry and Remote Sensing,pp47−56,1997.
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来の画像変化抽出装置では、分析対象となる変化の選別を、人手で行う必要があるという課題があった。
また、非特許文献1または非特許文献2のように、変化選別の自動化を実現しようとしても、SAR画像に特有のノイズや揺らぎの影響により、前提条件(対象物の特徴形状抽出および候補領域の限定)となる情報の高精度な抽出が困難になるという課題があった。
さらに、前提条件の情報抽出が可能であったとしても、選別対象物の形状および向きなどの自由度が高いことから、テンプレートの生成に限界があるという課題があった。
【0009】
この発明は、上記のような課題を解決するためになされたものであり、地表面に生じた物理的な変化を対象に、ノイズやゆらぎが残った状態であっても、変化領域の特徴量抽出、および選別対象変化候補領域の限定を行い、選別対象変化であるか否かを容易かつ確実に判定することのできる画像変化選別装置を得ることを目的とする。
【課題を解決するための手段】
【0010】
この発明に係る画像変化選別装置は、2枚の画像間の複素相関分布に基づいて算出された変化抽出画像データを格納する変化抽出結果ファイルと、変化抽出画像データに対してノイズ除去処理を行い、ノイズ除去後のノイズ除去画像データを生成するノイズ除去部と、ノイズ除去画像データに対して特徴量抽出処理を行い、特徴量抽出画像データを生成する特徴量抽出部と、特徴量抽出画像データを部分画像に分割してセグメント画像データを生成するセグメント生成部と、セグメント画像データの各セグメントを構成する画素の強度情報に基づき、セグメント位置を調整して位置調整後セグメント画像データを生成するセグメント位置調整部と、位置調整後セグメント画像データの各セグメントの交差特徴を算出して交差特徴データを生成する交差特徴算出部と、交差特徴データに基づきセグメントを選択して候補セグメント画像データを生成するセグメント選択部と、候補セグメント画像データおよび交差特徴データを入力情報とし、交差特徴データに基づき、候補セグメント画像データの分割、拡大および回転処理を行い、変換後セグメント画像データを生成するセグメント変換部と、変換後セグメント画像データおよび交差特徴データを入力情報とし、交差特徴データに基づき、変換後セグメント画像データとの間でマッチング処理を行うためのテンプレート画像を選択して、候補テンプレートを生成するテンプレート選択部と、候補テンプレート、変換後セグメント画像データおよび交差特徴データを入力情報とし、交差特徴データに基づく候補テンプレートと変換後セグメント画像データとのマッチング処理により、両者の類似性を判定してマッチング結果を生成するテンプレートマッチング部と、マッチング結果を評価し、マッチング評価結果が閾値以上のテンプレートを適合テンプレートとし、同一セグメントを対象に単一の適合テンプレートが存在する場合には、該当する適合テンプレートを選択後適合テンプレートとして生成し、同一セグメントを対象に複数の適合テンプレートが重複して存在する場合には、各々のマッチング評価結果に基づく取捨選択処理を行い、取捨選択後の適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、連続性評価結果に基づき選択された適合テンプレートを選択後適合テンプレートとして生成するテンプレート評価部と、選択後適合テンプレートを入力情報とし、すべての選択後適合テンプレートを配置した画像を変化選別結果として生成する変化選別部と、変化選別結果を格納する変化選別結果ファイルとを備えたものである。
【発明の効果】
【0011】
この発明によれば、複数回の定期観測による複数枚のレーダ画像から得られた複数枚の複素相関分布(コヒーレンスマップ)から得られた物理的変化の中から、ノイズやゆらぎが残った状態であっても、変化領域の特徴量抽出、および選別対象変化候補領域の限定を行い、選別対象変化であるか否かを容易かつ確実に判定することができる。
【図面の簡単な説明】
【0012】
【図1】この発明の実施の形態1に係る画像変化選別装置を示すブロック構成図である。
【図2】この発明の実施の形態1による位置調整例を示す説明図である。
【図3】この発明の実施の形態1による位置調整例を示す説明図である。
【図4】この発明の実施の形態1による基本4軸の例を示す説明図である。
【図5】この発明の実施の形態1による交差特徴抽出例を示す説明図である。
【図6】この発明の実施の形態1による交差特徴間の線分抽出例を示す説明図である。
【図7】この発明の実施の形態1による交差特徴間の線分抽出例を示す説明図である。
【図8】この発明の実施の形態1による交差特徴間の線分抽出例を示す説明図である。
【図9】この発明の実施の形態1による交差特徴間の線分抽出例を示す説明図である。
【図10】この発明の実施の形態1によるセグメント分割/拡大処理例を示す説明図である。
【図11】この発明の実施の形態1によるセグメント回転処理例を示す説明図である。
【図12】この発明の実施の形態2に係る画像変化選別装置を示すブロック構成図である。
【図13】この発明の実施の形態6による交差特徴抽出のための交差点探索処理例を示す説明図である。
【図14】この発明の実施の形態7に係る画像変化選別装置を示すブロック構成図である。
【図15】この発明の実施の形態7による細線化処理後の特徴抽出結果の画像例を示す説明図である。
【図16】この発明の実施の形態7による追跡処理例を示す説明図である。
【図17】この発明の実施の形態7によるループ検出除去手順を示すフローチャートである。
【発明を実施するための形態】
【0013】
実施の形態1.
図1はこの発明の実施の形態1に係る画像変化選別装置を示すブロック構成図である。
図1において、画像変化選別装置は、変化抽出結果ファイル1と、ノイズ除去部2と、特徴量抽出部3と、セグメント生成部4と、セグメント位置調整部5と、交差特徴算出部6と、セグメント選択部7と、セグメント変換部8と、テンプレート選択部9と、テンプレートマッチング部10と、テンプレート評価部11と、変化選別部12と、変化選別結果ファイル13とを備えている。
【0014】
なお、図1には示されていないが、変化抽出結果ファイル1の入力側には、撮像装置および信号処理装置が接続されている。
信号処理装置は、撮像装置で撮像された2枚の画像間の複素相関分布に基づいて変化抽出画像データGを算出し、変化抽出結果ファイル1は、変化抽出画像データGを格納するものとする。
【0015】
すなわち、変化抽出結果ファイル1は、同一の領域に対する、N回の異なる時刻の観測により得られた画像に基づいて算出された変化抽出画像データGを格納している。
ノイズ除去部2は、変化抽出結果ファイル1からの変化抽出画像データGを入力情報とし、変化抽出画像データGに対してノイズ除去処理を行い、ノイズ除去後の画像をノイズ除去画像データとして生成する。
【0016】
特徴量抽出部3は、ノイズ除去部2からのノイズ除去画像データに対して特徴量抽出処理を行い、特徴量抽出画像データを生成する。
セグメント生成部4は、特徴量抽出部3からの特徴量抽出画像データを部分画像に分割して、セグメント画像データを生成する。
【0017】
セグメント位置調整部5は、セグメント生成部4からのセグメント画像データの各セグメントを構成する画素値(強度情報)に基づき、セグメント位置を調整して位置調整後セグメント画像データPrを生成する。
交差特徴算出部6は、セグメント位置調整部5からの位置調整後セグメント画像データPrの各セグメントの交差特徴を算出して、交差特徴データRを生成する。
セグメント選択部7は、位置調整後セグメント画像データPrおよび交差特徴算出部6からの交差特徴データRに基づき、セグメントを選択して候補セグメント画像データSを生成する。
【0018】
セグメント変換部8は、セグメント選択部7からの候補セグメント画像データSと、交差特徴算出部6からの交差特徴データRとを入力情報とし、交差特徴データRに基づき、候補セグメント画像データSの分割、拡大および回転処理を行い、変換後セグメント画像データStを生成する。
【0019】
テンプレート選択部9は、セグメント変換部8からの変換後セグメント画像データStと、交差特徴算出部6からの交差特徴データRとを入力情報とし、交差特徴データRに基づき、変換後セグメント画像データStとの間でマッチング処理を行うためのテンプレート画像を選択して、候補テンプレートTを生成する。
【0020】
テンプレートマッチング部10は、テンプレート選択部9からの候補テンプレートTと、セグメント変換部8からの変換後セグメント画像データStとを入力情報とし、交差特徴データRに基づく候補テンプレートTと変換後セグメント画像データStとのマッチング処理により、両者の類似性を判定してマッチング結果Tmを生成する。
【0021】
テンプレート評価部11は、テンプレートマッチング部10からのマッチング結果Tmを評価し、「マッチング評価結果が閾値以上のテンプレート」である適合テンプレートが、同一セグメントを対象に単一で存在する場合には、そのまま連続性評価対象の適合テンプレートとする。
【0022】
一方、同一セグメントを対象に「マッチング評価結果が閾値以上のテンプレート」である適合テンプレートが複数存在する場合には、テンプレート評価部11は、各々のマッチング評価結果に基づく取捨選択処理を行い、評価値が最も高いテンプレートを連続性評価対象の適合テンプレートとする。
次に、隣接する、または空間的に重複関係にある、連続性評価対象の適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、連続性評価結果が閾値を超えた場合に、それらの適合テンプレートを選択後適合テンプレートTsとして生成する。
【0023】
変化選別部12は、テンプレート評価部11からの選択後適合テンプレートTsを入力情報とし、すべての選択後適合テンプレートTsを配置した画像を変化選別結果V(全体の出力情報)として生成し、変化選別結果ファイル13は、変化選別結果Vを格納する。
【0024】
次に、図2〜図11の説明図を参照しながら、図1内の各機能ブロック2〜12の動作について、さらに具体的に説明する。
まず、ノイズ除去部2は、変化抽出画像データGを対象として、たとえば移動平均処理を行うことにより、変化選別に不要な画素情報をノイズとして除去する。
【0025】
しかし、移動平均処理は、或る画素の値を周辺画素の値の平均値に設定するノイズ除去方法であり、平均値に置き換えることによりノイズをぼかす効果があるものの、その反面、輪郭もぼかしてしまうことが知られている。
したがって、移動平均処理の代わりに、メディアンフィルタによるノイズ除去処理を適用してもよい。メディアンフィルタは、或る画素の周辺の値をソートし、各周辺値の中央値に設定するものであり、輪郭をぼかすことなくノイズのみをぼかすという利点がある。
【0026】
また、ノイズ除去アルゴリズムとしては、平均化処理のみならず、図形を1画素分だけ細くする収縮処理や、図形を外側に1画素分だけ広げる膨張処理などが適用可能である。
膨張/収縮処理により、ノイズの影響で図形にできた1画素分の穴や、ひげのような突起物を除去することが可能になる。
【0027】
続いて、特徴量抽出部3は、ノイズ除去画像データを構成するすべての画素を対象として、変化選別に用いる特徴量(特徴的形状)を抽出し、特徴量抽出画像データを生成する。このとき、特徴的形状の抽出方法としては、たとえば「細線化処理」が適用される。
【0028】
細線化処理は、変化領域の中心線の形状に特徴のある場合に有効であり、図形の中心線を特徴として抽出するために、図形のトポロジーを変えずに、すなわち線が途中でとぎれたり、孔が空いたりすることなく、図形の連続性を保持しながら、幅「1」のピクセルの線画像に変換する処理である。
【0029】
なお、細線化処理に代えて、変化選別候補領域の輪郭を抽出する輪郭抽出処理を適用してもよい。
輪郭抽出処理を行う具体例としては、2次微分フィルタであるラプラシアンフィルタなどがあげられる。
【0030】
続いて、セグメント生成部4は、特徴量抽出画像データを重複が生じないように分割して、特徴量抽出画像データを部分画像に分割した画像であるセグメント画像データを生成する。
このとき、セグメントの大きさは、変化選別対象として想定している対象物の大きさに応じて決定される。
【0031】
たとえば、変化選別対象として「車の軌跡」を想定している場合であれば、想定される車両機種の平均的な車輪間隔を基準としてセグメントの大きさが設定される。この場合、たとえば車輪間隔の2倍をセグメント長とする。
このように、重複がない状態でセグメント分割を行うことにより、セグメント数が限定され、高効率のマッチング処理が可能になる。
【0032】
続いて、セグメント位置調整部5は、セグメント画像データを対象として、各セグメントを構成する画素の画素値情報に基づきセグメントの位置を調整し、位置調整後のセグメントデータである位置調整後セグメント画像データPrを生成する。
【0033】
具体的には、図2、図3(右側参照)に示すように、画素値(「0」、「1」の2値をとる)が「1」の画素iの平均位置Pがセグメント中心位置と一致するように、セグメント50をセグメント51にシフトして位置調整を行う。
【0034】
図2、図3において、左側は、調整前のセグメント50を示しており、画素強度「1」の画素iの平均位置Pがセグメント中心位置と一致していない状態である。
一方、図2、図3の右側は、調整前のセグメント50(破線参照)からシフトされた調整後のセグメント51を示しており、画素強度「1」の画素iの平均位置Pがセグメント中心位置と一致している。
【0035】
このように、セグメント中心付近が画素値「1」の変化画素の平均位置Pとなるようにセグメント位置を調整することにより、後段のマッチング処理を行う際に、画素値「1」の画素の平均位置Pを中心位置としたテンプレートのみを対象とすればよく、マッチング処理の高効率化が可能になる。
【0036】
次に、交差特徴算出部6は、位置調整後セグメント画像データPrに基づき、各セグメントの交差特徴を算出して交差特徴データRを生成する。
具体的には、交差特徴算出部6は、まず、位置調整後セグメント画像データPrを対象として、各セグメントの基本4軸で交差特徴の抽出を行う。
【0037】
ここで、基本4軸とは、図4に示すように、セグメントの垂直/水平の中心線X、Yと、2つの対角線W、Zとをいう。
また、「交差特徴」とは、図5に示すように、2値画像上の線形状の対象物(車両の軌跡など)が軸(たとえば、中心線Y)と交差する数(軸が画素値「1」の画素iの軌跡と交差した数)をいう。
【0038】
図5においては、2本の平行線上に画素値「1」の画素iが分布する場合の、中心線Y(垂直方向の軸)との交差特徴(交差点C1、C2の数「2」)を算出した例を示しており、交差特徴は「2」となる。
4軸(X、Y、W、Z)に対する交差特徴を抽出した結果、いずれかの軸で、交差特徴(交差数)が「1」以上であれば、そのセグメントを候補セグメントとする。
【0039】
続いて、交差特徴算出部6は、交差数が「1」以上であった軸Yを基本軸とし、図6のように、基本軸Yに対して平行で、かつ基本軸Yから等間隔な対称位置にある2軸Y1、Y2を求め、2軸Y1、Y2と線形状の対象物(画素iの軌跡)との交差特徴抽出処理を行う。
【0040】
図6〜図9は交差特徴(交差点数)間の線分(実線矢印)を抽出する例を示す説明図であり、それぞれ抽出対象の線分形状が異なる場合を示している。
図6〜図9において、交差特徴抽出用の平行軸Y1、Y2は、たとえば、基本軸Yからの距離が「基本軸Yからセグメント51の垂直方向の2境界線(両側端)までの距離の約1/2」となるように設定されている。
【0041】
図6においては、2本の平行線(車両の軌跡など)上に画素値「1」の画素iが分布しているセグメント51に対し、垂直方向の中心線Y(基本軸)および基本軸Yから等間隔にある2直線Y1、Y2と、2本の平行線(画素iの軌跡)との交差点C11、C12、C21、C22の検出例を示している。
【0042】
続いて、交差特徴算出部6は、交差特徴データRから、変化選別対象として想定している対象物の、本数、間隔、形状(直線/曲線)、平行/連続関係などの位置関係を、以下のように予測する。
【0043】
まず、異なる軸(Y、Y1、Y2)を通る交差点の組み合わせに基づき、平行線(車両の軌跡など)の線分式を近似的に求める。このとき、図6〜図9内の実線矢印で示すように、近傍の交差点間において、想定可能なすべての組み合わせに対し算出する。
【0044】
続いて、各線分式の勾配(各実線矢印の傾き)に基づき、図6〜図8のように、各線分をグルーピングする(破線枠参照)。
具体的には、勾配の値が近い交差点を「同一グループ」とする。すなわち、「平行関係にある」か、または「平行で連続である(同一直線上にある)」と想定される線分が「同一グループ」に所属する。
【0045】
また、同一グループ内の線分間の連続性は、以下の手順によって判定される。
たとえば、図9のように、同一交差点C21を通る線分L1、L2が複数存在する場合は、「連続性あり」と判定し、同一交差点C21を共有点とする2線分L1、L2の勾配平均または勾配変化率を算出する。
【0046】
このとき、2線分の勾配差が事前に設定した所定の閾値以下の場合には勾配平均を算出し、図9のように、2線分L1、L2の勾配差が閾値を超える場合には、線分ベクトル間の角度を勾配変化率として算出する。
勾配平均が算出された場合(勾配差≦閾値)には、2直線が同一直線上にあるものと見なし、図9のように、勾配変化率が算出された場合(勾配差>閾値)には、2直線L1、L2が同一曲線上にあるものと見なす。
【0047】
なお、ここでは、選別対象物として物体(車両など)の移動軌跡を想定しているので、想定形状は、「同一方向の直線形状」、「楕円や蛇行状の曲線形状」、「直線形状と方向転換部位としての曲線形状との組み合わせからなる混在形状」、「方向転換部位が不連続となっている、異なる方向の複数の直線形状からなる形状」、のいずれかとなる。
【0048】
図6〜図8においては、同一の交差特徴(交差点数が「2」)から得られた線分を対象として、それぞれ異なるグループ分け(破線枠)が行われた例を示しており、実線矢印で結ばれた交差点間の線分式が算出される。
また、図6〜図8において、各破線枠内には、近似した勾配によってグループ分けされた同一グループの交差点が示されている。
【0049】
図6においては、交差点C1、C2を通る線分(実線矢印)が、それぞれ、各点の左右対称位置に2本ずつ存在するので、交差点C1を通る2線分式の平均勾配を算出し、交差点C2を通る2線分式の平均勾配を算出する。
このとき、2つの交差点における各平均勾配がほぼ等しいことから、交差点C1を通る2線分、および交差点C2を通る2線分は、それぞれ同一直線上に位置するものと見なすことができる。
【0050】
さらに、各交差点C1、C2を通る各直線式(2線分式の平均値から算出)から、お互いが延長線上にない(延長関係にない)と判定された場合には、両者は平行関係にあるものと見なし、「平行関係にある2直線(たとえば、車両の軌跡に対応)」が対象物の形状候補となる。
【0051】
図6においては、対象物(画素iの軌跡)の形状候補が2平行直線の場合を示し、図7および図8においては、対象物の形状候補が「ほぼ等間隔に配置された、平行関係にあると見なせる、4つの曲線または直線」の場合を示している。
【0052】
ただし、図7においては、4つの線(画素iの軌跡)のうち、各2つの交差点を通る中央部の2線(交差点C1、C22を通る線と、交差点C11、C2を通る線と)の平行関係はある程度予想されるが、各1つの交差点のみを通る残りの2線(交差点C12を通る線と、交差点C21を通る線と)に関しては、平行関係が不明であり、各交差点を通過する線(または点)の存在情報のみが取得される。
【0053】
同様に、図8においては、4つの線(画素iの軌跡)のうち、各2つの交差点を通る2線(交差点C1、C12を通る線と、交差点C21、C2を通る線と)の平行関係は予想されるが、各1つの交差点のみを通る2線(交差点C11を通る線と、交差点C22を通る線と)に関しては、平行関係が不明である。
したがって、後段のマッチング処理の際に、各対象物との「適合の度合い」に重み付けを行う場合には、平行関係が不明な後者の線に対して「重み値」を下げる方法が考えられる。
【0054】
図7、図8において、対象物がそれぞれ直線/曲線のいずれであるかは、仮に直線であることを想定して求めた式と、基本軸Yおよび2隣接軸Y1、Y2に関して想定される交差点の有無とを判定要素の1つとする。
ただし、対象物の形状が部分的に欠落している場合も有り得るので、判定要素の1つに過ぎないものとし、曲線/直線である可能性を「0〜1」の範囲内の数値で表現する程度とする。
【0055】
図9においては、同一の交差点C21を通る勾配の異なる2線分L1、L2の例を示しており、各線分L1、L2は異なる勾配グループに属する。
この場合、前述の通り、交差点C21を通る2線分式の勾配差は閾値以上であり、対象物の形状候補としては、図示したように「1つの曲線」が考えられる。
【0056】
一方、図6〜図8のように、グループ分けに基づく位置関係から、平行関係にある対象物が複数存在する場合には、それぞれの2平行線/曲線間の組み合わせに対し、距離推定値(破線矢印参照)を求める。
具体的には、すべての対象物が直線であると仮定して算出した直線式から、線形状間の距離推定値を仮想直線間距離として求める。
【0057】
このように、交差特徴算出部6により交差特徴を抽出することにより、線形状対象物の形状特徴を容易に表現可能となり、後段のテンプレートマッチング処理における条件絞り込みに適用することができる。
【0058】
次に、セグメント選択部7は、交差特徴算出部6から入力される交差特徴データRと、セグメント位置調整部5から入力される位置調整後セグメント画像データPrとを入力情報として、各セグメントの交差特徴データRに基づき、選別対象となる変化の存在可能性を判定してセグメントを選択し、候補セグメント画像データSとして生成する。
【0059】
具体的には、たとえば、変化選別対象として軌跡を想定している場合に、軌跡と見なすことのできる直線(または、曲線)形状の存在数が「0」であれば、存在可能性が「0」と見なし、該当セグメントを選択対象外とする。
一方、存在数が「1」以上であれば、候補セグメント画像データSとして生成する。
このように、交差特徴データRに基づきセグメント選択を行い、マッチング対象となるセグメントを絞り込むことにより、高効率のマッチング処理が可能となる。
【0060】
続いて、セグメント変換部8は、候補セグメント画像データSおよび交差特徴データRを入力情報として、交差特徴データRから得られた形状特徴に基づき、図10、図11のように、セグメントの変換(分割/拡大/回転)処理を行い、変換後セグメント画像データStを生成する。
【0061】
セグメントの分割処理においては、図10に示すように、セグメント51内に存在する対象物の勾配変化状況から、勾配変化点Cが複数存在する場合には要分割と判定し、勾配変化点(交差点)Cを通る軸Y(または、軸Yに平行な線)により、セグメント51a、51bに分割する。
【0062】
また、図10に示すように、分割後のセグメント51a、51bは、後段のマッチング処理のために拡大処理が施されて、セグメント51a、51b内のデータを軸方向および垂直方向に拡大され、元のセグメント51の大きさに正規化される。
【0063】
一方、セグメントの回転処理に関しては、図11に示すように、対象物形状(画素iの軌跡)の平均勾配値に基づき、回転角度の決定後に、対象物形状の傾きが「0」となるように回転処理を行う。
図11においては、2つの平行線(画素iの軌跡)の平均勾配が45度の場合を示しており、セグメント50を時計方向に45度回転させることにより、新たなセグメント51を設定することができる。
【0064】
このように、セグメント変換部8において、同一セグメント内に複数のテンプレートにまたがる対象物が存在する場合に、各テンプレートに合わせて分割/拡大処理(図10)を行うとともに、回転処理(図11)による位置合わせを行い、セグメントを正規化する(基本テンプレートに整合させる)ことにより、基本となるテンプレート数を限定することができ、後段のマッチング処理を高効率に行うことが可能となる。
【0065】
次に、テンプレート選択部9は、交差特徴データRおよび変換後セグメント画像データStを入力情報として、各セグメントの交差特徴データRに基づき、各変換後セグメント画像データStとの間でマッチング処理を行うテンプレート(各セグメントの形状候補情報に即したテンプレート)を選択し、候補テンプレートTとして生成する。
【0066】
このとき、テンプレート選択部9は、形状候補情報として、たとえば「2平行線(直線間距離A1)」、「4つの平行関係にある曲線(曲線間距離A2)」、「4平行線(平行線間距離A3)」という情報が得られている場合には、これらの条件を満たすテンプレートをすべて選択する。
このように、事前に得られた交差特徴データRに基づき、マッチング対象となる候補テンプレートTを選択することにより、後段のマッチング処理を高効率に行うことが可能となる。
【0067】
続いて、テンプレートマッチング部10は、候補テンプレートTおよび変換後セグメント画像データStを入力情報として、すべての候補テンプレートTと、変換後セグメント画像データStのすべての対応画素の画素値と、の一致の有無を判定してマッチング処理を行い、一致の度合いに応じた評価値を算出してマッチング結果Tmを出力する。
このとき、簡単な例で言えば、一致した画素強度「1」の画素iの合計数を、評価値として算出する。
【0068】
次に、テンプレート評価部11は、マッチング結果Tmを入力情報として、マッチング結果Tmに適合し、かつ連続性の評価値(マッチング評価結果)が閾値以上のテンプレートを選択後適合テンプレートとして選択する。
このとき、一つのセグメントに対し、マッチング結果に適合するテンプレート、すなわち適合テンプレートが単一の場合には、そのまま連続性評価対象である適合テンプレートとなり、同一セグメントに対して適合テンプレートが複数個存在する場合には、マッチング評価結果が最も高い適合テンプレートを、連続性評価対象の適合テンプレートとする。
【0069】
また、連続性評価を行うにあたり、隣接セグメント間に空間的重複関係があり、かつ該当する各隣接セグメントに連続性評価対象となる適合テンプレートが存在する場合には、適合セグメントの重複部分と該当適合テンプレートの部分テンプレートとのマッチング処理を行い、より評価値が高い部分テンプレートを、該当領域の適合テンプレートとする。
【0070】
たとえば、セグメント51Aとセグメント51Bとの間に重複関係が有り、適合テンプレートTAの部分テンプレートの方が、適合テンプレートTBの部分テンプレートよりも、重複領域とのマッチング評価値が高い場合には、「適合テンプレートTAの全体と、適合テンプレートTBから重複部分を除去した適合テンプレートTB’と」を、重複領域解消後の適合テンプレートとする。
【0071】
さらに、テンプレート評価部11は、連続性評価対象である適合テンプレートを空間的に配置し、各適合テンプレートの相互間の空間的連続性の評価を行い、連続性評価結果の算出値が閾値以上の場合に、選択後適合テンプレートTsとして決定する。閾値以下の場合は、そのセグメントに対する選択後適合テンプレートは該当なしとする。
空間的連続性の評価は、隣接する(または、空間的に重複関係にある)セグメント(以下、「近傍セグメント」という)を対象とした適合テンプレート間の連続性を評価することを意味する。
【0072】
具体的には、近傍セグメント間で、「交差する(または、接する、近傍に位置する)」境界を対象として、各セグメントでの「該当する境界上(または、境界線の近傍)の画素値「1」の画素(以下、「境界近傍画素」という)」を抽出し、境界近傍画素の位置関係を評価する。
【0073】
このときの評価基準としては、境界上の画素値「1」の画素数差の逆数(一致する場合は「1」を用いることができる。)または、近傍セグメント間での対応する画素の組み合わせを距離などから決定し、その対応画素間距離の総和の逆数などが用いられ得る。
さらに、近傍セグメント間の境界線対でのパターンマッチング結果を連続性評価値としてもよい。
【0074】
なお、上記の例では、同一セグメントに対し、適合テンプレートが複数存在する場合、マッチング結果が最良のテンプレートを連続性評価対象の適合テンプレートとして選択する例を示したが、たとえば連続性評価対象となった適合テンプレートの連続性評価結果が閾値以下の場合には、マッチング結果が次に高い適合テンプレートに対し、連続性評価を行う方法も考えられる。連続性評価結果が閾値以上であれば、このテンプレートを選択後適合テンプレートとし、閾値以下の場合は、同じく、次にマッチング結果が高い適合テンプレートに対し連続性評価を行う、以上の処理を連続性評価値が閾値を超えるまで、あるいは同一セグメントに対する全適合テンプレートへの連続性の評価が終わるまで繰り返す。以上の例では、マッチング結果が高い順に適合テンプレートの連続性評価を行う例を示したが、最初から、同一セグメントに対する全ての適合テンプレートの連続性評価を行い、連続性評価結果が最良で、かつ閾値以上である適合テンプレートを選択後適合テンプレートとしてもよい。また、連続性評価を行う近隣セグメントそれぞれに複数の適合テンプレートが存在する場合には、それぞれのマッチング結果の高い順、あるいは、それらの全ての組み合わせに対し、連続性評価を行って、最良の組み合わせを選択してもよい。
【0075】
このように、テンプレートマッチング部10による個々のセグメントのマッチング結果Tmに加えて、テンプレート評価部11による空間的連続性の評価を行うことにより、部分的な一致のみでなく、全体の連続性をも考慮した良好な適合結果を得ることが可能となる。
【0076】
最後に、変化選別部12は、選択後適合テンプレートTsを入力情報として、これらを空間的に配置したものを元画像上に重ねて表示し、変化選別結果Vとして出力するとともに、変化選別結果Vを変化選別結果ファイル13に格納する。
【0077】
このように、選択後適合テンプレートTsを空間的に配置したものを元画像上に重ねて表示することにより、視覚的に分かりやすく変化選別結果Vを認識することができる。
また、元画像上の変化抽出結果(変化抽出画像データG)と変化選別結果Vとの整合性を簡単に確認することが可能となるので、分析対象となる変化の選別を自動的に行うのみでなく、ユーザによる変化の選別を支援することも可能となる。
【0078】
なお、テンプレート評価部11は、選択されたテンプレートとのマッチング結果Tmが閾値以上であれば適合テンプレートとし、マッチング結果Tmが閾値未満の場合には、適合テンプレートの候補外としているが、図1に示すように、テンプレート選択部9に対して候補テンプレート更新要求Uを生成し、マッチング結果Tmが閾値未満の場合には、テンプレート選択部9において、類似した(または、派生関係にある)テンプレートを再選択するように構成してもよい。
【0079】
すなわち、テンプレート評価部11は、すべての候補テンプレートTのマッチング評価結果であるマッチング結果Tm、または連続性評価結果が閾値以上を満たさない場合には、候補テンプレート更新要求Uを生成し、テンプレート選択部9は、候補テンプレート更新要求Uに応答して、新たな候補テンプレートTを選択し、新たな候補テンプレートTをテンプレートマッチング部10に入力する。
【0080】
具体的には、テンプレート選択部9で選択された候補テンプレートTが、たとえば「2平行直線」の場合、その類似または派生テンプレートとして「3平行直線」、「2曲線」などを選択する。なお、類似テンプレートや派生テンプレートは、事前に設定されているテンプレート間の類似度または派生関係に基づいて選択される。
【0081】
このように、テンプレート選択部9において、候補テンプレートTの再選択機能を備えることにより、交差特徴データRに合致する候補テンプレートTと変換後セグメント画像データStとのマッチング度や、適合テンプレートの連続性が低い場合であっても、それに準ずる類似度を有する(または、派生関係にある)新たな候補テンプレートTとのマッチングを行うことにより、柔軟性の高いマッチング処理が可能となる。
【0082】
以上のように、この発明の実施の形態1(図1)に係る画像変化選別装置は、2枚の画像間の複素相関分布に基づいて算出された変化抽出画像データGを格納する変化抽出結果ファイル1と、変化抽出画像データGに対してノイズ除去処理を行い、ノイズ除去後のノイズ除去画像データを生成するノイズ除去部2と、ノイズ除去画像データに対して特徴量抽出処理を行い、特徴量抽出画像データを生成する特徴量抽出部3と、特徴量抽出画像データを部分画像に分割してセグメント画像データを生成するセグメント生成部4と、セグメント画像データの各セグメントを構成する画素の強度情報に基づき、セグメント位置を調整して位置調整後セグメント画像データPrを生成するセグメント位置調整部5と、を備えている。
【0083】
また、この発明の実施の形態1に係る画像変化選別装置は、位置調整後セグメント画像データPrの各セグメントの交差特徴を算出して交差特徴データRを生成する交差特徴算出部6と、交差特徴データRに基づきセグメントを選択して候補セグメント画像データSを生成するセグメント選択部7と、候補セグメント画像データSおよび交差特徴データRを入力情報とし、交差特徴データRに基づき、候補セグメント画像データSの分割、拡大および回転処理を行い、変換後セグメント画像データStを生成するセグメント変換部8と、変換後セグメント画像データStおよび交差特徴データRを入力情報とし、交差特徴データRに基づき、変換後セグメント画像データStとの間でマッチング処理を行うためのテンプレート画像を選択して、候補テンプレートTを生成するテンプレート選択部9と、を備えている。
【0084】
さらに、この発明の実施の形態1に係る画像変化選別装置は、候補テンプレートT、変換後セグメント画像データStを入力情報とし、交差特徴データRに基づく候補テンプレートTと変換後セグメント画像データStとのマッチング処理により、両者の類似性を判定してマッチング結果Tmを生成するテンプレートマッチング部10と、マッチング結果Tmを評価し、マッチング評価結果が閾値以上のテンプレートを適合テンプレートとし、同一セグメントを対象に単一の適合テンプレートが存在する場合には、そのまま連続性評価対象の適合テンプレートとし、同一セグメントを対象に複数の適合テンプレートが重複して存在する場合には、各々のマッチング評価結果に基づく取捨選択処理を行って連続性評価対象の適合テンプレートを決定し、さらに適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、連続性評価結果が閾値を超えた適合テンプレートを選択後適合テンプレートTsとするテンプレート評価部11と、選択後適合テンプレートTsを入力情報とし、すべての選択後適合テンプレートTsを配置した画像を変化選別結果Vとして生成する変化選別部12と、変化選別結果Vを格納する変化選別結果ファイル13と、を備えている。
【0085】
これにより、複数回の定期観測による複数枚のレーダ画像から得られた複数枚の複素相関分布(コヒーレンスマップ)から得られた物理的変化の中から、ノイズやゆらぎが残った状態であっても、変化抽出画像データGに対してノイズ除去処理を行い、変化領域の特徴量抽出を行い、選別対象変化候補領域の限定を行うことができ、選別対象変化であるか否かを容易かつ確実に判定し、すべての選択後適合テンプレートTsを配置した画像を変化選別結果Vとして選別することができる。
【0086】
また、テンプレート評価部11は、すべての候補テンプレートTのマッチングの評価結果であるマッチング結果Tm、あるいは連続性評価結果が閾値以上を満たさない場合には、候補テンプレート更新要求Uを生成する。
これにより、テンプレート選択部9は、候補テンプレート更新要求Uに応答して、新たな候補テンプレートTを選択し、新たな候補テンプレートTをテンプレートマッチング部10に入力するので、有効な候補テンプレートTの評価に基づくマッチング結果Tmを用いて、選択後適合テンプレートTsを取得して、最終的な変化選別結果Vを得ることができる。
【0087】
実施の形態2.
なお、上記実施の形態1(図1)では、テンプレートマッチング部10によるマッチング結果Tm(または連続性評価結果)が閾値以上を満たさない場合に、テンプレート選択部9において、既存のテンプレートの中から候補テンプレートTを再選択したが、図12に示すように、候補テンプレート更新要求Uに応答してテンプレートを調整するテンプレート調整部14を設け、マッチングが行われた候補テンプレート自体を調整するように構成してもよい。
【0088】
図12はこの発明の実施の形態2に係る画像変化選別装置を示すブロック構成図であり、前述(図1参照)と同様のものについては、前述と同一符号を付して、または符号の後に「A」を付して詳述を省略する。
図12において、画像変化選別装置は、前述(図1)の構成に加えて、テンプレート調整部14を備えている。
【0089】
テンプレート調整部14は、テンプレート評価部11とテンプレートマッチング部10Aとの間に挿入されており、テンプレート評価部11からの候補テンプレート更新要求Uに応答して、調整後候補テンプレートTuを生成してテンプレートマッチング部10Aに入力する。
【0090】
この場合、前述(図1)との相違点は、テンプレート調整部14が、候補テンプレート更新要求U(マッチング評価結果)を入力情報として、調整後の候補テンプレートである調整後候補テンプレートTuを、テンプレートマッチング部10Aに入力する点のみである。
【0091】
なお、テンプレート調整部14による具体的な調整方法としては、選択済みの候補テンプレートTの線幅を調整する方法がある。
たとえば、基本形状の線幅が「1」であれば、線幅を倍の「2」に設定して、調整後候補テンプレートTuとして生成する。
【0092】
これにより、テンプレートマッチング部10Aは、調整後候補テンプレートTuに基づき再度のマッチング処理を行い、マッチング結果Tmを生成する。
以下、テンプレート評価部11は、前述と同様に、マッチング結果Tmが閾値以上の評価条件を満たしているか否かの判定を行い、条件を満たしている場合には、適合テンプレートとして、さらに連続性評価処理を行う。
【0093】
以上のように、この発明の実施の形態2(図12)に係る画像変化選別装置は、テンプレート評価部11とテンプレートマッチング部10Aとの間に挿入されたテンプレート調整部14を備えている。
【0094】
テンプレート評価部11は、すべての候補テンプレートTのマッチングの評価結果であるマッチング結果Tmが閾値以上を満たさない場合に、候補テンプレート更新要求Uを生成し、テンプレート調整部14は、候補テンプレート更新要求Uに応答して、前回の候補テンプレートTの線幅を調整し、調整後候補テンプレートTuをテンプレートマッチング部10Aに入力する。
【0095】
この場合、既に選択済みの候補テンプレートTの形状はそのままで、線幅を調整することにより調整後候補テンプレートTuが生成されるので、対象物の形状的なブレに対応したマッチング処理が可能となる。
【0096】
また、上記実施の形態1(図1)では、テンプレート評価部11において、同一セグメントに対し、適合テンプレートが複数存在する場合、これらの全テンプレートの連続性評価を行い、連続性評価値が最も高い適合テンプレートを選択する例を示したが、同一位置に重複して存在する適合テンプレートのすべての連続性評価値が基準値を満たさない場合には、上記実施の形態2(図12)のテンプレート調整部において、適合テンプレートの形状を連続性評価値に基づき微調整してもよい。
【0097】
ここで、図12内の各符号の後に「B」を付して説明すると、テンプレート調整部で微調整された微調整適合テンプレートTuBは、テンプレートマッチング部10Bに入力され、テンプレートマッチング部10Bは、微調整適合テンプレートTuBに基づく再度のマッチング処理を行い、マッチング結果Tmをテンプレート評価部11Bに入力する。
【0098】
テンプレート評価部11Bは、マッチング結果Tmが閾値以上を満たしていることを確認後、連続性の評価を行い、再評価結果が基準値を満たす場合に、微調整後の適合テンプレートを選択後適合テンプレートTsとして生成する。
【0099】
なお、適合テンプレートの形状の微調整方法としては、たとえば、連続性評価対象となる隣接セグメント間において、各隣接セグメントの境界(または、境界の最も近傍)に位置する画素値「1」の画素である境界近傍画素を抽出し、これらの画素間を結ぶ線分上に位置するすべての画素をすべて「1」に変換する方法がある。
【0100】
以上のように、連続性評価結果に基づき、適合テンプレートの位置および形状を微調整して連続性の再評価を行い、再評価結果が収束条件を満たした時点で、微調整後の適合テンプレートを選択後適合テンプレートTsとして生成する。
【0101】
これにより、連続性評価の基準値を満たさない適合テンプレートに対し、形状を微調整して連続性の高い形状にテンプレートが微調整されるので、変化選別部12における最終的な選択後適合テンプレートTsの表示の際に、選別変化の形状をより忠実に再現することが可能となる。
【0102】
実施の形態3.
なお、上記実施の形態1〜2(図1〜図12)では、特徴量抽出部3において、画像全域を対象に特徴量を抽出したが、特徴量抽出を行う前に、画像全域を対象に、画素分布の射影特徴に基づく特徴量算出領域の絞り込み処理を施してから、特徴量を算出してもよい。
【0103】
具体的には、画像の縦横方向別の画素値の和を算出し、画素値の和が事前に設定した閾値以下の行または列を除外対象とすればよい。
たとえば、第n列の画素値の和が、すべての画素値の和の1%以下であれば、第n列は除外される。
変化抽出画像データG(2値画像)の場合は、画素値は「1」または「0」であり、射影特徴は、変化画素の存在頻度を表している。
【0104】
以上のように、この発明の実施の形態3によれば、特徴量抽出部3は、特徴量抽出処理を行う前に、画像全域を対象に画素分布の射影特徴を算出し、射影特徴に基づいて特徴量算出領域の絞り込み処理を行うので、計算量の削減が可能となる。
【0105】
実施の形態4.
なお、上記実施の形態1〜2(図1〜図12)では、セグメント生成部4において、すべての特徴量抽出画像を対象にセグメント分割したが、すべての特徴量抽出画像を対象としたセグメント分割後に、セグメントごとの画素値の和による足切りを行い、セグメントの絞り込み処理を施してもよい。
【0106】
具体的には、各セグメントの画素値の和が、事前に設定した閾値以下のセグメントを除去すればよい。たとえば、画素値の和が「0」以下、すなわち変化画素が含まれないセグメントは、対象外とされる。
【0107】
以上のように、この発明の実施の形態4によれば、セグメント生成部4は、生成されたセグメントに対し、セグメントごとの画素値(画素強度)の和による足切りを行い、セグメントの画素値の和に基づいて、最終的に生成されるセグメントの絞り込み処理を行うので、計算量の削減が可能となる。
【0108】
実施の形態5.
なお、上記実施の形態1〜2(図1〜図12)では、テンプレートマッチング部10、10A、10Bにおいて、候補テンプレートTと変換後セグメント画像データSt(変化後セグメントデータ)とで、一致した画素強度「1」の画素の合計数を評価値としたが、対象物の数が不確定な場合を想定して、より存在可能性の高い対象物の一致に対する評価値の重み値を高く、存在可能性の低い対象物に対しては重みを低く設定してもよい。この場合、テンプレートマッチング部は、テンプレート選択部9からの候補テンプレートTと、セグメント変換部8からの変換後セグメント画像データStに加えて、交差特徴算出部6から出力される交差特徴データRを入力とする。
【0109】
この発明の実施の形態5によれば、テンプレートマッチング部10(10A、10B)は、マッチング処理前に得られた形状情報である交差特徴データRに基づき、マッチング処理の際に、対象物の存在可能性に応じた重み付け処理を行うので、よりノイズに強いマッチング処理が可能となる。
【0110】
実施の形態6.
なお、上記実施の形態1〜5では、交差特徴算出部6において、交差特徴を抽出する軸上の全画素を対象に、交差点である画素値「1」の画素を探索したが、軸上の1点とその近傍の複数点とを探索対象としてもよい。
具体的には、次探索点である軸上の1点と、たとえばその8方向の近傍点(以下、「8近傍」という)とを対象として、交差点を検出する。
【0111】
図13はこの発明の実施の形態6による交差特徴抽出のための交差点探索処理例を示す説明図であり、小さな正方形領域が各画素(ピクセル)を表しており、白丸が前探索点、黒丸が次探索点、斜線で塗られた丸が次探索点と同時に探索される点、破線の白丸が次々探索点を示している。
【0112】
図13(a)はこの発明の実施の形態6による交差点探索処理と比較するための説明図であり、軸上の単点(黒丸)を次探索点とした交差点探索例を示している。
図13(b)はこの発明の実施の形態6による交差点探索処理の説明図であり、軸上の点(黒丸:次探索点)と、その8近傍(白丸、ハッチング白丸および破線白丸)とを対象とした交差点検出例を示している。
【0113】
図13(b)において、8近傍の探索の際には、前探索点の8近傍として探索済みの3点(白丸)は探索対象外とし、また、次々探索点(破線白丸)も対象外とするので、実際の探索点は、軸上の次探索点(黒丸)と、斜線で塗られている4点(ハッチング白丸)との計5点となる。すなわち、薄灰色の正方形領域が対象画素となる。
【0114】
以上のように、この発明の実施の形態6(図13)によれば、交差特徴算出部6(図12参照)において、近傍に探索範囲を広げて交差点検出処理を行うので、対象物の形状にブレや途切れがあっても、交差点検出が可能となる。
【0115】
なお、交差点検出後に、次の交差点を探索する際には、近傍に位置する次探索点は探索対象外とする。また、探索対象外とする近傍の範囲に関しては、対象画像の質に応じて、ブレや揺らぎの大きい画像の場合には広めの範囲に設定し、小さい画像の場合には狭めの範囲に設定する。
このように、交差点検出後に、近傍点を探索対象外とすることにより、対象物のブレによって生じる重複検出を防ぐことができる。
【0116】
実施の形態7.
なお、上記実施の形態3、4では、特徴量抽出部3やセグメント生成部4において、射影特徴やセグメントごとの画素値和に基づいて、特徴量算出領域やセグメントの絞込み処理を実行したが、絞込み処理を行う以外にも、細線化などの特徴抽出手法に特化した、選別対象外変化の形状特徴に着目して、交差特徴算出処理前に、選別対象外変化の抽出およびその除去処理を実行してもよい。
【0117】
以下、図14〜図17を参照しながら、選別対象外変化の抽出および除去処理を行うこの発明の実施の形態7について説明する。
図14はこの発明の実施の形態7に係る画像変化選別装置を示すブロック構成図であり、前述(図1参照)と同様のものについては、前述と同一符号を付して、または符号の後に「C」を付して詳述を省略する。
【0118】
図14において、画像変化選別装置は、前述(図1)の構成に加えて、ループ検出除去部15を備えている。
ループ検出除去部15は、特徴量抽出部3Cとセグメント生成部4Cとの間に挿入されており、特徴量抽出部3Cからの特徴量抽出画像データを対象に、除去対象画素を検出して除去を行い、除去後の画像であるループ除去後特徴量抽出画像データをセグメント生成部4Cに入力する。
【0119】
図15はループ検出除去部15による画像の細線化処理を示す説明図であり、特徴抽出結果の画像例を段階的に示している。
図15(a)は元の濃淡画像であり、図15(b)は2値化処理後の2値化画像であり、図15(c)は細線化処理後の細線化画像である。
【0120】
図15(a)において、濃淡画像の左部に位置する大きな平行状態にある2曲線は、選別対象変化である車両の軌跡であり、濃淡画像の右側に位置する小さな複数の黒い塊は、選別対象外変化である植生領域である。
【0121】
図15(b)〜図15(c)において、細線化処理では、「連結成分が、ループ形状として抽出される」性質がある点に着目する。
これにより、図15(c)の細線化後の画像においても、植生領域(選別対象外変化)が、多数の小さなループ形状(以下、「小ループ」という)として抽出されている。
【0122】
ここで、選別対象変化である車両軌跡の形状特徴を「平行関係にある2曲線、または2直線」とした場合を考える。
前述の実施の形態1〜5による交差特徴抽出では、セグメント単位で形状特徴を抽出するが、セグメント化によってループ形状が分割されることにより、部分的なループ形状が、選別対象変化の形状特徴に合致した「平行関係にある2曲線、または2直線」として抽出される可能性が生じてくる。すなわち、セグメントの分け方によっては、小ループの形状が、選別対象変化として誤検出される可能性が高い。
【0123】
そこで、この発明の実施の形態7(図14)においては、選別対象外変化である小ループを、交差特徴抽出前に抽出して除去する。
具体的には、対象物存在画素である画素値「1」の画素の追跡処理により、選別対象外変化であるループ形状を検出して、除去する。
【0124】
図16はこの発明の実施の形態7による追跡処理例を示す説明図であり、追跡始点画素からの追跡処理を連続的な矢印で示している。
また、図17はこの発明の実施の形態7によるループ検出除去手順を示すフローチャートである。
【0125】
図17において、ループ検出除去部15は、まず、指定された探索方向に対象物存在画素の探索処理を行う(ステップ101)。
このとき、対象物存在画素であるか否かの判定は、探索点とその近傍とを対象とする。
【0126】
続いて、対象物存在画素を検出したか否かを判定し(ステップ102)、対象物存在画素を検出していない(すなわち、NO)と判定されれば、最終の判定処理(後述するステップ107)に移行する。
【0127】
一方、ステップ102において、対象物存在画素を検出した(すなわち、YES)と判定されれば、検出した対象物存在画素と、その近傍に位置する画素とを対象に、対象物存在画素の追跡処理を行う(ステップ103)。
このとき、追跡処理を開始した対象物存在画素を、追跡始点画素とする。
【0128】
続いて、近傍に対象物存在画素を検出したか否かを判定し(ステップ104)、対象物存在画素を検出していない(すなわち、NO)と判定されれば、最終の判定処理(後述するステップ107)に移行する。
【0129】
一方、ステップ104において、対象物存在画素を検出した(すなわち、YES)と判定されれば、続いて、ループ検出条件「次追跡点が、追跡始点画素、またはその近傍点」を満たすか否かを判定する(ステップ105)。
【0130】
ステップ105において、ループ検出条件を満たさない(すなわち、NO)と判定されれば、ステップ103に復帰して追跡処理を繰り返す。
一方、ステップ105において、ループ検出条件を満たす(すなわち、YES)と判定されれば、追跡結果に基づき、検出されたループを除去して(ステップ106)、ステップ107に移行する。
【0131】
最後に、収束条件「領域の境界」を満たすか否かを判定し(ステップ107)、収束条件を満たさない(すなわち、NO)と判定されれば、ステップ101に復帰してステップ101〜107の処理を繰り返し実行する。
一方、ステップ107において、収束条件を満たす(すなわち、YES)と判定されれば、図17の処理ルーチンを終了して抜け出る。
【0132】
このように、追跡始点画素から探索を開始して、対象物存在画素であるかの判定を、探索点とその近傍(たとえば8近傍)とを対象として行い、以下、対象物存在画素が近傍点に見つからなくなるか、または、画像領域の境界に到達するまで、ループ検出除去処理を繰り返す。そして、上記探索により、追跡始点画素またはその近傍点に到着した時点で、ループ検出とする。
【0133】
なお、追跡対象を、除去対象となる小ループに限定するために、ループ形状検出の際には、追跡距離(連続して追跡した画素値「1」の画素数)の上限値を設定する。
【0134】
以上のように、この発明の実施の形態7(図14〜図17)によるループ検出除去部15は、選別対象外変化であるループ形状を交差特徴抽出処理前に除去することにより、選別対象外変化の誤検出を防ぐことが可能となる。
また、近傍を判定対象とすることにより、局所的に不連続なループ形状であっても除去可能となる。
【0135】
なお、この発明は、上記各実施の形態1〜7に限定されるものではなく、各実施の形態1〜7の可能な組み合わせをすべて含むことは云うまでもない。
【符号の説明】
【0136】
1 変化抽出結果ファイル、2 ノイズ除去部、3、3C 特徴量抽出部、4、4C セグメント生成部、5 セグメント位置調整部、6 交差特徴算出部、7 セグメント選択部、8 セグメント変換部、9 テンプレート選択部、10、10A、10B テンプレートマッチング部、11、11B テンプレート評価部、12 変化選別部、13 変化選別結果ファイル、14 テンプレート調整部、15 ループ検出除去部、G 変化抽出画像データ、Pr 位置調整後セグメント画像データ、R 交差特徴データ、S 候補セグメント画像データ、St 変換後セグメント画像データ、T 候補テンプレート、Tm マッチング結果、Ts 選択後適合テンプレート、Tu 調整後候補テンプレート、TuB 微調整適合テンプレート、U 候補テンプレート更新要求、V 変化選別結果。
【特許請求の範囲】
【請求項1】
2枚の画像間の複素相関分布に基づいて算出された変化抽出画像データを格納する変化抽出結果ファイルと、
前記変化抽出画像データに対してノイズ除去処理を行い、ノイズ除去後のノイズ除去画像データを生成するノイズ除去部と、
前記ノイズ除去画像データに対して特徴量抽出処理を行い、特徴量抽出画像データを生成する特徴量抽出部と、
前記特徴量抽出画像データを部分画像に分割してセグメント画像データを生成するセグメント生成部と、
前記セグメント画像データの各セグメントを構成する画素の強度情報に基づき、セグメント位置を調整して位置調整後セグメント画像データを生成するセグメント位置調整部と、
前記位置調整後セグメント画像データの各セグメントの交差特徴を算出して交差特徴データを生成する交差特徴算出部と、
前記交差特徴データに基づきセグメントを選択して候補セグメント画像データを生成するセグメント選択部と、
前記候補セグメント画像データおよび前記交差特徴データを入力情報とし、前記交差特徴データに基づき、前記候補セグメント画像データの分割、拡大および回転処理を行い、変換後セグメント画像データを生成するセグメント変換部と、
前記変換後セグメント画像データおよび前記交差特徴データを入力情報とし、前記交差特徴データに基づき、前記変換後セグメント画像データとの間でマッチング処理を行うためのテンプレート画像を選択して、候補テンプレートを生成するテンプレート選択部と、
前記候補テンプレート、前記変換後セグメント画像データおよび前記交差特徴データを入力情報とし、前記交差特徴データに基づく前記候補テンプレートと前記変換後セグメント画像データとのマッチング処理により、両者の類似性を判定してマッチング結果を生成するテンプレートマッチング部と、
前記マッチング結果を評価し、マッチング評価結果が閾値以上のテンプレートを適合テンプレートとし、同一セグメントを対象に単一の適合テンプレートが存在する場合には、該当する適合テンプレートを連続性評価対象の適合テンプレートとし、同一セグメントを対象に複数の適合テンプレートが重複して存在する場合には、各々のマッチング評価結果に基づく取捨選択処理を行い連続性評価対象の適合テンプレートとし、さらに連続性評価対象の適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、前記連続性評価結果が閾値以上である適合テンプレートを選択後適合テンプレートとするテンプレート評価部と、
前記選択後適合テンプレートを入力情報とし、すべての選択後適合テンプレートを配置した画像を変化選別結果として生成する変化選別部と、
変化選別結果を格納する変化選別結果ファイルと
を備えたことを特徴とする画像変化選別装置。
【請求項2】
前記テンプレート評価部は、すべての候補テンプレートのマッチングの評価結果であるマッチング結果または連続例評価結果が閾値以上を満たさない場合に、候補テンプレート更新要求を生成し、
前記テンプレート選択部は、前記候補テンプレート更新要求に応答して新たな候補テンプレートを選択し、前記新たな候補テンプレートを前記テンプレートマッチング部に入力することを特徴とする請求項1に記載の画像変化選別装置。
【請求項3】
前記テンプレート評価部と前記テンプレートマッチング部との間に挿入されたテンプレート調整部を備え、
前記テンプレート評価部は、すべての候補テンプレートのマッチングの評価結果であるマッチング結果が閾値以上を満たさない場合に、候補テンプレート更新要求を生成し、
前記テンプレート調整部は、前記候補テンプレート更新要求に応答して、前回の候補テンプレートの形状を調整し、調整後候補テンプレートを前記テンプレートマッチング部に入力することを特徴とする請求項1に記載の画像変化選別装置。
【請求項4】
前記テンプレート調整部は、前記連続性評価結果に基づき、前記適合テンプレートの位置および形状を微調整して連続性の再評価を行い、再評価結果が収束条件を満たした時点で、微調整後の適合テンプレートを前記選択後適合テンプレートとして生成することを特徴とする請求項1に記載の画像変化選別装置。
【請求項5】
前記特徴量抽出部は、前記特徴量抽出処理を行う前に、画像全域を対象に画素分布の射影特徴を算出し、前記射影特徴に基づいて特徴量算出領域の絞り込み処理を行うことを特徴とする請求項1から請求項4までのいずれか1項に記載の画像変化選別装置。
【請求項6】
前記セグメント生成部は、生成されたセグメントに対し、セグメントごとの画素強度の和による足切りを行い、最終的に生成されるセグメントの絞り込み処理を行うことを特徴とする請求項1から請求項5までのいずれか1項に記載の画像変化選別装置。
【請求項7】
前記テンプレートマッチング部は、前記交差特徴データに基づき、前記マッチング処理の際に、対象物の存在可能性に応じた重み付け処理を行うことを特徴とする請求項1から請求項6までのいずれか1項に記載の画像変化選別装置。
【請求項8】
前記交差特徴算出部は、交差点探索の際に、軸上の次探索点とその近傍とを、探索対象とすることを特徴とする請求項1から請求項6までのいずれか1項に記載の画像変化選別装置。
【請求項9】
前記交差特徴算出部は、交差点検出後に、次探索点とその近傍とを、探索対象外とすることを特徴とする請求項8に記載の画像変化選別装置。
【請求項10】
前記特徴量抽出部と前記セグメント生成部との間に挿入されたループ検出除去部を備え、
前記ループ検出除去部は、前記特徴量抽出画像データを入力として、次探索点とその近傍を対象とした探索処理により、ループ形状を検出して除去し、除去後の画像であるループ除去後特徴量抽出画像データを前記セグメント生成部に入力とすることを特徴とする請求項1から請求項9までのいずれか1項に記載の画像変化選別装置。
【請求項1】
2枚の画像間の複素相関分布に基づいて算出された変化抽出画像データを格納する変化抽出結果ファイルと、
前記変化抽出画像データに対してノイズ除去処理を行い、ノイズ除去後のノイズ除去画像データを生成するノイズ除去部と、
前記ノイズ除去画像データに対して特徴量抽出処理を行い、特徴量抽出画像データを生成する特徴量抽出部と、
前記特徴量抽出画像データを部分画像に分割してセグメント画像データを生成するセグメント生成部と、
前記セグメント画像データの各セグメントを構成する画素の強度情報に基づき、セグメント位置を調整して位置調整後セグメント画像データを生成するセグメント位置調整部と、
前記位置調整後セグメント画像データの各セグメントの交差特徴を算出して交差特徴データを生成する交差特徴算出部と、
前記交差特徴データに基づきセグメントを選択して候補セグメント画像データを生成するセグメント選択部と、
前記候補セグメント画像データおよび前記交差特徴データを入力情報とし、前記交差特徴データに基づき、前記候補セグメント画像データの分割、拡大および回転処理を行い、変換後セグメント画像データを生成するセグメント変換部と、
前記変換後セグメント画像データおよび前記交差特徴データを入力情報とし、前記交差特徴データに基づき、前記変換後セグメント画像データとの間でマッチング処理を行うためのテンプレート画像を選択して、候補テンプレートを生成するテンプレート選択部と、
前記候補テンプレート、前記変換後セグメント画像データおよび前記交差特徴データを入力情報とし、前記交差特徴データに基づく前記候補テンプレートと前記変換後セグメント画像データとのマッチング処理により、両者の類似性を判定してマッチング結果を生成するテンプレートマッチング部と、
前記マッチング結果を評価し、マッチング評価結果が閾値以上のテンプレートを適合テンプレートとし、同一セグメントを対象に単一の適合テンプレートが存在する場合には、該当する適合テンプレートを連続性評価対象の適合テンプレートとし、同一セグメントを対象に複数の適合テンプレートが重複して存在する場合には、各々のマッチング評価結果に基づく取捨選択処理を行い連続性評価対象の適合テンプレートとし、さらに連続性評価対象の適合テンプレートを空間的に配置し、空間的に配置された各適合テンプレート間の連続性を評価して連続性評価結果を求め、前記連続性評価結果が閾値以上である適合テンプレートを選択後適合テンプレートとするテンプレート評価部と、
前記選択後適合テンプレートを入力情報とし、すべての選択後適合テンプレートを配置した画像を変化選別結果として生成する変化選別部と、
変化選別結果を格納する変化選別結果ファイルと
を備えたことを特徴とする画像変化選別装置。
【請求項2】
前記テンプレート評価部は、すべての候補テンプレートのマッチングの評価結果であるマッチング結果または連続例評価結果が閾値以上を満たさない場合に、候補テンプレート更新要求を生成し、
前記テンプレート選択部は、前記候補テンプレート更新要求に応答して新たな候補テンプレートを選択し、前記新たな候補テンプレートを前記テンプレートマッチング部に入力することを特徴とする請求項1に記載の画像変化選別装置。
【請求項3】
前記テンプレート評価部と前記テンプレートマッチング部との間に挿入されたテンプレート調整部を備え、
前記テンプレート評価部は、すべての候補テンプレートのマッチングの評価結果であるマッチング結果が閾値以上を満たさない場合に、候補テンプレート更新要求を生成し、
前記テンプレート調整部は、前記候補テンプレート更新要求に応答して、前回の候補テンプレートの形状を調整し、調整後候補テンプレートを前記テンプレートマッチング部に入力することを特徴とする請求項1に記載の画像変化選別装置。
【請求項4】
前記テンプレート調整部は、前記連続性評価結果に基づき、前記適合テンプレートの位置および形状を微調整して連続性の再評価を行い、再評価結果が収束条件を満たした時点で、微調整後の適合テンプレートを前記選択後適合テンプレートとして生成することを特徴とする請求項1に記載の画像変化選別装置。
【請求項5】
前記特徴量抽出部は、前記特徴量抽出処理を行う前に、画像全域を対象に画素分布の射影特徴を算出し、前記射影特徴に基づいて特徴量算出領域の絞り込み処理を行うことを特徴とする請求項1から請求項4までのいずれか1項に記載の画像変化選別装置。
【請求項6】
前記セグメント生成部は、生成されたセグメントに対し、セグメントごとの画素強度の和による足切りを行い、最終的に生成されるセグメントの絞り込み処理を行うことを特徴とする請求項1から請求項5までのいずれか1項に記載の画像変化選別装置。
【請求項7】
前記テンプレートマッチング部は、前記交差特徴データに基づき、前記マッチング処理の際に、対象物の存在可能性に応じた重み付け処理を行うことを特徴とする請求項1から請求項6までのいずれか1項に記載の画像変化選別装置。
【請求項8】
前記交差特徴算出部は、交差点探索の際に、軸上の次探索点とその近傍とを、探索対象とすることを特徴とする請求項1から請求項6までのいずれか1項に記載の画像変化選別装置。
【請求項9】
前記交差特徴算出部は、交差点検出後に、次探索点とその近傍とを、探索対象外とすることを特徴とする請求項8に記載の画像変化選別装置。
【請求項10】
前記特徴量抽出部と前記セグメント生成部との間に挿入されたループ検出除去部を備え、
前記ループ検出除去部は、前記特徴量抽出画像データを入力として、次探索点とその近傍を対象とした探索処理により、ループ形状を検出して除去し、除去後の画像であるループ除去後特徴量抽出画像データを前記セグメント生成部に入力とすることを特徴とする請求項1から請求項9までのいずれか1項に記載の画像変化選別装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2011−158457(P2011−158457A)
【公開日】平成23年8月18日(2011.8.18)
【国際特許分類】
【出願番号】特願2010−85689(P2010−85689)
【出願日】平成22年4月2日(2010.4.2)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成23年8月18日(2011.8.18)
【国際特許分類】
【出願日】平成22年4月2日(2010.4.2)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]