画像照合装置または画像照合方法
【課題】 二つの画像がＳＡＲ画像と光学画像とで異種である場合に、特徴点やエッジが明確に検出できない場合であっても画像の照合をおこなうことを目的とする。
【解決手段】 本発明によれば、異種画像と光学画像について各々フーリエ変換を行う周波数成分検出手段１０５ａ、１０５ｂと、異種画像と光学画像の各々の区間の画素列を周波数変換後の周波数成分を照合することによって異種画像と光学画像との位置あわせをおこなう位相照合手段１０６を備えた。
【解決手段】 本発明によれば、異種画像と光学画像について各々フーリエ変換を行う周波数成分検出手段１０５ａ、１０５ｂと、異種画像と光学画像の各々の区間の画素列を周波数変換後の周波数成分を照合することによって異種画像と光学画像との位置あわせをおこなう位相照合手段１０６を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フーリエ変換を用いた画像照合装置または画像照合方法に関するものである。
【背景技術】
【０００２】
２枚の画像からそれぞれ特徴点を抽出し、そして、特徴点同士の位置関係が同じとなるように、２枚の画像を重ね合わせる技術が開示されている。（非特許文献１）。
【０００３】
また、２枚の画像から、特徴領域を抽出する。1方の画像を回転、並行移動してもう1方の画像へ重ねた場合に、特徴領域が重なるような回転量、並行移動量を求めている技術が開示されている（非特許文献２）
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｕｓｉｎｇ ＲＳＴ−Ｃｌｕｓｔｅｒｉｎｇ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ
【非特許文献２】ＲＥＧＩＳＴＲＡＴＩＯＮ ＯＦ ＨＩＧＨ ＲＥＳＯＬＵＴＩＯＮ ＳＡＲ ＡＮＤ ＯＰＴＩＣＡＬ ＳＡＴＥＬＬＩＴＥ ＩＭＡＧＥＲＹ ＩＮ ＵＲＢＡＮ ＡＲＥＡＳ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように、二つの画像の特徴点を抽出し、回転や平行移動を用いて特徴領域を重ね合わせることで照合する技術には以下の問題点がある。
（１）異種画像において、特徴点やエッジが不明確な画像の課題
一般に、ＳＡＲ画像は電波を反射し易い構造物を高輝度にて表現している特徴がある。これにより、ＳＡＲ画像と光学画像は見た目が異なり抽出する特徴が異なる。したがってレーダ画像には、光学画像に映っている地形や地物のエッジが鮮明に表現されないので、特徴点や特徴エッジを検出できない。このため、レーダ画像と光学画像とを照合できない。
（２）撮影位置が異なる地上撮影画像による課題
全方位カメラを用いて撮影した撮影地点の異なる２枚の画像を照合する場合、２枚の写真に同じ対象物が映っていた場合であっても、撮影地点から対象物の距離の違いや、撮影地点から対象物の方向の差異により、夫々の画像に写る対象物の位置や大きさが異なるため、２枚の画像の照合は困難であった。
（３）撮影位置が上空と地上の違いによる課題
２枚の同種画像の照合を実施する場合、２枚の画像の撮影視点位置、撮影方向が異なる場合、見た目が著しく異なり、画像中の特徴点を照合できずに、画像を重ね合わせることができない課題がある。見た目の異なる例としては、高さのある建物を撮影した航空写真が２枚あった場合、東側上空から撮影した像と西側上空から撮影した像では、建物側面の映る面が異なるため、それぞれの画像から抽出できる特徴点が異なる。
また、上空から地表を撮影した画像と、地上から撮影した画像とも、景観が大きく異なるため、従来手法による画像の重ね合わせは困難である。
【０００６】
この発明は上記のような問題点のうちの少なくともいずれかを解決するためのもので、特徴点やエッジが明確に検出できない場合であっても画像の照合をおこなうことを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、２枚の異なる画像について各々フーリエ変換を行う周波数成分検出手段と、２枚の異なる画像についての各々の区間の画素列を周波数変換後の周波数成分を照合することによって位置あわせをおこなう位相照合手段を備えたものである。
【発明の効果】
【０００８】
本発明によれば、２枚の異なる画像について各々フーリエ変換を行う周波数成分検出手段と、２枚の異なる画像についての各々の区間の画素列を周波数変換後の周波数成分を照合することによって位置あわせをおこなう位相照合手段を備えたことにより、２枚の異なる画像のおも濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合をおこなうことができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１における画像照合装置を示す構成図。
【図２】実施の形態１における周波数成分検出手段１０５ａ、１０５ｂが行う部分画像データ１および部分データ画像２の画素列に対するフーリエ変換を行う範囲設定を説明する図。
【図３】実施の形態１における図２の左側の部分画像データ１のＡＢ間の一つの画素列と右側の部分画像データ２のＣＤ間の一つの画素列を各々フーリエ変換し周波数成分にて示した図。
【図４】実施の形態２における画像照合装置を示す構成図。
【図５】遠近パターン抽出手段１１０が生成した撮影位置を擬似的に拡大縮小した画像の拡大例。
【図６】実施の形態２におけるパノラマ画像に対する位相照合手段１１１の他の動作例について説明図である。
【図７】実施の形態３における画像照合装置を示す構成図。
【発明を実施するための形態】
【００１０】
実施の形態１．
実施の形態１では、特に異なる種類の画像の位置照合について説明する。
【００１１】
図１は、実施の形態１における画像照合装置を示す構成図である。
【００１２】
図１において、光学画像とは、航空機から地上をカメラにて撮影した画像のデータである。画像における座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
【００１３】
図１において、異種画像とは、航空機から光学カメラと異なる手段により、地上を撮影した写真のデータである。例えば、合成開口レーダや赤外線カメラにより地上を観測した画像（ＳＡＲ画像等）である。画像における座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
【００１４】
低反射領域抽出手段１０１は、異種画像を読み込み、輝度の小さい値が連結している領域を特徴領域とみなして、この領域範囲を特徴データ１として出力する。
類似画素抽出手段１０２は、光学画像を読み込み、画素値の近い値が連結している領域を特徴領域とみなして、この領域範囲を特徴データ２として出力する。
特徴データ１および特徴データ２は、抽出した特徴データの領域範囲を示すデータである．具体例として、画像座標系の座標値の集合により、特徴データの範囲を示す。また、特徴データは一つの画像に対して、複数の特徴データが抽出されてもよい。
【００１５】
位置ずれ推定手段１０３は、異種画像から抽出した特徴データ１および、光学画像から抽出した特徴データ２から各々の画像のおおまかな位置ずれ量を求め、位置ずれ量１として出力する。
位置ずれ量１は、各々の画像の位置ずれ量を示す値である。一方の画像の画像座標系を基準として、他方の画像の画像座標系を縦、横、にそれぞれ何画素分ずらすと、または何度分回転する、と画像が一致するか、を記録するためのデータである。
回転に関しては、回転させる画像の画像座標系の原点を中心とした回転とする。また、回転角度と縦横の画素数が両方記録されている場合、画像座標系を縦、横に併進した後、回転させる順とする。
【００１６】
同一範囲推定手段１０４は、位置ずれ量１から得た情報を用いて、異種画像と光学画像とから夫々同じ領域範囲と推測した領域の画像を抽出し、夫々を部分画像データ１および部分画像データ２を出力する。
部分画像データ１および部分画像データ２は、画像データであり、夫々画像座標系による座標値に対応する輝度情報を記録している。輝度情報は多値であってもよい。
【００１７】
周波数成分検出手段１０５ａは、部分画像データ１をフーリエ変換して、位相成分を抽出して、位相データ１として出力する。
周波数成分検出手段１０５ｂは、部分画像データ２をフーリエ変換して、位相成分を抽出して、位相データ２として出力する。
【００１８】
位相照合手段１０６は、位相データ１及び位相データ２を入力し、位置ずれ量２を求めて出力する。
位置ずれ量２は、位置ずれ量を示す電子データである。位相データ１及び位相データ２が、一方を基準とした場合に、他方がずれている量を、上下左右に画素数で示し、回転方向に角度で示されたものである。
【００１９】
次に、各手段の動作の詳細を中心に述べる。
低反射領域抽出手段１０１は、入力画像である異種画像の画素値を読み出し、例えば異種画像がＳＡＲ画像の場合は電波を反射し易い構造物を高輝度にて表現している特徴があるので、それを除くべく、画素値が一定閾値以下の画像値である画素を画像座標系の座標値を用いて開始点（Ｘｓ，Ｙｓ）と示し、ユニークなグループ番号を付けて座標値を記録する。開始点（Ｘｓ，Ｙｓ）に対し、の近傍点の座標値を
（Ｘｓ−１、Ｙｓ＋１）、（Ｘｓ、Ｙｓ＋１）、（Ｘｓ＋１、Ｙｓ＋１）、
（Ｘｓ−１、Ｙｓ） （Ｘｓ＋１、Ｙｓ）
（Ｘｓ−１、Ｙｓ−１）、（Ｘｓ，Ｙｓ−１）、（Ｘｓ＋１、Ｙｓ−１）
としたとする。
【００２０】
近傍点の画素値が、同じく一定閾値以下であり、かつ近傍点の画素値と開始点の画素値との差分が一定閾値以下である場合、新しく、近傍点は同じグループに属するとみなし、この点を新しい開始点として座標値をグループ番号と共に記録し、新たに記録する座標値がなくなるまで、上記画素値の比較を繰り返す。
上記繰り返し処理を例えば画素値が一定以下である複数の開始点から開始して、画像において、低反射領域の中の特徴データ１を構成する特徴領域を決定する。そして、複数のグループ番号とその座標値からなる集合を特徴データ１となる。
【００２１】
次に、類似画素抽出手段１０２は、入力画像である光学画像の画素値を読み出し、低反射領域抽出手段１０１で行った場合と同様に、画像座標系の座標値を用いて開始点（Ｘｓ，Ｙｓ）として、ユニークなグループ番号を付けて座標値を記録する。座標の定義についても低反射領域抽出手段１０１の場合と同じである。
近傍点の画素値と開始点の画素値との差分が一定閾値以下である場合、新しく、近傍点が同じグループに属するとみなし、この点を新しい開始点として座標値をグループ番号と共に記録し、新たに記録する座標値がなくなるまで、上記画素値の比較を繰り返す。
上記繰り返し処理を例えばグループに属さない全ての画素を開始点として開始して、画像において、特徴データ２を構成する類似画素のグループを決定する。そして、複数のグループ番号と座標値からなる集合を特徴データ２とする。
【００２２】
位置ずれ推定手段１０３は、低反射領域抽出手段１０１の出力である特徴データ１と、類似画素抽出手段１０２の出力である特徴データ２とから、画像上で同じ大きさ、同じ形状となる特徴データを探索する。
手順としてはまず、画像上の同じ大きさとなる特徴データを探索する。
位置ずれ推定手段１０３は、特徴データ１から、座標値を多く含む、すなわち大きい領域を有するグループ順にグループを選択する。
次に、位置ずれ推定手段１０３は、特徴データ１から、選択したグループを領域Ｇ１と定義する。
さらに、定義した領域Ｇ１に含まれる座標値の数をＮ（Ｎは自然数）とした場合、位置ずれ推定手段１０３は、特徴データ２から、グループに含まれる座標の数がＮに近い順番にグループを選択する。特徴データ２から、選択したグループを領域Ｇ２と定義する。
そして、次に、同じ形状となる特徴データを特定する。
まず、位置ずれ推定手段１０３は、所定の画像領域を白とし、領域Ｇ１に属する座標値の点だけを黒くする。この領域をＩ１と定義する。
次に、位置ずれ推定手段１０３は、別の所定の画像領域を白とし、領域Ｇ２に属する座標値の点だけを黒くする。この領域をＩ２と定義する。
そして、位置ずれ推定手段１０３は、領域Ｉ１もしくは領域Ｉ２の一方を固定した上で、他方の画素を縦横方向にずらし、また更に回転をかけて重ねあわせ、相互情報量が最も大きくなくなる重なり量、回転量を求める。
【００２３】
このとき、領域Ｇ１、領域Ｇ２の組は１組である必要はなく、特徴データ２から、複数のグループを選択して領域Ｇ２と再定義してから重なり量、回転量を求めて評価してもよい。
また、特徴データ１から抽出した複数のグループ、領域に属する座標から領域Ｉ１に相当する画像を作成し、特徴データ１から抽出した夫々のグループに対して、含まれる座標数が近いグループを特徴データ２から抽出したうえで、特徴データ１から抽出した複数のグループに属する座標から領域I２に相当する画像を作成して領域Ｉ１と領域Ｉ２の相互情報量が最大となる重なり幅を見つけてもよい。
上記手法により、例えばレーダ画像に含まれる低画素値の大きな領域と。光学画像に含まれる例えば運動場を上空から撮影した場合に見られる均一の色の領域の重なりが一致するように異種画像と光学画像のずれ方向を検知可能である。
位置ずれ推定手段１０３は、検知した位置ずれを縦、横、の画素数および、回転角度を決定し、出力する。位置ずれ量１は、一組の特徴データに対して一つに決める必要も無く、複数の値を決定し、出力してもよい。
【００２４】
同一範囲推定手段１０４は、夫々の画像（異種画像、光学画像）から、周波数成分により比較が可能な部分領域を抽出する処理を行う。
はじめに、位置ずれ推定手段１０３の出力である位置ずれ量１の並行移動、回転角度にあわせて、例えば光学画像の画像座標系に並行移動と回転を加えた新たな画像座標系にて、光学画像の画素値を表すことで大まかな位置合わせを行う。この画像を変換画像と表現する。
【００２５】
次に、同一範囲推定手段１０４は、異種画像および、変換画像に対して、例えばｓｏｂｅｌフィルタを用いて、ぞれぞれの画像からエッジ抽出を行う、このエッジの抽出においては、抽出するエッジの方向を縦横の２方向とせず、自由に３６０度に対して、例えば３６０の方向に対してエッジ抽出を行い、各々のエッジ画像を生成する。
異種画像および変換画像についての、画像のエッジ抽出結果であるエッジ画像から、一定の閾値長さ以上のエッジの本数が最も大きい方向をそれぞれの画像に対して選択する。
そして、各々のエッジ画像から、一定の閾値以上のエッジだけを残して他のエッジを消去したフィルタリングされたエッジ画像を生成する。
【００２６】
次に、同一範囲推定手段１０４は、各々のそれぞれのフィルタリングされたエッジ画像に示されたエッジ群に対して、外接長方形範囲を設定する。
さらに各々のフィルタリングされたエッジ画像に設定された外接長方形範囲をお互い重複させて、各々のフィルタリングされたエッジ画像の範囲を、お互いの画像が重複する範囲だけに限定する。
このようにして得られた、それぞれの限定された範囲の各々のフィルタリングされたエッジ画像について、異種画像側から生成された方を部分画像データ１、光学画像側から生成された方を部分画像データ２とする。それぞれの部分画像データには、比較する特徴となるエッジが含まれている。
尚、異種画像側から生成された部分画像データ１、光学画像側から生成された部分画像データ２については、限定された範囲の各々のフィルタリングされたエッジ画像ではなく、その限定された範囲の異種画像および光学画像そのものでもよい。
【００２７】
次に、周波数成分検出手段１０５ａ、１０５ｂの動作について詳細説明する。
部分画像データ１および部分データ画像２の画素列に対して、それぞれ１次元フーリエ変換をかける。
図２は、実施の形態１における周波数成分検出手段１０５ａ、１０５ｂが行う部分画像データ１および部分データ画像２の画素列に対するフーリエ変換を行う範囲設定を説明する図である。
画素列の方向は、例えば画像横方向を０度として１７９度までで、一度ずつ１８０方向とする。画素列の範囲は、画像全体としてもよいし、一定の範囲としてもよい。一定の範囲とする場合には、画像の中心を通りフーリエ変換の方向に直行する線を中心線として、その中心線からの距離が同一となる画素列範囲とする。
図２の左側の場合、画素列の範囲は画素列１，２，３・・Ｎ（Ｎは自然数）の中のＡとＢの間である。右側の場合、画素列の範囲は画素列１，２，３・・Ｎの中のＣとＤの間である。これらの範囲は、上記部分画像をそれぞれ全体に包含する範囲であってもよい。
図２において、周波数成分検出手段１０５ａは、左側の１、２、３の画素列のフーリエ変換を行うともに、周波数成分検出手段１０５ｂは、図２右側の１，２、３の画素列のフーリエ変換を行う。結果については後述する位相照合処理にて照合する。
【００２８】
図３は図２の左側の部分画像データ１のＡＢ間の一つの画素列と右側の部分画像データ２のＣＤ間の一つの画素列を各々フーリエ変換し周波数成分にて示した図である。
画素列をフーリエ変換した例をしめす。
図３の左側は図２の左側の区間ＡＢの間の画素列１、２、３・・Ｎのうちの一つをフーリエ変換し、横軸を画素列番号、縦軸を次数、画素の輝度が周波数成分の強度を示す。
図３の右側は図２の右側の区間ＣＤの間の画素列１、２、３・・Ｎのうちの一つをフーリエ変換し、横軸を画素列番号、縦軸を次数、画素の輝度が周波数成分の強度を示す。
このように、周波数成分検出手段１０５ａ、１０５ｂは、区間、角度に対して画素の画素列番号、次数、周波数成分強度の組からなる位相データを出力する。
【００２９】
次に、位相照合手段１０６の動作について詳細説明する。
図３に示す２枚のグラフ画像を、横軸をずらしながら、照合し、グラフが重なる部分の画素値の相関が最も高くなる横軸方向のずらし量を求める。よって、フーリエ変換を行って周波数成分にて照合することで、異種画像と光学画像の画像からそれぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合が可能となる。
【００３０】
また、２枚のグラフの相関を求める際に、画素値を用いて上記のように相関係数を算出してもよいが、以下のように相関を求める手法を設定してもよい。
図３の２枚のグラフ画像を生成する時点で、各々予め閾値を設定し、フーリエ変換結果の輝度値が閾値を超えた画素を白とし、輝度値が閾値を超えない画素を黒とする。
次に、図３の２枚のグラフ画像から、夫々のグラフ画像の座標系の座標値が一致する点の色を読み出し、２枚のグラフ画像の全ての画素のうち、夫々のグラフ画像の同じ座標の画素の色が同時に白となる画素の数を数える。この数が多い程、相関が高いとみなすこととする。
２枚のグラフ画像のうち、一方のグラフから読み出す画素の座標を横方向に一定値（例えばＭ）ずらした場合、同様にグラフ画像の全ての画素のうち、２枚のグラフ画像から常に横方向に一定値（例えばＭ）ずらした座標の画素の色が同時に白となる画素の数を数える。
Ｍを０から画像の横幅の画素の数だけ変化させて、最も相関の高くなるＭを位置ずれ量とみなす。
【００３１】
また、位相照合手段１０６では、図２のθの値、画素列１、２、３・・Ｎ、図２における画素列幅を示すＡ−Ｂ、Ｃ−Ｄの区間を予め定めた範囲内で任意に変化させて各々フーリエ変換した後、照合してもよい。この場合、２枚のグラフの相関が高くなるθ、画素列と区間の位置、上記横軸方向のずれ量の組み合わせによって、異種画像と光学画像とが重なると判断し、異種画像と光学画像との相関が高くなったθ、画素列と区間の位置、に基づいて位置ずれ量２を出力する。
【００３２】
最後に、合成表示手段１０７の動作について説明する。
合成表示手段１０７は、位置ずれ量２にあわせて一方の画像に回転および並行移動を加え、他方の画像と重ね合わせて表示する。このとき、一方の画像を透過色として、重なった結果を見やすいように表示する。
【００３３】
したがって、本実施の形態では、異種画像と光学画像について各々フーリエ変換を行う周波数成分検出手段１０５ａ、１０５ｂと、異種画像と光学画像の各々の区間の画素列を周波数変換後の周波数成分を照合することによって異種画像と光学画像との位置あわせをおこなう位相照合手段１０６を備えたことにより、異種画像と光学画像の画像からそれぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合をおこなうことができる。
【００３４】
また、異種画像と光学画像について各々フーリエ変換を行う前に、異種画像における、所定の閾値以下の画素のみを抽出する低反射領域抽出手段１０１と、光学画像における隣接する画素値の差分が所定の閾値以下となる画素のみを抽出する類似画素抽出手段１０２を備え、各々抽出するので、フーリエ変換後の異種画像と光学画像との位置あわせをより精度よく行うことができる。
【００３５】
さらに、異種画像と光学画像について各々フーリエ変換を行う前に、低反射領域抽出手段１０１が出力した特徴データ１と、類似画素抽出手段１０２が出力した特徴データ２とを用いて相互情報量が最大となる位置ずれ量を決定し出力する位置ずれ量推定手段１０３を備えたので、あらかじめ位置ずれ量を推定することができる。
【００３６】
さらに、異種画像と光学画像について各々フーリエ変換を行う前に、異種画像および、光学画像に対して、ぞれぞれの画像からエッジ抽出を行い、各々の部分画像データを出力する同一範囲推定手段１０４を備えたことで、あらかじめフーリエ変換する画素の対象を限定し、計算量を少なくすることができる。
【００３７】
実施の形態２．
実施の形態１では異なる波長を用いた画像について照合装置について説明したが、実施の形態２においては、撮影位置が異なる地上撮影画像についての照合方法とその装置について説明する。
図４は、実施の形態２における画像照合装置を示す構成図である。実施の形態１とは、特に低反射領域抽出手段１０１と、類似画素抽出手段１０２との代わりに遠近パターン抽出手段１１０が備わっており、差異部分を中心に説明する。
【００３８】
図４の右上に位置する画像とは、航空機または地上をカメラにて撮影した画像のデータである。画像における座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
図４の左上に位置する異地点撮影画像とは、上記画像を異なる地点から撮影したものである。上記画像と同様に、画像座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
【００３９】
遠近パターン抽出手段１１０について詳細に説明する。
遠近パターン抽出手段１１０は、撮影地点の異なる２枚の画像を照合する場合、２枚の写真に同じ対象物が映っていた場合であっても、撮影地点から対象物の距離の違いや、撮影地点から対象物の方向の差異により、夫々の画像に写る対象物の位置や大きさが異なるものを画像の拡大縮小等によって補正するためのものである。
【００４０】
遠近パターン抽出手段１１０の動作について説明する。
画像および、異地点撮影画像として、地上において水平に撮影したパノラマ画像を例とする。このパノラマ画像の画像座標系は、横軸が方位を示し、縦軸が撮影地点からのピッチ角度を示す。
遠近パターン抽出手段１１０は、画像および異地点撮影画像を読み込み、画像の撮影地点を、異地点撮影画像の撮影地点に合わせるように異なる画像として擬似的に変換する手段である。遠近パターン抽出手段の出力は、遠近部分画像データ１、と遠近部分画像データ２とする。
【００４１】
具体的には、遠近パターン抽出手段１１０は、画像の縦方向の画像の拡大縮小により、異地点撮影画像の撮影地点にあわせるよう、擬似的に縦方向の画像の拡大縮小をした画像を生成する。
図５は、遠近パターン抽出手段１１０が生成した撮影位置を擬似的に拡大縮小した画像の拡大例を示す。
【００４２】
図５の左側の拡大前の画像において、画像座標系の区間Ａを、異地点撮影画像の撮影地点に合わせるように図５の右側の拡大後の画像における画像座標系区間Ｂに拡大している。このとき、水平に撮影したパノラマ画像を対象とする場合、水平方向（ピッチ角０度）が画像座標系の縦軸上の同じ位置に来るように拡大、縮小を実施する。
これは、パノラマ画像でない場合においても同様に、撮影位置が異なっても同じピッチ角度が写る場合や、同じ方位が写る場合において、同ピッチまたは同方位が拡大前後で画像座標系の同じ位置に来るように拡大、または縮小する。拡大、縮小率は、予め設定した複数の値を使用する。
【００４３】
遠近パターン抽出手段１１０は、拡大、または縮小した画像から、部分画像を切り出す。図６の場合、切り出す範囲を方位範囲Ｃとしている。
撮影位置の異なる画像または、撮影位置の異なる画像を拡大または縮小した画像から部分画像を切り出す場合、比較が可能なように、同じ方位範囲を切り出す。
尚、縮小により縦方向に画像値の無い領域がある場合は、比較する２枚の画像の両方に画素値のある領域範囲を切り出すこととする。
遠近パターン抽出手段１１０は、切り出した部分画像を遠近部分画像データ１または、遠近部分画像データ２として、拡大、縮小、方位範囲のデータともに出力する。
【００４４】
周波数成分検出手段１０５ｃは、遠近部分画像データ１をフーリエ変換して、位相成分を抽出して、位相データ３として出力する。
周波数成分検出手段１０５ｄは、遠近部分画像データ２をフーリエ変換して、位相成分を抽出して、位相データ４として出力する。
次に、周波数成分検出手段１０５ｃ、１０５ｄの動作については、実施の形態１と同様である。すなわち、遠近部分画像データ１または遠近部分データ画像２の画素列に対して、それぞれ１次元フーリエ変換をかける。画素列の方向は図５の場合、画像座標系の縦軸方向とする。画素列の範囲は、遠近部分画像データの幅とする。一定の範囲としてもよい。
画素列の範囲を一定の範囲とする場合には、実施の形態１の場合と同様に、画像の中心を通りフーリエ変換の方向に直行する線を中心として、その中心の点からの距離が同一となる画素列範囲とする。
【００４５】
周波数成分検出手段１０５ｃ、１０５ｄから得られた位相データ３，４は、例えば、実施の形態１における図３に示すような縦に次数、画素の輝度が周波数成分の強度の関係示すという意味で、実施の形態１における位相データ１，２と同じである。
【００４６】
次に、位相照合手段１１１は、位相データ３，４より、位置ずれ量３を求めて出力する。
実施の形態１と同様、位相照合手段１０６は、横軸をずらしながら、２枚の遠近部分画像データから生成した位相データ３，４であるフーリエ画像を照合する。
照合とはフーリエ画像が重なる部分の画素値の相関が最も高くなる遠近部分データ１と遠近部分データ２とのペアを求めることである。よって、フーリエ変換を行って周波数成分にて照合することで、それぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合が可能となる。
元々、パノラマ画像の画像と異地点撮影画像との対比のため、遠近部分データ１、遠近部分データ２の切り出し範囲から、方位の差を検出できるとともに、遠近部分データ１、遠近部分データ２の倍率の違いから、被写体との距離の比が得られる。
よって照合して得られた位相データ３，４の基となった遠近部分データ１、遠近部分データ２に基づいて方位の差と距離の比（少なくともどちらの撮影地点が被写体に近いか）を位置ずれ量３として出力する。
【００４７】
パノラマ画像に対する位相照合手段１１１の他の動作例について説明する。
位相データ３，４であるフーリエ画像の各画素について、ある画素とその近傍との画素値の変化（勾配）を求め、各画像座標に対して、勾配方向（ベクトル）を計算して記録する。
そして、１枚目のグラフ画像（フーリエ画像）の特定範囲、例えば画像座標系横方向に３０画素、縦方向に１００画素範囲の勾配値を抽出し、もう１枚のグラフ画像（フーリエ画像）の勾配のうち、同じ大きさ範囲における勾配の差異が、最も少なくなる範囲を求める。
次に、１枚目のグラフ画像（フーリエ画像）の特定範囲を例えば３０画素ずらし、２枚目のグラフと最も勾配が少なくなる範囲を求める。
図６は、実施の形態２におけるパノラマ画像に対する位相照合手段１１１の他の動作例について説明図である。
図６のように、２枚のグラフ画像の同じ大きさ範囲における勾配の差異が、最も少なくなる範囲の算出を複数回繰り返した結果、上記Ａ，Ｂ，Ｃ，Ｄの領域が対応ついた場合とする。
１枚目のグラフのＢの方位に写る画像が、２枚目のグラフのＢ’の方位と同じ方向に写る画像であることを示している。Ｂ’の左右の領域（Ａ、Ｃ）はＢの領域と重なりがあり、１８０度反対方向であるＤ’の地点では、１枚目の領域を対応付けた範囲にて対応領域に隙間がある。このことから、１枚目の領域においてＢの方位に撮影地点をずらした後に２枚目の画像を撮影したことがわかる。
【００４８】
合成表示手段１０７は、実施の形態１と同様に位置ずれ量３にあわせて一方の画像に回転および並行移動を加え、他方の画像と重ね合わせて表示する。このとき、一方の画像を透過色として、重なった結果を見やすいように表示する。
【００４９】
したがって、本実施の形態では、画像と異地点撮影画像について各々フーリエ変換を行う周波数成分検出手段１０５ｃ、１０５ｄと、画像と異地点撮影画像の各々の区間の画素列を周波数変換後の周波数成分を照合することによって画像と異地点撮影画像との位置あわせをおこなう位相照合手段１１１を備えたことにより、画像と異地点撮影画像の画像からそれぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合をおこなうことができる。
よって撮影地点の異なる全方位画像の照合なども可能となる。
【００５０】
また、画像と異地点撮影画像について各々フーリエ変換を行う前に、一方画像について他方の撮影地点にあわせるよう、拡大縮小して各々部分画像データを出力する遠近パターン抽出手段１１０と、各々部分画像データを用いてフーリエ変換を行うようにしたので、上空画像と地上画像とのおおおまかな位置あわせをおこなうことで、画像と異地点撮影画像との位置あわせをより精度よく行うことができる。
【００５１】
実施の形態３
実施の形態３においては、上空画像と地上画像についてフーリエ変換後の周波数成分を用いて照合する例について説明する。
図７は、実施の形態３における画像照合装置を示す構成図である。
【００５２】
上空画像とは、航空機から地上をカメラにて撮影した画像のデータである。画像における座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
地上画像とは、地上から景観を撮影した画像であり上記上空画像とは視点が異なるのみである。
【００５３】
３次元特徴抽出手段１１２の動作について説明する。
まず、上空画像においては、エッジ抽出を実施し、直線線分だけを抽出する。
撮影位置の近い２枚の上空画像から、ステレオ視の原理により、直線成分の地表面上の２次元位置を求めて地表面の直交する２軸方向、地表面からの鉛直方向からなる座標系にて表現する。これを特徴データ３とする。
次に、地上画像について、天候のよい昼間の場合、明度が一定以上の画素値を０にすることで、画像における空の部分だけ画素値が０になる。次に、エッジ抽出をかけ、空と接する直線を抽出する。撮影するカメラの座標系が既知である場合、撮影位置の近い２枚の地上画像から、地面と並行なエッジを抽出する。エッジを、撮影位置を原点とし、撮影方向および撮影方向と直行する方向の２軸からなる座標系の座標値で表現する。これを特徴データ４とする。
【００５４】
次に、位置ずれ推定手段１１３の動作について説明する。
位置ずれ推定手段１１３の役割は、３次元特徴手段１１２にて上空画像から抽出された特徴データ３、及び地上画像から抽出された特徴データ４を読み込み、３次元特徴の照合により、撮影位置のずれを推定し、位置ずれ量４を出力するものである。
位置ずれ推定手段１１３は、まず、特徴データ３および特徴データ４の値を繰り返して照合する。照合において、一方の特徴データに対して、他方の特徴データを重ね合わせるべく、３軸の回転方向、３軸の並行移動方向、拡大縮小率をかけあわせ、もっとも照合結果がよい回転量、並行移動量、拡大縮小量を求め、その結果として位置ずれ量４を出力する。
照合とは、線分の方向が予め定めた一定距離以内で、一方の特徴データに含まれる線分と他方の特徴データに含まれる対応する線分の距離が、予め定めた一定距離以内の場合に照合できたとする。また、照合の優劣は、相互に照合できた線分区間の距離の和とする。
【００５５】
同一範囲推定手段１１４は、前段の処理において得た位置ずれ量４から得た情報を用いて、上空画像と地上画像とから夫々同じ領域範囲と推測した領域の画像を抽出し、夫々を部分画像データ３および部分画像データ４として出力するものであり、部分画像データ３および部分画像データ４は、画像データであり、夫々画像座標系による座標値に対応する輝度情報を記録している。輝度情報は多値であってもよい。
同一範囲推定手段１１４は、前段の処理において、線分が照合できた範囲を領域範囲として抽出し部分画像データ３、部分画像データ４として出力する。
例えば、仮にビルＡ，Ｂが隣接し、ビルＣ、Ｄが隣接している場合、上空画像と地上画像から抽出した特徴データが照合できた部分がＡとＢのエッジであり、Ｃ、Ｄのエッジは何らかの理由で照合できていなかったとする。この場合、Ａ、Ｂを包含する範囲を上空画像から抽出したものを部分画像データ３とて出力し、地上画像から抽出したものを部分画像データ４として出力する。このとき、部分画像データ３の地面を平面とみなし、平面を真上から見た画像として射影する。
【００５６】
周波数成分検出手段１０５ｅ、１０５ｆは、部分画像データ３または部分画像データ４をフーリエ変換して、位相成分を抽出して、夫々位相データ５、位相データ６として出力するものである。動作については実施の形態１の１０５ｂと対象画像、出力共に同様である。
位相データ５および位相データ６は、夫々部分画像データ３、部分画像データ４の位相データである。
【００５７】
位相照合手段１１５は、位相データ５と位相データ６とのペアを入力し、位置ずれ量５を求めて出力する手段である。
位置ずれ量５は、位置ずれ量を示す電子データである。位相データ５と位相データ６との位相データが、一方を基準とした場合に、他方がずれている量を、上下左右に画素数で示し、回転方向に角度で示したものである。
位相照合手段の動作自体は、実施の形態１の位相照合手段１０６と同様である。
合成表示手段１０７は、位置ずれ量５にあわせて一方の画像に回転および並行移動を加え、他方の画像と重ね合わせて表示する。このとき、一方の画像を透過色として、重なった結果を見やすいように表示する。
【００５８】
したがって、本実施の形態では、上空画像と地上画像について各々フーリエ変換を行う周波数成分検出手段１０５e、１０５ｆと、上空画像と地上画像の各々の区間の画素列を周波数変換後の周波数成分を照合することによって上空画像と地上画像との位置あわせをおこなう位相照合手段１１５を備えたことにより、上空画像と地上画像の画像からそれぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合をおこなうことができる。
【００５９】
また、上空画像と地上画像について各々フーリエ変換を行う前に、上空画像及び地上画像から各々エッジと座標系の座標値とを抽出して特徴データとして出力する３次元特徴抽出手段１１２と、上空画像及び地上画像からの各々の特徴データを用いて照合することにより、上空画像と地上画像との間の回転量、平行移動量、拡大縮小量からなる位置ずれ量を出力する位置ずれ推定手段１１３と、上空画像と地上画像との同じ領域範囲を推定して各々の同じ領域範囲の部分画像データを出力する同一範囲推定手段１１４とを備えたので、上空画像と地上画像とのおおおまかな位置あわせをおこなうことで、フーリエ変換後の異種画像と光学画像との位置あわせをより精度よく行うことができる。
【符号の説明】
【００６０】
１０１ 低反射領域抽出手段
１０２ 類似画素抽出手段
１０３ 位置ずれ推定手段
１０４ 同一範囲推定手段
１０５ａ 周波数成分検出手段
１０５ｂ 周波数成分検出手段
１０５ｃ 周波数成分検出手段
１０５ｄ 周波数成分検出手段
１０５ｅ 周波数成分検出手段
１０５ｆ 周波数成分検出手段
１０６ 位相照合手段
１０７ 合成表示手段
１１０ 遠近パターン抽出手段
１１１ 位相照合手段
１１２ ３次元特徴抽出手段
１１３ 位置ずれ推定手段
１１４ 同一範囲推定手段
１１５ 位相照合手段
【技術分野】
【０００１】
本発明は、フーリエ変換を用いた画像照合装置または画像照合方法に関するものである。
【背景技術】
【０００２】
２枚の画像からそれぞれ特徴点を抽出し、そして、特徴点同士の位置関係が同じとなるように、２枚の画像を重ね合わせる技術が開示されている。（非特許文献１）。
【０００３】
また、２枚の画像から、特徴領域を抽出する。1方の画像を回転、並行移動してもう1方の画像へ重ねた場合に、特徴領域が重なるような回転量、並行移動量を求めている技術が開示されている（非特許文献２）
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｕｓｉｎｇ ＲＳＴ−Ｃｌｕｓｔｅｒｉｎｇ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ
【非特許文献２】ＲＥＧＩＳＴＲＡＴＩＯＮ ＯＦ ＨＩＧＨ ＲＥＳＯＬＵＴＩＯＮ ＳＡＲ ＡＮＤ ＯＰＴＩＣＡＬ ＳＡＴＥＬＬＩＴＥ ＩＭＡＧＥＲＹ ＩＮ ＵＲＢＡＮ ＡＲＥＡＳ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように、二つの画像の特徴点を抽出し、回転や平行移動を用いて特徴領域を重ね合わせることで照合する技術には以下の問題点がある。
（１）異種画像において、特徴点やエッジが不明確な画像の課題
一般に、ＳＡＲ画像は電波を反射し易い構造物を高輝度にて表現している特徴がある。これにより、ＳＡＲ画像と光学画像は見た目が異なり抽出する特徴が異なる。したがってレーダ画像には、光学画像に映っている地形や地物のエッジが鮮明に表現されないので、特徴点や特徴エッジを検出できない。このため、レーダ画像と光学画像とを照合できない。
（２）撮影位置が異なる地上撮影画像による課題
全方位カメラを用いて撮影した撮影地点の異なる２枚の画像を照合する場合、２枚の写真に同じ対象物が映っていた場合であっても、撮影地点から対象物の距離の違いや、撮影地点から対象物の方向の差異により、夫々の画像に写る対象物の位置や大きさが異なるため、２枚の画像の照合は困難であった。
（３）撮影位置が上空と地上の違いによる課題
２枚の同種画像の照合を実施する場合、２枚の画像の撮影視点位置、撮影方向が異なる場合、見た目が著しく異なり、画像中の特徴点を照合できずに、画像を重ね合わせることができない課題がある。見た目の異なる例としては、高さのある建物を撮影した航空写真が２枚あった場合、東側上空から撮影した像と西側上空から撮影した像では、建物側面の映る面が異なるため、それぞれの画像から抽出できる特徴点が異なる。
また、上空から地表を撮影した画像と、地上から撮影した画像とも、景観が大きく異なるため、従来手法による画像の重ね合わせは困難である。
【０００６】
この発明は上記のような問題点のうちの少なくともいずれかを解決するためのもので、特徴点やエッジが明確に検出できない場合であっても画像の照合をおこなうことを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、２枚の異なる画像について各々フーリエ変換を行う周波数成分検出手段と、２枚の異なる画像についての各々の区間の画素列を周波数変換後の周波数成分を照合することによって位置あわせをおこなう位相照合手段を備えたものである。
【発明の効果】
【０００８】
本発明によれば、２枚の異なる画像について各々フーリエ変換を行う周波数成分検出手段と、２枚の異なる画像についての各々の区間の画素列を周波数変換後の周波数成分を照合することによって位置あわせをおこなう位相照合手段を備えたことにより、２枚の異なる画像のおも濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合をおこなうことができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１における画像照合装置を示す構成図。
【図２】実施の形態１における周波数成分検出手段１０５ａ、１０５ｂが行う部分画像データ１および部分データ画像２の画素列に対するフーリエ変換を行う範囲設定を説明する図。
【図３】実施の形態１における図２の左側の部分画像データ１のＡＢ間の一つの画素列と右側の部分画像データ２のＣＤ間の一つの画素列を各々フーリエ変換し周波数成分にて示した図。
【図４】実施の形態２における画像照合装置を示す構成図。
【図５】遠近パターン抽出手段１１０が生成した撮影位置を擬似的に拡大縮小した画像の拡大例。
【図６】実施の形態２におけるパノラマ画像に対する位相照合手段１１１の他の動作例について説明図である。
【図７】実施の形態３における画像照合装置を示す構成図。
【発明を実施するための形態】
【００１０】
実施の形態１．
実施の形態１では、特に異なる種類の画像の位置照合について説明する。
【００１１】
図１は、実施の形態１における画像照合装置を示す構成図である。
【００１２】
図１において、光学画像とは、航空機から地上をカメラにて撮影した画像のデータである。画像における座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
【００１３】
図１において、異種画像とは、航空機から光学カメラと異なる手段により、地上を撮影した写真のデータである。例えば、合成開口レーダや赤外線カメラにより地上を観測した画像（ＳＡＲ画像等）である。画像における座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
【００１４】
低反射領域抽出手段１０１は、異種画像を読み込み、輝度の小さい値が連結している領域を特徴領域とみなして、この領域範囲を特徴データ１として出力する。
類似画素抽出手段１０２は、光学画像を読み込み、画素値の近い値が連結している領域を特徴領域とみなして、この領域範囲を特徴データ２として出力する。
特徴データ１および特徴データ２は、抽出した特徴データの領域範囲を示すデータである．具体例として、画像座標系の座標値の集合により、特徴データの範囲を示す。また、特徴データは一つの画像に対して、複数の特徴データが抽出されてもよい。
【００１５】
位置ずれ推定手段１０３は、異種画像から抽出した特徴データ１および、光学画像から抽出した特徴データ２から各々の画像のおおまかな位置ずれ量を求め、位置ずれ量１として出力する。
位置ずれ量１は、各々の画像の位置ずれ量を示す値である。一方の画像の画像座標系を基準として、他方の画像の画像座標系を縦、横、にそれぞれ何画素分ずらすと、または何度分回転する、と画像が一致するか、を記録するためのデータである。
回転に関しては、回転させる画像の画像座標系の原点を中心とした回転とする。また、回転角度と縦横の画素数が両方記録されている場合、画像座標系を縦、横に併進した後、回転させる順とする。
【００１６】
同一範囲推定手段１０４は、位置ずれ量１から得た情報を用いて、異種画像と光学画像とから夫々同じ領域範囲と推測した領域の画像を抽出し、夫々を部分画像データ１および部分画像データ２を出力する。
部分画像データ１および部分画像データ２は、画像データであり、夫々画像座標系による座標値に対応する輝度情報を記録している。輝度情報は多値であってもよい。
【００１７】
周波数成分検出手段１０５ａは、部分画像データ１をフーリエ変換して、位相成分を抽出して、位相データ１として出力する。
周波数成分検出手段１０５ｂは、部分画像データ２をフーリエ変換して、位相成分を抽出して、位相データ２として出力する。
【００１８】
位相照合手段１０６は、位相データ１及び位相データ２を入力し、位置ずれ量２を求めて出力する。
位置ずれ量２は、位置ずれ量を示す電子データである。位相データ１及び位相データ２が、一方を基準とした場合に、他方がずれている量を、上下左右に画素数で示し、回転方向に角度で示されたものである。
【００１９】
次に、各手段の動作の詳細を中心に述べる。
低反射領域抽出手段１０１は、入力画像である異種画像の画素値を読み出し、例えば異種画像がＳＡＲ画像の場合は電波を反射し易い構造物を高輝度にて表現している特徴があるので、それを除くべく、画素値が一定閾値以下の画像値である画素を画像座標系の座標値を用いて開始点（Ｘｓ，Ｙｓ）と示し、ユニークなグループ番号を付けて座標値を記録する。開始点（Ｘｓ，Ｙｓ）に対し、の近傍点の座標値を
（Ｘｓ−１、Ｙｓ＋１）、（Ｘｓ、Ｙｓ＋１）、（Ｘｓ＋１、Ｙｓ＋１）、
（Ｘｓ−１、Ｙｓ） （Ｘｓ＋１、Ｙｓ）
（Ｘｓ−１、Ｙｓ−１）、（Ｘｓ，Ｙｓ−１）、（Ｘｓ＋１、Ｙｓ−１）
としたとする。
【００２０】
近傍点の画素値が、同じく一定閾値以下であり、かつ近傍点の画素値と開始点の画素値との差分が一定閾値以下である場合、新しく、近傍点は同じグループに属するとみなし、この点を新しい開始点として座標値をグループ番号と共に記録し、新たに記録する座標値がなくなるまで、上記画素値の比較を繰り返す。
上記繰り返し処理を例えば画素値が一定以下である複数の開始点から開始して、画像において、低反射領域の中の特徴データ１を構成する特徴領域を決定する。そして、複数のグループ番号とその座標値からなる集合を特徴データ１となる。
【００２１】
次に、類似画素抽出手段１０２は、入力画像である光学画像の画素値を読み出し、低反射領域抽出手段１０１で行った場合と同様に、画像座標系の座標値を用いて開始点（Ｘｓ，Ｙｓ）として、ユニークなグループ番号を付けて座標値を記録する。座標の定義についても低反射領域抽出手段１０１の場合と同じである。
近傍点の画素値と開始点の画素値との差分が一定閾値以下である場合、新しく、近傍点が同じグループに属するとみなし、この点を新しい開始点として座標値をグループ番号と共に記録し、新たに記録する座標値がなくなるまで、上記画素値の比較を繰り返す。
上記繰り返し処理を例えばグループに属さない全ての画素を開始点として開始して、画像において、特徴データ２を構成する類似画素のグループを決定する。そして、複数のグループ番号と座標値からなる集合を特徴データ２とする。
【００２２】
位置ずれ推定手段１０３は、低反射領域抽出手段１０１の出力である特徴データ１と、類似画素抽出手段１０２の出力である特徴データ２とから、画像上で同じ大きさ、同じ形状となる特徴データを探索する。
手順としてはまず、画像上の同じ大きさとなる特徴データを探索する。
位置ずれ推定手段１０３は、特徴データ１から、座標値を多く含む、すなわち大きい領域を有するグループ順にグループを選択する。
次に、位置ずれ推定手段１０３は、特徴データ１から、選択したグループを領域Ｇ１と定義する。
さらに、定義した領域Ｇ１に含まれる座標値の数をＮ（Ｎは自然数）とした場合、位置ずれ推定手段１０３は、特徴データ２から、グループに含まれる座標の数がＮに近い順番にグループを選択する。特徴データ２から、選択したグループを領域Ｇ２と定義する。
そして、次に、同じ形状となる特徴データを特定する。
まず、位置ずれ推定手段１０３は、所定の画像領域を白とし、領域Ｇ１に属する座標値の点だけを黒くする。この領域をＩ１と定義する。
次に、位置ずれ推定手段１０３は、別の所定の画像領域を白とし、領域Ｇ２に属する座標値の点だけを黒くする。この領域をＩ２と定義する。
そして、位置ずれ推定手段１０３は、領域Ｉ１もしくは領域Ｉ２の一方を固定した上で、他方の画素を縦横方向にずらし、また更に回転をかけて重ねあわせ、相互情報量が最も大きくなくなる重なり量、回転量を求める。
【００２３】
このとき、領域Ｇ１、領域Ｇ２の組は１組である必要はなく、特徴データ２から、複数のグループを選択して領域Ｇ２と再定義してから重なり量、回転量を求めて評価してもよい。
また、特徴データ１から抽出した複数のグループ、領域に属する座標から領域Ｉ１に相当する画像を作成し、特徴データ１から抽出した夫々のグループに対して、含まれる座標数が近いグループを特徴データ２から抽出したうえで、特徴データ１から抽出した複数のグループに属する座標から領域I２に相当する画像を作成して領域Ｉ１と領域Ｉ２の相互情報量が最大となる重なり幅を見つけてもよい。
上記手法により、例えばレーダ画像に含まれる低画素値の大きな領域と。光学画像に含まれる例えば運動場を上空から撮影した場合に見られる均一の色の領域の重なりが一致するように異種画像と光学画像のずれ方向を検知可能である。
位置ずれ推定手段１０３は、検知した位置ずれを縦、横、の画素数および、回転角度を決定し、出力する。位置ずれ量１は、一組の特徴データに対して一つに決める必要も無く、複数の値を決定し、出力してもよい。
【００２４】
同一範囲推定手段１０４は、夫々の画像（異種画像、光学画像）から、周波数成分により比較が可能な部分領域を抽出する処理を行う。
はじめに、位置ずれ推定手段１０３の出力である位置ずれ量１の並行移動、回転角度にあわせて、例えば光学画像の画像座標系に並行移動と回転を加えた新たな画像座標系にて、光学画像の画素値を表すことで大まかな位置合わせを行う。この画像を変換画像と表現する。
【００２５】
次に、同一範囲推定手段１０４は、異種画像および、変換画像に対して、例えばｓｏｂｅｌフィルタを用いて、ぞれぞれの画像からエッジ抽出を行う、このエッジの抽出においては、抽出するエッジの方向を縦横の２方向とせず、自由に３６０度に対して、例えば３６０の方向に対してエッジ抽出を行い、各々のエッジ画像を生成する。
異種画像および変換画像についての、画像のエッジ抽出結果であるエッジ画像から、一定の閾値長さ以上のエッジの本数が最も大きい方向をそれぞれの画像に対して選択する。
そして、各々のエッジ画像から、一定の閾値以上のエッジだけを残して他のエッジを消去したフィルタリングされたエッジ画像を生成する。
【００２６】
次に、同一範囲推定手段１０４は、各々のそれぞれのフィルタリングされたエッジ画像に示されたエッジ群に対して、外接長方形範囲を設定する。
さらに各々のフィルタリングされたエッジ画像に設定された外接長方形範囲をお互い重複させて、各々のフィルタリングされたエッジ画像の範囲を、お互いの画像が重複する範囲だけに限定する。
このようにして得られた、それぞれの限定された範囲の各々のフィルタリングされたエッジ画像について、異種画像側から生成された方を部分画像データ１、光学画像側から生成された方を部分画像データ２とする。それぞれの部分画像データには、比較する特徴となるエッジが含まれている。
尚、異種画像側から生成された部分画像データ１、光学画像側から生成された部分画像データ２については、限定された範囲の各々のフィルタリングされたエッジ画像ではなく、その限定された範囲の異種画像および光学画像そのものでもよい。
【００２７】
次に、周波数成分検出手段１０５ａ、１０５ｂの動作について詳細説明する。
部分画像データ１および部分データ画像２の画素列に対して、それぞれ１次元フーリエ変換をかける。
図２は、実施の形態１における周波数成分検出手段１０５ａ、１０５ｂが行う部分画像データ１および部分データ画像２の画素列に対するフーリエ変換を行う範囲設定を説明する図である。
画素列の方向は、例えば画像横方向を０度として１７９度までで、一度ずつ１８０方向とする。画素列の範囲は、画像全体としてもよいし、一定の範囲としてもよい。一定の範囲とする場合には、画像の中心を通りフーリエ変換の方向に直行する線を中心線として、その中心線からの距離が同一となる画素列範囲とする。
図２の左側の場合、画素列の範囲は画素列１，２，３・・Ｎ（Ｎは自然数）の中のＡとＢの間である。右側の場合、画素列の範囲は画素列１，２，３・・Ｎの中のＣとＤの間である。これらの範囲は、上記部分画像をそれぞれ全体に包含する範囲であってもよい。
図２において、周波数成分検出手段１０５ａは、左側の１、２、３の画素列のフーリエ変換を行うともに、周波数成分検出手段１０５ｂは、図２右側の１，２、３の画素列のフーリエ変換を行う。結果については後述する位相照合処理にて照合する。
【００２８】
図３は図２の左側の部分画像データ１のＡＢ間の一つの画素列と右側の部分画像データ２のＣＤ間の一つの画素列を各々フーリエ変換し周波数成分にて示した図である。
画素列をフーリエ変換した例をしめす。
図３の左側は図２の左側の区間ＡＢの間の画素列１、２、３・・Ｎのうちの一つをフーリエ変換し、横軸を画素列番号、縦軸を次数、画素の輝度が周波数成分の強度を示す。
図３の右側は図２の右側の区間ＣＤの間の画素列１、２、３・・Ｎのうちの一つをフーリエ変換し、横軸を画素列番号、縦軸を次数、画素の輝度が周波数成分の強度を示す。
このように、周波数成分検出手段１０５ａ、１０５ｂは、区間、角度に対して画素の画素列番号、次数、周波数成分強度の組からなる位相データを出力する。
【００２９】
次に、位相照合手段１０６の動作について詳細説明する。
図３に示す２枚のグラフ画像を、横軸をずらしながら、照合し、グラフが重なる部分の画素値の相関が最も高くなる横軸方向のずらし量を求める。よって、フーリエ変換を行って周波数成分にて照合することで、異種画像と光学画像の画像からそれぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合が可能となる。
【００３０】
また、２枚のグラフの相関を求める際に、画素値を用いて上記のように相関係数を算出してもよいが、以下のように相関を求める手法を設定してもよい。
図３の２枚のグラフ画像を生成する時点で、各々予め閾値を設定し、フーリエ変換結果の輝度値が閾値を超えた画素を白とし、輝度値が閾値を超えない画素を黒とする。
次に、図３の２枚のグラフ画像から、夫々のグラフ画像の座標系の座標値が一致する点の色を読み出し、２枚のグラフ画像の全ての画素のうち、夫々のグラフ画像の同じ座標の画素の色が同時に白となる画素の数を数える。この数が多い程、相関が高いとみなすこととする。
２枚のグラフ画像のうち、一方のグラフから読み出す画素の座標を横方向に一定値（例えばＭ）ずらした場合、同様にグラフ画像の全ての画素のうち、２枚のグラフ画像から常に横方向に一定値（例えばＭ）ずらした座標の画素の色が同時に白となる画素の数を数える。
Ｍを０から画像の横幅の画素の数だけ変化させて、最も相関の高くなるＭを位置ずれ量とみなす。
【００３１】
また、位相照合手段１０６では、図２のθの値、画素列１、２、３・・Ｎ、図２における画素列幅を示すＡ−Ｂ、Ｃ−Ｄの区間を予め定めた範囲内で任意に変化させて各々フーリエ変換した後、照合してもよい。この場合、２枚のグラフの相関が高くなるθ、画素列と区間の位置、上記横軸方向のずれ量の組み合わせによって、異種画像と光学画像とが重なると判断し、異種画像と光学画像との相関が高くなったθ、画素列と区間の位置、に基づいて位置ずれ量２を出力する。
【００３２】
最後に、合成表示手段１０７の動作について説明する。
合成表示手段１０７は、位置ずれ量２にあわせて一方の画像に回転および並行移動を加え、他方の画像と重ね合わせて表示する。このとき、一方の画像を透過色として、重なった結果を見やすいように表示する。
【００３３】
したがって、本実施の形態では、異種画像と光学画像について各々フーリエ変換を行う周波数成分検出手段１０５ａ、１０５ｂと、異種画像と光学画像の各々の区間の画素列を周波数変換後の周波数成分を照合することによって異種画像と光学画像との位置あわせをおこなう位相照合手段１０６を備えたことにより、異種画像と光学画像の画像からそれぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合をおこなうことができる。
【００３４】
また、異種画像と光学画像について各々フーリエ変換を行う前に、異種画像における、所定の閾値以下の画素のみを抽出する低反射領域抽出手段１０１と、光学画像における隣接する画素値の差分が所定の閾値以下となる画素のみを抽出する類似画素抽出手段１０２を備え、各々抽出するので、フーリエ変換後の異種画像と光学画像との位置あわせをより精度よく行うことができる。
【００３５】
さらに、異種画像と光学画像について各々フーリエ変換を行う前に、低反射領域抽出手段１０１が出力した特徴データ１と、類似画素抽出手段１０２が出力した特徴データ２とを用いて相互情報量が最大となる位置ずれ量を決定し出力する位置ずれ量推定手段１０３を備えたので、あらかじめ位置ずれ量を推定することができる。
【００３６】
さらに、異種画像と光学画像について各々フーリエ変換を行う前に、異種画像および、光学画像に対して、ぞれぞれの画像からエッジ抽出を行い、各々の部分画像データを出力する同一範囲推定手段１０４を備えたことで、あらかじめフーリエ変換する画素の対象を限定し、計算量を少なくすることができる。
【００３７】
実施の形態２．
実施の形態１では異なる波長を用いた画像について照合装置について説明したが、実施の形態２においては、撮影位置が異なる地上撮影画像についての照合方法とその装置について説明する。
図４は、実施の形態２における画像照合装置を示す構成図である。実施の形態１とは、特に低反射領域抽出手段１０１と、類似画素抽出手段１０２との代わりに遠近パターン抽出手段１１０が備わっており、差異部分を中心に説明する。
【００３８】
図４の右上に位置する画像とは、航空機または地上をカメラにて撮影した画像のデータである。画像における座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
図４の左上に位置する異地点撮影画像とは、上記画像を異なる地点から撮影したものである。上記画像と同様に、画像座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
【００３９】
遠近パターン抽出手段１１０について詳細に説明する。
遠近パターン抽出手段１１０は、撮影地点の異なる２枚の画像を照合する場合、２枚の写真に同じ対象物が映っていた場合であっても、撮影地点から対象物の距離の違いや、撮影地点から対象物の方向の差異により、夫々の画像に写る対象物の位置や大きさが異なるものを画像の拡大縮小等によって補正するためのものである。
【００４０】
遠近パターン抽出手段１１０の動作について説明する。
画像および、異地点撮影画像として、地上において水平に撮影したパノラマ画像を例とする。このパノラマ画像の画像座標系は、横軸が方位を示し、縦軸が撮影地点からのピッチ角度を示す。
遠近パターン抽出手段１１０は、画像および異地点撮影画像を読み込み、画像の撮影地点を、異地点撮影画像の撮影地点に合わせるように異なる画像として擬似的に変換する手段である。遠近パターン抽出手段の出力は、遠近部分画像データ１、と遠近部分画像データ２とする。
【００４１】
具体的には、遠近パターン抽出手段１１０は、画像の縦方向の画像の拡大縮小により、異地点撮影画像の撮影地点にあわせるよう、擬似的に縦方向の画像の拡大縮小をした画像を生成する。
図５は、遠近パターン抽出手段１１０が生成した撮影位置を擬似的に拡大縮小した画像の拡大例を示す。
【００４２】
図５の左側の拡大前の画像において、画像座標系の区間Ａを、異地点撮影画像の撮影地点に合わせるように図５の右側の拡大後の画像における画像座標系区間Ｂに拡大している。このとき、水平に撮影したパノラマ画像を対象とする場合、水平方向（ピッチ角０度）が画像座標系の縦軸上の同じ位置に来るように拡大、縮小を実施する。
これは、パノラマ画像でない場合においても同様に、撮影位置が異なっても同じピッチ角度が写る場合や、同じ方位が写る場合において、同ピッチまたは同方位が拡大前後で画像座標系の同じ位置に来るように拡大、または縮小する。拡大、縮小率は、予め設定した複数の値を使用する。
【００４３】
遠近パターン抽出手段１１０は、拡大、または縮小した画像から、部分画像を切り出す。図６の場合、切り出す範囲を方位範囲Ｃとしている。
撮影位置の異なる画像または、撮影位置の異なる画像を拡大または縮小した画像から部分画像を切り出す場合、比較が可能なように、同じ方位範囲を切り出す。
尚、縮小により縦方向に画像値の無い領域がある場合は、比較する２枚の画像の両方に画素値のある領域範囲を切り出すこととする。
遠近パターン抽出手段１１０は、切り出した部分画像を遠近部分画像データ１または、遠近部分画像データ２として、拡大、縮小、方位範囲のデータともに出力する。
【００４４】
周波数成分検出手段１０５ｃは、遠近部分画像データ１をフーリエ変換して、位相成分を抽出して、位相データ３として出力する。
周波数成分検出手段１０５ｄは、遠近部分画像データ２をフーリエ変換して、位相成分を抽出して、位相データ４として出力する。
次に、周波数成分検出手段１０５ｃ、１０５ｄの動作については、実施の形態１と同様である。すなわち、遠近部分画像データ１または遠近部分データ画像２の画素列に対して、それぞれ１次元フーリエ変換をかける。画素列の方向は図５の場合、画像座標系の縦軸方向とする。画素列の範囲は、遠近部分画像データの幅とする。一定の範囲としてもよい。
画素列の範囲を一定の範囲とする場合には、実施の形態１の場合と同様に、画像の中心を通りフーリエ変換の方向に直行する線を中心として、その中心の点からの距離が同一となる画素列範囲とする。
【００４５】
周波数成分検出手段１０５ｃ、１０５ｄから得られた位相データ３，４は、例えば、実施の形態１における図３に示すような縦に次数、画素の輝度が周波数成分の強度の関係示すという意味で、実施の形態１における位相データ１，２と同じである。
【００４６】
次に、位相照合手段１１１は、位相データ３，４より、位置ずれ量３を求めて出力する。
実施の形態１と同様、位相照合手段１０６は、横軸をずらしながら、２枚の遠近部分画像データから生成した位相データ３，４であるフーリエ画像を照合する。
照合とはフーリエ画像が重なる部分の画素値の相関が最も高くなる遠近部分データ１と遠近部分データ２とのペアを求めることである。よって、フーリエ変換を行って周波数成分にて照合することで、それぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合が可能となる。
元々、パノラマ画像の画像と異地点撮影画像との対比のため、遠近部分データ１、遠近部分データ２の切り出し範囲から、方位の差を検出できるとともに、遠近部分データ１、遠近部分データ２の倍率の違いから、被写体との距離の比が得られる。
よって照合して得られた位相データ３，４の基となった遠近部分データ１、遠近部分データ２に基づいて方位の差と距離の比（少なくともどちらの撮影地点が被写体に近いか）を位置ずれ量３として出力する。
【００４７】
パノラマ画像に対する位相照合手段１１１の他の動作例について説明する。
位相データ３，４であるフーリエ画像の各画素について、ある画素とその近傍との画素値の変化（勾配）を求め、各画像座標に対して、勾配方向（ベクトル）を計算して記録する。
そして、１枚目のグラフ画像（フーリエ画像）の特定範囲、例えば画像座標系横方向に３０画素、縦方向に１００画素範囲の勾配値を抽出し、もう１枚のグラフ画像（フーリエ画像）の勾配のうち、同じ大きさ範囲における勾配の差異が、最も少なくなる範囲を求める。
次に、１枚目のグラフ画像（フーリエ画像）の特定範囲を例えば３０画素ずらし、２枚目のグラフと最も勾配が少なくなる範囲を求める。
図６は、実施の形態２におけるパノラマ画像に対する位相照合手段１１１の他の動作例について説明図である。
図６のように、２枚のグラフ画像の同じ大きさ範囲における勾配の差異が、最も少なくなる範囲の算出を複数回繰り返した結果、上記Ａ，Ｂ，Ｃ，Ｄの領域が対応ついた場合とする。
１枚目のグラフのＢの方位に写る画像が、２枚目のグラフのＢ’の方位と同じ方向に写る画像であることを示している。Ｂ’の左右の領域（Ａ、Ｃ）はＢの領域と重なりがあり、１８０度反対方向であるＤ’の地点では、１枚目の領域を対応付けた範囲にて対応領域に隙間がある。このことから、１枚目の領域においてＢの方位に撮影地点をずらした後に２枚目の画像を撮影したことがわかる。
【００４８】
合成表示手段１０７は、実施の形態１と同様に位置ずれ量３にあわせて一方の画像に回転および並行移動を加え、他方の画像と重ね合わせて表示する。このとき、一方の画像を透過色として、重なった結果を見やすいように表示する。
【００４９】
したがって、本実施の形態では、画像と異地点撮影画像について各々フーリエ変換を行う周波数成分検出手段１０５ｃ、１０５ｄと、画像と異地点撮影画像の各々の区間の画素列を周波数変換後の周波数成分を照合することによって画像と異地点撮影画像との位置あわせをおこなう位相照合手段１１１を備えたことにより、画像と異地点撮影画像の画像からそれぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合をおこなうことができる。
よって撮影地点の異なる全方位画像の照合なども可能となる。
【００５０】
また、画像と異地点撮影画像について各々フーリエ変換を行う前に、一方画像について他方の撮影地点にあわせるよう、拡大縮小して各々部分画像データを出力する遠近パターン抽出手段１１０と、各々部分画像データを用いてフーリエ変換を行うようにしたので、上空画像と地上画像とのおおおまかな位置あわせをおこなうことで、画像と異地点撮影画像との位置あわせをより精度よく行うことができる。
【００５１】
実施の形態３
実施の形態３においては、上空画像と地上画像についてフーリエ変換後の周波数成分を用いて照合する例について説明する。
図７は、実施の形態３における画像照合装置を示す構成図である。
【００５２】
上空画像とは、航空機から地上をカメラにて撮影した画像のデータである。画像における座標系により、画素を表現し、画素毎に輝度情報を数値データで記録している。画素は多値であってもよく多値の場合は、例えば画素毎に赤、緑、青の明るさの値を有している。
地上画像とは、地上から景観を撮影した画像であり上記上空画像とは視点が異なるのみである。
【００５３】
３次元特徴抽出手段１１２の動作について説明する。
まず、上空画像においては、エッジ抽出を実施し、直線線分だけを抽出する。
撮影位置の近い２枚の上空画像から、ステレオ視の原理により、直線成分の地表面上の２次元位置を求めて地表面の直交する２軸方向、地表面からの鉛直方向からなる座標系にて表現する。これを特徴データ３とする。
次に、地上画像について、天候のよい昼間の場合、明度が一定以上の画素値を０にすることで、画像における空の部分だけ画素値が０になる。次に、エッジ抽出をかけ、空と接する直線を抽出する。撮影するカメラの座標系が既知である場合、撮影位置の近い２枚の地上画像から、地面と並行なエッジを抽出する。エッジを、撮影位置を原点とし、撮影方向および撮影方向と直行する方向の２軸からなる座標系の座標値で表現する。これを特徴データ４とする。
【００５４】
次に、位置ずれ推定手段１１３の動作について説明する。
位置ずれ推定手段１１３の役割は、３次元特徴手段１１２にて上空画像から抽出された特徴データ３、及び地上画像から抽出された特徴データ４を読み込み、３次元特徴の照合により、撮影位置のずれを推定し、位置ずれ量４を出力するものである。
位置ずれ推定手段１１３は、まず、特徴データ３および特徴データ４の値を繰り返して照合する。照合において、一方の特徴データに対して、他方の特徴データを重ね合わせるべく、３軸の回転方向、３軸の並行移動方向、拡大縮小率をかけあわせ、もっとも照合結果がよい回転量、並行移動量、拡大縮小量を求め、その結果として位置ずれ量４を出力する。
照合とは、線分の方向が予め定めた一定距離以内で、一方の特徴データに含まれる線分と他方の特徴データに含まれる対応する線分の距離が、予め定めた一定距離以内の場合に照合できたとする。また、照合の優劣は、相互に照合できた線分区間の距離の和とする。
【００５５】
同一範囲推定手段１１４は、前段の処理において得た位置ずれ量４から得た情報を用いて、上空画像と地上画像とから夫々同じ領域範囲と推測した領域の画像を抽出し、夫々を部分画像データ３および部分画像データ４として出力するものであり、部分画像データ３および部分画像データ４は、画像データであり、夫々画像座標系による座標値に対応する輝度情報を記録している。輝度情報は多値であってもよい。
同一範囲推定手段１１４は、前段の処理において、線分が照合できた範囲を領域範囲として抽出し部分画像データ３、部分画像データ４として出力する。
例えば、仮にビルＡ，Ｂが隣接し、ビルＣ、Ｄが隣接している場合、上空画像と地上画像から抽出した特徴データが照合できた部分がＡとＢのエッジであり、Ｃ、Ｄのエッジは何らかの理由で照合できていなかったとする。この場合、Ａ、Ｂを包含する範囲を上空画像から抽出したものを部分画像データ３とて出力し、地上画像から抽出したものを部分画像データ４として出力する。このとき、部分画像データ３の地面を平面とみなし、平面を真上から見た画像として射影する。
【００５６】
周波数成分検出手段１０５ｅ、１０５ｆは、部分画像データ３または部分画像データ４をフーリエ変換して、位相成分を抽出して、夫々位相データ５、位相データ６として出力するものである。動作については実施の形態１の１０５ｂと対象画像、出力共に同様である。
位相データ５および位相データ６は、夫々部分画像データ３、部分画像データ４の位相データである。
【００５７】
位相照合手段１１５は、位相データ５と位相データ６とのペアを入力し、位置ずれ量５を求めて出力する手段である。
位置ずれ量５は、位置ずれ量を示す電子データである。位相データ５と位相データ６との位相データが、一方を基準とした場合に、他方がずれている量を、上下左右に画素数で示し、回転方向に角度で示したものである。
位相照合手段の動作自体は、実施の形態１の位相照合手段１０６と同様である。
合成表示手段１０７は、位置ずれ量５にあわせて一方の画像に回転および並行移動を加え、他方の画像と重ね合わせて表示する。このとき、一方の画像を透過色として、重なった結果を見やすいように表示する。
【００５８】
したがって、本実施の形態では、上空画像と地上画像について各々フーリエ変換を行う周波数成分検出手段１０５e、１０５ｆと、上空画像と地上画像の各々の区間の画素列を周波数変換後の周波数成分を照合することによって上空画像と地上画像との位置あわせをおこなう位相照合手段１１５を備えたことにより、上空画像と地上画像の画像からそれぞれ濃淡の繰り返しや密度変化を、フーリエ変換により数値データ化し、この数値データを比較して照合を実施するので、特徴点やエッジが明確に検出できない場合であっても、画像の照合をおこなうことができる。
【００５９】
また、上空画像と地上画像について各々フーリエ変換を行う前に、上空画像及び地上画像から各々エッジと座標系の座標値とを抽出して特徴データとして出力する３次元特徴抽出手段１１２と、上空画像及び地上画像からの各々の特徴データを用いて照合することにより、上空画像と地上画像との間の回転量、平行移動量、拡大縮小量からなる位置ずれ量を出力する位置ずれ推定手段１１３と、上空画像と地上画像との同じ領域範囲を推定して各々の同じ領域範囲の部分画像データを出力する同一範囲推定手段１１４とを備えたので、上空画像と地上画像とのおおおまかな位置あわせをおこなうことで、フーリエ変換後の異種画像と光学画像との位置あわせをより精度よく行うことができる。
【符号の説明】
【００６０】
１０１ 低反射領域抽出手段
１０２ 類似画素抽出手段
１０３ 位置ずれ推定手段
１０４ 同一範囲推定手段
１０５ａ 周波数成分検出手段
１０５ｂ 周波数成分検出手段
１０５ｃ 周波数成分検出手段
１０５ｄ 周波数成分検出手段
１０５ｅ 周波数成分検出手段
１０５ｆ 周波数成分検出手段
１０６ 位相照合手段
１０７ 合成表示手段
１１０ 遠近パターン抽出手段
１１１ 位相照合手段
１１２ ３次元特徴抽出手段
１１３ 位置ずれ推定手段
１１４ 同一範囲推定手段
１１５ 位相照合手段
【特許請求の範囲】
【請求項１】
２枚の異なる画像について各々フーリエ変換を行う周波数成分検出手段と、
前記２枚の異なる画像についての各々の区間の画素列を周波数変換後の周波数成分を照合することによって位置あわせをおこなう位相照合手段、
を備えたことを特徴とする画像照合装置。
【請求項２】
前記２枚の異なる画像が異種画像と光学画像であって、
前記異種画像における、所定の閾値以下の画素のみを抽出する低反射領域抽出手段と、
前記光学画像における隣接する画素値の差分が所定の閾値以下となる画素のみを抽出する類似画素抽出手段１０２とを、
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項１に記載の画像照合装置。
【請求項３】
前記低反射領域抽出手段が出力した特徴データと、前記類似画素抽出手段が出力した特徴データと、を用いて相互情報量が最大となる位置ずれ量を決定し出力する位置ずれ量推定手段を、
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項２に記載の画像照合装置。
【請求項４】
前記異種画像および、前記光学画像に対して、ぞれぞれの画像からエッジ抽出を行い、各々の部分画像データを出力する同一範囲推定手段１０４を
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項３に記載の画像照合装置。
【請求項５】
前記２枚の異なる画像が画像と異地点撮影画像であって、
一方画像について他方の撮影地点にあわせるよう、拡大縮小して各々部分画像データを出力する遠近パターン抽出手段を、
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項１乃至４に記載の画像照合装置。
【請求項６】
前記２枚の異なる画像が上空画像と地上画像であって、
前記上空画像及び前記地上画像から各々エッジと座標系の座標値とを抽出して特徴データとして出力する３次元特徴抽出手段と、前記上空画像及び前記地上画像からの各々の特徴データを用いて照合することにより、前記上空画像と前記地上画像との間の回転量、平行移動量、拡大縮小量からなる位置ずれ量を出力する位置ずれ推定手段と、前記上空画像と前記地上画像との同じ領域範囲を推定して各々の同じ領域範囲の部分画像データを出力する同一範囲推定手段とを、
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項１乃至５に記載の画像照合装置。
【請求項７】
位相照合手段は、各々フーリエ変換することによって得られた各々のグラフ画像について前記各々のグラフ画像の画素値の相関が最も高くなる横軸のずらし量を求めることによって位置ずれ量を出力することを特徴とする請求項１乃至６に記載の画像照合装置。
【請求項８】
位相照合手段は、各々フーリエ変換することによって得られた各々のグラフ画像について周波数成分の強度に相当する輝度値が所定の閾値の上下によって前記グラフ画像を白または黒で示し、前記各々のグラフ画像の画素値の相関が最も高くなる横軸のずらし量を求めることによって位置ずれ量を出力することを特徴とする請求項１乃至６に記載の画像照合装置。
【請求項９】
位相照合手段は、各々フーリエ変換することによって得られた各々のグラフ画像について一方の前記グラフ画像の所定範囲の画像の周波数成分の強度に相当する輝度値の勾配を求め、他方の前記グラフ画像の前記所定範囲の画像の周波数成分の強度に相当する輝度値の勾配との相関が最も高くなる横軸のずらし量を求めることによって位置ずれ量を出力することを特徴とする請求項１乃至８に記載の画像照合装置。
【請求項１０】
２枚の異なる画像について各々フーリエ変換を行う周波数成分検出ステップと、
前記２枚の異なる画像についての各々の区間の画素列を周波数変換後の周波数成分を照合することによって位置あわせをおこなう位相照合ステップ、
を有する画像照合方法。
【請求項１】
２枚の異なる画像について各々フーリエ変換を行う周波数成分検出手段と、
前記２枚の異なる画像についての各々の区間の画素列を周波数変換後の周波数成分を照合することによって位置あわせをおこなう位相照合手段、
を備えたことを特徴とする画像照合装置。
【請求項２】
前記２枚の異なる画像が異種画像と光学画像であって、
前記異種画像における、所定の閾値以下の画素のみを抽出する低反射領域抽出手段と、
前記光学画像における隣接する画素値の差分が所定の閾値以下となる画素のみを抽出する類似画素抽出手段１０２とを、
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項１に記載の画像照合装置。
【請求項３】
前記低反射領域抽出手段が出力した特徴データと、前記類似画素抽出手段が出力した特徴データと、を用いて相互情報量が最大となる位置ずれ量を決定し出力する位置ずれ量推定手段を、
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項２に記載の画像照合装置。
【請求項４】
前記異種画像および、前記光学画像に対して、ぞれぞれの画像からエッジ抽出を行い、各々の部分画像データを出力する同一範囲推定手段１０４を
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項３に記載の画像照合装置。
【請求項５】
前記２枚の異なる画像が画像と異地点撮影画像であって、
一方画像について他方の撮影地点にあわせるよう、拡大縮小して各々部分画像データを出力する遠近パターン抽出手段を、
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項１乃至４に記載の画像照合装置。
【請求項６】
前記２枚の異なる画像が上空画像と地上画像であって、
前記上空画像及び前記地上画像から各々エッジと座標系の座標値とを抽出して特徴データとして出力する３次元特徴抽出手段と、前記上空画像及び前記地上画像からの各々の特徴データを用いて照合することにより、前記上空画像と前記地上画像との間の回転量、平行移動量、拡大縮小量からなる位置ずれ量を出力する位置ずれ推定手段と、前記上空画像と前記地上画像との同じ領域範囲を推定して各々の同じ領域範囲の部分画像データを出力する同一範囲推定手段とを、
各々フーリエ変換を行う前段階に備えたことを特徴とする請求項１乃至５に記載の画像照合装置。
【請求項７】
位相照合手段は、各々フーリエ変換することによって得られた各々のグラフ画像について前記各々のグラフ画像の画素値の相関が最も高くなる横軸のずらし量を求めることによって位置ずれ量を出力することを特徴とする請求項１乃至６に記載の画像照合装置。
【請求項８】
位相照合手段は、各々フーリエ変換することによって得られた各々のグラフ画像について周波数成分の強度に相当する輝度値が所定の閾値の上下によって前記グラフ画像を白または黒で示し、前記各々のグラフ画像の画素値の相関が最も高くなる横軸のずらし量を求めることによって位置ずれ量を出力することを特徴とする請求項１乃至６に記載の画像照合装置。
【請求項９】
位相照合手段は、各々フーリエ変換することによって得られた各々のグラフ画像について一方の前記グラフ画像の所定範囲の画像の周波数成分の強度に相当する輝度値の勾配を求め、他方の前記グラフ画像の前記所定範囲の画像の周波数成分の強度に相当する輝度値の勾配との相関が最も高くなる横軸のずらし量を求めることによって位置ずれ量を出力することを特徴とする請求項１乃至８に記載の画像照合装置。
【請求項１０】
２枚の異なる画像について各々フーリエ変換を行う周波数成分検出ステップと、
前記２枚の異なる画像についての各々の区間の画素列を周波数変換後の周波数成分を照合することによって位置あわせをおこなう位相照合ステップ、
を有する画像照合方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１８５７１２（Ｐ２０１２−１８５７１２Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４８９５７（Ｐ２０１１−４８９５７）
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]