目標物検出システム
【課題】 各個体の目標物を二重検出することなく、漏れなく的確に検出することが可能な目標物検出システムを提供する。
【解決手段】 探索対象画像上で位置を移動させながら、テンプレート画像内の四角形状の有効画像領域と、探索対象画像上の画素ブロックとの比較を行い、最も類似性が高いと判断される位置における検出結果を探索結果として出力するとともに(a)、テンプレート画像内の四角形状の有効画像領域に対応する探索対象画像上の領域を消去する(b)。
【解決手段】 探索対象画像上で位置を移動させながら、テンプレート画像内の四角形状の有効画像領域と、探索対象画像上の画素ブロックとの比較を行い、最も類似性が高いと判断される位置における検出結果を探索結果として出力するとともに(a)、テンプレート画像内の四角形状の有効画像領域に対応する探索対象画像上の領域を消去する(b)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像中から目的とするパターンを検出するための技術に関し、特にパンクロマチック衛星画像に対して好適なパターン検出技術に関する。
【背景技術】
【0002】
QuickBird(米国DigitalGlobe)、ALOS“だいち”(日本JAXA)、TERRA/ASTER(日本ERSDAC)など陸域観測・地球観測衛星は高度約450km上空で地球を極軌道で周回しており、高分解能な光学センサや合成開口レーダ(SAR)を搭載し、地上を連続的にスキャニングし、定時的に地球局に画像データを伝送している。主として3種類の画像が活用され、光学センサのマルチスペクトラル・モード(カラー写真)は、可視光のRGBバンドに近赤外を加えた4バンド構成で夜間も撮影でき、地上の資源探索や大規模災害などの状況を収集するのに有効である。SAR画像は電波によるレーダ画像で、雲がかかっていても透過するため、天候が悪いときでも画像を収集でき、ドップラー効果を用いて航行中の船舶を計測することもできる(特許文献1参照)。中でも、光学センサのパンクロマチック・モード(モノクロ写真)は地上の乗用車を識別できる1m弱(世界最高分解能QuickBird 0.6m)の分解能をもち、交通状況の監視などに有益である。交通状況の監視については、地上に設置された監視カメラやヘリコプター・航空機による航空写真の方が鮮明な画像が得られるが、広域を同時観測することが難しいのと、建築物などの陰に隠れた死角が必ず発生するという問題から、近年衛星画像が注目されている。
【0003】
また、目標物を航空機と船舶に特化したテンプレートマッチングによる検出方法(特許文献2参照)、テンプレートをあらかじめ準備し、画像データの先頭画素から順次スキャンしながらテンプレートと同サイズの画素ブロックを抽出し、テンプレートと照合する手法(特許文献3参照)なども提案されている。
【特許文献1】特許第3863014号
【特許文献2】特許第3978979号
【特許文献3】特開2001−67470号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献2の手法では、同一個体の目標物が二重に検出された場合であっても、それぞれを検出結果として提示するため、最終的には人が判断しなければならないという問題がある。また、上記特許文献3の手法では、対象の合否判断を行うだけであるため、目標物の検出には適用できないという問題がある。
【0005】
特に、衛星画像から目標物を検出する場合には、ある目標物の検出位置から数画素ずれた位置では、同一個体の目標物を別個体の目標物として検出してしまうことがある一方、わずかにずれた位置に実際に別個体の目標物が存在していることもあり、その判別は困難である。例えば、船舶が岸壁に隣接して停泊している場合、同一の船舶が二重に検出されたり、隣接する船舶が検出されなかったりすることがある。
【0006】
そこで、本発明は、各個体の目標物を二重検出することなく、漏れなく的確に検出することが可能な目標物検出システムを提供することを課題とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明第1の態様では、テンプレート画像との比較により、探索対象である探索対象画像から、目標物を検出するシステムであって、前記テンプレート画像を記憶したテンプレート記憶手段と、前記探索対象画像に対して、先頭画素位置から最終画素位置まで抽出位置を順次移動させながら、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、当該類似性評価値と事前に設定された判定基準値と比較することにより類似性を判断する順次類似性判断手段と、前記順次類似性判断手段により類似性ありと判断された場合に、類似性ありと判断された画素位置から所定の範囲内の各画素位置について、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、最適な類似性評価値が得られた画素位置を目標物検出位置と判断する局所類似性判断手段と、前記局所類似性判断手段により検出された目標物に関し、その際のテンプレート画像のID、前記探索対象画像上における画素ブロックの位置を特定する画素位置、前記テンプレート画像の回転角度を出力する探索結果出力手段と、前記検出された目標物検出位置とされた画素位置に対応する前記探索対象画像上の画素ブロックにおける各画素を所定の値にセットすることにより、検出した目標物を消去する検出目標物消去手段を有する目標物検出システムを提供する。
【0008】
本発明第1の態様によれば、目標物を含むテンプレート画像と探索対象画像中の画素ブロックとの比較により探索対象画像から目標物を検出する際、目標物を最適な位置で検出し、検出した目標物を探索対象画像中から消去するようにしたので、各個体の目標物を二重検出することなく、漏れなく的確に検出することが可能となる。
【0009】
本発明第2の態様では、本発明第1の態様における順次類似性判断手段において、前記類似性評価値は複数算出され、1つの類似性評価値で類似性なしと判断された場合に、他の類似性評価値に関する判断を行うことなく類似性なしと判断することを特徴とする。本発明第2の態様によれば、類似性評価値を複数算出し、1つの類似性評価値で類似性なしと判断された場合に、全体としても類似性なしと判断するようにし、他の類似性評価値に関する判断を行わないようにしたため、全体として処理が高速化される。
【0010】
また、本発明第3の態様では、本発明第1または第2の態様における前記テンプレート画像に多角形形状の有効画像領域を設定しており、前記順次類似性判断手段および局所類似性判断手段は、前記テンプレート画像内の有効画像領域に含まれる画素群と、前記画素ブロック内の前記有効画像領域内部に対応する画素群とに基づいて、前記類似性評価値を算出するようにしていることを特徴とする。本発明第3の態様によれば、前記テンプレート画像に含まれる有効画像領域の周辺画素が、本発明第1または第2の態様における類似性評価値の算出の対象外となるため、高精度な算出が行える。
【発明の効果】
【0011】
本発明によれば、目標物を含むテンプレート画像と探索対象画像中の画素ブロックとの比較により探索対象画像から目標物を検出する際、各個体の目標物を二重検出することなく、漏れなく的確に検出することが可能となる。
【発明を実施するための最良の形態】
【0012】
以下、本発明の実施形態について図面を参照して詳細に説明する。
(1.システム構成)
まず、本発明に係る目標物検出システムの構成について説明する。図1は本発明に係る目標物検出システムの構成図である。図1において、10は探索対象画像記憶部、20はテンプレート準備部、30はテンプレート記憶部、40は目標物探索部、50は探索結果記憶部である。
【0013】
探索対象画像記憶部10は、探索対象となる画像である探索対象画像、および目標物のサンプルを記憶したサンプル画像を記憶したものである。探索対象画像上に探索対象とする目標物が多数存在していれば、その内の1つをサンプルとして用いることも可能である。この場合、探索対象画像はサンプル画像としての役割も果たすことになる。また、本実施形態では、人工衛星により撮影された画像である衛星画像を探索対象画像として記憶している。テンプレート準備部20は、サンプル画像に対して対話的に設定を行い、テンプレート画像を準備するものであり、テンプレート作成手段21、判定基準値設定手段22、テンプレート更新手段23を有している。テンプレート記憶部30は、テンプレート準備部20により準備されたテンプレート画像を記憶するものである。目標物探索部40は、探索対象画像中の所定の領域とテンプレート画像を比較することにより、目標物を探索するものであり、順次類似性判断手段41、局所類似性判断手段42、探索結果出力手段43、検出目標物消去手段44、第2のテンプレート更新手段45を有している。探索結果記憶部50は、目標物探索部40により探索された結果を記憶するものである。図1に示した目標物検出システムは、現実には汎用のコンピュータに専用のプログラムを組み込むことにより実現される。また、各記憶部は、コンピュータに内蔵または接続されたハードディスク等の記憶装置で実現される。
【0014】
(2.テンプレート画像の準備)
次に、図1に示した目標物検出システムの処理動作について説明する。まず、探索対象画像記憶部10には、人工衛星により撮影された衛星画像が探索対象画像として記憶される。本実施形態では、衛星画像として、Adobe社TIFF規格準拠のGeo−TIFF形式であり、画像データに地理情報(緯度経度情報など)が付加されたものを採用する。
【0015】
目標物検出システムが起動されると、まず、テンプレート準備部20は探索対象画像記憶部10に記憶された探索対象画像をソース画像の形式からワーク画像の形式に変換する。これは、探索の効率を上げるために行われるものである。具体的には、公知のヒストグラム平坦化技術を用いてワーク画像の形式に変換する。本実施形態では、ワーク画像をRXY形式で作成する。テンプレート準備部20は、この探索対象画像をサンプル画像として用いる。
【0016】
続いて、テンプレート準備部20は、ワーク画像形式に変換したサンプル画像としての探索対象画像を画面に表示し、テンプレート画像作成のための画像領域の指定を利用者に促す。これに対して、利用者は、画面に表示された探索対象画像において、多角形形状(本実施形態では4頂点で構成される自由な四角形形状)の画像領域の輪郭を指定する。これは、マウス操作により、四角形形状の4つの頂点を指定することにより行われる。例えば、船舶を目的物とする場合、利用者は、衛星画像に写っている船舶を見つけ、その船舶を含む有効画像領域を指定することになる。具体的には画面上に初期状態として正方形形状の四角形を表示し、利用者はいずれかの頂点を画面上で選択し、前記頂点を所望の位置までドラッギングさせることにより頂点を指示し、4つの頂点に対して順次同様な操作を行なう。指定が行われると、テンプレート作成手段21は、図2に示されるように、指定された四角形の外側に四角形を360度回転させても、はみ出さないように外接する正方形形状(図2の外側正方形形状)を同時に生成する。従って、初期状態では画面上に2重の正方形が表示されており、利用者が内側の正方形形状を所望の四角形に変形させると、それに連動して外側正方形形状が正方形を維持しながら変化する。
【0017】
利用者が、表示された探索対象画像内において、所定の四角形の有効画像領域の指定を完了すると、テンプレート作成手段21は、探索対象画像内から指定された有効画像領域の外側に定義された正方形形状に基づいてトリミングする。この結果、正方形サイズのテンプレート画像が得られ、同時にテンプレート画像内で利用者が定義した四角形領域の外側部分をマスクするような情報が付加される。具体的には、図2に示されるように、テンプレート画像の各画素値は0から255の8ビットの値をもつが、利用者が定義した四角形領域の内側は1から255の画素値をもたせ、外側は全て0の画素値をもたせるようにしている。
【0018】
さらに、テンプレート準備部20は、多角形形状およびその内部だけを所定の角度で回転させたパターンもテンプレート記憶部30に登録する。本実施形態では、角度を45度単位で回転させ、8つの異なる傾き角度に従ったテンプレート画像を作成する。角度が異なる8つのテンプレート画像を図3に示す。このとき、外側の正方形形状は利用者が指定した多角形を360度回転させても、はみ出さないように定義しているため、前記8種類の角度の多角形は同一サイズのテンプレート画像で表現することができる。本実施形態では、角度を異ならせたパターンは同一のテンプレート画像として同一のテンプレートIDで登録する。したがって、図3に示したテンプレート画像は、全て同一のテンプレートIDを持ち、各パターンは、その角度で特定する。本実施形態では、テンプレートIDを8個登録可能となっている。この場合、8個のテンプレート画像について、それぞれ8つの角度で登録されるので、全部で64パターンが登録されることになる。
【0019】
テンプレート画像が登録されたら、テンプレート準備部20は、探索対象画像上の適合とすべき対象物を指定するように促す。利用者が、適合とすべき対象物を指定すると、指定された位置付近の画素値を利用して、判定基準値の算出およびテンプレート画像の更新を行う。この判定基準値の算出およびテンプレート画像の更新について図4のフローチャートを用いて説明する。
【0020】
まず、利用者は、画面に表示された探索対象画像の内容を見て、探索対象に含めたいと考える対象物を見つけ、その対象物上の点を指定する(S101)。図5(a)は、対象物を指定する際の探索対象画像の様子を示す図である。探索対象画像中で、利用者が探索対象に含めたい対象物上の点を指定すると、図5(a)に示すように、テンプレート画像の正方形状の外枠および有効画像領域を示す多角形状が表示される。例えば、衛星画像の中から船舶を検出したい場合、衛星画像中の1つの船舶の上の点を指定する。
【0021】
続いて、テンプレート準備部20は、指定された位置を基点にしてテンプレート画像とのマッチング処理を行う(S102)。この処理を行う理由は、図5(a)のように、利用者が画面上で指定した点は視覚的な判断によるもので曖昧性に富むため、この点を基にそのまま判定基準値を算出すると、不適切な探索が行なわれる可能性が高いためである。そこで、本処理では利用者が指示した点を最適な位置に補正するものである。具体的には、図5(b)に示すように、指定された探索対象画像上の基点(Xc、Yc)とテンプレート画像の中心位置を合わせ、そこからテンプレート画像をx方向,y方向に1画素単位で、設定された範囲内において移動させながら、マッチング処理を行う。このマッチング処理の詳細については後述する。同一位置において、角度を変えた8通りのテンプレート画像に対してマッチング処理を行い、最も類似度の高い角度のテンプレート画像を選出するとともにその探索対象画像の画素位置を最適位置として特定する。
【0022】
次に、判定基準値設定手段22が、探索対象画像上の対象物が適合判定されるように判定基準値の設定を行う(S103)。判定基準値の設定が終わったら、テンプレート更新手段23が、最適位置における探索対象画像の画素ブロックとテンプレート画像を合成し、その合成画像でテンプレート画像を更新する(S104)。
【0023】
次に、上記S102におけるマッチング処理の詳細について、図6のフローチャートを用いて説明する。マッチング処理を行う際は、まず、類似性評価値となる各変数の初期化を行う。具体的には、輝度ヒストグラムの差分の最小値、階調変動ヒストグラムの差分の最小値、重心間距離の最小値、慣性モーメント差分の最小値、グレー階調画素差分の最小値、正規化相関係数の最大値の6つの変数(類似性評価値)を初期化する。本実施形態では、これら6つの変数は全て0〜1000の値をとり、正規化相関係数については、初期値を最小値0とし、他の5つの変数については、初期値を最大値1000とする。
【0024】
各変数の初期化が終わったら、輝度ヒストグラムの照合を行う(S201)。具体的には、まず、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y)(0〜255)、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy)(1〜255)とする。S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応するVt(x,y) >0となる画素(x,y)において、V(x,y)/16の値に基づく探索対象画像の16階調の輝度ヒストグラムH(v) (0≦v≦15)、およびVt(x,y)/16の値に基づくテンプレート画像の16階調の輝度ヒストグラムHt(v) (0≦v≦15)を算出する。さらに、以下の〔数式1〕に従った処理を実行して輝度ヒストグラム差分を算出する。
【0025】
〔数式1〕
(輝度ヒストグラム差分)=1000・Σ v=0,15|H(v)−Ht(v)|/ Σ v=0,15(H(v)+Ht(v))
【0026】
続いて、階調変動ヒストグラムの照合を行う(S202)。具体的には、S201と同様、テンプレート画像のサイズをS×Sとし、S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応するVt(x,y) >0となる画素(x,y)において、V(x,y)%16(16で割った余り)の値に基づく探索対象画像の16階調の階調変動ヒストグラムHD(v) (0≦v≦15)、およびVt(x,y)%16の値に基づくテンプレート画像の16階調の階調変動ヒストグラムHDt(v) (0≦v≦15)を算出する。HD(v)は各画素の下位4ビット、HDt(v)は各画素の上位4ビットに基づく階調変動ヒストグラムである。さらに、以下の〔数式2〕に従った処理を実行して階調変動ヒストグラム差分、すなわち階調変動ヒストグラム同士のユークリッド距離を算出する。
【0027】
〔数式2〕
(階調変動ヒストグラム差分)=1000・Σ v=0,15|HD(v)−HDt(v)|/ Σ v=0,15(HD(v)+HDt(v))
【0028】
次に、重心間距離の算出を行う(S203)。具体的には、まず、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y)(0〜255)、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート画像の位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy) (1〜255)とする。S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となる画素(x,y)を用いて、探索対象画像の重心(Xg,Yg)とテンプレート画像の重心(Xgt,Ygt)を以下の〔数式3〕に従った処理を実行して算出する。
【0029】
〔数式3〕
Xg= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)・x
/ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)
Yg= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)・y
/ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)
Xgt= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)・x/ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)
Ygt= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)・y/ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)
【0030】
さらに、以下の〔数式4〕に従った処理を実行して重心間距離を算出する。
【0031】
〔数式4〕
(重心間距離)=1000・{(Xg−Xgt)(Xg−Xgt)+(Yg−Ygt)(Yg−ygt)}1/2/ S
【0032】
次に、慣性モーメントの照合を行う(S204)。具体的には、まず、S203で求めた探索対象画像の重心(Xg,Yg)およびテンプレート画像の重心(Xgt,Ygt)を用いて、S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となる画素(x,y)を用いて、探索対象画像の慣性モーメントM、 およびテンプレート画像の慣性モーメントMtを以下の〔数式5〕に従った処理を実行して算出する。
【0033】
〔数式5〕
M= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)・[(x-Xg)(x-Xg)+(y-Yg)(y-Yg)]
/Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)
Mt= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)・[(x-Xgt)(x-Xgt)+(y-Ygt)(y-Ygt)]
/Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)
【0034】
さらに、以下の〔数式6〕に従った処理を実行して慣性モーメント差分を算出する。
【0035】
〔数式6〕
(慣性モーメント差分)=1000・|M−Mt|/ (M+Mt)
【0036】
上記S201〜S204は、角度に依存しない処理である。したがって、各テンプレート画像について1回だけ行えばよい。S201〜S204の処理は、いずれの角度のテンプレート画像を用いても良いため、本実施形態では、代表して0度のテンプレート画像を用いている。ここからのS205、S206は、角度に依存する処理であるため、同一IDをもつテンプレート画像についても、角度別に処理を行う。まず、グレー階調画素差分の算出を行う(S205)。具体的には、まず、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y) (0〜255)、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy) (1〜255)とする。ここで、シャドウ側をハイライト側に上げ、中間調部をシャドウ側に落とすような以下の階調変換を施す。Vt(x,y)≧128のとき、Vt'(x,y)=Vt(x,y)-128、 Vt(x,y)<128のとき、Vt'(x,y)=127-Vt(x,y) V(x,y) ≧128のとき、V'(x,y)=V(x,y)-128、 V(x,y)<128のとき、V'(x,y)=127-V(x,y) S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となるC個の画素(x,y)を用いて、以下の〔数式7〕に従った処理を実行して探索対象画像とテンプレート画像の画素差分であるグレー階調画素差分を算出する。
【0037】
〔数式7〕
(グレー階調画素差分)= 1000・Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 |V'(x+Xc+dx,y+Yc+dy)−Vt'(x,y)|
/ ( V'(x+Xc+dx,y+Yc+dy)+Vt'(x,y) )
【0038】
次に、正規化相関係数の算出を行う(S206)。具体的には、まず、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y) (0〜255)、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy) (1〜255)とする。S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となるC個の画素(x,y)を用いて、探索対象画像の平均階調値Vaとテンプレート画像の平均階調値Vatを以下の〔数式8〕に従った処理を実行して算出する。
【0039】
〔数式8〕
Va= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)/ C
Vat= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)/ C
C= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 1
【0040】
そして、S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となる画素(x,y)を用いて、周知の計算式に基づいて正規化相関係数を以下の〔数式9〕に従った処理を実行して算出する。ただし、正規化相関係数が負値(負の相関)となる場合は0(相関無し)として扱う。
【0041】
〔数式9〕
(正規化相関係数)= 1000・Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 (V(x+Xc+dx,y+Yc+dy)-Va)・(Vt(x,y)-Vat)
/[Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 (V(x+Xc+dx,y+Yc+dy)-Va)2・ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 (Vt(x,y)-Vat)2]1/2
【0042】
続いて、各変数の更新を行う(S207)。具体的には、S201において算出した輝度ヒストグラム差分が、現在設定されている輝度ヒストグラム差分の最小値より小さく、かつS206において算出した正規化相関係数が現在設定されている正規化相関係数の最大値より大きい場合、輝度ヒストグラムの差分の最小値、階調変動ヒストグラムの差分の最小値、重心間距離の最小値、慣性モーメント差分の最小値、グレー階調画素差分の最小値、正規化相関係数の最大値の6つの変数を今回算出した値に置き換える。そして、位置、テンプレートID、角度の値を、このときの位置、テンプレートID、角度の値で更新する。
【0043】
各変数の更新が終わったら、1つのテンプレート画像について、全ての角度のパターンの処理が終わったかどうかを判断する(S208)。全ての角度のパターンについて処理が終わっていない場合は、S205に戻って、角度に依存するグレー階調画素差分の算出、正規化相関係数の算出を行う。全ての角度のパターンについて処理が終わった場合は、S209に進む。したがって、本実施形態では、1つのテンプレート画像につき、8通りの角度について、S205〜S207の処理が繰り返される。
【0044】
1つのテンプレート画像の全角度について処理が終わったら、全てのテンプレート画像について処理が終わったかどうかを判断する(S209)。全てのテンプレート画像について処理が終わっていない場合は、S201〜S208の処理を繰り返す。全てのテンプレート画像について処理が終わった場合は、S210に進む。したがって、本実施形態では、1つの画素位置につき、8個のテンプレート画像について、S201〜S208の処理が繰り返される。
【0045】
全てのテンプレート画像について処理が終わったら、全ての画素位置について処理が終わったかどうかを判断する(S210)。全ての画素位置とは、指定された基点(Xc、Yc)からx軸、y軸方向にそれぞれ所定画素の範囲に含まれる画素の位置を意味する。所定画素の範囲としては、テンプレート画像のx軸、y軸方向のそれぞれ5%程度が設定されている。例えば、テンプレート画像が100×100画素である場合、5×5の計25画素の位置について、図5に示した処理が繰り返される。全ての画素位置について処理が終わっていない場合は、S201〜S209の処理を繰り返す。全ての画素位置について処理が終わった場合は、各変数を出力して、マッチング処理を終了する。各変数は、各テンプレート画像単位で出力される。
【0046】
次に、S103の判定基準値の設定の詳細について説明する。判定基準値は、判定基準値設定手段22により、マッチング処理において出力された各変数に所定の値を乗じることにより設定される。本実施形態では、正規化相関係数については、出力された正規化相関係数の最大値に0.9を乗じた値を判定基準値とし、他の5つの変数については、出力された値に1.1を乗じた値を判定基準値としている。具体的には、以下の〔数式10〕に従った処理を実行して算出する。
【0047】
〔数式10〕
(輝度ヒストグラム差分の判定基準値)=(輝度ヒストグラム差分の最小値)×1.1
(階調変動ヒストグラム差分の判定基準値)=(階調変動ヒストグラム差分の最小値)×1.1
(重心間距離の判定基準値)=(重心間距離の最小値)×1.1
(慣性モーメント差分の判定基準値)=(慣性モーメント差分の最小値)×1.1
(グレー階調画素差分の判定基準値)=(グレー階調画素差分の最小値)×1.1
(正規化相関係数の判定基準値)=(正規化相関係数の最大値)×0.9
【0048】
続いて、S104のテンプレートの更新の詳細について説明する。S104では、テンプレート更新手段23が、各テンプレート画像を更新する。具体的には、各テンプレート画像の最適位置における探索対象画像上の画素ブロックを用いて、各テンプレート画像の各角度の画像を更新する。まず、各テンプレート画像のうち、最適角度のものと探索対象画像上の画素ブロックの合成を行う。テンプレート画像においてマスク領域は合成を行わないので、テンプレート画像中の有効画像領域内部についてのみ合成を行う。
【0049】
合成の具体的な手法としては、有効画像領域内部の各画素単位で整数の擬似乱数を順次発生させ、所定の数が出たら、探索対象画像上の画素ブロックの対応する画素の値に置き換える。例えば、奇数が出たら、探索対象画像上の画素ブロックの対応する画素に置き換えるように設定しておけば、約半分の確率で有効画像領域内部の画素が探索対象画像の画素に置き換えられる。図7は、探索対象画像とテンプレート画像の合成によりテンプレート画像を更新する例を示す図である。図7の例では、説明の便宜のため、画像サイズを5×5画素に簡略化している。図7(b)はテンプレート画像であり、Tは有効画像領域(多角形領域)内部の画素を示し、空白はマスク領域の画素を示している。図7(a)はテンプレート画像に対して最適位置と判断された探索対象画像上の画素ブロックであり、Wは探索対象画像上の画素を示している。この2つの画像に上述のような合成処理を施した結果、図7(c)に示すように、テンプレート画像の有効画像領域の画素Tのうち約半数が探索対象画像の画素Wに置き換えられた合成画像が得られる。この合成画像が、更新されたテンプレート画像として登録される。なお、乱数の発生方式は処理を行う度に異なる系列になるように、シーズを毎回変更する。
【0050】
最適角度のパターンについて、更新処理が終わったら、他の角度のパターンについても更新を行う。他の角度のパターンについては、最適角度との角度の差を求め、その角度だけ探索対象画像上の画素ブロックを回転し、有効画像領域内部の各画素単位を回転した探索対象画像上の画素ブロックの対応する画素に置き換える。このようにして、全ての角度についてテンプレート画像が更新される。あらかじめ用意した全てのテンプレート画像に対して同様の処理を行うことにより、全てのテンプレート画像を更新する。図8はテンプレート画像の更新の様子を示す図である。図8に示すように、探索対象画像上における最適位置の画素ブロックを用いて、全ての角度の画像を更新する。
【0051】
(3.探索処理)
以上のようにして、テンプレート画像の準備が完了したら、準備されたテンプレート画像を用いて、目標物探索部40が目標物の探索を行う。この目標物の探索処理について図9のフローチャートを用いて説明する。利用者が目標物探索処理を指示すると、目標物探索部40の順次類似性判断手段41が、順次マッチング処理を行う(S301)。具体的には、探索対象画像中の始点画素位置から順次パターンマッチング処理を実行し、類似判定する位置を見つける。
【0052】
図10は、順次マッチング処理の概略を示す図である。順次マッチング処理は、最初に、探索対象画像中の始点画素位置(0,0)を起点として(S−1,S−1)までの正方形状の画素ブロックと、テンプレート画像との比較を行い、(1,0)を起点とする正方形領域、(2,0)を起点とする正方形領域…というように、X方向スキャン範囲に1画素づつ移動させて比較を行っていき、x軸方向について終了したら、Y方向スキャン範囲に1画素分移動し、(0,1)を起点とする正方形領域、(1,1)を起点とする正方形領域…というように順次探索対象画像全体についてテンプレート画像との比較を行っていく。
【0053】
各画素位置におけるマッチング処理は、まず、同一IDのテンプレート画像のうちの1つとのマッチングを行う角度非依存テンプレートマッチングと、同一IDのテンプレート画像のうちの全8個とのマッチングを行う角度依存テンプレートマッチングとに分けて行われる。角度非依存テンプレートマッチングで不適合と判断された場合は、角度依存テンプレートマッチングを行うことなく、次の画素位置に移動する。
【0054】
画素位置を特定した場合の順次マッチング処理の詳細を図11のフローチャートに示す。まず、S102のマッチング処理と同様、類似性評価値となる各変数の初期化を行う。具体的には、輝度ヒストグラムの差分の最小値、階調変動ヒストグラムの差分の最小値、重心間距離の最小値、慣性モーメント差分の最小値、グレー階調画素差分の最小値、正規化相関係数の最大値の6つの変数を初期化する。探索処理で用いる6つの類似性評価値も全て0〜1000の値をとり、正規化相関係数については、初期値を最小値0とし、他の5つの変数については、初期値を最大値1000とする。続いて、輝度ヒストグラムの照合を行う(S401)。具体的には、上記S201と同様に、〔数式1〕に従った処理を実行して輝度ヒストグラム差分を算出する。そして、この輝度ヒストグラム差分と、S103で設定した判定基準値の比較を行い、判定基準値以上の場合は、不適合となる。不適合とは、類似性がないことを意味する。不適合となった場合は、現在利用しているテンプレート画像では適合しないと判断し、全てのテンプレート画像との処理を終えたかどうかを判断する(S409)。全てのテンプレート画像との処理が終了していない場合は、別のテンプレート画像に変更して(S410)、S401に戻る。
【0055】
S401において、輝度ヒストグラム差分が判定基準値より小さい場合は、階調変動ヒストグラムの照合を行う(S402)。具体的には、上記S202と同様に、〔数式2〕に従った処理を実行して階調変動ヒストグラム差分を算出する。そして、この階調変動ヒストグラム差分と、S103で設定した判定基準値の比較を行い、判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、S401で不適合となった場合と同様である。
【0056】
S402において、階調変動ヒストグラム差分が判定基準値より小さい場合は、重心間距離の算出を行う(S403)。具体的には、上記S203と同様に、〔数式3〕〔数式4〕に従った処理を実行して重心間距離を算出する。そして、この重心間距離と、S103で設定した判定基準値の比較を行い、判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、S401で不適合となった場合と同様である。
【0057】
S403において、重心間距離が判定基準値より小さい場合は、慣性モーメントの照合を行う(S404)。具体的には、上記S204と同様に、〔数式5〕〔数式6〕に従った処理を実行して慣性モーメント差分を算出する。そして、この慣性モーメント差分と、S103で設定した判定基準値の比較を行い、判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、S401で不適合となった場合と同様である。S401〜S404の処理は、角度に依存しない処理であるため、それぞれテンプレート画像と照合して1回でも不適合であれば、別のテンプレート画像との処理に移行することになる。
【0058】
S404において、慣性モーメント差分が判定基準値より小さい場合は、グレー階調画素差分の算出を行う(S405)。具体的には、上記S205と同様に、〔数式7〕に従った処理を実行してグレー階調画素差分を算出する。グレー階調画素差分の算出処理においては、S401〜S404の処理とは異なり、同一のテンプレート画像について全ての角度に対して処理を行う。グレー階調画素差分は、最小のものに更新され、そのときの角度が記録される。そして、全ての角度に対してグレー階調画素差分の算出が終わったら(S406)、最小となったグレー階調画素差分と、S103で設定した判定基準値の比較を行い、グレー階調画素差分が判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、S401で不適合となった場合と同様である。
【0059】
グレー階調画素差分が判定基準値より小さい場合は、正規化相関係数の算出を行う(S407)。具体的には、上記S206と同様に、〔数式8〕〔数式9〕に従った処理を実行して正規化相関係数を算出する。正規化相関係数の算出処理においても、S405におけるグレー階調画素差分の算出処理と同様、同一のテンプレート画像について全ての角度に対して処理を行う。正規化相関係数は、最大のものに更新され、そのときの角度が記録される。そして、全ての角度に対して正規化相関係数の算出が終わった場合の処理は、S401で不適合となった場合と同様である。
【0060】
全テンプレート画像について処理が終わったら、正規化相関係数の照合を行う(S411)。具体的には、最大となった正規化相関係数と、S103で設定した判定基準値の比較を行い、正規化相関係数が判定基準値より大きい場合は、適合となる。正規化相関係数が適合となった場合は、全項目すなわち6つの類似性評価値全てが適合であるテンプレートがあるかどうかを判断する(S412)。全項目が適合であるテンプレートがある場合は、全項目が適合であるテンプレートと、その角度が一致するかどうかを判断する(S413)。すなわち、S405およびS406におけるグレー階調画素差分の算出処理において最小値を与えるテンプレートおよび角度と、S407およびS408における正規化相関係数の算出処理において最大値を与えるテンプレートおよび角度とが各々一致し、前記一致するテンプレートがS401、S402、S403、S404、S406およびS411において全て適合すると判断された場合は、適合終了となり、各変数、すなわちテンプレートID、画素位置(Xc、Yc)、角度、6つの類似性評価値を出力する。いずれかにおいて、不適合となる場合は、不適合終了となり、次の画素位置に対して、順次マッチング処理を行う。
【0061】
図11に示した順次マッチング処理においては、順次類似性判断手段41により、S401の輝度ヒストグラムの照合、S402の階調変動ヒストグラムの照合、S403の重心間距離の算出、S404の慣性モーメントの照合、S405、S406のグレー階調画素差分の算出、S407、S408の正規化相関係数の算出の6つの適合性判定処理が行われるが、これらの適合性判定処理は、処理負荷が小さいものから順に行われるように設定されている。すなわち、本実施形態では、輝度ヒストグラムの照合が最も処理負荷が小さく、正規化相関係数の算出が最も処理負荷が大きい。これは、1つの処理で不適合と判定された場合に、全体として非類似と判断するという条件とすると、処理負荷が小さいものから先に行った方が効率が良いからである。特に、グレー階調画素差分の算出、正規化相関係数の算出については、各角度について実行するため、1つの角度についてのみ実行する輝度ヒストグラムの照合、階調変動ヒストグラムの照合、重心間距離の算出、慣性モーメントの照合に比べて処理負荷は格段に大きくなる。
【0062】
S301の順次マッチング処理が適合終了となったら、次に、局所類似性判断手段42が、局所マッチング処理を行う(S302)。S301の順次マッチング処理は、探索対象画像全体における目標物の大まかな位置を探索するのに対し、S302の局所マッチング処理は、目標物の詳細な位置を探索する。具体的には、順次マッチング処理で最適と判断された位置(Xc、Yc)を起点に、画素スキャン進行方向(右方向、下方向)に所定の微小幅(ΔX、ΔY)だけ動かしながらテンプレートマッチングを実行し、6つの類似性評価値を最小値、最大値に更新し、そのときのテンプレートID、画素位置(Xm、Ym)、角度Amを出力する。マッチング処理の詳細は、図11に示した順次マッチング処理とは異なり図4のS102のマッチング処理、具体的には図6に示される処理と同じである。順次マッチング処理はある位置(Xc,Yc)で適合するか否かだけを判定すれば良かったが、局所マッチング処理は適合判定される微小範囲内で、更に最良の条件で適合する位置を探索する必要があるためである。
【0063】
局所マッチング処理が終了したら、目標物探索部40の探索結果出力手段43が、探索結果の出力を行う(S303)。具体的には、テンプレートID、位置(Xm、Ym)、角度Am、および6つの類似性評価値をリスト出力する。
【0064】
続いて、検出目標物消去手段44が、検出領域の消去を行う(S304)。具体的には、探索対象画像において、最適位置におけるテンプレート画像の図2で示した有効画像領域内部に相当する部分を消去する。すなわち、有効画像領域内部に位置する探索対象画像上の画素の値を全て0にセットする。図12は、探索対象画像上における探索の結果の最適位置と、消去された領域を示す図である。探索の結果、探索対象画像上の目標物に対して、図12(a)に示すような位置がテンプレート画像の有効画像領域の最適位置となった場合、図12(b)に示すように、探索対象画像上における有効画像領域に相当する部分が消去される。ただし、本探索処理終了後に探索位置を探索対象画像上でグラフィカルに表示する要求に応えるため、目標物探索部40は、消去前のオリジナルの探索対象画像をバックアップ保存する。
【0065】
S301〜S304の処理は、探索対象画像上の全画素に対して行われる。その際、S304において、適合した領域の内部が消去されるため、その付近の画素に対して順次マッチング処理を行っても適合となることはなく、1つの目標物を重複して見つけてしまうことを防ぐことができる。
【0066】
S303において出力された結果は、上述のように、探索結果出力手段43により探索結果として出力される。具体的には、検出された目的物の位置・方角をリスト出力する。この場合、位置については、画素位置を衛星画像が保有する緯度経度の情報に変換して出力する。また、探索画像上に検出した目的物の位置をグラフィカルに示すことも可能である。この場合、探索された箇所が全て消去されているため、バックアップ保存されたオリジナルの探索対象画像を再ロードする必要がある。S304の検出領域消去処理を行っても、重複する結果が存在する場合には、人手により1つを残して他は削除するような操作が行なわれる。
【0067】
上記実施形態では、探索時には、テンプレート画像については、その内容が更新されることなく利用される場合について説明したが、探索時においても、探索準備段階と同様、テンプレート画像の更新を行うようにしても良い。この場合、S302の局所マッチング処理の後、第2のテンプレート更新手段45が、S104と同様の処理を実行する。具体的には、S302で決定された画素位置(Xm、Ym)の画素ブロックを用いて、S302で決定されたテンプレートIDで特定されるテンプレート画像の各角度の画像を更新する。ここでも、S104と同様、まず、各テンプレート画像のうち、S302で決定された最適角度のものと探索対象画像上の画素ブロックの合成を行う。テンプレート画像においてマスク領域は合成を行わないので、テンプレート画像中の多角形領域内部についてのみ合成を行う。
【0068】
合成の具体的な手法としては、図7を用いて説明したように、S104と同様、多角形領域内部の各画素単位で整数の擬似乱数を順次発生させ、所定の数が出たら、探索対象画像上の画素ブロックの対応する画素の値に置き換える。最適角度のパターンについて更新処理が終わったら、第2のテンプレート更新手段45が、他の角度のパターンについても更新を行うのもS104と同様である。なお、本実施形態では、第2のテンプレート更新手段45は、目標物探索部40の一部として機能するが、その具体的な機能は、テンプレート準備部20内のテンプレート更新手段23と同一であり、実際にはソフトウェアモジュールとして提供される。そのため、局所類似性判断手段42による処理の後、目標物探索部40からの指示により、テンプレート更新手段23がテンプレート画像の更新処理を実行するようにしても良い。この場合は、テンプレート更新手段23が第2のテンプレート更新手段として機能することになる。
【図面の簡単な説明】
【0069】
【図1】本発明に係る目標物検出システムの構成図である。
【図2】テンプレート画像領域と多角形形状の関係を示す図である。
【図3】角度が異なる8つのテンプレート画像を示す図である。
【図4】判定基準値の算出およびテンプレート画像の更新の処理概要を示すフローチャートである。
【図5】探索対象(サンプル)画像上における処理の様子を示す図である。
【図6】マッチング処理の詳細を示すフローチャートである。
【図7】探索対象(サンプル)画像とテンプレート画像の合成によりテンプレート画像を更新する例を示す図である。
【図8】テンプレート画像の更新の様子を示す図である。
【図9】探索処理の概要を示すフローチャートである。
【図10】順次マッチング処理の概略を示す図である。
【図11】順次マッチング処理の詳細を示すフローチャートである。
【図12】探索対象画像上における探索の結果の最適位置と、消去された領域を示す図である。
【符号の説明】
【0070】
10・・・探索対象画像記憶部
20・・・テンプレート準備部
21・・・テンプレート作成手段
22・・・判定基準値設定手段
23・・・テンプレート更新手段
30・・・テンプレート記憶部
40・・・目標物探索部
41・・・順次類似性判断手段
42・・・局所類似性判断手段
43・・・探索結果出力手段
44・・・検出目標物消去手段
45・・・第2のテンプレート更新手段
50・・・探索結果記憶部
【技術分野】
【0001】
本発明は、画像中から目的とするパターンを検出するための技術に関し、特にパンクロマチック衛星画像に対して好適なパターン検出技術に関する。
【背景技術】
【0002】
QuickBird(米国DigitalGlobe)、ALOS“だいち”(日本JAXA)、TERRA/ASTER(日本ERSDAC)など陸域観測・地球観測衛星は高度約450km上空で地球を極軌道で周回しており、高分解能な光学センサや合成開口レーダ(SAR)を搭載し、地上を連続的にスキャニングし、定時的に地球局に画像データを伝送している。主として3種類の画像が活用され、光学センサのマルチスペクトラル・モード(カラー写真)は、可視光のRGBバンドに近赤外を加えた4バンド構成で夜間も撮影でき、地上の資源探索や大規模災害などの状況を収集するのに有効である。SAR画像は電波によるレーダ画像で、雲がかかっていても透過するため、天候が悪いときでも画像を収集でき、ドップラー効果を用いて航行中の船舶を計測することもできる(特許文献1参照)。中でも、光学センサのパンクロマチック・モード(モノクロ写真)は地上の乗用車を識別できる1m弱(世界最高分解能QuickBird 0.6m)の分解能をもち、交通状況の監視などに有益である。交通状況の監視については、地上に設置された監視カメラやヘリコプター・航空機による航空写真の方が鮮明な画像が得られるが、広域を同時観測することが難しいのと、建築物などの陰に隠れた死角が必ず発生するという問題から、近年衛星画像が注目されている。
【0003】
また、目標物を航空機と船舶に特化したテンプレートマッチングによる検出方法(特許文献2参照)、テンプレートをあらかじめ準備し、画像データの先頭画素から順次スキャンしながらテンプレートと同サイズの画素ブロックを抽出し、テンプレートと照合する手法(特許文献3参照)なども提案されている。
【特許文献1】特許第3863014号
【特許文献2】特許第3978979号
【特許文献3】特開2001−67470号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献2の手法では、同一個体の目標物が二重に検出された場合であっても、それぞれを検出結果として提示するため、最終的には人が判断しなければならないという問題がある。また、上記特許文献3の手法では、対象の合否判断を行うだけであるため、目標物の検出には適用できないという問題がある。
【0005】
特に、衛星画像から目標物を検出する場合には、ある目標物の検出位置から数画素ずれた位置では、同一個体の目標物を別個体の目標物として検出してしまうことがある一方、わずかにずれた位置に実際に別個体の目標物が存在していることもあり、その判別は困難である。例えば、船舶が岸壁に隣接して停泊している場合、同一の船舶が二重に検出されたり、隣接する船舶が検出されなかったりすることがある。
【0006】
そこで、本発明は、各個体の目標物を二重検出することなく、漏れなく的確に検出することが可能な目標物検出システムを提供することを課題とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明第1の態様では、テンプレート画像との比較により、探索対象である探索対象画像から、目標物を検出するシステムであって、前記テンプレート画像を記憶したテンプレート記憶手段と、前記探索対象画像に対して、先頭画素位置から最終画素位置まで抽出位置を順次移動させながら、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、当該類似性評価値と事前に設定された判定基準値と比較することにより類似性を判断する順次類似性判断手段と、前記順次類似性判断手段により類似性ありと判断された場合に、類似性ありと判断された画素位置から所定の範囲内の各画素位置について、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、最適な類似性評価値が得られた画素位置を目標物検出位置と判断する局所類似性判断手段と、前記局所類似性判断手段により検出された目標物に関し、その際のテンプレート画像のID、前記探索対象画像上における画素ブロックの位置を特定する画素位置、前記テンプレート画像の回転角度を出力する探索結果出力手段と、前記検出された目標物検出位置とされた画素位置に対応する前記探索対象画像上の画素ブロックにおける各画素を所定の値にセットすることにより、検出した目標物を消去する検出目標物消去手段を有する目標物検出システムを提供する。
【0008】
本発明第1の態様によれば、目標物を含むテンプレート画像と探索対象画像中の画素ブロックとの比較により探索対象画像から目標物を検出する際、目標物を最適な位置で検出し、検出した目標物を探索対象画像中から消去するようにしたので、各個体の目標物を二重検出することなく、漏れなく的確に検出することが可能となる。
【0009】
本発明第2の態様では、本発明第1の態様における順次類似性判断手段において、前記類似性評価値は複数算出され、1つの類似性評価値で類似性なしと判断された場合に、他の類似性評価値に関する判断を行うことなく類似性なしと判断することを特徴とする。本発明第2の態様によれば、類似性評価値を複数算出し、1つの類似性評価値で類似性なしと判断された場合に、全体としても類似性なしと判断するようにし、他の類似性評価値に関する判断を行わないようにしたため、全体として処理が高速化される。
【0010】
また、本発明第3の態様では、本発明第1または第2の態様における前記テンプレート画像に多角形形状の有効画像領域を設定しており、前記順次類似性判断手段および局所類似性判断手段は、前記テンプレート画像内の有効画像領域に含まれる画素群と、前記画素ブロック内の前記有効画像領域内部に対応する画素群とに基づいて、前記類似性評価値を算出するようにしていることを特徴とする。本発明第3の態様によれば、前記テンプレート画像に含まれる有効画像領域の周辺画素が、本発明第1または第2の態様における類似性評価値の算出の対象外となるため、高精度な算出が行える。
【発明の効果】
【0011】
本発明によれば、目標物を含むテンプレート画像と探索対象画像中の画素ブロックとの比較により探索対象画像から目標物を検出する際、各個体の目標物を二重検出することなく、漏れなく的確に検出することが可能となる。
【発明を実施するための最良の形態】
【0012】
以下、本発明の実施形態について図面を参照して詳細に説明する。
(1.システム構成)
まず、本発明に係る目標物検出システムの構成について説明する。図1は本発明に係る目標物検出システムの構成図である。図1において、10は探索対象画像記憶部、20はテンプレート準備部、30はテンプレート記憶部、40は目標物探索部、50は探索結果記憶部である。
【0013】
探索対象画像記憶部10は、探索対象となる画像である探索対象画像、および目標物のサンプルを記憶したサンプル画像を記憶したものである。探索対象画像上に探索対象とする目標物が多数存在していれば、その内の1つをサンプルとして用いることも可能である。この場合、探索対象画像はサンプル画像としての役割も果たすことになる。また、本実施形態では、人工衛星により撮影された画像である衛星画像を探索対象画像として記憶している。テンプレート準備部20は、サンプル画像に対して対話的に設定を行い、テンプレート画像を準備するものであり、テンプレート作成手段21、判定基準値設定手段22、テンプレート更新手段23を有している。テンプレート記憶部30は、テンプレート準備部20により準備されたテンプレート画像を記憶するものである。目標物探索部40は、探索対象画像中の所定の領域とテンプレート画像を比較することにより、目標物を探索するものであり、順次類似性判断手段41、局所類似性判断手段42、探索結果出力手段43、検出目標物消去手段44、第2のテンプレート更新手段45を有している。探索結果記憶部50は、目標物探索部40により探索された結果を記憶するものである。図1に示した目標物検出システムは、現実には汎用のコンピュータに専用のプログラムを組み込むことにより実現される。また、各記憶部は、コンピュータに内蔵または接続されたハードディスク等の記憶装置で実現される。
【0014】
(2.テンプレート画像の準備)
次に、図1に示した目標物検出システムの処理動作について説明する。まず、探索対象画像記憶部10には、人工衛星により撮影された衛星画像が探索対象画像として記憶される。本実施形態では、衛星画像として、Adobe社TIFF規格準拠のGeo−TIFF形式であり、画像データに地理情報(緯度経度情報など)が付加されたものを採用する。
【0015】
目標物検出システムが起動されると、まず、テンプレート準備部20は探索対象画像記憶部10に記憶された探索対象画像をソース画像の形式からワーク画像の形式に変換する。これは、探索の効率を上げるために行われるものである。具体的には、公知のヒストグラム平坦化技術を用いてワーク画像の形式に変換する。本実施形態では、ワーク画像をRXY形式で作成する。テンプレート準備部20は、この探索対象画像をサンプル画像として用いる。
【0016】
続いて、テンプレート準備部20は、ワーク画像形式に変換したサンプル画像としての探索対象画像を画面に表示し、テンプレート画像作成のための画像領域の指定を利用者に促す。これに対して、利用者は、画面に表示された探索対象画像において、多角形形状(本実施形態では4頂点で構成される自由な四角形形状)の画像領域の輪郭を指定する。これは、マウス操作により、四角形形状の4つの頂点を指定することにより行われる。例えば、船舶を目的物とする場合、利用者は、衛星画像に写っている船舶を見つけ、その船舶を含む有効画像領域を指定することになる。具体的には画面上に初期状態として正方形形状の四角形を表示し、利用者はいずれかの頂点を画面上で選択し、前記頂点を所望の位置までドラッギングさせることにより頂点を指示し、4つの頂点に対して順次同様な操作を行なう。指定が行われると、テンプレート作成手段21は、図2に示されるように、指定された四角形の外側に四角形を360度回転させても、はみ出さないように外接する正方形形状(図2の外側正方形形状)を同時に生成する。従って、初期状態では画面上に2重の正方形が表示されており、利用者が内側の正方形形状を所望の四角形に変形させると、それに連動して外側正方形形状が正方形を維持しながら変化する。
【0017】
利用者が、表示された探索対象画像内において、所定の四角形の有効画像領域の指定を完了すると、テンプレート作成手段21は、探索対象画像内から指定された有効画像領域の外側に定義された正方形形状に基づいてトリミングする。この結果、正方形サイズのテンプレート画像が得られ、同時にテンプレート画像内で利用者が定義した四角形領域の外側部分をマスクするような情報が付加される。具体的には、図2に示されるように、テンプレート画像の各画素値は0から255の8ビットの値をもつが、利用者が定義した四角形領域の内側は1から255の画素値をもたせ、外側は全て0の画素値をもたせるようにしている。
【0018】
さらに、テンプレート準備部20は、多角形形状およびその内部だけを所定の角度で回転させたパターンもテンプレート記憶部30に登録する。本実施形態では、角度を45度単位で回転させ、8つの異なる傾き角度に従ったテンプレート画像を作成する。角度が異なる8つのテンプレート画像を図3に示す。このとき、外側の正方形形状は利用者が指定した多角形を360度回転させても、はみ出さないように定義しているため、前記8種類の角度の多角形は同一サイズのテンプレート画像で表現することができる。本実施形態では、角度を異ならせたパターンは同一のテンプレート画像として同一のテンプレートIDで登録する。したがって、図3に示したテンプレート画像は、全て同一のテンプレートIDを持ち、各パターンは、その角度で特定する。本実施形態では、テンプレートIDを8個登録可能となっている。この場合、8個のテンプレート画像について、それぞれ8つの角度で登録されるので、全部で64パターンが登録されることになる。
【0019】
テンプレート画像が登録されたら、テンプレート準備部20は、探索対象画像上の適合とすべき対象物を指定するように促す。利用者が、適合とすべき対象物を指定すると、指定された位置付近の画素値を利用して、判定基準値の算出およびテンプレート画像の更新を行う。この判定基準値の算出およびテンプレート画像の更新について図4のフローチャートを用いて説明する。
【0020】
まず、利用者は、画面に表示された探索対象画像の内容を見て、探索対象に含めたいと考える対象物を見つけ、その対象物上の点を指定する(S101)。図5(a)は、対象物を指定する際の探索対象画像の様子を示す図である。探索対象画像中で、利用者が探索対象に含めたい対象物上の点を指定すると、図5(a)に示すように、テンプレート画像の正方形状の外枠および有効画像領域を示す多角形状が表示される。例えば、衛星画像の中から船舶を検出したい場合、衛星画像中の1つの船舶の上の点を指定する。
【0021】
続いて、テンプレート準備部20は、指定された位置を基点にしてテンプレート画像とのマッチング処理を行う(S102)。この処理を行う理由は、図5(a)のように、利用者が画面上で指定した点は視覚的な判断によるもので曖昧性に富むため、この点を基にそのまま判定基準値を算出すると、不適切な探索が行なわれる可能性が高いためである。そこで、本処理では利用者が指示した点を最適な位置に補正するものである。具体的には、図5(b)に示すように、指定された探索対象画像上の基点(Xc、Yc)とテンプレート画像の中心位置を合わせ、そこからテンプレート画像をx方向,y方向に1画素単位で、設定された範囲内において移動させながら、マッチング処理を行う。このマッチング処理の詳細については後述する。同一位置において、角度を変えた8通りのテンプレート画像に対してマッチング処理を行い、最も類似度の高い角度のテンプレート画像を選出するとともにその探索対象画像の画素位置を最適位置として特定する。
【0022】
次に、判定基準値設定手段22が、探索対象画像上の対象物が適合判定されるように判定基準値の設定を行う(S103)。判定基準値の設定が終わったら、テンプレート更新手段23が、最適位置における探索対象画像の画素ブロックとテンプレート画像を合成し、その合成画像でテンプレート画像を更新する(S104)。
【0023】
次に、上記S102におけるマッチング処理の詳細について、図6のフローチャートを用いて説明する。マッチング処理を行う際は、まず、類似性評価値となる各変数の初期化を行う。具体的には、輝度ヒストグラムの差分の最小値、階調変動ヒストグラムの差分の最小値、重心間距離の最小値、慣性モーメント差分の最小値、グレー階調画素差分の最小値、正規化相関係数の最大値の6つの変数(類似性評価値)を初期化する。本実施形態では、これら6つの変数は全て0〜1000の値をとり、正規化相関係数については、初期値を最小値0とし、他の5つの変数については、初期値を最大値1000とする。
【0024】
各変数の初期化が終わったら、輝度ヒストグラムの照合を行う(S201)。具体的には、まず、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y)(0〜255)、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy)(1〜255)とする。S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応するVt(x,y) >0となる画素(x,y)において、V(x,y)/16の値に基づく探索対象画像の16階調の輝度ヒストグラムH(v) (0≦v≦15)、およびVt(x,y)/16の値に基づくテンプレート画像の16階調の輝度ヒストグラムHt(v) (0≦v≦15)を算出する。さらに、以下の〔数式1〕に従った処理を実行して輝度ヒストグラム差分を算出する。
【0025】
〔数式1〕
(輝度ヒストグラム差分)=1000・Σ v=0,15|H(v)−Ht(v)|/ Σ v=0,15(H(v)+Ht(v))
【0026】
続いて、階調変動ヒストグラムの照合を行う(S202)。具体的には、S201と同様、テンプレート画像のサイズをS×Sとし、S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応するVt(x,y) >0となる画素(x,y)において、V(x,y)%16(16で割った余り)の値に基づく探索対象画像の16階調の階調変動ヒストグラムHD(v) (0≦v≦15)、およびVt(x,y)%16の値に基づくテンプレート画像の16階調の階調変動ヒストグラムHDt(v) (0≦v≦15)を算出する。HD(v)は各画素の下位4ビット、HDt(v)は各画素の上位4ビットに基づく階調変動ヒストグラムである。さらに、以下の〔数式2〕に従った処理を実行して階調変動ヒストグラム差分、すなわち階調変動ヒストグラム同士のユークリッド距離を算出する。
【0027】
〔数式2〕
(階調変動ヒストグラム差分)=1000・Σ v=0,15|HD(v)−HDt(v)|/ Σ v=0,15(HD(v)+HDt(v))
【0028】
次に、重心間距離の算出を行う(S203)。具体的には、まず、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y)(0〜255)、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート画像の位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy) (1〜255)とする。S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となる画素(x,y)を用いて、探索対象画像の重心(Xg,Yg)とテンプレート画像の重心(Xgt,Ygt)を以下の〔数式3〕に従った処理を実行して算出する。
【0029】
〔数式3〕
Xg= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)・x
/ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)
Yg= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)・y
/ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)
Xgt= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)・x/ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)
Ygt= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)・y/ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)
【0030】
さらに、以下の〔数式4〕に従った処理を実行して重心間距離を算出する。
【0031】
〔数式4〕
(重心間距離)=1000・{(Xg−Xgt)(Xg−Xgt)+(Yg−Ygt)(Yg−ygt)}1/2/ S
【0032】
次に、慣性モーメントの照合を行う(S204)。具体的には、まず、S203で求めた探索対象画像の重心(Xg,Yg)およびテンプレート画像の重心(Xgt,Ygt)を用いて、S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となる画素(x,y)を用いて、探索対象画像の慣性モーメントM、 およびテンプレート画像の慣性モーメントMtを以下の〔数式5〕に従った処理を実行して算出する。
【0033】
〔数式5〕
M= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)・[(x-Xg)(x-Xg)+(y-Yg)(y-Yg)]
/Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)
Mt= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)・[(x-Xgt)(x-Xgt)+(y-Ygt)(y-Ygt)]
/Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)
【0034】
さらに、以下の〔数式6〕に従った処理を実行して慣性モーメント差分を算出する。
【0035】
〔数式6〕
(慣性モーメント差分)=1000・|M−Mt|/ (M+Mt)
【0036】
上記S201〜S204は、角度に依存しない処理である。したがって、各テンプレート画像について1回だけ行えばよい。S201〜S204の処理は、いずれの角度のテンプレート画像を用いても良いため、本実施形態では、代表して0度のテンプレート画像を用いている。ここからのS205、S206は、角度に依存する処理であるため、同一IDをもつテンプレート画像についても、角度別に処理を行う。まず、グレー階調画素差分の算出を行う(S205)。具体的には、まず、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y) (0〜255)、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy) (1〜255)とする。ここで、シャドウ側をハイライト側に上げ、中間調部をシャドウ側に落とすような以下の階調変換を施す。Vt(x,y)≧128のとき、Vt'(x,y)=Vt(x,y)-128、 Vt(x,y)<128のとき、Vt'(x,y)=127-Vt(x,y) V(x,y) ≧128のとき、V'(x,y)=V(x,y)-128、 V(x,y)<128のとき、V'(x,y)=127-V(x,y) S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となるC個の画素(x,y)を用いて、以下の〔数式7〕に従った処理を実行して探索対象画像とテンプレート画像の画素差分であるグレー階調画素差分を算出する。
【0037】
〔数式7〕
(グレー階調画素差分)= 1000・Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 |V'(x+Xc+dx,y+Yc+dy)−Vt'(x,y)|
/ ( V'(x+Xc+dx,y+Yc+dy)+Vt'(x,y) )
【0038】
次に、正規化相関係数の算出を行う(S206)。具体的には、まず、テンプレート画像のサイズをS×Sとし、テンプレート画像の画素(x,y) (0≦x≦S-1, 0≦y≦S-1)における階調値をVt(x,y) (0〜255)、探索対象画像の位置(Xc+dx,Yc+dy) を起点とする領域内のテンプレート位置(x,y)に対応する画像階調値をV(x+Xc+dx,y+Yc+dy) (1〜255)とする。S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となるC個の画素(x,y)を用いて、探索対象画像の平均階調値Vaとテンプレート画像の平均階調値Vatを以下の〔数式8〕に従った処理を実行して算出する。
【0039】
〔数式8〕
Va= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 V(x+Xc+dx,y+Yc+dy)/ C
Vat= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 Vt(x,y)/ C
C= Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 1
【0040】
そして、S×S 画素の範囲内で、図2で示した有効画像領域内の画素に対応する Vt(x,y) >0となる画素(x,y)を用いて、周知の計算式に基づいて正規化相関係数を以下の〔数式9〕に従った処理を実行して算出する。ただし、正規化相関係数が負値(負の相関)となる場合は0(相関無し)として扱う。
【0041】
〔数式9〕
(正規化相関係数)= 1000・Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 (V(x+Xc+dx,y+Yc+dy)-Va)・(Vt(x,y)-Vat)
/[Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 (V(x+Xc+dx,y+Yc+dy)-Va)2・ Σ y=0,S-1 Σ x=0,S-1 | Vt(x,y)≠0 (Vt(x,y)-Vat)2]1/2
【0042】
続いて、各変数の更新を行う(S207)。具体的には、S201において算出した輝度ヒストグラム差分が、現在設定されている輝度ヒストグラム差分の最小値より小さく、かつS206において算出した正規化相関係数が現在設定されている正規化相関係数の最大値より大きい場合、輝度ヒストグラムの差分の最小値、階調変動ヒストグラムの差分の最小値、重心間距離の最小値、慣性モーメント差分の最小値、グレー階調画素差分の最小値、正規化相関係数の最大値の6つの変数を今回算出した値に置き換える。そして、位置、テンプレートID、角度の値を、このときの位置、テンプレートID、角度の値で更新する。
【0043】
各変数の更新が終わったら、1つのテンプレート画像について、全ての角度のパターンの処理が終わったかどうかを判断する(S208)。全ての角度のパターンについて処理が終わっていない場合は、S205に戻って、角度に依存するグレー階調画素差分の算出、正規化相関係数の算出を行う。全ての角度のパターンについて処理が終わった場合は、S209に進む。したがって、本実施形態では、1つのテンプレート画像につき、8通りの角度について、S205〜S207の処理が繰り返される。
【0044】
1つのテンプレート画像の全角度について処理が終わったら、全てのテンプレート画像について処理が終わったかどうかを判断する(S209)。全てのテンプレート画像について処理が終わっていない場合は、S201〜S208の処理を繰り返す。全てのテンプレート画像について処理が終わった場合は、S210に進む。したがって、本実施形態では、1つの画素位置につき、8個のテンプレート画像について、S201〜S208の処理が繰り返される。
【0045】
全てのテンプレート画像について処理が終わったら、全ての画素位置について処理が終わったかどうかを判断する(S210)。全ての画素位置とは、指定された基点(Xc、Yc)からx軸、y軸方向にそれぞれ所定画素の範囲に含まれる画素の位置を意味する。所定画素の範囲としては、テンプレート画像のx軸、y軸方向のそれぞれ5%程度が設定されている。例えば、テンプレート画像が100×100画素である場合、5×5の計25画素の位置について、図5に示した処理が繰り返される。全ての画素位置について処理が終わっていない場合は、S201〜S209の処理を繰り返す。全ての画素位置について処理が終わった場合は、各変数を出力して、マッチング処理を終了する。各変数は、各テンプレート画像単位で出力される。
【0046】
次に、S103の判定基準値の設定の詳細について説明する。判定基準値は、判定基準値設定手段22により、マッチング処理において出力された各変数に所定の値を乗じることにより設定される。本実施形態では、正規化相関係数については、出力された正規化相関係数の最大値に0.9を乗じた値を判定基準値とし、他の5つの変数については、出力された値に1.1を乗じた値を判定基準値としている。具体的には、以下の〔数式10〕に従った処理を実行して算出する。
【0047】
〔数式10〕
(輝度ヒストグラム差分の判定基準値)=(輝度ヒストグラム差分の最小値)×1.1
(階調変動ヒストグラム差分の判定基準値)=(階調変動ヒストグラム差分の最小値)×1.1
(重心間距離の判定基準値)=(重心間距離の最小値)×1.1
(慣性モーメント差分の判定基準値)=(慣性モーメント差分の最小値)×1.1
(グレー階調画素差分の判定基準値)=(グレー階調画素差分の最小値)×1.1
(正規化相関係数の判定基準値)=(正規化相関係数の最大値)×0.9
【0048】
続いて、S104のテンプレートの更新の詳細について説明する。S104では、テンプレート更新手段23が、各テンプレート画像を更新する。具体的には、各テンプレート画像の最適位置における探索対象画像上の画素ブロックを用いて、各テンプレート画像の各角度の画像を更新する。まず、各テンプレート画像のうち、最適角度のものと探索対象画像上の画素ブロックの合成を行う。テンプレート画像においてマスク領域は合成を行わないので、テンプレート画像中の有効画像領域内部についてのみ合成を行う。
【0049】
合成の具体的な手法としては、有効画像領域内部の各画素単位で整数の擬似乱数を順次発生させ、所定の数が出たら、探索対象画像上の画素ブロックの対応する画素の値に置き換える。例えば、奇数が出たら、探索対象画像上の画素ブロックの対応する画素に置き換えるように設定しておけば、約半分の確率で有効画像領域内部の画素が探索対象画像の画素に置き換えられる。図7は、探索対象画像とテンプレート画像の合成によりテンプレート画像を更新する例を示す図である。図7の例では、説明の便宜のため、画像サイズを5×5画素に簡略化している。図7(b)はテンプレート画像であり、Tは有効画像領域(多角形領域)内部の画素を示し、空白はマスク領域の画素を示している。図7(a)はテンプレート画像に対して最適位置と判断された探索対象画像上の画素ブロックであり、Wは探索対象画像上の画素を示している。この2つの画像に上述のような合成処理を施した結果、図7(c)に示すように、テンプレート画像の有効画像領域の画素Tのうち約半数が探索対象画像の画素Wに置き換えられた合成画像が得られる。この合成画像が、更新されたテンプレート画像として登録される。なお、乱数の発生方式は処理を行う度に異なる系列になるように、シーズを毎回変更する。
【0050】
最適角度のパターンについて、更新処理が終わったら、他の角度のパターンについても更新を行う。他の角度のパターンについては、最適角度との角度の差を求め、その角度だけ探索対象画像上の画素ブロックを回転し、有効画像領域内部の各画素単位を回転した探索対象画像上の画素ブロックの対応する画素に置き換える。このようにして、全ての角度についてテンプレート画像が更新される。あらかじめ用意した全てのテンプレート画像に対して同様の処理を行うことにより、全てのテンプレート画像を更新する。図8はテンプレート画像の更新の様子を示す図である。図8に示すように、探索対象画像上における最適位置の画素ブロックを用いて、全ての角度の画像を更新する。
【0051】
(3.探索処理)
以上のようにして、テンプレート画像の準備が完了したら、準備されたテンプレート画像を用いて、目標物探索部40が目標物の探索を行う。この目標物の探索処理について図9のフローチャートを用いて説明する。利用者が目標物探索処理を指示すると、目標物探索部40の順次類似性判断手段41が、順次マッチング処理を行う(S301)。具体的には、探索対象画像中の始点画素位置から順次パターンマッチング処理を実行し、類似判定する位置を見つける。
【0052】
図10は、順次マッチング処理の概略を示す図である。順次マッチング処理は、最初に、探索対象画像中の始点画素位置(0,0)を起点として(S−1,S−1)までの正方形状の画素ブロックと、テンプレート画像との比較を行い、(1,0)を起点とする正方形領域、(2,0)を起点とする正方形領域…というように、X方向スキャン範囲に1画素づつ移動させて比較を行っていき、x軸方向について終了したら、Y方向スキャン範囲に1画素分移動し、(0,1)を起点とする正方形領域、(1,1)を起点とする正方形領域…というように順次探索対象画像全体についてテンプレート画像との比較を行っていく。
【0053】
各画素位置におけるマッチング処理は、まず、同一IDのテンプレート画像のうちの1つとのマッチングを行う角度非依存テンプレートマッチングと、同一IDのテンプレート画像のうちの全8個とのマッチングを行う角度依存テンプレートマッチングとに分けて行われる。角度非依存テンプレートマッチングで不適合と判断された場合は、角度依存テンプレートマッチングを行うことなく、次の画素位置に移動する。
【0054】
画素位置を特定した場合の順次マッチング処理の詳細を図11のフローチャートに示す。まず、S102のマッチング処理と同様、類似性評価値となる各変数の初期化を行う。具体的には、輝度ヒストグラムの差分の最小値、階調変動ヒストグラムの差分の最小値、重心間距離の最小値、慣性モーメント差分の最小値、グレー階調画素差分の最小値、正規化相関係数の最大値の6つの変数を初期化する。探索処理で用いる6つの類似性評価値も全て0〜1000の値をとり、正規化相関係数については、初期値を最小値0とし、他の5つの変数については、初期値を最大値1000とする。続いて、輝度ヒストグラムの照合を行う(S401)。具体的には、上記S201と同様に、〔数式1〕に従った処理を実行して輝度ヒストグラム差分を算出する。そして、この輝度ヒストグラム差分と、S103で設定した判定基準値の比較を行い、判定基準値以上の場合は、不適合となる。不適合とは、類似性がないことを意味する。不適合となった場合は、現在利用しているテンプレート画像では適合しないと判断し、全てのテンプレート画像との処理を終えたかどうかを判断する(S409)。全てのテンプレート画像との処理が終了していない場合は、別のテンプレート画像に変更して(S410)、S401に戻る。
【0055】
S401において、輝度ヒストグラム差分が判定基準値より小さい場合は、階調変動ヒストグラムの照合を行う(S402)。具体的には、上記S202と同様に、〔数式2〕に従った処理を実行して階調変動ヒストグラム差分を算出する。そして、この階調変動ヒストグラム差分と、S103で設定した判定基準値の比較を行い、判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、S401で不適合となった場合と同様である。
【0056】
S402において、階調変動ヒストグラム差分が判定基準値より小さい場合は、重心間距離の算出を行う(S403)。具体的には、上記S203と同様に、〔数式3〕〔数式4〕に従った処理を実行して重心間距離を算出する。そして、この重心間距離と、S103で設定した判定基準値の比較を行い、判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、S401で不適合となった場合と同様である。
【0057】
S403において、重心間距離が判定基準値より小さい場合は、慣性モーメントの照合を行う(S404)。具体的には、上記S204と同様に、〔数式5〕〔数式6〕に従った処理を実行して慣性モーメント差分を算出する。そして、この慣性モーメント差分と、S103で設定した判定基準値の比較を行い、判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、S401で不適合となった場合と同様である。S401〜S404の処理は、角度に依存しない処理であるため、それぞれテンプレート画像と照合して1回でも不適合であれば、別のテンプレート画像との処理に移行することになる。
【0058】
S404において、慣性モーメント差分が判定基準値より小さい場合は、グレー階調画素差分の算出を行う(S405)。具体的には、上記S205と同様に、〔数式7〕に従った処理を実行してグレー階調画素差分を算出する。グレー階調画素差分の算出処理においては、S401〜S404の処理とは異なり、同一のテンプレート画像について全ての角度に対して処理を行う。グレー階調画素差分は、最小のものに更新され、そのときの角度が記録される。そして、全ての角度に対してグレー階調画素差分の算出が終わったら(S406)、最小となったグレー階調画素差分と、S103で設定した判定基準値の比較を行い、グレー階調画素差分が判定基準値以上の場合は、不適合となる。不適合となった場合の処理は、S401で不適合となった場合と同様である。
【0059】
グレー階調画素差分が判定基準値より小さい場合は、正規化相関係数の算出を行う(S407)。具体的には、上記S206と同様に、〔数式8〕〔数式9〕に従った処理を実行して正規化相関係数を算出する。正規化相関係数の算出処理においても、S405におけるグレー階調画素差分の算出処理と同様、同一のテンプレート画像について全ての角度に対して処理を行う。正規化相関係数は、最大のものに更新され、そのときの角度が記録される。そして、全ての角度に対して正規化相関係数の算出が終わった場合の処理は、S401で不適合となった場合と同様である。
【0060】
全テンプレート画像について処理が終わったら、正規化相関係数の照合を行う(S411)。具体的には、最大となった正規化相関係数と、S103で設定した判定基準値の比較を行い、正規化相関係数が判定基準値より大きい場合は、適合となる。正規化相関係数が適合となった場合は、全項目すなわち6つの類似性評価値全てが適合であるテンプレートがあるかどうかを判断する(S412)。全項目が適合であるテンプレートがある場合は、全項目が適合であるテンプレートと、その角度が一致するかどうかを判断する(S413)。すなわち、S405およびS406におけるグレー階調画素差分の算出処理において最小値を与えるテンプレートおよび角度と、S407およびS408における正規化相関係数の算出処理において最大値を与えるテンプレートおよび角度とが各々一致し、前記一致するテンプレートがS401、S402、S403、S404、S406およびS411において全て適合すると判断された場合は、適合終了となり、各変数、すなわちテンプレートID、画素位置(Xc、Yc)、角度、6つの類似性評価値を出力する。いずれかにおいて、不適合となる場合は、不適合終了となり、次の画素位置に対して、順次マッチング処理を行う。
【0061】
図11に示した順次マッチング処理においては、順次類似性判断手段41により、S401の輝度ヒストグラムの照合、S402の階調変動ヒストグラムの照合、S403の重心間距離の算出、S404の慣性モーメントの照合、S405、S406のグレー階調画素差分の算出、S407、S408の正規化相関係数の算出の6つの適合性判定処理が行われるが、これらの適合性判定処理は、処理負荷が小さいものから順に行われるように設定されている。すなわち、本実施形態では、輝度ヒストグラムの照合が最も処理負荷が小さく、正規化相関係数の算出が最も処理負荷が大きい。これは、1つの処理で不適合と判定された場合に、全体として非類似と判断するという条件とすると、処理負荷が小さいものから先に行った方が効率が良いからである。特に、グレー階調画素差分の算出、正規化相関係数の算出については、各角度について実行するため、1つの角度についてのみ実行する輝度ヒストグラムの照合、階調変動ヒストグラムの照合、重心間距離の算出、慣性モーメントの照合に比べて処理負荷は格段に大きくなる。
【0062】
S301の順次マッチング処理が適合終了となったら、次に、局所類似性判断手段42が、局所マッチング処理を行う(S302)。S301の順次マッチング処理は、探索対象画像全体における目標物の大まかな位置を探索するのに対し、S302の局所マッチング処理は、目標物の詳細な位置を探索する。具体的には、順次マッチング処理で最適と判断された位置(Xc、Yc)を起点に、画素スキャン進行方向(右方向、下方向)に所定の微小幅(ΔX、ΔY)だけ動かしながらテンプレートマッチングを実行し、6つの類似性評価値を最小値、最大値に更新し、そのときのテンプレートID、画素位置(Xm、Ym)、角度Amを出力する。マッチング処理の詳細は、図11に示した順次マッチング処理とは異なり図4のS102のマッチング処理、具体的には図6に示される処理と同じである。順次マッチング処理はある位置(Xc,Yc)で適合するか否かだけを判定すれば良かったが、局所マッチング処理は適合判定される微小範囲内で、更に最良の条件で適合する位置を探索する必要があるためである。
【0063】
局所マッチング処理が終了したら、目標物探索部40の探索結果出力手段43が、探索結果の出力を行う(S303)。具体的には、テンプレートID、位置(Xm、Ym)、角度Am、および6つの類似性評価値をリスト出力する。
【0064】
続いて、検出目標物消去手段44が、検出領域の消去を行う(S304)。具体的には、探索対象画像において、最適位置におけるテンプレート画像の図2で示した有効画像領域内部に相当する部分を消去する。すなわち、有効画像領域内部に位置する探索対象画像上の画素の値を全て0にセットする。図12は、探索対象画像上における探索の結果の最適位置と、消去された領域を示す図である。探索の結果、探索対象画像上の目標物に対して、図12(a)に示すような位置がテンプレート画像の有効画像領域の最適位置となった場合、図12(b)に示すように、探索対象画像上における有効画像領域に相当する部分が消去される。ただし、本探索処理終了後に探索位置を探索対象画像上でグラフィカルに表示する要求に応えるため、目標物探索部40は、消去前のオリジナルの探索対象画像をバックアップ保存する。
【0065】
S301〜S304の処理は、探索対象画像上の全画素に対して行われる。その際、S304において、適合した領域の内部が消去されるため、その付近の画素に対して順次マッチング処理を行っても適合となることはなく、1つの目標物を重複して見つけてしまうことを防ぐことができる。
【0066】
S303において出力された結果は、上述のように、探索結果出力手段43により探索結果として出力される。具体的には、検出された目的物の位置・方角をリスト出力する。この場合、位置については、画素位置を衛星画像が保有する緯度経度の情報に変換して出力する。また、探索画像上に検出した目的物の位置をグラフィカルに示すことも可能である。この場合、探索された箇所が全て消去されているため、バックアップ保存されたオリジナルの探索対象画像を再ロードする必要がある。S304の検出領域消去処理を行っても、重複する結果が存在する場合には、人手により1つを残して他は削除するような操作が行なわれる。
【0067】
上記実施形態では、探索時には、テンプレート画像については、その内容が更新されることなく利用される場合について説明したが、探索時においても、探索準備段階と同様、テンプレート画像の更新を行うようにしても良い。この場合、S302の局所マッチング処理の後、第2のテンプレート更新手段45が、S104と同様の処理を実行する。具体的には、S302で決定された画素位置(Xm、Ym)の画素ブロックを用いて、S302で決定されたテンプレートIDで特定されるテンプレート画像の各角度の画像を更新する。ここでも、S104と同様、まず、各テンプレート画像のうち、S302で決定された最適角度のものと探索対象画像上の画素ブロックの合成を行う。テンプレート画像においてマスク領域は合成を行わないので、テンプレート画像中の多角形領域内部についてのみ合成を行う。
【0068】
合成の具体的な手法としては、図7を用いて説明したように、S104と同様、多角形領域内部の各画素単位で整数の擬似乱数を順次発生させ、所定の数が出たら、探索対象画像上の画素ブロックの対応する画素の値に置き換える。最適角度のパターンについて更新処理が終わったら、第2のテンプレート更新手段45が、他の角度のパターンについても更新を行うのもS104と同様である。なお、本実施形態では、第2のテンプレート更新手段45は、目標物探索部40の一部として機能するが、その具体的な機能は、テンプレート準備部20内のテンプレート更新手段23と同一であり、実際にはソフトウェアモジュールとして提供される。そのため、局所類似性判断手段42による処理の後、目標物探索部40からの指示により、テンプレート更新手段23がテンプレート画像の更新処理を実行するようにしても良い。この場合は、テンプレート更新手段23が第2のテンプレート更新手段として機能することになる。
【図面の簡単な説明】
【0069】
【図1】本発明に係る目標物検出システムの構成図である。
【図2】テンプレート画像領域と多角形形状の関係を示す図である。
【図3】角度が異なる8つのテンプレート画像を示す図である。
【図4】判定基準値の算出およびテンプレート画像の更新の処理概要を示すフローチャートである。
【図5】探索対象(サンプル)画像上における処理の様子を示す図である。
【図6】マッチング処理の詳細を示すフローチャートである。
【図7】探索対象(サンプル)画像とテンプレート画像の合成によりテンプレート画像を更新する例を示す図である。
【図8】テンプレート画像の更新の様子を示す図である。
【図9】探索処理の概要を示すフローチャートである。
【図10】順次マッチング処理の概略を示す図である。
【図11】順次マッチング処理の詳細を示すフローチャートである。
【図12】探索対象画像上における探索の結果の最適位置と、消去された領域を示す図である。
【符号の説明】
【0070】
10・・・探索対象画像記憶部
20・・・テンプレート準備部
21・・・テンプレート作成手段
22・・・判定基準値設定手段
23・・・テンプレート更新手段
30・・・テンプレート記憶部
40・・・目標物探索部
41・・・順次類似性判断手段
42・・・局所類似性判断手段
43・・・探索結果出力手段
44・・・検出目標物消去手段
45・・・第2のテンプレート更新手段
50・・・探索結果記憶部
【特許請求の範囲】
【請求項1】
テンプレート画像との比較により、探索対象である探索対象画像から、目標物を検出するシステムであって、
前記テンプレート画像を記憶したテンプレート記憶手段と、
前記探索対象画像に対して、先頭画素位置から最終画素位置まで抽出位置を順次移動させながら、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、当該類似性評価値と事前に設定された判定基準値と比較することにより類似性を判断する順次類似性判断手段と、
前記順次類似性判断手段により類似性ありと判断された場合に、類似性ありと判断された画素位置から所定の範囲内の各画素位置について、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、最適な類似性評価値が得られた画素位置を目標物検出位置と判断する局所類似性判断手段と、
前記局所類似性判断手段により検出された目標物に関し、その際のテンプレート画像のID、前記探索対象画像上における画素ブロックの位置を特定する画素位置、前記テンプレート画像の回転角度を出力する探索結果出力手段と、
前記検出された目標物検出位置とされた画素位置に対応する前記探索対象画像上の画素ブロックにおける各画素を所定の値にセットすることにより、検出した目標物を消去する検出目標物消去手段と、
を有することを特徴とする目標物検出システム。
【請求項2】
請求項1において、
前記順次類似性判断手段において、前記類似性評価値は複数算出され、1つの類似性評価値で類似性なしと判断された場合に、他の類似性評価値に関する判断を行うことなく類似性なしと判断するものであることを特徴とする目標物検出システム。
【請求項3】
請求項1または請求項2において、
前記テンプレート画像には多角形形状の有効画像領域が設定されており、前記順次類似性判断手段および前記局所類似性判断手段は、前記テンプレート画像内の有効画像領域に含まれる画素群と、前記画素ブロック内の前記有効画像領域内部に対応する画素群とに基づいて、前記類似性評価値を算出するようにしていることを特徴とする目標物検出システム。
【請求項4】
請求項3において、
前記順次類似性判断手段、局所類似性判断手段における類似性評価値は、前記テンプレート画像内の有効画像領域の角度を回転させず、前記有効画像領域に含まれる画素群とそれに対応する前記画素ブロック内の画素群とを所定の照合方法で照合して、角度に依存せずに算出する類似性評価値と、前記テンプレート画像内の有効画像領域を所定の角度で回転させながら、前記有効画像領域に含まれる画素群とそれに対応する前記画素ブロック内の画素群とを所定の照合方法で照合して、角度に依存させて算出する類似性評価値の2種類が存在することを特徴とする目標物検出システム。
【請求項5】
請求項1から請求項4のいずれかにおいて、
前記順次類似性判断手段、局所類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の各々に対する階調変動ヒストグラムを算出し、双方の階調変動ヒストグラム同士のユークリッド距離を、前記類似性評価値として算出するものであることを特徴とする目標物検出システム。
【請求項6】
請求項5において、
前記階調変動ヒストグラム同士のユークリッド距離は、各画素値から抽出した上位ビットに基づく階調変動ヒストグラムと下位ビットに基づく階調変動ヒストグラム同士のユークリッド距離であることを特徴とする目標物検出システム。
【請求項7】
請求項3から請求項6のいずれかにおいて、
前記順次類似性判断手段、局所類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の各々の階調値を重みとした重心位置を算出し、双方の重心間距離および双方の慣性モーメントの差分値を類似性評価値として用いるものであることを特徴とする目標物検出システム。
【請求項8】
請求項1から請求項7のいずれかにおいて、
前記順次類似性判断手段、局所類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の階調値の差分値を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
【請求項9】
請求項1から請求項8のいずれかにおいて、
前記順次類似性判断手段、局所類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の階調値に基づく正規化相関係数を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
【請求項10】
請求項3から請求項9のいずれかにおいて、
目標物のサンプルを記録したサンプル画像から指定された所定の多角形領域を切り出してテンプレート画像の有効画像領域を定義し、前記有効画像領域を任意の角度に回転させても包含するように定義された正方形形状のテンプレート画像を作成し、当該テンプレート画像を前記定義された有効画像領域の情報とともに、前記テンプレート記憶手段に記憶させるテンプレート作成手段をさらに有することを特徴とする目標物検出システム。
【請求項11】
請求項3から請求項10のいずれかにおいて、
前記探索結果出力手段は、前記局所類似性判断手段により検出された目標物について、テンプレート画像のID、前記探索対象画像上における画素ブロックの位置を特定する画素位置、前記テンプレート画像の回転角度に対応したテンプレート画像の有効画像領域の輪郭線を、前記探索対象画像上に重ねて出力することを特徴とする目標物検出システム。
【請求項12】
コンピュータを、請求項1から請求項11のいずれかに記載の目標物検出システムとして機能させるためのプログラム。
【請求項1】
テンプレート画像との比較により、探索対象である探索対象画像から、目標物を検出するシステムであって、
前記テンプレート画像を記憶したテンプレート記憶手段と、
前記探索対象画像に対して、先頭画素位置から最終画素位置まで抽出位置を順次移動させながら、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、当該類似性評価値と事前に設定された判定基準値と比較することにより類似性を判断する順次類似性判断手段と、
前記順次類似性判断手段により類似性ありと判断された場合に、類似性ありと判断された画素位置から所定の範囲内の各画素位置について、前記各テンプレート画像と同一サイズの画素ブロックを前記探索対象画像から抽出し、前記テンプレート画像と前記画素ブロックの類似性評価値を算出し、最適な類似性評価値が得られた画素位置を目標物検出位置と判断する局所類似性判断手段と、
前記局所類似性判断手段により検出された目標物に関し、その際のテンプレート画像のID、前記探索対象画像上における画素ブロックの位置を特定する画素位置、前記テンプレート画像の回転角度を出力する探索結果出力手段と、
前記検出された目標物検出位置とされた画素位置に対応する前記探索対象画像上の画素ブロックにおける各画素を所定の値にセットすることにより、検出した目標物を消去する検出目標物消去手段と、
を有することを特徴とする目標物検出システム。
【請求項2】
請求項1において、
前記順次類似性判断手段において、前記類似性評価値は複数算出され、1つの類似性評価値で類似性なしと判断された場合に、他の類似性評価値に関する判断を行うことなく類似性なしと判断するものであることを特徴とする目標物検出システム。
【請求項3】
請求項1または請求項2において、
前記テンプレート画像には多角形形状の有効画像領域が設定されており、前記順次類似性判断手段および前記局所類似性判断手段は、前記テンプレート画像内の有効画像領域に含まれる画素群と、前記画素ブロック内の前記有効画像領域内部に対応する画素群とに基づいて、前記類似性評価値を算出するようにしていることを特徴とする目標物検出システム。
【請求項4】
請求項3において、
前記順次類似性判断手段、局所類似性判断手段における類似性評価値は、前記テンプレート画像内の有効画像領域の角度を回転させず、前記有効画像領域に含まれる画素群とそれに対応する前記画素ブロック内の画素群とを所定の照合方法で照合して、角度に依存せずに算出する類似性評価値と、前記テンプレート画像内の有効画像領域を所定の角度で回転させながら、前記有効画像領域に含まれる画素群とそれに対応する前記画素ブロック内の画素群とを所定の照合方法で照合して、角度に依存させて算出する類似性評価値の2種類が存在することを特徴とする目標物検出システム。
【請求項5】
請求項1から請求項4のいずれかにおいて、
前記順次類似性判断手段、局所類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の各々に対する階調変動ヒストグラムを算出し、双方の階調変動ヒストグラム同士のユークリッド距離を、前記類似性評価値として算出するものであることを特徴とする目標物検出システム。
【請求項6】
請求項5において、
前記階調変動ヒストグラム同士のユークリッド距離は、各画素値から抽出した上位ビットに基づく階調変動ヒストグラムと下位ビットに基づく階調変動ヒストグラム同士のユークリッド距離であることを特徴とする目標物検出システム。
【請求項7】
請求項3から請求項6のいずれかにおいて、
前記順次類似性判断手段、局所類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の各々の階調値を重みとした重心位置を算出し、双方の重心間距離および双方の慣性モーメントの差分値を類似性評価値として用いるものであることを特徴とする目標物検出システム。
【請求項8】
請求項1から請求項7のいずれかにおいて、
前記順次類似性判断手段、局所類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の階調値の差分値を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
【請求項9】
請求項1から請求項8のいずれかにおいて、
前記順次類似性判断手段、局所類似性判断手段は、前記テンプレート画像に含まれる画素とそれに対応する前記画素ブロック内の画素の階調値に基づく正規化相関係数を、前記類似性評価値として用いるものであることを特徴とする目標物検出システム。
【請求項10】
請求項3から請求項9のいずれかにおいて、
目標物のサンプルを記録したサンプル画像から指定された所定の多角形領域を切り出してテンプレート画像の有効画像領域を定義し、前記有効画像領域を任意の角度に回転させても包含するように定義された正方形形状のテンプレート画像を作成し、当該テンプレート画像を前記定義された有効画像領域の情報とともに、前記テンプレート記憶手段に記憶させるテンプレート作成手段をさらに有することを特徴とする目標物検出システム。
【請求項11】
請求項3から請求項10のいずれかにおいて、
前記探索結果出力手段は、前記局所類似性判断手段により検出された目標物について、テンプレート画像のID、前記探索対象画像上における画素ブロックの位置を特定する画素位置、前記テンプレート画像の回転角度に対応したテンプレート画像の有効画像領域の輪郭線を、前記探索対象画像上に重ねて出力することを特徴とする目標物検出システム。
【請求項12】
コンピュータを、請求項1から請求項11のいずれかに記載の目標物検出システムとして機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2009−205638(P2009−205638A)
【公開日】平成21年9月10日(2009.9.10)
【国際特許分類】
【出願番号】特願2008−50096(P2008−50096)
【出願日】平成20年2月29日(2008.2.29)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
【公開日】平成21年9月10日(2009.9.10)
【国際特許分類】
【出願日】平成20年2月29日(2008.2.29)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
[ Back to top ]