画像判読支援方法および装置
【課題】
正確な画像判読結果が容易に得られる画像判読支援方法および装置を提供する。
【解決手段】
観測センサ１０２から得られるリモートセンシング画像を判読して得られた、複数個の同一種の地物に対して、判読支援装置１１２の自動分類手段１１３は、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせによって自動分類を行い判読結果データベース１０６に蓄積する。判読結果修正候補抽出手段１０７は、自動分類結果である尤度の比較を行うことで判読結果修正候補を抽出する。この判読修正候補に対して再判断を行い、判読結果更新手段１１０により、判読結果データデース１０６を更新する。これにより、効率よく判読作業の修正作業を行うことができる。
正確な画像判読結果が容易に得られる画像判読支援方法および装置を提供する。
【解決手段】
観測センサ１０２から得られるリモートセンシング画像を判読して得られた、複数個の同一種の地物に対して、判読支援装置１１２の自動分類手段１１３は、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせによって自動分類を行い判読結果データベース１０６に蓄積する。判読結果修正候補抽出手段１０７は、自動分類結果である尤度の比較を行うことで判読結果修正候補を抽出する。この判読修正候補に対して再判断を行い、判読結果更新手段１１０により、判読結果データデース１０６を更新する。これにより、効率よく判読作業の修正作業を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リモートセンシング画像を用いた画像解析、特にその画像判読支援技術に関する。
【背景技術】
【０００２】
航空機、ヘリコプター、気球、人工衛星などの飛しょう体によって撮影された画像（以下、リモートセンシング画像と呼ぶ）には様々な地物が存在する。これらの地物を人手によって見分けることを目視判読、画像判読、あるいは、単に判読と呼ぶ。
【０００３】
リモートセンシング画像を目視判読することで、様々な情報を得ることが可能になる。例えば、地震や火災などにより被災した地域の上空から得られるリモートセンシング画像は、その広域性や情報量から、被害状況を把握する上で非常に有用である。また、港湾や公海を撮影したリモートセンシング画像を判読することで、海上交通量の定常的な観測を行うことが可能となる。また、道路や鉄道を含む地域を撮影したリモートセンシング画像を判読することで、道路地図や鉄道地図作成することができる。また、撮影時期をずらして同一地域を複数回撮影して、リモートセンシング画像を得て、それらの画像の差分を抽出することで、道路の建設状況を把握することができる。さらに、地物の構造の整然度をみることで市街化率、農地率、などを算出する指標に用いることもできる。また、火災シミュレーション、市街化開発の推移、都市計画などに役立てることもできる。
【０００４】
このような判読作業は、リモートセンシング画像を計算機のディスプレイに表示して、目視により地物を判読し、個々の地物の種類を示す地物の名称をリモートセンシング画像の上に重畳して記入していくことで行われる。あるいは、リモートセンシング画像を紙などの媒体に印刷し、それを目視によって判読してその結果を紙の上に記入し、その後、判読結果を電子化することもある。
【０００５】
このような判読作業を効率よく行う方法として、これまでに以下の方法が提案されている。すなわち、リモートセンシング画像と、該リモートセンシング画像に対する判読結果を用意し、画像と判読結果を数秒間隔で交互に表示させる、いわゆる、フリッカー表示させることで、人間の視覚の残像効果を利用して効率よく判読作業を進める方法がある。（例えば、特許文献１参照）。
【０００６】
また、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせた技術を用いて、リモートセンシング画像中の地物を自動的に分類（以下、自動分類）する方法が提案されている（例えば、特許文献２）。この自動分類の結果、リモートセンシング画像のどの位置に、どの地物が存在しているかわかる。この結果を判読作業の代わりとする。この文献に開示された手法では、地物の種類ごとに、地物の抽出アルゴリズムやパラメータを変えることで、より高精度な自動分類を実現している。また、地物の種類がわからない場合には、複数の地物抽出アルゴリズムを用いて複数の分類結果を得て、最後に分類結果の尤度（正確度）の高い順に出力する方法も開示されている。
【０００７】
【特許文献１】特開２００１−３３８２９２号公報
【特許文献２】特開２００１−３０７１０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、地物の判読作業は人間が行うので、誤った地物の種類を付与してしまう可能性がある。この地物判読の精度をより高くするためには、同一のリモートセンシング画像に対する判読結果の確認、修正を再度行うことが考えられる。このような見直し作業を複数回繰り返すことにより、徐々に判読精度が高まること期待できる。
【０００９】
しかし、飛しょう体で一度に撮影される範囲は広く、例えば人工衛星で撮像したリモートセンシング画像は数十キロ×数十キロの広範囲に及ぶこともあり、そのような画像の隅々まで目視によって判読するのは非常に時間がかかるという問題があった。また、近年では多くの人工衛星が打ち上げられ、入手可能なリモートセンシング画像が多くなってきている。より正確な地物の判読には複数の衛星からの画像を用いることもあるが、人工衛星の数だけ判読作業量が増えるという問題があった。さらに、飛しょう体に搭載されているセンサの空間分解能も向上する傾向にあり、より正確に地物の判読が行えるようになる一方で、地物の判読に適した画像を拡大して表示すると、限られた大きさのディスプレイ上に広大な画像を表示したり、スクロールしたりするのに時間がかかり、作業時間が増えるという問題があった。
【００１０】
また、特許文献１に記載の方法では、一つ一つの地物に対して人手で判読結果を付与していくので、作業ミスにより同一の地物に対しても異なる判読結果を付与してしまう可能性があった。さらに、地物を見逃す可能性があった。
【００１１】
また、特許文献２に記載の方法では自動分類技術を用いている。しかし、自動分類技術は完全ではなく、飛しょう体のセンサの変動特性、撮像時の気象、撮影場所の照明条件などによって、リモートセンシング画像中の地物の見え方が大きく変動し、分類結果も大きく変わることがある。このため、自動分類結果を判読結果として代用すると、判読結果が安定しないという問題があった。
【００１２】
本発明では、これらの問題を解決する画像判読支援方法、及びその装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を解決するため、本願で開示する発明の概要は以下のとおりである。
【００１４】
まず、センシング画像を目視判読した個々の地物の位置および地物の種類を、センシング画像中の位置と関連づける。つぎに、該センシング画像から地物の種類を自動分類し、分類尤度と位置とを関連づける。そして、この自動分類によって得られた分類尤度のばらつきを調べて、特異な値となる地物を検索して、その位置に存在する地物の判読結果を判読修正候補として提示し、判読作業の修正を容易にする画像判読支援方法を提供する。
【００１５】
また、センシング画像から地物を目視判読した結果得た判読結果を、センシング画像中の位置と関連付けて保存し、センシング画像に基づき地物を自動分類した自動分類結果を、類似度或いは尤度、及びセンシング画像中の位置と関連づけて保存する。そして、自動分類した結果、類似度が他の地物と比べて大きく異なる地物、或いは尤度が閾値以下となる少なくともひとつ以上の地物の位置をもとに、判読結果を検索し、判読結果が異なる地物、すなわち判読結果が誤っている可能性が高い地物を抽出し、ユーザに、該地物の判読結果を判読修正候補として提示し、判読作業の修正を容易にする画像判読支援方法を提供する。
【００１６】
更に、センシング画像から地物を判読するのを支援する画像判読支援装置を記憶部と処理部と表示部とで構成する。そして、この記憶部に、地物を判読した結果の判読結果を、地物のセンシング画像中の位置と関連付けして、且つセンシング画像から地物の種類を、処理部で自動分類した結果の自動分類結果を、地物の類似度あるいは尤度と、地物のセンシング画像中の位置と関連付けしたデータとして保存しておき、処理部において、これらの保存されたデータに基づき、判読修正候補となる地物を抽出し、表示部に判読修正候補として出力する画像判読支援装置を提供する。
【００１７】
自動分類では、好適には、画像から分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせによって地物を自動的に分類する。なお、この自動分類に用いる手段は、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせに限定されるものではないことは言うまでもない。
【発明の効果】
【００１８】
本発明によれば、地物の自動分類技術を利用することで、同一の地物に対する人間の目視判読の曖昧さを減らし、高精度な判読結果を容易に得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下，この発明の実施形態について図面を参照して詳細に説明する。ここで、本願で「地物」とは、人工物であるか自然物であるかにかかわらず、地上に存在しうる物体の概念を表し、河川、山、植物、道路、鉄道、橋、建物、航空機、船舶、車両、列車などを指す。また「地物の種類」とは、河川、山、植物、道路、鉄道等の種別でもよいし、アスファルト道、未舗装の道路、などような種別でもよい。特に後者の自然物の場合は、「地物の種別」とは、植物の名前を指す。
【実施例１】
【００２０】
本実施例においては、航空機、ヘリコプター、気球、人工衛星などの飛しょう体のセンサによって地表面の放射・反射電磁波を測定・記録したリモートセンシング画像を対象として説明する。尚、本願の適応対象としては、飛しょう体に搭載したセンサで撮影したリモートセンシング画像に限らず、観測センサの位置と撮影日時が予めわかり，観測対象と観測センサとの距離がある程度あり、さまざまな状況において撮像されたセンシング画像であれば適応可能である。
【００２１】
図１は，画像判読支援装置の第１の実施例を示すブロック構成図である。画像判読支援装置１１２は観測センサ１０２から観測信号を得て、画像データベース１０３にセンシング画像を蓄積する。この画像判読支援装置１１２は通常の計算機で構成される。この計算機は、少なくとも、画像データベース１０３等のデータベースや各種プログラムを記憶する記憶部、及びプログラムを実行する中央処理部（ＣＰＵ）などからなる。また、計算機には、後で説明するディスプレイ、キーボード、マウス等が付属する。更に、各種のデータベースは計算機とネットワークを介して接続された記憶部である外部記憶装置に蓄積することも可能である。
【００２２】
観測センサ１０２は、例えば都市域や海域などの観測対象を撮影し、観測画像、観測センサの位置、観測対象の位置、観測日時を出力する。観測センサ１０２の位置は、例えば、緯度、経度、高度の３組の数値で表現できる。観測センサの位置の取得方法は、ＧＰＳ（Global Positioning System）による方法がある。観測対象の位置は観測センサ１０２が撮影した領域の範囲と、撮影画像の原点から地物が存在する相対的な位置関係から、地物の緯度、経度を対応付けすることによって求められる。観測センサが撮影した領域の範囲は、例えば、矩形範囲を想定し矩形の北西の緯度と経度、および、矩形の南東の緯度と経度の、４つの数値の組みで表現できる。観測日時は観測センサ１０２が搭載されている装置に内蔵されている時計の時刻を読み取ることで実現できる。
【００２３】
撮像はユーザの指示に基づくものであっても、予め定めたルールにのっとって所定期間毎に行われるものであっても良い。また、観測センサ１０２は、光学系センサのような受動型センサでもかまわないし、合成開口レーダのような能動型センサでもかまわない。また、ハイパースペクトルセンサを用いて、各々の観測波長域ごとに画像生成処理を行う構成にしてもよい。
【００２４】
画像表示装置１０４は、画像データベース１０３中の画像を表示出力する装置である。上述した計算機のディスプレイなどを用いて実現することができる。画像判読結果入力装置１０５は、画像を目視判読した結果を判読結果データベース１０６に入力する装置である。計算機の情報入力手段、たとえばキーボード、マウスや、専用の入力機器などで実現できる。判読結果データベース１０６には、各画像の判読結果を格納する。判読日時、地物名称、画像ＩＤなどをキーに、判読結果の検索、判読結果の登録などができるようになっている。このデータベース１０６も計算機の記憶部などに蓄積される。
【００２５】
画像判読支援装置１１２中の自動分類手段１１５は、判読結果データベース１０６から判読した各地物の位置を示す領域座標を引き出すとともに、画像データベース１０３から判読した画像を引き出し、当該画像の当該領域座標の地物の自動分類を行い、地物の自動分類結果を出力する。
【００２６】
そして、判読結果修正候補抽出手段１０７は、出力・蓄積される自動分類結果を参照し、判読作業の結果が誤っている可能性が高い地物候補を出力する。その結果は、上述したディスプレイ等の判読結果修正候補表示装置１０８に表示される。判読作業者は、その候補を見て、判読結果を修正したい場合は、キーボード、マウスなどで構成される判読結果修正結果入力装置１０９を用いて修正作業をする。判読結果更新手段１１０は、修正結果を判読結果データベース１０６に格納する。最後に、判読結果閲覧装置１１１で、判読結果を参照することができる。なお、自動分類手段１１５、及び判読結果修正候補抽出手段１０７、判読結果更新手段１１０は、例えば上述した計算機の処理部であるＣＰＵで実行されるプログラムで構成される。
【００２７】
図２は、実施例１における画像データベース１０３で用いられるデータ構造の構成例である。画像データベースは、大きくわけて画像管理テーブル２０１と画像データ２０９、２１０、２１１、…から構成される。画像管理テーブル２０１の画像ＩＤ２０２には、画像固有の番号を格納する。撮影日時２０３には当該画像を撮影した日時を格納する。撮影領域座標２０４には、当該画像の撮影範囲を格納する。撮影領域の表現方法としては、撮影領域の四隅の緯度と経度で表現できる。画像へのポインタ格納領域２０５には、画像ＩＤ２０２に対応する画像へのポインタを格納する。ポインタ２０６、２０７、２０８は画像管理テーブル中の各要素と、画像データを関連付ける役割をする。すなわち、このポインタをたどることで画像ＩＤから画像データを参照することができる。例えば、画像ＩＤが１の画像は、ポインタ２０６をたどり、画像データ２０９と関連付けられている。
【００２８】
図３は、実施例１における判読結果データベース１０６で用いられるデータ構造の構成例である。判読結果データベースは、大きくわけて判読結果管理テーブル３０１と、判読結果データ３１０、３１１、３１２、…から構成される。判読結果管理テーブル３０１の画像ＩＤ３０２には、画像固有の番号を格納する。撮影領域座標３０４には、判読の対象にした画像の撮影範囲を格納する。図２の撮影領域座標２０４と同様に、撮影領域の四隅の緯度と経度で表現する。判読作業時間３０５には、判読作業の開始日時と終了日時を格納する。判読結果へのポインタ格納領域３０６には、判読結果データ３１０、３１１、３１２、…へのポインタを格納する。ポインタ３０７、３０８、３０９は判読結果管理テーブル中の各要素と、判読結果データを関連付ける役割をする。すなわち、このポインタをたどることで、画像ＩＤから判読結果データを参照することができる。例えば、画像ＩＤが１の画像は、ポインタ３０７をたどり、判読結果データ３１２と関連づけられている。地物ＩＤ３１３には地物のＩＤを、地物領域座標３１４には当該地物が位置する座標を、地物名称３１５には目視判読の結果得られた地物の種類を示す地物名称を、それぞれ格納する。
【００２９】
図１５は、実施例１における自動分類手段１１５で出力される自動分類結果のデータ構造の構成例である。自動分類結果のデータ構造は、後で説明するように、判読結果データベース１０６に自動分類手段１１５の結果得られた尤度１５１６を付け加えた構造になっている。この自動分類結果データを保存する場合は、判読結果データベース１０６に追加で保存しても良いし、図示されない、別個に設けた自動分類結果データベースに蓄積しても良い。自動分類結果は、大きくわけて自動分類結果テーブル１５０１と、自動分類結果データ１５１０から構成される。
【００３０】
同図に明らかなように、自動分類結果管理テーブル１５０１の画像ＩＤ１５０２には、画像固有の番号を格納する。撮影領域座標１５０４には、判読の対象にした画像の撮影範囲を格納する。図３の撮影領域座標３０４と同様に、撮影領域の四隅の緯度と経度で表現する。判読作業時間１５１４には、判読作業の開始日時と終了日時を格納する。自動分類結果へのポインタ格納領域１５０６には、自動分類結果データ１５１０、１５１１、１５１２、…へのポインタを格納する。ポインタ１５０７、１５０８、１５０９は自動分類結果管理テーブル中の各要素と、自動分類結果データを関連付ける役割をする。すなわち、このポインタをたどることで、画像ＩＤから自動分類結果データを参照することができる。例えば、画像ＩＤが１の画像は、ポインタ１５０７をたどり、自動分類結果データ１５１２と関連づけられている。地物ＩＤ１５１３には地物のＩＤを、地物領域座標１５１４には当該地物が位置する座標を、地物名称１５１５には目視判読の結果得られた地物名称を、尤度１５１６には自動分類の結果得られた尤度を、それぞれ格納する。
【００３１】
図４は、実施例１における目視判読装置１１３で用いられる、画像表示装置１０４および判読結果入力装置１０５の作業中の一具体例を示す図である。判読結果入力装置の画面４０１はファイル選択メニュー４０２から、判読作業を行う対象の画像を選択することができる。画像表示領域４０５には、選択した画像が表示される。判読作業が行いやすいように、表示倍率選択ボタン４０３であらかじめ定められたいくつかの拡大倍率から適切な拡大倍率を選んで画像を表示することが可能である。拡大倍率入力領域４０４は、任意の拡大倍率をキーボードから入力することができる。画像の拡大縮小の微小な調整は、拡大・縮小ボタン４１４を押すことによって調整することも可能である。また画像表示領域４０５の脇にはスクロールバー４０６があり、これをマウスで操作することで地物が映っている画像を適切な位置に表示することができる。
【００３２】
地物の領域を設定するには、ボタン４０７、４０８、４０９、４１０、４１１を用いる。例えば、地物として建物等を想定し、地物の領域を矩形で表現したいときには、矩形領域設定ボタン４０７を押してから、マウスで画像中の地物の外接矩形を描くことで、地物の座標を入力する。また、道路のような線分を地物として想定する場合は、線分領域設定ボタン４０８を押してから、マウスで画像中の道路の始点および終点を選択することで、地物の座標を入力する。同様に、４０９は地物を点の集合で表現する場合を想定している。ボタン４１１は任意の輪郭で地物を表現する場合、ボタン４１２は任意の形状の領域を想定している。
【００３３】
地物名称選択ボタン４１２は、地物の名称、即ちこれから判読する地物の種類を、あらかじめ決められたいつかの地物の種類から選ぶ。また、地物名称入力領域４１３から、地物の種類を示す地物名称を直接入力してもよい。
【００３４】
判読作業が終わったら、確定ボタン４１４を押し、判読作業を終える。判読作業結果を破棄して途中で終了する場合には、取消しボタン４１５を押す。
【００３５】
なお、一枚の画像に同一の地物名称を持つ複数の地物が存在する場合は、それらの地物をまとめて選択して地物名称選択ボタン４１２で地物名称を設定、あるいは、地物名称入力領域４１３に直接名称を入力するようにしてもよい。このようにすることにより、一つ一つの地物に物体名称を設定する場合に比べ、ユーザの負荷を低減できる。
【００３６】
図１１は、実施例１における画像判読支援装置１１２の画像判読支援フローを示した図である。以下、この図を用いて本実施例の画像判読支援フローを概説する。まず、観測センサ１０２で、観測対象１０１を撮影する。撮影した結果は、画像データベース１０３に格納される（Ｓ１１０１）。そして、格納された画像は画像表示装置１０４に表示され、図４に示した画像表示装置および判読結果入力装置を用いて、まず人手による目視判読作業を行う（Ｓ１１０２）。続いて、自動分類にて各々の地物に尤度を付与する（Ｓ１１０３）。それから、この自動分類の尤度を用いて、目視判読結果が誤っている可能性がある地物の抽出、すなわち、判読結果修正候補を抽出する（Ｓ１１０４）。最後に、修正が必要と思われる判読結果修正候補に対して判読結果の修正を行う（Ｓ１１０５）。
【００３７】
図１２は、上述した画像判読支援フロー中の目視判読（図１１のＳ１１０２）の処理フローの一具体例を示した図である。以下、この図を用いて画像判読フローを説明する。まず、画像データベース１０３から、画像判読対象となる画像を選択する（Ｓ１２０１）。次に、選択した画像に含まれる全ての地物判読を行う（Ｓ１２０２）。地物の判読は、地物が図４に示す画像表示領域４０５に含まれるように、必要に応じてスクロールバー４０６で画像の表示領域を調整する（Ｓ１２０３）。続いて、判読をしやすいように表示倍率設定４０３や、表示倍率入力部４０４に直接倍率を入力したりして、必要に応じて画像を拡大、もしくは、縮小表示する（Ｓ１２０４）。そして、地物の形状に応じて、地物領域形状設定ボタン４０７、４０８、４０９、４１０、４１１を選択し（Ｓ１２０５）、マウス等のポインティングデバイスで地物領域を囲む（Ｓ１２０６）。そして選択した地物の名称を入力する（Ｓ１２０７）。
【００３８】
図１４は、上述した画像判読支援フロー中の、自動分類にて地物に尤度を付与する処理（図１１のＳ１１０３）のフローの一具体例を示した図である。以下、この図を用いて、処理フローを説明する。ここでは、画像判読結果データベース１０６にＮ個の判読結果データが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ１４０１）。ｉ番目の判読結果データに含まれる地物すべてを調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ１４０２）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ１４０３）。ここで、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。続いて、判読結果データベース１０６を参照して当該地物ｋの名称の尤度を計算する。特徴量の抽出手法と尤度の計算方法は、例えば、田村秀行編のコンピュータ画像処理ｐｐ．２５１−２８６（オーム出版局、２００２年１２月）に開示されている。最後に計算された尤度を図１５に示した自動分類結果１５０１の尤度１５１６に格納する。
【００３９】
図１１のＳ１１０４において、図１の判読結果修正候補抽出手段１０７は、自動分類結果１５０１の尤度１５１６が予め定められた閾値よりも小さい地物をのみを、判読結果修正候補として抽出し、判読結果修正候補表示装置１０８に送る。
【００４０】
図１３は、本実施例における、判読結果修正作業フロー（図１１のＳ１１０５）の一例を示した図である。以下、この図を用いて、判読結果修正作業フローを説明する。判読結果修正作業フローでは、上述の通り図４に示した目視判読支援装置のインタフェースであるディスプレイやキーボード等を利用することができる。まず、判読結果修正候補表示装置１０８に表示され、判読結果修正候補抽出手段１０７で抽出した判読結果修正候補が含まれている画像を選択する（Ｓ１３０１）。次に、その画像に含まれる全ての判読結果修正候補に対して、判読結果修正結果入力装置１０９を用いて修正作業を行う（Ｓ１３０２）。修正作業は、必要に応じて画像の拡大・縮小表示を行い、人が地物を判読しやすい縮尺でディスプレイに表示する（Ｓ１３０３）。
【００４１】
次に、地物領域の修正が必要か判断し（Ｓ１３０４）、必要であれば地物領域の修正を行う（Ｓ１３０５）。地物領域を指定する形状を変えたい場合は、地物領域形状設定ボタン４０７、４０８、４０９、４１０、４１１を押して形状も修正する。さらに、判読結果と画像を比較して、地物の種類を示す地物名称の修正が必要かをユーザが判断し（Ｓ１３０６）、必要であれば地物名称の修正を行う（Ｓ１３０７）。修正作業が行われた場合には、判読結果データ３１０の地物名称３１５が修正された地物名称で上書きされる。
【００４２】
このような構成にすることで、判読結果修正候補、すなわち地物の判読結果が誤っている可能性が高い候補を効率よく抽出できるため、高い精度の判読結果を容易に得ることができる。
【００４３】
続いて、本実施例による効率向上について、具体例を例示する。高精度な判読結果を得るのに要する時間は、たとえば以下のようにして見積もることができる。すなわち、１０キロメートル×１０キロメートルのリモートセンシング画像に１００００個の地物が写っており、最初の目視による判読では５％の地物を誤って判読し、判読結果を見直すごとに誤りは半分になると仮定する。この場合、最初の判読で５００個の誤り、２回目の判読で２５０個の誤り、３回目の判読で１２５個の誤り、…となり、判読の誤りを０にするには合計１０回の判読が必要となる。各判読において、１０キロメートル×１０キロメートルのリモートセンシング画像全域を目視判読する必要がある。すなわち、のべ１００００×１０回＝１０００００個の地物の目視判読作業が必要となる。
【００４４】
一方、実施例１に示す方法では、２回目の判読においては５００箇所の地物についてのみ判読結果の見直しをすればよく、３回目の判読においては２５０箇所の地物についてのみ判読結果の見直しをすればよい。したがって、誤りを０にするまでに、１００００＋５００＋２５０＋…＝１１０００個の地物の目視判読作業ですむことになる。したがって、目視判読を繰り返す場合にくらべ、約９分の１の作業時間ですむことになる。
【００４５】
なお、上述した本実施例では、静止画像を対象に説明したが、動画を対象にして同様の効果を得られる。また、本実施例では、地球の表面を観測することを前提に説明したが、本発明はこの実施形態に限定されるものではない。例えば惑星探査用の宇宙船などにおいても適用可能である。
【実施例２】
【００４６】
次に、第２の実施例について説明する。以下では、第１の実施例との違いを中心に述べる。本実施例では、実施例１と異なり、目視判読に先立ち、自動分類が実行される。
【００４７】
図１６は、実施例２における、画像判読支援フローを示した図である。以下、この図を用いて画像判読支援フローを概説する。まず、観測センサ１０２で、観測対象１０１を撮影する。撮影した結果は、画像データベース１０３に格納される（Ｓ１６０１）。そして、画像中に写っている地物を自動分類して各々の地物に類似度を付与する（Ｓ１６０２）。そして、画像は画像表示装置１０４に表示され、図４に示した画像表示装置および判読結果入力装置を用いて、人手による目視判読作業を行う（Ｓ１６０３）。それから、上述の自動分類による類似度を用いて、目視判読結果が誤っている可能性がある地物の抽出、すなわち、判読結果の修正候補を抽出する（Ｓ１６０４）。最後に、修正が必要と思われる候補に対して目視判読結果の修正を行う（Ｓ１６０５）。
【００４８】
図５は、判読結果修正候補抽出（Ｓ１６０４）の処理フローの一例を示した図である。以下、この図を用いて、判読結果修正候補抽出フローを説明する。ここでは、画像判読結果データベース１０６にＮ個の判読結果テーブルが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ５０１）。ｉ番目の画像の判読結果データに含まれる地物すべてを調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ５０２）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ５０３）。ただし、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。続いて、判読結果データベース１０６を参照して当該地物ｋの名称が、ｊと判読した地物同士の類似度を計算する（Ｓ５０４、Ｓ５０５）。
【００４９】
類似度の具体的計算法には、本例では画素値からの相互相関係数を用いたが、スペクトル、テクスチャ、輝度分布などの特徴量を用いてもよい。また、地物の全長、全幅を用いてもよい。以下では，相互相関係数例に説明する。相互相関係数は，リモートセンシング画像から所定の大きさでくりぬいた部分画像の画素値から計算する。相互相関係数の算出方法は、例えば、上述した田村秀行編のコンピュータ画像処理ｐｐ．２５２−２５４に開示されている。最後に、相互相関係数が閾値以下の地物ｘを抽出し（Ｓ５０６）、それらを判読結果修正候補として出力する。判読結果修正候補を格納するデータの構造は、判読結果データ３１０を用いることができる。
【００５０】
なお、自動分類の対象となる地物の数が限られる場合は、Ｓ１６０２において類似度の代わりに、尤度を用いることもできる。このときの判読結果修正候補抽出（Ｓ１６０４）の処理フローは、図５において、Ｓ５０５の「相互相関係数を計算」、とあるところを、「尤度を計算」に、Ｓ５０６の「相互相関係数が閾値以下の再判読候補として抽出」、とあるところを、「尤度が閾値以下の地物ｘを再判読候補として抽出」、とそれぞれ読み替えればよい。
【００５１】
図６は、相互相関係数の一例を示した図である。この例では４つの地物の種類ごとに相関係数を計算し、計算した値が各ます目に格納されている。例えば、地物ＩＤ２と地物１の相互相関は０．９と比較的高く、地物ＩＤ３と地物ＩＤ１の相関は０．８である。
【００５２】
なお上記では、地物同士の類似度を求めるのになお、判読結果修正候補抽出手段１０７では、全ての地物が判読結果修正の可能性があるとして相互相関係数を計算したが、この実施形態に限定されるものではない。例えば、ユーザが指定した地物のみとの相互相関係数を計算してもよい。
【００５３】
このような構成にすることにより、最初の判読作業でユーザが見逃した地物に対しても判読結果修正候補としてユーザに提示することが可能となる。その結果、効率よく高精度な判読結果を得ることができる。
【実施例３】
【００５４】
次に、第３の実施例について説明する。以下では実施例１との違いを中心に述べる。図７は，本実施例に係わる画像判読支援装置の判読結果修正候補抽出手段１０７のフローの一例を示したのものである。
【００５５】
ここでは、判読結果データベース１０６にＮ個の判読結果データが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ７０１）。ｉ番目の判読結果データに含まれる地物すべてを調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ７０２）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ７０３）。ただし、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。
【００５６】
続いて、判読結果データベース１０６を参照して当該地物ｋの名称が、地物名称ｊらしい尤度Ｌを算出する（Ｓ７０５）。尤度Ｌの算出方法としては、テンプレートマッチング（上述の田村秀行編、コンピュータ画像処理、オーム出版局、pp．２５９−２６０）による方法や、統計的に物体を分類する方法（上述の田村秀行編、コンピュータ画像処理、オーム出版局、ｐｐ．２７１―２８１）などを用いることができる。続いて、地物kの名称がjらしい尤度Ｌの平均ｍと、標準偏差sを算出する。最後に、ｍ−ｓ＜尤度Ｌ＜ｍ＋ｓとなる地物ｘを判読結果修正候補として出力する。判読結果修正候補は、判読結果データ３１０と同じデータ形式で表現できる。
【００５７】
図８は、判読の結果同一の地物名称を持つと判断された複数の地物に対し、自動分類によって尤度Ｌを算出した結果を並べたものである。横軸が地物のＩＤ、縦軸が尤度をあらわしている。同図中で、８０１は尤度の平均ｍを、８０２は尤度の平均ｍ＋標準偏差ｓを、８０３は尤度の平均ｍ−標準偏差ｓを、それぞれあらわしている。そして、８０４は、尤度Ｌが尤度の平均ｍ±標準偏差ｓの間に収まっている地物、８０５は、尤度Ｌが尤度の平均ｍ±ｓの外側にある地物を、それぞれあらわしている。
【００５８】
上記の方法では、尤度の平均と標準偏差からのずれをもって、地物の尤度の許容範囲を表現したが、当然この方法に限定されない。例えば、ロバスト推定（高木幹雄、画像解析ハンドブック、東京大学出版会、２００４）などの方法も用いることができる。また、あらかじめユーザが定めた許容範囲をもとに、地物の尤度を設定するようにしてもよい。
【００５９】
また、判読結果修正候補抽出手段１０７では、全ての地物が判読結果修正の可能性があるとして尤度を計算したが、この実施形態に限定されるものではない。例えば、ユーザが指定した地物のみとの類似の度合いを計算してもよい。
【００６０】
このような構成にすることにより、最初の判読作業でユーザが見逃した地物に対しても判読結果修正候補としてユーザに提示することが可能となる。その結果、効率よく高精度な判読結果を得ることができる。
【実施例４】
【００６１】
次に、第４の実施例について説明する。以下では第１の実施例との違いを中心に述べる。図９は、本実施例にかかわる画像判読支援装置における判読結果修正候補抽出手段１０７のフローを示したものである。この実施例では、画像データベース１０３を参照しながら、同一の撮影日時近辺で撮影されたリモートセンシング画像を検索し、それら複数のリモートセンシング画像の中から、同一の地物と判読した地物を抽出し、判読結果修正候補を抽出する判定基準に用いる。
【００６２】
すなわち、画像判読結果データベース１０６にＮ個の判読結果データが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ９０１）。ｉ番目の判読結果データを参照して同一の撮影日時の画像ｉｉ全てに対して以下の処理を行う（Ｓ９０２）。画像ｉｉに対する判読結果に含まれる全地物を調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ９０３）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ９０４）。ただし、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。
【００６３】
続いて、判読結果データベース１０６を参照して当該地物ｋの名称が、地物名称ｊらしい尤度Ｌを算出する（Ｓ９０６）。尤度Ｌの算出方法としては、図５の説明と同様な方法で行うことができる。続いて、地物名称jと判読した地物kの名称がjらしい尤度Ｌの平均ｍと、標準偏差sを算出する（Ｓ９０７）。最後に、ｍ−ｓ＜尤度Ｌ＜ｍ＋ｓとなる地物ｘを判読結果修正候補として出力する（Ｓ９０８）。判読結果修正は、判読結果データ３０１と同一の構造で表現できる。
【００６４】
このような構成にすることにより、より多くの地物を用いて尤度の平均値ｍおよび標準偏差ｓを計算することができるので、安定して判読結果修正を抽出することができる。
【００６５】
画像の撮影日時が近い画像のみに絞り込む理由は、撮影日時が近い画像同士は画像の変化が少なく、同じ地物は同じ地物として目視判読、ないしは、自動分類される可能性が高く、尤度のばらつきの計算の正確さが増すためである。
【００６６】
この画像の撮影日時の近さについては、どのような地物を判読するかによって適切に定めておけばよい。地物として、道路、鉄道、橋、建物などを想定するのであれば、それらを建設する長い期間にわたって画像の変化は少ないとみなせるので、たとえば、数ヶ月から数年とすればよい。また、航空機、船舶、車両、列車などの移動物体を想定するのであれば、移動速度に応じて、たとえば、数時間から数日とすればよい。
【００６７】
以上の説明においては、実施例１との差分について述べた。画像判読支援フローとして図１１に示したフローの代わりに図１６に示したフローを用いた実現方法も考えられる。
【実施例５】
【００６８】
図１０は、第５の実施例にかかわる画像判読支援装置の判読結果修正候補抽出手段１０７のフローの一例を示したものである。実施例１との差異についてのみ、以下説明する。この実施例では、画像データベース１０３を参照しながら、同一の撮影位置付近で撮影されたリモートセンシング画像を検索し、それらの複数のリモートセンシング画像の中から、同一の地物と判読した地物を抽出し、判読結果修正候補を抽出する判定基準に用いる。
【００６９】
すなわち、画像判読結果データベース１０６にＮ個の判読結果データが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ１００１）。ｉ番目の判読結果データを参照して近隣の撮影位置の画像ｉｉ全てに対して以下の処理を行う（Ｓ１００２）。画像ｉｉに対する判読結果に含まれる全地物を調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ１００３）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ１００４）。ただし、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。続いて、判読結果データベース１０６を参照して当該地物ｋの名称が、地物名称ｊらしい尤度Ｌを算出する（Ｓ１００６）。尤度Ｌの算出方法としては、図５の説明と同様な方法で行うことができる。続いて、地物名称jと判読した地物kの名称がjらしい尤度Ｌの平均ｍと、標準偏差sを算出する（Ｓ１００７）。最後に、ｍ−ｓ＜尤度Ｌ＜ｍ＋ｓとなる地物ｘを判読結果修正候補として出力する（Ｓ１００８）。判読結果修正候補は、判読結果データ３１０を流用して表現できる。
【００７０】
このような構成にすることにより、より多くの地物を用いて尤度の平均値ｍおよび標準偏差ｓを計算することができるので、安定して判読結果修正候補を抽出することができる。
【００７１】
画像の撮影位置が近い画像のみに絞り込む理由は、撮影位置が近い画像同士は画像の変化が少なく、同じ地物は同じ地物として目視判読、ないしは、自動分類される可能性が高く尤度のばらつきの計算の正確さが増すためである。また、道路、鉄道、橋など、大きな地物について、同一の地物が含まれている可能性が高いためである。
【００７２】
画像の撮影位置の近隣さについては、どのような地物を判読するかによって適切に定めておけばよい。地物として、道路、鉄道、橋、建物などを想定するのであれば、それらを含む、たとえば、数メートルから数キロメートルとすればよい。また、航空機、船舶、車両、列車などの移動物体を想定するのであれば、移動物体の大きさに応じて、たとえば、数メートルから数十メートルとすればよい。
【００７３】
以上の説明においては、近隣の撮影位置で撮影した画像で絞り込むことを述べたが、実施例４で述べたように撮影日時でさらに絞りこむことも考えられる。
【００７４】
また、以上の説明においては、実施例１との差分について述べた。画像判読支援フローとして図１１に示したフローの代わりに図１６に示したフローを用いた実現方法も考えられることは言うまでもない。
【図面の簡単な説明】
【００７５】
【図１】実施例１の画像判読支援装置のブロック構成図である。
【図２】実施例１の画像データベースデータ構造の構成例を示す図である。
【図３】実施例１の判読結果データベースのデータ構造の構成例を示す図である。
【図４】実施例１の判読結果入力装置の表示画面の例を示す図である。
【図５】実施例１の再判読候補抽出手段１０７の処理フローの一例を示す図である。
【図６】実施例１の地物同士の相関度を一覧表にした、相互相関行列の一例を示す図である。
【図７】実施例３の再判読候補抽出手段１０７の処理フローの一例を示す図である。
【図８】実施例３の地物分類結果のばらつき具合を示す図である。
【図９】実施例４の再判読候補抽出手段１０７の処理フローの一例を示す図である。
【図１０】実施例５の再判読候補抽出手段１０７の処理フローの一例を示す図である。
【図１１】実施例１の画像判読支援フローの一例を示す図である。
【図１２】実施例１の画像判読作業フローの一例を示す図である。
【図１３】実施例１の画像再判読作業フローの一例を示す図である。
【図１４】実施例１の自動分類にて地物に尤度を付与する処理フローの一例を示す図である。
【図１５】実施例１の自動分類結果のデータ構造の一例を示す図である。
【図１６】実施例２の画像判読支援フローの一例を示す図である。
【符号の説明】
【００７６】
１０１…観測対象、１０２…観測センサ、１０３…画像データベース、１０４…画像表示装置、１０５…目視判読結果入力装置、１０６…判読結果データベース、１０７…判読結果修正候補抽出手段、１０８…判読結果修正候補表示装置、１０９…判読結果修正結果入力装置、１１０…判読結果更新手段、１１１…判読結果閲覧装置、２０１…画像管理テーブル、２０２…画像ＩＤ、２０３…撮影日時、２０４…撮影領域座標、２０５…画像データへのポインタを格納する領域、２０６…観測画像データへのポインタ、２０７…観測画像データへのポインタ、２０８…観測画像データへのポインタ、２０９…観測画像、２１０…観測画像、２１１…観測画像、２１２…画像データベース、３０１…判読結果管理テーブル、３０２…画像ＩＤ、３０３…画像の撮影日時、３０４…撮影領域の座標、３０５…判読作業時間、３０６…判読結果データへのポインタを格納する領域、３０７…判読結果データへのポインタ、３０８…判読結果データへのポインタ、３０９…判読結果データへのポインタ、３１０…判読結果データ、３１１…判読結果データ、３１２…判読結果データ、３１３…地物ＩＤ、３１４…地物領域座標、３１５…地物名称、３１６…判読結果データベース、４０１…判読結果入力装置の画面、４０２…判読対象画像ファイル選択ボタン、４０３…画像拡大表示倍率選択ボタン、４０４…拡大表示倍率、４０５…画像表示領域、４０６…画像スクロールバー、４０７…地物領域形状設定ボタン、４０８…地物領域形状設定ボタン、４０９…地物領域形状設定ボタン、４１０…地物領域形状設定ボタン、４１１…地物領域形状設定ボタン、４１２…地物名称選択ボタン、４１３…地物名称入力領域、４１４…確定ボタン、４１５…取消ボタン、８０１…尤度の平均値、８０２…尤度の平均値＋標準偏差、８０３…尤度の平均値−標準偏差物体名、８０４…当該尤度が、（尤度の平均値＋尤度の標準偏差）から（尤度の平均値−尤度の標準偏差）の間に収まっている例、８０５…当該尤度が、（尤度の平均値＋尤度の標準偏差）から（尤度の平均値−尤度の標準偏差）の外にある例、１５０１…判読結果管理テーブル、１５０２…画像ＩＤ、１５０３…画像の撮影日時、１５０４…撮影領域の座標、１５０５…判読作業時間、１５０６…判読結果テーブルへのポインタを格納する領域、１５０７…判読結果テーブルへのポインタ、１５０８…判読結果テーブルへのポインタ、１５０９…判読結果テーブルへのポインタ、１５１０…判読結果テーブル、１５１１…判読結果テーブル、３１２…判読結果テーブル、１５１３…地物ＩＤ、１５１４…地物領域座標、１５１５…地物名称、１５１６…尤度。
【技術分野】
【０００１】
本発明は、リモートセンシング画像を用いた画像解析、特にその画像判読支援技術に関する。
【背景技術】
【０００２】
航空機、ヘリコプター、気球、人工衛星などの飛しょう体によって撮影された画像（以下、リモートセンシング画像と呼ぶ）には様々な地物が存在する。これらの地物を人手によって見分けることを目視判読、画像判読、あるいは、単に判読と呼ぶ。
【０００３】
リモートセンシング画像を目視判読することで、様々な情報を得ることが可能になる。例えば、地震や火災などにより被災した地域の上空から得られるリモートセンシング画像は、その広域性や情報量から、被害状況を把握する上で非常に有用である。また、港湾や公海を撮影したリモートセンシング画像を判読することで、海上交通量の定常的な観測を行うことが可能となる。また、道路や鉄道を含む地域を撮影したリモートセンシング画像を判読することで、道路地図や鉄道地図作成することができる。また、撮影時期をずらして同一地域を複数回撮影して、リモートセンシング画像を得て、それらの画像の差分を抽出することで、道路の建設状況を把握することができる。さらに、地物の構造の整然度をみることで市街化率、農地率、などを算出する指標に用いることもできる。また、火災シミュレーション、市街化開発の推移、都市計画などに役立てることもできる。
【０００４】
このような判読作業は、リモートセンシング画像を計算機のディスプレイに表示して、目視により地物を判読し、個々の地物の種類を示す地物の名称をリモートセンシング画像の上に重畳して記入していくことで行われる。あるいは、リモートセンシング画像を紙などの媒体に印刷し、それを目視によって判読してその結果を紙の上に記入し、その後、判読結果を電子化することもある。
【０００５】
このような判読作業を効率よく行う方法として、これまでに以下の方法が提案されている。すなわち、リモートセンシング画像と、該リモートセンシング画像に対する判読結果を用意し、画像と判読結果を数秒間隔で交互に表示させる、いわゆる、フリッカー表示させることで、人間の視覚の残像効果を利用して効率よく判読作業を進める方法がある。（例えば、特許文献１参照）。
【０００６】
また、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせた技術を用いて、リモートセンシング画像中の地物を自動的に分類（以下、自動分類）する方法が提案されている（例えば、特許文献２）。この自動分類の結果、リモートセンシング画像のどの位置に、どの地物が存在しているかわかる。この結果を判読作業の代わりとする。この文献に開示された手法では、地物の種類ごとに、地物の抽出アルゴリズムやパラメータを変えることで、より高精度な自動分類を実現している。また、地物の種類がわからない場合には、複数の地物抽出アルゴリズムを用いて複数の分類結果を得て、最後に分類結果の尤度（正確度）の高い順に出力する方法も開示されている。
【０００７】
【特許文献１】特開２００１−３３８２９２号公報
【特許文献２】特開２００１−３０７１０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、地物の判読作業は人間が行うので、誤った地物の種類を付与してしまう可能性がある。この地物判読の精度をより高くするためには、同一のリモートセンシング画像に対する判読結果の確認、修正を再度行うことが考えられる。このような見直し作業を複数回繰り返すことにより、徐々に判読精度が高まること期待できる。
【０００９】
しかし、飛しょう体で一度に撮影される範囲は広く、例えば人工衛星で撮像したリモートセンシング画像は数十キロ×数十キロの広範囲に及ぶこともあり、そのような画像の隅々まで目視によって判読するのは非常に時間がかかるという問題があった。また、近年では多くの人工衛星が打ち上げられ、入手可能なリモートセンシング画像が多くなってきている。より正確な地物の判読には複数の衛星からの画像を用いることもあるが、人工衛星の数だけ判読作業量が増えるという問題があった。さらに、飛しょう体に搭載されているセンサの空間分解能も向上する傾向にあり、より正確に地物の判読が行えるようになる一方で、地物の判読に適した画像を拡大して表示すると、限られた大きさのディスプレイ上に広大な画像を表示したり、スクロールしたりするのに時間がかかり、作業時間が増えるという問題があった。
【００１０】
また、特許文献１に記載の方法では、一つ一つの地物に対して人手で判読結果を付与していくので、作業ミスにより同一の地物に対しても異なる判読結果を付与してしまう可能性があった。さらに、地物を見逃す可能性があった。
【００１１】
また、特許文献２に記載の方法では自動分類技術を用いている。しかし、自動分類技術は完全ではなく、飛しょう体のセンサの変動特性、撮像時の気象、撮影場所の照明条件などによって、リモートセンシング画像中の地物の見え方が大きく変動し、分類結果も大きく変わることがある。このため、自動分類結果を判読結果として代用すると、判読結果が安定しないという問題があった。
【００１２】
本発明では、これらの問題を解決する画像判読支援方法、及びその装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を解決するため、本願で開示する発明の概要は以下のとおりである。
【００１４】
まず、センシング画像を目視判読した個々の地物の位置および地物の種類を、センシング画像中の位置と関連づける。つぎに、該センシング画像から地物の種類を自動分類し、分類尤度と位置とを関連づける。そして、この自動分類によって得られた分類尤度のばらつきを調べて、特異な値となる地物を検索して、その位置に存在する地物の判読結果を判読修正候補として提示し、判読作業の修正を容易にする画像判読支援方法を提供する。
【００１５】
また、センシング画像から地物を目視判読した結果得た判読結果を、センシング画像中の位置と関連付けて保存し、センシング画像に基づき地物を自動分類した自動分類結果を、類似度或いは尤度、及びセンシング画像中の位置と関連づけて保存する。そして、自動分類した結果、類似度が他の地物と比べて大きく異なる地物、或いは尤度が閾値以下となる少なくともひとつ以上の地物の位置をもとに、判読結果を検索し、判読結果が異なる地物、すなわち判読結果が誤っている可能性が高い地物を抽出し、ユーザに、該地物の判読結果を判読修正候補として提示し、判読作業の修正を容易にする画像判読支援方法を提供する。
【００１６】
更に、センシング画像から地物を判読するのを支援する画像判読支援装置を記憶部と処理部と表示部とで構成する。そして、この記憶部に、地物を判読した結果の判読結果を、地物のセンシング画像中の位置と関連付けして、且つセンシング画像から地物の種類を、処理部で自動分類した結果の自動分類結果を、地物の類似度あるいは尤度と、地物のセンシング画像中の位置と関連付けしたデータとして保存しておき、処理部において、これらの保存されたデータに基づき、判読修正候補となる地物を抽出し、表示部に判読修正候補として出力する画像判読支援装置を提供する。
【００１７】
自動分類では、好適には、画像から分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせによって地物を自動的に分類する。なお、この自動分類に用いる手段は、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせに限定されるものではないことは言うまでもない。
【発明の効果】
【００１８】
本発明によれば、地物の自動分類技術を利用することで、同一の地物に対する人間の目視判読の曖昧さを減らし、高精度な判読結果を容易に得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下，この発明の実施形態について図面を参照して詳細に説明する。ここで、本願で「地物」とは、人工物であるか自然物であるかにかかわらず、地上に存在しうる物体の概念を表し、河川、山、植物、道路、鉄道、橋、建物、航空機、船舶、車両、列車などを指す。また「地物の種類」とは、河川、山、植物、道路、鉄道等の種別でもよいし、アスファルト道、未舗装の道路、などような種別でもよい。特に後者の自然物の場合は、「地物の種別」とは、植物の名前を指す。
【実施例１】
【００２０】
本実施例においては、航空機、ヘリコプター、気球、人工衛星などの飛しょう体のセンサによって地表面の放射・反射電磁波を測定・記録したリモートセンシング画像を対象として説明する。尚、本願の適応対象としては、飛しょう体に搭載したセンサで撮影したリモートセンシング画像に限らず、観測センサの位置と撮影日時が予めわかり，観測対象と観測センサとの距離がある程度あり、さまざまな状況において撮像されたセンシング画像であれば適応可能である。
【００２１】
図１は，画像判読支援装置の第１の実施例を示すブロック構成図である。画像判読支援装置１１２は観測センサ１０２から観測信号を得て、画像データベース１０３にセンシング画像を蓄積する。この画像判読支援装置１１２は通常の計算機で構成される。この計算機は、少なくとも、画像データベース１０３等のデータベースや各種プログラムを記憶する記憶部、及びプログラムを実行する中央処理部（ＣＰＵ）などからなる。また、計算機には、後で説明するディスプレイ、キーボード、マウス等が付属する。更に、各種のデータベースは計算機とネットワークを介して接続された記憶部である外部記憶装置に蓄積することも可能である。
【００２２】
観測センサ１０２は、例えば都市域や海域などの観測対象を撮影し、観測画像、観測センサの位置、観測対象の位置、観測日時を出力する。観測センサ１０２の位置は、例えば、緯度、経度、高度の３組の数値で表現できる。観測センサの位置の取得方法は、ＧＰＳ（Global Positioning System）による方法がある。観測対象の位置は観測センサ１０２が撮影した領域の範囲と、撮影画像の原点から地物が存在する相対的な位置関係から、地物の緯度、経度を対応付けすることによって求められる。観測センサが撮影した領域の範囲は、例えば、矩形範囲を想定し矩形の北西の緯度と経度、および、矩形の南東の緯度と経度の、４つの数値の組みで表現できる。観測日時は観測センサ１０２が搭載されている装置に内蔵されている時計の時刻を読み取ることで実現できる。
【００２３】
撮像はユーザの指示に基づくものであっても、予め定めたルールにのっとって所定期間毎に行われるものであっても良い。また、観測センサ１０２は、光学系センサのような受動型センサでもかまわないし、合成開口レーダのような能動型センサでもかまわない。また、ハイパースペクトルセンサを用いて、各々の観測波長域ごとに画像生成処理を行う構成にしてもよい。
【００２４】
画像表示装置１０４は、画像データベース１０３中の画像を表示出力する装置である。上述した計算機のディスプレイなどを用いて実現することができる。画像判読結果入力装置１０５は、画像を目視判読した結果を判読結果データベース１０６に入力する装置である。計算機の情報入力手段、たとえばキーボード、マウスや、専用の入力機器などで実現できる。判読結果データベース１０６には、各画像の判読結果を格納する。判読日時、地物名称、画像ＩＤなどをキーに、判読結果の検索、判読結果の登録などができるようになっている。このデータベース１０６も計算機の記憶部などに蓄積される。
【００２５】
画像判読支援装置１１２中の自動分類手段１１５は、判読結果データベース１０６から判読した各地物の位置を示す領域座標を引き出すとともに、画像データベース１０３から判読した画像を引き出し、当該画像の当該領域座標の地物の自動分類を行い、地物の自動分類結果を出力する。
【００２６】
そして、判読結果修正候補抽出手段１０７は、出力・蓄積される自動分類結果を参照し、判読作業の結果が誤っている可能性が高い地物候補を出力する。その結果は、上述したディスプレイ等の判読結果修正候補表示装置１０８に表示される。判読作業者は、その候補を見て、判読結果を修正したい場合は、キーボード、マウスなどで構成される判読結果修正結果入力装置１０９を用いて修正作業をする。判読結果更新手段１１０は、修正結果を判読結果データベース１０６に格納する。最後に、判読結果閲覧装置１１１で、判読結果を参照することができる。なお、自動分類手段１１５、及び判読結果修正候補抽出手段１０７、判読結果更新手段１１０は、例えば上述した計算機の処理部であるＣＰＵで実行されるプログラムで構成される。
【００２７】
図２は、実施例１における画像データベース１０３で用いられるデータ構造の構成例である。画像データベースは、大きくわけて画像管理テーブル２０１と画像データ２０９、２１０、２１１、…から構成される。画像管理テーブル２０１の画像ＩＤ２０２には、画像固有の番号を格納する。撮影日時２０３には当該画像を撮影した日時を格納する。撮影領域座標２０４には、当該画像の撮影範囲を格納する。撮影領域の表現方法としては、撮影領域の四隅の緯度と経度で表現できる。画像へのポインタ格納領域２０５には、画像ＩＤ２０２に対応する画像へのポインタを格納する。ポインタ２０６、２０７、２０８は画像管理テーブル中の各要素と、画像データを関連付ける役割をする。すなわち、このポインタをたどることで画像ＩＤから画像データを参照することができる。例えば、画像ＩＤが１の画像は、ポインタ２０６をたどり、画像データ２０９と関連付けられている。
【００２８】
図３は、実施例１における判読結果データベース１０６で用いられるデータ構造の構成例である。判読結果データベースは、大きくわけて判読結果管理テーブル３０１と、判読結果データ３１０、３１１、３１２、…から構成される。判読結果管理テーブル３０１の画像ＩＤ３０２には、画像固有の番号を格納する。撮影領域座標３０４には、判読の対象にした画像の撮影範囲を格納する。図２の撮影領域座標２０４と同様に、撮影領域の四隅の緯度と経度で表現する。判読作業時間３０５には、判読作業の開始日時と終了日時を格納する。判読結果へのポインタ格納領域３０６には、判読結果データ３１０、３１１、３１２、…へのポインタを格納する。ポインタ３０７、３０８、３０９は判読結果管理テーブル中の各要素と、判読結果データを関連付ける役割をする。すなわち、このポインタをたどることで、画像ＩＤから判読結果データを参照することができる。例えば、画像ＩＤが１の画像は、ポインタ３０７をたどり、判読結果データ３１２と関連づけられている。地物ＩＤ３１３には地物のＩＤを、地物領域座標３１４には当該地物が位置する座標を、地物名称３１５には目視判読の結果得られた地物の種類を示す地物名称を、それぞれ格納する。
【００２９】
図１５は、実施例１における自動分類手段１１５で出力される自動分類結果のデータ構造の構成例である。自動分類結果のデータ構造は、後で説明するように、判読結果データベース１０６に自動分類手段１１５の結果得られた尤度１５１６を付け加えた構造になっている。この自動分類結果データを保存する場合は、判読結果データベース１０６に追加で保存しても良いし、図示されない、別個に設けた自動分類結果データベースに蓄積しても良い。自動分類結果は、大きくわけて自動分類結果テーブル１５０１と、自動分類結果データ１５１０から構成される。
【００３０】
同図に明らかなように、自動分類結果管理テーブル１５０１の画像ＩＤ１５０２には、画像固有の番号を格納する。撮影領域座標１５０４には、判読の対象にした画像の撮影範囲を格納する。図３の撮影領域座標３０４と同様に、撮影領域の四隅の緯度と経度で表現する。判読作業時間１５１４には、判読作業の開始日時と終了日時を格納する。自動分類結果へのポインタ格納領域１５０６には、自動分類結果データ１５１０、１５１１、１５１２、…へのポインタを格納する。ポインタ１５０７、１５０８、１５０９は自動分類結果管理テーブル中の各要素と、自動分類結果データを関連付ける役割をする。すなわち、このポインタをたどることで、画像ＩＤから自動分類結果データを参照することができる。例えば、画像ＩＤが１の画像は、ポインタ１５０７をたどり、自動分類結果データ１５１２と関連づけられている。地物ＩＤ１５１３には地物のＩＤを、地物領域座標１５１４には当該地物が位置する座標を、地物名称１５１５には目視判読の結果得られた地物名称を、尤度１５１６には自動分類の結果得られた尤度を、それぞれ格納する。
【００３１】
図４は、実施例１における目視判読装置１１３で用いられる、画像表示装置１０４および判読結果入力装置１０５の作業中の一具体例を示す図である。判読結果入力装置の画面４０１はファイル選択メニュー４０２から、判読作業を行う対象の画像を選択することができる。画像表示領域４０５には、選択した画像が表示される。判読作業が行いやすいように、表示倍率選択ボタン４０３であらかじめ定められたいくつかの拡大倍率から適切な拡大倍率を選んで画像を表示することが可能である。拡大倍率入力領域４０４は、任意の拡大倍率をキーボードから入力することができる。画像の拡大縮小の微小な調整は、拡大・縮小ボタン４１４を押すことによって調整することも可能である。また画像表示領域４０５の脇にはスクロールバー４０６があり、これをマウスで操作することで地物が映っている画像を適切な位置に表示することができる。
【００３２】
地物の領域を設定するには、ボタン４０７、４０８、４０９、４１０、４１１を用いる。例えば、地物として建物等を想定し、地物の領域を矩形で表現したいときには、矩形領域設定ボタン４０７を押してから、マウスで画像中の地物の外接矩形を描くことで、地物の座標を入力する。また、道路のような線分を地物として想定する場合は、線分領域設定ボタン４０８を押してから、マウスで画像中の道路の始点および終点を選択することで、地物の座標を入力する。同様に、４０９は地物を点の集合で表現する場合を想定している。ボタン４１１は任意の輪郭で地物を表現する場合、ボタン４１２は任意の形状の領域を想定している。
【００３３】
地物名称選択ボタン４１２は、地物の名称、即ちこれから判読する地物の種類を、あらかじめ決められたいつかの地物の種類から選ぶ。また、地物名称入力領域４１３から、地物の種類を示す地物名称を直接入力してもよい。
【００３４】
判読作業が終わったら、確定ボタン４１４を押し、判読作業を終える。判読作業結果を破棄して途中で終了する場合には、取消しボタン４１５を押す。
【００３５】
なお、一枚の画像に同一の地物名称を持つ複数の地物が存在する場合は、それらの地物をまとめて選択して地物名称選択ボタン４１２で地物名称を設定、あるいは、地物名称入力領域４１３に直接名称を入力するようにしてもよい。このようにすることにより、一つ一つの地物に物体名称を設定する場合に比べ、ユーザの負荷を低減できる。
【００３６】
図１１は、実施例１における画像判読支援装置１１２の画像判読支援フローを示した図である。以下、この図を用いて本実施例の画像判読支援フローを概説する。まず、観測センサ１０２で、観測対象１０１を撮影する。撮影した結果は、画像データベース１０３に格納される（Ｓ１１０１）。そして、格納された画像は画像表示装置１０４に表示され、図４に示した画像表示装置および判読結果入力装置を用いて、まず人手による目視判読作業を行う（Ｓ１１０２）。続いて、自動分類にて各々の地物に尤度を付与する（Ｓ１１０３）。それから、この自動分類の尤度を用いて、目視判読結果が誤っている可能性がある地物の抽出、すなわち、判読結果修正候補を抽出する（Ｓ１１０４）。最後に、修正が必要と思われる判読結果修正候補に対して判読結果の修正を行う（Ｓ１１０５）。
【００３７】
図１２は、上述した画像判読支援フロー中の目視判読（図１１のＳ１１０２）の処理フローの一具体例を示した図である。以下、この図を用いて画像判読フローを説明する。まず、画像データベース１０３から、画像判読対象となる画像を選択する（Ｓ１２０１）。次に、選択した画像に含まれる全ての地物判読を行う（Ｓ１２０２）。地物の判読は、地物が図４に示す画像表示領域４０５に含まれるように、必要に応じてスクロールバー４０６で画像の表示領域を調整する（Ｓ１２０３）。続いて、判読をしやすいように表示倍率設定４０３や、表示倍率入力部４０４に直接倍率を入力したりして、必要に応じて画像を拡大、もしくは、縮小表示する（Ｓ１２０４）。そして、地物の形状に応じて、地物領域形状設定ボタン４０７、４０８、４０９、４１０、４１１を選択し（Ｓ１２０５）、マウス等のポインティングデバイスで地物領域を囲む（Ｓ１２０６）。そして選択した地物の名称を入力する（Ｓ１２０７）。
【００３８】
図１４は、上述した画像判読支援フロー中の、自動分類にて地物に尤度を付与する処理（図１１のＳ１１０３）のフローの一具体例を示した図である。以下、この図を用いて、処理フローを説明する。ここでは、画像判読結果データベース１０６にＮ個の判読結果データが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ１４０１）。ｉ番目の判読結果データに含まれる地物すべてを調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ１４０２）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ１４０３）。ここで、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。続いて、判読結果データベース１０６を参照して当該地物ｋの名称の尤度を計算する。特徴量の抽出手法と尤度の計算方法は、例えば、田村秀行編のコンピュータ画像処理ｐｐ．２５１−２８６（オーム出版局、２００２年１２月）に開示されている。最後に計算された尤度を図１５に示した自動分類結果１５０１の尤度１５１６に格納する。
【００３９】
図１１のＳ１１０４において、図１の判読結果修正候補抽出手段１０７は、自動分類結果１５０１の尤度１５１６が予め定められた閾値よりも小さい地物をのみを、判読結果修正候補として抽出し、判読結果修正候補表示装置１０８に送る。
【００４０】
図１３は、本実施例における、判読結果修正作業フロー（図１１のＳ１１０５）の一例を示した図である。以下、この図を用いて、判読結果修正作業フローを説明する。判読結果修正作業フローでは、上述の通り図４に示した目視判読支援装置のインタフェースであるディスプレイやキーボード等を利用することができる。まず、判読結果修正候補表示装置１０８に表示され、判読結果修正候補抽出手段１０７で抽出した判読結果修正候補が含まれている画像を選択する（Ｓ１３０１）。次に、その画像に含まれる全ての判読結果修正候補に対して、判読結果修正結果入力装置１０９を用いて修正作業を行う（Ｓ１３０２）。修正作業は、必要に応じて画像の拡大・縮小表示を行い、人が地物を判読しやすい縮尺でディスプレイに表示する（Ｓ１３０３）。
【００４１】
次に、地物領域の修正が必要か判断し（Ｓ１３０４）、必要であれば地物領域の修正を行う（Ｓ１３０５）。地物領域を指定する形状を変えたい場合は、地物領域形状設定ボタン４０７、４０８、４０９、４１０、４１１を押して形状も修正する。さらに、判読結果と画像を比較して、地物の種類を示す地物名称の修正が必要かをユーザが判断し（Ｓ１３０６）、必要であれば地物名称の修正を行う（Ｓ１３０７）。修正作業が行われた場合には、判読結果データ３１０の地物名称３１５が修正された地物名称で上書きされる。
【００４２】
このような構成にすることで、判読結果修正候補、すなわち地物の判読結果が誤っている可能性が高い候補を効率よく抽出できるため、高い精度の判読結果を容易に得ることができる。
【００４３】
続いて、本実施例による効率向上について、具体例を例示する。高精度な判読結果を得るのに要する時間は、たとえば以下のようにして見積もることができる。すなわち、１０キロメートル×１０キロメートルのリモートセンシング画像に１００００個の地物が写っており、最初の目視による判読では５％の地物を誤って判読し、判読結果を見直すごとに誤りは半分になると仮定する。この場合、最初の判読で５００個の誤り、２回目の判読で２５０個の誤り、３回目の判読で１２５個の誤り、…となり、判読の誤りを０にするには合計１０回の判読が必要となる。各判読において、１０キロメートル×１０キロメートルのリモートセンシング画像全域を目視判読する必要がある。すなわち、のべ１００００×１０回＝１０００００個の地物の目視判読作業が必要となる。
【００４４】
一方、実施例１に示す方法では、２回目の判読においては５００箇所の地物についてのみ判読結果の見直しをすればよく、３回目の判読においては２５０箇所の地物についてのみ判読結果の見直しをすればよい。したがって、誤りを０にするまでに、１００００＋５００＋２５０＋…＝１１０００個の地物の目視判読作業ですむことになる。したがって、目視判読を繰り返す場合にくらべ、約９分の１の作業時間ですむことになる。
【００４５】
なお、上述した本実施例では、静止画像を対象に説明したが、動画を対象にして同様の効果を得られる。また、本実施例では、地球の表面を観測することを前提に説明したが、本発明はこの実施形態に限定されるものではない。例えば惑星探査用の宇宙船などにおいても適用可能である。
【実施例２】
【００４６】
次に、第２の実施例について説明する。以下では、第１の実施例との違いを中心に述べる。本実施例では、実施例１と異なり、目視判読に先立ち、自動分類が実行される。
【００４７】
図１６は、実施例２における、画像判読支援フローを示した図である。以下、この図を用いて画像判読支援フローを概説する。まず、観測センサ１０２で、観測対象１０１を撮影する。撮影した結果は、画像データベース１０３に格納される（Ｓ１６０１）。そして、画像中に写っている地物を自動分類して各々の地物に類似度を付与する（Ｓ１６０２）。そして、画像は画像表示装置１０４に表示され、図４に示した画像表示装置および判読結果入力装置を用いて、人手による目視判読作業を行う（Ｓ１６０３）。それから、上述の自動分類による類似度を用いて、目視判読結果が誤っている可能性がある地物の抽出、すなわち、判読結果の修正候補を抽出する（Ｓ１６０４）。最後に、修正が必要と思われる候補に対して目視判読結果の修正を行う（Ｓ１６０５）。
【００４８】
図５は、判読結果修正候補抽出（Ｓ１６０４）の処理フローの一例を示した図である。以下、この図を用いて、判読結果修正候補抽出フローを説明する。ここでは、画像判読結果データベース１０６にＮ個の判読結果テーブルが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ５０１）。ｉ番目の画像の判読結果データに含まれる地物すべてを調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ５０２）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ５０３）。ただし、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。続いて、判読結果データベース１０６を参照して当該地物ｋの名称が、ｊと判読した地物同士の類似度を計算する（Ｓ５０４、Ｓ５０５）。
【００４９】
類似度の具体的計算法には、本例では画素値からの相互相関係数を用いたが、スペクトル、テクスチャ、輝度分布などの特徴量を用いてもよい。また、地物の全長、全幅を用いてもよい。以下では，相互相関係数例に説明する。相互相関係数は，リモートセンシング画像から所定の大きさでくりぬいた部分画像の画素値から計算する。相互相関係数の算出方法は、例えば、上述した田村秀行編のコンピュータ画像処理ｐｐ．２５２−２５４に開示されている。最後に、相互相関係数が閾値以下の地物ｘを抽出し（Ｓ５０６）、それらを判読結果修正候補として出力する。判読結果修正候補を格納するデータの構造は、判読結果データ３１０を用いることができる。
【００５０】
なお、自動分類の対象となる地物の数が限られる場合は、Ｓ１６０２において類似度の代わりに、尤度を用いることもできる。このときの判読結果修正候補抽出（Ｓ１６０４）の処理フローは、図５において、Ｓ５０５の「相互相関係数を計算」、とあるところを、「尤度を計算」に、Ｓ５０６の「相互相関係数が閾値以下の再判読候補として抽出」、とあるところを、「尤度が閾値以下の地物ｘを再判読候補として抽出」、とそれぞれ読み替えればよい。
【００５１】
図６は、相互相関係数の一例を示した図である。この例では４つの地物の種類ごとに相関係数を計算し、計算した値が各ます目に格納されている。例えば、地物ＩＤ２と地物１の相互相関は０．９と比較的高く、地物ＩＤ３と地物ＩＤ１の相関は０．８である。
【００５２】
なお上記では、地物同士の類似度を求めるのになお、判読結果修正候補抽出手段１０７では、全ての地物が判読結果修正の可能性があるとして相互相関係数を計算したが、この実施形態に限定されるものではない。例えば、ユーザが指定した地物のみとの相互相関係数を計算してもよい。
【００５３】
このような構成にすることにより、最初の判読作業でユーザが見逃した地物に対しても判読結果修正候補としてユーザに提示することが可能となる。その結果、効率よく高精度な判読結果を得ることができる。
【実施例３】
【００５４】
次に、第３の実施例について説明する。以下では実施例１との違いを中心に述べる。図７は，本実施例に係わる画像判読支援装置の判読結果修正候補抽出手段１０７のフローの一例を示したのものである。
【００５５】
ここでは、判読結果データベース１０６にＮ個の判読結果データが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ７０１）。ｉ番目の判読結果データに含まれる地物すべてを調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ７０２）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ７０３）。ただし、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。
【００５６】
続いて、判読結果データベース１０６を参照して当該地物ｋの名称が、地物名称ｊらしい尤度Ｌを算出する（Ｓ７０５）。尤度Ｌの算出方法としては、テンプレートマッチング（上述の田村秀行編、コンピュータ画像処理、オーム出版局、pp．２５９−２６０）による方法や、統計的に物体を分類する方法（上述の田村秀行編、コンピュータ画像処理、オーム出版局、ｐｐ．２７１―２８１）などを用いることができる。続いて、地物kの名称がjらしい尤度Ｌの平均ｍと、標準偏差sを算出する。最後に、ｍ−ｓ＜尤度Ｌ＜ｍ＋ｓとなる地物ｘを判読結果修正候補として出力する。判読結果修正候補は、判読結果データ３１０と同じデータ形式で表現できる。
【００５７】
図８は、判読の結果同一の地物名称を持つと判断された複数の地物に対し、自動分類によって尤度Ｌを算出した結果を並べたものである。横軸が地物のＩＤ、縦軸が尤度をあらわしている。同図中で、８０１は尤度の平均ｍを、８０２は尤度の平均ｍ＋標準偏差ｓを、８０３は尤度の平均ｍ−標準偏差ｓを、それぞれあらわしている。そして、８０４は、尤度Ｌが尤度の平均ｍ±標準偏差ｓの間に収まっている地物、８０５は、尤度Ｌが尤度の平均ｍ±ｓの外側にある地物を、それぞれあらわしている。
【００５８】
上記の方法では、尤度の平均と標準偏差からのずれをもって、地物の尤度の許容範囲を表現したが、当然この方法に限定されない。例えば、ロバスト推定（高木幹雄、画像解析ハンドブック、東京大学出版会、２００４）などの方法も用いることができる。また、あらかじめユーザが定めた許容範囲をもとに、地物の尤度を設定するようにしてもよい。
【００５９】
また、判読結果修正候補抽出手段１０７では、全ての地物が判読結果修正の可能性があるとして尤度を計算したが、この実施形態に限定されるものではない。例えば、ユーザが指定した地物のみとの類似の度合いを計算してもよい。
【００６０】
このような構成にすることにより、最初の判読作業でユーザが見逃した地物に対しても判読結果修正候補としてユーザに提示することが可能となる。その結果、効率よく高精度な判読結果を得ることができる。
【実施例４】
【００６１】
次に、第４の実施例について説明する。以下では第１の実施例との違いを中心に述べる。図９は、本実施例にかかわる画像判読支援装置における判読結果修正候補抽出手段１０７のフローを示したものである。この実施例では、画像データベース１０３を参照しながら、同一の撮影日時近辺で撮影されたリモートセンシング画像を検索し、それら複数のリモートセンシング画像の中から、同一の地物と判読した地物を抽出し、判読結果修正候補を抽出する判定基準に用いる。
【００６２】
すなわち、画像判読結果データベース１０６にＮ個の判読結果データが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ９０１）。ｉ番目の判読結果データを参照して同一の撮影日時の画像ｉｉ全てに対して以下の処理を行う（Ｓ９０２）。画像ｉｉに対する判読結果に含まれる全地物を調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ９０３）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ９０４）。ただし、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。
【００６３】
続いて、判読結果データベース１０６を参照して当該地物ｋの名称が、地物名称ｊらしい尤度Ｌを算出する（Ｓ９０６）。尤度Ｌの算出方法としては、図５の説明と同様な方法で行うことができる。続いて、地物名称jと判読した地物kの名称がjらしい尤度Ｌの平均ｍと、標準偏差sを算出する（Ｓ９０７）。最後に、ｍ−ｓ＜尤度Ｌ＜ｍ＋ｓとなる地物ｘを判読結果修正候補として出力する（Ｓ９０８）。判読結果修正は、判読結果データ３０１と同一の構造で表現できる。
【００６４】
このような構成にすることにより、より多くの地物を用いて尤度の平均値ｍおよび標準偏差ｓを計算することができるので、安定して判読結果修正を抽出することができる。
【００６５】
画像の撮影日時が近い画像のみに絞り込む理由は、撮影日時が近い画像同士は画像の変化が少なく、同じ地物は同じ地物として目視判読、ないしは、自動分類される可能性が高く、尤度のばらつきの計算の正確さが増すためである。
【００６６】
この画像の撮影日時の近さについては、どのような地物を判読するかによって適切に定めておけばよい。地物として、道路、鉄道、橋、建物などを想定するのであれば、それらを建設する長い期間にわたって画像の変化は少ないとみなせるので、たとえば、数ヶ月から数年とすればよい。また、航空機、船舶、車両、列車などの移動物体を想定するのであれば、移動速度に応じて、たとえば、数時間から数日とすればよい。
【００６７】
以上の説明においては、実施例１との差分について述べた。画像判読支援フローとして図１１に示したフローの代わりに図１６に示したフローを用いた実現方法も考えられる。
【実施例５】
【００６８】
図１０は、第５の実施例にかかわる画像判読支援装置の判読結果修正候補抽出手段１０７のフローの一例を示したものである。実施例１との差異についてのみ、以下説明する。この実施例では、画像データベース１０３を参照しながら、同一の撮影位置付近で撮影されたリモートセンシング画像を検索し、それらの複数のリモートセンシング画像の中から、同一の地物と判読した地物を抽出し、判読結果修正候補を抽出する判定基準に用いる。
【００６９】
すなわち、画像判読結果データベース１０６にＮ個の判読結果データが含まれるとして、ｉ番目の画像（１≦ｉ≦Ｎ）に対し以下の処理を行う（Ｓ１００１）。ｉ番目の判読結果データを参照して近隣の撮影位置の画像ｉｉ全てに対して以下の処理を行う（Ｓ１００２）。画像ｉｉに対する判読結果に含まれる全地物を調べながら、地物の名称がjであるとユーザが判読した全ての地物を探索する（Ｓ１００３）。そして、各々の地物k（１≦ｋ≦Ｍ）に対する画像から特徴量を抽出する（Ｓ１００４）。ただし、Ｍは、ｉ番目の判読結果データに含まれる地物の個数である。続いて、判読結果データベース１０６を参照して当該地物ｋの名称が、地物名称ｊらしい尤度Ｌを算出する（Ｓ１００６）。尤度Ｌの算出方法としては、図５の説明と同様な方法で行うことができる。続いて、地物名称jと判読した地物kの名称がjらしい尤度Ｌの平均ｍと、標準偏差sを算出する（Ｓ１００７）。最後に、ｍ−ｓ＜尤度Ｌ＜ｍ＋ｓとなる地物ｘを判読結果修正候補として出力する（Ｓ１００８）。判読結果修正候補は、判読結果データ３１０を流用して表現できる。
【００７０】
このような構成にすることにより、より多くの地物を用いて尤度の平均値ｍおよび標準偏差ｓを計算することができるので、安定して判読結果修正候補を抽出することができる。
【００７１】
画像の撮影位置が近い画像のみに絞り込む理由は、撮影位置が近い画像同士は画像の変化が少なく、同じ地物は同じ地物として目視判読、ないしは、自動分類される可能性が高く尤度のばらつきの計算の正確さが増すためである。また、道路、鉄道、橋など、大きな地物について、同一の地物が含まれている可能性が高いためである。
【００７２】
画像の撮影位置の近隣さについては、どのような地物を判読するかによって適切に定めておけばよい。地物として、道路、鉄道、橋、建物などを想定するのであれば、それらを含む、たとえば、数メートルから数キロメートルとすればよい。また、航空機、船舶、車両、列車などの移動物体を想定するのであれば、移動物体の大きさに応じて、たとえば、数メートルから数十メートルとすればよい。
【００７３】
以上の説明においては、近隣の撮影位置で撮影した画像で絞り込むことを述べたが、実施例４で述べたように撮影日時でさらに絞りこむことも考えられる。
【００７４】
また、以上の説明においては、実施例１との差分について述べた。画像判読支援フローとして図１１に示したフローの代わりに図１６に示したフローを用いた実現方法も考えられることは言うまでもない。
【図面の簡単な説明】
【００７５】
【図１】実施例１の画像判読支援装置のブロック構成図である。
【図２】実施例１の画像データベースデータ構造の構成例を示す図である。
【図３】実施例１の判読結果データベースのデータ構造の構成例を示す図である。
【図４】実施例１の判読結果入力装置の表示画面の例を示す図である。
【図５】実施例１の再判読候補抽出手段１０７の処理フローの一例を示す図である。
【図６】実施例１の地物同士の相関度を一覧表にした、相互相関行列の一例を示す図である。
【図７】実施例３の再判読候補抽出手段１０７の処理フローの一例を示す図である。
【図８】実施例３の地物分類結果のばらつき具合を示す図である。
【図９】実施例４の再判読候補抽出手段１０７の処理フローの一例を示す図である。
【図１０】実施例５の再判読候補抽出手段１０７の処理フローの一例を示す図である。
【図１１】実施例１の画像判読支援フローの一例を示す図である。
【図１２】実施例１の画像判読作業フローの一例を示す図である。
【図１３】実施例１の画像再判読作業フローの一例を示す図である。
【図１４】実施例１の自動分類にて地物に尤度を付与する処理フローの一例を示す図である。
【図１５】実施例１の自動分類結果のデータ構造の一例を示す図である。
【図１６】実施例２の画像判読支援フローの一例を示す図である。
【符号の説明】
【００７６】
１０１…観測対象、１０２…観測センサ、１０３…画像データベース、１０４…画像表示装置、１０５…目視判読結果入力装置、１０６…判読結果データベース、１０７…判読結果修正候補抽出手段、１０８…判読結果修正候補表示装置、１０９…判読結果修正結果入力装置、１１０…判読結果更新手段、１１１…判読結果閲覧装置、２０１…画像管理テーブル、２０２…画像ＩＤ、２０３…撮影日時、２０４…撮影領域座標、２０５…画像データへのポインタを格納する領域、２０６…観測画像データへのポインタ、２０７…観測画像データへのポインタ、２０８…観測画像データへのポインタ、２０９…観測画像、２１０…観測画像、２１１…観測画像、２１２…画像データベース、３０１…判読結果管理テーブル、３０２…画像ＩＤ、３０３…画像の撮影日時、３０４…撮影領域の座標、３０５…判読作業時間、３０６…判読結果データへのポインタを格納する領域、３０７…判読結果データへのポインタ、３０８…判読結果データへのポインタ、３０９…判読結果データへのポインタ、３１０…判読結果データ、３１１…判読結果データ、３１２…判読結果データ、３１３…地物ＩＤ、３１４…地物領域座標、３１５…地物名称、３１６…判読結果データベース、４０１…判読結果入力装置の画面、４０２…判読対象画像ファイル選択ボタン、４０３…画像拡大表示倍率選択ボタン、４０４…拡大表示倍率、４０５…画像表示領域、４０６…画像スクロールバー、４０７…地物領域形状設定ボタン、４０８…地物領域形状設定ボタン、４０９…地物領域形状設定ボタン、４１０…地物領域形状設定ボタン、４１１…地物領域形状設定ボタン、４１２…地物名称選択ボタン、４１３…地物名称入力領域、４１４…確定ボタン、４１５…取消ボタン、８０１…尤度の平均値、８０２…尤度の平均値＋標準偏差、８０３…尤度の平均値−標準偏差物体名、８０４…当該尤度が、（尤度の平均値＋尤度の標準偏差）から（尤度の平均値−尤度の標準偏差）の間に収まっている例、８０５…当該尤度が、（尤度の平均値＋尤度の標準偏差）から（尤度の平均値−尤度の標準偏差）の外にある例、１５０１…判読結果管理テーブル、１５０２…画像ＩＤ、１５０３…画像の撮影日時、１５０４…撮影領域の座標、１５０５…判読作業時間、１５０６…判読結果テーブルへのポインタを格納する領域、１５０７…判読結果テーブルへのポインタ、１５０８…判読結果テーブルへのポインタ、１５０９…判読結果テーブルへのポインタ、１５１０…判読結果テーブル、１５１１…判読結果テーブル、３１２…判読結果テーブル、１５１３…地物ＩＤ、１５１４…地物領域座標、１５１５…地物名称、１５１６…尤度。
【特許請求の範囲】
【請求項１】
処理部を有し、センシング画像から地物を判読する装置における画像判読支援方法であって、
前記地物を判読した判読結果を、前記センシング画像中の位置と関連付けて保存し、
前記センシング画像から前記地物の種類を、前記処理部で自動分類した自動分類結果を、尤度、及び前記センシング画像中の位置と関連づけて保存し、
前記処理部は、
前記判読結果で、同一種の地物と判読された前記地物の位置をもとに、前記自動分類結果から、前記地物の前記尤度を検索し、
前記地物の前記尤度のばらつきを調べて、前期判読結果から特異な尤度を持つ前記地物を抽出し、
抽出された特異な尤度を有する前記地物の前記判読結果を判読修正候補として出力する
ことを特徴とする画像判読支援方法。
【請求項２】
処理部を有し、センシング画像から地物を判読する装置における画像判読支援方法であって、
前記センシング画像から前記地物を判読した判読結果を、前記センシング画像中の位置と関連付けて保存し、
前記センシング画像から前記地物の種類を、前記処理部により自動分類した自動分類結果を、類似度あるいは尤度、及び前記センシング画像中の位置と関連づけて保存し、
前記処理部は、
前記自動分類結果で、前記類似度が他の前記地物のものとかけ離れた前記地物、或いは前記尤度が所定の閾値以下である少なくとも一個の前記地物の前記位置をもとに、前記判読結果を検索し、
前記判読結果が異なる前記地物を抽出し、判読修正候補として提示する
ことを特徴とする画像判読支援方法。
【請求項３】
請求項１または請求項２に記載の画像判読支援方法において、
前記自動分類では、前記センシング画像から、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせによって、前記地物の分類を行う
ことを特徴とする画像判読支援方法。
【請求項４】
請求項１または請求項２に記載の画像判読支援方法において、
前記判読結果を、前記センシング画像中の位置と関連付けて保存する際、前記センシング画像の撮影日時を関連付けて保存しておき、
前記処理部は、
前記撮影日時が近い複数の前記センシング画像に含まれる同一種の前記地物から、前記尤度のばらつきを計算する
ことを特徴とする画像判読支援方法。
【請求項５】
請求項１または請求項２に記載の画像判読支援方法において、
前記判読結果を、前記センシング画像中の位置と関連付けて保存する際、前記センシング画像の撮影位置を関連付けて保存しておき、
前記処理部は、
前記撮像位置が近い複数の前記センシング画像に含まれる同一種の前記地物から、前記尤度のばらつきを計算する
ことを特徴とする画像判読支援方法。
【請求項６】
センシング画像から地物を判読するのを支援する画像判読支援装置であって、
記憶部と処理部と表示部とを有し、
前記記憶部は、
前記地物を判読した結果の判読結果を前記地物の前記センシング画像中の位置と関連付けしたデータ、更に前記センシング画像から前記地物の種類を、前記処理部で自動分類した結果の自動分類結果を、前記地物の類似度、或いは尤度と、前記地物の前記センシング画像中の位置と関連付けしたデータとして保存し、
前記処理部は、
保存された前記データに基づき、前記地物から判読修正候補となる地物を抽出し、
前記表示部は、
抽出された前記地物を判読修正候補として提示する
ことを特徴とする画像判読支援装置。
【請求項７】
請求項６記載の画像判読支援装置であって、
前記処理部は、
前記自動分類において、前記センシング画像から、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせによって前記地物を分類する
ことを特徴とする画像判読支援装置。
【請求項８】
請求項６記載の画像判読支援装置であって、
前記処理部は、
前記類似度として、前記センシング画像の前記地物の画素値からの相互相関係数を用いる
ことを特徴とする画像判読支援装置。
【請求項９】
請求項６記載の画像判読支援装置であって、
前記処理部は、
前記判読結果で、同一種の地物と判読された前記地物の位置をもとに、自動分類した前記自動分類結果から、前記地物の前記尤度を検索し、前記地物の前記尤度のばらつきを調べて、前期判読結果から特異な尤度を持つ前記地物を抽出し、
抽出された特異な尤度を有する前記地物を判読修正候補として前記表示部に出力する
ことを特徴とする画像判読支援装置。
【請求項１０】
請求項６記載の画像判読支援装置であって、
前記処理部は、
前記自動分類結果で、前記類似度が他の前記地物のもとかけ離れた前記地物、或いは前記尤度が所定の閾値以下となる少なくとも一個の前記地物の前記位置を基に、前記判読結果を検索し、
前記判読結果が異なる前記地物を抽出し、判読修正候補として前記標示部に提示する
ことを特徴とする画像判読支援装置。
【請求項１１】
請求項６に記載の画像判読支援装置であって、
前記記憶部は、
前記判読結果を前記センシング画像の撮影日時を関連付けて保存しており、
前記処理部は、
前記撮影日時の近い画像に含まれる同一種の前記地物から、特異な前記尤度を持つ前記地物を抽出し、前記判読修正候補として前記表示部に出力する
ことを特徴とする画像判読支援装置。
【請求項１２】
請求項６に記載の画像判読支援装置であって、
前記記憶部は、
前記判読結果を前記センシング画像の撮影場所を関連付けて保存しており、
前記処理部は、
前記撮影場所の近い複数の前記センシング画像に含まれる同一種の前記地物から、特異な前記尤度を持つ前記地物を抽出し、前記判読修正候補として前記標示部に出力する
ことを特徴とする画像判読支援装置。
【請求項１】
処理部を有し、センシング画像から地物を判読する装置における画像判読支援方法であって、
前記地物を判読した判読結果を、前記センシング画像中の位置と関連付けて保存し、
前記センシング画像から前記地物の種類を、前記処理部で自動分類した自動分類結果を、尤度、及び前記センシング画像中の位置と関連づけて保存し、
前記処理部は、
前記判読結果で、同一種の地物と判読された前記地物の位置をもとに、前記自動分類結果から、前記地物の前記尤度を検索し、
前記地物の前記尤度のばらつきを調べて、前期判読結果から特異な尤度を持つ前記地物を抽出し、
抽出された特異な尤度を有する前記地物の前記判読結果を判読修正候補として出力する
ことを特徴とする画像判読支援方法。
【請求項２】
処理部を有し、センシング画像から地物を判読する装置における画像判読支援方法であって、
前記センシング画像から前記地物を判読した判読結果を、前記センシング画像中の位置と関連付けて保存し、
前記センシング画像から前記地物の種類を、前記処理部により自動分類した自動分類結果を、類似度あるいは尤度、及び前記センシング画像中の位置と関連づけて保存し、
前記処理部は、
前記自動分類結果で、前記類似度が他の前記地物のものとかけ離れた前記地物、或いは前記尤度が所定の閾値以下である少なくとも一個の前記地物の前記位置をもとに、前記判読結果を検索し、
前記判読結果が異なる前記地物を抽出し、判読修正候補として提示する
ことを特徴とする画像判読支援方法。
【請求項３】
請求項１または請求項２に記載の画像判読支援方法において、
前記自動分類では、前記センシング画像から、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせによって、前記地物の分類を行う
ことを特徴とする画像判読支援方法。
【請求項４】
請求項１または請求項２に記載の画像判読支援方法において、
前記判読結果を、前記センシング画像中の位置と関連付けて保存する際、前記センシング画像の撮影日時を関連付けて保存しておき、
前記処理部は、
前記撮影日時が近い複数の前記センシング画像に含まれる同一種の前記地物から、前記尤度のばらつきを計算する
ことを特徴とする画像判読支援方法。
【請求項５】
請求項１または請求項２に記載の画像判読支援方法において、
前記判読結果を、前記センシング画像中の位置と関連付けて保存する際、前記センシング画像の撮影位置を関連付けて保存しておき、
前記処理部は、
前記撮像位置が近い複数の前記センシング画像に含まれる同一種の前記地物から、前記尤度のばらつきを計算する
ことを特徴とする画像判読支援方法。
【請求項６】
センシング画像から地物を判読するのを支援する画像判読支援装置であって、
記憶部と処理部と表示部とを有し、
前記記憶部は、
前記地物を判読した結果の判読結果を前記地物の前記センシング画像中の位置と関連付けしたデータ、更に前記センシング画像から前記地物の種類を、前記処理部で自動分類した結果の自動分類結果を、前記地物の類似度、或いは尤度と、前記地物の前記センシング画像中の位置と関連付けしたデータとして保存し、
前記処理部は、
保存された前記データに基づき、前記地物から判読修正候補となる地物を抽出し、
前記表示部は、
抽出された前記地物を判読修正候補として提示する
ことを特徴とする画像判読支援装置。
【請求項７】
請求項６記載の画像判読支援装置であって、
前記処理部は、
前記自動分類において、前記センシング画像から、分光特性、放射特性、散乱特性、テクスチャ、形状のいずれか、あるいは、これらの組み合わせによって前記地物を分類する
ことを特徴とする画像判読支援装置。
【請求項８】
請求項６記載の画像判読支援装置であって、
前記処理部は、
前記類似度として、前記センシング画像の前記地物の画素値からの相互相関係数を用いる
ことを特徴とする画像判読支援装置。
【請求項９】
請求項６記載の画像判読支援装置であって、
前記処理部は、
前記判読結果で、同一種の地物と判読された前記地物の位置をもとに、自動分類した前記自動分類結果から、前記地物の前記尤度を検索し、前記地物の前記尤度のばらつきを調べて、前期判読結果から特異な尤度を持つ前記地物を抽出し、
抽出された特異な尤度を有する前記地物を判読修正候補として前記表示部に出力する
ことを特徴とする画像判読支援装置。
【請求項１０】
請求項６記載の画像判読支援装置であって、
前記処理部は、
前記自動分類結果で、前記類似度が他の前記地物のもとかけ離れた前記地物、或いは前記尤度が所定の閾値以下となる少なくとも一個の前記地物の前記位置を基に、前記判読結果を検索し、
前記判読結果が異なる前記地物を抽出し、判読修正候補として前記標示部に提示する
ことを特徴とする画像判読支援装置。
【請求項１１】
請求項６に記載の画像判読支援装置であって、
前記記憶部は、
前記判読結果を前記センシング画像の撮影日時を関連付けて保存しており、
前記処理部は、
前記撮影日時の近い画像に含まれる同一種の前記地物から、特異な前記尤度を持つ前記地物を抽出し、前記判読修正候補として前記表示部に出力する
ことを特徴とする画像判読支援装置。
【請求項１２】
請求項６に記載の画像判読支援装置であって、
前記記憶部は、
前記判読結果を前記センシング画像の撮影場所を関連付けて保存しており、
前記処理部は、
前記撮影場所の近い複数の前記センシング画像に含まれる同一種の前記地物から、特異な前記尤度を持つ前記地物を抽出し、前記判読修正候補として前記標示部に出力する
ことを特徴とする画像判読支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−２５１７９３（Ｐ２００９−２５１７９３Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−９７１２７（Ｐ２００８−９７１２７）
【出願日】平成２０年４月３日（２００８．４．３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月３日（２００８．４．３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]