目標物認識プログラム及び目標物認識装置
【課題】 画像中に含まれる物体を高精度に認識する画像処理装置を提供する。
【解決手段】 センシング画像を該センシング画像の撮影時刻及び撮影位置の情報とともに取得して、予め記録される時刻と位置によって規定される環境モデルを用いて、取得した上記撮影時刻と撮影位置に基いて環境モデルを算出する。この環境モデルを用いて予め登録しておいた物体形状データから物体画像を生成してセンシング画像から目標物の検索を行う。
【解決手段】 センシング画像を該センシング画像の撮影時刻及び撮影位置の情報とともに取得して、予め記録される時刻と位置によって規定される環境モデルを用いて、取得した上記撮影時刻と撮影位置に基いて環境モデルを算出する。この環境モデルを用いて予め登録しておいた物体形状データから物体画像を生成してセンシング画像から目標物の検索を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リモートセンシング画像を用いた画像処理装置、プログラムに関する。
【背景技術】
【０００２】
リモートセンシング画像中には様々な物体（例えば、航空機、船舶、車両、列車）が存在する。これらの物体を画像中から自動的に抽出、識別、検索することができればリアルタイムで画像から様々な情報を得ることが可能となる。
【０００３】
ここで、抽出とは画像中に含まれる物体の位置を特定することである。また、識別とは画像中に含まれる物体の名称を特定することである。認識とは、抽出処理と識別処理によって画像中から物体の位置と物体の名称を特定することである。検索とは物体の名称をキーワードに画像中から該物体の位置を特定することである。
物体の認識は、あらかじめ、認識対象の物体の画像とその名称を格納した画像データベースを用いて物体の形状を記憶した辞書を作成しておき、リモートセンシング画像中に含まれる物体とその辞書に含まれる物体の形状を照合することで行なわれている。
【０００４】
画像データベースに含める物体の形状は、リモートセンシング画像中に含まれる物体を人手でくりぬいた画像から作成する。特に、リモートセンシング画像を撮影する時刻等が異なると物体画像もその影響をうけ、物体の影のでき方や、画像コントラストが変動する。このような変動によって物体画像の輝度値も変化するため、物体の識別精度に影響を与える。そこで、あらかじめ様々な時間、場所で撮影したリモートセンシング画像に含まれる物体の画像を用いて物体画像データベースを作成する。
【０００５】
一方で、任意の撮影時刻に撮影した物体画像を実際のリモートセンシング画像から採取するのは効率がよくないため、物体の三次元モデル（数値データとして与えられた物体形状）から物体画像を生成する（レンダリング）手法が用いられてきた。一般的に、レンダリングでは、視点の位置、光源位置、材質等の条件を考慮して陰面消去、陰影付け、画像コントラストの調整をおこなうことができる。
【０００６】
また、撮影日時と撮影位置情報から、太陽方向、太陽高度を算出する。そして、その太陽方向、太陽高度と、認識対象物体の位置と高さ情報から影の領域を推定し、撮像画像から影を除去する方法もある（例えば、特許文献１参照）。
【０００７】
また、撮影日時と撮影位置情報から、太陽方向、太陽高度を算出する。そしてリモートセンシング画像の周波数解析を行い、上記太陽方向、太陽高度に対応する周波数成分をマスクすることで影を除去する方法もある（例えば、特許文献２参照）。
【０００８】
【特許文献１】特開平１０−２６９３４７号公報
【特許文献２】特開２００１−２６６１６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記した、従来の様々な空中画像の属性をもとに作成した物体画像データベースから辞書を作成する方式では、辞書を格納する記憶装置の容量が大きくなったり、処理時間が増大するという問題があった。
【００１０】
また、特許文献１に記載の方法では、撮像画像中の物体を補正しているため、認識対象物体の位置と高さ情報が既知であることが要求され、これらの情報が予め分からない場合には適用できなかった。また、特許文献２に記載の方法では影領域を除去するため、認識対象物体の上に影が出来た場合は、認識対象物体自身が影領域として除去されてしまうという問題があった。本発明では、これらの問題を解決する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を解決するため、本願で開示する発明の概要は以下のとおりである。
センシング画像を該センシング画像の撮影時刻及び撮影位置の情報とともに取得し、予め記録される時刻と位置によって規定される環境モデルを用いて、取得した上記撮影時刻と撮影位置に基いて環境モデルを算出した上で、環境モデルを用いて予め登録しておいた物体形状データから物体画像を生成する。この物体画像を用いてセンシング画像から検索を行い、検索結果を出力する目標物認識プログラム及び装置。
【発明の効果】
【００１２】
本発明によれば、撮影日時、場所が異なることによって物体画像にできる変動を考慮して物体識別用の辞書を作成することができるので、物体認識を高精度に行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下，この発明の実施形態について図面を参照して詳細に説明する。ここで、本願で「物体」とは地物および移動物体を指し、「移動物体」とは航空機、船舶、車両、列車などを指す。
【実施例１】
【００１４】
本実施例においては、衛星や航空機のセンサによって地表面の放射・反射電磁波を測定・記録したリモートセンシング画像を対象として説明する。尚、本願の適応対象としては、衛星や航空機に搭載したセンサで撮影したリモートセンシング画像に限らず、屋外においてセンサの位置と撮影時刻が予めわかり，被写体と撮像部との距離がある程度あり、さまざまな状況において撮像されたセンシング画像であれば適応可能である。特に空間分解能が１ｍ程度の高分解能で物体の周辺や上にできる影の影響が大きく、センシング画像上の物体を認識する上で大きな障害となる状況にある場合には有用である。
【００１５】
図１は、本発明における一実施形態における、観測センサや、認識対象物等の位置関係をあらわした図である。観測センサを搭載した人工衛星１０１が、観測地域１０３を観測している。観測範囲１０５が観測センサによって撮影される範囲である。ここでは観測センサは人工衛星に搭載されるとしたが、本発明で用いる撮像画像は飛しょう体（例えば、航空機、気球）や、列車、車両、人等の移動物体に備わっていてもよい。
【００１６】
太陽光１０４は太陽１０２から観測地域１０３にむけ照射されている。光源として太陽１０２を仮定したが、太陽以外の光源でもかまわない。また、複数の光源でもかまわない。太陽光１０４は認識対象物体１０６にあたり、認識対象物体によって光が遮られる部分は観測範囲１０５の上に影１０７としてうつる。
【００１７】
図２は，この発明に係わる画像処理装置の一実施形態を示すブロック構成図である。画像処理装置２０３は観測センサ２０１から観測信号を得て、物体認識結果を認識結果表示装置２０５に出力する装置である。観測センサ２０１は、例えば都市域や海域などの観測対象を撮影し、観測画像、観測センサの位置、観測対象の位置、観測日時を出力する。
【００１８】
観測センサの位置は、例えば、緯度、経度、高度の３組の数値で表現できる。観測センサの位置の取得方法は、GPS（Global Positioning System）による方法がある。観測対象の位置は観測センサが撮影した領域の範囲と、撮影画像の原点から認識対象物体が存在する相対的な位置関係から、認識対象物体の緯度、経度を対応付けすることによって求められる。観測センサが撮影した領域の範囲は、例えば、矩形範囲を想定し北西の緯度、経度と南東の緯度、経度の４つの数値の組みで表現できる。観測日時は観測線さ１０２が搭載されている装置に内蔵されている時計の時刻を読み取ることで実現できる。
【００１９】
撮像はユーザの指示に基づくものであっても、予め定めたルールにのっとって所定期間毎に行われるものであっても良い。また、観測センサ２０１は、光学系センサのような受動型センサでもかまわないし、合成開口レーダのような能動型センサでもかまわない。また、ハイパースペクトルセンサを用いて、各々の観測波長域ごとに画像生成処理を行う構成にしてもよい。
【００２０】
環境情報データベース２１６は、観測センサの位置、観測対象の位置、観測日時によって変化する環境情報を格納したデータベースである。環境情報とは、例えば太陽高度、太陽方位、気象状況、大気状況である。環境情報生成手段２０６は、観測センサ２０２によって得られた観測センサ位置、観測対象位置、観測日時に基づいて、環境情報データベース２１０を参照して、対象とするデータについての環境情報を生成する。
【００２１】
物体形状データベース２１７は、認識対象物体の三次元モデル（数値データとして与えられた物体形状）と物体の属性等が関連づけられて格納されている。物体画像生成手段２０７は、環境情報もとに、認識対象物体の画像を生成する。画像の生成方法には、例えばレンダリング手法（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７５８〜１７９４ページ）を用いる。物体形状データベースには、認識対象となりうる物体の形状が格納されている。ユーザが認識対象を限定したい場合には、認識対象物体入力装置２１５にて認識対象物体の名称を入力し、認識対象物体選択手段２１３で、認識対象を限定することができる。
【００２２】
物体画像生成手段２０７によって、物体画像を生成する際には、物体画像生成制御手段２０９によって、物体画像生成の制御パラメータを制御できる。制御パラメータは、例えば、生成する物体の向き、表面の色がある。
【００２３】
さらに、物体画像生成手段２０７によって生成した物体画像を、あらかじめ様々な背景画像を蓄積した背景画像データベース２１８に保存されている背景画像の上に、背景画像重畳手段２１９を用いて重ね合わせることもできる。背景画像データベース２１８に複数の背景画像が登録されている場合は、ユーザが背景画像指定装置２２０から画像を指定し、背景画像選択手段２２１で背景画像データベース２１８から指定した画像を用いるようにする。画像指定の方法は画像ファイル名を直接指定することで実現できる。また、背景画像をプレビューする画面を設けユーザが目視で背景画像を確認するようにしてもよい。背景画像を重畳することにより、背景画像と物体画像の輝度差等も物体識別の特徴量とすることができる。物体特徴学習手段２０８で背景画像を必要としない場合は、物体画像生成手段２０７の出力を、直接、物体特徴学習手段２０８の入力としてもよい。この場合は、物体画像データベース２１４には背景を含まない物体のみの画像を蓄積しておいてもよい。
【００２４】
また、背景画像重畳手段２１９で生成した物体画像は、物体画像表示手段２１２によって画面上でユーザが目視確認することができる。その際には、あらかじめ実際のリモートセンシング画像からくりぬいておいた実物体画像を物体画像データベース２１４に蓄積しておき、これを参照し、目視にて比較検討できる。その結果、生成画像が適切でないとユーザが判断した場合には、物体画像生成制御手段２０９を用いて再度物体画像を生成する。
【００２５】
物体特徴学習手段２０８は、物体画像生成手段２０７によって生成された物体画像から物体の認識に有効な物体特徴知識を抽出する。物体特徴知識とは、物体の種別を分類するのに有効な特徴量と、物体の名称の組であたえられる。特徴量としては、物体画像のエッジ強度、周波数特性、輝度分布などがある。
物体認識手段２０４は、観測画像を走査して特徴量を生成し、その特徴量と物体形状学習手段２０８によって作成した物体形状知識の特徴量と比較し、最も類似した特徴量に対応する物体の名称を認識結果として出力する。認識結果表示手段２０５は、物体認識手段２０４によって認識した結果を画面に表示する。
【００２６】
尚、各部は計算機にプログラムを読み込むことで実行されても、一部ハードウェアとの協調によって行われても良い。認識結果表示装置205と物体画像表示装置212とは同じ表示装置で有っても良く、同じ入力装置で２０９と２１５、220を兼用することも可能である。
【００２７】
図３は、本発明における一実施形態における、物体認識処理フローの一例を示した図である。まず、観測センサ２０１によって観測地域の観測を行い、観測画像、観測センサ位置、観測対象位置、観測日時を得る（Ｓ３０１）。次に、環境情報生成手段２０６で、観測センサ位置、観測対象位置、観測日時をもとに、環境情報データベース２１０を参照して環境情報を生成する（S３０２）。そして、全ての物体を認識対象とするかユーザが判断する（S３０３）。全ての物体を認識対象としない場合は、認識対象物体入力装置２１５から認識対象物体の名称を入力し、物体形状データベース２１７から認識対象物体の形状のみを、認識対象物体選択手段２１３にて選択する（S３０４）。環境情報と物体形状データベース２１７から物体画像生成手段（２０７）によって認識対象物体の画像を生成する（Ｓ３０５）。そして背景画像重畳手段２１９によって背景画像に物体画像を重畳する。上述したように物体特徴学習手段２０８で背景画像を必要としない場合はスキップすることができる。そして背景画像に重畳した物体画像、もしくは、物体画像を物体画像表示手段２１２で目視確認する（S３０６）。
【００２８】
そして、S３０５にて生成物体画像が適切でないとユーザが判断した場合には、制御パラメータを修正し（S３０６）、その修正した制御パラメータを用いて再度、物体画像を生成する（S３０３）。S３０５で適切な物体画像が生成されたとユーザが判断した場合は、物体特徴学習（S３０７）を行う。物体特徴学習（S３０７）は、物体画像から物体の特徴を抽出して物体特徴知識を作成する最後に、物体認識（Ｓ３１０）では、物体認識手段（２０４）が物体形状知識を参照し、観測範囲２０５内の画像中に含まれる物体を認識し、その結果を表示する（S３１１）する。
【００２９】
上記では、物体認識手段２０４で物体形状知識を用いて物体を認識すると説明した。当然ながら、認識の用いる知識は形状に限定されず、スペクトル、テクスチャ、輝度分布などの画像特徴量を用いてもよい。また、物体の全長、全幅を用いてもよい。
図４は本発明の一実施形態における物体形状データベース２１０で用いられるデータ構造の構成例である。物体ＩＤ４０１は物体に固有番号を格納する。属性４０２には物体の種別を格納する。例えば航空機には“Ａｉｒｐｌａｎｅ”、船舶には“Ｓｈｉｐ”とする。物体名４０３には物体の名称を格納する。物体認識に物体の全長や全幅が有効な場合は、全長４０４、全幅４０５を格納する領域を設け、物体の全長と全幅を格納する。また、認識対象物体の向きによって物体形状が異なって見える場合は、方向４０６を設け、物体の向きを格納する。飛行機について「左」とあれば、機首が画面の左側に存在するも向きであるであることを意味する。形状パラメータ４０７には該物体の形状を格納する。物体の形状の表現方法は、曲面を表す関数の集合を用いることができる。もちろん、３次元形状が表現できる他の形式を用いてもよい。例えば、格子状に配置された標高点の集合で表す方法でもかまわない。また、形状に加え、物体表面の材質、色、電磁波の反射・吸収特性を含めることができる。
【００３０】
図５は本発明の一実施形態における物体画像生成手段２０７の処理フローS30５の一例を示した図である。まず、認識対象物体形状を、３次元空間上の点の集合（例えば、緯度、経度、高さ）の表現形式へ変換（Ｓ５０１）する。この変換には、例えば形状パラメータ４０７に観測対象位置を代入することで得られる。形状パラメータ４０７の空間分解能と観測センサ２０２から得られた空間分解能が異なる場合は、空間分解能を観測センサ２０２に合わせる。これにはアフィン変換を用いることができる（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７５９〜１７６４ページ）。
【００３１】
次に、射影変換処理（Ｓ５０２）で、３次元空間上の点集合で表現された認識対象物体を、２次元平面に投影し、投影画像を生成する。射影変換は、視点と視線の関係から投影面の交点を求めることで行うことができる（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７６４〜１７６６ページ参照）。
そして、影領域算出（S５０３）では、環境情報から太陽高度、方位を抽出し、認識対象物体の上や周辺にできる影領域を特定する。地表から高さｈの物体に、太陽高度θの太陽光が照射してできる影の長さＬは、Ｌ＝ｈ／ｔａｎθであり、影の向きは太陽方位δと反対側となる。任意の地点における、任意の時刻の太陽高度、方位は、理科年表の暦部に記載された値を用いて算出することができる。
【００３２】
上記は、物体の上や周辺に出来る影をモデル化するため、環境モデルの出力として太陽方位、太陽高度が出力される場合を想定した。これ以外に環境モデルとして気象モデルを考えることもできる。気象モデルは、位置および日時をインデックスとして、天気を検索することができるデータベースシステムとして実現できる。観測対象位置と観測日時の情報から、気象モデルから観測対象位置の天気情報を抽出し、観測画像の画像輝度を予測する。例えば、観測時の天気が快晴の場合は、雲量を０とみなし観測画像のコントラストを高くする。逆に天気が曇りの場合には、観測画像のコントラストを低くする。
【００３３】
また環境モデルとして大気モデルを考えることもできる。観測画像には、認識対象物からの反射信号だけでなく、観測センサ２０２と認識対象物の間の大気からの放射や減衰の影響も含まれる。これらの影響を除去するための処理を大気補正処理と呼ぶ。大気モデルは、観測日時、観測対象位置を入力すると、大気の補正量を出力するモデルである。大気補正の計算には、観測画像の各画素値から一定値を差し引く方法や、各観測波長域の比演算、などを用いることができる。
【００３４】
さらに、陰面消去処理（Ｓ５０４）で、観測センサ２０２から見えない部分を投影画像から消去する。陰面消去には、Ｚソート法やＺバッファ法（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７８２〜１７８８ページ）を用いることができる。面ごとに奥行きに応じた優先順位をつけ、奥から順に表示することで簡単に陰面消去できる。
【００３５】
そして、シェーディング処理（Ｓ５０５）にて、認識対象物体にあたる太陽光線の度合いに応じて陰影を付ける。シェーディングにはＵｔａｈ近似法（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７８９〜１７９２ページ）を用いることができる。
【００３６】
最後に、テクスチャマッピング処理（Ｓ５０６）にて、テクスチャとよばれる木目のような２次元の模様を物体画像に貼り付ける。テクスチャマッピングには、マッピング関数を用いてテクスチャの２次元座標を認識対象物体画像の各画素に対応付けることによって行うことができる（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７９２〜１７９４ページ）。テクスチャは物体表面の材質に応じて設定することができる。材質は、形状パラメータ４０７の電磁波の反射・吸収特性から求めることができし、予め材質の情報を形状パラメータと共に記憶しておいても良い。
【００３７】
図６は本発明の一実施形態における物体画像生成手段２０７による処理実行に際して表示装置によって表示される、処理画面の例を示す図である。処理画面６０１は処理に関する情報をユーザに提供したり、ユーザから情報を入力したりする。処理画面６０１は複数のサブ画面から構成され、ヒューマンインタフェースを提供する。サブ画面６０２は物体画像生成手段２０７の入力パラメータで、この例では観測センサ位置、観測対象位置、観測日時が表示されている。サブ画面６０３は、入力パラメータから算出した太陽方位、太陽高度が表示されている。サブ画面６０４は現在対象としている物体の名称が表示される。サブ画面６０４の右端にあるボタンを押すことで他の名称を選択することが可能である。サブ画面６０５には、現在対象としている物体の方向が表示される。認識対象物体の方向は、通常未知であることが多いので、複数方向の物体画像を自動的に生成する。認識対象物体の方向が既知の場合はサブ画面６０５の右端にあるボタンを押すことで任意の方向のみを選択して物体画像を生成することが可能である。
【００３８】
サブ画面６０６には、現在対象としている物体に貼り付けるテクスチャが表示される。サブ画面６０６の右端にあるボタンを押すことで、テクスチャを選択して張り付けることも可能である（S506）。サブ画面６０７は物体画像生成手段２０７によって生成された物体画像をユーザが目視で確認するためのもので、物体画像が表示されている。このサブ画面６０７を見ながら、輝度微調整ボタン６１０を押して生成した画像の輝度を微調整することもできる。更に、サブ画面６０９を設けて実観測画像中を表示することとしても良い。ユーザがこの段階で実観測画像中に存在する対象物を少なくとも１つ把握していれば、物体画像生成手段２０７によって作成された物体画像607と、実観測画像中の物体を並べて表示することで、作成した物体画像の自然さを確認することができる。確認の結果、サブ画面６０７に表示された物体画像が、サブ画面６０９に表示された実観測画像中と比較して不自然であるとユーザが判断した場合は、サブ画面６０６の右端にあるボタンを押して、他のテクスチャを選択して似通った画像に調整することができる。また、輝度調整ボタン６１０を押して輝度値を微調整することもできる。さらにテクスチャや輝度以外にも、色、反射特性、などを調整できるようにしてもよい。又、認識結果表示S311における結果を実観測画像とともにサブ画面609に表示し、それを参考に修正した物体画像をもって再度物体認識S310を行うフローとすれば、より良い結果を得ることができる。サブ画面６１１にはユーザが選択した背景画像名が表示されている。サブ画面６１１の右端にあるボタンを押すことで他の背景画像を指定することができる。選択した背景画像はサブ画面６１２に表示される。
【００３９】
図７は、本発明の一実施形態における物体画像生成手段２０７によって生成された物体画像の例を示す図である。物体画像７０１は中緯度地域で撮影されたことを想定した画像である。物体画像７０２は高緯度地域で撮影されたことを想定した画像である。中緯度地区における観測位置と物体の影、太陽光線の関係を、観測位置と太陽位置を含む鉛直平面上で見た図が７１０である。物体７０３に太陽光７０４が太陽高度θ１（７０５）であたり、長さL1（７０５）の影が生成される。同様に低緯度地区における観測位置と物体の影、太陽光線の関係を、観測位置と太陽位置を含む鉛直平面上で見た図が７１１である。物体７０６に太陽光線７０７が太陽高度θ２（７０８）であたり、長さL2(７０９)の影が生成される。このように緯度によって太陽高度が変化するため、物体の周辺にできる影の大きさも変化する。物体自身の凹凸によって物体の上にできる影も同様に、緯度によって異なる。
【００４０】
図８は、本発明の一実施形態における物体形状学習手段２０８によって生成された物体形状知識のデータ構造の構成例である。ここで学習は、物体画像から物体の識別に有効な情報（例えば形状）を抽出し、物体形状データベース２１０の属性と組みにし、物体形状知識として出力することである。８０１−８０６に記載の情報は図４の４０１−４０６の情報と同じである。特徴量８０７には物体画像生成手段によって生成された物体の特徴量を格納する。つまり、撮像情報を考慮して特徴量407を補正した値を格納する。本例では、物体の特徴量の表現方法は、エッジ強度の分布を用いた。当然、物体を識別するのに適切な特徴であれば他の表現も用いることができる。例えば、物体画像の輝度分布、スペクトル、テクスチャなどを用いてもよい。
【００４１】
図９は、本発明の一実施形態における物体認識手段２０４の処理フローS308の一例を示した図である。 観測画像は、縦ｈ画素×横ｗ画素の大きさをもち、２次元の配列で表現される。画素（ｉ、ｊ）とは、２次元配列のｉ列ｊ行目の画素を意味する。まず、変数ｉを１に初期化し（Ｓ９０１）、変数ｊを１に初期化する。次に、観測画像の画素（ｉ、ｊ）を中心とする矩形の領域Ａをくりぬく（Ｓ９０３）。領域Ａの形は円形や楕円等任意の形状とすることができる。また、領域Ａの大きさは予め認識対象物体の集合のうち、もっとも大きい物体の大きさとする。そして、領域Ａから物体形状特徴Ｂを抽出する（Ｓ９０４）。この特徴量も物体形状学習手段２０８で用いた手法と同じ手法を用いて生成する。続いて、物体形状知識に含まれる全ての特徴量と、物体形状特徴Ｂとを比較し、類似の度合いを計算する（Ｓ９０５）。特徴量同士が最も類似している物体の名称を識別結果として出力する（Ｓ９０６）。変数ｊの値を一つ増やし（Ｓ９０７）、変数ｊの値が観測画像幅より小さければＳ９０３へ行き、大きければＳ９０９へと行く。Ｓ９０９で変数ｉの値を一つ増やし、Ｓ９１０で変数ｉの値が観測画像高さより小さければＳ９０２へ行き、大きければ終了する。上記の処理によって、観測画像に含まれる認識対象物をみつけることができる。
【００４２】
Ｓ９０５で算出する類似の度合いは、特徴量同士のシティブロック距離、ユークリッド距離など、様々な距離尺度を用いて算出することができる。
なお、Ｓ９０６にて、類似の度合いが予め設定した閾値より小さい場合は、識別結果に出力しないようにしてもよい。このようにすることにより、類似の度合いが高いもののみをユーザに提示できるようになる。
【００４３】
また、Ｓ９０６にて類似している複数の物体を選んで、それらの物体に対応する複数の名称を出力するようにしてもよい。このようにすることにより、ユーザは物体画像を見ながら、絞り込まれた複数の物体名称の候補から正しい物体名称を選べばよいので、全ての物体名称から物体名称を選ぶ場合に比べ、ユーザの負荷を低減できる。さらに、識別結果を類似の度合いの大きさ順に並び替え、最も高い類似の度合いと、二番目に高い類似の度合いの差が、予め設定した閾値より小さい場合は、識別結果に出力しないようにしてもよい。このことにより、曖昧な認識結果が得られた場合は、認識結果をユーザに提示しないようにできる。
【００４４】
図１０は、本発明の一実施形態における物体認識手段２０４によって生成された物体認識結果のデータ構造の構成例である。認識した物体の通し番号が１００１に格納される。また、認識した物体の位置の緯度、経度が１００２、１００３にそれぞれ格納される。属性１００４には、認識した物体の属性が格納される。たとえば、“Ａｉｒｐｌａｎｅ”，“Ｓｈｉｐ”など。物体名１００５には、認識した物体の名称を格納する。類似度１００６には類似の度合いを格納する。物体ＩＤ１００７には、物体ＩＤ４０１に対応する数値を格納する。
【００４５】
図１１は本発明の一実施形態における物体認識手段２０４を実行したときの、処理結果の出力画面の例を示す図である。出力画面１１０１は処理に関する情報をユーザに提供する。出力画面１１０１は複数のサブ画面から構成される。サブ画面１１０２は観測画像中で認識された物体がハイライトされて表示されている。認識された物体が複数ある場合は、マウスなどのポインティングデバイスで、一つの認識した物体を選択すると、その物体を含む画像が、サブ画面１１０３に表示される。また、サブ画面１１０４には、Ｓ９０５によってもっとも類似の度合いが高かったと判定された物体種に対応する物体画像が表示される。サブ画面１１０５には、物体名１００５、類似の度合いが数値で表示される。また、サブ画面１１０６には、サブ画面１１０４の物体の全長、全幅が表示されている。観測画像の範囲が広い場合は、スクロールバー１１０７を用いて、ユーザの関心領域に表示画像の領域を移動することができる。また、観測画像の解像度が低く物体画像を確認しにくい拡大・縮小ボタン１１０８を用いて、サブ画面１１０２に表示されている観測画像を拡大表示、縮小表示することができる。
【実施例２】
【００４６】
図１２は，この発明に係わる画像処理装置の一実施形態を示すブロック構成図である。実施例１との差異についてのみ、以下詳細に説明する。
【００４７】
観測情報管理ＤＢ１２１８は、観測属性情報（観測センサ位置、観測対象位置、観測日時の３つの数値の組）がすくなくとも１組以上登録されている。物体画像生成手段１２１１は、観測管理ＤＢ１２１８から一つずつ観測情報を得て、物体形状データベース１２１９をもとに物体画像を生成する。そして、それらの物体画像から物体特徴学習手段１２０９を用いて、物体形状知識Ａ１２１０、物体形状知識Ｂ１２１１、…をあらかじめ生成しておく。物体形状知識選択手段１２０６は、観測属性情報をキーに、物体形状知識Ａ１２０７、物体形状知識Ｂ１２０８、…の中から観測属性情報が一致する物体形状知識を選択する。選択された物体特徴知識を用いて、物体認識手段１２０４は観測センサで観測した画像から物体を認識する。
【００４８】
観測センサが航空機、人工衛星などの飛しょう体に搭載され、飛しょう体の運用スケジュール（日時と位置の組）が予め決められている場合は、その運用スケジュールにあわせて、観測情報管理データベースの観測属性情報をつくっておくことができる。
【００４９】
上記の説明では、物体画像生成手段２０７では、物体形状データベース２１０に含まれる全ての物体の物体画像を生成するとしたが、本発明はこの実施形態に限定されるものではない。例えば、ユーザが指定した物体のみの物体画像を生成してもよい。その場合には予め表示画面に物体形状データベース210に格納される物体画像を提示してユーザの選択を受けるか、ユーザからの入力を受け付ける。そして、S306で選択された物体についてのみ物体画像を生成することとする。
【００５０】
また、物体認識手段２０４では、物体形状知識に含まれる全ての物体との類似の度合いを計算するとしたが、本発明はこの実施形態に限定されるものではない。例えば、ユーザが指定した物体のみとの類似の度合いを計算してもよい。
【００５１】
また、本発明に記載されている手段とは別の手段で、観測対象の数値標高モデル（ＤＥＭ：Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）が入手可能な場合は、ＤＥＭの標高データによって物体画像生成手段２０７の座標変換Ｓ５０１を行ってもよい。
また、上記の実施例では、静止画を対象に説明したが、動画を対象にして同様の効果を得られる。
【００５２】
また、上記の実施例では、地球の表面を観測することを前提に説明したが、本発明はこの実施形態に限定されるものではない。例えば惑星探査用の宇宙船などにおいても適用可能である。
【００５３】
また、光源は太陽に限定されない。光源位置、撮影時刻が特定できるものであれば他の恒星、人工光源、反射光、散乱光でもよい。また、単一の光源に限定されない。それぞれの光源の光源位置、撮影時刻が特定できる複数の光源でもよい。
【図面の簡単な説明】
【００５４】
【図１】観測センサや、認識対象物等の位置関係をあらわした図である。
【図２】画像処理装置の一実施形態を示すブロック構成図である。
【図３】物体認識処理フローの一例を示した図である。
【図４】物体形状データベース２１０で用いられるデータ構造の構成例である。
【図５】物体画像生成手段２０７の処理フローの一例を示した図である。
【図６】物体画像生成手段の処理結果表示画面の例を示す図である。
【図７】物体形状学習手段２０８によって生成された物体画像の例を示す図である。
【図８】物体形状知識のデータ構造の構成例を示す図である。
【図９】物体認識手段２０４の処理フローの一例を示す図である。
【図１０】物体認識結果のデータ構造の構成例を示す図である。
【図１１】物体認識手段の処理結果表示画面の例を示す図である。
【図１２】画像処理装置の一実施形態を示すブロック構成図である。
【符号の説明】
【００５５】
１０１…観測センサを搭載した物体、１０２…太陽、１０３…観測地域、１０４…太陽光、１０５…観測範囲、１０６…認識対象物体、１０７…影、２０１…観測対象、２０２…
観測センサ、２０３…画像処理装置、２０４…物体認識手段、２０５…認識結果表示手段、２０６…環境情報生成手段、２０７…物体画像生成手段、２０８…物体形状学習手段、２０９…物体画像生成制御情報入力装置、２１２…物体画像表示装置、２１３…認識対象物体選択手段、２１４…物体画像データベース、２１５…認識対象物体入力装置、２１６…環境情報データベース、２１７…物体形状データベース、２１８…背景画像データベース、２１９…背景画像重畳手段、２２０…背景画像指定装置、２２１…背景画像選択手段、４０１…物体ＩＤ、４０２…属性、４０３…物体名、４０４…全長、４０５…全幅、４０６…方向、４０７…形状パラメータ、６０１…処理画面、６０２…サブ画面、６０３…サブ画面、６０４…サブ画面、６０５…サブ画面、６０６…サブ画面、６０７サブ画面、６０８…サブ画面、６０９…スクロールバー、６１０…サブ画面、６１１…サブ画面、６１２…サブ画面、７０１…物体画像、７０２…物体画像、７１１…観測位置と物体の影、太陽光線の関係、７０３…認識対象物体、７０４…太陽光線、７０５…太陽高度、７０６…影の大きさ、７１２…観測位置と物体の影、太陽光線の関係、７０７…認識対象物体、７０８…太陽光線、７０９…太陽高度、７１０…影の大きさ、８０１…物体ＩＤ、８０２…属性、８０３…物体名、８０４…全長、８０５…全幅、８０６…方向、８０７…特徴量、１００１…認識物体番号、１００２…緯度、１００３…経度、１００４…属性、１００５…物体名、１００６…類似度、１００７…物体ＩＤ、１１０１…出力画面、１１０２…サブ画面、１１０３…サブ画面、１１０４…サブ画面、１１０５…サブ画面、１１０６…サブ画面、１１０７…スクロールバー、１１０８…拡大・縮小ボタン、１２０１…観測対象、１２０２…観測センサ、１２０３…画像処理装置、１２０４…物体認識手段、１２０５…認識結果表示手段、１２０６…物体特徴知識選択手段、１２０７…物体特徴知識A、１２０８…物体特徴知識B、１２０９…物体特徴学習手段物、１２１０…物体画像生成制御情報入力装置、１２１１…物体画像生成手段、１２１２…物体画像表示装置、１２１３…環境情報生成手段、１２１４…認識対象物体選択手段、１２１５…物体画像データベース、１２１６…認識対象物体入力装置、１２１７…環境情報データベース、１２１８…観測情報管理データベース、１２１９…物体形状データベース、１２２０…背景画像データベース、１２２１…背景画像重畳手段、１２２２…背景画像選択手段、１２２３…背景画像指定手段。
【技術分野】
【０００１】
本発明は、リモートセンシング画像を用いた画像処理装置、プログラムに関する。
【背景技術】
【０００２】
リモートセンシング画像中には様々な物体（例えば、航空機、船舶、車両、列車）が存在する。これらの物体を画像中から自動的に抽出、識別、検索することができればリアルタイムで画像から様々な情報を得ることが可能となる。
【０００３】
ここで、抽出とは画像中に含まれる物体の位置を特定することである。また、識別とは画像中に含まれる物体の名称を特定することである。認識とは、抽出処理と識別処理によって画像中から物体の位置と物体の名称を特定することである。検索とは物体の名称をキーワードに画像中から該物体の位置を特定することである。
物体の認識は、あらかじめ、認識対象の物体の画像とその名称を格納した画像データベースを用いて物体の形状を記憶した辞書を作成しておき、リモートセンシング画像中に含まれる物体とその辞書に含まれる物体の形状を照合することで行なわれている。
【０００４】
画像データベースに含める物体の形状は、リモートセンシング画像中に含まれる物体を人手でくりぬいた画像から作成する。特に、リモートセンシング画像を撮影する時刻等が異なると物体画像もその影響をうけ、物体の影のでき方や、画像コントラストが変動する。このような変動によって物体画像の輝度値も変化するため、物体の識別精度に影響を与える。そこで、あらかじめ様々な時間、場所で撮影したリモートセンシング画像に含まれる物体の画像を用いて物体画像データベースを作成する。
【０００５】
一方で、任意の撮影時刻に撮影した物体画像を実際のリモートセンシング画像から採取するのは効率がよくないため、物体の三次元モデル（数値データとして与えられた物体形状）から物体画像を生成する（レンダリング）手法が用いられてきた。一般的に、レンダリングでは、視点の位置、光源位置、材質等の条件を考慮して陰面消去、陰影付け、画像コントラストの調整をおこなうことができる。
【０００６】
また、撮影日時と撮影位置情報から、太陽方向、太陽高度を算出する。そして、その太陽方向、太陽高度と、認識対象物体の位置と高さ情報から影の領域を推定し、撮像画像から影を除去する方法もある（例えば、特許文献１参照）。
【０００７】
また、撮影日時と撮影位置情報から、太陽方向、太陽高度を算出する。そしてリモートセンシング画像の周波数解析を行い、上記太陽方向、太陽高度に対応する周波数成分をマスクすることで影を除去する方法もある（例えば、特許文献２参照）。
【０００８】
【特許文献１】特開平１０−２６９３４７号公報
【特許文献２】特開２００１−２６６１６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記した、従来の様々な空中画像の属性をもとに作成した物体画像データベースから辞書を作成する方式では、辞書を格納する記憶装置の容量が大きくなったり、処理時間が増大するという問題があった。
【００１０】
また、特許文献１に記載の方法では、撮像画像中の物体を補正しているため、認識対象物体の位置と高さ情報が既知であることが要求され、これらの情報が予め分からない場合には適用できなかった。また、特許文献２に記載の方法では影領域を除去するため、認識対象物体の上に影が出来た場合は、認識対象物体自身が影領域として除去されてしまうという問題があった。本発明では、これらの問題を解決する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を解決するため、本願で開示する発明の概要は以下のとおりである。
センシング画像を該センシング画像の撮影時刻及び撮影位置の情報とともに取得し、予め記録される時刻と位置によって規定される環境モデルを用いて、取得した上記撮影時刻と撮影位置に基いて環境モデルを算出した上で、環境モデルを用いて予め登録しておいた物体形状データから物体画像を生成する。この物体画像を用いてセンシング画像から検索を行い、検索結果を出力する目標物認識プログラム及び装置。
【発明の効果】
【００１２】
本発明によれば、撮影日時、場所が異なることによって物体画像にできる変動を考慮して物体識別用の辞書を作成することができるので、物体認識を高精度に行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下，この発明の実施形態について図面を参照して詳細に説明する。ここで、本願で「物体」とは地物および移動物体を指し、「移動物体」とは航空機、船舶、車両、列車などを指す。
【実施例１】
【００１４】
本実施例においては、衛星や航空機のセンサによって地表面の放射・反射電磁波を測定・記録したリモートセンシング画像を対象として説明する。尚、本願の適応対象としては、衛星や航空機に搭載したセンサで撮影したリモートセンシング画像に限らず、屋外においてセンサの位置と撮影時刻が予めわかり，被写体と撮像部との距離がある程度あり、さまざまな状況において撮像されたセンシング画像であれば適応可能である。特に空間分解能が１ｍ程度の高分解能で物体の周辺や上にできる影の影響が大きく、センシング画像上の物体を認識する上で大きな障害となる状況にある場合には有用である。
【００１５】
図１は、本発明における一実施形態における、観測センサや、認識対象物等の位置関係をあらわした図である。観測センサを搭載した人工衛星１０１が、観測地域１０３を観測している。観測範囲１０５が観測センサによって撮影される範囲である。ここでは観測センサは人工衛星に搭載されるとしたが、本発明で用いる撮像画像は飛しょう体（例えば、航空機、気球）や、列車、車両、人等の移動物体に備わっていてもよい。
【００１６】
太陽光１０４は太陽１０２から観測地域１０３にむけ照射されている。光源として太陽１０２を仮定したが、太陽以外の光源でもかまわない。また、複数の光源でもかまわない。太陽光１０４は認識対象物体１０６にあたり、認識対象物体によって光が遮られる部分は観測範囲１０５の上に影１０７としてうつる。
【００１７】
図２は，この発明に係わる画像処理装置の一実施形態を示すブロック構成図である。画像処理装置２０３は観測センサ２０１から観測信号を得て、物体認識結果を認識結果表示装置２０５に出力する装置である。観測センサ２０１は、例えば都市域や海域などの観測対象を撮影し、観測画像、観測センサの位置、観測対象の位置、観測日時を出力する。
【００１８】
観測センサの位置は、例えば、緯度、経度、高度の３組の数値で表現できる。観測センサの位置の取得方法は、GPS（Global Positioning System）による方法がある。観測対象の位置は観測センサが撮影した領域の範囲と、撮影画像の原点から認識対象物体が存在する相対的な位置関係から、認識対象物体の緯度、経度を対応付けすることによって求められる。観測センサが撮影した領域の範囲は、例えば、矩形範囲を想定し北西の緯度、経度と南東の緯度、経度の４つの数値の組みで表現できる。観測日時は観測線さ１０２が搭載されている装置に内蔵されている時計の時刻を読み取ることで実現できる。
【００１９】
撮像はユーザの指示に基づくものであっても、予め定めたルールにのっとって所定期間毎に行われるものであっても良い。また、観測センサ２０１は、光学系センサのような受動型センサでもかまわないし、合成開口レーダのような能動型センサでもかまわない。また、ハイパースペクトルセンサを用いて、各々の観測波長域ごとに画像生成処理を行う構成にしてもよい。
【００２０】
環境情報データベース２１６は、観測センサの位置、観測対象の位置、観測日時によって変化する環境情報を格納したデータベースである。環境情報とは、例えば太陽高度、太陽方位、気象状況、大気状況である。環境情報生成手段２０６は、観測センサ２０２によって得られた観測センサ位置、観測対象位置、観測日時に基づいて、環境情報データベース２１０を参照して、対象とするデータについての環境情報を生成する。
【００２１】
物体形状データベース２１７は、認識対象物体の三次元モデル（数値データとして与えられた物体形状）と物体の属性等が関連づけられて格納されている。物体画像生成手段２０７は、環境情報もとに、認識対象物体の画像を生成する。画像の生成方法には、例えばレンダリング手法（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７５８〜１７９４ページ）を用いる。物体形状データベースには、認識対象となりうる物体の形状が格納されている。ユーザが認識対象を限定したい場合には、認識対象物体入力装置２１５にて認識対象物体の名称を入力し、認識対象物体選択手段２１３で、認識対象を限定することができる。
【００２２】
物体画像生成手段２０７によって、物体画像を生成する際には、物体画像生成制御手段２０９によって、物体画像生成の制御パラメータを制御できる。制御パラメータは、例えば、生成する物体の向き、表面の色がある。
【００２３】
さらに、物体画像生成手段２０７によって生成した物体画像を、あらかじめ様々な背景画像を蓄積した背景画像データベース２１８に保存されている背景画像の上に、背景画像重畳手段２１９を用いて重ね合わせることもできる。背景画像データベース２１８に複数の背景画像が登録されている場合は、ユーザが背景画像指定装置２２０から画像を指定し、背景画像選択手段２２１で背景画像データベース２１８から指定した画像を用いるようにする。画像指定の方法は画像ファイル名を直接指定することで実現できる。また、背景画像をプレビューする画面を設けユーザが目視で背景画像を確認するようにしてもよい。背景画像を重畳することにより、背景画像と物体画像の輝度差等も物体識別の特徴量とすることができる。物体特徴学習手段２０８で背景画像を必要としない場合は、物体画像生成手段２０７の出力を、直接、物体特徴学習手段２０８の入力としてもよい。この場合は、物体画像データベース２１４には背景を含まない物体のみの画像を蓄積しておいてもよい。
【００２４】
また、背景画像重畳手段２１９で生成した物体画像は、物体画像表示手段２１２によって画面上でユーザが目視確認することができる。その際には、あらかじめ実際のリモートセンシング画像からくりぬいておいた実物体画像を物体画像データベース２１４に蓄積しておき、これを参照し、目視にて比較検討できる。その結果、生成画像が適切でないとユーザが判断した場合には、物体画像生成制御手段２０９を用いて再度物体画像を生成する。
【００２５】
物体特徴学習手段２０８は、物体画像生成手段２０７によって生成された物体画像から物体の認識に有効な物体特徴知識を抽出する。物体特徴知識とは、物体の種別を分類するのに有効な特徴量と、物体の名称の組であたえられる。特徴量としては、物体画像のエッジ強度、周波数特性、輝度分布などがある。
物体認識手段２０４は、観測画像を走査して特徴量を生成し、その特徴量と物体形状学習手段２０８によって作成した物体形状知識の特徴量と比較し、最も類似した特徴量に対応する物体の名称を認識結果として出力する。認識結果表示手段２０５は、物体認識手段２０４によって認識した結果を画面に表示する。
【００２６】
尚、各部は計算機にプログラムを読み込むことで実行されても、一部ハードウェアとの協調によって行われても良い。認識結果表示装置205と物体画像表示装置212とは同じ表示装置で有っても良く、同じ入力装置で２０９と２１５、220を兼用することも可能である。
【００２７】
図３は、本発明における一実施形態における、物体認識処理フローの一例を示した図である。まず、観測センサ２０１によって観測地域の観測を行い、観測画像、観測センサ位置、観測対象位置、観測日時を得る（Ｓ３０１）。次に、環境情報生成手段２０６で、観測センサ位置、観測対象位置、観測日時をもとに、環境情報データベース２１０を参照して環境情報を生成する（S３０２）。そして、全ての物体を認識対象とするかユーザが判断する（S３０３）。全ての物体を認識対象としない場合は、認識対象物体入力装置２１５から認識対象物体の名称を入力し、物体形状データベース２１７から認識対象物体の形状のみを、認識対象物体選択手段２１３にて選択する（S３０４）。環境情報と物体形状データベース２１７から物体画像生成手段（２０７）によって認識対象物体の画像を生成する（Ｓ３０５）。そして背景画像重畳手段２１９によって背景画像に物体画像を重畳する。上述したように物体特徴学習手段２０８で背景画像を必要としない場合はスキップすることができる。そして背景画像に重畳した物体画像、もしくは、物体画像を物体画像表示手段２１２で目視確認する（S３０６）。
【００２８】
そして、S３０５にて生成物体画像が適切でないとユーザが判断した場合には、制御パラメータを修正し（S３０６）、その修正した制御パラメータを用いて再度、物体画像を生成する（S３０３）。S３０５で適切な物体画像が生成されたとユーザが判断した場合は、物体特徴学習（S３０７）を行う。物体特徴学習（S３０７）は、物体画像から物体の特徴を抽出して物体特徴知識を作成する最後に、物体認識（Ｓ３１０）では、物体認識手段（２０４）が物体形状知識を参照し、観測範囲２０５内の画像中に含まれる物体を認識し、その結果を表示する（S３１１）する。
【００２９】
上記では、物体認識手段２０４で物体形状知識を用いて物体を認識すると説明した。当然ながら、認識の用いる知識は形状に限定されず、スペクトル、テクスチャ、輝度分布などの画像特徴量を用いてもよい。また、物体の全長、全幅を用いてもよい。
図４は本発明の一実施形態における物体形状データベース２１０で用いられるデータ構造の構成例である。物体ＩＤ４０１は物体に固有番号を格納する。属性４０２には物体の種別を格納する。例えば航空機には“Ａｉｒｐｌａｎｅ”、船舶には“Ｓｈｉｐ”とする。物体名４０３には物体の名称を格納する。物体認識に物体の全長や全幅が有効な場合は、全長４０４、全幅４０５を格納する領域を設け、物体の全長と全幅を格納する。また、認識対象物体の向きによって物体形状が異なって見える場合は、方向４０６を設け、物体の向きを格納する。飛行機について「左」とあれば、機首が画面の左側に存在するも向きであるであることを意味する。形状パラメータ４０７には該物体の形状を格納する。物体の形状の表現方法は、曲面を表す関数の集合を用いることができる。もちろん、３次元形状が表現できる他の形式を用いてもよい。例えば、格子状に配置された標高点の集合で表す方法でもかまわない。また、形状に加え、物体表面の材質、色、電磁波の反射・吸収特性を含めることができる。
【００３０】
図５は本発明の一実施形態における物体画像生成手段２０７の処理フローS30５の一例を示した図である。まず、認識対象物体形状を、３次元空間上の点の集合（例えば、緯度、経度、高さ）の表現形式へ変換（Ｓ５０１）する。この変換には、例えば形状パラメータ４０７に観測対象位置を代入することで得られる。形状パラメータ４０７の空間分解能と観測センサ２０２から得られた空間分解能が異なる場合は、空間分解能を観測センサ２０２に合わせる。これにはアフィン変換を用いることができる（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７５９〜１７６４ページ）。
【００３１】
次に、射影変換処理（Ｓ５０２）で、３次元空間上の点集合で表現された認識対象物体を、２次元平面に投影し、投影画像を生成する。射影変換は、視点と視線の関係から投影面の交点を求めることで行うことができる（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７６４〜１７６６ページ参照）。
そして、影領域算出（S５０３）では、環境情報から太陽高度、方位を抽出し、認識対象物体の上や周辺にできる影領域を特定する。地表から高さｈの物体に、太陽高度θの太陽光が照射してできる影の長さＬは、Ｌ＝ｈ／ｔａｎθであり、影の向きは太陽方位δと反対側となる。任意の地点における、任意の時刻の太陽高度、方位は、理科年表の暦部に記載された値を用いて算出することができる。
【００３２】
上記は、物体の上や周辺に出来る影をモデル化するため、環境モデルの出力として太陽方位、太陽高度が出力される場合を想定した。これ以外に環境モデルとして気象モデルを考えることもできる。気象モデルは、位置および日時をインデックスとして、天気を検索することができるデータベースシステムとして実現できる。観測対象位置と観測日時の情報から、気象モデルから観測対象位置の天気情報を抽出し、観測画像の画像輝度を予測する。例えば、観測時の天気が快晴の場合は、雲量を０とみなし観測画像のコントラストを高くする。逆に天気が曇りの場合には、観測画像のコントラストを低くする。
【００３３】
また環境モデルとして大気モデルを考えることもできる。観測画像には、認識対象物からの反射信号だけでなく、観測センサ２０２と認識対象物の間の大気からの放射や減衰の影響も含まれる。これらの影響を除去するための処理を大気補正処理と呼ぶ。大気モデルは、観測日時、観測対象位置を入力すると、大気の補正量を出力するモデルである。大気補正の計算には、観測画像の各画素値から一定値を差し引く方法や、各観測波長域の比演算、などを用いることができる。
【００３４】
さらに、陰面消去処理（Ｓ５０４）で、観測センサ２０２から見えない部分を投影画像から消去する。陰面消去には、Ｚソート法やＺバッファ法（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７８２〜１７８８ページ）を用いることができる。面ごとに奥行きに応じた優先順位をつけ、奥から順に表示することで簡単に陰面消去できる。
【００３５】
そして、シェーディング処理（Ｓ５０５）にて、認識対象物体にあたる太陽光線の度合いに応じて陰影を付ける。シェーディングにはＵｔａｈ近似法（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７８９〜１７９２ページ）を用いることができる。
【００３６】
最後に、テクスチャマッピング処理（Ｓ５０６）にて、テクスチャとよばれる木目のような２次元の模様を物体画像に貼り付ける。テクスチャマッピングには、マッピング関数を用いてテクスチャの２次元座標を認識対象物体画像の各画素に対応付けることによって行うことができる（高木幹雄・下田陽久「新編画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１７９２〜１７９４ページ）。テクスチャは物体表面の材質に応じて設定することができる。材質は、形状パラメータ４０７の電磁波の反射・吸収特性から求めることができし、予め材質の情報を形状パラメータと共に記憶しておいても良い。
【００３７】
図６は本発明の一実施形態における物体画像生成手段２０７による処理実行に際して表示装置によって表示される、処理画面の例を示す図である。処理画面６０１は処理に関する情報をユーザに提供したり、ユーザから情報を入力したりする。処理画面６０１は複数のサブ画面から構成され、ヒューマンインタフェースを提供する。サブ画面６０２は物体画像生成手段２０７の入力パラメータで、この例では観測センサ位置、観測対象位置、観測日時が表示されている。サブ画面６０３は、入力パラメータから算出した太陽方位、太陽高度が表示されている。サブ画面６０４は現在対象としている物体の名称が表示される。サブ画面６０４の右端にあるボタンを押すことで他の名称を選択することが可能である。サブ画面６０５には、現在対象としている物体の方向が表示される。認識対象物体の方向は、通常未知であることが多いので、複数方向の物体画像を自動的に生成する。認識対象物体の方向が既知の場合はサブ画面６０５の右端にあるボタンを押すことで任意の方向のみを選択して物体画像を生成することが可能である。
【００３８】
サブ画面６０６には、現在対象としている物体に貼り付けるテクスチャが表示される。サブ画面６０６の右端にあるボタンを押すことで、テクスチャを選択して張り付けることも可能である（S506）。サブ画面６０７は物体画像生成手段２０７によって生成された物体画像をユーザが目視で確認するためのもので、物体画像が表示されている。このサブ画面６０７を見ながら、輝度微調整ボタン６１０を押して生成した画像の輝度を微調整することもできる。更に、サブ画面６０９を設けて実観測画像中を表示することとしても良い。ユーザがこの段階で実観測画像中に存在する対象物を少なくとも１つ把握していれば、物体画像生成手段２０７によって作成された物体画像607と、実観測画像中の物体を並べて表示することで、作成した物体画像の自然さを確認することができる。確認の結果、サブ画面６０７に表示された物体画像が、サブ画面６０９に表示された実観測画像中と比較して不自然であるとユーザが判断した場合は、サブ画面６０６の右端にあるボタンを押して、他のテクスチャを選択して似通った画像に調整することができる。また、輝度調整ボタン６１０を押して輝度値を微調整することもできる。さらにテクスチャや輝度以外にも、色、反射特性、などを調整できるようにしてもよい。又、認識結果表示S311における結果を実観測画像とともにサブ画面609に表示し、それを参考に修正した物体画像をもって再度物体認識S310を行うフローとすれば、より良い結果を得ることができる。サブ画面６１１にはユーザが選択した背景画像名が表示されている。サブ画面６１１の右端にあるボタンを押すことで他の背景画像を指定することができる。選択した背景画像はサブ画面６１２に表示される。
【００３９】
図７は、本発明の一実施形態における物体画像生成手段２０７によって生成された物体画像の例を示す図である。物体画像７０１は中緯度地域で撮影されたことを想定した画像である。物体画像７０２は高緯度地域で撮影されたことを想定した画像である。中緯度地区における観測位置と物体の影、太陽光線の関係を、観測位置と太陽位置を含む鉛直平面上で見た図が７１０である。物体７０３に太陽光７０４が太陽高度θ１（７０５）であたり、長さL1（７０５）の影が生成される。同様に低緯度地区における観測位置と物体の影、太陽光線の関係を、観測位置と太陽位置を含む鉛直平面上で見た図が７１１である。物体７０６に太陽光線７０７が太陽高度θ２（７０８）であたり、長さL2(７０９)の影が生成される。このように緯度によって太陽高度が変化するため、物体の周辺にできる影の大きさも変化する。物体自身の凹凸によって物体の上にできる影も同様に、緯度によって異なる。
【００４０】
図８は、本発明の一実施形態における物体形状学習手段２０８によって生成された物体形状知識のデータ構造の構成例である。ここで学習は、物体画像から物体の識別に有効な情報（例えば形状）を抽出し、物体形状データベース２１０の属性と組みにし、物体形状知識として出力することである。８０１−８０６に記載の情報は図４の４０１−４０６の情報と同じである。特徴量８０７には物体画像生成手段によって生成された物体の特徴量を格納する。つまり、撮像情報を考慮して特徴量407を補正した値を格納する。本例では、物体の特徴量の表現方法は、エッジ強度の分布を用いた。当然、物体を識別するのに適切な特徴であれば他の表現も用いることができる。例えば、物体画像の輝度分布、スペクトル、テクスチャなどを用いてもよい。
【００４１】
図９は、本発明の一実施形態における物体認識手段２０４の処理フローS308の一例を示した図である。 観測画像は、縦ｈ画素×横ｗ画素の大きさをもち、２次元の配列で表現される。画素（ｉ、ｊ）とは、２次元配列のｉ列ｊ行目の画素を意味する。まず、変数ｉを１に初期化し（Ｓ９０１）、変数ｊを１に初期化する。次に、観測画像の画素（ｉ、ｊ）を中心とする矩形の領域Ａをくりぬく（Ｓ９０３）。領域Ａの形は円形や楕円等任意の形状とすることができる。また、領域Ａの大きさは予め認識対象物体の集合のうち、もっとも大きい物体の大きさとする。そして、領域Ａから物体形状特徴Ｂを抽出する（Ｓ９０４）。この特徴量も物体形状学習手段２０８で用いた手法と同じ手法を用いて生成する。続いて、物体形状知識に含まれる全ての特徴量と、物体形状特徴Ｂとを比較し、類似の度合いを計算する（Ｓ９０５）。特徴量同士が最も類似している物体の名称を識別結果として出力する（Ｓ９０６）。変数ｊの値を一つ増やし（Ｓ９０７）、変数ｊの値が観測画像幅より小さければＳ９０３へ行き、大きければＳ９０９へと行く。Ｓ９０９で変数ｉの値を一つ増やし、Ｓ９１０で変数ｉの値が観測画像高さより小さければＳ９０２へ行き、大きければ終了する。上記の処理によって、観測画像に含まれる認識対象物をみつけることができる。
【００４２】
Ｓ９０５で算出する類似の度合いは、特徴量同士のシティブロック距離、ユークリッド距離など、様々な距離尺度を用いて算出することができる。
なお、Ｓ９０６にて、類似の度合いが予め設定した閾値より小さい場合は、識別結果に出力しないようにしてもよい。このようにすることにより、類似の度合いが高いもののみをユーザに提示できるようになる。
【００４３】
また、Ｓ９０６にて類似している複数の物体を選んで、それらの物体に対応する複数の名称を出力するようにしてもよい。このようにすることにより、ユーザは物体画像を見ながら、絞り込まれた複数の物体名称の候補から正しい物体名称を選べばよいので、全ての物体名称から物体名称を選ぶ場合に比べ、ユーザの負荷を低減できる。さらに、識別結果を類似の度合いの大きさ順に並び替え、最も高い類似の度合いと、二番目に高い類似の度合いの差が、予め設定した閾値より小さい場合は、識別結果に出力しないようにしてもよい。このことにより、曖昧な認識結果が得られた場合は、認識結果をユーザに提示しないようにできる。
【００４４】
図１０は、本発明の一実施形態における物体認識手段２０４によって生成された物体認識結果のデータ構造の構成例である。認識した物体の通し番号が１００１に格納される。また、認識した物体の位置の緯度、経度が１００２、１００３にそれぞれ格納される。属性１００４には、認識した物体の属性が格納される。たとえば、“Ａｉｒｐｌａｎｅ”，“Ｓｈｉｐ”など。物体名１００５には、認識した物体の名称を格納する。類似度１００６には類似の度合いを格納する。物体ＩＤ１００７には、物体ＩＤ４０１に対応する数値を格納する。
【００４５】
図１１は本発明の一実施形態における物体認識手段２０４を実行したときの、処理結果の出力画面の例を示す図である。出力画面１１０１は処理に関する情報をユーザに提供する。出力画面１１０１は複数のサブ画面から構成される。サブ画面１１０２は観測画像中で認識された物体がハイライトされて表示されている。認識された物体が複数ある場合は、マウスなどのポインティングデバイスで、一つの認識した物体を選択すると、その物体を含む画像が、サブ画面１１０３に表示される。また、サブ画面１１０４には、Ｓ９０５によってもっとも類似の度合いが高かったと判定された物体種に対応する物体画像が表示される。サブ画面１１０５には、物体名１００５、類似の度合いが数値で表示される。また、サブ画面１１０６には、サブ画面１１０４の物体の全長、全幅が表示されている。観測画像の範囲が広い場合は、スクロールバー１１０７を用いて、ユーザの関心領域に表示画像の領域を移動することができる。また、観測画像の解像度が低く物体画像を確認しにくい拡大・縮小ボタン１１０８を用いて、サブ画面１１０２に表示されている観測画像を拡大表示、縮小表示することができる。
【実施例２】
【００４６】
図１２は，この発明に係わる画像処理装置の一実施形態を示すブロック構成図である。実施例１との差異についてのみ、以下詳細に説明する。
【００４７】
観測情報管理ＤＢ１２１８は、観測属性情報（観測センサ位置、観測対象位置、観測日時の３つの数値の組）がすくなくとも１組以上登録されている。物体画像生成手段１２１１は、観測管理ＤＢ１２１８から一つずつ観測情報を得て、物体形状データベース１２１９をもとに物体画像を生成する。そして、それらの物体画像から物体特徴学習手段１２０９を用いて、物体形状知識Ａ１２１０、物体形状知識Ｂ１２１１、…をあらかじめ生成しておく。物体形状知識選択手段１２０６は、観測属性情報をキーに、物体形状知識Ａ１２０７、物体形状知識Ｂ１２０８、…の中から観測属性情報が一致する物体形状知識を選択する。選択された物体特徴知識を用いて、物体認識手段１２０４は観測センサで観測した画像から物体を認識する。
【００４８】
観測センサが航空機、人工衛星などの飛しょう体に搭載され、飛しょう体の運用スケジュール（日時と位置の組）が予め決められている場合は、その運用スケジュールにあわせて、観測情報管理データベースの観測属性情報をつくっておくことができる。
【００４９】
上記の説明では、物体画像生成手段２０７では、物体形状データベース２１０に含まれる全ての物体の物体画像を生成するとしたが、本発明はこの実施形態に限定されるものではない。例えば、ユーザが指定した物体のみの物体画像を生成してもよい。その場合には予め表示画面に物体形状データベース210に格納される物体画像を提示してユーザの選択を受けるか、ユーザからの入力を受け付ける。そして、S306で選択された物体についてのみ物体画像を生成することとする。
【００５０】
また、物体認識手段２０４では、物体形状知識に含まれる全ての物体との類似の度合いを計算するとしたが、本発明はこの実施形態に限定されるものではない。例えば、ユーザが指定した物体のみとの類似の度合いを計算してもよい。
【００５１】
また、本発明に記載されている手段とは別の手段で、観測対象の数値標高モデル（ＤＥＭ：Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）が入手可能な場合は、ＤＥＭの標高データによって物体画像生成手段２０７の座標変換Ｓ５０１を行ってもよい。
また、上記の実施例では、静止画を対象に説明したが、動画を対象にして同様の効果を得られる。
【００５２】
また、上記の実施例では、地球の表面を観測することを前提に説明したが、本発明はこの実施形態に限定されるものではない。例えば惑星探査用の宇宙船などにおいても適用可能である。
【００５３】
また、光源は太陽に限定されない。光源位置、撮影時刻が特定できるものであれば他の恒星、人工光源、反射光、散乱光でもよい。また、単一の光源に限定されない。それぞれの光源の光源位置、撮影時刻が特定できる複数の光源でもよい。
【図面の簡単な説明】
【００５４】
【図１】観測センサや、認識対象物等の位置関係をあらわした図である。
【図２】画像処理装置の一実施形態を示すブロック構成図である。
【図３】物体認識処理フローの一例を示した図である。
【図４】物体形状データベース２１０で用いられるデータ構造の構成例である。
【図５】物体画像生成手段２０７の処理フローの一例を示した図である。
【図６】物体画像生成手段の処理結果表示画面の例を示す図である。
【図７】物体形状学習手段２０８によって生成された物体画像の例を示す図である。
【図８】物体形状知識のデータ構造の構成例を示す図である。
【図９】物体認識手段２０４の処理フローの一例を示す図である。
【図１０】物体認識結果のデータ構造の構成例を示す図である。
【図１１】物体認識手段の処理結果表示画面の例を示す図である。
【図１２】画像処理装置の一実施形態を示すブロック構成図である。
【符号の説明】
【００５５】
１０１…観測センサを搭載した物体、１０２…太陽、１０３…観測地域、１０４…太陽光、１０５…観測範囲、１０６…認識対象物体、１０７…影、２０１…観測対象、２０２…
観測センサ、２０３…画像処理装置、２０４…物体認識手段、２０５…認識結果表示手段、２０６…環境情報生成手段、２０７…物体画像生成手段、２０８…物体形状学習手段、２０９…物体画像生成制御情報入力装置、２１２…物体画像表示装置、２１３…認識対象物体選択手段、２１４…物体画像データベース、２１５…認識対象物体入力装置、２１６…環境情報データベース、２１７…物体形状データベース、２１８…背景画像データベース、２１９…背景画像重畳手段、２２０…背景画像指定装置、２２１…背景画像選択手段、４０１…物体ＩＤ、４０２…属性、４０３…物体名、４０４…全長、４０５…全幅、４０６…方向、４０７…形状パラメータ、６０１…処理画面、６０２…サブ画面、６０３…サブ画面、６０４…サブ画面、６０５…サブ画面、６０６…サブ画面、６０７サブ画面、６０８…サブ画面、６０９…スクロールバー、６１０…サブ画面、６１１…サブ画面、６１２…サブ画面、７０１…物体画像、７０２…物体画像、７１１…観測位置と物体の影、太陽光線の関係、７０３…認識対象物体、７０４…太陽光線、７０５…太陽高度、７０６…影の大きさ、７１２…観測位置と物体の影、太陽光線の関係、７０７…認識対象物体、７０８…太陽光線、７０９…太陽高度、７１０…影の大きさ、８０１…物体ＩＤ、８０２…属性、８０３…物体名、８０４…全長、８０５…全幅、８０６…方向、８０７…特徴量、１００１…認識物体番号、１００２…緯度、１００３…経度、１００４…属性、１００５…物体名、１００６…類似度、１００７…物体ＩＤ、１１０１…出力画面、１１０２…サブ画面、１１０３…サブ画面、１１０４…サブ画面、１１０５…サブ画面、１１０６…サブ画面、１１０７…スクロールバー、１１０８…拡大・縮小ボタン、１２０１…観測対象、１２０２…観測センサ、１２０３…画像処理装置、１２０４…物体認識手段、１２０５…認識結果表示手段、１２０６…物体特徴知識選択手段、１２０７…物体特徴知識A、１２０８…物体特徴知識B、１２０９…物体特徴学習手段物、１２１０…物体画像生成制御情報入力装置、１２１１…物体画像生成手段、１２１２…物体画像表示装置、１２１３…環境情報生成手段、１２１４…認識対象物体選択手段、１２１５…物体画像データベース、１２１６…認識対象物体入力装置、１２１７…環境情報データベース、１２１８…観測情報管理データベース、１２１９…物体形状データベース、１２２０…背景画像データベース、１２２１…背景画像重畳手段、１２２２…背景画像選択手段、１２２３…背景画像指定手段。
【特許請求の範囲】
【請求項１】
センシング画像を該センシング画像の撮影時刻及び撮影位置の情報とともに取得し、
予め記録される時刻と位置によって規定される環境モデルを用いて、取得した上記撮影時刻と撮影位置に基いて環境モデルを算出し、
上記算出された環境モデルを用いて予め登録しておいた物体形状データから物体画像を生成し、
上記センシング画像から上記生成された物体画像を用いた検索を行い、
該検索結果を出力することを特徴とする目標物認識プログラム。
【請求項２】
上記環境モデル光源の位置、方向であって、
該環境モデルを用いて物体の影を生成して上記物体画像の生成を行うことを特徴とする請求項１記載の目標物認識プログラム。
【請求項３】
上記環境モデルは気象モデル、又は、大気モデルであって、
上記環境モデルに基づいた画素値の調整を行って上記物体画像の生成を行うことを特徴とする請求項１又は２に記載の目標物認識プログラム。
【請求項４】
上記物体形状データは該物体の材質情報を含み、
該材質情報に基いて決定されるテクスチャを用いて上記物体画像の生成を行うことを特徴とする請求項１乃至３の何れかに記載の目標物認識プログラム。
【請求項５】
画像背景モデルと、
該画像背景モデルと物体画像を重畳する画像重畳手段と、
該画像重畳手段によって生成した画像を物体形状学習手段の入力とすることを特徴とする請求項１乃至４に記載の画像処理装置。
【請求項６】
予め複数の撮像時刻、撮影位置について、上記環境モデルの算出と上記物体画像の生成を行い、
上記センシング画像と撮影時刻及び撮影位置の情報の取得を行うと、
該撮影時刻及び撮影位置に対応する物体画像を上記予め生成された物体画像中から読み出し、
該検索された物体画像を用いて上記検索を行うことを特徴とする請求項１乃至５の何れかに記載の目標物認識プログラム。
【請求項７】
上記リモートセンシング画像の取得の際に該リモートセンシング画像の撮影時刻のみ取得し、
予め上記センシング画像の撮影位置を撮影時刻と対応づけて記録する記録部から情報を読み出すことで、該撮影時刻から該リモートセンシング画像の撮影位置を求めることを特徴とする請求項１乃至６の何れかに記載の目標物認識プログラム。
【請求項８】
上記生成した物体画像と上記センシング画像中の検索結果とを並べて表示部に表示させることを特徴とする請求項１乃至７の何れかに記載の目標物認識プログラム。
【請求項９】
センシング画像を該センシング画像の撮影時刻及び撮影位置の情報とともに取得する取得部と、
少なくとも１の環境モデルと、物体形状データとを記録する記録部と、
上記環境モデルを用いて、取得した上記撮影時刻と撮影位置における環境モデルを算出し、上記算出された環境モデルを用いて上記物体形状データから物体画像を生成する物体画像生成部と、
上記センシング画像から上記生成された物体画像を用いて物体検索を行い、該検索結果を出力する物体認識部とを有することを特徴とする目標物認識装置。
【請求項１】
センシング画像を該センシング画像の撮影時刻及び撮影位置の情報とともに取得し、
予め記録される時刻と位置によって規定される環境モデルを用いて、取得した上記撮影時刻と撮影位置に基いて環境モデルを算出し、
上記算出された環境モデルを用いて予め登録しておいた物体形状データから物体画像を生成し、
上記センシング画像から上記生成された物体画像を用いた検索を行い、
該検索結果を出力することを特徴とする目標物認識プログラム。
【請求項２】
上記環境モデル光源の位置、方向であって、
該環境モデルを用いて物体の影を生成して上記物体画像の生成を行うことを特徴とする請求項１記載の目標物認識プログラム。
【請求項３】
上記環境モデルは気象モデル、又は、大気モデルであって、
上記環境モデルに基づいた画素値の調整を行って上記物体画像の生成を行うことを特徴とする請求項１又は２に記載の目標物認識プログラム。
【請求項４】
上記物体形状データは該物体の材質情報を含み、
該材質情報に基いて決定されるテクスチャを用いて上記物体画像の生成を行うことを特徴とする請求項１乃至３の何れかに記載の目標物認識プログラム。
【請求項５】
画像背景モデルと、
該画像背景モデルと物体画像を重畳する画像重畳手段と、
該画像重畳手段によって生成した画像を物体形状学習手段の入力とすることを特徴とする請求項１乃至４に記載の画像処理装置。
【請求項６】
予め複数の撮像時刻、撮影位置について、上記環境モデルの算出と上記物体画像の生成を行い、
上記センシング画像と撮影時刻及び撮影位置の情報の取得を行うと、
該撮影時刻及び撮影位置に対応する物体画像を上記予め生成された物体画像中から読み出し、
該検索された物体画像を用いて上記検索を行うことを特徴とする請求項１乃至５の何れかに記載の目標物認識プログラム。
【請求項７】
上記リモートセンシング画像の取得の際に該リモートセンシング画像の撮影時刻のみ取得し、
予め上記センシング画像の撮影位置を撮影時刻と対応づけて記録する記録部から情報を読み出すことで、該撮影時刻から該リモートセンシング画像の撮影位置を求めることを特徴とする請求項１乃至６の何れかに記載の目標物認識プログラム。
【請求項８】
上記生成した物体画像と上記センシング画像中の検索結果とを並べて表示部に表示させることを特徴とする請求項１乃至７の何れかに記載の目標物認識プログラム。
【請求項９】
センシング画像を該センシング画像の撮影時刻及び撮影位置の情報とともに取得する取得部と、
少なくとも１の環境モデルと、物体形状データとを記録する記録部と、
上記環境モデルを用いて、取得した上記撮影時刻と撮影位置における環境モデルを算出し、上記算出された環境モデルを用いて上記物体形状データから物体画像を生成する物体画像生成部と、
上記センシング画像から上記生成された物体画像を用いて物体検索を行い、該検索結果を出力する物体認識部とを有することを特徴とする目標物認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−２９３５５８（Ｐ２００７−２９３５５８Ａ）
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００６−１２００６１（Ｐ２００６−１２００６１）
【出願日】平成１８年４月２５日（２００６．４．２５）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願日】平成１８年４月２５日（２００６．４．２５）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]