説明

画像判読支援装置

【課題】 目視による画像判読では、対象目標の機種特定が判読員の技量に依存し、その技量は判読員の熟練度による個人差が大きく、場合によっては対象目標の機種特定ができなくなるという問題がある。
【解決手段】 目標候補の種類に基づいて3次元モデルデータベースから3次元形状モデルデータを取得し、入力画像における撮影時の撮影条件および季節条件に基づいて、3次元形状モデルデータから入力画像を模擬する2次元画像データを生成する画像シミュレータと、画像シミュレータから目標候補の種類、姿勢毎に生成される複数枚の2次元画像データを、入力画像と比較照合して、入力画像中の目標を特定する照合部とを備えて、画像判読装置を構成する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、衛星や航空機等の飛翔体から撮影された空中撮影画像の判読に用いる画像判読支援装置に関するものである。
【背景技術】
【0002】
現在、イコノスやクィックバード等により撮影された高分解能な衛星画像や、航空機により撮影された高分解能写真が、容易に購入できるようになってきている。このため、空中撮影画像が、例えば農業や土地区画管理等の各種産業に用いられるようになってきている。
【0003】
このようなシステムの一例として、記憶装置に予め保存された複数の写真画像データを読み出し、読み出した写真画像データを、あらかじめ設定された任意の時間間隔で交互に画面表示装置へ表示出力し、視覚的に両者の相違箇所を判読可能とする、固定資産税用家屋移動判読業務支援システムが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平2001−338292号
【0005】
また、汎用解析ソフトを用いて、空中撮影画像から市街地と田畑などを分類して地表面の状況を解析し、地表面に存在する特定の対象目標を画像判読するリモートセンシングが、一般的に普及している。従来のリモートセンシングでは、対象目標を画像判読するために、画像解析ソフトを用いて、空中撮影画像を表示し、拡大や縮小、画像強調、分類などを行って、目視にて図面や判読見本と見比べて、色や形状等の特徴から、航空機や艦船等の対象目標の機種特定を実施している。
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述のような目視による画像判読では、機種特定が判読担当者の技量に一任されているために、判読員の熟練度などによる個人差が大きく、場合によっては機種特定が出来ないケースも発生するという問題がある。
【0007】
この発明は、係る課題を解決するために成されたものであり、画像判読により航空機や艦船などの機種特定を行う際、判読経歴が少ない判読要員でも、比較的容易にかつ機械的に判読できるようにするための、画像判読支援装置を得ることを目的とする。
【課題を解決するための手段】
【0008】
この発明による画像判読支援装置は、飛翔体が上空から撮影した入力画像に基づいて、判読員が設定した複数の目標候補の種類を示す情報をそれぞれ入力する入力装置と、複数種類の目標候補の3次元形状モデルデータが格納された3次元モデルデータベースと、撮影時の撮影方向および撮影時間に対応して予め撮影時の陰影情報が格納され、上記入力装置から入力される各目標候補の種類を示す情報に基づいて、上記3次元モデルデータベースから対応する3次元形状モデルデータを取得し、得られた3次元形状モデルデータに対し、上記入力画像における撮影時の撮影方向および撮影時間に基づいて、上記各目標候補の種類および3次元形状モデルデータの複数の姿勢態様毎に、撮影時の陰影を付加して上記入力画像を模擬する2次元画像データを生成する画像シミュレータと、上記画像シミュレータから目標候補の種類および姿勢毎に生成される複数枚の2次元画像データが入力され、当該入力データをそれぞれ入力画像と比較照合して、上記入力画像に対応した目標候補の種類を特定する照合部と、を備えたものである。
【発明の効果】
【0009】
この発明によれば、艦船や航空機などの機種の特定を、判読経歴が少ない判読要員でも容易にかつ機械的に判読することが可能となる。
【図面の簡単な説明】
【0010】
【図1】この発明の実施の形態1による判読支援装置の構成を説明するための図である。
【図2】この発明の実施の形態1による画像生成部の動作の流れを示す図である。
【図3】観測条件による建物等の影の違いの一例を示す図である。
【図4】観測条件による画像の明るさの違いの一例を示す図である。
【図5】陰影の画像シミュレーションモデルの例を示す図である。
【発明を実施するための形態】
【0011】
実施の形態1.
以下、図を用いてこの発明に係る実施の形態1について説明する。図1は実施の形態1による画像判読支援装置の構成を示す図である。
【0012】
図1において、画像判読支援装置は、画像1を元にした入力情報および判読支援データベース2の格納情報に基づいて画像の判読支援情報を提供する入力部を構成する判読支援ツール3と、判読支援ツール3を用いて画像判読された候補機種43について複数枚のシミュレーション画像7を生成する画像生成部4と、各シミュレーション画像7と画像1とを照合する自動照合部5と、自動照合部5により照合された照合結果を表示する結果表示部6とを備えて構成される。画像1は、衛星や航空機等の飛翔体に搭載される撮像装置を用いて、上空から地表を撮像することにより得られた空中撮影画像である。画像生成部4は、画像シミュレータ41と、判読対象目標に関する色情報付きの3次元形状モデルを有した3D(3次元)モデルデータベース42を備えている。結果表示部6は、照合結果として目標候補の種類を示す情報である判読対象目標の機種情報を表示する。
【0013】
判読支援データベース2は、地表を撮影した画像1の判読支援を行うためのデータが予め入力されて格納されている。判読支援データは、航空機や艦船等の判読対象目標の特徴データと、判読対象目標の図面と、判読見本とから構成される。特徴データは、航空機の形状、色や、航空機の装備品等の特徴を示すデータによって構成される。判読支援ツール3は、入力装置と出力装置と表示装置を有し、判読支援データベース2に接続されている。
【0014】
判読支援ツール3の表示装置は、入力される画像1を表示画面に表示する。画像を判読する判読員は、判読支援ツール3の表示装置に表示される画像1を閲覧して、航空機、艦船等の区分や、航空機であれば戦闘機、輸送機等の種別を判断し、判断した区分および種別情報を、入力装置を介して判読支援ツール3に入力する。判読支援ツール3は、判読支援データベース2から、形状、色等の特徴データを読み出し、特徴データを表示装置により画面表示することで、判読員に特徴データを提供する。判読支援データベース2から読み出す情報としては、例えば、航空機の場合には、機種の特徴を表す先端および翼の形状、垂直尾翼の枚数、エンジンの台数等がある。
【0015】
判読員は、判読支援ツール3から提供される特徴データを参考として、目視にて画像1を確認し、後段の自動照合部5にて判読対象とすべき複数の候補機種を選定し、入力装置を介して選定した複数の候補機種を入力する。判読支援ツール3に入力された複数の候補機種43は、画像生成部4に出力される。
【0016】
この判読支援ツール3を用いた目視判読では、撮影時間、撮影分解能、撮影角度等の撮影条件の制約により、機種特定が困難な場合が多い。また、判読対象目標に関する情報は衛星画像1だけであり、判読対象目標の真の形状や設置状態を判読することができない。このため、判読支援ツール3の後段処理では、判読員の選定した複数の候補機種43について、画像生成部4による画像シミュレーションを行うことにより、撮影条件、観測条件等をパラメータとしたシミュレーション画像7を作成し、画像1に類似した画像を作成する。すなわち、画像生成部4は、複数の候補機種43に対応する3次元形状モデルに対して、撮影条件、観測条件、設置条件をパラメータとした複数枚のシミュレーション画像7を、それぞれ類似画像として作成して、機種特定の判読作業を支援する。これにより、判読作業における機種特定の精度を向上させる。
【0017】
次に、画像生成部4について説明する。
図1において、画像生成部4は、3Dモデルデータベース42と、3次元形状モデルを用いてシミュレーション画像を作成する画像シミュレータ41と、パラメータ設定部44とから構成される。画像生成部4は、画像1が入力されるとともに、判読支援ツール3から複数の候補機種43が入力され、画像シミュレータ41によって複数枚のシミュレーション画像7を生成し、生成した各シミュレーション画像7をそれぞれの候補機種43を示す情報に対応付けて自動照合部5に出力する。3Dモデルデータベース42は、判読対象目標の特徴を示す色情報と形状情報とから構成される判読対象目標の3次元形状モデルが、複数の判読対象目標毎に予め格納されている。
【0018】
図2は画像生成部4のデータ処理動作の流れを示す図である。図3は観測条件による建物等の影の違いの一例を示す図であり、図4は観測条件による画像の明るさの違いの一例を示す図である。図5は陰影の画像シミュレーションモデルの例を示す図である。
図において、画像生成部4のパラメータ設定部44は、まず画像1に付属するメタ情報から、撮影日時、飛翔体位置および高度、撮影角度、地表分解能等の撮像条件を抽出して、撮影方向を決定するための飛翔体と地表との位置関係に関するパラメータや、撮影時間に関するパラメータや、撮影解像度に関するパラメータを設定する。
【0019】
次に、パラメータ設定部44は、設定した撮影日時、飛翔体位置および高度、撮影角度、地表分解能等の撮影方向や撮影時間や解像度を含む撮影条件から、季節、気候等の観測条件に対応した大気モデル、エアロゾルモデル等の観測条件モデルを選択する。
【0020】
パラメータ設定部44は、夏、冬、春秋等の季節毎に、観測条件モデルとして設定する大気モデル、エアロゾルモデル等の特性データを、予めテーブル形式で蓄積している。
例えば、夏の日本周辺では、日照が強く、湿度の高い大気状態を模擬した大気モデルが観測条件のテーブルより呼び出されて、シミュレーション条件として設定される。
【0021】
また、飛翔体の撮影した画像1は、太陽からの入射光に対して反射した反射光が結像した画像であるため、図3および図4に示すように、季節や場所や撮影時間によって明るさや影の長さ等が大きく異なる。
例えば、図3において、夏は太陽高度が高くなるので影の長さが短くなり、冬は太陽高度が低くなるので影の長さが伸びる。また、図4において、夏は画像が明るくなり、冬は画像が暗くなる。
【0022】
そのため、画像シミュレータ41の画像シミュレーションにおいても、観測条件により影の長さや画像の明るさを考慮したシミュレーションを行う。
画像シミュレータ41は、シミュレーションの際に、パラメータ設定部44により選択された大気モデル、エアロゾルモデル、季節や場所や撮影時間に対応して予め設定される単位高さ当たりの影の長さおよび方向を含む影ベクトル、画像の明るさ等の特性データを呼び出して、シミュレーション条件の設定を行う。
【0023】
また、パラメータ設定部44は、判読対象目標の方位角および仰角を与えるヘディング角、ロール角、ピッチ角等のターゲット設置条件の設定を行い、設定したターゲット設置条件を画像シミュレータ41に入力する。このターゲット設置条件は、画像シミュレータ41側からの制御によって逐次変更することができる。この際、判読員からの入力指示によって、例えばヘディング角度範囲やロール角度範囲等の条件変更の範囲を調整することが可能である。
【0024】
そして、画像生成部4の画像シミュレータ41は、撮像条件および観測条件モデルからなるこれらのシミュレーション条件の基で、3Dモデルデータベース42から、それぞれの候補機種43に対応した3次元形状モデルを呼び出す。複数の候補機種43は、上述したように判読支援ツール3から入力される。
【0025】
また、画像シミュレータ41は、パラメータ設定部44の調整によりヘディング角、ロール角、ピッチ角からなるターゲット設置条件を変化させるとともに、季節や場所や撮影時間に対応した単位高さ当たりの影ベクトルから生成した候補機種の陰影を模擬する影画像を加え、3Dモデルデータベース42から呼び出した3次元形状モデルに対して、候補機種43毎に、上記飛翔体の撮影方向からの撮影画像を模擬して、ターゲット設置条件に応じて異なる複数枚の2次元のシミュレーション画像7を生成する。生成した複数枚のシミュレーション画像7は、候補機種43を示す情報に対応付けられて自動照合部5に出力される。
【0026】
例えば、図5に示すように、候補機種43に対応した3次元形状モデルのヘディング角を0度方向(東方向)に設定し、真夏の東京における午前7時の、衛星が真上から候補機種43を見た影ベクトルが190度方向で、単位当たりの影ベクトルの長さがLである場合を考える。ここで、候補機種43は航空機であるとする。3次元形状モデル50における垂直尾翼51の高さがHであるときに、H×Lに相当する長さの影が、西南方向に現れる。画像シミュレータ41は、この真上から見た影のシミュレーションモデル52を、3次元形状モデルを真上から見た2次元形状モデルに重ね合わせることで、2次元のシミュレーション画像を生成する。
【0027】
また、画像1が衛星により撮像された衛星画像である場合、分解能によっては、ターゲットの向きや傾きも目視では読みとれない場合があるため、ヘディング角、ロール角などのターゲットの設置条件を、画像シミュレータ41上で順次変化させて、画像1と類似する複数枚のシミュレーション画像を生成する。
例えば、空港の駐機場に駐機している航空機の場合には、航空機の機種方向を駐機場に対して数度刻みで回転させた航空機の3次元形状モデルを用いて、複数枚のシミュレーション画像を生成する。
【0028】
自動照合部5では、画像1から形状、色等の特徴点を抽出して照合パターンを作成し、画像生成部4で作成した複数枚のシミュレーション画像7に対して、1枚ずつ照合パターンに基づくパターンマッチングによる相関照合を行い、総合的な類似度を算出する。そして、最も類似度の高いシミュレーション画像に対応した目標の候補機種を、画像1に含まれる判読対象目標の機種を特定し、特定した判読対象目標の機種を判読結果として、結果表示部6に表示する。
【0029】
以上説明したとおり、実施の形態1の画像判読支援装置によれば、上記の目視判読において絞り込んだ複数の候補機種に対して、画像シミュレータ41でそれぞれの候補機種の3次元形状モデル毎に、季節、気候等の観測条件、および方位、仰角等のターゲット設置条件を変化させて、複数枚のシミュレーション画像7を生成する。生成したそれぞれのシミュレーション画像7は、自動照合部5にて画像1と比較され、画像1と複数枚のシミュレーション画像7との間で、形状、色等の特徴点について相関照合が行われる。
【0030】
すなわち、この画像判読支援装置は、飛翔体が上空から撮影した入力画像に基づいて、判読員が設定した複数の目標候補の種類を示す情報をそれぞれ入力する入力装置と、複数種類の目標候補の色および形状情報を有した3次元形状モデルデータが、それぞれの目標候補の種類を示す情報に対応付けられて、予め格納された3次元モデルデータベースと、撮影時の撮影方向、撮影時間および季節条件に対応して予め撮影時の陰影や明度の情報が格納され、上記入力装置から入力される各目標候補の種類を示す情報に基づいて、上記3次元モデルデータベースから各目標候補の種類に対応した3次元形状モデルデータを取得するとともに、得られた3次元形状モデルデータに対し、上記入力画像における撮影時の撮影方向、撮影時間および季節条件に基づいて、上記各目標候補の種類および3次元形状モデルデータの複数の姿勢態様毎に、撮影時の陰影や明度を付加して上記入力画像を模擬する2次元画像データをそれぞれ生成する画像シミュレータと、上記画像シミュレータによって目標候補の種類毎および姿勢毎に生成される複数枚の2次元画像データが入力され、当該入力された複数枚の2次元画像データをそれぞれ入力画像と比較照合し、入力画像に対応した目標候補の種類を特定する照合部とを備えたことを特徴とする。
【0031】
このように、判読支援ツールと3次元形状モデルのシュミレーション画像と入力画像との自動照合とを併用した、総合的な画像判読支援を行うことにより、画像1の画像内に存在する像に基づいて機種特定を行う際の支援を行うことができるので、艦船や航空機などの機種の特定を、判読経歴が少ない判読要員でも容易にかつ機械的に判読することが可能となる。また、画像判読作業の半自動化を図ることができるので、判読時間の短縮に繋がる他、判読員による判読結果のばらつきを抑えることができ、判読精度の向上にも寄与する。
【符号の説明】
【0032】
1 画像、2 判読支援データベース、3 判読支援ツール、4 画像生成部、5 自動照合部、6 結果表示部、7 シミュレーション画像、41 画像シミュレータ、42 3Dモデルデータベース。

【特許請求の範囲】
【請求項1】
飛翔体が上空から撮影した入力画像に基づいて、判読員が設定した複数の目標候補の種類を示す情報をそれぞれ入力する入力装置と、
複数種類の目標候補の3次元形状モデルデータが格納された3次元モデルデータベースと、
撮影時の撮影方向および撮影時間に対応して予め撮影時の陰影情報が格納され、上記入力装置から入力される各目標候補の種類を示す情報に基づいて、上記3次元モデルデータベースから対応する3次元形状モデルデータを取得し、得られた3次元形状モデルデータに対し、上記入力画像における撮影時の撮影方向および撮影時間に基づいて、上記各目標候補の種類および3次元形状モデルデータの複数の姿勢態様毎に、撮影時の陰影を付加して上記入力画像を模擬する2次元画像データを生成する画像シミュレータと、
上記画像シミュレータから目標候補の種類および姿勢毎に生成される複数枚の2次元画像データが入力され、当該入力データをそれぞれ入力画像と比較照合して、上記入力画像に対応した目標候補の種類を特定する照合部と、
を備えた画像判読支援装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate