分類画像作成装置
【課題】 分類図を作成する場合、あらかじめ画像から手動により教師データを作成する必要があり、事前の知識が必要であった。
【解決手段】 画像402と地図データ401を対応付け、地図データに基づいて対象領域を画像上で特定し、対象領域から特徴量を抽出する。さらに、特徴量を特徴量空間でクラスタリングし、代表特徴を求め403、求めた代表特徴で画像全体を分類する404。
【解決手段】 画像402と地図データ401を対応付け、地図データに基づいて対象領域を画像上で特定し、対象領域から特徴量を抽出する。さらに、特徴量を特徴量空間でクラスタリングし、代表特徴を求め403、求めた代表特徴で画像全体を分類する404。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分類画像を作成する技術に関する。
【背景技術】
【0002】
地図やGIS(Geographical Information System)が整備されつつあるが、地図整備および更新には多大な労力を必要とするため、現実を反映した地図が利用できることは少ない。そのため、衛星画像等から地図を作成する試みが行われてきている。衛星画像等から地図を作成する場合、道路等の境界が明瞭な対象は画像抽出が比較的容易であるが、例えば樹木の樹種マップ、水田マップを作成する場合は、スペクトル情報を利用した分類手法等によって領域を特定し、地図化する必要がある。そのため、下記非特許文献にあるように、衛星画像から分類図を作成または対象領域を抽出することが行われている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Tropical forest type mapping and monitoring using remote sensing, International journal of remote sensing, Vol. 12, No.11, pp.2205-2225, 1991
【発明の概要】
【発明が解決しようとする課題】
【0004】
分類図を作成するにあたり、教師データを与えて、画像中から似た領域を抽出する手法がよく用いられる。教師データの与え方として、画像中から事前に対象領域が分かっている場所を抽出して教師データとする、別の方法で計測しておいたデータを教師データとする、といった方法がある。しかし、画像中から事前に対象領域が分かっている場所を抽出して教師データとする場合、あらかじめ画像中から対象領域を手動で抽出する必要があり、また画像に対する事前知識が必要となる。別の方法で計測しておいたデータを教師データとする場合、例えば光源,背景,大気の影響といった計測環境が教師データ取得時と画像取得時とで異なることがある。そのため,環境変化によるデータの変化が無視できないことが多い。また画像の1画素中に複数の対象物が含まれる場合があり、教師データと画像データが1対1で対応しないことがあった。
【0005】
そこで、本発明は、前記問題に鑑みてなされたものであり、対象とする領域を事前の知識無しに精度よく、かつ簡便に抽出することを課題とする。
【課題を解決するための手段】
【0006】
本発明は、画像を記憶する記憶部と、演算部とを備える分類図作成装置であって、演算部は、画像と地図データを重ね合わせ、地図データに基づいて対象領域を画像上で特定し、対象領域から特徴量を抽出する。さらに、特徴量を特徴量空間でクラスタリングし、代表特徴を求め、求めた代表特徴で画像全体を分類する。算出した分類結果を記憶部に格納する。その他の手段については後記する。
【発明の効果】
【0007】
本発明によれば、事前の知識なしに分類画像を作成することができる。また、画像の撮像状況に変動があっても、撮像状況に応じた教師データを作成し、分類することができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態の分類図作成装置の機能構成図である。
【図2】本実施形態の分類図作成装置の物理構成図である。
【図3】本実施形態における処理フローを示す図である。
【図4】本実施形態における、地図データをもとに画像を分類し、地図を更新する例の図である。
【図5】本実施形態における、影マスク処理を追加した分類図作成装置の機能構成図である。
【図6】本実施形態における、影マスク処理を追加した処理フロー図である。
【図7】本実施形態における、対象領域に影が含まれる場合の処理結果の例の図である。
【図8】本実施形態における、特徴抽出領域にバッファを持たせる場合の説明図である。
【図9】本実施形態において、対象領域に複数の特性を有する領域が含まれる場合の説明図である。
【図10】本実施形態における、複数の画像データを使用する特徴合成部および特徴スケーリング部を追加した分類画像作成装置の機能構成図である。
【図11】本実施形態における、地図データの属性情報図である。本実施形態において、地図データの属性格納を示した図である。
【図12】本実施形態における、画像表示部の利用例を示した図である。
【図13】本実施形態における、クラスタリングのクラスタ数を変更する例を示した図である。
【図14】本実施形態における、クラスタリングのクラスタ数を設定する例を示した図である。
【図15】本実施形態における、クラスタリングのクラスタ数を変更した分類処理画像の表示例を示した図である。
【図16】本実施形態における、部分画像から代表特徴を決定し、画像全体に展開して分類処理を行う例を示した図である。
【図17】本実施形態におけるシーケンス図を示した図である。
【図18】本実施形態における、特徴合成部での合成ベクトル作成を説明する図である。
【発明を実施するための形態】
【実施例1】
【0009】
以下、本発明を実施するための最良の形態(以下、「実施形態」という。)について、図面を参照(言及図以外の図面も適宜参照)しながら詳細に説明する。なお、本実施形態において、各蓄積部はハードディスクや計算機上のメモリによって実現される。その代案として、ネットワーク上のハードディスクを用いてもよい。また、各処理部は、コンピュータにおいてプログラムを読み込むことで実行される。その代案として、ハードウェアとソフトウェアの協調によってなされるものであってもよい。
【0010】
図1、図2、図11を参照して、本実施形態の分類図作成装置の構成について説明する。図1は、本実施形態の分類図作成装置101の機能構成図である。図2は、本実施形態の分類図作成装置101の物理構成図である。図11は地図データの属性情報図である。
【0011】
図1に示すように、分類図作成装置101は、処理部としてのデータ入力部104、画像対応部105、特徴抽出部106、代表特徴抽出部107、分類処理部108、結果調整部109と、記憶部(蓄積部)としてのデータ蓄積部112、演算結果蓄積部103とを備えて構成される。また、画像表示部110を備える。
【0012】
データ蓄積部102は、対象とする画像と地図データを蓄積(記憶)する。対象画像は、多バンドセンサで撮影された画像であり、また位置情報が付属されている。対象画像は衛星画像に限らず、航空画像、ヘリコプター画像、無人偵察機画像などでもよい。また、画像は単一ではなく、複数の時系列画像でもよい。地図データは、電子化されているデータで、属性情報および位置情報を有する。属性情報および位置情報は図11に示すように、ラベル、属性、位置情報などが格納されている。位置情報は、例えばベクターデータとして保存されている。また、位置情報は画像に対応する座標でもよいし、所望の地図投影で表現される緯度経度情報等であってもよい。地図データは地図だけでなく、ユーザーが描画した画像や文書情報から知識処理によって収集した位置情報であってもよい。また、ここでは、データ蓄積部を分類画像作成装置の内部に保有する構成を示したが、分類画像作成装置の外部に置き、ネットワーク等を通じて記憶情報を送受信するようにしても良い。
【0013】
データ入力部104は、ユーザーが指定する解析対象とする画像を入力し、また同地域の地図データを入力し、データ蓄積部102に格納する。さらに、ユーザーが指定する解析対象物の名称またはID等の情報をデータ蓄積部102に格納する。解析対象物は一つでもよいし、複数指定してもよい。
【0014】
画像対応部105は、データ入力部104で入力した画像と地図データの位置を対応づける。画像および地図データに付属されている位置情報を利用して、自動的に位置合わせを行う(下記非特許文献2)。また、手動により画像と地図データから対応点を抽出して位置合わせを行ってもよい。抽出した対応点情報は、演算結果蓄積部103に格納する。
【0015】
対応づけた画像において、データ入力部104で入力された解析対象物を地図データの属性情報から抽出し、対応する属性の領域を、画像上で配置する。地図データで、解析対象物が点や線で表現されている場合、領域として抽出できないため、点や線にバッファを与えて領域として抽出する。
【0016】
特徴抽出部106は、画像対応部105で画像上に配置された対応する解析対象物の領域から、特徴量を抽出する。特徴量は、スペクトル画像から得られる1画素毎のスペクトルデータである。また、ある領域内の平均値でもよいし、フィルタ処理等を行って算出した値でもよい。また、合成開口レーダー画像を使用する場合は、強度画像から得られる強度値でもよいし、偏波データや、散乱係数でもよい。
【0017】
得られた特徴量は、特徴ベクトルとして表現し、この特徴ベクトルは複数の次元を持っている。また、1次元のデータ(ひとつの値)であってもよい。抽出した特徴ベクトルは、演算結果蓄積部103に格納する。
【0018】
代表特徴抽出部107は、特徴抽出部106で抽出した特徴ベクトルを特徴空間上にプロットし、特徴ベクトルに対してクラスタリングを行う。クラスタリングはK-Means法(『画像解析ハンドブック、高木幹雄、下田陽久監修、東京大学出版会』参照)などを利用して、教師なし分類を行う。クラスタリング手法はこれに限らない。また、クラスタリング処理ではなく、特徴ベクトルのうち、適当な次元を選択して特徴空間を表示し、ユーザーの入力でクラスタを作成してもよい。また、閾値処理でもよい。閾値はユーザーが設定してもよいし、自動閾値決定法(下記非特許文献3参照)などで自動に求めてもよい。
【0019】
クラスタリングを行った結果、最も大きなクラスタの代表点を代表特徴として抽出し、演算結果蓄積部103に格納する。代表点はクラスタの中心特徴である。クラスタリングに使用したデータの分布がまとまっている場合は,中心特徴がクラスタをよく表すことができる。また、データ数が少ない,または分布の形状が偏っている場合は最頻値特徴を使用してもよい。代表特徴だけでなく、後記分類処理で必要であれば、クラスタの分布情報も合わせて格納してもよい。また、最も大きなクラスタだけでなく、他クラスタの情報をも格納し、後記分類処理に使用してもよい。また、代表特徴ではなく閾値を格納してもよい。また、クラスタとして対象物体だけでなく対象物体以外のクラスタも抽出し、複数のクラスタおよび代表特徴から計算される距離を使用して、分類処理を行ってもよい。
【0020】
分類処理部108では、代表特徴抽出部107で抽出した代表特徴を用いて、入力画像全体に対して分類処理を行う。分類処理方法は、たとえば最尤法(下記非特許文献4参照)などを利用して、代表特徴への類似度を算出する。また、前記代表特徴抽出部107で格納したクラスタの分布情報を利用して、分類処理を行い、対象物体への類似度を求めてもよい。また、前記代表特徴抽出部107で格納した閾値を用い、閾値より高い、または低い部分を対象領域に分類された領域として抽出してもよい。
【0021】
結果調整部109では、分類処理部108で得られた分類結果から、解析対象の代表特徴に類似している領域のみ抽出する。分類処理は、画素レベルでの処理を行っているため、抽出された領域の輪郭が滑らかではないなどの場合がある。その場合は、輪郭に対して直線や矩形等のモデルを当てはめ、輪郭線を滑らかにするなど整形してもよい。また、あらかじめ抽出領域の最小面積を設定しておき、領域の面積がそれ以下の場合は削除するなどの処理を行ってもよい。また、フィルタ処理などを施し、抽出領域を整えてもよい。抽出した領域の輪郭を処理し、滑らかにした後、輪郭線をベクター化して保存する。また、ラスターデータのまま保存してもよい。
【0022】
画像表示部110は、結果調整部109で作成した分類領域を表示する。また、データ蓄積部102から読み出した原画像を並べて表示し、分類領域を視認し易くしてもよい。さらに、画像の拡大、縮小などを並べた画像同士で連動させ、視認し易くしてもよい。
【0023】
データ蓄積部102から読み出した地図データと、抽出した輪郭線が異なる場合は、色を変えて描画するなど強調表示してもよい。
【0024】
また、画像蓄積部102に蓄積された分類領域は、対応する入力画像上にマッピングする。また、抽出した分類領域のみ画像化してもよい。また、抽出した輪郭線をデータ蓄積部102から呼び出した地図データ上に描画してもよい。
【0025】
次に、分類図作成装置101の物理構成について説明する。図2に示すように、分類図作成装置101は、ディスプレイ201、プリンタ202、演算部203、メモリ204、HDD(Hard Disk Drive)205、キーボード206およびマウス207を備えて構成され、それらがバス208によって接続されている。
ディスプレイ201は、入力された画像等のデータを表示する。
【0026】
プリンタ202は、入力されたデータを印刷機等へ出力する。
【0027】
演算部203は、各種の処理エンジン2031を有し、処理命令が入力されると対応するエンジンソフトをメモリ204から読み出し、また、必要があればHDD205から蓄積されているデータを読み出して所定の演算を行う。また、計算結果をメモリ204に出力する。
【0028】
メモリ204は、処理エンジン管理部2041、演算情報管理部2042および設定条件管理部2043を有する。処理エンジン管理部2041は、演算部203での計算に使用する各エンジンのソフトを管理する。演算情報管理部2042は、演算部203で計算された計算結果を管理する。設定条件管理部2043は、キーボード206やマウス207から入力された条件を保存し、管理する。
【0029】
HDD205は、データ蓄積部102、演算結果蓄積部103を有し、それぞれが該当データを格納している。各データはID番号1305のようにIDで管理されており、効率的にデータにアクセスすることができる。HDD205に対してデータの読み出し命令が入力されると、対象データがアクセスされ読み出される。なお、HDD205はネットワーク上に設置されていてもよい。分類図作成装置101はネットワークインターフェイスを備え、HDD205など各構成はネットワーク上に設置されてもよい。
【0030】
キーボード206及びマウス207は、各種設定条件を入力するユーザーによる操作のための手段である。
【0031】
図3は、本実施形態における処理フローを示す図である。
【0032】
ステップ301で、データ入力部104は処理対象の画像および地図データの入力を受け、データ蓄積部102にデータを蓄積する。
【0033】
ステップ302で、画像対応部105は入力データの画像と地図データの位置を対応付けし、地図データから解析対象物の領域を抽出して対応する画像領域を抽出する。
【0034】
ステップ303で、特徴抽出部106は、画像対応部105で抽出した画像上の解析対象物領域から特徴ベクトルを抽出する。
【0035】
ステップ304で、代表特徴抽出部107は、特徴抽出部106で抽出した特徴ベクトルに対し、クラスタリング処理を行い、代表特徴ベクトルを抽出する。
【0036】
ステップ305で、分類処理部108は、代表特徴抽出部106で抽出した代表特徴を使って、入力画像全体に分類処理を行う。
【0037】
ステップ306で、結果調整部109で算出した分類処理結果を画像表示部110がディスプレイ201に表示する。
【0038】
図17は、本実施形態における処理シーケンスを示す図である。ユーザー1701が処理の開始を指示し、表示画面1702上で処理対象を選択すると、演算部1703に処理対象の設定情報が通知される。演算部1703では対象となる地図と画像をデータ蓄積部1704に指定し、データ蓄積部1704から必要となるデータを読みだす。
【0039】
次に演算部1703では、読み出した画像と地図から特徴データを生成する。生成した特徴データを表示画面1702上に表示する。ここで、表示画面にはユーザー1701に対して修正の有無を尋ねる表示を行ってもよい。また、ユーザーは表示された特徴データを見ながら、クラスタの設定等を修正してもよいし、新たに設定しもよい。ユーザーからの修正があった場合は、演算部1703で修正指示を受け付ける。
【0040】
演算部1703では、生成した特徴データをもとに、教師データを生成する。生成した教師データを使用して、データ蓄積部1704から読み出してあった画像の分類処理を行う。処理した分類結果を表示画面1702上に表示する。また、処理結果はデータ蓄積部1704に保存する。
【0041】
【非特許文献2】Remote Sensing Digital Image Analysis, Springer, J. A. Richards and X. Jia, pp.56-58, 2006
【非特許文献3】Remote Sensing Digital Image Analysis, Springer, J. A. Richards and X. Jia, pp. 197-199, 2006
【非特許文献4】Introduction to remote sensing, Taylor & Francis, J. B. Campbell, pp. 342-343, 2002
【実施例2】
【0042】
次に、図4を参照して、分類図作成装置の利用例として、地図と画像を利用した分類および地図更新の例について説明する。
【0043】
図4は、地図データをもとに画像を分類し、地図を更新する例である。地図データ401には、地図情報として、対象物体A、B、Cが含まれる。例えば対象物体は家屋や畑等である。画像データ402は、地図データ401と同じ位置の画像であり、スペクトル情報を含むスペクトル画像等である。ここで、解析対象物体をAと設定した場合として、以下に説明する。
【0044】
画像対応部105では、地図401から、対象物体Aの領域を抽出し、対応する画像402上での領域を抽出する。画像402では、指定したA対象物体の領域に、Aではない他の対象物体が含まれている。抽出した対象領域から特徴抽出部106によって、1画素毎に特徴ベクトルを抽出する。抽出した特徴ベクトルを特徴空間403にマッピングする。例えば、特徴ベクトルのうち2次元を選択して、横軸、縦軸に設定すると、特徴空間403のようになる。地図401ではA領域となっている領域が、画像402上でもA領域である部分が大半であるため、特徴空間上でクラスタリングを行うと、大きなクラスタができる。画像402のA領域には、Aではない他の物体が含まれるため、特徴空間403では、クラスタから離れたプロットがあり、これを除去することができる。例えば,クラスタの分布を正規分布と仮定し,クラスタの領域を3σ以内とすると,この領域に含まれないプロットは対象外として除去できる。また,あらかじめクラスタ数を複数と設定してクラスタリングを行い,最も大きいクラスタを対象クラスタ,それ以外のクラスタを対象外クラスタと判定することにより,対象外クラスタに所属するプロットを除去できる。これにより、代表特徴抽出部107は、実際のデータに即したA領域のみのクラスタの代表特徴を抽出することができる。抽出した代表特徴を用いて、画像402全体を分類して代表特徴に近い画素のみ抽出すると、画像404のように実際のA領域のみが抽出できる。このA領域の輪郭線を抽出してベクターデータとし、地図401と比較して変化がある部分については地図401を更新する。これにより、事前の知識なしに自動的にA領域のみ抽出でき、さらに地図401も更新することができる。
【0045】
本実施例の構成では、地図データが現実の状態と異なっていても、最新の画像から作成した分類結果により、地図データを更新することができる。
【実施例3】
【0046】
次に、図5、図6、図7を参照して、分類画像作成装置の応用例として、影領域を含んだ場合の処理について説明する。
【0047】
図5は、図1の分類画像作成装置に影マスク設定部501と含んだ場合の構成図である。図6は影処理を含んだ場合の処理フローである。図7は処理結果の図示例である。
【0048】
図5では、特徴抽出部106によって対象領域から特徴ベクトルが抽出されると、影マスク設定部501にて影領域をマスク処理する。特徴ベクトルをスペクトルデータとした場合、通常影領域における特徴ベクトルは絶対値が小さく、特徴空間703にプロットしたときに原点周辺にプロットされる。そのため、この領域をマスク処理することで、クラスタリング時の誤差やエラーを抑制することができる。影マスク設定部501は手動によって、マスク領域を設定してもよい。または、自動的に影領域の特徴を鑑みて閾値等を設定してもよい。その場合は,特徴量のヒストグラムから多峰性を抽出して,谷部分にあたる値を閾値として設定してもよいし,大津の2値化などの自動閾値決定法を用いてもよい。また、代表特徴抽出部107でデータをクラスタリングする場合に、例えばK-means法(前述)でのクラスタリングでは原点付近に初期値を追加設定することにより、影領域クラスタを自動的に作成してもよい。
【0049】
図6の処理フローに従って、図3に追加した部分の処理手順を説明する。
【0050】
ステップ303で、対象領域の画像から特徴ベクトルを算出し、適当な次元で作成した特徴空間上に算出特徴ベクトルをプロットする。ここで、特徴空間は適当な数次元で構成してもよいし、特徴ベクトルに含まれる全次元を使用してもよい。
【0051】
ステップ601で、影マスク設定部501は特徴空間にプロットした特徴ベクトルから、原点付近の影領域マスク部を設定する。設定した影領域特徴に含まれる特徴ベクトルは削除する。
【0052】
ステップ304で、代表特徴抽出部107は削除した特徴ベクトル以外の特徴ベクトルを使用して、クラスタリング処理を行う。
【0053】
図7は、木によって対象領域に影ができた場合の画像である。地図701から、解析対象をAとして分類を行う。画像702では、地図データと対応したA領域内に、近接する樹木による影が含まれている。影領域も含めて特徴空間703にプロットすると、特徴ベクトルをスペクトルデータとした場合、影領域の特徴ベクトルは原点付近にプロットされる。この影領域のデータも含んでクラスタリングを行うと、影領域にまでクラスタ領域が拡張され、真のA領域の特徴のみを含んでおらず、代表特徴が影領域を含んだ混合クラスタの代表特徴となる。代表特徴ベクトルの値が変化すると、その後の分類処理部108による処理で誤差が大きくなってしまう。そのため、影マスク設定部501にて、特徴空間上で影領域をマスク処理することにより、適切な代表特徴ベクトルを抽出することができる。
【実施例4】
【0054】
次に、図8を参照して、画像と地図の位置ずれがある場合の画像対応部105および特徴抽出部106の拡張を説明する。入力画像802と対応地図データ801を画像対応部105で対応づける時、画像等に付加されている位置情報データのずれや、画像の幾何補正や地形補正が十分でないために、対応づけがずれる場合がある。その場合、地図データ上でA領域として示された領域が、画像上では異なる場合がある。そこで、画像対応部105では、地図データ801でのA領域を画像802に対応づける際、実際の地図801上の大きさよりも大きめにバッファを持たせてA領域として画像802上で指定する。特徴抽出部106では、画像対応部105で指定した画像802のA領域から特徴ベクトルを抽出する。これにより、多少の位置ずれを吸収した処理が可能となる。バッファ領域は、あらかじめユーザーが指定してもよい。また、各領域の大きさを鑑みて、例えば大きさの10%拡大など、自動的に範囲を設定してもよい。バッファを持たせることにより、各領域が重複する場合があるが、重複しないように一度抽出した画素からは特徴量を抽出しないようにしてもよい。
【0055】
抽出領域にバッファを持たせて特徴ベクトルを抽出した場合、抽出した特徴ベクトルには複数の対象物が含まれる。そのため、代表特徴抽出部107でのクラスタリング処理では、初期クラスタの数を多めに設定してもよい。また、複数クラスタが生成されるような処理を使用してもよい。
【実施例5】
【0056】
次に、図9を参照して、対象領域内に複数の特性を有する領域が含まれる場合を説明する。地図データ901で示されるA領域を家屋とする。この例では、画像902で示されるA領域は、家屋の屋根構造が三角形になっており、上空から撮影した場合に太陽方向と影方向の2面ができる。そのため、同じ家屋領域の中に2つの特徴が含まれることになる。ここで、対象領域を表現する特徴の数は2つに限らない。
【0057】
代表特徴抽出部107でクラスタリング処理を行うと、少なくとも2つのクラスタが生成される。この場合は代表特徴として、1つではなく2つの特徴ベクトルを抽出する。代表特徴ベクトルとして抽出するベクトルの数は、クラスタのサイズによって決定する。また、あらかじめ、A領域におけるクラスタの数を手動によって設定してもよい。分類処理部108では、抽出した2つの代表特徴に類似した領域を抽出する。結果調整部109で、抽出した全ての領域をA領域として抽出する。これにより、1つの対象領域に複数の特性を有する領域が含まれる場合も、対象領域を分類し抽出することができる。
【実施例6】
【0058】
次に、図10を参照して、複数の画像データを使用する場合の分類画像作成装置を説明する。
【0059】
図10は、図1の分類画像作成装置に、特徴合成部1001と特徴スケーリング部1002を追加した機能構成図である。以下では、複数の画像として時系列画像を使用する場合について説明する。
【0060】
データ入力部104は、同一場所の時系列画像と地図データの入力を受け、データ蓄積部102に格納する。入力する時系列画像は、同センサのデータには限らず、スペクトル画像および合成開口レーダー画像など異種センサのデータでもよい。
【0061】
画像対応部105は、複数の画像同士について位置合わせを行い、また地図データとも位置合わせを行う。位置合わせは、画像と地図データに付属する位置情報(緯度経度など)を利用して自動的に行ってもよい。また、手動により各画像の対応点を抽出し、位置合わせを行ってもよい。
【0062】
地図データから解析対象となる属性の領域を抽出し、全ての画像において対応する領域を抽出する。
【0063】
特徴抽出部106は、画像対応部105で抽出した対応領域から、入力された画像全てについて特徴ベクトルを抽出する。
【0064】
特徴スケーリング部1001は、特徴抽出部106から抽出した特徴ベクトルを、同じ位置から抽出した特徴ベクトルのスケールを合わせるためにスケーリング処理を行う。スケーリング処理は、上限、下限値をあらかじめ定めておき、1つの特徴ベクトルの上限と下限値をあらかじめ定めた値になるように線形変換を施すことで得られる。なお、スケーリング処理はこれに限らない。特徴スケーリング部における処理は、場合によっては行わなくてもよい。
【0065】
図18を参照して,特徴合成部1002を説明する。図18中の画像1,画像2の地理的に同じ(緯度,経度が同じ)位置から特徴量を抽出し,特徴スケーリング部1001でスケーリングを施した特徴ベクトルF1,F2を得る。特徴ベクトルF1,F2は,f1からfdの要素からなる。ここで,特徴ベクトルF1,F2は長さdの特徴ベクトルである。特徴ベクトルF1,F2の長さは異なっていても構わない。この特徴ベクトルF1,F2をつなぎ合わせて合成ベクトルを作成する。合成ベクトルは,特徴ベクトルF1の後ろに特徴ベクトルF2を挿入したもので,ベクトルの長さは2dになる。
【0066】
また、合成ベクトルを作成するにはスケーリングした特徴ベクトルをそのまま合成してもよいし、各特徴ベクトルから主要な特徴次元のみを抽出して合成してもよいし、各画像の特性を特徴量として抽出してもよい。例えば、水稲領域を抽出する場合、稲を植える前の水田の状態から、稲穂が実る時期までの時系列画像を利用してもよい。水稲の特徴は、時系列に水から植生へと変化するので、この特徴を抽出する。
【0067】
代表特徴抽出部107は、特徴合成部1002から抽出した特徴ベクトルをクラスタリングし、クラスタの代表ベクトル代表特徴ベクトルとして抽出する。
【0068】
分類処理部108は、全画像から特徴合成部1002で抽出した特徴ベクトルと同様の特徴を抽出し、代表特徴抽出部107で算出した特徴ベクトルに類似した領域を抽出する。
【実施例7】
【0069】
次に、図12を参照して、画像表示部110の利用例を説明する。ディスプレイ1201には、入力した地図データと、画像データが並べて表示され、画像データ上には、結果調整部109で作成された抽出領域輪郭線が描画されている。地図データと抽出領域輪郭線が異なる場合は、異なる線分について色を変えて表示することで視認し易くしてもよい。また、抽出領域輪郭線と画像を比較し、輪郭線が画像と異なる場合には、ユーザーがマウス207でもっともらしい線を入力することで、輪郭線を修正してもよい。マウス等で正しい輪郭線をなぞってもよいし、ユーザーが始点と終点を指定することで、自動的に直線または曲線を描画してもよい。さらに、ユーザーが修正したい輪郭線の一点を指定することで、画像処理によって自動的に別の輪郭線を描画してもよい。また、明らかに解析対象領域ではない領域を画像から抽出している場合には、ユーザーが指定し、削除してもよい。ユーザーは削除したい領域の一点をマウス等で選択してもよいし、ID番号等をキーボードにより選択して、削除してもよい。このように画像表示部110では、分類処理部108で誤って分類した場合でも修正することができるようにしてもよい。修正したデータは、更新した地図データとして、データ蓄積部102に格納する。
【実施例8】
【0070】
図13は、本発明の一実施形態におけるクラスタリングのクラスタ数を変更する例である。ディスプレイ1301には、分類処理結果画像1302が表示され、また特徴空間1303が表示される。特徴空間1303は、特徴ベクトルの適当な次元を軸に設定し、特徴ベクトルとクラスタリング結果が図示されている。特徴空間1303で示したクラスタを使った分類結果が分類処理結果画像1302である。分類処理結果画像1302を鑑みて、クラスタの設定を変更したい場合、特徴空間1303にて、クラスタに含まれる特徴ベクトルを除去することができる。特徴空間1303で除去したい特徴ベクトルをマウス207でクリックするとなどして選択すると、選択された特徴ベクトルと対応する画像1302上の画素が強調表示される。ユーザーは、その表示結果を参照しながら、クラスタの設定を変更していくことができる。変更が終了すれば、再設定したクラスタ情報から代表特徴抽出部107が代表特徴を抽出し、分類処理部108で再度分類処理を行う。再度分類処理を行った結果がディスプレイ1304に表示されている。分類処理画像1305は、再度処理を行った結果である。また、再設定したクラスタは特徴空間1306に表示される。
【実施例9】
【0071】
図14は、本発明の一実施形態におけるクラスタリングのクラスタ数を設定する例である。ディスプレイ1401は、クラスタ数設定画面1403において、クラスタ数を1と設定した場合のクラスタリング結果を、特徴空間1402に示している。またディスプレイ1404は、クラスタ数設定画面1406において、クラスタ数を2と設定した場合のクラスタリング結果を、特徴空間1405に示している。クラスタの数により、作成されるクラスタ分布を視認できる。また、ここでは特徴空間1402、1405を2次元で表現しているが、この限りではない。特徴次元の数が多くなると、ディスプレイ1401、1404上では表現できないため、軸として使用する次元を変更しながら特徴空間を表示してもよい。また、使用する次元は、設定した時間毎に逐次ランダムに選択してもよい。
【0072】
図15は、本発明の一実施形態におけるクラスタリングのクラスタ数を変更した分類処理画像を表示する例である。ディスプレイ1501は、代表特徴抽出部107で特徴量をクラスタリングし、分類処理した結果である。クラスタの数を、例えば1から4まで変更した場合の代表特徴を教師データとし、分類処理部108で分類処理をすると、ディスプレイ1501で示すような異なる分類結果が得られる。クラスタ数の設定は、あらかじめ上限と下限を決めておいてもよい。ユーザーが分類結果と入力画像を比較し、最も適切なクラスタ数を選択し、最終的な分類結果を得る。分類結果は、入力画像に重ねて表示してもよい。
【実施例10】
【0073】
図16は、本発明の一実施形態におけるクラスタリング対象領域を画像全体ではなく、画像の一部とした例である。ディスプレイ1601では、画像の一部を切り出した部分画像1602が表示されている。部分画像は、ユーザーがマウス等によりディスプレイ上で設定してもよいし、あらかじめ部分画像サイズや座標を入力し、自動的に部分画像を決定してもよい。この部分画像1602から、対象とする領域の特徴量を抽出し、特徴量空間にマッピングした結果を1603に示している。この特徴量空間表示1603で、クラスタリングの結果を確認し、分類処理に使用する代表特徴を決定する。ユーザーがクラスタの分布やクラスタの数等を変更してもよい。部分画像1602において決定した代表特徴を使用して,分類処理部109により画像全体を分類する。画像全体の全画素を順に分類してもよいし,画像全体をいくつかの領域に分割し,分割領域に対して順に,または並列に分類処理を行ってもよい。画像全体に対して分類処理を行った結果をディスプレイ1604に表示している。このように、画像全体ではなく一部の領域から抽出した特徴量を用いて、画像全体を分類処理することができる。
【0074】
以上で本実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。
【0075】
実施例では、衛星画像等の空中写真を用いたが、地上で測定するカメラ、センサ等の画像でもよい。地図データは、地図に限らず、何らかの位置情報(緯度経度や座標など)を含むデータであってもよい。
【0076】
その他、ハードウェア、プログラム等の具体的な構成について、本発明の主旨を逸脱しない範囲で適宜変更が可能である。
【符号の説明】
【0077】
101…分類図作成装置、102…データ蓄積部、103…演算結果蓄積部、104…データ入力部、105…画像対応部、106…特徴抽出部、107…代表特徴抽出部、108…分類処理部、109…結果調整部、110…画像表示部、201…ディスプレイ、202…プリンタ、203…演算部、204…メモリ、205…HDD、206…キーボード、207…マウス、401…地図、402…画像、403…特徴空間、404…処理結果画像、501…影マスク設定部、701…地図、702…画像、703…特徴空間、801…地図、802…画像、901…地図、902…画像、903…特徴空間、1001…特徴スケーリング部、1002…特徴合成部、1101…属性データ、1201…ディスプレイ、1301…ディスプレイ、1302…画像、1303…グラフ、1304…ディスプレイ、1305…画像、1306…グラフ、1401…ディスプレイ、1402…グラフ、1403…データ表示、1404…ディスプレイ、1405…グラフ、1406…データ表示、1501…ディスプレイ、1601…ディスプレイ、1602…画像、1603…グラフ、1604…ディスプレイ、1605…画像、1606…グラフ。
【技術分野】
【0001】
本発明は、分類画像を作成する技術に関する。
【背景技術】
【0002】
地図やGIS(Geographical Information System)が整備されつつあるが、地図整備および更新には多大な労力を必要とするため、現実を反映した地図が利用できることは少ない。そのため、衛星画像等から地図を作成する試みが行われてきている。衛星画像等から地図を作成する場合、道路等の境界が明瞭な対象は画像抽出が比較的容易であるが、例えば樹木の樹種マップ、水田マップを作成する場合は、スペクトル情報を利用した分類手法等によって領域を特定し、地図化する必要がある。そのため、下記非特許文献にあるように、衛星画像から分類図を作成または対象領域を抽出することが行われている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Tropical forest type mapping and monitoring using remote sensing, International journal of remote sensing, Vol. 12, No.11, pp.2205-2225, 1991
【発明の概要】
【発明が解決しようとする課題】
【0004】
分類図を作成するにあたり、教師データを与えて、画像中から似た領域を抽出する手法がよく用いられる。教師データの与え方として、画像中から事前に対象領域が分かっている場所を抽出して教師データとする、別の方法で計測しておいたデータを教師データとする、といった方法がある。しかし、画像中から事前に対象領域が分かっている場所を抽出して教師データとする場合、あらかじめ画像中から対象領域を手動で抽出する必要があり、また画像に対する事前知識が必要となる。別の方法で計測しておいたデータを教師データとする場合、例えば光源,背景,大気の影響といった計測環境が教師データ取得時と画像取得時とで異なることがある。そのため,環境変化によるデータの変化が無視できないことが多い。また画像の1画素中に複数の対象物が含まれる場合があり、教師データと画像データが1対1で対応しないことがあった。
【0005】
そこで、本発明は、前記問題に鑑みてなされたものであり、対象とする領域を事前の知識無しに精度よく、かつ簡便に抽出することを課題とする。
【課題を解決するための手段】
【0006】
本発明は、画像を記憶する記憶部と、演算部とを備える分類図作成装置であって、演算部は、画像と地図データを重ね合わせ、地図データに基づいて対象領域を画像上で特定し、対象領域から特徴量を抽出する。さらに、特徴量を特徴量空間でクラスタリングし、代表特徴を求め、求めた代表特徴で画像全体を分類する。算出した分類結果を記憶部に格納する。その他の手段については後記する。
【発明の効果】
【0007】
本発明によれば、事前の知識なしに分類画像を作成することができる。また、画像の撮像状況に変動があっても、撮像状況に応じた教師データを作成し、分類することができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態の分類図作成装置の機能構成図である。
【図2】本実施形態の分類図作成装置の物理構成図である。
【図3】本実施形態における処理フローを示す図である。
【図4】本実施形態における、地図データをもとに画像を分類し、地図を更新する例の図である。
【図5】本実施形態における、影マスク処理を追加した分類図作成装置の機能構成図である。
【図6】本実施形態における、影マスク処理を追加した処理フロー図である。
【図7】本実施形態における、対象領域に影が含まれる場合の処理結果の例の図である。
【図8】本実施形態における、特徴抽出領域にバッファを持たせる場合の説明図である。
【図9】本実施形態において、対象領域に複数の特性を有する領域が含まれる場合の説明図である。
【図10】本実施形態における、複数の画像データを使用する特徴合成部および特徴スケーリング部を追加した分類画像作成装置の機能構成図である。
【図11】本実施形態における、地図データの属性情報図である。本実施形態において、地図データの属性格納を示した図である。
【図12】本実施形態における、画像表示部の利用例を示した図である。
【図13】本実施形態における、クラスタリングのクラスタ数を変更する例を示した図である。
【図14】本実施形態における、クラスタリングのクラスタ数を設定する例を示した図である。
【図15】本実施形態における、クラスタリングのクラスタ数を変更した分類処理画像の表示例を示した図である。
【図16】本実施形態における、部分画像から代表特徴を決定し、画像全体に展開して分類処理を行う例を示した図である。
【図17】本実施形態におけるシーケンス図を示した図である。
【図18】本実施形態における、特徴合成部での合成ベクトル作成を説明する図である。
【発明を実施するための形態】
【実施例1】
【0009】
以下、本発明を実施するための最良の形態(以下、「実施形態」という。)について、図面を参照(言及図以外の図面も適宜参照)しながら詳細に説明する。なお、本実施形態において、各蓄積部はハードディスクや計算機上のメモリによって実現される。その代案として、ネットワーク上のハードディスクを用いてもよい。また、各処理部は、コンピュータにおいてプログラムを読み込むことで実行される。その代案として、ハードウェアとソフトウェアの協調によってなされるものであってもよい。
【0010】
図1、図2、図11を参照して、本実施形態の分類図作成装置の構成について説明する。図1は、本実施形態の分類図作成装置101の機能構成図である。図2は、本実施形態の分類図作成装置101の物理構成図である。図11は地図データの属性情報図である。
【0011】
図1に示すように、分類図作成装置101は、処理部としてのデータ入力部104、画像対応部105、特徴抽出部106、代表特徴抽出部107、分類処理部108、結果調整部109と、記憶部(蓄積部)としてのデータ蓄積部112、演算結果蓄積部103とを備えて構成される。また、画像表示部110を備える。
【0012】
データ蓄積部102は、対象とする画像と地図データを蓄積(記憶)する。対象画像は、多バンドセンサで撮影された画像であり、また位置情報が付属されている。対象画像は衛星画像に限らず、航空画像、ヘリコプター画像、無人偵察機画像などでもよい。また、画像は単一ではなく、複数の時系列画像でもよい。地図データは、電子化されているデータで、属性情報および位置情報を有する。属性情報および位置情報は図11に示すように、ラベル、属性、位置情報などが格納されている。位置情報は、例えばベクターデータとして保存されている。また、位置情報は画像に対応する座標でもよいし、所望の地図投影で表現される緯度経度情報等であってもよい。地図データは地図だけでなく、ユーザーが描画した画像や文書情報から知識処理によって収集した位置情報であってもよい。また、ここでは、データ蓄積部を分類画像作成装置の内部に保有する構成を示したが、分類画像作成装置の外部に置き、ネットワーク等を通じて記憶情報を送受信するようにしても良い。
【0013】
データ入力部104は、ユーザーが指定する解析対象とする画像を入力し、また同地域の地図データを入力し、データ蓄積部102に格納する。さらに、ユーザーが指定する解析対象物の名称またはID等の情報をデータ蓄積部102に格納する。解析対象物は一つでもよいし、複数指定してもよい。
【0014】
画像対応部105は、データ入力部104で入力した画像と地図データの位置を対応づける。画像および地図データに付属されている位置情報を利用して、自動的に位置合わせを行う(下記非特許文献2)。また、手動により画像と地図データから対応点を抽出して位置合わせを行ってもよい。抽出した対応点情報は、演算結果蓄積部103に格納する。
【0015】
対応づけた画像において、データ入力部104で入力された解析対象物を地図データの属性情報から抽出し、対応する属性の領域を、画像上で配置する。地図データで、解析対象物が点や線で表現されている場合、領域として抽出できないため、点や線にバッファを与えて領域として抽出する。
【0016】
特徴抽出部106は、画像対応部105で画像上に配置された対応する解析対象物の領域から、特徴量を抽出する。特徴量は、スペクトル画像から得られる1画素毎のスペクトルデータである。また、ある領域内の平均値でもよいし、フィルタ処理等を行って算出した値でもよい。また、合成開口レーダー画像を使用する場合は、強度画像から得られる強度値でもよいし、偏波データや、散乱係数でもよい。
【0017】
得られた特徴量は、特徴ベクトルとして表現し、この特徴ベクトルは複数の次元を持っている。また、1次元のデータ(ひとつの値)であってもよい。抽出した特徴ベクトルは、演算結果蓄積部103に格納する。
【0018】
代表特徴抽出部107は、特徴抽出部106で抽出した特徴ベクトルを特徴空間上にプロットし、特徴ベクトルに対してクラスタリングを行う。クラスタリングはK-Means法(『画像解析ハンドブック、高木幹雄、下田陽久監修、東京大学出版会』参照)などを利用して、教師なし分類を行う。クラスタリング手法はこれに限らない。また、クラスタリング処理ではなく、特徴ベクトルのうち、適当な次元を選択して特徴空間を表示し、ユーザーの入力でクラスタを作成してもよい。また、閾値処理でもよい。閾値はユーザーが設定してもよいし、自動閾値決定法(下記非特許文献3参照)などで自動に求めてもよい。
【0019】
クラスタリングを行った結果、最も大きなクラスタの代表点を代表特徴として抽出し、演算結果蓄積部103に格納する。代表点はクラスタの中心特徴である。クラスタリングに使用したデータの分布がまとまっている場合は,中心特徴がクラスタをよく表すことができる。また、データ数が少ない,または分布の形状が偏っている場合は最頻値特徴を使用してもよい。代表特徴だけでなく、後記分類処理で必要であれば、クラスタの分布情報も合わせて格納してもよい。また、最も大きなクラスタだけでなく、他クラスタの情報をも格納し、後記分類処理に使用してもよい。また、代表特徴ではなく閾値を格納してもよい。また、クラスタとして対象物体だけでなく対象物体以外のクラスタも抽出し、複数のクラスタおよび代表特徴から計算される距離を使用して、分類処理を行ってもよい。
【0020】
分類処理部108では、代表特徴抽出部107で抽出した代表特徴を用いて、入力画像全体に対して分類処理を行う。分類処理方法は、たとえば最尤法(下記非特許文献4参照)などを利用して、代表特徴への類似度を算出する。また、前記代表特徴抽出部107で格納したクラスタの分布情報を利用して、分類処理を行い、対象物体への類似度を求めてもよい。また、前記代表特徴抽出部107で格納した閾値を用い、閾値より高い、または低い部分を対象領域に分類された領域として抽出してもよい。
【0021】
結果調整部109では、分類処理部108で得られた分類結果から、解析対象の代表特徴に類似している領域のみ抽出する。分類処理は、画素レベルでの処理を行っているため、抽出された領域の輪郭が滑らかではないなどの場合がある。その場合は、輪郭に対して直線や矩形等のモデルを当てはめ、輪郭線を滑らかにするなど整形してもよい。また、あらかじめ抽出領域の最小面積を設定しておき、領域の面積がそれ以下の場合は削除するなどの処理を行ってもよい。また、フィルタ処理などを施し、抽出領域を整えてもよい。抽出した領域の輪郭を処理し、滑らかにした後、輪郭線をベクター化して保存する。また、ラスターデータのまま保存してもよい。
【0022】
画像表示部110は、結果調整部109で作成した分類領域を表示する。また、データ蓄積部102から読み出した原画像を並べて表示し、分類領域を視認し易くしてもよい。さらに、画像の拡大、縮小などを並べた画像同士で連動させ、視認し易くしてもよい。
【0023】
データ蓄積部102から読み出した地図データと、抽出した輪郭線が異なる場合は、色を変えて描画するなど強調表示してもよい。
【0024】
また、画像蓄積部102に蓄積された分類領域は、対応する入力画像上にマッピングする。また、抽出した分類領域のみ画像化してもよい。また、抽出した輪郭線をデータ蓄積部102から呼び出した地図データ上に描画してもよい。
【0025】
次に、分類図作成装置101の物理構成について説明する。図2に示すように、分類図作成装置101は、ディスプレイ201、プリンタ202、演算部203、メモリ204、HDD(Hard Disk Drive)205、キーボード206およびマウス207を備えて構成され、それらがバス208によって接続されている。
ディスプレイ201は、入力された画像等のデータを表示する。
【0026】
プリンタ202は、入力されたデータを印刷機等へ出力する。
【0027】
演算部203は、各種の処理エンジン2031を有し、処理命令が入力されると対応するエンジンソフトをメモリ204から読み出し、また、必要があればHDD205から蓄積されているデータを読み出して所定の演算を行う。また、計算結果をメモリ204に出力する。
【0028】
メモリ204は、処理エンジン管理部2041、演算情報管理部2042および設定条件管理部2043を有する。処理エンジン管理部2041は、演算部203での計算に使用する各エンジンのソフトを管理する。演算情報管理部2042は、演算部203で計算された計算結果を管理する。設定条件管理部2043は、キーボード206やマウス207から入力された条件を保存し、管理する。
【0029】
HDD205は、データ蓄積部102、演算結果蓄積部103を有し、それぞれが該当データを格納している。各データはID番号1305のようにIDで管理されており、効率的にデータにアクセスすることができる。HDD205に対してデータの読み出し命令が入力されると、対象データがアクセスされ読み出される。なお、HDD205はネットワーク上に設置されていてもよい。分類図作成装置101はネットワークインターフェイスを備え、HDD205など各構成はネットワーク上に設置されてもよい。
【0030】
キーボード206及びマウス207は、各種設定条件を入力するユーザーによる操作のための手段である。
【0031】
図3は、本実施形態における処理フローを示す図である。
【0032】
ステップ301で、データ入力部104は処理対象の画像および地図データの入力を受け、データ蓄積部102にデータを蓄積する。
【0033】
ステップ302で、画像対応部105は入力データの画像と地図データの位置を対応付けし、地図データから解析対象物の領域を抽出して対応する画像領域を抽出する。
【0034】
ステップ303で、特徴抽出部106は、画像対応部105で抽出した画像上の解析対象物領域から特徴ベクトルを抽出する。
【0035】
ステップ304で、代表特徴抽出部107は、特徴抽出部106で抽出した特徴ベクトルに対し、クラスタリング処理を行い、代表特徴ベクトルを抽出する。
【0036】
ステップ305で、分類処理部108は、代表特徴抽出部106で抽出した代表特徴を使って、入力画像全体に分類処理を行う。
【0037】
ステップ306で、結果調整部109で算出した分類処理結果を画像表示部110がディスプレイ201に表示する。
【0038】
図17は、本実施形態における処理シーケンスを示す図である。ユーザー1701が処理の開始を指示し、表示画面1702上で処理対象を選択すると、演算部1703に処理対象の設定情報が通知される。演算部1703では対象となる地図と画像をデータ蓄積部1704に指定し、データ蓄積部1704から必要となるデータを読みだす。
【0039】
次に演算部1703では、読み出した画像と地図から特徴データを生成する。生成した特徴データを表示画面1702上に表示する。ここで、表示画面にはユーザー1701に対して修正の有無を尋ねる表示を行ってもよい。また、ユーザーは表示された特徴データを見ながら、クラスタの設定等を修正してもよいし、新たに設定しもよい。ユーザーからの修正があった場合は、演算部1703で修正指示を受け付ける。
【0040】
演算部1703では、生成した特徴データをもとに、教師データを生成する。生成した教師データを使用して、データ蓄積部1704から読み出してあった画像の分類処理を行う。処理した分類結果を表示画面1702上に表示する。また、処理結果はデータ蓄積部1704に保存する。
【0041】
【非特許文献2】Remote Sensing Digital Image Analysis, Springer, J. A. Richards and X. Jia, pp.56-58, 2006
【非特許文献3】Remote Sensing Digital Image Analysis, Springer, J. A. Richards and X. Jia, pp. 197-199, 2006
【非特許文献4】Introduction to remote sensing, Taylor & Francis, J. B. Campbell, pp. 342-343, 2002
【実施例2】
【0042】
次に、図4を参照して、分類図作成装置の利用例として、地図と画像を利用した分類および地図更新の例について説明する。
【0043】
図4は、地図データをもとに画像を分類し、地図を更新する例である。地図データ401には、地図情報として、対象物体A、B、Cが含まれる。例えば対象物体は家屋や畑等である。画像データ402は、地図データ401と同じ位置の画像であり、スペクトル情報を含むスペクトル画像等である。ここで、解析対象物体をAと設定した場合として、以下に説明する。
【0044】
画像対応部105では、地図401から、対象物体Aの領域を抽出し、対応する画像402上での領域を抽出する。画像402では、指定したA対象物体の領域に、Aではない他の対象物体が含まれている。抽出した対象領域から特徴抽出部106によって、1画素毎に特徴ベクトルを抽出する。抽出した特徴ベクトルを特徴空間403にマッピングする。例えば、特徴ベクトルのうち2次元を選択して、横軸、縦軸に設定すると、特徴空間403のようになる。地図401ではA領域となっている領域が、画像402上でもA領域である部分が大半であるため、特徴空間上でクラスタリングを行うと、大きなクラスタができる。画像402のA領域には、Aではない他の物体が含まれるため、特徴空間403では、クラスタから離れたプロットがあり、これを除去することができる。例えば,クラスタの分布を正規分布と仮定し,クラスタの領域を3σ以内とすると,この領域に含まれないプロットは対象外として除去できる。また,あらかじめクラスタ数を複数と設定してクラスタリングを行い,最も大きいクラスタを対象クラスタ,それ以外のクラスタを対象外クラスタと判定することにより,対象外クラスタに所属するプロットを除去できる。これにより、代表特徴抽出部107は、実際のデータに即したA領域のみのクラスタの代表特徴を抽出することができる。抽出した代表特徴を用いて、画像402全体を分類して代表特徴に近い画素のみ抽出すると、画像404のように実際のA領域のみが抽出できる。このA領域の輪郭線を抽出してベクターデータとし、地図401と比較して変化がある部分については地図401を更新する。これにより、事前の知識なしに自動的にA領域のみ抽出でき、さらに地図401も更新することができる。
【0045】
本実施例の構成では、地図データが現実の状態と異なっていても、最新の画像から作成した分類結果により、地図データを更新することができる。
【実施例3】
【0046】
次に、図5、図6、図7を参照して、分類画像作成装置の応用例として、影領域を含んだ場合の処理について説明する。
【0047】
図5は、図1の分類画像作成装置に影マスク設定部501と含んだ場合の構成図である。図6は影処理を含んだ場合の処理フローである。図7は処理結果の図示例である。
【0048】
図5では、特徴抽出部106によって対象領域から特徴ベクトルが抽出されると、影マスク設定部501にて影領域をマスク処理する。特徴ベクトルをスペクトルデータとした場合、通常影領域における特徴ベクトルは絶対値が小さく、特徴空間703にプロットしたときに原点周辺にプロットされる。そのため、この領域をマスク処理することで、クラスタリング時の誤差やエラーを抑制することができる。影マスク設定部501は手動によって、マスク領域を設定してもよい。または、自動的に影領域の特徴を鑑みて閾値等を設定してもよい。その場合は,特徴量のヒストグラムから多峰性を抽出して,谷部分にあたる値を閾値として設定してもよいし,大津の2値化などの自動閾値決定法を用いてもよい。また、代表特徴抽出部107でデータをクラスタリングする場合に、例えばK-means法(前述)でのクラスタリングでは原点付近に初期値を追加設定することにより、影領域クラスタを自動的に作成してもよい。
【0049】
図6の処理フローに従って、図3に追加した部分の処理手順を説明する。
【0050】
ステップ303で、対象領域の画像から特徴ベクトルを算出し、適当な次元で作成した特徴空間上に算出特徴ベクトルをプロットする。ここで、特徴空間は適当な数次元で構成してもよいし、特徴ベクトルに含まれる全次元を使用してもよい。
【0051】
ステップ601で、影マスク設定部501は特徴空間にプロットした特徴ベクトルから、原点付近の影領域マスク部を設定する。設定した影領域特徴に含まれる特徴ベクトルは削除する。
【0052】
ステップ304で、代表特徴抽出部107は削除した特徴ベクトル以外の特徴ベクトルを使用して、クラスタリング処理を行う。
【0053】
図7は、木によって対象領域に影ができた場合の画像である。地図701から、解析対象をAとして分類を行う。画像702では、地図データと対応したA領域内に、近接する樹木による影が含まれている。影領域も含めて特徴空間703にプロットすると、特徴ベクトルをスペクトルデータとした場合、影領域の特徴ベクトルは原点付近にプロットされる。この影領域のデータも含んでクラスタリングを行うと、影領域にまでクラスタ領域が拡張され、真のA領域の特徴のみを含んでおらず、代表特徴が影領域を含んだ混合クラスタの代表特徴となる。代表特徴ベクトルの値が変化すると、その後の分類処理部108による処理で誤差が大きくなってしまう。そのため、影マスク設定部501にて、特徴空間上で影領域をマスク処理することにより、適切な代表特徴ベクトルを抽出することができる。
【実施例4】
【0054】
次に、図8を参照して、画像と地図の位置ずれがある場合の画像対応部105および特徴抽出部106の拡張を説明する。入力画像802と対応地図データ801を画像対応部105で対応づける時、画像等に付加されている位置情報データのずれや、画像の幾何補正や地形補正が十分でないために、対応づけがずれる場合がある。その場合、地図データ上でA領域として示された領域が、画像上では異なる場合がある。そこで、画像対応部105では、地図データ801でのA領域を画像802に対応づける際、実際の地図801上の大きさよりも大きめにバッファを持たせてA領域として画像802上で指定する。特徴抽出部106では、画像対応部105で指定した画像802のA領域から特徴ベクトルを抽出する。これにより、多少の位置ずれを吸収した処理が可能となる。バッファ領域は、あらかじめユーザーが指定してもよい。また、各領域の大きさを鑑みて、例えば大きさの10%拡大など、自動的に範囲を設定してもよい。バッファを持たせることにより、各領域が重複する場合があるが、重複しないように一度抽出した画素からは特徴量を抽出しないようにしてもよい。
【0055】
抽出領域にバッファを持たせて特徴ベクトルを抽出した場合、抽出した特徴ベクトルには複数の対象物が含まれる。そのため、代表特徴抽出部107でのクラスタリング処理では、初期クラスタの数を多めに設定してもよい。また、複数クラスタが生成されるような処理を使用してもよい。
【実施例5】
【0056】
次に、図9を参照して、対象領域内に複数の特性を有する領域が含まれる場合を説明する。地図データ901で示されるA領域を家屋とする。この例では、画像902で示されるA領域は、家屋の屋根構造が三角形になっており、上空から撮影した場合に太陽方向と影方向の2面ができる。そのため、同じ家屋領域の中に2つの特徴が含まれることになる。ここで、対象領域を表現する特徴の数は2つに限らない。
【0057】
代表特徴抽出部107でクラスタリング処理を行うと、少なくとも2つのクラスタが生成される。この場合は代表特徴として、1つではなく2つの特徴ベクトルを抽出する。代表特徴ベクトルとして抽出するベクトルの数は、クラスタのサイズによって決定する。また、あらかじめ、A領域におけるクラスタの数を手動によって設定してもよい。分類処理部108では、抽出した2つの代表特徴に類似した領域を抽出する。結果調整部109で、抽出した全ての領域をA領域として抽出する。これにより、1つの対象領域に複数の特性を有する領域が含まれる場合も、対象領域を分類し抽出することができる。
【実施例6】
【0058】
次に、図10を参照して、複数の画像データを使用する場合の分類画像作成装置を説明する。
【0059】
図10は、図1の分類画像作成装置に、特徴合成部1001と特徴スケーリング部1002を追加した機能構成図である。以下では、複数の画像として時系列画像を使用する場合について説明する。
【0060】
データ入力部104は、同一場所の時系列画像と地図データの入力を受け、データ蓄積部102に格納する。入力する時系列画像は、同センサのデータには限らず、スペクトル画像および合成開口レーダー画像など異種センサのデータでもよい。
【0061】
画像対応部105は、複数の画像同士について位置合わせを行い、また地図データとも位置合わせを行う。位置合わせは、画像と地図データに付属する位置情報(緯度経度など)を利用して自動的に行ってもよい。また、手動により各画像の対応点を抽出し、位置合わせを行ってもよい。
【0062】
地図データから解析対象となる属性の領域を抽出し、全ての画像において対応する領域を抽出する。
【0063】
特徴抽出部106は、画像対応部105で抽出した対応領域から、入力された画像全てについて特徴ベクトルを抽出する。
【0064】
特徴スケーリング部1001は、特徴抽出部106から抽出した特徴ベクトルを、同じ位置から抽出した特徴ベクトルのスケールを合わせるためにスケーリング処理を行う。スケーリング処理は、上限、下限値をあらかじめ定めておき、1つの特徴ベクトルの上限と下限値をあらかじめ定めた値になるように線形変換を施すことで得られる。なお、スケーリング処理はこれに限らない。特徴スケーリング部における処理は、場合によっては行わなくてもよい。
【0065】
図18を参照して,特徴合成部1002を説明する。図18中の画像1,画像2の地理的に同じ(緯度,経度が同じ)位置から特徴量を抽出し,特徴スケーリング部1001でスケーリングを施した特徴ベクトルF1,F2を得る。特徴ベクトルF1,F2は,f1からfdの要素からなる。ここで,特徴ベクトルF1,F2は長さdの特徴ベクトルである。特徴ベクトルF1,F2の長さは異なっていても構わない。この特徴ベクトルF1,F2をつなぎ合わせて合成ベクトルを作成する。合成ベクトルは,特徴ベクトルF1の後ろに特徴ベクトルF2を挿入したもので,ベクトルの長さは2dになる。
【0066】
また、合成ベクトルを作成するにはスケーリングした特徴ベクトルをそのまま合成してもよいし、各特徴ベクトルから主要な特徴次元のみを抽出して合成してもよいし、各画像の特性を特徴量として抽出してもよい。例えば、水稲領域を抽出する場合、稲を植える前の水田の状態から、稲穂が実る時期までの時系列画像を利用してもよい。水稲の特徴は、時系列に水から植生へと変化するので、この特徴を抽出する。
【0067】
代表特徴抽出部107は、特徴合成部1002から抽出した特徴ベクトルをクラスタリングし、クラスタの代表ベクトル代表特徴ベクトルとして抽出する。
【0068】
分類処理部108は、全画像から特徴合成部1002で抽出した特徴ベクトルと同様の特徴を抽出し、代表特徴抽出部107で算出した特徴ベクトルに類似した領域を抽出する。
【実施例7】
【0069】
次に、図12を参照して、画像表示部110の利用例を説明する。ディスプレイ1201には、入力した地図データと、画像データが並べて表示され、画像データ上には、結果調整部109で作成された抽出領域輪郭線が描画されている。地図データと抽出領域輪郭線が異なる場合は、異なる線分について色を変えて表示することで視認し易くしてもよい。また、抽出領域輪郭線と画像を比較し、輪郭線が画像と異なる場合には、ユーザーがマウス207でもっともらしい線を入力することで、輪郭線を修正してもよい。マウス等で正しい輪郭線をなぞってもよいし、ユーザーが始点と終点を指定することで、自動的に直線または曲線を描画してもよい。さらに、ユーザーが修正したい輪郭線の一点を指定することで、画像処理によって自動的に別の輪郭線を描画してもよい。また、明らかに解析対象領域ではない領域を画像から抽出している場合には、ユーザーが指定し、削除してもよい。ユーザーは削除したい領域の一点をマウス等で選択してもよいし、ID番号等をキーボードにより選択して、削除してもよい。このように画像表示部110では、分類処理部108で誤って分類した場合でも修正することができるようにしてもよい。修正したデータは、更新した地図データとして、データ蓄積部102に格納する。
【実施例8】
【0070】
図13は、本発明の一実施形態におけるクラスタリングのクラスタ数を変更する例である。ディスプレイ1301には、分類処理結果画像1302が表示され、また特徴空間1303が表示される。特徴空間1303は、特徴ベクトルの適当な次元を軸に設定し、特徴ベクトルとクラスタリング結果が図示されている。特徴空間1303で示したクラスタを使った分類結果が分類処理結果画像1302である。分類処理結果画像1302を鑑みて、クラスタの設定を変更したい場合、特徴空間1303にて、クラスタに含まれる特徴ベクトルを除去することができる。特徴空間1303で除去したい特徴ベクトルをマウス207でクリックするとなどして選択すると、選択された特徴ベクトルと対応する画像1302上の画素が強調表示される。ユーザーは、その表示結果を参照しながら、クラスタの設定を変更していくことができる。変更が終了すれば、再設定したクラスタ情報から代表特徴抽出部107が代表特徴を抽出し、分類処理部108で再度分類処理を行う。再度分類処理を行った結果がディスプレイ1304に表示されている。分類処理画像1305は、再度処理を行った結果である。また、再設定したクラスタは特徴空間1306に表示される。
【実施例9】
【0071】
図14は、本発明の一実施形態におけるクラスタリングのクラスタ数を設定する例である。ディスプレイ1401は、クラスタ数設定画面1403において、クラスタ数を1と設定した場合のクラスタリング結果を、特徴空間1402に示している。またディスプレイ1404は、クラスタ数設定画面1406において、クラスタ数を2と設定した場合のクラスタリング結果を、特徴空間1405に示している。クラスタの数により、作成されるクラスタ分布を視認できる。また、ここでは特徴空間1402、1405を2次元で表現しているが、この限りではない。特徴次元の数が多くなると、ディスプレイ1401、1404上では表現できないため、軸として使用する次元を変更しながら特徴空間を表示してもよい。また、使用する次元は、設定した時間毎に逐次ランダムに選択してもよい。
【0072】
図15は、本発明の一実施形態におけるクラスタリングのクラスタ数を変更した分類処理画像を表示する例である。ディスプレイ1501は、代表特徴抽出部107で特徴量をクラスタリングし、分類処理した結果である。クラスタの数を、例えば1から4まで変更した場合の代表特徴を教師データとし、分類処理部108で分類処理をすると、ディスプレイ1501で示すような異なる分類結果が得られる。クラスタ数の設定は、あらかじめ上限と下限を決めておいてもよい。ユーザーが分類結果と入力画像を比較し、最も適切なクラスタ数を選択し、最終的な分類結果を得る。分類結果は、入力画像に重ねて表示してもよい。
【実施例10】
【0073】
図16は、本発明の一実施形態におけるクラスタリング対象領域を画像全体ではなく、画像の一部とした例である。ディスプレイ1601では、画像の一部を切り出した部分画像1602が表示されている。部分画像は、ユーザーがマウス等によりディスプレイ上で設定してもよいし、あらかじめ部分画像サイズや座標を入力し、自動的に部分画像を決定してもよい。この部分画像1602から、対象とする領域の特徴量を抽出し、特徴量空間にマッピングした結果を1603に示している。この特徴量空間表示1603で、クラスタリングの結果を確認し、分類処理に使用する代表特徴を決定する。ユーザーがクラスタの分布やクラスタの数等を変更してもよい。部分画像1602において決定した代表特徴を使用して,分類処理部109により画像全体を分類する。画像全体の全画素を順に分類してもよいし,画像全体をいくつかの領域に分割し,分割領域に対して順に,または並列に分類処理を行ってもよい。画像全体に対して分類処理を行った結果をディスプレイ1604に表示している。このように、画像全体ではなく一部の領域から抽出した特徴量を用いて、画像全体を分類処理することができる。
【0074】
以上で本実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。
【0075】
実施例では、衛星画像等の空中写真を用いたが、地上で測定するカメラ、センサ等の画像でもよい。地図データは、地図に限らず、何らかの位置情報(緯度経度や座標など)を含むデータであってもよい。
【0076】
その他、ハードウェア、プログラム等の具体的な構成について、本発明の主旨を逸脱しない範囲で適宜変更が可能である。
【符号の説明】
【0077】
101…分類図作成装置、102…データ蓄積部、103…演算結果蓄積部、104…データ入力部、105…画像対応部、106…特徴抽出部、107…代表特徴抽出部、108…分類処理部、109…結果調整部、110…画像表示部、201…ディスプレイ、202…プリンタ、203…演算部、204…メモリ、205…HDD、206…キーボード、207…マウス、401…地図、402…画像、403…特徴空間、404…処理結果画像、501…影マスク設定部、701…地図、702…画像、703…特徴空間、801…地図、802…画像、901…地図、902…画像、903…特徴空間、1001…特徴スケーリング部、1002…特徴合成部、1101…属性データ、1201…ディスプレイ、1301…ディスプレイ、1302…画像、1303…グラフ、1304…ディスプレイ、1305…画像、1306…グラフ、1401…ディスプレイ、1402…グラフ、1403…データ表示、1404…ディスプレイ、1405…グラフ、1406…データ表示、1501…ディスプレイ、1601…ディスプレイ、1602…画像、1603…グラフ、1604…ディスプレイ、1605…画像、1606…グラフ。
【特許請求の範囲】
【請求項1】
解析対象となる画像データを入力する入力手段と、
前記画像データと地図データの位置を対応付ける画像対応部と、
前記画像対応部にて、前記地図データと対応づけられた画像データの特徴量を抽出する手段と、
前記抽出された特徴量を、特徴空間上でクラスタリングし、代表特徴を抽出する手段と、
前記代表特徴を用いて、前記画像データについて分類処理を行う手段と、
前記分類処理を行った結果を、出力する出力手段とを、
有することを特徴とする分類図作成装置。
【請求項2】
更に、前記分類処理によって抽出した領域の輪郭線を整えて、ベクターデータとして抽出する手段を有することを特徴とする請求項1記載の分類図作成装置。
【請求項3】
更に、前記ベクターデータと前記地図データを比較し、前記ベクターデータに基づいて前記地図データを更新する手段を有することを特徴とする請求項2記載の分類図作成装置。
【請求項4】
前記出力手段は、前記抽出したベクターデータを前記画像データに重ね合わせて表示させることを特徴とする請求項2記載の分類図作成装置。
【請求項5】
更に、前記抽出した特徴量に対し、前記画像データ上での影領域に相当する特徴量をマスク処理する手段を有することを特徴とする請求項1記載の分類図作成装置。
【請求項6】
前記特徴量を抽出する手段は、前記地図データの地図属性領域にバッファを持たせ、対応する前記画像データからの特徴抽出領域を拡大して、前記特徴量を抽出することを特徴とする請求項1記載の分類図作成装置。
【請求項7】
前記代表特徴を抽出する手段は、前記クラスタリング処理で、複数の特徴ベクトルを生成することを特徴とする請求項1記載の分類図作成装置。
【請求項8】
前記代表特徴を抽出する手段にて、前記画像データの中の1つの対象領域について、2以上の代表特徴を抽出し、
前記分類処理を行う手段にて、前記抽出した2以上の代表特徴それぞれに類似した領域を抽出することを特徴とする請求項1記載の分類図作成装置。
【請求項9】
前記特徴量を抽出する手段は、異なるセンサで撮影された複数の画像の対応する位置から抽出した特徴量を合成して生成することを特徴とする請求項1記載の分類図作成装置。
【請求項10】
前記特徴量を抽出する手段は、時系列で撮影された複数の画像の対応する位置から抽出した特徴量を合成して生成することを特徴とする請求項1記載の分類図作成装置。
【請求項11】
前記クラスタリングは、設定されたクラスタ数に基づいて行われることを特徴とする請求項1記載の分類図作成装置。
【請求項12】
前記特徴量を抽出する手段は、前記画像データの一部について実行され、
前記分類処理を行う手段は、前記一部の画像データの前記代表特徴に基づいて、前記画像データ全体について分類処理を行うことを特徴とする請求項1記載の分類図作成装置。
【請求項13】
解析対象となる画像データを入力する入力手段と、
前記画像データと地図データの位置を対応付ける画像対応部と、
前記画像対応部にて、前記地図データと対応づけられた画像データの特徴量を抽出する手段と、
前記抽出された特徴量を、特徴空間上で表示させる手段と、
前記特徴空間上で表示した前記特徴量をクラスタリングし、代表特徴を抽出する手段と、
前記代表特徴を用いて、前記画像データについて分類処理を行う手段と、
前記分類処理を行った結果を、前記画像データに重ねて表示するように出力する出力手段とを、
有することを特徴とする分類図作成装置。
【請求項14】
更に、前記特徴空間上で、前記クラスタリングの設定を変更させる手段を有することを特徴とする請求項13記載の分類図作成装置。
【請求項1】
解析対象となる画像データを入力する入力手段と、
前記画像データと地図データの位置を対応付ける画像対応部と、
前記画像対応部にて、前記地図データと対応づけられた画像データの特徴量を抽出する手段と、
前記抽出された特徴量を、特徴空間上でクラスタリングし、代表特徴を抽出する手段と、
前記代表特徴を用いて、前記画像データについて分類処理を行う手段と、
前記分類処理を行った結果を、出力する出力手段とを、
有することを特徴とする分類図作成装置。
【請求項2】
更に、前記分類処理によって抽出した領域の輪郭線を整えて、ベクターデータとして抽出する手段を有することを特徴とする請求項1記載の分類図作成装置。
【請求項3】
更に、前記ベクターデータと前記地図データを比較し、前記ベクターデータに基づいて前記地図データを更新する手段を有することを特徴とする請求項2記載の分類図作成装置。
【請求項4】
前記出力手段は、前記抽出したベクターデータを前記画像データに重ね合わせて表示させることを特徴とする請求項2記載の分類図作成装置。
【請求項5】
更に、前記抽出した特徴量に対し、前記画像データ上での影領域に相当する特徴量をマスク処理する手段を有することを特徴とする請求項1記載の分類図作成装置。
【請求項6】
前記特徴量を抽出する手段は、前記地図データの地図属性領域にバッファを持たせ、対応する前記画像データからの特徴抽出領域を拡大して、前記特徴量を抽出することを特徴とする請求項1記載の分類図作成装置。
【請求項7】
前記代表特徴を抽出する手段は、前記クラスタリング処理で、複数の特徴ベクトルを生成することを特徴とする請求項1記載の分類図作成装置。
【請求項8】
前記代表特徴を抽出する手段にて、前記画像データの中の1つの対象領域について、2以上の代表特徴を抽出し、
前記分類処理を行う手段にて、前記抽出した2以上の代表特徴それぞれに類似した領域を抽出することを特徴とする請求項1記載の分類図作成装置。
【請求項9】
前記特徴量を抽出する手段は、異なるセンサで撮影された複数の画像の対応する位置から抽出した特徴量を合成して生成することを特徴とする請求項1記載の分類図作成装置。
【請求項10】
前記特徴量を抽出する手段は、時系列で撮影された複数の画像の対応する位置から抽出した特徴量を合成して生成することを特徴とする請求項1記載の分類図作成装置。
【請求項11】
前記クラスタリングは、設定されたクラスタ数に基づいて行われることを特徴とする請求項1記載の分類図作成装置。
【請求項12】
前記特徴量を抽出する手段は、前記画像データの一部について実行され、
前記分類処理を行う手段は、前記一部の画像データの前記代表特徴に基づいて、前記画像データ全体について分類処理を行うことを特徴とする請求項1記載の分類図作成装置。
【請求項13】
解析対象となる画像データを入力する入力手段と、
前記画像データと地図データの位置を対応付ける画像対応部と、
前記画像対応部にて、前記地図データと対応づけられた画像データの特徴量を抽出する手段と、
前記抽出された特徴量を、特徴空間上で表示させる手段と、
前記特徴空間上で表示した前記特徴量をクラスタリングし、代表特徴を抽出する手段と、
前記代表特徴を用いて、前記画像データについて分類処理を行う手段と、
前記分類処理を行った結果を、前記画像データに重ねて表示するように出力する出力手段とを、
有することを特徴とする分類図作成装置。
【請求項14】
更に、前記特徴空間上で、前記クラスタリングの設定を変更させる手段を有することを特徴とする請求項13記載の分類図作成装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2011−113233(P2011−113233A)
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願番号】特願2009−268242(P2009−268242)
【出願日】平成21年11月26日(2009.11.26)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願日】平成21年11月26日(2009.11.26)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】
[ Back to top ]