説明

地物情報判読用画像生成方法およびプログラム

【課題】SAR画像等のレーダ画像と光学画像を、地物の判別が容易になるように合成する。
【解決手段】飛翔体に搭載したレーダ装置から得られるレーダ画像データと、レーダ装置により撮影された地域の光学画像データを合成して、地物情報判読用画像を生成する際に、レーダ画像データを白黒パンクロマチック画像特性に近似する。そして、その白黒パンクロマチック画像特性に近似されたレーダ画像データと光学画像データの位置合わせを行い合成する。好適な実施形態として、レーダ画像データを白黒パンクロマチック画像特性に近似する処理において、レーダ画像データのヒストグラム特性に応じてヒストグラム変換処理を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工衛星等の飛翔体に搭載され、撮影対象地域の地表面を広範囲にわたり撮影して地表の状況を取得するレーダ装置により得られるレーダ画像データを利用して地物情報判読用画像を生成する地物情報判読用画像生成方法およびそのプログラムに関する。
【背景技術】
【0002】
従来、地表面に照射した電波(マイクロ波パルス)の反射波を測定する能動型センサとして合成開口レーダ(SAR:Synthetic Aperture Radar)がある。合成開口レーダは、マイクロ波の特性を利用して、昼夜、天候に関係なく、広域を面的に撮影することができる。また、最新の衛星搭載型合成開口レーダには、解像度が1mのものが出てきている。しかし、人工衛星や航空機などのプラットフォームから撮影したレーダ画像(以下、「SAR画像」という)は、複雑な散乱メカニズムやノイズの影響等で地物の判読が難しいという問題があった。
【0003】
一方で、光学画像は、可視域の波長を用いているために、人が肉眼で見るものと同じ情報が得られ、地物を判読しやすい長所を持っている。しかし、好天候時しか撮影できないという問題がある。
【0004】
現在、上記SAR画像と光学画像を組み合わせて、データフュージョンにより地物情報を的確に把握しようとする試みがなされている(例えば、非特許文献1を参照)。
【0005】
【非特許文献1】「合成開口レーダによるリモートセンシングの商用化に関する調査研究(要旨)」,システム技術開発調査研究 17−R−6,財団法人機械システム振興協会(委託先 財団法人資源探査用観測システム研究開発機構),平成18年3月,p.11−12
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、SAR画像は、電磁波の反射強度画像(錯乱強度画像)であり、撮影対象物の誘電率に左右される。また、フォアショートニング、レイオーバーおよびレーダシャドウなどによる画像の歪みがあり、また撮影時期も異なるため、これまで光学衛星で撮影された画像(光学画像)と合成(パンシャープン化)されることは難しかった。
【0007】
SAR画像と光学画像の合成画像の実用が進まない具体的な理由として、次のようなことが考えられる。上記のとおり、SAR画像は、撮影対象物の材料の特性(誘電率等)および撮影対象物の形状に影響されるため、一般に建物部分では反射強度が強いため輝度値が高く(明るく)、またオクル−ジョン(影)領域では輝度値が低い(暗い)という特徴がある。そのため都市部では建物に相当する画素の輝度値がしばしば飽和して、輝度値の高い領域(高輝度域)にヒストグラムのピークが生じてしまう。一方、森林部などでは影が生じやすく、輝度値の低い領域(低輝度域)にヒストグラムのピークが生じる。このときにそのままの輝度値(ヒストグラム特性)でSAR画像と光学画像のパンシャープン画像(合成画像)を作成すると、白画素または黒画素が支配的となり、合成画像において光学画像が見難くなってしまう。つまり合成前に光学画像が持っていた情報が合成画像からは判読しづらくなってしまう。
【0008】
斯かる点に鑑み、この発明の目的は、SAR画像等のレーダ画像と光学画像から、地物の判別が容易な合成画像を生成することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明は、飛翔体に搭載したレーダ装置から得られるレーダ画像データと、レーダ装置により撮影された地域の光学画像データを合成して、地物情報判読用画像を生成する際、レーダ画像データを白黒パンクロマチック画像特性に近似する。そして、その白黒パンクロマチック画像特性に近似されたレーダ画像データと光学画像データの位置合わせを行い合成することを特徴とする。
【0010】
上記構成によれば、レーダ画像データについて錯乱強度の反射特性を人的に馴染みのある白黒パンクロマチックの反射特性に近づけるための変換処理を行い、これと光学画像を重ね合わせるため、より光学衛星で撮影された画像に近い合成画像を得ることができる。
【発明の効果】
【0011】
本発明によれば、SAR画像等のレーダ画像と光学画像との合成画像が見やすく、地物の判別が容易になる。
【発明を実施するための最良の形態】
【0012】
以下、本発明の一実施の形態について、添付図面を参照しながら説明する。
【0013】
以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、説明に用いた各図における寸法、形状および配置関係も概略的なものである。
【0014】
図1は、本発明の一実施の形態に係るシステムの概要を示すものである。本システムおいて、人工衛星にレーダ装置の一例として合成開口レーダ(SAR)を搭載し、その合成開口レーダにより(データ解析センタ2からの指示に基づいて)地表面を撮影する例としてある。以下、人工衛星に搭載した合成開口レーダを「衛星SAR」と称す。
【0015】
図1において、衛星SAR1は、所定の軌道を周回しながら定期的に、もしくはデータ解析センタ2からの指示に従って随時地表面3を撮影し、撮影データ(レーダ画像データ)をデータ解析センタ2へ送信する。
【0016】
データ解析センタ2は、撮影計画を行い、その撮影計画に基づいた撮影指示の無線信号を衛星SAR1に送信する。また、衛星SAR1が撮影したレーダ画像データを、アンテナを介して受信する。これを後述する地物情報判読用画像生成装置10で合成開口処理することにより再生画像を生成する。さらには、レーダ画像データと光学画像データとの合成処理を行う。このとき、地物情報判読用画像生成装置10は、レーダ画像データに対して、その内容に応じたヒストグラム変換を行い白黒パンクロマチック画像特性に近似した後、レーダ画像データと光学画像データとを合成する。この白黒パンクロマチック画像特性に近似させる処理は、後述する。
【0017】
ここで、SAR画像と光学画像の違いについて説明する。
【0018】
図2は、ある画像の輝度値のヒストグラムの例を示すものであり、(a)はSAR画像の場合、(b)は光学画像の場合である。横軸は輝度値(8bit、すなわち0−255のレンジで表示)を示し、縦軸は各々の輝度値の画素数を示す。
【0019】
図2(a)に示すように、一般にSAR画像のヒストグラム特性は、撮影対象物の材料および撮影対象物の形状などに影響され、影は黒く(低輝度域参照)、金属や建物のエッジ(縁)は強く反射し白っぽくなる(高輝度域参照)。これに対し、図2(b)に示すように、光学画像のヒストグラム特性では、輝度値ごとの画素数はポアソン分布に従った形状となる。すなわち、光学画像では影の部分でも濃淡があり(低輝度域参照)、また光学画像では濃淡は材料によらないので金属や建物のエッジでも特に強く反射することもない。
【0020】
SAR画像と光学画像はヒストグラム特性上、上記のような違いがあるため、一般にSAR画像は黒画素と白画素が多い画像であるが、光学画像は撮影対象物の材料および撮影対象物の形状などに影響されることがないので、画像全体が濃淡を持ち、実際の撮影対象物の外観がほぼそのまま表現され判読し易い自然な画像になる。
【0021】
上記のような黒画素と白画素が支配的なSAR画像と、光学画像とのパンシャープン画像(合成画像)を生成すると、合成画像で白画素または黒画素が支配的となり、合成画像において光学画像が見づらくなる。
【0022】
従来、より自然な写真画像を作成するという観点からフィルタ処理が行われていたが、SAR画像に対しては元々地物の判読が難しい画像から原画像の情報を平滑化、欠落させてしまうことになる。したがって、地物を判読しやすくする、見やすくするという観点では実用的ではない。これに対し、本発明では、光学画像とパンシャープン化し地物を判読しやすくする、見やすくするという観点からSAR画像に対してフィルタ処理すなわちヒストグラム変換処理を行う。
【0023】
ヒストグラム変換とは、ある画像中における各濃淡レベルの頻度(画素数)を求め(ヒストグラム、または濃淡ヒストグラムという)、これに着目して、コントラスト変換を行う処理をいう。画像強調処理と呼ばれることもある。通常指定された分布を持つヒストグラム (目的ヒストグラムと呼ぶ)に合わせ込む処理を指す。代表的なヒストグラム変換として、ヒストグラム平滑化と正規分布化がある。
【0024】
ヒストグラム平滑化(均一化)は、目的ヒストグラムの分布が平坦になるヒストグラム変換のことであり、言い換えると、ヒストグラムの累積度数(輝度値0から画素数を累積したもの)のグラフの傾きが一定になるように変換することである。このようにすることにより、コントラストが悪い、あるいは明るさが偏っている画像の全体的なバランスを改善することが可能になる。以下、ヒストグラム変換の一例として、ヒストグラム平滑化について図3を参照して説明する。
【0025】
図3は、ある画像に対するヒストグラム平滑化の例を示し、(a)は変換前のヒストグラム特性、(b)は変換後のヒストグラム特性である。図3(a)の例では、累積度数のグラフ4からわかるように輝度値100以下にほぼ全ての画素が含まれているが、ヒストグラム平滑化を実施することにより、輝度値0から輝度値255までの画素数の累積度数のグラフ5の傾きが一定になっている。これにより、ヒストグラム平滑化前(図3(a))は、低輝度域の画素数が多い暗い画像だったのが、ヒストグラム平滑化後(図3(b))では、全体に濃淡(輝度値)のバランスがとれた画像にすることができる。
【0026】
また、正規分布化は、目的ヒストグラムの分布が正規分布(ガウス分布)になるヒストグラム変数のことであり、変換前画像の輝度値の平均値と標準偏差を用いて、正規分布となるように割り当てる処理を行う。ヒストグラムの正規分布化を実施すると、人の目には図2(b)に示した光学画像(ポアソン分布)と同じようなヒストグラム特性に感じるので、判読し易い自然な画像に見える。
【0027】
ヒストグラム変換には、この他に、線形変換や非線形変換などがある。線形変換は、ある画素の変換前の輝度値と変換後の輝度値の関係が、直線(線形)となる処理である。また非線形変換は、ある画素の変換前の輝度値と変換後の輝度値の関係式に、二次式や根号(非線形)を含む処理である。非線形変換の代表的なものに、テレビジョン受像機で再生する映像信号の補正処理に使用されるガンマ補正がある。上記正規分布化は非線形変換の一つである。
【0028】
地物情報判読用画像生成装置10は、SAR画像に対して、その内容に応じて上述のヒストグラム変換を行い、SAR画像のヒストグラム特性を白黒パンクロマチック画像特性すなわち光学画像のヒストグラム特性に近似させた後、SAR画像と光学画像とを合成する。合成画像は、地物情報判読用画像として使用される。
【0029】
上記地物情報判読用画像生成装置10による一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【0030】
図4は、上述した一連の処理をプログラムにより実行する地物情報判読用画像生成装置10の構成例を示すブロック図である。この地物情報判読用画像生成装置10は、例えば一連の処理を実行するために高性能化した専用コンピュータの他、一定の性能を備えるパーソナルコンピュータなどでもよい。
【0031】
地物情報判読用画像生成装置10のCPU(Central Processing Unit)11は、ROM(Read Only Memory)12、または記録部18に記録されているプログラムに従って、上記一連の処理の他、各種の処理を実行する。RAM(Random Access Memory)13には、CPU11が実行するプログラムやデータなどが適宜記憶される。これらのCPU11、ROM12、およびRAM13は、バス14により相互に接続されている。
【0032】
CPU11にはまた、バス14を介して入出力インタフェース15が接続されている。入出力インタフェース15には、キーボード、マウス、マイクロホンなどよりなる入力部16、ディスプレイ、スピーカなどよりなる出力部17が接続されている。CPU11は、入力部16から入力される指令に対応して各種の処理を実行する。そして、CPU11は、処理の結果を出力部17に出力する。
【0033】
入出力インタフェース15に接続されている記録部18は、例えばハードディスクからなり、CPU11が実行するプログラムや各種のデータを記録する。
【0034】
通信部19は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。この通信部19を介してプログラムを取得し、記録部18に記録してもよい。
【0035】
入出力インタフェース15に接続されているドライブ20は、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD−ROM(Compact Disc - Read Only Memory),DVD(Digital Versatile Disc),光磁気ディスクを含む)、あるいは半導体メモリなどのリムーバブルメディア31が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部18に転送され、記録される。
【0036】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図4に示すように、磁気ディスク、光ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア31、または、プログラムが一時的もしくは永続的に格納されるROM12や、記録部18を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部19を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【0037】
次に、地物情報判読用画像生成装置10のCPU11による地物情報判読用画像の生成処理例を、図5のフローチャートを参照して説明する。
【0038】
まず、地物情報判読用画像生成装置10は、衛星SAR1により撮影された撮影データ(SAR画像)を取得する。これは、衛星SAR1から撮影データを含む無線信号を受信してもよいし、撮影データが記録されたリムーバブルメディア31から取得するようにしてもよい(ステップS1)。さらに、撮影データの撮影対象地域を撮影した光学画像を入手して、記録部18またはリムーバブルメディア31に記録しておく。なお、光学画像の解像度を落として広範囲を撮影する場合など、SAR画像と光学画像の撮影範囲が一致しない場合には、両画像が一致した範囲を合成することになる。
【0039】
次に、撮影データすなわちSAR画像と光学画像を同じ地上基準点(GCP:Ground Control Point)にて幾何学情報(ジオメトリ)を補正し、位置合わせを行う(ステップS2)。
【0040】
続いて、複数例えば2枚のSAR画像を用いたレーダグラメトリ処理もしくはインタフェロメトリ処理から求めた、あるいは国土地理院などから入手したDEM(Digital Elevation Model)等の地表面および構造物の高さ情報を基に、SAR画像および光学画像の正射投影画像を作成する(ステップS3)。この処理はいわゆるオルソ補正(オルソレクティファイ)であり、生成された画像はオルソ画像とも呼ばれる。なお、SAR画像からDEMを作成することにより、SAR画像の歪み補正を正確に行うことができる。
【0041】
オルソ画像化する元のSAR画像は、光学の白黒パンクロマチック近似画像とするためフィルタリングを行う(ステップS4)。すなわち、SAR画像のヒストグラム特性を白黒パンクロマチック画像のヒストグラム特性に近似させる処理を行う。ヒストグラム変換については、撮影対象に応じて種々あるヒストグラム変換方法の中から最適な手法を選定することが望ましい。このヒストグラム変換方法の選定は、コンピュータがSAR画像から撮影対象を自動で判断してその判断結果に基づいて選定してもよいし、予め撮影対象がわかっているのでオペレータがSAR画像と撮影対象を紐つけて記録部18に記憶しておき、コンピュータがそれに基づいて選定するようにしてもよい。
【0042】
例えば光学画像(目視による確認)やSAR画像のヒストグラム特性、衛星SARの撮影条件から求めた撮影範囲から、撮影対象が都市部であると判断できる場合にはヒストグラムの高輝度域のみを、あるいは森林部であると判断できる場合にはヒストグラムの低輝度域のみを変換してもよい。更に、撮影対象領域に都市部と森林部が混在している場合には、光学画像やヒストグラム特性に基づいて撮影対象領域内を区分し、それぞれの領域に対して最適なヒストグラム変換処理を施してもよい。
【0043】
このようにすることで、撮影対象に応じて最適なヒストグラム変換が行われ、ヒストグラム変換処理後のSAR画像を白黒パンクロマチック画像により近似させることができるので、合成画像がより判読し易い自然な画像になる。なお、ステップS4における「SAR画像を光学の白黒パンクロマチック近似画像とするためフィルタリング」処理は、オルソ画像化した後に実施してもよい。
【0044】
ステップS4の処理が完了後、SAR画像と光学画像を合成する(ステップS5)。そして、生成した合成画像を記録部18またはリムーバブルメディア31に記録する。このとき光学画像はトゥルーカラーやフォールスカラーなどであってもよい。
【0045】
上記の一連の処理を経て、合成画像として、SAR画像のパンクロマチック近似画像(テクスチャ情報)にカラー(色情報)が乗った画像が得られる。
【0046】
図6は、パンシャープン化の概念を説明する図である。白黒パンクロマチック画像特性に近似する処理(ヒストグラム変換処理)を施した高分解能モノクロレーダデータ(SAR画像)と低分解能カラーデータ(RGBからなる光学画像)を、位置を合わせて合成することにより、分解能の高いカラーデータ(パンシャープン画像)が得られる。
【0047】
この結果、低解像度光学画像では判読できなかった地物(例えば農地における樹木等)を、合成画像に含まれる高解像度SAR画像成分により判読することができる。また、高解像度SAR画像では地物との対応が付かなかった領域(例えば農地における樹木により生じたレーダシャドウ等)を、合成画像に含まれる低解像度光学画像成分を参照することにより判読することができる。更に、例えば都市部を撮影した高分解能モノクロレーダデータ(SAR画像)では白画素または黒画素が支配的となり、パンシャープン化した際に低分解能カラーデータ(光学画像)が潰れて地物の判読が難しいという問題を、ヒストグラム変換処理により解決することができる。
【0048】
以上説明したように、本実施形態によると、解像度の高いSAR画像で得られるテクスチャ情報(形の判別)と、解像度の劣る光学画像で得られる地物の色情報(状況、環境の判読)を併せた画像を作成することによって、地物を判読しやすい画像が得られる。
【0049】
またSAR画像について錯乱強度の反射特性を人間の視覚的に馴染みのある白黒パンクロマチック画像の反射特性に近づけるための変換処理を行い、これと光学画像を重ね合わせるため、高解像度かつより光学衛星で撮影された画像に近い画像を得ることができる。
【0050】
また運用形態として、高解像度のSAR画像と低解像度の光学画像を使用している。これはSAR画像は天候等に影響されず確実に撮影できることから、高解像度のテクスチャ画像の取得が容易であり、地物の形や種類等の判別ができる。一方、光学画像は天候に左右されるため、広い範囲を低解像度で撮影し、撮影範囲の状況を把握するための補足情報として彩色化して用いる。
【0051】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0052】
また、プログラムは、一つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【図面の簡単な説明】
【0053】
【図1】本発明の一実施形態に係るシステムの概要を示す構成図である。
【図2】SAR画像と光学画像のヒストグラムの例を示す説明図であり、(a)はSAR画像の場合、(b)は光学画像の場合を示す。
【図3】ヒストグラム平滑化の例を示す説明図であり、(a)は変換前のヒストグラム特性、(b)は変換後のヒストグラム特性である。
【図4】本発明の一実施形態に係るコンピュータの内部構成例を示すブロック図である。
【図5】本発明の一実施形態に係る地物情報判読用画像の生成処理例を示すフローチャートである。
【図6】パンシャープン化の概念を示す説明図である。
【符号の説明】
【0054】
1…衛星SAR、2…データ解析処理センタ、3…地表面(撮影対象)、4,5…累積画素数、10…地物情報判読用画像生成装置、11…CPU、12…ROM、13…RAM、14…バス、15…入出力インタフェース、16…入力部、17…出力部、18…記録部、19…通信部、20…ドライブ、31…リムーバブルメディア

【特許請求の範囲】
【請求項1】
飛翔体に搭載したレーダ装置から得られるレーダ画像データと、前記レーダ装置により撮影された地域の光学画像データを合成して、地物情報判読用画像を生成する地物情報判読用画像生成方法において、
前記レーダ画像データを白黒パンクロマチック画像特性に近似するステップと、
前記レーダ画像データと前記光学画像データの位置合わせを行うステップと、
前記白黒パンクロマチック画像特性に近似されたレーダ画像データと、前記光学画像テータを合成するステップと、
を含む地物情報判読用画像生成方法。
【請求項2】
前記レーダ画像データを白黒パンクロマチック画像特性に近似するステップにおいて、前記レーダ画像データのヒストグラム特性に応じてヒストグラム変換処理を行う
請求項1に記載の地物情報判読用画像生成方法。
【請求項3】
前記レーダ画像データのヒストグラム特性において高輝度域が支配的である場合、前記レーダ画像データの高輝度域を中心にヒストグラム変換処理を行う
請求項2に記載の地物情報判読用画像生成方法。
【請求項4】
前記レーダ画像データのヒストグラム特性において低輝度域が支配的である場合、前記レーダ画像データの低輝度域を中心にヒストグラム変換処理を行う
請求項2に記載の地物情報判読用画像生成方法。
【請求項5】
前記レーダ画像データに高輝度域が支配的な第1領域と低輝度域が支配的な第2領域が混在する場合、前記レーダ画像データ上の前記第1領域と前記第2領域を区分し、それぞれの領域に対して最適なヒストグラム変換処理を行う
請求項2に記載の地物情報判読用画像生成方法。
【請求項6】
前記合成に用いるレーダ画像データおよび光学画像データは、正射投影画像である
請求項1〜5のいずれかに記載の地物情報判読用画像生成方法。
【請求項7】
前記レーダ装置は合成開口レーダである
請求項1〜6のいずれかに記載の地物情報判読用画像生成方法。
【請求項8】
飛翔体に搭載したレーダ装置から得られるレーダ画像データと、前記レーダ装置により撮影された地域の光学画像データを合成して、地物情報判読用画像を生成するプログラムであって、
前記レーダ画像データを白黒パンクロマチック画像特性に近似する手順と、
前記レーダ画像データと前記光学画像データの位置合わせを行う手順と、
前記白黒パンクロマチック画像特性に近似されたレーダ画像データと、前記光学画像テータを合成する手順と、
をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2009−47516(P2009−47516A)
【公開日】平成21年3月5日(2009.3.5)
【国際特許分類】
【出願番号】特願2007−213160(P2007−213160)
【出願日】平成19年8月17日(2007.8.17)
【出願人】(000135771)株式会社パスコ (102)
【Fターム(参考)】