模擬画像生成装置
【課題】大気条件に依存せずに、背景画像と目標モデル画像を融合する際に生じる画像間の不整合を低減する。
【解決手段】３Ｄモデルに対して光線追跡処理を行い高分解能撮像画像データを生成する光線追跡処理部（１１）と、広域撮像画像データおよび高分解能撮像画像データに対して解像度劣化処理を行う光学センサ特性付加部（１２）と、解像度劣化処理後の両画像データに対して反射率データを用いた反射率変換処理を行う反射率変換部（１３）と、反射率変換処理後の両データを合成した反射率画像データを生成する反射率画像融合処理部（１４）と、反射率画像データに対して大気条件データを考慮した画像データを生成する光波伝搬処理部（２１）と、光学センサの雑音量を付加する光学センサ雑音付加部（２２）と、量子化処理を行って目標撮像模擬画像を生成する量子化処理部（２３）とを備える。
【解決手段】３Ｄモデルに対して光線追跡処理を行い高分解能撮像画像データを生成する光線追跡処理部（１１）と、広域撮像画像データおよび高分解能撮像画像データに対して解像度劣化処理を行う光学センサ特性付加部（１２）と、解像度劣化処理後の両画像データに対して反射率データを用いた反射率変換処理を行う反射率変換部（１３）と、反射率変換処理後の両データを合成した反射率画像データを生成する反射率画像融合処理部（１４）と、反射率画像データに対して大気条件データを考慮した画像データを生成する光波伝搬処理部（２１）と、光学センサの雑音量を付加する光学センサ雑音付加部（２２）と、量子化処理を行って目標撮像模擬画像を生成する量子化処理部（２３）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学センサ撮像模擬画像を生成するための模擬画像生成装置に関するものである。
【背景技術】
【０００２】
光学センサの性能予測技術は、光学センサ設計やシステム設計など広い分野で用いることができる有益な技術である。例えば、従来技術として、任意背景画像内に目標モデル画像を配置することで、目標撮像画像を模擬する技術がある（例えば、特許文献１、２参照）。
【０００３】
特許文献１では、実空間を背景画像として撮像するとともに、距離データを測定することによって、背景画像を３次元データとして取得する。そして、目標が背景物体と重なって一部分が見えないようなシーンの撮像画像を模擬している。
【０００４】
また、特許文献２では、既存の撮像画像を背景画像とし、背景画像から目標モデル画像を配置する周辺部分を切り出してメモリに格納する。これにより、目標が移動するようなシーンの撮像画像を複数模擬するときの処理付加を低減させている。
【０００５】
しかしながら、シーン全体を３Ｄモデルで構築して光学センサの撮像模擬画像を生成するには、計算処理負荷が多大となる。そこで、背景画像と目標モデル画像を融合することで、計算処理負荷を低減する従来技術もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６１６６７４４号明細書
【特許文献２】米国特許第４６４１２５５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術には、以下のような課題がある。
従来技術では、リアルタイムで撮像した画像や既存の撮像画像を背景として、目標モデル画像との合成処理を行っている。しかし、光波が大気中を伝搬する際に生じる減衰や散乱は、大気条件によって変化する。従って、背景画像を撮像した時の大気条件と同等の光波減衰や散乱光を、目標モデル画像に付加することは困難であり、合成する際に画像間で不整合が生じる結果となる。
【０００８】
本発明は、前記のような課題を解決するためになされたものであり、大気条件に依存せずに、背景画像と目標モデル画像を融合するに生じる画像間の不整合を低減し、撮像画像の模擬精度を向上させることのできる模擬画像生成装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る模擬画像生成装置は、背景画像としての広域撮像画像データと、目標画像としての３Ｄモデルデータを入力画像データとして取得し、背景画像および目標画像を融合させることで光学センサを用いた目標撮像模擬画像を生成する模擬画像生成装置において、光学センサの特性データを取得し、３Ｄモデルデータに対して特性データを用いた光線追跡処理を行うことで光学センサに入射する光量を計算し、高分解能撮像画像データを生成する光線追跡処理部と、光学センサの空間分解能データを取得し、広域撮像画像データおよび高分解能撮像画像データに対して空間分解能データを用いた解像度劣化処理を行う光学センサ特性付加部と、入力画像データの画素値と反射率とを対応付けた変換データを反射率データとして取得し、光学センサ特性付加部による解像度劣化処理後の広域撮像画像データおよび高分解能撮像画像データに対して反射率データを用いた反射率変換処理を行う反射率変換部と、反射率変換部による反射率変換処理後の広域撮像画像データおよび高分解能撮像画像データを合成した反射率画像データを生成する反射率画像融合処理部と、大気条件データを取得し、反射率画像融合処理部により生成された合成後の反射率画像データに対して、大気条件データを用いて光学センサで検出する信号量に相当する画像データを生成する光波伝搬処理部と、光波伝搬処理部で生成された画像データに対して、光学センサの雑音特性に対応した雑音量を付加した画像データを生成する光学センサ雑音付加部と、光学センサ雑音付加部で生成された画像データに対して、光学センサに対応した量子化処理を行う量子化処理部と、量子化処理部による量子化処理後の画像データを目標撮像模擬画像として出力する画像出力部とを備えるものである。
【発明の効果】
【００１０】
本発明に係る模擬画像生成装置によれば、背景画像（広域撮像画像）と目標モデル画像（高分解能撮像画像）を物体固有の反射率画像に変換した後に融合処理を行うことにより、大気条件に依存せずに、背景画像と目標モデル画像を融合する際に生じる画像間の不整合を低減し、撮像画像の模擬精度を向上させることのできる模擬画像生成装置を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１における模擬画像生成装置の構成図である。
【図２】本発明の実施の形態２における模擬画像生成装置の構成図である。
【図３】本発明の実施の形態３における模擬画像生成装置の構成図である。
【発明を実施するための形態】
【００１２】
以下、本発明の模擬画像生成装置の好適な実施の形態につき図面を用いて説明する。
【００１３】
実施の形態１．
図１は、本発明の実施の形態１における模擬画像生成装置の構成図である。図１に示す模擬画像生成装置は、反射率画像生成部１０、およびシミュレーション計算処理部２０を備えている。そして、模擬画像生成装置は、外部から広域撮像画像データ１、３Ｄモデルデータ２、光学センサ特性データ３、反射率データ４、および大気条件データ５を取得し、最終的に、撮像模擬画像を出力する。
【００１４】
ここで、反射率画像生成部１０は、光線追跡処理部１１、高分解能撮像画像への光学センサ特性付加部１２ａ、広域撮像画像への光学センサ特性付加部１２ｂ、高分解能撮像画像反射率変換部１３ａ、広域撮像画像反射率変換部１３ｂ、および反射率画像融合処理部１４を備えて構成されている。一方、シミュレーション計算処理部２０は、光波伝搬処理部２１、光学センサ雑音付加部２２、量子化処理部２３、および画像出力部２４を備えて構成されている。
【００１５】
広域撮像画像データ１は、広域を撮像したカメラ写真や航空機写真、衛星画像等のデータで構成され、細かい空間分解能を必要としない背景画像に相当する。また、３Ｄモデルデータ２は、着目する目標の３次元データで構成され、目標モデル画像に相当する。また、光学センサ特性データ３は、画素数、画素サイズ、焦点距離、Ｆ値などの特性データ、および模擬する光学センサの空間分解能データで構成される。
【００１６】
また、反射率データ４は、入力画像データの画素値と反射率を対応付けた変換データとして構成されている。また、大気条件データ５は、太陽反射光成分や大気散乱光成分などのデータで構成されている。なお、外部から取得するこれらのデータは、データベース化されて、模擬画像生成装置内に持たせることも可能である。
【００１７】
次に、図１に示した模擬画像生成装置の動作について説明する。
まず始めに、反射率画像生成部１０内で、背景画像である広域撮像画像の反射率画像を生成する処理について説明する。なお、以下の説明においては、広域撮像画像への光学センサ特性付加部１２ｂのことを、単に、光学センサ特性付加部１２ｂとして記載することとする。
【００１８】
光学センサ特性付加部１２ｂは、広域撮像画像データ１を入力する。ここで、広域撮像画像データ１は、模擬する光学センサの撮像画像と同程度の空間分解能を持つ必要がある。
【００１９】
そして、光学センサ特性付加部１２ｂは、入力した広域撮像画像データ１に対して、光学センサ特性データ３から取得した、模擬する光学センサの空間分解能データを用いて、解像度劣化処理を行う。
【００２０】
そして、広域撮像画像反射率変換部１３ｂは、解像度劣化処理された広域撮像画像データを反射率画像へと変換する。ここで、広域撮像画像反射率変換部１３ｂは、入力画像データの画素値と反射率を対応付けた変換データを反射率データ４として読み込むことで、反射率変換処理を行う。
【００２１】
次に、反射率画像生成部１０内で、目標モデル画像である高分解能撮像画像の反射率画像を生成する処理について説明する。なお、以下の説明においては、高分解能撮像画像への光学センサ特性付加部１２ａのことを、単に、光学センサ特性付加部１２ａとして記載することとする。
【００２２】
光線追跡処理部１１は、着目する目標モデル画像である３Ｄモデルデータ２を入力する。そして、光線追跡処理部１１は、３Ｄモデルデータ２が配置された３Ｄシーンに対して、光学センサ特性データ３から取得した光学センサの画素数、画素サイズ、焦点距離、Ｆ値などの特性データを用いた光線追跡処理により、光学センサに入射する光量を計算し、高分解能撮像画像を出力する。ここで、高分解能撮像画像は、模擬する光学センサの撮像画像と同程度の空間分解能を持つ必要がある。
【００２３】
そして、光学センサ特性付加部１２ａは、光線追跡処理部で生成された高分解能撮像画像に対して、光学センサ特性データ３から取得した、模擬する光学センサの空間分解能データを用いて、解像度劣化処理を行う。
【００２４】
そして、高分解能撮像画像反射率変換部１３ａは、解像度劣化処理された高分解能撮像画像データを反射率画像へと変換する。ここで、高分解能撮像画像反射率変換部１３ａは、入力画像データの画素値と反射率を対応付けた変換データを反射率データ４として読み込むことで、反射率変換処理を行う。
【００２５】
次に、反射率画像生成部１０内における、背景画像と目標モデル画像の融合処理について説明する。反射率画像融合処理部１４は、広域撮像画像反射率変換部１３ｂおよび高分解能撮像画像反射率変換部１３ａで生成されたそれぞれの反射率画像データの融合処理を行う。ここで、反射率画像融合処理部１４は、広域撮像画像データ１から生成された反射率画像の任意部分を、３Ｄモデルデータ２から生成された反射率画像に置き換えることで、両反射率画像の融合を行う。
【００２６】
次に、反射率画像生成部１０内で生成された背景画像と目標モデル画像の融合後の反射率画像に対して、シミュレーション計算処理部２０で行われる一連処理について説明する。光波伝搬処理部２１は、反射率画像融合処理部１４で生成された融合後の反射率画像に対して、大気条件データ５から取得した太陽反射光成分や大気散乱光成分などのデータを用いて、模擬する光学センサで検出する信号量を計算する。
【００２７】
次に、光学センサ雑音付加部２２は、光波伝搬処理部２１で計算された信号量に基づく画像データに対して、模擬する光学センサの雑音特性に対応した雑音量を付加する。そして、量子化処理部２３は、雑音量が付加された画像データに対して、模擬する光学センサに対応した量子化処理を行う。そして、画像出力部２４は、量子化後の画像データを撮像模擬画像として出力する。
【００２８】
以上のように、実施の形態１によれば、背景画像として、航空機写真などの広域を撮像した画像を用意し、目標モデル画像として、着目する目標の３Ｄモデルから高分解能撮像画像を生成する。そして、背景画像と目標モデル画像の両画像を融合することで撮像模擬画像を生成する。これにより、シーン全体を３Ｄモデルで構築して光学センサの撮像模擬画像を生成するよりも、計算処理負荷を大幅に低減することが可能である。
【００２９】
さらに、両画像を物体固有の反射率を用いて反射率画像に変換した後に融合処理を行うことで、大気条件に依存せずに、融合処理を行うことができる。この結果、両画像間の不整合を低減させることができ、撮像画像の模擬精度を向上させることが可能となる。さらに、任意の大気条件下での撮像模擬画像を、容易に生成することが可能となる。
【００３０】
さらに、実施の形態１では、光線追跡処理部を有しており、３Ｄモデルデータに対して光学センサに入射する光量を光線追跡処理により計算している。これにより、目標表面の陰影や影部を表すことができ、従来技術よりも模擬精度を向上させることが可能となる。
【００３１】
さらに、実施の形態１では、反射率画像融合処理部を有しており、広域撮像画像（背景画像）と高分解能撮像画像（目標モデル画像）を融合する際に、両画像を物体固有の反射率へと変換している。この結果、目標位置を変換させた撮像画像を模擬する場合でも、容易かつ高精度で融合させることが可能となる。
【００３２】
さらに、実施の形態１では、反射率画像に変換した後に融合処理を行うため、反射率画像に変換した複数の異なる目標モデルを、容易かつ高精度で融合させることが可能となる。
【００３３】
さらに、実施の形態１では、反射率画像融合処理部で生成した反射率画像に対して、光波伝搬処理部で大気条件データから取得したデータを用いて、光学センサで検出する信号量を計算している。この結果、大気条件が変化した場合を模擬する場合でも、大気条件データから取得する太陽反射光成分や大気散乱光成分などのデータを変更して光学センサで検出する信号量を再度計算するだけでよい。すなわち、光波伝搬処理部以降のシミュレーション計算処理のみを再実行だけでよいため、模擬画像生成処理時間の大幅な短縮が可能となる。
【００３４】
実施の形態２．
図２は、本発明の実施の形態２における模擬画像生成装置の構成図である。ここで、反射率画像生成部１０は、光線追跡処理部１１、高分解能撮像画像への光学センサ特性付加部１２ａ、広域撮像画像への光学センサ特性付加部１２ｂ、高分解能撮像画像反射率変換部１３ａ、広域撮像画像反射率変換部１３ｂ、反射率画像融合処理部１４、および２Ｄモデル蓄積部１５を備えて構成されている。一方、シミュレーション計算処理部２０は、光波伝搬処理部２１、光学センサ雑音付加部２２、量子化処理部２３、および画像出力部２４を備えて構成されている。
【００３５】
図２に示した本実施の形態２における模擬画像生成装置は、先の実施の形態１における模擬画像生成装置と比較すると、反射率画像生成部１０内に２Ｄモデル蓄積部１５をさらに備えている点が異なっている。そこで、この相違点を中心に、以下に説明する。
【００３６】
２Ｄモデル蓄積部１５は、３Ｄモデルデータ２に基づいて、光線追跡処理部１１、高分解能撮像画像への光学センサ特性付加部１２ａ、高分解能撮像画像反射率変換部１３ａを介して生成された目標の２Ｄ反射率モデルを蓄積する記憶部である。目標の２Ｄ反射率モデルを蓄積する２Ｄモデル蓄積部１５を備えることで、２Ｄ反射率モデルを流用する際の再計算処理をなくすことが可能となる。
【００３７】
以上のように、実施の形態２によれば、複数の同一形状モデルを広域撮像画像上に配置するときに、３Ｄモデルデータに対して光線追跡処理部で行う光線追跡処理、光学センサ特性付加部で行う解像度劣化処理の再計算を不要にすることができる。この結果、高分解能撮像画像の反射率画像生成処理の高速化、および模擬画像撮像装置全体の計算処理付加の減少を図ることが可能となる。
【００３８】
さらに、実施の形態２では、反射率画像融合処理部において、広域撮像画像と高分解能撮像画像を融合する際に、両画像を物体固有の反射率へと変換している。このため、２Ｄモデル蓄積部に蓄積された複数の異なる目標モデルの反射率画像を用いることで、再計算のための処理付加を軽減した上で、複数の異なる目標モデルを、容易かつ高精度で融合させることが可能となる。
【００３９】
実施の形態３．
本実施の形態３では、広域撮像画像データ１として、複数の異なる観測波長帯で撮像された画像を用いる模擬画像生成装置について説明する。
【００４０】
図３は、本発明の実施の形態３における模擬画像生成装置の構成図である。ここで、反射率画像生成部１０、およびシミュレーション計算処理部２０の基本構成は、先の実施の形態１における図１の構成と同様である。
【００４１】
ただし、本実施の形態３における模擬画像生成装置は、外部から取得する広域撮像画像データ１ａ、光学センサ特性データ３ａ、反射率データ４ａ、および大気条件データ５ａのそれぞれを、波長帯情報ごとに識別されたデータとして取得することで、異なる観測波長帯で撮像した画像に応じた撮像模擬画像を出力することを可能としている。
【００４２】
図３における広域撮像画像データ１ａは、広域撮像画像が複数の異なる観測波長帯を持つマルチバンド画像であり、観測波長帯情報が付された広域撮像画像データとして構成されている。また、光学センサ特性データ３ａは、画素数、画素サイズ、焦点距離、Ｆ値などの特性データ、および模擬する光学センサの空間分解能データが、各観測波長帯に対応したデータとして構成されている。
【００４３】
また、反射率データ４ａは、入力画像データの画素値と反射率を対応付けた変換データが、各観測波長帯に対応したデータとして構成されている。また、大気条件データ５ａは、太陽反射光成分や大気散乱光成分などのデータが、各観測波長帯に対応したデータとして構成されている。
【００４４】
そして、広域撮像画像への光学センサ特性付加部１２ｂおよび高分解能撮像画像への光学センサ特性付加部１２ａは、各観測波長帯に対応した光学センサ特性を用いて、広域撮像画像および高分解能撮像画像の解像度劣化処理を行う。
【００４５】
また、広域撮像画像反射率変換部１３ｂおよび高分解能撮像画像反射率変換部１３ａは、各観測波長帯に対応した反射率データを用いて広域撮像画像および高分解能撮像画像を反射率画像へと変換する。
【００４６】
さらに、光波伝搬処理部２１は、反射率画像融合処理部１４で融合させた後の観測波長帯に対応した反射率画像に対して、光学センサで検出する信号量を計算する。このとき、光波伝搬処理部２１は、大気条件データ５ａから、各観測波長帯に対応した大気条件データを取得することで、各観測波長帯に対応した信号量を計算することができる。
【００４７】
このように、本実施の形態３では、異なる観測波長帯の撮像模擬画像を複数合成することで、カラー模擬画像を生成することが可能となる。例えば、４５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を青（Ｂ)、５５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を緑（Ｇ)、６５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を赤（Ｒ)、にそれぞれ割り当てることで、ＲＧＢカラー撮像模擬画像を生成することが可能となる。
【００４８】
また、紫外領域や赤外領域に観測波長帯を持つ撮像模擬画像に対して、色を付けて複数の撮像模擬画像を合成することで、普段は人間の目に見えない光を視覚化した撮像模擬画像を生成することが可能となる。
【００４９】
また、高分解能のパンクロマティック撮像模擬画像（単色画像)と、低解像度の４５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を青（Ｂ)、５５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を緑（Ｇ)、６５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を赤（Ｒ）、にそれぞれ割り当てたＲＧＢカラー撮像模擬画像と合成することで、高分解能のＲＧＢカラー撮像模擬画像を生成することが可能となる。
【００５０】
以上のように、実施の形態３によれば、観測波長帯情報を備えたデータを用いることで、観測波長帯を持つ広域かつ高分解能な撮像模擬画像を生成することが可能となる。
【符号の説明】
【００５１】
１、１ａ 広域撮像画像データ、２ モデルデータ、３、３ａ 光学センサ特性データ、４、４ａ 反射率データ、５、５ａ 大気条件データ、１０ 反射率画像生成部、１１ 光線追跡処理部、１２ａ 光学センサ特性付加部、１２ｂ 光学センサ特性付加部、１３ａ 高分解能撮像画像反射率変換部、１３ｂ 広域撮像画像反射率変換部、１４ 反射率画像融合処理部、１５ ２Ｄモデル蓄積部、１６ 波長帯情報格納部、２０ シミュレーション計算処理部、２１ 光波伝搬処理部、２２ 光学センサ雑音付加部、２３ 量子化処理部、２４ 画像出力部。
【技術分野】
【０００１】
本発明は、光学センサ撮像模擬画像を生成するための模擬画像生成装置に関するものである。
【背景技術】
【０００２】
光学センサの性能予測技術は、光学センサ設計やシステム設計など広い分野で用いることができる有益な技術である。例えば、従来技術として、任意背景画像内に目標モデル画像を配置することで、目標撮像画像を模擬する技術がある（例えば、特許文献１、２参照）。
【０００３】
特許文献１では、実空間を背景画像として撮像するとともに、距離データを測定することによって、背景画像を３次元データとして取得する。そして、目標が背景物体と重なって一部分が見えないようなシーンの撮像画像を模擬している。
【０００４】
また、特許文献２では、既存の撮像画像を背景画像とし、背景画像から目標モデル画像を配置する周辺部分を切り出してメモリに格納する。これにより、目標が移動するようなシーンの撮像画像を複数模擬するときの処理付加を低減させている。
【０００５】
しかしながら、シーン全体を３Ｄモデルで構築して光学センサの撮像模擬画像を生成するには、計算処理負荷が多大となる。そこで、背景画像と目標モデル画像を融合することで、計算処理負荷を低減する従来技術もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６１６６７４４号明細書
【特許文献２】米国特許第４６４１２５５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術には、以下のような課題がある。
従来技術では、リアルタイムで撮像した画像や既存の撮像画像を背景として、目標モデル画像との合成処理を行っている。しかし、光波が大気中を伝搬する際に生じる減衰や散乱は、大気条件によって変化する。従って、背景画像を撮像した時の大気条件と同等の光波減衰や散乱光を、目標モデル画像に付加することは困難であり、合成する際に画像間で不整合が生じる結果となる。
【０００８】
本発明は、前記のような課題を解決するためになされたものであり、大気条件に依存せずに、背景画像と目標モデル画像を融合するに生じる画像間の不整合を低減し、撮像画像の模擬精度を向上させることのできる模擬画像生成装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る模擬画像生成装置は、背景画像としての広域撮像画像データと、目標画像としての３Ｄモデルデータを入力画像データとして取得し、背景画像および目標画像を融合させることで光学センサを用いた目標撮像模擬画像を生成する模擬画像生成装置において、光学センサの特性データを取得し、３Ｄモデルデータに対して特性データを用いた光線追跡処理を行うことで光学センサに入射する光量を計算し、高分解能撮像画像データを生成する光線追跡処理部と、光学センサの空間分解能データを取得し、広域撮像画像データおよび高分解能撮像画像データに対して空間分解能データを用いた解像度劣化処理を行う光学センサ特性付加部と、入力画像データの画素値と反射率とを対応付けた変換データを反射率データとして取得し、光学センサ特性付加部による解像度劣化処理後の広域撮像画像データおよび高分解能撮像画像データに対して反射率データを用いた反射率変換処理を行う反射率変換部と、反射率変換部による反射率変換処理後の広域撮像画像データおよび高分解能撮像画像データを合成した反射率画像データを生成する反射率画像融合処理部と、大気条件データを取得し、反射率画像融合処理部により生成された合成後の反射率画像データに対して、大気条件データを用いて光学センサで検出する信号量に相当する画像データを生成する光波伝搬処理部と、光波伝搬処理部で生成された画像データに対して、光学センサの雑音特性に対応した雑音量を付加した画像データを生成する光学センサ雑音付加部と、光学センサ雑音付加部で生成された画像データに対して、光学センサに対応した量子化処理を行う量子化処理部と、量子化処理部による量子化処理後の画像データを目標撮像模擬画像として出力する画像出力部とを備えるものである。
【発明の効果】
【００１０】
本発明に係る模擬画像生成装置によれば、背景画像（広域撮像画像）と目標モデル画像（高分解能撮像画像）を物体固有の反射率画像に変換した後に融合処理を行うことにより、大気条件に依存せずに、背景画像と目標モデル画像を融合する際に生じる画像間の不整合を低減し、撮像画像の模擬精度を向上させることのできる模擬画像生成装置を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１における模擬画像生成装置の構成図である。
【図２】本発明の実施の形態２における模擬画像生成装置の構成図である。
【図３】本発明の実施の形態３における模擬画像生成装置の構成図である。
【発明を実施するための形態】
【００１２】
以下、本発明の模擬画像生成装置の好適な実施の形態につき図面を用いて説明する。
【００１３】
実施の形態１．
図１は、本発明の実施の形態１における模擬画像生成装置の構成図である。図１に示す模擬画像生成装置は、反射率画像生成部１０、およびシミュレーション計算処理部２０を備えている。そして、模擬画像生成装置は、外部から広域撮像画像データ１、３Ｄモデルデータ２、光学センサ特性データ３、反射率データ４、および大気条件データ５を取得し、最終的に、撮像模擬画像を出力する。
【００１４】
ここで、反射率画像生成部１０は、光線追跡処理部１１、高分解能撮像画像への光学センサ特性付加部１２ａ、広域撮像画像への光学センサ特性付加部１２ｂ、高分解能撮像画像反射率変換部１３ａ、広域撮像画像反射率変換部１３ｂ、および反射率画像融合処理部１４を備えて構成されている。一方、シミュレーション計算処理部２０は、光波伝搬処理部２１、光学センサ雑音付加部２２、量子化処理部２３、および画像出力部２４を備えて構成されている。
【００１５】
広域撮像画像データ１は、広域を撮像したカメラ写真や航空機写真、衛星画像等のデータで構成され、細かい空間分解能を必要としない背景画像に相当する。また、３Ｄモデルデータ２は、着目する目標の３次元データで構成され、目標モデル画像に相当する。また、光学センサ特性データ３は、画素数、画素サイズ、焦点距離、Ｆ値などの特性データ、および模擬する光学センサの空間分解能データで構成される。
【００１６】
また、反射率データ４は、入力画像データの画素値と反射率を対応付けた変換データとして構成されている。また、大気条件データ５は、太陽反射光成分や大気散乱光成分などのデータで構成されている。なお、外部から取得するこれらのデータは、データベース化されて、模擬画像生成装置内に持たせることも可能である。
【００１７】
次に、図１に示した模擬画像生成装置の動作について説明する。
まず始めに、反射率画像生成部１０内で、背景画像である広域撮像画像の反射率画像を生成する処理について説明する。なお、以下の説明においては、広域撮像画像への光学センサ特性付加部１２ｂのことを、単に、光学センサ特性付加部１２ｂとして記載することとする。
【００１８】
光学センサ特性付加部１２ｂは、広域撮像画像データ１を入力する。ここで、広域撮像画像データ１は、模擬する光学センサの撮像画像と同程度の空間分解能を持つ必要がある。
【００１９】
そして、光学センサ特性付加部１２ｂは、入力した広域撮像画像データ１に対して、光学センサ特性データ３から取得した、模擬する光学センサの空間分解能データを用いて、解像度劣化処理を行う。
【００２０】
そして、広域撮像画像反射率変換部１３ｂは、解像度劣化処理された広域撮像画像データを反射率画像へと変換する。ここで、広域撮像画像反射率変換部１３ｂは、入力画像データの画素値と反射率を対応付けた変換データを反射率データ４として読み込むことで、反射率変換処理を行う。
【００２１】
次に、反射率画像生成部１０内で、目標モデル画像である高分解能撮像画像の反射率画像を生成する処理について説明する。なお、以下の説明においては、高分解能撮像画像への光学センサ特性付加部１２ａのことを、単に、光学センサ特性付加部１２ａとして記載することとする。
【００２２】
光線追跡処理部１１は、着目する目標モデル画像である３Ｄモデルデータ２を入力する。そして、光線追跡処理部１１は、３Ｄモデルデータ２が配置された３Ｄシーンに対して、光学センサ特性データ３から取得した光学センサの画素数、画素サイズ、焦点距離、Ｆ値などの特性データを用いた光線追跡処理により、光学センサに入射する光量を計算し、高分解能撮像画像を出力する。ここで、高分解能撮像画像は、模擬する光学センサの撮像画像と同程度の空間分解能を持つ必要がある。
【００２３】
そして、光学センサ特性付加部１２ａは、光線追跡処理部で生成された高分解能撮像画像に対して、光学センサ特性データ３から取得した、模擬する光学センサの空間分解能データを用いて、解像度劣化処理を行う。
【００２４】
そして、高分解能撮像画像反射率変換部１３ａは、解像度劣化処理された高分解能撮像画像データを反射率画像へと変換する。ここで、高分解能撮像画像反射率変換部１３ａは、入力画像データの画素値と反射率を対応付けた変換データを反射率データ４として読み込むことで、反射率変換処理を行う。
【００２５】
次に、反射率画像生成部１０内における、背景画像と目標モデル画像の融合処理について説明する。反射率画像融合処理部１４は、広域撮像画像反射率変換部１３ｂおよび高分解能撮像画像反射率変換部１３ａで生成されたそれぞれの反射率画像データの融合処理を行う。ここで、反射率画像融合処理部１４は、広域撮像画像データ１から生成された反射率画像の任意部分を、３Ｄモデルデータ２から生成された反射率画像に置き換えることで、両反射率画像の融合を行う。
【００２６】
次に、反射率画像生成部１０内で生成された背景画像と目標モデル画像の融合後の反射率画像に対して、シミュレーション計算処理部２０で行われる一連処理について説明する。光波伝搬処理部２１は、反射率画像融合処理部１４で生成された融合後の反射率画像に対して、大気条件データ５から取得した太陽反射光成分や大気散乱光成分などのデータを用いて、模擬する光学センサで検出する信号量を計算する。
【００２７】
次に、光学センサ雑音付加部２２は、光波伝搬処理部２１で計算された信号量に基づく画像データに対して、模擬する光学センサの雑音特性に対応した雑音量を付加する。そして、量子化処理部２３は、雑音量が付加された画像データに対して、模擬する光学センサに対応した量子化処理を行う。そして、画像出力部２４は、量子化後の画像データを撮像模擬画像として出力する。
【００２８】
以上のように、実施の形態１によれば、背景画像として、航空機写真などの広域を撮像した画像を用意し、目標モデル画像として、着目する目標の３Ｄモデルから高分解能撮像画像を生成する。そして、背景画像と目標モデル画像の両画像を融合することで撮像模擬画像を生成する。これにより、シーン全体を３Ｄモデルで構築して光学センサの撮像模擬画像を生成するよりも、計算処理負荷を大幅に低減することが可能である。
【００２９】
さらに、両画像を物体固有の反射率を用いて反射率画像に変換した後に融合処理を行うことで、大気条件に依存せずに、融合処理を行うことができる。この結果、両画像間の不整合を低減させることができ、撮像画像の模擬精度を向上させることが可能となる。さらに、任意の大気条件下での撮像模擬画像を、容易に生成することが可能となる。
【００３０】
さらに、実施の形態１では、光線追跡処理部を有しており、３Ｄモデルデータに対して光学センサに入射する光量を光線追跡処理により計算している。これにより、目標表面の陰影や影部を表すことができ、従来技術よりも模擬精度を向上させることが可能となる。
【００３１】
さらに、実施の形態１では、反射率画像融合処理部を有しており、広域撮像画像（背景画像）と高分解能撮像画像（目標モデル画像）を融合する際に、両画像を物体固有の反射率へと変換している。この結果、目標位置を変換させた撮像画像を模擬する場合でも、容易かつ高精度で融合させることが可能となる。
【００３２】
さらに、実施の形態１では、反射率画像に変換した後に融合処理を行うため、反射率画像に変換した複数の異なる目標モデルを、容易かつ高精度で融合させることが可能となる。
【００３３】
さらに、実施の形態１では、反射率画像融合処理部で生成した反射率画像に対して、光波伝搬処理部で大気条件データから取得したデータを用いて、光学センサで検出する信号量を計算している。この結果、大気条件が変化した場合を模擬する場合でも、大気条件データから取得する太陽反射光成分や大気散乱光成分などのデータを変更して光学センサで検出する信号量を再度計算するだけでよい。すなわち、光波伝搬処理部以降のシミュレーション計算処理のみを再実行だけでよいため、模擬画像生成処理時間の大幅な短縮が可能となる。
【００３４】
実施の形態２．
図２は、本発明の実施の形態２における模擬画像生成装置の構成図である。ここで、反射率画像生成部１０は、光線追跡処理部１１、高分解能撮像画像への光学センサ特性付加部１２ａ、広域撮像画像への光学センサ特性付加部１２ｂ、高分解能撮像画像反射率変換部１３ａ、広域撮像画像反射率変換部１３ｂ、反射率画像融合処理部１４、および２Ｄモデル蓄積部１５を備えて構成されている。一方、シミュレーション計算処理部２０は、光波伝搬処理部２１、光学センサ雑音付加部２２、量子化処理部２３、および画像出力部２４を備えて構成されている。
【００３５】
図２に示した本実施の形態２における模擬画像生成装置は、先の実施の形態１における模擬画像生成装置と比較すると、反射率画像生成部１０内に２Ｄモデル蓄積部１５をさらに備えている点が異なっている。そこで、この相違点を中心に、以下に説明する。
【００３６】
２Ｄモデル蓄積部１５は、３Ｄモデルデータ２に基づいて、光線追跡処理部１１、高分解能撮像画像への光学センサ特性付加部１２ａ、高分解能撮像画像反射率変換部１３ａを介して生成された目標の２Ｄ反射率モデルを蓄積する記憶部である。目標の２Ｄ反射率モデルを蓄積する２Ｄモデル蓄積部１５を備えることで、２Ｄ反射率モデルを流用する際の再計算処理をなくすことが可能となる。
【００３７】
以上のように、実施の形態２によれば、複数の同一形状モデルを広域撮像画像上に配置するときに、３Ｄモデルデータに対して光線追跡処理部で行う光線追跡処理、光学センサ特性付加部で行う解像度劣化処理の再計算を不要にすることができる。この結果、高分解能撮像画像の反射率画像生成処理の高速化、および模擬画像撮像装置全体の計算処理付加の減少を図ることが可能となる。
【００３８】
さらに、実施の形態２では、反射率画像融合処理部において、広域撮像画像と高分解能撮像画像を融合する際に、両画像を物体固有の反射率へと変換している。このため、２Ｄモデル蓄積部に蓄積された複数の異なる目標モデルの反射率画像を用いることで、再計算のための処理付加を軽減した上で、複数の異なる目標モデルを、容易かつ高精度で融合させることが可能となる。
【００３９】
実施の形態３．
本実施の形態３では、広域撮像画像データ１として、複数の異なる観測波長帯で撮像された画像を用いる模擬画像生成装置について説明する。
【００４０】
図３は、本発明の実施の形態３における模擬画像生成装置の構成図である。ここで、反射率画像生成部１０、およびシミュレーション計算処理部２０の基本構成は、先の実施の形態１における図１の構成と同様である。
【００４１】
ただし、本実施の形態３における模擬画像生成装置は、外部から取得する広域撮像画像データ１ａ、光学センサ特性データ３ａ、反射率データ４ａ、および大気条件データ５ａのそれぞれを、波長帯情報ごとに識別されたデータとして取得することで、異なる観測波長帯で撮像した画像に応じた撮像模擬画像を出力することを可能としている。
【００４２】
図３における広域撮像画像データ１ａは、広域撮像画像が複数の異なる観測波長帯を持つマルチバンド画像であり、観測波長帯情報が付された広域撮像画像データとして構成されている。また、光学センサ特性データ３ａは、画素数、画素サイズ、焦点距離、Ｆ値などの特性データ、および模擬する光学センサの空間分解能データが、各観測波長帯に対応したデータとして構成されている。
【００４３】
また、反射率データ４ａは、入力画像データの画素値と反射率を対応付けた変換データが、各観測波長帯に対応したデータとして構成されている。また、大気条件データ５ａは、太陽反射光成分や大気散乱光成分などのデータが、各観測波長帯に対応したデータとして構成されている。
【００４４】
そして、広域撮像画像への光学センサ特性付加部１２ｂおよび高分解能撮像画像への光学センサ特性付加部１２ａは、各観測波長帯に対応した光学センサ特性を用いて、広域撮像画像および高分解能撮像画像の解像度劣化処理を行う。
【００４５】
また、広域撮像画像反射率変換部１３ｂおよび高分解能撮像画像反射率変換部１３ａは、各観測波長帯に対応した反射率データを用いて広域撮像画像および高分解能撮像画像を反射率画像へと変換する。
【００４６】
さらに、光波伝搬処理部２１は、反射率画像融合処理部１４で融合させた後の観測波長帯に対応した反射率画像に対して、光学センサで検出する信号量を計算する。このとき、光波伝搬処理部２１は、大気条件データ５ａから、各観測波長帯に対応した大気条件データを取得することで、各観測波長帯に対応した信号量を計算することができる。
【００４７】
このように、本実施の形態３では、異なる観測波長帯の撮像模擬画像を複数合成することで、カラー模擬画像を生成することが可能となる。例えば、４５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を青（Ｂ)、５５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を緑（Ｇ)、６５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を赤（Ｒ)、にそれぞれ割り当てることで、ＲＧＢカラー撮像模擬画像を生成することが可能となる。
【００４８】
また、紫外領域や赤外領域に観測波長帯を持つ撮像模擬画像に対して、色を付けて複数の撮像模擬画像を合成することで、普段は人間の目に見えない光を視覚化した撮像模擬画像を生成することが可能となる。
【００４９】
また、高分解能のパンクロマティック撮像模擬画像（単色画像)と、低解像度の４５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を青（Ｂ)、５５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を緑（Ｇ)、６５０ｎｍ近傍に観測波長帯を持つ撮像模擬画像を赤（Ｒ）、にそれぞれ割り当てたＲＧＢカラー撮像模擬画像と合成することで、高分解能のＲＧＢカラー撮像模擬画像を生成することが可能となる。
【００５０】
以上のように、実施の形態３によれば、観測波長帯情報を備えたデータを用いることで、観測波長帯を持つ広域かつ高分解能な撮像模擬画像を生成することが可能となる。
【符号の説明】
【００５１】
１、１ａ 広域撮像画像データ、２ モデルデータ、３、３ａ 光学センサ特性データ、４、４ａ 反射率データ、５、５ａ 大気条件データ、１０ 反射率画像生成部、１１ 光線追跡処理部、１２ａ 光学センサ特性付加部、１２ｂ 光学センサ特性付加部、１３ａ 高分解能撮像画像反射率変換部、１３ｂ 広域撮像画像反射率変換部、１４ 反射率画像融合処理部、１５ ２Ｄモデル蓄積部、１６ 波長帯情報格納部、２０ シミュレーション計算処理部、２１ 光波伝搬処理部、２２ 光学センサ雑音付加部、２３ 量子化処理部、２４ 画像出力部。
【特許請求の範囲】
【請求項１】
背景画像としての広域撮像画像データと、目標画像としての３Ｄモデルデータを入力画像データとして取得し、前記背景画像および前記目標画像を融合させることで光学センサを用いた目標撮像模擬画像を生成する模擬画像生成装置において、
前記光学センサの特性データを取得し、前記３Ｄモデルデータに対して前記特性データを用いた光線追跡処理を行うことで前記光学センサに入射する光量を計算し、高分解能撮像画像データを生成する光線追跡処理部と、
前記光学センサの空間分解能データを取得し、前記広域撮像画像データおよび前記高分解能撮像画像データに対して前記空間分解能データを用いた解像度劣化処理を行う光学センサ特性付加部と、
入力画像データの画素値と反射率とを対応付けた変換データを反射率データとして取得し、前記光学センサ特性付加部による前記解像度劣化処理後の広域撮像画像データおよび高分解能撮像画像データに対して前記反射率データを用いた反射率変換処理を行う反射率変換部と、
前記反射率変換部による前記反射率変換処理後の広域撮像画像データおよび高分解能撮像画像データを合成した反射率画像データを生成する反射率画像融合処理部と、
大気条件データを取得し、前記反射率画像融合処理部により生成された合成後の前記反射率画像データに対して、前記大気条件データを用いて前記光学センサで検出する信号量に相当する画像データを生成する光波伝搬処理部と、
前記光波伝搬処理部で生成された前記画像データに対して、前記光学センサの雑音特性に対応した雑音量を付加した画像データを生成する光学センサ雑音付加部と、
前記光学センサ雑音付加部で生成された前記画像データに対して、前記光学センサに対応した量子化処理を行う量子化処理部と、
前記量子化処理部による前記量子化処理後の画像データを前記目標撮像模擬画像として出力する画像出力部と
を備えることを特徴とする模擬画像生成装置。
【請求項２】
請求項１に記載の模擬画像生成装置において、
前記反射率変換部による前記反射率変換処理後の高分解能撮像画像データを前記目標画像の２Ｄ反射率モデルとして蓄積する２Ｄモデル蓄積部をさらに備え、
前記反射率画像融合処理部は、前記２Ｄモデル蓄積部に蓄積された前記２Ｄ反射率モデルを用いて前記反射率画像データを生成する
ことを特徴とする模擬画像生成装置。
【請求項３】
請求項１または２に記載の模擬画像生成装置において、
前記広域撮像画像データは、複数の異なる観測波長帯で撮像された波長帯情報付きの広域撮像画像データとして構成され、
前記光線追跡処理部は、各観測波長帯に対応した前記光学センサの特性を取得して前記光線追跡処理を行うことで各各観測波長帯に対応した高分解能撮像画像データを生成し、
前記光学センサ特性付加部は、各観測波長帯に対応した前記光学センサの空間分解能データを取得して前記解像度劣化処理を行い、
前記反射率変換部は、各観測波長帯に対応した反射率データを取得して前記反射率変換処理を行い、
前記光波伝搬処理部は、各観測波長帯に対応した大気条件データを取得して前記光学センサで検出する信号量に相当する画像データを生成する
ことを特徴とする模擬画像生成装置。
【請求項１】
背景画像としての広域撮像画像データと、目標画像としての３Ｄモデルデータを入力画像データとして取得し、前記背景画像および前記目標画像を融合させることで光学センサを用いた目標撮像模擬画像を生成する模擬画像生成装置において、
前記光学センサの特性データを取得し、前記３Ｄモデルデータに対して前記特性データを用いた光線追跡処理を行うことで前記光学センサに入射する光量を計算し、高分解能撮像画像データを生成する光線追跡処理部と、
前記光学センサの空間分解能データを取得し、前記広域撮像画像データおよび前記高分解能撮像画像データに対して前記空間分解能データを用いた解像度劣化処理を行う光学センサ特性付加部と、
入力画像データの画素値と反射率とを対応付けた変換データを反射率データとして取得し、前記光学センサ特性付加部による前記解像度劣化処理後の広域撮像画像データおよび高分解能撮像画像データに対して前記反射率データを用いた反射率変換処理を行う反射率変換部と、
前記反射率変換部による前記反射率変換処理後の広域撮像画像データおよび高分解能撮像画像データを合成した反射率画像データを生成する反射率画像融合処理部と、
大気条件データを取得し、前記反射率画像融合処理部により生成された合成後の前記反射率画像データに対して、前記大気条件データを用いて前記光学センサで検出する信号量に相当する画像データを生成する光波伝搬処理部と、
前記光波伝搬処理部で生成された前記画像データに対して、前記光学センサの雑音特性に対応した雑音量を付加した画像データを生成する光学センサ雑音付加部と、
前記光学センサ雑音付加部で生成された前記画像データに対して、前記光学センサに対応した量子化処理を行う量子化処理部と、
前記量子化処理部による前記量子化処理後の画像データを前記目標撮像模擬画像として出力する画像出力部と
を備えることを特徴とする模擬画像生成装置。
【請求項２】
請求項１に記載の模擬画像生成装置において、
前記反射率変換部による前記反射率変換処理後の高分解能撮像画像データを前記目標画像の２Ｄ反射率モデルとして蓄積する２Ｄモデル蓄積部をさらに備え、
前記反射率画像融合処理部は、前記２Ｄモデル蓄積部に蓄積された前記２Ｄ反射率モデルを用いて前記反射率画像データを生成する
ことを特徴とする模擬画像生成装置。
【請求項３】
請求項１または２に記載の模擬画像生成装置において、
前記広域撮像画像データは、複数の異なる観測波長帯で撮像された波長帯情報付きの広域撮像画像データとして構成され、
前記光線追跡処理部は、各観測波長帯に対応した前記光学センサの特性を取得して前記光線追跡処理を行うことで各各観測波長帯に対応した高分解能撮像画像データを生成し、
前記光学センサ特性付加部は、各観測波長帯に対応した前記光学センサの空間分解能データを取得して前記解像度劣化処理を行い、
前記反射率変換部は、各観測波長帯に対応した反射率データを取得して前記反射率変換処理を行い、
前記光波伝搬処理部は、各観測波長帯に対応した大気条件データを取得して前記光学センサで検出する信号量に相当する画像データを生成する
ことを特徴とする模擬画像生成装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−２４８４１０（Ｐ２０１１−２４８４１０Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１１７７０３（Ｐ２０１０−１１７７０３）
【出願日】平成２２年５月２１日（２０１０．５．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２１日（２０１０．５．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]