画像処理装置
【課題】ＴＤＩ型検出器において発生する解像度の低下を空間フィルタ処理により最適な条件で補正する。
【解決手段】時間遅延による電荷の積分機能をもち、時間的に変化する複数の画素により同一地点を撮像するＴＤＩ型検出器１と、ＴＤＩ型検出器１のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部２と、ＴＤＩ制御部２からの制御データに基づいて、ＴＤＩ型検出器１において撮像した画像データの各座標の画素値の補正処理を行うことにより、当該画像データに発生したＴＤＩ動作に起因する解像度の低下を補正する空間フィルタ処理部３とを備えている。
【解決手段】時間遅延による電荷の積分機能をもち、時間的に変化する複数の画素により同一地点を撮像するＴＤＩ型検出器１と、ＴＤＩ型検出器１のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部２と、ＴＤＩ制御部２からの制御データに基づいて、ＴＤＩ型検出器１において撮像した画像データの各座標の画素値の補正処理を行うことにより、当該画像データに発生したＴＤＩ動作に起因する解像度の低下を補正する空間フィルタ処理部３とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、時間遅延による電荷の積分機能をもつＴＤＩ型検出器を備えた光学センサに対して解像度を改善するための画像処理装置に関するもので、特に衛星に搭載される光学センサに適した画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、光学センサの信号量を増加させてＳ／Ｎ比を向上させるために、複数行のラインセンサ出力を積分するＴＤＩ（Ｔｉｍｅ Ｄｅｌａｙｅｄ Ｉｎｔｅｇｒａｔｉｏｎ）型検出器が用いられている（例えば、特許文献１参照）。ＴＤＩ型検出器は同一地点を撮像する画素が時間的に変化するときに、同一地点を撮像する画素の出力を積分することで、実質的に長時間露光した時と同等の信号量を得ることができる検出器である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２９８８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような従来のＴＤＩ型検出器によって得られた画像は、同一地点を撮像する画素が時間的に変化するため、像が動くことによる解像度の低下が発生する。特に衛星搭載光学系のような慣性移動する光学センサでは、均質的な像のぼけが全域に発生し、結像性能が低下してしまうという問題点があった。
【０００５】
この発明はかかる問題点を解決するためになされたものであり、ＴＤＩ型検出器において発生する解像度の低下を空間フィルタ処理により最適な条件で補正することが可能な画像処理装置を得ることを目的とするものである。
【課題を解決するための手段】
【０００６】
この発明は、時間遅延による電荷の積分機能をもち、時間的に変化する複数の画素により同一地点を撮像するＴＤＩ型検出器と、上記ＴＤＩ型検出器のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部と、上記ＴＤＩ制御部からの制御データに基づいて、上記ＴＤＩ型検出器において撮像した画像データの各座標の画素値の補正処理を行う空間フィルタ処理部とを備えたことを特徴とする画像処理装置である。
【発明の効果】
【０００７】
この発明は、時間遅延による電荷の積分機能をもち、時間的に変化する複数の画素により同一地点を撮像するＴＤＩ型検出器と、上記ＴＤＩ型検出器のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部と、上記ＴＤＩ制御部からの制御データに基づいて、上記ＴＤＩ型検出器において撮像した画像データの各座標の画素値の補正処理を行う空間フィルタ処理部とを備えたことを特徴とする画像処理装置であるので、ＴＤＩ動作に起因してＴＤＩ型検出器において発生した解像度の低下を空間フィルタ処理により最適な条件で補正することができ、結像性能の向上を図ることができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る画像処理装置の構成を示す構成図である。
【図２】この発明の実施の形態１に係る画像処理装置の光学センサが人工衛星等の機器に搭載された状態を示す説明図である。
【図３】この発明の実施の形態１に係る画像処理装置のシミュレーション結果をグラフで示す説明図である。
【図４】この発明の実施の形態２に係る画像処理装置の構成を示す構成図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１に係る画像処理装置の構成を示す構成図である。図１において、１は、ＴＤＩ型検出器であり、光学センサに搭載され、同一地点を撮像する画素が時間的に変化して、それらの複数の画素の出力を積分することにより、結果として長時間露光した場合と等価な信号量を出力することができるものである。２は、ＴＤＩ型検出器１のＴＤＩ動作切り替えやＴＤＩ段数を制御するＴＤＩ制御部である。３は、ＴＤＩ型検出器１から出力された画像データの画質を向上させるための画像処理を行う空間フィルタ処理部で、ＴＤＩ制御部２から出力されるＴＤＩ型検出器１の制御データを元に画像処理を行う。４は、空間フィルタ処理部３から出力される出力画像である。
【００１０】
光学センサは、例えば、図２に示すように、人工衛星のような慣性運動をする機器に搭載され、機器の運動により撮像領域を移動させることで画像を生成する。このとき、機器は光学センサの露光中も移動しているため、光学センサとしては相対的に撮像対象が動いていることと同等になり、像流れが発生することから解像度が低下する。一方、ＴＤＩ型検出器１を搭載した光学センサでは、機器の移動に合せて画素を順次切り替えながら同一地点を撮像することで等価的に露光時間を増加させるため、露光時間に対する結像性能への影響はＴＤＩ型検出器特有のものとなる。すなわち、通常の検出器は露光時間中に移動した像の移動量が像流れの大きさとなるが、ＴＤＩ型検出器では画素の切り替えが起こるため、像流れの大きさは大きくても、常に画素程度の大きさの像流れしか発生しない。このことから、ＴＤＩ型検出器１により得られた画像に対しては、通常の光学センサのような撮像時の機器移動量などの撮影条件に合わせた画像処理よりも、ＴＤＩ動作に最適化した画像処理を行う方が解像度の改善がより効果的になる。
【００１１】
本実施の形態では、光センサを搭載している機器の移動に合せて、ＴＤＩ型検出器１が、同一地点を撮像する画素を時間的に変化させて、観測対象の撮像を行う。ＴＤＩ型検出器１は、時間遅延による電荷の積分機能を持っているため、時間的に変化した複数の画素からの出力を積分することで、実質的に長時間露光した時と同等の画像のデータを得る。次に、空間フィルタ処理部３に、ＴＤＩ型検出器１によって撮像された当該画像のデータが入力される。空間フィルタ処理部３では、入力された当該画像における座標（ｉ，ｊ）の画素値ｈ（ｉ，ｊ）を用いて、下記の（式１）を用いて、解像度の低下を補正した画素値ｇ（ｉ，ｊ）を計算し、当該画素値ｇ（ｉ，ｊ）を座標（ｉ，ｊ）の画素値とする画像を出力画像４として出力する。ここで、ｊはＴＤＩ方向とし、光センサを搭載している機器の進行方向、すなわちＴＤＩ型検出器の画素が時間的に変化する方向のことである。光センサを搭載している機器が人工衛星である場合には、ＴＤＩ方向ｊは変化せず、常に、ほぼ一定となる（場合が多い）。また、ｗは空間フィルタの大きさを（半幅）を表すパラメータである。
【００１２】
【数１】
【００１３】
図３に、上記の（式１）におけるパラメータσの値に対する空間フィルタ処理の補正効果を検証するために行ったシミュレーションの結果を示す。シミュレーションでは、複数の参照画像に対してＴＤＩ型検出器１による模擬画像を作成した。そして、パラメータσを変化させながら、上記の（式１）による空間フィルタ処理を適用し、元の参照画像との補正残差量を算出した。図３において、補正残差量が小さい方が元の参照画像との誤差が小さく、像流れによる解像度低下を改善する。図３に示すシミュレーション結果より、パラメータσが０．５近傍で補正残差量は最小となり、上記の（式２）に示すように、｜σ−０．５｜＜０．１とすることで、ＴＤＩ型検出器１に最適化した空間フィルタ処理となることがわかる。
ＴＤＩ制御部２から空間フィルタ処理部３への制御データとしては、例えばＴＤＩ型検出器１の動作／非動作を表す信号が出力される。ＴＤＩ動作時には空間処理フィルタ部３でフィルタ処理が行われる。一方、ＴＤＩ検出器が非動作時には空間処理フィルタは不要であり、空間処理フィルタ部３でフィルタの適用を停止することで画像が過補正になるのを防ぐことができ、また処理負荷も軽減し高速になる。なお、この場合においては、必要であれば、ＴＤＩの状況（動作／非動作）に応じてσの値を変更するようにしてもよい。
【００１４】
以上のように、本実施の形態に係る画像処理装置によれば、時間遅延による電荷の積分機能を持ち、時間的に順次変化する複数の画素により同一地点を撮像して、それらの画素の出力を積分することにより、長時間露光した場合と等価な信号量を出力する、ＴＤＩ型検出器１と、ＴＤＩ型検出器１のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部２と、ＴＤＩ制御部２からの制御データに基づいて、ＴＤＩ型検出器１において撮像した画像データの各座標の画素値の補正処理を行うことにより、当該画像データに発生したＴＤＩ動作に起因する解像度の低下を補正する空間フィルタ処理部３とを備え、空間フィルタ処理部３がＴＤＩ制御部２からの制御データに基づいて、上記所定の数式におけるパラメータ値を変化させて、補正処理を変化させるようにしたので、ＴＤＩ検出器１において発生する解像度の低下を空間フィルタ処理により最適な条件で補正することができ、像のぼけの発生をなくし、結像性能を向上させることができる。
【００１５】
なお、上述の本実施の形態の説明においては、空間フィルタ処理部３とＴＤＩ型検出器１とを別体で構成する例について図１に示したが、その場合に限らず、空間フィルタ処理部３をＴＤＩ型検出器１が持つ電気回路で構成し、空間フィルタ処理部３で行う（式１）の計算を、ＴＤＩ型検出器１の当該電気回路内で行うようにすれば、フィルタ処理の効率化を行うことができる。ＴＤＩ型検出器１には、いわゆるＲＯＩＣ（Ｒｅａｄｏｕｔ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）が備わっており、画素値を並列的に積分して出力する機能がある。空間フィルタ処理を逐次的に行った場合、画素数に応じて処理時間が長くなる。そこで、ＴＤＩ型検出器１のＲＯＩＣに空間フィルタ処理を行う機能を組み込み並列的に行うことで処理が効率化され、空間フィルタ処理部３の高速化を行うことができる。図１のように、ＴＤＩ型検出器１の積分機能と空間フィルタ処理部３を分離して順次処理を行う場合に比べて効率的あることは言うまでもない。
【００１６】
また、上述の本実施の形態の説明では、人工衛星のような慣性運動をする機器に搭載されるとしたが、その場合に限らず、光学センサに対して像がほぼ等速に移動する系に対しては本構成の画像処理装置を適用できることは言うまでもなく、その場合においても同様の効果を得ることができる。
【００１７】
実施の形態２．
図４は、この発明の実施の形態２に係る画像処理装置の構成を示す構成図である。図４において、符号１〜４は、図１に示した実施の形態１と同様であるため、ここでは説明を省略する。５は、姿勢センサ部で、光学センサ（ＴＤＩ型検出器１）を搭載した機器の姿勢を計測し、その結果を空間フィルタ処理部３に出力するものである。
【００１８】
光学センサの姿勢が変化することにより視軸変位が発生し、像流れとなって解像度を低下させる。本実施の形態では光学センサの姿勢を検出する姿勢センサ部５を備えるため、視軸の変位量を計測することができる。また、姿勢センサ部５で得られた視軸変位量を空間フィルタ処理部３に出力することで、ＴＤＩ型検出器による像流れと同様にそれを補正し、解像度を改善することが可能である。
【００１９】
ＴＤＩ型検出器１では視軸変位による像流れが発生したとき、ＴＤＩ方向と平行な成分はＴＤＩ動作による像流れと同等に働くため、例えば、空間フィルタ処理部３での出力を、下記の（式３）および（式４）とすることにより補正することができる。
【００２０】
【数２】
【００２１】
ここで、βは、視軸変位による像流れのＴＤＩ方向に対して平行な成分とする。また、パラメータσは、実施の形態１と同様に、ＴＤＩ型検出器１に最適化して決定するものであり、すなわち、｜σ−０．５｜＜０．１を満足する。
【００２２】
一方、ＴＤＩ型検出器１では視軸変位による像流れが発生したとき、ＴＤＩ方向と垂直な成分はＴＤＩ動作による像流れと空間的に畳み込み積分を行うのとほぼ同等に働くため、例えば空間フィルタ処理部３での出力を、下記の（式５）および（式６）とすることにより補正することができる。
【００２３】
【数３】
【００２４】
ここで、αは、視軸変位による像流れのＴＤＩ方向に対して垂直な成分である。また、パラメータσは、実施の形態１と同様に、ＴＤＩ型検出器１に最適化して決定するものであって、すなわち、｜σ−０．５｜＜０．１を満足する。
【００２５】
このように、本実施の形態によれば、上記の実施の形態１と同様の効果が得られるとともに、さらに、空間フィルタ処理部３でＴＤＩ型検出器１のＴＤＩ動作により発生する像流れに加えて、光学センサの姿勢が変化することによる視軸変位による像流れを補正することで、光学センサの解像度改善処理が一度で行えるようになり、処理の効率化や低負荷化、高速化を行うことができる。
【００２６】
また、光学センサが進行する方向と平行にラインセンサを配置し、進行方向と垂直に走査しながら画像を取得するウィスクブルーム型のセンサでは原理的にＴＤＩ方向と垂直に像流れが発生する。このような像流れに関しても視軸変位と同等に扱うことで、本実施の形態により解像度の改善が可能である。
【符号の説明】
【００２７】
１ ＴＤＩ型検出器、２ ＴＤＩ制御部、３ 空間フィルタ処理部、４ 出力画像、５ 姿勢センサ部。
【技術分野】
【０００１】
本発明は画像処理装置に関し、時間遅延による電荷の積分機能をもつＴＤＩ型検出器を備えた光学センサに対して解像度を改善するための画像処理装置に関するもので、特に衛星に搭載される光学センサに適した画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、光学センサの信号量を増加させてＳ／Ｎ比を向上させるために、複数行のラインセンサ出力を積分するＴＤＩ（Ｔｉｍｅ Ｄｅｌａｙｅｄ Ｉｎｔｅｇｒａｔｉｏｎ）型検出器が用いられている（例えば、特許文献１参照）。ＴＤＩ型検出器は同一地点を撮像する画素が時間的に変化するときに、同一地点を撮像する画素の出力を積分することで、実質的に長時間露光した時と同等の信号量を得ることができる検出器である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２９８８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような従来のＴＤＩ型検出器によって得られた画像は、同一地点を撮像する画素が時間的に変化するため、像が動くことによる解像度の低下が発生する。特に衛星搭載光学系のような慣性移動する光学センサでは、均質的な像のぼけが全域に発生し、結像性能が低下してしまうという問題点があった。
【０００５】
この発明はかかる問題点を解決するためになされたものであり、ＴＤＩ型検出器において発生する解像度の低下を空間フィルタ処理により最適な条件で補正することが可能な画像処理装置を得ることを目的とするものである。
【課題を解決するための手段】
【０００６】
この発明は、時間遅延による電荷の積分機能をもち、時間的に変化する複数の画素により同一地点を撮像するＴＤＩ型検出器と、上記ＴＤＩ型検出器のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部と、上記ＴＤＩ制御部からの制御データに基づいて、上記ＴＤＩ型検出器において撮像した画像データの各座標の画素値の補正処理を行う空間フィルタ処理部とを備えたことを特徴とする画像処理装置である。
【発明の効果】
【０００７】
この発明は、時間遅延による電荷の積分機能をもち、時間的に変化する複数の画素により同一地点を撮像するＴＤＩ型検出器と、上記ＴＤＩ型検出器のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部と、上記ＴＤＩ制御部からの制御データに基づいて、上記ＴＤＩ型検出器において撮像した画像データの各座標の画素値の補正処理を行う空間フィルタ処理部とを備えたことを特徴とする画像処理装置であるので、ＴＤＩ動作に起因してＴＤＩ型検出器において発生した解像度の低下を空間フィルタ処理により最適な条件で補正することができ、結像性能の向上を図ることができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る画像処理装置の構成を示す構成図である。
【図２】この発明の実施の形態１に係る画像処理装置の光学センサが人工衛星等の機器に搭載された状態を示す説明図である。
【図３】この発明の実施の形態１に係る画像処理装置のシミュレーション結果をグラフで示す説明図である。
【図４】この発明の実施の形態２に係る画像処理装置の構成を示す構成図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１に係る画像処理装置の構成を示す構成図である。図１において、１は、ＴＤＩ型検出器であり、光学センサに搭載され、同一地点を撮像する画素が時間的に変化して、それらの複数の画素の出力を積分することにより、結果として長時間露光した場合と等価な信号量を出力することができるものである。２は、ＴＤＩ型検出器１のＴＤＩ動作切り替えやＴＤＩ段数を制御するＴＤＩ制御部である。３は、ＴＤＩ型検出器１から出力された画像データの画質を向上させるための画像処理を行う空間フィルタ処理部で、ＴＤＩ制御部２から出力されるＴＤＩ型検出器１の制御データを元に画像処理を行う。４は、空間フィルタ処理部３から出力される出力画像である。
【００１０】
光学センサは、例えば、図２に示すように、人工衛星のような慣性運動をする機器に搭載され、機器の運動により撮像領域を移動させることで画像を生成する。このとき、機器は光学センサの露光中も移動しているため、光学センサとしては相対的に撮像対象が動いていることと同等になり、像流れが発生することから解像度が低下する。一方、ＴＤＩ型検出器１を搭載した光学センサでは、機器の移動に合せて画素を順次切り替えながら同一地点を撮像することで等価的に露光時間を増加させるため、露光時間に対する結像性能への影響はＴＤＩ型検出器特有のものとなる。すなわち、通常の検出器は露光時間中に移動した像の移動量が像流れの大きさとなるが、ＴＤＩ型検出器では画素の切り替えが起こるため、像流れの大きさは大きくても、常に画素程度の大きさの像流れしか発生しない。このことから、ＴＤＩ型検出器１により得られた画像に対しては、通常の光学センサのような撮像時の機器移動量などの撮影条件に合わせた画像処理よりも、ＴＤＩ動作に最適化した画像処理を行う方が解像度の改善がより効果的になる。
【００１１】
本実施の形態では、光センサを搭載している機器の移動に合せて、ＴＤＩ型検出器１が、同一地点を撮像する画素を時間的に変化させて、観測対象の撮像を行う。ＴＤＩ型検出器１は、時間遅延による電荷の積分機能を持っているため、時間的に変化した複数の画素からの出力を積分することで、実質的に長時間露光した時と同等の画像のデータを得る。次に、空間フィルタ処理部３に、ＴＤＩ型検出器１によって撮像された当該画像のデータが入力される。空間フィルタ処理部３では、入力された当該画像における座標（ｉ，ｊ）の画素値ｈ（ｉ，ｊ）を用いて、下記の（式１）を用いて、解像度の低下を補正した画素値ｇ（ｉ，ｊ）を計算し、当該画素値ｇ（ｉ，ｊ）を座標（ｉ，ｊ）の画素値とする画像を出力画像４として出力する。ここで、ｊはＴＤＩ方向とし、光センサを搭載している機器の進行方向、すなわちＴＤＩ型検出器の画素が時間的に変化する方向のことである。光センサを搭載している機器が人工衛星である場合には、ＴＤＩ方向ｊは変化せず、常に、ほぼ一定となる（場合が多い）。また、ｗは空間フィルタの大きさを（半幅）を表すパラメータである。
【００１２】
【数１】
【００１３】
図３に、上記の（式１）におけるパラメータσの値に対する空間フィルタ処理の補正効果を検証するために行ったシミュレーションの結果を示す。シミュレーションでは、複数の参照画像に対してＴＤＩ型検出器１による模擬画像を作成した。そして、パラメータσを変化させながら、上記の（式１）による空間フィルタ処理を適用し、元の参照画像との補正残差量を算出した。図３において、補正残差量が小さい方が元の参照画像との誤差が小さく、像流れによる解像度低下を改善する。図３に示すシミュレーション結果より、パラメータσが０．５近傍で補正残差量は最小となり、上記の（式２）に示すように、｜σ−０．５｜＜０．１とすることで、ＴＤＩ型検出器１に最適化した空間フィルタ処理となることがわかる。
ＴＤＩ制御部２から空間フィルタ処理部３への制御データとしては、例えばＴＤＩ型検出器１の動作／非動作を表す信号が出力される。ＴＤＩ動作時には空間処理フィルタ部３でフィルタ処理が行われる。一方、ＴＤＩ検出器が非動作時には空間処理フィルタは不要であり、空間処理フィルタ部３でフィルタの適用を停止することで画像が過補正になるのを防ぐことができ、また処理負荷も軽減し高速になる。なお、この場合においては、必要であれば、ＴＤＩの状況（動作／非動作）に応じてσの値を変更するようにしてもよい。
【００１４】
以上のように、本実施の形態に係る画像処理装置によれば、時間遅延による電荷の積分機能を持ち、時間的に順次変化する複数の画素により同一地点を撮像して、それらの画素の出力を積分することにより、長時間露光した場合と等価な信号量を出力する、ＴＤＩ型検出器１と、ＴＤＩ型検出器１のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部２と、ＴＤＩ制御部２からの制御データに基づいて、ＴＤＩ型検出器１において撮像した画像データの各座標の画素値の補正処理を行うことにより、当該画像データに発生したＴＤＩ動作に起因する解像度の低下を補正する空間フィルタ処理部３とを備え、空間フィルタ処理部３がＴＤＩ制御部２からの制御データに基づいて、上記所定の数式におけるパラメータ値を変化させて、補正処理を変化させるようにしたので、ＴＤＩ検出器１において発生する解像度の低下を空間フィルタ処理により最適な条件で補正することができ、像のぼけの発生をなくし、結像性能を向上させることができる。
【００１５】
なお、上述の本実施の形態の説明においては、空間フィルタ処理部３とＴＤＩ型検出器１とを別体で構成する例について図１に示したが、その場合に限らず、空間フィルタ処理部３をＴＤＩ型検出器１が持つ電気回路で構成し、空間フィルタ処理部３で行う（式１）の計算を、ＴＤＩ型検出器１の当該電気回路内で行うようにすれば、フィルタ処理の効率化を行うことができる。ＴＤＩ型検出器１には、いわゆるＲＯＩＣ（Ｒｅａｄｏｕｔ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）が備わっており、画素値を並列的に積分して出力する機能がある。空間フィルタ処理を逐次的に行った場合、画素数に応じて処理時間が長くなる。そこで、ＴＤＩ型検出器１のＲＯＩＣに空間フィルタ処理を行う機能を組み込み並列的に行うことで処理が効率化され、空間フィルタ処理部３の高速化を行うことができる。図１のように、ＴＤＩ型検出器１の積分機能と空間フィルタ処理部３を分離して順次処理を行う場合に比べて効率的あることは言うまでもない。
【００１６】
また、上述の本実施の形態の説明では、人工衛星のような慣性運動をする機器に搭載されるとしたが、その場合に限らず、光学センサに対して像がほぼ等速に移動する系に対しては本構成の画像処理装置を適用できることは言うまでもなく、その場合においても同様の効果を得ることができる。
【００１７】
実施の形態２．
図４は、この発明の実施の形態２に係る画像処理装置の構成を示す構成図である。図４において、符号１〜４は、図１に示した実施の形態１と同様であるため、ここでは説明を省略する。５は、姿勢センサ部で、光学センサ（ＴＤＩ型検出器１）を搭載した機器の姿勢を計測し、その結果を空間フィルタ処理部３に出力するものである。
【００１８】
光学センサの姿勢が変化することにより視軸変位が発生し、像流れとなって解像度を低下させる。本実施の形態では光学センサの姿勢を検出する姿勢センサ部５を備えるため、視軸の変位量を計測することができる。また、姿勢センサ部５で得られた視軸変位量を空間フィルタ処理部３に出力することで、ＴＤＩ型検出器による像流れと同様にそれを補正し、解像度を改善することが可能である。
【００１９】
ＴＤＩ型検出器１では視軸変位による像流れが発生したとき、ＴＤＩ方向と平行な成分はＴＤＩ動作による像流れと同等に働くため、例えば、空間フィルタ処理部３での出力を、下記の（式３）および（式４）とすることにより補正することができる。
【００２０】
【数２】
【００２１】
ここで、βは、視軸変位による像流れのＴＤＩ方向に対して平行な成分とする。また、パラメータσは、実施の形態１と同様に、ＴＤＩ型検出器１に最適化して決定するものであり、すなわち、｜σ−０．５｜＜０．１を満足する。
【００２２】
一方、ＴＤＩ型検出器１では視軸変位による像流れが発生したとき、ＴＤＩ方向と垂直な成分はＴＤＩ動作による像流れと空間的に畳み込み積分を行うのとほぼ同等に働くため、例えば空間フィルタ処理部３での出力を、下記の（式５）および（式６）とすることにより補正することができる。
【００２３】
【数３】
【００２４】
ここで、αは、視軸変位による像流れのＴＤＩ方向に対して垂直な成分である。また、パラメータσは、実施の形態１と同様に、ＴＤＩ型検出器１に最適化して決定するものであって、すなわち、｜σ−０．５｜＜０．１を満足する。
【００２５】
このように、本実施の形態によれば、上記の実施の形態１と同様の効果が得られるとともに、さらに、空間フィルタ処理部３でＴＤＩ型検出器１のＴＤＩ動作により発生する像流れに加えて、光学センサの姿勢が変化することによる視軸変位による像流れを補正することで、光学センサの解像度改善処理が一度で行えるようになり、処理の効率化や低負荷化、高速化を行うことができる。
【００２６】
また、光学センサが進行する方向と平行にラインセンサを配置し、進行方向と垂直に走査しながら画像を取得するウィスクブルーム型のセンサでは原理的にＴＤＩ方向と垂直に像流れが発生する。このような像流れに関しても視軸変位と同等に扱うことで、本実施の形態により解像度の改善が可能である。
【符号の説明】
【００２７】
１ ＴＤＩ型検出器、２ ＴＤＩ制御部、３ 空間フィルタ処理部、４ 出力画像、５ 姿勢センサ部。
【特許請求の範囲】
【請求項１】
時間遅延による電荷の積分機能をもち、時間的に変化する複数の画素により同一地点を撮像するＴＤＩ型検出器と、
上記ＴＤＩ型検出器のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部と、
上記ＴＤＩ制御部からの制御データに基づいて、上記ＴＤＩ型検出器において撮像した画像データの各座標の画素値の補正処理を行う空間フィルタ処理部と
を備えたことを特徴とする画像処理装置。
【請求項２】
上記空間フィルタ処理部が、入力画像の座標（ｉ，ｊ）の画素値をｈ（ｉ，ｊ）とし、ＴＤＩ方向をｊとするとき、
【数１】
となる画素値ｇ（ｉ，ｊ）の画像を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
衛星の姿勢を検出する姿勢センサ部を備え、
上記ＴＤＩ制御部に上記姿勢センサ部からの出力を入力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記姿勢センサ部の出力から算出される視軸移動量のうち、ＴＤＩ方向と平行な成分βから、上記空間フィルタ処理部が、入力画像の座標（ｉ，ｊ）の画素値をｈ（ｉ，ｊ）とし、ＴＤＩ方向をｊとするとき、
【数２】
となる画素値ｇ（ｉ，ｊ）の画像を出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記姿勢センサ部の出力から算出される視軸移動量のうち、ＴＤＩ方向と垂直な成分αから、上記空間フィルタ処理部が、入力画像の座標（ｉ，ｊ）の画素値をｈ（ｉ，ｊ）とし、ＴＤＩ方向をｊとするとき、
【数３】
となる画素値ｇ（ｉ，ｊ）の画像を出力することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
上記空間フィルタ処理部は、上記ＴＤＩ型検出器が持つ電気回路で構成され、
上記空間フィルタ処理部で行う計算を上記ＴＤＩ型検出器が持つ電気回路内で行うことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項１】
時間遅延による電荷の積分機能をもち、時間的に変化する複数の画素により同一地点を撮像するＴＤＩ型検出器と、
上記ＴＤＩ型検出器のＴＤＩ動作の切り替えや制御を行うＴＤＩ制御部と、
上記ＴＤＩ制御部からの制御データに基づいて、上記ＴＤＩ型検出器において撮像した画像データの各座標の画素値の補正処理を行う空間フィルタ処理部と
を備えたことを特徴とする画像処理装置。
【請求項２】
上記空間フィルタ処理部が、入力画像の座標（ｉ，ｊ）の画素値をｈ（ｉ，ｊ）とし、ＴＤＩ方向をｊとするとき、
【数１】
となる画素値ｇ（ｉ，ｊ）の画像を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
衛星の姿勢を検出する姿勢センサ部を備え、
上記ＴＤＩ制御部に上記姿勢センサ部からの出力を入力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記姿勢センサ部の出力から算出される視軸移動量のうち、ＴＤＩ方向と平行な成分βから、上記空間フィルタ処理部が、入力画像の座標（ｉ，ｊ）の画素値をｈ（ｉ，ｊ）とし、ＴＤＩ方向をｊとするとき、
【数２】
となる画素値ｇ（ｉ，ｊ）の画像を出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記姿勢センサ部の出力から算出される視軸移動量のうち、ＴＤＩ方向と垂直な成分αから、上記空間フィルタ処理部が、入力画像の座標（ｉ，ｊ）の画素値をｈ（ｉ，ｊ）とし、ＴＤＩ方向をｊとするとき、
【数３】
となる画素値ｇ（ｉ，ｊ）の画像を出力することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
上記空間フィルタ処理部は、上記ＴＤＩ型検出器が持つ電気回路で構成され、
上記空間フィルタ処理部で行う計算を上記ＴＤＩ型検出器が持つ電気回路内で行うことを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−９７４１６（Ｐ２０１１−９７４１６Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２５０２４３（Ｐ２００９−２５０２４３）
【出願日】平成２１年１０月３０日（２００９．１０．３０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月３０日（２００９．１０．３０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]