説明

画像再生処理装置

【課題】 従来の画像再生処理システムでは、画像情報の連続性の確認を撮像時刻に依存していたため、画像情報が伝送欠損により不連続となっているのか、画像情報は伝送されているが付与された撮像時刻が誤ったため見かけ上画像情報が欠損したように見えるのかの区別ができない。
【解決手段】 画像情報と撮像時刻とを受信し、不連続な撮像時刻の検出信号を出力する撮像時刻異常検出部と、検出信号を受けた場合に不連続性を検出した撮像時刻及び前後する撮像時刻に対応する複数の画像情報をもとに行う離散ウェーブレット変換により高周波画像を出力する周波数処理部と、高周波画像より画像のエッジ情報を求める閾値処理部と、画像のエッジ情報に基づき画像情報は連続しているのか画像情報は欠損しているのか判定する判定処理部と、を備える画像再生処理装置である。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、撮像機を搭載した衛星等から伝送される画像情報に対して、画像情報が伝送により欠損したか否かを判定することができる画像再生処理装置に関する。
【背景技術】
【0002】
衛星から画像を取得する場合、衛星に搭載する撮像機としては、例えば、CCD(Charge Coupled Device)などの固体光電変換素子が一列に並んだリニアアレイセンサ等を用いる。撮像機で取得された画像情報は、例えば、衛星内部の信号処理回路で撮像時刻が付与される。撮像時刻が付与された画像情報は、地上処理システムに伝送データとして送信される(例えば、特許文献1参照)。
【0003】
地上処理システムでは、伝送データをパラレル/シリアル変換させたり、伝送データの復号化処理を行ったりする等、とりあえず画像として見ることができるような粗処理を行う。また地上処理システムでは、伝送データに付与された撮像時刻に基づき、伝送時における画像情報の欠損の有無を判断して、画像を再生する。なお粗処理後の画像再生処理としては、例えば、階調処理などを行う。
【0004】
【特許文献1】特開平9−89558号公報(第6頁、第1図)
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記のような従来の画像再生処理システムでは、画像情報に付与される撮像時刻の連続性に基づき、衛星より伝送された画像情報の伝送欠損を確認する。しかし上記のように、画像データの連続性の確認を撮像時刻のみに依存する場合、撮像時刻を付与した画像情報自体が伝送時に欠損したために画像情報が不連続となっているのか、画像情報自体は伝送されているが、付与された撮像時刻が何らかの原因により誤った時刻情報となり、見かけ上画像情報が欠損したように見えるのかの区別ができない、といった問題点があった。
【0006】
本発明は、上述の課題を解決するためになされたものであり、撮像時刻に加えて、画像情報の連続性を判定することにより、画像情報が伝送により欠損したか、画像情報は伝送されており見かけ上欠損したように見えているのか、を判定する画像再生処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る画像再生処理装置は、
撮像機により所定の時間間隔で撮像され、撮像機を構成する撮像素子の配列単位に分割された画像情報と、上記画像情報の撮像時刻とを受信し、上記画像情報を再生処理するとともに、上記撮像時刻より求められる時間間隔が上記所定の時間間隔を超えた場合、撮像時刻の不連続性を検出し検出信号を出力する撮像時刻異常検出部と、
上記撮像時刻異常検出部より検出信号を受けた場合、不連続性を検出した撮像時刻及び不連続性を検出した撮像時刻と前後する撮像時刻に対応する複数の画像情報を用いて離散ウェーブレット変換を行い、上記複数の画像情報を構成する周波数成分のうち高周波成分より構成される複数の画像情報である高周波画像を出力する周波数処理部と、
上記周波数処理部より出力された高周波画像を入力し、上記高周波画像の画素が有する特徴量に対して所定の閾値を算出し、算出した上記所定の閾値に基づき高周波画像のエッジ情報を求める閾値処理部と、
上記閾値処理部で求めたエッジ情報を用いて異なる領域に分割した上記高周波画像の各領域で残差二乗和を算出し、算出した残差二乗和の比が所定値以上である場合は上記画像情報は連続しているとし、上記残差二乗和の比が所定値未満である場合は画像情報が欠損している、との判定信号を出力する判定処理部と、
を備えることを特徴とするものである。
【発明の効果】
【0008】
本発明により、撮像時刻に加えて、画像情報を用いて画像情報の伝送欠損を判定することで、画像情報が伝送欠損しているのか、画像情報は連続しており見かけ上画像情報が欠損しているように見えているだけなのか判定することが可能となる。
【発明を実施するための最良の形態】
【0009】
実施の形態1.
以下、本発明の実施の形態1を説明する。図1は、実施の形態1に係る衛星画像再生処理システムの全体構成図である。
【0010】
図1のプラットフォーム11は衛星等であり、撮像機としてリニアアレイセンサを搭載している。プラットフォーム11は、図1の矢印で示される撮像方向へ進み、観測対象を、例えば所定の時間間隔で撮像する。リニアアレイセンサで撮像した観測対象の画像情報は、プラットフォーム11内において、観測対象の画像情報を撮像した時刻を示す撮像時刻を付与され、センサ取得情報12が作成される。
【0011】
プラットフォーム11内で作成されたセンサ取得情報12は、地上に設置された受信記録設備13へ伝送される。受信記録設備13は、伝送されたセンサ取得情報12に対して誤り訂正等の処理を行い、衛星画像再生処理装置14に提供する入力データ15を作成する。受信記録設備13にて作成された入力データ15は、衛星画像再生処理装置14に渡される。
【0012】
図2は、衛星画像再生処理装置14の全体構成の一例を示している。衛星画像再生処理装置14は、システム制御部22と、表示端末部25と、運用端末部26と、再生した画像情報を保持する正常終了データ保持部27と、撮像時刻の不連続性を検出したため再生処理されなかった画像情報を保持する未処理データ保持部A28と、未処理データ保持部A28に保持されたデータを読み出し、読み出したデータのうち不連続性を検出した撮像時刻を修正したデータを保持する未処理データ保持部B29より構成される。またシステム制御部22は、データ処理部23と、画像情報欠損判定部24より構成される。
【0013】
データ処理部23には、入力データ15を入力し、撮像時刻をもとに時系列に画像情報を並べ、リニアアレイセンサのまとまり、例えばリニアアレイセンサを構成する固体光電変換素子(撮像素子)の配列単位を1ユニットとしたライン単位ごとに分割されている画像情報に対して、粗処理などを含む再生処理を実施する。なおデータ処理部23は、数10万ラインを有する1つの画像に対し、所定のライン数を1まとまりとした単位(シーン単位)で切り出す機能を有してもよい。
【0014】
画像情報欠損判定部24は、データ処理部23の出力を入力とし、撮像時刻と画像情報より、画像情報の連続性を判定する機能を有しており、例えば、撮像時刻が所定の時間間隔で増分されるべきところ所定の時間間隔で増分されておらず、かつ画像情報より連続データであると判定した場合、画像情報は連続しており見かけ上画像情報が欠損したように見えている、と判定する。
【0015】
なお本明細書においては、撮像時刻が所定の時間間隔で増分されることを撮像時刻が連続であるとし、撮像時刻が所定の時間間隔で増分されておらず、所定の時間間隔を超えた増分である場合、撮像時刻が連続でないまたは撮像時刻が不連続であるとする。
【0016】
図3は、図2の画像情報欠損判定部24が撮像時刻の異常、つまり撮像時刻が不連続であると判定した場合の動作を示している。画像情報欠損判定部24は、例えば記憶機能を有し、撮像時刻が不連続であるため異常であると検知した(検出信号を出力した)場合、異常と検知した撮像時刻に対応する画像情報のライン番号N、及び異常検知したラインより1ライン前の撮像時刻N−1を記憶する。ここで、画像情報は撮像時刻をもとに時系列に並べているので、異常検知したラインより1ライン前の撮像時刻N−1は、不連続性を検出した撮像時刻の1時刻前を表す。
【0017】
データ処理部23は、画像情報欠損判定部24の異常検知を受けてから更に一定ライン量(処理継続ライン)の粗処理を継続した後、データ処理を停止する。処理結果のうち、図3に示すように、画像処理を正常に行った画像情報(ライン番号1〜N−1)及び対応する撮像時刻は、正常終了データ保持部27に保持する。また異常を検知した画像情報(ライン番号N)以降の画像情報および対応する撮像時刻は、未処理データ保持部A28に保持する。
【0018】
表示端末部25は、例えば、正常終了データ保持部27に保持されている画像情報と、未処理データ保持部A28に保持されているデータの内、ライン番号Nから一定ライン量の粗処理を継続したライン番号までの画像情報を用いて画像を表示させる機能を有する。これにより、異常を検知したライン番号を含む画像を確認することができる。
【0019】
画像情報欠損判定部24にて撮像時刻の異常を検知したこと、及び画像情報が連続しているか画像情報が欠損しているかを、運用端末部26に表示させる。また運用端末部26からは、画像処理再開コマンドを入力することが可能である。運用端末部26より画像処理再開コマンドが入力される場合、画像処理再開コマンドは運用端末部26を介して、システム制御部22へ入力される。
【0020】
画像処理再開コマンドを受けたシステム制御部22は、画像情報欠損判定部24に記憶された撮像時刻N−1より再設定開始時刻、つまり撮像時刻Nを抽出する。撮像時刻Nは、所定の時間間隔の増分が予めわかっているので、撮像時刻N−1が記憶されていれば、抽出できる。
【0021】
次に、未処理データ保持部A28より未処理データを呼び出し、撮像時刻N´を撮像時刻Nに修正し、修正後の撮像時刻および対応する画像情報を含む未処理データを未処理データ保持部B29へ保持する。その後、未処理データ保持部B29に保持したデータをデータ処理部23へ再入力し、画像処理を再開する。
【0022】
ここで、運用端末部26よりの画像処理再開コマンドを受けた後、撮像時刻を修正し、データ処理部23へ再入力させる動作について説明した。しかし、運用端末部26から画像処理再開コマンドを受けることなく、画像情報欠損判定部24にて撮像時刻の異常を検知し、画像情報が連続していると判定したら、撮像時刻を修正した後に、データ処理部23へ再入力し、画像処理を再開させてもよい。
【0023】
次に、図2記載の画像情報欠損判定部24にて行う画像情報の連続性判定の動作を図4で説明する。図4(a)は、画像情報欠損判定部24にて行う画像情報の連続性判定のフローチャートである。また図4(b)は、画像情報の連続性判定のフローチャートに対応するブロック図である。
【0024】
画像情報の伝送欠損が生じた場合、画像情報が不連続となるため、画像中のピクセル方向のエッジ(図6参照)として画像に現れる。このピクセル方向のエッジを用いて、画像情報の連続性を判定する。画像情報の連続性の判定は、図4(a)に示すように4つのステップよりなる。
【0025】
ステップST1では、不連続な撮像時刻を検出する。ステップST1は、図4(b)記載の画像情報欠損判定部24のうち、撮像時刻異常検出部41にて行う。なお、データ処理部23の機能を撮像時刻異常検出部41に備えてもよい。その場合、撮像時刻異常検出部41は、入力データ15に対して粗処理等の再生処理を行う。
【0026】
ステップST2で、画像に周波数処理を実施し、画像を構成する周波数帯域のうち高周波帯域を成分とする画像、つまり高周波画像を抽出する。なおステップST2は、図4(b)記載の画像情報欠損判定部24のうち、周波数処理部42にて行う。
【0027】
次にステップST3により、抽出した高周波画像に対し閾値処理を実施し、画像情報が不連続となっている可能性のある不連続ライン候補LP(y)、つまり画像のエッジを抽出する。なおステップST3は、図4(b)記載の画像情報欠損判定部24のうち、閾値処理部43にて行う。
【0028】
そしてステップST4により、不連続ライン候補LP(y)が画像情報の不連続によるものか否か判定処理を行う。なおステップST4は、図4(b)記載の画像情報欠損判定部24のうち、判定処理部44にて行う。
【0029】
ステップST1の処理は、上述したように、撮像時刻の不連続性を検出する。図3の記載では、ライン番号Nに対応する撮像時刻が不連続であると検出される。また撮像時刻異常検出部41は、不連続である撮像時刻を検出した場合に検出信号を出力する。
【0030】
ステップST2の周波数成分の抽出について、図5を用いて説明する。図5は、画像情報欠損判定部24にて行う周波数処理を示す図である。撮像時刻異常検出部41より画像情報と画像情報を撮像した撮像時刻を入力する。撮像時刻異常検出部41より検出信号を受けた場合、撮像時刻に基づき時系列に整列されたデータより、画像情報と撮像時刻を分離する。その後、画像情報に対し2次元の離散ウェーブレット変換を実施し、画像情報を高周波成分と低周波成分に帯域分割する。なお、2次元の離散ウェーブレット変換は、異常と判定した撮像時刻に対応するライン番号N自身とライン番号Nの前後数ラインを用いて行ってもよい。
【0031】
2次元の離散ウェーブレット変換では、図5に示すように、ライン方向高周波成分(HL画像)、ピクセル方向高周波成分(LH画像)、対角方向高周波成分(HH画像)、及び低周波成分(LL画像)に帯域分割され抽出される。このうち、画像情報の連続性判定には、高周波成分より構成される画像である高周波画像、つまりHL画像、LH画像、HH画像を使用する。なお残りの低周波成分は、ブラウズやサムネイル画像の作成に使用してよい。
【0032】
ステップST3の閾値処理について、図6を用いて説明する。図6は、画像情報欠損判定部24にて行う閾値処理を示す図である。
【0033】
最初にステップST2で抽出したライン方向の高周波成分であるHL画像に対し閾値処理を行う。所定のライン数を1まとまりとした単位であるシーン単位での画像中、ライン番号をy、ピクセル番号をxとした場合、画素P(y,x−2)、P(y,x−1)、P(y,x)、P(y,x+1)、P(y,x+2)における濃度値などの特徴量の平均より計算される閾値TH1は数1で表される。
【0034】
【数1】

【0035】
閾値TH1より高い特徴量をもつ画素は不連続なため急激に特徴量が変化している画素であると考え、ライン方向の高周波成分における不連続ライン候補画素L(y,x)とする。なお図6のHL画像において、×印は、HL画像における不連続ライン候補画素L(y,x)を示している。
【0036】
次にステップST2で抽出したピクセル方向の高周波成分であるLH画像に対し閾値処理を行う。HL画像と同様、ライン番号をy、ピクセル番号をxとした場合、画素P(y−2,x)、P(y−1,x)、P(y,x)、P(y+1,x)、P(y+2,x)の特徴量の平均より計算される閾値TH2は数2で表される。
【0037】
【数2】

【0038】
閾値TH2より低い特徴量をもつ画素は不連続なため急激に特徴量が変化している画素であると考え、ピクセル方向の高周波成分における不連続ライン候補画素P(y,x)とする。なお図6のLH画像において、×印は、LH画像における不連続ライン候補画素P(y,x)を示している。
【0039】
ここで、HL画像より判定された不連続ライン候補画素L(y,x)と、LH画像より判定された不連続ライン候補画素P(y,x)は画像のエッジとなりうる画素である。そこで、不連続ライン候補画素L(y,x)と不連続ライン候補画素P(y,x)の位置が重複する画素を数え上げ、同一ライン内に位置が重複する画素が所定数以上含まれるラインを不連続ライン候補LP(y)とする。例えば、画像のピクセル幅において重複する画素の閾値を4とした場合、図6に示すLP(y)を不連続ライン候補とする。
【0040】
なお上記は、HL画像とLH画像の不連続ライン候補画素より不連続ライン候補LP(y)を決定したが、HL画像とLH画像にHH画像を加えて決定してもよい。以上の処理により決定した不連続ライン候補LP(y)は、高周波画像(におけるピクセル方向)のエッジ情報を示す。
【0041】
ここで、画像のエッジが現れる原因としては、画像情報の伝送欠損の他に、例えば海岸線に代表されるように、エッジ強度が強くかつ連続するような観測対象がピクセル方向に沿って撮像された場合が考えられる。従って、不連続ライン候補LP(y)が、画像情報の伝送欠損によるものか、エッジ強度が強くかつ連続するような観測対象がピクセル方向に沿って撮像されたためのものか、判定する必要がある。そのため、図7に示すように、画像領域を分割し、画像情報の伝送欠損か否かの判定を行う。
【0042】
図7は、画像情報欠損判定部24にて行う判定処理を示す図である。まず図7のように、不連続ライン候補LP(y)を境界に、各高周波画像を2つの領域に分割する。分割された領域はそれぞれ領域1、領域2とする。なお図7のLは所定のライン数を示し、例えばL=100(ライン)などとしてよい。
【0043】
次に、領域1に対して、ステップST1で算出された高周波画像(LH画像,HL画像,HH画像)の残差二乗和を数3に従い算出する。
【0044】
【数3】

【0045】
数3に従い算出したA1を領域1の評価値とする。領域2に対しても同様に、領域2の評価値A2を算出する。
【0046】
2つの評価値A1とA2の比が所定値以上の場合、例えば、領域1もしくは領域2のいずれか一方を海領域、他方を陸領域とし、不連続ライン候補LP(y)を海岸線のようなエッジ強度が強くかつ連続するような観測対象と判定する。つまり、評価値の比が所定値以上の場合、画像情報は連続していると判定する。一方、評価値の比が所定値未満の場合、不連続ライン候補LP(y)は画像情報の伝送欠損によるものとし、画像情報は欠損していると判定する。判定処理部45は、上記判定内容を判定信号として出力する。
【0047】
上記により画像の連続性が判定される。つまり、撮像時刻が不連続であることを検知した場合、上記の画像連続性判定により、画像情報が伝送欠損したか、画像情報は連続しており見かけ上画像情報が欠損したように見えている、と判定することが可能となる。
【0048】
図4(b)に示す判定処理部44により画像情報は連続しているという判定信号が出力された場合、例えば画像情報欠損判定部24内の撮像時刻修正部45は、不連続性を検出した撮像時刻が誤っているという判断を行う。その場合、未処理データ保持部A28より未処理データを読み出す。また撮像時刻修正部45は、撮像時刻異常検出部41で検出した不連続な撮像時刻より1時刻前の撮像時刻、つまり撮像時刻N−1を記憶しており、撮像時刻N−1をもとに撮像時刻Nを抽出する。次に、未処理データに含まれる不連続な撮像時刻N´を撮像時刻Nに修正し、修正後の撮像時刻および対応する画像情報を含む未処理データを未処理データ保持部B29へ保持する。その後、撮像時刻修正部45は未処理データ保持部B29に保持したデータをデータ処理部23へ再入力し、画像処理を再開させる。
【0049】
このように実施の形態1によれば、撮像時刻に加えて、画像情報を用いて画像情報の伝送欠損を判定することで、画像情報の伝送欠損か、画像情報は伝送されており見かけ上画像情報が欠損しているように見えているだけなのか、判定することが可能となる。また、画像情報が伝送されていると判断した場合、不連続性を検出した撮像時刻を修正することで、画像処理を継続することが可能となる。
【0050】
また上述したように、撮像時刻の異常を検知した場合、2次元の離散ウェーブレット変換は、不連続と判定した撮像時刻に対応する画像情報(ライン番号N)の前後数ラインを用いて画像情報の連続性判定を行ってもよい。これにより、1つの画像全体のライン(数10万ライン)を用いて連続性判定を行うことなく、連続性判定が必要となるライン前後の画像のみ確認して判定すればよいため、処理負荷が軽減される。
【0051】
なお本実施の形態においては、衛星より伝送される画像情報について説明したが、画像を撮像した時刻が付加された画像情報を送出する装置であれば何でもよく、衛星に限定するものではない。
【図面の簡単な説明】
【0052】
【図1】実施の形態1に係る衛星画像再生処理システムの全体構成図である。
【図2】衛星画像再生処理装置14の全体構成の一例を示している。
【図3】画像情報欠損判定部24が撮像時刻の異常を検知した場合の動作を示している。
【図4】画像情報欠損判定部24にて行う画像情報の連続性判定のフローチャートとフローチャートに対応するブロック図である。
【図5】画像情報欠損判定部24にて行う周波数処理を示す図である。
【図6】画像情報欠損判定部24にて行う閾値処理を示す図である。
【図7】画像情報欠損判定部24にて行う判定処理を示す図である。
【符号の説明】
【0053】
11.プラットフォーム
12.センサ取得情報
13.受信記録設備
14.衛星画像再生処理装置
15.入力データ
22.システム制御部
23.データ処理部
24.画像情報欠損判定部
25.表示端末部
26.運用端末部
27.正常終了データ保持部
28.未処理データ保持部A
29.未処理データ保持部B
41.撮像時刻異常検出部
42.周波数処理部
43.閾値処理部
44.判定処理部
45.撮像時刻修正部

【特許請求の範囲】
【請求項1】
撮像機により所定の時間間隔で撮像され、撮像機を構成する撮像素子の配列単位に分割された画像情報と、上記画像情報の撮像時刻とを受信し、上記画像情報を再生処理するとともに、上記撮像時刻より求められる時間間隔が上記所定の時間間隔を超えた場合、撮像時刻の不連続性を検出し検出信号を出力する撮像時刻異常検出部と、
上記撮像時刻異常検出部より検出信号を受けた場合、不連続性を検出した撮像時刻及び不連続性を検出した撮像時刻と前後する撮像時刻に対応する複数の画像情報を用いて離散ウェーブレット変換を行い、上記複数の画像情報を構成する周波数成分のうち高周波成分より構成される複数の画像情報である高周波画像を出力する周波数処理部と、
上記周波数処理部より出力された高周波画像を入力し、上記高周波画像の画素が有する特徴量に対して所定の閾値を算出し、算出した上記所定の閾値に基づき高周波画像のエッジ情報を求める閾値処理部と、
上記閾値処理部で求めたエッジ情報を用いて異なる領域に分割した上記高周波画像の各領域で残差二乗和を算出し、算出した残差二乗和の比が所定値以上である場合は上記画像情報は連続しているとし、上記残差二乗和の比が所定値未満である場合は画像情報が欠損している、との判定信号を出力する判定処理部と、
を備えることを特徴とする画像再生処理装置。
【請求項2】
上記周波数処理部は、上記複数の画像情報に対して離散ウェーブレット変換を行い上記高周波画像を複数出力し、
上記閾値処理部は、上記周波数処理部より出力された複数の高周波画像を入力し、高周波画像の画素が有する特徴量に対して所定の閾値を算出し、算出した上記所定の閾値に基づき画像のエッジとなりうる画素を高周波画像ごとに抽出し、上記画像のエッジとなりうる画素のうち複数の高周波画像で位置が重複する画素を所定数以上含むラインを画像のエッジ情報として出力する
ことを特徴とする請求項1記載の画像再生処理装置。
【請求項3】
上記撮像時刻異常検出部の検出信号を受けた場合、再生処理されない画像情報と再生処理されない画像情報に対応する撮像時刻を未処理データとして保持する未処理データ保持部と、
上記撮像時刻異常検出部で不連続性を検出した撮像時刻より1時刻前の撮像時刻を記憶し、上記判定処理部より画像情報が連続しているとの判定信号を受けた場合、不連続性を検出した撮像時刻が誤りであるとし、上記未処理データ保持部に保持された未処理データを読み出し、上記未処理データに含まれる不連続性を検出した撮像時刻を記憶した上記1時刻前の撮像時刻をもとに修正し、修正した上記未処理データを上記撮像時刻異常検出部へ再入力させる撮像時刻修正部と、
を備えることを特徴とする請求項1または2記載の画像再生処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2009−232210(P2009−232210A)
【公開日】平成21年10月8日(2009.10.8)
【国際特許分類】
【出願番号】特願2008−75814(P2008−75814)
【出願日】平成20年3月24日(2008.3.24)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】