説明

移動物体検出装置、移動物体検出プログラム、移動物体検出方法および飛行物体

【課題】人工衛星や航空機などから撮像して得られる光学画像を用いて移動物体の速度ベクトルを算出できるようにすることを目的とする。
【解決手段】検出装置記憶部290は、移動物体が存在する第一領域と第二領域とを撮像した第一領域画像と第二領域画像とを記憶する。検出装置記憶部290は、第一領域と第二領域との所定のずれ量に相当する画素数をずれ量固定値292として予め記憶する。ずれ量算出部220は、第一領域画像と第二領域画像とに対して相関演算を行って画像のずれ量をずれ量算出値221として算出する。ずれ量訂正部230は、ずれ量算出値221からずれ量固定値292を差し引いてずれ量訂正値231を算出する。速度ベクトル情報生成部240は、ずれ量訂正値231に基づいて移動物体の速度ベクトルを表す速度ベクトル情報241を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、移動物体の速度ベクトル情報を検出する移動物体検出装置、移動物体検出プログラム、移動物体検出方法および飛行物体に関するものである。
【背景技術】
【0002】
従来、人工衛星や航空機に合成開口レーダ(SAR:Synthetic Aperture Radar)が搭載され、合成開口レーダで取得したSAR画像を用いて自動車や船舶などの移動物体の検出が行われている。
例えば、TerraSAR−Xなどの近年の人工衛星にはMTI(Moving Target Indicator)撮像モードが標準的に装備されつつある。
【0003】
また、人工衛星や航空機には高分解能な画像を取得するために時間遅延積分方式(TDI:Time Delayed Integration)の光学カメラが搭載されている。
光学カメラで取得した光学画像とリファレンスとなる移動物体の画像との特徴点を照合することにより、光学画像に映った移動物体を検出することも可能である。
但し、光学画像を用いて移動物体の速度や方向(速度ベクトル)を算出することは困難であった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平10−206539号公報
【特許文献2】特開2001−289946号公報
【特許文献3】特開2008−256447号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、例えば、人工衛星や航空機などから撮像して得られる光学画像を用いて移動物体の速度ベクトル(速度、方向)を算出できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の移動物体検出装置は、
移動物体が存在する第一領域を撮像した第一領域画像と、前記移動物体が存在する第二領域であって前記第一領域から所定のずれ量だけずれた第二領域を撮像した第二領域画像とを記憶する領域画像記憶部と、
前記第一領域画像に映る前記第一領域と前記第二領域画像に映る前記第二領域との前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部と、
前記領域画像記憶部に記憶された第一領域画像と第二領域画像とに対して相関演算を行って前記移動物体を映した前記第一領域画像内の部分と前記移動物体を映した前記第二領域画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から前記ずれ量固定値記憶部に記憶されたずれ量固定値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する速度ベクトル情報出力部とを備える。
【0007】
前記第一領域画像と前記第二領域画像とは、前記移動領域の上空を所定の飛行方向へ飛行する飛行物体から撮像装置によって撮像して生成された画像であり、
前記撮像装置は、前記所定の飛行方向に並べられて所定の撮像周期毎に同時に撮像を行う複数の撮像部であって前記所定の撮像周期毎に前の撮像部が前回撮像した領域部分を後ろの撮像部が撮像する複数の撮像部を有し、前記複数の撮像部によって得られる複数の画像部分から成る全体画像を前記撮像周期毎に領域画像として生成し、
前記領域画像記憶部は、前記撮像装置によって特定の撮像時に生成された領域画像を前記第一領域画像として記憶し、前記撮像装置によって前記第一領域画像の次の撮像時に生成された領域画像を前記第二領域画像として記憶し、
前記ずれ量固定値記憶部は、前記撮像部毎に得られる画像部分の前記所定の飛行方向の画素数を前記ずれ量固定値として記憶する。
【0008】
前記ずれ量算出部は、前記第一領域画像と前記第二領域画像とを複数の画像ブロックに分割し、前記第一領域画像と前記第二領域画像とに対して前記画像ブロック毎に前記相関演算を行って前記画像ブロック毎に画像のずれ量を算出し、前記画像ブロック毎に算出した画像のずれ量と前記ずれ量固定値とを比較して画像のずれ量が前記ずれ量固定値と異なる画像ブロックを前記移動物体が映った移動物体ブロックとして判定し、前記移動物体ブロックの画像のずれ量を前記ずれ量算出値として選択する。
【0009】
前記移動物体検出装置は、さらに、
前記第一領域画像に前記第二領域画像を前記ずれ量固定値または前記ずれ量算出値だけずらして画素毎に前記第一領域画像と前記第二領域画像との画素値の合計値を設定した重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された重ね合わせ画像を出力する重ね合わせ画像出力部とを備える。
【0010】
本発明の移動物体検出装置は、
移動物体の上空を所定の飛行方向へ飛行する飛行物体から前記移動物体が存在する領域を撮像した複数の領域画像であって前記所定の飛行方向へ所定のずれ量だけ撮像領域をずらしながら撮像した複数の領域画像を記憶する領域画像記憶部と、
前記複数の領域画像の前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部と、
前記領域画像記憶部に記憶された複数の領域画像から連続して撮像された所定の組み合わせ数の領域画像を組み合わせて第一の画像組み合わせと第二の画像組み合わせとを取得する画像組み合わせ取得部と、
前記第一の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第一の重ね合わせ画像を生成し、前記第二の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第二の重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された第一の重ね合わせ画像と第二の重ね合わせ画像とに対して相関演算を行って前記移動物体を映した前記第一の重ね合わせ画像内の部分と前記移動物体を映した前記第二の重ね合わせ画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から、前記第一の画像組み合わせ内で最初に撮像された領域画像から前記第二の画像組み合わせ内で最初に撮像された領域画像までの撮像回数に前記ずれ量固定値を乗じて得られるずれ量補正値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する速度ベクトル情報出力部とを備える。
【0011】
本発明の移動物体検出プログラムは、
移動物体が存在する第一領域を撮像した第一領域画像と、前記移動物体が存在する第二領域であって前記第一領域から所定のずれ量だけずれた第二領域を撮像した第二領域画像とを記憶する領域画像記憶部と、前記第一領域画像に映る前記第一領域と前記第二領域画像に映る前記第二領域との前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部とを備える移動物体検出装置を動作させる。
前記移動物体検出プログラムは、
前記領域画像記憶部に記憶された第一領域画像と第二領域画像とに対して相関演算を行って前記移動物体を映した前記第一領域画像内の部分と前記移動物体を映した前記第二領域画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から前記ずれ量固定値記憶部に記憶されたずれ量固定値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する速度ベクトル情報出力部として前記移動物体検出装置を動作させる。
【0012】
前記第一領域画像と前記第二領域画像とは、前記移動領域の上空を所定の飛行方向へ飛行する飛行物体から撮像装置によって撮像して生成された画像であり、
前記撮像装置は、前記所定の飛行方向に並べられて所定の撮像周期毎に同時に撮像を行う複数の撮像部であって前記所定の撮像周期毎に前の撮像部が前回撮像した領域部分を後ろの撮像部が撮像する複数の撮像部を有し、前記複数の撮像部によって得られる複数の画像部分から成る全体画像を前記撮像周期毎に領域画像として生成し、
前記領域画像記憶部は、前記撮像装置によって特定の撮像時に生成された領域画像を前記第一領域画像として記憶し、前記撮像装置によって前記第一領域画像の次の撮像時に生成された領域画像を前記第二領域画像として記憶し、
前記ずれ量固定値記憶部は、前記撮像部毎に得られる画像部分の前記所定の飛行方向の画素数を前記ずれ量固定値として記憶する。
【0013】
前記ずれ量算出部は、前記第一領域画像と前記第二領域画像とを複数の画像ブロックに分割し、前記第一領域画像と前記第二領域画像とに対して前記画像ブロック毎に前記相関演算を行って前記画像ブロック毎に画像のずれ量を算出し、前記画像ブロック毎に算出した画像のずれ量と前記ずれ量固定値とを比較して画像のずれ量が前記ずれ量固定値と異なる画像ブロックを前記移動物体が映った移動物体ブロックとして判定し、前記移動物体ブロックの画像のずれ量を前記ずれ量算出値として選択する。
【0014】
前記第一領域画像に前記第二領域画像を前記ずれ量固定値または前記ずれ量算出値だけずらして画素毎に前記第一領域画像と前記第二領域画像との画素値の合計値を設定した重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された重ね合わせ画像を出力する重ね合わせ画像出力部として前記移動物体検出装置を動作させる。
【0015】
本発明の移動物体検出プログラムは、
移動物体の上空を所定の飛行方向へ飛行する飛行物体から前記移動物体が存在する領域を撮像した複数の領域画像であって前記所定の飛行方向へ所定のずれ量だけ撮像領域をずらしながら撮像した複数の領域画像を記憶する領域画像記憶部と、前記複数の領域画像の前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部とを備える移動物体検出装置を動作させる。
前記移動物体検出プログラムは、
前記領域画像記憶部に記憶された複数の領域画像から連続して撮像された所定の組み合わせ数の領域画像を組み合わせて第一の画像組み合わせと第二の画像組み合わせとを取得する画像組み合わせ取得部と、
前記第一の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第一の重ね合わせ画像を生成し、前記第二の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第二の重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された第一の重ね合わせ画像と第二の重ね合わせ画像とに対して相関演算を行って前記移動物体を映した前記第一の重ね合わせ画像内の部分と前記移動物体を映した前記第二の重ね合わせ画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から、前記第一の画像組み合わせ内で最初に撮像された領域画像から前記第二の画像組み合わせ内で最初に撮像された領域画像までの撮像回数に前記ずれ量固定値を乗じて得られるずれ量補正値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する速度ベクトル情報出力部として前記移動物体検出装置を動作させる。
【0016】
本発明の移動物体検出方法は、
移動物体が存在する第一領域を撮像した第一領域画像と、前記移動物体が存在する第二領域であって前記第一領域から所定のずれ量だけずれた第二領域を撮像した第二領域画像とを記憶する領域画像記憶部と、前記第一領域画像に映る前記第一領域と前記第二領域画像に映る前記第二領域との前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部とを備える移動物体検出装置によって実行する。
前記移動物体検出方法は、
ずれ量算出部が、前記領域画像記憶部に記憶された第一領域画像と第二領域画像とに対して相関演算を行って前記移動物体を映した前記第一領域画像内の部分と前記移動物体を映した前記第二領域画像内の部分との位置のずれ量をずれ量算出値として算出し、
ずれ量訂正部が、前記ずれ量算出部によって算出されたずれ量算出値から前記ずれ量固定値記憶部に記憶されたずれ量固定値を差し引いた値をずれ量訂正値として算出し、
速度ベクトル情報生成部が、前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成し、
速度ベクトル情報出力部が、前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する。
【0017】
本発明の移動物体検出方法は、
移動物体の上空を所定の飛行方向へ飛行する飛行物体から前記移動物体が存在する領域を撮像した複数の領域画像であって前記所定の飛行方向へ所定のずれ量だけ撮像領域をずらしながら撮像した複数の領域画像を記憶する領域画像記憶部と、前記複数の領域画像の前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部とを備える移動物体検出装置によって実行する。
前記移動物体検出方法は、
画像組み合わせ取得部が、前記領域画像記憶部に記憶された複数の領域画像から連続して撮像された所定の組み合わせ数の領域画像を組み合わせて第一の画像組み合わせと第二の画像組み合わせとを取得し、
重ね合わせ画像生成部が、前記第一の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第一の重ね合わせ画像を生成し、前記第二の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第二の重ね合わせ画像を生成し、
ずれ量算出部が、前記重ね合わせ画像生成部によって生成された第一の重ね合わせ画像と第二の重ね合わせ画像とに対して相関演算を行って前記移動物体を映した前記第一の重ね合わせ画像内の部分と前記移動物体を映した前記第二の重ね合わせ画像内の部分との位置のずれ量をずれ量算出値として算出し、
ずれ量訂正部が、前記ずれ量算出部によって算出されたずれ量算出値から、前記第一の画像組み合わせ内で最初に撮像された領域画像から前記第二の画像組み合わせ内で最初に撮像された領域画像までの撮像回数に前記ずれ量固定値を乗じて得られるずれ量補正値を差し引いた値をずれ量訂正値として算出し、
速度ベクトル情報生成部が、前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成し、
速度ベクトル情報出力部が、前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する。
【0018】
本発明の飛行物体は、
撮像装置と移動物体検出装置とを備え、移動物体の上空を所定の飛行方向へ飛行する。
前記撮像装置は、前記所定の飛行方向に並べられて所定の撮像周期毎に同時に撮像を行う複数の撮像部であって前記所定の撮像周期毎に前の撮像部が前回の撮像時に撮像した領域部分を後ろの撮像部が撮像する複数の撮像部を有し、前記複数の撮像部によって得られる複数の画像部分から成る全体画像を前記撮像周期毎に領域画像として生成する。
前記移動物体検出装置は、
前記撮像装置によって前記移動物体が存在する第一領域を撮像して生成された第一領域画像と、前記撮像装置によって前記第一領域画像の次の撮像時に前記移動物体が存在する第二領域を撮像して生成された第二領域画像とを記憶する領域画像記憶部と、
前記撮像部毎に得られる画像部分の前記所定の飛行方向の画素数をずれ量固定値として記憶するずれ量固定値記憶部と、
前記領域画像記憶部に記憶された第一領域画像と第二領域画像とに対して相関演算を行って前記移動物体を映した前記第一領域画像内の部分と前記移動物体を映した前記第二領域画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から前記ずれ量固定値記憶部に記憶されたずれ量固定値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を送信する速度ベクトル情報出力部とを備える。
【0019】
本発明の飛行物体は、
撮像装置と移動物体検出装置とを備え、移動物体の上空を所定の飛行方向へ飛行する。
前記撮像装置は、前記所定の飛行方向に並べられて所定の撮像周期毎に同時に撮像を行う複数の撮像部であって前記所定の撮像周期毎に前の撮像部が前回の撮像時に撮像した領域部分を後ろの撮像部が撮像する複数の撮像部を有し、前記複数の撮像部によって得られる複数の画像部分から成る全体画像を前記撮像周期毎に領域画像として生成する。
前記移動物体検出装置は、
前記撮像装置によって撮像周期毎に前記移動物体が存在する領域を撮像して生成された複数の領域画像を記憶する領域画像記憶部と、
前記撮像部毎に得られる画像部分の前記所定の飛行方向の画素数をずれ量固定値として記憶するずれ量固定値記憶部と、
前記領域画像記憶部に記憶された複数の領域画像から連続して撮像された所定の組み合わせ数の領域画像を組み合わせて第一の画像組み合わせと第二の画像組み合わせとを取得する画像組み合わせ取得部と、
前記第一の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第一の重ね合わせ画像を生成し、前記第二の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第二の重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された第一の重ね合わせ画像と第二の重ね合わせ画像とに対して相関演算を行って前記移動物体を映した前記第一の重ね合わせ画像内の部分と前記移動物体を映した前記第二の重ね合わせ画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から、前記第一の画像組み合わせ内で最初に撮像された領域画像から前記第二の画像組み合わせ内で最初に撮像された領域画像までの撮像回数に前記ずれ量固定値を乗じて得られるずれ量補正値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を送信する速度ベクトル情報出力部とを備える。
【発明の効果】
【0020】
本発明によれば、例えば、人工衛星や航空機などから撮像して得られる光学画像を用いて移動物体の速度ベクトル(速度、方向)を算出することが可能になる。
【図面の簡単な説明】
【0021】
【図1】実施の形態1における移動物体検出システム100の概要図。
【図2】実施の形態1における人工衛星110の撮像方法を示す図。
【図3】実施の形態1における光学カメラ111の概要図。
【図4】実施の形態1における光学画像291と静止物体102とずれ量固定値292との関係を示す図。
【図5】実施の形態1における光学画像291と移動物体101とずれ量固定値292との関係を示す図。
【図6】実施の形態1における人工衛星110および移動物体検出装置200の構成図。
【図7】実施の形態1における移動物体検出装置200の移動物体検出方法を示すフローチャート。
【図8】実施の形態1における第一領域画像291A(または第二領域画像291B)と画像ブロック291aとの関係を示す図。
【図9】実施の形態1における第一領域画像291Aと第二領域画像291Bとの画像のずれ量を画像ブロック291a毎に示した図。
【図10】実施の形態1におけるずれ量算出値221とずれ量固定値292とずれ量訂正値231との関係を示す図。
【図11】実施の形態1における移動物体検出装置200のハードウェア資源の一例を示す図。
【図12】実施の形態2における移動物体検出装置200の構成図。
【図13】実施の形態2(実施例1)における移動物体検出装置200の移動物体検出方法を示すフローチャート。
【図14】実施の形態2(実施例1)における高感度画像生成処理(S220)の具体例を示す図。
【図15】実施の形態2(実施例1)における高感度画像生成処理(S220)の概要図。
【図16】実施の形態2(実施例2)における移動物体検出装置200の移動物体検出方法を示すフローチャート。
【図17】実施の形態2(実施例2)における高感度画像生成処理(S221)の具体例を示す図。
【図18】実施の形態2(実施例2)における移動物体検出装置200の移動物体検出方法の別例を示すフローチャート。
【図19】実施の形態3における移動物体検出装置200の構成図。
【図20】実施の形態3における移動物体検出装置200の移動物体検出方法を示すフローチャート。
【図21】実施の形態4における撮像周期Tの算出に用いるパラメータの関係を表した図。
【発明を実施するための形態】
【0022】
実施の形態1.
人工衛星や航空機などの飛行物体から船舶や車両などの移動物体を撮像して移動物体の移動ベクトルを算出する形態について説明する。
【0023】
図1は、実施の形態1における移動物体検出システム100の概要図である。
実施の形態1における移動物体検出システム100の概要について、図1に基づいて説明する。
【0024】
移動物体検出システム100は、人工衛星110(飛行物体の一例)と地上局120とを有する。但し、人工衛星110の代わりにその他の飛行物体(例えば、航空機)を用いてもよい。
【0025】
人工衛星110は、光学カメラ(撮像装置の一例)と移動物体検出装置とを備える(図示省略)。
光学カメラは、船舶や車両などの移動物体101が存在する領域を撮像して光学画像を生成する。
移動物体検出装置は、光学カメラによって生成された光学画像に基づいて移動物体101の移動ベクトル(速度、方向)を算出し、算出した移動物体101の移動ベクトルを地上局120へ送信する。但し、移動物体検出装置が移動物体101の移動ベクトルを算出するための情報を地上局120へ送信し、地上局120で移動物体101の移動ベクトルを算出してもよい。
【0026】
図2は、実施の形態1における人工衛星110の撮像方法を示す図である。
図3は、実施の形態1における光学カメラ111の概要図である。
実施の形態1における人工衛星110の撮像方法について、図2、図3に基づいて説明する。
【0027】
図2において、人工衛星110は、光学カメラ111(撮像装置の一例)を備える。
光学カメラ111(例えば、CCDカメラ)は、二次元に配置した複数の撮像素子(例えば、CCD素子)を有する。つまり、光学カメラ111は、撮像素子を並べた列を複数列有する。
撮像素子の複数列は、人工衛星110の飛行方向(図中の点線矢印)に並べて配置される。
【0028】
光学カメラ111は、撮像素子の複数列によって得られる複数の画像列から成る二次元の光学画像(全体画像)を生成する。
例えば、光学カメラ111が10000個の撮像素子111aを並べた列を100列有する場合(図3参照)、100×10000画素の光学画像が得られる。
以下、人工衛星110の飛行方向に相当する光学画像の横軸を「X軸」とし、撮像素子の列の長さ方向に相当する光学画像の縦軸を「Y軸」とする。
【0029】
以下、撮像素子の一列または所定数の複数列を「撮像素子のライン」または「素子ライン」という(撮像部の一例)。
例えば、10000個×1列の撮像素子または10000個×n列(n:2以上の所定の整数)を撮像素子の一ラインとして扱ってもよい。
【0030】
光学カメラ111は、撮像周期(シャッター周期)毎に各撮像素子のシャッターを切って撮像を行う。撮像周期は、人工衛星110の飛行速度、飛行高度、および、光学カメラ111の焦点距離、撮像素子のライン方向(飛行方向、X方向)の配列の間隔などに基づいて算出される。
撮像周期の算出方法について、後述する実施の形態4で説明する。
【0031】
光学カメラ111は、図2の撮像時(1)−(3)に示すように、撮像周期毎に撮像領域191(図中の太枠内)の位置を1ラインずつずらしながら撮像を行って光学画像を生成する。ここで、「撮像領域191のライン(領域ライン)」とは、前記撮像素子の一ラインによって撮像される領域部分に相当する。
【0032】
図4は、実施の形態1における光学画像291と静止物体102とずれ量固定値292との関係を示す図である。
実施の形態1における光学画像291と静止物体102とずれ量固定値292との関係について、図4に基づいて説明する。
【0033】
(1)最初に撮像された光学画像291のX軸の端(人工衛星110の飛行方向側)に静止物体102が映った場合、以後の撮像時(2)(3)に光学画像291内の静止物体102の位置は以下のように変化する。
【0034】
(2)最初の撮像時(1)から所定の撮像周期の経過後に撮像された光学画像291では、静止物体102はX軸方向に1ラインだけずれた位置(X軸の端から1ラインずれた位置)に映る。
ここで、「光学画像291のライン(画像ライン)」とは、前記撮像素子の一ラインによって得られる画像部分に相当する。つまり、光学画像291の1ラインは、前記撮像領域の1ラインを映した画像部分である。
例えば、撮像素子の一ラインが10000個×1列の撮像素子によって構成され、1つの撮像素子が1画素を生成する場合、光学画像291の一ラインはX軸に1画素、Y軸に10000画素の画像部分である。
光学画像291内の静止物体102の位置が1ラインだけずれるのは、撮像周期の間に静止物体102が移動せず、人工衛星110が1ライン分だけ移動するためである。
【0035】
(3)同様に、撮像時(2)から撮像周期の経過後に撮像された光学画像291では、静止物体102はX軸方向に更に1ラインだけずれた位置(X軸の端から2ラインずれた位置)に映る。
【0036】
以下、光学画像291の1ラインのX軸方向(人工衛星110の飛行方向)の画素数を「ずれ量固定値292」という。
【0037】
図5は、実施の形態1における光学画像291と移動物体101とずれ量固定値292との関係を示す図である。
実施の形態1における光学画像291と移動物体101とずれ量固定値292との関係について、図5に基づいて説明する。
【0038】
(1)最初に撮像された光学画像291のX軸の端(人工衛星110の飛行方向側)に移動物体101が映った場合、以後の撮像時(2)(3)に光学画像291内の移動物体101の位置は以下のように変化する。
移動物体101は、図中の点線矢印の方向へ移動しているものとする。
【0039】
(2)最初の撮像時(1)から所定の撮像周期の経過後に撮像された光学画像291では、移動物体101はX軸方向の1ラインのずれ(ずれ量固定値292)に加えて、移動物体101の移動方向に移動物体101の移動速度に応じた特定の画素数だけずれた位置に映る。
移動物体101が移動しない場合の移動物体101の位置を点線の丸印で示す。
【0040】
(3)撮像時(2)から撮像周期の経過後に撮像された光学画像291では、移動物体101は、更に、X軸方向の1ラインのずれに加えて、移動物体101の移動方向に特定の画素数だけずれた位置に映る。
【0041】
つまり、移動物体101の移動量は、前回撮像した光学画像291と今回撮像した光学画像291とを比較して得られる移動物体101のずれ量からずれ量固定値292を差し引いた残りのずれ量に等しい。
【0042】
図6は、実施の形態1における人工衛星110および移動物体検出装置200の構成図である。実施の形態1における人工衛星110および移動物体検出装置200の構成について、図6に基づいて説明する。
【0043】
人工衛星110(飛行物体の一例)は、移動物体101の上空を所定の飛行方向へ飛行する。
【0044】
人工衛星110は、光学カメラ111と移動物体検出装置200と通信アンテナ112とを備える。
【0045】
光学カメラ111(撮像装置の一例)は、撮像素子のライン(撮像部の一例)を複数有し、撮像素子の複数ラインによって得られる複数の画像部分から成る全体画像を所定の撮像周期毎に光学画像291(領域画像の一例)として生成する。
【0046】
撮像素子の複数ラインは、人工衛星110の飛行方向に並べて配置される。
撮像素子の複数ラインは、所定の撮像周期毎に同時に撮像を行う。また、撮像素子の複数ラインは、撮像周期毎に前列のラインが前回撮像した領域部分を後列のラインが撮像する。
【0047】
移動物体検出装置200は、画像取得部210、ずれ量算出部220、ずれ量訂正部230、速度ベクトル情報生成部240、検出データ送信部250および検出装置記憶部290を備える。
【0048】
検出装置記憶部290(領域画像記憶部、ずれ量固定値記憶部の一例)は、移動物体検出装置200で使用するデータを記憶する。
例えば、検出装置記憶部290は、複数の光学画像291を記憶する。また、検出装置記憶部290は、ずれ量固定値292を予め記憶する。
【0049】
光学画像291は、光学カメラ111によって撮像周期毎に撮像して生成された画像である。つまり、光学画像291は、移動物体101が存在する領域を撮像した領域画像であって人工衛星110の飛行方向へ1ライン(所定のずれ量の一例)だけ撮像領域をずらしながら撮像した領域画像である(図2参照)。
以下、光学カメラ111によって移動物体101が存在する第一領域を撮像して生成された光学画像291を「第一領域画像」という。また、光学カメラ111によって移動物体101が存在する第二領域であって第一領域から1ラインだけずれた第二領域を撮像して生成された光学画像291を「第二領域画像」という。第二領域画像は、第一領域画像の次の撮像時に生成された光学画像291である。
【0050】
ずれ量固定値292は、第一領域画像に映る第一領域と第二領域画像に映る第二領域とのずれ量(撮像領域の1ライン)に相当する画素数である。つまり、ずれ量固定値292は、撮像素子のライン毎に得られる画像部分の人工衛星110の飛行方向(図4、5のX軸方向)の画素数である。
【0051】
画像取得部210は、検出装置記憶部290から連続して撮像された複数の光学画像291(領域画像)を取得する。
例えば、画像取得部210は、検出装置記憶部290から第一領域画像と第一領域画像の次の撮像時に撮像された第二領域画像とを取得する。
【0052】
ずれ量算出部220は、画像取得部210が取得した複数の光学画像291に対して相関演算を行って移動物体101を映した各光学画像291内の部分の位置のずれ量をずれ量算出値221として算出する。
例えば、ずれ量算出部220は、第一領域画像と第二領域画像とを複数の画像ブロックに分割し、第一領域画像と第二領域画像とに対して画像ブロック毎に相関演算を行って画像ブロック毎に画像のずれ量を算出する。ずれ量算出部220は、画像ブロック毎に算出した画像のずれ量とずれ量固定値292とを比較して画像のずれ量がずれ量固定値292と異なる画像ブロックを移動物体101が映った移動物体ブロックとして判定する。ずれ量算出部220は、画像ブロック毎に算出した画像のずれ量から移動物体ブロックの画像のずれ量をずれ量算出値221として選択する。
ずれ量算出部220は、移動物体ブロックの位置を表す移動物体ブロック情報222を生成する。
【0053】
ずれ量訂正部230は、ずれ量算出部220によって算出されたずれ量算出値から検出装置記憶部290に記憶されたずれ量固定値292を差し引いた値をずれ量訂正値231として算出する。
【0054】
速度ベクトル情報生成部240は、ずれ量訂正部230によって算出されたずれ量訂正値231に基づいて移動物体101の速度ベクトルを表す速度ベクトル情報241を生成する。
【0055】
検出データ送信部250(速度ベクトル情報出力部の一例)は、速度ベクトル情報生成部240によって生成された速度ベクトル情報241やずれ量算出部220によって生成された移動物体ブロック情報222を出力する。
例えば、検出データ送信部250は、速度ベクトル情報241と移動物体ブロック情報222とを含んだ移動物体検出データ251を生成し、生成した移動物体検出データ251を通信アンテナ112を介して地上局装置121へ送信する。
【0056】
地上局装置121は、地上局120のコンピュータ(情報処理装置)である。
【0057】
図7は、実施の形態1における移動物体検出装置200の移動物体検出方法を示すフローチャートである。
実施の形態1における移動物体検出装置200の移動物体検出方法について、図7に基づいて説明する。
【0058】
人工衛星110の光学カメラ111によって所定の撮像周期毎に撮像されて生成される光学画像291は、移動物体検出装置200の検出装置記憶部290に随時に記憶される。
各光学画像291の画像の大きさ(画素数)及び画像に映る撮像領域の大きさは等しい。
【0059】
S110において、画像取得部210は、検出装置記憶部290から第一領域画像291Aと第二領域画像291Bとを取得する。
第一領域画像291Aは特定の撮像時に生成された光学画像291であり、第二領域画像291Bは第一領域画像の次の撮像時に生成された光学画像291である。
第一領域画像291Aと第二領域画像291Bとにはそれぞれに同一の移動物体101が映っているものとする。
以下、第一領域画像291Aに映った撮像領域を第一領域といい、第二領域画像291Bに映った撮像領域を第二領域という。第二領域は、第一領域から人工衛星110の飛行方向へ所定の1ライン分だけずれた撮像領域である。
S110の後、S120に進む。
【0060】
S120において、ずれ量算出部220は、S110で取得された第一領域画像291Aと第二領域画像291Bとをそれぞれ所定の大きさの画像ブロック291aに分割する(図8参照)。
【0061】
図8は、実施の形態1における第一領域画像291A(または第二領域画像291B)と画像ブロック291aとの関係を示す図である。
【0062】
例えば、40×70画素の第一領域画像291A(または第二領域画像291B)に対して画像ブロック291aの大きさを10×10画素とする。
また、画像ブロック291aのX軸方向の画素数は画像の1ラインのX軸方向の画素数より大きい。
【0063】
図7に戻り、S120の説明を続ける。
【0064】
ずれ量算出部220は、第一領域画像291Aと第二領域画像291Bとのうち重複する領域を映した部分だけを対象にして画像ブロック291aに分割してもよい。
つまり、ずれ量算出部220は、第一領域画像291Aから最後方のラインを除いた残りの第一領域画像291Aと第二領域画像291Bから先頭のラインを除いた残りの第二領域画像291Bとを画像ブロック291aに分割してもよい。
【0065】
ずれ量算出部220は、第一領域画像291Aと第二領域画像291Bとに対して画像ブロック毎に面積相関処理を行う。つまり、ずれ量算出部220は、第一領域画像291Aと第二領域画像291Bとの同じ位置にある画像ブロック同士を面積相関処理する。
面積相関処理とは、データ(例えば、画像)のずれ量を計算する相関演算を二次元(X軸とY軸)で行う処理である。
これにより、画像ブロック毎に第一領域画像291Aと第二領域画像291Bとの画像のX軸のずれ量とY軸のずれ量とを算出することができる。つまり、画像ブロック毎に第一領域画像291Aと第二領域画像291Bとの画像のずれ量のベクトル(大きさ[画素数]、方向[X軸、Y軸])を算出することができる(図9参照)。
【0066】
図9は、実施の形態1における第一領域画像291Aと第二領域画像291Bとの画像のずれ量を画像ブロック291a毎に示した図である。
画像ブロック291a内の矢印は画像のずれ量のベクトルを示している。
例えば、(X=1,Y=1)の画像ブロック291a内の矢印は、第一領域画像291Aの(X=1,Y=1)の画像ブロック291aと第二領域画像291Bの(X=1,Y=1)の画像ブロック291aとを面積相関処理して算出した画像のずれ量のベクトルを示している。
【0067】
第一領域画像291Aと第二領域画像291Bとでは撮像した領域がX軸方向に1ライン分だけずれている。
このため、移動物体101が映っていない画像ブロック291aでは、ずれ量のベクトルがX軸方向に1ライン分の大きさを示す(図9のX≠2,Y≠3の画像ブロック291a)。
【0068】
一方、移動物体101が映っている画像ブロック291aでは、ずれ量のベクトルがX軸方向の1ライン分の大きさ以外のベクトルを示す(図9のX=2,Y=3の画像ブロック291a)。
移動物体101がX軸方向に移動していた場合、移動物体101が映っている画像ブロック291aでは、ずれ量がX軸方向に大きく(または小さく)なるためである。また、移動物体101がY軸方向に移動していた場合、移動物体101が映っている画像ブロック291aではY軸方向のずれ量が生じるためである。
【0069】
図7に戻り、説明を続ける。
S120の後、S130へ進む。
【0070】
S130において、ずれ量算出部220は、S120で算出した各画像ブロック291aの画像のずれ量のベクトルと検出装置記憶部290に予め記憶されたずれ量固定値292とを比較する。
そして、ずれ量算出部220は、画像のずれ量のベクトルがずれ量固定値292と異なる画像ブロック291aを移動物体101が映っている移動物体ブロック291bとして判定する。
ずれ量固定値292は、X軸方向のずれ量として1ライン分の大きさ(画素数)を示す。Y軸方向のずれ量はゼロである。
【0071】
図9において、(X=2,Y=3)以外の画像ブロック291aのずれ量のベクトルは、X軸方向に1ライン分の大きさを示しているため、ずれ量固定値292と等しい。
一方、(X=2,Y=3)の画像ブロック291aのずれ量のベクトルは、X軸方向のずれ量が1ライン分より大きく、また、Y軸方向のずれ量を含んでいるため、ずれ量固定値292と異なる。
したがって、ずれ量算出部220は、(X=2,Y=3)の画像ブロック291aを移動物体ブロック291bとして判定する。
【0072】
画像ブロック291aの画像のずれ量のベクトルとずれ量固定値292との差が所定のずれ量閾値の範囲内である場合、ずれ量算出部220は、画像ブロック291aの画像のずれ量のベクトルとずれ量固定値292とが等しいと判定する。
例えば、X軸方向とY軸方向とのそれぞれのずれ量閾値を「2画素」とした場合、ずれ量算出部220は、ずれ量固定値292とのずれ量の差がX軸方向とY軸方向との少なくとも一方で「3画素」以上である画像ブロック291aを移動物体ブロック291bと判定する。
【0073】
図7に戻り、S130の説明を続ける。
【0074】
ずれ量算出部220は、各画像ブロック291aの画像のずれ量のベクトルのうち移動物体ブロック291bの画像のずれ量のベクトルをずれ量算出値221として選択する。
ずれ量算出部220は、移動物体ブロック291bの第一領域画像291A(および第二領域画像291B)内の位置を示す移動物体ブロック情報222を生成する。例えば、移動物体ブロック情報222は、移動物体ブロック291bの4つの頂点それぞれの第一領域画像291A内の二次元座標値(x,y)を示す。
S130の後、S140に進む。
【0075】
S140において、ずれ量訂正部230は、S130で算出されたずれ量算出値221(移動物体ブロック291bの画像のずれ量のベクトル)から検出装置記憶部290に予め記憶されたずれ量固定値292を差し引いた値(ベクトル)をずれ量訂正値231として算出する(図10参照)。
【0076】
図10は、実施の形態1におけるずれ量算出値221とずれ量固定値292とずれ量訂正値231との関係を示す図である。
ずれ量訂正値231は、移動物体101の移動量を示す。
【0077】
図7に戻り、説明を続ける。
S140の後、S150に進む。
【0078】
S150において、速度ベクトル情報生成部240は、S140で算出されたずれ量訂正値231に基づいて移動物体101の速度ベクトルを表す速度ベクトル情報241を生成する。
例えば、速度ベクトル情報生成部240は、以下のように速度ベクトル情報241を生成する。
【0079】
(1)速度ベクトル情報生成部240は、ずれ量訂正値231が示す画素数に1画素当たりの領域の大きさ(距離)を乗算して移動物体101の移動ベクトルを算出する。速度ベクトル情報生成部240は、算出した移動ベクトルを撮像周期で除算して移動物体101の速度ベクトルを算出し、算出した移動物体101の速度ベクトルを速度ベクトル情報241に設定する。
1画素当たりの領域の大きさ(距離)や撮像周期は、検出装置記憶部290に予め記憶しておく。
例えば、ずれ量訂正値231が示すX軸方向のずれ量を「1画素」とし、Y軸方向のずれ量を「2画素」とする。また、1画素当たりの領域の大きさを「1メートル×1メートル」とし、撮像周期を「1秒」とする。この場合、移動物体101の移動ベクトルはX軸方向に「1メートル」であり、Y軸方向に「2メートル」である。また、移動物体101の速度ベクトルはX軸方向に秒速「1メートル」であり、Y軸方向に秒速「2メートル」である。
【0080】
(2)速度ベクトル情報生成部240は、ずれ量訂正値231または移動物体101の移動ベクトルを移動物体101の速度ベクトルを表す情報として速度ベクトル情報241に設定してもよい。
この場合、地上局装置121は、速度ベクトル情報241に設定されたずれ量訂正値231または移動物体101の移動ベクトルに基づいて上記(1)と同様にして移動物体101の速度ベクトルを算出する。
【0081】
S150の後、S160へ進む。
【0082】
S160において、検出データ送信部250は、S130で生成された移動物体ブロック情報222とS150で生成された移動物体検出データ251との少なくとも一方を含んだ移動物体検出データ251を生成する。
検出データ送信部250は、生成した移動物体検出データ251を通信アンテナ112を介して地上局装置121へ送信する。
移動物体検出データ251には、第一領域画像291A、第二領域画像291B、各画像の撮像時刻、各撮像時刻における人工衛星110の三次元座標値(例えば、緯度,経度,高度)などの情報を含めてもよい。また、人工衛星110の軌道を地上局120で制御し、人工衛星110の各時刻の座標値を地上局装置121に予め記憶しておいてもよい。
【0083】
地上局装置121は、移動物体検出データ251を受信し、受信した移動物体検出データ251をディスプレイなどに出力する。
地上局装置121は、例えば、以下のようにして移動物体101の三次元座標値を算出し、算出した移動物体101の三次元座標値をディスプレイなどに出力してもよい。
地上局装置121は、人工衛星110の座標値や光学カメラ111の性能値(例えば、画角や焦点距離)に基づいて第一領域(または第二領域)の三次元座標値を算出する。地上局装置121は、移動物体ブロック情報222が示す移動物体ブロック291bの第一領域画像291A(または第二領域画像291B)内の位置と第一領域(または第二領域)の三次元座標値とに基づいて移動物体101の三次元座標値を算出する。光学カメラ111の性能値は地上局装置121の記憶部に予め記憶しておく。
また、移動物体101の三次元座標値を算出する座標値算出部を移動物体検出装置200に備え、移動物体101の三次元座標値を含む移動物体検出データ251を移動物体検出装置200から地上局装置121へ送信してもよい。
【0084】
S160の後、S110に戻り、S110からS160の処理を繰り返す。
つまり、移動物体検出装置200は、新たな第一領域画像291Aと第二領域画像291Bとの組み合わせを検出装置記憶部290から取得し(S110)、取得した新たな第一領域画像291Aと第二領域画像291Bとに基づいて移動物体検出データ251を生成して地上局装置121へ送信する(S120−S160)。
例えば、移動物体検出装置200は、前回処理した第二領域画像291Bを新たな第一領域画像291Aとして処理し、新たな第一領域画像291Aの次の撮像時に撮像された光学画像291を新たな第二領域画像291Bとして処理する。
また、移動物体検出装置200は、前回処理した第一領域画像291Aをそのまま新たな第一領域画像291Aとして処理し、前回処理した第二領域画像291Bの次の撮像時に撮像された光学画像291を新たな第二領域画像291Bとして処理してもよい。
【0085】
図11は、実施の形態1における移動物体検出装置200のハードウェア資源の一例を示す図である。
図11において、移動物体検出装置200(コンピュータの一例)は、CPU901(Central Processing Unit)を備えている。CPU901は、バス902を介してROM903、RAM904、通信装置905、磁気ディスク装置920などのハードウェアデバイスと接続され、これらのハードウェアデバイスを制御する。
ROM903、RAM904および磁気ディスク装置920は記憶装置の一例である。通信装置905は入力装置、出力装置の一例である。
【0086】
通信装置905は、有線または無線で、衛星回線、LAN(Local Area Network)、インターネットなどの通信網に接続している。
【0087】
磁気ディスク装置920には、OS921(オペレーティングシステム)、プログラム群922、ファイル群923が記憶されている。
【0088】
プログラム群922には、実施の形態において「〜部」として説明する機能を実行するプログラムが含まれる。プログラム(例えば、移動物体検出プログラム)は、CPU901により読み出され実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものであり、また「〜部」の手順や方法をコンピュータに実行させるものである。
【0089】
ファイル群923には、実施の形態において説明する「〜部」で使用される各種データ(入力、出力、判定結果、計算結果、処理結果など)が含まれる。
【0090】
実施の形態において構成図およびフローチャートに含まれている矢印は主としてデータや信号の入出力を示す。
フローチャートなどに基づいて説明する実施の形態の処理はCPU901、記憶装置、入力装置、出力装置などのハードウェアを用いて実行される。
【0091】
実施の形態において「〜部」として説明するものは「〜回路」、「〜装置」、「〜機器」であってもよく、また「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ファームウェア、ソフトウェア、ハードウェアまたはこれらの組み合わせのいずれで実装されても構わない。
【0092】
地上局装置121は、移動物体検出装置200と同様に各種のハードウェアを備える。
地上局装置121が移動物体検出装置200の機能を備えても構わない。例えば、人工衛星110の通信装置905が各光学画像291を撮像時刻と共に地上局装置121へ送信し、地上局装置121が光学画像291(および撮像時刻)を受信して図7で説明したように移動物体検出データ251を生成してもよい。
【0093】
実施の形態1において、人工衛星110や航空機などの飛行物体から船舶や車両などの移動物体101を撮像して移動物体101の移動ベクトルを算出する形態について説明した。
【0094】
実施の形態2.
高感度(鮮明)な光学画像291を生成する形態について説明する。
以下、実施の形態1と異なる事項について主に説明する。説明しない事項については実施の形態1と同様である。
【0095】
分解能が高い光学画像291を撮像したい場合、光学カメラ111の撮像周期を短時間にして撮像周期間に人工衛星110が飛行する距離を短くする必要がある。これにより、撮像領域の1ラインを狭めて高分解能な光学画像291を撮像することができる。
しかし、撮像周期を短くした場合、露光時間が十分に確保できないため光電効果によって電荷を十分に蓄積することができず、全体的に暗い低感度(不鮮明)な光学画像291しか得られない。
そこで、実施の形態2では、以下のように複数の光学画像291を重ね合わせて高感度な光学画像291を生成する。
【0096】
<実施例1>
連続して撮像された複数の光学画像291をずれ量固定値292ずつずらしながら重ね合わせて高感度な光学画像291を生成する例について説明する。
【0097】
図12は、実施の形態2における移動物体検出装置200の構成図である。
実施の形態2における移動物体検出装置200の構成について、図12に基づいて説明する。
【0098】
移動物体検出装置200は、実施の形態1で説明した構成(図6参照)に加えて、高感度画像生成部260を備える。
【0099】
高感度画像生成部260(重ね合わせ画像生成部の一例)は、連続して撮像された複数の光学画像291を「ずれ量固定値292」ずつずらしながら重ね合わせて高感度画像261(重ね合わせ画像の一例)を生成する。
例えば、高感度画像生成部260は、第一領域画像291Aに第一領域画像291Aの次の撮像時に撮像された第二領域画像291Bを「ずれ量固定値292」だけずらして画素毎に第一領域画像291Aと第二領域画像291Bとの画素値の合計値を設定した高感度画像261を生成する。
【0100】
検出データ送信部250(重ね合わせ画像生成部の一例)は、高感度画像生成部260によって生成された高感度画像261を出力する。
例えば、検出データ送信部250は、高感度画像261を含んだ移動物体検出データ251を生成し、生成した移動物体検出データ251を通信アンテナ112を介して地上局装置121へ送信する。
【0101】
図13は、実施の形態2(実施例1)における移動物体検出装置200の移動物体検出方法を示すフローチャートである。
実施の形態2(実施例1)における移動物体検出装置200の移動物体検出方法(高感度画像[重ね合わせ画像]生成方法の一例)について、図13に基づいて説明する。
【0102】
移動物体検出装置200は、実施の形態1(図7参照)で説明したように、第一領域画像291Aと第二領域画像291Bとに基づいて移動物体101の位置を表す移動物体ブロック情報222と移動物体101の速度ベクトルを表す速度ベクトル情報241とを生成する(S110−S150)。
【0103】
S210において、画像取得部210は、第一領域画像291Aと第二領域画像291Bとを含み連続して撮像された所定の重ね合わせ数(2以上)の光学画像291を検出装置記憶部290から取得する。以下、検出装置記憶部290から取得した所定の重ね合わせ数の光学画像291を複数の領域画像という。
S210の後、S220に進む。
【0104】
S220において、高感度画像生成部260は、S210で取得された複数の領域画像をずれ量固定値292ずつずらしながら重ね合わせて高感度画像261を生成する。
【0105】
図14は、実施の形態2(実施例1)における高感度画像生成処理(S220)の具体例を示す図である。
実施の形態2(実施例1)における高感度画像生成処理(S220)の具体例について、図14に基づいて説明する。
【0106】
ここで、ずれ量固定値292をX軸方向(列の並び順の方向)に1画素とする。
【0107】
高感度画像生成部260は、第一領域画像291Aの1行1列の画素値「1」と第二領域画像291Bの1行2列の画素値「1」とを合計した画素合計値「2」を高感度画像261の1行1列の画素に設定する。
高感度画像生成部260は、第一領域画像291Aの1行2列の画素値「3」と第二領域画像291Bの1行3列の画素値「3」とを合計した画素合計値「6」を高感度画像261の1行2列の画素に設定する。
高感度画像生成部260は、第一領域画像291Aの2行1列の画素値「2」と第二領域画像291Bの2行2列の画素値「2」とを合計した画素合計値「4」を高感度画像261の2行1列の画素に設定する。
高感度画像生成部260は、第一領域画像291Aの2行2列の画素値「4」と第二領域画像291Bの2行3列の画素値「4」とを合計した画素合計値「8」を高感度画像261の2行2列の画素に設定する。
【0108】
高感度画像生成部260は、以下のように第一領域画像291Aと第二領域画像291Bとを重ね合わせて高感度画像261を生成する。
高感度画像生成部260は、第一領域画像291Aからi行j列の画素を抽出し、第二領域画像291Bからi行(j+f)列の画素を抽出する。「i」「j」は1以上の整数である。「f」はずれ量固定値292である。
高感度画像生成部260は、第一領域画像291Aのi行j列の画素値(輝度)と第二領域画像291Bのi行(j+f)列の画素値とを合計して画素合計値を算出する。
高感度画像生成部260は、算出した画素合計値をi行j列の画素の画素値として高感度画像261に設定する。
【0109】
3つ以上の領域画像を用いる場合、高感度画像生成部260は、以下のように高感度画像261を生成する。以下に示す「n」は1以上N以下の整数である(Nは所定の重ね合わせ数である)。
高感度画像生成部260は、第n領域画像からi行(j+(f×(n−1))列の画素を抽出する。
高感度画像生成部260は、抽出した各画素の画素値を合計して画素合計値を算出する。
高感度画像生成部260は、算出した画素合計値をi行j列の画素の画素値として高感度画像261に設定する。
【0110】
図15は、実施の形態2(実施例1)における高感度画像生成処理(S220)の概要図である。
実施の形態2(実施例1)における高感度画像生成処理(S220)の概要について、図15に基づいて説明する。
【0111】
ずれ量固定値292は、実施の形態1(図4、5参照)で説明したように、画像の1ラインのX軸方向の画素数を示す。
【0112】
高感度画像生成部260は、各第n領域画像から第(n+m−1)ラインを抽出する(mは1以上の整数)。
高感度画像生成部260は、抽出した各第n領域画像の第(n+m−1)ラインを重ね合わせて高感度画像261の第mラインを生成する。
【0113】
つまり、高感度画像生成部260は、第(n+m−1)ライン内の画素毎に各第n領域画像の画素値(輝度)を合計して画素合計値を算出し、算出した各画素合計値を高感度画像261の第mライン内の当該画素の画素値とする。
【0114】
例えば、高感度画像生成部260は、第一領域画像291Aの第1ラインと第二領域画像291Bの第2ラインと第三領域画像291Cの第3ラインとを重ね合わせて高感度画像261の第1ラインを生成する。
また、高感度画像生成部260は、第一領域画像291Aの第2ラインと第二領域画像291Bの第3ラインと第三領域画像291Cの第4ラインとを重ね合わせて高感度画像261の第2ラインを生成する。
【0115】
これにより、複数の領域画像の画素値が合計された高感度画像261を生成することができる。
高感度画像261は、複数の領域画像をずれ量固定値292ずつずらしながら重ね合わせた画像であるため、静止物体102が高感度で鮮明に映る。但し、移動物体は移動しているため高感度画像261にぼやけて映る。
【0116】
図13に戻り、移動物体検出方法の説明を続ける。
【0117】
S220の後、S230に進む。
【0118】
S230において、検出データ送信部250は、S220で生成された高感度画像261を含んだ移動物体検出データ251を生成する。
例えば、検出データ送信部250は、移動物体ブロック情報222と速度ベクトル情報241と高感度画像261とを含んだ移動物体検出データ251を生成する。
【0119】
検出データ送信部250は、生成した移動物体検出データ251を通信アンテナ112を介して地上局装置121へ送信する。
【0120】
S230の後、S110およびS210に戻り、新たな第一領域画像291Aと第二領域画像291Bとを用いて処理を繰り返す。
【0121】
<実施例2>
連続して撮像された複数の光学画像291をずれ量算出値221ずつずらしながら重ね合わせて高感度な光学画像291を生成する例について説明する。
【0122】
移動物体検出装置200の構成は、実施例1(図12参照)と同様である。
但し、高感度画像生成部260(重ね合わせ画像生成部の一例)は、連続して撮像された複数の光学画像291を「ずれ量算出値221」ずつずらしながら重ね合わせて高感度画像261(重ね合わせ画像の一例)を生成する。
例えば、高感度画像生成部260は、第一領域画像291Aに第一領域画像291Aの次の撮像時に撮像された第二領域画像291Bを「ずれ量算出値221」だけずらして画素毎に第一領域画像291Aと第二領域画像291Bとの画素値の合計値を設定した高感度画像261を生成する。
【0123】
図16は、実施の形態2(実施例2)における移動物体検出装置200の移動物体検出方法を示すフローチャートである。
実施の形態2(実施例2)における移動物体検出装置200の移動物体検出方法(高感度画像[重ね合わせ画像]生成方法の一例)について、図16に基づいて説明する。
【0124】
移動物体検出装置200は、実施の形態1(図7参照)で説明したように、第一領域画像291Aと第二領域画像291Bとに基づいて移動物体101の位置を表す移動物体ブロック情報222と移動物体101の速度ベクトルを表す速度ベクトル情報241を生成する(S110−S150)。
【0125】
移動物体検出装置200は、第N領域画像を処理するまでS110とS150とを繰り返す(S201)。
「N」は、高感度画像261を生成するために重ね合わせる領域画像の数(所定の重ね合わせ数)である。
例えば、所定の重ね合わせ数Nが「3」である場合、移動物体検出装置200は、第一領域画像と第二領域画像とに対してS110−S150の処理を実行した後、第二領域画像と第二領域画像の次の撮像時に撮像された第三領域画像とに対してS110−S150の処理を実行する。
これにより、第一領域画像に対する第二領域画像のずれ量算出値221と、第二領域画像に対する第三領域画像のずれ量算出値221とが得られる。
【0126】
S210において、画像取得部210は、S110−S150で処理した第一から第Nの領域画像を検出装置記憶部290から取得する。
S210の後、S221に進む。
【0127】
S221において、高感度画像生成部260は、S210で取得された第一から第Nの領域画像をずれ量算出値221ずつずらしながら重ね合わせて高感度画像261を生成する。
【0128】
図17は、実施の形態2(実施例2)における高感度画像生成処理(S221)の具体例を示す図である。
実施の形態2(実施例2)における高感度画像生成処理(S221)の具体例について、図17に基づいて説明する。
【0129】
ここで、第一領域画像291Aに対する第二領域画像291Bのずれ量算出値221をX軸方向(列の並び順の方向)に1画素とし、Y軸方向(行の並び順の方向)に1画素とする。
ずれ量固定値292がX軸方向に1画素である場合、移動物体101の移動量(ずれ量訂正値231)はずれ量算出値221からずれ量固定値292を差し引いて、Y軸方向に1画素である。
【0130】
高感度画像生成部260は、第一領域画像291Aの1行1列の画素値「1」と第二領域画像291Bの2行2列の画素値「1」とを合計した画素合計値「2」を高感度画像261の1行1列の画素に設定する。
高感度画像生成部260は、第一領域画像291Aの1行2列の画素値「3」と第二領域画像291Bの2行3列の画素値「3」とを合計した画素合計値「6」を高感度画像261の1行2列の画素に設定する。
高感度画像生成部260は、第一領域画像291Aの2行1列の画素値「2」と第二領域画像291Bの3行2列の画素値「2」とを合計した画素合計値「4」を高感度画像261の2行1列の画素に設定する。
高感度画像生成部260は、第一領域画像291Aの2行2列の画素値「4」と第二領域画像291Bの3行3列の画素値「4」とを合計した画素合計値「8」を高感度画像261の2行2列の画素に設定する。
【0131】
高感度画像生成部260は、以下のように第一領域画像291Aと第二領域画像291Bとを重ね合わせて高感度画像261を生成する。
高感度画像生成部260は、第一領域画像291Aからi行j列の画素を抽出し、第二領域画像291Bから(i+x)行(j+y)列の画素を抽出する。「i」「j」は1以上の整数である。「x」はX軸方向のずれ量算出値221であり、「y」はY軸方向のずれ量算出値221である。
高感度画像生成部260は、第一領域画像291Aのi行j列の画素値(輝度)と第二領域画像291Bの(i+x)行(j+y)列の画素値とを合計して画素合計値を算出する。
高感度画像生成部260は、算出した画素合計値をi行j列の画素の画素値として高感度画像261に設定する。
【0132】
3つ以上の領域画像を用いる場合、高感度画像生成部260は、以下のように高感度画像261を生成する。以下の「N」は所定の重ね合わせ数であり、「n」は1以上N以下の整数であり、「m」は2以上N以下の整数である。
高感度画像生成部260は、第m領域画像のずれ量合計値として第(m−1)領域画像のずれ量合計値と第(m−1)領域画像に対する第m領域画像のずれ量算出値221との合計値を算出する。第一領域画像のずれ量合計値はX軸方向、Y軸方向共に「0画素」である。以下、第n領域画像のずれ量合計値のX軸方向の画素数を「u」、Y軸方向の画素数を「v」とする。例えば、第一領域画像に対する第二領域画像のX軸方向のずれ量算出値221が「2」であり、第二領域画像に対する第三領域画像のX軸方向のずれ量算出値221が「3」である場合、第三領域画像のX軸方向のずれ量合計値uは「5(=2+3)」である。
高感度画像生成部260は、第n領域画像から(i+u)行(j+v)列の画素を抽出し、第n領域画像の(i+u)行(j+v)列の画素の画素値を合計して画素合計値を算出し、算出した画素合計値をi行j列の画素の画素値として高感度画像261に設定する。
【0133】
これにより、複数の領域画像の画素値が合計された高感度画像261を生成することができる。
高感度画像261は、複数の領域画像をずれ量算出値221ずつずらしながら重ね合わせた画像であるため、移動物体が高感度で鮮明に映る。但し、静止物体は高感度画像261にぼやけて映る。
【0134】
図16に戻り、移動物体検出方法の説明を続ける。
【0135】
S221の後、S230に進む。
【0136】
S230において、検出データ送信部250は、S221で生成された高感度画像261を含んだ移動物体検出データ251を生成する。
例えば、検出データ送信部250は、移動物体ブロック情報222と速度ベクトル情報241と高感度画像261とを含んだ移動物体検出データ251を生成する。
【0137】
検出データ送信部250は、生成した移動物体検出データ251を通信アンテナ112を介して地上局装置121へ送信する。
【0138】
S230の後、S110に戻り、新たな第一領域画像291Aに対して処理を繰り返す。
【0139】
図18は、実施の形態2(実施例2)における移動物体検出装置200の移動物体検出方法の別例を示すフローチャートである。
実施の形態2(実施例2)における移動物体検出装置200の移動物体検出方法(高感度画像[重ね合わせ画像]生成方法の一例)の別例について、図18に基づいて説明する。
【0140】
重ね合わせ数Nの領域画像を撮像する間、移動物体101がほぼ同じ方向へほぼ同じ速度で移動していると仮定した場合、第一領域画像に対する第二領域画像のずれ量算出値221を第m領域画像のずれ量算出値221として用いてもよい(以下のS222の説明を参照のこと)。
【0141】
移動物体検出装置200は、実施の形態1(図7参照)で説明したように、第一領域画像291Aと第二領域画像291Bとに基づいて移動物体ブロック291bのずれ量算出値221を算出し、移動物体ブロック情報222を生成する(S110−S130)。
移動物体検出装置200は、実施の形態1(図7参照)で説明したように、ずれ量算出値221に基づいて移動物体101の速度ベクトルを表す速度ベクトル情報241を生成する(S140、S150)。
【0142】
S210において、画像取得部210は、連続して撮像された第一から第Nの領域画像を検出装置記憶部290から取得する。
S210の後、S222に進む。
【0143】
S222において、高感度画像生成部260は、S210で取得された第一から第Nの領域画像をずれ量算出値221ずつずらしながら重ね合わせて高感度画像261を生成する。
【0144】
例えば、高感度画像生成部260は、図17で説明したように第一領域画像291Aと第二領域画像291Bとを重ね合わせて高感度画像261を生成する。
【0145】
3つ以上の領域画像を用いる場合、高感度画像生成部260は、以下のように高感度画像261を生成する。以下の「x」は第二領域画像291BのX軸方向のずれ量算出値221であり、「y」は第二領域画像291BのY軸方向のずれ量算出値221である。
高感度画像生成部260は、第n領域画像から(i+(x×(n−1)))行(j+(y×(n−1)))列の画素を抽出する。
高感度画像生成部260は、抽出した各画素の画素値を合計して画素合計値を算出する。
高感度画像生成部260は、算出した画素合計値をi行j列の画素の画素値として高感度画像261に設定する。
【0146】
S222の後、S230に進む。
【0147】
S230において、検出データ送信部250は、S222で生成された高感度画像261を含んだ移動物体検出データ251を生成する。
例えば、検出データ送信部250は、移動物体ブロック情報222と速度ベクトル情報241と高感度画像261とを含んだ移動物体検出データ251を生成する。
【0148】
検出データ送信部250は、生成した移動物体検出データ251を通信アンテナ112を介して地上局装置121へ送信する。
【0149】
S230の後、S110に戻り、新たな第一領域画像291Aに対して処理を繰り返す。
【0150】
実施の形態2において、複数の光学画像291を重ね合わせて高感度な光学画像291(高感度画像261)を生成する形態について説明した。
【0151】
実施の形態3.
移動物体ブロック291bやずれ量算出値221を高い精度で特定して高い精度で移動物体ブロック情報222や速度ベクトル情報241を生成できるようにする形態について説明する。
以下、実施の形態1、2と異なる事項について主に説明する。説明を省略する事項については実施の形態1、2と同様である。
【0152】
実施の形態2で述べたように、撮像周期が十分に短い場合、光学画像291の分解能は高まるが光学画像291の感度は低下する。
これにより、光学画像291に映る移動物体101が不鮮明になり、移動物体101が映った移動物体ブロック291bや移動物体ブロック291bのずれ量算出値221を正確に特定できない可能性がある。
そこで、実施の形態3では、以下のように複数の光学画像291を重ね合わせて高感度な光学画像291を生成し、生成した高感度な光学画像291を用いて移動物体ブロック291bやずれ量算出値221を特定する。
【0153】
図19は、実施の形態3における移動物体検出装置200の構成図である。
実施の形態2における移動物体検出装置200の構成について、図19に基づいて説明する。
【0154】
移動物体検出装置200は、実施の形態1(図6参照)で説明した画像取得部210の代わりに高感度画像生成部270を備える。
【0155】
高感度画像生成部270(画像組み合わせ取得部、重ね合わせ画像生成部の一例)は、検出装置記憶部290に記憶された複数の領域画像(光学画像291)から連続して撮像された所定の組み合わせ数の領域画像を組み合わせて第一の画像組み合わせと第二の画像組み合わせとを取得する。
領域画像の所定の組み合わせ数は検出装置記憶部290に予め記憶する(図示省略)。また、第一の画像組み合わせ内で最初に撮像された領域画像から第二の画像組み合わせ内で最初に撮像された領域画像までの撮像回数は検出装置記憶部290に予め記憶する(図示省略)。
例えば、所定の組み合わせ数が「M」であり、所定の撮像回数が「L」である場合、高感度画像生成部270は、連続して撮像された第1の領域画像から第Mの領域画像を第一の画像組み合わせとして取得する。また、高感度画像生成部270は、連続して撮像された第(L+1)の領域画像から第(M+L)の領域画像を第二の画像組み合わせとして取得する。「M」は2以上の整数であり、「L」は1以上の整数である。
【0156】
高感度画像生成部270は、第一の画像組み合わせを構成する各光学画像291を人工衛星110の飛行方向にずれ量固定値292ずつずらして画素毎に各光学画像291の画素値の合計値を設定して第一の高感度画像271(重ね合わせ画像の一例)を生成する。
高感度画像生成部270は、第二の画像組み合わせを構成する各光学画像291を人工衛星110の飛行方向にずれ量固定値292ずつずらして画素毎に各光学画像291の画素値の合計値を設定して第二の高感度画像271を生成する。
【0157】
ずれ量算出部220は、高感度画像生成部270によって生成された第一の高感度画像271と第二の高感度画像271とに対して相関演算を行って移動物体101を映した第一の高感度画像271内の部分と移動物体101を映した第二の高感度画像271内の部分との位置のずれ量をずれ量算出値221として算出する。
【0158】
ずれ量訂正部230は、ずれ量算出部220によって算出されたずれ量算出値221からずれ量補正値293を差し引いた値をずれ量訂正値231として算出する。
ずれ量補正値293は、第一の画像組み合わせ内で最初に撮像された領域画像から第二の画像組み合わせ内で最初に撮像された領域画像までの所定の撮像回数にずれ量固定値292を乗じて得られる値である。
ずれ量補正値293は検出装置記憶部290に予め記憶してもよいし、ずれ量訂正部230がずれ量固定値292に所定の撮像回数を乗じてずれ量補正値293を算出してもよい。
【0159】
速度ベクトル情報生成部240は、ずれ量訂正部230によって算出されたずれ量訂正値231に基づいて移動物体101の速度ベクトルを表す速度ベクトル情報241を生成する。
【0160】
検出データ送信部250は、速度ベクトル情報生成部240によって生成された速度ベクトル情報241を出力する。
例えば、検出データ送信部250は、速度ベクトル情報241を含んだ移動物体検出データ251を生成し、生成した移動物体検出データ251を通信アンテナ112を介して地上局装置121へ送信する。
【0161】
図20は、実施の形態3における移動物体検出装置200の移動物体検出方法を示すフローチャートである。
実施の形態3における移動物体検出装置200の移動物体検出方法について、図20に基づいて説明する。
【0162】
S111とS112とは実施の形態1(図7参照)のS110に相当する処理であり、S121−S161は実施の形態1のS120−S160に相当する処理である。
【0163】
S111において、高感度画像生成部270は、第一の画像組み合わせと第二の画像組み合わせとを検出装置記憶部290から取得する。
各画像組み合わせは、連続して撮像された所定の組み合わせ数Mの領域画像から成る組み合わせである。「M」は2以上の整数である。
高感度画像生成部270は、第1から第Mの領域画像を第一の画像組み合わせとして取得し、第(L+1)から第(M+L)の領域画像を第二の画像組み合わせとして取得する。「L」は第一の画像組み合わせ内で最初に撮像された領域画像から第二の画像組み合わせと内で最初に撮像された領域画像までの所定の撮像回数(1以上の整数)である。
S111の後、S112に進む。
【0164】
S112において、高感度画像生成部270は、S111で取得した画像組み合わせ毎に画像組み合わせを構成する複数の領域画像をずれ量固定値292ずつずらしながら重ね合わせて高感度画像271を生成する。
つまり、高感度画像生成部270は、第一の画像組み合わせを構成する複数の領域画像を用いて第一の高感度画像271を生成し、第二の画像組み合わせを構成する複数の領域画像を用いて第二の高感度画像271を生成する。
高感度画像271の生成方法は、実施の形態2(実施例1)で説明したS220の処理と同様である(図13参照)。
S112の後、S121に進む。
【0165】
S121からS161において、移動物体検出装置200は、実施の形態1(図6参照)で説明したS120からS160と同様の処理を行う。
S121からS161は、実施の形態1のS120からS160において「第一領域画像291A」「第二領域画像291B」を「第一の高感度画像271」「第二の高感度画像271」に置き換え、「ずれ量固定値292」を「ずれ量補正値293」に置き換えた処理である。
【0166】
実施の形態3において、実施の形態2(実施例1)(実施例2)と同様に高感度画像261を生成しても構わない。
つまり、高感度画像生成部270は、複数の高感度画像271を重ね合わせてさらに高感度な高感度画像261を生成してもよい。
実施の形態2におけるS110からS150の処理は、上記のS111からS151と同様である。
実施の形態2のS210からS222において、高感度画像生成部270は、「第n領域画像」を「第nの高感度画像271」に置き換え、「ずれ量固定値292」を「ずれ量補正値293」に置き換えて処理を実行する。
【0167】
実施の形態3において、複数の光学画像291を重ね合わせて高感度な光学画像291(高感度画像271)を生成し、生成した高感度な光学画像291を用いて移動物体ブロック291bやずれ量算出値221を特定する形態について説明した。
【0168】
実施の形態4.
光学カメラ111の撮像周期の算出方法について説明する。
【0169】
以下に説明するように、光学カメラ111の撮像周期は、人工衛星110の飛行速度と飛行高度、および光学カメラ111の焦点距離と撮像素子のライン方向(飛行方向、X方向)の配列の間隔などのパラメータに基づいて算出することができる。
【0170】
図21は、実施の形態4における撮像周期Tの算出に用いるパラメータの関係を表した図である。
実施の形態4における撮像周期Tの算出方法について、図21に示すパラメータを用いて説明する。
【0171】
「W」は、ライン方向で隣り合う2つのラインがそれぞれに撮像する地表部分の距離(地表距離)である。
「H」は、光学カメラ111の飛行高度である。
「v」は、光軸中心のラインの視線方向における単位ベクトルである。光軸とはレンズ111bの中心を通る軸であり、光軸中心のラインとは光軸上に位置するラインのことである。
「v」は、光軸中心の1つ隣りのラインの視線方向における単位ベクトルである。
「θ」は、単位ベクトルvと単位ベクトルvとが成す角度(視差角)である。
「V」は、光学カメラ111の飛行速度である。
「d」は、撮像素子111a間のライン方向の距離(素子間距離)である。
「f」は、光学カメラ111のレンズ111bの焦点距離である。
【0172】
撮像周期Tは今回の撮像時から次回の撮像時までの時間であり、光学カメラ111の各ラインはライン方向で隣り合う前方のラインが今回の撮像時に撮像した地表部分を次回の撮像時に撮像する。
つまり、撮像周期Tにおける光学カメラ111の飛行距離Lと、ライン方向で隣り合う2つのラインがそれぞれに撮像する地表部分の距離(地表距離W)とが等しければ撮像周期Tの条件を満たす。
以下に、飛行距離Lと地表距離Wとの関係式(1)を示す。
【0173】
【数1】

【0174】
以下に、関係式(1)から得られる撮像周期Tの算出式(2)を示す。
【0175】
【数2】

【0176】
以下に、撮像周期Tの算出式(2)で用いた「θ=d/f」について導出式(3)乃至(6)を示す。
素子間距離dはマイクロメートルオーダの値であり、焦点距離fはメートルオーダの値である。そのため、焦点距離fは素子間距離dに対して十分に大きい。
【0177】
【数3】

【0178】
撮像カメラ111の各撮像素子111aは、上記の算出式(2)で算出される撮像周期Tが経過する毎に撮像を行う。撮像周期Tは定期的に更新される。
【0179】
実施の形態4において、撮像周期Tの算出方法について説明した。
【符号の説明】
【0180】
100 移動物体検出システム、101 移動物体、102 静止物体、110 人工衛星、111 光学カメラ、111a 撮像素子、111b レンズ、112 通信アンテナ、120 地上局、121 地上局装置、191 撮像領域、200 移動物体検出装置、210 画像取得部、220 ずれ量算出部、221 ずれ量算出値、222 移動物体ブロック情報、230 ずれ量訂正部、231 ずれ量訂正値、240 速度ベクトル情報生成部、241 速度ベクトル情報、250 検出データ送信部、251 移動物体検出データ、260 高感度画像生成部、261 高感度画像、270 高感度画像生成部、271 高感度画像、290 検出装置記憶部、291 光学画像、291A 第一領域画像、291B 第二領域画像、291C 第三領域画像、291a 画像ブロック、292 ずれ量固定値、293 ずれ量補正値、901 CPU、902 バス、903 ROM、904 RAM、905 通信装置、920 磁気ディスク装置、921 OS、922 プログラム群、923 ファイル群。

【特許請求の範囲】
【請求項1】
移動物体が存在する第一領域を撮像した第一領域画像と、前記移動物体が存在する第二領域であって前記第一領域から所定のずれ量だけずれた第二領域を撮像した第二領域画像とを記憶する領域画像記憶部と、
前記第一領域画像に映る前記第一領域と前記第二領域画像に映る前記第二領域との前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部と、
前記領域画像記憶部に記憶された第一領域画像と第二領域画像とに対して相関演算を行って前記移動物体を映した前記第一領域画像内の部分と前記移動物体を映した前記第二領域画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から前記ずれ量固定値記憶部に記憶されたずれ量固定値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する速度ベクトル情報出力部と
を備えることを特徴とする移動物体検出装置。
【請求項2】
前記第一領域画像と前記第二領域画像とは、前記移動領域の上空を所定の飛行方向へ飛行する飛行物体から撮像装置によって撮像して生成された画像であり、
前記撮像装置は、前記所定の飛行方向に並べられて所定の撮像周期毎に同時に撮像を行う複数の撮像部であって前記所定の撮像周期毎に前の撮像部が前回撮像した領域部分を後ろの撮像部が撮像する複数の撮像部を有し、前記複数の撮像部によって得られる複数の画像部分から成る全体画像を前記撮像周期毎に領域画像として生成し、
前記領域画像記憶部は、前記撮像装置によって特定の撮像時に生成された領域画像を前記第一領域画像として記憶し、前記撮像装置によって前記第一領域画像の次の撮像時に生成された領域画像を前記第二領域画像として記憶し、
前記ずれ量固定値記憶部は、前記撮像部毎に得られる画像部分の前記所定の飛行方向の画素数を前記ずれ量固定値として記憶する
ことを特徴とする請求項1記載の移動物体検出装置。
【請求項3】
前記ずれ量算出部は、前記第一領域画像と前記第二領域画像とを複数の画像ブロックに分割し、前記第一領域画像と前記第二領域画像とに対して前記画像ブロック毎に前記相関演算を行って前記画像ブロック毎に画像のずれ量を算出し、前記画像ブロック毎に算出した画像のずれ量と前記ずれ量固定値とを比較して画像のずれ量が前記ずれ量固定値と異なる画像ブロックを前記移動物体が映った移動物体ブロックとして判定し、前記移動物体ブロックの画像のずれ量を前記ずれ量算出値として選択する
ことを特徴とする請求項1または請求項2記載の移動物体検出装置。
【請求項4】
前記移動物体検出装置は、さらに、
前記第一領域画像に前記第二領域画像を前記ずれ量固定値または前記ずれ量算出値だけずらして画素毎に前記第一領域画像と前記第二領域画像との画素値の合計値を設定した重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された重ね合わせ画像を出力する重ね合わせ画像出力部と
を備えることを特徴とする請求項1から請求項3いずれかに記載の移動物体検出装置。
【請求項5】
移動物体の上空を所定の飛行方向へ飛行する飛行物体から前記移動物体が存在する領域を撮像した複数の領域画像であって前記所定の飛行方向へ所定のずれ量だけ撮像領域をずらしながら撮像した複数の領域画像を記憶する領域画像記憶部と、
前記複数の領域画像の前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部と、
前記領域画像記憶部に記憶された複数の領域画像から連続して撮像された所定の組み合わせ数の領域画像を組み合わせて第一の画像組み合わせと第二の画像組み合わせとを取得する画像組み合わせ取得部と、
前記第一の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第一の重ね合わせ画像を生成し、前記第二の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第二の重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された第一の重ね合わせ画像と第二の重ね合わせ画像とに対して相関演算を行って前記移動物体を映した前記第一の重ね合わせ画像内の部分と前記移動物体を映した前記第二の重ね合わせ画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から、前記第一の画像組み合わせ内で最初に撮像された領域画像から前記第二の画像組み合わせ内で最初に撮像された領域画像までの撮像回数に前記ずれ量固定値を乗じて得られるずれ量補正値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する速度ベクトル情報出力部と
を備えることを特徴とする移動物体検出装置。
【請求項6】
移動物体が存在する第一領域を撮像した第一領域画像と、前記移動物体が存在する第二領域であって前記第一領域から所定のずれ量だけずれた第二領域を撮像した第二領域画像とを記憶する領域画像記憶部と、前記第一領域画像に映る前記第一領域と前記第二領域画像に映る前記第二領域との前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部とを備える移動物体検出装置を動作させる移動物体検出プログラムであって、
前記領域画像記憶部に記憶された第一領域画像と第二領域画像とに対して相関演算を行って前記移動物体を映した前記第一領域画像内の部分と前記移動物体を映した前記第二領域画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から前記ずれ量固定値記憶部に記憶されたずれ量固定値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する速度ベクトル情報出力部として前記移動物体検出装置を動作させる
ことを特徴とする移動物体検出プログラム。
【請求項7】
前記第一領域画像と前記第二領域画像とは、前記移動領域の上空を所定の飛行方向へ飛行する飛行物体から撮像装置によって撮像して生成された画像であり、
前記撮像装置は、前記所定の飛行方向に並べられて所定の撮像周期毎に同時に撮像を行う複数の撮像部であって前記所定の撮像周期毎に前の撮像部が前回撮像した領域部分を後ろの撮像部が撮像する複数の撮像部を有し、前記複数の撮像部によって得られる複数の画像部分から成る全体画像を前記撮像周期毎に領域画像として生成し、
前記領域画像記憶部は、前記撮像装置によって特定の撮像時に生成された領域画像を前記第一領域画像として記憶し、前記撮像装置によって前記第一領域画像の次の撮像時に生成された領域画像を前記第二領域画像として記憶し、
前記ずれ量固定値記憶部は、前記撮像部毎に得られる画像部分の前記所定の飛行方向の画素数を前記ずれ量固定値として記憶する
ことを特徴とする請求項6記載の移動物体検出プログラム。
【請求項8】
前記ずれ量算出部は、前記第一領域画像と前記第二領域画像とを複数の画像ブロックに分割し、前記第一領域画像と前記第二領域画像とに対して前記画像ブロック毎に前記相関演算を行って前記画像ブロック毎に画像のずれ量を算出し、前記画像ブロック毎に算出した画像のずれ量と前記ずれ量固定値とを比較して画像のずれ量が前記ずれ量固定値と異なる画像ブロックを前記移動物体が映った移動物体ブロックとして判定し、前記移動物体ブロックの画像のずれ量を前記ずれ量算出値として選択する
ことを特徴とする請求項6または請求項7記載の移動物体検出プログラム。
【請求項9】
前記第一領域画像に前記第二領域画像を前記ずれ量固定値または前記ずれ量算出値だけずらして画素毎に前記第一領域画像と前記第二領域画像との画素値の合計値を設定した重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された重ね合わせ画像を出力する重ね合わせ画像出力部として前記移動物体検出装置を動作させる
ことを特徴とする請求項6から請求項8いずれかに記載の移動物体検出プログラム。
【請求項10】
移動物体の上空を所定の飛行方向へ飛行する飛行物体から前記移動物体が存在する領域を撮像した複数の領域画像であって前記所定の飛行方向へ所定のずれ量だけ撮像領域をずらしながら撮像した複数の領域画像を記憶する領域画像記憶部と、前記複数の領域画像の前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部とを備える移動物体検出装置を動作させる移動物体検出プログラムであって、
前記領域画像記憶部に記憶された複数の領域画像から連続して撮像された所定の組み合わせ数の領域画像を組み合わせて第一の画像組み合わせと第二の画像組み合わせとを取得する画像組み合わせ取得部と、
前記第一の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第一の重ね合わせ画像を生成し、前記第二の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第二の重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された第一の重ね合わせ画像と第二の重ね合わせ画像とに対して相関演算を行って前記移動物体を映した前記第一の重ね合わせ画像内の部分と前記移動物体を映した前記第二の重ね合わせ画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から、前記第一の画像組み合わせ内で最初に撮像された領域画像から前記第二の画像組み合わせ内で最初に撮像された領域画像までの撮像回数に前記ずれ量固定値を乗じて得られるずれ量補正値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する速度ベクトル情報出力部として前記移動物体検出装置を動作させる
ことを特徴とする移動物体検出プログラム。
【請求項11】
移動物体が存在する第一領域を撮像した第一領域画像と、前記移動物体が存在する第二領域であって前記第一領域から所定のずれ量だけずれた第二領域を撮像した第二領域画像とを記憶する領域画像記憶部と、前記第一領域画像に映る前記第一領域と前記第二領域画像に映る前記第二領域との前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部とを備える移動物体検出装置によって実行する移動物体検出方法であって、
ずれ量算出部が、前記領域画像記憶部に記憶された第一領域画像と第二領域画像とに対して相関演算を行って前記移動物体を映した前記第一領域画像内の部分と前記移動物体を映した前記第二領域画像内の部分との位置のずれ量をずれ量算出値として算出し、
ずれ量訂正部が、前記ずれ量算出部によって算出されたずれ量算出値から前記ずれ量固定値記憶部に記憶されたずれ量固定値を差し引いた値をずれ量訂正値として算出し、
速度ベクトル情報生成部が、前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成し、
速度ベクトル情報出力部が、前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する
ことを特徴とする移動物体検出方法。
【請求項12】
移動物体の上空を所定の飛行方向へ飛行する飛行物体から前記移動物体が存在する領域を撮像した複数の領域画像であって前記所定の飛行方向へ所定のずれ量だけ撮像領域をずらしながら撮像した複数の領域画像を記憶する領域画像記憶部と、前記複数の領域画像の前記所定のずれ量に相当する画素数をずれ量固定値として予め記憶するずれ量固定値記憶部とを備える移動物体検出装置によって実行する移動物体検出方法であって、
画像組み合わせ取得部が、前記領域画像記憶部に記憶された複数の領域画像から連続して撮像された所定の組み合わせ数の領域画像を組み合わせて第一の画像組み合わせと第二の画像組み合わせとを取得し、
重ね合わせ画像生成部が、前記第一の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第一の重ね合わせ画像を生成し、前記第二の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第二の重ね合わせ画像を生成し、
ずれ量算出部が、前記重ね合わせ画像生成部によって生成された第一の重ね合わせ画像と第二の重ね合わせ画像とに対して相関演算を行って前記移動物体を映した前記第一の重ね合わせ画像内の部分と前記移動物体を映した前記第二の重ね合わせ画像内の部分との位置のずれ量をずれ量算出値として算出し、
ずれ量訂正部が、前記ずれ量算出部によって算出されたずれ量算出値から、前記第一の画像組み合わせ内で最初に撮像された領域画像から前記第二の画像組み合わせ内で最初に撮像された領域画像までの撮像回数に前記ずれ量固定値を乗じて得られるずれ量補正値を差し引いた値をずれ量訂正値として算出し、
速度ベクトル情報生成部が、前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成し、
速度ベクトル情報出力部が、前記速度ベクトル情報生成部によって生成された速度ベクトル情報を出力する
ことを特徴とする移動物体検出方法。
【請求項13】
撮像装置と移動物体検出装置とを備え、移動物体の上空を所定の飛行方向へ飛行する飛行物体であって、
前記撮像装置は、前記所定の飛行方向に並べられて所定の撮像周期毎に同時に撮像を行う複数の撮像部であって前記所定の撮像周期毎に前の撮像部が前回の撮像時に撮像した領域部分を後ろの撮像部が撮像する複数の撮像部を有し、前記複数の撮像部によって得られる複数の画像部分から成る全体画像を前記撮像周期毎に領域画像として生成し、
前記移動物体検出装置は、
前記撮像装置によって前記移動物体が存在する第一領域を撮像して生成された第一領域画像と、前記撮像装置によって前記第一領域画像の次の撮像時に前記移動物体が存在する第二領域を撮像して生成された第二領域画像とを記憶する領域画像記憶部と、
前記撮像部毎に得られる画像部分の前記所定の飛行方向の画素数をずれ量固定値として記憶するずれ量固定値記憶部と、
前記領域画像記憶部に記憶された第一領域画像と第二領域画像とに対して相関演算を行って前記移動物体を映した前記第一領域画像内の部分と前記移動物体を映した前記第二領域画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から前記ずれ量固定値記憶部に記憶されたずれ量固定値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を送信する速度ベクトル情報出力部とを備える
ことを特徴とする飛行物体。
【請求項14】
撮像装置と移動物体検出装置とを備え、移動物体の上空を所定の飛行方向へ飛行する飛行物体であって、
前記撮像装置は、前記所定の飛行方向に並べられて所定の撮像周期毎に同時に撮像を行う複数の撮像部であって前記所定の撮像周期毎に前の撮像部が前回の撮像時に撮像した領域部分を後ろの撮像部が撮像する複数の撮像部を有し、前記複数の撮像部によって得られる複数の画像部分から成る全体画像を前記撮像周期毎に領域画像として生成し、
前記移動物体検出装置は、
前記撮像装置によって撮像周期毎に前記移動物体が存在する領域を撮像して生成された複数の領域画像を記憶する領域画像記憶部と、
前記撮像部毎に得られる画像部分の前記所定の飛行方向の画素数をずれ量固定値として記憶するずれ量固定値記憶部と、
前記領域画像記憶部に記憶された複数の領域画像から連続して撮像された所定の組み合わせ数の領域画像を組み合わせて第一の画像組み合わせと第二の画像組み合わせとを取得する画像組み合わせ取得部と、
前記第一の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第一の重ね合わせ画像を生成し、前記第二の画像組み合わせを構成する各領域画像を前記所定の飛行方向に前記ずれ量固定値ずつずらして画素毎に各領域画像の画素値の合計値を設定して第二の重ね合わせ画像を生成する重ね合わせ画像生成部と、
前記重ね合わせ画像生成部によって生成された第一の重ね合わせ画像と第二の重ね合わせ画像とに対して相関演算を行って前記移動物体を映した前記第一の重ね合わせ画像内の部分と前記移動物体を映した前記第二の重ね合わせ画像内の部分との位置のずれ量をずれ量算出値として算出するずれ量算出部と、
前記ずれ量算出部によって算出されたずれ量算出値から、前記第一の画像組み合わせ内で最初に撮像された領域画像から前記第二の画像組み合わせ内で最初に撮像された領域画像までの撮像回数に前記ずれ量固定値を乗じて得られるずれ量補正値を差し引いた値をずれ量訂正値として算出するずれ量訂正部と、
前記ずれ量訂正部によって算出されたずれ量訂正値に基づいて前記移動物体の速度ベクトルを表す速度ベクトル情報を生成する速度ベクトル情報生成部と、
前記速度ベクトル情報生成部によって生成された速度ベクトル情報を送信する速度ベクトル情報出力部とを備える
ことを特徴とする飛行物体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2013−76615(P2013−76615A)
【公開日】平成25年4月25日(2013.4.25)
【国際特許分類】
【出願番号】特願2011−216087(P2011−216087)
【出願日】平成23年9月30日(2011.9.30)
【出願人】(591102095)三菱スペース・ソフトウエア株式会社 (148)
【Fターム(参考)】