目標追尾装置及びコンピュータプログラム及び目標追尾方法
【課題】比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をする。
【解決手段】ピーク画素抽出部１３２は、目標画素のなかから、隣接する画素よりも画素値が大きい画素（ピーク画素）を抽出する。特徴位置算出部１３３は、目標の特徴を表わす特徴点の位置（特徴位置）を算出する。特徴距離算出部１３４は、ピーク画素の位置と特徴位置との間の距離（特徴距離）を算出する。特徴方位算出部１３５は、ピーク画素の位置から見た上記特徴位置の方位（特徴方位）を算出する。相関処理部１４０は、特徴距離と特徴方位とを含む相関パラメータに基づいて、相関処理をする。
【解決手段】ピーク画素抽出部１３２は、目標画素のなかから、隣接する画素よりも画素値が大きい画素（ピーク画素）を抽出する。特徴位置算出部１３３は、目標の特徴を表わす特徴点の位置（特徴位置）を算出する。特徴距離算出部１３４は、ピーク画素の位置と特徴位置との間の距離（特徴距離）を算出する。特徴方位算出部１３５は、ピーク画素の位置から見た上記特徴位置の方位（特徴方位）を算出する。相関処理部１４０は、特徴距離と特徴方位とを含む相関パラメータに基づいて、相関処理をする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、目標を観測した画像に基づいて目標を追尾する目標追尾装置に関する。
【背景技術】
【０００２】
目標を光学センサやレーダなどにより観測した画像において、画素値が最大である画素を追尾する目標追尾方式がある。
また、目標が複数の画素にわたって観測される場合において、目標が観測された領域を判定し、判定した領域の重心点を追尾する目標追尾方式がある。
また、状況に応じて、画素値が最大である画素の追尾と、重心点の追尾とを切り替えて実施する目標追尾方式がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６０６３３号公報
【特許文献２】特開平９−１７０８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
目標が複数の画素にわたって観測される場合、各画素には目標の細部が観測されるので、画素値が最大である画素の位置が変わり、目標全体の動きと異なる動きをする場合がある。また、目標領域の重心点も、目標全体の動きと異なる動きをする場合がある。したがって、従来の方式では、安定した追尾ができない場合がある。
また、目標が複数の画素にわたって観測される場合、目標の特定の部分を追尾したい場合がある。そのため、画素値が極大（その画素の近傍において最大）である画素（ピーク画素）を追尾しようとすると、１つの目標領域内に複数のピーク画素が現れるので、精度よく追尾することが難しい。
この発明は、例えば上記のような課題を解決するためになされたものであり、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることを目的とする。
【課題を解決するための手段】
【０００５】
この発明にかかる目標追尾装置は、
目標を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標を追尾する目標追尾装置において、
データを記憶する記憶装置と、データを処理する処理装置と、画像記憶部と、目標画素抽出部と、ピーク画素抽出部と、特徴位置算出部と、特徴距離算出部と、特徴方位算出部と、相関処理部とを有し、
上記画像記憶部は、上記記憶装置を用いて、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値を記憶し、
上記目標画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素とし、
上記ピーク画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記目標画素抽出部が抽出した目標画素のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素とし、
上記特徴位置算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記目標画素抽出部が抽出した目標画素に基づいて、上記目標の特徴を表わす特徴点の位置を算出して、特徴位置とし、
上記特徴距離算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置と特徴位置との間の距離を算出して、特徴距離とし、
上記特徴方位算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置から見た上記特徴位置の方位を算出して、特徴方位とし、
上記相関処理部は、上記処理装置を用いて、上記特徴距離算出部が算出した特徴距離と、上記特徴方位算出部が算出した特徴方位とを含む相関パラメータに基づいて、上記複数の画像の相関処理をすることを特徴とする。
【発明の効果】
【０００６】
この発明にかかる目標追尾装置によれば、特徴距離算出部が算出した特徴距離や特徴方位算出部が算出した特徴方位を含む相関パラメータに基づいて、相関処理部が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１における目標追尾システム８００の全体構成の一例を示すシステム構成図。
【図２】実施の形態１における目標追尾装置１００のハードウェア構成の一例を示す構成図。
【図３】実施の形態１における目標追尾装置１００の機能ブロックの構成の一例を示すブロック構成図。
【図４】実施の形態１における特徴量抽出処理Ｓ５００の流れの一例を示すフローチャート図。
【図５】実施の形態１における目標画素抽出工程Ｓ５１０の流れの一例を示すフローチャート図。
【図６】実施の形態１におけるピーク画素抽出工程Ｓ５２０の流れの一例を示すフローチャート図。
【図７】実施の形態１における特徴距離方位算出工程Ｓ５４０の流れの一例を示すフローチャート図。
【図８】実施の形態１における目標追尾装置１００が処理するデータの一例を示す図。
【図９】実施の形態１における特徴量抽出部１３０が処理するデータの一例を示す図。
【図１０】実施の形態２における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図。
【図１１】実施の形態２における追尾の様子の一例を示す図。
【図１２】実施の形態３における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図。
【図１３】実施の形態３における追尾の様子の一例を示す図。
【図１４】実施の形態４における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図。
【図１５】実施の形態４における追尾の様子の一例を示す図。
【図１６】実施の形態５における特徴量抽出処理Ｓ５００の流れの一例を示すフローチャート図。
【図１７】実施の形態５における追尾の様子の一例を示す図。
【発明を実施するための形態】
【０００８】
実施の形態１．
実施の形態１について、図１〜図９を用いて説明する。
【０００９】
図１は、この実施の形態における目標追尾システム８００の全体構成の一例を示すシステム構成図である。
目標追尾システム８００は、目標８５０を観測した画像に基づいて、目標８５０を追尾する。目標追尾システム８００は、観測装置８１０、目標追尾装置１００、表示装置８２０を有する。
【００１０】
目標８５０は、例えば、航空機、飛翔体、船舶、車両などである。
【００１１】
観測装置８１０は、目標８５０を観測して画像を生成する。観測装置８１０は、例えば、合成開口レーダ（以下「ＳＡＲ」と呼ぶ。）、逆合成開口レーダ（以下「ＩＳＡＲ」と呼ぶ。）、赤外線センサ、光学センサ、レーダなどのセンサを有する。観測装置８１０は、これらのセンサを用いて、目標８５０を観測する。
観測装置８１０が生成する画像は、複数の画素（レンジビン）により構成される。各画素は、目標８５０を観測した観測強度を表わす画素値を有する。例えば、センサが赤外線センサである場合、画素値は、目標から放射され、センサが観測した赤外線の強度である。また、センサがレーダである場合、画素値は、目標に反射し、センサが観測した電波の強度である。
複数の画素は、２次元または３次元に配置されている。例えば、センサがレーダなど距離情報を取得できるセンサである場合、観測方向を１次元に走査することにより、２次元に配置された画素の画素値を得ることができる。また、観測方向を２次元に走査することにより、３次元に配置された画素の画素値を得ることができる。また、センサが赤外線センサなど距離情報を取得できないセンサである場合、観測方向を２次元に走査することにより、２次元に配置された画素の画素値を得ることができる。
観測装置８１０は、生成した画像を表わす信号を出力する。
観測装置８１０は、例えば一定の間隔で画像を繰り返し生成する。観測装置８１０は、画像を生成するたびに、生成した画像を表わす信号を出力する。
【００１２】
目標追尾装置１００は、観測装置８１０が生成した画像に基づいて、観測された目標８５０を追尾する。
目標追尾装置１００は、各画像のなかで、目標８５０が観測された画素を判定する。観測装置８１０から目標８５０までの距離が比較的近いなど、観測装置８１０の分解能と比較して目標８５０が大きい場合、１つの目標８５０が複数の画素にわたって観測される。その場合、目標追尾装置１００は、１つの目標８５０が観測された画素の範囲を判定する。
また、目標追尾装置１００は、観測時刻の異なる複数の画像の間で、同じ目標８５０が観測された画素を判定する。これにより、目標８５０の動きを知ることができる。
目標追尾装置１００は、目標８５０の位置、移動方向、速度など、追尾の結果として得られた情報を表わすデータを出力する。
【００１３】
表示装置８２０は、目標追尾装置１００が出力したデータを入力する。表示装置８２０は、入力したデータに基づいて、目標８５０に関する情報を表示する。
なお、目標追尾装置１００が取得した情報は、表示装置８２０に表示するのではなく、例えば、目標追尾システム８００が搭載された移動体の自動操舵装置が利用する構成であってもよい。自動操舵装置は、目標追尾装置１００が取得した情報に基づいて、例えば、目標８５０に近づくよう、もしくは、逆に目標８５０を回避するよう、移動体を操舵する。
【００１４】
図２は、この実施の形態における目標追尾装置１００のハードウェア構成の一例を示す構成図である。
目標追尾装置１００は、例えば、処理装置９１１、記憶装置９１４、入力装置９０２、出力装置９０１を有する。
処理装置９１１は、プログラムを実行することにより、データを処理し、目標追尾装置１００全体を制御する。
記憶装置９１４は、処理装置９１１が実行するプログラムや、処理装置９１１が処理するデータを記憶する。記憶装置９１４は、例えば、不揮発性メモリ（以下「ＲＯＭ」と呼ぶ。）、揮発性メモリ（以下「ＲＡＭ」と呼ぶ。）、磁気ディスク装置（以下「ＨＤＤ」と呼ぶ。）、光学ディスク装置などである。
入力装置９０２は、観測装置８１０など目標追尾装置１００の外部からの信号や情報を入力し、処理装置９１１が処理できる形式のデータに変換する。入力装置９０２が変換したデータは、処理装置９１１が直接処理してもよいし、記憶装置９１４が一時的に記憶してもよい。
出力装置９０１は、処理装置９１１が処理したデータや記憶装置９１４が記憶したデータを外部に出力できる形式に変換して、表示装置８２０など目標追尾装置１００の外部に対して出力する。
【００１５】
図３は、この実施の形態における目標追尾装置１００の機能ブロックの構成の一例を示すブロック構成図である。
目標追尾装置１００は、画像入力部１１１、画像記憶部１１２、ゲート処理部１２０、特徴量抽出部１３０、相関処理部１４０、平滑処理部１５０、予測処理部１６０、結果出力部１７０を有する。
【００１６】
画像入力部１１１は、入力装置９０２を用いて、観測装置８１０が出力した信号を入力し、入力した信号を変換して、目標追尾装置１００が生成した画像を表わすデータ（以下「画像データ」と呼ぶ。）を取得する。画像データには、画像を構成する各画素の画素値を表わすデータ（以下「画素値データ」と呼ぶ。）が含まれる。
【００１７】
画像記憶部１１２は、記憶装置９１４を用いて、画像入力部１１１が取得した画像データを記憶する。画像記憶部１１２は、画像入力部１１１が画像データを取得するたびに、画像データを記憶し、画像データを蓄積していく。例えば、記憶した画像データの数が所定の数に達するまでの間、画像記憶部１１２は、古い画像データを消さずに、新しい画像データを追加して記憶する。記憶した画像データの数が所定の数に達した場合、画像記憶部１１２は、一番古い画像データを消し、新しい画像データをその上に上書きして記憶する。
【００１８】
ゲート処理部１２０は、処理装置９１１を用いて、画像記憶部１１２が記憶した最新の画像データを入力する。ゲート処理部１２０は、処理装置９１１を用いて、入力した画像データのなかから、目標８５０が観測されると予測される範囲内の画素の画素値データを抽出する。例えば、一つ前までの画像に基づく追尾の結果、ある目標８５０の位置や速度・移動方向がわかっている場合、その目標８５０は、同じ速度で同じ方向に移動したときに観測される位置を中心とする所定の範囲内に観測されることが予測される。そして、その範囲内に実際に目標が観測されれば、その目標は、それまで追尾してきた目標８５０と同じ目標であると考えられる。
ゲート処理部１２０は、処理装置９１１を用いて、抽出した画素値データを出力する。
【００１９】
特徴量抽出部１３０は、処理装置９１１を用いて、ゲート処理部１２０が出力した画素値データを入力する。特徴量抽出部１３０は、処理装置９１１を用いて、入力した画素値データに基づいて、特徴量を抽出する。特徴量とは、目標８５０を追尾するために用いられるパラメータである。特徴量抽出部１３０は、処理装置９１１を用いて、抽出した特徴量を表わすデータ（以下「特徴量データ」と呼ぶ。）を出力する。
【００２０】
１つの目標８５０が観測される画素の数が１画素〜数画素程度である場合、ピーク画素の位置を目標８５０の位置として捕らえればよい。ピーク画素とは、隣接する画素と比較して画素値が最大となる画素のことである。隣接する画素とは、例えば、画素が２次元に碁盤の目状に配置されている場合、辺を介して隣接する４つの画素、もしくは、頂点を介して隣接する４つの画素を加えた８つの画素のことである。特徴量抽出部１３０は、特徴量として、ピーク画素の位置を抽出する。
１つの目標８５０が観測される画素の数がもっと多い場合、目標８５０の細部が観測されるため、ピーク画素が複数現れる場合がある。この場合、ピーク画素の位置は目標８５０の細部の位置であり、目標８５０全体の動きとは異なる動きをする場合がある。また、複数のピーク画素は近接しているため、ピーク画素として観測された目標８５０の細部を同定することが難しい。特徴量抽出部１３０は、目標８５０の細部を追尾するため、特徴量として、ピーク画素の位置の以外の情報を抽出する。
【００２１】
相関処理部１４０は、処理装置９１１を用いて、特徴量抽出部１３０が出力した特徴量データを入力する。相関処理部１４０は、入力した特徴量データに基づいて、処理装置９１１を用いて、相関処理をする。すなわち、相関処理部１４０は、処理装置９１１を用いて、新しい画像で観測された目標８５０（または細部）が、新たに観測されたものであるか、１つ前までの画像で観測されていた目標８５０（または細部）と同じものであるか、１つ前までの画像で観測されていた目標８５０（または細部）と同じものである場合、どの目標８５０（または細部）と同じものなのかを判定する。
相関処理部１４０は、処理装置９１１を用いて、相関処理の結果を表わすデータを出力する。
【００２２】
平滑処理部１５０は、処理装置９１１を用いて、相関処理部１４０が出力したデータを入力する。平滑処理部１５０は、入力したデータに基づいて、処理装置９１１を用いて、目標８５０の軌跡を平滑化する。観測間隔が十分短ければ、目標８５０の速度や移動方向はそれほど急に変化しないと考えられるので、相関処理部１４０が同定した目標８５０の速度や移動方向があまりにも細かく変化している場合、それは観測誤差によるものと考えられる。平滑処理部１５０は、目標８５０の軌跡を平滑化することにより、観測誤差を除去する。
平滑処理部１５０は、処理装置９１１を用いて、平滑化した目標８５０の軌跡（位置・速度・移動方向など）を表わすデータを出力する。
【００２３】
予測処理部１６０は、処理装置９１１を用いて、平滑処理部１５０が出力したデータを入力する。予測処理部１６０は、入力したデータに基づいて、処理装置９１１を用いて、次の画像において目標８５０が観測される位置を予測する。
予測処理部１６０は、処理装置９１１を用いて、予測した結果を表わすデータを出力する。予測処理部１６０が出力したデータは、ゲート処理部１２０が入力する。ゲート処理部１２０は、入力したデータに基づいて、処理装置９１１を用いて、画像データのなかから、目標８５０が観測されると予測される範囲内の画素の画素値データを抽出する。
【００２４】
結果出力部１７０は、処理装置９１１を用いて、平滑処理部１５０が出力したデータを入力する。結果出力部１７０は、出力装置９０１を用いて、入力したデータを変換し、外部に出力する。
【００２５】
特徴量抽出部１３０は、目標画素抽出部１３１、ピーク画素抽出部１３２、特徴位置算出部１３３、特徴距離算出部１３４、特徴方位算出部１３５を有する。
【００２６】
目標画素抽出部１３１は、処理装置９１１を用いて、ゲート処理部１２０が出力した画素値データを入力する。目標画素抽出部１３１は、入力した画素値データに基づいて、処理装置９１１を用いて、目標画素を抽出する。目標画素とは、目標８５０が観測された画素のことである。目標画素は、他の画素と比べて画素値が大きい。また、１つの目標８５０についての目標画素が複数ある場合、それらは互いに連続している。すなわち、隣接した目標画素を辿ることにより、１つの目標８５０についての目標画素すべてに到達することができる。
例えば、目標画素抽出部１３１は、処理装置９１１を用いて、各画素についての画素値データが表わす画素値を閾値と比較して、画素値が閾値より大きい画素を抽出する。閾値は、あらかじめ定められた定数であってもよい。また、画像の信号雑音比や画素値の平均値に基づいて閾値を算出する構成であってもよい。抽出した画素が複数あり不連続である場合、目標画素抽出部１３１は、複数の目標８５０が観測されたものとして、連続した１つの塊をなす画素を、１つの目標８５０についての目標画素であると判定する。抽出した画素が複数あり連続している場合、目標画素抽出部１３１は、１つの目標８５０が観測されたものとして、抽出した画素すべてを、１つの目標８５０についての目標画素であると判定する。
目標画素抽出部１３１は、処理装置９１１を用いて、抽出した目標画素についての画素値データを出力する。
【００２７】
ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。ピーク画素抽出部１３２は、入力した画素値データに基づいて、処理装置９１１を用いて、ピーク画素を抽出する。
例えば、ピーク画素抽出部１３２は、処理装置９１１を用いて、各目標画素について、隣接した４つまたは８つの画素と画素値を比較することにより、その目標画素がピーク画素であるか否かを判定する。
ピーク画素抽出部１３２は、処理装置９１１を用いて、抽出したピーク画素の位置を表わすデータ（以下「ピーク位置データ」と呼ぶ。）を出力する。ピーク画素抽出部１３２が出力するピーク位置データは、特徴量データの一つである。
【００２８】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴位置を算出する。特徴位置とは、目標８５０の特徴点の位置のことである。特徴点とは、画像上において目標８５０の特徴を表わす点のことである。特徴点は、例えば、画像上における目標８５０の重心、画像上における目標８５０の先端などである。特徴点は、その画像上における目標画素の配置に基づく計算により特徴位置を算出できる点であればよい。
特徴位置算出部１３３は、処理装置９１１を用いて、算出した特徴位置を表わすデータ（以下「特徴位置データ」と呼ぶ。）を出力する。
【００２９】
特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素抽出部１３２が出力したピーク位置データと、特徴位置算出部１３３が出力した特徴位置データとを入力する。特徴距離算出部１３４は、入力したピーク位置データと特徴位置データとに基づいて、処理装置９１１を用いて、ピーク画素の位置と特徴位置との間の距離（以下「特徴距離」と呼ぶ。）を算出する。１つの目標８５０についての目標画素に対してピーク画素や特徴点が複数ある場合、特徴距離算出部１３４は、それぞれのピーク画素の位置と、それぞれの特徴位置との間の特徴距離を算出する。例えば、ピーク画素が２つ、特徴点が３つある場合、特徴距離算出部１３４は、２×３＝６つの特徴距離を算出する。
特徴距離算出部１３４は、処理装置９１１を用いて、算出した特徴距離を表わすデータ（以下「特徴距離データ」と呼ぶ。）を出力する。特徴距離算出部１３４が出力する特徴距離データは、特徴量データの一つである。
【００３０】
特徴方位算出部１３５は、処理装置９１１を用いて、ピーク画素抽出部１３２が出力したピーク位置データと、特徴位置算出部１３３が出力した特徴位置データとを入力する。特徴方位算出部１３５は、入力したピーク位置データと特徴位置データとに基づいて、処理装置９１１を用いて、ピーク画素の位置から見た特徴位置の方位（以下「特徴方位」と呼ぶ。）を算出する。１つの目標８５０についての目標画素に対してピーク画素や特徴点が複数ある場合、特徴方位算出部１３５は、それぞれのピーク画素の位置から見た、それぞれの特徴位置の特徴方位を算出する。例えば、ピーク画素が４つ、特徴点が２つある場合、特徴方位算出部１３５は、４×２＝８つの特徴方位を算出する。
特徴方位算出部１３５は、処理装置９１１を用いて、算出した特徴方位を表わすデータ（以下「特徴方位データ」と呼ぶ。）を出力する。特徴方位算出部１３５が出力した特徴方位データは、特徴量データの一つである。
【００３１】
相関処理部１４０は、処理装置９１１を用いて、ピーク画素抽出部１３２が出力したピーク位置データと、特徴距離算出部１３４が出力した特徴距離データと、特徴方位算出部１３５が出力した特徴方位データとを、特徴量データとして入力する。相関処理部１４０は、入力したデータが表わすピーク画素の位置、特徴距離、特徴方位に基づいて、相関処理をする。
【００３２】
図４は、この実施の形態における特徴量抽出処理Ｓ５００の流れの一例を示すフローチャート図である。
特徴量抽出処理Ｓ５００において、特徴量抽出部１３０は、特徴量を抽出する。
特徴量抽出処理Ｓ５００は、目標画素抽出工程Ｓ５１０、ピーク画素抽出工程Ｓ５２０、特徴位置算出工程Ｓ５３０、特徴距離方位算出工程Ｓ５４０を有する。
【００３３】
目標画素抽出工程Ｓ５１０において、目標画素抽出部１３１は、処理装置９１１を用いて、ゲート処理部１２０が抽出した画素のなかから、目標画素を抽出する。
ピーク画素抽出工程Ｓ５２０において、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素抽出工程Ｓ５１０でゲート処理部１２０が抽出した目標画素のなかから、ピーク画素を抽出する。
特徴位置算出工程Ｓ５３０において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出工程Ｓ５１０で目標画素抽出部１３１が抽出した目標画素に基づいて、特徴位置を算出する。
特徴距離方位算出工程Ｓ５４０において、特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素抽出工程Ｓ５２０でピーク画素抽出部１３２が抽出したピーク画素の位置と、特徴位置算出工程Ｓ５３０で特徴位置算出部１３３が算出した特徴位置との間の距離を算出する。特徴方位算出部１３５は、処理装置９１１を用いて、ピーク画素抽出工程Ｓ５２０でピーク画素抽出部１３２が抽出したピーク画素の位置から見た、特徴位置算出工程Ｓ５３０で特徴位置算出部１３３が算出した特徴位置の方位を算出する。
【００３４】
図５は、この実施の形態における目標画素抽出工程Ｓ５１０の流れの一例を示すフローチャート図である。
目標画素抽出工程Ｓ５１０は、画素選択工程Ｓ５１１、閾値比較工程Ｓ５１２、目標画素記憶工程Ｓ５１３、連続画素選択工程Ｓ５１４、閾値比較工程Ｓ５１５を有する。
【００３５】
画素選択工程Ｓ５１１において、目標画素抽出部１３１は、処理装置９１１を用いて、ゲート処理部１２０が抽出した画素のなかから、まだ選択していない画素を１つ選択する。
すべての画素が選択済であり、まだ選択していない画素がない場合、すべての画素についての処理が終わったことになる。目標画素抽出部１３１は、処理装置９１１を用いて、目標画素抽出工程Ｓ５１０を終了する。
未選択の画素があり、画素を選択した場合、その画素が目標画素であるかを判定するため、目標画素抽出部１３１は、処理装置９１１を用いて、閾値比較工程Ｓ５１２へ進む。
【００３６】
閾値比較工程Ｓ５１２において、目標画素抽出部１３１は、処理装置９１１を用いて、画素選択工程Ｓ５１１で選択した画素の画素値を、閾値と比較する。
画素値が閾値より大きい場合、その画素は、目標画素である。目標画素抽出部１３１は、処理装置９１１を用いて、目標画素記憶工程Ｓ５１３へ進む。
画素値が閾値より小さい場合、その画素は、目標画素ではない。目標画素抽出部１３１は、処理装置９１１を用いて、画素選択工程Ｓ５１１に戻り、次の画素を選択する。
【００３７】
目標画素記憶工程Ｓ５１３において、目標画素抽出部１３１は、記憶装置９１４を用いて、画素選択工程Ｓ５１１で選択した画素を、目標画素として記憶する。
【００３８】
連続画素選択工程Ｓ５１４において、目標画素抽出部１３１は、処理装置９１１を用いて、まだ選択していない画素のなかから、目標画素記憶工程Ｓ５１３で記憶した目標画素のいずれかに隣接した画素を１つ選択する。
まだ選択していない画素のなかに目標画素に隣接した画素がない場合、閾値比較工程Ｓ５１２で見つけた目標画素に連続した目標画素は、これ以上存在しない。目標画素抽出部１３１は、記憶装置９１４を用いて、ここまでに判定した目標画素を、１つの目標８５０についての目標画素として記憶する。目標画素抽出部１３１は、処理装置９１１を用いて、画素選択工程Ｓ５１１に戻り、目標画素に隣接していない次の画素を選択する。その後、別の目標画素が見つかった場合、それは、別の目標８５０についての目標画素である。
未選択の画素のなかに目標画素に隣接した画素があり、画素を選択した場合、その画素が目標画素であるかを判定するため、目標画素抽出部１３１は、処理装置９１１を用いて、閾値比較工程Ｓ５１５へ進む。
【００３９】
閾値比較工程Ｓ５１５において、目標画素抽出部１３１は、処理装置９１１を用いて、連続画素選択工程Ｓ５１４で選択した画素の画素値を、閾値と比較する。
画素値が閾値より大きい場合、その画素は、目標画素である。新たに見つかった目標画素は、それまでに判定した目標画素と連続しているので、同じ目標８５０についての目標画素である。目標画素抽出部１３１は、処理装置９１１を用いて、目標画素記憶工程Ｓ５１３に戻り、連続画素選択工程Ｓ５１４で選択した画素を、同じ目標８５０についての目標画素として記憶する。
画素値が閾値より小さい場合、その画素は、目標画素ではない。他に同じ目標８５０についての目標画素がないか判定するため、目標画素抽出部１３１は、処理装置９１１を用いて、連続画素選択工程Ｓ５１４に戻り、目標画素に隣接した次の画素を選択する。
【００４０】
図６は、この実施の形態におけるピーク画素抽出工程Ｓ５２０の流れの一例を示すフローチャート図である。
ピーク画素抽出工程Ｓ５２０は、目標画素選択工程Ｓ５２１、隣接画素選択工程Ｓ５２２、画素値比較工程Ｓ５２３、ピーク画素記憶工程Ｓ５２４を有する。
【００４１】
目標画素選択工程Ｓ５２１において、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素抽出工程Ｓ５１０で目標画素抽出部１３１が抽出した目標画素のなかから、まだ選択していない目標画素を１つ選択する。
すべての目標画素が選択済であり、まだ選択していない目標画素がない場合、すべての目標画素についての処理が終わったことになる。ピーク画素抽出部１３２は、処理装置９１１を用いて、ピーク画素抽出工程Ｓ５２０を終了する。
未選択の目標画素があり、目標画素を選択した場合、その目標画素がピーク画素であるかを判定するため、ピーク画素抽出部１３２は、処理装置９１１を用いて、隣接画素選択工程Ｓ５２２へ進む。
【００４２】
隣接画素選択工程Ｓ５２２において、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素選択工程Ｓ５２１で選択した目標画素に隣接する目標画素のなかから、まだ選択していない目標画素を１つ選択する。
隣接する目標画素がすべて選択済であり、まだ選択していない目標画素がない場合、目標画素選択工程Ｓ５２１で選択した目標画素に隣接するすべての目標画素との間で画素値の比較が終わったことになる。また、目標画素の画素値は閾値より大きく、目標画素でない画素の画素値は閾値より小さいから、目標画素でない画素の画素値は目標画素の画素値よりも小さい。したがって、目標画素選択工程Ｓ５２１で選択した目標画素の画素値は、隣接するすべての画素の画素値よりも大きい。すなわち、その目標画素はピーク画素である。ピーク画素抽出部１３２は、処理装置９１１を用いて、ピーク画素記憶工程Ｓ５２４へ進む。
未選択の目標画素があり、隣接する目標画素を選択した場合、ピーク画素抽出部１３２は、処理装置９１１を用いて、画素値比較工程Ｓ５２３へ進む。
【００４３】
画素値比較工程Ｓ５２３において、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素選択工程Ｓ５２１で選択した目標画素の画素値と、隣接画素選択工程Ｓ５２２で選択した隣接する目標画素の画素値とを比較する。
目標画素の画素値が、隣接する目標画素の画素値より大きい場合、目標画素選択工程Ｓ５２１で選択した目標画素がピーク画素である可能性がある。ピーク画素抽出部１３２は、処理装置９１１を用いて、隣接画素選択工程Ｓ５２２に戻り、隣接する次の目標画素を選択する。
目標画素の画素値が、隣接する目標画素の画素値より小さい場合、目標画素選択工程Ｓ５２１で選択した目標画素がピーク画素である可能性はない。ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素選択工程Ｓ５２１に戻り、次の目標画素を選択する。
【００４４】
ピーク画素記憶工程Ｓ５２４において、ピーク画素抽出部１３２は、記憶装置９１４を用いて、目標画素選択工程Ｓ５２１で選択した目標画素を、ピーク画素として記憶する。
別のピーク画素を探すため、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素選択工程Ｓ５２１に戻り、次の目標画素を選択する。
【００４５】
図７は、この実施の形態における特徴距離方位算出工程Ｓ５４０の流れの一例を示すフローチャート図である。
特徴距離方位算出工程Ｓ５４０は、ピーク画素選択工程Ｓ５４１、特徴位置選択工程Ｓ５４２、特徴距離算出工程Ｓ５４３、特徴方位算出工程Ｓ５４４を有する。
【００４６】
ピーク画素選択工程Ｓ５４１において、特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素抽出工程Ｓ５２０でピーク画素抽出部１３２が抽出したピーク画素のなかから、まだ選択していないピーク画素を１つ選択する。
ピーク画素がすべて選択済であり、まだ選択していないピーク画素がない場合、すべてのピーク画素について処理が終わったことになる。特徴距離算出部１３４は、処理装置９１１を用いて、特徴距離方位算出工程Ｓ５４０を終了する。
未選択のピーク画素があり、ピーク画素を選択した場合、そのピーク画素についての特徴距離及び特徴方位を求めるため、特徴距離算出部１３４は、処理装置９１１を用いて、特徴位置選択工程Ｓ５４２へ進む。
【００４７】
特徴位置選択工程Ｓ５４２において、特徴距離算出部１３４は、処理装置９１１を用いて、特徴位置算出工程Ｓ５３０で特徴位置算出部１３３が算出した特徴位置のなかから、まだ選択していない特徴位置を１つ選択する。
特徴位置がすべて選択済であり、まだ選択していない特徴位置がない場合、ピーク画素選択工程Ｓ５４１で選択したピーク画素について、すべての特徴位置との間の特徴距離及び特徴方位を算出したことになる。特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素選択工程Ｓ５４１に戻り、次のピーク画素を選択する。
未選択の特徴位置があり、特徴位置を選択した場合、その特徴位置と、ピーク画素選択工程Ｓ５４１で選択したピーク画素との間の特徴距離及び特徴方位を算出するため、特徴距離算出部１３４は、処理装置９１１を用いて、特徴距離算出工程Ｓ５４３へ進む。
【００４８】
特徴距離算出工程Ｓ５４３において、特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素選択工程Ｓ５４１で選択したピーク画素の位置と、特徴位置選択工程Ｓ５４２で選択した特徴位置との間の距離を算出する。
【００４９】
特徴方位算出工程Ｓ５４４において、特徴方位算出部１３５は、処理装置９１１を用いて、ピーク画素選択工程Ｓ５４１で選択したピーク画素の位置から見た、特徴位置選択工程Ｓ５４２で選択した特徴位置の方位を算出する。
特徴距離算出部１３４は、処理装置９１１を用いて、特徴位置選択工程Ｓ５４２に戻り、次の特徴位置を選択する。
【００５０】
図８は、この実施の形態における目標追尾装置１００が処理するデータの一例を示す図である。
【００５１】
画像データ４１０は、例えば、横１０画素×縦１０画素に配置された合計１００個の画素からなる二次元画像を表わすデータである。画像データ４１０は、１００個の画素値データ４１１を含む。それぞれの画素値データ４１１は、１個の画素に対応し、対応する画素の画素値を表わす。
【００５２】
目標画素抽出部１３１は、各画素の画素値を閾値（例えば「５０」）と比較して、画素値が閾値より大きい画素を目標画素４２１として抽出する。この例において、目標画素抽出部１３１は、１００個の画素のなかから、４７個の目標画素４２１を抽出している。
目標画素抽出部１３１は、連続している目標画素４２１を１つのグループとし、抽出した目標画素４２１をいくつかのグループに分類する。この例において、目標画素抽出部１３１は、抽出した４７個の目標画素４２１を、４４個の目標画素４２１からなる目標領域４２０ａに属するグループと、３個の目標画素４２１からなる目標領域４２０ｂに属するグループとに分類する。目標画素抽出部１３１が分類した各グループは、それぞれが１個の目標８５０に対応する。この例において、目標画素抽出部１３１が目標画素４２１を２つのグループに分類したので、目標追尾装置１００は、画像データ４１０において２個の目標８５０が観測されたと判定したことになる。
【００５３】
ピーク画素抽出部１３２は、目標画素抽出部１３１が抽出した４７個の目標画素４２１のなかから、隣接するすべての画素よりも画素値が大きい画素をピーク画素として抽出する。この例において、ピーク画素抽出部１３２は、目標領域４２０ａに属する４４個の目標画素４２１のなかから、２個のピーク画素４２２ａ，４２２ｂを抽出している。なお、図示していないが、ピーク画素抽出部１３２は、目標領域４２０ｂについても同様に、ピーク画素を抽出する。
ピーク画素抽出部１３２は、抽出したピーク画素それぞれについて、そのピーク画素の位置を算出する。ピーク画素の位置は、例えば、画像データ４１０の左下隅の画素を原点とし、画素の１辺の長さを単位とする直交座標系におけるｘ座標４３１とｙ座標４３２との組で表わされる。この例において、ピーク画素抽出部１３２は、ピーク画素４２２ａの位置として（２，２）を算出し、ピーク画素４２２ｂの位置として（６，７）を算出する。
【００５４】
特徴位置算出部１３３は、それぞれの目標領域について、特徴位置を算出する。特徴位置算出部１３３は、目標領域４２０ａについて、１個の特徴位置４２３ａを算出している。特徴位置は、ピーク画素の位置と同じ座標系におけるｘ座標４４１とｙ座標４４２との組で表わされる。この例において、特徴位置算出部１３３は、特徴位置４２３ａとして（５．１，４．７）を算出する。この例のように、特徴位置は、必ずしも画素の位置と一致しなくてもよい。なお、図示していないが、特徴位置算出部１３３は、目標領域４２０ｂについても同様に、特徴位置を算出する。また、特徴位置算出部１３３は、１個の目標領域について、複数の特徴位置を抽出してもよい。
【００５５】
特徴距離算出部１３４は、それぞれの目標領域について、ピーク画素抽出部１３２が抽出した各ピーク画素と、特徴位置算出部１３３が算出した各特徴位置との組に対応して、各ピーク画素の位置と各特徴位置との間の特徴距離を算出する。この例において、目標領域４２０ａについて、ピーク画素抽出部１３２が抽出したピーク画素の数が「２」、特徴位置算出部１３３が算出した特徴位置の数が「１」であるから、特徴距離算出部１３４は、２×１＝２個の特徴距離４３３を算出する。特徴距離算出部１３４は、ピーク画素４２２ａの位置（２，２）と特徴位置４２３ａ（５．１，４．７）との間の特徴距離４３３ａ「４．１」を算出し、ピーク画素４２２ｂの位置（６，７）と特徴位置４２３ａ（５．１，４．７）との間の特徴距離４３３ｂ「２．５」を算出する。なお、図示していないが、特徴距離算出部１３４は、目標領域４２０ｂについても同様に、特徴距離を算出する。ただし、目標領域が異なるピーク画素と特徴位置との間では、特徴距離を算出しない。
【００５６】
特徴方位算出部１３５は、それぞれの目標領域について、ピーク画素抽出部１３２が抽出した各ピーク画素と、特徴位置算出部１３３が算出した各特徴位置との組に対応して、各ピーク画素の位置から見た各特徴位置の特徴方位を算出する。この例において、目標領域４２０ａについて、ピーク画素抽出部１３２が抽出したピーク画素の数が「２」、特徴位置算出部１３３が算出した特徴位置の数が「１」であるから、特徴方位算出部１３５は、２×１＝２個の特徴方位４３４を算出する。特徴方位は、例えば、所定の方向を基準として、右回りを「＋」、左回りを「−」とする−１８０度以上１８０度未満の角度で表わされる。特徴方位算出部１３５は、ピーク画素４２２ａの位置（２，２）から見た特徴位置４２３ａ（５．１，４．７）の特徴方位４３４ａ「４９度」を算出し、ピーク画素４２２ｂの位置（６，７）から見た特徴位置４２３ａ（５．１，４．７）の特徴方位４３４ｂ「−１５９度」を算出する。なお、図示していないが、特徴方位算出部１３５は、目標領域４２０ｂについても同様に、特徴方位を算出する。ただし、特徴距離算出部１３４と同様、目標領域が異なるピーク画素と特徴位置との間では、特徴方位を算出しない。
【００５７】
特徴量抽出部１３０は、各ピーク画素について、ピーク画素の位置、特徴距離及び特徴方位を表わすデータを含む特徴量データを出力する。この例において、特徴量抽出部１３０は、ピーク画素４２２ａについて、ｘ座標４３１「２」、ｙ座標４３２「２」、特徴位置４２３ａに対する特徴距離４３３「４．１」、特徴位置４２３ａに対する特徴方位「４９度」を表わすデータを含む特徴量データ４３０ａを出力する。また、特徴量抽出部１３０は、ピーク画素４２２ｂについて、ｘ座標４３１「６」、ｙ座標４３２「７」、特徴位置４２３ａに対する特徴距離４３３「２．５」、特徴位置４２３ａに対する特徴方位４３４「−１５９度」を表わすデータを含む特徴量データ４３０ｂを出力する。１個の特徴量データは、ｘ座標４３１とｙ座標４３２との組を１個含み、特徴距離４３３と特徴方位４３４との組を、同じ目標領域内の特徴位置４２３の数と同じ数含む。
【００５８】
相関処理部１４０は、特徴量抽出部１３０が出力した特徴量データに基づいて、相関処理をする。
【００５９】
図９は、この実施の形態における特徴量抽出部１３０が処理するデータの一例を示す図である。
【００６０】
例えば、観測装置８１０が生成した画像データ４１０の次の画像データに基づいて、特徴量抽出部１３０が、目標領域４２０ｃについて、２個のピーク画素４２２ｃ，４２２ｄを抽出し、１個の特徴位置４２３ｂを算出したものとする。ピーク画素４２２ｃの位置は（２，７）、ピーク画素４２２ｄの位置は（７，３）、特徴位置４２３ｂの位置は（４．７，３．９）である。特徴量抽出部１３０は、ピーク画素４２２ｃについて、ｘ座標４３１「２」、ｙ座標４３２「７」、特徴位置４２３ｂに対する特徴距離４３３「４．１」、特徴位置４２３ｂに対する特徴方位４３４「１３９度」を表わすデータを含む特徴量データ４３０ｃを出力する。特徴量抽出部１３０は、ピーク画素４２２ｄについて、ｘ座標４３１「７」、ｙ座標４３２「３」、特徴距離４３３「２．５」、特徴方位４３４「−６９度」を表わすデータを含む特徴量データ４３０ｄを出力する。
【００６１】
相関処理部１４０は、特徴量抽出部１３０が出力した特徴量データを相関パラメータとして、特徴量抽出部１３０が抽出したピーク画素それぞれについて、特徴量抽出部１３０が前の画像データに基づいて抽出したピーク画素のなかから、同じ目標８５０（または細部）を観測したピーク画素を判定する。例えば、相関処理部１４０は、目標領域４２０ｃに観測された目標８５０と同じ目標を観測した目標領域が、目標領域４２０ａであるか、目標領域４２０ｂであるか、あるいは、前の画像データには対応する目標領域がないかを判定する。仮に、目標領域４２０ｃと目標領域４２０ａとが対応するとした場合、相関処理部１４０は、ピーク画素４２２ｃに観測された目標８５０の細部と同じ目標の細部を観測したピーク画素が、ピーク画素４２２ａであるか、ピーク画素４２２ｂであるか、あるいは、前の画像データには対応するピーク画素がないかを判定する。同様に、相関処理部１４０は、ピーク画素４２２ｄに観測された目標８５０の細部と同じ目標の細部を観測したピーク画素が、ピーク画素４２２ａであるか、ピーク画素４２２ｂであるか、あるいは、前の画像データには対応するピーク画素がないかを判定する。
【００６２】
相関処理部１４０における判定のアルゴリズム自体は、従来から知られているものと同様である。例えば、相関処理部１４０は、前の画像データまでの相関・追尾の結果から各ピーク画素について予測した相関パラメータと、新しい画像データにおけるピーク画素の相関パラメータとを比較し、相関パラメータが最も近いピーク画素が同じ目標８５０（または細部）を観測したピーク画素であると判定する。
相関処理部１４０における判定が従来と異なる点は、ピーク画素の相関パラメータが、ピーク画素の位置だけでなく、特徴位置との間の距離や方位などを含む点である。
【００６３】
例えば、ピーク画素の位置だけで考えると、ピーク画素４２２ｃの位置とピーク画素４２２ａの位置との間の距離は、ピーク画素４２２ｃの位置とピーク画素４２２ｂの位置との間の距離とほぼ同じである。どちらかといえば、ピーク画素４２２ｃの位置とピーク画素４２２ｂの位置との間の距離のほうが近い。また、ピーク画素４２２ｄの位置とピーク画素４２２ａの位置との間の距離は、ピーク画素４２２ｄの位置とピーク画素４２２ｂの位置との間の距離とほぼ同じである。どちらかといえば、ピーク画素４２２ｄの位置とピーク画素４２２ｂの位置との間の距離のほうが近い。
したがって、ピーク画素の位置だけで考えると、ピーク画素４２２ｃ及びピーク画素４２２ｄは、どちらもピーク画素４２２ｂと同じ目標８５０（または細部）であり、ピーク画素４２２ａと同じ目標８５０（または細部）は観測されなかったと判定することになる。あるいは、ピーク画素４２２ｃ及びピーク画素４２２ｄは、ピーク画素４２２ａ及びピーク画素４２２ｂと同じ目標８５０（または細部）であるが、どちらがどちらに対応するかはわからないと判定することになる。
【００６４】
これに対し、相関処理部１４０は、ピーク画素と特徴位置との間の距離及び方位を含む特徴量に基づいて対応関係を判定するので、ピーク画素４２２ｃはピーク画素４２２ａに対応し、ピーク画素４２２ｄはピーク画素４２２ｂに対応するという判定をすることができる。
【００６５】
この実施の形態における目標追尾装置１００は、目標８５０を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標８５０を追尾する。
目標追尾装置１００は、データを記憶する記憶装置９１４と、データを処理する処理装置９１１と、画像記憶部１１２と、目標画素抽出部１３１と、ピーク画素抽出部１３２と、特徴位置算出部１３３と、特徴距離算出部１３４と、特徴方位算出部１３５と、相関処理部１４０とを有する。
上記画像記憶部１１２は、上記記憶装置９１４を用いて、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値（画素値データ）を記憶する。
上記目標画素抽出部１３１は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記画像記憶部１１２が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素４２１とする。
上記ピーク画素抽出部１３２は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記画像記憶部１１２が記憶した複数の画素値に基づいて、上記目標画素抽出部１３１が抽出した目標画素４２１のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素４２２とする。
上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記目標画素抽出部１３１が抽出した目標画素４２１に基づいて、上記目標８５０の特徴を表わす特徴点の位置を算出して、特徴位置４２３とする。
上記特徴距離算出部１３４は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部１３２が抽出したピーク画素４２２と、上記特徴位置算出部１３３が算出した特徴位置４２３とに基づいて、上記ピーク画素４２２の位置と特徴位置４２３との間の距離を算出して、特徴距離４３３とする。
上記特徴方位算出部１３５は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部１３２が抽出したピーク画素４２２と、上記特徴位置算出部１３３が算出した特徴位置４２３とに基づいて、上記ピーク画素４２２の位置から見た上記特徴位置４２３の方位を算出して、特徴方位４３４とする。
上記相関処理部１４０は、上記処理装置９１１を用いて、上記特徴距離算出部１３４が算出した特徴距離４３３と、上記特徴方位算出部１３５が算出した特徴方位４３４とを含む相関パラメータに基づいて、上記複数の画像の相関処理をする。
【００６６】
この実施の形態における目標追尾装置１００によれば、特徴距離算出部１３４が算出した特徴距離や特徴方位算出部１３５が算出した特徴方位を含む相関パラメータに基づいて、相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【００６７】
この実施の形態における目標追尾装置１００は、コンピュータを目標追尾装置１００として機能させるコンピュータプログラムをコンピュータが実行することにより実現することができる。
【００６８】
この実施の形態における目標追尾装置１００が目標を追尾する目標追尾方法によれば、処理装置９１１が、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【００６９】
実施の形態２．
実施の形態２について、図１０〜図１１を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【００７０】
目標追尾システム８００の全体構成、目標追尾装置１００のハードウェア構成及びブロック構成は、実施の形態１と同様である。また、特徴量抽出処理Ｓ５００、目標画素抽出工程Ｓ５１０、ピーク画素抽出工程Ｓ５２０、特徴距離方位算出工程Ｓ５４０の流れも、実施の形態１と同様である。
【００７１】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴点として、画像上における目標８５０の重心を算出し、算出した重心の位置を特徴位置とする。特徴位置算出部１３３は、処理装置９１１を用いて、算出した重心の位置を表わす特徴位置データを出力する。
【００７２】
図１０は、この実施の形態における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図である。
特徴位置算出工程Ｓ５３０は、目標選択工程Ｓ５３１、初期化工程Ｓ５３２、目標画素選択工程Ｓ５３３、目標画素計数工程Ｓ５３４、ｘ座標累計工程Ｓ５３５、ｙ座標累計工程Ｓ５３６、ｘ座標算出工程Ｓ５３７、ｙ座標算出工程Ｓ５３８を有する。
【００７３】
目標選択工程Ｓ５３１において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が分類した目標画素のグループのなかから、まだ選択していないグループを１つ選択する。
すべてのグループが選択済であり、まだ選択していないグループがない場合、特徴位置算出部１３３は、処理装置９１１を用いて、特徴位置算出工程Ｓ５３０を終了する。
未選択のグループがあり、グループを選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、初期化工程Ｓ５３２へ進む。
【００７４】
初期化工程Ｓ５３２において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素の数を０に設定し、記憶装置９１４を用いて記憶する。特徴位置算出部１３３は、処理装置９１１を用いて、ｘ座標の累計値を０に設定し、記憶装置９１４を用いて記憶する。特徴位置算出部１３３は、処理装置９１１を用いて、ｙ座標の累計値を０に設定し、記憶装置９１４を用いて記憶する。
【００７５】
目標画素選択工程Ｓ５３３において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が抽出した目標画素のうち、目標選択工程Ｓ５３１で選択したグループに属する目標画素のなかから、まだ選択していない目標画素を１つ選択する。
目標選択工程Ｓ５３１で選択したグループに属する目標画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部１３３は、処理装置９１１を用いて、ｘ座標算出工程Ｓ５３７へ進む。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素計数工程Ｓ５３４へ進む。
【００７６】
目標画素計数工程Ｓ５３４において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶した目標画素の数に１を加算して、記憶装置９１４を用いて記憶する。
【００７７】
ｘ座標累計工程Ｓ５３５において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶したｘ座標の累計値に、目標画素選択工程Ｓ５３３で選択した目標画素のｘ座標を加算して、記憶装置９１４を用いて記憶する。
【００７８】
ｙ座標累計工程Ｓ５３６において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶したｙ座標の累計値に、目標画素選択工程Ｓ５３３で選択した目標画素のｙ座標を加算して、記憶装置９１４を用いて記憶する。
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５３３に戻り、次の目標画素を選択する。
【００７９】
ｘ座標算出工程Ｓ５３７において、特徴位置算出部１３３は、処理装置９１１を用いて、ｘ座標累計工程Ｓ５３５で累計したｘ座標の累計値を、目標画素計数工程Ｓ５３４で数えた目標画素の数で割った商を算出して、目標選択工程Ｓ５３１で選択したグループの特徴点のｘ座標とする。
【００８０】
ｙ座標算出工程Ｓ５３８において、特徴位置算出部１３３は、処理装置９１１を用いて、ｙ座標累計工程Ｓ５３６で累計したｙ座標の累計値を、目標画素計数工程Ｓ５３４で数えた目標画素の数で割った商を算出して、目標選択工程Ｓ５３１で選択したグループの特徴点のｙ座標とする。
特徴位置算出部１３３は、処理装置９１１を用いて、目標選択工程Ｓ５３１に戻り、次のグループを選択する。
【００８１】
特徴位置算出部１３３は、例えばこのようにして、１つの目標領域（グループ）に対して、その目標領域に属する目標画素のｘ座標及びｙ座標の単純平均を算出して、その目標領域の重心位置とする。特徴位置算出部１３３は、１つの目標領域につき、１つの重心位置を算出する。特徴位置算出部１３３は、算出した重心位置を、その目標領域の特徴位置とする。
【００８２】
なお、特徴位置算出部１３３は、単純平均ではなく、目標画素の画素値によって重み付けした重み付け平均を算出して、目標領域の重心位置とする構成であってもよい。
また、特徴位置算出部１３３は、特徴位置として、重心位置だけでなく、他の実施の形態で説明する他の特徴点の位置を算出し、１つの目標領域について、複数の特徴位置を算出する構成であってもよい。
【００８３】
この実施の形態における目標追尾装置１００において、上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記目標画素４２１の位置を平均して、重心位置を算出し、算出した重心位置を特徴位置とする。
この実施の形態における目標追尾装置１００によれば、特徴位置算出部１３３が算出した重心位置に基づいて、特徴距離算出部１３４が特徴距離を算出し、特徴方位算出部１３５が特徴方位を算出し、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【００８４】
以上説明した目標追尾装置１００は、センサ上で複数の画素により構成される目標領域において、取得される画像のフレーム間で出現位置が変化する特徴点追尾の安定化を実施する。
目標追尾装置１００は、例えば、信号処理部（画像入力部１１１）、ゲート内判定処理部（ゲート処理部１２０）、特徴量抽出処理部（特徴量抽出部１３０）、相関処理部１４０、平滑処理部１５０、予測処理部１６０を有する。
特徴量抽出処理部は、例えば、目標領域判定処理部（目標画素抽出部１３１）、ピーク画素判定処理部（ピーク画素抽出部１３２）、ピーク画素位置抽出処理部（ピーク画素抽出部１３２）、目標領域重心点位置抽出処理部（特徴位置算出部１３３）、目標重心点・ピーク画素間距離（重心距離）算出処理部（特徴距離算出部１３４）、目標重心点・ピーク画素間方位（重心方位）算出処理部（特徴方位算出部１３５）を有する。
【００８５】
まず、目標領域判定処理部が、入力画像内における目標領域を抽出する。
次に、ピーク画素判定処理部が、目標領域判定処理部が目標領域と判定した領域中でピーク画素となる画素を抽出する。ピーク画素とは、例えば、３×３画素領域内で、中央の画素が最大値となる（周辺の８個の画素よりも画素値が大きい）場合における中央の画素のことである。
次に、ピーク画素位置抽出処理部が、ピーク画素判定処理部が抽出したピーク画素の画像内での位置情報を抽出する。
次に、目標領域重心点位置抽出処理部が、目標領域判定処理部が目標領域と判定した領域の重心点の位置情報を抽出する。重心点の座標は、例えば、閾値処理によって抽出された目標領域内全画素のｘ座標値とｙ座標値を合算し、目標領域内全画素数で割った値である。
次に、目標重心点・ピーク画素間距離（重心距離）算出処理部が、目標領域重心点位置抽出処理部が抽出した目標領域の重心点の位置から、ピーク画素位置抽出処理部が抽出したピーク画素の画像内での位置までの距離を算出し、特徴量とする。
次に、目標重心点・ピーク画素間方位（重心方位）算出処理部が、目標領域重心点位置抽出処理部が抽出した目標領域の重心点の位置から、ピーク画素位置抽出処理部が抽出したピーク画素の画像内での位置までの方位を算出し、特徴量とする。
【００８６】
相関処理部１４０は、特徴量抽出処理部が抽出した輝点特徴量を使用して、フレーム間の輝点の相関処理を実施する。
相関処理部１４０は、例えば、ピーク画素数算出処理部、ピーク画素位置相関処理部、ピーク画素位置・重心距離・重心方位相関処理部、追尾対象点確定処理部を有する。
【００８７】
まず、ピーク画素数判定処理部が、入力画像内における目標領域内のピーク画素数を算出する。
ピーク画素数判定処理部が算出したピーク画素数が単数である場合、ピーク画素位置相関処理部が、ピーク画素の位置情報のみによる相関処理を実施する。
ピーク画素数判定処理部が算出したピーク画素数が複数である場合、ピーク画素位置・重心距離・重心方位相関処理部が、ピーク画素の位置情報と、重心距離と、重心方位を使った相関処理を実施する。
次に、追尾対象点確定処理部が、相関されたピーク画素を追尾対象点として抽出する。
【００８８】
このように、１つの目標領域内に存在するピーク画素が１つだけである場合、近接したピーク画素がないので、重心距離や重心方位を使わずに、相関処理をする構成であってもよい。そうすれば、相関処理の精度を落とすことなく、相関処理部１４０の計算量を抑えることができる。
【００８９】
以上説明した目標追尾装置１００は、目標領域全体の重心点から、目標領域全体の中に存在する全てのピーク画素までの距離と方位を追尾パラメータとして新たに付加するので、フレーム間での画素値の変動に影響されることなく、画素値最大ピーク画素とならないピーク画素でも、フレーム間での連続追尾が可能となる。
【００９０】
これにより、画像上に複数の画素で構成される領域を持つ目標に対し、観測点若しくは目標、若しくは観測点と目標の双方が移動している場合など、目標領域中の画素値最大ピーク画素や重心点といった画像上の特徴点が、取得されるフレーム間で出現位置が変化することがある場合であっても、フレーム間で連続して同一特徴点を追尾することができる。
【００９１】
図１１は、この実施の形態における追尾の様子の一例を示す図である。
例えば、フレーム番号Ｔ１の画像において、ある目標領域内に２つのピーク画素が抽出され、左側のピーク画素のほうが画素値が大きい。
次のフレームであるフレーム番号Ｔ２の画像において、同じように、２つのピーク画素が抽出される。しかし、ピーク画素の間の画素値の大小関係が逆転し、右側のピーク画素のほうが画素値が大きい。
その次のフレームであるフレーム番号Ｔ３の画像においても同様に、２つのピーク画素が抽出され、ピーク画素の画素値の大小関係は、フレーム番号Ｔ１の画像の状態に戻っている。
【００９２】
このような場合において、仮に、この目標領域を画素値が最大のピーク画素に代表させて追尾したとすると、目標がほとんど動いていないにも関わらず、追尾点が左右に揺れ動くことになる。
【００９３】
これに対し、目標追尾装置１００は、すべてのピーク画素を追尾するので、追尾点が揺れ動くことがない。また、すべてのピーク画素を追尾することにより、ピーク画素の間の距離が近くなっても、重心点との間の位置関係を相関パラメータとして用いることにより、少ない計算量で相関処理をすることができる。
【００９４】
目標追尾装置１００は、目標領域内で画素値最大ピーク画素とならない、ある程度の輝度値を持つ任意の画素を追尾することができる。目標追尾装置１００は、追尾対象とする任意の画素の特徴量として、従来方式で使用される画素の座標値のみでなく、目標領域全体の重心点から、追尾対象となる任意の画素までの距離と、その方位を、新たな追尾パラメータとして算出し、座標値とあわせて追尾パラメータ数を増加させ、より高精度な追尾処理を可能とする。
これにより、フレーム間で画素値最大ピーク画素の出現位置が変動するような画像による相関を実施する場合や、また、観測点が移動することにより、目標と観測点が接近や離反をする環境下において、取得画像の目標領域がフレーム間で変形することにより、目標領域の重心位置がフレーム間で変動するような画像による相関を実施する場合であっても、追尾の維持が可能となる。
【００９５】
実施の形態３．
実施の形態３について、図１２〜図１３を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【００９６】
目標追尾システム８００の全体構成、目標追尾装置１００のハードウェア構成及びブロック構成は、実施の形態１と同様である。また、特徴量抽出処理Ｓ５００、目標画素抽出工程Ｓ５１０、ピーク画素抽出工程Ｓ５２０、特徴距離方位算出工程Ｓ５４０の流れも、実施の形態１と同様である。
【００９７】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴点として、画像上における目標８５０の長軸を算出し、算出した長軸の両端の位置を特徴位置とする。特徴位置算出部１３３は、処理装置９１１を用いて、算出した長軸の両端の位置を表わす特徴位置データを出力する。
【００９８】
図１２は、この実施の形態における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図である。
特徴位置算出工程Ｓ５３０は、目標選択工程Ｓ５５１、初期化工程Ｓ５５２、左側目標画素選択工程Ｓ５５３、右側目標画素選択工程Ｓ５５４、距離算出工程Ｓ５５５、距離比較工程Ｓ５５６、距離記憶工程Ｓ５５７、左側目標画素記憶工程Ｓ５５８、右側目標画素記憶工程Ｓ５５９を有する。
【００９９】
目標選択工程Ｓ５５１において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が分類した目標画素のグループのなかから、まだ選択していないグループを１つ選択する。
すべてのグループが選択済であり、まだ選択していないグループがない場合、特徴位置算出部１３３は、処理装置９１１を用いて、特徴位置算出工程Ｓ５３０を終了する。
未選択のグループがあり、グループを選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、初期化工程Ｓ５５２へ進む。
【０１００】
初期化工程Ｓ５５２において、特徴位置算出部１３３は、処理装置９１１を用いて、長軸距離を０に設定し、記憶装置９１４を用いて記憶する。
【０１０１】
左側目標画素選択工程Ｓ５５３において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が抽出した目標画素のうち、目標選択工程Ｓ５５１で選択したグループに属する目標画素であって、左隣の画素が目標画素でない画素のなかから、まだ選択していない目標画素を１つ選択する。
目標選択工程Ｓ５５１で選択したグループに属する目標画素のうち左隣が目標画素でない画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標選択工程Ｓ５５１に戻り、次のグループを選択する。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、右側目標画素選択工程Ｓ５５４へ進む。
【０１０２】
右側目標画素選択工程Ｓ５５４において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が抽出した目標画素のうち、画素選択工程Ｓ５１１で選択したグループに属する目標画素であって、右隣の画素が目標画素でない画素のなかから、まだ選択していない目標画素を１つ選択する。
目標選択工程Ｓ５５１で選択したグループに属する目標画素のうち右隣が目標画素でない画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部１３３は、処理装置９１１を用いて、左側目標画素選択工程Ｓ５５３に戻り、左側の次の目標画素を選択する。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、距離算出工程Ｓ５５５へ進む。
【０１０３】
距離算出工程Ｓ５５５において、特徴位置算出部１３３は、処理装置９１１を用いて、左側目標画素選択工程Ｓ５５３で選択した左側の目標画素と、右側目標画素選択工程Ｓ５５４で選択した右側の目標画素との間の距離を算出する。なお、距離算出工程Ｓ５５５で算出する距離は、距離の大小が比較できればよい。したがって、ピタゴラスの定理を用いて距離を算出する場合、特徴位置算出部１３３は、平方根を取らずに、距離の二乗を算出する構成であってもよい。
【０１０４】
距離比較工程Ｓ５５６において、特徴位置算出部１３３は、処理装置９１１を用いて、距離算出工程Ｓ５５５で算出した距離（または距離の二乗）と、記憶した長軸距離（または長軸距離の二乗）とを比較する。
距離算出工程Ｓ５５５で算出した距離が長軸距離よりも大きい場合、特徴位置算出部１３３は、処理装置９１１を用いて、距離記憶工程Ｓ５５７へ進む。
距離算出工程Ｓ５５５で算出した距離が長軸距離よりも小さい場合、特徴位置算出部１３３は、処理装置９１１を用いて、右側目標画素選択工程Ｓ５５４に戻り、右側の次の目標画素を選択する。
【０１０５】
距離記憶工程Ｓ５５７において、特徴位置算出部１３３は、記憶装置９１４を用いて、距離算出工程Ｓ５５５で算出した距離（または距離の二乗）を、長軸距離（または長軸距離の二乗）として記憶する。
【０１０６】
左側目標画素記憶工程Ｓ５５８において、特徴位置算出部１３３は、記憶装置９１４を用いて、左側目標画素選択工程Ｓ５５３で選択した左側の目標画素を、（暫定的に）目標選択工程Ｓ５５１で選択したグループについての長軸の一端の画素として記憶する。
【０１０７】
右側目標画素記憶工程Ｓ５５９において、特徴位置算出部１３３は、記憶装置９１４を用いて、右側目標画素選択工程Ｓ５５４で選択した右側の目標画素を、（暫定的に）目標選択工程Ｓ５５１で選択したグループについての長軸の他端の画素として記憶する。
特徴位置算出部１３３は、処理装置９１１を用いて、右側目標画素選択工程Ｓ５５４に戻り、右側の次の目標画素を選択する。
【０１０８】
特徴位置算出部１３３は、例えばこのようにして、１つの目標領域（グループ）に対して、その目標領域に属する目標画素のなかから、互いの距離が最も離れた２つの目標画素を判定して、特徴点とする。特徴位置算出部１３３は、判定した２つの目標画素の位置を特徴位置とする。特徴位置算出部１３３は、１つの目標領域につき、２つの特徴位置を算出する。
【０１０９】
なお、特徴位置算出部１３３は、特徴位置として、長軸の両端の画素の位置だけでなく、他の実施の形態で説明する他の特徴点の位置を算出し、１つの目標領域について、３つ以上の特徴位置を算出する構成であってもよい。
【０１１０】
この実施の形態における目標追尾装置１００において、上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記目標画素４２１のなかから、互いの距離が最も離れた２つの画素を判定し、判定した２つの画素それぞれの位置を特徴位置とする。
【０１１１】
この実施の形態における目標追尾装置１００によれば、特徴位置算出部１３３が算出した特徴位置に基づいて、特徴距離算出部１３４が特徴距離を算出し、特徴方位算出部１３５が特徴方位を算出し、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【０１１２】
図１３は、この実施の形態における追尾の様子の一例を示す図である。
目標領域内の長軸とは、目標領域を構成する画素群において、目標領域内と目標領域外の境界に位置する画素を境界画素と設定し、２つの境界画素間の離隔距離が最長となる距離を目標領域長軸として設定したものである。
まず、目標画素抽出部１３１は、目標領域を抽出する。
次に、特徴位置算出部１３３は、目標領域長軸を構成する２つの境界画素を長軸構成画素［Ａ］［Ｂ］（特徴点）とする。特徴位置算出部１３３は、目標領域内の境界画素間で最長となる距離を目標領域長軸とし、ペアとなる境界画素を長軸端部画素［Ａ］、長軸端部画素［Ｂ］とする。
次に、ピーク画素抽出部１３２は、目標領域内で追尾対象候補となるピーク画素［ａ］、ピーク画素［ｂ］を抽出する。
次に、特徴距離算出部１３４及び特徴方位算出部１３５は、この長軸構成画素から、追尾対象とするピーク画素［ａ］までの距離と方位を算出する。長軸構成画素は２つ存在しているため、長軸構成画素［Ａ］からピーク画素［ａ］までの距離を「長軸端部距離［Ａ］［ａ］」、長軸構成画素［Ｂ］からピーク画素［ａ］までの距離を「長軸端部距離［Ｂ］［ａ］」とする。また、長軸構成画素［Ａ］からピーク画素［ａ］までの方位を「長軸端部方位［Ａ］［ａ］」、長軸構成画素［Ｂ］からピーク画素［ａ］までの方位を「長軸端部方位［Ｂ］［ａ］」とする。特徴距離算出部１３４及び特徴方位算出部１３５は、目標領域内のピーク画素［ａ］と長軸端部画素［Ａ］との距離（長軸端部距離［Ａ］［ａ］）と方位（長軸端部方位［Ａ］［ａ］）とを抽出する。特徴距離算出部１３４及び特徴方位算出部１３５は、目標領域内のピーク画素［ａ］と長軸端部画素［Ｂ］との距離（長軸端部距離［Ｂ］［ａ］）と方位（長軸端部方位［Ｂ］［ａ］）とを抽出する。特徴距離算出部１３４及び特徴方位算出部１３５は、その他のピーク画素［ｂ］にも同等の処理を行い、値を保持する。
相関処理部１４０は、抽出された長軸端部距離と長軸端部方位とを新たな相関パラメータとして使用する。
【０１１３】
実施の形態４．
実施の形態４について、図１４〜図１５を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【０１１４】
目標追尾システム８００の全体構成、目標追尾装置１００のハードウェア構成及びブロック構成は、実施の形態１と同様である。また、特徴量抽出処理Ｓ５００、目標画素抽出工程Ｓ５１０、ピーク画素抽出工程Ｓ５２０、特徴距離方位算出工程Ｓ５４０の流れも、実施の形態１と同様である。
【０１１５】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴点として、画像上における目標８５０の突出した先端の画素（以下「突出画素」と呼ぶ。）を検出し、検出した突出画素の位置を特徴位置とする。特徴位置算出部１３３は、処理装置９１１を用いて、算出した突出画素の位置を表わす特徴位置データを出力する。
【０１１６】
図１４は、この実施の形態における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図である。
特徴位置算出工程Ｓ５３０は、目標選択工程Ｓ５６１、目標画素選択工程Ｓ５６２、初期化工程Ｓ５６３、周辺画素選択工程Ｓ５６４、目標画素判定工程Ｓ５６５、周辺目標画素計数工程Ｓ５６６、閾値判定工程Ｓ５６７、突出画素記憶工程Ｓ５６８を有する。
【０１１７】
目標選択工程Ｓ５６１において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が分類した目標画素のグループのなかから、まだ選択していないグループを１つ選択する。
すべてのグループが選択済であり、まだ選択していないグループがない場合、特徴位置算出部１３３は、処理装置９１１を用いて、特徴位置算出工程Ｓ５３０を終了する。
未選択のグループがあり、グループを選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５６２へ進む。
【０１１８】
目標画素選択工程Ｓ５６２において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が抽出した目標画素のうち、目標選択工程Ｓ５６１で選択したグループに属する目標画素のなかから、まだ選択していない目標画素を１つ選択する。
目標選択工程Ｓ５６１で選択したグループに属する目標画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標選択工程Ｓ５６１に戻り、次のグループを選択する。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、初期化工程Ｓ５６３へ進む。
【０１１９】
初期化工程Ｓ５６３において、特徴位置算出部１３３は、処理装置９１１を用いて、周辺目標画素の数を０に設定し、記憶装置９１４を用いて記憶する。
【０１２０】
周辺画素選択工程Ｓ５６４において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５６２で選択した目標画素の周辺に位置する画素のなかから、画素を１つ選択する。目標画素の周辺に位置する画素とは、目標画素に隣接する画素、もしくは、目標画素からの距離が所定の閾値以下である画素、もしくは、目標画素との間の座標の差が所定の閾値以下である画素のことである。
目標画素選択工程Ｓ５６２で選択した目標画素の周辺に位置する画素がすべて選択済であり、まだ選択していない画素がない場合、その目標画素は突出画素である。特徴位置算出部１３３は、処理装置９１１を用いて、突出画素記憶工程Ｓ５６８へ進む。
未選択の画素があり、画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素判定工程Ｓ５６５へ進む。
【０１２１】
目標画素判定工程Ｓ５６５において、特徴位置算出部１３３は、処理装置９１１を用いて、周辺画素選択工程Ｓ５６４で選択した画素が目標画素であるか否かを判定する。
周辺画素選択工程Ｓ５６４で選択した画素が目標画素である場合、特徴位置算出部１３３は、処理装置９１１を用いて、周辺目標画素計数工程Ｓ５６６へ進む。
周辺画素選択工程Ｓ５６４で選択した画素が目標画素でない場合、特徴位置算出部１３３は、処理装置９１１を用いて、周辺画素選択工程Ｓ５６４に戻り、次の周辺画素を選択する。
【０１２２】
周辺目標画素計数工程Ｓ５６６において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶した周辺目標画素の数に１を加え、記憶装置９１４を用いて記憶する。
【０１２３】
閾値判定工程Ｓ５６７において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶した周辺目標画素の数を所定の閾値と比較する。
周辺目標画素の数が閾値以上である場合、その目標画素は突出画素ではない。特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５６２に戻り、次の目標画素を選択する。
周辺目標画素の数が閾値未満である場合、その目標画素が突出画素であるか否かはまだわからない。特徴位置算出部１３３は、処理装置９１１を用いて、周辺画素選択工程Ｓ５６４に戻り、次の周辺画素を選択する。
【０１２４】
突出画素記憶工程Ｓ５６８において、特徴位置算出部１３３は、記憶装置９１４を用いて、目標画素選択工程Ｓ５６２で選択した目標画素を、目標選択工程Ｓ５６１で選択したグループについての突出画素として記憶する。
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５６２に戻り、次の目標画素を選択する。
【０１２５】
特徴位置算出部１３３は、例えばこのようにして、１つの目標領域（グループ）に対して、その目標領域に属する目標画素のなかから、突出画素を抽出して、特徴点とする。特徴位置算出部１３３は、抽出した突出画素の位置を特徴位置とする。特徴位置算出部１３３は、１つの目標領域について、複数の突出画素を抽出する場合もあるし、突出画素を抽出しない場合もある。
【０１２６】
なお、特徴位置算出部１３３は、特徴位置として、突出画素の位置だけでなく、他の実施の形態で説明する他の特徴点の位置を算出する構成であってもよい。
【０１２７】
この実施の形態における目標追尾装置１００において、上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記目標画素４２１のなかから、突出した先端の画素を抽出して、突出画素とし、抽出した突出画素の位置を特徴位置とする。
【０１２８】
この実施の形態における目標追尾装置１００によれば、特徴位置算出部１３３が算出した特徴位置に基づいて、特徴距離算出部１３４が特徴距離を算出し、特徴方位算出部１３５が特徴方位を算出し、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【０１２９】
図１５は、この実施の形態における追尾の様子の一例を示す図である。
目標領域内の特徴的な形状とは、目標領域を構成する画素群において、目標領域内と目標領域外の境界に位置する画素において、１画素のみ目標領域外へ突き出した形状をしているような画素（突出画素）を指しており、任意に指定可能とする。特徴的な形状の画素のことを、特徴的形状画素と呼ぶ。
まず、目標画素抽出部１３１は、目標領域を抽出する。
次に、特徴位置算出部１３３は、目標領域内の特徴的な形状を示す画素を特徴的形状画素［Ａ］とする。
次に、ピーク画素抽出部１３２は、目標領域内で追尾対象候補となるピーク画素［ａ］、ピーク画素［ｂ］を抽出する。
次に、特徴距離算出部１３４及び特徴方位算出部１３５は、この特徴的形状画素［Ａ］から、追尾対象とするピーク画素［ａ］までの距離と方位を算出する。特徴的形状画素［Ａ］からピーク画素［ａ］までの距離を「特徴的形状画素距離［Ａ］［ａ］」とする。また、特徴的形状画素［Ａ］からピーク画素［ａ］までの方位を「特徴的形状画素方位［Ａ］［ａ］」とする。特徴距離算出部１３４及び特徴方位算出部１３５は、目標領域内のピーク画素［ａ」と、特徴的形状画素［Ａ］との距離（特徴形状画素距離［Ａ］［ａ］）と方位（特徴形状画素方位［Ａ］［ａ］）とを抽出する。特徴距離算出部１３４及び特徴方位算出部１３５は、その他のピーク画素［ｂ］にも同等の処理を行い、値を保持する。
相関処理部１４０は、抽出された特徴形状画素距離と特徴形状画素方位とを新たな相関パラメータとして使用する。
【０１３０】
実施の形態５．
実施の形態５について、図１６〜図１７を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【０１３１】
目標追尾システム８００の全体構成、目標追尾装置１００のハードウェア構成及びブロック構成は、実施の形態１と同様である。
【０１３２】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴位置を算出する。特徴位置算出部１３３は、処理装置９１１を用いて、算出した特徴位置を表わす特徴位置データを出力する。
【０１３３】
相関処理部１４０は、ピーク画素抽出部１３２が抽出したピーク画素の位置や、特徴位置算出部１３３が算出した特徴位置に基づいて特徴距離算出部１３４及び特徴方位算出部１３５が算出した特徴距離及び特徴方位を相関パラメータとして使用して、処理装置９１１を用いて、第一次相関処理をする。第一次相関処理では、ピーク画素同士の相関処理はせず、目標領域同士の相関処理をする。
なお、第一次相関処理において、相関処理部１４０は、特徴距離や特徴方位を使わず、ピーク画素の位置に基づいて、目標領域の相関処理をする構成であってもよい。あるいは、１つの目標領域を代表するピーク画素として、画素値が最も大きい１個のピーク画素を用い、相関処理部１４０は、目標領域内で画素値が最も大きいピーク画素の位置に基づいて、目標領域の相関処理をする構成であってもよい。
【０１３４】
特徴位置算出部１３３は、相関処理部１４０が第一次相関処理をした結果に基づいて、ある目標領域について算出した特徴位置と、一つ前の画像において同じ目標８５０を観測した目標領域について算出し記憶しておいた特徴位置との平均（以下「平均特徴位置」と呼ぶ。）を算出する。特徴位置算出部１３３は、処理装置９１１を用いて、算出した平均特徴位置を表わすデータ（以下「平均特徴位置データ」と呼ぶ。）を出力する。
【０１３５】
特徴距離算出部１３４及び特徴方位算出部１３５は、処理装置９１１を用いて、特徴位置算出部１３３が出力した平均特徴位置データを入力する。特徴距離算出部１３４及び特徴方位算出部１３５は、入力した平均特徴位置データに基づいて、処理装置９１１を用いて、平均特徴位置を、今回の画像及び一つ前の画像におけるその目標領域についての特徴位置とし、改めて、特徴距離及び特徴方位を算出する。特徴距離算出部１３４及び特徴方位算出部１３５は、処理装置９１１を用いて、改めて算出した特徴距離及び特徴方位を現す特徴距離データ及び特徴方位データを出力する。
【０１３６】
相関処理部１４０は、ピーク画素抽出部１３２が抽出したピーク画素の位置や、特徴距離算出部１３４及び特徴方位算出部１３５が改めて算出した特徴距離及び特徴方位を相関パラメータとして使用して、処理装置９１１を用いて、第二次相関処理をする。第二次相関処理では、１つの目標領域内の１以上のピーク画素についての相関処理をする。
【０１３７】
なお、相関処理部１４０が第一次相関処理をする代わりに、特徴位置算出部１３３が、一つ前の画像において同じ目標８５０を観測した可能性のあるすべての目標領域との間で、特徴位置を平均して平均特徴位置を算出する構成であってもよい。その場合、相関処理部１４０は、第二次相関処理において、最も整合性の高い平均特徴位置を判定して目標領域間の相関処理をしたのち、その平均特徴位置に基づいて特徴距離算出部１３４及び特徴方位算出部１３５が算出した特徴距離及び特徴方位に基づいて、ピーク画素の相関処理をする。
【０１３８】
図１６は、この実施の形態における特徴量抽出処理Ｓ５００の流れの一例を示すフローチャート図である。
特徴量抽出処理Ｓ５００は、実施の形態１で説明した工程に加えて、更に、第一次相関工程Ｓ５５０、平均特徴位置算出工程Ｓ５６０、前回特徴距離方位算出工程Ｓ５７０、今回特徴距離方位算出工程Ｓ５８０を有する。
【０１３９】
第一次相関工程Ｓ５５０において、相関処理部１４０は、ピーク画素抽出工程Ｓ５２０でピーク画素抽出部１３２が抽出したピーク画素の位置や、特徴距離方位算出工程Ｓ５４０で特徴距離算出部１３４及び特徴方位算出部１３５が算出した特徴距離や特徴方位などに基づいて、処理装置９１１を用いて、目標領域間の相関処理をする。
【０１４０】
平均特徴位置算出工程Ｓ５６０において、特徴位置算出部１３３は、第一次相関工程Ｓ５５０で相関処理部１４０がした相関処理の結果に基づいて、処理装置９１１を用いて、今回の画像における目標領域について算出した特徴位置（例えば重心位置）と、同じ目標８５０を観測した１つ前の画像における目標領域について算出した特徴位置（例えば重心位置）との平均を取り、平均特徴位置とする。
【０１４１】
前回特徴距離方位算出工程Ｓ５７０において、特徴距離算出部１３４及び特徴方位算出部１３５は、ピーク画素抽出部１３２が１つ前の画像について抽出したピーク画素の位置と、平均特徴位置算出工程Ｓ５６０で特徴位置算出部１３３が算出した平均特徴位置とに基づいて、処理装置９１１を用いて、特徴距離及び特徴方位を算出する。
【０１４２】
今回特徴距離方位算出工程Ｓ５８０において、特徴距離算出部１３４及び特徴方位算出部１３５は、ピーク画素抽出部１３２が今回の画像について抽出したピーク画素の位置と、平均特徴位置算出工程Ｓ５６０で特徴位置算出部１３３が算出した平均特徴位置とに基づいて、処理装置９１１を用いて、特徴距離及び特徴方位を算出する。
【０１４３】
相関処理部１４０は、ピーク画素抽出部１３２が１つ前の画像及び今回の画像について抽出したピーク画素の位置と、前回特徴距離方位算出工程Ｓ５７０及び今回特徴距離方位算出工程Ｓ５８０で特徴距離算出部１３４及び特徴方位算出部１３５が算出した特徴距離及び特徴方位とに基づいて、ピーク画素間の相関処理をする。
【０１４４】
この実施の形態における目標追尾装置１００において、上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記複数の画像それぞれについて算出した特徴位置を平均して、平均特徴位置を算出し、算出した平均特徴位置を上記複数の画像についての特徴位置とする。
【０１４５】
この実施の形態における目標追尾装置１００によれば、特徴位置算出部１３３が算出した平均特徴位置に基づいて、特徴距離算出部１３４が特徴距離を算出し、特徴方位算出部１３５が特徴方位を算出し、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素があり、かつ、特徴位置の変動が激しい場合でも、少ない計算量で精度の高い相関処理をすることができる。
【０１４６】
図１７は、この実施の形態における追尾の様子の一例を示す図である。
入力画像において抽出される重心点の位置が、連続する２フレーム間における変動が大きい場合において、特徴位置算出部１３３は、連続する２フレーム間での重心点の位置の平均値を算出（これを「フレーム間平均重心点」とする）する。特徴位置算出部１３３は、隣接するフレーム間で重心点の出現位置を抽出する。特徴位置算出部１３３は、重心点Ｔ１と重心点Ｔ２との平均値を算出し、フレーム間平均重心点とする。
平均位置を算出するのに使用した連続する２フレームでは、特徴距離算出部１３４及び特徴方位算出部１３５は、この「フレーム間平均重心点」からピーク画素までの距離と方位を、「重心距離」と「重心方位」として算出する。
相関処理部１４０は、フレーム間平均重心点を使った重心方位・重心距離を相関パラメータとして使用する。これにより、フレーム間で位置の変動の大きな重心点を相関パラメータとして使用することができる。
【符号の説明】
【０１４７】
１００ 目標追尾装置、１１１ 画像入力部、１１２ 画像記憶部、１２０ ゲート処理部、１３０ 特徴量抽出部、１３１ 目標画素抽出部、１３２ ピーク画素抽出部、１３３ 特徴位置算出部、１３４ 特徴距離算出部、１３５ 特徴方位算出部、１４０ 相関処理部、１５０ 平滑処理部、１６０ 予測処理部、１７０ 結果出力部、４１０ 画像データ、４１１ 画素値データ、４２０ 目標領域、４２１ 目標画素、４２２ ピーク画素、４２３ 特徴位置、４３０ 特徴量データ、４３１，４４１ ｘ座標、４３２，４４２ ｙ座標、４３３ 特徴距離、４３４ 特徴方位、８００ 目標追尾システム、８１０ 観測装置、８２０ 表示装置、８５０ 目標、９０１ 出力装置、９０２ 入力装置、９１１ 処理装置、９１４ 記憶装置。
【技術分野】
【０００１】
この発明は、目標を観測した画像に基づいて目標を追尾する目標追尾装置に関する。
【背景技術】
【０００２】
目標を光学センサやレーダなどにより観測した画像において、画素値が最大である画素を追尾する目標追尾方式がある。
また、目標が複数の画素にわたって観測される場合において、目標が観測された領域を判定し、判定した領域の重心点を追尾する目標追尾方式がある。
また、状況に応じて、画素値が最大である画素の追尾と、重心点の追尾とを切り替えて実施する目標追尾方式がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６０６３３号公報
【特許文献２】特開平９−１７０８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
目標が複数の画素にわたって観測される場合、各画素には目標の細部が観測されるので、画素値が最大である画素の位置が変わり、目標全体の動きと異なる動きをする場合がある。また、目標領域の重心点も、目標全体の動きと異なる動きをする場合がある。したがって、従来の方式では、安定した追尾ができない場合がある。
また、目標が複数の画素にわたって観測される場合、目標の特定の部分を追尾したい場合がある。そのため、画素値が極大（その画素の近傍において最大）である画素（ピーク画素）を追尾しようとすると、１つの目標領域内に複数のピーク画素が現れるので、精度よく追尾することが難しい。
この発明は、例えば上記のような課題を解決するためになされたものであり、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることを目的とする。
【課題を解決するための手段】
【０００５】
この発明にかかる目標追尾装置は、
目標を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標を追尾する目標追尾装置において、
データを記憶する記憶装置と、データを処理する処理装置と、画像記憶部と、目標画素抽出部と、ピーク画素抽出部と、特徴位置算出部と、特徴距離算出部と、特徴方位算出部と、相関処理部とを有し、
上記画像記憶部は、上記記憶装置を用いて、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値を記憶し、
上記目標画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素とし、
上記ピーク画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記目標画素抽出部が抽出した目標画素のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素とし、
上記特徴位置算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記目標画素抽出部が抽出した目標画素に基づいて、上記目標の特徴を表わす特徴点の位置を算出して、特徴位置とし、
上記特徴距離算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置と特徴位置との間の距離を算出して、特徴距離とし、
上記特徴方位算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置から見た上記特徴位置の方位を算出して、特徴方位とし、
上記相関処理部は、上記処理装置を用いて、上記特徴距離算出部が算出した特徴距離と、上記特徴方位算出部が算出した特徴方位とを含む相関パラメータに基づいて、上記複数の画像の相関処理をすることを特徴とする。
【発明の効果】
【０００６】
この発明にかかる目標追尾装置によれば、特徴距離算出部が算出した特徴距離や特徴方位算出部が算出した特徴方位を含む相関パラメータに基づいて、相関処理部が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１における目標追尾システム８００の全体構成の一例を示すシステム構成図。
【図２】実施の形態１における目標追尾装置１００のハードウェア構成の一例を示す構成図。
【図３】実施の形態１における目標追尾装置１００の機能ブロックの構成の一例を示すブロック構成図。
【図４】実施の形態１における特徴量抽出処理Ｓ５００の流れの一例を示すフローチャート図。
【図５】実施の形態１における目標画素抽出工程Ｓ５１０の流れの一例を示すフローチャート図。
【図６】実施の形態１におけるピーク画素抽出工程Ｓ５２０の流れの一例を示すフローチャート図。
【図７】実施の形態１における特徴距離方位算出工程Ｓ５４０の流れの一例を示すフローチャート図。
【図８】実施の形態１における目標追尾装置１００が処理するデータの一例を示す図。
【図９】実施の形態１における特徴量抽出部１３０が処理するデータの一例を示す図。
【図１０】実施の形態２における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図。
【図１１】実施の形態２における追尾の様子の一例を示す図。
【図１２】実施の形態３における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図。
【図１３】実施の形態３における追尾の様子の一例を示す図。
【図１４】実施の形態４における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図。
【図１５】実施の形態４における追尾の様子の一例を示す図。
【図１６】実施の形態５における特徴量抽出処理Ｓ５００の流れの一例を示すフローチャート図。
【図１７】実施の形態５における追尾の様子の一例を示す図。
【発明を実施するための形態】
【０００８】
実施の形態１．
実施の形態１について、図１〜図９を用いて説明する。
【０００９】
図１は、この実施の形態における目標追尾システム８００の全体構成の一例を示すシステム構成図である。
目標追尾システム８００は、目標８５０を観測した画像に基づいて、目標８５０を追尾する。目標追尾システム８００は、観測装置８１０、目標追尾装置１００、表示装置８２０を有する。
【００１０】
目標８５０は、例えば、航空機、飛翔体、船舶、車両などである。
【００１１】
観測装置８１０は、目標８５０を観測して画像を生成する。観測装置８１０は、例えば、合成開口レーダ（以下「ＳＡＲ」と呼ぶ。）、逆合成開口レーダ（以下「ＩＳＡＲ」と呼ぶ。）、赤外線センサ、光学センサ、レーダなどのセンサを有する。観測装置８１０は、これらのセンサを用いて、目標８５０を観測する。
観測装置８１０が生成する画像は、複数の画素（レンジビン）により構成される。各画素は、目標８５０を観測した観測強度を表わす画素値を有する。例えば、センサが赤外線センサである場合、画素値は、目標から放射され、センサが観測した赤外線の強度である。また、センサがレーダである場合、画素値は、目標に反射し、センサが観測した電波の強度である。
複数の画素は、２次元または３次元に配置されている。例えば、センサがレーダなど距離情報を取得できるセンサである場合、観測方向を１次元に走査することにより、２次元に配置された画素の画素値を得ることができる。また、観測方向を２次元に走査することにより、３次元に配置された画素の画素値を得ることができる。また、センサが赤外線センサなど距離情報を取得できないセンサである場合、観測方向を２次元に走査することにより、２次元に配置された画素の画素値を得ることができる。
観測装置８１０は、生成した画像を表わす信号を出力する。
観測装置８１０は、例えば一定の間隔で画像を繰り返し生成する。観測装置８１０は、画像を生成するたびに、生成した画像を表わす信号を出力する。
【００１２】
目標追尾装置１００は、観測装置８１０が生成した画像に基づいて、観測された目標８５０を追尾する。
目標追尾装置１００は、各画像のなかで、目標８５０が観測された画素を判定する。観測装置８１０から目標８５０までの距離が比較的近いなど、観測装置８１０の分解能と比較して目標８５０が大きい場合、１つの目標８５０が複数の画素にわたって観測される。その場合、目標追尾装置１００は、１つの目標８５０が観測された画素の範囲を判定する。
また、目標追尾装置１００は、観測時刻の異なる複数の画像の間で、同じ目標８５０が観測された画素を判定する。これにより、目標８５０の動きを知ることができる。
目標追尾装置１００は、目標８５０の位置、移動方向、速度など、追尾の結果として得られた情報を表わすデータを出力する。
【００１３】
表示装置８２０は、目標追尾装置１００が出力したデータを入力する。表示装置８２０は、入力したデータに基づいて、目標８５０に関する情報を表示する。
なお、目標追尾装置１００が取得した情報は、表示装置８２０に表示するのではなく、例えば、目標追尾システム８００が搭載された移動体の自動操舵装置が利用する構成であってもよい。自動操舵装置は、目標追尾装置１００が取得した情報に基づいて、例えば、目標８５０に近づくよう、もしくは、逆に目標８５０を回避するよう、移動体を操舵する。
【００１４】
図２は、この実施の形態における目標追尾装置１００のハードウェア構成の一例を示す構成図である。
目標追尾装置１００は、例えば、処理装置９１１、記憶装置９１４、入力装置９０２、出力装置９０１を有する。
処理装置９１１は、プログラムを実行することにより、データを処理し、目標追尾装置１００全体を制御する。
記憶装置９１４は、処理装置９１１が実行するプログラムや、処理装置９１１が処理するデータを記憶する。記憶装置９１４は、例えば、不揮発性メモリ（以下「ＲＯＭ」と呼ぶ。）、揮発性メモリ（以下「ＲＡＭ」と呼ぶ。）、磁気ディスク装置（以下「ＨＤＤ」と呼ぶ。）、光学ディスク装置などである。
入力装置９０２は、観測装置８１０など目標追尾装置１００の外部からの信号や情報を入力し、処理装置９１１が処理できる形式のデータに変換する。入力装置９０２が変換したデータは、処理装置９１１が直接処理してもよいし、記憶装置９１４が一時的に記憶してもよい。
出力装置９０１は、処理装置９１１が処理したデータや記憶装置９１４が記憶したデータを外部に出力できる形式に変換して、表示装置８２０など目標追尾装置１００の外部に対して出力する。
【００１５】
図３は、この実施の形態における目標追尾装置１００の機能ブロックの構成の一例を示すブロック構成図である。
目標追尾装置１００は、画像入力部１１１、画像記憶部１１２、ゲート処理部１２０、特徴量抽出部１３０、相関処理部１４０、平滑処理部１５０、予測処理部１６０、結果出力部１７０を有する。
【００１６】
画像入力部１１１は、入力装置９０２を用いて、観測装置８１０が出力した信号を入力し、入力した信号を変換して、目標追尾装置１００が生成した画像を表わすデータ（以下「画像データ」と呼ぶ。）を取得する。画像データには、画像を構成する各画素の画素値を表わすデータ（以下「画素値データ」と呼ぶ。）が含まれる。
【００１７】
画像記憶部１１２は、記憶装置９１４を用いて、画像入力部１１１が取得した画像データを記憶する。画像記憶部１１２は、画像入力部１１１が画像データを取得するたびに、画像データを記憶し、画像データを蓄積していく。例えば、記憶した画像データの数が所定の数に達するまでの間、画像記憶部１１２は、古い画像データを消さずに、新しい画像データを追加して記憶する。記憶した画像データの数が所定の数に達した場合、画像記憶部１１２は、一番古い画像データを消し、新しい画像データをその上に上書きして記憶する。
【００１８】
ゲート処理部１２０は、処理装置９１１を用いて、画像記憶部１１２が記憶した最新の画像データを入力する。ゲート処理部１２０は、処理装置９１１を用いて、入力した画像データのなかから、目標８５０が観測されると予測される範囲内の画素の画素値データを抽出する。例えば、一つ前までの画像に基づく追尾の結果、ある目標８５０の位置や速度・移動方向がわかっている場合、その目標８５０は、同じ速度で同じ方向に移動したときに観測される位置を中心とする所定の範囲内に観測されることが予測される。そして、その範囲内に実際に目標が観測されれば、その目標は、それまで追尾してきた目標８５０と同じ目標であると考えられる。
ゲート処理部１２０は、処理装置９１１を用いて、抽出した画素値データを出力する。
【００１９】
特徴量抽出部１３０は、処理装置９１１を用いて、ゲート処理部１２０が出力した画素値データを入力する。特徴量抽出部１３０は、処理装置９１１を用いて、入力した画素値データに基づいて、特徴量を抽出する。特徴量とは、目標８５０を追尾するために用いられるパラメータである。特徴量抽出部１３０は、処理装置９１１を用いて、抽出した特徴量を表わすデータ（以下「特徴量データ」と呼ぶ。）を出力する。
【００２０】
１つの目標８５０が観測される画素の数が１画素〜数画素程度である場合、ピーク画素の位置を目標８５０の位置として捕らえればよい。ピーク画素とは、隣接する画素と比較して画素値が最大となる画素のことである。隣接する画素とは、例えば、画素が２次元に碁盤の目状に配置されている場合、辺を介して隣接する４つの画素、もしくは、頂点を介して隣接する４つの画素を加えた８つの画素のことである。特徴量抽出部１３０は、特徴量として、ピーク画素の位置を抽出する。
１つの目標８５０が観測される画素の数がもっと多い場合、目標８５０の細部が観測されるため、ピーク画素が複数現れる場合がある。この場合、ピーク画素の位置は目標８５０の細部の位置であり、目標８５０全体の動きとは異なる動きをする場合がある。また、複数のピーク画素は近接しているため、ピーク画素として観測された目標８５０の細部を同定することが難しい。特徴量抽出部１３０は、目標８５０の細部を追尾するため、特徴量として、ピーク画素の位置の以外の情報を抽出する。
【００２１】
相関処理部１４０は、処理装置９１１を用いて、特徴量抽出部１３０が出力した特徴量データを入力する。相関処理部１４０は、入力した特徴量データに基づいて、処理装置９１１を用いて、相関処理をする。すなわち、相関処理部１４０は、処理装置９１１を用いて、新しい画像で観測された目標８５０（または細部）が、新たに観測されたものであるか、１つ前までの画像で観測されていた目標８５０（または細部）と同じものであるか、１つ前までの画像で観測されていた目標８５０（または細部）と同じものである場合、どの目標８５０（または細部）と同じものなのかを判定する。
相関処理部１４０は、処理装置９１１を用いて、相関処理の結果を表わすデータを出力する。
【００２２】
平滑処理部１５０は、処理装置９１１を用いて、相関処理部１４０が出力したデータを入力する。平滑処理部１５０は、入力したデータに基づいて、処理装置９１１を用いて、目標８５０の軌跡を平滑化する。観測間隔が十分短ければ、目標８５０の速度や移動方向はそれほど急に変化しないと考えられるので、相関処理部１４０が同定した目標８５０の速度や移動方向があまりにも細かく変化している場合、それは観測誤差によるものと考えられる。平滑処理部１５０は、目標８５０の軌跡を平滑化することにより、観測誤差を除去する。
平滑処理部１５０は、処理装置９１１を用いて、平滑化した目標８５０の軌跡（位置・速度・移動方向など）を表わすデータを出力する。
【００２３】
予測処理部１６０は、処理装置９１１を用いて、平滑処理部１５０が出力したデータを入力する。予測処理部１６０は、入力したデータに基づいて、処理装置９１１を用いて、次の画像において目標８５０が観測される位置を予測する。
予測処理部１６０は、処理装置９１１を用いて、予測した結果を表わすデータを出力する。予測処理部１６０が出力したデータは、ゲート処理部１２０が入力する。ゲート処理部１２０は、入力したデータに基づいて、処理装置９１１を用いて、画像データのなかから、目標８５０が観測されると予測される範囲内の画素の画素値データを抽出する。
【００２４】
結果出力部１７０は、処理装置９１１を用いて、平滑処理部１５０が出力したデータを入力する。結果出力部１７０は、出力装置９０１を用いて、入力したデータを変換し、外部に出力する。
【００２５】
特徴量抽出部１３０は、目標画素抽出部１３１、ピーク画素抽出部１３２、特徴位置算出部１３３、特徴距離算出部１３４、特徴方位算出部１３５を有する。
【００２６】
目標画素抽出部１３１は、処理装置９１１を用いて、ゲート処理部１２０が出力した画素値データを入力する。目標画素抽出部１３１は、入力した画素値データに基づいて、処理装置９１１を用いて、目標画素を抽出する。目標画素とは、目標８５０が観測された画素のことである。目標画素は、他の画素と比べて画素値が大きい。また、１つの目標８５０についての目標画素が複数ある場合、それらは互いに連続している。すなわち、隣接した目標画素を辿ることにより、１つの目標８５０についての目標画素すべてに到達することができる。
例えば、目標画素抽出部１３１は、処理装置９１１を用いて、各画素についての画素値データが表わす画素値を閾値と比較して、画素値が閾値より大きい画素を抽出する。閾値は、あらかじめ定められた定数であってもよい。また、画像の信号雑音比や画素値の平均値に基づいて閾値を算出する構成であってもよい。抽出した画素が複数あり不連続である場合、目標画素抽出部１３１は、複数の目標８５０が観測されたものとして、連続した１つの塊をなす画素を、１つの目標８５０についての目標画素であると判定する。抽出した画素が複数あり連続している場合、目標画素抽出部１３１は、１つの目標８５０が観測されたものとして、抽出した画素すべてを、１つの目標８５０についての目標画素であると判定する。
目標画素抽出部１３１は、処理装置９１１を用いて、抽出した目標画素についての画素値データを出力する。
【００２７】
ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。ピーク画素抽出部１３２は、入力した画素値データに基づいて、処理装置９１１を用いて、ピーク画素を抽出する。
例えば、ピーク画素抽出部１３２は、処理装置９１１を用いて、各目標画素について、隣接した４つまたは８つの画素と画素値を比較することにより、その目標画素がピーク画素であるか否かを判定する。
ピーク画素抽出部１３２は、処理装置９１１を用いて、抽出したピーク画素の位置を表わすデータ（以下「ピーク位置データ」と呼ぶ。）を出力する。ピーク画素抽出部１３２が出力するピーク位置データは、特徴量データの一つである。
【００２８】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴位置を算出する。特徴位置とは、目標８５０の特徴点の位置のことである。特徴点とは、画像上において目標８５０の特徴を表わす点のことである。特徴点は、例えば、画像上における目標８５０の重心、画像上における目標８５０の先端などである。特徴点は、その画像上における目標画素の配置に基づく計算により特徴位置を算出できる点であればよい。
特徴位置算出部１３３は、処理装置９１１を用いて、算出した特徴位置を表わすデータ（以下「特徴位置データ」と呼ぶ。）を出力する。
【００２９】
特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素抽出部１３２が出力したピーク位置データと、特徴位置算出部１３３が出力した特徴位置データとを入力する。特徴距離算出部１３４は、入力したピーク位置データと特徴位置データとに基づいて、処理装置９１１を用いて、ピーク画素の位置と特徴位置との間の距離（以下「特徴距離」と呼ぶ。）を算出する。１つの目標８５０についての目標画素に対してピーク画素や特徴点が複数ある場合、特徴距離算出部１３４は、それぞれのピーク画素の位置と、それぞれの特徴位置との間の特徴距離を算出する。例えば、ピーク画素が２つ、特徴点が３つある場合、特徴距離算出部１３４は、２×３＝６つの特徴距離を算出する。
特徴距離算出部１３４は、処理装置９１１を用いて、算出した特徴距離を表わすデータ（以下「特徴距離データ」と呼ぶ。）を出力する。特徴距離算出部１３４が出力する特徴距離データは、特徴量データの一つである。
【００３０】
特徴方位算出部１３５は、処理装置９１１を用いて、ピーク画素抽出部１３２が出力したピーク位置データと、特徴位置算出部１３３が出力した特徴位置データとを入力する。特徴方位算出部１３５は、入力したピーク位置データと特徴位置データとに基づいて、処理装置９１１を用いて、ピーク画素の位置から見た特徴位置の方位（以下「特徴方位」と呼ぶ。）を算出する。１つの目標８５０についての目標画素に対してピーク画素や特徴点が複数ある場合、特徴方位算出部１３５は、それぞれのピーク画素の位置から見た、それぞれの特徴位置の特徴方位を算出する。例えば、ピーク画素が４つ、特徴点が２つある場合、特徴方位算出部１３５は、４×２＝８つの特徴方位を算出する。
特徴方位算出部１３５は、処理装置９１１を用いて、算出した特徴方位を表わすデータ（以下「特徴方位データ」と呼ぶ。）を出力する。特徴方位算出部１３５が出力した特徴方位データは、特徴量データの一つである。
【００３１】
相関処理部１４０は、処理装置９１１を用いて、ピーク画素抽出部１３２が出力したピーク位置データと、特徴距離算出部１３４が出力した特徴距離データと、特徴方位算出部１３５が出力した特徴方位データとを、特徴量データとして入力する。相関処理部１４０は、入力したデータが表わすピーク画素の位置、特徴距離、特徴方位に基づいて、相関処理をする。
【００３２】
図４は、この実施の形態における特徴量抽出処理Ｓ５００の流れの一例を示すフローチャート図である。
特徴量抽出処理Ｓ５００において、特徴量抽出部１３０は、特徴量を抽出する。
特徴量抽出処理Ｓ５００は、目標画素抽出工程Ｓ５１０、ピーク画素抽出工程Ｓ５２０、特徴位置算出工程Ｓ５３０、特徴距離方位算出工程Ｓ５４０を有する。
【００３３】
目標画素抽出工程Ｓ５１０において、目標画素抽出部１３１は、処理装置９１１を用いて、ゲート処理部１２０が抽出した画素のなかから、目標画素を抽出する。
ピーク画素抽出工程Ｓ５２０において、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素抽出工程Ｓ５１０でゲート処理部１２０が抽出した目標画素のなかから、ピーク画素を抽出する。
特徴位置算出工程Ｓ５３０において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出工程Ｓ５１０で目標画素抽出部１３１が抽出した目標画素に基づいて、特徴位置を算出する。
特徴距離方位算出工程Ｓ５４０において、特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素抽出工程Ｓ５２０でピーク画素抽出部１３２が抽出したピーク画素の位置と、特徴位置算出工程Ｓ５３０で特徴位置算出部１３３が算出した特徴位置との間の距離を算出する。特徴方位算出部１３５は、処理装置９１１を用いて、ピーク画素抽出工程Ｓ５２０でピーク画素抽出部１３２が抽出したピーク画素の位置から見た、特徴位置算出工程Ｓ５３０で特徴位置算出部１３３が算出した特徴位置の方位を算出する。
【００３４】
図５は、この実施の形態における目標画素抽出工程Ｓ５１０の流れの一例を示すフローチャート図である。
目標画素抽出工程Ｓ５１０は、画素選択工程Ｓ５１１、閾値比較工程Ｓ５１２、目標画素記憶工程Ｓ５１３、連続画素選択工程Ｓ５１４、閾値比較工程Ｓ５１５を有する。
【００３５】
画素選択工程Ｓ５１１において、目標画素抽出部１３１は、処理装置９１１を用いて、ゲート処理部１２０が抽出した画素のなかから、まだ選択していない画素を１つ選択する。
すべての画素が選択済であり、まだ選択していない画素がない場合、すべての画素についての処理が終わったことになる。目標画素抽出部１３１は、処理装置９１１を用いて、目標画素抽出工程Ｓ５１０を終了する。
未選択の画素があり、画素を選択した場合、その画素が目標画素であるかを判定するため、目標画素抽出部１３１は、処理装置９１１を用いて、閾値比較工程Ｓ５１２へ進む。
【００３６】
閾値比較工程Ｓ５１２において、目標画素抽出部１３１は、処理装置９１１を用いて、画素選択工程Ｓ５１１で選択した画素の画素値を、閾値と比較する。
画素値が閾値より大きい場合、その画素は、目標画素である。目標画素抽出部１３１は、処理装置９１１を用いて、目標画素記憶工程Ｓ５１３へ進む。
画素値が閾値より小さい場合、その画素は、目標画素ではない。目標画素抽出部１３１は、処理装置９１１を用いて、画素選択工程Ｓ５１１に戻り、次の画素を選択する。
【００３７】
目標画素記憶工程Ｓ５１３において、目標画素抽出部１３１は、記憶装置９１４を用いて、画素選択工程Ｓ５１１で選択した画素を、目標画素として記憶する。
【００３８】
連続画素選択工程Ｓ５１４において、目標画素抽出部１３１は、処理装置９１１を用いて、まだ選択していない画素のなかから、目標画素記憶工程Ｓ５１３で記憶した目標画素のいずれかに隣接した画素を１つ選択する。
まだ選択していない画素のなかに目標画素に隣接した画素がない場合、閾値比較工程Ｓ５１２で見つけた目標画素に連続した目標画素は、これ以上存在しない。目標画素抽出部１３１は、記憶装置９１４を用いて、ここまでに判定した目標画素を、１つの目標８５０についての目標画素として記憶する。目標画素抽出部１３１は、処理装置９１１を用いて、画素選択工程Ｓ５１１に戻り、目標画素に隣接していない次の画素を選択する。その後、別の目標画素が見つかった場合、それは、別の目標８５０についての目標画素である。
未選択の画素のなかに目標画素に隣接した画素があり、画素を選択した場合、その画素が目標画素であるかを判定するため、目標画素抽出部１３１は、処理装置９１１を用いて、閾値比較工程Ｓ５１５へ進む。
【００３９】
閾値比較工程Ｓ５１５において、目標画素抽出部１３１は、処理装置９１１を用いて、連続画素選択工程Ｓ５１４で選択した画素の画素値を、閾値と比較する。
画素値が閾値より大きい場合、その画素は、目標画素である。新たに見つかった目標画素は、それまでに判定した目標画素と連続しているので、同じ目標８５０についての目標画素である。目標画素抽出部１３１は、処理装置９１１を用いて、目標画素記憶工程Ｓ５１３に戻り、連続画素選択工程Ｓ５１４で選択した画素を、同じ目標８５０についての目標画素として記憶する。
画素値が閾値より小さい場合、その画素は、目標画素ではない。他に同じ目標８５０についての目標画素がないか判定するため、目標画素抽出部１３１は、処理装置９１１を用いて、連続画素選択工程Ｓ５１４に戻り、目標画素に隣接した次の画素を選択する。
【００４０】
図６は、この実施の形態におけるピーク画素抽出工程Ｓ５２０の流れの一例を示すフローチャート図である。
ピーク画素抽出工程Ｓ５２０は、目標画素選択工程Ｓ５２１、隣接画素選択工程Ｓ５２２、画素値比較工程Ｓ５２３、ピーク画素記憶工程Ｓ５２４を有する。
【００４１】
目標画素選択工程Ｓ５２１において、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素抽出工程Ｓ５１０で目標画素抽出部１３１が抽出した目標画素のなかから、まだ選択していない目標画素を１つ選択する。
すべての目標画素が選択済であり、まだ選択していない目標画素がない場合、すべての目標画素についての処理が終わったことになる。ピーク画素抽出部１３２は、処理装置９１１を用いて、ピーク画素抽出工程Ｓ５２０を終了する。
未選択の目標画素があり、目標画素を選択した場合、その目標画素がピーク画素であるかを判定するため、ピーク画素抽出部１３２は、処理装置９１１を用いて、隣接画素選択工程Ｓ５２２へ進む。
【００４２】
隣接画素選択工程Ｓ５２２において、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素選択工程Ｓ５２１で選択した目標画素に隣接する目標画素のなかから、まだ選択していない目標画素を１つ選択する。
隣接する目標画素がすべて選択済であり、まだ選択していない目標画素がない場合、目標画素選択工程Ｓ５２１で選択した目標画素に隣接するすべての目標画素との間で画素値の比較が終わったことになる。また、目標画素の画素値は閾値より大きく、目標画素でない画素の画素値は閾値より小さいから、目標画素でない画素の画素値は目標画素の画素値よりも小さい。したがって、目標画素選択工程Ｓ５２１で選択した目標画素の画素値は、隣接するすべての画素の画素値よりも大きい。すなわち、その目標画素はピーク画素である。ピーク画素抽出部１３２は、処理装置９１１を用いて、ピーク画素記憶工程Ｓ５２４へ進む。
未選択の目標画素があり、隣接する目標画素を選択した場合、ピーク画素抽出部１３２は、処理装置９１１を用いて、画素値比較工程Ｓ５２３へ進む。
【００４３】
画素値比較工程Ｓ５２３において、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素選択工程Ｓ５２１で選択した目標画素の画素値と、隣接画素選択工程Ｓ５２２で選択した隣接する目標画素の画素値とを比較する。
目標画素の画素値が、隣接する目標画素の画素値より大きい場合、目標画素選択工程Ｓ５２１で選択した目標画素がピーク画素である可能性がある。ピーク画素抽出部１３２は、処理装置９１１を用いて、隣接画素選択工程Ｓ５２２に戻り、隣接する次の目標画素を選択する。
目標画素の画素値が、隣接する目標画素の画素値より小さい場合、目標画素選択工程Ｓ５２１で選択した目標画素がピーク画素である可能性はない。ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素選択工程Ｓ５２１に戻り、次の目標画素を選択する。
【００４４】
ピーク画素記憶工程Ｓ５２４において、ピーク画素抽出部１３２は、記憶装置９１４を用いて、目標画素選択工程Ｓ５２１で選択した目標画素を、ピーク画素として記憶する。
別のピーク画素を探すため、ピーク画素抽出部１３２は、処理装置９１１を用いて、目標画素選択工程Ｓ５２１に戻り、次の目標画素を選択する。
【００４５】
図７は、この実施の形態における特徴距離方位算出工程Ｓ５４０の流れの一例を示すフローチャート図である。
特徴距離方位算出工程Ｓ５４０は、ピーク画素選択工程Ｓ５４１、特徴位置選択工程Ｓ５４２、特徴距離算出工程Ｓ５４３、特徴方位算出工程Ｓ５４４を有する。
【００４６】
ピーク画素選択工程Ｓ５４１において、特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素抽出工程Ｓ５２０でピーク画素抽出部１３２が抽出したピーク画素のなかから、まだ選択していないピーク画素を１つ選択する。
ピーク画素がすべて選択済であり、まだ選択していないピーク画素がない場合、すべてのピーク画素について処理が終わったことになる。特徴距離算出部１３４は、処理装置９１１を用いて、特徴距離方位算出工程Ｓ５４０を終了する。
未選択のピーク画素があり、ピーク画素を選択した場合、そのピーク画素についての特徴距離及び特徴方位を求めるため、特徴距離算出部１３４は、処理装置９１１を用いて、特徴位置選択工程Ｓ５４２へ進む。
【００４７】
特徴位置選択工程Ｓ５４２において、特徴距離算出部１３４は、処理装置９１１を用いて、特徴位置算出工程Ｓ５３０で特徴位置算出部１３３が算出した特徴位置のなかから、まだ選択していない特徴位置を１つ選択する。
特徴位置がすべて選択済であり、まだ選択していない特徴位置がない場合、ピーク画素選択工程Ｓ５４１で選択したピーク画素について、すべての特徴位置との間の特徴距離及び特徴方位を算出したことになる。特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素選択工程Ｓ５４１に戻り、次のピーク画素を選択する。
未選択の特徴位置があり、特徴位置を選択した場合、その特徴位置と、ピーク画素選択工程Ｓ５４１で選択したピーク画素との間の特徴距離及び特徴方位を算出するため、特徴距離算出部１３４は、処理装置９１１を用いて、特徴距離算出工程Ｓ５４３へ進む。
【００４８】
特徴距離算出工程Ｓ５４３において、特徴距離算出部１３４は、処理装置９１１を用いて、ピーク画素選択工程Ｓ５４１で選択したピーク画素の位置と、特徴位置選択工程Ｓ５４２で選択した特徴位置との間の距離を算出する。
【００４９】
特徴方位算出工程Ｓ５４４において、特徴方位算出部１３５は、処理装置９１１を用いて、ピーク画素選択工程Ｓ５４１で選択したピーク画素の位置から見た、特徴位置選択工程Ｓ５４２で選択した特徴位置の方位を算出する。
特徴距離算出部１３４は、処理装置９１１を用いて、特徴位置選択工程Ｓ５４２に戻り、次の特徴位置を選択する。
【００５０】
図８は、この実施の形態における目標追尾装置１００が処理するデータの一例を示す図である。
【００５１】
画像データ４１０は、例えば、横１０画素×縦１０画素に配置された合計１００個の画素からなる二次元画像を表わすデータである。画像データ４１０は、１００個の画素値データ４１１を含む。それぞれの画素値データ４１１は、１個の画素に対応し、対応する画素の画素値を表わす。
【００５２】
目標画素抽出部１３１は、各画素の画素値を閾値（例えば「５０」）と比較して、画素値が閾値より大きい画素を目標画素４２１として抽出する。この例において、目標画素抽出部１３１は、１００個の画素のなかから、４７個の目標画素４２１を抽出している。
目標画素抽出部１３１は、連続している目標画素４２１を１つのグループとし、抽出した目標画素４２１をいくつかのグループに分類する。この例において、目標画素抽出部１３１は、抽出した４７個の目標画素４２１を、４４個の目標画素４２１からなる目標領域４２０ａに属するグループと、３個の目標画素４２１からなる目標領域４２０ｂに属するグループとに分類する。目標画素抽出部１３１が分類した各グループは、それぞれが１個の目標８５０に対応する。この例において、目標画素抽出部１３１が目標画素４２１を２つのグループに分類したので、目標追尾装置１００は、画像データ４１０において２個の目標８５０が観測されたと判定したことになる。
【００５３】
ピーク画素抽出部１３２は、目標画素抽出部１３１が抽出した４７個の目標画素４２１のなかから、隣接するすべての画素よりも画素値が大きい画素をピーク画素として抽出する。この例において、ピーク画素抽出部１３２は、目標領域４２０ａに属する４４個の目標画素４２１のなかから、２個のピーク画素４２２ａ，４２２ｂを抽出している。なお、図示していないが、ピーク画素抽出部１３２は、目標領域４２０ｂについても同様に、ピーク画素を抽出する。
ピーク画素抽出部１３２は、抽出したピーク画素それぞれについて、そのピーク画素の位置を算出する。ピーク画素の位置は、例えば、画像データ４１０の左下隅の画素を原点とし、画素の１辺の長さを単位とする直交座標系におけるｘ座標４３１とｙ座標４３２との組で表わされる。この例において、ピーク画素抽出部１３２は、ピーク画素４２２ａの位置として（２，２）を算出し、ピーク画素４２２ｂの位置として（６，７）を算出する。
【００５４】
特徴位置算出部１３３は、それぞれの目標領域について、特徴位置を算出する。特徴位置算出部１３３は、目標領域４２０ａについて、１個の特徴位置４２３ａを算出している。特徴位置は、ピーク画素の位置と同じ座標系におけるｘ座標４４１とｙ座標４４２との組で表わされる。この例において、特徴位置算出部１３３は、特徴位置４２３ａとして（５．１，４．７）を算出する。この例のように、特徴位置は、必ずしも画素の位置と一致しなくてもよい。なお、図示していないが、特徴位置算出部１３３は、目標領域４２０ｂについても同様に、特徴位置を算出する。また、特徴位置算出部１３３は、１個の目標領域について、複数の特徴位置を抽出してもよい。
【００５５】
特徴距離算出部１３４は、それぞれの目標領域について、ピーク画素抽出部１３２が抽出した各ピーク画素と、特徴位置算出部１３３が算出した各特徴位置との組に対応して、各ピーク画素の位置と各特徴位置との間の特徴距離を算出する。この例において、目標領域４２０ａについて、ピーク画素抽出部１３２が抽出したピーク画素の数が「２」、特徴位置算出部１３３が算出した特徴位置の数が「１」であるから、特徴距離算出部１３４は、２×１＝２個の特徴距離４３３を算出する。特徴距離算出部１３４は、ピーク画素４２２ａの位置（２，２）と特徴位置４２３ａ（５．１，４．７）との間の特徴距離４３３ａ「４．１」を算出し、ピーク画素４２２ｂの位置（６，７）と特徴位置４２３ａ（５．１，４．７）との間の特徴距離４３３ｂ「２．５」を算出する。なお、図示していないが、特徴距離算出部１３４は、目標領域４２０ｂについても同様に、特徴距離を算出する。ただし、目標領域が異なるピーク画素と特徴位置との間では、特徴距離を算出しない。
【００５６】
特徴方位算出部１３５は、それぞれの目標領域について、ピーク画素抽出部１３２が抽出した各ピーク画素と、特徴位置算出部１３３が算出した各特徴位置との組に対応して、各ピーク画素の位置から見た各特徴位置の特徴方位を算出する。この例において、目標領域４２０ａについて、ピーク画素抽出部１３２が抽出したピーク画素の数が「２」、特徴位置算出部１３３が算出した特徴位置の数が「１」であるから、特徴方位算出部１３５は、２×１＝２個の特徴方位４３４を算出する。特徴方位は、例えば、所定の方向を基準として、右回りを「＋」、左回りを「−」とする−１８０度以上１８０度未満の角度で表わされる。特徴方位算出部１３５は、ピーク画素４２２ａの位置（２，２）から見た特徴位置４２３ａ（５．１，４．７）の特徴方位４３４ａ「４９度」を算出し、ピーク画素４２２ｂの位置（６，７）から見た特徴位置４２３ａ（５．１，４．７）の特徴方位４３４ｂ「−１５９度」を算出する。なお、図示していないが、特徴方位算出部１３５は、目標領域４２０ｂについても同様に、特徴方位を算出する。ただし、特徴距離算出部１３４と同様、目標領域が異なるピーク画素と特徴位置との間では、特徴方位を算出しない。
【００５７】
特徴量抽出部１３０は、各ピーク画素について、ピーク画素の位置、特徴距離及び特徴方位を表わすデータを含む特徴量データを出力する。この例において、特徴量抽出部１３０は、ピーク画素４２２ａについて、ｘ座標４３１「２」、ｙ座標４３２「２」、特徴位置４２３ａに対する特徴距離４３３「４．１」、特徴位置４２３ａに対する特徴方位「４９度」を表わすデータを含む特徴量データ４３０ａを出力する。また、特徴量抽出部１３０は、ピーク画素４２２ｂについて、ｘ座標４３１「６」、ｙ座標４３２「７」、特徴位置４２３ａに対する特徴距離４３３「２．５」、特徴位置４２３ａに対する特徴方位４３４「−１５９度」を表わすデータを含む特徴量データ４３０ｂを出力する。１個の特徴量データは、ｘ座標４３１とｙ座標４３２との組を１個含み、特徴距離４３３と特徴方位４３４との組を、同じ目標領域内の特徴位置４２３の数と同じ数含む。
【００５８】
相関処理部１４０は、特徴量抽出部１３０が出力した特徴量データに基づいて、相関処理をする。
【００５９】
図９は、この実施の形態における特徴量抽出部１３０が処理するデータの一例を示す図である。
【００６０】
例えば、観測装置８１０が生成した画像データ４１０の次の画像データに基づいて、特徴量抽出部１３０が、目標領域４２０ｃについて、２個のピーク画素４２２ｃ，４２２ｄを抽出し、１個の特徴位置４２３ｂを算出したものとする。ピーク画素４２２ｃの位置は（２，７）、ピーク画素４２２ｄの位置は（７，３）、特徴位置４２３ｂの位置は（４．７，３．９）である。特徴量抽出部１３０は、ピーク画素４２２ｃについて、ｘ座標４３１「２」、ｙ座標４３２「７」、特徴位置４２３ｂに対する特徴距離４３３「４．１」、特徴位置４２３ｂに対する特徴方位４３４「１３９度」を表わすデータを含む特徴量データ４３０ｃを出力する。特徴量抽出部１３０は、ピーク画素４２２ｄについて、ｘ座標４３１「７」、ｙ座標４３２「３」、特徴距離４３３「２．５」、特徴方位４３４「−６９度」を表わすデータを含む特徴量データ４３０ｄを出力する。
【００６１】
相関処理部１４０は、特徴量抽出部１３０が出力した特徴量データを相関パラメータとして、特徴量抽出部１３０が抽出したピーク画素それぞれについて、特徴量抽出部１３０が前の画像データに基づいて抽出したピーク画素のなかから、同じ目標８５０（または細部）を観測したピーク画素を判定する。例えば、相関処理部１４０は、目標領域４２０ｃに観測された目標８５０と同じ目標を観測した目標領域が、目標領域４２０ａであるか、目標領域４２０ｂであるか、あるいは、前の画像データには対応する目標領域がないかを判定する。仮に、目標領域４２０ｃと目標領域４２０ａとが対応するとした場合、相関処理部１４０は、ピーク画素４２２ｃに観測された目標８５０の細部と同じ目標の細部を観測したピーク画素が、ピーク画素４２２ａであるか、ピーク画素４２２ｂであるか、あるいは、前の画像データには対応するピーク画素がないかを判定する。同様に、相関処理部１４０は、ピーク画素４２２ｄに観測された目標８５０の細部と同じ目標の細部を観測したピーク画素が、ピーク画素４２２ａであるか、ピーク画素４２２ｂであるか、あるいは、前の画像データには対応するピーク画素がないかを判定する。
【００６２】
相関処理部１４０における判定のアルゴリズム自体は、従来から知られているものと同様である。例えば、相関処理部１４０は、前の画像データまでの相関・追尾の結果から各ピーク画素について予測した相関パラメータと、新しい画像データにおけるピーク画素の相関パラメータとを比較し、相関パラメータが最も近いピーク画素が同じ目標８５０（または細部）を観測したピーク画素であると判定する。
相関処理部１４０における判定が従来と異なる点は、ピーク画素の相関パラメータが、ピーク画素の位置だけでなく、特徴位置との間の距離や方位などを含む点である。
【００６３】
例えば、ピーク画素の位置だけで考えると、ピーク画素４２２ｃの位置とピーク画素４２２ａの位置との間の距離は、ピーク画素４２２ｃの位置とピーク画素４２２ｂの位置との間の距離とほぼ同じである。どちらかといえば、ピーク画素４２２ｃの位置とピーク画素４２２ｂの位置との間の距離のほうが近い。また、ピーク画素４２２ｄの位置とピーク画素４２２ａの位置との間の距離は、ピーク画素４２２ｄの位置とピーク画素４２２ｂの位置との間の距離とほぼ同じである。どちらかといえば、ピーク画素４２２ｄの位置とピーク画素４２２ｂの位置との間の距離のほうが近い。
したがって、ピーク画素の位置だけで考えると、ピーク画素４２２ｃ及びピーク画素４２２ｄは、どちらもピーク画素４２２ｂと同じ目標８５０（または細部）であり、ピーク画素４２２ａと同じ目標８５０（または細部）は観測されなかったと判定することになる。あるいは、ピーク画素４２２ｃ及びピーク画素４２２ｄは、ピーク画素４２２ａ及びピーク画素４２２ｂと同じ目標８５０（または細部）であるが、どちらがどちらに対応するかはわからないと判定することになる。
【００６４】
これに対し、相関処理部１４０は、ピーク画素と特徴位置との間の距離及び方位を含む特徴量に基づいて対応関係を判定するので、ピーク画素４２２ｃはピーク画素４２２ａに対応し、ピーク画素４２２ｄはピーク画素４２２ｂに対応するという判定をすることができる。
【００６５】
この実施の形態における目標追尾装置１００は、目標８５０を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標８５０を追尾する。
目標追尾装置１００は、データを記憶する記憶装置９１４と、データを処理する処理装置９１１と、画像記憶部１１２と、目標画素抽出部１３１と、ピーク画素抽出部１３２と、特徴位置算出部１３３と、特徴距離算出部１３４と、特徴方位算出部１３５と、相関処理部１４０とを有する。
上記画像記憶部１１２は、上記記憶装置９１４を用いて、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値（画素値データ）を記憶する。
上記目標画素抽出部１３１は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記画像記憶部１１２が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素４２１とする。
上記ピーク画素抽出部１３２は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記画像記憶部１１２が記憶した複数の画素値に基づいて、上記目標画素抽出部１３１が抽出した目標画素４２１のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素４２２とする。
上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記目標画素抽出部１３１が抽出した目標画素４２１に基づいて、上記目標８５０の特徴を表わす特徴点の位置を算出して、特徴位置４２３とする。
上記特徴距離算出部１３４は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部１３２が抽出したピーク画素４２２と、上記特徴位置算出部１３３が算出した特徴位置４２３とに基づいて、上記ピーク画素４２２の位置と特徴位置４２３との間の距離を算出して、特徴距離４３３とする。
上記特徴方位算出部１３５は、上記処理装置９１１を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部１３２が抽出したピーク画素４２２と、上記特徴位置算出部１３３が算出した特徴位置４２３とに基づいて、上記ピーク画素４２２の位置から見た上記特徴位置４２３の方位を算出して、特徴方位４３４とする。
上記相関処理部１４０は、上記処理装置９１１を用いて、上記特徴距離算出部１３４が算出した特徴距離４３３と、上記特徴方位算出部１３５が算出した特徴方位４３４とを含む相関パラメータに基づいて、上記複数の画像の相関処理をする。
【００６６】
この実施の形態における目標追尾装置１００によれば、特徴距離算出部１３４が算出した特徴距離や特徴方位算出部１３５が算出した特徴方位を含む相関パラメータに基づいて、相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【００６７】
この実施の形態における目標追尾装置１００は、コンピュータを目標追尾装置１００として機能させるコンピュータプログラムをコンピュータが実行することにより実現することができる。
【００６８】
この実施の形態における目標追尾装置１００が目標を追尾する目標追尾方法によれば、処理装置９１１が、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【００６９】
実施の形態２．
実施の形態２について、図１０〜図１１を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【００７０】
目標追尾システム８００の全体構成、目標追尾装置１００のハードウェア構成及びブロック構成は、実施の形態１と同様である。また、特徴量抽出処理Ｓ５００、目標画素抽出工程Ｓ５１０、ピーク画素抽出工程Ｓ５２０、特徴距離方位算出工程Ｓ５４０の流れも、実施の形態１と同様である。
【００７１】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴点として、画像上における目標８５０の重心を算出し、算出した重心の位置を特徴位置とする。特徴位置算出部１３３は、処理装置９１１を用いて、算出した重心の位置を表わす特徴位置データを出力する。
【００７２】
図１０は、この実施の形態における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図である。
特徴位置算出工程Ｓ５３０は、目標選択工程Ｓ５３１、初期化工程Ｓ５３２、目標画素選択工程Ｓ５３３、目標画素計数工程Ｓ５３４、ｘ座標累計工程Ｓ５３５、ｙ座標累計工程Ｓ５３６、ｘ座標算出工程Ｓ５３７、ｙ座標算出工程Ｓ５３８を有する。
【００７３】
目標選択工程Ｓ５３１において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が分類した目標画素のグループのなかから、まだ選択していないグループを１つ選択する。
すべてのグループが選択済であり、まだ選択していないグループがない場合、特徴位置算出部１３３は、処理装置９１１を用いて、特徴位置算出工程Ｓ５３０を終了する。
未選択のグループがあり、グループを選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、初期化工程Ｓ５３２へ進む。
【００７４】
初期化工程Ｓ５３２において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素の数を０に設定し、記憶装置９１４を用いて記憶する。特徴位置算出部１３３は、処理装置９１１を用いて、ｘ座標の累計値を０に設定し、記憶装置９１４を用いて記憶する。特徴位置算出部１３３は、処理装置９１１を用いて、ｙ座標の累計値を０に設定し、記憶装置９１４を用いて記憶する。
【００７５】
目標画素選択工程Ｓ５３３において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が抽出した目標画素のうち、目標選択工程Ｓ５３１で選択したグループに属する目標画素のなかから、まだ選択していない目標画素を１つ選択する。
目標選択工程Ｓ５３１で選択したグループに属する目標画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部１３３は、処理装置９１１を用いて、ｘ座標算出工程Ｓ５３７へ進む。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素計数工程Ｓ５３４へ進む。
【００７６】
目標画素計数工程Ｓ５３４において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶した目標画素の数に１を加算して、記憶装置９１４を用いて記憶する。
【００７７】
ｘ座標累計工程Ｓ５３５において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶したｘ座標の累計値に、目標画素選択工程Ｓ５３３で選択した目標画素のｘ座標を加算して、記憶装置９１４を用いて記憶する。
【００７８】
ｙ座標累計工程Ｓ５３６において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶したｙ座標の累計値に、目標画素選択工程Ｓ５３３で選択した目標画素のｙ座標を加算して、記憶装置９１４を用いて記憶する。
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５３３に戻り、次の目標画素を選択する。
【００７９】
ｘ座標算出工程Ｓ５３７において、特徴位置算出部１３３は、処理装置９１１を用いて、ｘ座標累計工程Ｓ５３５で累計したｘ座標の累計値を、目標画素計数工程Ｓ５３４で数えた目標画素の数で割った商を算出して、目標選択工程Ｓ５３１で選択したグループの特徴点のｘ座標とする。
【００８０】
ｙ座標算出工程Ｓ５３８において、特徴位置算出部１３３は、処理装置９１１を用いて、ｙ座標累計工程Ｓ５３６で累計したｙ座標の累計値を、目標画素計数工程Ｓ５３４で数えた目標画素の数で割った商を算出して、目標選択工程Ｓ５３１で選択したグループの特徴点のｙ座標とする。
特徴位置算出部１３３は、処理装置９１１を用いて、目標選択工程Ｓ５３１に戻り、次のグループを選択する。
【００８１】
特徴位置算出部１３３は、例えばこのようにして、１つの目標領域（グループ）に対して、その目標領域に属する目標画素のｘ座標及びｙ座標の単純平均を算出して、その目標領域の重心位置とする。特徴位置算出部１３３は、１つの目標領域につき、１つの重心位置を算出する。特徴位置算出部１３３は、算出した重心位置を、その目標領域の特徴位置とする。
【００８２】
なお、特徴位置算出部１３３は、単純平均ではなく、目標画素の画素値によって重み付けした重み付け平均を算出して、目標領域の重心位置とする構成であってもよい。
また、特徴位置算出部１３３は、特徴位置として、重心位置だけでなく、他の実施の形態で説明する他の特徴点の位置を算出し、１つの目標領域について、複数の特徴位置を算出する構成であってもよい。
【００８３】
この実施の形態における目標追尾装置１００において、上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記目標画素４２１の位置を平均して、重心位置を算出し、算出した重心位置を特徴位置とする。
この実施の形態における目標追尾装置１００によれば、特徴位置算出部１３３が算出した重心位置に基づいて、特徴距離算出部１３４が特徴距離を算出し、特徴方位算出部１３５が特徴方位を算出し、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【００８４】
以上説明した目標追尾装置１００は、センサ上で複数の画素により構成される目標領域において、取得される画像のフレーム間で出現位置が変化する特徴点追尾の安定化を実施する。
目標追尾装置１００は、例えば、信号処理部（画像入力部１１１）、ゲート内判定処理部（ゲート処理部１２０）、特徴量抽出処理部（特徴量抽出部１３０）、相関処理部１４０、平滑処理部１５０、予測処理部１６０を有する。
特徴量抽出処理部は、例えば、目標領域判定処理部（目標画素抽出部１３１）、ピーク画素判定処理部（ピーク画素抽出部１３２）、ピーク画素位置抽出処理部（ピーク画素抽出部１３２）、目標領域重心点位置抽出処理部（特徴位置算出部１３３）、目標重心点・ピーク画素間距離（重心距離）算出処理部（特徴距離算出部１３４）、目標重心点・ピーク画素間方位（重心方位）算出処理部（特徴方位算出部１３５）を有する。
【００８５】
まず、目標領域判定処理部が、入力画像内における目標領域を抽出する。
次に、ピーク画素判定処理部が、目標領域判定処理部が目標領域と判定した領域中でピーク画素となる画素を抽出する。ピーク画素とは、例えば、３×３画素領域内で、中央の画素が最大値となる（周辺の８個の画素よりも画素値が大きい）場合における中央の画素のことである。
次に、ピーク画素位置抽出処理部が、ピーク画素判定処理部が抽出したピーク画素の画像内での位置情報を抽出する。
次に、目標領域重心点位置抽出処理部が、目標領域判定処理部が目標領域と判定した領域の重心点の位置情報を抽出する。重心点の座標は、例えば、閾値処理によって抽出された目標領域内全画素のｘ座標値とｙ座標値を合算し、目標領域内全画素数で割った値である。
次に、目標重心点・ピーク画素間距離（重心距離）算出処理部が、目標領域重心点位置抽出処理部が抽出した目標領域の重心点の位置から、ピーク画素位置抽出処理部が抽出したピーク画素の画像内での位置までの距離を算出し、特徴量とする。
次に、目標重心点・ピーク画素間方位（重心方位）算出処理部が、目標領域重心点位置抽出処理部が抽出した目標領域の重心点の位置から、ピーク画素位置抽出処理部が抽出したピーク画素の画像内での位置までの方位を算出し、特徴量とする。
【００８６】
相関処理部１４０は、特徴量抽出処理部が抽出した輝点特徴量を使用して、フレーム間の輝点の相関処理を実施する。
相関処理部１４０は、例えば、ピーク画素数算出処理部、ピーク画素位置相関処理部、ピーク画素位置・重心距離・重心方位相関処理部、追尾対象点確定処理部を有する。
【００８７】
まず、ピーク画素数判定処理部が、入力画像内における目標領域内のピーク画素数を算出する。
ピーク画素数判定処理部が算出したピーク画素数が単数である場合、ピーク画素位置相関処理部が、ピーク画素の位置情報のみによる相関処理を実施する。
ピーク画素数判定処理部が算出したピーク画素数が複数である場合、ピーク画素位置・重心距離・重心方位相関処理部が、ピーク画素の位置情報と、重心距離と、重心方位を使った相関処理を実施する。
次に、追尾対象点確定処理部が、相関されたピーク画素を追尾対象点として抽出する。
【００８８】
このように、１つの目標領域内に存在するピーク画素が１つだけである場合、近接したピーク画素がないので、重心距離や重心方位を使わずに、相関処理をする構成であってもよい。そうすれば、相関処理の精度を落とすことなく、相関処理部１４０の計算量を抑えることができる。
【００８９】
以上説明した目標追尾装置１００は、目標領域全体の重心点から、目標領域全体の中に存在する全てのピーク画素までの距離と方位を追尾パラメータとして新たに付加するので、フレーム間での画素値の変動に影響されることなく、画素値最大ピーク画素とならないピーク画素でも、フレーム間での連続追尾が可能となる。
【００９０】
これにより、画像上に複数の画素で構成される領域を持つ目標に対し、観測点若しくは目標、若しくは観測点と目標の双方が移動している場合など、目標領域中の画素値最大ピーク画素や重心点といった画像上の特徴点が、取得されるフレーム間で出現位置が変化することがある場合であっても、フレーム間で連続して同一特徴点を追尾することができる。
【００９１】
図１１は、この実施の形態における追尾の様子の一例を示す図である。
例えば、フレーム番号Ｔ１の画像において、ある目標領域内に２つのピーク画素が抽出され、左側のピーク画素のほうが画素値が大きい。
次のフレームであるフレーム番号Ｔ２の画像において、同じように、２つのピーク画素が抽出される。しかし、ピーク画素の間の画素値の大小関係が逆転し、右側のピーク画素のほうが画素値が大きい。
その次のフレームであるフレーム番号Ｔ３の画像においても同様に、２つのピーク画素が抽出され、ピーク画素の画素値の大小関係は、フレーム番号Ｔ１の画像の状態に戻っている。
【００９２】
このような場合において、仮に、この目標領域を画素値が最大のピーク画素に代表させて追尾したとすると、目標がほとんど動いていないにも関わらず、追尾点が左右に揺れ動くことになる。
【００９３】
これに対し、目標追尾装置１００は、すべてのピーク画素を追尾するので、追尾点が揺れ動くことがない。また、すべてのピーク画素を追尾することにより、ピーク画素の間の距離が近くなっても、重心点との間の位置関係を相関パラメータとして用いることにより、少ない計算量で相関処理をすることができる。
【００９４】
目標追尾装置１００は、目標領域内で画素値最大ピーク画素とならない、ある程度の輝度値を持つ任意の画素を追尾することができる。目標追尾装置１００は、追尾対象とする任意の画素の特徴量として、従来方式で使用される画素の座標値のみでなく、目標領域全体の重心点から、追尾対象となる任意の画素までの距離と、その方位を、新たな追尾パラメータとして算出し、座標値とあわせて追尾パラメータ数を増加させ、より高精度な追尾処理を可能とする。
これにより、フレーム間で画素値最大ピーク画素の出現位置が変動するような画像による相関を実施する場合や、また、観測点が移動することにより、目標と観測点が接近や離反をする環境下において、取得画像の目標領域がフレーム間で変形することにより、目標領域の重心位置がフレーム間で変動するような画像による相関を実施する場合であっても、追尾の維持が可能となる。
【００９５】
実施の形態３．
実施の形態３について、図１２〜図１３を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【００９６】
目標追尾システム８００の全体構成、目標追尾装置１００のハードウェア構成及びブロック構成は、実施の形態１と同様である。また、特徴量抽出処理Ｓ５００、目標画素抽出工程Ｓ５１０、ピーク画素抽出工程Ｓ５２０、特徴距離方位算出工程Ｓ５４０の流れも、実施の形態１と同様である。
【００９７】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴点として、画像上における目標８５０の長軸を算出し、算出した長軸の両端の位置を特徴位置とする。特徴位置算出部１３３は、処理装置９１１を用いて、算出した長軸の両端の位置を表わす特徴位置データを出力する。
【００９８】
図１２は、この実施の形態における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図である。
特徴位置算出工程Ｓ５３０は、目標選択工程Ｓ５５１、初期化工程Ｓ５５２、左側目標画素選択工程Ｓ５５３、右側目標画素選択工程Ｓ５５４、距離算出工程Ｓ５５５、距離比較工程Ｓ５５６、距離記憶工程Ｓ５５７、左側目標画素記憶工程Ｓ５５８、右側目標画素記憶工程Ｓ５５９を有する。
【００９９】
目標選択工程Ｓ５５１において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が分類した目標画素のグループのなかから、まだ選択していないグループを１つ選択する。
すべてのグループが選択済であり、まだ選択していないグループがない場合、特徴位置算出部１３３は、処理装置９１１を用いて、特徴位置算出工程Ｓ５３０を終了する。
未選択のグループがあり、グループを選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、初期化工程Ｓ５５２へ進む。
【０１００】
初期化工程Ｓ５５２において、特徴位置算出部１３３は、処理装置９１１を用いて、長軸距離を０に設定し、記憶装置９１４を用いて記憶する。
【０１０１】
左側目標画素選択工程Ｓ５５３において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が抽出した目標画素のうち、目標選択工程Ｓ５５１で選択したグループに属する目標画素であって、左隣の画素が目標画素でない画素のなかから、まだ選択していない目標画素を１つ選択する。
目標選択工程Ｓ５５１で選択したグループに属する目標画素のうち左隣が目標画素でない画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標選択工程Ｓ５５１に戻り、次のグループを選択する。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、右側目標画素選択工程Ｓ５５４へ進む。
【０１０２】
右側目標画素選択工程Ｓ５５４において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が抽出した目標画素のうち、画素選択工程Ｓ５１１で選択したグループに属する目標画素であって、右隣の画素が目標画素でない画素のなかから、まだ選択していない目標画素を１つ選択する。
目標選択工程Ｓ５５１で選択したグループに属する目標画素のうち右隣が目標画素でない画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部１３３は、処理装置９１１を用いて、左側目標画素選択工程Ｓ５５３に戻り、左側の次の目標画素を選択する。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、距離算出工程Ｓ５５５へ進む。
【０１０３】
距離算出工程Ｓ５５５において、特徴位置算出部１３３は、処理装置９１１を用いて、左側目標画素選択工程Ｓ５５３で選択した左側の目標画素と、右側目標画素選択工程Ｓ５５４で選択した右側の目標画素との間の距離を算出する。なお、距離算出工程Ｓ５５５で算出する距離は、距離の大小が比較できればよい。したがって、ピタゴラスの定理を用いて距離を算出する場合、特徴位置算出部１３３は、平方根を取らずに、距離の二乗を算出する構成であってもよい。
【０１０４】
距離比較工程Ｓ５５６において、特徴位置算出部１３３は、処理装置９１１を用いて、距離算出工程Ｓ５５５で算出した距離（または距離の二乗）と、記憶した長軸距離（または長軸距離の二乗）とを比較する。
距離算出工程Ｓ５５５で算出した距離が長軸距離よりも大きい場合、特徴位置算出部１３３は、処理装置９１１を用いて、距離記憶工程Ｓ５５７へ進む。
距離算出工程Ｓ５５５で算出した距離が長軸距離よりも小さい場合、特徴位置算出部１３３は、処理装置９１１を用いて、右側目標画素選択工程Ｓ５５４に戻り、右側の次の目標画素を選択する。
【０１０５】
距離記憶工程Ｓ５５７において、特徴位置算出部１３３は、記憶装置９１４を用いて、距離算出工程Ｓ５５５で算出した距離（または距離の二乗）を、長軸距離（または長軸距離の二乗）として記憶する。
【０１０６】
左側目標画素記憶工程Ｓ５５８において、特徴位置算出部１３３は、記憶装置９１４を用いて、左側目標画素選択工程Ｓ５５３で選択した左側の目標画素を、（暫定的に）目標選択工程Ｓ５５１で選択したグループについての長軸の一端の画素として記憶する。
【０１０７】
右側目標画素記憶工程Ｓ５５９において、特徴位置算出部１３３は、記憶装置９１４を用いて、右側目標画素選択工程Ｓ５５４で選択した右側の目標画素を、（暫定的に）目標選択工程Ｓ５５１で選択したグループについての長軸の他端の画素として記憶する。
特徴位置算出部１３３は、処理装置９１１を用いて、右側目標画素選択工程Ｓ５５４に戻り、右側の次の目標画素を選択する。
【０１０８】
特徴位置算出部１３３は、例えばこのようにして、１つの目標領域（グループ）に対して、その目標領域に属する目標画素のなかから、互いの距離が最も離れた２つの目標画素を判定して、特徴点とする。特徴位置算出部１３３は、判定した２つの目標画素の位置を特徴位置とする。特徴位置算出部１３３は、１つの目標領域につき、２つの特徴位置を算出する。
【０１０９】
なお、特徴位置算出部１３３は、特徴位置として、長軸の両端の画素の位置だけでなく、他の実施の形態で説明する他の特徴点の位置を算出し、１つの目標領域について、３つ以上の特徴位置を算出する構成であってもよい。
【０１１０】
この実施の形態における目標追尾装置１００において、上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記目標画素４２１のなかから、互いの距離が最も離れた２つの画素を判定し、判定した２つの画素それぞれの位置を特徴位置とする。
【０１１１】
この実施の形態における目標追尾装置１００によれば、特徴位置算出部１３３が算出した特徴位置に基づいて、特徴距離算出部１３４が特徴距離を算出し、特徴方位算出部１３５が特徴方位を算出し、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【０１１２】
図１３は、この実施の形態における追尾の様子の一例を示す図である。
目標領域内の長軸とは、目標領域を構成する画素群において、目標領域内と目標領域外の境界に位置する画素を境界画素と設定し、２つの境界画素間の離隔距離が最長となる距離を目標領域長軸として設定したものである。
まず、目標画素抽出部１３１は、目標領域を抽出する。
次に、特徴位置算出部１３３は、目標領域長軸を構成する２つの境界画素を長軸構成画素［Ａ］［Ｂ］（特徴点）とする。特徴位置算出部１３３は、目標領域内の境界画素間で最長となる距離を目標領域長軸とし、ペアとなる境界画素を長軸端部画素［Ａ］、長軸端部画素［Ｂ］とする。
次に、ピーク画素抽出部１３２は、目標領域内で追尾対象候補となるピーク画素［ａ］、ピーク画素［ｂ］を抽出する。
次に、特徴距離算出部１３４及び特徴方位算出部１３５は、この長軸構成画素から、追尾対象とするピーク画素［ａ］までの距離と方位を算出する。長軸構成画素は２つ存在しているため、長軸構成画素［Ａ］からピーク画素［ａ］までの距離を「長軸端部距離［Ａ］［ａ］」、長軸構成画素［Ｂ］からピーク画素［ａ］までの距離を「長軸端部距離［Ｂ］［ａ］」とする。また、長軸構成画素［Ａ］からピーク画素［ａ］までの方位を「長軸端部方位［Ａ］［ａ］」、長軸構成画素［Ｂ］からピーク画素［ａ］までの方位を「長軸端部方位［Ｂ］［ａ］」とする。特徴距離算出部１３４及び特徴方位算出部１３５は、目標領域内のピーク画素［ａ］と長軸端部画素［Ａ］との距離（長軸端部距離［Ａ］［ａ］）と方位（長軸端部方位［Ａ］［ａ］）とを抽出する。特徴距離算出部１３４及び特徴方位算出部１３５は、目標領域内のピーク画素［ａ］と長軸端部画素［Ｂ］との距離（長軸端部距離［Ｂ］［ａ］）と方位（長軸端部方位［Ｂ］［ａ］）とを抽出する。特徴距離算出部１３４及び特徴方位算出部１３５は、その他のピーク画素［ｂ］にも同等の処理を行い、値を保持する。
相関処理部１４０は、抽出された長軸端部距離と長軸端部方位とを新たな相関パラメータとして使用する。
【０１１３】
実施の形態４．
実施の形態４について、図１４〜図１５を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【０１１４】
目標追尾システム８００の全体構成、目標追尾装置１００のハードウェア構成及びブロック構成は、実施の形態１と同様である。また、特徴量抽出処理Ｓ５００、目標画素抽出工程Ｓ５１０、ピーク画素抽出工程Ｓ５２０、特徴距離方位算出工程Ｓ５４０の流れも、実施の形態１と同様である。
【０１１５】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴点として、画像上における目標８５０の突出した先端の画素（以下「突出画素」と呼ぶ。）を検出し、検出した突出画素の位置を特徴位置とする。特徴位置算出部１３３は、処理装置９１１を用いて、算出した突出画素の位置を表わす特徴位置データを出力する。
【０１１６】
図１４は、この実施の形態における特徴位置算出工程Ｓ５３０の流れの一例を示すフローチャート図である。
特徴位置算出工程Ｓ５３０は、目標選択工程Ｓ５６１、目標画素選択工程Ｓ５６２、初期化工程Ｓ５６３、周辺画素選択工程Ｓ５６４、目標画素判定工程Ｓ５６５、周辺目標画素計数工程Ｓ５６６、閾値判定工程Ｓ５６７、突出画素記憶工程Ｓ５６８を有する。
【０１１７】
目標選択工程Ｓ５６１において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が分類した目標画素のグループのなかから、まだ選択していないグループを１つ選択する。
すべてのグループが選択済であり、まだ選択していないグループがない場合、特徴位置算出部１３３は、処理装置９１１を用いて、特徴位置算出工程Ｓ５３０を終了する。
未選択のグループがあり、グループを選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５６２へ進む。
【０１１８】
目標画素選択工程Ｓ５６２において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が抽出した目標画素のうち、目標選択工程Ｓ５６１で選択したグループに属する目標画素のなかから、まだ選択していない目標画素を１つ選択する。
目標選択工程Ｓ５６１で選択したグループに属する目標画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標選択工程Ｓ５６１に戻り、次のグループを選択する。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、初期化工程Ｓ５６３へ進む。
【０１１９】
初期化工程Ｓ５６３において、特徴位置算出部１３３は、処理装置９１１を用いて、周辺目標画素の数を０に設定し、記憶装置９１４を用いて記憶する。
【０１２０】
周辺画素選択工程Ｓ５６４において、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５６２で選択した目標画素の周辺に位置する画素のなかから、画素を１つ選択する。目標画素の周辺に位置する画素とは、目標画素に隣接する画素、もしくは、目標画素からの距離が所定の閾値以下である画素、もしくは、目標画素との間の座標の差が所定の閾値以下である画素のことである。
目標画素選択工程Ｓ５６２で選択した目標画素の周辺に位置する画素がすべて選択済であり、まだ選択していない画素がない場合、その目標画素は突出画素である。特徴位置算出部１３３は、処理装置９１１を用いて、突出画素記憶工程Ｓ５６８へ進む。
未選択の画素があり、画素を選択した場合、特徴位置算出部１３３は、処理装置９１１を用いて、目標画素判定工程Ｓ５６５へ進む。
【０１２１】
目標画素判定工程Ｓ５６５において、特徴位置算出部１３３は、処理装置９１１を用いて、周辺画素選択工程Ｓ５６４で選択した画素が目標画素であるか否かを判定する。
周辺画素選択工程Ｓ５６４で選択した画素が目標画素である場合、特徴位置算出部１３３は、処理装置９１１を用いて、周辺目標画素計数工程Ｓ５６６へ進む。
周辺画素選択工程Ｓ５６４で選択した画素が目標画素でない場合、特徴位置算出部１３３は、処理装置９１１を用いて、周辺画素選択工程Ｓ５６４に戻り、次の周辺画素を選択する。
【０１２２】
周辺目標画素計数工程Ｓ５６６において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶した周辺目標画素の数に１を加え、記憶装置９１４を用いて記憶する。
【０１２３】
閾値判定工程Ｓ５６７において、特徴位置算出部１３３は、処理装置９１１を用いて、記憶した周辺目標画素の数を所定の閾値と比較する。
周辺目標画素の数が閾値以上である場合、その目標画素は突出画素ではない。特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５６２に戻り、次の目標画素を選択する。
周辺目標画素の数が閾値未満である場合、その目標画素が突出画素であるか否かはまだわからない。特徴位置算出部１３３は、処理装置９１１を用いて、周辺画素選択工程Ｓ５６４に戻り、次の周辺画素を選択する。
【０１２４】
突出画素記憶工程Ｓ５６８において、特徴位置算出部１３３は、記憶装置９１４を用いて、目標画素選択工程Ｓ５６２で選択した目標画素を、目標選択工程Ｓ５６１で選択したグループについての突出画素として記憶する。
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素選択工程Ｓ５６２に戻り、次の目標画素を選択する。
【０１２５】
特徴位置算出部１３３は、例えばこのようにして、１つの目標領域（グループ）に対して、その目標領域に属する目標画素のなかから、突出画素を抽出して、特徴点とする。特徴位置算出部１３３は、抽出した突出画素の位置を特徴位置とする。特徴位置算出部１３３は、１つの目標領域について、複数の突出画素を抽出する場合もあるし、突出画素を抽出しない場合もある。
【０１２６】
なお、特徴位置算出部１３３は、特徴位置として、突出画素の位置だけでなく、他の実施の形態で説明する他の特徴点の位置を算出する構成であってもよい。
【０１２７】
この実施の形態における目標追尾装置１００において、上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記目標画素４２１のなかから、突出した先端の画素を抽出して、突出画素とし、抽出した突出画素の位置を特徴位置とする。
【０１２８】
この実施の形態における目標追尾装置１００によれば、特徴位置算出部１３３が算出した特徴位置に基づいて、特徴距離算出部１３４が特徴距離を算出し、特徴方位算出部１３５が特徴方位を算出し、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
【０１２９】
図１５は、この実施の形態における追尾の様子の一例を示す図である。
目標領域内の特徴的な形状とは、目標領域を構成する画素群において、目標領域内と目標領域外の境界に位置する画素において、１画素のみ目標領域外へ突き出した形状をしているような画素（突出画素）を指しており、任意に指定可能とする。特徴的な形状の画素のことを、特徴的形状画素と呼ぶ。
まず、目標画素抽出部１３１は、目標領域を抽出する。
次に、特徴位置算出部１３３は、目標領域内の特徴的な形状を示す画素を特徴的形状画素［Ａ］とする。
次に、ピーク画素抽出部１３２は、目標領域内で追尾対象候補となるピーク画素［ａ］、ピーク画素［ｂ］を抽出する。
次に、特徴距離算出部１３４及び特徴方位算出部１３５は、この特徴的形状画素［Ａ］から、追尾対象とするピーク画素［ａ］までの距離と方位を算出する。特徴的形状画素［Ａ］からピーク画素［ａ］までの距離を「特徴的形状画素距離［Ａ］［ａ］」とする。また、特徴的形状画素［Ａ］からピーク画素［ａ］までの方位を「特徴的形状画素方位［Ａ］［ａ］」とする。特徴距離算出部１３４及び特徴方位算出部１３５は、目標領域内のピーク画素［ａ」と、特徴的形状画素［Ａ］との距離（特徴形状画素距離［Ａ］［ａ］）と方位（特徴形状画素方位［Ａ］［ａ］）とを抽出する。特徴距離算出部１３４及び特徴方位算出部１３５は、その他のピーク画素［ｂ］にも同等の処理を行い、値を保持する。
相関処理部１４０は、抽出された特徴形状画素距離と特徴形状画素方位とを新たな相関パラメータとして使用する。
【０１３０】
実施の形態５．
実施の形態５について、図１６〜図１７を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【０１３１】
目標追尾システム８００の全体構成、目標追尾装置１００のハードウェア構成及びブロック構成は、実施の形態１と同様である。
【０１３２】
特徴位置算出部１３３は、処理装置９１１を用いて、目標画素抽出部１３１が出力した画素値データを入力する。特徴位置算出部１３３は、入力した画素値データに基づいて、処理装置９１１を用いて、特徴位置を算出する。特徴位置算出部１３３は、処理装置９１１を用いて、算出した特徴位置を表わす特徴位置データを出力する。
【０１３３】
相関処理部１４０は、ピーク画素抽出部１３２が抽出したピーク画素の位置や、特徴位置算出部１３３が算出した特徴位置に基づいて特徴距離算出部１３４及び特徴方位算出部１３５が算出した特徴距離及び特徴方位を相関パラメータとして使用して、処理装置９１１を用いて、第一次相関処理をする。第一次相関処理では、ピーク画素同士の相関処理はせず、目標領域同士の相関処理をする。
なお、第一次相関処理において、相関処理部１４０は、特徴距離や特徴方位を使わず、ピーク画素の位置に基づいて、目標領域の相関処理をする構成であってもよい。あるいは、１つの目標領域を代表するピーク画素として、画素値が最も大きい１個のピーク画素を用い、相関処理部１４０は、目標領域内で画素値が最も大きいピーク画素の位置に基づいて、目標領域の相関処理をする構成であってもよい。
【０１３４】
特徴位置算出部１３３は、相関処理部１４０が第一次相関処理をした結果に基づいて、ある目標領域について算出した特徴位置と、一つ前の画像において同じ目標８５０を観測した目標領域について算出し記憶しておいた特徴位置との平均（以下「平均特徴位置」と呼ぶ。）を算出する。特徴位置算出部１３３は、処理装置９１１を用いて、算出した平均特徴位置を表わすデータ（以下「平均特徴位置データ」と呼ぶ。）を出力する。
【０１３５】
特徴距離算出部１３４及び特徴方位算出部１３５は、処理装置９１１を用いて、特徴位置算出部１３３が出力した平均特徴位置データを入力する。特徴距離算出部１３４及び特徴方位算出部１３５は、入力した平均特徴位置データに基づいて、処理装置９１１を用いて、平均特徴位置を、今回の画像及び一つ前の画像におけるその目標領域についての特徴位置とし、改めて、特徴距離及び特徴方位を算出する。特徴距離算出部１３４及び特徴方位算出部１３５は、処理装置９１１を用いて、改めて算出した特徴距離及び特徴方位を現す特徴距離データ及び特徴方位データを出力する。
【０１３６】
相関処理部１４０は、ピーク画素抽出部１３２が抽出したピーク画素の位置や、特徴距離算出部１３４及び特徴方位算出部１３５が改めて算出した特徴距離及び特徴方位を相関パラメータとして使用して、処理装置９１１を用いて、第二次相関処理をする。第二次相関処理では、１つの目標領域内の１以上のピーク画素についての相関処理をする。
【０１３７】
なお、相関処理部１４０が第一次相関処理をする代わりに、特徴位置算出部１３３が、一つ前の画像において同じ目標８５０を観測した可能性のあるすべての目標領域との間で、特徴位置を平均して平均特徴位置を算出する構成であってもよい。その場合、相関処理部１４０は、第二次相関処理において、最も整合性の高い平均特徴位置を判定して目標領域間の相関処理をしたのち、その平均特徴位置に基づいて特徴距離算出部１３４及び特徴方位算出部１３５が算出した特徴距離及び特徴方位に基づいて、ピーク画素の相関処理をする。
【０１３８】
図１６は、この実施の形態における特徴量抽出処理Ｓ５００の流れの一例を示すフローチャート図である。
特徴量抽出処理Ｓ５００は、実施の形態１で説明した工程に加えて、更に、第一次相関工程Ｓ５５０、平均特徴位置算出工程Ｓ５６０、前回特徴距離方位算出工程Ｓ５７０、今回特徴距離方位算出工程Ｓ５８０を有する。
【０１３９】
第一次相関工程Ｓ５５０において、相関処理部１４０は、ピーク画素抽出工程Ｓ５２０でピーク画素抽出部１３２が抽出したピーク画素の位置や、特徴距離方位算出工程Ｓ５４０で特徴距離算出部１３４及び特徴方位算出部１３５が算出した特徴距離や特徴方位などに基づいて、処理装置９１１を用いて、目標領域間の相関処理をする。
【０１４０】
平均特徴位置算出工程Ｓ５６０において、特徴位置算出部１３３は、第一次相関工程Ｓ５５０で相関処理部１４０がした相関処理の結果に基づいて、処理装置９１１を用いて、今回の画像における目標領域について算出した特徴位置（例えば重心位置）と、同じ目標８５０を観測した１つ前の画像における目標領域について算出した特徴位置（例えば重心位置）との平均を取り、平均特徴位置とする。
【０１４１】
前回特徴距離方位算出工程Ｓ５７０において、特徴距離算出部１３４及び特徴方位算出部１３５は、ピーク画素抽出部１３２が１つ前の画像について抽出したピーク画素の位置と、平均特徴位置算出工程Ｓ５６０で特徴位置算出部１３３が算出した平均特徴位置とに基づいて、処理装置９１１を用いて、特徴距離及び特徴方位を算出する。
【０１４２】
今回特徴距離方位算出工程Ｓ５８０において、特徴距離算出部１３４及び特徴方位算出部１３５は、ピーク画素抽出部１３２が今回の画像について抽出したピーク画素の位置と、平均特徴位置算出工程Ｓ５６０で特徴位置算出部１３３が算出した平均特徴位置とに基づいて、処理装置９１１を用いて、特徴距離及び特徴方位を算出する。
【０１４３】
相関処理部１４０は、ピーク画素抽出部１３２が１つ前の画像及び今回の画像について抽出したピーク画素の位置と、前回特徴距離方位算出工程Ｓ５７０及び今回特徴距離方位算出工程Ｓ５８０で特徴距離算出部１３４及び特徴方位算出部１３５が算出した特徴距離及び特徴方位とに基づいて、ピーク画素間の相関処理をする。
【０１４４】
この実施の形態における目標追尾装置１００において、上記特徴位置算出部１３３は、上記処理装置９１１を用いて、上記複数の画像それぞれについて算出した特徴位置を平均して、平均特徴位置を算出し、算出した平均特徴位置を上記複数の画像についての特徴位置とする。
【０１４５】
この実施の形態における目標追尾装置１００によれば、特徴位置算出部１３３が算出した平均特徴位置に基づいて、特徴距離算出部１３４が特徴距離を算出し、特徴方位算出部１３５が特徴方位を算出し、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理部１４０が相関処理をするので、比較的狭い範囲内に複数のピーク画素があり、かつ、特徴位置の変動が激しい場合でも、少ない計算量で精度の高い相関処理をすることができる。
【０１４６】
図１７は、この実施の形態における追尾の様子の一例を示す図である。
入力画像において抽出される重心点の位置が、連続する２フレーム間における変動が大きい場合において、特徴位置算出部１３３は、連続する２フレーム間での重心点の位置の平均値を算出（これを「フレーム間平均重心点」とする）する。特徴位置算出部１３３は、隣接するフレーム間で重心点の出現位置を抽出する。特徴位置算出部１３３は、重心点Ｔ１と重心点Ｔ２との平均値を算出し、フレーム間平均重心点とする。
平均位置を算出するのに使用した連続する２フレームでは、特徴距離算出部１３４及び特徴方位算出部１３５は、この「フレーム間平均重心点」からピーク画素までの距離と方位を、「重心距離」と「重心方位」として算出する。
相関処理部１４０は、フレーム間平均重心点を使った重心方位・重心距離を相関パラメータとして使用する。これにより、フレーム間で位置の変動の大きな重心点を相関パラメータとして使用することができる。
【符号の説明】
【０１４７】
１００ 目標追尾装置、１１１ 画像入力部、１１２ 画像記憶部、１２０ ゲート処理部、１３０ 特徴量抽出部、１３１ 目標画素抽出部、１３２ ピーク画素抽出部、１３３ 特徴位置算出部、１３４ 特徴距離算出部、１３５ 特徴方位算出部、１４０ 相関処理部、１５０ 平滑処理部、１６０ 予測処理部、１７０ 結果出力部、４１０ 画像データ、４１１ 画素値データ、４２０ 目標領域、４２１ 目標画素、４２２ ピーク画素、４２３ 特徴位置、４３０ 特徴量データ、４３１，４４１ ｘ座標、４３２，４４２ ｙ座標、４３３ 特徴距離、４３４ 特徴方位、８００ 目標追尾システム、８１０ 観測装置、８２０ 表示装置、８５０ 目標、９０１ 出力装置、９０２ 入力装置、９１１ 処理装置、９１４ 記憶装置。
【特許請求の範囲】
【請求項１】
目標を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標を追尾する目標追尾装置において、
データを記憶する記憶装置と、データを処理する処理装置と、画像記憶部と、目標画素抽出部と、ピーク画素抽出部と、特徴位置算出部と、特徴距離算出部と、特徴方位算出部と、相関処理部とを有し、
上記画像記憶部は、上記記憶装置を用いて、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値を記憶し、
上記目標画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素とし、
上記ピーク画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記目標画素抽出部が抽出した目標画素のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素とし、
上記特徴位置算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記目標画素抽出部が抽出した目標画素に基づいて、上記目標の特徴を表わす特徴点の位置を算出して、特徴位置とし、
上記特徴距離算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置と特徴位置との間の距離を算出して、特徴距離とし、
上記特徴方位算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置から見た上記特徴位置の方位を算出して、特徴方位とし、
上記相関処理部は、上記処理装置を用いて、上記特徴距離算出部が算出した特徴距離と、上記特徴方位算出部が算出した特徴方位とを含む相関パラメータに基づいて、上記複数の画像の相関処理をすることを特徴とする目標追尾装置。
【請求項２】
上記特徴位置算出部は、上記処理装置を用いて、上記目標画素の位置を平均して、重心位置を算出し、算出した重心位置を特徴位置とすることを特徴とする請求項１に記載の目標追尾装置。
【請求項３】
上記特徴位置算出部は、上記処理装置を用いて、上記目標画素のなかから、互いの距離が最も離れた２つの画素を判定し、判定した２つの画素それぞれの位置を特徴位置とすることを特徴とする請求項１または請求項２に記載の目標追尾装置。
【請求項４】
上記特徴位置算出部は、上記処理装置を用いて、上記目標画素のなかから、突出した先端の画素を抽出して、突出画素とし、抽出した突出画素の位置を特徴位置とすることを特徴とする請求項１乃至請求項３のいずれかに記載の目標追尾装置。
【請求項５】
上記特徴位置算出部は、上記処理装置を用いて、上記複数の画像それぞれについて算出した特徴位置を平均して、平均特徴位置を算出し、算出した平均特徴位置を上記複数の画像についての特徴位置とすることを特徴とする請求項１乃至請求項４のいずれかに記載の目標追尾装置。
【請求項６】
データを記憶する記憶装置と、データを処理する処理装置とを有するコンピュータが実行することにより、上記コンピュータが請求項１乃至請求項５のいずれかに記載の目標追尾装置として機能することを特徴とするコンピュータプログラム。
【請求項７】
データを記憶する記憶装置と、データを処理する処理装置とを有する目標追尾装置が、目標を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標を追尾する目標追尾方法において、
上記記憶装置が、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値を記憶し、
上記処理装置が、上記複数の画像それぞれについて、上記記憶装置が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、上記画素の画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素とし、
上記処理装置が、上記複数の画像それぞれについて、上記記憶装置が記憶した複数の画素値に基づいて、抽出した目標画素のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素とし、
上記処理装置が、上記複数の画像それぞれについて、抽出した目標画素に基づいて、上記目標の特徴を表わす特徴点の位置を算出して、特徴位置とし、
上記処理装置が、上記複数の画像それぞれについて、抽出したピーク画素と、算出した特徴位置とに基づいて、上記ピーク画素の位置と特徴位置との間の距離を算出して、特徴距離とし、
上記処理装置が、上記複数の画像それぞれについて、抽出したピーク画素と、算出した特徴位置とに基づいて、上記ピーク画素の位置から見た上記特徴位置の方位を算出して、特徴方位とし、
上記処理装置が、算出した特徴距離と、算出した特徴方位とを含む相関パラメータに基づいて、上記複数の画像の相関処理をすることを特徴とする目標追尾方法。
【請求項１】
目標を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標を追尾する目標追尾装置において、
データを記憶する記憶装置と、データを処理する処理装置と、画像記憶部と、目標画素抽出部と、ピーク画素抽出部と、特徴位置算出部と、特徴距離算出部と、特徴方位算出部と、相関処理部とを有し、
上記画像記憶部は、上記記憶装置を用いて、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値を記憶し、
上記目標画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素とし、
上記ピーク画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記目標画素抽出部が抽出した目標画素のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素とし、
上記特徴位置算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記目標画素抽出部が抽出した目標画素に基づいて、上記目標の特徴を表わす特徴点の位置を算出して、特徴位置とし、
上記特徴距離算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置と特徴位置との間の距離を算出して、特徴距離とし、
上記特徴方位算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置から見た上記特徴位置の方位を算出して、特徴方位とし、
上記相関処理部は、上記処理装置を用いて、上記特徴距離算出部が算出した特徴距離と、上記特徴方位算出部が算出した特徴方位とを含む相関パラメータに基づいて、上記複数の画像の相関処理をすることを特徴とする目標追尾装置。
【請求項２】
上記特徴位置算出部は、上記処理装置を用いて、上記目標画素の位置を平均して、重心位置を算出し、算出した重心位置を特徴位置とすることを特徴とする請求項１に記載の目標追尾装置。
【請求項３】
上記特徴位置算出部は、上記処理装置を用いて、上記目標画素のなかから、互いの距離が最も離れた２つの画素を判定し、判定した２つの画素それぞれの位置を特徴位置とすることを特徴とする請求項１または請求項２に記載の目標追尾装置。
【請求項４】
上記特徴位置算出部は、上記処理装置を用いて、上記目標画素のなかから、突出した先端の画素を抽出して、突出画素とし、抽出した突出画素の位置を特徴位置とすることを特徴とする請求項１乃至請求項３のいずれかに記載の目標追尾装置。
【請求項５】
上記特徴位置算出部は、上記処理装置を用いて、上記複数の画像それぞれについて算出した特徴位置を平均して、平均特徴位置を算出し、算出した平均特徴位置を上記複数の画像についての特徴位置とすることを特徴とする請求項１乃至請求項４のいずれかに記載の目標追尾装置。
【請求項６】
データを記憶する記憶装置と、データを処理する処理装置とを有するコンピュータが実行することにより、上記コンピュータが請求項１乃至請求項５のいずれかに記載の目標追尾装置として機能することを特徴とするコンピュータプログラム。
【請求項７】
データを記憶する記憶装置と、データを処理する処理装置とを有する目標追尾装置が、目標を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標を追尾する目標追尾方法において、
上記記憶装置が、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値を記憶し、
上記処理装置が、上記複数の画像それぞれについて、上記記憶装置が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、上記画素の画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素とし、
上記処理装置が、上記複数の画像それぞれについて、上記記憶装置が記憶した複数の画素値に基づいて、抽出した目標画素のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素とし、
上記処理装置が、上記複数の画像それぞれについて、抽出した目標画素に基づいて、上記目標の特徴を表わす特徴点の位置を算出して、特徴位置とし、
上記処理装置が、上記複数の画像それぞれについて、抽出したピーク画素と、算出した特徴位置とに基づいて、上記ピーク画素の位置と特徴位置との間の距離を算出して、特徴距離とし、
上記処理装置が、上記複数の画像それぞれについて、抽出したピーク画素と、算出した特徴位置とに基づいて、上記ピーク画素の位置から見た上記特徴位置の方位を算出して、特徴方位とし、
上記処理装置が、算出した特徴距離と、算出した特徴方位とを含む相関パラメータに基づいて、上記複数の画像の相関処理をすることを特徴とする目標追尾方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１５８４０９（Ｐ２０１１−１５８４０９Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−２１７５０（Ｐ２０１０−２１７５０）
【出願日】平成２２年２月３日（２０１０．２．３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年２月３日（２０１０．２．３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]