追尾装置
【課題】テンプレートマッチングと比べて目標領域の抽出精度の向上および抽出処理負荷の低減を図ることのできる追尾装置を得る。
【解決手段】目標抽出装置１００は、追尾フィルタ装置２００が出力した追尾予測値と新規入力画像各画素との間で、３次元空間上と画像平面上の、次元の異なる２種類の相関処理を実行し、これらの相関値から新規入力画像中の目標画素および目標領域を抽出し、追尾フィルタ装置２００への入力となる新規画像上の追尾点を決定する。追尾フィルタ装置２００は、目標抽出装置１００が出力した追尾点に基づいて、３次元空間上での追尾点の位置、速度、強度の予測を行い、次のフレームの追尾予測値として出力する。
【解決手段】目標抽出装置１００は、追尾フィルタ装置２００が出力した追尾予測値と新規入力画像各画素との間で、３次元空間上と画像平面上の、次元の異なる２種類の相関処理を実行し、これらの相関値から新規入力画像中の目標画素および目標領域を抽出し、追尾フィルタ装置２００への入力となる新規画像上の追尾点を決定する。追尾フィルタ装置２００は、目標抽出装置１００が出力した追尾点に基づいて、３次元空間上での追尾点の位置、速度、強度の予測を行い、次のフレームの追尾予測値として出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、連続観測された画像中の目標物を追尾する追尾装置に関する。
【背景技術】
【０００２】
連続観測された画像中の目標物の追尾を行う追尾装置において、重要な処理の一つとして、新規に入力された画像から追尾対象となる目標を抽出する目標抽出処理が挙げられる。
画像中の目標を抽出する（あるいは、目標位置を検出する）ための従来技術としては、テンプレートマッチングが一般的である。テンプレートマッチングは、事前に用意した追尾目標のテンプレートと新規画像の間で差分処理等を行い、最もテンプレートと画素の分布が類似する領域を抽出する処理である。テンプレートは事前に用意するため、画像中の追尾目標はテンプレートと大きさや向きが一致する保証が無く、誤抽出が発生する可能性が高い。そこで、例えば特許文献１に記載された追尾装置では、最新の入力画像を用いてテンプレートを更新することで画像中の追尾目標とテンプレートとの差異を小さくし、誤抽出を抑制するようにしていた。
【０００３】
また、追尾目標の大きさや向きが時間の経過とともに変化する場合に対応するため、複数のテンプレートを保持する方法も提案されている。例えば特許文献２には、複数のテンプレートを保持し、さらに最新入力画像より生成したテンプレートを保持するテンプレート群に追加することで誤抽出を抑制する方法が示されている。さらに、特許文献３には、大きさの異なるテンプレートを複数保持することで誤抽出を抑制する方法が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３６５０８号公報
【特許文献２】特許第３７６８０７３号公報
【特許文献３】特開２００１−２４３４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像中の追尾目標とテンプレートとの差異を完全に無くすことは不可能であり、テンプレートを用いた目標抽出処理では誤抽出の発生は避けられない。さらに、誤抽出を抑制するためのテンプレートの更新や複数テンプレートによる抽出処理は処理負荷が増大するという問題もあった。
【０００６】
この発明は上記のような問題点を解決するためになされたもので、テンプレートマッチングと比べて目標領域の抽出精度の向上および抽出処理負荷の低減を図ることのできる追尾装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る追尾装置は、目標抽出装置と追尾フィルタ装置とを備え、センサにより同時に観測された同一画角の距離画像と強度画像のフレームが連続して入力される追尾装置であって、目標抽出装置は、追尾フィルタ装置が算出した追尾予測値と入力画像各画素との間で、追尾空間である３次元空間上での相関処理と、画像平面上での相関処理の、次元の異なる２種類の相関処理を組み合わせて目標画素と目標領域を抽出し、目標領域に基づいて追尾点を算出して追尾点を追尾フィルタ装置に出力し、追尾フィルタ装置は、目標抽出装置が出力する追尾点に基づいて、次のフレームにおける３次元空間上での追尾点の位置、速度、強度の予測を行って追尾予測値を出力するようにしたものである。
【発明の効果】
【０００８】
この発明の追尾装置は、追尾フィルタ装置によって、３次元空間上での追尾点の位置、速度、強度の予測を行い、目標抽出装置は、追尾フィルタ装置が出力する追尾予測値と新規入力画像各画素との間で、追尾空間である３次元空間上での相関処理と、画像平面上での相関処理の、次元の異なる２種類の相関処理を組み合わせて目標画素を抽出するようにしたので、テンプレートマッチングと比べて目標領域の抽出精度の向上および抽出処理負荷の低減を図ることができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１の追尾装置を示す構成図である。
【図２】この発明の実施の形態１の追尾装置におけるセンサ水平角と画像座標との関係を示す説明図である。
【図３】この発明の実施の形態１の追尾装置におけるセンサ垂直角と画像座標との関係を示す説明図である。
【図４】この発明の実施の形態１の追尾装置における第ｋフレームにおける画素の３次元座標と、センサ位置と、画素の距離値と、画素の３次元座標に対する方位角と仰角との関係を示す説明図である。
【図５】この発明の実施の形態１の追尾装置における第ｋフレームにおける画素のｘ座標とセンサ水平角との関係を示す説明図である。
【図６】この発明の実施の形態１の追尾装置における第ｋフレームにおける画素のｙ座標とｚ座標とセンサ垂直角との関係を示す説明図である。
【図７】この発明の実施の形態２の追尾装置を示す構成図である。
【図８】この発明の実施の形態３の追尾装置を示す構成図である。
【図９】この発明の実施の形態４の追尾装置を示す構成図である。
【図１０】この発明の実施の形態５の追尾装置を示す構成図である。
【図１１】この発明の実施の形態６の追尾装置を示す構成図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による追尾装置を示すブロック構成図である。図中、実線の矢印は処理およびデータの流れを示しており、破線の矢印はデータの流れを示している。
図１において、追尾装置は、目標抽出装置１００と追尾フィルタ装置２００により構成され、同時に取得された、同一画角の距離画像と強度画像が入力として与えられる。ここで、距離画像とは、観測面各点までの距離および反射強度を取得するセンサ（これについては図２及び図３を用いて後述する）により生成される画像であり、センサから各観測点までの距離を画素値とする。また、強度画像とは、センサにより生成される、各観測点の反射強度を画素値とする画像である。
【００１１】
図１において、目標抽出装置１００は、追尾フィルタ装置２００が出力した追尾予測値と新規入力画像各画素との間で、３次元空間上と画像平面上の、次元の異なる２種類の相関処理を実行し、さらに得られた２種類の相関値から新規入力画像中の目標画素および目標領域を抽出し、追尾フィルタ装置２００への入力となる新規画像上の追尾点を決定する。目標抽出装置１００は、初期目標領域取得部１０１、ゲート処理部１０２、画像座標変換部１０３、３次元空間相関処理部１０４、３次元座標変換部１０５、画像平面相関処理部１０６、目標画素指標算出部１０７、目標画素抽出部１０８、目標領域抽出部１０９、追尾点決定部１１０を有している。
【００１２】
初期目標領域取得部１０１は、この発明の追尾装置とは別の装置において取得された第１フレーム入力画像中の追尾目標を囲む最小の矩形領域の情報（例えば、矩形領域の左上と右下の画像座標）を、初期目標領域として取得する。
ゲート処理部１０２は、追尾フィルタ装置２００が出力した追尾予測値と新規入力画像各画素との差を表す残差２次形式の分布を算出し、さらに残差２次形式に対して閾値処理を実行し、目標画素抽出処理の対象となる画素を抽出する。以降、ゲート処理部１０２により抽出された画素をゲート内画素と記述する。
画像座標変換部１０３は、新規入力画像中の各ゲート内画素に対して、距離値と画像座標より各画素の３次元座標を算出する。
３次元空間相関処理部１０４は、追尾フィルタ装置２００が出力した追尾予測値と、画像座標変換部１０３が算出した各ゲート内画素の３次元座標および強度値との間での相関値を算出する。以降、３次元空間相関処理部１０４が算出した相関値を３次元空間相関値と記述する。
【００１３】
３次元座標変換部１０５は、追尾フィルタ装置２００が出力した追尾予測値のうちの３次元座標を、距離値と画像座標に変換する。以降、３次元座標変換部１０５が算出する距離値と画像座標を予測距離値および予測画像座標と記述する。
画像平面相関処理部１０６は、新規入力画像における各ゲート内画素の画像座標と距離値と強度値と、３次元座標変換部１０５が算出した予測距離値と予測画像座標および追尾フィルタ装置２００が出力する追尾予測値に含まれる予測強度の間での相関値を算出する。以降、画像平面相関処理部１０６が算出した相関値を画像平面相関値と記述する。
目標画素指標算出部１０７は、３次元空間相関値と画像平面相関値から、各ゲート内画素の目標画素らしさを表す目標画素指標を算出する。
目標画素抽出部１０８は、目標画素指標に対して閾値処理を実行し、目標画素を抽出する。
目標領域抽出部１０９は、目標画素の周辺分布を用いて領域分割を行い、新規入力画像上の目標領域を抽出する。
追尾点決定部１１０は、目標領域より追尾点を算出する。
【００１４】
また、図１において、追尾フィルタ装置２００は、第１フレーム画像入力時に、第２フレーム画像入力時に使用する追尾目標のテンプレートを生成し、第２フレーム画像入力時には、テンプレートを用いたテンプレートマッチングにより追尾点を決定し、第３フレーム以降は目標抽出装置１００が出力する追尾点を取得する。さらに、得られた追尾点の画像座標と、距離画像より得られる追尾点の距離値とにより追尾点の３次元座標を算出し、３次元空間上での追尾処理を実行する。この追尾処理では、追尾点の３次元座標と３次元各方向の速度と追尾点強度の予測を行い、これらの値を予測状態ベクトル（追尾予測値）として出力する。追尾フィルタ装置２００は、テンプレート生成部２０１、テンプレートマッチング部２０２、追尾処理部２０３を有している。
【００１５】
テンプレート生成部２０１は、初期目標領域取得部１０１が取得した初期目標領域情報に基づき、第１フレーム入力画像より追尾目標のテンプレートを生成する。
テンプレートマッチング部２０２は、テンプレートと第２フレーム入力画像との間でマッチング処理を行い、テンプレートと最も一致した領域の中心位置を追尾点とする。
追尾処理部２０３は、テンプレートマッチング部２０２または追尾点決定部１１０が算出した追尾点と第２フレーム以降の新規入力画像より、追尾点の３次元座標を算出し、例えばカルマンフィルタ等の追尾フィルタを用いて、追尾点の３次元位置と３次元速度と強度の予測値を予測状態ベクトルとして算出する。
【００１６】
ここで、センサ位置と、画像座標および３次元座標との関係について説明する。
図２はセンサ水平角と画像座標との関係を示しており、図３はセンサ垂直角と画像座標との関係を示している。
図２において、画像中心座標を（ｒ0，ｃ0）、水平方向のセンサ画角をＡAz、入力画像の水平方向の画素数をＷIM、画素（ｉ，ｊ）におけるセンサ水平角をＡｚIM（ｉ，ｊ）とすると、ＡｚIM（ｉ，ｊ）は式（１）より算出される。
【００１７】
【００１８】
図３において、センサ俯角をθs、垂直方向のセンサ画角をＡEl、入力画像の垂直方向の画素数をＨIM、画素（ｉ，ｊ）におけるセンサ垂直角をＥｌIM（ｉ，ｊ）とすると、ＥｌIM（ｉ，ｊ）は式（２）より算出される。
【００１９】
図４は第ｋフレームにおける画素（ｉ，ｊ）の３次元座標（ｘki,j，ｙki,j，ｚki,j）と、センサ位置と、画素（ｉ，ｊ）の距離値と、（ｘki,j，ｙki,j，ｚki,j）に対する方位角Ａｚs（ｉ，ｊ）と、（ｘki,j，ｙki,j，ｚki,j）に対する仰角Ｅｌs（ｉ，ｊ）との関係を示している。
さらに、図５は第ｋフレームにおける画素（ｉ，ｊ）のｘ座標ｘki,jとセンサ水平角ＡｚIM（ｉ，ｊ）との関係を示し、図６は第ｋフレームにおける画素（ｉ，ｊ）のｙ座標ｙki,jとｚ座標ｚki,jとセンサ垂直角ＥｌIM（ｉ，ｊ）との関係を示している。
【００２０】
図４〜図６に示した関係より、方位角Ａｚs（ｉ，ｊ）は式（３）より、仰角Ｅｌs（ｉ，ｊ）は式（４）より算出される。
【００２１】
さらに、図４に示した関係より、第ｋフレーム画素（ｉ，ｊ）のｘ座標ｘki,jは式（５）より、第ｋフレーム画素（ｉ，ｊ）のｙ座標ｙki,jは式（６）より、第ｋフレーム画素（ｉ，ｊ）のｚ座標ｚki,jは式（７）より算出される。
【００２２】
次に、実施の形態１による追尾装置の一連の動作について、第１フレーム画像入力時、第２フレーム画像入力時、第３フレーム以降の画像入力時に分けて説明する。なお、入力画像とは、入力される距離画像と強度画像の両方を指している。
【００２３】
［第１フレーム画像入力時の動作］
まず、初期目標領域取得部１０１が、別装置により抽出された第１フレーム入力画像中の目標領域の情報（初期目標領域情報）を取得する。初期目標領域情報は、初期目標を囲む最小矩形の位置や大きさを示す情報であり、例えば、初期目標領域の左上隅の画像座標と右下隅の画像座標で与えられる。
次に、テンプレート生成部２０１が、第１フレーム入力画像より、初期目標領域情報を用いて初期目標領域内の画像をテンプレートとする。テンプレートは、第２フレーム画像入力後、追尾処理部２０３における追尾フィルタ初期化の際に、第２フレーム入力画像から追尾点を抽出するために使用する。ここで、テンプレートの生成に使用する画像は距離画像、強度画像どちらでもよい。あるいは両方を用いてもよい。なお、テンプレートの生成方法については公知であるため、ここでの詳細な説明は省略する。
【００２４】
［第２フレーム画像入力時の動作］
第２フレーム画像入力時は、目標抽出装置１００は動作せず、追尾フィルタ装置２００が、追尾点の決定と、追尾処理部２０３における追尾フィルタの初期化と、第３フレームにおける追尾点の予測を行う。以下に追尾フィルタ装置２００の動作の詳細を示す。
【００２５】
追尾処理部２０３における追尾フィルタの初期化を行うにあたり、第２フレーム入力画像から追尾点を決定する必要がある。そこで、まず、テンプレートマッチング部２０２が、テンプレート生成部２０１が生成したテンプレートを用いて第２フレームの入力画像に対してマッチング処理を行い、最も一致度が高い入力画像中の領域の中心を第２フレームの追尾点とする。
ここで、テンプレートマッチング部２０２が実行するテンプレートマッチング処理については、例えばテンプレートとマッチング対象領域の、同じ位置の画素値の差分絶対値の合計を評価値とするＳＡＤ（Sum of Absolute Difference）等、一般的な処理を適用することが可能であるため、ここでのテンプレートマッチング処理についての説明は省略する。
【００２６】
次に、追尾処理部２０３が追尾フィルタの初期化を行う。ここで、追尾フィルタは、カルマンフィルタを適用し、追尾点の｛距離，仰角，方位角，強度｝を観測ベクトルとする。なお、追尾点の方位角および仰角は、追尾点の画像座標から式（３）および式（４）より算出する。また、追尾フィルタは、追尾点の｛Ｘ座標，Ｙ座標，Ｚ座標，Ｘ軸方向速度，Ｙ軸方向速度，Ｚ軸方向速度，強度｝を状態ベクトルとし、３次元空間上で追尾処理を行う。
追尾フィルタの初期化処理は、まず、初期目標領域の中心を第１フレームにおける追尾点とし、式（５）〜式（７）より、第１フレーム追尾点の３次元座標を求める。次に、第２フレームの追尾点の３次元座標を、式（５）〜式（７）より求める。さらに、第１フレーム追尾点の３次元座標と第２フレーム追尾点の３次元座標より、第２フレーム追尾点の３次元空間上の各軸方向の速度を算出し、第２フレーム追尾点の｛Ｘ座標，Ｙ座標，Ｚ座標，Ｘ軸方向速度，Ｙ軸方向速度，Ｚ軸方向速度，強度｝を平滑状態ベクトルの初期値とする。さらに、平滑誤差共分散行列の初期化を行う。
【００２７】
次に、追尾処理部２０３は、平滑状態ベクトル初期値を用いてカルマンフィルタ予測処理を実行し、追尾点の予測状態ベクトルを算出する。予測状態ベクトルは、｛追尾点の第３フレームにおけるＸ座標予測値，追尾点の第３フレームにおけるＹ座標予測値，追尾点の第３フレームにおけるＺ座標予測値，追尾点の第３フレームにおけるＸ軸方向速度予測値，追尾点の第３フレームにおけるＹ軸方向速度予測値，追尾点の第３フレームにおけるＺ軸方向速度予測値，追尾点の第３フレームにおける強度予測値｝を要素とする。
【００２８】
［第３フレーム以降の画像入力時の動作］
第３フレーム以降では、まず目標抽出装置１００が、１フレーム前の処理で追尾処理部２０３が算出した予測状態ベクトルと、新規入力画像との間で相関処理を行い、相関値の高い画素を目標画素とし、目標領域を抽出する。さらに目標領域から入力画像中の追尾点を決定する。次に、追尾フィルタ装置２００が、目標抽出装置１００が出力した追尾点を入力とし、追尾処理により次フレームにおける予測状態ベクトルを算出する。以下に、第３フレーム以降の処理の詳細を示す。
【００２９】
まず、ゲート処理部１０２が、画像上の追尾点予測位置を中心とした、１フレーム前に抽出された目標領域の大きさのｎ倍の領域を目標抽出処理の対象範囲とする。ここで、ｎの値は事前に与えるものとする。
さらにゲート処理部１０２は、追尾処理部２０３が算出した予測状態ベクトルおよび残差共分散行列を用いて、入力画像各画素と予測状態ベクトルの間の差を表す残差２次形式を算出し、この残差２次形式の値が事前に定める閾値以下となる画素を相関処理の対象とする。以降、相関処理対象画素をゲート内画素と記述する。
式（８）に残差２次形式の算出式を、式（９）にゲート内画素の判定式を示す。ここで、式（９）に示したゲートサイズｄは事前に与える定数であり、例えば、自由度４のχ二乗分布より決定する。式（８）のｚki,jが４次元のベクトルであるので、自由度を４としている。
【００３０】
【００３１】
次に、画像座標変換部１０３が、現フレーム距離画像を用いて、ゲート内画素の３次元座標を算出する。３次元座標を求める画素の座標を（ｉ，ｊ）、画素（ｉ，ｊ）の３次元座標を（ｘki,j，ｙki,j，ｚki,j）とすると、図２〜図６に示した関係より、式（１）〜式（７）を用いて、（ｘki,j，ｙki,j，ｚki,j）を算出する。
【００３２】
次に、３次元空間相関処理部１０４が、予測状態ベクトルから抜き出した位置と強度の値からなるベクトルＰ3Dを生成し、さらに、ゲート内画素（ｉ，ｊ）に対して画像座標変換部１０３が算出した３次元座標と、ゲート内画素（ｉ，ｊ）の強度値からなるベクトルＯ3Di,jを生成する。ベクトルＰ3Dの定義を式（１０）に、ベクトルＯ3Di,jの定義を式（１１）に示す。
【００３３】
さらに、３次元空間相関処理部１０４は、正規化相互相関係数を用いて、ベクトルＰ3DとベクトルＯ3Di,jの３次元空間相関値ＮＣＣ3D（ｉ，ｊ）を算出する。ＮＣＣ3D（ｉ，ｊ）の定義を式（１２）に示す。ゲート内画素（ｉ，ｊ）の３次元空間上での位置と追尾点の３次元空間上での予測位置が近く、さらにゲート内画素（ｉ，ｊ）の強度と追尾点の予測強度の差が小さい程、ＮＣＣ3D（ｉ，ｊ）の値は高くなり、相関が高いことを示す。
【００３４】
次に、３次元座標変換部１０５が、追尾点の３次元予測位置を距離値と画像座標に変換する。以降、追尾点の３次元予測位置から算出する距離値を予測距離値、追尾点の３次元予測位置から算出する画像座標を予測画像座標と記述する。
図２〜図６に示す関係より、３次元座標変換部１０５における追尾点予測位置
の３次元座標から予測距離および予測画像座標への変換式を式（１３）〜式（１５）に示す。
【００３５】
ここで、３次元座標変換部１０５は、予測画像座標に代えて、式（８）に示した関数ｈ（）を用いて、予測仰角および予測方位角を算出するようにしてもよい。
【００３６】
次に、画像平面相関処理部１０６が、３次元座標変換部１０５が算出した予測距離および予測画像座標および予測強度からなるベクトルＰ2Dを生成し、さらに、ゲート内画素（ｉ，ｊ）における距離値および画像座標および強度値からなるベクトルＯ2Di,jを生成する。ベクトルＰ2Dの定義を式（１６）に、ベクトルＯ2Di,jの定義を式（１７）に示す。
【００３７】
ここで、画像平面相関処理部１０６は、３次元座標変換部１０５が予測仰角および予測方位角を算出した場合は、ベクトルＰ2Dを構成する要素のうち、予測画像座標に代えて、３次元座標変換部１０５が算出した予測仰角および予測方位角をベクトルＰ2Dの構成要素とし、ベクトルＯ2Di,jを構成する要素のうち、画像座標（ｉ，ｊ）に代えて、式（１）〜式（４）を用いて、画素（ｉ，ｊ）の仰角および方位角をベクトルＯ2Di,jの構成要素とする。
【００３８】
さらに、画像平面相関処理部１０６は、正規化相互相関係数を用いて、ベクトルＰ2DとベクトルＯ2Di,jの画像平面相関値ＮＣＣ2D（ｉ，ｊ）を算出する。ＮＣＣ2D（ｉ，ｊ）の定義を式（１８）に示す。ゲート内画素（ｉ，ｊ）の画像座標が予測画像座標に近く、且つ、ゲート内画素（ｉ，ｊ）の距離値と予測距離の差が小さくさらにゲート内画素（ｉ，ｊ）の強度と追尾点の予測強度の差が小さい程、ＮＣＣ2D（ｉ，ｊ）の値は高くなり、相関が高いことを示す。
【００３９】
次に、目標画素指標算出部１０７が、ＮＣＣ3D（ｉ，ｊ）とＮＣＣ2D（ｉ，ｊ）とを組み合わせた目標画素指標ＴＰＩk（ｉ，ｊ）を算出する。目標画素指標は各画素が目標画素である確からしさを表す指標であり、全てのゲート内画素に対して算出する。式（１９）にゲート内画素（ｉ，ｊ）における目標画素指標ＴＰＩk（ｉ，ｊ）の定義を示す。
ＮＣＣ3D（ｉ，ｊ）の分布は３次元空間上における相関結果であり、目標画素の他に、追尾点の予測高度に近い高度を持つ背景画素の相関値が高くなりやすい傾向にある。一方、ＮＣＣ2D（ｉ，ｊ）の分布は、画像平面上における相関結果であり、高度の情報は含まれない。このため、目標画素の他に、追尾点の予測画像座標周辺部の背景画素の相関値が高くなりやすい傾向にある。
そこで、目標画素指標算出部１０７は、相関値が高くなる背景画素の傾向が異なるＮＣＣ3D（ｉ，ｊ）とＮＣＣ2D（ｉ，ｊ）を組み合わせることで背景画素の目標画素指標値を低減し、誤抽出を抑制している。
【００４０】
次に、目標画素抽出部１０８が、目標画素指標の分布に基づいた閾値処理により目標画素を抽出する。目標画素の抽出に用いる閾値の算出式を式（２０）に、目標画素判定条件を式（２１）に示す。式（２１）では、目標画素指標が閾値を超えたゲート内画素を目標画素と判定し、２次元配列ＴｇｔＰｉｘkの当該画素位置に１を立て、目標画素でないと判定されれば当該画素位置に０を立てる。以降、２次元配列ＴｇｔＰｉｘkを目標画素格納配列と記述する。
【００４１】
次に、目標領域抽出部１０９が、目標画素格納配列における目標画素（すなわち値が１の画素）の分布状況を基に領域分割を行い、１フレーム前に抽出した目標領域に大きさが最も近い領域を現フレームの目標領域とする。なお、目標画素格納配列における目標画素には、真の目標画素に加え、誤抽出された背景画素が含まれる場合もある。以下に目標領域抽出部１０９の動作を示す。
【００４２】
まず、目標画素格納配列の水平方向の周辺分布を求める。式（２２）に列座標ｊの周辺分布の定義を示す。
【００４３】
次に、水平方向の周辺分布に対して閾値処理を行い、目標画素が存在する領域の左右両端を検出する。例えば、周辺画素分布ＭＤWk（ｊ1−１）が閾値以下であり、ＭＤWk（ｊ1）が閾値を超える場合、列座標ｊ1を目標画素が存在する領域の左端とする。また、ＭＤWk（ｊ2）が閾値を超え、ＭＤWk（ｊ2＋１）が閾値以下の場合、列座標ｊ2を目標画素が存在する領域の右端とする。この時、閾値処理に用いる閾値は事前に設定してもよいし、求めた周辺分布より算出してもよい。なお、目標画素抽出部１０８の処理において背景画素が誤抽出された場合は、複数組の左右両端が抽出される場合もある。
【００４４】
次に、目標画素格納配列を、目標画素領域両端で挟まれる領域に分割し、分割領域毎に垂直方向の周辺分布を求める。式（２３）に、ｎ番目の分割領域における垂直方向の周辺分布の定義を示す。
【００４５】
次に、分割領域毎に、垂直方向の周辺分布に対して、水平方向の周辺分布における処理と同様の閾値処理を行い、目標画素が存在する領域の上下端を求める。この時、閾値処理に用いる閾値は事前に設定してもよいし、求めた周辺分布より算出してもよい。
次に、抽出した各分割領域の水平・垂直方向の大きさと、１フレーム前に抽出した目標領域の水平・垂直方向の大きさを比較し、１フレーム前に抽出した目標領域の大きさに最も近い分割領域を現フレームの目標領域とする。
次に、追尾点決定部１１０が、目標領域抽出部１０９が抽出した目標領域の中心画像座標を追尾点とし、追尾処理部２０３に出力する。
【００４６】
次に、追尾処理部２０３が、追尾点の画像座標を、式（３）および式（４）を用いて方位角および仰角に変換し、入力画像から取得する追尾点の距離値および強度値と合わせて観測ベクトルを生成する。観測ベクトルは｛追尾点の距離，追尾点の仰角，追尾点の方位角，追尾点の強度｝を要素とする。
さらに、追尾処理部２０３は、観測ベクトルと、１フレーム前に追尾処理部２０３が算出した予測状態ベクトルを用いて、カルマンフィルタによる平滑処理を実行し、平滑状態ベクトルを算出する。平滑状態ベクトルは、｛追尾点のＸ座標平滑値，追尾点のＹ座標平滑値，追尾点のＺ座標平滑値，追尾点のＸ軸方向速度平滑値，追尾点のＹ軸方向速度平滑値，追尾点のＺ軸方向速度平滑値，追尾点の強度平滑値｝を要素とする。
【００４７】
さらに、追尾処理部２０３は、平滑状態ベクトルを用いて、カルマンフィルタ予測処理を実行し、追尾点の予測状態ベクトルを算出する。予測状態ベクトルは、｛追尾点の次フレームにおけるＸ座標予測値，追尾点の次フレームにおけるＹ座標予測値，追尾点の次フレームにおけるＺ座標予測値，追尾点の次フレームにおけるＸ軸方向速度予測値，追尾点の次フレームにおけるＹ軸方向速度予測値，追尾点の次フレームにおけるＺ軸方向速度予測値，追尾点の次フレームにおける強度予測値｝を要素とする。
【００４８】
以上のように、実施の形態１の追尾装置によれば、目標抽出装置と追尾フィルタ装置とを備え、センサにより同時に観測された同一画角の距離画像と強度画像のフレームが連続して入力される追尾装置であって、目標抽出装置は、追尾フィルタ装置が算出した追尾予測値と入力画像各画素との間で、追尾空間である３次元空間上での相関処理と、画像平面上での相関処理の、次元の異なる２種類の相関処理を組み合わせて目標画素と目標領域を抽出し、目標領域に基づいて追尾点を算出して追尾点を追尾フィルタ装置に出力し、追尾フィルタ装置は、目標抽出装置が出力する追尾点に基づいて、次のフレームにおける３次元空間上での追尾点の位置、速度、強度の予測を行って追尾予測値を出力するようにしたので、テンプレートマッチングと比べて目標領域の抽出精度を向上させることができると共に、抽出処理負荷の低減を図ることができる。
【００４９】
また、実施の形態１の追尾装置によれば、目標抽出装置は、初期入力画像中から抽出された初期目標領域を取得する初期目標領域取得部と、追尾フィルタ装置が算出した追尾予測値と入力画像との差を表す残差２次形式を算出し、残差２次形式を用いて相関処理の対象となる画素を抽出するゲート処理部と、入力画像の各画素距離値および画像座標から各画素の３次元座標を算出する画像座標変換部と、追尾予測値に含まれる追尾点の３次元予測位置を、予測画像座標とセンサからの予測距離値に変換する３次元座標変換部と、追尾予測値に含まれる追尾点の３次元予測位置および予測強度を要素とするベクトルと、画像座標変換部が算出した入力画像各画素３次元座標および強度を要素とするベクトルを用いて、追尾空間である３次元空間での相関処理を行う３次元空間相関処理部と、３次元座標変換部が算出した追尾点の予測画像座標および予測距離と予測強度を要素とするベクトルと、入力画像各画素の画像座標および距離および強度を要素とするベクトルを用いて、画像平面上の相関処理を行う画像平面相関処理部と、３次元空間相関処理部が算出した相関値と、画像平面相関処理部が算出した相関値を組み合わせて、入力画像各画素が目標画素である確からしさを表す目標画素指標を算出する目標画素指標算出部と、目標画素指標に対して閾値処理を行い、入力画像中の目標画素を抽出する目標画素抽出部と、目標画素抽出部が抽出した目標画素の分布状況から目標領域を抽出する目標領域抽出部と、目標領域抽出部が抽出した目標領域より追尾フィルタ装置の入力となる追尾点を決定する追尾点決定部とを備え、追尾フィルタ装置は、初期目標領域取得部が取得した初期目標領域の情報と第１フレームの入力画像より、追尾目標のテンプレートを生成するテンプレート生成部と、第２フレーム画像入力時に、テンプレートを用いて第２フレーム入力画像中の追尾点を決定するテンプレートマッチング部と、テンプレートマッチング部が決定した追尾点または追尾点決定部が決定した追尾点を入力として、３次元空間上で次フレームにおける追尾点の位置、速度、強度を予測する追尾処理部とを備えたので次のような効果がある。
【００５０】
すなわち、追尾フィルタが算出する予測状態ベクトルを利用し、予測状態ベクトルと新規入力画像との間での相関処理結果に基づき目標画素の抽出を行うことにより、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。また、相関処理においては、追尾空間である３次元空間上の位置と強度値による相関と、観測平面である画像平面上の位置と距離値と強度値による相関の、次元の異なる２種類の相関処理を組み合わせることにより背景画素の誤抽出を抑制し、目標領域の抽出精度を向上させる効果がある。さらに、目標領域の抽出精度が向上することにより追尾点が安定し、追尾精度が向上する効果がある。
【００５１】
実施の形態２．
図７は、この発明の実施の形態２による追尾装置の構成を示すブロック構成図である。図７に示す追尾装置において、実施の形態１と異なるのは目標抽出装置３００における相関処理部１１１の構成である。即ち、実施の形態２の目標抽出装置３００は、初期目標領域取得部１０１、ゲート処理部１０２、画像座標変換部１０３、３次元座標変換部１０５、目標画素抽出部１０８、目標領域抽出部１０９、追尾点決定部１１０、相関処理部１１１を備えている。以下、相関処理部１１１以外の構成については実施の形態１と同様であるため、これらの説明は省略し、相関処理部１１１についてのみ説明する。
【００５２】
相関処理部１１１は、追尾処理部２０３が算出した予測状態ベクトルから得られる、予測位置の３次元座標および予測強度と、３次元座標変換部１０５が算出した予測距離および予測画像座標を要素とするベクトルＰAを生成する。ＰAの定義を式（２４）に示す。
さらに相関処理部１１１は、ゲート処理部１０２が抽出したゲート内画素に対して、ゲート内画素の画像座標を（ｉ，ｊ）とすると、画像座標変換部１０３が算出した３次元座標と、距離と、画像座標と、強度を要素とするベクトルＯAi,jを生成する。式（２５）にＯAi,jの定義を示す。
【００５３】
ここで、相関処理部１１１は、３次元座標変換部１０５が予測仰角および予測方位角を算出した場合は、ベクトルＰAを構成する要素のうち、予測画像座標に代えて、３次元座標変換部１０５が算出した予測仰角および予測方位角をベクトルＰAの構成要素とし、ベクトルＯAi,jを構成する要素のうち、画像座標（ｉ，ｊ）に代えて、式（１）〜式（４）を用いて、画素（ｉ，ｊ）の仰角および方位角をベクトルＯAi,jの構成要素とする。
さらに相関処理部１１１は、ベクトルＰAと、ベクトルＯAi,jの正規化相互相関係数を算出し、目標画素指標ＴＰＩk（ｉ，ｊ）とする。目標画素指標ＴＰＩk（ｉ，ｊ）の定義を式（２６）に示す。
【００５４】
以上のように、本発明の実施の形態２による追尾装置によれば、目標抽出装置は、初期入力画像中から抽出された初期目標領域を取得する初期目標領域取得部と、追尾フィルタ装置が出力する追尾予測値と入力画像との差を表す残差２次形式を算出し、残差２次形式を用いて相関処理の対象となる画素を抽出するゲート処理部と、入力画像の各画素距離値および画像座標から各画素の３次元座標を算出する画像座標変換部と、追尾予測値に含まれる追尾点の３次元予測位置を、予測画像座標とセンサからの予測距離値に変換する３次元座標変換部と、追尾予測値に含まれる追尾点の３次元予測位置と予測強度、および、３次元座標変換部が算出した追尾点の予測画像座標と予測距離とを要素とするベクトルと、画像座標変換部が算出した入力画像各画素３次元座標と、入力画像各画素の画像座標と距離と強度を要素とするベクトルを用いて相関処理を行い、相関処理結果を入力画像各画素が目標画素である確からしさを表す目標画素指標とする相関処理部と、目標画素指標に対して閾値処理を行い、入力画像中の目標画素を抽出する目標画素抽出部と、目標画素抽出部が抽出した目標画素の分布状況から目標領域を抽出する目標領域抽出部と、目標領域抽出部が抽出した目標領域より追尾フィルタ装置の入力となる追尾点を決定する追尾点決定部とを備え、追尾フィルタ装置は、初期目標領域取得部が取得した初期目標領域の情報と第１フレームの入力画像より、追尾目標のテンプレートを生成するテンプレート生成部と、第２フレーム画像入力時に、テンプレートを用いて第２フレーム入力画像中の追尾点を決定するテンプレートマッチング部と、テンプレートマッチング部が決定した追尾点または追尾点決定部が決定した追尾点を入力として、３次元空間上で次フレームにおける追尾点の位置、速度、強度を予測する追尾処理部とを備えたので次のような効果がある。
【００５５】
すなわち、追尾フィルタが算出する予測状態ベクトルを利用し、予測状態ベクトルと新規入力画像との間での相関処理結果に基づき目標画素の抽出を行うことにより、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。また、相関処理においては、追尾空間である３次元空間上の位置と、画像平面上の位置と、距離値と、強度値の、３次元空間上と観測平面上の異なる次元により得られる値を組み合わせたベクトルの相関を取ることにより、背景画素の誤抽出を抑制し、目標領域の抽出精度を向上させる効果がある。さらに、目標領域の抽出精度が向上することにより追尾点が安定し、追尾精度が向上する効果がある。
【００５６】
実施の形態３．
図８は、この発明の実施の形態３による追尾装置の構成を示すブロック構成図である。実施の形態３による追尾装置は、目標抽出装置４００における目標画素指標算出部１０７ａだけが実施の形態１による追尾装置の目標画素指標算出部１０７と異なり、他は全て同じであるため、以下、目標画素指標算出部１０７ａについてのみ説明する。
【００５７】
目標画素指標算出部１０７ａは、３次元空間相関処理部１０４が算出した３次元相関値ＮＣＣ3D（ｉ，ｊ）と、画像平面相関処理部１０６が算出した画像平面相関値ＮＣＣ2D（ｉ，ｊ）を統合した統合相関値ＮＣＣMLT（ｉ，ｊ）を、式（２７）を用いて算出し、さらに、式（２８）より目標画素指標ＴＰＩk（ｉ，ｊ）を算出する。
式（２８）では、画素（ｉ，ｊ）を中心とした（２ｂ−１）×（２ｂ−１）の大きさの領域（以降、画素（ｉ，ｊ）の近傍領域と記述する）内のＮＣＣMLTの平均値でＮＣＣMLT（ｉ，ｊ）を補正し、ＴＰＩk（ｉ，ｊ）としている。なお、画素（ｉ，ｊ）の近傍領域は画素（ｉ，ｊ）を含まない。また、ｂは近傍領域の大きさを与えるパラメータであり、その値は事前に設定されるものとする。
【００５８】
目標画素指標算出部１０７ａにより、ＮＣＣMLTの値が高い画素が密集している領域と、ＮＣＣMLTの値が低い画素が密集している領域とでは、ＴＰＩkの差が広がり、ＮＣＣMLTの値が高い、すなわち追尾予測値との相関が高い領域が相対的に強調される。
一方、ＮＣＣMLTが高い画素が孤立して存在する場合、このような孤立画素は相関値が高い背景画素である可能性が高いと考えられる。このような孤立画素の近傍領域のＮＣＣMLTは低い値を取るので、孤立画素のＴＰＩkの値は低く抑えられる。すなわち、背景画素の誤抽出を抑制することができる。
【００５９】
以上のように、本発明の実施の形態３による追尾装置によれば、目標画素指標算出部は、３次元空間相関処理部が算出した相関処理結果と、画像平面相関処理部が算出した相関処理結果を掛け合わせた相関値に対して、各画素近傍領域の相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように相関値の補正処理を行い、補正処理の結果を目標画素指標とするようにしたので、次のような効果がある。
【００６０】
すなわち、追尾フィルタが算出する予測状態ベクトルを利用し、予測状態ベクトルと新規入力画像との間での相関処理結果に基づき目標画素の抽出を行うことにより、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。また、相関処理においては、追尾空間である３次元空間上の位置と強度値による相関と、観測平面である画像平面上の位置と距離値と強度値による相関の、次元の異なる２種類の相関処理を組み合わせ、さらに、相関値が高い領域が、相関値が低い領域よりも強調されるように相関値の補正処理を行うことにより背景画素の誤抽出を抑制し、目標領域の抽出精度を向上させる効果がある。さらに、目標領域の抽出精度が向上することにより追尾点が安定し、追尾精度が向上する効果がある。
【００６１】
実施の形態４．
図９は、この発明の実施の形態４による追尾装置の構成を示すブロック構成図である。実施の形態４による追尾装置は、目標抽出装置５００における相関処理部１１１ａだけが実施の形態２による追尾装置の相関処理部１１１と異なり、他は全て同じであるので、以下、相関処理部１１１ａについてのみ説明する。
【００６２】
相関処理部１１１ａは、実施の形態２による追尾装置の相関処理部１１１と同様に、式（２４）に示すベクトルＰA、および、式（２５）に示すベクトルＯAi,jを生成する。さらに、相関処理部１１１ａは、正規化相互相関係数を用いて、ベクトルＰAおよびベクトルＯAi,jより相関値ＮＣＣA（ｉ，ｊ）を算出する。相関値ＮＣＣA（ｉ，ｊ）の算出式を式（２９）に示す。
【００６３】
さらに、画素（ｉ，ｊ）を中心とした、（２ｂ−１）×（２ｂ−１）の大きさの近傍領域に含まれる画素のＮＣＣAの平均値でＮＣＣA（ｉ，ｊ）を補正し、目標画素指標ＴＰＩk（ｉ，ｊ）を算出する。目標画素指標ＴＰＩk（ｉ，ｊ）の算出式を式（３０）に示す。
【００６４】
以上のように、本発明の実施の形態４による追尾装置によれば、相関処理部は、追尾予測値に含まれる追尾点の３次元予測位置と予測強度、および、３次元座標変換部が算出した追尾点の予測画像座標と予測距離とを要素とするベクトルと、画像座標変換部が算出した入力画像各画素３次元座標と、入力画像各画素の画像座標と距離と強度を要素とするベクトルを用いて相関処理を行い、得られた相関値に対して、各画素近傍領域の相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように相関値の補正処理を行い、補正処理の結果を目標画素指標とするようにしたので、次のような効果がある。
【００６５】
すなわち、追尾フィルタが算出する予測状態ベクトルを利用し、予測状態ベクトルと新規入力画像との間での相関処理結果に基づき目標画素の抽出を行うことにより、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。また、相関処理においては、３次元空間上の位置と、画像平面上の位置と、距離値と、強度値の、追尾空間上と観測平面上の異なる次元により得られる値を組み合わせたベクトルの相関値を算出し、さらに、相関値が高い領域が、相関値が低い領域よりも強調されるように相関値の補正処理を行うことにより背景画素の誤抽出を抑制し、目標領域の抽出精度を向上させる効果がある。さらに、目標領域の抽出精度が向上することにより追尾点が安定し、追尾精度が向上する効果がある。
【００６６】
実施の形態５．
図１０は、この発明の実施の形態５による追尾装置の構成を示すブロック構成図である。実施の形態５による追尾装置は、目標抽出装置６００における相関処理部１１１ｂ以外の処理は、実施の形態２による追尾装置の目標抽出装置３００が備えるものと同じであるので、以下、相関処理部１１１ｂの処理についてのみ説明する。
【００６７】
相関処理部１１１ｂは、実施の形態２による追尾装置の相関処理部１１１と同様に、正規化相互相関係数の値を目標画素指標とするが、正規化相互相関係数を算出するベクトルＰAおよびベクトルＯAi,jの要素を、以下の４つとする。
(1)ゲート相関処理部１０２が算出した残差２次形式値
(2)３次元空間Ｘ座標
(3)３次元空間Ｙ座標
(4)３次元空間Ｚ座標
【００６８】
すなわち、ベクトルＰAは、３次元座標変換部１０５より算出される追尾予測位置の画像座標における残差２次形式の値と、追尾予測値の３次元Ｘ、Ｙ、Ｚ座標を要素とし、ベクトルＯAi,jは、画素（ｉ，ｊ）における残差２次形式値と、画像座標変換部１０３より算出される画素（ｉ，ｊ）と対応する３次元Ｘ、Ｙ、Ｚ座標を要素とする。
目標画素指標ＴＰＩk（ｉ，ｊ）の定義を式（３１）に示す。
【００６９】
このように、実施の形態５による追尾装置では、相関処理部１１１ｂは、追尾フィルタ装置２００の状態量に基づく相関値である残差２次形式値と、予測位置および入力画像各画素の３次元位置を組み合わせたベクトルによる正規化相互相関係数を目標画素指標とすることにより、残差２次形式により高い相関値が得られた目標画素はそのまま高い相関が維持され、残差２次形式の相関が高い背景画素が得られたとしても、予測位置との位置のズレにより目標画素指標は低く抑えられるため、背景画素の誤抽出を低減し、目標画素の抽出率を向上させる効果がある。また、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００７０】
なお、上記実施の形態５は、実施の形態２による追尾装置における相関処理部１１１を相関処理部１１１ｂに置き換える場合について示したが、実施の形態４による追尾装置における相関処理部１１１ａを相関処理部１１１ｂに置き換えても同様の効果が得られる。ただし、この場合、相関処理部１１１ｂは相関処理部１１１ａの機能を全て備えるものとする。
【００７１】
以上説明したように、実施の形態５の追尾装置によれば、相関処理部は、追尾点予測位置の画像座標における残差２次形式値と追尾点予測位置の３次元座標とを合わせた４つの要素からなるベクトルと、入力画像各画素座標における残差２次形式値と各画素座標から算出する３次元座標とを合わせた４つの要素からなるベクトルとの間の相関値を算出し、これを目標画素指標とするようにしたので、背景画素の誤抽出を低減し、目標画素の抽出率を向上させることができると共に、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００７２】
また、実施の形態５の追尾装置によれば、相関処理部は、追尾点予測位置の画像座標における残差２次形式値と追尾点予測位置の３次元座標とを合わせた４つの要素からなるベクトルと、入力画像各画素座標における残差２次形式値と各画素座標から算出する３次元座標とを合わせた４つの要素からなるベクトルとの間の相関値を算出し、得られた相関値に対して、各画素近傍領域の相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように相関値の補正処理を行い、補正処理の結果を目標画素指標とするようにしたので、背景画素の誤抽出を低減し、目標画素の抽出率を向上させることができると共に、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００７３】
実施の形態６．
図１１は、この発明の実施の形態６による追尾装置の構成を示すブロック構成図である。
実施の形態６による追尾装置は、目標抽出装置７００における追尾点決定部１１０ａと、追尾フィルタ装置８００における追尾処理部２０３ａ以外は、実施の形態５による追尾装置が備えるものと同じであるので、以下、追尾点決定部１１０ａと追尾処理部２０３ａの処理についてのみ説明する。
【００７４】
上述した実施の形態１〜５による追尾装置では、追尾フィルタ装置２００への入力である観測ベクトルの要素に加える強度値として追尾点座標における強度値を設定している。目標画素の強度にばらつきがあり、追尾点強度値と他の目標画素の強度に差があると、目標画素の残差２次形式値のばらつきも大きくなる可能性があり、この様な場合は、残差２次形式に対する閾値処理において目標画素の抽出漏れが発生する恐れがある。また、実施の形態５による追尾装置では、残差２次形式値を用いて正規化相互相関係数を求め、目標画素指標としているので、目標画素の残差２次形式値のばらつきが大きいと、相関値の低い目標画素が発生し、目標画素の抽出漏れが起きる可能性がある。
そこで、実施の形態６による追尾装置では、目標画素の残差２次形式値のばらつきを抑えて目標画素の相関を全体的に高く保つための処理を、追尾点決定部１１０ａと追尾処理部２０３ａが備える。
【００７５】
追尾点決定部１１０ａにおいて、目標領域抽出部１０９が抽出した目標領域から追尾点の位置を決定する処理は実施の形態５による追尾装置の追尾点決定部１１０と同じであるが、追尾点決定部１１０ａは、さらに目標領域抽出部１０９が抽出した目標領域内の平均強度と、目標領域内の強度の標準偏差を算出し、追尾点座標と、目標領域内の平均強度と、目標領域内の強度の標準偏差を追尾処理部２０３ａに対して出力する。
【００７６】
次に、追尾処理部２０３ａは、式（３）および式（４）を用いて、追尾点決定部１１０ａより入力される追尾点座標から仰角および方位角を求め、追尾点座標の距離値と、追尾点の仰角と、追尾点の方位角と、追尾点決定部１１０ａより入力される目標領域内の平均強度から観測ベクトルを生成する。すなわち、観測ベクトルは｛追尾点距離，追尾点仰角，追尾点方位角，目標領域平均強度｝となる。
【００７７】
さらに、追尾処理部２０３ａは、追尾点決定部１１０ａより入力される目標領域内の強度の標準偏差を、強度の観測雑音標準偏差に設定する。ここで、観測雑音標準偏差は追尾フィルタ装置２００のパラメータであり、追尾フィルタ装置２００の入力である観測ベクトルの各要素値の揺らぎ量を与えるものである。実施の形態１〜５による追尾装置では、観測雑音標準偏差は事前に想定される値（固定値）を追尾フィルタ装置２００に設定しているが、実施の形態６による追尾装置では、強度の観測雑音標準偏差に関しては、毎フレーム抽出された目標領域内の強度の標準偏差を設定する。
また、追尾処理部２０３ａの観測ベクトル生成が実行され、強度の観測雑音標準偏差を設定した後は、実施の形態５による追尾装置の追尾処理部２０３と同じ処理を実行する。
【００７８】
なお、上記実施の形態６では、観測ベクトルの要素とする強度値を目標領域の平均値としているが、例えば、中央値を用いても同様の効果が得られる。
【００７９】
このように、実施の形態６の追尾装置では、観測ベクトルの要素である強度値に抽出した目標領域の平均強度を設定し、追尾フィルタ装置２００のパラメータである強度の観測雑音標準偏差に毎フレーム抽出した目標領域の強度の標準偏差を設定することにより、目標画素の残差２次形式値のばらつきが抑えられ、目標画素の相関値が全体的に高く保たれる効果がある。また、目標画素の相関値が全体的に高くなることにより目標領域の抽出精度が向上し、追尾点が安定することで追尾精度が向上するという効果がある。さらに、画像中の目標の大きさや向きの変化に対する影響を受けにくく、また、テンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果もある。
【００８０】
以上説明したように、実施の形態６の追尾装置によれば、追尾点決定部は、目標領域抽出部が抽出した目標領域より追尾点を決定すると共に、目標領域内の平均強度および強度の標準偏差を算出し、追尾処理部は、観測ベクトルの要素の一つである強度として、追尾点決定部が算出した目標領域の平均強度を設定し、さらに、毎フレーム追尾点決定部が算出した目標領域の強度の標準偏差を、強度の揺らぎ量としてのパラメータである強度の観測雑音標準偏差として設定するようにしたので、目標画素の相関値が全体的に高く保たれ、目標領域の抽出精度が向上し、追尾点が安定することで追尾精度が向上すると共に、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００８１】
また、実施の形態６の追尾装置によれば、追尾点決定部は、目標領域抽出部が抽出した目標領域より追尾点を決定すると共に、目標領域内の強度の中央値および強度の標準偏差を算出し、追尾処理部は、観測ベクトルの要素の一つである強度として、追尾点決定部が算出した目標領域の強度中央値を設定し、さらに、毎フレーム追尾点決定部が算出した目標領域の強度の標準偏差を、強度の揺らぎ量としてのパラメータである強度の観測雑音標準偏差として設定するようにしたので、目標画素の相関値が全体的に高く保たれ、目標領域の抽出精度が向上し、追尾点が安定することで追尾精度が向上すると共に、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００８２】
尚、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００８３】
１００，３００，４００，５００，６００，７００ 目標抽出装置、１０１ 初期目標領域取得部、１０２ ゲート処理部、１０３ 画像座標変換部、１０４ ３次元空間相関処理部、１０５ ３次元座標変換部、１０６ 画像平面相関処理部、１０７，１０７ａ 目標画素指標算出部、１０８ 目標画素抽出部、１０９ 目標領域抽出部、１１０，１１０ａ 追尾点決定部、１１１，１１１ａ，１１１ｂ 相関処理部、２００ 追尾フィルタ装置、２０１ テンプレート生成部、２０２ テンプレートマッチング部、２０３，２０３ａ 追尾処理部。
【技術分野】
【０００１】
この発明は、連続観測された画像中の目標物を追尾する追尾装置に関する。
【背景技術】
【０００２】
連続観測された画像中の目標物の追尾を行う追尾装置において、重要な処理の一つとして、新規に入力された画像から追尾対象となる目標を抽出する目標抽出処理が挙げられる。
画像中の目標を抽出する（あるいは、目標位置を検出する）ための従来技術としては、テンプレートマッチングが一般的である。テンプレートマッチングは、事前に用意した追尾目標のテンプレートと新規画像の間で差分処理等を行い、最もテンプレートと画素の分布が類似する領域を抽出する処理である。テンプレートは事前に用意するため、画像中の追尾目標はテンプレートと大きさや向きが一致する保証が無く、誤抽出が発生する可能性が高い。そこで、例えば特許文献１に記載された追尾装置では、最新の入力画像を用いてテンプレートを更新することで画像中の追尾目標とテンプレートとの差異を小さくし、誤抽出を抑制するようにしていた。
【０００３】
また、追尾目標の大きさや向きが時間の経過とともに変化する場合に対応するため、複数のテンプレートを保持する方法も提案されている。例えば特許文献２には、複数のテンプレートを保持し、さらに最新入力画像より生成したテンプレートを保持するテンプレート群に追加することで誤抽出を抑制する方法が示されている。さらに、特許文献３には、大きさの異なるテンプレートを複数保持することで誤抽出を抑制する方法が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３６５０８号公報
【特許文献２】特許第３７６８０７３号公報
【特許文献３】特開２００１−２４３４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像中の追尾目標とテンプレートとの差異を完全に無くすことは不可能であり、テンプレートを用いた目標抽出処理では誤抽出の発生は避けられない。さらに、誤抽出を抑制するためのテンプレートの更新や複数テンプレートによる抽出処理は処理負荷が増大するという問題もあった。
【０００６】
この発明は上記のような問題点を解決するためになされたもので、テンプレートマッチングと比べて目標領域の抽出精度の向上および抽出処理負荷の低減を図ることのできる追尾装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る追尾装置は、目標抽出装置と追尾フィルタ装置とを備え、センサにより同時に観測された同一画角の距離画像と強度画像のフレームが連続して入力される追尾装置であって、目標抽出装置は、追尾フィルタ装置が算出した追尾予測値と入力画像各画素との間で、追尾空間である３次元空間上での相関処理と、画像平面上での相関処理の、次元の異なる２種類の相関処理を組み合わせて目標画素と目標領域を抽出し、目標領域に基づいて追尾点を算出して追尾点を追尾フィルタ装置に出力し、追尾フィルタ装置は、目標抽出装置が出力する追尾点に基づいて、次のフレームにおける３次元空間上での追尾点の位置、速度、強度の予測を行って追尾予測値を出力するようにしたものである。
【発明の効果】
【０００８】
この発明の追尾装置は、追尾フィルタ装置によって、３次元空間上での追尾点の位置、速度、強度の予測を行い、目標抽出装置は、追尾フィルタ装置が出力する追尾予測値と新規入力画像各画素との間で、追尾空間である３次元空間上での相関処理と、画像平面上での相関処理の、次元の異なる２種類の相関処理を組み合わせて目標画素を抽出するようにしたので、テンプレートマッチングと比べて目標領域の抽出精度の向上および抽出処理負荷の低減を図ることができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１の追尾装置を示す構成図である。
【図２】この発明の実施の形態１の追尾装置におけるセンサ水平角と画像座標との関係を示す説明図である。
【図３】この発明の実施の形態１の追尾装置におけるセンサ垂直角と画像座標との関係を示す説明図である。
【図４】この発明の実施の形態１の追尾装置における第ｋフレームにおける画素の３次元座標と、センサ位置と、画素の距離値と、画素の３次元座標に対する方位角と仰角との関係を示す説明図である。
【図５】この発明の実施の形態１の追尾装置における第ｋフレームにおける画素のｘ座標とセンサ水平角との関係を示す説明図である。
【図６】この発明の実施の形態１の追尾装置における第ｋフレームにおける画素のｙ座標とｚ座標とセンサ垂直角との関係を示す説明図である。
【図７】この発明の実施の形態２の追尾装置を示す構成図である。
【図８】この発明の実施の形態３の追尾装置を示す構成図である。
【図９】この発明の実施の形態４の追尾装置を示す構成図である。
【図１０】この発明の実施の形態５の追尾装置を示す構成図である。
【図１１】この発明の実施の形態６の追尾装置を示す構成図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による追尾装置を示すブロック構成図である。図中、実線の矢印は処理およびデータの流れを示しており、破線の矢印はデータの流れを示している。
図１において、追尾装置は、目標抽出装置１００と追尾フィルタ装置２００により構成され、同時に取得された、同一画角の距離画像と強度画像が入力として与えられる。ここで、距離画像とは、観測面各点までの距離および反射強度を取得するセンサ（これについては図２及び図３を用いて後述する）により生成される画像であり、センサから各観測点までの距離を画素値とする。また、強度画像とは、センサにより生成される、各観測点の反射強度を画素値とする画像である。
【００１１】
図１において、目標抽出装置１００は、追尾フィルタ装置２００が出力した追尾予測値と新規入力画像各画素との間で、３次元空間上と画像平面上の、次元の異なる２種類の相関処理を実行し、さらに得られた２種類の相関値から新規入力画像中の目標画素および目標領域を抽出し、追尾フィルタ装置２００への入力となる新規画像上の追尾点を決定する。目標抽出装置１００は、初期目標領域取得部１０１、ゲート処理部１０２、画像座標変換部１０３、３次元空間相関処理部１０４、３次元座標変換部１０５、画像平面相関処理部１０６、目標画素指標算出部１０７、目標画素抽出部１０８、目標領域抽出部１０９、追尾点決定部１１０を有している。
【００１２】
初期目標領域取得部１０１は、この発明の追尾装置とは別の装置において取得された第１フレーム入力画像中の追尾目標を囲む最小の矩形領域の情報（例えば、矩形領域の左上と右下の画像座標）を、初期目標領域として取得する。
ゲート処理部１０２は、追尾フィルタ装置２００が出力した追尾予測値と新規入力画像各画素との差を表す残差２次形式の分布を算出し、さらに残差２次形式に対して閾値処理を実行し、目標画素抽出処理の対象となる画素を抽出する。以降、ゲート処理部１０２により抽出された画素をゲート内画素と記述する。
画像座標変換部１０３は、新規入力画像中の各ゲート内画素に対して、距離値と画像座標より各画素の３次元座標を算出する。
３次元空間相関処理部１０４は、追尾フィルタ装置２００が出力した追尾予測値と、画像座標変換部１０３が算出した各ゲート内画素の３次元座標および強度値との間での相関値を算出する。以降、３次元空間相関処理部１０４が算出した相関値を３次元空間相関値と記述する。
【００１３】
３次元座標変換部１０５は、追尾フィルタ装置２００が出力した追尾予測値のうちの３次元座標を、距離値と画像座標に変換する。以降、３次元座標変換部１０５が算出する距離値と画像座標を予測距離値および予測画像座標と記述する。
画像平面相関処理部１０６は、新規入力画像における各ゲート内画素の画像座標と距離値と強度値と、３次元座標変換部１０５が算出した予測距離値と予測画像座標および追尾フィルタ装置２００が出力する追尾予測値に含まれる予測強度の間での相関値を算出する。以降、画像平面相関処理部１０６が算出した相関値を画像平面相関値と記述する。
目標画素指標算出部１０７は、３次元空間相関値と画像平面相関値から、各ゲート内画素の目標画素らしさを表す目標画素指標を算出する。
目標画素抽出部１０８は、目標画素指標に対して閾値処理を実行し、目標画素を抽出する。
目標領域抽出部１０９は、目標画素の周辺分布を用いて領域分割を行い、新規入力画像上の目標領域を抽出する。
追尾点決定部１１０は、目標領域より追尾点を算出する。
【００１４】
また、図１において、追尾フィルタ装置２００は、第１フレーム画像入力時に、第２フレーム画像入力時に使用する追尾目標のテンプレートを生成し、第２フレーム画像入力時には、テンプレートを用いたテンプレートマッチングにより追尾点を決定し、第３フレーム以降は目標抽出装置１００が出力する追尾点を取得する。さらに、得られた追尾点の画像座標と、距離画像より得られる追尾点の距離値とにより追尾点の３次元座標を算出し、３次元空間上での追尾処理を実行する。この追尾処理では、追尾点の３次元座標と３次元各方向の速度と追尾点強度の予測を行い、これらの値を予測状態ベクトル（追尾予測値）として出力する。追尾フィルタ装置２００は、テンプレート生成部２０１、テンプレートマッチング部２０２、追尾処理部２０３を有している。
【００１５】
テンプレート生成部２０１は、初期目標領域取得部１０１が取得した初期目標領域情報に基づき、第１フレーム入力画像より追尾目標のテンプレートを生成する。
テンプレートマッチング部２０２は、テンプレートと第２フレーム入力画像との間でマッチング処理を行い、テンプレートと最も一致した領域の中心位置を追尾点とする。
追尾処理部２０３は、テンプレートマッチング部２０２または追尾点決定部１１０が算出した追尾点と第２フレーム以降の新規入力画像より、追尾点の３次元座標を算出し、例えばカルマンフィルタ等の追尾フィルタを用いて、追尾点の３次元位置と３次元速度と強度の予測値を予測状態ベクトルとして算出する。
【００１６】
ここで、センサ位置と、画像座標および３次元座標との関係について説明する。
図２はセンサ水平角と画像座標との関係を示しており、図３はセンサ垂直角と画像座標との関係を示している。
図２において、画像中心座標を（ｒ0，ｃ0）、水平方向のセンサ画角をＡAz、入力画像の水平方向の画素数をＷIM、画素（ｉ，ｊ）におけるセンサ水平角をＡｚIM（ｉ，ｊ）とすると、ＡｚIM（ｉ，ｊ）は式（１）より算出される。
【００１７】
【００１８】
図３において、センサ俯角をθs、垂直方向のセンサ画角をＡEl、入力画像の垂直方向の画素数をＨIM、画素（ｉ，ｊ）におけるセンサ垂直角をＥｌIM（ｉ，ｊ）とすると、ＥｌIM（ｉ，ｊ）は式（２）より算出される。
【００１９】
図４は第ｋフレームにおける画素（ｉ，ｊ）の３次元座標（ｘki,j，ｙki,j，ｚki,j）と、センサ位置と、画素（ｉ，ｊ）の距離値と、（ｘki,j，ｙki,j，ｚki,j）に対する方位角Ａｚs（ｉ，ｊ）と、（ｘki,j，ｙki,j，ｚki,j）に対する仰角Ｅｌs（ｉ，ｊ）との関係を示している。
さらに、図５は第ｋフレームにおける画素（ｉ，ｊ）のｘ座標ｘki,jとセンサ水平角ＡｚIM（ｉ，ｊ）との関係を示し、図６は第ｋフレームにおける画素（ｉ，ｊ）のｙ座標ｙki,jとｚ座標ｚki,jとセンサ垂直角ＥｌIM（ｉ，ｊ）との関係を示している。
【００２０】
図４〜図６に示した関係より、方位角Ａｚs（ｉ，ｊ）は式（３）より、仰角Ｅｌs（ｉ，ｊ）は式（４）より算出される。
【００２１】
さらに、図４に示した関係より、第ｋフレーム画素（ｉ，ｊ）のｘ座標ｘki,jは式（５）より、第ｋフレーム画素（ｉ，ｊ）のｙ座標ｙki,jは式（６）より、第ｋフレーム画素（ｉ，ｊ）のｚ座標ｚki,jは式（７）より算出される。
【００２２】
次に、実施の形態１による追尾装置の一連の動作について、第１フレーム画像入力時、第２フレーム画像入力時、第３フレーム以降の画像入力時に分けて説明する。なお、入力画像とは、入力される距離画像と強度画像の両方を指している。
【００２３】
［第１フレーム画像入力時の動作］
まず、初期目標領域取得部１０１が、別装置により抽出された第１フレーム入力画像中の目標領域の情報（初期目標領域情報）を取得する。初期目標領域情報は、初期目標を囲む最小矩形の位置や大きさを示す情報であり、例えば、初期目標領域の左上隅の画像座標と右下隅の画像座標で与えられる。
次に、テンプレート生成部２０１が、第１フレーム入力画像より、初期目標領域情報を用いて初期目標領域内の画像をテンプレートとする。テンプレートは、第２フレーム画像入力後、追尾処理部２０３における追尾フィルタ初期化の際に、第２フレーム入力画像から追尾点を抽出するために使用する。ここで、テンプレートの生成に使用する画像は距離画像、強度画像どちらでもよい。あるいは両方を用いてもよい。なお、テンプレートの生成方法については公知であるため、ここでの詳細な説明は省略する。
【００２４】
［第２フレーム画像入力時の動作］
第２フレーム画像入力時は、目標抽出装置１００は動作せず、追尾フィルタ装置２００が、追尾点の決定と、追尾処理部２０３における追尾フィルタの初期化と、第３フレームにおける追尾点の予測を行う。以下に追尾フィルタ装置２００の動作の詳細を示す。
【００２５】
追尾処理部２０３における追尾フィルタの初期化を行うにあたり、第２フレーム入力画像から追尾点を決定する必要がある。そこで、まず、テンプレートマッチング部２０２が、テンプレート生成部２０１が生成したテンプレートを用いて第２フレームの入力画像に対してマッチング処理を行い、最も一致度が高い入力画像中の領域の中心を第２フレームの追尾点とする。
ここで、テンプレートマッチング部２０２が実行するテンプレートマッチング処理については、例えばテンプレートとマッチング対象領域の、同じ位置の画素値の差分絶対値の合計を評価値とするＳＡＤ（Sum of Absolute Difference）等、一般的な処理を適用することが可能であるため、ここでのテンプレートマッチング処理についての説明は省略する。
【００２６】
次に、追尾処理部２０３が追尾フィルタの初期化を行う。ここで、追尾フィルタは、カルマンフィルタを適用し、追尾点の｛距離，仰角，方位角，強度｝を観測ベクトルとする。なお、追尾点の方位角および仰角は、追尾点の画像座標から式（３）および式（４）より算出する。また、追尾フィルタは、追尾点の｛Ｘ座標，Ｙ座標，Ｚ座標，Ｘ軸方向速度，Ｙ軸方向速度，Ｚ軸方向速度，強度｝を状態ベクトルとし、３次元空間上で追尾処理を行う。
追尾フィルタの初期化処理は、まず、初期目標領域の中心を第１フレームにおける追尾点とし、式（５）〜式（７）より、第１フレーム追尾点の３次元座標を求める。次に、第２フレームの追尾点の３次元座標を、式（５）〜式（７）より求める。さらに、第１フレーム追尾点の３次元座標と第２フレーム追尾点の３次元座標より、第２フレーム追尾点の３次元空間上の各軸方向の速度を算出し、第２フレーム追尾点の｛Ｘ座標，Ｙ座標，Ｚ座標，Ｘ軸方向速度，Ｙ軸方向速度，Ｚ軸方向速度，強度｝を平滑状態ベクトルの初期値とする。さらに、平滑誤差共分散行列の初期化を行う。
【００２７】
次に、追尾処理部２０３は、平滑状態ベクトル初期値を用いてカルマンフィルタ予測処理を実行し、追尾点の予測状態ベクトルを算出する。予測状態ベクトルは、｛追尾点の第３フレームにおけるＸ座標予測値，追尾点の第３フレームにおけるＹ座標予測値，追尾点の第３フレームにおけるＺ座標予測値，追尾点の第３フレームにおけるＸ軸方向速度予測値，追尾点の第３フレームにおけるＹ軸方向速度予測値，追尾点の第３フレームにおけるＺ軸方向速度予測値，追尾点の第３フレームにおける強度予測値｝を要素とする。
【００２８】
［第３フレーム以降の画像入力時の動作］
第３フレーム以降では、まず目標抽出装置１００が、１フレーム前の処理で追尾処理部２０３が算出した予測状態ベクトルと、新規入力画像との間で相関処理を行い、相関値の高い画素を目標画素とし、目標領域を抽出する。さらに目標領域から入力画像中の追尾点を決定する。次に、追尾フィルタ装置２００が、目標抽出装置１００が出力した追尾点を入力とし、追尾処理により次フレームにおける予測状態ベクトルを算出する。以下に、第３フレーム以降の処理の詳細を示す。
【００２９】
まず、ゲート処理部１０２が、画像上の追尾点予測位置を中心とした、１フレーム前に抽出された目標領域の大きさのｎ倍の領域を目標抽出処理の対象範囲とする。ここで、ｎの値は事前に与えるものとする。
さらにゲート処理部１０２は、追尾処理部２０３が算出した予測状態ベクトルおよび残差共分散行列を用いて、入力画像各画素と予測状態ベクトルの間の差を表す残差２次形式を算出し、この残差２次形式の値が事前に定める閾値以下となる画素を相関処理の対象とする。以降、相関処理対象画素をゲート内画素と記述する。
式（８）に残差２次形式の算出式を、式（９）にゲート内画素の判定式を示す。ここで、式（９）に示したゲートサイズｄは事前に与える定数であり、例えば、自由度４のχ二乗分布より決定する。式（８）のｚki,jが４次元のベクトルであるので、自由度を４としている。
【００３０】
【００３１】
次に、画像座標変換部１０３が、現フレーム距離画像を用いて、ゲート内画素の３次元座標を算出する。３次元座標を求める画素の座標を（ｉ，ｊ）、画素（ｉ，ｊ）の３次元座標を（ｘki,j，ｙki,j，ｚki,j）とすると、図２〜図６に示した関係より、式（１）〜式（７）を用いて、（ｘki,j，ｙki,j，ｚki,j）を算出する。
【００３２】
次に、３次元空間相関処理部１０４が、予測状態ベクトルから抜き出した位置と強度の値からなるベクトルＰ3Dを生成し、さらに、ゲート内画素（ｉ，ｊ）に対して画像座標変換部１０３が算出した３次元座標と、ゲート内画素（ｉ，ｊ）の強度値からなるベクトルＯ3Di,jを生成する。ベクトルＰ3Dの定義を式（１０）に、ベクトルＯ3Di,jの定義を式（１１）に示す。
【００３３】
さらに、３次元空間相関処理部１０４は、正規化相互相関係数を用いて、ベクトルＰ3DとベクトルＯ3Di,jの３次元空間相関値ＮＣＣ3D（ｉ，ｊ）を算出する。ＮＣＣ3D（ｉ，ｊ）の定義を式（１２）に示す。ゲート内画素（ｉ，ｊ）の３次元空間上での位置と追尾点の３次元空間上での予測位置が近く、さらにゲート内画素（ｉ，ｊ）の強度と追尾点の予測強度の差が小さい程、ＮＣＣ3D（ｉ，ｊ）の値は高くなり、相関が高いことを示す。
【００３４】
次に、３次元座標変換部１０５が、追尾点の３次元予測位置を距離値と画像座標に変換する。以降、追尾点の３次元予測位置から算出する距離値を予測距離値、追尾点の３次元予測位置から算出する画像座標を予測画像座標と記述する。
図２〜図６に示す関係より、３次元座標変換部１０５における追尾点予測位置
の３次元座標から予測距離および予測画像座標への変換式を式（１３）〜式（１５）に示す。
【００３５】
ここで、３次元座標変換部１０５は、予測画像座標に代えて、式（８）に示した関数ｈ（）を用いて、予測仰角および予測方位角を算出するようにしてもよい。
【００３６】
次に、画像平面相関処理部１０６が、３次元座標変換部１０５が算出した予測距離および予測画像座標および予測強度からなるベクトルＰ2Dを生成し、さらに、ゲート内画素（ｉ，ｊ）における距離値および画像座標および強度値からなるベクトルＯ2Di,jを生成する。ベクトルＰ2Dの定義を式（１６）に、ベクトルＯ2Di,jの定義を式（１７）に示す。
【００３７】
ここで、画像平面相関処理部１０６は、３次元座標変換部１０５が予測仰角および予測方位角を算出した場合は、ベクトルＰ2Dを構成する要素のうち、予測画像座標に代えて、３次元座標変換部１０５が算出した予測仰角および予測方位角をベクトルＰ2Dの構成要素とし、ベクトルＯ2Di,jを構成する要素のうち、画像座標（ｉ，ｊ）に代えて、式（１）〜式（４）を用いて、画素（ｉ，ｊ）の仰角および方位角をベクトルＯ2Di,jの構成要素とする。
【００３８】
さらに、画像平面相関処理部１０６は、正規化相互相関係数を用いて、ベクトルＰ2DとベクトルＯ2Di,jの画像平面相関値ＮＣＣ2D（ｉ，ｊ）を算出する。ＮＣＣ2D（ｉ，ｊ）の定義を式（１８）に示す。ゲート内画素（ｉ，ｊ）の画像座標が予測画像座標に近く、且つ、ゲート内画素（ｉ，ｊ）の距離値と予測距離の差が小さくさらにゲート内画素（ｉ，ｊ）の強度と追尾点の予測強度の差が小さい程、ＮＣＣ2D（ｉ，ｊ）の値は高くなり、相関が高いことを示す。
【００３９】
次に、目標画素指標算出部１０７が、ＮＣＣ3D（ｉ，ｊ）とＮＣＣ2D（ｉ，ｊ）とを組み合わせた目標画素指標ＴＰＩk（ｉ，ｊ）を算出する。目標画素指標は各画素が目標画素である確からしさを表す指標であり、全てのゲート内画素に対して算出する。式（１９）にゲート内画素（ｉ，ｊ）における目標画素指標ＴＰＩk（ｉ，ｊ）の定義を示す。
ＮＣＣ3D（ｉ，ｊ）の分布は３次元空間上における相関結果であり、目標画素の他に、追尾点の予測高度に近い高度を持つ背景画素の相関値が高くなりやすい傾向にある。一方、ＮＣＣ2D（ｉ，ｊ）の分布は、画像平面上における相関結果であり、高度の情報は含まれない。このため、目標画素の他に、追尾点の予測画像座標周辺部の背景画素の相関値が高くなりやすい傾向にある。
そこで、目標画素指標算出部１０７は、相関値が高くなる背景画素の傾向が異なるＮＣＣ3D（ｉ，ｊ）とＮＣＣ2D（ｉ，ｊ）を組み合わせることで背景画素の目標画素指標値を低減し、誤抽出を抑制している。
【００４０】
次に、目標画素抽出部１０８が、目標画素指標の分布に基づいた閾値処理により目標画素を抽出する。目標画素の抽出に用いる閾値の算出式を式（２０）に、目標画素判定条件を式（２１）に示す。式（２１）では、目標画素指標が閾値を超えたゲート内画素を目標画素と判定し、２次元配列ＴｇｔＰｉｘkの当該画素位置に１を立て、目標画素でないと判定されれば当該画素位置に０を立てる。以降、２次元配列ＴｇｔＰｉｘkを目標画素格納配列と記述する。
【００４１】
次に、目標領域抽出部１０９が、目標画素格納配列における目標画素（すなわち値が１の画素）の分布状況を基に領域分割を行い、１フレーム前に抽出した目標領域に大きさが最も近い領域を現フレームの目標領域とする。なお、目標画素格納配列における目標画素には、真の目標画素に加え、誤抽出された背景画素が含まれる場合もある。以下に目標領域抽出部１０９の動作を示す。
【００４２】
まず、目標画素格納配列の水平方向の周辺分布を求める。式（２２）に列座標ｊの周辺分布の定義を示す。
【００４３】
次に、水平方向の周辺分布に対して閾値処理を行い、目標画素が存在する領域の左右両端を検出する。例えば、周辺画素分布ＭＤWk（ｊ1−１）が閾値以下であり、ＭＤWk（ｊ1）が閾値を超える場合、列座標ｊ1を目標画素が存在する領域の左端とする。また、ＭＤWk（ｊ2）が閾値を超え、ＭＤWk（ｊ2＋１）が閾値以下の場合、列座標ｊ2を目標画素が存在する領域の右端とする。この時、閾値処理に用いる閾値は事前に設定してもよいし、求めた周辺分布より算出してもよい。なお、目標画素抽出部１０８の処理において背景画素が誤抽出された場合は、複数組の左右両端が抽出される場合もある。
【００４４】
次に、目標画素格納配列を、目標画素領域両端で挟まれる領域に分割し、分割領域毎に垂直方向の周辺分布を求める。式（２３）に、ｎ番目の分割領域における垂直方向の周辺分布の定義を示す。
【００４５】
次に、分割領域毎に、垂直方向の周辺分布に対して、水平方向の周辺分布における処理と同様の閾値処理を行い、目標画素が存在する領域の上下端を求める。この時、閾値処理に用いる閾値は事前に設定してもよいし、求めた周辺分布より算出してもよい。
次に、抽出した各分割領域の水平・垂直方向の大きさと、１フレーム前に抽出した目標領域の水平・垂直方向の大きさを比較し、１フレーム前に抽出した目標領域の大きさに最も近い分割領域を現フレームの目標領域とする。
次に、追尾点決定部１１０が、目標領域抽出部１０９が抽出した目標領域の中心画像座標を追尾点とし、追尾処理部２０３に出力する。
【００４６】
次に、追尾処理部２０３が、追尾点の画像座標を、式（３）および式（４）を用いて方位角および仰角に変換し、入力画像から取得する追尾点の距離値および強度値と合わせて観測ベクトルを生成する。観測ベクトルは｛追尾点の距離，追尾点の仰角，追尾点の方位角，追尾点の強度｝を要素とする。
さらに、追尾処理部２０３は、観測ベクトルと、１フレーム前に追尾処理部２０３が算出した予測状態ベクトルを用いて、カルマンフィルタによる平滑処理を実行し、平滑状態ベクトルを算出する。平滑状態ベクトルは、｛追尾点のＸ座標平滑値，追尾点のＹ座標平滑値，追尾点のＺ座標平滑値，追尾点のＸ軸方向速度平滑値，追尾点のＹ軸方向速度平滑値，追尾点のＺ軸方向速度平滑値，追尾点の強度平滑値｝を要素とする。
【００４７】
さらに、追尾処理部２０３は、平滑状態ベクトルを用いて、カルマンフィルタ予測処理を実行し、追尾点の予測状態ベクトルを算出する。予測状態ベクトルは、｛追尾点の次フレームにおけるＸ座標予測値，追尾点の次フレームにおけるＹ座標予測値，追尾点の次フレームにおけるＺ座標予測値，追尾点の次フレームにおけるＸ軸方向速度予測値，追尾点の次フレームにおけるＹ軸方向速度予測値，追尾点の次フレームにおけるＺ軸方向速度予測値，追尾点の次フレームにおける強度予測値｝を要素とする。
【００４８】
以上のように、実施の形態１の追尾装置によれば、目標抽出装置と追尾フィルタ装置とを備え、センサにより同時に観測された同一画角の距離画像と強度画像のフレームが連続して入力される追尾装置であって、目標抽出装置は、追尾フィルタ装置が算出した追尾予測値と入力画像各画素との間で、追尾空間である３次元空間上での相関処理と、画像平面上での相関処理の、次元の異なる２種類の相関処理を組み合わせて目標画素と目標領域を抽出し、目標領域に基づいて追尾点を算出して追尾点を追尾フィルタ装置に出力し、追尾フィルタ装置は、目標抽出装置が出力する追尾点に基づいて、次のフレームにおける３次元空間上での追尾点の位置、速度、強度の予測を行って追尾予測値を出力するようにしたので、テンプレートマッチングと比べて目標領域の抽出精度を向上させることができると共に、抽出処理負荷の低減を図ることができる。
【００４９】
また、実施の形態１の追尾装置によれば、目標抽出装置は、初期入力画像中から抽出された初期目標領域を取得する初期目標領域取得部と、追尾フィルタ装置が算出した追尾予測値と入力画像との差を表す残差２次形式を算出し、残差２次形式を用いて相関処理の対象となる画素を抽出するゲート処理部と、入力画像の各画素距離値および画像座標から各画素の３次元座標を算出する画像座標変換部と、追尾予測値に含まれる追尾点の３次元予測位置を、予測画像座標とセンサからの予測距離値に変換する３次元座標変換部と、追尾予測値に含まれる追尾点の３次元予測位置および予測強度を要素とするベクトルと、画像座標変換部が算出した入力画像各画素３次元座標および強度を要素とするベクトルを用いて、追尾空間である３次元空間での相関処理を行う３次元空間相関処理部と、３次元座標変換部が算出した追尾点の予測画像座標および予測距離と予測強度を要素とするベクトルと、入力画像各画素の画像座標および距離および強度を要素とするベクトルを用いて、画像平面上の相関処理を行う画像平面相関処理部と、３次元空間相関処理部が算出した相関値と、画像平面相関処理部が算出した相関値を組み合わせて、入力画像各画素が目標画素である確からしさを表す目標画素指標を算出する目標画素指標算出部と、目標画素指標に対して閾値処理を行い、入力画像中の目標画素を抽出する目標画素抽出部と、目標画素抽出部が抽出した目標画素の分布状況から目標領域を抽出する目標領域抽出部と、目標領域抽出部が抽出した目標領域より追尾フィルタ装置の入力となる追尾点を決定する追尾点決定部とを備え、追尾フィルタ装置は、初期目標領域取得部が取得した初期目標領域の情報と第１フレームの入力画像より、追尾目標のテンプレートを生成するテンプレート生成部と、第２フレーム画像入力時に、テンプレートを用いて第２フレーム入力画像中の追尾点を決定するテンプレートマッチング部と、テンプレートマッチング部が決定した追尾点または追尾点決定部が決定した追尾点を入力として、３次元空間上で次フレームにおける追尾点の位置、速度、強度を予測する追尾処理部とを備えたので次のような効果がある。
【００５０】
すなわち、追尾フィルタが算出する予測状態ベクトルを利用し、予測状態ベクトルと新規入力画像との間での相関処理結果に基づき目標画素の抽出を行うことにより、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。また、相関処理においては、追尾空間である３次元空間上の位置と強度値による相関と、観測平面である画像平面上の位置と距離値と強度値による相関の、次元の異なる２種類の相関処理を組み合わせることにより背景画素の誤抽出を抑制し、目標領域の抽出精度を向上させる効果がある。さらに、目標領域の抽出精度が向上することにより追尾点が安定し、追尾精度が向上する効果がある。
【００５１】
実施の形態２．
図７は、この発明の実施の形態２による追尾装置の構成を示すブロック構成図である。図７に示す追尾装置において、実施の形態１と異なるのは目標抽出装置３００における相関処理部１１１の構成である。即ち、実施の形態２の目標抽出装置３００は、初期目標領域取得部１０１、ゲート処理部１０２、画像座標変換部１０３、３次元座標変換部１０５、目標画素抽出部１０８、目標領域抽出部１０９、追尾点決定部１１０、相関処理部１１１を備えている。以下、相関処理部１１１以外の構成については実施の形態１と同様であるため、これらの説明は省略し、相関処理部１１１についてのみ説明する。
【００５２】
相関処理部１１１は、追尾処理部２０３が算出した予測状態ベクトルから得られる、予測位置の３次元座標および予測強度と、３次元座標変換部１０５が算出した予測距離および予測画像座標を要素とするベクトルＰAを生成する。ＰAの定義を式（２４）に示す。
さらに相関処理部１１１は、ゲート処理部１０２が抽出したゲート内画素に対して、ゲート内画素の画像座標を（ｉ，ｊ）とすると、画像座標変換部１０３が算出した３次元座標と、距離と、画像座標と、強度を要素とするベクトルＯAi,jを生成する。式（２５）にＯAi,jの定義を示す。
【００５３】
ここで、相関処理部１１１は、３次元座標変換部１０５が予測仰角および予測方位角を算出した場合は、ベクトルＰAを構成する要素のうち、予測画像座標に代えて、３次元座標変換部１０５が算出した予測仰角および予測方位角をベクトルＰAの構成要素とし、ベクトルＯAi,jを構成する要素のうち、画像座標（ｉ，ｊ）に代えて、式（１）〜式（４）を用いて、画素（ｉ，ｊ）の仰角および方位角をベクトルＯAi,jの構成要素とする。
さらに相関処理部１１１は、ベクトルＰAと、ベクトルＯAi,jの正規化相互相関係数を算出し、目標画素指標ＴＰＩk（ｉ，ｊ）とする。目標画素指標ＴＰＩk（ｉ，ｊ）の定義を式（２６）に示す。
【００５４】
以上のように、本発明の実施の形態２による追尾装置によれば、目標抽出装置は、初期入力画像中から抽出された初期目標領域を取得する初期目標領域取得部と、追尾フィルタ装置が出力する追尾予測値と入力画像との差を表す残差２次形式を算出し、残差２次形式を用いて相関処理の対象となる画素を抽出するゲート処理部と、入力画像の各画素距離値および画像座標から各画素の３次元座標を算出する画像座標変換部と、追尾予測値に含まれる追尾点の３次元予測位置を、予測画像座標とセンサからの予測距離値に変換する３次元座標変換部と、追尾予測値に含まれる追尾点の３次元予測位置と予測強度、および、３次元座標変換部が算出した追尾点の予測画像座標と予測距離とを要素とするベクトルと、画像座標変換部が算出した入力画像各画素３次元座標と、入力画像各画素の画像座標と距離と強度を要素とするベクトルを用いて相関処理を行い、相関処理結果を入力画像各画素が目標画素である確からしさを表す目標画素指標とする相関処理部と、目標画素指標に対して閾値処理を行い、入力画像中の目標画素を抽出する目標画素抽出部と、目標画素抽出部が抽出した目標画素の分布状況から目標領域を抽出する目標領域抽出部と、目標領域抽出部が抽出した目標領域より追尾フィルタ装置の入力となる追尾点を決定する追尾点決定部とを備え、追尾フィルタ装置は、初期目標領域取得部が取得した初期目標領域の情報と第１フレームの入力画像より、追尾目標のテンプレートを生成するテンプレート生成部と、第２フレーム画像入力時に、テンプレートを用いて第２フレーム入力画像中の追尾点を決定するテンプレートマッチング部と、テンプレートマッチング部が決定した追尾点または追尾点決定部が決定した追尾点を入力として、３次元空間上で次フレームにおける追尾点の位置、速度、強度を予測する追尾処理部とを備えたので次のような効果がある。
【００５５】
すなわち、追尾フィルタが算出する予測状態ベクトルを利用し、予測状態ベクトルと新規入力画像との間での相関処理結果に基づき目標画素の抽出を行うことにより、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。また、相関処理においては、追尾空間である３次元空間上の位置と、画像平面上の位置と、距離値と、強度値の、３次元空間上と観測平面上の異なる次元により得られる値を組み合わせたベクトルの相関を取ることにより、背景画素の誤抽出を抑制し、目標領域の抽出精度を向上させる効果がある。さらに、目標領域の抽出精度が向上することにより追尾点が安定し、追尾精度が向上する効果がある。
【００５６】
実施の形態３．
図８は、この発明の実施の形態３による追尾装置の構成を示すブロック構成図である。実施の形態３による追尾装置は、目標抽出装置４００における目標画素指標算出部１０７ａだけが実施の形態１による追尾装置の目標画素指標算出部１０７と異なり、他は全て同じであるため、以下、目標画素指標算出部１０７ａについてのみ説明する。
【００５７】
目標画素指標算出部１０７ａは、３次元空間相関処理部１０４が算出した３次元相関値ＮＣＣ3D（ｉ，ｊ）と、画像平面相関処理部１０６が算出した画像平面相関値ＮＣＣ2D（ｉ，ｊ）を統合した統合相関値ＮＣＣMLT（ｉ，ｊ）を、式（２７）を用いて算出し、さらに、式（２８）より目標画素指標ＴＰＩk（ｉ，ｊ）を算出する。
式（２８）では、画素（ｉ，ｊ）を中心とした（２ｂ−１）×（２ｂ−１）の大きさの領域（以降、画素（ｉ，ｊ）の近傍領域と記述する）内のＮＣＣMLTの平均値でＮＣＣMLT（ｉ，ｊ）を補正し、ＴＰＩk（ｉ，ｊ）としている。なお、画素（ｉ，ｊ）の近傍領域は画素（ｉ，ｊ）を含まない。また、ｂは近傍領域の大きさを与えるパラメータであり、その値は事前に設定されるものとする。
【００５８】
目標画素指標算出部１０７ａにより、ＮＣＣMLTの値が高い画素が密集している領域と、ＮＣＣMLTの値が低い画素が密集している領域とでは、ＴＰＩkの差が広がり、ＮＣＣMLTの値が高い、すなわち追尾予測値との相関が高い領域が相対的に強調される。
一方、ＮＣＣMLTが高い画素が孤立して存在する場合、このような孤立画素は相関値が高い背景画素である可能性が高いと考えられる。このような孤立画素の近傍領域のＮＣＣMLTは低い値を取るので、孤立画素のＴＰＩkの値は低く抑えられる。すなわち、背景画素の誤抽出を抑制することができる。
【００５９】
以上のように、本発明の実施の形態３による追尾装置によれば、目標画素指標算出部は、３次元空間相関処理部が算出した相関処理結果と、画像平面相関処理部が算出した相関処理結果を掛け合わせた相関値に対して、各画素近傍領域の相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように相関値の補正処理を行い、補正処理の結果を目標画素指標とするようにしたので、次のような効果がある。
【００６０】
すなわち、追尾フィルタが算出する予測状態ベクトルを利用し、予測状態ベクトルと新規入力画像との間での相関処理結果に基づき目標画素の抽出を行うことにより、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。また、相関処理においては、追尾空間である３次元空間上の位置と強度値による相関と、観測平面である画像平面上の位置と距離値と強度値による相関の、次元の異なる２種類の相関処理を組み合わせ、さらに、相関値が高い領域が、相関値が低い領域よりも強調されるように相関値の補正処理を行うことにより背景画素の誤抽出を抑制し、目標領域の抽出精度を向上させる効果がある。さらに、目標領域の抽出精度が向上することにより追尾点が安定し、追尾精度が向上する効果がある。
【００６１】
実施の形態４．
図９は、この発明の実施の形態４による追尾装置の構成を示すブロック構成図である。実施の形態４による追尾装置は、目標抽出装置５００における相関処理部１１１ａだけが実施の形態２による追尾装置の相関処理部１１１と異なり、他は全て同じであるので、以下、相関処理部１１１ａについてのみ説明する。
【００６２】
相関処理部１１１ａは、実施の形態２による追尾装置の相関処理部１１１と同様に、式（２４）に示すベクトルＰA、および、式（２５）に示すベクトルＯAi,jを生成する。さらに、相関処理部１１１ａは、正規化相互相関係数を用いて、ベクトルＰAおよびベクトルＯAi,jより相関値ＮＣＣA（ｉ，ｊ）を算出する。相関値ＮＣＣA（ｉ，ｊ）の算出式を式（２９）に示す。
【００６３】
さらに、画素（ｉ，ｊ）を中心とした、（２ｂ−１）×（２ｂ−１）の大きさの近傍領域に含まれる画素のＮＣＣAの平均値でＮＣＣA（ｉ，ｊ）を補正し、目標画素指標ＴＰＩk（ｉ，ｊ）を算出する。目標画素指標ＴＰＩk（ｉ，ｊ）の算出式を式（３０）に示す。
【００６４】
以上のように、本発明の実施の形態４による追尾装置によれば、相関処理部は、追尾予測値に含まれる追尾点の３次元予測位置と予測強度、および、３次元座標変換部が算出した追尾点の予測画像座標と予測距離とを要素とするベクトルと、画像座標変換部が算出した入力画像各画素３次元座標と、入力画像各画素の画像座標と距離と強度を要素とするベクトルを用いて相関処理を行い、得られた相関値に対して、各画素近傍領域の相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように相関値の補正処理を行い、補正処理の結果を目標画素指標とするようにしたので、次のような効果がある。
【００６５】
すなわち、追尾フィルタが算出する予測状態ベクトルを利用し、予測状態ベクトルと新規入力画像との間での相関処理結果に基づき目標画素の抽出を行うことにより、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。また、相関処理においては、３次元空間上の位置と、画像平面上の位置と、距離値と、強度値の、追尾空間上と観測平面上の異なる次元により得られる値を組み合わせたベクトルの相関値を算出し、さらに、相関値が高い領域が、相関値が低い領域よりも強調されるように相関値の補正処理を行うことにより背景画素の誤抽出を抑制し、目標領域の抽出精度を向上させる効果がある。さらに、目標領域の抽出精度が向上することにより追尾点が安定し、追尾精度が向上する効果がある。
【００６６】
実施の形態５．
図１０は、この発明の実施の形態５による追尾装置の構成を示すブロック構成図である。実施の形態５による追尾装置は、目標抽出装置６００における相関処理部１１１ｂ以外の処理は、実施の形態２による追尾装置の目標抽出装置３００が備えるものと同じであるので、以下、相関処理部１１１ｂの処理についてのみ説明する。
【００６７】
相関処理部１１１ｂは、実施の形態２による追尾装置の相関処理部１１１と同様に、正規化相互相関係数の値を目標画素指標とするが、正規化相互相関係数を算出するベクトルＰAおよびベクトルＯAi,jの要素を、以下の４つとする。
(1)ゲート相関処理部１０２が算出した残差２次形式値
(2)３次元空間Ｘ座標
(3)３次元空間Ｙ座標
(4)３次元空間Ｚ座標
【００６８】
すなわち、ベクトルＰAは、３次元座標変換部１０５より算出される追尾予測位置の画像座標における残差２次形式の値と、追尾予測値の３次元Ｘ、Ｙ、Ｚ座標を要素とし、ベクトルＯAi,jは、画素（ｉ，ｊ）における残差２次形式値と、画像座標変換部１０３より算出される画素（ｉ，ｊ）と対応する３次元Ｘ、Ｙ、Ｚ座標を要素とする。
目標画素指標ＴＰＩk（ｉ，ｊ）の定義を式（３１）に示す。
【００６９】
このように、実施の形態５による追尾装置では、相関処理部１１１ｂは、追尾フィルタ装置２００の状態量に基づく相関値である残差２次形式値と、予測位置および入力画像各画素の３次元位置を組み合わせたベクトルによる正規化相互相関係数を目標画素指標とすることにより、残差２次形式により高い相関値が得られた目標画素はそのまま高い相関が維持され、残差２次形式の相関が高い背景画素が得られたとしても、予測位置との位置のズレにより目標画素指標は低く抑えられるため、背景画素の誤抽出を低減し、目標画素の抽出率を向上させる効果がある。また、画像中の目標の大きさや向きの変化に対する影響を受けにくく、さらにテンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００７０】
なお、上記実施の形態５は、実施の形態２による追尾装置における相関処理部１１１を相関処理部１１１ｂに置き換える場合について示したが、実施の形態４による追尾装置における相関処理部１１１ａを相関処理部１１１ｂに置き換えても同様の効果が得られる。ただし、この場合、相関処理部１１１ｂは相関処理部１１１ａの機能を全て備えるものとする。
【００７１】
以上説明したように、実施の形態５の追尾装置によれば、相関処理部は、追尾点予測位置の画像座標における残差２次形式値と追尾点予測位置の３次元座標とを合わせた４つの要素からなるベクトルと、入力画像各画素座標における残差２次形式値と各画素座標から算出する３次元座標とを合わせた４つの要素からなるベクトルとの間の相関値を算出し、これを目標画素指標とするようにしたので、背景画素の誤抽出を低減し、目標画素の抽出率を向上させることができると共に、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００７２】
また、実施の形態５の追尾装置によれば、相関処理部は、追尾点予測位置の画像座標における残差２次形式値と追尾点予測位置の３次元座標とを合わせた４つの要素からなるベクトルと、入力画像各画素座標における残差２次形式値と各画素座標から算出する３次元座標とを合わせた４つの要素からなるベクトルとの間の相関値を算出し、得られた相関値に対して、各画素近傍領域の相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように相関値の補正処理を行い、補正処理の結果を目標画素指標とするようにしたので、背景画素の誤抽出を低減し、目標画素の抽出率を向上させることができると共に、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００７３】
実施の形態６．
図１１は、この発明の実施の形態６による追尾装置の構成を示すブロック構成図である。
実施の形態６による追尾装置は、目標抽出装置７００における追尾点決定部１１０ａと、追尾フィルタ装置８００における追尾処理部２０３ａ以外は、実施の形態５による追尾装置が備えるものと同じであるので、以下、追尾点決定部１１０ａと追尾処理部２０３ａの処理についてのみ説明する。
【００７４】
上述した実施の形態１〜５による追尾装置では、追尾フィルタ装置２００への入力である観測ベクトルの要素に加える強度値として追尾点座標における強度値を設定している。目標画素の強度にばらつきがあり、追尾点強度値と他の目標画素の強度に差があると、目標画素の残差２次形式値のばらつきも大きくなる可能性があり、この様な場合は、残差２次形式に対する閾値処理において目標画素の抽出漏れが発生する恐れがある。また、実施の形態５による追尾装置では、残差２次形式値を用いて正規化相互相関係数を求め、目標画素指標としているので、目標画素の残差２次形式値のばらつきが大きいと、相関値の低い目標画素が発生し、目標画素の抽出漏れが起きる可能性がある。
そこで、実施の形態６による追尾装置では、目標画素の残差２次形式値のばらつきを抑えて目標画素の相関を全体的に高く保つための処理を、追尾点決定部１１０ａと追尾処理部２０３ａが備える。
【００７５】
追尾点決定部１１０ａにおいて、目標領域抽出部１０９が抽出した目標領域から追尾点の位置を決定する処理は実施の形態５による追尾装置の追尾点決定部１１０と同じであるが、追尾点決定部１１０ａは、さらに目標領域抽出部１０９が抽出した目標領域内の平均強度と、目標領域内の強度の標準偏差を算出し、追尾点座標と、目標領域内の平均強度と、目標領域内の強度の標準偏差を追尾処理部２０３ａに対して出力する。
【００７６】
次に、追尾処理部２０３ａは、式（３）および式（４）を用いて、追尾点決定部１１０ａより入力される追尾点座標から仰角および方位角を求め、追尾点座標の距離値と、追尾点の仰角と、追尾点の方位角と、追尾点決定部１１０ａより入力される目標領域内の平均強度から観測ベクトルを生成する。すなわち、観測ベクトルは｛追尾点距離，追尾点仰角，追尾点方位角，目標領域平均強度｝となる。
【００７７】
さらに、追尾処理部２０３ａは、追尾点決定部１１０ａより入力される目標領域内の強度の標準偏差を、強度の観測雑音標準偏差に設定する。ここで、観測雑音標準偏差は追尾フィルタ装置２００のパラメータであり、追尾フィルタ装置２００の入力である観測ベクトルの各要素値の揺らぎ量を与えるものである。実施の形態１〜５による追尾装置では、観測雑音標準偏差は事前に想定される値（固定値）を追尾フィルタ装置２００に設定しているが、実施の形態６による追尾装置では、強度の観測雑音標準偏差に関しては、毎フレーム抽出された目標領域内の強度の標準偏差を設定する。
また、追尾処理部２０３ａの観測ベクトル生成が実行され、強度の観測雑音標準偏差を設定した後は、実施の形態５による追尾装置の追尾処理部２０３と同じ処理を実行する。
【００７８】
なお、上記実施の形態６では、観測ベクトルの要素とする強度値を目標領域の平均値としているが、例えば、中央値を用いても同様の効果が得られる。
【００７９】
このように、実施の形態６の追尾装置では、観測ベクトルの要素である強度値に抽出した目標領域の平均強度を設定し、追尾フィルタ装置２００のパラメータである強度の観測雑音標準偏差に毎フレーム抽出した目標領域の強度の標準偏差を設定することにより、目標画素の残差２次形式値のばらつきが抑えられ、目標画素の相関値が全体的に高く保たれる効果がある。また、目標画素の相関値が全体的に高くなることにより目標領域の抽出精度が向上し、追尾点が安定することで追尾精度が向上するという効果がある。さらに、画像中の目標の大きさや向きの変化に対する影響を受けにくく、また、テンプレートを用いることなく目標領域の抽出が行えるので、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果もある。
【００８０】
以上説明したように、実施の形態６の追尾装置によれば、追尾点決定部は、目標領域抽出部が抽出した目標領域より追尾点を決定すると共に、目標領域内の平均強度および強度の標準偏差を算出し、追尾処理部は、観測ベクトルの要素の一つである強度として、追尾点決定部が算出した目標領域の平均強度を設定し、さらに、毎フレーム追尾点決定部が算出した目標領域の強度の標準偏差を、強度の揺らぎ量としてのパラメータである強度の観測雑音標準偏差として設定するようにしたので、目標画素の相関値が全体的に高く保たれ、目標領域の抽出精度が向上し、追尾点が安定することで追尾精度が向上すると共に、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００８１】
また、実施の形態６の追尾装置によれば、追尾点決定部は、目標領域抽出部が抽出した目標領域より追尾点を決定すると共に、目標領域内の強度の中央値および強度の標準偏差を算出し、追尾処理部は、観測ベクトルの要素の一つである強度として、追尾点決定部が算出した目標領域の強度中央値を設定し、さらに、毎フレーム追尾点決定部が算出した目標領域の強度の標準偏差を、強度の揺らぎ量としてのパラメータである強度の観測雑音標準偏差として設定するようにしたので、目標画素の相関値が全体的に高く保たれ、目標領域の抽出精度が向上し、追尾点が安定することで追尾精度が向上すると共に、従来技術であるテンプレートマッチングと比べて処理負荷が低減する効果がある。
【００８２】
尚、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００８３】
１００，３００，４００，５００，６００，７００ 目標抽出装置、１０１ 初期目標領域取得部、１０２ ゲート処理部、１０３ 画像座標変換部、１０４ ３次元空間相関処理部、１０５ ３次元座標変換部、１０６ 画像平面相関処理部、１０７，１０７ａ 目標画素指標算出部、１０８ 目標画素抽出部、１０９ 目標領域抽出部、１１０，１１０ａ 追尾点決定部、１１１，１１１ａ，１１１ｂ 相関処理部、２００ 追尾フィルタ装置、２０１ テンプレート生成部、２０２ テンプレートマッチング部、２０３，２０３ａ 追尾処理部。
【特許請求の範囲】
【請求項１】
目標抽出装置と追尾フィルタ装置とを備え、センサにより同時に観測された同一画角の距離画像と強度画像のフレームが連続して入力される追尾装置であって、
前記目標抽出装置は、前記追尾フィルタ装置が算出した追尾予測値と入力画像各画素との間で、追尾空間である３次元空間上での相関処理と、画像平面上での相関処理の、次元の異なる２種類の相関処理を組み合わせて目標画素と目標領域を抽出し、当該目標領域に基づいて追尾点を算出して当該追尾点を前記追尾フィルタ装置に出力し、
前記追尾フィルタ装置は、前記目標抽出装置が出力する追尾点に基づいて、次のフレームにおける３次元空間上での追尾点の位置、速度、強度の予測を行って前記追尾予測値を出力することを特徴とする追尾装置。
【請求項２】
目標抽出装置は、
初期入力画像中から抽出された初期目標領域を取得する初期目標領域取得部と、
追尾フィルタ装置が算出した追尾予測値と入力画像との差を表す残差２次形式を算出し、前記残差２次形式を用いて相関処理の対象となる画素を抽出するゲート処理部と、
前記入力画像の各画素距離値および画像座標から各画素の３次元座標を算出する画像座標変換部と、
前記追尾予測値に含まれる追尾点の３次元予測位置を、予測画像座標とセンサからの予測距離値に変換する３次元座標変換部と、
前記追尾予測値に含まれる追尾点の３次元予測位置および予測強度を要素とするベクトルと、前記画像座標変換部が算出した前記入力画像各画素３次元座標および強度を要素とするベクトルを用いて、追尾空間である３次元空間での相関処理を行う３次元空間相関処理部と、
前記３次元座標変換部が算出した前記追尾点の予測画像座標および予測距離と予測強度を要素とするベクトルと、入力画像各画素の画像座標および距離および強度を要素とするベクトルを用いて、画像平面上の相関処理を行う画像平面相関処理部と、
前記３次元空間相関処理部が算出した相関値と、前記画像平面相関処理部が算出した相関値を組み合わせて、入力画像各画素が目標画素である確からしさを表す目標画素指標を算出する目標画素指標算出部と、
前記目標画素指標に対して閾値処理を行い、前記入力画像中の目標画素を抽出する目標画素抽出部と、
前記目標画素抽出部が抽出した目標画素の分布状況から目標領域を抽出する目標領域抽出部と、
前記目標領域抽出部が抽出した目標領域より前記追尾フィルタ装置の入力となる追尾点を決定する追尾点決定部とを備え、
追尾フィルタ装置は、
前記初期目標領域取得部が取得した前記初期目標領域の情報と第１フレームの入力画像より、追尾目標のテンプレートを生成するテンプレート生成部と、
第２フレーム画像入力時に、前記テンプレートを用いて前記第２フレーム入力画像中の追尾点を決定するテンプレートマッチング部と、
前記テンプレートマッチング部が決定した追尾点または前記追尾点決定部が決定した追尾点を入力として、３次元空間上で次フレームにおける追尾点の位置、速度、強度を予測する追尾処理部とを備えたことを特徴とする請求項１記載の追尾装置。
【請求項３】
目標抽出装置は、
初期入力画像中から抽出された初期目標領域を取得する初期目標領域取得部と、
追尾フィルタ装置が出力する追尾予測値と入力画像との差を表す残差２次形式を算出し、前記残差２次形式を用いて相関処理の対象となる画素を抽出するゲート処理部と、
前記入力画像の各画素距離値および画像座標から各画素の３次元座標を算出する画像座標変換部と、
前記追尾予測値に含まれる追尾点の３次元予測位置を、予測画像座標とセンサからの予測距離値に変換する３次元座標変換部と、
前記追尾予測値に含まれる追尾点の３次元予測位置と予測強度、および、前記３次元座標変換部が算出した前記追尾点の予測画像座標と予測距離とを要素とするベクトルと、前記画像座標変換部が算出した前記入力画像各画素３次元座標と、入力画像各画素の画像座標と距離と強度を要素とするベクトルを用いて相関処理を行い、相関処理結果を入力画像各画素が目標画素である確からしさを表す目標画素指標とする相関処理部と、
前記目標画素指標に対して閾値処理を行い、前記入力画像中の目標画素を抽出する目標画素抽出部と、
前記目標画素抽出部が抽出した目標画素の分布状況から目標領域を抽出する目標領域抽出部と、
前記目標領域抽出部が抽出した目標領域より前記追尾フィルタ装置の入力となる追尾点を決定する追尾点決定部とを備え、
追尾フィルタ装置は、
前記初期目標領域取得部が取得した初期目標領域の情報と第１フレームの入力画像より、追尾目標のテンプレートを生成するテンプレート生成部と、
第２フレーム画像入力時に、前記テンプレートを用いて前記第２フレーム入力画像中の追尾点を決定するテンプレートマッチング部と、
前記テンプレートマッチング部が決定した追尾点または前記追尾点決定部が決定した追尾点を入力として、３次元空間上で次フレームにおける追尾点の位置、速度、強度を予測する追尾処理部とを備えたことを特徴とする請求項１記載の追尾装置。
【請求項４】
目標画素指標算出部は、３次元空間相関処理部が算出した相関処理結果と、画像平面相関処理部が算出した相関処理結果を掛け合わせた相関値に対して、各画素近傍領域の前記相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように前記相関値の補正処理を行い、当該補正処理の結果を目標画素指標とすることを特徴とする請求項２記載の追尾装置。
【請求項５】
相関処理部は、追尾予測値に含まれる追尾点の３次元予測位置と予測強度、および、３次元座標変換部が算出した追尾点の予測画像座標と予測距離とを要素とするベクトルと、画像座標変換部が算出した入力画像各画素３次元座標と、入力画像各画素の画像座標と距離と強度を要素とするベクトルを用いて相関処理を行い、得られた相関値に対して、各画素近傍領域の前記相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように前記相関値の補正処理を行い、当該補正処理の結果を目標画素指標とすることを特徴とする請求項３記載の追尾装置。
【請求項６】
相関処理部は、追尾点予測位置の画像座標における残差２次形式値と当該追尾点予測位置の３次元座標とを合わせた４つの要素からなるベクトルと、入力画像各画素座標における残差２次形式値と当該各画素座標から算出する３次元座標とを合わせた４つの要素からなるベクトルとの間の相関値を算出し、これを目標画素指標とすることを特徴とする請求項３記載の追尾装置。
【請求項７】
相関処理部は、追尾点予測位置の画像座標における残差２次形式値と当該追尾点予測位置の３次元座標とを合わせた４つの要素からなるベクトルと、入力画像各画素座標における残差２次形式値と当該各画素座標から算出する３次元座標とを合わせた４つの要素からなるベクトルとの間の相関値を算出し、得られた相関値に対して、各画素近傍領域の前記相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように前記相関値の補正処理を行い、当該補正処理の結果を目標画素指標とすることを特徴とする請求項５記載の追尾装置。
【請求項８】
追尾点決定部は、目標領域抽出部が抽出した目標領域より追尾点を決定すると共に、前記目標領域内の平均強度および強度の標準偏差を算出し、
追尾処理部は、観測ベクトルの要素の一つである強度として、前記追尾点決定部が算出した前記目標領域の平均強度を設定し、さらに、毎フレーム前記追尾点決定部が算出した前記目標領域の強度の標準偏差を、当該強度の揺らぎ量としてのパラメータである強度の観測雑音標準偏差として設定することを特徴とする請求項６または請求項７記載の追尾装置。
【請求項９】
追尾点決定部は、目標領域抽出部が抽出した目標領域より追尾点を決定すると共に、前記目標領域内の強度の中央値および強度の標準偏差を算出し、
追尾処理部は、観測ベクトルの要素の一つである強度として、前記追尾点決定部が算出した前記目標領域の強度中央値を設定し、さらに、毎フレーム前記追尾点決定部が算出した前記目標領域の強度の標準偏差を、当該強度の揺らぎ量としてのパラメータである強度の観測雑音標準偏差として設定することを特徴とする請求項６または請求項７記載の追尾装置。
【請求項１】
目標抽出装置と追尾フィルタ装置とを備え、センサにより同時に観測された同一画角の距離画像と強度画像のフレームが連続して入力される追尾装置であって、
前記目標抽出装置は、前記追尾フィルタ装置が算出した追尾予測値と入力画像各画素との間で、追尾空間である３次元空間上での相関処理と、画像平面上での相関処理の、次元の異なる２種類の相関処理を組み合わせて目標画素と目標領域を抽出し、当該目標領域に基づいて追尾点を算出して当該追尾点を前記追尾フィルタ装置に出力し、
前記追尾フィルタ装置は、前記目標抽出装置が出力する追尾点に基づいて、次のフレームにおける３次元空間上での追尾点の位置、速度、強度の予測を行って前記追尾予測値を出力することを特徴とする追尾装置。
【請求項２】
目標抽出装置は、
初期入力画像中から抽出された初期目標領域を取得する初期目標領域取得部と、
追尾フィルタ装置が算出した追尾予測値と入力画像との差を表す残差２次形式を算出し、前記残差２次形式を用いて相関処理の対象となる画素を抽出するゲート処理部と、
前記入力画像の各画素距離値および画像座標から各画素の３次元座標を算出する画像座標変換部と、
前記追尾予測値に含まれる追尾点の３次元予測位置を、予測画像座標とセンサからの予測距離値に変換する３次元座標変換部と、
前記追尾予測値に含まれる追尾点の３次元予測位置および予測強度を要素とするベクトルと、前記画像座標変換部が算出した前記入力画像各画素３次元座標および強度を要素とするベクトルを用いて、追尾空間である３次元空間での相関処理を行う３次元空間相関処理部と、
前記３次元座標変換部が算出した前記追尾点の予測画像座標および予測距離と予測強度を要素とするベクトルと、入力画像各画素の画像座標および距離および強度を要素とするベクトルを用いて、画像平面上の相関処理を行う画像平面相関処理部と、
前記３次元空間相関処理部が算出した相関値と、前記画像平面相関処理部が算出した相関値を組み合わせて、入力画像各画素が目標画素である確からしさを表す目標画素指標を算出する目標画素指標算出部と、
前記目標画素指標に対して閾値処理を行い、前記入力画像中の目標画素を抽出する目標画素抽出部と、
前記目標画素抽出部が抽出した目標画素の分布状況から目標領域を抽出する目標領域抽出部と、
前記目標領域抽出部が抽出した目標領域より前記追尾フィルタ装置の入力となる追尾点を決定する追尾点決定部とを備え、
追尾フィルタ装置は、
前記初期目標領域取得部が取得した前記初期目標領域の情報と第１フレームの入力画像より、追尾目標のテンプレートを生成するテンプレート生成部と、
第２フレーム画像入力時に、前記テンプレートを用いて前記第２フレーム入力画像中の追尾点を決定するテンプレートマッチング部と、
前記テンプレートマッチング部が決定した追尾点または前記追尾点決定部が決定した追尾点を入力として、３次元空間上で次フレームにおける追尾点の位置、速度、強度を予測する追尾処理部とを備えたことを特徴とする請求項１記載の追尾装置。
【請求項３】
目標抽出装置は、
初期入力画像中から抽出された初期目標領域を取得する初期目標領域取得部と、
追尾フィルタ装置が出力する追尾予測値と入力画像との差を表す残差２次形式を算出し、前記残差２次形式を用いて相関処理の対象となる画素を抽出するゲート処理部と、
前記入力画像の各画素距離値および画像座標から各画素の３次元座標を算出する画像座標変換部と、
前記追尾予測値に含まれる追尾点の３次元予測位置を、予測画像座標とセンサからの予測距離値に変換する３次元座標変換部と、
前記追尾予測値に含まれる追尾点の３次元予測位置と予測強度、および、前記３次元座標変換部が算出した前記追尾点の予測画像座標と予測距離とを要素とするベクトルと、前記画像座標変換部が算出した前記入力画像各画素３次元座標と、入力画像各画素の画像座標と距離と強度を要素とするベクトルを用いて相関処理を行い、相関処理結果を入力画像各画素が目標画素である確からしさを表す目標画素指標とする相関処理部と、
前記目標画素指標に対して閾値処理を行い、前記入力画像中の目標画素を抽出する目標画素抽出部と、
前記目標画素抽出部が抽出した目標画素の分布状況から目標領域を抽出する目標領域抽出部と、
前記目標領域抽出部が抽出した目標領域より前記追尾フィルタ装置の入力となる追尾点を決定する追尾点決定部とを備え、
追尾フィルタ装置は、
前記初期目標領域取得部が取得した初期目標領域の情報と第１フレームの入力画像より、追尾目標のテンプレートを生成するテンプレート生成部と、
第２フレーム画像入力時に、前記テンプレートを用いて前記第２フレーム入力画像中の追尾点を決定するテンプレートマッチング部と、
前記テンプレートマッチング部が決定した追尾点または前記追尾点決定部が決定した追尾点を入力として、３次元空間上で次フレームにおける追尾点の位置、速度、強度を予測する追尾処理部とを備えたことを特徴とする請求項１記載の追尾装置。
【請求項４】
目標画素指標算出部は、３次元空間相関処理部が算出した相関処理結果と、画像平面相関処理部が算出した相関処理結果を掛け合わせた相関値に対して、各画素近傍領域の前記相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように前記相関値の補正処理を行い、当該補正処理の結果を目標画素指標とすることを特徴とする請求項２記載の追尾装置。
【請求項５】
相関処理部は、追尾予測値に含まれる追尾点の３次元予測位置と予測強度、および、３次元座標変換部が算出した追尾点の予測画像座標と予測距離とを要素とするベクトルと、画像座標変換部が算出した入力画像各画素３次元座標と、入力画像各画素の画像座標と距離と強度を要素とするベクトルを用いて相関処理を行い、得られた相関値に対して、各画素近傍領域の前記相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように前記相関値の補正処理を行い、当該補正処理の結果を目標画素指標とすることを特徴とする請求項３記載の追尾装置。
【請求項６】
相関処理部は、追尾点予測位置の画像座標における残差２次形式値と当該追尾点予測位置の３次元座標とを合わせた４つの要素からなるベクトルと、入力画像各画素座標における残差２次形式値と当該各画素座標から算出する３次元座標とを合わせた４つの要素からなるベクトルとの間の相関値を算出し、これを目標画素指標とすることを特徴とする請求項３記載の追尾装置。
【請求項７】
相関処理部は、追尾点予測位置の画像座標における残差２次形式値と当該追尾点予測位置の３次元座標とを合わせた４つの要素からなるベクトルと、入力画像各画素座標における残差２次形式値と当該各画素座標から算出する３次元座標とを合わせた４つの要素からなるベクトルとの間の相関値を算出し、得られた相関値に対して、各画素近傍領域の前記相関値の平均値を用いて、追尾予測値との相関値の高い領域が相関値の低い領域よりも強調されるように前記相関値の補正処理を行い、当該補正処理の結果を目標画素指標とすることを特徴とする請求項５記載の追尾装置。
【請求項８】
追尾点決定部は、目標領域抽出部が抽出した目標領域より追尾点を決定すると共に、前記目標領域内の平均強度および強度の標準偏差を算出し、
追尾処理部は、観測ベクトルの要素の一つである強度として、前記追尾点決定部が算出した前記目標領域の平均強度を設定し、さらに、毎フレーム前記追尾点決定部が算出した前記目標領域の強度の標準偏差を、当該強度の揺らぎ量としてのパラメータである強度の観測雑音標準偏差として設定することを特徴とする請求項６または請求項７記載の追尾装置。
【請求項９】
追尾点決定部は、目標領域抽出部が抽出した目標領域より追尾点を決定すると共に、前記目標領域内の強度の中央値および強度の標準偏差を算出し、
追尾処理部は、観測ベクトルの要素の一つである強度として、前記追尾点決定部が算出した前記目標領域の強度中央値を設定し、さらに、毎フレーム前記追尾点決定部が算出した前記目標領域の強度の標準偏差を、当該強度の揺らぎ量としてのパラメータである強度の観測雑音標準偏差として設定することを特徴とする請求項６または請求項７記載の追尾装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２１５５４９（Ｐ２０１２−２１５５４９Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−２６８２２４（Ｐ２０１１−２６８２２４）
【出願日】平成２３年１２月７日（２０１１．１２．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年１２月７日（２０１１．１２．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]