追尾装置
【課題】背景画素の誤抽出を低減し、追尾目標の画像上の大きさや向きの変化に影響を受けない高精度の追尾装置を提供する。
【解決手段】観測センサで同時に観測された同一画角の距離画像と強度画像がフレーム単位で入力され、最新フレーム画像の追尾点情報を入力とし該追尾点の距離画像から得る３次元位置座標と強度画像から得る強度値を観測ベクトルとし追尾フィルタにより次フレームでの追尾目標の状態予測値を出力する追尾フィルタ装置と、前記追尾目標の状態予測値に基づく最新フレーム画像での残差２次形式、追尾予測位置との距離差分、追尾予測強度との強度差分により各画素が目標を構成する確からしさを表す目標画素指標を算出しさらにここから最新フレーム画像での目標を構成する目標領域を抽出し目標領域に含まれる画素から追尾フィルタ装置への新たな追尾点情報を算出して出力する目標検出装置を含む。
【解決手段】観測センサで同時に観測された同一画角の距離画像と強度画像がフレーム単位で入力され、最新フレーム画像の追尾点情報を入力とし該追尾点の距離画像から得る３次元位置座標と強度画像から得る強度値を観測ベクトルとし追尾フィルタにより次フレームでの追尾目標の状態予測値を出力する追尾フィルタ装置と、前記追尾目標の状態予測値に基づく最新フレーム画像での残差２次形式、追尾予測位置との距離差分、追尾予測強度との強度差分により各画素が目標を構成する確からしさを表す目標画素指標を算出しさらにここから最新フレーム画像での目標を構成する目標領域を抽出し目標領域に含まれる画素から追尾フィルタ装置への新たな追尾点情報を算出して出力する目標検出装置を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、連続観測された画像中の目標を追尾する追尾装置に関する。
【背景技術】
【０００２】
連続観測された複数フレームの画像より特定の目標物を追尾する追尾装置では、目標検出処理により最新フレームの入力画像から目標物の位置の検出を行った後、検出された目標物の位置と過去の目標物の動きとに基づいて、次の入力画像における目標物の位置や速度等の状態を予測する追尾処理を実行する。
追尾処理による目標物の状態予測は、目標検出処理による目標物の検出位置に基づいて行われるので、目標検出処理の検出精度が追尾処理の予測精度に影響を与える。
従来の目標検出処理としては、目標物のテンプレート画像を用いて入力画像とのマッチングを行い、最もテンプレート画像に類似している領域(すなわち、テンプレート画像との相関が最も高い領域)を目標物が存在する領域として抽出する方式が一般的である。
例えば、下記特許文献１や特許文献２では、テンプレートマッチングによる目標検出に関する発明が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１４５８８号公報
【特許文献２】特開２００９−８７２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
テンプレートマッチングによる目標検出における問題点は、複雑背景下において、背景にテンプレートと類似した領域が存在することによる誤検出の発生や、画像上の追尾目標の大きさや向きの時間的な変化にテンプレートが適応できないことによる誤検出の発生などが挙げられる。
上記特許文献１では、背景データベースを保持し、データベース内に保持する背景と一致する画像の背景を除去することで背景の誤検出を低減している。しかし、画像背景が背景データベースに無い場合、背景除去の効果は低く、誤検出が発生する可能性がある。
特許文献２では、エッジ情報とエッジ周辺の輝度情報をテンプレートとして用いることで背景の誤検出を防いでいる。しかし、追尾目標の形状や大きさが変化した場合、テンプレートと入力画像内の追尾目標に差が生じ、誤検出が発生する可能性がある。
【０００５】
さらに、テンプレートマッチングは、目標の位置を１点の座標として求めることはできるが、最新画像上の目標とテンプレートが完全に一致することは無いので、目標画素あるいは目標領域を正確に抽出することはできない。このため、精度良く目標画素あるいは目標領域を抽出するためには別途精度の高い特徴抽出等の画像処理が必要となる。
さらに、最新画像から抽出した目標領域をテンプレートの更新に反映する場合は、目標領域の抽出精度が低いと、テンプレートマッチングの精度が低下してしまうという問題もある。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、最新画像上の目標位置の検出および目標画素あるいは目標領域の抽出を行う際に、テンプレートマッチングや特徴抽出等の画像処理を用いることなく、背景画素の誤抽出を低減し、追尾目標の画像上の大きさや向きの変化に影響を受けない高精度の追尾装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明は、観測センサで同時に観測された同一画角の距離画像と強度画像がフレーム単位で入力され、最新フレーム画像の追尾点情報を入力とし該追尾点の距離画像より求める３次元位置座標と強度画像より得られる強度値を観測ベクトルとし、追尾フィルタにより次フレームにおける追尾目標の状態予測値を出力する追尾フィルタ装置と、前記追尾フィルタ装置からの追尾目標の状態予測値に基づく最新フレーム画像における残差２次形式と、追尾予測位置との距離差分と、追尾予測強度との強度差分により各画素が目標を構成する画素である確からしさを表す目標画素指標を算出し、さらに目標画素指標から最新フレーム画像における目標を構成する目標領域を抽出し、前記目標領域に含まれる画素から前記追尾フィルタ装置への新たな前記追尾点情報を算出して出力する目標検出装置と、を備えたことを特徴とする追尾装置にある。
【発明の効果】
【０００８】
この発明では、テンプレートマッチングや特徴抽出等の画像処理を用いることなく、背景画素の誤抽出を低減し、追尾目標の画像上の大きさや向きの変化に影響を受けない高精度の追尾装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による追尾装置の機能ブロック図である。
【図２】この発明の実施の形態２による追尾装置の機能ブロック図である。
【図３】この発明の実施の形態３による追尾装置の機能ブロック図である。
【図４】この発明の実施の形態４による追尾装置の機能ブロック図である。
【図５】この発明の実施の形態５による追尾装置の機能ブロック図である。
【図６】この発明の実施の形態６による追尾装置の機能ブロック図である。
【図７】この発明の実施の形態７による追尾装置の機能ブロック図である。
【図８】この発明の実施の形態８による追尾装置の機能ブロック図である。
【発明を実施するための形態】
【００１０】
以下、この発明による追尾装置を各実施の形態に従って図面を用いて説明する。なお、各実施の形態において、同一もしくは相当部分は同一符号で示し、重複する説明は省略する。
【００１１】
実施の形態１．
図１はこの発明の実施の形態１による追尾装置の機能ブロック図である。図１において、この発明における追尾装置は、目標検出装置１００と追尾フィルタ装置２００により構成され、同時に取得された、同一画角の距離画像と強度画像が入力として与えられる。ここで、距離画像とは観測面各点の距離および反射強度を取得する観測センサにより生成される、センサから観測面各点までの距離を画素値とする画像であり、強度画像とは前記観測センサにより生成される観測面各点の反射強度を画素値とする画像である。
【００１２】
目標検出装置１００は、追尾フィルタ装置２００が出力する追尾目標の状態予測値に基づいて最新画像上の目標画素および目標領域を抽出し、追尾フィルタ装置２００の入力となる最新画像上の追尾点を決定する。目標検出装置１００は、初期目標領域情報取得部１０１、追尾点決定部１０２、残差算出部１０３、ゲート処理部１０４、残差正規化部１０５、距離差分算出部１０６、距離差分正規化部１０７、強度差分算出部１０８、強度差分正規化部１０９、目標画素指標算出部１１０、目標画素抽出部１１１を有している。
【００１３】
追尾フィルタ装置２００は、目標検出装置１００より入力される追尾点に基づき追尾処理を実行し、次に入力される画像上の追尾点の位置、速度、強度の予測を行い、追尾処理結果として追尾目標の状態予測値を目標検出装置１００に出力する。追尾フィルタ装置２００は、追尾処理部２０１、遅延処理部２０２を有している。
【００１４】
なお、実線矢印は処理またはデータの流れ、破線矢印はデータの流れを示す。
【００１５】
初期目標領域情報取得部１０１は、この発明の追尾装置とは別の装置において実行される、初期入力画像中の追尾目標を含む最小の矩形領域抽出結果を、初期目標領域として取得する。
追尾点決定部１０２は、抽出された目標領域内に含まれる画素から追尾点を算出し、追尾フィルタ装置２００に算出した追尾点を出力する。
【００１６】
残差算出部１０３は、追尾フィルタ装置２００の処理結果である追尾目標の状態予測値と、最新の入力画像の各画素値との残差２次形式の算出を行う。
ゲート処理部１０４は、χ(カイ)２乗分布に基づく閾値(これをゲートサイズと呼ぶ)を用いて、残差算出部１０３において算出した残差２次形式の値がゲートサイズ以下となる画素を、ゲート内画素として抽出する。
残差正規化部１０５は、ゲート処理部１０４において抽出されたゲート内画素を対象として、残差算出部１０３において算出された残差２次形式の値を、最小値が１、最大値が０となるよう正規化を行う。
【００１７】
距離差分算出部１０６は、追尾フィルタ装置２００の処理結果である追尾目標の状態予測値を用いて、センサ位置から追尾点予測位置までの距離(これを追尾点予測距離と呼ぶ)を算出し、さらに、最新の距離画像における各画素距離と追尾点予測距離との距離差分値を算出する。
距離差分正規化部１０７は、ゲート処理部１０４において抽出されたゲート内画素を対象として、距離差分算出部１０６において算出した距離差分値を、最小値が１、最大値が０となるように正規化を行う。
【００１８】
強度差分算出部１０８は、追尾フィルタ装置２００の処理結果である追尾目標の状態予測値を用いて、最新の強度画像における各画素強度値と追尾点予測強度値との差分を算出する。
強度差分正規化部１０９は、ゲート処理部１０４において抽出されたゲート内画素を対象として、強度差分算出部１０８において算出した強度差分値を、最小値が１、最大値が０となるように正規化を行う。
【００１９】
目標画素指標算出部１１０は、残差正規化部１０５において算出した残差２次形式正規化値と、距離差分正規化部１０７において算出した距離差分正規化値と、強度差分正規化部１０９において算出した強度差分正規化値とを用いて、各画素が追尾目標を構成するか否かの判定指標となる目標画素指標を算出する。
目標画素抽出部１１１は、目標画素指標算出部１１０において算出された各目標画素指標値より各画素が目標を構成するか否かを判断し、目標を構成すると判断した画素を目標画素として抽出する。さらに、抽出した全ての目標画素を含む最小矩形領域を目標領域として抽出する。
【００２０】
追尾処理部２０１は、追尾点決定部１０２が出力する追尾点を入力とし、カルマンフィルタ等の追尾フィルタを用いて、追尾点の３次元直交座標上の位置および速度と、追尾点の強度の予測を行う。
遅延処理部２０２は、最新の画像が目標検出装置１００に入力されると同時に、追尾処理部２０１の処理結果である追尾目標の状態予測値が目標検出装置１００に入力されるように、遅延処理を行う。
【００２１】
ここで、この発明の追尾装置は、演算処理部(ＣＰＵ)、記憶部(ＲＯＭ、ＲＡＭ、ハードディスク等)および信号入出力部をハードウェアとして備えるコンピュータ(図示せず)により構成することができる。記憶部には、各機能ブロック１０１〜２０２の機能を実現するためのプログラムが格納され、また追尾処理に必要な後述する観測センサの画角情報等の各種データが予め格納される。
【００２２】
また追尾処理に必要な各種データが外部機器から逐次入力される。例えば、後述する観測センサの３次元直交座標上の位置情報に関し、観測センサが固定の場合、観測センサの３次元直交座標上の位置は一定であるが、観測センサが移動体上に搭載されて移動する場合には可変となる。そこで観測センサが移動する場合には(追尾装置も一緒に移動する構成の場合もある)、観測センサと一緒に移動するＧＰＳ装置等の外部機器から観測センサの３次元直交座標上の位置情報が逐次入力される(いずれも図示省略)。
【００２３】
次に、実施の形態１による追尾装置の一連の動作について説明する。まず、初期目標領域情報取得部１０１が、外部の別装置により抽出された初期画像(第１フレーム画像)内の目標を含む最小矩形領域の、左上および右下の画像座標(画像座標とは、画像上の画素位置を意味する)を初期目標領域情報として取得する。
次に、追尾点決定部１０２が、初期目標領域情報取得部１０１が取得した初期目標領域情報より、目標領域の中心点の画像座標および強度値を、追尾点情報とし、追尾処理部２０１に対して出力する。
【００２４】
次に、追尾処理部２０１が、距離画像と観測センサの３次元直交座標上の位置情報と観測センサの画角情報から、距離画像各画素の３次元直交座標上の位置(以降、３次元位置と呼ぶ)を算出し、追尾点決定部１０２より入力される追尾点情報の画像座標も同様にして３次元位置に変換する。
さらに、追尾処理部２０１は、距離画像と観測センサの３次元位置情報と観測センサの画角情報とから算出した追尾点の３次元位置と強度画像より取得する追尾点の強度を観測ベクトルとして、例えばカルマンフィルタからなる追尾フィルタを用いて、次の観測時刻(すなわち、次フレーム画像取得時刻)における追尾点の、３次元位置と３次元速度と強度の予測を行う(状態予測値)。
なお、カルマンフィルタは一般的に用いられるフィルタであるので、ここでは処理の説明は省略する。
次に、遅延処理部２０２が、次フレーム画像が目標検出装置１００に入力されるのとほぼ同時に、追尾処理部２０１の処理結果である追尾目標の状態予測値が目標検出装置１００に入力されるよう、１フレーム分遅延処理を行う。
【００２５】
次に、最新フレームの距離画像および強度画像と、追尾目標の状態予測値が残差算出部１０３に入力され、残差算出部１０３は、まず距離画像と観測センサの３次元直交座標上の位置情報と観測センサの画角情報から、距離画像各画素の３次元位置を算出する。
さらに、下記式(１)を用いて入力画像各画素に対する残差２次形式を算出する。なお、下記式(１)における残差共分散行列Ｓｋ｜ｋ−１は、追尾処理部２０１内の処理(例えばカルマンフィルタ処理)において算出される。
【００２６】
【数１】
【００２７】
位置および速度の予測値に加えて、強度の予測値を用いて上記式(１)に示す残差２次形式を算出することにより、追尾する目標の形状が残差２次形式の分布に現れる。残差２次形式は、値が小さいほど予測値に近いことを示している。この発明では、この特徴を利用して追尾目標の画素抽出を行う。
【００２８】
次に、ゲート処理部１０４が、自由度が４(残差２次形式の算出は３次元位置と強度を合わせた４次元ベクトルを用いているため自由度を４とする)の場合の、信頼度(下側確率)が９５％となるχ２乗分布の値をゲートサイズｄとして、下記式(２)を満たす画素をゲート内と判定する(以降、ゲート内と判定した画素をゲート内画素と記述する)。なお、使用する信頼度の値は９５％に限定されるものではなく、適用先に応じて変更しても良い。
ゲート処理部１０４によるゲート内画素の抽出により以降の処理の対象をゲート内画素に限定し、処理負荷の軽減と目標画素の誤抽出の低減を図ることができる。
【００２９】
【数２】
【００３０】
次に、残差正規化部１０５が、ゲート処理部１０４において求めたゲート内画素を対象として、残差算出部１０３において算出した残差２次形式を、最小値が１、最大値が０となるように正規化を行う。正規化値の算出式を下記式(３)に示す。下記式(３)は、上記式(１)とは逆に、値が大きいほど追尾予測値との差が小さいことを示している。
【００３１】
【数３】
【００３２】
残差正規化部１０５より得られる残差２次形式正規化値を直接用いて目標画素の抽出を行った場合、追尾目標周辺に値の高い画素が残りやすいため目標画素の誤抽出が発生する可能性が高い。そこで、距離画像と強度画像を用いて目標画素の強調処理を行い、目標画素の誤抽出の低減を図る。
【００３３】
まず、距離差分算出部１０６が、最新フレームの距離画像と観測センサの３次元直交座標上の位置情報と観測センサの画角情報から距離画像各画素の３次元位置を算出し、センサ位置から追尾予測位置までの３次元直交空間上の距離と、センサ位置から各画素位置までの３次元直交空間上の距離との差分絶対値を求め(以降、センサ距離差分値と記載する)、さらに、追尾予測位置と各画素位置との３次元直交空間上の距離をセンサ距離差分値に加えた値を、各画素の距離差分として算出する。
【００３４】
単純にセンサ距離差分値のみを用いると、センサ位置を中心とした半径がセンサ距離差分値の球面付近であれば追尾予測位置と離れている画素であっても強調される可能性があるため、３次元直交空間上で追尾予測点に近い画素が強調されるように、センサ距離差分値に追尾予測位置と画素位置の距離を加えている。
【００３５】
下記式(４)に第ｋフレーム画素(ｉ，ｊ)における距離差分の算出式を示す。下記式(４)より得られる値が小さいほど、すなわち距離差分値が小さいほど、直交３次元空間上での追尾予測位置との距離が近いことを表している。
【００３６】
【数４】
【００３７】
次に、距離差分正規化部１０７が、ゲート処理部１０４により抽出したゲート内画素を処理対象として、距離差分算出部１０６が算出した距離差分値を、最小値が１、最大値が０となるように正規化を行う。正規化値の算出式を下記式(５)に示す。下記式(５)は、上記式(４)とは逆に値が大きいほど追尾予測位置に近いことを示している。また、残差正規化部１０５と同様に処理対象をゲート内画素に限定することで処理負荷の軽減と目標画素の誤抽出の低減を図っている。
【００３８】
【数５】
【００３９】
次に、強度差分算出部１０８が、最新フレームの強度画像における各画素強度値と、追尾予測強度値との差分を算出する。下記式(６)に第ｋフレーム画素(ｉ，ｊ)における強度差分の算出式を示す。下記式(６)より得られる値が小さいほど、すなわち強度差分値が小さいほど、追尾予測強度値との差が小さいことを表している。
【００４０】
【数６】
【００４１】
次に、強度差分正規化部１０９が、ゲート処理部１０４により抽出したゲート内画素を処理対象として、強度差分算出部１０８が算出した強度差分値を、最小値が１，最大値が０となるように正規化を行う。正規化値の算出式を下記式(７)に示す。下記式(７)は、上記式(６)とは逆に値が大きいほど追尾予測強度に近いことを示している。また、残差正規化部１０５と同様に処理対象をゲート内画素に限定することで処理負荷の軽減と目標画素の誤抽出の低減を図っている。
【００４２】
【数７】
【００４３】
次に、目標画素指標算出部１１０が、残差正規化部１０５の出力である残差２次形式正規化値と、距離差分正規化部１０７の出力である距離差分正規化値と、強度差分正規化部１０９の出力である強度差分正規化値とにより、目標画素の抽出指標となる目標画素指標を算出する。目標画素指標は、重み係数をαとし、残差２次形式正規化値を距離差分正規化値により強調した値と、残差２次形式正規化値を強度差分正規化値により強調した値の和として求める。目標画素指標の算出式を下記式(８)に示す。なお、重み係数αはパラメータであり、事前に与えられるものとする。下記式(８)より得られる値は、上記式(１)より得られる残差２次形式に対して追尾予測値に近い画素の値を強調したものであり、値が高いほど目標画素である可能性が高いと判断する。
【００４４】
【数８】
【００４５】
次に、目標画素抽出部１１１が、目標画素指標算出部１１０が算出した目標画素指標の分布に対して閾値処理を行い目標画素の抽出を行う。目標画素抽出に用いる閾値は、目標画素指標の平均および目標画素指標の標準偏差を用いて、下記式(９)を満たす目標画素指標値をもつ画素を目標画素とする。なお、下記式(９)においてβは重み係数であり、事前に与えられるものとする。
【００４６】
【数９】
【００４７】
上記式(９)の判定式により抽出された画素には目標以外の画素が含まれている可能性がある。目標画素は密集して存在すると考えられるので、目標画素抽出部１１１は、抽出した目標画素より孤立点の除去を行う。さらに目標画素の縦横各方向における周辺画素分布を求め、目標領域の切り出しを行う。
【００４８】
次に、追尾点決定部１０２が、初期目標領域における追尾点の決定と同様に、目標領域の中心点の画像座標および強度値を、追尾点情報とし、追尾処理部２０１に対して出力する。
【００４９】
上記のような実施の形態１による追尾装置によれば、追尾目標の位置および速度に加え、強度の予測を行うことにより、追尾予測値に基づく残差２次形式に目標の形状が現れる。この残差２次形式を、追尾予測値に基づく距離差分値と強度差分値とを用いて強調処理を行うことにより、追尾目標がより強調され、追尾目標を構成する目標画素の抽出および目標領域の抽出を容易に行うことが可能となる。
すなわち、位置と速度に加えて強度の予測を行い、追尾処理と目標検出処理を連携させ、追尾予測値に基づく目標画素および目標領域の抽出を行うことにより、テンプレートマッチング等に代表される画像処理を用いた従来の目標画素および目標領域抽出方式と比べ、背景の誤検出を低減し、追尾目標の大きさ、向きの変化などの影響を受けない目標画素および目標領域の抽出が可能となり、追尾精度の向上を図ることができる。
【００５０】
なお、実施の形態１では、同一画角の距離画像と強度画像が同時に取得できる場合を例に説明を行ったが、観測センサから画像中心部の３次元直交座標上の距離と、取得画像の画角情報が精度良く得られていれば、入力画像が強度画像のみであっても、距離画像に相当する情報を算出することは可能である。例えば、観測センサから画像中心部の３次元直交座標上の距離は、追尾目標と観測センサとの距離を検出する外部の測距センサ(図示省略)からの検出信号を入力し、取得画像の画角情報は記憶部に予め格納し、これらから距離画像に相当する情報を算出する処理手段(図示省略)を追尾装置に設けておけばよい。従って、この発明は、画像中心部のセンサ距離と画角情報が得られれば、入力画像が強度画像のみの場合であっても同様の効果を得ることができる。
【００５１】
実施の形態２．
図２はこの発明の実施の形態２による追尾装置の機能ブロック図である。図２において目標検出装置３００は、目標画素指標算出部３１０と目標画素抽出部３１１が実施の形態１による追尾装置と異なっている。従って、実施の形態２による追尾装置の説明は、目標画素指標算出部３１０と目標画素抽出部３１１の動作のみとし、他の機能ブロックの説明は省略する。
【００５２】
目標画素指標算出部３１０は、複数の重み係数αの値を保持し、それぞれのαの値に対して、実施の形態１における目標画素指標算出部１１０と同様に、上記式(８)を用いて目標画素指標を算出する。例えば、目標画素指標算出部３１０が、α＝{０．３，０．５，０．７}の３つの値を保持する場合、目標画素指標算出部３１０は、α＝０．３の場合の目標画素指標ＩＤＣｋα＝０．３と、α＝０．５の場合の目標画素指標ＩＤＣｋα＝０．５と、α＝０．７の場合の目標画素指標ＩＤＣｋα＝０．７とを算出する。
【００５３】
次に、目標画素抽出部３１１が、目標画素指標算出部３１０が算出した複数の目標画素指標それぞれに対して、実施の形態１における目標画素抽出部１１１と同様に、上記式(９)を用いて目標画素の抽出および目標領域の抽出を行う。例えば、目標画素指標算出部３１０が、α＝{０．３，０．５，０．７}の３つの値を保持する場合、目標画素抽出部３１１は、ＩＤＣｋα＝０．３とＩＤＣｋα＝０．５と目標画素指標ＩＤＣｋα＝０．７の、３つの目標画素指標に対して、それぞれ目標画素および目標領域の抽出を行う。
さらに、目標画素抽出部３１１は、それぞれのαに対する抽出結果の中から、目標領域の面積と目標領域内の目標画素密度が１フレーム前の処理で求めた目標領域面積および目標画素密度に最も近い抽出結果を選択し、選択した抽出結果から目標画素および目標領域を決定する。
【００５４】
上記のような実施の形態２による追尾装置によれば、目標画素指標の算出に用いる重み係数αの値を複数保持し、各αの値を用いて目標画素指標の算出と目標画素および目標領域の抽出を行い、１フレーム前の抽出結果に最も近いものを選択することにより適切な重み係数αを選択できる。その結果、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００５５】
実施の形態３．
図３はこの発明の実施の形態３による追尾装置の機能ブロック図である。図３において目標検出装置４００は、目標画素指標算出部４１０が実施の形態１による追尾装置と異なっている。従って、実施の形態３による追尾装置の説明は、目標画素指標算出部４１０の動作のみとし、他の機能ブロックの説明は省略する。
【００５６】
距離差分正規化部１０７が算出する距離差分正規化値は追尾目標予測位置に近いほど値が高くなる。一方、強度差分正規化部１０９が算出する強度差分正規化値は、追尾目標予測位置に関係なく、予測強度に近い程値が高くなる。すなわち、追尾目標以外であっても強度値が近ければ強度差分正規化値は高くなる。
【００５７】
そこで、目標画素指標算出部４１０は、距離差分正規化値の重みを１とし、追尾目標の予測位置から離れる程、強度差分正規化値が小さくなるように、距離差分正規化値を強度差分正規化値の重みとし、目標画素指標を算出する。下記式(１０)に、目標画素指標算出部４１０が使用する目標画素指標算出式を示す。
【００５８】
【数１０】
【００５９】
上記のような実施の形態３による追尾装置によれば、距離差分正規化値を強度差分正規化差分値の重み係数として目標画素指標を算出することにより、たとえ強度差分正規化値の値が高くても追尾予測位置から離れた位置の目標画素指標は低く抑えられるため、追跡目標がより強調された目標画素指標を得ることができる。その結果、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００６０】
実施の形態４．
図４はこの発明の実施の形態４による追尾装置の機能ブロック図である。図４において目標検出装置５００は、目標画素指標算出部５１０が実施の形態２による追尾装置と異なっている。従って、実施の形態４による追尾装置の説明は、目標画素指標算出部５１０の動作のみとし、他の機能ブロックの説明は省略する。
【００６１】
目標画素指標算出部５１０は、複数の重み係数αの値を保持し、それぞれのαの値に対して、実施の形態１における目標画素指標算出部１１０と同様に、上記式(８)を用いて目標画素指標を算出する。さらに、実施の形態３における目標画素指標算出部４１０と同様に上記式(１０)を用いて目標画素指標を算出する。
【００６２】
上記のような実施の形態４による追尾装置によれば、異なる重み係数と、異なる算出式を用いて複数の目標画素指標を算出し、各目標画素指標に対して目標画素および目標領域の抽出を行い、１フレーム前の抽出結果に最も近いものを選択することにより、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００６３】
実施の形態５．
図５はこの発明の実施の形態５による追尾装置の機能ブロック図である。図５において目標検出装置６００は、目標画素指標算出部６１０と閾値処理部６１２が実施の形態１による追尾装置と異なっている。従って、実施の形態５による追尾装置の説明は、目標画素指標算出部６１０および閾値処理部６１２のみとし、ほのか機能ブロックの説明は省略する。
【００６４】
閾値処理部６１２は、残差正規化部１０５が算出した残差２次形式正規化値と、距離差分正規化部１０７が算出した距離差分正規化値と、強度差分正規化部１０９が算出した強度差分正規化値それぞれに対して閾値処理を行い、閾値を超える画素のみを目標画素指標算出対象とする。
例えば、残差２次形式正規化値の平均と標準偏差を求め、下記式(１１)を満たす画素(ｉ，ｊ)を、目標画素指標算出対象とする。
【００６５】
【数１１】
【００６６】
距離差分正規化値、強度差分正規化値それぞれに対しても、残差２次形式正規化値の場合と同様にして目標画素指標算出対象を求める。
【００６７】
次に、目標画素指標算出部６１０は、閾値処理部６１２が抽出した、残差２次形式正規化値における目標画素指標算出対象と距離差分正規化値における目標画素指標算出対象と強度差分正規化値における目標画素指標算出対象の、全てに含まれる画素のみを処理対象として、目標画素指標を算出する。なお、算出式は、実施の形態１における目標画素指標算出部１１０が用いる上記式(８)と同じである。
【００６８】
なお、上記説明では実施の形態１による追尾装置に閾値処理部６１２を追加した場合について示したが、実施の形態２〜４による追尾装置に対しても同様に閾値処理部６１２の追加が可能である。
【００６９】
上記のような実施の形態５による追尾装置によれば、残差２次形式正規化値と距離差分正規化値と強度差分正規化値に対して閾値処理を施し、目標画素指標算出対象の絞り込みを行うことにより、背景部分が除去され、目標画素がより鮮明に強調される。その結果、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００７０】
実施の形態６．
図６はこの発明の実施の形態６による追尾装置の機能ブロック図である。図６において目標検出装置７００は、閾値処理部７１２と目標画素指標算出部７１０が実施の形態２による追尾装置と異なっている。従って、実施の形態６による追尾装置の説明は、閾値処理部７１２および目標画素指標算出部７１０の動作のみとし、他の機能ブロックの説明は省略する。
【００７１】
閾値処理部７１２の動作は、基本的に実施の形態５における閾値処理部６１２と同じ閾値処理を行うが、複数の重み係数γを保持し、それぞれのγに対して閾値処理を実行する点が異なっている。
【００７２】
目標画素指標算出部７１０は、閾値処理部７１２が算出した複数の閾値処理結果それぞれに対して目標画素指標の算出を行う。
目標画素指標算出部７１０は、実施の形態１における目標画素指標算出部１１０と同様に、上記式(８)により目標画素指標の算出を行うが、式(８)における重み係数αの値は１つ以上保持するものとし、αの値を複数保持する場合は、閾値処理部７１２が算出した各閾値処理結果に対して、各αの値を用いて複数の目標画素指標を算出する。
また、目標画素指標算出部７１０は、式(８)の代わりに、実施の形態３における目標画素指標算出部４１０と同様に上記式(１０)を用いて目標画素指標を算出してもよいし、実施の形態４における目標画素指標算出部５１０と同様に、上記式(８)および式(１０)それぞれを用いて、閾値処理部７１２が算出した各閾値処理結果に対して複数の目標画素指標を算出しても良い。
【００７３】
上記のような実施の形態６による追尾装置によれば、残差２次形式正規化値と距離差分正規化値と強度差分正規化値に対する閾値処理を、閾値処理の重み係数を変えて複数回実施し、各閾値処理結果に対して目標画素指標の算出を行い、さらに各目標画素指標に対して目標画素および目標領域の抽出を行い、１フレーム前の抽出結果に最も近いものを選択することにより、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００７４】
実施の形態７．
図７はこの発明の実施の形態７による追尾装置の機能ブロック図である。図７において目標検出装置８００は、追尾点決定部８０２が実施の形態１による追尾装置と異なっている。従って、実施の形態７による追尾装置の説明は追尾点決定部８０２の動作のみとし、他の機能ブロックの説明は省略する。
【００７５】
追尾点決定部８０２は、目標画素抽出部１１１により抽出された目標領域内の目標画素の中で、強度値が高い順にＮ個の目標画素を選択し、強度値を質量と見なして選択したＮ個の目標画素の重心を追尾点とする。
なお、重心点の算出には、強度値の代わりに目標画素指標を用いても良い。
また、上記説明では実施の形態１による追尾装置を例に示したが、実施の形態２〜６による追尾装置に対しても同様の処理が可能である。
【００７６】
上記のような実施の形態７の追尾装置によれば、目標領域内の、強度値の高いまたは目標画素指標の高い複数の目標画素の重心を追尾点とすることにより、追尾フィルタ装置に入力する追尾点が安定し、追尾精度が向上する。
【００７７】
実施の形態８．
図８はこの発明の実施の形態８による追尾装置の機能ブロック図である。図８において追尾フィルタ装置９００は、強度揺らぎ算出部９０３が実施の形態１による追尾装置と異なっている。従って、実施の形態８による追尾装置の説明は強度揺らぎ算出部９０３の動作のみとし、他の機能ブロックの説明は省略する。
【００７８】
追尾処理部２０１は、入力される追尾点の状態に一定量(所定量)の揺らぎを駆動雑音パラメータとして考慮し、追尾予測を行っている。位置および速度の揺らぎについては、想定する運動モデルに基づいて設定可能であるが、強度の揺らぎについては想定が難しい。
そこで、強度揺らぎ算出部９０３では、追尾点強度の時系列変化に対する標準偏差を毎フレーム算出し、算出した強度の標準偏差を、強度の駆動雑音パラメータとして追尾処理部２０１に入力する。
【００７９】
上記のような実施の形態８の追尾装置によれば、観測される追尾点強度よりその標準偏差を求め、追尾処理に用いる強度の駆動雑音パラメータとして用いることにより、強度値の予測精度が向上し、残差２次形式において目標の形状が現れやすくなる。その結果、目標画素および目標領域の抽出精度が向上し、追尾精度の向上が図られる。
【００８０】
なお、残差算出部１０３，距離差分算出部１０６，強度差分算出部１０８は第１の処理手段を構成し、ゲート処理部１０４，残差正規化部１０５，距離差分正規化部１０７、強度差分正規化部１０９は第２の処理手段を構成し、目標画素指標算出部１１０，３１０，４１０，５１０，６１０，７１０、目標画素抽出部１１１，３１１、閾値処理部６１２，７１２は第３の処理手段を構成し、追尾点決定部１０２，８０２は第４の処理手段を構成する。
【００８１】
またこの発明は、上記各実施の形態に限定されるものではなく、上記各実施の形態の可能な組み合わせを全て含むことは云うまでもない。
【符号の説明】
【００８２】
１００，３００，４００，５００，６００，７００，８００ 目標検出装置、１０１ 初期目標領域情報取得部、１０２，８０２ 追尾点決定部、１０３ 残差算出部、１０４ ゲート処理部、１０５ 残差正規化部、１０６ 距離差分算出部、１０７ 距離差分正規化部、１０８ 強度差分算出部、１０９ 強度差分正規化部、１１０，３１０，４１０，５１０，６１０，７１０ 目標画素指標算出部、１１１，３１１ 目標画素抽出部、２００，９００ 追尾フィルタ装置、２０１ 追尾処理部、２０２ 遅延処理部、６１２，７１２ 閾値処理部、９０３ 強度揺らぎ算出部。
【技術分野】
【０００１】
この発明は、連続観測された画像中の目標を追尾する追尾装置に関する。
【背景技術】
【０００２】
連続観測された複数フレームの画像より特定の目標物を追尾する追尾装置では、目標検出処理により最新フレームの入力画像から目標物の位置の検出を行った後、検出された目標物の位置と過去の目標物の動きとに基づいて、次の入力画像における目標物の位置や速度等の状態を予測する追尾処理を実行する。
追尾処理による目標物の状態予測は、目標検出処理による目標物の検出位置に基づいて行われるので、目標検出処理の検出精度が追尾処理の予測精度に影響を与える。
従来の目標検出処理としては、目標物のテンプレート画像を用いて入力画像とのマッチングを行い、最もテンプレート画像に類似している領域(すなわち、テンプレート画像との相関が最も高い領域)を目標物が存在する領域として抽出する方式が一般的である。
例えば、下記特許文献１や特許文献２では、テンプレートマッチングによる目標検出に関する発明が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１４５８８号公報
【特許文献２】特開２００９−８７２３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
テンプレートマッチングによる目標検出における問題点は、複雑背景下において、背景にテンプレートと類似した領域が存在することによる誤検出の発生や、画像上の追尾目標の大きさや向きの時間的な変化にテンプレートが適応できないことによる誤検出の発生などが挙げられる。
上記特許文献１では、背景データベースを保持し、データベース内に保持する背景と一致する画像の背景を除去することで背景の誤検出を低減している。しかし、画像背景が背景データベースに無い場合、背景除去の効果は低く、誤検出が発生する可能性がある。
特許文献２では、エッジ情報とエッジ周辺の輝度情報をテンプレートとして用いることで背景の誤検出を防いでいる。しかし、追尾目標の形状や大きさが変化した場合、テンプレートと入力画像内の追尾目標に差が生じ、誤検出が発生する可能性がある。
【０００５】
さらに、テンプレートマッチングは、目標の位置を１点の座標として求めることはできるが、最新画像上の目標とテンプレートが完全に一致することは無いので、目標画素あるいは目標領域を正確に抽出することはできない。このため、精度良く目標画素あるいは目標領域を抽出するためには別途精度の高い特徴抽出等の画像処理が必要となる。
さらに、最新画像から抽出した目標領域をテンプレートの更新に反映する場合は、目標領域の抽出精度が低いと、テンプレートマッチングの精度が低下してしまうという問題もある。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、最新画像上の目標位置の検出および目標画素あるいは目標領域の抽出を行う際に、テンプレートマッチングや特徴抽出等の画像処理を用いることなく、背景画素の誤抽出を低減し、追尾目標の画像上の大きさや向きの変化に影響を受けない高精度の追尾装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明は、観測センサで同時に観測された同一画角の距離画像と強度画像がフレーム単位で入力され、最新フレーム画像の追尾点情報を入力とし該追尾点の距離画像より求める３次元位置座標と強度画像より得られる強度値を観測ベクトルとし、追尾フィルタにより次フレームにおける追尾目標の状態予測値を出力する追尾フィルタ装置と、前記追尾フィルタ装置からの追尾目標の状態予測値に基づく最新フレーム画像における残差２次形式と、追尾予測位置との距離差分と、追尾予測強度との強度差分により各画素が目標を構成する画素である確からしさを表す目標画素指標を算出し、さらに目標画素指標から最新フレーム画像における目標を構成する目標領域を抽出し、前記目標領域に含まれる画素から前記追尾フィルタ装置への新たな前記追尾点情報を算出して出力する目標検出装置と、を備えたことを特徴とする追尾装置にある。
【発明の効果】
【０００８】
この発明では、テンプレートマッチングや特徴抽出等の画像処理を用いることなく、背景画素の誤抽出を低減し、追尾目標の画像上の大きさや向きの変化に影響を受けない高精度の追尾装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による追尾装置の機能ブロック図である。
【図２】この発明の実施の形態２による追尾装置の機能ブロック図である。
【図３】この発明の実施の形態３による追尾装置の機能ブロック図である。
【図４】この発明の実施の形態４による追尾装置の機能ブロック図である。
【図５】この発明の実施の形態５による追尾装置の機能ブロック図である。
【図６】この発明の実施の形態６による追尾装置の機能ブロック図である。
【図７】この発明の実施の形態７による追尾装置の機能ブロック図である。
【図８】この発明の実施の形態８による追尾装置の機能ブロック図である。
【発明を実施するための形態】
【００１０】
以下、この発明による追尾装置を各実施の形態に従って図面を用いて説明する。なお、各実施の形態において、同一もしくは相当部分は同一符号で示し、重複する説明は省略する。
【００１１】
実施の形態１．
図１はこの発明の実施の形態１による追尾装置の機能ブロック図である。図１において、この発明における追尾装置は、目標検出装置１００と追尾フィルタ装置２００により構成され、同時に取得された、同一画角の距離画像と強度画像が入力として与えられる。ここで、距離画像とは観測面各点の距離および反射強度を取得する観測センサにより生成される、センサから観測面各点までの距離を画素値とする画像であり、強度画像とは前記観測センサにより生成される観測面各点の反射強度を画素値とする画像である。
【００１２】
目標検出装置１００は、追尾フィルタ装置２００が出力する追尾目標の状態予測値に基づいて最新画像上の目標画素および目標領域を抽出し、追尾フィルタ装置２００の入力となる最新画像上の追尾点を決定する。目標検出装置１００は、初期目標領域情報取得部１０１、追尾点決定部１０２、残差算出部１０３、ゲート処理部１０４、残差正規化部１０５、距離差分算出部１０６、距離差分正規化部１０７、強度差分算出部１０８、強度差分正規化部１０９、目標画素指標算出部１１０、目標画素抽出部１１１を有している。
【００１３】
追尾フィルタ装置２００は、目標検出装置１００より入力される追尾点に基づき追尾処理を実行し、次に入力される画像上の追尾点の位置、速度、強度の予測を行い、追尾処理結果として追尾目標の状態予測値を目標検出装置１００に出力する。追尾フィルタ装置２００は、追尾処理部２０１、遅延処理部２０２を有している。
【００１４】
なお、実線矢印は処理またはデータの流れ、破線矢印はデータの流れを示す。
【００１５】
初期目標領域情報取得部１０１は、この発明の追尾装置とは別の装置において実行される、初期入力画像中の追尾目標を含む最小の矩形領域抽出結果を、初期目標領域として取得する。
追尾点決定部１０２は、抽出された目標領域内に含まれる画素から追尾点を算出し、追尾フィルタ装置２００に算出した追尾点を出力する。
【００１６】
残差算出部１０３は、追尾フィルタ装置２００の処理結果である追尾目標の状態予測値と、最新の入力画像の各画素値との残差２次形式の算出を行う。
ゲート処理部１０４は、χ(カイ)２乗分布に基づく閾値(これをゲートサイズと呼ぶ)を用いて、残差算出部１０３において算出した残差２次形式の値がゲートサイズ以下となる画素を、ゲート内画素として抽出する。
残差正規化部１０５は、ゲート処理部１０４において抽出されたゲート内画素を対象として、残差算出部１０３において算出された残差２次形式の値を、最小値が１、最大値が０となるよう正規化を行う。
【００１７】
距離差分算出部１０６は、追尾フィルタ装置２００の処理結果である追尾目標の状態予測値を用いて、センサ位置から追尾点予測位置までの距離(これを追尾点予測距離と呼ぶ)を算出し、さらに、最新の距離画像における各画素距離と追尾点予測距離との距離差分値を算出する。
距離差分正規化部１０７は、ゲート処理部１０４において抽出されたゲート内画素を対象として、距離差分算出部１０６において算出した距離差分値を、最小値が１、最大値が０となるように正規化を行う。
【００１８】
強度差分算出部１０８は、追尾フィルタ装置２００の処理結果である追尾目標の状態予測値を用いて、最新の強度画像における各画素強度値と追尾点予測強度値との差分を算出する。
強度差分正規化部１０９は、ゲート処理部１０４において抽出されたゲート内画素を対象として、強度差分算出部１０８において算出した強度差分値を、最小値が１、最大値が０となるように正規化を行う。
【００１９】
目標画素指標算出部１１０は、残差正規化部１０５において算出した残差２次形式正規化値と、距離差分正規化部１０７において算出した距離差分正規化値と、強度差分正規化部１０９において算出した強度差分正規化値とを用いて、各画素が追尾目標を構成するか否かの判定指標となる目標画素指標を算出する。
目標画素抽出部１１１は、目標画素指標算出部１１０において算出された各目標画素指標値より各画素が目標を構成するか否かを判断し、目標を構成すると判断した画素を目標画素として抽出する。さらに、抽出した全ての目標画素を含む最小矩形領域を目標領域として抽出する。
【００２０】
追尾処理部２０１は、追尾点決定部１０２が出力する追尾点を入力とし、カルマンフィルタ等の追尾フィルタを用いて、追尾点の３次元直交座標上の位置および速度と、追尾点の強度の予測を行う。
遅延処理部２０２は、最新の画像が目標検出装置１００に入力されると同時に、追尾処理部２０１の処理結果である追尾目標の状態予測値が目標検出装置１００に入力されるように、遅延処理を行う。
【００２１】
ここで、この発明の追尾装置は、演算処理部(ＣＰＵ)、記憶部(ＲＯＭ、ＲＡＭ、ハードディスク等)および信号入出力部をハードウェアとして備えるコンピュータ(図示せず)により構成することができる。記憶部には、各機能ブロック１０１〜２０２の機能を実現するためのプログラムが格納され、また追尾処理に必要な後述する観測センサの画角情報等の各種データが予め格納される。
【００２２】
また追尾処理に必要な各種データが外部機器から逐次入力される。例えば、後述する観測センサの３次元直交座標上の位置情報に関し、観測センサが固定の場合、観測センサの３次元直交座標上の位置は一定であるが、観測センサが移動体上に搭載されて移動する場合には可変となる。そこで観測センサが移動する場合には(追尾装置も一緒に移動する構成の場合もある)、観測センサと一緒に移動するＧＰＳ装置等の外部機器から観測センサの３次元直交座標上の位置情報が逐次入力される(いずれも図示省略)。
【００２３】
次に、実施の形態１による追尾装置の一連の動作について説明する。まず、初期目標領域情報取得部１０１が、外部の別装置により抽出された初期画像(第１フレーム画像)内の目標を含む最小矩形領域の、左上および右下の画像座標(画像座標とは、画像上の画素位置を意味する)を初期目標領域情報として取得する。
次に、追尾点決定部１０２が、初期目標領域情報取得部１０１が取得した初期目標領域情報より、目標領域の中心点の画像座標および強度値を、追尾点情報とし、追尾処理部２０１に対して出力する。
【００２４】
次に、追尾処理部２０１が、距離画像と観測センサの３次元直交座標上の位置情報と観測センサの画角情報から、距離画像各画素の３次元直交座標上の位置(以降、３次元位置と呼ぶ)を算出し、追尾点決定部１０２より入力される追尾点情報の画像座標も同様にして３次元位置に変換する。
さらに、追尾処理部２０１は、距離画像と観測センサの３次元位置情報と観測センサの画角情報とから算出した追尾点の３次元位置と強度画像より取得する追尾点の強度を観測ベクトルとして、例えばカルマンフィルタからなる追尾フィルタを用いて、次の観測時刻(すなわち、次フレーム画像取得時刻)における追尾点の、３次元位置と３次元速度と強度の予測を行う(状態予測値)。
なお、カルマンフィルタは一般的に用いられるフィルタであるので、ここでは処理の説明は省略する。
次に、遅延処理部２０２が、次フレーム画像が目標検出装置１００に入力されるのとほぼ同時に、追尾処理部２０１の処理結果である追尾目標の状態予測値が目標検出装置１００に入力されるよう、１フレーム分遅延処理を行う。
【００２５】
次に、最新フレームの距離画像および強度画像と、追尾目標の状態予測値が残差算出部１０３に入力され、残差算出部１０３は、まず距離画像と観測センサの３次元直交座標上の位置情報と観測センサの画角情報から、距離画像各画素の３次元位置を算出する。
さらに、下記式(１)を用いて入力画像各画素に対する残差２次形式を算出する。なお、下記式(１)における残差共分散行列Ｓｋ｜ｋ−１は、追尾処理部２０１内の処理(例えばカルマンフィルタ処理)において算出される。
【００２６】
【数１】
【００２７】
位置および速度の予測値に加えて、強度の予測値を用いて上記式(１)に示す残差２次形式を算出することにより、追尾する目標の形状が残差２次形式の分布に現れる。残差２次形式は、値が小さいほど予測値に近いことを示している。この発明では、この特徴を利用して追尾目標の画素抽出を行う。
【００２８】
次に、ゲート処理部１０４が、自由度が４(残差２次形式の算出は３次元位置と強度を合わせた４次元ベクトルを用いているため自由度を４とする)の場合の、信頼度(下側確率)が９５％となるχ２乗分布の値をゲートサイズｄとして、下記式(２)を満たす画素をゲート内と判定する(以降、ゲート内と判定した画素をゲート内画素と記述する)。なお、使用する信頼度の値は９５％に限定されるものではなく、適用先に応じて変更しても良い。
ゲート処理部１０４によるゲート内画素の抽出により以降の処理の対象をゲート内画素に限定し、処理負荷の軽減と目標画素の誤抽出の低減を図ることができる。
【００２９】
【数２】
【００３０】
次に、残差正規化部１０５が、ゲート処理部１０４において求めたゲート内画素を対象として、残差算出部１０３において算出した残差２次形式を、最小値が１、最大値が０となるように正規化を行う。正規化値の算出式を下記式(３)に示す。下記式(３)は、上記式(１)とは逆に、値が大きいほど追尾予測値との差が小さいことを示している。
【００３１】
【数３】
【００３２】
残差正規化部１０５より得られる残差２次形式正規化値を直接用いて目標画素の抽出を行った場合、追尾目標周辺に値の高い画素が残りやすいため目標画素の誤抽出が発生する可能性が高い。そこで、距離画像と強度画像を用いて目標画素の強調処理を行い、目標画素の誤抽出の低減を図る。
【００３３】
まず、距離差分算出部１０６が、最新フレームの距離画像と観測センサの３次元直交座標上の位置情報と観測センサの画角情報から距離画像各画素の３次元位置を算出し、センサ位置から追尾予測位置までの３次元直交空間上の距離と、センサ位置から各画素位置までの３次元直交空間上の距離との差分絶対値を求め(以降、センサ距離差分値と記載する)、さらに、追尾予測位置と各画素位置との３次元直交空間上の距離をセンサ距離差分値に加えた値を、各画素の距離差分として算出する。
【００３４】
単純にセンサ距離差分値のみを用いると、センサ位置を中心とした半径がセンサ距離差分値の球面付近であれば追尾予測位置と離れている画素であっても強調される可能性があるため、３次元直交空間上で追尾予測点に近い画素が強調されるように、センサ距離差分値に追尾予測位置と画素位置の距離を加えている。
【００３５】
下記式(４)に第ｋフレーム画素(ｉ，ｊ)における距離差分の算出式を示す。下記式(４)より得られる値が小さいほど、すなわち距離差分値が小さいほど、直交３次元空間上での追尾予測位置との距離が近いことを表している。
【００３６】
【数４】
【００３７】
次に、距離差分正規化部１０７が、ゲート処理部１０４により抽出したゲート内画素を処理対象として、距離差分算出部１０６が算出した距離差分値を、最小値が１、最大値が０となるように正規化を行う。正規化値の算出式を下記式(５)に示す。下記式(５)は、上記式(４)とは逆に値が大きいほど追尾予測位置に近いことを示している。また、残差正規化部１０５と同様に処理対象をゲート内画素に限定することで処理負荷の軽減と目標画素の誤抽出の低減を図っている。
【００３８】
【数５】
【００３９】
次に、強度差分算出部１０８が、最新フレームの強度画像における各画素強度値と、追尾予測強度値との差分を算出する。下記式(６)に第ｋフレーム画素(ｉ，ｊ)における強度差分の算出式を示す。下記式(６)より得られる値が小さいほど、すなわち強度差分値が小さいほど、追尾予測強度値との差が小さいことを表している。
【００４０】
【数６】
【００４１】
次に、強度差分正規化部１０９が、ゲート処理部１０４により抽出したゲート内画素を処理対象として、強度差分算出部１０８が算出した強度差分値を、最小値が１，最大値が０となるように正規化を行う。正規化値の算出式を下記式(７)に示す。下記式(７)は、上記式(６)とは逆に値が大きいほど追尾予測強度に近いことを示している。また、残差正規化部１０５と同様に処理対象をゲート内画素に限定することで処理負荷の軽減と目標画素の誤抽出の低減を図っている。
【００４２】
【数７】
【００４３】
次に、目標画素指標算出部１１０が、残差正規化部１０５の出力である残差２次形式正規化値と、距離差分正規化部１０７の出力である距離差分正規化値と、強度差分正規化部１０９の出力である強度差分正規化値とにより、目標画素の抽出指標となる目標画素指標を算出する。目標画素指標は、重み係数をαとし、残差２次形式正規化値を距離差分正規化値により強調した値と、残差２次形式正規化値を強度差分正規化値により強調した値の和として求める。目標画素指標の算出式を下記式(８)に示す。なお、重み係数αはパラメータであり、事前に与えられるものとする。下記式(８)より得られる値は、上記式(１)より得られる残差２次形式に対して追尾予測値に近い画素の値を強調したものであり、値が高いほど目標画素である可能性が高いと判断する。
【００４４】
【数８】
【００４５】
次に、目標画素抽出部１１１が、目標画素指標算出部１１０が算出した目標画素指標の分布に対して閾値処理を行い目標画素の抽出を行う。目標画素抽出に用いる閾値は、目標画素指標の平均および目標画素指標の標準偏差を用いて、下記式(９)を満たす目標画素指標値をもつ画素を目標画素とする。なお、下記式(９)においてβは重み係数であり、事前に与えられるものとする。
【００４６】
【数９】
【００４７】
上記式(９)の判定式により抽出された画素には目標以外の画素が含まれている可能性がある。目標画素は密集して存在すると考えられるので、目標画素抽出部１１１は、抽出した目標画素より孤立点の除去を行う。さらに目標画素の縦横各方向における周辺画素分布を求め、目標領域の切り出しを行う。
【００４８】
次に、追尾点決定部１０２が、初期目標領域における追尾点の決定と同様に、目標領域の中心点の画像座標および強度値を、追尾点情報とし、追尾処理部２０１に対して出力する。
【００４９】
上記のような実施の形態１による追尾装置によれば、追尾目標の位置および速度に加え、強度の予測を行うことにより、追尾予測値に基づく残差２次形式に目標の形状が現れる。この残差２次形式を、追尾予測値に基づく距離差分値と強度差分値とを用いて強調処理を行うことにより、追尾目標がより強調され、追尾目標を構成する目標画素の抽出および目標領域の抽出を容易に行うことが可能となる。
すなわち、位置と速度に加えて強度の予測を行い、追尾処理と目標検出処理を連携させ、追尾予測値に基づく目標画素および目標領域の抽出を行うことにより、テンプレートマッチング等に代表される画像処理を用いた従来の目標画素および目標領域抽出方式と比べ、背景の誤検出を低減し、追尾目標の大きさ、向きの変化などの影響を受けない目標画素および目標領域の抽出が可能となり、追尾精度の向上を図ることができる。
【００５０】
なお、実施の形態１では、同一画角の距離画像と強度画像が同時に取得できる場合を例に説明を行ったが、観測センサから画像中心部の３次元直交座標上の距離と、取得画像の画角情報が精度良く得られていれば、入力画像が強度画像のみであっても、距離画像に相当する情報を算出することは可能である。例えば、観測センサから画像中心部の３次元直交座標上の距離は、追尾目標と観測センサとの距離を検出する外部の測距センサ(図示省略)からの検出信号を入力し、取得画像の画角情報は記憶部に予め格納し、これらから距離画像に相当する情報を算出する処理手段(図示省略)を追尾装置に設けておけばよい。従って、この発明は、画像中心部のセンサ距離と画角情報が得られれば、入力画像が強度画像のみの場合であっても同様の効果を得ることができる。
【００５１】
実施の形態２．
図２はこの発明の実施の形態２による追尾装置の機能ブロック図である。図２において目標検出装置３００は、目標画素指標算出部３１０と目標画素抽出部３１１が実施の形態１による追尾装置と異なっている。従って、実施の形態２による追尾装置の説明は、目標画素指標算出部３１０と目標画素抽出部３１１の動作のみとし、他の機能ブロックの説明は省略する。
【００５２】
目標画素指標算出部３１０は、複数の重み係数αの値を保持し、それぞれのαの値に対して、実施の形態１における目標画素指標算出部１１０と同様に、上記式(８)を用いて目標画素指標を算出する。例えば、目標画素指標算出部３１０が、α＝{０．３，０．５，０．７}の３つの値を保持する場合、目標画素指標算出部３１０は、α＝０．３の場合の目標画素指標ＩＤＣｋα＝０．３と、α＝０．５の場合の目標画素指標ＩＤＣｋα＝０．５と、α＝０．７の場合の目標画素指標ＩＤＣｋα＝０．７とを算出する。
【００５３】
次に、目標画素抽出部３１１が、目標画素指標算出部３１０が算出した複数の目標画素指標それぞれに対して、実施の形態１における目標画素抽出部１１１と同様に、上記式(９)を用いて目標画素の抽出および目標領域の抽出を行う。例えば、目標画素指標算出部３１０が、α＝{０．３，０．５，０．７}の３つの値を保持する場合、目標画素抽出部３１１は、ＩＤＣｋα＝０．３とＩＤＣｋα＝０．５と目標画素指標ＩＤＣｋα＝０．７の、３つの目標画素指標に対して、それぞれ目標画素および目標領域の抽出を行う。
さらに、目標画素抽出部３１１は、それぞれのαに対する抽出結果の中から、目標領域の面積と目標領域内の目標画素密度が１フレーム前の処理で求めた目標領域面積および目標画素密度に最も近い抽出結果を選択し、選択した抽出結果から目標画素および目標領域を決定する。
【００５４】
上記のような実施の形態２による追尾装置によれば、目標画素指標の算出に用いる重み係数αの値を複数保持し、各αの値を用いて目標画素指標の算出と目標画素および目標領域の抽出を行い、１フレーム前の抽出結果に最も近いものを選択することにより適切な重み係数αを選択できる。その結果、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００５５】
実施の形態３．
図３はこの発明の実施の形態３による追尾装置の機能ブロック図である。図３において目標検出装置４００は、目標画素指標算出部４１０が実施の形態１による追尾装置と異なっている。従って、実施の形態３による追尾装置の説明は、目標画素指標算出部４１０の動作のみとし、他の機能ブロックの説明は省略する。
【００５６】
距離差分正規化部１０７が算出する距離差分正規化値は追尾目標予測位置に近いほど値が高くなる。一方、強度差分正規化部１０９が算出する強度差分正規化値は、追尾目標予測位置に関係なく、予測強度に近い程値が高くなる。すなわち、追尾目標以外であっても強度値が近ければ強度差分正規化値は高くなる。
【００５７】
そこで、目標画素指標算出部４１０は、距離差分正規化値の重みを１とし、追尾目標の予測位置から離れる程、強度差分正規化値が小さくなるように、距離差分正規化値を強度差分正規化値の重みとし、目標画素指標を算出する。下記式(１０)に、目標画素指標算出部４１０が使用する目標画素指標算出式を示す。
【００５８】
【数１０】
【００５９】
上記のような実施の形態３による追尾装置によれば、距離差分正規化値を強度差分正規化差分値の重み係数として目標画素指標を算出することにより、たとえ強度差分正規化値の値が高くても追尾予測位置から離れた位置の目標画素指標は低く抑えられるため、追跡目標がより強調された目標画素指標を得ることができる。その結果、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００６０】
実施の形態４．
図４はこの発明の実施の形態４による追尾装置の機能ブロック図である。図４において目標検出装置５００は、目標画素指標算出部５１０が実施の形態２による追尾装置と異なっている。従って、実施の形態４による追尾装置の説明は、目標画素指標算出部５１０の動作のみとし、他の機能ブロックの説明は省略する。
【００６１】
目標画素指標算出部５１０は、複数の重み係数αの値を保持し、それぞれのαの値に対して、実施の形態１における目標画素指標算出部１１０と同様に、上記式(８)を用いて目標画素指標を算出する。さらに、実施の形態３における目標画素指標算出部４１０と同様に上記式(１０)を用いて目標画素指標を算出する。
【００６２】
上記のような実施の形態４による追尾装置によれば、異なる重み係数と、異なる算出式を用いて複数の目標画素指標を算出し、各目標画素指標に対して目標画素および目標領域の抽出を行い、１フレーム前の抽出結果に最も近いものを選択することにより、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００６３】
実施の形態５．
図５はこの発明の実施の形態５による追尾装置の機能ブロック図である。図５において目標検出装置６００は、目標画素指標算出部６１０と閾値処理部６１２が実施の形態１による追尾装置と異なっている。従って、実施の形態５による追尾装置の説明は、目標画素指標算出部６１０および閾値処理部６１２のみとし、ほのか機能ブロックの説明は省略する。
【００６４】
閾値処理部６１２は、残差正規化部１０５が算出した残差２次形式正規化値と、距離差分正規化部１０７が算出した距離差分正規化値と、強度差分正規化部１０９が算出した強度差分正規化値それぞれに対して閾値処理を行い、閾値を超える画素のみを目標画素指標算出対象とする。
例えば、残差２次形式正規化値の平均と標準偏差を求め、下記式(１１)を満たす画素(ｉ，ｊ)を、目標画素指標算出対象とする。
【００６５】
【数１１】
【００６６】
距離差分正規化値、強度差分正規化値それぞれに対しても、残差２次形式正規化値の場合と同様にして目標画素指標算出対象を求める。
【００６７】
次に、目標画素指標算出部６１０は、閾値処理部６１２が抽出した、残差２次形式正規化値における目標画素指標算出対象と距離差分正規化値における目標画素指標算出対象と強度差分正規化値における目標画素指標算出対象の、全てに含まれる画素のみを処理対象として、目標画素指標を算出する。なお、算出式は、実施の形態１における目標画素指標算出部１１０が用いる上記式(８)と同じである。
【００６８】
なお、上記説明では実施の形態１による追尾装置に閾値処理部６１２を追加した場合について示したが、実施の形態２〜４による追尾装置に対しても同様に閾値処理部６１２の追加が可能である。
【００６９】
上記のような実施の形態５による追尾装置によれば、残差２次形式正規化値と距離差分正規化値と強度差分正規化値に対して閾値処理を施し、目標画素指標算出対象の絞り込みを行うことにより、背景部分が除去され、目標画素がより鮮明に強調される。その結果、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００７０】
実施の形態６．
図６はこの発明の実施の形態６による追尾装置の機能ブロック図である。図６において目標検出装置７００は、閾値処理部７１２と目標画素指標算出部７１０が実施の形態２による追尾装置と異なっている。従って、実施の形態６による追尾装置の説明は、閾値処理部７１２および目標画素指標算出部７１０の動作のみとし、他の機能ブロックの説明は省略する。
【００７１】
閾値処理部７１２の動作は、基本的に実施の形態５における閾値処理部６１２と同じ閾値処理を行うが、複数の重み係数γを保持し、それぞれのγに対して閾値処理を実行する点が異なっている。
【００７２】
目標画素指標算出部７１０は、閾値処理部７１２が算出した複数の閾値処理結果それぞれに対して目標画素指標の算出を行う。
目標画素指標算出部７１０は、実施の形態１における目標画素指標算出部１１０と同様に、上記式(８)により目標画素指標の算出を行うが、式(８)における重み係数αの値は１つ以上保持するものとし、αの値を複数保持する場合は、閾値処理部７１２が算出した各閾値処理結果に対して、各αの値を用いて複数の目標画素指標を算出する。
また、目標画素指標算出部７１０は、式(８)の代わりに、実施の形態３における目標画素指標算出部４１０と同様に上記式(１０)を用いて目標画素指標を算出してもよいし、実施の形態４における目標画素指標算出部５１０と同様に、上記式(８)および式(１０)それぞれを用いて、閾値処理部７１２が算出した各閾値処理結果に対して複数の目標画素指標を算出しても良い。
【００７３】
上記のような実施の形態６による追尾装置によれば、残差２次形式正規化値と距離差分正規化値と強度差分正規化値に対する閾値処理を、閾値処理の重み係数を変えて複数回実施し、各閾値処理結果に対して目標画素指標の算出を行い、さらに各目標画素指標に対して目標画素および目標領域の抽出を行い、１フレーム前の抽出結果に最も近いものを選択することにより、目標画素および目標領域の抽出精度が向上し、追尾精度が向上する。
【００７４】
実施の形態７．
図７はこの発明の実施の形態７による追尾装置の機能ブロック図である。図７において目標検出装置８００は、追尾点決定部８０２が実施の形態１による追尾装置と異なっている。従って、実施の形態７による追尾装置の説明は追尾点決定部８０２の動作のみとし、他の機能ブロックの説明は省略する。
【００７５】
追尾点決定部８０２は、目標画素抽出部１１１により抽出された目標領域内の目標画素の中で、強度値が高い順にＮ個の目標画素を選択し、強度値を質量と見なして選択したＮ個の目標画素の重心を追尾点とする。
なお、重心点の算出には、強度値の代わりに目標画素指標を用いても良い。
また、上記説明では実施の形態１による追尾装置を例に示したが、実施の形態２〜６による追尾装置に対しても同様の処理が可能である。
【００７６】
上記のような実施の形態７の追尾装置によれば、目標領域内の、強度値の高いまたは目標画素指標の高い複数の目標画素の重心を追尾点とすることにより、追尾フィルタ装置に入力する追尾点が安定し、追尾精度が向上する。
【００７７】
実施の形態８．
図８はこの発明の実施の形態８による追尾装置の機能ブロック図である。図８において追尾フィルタ装置９００は、強度揺らぎ算出部９０３が実施の形態１による追尾装置と異なっている。従って、実施の形態８による追尾装置の説明は強度揺らぎ算出部９０３の動作のみとし、他の機能ブロックの説明は省略する。
【００７８】
追尾処理部２０１は、入力される追尾点の状態に一定量(所定量)の揺らぎを駆動雑音パラメータとして考慮し、追尾予測を行っている。位置および速度の揺らぎについては、想定する運動モデルに基づいて設定可能であるが、強度の揺らぎについては想定が難しい。
そこで、強度揺らぎ算出部９０３では、追尾点強度の時系列変化に対する標準偏差を毎フレーム算出し、算出した強度の標準偏差を、強度の駆動雑音パラメータとして追尾処理部２０１に入力する。
【００７９】
上記のような実施の形態８の追尾装置によれば、観測される追尾点強度よりその標準偏差を求め、追尾処理に用いる強度の駆動雑音パラメータとして用いることにより、強度値の予測精度が向上し、残差２次形式において目標の形状が現れやすくなる。その結果、目標画素および目標領域の抽出精度が向上し、追尾精度の向上が図られる。
【００８０】
なお、残差算出部１０３，距離差分算出部１０６，強度差分算出部１０８は第１の処理手段を構成し、ゲート処理部１０４，残差正規化部１０５，距離差分正規化部１０７、強度差分正規化部１０９は第２の処理手段を構成し、目標画素指標算出部１１０，３１０，４１０，５１０，６１０，７１０、目標画素抽出部１１１，３１１、閾値処理部６１２，７１２は第３の処理手段を構成し、追尾点決定部１０２，８０２は第４の処理手段を構成する。
【００８１】
またこの発明は、上記各実施の形態に限定されるものではなく、上記各実施の形態の可能な組み合わせを全て含むことは云うまでもない。
【符号の説明】
【００８２】
１００，３００，４００，５００，６００，７００，８００ 目標検出装置、１０１ 初期目標領域情報取得部、１０２，８０２ 追尾点決定部、１０３ 残差算出部、１０４ ゲート処理部、１０５ 残差正規化部、１０６ 距離差分算出部、１０７ 距離差分正規化部、１０８ 強度差分算出部、１０９ 強度差分正規化部、１１０，３１０，４１０，５１０，６１０，７１０ 目標画素指標算出部、１１１，３１１ 目標画素抽出部、２００，９００ 追尾フィルタ装置、２０１ 追尾処理部、２０２ 遅延処理部、６１２，７１２ 閾値処理部、９０３ 強度揺らぎ算出部。
【特許請求の範囲】
【請求項１】
観測センサで同時に観測された同一画角の距離画像と強度画像がフレーム単位で入力され、
最新フレーム画像の追尾点情報を入力とし該追尾点の距離画像より求める３次元位置座標と強度画像より得られる強度値を観測ベクトルとし、追尾フィルタにより次フレームにおける追尾目標の状態予測値を出力する追尾フィルタ装置と、
前記追尾フィルタ装置からの追尾目標の状態予測値に基づく最新フレーム画像における残差２次形式と、追尾予測位置との距離差分と、追尾予測強度との強度差分により各画素が目標を構成する画素である確からしさを表す目標画素指標を算出し、さらに目標画素指標から最新フレーム画像における目標を構成する目標領域を抽出し、前記目標領域に含まれる画素から前記追尾フィルタ装置への新たな前記追尾点情報を算出して出力する目標検出装置と、
を備えたことを特徴とする追尾装置。
【請求項２】
追尾フィルタ装置は、追尾点情報の該追尾点の距離画像より求める３次元位置座標と強度画像より得られる強度値を観測ベクトルとし、追尾フィルタにより次フレームにおける追尾点の３次元位置座標、３次元速度、強度の７次元の状態予測値を求め、
目標検出装置は、
前記追尾フィルタ装置が出力する前記状態予測値と距離画像より求める各画素の３次元位置と強度画像より得られる各画素の強度値とにより求める各画素の残差２次形式値と、前記状態予測値の追尾予測位置と前記各画素の３次元位置との距離差分値と、前記状態予測値の追尾予測強度と前記各画素の強度値との強度差分値とを求める第１の処理手段と、
前記残差２次形式値と前記距離差分値と前記強度差分値とをそれぞれ正規化する第２の処理手段と、
距離差分正規化値と強度差分正規化値にそれぞれ重み係数を掛け、前記残差２次形式正規化値との積和により各画素の目標画素指標を算出し、前記目標画素指標の平均と標準偏差より目標画素検出閾値を定め、目標画素指標値が前記目標画素検出閾値を超える画素を目標画素として抽出し、さらに抽出した前記目標画素の分布より目標領域を抽出する第３の処理手段と、
抽出した前記目標領域の中心位置を最新フレーム画像における追尾点とし、前記追尾点情報として追尾フィルタ装置へ入力する第４の処理手段と、
を含む、
ことを特徴とする請求項１に記載の追尾装置。
【請求項３】
目標検出装置は、第３の処理手段が、距離差分正規化値と強度差分正規化値の重みを複数保持し、それぞれの重みを用いて目標画素指標の算出と目標画素および目標領域の抽出を行い、前記目標領域の大きさおよび前記目標領域内の前記目標画素の密度が１フレーム前の抽出結果に最も近い目標領域を選択することを特徴とする請求項２に記載の追尾装置。
【請求項４】
目標検出装置は、第３の処理手段が、距離差分正規化値の重みを１とし、さらに距離差分正規化値を強度差分正規化値の重みとして用いて目標画素指標の算出を行うことを特徴とする請求項２に記載の追尾装置。
【請求項５】
目標検出装置は、第３の処理手段が、距離差分正規化値と強度差分正規化値の重みを複数保持し、それぞれの重みを用いて目標画素指標の算出を行い、さらに、前記距離差分正規化値の重みを１とし、前記距離差分正規化値を前記強度差分正規化値の重みとして用いて目標画素指標の算出を行い、得られた複数の前記目標画素指標それぞれに対して目標画素および目標領域の抽出を行い、前記目標領域の大きさおよび前記目標領域内の前記目標画素の密度が１フレーム前の抽出結果に最も近い目標領域を選択することを特徴とする請求項２に記載の追尾装置。
【請求項６】
目標検出装置は、第３の処理手段が、残差２次形式正規化値と距離差分正規化値と強度差分正規化値に対して平均と標準偏差に基づく処理対象検出閾値をそれぞれ算出し、前記残差２次形式正規化値、前記距離差分正規化値および前記強度差分正規化値が全てそれぞれの前記処理対象検出閾値を超える画素を処理対象として目標画素指標を算出することを特徴とする請求項２から５までのいずれか１項に記載の追尾装置。
【請求項７】
目標検出装置は、第３の処理手段が、残差２次形式正規化値と距離差分正規化値と強度差分正規化値に対して平均と標準偏差に基づき前記標準偏差に掛ける係数を複数用いて処理対象検出閾値をそれぞれ複数算出し、複数の前記処理対象検出閾値それぞれを用いて、前記残差２次形式正規化値、前記距離差分正規化値および前記強度差分正規化値が全てそれぞれの前記処理対象検出閾値を超える画素を処理対象として目標画素指標を複数算出し、前記複数の目標画素指標それぞれに対して目標画素および目標領域の抽出を行い、前記目標領域の大きさおよび前記目標領域内の前記目標画素の密度が１フレーム前の抽出結果に最も近い目標領域を選択することを特徴とする請求項２から５までのいずれか１項に記載の追尾装置。
【請求項８】
目標検出装置は、第４の処理手段が、目標領域内の目標画素の中から強度値が高い順にＮ個の画素を選択し、強度値を質量と見なして選択した前記Ｎ個の目標画素の重心を追尾点とすることを特徴とする請求項２から７までのいずれか１項に記載の追尾装置。
【請求項９】
目標検出装置は、第４の処理手段が、目標領域内の目標画素の中から目標画素指標が高い順にＮ個の画素を選択し、目標画素指標値を質量と見なして選択した前記Ｎ個の目標画素の重心を追尾点とすることを特徴とする請求項２から７までのいずれか１項に記載の追尾装置。
【請求項１０】
前記追尾フィルタ装置は、追尾点強度の時系列変化に対する標準偏差を求め、前記追尾点強度標準偏差を追尾点強度の駆動雑音パラメータとして追尾処理を行うことを特徴とする請求項２から９までのいずれか１項に記載の追尾装置。
【請求項１１】
外部からの観測センサから画像中心部の３次元直交座標上の距離および予め記憶部に格納された取得画像の画角情報から距離画像に相当する情報を算出する第５の処理手段をさらに備え、入力画像として距離画像を不要としたことを特徴とする請求項１〜１０までのいずれか１項に記載の追尾装置。
【請求項１】
観測センサで同時に観測された同一画角の距離画像と強度画像がフレーム単位で入力され、
最新フレーム画像の追尾点情報を入力とし該追尾点の距離画像より求める３次元位置座標と強度画像より得られる強度値を観測ベクトルとし、追尾フィルタにより次フレームにおける追尾目標の状態予測値を出力する追尾フィルタ装置と、
前記追尾フィルタ装置からの追尾目標の状態予測値に基づく最新フレーム画像における残差２次形式と、追尾予測位置との距離差分と、追尾予測強度との強度差分により各画素が目標を構成する画素である確からしさを表す目標画素指標を算出し、さらに目標画素指標から最新フレーム画像における目標を構成する目標領域を抽出し、前記目標領域に含まれる画素から前記追尾フィルタ装置への新たな前記追尾点情報を算出して出力する目標検出装置と、
を備えたことを特徴とする追尾装置。
【請求項２】
追尾フィルタ装置は、追尾点情報の該追尾点の距離画像より求める３次元位置座標と強度画像より得られる強度値を観測ベクトルとし、追尾フィルタにより次フレームにおける追尾点の３次元位置座標、３次元速度、強度の７次元の状態予測値を求め、
目標検出装置は、
前記追尾フィルタ装置が出力する前記状態予測値と距離画像より求める各画素の３次元位置と強度画像より得られる各画素の強度値とにより求める各画素の残差２次形式値と、前記状態予測値の追尾予測位置と前記各画素の３次元位置との距離差分値と、前記状態予測値の追尾予測強度と前記各画素の強度値との強度差分値とを求める第１の処理手段と、
前記残差２次形式値と前記距離差分値と前記強度差分値とをそれぞれ正規化する第２の処理手段と、
距離差分正規化値と強度差分正規化値にそれぞれ重み係数を掛け、前記残差２次形式正規化値との積和により各画素の目標画素指標を算出し、前記目標画素指標の平均と標準偏差より目標画素検出閾値を定め、目標画素指標値が前記目標画素検出閾値を超える画素を目標画素として抽出し、さらに抽出した前記目標画素の分布より目標領域を抽出する第３の処理手段と、
抽出した前記目標領域の中心位置を最新フレーム画像における追尾点とし、前記追尾点情報として追尾フィルタ装置へ入力する第４の処理手段と、
を含む、
ことを特徴とする請求項１に記載の追尾装置。
【請求項３】
目標検出装置は、第３の処理手段が、距離差分正規化値と強度差分正規化値の重みを複数保持し、それぞれの重みを用いて目標画素指標の算出と目標画素および目標領域の抽出を行い、前記目標領域の大きさおよび前記目標領域内の前記目標画素の密度が１フレーム前の抽出結果に最も近い目標領域を選択することを特徴とする請求項２に記載の追尾装置。
【請求項４】
目標検出装置は、第３の処理手段が、距離差分正規化値の重みを１とし、さらに距離差分正規化値を強度差分正規化値の重みとして用いて目標画素指標の算出を行うことを特徴とする請求項２に記載の追尾装置。
【請求項５】
目標検出装置は、第３の処理手段が、距離差分正規化値と強度差分正規化値の重みを複数保持し、それぞれの重みを用いて目標画素指標の算出を行い、さらに、前記距離差分正規化値の重みを１とし、前記距離差分正規化値を前記強度差分正規化値の重みとして用いて目標画素指標の算出を行い、得られた複数の前記目標画素指標それぞれに対して目標画素および目標領域の抽出を行い、前記目標領域の大きさおよび前記目標領域内の前記目標画素の密度が１フレーム前の抽出結果に最も近い目標領域を選択することを特徴とする請求項２に記載の追尾装置。
【請求項６】
目標検出装置は、第３の処理手段が、残差２次形式正規化値と距離差分正規化値と強度差分正規化値に対して平均と標準偏差に基づく処理対象検出閾値をそれぞれ算出し、前記残差２次形式正規化値、前記距離差分正規化値および前記強度差分正規化値が全てそれぞれの前記処理対象検出閾値を超える画素を処理対象として目標画素指標を算出することを特徴とする請求項２から５までのいずれか１項に記載の追尾装置。
【請求項７】
目標検出装置は、第３の処理手段が、残差２次形式正規化値と距離差分正規化値と強度差分正規化値に対して平均と標準偏差に基づき前記標準偏差に掛ける係数を複数用いて処理対象検出閾値をそれぞれ複数算出し、複数の前記処理対象検出閾値それぞれを用いて、前記残差２次形式正規化値、前記距離差分正規化値および前記強度差分正規化値が全てそれぞれの前記処理対象検出閾値を超える画素を処理対象として目標画素指標を複数算出し、前記複数の目標画素指標それぞれに対して目標画素および目標領域の抽出を行い、前記目標領域の大きさおよび前記目標領域内の前記目標画素の密度が１フレーム前の抽出結果に最も近い目標領域を選択することを特徴とする請求項２から５までのいずれか１項に記載の追尾装置。
【請求項８】
目標検出装置は、第４の処理手段が、目標領域内の目標画素の中から強度値が高い順にＮ個の画素を選択し、強度値を質量と見なして選択した前記Ｎ個の目標画素の重心を追尾点とすることを特徴とする請求項２から７までのいずれか１項に記載の追尾装置。
【請求項９】
目標検出装置は、第４の処理手段が、目標領域内の目標画素の中から目標画素指標が高い順にＮ個の画素を選択し、目標画素指標値を質量と見なして選択した前記Ｎ個の目標画素の重心を追尾点とすることを特徴とする請求項２から７までのいずれか１項に記載の追尾装置。
【請求項１０】
前記追尾フィルタ装置は、追尾点強度の時系列変化に対する標準偏差を求め、前記追尾点強度標準偏差を追尾点強度の駆動雑音パラメータとして追尾処理を行うことを特徴とする請求項２から９までのいずれか１項に記載の追尾装置。
【請求項１１】
外部からの観測センサから画像中心部の３次元直交座標上の距離および予め記憶部に格納された取得画像の画角情報から距離画像に相当する情報を算出する第５の処理手段をさらに備え、入力画像として距離画像を不要としたことを特徴とする請求項１〜１０までのいずれか１項に記載の追尾装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１９６９４０（Ｐ２０１１−１９６９４０Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６６６７２（Ｐ２０１０−６６６７２）
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]