移動体画像追尾装置
【課題】付加センサを追加せず、追尾性能の劣化を改善する。
【解決手段】実施形態の移動体画像追尾装置は、駆動部、カメラセンサ、追尾誤差検出部、角度センサ、角速度センサ、第１計算部、第２計算部、補正追尾誤差検出部、生成部、および制御部を含む。追尾誤差検出部は、画像データから、移動体の視野中心からのずれ量である追尾誤差を検出する。第１計算部は、追尾誤差と角度とを用いて、移動体の位置ベクトルと速度ベクトルを計算する。第２計算部は、角度からカメラセンサの視軸ベクトルを計算する。補正追尾誤差検出部は、視軸ベクトルと位置ベクトルとの関係および速度ベクトルから、追尾誤差検出値が一定であるサンプリング期間よりも短い期間ごとに補正追尾誤差を計算する。生成部は、補正追尾誤差を使用して移動体を追尾するように駆動部を駆動する角速度指令値を生成する。制御部は、角速度指令値と角速度との差がなくなるように駆動部を制御する。
【解決手段】実施形態の移動体画像追尾装置は、駆動部、カメラセンサ、追尾誤差検出部、角度センサ、角速度センサ、第１計算部、第２計算部、補正追尾誤差検出部、生成部、および制御部を含む。追尾誤差検出部は、画像データから、移動体の視野中心からのずれ量である追尾誤差を検出する。第１計算部は、追尾誤差と角度とを用いて、移動体の位置ベクトルと速度ベクトルを計算する。第２計算部は、角度からカメラセンサの視軸ベクトルを計算する。補正追尾誤差検出部は、視軸ベクトルと位置ベクトルとの関係および速度ベクトルから、追尾誤差検出値が一定であるサンプリング期間よりも短い期間ごとに補正追尾誤差を計算する。生成部は、補正追尾誤差を使用して移動体を追尾するように駆動部を駆動する角速度指令値を生成する。制御部は、角速度指令値と角速度との差がなくなるように駆動部を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、全方向に渡り移動する目標に対してカメラ等の目標認識センサを追尾させるための移動体画像追尾装置に関する。
【背景技術】
【０００２】
近年、空港やプラントなど大型施設、及び発電所や水道施設などのライフラインに関わる施設での保安設備、並びにＩＴＳなどの交通情報支援システムなどにおいて、ＩＴＶカメラ等を用いて対象物を追跡し、継続した監視や詳細な情報を入手するシステムが多く商品化されている。これらのシステムは、地上設置型だけでなく、プラットホームとして車両、船舶または航空機などを想定し、小型かつ耐振性を考慮した構造で、振動・動揺に対する外乱抑圧を行っている。更に、複数の対象物を順次、追尾できるように、旋回速度を高速化し、対象物への指向を短時間に行えることが重要になってきている。
【０００３】
このような移動体画像追尾システムは、カメラセンサから目標の追尾誤差を検出するため、カメラセンサの性能に大きく依存している。つまり、目標をカメラセンサにて撮影した際の追尾誤差が視野内に収まらなければ目標を見失ってしまう。ここで、カメラセンサは、撮影画像から追尾誤差を抽出する画像処理を経るため、撮影間隔、つまりサンプリング時間の高速化が難しく、目標の追尾には遅れが生じてしまう。
【０００４】
このため、目標の移動速度が速くなった場合には、カメラの視野外になってしまい、追尾不能になる可能性がある。
【０００５】
また、このような移動体画像追尾システムは、全方向に渡り移動する目標に対して追尾するために、ジンバル構造では少なくとも２軸以上を備える必要がある。２軸ジンバルでは、対象物が天頂、もしくは天頂付近を通過する場合にはＡＺ軸は瞬時に１８０度回転する必要があり、目標の追尾性能はＡＺ軸の駆動特性に大きく依存している。さらに、ジンバルの駆動制御系は高サンプリングで実現することが容易であるが、ジンバルの駆動指令は追尾誤差を元に生成されるため、カメラセンサのサンプリングからは必ず遅延を生じてしまう。このため、目標の移動速度が速くなった場合には、ジンバル指令に遅延があるとモータ性能によっては駆動能力の不足により、カメラの視野外になってしまう可能性がある。
【０００６】
従来の画像追尾システムでは、画像中の対象物の位置を認識する際に、画像範囲を限定して演算処理を少なくして安定に対象物の位置を捕捉させようとしている。
【０００７】
また、目標物からの画像情報が得られなくても目標位置を推定する手法として、測長センサにより目標物と画像追尾システムの距離を測定し、これにより目標位置を推定して補正する方法が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−２８６６９９号公報
【特許文献２】特開２００１−３１７８９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このような従来技術において、画像範囲を限定して演算処理を少なくする方法では、カメラのサンプリングを改善することが可能であるが、その代わりにカメラ視野が狭くなり、目標の追尾誤差許容量が小さくなってしまう。このため、目標の移動速度が速くなった場合、目標がカメラの視野外になり、追尾不能になる可能性がある点に対しては改善効果を得ることが難しい。
【００１０】
また、目標物と画像追尾システムとの距離を測定し位置を推定する手法では、測長センサを必要とし、測長センサを搭載していない画像追尾システムにとってはコストを増加してしまう。さらに、目標の位置の推定精度は測長精度に依存しており、十分な追尾性能を得るためには非常に高精度な測長センサが必要となってしまう。
【００１１】
発明が解決しようとする課題は、付加センサを追加することなく、追尾性能の劣化を改善する移動体画像追尾装置を提供することである。
【課題を解決するための手段】
【００１２】
実施形態によれば、移動体画像追尾装置は、駆動部と、カメラセンサと、追尾誤差検出部と、角度センサと、角速度センサと、第１計算部と、第２計算部と、補正追尾誤差検出部と、生成部と、制御部とを含む。駆動部はそれぞれ、垂直方向に向けられ回転自在に支持されるアジマス軸と、このアジマス軸と直交する水平方向に設けられ、回転自在に支持され水平方向の正面から天頂に向け回転が可能なエレベーション軸とにそれぞれ連結され、各々を個別に回転駆動する。カメラセンサは、エレベーション軸に支持され、移動体を撮影して画像データを取得する。追尾誤差検出部は、画像データから、移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する。角度センサは、駆動部ごとに、回転軸回りの角度を検出する。角速度センサは、駆動部ごとに、回転軸回りの角速度を検出する。第１計算部は、追尾誤差検出値と角度とを用いて、移動体の位置ベクトルと速度ベクトルを計算する。第２計算部は、角度からカメラセンサの視軸ベクトルを計算する。補正追尾誤差検出部は、視軸ベクトルと位置ベクトルとの関係および速度ベクトルから、追尾誤差検出値が一定であるサンプリング期間よりも短い期間ごとに補正追尾誤差を計算する。生成部は、補正追尾誤差を使用して移動体を追尾するように駆動部を駆動する角速度指令値を生成する。制御部は、角速度指令値と角速度との差がなくなるように駆動部を制御する。
【図面の簡単な説明】
【００１３】
【図１】実施形態の移動体画像追尾装置のブロック図。
【図２】図１のジンバル機構を示す図。
【図３】図１の移動体画像追尾装置の補正制御系を示す概略図。
【図４】実施形態のカメラ視野と移動体との追尾誤差を示す図。
【図５】（ａ）は目標の軌跡と視軸の軌跡の概要を表した図であり、（ｂ）は目標と視軸ベクトルと視軸ベクトルと目標位置ベクトルとの関係を示す図。
【図６】天頂からカメラ視野を２次元平面状に拡大した図。
【図７】図６よりも拡大したカメラ視野と各ベクトルとの関係を示す図。
【図８】カメラからの追尾誤差と補正追尾誤差計算部による補正追尾誤差との関係を表した図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施形態に係る移動体画像追尾装置について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
実施形態の移動体画像追尾装置は、移動体画像追尾機構の制御システムを、画像トラッキングシステムに適用したものである。
【００１５】
（第１の実施形態）
本実施形態の移動体画像追尾装置について図１を参照して説明する。本実施形態の移動体画像追尾装置は、第１および第２のジンバル１１１，１２１、第１および第２駆動部１１２，１２２、第１および第２の角速度センサ１１３，１２３、第１および第２の角度センサ１１４，１２４、カメラセンサ１４０、角速度指令生成部１５０、駆動制御部１６０、目標位置ベクトル計算部１７１、視軸ベクトル計算部１７２、追尾誤差検出部１７３、目標速度ベクトル計算部１７４、および補正追尾誤差計算部１７５を含む。また、駆動制御部１６０は、第１のサーボ制御部１６１、および第２のサーボ制御部１６２を含んでいる。
【００１６】
第１のジンバル１１１は、垂直方向に向けられ回転自由に支持されるアジマス軸１１０として第１のジンバル軸を中心に回転する。第２のジンバル１２１は、このアジマス軸と直交する水平方向に設けられ、回転自由に支持されるエレベーション軸１２０として第２のジンバル軸を中心に回転する。
第１および第２の駆動部１１２，１２２は、それぞれ、第１および第２のジンバル１１１，１２１を回転駆動する。
第１の角速度センサ１１３は、第１のジンバル軸を中心に回転する第１のジンバル１１１の角速度を検出する。第２の角速度センサ１２４は、第２のジンバル軸を中心に回転する第２のジンバル１２１の角速度を検出する。
第１の角度センサ１１４は、第１のジンバル１１１のジンバル固定部に対する回転角度を検出する。第２の角速度センサ１２４は、第２のジンバル１２１の第１のジンバルに対する回転角度を検出する。
【００１７】
カメラセンサ１４０は、第２のジンバル１２１に支持され、移動体を認識して画像データを得る。
追尾誤差検出部１７３は、カメラセンサ１４０から取得した画像データに画像処理を施して追尾誤差検出値を検出する。追尾誤差検出部１７３は、一般的には２値化により白黒画像にし、移動体の特徴点を抽出することでカメラ視野内の位置が識別され、視野中心からの２方向のずれ量（ΔＸ、ΔＹ）を追尾誤差検出値とする。これらの画像処理を含めた処理時間が追尾誤差検出値を得るサンプリング時間となる。追尾誤差検出値については後に図４を参照して説明する。
【００１８】
目標位置ベクトル計算部１７１は、追尾誤差検出部１７３から取得する２方向の追尾誤差検出値を入力し、第１および第２の角度センサ１１４，１２４のそれぞれから角度を入力することで、ジンバル座標系から見た目標の位置ベクトルを得る（図５（ｂ）参照）。
【００１９】
目標速度ベクトル計算部１７４は、目標位置ベクトル計算部１７１から取得する、目標の位置ベクトルを入力することで、目標の位置ベクトルの時間差分から目標の速度ベクトルを得る。
【００２０】
視軸ベクトル計算部１７２は、第１および第２の角度センサ１１４，１２４のそれぞれから角度を入力し、ジンバル姿勢からジンバル内に備えたカメラの視軸ベクトルを得る。視軸ベクトル計算部１７２は、カメラサンプルの遅延を補正するために、角度に加え第１および第２の角速度センサ１１３，１２３のそれぞれから角速度も入力して視軸ベクトルを得る場合もある（第２の実施形態参照）。
【００２１】
補正追尾誤差計算部１７５は、目標位置ベクトル計算部１７１から取得する目標位置ベクトル、目標速度ベクトル計算部１７４から取得する目標速度ベクトル、視軸ベクトル計算部１７２から取得する視軸ベクトルを入力し、目標とカメラとの相対関係の時間変化を考慮して補正した追尾誤差検出値を得る。
【００２２】
角速度指令生成部１５０は、補正追尾誤差計算部１７５から取得する補正追尾誤差検出値と、第２の角度センサ１２４により検出されるジンバル姿勢を表す角度検出値θ２とにより、移動体を追尾するようジンバルを駆動する角速度指令値を生成する（例えば後述の［式１］を利用する）。この計算の詳細は後に図３を参照して説明する。
【００２３】
駆動制御部１６０は、角速度指令生成部１５０で生成された各角速度センサに対応する角速度指令値と、第１および第２の角速度センサ１１３，１２３で検出された角速度検出値との差を０にするように制御指令値を計算する。第１および第２のサーボ制御部１６１，１６２は、それぞれ第１および第２の角速度センサ１１３，１２３に対応し、それぞれ第１および第２駆動部１１２，１２２に対応する制御指令値を出力する。
【００２４】
次に、本実施形態で使用するジンバル機構について図２を参照して説明する。
第１のジンバル軸はアジマス軸（以下、単に「ＡＺ軸」という）、第２のジンバル軸はエレベーション軸（以下、単に「ＥＬ軸」という）である。図１の移動体画像追尾装置は、これらのＡＺ軸、ＥＬ軸が一点において直交する２軸構造を備えた２軸旋回装置である。
【００２５】
次に、本実施形態の移動体画像追尾装置の補正制御系について図３を参照して説明する。図３は、ＡＺ軸、ＥＬ軸の２軸まとめて表した制御ブロック線図である。
角速度指令生成部１５０は、追尾誤差検出部１７３から取得する２方向の追尾誤差と、第１および第２の角度センサ１１４，１２４により検出されるジンバル姿勢を表す２軸の角度検出値（θ１、θ２）とにより、目標を追尾するようにジンバルを駆動する次式（１）に示す角速度指令値を生成する。
【数１】
【００２６】
を生成する。カメラ画像から取得した２方向の追尾誤差検出値（ΔＸ、ΔＹ）から２軸ジンバルの各軸へ角速度を分配する手法の一つとして、追尾誤差と角度に対する角速度指令値の関係式を表すと、次の［式１］のように表される。
【数２】
【００２７】
ここで、Ｋｃは追尾ゲインである。また、secθは、θに関する正割関数であり、θ＝９０度で無限大となる。このため天頂や、天頂付近では第１のジンバルに対して非常に大きな角速度指令が発生することとなる。
【００２８】
本実施形態にかかる制御では、カメラセンサ１４０から得られた追尾誤差検出値から直接ではなく、目標位置ベクトル計算部１７１、目標速度ベクトル計算部１７４、視軸ベクトル計算部１７２、そしてこれらから得られる値を用いる補正追尾誤差計算部１７５から得られる補正追尾誤差検出値に基づいて制御を行う。
【００２９】
次に、カメラセンサが取得した画像の視野と移動体追尾について図４を参照して説明する。
図４は、本実施形態にかかるカメラ画像の視野と移動体追尾の概要を示した図である。目標をカメラ視野内で捉えている場合には、カメラ中心からのずれ量として追尾誤差検出値（ΔＸ，ΔＹ）が得られる。追尾遅れが生じるため、この追尾誤差検出値はカメラ視野以上には許容でない。追尾誤差検出値は小さいことが望ましいが、追尾誤差検出値が大きくともカメラ視野内に入っている限り、２軸ジンバルを駆動して目標を追尾することができる。
【００３０】
次に、目標位置ベクトルと目標速度ベクトル、ならびに視軸ベクトルについて図５、図６、図７を参照して説明する。
図５の（ａ）および（ｂ）は、目標の軌跡と視軸の軌跡の概要を表した図である。３次元の空間で表すと、２軸ジンバルにより半球状の全方向に渡って視軸を指向することができる。これに対して、典型的な一例として目標が天頂より離れた位置を正面から背面に渡って移動する場合を考える。図５の（ａ）および（ｂ）は、目標を追尾して、ジンバル姿勢角度が（θ１、θ２）となっている状態を示している。この姿勢が太線で表される視軸ベクトルを形成している。これに対して、×印の位置に目標位置ベクトルを形成している。
【００３１】
図６は、天頂方向から２次元平面として拡大して表した図である。この一例では目標が下方より上方へ移動する場合である。目標の追尾においては、追尾誤差からジンバルの角速度指令を生成するため、必ず目標からのずれが発生する。このため、目標視軸ベクトルを中心に形成される視野に対して中心からずれた位置に目標が現れ、追尾誤差が発生している。
【００３２】
図７は、カメラ視野をさらに拡大して表した図である。図７では２次元平面として表しているが、目標位置ベクトル（ｅＴ＿ｘ，ｅＴ＿ｙ，ｅＴ＿ｚ）や目標速度ベクトル（ｄ＿ｅＴ＿ｘ，ｄ＿ｅＴ＿ｙ，ｄ＿ｅＴ＿ｚ）、そして視軸ベクトルの単位ベクトル（ｅＥ＿ｘ，ｅＥ＿ｙ，ｅＥ＿ｚ）、ジンバル上カメラの水平方向の単位ベクトル（ｅＸ＿ｘ，ｅＸ＿ｙ，ｅＸ＿ｚ）、ジンバル上カメラの垂直方向の単位ベクトル（ｅＹ＿ｘ，ｅＹ＿ｙ，ｅＹ＿ｚ）はそれぞれ３次元である。
【００３３】
目標位置ベクトル計算部１７１は、追尾誤差検出値（ΔＸ，ΔＹ）、ならびにジンバル姿勢を表す２軸の角度検出値（θ１，θ２）とから、ジンバル座標系から見た目標の位置ベクトルｅＴを計算する。なお、目標の位置ベクトルｅＴは｜ｅＴ｜＝１を満たし、目標速度ベクトルｄ＿ｅＴは｜ｄ＿ｅＴ｜＝１を満たす。
【００３４】
まず、ジンバルの正弦、および余弦を２軸それぞれ、次の［式２］のように表す。
【数３】
【００３５】
目標の位置ベクトルｅＴとジンバル上カメラの視軸ベクトルの単位ベクトルｅＥとの内積ｄｏｔ＿ｅＴ＿ｅＥが、次の［式３］のように表わされる。
【数４】
【００３６】
目標の位置ベクトルｅＴとジンバル上カメラの水平方向の単位ベクトルｅＸとの内積ｄｏｔ＿ｅＴ＿ｅＸが、次の［式４］で表される。
【数５】
【００３７】
また、目標の位置ベクトルｅＴとジンバル上カメラの垂直方向の単位ベクトルｅＹとの内積ｄｏｔ＿ｅＴ＿ｅＹが、次の［式５］で表される。
【数６】
【００３８】
これらのベクトルの内積の関係から、目標の位置ベクトルｅＴ（ｅＴ＿ｘ，ｅＴ＿ｙ，ｅＴ＿ｚ）は、次の［式６］で表される。
【数７】
【００３９】
目標位置ベクトル計算部１７１は、目標位置ベクトル計算部で得られた目標位置ベクトルの時間差分から、目標速度ベクトルｄ＿ｅＴを計算する。目標位置ベクトルが、カメラのサンプリングに応じて離散的に得られるとすると、ｋサンプルと、ｋ−１サンプルの差分から、目標速度ベクトルｄ＿ｅＴは、次の［式７］のように表される。
【数８】
【００４０】
この手法とは異なり、カルマンフィルタによって目標速度ベクトルを計算する手法がある。その手法の一例を以下に説明する。
目標速度ベクトル計算部では、目標位置ベクトル計算部で得られた目標位置ベクトルに対して時変カルマンフィルタを適用して目標速度ベクトルｄ＿ｅＴを計算する。例えば一般的な一例として、観測可能である状態量の位置ｘ、そして観測ができない状態量として次式（２）に示される速度、次式（３）に示される加速度を考えると、状態変数は、次式（４）のように表される。
【数９】
【００４１】
【数１０】
【００４２】
この状態変数に関して雑音ｗ［ｎ］、ｖ［ｎ］を伴う離散状態方程式は、次式（５）のようにおくことができる。
【数１１】
【００４３】
ここで、各行列は、サンプリング時間ΔＴとして、次式（６）で表される。
【数１２】
【００４４】
カルマンフィルタの時間遷移に関する重みＱ、観測量に関する重みＲとし、初期の状態量ｘｋ［０］、初期の誤差行列Ｐｋ［０］を、それぞれ次式（７）のようにすると、
【数１３】
【００４５】
カルマンゲインＭ［ｎ］、状態量ｘｋ［ｎ］、誤差行列Ｐｋ［ｎ］の更新則が、次式（８）で表される。
【数１４】
【００４６】
これに対して時刻の更新は、次式（９）で表される。
【数１５】
【００４７】
これらの方程式を反復することにより、カルマンフィルタにより状態推定を行うことができる。本実施形態の場合では、一般的な式における観測可能である状態量の位置ｘの代わりに、目標位置ベクトル（ｅＴ＿ｘ，ｅＴ＿ｙ，ｅＴ＿ｚ）をそれぞれに適用することで、目標速度ベクトル（ｄ＿ｅＴ＿ｘ，ｄ＿ｅＴ＿ｙ，ｄ＿ｅＴ＿ｚ）を得ることが可能となる。カルマンフィルタを適用することで、雑音に対して影響の少ない目標速度ベクトルｄ＿ｅＴを得ることができる。カルマンフィルタによって目標速度ベクトルを計算する手法の一例についての説明はここまでとする。
【００４８】
ここからまた図７を参照した説明に戻る。
視軸ベクトル計算部１７２は、２軸の角度検出値（θ１，θ２）から、視軸ベクトルを計算する。ジンバル上カメラの視軸方向の単位ベクトル（ｅＥ＿ｘ，ｅＥ＿ｙ，ｅＥ＿ｚ）は、次の［式８］で表わされる。
【数１６】
【００４９】
また、ジンバル上カメラの水平方向の単位ベクトル（ｅＸ＿ｘ，ｅＸ＿ｙ，ｅＸ＿ｚ）は、次の［式９］で表わされる。
【数１７】
【００５０】
また、ジンバル上カメラの垂直方向の単位ベクトル（ｅＹ＿ｘ，ｅＹ＿ｙ，ｅＹ＿ｚ）は、次の［式１０］で表わされる。
【数１８】
【００５１】
補正追尾誤差計算部１７５は、目標位置ベクトル計算部１７１から得られた目標位置ベクトル（ｅＴ＿ｘ，ｅＴ＿ｙ，ｅＴ＿ｚ）、目標速度ベクトル計算部１７４から得られた目標速度ベクトル（ｄ＿ｅＴ＿ｘ，ｄ＿ｅＴ＿ｙ，ｄ＿ｅＴ＿ｚ）、ならびに視軸ベクトル計算部１７２から得られた視軸ベクトルの単位ベクトル（ｅＥ＿ｘ，ｅＥ＿ｙ，ｅＥ＿ｚ）、ジンバル上カメラの水平方向の単位ベクトル（ｅＸ＿ｘ，ｅＸ＿ｙ，ｅＸ＿ｚ）、ジンバル上カメラの垂直方向の単位ベクトル（ｅＹ＿ｘ，ｅＹ＿ｙ，ｅＹ＿ｚ）とから、目標とカメラとの相対関係の時間変化を考慮して補正した追尾誤差を計算する。
【００５２】
目標位置ベクトルと視軸ベクトルとの関係から、それぞれのベクトルの内積（ｄｏｔ＿ｅＴ＿ｅＥ，ｄｏｔ＿ｅＴ＿ｅＸ，ｄｏｔ＿ｅＴ＿ｅＹ）は次の［式１１］で表される。
【数１９】
【００５３】
これは、［式６］の逆変換となっている。この目標位置ベクトルと視軸ベクトルとの内積から、逆変換により再計算された補正追尾誤差検出値（ΔＸｒ、ΔＹｒ）は次の［式１２］で表される。
【数２０】
【００５４】
このようにして計算された補正追尾誤差を用いて、ΔＸにΔＸｒを代入しΔＹにΔＹｒを代入して［式１］に従い計算された角速度指令値と、第１および第２の角速度センサで検出された角速度検出値との差を０にするように駆動制御部１６０で制御指令値が計算され、この制御指令値に従いジンバル機構が移動体を追尾するように駆動される。ここで、ジンバル機構は、第１および第２のジンバル１１１，１２１と第１および第２の駆動部１１２，１２２を含む。
【００５５】
次に、本実施形態にかかるカメラサンプル点間補間について図８を参照して説明する。図８は、カメラからの追尾誤差と補正追尾誤差計算部１７５による補正追尾誤差との関係を表した図である。
太破線のカメラサンプリングであるＴｃａｍ間隔で得られるカメラからの追尾誤差は、各サンプル点間ではその値が保持されている。追尾特性を改善するためには、ジンバルの角速度指令の生成周期を早く（短く）することが望ましい。そこで、図８では一例としてカメラサンプリング周期の１／３の細破線の補間サンプリングＴｃｍｐ間隔で補正追尾誤差を算出する場合を考える。Ｔｃａｍ間隔で追尾誤差が得られるため、同間隔で目標位置ベクトルの算出を行うことができる。このサンプル点間を補間するために、ジンバル角度はカメラサンプリングよりも早い補間サンプリングで取得可能であるため、本実施形態にかかる視軸ベクトル計算部１７２はＴｃｍｐ間隔でジンバル角度検出値を取得して計算を行う。この視軸ベクトルに対して、補正追尾誤差計算部１７５では、カメラサンプリング取得時点からＴｃｍｐ間隔だけ実際の目標は動いていることから、ジンバル角度検出値の取得に対応した目標位置ベクトル（ｅＴ＿ｘｒ，ｅＴ＿ｙｒ，ｅＴ＿ｚｒ）は、カメラサンプリング取得時からの補間サンプリング数ｎ（本一例の１／３周期ではｎ＝０〜２）に応じた線形補間により、次の［式１３］のように表すことができる。
【数２１】
【００５６】
このようにして計算されたジンバル角度検出値の取得に対応した目標位置ベクトル（ｅＴ＿ｘｒ，ｅＴ＿ｙｒ，ｅＴ＿ｚｒ）を用いて、補正追尾誤差計算部１７５が、［式１１］および［式１２］に従い補正追尾誤差を計算する。
【００５７】
以上の第１の実施形態によれば、カメラサンプリング周期で目標の状態量を更新し、カメラサンプリング周期よりも早い補間サンプリング周期でジンバル角度検出値を取得して姿勢ベクトルを更新し、目標の状態量は補間サンプリング周期に応じて線形補間することで、目標とカメラとの相対関係で決まる追尾誤差を補間補正して計算することが可能となり、カメラサンプリング周期よりも早い周期で追尾誤差を得ることが可能となることから、目標の追尾特性を改善する効果がある。
【００５８】
（第２の実施形態）
本実施形態では、移動体画像追尾装置が行うカメラサンプル遅延の補正について説明する。
移動体画像追尾装置は、カメラからの画像に対して画像処理を経て、追尾誤差を取得している。このため、画像処理や信号伝達等により、追尾誤差として取得するまでには遅延が生じてしまう。追尾特性を改善するためには、この遅延の影響を低減することが望ましい。この遅延時間は機器によって固定であるため、事前に把握することが可能である。遅延時間Ｔｄｌｙとすると、実時間でのジンバル姿勢は、この遅延時間分移動していることになる。そこで、本実施形態にかかる視軸ベクトル計算部１７２では、ジンバル角度検出値（θ１、θ２）ならびに次式（１０）に表されるジンバル角速度検出値を用いて、ジンバルの正弦、および余弦を２軸それぞれ、次の［式１４］のように表す。
【数２２】
【００５９】
【数２３】
【００６０】
このようにして計算された正弦、および余弦を用いて、［式８］、［式９］および［式１０］により視軸ベクトルを計算する。この視軸ベクトルに対して、補正追尾誤差計算部１７５では、遅延に対応した目標位置ベクトル（ｅＴ＿ｘｒ，ｅＴ＿ｙｒ，ｅＴ＿ｚｒ）は、次の［式１５］のように表すことができる。
【数２４】
【００６１】
このようにして計算されたジンバル角度検出値の取得に対応した目標位置ベクトル（ｅＴ＿ｘｒ，ｅＴ＿ｙｒ，ｅＴ＿ｚｒ）を用いて、［式１１］および［式１２］に従い補正追尾誤差計算部１７５が補正追尾誤差を計算する。
【００６２】
以上の第２の実施形態によれば、遅延時間分の目標の移動と、視軸の移動とをそれぞれ考慮することで、目標とカメラの相対関係との相対関係で決まる追尾誤差を補正して計算することが可能となり、遅延の影響を低減した追尾誤差を得ることが可能となることから、目標の追尾特性を改善する効果がある。
【００６３】
（第３の実施形態）
本実施形態では、移動体画像追尾装置が行うカメラ追尾誤差検出不可能時の補正について説明する。
カメラの視野内に目標を捉えている場合には追尾誤差を得ることが可能であるが、追尾中に目標の移動速度が速くなる場合や移動方向が変わる場合、そしてジンバルが高速に回転している場合には、視野外になってしまい追尾誤差が検出不能になる可能性がある。追尾誤差が取得できない場合には、目標位置ベクトル計算部１７１での目標位置ベクトルの計算を行うことができなくなる。そこで、本実施形態にかかる補正追尾誤差計算部１７５では、追尾誤差検出不可能になる前に保持している目標位置ベクトル（ｅＴ＿ｘ０，ｅＴ＿ｙ０，ｅＴ＿ｚ０）、目標速度ベクトル（ｄ＿ｅＴ＿ｘ０，ｄ＿ｅＴ＿ｙ０，ｄ＿ｅＴ＿ｚ０）を用いて、追尾誤差検出不可能になる前のサンプル時からの補間サンプリング数ｌ（エル）に応じた線形補間により、視野外時の予想目標位置ベクトル（ｅＴ＿ｘｒ、ｅＴ＿ｙｒ、ｅＴ＿ｚｒ）は、次式（１１）のように表すことができる。
【数２５】
【００６４】
このようにして計算された追尾誤差検出不能時に対応した目標位置ベクトル（ｅＴ＿ｘｒ、ｅＴ＿ｙｒ、ｅＴ＿ｚｒ）を用いて、［式１１］および［式１２］に従い補正追尾誤差を計算する。
【００６５】
以上の第３の実施形態によれば、目標が視野外に移動してしまった場合に対しても、検出不可能になる前の目標の状態量を用いて、目標の移動と、視軸の移動とをそれぞれ考慮することで、目標とカメラの相対関係との相対関係で決まる追尾誤差を補正して計算することが可能となり、疑似的な追尾誤差を得ることが可能になることから、目標の追尾を復帰させる可能性を高める効果がある。
【００６６】
以上に述べた少なくともひとつの実施形態の移動体画像追尾装置によれば、付加センサを追加することなく、カメラのサンプリングで計算した目標の位置・速度ベクトルに対して、サンプル点間のジンバル姿勢に応じた追尾誤差を補間することにより、カメラのサンプリングよりも高サンプリングの追尾誤差を得ることが可能となり、追尾特性を改善することができる。
【００６７】
また、目標の位置・速度ベクトル、ならびにジンバル角度・角速度情報を用いて、カメラ処理の遅延時間分だけ目標とジンバル姿勢の相対ベクトルを進めることで、遅延の影響を受けない追尾誤差を得ることが可能となり、追尾特性を改善することができる。
【００６８】
さらに、目標がカメラセンサの視野外になってしまい、追尾誤差検出の更新が停止してしまっている場合でも、最終更新時に得られている目標の位置・速度ベクトルと、現在のジンバル角度・角速度情報を用いて、追尾誤差の予測値を得ることが可能となり、目標の視野内への復帰の可能性を高めることができる。
【００６９】
またさらに、実施形態の移動体画像追尾装置は、ＴＶカメラやカメラシーカー、そして自動測量器等を搭載したジンバル構造の移動体のカメラ追尾を行う機器において、２軸ジンバル構造での天頂付近でも追尾が可能であり、移動体に搭載される追尾カメラシステムに有効である。
【００７０】
なお、本実施形態の移動体画像追尾装置は、２軸ジンバル構造に限定されたものではなく２軸以上のジンバル構造であればよく、例えば３軸ジンバル構造でも同様の補正追尾誤差の計算が可能であることは容易に類推することができる。
【００７１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７２】
１１１，１２１・・・ジンバル、１１２，１２２・・・駆動部、１１３，１２３・・・角速度センサ、１１４，１２４・・・角度センサ、１４０・・・カメラセンサ、１５０・・・角速度指令生成部、１６０・・・駆動制御部、１６１，１６２・・・サーボ制御部、１７１・・・目標位置ベクトル計算部、１７２…視軸ベクトル計算部、１７３・・・追尾誤差検出部、１７４・・・目標速度ベクトル計算部、１７５・・・補正追尾誤差計算部。
【技術分野】
【０００１】
本発明の実施形態は、全方向に渡り移動する目標に対してカメラ等の目標認識センサを追尾させるための移動体画像追尾装置に関する。
【背景技術】
【０００２】
近年、空港やプラントなど大型施設、及び発電所や水道施設などのライフラインに関わる施設での保安設備、並びにＩＴＳなどの交通情報支援システムなどにおいて、ＩＴＶカメラ等を用いて対象物を追跡し、継続した監視や詳細な情報を入手するシステムが多く商品化されている。これらのシステムは、地上設置型だけでなく、プラットホームとして車両、船舶または航空機などを想定し、小型かつ耐振性を考慮した構造で、振動・動揺に対する外乱抑圧を行っている。更に、複数の対象物を順次、追尾できるように、旋回速度を高速化し、対象物への指向を短時間に行えることが重要になってきている。
【０００３】
このような移動体画像追尾システムは、カメラセンサから目標の追尾誤差を検出するため、カメラセンサの性能に大きく依存している。つまり、目標をカメラセンサにて撮影した際の追尾誤差が視野内に収まらなければ目標を見失ってしまう。ここで、カメラセンサは、撮影画像から追尾誤差を抽出する画像処理を経るため、撮影間隔、つまりサンプリング時間の高速化が難しく、目標の追尾には遅れが生じてしまう。
【０００４】
このため、目標の移動速度が速くなった場合には、カメラの視野外になってしまい、追尾不能になる可能性がある。
【０００５】
また、このような移動体画像追尾システムは、全方向に渡り移動する目標に対して追尾するために、ジンバル構造では少なくとも２軸以上を備える必要がある。２軸ジンバルでは、対象物が天頂、もしくは天頂付近を通過する場合にはＡＺ軸は瞬時に１８０度回転する必要があり、目標の追尾性能はＡＺ軸の駆動特性に大きく依存している。さらに、ジンバルの駆動制御系は高サンプリングで実現することが容易であるが、ジンバルの駆動指令は追尾誤差を元に生成されるため、カメラセンサのサンプリングからは必ず遅延を生じてしまう。このため、目標の移動速度が速くなった場合には、ジンバル指令に遅延があるとモータ性能によっては駆動能力の不足により、カメラの視野外になってしまう可能性がある。
【０００６】
従来の画像追尾システムでは、画像中の対象物の位置を認識する際に、画像範囲を限定して演算処理を少なくして安定に対象物の位置を捕捉させようとしている。
【０００７】
また、目標物からの画像情報が得られなくても目標位置を推定する手法として、測長センサにより目標物と画像追尾システムの距離を測定し、これにより目標位置を推定して補正する方法が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−２８６６９９号公報
【特許文献２】特開２００１−３１７８９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このような従来技術において、画像範囲を限定して演算処理を少なくする方法では、カメラのサンプリングを改善することが可能であるが、その代わりにカメラ視野が狭くなり、目標の追尾誤差許容量が小さくなってしまう。このため、目標の移動速度が速くなった場合、目標がカメラの視野外になり、追尾不能になる可能性がある点に対しては改善効果を得ることが難しい。
【００１０】
また、目標物と画像追尾システムとの距離を測定し位置を推定する手法では、測長センサを必要とし、測長センサを搭載していない画像追尾システムにとってはコストを増加してしまう。さらに、目標の位置の推定精度は測長精度に依存しており、十分な追尾性能を得るためには非常に高精度な測長センサが必要となってしまう。
【００１１】
発明が解決しようとする課題は、付加センサを追加することなく、追尾性能の劣化を改善する移動体画像追尾装置を提供することである。
【課題を解決するための手段】
【００１２】
実施形態によれば、移動体画像追尾装置は、駆動部と、カメラセンサと、追尾誤差検出部と、角度センサと、角速度センサと、第１計算部と、第２計算部と、補正追尾誤差検出部と、生成部と、制御部とを含む。駆動部はそれぞれ、垂直方向に向けられ回転自在に支持されるアジマス軸と、このアジマス軸と直交する水平方向に設けられ、回転自在に支持され水平方向の正面から天頂に向け回転が可能なエレベーション軸とにそれぞれ連結され、各々を個別に回転駆動する。カメラセンサは、エレベーション軸に支持され、移動体を撮影して画像データを取得する。追尾誤差検出部は、画像データから、移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する。角度センサは、駆動部ごとに、回転軸回りの角度を検出する。角速度センサは、駆動部ごとに、回転軸回りの角速度を検出する。第１計算部は、追尾誤差検出値と角度とを用いて、移動体の位置ベクトルと速度ベクトルを計算する。第２計算部は、角度からカメラセンサの視軸ベクトルを計算する。補正追尾誤差検出部は、視軸ベクトルと位置ベクトルとの関係および速度ベクトルから、追尾誤差検出値が一定であるサンプリング期間よりも短い期間ごとに補正追尾誤差を計算する。生成部は、補正追尾誤差を使用して移動体を追尾するように駆動部を駆動する角速度指令値を生成する。制御部は、角速度指令値と角速度との差がなくなるように駆動部を制御する。
【図面の簡単な説明】
【００１３】
【図１】実施形態の移動体画像追尾装置のブロック図。
【図２】図１のジンバル機構を示す図。
【図３】図１の移動体画像追尾装置の補正制御系を示す概略図。
【図４】実施形態のカメラ視野と移動体との追尾誤差を示す図。
【図５】（ａ）は目標の軌跡と視軸の軌跡の概要を表した図であり、（ｂ）は目標と視軸ベクトルと視軸ベクトルと目標位置ベクトルとの関係を示す図。
【図６】天頂からカメラ視野を２次元平面状に拡大した図。
【図７】図６よりも拡大したカメラ視野と各ベクトルとの関係を示す図。
【図８】カメラからの追尾誤差と補正追尾誤差計算部による補正追尾誤差との関係を表した図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施形態に係る移動体画像追尾装置について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
実施形態の移動体画像追尾装置は、移動体画像追尾機構の制御システムを、画像トラッキングシステムに適用したものである。
【００１５】
（第１の実施形態）
本実施形態の移動体画像追尾装置について図１を参照して説明する。本実施形態の移動体画像追尾装置は、第１および第２のジンバル１１１，１２１、第１および第２駆動部１１２，１２２、第１および第２の角速度センサ１１３，１２３、第１および第２の角度センサ１１４，１２４、カメラセンサ１４０、角速度指令生成部１５０、駆動制御部１６０、目標位置ベクトル計算部１７１、視軸ベクトル計算部１７２、追尾誤差検出部１７３、目標速度ベクトル計算部１７４、および補正追尾誤差計算部１７５を含む。また、駆動制御部１６０は、第１のサーボ制御部１６１、および第２のサーボ制御部１６２を含んでいる。
【００１６】
第１のジンバル１１１は、垂直方向に向けられ回転自由に支持されるアジマス軸１１０として第１のジンバル軸を中心に回転する。第２のジンバル１２１は、このアジマス軸と直交する水平方向に設けられ、回転自由に支持されるエレベーション軸１２０として第２のジンバル軸を中心に回転する。
第１および第２の駆動部１１２，１２２は、それぞれ、第１および第２のジンバル１１１，１２１を回転駆動する。
第１の角速度センサ１１３は、第１のジンバル軸を中心に回転する第１のジンバル１１１の角速度を検出する。第２の角速度センサ１２４は、第２のジンバル軸を中心に回転する第２のジンバル１２１の角速度を検出する。
第１の角度センサ１１４は、第１のジンバル１１１のジンバル固定部に対する回転角度を検出する。第２の角速度センサ１２４は、第２のジンバル１２１の第１のジンバルに対する回転角度を検出する。
【００１７】
カメラセンサ１４０は、第２のジンバル１２１に支持され、移動体を認識して画像データを得る。
追尾誤差検出部１７３は、カメラセンサ１４０から取得した画像データに画像処理を施して追尾誤差検出値を検出する。追尾誤差検出部１７３は、一般的には２値化により白黒画像にし、移動体の特徴点を抽出することでカメラ視野内の位置が識別され、視野中心からの２方向のずれ量（ΔＸ、ΔＹ）を追尾誤差検出値とする。これらの画像処理を含めた処理時間が追尾誤差検出値を得るサンプリング時間となる。追尾誤差検出値については後に図４を参照して説明する。
【００１８】
目標位置ベクトル計算部１７１は、追尾誤差検出部１７３から取得する２方向の追尾誤差検出値を入力し、第１および第２の角度センサ１１４，１２４のそれぞれから角度を入力することで、ジンバル座標系から見た目標の位置ベクトルを得る（図５（ｂ）参照）。
【００１９】
目標速度ベクトル計算部１７４は、目標位置ベクトル計算部１７１から取得する、目標の位置ベクトルを入力することで、目標の位置ベクトルの時間差分から目標の速度ベクトルを得る。
【００２０】
視軸ベクトル計算部１７２は、第１および第２の角度センサ１１４，１２４のそれぞれから角度を入力し、ジンバル姿勢からジンバル内に備えたカメラの視軸ベクトルを得る。視軸ベクトル計算部１７２は、カメラサンプルの遅延を補正するために、角度に加え第１および第２の角速度センサ１１３，１２３のそれぞれから角速度も入力して視軸ベクトルを得る場合もある（第２の実施形態参照）。
【００２１】
補正追尾誤差計算部１７５は、目標位置ベクトル計算部１７１から取得する目標位置ベクトル、目標速度ベクトル計算部１７４から取得する目標速度ベクトル、視軸ベクトル計算部１７２から取得する視軸ベクトルを入力し、目標とカメラとの相対関係の時間変化を考慮して補正した追尾誤差検出値を得る。
【００２２】
角速度指令生成部１５０は、補正追尾誤差計算部１７５から取得する補正追尾誤差検出値と、第２の角度センサ１２４により検出されるジンバル姿勢を表す角度検出値θ２とにより、移動体を追尾するようジンバルを駆動する角速度指令値を生成する（例えば後述の［式１］を利用する）。この計算の詳細は後に図３を参照して説明する。
【００２３】
駆動制御部１６０は、角速度指令生成部１５０で生成された各角速度センサに対応する角速度指令値と、第１および第２の角速度センサ１１３，１２３で検出された角速度検出値との差を０にするように制御指令値を計算する。第１および第２のサーボ制御部１６１，１６２は、それぞれ第１および第２の角速度センサ１１３，１２３に対応し、それぞれ第１および第２駆動部１１２，１２２に対応する制御指令値を出力する。
【００２４】
次に、本実施形態で使用するジンバル機構について図２を参照して説明する。
第１のジンバル軸はアジマス軸（以下、単に「ＡＺ軸」という）、第２のジンバル軸はエレベーション軸（以下、単に「ＥＬ軸」という）である。図１の移動体画像追尾装置は、これらのＡＺ軸、ＥＬ軸が一点において直交する２軸構造を備えた２軸旋回装置である。
【００２５】
次に、本実施形態の移動体画像追尾装置の補正制御系について図３を参照して説明する。図３は、ＡＺ軸、ＥＬ軸の２軸まとめて表した制御ブロック線図である。
角速度指令生成部１５０は、追尾誤差検出部１７３から取得する２方向の追尾誤差と、第１および第２の角度センサ１１４，１２４により検出されるジンバル姿勢を表す２軸の角度検出値（θ１、θ２）とにより、目標を追尾するようにジンバルを駆動する次式（１）に示す角速度指令値を生成する。
【数１】
【００２６】
を生成する。カメラ画像から取得した２方向の追尾誤差検出値（ΔＸ、ΔＹ）から２軸ジンバルの各軸へ角速度を分配する手法の一つとして、追尾誤差と角度に対する角速度指令値の関係式を表すと、次の［式１］のように表される。
【数２】
【００２７】
ここで、Ｋｃは追尾ゲインである。また、secθは、θに関する正割関数であり、θ＝９０度で無限大となる。このため天頂や、天頂付近では第１のジンバルに対して非常に大きな角速度指令が発生することとなる。
【００２８】
本実施形態にかかる制御では、カメラセンサ１４０から得られた追尾誤差検出値から直接ではなく、目標位置ベクトル計算部１７１、目標速度ベクトル計算部１７４、視軸ベクトル計算部１７２、そしてこれらから得られる値を用いる補正追尾誤差計算部１７５から得られる補正追尾誤差検出値に基づいて制御を行う。
【００２９】
次に、カメラセンサが取得した画像の視野と移動体追尾について図４を参照して説明する。
図４は、本実施形態にかかるカメラ画像の視野と移動体追尾の概要を示した図である。目標をカメラ視野内で捉えている場合には、カメラ中心からのずれ量として追尾誤差検出値（ΔＸ，ΔＹ）が得られる。追尾遅れが生じるため、この追尾誤差検出値はカメラ視野以上には許容でない。追尾誤差検出値は小さいことが望ましいが、追尾誤差検出値が大きくともカメラ視野内に入っている限り、２軸ジンバルを駆動して目標を追尾することができる。
【００３０】
次に、目標位置ベクトルと目標速度ベクトル、ならびに視軸ベクトルについて図５、図６、図７を参照して説明する。
図５の（ａ）および（ｂ）は、目標の軌跡と視軸の軌跡の概要を表した図である。３次元の空間で表すと、２軸ジンバルにより半球状の全方向に渡って視軸を指向することができる。これに対して、典型的な一例として目標が天頂より離れた位置を正面から背面に渡って移動する場合を考える。図５の（ａ）および（ｂ）は、目標を追尾して、ジンバル姿勢角度が（θ１、θ２）となっている状態を示している。この姿勢が太線で表される視軸ベクトルを形成している。これに対して、×印の位置に目標位置ベクトルを形成している。
【００３１】
図６は、天頂方向から２次元平面として拡大して表した図である。この一例では目標が下方より上方へ移動する場合である。目標の追尾においては、追尾誤差からジンバルの角速度指令を生成するため、必ず目標からのずれが発生する。このため、目標視軸ベクトルを中心に形成される視野に対して中心からずれた位置に目標が現れ、追尾誤差が発生している。
【００３２】
図７は、カメラ視野をさらに拡大して表した図である。図７では２次元平面として表しているが、目標位置ベクトル（ｅＴ＿ｘ，ｅＴ＿ｙ，ｅＴ＿ｚ）や目標速度ベクトル（ｄ＿ｅＴ＿ｘ，ｄ＿ｅＴ＿ｙ，ｄ＿ｅＴ＿ｚ）、そして視軸ベクトルの単位ベクトル（ｅＥ＿ｘ，ｅＥ＿ｙ，ｅＥ＿ｚ）、ジンバル上カメラの水平方向の単位ベクトル（ｅＸ＿ｘ，ｅＸ＿ｙ，ｅＸ＿ｚ）、ジンバル上カメラの垂直方向の単位ベクトル（ｅＹ＿ｘ，ｅＹ＿ｙ，ｅＹ＿ｚ）はそれぞれ３次元である。
【００３３】
目標位置ベクトル計算部１７１は、追尾誤差検出値（ΔＸ，ΔＹ）、ならびにジンバル姿勢を表す２軸の角度検出値（θ１，θ２）とから、ジンバル座標系から見た目標の位置ベクトルｅＴを計算する。なお、目標の位置ベクトルｅＴは｜ｅＴ｜＝１を満たし、目標速度ベクトルｄ＿ｅＴは｜ｄ＿ｅＴ｜＝１を満たす。
【００３４】
まず、ジンバルの正弦、および余弦を２軸それぞれ、次の［式２］のように表す。
【数３】
【００３５】
目標の位置ベクトルｅＴとジンバル上カメラの視軸ベクトルの単位ベクトルｅＥとの内積ｄｏｔ＿ｅＴ＿ｅＥが、次の［式３］のように表わされる。
【数４】
【００３６】
目標の位置ベクトルｅＴとジンバル上カメラの水平方向の単位ベクトルｅＸとの内積ｄｏｔ＿ｅＴ＿ｅＸが、次の［式４］で表される。
【数５】
【００３７】
また、目標の位置ベクトルｅＴとジンバル上カメラの垂直方向の単位ベクトルｅＹとの内積ｄｏｔ＿ｅＴ＿ｅＹが、次の［式５］で表される。
【数６】
【００３８】
これらのベクトルの内積の関係から、目標の位置ベクトルｅＴ（ｅＴ＿ｘ，ｅＴ＿ｙ，ｅＴ＿ｚ）は、次の［式６］で表される。
【数７】
【００３９】
目標位置ベクトル計算部１７１は、目標位置ベクトル計算部で得られた目標位置ベクトルの時間差分から、目標速度ベクトルｄ＿ｅＴを計算する。目標位置ベクトルが、カメラのサンプリングに応じて離散的に得られるとすると、ｋサンプルと、ｋ−１サンプルの差分から、目標速度ベクトルｄ＿ｅＴは、次の［式７］のように表される。
【数８】
【００４０】
この手法とは異なり、カルマンフィルタによって目標速度ベクトルを計算する手法がある。その手法の一例を以下に説明する。
目標速度ベクトル計算部では、目標位置ベクトル計算部で得られた目標位置ベクトルに対して時変カルマンフィルタを適用して目標速度ベクトルｄ＿ｅＴを計算する。例えば一般的な一例として、観測可能である状態量の位置ｘ、そして観測ができない状態量として次式（２）に示される速度、次式（３）に示される加速度を考えると、状態変数は、次式（４）のように表される。
【数９】
【００４１】
【数１０】
【００４２】
この状態変数に関して雑音ｗ［ｎ］、ｖ［ｎ］を伴う離散状態方程式は、次式（５）のようにおくことができる。
【数１１】
【００４３】
ここで、各行列は、サンプリング時間ΔＴとして、次式（６）で表される。
【数１２】
【００４４】
カルマンフィルタの時間遷移に関する重みＱ、観測量に関する重みＲとし、初期の状態量ｘｋ［０］、初期の誤差行列Ｐｋ［０］を、それぞれ次式（７）のようにすると、
【数１３】
【００４５】
カルマンゲインＭ［ｎ］、状態量ｘｋ［ｎ］、誤差行列Ｐｋ［ｎ］の更新則が、次式（８）で表される。
【数１４】
【００４６】
これに対して時刻の更新は、次式（９）で表される。
【数１５】
【００４７】
これらの方程式を反復することにより、カルマンフィルタにより状態推定を行うことができる。本実施形態の場合では、一般的な式における観測可能である状態量の位置ｘの代わりに、目標位置ベクトル（ｅＴ＿ｘ，ｅＴ＿ｙ，ｅＴ＿ｚ）をそれぞれに適用することで、目標速度ベクトル（ｄ＿ｅＴ＿ｘ，ｄ＿ｅＴ＿ｙ，ｄ＿ｅＴ＿ｚ）を得ることが可能となる。カルマンフィルタを適用することで、雑音に対して影響の少ない目標速度ベクトルｄ＿ｅＴを得ることができる。カルマンフィルタによって目標速度ベクトルを計算する手法の一例についての説明はここまでとする。
【００４８】
ここからまた図７を参照した説明に戻る。
視軸ベクトル計算部１７２は、２軸の角度検出値（θ１，θ２）から、視軸ベクトルを計算する。ジンバル上カメラの視軸方向の単位ベクトル（ｅＥ＿ｘ，ｅＥ＿ｙ，ｅＥ＿ｚ）は、次の［式８］で表わされる。
【数１６】
【００４９】
また、ジンバル上カメラの水平方向の単位ベクトル（ｅＸ＿ｘ，ｅＸ＿ｙ，ｅＸ＿ｚ）は、次の［式９］で表わされる。
【数１７】
【００５０】
また、ジンバル上カメラの垂直方向の単位ベクトル（ｅＹ＿ｘ，ｅＹ＿ｙ，ｅＹ＿ｚ）は、次の［式１０］で表わされる。
【数１８】
【００５１】
補正追尾誤差計算部１７５は、目標位置ベクトル計算部１７１から得られた目標位置ベクトル（ｅＴ＿ｘ，ｅＴ＿ｙ，ｅＴ＿ｚ）、目標速度ベクトル計算部１７４から得られた目標速度ベクトル（ｄ＿ｅＴ＿ｘ，ｄ＿ｅＴ＿ｙ，ｄ＿ｅＴ＿ｚ）、ならびに視軸ベクトル計算部１７２から得られた視軸ベクトルの単位ベクトル（ｅＥ＿ｘ，ｅＥ＿ｙ，ｅＥ＿ｚ）、ジンバル上カメラの水平方向の単位ベクトル（ｅＸ＿ｘ，ｅＸ＿ｙ，ｅＸ＿ｚ）、ジンバル上カメラの垂直方向の単位ベクトル（ｅＹ＿ｘ，ｅＹ＿ｙ，ｅＹ＿ｚ）とから、目標とカメラとの相対関係の時間変化を考慮して補正した追尾誤差を計算する。
【００５２】
目標位置ベクトルと視軸ベクトルとの関係から、それぞれのベクトルの内積（ｄｏｔ＿ｅＴ＿ｅＥ，ｄｏｔ＿ｅＴ＿ｅＸ，ｄｏｔ＿ｅＴ＿ｅＹ）は次の［式１１］で表される。
【数１９】
【００５３】
これは、［式６］の逆変換となっている。この目標位置ベクトルと視軸ベクトルとの内積から、逆変換により再計算された補正追尾誤差検出値（ΔＸｒ、ΔＹｒ）は次の［式１２］で表される。
【数２０】
【００５４】
このようにして計算された補正追尾誤差を用いて、ΔＸにΔＸｒを代入しΔＹにΔＹｒを代入して［式１］に従い計算された角速度指令値と、第１および第２の角速度センサで検出された角速度検出値との差を０にするように駆動制御部１６０で制御指令値が計算され、この制御指令値に従いジンバル機構が移動体を追尾するように駆動される。ここで、ジンバル機構は、第１および第２のジンバル１１１，１２１と第１および第２の駆動部１１２，１２２を含む。
【００５５】
次に、本実施形態にかかるカメラサンプル点間補間について図８を参照して説明する。図８は、カメラからの追尾誤差と補正追尾誤差計算部１７５による補正追尾誤差との関係を表した図である。
太破線のカメラサンプリングであるＴｃａｍ間隔で得られるカメラからの追尾誤差は、各サンプル点間ではその値が保持されている。追尾特性を改善するためには、ジンバルの角速度指令の生成周期を早く（短く）することが望ましい。そこで、図８では一例としてカメラサンプリング周期の１／３の細破線の補間サンプリングＴｃｍｐ間隔で補正追尾誤差を算出する場合を考える。Ｔｃａｍ間隔で追尾誤差が得られるため、同間隔で目標位置ベクトルの算出を行うことができる。このサンプル点間を補間するために、ジンバル角度はカメラサンプリングよりも早い補間サンプリングで取得可能であるため、本実施形態にかかる視軸ベクトル計算部１７２はＴｃｍｐ間隔でジンバル角度検出値を取得して計算を行う。この視軸ベクトルに対して、補正追尾誤差計算部１７５では、カメラサンプリング取得時点からＴｃｍｐ間隔だけ実際の目標は動いていることから、ジンバル角度検出値の取得に対応した目標位置ベクトル（ｅＴ＿ｘｒ，ｅＴ＿ｙｒ，ｅＴ＿ｚｒ）は、カメラサンプリング取得時からの補間サンプリング数ｎ（本一例の１／３周期ではｎ＝０〜２）に応じた線形補間により、次の［式１３］のように表すことができる。
【数２１】
【００５６】
このようにして計算されたジンバル角度検出値の取得に対応した目標位置ベクトル（ｅＴ＿ｘｒ，ｅＴ＿ｙｒ，ｅＴ＿ｚｒ）を用いて、補正追尾誤差計算部１７５が、［式１１］および［式１２］に従い補正追尾誤差を計算する。
【００５７】
以上の第１の実施形態によれば、カメラサンプリング周期で目標の状態量を更新し、カメラサンプリング周期よりも早い補間サンプリング周期でジンバル角度検出値を取得して姿勢ベクトルを更新し、目標の状態量は補間サンプリング周期に応じて線形補間することで、目標とカメラとの相対関係で決まる追尾誤差を補間補正して計算することが可能となり、カメラサンプリング周期よりも早い周期で追尾誤差を得ることが可能となることから、目標の追尾特性を改善する効果がある。
【００５８】
（第２の実施形態）
本実施形態では、移動体画像追尾装置が行うカメラサンプル遅延の補正について説明する。
移動体画像追尾装置は、カメラからの画像に対して画像処理を経て、追尾誤差を取得している。このため、画像処理や信号伝達等により、追尾誤差として取得するまでには遅延が生じてしまう。追尾特性を改善するためには、この遅延の影響を低減することが望ましい。この遅延時間は機器によって固定であるため、事前に把握することが可能である。遅延時間Ｔｄｌｙとすると、実時間でのジンバル姿勢は、この遅延時間分移動していることになる。そこで、本実施形態にかかる視軸ベクトル計算部１７２では、ジンバル角度検出値（θ１、θ２）ならびに次式（１０）に表されるジンバル角速度検出値を用いて、ジンバルの正弦、および余弦を２軸それぞれ、次の［式１４］のように表す。
【数２２】
【００５９】
【数２３】
【００６０】
このようにして計算された正弦、および余弦を用いて、［式８］、［式９］および［式１０］により視軸ベクトルを計算する。この視軸ベクトルに対して、補正追尾誤差計算部１７５では、遅延に対応した目標位置ベクトル（ｅＴ＿ｘｒ，ｅＴ＿ｙｒ，ｅＴ＿ｚｒ）は、次の［式１５］のように表すことができる。
【数２４】
【００６１】
このようにして計算されたジンバル角度検出値の取得に対応した目標位置ベクトル（ｅＴ＿ｘｒ，ｅＴ＿ｙｒ，ｅＴ＿ｚｒ）を用いて、［式１１］および［式１２］に従い補正追尾誤差計算部１７５が補正追尾誤差を計算する。
【００６２】
以上の第２の実施形態によれば、遅延時間分の目標の移動と、視軸の移動とをそれぞれ考慮することで、目標とカメラの相対関係との相対関係で決まる追尾誤差を補正して計算することが可能となり、遅延の影響を低減した追尾誤差を得ることが可能となることから、目標の追尾特性を改善する効果がある。
【００６３】
（第３の実施形態）
本実施形態では、移動体画像追尾装置が行うカメラ追尾誤差検出不可能時の補正について説明する。
カメラの視野内に目標を捉えている場合には追尾誤差を得ることが可能であるが、追尾中に目標の移動速度が速くなる場合や移動方向が変わる場合、そしてジンバルが高速に回転している場合には、視野外になってしまい追尾誤差が検出不能になる可能性がある。追尾誤差が取得できない場合には、目標位置ベクトル計算部１７１での目標位置ベクトルの計算を行うことができなくなる。そこで、本実施形態にかかる補正追尾誤差計算部１７５では、追尾誤差検出不可能になる前に保持している目標位置ベクトル（ｅＴ＿ｘ０，ｅＴ＿ｙ０，ｅＴ＿ｚ０）、目標速度ベクトル（ｄ＿ｅＴ＿ｘ０，ｄ＿ｅＴ＿ｙ０，ｄ＿ｅＴ＿ｚ０）を用いて、追尾誤差検出不可能になる前のサンプル時からの補間サンプリング数ｌ（エル）に応じた線形補間により、視野外時の予想目標位置ベクトル（ｅＴ＿ｘｒ、ｅＴ＿ｙｒ、ｅＴ＿ｚｒ）は、次式（１１）のように表すことができる。
【数２５】
【００６４】
このようにして計算された追尾誤差検出不能時に対応した目標位置ベクトル（ｅＴ＿ｘｒ、ｅＴ＿ｙｒ、ｅＴ＿ｚｒ）を用いて、［式１１］および［式１２］に従い補正追尾誤差を計算する。
【００６５】
以上の第３の実施形態によれば、目標が視野外に移動してしまった場合に対しても、検出不可能になる前の目標の状態量を用いて、目標の移動と、視軸の移動とをそれぞれ考慮することで、目標とカメラの相対関係との相対関係で決まる追尾誤差を補正して計算することが可能となり、疑似的な追尾誤差を得ることが可能になることから、目標の追尾を復帰させる可能性を高める効果がある。
【００６６】
以上に述べた少なくともひとつの実施形態の移動体画像追尾装置によれば、付加センサを追加することなく、カメラのサンプリングで計算した目標の位置・速度ベクトルに対して、サンプル点間のジンバル姿勢に応じた追尾誤差を補間することにより、カメラのサンプリングよりも高サンプリングの追尾誤差を得ることが可能となり、追尾特性を改善することができる。
【００６７】
また、目標の位置・速度ベクトル、ならびにジンバル角度・角速度情報を用いて、カメラ処理の遅延時間分だけ目標とジンバル姿勢の相対ベクトルを進めることで、遅延の影響を受けない追尾誤差を得ることが可能となり、追尾特性を改善することができる。
【００６８】
さらに、目標がカメラセンサの視野外になってしまい、追尾誤差検出の更新が停止してしまっている場合でも、最終更新時に得られている目標の位置・速度ベクトルと、現在のジンバル角度・角速度情報を用いて、追尾誤差の予測値を得ることが可能となり、目標の視野内への復帰の可能性を高めることができる。
【００６９】
またさらに、実施形態の移動体画像追尾装置は、ＴＶカメラやカメラシーカー、そして自動測量器等を搭載したジンバル構造の移動体のカメラ追尾を行う機器において、２軸ジンバル構造での天頂付近でも追尾が可能であり、移動体に搭載される追尾カメラシステムに有効である。
【００７０】
なお、本実施形態の移動体画像追尾装置は、２軸ジンバル構造に限定されたものではなく２軸以上のジンバル構造であればよく、例えば３軸ジンバル構造でも同様の補正追尾誤差の計算が可能であることは容易に類推することができる。
【００７１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７２】
１１１，１２１・・・ジンバル、１１２，１２２・・・駆動部、１１３，１２３・・・角速度センサ、１１４，１２４・・・角度センサ、１４０・・・カメラセンサ、１５０・・・角速度指令生成部、１６０・・・駆動制御部、１６１，１６２・・・サーボ制御部、１７１・・・目標位置ベクトル計算部、１７２…視軸ベクトル計算部、１７３・・・追尾誤差検出部、１７４・・・目標速度ベクトル計算部、１７５・・・補正追尾誤差計算部。
【特許請求の範囲】
【請求項１】
垂直方向に向けられ回転自在に支持されるアジマス軸と、このアジマス軸と直交する水平方向に設けられ、回転自在に支持され水平方向の正面から天頂に向け回転が可能なエレベーション軸とにそれぞれ連結され、各々を個別に回転駆動する２つの駆動部と、
前記エレベーション軸に支持され、移動体を撮影して画像データを取得するカメラセンサと、
前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する追尾誤差検出部と、
前記駆動部ごとに、前記回転軸回りの角度を検出する角度センサと、
前記駆動部ごとに、前記回転軸回りの角速度を検出する角速度センサと、
前記追尾誤差検出値と前記角度とを用いて、前記移動体の位置ベクトルと速度ベクトルを計算する第１計算部と、
前記角度から前記カメラセンサの視軸ベクトルを計算する第２計算部と、
前記視軸ベクトルと前記位置ベクトルとの関係および前記速度ベクトルから、前記追尾誤差検出値が一定であるサンプリング期間よりも短い期間ごとに補正追尾誤差を計算する補正追尾誤差検出部と、
前記補正追尾誤差を使用して前記移動体を追尾するように前記駆動部を駆動する角速度指令値を生成する生成部と、
前記角速度指令値と前記角速度との差がなくなるように前記駆動部を制御する制御部と、を具備することを特徴とする移動体画像追尾装置。
【請求項２】
前記補正追尾誤差検出部は、前記移動体の位置ベクトルおよび速度ベクトルから前記画像データを取得するサンプリング間を補間した補間位置ベクトルを計算し、前記画像データを取得する間隔よりも高いサンプリングで該補間位置ベクトルと前記角度から計算される視軸ベクトルとから補間追尾誤差を計算することを特徴とする請求項１に記載の移動体画像追尾装置。
【請求項３】
前記補正追尾誤差検出部は、画像データを取得する際に遅延時間が生じる場合に、前記移動体の位置ベクトルおよび視軸ベクトルを該遅延時間分だけ補正することを特徴とする請求項１または請求項２に記載の移動体画像追尾装置。
【請求項４】
前記補正追尾誤差検出部は、画像データを取得できないサンプリングが存在した場合には、それ以前のサンプリングで更新された位置ベクトルおよび速度ベクトルと、前記角度から計算される視軸ベクトルとから補間追尾誤差を計算することを特徴とする請求項１から請求項３のいずれか1項に記載の移動体画像追尾装置。
【請求項１】
垂直方向に向けられ回転自在に支持されるアジマス軸と、このアジマス軸と直交する水平方向に設けられ、回転自在に支持され水平方向の正面から天頂に向け回転が可能なエレベーション軸とにそれぞれ連結され、各々を個別に回転駆動する２つの駆動部と、
前記エレベーション軸に支持され、移動体を撮影して画像データを取得するカメラセンサと、
前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する追尾誤差検出部と、
前記駆動部ごとに、前記回転軸回りの角度を検出する角度センサと、
前記駆動部ごとに、前記回転軸回りの角速度を検出する角速度センサと、
前記追尾誤差検出値と前記角度とを用いて、前記移動体の位置ベクトルと速度ベクトルを計算する第１計算部と、
前記角度から前記カメラセンサの視軸ベクトルを計算する第２計算部と、
前記視軸ベクトルと前記位置ベクトルとの関係および前記速度ベクトルから、前記追尾誤差検出値が一定であるサンプリング期間よりも短い期間ごとに補正追尾誤差を計算する補正追尾誤差検出部と、
前記補正追尾誤差を使用して前記移動体を追尾するように前記駆動部を駆動する角速度指令値を生成する生成部と、
前記角速度指令値と前記角速度との差がなくなるように前記駆動部を制御する制御部と、を具備することを特徴とする移動体画像追尾装置。
【請求項２】
前記補正追尾誤差検出部は、前記移動体の位置ベクトルおよび速度ベクトルから前記画像データを取得するサンプリング間を補間した補間位置ベクトルを計算し、前記画像データを取得する間隔よりも高いサンプリングで該補間位置ベクトルと前記角度から計算される視軸ベクトルとから補間追尾誤差を計算することを特徴とする請求項１に記載の移動体画像追尾装置。
【請求項３】
前記補正追尾誤差検出部は、画像データを取得する際に遅延時間が生じる場合に、前記移動体の位置ベクトルおよび視軸ベクトルを該遅延時間分だけ補正することを特徴とする請求項１または請求項２に記載の移動体画像追尾装置。
【請求項４】
前記補正追尾誤差検出部は、画像データを取得できないサンプリングが存在した場合には、それ以前のサンプリングで更新された位置ベクトルおよび速度ベクトルと、前記角度から計算される視軸ベクトルとから補間追尾誤差を計算することを特徴とする請求項１から請求項３のいずれか1項に記載の移動体画像追尾装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１７５１５７（Ｐ２０１２−１７５１５７Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３２０８６（Ｐ２０１１−３２０８６）
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]