追尾カメラ雲台装置
【課題】他の被写体が画角に入っても追尾対象物を誤認識せず、一時的に追尾対象物を見失っても追尾対象物を追尾し画面内の所定の位置に表示できるカメラ雲台装置を提供する。
【解決手段】カメラ雲台装置であって、画面における追尾対象部の表示位置を設定する手段と、追尾対象部を画面において選択する手段と、撮影映像情報を一定周期で記憶する手段と、記憶された撮影映像情報に基づき、追尾対象部の撮影画像表示部における移動量から該追尾対象部の動きベクトルを検出する手段と、追尾対象部を追尾して該表示位置に表示するように、動きベクトルとカメラ雲台の駆動制御量に基づいてカメラ雲台を駆動制御する手段と、動きベクトルから追尾対象部が移動する範囲を予測し、探索領域を設定する手段と、探索領域に対象部認識の確からしさの重み付けを行い、重み付けによって対象部認識を判定する手段を有することを特徴とする。
【解決手段】カメラ雲台装置であって、画面における追尾対象部の表示位置を設定する手段と、追尾対象部を画面において選択する手段と、撮影映像情報を一定周期で記憶する手段と、記憶された撮影映像情報に基づき、追尾対象部の撮影画像表示部における移動量から該追尾対象部の動きベクトルを検出する手段と、追尾対象部を追尾して該表示位置に表示するように、動きベクトルとカメラ雲台の駆動制御量に基づいてカメラ雲台を駆動制御する手段と、動きベクトルから追尾対象部が移動する範囲を予測し、探索領域を設定する手段と、探索領域に対象部認識の確からしさの重み付けを行い、重み付けによって対象部認識を判定する手段を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影映像内の被写体の一部をターゲットとして選択して、選択した対象部を自動で認識して追尾して撮影するカメラ雲台に関するものある。
【背景技術】
【０００２】
動き検出を利用した自動追尾カメラ雲台は、カメラから得た映像情報をメモリに蓄え、追尾対象物の動きを検出し、検出した動きベクトルに応じて雲台を制御するのが一般的である。図６に示す構成を例に説明する。
【０００３】
カメラ５０は、カメラ搭載用雲台５１上に設置され、雲台は駆動装置５２により駆動される。カメラ５０からのデジタル映像出力は、追尾対象部選択装置５３及び映像メモリ処理部５５に入力される。追尾対象部選択装置５３では、追尾対象部を選択するための追尾部選択枠５８をカメラから映像信号に多重して映像モニタ５４に出力する。追尾対象部選択装置５３には、追尾部選択枠５８を画面上で移動させることができる操作機能と選択枠内に囲まれた画像データを追尾対象部として選択する選択機能を有している。追尾対象部選択装置５３において選択された画像データの画面上の位置情報は、選択したタイミング情報とともに映像メモリ処理部５５に送られる。映像メモリ処理部５５では、一定時間間隔、例えばフレーム画像が更新される時間間隔で、画像データをメモリしており、追尾対象部選択装置５３からの追尾対象部の位置情報と選択時のタイミング情報によって、メモリ上で被選択データを認識する。
【０００４】
映像メモリ処理部55は、追尾対象部を被選択データとして保持し、次フレームからフレーム時間毎にフレーム内の画像データで追尾対象部とデータが同じ、あるいは相関が高いブロックを探索し、追尾対象部と判断したブロックの位置情報を動き検出部５６に送る。動き検出部５６においては、フレーム画像の更新毎に得られる追尾対象部の位置情報を基に、追尾対象部の動きベクトルを検出し、次フレームにおいて動きベクトルが最小となるような制御信号を算出し、雲台制御部５７へ送る。雲台制御部５７では、この制御信号を雲台駆動信号に変換して、追尾対象ブロックが画面上の固定位置に表示されるよう雲台駆動装置５２を駆動し、カメラ搭載用雲台５１は、追尾カメラ雲台として制御される。
【０００５】
追尾対象部の検出方法としては、特許文献１などに記載の輝度信号や色信号のマッチング方式が公知である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−３５４４９０号公報
【特許文献２】特開平１０−３３６５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような制御方法をベースにしたときは、目的の対象物と類似した被写体が探索領域に入ってきた場合、対象物を誤認識することがあり、回避策を講じておく必要がある。特許文献２においては、追尾対象部の色差ヒストグラムをテンプレートとし、動きベクトルから対象物の推定位置近傍を探索領域として探索領域の色差ヒストグラムとの相関計算を検出された動きベクトル毎に行い、相関値が最も高いエリアを対象部として誤認識を防ぐ方法が提案されている。
【０００８】
この誤認識対策は、目的の対象物と類似した被写体であっても色相に差があれば、誤認識を防ぐ有効な方法であるが、追尾対象物が他の被写体の陰になった場合や、類似した色の被写体が探索領域内にある場合においては、誤認識する可能性がある。
例えば、陸上競技や競馬中継において特定の選手を追尾したい場合において、動きベクトルから探索領域の絞込みは可能であるが、同系色の移動体が複数存在するケースでは、認識誤りを起こす恐れがある。
また、追尾対象部の表示位置は、最初に追尾対象部を設定した画面上の位置に依存し、撮影者の意図する構図を取るのは困難である問題があった。
【０００９】
そこで、本発明は、前述した対象物を自動追尾して撮影するような状況において、対象物を撮影者の意図する画面上の位置に追尾表示し、他の被写体が近傍に入ってきた場合においても、追尾対象物を誤認識せず、追尾対象物の追尾確率を高め、追尾の確からしさが低下した場合においても、映像素材としての有効性を損なわない画像を取得できる追尾カメラ雲台を提供する事を目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本出願に係る発明に係る、被写体を追尾してカメラの撮影画像表示部の所定の位置に表示するようカメラ雲台のパン及びチルトを駆動制御するカメラ雲台装置は、追尾対象部の該撮影画像表示部における表示位置を設定する表示位置設定手段と、該追尾対象部を該撮影画像表示部において選択する追尾対象部選択手段と、撮影映像情報を一定の時間間隔で記憶する記憶手段と、該記憶手段に記憶された撮影映像情報に基づき、追尾対象部の撮像画像表示部における移動量から該追尾対象部の動きベクトルを検出する動きベクトル検出手段と、該追尾対象部を追尾して撮影画像表示部の表示位置に表示するように、過去の動きベクトルおよびカメラ雲台の駆動制御量に基づいてカメラ雲台を駆動制御する駆動制御手段と、該動きベクトルから追尾対象部が移動する範囲を予測し、追尾対象部の探索領域を設定する探索領域設定手段と、該探索領域に対象部認識の確からしさの重み付けを行い、該確からしさの重み付けによって判定する対象部認識手段とを備えることを特徴とする。
【００１１】
本発明に係る前記カメラ雲台装置の更なる構成においては、前記記憶手段は、選択した追尾対象部と前記探索領域の輝度信号、または、色差信号、または、輝度信号と色差信号を撮像映像のフレーム更新周期の整数倍の周期で記録することを特徴とする。
【００１２】
本発明に係る前記カメラ雲台装置の更なる構成においては、探索領域における対象部認識の確からしさの重み付けは、探索領域の中心が最も重く（確からしさが高く）、探索領域周辺端に向けて軽く（確からしさが低く）なるように設定されることを特徴とする。
【００１３】
本発明に係る前記カメラ雲台装置の更なる構成においては、一定時間分の過去の動きベクトルを保持する動きベクトル保持手段をさらに有し、前記動きベクトルは、該保持された過去の動きベクトルに基づいて演算され、前記探索領域設定手段は、該演算された動きベクトルと前記カメラ雲台の駆動制御量に基づいて、追尾対象部の探索領域を設定することを特徴とする。
【００１４】
本発明に係る前記カメラ雲台装置の更なる構成においては、前記カメラ雲台装置は一定時間分の過去の動きベクトルを保持する動きベクトル保持手段をさらに有し、前記動きベクトルは、該保持された過去の動きベクトルに基づいて演算され、前記探索領域設定手段は、該演算された動きベクトルと前記カメラ雲台の駆動制御量に基づいて、追尾対象部の探索領域を設定することを特徴とする。
【発明の効果】
【００１５】
本説明に係るカメラ雲台装置によれば、追尾対象物を設定して検出した動きベクトルから追尾対象物が移動する探索領域を予測し、探索領域において検出場所に応じて追尾対象物認識の確からしさの重み付けを付与して判定することにより、追尾対象物に類似の被写体があっても誤認識せずに正確な追尾を可能とし、また、雲台制御信号を一定時間の過去の動きベクトルの平均に基づいて求めるように設定することにより、一時的に追尾対象物を認識できない場合においても、追尾対象物を誤認識せず、目標とする画面上の所定の位置に追尾対象物が表示されるように雲台が駆動制御され、スムーズな追尾画像を得ることができるカメラ雲台を実現することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例の追尾カメラ雲台のブロック図である。
【図２】追尾開始からのステップ動作を示したフロー図である。
【図３】追尾部選択枠の動作を説明するための追尾画面説明図である。
【図４】追尾対象ブロック誤認識対策の説明図である。
【図５】追尾対象ブロック誤認識対策の説明図である。
【図６】従来例の追尾カメラ雲台の概略図である。
【発明を実施するための形態】
【００１７】
以下に、本発明の実施形態を図１を例にして詳細に説明する。
図１は、本発明の特徴をよく表す追尾カメラ雲台のブロック図である。
【実施例】
【００１８】
図１は、本発明の追尾カメラ雲台のブロック図である。
カメラ１０は、カメラ搭載用雲台１１に搭載され、該雲台は駆動装置１２により駆動される。カメラ１０からのデジタル映像出力は、追尾対象部選択／表示位置設定器１３及び映像メモリ処理部１５に入力される。追尾対象部選択／表示位置設定器１３では、追尾対象部を選択するための追尾部選択枠１８と、追尾対象部を画面内において表示させたい位置を示す表示目標位置枠１９をカメラからの映像信号に多重して映像モニタ（撮影画像表示部）１４に出力する。追尾対象部選択／表示位置設定器１３には、追尾部選択枠１８を画面上で移動させる操作機能と、表示目標位置枠１９を画面上で移動させる操作機能と、追尾部選択枠に囲まれた画像データを追尾対象部として選択する選択機能を有している。
【００１９】
図３は、水平方向に移動している被写体（追尾対象物）をパン操作で追尾し、撮影画像表示部内の所定の場所に表示させる場合の例であって、追尾部選択枠の動作を説明するための追尾画面説明図である。追尾開始からのステップ動作を、図２に示したフローと図３の追尾画面説明図を用いて説明する。
【００２０】
最初に、ステップＳ２において、追尾対象部選択／表示位置設定器１３により、追尾対象部分を表示させたい画面内での位置を選択する。表示目標位置枠１９を画面上で移動させ、表示目標位置を設定する。図３（ａ）〜（ｃ）においては、表示目標位置枠１９を画面中央に設定している。
【００２１】
次に、ステップＳ３において、追尾対象部が追尾部選択枠１８内に位置するように、追尾部選択枠１８を画面上で移動させ、追尾対象部を選択する。追尾対象部が選択された画像データの画面上の位置情報は、選択したタイミング情報とともに映像メモリ処理部１５に送られ、表示目標位置情報は動きベクトル検出部１６に送られる。この位置情報は、例えば、追尾部選択枠の左上のライン番号と画素番号といった位置データを用いることができる。
【００２２】
次にステップＳ４において、映像メモリ処理部１５は画像データを記憶すると共に、追尾対象部選択／表示位置設定器１３から送られた位置データと選択時のタイミング情報によって、メモリ上で追尾部選択枠内のデータ（以後、追尾対象ブロックデータと記す）を認識し、例えば、８×８画素分の輝度信号あるいは色差信号を追尾対象ブロックの画像データとして保持する。尚、映像メモリ処理部１５は、一定時間間隔、例えばフレーム画像の更新間隔で、画像データを記憶する。
【００２３】
次に、ステップＳ５において、映像メモリ処理部１５は、記録した追尾対象ブロックデータと、次フレームにおける画像データと比較し、画像データ内に追尾対象ブロックデータと同じあるいは相関が高い画像データを有するブロックを探索し、次フレーム内での追尾対象部の認識判定を行う。ハード化が容易な認識判定の方法として、「画像情報圧縮/オーム社/テレビジョン学会編/1991」などに解説されたブロック単位でのパターンマッチング方式が知られている。この方式は、被選択ブロックの画素データの画素ずらしを行ってフレームメモリデータとの差分をとり、その絶対総和が最小となるブロック位置を追尾対象部の移動位置と判定するものである。
【００２４】
次に、ステップＳ６において、現フレーム（第２フレーム）において追尾対象部があると判断された追尾対象ブロック２０の位置情報は、動きベクトル検出部１６に送られる。動きベクトル検出部１６においては、前フレーム（第1フレーム）の追尾対象ブロック１８の位置情報と現フレーム（第２フレーム）の追尾対象ブロック２０の位置情報との差分から、追尾対象部の動きベクトルを検出する。また、現フレーム（第２フレーム）の追尾対象ブロック２０の位置情報と表示目標位置枠１９の位置情報との差分である表示位置誤差を検出する。
【００２５】
次に、ステップＳ７において、ステップＳ６において検出された動きベクトルに基づき次フレーム（第３フレーム）での追尾対象ブロックの位置２１を予測し、さらに、次フレーム（第３フレーム）において追尾対象ブロック２１が表示目標位置枠１９に表示されるように雲台を駆動制御するための雲台制御情報を、表示位置誤差量を考慮して演算する。この雲台制御情報の演算には、画面上の移動距離を雲台の駆動制御量に変換する過程が必要である。事前に追尾対象物との距離と追尾対象物の移動している方向が判っている場合は、計算により動きベクトルを雲台の駆動制御量に変換可能であるが、変換式を固定すると撮影場所や画角に制限を受けるので、ゲイン調整部３０を設け、撮影環境や撮影者の意図によって雲台制御量への帰還利得を調整できるようにしている。ゲインは、例えば、動きベクトルの生成時間間隔を変更することにより容易に調整することができる。
【００２６】
ステップＳ８では、ゲイン調整部３０において調整された雲台制御情報を基に雲台制御部１７において雲台駆動信号を生成し、雲台駆動信号により、次フレームにおいて動きベクトルが最小となるように、また、追尾対象ブロックが表示目標位置に表示されるように、雲台駆動装置１２を駆動する。
【００２７】
第３フレームにおいてもステップＳ７と同様の追尾対象ブロックの位置予測を行う。第２フレームの撮影映像情報から得られた動きベクトルに基づいて第３フレームにおける追尾対象ブロックを探索するエリアを設定することにより、効率的に探索することができる。尚、ステップＳ７，Ｓ８において、追尾対象ブロックが表示目標位置に表示されるように雲台駆動装置１２を駆動制御しているため、追尾対象物の移動速度や方向が大きく変わらない限り、追尾対象ブロックは表示目標位置枠周辺に表示され、追尾対象ブロックを探索するエリアを表示目標位置枠周辺に限定することが可能となる。従って、フレーム内で全画像データを検索エリアとすることなく、探索領域設定手段にて表示目標位置枠周辺に限定して設定された探索領域で追尾対象部をサーチすることができる。図３において第２フレームの追尾対象ブロック２０の次フレームでの相対的な位置予測はブロック２１となり、相対的な探索するエリアは探索領域２２と設定できる。先に説明した制御が行われ、仮に予測誤差が無い場合は、第３フレームでは、目標表示位置枠１９と追尾対象ブロック２１と探索領域２２の中心は一致する。
【００２８】
ステップＳ９において、第２フレームから第３フレームにかけて雲台駆動方向と駆動量を画面上の追尾対象ブロックの動きベクトルに変換する。ステップＳ７において行った画面上の移動距離を雲台制御量に変換する過程と逆の動作により、雲台制御量を追尾対象ブロックの動きベクトルに換算すると共に、第３フレームの画像情報をもとに動きベクトルを検出する。ここで、上記ステップＳ９で必ずしも雲台制御量を動きベクトルに換算（変換）し、その値に基づいて動きベクトルを計測する必要は無く、雲台制御量を考慮せずに動きベクトルを計測（検出）しても構わない。
【００２９】
ステップＳ１０においては、雲台制御量から換算された動きベクトルと第３フレームの画像情報をもとに検出された動きベクトルに基づき真の動きベクトルが求められる。
【００３０】
以降、ステップＳ８からＳ１０のフローを繰り返すことにより、撮像映像が更新されるフレーム更新周期毎に表示位置誤差量を修正した予測制御を行う動作が繰り返され、追尾対象ブロックは、表示目標位置周辺に表示されるようにカメラ搭載用雲台１１は制御され、追尾カメラ雲台として動作する。
【００３１】
また、追尾対象部の位置を予測する周期は、撮像された映像が更新されるフレーム更新周期の整数倍であってもよく、撮影状況に併せて変更することができるようにしてもよい。
【００３２】
ここまで、追尾対象ブロックを誤認識することなく毎フレーム検出できることを前提に説明したが、実際は、探索領域に追尾対象ブロックに類似した被写体が入ってくることがあり、誤認識しない対策が必要となる。図４を参照しながら本発明の誤認識対策を説明する。追尾対象ブロックとして記憶されているブロック２３を８×８画素のブロックエリアとし、探索領域２６を６４×６４画素のブロックとする。追尾対象ブロックデータは前述したパターンマッチング方式によって探索領域内の画像データとの差分をとり、その絶対総和が最小となるブロック位置を探索する。探索領域２６内で差分をとり、その絶対総和が小さく追尾対象ブロック枠18の移動位置と認識可能なブロックが２４、２５と複数存在した場合何らかの判定基準が必要となる。本発明では、探索領域に対象部認識の確からしさの重み付けをすることで、誤認識対策を行う。図４において探索領域の中心から上下左右±４画素の８×８画素のブロックエリアが最も確からしく四隅８×８画素のブロックエリアの重み付けが最も軽くする係数を先の差分の絶対総和に乗算することで、探索領域周辺端に向けて重み付けが軽くなっていく判定基準を得ることができる。この判定基準によれば、図４の例ではブロック２４を追尾対象として認識する。前述した陸上競技や競馬中継においては、進行方向を突如変えたり、急激に速度を変えたりすることは殆ど無いので予測した探索領域の中心に重み付けを行うことで正しい対象部認識を行うことになる。
【００３３】
次に第二の誤認識対策を説明する。
ゲイン調整部３０は、動きベクトル検出部１６からの出力である動きベクトルを一定時間分保持可能なレジスタ（動きベクトル保持手段）を持つように構成される。ゲイン調整部３０の出力を算出する過程で、一定時間の過去の動きベクトルの積算し、その平均を動きベクトルとして求める。１０フレームの撮影映像情報から得られた動きベクトルの平均から平均の動きベクトルを求める設定で毎フレーム水平方向に動きベクトルが１の大きさで発生している場合を考えると、第ｎフレームにおいて障害物によって追尾対象部が検出できない場合が発生した場合（図５（ａ））、第ｎフレームでの発生動きベクトルはゼロとするが、ゲイン調整部３０の出力では０．９の動きベクトル値となり、第ｎ＋１フレームでは、表示目標位置枠１９には達しないものの、ほぼ撮影者の意図通りの映像を得ることができる（図５（ｂ））。
【００３４】
ゲイン調整部３０の出力を過去値の平均とする手段は、帰還ループのループフィルタとして動作するので、一時的に追尾対象部を見失ってもカメラ雲台はスムーズに制御される。この積算フレーム数を可変としておくことで、さまざまな被写体の特性に応じた画像を得ることができることになるので適用映像素材の範囲を広げることが可能になる。
【００３５】
以上、本発明の動作を簡素化して説明するため、水平方向へ移動する被写体の追尾撮影を例として説明したが、垂直方向への動きベクトルが検出された場合であっても画面上の移動量と雲台制御量の換算係数が異なるだけで、雲台のチルト制御も同様に行うことができる。
【００３６】
また、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３７】
10…カメラ
11…雲台
12…雲台駆動部
13…追尾対象部／表示位置選択部
14…映像モニタ
15…映像メモリ処理部
16…動きベクトル検出部
17…雲台制御部
18…追尾対象部選択枠
19…表示目標位置枠
30…ゲイン調整部
22、42、45…探索領域
【技術分野】
【０００１】
本発明は、撮影映像内の被写体の一部をターゲットとして選択して、選択した対象部を自動で認識して追尾して撮影するカメラ雲台に関するものある。
【背景技術】
【０００２】
動き検出を利用した自動追尾カメラ雲台は、カメラから得た映像情報をメモリに蓄え、追尾対象物の動きを検出し、検出した動きベクトルに応じて雲台を制御するのが一般的である。図６に示す構成を例に説明する。
【０００３】
カメラ５０は、カメラ搭載用雲台５１上に設置され、雲台は駆動装置５２により駆動される。カメラ５０からのデジタル映像出力は、追尾対象部選択装置５３及び映像メモリ処理部５５に入力される。追尾対象部選択装置５３では、追尾対象部を選択するための追尾部選択枠５８をカメラから映像信号に多重して映像モニタ５４に出力する。追尾対象部選択装置５３には、追尾部選択枠５８を画面上で移動させることができる操作機能と選択枠内に囲まれた画像データを追尾対象部として選択する選択機能を有している。追尾対象部選択装置５３において選択された画像データの画面上の位置情報は、選択したタイミング情報とともに映像メモリ処理部５５に送られる。映像メモリ処理部５５では、一定時間間隔、例えばフレーム画像が更新される時間間隔で、画像データをメモリしており、追尾対象部選択装置５３からの追尾対象部の位置情報と選択時のタイミング情報によって、メモリ上で被選択データを認識する。
【０００４】
映像メモリ処理部55は、追尾対象部を被選択データとして保持し、次フレームからフレーム時間毎にフレーム内の画像データで追尾対象部とデータが同じ、あるいは相関が高いブロックを探索し、追尾対象部と判断したブロックの位置情報を動き検出部５６に送る。動き検出部５６においては、フレーム画像の更新毎に得られる追尾対象部の位置情報を基に、追尾対象部の動きベクトルを検出し、次フレームにおいて動きベクトルが最小となるような制御信号を算出し、雲台制御部５７へ送る。雲台制御部５７では、この制御信号を雲台駆動信号に変換して、追尾対象ブロックが画面上の固定位置に表示されるよう雲台駆動装置５２を駆動し、カメラ搭載用雲台５１は、追尾カメラ雲台として制御される。
【０００５】
追尾対象部の検出方法としては、特許文献１などに記載の輝度信号や色信号のマッチング方式が公知である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−３５４４９０号公報
【特許文献２】特開平１０−３３６５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような制御方法をベースにしたときは、目的の対象物と類似した被写体が探索領域に入ってきた場合、対象物を誤認識することがあり、回避策を講じておく必要がある。特許文献２においては、追尾対象部の色差ヒストグラムをテンプレートとし、動きベクトルから対象物の推定位置近傍を探索領域として探索領域の色差ヒストグラムとの相関計算を検出された動きベクトル毎に行い、相関値が最も高いエリアを対象部として誤認識を防ぐ方法が提案されている。
【０００８】
この誤認識対策は、目的の対象物と類似した被写体であっても色相に差があれば、誤認識を防ぐ有効な方法であるが、追尾対象物が他の被写体の陰になった場合や、類似した色の被写体が探索領域内にある場合においては、誤認識する可能性がある。
例えば、陸上競技や競馬中継において特定の選手を追尾したい場合において、動きベクトルから探索領域の絞込みは可能であるが、同系色の移動体が複数存在するケースでは、認識誤りを起こす恐れがある。
また、追尾対象部の表示位置は、最初に追尾対象部を設定した画面上の位置に依存し、撮影者の意図する構図を取るのは困難である問題があった。
【０００９】
そこで、本発明は、前述した対象物を自動追尾して撮影するような状況において、対象物を撮影者の意図する画面上の位置に追尾表示し、他の被写体が近傍に入ってきた場合においても、追尾対象物を誤認識せず、追尾対象物の追尾確率を高め、追尾の確からしさが低下した場合においても、映像素材としての有効性を損なわない画像を取得できる追尾カメラ雲台を提供する事を目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本出願に係る発明に係る、被写体を追尾してカメラの撮影画像表示部の所定の位置に表示するようカメラ雲台のパン及びチルトを駆動制御するカメラ雲台装置は、追尾対象部の該撮影画像表示部における表示位置を設定する表示位置設定手段と、該追尾対象部を該撮影画像表示部において選択する追尾対象部選択手段と、撮影映像情報を一定の時間間隔で記憶する記憶手段と、該記憶手段に記憶された撮影映像情報に基づき、追尾対象部の撮像画像表示部における移動量から該追尾対象部の動きベクトルを検出する動きベクトル検出手段と、該追尾対象部を追尾して撮影画像表示部の表示位置に表示するように、過去の動きベクトルおよびカメラ雲台の駆動制御量に基づいてカメラ雲台を駆動制御する駆動制御手段と、該動きベクトルから追尾対象部が移動する範囲を予測し、追尾対象部の探索領域を設定する探索領域設定手段と、該探索領域に対象部認識の確からしさの重み付けを行い、該確からしさの重み付けによって判定する対象部認識手段とを備えることを特徴とする。
【００１１】
本発明に係る前記カメラ雲台装置の更なる構成においては、前記記憶手段は、選択した追尾対象部と前記探索領域の輝度信号、または、色差信号、または、輝度信号と色差信号を撮像映像のフレーム更新周期の整数倍の周期で記録することを特徴とする。
【００１２】
本発明に係る前記カメラ雲台装置の更なる構成においては、探索領域における対象部認識の確からしさの重み付けは、探索領域の中心が最も重く（確からしさが高く）、探索領域周辺端に向けて軽く（確からしさが低く）なるように設定されることを特徴とする。
【００１３】
本発明に係る前記カメラ雲台装置の更なる構成においては、一定時間分の過去の動きベクトルを保持する動きベクトル保持手段をさらに有し、前記動きベクトルは、該保持された過去の動きベクトルに基づいて演算され、前記探索領域設定手段は、該演算された動きベクトルと前記カメラ雲台の駆動制御量に基づいて、追尾対象部の探索領域を設定することを特徴とする。
【００１４】
本発明に係る前記カメラ雲台装置の更なる構成においては、前記カメラ雲台装置は一定時間分の過去の動きベクトルを保持する動きベクトル保持手段をさらに有し、前記動きベクトルは、該保持された過去の動きベクトルに基づいて演算され、前記探索領域設定手段は、該演算された動きベクトルと前記カメラ雲台の駆動制御量に基づいて、追尾対象部の探索領域を設定することを特徴とする。
【発明の効果】
【００１５】
本説明に係るカメラ雲台装置によれば、追尾対象物を設定して検出した動きベクトルから追尾対象物が移動する探索領域を予測し、探索領域において検出場所に応じて追尾対象物認識の確からしさの重み付けを付与して判定することにより、追尾対象物に類似の被写体があっても誤認識せずに正確な追尾を可能とし、また、雲台制御信号を一定時間の過去の動きベクトルの平均に基づいて求めるように設定することにより、一時的に追尾対象物を認識できない場合においても、追尾対象物を誤認識せず、目標とする画面上の所定の位置に追尾対象物が表示されるように雲台が駆動制御され、スムーズな追尾画像を得ることができるカメラ雲台を実現することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例の追尾カメラ雲台のブロック図である。
【図２】追尾開始からのステップ動作を示したフロー図である。
【図３】追尾部選択枠の動作を説明するための追尾画面説明図である。
【図４】追尾対象ブロック誤認識対策の説明図である。
【図５】追尾対象ブロック誤認識対策の説明図である。
【図６】従来例の追尾カメラ雲台の概略図である。
【発明を実施するための形態】
【００１７】
以下に、本発明の実施形態を図１を例にして詳細に説明する。
図１は、本発明の特徴をよく表す追尾カメラ雲台のブロック図である。
【実施例】
【００１８】
図１は、本発明の追尾カメラ雲台のブロック図である。
カメラ１０は、カメラ搭載用雲台１１に搭載され、該雲台は駆動装置１２により駆動される。カメラ１０からのデジタル映像出力は、追尾対象部選択／表示位置設定器１３及び映像メモリ処理部１５に入力される。追尾対象部選択／表示位置設定器１３では、追尾対象部を選択するための追尾部選択枠１８と、追尾対象部を画面内において表示させたい位置を示す表示目標位置枠１９をカメラからの映像信号に多重して映像モニタ（撮影画像表示部）１４に出力する。追尾対象部選択／表示位置設定器１３には、追尾部選択枠１８を画面上で移動させる操作機能と、表示目標位置枠１９を画面上で移動させる操作機能と、追尾部選択枠に囲まれた画像データを追尾対象部として選択する選択機能を有している。
【００１９】
図３は、水平方向に移動している被写体（追尾対象物）をパン操作で追尾し、撮影画像表示部内の所定の場所に表示させる場合の例であって、追尾部選択枠の動作を説明するための追尾画面説明図である。追尾開始からのステップ動作を、図２に示したフローと図３の追尾画面説明図を用いて説明する。
【００２０】
最初に、ステップＳ２において、追尾対象部選択／表示位置設定器１３により、追尾対象部分を表示させたい画面内での位置を選択する。表示目標位置枠１９を画面上で移動させ、表示目標位置を設定する。図３（ａ）〜（ｃ）においては、表示目標位置枠１９を画面中央に設定している。
【００２１】
次に、ステップＳ３において、追尾対象部が追尾部選択枠１８内に位置するように、追尾部選択枠１８を画面上で移動させ、追尾対象部を選択する。追尾対象部が選択された画像データの画面上の位置情報は、選択したタイミング情報とともに映像メモリ処理部１５に送られ、表示目標位置情報は動きベクトル検出部１６に送られる。この位置情報は、例えば、追尾部選択枠の左上のライン番号と画素番号といった位置データを用いることができる。
【００２２】
次にステップＳ４において、映像メモリ処理部１５は画像データを記憶すると共に、追尾対象部選択／表示位置設定器１３から送られた位置データと選択時のタイミング情報によって、メモリ上で追尾部選択枠内のデータ（以後、追尾対象ブロックデータと記す）を認識し、例えば、８×８画素分の輝度信号あるいは色差信号を追尾対象ブロックの画像データとして保持する。尚、映像メモリ処理部１５は、一定時間間隔、例えばフレーム画像の更新間隔で、画像データを記憶する。
【００２３】
次に、ステップＳ５において、映像メモリ処理部１５は、記録した追尾対象ブロックデータと、次フレームにおける画像データと比較し、画像データ内に追尾対象ブロックデータと同じあるいは相関が高い画像データを有するブロックを探索し、次フレーム内での追尾対象部の認識判定を行う。ハード化が容易な認識判定の方法として、「画像情報圧縮/オーム社/テレビジョン学会編/1991」などに解説されたブロック単位でのパターンマッチング方式が知られている。この方式は、被選択ブロックの画素データの画素ずらしを行ってフレームメモリデータとの差分をとり、その絶対総和が最小となるブロック位置を追尾対象部の移動位置と判定するものである。
【００２４】
次に、ステップＳ６において、現フレーム（第２フレーム）において追尾対象部があると判断された追尾対象ブロック２０の位置情報は、動きベクトル検出部１６に送られる。動きベクトル検出部１６においては、前フレーム（第1フレーム）の追尾対象ブロック１８の位置情報と現フレーム（第２フレーム）の追尾対象ブロック２０の位置情報との差分から、追尾対象部の動きベクトルを検出する。また、現フレーム（第２フレーム）の追尾対象ブロック２０の位置情報と表示目標位置枠１９の位置情報との差分である表示位置誤差を検出する。
【００２５】
次に、ステップＳ７において、ステップＳ６において検出された動きベクトルに基づき次フレーム（第３フレーム）での追尾対象ブロックの位置２１を予測し、さらに、次フレーム（第３フレーム）において追尾対象ブロック２１が表示目標位置枠１９に表示されるように雲台を駆動制御するための雲台制御情報を、表示位置誤差量を考慮して演算する。この雲台制御情報の演算には、画面上の移動距離を雲台の駆動制御量に変換する過程が必要である。事前に追尾対象物との距離と追尾対象物の移動している方向が判っている場合は、計算により動きベクトルを雲台の駆動制御量に変換可能であるが、変換式を固定すると撮影場所や画角に制限を受けるので、ゲイン調整部３０を設け、撮影環境や撮影者の意図によって雲台制御量への帰還利得を調整できるようにしている。ゲインは、例えば、動きベクトルの生成時間間隔を変更することにより容易に調整することができる。
【００２６】
ステップＳ８では、ゲイン調整部３０において調整された雲台制御情報を基に雲台制御部１７において雲台駆動信号を生成し、雲台駆動信号により、次フレームにおいて動きベクトルが最小となるように、また、追尾対象ブロックが表示目標位置に表示されるように、雲台駆動装置１２を駆動する。
【００２７】
第３フレームにおいてもステップＳ７と同様の追尾対象ブロックの位置予測を行う。第２フレームの撮影映像情報から得られた動きベクトルに基づいて第３フレームにおける追尾対象ブロックを探索するエリアを設定することにより、効率的に探索することができる。尚、ステップＳ７，Ｓ８において、追尾対象ブロックが表示目標位置に表示されるように雲台駆動装置１２を駆動制御しているため、追尾対象物の移動速度や方向が大きく変わらない限り、追尾対象ブロックは表示目標位置枠周辺に表示され、追尾対象ブロックを探索するエリアを表示目標位置枠周辺に限定することが可能となる。従って、フレーム内で全画像データを検索エリアとすることなく、探索領域設定手段にて表示目標位置枠周辺に限定して設定された探索領域で追尾対象部をサーチすることができる。図３において第２フレームの追尾対象ブロック２０の次フレームでの相対的な位置予測はブロック２１となり、相対的な探索するエリアは探索領域２２と設定できる。先に説明した制御が行われ、仮に予測誤差が無い場合は、第３フレームでは、目標表示位置枠１９と追尾対象ブロック２１と探索領域２２の中心は一致する。
【００２８】
ステップＳ９において、第２フレームから第３フレームにかけて雲台駆動方向と駆動量を画面上の追尾対象ブロックの動きベクトルに変換する。ステップＳ７において行った画面上の移動距離を雲台制御量に変換する過程と逆の動作により、雲台制御量を追尾対象ブロックの動きベクトルに換算すると共に、第３フレームの画像情報をもとに動きベクトルを検出する。ここで、上記ステップＳ９で必ずしも雲台制御量を動きベクトルに換算（変換）し、その値に基づいて動きベクトルを計測する必要は無く、雲台制御量を考慮せずに動きベクトルを計測（検出）しても構わない。
【００２９】
ステップＳ１０においては、雲台制御量から換算された動きベクトルと第３フレームの画像情報をもとに検出された動きベクトルに基づき真の動きベクトルが求められる。
【００３０】
以降、ステップＳ８からＳ１０のフローを繰り返すことにより、撮像映像が更新されるフレーム更新周期毎に表示位置誤差量を修正した予測制御を行う動作が繰り返され、追尾対象ブロックは、表示目標位置周辺に表示されるようにカメラ搭載用雲台１１は制御され、追尾カメラ雲台として動作する。
【００３１】
また、追尾対象部の位置を予測する周期は、撮像された映像が更新されるフレーム更新周期の整数倍であってもよく、撮影状況に併せて変更することができるようにしてもよい。
【００３２】
ここまで、追尾対象ブロックを誤認識することなく毎フレーム検出できることを前提に説明したが、実際は、探索領域に追尾対象ブロックに類似した被写体が入ってくることがあり、誤認識しない対策が必要となる。図４を参照しながら本発明の誤認識対策を説明する。追尾対象ブロックとして記憶されているブロック２３を８×８画素のブロックエリアとし、探索領域２６を６４×６４画素のブロックとする。追尾対象ブロックデータは前述したパターンマッチング方式によって探索領域内の画像データとの差分をとり、その絶対総和が最小となるブロック位置を探索する。探索領域２６内で差分をとり、その絶対総和が小さく追尾対象ブロック枠18の移動位置と認識可能なブロックが２４、２５と複数存在した場合何らかの判定基準が必要となる。本発明では、探索領域に対象部認識の確からしさの重み付けをすることで、誤認識対策を行う。図４において探索領域の中心から上下左右±４画素の８×８画素のブロックエリアが最も確からしく四隅８×８画素のブロックエリアの重み付けが最も軽くする係数を先の差分の絶対総和に乗算することで、探索領域周辺端に向けて重み付けが軽くなっていく判定基準を得ることができる。この判定基準によれば、図４の例ではブロック２４を追尾対象として認識する。前述した陸上競技や競馬中継においては、進行方向を突如変えたり、急激に速度を変えたりすることは殆ど無いので予測した探索領域の中心に重み付けを行うことで正しい対象部認識を行うことになる。
【００３３】
次に第二の誤認識対策を説明する。
ゲイン調整部３０は、動きベクトル検出部１６からの出力である動きベクトルを一定時間分保持可能なレジスタ（動きベクトル保持手段）を持つように構成される。ゲイン調整部３０の出力を算出する過程で、一定時間の過去の動きベクトルの積算し、その平均を動きベクトルとして求める。１０フレームの撮影映像情報から得られた動きベクトルの平均から平均の動きベクトルを求める設定で毎フレーム水平方向に動きベクトルが１の大きさで発生している場合を考えると、第ｎフレームにおいて障害物によって追尾対象部が検出できない場合が発生した場合（図５（ａ））、第ｎフレームでの発生動きベクトルはゼロとするが、ゲイン調整部３０の出力では０．９の動きベクトル値となり、第ｎ＋１フレームでは、表示目標位置枠１９には達しないものの、ほぼ撮影者の意図通りの映像を得ることができる（図５（ｂ））。
【００３４】
ゲイン調整部３０の出力を過去値の平均とする手段は、帰還ループのループフィルタとして動作するので、一時的に追尾対象部を見失ってもカメラ雲台はスムーズに制御される。この積算フレーム数を可変としておくことで、さまざまな被写体の特性に応じた画像を得ることができることになるので適用映像素材の範囲を広げることが可能になる。
【００３５】
以上、本発明の動作を簡素化して説明するため、水平方向へ移動する被写体の追尾撮影を例として説明したが、垂直方向への動きベクトルが検出された場合であっても画面上の移動量と雲台制御量の換算係数が異なるだけで、雲台のチルト制御も同様に行うことができる。
【００３６】
また、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３７】
10…カメラ
11…雲台
12…雲台駆動部
13…追尾対象部／表示位置選択部
14…映像モニタ
15…映像メモリ処理部
16…動きベクトル検出部
17…雲台制御部
18…追尾対象部選択枠
19…表示目標位置枠
30…ゲイン調整部
22、42、45…探索領域
【特許請求の範囲】
【請求項１】
被写体を追尾してカメラの撮影画像表示部の所定の位置に表示するようカメラ雲台のパン及びチルトを駆動制御するカメラ雲台装置であって、該カメラ雲台装置は、
追尾対象部の該撮影画像表示部における表示位置を設定する表示位置設定手段と、
該追尾対象部を該撮影画像表示部において選択する追尾対象部選択手段と、
撮影映像情報を一定の時間間隔で記憶する記憶手段と、
該記憶手段に記憶された撮影映像情報に基づき、追尾対象部の撮影画像表示部における移動量から該追尾対象部の動きベクトルを検出する動きベクトル検出手段と、
該追尾対象部を追尾して撮影画像表示部の表示位置に表示するように、該動きベクトルとカメラ雲台の駆動制御量に基づいてカメラ雲台を駆動制御する駆動制御手段と、
該動きベクトルから追尾対象部が移動する範囲を予測し、追尾対象部の探索領域を設定する探索領域設定手段と、
該探索領域に対象部認識の確からしさの重み付けを行い、該確からしさの重み付けによって対象部認識を判定する対象部認識手段を、
有することを特徴とするカメラ雲台装置。
【請求項２】
前記記憶手段は、選択した追尾対象部と前記探索領域の輝度信号、または、色差信号、または、輝度信号と色差信号を撮像映像のフレーム更新周期の整数倍の周期で記録することを特徴とする請求項１に記載のカメラ雲台装置。
【請求項３】
前記記憶手段が記録する周期は、フレーム更新周期の整数倍ステップで可変であることを特徴とする請求項２に記載のカメラ雲台装置。
【請求項４】
探索領域における対象部認識の確からしさの重み付けは、探索領域の中心が最も重く、探索領域周辺端に向けて軽くなるように設定される、ことを特徴とする請求項１乃至３のいずれか１項に記載のカメラ雲台装置。
【請求項５】
前記カメラ雲台装置は一定時間分の過去の動きベクトルを保持する動きベクトル保持手段をさらに有し、前記動きベクトルは、該保持された過去の動きベクトルに基づいて演算され、
前記探索領域設定手段は、該演算された動きベクトルと前記カメラ雲台の駆動制御量に基づいて、追尾対象部の探索領域を設定する、
ことを特徴とする請求項１乃至４のいずれか１項に記載のカメラ雲台装置
【請求項６】
前記動きベクトル保持手段における、過去の動きベクトルを保持する前記一定時間は可変である、ことを特徴とする請求項１乃至４のいずれか１項に記載のカメラ雲台装置
【請求項７】
前記探索領域設定手段が、前記動きベクトルとカメラ雲台の前記駆動制御量から前記追尾対象部が移動する範囲を予測することを特徴とする請求項１乃至６いずれか１項に記載のカメラ雲台装置。
【請求項１】
被写体を追尾してカメラの撮影画像表示部の所定の位置に表示するようカメラ雲台のパン及びチルトを駆動制御するカメラ雲台装置であって、該カメラ雲台装置は、
追尾対象部の該撮影画像表示部における表示位置を設定する表示位置設定手段と、
該追尾対象部を該撮影画像表示部において選択する追尾対象部選択手段と、
撮影映像情報を一定の時間間隔で記憶する記憶手段と、
該記憶手段に記憶された撮影映像情報に基づき、追尾対象部の撮影画像表示部における移動量から該追尾対象部の動きベクトルを検出する動きベクトル検出手段と、
該追尾対象部を追尾して撮影画像表示部の表示位置に表示するように、該動きベクトルとカメラ雲台の駆動制御量に基づいてカメラ雲台を駆動制御する駆動制御手段と、
該動きベクトルから追尾対象部が移動する範囲を予測し、追尾対象部の探索領域を設定する探索領域設定手段と、
該探索領域に対象部認識の確からしさの重み付けを行い、該確からしさの重み付けによって対象部認識を判定する対象部認識手段を、
有することを特徴とするカメラ雲台装置。
【請求項２】
前記記憶手段は、選択した追尾対象部と前記探索領域の輝度信号、または、色差信号、または、輝度信号と色差信号を撮像映像のフレーム更新周期の整数倍の周期で記録することを特徴とする請求項１に記載のカメラ雲台装置。
【請求項３】
前記記憶手段が記録する周期は、フレーム更新周期の整数倍ステップで可変であることを特徴とする請求項２に記載のカメラ雲台装置。
【請求項４】
探索領域における対象部認識の確からしさの重み付けは、探索領域の中心が最も重く、探索領域周辺端に向けて軽くなるように設定される、ことを特徴とする請求項１乃至３のいずれか１項に記載のカメラ雲台装置。
【請求項５】
前記カメラ雲台装置は一定時間分の過去の動きベクトルを保持する動きベクトル保持手段をさらに有し、前記動きベクトルは、該保持された過去の動きベクトルに基づいて演算され、
前記探索領域設定手段は、該演算された動きベクトルと前記カメラ雲台の駆動制御量に基づいて、追尾対象部の探索領域を設定する、
ことを特徴とする請求項１乃至４のいずれか１項に記載のカメラ雲台装置
【請求項６】
前記動きベクトル保持手段における、過去の動きベクトルを保持する前記一定時間は可変である、ことを特徴とする請求項１乃至４のいずれか１項に記載のカメラ雲台装置
【請求項７】
前記探索領域設定手段が、前記動きベクトルとカメラ雲台の前記駆動制御量から前記追尾対象部が移動する範囲を予測することを特徴とする請求項１乃至６いずれか１項に記載のカメラ雲台装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１６６４２６（Ｐ２０１１−１６６４２６Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２６５４６（Ｐ２０１０−２６５４６）
【出願日】平成２２年２月９日（２０１０．２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月９日（２０１０．２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]