動体の動きベクトル検出装置
【目的】この発明の動体の動きベクトル検出装置にあっては、動体の動きベクトルを検出するために、物体の検出範囲を小さく、且つサンプリング間隔を短くして、高速及び低速で移動する物体を検出することを特徴とする。
【構成】ビデオカメラ１０、Ｙ／Ｃ分離回路１１、Ａ／Ｄ変換回路１２及びビデオＲＡＭ１３ａを介して、被写体の所定領域から第１及び第２の時刻に於ける第１及び第２の映像をＣＰＵ１４が検出する。このＣＰＵ１４は、ビデオＲＡＭ１３ａ、１３ｂ、ＲＡＭ１５及びＲＯＭ１６と共に、上記第１の映像を基準に第２の映像を所定ピッチずつシフトさせて第１と第２の映像の最も一致するシフト量を求め、更に上記第１及び第２の映像の最良の一致点のシフト量から所望の映像の動きベクトルを検出し、上記所望の映像が動いていない場合に上記第２の映像のみ更新して再度上記相関演算を行って動きベクトルを演算する。
【構成】ビデオカメラ１０、Ｙ／Ｃ分離回路１１、Ａ／Ｄ変換回路１２及びビデオＲＡＭ１３ａを介して、被写体の所定領域から第１及び第２の時刻に於ける第１及び第２の映像をＣＰＵ１４が検出する。このＣＰＵ１４は、ビデオＲＡＭ１３ａ、１３ｂ、ＲＡＭ１５及びＲＯＭ１６と共に、上記第１の映像を基準に第２の映像を所定ピッチずつシフトさせて第１と第２の映像の最も一致するシフト量を求め、更に上記第１及び第２の映像の最良の一致点のシフト量から所望の映像の動きベクトルを検出し、上記所望の映像が動いていない場合に上記第２の映像のみ更新して再度上記相関演算を行って動きベクトルを演算する。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は動体の動きベクトル検出装置に関し、特に動体に追尾領域を合わせてその動きベクトルを検出する動体の動きベクトル検出装置に関するものである。
【０００２】
【従来の技術】従来より、映像の比較的広い領域を複数に分割し、その中から動体の存在する領域を判別する動体検出を行う装置が、種々開発されている。そして、例えば特公昭５９−３２７４３号公報には、相関演算を使用して物体を追尾する相関追尾装置が開示されている。
【０００３】
【発明が解決しようとする課題】ところで、このような装置に於いて、比較する２つの映像のサンプリング時間間隔をΔＴとして一定とすると、動きベクトルの検出範囲、すなわち相関演算のシフト量は、τ＝０，１，…，Ｎである。シフト量Ｎをあまり大きくすると、演算時間が長くなってしまうので、なるべく小さいものが望ましい。しかしながら、Ｎを小さくすると、シフト量の検出範囲が狭くなってしまう。ΔＴを短くして高速の物体を検出可能にすると、低速の物体の検出ができなくなる。逆に、ΔＴを長くして低速の物体を検出可能にすると、高速の物体の検出が不可能になってしまう。
【０００４】この発明は上記課題に鑑みてなされたもので、高速の物体の検出を可能にして、且つ相関演算のシフト量を小さくし、サンプリング時間を短くしても、低速で移動する物体を検出することのできる動体の動きベクトル検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】すなわちこの発明は、第１の時刻に於いて被写体の所定領域から第１の映像を検出する第１の検出手段と、上記第１の時刻とは異なる第２の時刻で上記所定領域から第２の映像を検出する第２の検出手段と、上記第１の映像を基準として第２の映像を所定のピッチずつシフトさせながら上記第１の映像と第２の映像の最も一致するシフト量を求める相関演算を行う相関演算手段と、上記第１及び第２の映像の最良の一致点のシフト量から所望の映像の動きベクトルを検出する第３の検出手段とを具備し、上記相関演算手段は、上記所望の映像が動いていないと判断された場合に上記第２の映像のみ更新して再度上記相関演算を行い、上記動きベクトルを演算することを特徴とする。
【０００６】
【作用】この発明の動体の動きベクトル検出装置にあっては、動きベクトルの検出範囲をなるべく小さくして、またサンプリング時間間隔をなるべく短くする。そして、最初は高速の物体の検出を可能にし、物体の動きが検出されない場合に、比較する２つの映像のうち、後の時点に参照像と称されるサンプリングした映像のみを更新する。そして、再び同様の相関を行い、シフト量を繰返し求める。これにより、広範囲の動きベクトルの検出を行うことができる。
【０００７】
【実施例】以下、図面を参照してこの発明の実施例を説明する。図１は、この発明の一実施例で、動体の動きベクトル検出装置が適用されたカメラシステムの構成を示すブロック図である。
【０００８】同図に於いて、ビデオカメラ１０から出力されるＮＴＳＣコンポジット信号の一方は、Ｙ／Ｃ分離回路１１で輝度信号が分離され、輝度信号のみＡ／Ｄ変換回路１２でＡＤ変換されてビデオＲＡＭ１３ａに入力される。ＣＰＵ１４は、ビデオＲＡＭ１３ａ、１３ｂ、１４、ＲＡＭ１５及びＲＯＭ１６と結合しているもので、システム全体の制御、演算を行う。
【０００９】上記ＲＯＭ１６には、予め制御の手順がプログラムされている。また、ＲＡＭ１５は、演算途中のデータの記憶、演算結果のデータの記憶に用いられる。更に、ビデオＲＡＭ１３ｂは、ＣＰＵ１４で演算された注視点の位置を表示したり追尾マークの表示データを記憶するものである。
【００１０】ビデオＲＡＭ１３ｂに記憶された表示データは、ＣＲＴコントローラ１７のタイミングに従ってゲート１８を通り、スーパーインポーザ１９の一方の入力となる。このスーパーインポーザ１９は、ビデオカメラ１０の映像信号に、ゲート１８の出力である注視点の位置や追尾マーク等を重ねて表示するための装置である。スーパーインポーザ１９の出力は、表示部２０に表示される。
【００１１】尚、ＣＰＵ１４に入力される信号ｓ１は、カメラの操作者が注視点を移動させるための信号である。また、スイッチＳＷは、注視点を保持し、追尾を開始するためのスイッチである。
【００１２】図２は、カメラの操作者が注視点を選択してから追尾するまでの表示例を示したものである。図２（ａ）は、操作者が物体ＯＢＪの近傍に注視点マークＰ“＋”を移動させた状態を示した図である。ここで、スイッチＳＷ（図１参照）がオンされると、同図（ａ）の“＋”マークを中心に、図２（ｂ）に示されるように広い領域の動体検出ゾーンがスーパーインポーズされる。次いで、後に詳述する演算により動体領域が特定されて追尾が開始される。尚、同図（ｂ）の表示はなくともよいものである。更に、図２（ｃ）は、後述する追尾ゾーンの表す領域に、追尾マークがスーパーインポーズされた状態を示したものである。
【００１３】図３は、注視点のマーク（図２の“＋”）を移動させるための部材の配置を示したものである。これは銀塩カメラへの応用例であり、その詳細は本出願人が先に出願した特願平２−２３５０７４号に詳しく述べてある。
【００１４】図３に於いて、カメラ本体２１のグリップ２２上に、注視点移動部材２３が配置されている。そして、この注視点移動部材２３の中心に注視点選択部材２４（図１のスーパーインポーザ１９に相当する）が配置されている。注視点選択部材２４はレリーズ釦を兼用している。
【００１５】また、図４及び図５は、視線方向を検出し、それにより画面の任意の領域を指示するための原理図である。これらについて、例えば特開平２−５号公報や特開平２−６５８３４号公報、或いは電子通信学会技術報告ＰＲＵ８８−７３、ＰＰ．１７−２４に詳しく述べられている。これらは、眼の瞳孔と角膜反射像（第１プリキンエ像）、または虹彩と角膜反射像の組合わせから視線方向を検出するもので、注視点を指示する方法として注目されている。
【００１６】図４に於いて、２５は赤外ＬＥＤであり、この赤外ＬＥＤ２５からレンズ２６を介して平行光束が作られる。また、図中２７、２８はダイクロイックミラー、２９は撮影者の眼、３０はＣＣＤ、３１はレンズである。
【００１７】赤外ＬＥＤ２５から発せられた赤外線は、レンズ２６、ダイクロイックミラー２７、２８を介して眼２９に入る。そして、眼２９で反射された光は、ダイクロイックミラー２８、２７及びレンズ３１を介してＣＣＤ３０で撮像され、上述した原理で視線方向が計算される。これにより、撮影レンズ３２、ミラー３３、マット３４、コンデンサーレンズ３５、ペンタプリズム３６及びダイクロイックミラー２８を介して、撮影者が観測する注視点の位置を検出することが可能となる。図５は、眼の角膜反射像、瞳孔、虹彩の出力波形の一例を示したものである。図６は、動体検出ゾーンとカメラの動き検出領域の一例を示した図である。
【００１８】画面３７内の動体検出ゾーン３８は、更にこのゾーンの中が、後述するように複数ブロックに分割され、この中から１つのブロックが選択され、追尾ゾーンに特定されるようになっている。選択されるブロックは動体が最優先されるが、その場合、カメラが動いているのか、物体が動いているのかの判別が課題となる。尚、図中Ｓ１〜Ｓ４で示される領域は、カメラの動きを判別するために設定した動きベクトル検出領域３９〜４２である。
【００１９】図７は、図６の動体検出ゾーン３８を複数のブロックに分割した例である。同図（ａ）〜（ｄ）に示されるように、各々がオーバラップするように、９ブロックの追尾ゾーン（ａ11、ａ12、ａ13、ａ21、ａ22、ａ23、ａ31、ａ32、ａ33）に分割され、それぞれの領域の動きベクトルを検出することになる。
【００２０】これら９ブロックの追尾ゾーンのうち、１つの追尾ゾーン内は図８に示されるように、１６個の代表点画素（Ｐ（ 1,1）、Ｐ（ 1,2）、…、Ｐ（ 4,4））で構成されている。
【００２１】また、図９は図８の中の１つの画素（Ｐ11）が、５つの画素（Ｐ（0）、Ｐ（1）、Ｐ（2）、Ｐ（3）、Ｐ（4））の平均値で表されることを示す図である。この平均値は、数１の関係式のようにして求められる。
【００２２】
【数１】
【００２３】図１０は、この発明で採用された動きベクトル（移動量と方向）の検出の原理を示す図である（参考文献：テレビジョン学会技術報告Ｖｏｌ．１１，Ｎｏ．３，ＰＰ．４３−４８，ＰＰ０Ｅ’８７−１２（Ｍａｙ，１９８７）。
【００２４】動きベクトル検出法としては種々の方法があるが、精度スピードの点から、以下に述べる代表点マッチングがたいへんすぐれている。これは画面上のいくつかの画素（以下これを代表点と称する）に着目し、現在の位置と所定時間後の位置の変化から、動きベクトルを決定する方法である。
【００２５】図１０の模式図に於いて、現在の代表点Ｐが同図（ａ）に示される位置にあるものとする。所定時間後のこの代表点Ｐと最もレベルが一致する点を、同図（ｂ）のｐ1〜ｐ9と比較することにより求める。ここでは、その最もレベルが近い画素の位置へ代表点が移動したと判断し、該当するベクトルを動きベクトルと判断する。実際は精度を上げるため、代表点の数を増やしている。
【００２６】図１１は、代表点配置の一例を示したものである。同図に於いて、水平方向に１５ドットおきに３４ポイント、垂直方向に１５ライン毎に３４ポイントの代表点を配置している。尚、追尾ゾーンは、上述したように、４×４＝１６の代表点より構成される。また、ゾーンＢ（追尾ゾーンＡの動きベクトル検出範囲）は、水平、垂直方向ともに±２ポイントに設定される。
【００２７】すなわち、図１１で代表点Ｐの検出範囲は、図示の如く計２５ポイントとなる。また、図９で説明したように、各ポイントに相当する画素のレベルは、周囲４点の画素との加算平均を行うことにより、ローパスフィルタ効果をもたせている。これにより、エッジの鋭い画像を得て、細いラインへの検出能力を高めている。次に、図１２乃至図２１のフローチャートを参照して、同実施例の動作を説明する。
【００２８】図１２はこのカメラシステムの全体の制御動作を説明するフローチャートである。同図に於いて、先ず、注視点の設定が行われる（ステップＳ１）。ここで、ＣＰＵ１４は、注視点の座標を読取る。次に、設定された注視点を中心にして、現時点に於ける動体検出ゾーンと、カメラの動きベクトル検出ゾーン（図６及び図１１１１参照）の代表点のポイントのレベルが求められる（これを基準像のロード及び代表点フィルタリングと称するものとする）。次いで、所定時間（１／３０ｓｅｃ）後、同様にして上記と同領域の代表点ポイントのレベルが求められる（これを参照像のロード及び代表点フィルタリングと称するものとする）（ステップＳ２）。
【００２９】そして、ｉに０が初期設定される（ステップＳ３）。ここで、ｉは図７に示された９つの追尾ゾーン（ｉ＝０〜８）と、カメラの動きベクトル検出ゾーン（ｉ＝９〜１２）の領域を表す変数である。次に、サブルーチンＣＮＴＣＡＬにて、ｉ＝０〜１２の各領域のコントラストが求められる（ステップＳ４）。各々の領域は、図８に示されるように、１６個の代表点から成る。いま、それぞれの代表点を図８のようにＰ（ 1,1）、Ｐ（ 1,2）、…、Ｐ（ 4,4）とし、記述を簡単にするために、各々代表点の出力レベルも同じ記号Ｐ（ｉ，ｊ）で表わすものとする。
【００３０】図１３は、基準像のコントラスト計算を実行するＣＮＴＣＡＬのサブルーチンである。先ず、コントラストＣＮＴの演算が、次のように行われる（ステップＡ１）。すなわち、Ｘ方向のコントラストをＣＮＴＸ、Ｙ方向のコントラストをＣＮＴＹ、そしてコントラストをＣＮＴとすると、それぞれ数２、数３及び数４の関係式のようになる。
【００３１】
【数２】
【００３２】
【数３】
【００３３】
【数４】
【００３４】次にＣＮＴが所定レベルＣ１と比較され（ステップＡ２）、映像のコントラストが不足するとき、すなわちＣＮＴ＜Ｃ１のときは信頼度なしとして、ＲＬＢＴＹにＮＧが代入される（ステップＡ３）。この後、コントラスト演算のサブルーチンＣＮＴＣＡＬからリターンされる。
【００３５】図１２のフローチャートに戻り、信頼度変数ＲＬＢＴＹが判別され（ステップＳ５）、ＲＬＢＴＹ＝ＮＧのときベクトルパターンＶＰ（ｉ）にＮＧが代入される（ステップＳ６）。ここでＶＰ（ｉ）は、動きベクトルの種類をパターン分類するための変数であり、ＶＰ（ｉ）＝ＮＧとは動きベクトルを検出できないことを意味する。
【００３６】そして、変数ＣＮＴ（ｉ）にＣＮＴが代入され（ステップＳ７）、ｉ＝１２が判別される（ステップＳ８）。ここで、ｉ＝１２でなければｉに１を加えた後（ステップＳ９）、ステップＳ４に戻る。一方、ステップＳ８に於いて、ｉ＝１２であればコントラスト演算（ステップＳ４〜Ｓ９）を終了する。
【００３７】次に、更新回数の変数ＬＯＯＰに０が設定された後（ステップＳ１０）、再び領域選択ｉに０が初期設定される（ステップＳ１１）。ＣＰＵ１４は、先ずｉ＝０に相当する領域の代表点の信号を選択すると、図１４１４に示されるサブルーチンＶＥＣＴＣＡＬに於いて、上記基準像と参照像との間で相関演算を行う（ステップＳ１２）。
【００３８】図１４に於いて、いま基準像のＰ（ｉ，ｊ）の位置（図８参照）に相当する信号レベルをＰＳ（ｉ．ｊ）、参照像の信号レベルをＰＲ（ｉ，ｊ）とすると、相関値出力ＣＯＲＲ（Ｓ）は数５の関係式の如くなる（ステップＢ１）。
【００３９】
【数５】
ここでＨ＝０，１，２、Ｖ＝０，１，２であり、Ｈ，ＶはＸ方向、Ｙ方向へのずらし量に相当する。
【００４０】次に、ＣＯＲＲ（Ｈ，Ｖ）の極小値ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））が求められる。このときのＨが変数ＶＥＣＴＨに、Ｖが変数ＶＥＣＴＶに代入される。そして、上述したように求められた領域ｉのコントラスト信号ＣＮＴ（ｉ）により、上記ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））が除算される（ステップＢ２）。２つの像が真に一致したことにより、極小値ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））が求められるとき、ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））／ＣＮＴ（ｉ）は、所定の値βより小さくなり、大きい程信頼度が悪くなることが実験的にも確認されている。
【００４１】ここで、ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））／ＣＮＴ（ｉ）＜βが判別され（ステップＢ３）、ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））／ＣＮＴ（ｉ）＜βでないとき、信頼度なしとして変数ＲＬＢＴＹにＮＧが代入される（ステップＢ４）。
【００４２】こうして、サブルーチンＶＥＣＴＣＡＬからリターンされ、図１２のステップ１３へ進む。ここで、ＲＬＢＴＹ＝ＮＧであれば、ベクトルパターンＶＰ（ｉ）にＮＧが代入される（ステップＳ１４）。
【００４３】次に、変数ＶＨ（ｉ）に水平方向動きベクトルＶＥＣＴＨが、変数ＶＶ（ｉ）に垂直方向の動きベクトルＶＥＣＴＶが代入される（ステップＳ１５）。その後、全ての領域ｉ＝０〜１２について、以上の動きベクトルの演算が終了したか否かが判別される（ステップＳ１６）。終了していない場合は、ｉ＝１２になるまでｉに１が加えられ（ステップＳ１７）、ステップＳ１２に戻る。一方、上記ステップＳ１６に於いてｉ＝１２であれば、次に各々の領域ｉ＝０〜１２の動きベクトル（ＶＨ（ｉ），ＶＶ（ｉ））を分類するためのサブルーチンＶＥＣＴＰＡＴが実行される（ステップＳ１８）。
【００４４】図１５は、動きベクトルのパターン分類プログラムＶＥＣＴＰＡＴのサブルーチンである。同図に於いて、先ず領域を選択するための変数ｉに０が代入され（ステップＣ１）、またベクトルパターンの番号を表す変数ｋに０が代入される（ステップＣ２）。次いで、ベクトルパターンＶＰ（ｉ）がＮＧであるか否かが判別され（ステップＣ３）、ＮＧでなければＶＰ（ｉ）が本来パターン分類としてあり得ない定数ＩＮＩＴであるかどうかが判別される（ステップＣ４）。
【００４５】ＩＮＩＴは、本プログラムには記されていないが、図１２のフローチャートの開始直後に初期設定される値である。具体的には、ＩＮＩＴは０〜１２以外の値であればよい。もし、ＶＰ（ｉ）＝ＩＮＩＴであるときは、ＶＰ（ｉ）にｋの値が代入される（ステップＣ５）。次いで、変数ｊにｉ＋１が代入され（ステップＣ６）、ＶＰ（ｊ）＝ＮＧでなく（ステップＣ７）、且つＶＰ（ｊ）＝ＩＮＩＴ（ステップＣ８）のとき、動きベクトルの差異｜ＶＨ（ｉ）−ＶＨ（ｊ）｜、｜ＶＶ（ｉ）−ＶＶ（ｊ）｜が求められて、それぞれ変数ΔＶＨ、ΔＶＶに代入される（ステップＣ９）。
【００４６】ここで、ΔＶＨ＜α、且つΔＶＶ＜αのとき（ステップＣ１０）、ベクトル（ＶＨ（ｉ），ＶＶ（ｉ））とベクトル（ＶＨ（ｊ），ＶＶ（ｊ）は同一ベクトルと判断されて、ＶＰ（ｊ）にｋが代入される（ステップＣ１１）。次に、ｊ＝１２であるか否かが判別され（ステップＣ１２）、ｊ＝１２でないときは、ｊ＋１がｊに代入され（ステップＣ１３）、ステップＣ７に戻って同様の演算が実行される。
【００４７】上記ステップＣ７でＹＥＳ、ステップＣ８でＮＯ、ステップＣ１０でＮＯの場合も、ｊ＝１２であるか否かが判別され、ｊ＝１２でないならば、ｊにｊ＋１が代入されて同様の演算が繰返される。
【００４８】ステップＣ１２に於いて、ｊ＝１２であれば、次にベクトルパターンの種類を表す変数ｋにｋ＋１が代入される（ステップＣ１４）。そして、ｉ＝１２であれば（ステップＣ１５）、本サブルーチンからリターンする。上記ステップＣ１５に於いて、ｉ＝１２でなければ、変数ｉにｉ＋１が代入されて（ステップＣ１６）、再びステップＣ３に戻り、以上のループが繰返される。表１は、以上のループで実行される演算の具体例を示したものである。
【００４９】
【表１】
【００５０】この例に示されるように、ベクトル（ＶＨ（ｉ），ＶＶ（ｉ））が所定の誤差で一致していれば、ベクトルパターンＶＰ（ｉ）には同一の番号が与えられる。そして、ベクトルパターンが異なる毎に順に、０，１，２，…の数字が与えられる。また、ＶＰ（ｉ）＝ＮＧはそのままである。
【００５１】ＶＥＣＴＰＡＴのサブルーチンの処理が終了すると（ステップＳ１８）、図１６に示されるサブルーチンＲＥＣＯＧＮＧが実行される（ステップＳ１９）。このサブルーチンでは、変数ｉに０が代入され（ステップＤ１）、ＶＰ（ｉ）＝ＮＧであれば（ステップＤ２）、次にｉ＝８であるか否かが判別される（ステップＤ３）。ここで、ｉ＝８でなければｉにｉ＋１が代入され（ステップＤ４）、その後ステップＤ２に戻る。
【００５２】上記ステップＤ３でｉ＝８であれば、変数ＲＮＧに１が代入される（ステップＤ５）。また、上記ステップＤ２に於いてＶＰ（ｉ）＝ＮＧでなければ、変数ＲＮＧに０が代入される（ステップＤ６）。
【００５３】すなわち、このサブルーチンは、動体検出ゾーン（ｉ＝０〜８）の領域の全てのベクトルパターンがＮＧのときにのみ、変数ＲＮＧに１が代入されるプログラムである。
【００５４】図１２のフローチャートに戻り、ステップＳ２０に於いて、ＲＮＧ＝１のとき、追尾不能の表示が行われる（ステップＳ２１）。一方、上記ステップＳ２０にてＲＮＧ＝１でないときは、次にサブルーチンＲＥＣＯＧＰＡＴＮＵＭが実行される（ステップＳ２２）。
【００５５】図１７に示されるように、このプログラムは動体検出ゾーン（ｉ＝０〜８）の領域のベクトルパターン数（種類）を求めるサブルーチンである。ベクトルパターンＶＰ（ｉ）は、上述したサブルーチンＶＥＣＴＰＡＴで０から順に分類されているので、ＶＰ（ｉ）の最大値を求め、それに１を加えた値がベクトルパターン数に等しくなる。
【００５６】先ず、動体検出ゾーンを表す変数ｉに０が代入される（ステップＥ１）。次いで、変数ＶＰＮＵＭに−１が代入される（ステップＥ２）。そして、ＶＰ（ｉ）＝ＮＧが判別されて（ステップＥ３）、ＶＰ（ｉ）＝ＮＧでなければ、続いてＶＰ（ｉ）とＶＰＮＵＭが比較される（ステップＥ４）。ここで、ＶＰ（ｉ）＞ＶＰＮＵＭであればＶＰＮＵＭにＶＰ（ｉ）が代入される（ステップＥ５）。
【００５７】次に、変数ｉが判別されて（ステップＥ６）、ｉ＝８でなければｉにｉ＋１が代入された後（ステップＥ７）、ステップＥ３に戻り、以上の動作が繰返される。上記ステップＥ３に於いて、ＶＰ（ｉ）＝ＮＧであればステップＥ６に進む。以上の結果、ＶＰ（ｉ）（ｉ＝０〜８）の最大値がＶＰＮＵＭに代入される。
【００５８】そして、ＶＰＮＵＭの値が判別されて（ステップＥ８）、ＶＰＮＵＭ＝０であれば、ベクトルパターン数は１つということでベクトルパターン数を表す変数ＰＮＵＭに１が代入される（ステップＥ９）。一方、上記ステップＥ８にて、ＶＰＮＵＭ＝０でなく、更にＶＰＮＵＭ≧２でない場合は（ステップＥ１０）、ＰＮＵＭに２が代入される。また、上記ステップＥ１０にてＰＮＶＭ≧２である場合は、ＰＮＵＭに３が代入される。その後、このサブルーチンはリターンされる。
【００５９】再度図１２のフローチャートに戻って、ステップＳ２３に於いて、ベクトルパターン数ＰＮＵＭ＝１の場合は、動体検出ゾーンに存在する物体の動きベクトルは１種類ということである。この場合の動体検出ゾーンの物体の動きの可能性としては、（ｉ）物体は動体検出ゾーンの中で一体となって一方向に動いている、（ii）物体は動いていない、（iii)物体は動いていないがカメラが動いている、（iv）動体検出ゾーン内の一部が動いているが動きが遅く検出できない等が考えられる。
【００６０】同実施例の考え方としては、上記（ｉ）〜（iii)の場合は図７の９領域の中で、最大コントラストの領域を追尾ゾーン、または測距ゾーンとする。また、上記（iv）の場合は、基準像はそのままにして参照像を更新することにより、再び動きベクトルを検出する。この更新回数は、変数ＬＯＯＰで決定される。
【００６１】次いで、ＬＯＯＰ＝３が判別され（ステップＳ２４）る。ここで、ＬＯＯＰ＝３でない場合は、次に参照画像の更新がなされ（ステップＳ２５）、変数ＬＯＯＰにＬＯＯＰ＋１が代入された後（ステップＳ２６）、ステップＳ１１に戻る。一方、上記ステップＳ２４に於いて、ＬＯＯＰ＝３になってもベクトルパターン数ＰＮＵＭ＝１である場合は、次に、図１８に示されるように、サブルーチンＲＥＣＯＧＴＲＫＺＮＥ１が実行される。
【００６２】このサブルーチンは、動体検出ゾーンから最大コントラストの追尾ゾーンを検出するプログラムである。図１８に於いて、先ず領域を表す変数ｉに０が代入される（ステップＦ１）。次いで、変数ＭＡＸＣＮＴに−１が代入される（ステップＦ２）。そして、動体検出ゾーン（ｉ＝０〜８）の各領域のコントラスト値ＣＮＴ（ｉ）とＭＡＸＣＮＴが比較される（ステップＦ３）。
【００６３】このステップＦ３に於いて、ＣＮＴ（ｉ）＞ＭＡＸＣＮＴの場合は、ＭＡＸＣＮＴにＣＮＴ（ｉ）が代入される（ステップＦ４）。そして、最終的に決定される追尾ゾーンｉがＴＲＫＺＮＥに代入される（ステップＦ５）。こうして、ｉ＝８になってこのサブルーチンがリターンされるまで（ステップＦ６）、変数ｉにｉ＋１が代入されて（ステップＦ７）、以上のステップＦ３〜Ｆ７の動作が繰返される。
【００６４】次に、図１２のフローチャートに於いて、上記ＴＲＫＺＮＥの表す領域に追尾マークがスーパーインポーズされる（図２（ｃ）の状態）。続いて、サブルーチンＴＲＡＣＫで追尾が行われる（ステップＳ３３）。
【００６５】また、上記ステップＳ２３に於いて、ベクトルパターン数ＰＮＵＭが１でない場合は、次にＰＮＵＭ＝３か否かが判別される（ステップＳ２８）。ここで、ＰＮＵＭ＝３の場合は、動きの異なる物体が混在するので、追尾不能の表示がなされる（ステップＳ２９）。
【００６６】いま、上記ステップＳ２８にて、ＰＮＵＭ＝３でないときは、自動的にＰＮＵＭ＝２となる。このときは、一方の動きベクトルは、カメラの動きである可能性が高い。このときは、動体検出ゾーンとは異なる画面の４隅に固定配置された４つの動きベクトル検出領域３９〜４２（図６参照）（ｉ＝９〜１２）の動きベクトルと比較されることにより、動体検出ゾーンの２つの動きベクトルの中から真に物体の動いている領域が特定される。
【００６７】サブルーチンＣＭＰＶＥＣＴＰＡＴ（ステップＳ３０）は、（ａ）上記動体検出ゾーンとは異なる４つの領域（ｉ＝９〜１２）の中に動体検出ゾーンとは異なる動きベクトルＶＰ（ｉ）が観測された場合は追尾不能とする、（ｂ）ＶＰ（ｉ）＝ＮＧ（検出不能）の領域が２つ以上ある場合は追尾不能とする、（ｃ）ＶＰ（ｉ）（ｉ＝９〜１２）の中で２種類の動きベクトルが存在し、両方のベクトルパターンの存在する領域の数が同じ場合（例えば２：２、１：１）は、追尾不能とする、ことを基本とする。
【００６８】次に、図１９のサブルーチンＣＭＰＶＥＣＴＰＡＴを説明する。同図に於いて、先ず、領域を表す変数ｉに９が、そして変数ＮＮＧ、Ｎ０、Ｎ１、ＲＮＧ２に、それぞれ０が代入される（ステップＧ１）。この場合、ｉ＝０〜８のベクトルパターンＶＰ（ｉ）の最大値は１であることに注意する。
【００６９】次いで、ＶＰ（ｉ）≧２が判別され（ステップＧ２）、ＶＰ（ｉ）≧２の場合は上記（ａ）の理由で追尾不能表示のフラグＲＮＧ２に１が代入されて（ステップＧ３）リターンされる。一方、ＶＰ（ｉ）≧２でなく、且つＶＰ（ｉ）＝ＮＧの場合は（ステップＧ４）、ＮＧのカウンタ変数ＮＮＧがインクリメントされる（ステップＧ５）。
【００７０】次に、ＶＰ（ｉ）＝０が判別されて（ステップＧ６）、ＶＰ（ｉ）＝０の場合はＮ０がインクリメントされる（ステップＧ７）。そして、ＶＰ（ｉ）＝１の場合は（ステップＧ８）、Ｎ１がインクリメントされる（ステップＧ９）。以上の動作が、ｉ＝１２まで繰返される（ステップＧ１０）。
【００７１】こうして、ＮＮＧにはＶＰ（ｉ）＝ＮＧとなるベクトルパターン数が、Ｎ０にはＶＰ（ｉ）＝０となるベクトルパターン数が、そしてＮ１にはＶＰ（ｉ）＝１となるベクトルパターン数が代入されたことになる。
【００７２】上記ステップＧ１０でＮ＝１２の場合、次にＮＮＧ≧２であれば（ステップＧ１１）、上記（ｂ）の理由により、追尾不能表示フラグＲＮＧ２に１が代入される（ステップＧ１３）。また、Ｎ０＝Ｎ１の場合は（ステップＧ１２）、上記（ｃ）の理由で同様に追尾不能表示フラグＲＮＧ２に１が代入される。
【００７３】そして、Ｎ０＞Ｎ１が判別されて（ステップＧ１４）、Ｎ０＞Ｎ１の場合は変数ＶＰに０が（ステップＧ１５）、Ｎ０≦Ｎ１の場合はＶＰに１が代入されて（ステップＧ１６）、リターンされる。
【００７４】図１２のフローチャートに戻って、ステップＳ３０のサブルーチンＣＭＰＶＥＣＴＰＡＴが終了されると、続いてサブルーチンＲＥＣＯＧＴＲＫＺＮＥ２が実行される（ステップＳ３１）。これは、サブルーチンＣＭＰＶＥＣＴＰＡＴで求められたＶＰの値に基いて動体検出ゾーンの中から動体の存在する領域を検出するプログラムである。
【００７５】ステップＳ３０のサブルーチンＣＭＰＶＥＣＴＰＡＴで求められたＶＰは、領域ｉ＝９〜１２のベクトルパターン２種（０〜１）のうち多い方のベクトルパターンであり、これをカメラの動きベクトルと判断する。したがって、動体検出ゾーンの２種の動きベクトルのうち、ＶＰと等しくない方の動きベクトルをもった追尾ゾーンが、動体の存在する領域である。更に、動体の存在する領域が複数存在するときは、コントラストの高い領域が最終的に追尾ゾーンとされる。
【００７６】図２０はこの判断をするプログラムを示したものである。同図に於いて、先ずｉに０が代入される（ステップＨ１）。そして、ＭＡＸＣＮＴに−１が代入される（ステップＨ２）。次いで、ＶＰ（ｉ）＝ＶＰであるか否かが判別される（ステップＨ３）
【００７７】このステップＨ３にて、ＶＰ（ｉ）＝ＶＰでない場合にコントラストＣＮＴ（ｉ）とＭＡＸＣＮＴが比較され（ステップＨ４）、更にＣＮＴ（ｉ）＞ＭＡＸＣＮＴであればＭＡＸＣＮＴにＣＮＴ（ｉ）が代入される（ステップＨ５）。その後、ｉがＴＲＫＺＮＥに代入される（ステップＨ６）。
【００７８】次に、ｉ＝８が否かが判別される（ステップＨ７）。ここで、ｉ＝８でない場合は、ｉがインクリメントされて（ステップＨ８）、以上の動作が繰返される。これにより、最終的に変数ＴＲＫＺＮＥには、追尾ゾーンｉが代入されることになる。
【００７９】図１２のフローチャートに戻り、ステップＳ３２に於いて、ＲＮＧ２＝１のとき、追尾不能の表示が行われ、ＲＮＧ２＝１でない場合は、追尾マークが表示された後（ステップＳ３３）、追尾演算ＴＲＡＣＫのサブルーチンが実行される（ステップＳ３４）。
【００８０】図２１は、サブルーチンＴＲＡＣＫを示したものである。同図に於いて、先ず、タイマｔに０が設定される（ステップＩ１）。次いで、参照像のロードと代表点フィルタリング演算が行われる（ステップＩ２）。そして、サブルーチンＶＥＣＴＣＡＬが行われる動きベクトルが求められる（ステップＩ３）。
【００８１】ここで、信頼度変数ＲＬＢＴＹ＝ＮＧか否かの判別がなされる（ステップＩ４）。このステップＩ４にて、ＲＬＢＴＹ＝ＮＧの場合は追尾不能の表示が行われる（ステップＩ５）。一方、ＲＬＢＴＹ＝ＮＧでない場合は、動きベクトルの値に応じて追尾マークの更新が行われる（ステップＩ６）。
【００８２】次に、タイマがｔ＞ｔ0 （ｔ0 は例えば１秒）であるか否かが判別され（ステップＩ７）、ｔ＞ｔ0 のときは、次にｔに０が設定されて（ステップＩ８）、基準像が更新される（ステップＩ９）。
【００８３】次いで、コントラスト演算が行われ（ステップＩ１０）、もしコントラスト不足でＲＬＢＴＹ＝ＮＧのときは（ステップＩ１１）、追尾不能表示がなされる（ステップＩ１２）。一方、上記ステップＩ１１にて、ＲＬＢＴＹ＝ＮＧでない場合は、再び基準像と参照像との相関演算が行われて追尾する。以上のように、所定時間毎に基準像が更新されることにより、移動中に少しずつ形状が変わるような物体にも追尾が可能となる。
【００８４】図２２は、同実施例の概略的な制御の流れを示すタイミングチャートである。同図（ａ）は画像を１／３０ｓｅｃ毎に取込む様子を示したものである。同図（ｂ）は動体検出ゾーンとカメラの動きベクトル検出ゾーンの代表点フィルタリングとコントラスト演算のタイミングを示したものである。また、同図（ｃ）は動作ベクトルの演算のタイミングを示している。更に、同図（ｄ）は、追尾演算のタイミングを示したものである。
【００８５】初めに、図２２（ａ）の第１画像を基準とし、第２画像と比較して動きベクトルが検出される。ここで、動きベクトルが検出されるときは、基準像はそのままに第１画像と第３画像から動きベクトルが求められる。同図は、最終的に第１画像と第４画像により動きベクトルが求まった場合を示している。このようにして、第５画像以降の追尾が開始される。尚、上述した実施例は、動体追尾システムへの適用例であるが、注視点を選択した後、直ちに撮影する銀塩カメラへの適用も可能である。また、追尾と同時に自動焦点を行う装置への適用も可能である。
【００８６】
【発明の効果】以上のようにこの発明によれば、高速の物体の検出を可能にして、且つ相関演算のシフト量を小さくし、サンプリング時間を短くしても、低速で移動する物体を検出することのできる動体の動きベクトル検出装置を提供することができる。
【図面の簡単な説明】
【図１】この発明の一実施例で、動体の動きベクトル検出装置が適用されたカメラシステムの構成を示すブロック図である。
【図２】カメラの操作者が注視点を選択してから追尾するまでの表示例を示したもので、（ａ）は操作者が物体ＯＢＪの近傍に注視点マークＰ“＋”を移動させた状態を示した図、（ｂ）は同図（ａ）の“＋”マークを中心に動体検出ゾーンがスーパーインポーズされた状態を示した図、（ｃ）は追尾ゾーンの表わす領域に追尾マークがスーパーインポーズされた状態を示した図である。
【図３】図２の注視点のマークを移動させるための部材の配置を示した外観図である。
【図４】視線方向を検出し、それにより画面の任意の領域を指示するための原理図である。
【図５】眼の角膜反射像、瞳孔、虹彩の出力波形の一例を示した図である。
【図６】動体検出ゾーンとカメラの動き検出領域の一例を示した図である。
【図７】図６の動体検出ゾーンを複数のブロックに分割した例を示した図である。
【図８】図７の１つの追尾ゾーン内の１６個の代表点画素配置を示した図である。
【図９】図８の中の１つの画素が、５つの画素の平均値で表されることを示した図である。
【図１０】動きベクトル（移動量と方向）の検出の原理を示した図である。
【図１１】代表点配置の一例を示した図である。
【図１２】図１２はこのカメラシステムの全体の制御動作を説明するフローチャートである。
【図１３】基準像のコントラスト計算を実行するプログラムＣＮＴＣＡＬのサブルーチンである。
【図１４】基準像と参照像との間で相関演算を行うプログラムＶＥＣＴＣＡＬのサブルーチンである。
【図１５】動きベクトルのパターン分類プログラムＶＥＣＴＰＡＴのサブルーチンである。
【図１６】動体検出ゾーンの領域の全てのベクトルパターンがＮＧのときにのみ、変数ＲＮＧに１が代入されるプログラムＲＥＣＯＧＮＧのサブルーチンである。
【図１７】動体検出ゾーンの領域のベクトルパターン数（種類）を求めるプログラムＲＥＣＯＧＰＡＴＮＵＭのサブルーチンである。
【図１８】動体検出ゾーンから最大コントラストの追尾ゾーンを検出するプログラムＲＥＣＯＧＴＲＫＺＮＥ１のサブルーチンである。
【図１９】ベクトルパターンＶＰを求めるプログラムＣＭＰＶＥＣＴＰＡＴのサブルーチンである。
【図２０】サブルーチンＣＭＰＶＥＣＴＰＡＴで求められたＶＰの値に基いて動体検出ゾーンの中から動体の存在する領域を検出するプログラムＲＥＣＯＧＴＲＫＺＮＥ２のサブルーチンである。
【図２１】追尾演算のプログラムＴＲＡＣＫのサブルーチンである。
【図２２】この発明の一実施例の概略的な制御の流れを示すタイミングチャートである。
【符号の説明】
１０…ビデオカメラ、１１…Ｙ／Ｃ分離回路、１２…Ａ／Ｄ変換回路、１３ａ、１３ｂ…ビデオＲＡＭ、１４…ＣＰＵ、１５…ＲＡＭ、１６…ＲＯＭ、１７…ＣＲＴコントローラ、１８…ゲート、１９…スーパーインポーザ、２０…表示部、２３…注視点移動部材、２４…注視点選択部材、３８…動体検出ゾーン、３９、４０、４１、４２…動きベクトル検出領域。
【０００１】
【産業上の利用分野】この発明は動体の動きベクトル検出装置に関し、特に動体に追尾領域を合わせてその動きベクトルを検出する動体の動きベクトル検出装置に関するものである。
【０００２】
【従来の技術】従来より、映像の比較的広い領域を複数に分割し、その中から動体の存在する領域を判別する動体検出を行う装置が、種々開発されている。そして、例えば特公昭５９−３２７４３号公報には、相関演算を使用して物体を追尾する相関追尾装置が開示されている。
【０００３】
【発明が解決しようとする課題】ところで、このような装置に於いて、比較する２つの映像のサンプリング時間間隔をΔＴとして一定とすると、動きベクトルの検出範囲、すなわち相関演算のシフト量は、τ＝０，１，…，Ｎである。シフト量Ｎをあまり大きくすると、演算時間が長くなってしまうので、なるべく小さいものが望ましい。しかしながら、Ｎを小さくすると、シフト量の検出範囲が狭くなってしまう。ΔＴを短くして高速の物体を検出可能にすると、低速の物体の検出ができなくなる。逆に、ΔＴを長くして低速の物体を検出可能にすると、高速の物体の検出が不可能になってしまう。
【０００４】この発明は上記課題に鑑みてなされたもので、高速の物体の検出を可能にして、且つ相関演算のシフト量を小さくし、サンプリング時間を短くしても、低速で移動する物体を検出することのできる動体の動きベクトル検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】すなわちこの発明は、第１の時刻に於いて被写体の所定領域から第１の映像を検出する第１の検出手段と、上記第１の時刻とは異なる第２の時刻で上記所定領域から第２の映像を検出する第２の検出手段と、上記第１の映像を基準として第２の映像を所定のピッチずつシフトさせながら上記第１の映像と第２の映像の最も一致するシフト量を求める相関演算を行う相関演算手段と、上記第１及び第２の映像の最良の一致点のシフト量から所望の映像の動きベクトルを検出する第３の検出手段とを具備し、上記相関演算手段は、上記所望の映像が動いていないと判断された場合に上記第２の映像のみ更新して再度上記相関演算を行い、上記動きベクトルを演算することを特徴とする。
【０００６】
【作用】この発明の動体の動きベクトル検出装置にあっては、動きベクトルの検出範囲をなるべく小さくして、またサンプリング時間間隔をなるべく短くする。そして、最初は高速の物体の検出を可能にし、物体の動きが検出されない場合に、比較する２つの映像のうち、後の時点に参照像と称されるサンプリングした映像のみを更新する。そして、再び同様の相関を行い、シフト量を繰返し求める。これにより、広範囲の動きベクトルの検出を行うことができる。
【０００７】
【実施例】以下、図面を参照してこの発明の実施例を説明する。図１は、この発明の一実施例で、動体の動きベクトル検出装置が適用されたカメラシステムの構成を示すブロック図である。
【０００８】同図に於いて、ビデオカメラ１０から出力されるＮＴＳＣコンポジット信号の一方は、Ｙ／Ｃ分離回路１１で輝度信号が分離され、輝度信号のみＡ／Ｄ変換回路１２でＡＤ変換されてビデオＲＡＭ１３ａに入力される。ＣＰＵ１４は、ビデオＲＡＭ１３ａ、１３ｂ、１４、ＲＡＭ１５及びＲＯＭ１６と結合しているもので、システム全体の制御、演算を行う。
【０００９】上記ＲＯＭ１６には、予め制御の手順がプログラムされている。また、ＲＡＭ１５は、演算途中のデータの記憶、演算結果のデータの記憶に用いられる。更に、ビデオＲＡＭ１３ｂは、ＣＰＵ１４で演算された注視点の位置を表示したり追尾マークの表示データを記憶するものである。
【００１０】ビデオＲＡＭ１３ｂに記憶された表示データは、ＣＲＴコントローラ１７のタイミングに従ってゲート１８を通り、スーパーインポーザ１９の一方の入力となる。このスーパーインポーザ１９は、ビデオカメラ１０の映像信号に、ゲート１８の出力である注視点の位置や追尾マーク等を重ねて表示するための装置である。スーパーインポーザ１９の出力は、表示部２０に表示される。
【００１１】尚、ＣＰＵ１４に入力される信号ｓ１は、カメラの操作者が注視点を移動させるための信号である。また、スイッチＳＷは、注視点を保持し、追尾を開始するためのスイッチである。
【００１２】図２は、カメラの操作者が注視点を選択してから追尾するまでの表示例を示したものである。図２（ａ）は、操作者が物体ＯＢＪの近傍に注視点マークＰ“＋”を移動させた状態を示した図である。ここで、スイッチＳＷ（図１参照）がオンされると、同図（ａ）の“＋”マークを中心に、図２（ｂ）に示されるように広い領域の動体検出ゾーンがスーパーインポーズされる。次いで、後に詳述する演算により動体領域が特定されて追尾が開始される。尚、同図（ｂ）の表示はなくともよいものである。更に、図２（ｃ）は、後述する追尾ゾーンの表す領域に、追尾マークがスーパーインポーズされた状態を示したものである。
【００１３】図３は、注視点のマーク（図２の“＋”）を移動させるための部材の配置を示したものである。これは銀塩カメラへの応用例であり、その詳細は本出願人が先に出願した特願平２−２３５０７４号に詳しく述べてある。
【００１４】図３に於いて、カメラ本体２１のグリップ２２上に、注視点移動部材２３が配置されている。そして、この注視点移動部材２３の中心に注視点選択部材２４（図１のスーパーインポーザ１９に相当する）が配置されている。注視点選択部材２４はレリーズ釦を兼用している。
【００１５】また、図４及び図５は、視線方向を検出し、それにより画面の任意の領域を指示するための原理図である。これらについて、例えば特開平２−５号公報や特開平２−６５８３４号公報、或いは電子通信学会技術報告ＰＲＵ８８−７３、ＰＰ．１７−２４に詳しく述べられている。これらは、眼の瞳孔と角膜反射像（第１プリキンエ像）、または虹彩と角膜反射像の組合わせから視線方向を検出するもので、注視点を指示する方法として注目されている。
【００１６】図４に於いて、２５は赤外ＬＥＤであり、この赤外ＬＥＤ２５からレンズ２６を介して平行光束が作られる。また、図中２７、２８はダイクロイックミラー、２９は撮影者の眼、３０はＣＣＤ、３１はレンズである。
【００１７】赤外ＬＥＤ２５から発せられた赤外線は、レンズ２６、ダイクロイックミラー２７、２８を介して眼２９に入る。そして、眼２９で反射された光は、ダイクロイックミラー２８、２７及びレンズ３１を介してＣＣＤ３０で撮像され、上述した原理で視線方向が計算される。これにより、撮影レンズ３２、ミラー３３、マット３４、コンデンサーレンズ３５、ペンタプリズム３６及びダイクロイックミラー２８を介して、撮影者が観測する注視点の位置を検出することが可能となる。図５は、眼の角膜反射像、瞳孔、虹彩の出力波形の一例を示したものである。図６は、動体検出ゾーンとカメラの動き検出領域の一例を示した図である。
【００１８】画面３７内の動体検出ゾーン３８は、更にこのゾーンの中が、後述するように複数ブロックに分割され、この中から１つのブロックが選択され、追尾ゾーンに特定されるようになっている。選択されるブロックは動体が最優先されるが、その場合、カメラが動いているのか、物体が動いているのかの判別が課題となる。尚、図中Ｓ１〜Ｓ４で示される領域は、カメラの動きを判別するために設定した動きベクトル検出領域３９〜４２である。
【００１９】図７は、図６の動体検出ゾーン３８を複数のブロックに分割した例である。同図（ａ）〜（ｄ）に示されるように、各々がオーバラップするように、９ブロックの追尾ゾーン（ａ11、ａ12、ａ13、ａ21、ａ22、ａ23、ａ31、ａ32、ａ33）に分割され、それぞれの領域の動きベクトルを検出することになる。
【００２０】これら９ブロックの追尾ゾーンのうち、１つの追尾ゾーン内は図８に示されるように、１６個の代表点画素（Ｐ（ 1,1）、Ｐ（ 1,2）、…、Ｐ（ 4,4））で構成されている。
【００２１】また、図９は図８の中の１つの画素（Ｐ11）が、５つの画素（Ｐ（0）、Ｐ（1）、Ｐ（2）、Ｐ（3）、Ｐ（4））の平均値で表されることを示す図である。この平均値は、数１の関係式のようにして求められる。
【００２２】
【数１】
【００２３】図１０は、この発明で採用された動きベクトル（移動量と方向）の検出の原理を示す図である（参考文献：テレビジョン学会技術報告Ｖｏｌ．１１，Ｎｏ．３，ＰＰ．４３−４８，ＰＰ０Ｅ’８７−１２（Ｍａｙ，１９８７）。
【００２４】動きベクトル検出法としては種々の方法があるが、精度スピードの点から、以下に述べる代表点マッチングがたいへんすぐれている。これは画面上のいくつかの画素（以下これを代表点と称する）に着目し、現在の位置と所定時間後の位置の変化から、動きベクトルを決定する方法である。
【００２５】図１０の模式図に於いて、現在の代表点Ｐが同図（ａ）に示される位置にあるものとする。所定時間後のこの代表点Ｐと最もレベルが一致する点を、同図（ｂ）のｐ1〜ｐ9と比較することにより求める。ここでは、その最もレベルが近い画素の位置へ代表点が移動したと判断し、該当するベクトルを動きベクトルと判断する。実際は精度を上げるため、代表点の数を増やしている。
【００２６】図１１は、代表点配置の一例を示したものである。同図に於いて、水平方向に１５ドットおきに３４ポイント、垂直方向に１５ライン毎に３４ポイントの代表点を配置している。尚、追尾ゾーンは、上述したように、４×４＝１６の代表点より構成される。また、ゾーンＢ（追尾ゾーンＡの動きベクトル検出範囲）は、水平、垂直方向ともに±２ポイントに設定される。
【００２７】すなわち、図１１で代表点Ｐの検出範囲は、図示の如く計２５ポイントとなる。また、図９で説明したように、各ポイントに相当する画素のレベルは、周囲４点の画素との加算平均を行うことにより、ローパスフィルタ効果をもたせている。これにより、エッジの鋭い画像を得て、細いラインへの検出能力を高めている。次に、図１２乃至図２１のフローチャートを参照して、同実施例の動作を説明する。
【００２８】図１２はこのカメラシステムの全体の制御動作を説明するフローチャートである。同図に於いて、先ず、注視点の設定が行われる（ステップＳ１）。ここで、ＣＰＵ１４は、注視点の座標を読取る。次に、設定された注視点を中心にして、現時点に於ける動体検出ゾーンと、カメラの動きベクトル検出ゾーン（図６及び図１１１１参照）の代表点のポイントのレベルが求められる（これを基準像のロード及び代表点フィルタリングと称するものとする）。次いで、所定時間（１／３０ｓｅｃ）後、同様にして上記と同領域の代表点ポイントのレベルが求められる（これを参照像のロード及び代表点フィルタリングと称するものとする）（ステップＳ２）。
【００２９】そして、ｉに０が初期設定される（ステップＳ３）。ここで、ｉは図７に示された９つの追尾ゾーン（ｉ＝０〜８）と、カメラの動きベクトル検出ゾーン（ｉ＝９〜１２）の領域を表す変数である。次に、サブルーチンＣＮＴＣＡＬにて、ｉ＝０〜１２の各領域のコントラストが求められる（ステップＳ４）。各々の領域は、図８に示されるように、１６個の代表点から成る。いま、それぞれの代表点を図８のようにＰ（ 1,1）、Ｐ（ 1,2）、…、Ｐ（ 4,4）とし、記述を簡単にするために、各々代表点の出力レベルも同じ記号Ｐ（ｉ，ｊ）で表わすものとする。
【００３０】図１３は、基準像のコントラスト計算を実行するＣＮＴＣＡＬのサブルーチンである。先ず、コントラストＣＮＴの演算が、次のように行われる（ステップＡ１）。すなわち、Ｘ方向のコントラストをＣＮＴＸ、Ｙ方向のコントラストをＣＮＴＹ、そしてコントラストをＣＮＴとすると、それぞれ数２、数３及び数４の関係式のようになる。
【００３１】
【数２】
【００３２】
【数３】
【００３３】
【数４】
【００３４】次にＣＮＴが所定レベルＣ１と比較され（ステップＡ２）、映像のコントラストが不足するとき、すなわちＣＮＴ＜Ｃ１のときは信頼度なしとして、ＲＬＢＴＹにＮＧが代入される（ステップＡ３）。この後、コントラスト演算のサブルーチンＣＮＴＣＡＬからリターンされる。
【００３５】図１２のフローチャートに戻り、信頼度変数ＲＬＢＴＹが判別され（ステップＳ５）、ＲＬＢＴＹ＝ＮＧのときベクトルパターンＶＰ（ｉ）にＮＧが代入される（ステップＳ６）。ここでＶＰ（ｉ）は、動きベクトルの種類をパターン分類するための変数であり、ＶＰ（ｉ）＝ＮＧとは動きベクトルを検出できないことを意味する。
【００３６】そして、変数ＣＮＴ（ｉ）にＣＮＴが代入され（ステップＳ７）、ｉ＝１２が判別される（ステップＳ８）。ここで、ｉ＝１２でなければｉに１を加えた後（ステップＳ９）、ステップＳ４に戻る。一方、ステップＳ８に於いて、ｉ＝１２であればコントラスト演算（ステップＳ４〜Ｓ９）を終了する。
【００３７】次に、更新回数の変数ＬＯＯＰに０が設定された後（ステップＳ１０）、再び領域選択ｉに０が初期設定される（ステップＳ１１）。ＣＰＵ１４は、先ずｉ＝０に相当する領域の代表点の信号を選択すると、図１４１４に示されるサブルーチンＶＥＣＴＣＡＬに於いて、上記基準像と参照像との間で相関演算を行う（ステップＳ１２）。
【００３８】図１４に於いて、いま基準像のＰ（ｉ，ｊ）の位置（図８参照）に相当する信号レベルをＰＳ（ｉ．ｊ）、参照像の信号レベルをＰＲ（ｉ，ｊ）とすると、相関値出力ＣＯＲＲ（Ｓ）は数５の関係式の如くなる（ステップＢ１）。
【００３９】
【数５】
ここでＨ＝０，１，２、Ｖ＝０，１，２であり、Ｈ，ＶはＸ方向、Ｙ方向へのずらし量に相当する。
【００４０】次に、ＣＯＲＲ（Ｈ，Ｖ）の極小値ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））が求められる。このときのＨが変数ＶＥＣＴＨに、Ｖが変数ＶＥＣＴＶに代入される。そして、上述したように求められた領域ｉのコントラスト信号ＣＮＴ（ｉ）により、上記ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））が除算される（ステップＢ２）。２つの像が真に一致したことにより、極小値ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））が求められるとき、ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））／ＣＮＴ（ｉ）は、所定の値βより小さくなり、大きい程信頼度が悪くなることが実験的にも確認されている。
【００４１】ここで、ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））／ＣＮＴ（ｉ）＜βが判別され（ステップＢ３）、ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））／ＣＮＴ（ｉ）＜βでないとき、信頼度なしとして変数ＲＬＢＴＹにＮＧが代入される（ステップＢ４）。
【００４２】こうして、サブルーチンＶＥＣＴＣＡＬからリターンされ、図１２のステップ１３へ進む。ここで、ＲＬＢＴＹ＝ＮＧであれば、ベクトルパターンＶＰ（ｉ）にＮＧが代入される（ステップＳ１４）。
【００４３】次に、変数ＶＨ（ｉ）に水平方向動きベクトルＶＥＣＴＨが、変数ＶＶ（ｉ）に垂直方向の動きベクトルＶＥＣＴＶが代入される（ステップＳ１５）。その後、全ての領域ｉ＝０〜１２について、以上の動きベクトルの演算が終了したか否かが判別される（ステップＳ１６）。終了していない場合は、ｉ＝１２になるまでｉに１が加えられ（ステップＳ１７）、ステップＳ１２に戻る。一方、上記ステップＳ１６に於いてｉ＝１２であれば、次に各々の領域ｉ＝０〜１２の動きベクトル（ＶＨ（ｉ），ＶＶ（ｉ））を分類するためのサブルーチンＶＥＣＴＰＡＴが実行される（ステップＳ１８）。
【００４４】図１５は、動きベクトルのパターン分類プログラムＶＥＣＴＰＡＴのサブルーチンである。同図に於いて、先ず領域を選択するための変数ｉに０が代入され（ステップＣ１）、またベクトルパターンの番号を表す変数ｋに０が代入される（ステップＣ２）。次いで、ベクトルパターンＶＰ（ｉ）がＮＧであるか否かが判別され（ステップＣ３）、ＮＧでなければＶＰ（ｉ）が本来パターン分類としてあり得ない定数ＩＮＩＴであるかどうかが判別される（ステップＣ４）。
【００４５】ＩＮＩＴは、本プログラムには記されていないが、図１２のフローチャートの開始直後に初期設定される値である。具体的には、ＩＮＩＴは０〜１２以外の値であればよい。もし、ＶＰ（ｉ）＝ＩＮＩＴであるときは、ＶＰ（ｉ）にｋの値が代入される（ステップＣ５）。次いで、変数ｊにｉ＋１が代入され（ステップＣ６）、ＶＰ（ｊ）＝ＮＧでなく（ステップＣ７）、且つＶＰ（ｊ）＝ＩＮＩＴ（ステップＣ８）のとき、動きベクトルの差異｜ＶＨ（ｉ）−ＶＨ（ｊ）｜、｜ＶＶ（ｉ）−ＶＶ（ｊ）｜が求められて、それぞれ変数ΔＶＨ、ΔＶＶに代入される（ステップＣ９）。
【００４６】ここで、ΔＶＨ＜α、且つΔＶＶ＜αのとき（ステップＣ１０）、ベクトル（ＶＨ（ｉ），ＶＶ（ｉ））とベクトル（ＶＨ（ｊ），ＶＶ（ｊ）は同一ベクトルと判断されて、ＶＰ（ｊ）にｋが代入される（ステップＣ１１）。次に、ｊ＝１２であるか否かが判別され（ステップＣ１２）、ｊ＝１２でないときは、ｊ＋１がｊに代入され（ステップＣ１３）、ステップＣ７に戻って同様の演算が実行される。
【００４７】上記ステップＣ７でＹＥＳ、ステップＣ８でＮＯ、ステップＣ１０でＮＯの場合も、ｊ＝１２であるか否かが判別され、ｊ＝１２でないならば、ｊにｊ＋１が代入されて同様の演算が繰返される。
【００４８】ステップＣ１２に於いて、ｊ＝１２であれば、次にベクトルパターンの種類を表す変数ｋにｋ＋１が代入される（ステップＣ１４）。そして、ｉ＝１２であれば（ステップＣ１５）、本サブルーチンからリターンする。上記ステップＣ１５に於いて、ｉ＝１２でなければ、変数ｉにｉ＋１が代入されて（ステップＣ１６）、再びステップＣ３に戻り、以上のループが繰返される。表１は、以上のループで実行される演算の具体例を示したものである。
【００４９】
【表１】
【００５０】この例に示されるように、ベクトル（ＶＨ（ｉ），ＶＶ（ｉ））が所定の誤差で一致していれば、ベクトルパターンＶＰ（ｉ）には同一の番号が与えられる。そして、ベクトルパターンが異なる毎に順に、０，１，２，…の数字が与えられる。また、ＶＰ（ｉ）＝ＮＧはそのままである。
【００５１】ＶＥＣＴＰＡＴのサブルーチンの処理が終了すると（ステップＳ１８）、図１６に示されるサブルーチンＲＥＣＯＧＮＧが実行される（ステップＳ１９）。このサブルーチンでは、変数ｉに０が代入され（ステップＤ１）、ＶＰ（ｉ）＝ＮＧであれば（ステップＤ２）、次にｉ＝８であるか否かが判別される（ステップＤ３）。ここで、ｉ＝８でなければｉにｉ＋１が代入され（ステップＤ４）、その後ステップＤ２に戻る。
【００５２】上記ステップＤ３でｉ＝８であれば、変数ＲＮＧに１が代入される（ステップＤ５）。また、上記ステップＤ２に於いてＶＰ（ｉ）＝ＮＧでなければ、変数ＲＮＧに０が代入される（ステップＤ６）。
【００５３】すなわち、このサブルーチンは、動体検出ゾーン（ｉ＝０〜８）の領域の全てのベクトルパターンがＮＧのときにのみ、変数ＲＮＧに１が代入されるプログラムである。
【００５４】図１２のフローチャートに戻り、ステップＳ２０に於いて、ＲＮＧ＝１のとき、追尾不能の表示が行われる（ステップＳ２１）。一方、上記ステップＳ２０にてＲＮＧ＝１でないときは、次にサブルーチンＲＥＣＯＧＰＡＴＮＵＭが実行される（ステップＳ２２）。
【００５５】図１７に示されるように、このプログラムは動体検出ゾーン（ｉ＝０〜８）の領域のベクトルパターン数（種類）を求めるサブルーチンである。ベクトルパターンＶＰ（ｉ）は、上述したサブルーチンＶＥＣＴＰＡＴで０から順に分類されているので、ＶＰ（ｉ）の最大値を求め、それに１を加えた値がベクトルパターン数に等しくなる。
【００５６】先ず、動体検出ゾーンを表す変数ｉに０が代入される（ステップＥ１）。次いで、変数ＶＰＮＵＭに−１が代入される（ステップＥ２）。そして、ＶＰ（ｉ）＝ＮＧが判別されて（ステップＥ３）、ＶＰ（ｉ）＝ＮＧでなければ、続いてＶＰ（ｉ）とＶＰＮＵＭが比較される（ステップＥ４）。ここで、ＶＰ（ｉ）＞ＶＰＮＵＭであればＶＰＮＵＭにＶＰ（ｉ）が代入される（ステップＥ５）。
【００５７】次に、変数ｉが判別されて（ステップＥ６）、ｉ＝８でなければｉにｉ＋１が代入された後（ステップＥ７）、ステップＥ３に戻り、以上の動作が繰返される。上記ステップＥ３に於いて、ＶＰ（ｉ）＝ＮＧであればステップＥ６に進む。以上の結果、ＶＰ（ｉ）（ｉ＝０〜８）の最大値がＶＰＮＵＭに代入される。
【００５８】そして、ＶＰＮＵＭの値が判別されて（ステップＥ８）、ＶＰＮＵＭ＝０であれば、ベクトルパターン数は１つということでベクトルパターン数を表す変数ＰＮＵＭに１が代入される（ステップＥ９）。一方、上記ステップＥ８にて、ＶＰＮＵＭ＝０でなく、更にＶＰＮＵＭ≧２でない場合は（ステップＥ１０）、ＰＮＵＭに２が代入される。また、上記ステップＥ１０にてＰＮＶＭ≧２である場合は、ＰＮＵＭに３が代入される。その後、このサブルーチンはリターンされる。
【００５９】再度図１２のフローチャートに戻って、ステップＳ２３に於いて、ベクトルパターン数ＰＮＵＭ＝１の場合は、動体検出ゾーンに存在する物体の動きベクトルは１種類ということである。この場合の動体検出ゾーンの物体の動きの可能性としては、（ｉ）物体は動体検出ゾーンの中で一体となって一方向に動いている、（ii）物体は動いていない、（iii)物体は動いていないがカメラが動いている、（iv）動体検出ゾーン内の一部が動いているが動きが遅く検出できない等が考えられる。
【００６０】同実施例の考え方としては、上記（ｉ）〜（iii)の場合は図７の９領域の中で、最大コントラストの領域を追尾ゾーン、または測距ゾーンとする。また、上記（iv）の場合は、基準像はそのままにして参照像を更新することにより、再び動きベクトルを検出する。この更新回数は、変数ＬＯＯＰで決定される。
【００６１】次いで、ＬＯＯＰ＝３が判別され（ステップＳ２４）る。ここで、ＬＯＯＰ＝３でない場合は、次に参照画像の更新がなされ（ステップＳ２５）、変数ＬＯＯＰにＬＯＯＰ＋１が代入された後（ステップＳ２６）、ステップＳ１１に戻る。一方、上記ステップＳ２４に於いて、ＬＯＯＰ＝３になってもベクトルパターン数ＰＮＵＭ＝１である場合は、次に、図１８に示されるように、サブルーチンＲＥＣＯＧＴＲＫＺＮＥ１が実行される。
【００６２】このサブルーチンは、動体検出ゾーンから最大コントラストの追尾ゾーンを検出するプログラムである。図１８に於いて、先ず領域を表す変数ｉに０が代入される（ステップＦ１）。次いで、変数ＭＡＸＣＮＴに−１が代入される（ステップＦ２）。そして、動体検出ゾーン（ｉ＝０〜８）の各領域のコントラスト値ＣＮＴ（ｉ）とＭＡＸＣＮＴが比較される（ステップＦ３）。
【００６３】このステップＦ３に於いて、ＣＮＴ（ｉ）＞ＭＡＸＣＮＴの場合は、ＭＡＸＣＮＴにＣＮＴ（ｉ）が代入される（ステップＦ４）。そして、最終的に決定される追尾ゾーンｉがＴＲＫＺＮＥに代入される（ステップＦ５）。こうして、ｉ＝８になってこのサブルーチンがリターンされるまで（ステップＦ６）、変数ｉにｉ＋１が代入されて（ステップＦ７）、以上のステップＦ３〜Ｆ７の動作が繰返される。
【００６４】次に、図１２のフローチャートに於いて、上記ＴＲＫＺＮＥの表す領域に追尾マークがスーパーインポーズされる（図２（ｃ）の状態）。続いて、サブルーチンＴＲＡＣＫで追尾が行われる（ステップＳ３３）。
【００６５】また、上記ステップＳ２３に於いて、ベクトルパターン数ＰＮＵＭが１でない場合は、次にＰＮＵＭ＝３か否かが判別される（ステップＳ２８）。ここで、ＰＮＵＭ＝３の場合は、動きの異なる物体が混在するので、追尾不能の表示がなされる（ステップＳ２９）。
【００６６】いま、上記ステップＳ２８にて、ＰＮＵＭ＝３でないときは、自動的にＰＮＵＭ＝２となる。このときは、一方の動きベクトルは、カメラの動きである可能性が高い。このときは、動体検出ゾーンとは異なる画面の４隅に固定配置された４つの動きベクトル検出領域３９〜４２（図６参照）（ｉ＝９〜１２）の動きベクトルと比較されることにより、動体検出ゾーンの２つの動きベクトルの中から真に物体の動いている領域が特定される。
【００６７】サブルーチンＣＭＰＶＥＣＴＰＡＴ（ステップＳ３０）は、（ａ）上記動体検出ゾーンとは異なる４つの領域（ｉ＝９〜１２）の中に動体検出ゾーンとは異なる動きベクトルＶＰ（ｉ）が観測された場合は追尾不能とする、（ｂ）ＶＰ（ｉ）＝ＮＧ（検出不能）の領域が２つ以上ある場合は追尾不能とする、（ｃ）ＶＰ（ｉ）（ｉ＝９〜１２）の中で２種類の動きベクトルが存在し、両方のベクトルパターンの存在する領域の数が同じ場合（例えば２：２、１：１）は、追尾不能とする、ことを基本とする。
【００６８】次に、図１９のサブルーチンＣＭＰＶＥＣＴＰＡＴを説明する。同図に於いて、先ず、領域を表す変数ｉに９が、そして変数ＮＮＧ、Ｎ０、Ｎ１、ＲＮＧ２に、それぞれ０が代入される（ステップＧ１）。この場合、ｉ＝０〜８のベクトルパターンＶＰ（ｉ）の最大値は１であることに注意する。
【００６９】次いで、ＶＰ（ｉ）≧２が判別され（ステップＧ２）、ＶＰ（ｉ）≧２の場合は上記（ａ）の理由で追尾不能表示のフラグＲＮＧ２に１が代入されて（ステップＧ３）リターンされる。一方、ＶＰ（ｉ）≧２でなく、且つＶＰ（ｉ）＝ＮＧの場合は（ステップＧ４）、ＮＧのカウンタ変数ＮＮＧがインクリメントされる（ステップＧ５）。
【００７０】次に、ＶＰ（ｉ）＝０が判別されて（ステップＧ６）、ＶＰ（ｉ）＝０の場合はＮ０がインクリメントされる（ステップＧ７）。そして、ＶＰ（ｉ）＝１の場合は（ステップＧ８）、Ｎ１がインクリメントされる（ステップＧ９）。以上の動作が、ｉ＝１２まで繰返される（ステップＧ１０）。
【００７１】こうして、ＮＮＧにはＶＰ（ｉ）＝ＮＧとなるベクトルパターン数が、Ｎ０にはＶＰ（ｉ）＝０となるベクトルパターン数が、そしてＮ１にはＶＰ（ｉ）＝１となるベクトルパターン数が代入されたことになる。
【００７２】上記ステップＧ１０でＮ＝１２の場合、次にＮＮＧ≧２であれば（ステップＧ１１）、上記（ｂ）の理由により、追尾不能表示フラグＲＮＧ２に１が代入される（ステップＧ１３）。また、Ｎ０＝Ｎ１の場合は（ステップＧ１２）、上記（ｃ）の理由で同様に追尾不能表示フラグＲＮＧ２に１が代入される。
【００７３】そして、Ｎ０＞Ｎ１が判別されて（ステップＧ１４）、Ｎ０＞Ｎ１の場合は変数ＶＰに０が（ステップＧ１５）、Ｎ０≦Ｎ１の場合はＶＰに１が代入されて（ステップＧ１６）、リターンされる。
【００７４】図１２のフローチャートに戻って、ステップＳ３０のサブルーチンＣＭＰＶＥＣＴＰＡＴが終了されると、続いてサブルーチンＲＥＣＯＧＴＲＫＺＮＥ２が実行される（ステップＳ３１）。これは、サブルーチンＣＭＰＶＥＣＴＰＡＴで求められたＶＰの値に基いて動体検出ゾーンの中から動体の存在する領域を検出するプログラムである。
【００７５】ステップＳ３０のサブルーチンＣＭＰＶＥＣＴＰＡＴで求められたＶＰは、領域ｉ＝９〜１２のベクトルパターン２種（０〜１）のうち多い方のベクトルパターンであり、これをカメラの動きベクトルと判断する。したがって、動体検出ゾーンの２種の動きベクトルのうち、ＶＰと等しくない方の動きベクトルをもった追尾ゾーンが、動体の存在する領域である。更に、動体の存在する領域が複数存在するときは、コントラストの高い領域が最終的に追尾ゾーンとされる。
【００７６】図２０はこの判断をするプログラムを示したものである。同図に於いて、先ずｉに０が代入される（ステップＨ１）。そして、ＭＡＸＣＮＴに−１が代入される（ステップＨ２）。次いで、ＶＰ（ｉ）＝ＶＰであるか否かが判別される（ステップＨ３）
【００７７】このステップＨ３にて、ＶＰ（ｉ）＝ＶＰでない場合にコントラストＣＮＴ（ｉ）とＭＡＸＣＮＴが比較され（ステップＨ４）、更にＣＮＴ（ｉ）＞ＭＡＸＣＮＴであればＭＡＸＣＮＴにＣＮＴ（ｉ）が代入される（ステップＨ５）。その後、ｉがＴＲＫＺＮＥに代入される（ステップＨ６）。
【００７８】次に、ｉ＝８が否かが判別される（ステップＨ７）。ここで、ｉ＝８でない場合は、ｉがインクリメントされて（ステップＨ８）、以上の動作が繰返される。これにより、最終的に変数ＴＲＫＺＮＥには、追尾ゾーンｉが代入されることになる。
【００７９】図１２のフローチャートに戻り、ステップＳ３２に於いて、ＲＮＧ２＝１のとき、追尾不能の表示が行われ、ＲＮＧ２＝１でない場合は、追尾マークが表示された後（ステップＳ３３）、追尾演算ＴＲＡＣＫのサブルーチンが実行される（ステップＳ３４）。
【００８０】図２１は、サブルーチンＴＲＡＣＫを示したものである。同図に於いて、先ず、タイマｔに０が設定される（ステップＩ１）。次いで、参照像のロードと代表点フィルタリング演算が行われる（ステップＩ２）。そして、サブルーチンＶＥＣＴＣＡＬが行われる動きベクトルが求められる（ステップＩ３）。
【００８１】ここで、信頼度変数ＲＬＢＴＹ＝ＮＧか否かの判別がなされる（ステップＩ４）。このステップＩ４にて、ＲＬＢＴＹ＝ＮＧの場合は追尾不能の表示が行われる（ステップＩ５）。一方、ＲＬＢＴＹ＝ＮＧでない場合は、動きベクトルの値に応じて追尾マークの更新が行われる（ステップＩ６）。
【００８２】次に、タイマがｔ＞ｔ0 （ｔ0 は例えば１秒）であるか否かが判別され（ステップＩ７）、ｔ＞ｔ0 のときは、次にｔに０が設定されて（ステップＩ８）、基準像が更新される（ステップＩ９）。
【００８３】次いで、コントラスト演算が行われ（ステップＩ１０）、もしコントラスト不足でＲＬＢＴＹ＝ＮＧのときは（ステップＩ１１）、追尾不能表示がなされる（ステップＩ１２）。一方、上記ステップＩ１１にて、ＲＬＢＴＹ＝ＮＧでない場合は、再び基準像と参照像との相関演算が行われて追尾する。以上のように、所定時間毎に基準像が更新されることにより、移動中に少しずつ形状が変わるような物体にも追尾が可能となる。
【００８４】図２２は、同実施例の概略的な制御の流れを示すタイミングチャートである。同図（ａ）は画像を１／３０ｓｅｃ毎に取込む様子を示したものである。同図（ｂ）は動体検出ゾーンとカメラの動きベクトル検出ゾーンの代表点フィルタリングとコントラスト演算のタイミングを示したものである。また、同図（ｃ）は動作ベクトルの演算のタイミングを示している。更に、同図（ｄ）は、追尾演算のタイミングを示したものである。
【００８５】初めに、図２２（ａ）の第１画像を基準とし、第２画像と比較して動きベクトルが検出される。ここで、動きベクトルが検出されるときは、基準像はそのままに第１画像と第３画像から動きベクトルが求められる。同図は、最終的に第１画像と第４画像により動きベクトルが求まった場合を示している。このようにして、第５画像以降の追尾が開始される。尚、上述した実施例は、動体追尾システムへの適用例であるが、注視点を選択した後、直ちに撮影する銀塩カメラへの適用も可能である。また、追尾と同時に自動焦点を行う装置への適用も可能である。
【００８６】
【発明の効果】以上のようにこの発明によれば、高速の物体の検出を可能にして、且つ相関演算のシフト量を小さくし、サンプリング時間を短くしても、低速で移動する物体を検出することのできる動体の動きベクトル検出装置を提供することができる。
【図面の簡単な説明】
【図１】この発明の一実施例で、動体の動きベクトル検出装置が適用されたカメラシステムの構成を示すブロック図である。
【図２】カメラの操作者が注視点を選択してから追尾するまでの表示例を示したもので、（ａ）は操作者が物体ＯＢＪの近傍に注視点マークＰ“＋”を移動させた状態を示した図、（ｂ）は同図（ａ）の“＋”マークを中心に動体検出ゾーンがスーパーインポーズされた状態を示した図、（ｃ）は追尾ゾーンの表わす領域に追尾マークがスーパーインポーズされた状態を示した図である。
【図３】図２の注視点のマークを移動させるための部材の配置を示した外観図である。
【図４】視線方向を検出し、それにより画面の任意の領域を指示するための原理図である。
【図５】眼の角膜反射像、瞳孔、虹彩の出力波形の一例を示した図である。
【図６】動体検出ゾーンとカメラの動き検出領域の一例を示した図である。
【図７】図６の動体検出ゾーンを複数のブロックに分割した例を示した図である。
【図８】図７の１つの追尾ゾーン内の１６個の代表点画素配置を示した図である。
【図９】図８の中の１つの画素が、５つの画素の平均値で表されることを示した図である。
【図１０】動きベクトル（移動量と方向）の検出の原理を示した図である。
【図１１】代表点配置の一例を示した図である。
【図１２】図１２はこのカメラシステムの全体の制御動作を説明するフローチャートである。
【図１３】基準像のコントラスト計算を実行するプログラムＣＮＴＣＡＬのサブルーチンである。
【図１４】基準像と参照像との間で相関演算を行うプログラムＶＥＣＴＣＡＬのサブルーチンである。
【図１５】動きベクトルのパターン分類プログラムＶＥＣＴＰＡＴのサブルーチンである。
【図１６】動体検出ゾーンの領域の全てのベクトルパターンがＮＧのときにのみ、変数ＲＮＧに１が代入されるプログラムＲＥＣＯＧＮＧのサブルーチンである。
【図１７】動体検出ゾーンの領域のベクトルパターン数（種類）を求めるプログラムＲＥＣＯＧＰＡＴＮＵＭのサブルーチンである。
【図１８】動体検出ゾーンから最大コントラストの追尾ゾーンを検出するプログラムＲＥＣＯＧＴＲＫＺＮＥ１のサブルーチンである。
【図１９】ベクトルパターンＶＰを求めるプログラムＣＭＰＶＥＣＴＰＡＴのサブルーチンである。
【図２０】サブルーチンＣＭＰＶＥＣＴＰＡＴで求められたＶＰの値に基いて動体検出ゾーンの中から動体の存在する領域を検出するプログラムＲＥＣＯＧＴＲＫＺＮＥ２のサブルーチンである。
【図２１】追尾演算のプログラムＴＲＡＣＫのサブルーチンである。
【図２２】この発明の一実施例の概略的な制御の流れを示すタイミングチャートである。
【符号の説明】
１０…ビデオカメラ、１１…Ｙ／Ｃ分離回路、１２…Ａ／Ｄ変換回路、１３ａ、１３ｂ…ビデオＲＡＭ、１４…ＣＰＵ、１５…ＲＡＭ、１６…ＲＯＭ、１７…ＣＲＴコントローラ、１８…ゲート、１９…スーパーインポーザ、２０…表示部、２３…注視点移動部材、２４…注視点選択部材、３８…動体検出ゾーン、３９、４０、４１、４２…動きベクトル検出領域。
【特許請求の範囲】
【請求項１】 第１の時刻に於いて被写体の所定領域から第１の映像を検出する第１の検出手段と、上記第１の時刻とは異なる第２の時刻で上記所定領域から第２の映像を検出する第２の検出手段と、上記第１の映像を基準として第２の映像を所定のピッチずつシフトさせながら上記第１の映像と第２の映像の最も一致するシフト量を求める相関演算を行う相関演算手段と、上記第１及び第２の映像の最良の一致点のシフト量から所望の映像の動きベクトルを検出する第３の検出手段とを具備し、上記相関演算手段は、上記所望の映像が動いていないと判断された場合に上記第２の映像のみ更新して再度上記相関演算を行い、上記動きベクトルを演算することを特徴とする動体の動きベクトル検出装置。
【請求項１】 第１の時刻に於いて被写体の所定領域から第１の映像を検出する第１の検出手段と、上記第１の時刻とは異なる第２の時刻で上記所定領域から第２の映像を検出する第２の検出手段と、上記第１の映像を基準として第２の映像を所定のピッチずつシフトさせながら上記第１の映像と第２の映像の最も一致するシフト量を求める相関演算を行う相関演算手段と、上記第１及び第２の映像の最良の一致点のシフト量から所望の映像の動きベクトルを検出する第３の検出手段とを具備し、上記相関演算手段は、上記所望の映像が動いていないと判断された場合に上記第２の映像のみ更新して再度上記相関演算を行い、上記動きベクトルを演算することを特徴とする動体の動きベクトル検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図６】
【図８】
【図１０】
【図１１】
【図１３】
【図１６】
【図１７】
【図１２】
【図１４】
【図１８】
【図１９】
【図１５】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図６】
【図８】
【図１０】
【図１１】
【図１３】
【図１６】
【図１７】
【図１２】
【図１４】
【図１８】
【図１９】
【図１５】
【図２０】
【図２１】
【図２２】
【公開番号】特開平５−２９２３７７
【公開日】平成５年（１９９３）１１月５日
【国際特許分類】
【出願番号】特願平４−８９０９１
【出願日】平成４年（１９９２）４月９日
【出願人】（００００００３７６）オリンパス光学工業株式会社 (11,466)
【公開日】平成５年（１９９３）１１月５日
【国際特許分類】
【出願日】平成４年（１９９２）４月９日
【出願人】（００００００３７６）オリンパス光学工業株式会社 (11,466)
[ Back to top ]