被写体追尾システム
【課題】誤追尾を低減化させる。
【解決手段】追尾を開始するとき、追尾部は撮影画像におけるスキャン領域の位置を設定する（ステップＳ１００）。追尾部はスキャン領域に基づいて第１〜第８の候補領域を設定する（ステップＳ１０２）。追尾部はスキャン領域の輝度を２値化する（ステップＳ１０３）。追尾部は次の画像データにおける第１〜第８の候補領域の輝度を２値化する（ステップＳ１０５）。追尾部は２値化された輝度に基づいて第１〜第８の判定値を算出する（ステップＳ１０６）。追尾部は第１〜第８の判定値に基づいて第１〜第４の粗判定値を算出する（ステップＳ１０７）。追尾部は第１の判定により被写体の移動方向を粗く判定する（ステップＳ２００）。追尾部は第２の判定により被写体の移動方向を詳細に判定する（ステップＳ３００）。追尾部は第２の判定により判定された移動方向の候補領域をスキャン領域として設定する（ステップＳ１０８）。
【解決手段】追尾を開始するとき、追尾部は撮影画像におけるスキャン領域の位置を設定する（ステップＳ１００）。追尾部はスキャン領域に基づいて第１〜第８の候補領域を設定する（ステップＳ１０２）。追尾部はスキャン領域の輝度を２値化する（ステップＳ１０３）。追尾部は次の画像データにおける第１〜第８の候補領域の輝度を２値化する（ステップＳ１０５）。追尾部は２値化された輝度に基づいて第１〜第８の判定値を算出する（ステップＳ１０６）。追尾部は第１〜第８の判定値に基づいて第１〜第４の粗判定値を算出する（ステップＳ１０７）。追尾部は第１の判定により被写体の移動方向を粗く判定する（ステップＳ２００）。追尾部は第２の判定により被写体の移動方向を詳細に判定する（ステップＳ３００）。追尾部は第２の判定により判定された移動方向の候補領域をスキャン領域として設定する（ステップＳ１０８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続的に撮影される撮影画像における特定の被写体の移動を追尾する被写体追尾システムに関する。
【背景技術】
【０００２】
連続的に撮影される撮影画像において、所望の被写体の動きを追尾する画像解析が知られている。このような画像解析は、移動する被写体の動きを追尾させながらオートフォーカスを行なうために用いられる。また、監視カメラなどにおいて、特定の人物などを追尾するためにも用いられる。
【０００３】
従来の被写体追尾の画像解析について簡単に説明する。まず、撮影する画像の枠内における特定の領域が追尾領域として初期設定される。画像解析が始まると、あるタイミングの追尾領域の画像と次のタイミングにおける追尾領域の周囲の複数の画像とのパターンマッチングが行なわれる。パターンマッチングにより、追尾領域の画像と最も一致性の高い画像を含む領域が追尾領域として再設定される。以後、これを繰返すことにより、追尾領域に含まれる被写体が追尾される。
【０００４】
前述の追尾方法では、パターンマッチングを行い一致性の高い画像を含む領域を被写体の移動した領域とみなしている。従って、実際に被写体が移動した領域に含まれる画像が最も一致性の高い画像とならない場合がある。
【０００５】
例えば、前述のように移動する被写体に対して合焦させるオートフォーカス機能を有するカメラなどに被写体追尾機能が適用されることがあるが、手振れにより追尾領域の画像と周囲の画像すべてとの一致性が同じように高くなることがある。また、追尾領域に含まれる画像のコントラストが低い場合にもパターンマッチングにより一致性の比較が困難となる。結果として、所望の被写体の誤追尾を起こすことが問題であった。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、本発明では移動する被写体の誤追尾を低減化した被写体追尾システムの提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の被写体追尾システムは、連続的に撮像される撮影画像内における特定の被写体である追尾対象体の移動を追尾する被写体追尾システムであって、撮影画像における定められた一部の領域を追尾対象体を追尾するための追尾領域に初期設定する初期設定部と、追尾領域から第１の粗方向を正方向成分として有する第１、第２の方向に移動した領域である第１、第２の候補領域を設定し第１の粗方向とは異なる第２の粗方向を正方向成分として有する第３、第４の方向に追尾部から移動した領域である第３、第４の候補領域を設定する候補領域設定部と、第１のタイミングで撮像された撮影画像における追尾領域の画像である基準画像を検出し第１のタイミングの後の第２のタイミングで撮像された撮影画像における前記第１〜第４の候補領域の画像である第１〜第４の候補画像を検出する画像検出部と、基準画像と第１〜第４の候補画像それぞれとの一致性に基づいて、第１のタイミングから第２のタイミングにおける追尾対象体の移動方向が第１の粗方向と第２の粗方向とのいずれであるかを判定する第１の判定部と、追尾対象体の移動方向として判定された粗方向が第１の粗方向であるときに基準画像と第１、第２の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第１、第２の方向のいずれであるかを判定し追尾対象体の移動方向として判定された粗方向が第２の粗方向であるときに基準画像と第３、第４の候補画像それぞれの一致性に基づいて追尾対象体の移動方向が前記第３、第４の方向のいずれであるかを判定する第２の判定部と、第２の判定部に追尾対象体の移動方向として判定された方向に移動した候補領域を追尾領域として再設定する再設定部とを備えることを特徴としている。
【０００８】
さらに、第１の判定部は２つの画像の一致性に応じた判定値を算出し、基準画像と第１、第２の候補画像それぞれの判定値の和と基準画像と第３、第４の候補画像それぞれの判定値の和とを比較することにより、追尾対象体の移動方向が第１、第２の粗方向のいずれであるかを判定することが好ましい。
【０００９】
また、第２の判定部は２つの画像の一致性に応じた判定値を算出し、基準画像と第１、第２の候補画像それぞれの判定値を比較することにより追尾対象体の移動方向が第１、第２の方向のいずれであるかの判定又は基準画像と第３、第４の候補画像それぞれの判定値を比較することにより追尾対象体の移動方向が前記第３、第４の方向のいずれであるかの判定を行なうことが好ましい。
【００１０】
また、追尾領域から第１〜第４の候補領域それぞれまでの距離は実質的に等しいことが好ましい。
【００１１】
また、候補領域設定部は第１、第２の粗方向とは異なる第３の粗方向を正方向成分として有する第５、第６の方向に追尾領域から移動した領域である第５、第６の候補領域を設定し、画像検出部は第２のタイミングで撮像された撮影画像における第５、第６の候補領域の画像である第５、第６の候補画像を検出する画像検出部と、第１の判定部は基準画像と第１〜第６の候補画像それぞれとの一致性に基づいて第１のタイミングから第２のタイミングにおける追尾対象体の移動方向が第１〜第３の粗方向のいずれの粗方向であるかを判定し、第２の判定部は追尾対象体の移動方向として判定された粗方向が第３の粗方向であるときに基準画像と第５、第６の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第５、第６の方向いずれであるかを判定することが好ましい。
【００１２】
また、第１の粗方向と第３の粗方向は互いに逆向きであり第１の粗方向と第２の粗方向は互いに垂直であり第１の粗方向と第１の方向とは同じ方向であり第２の粗方向と第３の方向とは同じ方向であり第３の粗方向と第５の方向とは同じ方向であり第２の方向は第２の粗方向を正方向成分として含み第４の方向は第３の粗方向を正方向成分として含み、候補領域設定部は追尾領域から第３の方向の逆向きの方向である第７の方向及び第７の方向と第１の方向とを正方向成分として含む第８の方向に移動した領域である第７、第８の領域である第７、第８の候補領域を設定し、画像検出部は第２のタイミングで撮像された撮影画像における第７、第８の候補領域の画像である第７、第８の候補画像を検出する画像検出部と、第１の判定部は基準画像と第１〜第８の候補画像それぞれとの一致性に基づいて第１のタイミングから第２のタイミングにおける追尾対象体の移動方向が第１、第３、第５、第７の方向のいずれの方向であるかを判定し、第２の判定部は追尾対象体の移動方向として判定された方向が第１の方向であるときに基準画像と第１、第２、第８の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第１、第２、第６の方向のいずれであるかを判定し追尾対象体の移動方向として判定された方向が第３の方向であるときに基準画像と第２〜第４の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第２〜第４の方向のいずれであるかを判定し追尾対象体の移動方向として判定された方向が第５の方向であるときに基準画像と第４〜第６の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第４〜第６の方向のいずれであるかを判定し、追尾対象体の移動方向として判定された方向が第７の方向であるときに基準画像と第６〜第８の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第６〜第８の方向のいずれであるかを判定することが好ましい。
【発明の効果】
【００１３】
本発明によれば、移動する被写体の追尾の精度を向上させることが可能である。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した被写体追尾システムを有するデジタルカメラの内部構成を概略的に示すブロック図である。
【００１５】
デジタルカメラ１０は、撮影光学系１１、撮像素子１２、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１３、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２３、操作入力部１４、及びレンズ駆動部１５等によって構成される。
【００１６】
撮影光学系１１は、撮像素子１２に光学的に接続される。撮影光学系１１を透過する被写体の光学像が撮像素子１２の受光面に入射される。撮像素子１２は、例えばＣＣＤである。受光面において被写体の光学像が受光されることにより、光学像に相当する画像信号が生成される。
【００１７】
撮影光学系１１は、フォーカスレンズ（図示せず）やズームレンズ（図示せず）などの複数のレンズにより構成される。フォーカスレンズ及びズームレンズは光軸方向に移動自在である。フォーカスレンズを移動させることにより被写体像を撮像素子１２の受光面に結像させることが出来る。ズームレンズをフォーカスレンズに対して相対的に移動させることにより撮影光学系１１の焦点距離を調整可能である。
【００１８】
フォーカスレンズ及びズームレンズは、操作者により手動で光軸方向に移動させることが可能である。或いは、フォーカスレンズ及びズームレンズはレンズ駆動部１５によって駆動され、移動させることも可能である。特に、フォーカスレンズを移動させることによる合焦位置調整は、後述するようにオートフォーカス（ＡＦ）機能を実行することにより自動的に行わせることが可能である。
【００１９】
撮影光学系１１と撮像素子１２の間には、絞り１６とシャッタ１７とが配置される。絞り１６の開度を調整することにより、撮像素子１２の受光面に入射する光の照度が調整される。シャッタ１７の開閉により被写体光束の通過と遮光が切替えられる。絞り１６は絞り駆動部１８によって駆動され、開度調整が行なわれる。シャッタ１７はシャッタ駆動部１９によって駆動され、開閉が実行される。
【００２０】
なお、レンズ駆動部１５、絞り駆動部１８、及びシャッタ駆動部１９は、ＤＳＰ２３に接続され、それぞれの動作は、ＤＳＰ２３によって制御される。
【００２１】
撮像素子１２は、ＡＦＥ１３を介してＤＳＰ２３に接続される。ＤＳＰ２３からＡＦＥ１３にクロック信号が出力される。ＡＦＥ１３は、クロック信号に基づいてフレーム信号及び撮像素子駆動信号を生成する。撮像素子駆動信号は撮像素子１２に送信される。撮像素子１２は、撮像素子駆動信号に基づいて画像信号を生成する。
【００２２】
なお、撮像素子１２の受光面には、マトリックス状に画素が配列される。例えば、有効画素領域にはｍ×ｎに等分割された位置それぞれに画素が配列される。各画素における受光量に応じて画素信号が生成される。画像信号は、有効画素領域における複数の画素が生成する複数の画素信号によって形成される。
【００２３】
生成した画像信号はＡＦＥ１３に送信される。画像信号はＡＦＥ１３において相関二重サンプリング、ゲイン調整、及びＡ／Ｄ変換が施され、画像データに変換される。画像データはＤＳＰ２３に送信される。
【００２４】
ＤＳＰ２３には、信号処理の作業用のメモリであるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０が接続される。ＤＳＰ２３に送信された画像データは、ＤＲＡＭ２０に一時格納される。ＤＳＰ２３により、ＤＲＡＭ２０に格納された画像データに対して所定のデータ処理が施される。
【００２５】
ＤＳＰ２３には、液晶モニタ２１が接続される。所定のデータ処理が施された画像データは、液晶モニタ２１に送信される。送信された画像データに相当する画像が液晶モニタ２１に表示可能である。
【００２６】
また、ＤＳＰ２３には、外部カードインターフェース２２が接続される。後述するレリーズ動作を実行するときに、所定の信号処理の施された画像データは外部カードインターフェース２２に接続される外部メモリ（図示せず）に格納される。
【００２７】
また、ＤＳＰ２３には、デジタルカメラ１０を操作するためのコマンド入力を行なうための操作入力部１４が接続される。操作入力部１４は、レリーズボタン（図示せず）、多機能十字キー（図示せず）、電源ボタン（図示せず）などによって構成される。操作者による操作入力部１４へのコマンド入力に応じて、ＤＳＰ２３はデジタルカメラ１０の各部位に必要な動作を行なわせる。
【００２８】
例えば、レリーズボタンを半押しすることにより第１のスイッチ（図示せず）がＯＮに切替わり、露出調整及び合焦位置調整が行われる。すなわち、露出調整において絞り１６の開度、シャッタスピード調整、及びＤＳＰ２３におけるゲイン調整が行なわれる。合焦位置調整において、後述するように所望の被写体光束を撮像素子１２の受光面に結像させるように、フォーカスレンズ（図示せず）が駆動される。
【００２９】
また、レリーズボタンを全押しすることにより第２のスイッチ（図示せず）がＯＮに切替わりシャッタ１７の開閉、静止画像の撮像を行なうように撮像素子１２が駆動される。
【００３０】
ＤＳＰ２３の内部構成について、図２を用いてさらに詳細に説明する。図２は、ＤＳＰ２３の内部構成を概略的に示すブロック図である。ＤＳＰ２３には、前段データ処理部２３ｐ１、後段データ処理部２３ｐ２、追尾部３０（被写体追尾システム）、ＡＦ調整部２３ａ、及び制御部２３ｃによって構成される。
【００３１】
前段データ処理部２３ｐ１には、ＡＦＥ１３から画像データが送信される。前段データ処理部２３ｐ１によって画像データはＤＲＡＭ２０に格納される。また、画像データに対して、色補間処理、ホワイトバランス処理、及び輝度信号生成処理等の所定のデータ処理が施される。また、所定のデータ処理の施された画像データは、後段データ処理部２３ｐ２に送信される。
【００３２】
後段データ処理部２３ｐ２においても、画像データに対してクランプ処理やブランキング処理等の所定のデータ処理が施される。後段データ処理部２３ｐ２において所定のデータ処理を施した画像データは液晶モニタ２１及び外部カードインターフェース２２を介して外部メモリに送信される。
【００３３】
追尾部３０及びＡＦ調整部２３ａにも、前段データ処理部２３ｐ１から画像データが送信される。送信された画像データに基づいて、追尾部３０及びＡＦ調整部２３ａにより、所望の被写体を撮像素子１２の受光面に結像させるためのフォーカスレンズの駆動位置が求められる。
【００３４】
更に説明すると、追尾部３０により、撮影画像全体の中の何処かの領域がスキャン領域（追尾領域）に設定される。なお、スキャン領域とは、受光面に合焦させる所望の被写体を含ませるための領域である。所望の被写体である追尾対象体が撮影画像の中で移動する場合には、移動する領域を連続的にスキャン領域に設定することにより、追尾対象体を追尾することが可能である。
【００３５】
ＡＦ調整部２３ａにより、スキャン領域に含まれる被写体を受光面に結像させるためのフォーカスレンズの駆動位置が求められる。なお、フォーカスレンズの駆動位置は、コントラスト方式、すなわち、フォーカスレンズを移動させながらスキャン領域のコントラストを検出し、コントラストを最大にさせるフォーカスレンズの位置をフォーカスレンズ駆動位置として求める方式に基づいて、実行される。なお、フォーカスレンズの駆動位置は、従来公知のいかなるＡＦ動作により求められても良い。例えば、公知の位相差方式によって焦点検出を行なわせる構成と組合わせても良い。
【００３６】
なお、デジタルカメラ１０には、撮影画像全体の中の特定の位置の被写体を合焦させる固定ＡＦ機能と撮影画像の中で移動中の被写体を合焦させる追尾ＡＦ機能とが設けられる。いずれかのＡＦ機能を実行させるかは、操作入力部１４に対するコマンド入力により選択可能である。
【００３７】
制御部２３ｃには、操作入力部１４からコマンド入力に応じた入力信号が送信される。受信した入力信号に応じて、前段データ処理部２３ｐ１、後段データ処理部２３ｐ２、追尾部３０、及びＡＦ調整部２３ａの動作の制御及びデジタルカメラ１０の各部位の制御が、制御部２３ｃによって実行される。
【００３８】
例えば、前述の露出調整を行うときに、絞り駆動部１８による絞り１６の駆動は、制御部２３ｃに制御される。また、シャッタ１７の開閉を行うときに、シャッタ駆動部１９によるシャッタ１７の開閉は、制御部２３ｃにより制御される。
【００３９】
また、合焦位置調整を行うときに、レンズ駆動部１５によるフォーカスレンズの駆動は、制御部２３ｃにより制御される。制御部２３ｃには、ＡＦ調整部２３ａが求めたフォーカスレンズの駆動位置に相当するレンズ位置信号が送信される。制御部２３ｃによるレンズ駆動部１５の制御は、レンズ位置信号に基づいて実行される。
【００４０】
次に、追尾部３０の構成及び動作について、図３〜図５を用いて詳細に説明する。図３は、追尾部３０の内部構成を概略的に示すブロック図である。追尾部３０は、画素ブロック算出部３１、スキャン領域初期設定部３２、候補領域設定部３３、画像認識部３４、及びスキャン領域設定部３５によって構成される。なお、各部位の動作は制御部２３ｃにより制御される。
【００４１】
追尾ＡＦ機能を実行するときには、前段データ処理部２３ｐ１から有効画素領域の各画素の輝度がデータとして、画素ブロック算出部３１に入力される。画素ブロック算出部３１では、追尾の処理を容易にするために画素ブロックの輝度が計算される。
【００４２】
画素ブロック１２ｂとは、図４に示すように、有効画素領域ＡＡを例えば２０×２０に等分割した領域であって、互いに隣合う複数の画素、例えば１０×１０個の画素１２ｐによって形成される。画素ブロック１２ｂの輝度は、画素ブロック１２ｂを形成する画素１２ｐの輝度の平均値を算出することにより求められる。画素ブロック１２ｂの輝度はデータとして画像認識部３４に送られる。
【００４３】
また、ＡＦ機能を実行するときには、スキャン領域初期設定部３２により撮像素子１２の有効画素領域ＡＡの中心がスキャン領域の中心に定められる。中心の位置が定められることによりスキャン領域の初期設定が行なわれる。
【００４４】
図５に示すように、スキャン領域ＳＡは、領域の中心Ｃから上下に６行４列に並んだ画素ブロック１２ｂと中心Ｃから左右に４行６列に並んだ画素ブロック１２ｂとによって形成される。
【００４５】
なお、有効画素領域ＡＡには縦方向と横方向に延びる２つの画素ブロック１２ｂの境界線があるが、その交点のいずれかをスキャン領域ＳＡの中心Ｃに定め、任意の位置にスキャン領域ＳＡを設定可能である。スキャン領域ＳＡの設定は操作入力部１４に対するコマンド入力により行われる。
【００４６】
初期設定されたスキャン領域ＳＡがデータとして、候補領域設定部３３に送信される。候補領域設定部３３では、スキャン領域ＳＡから周囲の８方向に移動させたスキャン領域ＳＡと同じ形態の領域が候補領域に設定される。
【００４７】
候補領域として設定するためのスキャン領域からの方向は、第１〜第８の方向が定められている。図５において、上下左右の４方向がそれぞれ第１、第５、第３、第７の方向に定められる。また、図５において、左上方向、左下方向、右下方向、右上方向がそれぞれ第２、第４、第６、第８の方向に定められる。
【００４８】
スキャン領域ＳＡから第１の方向に画素ブロック１２ｂ一つ分移動させた領域が第１の候補領域ＣＡ１に設定される（図６参照）。スキャン領域ＳＡから第２の方向に画素ブロック１２ｂ一つ分移動させた領域が第２の候補領域ＣＡ２に設定される（図７参照）。スキャン領域ＳＡから第３の方向に画素ブロック１２ｂ一つ分移動させた領域が第３の候補領域ＣＡ３に設定される（図８参照）。スキャン領域ＳＡから第４の方向に画素ブロック１２ｂ一つ分移動させた領域が第４の候補領域ＣＡ４に設定される（図９参照）。スキャン領域ＳＡから第５の方向に画素ブロック１２ｂ一つ分移動させた領域が第５の候補領域ＣＡ５に設定される（図１０参照）。スキャン領域ＳＡから第６の方向に画素ブロック１２ｂ一つ分移動させた領域が第６の候補領域ＣＡ６に設定される（図１１参照）。スキャン領域ＳＡから第７の方向に画素ブロック１２ｂ一つ分移動させた領域が第７の候補領域ＣＡ７に設定される（図１２参照）。スキャン領域ＳＡから第８の方向に画素ブロック１２ｂ一つ分移動させた領域が第８の候補領域ＣＡ８に設定される（図１３参照）。
【００４９】
設定された第１〜第８の候補領域ＣＡ１〜ＣＡ８がデータとして、画像認識部３４に送信される。また、スキャン領域初期設定部３２に初期設定されたスキャン領域ＳＡがデータとして、画像認識部３４にも送信される。さらに、画像認識部３４には、ＡＦＥ１３から画像データが送られる。
【００５０】
画像認識部３４では、各フレームの画像データの中からスキャン領域ＳＡ及び第１〜第８の候補領域ＣＡ１〜ＣＡ８における画像に相当するデータ成分が抽出される。なお、抽出されるデータ成分は、各領域を形成する画素ブロック１２ｂの輝度に相当する。
【００５１】
例えば、第１のタイミングで送られる画像データにおけるスキャン領域ＳＡでは図１４に示すように、左から右、上から下の画素ブロック１２ｂの順番に、１２０、３０、６０、５５、７０、１１０、１００、７０、４０、１０５、４０、８５、９５、６５、２５、４０、１５０、１２０、６０、３０、２５、４５、１００、１２０、１１０、９５、８０、５０、９０、７５、８０、２０が輝度として抽出される。
【００５２】
抽出されたデータ成分に基づいて、スキャン領域ＳＡ及び第１〜第８の候補領域ＣＡ１〜ＣＡ８における各画素ブロック１２ｂの輝度の２値化が行なわれる。すなわち、各領域に含まれる複数の画素ブロック１２ｂにおける輝度の平均値が求められ、平均値より大きな輝度である画素ブロック１２ｂの輝度は１に変換され、平均値より小さな輝度である画素ブロック１２ｂの輝度は０に変換される。
【００５３】
図１４に示したスキャン領域の輝度の平均値は７３．７５であり、それぞれの画素ブロック１２ｂの輝度は２値化により図１５に示すように、左から右、上から下の画素ブロック１２ｂの順番に１、０、０、０、０、１、１、０、０、１、０、１、１、０、０、０、１、１、０、０、０、０、１、１、１、１、１、０、１、１、１、０に変換される。
【００５４】
２値化された各画素ブロック１２ｂの輝度はデータとして、領域毎にスキャン領域設定部３５に送られる。スキャン領域設定部３５では、スキャン領域ＳＡに含まれる被写体が次のタイミングの撮像により生成される画像データにおいて、第１〜第８の候補領域ＣＡ１〜ＣＡ８のいずれに移動したかが推測される。なお、この推測は、スキャン領域における各画素ブロック１２ｂの２値化された輝度と次のタイミングの画像データの第１〜第８の候補領域ＣＡ１〜ＣＡ８それぞれにおける各画素ブロック１２ｂの２値化された輝度とに基づいて行なわれる。
【００５５】
第１〜第８の候補領域ＣＡ１〜ＣＡ８の中からの選択は、第１〜第８の判定値の算出、第１の判定、及び第２の判定によって行なわれる。それぞれの動作について以下に詳細に説明する。
【００５６】
第１〜第８の判定値とは、スキャン領域ＳＡの画像と第１〜第８の候補領域ＣＡ１〜ＣＡ８それぞれの画像との一致性を示す計算値である。第１〜第８の判定値は、スキャン領域ＳＡ内と第１〜第８の候補領域ＣＡ１〜ＣＡ８内において相対的に同じ位置にある画素ブロック１２ｂにおける２値化された輝度を比較し、不一致となる画素ブロック１２ｂの個数を数えることにより算出される。従って、第１〜第８の判定値が低い程、スキャン領域ＳＡの画像との一致性が高いと推測される。
【００５７】
スキャン領域設定部３５はＥＸＯＲ回路（図示せず）を有しており、両画素ブロック１２ｂにおける２値化された輝度がＥＸＯＲ回路に入力される。両画素ブロック１２ｂにおける２値化された輝度が一致するときには０が返され、２値化された輝度が異なるときには１が返される。
【００５８】
例えば、第１の候補領域ＣＡ１における２値化された輝度は、図１６に示すような値を有している。スキャン領域ＳＡ内と第１の候補領域ＣＡ１内の相対的位置が同じ画素ブロック１２ｂすべてに対して、２値化された輝度がＥＸＯＲ回路に入力されると、左から右、上からの下の画素ブロック１２ｂの順番に１、０、０、１、１、０、０、１、０、１、１、０、０、０、０、１、０、１、０、１、０、０、０、０、１、０、０、０、１、０、０、０の値が出力される。スキャン領域ＳＡと第１の候補領域ＣＡ１との比較において、ＥＸＯＲ回路から１の値が出力された回数が第１の判定値Ｕ（ｅｘｏｒ）として数えられる。
【００５９】
同様に、スキャン領域ＳＡと第２の候補領域ＣＡ２との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第２の判定値ＵＬ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第３の候補領域ＣＡ３との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第３の判定値Ｌ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第４の候補領域ＣＡ４との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第４の判定値ＤＬ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第５の候補領域ＣＡ５との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数外第５の判定値Ｄ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第６の候補領域ＣＡ６との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第６の判定値ＤＲ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第７の候補領域ＣＡ７との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第７の判定値Ｒ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第８の候補領域ＣＡ８との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第８の判定値ＵＲ（ｅｘｏｒ）として数えられる。
【００６０】
第１〜第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）が求められると、次に第１の判定が行なわれる。
【００６１】
第１の判定では、被写体の大まかな移動方向である粗方向が第１、第３、第５、第７の方向の中のいずれであるかの判定が行なわれる。先ず、粗方向の判定のために第１〜第４の粗判定値が算出される。
【００６２】
第１、第２、第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）の合計値が、第１の粗判定値ＵＵとして算出される。また、第２〜第４の判定値ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）の合計値が、第２の粗判定値ＬＬとして算出される。また、第４〜第６の判定値ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）の合計値が第３の粗判定値ＤＤとして算出される。また、第６〜第８の判定値ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）の合計値が第４の粗判定値ＲＲとして算出される。
【００６３】
第１〜第４の粗判定値ＵＵ、ＬＬ、ＤＤ、ＲＲの中の最小値が判定される。最小値となる粗判定値に対応する方向が、被写体の移動した粗方向であると判定される。第１〜第４の粗判定値に対応する方向は、それぞれ第１、第３、第５、第７の方向である。
【００６４】
第２の判定においては、第１の判定により判定された粗方向を正方向成分として含む方向の中から、被写体が移動した方向の判定が行なわれる。すなわち、第１の粗判定値ＵＵが最小であるときは、被写体の移動方向は第１、第２、第８の方向のいずれかの方向であると判定される。第２の粗判定値ＬＬが最小であるときは、被写体の移動方向は第２〜第４の方向いずれかの方向であると判定される。第３の粗判定値ＤＤが最小であるときは、被写体の移動方向は第４〜第６の方向いずれかの方向であると判定される。第４の粗判定値ＲＲが最小であるときは、被写体の移動方向は第６〜第８の方向いずれかの方向であると判定される。
【００６５】
具体的には、選択された粗方向に含まれる３方向に対応する３つの判定値の最小値が判定される。最小値であると判定された判定値に対応する候補領域が被写体の移動した領域であると判定され、選択される。選択された候補領域は、スキャン領域ＳＡとして再設定される。
【００６６】
なお、固定ＡＦ機能を実行させるときには、追尾部３０の中でスキャン領域初期設定部３２のみが駆動され、画素ブロック算出部３１、候補領域設定部３３、画像認識部３４、及びスキャン領域設定部３５の駆動は停止される。
【００６７】
スキャン領域初期設定部３２の駆動により設定されたスキャン領域ＳＡは画像認識部３４及びスキャン領域設定部３５を介してＡＦ調整部２３ａにデータとして送られる。なお、追尾ＡＦ機能と異なり、スキャン領域ＳＡは最初に設定されたスキャン領域ＳＡのまま固定される。
【００６８】
次に、追尾ＡＦ機能を実行するときに追尾部３０において行なわれるスキャン領域ＳＡの設定のために行なわれる処理を図１７〜図１９のフローチャートを用いて説明する。図１７は、スキャン領域ＳＡの設定のために行なわれる処理を説明するためのフローチャートである。図１８は、第１の判定を実行するときの処理を説明するためのフローチャートである。図１９は、第２の判定を実行するときの処理を説明するためのフローチャートである。
【００６９】
追尾ＡＦ機能を実行させるとき、すなわち追尾ＡＦ機能実行に切替えるコマンド入力をした後にレリーズボタンが半押しされたときに本処理が開始される。なお、本処理は、デジタルカメラ１０の電源がＯＦＦに切替えられるか、追尾ＡＦ機能の実行が解除されるまで繰返される。
【００７０】
ステップＳ１００において、スキャン領域の初期設定が行なわれる。操作者によるコマンド入力により定められた撮影画像の枠内の点を中心Ｃとしてスキャン領域ＳＡが設定される。次のステップＳ１０１において、追尾部３０に１フレームの画像データが受信される。
【００７１】
画像データを受信するとステップＳ１０２に進む。ステップＳ１０２では、設定されたスキャン領域ＳＡに基づいて、第１〜第８の候補領域ＣＡ１〜ＣＡ８の設定が行なわれる。次のステップＳ１０３において、ステップＳ１０１で受信した画像データからスキャン領域ＳＡのデータ成分が抽出される。抽出されたデータ成分に基づいて、スキャン領域ＳＡの画素ブロック１２ｂの輝度が２値化される。
【００７２】
スキャン領域ＳＡの輝度の２値化の次に、ステップＳ１０４に進む。ステップＳ１０４では、次のフレームで生成された画像データが追尾部３０に受信される。
【００７３】
次のステップＳ１０５では、ステップＳ１０４で受信した画像データから第１〜第８の候補領域ＣＡ１〜ＣＡ８のデータ成分が抽出される。抽出されたデータ成分に基づいて第１〜第８の候補領域ＣＡ１〜ＣＡ８それぞれの画素ブロック１２ｂの輝度が２値化される。２値化の終了後、ステップＳ１０６に進む。
【００７４】
ステップＳ１０６では、スキャン領域ＳＡにおける２値化された輝度と第１〜第８の候補領域ＣＡ１〜ＣＡ８における２値化された輝度とに基づいて、第１〜第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）が算出される。
【００７５】
次にステップＳ１０７に進み、第１〜第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）により、第１〜第４の粗判定値ＵＵ、ＬＬ、ＤＤ、ＲＲが算出される。
【００７６】
次にステップＳ２００において、第１の判定のサブルーチンが実行されることにより、第２の判定を行なうために用いる３つの判定値が選択される。第１の判定のサブルーチンが終了すると、ステップＳ３００において、第２の判定のサブルーチンが実行される。第２の判定のサブルーチンが実行されることにより、ステップＳ１０２の画像データにおいてスキャン領域ＳＡに含まれる被写体をステップＳ１０４の画像データにおいて含む領域が、第１〜第８の候補領域ＣＡ１〜ＣＡ８の中から選択される。
【００７７】
第２の判定のサブルーチンが終了すると、ステップＳ１０８において選択された候補領域が新たにスキャン領域ＳＡとして設定される。ステップＳ１０８の処理の後は、ステップＳ１０２に戻り、ステップＳ１０２〜ステップＳ１０８の処理が繰返される。
【００７８】
次にステップＳ２００で実行される第１の判定のサブルーチン及びステップＳ３００で実行される第２の判定のサブルーチンについて説明する。ステップＳ２００のサブルーチンが開始すると、先ずステップＳ２０１において第１の粗判定値ＵＵと第３の粗判定値ＤＤのいずれが小さいかが判定される。第１の粗判定値ＵＵが小さいときは、ステップＳ２０２に進む。
【００７９】
ステップＳ２０２では、第１の粗判定値ＵＵと第２の粗判定値ＬＬとのいずれが小さいかが判定される。第１の粗判定値ＵＵが小さいときは、ステップＳ２０３に進む。ステップＳ２０３では、第１の粗判定値ＵＵと第４の粗判定値ＲＲとのいずれが小さいかが判定される。第１の粗判定値ＵＵが小さいときは、ステップＳ２０４に進む。
【００８０】
ステップＳ２０４では、被写体の移動した粗方向が第１の方向であると判定される。第１の粗判定値ＵＵを算出するための第１、第２、第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）が第２の判定を行なうために選択される。第１の判定値Ｕ（ｅｘｏｒ）が第１の確定用判定値Ｎ１に設定される。第２の判定値ＵＬ（ｅｘｏｒ）が第２の確定用判定値Ｎ２に設定される。第８の判定値ＵＲ（ｅｘｏｒ）が第３の確定用判定値Ｎ３に設定される。
【００８１】
ステップＳ２０１において、第３の粗判定値ＤＤが小さいときはステップＳ２０５に進む。ステップＳ２０５では、第３の粗判定値ＤＤと第２の粗判定値ＬＬとのいずれが小さいかが判定される。第３の粗判定値ＤＤが小さいときは、ステップＳ２０６に進む。ステップＳ２０６では、第３の粗判定値ＤＤと第４の粗判定値ＲＲとのいずれが小さいかが判定される。第３の粗判定値ＤＤが小さいときは、ステップＳ２０７に進む。
【００８２】
ステップＳ２０７では、被写体の移動した粗方向が第３の方向であると判定される。第３の粗判定値ＤＤを算出するための第４〜第６の判定値ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）が第２の判定を行なうために選択される。第５の判定値Ｄ（ｅｘｏｒ）が第１の確定用判定値Ｎ１に設定される。第４の判定値ＤＬ（ｅｘｏｒ）が第２の確定用判定値Ｎ２に設定される。第６の判定値ＤＲ（ｅｘｏｒ）が第３の確定用判定値Ｎ３に設定される。
【００８３】
ステップＳ２０２又はステップＳ２０５において第２の粗判定値ＬＬの方が小さいときは、ステップＳ２０８に進む。ステップＳ２０８では、第２の粗判定値ＬＬと第４の粗判定値ＲＲとのいずれが小さいかが判定される。第２の粗判定値ＬＬが小さいときは、ステップＳ２０９に進む。
【００８４】
ステップＳ２０９では、被写体の移動した粗方向が第２の方向であると判定される。第２の粗判定値ＬＬを算出するための第２〜第４の判定値ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）が第２の判定を行なうために選択される。第３の判定値Ｌ（ｅｘｏｒ）が第１の確定用判定値Ｎ１に設定される。第２の判定値ＵＬ（ｅｘｏｒ）が第２の確定用判定値Ｎ２に設定される。第４の判定値ＤＬ（ｅｘｏｒ）が第３の確定用判定値Ｎ３に設定される。
【００８５】
ステップＳ２０３、ステップＳ２０６、又はステップＳ２０８において第４の粗判定値ＲＲの方が小さいときは、ステップＳ２１０に進む。
【００８６】
ステップＳ２１０では、被写体の移動した粗方向が第４の方向であると判定される。第４の粗判定値ＲＲを算出するための第６〜第８の判定値ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）が第２の判定を行なうために選択される。第７の判定値Ｒ（ｅｘｏｒ）が第１の確定用判定値Ｎ１に設定される。第８の判定値ＵＲ（ｅｘｏｒ）が第２の確定用判定値Ｎ２に設定される。第６の判定値ＤＲ（ｅｘｏｒ）が第３の確定用判定値Ｎ３に設定される。
【００８７】
ステップＳ２０４、ステップＳ２０７、ステップＳ２０９、又はステップＳ２１０の処理の後に、第１の判定のサブルーチンは終了し、ステップＳ３００の第２の判定のサブルーチンが開始される。
【００８８】
ステップＳ３００のサブルーチンを開始すると、先ずステップＳ３０１において第１の確定用判定値Ｎ１と第２の確定用判定値Ｎ２とのいずれが小さいかについての判定が行なわれる。第１の確定用判定値Ｎ１の方が小さいときにはステップＳ３０２に進む。
【００８９】
ステップＳ３０２では、第１の確定用判定値と第３の確定用判定値Ｎ３とのいずれが小さいかについての判定が行なわれる。第１の確定用判定値Ｎ１の方が小さいときにはステップＳ３０３に進む。
【００９０】
ステップＳ３０３では、被写体の移動した方向が第１の確定用判定値Ｎ１に設定された判定値に対応する方向と判定される。設定された判定値に対応する候補領域がステップＳ１０８においてスキャン領域に設定される候補領域として選択される。
【００９１】
ステップＳ３０１において、第２の確定用判定値Ｎ２の方が小さいときにはステップＳ３０４に進む。ステップＳ３０４では、第２の確定用判定値Ｎ２と第３の確定用判定値Ｎ３とのいずれが小さいかについての判定が行なわれる。第２の確定用判定値Ｎ２の方が小さいときにはステップＳ３０５に進む。
【００９２】
ステップＳ３０５では、被写体の移動した方向が第２の確定用判定値Ｎ２に設定された判定値に対応する方向にと判定される。設定された判定値に対応する候補領域がステップＳ１０８においてスキャン領域に設定される候補領域として選択される。
【００９３】
ステップＳ３０２又はステップＳ３０４において、第３の確定用判定値Ｎ３の方が小さいときにはステップＳ３０６に進む。
【００９４】
ステップＳ３０６では、被写体の移動した方向が第３の確定用判定値Ｎ３に設定された判定値に対応する方向と判定される。設定された判定値に対応する候補領域がステップＳ１０８においてスキャン領域に設定される候補領域として選択される。
【００９５】
ステップＳ３０３、ステップＳ３０５、又はステップＳ３０６の終了後、第２の判定のサブルーチンは終了し、ステップＳ１０８に進む。
【００９６】
以上のような構成である本実施形態の被写体追尾システムによれば、被写体の誤追尾を低減化することが可能である。従来のようなパターンマッチングでは本実施形態における第１〜第８の判定値だけを比較し、最小の判定値に対応する候補領域を追尾先の領域と判定していた。しかし、実際に移動先でない領域の判定値が偶然に最小となることが起こりえるため、誤追尾が発生することになる。
【００９７】
そこで、本実施形態では、第１〜第８の判定値から算出される第１〜第４の粗判定値に基づいて被写体の移動方向を大まかに判定することにより、被写体の移動先の候補が絞り込まれる。移動先で無い領域の判定値が偶然に最小となることがあっても、粗判定値は実際に被写体の移動した方向が最小となる可能性が高い。従って、大まかな移動方向の判定に詳細な方向の判定を行なうことにより、誤追尾を低減化させ追尾精度を向上させることが可能となる。
【００９８】
なお、本実施形態において、被写体の移動方向が第１〜第８の方向の８方向のいずれであるかを判定する構成であるが、４方向以上の中から判定される構成であってもよい。例えば、９０度ずつ異なる４方向のいずれかを移動方向として判定する構成であれば、第１の判定により隣合う２方向の２組それぞれの合成ベクトルのいずれの方向に移動しているかについての第１の判定を行い、第２の判定において２方向のいずれに移動したかについての第２の判定を行えば良い。
【００９９】
また、本実施形態において、第１の判定により被写体の移動方向が大まかに４方向のいずれかの方向であると判定されるが、前述のように２方向以上であれば、何方向の中から判定されても良い。
【０１００】
また、本実施形態において被写体の移動した粗方向の判定のための粗判定値は、異なる３方向に対応した判定値により算出される構成であるが、粗方向を正方向成分として含む方向であって異なる２方向以上に対応した判定値により算出されれば良い。この場合第２の判定においては、粗判定値を算出した判定値に対応した数の方向の中から、被写体の移動した方向の判定が行なわれる。
【０１０１】
また、本実施形態において、第１〜第８の候補領域ＣＡ１〜ＣＡ８は前のタイミングのフレームの画像データにおけるスキャン領域ＳＡから第１〜第８の方向に１画素ブロック１２ｂずつ移動させた領域であるが、移動させる画素ブロック１２ｂの数はいくつであっても良い。また、移動させる画素ブロック１２ｂの数は、方向に応じて異なっていても良い。ただし、移動させる距離は実質的に同じであることが好ましい。
【０１０２】
また、本実施形態において、スキャン領域ＳＡ及び第１〜第８の候補領域ＣＡ１〜ＣＡ８の形状は十字形であるがどのような形状であっても良い。
【０１０３】
また、本実施形態において、スキャン領域ＳＡ及び第１〜第８の候補領域ＣＡ１〜ＣＡ８における画素ブロック１２ｂの輝度の２値化が行なわれているが、２値化でなくても所定の数によって階層化しても良い。更には、階層化しなくても良い。ただし、２値化を行なうことにより第１、第２の判定を高速化することが可能になる。なお、領域ごとにその平均輝度で正規化することにより、蛍光灯のフリッカ等の影響を軽減させることが可能になる。
【０１０４】
また、本実施形態において、ＥＸＯＲ回路を用いて、スキャン領域ＳＡと第１〜第８の候補領域ＣＡ１〜ＣＡ８における画素ブロック１２ｂの２値化された輝度が一致しているか否かを判定させているが、例えばＥＸＮＯＲ回路を用いて判定を行なわせても良い。また、他のいずれの手段により一致しているか否かの判定を行なっても良い。
【０１０５】
また、本実施形態において、撮像素子１２の有効画素領域ＡＡには画素がマトリックス状に配列される構成であるが、２次元状に配列されていればよい。
【０１０６】
また、本実施形態において、追尾部３０により所望の被写体を追尾させ、追尾している被写体に対してＡＦ機能を実行させる構成であるが、追尾部３０による追尾機能を他の機能に適用することは可能である。例えば、所望の被写体を追尾し、モニタ上に被写体とともに追尾されていることが表示される監視カメラや、移動する被写体を追尾させ、追尾している被写体に対して自動露出補正を行なうカメラなどにも適用可能である。
【図面の簡単な説明】
【０１０７】
【図１】本発明の一実施形態を適用した被写体追尾システムを有するデジタルカメラの内部構成を概略的に示すブロック図である。
【図２】ＤＳＰの内部構成を概略的に示すブロック図である。
【図３】追尾部の内部構成を概略的に示すブロック図である。
【図４】撮像素子の有効画素領域の構成を示す正面図である。
【図５】スキャン領域の形状を説明するための図である。
【図６】スキャン領域に対する第１の候補領域の位置関係を示す図である。
【図７】スキャン領域に対する第２の候補領域の位置関係を示す図である。
【図８】スキャン領域に対する第３の候補領域の位置関係を示す図である。
【図９】スキャン領域に対する第４の候補領域の位置関係を示す図である。
【図１０】スキャン領域に対する第５の候補領域の位置関係を示す図である。
【図１１】スキャン領域に対する第６の候補領域の位置関係を示す図である。
【図１２】スキャン領域に対する第７の候補領域の位置関係を示す図である。
【図１３】スキャン領域に対する第８の候補領域の位置関係を示す図である。
【図１４】スキャン領域の画素ブロック毎の輝度の一例を示す図である。
【図１５】図１４に示すスキャン領域の画素ブロックについての２値化した輝度を示す図である。
【図１６】第１の候補領域の画素ブロック毎の２値化した輝度の一例を示す図である。
【図１７】スキャン領域の設定のために行なわれる処理を説明するためのフローチャートである。
【図１８】第１の判定を実行するときの処理を説明するためのフローチャートである。
【図１９】第２の判定を実行するときの処理を説明するためのフローチャートである。
【符号の説明】
【０１０８】
１０ デジタルカメラ
１２ｂ 画素ブロック
１２ｐ 画素
１３ ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）
２３ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
２３ａ ＡＦ調整部
２３ｃ 制御部
２３ｐ１ 前段データ処理部
３０ 追尾部
３１ 画素ブロック算出部
３２ スキャン領域初期設定部
３３ 候補領域設定部
３４ 画像認識部
３５ スキャン領域設定部
ＡＡ 有効画素領域
Ｃ スキャン領域の中心
ＣＡ１〜ＣＡ８ 第１〜第８の候補領域
ＳＡ スキャン領域
【技術分野】
【０００１】
本発明は、連続的に撮影される撮影画像における特定の被写体の移動を追尾する被写体追尾システムに関する。
【背景技術】
【０００２】
連続的に撮影される撮影画像において、所望の被写体の動きを追尾する画像解析が知られている。このような画像解析は、移動する被写体の動きを追尾させながらオートフォーカスを行なうために用いられる。また、監視カメラなどにおいて、特定の人物などを追尾するためにも用いられる。
【０００３】
従来の被写体追尾の画像解析について簡単に説明する。まず、撮影する画像の枠内における特定の領域が追尾領域として初期設定される。画像解析が始まると、あるタイミングの追尾領域の画像と次のタイミングにおける追尾領域の周囲の複数の画像とのパターンマッチングが行なわれる。パターンマッチングにより、追尾領域の画像と最も一致性の高い画像を含む領域が追尾領域として再設定される。以後、これを繰返すことにより、追尾領域に含まれる被写体が追尾される。
【０００４】
前述の追尾方法では、パターンマッチングを行い一致性の高い画像を含む領域を被写体の移動した領域とみなしている。従って、実際に被写体が移動した領域に含まれる画像が最も一致性の高い画像とならない場合がある。
【０００５】
例えば、前述のように移動する被写体に対して合焦させるオートフォーカス機能を有するカメラなどに被写体追尾機能が適用されることがあるが、手振れにより追尾領域の画像と周囲の画像すべてとの一致性が同じように高くなることがある。また、追尾領域に含まれる画像のコントラストが低い場合にもパターンマッチングにより一致性の比較が困難となる。結果として、所望の被写体の誤追尾を起こすことが問題であった。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
したがって、本発明では移動する被写体の誤追尾を低減化した被写体追尾システムの提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の被写体追尾システムは、連続的に撮像される撮影画像内における特定の被写体である追尾対象体の移動を追尾する被写体追尾システムであって、撮影画像における定められた一部の領域を追尾対象体を追尾するための追尾領域に初期設定する初期設定部と、追尾領域から第１の粗方向を正方向成分として有する第１、第２の方向に移動した領域である第１、第２の候補領域を設定し第１の粗方向とは異なる第２の粗方向を正方向成分として有する第３、第４の方向に追尾部から移動した領域である第３、第４の候補領域を設定する候補領域設定部と、第１のタイミングで撮像された撮影画像における追尾領域の画像である基準画像を検出し第１のタイミングの後の第２のタイミングで撮像された撮影画像における前記第１〜第４の候補領域の画像である第１〜第４の候補画像を検出する画像検出部と、基準画像と第１〜第４の候補画像それぞれとの一致性に基づいて、第１のタイミングから第２のタイミングにおける追尾対象体の移動方向が第１の粗方向と第２の粗方向とのいずれであるかを判定する第１の判定部と、追尾対象体の移動方向として判定された粗方向が第１の粗方向であるときに基準画像と第１、第２の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第１、第２の方向のいずれであるかを判定し追尾対象体の移動方向として判定された粗方向が第２の粗方向であるときに基準画像と第３、第４の候補画像それぞれの一致性に基づいて追尾対象体の移動方向が前記第３、第４の方向のいずれであるかを判定する第２の判定部と、第２の判定部に追尾対象体の移動方向として判定された方向に移動した候補領域を追尾領域として再設定する再設定部とを備えることを特徴としている。
【０００８】
さらに、第１の判定部は２つの画像の一致性に応じた判定値を算出し、基準画像と第１、第２の候補画像それぞれの判定値の和と基準画像と第３、第４の候補画像それぞれの判定値の和とを比較することにより、追尾対象体の移動方向が第１、第２の粗方向のいずれであるかを判定することが好ましい。
【０００９】
また、第２の判定部は２つの画像の一致性に応じた判定値を算出し、基準画像と第１、第２の候補画像それぞれの判定値を比較することにより追尾対象体の移動方向が第１、第２の方向のいずれであるかの判定又は基準画像と第３、第４の候補画像それぞれの判定値を比較することにより追尾対象体の移動方向が前記第３、第４の方向のいずれであるかの判定を行なうことが好ましい。
【００１０】
また、追尾領域から第１〜第４の候補領域それぞれまでの距離は実質的に等しいことが好ましい。
【００１１】
また、候補領域設定部は第１、第２の粗方向とは異なる第３の粗方向を正方向成分として有する第５、第６の方向に追尾領域から移動した領域である第５、第６の候補領域を設定し、画像検出部は第２のタイミングで撮像された撮影画像における第５、第６の候補領域の画像である第５、第６の候補画像を検出する画像検出部と、第１の判定部は基準画像と第１〜第６の候補画像それぞれとの一致性に基づいて第１のタイミングから第２のタイミングにおける追尾対象体の移動方向が第１〜第３の粗方向のいずれの粗方向であるかを判定し、第２の判定部は追尾対象体の移動方向として判定された粗方向が第３の粗方向であるときに基準画像と第５、第６の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第５、第６の方向いずれであるかを判定することが好ましい。
【００１２】
また、第１の粗方向と第３の粗方向は互いに逆向きであり第１の粗方向と第２の粗方向は互いに垂直であり第１の粗方向と第１の方向とは同じ方向であり第２の粗方向と第３の方向とは同じ方向であり第３の粗方向と第５の方向とは同じ方向であり第２の方向は第２の粗方向を正方向成分として含み第４の方向は第３の粗方向を正方向成分として含み、候補領域設定部は追尾領域から第３の方向の逆向きの方向である第７の方向及び第７の方向と第１の方向とを正方向成分として含む第８の方向に移動した領域である第７、第８の領域である第７、第８の候補領域を設定し、画像検出部は第２のタイミングで撮像された撮影画像における第７、第８の候補領域の画像である第７、第８の候補画像を検出する画像検出部と、第１の判定部は基準画像と第１〜第８の候補画像それぞれとの一致性に基づいて第１のタイミングから第２のタイミングにおける追尾対象体の移動方向が第１、第３、第５、第７の方向のいずれの方向であるかを判定し、第２の判定部は追尾対象体の移動方向として判定された方向が第１の方向であるときに基準画像と第１、第２、第８の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第１、第２、第６の方向のいずれであるかを判定し追尾対象体の移動方向として判定された方向が第３の方向であるときに基準画像と第２〜第４の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第２〜第４の方向のいずれであるかを判定し追尾対象体の移動方向として判定された方向が第５の方向であるときに基準画像と第４〜第６の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第４〜第６の方向のいずれであるかを判定し、追尾対象体の移動方向として判定された方向が第７の方向であるときに基準画像と第６〜第８の候補画像それぞれとの一致性に基づいて追尾対象体の移動方向が第６〜第８の方向のいずれであるかを判定することが好ましい。
【発明の効果】
【００１３】
本発明によれば、移動する被写体の追尾の精度を向上させることが可能である。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した被写体追尾システムを有するデジタルカメラの内部構成を概略的に示すブロック図である。
【００１５】
デジタルカメラ１０は、撮影光学系１１、撮像素子１２、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１３、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２３、操作入力部１４、及びレンズ駆動部１５等によって構成される。
【００１６】
撮影光学系１１は、撮像素子１２に光学的に接続される。撮影光学系１１を透過する被写体の光学像が撮像素子１２の受光面に入射される。撮像素子１２は、例えばＣＣＤである。受光面において被写体の光学像が受光されることにより、光学像に相当する画像信号が生成される。
【００１７】
撮影光学系１１は、フォーカスレンズ（図示せず）やズームレンズ（図示せず）などの複数のレンズにより構成される。フォーカスレンズ及びズームレンズは光軸方向に移動自在である。フォーカスレンズを移動させることにより被写体像を撮像素子１２の受光面に結像させることが出来る。ズームレンズをフォーカスレンズに対して相対的に移動させることにより撮影光学系１１の焦点距離を調整可能である。
【００１８】
フォーカスレンズ及びズームレンズは、操作者により手動で光軸方向に移動させることが可能である。或いは、フォーカスレンズ及びズームレンズはレンズ駆動部１５によって駆動され、移動させることも可能である。特に、フォーカスレンズを移動させることによる合焦位置調整は、後述するようにオートフォーカス（ＡＦ）機能を実行することにより自動的に行わせることが可能である。
【００１９】
撮影光学系１１と撮像素子１２の間には、絞り１６とシャッタ１７とが配置される。絞り１６の開度を調整することにより、撮像素子１２の受光面に入射する光の照度が調整される。シャッタ１７の開閉により被写体光束の通過と遮光が切替えられる。絞り１６は絞り駆動部１８によって駆動され、開度調整が行なわれる。シャッタ１７はシャッタ駆動部１９によって駆動され、開閉が実行される。
【００２０】
なお、レンズ駆動部１５、絞り駆動部１８、及びシャッタ駆動部１９は、ＤＳＰ２３に接続され、それぞれの動作は、ＤＳＰ２３によって制御される。
【００２１】
撮像素子１２は、ＡＦＥ１３を介してＤＳＰ２３に接続される。ＤＳＰ２３からＡＦＥ１３にクロック信号が出力される。ＡＦＥ１３は、クロック信号に基づいてフレーム信号及び撮像素子駆動信号を生成する。撮像素子駆動信号は撮像素子１２に送信される。撮像素子１２は、撮像素子駆動信号に基づいて画像信号を生成する。
【００２２】
なお、撮像素子１２の受光面には、マトリックス状に画素が配列される。例えば、有効画素領域にはｍ×ｎに等分割された位置それぞれに画素が配列される。各画素における受光量に応じて画素信号が生成される。画像信号は、有効画素領域における複数の画素が生成する複数の画素信号によって形成される。
【００２３】
生成した画像信号はＡＦＥ１３に送信される。画像信号はＡＦＥ１３において相関二重サンプリング、ゲイン調整、及びＡ／Ｄ変換が施され、画像データに変換される。画像データはＤＳＰ２３に送信される。
【００２４】
ＤＳＰ２３には、信号処理の作業用のメモリであるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０が接続される。ＤＳＰ２３に送信された画像データは、ＤＲＡＭ２０に一時格納される。ＤＳＰ２３により、ＤＲＡＭ２０に格納された画像データに対して所定のデータ処理が施される。
【００２５】
ＤＳＰ２３には、液晶モニタ２１が接続される。所定のデータ処理が施された画像データは、液晶モニタ２１に送信される。送信された画像データに相当する画像が液晶モニタ２１に表示可能である。
【００２６】
また、ＤＳＰ２３には、外部カードインターフェース２２が接続される。後述するレリーズ動作を実行するときに、所定の信号処理の施された画像データは外部カードインターフェース２２に接続される外部メモリ（図示せず）に格納される。
【００２７】
また、ＤＳＰ２３には、デジタルカメラ１０を操作するためのコマンド入力を行なうための操作入力部１４が接続される。操作入力部１４は、レリーズボタン（図示せず）、多機能十字キー（図示せず）、電源ボタン（図示せず）などによって構成される。操作者による操作入力部１４へのコマンド入力に応じて、ＤＳＰ２３はデジタルカメラ１０の各部位に必要な動作を行なわせる。
【００２８】
例えば、レリーズボタンを半押しすることにより第１のスイッチ（図示せず）がＯＮに切替わり、露出調整及び合焦位置調整が行われる。すなわち、露出調整において絞り１６の開度、シャッタスピード調整、及びＤＳＰ２３におけるゲイン調整が行なわれる。合焦位置調整において、後述するように所望の被写体光束を撮像素子１２の受光面に結像させるように、フォーカスレンズ（図示せず）が駆動される。
【００２９】
また、レリーズボタンを全押しすることにより第２のスイッチ（図示せず）がＯＮに切替わりシャッタ１７の開閉、静止画像の撮像を行なうように撮像素子１２が駆動される。
【００３０】
ＤＳＰ２３の内部構成について、図２を用いてさらに詳細に説明する。図２は、ＤＳＰ２３の内部構成を概略的に示すブロック図である。ＤＳＰ２３には、前段データ処理部２３ｐ１、後段データ処理部２３ｐ２、追尾部３０（被写体追尾システム）、ＡＦ調整部２３ａ、及び制御部２３ｃによって構成される。
【００３１】
前段データ処理部２３ｐ１には、ＡＦＥ１３から画像データが送信される。前段データ処理部２３ｐ１によって画像データはＤＲＡＭ２０に格納される。また、画像データに対して、色補間処理、ホワイトバランス処理、及び輝度信号生成処理等の所定のデータ処理が施される。また、所定のデータ処理の施された画像データは、後段データ処理部２３ｐ２に送信される。
【００３２】
後段データ処理部２３ｐ２においても、画像データに対してクランプ処理やブランキング処理等の所定のデータ処理が施される。後段データ処理部２３ｐ２において所定のデータ処理を施した画像データは液晶モニタ２１及び外部カードインターフェース２２を介して外部メモリに送信される。
【００３３】
追尾部３０及びＡＦ調整部２３ａにも、前段データ処理部２３ｐ１から画像データが送信される。送信された画像データに基づいて、追尾部３０及びＡＦ調整部２３ａにより、所望の被写体を撮像素子１２の受光面に結像させるためのフォーカスレンズの駆動位置が求められる。
【００３４】
更に説明すると、追尾部３０により、撮影画像全体の中の何処かの領域がスキャン領域（追尾領域）に設定される。なお、スキャン領域とは、受光面に合焦させる所望の被写体を含ませるための領域である。所望の被写体である追尾対象体が撮影画像の中で移動する場合には、移動する領域を連続的にスキャン領域に設定することにより、追尾対象体を追尾することが可能である。
【００３５】
ＡＦ調整部２３ａにより、スキャン領域に含まれる被写体を受光面に結像させるためのフォーカスレンズの駆動位置が求められる。なお、フォーカスレンズの駆動位置は、コントラスト方式、すなわち、フォーカスレンズを移動させながらスキャン領域のコントラストを検出し、コントラストを最大にさせるフォーカスレンズの位置をフォーカスレンズ駆動位置として求める方式に基づいて、実行される。なお、フォーカスレンズの駆動位置は、従来公知のいかなるＡＦ動作により求められても良い。例えば、公知の位相差方式によって焦点検出を行なわせる構成と組合わせても良い。
【００３６】
なお、デジタルカメラ１０には、撮影画像全体の中の特定の位置の被写体を合焦させる固定ＡＦ機能と撮影画像の中で移動中の被写体を合焦させる追尾ＡＦ機能とが設けられる。いずれかのＡＦ機能を実行させるかは、操作入力部１４に対するコマンド入力により選択可能である。
【００３７】
制御部２３ｃには、操作入力部１４からコマンド入力に応じた入力信号が送信される。受信した入力信号に応じて、前段データ処理部２３ｐ１、後段データ処理部２３ｐ２、追尾部３０、及びＡＦ調整部２３ａの動作の制御及びデジタルカメラ１０の各部位の制御が、制御部２３ｃによって実行される。
【００３８】
例えば、前述の露出調整を行うときに、絞り駆動部１８による絞り１６の駆動は、制御部２３ｃに制御される。また、シャッタ１７の開閉を行うときに、シャッタ駆動部１９によるシャッタ１７の開閉は、制御部２３ｃにより制御される。
【００３９】
また、合焦位置調整を行うときに、レンズ駆動部１５によるフォーカスレンズの駆動は、制御部２３ｃにより制御される。制御部２３ｃには、ＡＦ調整部２３ａが求めたフォーカスレンズの駆動位置に相当するレンズ位置信号が送信される。制御部２３ｃによるレンズ駆動部１５の制御は、レンズ位置信号に基づいて実行される。
【００４０】
次に、追尾部３０の構成及び動作について、図３〜図５を用いて詳細に説明する。図３は、追尾部３０の内部構成を概略的に示すブロック図である。追尾部３０は、画素ブロック算出部３１、スキャン領域初期設定部３２、候補領域設定部３３、画像認識部３４、及びスキャン領域設定部３５によって構成される。なお、各部位の動作は制御部２３ｃにより制御される。
【００４１】
追尾ＡＦ機能を実行するときには、前段データ処理部２３ｐ１から有効画素領域の各画素の輝度がデータとして、画素ブロック算出部３１に入力される。画素ブロック算出部３１では、追尾の処理を容易にするために画素ブロックの輝度が計算される。
【００４２】
画素ブロック１２ｂとは、図４に示すように、有効画素領域ＡＡを例えば２０×２０に等分割した領域であって、互いに隣合う複数の画素、例えば１０×１０個の画素１２ｐによって形成される。画素ブロック１２ｂの輝度は、画素ブロック１２ｂを形成する画素１２ｐの輝度の平均値を算出することにより求められる。画素ブロック１２ｂの輝度はデータとして画像認識部３４に送られる。
【００４３】
また、ＡＦ機能を実行するときには、スキャン領域初期設定部３２により撮像素子１２の有効画素領域ＡＡの中心がスキャン領域の中心に定められる。中心の位置が定められることによりスキャン領域の初期設定が行なわれる。
【００４４】
図５に示すように、スキャン領域ＳＡは、領域の中心Ｃから上下に６行４列に並んだ画素ブロック１２ｂと中心Ｃから左右に４行６列に並んだ画素ブロック１２ｂとによって形成される。
【００４５】
なお、有効画素領域ＡＡには縦方向と横方向に延びる２つの画素ブロック１２ｂの境界線があるが、その交点のいずれかをスキャン領域ＳＡの中心Ｃに定め、任意の位置にスキャン領域ＳＡを設定可能である。スキャン領域ＳＡの設定は操作入力部１４に対するコマンド入力により行われる。
【００４６】
初期設定されたスキャン領域ＳＡがデータとして、候補領域設定部３３に送信される。候補領域設定部３３では、スキャン領域ＳＡから周囲の８方向に移動させたスキャン領域ＳＡと同じ形態の領域が候補領域に設定される。
【００４７】
候補領域として設定するためのスキャン領域からの方向は、第１〜第８の方向が定められている。図５において、上下左右の４方向がそれぞれ第１、第５、第３、第７の方向に定められる。また、図５において、左上方向、左下方向、右下方向、右上方向がそれぞれ第２、第４、第６、第８の方向に定められる。
【００４８】
スキャン領域ＳＡから第１の方向に画素ブロック１２ｂ一つ分移動させた領域が第１の候補領域ＣＡ１に設定される（図６参照）。スキャン領域ＳＡから第２の方向に画素ブロック１２ｂ一つ分移動させた領域が第２の候補領域ＣＡ２に設定される（図７参照）。スキャン領域ＳＡから第３の方向に画素ブロック１２ｂ一つ分移動させた領域が第３の候補領域ＣＡ３に設定される（図８参照）。スキャン領域ＳＡから第４の方向に画素ブロック１２ｂ一つ分移動させた領域が第４の候補領域ＣＡ４に設定される（図９参照）。スキャン領域ＳＡから第５の方向に画素ブロック１２ｂ一つ分移動させた領域が第５の候補領域ＣＡ５に設定される（図１０参照）。スキャン領域ＳＡから第６の方向に画素ブロック１２ｂ一つ分移動させた領域が第６の候補領域ＣＡ６に設定される（図１１参照）。スキャン領域ＳＡから第７の方向に画素ブロック１２ｂ一つ分移動させた領域が第７の候補領域ＣＡ７に設定される（図１２参照）。スキャン領域ＳＡから第８の方向に画素ブロック１２ｂ一つ分移動させた領域が第８の候補領域ＣＡ８に設定される（図１３参照）。
【００４９】
設定された第１〜第８の候補領域ＣＡ１〜ＣＡ８がデータとして、画像認識部３４に送信される。また、スキャン領域初期設定部３２に初期設定されたスキャン領域ＳＡがデータとして、画像認識部３４にも送信される。さらに、画像認識部３４には、ＡＦＥ１３から画像データが送られる。
【００５０】
画像認識部３４では、各フレームの画像データの中からスキャン領域ＳＡ及び第１〜第８の候補領域ＣＡ１〜ＣＡ８における画像に相当するデータ成分が抽出される。なお、抽出されるデータ成分は、各領域を形成する画素ブロック１２ｂの輝度に相当する。
【００５１】
例えば、第１のタイミングで送られる画像データにおけるスキャン領域ＳＡでは図１４に示すように、左から右、上から下の画素ブロック１２ｂの順番に、１２０、３０、６０、５５、７０、１１０、１００、７０、４０、１０５、４０、８５、９５、６５、２５、４０、１５０、１２０、６０、３０、２５、４５、１００、１２０、１１０、９５、８０、５０、９０、７５、８０、２０が輝度として抽出される。
【００５２】
抽出されたデータ成分に基づいて、スキャン領域ＳＡ及び第１〜第８の候補領域ＣＡ１〜ＣＡ８における各画素ブロック１２ｂの輝度の２値化が行なわれる。すなわち、各領域に含まれる複数の画素ブロック１２ｂにおける輝度の平均値が求められ、平均値より大きな輝度である画素ブロック１２ｂの輝度は１に変換され、平均値より小さな輝度である画素ブロック１２ｂの輝度は０に変換される。
【００５３】
図１４に示したスキャン領域の輝度の平均値は７３．７５であり、それぞれの画素ブロック１２ｂの輝度は２値化により図１５に示すように、左から右、上から下の画素ブロック１２ｂの順番に１、０、０、０、０、１、１、０、０、１、０、１、１、０、０、０、１、１、０、０、０、０、１、１、１、１、１、０、１、１、１、０に変換される。
【００５４】
２値化された各画素ブロック１２ｂの輝度はデータとして、領域毎にスキャン領域設定部３５に送られる。スキャン領域設定部３５では、スキャン領域ＳＡに含まれる被写体が次のタイミングの撮像により生成される画像データにおいて、第１〜第８の候補領域ＣＡ１〜ＣＡ８のいずれに移動したかが推測される。なお、この推測は、スキャン領域における各画素ブロック１２ｂの２値化された輝度と次のタイミングの画像データの第１〜第８の候補領域ＣＡ１〜ＣＡ８それぞれにおける各画素ブロック１２ｂの２値化された輝度とに基づいて行なわれる。
【００５５】
第１〜第８の候補領域ＣＡ１〜ＣＡ８の中からの選択は、第１〜第８の判定値の算出、第１の判定、及び第２の判定によって行なわれる。それぞれの動作について以下に詳細に説明する。
【００５６】
第１〜第８の判定値とは、スキャン領域ＳＡの画像と第１〜第８の候補領域ＣＡ１〜ＣＡ８それぞれの画像との一致性を示す計算値である。第１〜第８の判定値は、スキャン領域ＳＡ内と第１〜第８の候補領域ＣＡ１〜ＣＡ８内において相対的に同じ位置にある画素ブロック１２ｂにおける２値化された輝度を比較し、不一致となる画素ブロック１２ｂの個数を数えることにより算出される。従って、第１〜第８の判定値が低い程、スキャン領域ＳＡの画像との一致性が高いと推測される。
【００５７】
スキャン領域設定部３５はＥＸＯＲ回路（図示せず）を有しており、両画素ブロック１２ｂにおける２値化された輝度がＥＸＯＲ回路に入力される。両画素ブロック１２ｂにおける２値化された輝度が一致するときには０が返され、２値化された輝度が異なるときには１が返される。
【００５８】
例えば、第１の候補領域ＣＡ１における２値化された輝度は、図１６に示すような値を有している。スキャン領域ＳＡ内と第１の候補領域ＣＡ１内の相対的位置が同じ画素ブロック１２ｂすべてに対して、２値化された輝度がＥＸＯＲ回路に入力されると、左から右、上からの下の画素ブロック１２ｂの順番に１、０、０、１、１、０、０、１、０、１、１、０、０、０、０、１、０、１、０、１、０、０、０、０、１、０、０、０、１、０、０、０の値が出力される。スキャン領域ＳＡと第１の候補領域ＣＡ１との比較において、ＥＸＯＲ回路から１の値が出力された回数が第１の判定値Ｕ（ｅｘｏｒ）として数えられる。
【００５９】
同様に、スキャン領域ＳＡと第２の候補領域ＣＡ２との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第２の判定値ＵＬ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第３の候補領域ＣＡ３との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第３の判定値Ｌ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第４の候補領域ＣＡ４との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第４の判定値ＤＬ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第５の候補領域ＣＡ５との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数外第５の判定値Ｄ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第６の候補領域ＣＡ６との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第６の判定値ＤＲ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第７の候補領域ＣＡ７との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第７の判定値Ｒ（ｅｘｏｒ）として数えられる。同様に、スキャン領域ＳＡと第８の候補領域ＣＡ８との比較が行なわれ、ＥＸＯＲ回路から１の値が出力された回数が第８の判定値ＵＲ（ｅｘｏｒ）として数えられる。
【００６０】
第１〜第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）が求められると、次に第１の判定が行なわれる。
【００６１】
第１の判定では、被写体の大まかな移動方向である粗方向が第１、第３、第５、第７の方向の中のいずれであるかの判定が行なわれる。先ず、粗方向の判定のために第１〜第４の粗判定値が算出される。
【００６２】
第１、第２、第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）の合計値が、第１の粗判定値ＵＵとして算出される。また、第２〜第４の判定値ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）の合計値が、第２の粗判定値ＬＬとして算出される。また、第４〜第６の判定値ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）の合計値が第３の粗判定値ＤＤとして算出される。また、第６〜第８の判定値ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）の合計値が第４の粗判定値ＲＲとして算出される。
【００６３】
第１〜第４の粗判定値ＵＵ、ＬＬ、ＤＤ、ＲＲの中の最小値が判定される。最小値となる粗判定値に対応する方向が、被写体の移動した粗方向であると判定される。第１〜第４の粗判定値に対応する方向は、それぞれ第１、第３、第５、第７の方向である。
【００６４】
第２の判定においては、第１の判定により判定された粗方向を正方向成分として含む方向の中から、被写体が移動した方向の判定が行なわれる。すなわち、第１の粗判定値ＵＵが最小であるときは、被写体の移動方向は第１、第２、第８の方向のいずれかの方向であると判定される。第２の粗判定値ＬＬが最小であるときは、被写体の移動方向は第２〜第４の方向いずれかの方向であると判定される。第３の粗判定値ＤＤが最小であるときは、被写体の移動方向は第４〜第６の方向いずれかの方向であると判定される。第４の粗判定値ＲＲが最小であるときは、被写体の移動方向は第６〜第８の方向いずれかの方向であると判定される。
【００６５】
具体的には、選択された粗方向に含まれる３方向に対応する３つの判定値の最小値が判定される。最小値であると判定された判定値に対応する候補領域が被写体の移動した領域であると判定され、選択される。選択された候補領域は、スキャン領域ＳＡとして再設定される。
【００６６】
なお、固定ＡＦ機能を実行させるときには、追尾部３０の中でスキャン領域初期設定部３２のみが駆動され、画素ブロック算出部３１、候補領域設定部３３、画像認識部３４、及びスキャン領域設定部３５の駆動は停止される。
【００６７】
スキャン領域初期設定部３２の駆動により設定されたスキャン領域ＳＡは画像認識部３４及びスキャン領域設定部３５を介してＡＦ調整部２３ａにデータとして送られる。なお、追尾ＡＦ機能と異なり、スキャン領域ＳＡは最初に設定されたスキャン領域ＳＡのまま固定される。
【００６８】
次に、追尾ＡＦ機能を実行するときに追尾部３０において行なわれるスキャン領域ＳＡの設定のために行なわれる処理を図１７〜図１９のフローチャートを用いて説明する。図１７は、スキャン領域ＳＡの設定のために行なわれる処理を説明するためのフローチャートである。図１８は、第１の判定を実行するときの処理を説明するためのフローチャートである。図１９は、第２の判定を実行するときの処理を説明するためのフローチャートである。
【００６９】
追尾ＡＦ機能を実行させるとき、すなわち追尾ＡＦ機能実行に切替えるコマンド入力をした後にレリーズボタンが半押しされたときに本処理が開始される。なお、本処理は、デジタルカメラ１０の電源がＯＦＦに切替えられるか、追尾ＡＦ機能の実行が解除されるまで繰返される。
【００７０】
ステップＳ１００において、スキャン領域の初期設定が行なわれる。操作者によるコマンド入力により定められた撮影画像の枠内の点を中心Ｃとしてスキャン領域ＳＡが設定される。次のステップＳ１０１において、追尾部３０に１フレームの画像データが受信される。
【００７１】
画像データを受信するとステップＳ１０２に進む。ステップＳ１０２では、設定されたスキャン領域ＳＡに基づいて、第１〜第８の候補領域ＣＡ１〜ＣＡ８の設定が行なわれる。次のステップＳ１０３において、ステップＳ１０１で受信した画像データからスキャン領域ＳＡのデータ成分が抽出される。抽出されたデータ成分に基づいて、スキャン領域ＳＡの画素ブロック１２ｂの輝度が２値化される。
【００７２】
スキャン領域ＳＡの輝度の２値化の次に、ステップＳ１０４に進む。ステップＳ１０４では、次のフレームで生成された画像データが追尾部３０に受信される。
【００７３】
次のステップＳ１０５では、ステップＳ１０４で受信した画像データから第１〜第８の候補領域ＣＡ１〜ＣＡ８のデータ成分が抽出される。抽出されたデータ成分に基づいて第１〜第８の候補領域ＣＡ１〜ＣＡ８それぞれの画素ブロック１２ｂの輝度が２値化される。２値化の終了後、ステップＳ１０６に進む。
【００７４】
ステップＳ１０６では、スキャン領域ＳＡにおける２値化された輝度と第１〜第８の候補領域ＣＡ１〜ＣＡ８における２値化された輝度とに基づいて、第１〜第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）が算出される。
【００７５】
次にステップＳ１０７に進み、第１〜第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）により、第１〜第４の粗判定値ＵＵ、ＬＬ、ＤＤ、ＲＲが算出される。
【００７６】
次にステップＳ２００において、第１の判定のサブルーチンが実行されることにより、第２の判定を行なうために用いる３つの判定値が選択される。第１の判定のサブルーチンが終了すると、ステップＳ３００において、第２の判定のサブルーチンが実行される。第２の判定のサブルーチンが実行されることにより、ステップＳ１０２の画像データにおいてスキャン領域ＳＡに含まれる被写体をステップＳ１０４の画像データにおいて含む領域が、第１〜第８の候補領域ＣＡ１〜ＣＡ８の中から選択される。
【００７７】
第２の判定のサブルーチンが終了すると、ステップＳ１０８において選択された候補領域が新たにスキャン領域ＳＡとして設定される。ステップＳ１０８の処理の後は、ステップＳ１０２に戻り、ステップＳ１０２〜ステップＳ１０８の処理が繰返される。
【００７８】
次にステップＳ２００で実行される第１の判定のサブルーチン及びステップＳ３００で実行される第２の判定のサブルーチンについて説明する。ステップＳ２００のサブルーチンが開始すると、先ずステップＳ２０１において第１の粗判定値ＵＵと第３の粗判定値ＤＤのいずれが小さいかが判定される。第１の粗判定値ＵＵが小さいときは、ステップＳ２０２に進む。
【００７９】
ステップＳ２０２では、第１の粗判定値ＵＵと第２の粗判定値ＬＬとのいずれが小さいかが判定される。第１の粗判定値ＵＵが小さいときは、ステップＳ２０３に進む。ステップＳ２０３では、第１の粗判定値ＵＵと第４の粗判定値ＲＲとのいずれが小さいかが判定される。第１の粗判定値ＵＵが小さいときは、ステップＳ２０４に進む。
【００８０】
ステップＳ２０４では、被写体の移動した粗方向が第１の方向であると判定される。第１の粗判定値ＵＵを算出するための第１、第２、第８の判定値Ｕ（ｅｘｏｒ）、ＵＬ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）が第２の判定を行なうために選択される。第１の判定値Ｕ（ｅｘｏｒ）が第１の確定用判定値Ｎ１に設定される。第２の判定値ＵＬ（ｅｘｏｒ）が第２の確定用判定値Ｎ２に設定される。第８の判定値ＵＲ（ｅｘｏｒ）が第３の確定用判定値Ｎ３に設定される。
【００８１】
ステップＳ２０１において、第３の粗判定値ＤＤが小さいときはステップＳ２０５に進む。ステップＳ２０５では、第３の粗判定値ＤＤと第２の粗判定値ＬＬとのいずれが小さいかが判定される。第３の粗判定値ＤＤが小さいときは、ステップＳ２０６に進む。ステップＳ２０６では、第３の粗判定値ＤＤと第４の粗判定値ＲＲとのいずれが小さいかが判定される。第３の粗判定値ＤＤが小さいときは、ステップＳ２０７に進む。
【００８２】
ステップＳ２０７では、被写体の移動した粗方向が第３の方向であると判定される。第３の粗判定値ＤＤを算出するための第４〜第６の判定値ＤＬ（ｅｘｏｒ）、Ｄ（ｅｘｏｒ）、ＤＲ（ｅｘｏｒ）が第２の判定を行なうために選択される。第５の判定値Ｄ（ｅｘｏｒ）が第１の確定用判定値Ｎ１に設定される。第４の判定値ＤＬ（ｅｘｏｒ）が第２の確定用判定値Ｎ２に設定される。第６の判定値ＤＲ（ｅｘｏｒ）が第３の確定用判定値Ｎ３に設定される。
【００８３】
ステップＳ２０２又はステップＳ２０５において第２の粗判定値ＬＬの方が小さいときは、ステップＳ２０８に進む。ステップＳ２０８では、第２の粗判定値ＬＬと第４の粗判定値ＲＲとのいずれが小さいかが判定される。第２の粗判定値ＬＬが小さいときは、ステップＳ２０９に進む。
【００８４】
ステップＳ２０９では、被写体の移動した粗方向が第２の方向であると判定される。第２の粗判定値ＬＬを算出するための第２〜第４の判定値ＵＬ（ｅｘｏｒ）、Ｌ（ｅｘｏｒ）、ＤＬ（ｅｘｏｒ）が第２の判定を行なうために選択される。第３の判定値Ｌ（ｅｘｏｒ）が第１の確定用判定値Ｎ１に設定される。第２の判定値ＵＬ（ｅｘｏｒ）が第２の確定用判定値Ｎ２に設定される。第４の判定値ＤＬ（ｅｘｏｒ）が第３の確定用判定値Ｎ３に設定される。
【００８５】
ステップＳ２０３、ステップＳ２０６、又はステップＳ２０８において第４の粗判定値ＲＲの方が小さいときは、ステップＳ２１０に進む。
【００８６】
ステップＳ２１０では、被写体の移動した粗方向が第４の方向であると判定される。第４の粗判定値ＲＲを算出するための第６〜第８の判定値ＤＲ（ｅｘｏｒ）、Ｒ（ｅｘｏｒ）、ＵＲ（ｅｘｏｒ）が第２の判定を行なうために選択される。第７の判定値Ｒ（ｅｘｏｒ）が第１の確定用判定値Ｎ１に設定される。第８の判定値ＵＲ（ｅｘｏｒ）が第２の確定用判定値Ｎ２に設定される。第６の判定値ＤＲ（ｅｘｏｒ）が第３の確定用判定値Ｎ３に設定される。
【００８７】
ステップＳ２０４、ステップＳ２０７、ステップＳ２０９、又はステップＳ２１０の処理の後に、第１の判定のサブルーチンは終了し、ステップＳ３００の第２の判定のサブルーチンが開始される。
【００８８】
ステップＳ３００のサブルーチンを開始すると、先ずステップＳ３０１において第１の確定用判定値Ｎ１と第２の確定用判定値Ｎ２とのいずれが小さいかについての判定が行なわれる。第１の確定用判定値Ｎ１の方が小さいときにはステップＳ３０２に進む。
【００８９】
ステップＳ３０２では、第１の確定用判定値と第３の確定用判定値Ｎ３とのいずれが小さいかについての判定が行なわれる。第１の確定用判定値Ｎ１の方が小さいときにはステップＳ３０３に進む。
【００９０】
ステップＳ３０３では、被写体の移動した方向が第１の確定用判定値Ｎ１に設定された判定値に対応する方向と判定される。設定された判定値に対応する候補領域がステップＳ１０８においてスキャン領域に設定される候補領域として選択される。
【００９１】
ステップＳ３０１において、第２の確定用判定値Ｎ２の方が小さいときにはステップＳ３０４に進む。ステップＳ３０４では、第２の確定用判定値Ｎ２と第３の確定用判定値Ｎ３とのいずれが小さいかについての判定が行なわれる。第２の確定用判定値Ｎ２の方が小さいときにはステップＳ３０５に進む。
【００９２】
ステップＳ３０５では、被写体の移動した方向が第２の確定用判定値Ｎ２に設定された判定値に対応する方向にと判定される。設定された判定値に対応する候補領域がステップＳ１０８においてスキャン領域に設定される候補領域として選択される。
【００９３】
ステップＳ３０２又はステップＳ３０４において、第３の確定用判定値Ｎ３の方が小さいときにはステップＳ３０６に進む。
【００９４】
ステップＳ３０６では、被写体の移動した方向が第３の確定用判定値Ｎ３に設定された判定値に対応する方向と判定される。設定された判定値に対応する候補領域がステップＳ１０８においてスキャン領域に設定される候補領域として選択される。
【００９５】
ステップＳ３０３、ステップＳ３０５、又はステップＳ３０６の終了後、第２の判定のサブルーチンは終了し、ステップＳ１０８に進む。
【００９６】
以上のような構成である本実施形態の被写体追尾システムによれば、被写体の誤追尾を低減化することが可能である。従来のようなパターンマッチングでは本実施形態における第１〜第８の判定値だけを比較し、最小の判定値に対応する候補領域を追尾先の領域と判定していた。しかし、実際に移動先でない領域の判定値が偶然に最小となることが起こりえるため、誤追尾が発生することになる。
【００９７】
そこで、本実施形態では、第１〜第８の判定値から算出される第１〜第４の粗判定値に基づいて被写体の移動方向を大まかに判定することにより、被写体の移動先の候補が絞り込まれる。移動先で無い領域の判定値が偶然に最小となることがあっても、粗判定値は実際に被写体の移動した方向が最小となる可能性が高い。従って、大まかな移動方向の判定に詳細な方向の判定を行なうことにより、誤追尾を低減化させ追尾精度を向上させることが可能となる。
【００９８】
なお、本実施形態において、被写体の移動方向が第１〜第８の方向の８方向のいずれであるかを判定する構成であるが、４方向以上の中から判定される構成であってもよい。例えば、９０度ずつ異なる４方向のいずれかを移動方向として判定する構成であれば、第１の判定により隣合う２方向の２組それぞれの合成ベクトルのいずれの方向に移動しているかについての第１の判定を行い、第２の判定において２方向のいずれに移動したかについての第２の判定を行えば良い。
【００９９】
また、本実施形態において、第１の判定により被写体の移動方向が大まかに４方向のいずれかの方向であると判定されるが、前述のように２方向以上であれば、何方向の中から判定されても良い。
【０１００】
また、本実施形態において被写体の移動した粗方向の判定のための粗判定値は、異なる３方向に対応した判定値により算出される構成であるが、粗方向を正方向成分として含む方向であって異なる２方向以上に対応した判定値により算出されれば良い。この場合第２の判定においては、粗判定値を算出した判定値に対応した数の方向の中から、被写体の移動した方向の判定が行なわれる。
【０１０１】
また、本実施形態において、第１〜第８の候補領域ＣＡ１〜ＣＡ８は前のタイミングのフレームの画像データにおけるスキャン領域ＳＡから第１〜第８の方向に１画素ブロック１２ｂずつ移動させた領域であるが、移動させる画素ブロック１２ｂの数はいくつであっても良い。また、移動させる画素ブロック１２ｂの数は、方向に応じて異なっていても良い。ただし、移動させる距離は実質的に同じであることが好ましい。
【０１０２】
また、本実施形態において、スキャン領域ＳＡ及び第１〜第８の候補領域ＣＡ１〜ＣＡ８の形状は十字形であるがどのような形状であっても良い。
【０１０３】
また、本実施形態において、スキャン領域ＳＡ及び第１〜第８の候補領域ＣＡ１〜ＣＡ８における画素ブロック１２ｂの輝度の２値化が行なわれているが、２値化でなくても所定の数によって階層化しても良い。更には、階層化しなくても良い。ただし、２値化を行なうことにより第１、第２の判定を高速化することが可能になる。なお、領域ごとにその平均輝度で正規化することにより、蛍光灯のフリッカ等の影響を軽減させることが可能になる。
【０１０４】
また、本実施形態において、ＥＸＯＲ回路を用いて、スキャン領域ＳＡと第１〜第８の候補領域ＣＡ１〜ＣＡ８における画素ブロック１２ｂの２値化された輝度が一致しているか否かを判定させているが、例えばＥＸＮＯＲ回路を用いて判定を行なわせても良い。また、他のいずれの手段により一致しているか否かの判定を行なっても良い。
【０１０５】
また、本実施形態において、撮像素子１２の有効画素領域ＡＡには画素がマトリックス状に配列される構成であるが、２次元状に配列されていればよい。
【０１０６】
また、本実施形態において、追尾部３０により所望の被写体を追尾させ、追尾している被写体に対してＡＦ機能を実行させる構成であるが、追尾部３０による追尾機能を他の機能に適用することは可能である。例えば、所望の被写体を追尾し、モニタ上に被写体とともに追尾されていることが表示される監視カメラや、移動する被写体を追尾させ、追尾している被写体に対して自動露出補正を行なうカメラなどにも適用可能である。
【図面の簡単な説明】
【０１０７】
【図１】本発明の一実施形態を適用した被写体追尾システムを有するデジタルカメラの内部構成を概略的に示すブロック図である。
【図２】ＤＳＰの内部構成を概略的に示すブロック図である。
【図３】追尾部の内部構成を概略的に示すブロック図である。
【図４】撮像素子の有効画素領域の構成を示す正面図である。
【図５】スキャン領域の形状を説明するための図である。
【図６】スキャン領域に対する第１の候補領域の位置関係を示す図である。
【図７】スキャン領域に対する第２の候補領域の位置関係を示す図である。
【図８】スキャン領域に対する第３の候補領域の位置関係を示す図である。
【図９】スキャン領域に対する第４の候補領域の位置関係を示す図である。
【図１０】スキャン領域に対する第５の候補領域の位置関係を示す図である。
【図１１】スキャン領域に対する第６の候補領域の位置関係を示す図である。
【図１２】スキャン領域に対する第７の候補領域の位置関係を示す図である。
【図１３】スキャン領域に対する第８の候補領域の位置関係を示す図である。
【図１４】スキャン領域の画素ブロック毎の輝度の一例を示す図である。
【図１５】図１４に示すスキャン領域の画素ブロックについての２値化した輝度を示す図である。
【図１６】第１の候補領域の画素ブロック毎の２値化した輝度の一例を示す図である。
【図１７】スキャン領域の設定のために行なわれる処理を説明するためのフローチャートである。
【図１８】第１の判定を実行するときの処理を説明するためのフローチャートである。
【図１９】第２の判定を実行するときの処理を説明するためのフローチャートである。
【符号の説明】
【０１０８】
１０ デジタルカメラ
１２ｂ 画素ブロック
１２ｐ 画素
１３ ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）
２３ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
２３ａ ＡＦ調整部
２３ｃ 制御部
２３ｐ１ 前段データ処理部
３０ 追尾部
３１ 画素ブロック算出部
３２ スキャン領域初期設定部
３３ 候補領域設定部
３４ 画像認識部
３５ スキャン領域設定部
ＡＡ 有効画素領域
Ｃ スキャン領域の中心
ＣＡ１〜ＣＡ８ 第１〜第８の候補領域
ＳＡ スキャン領域
【特許請求の範囲】
【請求項１】
連続的に撮像される撮影画像内における特定の被写体である追尾対象体の移動を追尾する被写体追尾システムであって、
前記撮影画像における定められた一部の領域を、前記追尾対象体を追尾するための追尾領域に初期設定する初期設定部と、
前記追尾領域から第１の粗方向を正方向成分として有する第１、第２の方向に移動した領域である第１、第２の候補領域を設定し、前記第１の粗方向とは異なる第２の粗方向を正方向成分として有する第３、第４の方向に前記追尾領域から移動した領域である第３、第４の候補領域を設定する候補領域設定部と、
第１のタイミングで撮像された前記撮影画像における前記追尾領域の画像である基準画像を検出し、前記第１のタイミングの後の第２のタイミングで撮像された前記撮影画像における前記第１〜第４の候補領域の画像である第１〜第４の候補画像を検出する画像検出部と、
前記基準画像と前記第１〜第４の候補画像それぞれとの一致性に基づいて、前記第１のタイミングから前記第２のタイミングにおける前記追尾対象体の移動方向が、前記第１の粗方向と前記第２の粗方向とのいずれであるかを判定する第１の判定部と、
前記追尾対象体の移動方向として判定された粗方向が前記第１の粗方向であるときに前記基準画像と前記第１、第２の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第１、第２の方向のいずれであるかを判定し、前記追尾対象体の移動方向として判定された粗方向が第２の粗方向であるときに前記基準画像と前記第３、第４の候補画像それぞれの一致性に基づいて前記追尾対象体の移動方向が前記第３、第４の方向のいずれであるかを判定する第２の判定部と、
前記第２の判定部に前記追尾対象体の移動方向として判定された方向に移動した候補領域を追尾領域として再設定する再設定部とを備える
ことを特徴とする被写体追尾システム。
【請求項２】
前記第１の判定部は２つの画像の一致性に応じた判定値を算出し、前記基準画像と前記第１、第２の候補画像それぞれの前記判定値の和と、前記基準画像と前記第３、第４の候補画像それぞれの前記判定値の和とを比較することにより、前記追尾対象体の移動方向が前記第１、第２の粗方向のいずれであるかを判定することを特徴とする請求項１に記載の被写体追尾システム。
【請求項３】
前記第２の判定部は２つの画像の一致性に応じた判定値を算出し、前記基準画像と前記第１、第２の候補画像それぞれの前記判定値を比較することにより前記追尾対象体の移動方向が前記第１、第２の方向のいずれであるかの判定、又は前記基準画像と前記第３、第４の候補画像それぞれの前記判定値を比較することにより前記追尾対象体の移動方向が前記第３、第４の方向のいずれであるかの判定を行なうことを特徴とする請求項１又は請求項２に記載の被写体追尾システム。
【請求項４】
前記追尾領域から前記第１〜第４の候補領域それぞれまでの距離は実質的に等しいことを特徴とする請求項１〜請求項３のいずれか１項に記載の被写体追尾システム。
【請求項５】
前記候補領域設定部は、前記第１、第２の粗方向とは異なる第３の粗方向を正方向成分として有する第５、第６の方向に前記追尾領域から移動した領域である第５、第６の候補領域を設定し、
前記画像検出部は、前記第２のタイミングで撮像された前記撮影画像における前記第５、第６の候補領域の画像である第５、第６の候補画像を検出する画像検出部と、
前記第１の判定部は、前記基準画像と前記第１〜第６の候補画像それぞれとの一致性に基づいて、前記第１のタイミングから前記第２のタイミングにおける前記追尾対象体の移動方向が、前記第１〜第３の粗方向のいずれの粗方向であるかを判定し、
前記第２の判定部は、前記追尾対象体の移動方向として判定された粗方向が前記第３の粗方向であるときに前記基準画像と前記第５、第６の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第５、第６の方向いずれであるかを判定する
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の被写体追尾システム。
【請求項６】
前記第１の粗方向と前記第３の粗方向は互いに逆向きであり、前記第１の粗方向と前記第２の粗方向は互いに垂直であり、前記第１の粗方向と前記第１の方向とは同じ方向であり、前記第２の粗方向と前記第３の方向とは同じ方向であり、前記第３の粗方向と前記第５の方向とは同じ方向であり、前記第２の方向は前記第２の粗方向を正方向成分として含み、前記第４の方向は前記第３の粗方向を正方向成分として含み、
前記候補領域設定部は、前記追尾領域から、前記第３の方向の逆向きの方向である第７の方向、及び前記第７の方向と前記第１の方向とを正方向成分として含む第８の方向に移動した領域である第７、第８の領域である第７、第８の候補領域を設定し、
前記画像検出部は、前記第２のタイミングで撮像された前記撮影画像における前記第７、第８の候補領域の画像である第７、第８の候補画像を検出する画像検出部と、
前記第１の判定部は、前記基準画像と前記第１〜第８の候補画像それぞれとの一致性に基づいて、前記第１のタイミングから前記第２のタイミングにおける前記追尾対象体の移動方向が、前記第１、第３、第５、第７の方向のいずれの方向であるかを判定し、
前記第２の判定部は、前記追尾対象体の移動方向として判定された方向が前記第１の方向であるときに前記基準画像と前記第１、第２、第８の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第１、第２、第６の方向のいずれであるかを判定し、前記追尾対象体の移動方向として判定された方向が前記第３の方向であるときに前記基準画像と前記第２〜第４の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第２〜第４の方向のいずれであるかを判定し、前記追尾対象体の移動方向として判定された方向が前記第５の方向であるときに前記基準画像と前記第４〜第６の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第４〜第６の方向のいずれであるかを判定し、前記追尾対象体の移動方向として判定された方向が前記第７の方向であるときに前記基準画像と前記第６〜第８の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第６〜第８の方向のいずれであるかを判定する
ことを特徴とする請求項５に記載の被写体追尾システム。
【請求項１】
連続的に撮像される撮影画像内における特定の被写体である追尾対象体の移動を追尾する被写体追尾システムであって、
前記撮影画像における定められた一部の領域を、前記追尾対象体を追尾するための追尾領域に初期設定する初期設定部と、
前記追尾領域から第１の粗方向を正方向成分として有する第１、第２の方向に移動した領域である第１、第２の候補領域を設定し、前記第１の粗方向とは異なる第２の粗方向を正方向成分として有する第３、第４の方向に前記追尾領域から移動した領域である第３、第４の候補領域を設定する候補領域設定部と、
第１のタイミングで撮像された前記撮影画像における前記追尾領域の画像である基準画像を検出し、前記第１のタイミングの後の第２のタイミングで撮像された前記撮影画像における前記第１〜第４の候補領域の画像である第１〜第４の候補画像を検出する画像検出部と、
前記基準画像と前記第１〜第４の候補画像それぞれとの一致性に基づいて、前記第１のタイミングから前記第２のタイミングにおける前記追尾対象体の移動方向が、前記第１の粗方向と前記第２の粗方向とのいずれであるかを判定する第１の判定部と、
前記追尾対象体の移動方向として判定された粗方向が前記第１の粗方向であるときに前記基準画像と前記第１、第２の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第１、第２の方向のいずれであるかを判定し、前記追尾対象体の移動方向として判定された粗方向が第２の粗方向であるときに前記基準画像と前記第３、第４の候補画像それぞれの一致性に基づいて前記追尾対象体の移動方向が前記第３、第４の方向のいずれであるかを判定する第２の判定部と、
前記第２の判定部に前記追尾対象体の移動方向として判定された方向に移動した候補領域を追尾領域として再設定する再設定部とを備える
ことを特徴とする被写体追尾システム。
【請求項２】
前記第１の判定部は２つの画像の一致性に応じた判定値を算出し、前記基準画像と前記第１、第２の候補画像それぞれの前記判定値の和と、前記基準画像と前記第３、第４の候補画像それぞれの前記判定値の和とを比較することにより、前記追尾対象体の移動方向が前記第１、第２の粗方向のいずれであるかを判定することを特徴とする請求項１に記載の被写体追尾システム。
【請求項３】
前記第２の判定部は２つの画像の一致性に応じた判定値を算出し、前記基準画像と前記第１、第２の候補画像それぞれの前記判定値を比較することにより前記追尾対象体の移動方向が前記第１、第２の方向のいずれであるかの判定、又は前記基準画像と前記第３、第４の候補画像それぞれの前記判定値を比較することにより前記追尾対象体の移動方向が前記第３、第４の方向のいずれであるかの判定を行なうことを特徴とする請求項１又は請求項２に記載の被写体追尾システム。
【請求項４】
前記追尾領域から前記第１〜第４の候補領域それぞれまでの距離は実質的に等しいことを特徴とする請求項１〜請求項３のいずれか１項に記載の被写体追尾システム。
【請求項５】
前記候補領域設定部は、前記第１、第２の粗方向とは異なる第３の粗方向を正方向成分として有する第５、第６の方向に前記追尾領域から移動した領域である第５、第６の候補領域を設定し、
前記画像検出部は、前記第２のタイミングで撮像された前記撮影画像における前記第５、第６の候補領域の画像である第５、第６の候補画像を検出する画像検出部と、
前記第１の判定部は、前記基準画像と前記第１〜第６の候補画像それぞれとの一致性に基づいて、前記第１のタイミングから前記第２のタイミングにおける前記追尾対象体の移動方向が、前記第１〜第３の粗方向のいずれの粗方向であるかを判定し、
前記第２の判定部は、前記追尾対象体の移動方向として判定された粗方向が前記第３の粗方向であるときに前記基準画像と前記第５、第６の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第５、第６の方向いずれであるかを判定する
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の被写体追尾システム。
【請求項６】
前記第１の粗方向と前記第３の粗方向は互いに逆向きであり、前記第１の粗方向と前記第２の粗方向は互いに垂直であり、前記第１の粗方向と前記第１の方向とは同じ方向であり、前記第２の粗方向と前記第３の方向とは同じ方向であり、前記第３の粗方向と前記第５の方向とは同じ方向であり、前記第２の方向は前記第２の粗方向を正方向成分として含み、前記第４の方向は前記第３の粗方向を正方向成分として含み、
前記候補領域設定部は、前記追尾領域から、前記第３の方向の逆向きの方向である第７の方向、及び前記第７の方向と前記第１の方向とを正方向成分として含む第８の方向に移動した領域である第７、第８の領域である第７、第８の候補領域を設定し、
前記画像検出部は、前記第２のタイミングで撮像された前記撮影画像における前記第７、第８の候補領域の画像である第７、第８の候補画像を検出する画像検出部と、
前記第１の判定部は、前記基準画像と前記第１〜第８の候補画像それぞれとの一致性に基づいて、前記第１のタイミングから前記第２のタイミングにおける前記追尾対象体の移動方向が、前記第１、第３、第５、第７の方向のいずれの方向であるかを判定し、
前記第２の判定部は、前記追尾対象体の移動方向として判定された方向が前記第１の方向であるときに前記基準画像と前記第１、第２、第８の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第１、第２、第６の方向のいずれであるかを判定し、前記追尾対象体の移動方向として判定された方向が前記第３の方向であるときに前記基準画像と前記第２〜第４の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第２〜第４の方向のいずれであるかを判定し、前記追尾対象体の移動方向として判定された方向が前記第５の方向であるときに前記基準画像と前記第４〜第６の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第４〜第６の方向のいずれであるかを判定し、前記追尾対象体の移動方向として判定された方向が前記第７の方向であるときに前記基準画像と前記第６〜第８の候補画像それぞれとの一致性に基づいて前記追尾対象体の移動方向が前記第６〜第８の方向のいずれであるかを判定する
ことを特徴とする請求項５に記載の被写体追尾システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００７−２５１６３６（Ｐ２００７−２５１６３６Ａ）
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−７２９０４（Ｐ２００６−７２９０４）
【出願日】平成１８年３月１６日（２００６．３．１６）
【出願人】（００００００５２７）ペンタックス株式会社 (1,878)
【Ｆターム（参考）】
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１８年３月１６日（２００６．３．１６）
【出願人】（００００００５２７）ペンタックス株式会社 (1,878)
【Ｆターム（参考）】
[ Back to top ]