画像追尾装置、画像追尾方法、およびカメラ
【課題】対象となる像の一部に対応する画像情報を含む第１基準画像情報と、第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて設定された第２基準画像情報とに基づいて対象を認識し、認識精度を向上する。
【解決手段】画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、第１基準画像情報と第２基準画像情報とに基づいて対象を認識する認識部とを備える。
【解決手段】画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、第１基準画像情報と第２基準画像情報とに基づいて対象を認識する認識部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面内を移動する被写体を自動的に追尾する画像追尾装置、画像追尾方法、およびカメラに関する。
【背景技術】
【０００２】
移動被写体を撮影する際に自動的に被写体を追尾して、焦点検出や露出演算を行うカメラが知られている。従来のカメラでは、被写体を追尾するための基準となる画像を記憶し、パターンマッチングにより相関の高い対象を追尾している（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５８４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、基準となる画像に類似した画像が背景に依存する場合や追尾対象の前を横切る場合には、追尾対象を誤検出しやすいという問題がある。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部と、前記対象に対する前記結像光学系の焦点調節状態を検出する焦点検出装置とを備え、前記設定部は、前記焦点調節状態に基づいて前記第２基準画像情報を決定する。
請求項２に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記設定部は、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする。
請求項４に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する。
請求項６に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する。
請求項８に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する
画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する。
請求項１５に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記対象に対する前記結像光学系の焦点調節状態に基づいて、前記第２基準画像情報を決定する。
請求項１７に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する。
請求項１９に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する。
請求項２１に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する。
【発明の効果】
【０００６】
本発明によれば、対象となる像の一部に対応する画像情報を含む第１基準画像情報と、第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて設定された第２基準画像情報とに基づいて対象を認識するので、認識精度を向上することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態におけるデジタルカメラの要部構成を説明する図である。
【図２】撮像素子の画素構成を説明する図である。
【図３】実施の形態における追尾方法を説明する図である。
【図４】実施の形態における追尾方法を説明する図である。
【図５】実施の形態における追尾方法を説明する図である。
【図６】実施の形態における被写体追尾処理を説明するフローチャートである。
【図７】変形例を整理した機能ブロック図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、被写体追尾装置を備える一眼レフデジタルカメラの一実施の形態を説明する。図１に、本発明のデジタルカメラの要部構成を示す。カメラ本体１０には、撮影レンズ２１を備えるレンズ鏡筒２０が交換可能に装着されている。
【０００９】
カメラ本体１０の内部には、被写体を撮像するための第一の撮像素子１２が設けられている。第一の撮像素子１２としてＣＣＤやＣＭＯＳ等が使用される。撮影レンズ２１と第一の撮像素子１２との間には、撮影レンズ２１を通過した被写体光をファインダ光学系へと反射するクイックリターンミラー１１が配設されている。被写体光の一部はクイックリターンミラー１１の半透過領域を透過し、サブミラー１１１にて下方に反射され、位相差式ＡＦセンサモジュール１１２へ入射される。姿勢センサ１１３は、カメラの姿勢を検出する。
【００１０】
位相差式ＡＦセンサモジュール１１２は、たとえば、焦点検出光束を一対の焦点検出用光像に分割して結像する焦点検出光学系と、分割された一対の光像が入射し、それに応じた焦点検出信号を出力する一対のＣＣＤラインセンサとを備える。ＣＣＤラインセンサから出力される焦点検出信号は制御部３０に入力され、後述するように、制御部３０は、焦点調節レンズを合焦位置まで駆動させるレンズ駆動信号を出力する。
【００１１】
クイックリターンミラー１１で反射された被写体光は、第一の撮像素子１２と光学的に等価な位置に設けられた焦点板１３上に結像する。焦点板１３上に結像された被写体像は、ペンタプリズム１４と接眼レンズ１５を介して撮影者により観察されるとともに、ペンタプリズム１４からプリズム１７と結像レンズ１８とを通過し、第二の撮像素子１９の受光面上に結像する。なお、不図示のレリーズボタン全押しによって撮影動作が実行される場合は、クイックリターンミラー１１が図の破線で示す位置に回動して、被写体光は第一の撮像素子１２上に結像する。
【００１２】
第二の撮像素子１９は、図２（ａ）に示すように、マトリックス状に配列された複数（図示例では２０×１４）の画素１９１を備えている。各画素１９１は、図２（ｂ）に示すように、さらに３つの細画素１９１ａ〜１９１ｃに分割されている。これら細画素１９１ａ〜１９１ｃのそれぞれに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色フィルターが設けられることにより、被写体像のＲＧＢ出力が得られる。
【００１３】
第二の撮像素子１９は、ＣＣＤ制御部３１により、撮像面に結像された被写体像に対応する信号電荷の蓄積および蓄積電荷の掃き出しを行う。Ａ／Ｄ変換回路３２は、第二の撮像素子１９から出力されたアナログ撮像信号をデジタル画像信号に変換して、制御部３０へ出力する。制御部３０はＣＰＵ、ＲＯＭ、ＲＡＭおよび各種周辺回路から構成されている。機能的には、第二の撮像素子１９から入力した画像処理の施されていない画像データ（ＲＡＷデータ）に基づいて追尾対象の追尾を行う追尾制御部３３と、焦点検出演算を行う焦点検出演算部３５と、撮影レンズ２１の駆動量を演算するレンズ駆動量演算部３６と、後述の焦点検出領域４０を表すＡＦエリアマークの点灯／消灯（点消灯）を行う表示部３７１の点消灯制御部３７とを有する。表示部３７１は、焦点板１３近傍に配置された液晶表示板２２によってＡＦエリアマークを表示可能となっている。
【００１４】
焦点検出演算部３５は、撮影者によるエリア選択操作部３５１の操作で選択された焦点検出領域４０に対応する一対のＣＣＤラインセンサから出力される焦点検出信号に基づいて、デフォーカス量などの焦点調節状態の演算を行う。
【００１５】
図３（ａ）に示すようにこの実施の形態のカメラでは、ファインダで観察される画面４２内に、たとえば１１箇所の焦点検出領域４０ａ〜４０ｋが設けられている。この１１箇所の焦点検出領域４０ａ〜４０ｋの中から１つがエリア選択操作部３５１によって選択されると、焦点検出演算部３５は選択された焦点検出領域に対する焦点調節状態（以下、便宜上、デフォーカス量と呼ぶ）の演算を行う。さらに、エリア選択操作部３５１は、１１箇所の焦点検出領域４０ａ〜４０ｋの中のどの焦点検出領域が選択されたかを示す選択領域信号を追尾制御部３３へ出力する。焦点検出演算部３５で算出されたデフォーカス量はレンズ駆動量演算部３６に出力される。レンズ駆動量演算部３６では、入力したデフォーカス量に基づきレンズ駆動量を演算して、レンズ駆動モータ３６１に対してレンズ駆動信号を送出する。レンズ駆動モータ３６１は、レンズ駆動信号に応じて撮影レンズ２１を光軸方向へ移動させ、これにより、焦点調節状態が調節される。なお、焦点検出領域の選択は、エリア選択操作部３５１によるもののほか、検出した焦点調節状態に基づいてカメラが自動的に選択するようにしてもよい。いずれの場合も、選択された領域を示す選択領域信号を追尾制御部３３へ出力するのは同じである。
【００１６】
追尾制御部３３では、入力された選択領域信号に基づいて、第二の撮像素子１９から入力した画像データの中から追尾領域に相当する画像データを抽出し、この追尾領域の画像データに基づいて被写体追尾演算を行う。この実施の形態では、追尾演算に際して、図３（ｂ）、（ｃ）に示すように、第二の撮像素子１９より取得した初期画像４３ａ上において、追尾被写体領域４５と、周辺情報領域４１ａ〜４１ｄ（総称して符号４１を用いることもある）と、追尾被写体領域４５よりも範囲の広い被写体探索領域４７とを設定し、追尾被写体領域４５内の画像をテンプレート画像４８とする。
【００１７】
追尾被写体領域４５は、選択領域信号により認識した焦点検出領域（図３の例では４０ａ）に対応する画素情報（被写体の色情報）に類似した色情報を有する同色情報領域４９を囲む矩形の領域として設定される。周辺情報領域４１は、たとえば、図３（ｃ）に示すように、追尾被写体領域４５を基準として上下左右にそれぞれ１画素離れた位置にて、たとえば追尾被写体領域４５より小さい２画素の大きさの領域として設定され、対応する画素で得られる画像データからのＲ、Ｇ、Ｂの各色の色情報を被写体周辺情報４６（４６ａ〜４６ｄ）として記憶する。被写体探索領域４７は、追尾被写体領域４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で設定される。そして、第二の撮像素子１９にて時系列的に繰り返し取得した画像において、被写体探索領域４７の領域内でテンプレート画像４８と同じ大きさの比較対象領域を作成し、比較対象領域の画像情報と、テンプレート画像４８の画像情報との差分を計算した後、差分が所定値以下の比較対象領域、すなわち新たな追尾被写体領域の候補において上記と同様に設定される周辺情報領域で得られる情報と被写体周辺情報４６とを比較することにより被写体追尾を行う。
【００１８】
図３、４を用いて、被写体追尾方法について詳細に説明する。ここで、撮影者がエリア選択操作部３５１を操作して、図３（ａ）に示すように、焦点検出領域４０ａを選択したものとする。追尾制御部３３は、エリア選択操作部３５１からの選択領域信号に基づいて、焦点検出領域４０ａの位置に対応する所定範囲内の画素からのＲ、Ｇ、Ｂの各色の色情報を被写体色情報として記憶部３８に記憶する。図３（ｂ）に示す初期画像４３ａ上において、追尾制御部３３は、被写体色情報におけるＲ、Ｇ、Ｂの各色との差分が所定値以下である画素のまとまりを、被写体色情報に類似した色情報（相関の高い色情報）を有する同色情報領域４９として検出し、この領域４９を囲む矩形領域を追尾被写体領域４５として設定する。この追尾被写体領域４５はテンプレート画像４８として記憶部３８に記憶される。さらに、追尾被写体領域４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で被写体探索領域４７を新たに設定する。追尾被写体領域４５が設定されると、追尾制御部３３は、図３（ｃ）に示すように、追尾被写体領域４５に対して上下左右に１画素離れた位置における２画素の周辺情報領域４１ａ〜４１ｄにおけるＲ、Ｇ、Ｂの各色の色情報を取得して、被写体周辺情報４６ａ〜４６ｄとして記憶部３８に記憶する。
【００１９】
図４は、画像４３ａに続いて第二の撮像素子１９から時系列的に取得された次画像４３ｂを示す。追尾制御部３３は、次画像４３ｂの被写体探索領域４７内で、テンプレート画像４８と同じ大きさの領域を比較対象領域として抽出する。被写体探索領域４７内で順次その抽出位置を移動させ、各比較対象領域におけるＲ／ＧおよびＲ／Ｂで表される色比率と、テンプレート画像４８のＲ／Ｇ、Ｒ／Ｂとの差分を対応する画素ごとに計算する。そして、差分の合計が所定値以下となる比較対象領域を追尾被写体候補領域５０とする。図４（ａ）においては、次画像４３ｂの比較対象領域のうち２つの領域５０ａおよび５０ｂが追尾被写体候補領域であることを示す。なお、追尾被写体候補領域を代表符号５０とする。
【００２０】
追尾被写体候補領域５０が決定すると、これに対応する周辺情報領域４１ａａ、４１ｂａ、４１ｃａ、４１ｄａ、４１ａｂ、４１ｂｂ、４１ｃｂ、４１ｄｂからの画像情報を取得して、これらの情報と被写体周辺情報４６との比較を行なう。比較の結果、被写体周辺情報４６と一致する情報をより多く有する周辺情報領域４１に対応する追尾被写体候補領域５０を、新たな追尾被写体領域４５ａとして設定する。図４（ｂ）には、追尾被写体候補領域５０ａに対応する周辺情報領域４１ａａ〜４１ｄａから画像情報を取得した状態を示す。被写体周辺情報４６ａ〜４６ｄと周辺情報領域４１ａａ〜４１ｄａのそれぞれの画像情報を比較すると、図４（ｃ）に示すように、被写体周辺情報４６ａ、４６ｃ、４６ｄと周辺情報領域４１ａａ、４１ｃａ、４１ｄａの情報とが、それぞれ、計３つ一致している。また、図４（ｄ）には、追尾被写体候補領域５０ｂに対応する周辺情報領域４１ａｂ〜４１ｄｂから画像情報を取得した状態を示す。被写体周辺情報４６ａ〜４６ｄと周辺情報領域４１ａｂ〜４１ｄｂのそれぞれの画像情報を比較すると、図４（ｅ）に示すように、被写体周辺情報４６ａ、４６ｂと周辺情報領域４１ａｂ、４１ｂｂの情報とが、それぞれ、計２つ一致している。
【００２１】
したがって、より多くの類似した周辺情報が得られる追尾被写体候補領域５０ａが新たな追尾被写体領域４５ａとして設定される。なお、被写体周辺情報４６の情報と、各被写体候補領域５０に対する周辺情報領域４１の情報との一致数が等しい場合や、いずれも一致しない場合は、前述したテンプレート画像４８との比較により差分の合計が最小となる比較対象領域が新たな追尾被写体領域４５ａとして設定される。
【００２２】
追尾被写体領域４５ａが設定されると、追尾制御部３３は、初期設定画面で設定したテンプレート画像４８におけるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の色情報と、追尾被写体領域４５ａにおけるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の色情報とを合成して、新たなテンプレート画像４８を作成する。ただし、この場合は、初期設定画面で設定したテンプレート画像４８の色情報の割合を多く配分する。たとえば、初期設定画面で設定したテンプレート画像４８の色情報を８０パーセントとし、新たに設定した追尾被写体領域４５ａの色情報を２０パーセントとした割合で合成する。テンプレート画像４８を更新した後に、前述と同様にして、図５（ａ）に示すように、被写体探索領域４７が設定される。
【００２３】
追尾制御部３３は、追尾被写体領域４５ａの中央位置の座標を焦点検出演算部３５へ出力する。焦点検出演算部３５は、入力した追尾被写体領域４５ａの座標に基づき、図５（ｂ）に示すように、追尾被写体領域４５ａの中心に最も近い焦点検出領域４０ａに追尾対象が存在するものとみなし、焦点検出領域４０ｅに対応する一対のＡＦセンサモジュール１１２のＣＣＤラインセンサから出力される焦点検出信号を用いて焦点調節状態を演算する。焦点検出演算部３５は、焦点検出領域４０ａを示す選択領域信号を追尾制御部３３を介して点消灯制御部３７へ出力する。これにより、表示部３７１は、焦点検出領域４０ａのＡＦエリアマークを点灯する。
【００２４】
なお、複数の焦点検出領域４０が追尾被写体領域４５ａの中心から等距離に位置している場合には、それ以前に取得した時系列的な画像における被写体の移動方向、すなわち、移動履歴に基づいて、被写体の移動が予測される方向に位置する焦点検出領域４０を選択する。
【００２５】
以下で、図６に示すフローチャートを用いて、被写体追尾制御動作の各処理について説明する。なお、このフローチャートに示す各処理は、制御部３０によりプログラムを実行して行われる。また、このフローチャートは不図示のレリーズスイッチの半押し操作により開始される。
ステップＳ１では、撮影者により設定された焦点検出領域４０に対して焦点検出演算部３５で演算された焦点検出演算結果に基づいて、撮影レンズ２１を駆動して焦点調節を行い、ステップＳ２へ進む。ステップＳ２では、第二の撮像素子１９からの画像を取得してステップＳ３へ進む。
【００２６】
ステップＳ３においては、選択された焦点検出領域に対応する画素からの出力に基づいて被写体色情報を取得し、記憶部３８に記憶してステップＳ４へ進む。ステップＳ４においては、ステップＳ３にて取得した被写体色情報に類似した色情報を有する同色情報領域４９を検出してステップＳ５へ進む。ステップＳ５においては、ステップＳ４にて検出した同色情報領域４９を囲む矩形領域を追尾被写体領域４５として設定してステップＳ６へ進む。
【００２７】
ステップＳ６においては、ステップＳ５で設定した追尾被写体領域４５をテンプレート画像４８として記憶部３８に記憶してステップＳ７へ進む。ステップＳ７においては、追尾被写体領域４５に基づいて、前述したように被写体探索領域４７を設定してステップＳ８へ進む。ステップＳ８において、追尾被写体領域４５の周辺情報領域４１からのＲ、Ｇ、Ｂの各色の色情報を取得し、被写体周辺情報４６として記憶部３８に記憶してステップＳ９へ進む。
【００２８】
ステップＳ９においては、撮影者により不図示のレリーズスイッチが全押しされたか否かを判定する。ステップＳ９が肯定された場合、すなわち、ステップＳ９において、レリーズスイッチが全押しされたと判定された場合は、ステップＳ１７へ進む。ステップＳ９が否定された場合、すなわち、ステップＳ９において、レリーズスイッチが全押しされていないと判定された場合は、ステップＳ１０へ進む。
【００２９】
ステップＳ１０では、第二の撮像素子１９から次画像（新たな画像）を取得し、ステップＳ１１へ進む。ステップＳ１１においては、被写体探索領域４７内で、前述したように、テンプレート画像４８と同じ大きさの領域を抽出し、各領域の差分を対応する画素ごとに演算してステップＳ１２へ進む。ステップＳ１２では、ステップＳ１１における演算結果に基づいて、テンプレート画像４８との差分の合計が所定値以下となる比較対象領域を追尾被写体候補領域５０として設定してステップＳ１３へ進む。
【００３０】
ステップＳ１３においては、ステップＳ１２にて設定した追尾被写体候補領域５０に対応する周辺情報領域４１からの画像情報を取得して被写体周辺情報４６との比較を行ない、ステップＳ１４へ進む。ステップＳ１４では、ステップＳ１３における比較結果に基づいて、前述したように、被写体周辺情報４６と類似した画像情報をより多く有する追尾被写体候補領域５０を新たな追尾被写体領域４５として設定し、ステップＳ１５へ進む。
【００３１】
ステップＳ１５においては、前述した方法を用いてテンプレート画像４８を更新し、記憶部３８に記憶する。ステップＳ１６では、ステップＳ１４で設定した新たな追尾被写体領域４５に基づいて、新たに被写体探索領域４７を設定して、ステップＳ９へ戻る。ステップＳ９においてレリーズスイッチが全押しされたと判定すると、ステップＳ１７へ進んで、前述したように撮影動作を行い、一連の処理を終了する。
【００３２】
なお、追尾被写体領域４５を設定するステップＳ５やステップＳ１４、被写体周辺情報４６を記憶部３８に記憶するステップＳ８は、追尾対象となる画像の画像情報を設定し、追尾対象となる画像の近傍に位置する画像の情報を追尾対象の画像の画像情報を補助する補助画像情報として設定する設定部として機能する。ステップＳ１１〜Ｓ１４の処理は、これら追尾対象の画像の画像情報と上記補助画像情報とを使用して、追尾対象を認識する認識部として機能する。
【００３３】
以上で説明した実施の形態によるデジタルカメラによれば、以下の作用効果が得られる。
（１）第二の撮像素子１９により取得された色情報（画像情報）に基づいて、追尾対象を含む画像範囲から得られる基準画像情報、すなわちテンプレート画像４８と、テンプレート画像４８の近傍に位置する画像の情報に基づいて近傍画像情報、すなわち被写体周辺情報４６とを設定して追尾対象を追尾するようにした。したがって、人物を撮影するような場合、追尾対象の顔を含む範囲をテンプレート画像４８と設定すると、追尾対象の衣服など追尾対象と関連のある情報を被写体周辺情報４６から取得することができるので、追尾対象を横切った異なる被写体を追尾対象として検出するというような誤検出が無くなり、追尾精度が向上する。
【００３４】
（２）テンプレート画像４８と被写体探索領域４７内の比較対象領域との画像情報の差分演算により、複数の追尾被写体候補領域５０が検出された場合、すなわち追尾対象と所定値以上の相関を示す追尾候補が複数存在する場合は、近傍画像情報である被写体周辺情報４６と類似した画像情報を有する周辺情報領域４１をより多く有する追尾被写体候補領域５０を、新たな追尾被写体領域４５として設定して、追尾対象を追尾するようにした。したがって、類似の画像情報を有する被写体が複数存在する場合でも、周辺情報を用いて追尾対象を特定することができるので誤検出を防ぐことができる。
【００３５】
（３）第二の撮像素子１９から出力された画像処理の施されていない画像データ（ＲＡＷデータ）の色情報を用いて、テンプレート画像４８と切出し領域との差分演算を行なうようにしたので、追尾処理を高速に行なうことができる。
【００３６】
以上で説明した実施の形態を以下のように変形することができる。
（１）第二の撮像素子１９により取得された追尾対象の色情報に基づいて、テンプレート画像４８を設定する際の基準となる追尾被写体領域４５を決定したが、色情報に代えて輝度を用いてもよい。
【００３７】
（２）４箇所の周辺情報領域４１内のすべての画像を用いて画像情報の比較を行なったが、すべてを用いることなく、たとえば有彩色の画像情報を有するものや特徴的な画像情報を有する周辺情報領域４１を用いてもよい。特に、追尾対象が人物の場合、追尾被写体候補領域５０の下に位置する周辺情報領域４１を用いると、追尾対象の衣類などに基づく画像情報を取得しやすいので効果的である。また、追尾被写体候補領域５０の下に位置する周辺情報領域４１の重み付けを大きくするようにしてもよい。以上のような場合、カメラ本体１０に設けた姿勢センサ１１３の出力に応じてカメラの姿勢を検出し、検出したカメラの姿勢を考慮して被写界内において追尾被写体候補領域５０の下に位置する周辺情報領域４１を選択するようにしてもよい。
【００３８】
（３）追尾開始から撮影終了まで被写体周辺情報４６を同数保持して周辺情報領域４１との比較を行なうものとして説明したが、複数回の追尾制御を行なう際に繰り返し検出された周辺情報領域４１のうち、最も変化の少ない画像情報を有する周辺情報領域４１を被写体周辺情報４６として設定してもよい。
【００３９】
（４）テンプレート画像４８に基づいて、追尾被写体候補領域５０を選択した後に周辺情報領域４１の情報と被写体周辺情報４６との比較を行なうものに代えて、テンプレート画像４８と被写体周辺情報４６とをまとめて一つのテンプレートとして設定してもよい。
【００４０】
（５）第二の撮像素子１９から出力された画像処理の施されていない画像データ（ＲＡＷデータ）の色情報を用いて追尾対象を追尾するものとしたが、画像の周辺光量落ち補正やホワイトバランスなどの画像処理の施された色情報を用いて追尾対象を追尾してもよい。
【００４１】
（６）４箇所の周辺情報領域４１の中から、追尾被写体領域４５のデフォーカス量との差が所定値以下となるデフォーカス量を有する周辺情報領域４１を選択し、選択された周辺情報領域４１の情報を被写体周辺情報４６として用いてもよい。さらに、テンプレート画像４８と被写体周辺情報４６との位置関係については、デフォーカス量に基づいて決定してもよい。この場合、追尾対象までの距離が近いときはテンプレート画像４８と被写体周辺情報４６との間隔を離し、追尾対象までの距離が遠いときはテンプレート画像４８と被写体周辺情報４６との間隔を近づけるようにするとよい。
【００４２】
（７）撮影者の操作により追尾対象となる被写体を指定するものに代えて、被写体を認識する機能を備えるカメラであれば、被写体の認識結果に基づいて追尾対象となる被写体を設定して上述の追尾処理を開始するようにしてもよい。
【００４３】
（８）テンプレート画像４８のＲ、Ｇ、Ｂの各色の色情報と追尾被写体領域４５ａのＲ、Ｇ、Ｂの各色の色情報とを合成して新たなテンプレート画像４８として更新するものとして説明したが、追尾被写体領域４５ａとの合成を行なわず、テンプレート画像４８をそのまま継続して用いてもよい。
【００４４】
（９）追尾被写体領域４５の大きさに基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。例えば、被写体として人物の顔を追尾する場合に、追尾被写体領域が６×６画素程度の大きさだとすると、周辺の被写体情報として１、２画素程度の小さな領域の情報では、服の色のほんの一部（柄など）しか取れない可能性がある。そのため、この場合、概ね寸法比で１／３程度の２×２画素を周辺の被写体情報として用いる。また、追尾被写体領域が大きいほど、被写体周辺情報の領域を拡大するようにする。
【００４５】
（１０）焦点距離などのレンズ情報や像倍率（焦点距離と撮影距離とから求める）に基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。例えば、焦点距離が近い場合、あるいは像倍率が大きいほど、被写体周辺情報の大きさを大きくする。このときの追尾被写体領域４５と被写体周辺情報４６との寸法比はほぼ一定となるようにする。すなわち、結像光学系の光学特性に基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。
【００４６】
（１１）追尾被写体領域４５の大きさに基づいて、被写体周辺情報４６の位置を変えるようにしてもよい。例えば、追尾被写体領域が大きいほど、追尾被写体領域のすぐ真下でなく、少し離して位置させる。図３（ｃ）で説明すると、追尾被写体領域４５と被写体周辺情報４６の間の画素が１画素分離れているのを、２画素や３画素などにする。これは、追尾被写体領域４５が顔だとした場合、すぐ下の首の色ではなく、もう少し下の服の色を被写体周辺情報４６とするのが好ましいためである。
【００４７】
（１２）上記（９）（１０）とも関係するが、被写体が接近してくる（像倍率が上がる）につれて追尾被写体領域４５を大きくし、それに伴って被写体周辺情報４６の大きさを大きくするとともに追尾被写体領域４５との間隔も広げるようにしてもよい。
【００４８】
（１３）上記実施の形態のステップＳ１４において、被写体周辺情報４６と類似した画像情報を有する領域を選択する際、複数の被写体周辺情報４６のうち、追尾被写体領域４５の下に位置する被写体周辺情報４６に対する重み付けを大きくするようにしてもよい。これは、周辺を見て決める際、被写体の下に位置する領域の情報が被写体の補助情報として適切である可能性が高いためである。例えば、上記説明したように、追尾対象が人物で、追尾被写体領域４５が顔となるような場合である。これにより、下側の周辺情報との一致度が高いものを新たな被写体領域として決定する。
【００４９】
（１４）撮影レンズが交換可能な一眼レフデジタルカメラとして説明したが、本発明はこれに限定されるものではなく、レンズ一体型カメラやビデオカメラに適用してもよい。
【００５０】
図７は、上記説明した変形例を整理した機能ブロック図であり、追尾制御部３３が各ブロックの処理を行う。追尾制御部３３が処理する機能は、上述した設定部２０１と認識部２０２とに分かれる。各ブロック内の番号は、上記説明した変形例の番号に対応する。
【００５１】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【００５２】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第２３３８２３号（２００６年８月３０日出願）
【技術分野】
【０００１】
本発明は、画面内を移動する被写体を自動的に追尾する画像追尾装置、画像追尾方法、およびカメラに関する。
【背景技術】
【０００２】
移動被写体を撮影する際に自動的に被写体を追尾して、焦点検出や露出演算を行うカメラが知られている。従来のカメラでは、被写体を追尾するための基準となる画像を記憶し、パターンマッチングにより相関の高い対象を追尾している（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５８４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、基準となる画像に類似した画像が背景に依存する場合や追尾対象の前を横切る場合には、追尾対象を誤検出しやすいという問題がある。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部と、前記対象に対する前記結像光学系の焦点調節状態を検出する焦点検出装置とを備え、前記設定部は、前記焦点調節状態に基づいて前記第２基準画像情報を決定する。
請求項２に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記設定部は、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする。
請求項４に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する。
請求項６に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する。
請求項８に記載の画像追尾装置は、結像光学系による像を撮像して画像情報を生成する撮像装置と、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する
画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する。
請求項１５に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記対象に対する前記結像光学系の焦点調節状態に基づいて、前記第２基準画像情報を決定する。
請求項１７に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する。
請求項１９に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する。
請求項２１に記載の画像追尾方法は、結像光学系による像を撮像して画像情報を生成し、前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する。
【発明の効果】
【０００６】
本発明によれば、対象となる像の一部に対応する画像情報を含む第１基準画像情報と、第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて設定された第２基準画像情報とに基づいて対象を認識するので、認識精度を向上することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態におけるデジタルカメラの要部構成を説明する図である。
【図２】撮像素子の画素構成を説明する図である。
【図３】実施の形態における追尾方法を説明する図である。
【図４】実施の形態における追尾方法を説明する図である。
【図５】実施の形態における追尾方法を説明する図である。
【図６】実施の形態における被写体追尾処理を説明するフローチャートである。
【図７】変形例を整理した機能ブロック図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、被写体追尾装置を備える一眼レフデジタルカメラの一実施の形態を説明する。図１に、本発明のデジタルカメラの要部構成を示す。カメラ本体１０には、撮影レンズ２１を備えるレンズ鏡筒２０が交換可能に装着されている。
【０００９】
カメラ本体１０の内部には、被写体を撮像するための第一の撮像素子１２が設けられている。第一の撮像素子１２としてＣＣＤやＣＭＯＳ等が使用される。撮影レンズ２１と第一の撮像素子１２との間には、撮影レンズ２１を通過した被写体光をファインダ光学系へと反射するクイックリターンミラー１１が配設されている。被写体光の一部はクイックリターンミラー１１の半透過領域を透過し、サブミラー１１１にて下方に反射され、位相差式ＡＦセンサモジュール１１２へ入射される。姿勢センサ１１３は、カメラの姿勢を検出する。
【００１０】
位相差式ＡＦセンサモジュール１１２は、たとえば、焦点検出光束を一対の焦点検出用光像に分割して結像する焦点検出光学系と、分割された一対の光像が入射し、それに応じた焦点検出信号を出力する一対のＣＣＤラインセンサとを備える。ＣＣＤラインセンサから出力される焦点検出信号は制御部３０に入力され、後述するように、制御部３０は、焦点調節レンズを合焦位置まで駆動させるレンズ駆動信号を出力する。
【００１１】
クイックリターンミラー１１で反射された被写体光は、第一の撮像素子１２と光学的に等価な位置に設けられた焦点板１３上に結像する。焦点板１３上に結像された被写体像は、ペンタプリズム１４と接眼レンズ１５を介して撮影者により観察されるとともに、ペンタプリズム１４からプリズム１７と結像レンズ１８とを通過し、第二の撮像素子１９の受光面上に結像する。なお、不図示のレリーズボタン全押しによって撮影動作が実行される場合は、クイックリターンミラー１１が図の破線で示す位置に回動して、被写体光は第一の撮像素子１２上に結像する。
【００１２】
第二の撮像素子１９は、図２（ａ）に示すように、マトリックス状に配列された複数（図示例では２０×１４）の画素１９１を備えている。各画素１９１は、図２（ｂ）に示すように、さらに３つの細画素１９１ａ〜１９１ｃに分割されている。これら細画素１９１ａ〜１９１ｃのそれぞれに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色フィルターが設けられることにより、被写体像のＲＧＢ出力が得られる。
【００１３】
第二の撮像素子１９は、ＣＣＤ制御部３１により、撮像面に結像された被写体像に対応する信号電荷の蓄積および蓄積電荷の掃き出しを行う。Ａ／Ｄ変換回路３２は、第二の撮像素子１９から出力されたアナログ撮像信号をデジタル画像信号に変換して、制御部３０へ出力する。制御部３０はＣＰＵ、ＲＯＭ、ＲＡＭおよび各種周辺回路から構成されている。機能的には、第二の撮像素子１９から入力した画像処理の施されていない画像データ（ＲＡＷデータ）に基づいて追尾対象の追尾を行う追尾制御部３３と、焦点検出演算を行う焦点検出演算部３５と、撮影レンズ２１の駆動量を演算するレンズ駆動量演算部３６と、後述の焦点検出領域４０を表すＡＦエリアマークの点灯／消灯（点消灯）を行う表示部３７１の点消灯制御部３７とを有する。表示部３７１は、焦点板１３近傍に配置された液晶表示板２２によってＡＦエリアマークを表示可能となっている。
【００１４】
焦点検出演算部３５は、撮影者によるエリア選択操作部３５１の操作で選択された焦点検出領域４０に対応する一対のＣＣＤラインセンサから出力される焦点検出信号に基づいて、デフォーカス量などの焦点調節状態の演算を行う。
【００１５】
図３（ａ）に示すようにこの実施の形態のカメラでは、ファインダで観察される画面４２内に、たとえば１１箇所の焦点検出領域４０ａ〜４０ｋが設けられている。この１１箇所の焦点検出領域４０ａ〜４０ｋの中から１つがエリア選択操作部３５１によって選択されると、焦点検出演算部３５は選択された焦点検出領域に対する焦点調節状態（以下、便宜上、デフォーカス量と呼ぶ）の演算を行う。さらに、エリア選択操作部３５１は、１１箇所の焦点検出領域４０ａ〜４０ｋの中のどの焦点検出領域が選択されたかを示す選択領域信号を追尾制御部３３へ出力する。焦点検出演算部３５で算出されたデフォーカス量はレンズ駆動量演算部３６に出力される。レンズ駆動量演算部３６では、入力したデフォーカス量に基づきレンズ駆動量を演算して、レンズ駆動モータ３６１に対してレンズ駆動信号を送出する。レンズ駆動モータ３６１は、レンズ駆動信号に応じて撮影レンズ２１を光軸方向へ移動させ、これにより、焦点調節状態が調節される。なお、焦点検出領域の選択は、エリア選択操作部３５１によるもののほか、検出した焦点調節状態に基づいてカメラが自動的に選択するようにしてもよい。いずれの場合も、選択された領域を示す選択領域信号を追尾制御部３３へ出力するのは同じである。
【００１６】
追尾制御部３３では、入力された選択領域信号に基づいて、第二の撮像素子１９から入力した画像データの中から追尾領域に相当する画像データを抽出し、この追尾領域の画像データに基づいて被写体追尾演算を行う。この実施の形態では、追尾演算に際して、図３（ｂ）、（ｃ）に示すように、第二の撮像素子１９より取得した初期画像４３ａ上において、追尾被写体領域４５と、周辺情報領域４１ａ〜４１ｄ（総称して符号４１を用いることもある）と、追尾被写体領域４５よりも範囲の広い被写体探索領域４７とを設定し、追尾被写体領域４５内の画像をテンプレート画像４８とする。
【００１７】
追尾被写体領域４５は、選択領域信号により認識した焦点検出領域（図３の例では４０ａ）に対応する画素情報（被写体の色情報）に類似した色情報を有する同色情報領域４９を囲む矩形の領域として設定される。周辺情報領域４１は、たとえば、図３（ｃ）に示すように、追尾被写体領域４５を基準として上下左右にそれぞれ１画素離れた位置にて、たとえば追尾被写体領域４５より小さい２画素の大きさの領域として設定され、対応する画素で得られる画像データからのＲ、Ｇ、Ｂの各色の色情報を被写体周辺情報４６（４６ａ〜４６ｄ）として記憶する。被写体探索領域４７は、追尾被写体領域４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で設定される。そして、第二の撮像素子１９にて時系列的に繰り返し取得した画像において、被写体探索領域４７の領域内でテンプレート画像４８と同じ大きさの比較対象領域を作成し、比較対象領域の画像情報と、テンプレート画像４８の画像情報との差分を計算した後、差分が所定値以下の比較対象領域、すなわち新たな追尾被写体領域の候補において上記と同様に設定される周辺情報領域で得られる情報と被写体周辺情報４６とを比較することにより被写体追尾を行う。
【００１８】
図３、４を用いて、被写体追尾方法について詳細に説明する。ここで、撮影者がエリア選択操作部３５１を操作して、図３（ａ）に示すように、焦点検出領域４０ａを選択したものとする。追尾制御部３３は、エリア選択操作部３５１からの選択領域信号に基づいて、焦点検出領域４０ａの位置に対応する所定範囲内の画素からのＲ、Ｇ、Ｂの各色の色情報を被写体色情報として記憶部３８に記憶する。図３（ｂ）に示す初期画像４３ａ上において、追尾制御部３３は、被写体色情報におけるＲ、Ｇ、Ｂの各色との差分が所定値以下である画素のまとまりを、被写体色情報に類似した色情報（相関の高い色情報）を有する同色情報領域４９として検出し、この領域４９を囲む矩形領域を追尾被写体領域４５として設定する。この追尾被写体領域４５はテンプレート画像４８として記憶部３８に記憶される。さらに、追尾被写体領域４５を中心として上下左右に、たとえば３画素ずつ拡大した範囲で被写体探索領域４７を新たに設定する。追尾被写体領域４５が設定されると、追尾制御部３３は、図３（ｃ）に示すように、追尾被写体領域４５に対して上下左右に１画素離れた位置における２画素の周辺情報領域４１ａ〜４１ｄにおけるＲ、Ｇ、Ｂの各色の色情報を取得して、被写体周辺情報４６ａ〜４６ｄとして記憶部３８に記憶する。
【００１９】
図４は、画像４３ａに続いて第二の撮像素子１９から時系列的に取得された次画像４３ｂを示す。追尾制御部３３は、次画像４３ｂの被写体探索領域４７内で、テンプレート画像４８と同じ大きさの領域を比較対象領域として抽出する。被写体探索領域４７内で順次その抽出位置を移動させ、各比較対象領域におけるＲ／ＧおよびＲ／Ｂで表される色比率と、テンプレート画像４８のＲ／Ｇ、Ｒ／Ｂとの差分を対応する画素ごとに計算する。そして、差分の合計が所定値以下となる比較対象領域を追尾被写体候補領域５０とする。図４（ａ）においては、次画像４３ｂの比較対象領域のうち２つの領域５０ａおよび５０ｂが追尾被写体候補領域であることを示す。なお、追尾被写体候補領域を代表符号５０とする。
【００２０】
追尾被写体候補領域５０が決定すると、これに対応する周辺情報領域４１ａａ、４１ｂａ、４１ｃａ、４１ｄａ、４１ａｂ、４１ｂｂ、４１ｃｂ、４１ｄｂからの画像情報を取得して、これらの情報と被写体周辺情報４６との比較を行なう。比較の結果、被写体周辺情報４６と一致する情報をより多く有する周辺情報領域４１に対応する追尾被写体候補領域５０を、新たな追尾被写体領域４５ａとして設定する。図４（ｂ）には、追尾被写体候補領域５０ａに対応する周辺情報領域４１ａａ〜４１ｄａから画像情報を取得した状態を示す。被写体周辺情報４６ａ〜４６ｄと周辺情報領域４１ａａ〜４１ｄａのそれぞれの画像情報を比較すると、図４（ｃ）に示すように、被写体周辺情報４６ａ、４６ｃ、４６ｄと周辺情報領域４１ａａ、４１ｃａ、４１ｄａの情報とが、それぞれ、計３つ一致している。また、図４（ｄ）には、追尾被写体候補領域５０ｂに対応する周辺情報領域４１ａｂ〜４１ｄｂから画像情報を取得した状態を示す。被写体周辺情報４６ａ〜４６ｄと周辺情報領域４１ａｂ〜４１ｄｂのそれぞれの画像情報を比較すると、図４（ｅ）に示すように、被写体周辺情報４６ａ、４６ｂと周辺情報領域４１ａｂ、４１ｂｂの情報とが、それぞれ、計２つ一致している。
【００２１】
したがって、より多くの類似した周辺情報が得られる追尾被写体候補領域５０ａが新たな追尾被写体領域４５ａとして設定される。なお、被写体周辺情報４６の情報と、各被写体候補領域５０に対する周辺情報領域４１の情報との一致数が等しい場合や、いずれも一致しない場合は、前述したテンプレート画像４８との比較により差分の合計が最小となる比較対象領域が新たな追尾被写体領域４５ａとして設定される。
【００２２】
追尾被写体領域４５ａが設定されると、追尾制御部３３は、初期設定画面で設定したテンプレート画像４８におけるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の色情報と、追尾被写体領域４５ａにおけるＲ（赤）、Ｇ（緑）、Ｂ（青）各色の色情報とを合成して、新たなテンプレート画像４８を作成する。ただし、この場合は、初期設定画面で設定したテンプレート画像４８の色情報の割合を多く配分する。たとえば、初期設定画面で設定したテンプレート画像４８の色情報を８０パーセントとし、新たに設定した追尾被写体領域４５ａの色情報を２０パーセントとした割合で合成する。テンプレート画像４８を更新した後に、前述と同様にして、図５（ａ）に示すように、被写体探索領域４７が設定される。
【００２３】
追尾制御部３３は、追尾被写体領域４５ａの中央位置の座標を焦点検出演算部３５へ出力する。焦点検出演算部３５は、入力した追尾被写体領域４５ａの座標に基づき、図５（ｂ）に示すように、追尾被写体領域４５ａの中心に最も近い焦点検出領域４０ａに追尾対象が存在するものとみなし、焦点検出領域４０ｅに対応する一対のＡＦセンサモジュール１１２のＣＣＤラインセンサから出力される焦点検出信号を用いて焦点調節状態を演算する。焦点検出演算部３５は、焦点検出領域４０ａを示す選択領域信号を追尾制御部３３を介して点消灯制御部３７へ出力する。これにより、表示部３７１は、焦点検出領域４０ａのＡＦエリアマークを点灯する。
【００２４】
なお、複数の焦点検出領域４０が追尾被写体領域４５ａの中心から等距離に位置している場合には、それ以前に取得した時系列的な画像における被写体の移動方向、すなわち、移動履歴に基づいて、被写体の移動が予測される方向に位置する焦点検出領域４０を選択する。
【００２５】
以下で、図６に示すフローチャートを用いて、被写体追尾制御動作の各処理について説明する。なお、このフローチャートに示す各処理は、制御部３０によりプログラムを実行して行われる。また、このフローチャートは不図示のレリーズスイッチの半押し操作により開始される。
ステップＳ１では、撮影者により設定された焦点検出領域４０に対して焦点検出演算部３５で演算された焦点検出演算結果に基づいて、撮影レンズ２１を駆動して焦点調節を行い、ステップＳ２へ進む。ステップＳ２では、第二の撮像素子１９からの画像を取得してステップＳ３へ進む。
【００２６】
ステップＳ３においては、選択された焦点検出領域に対応する画素からの出力に基づいて被写体色情報を取得し、記憶部３８に記憶してステップＳ４へ進む。ステップＳ４においては、ステップＳ３にて取得した被写体色情報に類似した色情報を有する同色情報領域４９を検出してステップＳ５へ進む。ステップＳ５においては、ステップＳ４にて検出した同色情報領域４９を囲む矩形領域を追尾被写体領域４５として設定してステップＳ６へ進む。
【００２７】
ステップＳ６においては、ステップＳ５で設定した追尾被写体領域４５をテンプレート画像４８として記憶部３８に記憶してステップＳ７へ進む。ステップＳ７においては、追尾被写体領域４５に基づいて、前述したように被写体探索領域４７を設定してステップＳ８へ進む。ステップＳ８において、追尾被写体領域４５の周辺情報領域４１からのＲ、Ｇ、Ｂの各色の色情報を取得し、被写体周辺情報４６として記憶部３８に記憶してステップＳ９へ進む。
【００２８】
ステップＳ９においては、撮影者により不図示のレリーズスイッチが全押しされたか否かを判定する。ステップＳ９が肯定された場合、すなわち、ステップＳ９において、レリーズスイッチが全押しされたと判定された場合は、ステップＳ１７へ進む。ステップＳ９が否定された場合、すなわち、ステップＳ９において、レリーズスイッチが全押しされていないと判定された場合は、ステップＳ１０へ進む。
【００２９】
ステップＳ１０では、第二の撮像素子１９から次画像（新たな画像）を取得し、ステップＳ１１へ進む。ステップＳ１１においては、被写体探索領域４７内で、前述したように、テンプレート画像４８と同じ大きさの領域を抽出し、各領域の差分を対応する画素ごとに演算してステップＳ１２へ進む。ステップＳ１２では、ステップＳ１１における演算結果に基づいて、テンプレート画像４８との差分の合計が所定値以下となる比較対象領域を追尾被写体候補領域５０として設定してステップＳ１３へ進む。
【００３０】
ステップＳ１３においては、ステップＳ１２にて設定した追尾被写体候補領域５０に対応する周辺情報領域４１からの画像情報を取得して被写体周辺情報４６との比較を行ない、ステップＳ１４へ進む。ステップＳ１４では、ステップＳ１３における比較結果に基づいて、前述したように、被写体周辺情報４６と類似した画像情報をより多く有する追尾被写体候補領域５０を新たな追尾被写体領域４５として設定し、ステップＳ１５へ進む。
【００３１】
ステップＳ１５においては、前述した方法を用いてテンプレート画像４８を更新し、記憶部３８に記憶する。ステップＳ１６では、ステップＳ１４で設定した新たな追尾被写体領域４５に基づいて、新たに被写体探索領域４７を設定して、ステップＳ９へ戻る。ステップＳ９においてレリーズスイッチが全押しされたと判定すると、ステップＳ１７へ進んで、前述したように撮影動作を行い、一連の処理を終了する。
【００３２】
なお、追尾被写体領域４５を設定するステップＳ５やステップＳ１４、被写体周辺情報４６を記憶部３８に記憶するステップＳ８は、追尾対象となる画像の画像情報を設定し、追尾対象となる画像の近傍に位置する画像の情報を追尾対象の画像の画像情報を補助する補助画像情報として設定する設定部として機能する。ステップＳ１１〜Ｓ１４の処理は、これら追尾対象の画像の画像情報と上記補助画像情報とを使用して、追尾対象を認識する認識部として機能する。
【００３３】
以上で説明した実施の形態によるデジタルカメラによれば、以下の作用効果が得られる。
（１）第二の撮像素子１９により取得された色情報（画像情報）に基づいて、追尾対象を含む画像範囲から得られる基準画像情報、すなわちテンプレート画像４８と、テンプレート画像４８の近傍に位置する画像の情報に基づいて近傍画像情報、すなわち被写体周辺情報４６とを設定して追尾対象を追尾するようにした。したがって、人物を撮影するような場合、追尾対象の顔を含む範囲をテンプレート画像４８と設定すると、追尾対象の衣服など追尾対象と関連のある情報を被写体周辺情報４６から取得することができるので、追尾対象を横切った異なる被写体を追尾対象として検出するというような誤検出が無くなり、追尾精度が向上する。
【００３４】
（２）テンプレート画像４８と被写体探索領域４７内の比較対象領域との画像情報の差分演算により、複数の追尾被写体候補領域５０が検出された場合、すなわち追尾対象と所定値以上の相関を示す追尾候補が複数存在する場合は、近傍画像情報である被写体周辺情報４６と類似した画像情報を有する周辺情報領域４１をより多く有する追尾被写体候補領域５０を、新たな追尾被写体領域４５として設定して、追尾対象を追尾するようにした。したがって、類似の画像情報を有する被写体が複数存在する場合でも、周辺情報を用いて追尾対象を特定することができるので誤検出を防ぐことができる。
【００３５】
（３）第二の撮像素子１９から出力された画像処理の施されていない画像データ（ＲＡＷデータ）の色情報を用いて、テンプレート画像４８と切出し領域との差分演算を行なうようにしたので、追尾処理を高速に行なうことができる。
【００３６】
以上で説明した実施の形態を以下のように変形することができる。
（１）第二の撮像素子１９により取得された追尾対象の色情報に基づいて、テンプレート画像４８を設定する際の基準となる追尾被写体領域４５を決定したが、色情報に代えて輝度を用いてもよい。
【００３７】
（２）４箇所の周辺情報領域４１内のすべての画像を用いて画像情報の比較を行なったが、すべてを用いることなく、たとえば有彩色の画像情報を有するものや特徴的な画像情報を有する周辺情報領域４１を用いてもよい。特に、追尾対象が人物の場合、追尾被写体候補領域５０の下に位置する周辺情報領域４１を用いると、追尾対象の衣類などに基づく画像情報を取得しやすいので効果的である。また、追尾被写体候補領域５０の下に位置する周辺情報領域４１の重み付けを大きくするようにしてもよい。以上のような場合、カメラ本体１０に設けた姿勢センサ１１３の出力に応じてカメラの姿勢を検出し、検出したカメラの姿勢を考慮して被写界内において追尾被写体候補領域５０の下に位置する周辺情報領域４１を選択するようにしてもよい。
【００３８】
（３）追尾開始から撮影終了まで被写体周辺情報４６を同数保持して周辺情報領域４１との比較を行なうものとして説明したが、複数回の追尾制御を行なう際に繰り返し検出された周辺情報領域４１のうち、最も変化の少ない画像情報を有する周辺情報領域４１を被写体周辺情報４６として設定してもよい。
【００３９】
（４）テンプレート画像４８に基づいて、追尾被写体候補領域５０を選択した後に周辺情報領域４１の情報と被写体周辺情報４６との比較を行なうものに代えて、テンプレート画像４８と被写体周辺情報４６とをまとめて一つのテンプレートとして設定してもよい。
【００４０】
（５）第二の撮像素子１９から出力された画像処理の施されていない画像データ（ＲＡＷデータ）の色情報を用いて追尾対象を追尾するものとしたが、画像の周辺光量落ち補正やホワイトバランスなどの画像処理の施された色情報を用いて追尾対象を追尾してもよい。
【００４１】
（６）４箇所の周辺情報領域４１の中から、追尾被写体領域４５のデフォーカス量との差が所定値以下となるデフォーカス量を有する周辺情報領域４１を選択し、選択された周辺情報領域４１の情報を被写体周辺情報４６として用いてもよい。さらに、テンプレート画像４８と被写体周辺情報４６との位置関係については、デフォーカス量に基づいて決定してもよい。この場合、追尾対象までの距離が近いときはテンプレート画像４８と被写体周辺情報４６との間隔を離し、追尾対象までの距離が遠いときはテンプレート画像４８と被写体周辺情報４６との間隔を近づけるようにするとよい。
【００４２】
（７）撮影者の操作により追尾対象となる被写体を指定するものに代えて、被写体を認識する機能を備えるカメラであれば、被写体の認識結果に基づいて追尾対象となる被写体を設定して上述の追尾処理を開始するようにしてもよい。
【００４３】
（８）テンプレート画像４８のＲ、Ｇ、Ｂの各色の色情報と追尾被写体領域４５ａのＲ、Ｇ、Ｂの各色の色情報とを合成して新たなテンプレート画像４８として更新するものとして説明したが、追尾被写体領域４５ａとの合成を行なわず、テンプレート画像４８をそのまま継続して用いてもよい。
【００４４】
（９）追尾被写体領域４５の大きさに基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。例えば、被写体として人物の顔を追尾する場合に、追尾被写体領域が６×６画素程度の大きさだとすると、周辺の被写体情報として１、２画素程度の小さな領域の情報では、服の色のほんの一部（柄など）しか取れない可能性がある。そのため、この場合、概ね寸法比で１／３程度の２×２画素を周辺の被写体情報として用いる。また、追尾被写体領域が大きいほど、被写体周辺情報の領域を拡大するようにする。
【００４５】
（１０）焦点距離などのレンズ情報や像倍率（焦点距離と撮影距離とから求める）に基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。例えば、焦点距離が近い場合、あるいは像倍率が大きいほど、被写体周辺情報の大きさを大きくする。このときの追尾被写体領域４５と被写体周辺情報４６との寸法比はほぼ一定となるようにする。すなわち、結像光学系の光学特性に基づいて、被写体周辺情報４６の大きさを決定するようにしてもよい。
【００４６】
（１１）追尾被写体領域４５の大きさに基づいて、被写体周辺情報４６の位置を変えるようにしてもよい。例えば、追尾被写体領域が大きいほど、追尾被写体領域のすぐ真下でなく、少し離して位置させる。図３（ｃ）で説明すると、追尾被写体領域４５と被写体周辺情報４６の間の画素が１画素分離れているのを、２画素や３画素などにする。これは、追尾被写体領域４５が顔だとした場合、すぐ下の首の色ではなく、もう少し下の服の色を被写体周辺情報４６とするのが好ましいためである。
【００４７】
（１２）上記（９）（１０）とも関係するが、被写体が接近してくる（像倍率が上がる）につれて追尾被写体領域４５を大きくし、それに伴って被写体周辺情報４６の大きさを大きくするとともに追尾被写体領域４５との間隔も広げるようにしてもよい。
【００４８】
（１３）上記実施の形態のステップＳ１４において、被写体周辺情報４６と類似した画像情報を有する領域を選択する際、複数の被写体周辺情報４６のうち、追尾被写体領域４５の下に位置する被写体周辺情報４６に対する重み付けを大きくするようにしてもよい。これは、周辺を見て決める際、被写体の下に位置する領域の情報が被写体の補助情報として適切である可能性が高いためである。例えば、上記説明したように、追尾対象が人物で、追尾被写体領域４５が顔となるような場合である。これにより、下側の周辺情報との一致度が高いものを新たな被写体領域として決定する。
【００４９】
（１４）撮影レンズが交換可能な一眼レフデジタルカメラとして説明したが、本発明はこれに限定されるものではなく、レンズ一体型カメラやビデオカメラに適用してもよい。
【００５０】
図７は、上記説明した変形例を整理した機能ブロック図であり、追尾制御部３３が各ブロックの処理を行う。追尾制御部３３が処理する機能は、上述した設定部２０１と認識部２０２とに分かれる。各ブロック内の番号は、上記説明した変形例の番号に対応する。
【００５１】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【００５２】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第２３３８２３号（２００６年８月３０日出願）
【特許請求の範囲】
【請求項１】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部と、
前記対象に対する前記結像光学系の焦点調節状態を検出する焦点検出装置とを備え、
前記設定部は、前記焦点調節状態に基づいて前記第２基準画像情報を決定する画像追尾装置。
【請求項２】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
前記設定部は、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする画像追尾装置。
【請求項３】
請求項１又は請求項２に記載された画像追尾装置において、
前記設定部は、前記第２基準画像情報に対応する画像の大きさが、前記第１基準画像情報に対応する画像の大きさよりも小さくなるように、前記第２基準画像情報を設定する画像追尾装置。
【請求項４】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾装置。
【請求項５】
請求項１〜３のいずれか１項に記載された画像追尾装置において、
前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾装置。
【請求項６】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾装置。
【請求項７】
請求項１〜５のいずれか１項に記載された画像追尾装置において、
前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾装置。
【請求項８】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾装置。
【請求項９】
請求項１〜７のいずれか１項に記載された画像追尾装置において、
前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾装置。
【請求項１０】
請求項４〜９のいずれか１項に記載された画像追尾装置において、
前記認識部は、前記画像情報において前記第１基準画像情報に対応する画像の下側について設定された前記第２基準画像情報に対する重み付けを他の前記第２基準画像情報よりも大きくして前記候補のいずれかを選択する画像追尾装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載された画像追尾装置において、
前記画像情報は、色情報または輝度である画像追尾装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載された画像追尾装置を備えるカメラ。
【請求項１３】
請求項１２に記載されたカメラにおいて、
前記カメラの姿勢を検出する姿勢検出装置を有し、
前記認識部は、前記姿勢検出装置からの出力に応じて前記第２基準画像情報を決定する決定部とを備えるカメラ。
【請求項１４】
請求項１２又は請求項１３に記載されたカメラにおいて、
前記画像情報は画像処理を施した画像情報であるカメラ。
【請求項１５】
結像光学系による像を撮像して画像情報を生成し、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
前記対象に対する前記結像光学系の焦点調節状態に基づいて、前記第２基準画像情報を決定する画像追尾方法。
【請求項１６】
請求項１５に記載された画像追尾方法において、
前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする画像追尾方法。
【請求項１７】
結像光学系による像を撮像して画像情報を生成し、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾方法。
【請求項１８】
請求項１５又は請求項１６に記載された画像追尾方法において、
前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾方法。
【請求項１９】
結像光学系による像を撮像して画像情報を生成し、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾方法。
【請求項２０】
請求項１５〜１８のいずれか１項に記載された画像追尾方法において、
前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾方法。
【請求項２１】
結像光学系による像を撮像して画像情報を生成し、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾方法。
【請求項２２】
請求項１５〜１８のいずれか１項に記載された画像追尾方法において、
前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾方法。
【請求項２３】
請求項１７〜２２のいずれか１項に記載された画像追尾方法において、
前記画像情報において前記第１基準画像情報に対応する画像の下側について設定された前記第２基準画像情報に対する重み付けを他の前記第２基準画像情報よりも大きくして前記候補のいずれかを選択する画像追尾方法。
【請求項１】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部と、
前記対象に対する前記結像光学系の焦点調節状態を検出する焦点検出装置とを備え、
前記設定部は、前記焦点調節状態に基づいて前記第２基準画像情報を決定する画像追尾装置。
【請求項２】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
前記設定部は、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする画像追尾装置。
【請求項３】
請求項１又は請求項２に記載された画像追尾装置において、
前記設定部は、前記第２基準画像情報に対応する画像の大きさが、前記第１基準画像情報に対応する画像の大きさよりも小さくなるように、前記第２基準画像情報を設定する画像追尾装置。
【請求項４】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾装置。
【請求項５】
請求項１〜３のいずれか１項に記載された画像追尾装置において、
前記認識部は、前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾装置。
【請求項６】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾装置。
【請求項７】
請求項１〜５のいずれか１項に記載された画像追尾装置において、
前記設定部は、前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾装置。
【請求項８】
結像光学系による像を撮像して画像情報を生成する撮像装置と、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の情報に基づいて第２基準画像情報を設定する設定部と、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する認識部とを備え、
前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾装置。
【請求項９】
請求項１〜７のいずれか１項に記載された画像追尾装置において、
前記設定部は、前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾装置。
【請求項１０】
請求項４〜９のいずれか１項に記載された画像追尾装置において、
前記認識部は、前記画像情報において前記第１基準画像情報に対応する画像の下側について設定された前記第２基準画像情報に対する重み付けを他の前記第２基準画像情報よりも大きくして前記候補のいずれかを選択する画像追尾装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載された画像追尾装置において、
前記画像情報は、色情報または輝度である画像追尾装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載された画像追尾装置を備えるカメラ。
【請求項１３】
請求項１２に記載されたカメラにおいて、
前記カメラの姿勢を検出する姿勢検出装置を有し、
前記認識部は、前記姿勢検出装置からの出力に応じて前記第２基準画像情報を決定する決定部とを備えるカメラ。
【請求項１４】
請求項１２又は請求項１３に記載されたカメラにおいて、
前記画像情報は画像処理を施した画像情報であるカメラ。
【請求項１５】
結像光学系による像を撮像して画像情報を生成し、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
前記対象に対する前記結像光学系の焦点調節状態に基づいて、前記第２基準画像情報を決定する画像追尾方法。
【請求項１６】
請求項１５に記載された画像追尾方法において、
前記第１基準画像情報に対応する画像の近傍に位置する画像の情報を繰り返し検出し、最も変化の少ない画像情報を前記第２基準画像情報とする画像追尾方法。
【請求項１７】
結像光学系による像を撮像して画像情報を生成し、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾方法。
【請求項１８】
請求項１５又は請求項１６に記載された画像追尾方法において、
前記第１基準画像情報と所定値以上の相関を示す複数の画像情報を前記対象と認識する候補として検出した場合は、前記第２基準画像情報に基づいて複数の前記候補のいずれかを選択する画像追尾方法。
【請求項１９】
結像光学系による像を撮像して画像情報を生成し、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾方法。
【請求項２０】
請求項１５〜１８のいずれか１項に記載された画像追尾方法において、
前記第１基準画像情報に対応する画像の大きさに基づいて、前記第２基準画像情報に対応する画像の大きさと位置の少なくとも一方を決定する画像追尾方法。
【請求項２１】
結像光学系による像を撮像して画像情報を生成し、
前記画像情報に基づいて、該画像情報のうち対象となる像の一部に対応する画像情報を含む第１基準画像情報を設定するとともに、前記第１基準画像情報に対応する画像の近傍に位置する画像の位置に基づいて第２基準画像情報を設定し、
前記第１基準画像情報と前記第２基準画像情報とに基づいて前記対象を認識する画像追尾方法であって、
前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾方法。
【請求項２２】
請求項１５〜１８のいずれか１項に記載された画像追尾方法において、
前記結像光学系の光学特性に基づいて前記第２基準画像に対応する画像の大きさを決定する画像追尾方法。
【請求項２３】
請求項１７〜２２のいずれか１項に記載された画像追尾方法において、
前記画像情報において前記第１基準画像情報に対応する画像の下側について設定された前記第２基準画像情報に対する重み付けを他の前記第２基準画像情報よりも大きくして前記候補のいずれかを選択する画像追尾方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１４２９５８（Ｐ２０１２−１４２９５８Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１２−２７３０１（Ｐ２０１２−２７３０１）
【出願日】平成２４年２月１０日（２０１２．２．１０）
【分割の表示】特願２００８−５３２０１１（Ｐ２００８−５３２０１１）の分割
【原出願日】平成１９年８月８日（２００７．８．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２４年２月１０日（２０１２．２．１０）
【分割の表示】特願２００８−５３２０１１（Ｐ２００８−５３２０１１）の分割
【原出願日】平成１９年８月８日（２００７．８．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]