撮像装置、撮像方法およびプログラム
【課題】被写体検出による被写体領域とトラッキングによる追跡領域とを適切に併用して撮像に係る各種の制御を遂行する。
【解決手段】撮像部１２４は、被写体を撮像し画像データを生成する。被写体検出部１７０は、取得された画像データについて、被写体領域を特定する。トラッキング部１７４は、取得された画像データについて、追跡対象である追跡領域を特定する。距離判断部１７６は、特定された追跡領域から所定距離内に、特定された被写体領域が含まれるか否かを判断する。領域統合部１７８は、特定された被写体領域が所定距離内に含まれる場合、特定された追跡領域に関する情報に被写体領域に関する情報を統合する。制御部は、領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う。
【解決手段】撮像部１２４は、被写体を撮像し画像データを生成する。被写体検出部１７０は、取得された画像データについて、被写体領域を特定する。トラッキング部１７４は、取得された画像データについて、追跡対象である追跡領域を特定する。距離判断部１７６は、特定された追跡領域から所定距離内に、特定された被写体領域が含まれるか否かを判断する。領域統合部１７８は、特定された被写体領域が所定距離内に含まれる場合、特定された追跡領域に関する情報に被写体領域に関する情報を統合する。制御部は、領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して得られた画像データから特定された所定の領域を使用して撮像に係る各種制御を行う撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置には、撮像した画像中の人の顔を検出する顔検出技術が採用されている。このような撮像装置は、顔検出技術で検出された顔の情報（輝度、位置等）に基づいて、オートフォーカスや自動露出等の制御を行っている。
【０００３】
この顔検出技術を拡張し、顔検出された顔領域に基づいて体領域の検出（体検出）を行い、顔領域と体領域に基づいて、オートフォーカスを行う技術が提案されている（例えば、特許文献１）。かかる技術によれば、撮像装置は、測距のための対象領域を広く取ってオートフォーカスを高精度に遂行できる。
【０００４】
また、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置では、撮像対象となる被写体を追跡するいわゆるトラッキング技術が従来から用いられている。例えば、撮像された画像データの色情報を利用するトラッキング技術では、撮像装置は、まず、撮像された画像データのフレーム内の追跡領域の色パターンを特定する。次にその追跡領域の特定されたフレームの次のフレームに関し、前フレームの追跡領域の座標近傍の領域の色パターンを特定し、特定された両フレームの色パターンを比較する。そして、追跡領域と色が類似すると見なした領域を、次フレームにおける新たな追跡領域と見なす。以降、撮像装置は、フレーム毎に同様の処理を繰り返しつつ、追跡領域の画像の情報（輝度、位置等）に基づいた制御を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−７６７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、例えば、猫や犬等のペットを撮像する場合も、その顔に対して顔検出技術を用いることで、上述したオートフォーカスや自動露出等の制御を行うことができる。しかし、特許文献１の技術を用いても、ペットは顔に対する胴体の位置や胴体の形状が特定し難く胴体を検出することが難しい。さらに、撮像者がペットを、顔が撮像装置に向いた状態に維持させることは容易ではなく、ペットを撮像して得られた画像データから所定領域を特定して、その特定された領域を使用してオートフォーカスや自動露出等の制御を実施することは困難であった。
【０００７】
ここで、上述したトラッキング技術を顔検出技術と併用すれば、ある被写体が顔検出された後、顔を撮像装置から背けられて顔をロストして（見失って）しまっても、撮像装置は、その被写体を色パターンによって追跡し続け、制御を遂行することができる。一方、このような処理を経て追跡されている被写体が、再度、撮像装置の方へ顔を向けると、新たに顔が検出される。このとき、撮像装置は、同一の被写体であるはずの、検出された顔と、追跡し続けていた被写体とを、別の被写体として認識してしまう。この場合、本来、検出された顔の情報も参照すべきところ、追跡領域の情報のみを参照してしまい、適切な制御が行われないおそれがある。
【０００８】
そこで、本発明は、このような課題に鑑み、被写体検出による被写体領域とトラッキングによる追跡領域とを適切に併用して撮像に係る各種の制御を遂行可能な撮像装置、撮像方法およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の、被写体を撮像し画像データを生成する撮像部を備えた撮像装置は、生成された画像データについて、被写体領域を特定する被写体検出部と、生成された画像データについて、追跡対象である追跡領域を特定するトラッキング部と、特定された追跡領域から所定距離内に、特定された被写体領域が含まれるか否かを判断する距離判断部と、特定された被写体領域が所定距離内に含まれる場合、特定された追跡領域に関する情報に被写体領域に関する情報を統合する領域統合部と、領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う制御部と、を備えることを特徴とする。
【００１０】
領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、制御部はその被写体領域を対象としてオートフォーカスまたは自動露出の制御を行ってもよい。
【００１１】
画像データに基づく画像を表示する表示部をさらに備え、領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、制御部はその被写体領域のみに指標を重畳して表示部に表示させる制御をさらに行ってもよい。
【００１２】
距離判断部は、特定された被写体領域の大きさを導出し、所定距離を、被写体領域の大きさに比例して設定してもよい。
【００１３】
上記課題を解決するために、本発明の撮像方法は、被写体を撮像し画像データを生成し、生成した画像データについて、被写体領域を特定し、生成した画像データについて、追跡対象である追跡領域を特定し、特定した追跡領域から所定距離内に、特定した被写体領域が含まれるか否かを判断し、特定した被写体領域が所定距離内に含まれる場合、特定した追跡領域に関する情報に被写体領域に関する情報を統合し、特定した被写体領域に関する情報に被写体領域に関する情報が統合されると、その被写体領域を使用して撮像の制御を行うことを特徴とする。
【００１４】
上記課題を解決するために、本発明のプログラムは、被写体が撮像されることで生成された画像データを処理するコンピュータを、生成された画像データについて、被写体領域を特定する被写体検出部と、生成された画像データについて、追跡対象である追跡領域を特定するトラッキング部と、特定された追跡領域から所定距離内に、特定された被写体領域が含まれるか否かを判断する距離判断部と、特定された被写体領域が所定距離内に含まれる場合、特定された追跡領域に関する情報に被写体領域に関する情報を統合する領域統合部と、領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う制御部と、して機能させる。
【発明の効果】
【００１５】
本発明によれば、被写体検出による被写体領域とトラッキングによる追跡領域とを適切に併用して撮像に係る各種の制御を遂行することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】撮像装置の概略的な機能を示した機能ブロック図である。
【図２】撮像装置の一例を示した外観図である。
【図３】領域統合処理を説明するための説明図である。
【図４】領域統合処理を説明するための説明図である。
【図５】撮像方法の全体的な流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
本実施形態の撮像装置１００は、被写体検出とトラッキングとを併用した場合に、被写体検出とトラッキングとで、同一の被写体の画像データに対して複数の領域を特定してしまった場合に、オートフォーカスや自動露出等、あるいは画像データに対する指標の重畳といった撮像に係る各種制御を適切に行うことができる。以下、このような撮像装置１００について詳述する。
【００１９】
（撮像装置１００）
図１は、撮像装置１００の概略的な機能を示した機能ブロック図であり、図２は、撮像装置１００の一例を示した外観図である。撮像装置１００は、表示部１２０と、操作部１２２と、撮像部１２４と、データ処理部１２６と、画像記憶部１２８と、画像処理部１３０と、記録・再生Ｉ／Ｆ部１３２と、画像出力部１３４と、メイン記憶部１３６と、中央制御部１３８とを含んで構成される。なお、操作部１２２と、データ処理部１２６、画像記憶部１２８、画像処理部１３０、記録・再生Ｉ／Ｆ部１３２、画像出力部１３４、メイン記憶部１３６、中央制御部１３８、および後述する駆動制御部１５４はシステムバス１４０を介して接続されている。
【００２０】
表示部１２０は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、表示用画像データ（ビュー画像データ）に基づく画像を表示する（以下、単に「表示用画像データを表示する」と表現する）。撮像者は表示部１２０に表示された表示用画像を参照し、撮像された画像データを確認することができ、被写体を所望する位置および大きさで捉えることが可能となる。
【００２１】
また、表示部１２０の表面には、操作部１２２の一部であるタッチセンサが配置され、撮像者がタッチした位置情報は、操作部１２２の出力として中央制御部１３８に入力される。
【００２２】
操作部１２２は、タッチセンサ、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等で構成され、撮像者からの撮像モードの切り換え等の操作入力を受け付ける。この撮像モードには、例えば、野外、屋内、夜景といった環境に適応させるためのモードの他、検出した人の顔を優先的に処理対象としてＡＦ（自動焦点）やＡＥ（自動露出）制御を行う「人顔優先ＡＦ&ＡＥ」、撮像者のタッチセンサへのタッチ位置を優先的に処理対象としてＡＦやＡＥ制御を行う「タッチ追尾ＡＦ&ＡＥ」、検出したペットの顔を優先的に処理対象としてＡＦやＡＥ制御を行う「ペット顔優先ＡＦ&ＡＥ」等のＡＦ&ＡＥの優先順位を定めたモードが含まれる。
【００２３】
撮像部１２４は、撮像レンズ１２４ａを通じて被写体を撮像し画像データを生成する。撮像部１２４は、具体的に、近赤外光を遮るＩＲカットフィルタ１４０、ズーム機能を実現するためのズームレンズ１４２、焦点調整に用いられるフォーカスレンズ１４４、露光調整に用いられる絞り１４６、撮像レンズ１２４ａを通じて入射する被写体像等の光を光電変換し画像信号を生成するＣＣＤ（Charge Coupled Devices）等で構成される撮像素子（撮像回路）１４８、撮像素子１４８からの画像信号を増幅する増幅器１５０、増幅された画像信号をデジタルデータである画像データに変換するＡ／Ｄ変換器１５２、ズームレンズ１４２、フォーカスレンズ１４４および絞り１４６の駆動を制御する駆動制御部１５４とその駆動回路１５６とを含んで構成される。
【００２４】
データ処理部１２６は、入力された画像データに対して輝度データや色差データを形成する等の処理を行い、画像記憶部１２８に伝達する。また、データ処理部１２６は、画像データの平均輝度を導出し中央制御部１３８へ出力する。
【００２５】
画像記憶部１２８は、ＳＤＲＡＭ（Synchronous-DRAM）等のバッファメモリで構成され、画像データを一時的に記憶する。画像記憶部１２８に記憶された画像データは、画像処理部１３０、中央制御部１３８等に参照される。
【００２６】
画像処理部１３０は、画像記憶部１２８から画像データを取得し、ＭＰＥＧ−２、ＭＰＥＧ−４、またはＭＰＥＧ−４／ＡＶＣ等の形式で符号化処理を施して記録用のデータである記録データを生成する。また、画像処理部１３０は、後述する表示制御部１８２の制御信号に応じ画像記憶部１２８から取得した画像データを縮小し表示用画像データを生成し、表示部１２０に出力する。一方、後述する任意の記録媒体１６０に記録された記録データを再生する場合、画像処理部１３０は記録データを復号する処理を実行する。
【００２７】
記録・再生Ｉ／Ｆ部１３２は、画像処理部１３０が生成した記録データ（データストリーム）を任意の記録媒体１６０に記録する。任意の記録媒体１６０としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。また、記録・再生Ｉ／Ｆ部１３２は、任意の記録媒体１６０から記録データを読み出し、画像処理部１３０に出力する。
【００２８】
画像出力部１３４は、画像記憶部１２８および画像処理部１３０からの画像データを、例えば、液晶表示装置、プロジェクタ等の外部装置１６２に出力する。
【００２９】
メイン記憶部１３６は、ＳＤＲＡＭ等のバッファメモリで構成され、中央制御部１３８で処理されるプログラム等を記憶する。またメイン記憶部１３６は、後述する被写体検出処理およびトラッキング処理に用いる画像データを記憶する。
【００３０】
ただし、トラッキング処理が開始されている場合、画像記憶部１２８に記憶された画像データは、メイン記憶部１３６の第１領域、第２領域に転送される。そして、被写体検出処理では第１領域に記憶された画像データが、トラッキング処理では第２領域に記憶された画像データがそれぞれ用いられる。
【００３１】
ここで、同じ画像データを第１領域と第２領域それぞれに記憶させるのは、被写体検出処理の方がトラッキング処理よりも時間がかかるためである。例えば、被写体検出処理は５フレーム期間程度の時間がかかるのに対し、トラッキング処理は１フレーム期間内で終了する。したがって、被写体検出処理では５フレーム毎に１度画像データが記憶される。被写体検出処理とトラッキング処理とにかかる時間がいずれも１フレーム期間内で終了する場合、メイン記憶部１３６の第１領域と第２領域それぞれに記憶させずともよい。
【００３２】
中央制御部１３８は、中央処理装置（ＣＰＵ）、プログラム等が記憶されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により撮像装置１００全体を管理および制御し、撮像等に必要となる各種演算を実行する。また、中央制御部１３８は、被写体検出部１７０、色分布抽出部１７２、トラッキング部１７４、距離判断部１７６、領域統合部１７８、撮像制御部１８０、表示制御部１８２、としても機能する。
【００３３】
被写体検出部１７０は、メイン記憶部１３６の第１領域に記憶されている画像データについて、輝度データから被写体（例えば、人やペットの顔、顔以外の部位）を検出する。本実施形態においては、被写体検出部１７０は、被写体として、猫や犬などのペットの顔を検出する例を挙げる。
【００３４】
ここでは、被写体検出部１７０は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出することとする。しかし、被写体検出部１７０は、顔の構成要素（目、鼻、耳等）に基づくテンプレートマッチングや、特開２０１０−２９６０号公報に示されるように、Ａｄａｂｏｏｓｔアルゴリズムによって生成される複数の識別器をカスケード接続して用いる技術等、既存のどのような顔検出技術を用いてもよい。いずれにしても、被写体検出部１７０は、検出した顔の位置、大きさ、傾き等を示す顔情報を特定し、メイン記憶部１３６に記憶させる。
【００３５】
色分布抽出部１７２は、メイン記憶部１３６の第１領域に記憶されている画像データのうち、顔中心位置およびその周辺領域の輝度データと色差データとをＲＧＢデータに変換し、色分布を求める。本実施形態において、周辺領域の外縁は、例えば、水平方向１１画素、垂直方向１１画素からなる矩形領域とするが、周辺領域の形状は、矩形に限定されず、多角形であってもよいし円形であってもよいし、その他、どのような形状、大きさであってもよい。
【００３６】
本実施形態において、色分布は、色ヒストグラムで示される。色ヒストグラムは、以下のように導出される。すなわち、対象となる画像データのそれぞれの画素が、ＲＧＢの色空間を各軸（Ｒ軸、Ｇ軸、Ｂ軸）に垂直にＮ分割（例えば、Ｎ＝１６）したときの分割された各空間が示す色の範囲のいずれに含まれるかが判断される。そして、色ヒストグラムは、それぞれの色の範囲に含まれる画素の数が計数され、色の範囲とその色の範囲に含まれる画素の数とを対応付けて導出される。ただし、Ｎは予め定められた自然数とする。また、色ヒストグラムは、各軸に垂直な分割数を、軸毎に異ならせて導出されてもよい。
【００３７】
また、色分布抽出部１７２は、画像データを、ＲＧＢデータの代わりにＨＳＶ（Hue Saturation Value）データに変換して色分布を求めてもよい。この場合、色ヒストグラムは、ＨＳＶの色空間で各軸（Ｈ軸、Ｓ軸、Ｖ軸）に垂直にＮ分割したときの分割された各空間が示す色の範囲についてＲＧＢデータと同様に導出される。
【００３８】
そして、色分布抽出部１７２は、導出した色分布の情報（色ヒストグラムおよび色ヒストグラムの導出元の画像データの位置情報）を、導出元の被写体領域に関連付けてメイン記憶部１３６に記憶させる。
【００３９】
トラッキング部１７４は、メイン記憶部１３６の第２領域に記憶されている画像データについて、色ヒストグラムの比較によって、追跡対象である追跡領域を特定する。
【００４０】
具体的には、トラッキング部１７４は、まず、メイン記憶部１３６に記憶された色分布の情報を読み出す。そして、トラッキング部１７４は、読み出した色分布の情報に含まれる位置近傍の比較領域の画像データから色ヒストグラムを導出する。
【００４１】
その後、トラッキング部１７４は、導出した色ヒストグラムと、読み出した色分布の情報に含まれる色ヒストグラムとのヒストグラムインターセクションを導出する。
【００４２】
ここで、ヒストグラムインターセクションは、２つの色ヒストグラムについて、同じ色の範囲の画素数を比較し、少ない方の画素数のみを抽出し、すべての色の範囲について抽出された画素数の総和を取ったものである。比較する画像データの色分布が類似しているほど、ヒストグラムインターセクションの値は大きくなる。
【００４３】
次に、トラッキング部１７４は、所定範囲内で、水平方向や垂直方向に１画素ずつ、比較領域を移動し、各位置におけるヒストグラムインターセクションを導出する。そして、トラッキング部１７４は、最もヒストグラムインターセクションの値が大きい位置に被写体が移動したものと見なし、その位置情報をメイン記憶部１３６に記憶させる。
【００４４】
色ヒストグラムの比較によって追跡領域を特定する構成により、トラッキング部１７４は、被写体の形状が変化して特定し難い、例えば、ペットの胴体等も追跡可能となる。
【００４５】
ただし、トラッキング処理としては、色ヒストグラムを用いたヒストグラムインターセクションに限らず、色分布の特徴量の類似度を比較する既存のどのような技術を用いてもよい。あるいは、単色の色の類似度を比較する技術であってもよいし、色情報と形状情報等を組み合わせた技術を用いてもよい。
【００４６】
距離判断部１７６は、トラッキング部１７４が特定した追跡領域から所定距離内に、被写体検出部１７０が特定した被写体領域が含まれるか否かを判断する。ここで、追跡領域と被写体領域との距離は、画像データにおけるそれぞれの領域の位置から導出される。例えば、画像データにおける画面内の左上端から、水平方向Ｐｘ１画素、垂直方向Ｐｙ１画素の位置に被写体領域があり、追跡領域が水平方向Ｐｘ２画素、垂直方向Ｐｙ２画素の位置にある場合、追跡領域と被写体領域の距離である距離Ｌは、以下の数式１で導出される。ただし、Ｐｘ１、Ｐｘ２、Ｐｙ１、Ｐｙ２は整数である。
【数１】
…（数式１）
【００４７】
ここで、距離導出の起点となる位置は、追跡領域と被写体領域それぞれにおける中心でもよいし、両領域の距離が最も近い位置でもよい。また、被写体領域側の起点については、顔の中心でもよいし、左右の眼の中心位置でもよい。いずれにしても、予め定められた基準に則って、追跡領域と被写体領域それぞれの起点が定められることとする。
【００４８】
領域統合部１７８は、被写体領域が追跡領域から所定距離内に含まれる場合、追跡領域に関する情報に被写体領域に関する情報を統合する。かかる統合処理については、後に詳述する。
【００４９】
撮像制御部１８０は、撮像の際の制御としてフォーカス制御を遂行する。まず、撮像制御部１８０は、被写体領域または追跡領域の画像データをメイン記憶部１３６から読み出す。そして、撮像制御部１８０は、読み出した画像データを用い、コントラスト法によって自動焦点調整を行う。コントラスト法は、撮像素子１４８上の像のボケの程度とコントラストの間に相関があり、焦点が合ったときにコントラストが最大となることを利用して焦点合わせを行う技術である。
【００５０】
ここでは、コントラストの大きさは、画像データに含まれる高周波成分の割合によって評価される。撮像制御部１８０は、読み出した画像データのうちの輝度データにＢＰＦ（バンドパスフィルタ）をかけて高周波成分を抽出し、抽出された高周波成分の絶対値の積分値を評価値とし、評価値が最大となるようにオートフォーカス演算を行う。そして、撮像制御部１８０は、演算結果に応じて駆動制御部１５４に制御信号を出力し、駆動回路１５６を制御して合焦動作を行わせる。
【００５１】
また、撮像制御部１８０は、撮像の際の制御として露光調整の制御を遂行する。まず、撮像制御部１８０は、被写体領域または追跡領域の画像データをメイン記憶部１３６から読み出す。そして、撮像制御部１８０は、画像データに含まれる輝度データについて平均値を導出し、平均値が所定の範囲に含まれるように、駆動制御部１５４に制御信号を出力して、絞り１４６の絞り量を調整させる。
【００５２】
表示制御部１８２は、画像処理部１３０に表示用画像データを生成させ、表示部１２０に表示させる。このとき、表示制御部１８２は、撮像の際の制御として被写体領域および追跡領域を示す指標を重畳する。
【００５３】
続いて、上述した撮像装置１００による、被写体領域と追跡領域との特定から統合処理、および、その後の制御について詳述する。
【００５４】
（領域の特定および統合処理）
図３および図４は、領域統合処理を説明するための説明図である。撮像開始時、図３（ａ）に示すように、猫Ａが撮像装置１００側に顔を向けている場合、被写体検出部１７０は、猫Ａの顔を検出し、被写体領域を特定する。この時点では、追跡領域は特定されておらず、距離判断部１７６や領域統合部１７８による処理は行われない。
【００５５】
表示制御部１８２は、特定された被写体領域に、顔の大きさに比例して決定される大きさの指標（ここでは、枠１９０）を、表示用画像データに重畳して表示部１２０に表示させる。
【００５６】
あるフレームＸにおいて猫Ａの顔に対応する被写体領域を特定した後、数フレームが経過すると、次の被写体特定処理の結果が導出される。次の被写体特定処理の結果、フレームＸにおいて特定した被写体領域から所定の距離の範囲内で被写体領域が特定された場合、被写体特定部１７０は、同じ被写体（猫Ａの顔）を追尾していると判断する。
【００５７】
一方、次の被写体特定処理の結果、フレームＸにおいて特定した被写体領域から所定の距離の範囲内で被写体領域が特定されなかった場合、被写体特定部１７０は、対象をロストしたと判断する（ロスト判断処理）。ロストは対象を見失うことであり、ここでは、対象は、被写体領域そのもの、または被写体領域に対応した被写体（例えば、猫Ａの顔）を示す。
【００５８】
そして、所定の契機によって、その契機に対応した被写体についてのトラッキング処理が開始される。ここで、所定の契機は、例えば、枠１９０に対応する位置のタッチセンサ（操作部１２２）へのタッチ操作、１つ以上の顔を検出したこと、または、検出された顔が予め登録された顔と同一と判断されたこと等がある。
【００５９】
また、タッチセンサの枠１９０のない位置にタッチ操作があった場合、タッチされた位置を中心とする予め定められた大きさの領域に対応する画像データをトラッキングの対象としてトラッキング処理が開始されてもよい。
【００６０】
所定の契機によってトラッキング処理が開始されると、被写体検出部１７０は、第１領域に記憶された画像データを用いて被写体検出処理を継続する一方、色分布抽出部１７２およびトラッキング部１７４は、第２領域に記憶された画像データを用いてトラッキング処理を行う。
【００６１】
ただし、トラッキング処理によって特定された追跡領域は、その追跡領域の特定元である被写体領域と、同一の被写体を示すものとして関連付けられる。そして、表示制御部１８２は、その追跡領域と関連付けられた被写体領域がロストされるまで、追跡領域に指標を重畳せず、撮像制御部１８０は、オートフォーカスおよび露光調整の処理に追跡領域と関連付けられた被写体領域の画像データを用いる。ただし、被写体領域がロストされるまで、被写体領域と追跡領域とは大凡等しくなる。
【００６２】
そして、数フレーム後、図３（ｂ）に示すように、猫Ａが撮像装置１００から顔を背け、被写体特定部１７０は被写体領域をロストしたとする。表示制御部１８２は、追跡領域の特定元である被写体領域をロストしたことを契機に、追跡領域を示す指標である枠１９２を表示用画像データに重畳して、表示部１２０に表示させる。このとき、枠１９２の大きさは、トラッキング処理の対象とした画像データが顔であった場合、その顔の大きさに応じた大きさとする。
【００６３】
また、枠１９２の大きさは、追跡領域内に、ヒストグラムインターセクションの値が予め定められた閾値以上となった比較領域の面積が大きい程、大きく設定されてもよい。
【００６４】
続いて、追跡領域を示す指標である枠１９２が表示されたまま、数フレームが経過した後、猫Ａが再び撮像装置１００側に顔を向けたとする。このとき、単に、被写体検出部１７０が検出した猫Ａの顔に枠１９０を重畳した場合、図４（ａ）に示すように、同一の猫Ａについて、２つの指標（枠１９０、枠１９２）が重畳されてしまう。
【００６５】
そこで、本実施形態では、領域統合処理が行われる。まず、距離判断部１７６は、追跡領域から所定距離内に被写体領域が含まれるか否かを判断する。図４（ａ）のように、被写体領域が追跡領域から所定距離内に含まれる場合、距離判断部１７６は、この追跡領域と被写体領域とは同一の被写体を対象としているものと見なし、追跡領域と被写体領域とを関連付ける。図４（ａ）に破線の円Ｓで所定距離の範囲の一例を示す。
【００６６】
ただし、距離判断部１７６は、被写体領域の大きさを導出し、所定距離を、被写体領域の大きさに比例して設定する。本実施形態においては、所定距離は、例えば、被写体領域の大きさの３倍とする。ここで、被写体領域の大きさ（ここでは猫の顔の大きさ）は、例えば、被写体領域の直径とする。ただし、被写体領域の大きさとして、例えば、被写体領域の面積の平方根を用いてもよいし、被写体領域の水平方向や垂直方向の最大幅を用いてもよい。また、ここでは、所定距離は、被写体領域の大きさの３倍としたが、例えば、２倍、４倍、５倍等、被写体の特性に応じた値とすることが望ましい。
【００６７】
かかる構成により、距離判断部１７６は、統合の対象となる被写体領域の選別を、被写体の大きさに応じた判断基準によって高精度に遂行可能となる。
【００６８】
また、図４（ｂ）に示すように、同じフレームにおいて、複数の被写体領域（図４（ｂ）において猫Ａの顔に重畳された枠１９０、猫Ｂの顔に重畳された枠１９６、猫Ｃの顔に重畳された枠１９８で示す）が特定された場合、距離判断部１７６は、追跡領域に最も近い被写体領域の大きさを導出して、所定距離を、例えば、導出された大きさの３倍に設定する。そして、距離判断部１７６は、追跡領域から所定距離内にその被写体領域がない場合、次に追跡領域に近い被写体領域について、所定距離の設定および所定距離内にあるか否かの判断を行う。図４（ｂ）に破線の円Ｓで所定距離の範囲の一例を示す。
【００６９】
こうして、距離判断部１７６は、被写体領域が所定距離内にあると判断されるか、すべての被写体領域が所定距離内にないと判断されるまで、追跡領域から近い被写体領域から順次、判断処理を行う。図４（ｂ）の場合、一番近い被写体領域が、所定距離内にあったものとする。
【００７０】
また、被写体検出部１７０が被写体を検出する範囲を、例えば、追跡領域から予め定められた所定範囲内とすることで、距離判断部１７６による判断処理の対象となる被写体領域の数を抑制し、処理負荷を低減させてもよい。
【００７１】
さらに、距離判断部１７６は、所定距離を、所定の固定値として設定してもよい。かかる構成により、距離判断部１７６は、統合の対象となる被写体領域の選別を、低処理負荷で遂行できる。
【００７２】
被写体領域が追跡領域から所定距離内に含まれる場合、領域統合部１７８は、追跡領域に関する情報に被写体領域に関する情報を統合する。所定距離内に含まれない場合、領域統合部１７８は、特に処理は行わない。
【００７３】
ここで、「情報を統合する」とは、例えば、追跡領域の位置情報に、被写体領域の位置情報を上書きすることである。追跡領域の位置情報に、被写体領域の位置情報を上書きすることで、トラッキング部１７４は、被写体領域の位置からトラッキング処理を再開でき、後に再び被写体領域をロストしても、追跡領域が被写体に近い位置を示し被写体の胴体等を追跡領域として特定できる可能性が高まる。
【００７４】
また、「情報を統合する」具体的な処理として、被写体領域と追跡領域との関連付け処理も含む。領域統合部１７８は、追跡領域から所定距離内にあった被写体領域を、その追跡領域と関連付ける。
【００７５】
さらに、「情報を統合する」具体的な処理として、画像データの位置情報を上書きすることに加えて、被写体領域の輝度データや色差データに基づいて、色分布情報を導出しなおすようにしてもよい。かかる構成により、トラッキング部１７４は、その後のトラッキング処理の精度を向上することができる。
【００７６】
そして、表示制御部１８２は、領域統合部１７８によって被写体領域に関する情報が追跡領域の情報に統合されると、表示用画像データに対し、追跡領域には指標を重畳せず、追跡領域と関連付けられた被写体領域のみに指標を重畳して表示部１２０に表示させる。すなわち、図３（ｃ）に示すように、猫Ａの顔にのみ、枠１９４が重畳されることとなる。このとき、枠１９４の大きさは、検出された被写体領域の大きさに応じたものとする。また、追跡情報として、この枠１９４の大きさで更新する。
【００７７】
図４（ｂ）に示す、同じフレームにおいて、複数の被写体領域が特定された場合も同様に、表示制御部１８２は、領域統合部１７８によって被写体領域に関する情報が追跡領域の情報に統合されると、図４（ｃ）に示すように、猫Ａについては、顔にのみ、枠１９４が重畳されることとなる。
【００７８】
このように、撮像装置１００は、表示部１２０において、同一の被写体に対して、複数の指標が表示されてしまう事態を回避でき、タッチセンサへのタッチ操作の操作性や表示部１２０の被写体の視認性を向上することが可能となる。
【００７９】
また、撮像制御部１８０は、領域統合部１７８によって被写体領域に関する情報が追跡領域の情報に統合されると、追跡領域に関連付けられた被写体領域を対象としてオートフォーカスまたは自動露出の制御を行う。つまり、撮像制御部１８０は、追跡領域（猫Ａの胴体）への情報統合処理の対象となった被写体領域（猫Ａの顔）の画像データを参照して、オートフォーカスや自動露出の制御を行う。かかる構成により、撮像制御部１８０は、被写体の顔に合わせて適切に撮像制御を遂行することが可能となる。
【００８０】
領域統合部１７８による領域統合処理後、トラッキング部１７４は、情報が統合された追跡領域の画像データの位置情報に示される領域からトラッキング処理を再開する。すなわち、トラッキング部１７４は、被写体領域およびその近傍を対象としてトラッキング処理を行う。
【００８１】
また、図３（ｄ）に示すように、猫Ａは撮像装置１００から顔を背けたままで、他の猫Ｂの顔が映り込んだ場合、追跡領域と新たな猫Ｂの顔に対応する被写体領域とが所定距離より離れていれば、猫Ａと猫Ｂとを異なる被写体として識別可能となるため、表示制御部１８２は、猫Ａの追跡領域を示す枠１９２と、猫Ｂの被写体領域を示す枠１９６とをいずれも表示画像データに重畳して表示部１２０に表示させる。
【００８２】
上述したように、本実施形態の撮像装置１００は、所定距離内に含まれる被写体領域と追跡領域を同一の被写体と見なし、それぞれに関する情報を統合する。そのため、例えば、オートフォーカスや自動露出等の撮像制御を適切に遂行でき、また、表示部１２０に表示する指標を統合することで視認性や操作性を向上可能となる。
【００８３】
また、コンピュータを、撮像装置１００として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８４】
（撮像方法）
次に、上述した撮像装置１００を用いて、被写体を撮像する撮像方法の一連の流れを説明する。図５は、撮像方法の全体的な流れを示したフローチャートである。かかる処理は、被写体特定処理およびトラッキング処理を並行して行う撮像モードにて撮像中、所定のフレーム周期で繰り返し実行される。
【００８５】
図５に示すように、撮像部１２４は、被写体を撮像し１フレームの画像データを生成する（Ｓ２００）。その画像データは画像記憶部１２８に記憶される（Ｓ２０２）。
【００８６】
中央制御部１３８は、以前のフレームの画像データについての被写体領域の特定処理が継続中であるか否かを判断する（Ｓ２０４）。継続中である場合（Ｓ２０４におけるＹＥＳ）、トラッキング処理の判定（Ｓ２１６）に処理を移す。
【００８７】
以前のフレームの画像データについての被写体領域の特定処理が終了している場合（Ｓ２０４におけるＮＯ）、色分布抽出部１７２は、被写体領域が特定されたか否か、すなわち、被写体領域の特定処理において被写体として特定できる画像データがあったか否かを判断する（Ｓ２０６）。特定されなかった場合（Ｓ２０６におけるＮＯ）、ロスト判断処理（Ｓ２１０）に処理を移す。
【００８８】
被写体領域が特定された場合（Ｓ２０６におけるＹＥＳ）、色分布抽出部１７２は、特定された被写体領域の色分布を導出して、メイン記憶部１３６に導出元の被写体領域に関連付けて記憶させる（Ｓ２０８）。
【００８９】
続いて、被写体特定部１７０は、ロスト判断処理を行う（Ｓ２１０）。ロスト判断処理は、上述したように、被写体特定処理の結果、あるフレームＸにおいて特定された被写体領域について、次の被写体特定処理の結果、所定の距離の範囲内で被写体領域が特定された場合、被写体特定部１７０は、同じ被写体を追尾していると判断し、特定されなかった場合、被写体特定部１７０は、対象をロストしたと判断する。
【００９０】
そして、中央制御部１３８は、画像記憶部１２８に記憶された新たな１フレームの画像データをメイン記憶部１３６の第１領域に記憶させる（Ｓ２１２）。被写体検出部１７０は、被写体特定処理を開始する（Ｓ２１４）。
【００９１】
そして、中央制御部１３８は、トラッキング処理が開始しているか否かを判断し（Ｓ２１６）、開始していない場合（Ｓ２１６におけるＮＯ）、中央制御部１３８は、例えば、タッチセンサへのタッチ操作といった所定の契機が発生したか否かを判断する（Ｓ２１８）。発生していない場合（Ｓ２１８におけるＮＯ）、処理を終了する。
【００９２】
所定の契機が発生した場合（Ｓ２１８におけるＹＥＳ）、トラッキング部１７４は、トラッキング処理を開始する（Ｓ２２０）。そして、撮像制御処理（Ｓ２３８）に処理を移す。
【００９３】
すでにトラッキング処理が開始している場合（Ｓ２１６におけるＹＥＳ）、中央制御部１３８は、画像記憶部１２８に記憶された１フレームの画像データをメイン記憶部１３６の第２領域に記憶させる（Ｓ２２２）。トラッキング部１７４は、前フレームから継続したトラッキング処理を行う（Ｓ２２４）。このとき、トラッキング処理によって追跡領域が特定されると、その追跡領域は、追跡領域の特定元である被写体領域と、同一の被写体を示すものとして関連付けられる。
【００９４】
続いて、中央制御部１３８は、ロスト判断処理ステップＳ２１０において、追跡領域に関連付けられた被写体領域をロストしたと判断されたか否かを判断する（Ｓ２２６）。ロストしていない場合（Ｓ２２６におけるＮＯ）、中央制御部１３８は、その被写体領域を、指標の重畳や撮像制御の対象として設定する（Ｓ２２８）。そして、撮像制御処理（Ｓ２３６）に処理を移す。
【００９５】
被写体領域をロストしている場合（Ｓ２２６におけるＹＥＳ）、距離判断部１７６は、追跡領域から所定距離内に被写体領域が含まれるか否かを判断する（Ｓ２３０）。含まれない場合（Ｓ２３０におけるＮＯ）、中央制御部１３８は、追跡領域を、指標の重畳や撮像制御の対象として設定する（Ｓ２３２）。そして、撮像制御処理（Ｓ２３６）に処理を移す。
【００９６】
追跡領域から所定距離内に被写体領域が含まれる場合（Ｓ２３０におけるＹＥＳ）、領域統合部１７８は、被写体領域の位置情報を、追跡領域の位置情報に上書きしたり、追跡領域から所定距離内にあった被写体領域を、その追跡領域と関連付けたりするといった情報統合処理を行う（Ｓ２３４）。
【００９７】
そして、設定された制御の対象に対して、撮像制御部１８０は、オートフォーカスや自動露出の処理を行い（Ｓ２３６）、表示制御部１８２は、指標の重畳を行った表示用画像データを表示部１２０に表示させる（Ｓ２３８）。
【００９８】
上述した撮像装置１００を用いた撮像方法によっても、オートフォーカスや自動露出等の撮像制御を適切に遂行でき、また、表示部１２０に表示する指標を統合することで視認性や操作性を向上可能となる。
【００９９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１００】
なお、本明細書の撮像方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０１】
本発明は、被写体を撮像して得られた画像データから特定された所定の領域を使用して撮像に係る各種制御を行う撮像装置、撮像方法およびプログラムに利用することができる。
【符号の説明】
【０１０２】
１００ …撮像装置
１２０ …表示部
１２４ …撮像部
１７０ …被写体検出部
１７４ …トラッキング部
１７６ …距離判断部
１７８ …領域統合部
１８０ …撮像制御部
１８２ …表示制御部
【技術分野】
【０００１】
本発明は、被写体を撮像して得られた画像データから特定された所定の領域を使用して撮像に係る各種制御を行う撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置には、撮像した画像中の人の顔を検出する顔検出技術が採用されている。このような撮像装置は、顔検出技術で検出された顔の情報（輝度、位置等）に基づいて、オートフォーカスや自動露出等の制御を行っている。
【０００３】
この顔検出技術を拡張し、顔検出された顔領域に基づいて体領域の検出（体検出）を行い、顔領域と体領域に基づいて、オートフォーカスを行う技術が提案されている（例えば、特許文献１）。かかる技術によれば、撮像装置は、測距のための対象領域を広く取ってオートフォーカスを高精度に遂行できる。
【０００４】
また、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置では、撮像対象となる被写体を追跡するいわゆるトラッキング技術が従来から用いられている。例えば、撮像された画像データの色情報を利用するトラッキング技術では、撮像装置は、まず、撮像された画像データのフレーム内の追跡領域の色パターンを特定する。次にその追跡領域の特定されたフレームの次のフレームに関し、前フレームの追跡領域の座標近傍の領域の色パターンを特定し、特定された両フレームの色パターンを比較する。そして、追跡領域と色が類似すると見なした領域を、次フレームにおける新たな追跡領域と見なす。以降、撮像装置は、フレーム毎に同様の処理を繰り返しつつ、追跡領域の画像の情報（輝度、位置等）に基づいた制御を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−７６７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、例えば、猫や犬等のペットを撮像する場合も、その顔に対して顔検出技術を用いることで、上述したオートフォーカスや自動露出等の制御を行うことができる。しかし、特許文献１の技術を用いても、ペットは顔に対する胴体の位置や胴体の形状が特定し難く胴体を検出することが難しい。さらに、撮像者がペットを、顔が撮像装置に向いた状態に維持させることは容易ではなく、ペットを撮像して得られた画像データから所定領域を特定して、その特定された領域を使用してオートフォーカスや自動露出等の制御を実施することは困難であった。
【０００７】
ここで、上述したトラッキング技術を顔検出技術と併用すれば、ある被写体が顔検出された後、顔を撮像装置から背けられて顔をロストして（見失って）しまっても、撮像装置は、その被写体を色パターンによって追跡し続け、制御を遂行することができる。一方、このような処理を経て追跡されている被写体が、再度、撮像装置の方へ顔を向けると、新たに顔が検出される。このとき、撮像装置は、同一の被写体であるはずの、検出された顔と、追跡し続けていた被写体とを、別の被写体として認識してしまう。この場合、本来、検出された顔の情報も参照すべきところ、追跡領域の情報のみを参照してしまい、適切な制御が行われないおそれがある。
【０００８】
そこで、本発明は、このような課題に鑑み、被写体検出による被写体領域とトラッキングによる追跡領域とを適切に併用して撮像に係る各種の制御を遂行可能な撮像装置、撮像方法およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の、被写体を撮像し画像データを生成する撮像部を備えた撮像装置は、生成された画像データについて、被写体領域を特定する被写体検出部と、生成された画像データについて、追跡対象である追跡領域を特定するトラッキング部と、特定された追跡領域から所定距離内に、特定された被写体領域が含まれるか否かを判断する距離判断部と、特定された被写体領域が所定距離内に含まれる場合、特定された追跡領域に関する情報に被写体領域に関する情報を統合する領域統合部と、領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う制御部と、を備えることを特徴とする。
【００１０】
領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、制御部はその被写体領域を対象としてオートフォーカスまたは自動露出の制御を行ってもよい。
【００１１】
画像データに基づく画像を表示する表示部をさらに備え、領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、制御部はその被写体領域のみに指標を重畳して表示部に表示させる制御をさらに行ってもよい。
【００１２】
距離判断部は、特定された被写体領域の大きさを導出し、所定距離を、被写体領域の大きさに比例して設定してもよい。
【００１３】
上記課題を解決するために、本発明の撮像方法は、被写体を撮像し画像データを生成し、生成した画像データについて、被写体領域を特定し、生成した画像データについて、追跡対象である追跡領域を特定し、特定した追跡領域から所定距離内に、特定した被写体領域が含まれるか否かを判断し、特定した被写体領域が所定距離内に含まれる場合、特定した追跡領域に関する情報に被写体領域に関する情報を統合し、特定した被写体領域に関する情報に被写体領域に関する情報が統合されると、その被写体領域を使用して撮像の制御を行うことを特徴とする。
【００１４】
上記課題を解決するために、本発明のプログラムは、被写体が撮像されることで生成された画像データを処理するコンピュータを、生成された画像データについて、被写体領域を特定する被写体検出部と、生成された画像データについて、追跡対象である追跡領域を特定するトラッキング部と、特定された追跡領域から所定距離内に、特定された被写体領域が含まれるか否かを判断する距離判断部と、特定された被写体領域が所定距離内に含まれる場合、特定された追跡領域に関する情報に被写体領域に関する情報を統合する領域統合部と、領域統合部によって被写体領域に関する情報が追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う制御部と、して機能させる。
【発明の効果】
【００１５】
本発明によれば、被写体検出による被写体領域とトラッキングによる追跡領域とを適切に併用して撮像に係る各種の制御を遂行することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】撮像装置の概略的な機能を示した機能ブロック図である。
【図２】撮像装置の一例を示した外観図である。
【図３】領域統合処理を説明するための説明図である。
【図４】領域統合処理を説明するための説明図である。
【図５】撮像方法の全体的な流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
本実施形態の撮像装置１００は、被写体検出とトラッキングとを併用した場合に、被写体検出とトラッキングとで、同一の被写体の画像データに対して複数の領域を特定してしまった場合に、オートフォーカスや自動露出等、あるいは画像データに対する指標の重畳といった撮像に係る各種制御を適切に行うことができる。以下、このような撮像装置１００について詳述する。
【００１９】
（撮像装置１００）
図１は、撮像装置１００の概略的な機能を示した機能ブロック図であり、図２は、撮像装置１００の一例を示した外観図である。撮像装置１００は、表示部１２０と、操作部１２２と、撮像部１２４と、データ処理部１２６と、画像記憶部１２８と、画像処理部１３０と、記録・再生Ｉ／Ｆ部１３２と、画像出力部１３４と、メイン記憶部１３６と、中央制御部１３８とを含んで構成される。なお、操作部１２２と、データ処理部１２６、画像記憶部１２８、画像処理部１３０、記録・再生Ｉ／Ｆ部１３２、画像出力部１３４、メイン記憶部１３６、中央制御部１３８、および後述する駆動制御部１５４はシステムバス１４０を介して接続されている。
【００２０】
表示部１２０は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、表示用画像データ（ビュー画像データ）に基づく画像を表示する（以下、単に「表示用画像データを表示する」と表現する）。撮像者は表示部１２０に表示された表示用画像を参照し、撮像された画像データを確認することができ、被写体を所望する位置および大きさで捉えることが可能となる。
【００２１】
また、表示部１２０の表面には、操作部１２２の一部であるタッチセンサが配置され、撮像者がタッチした位置情報は、操作部１２２の出力として中央制御部１３８に入力される。
【００２２】
操作部１２２は、タッチセンサ、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等で構成され、撮像者からの撮像モードの切り換え等の操作入力を受け付ける。この撮像モードには、例えば、野外、屋内、夜景といった環境に適応させるためのモードの他、検出した人の顔を優先的に処理対象としてＡＦ（自動焦点）やＡＥ（自動露出）制御を行う「人顔優先ＡＦ&ＡＥ」、撮像者のタッチセンサへのタッチ位置を優先的に処理対象としてＡＦやＡＥ制御を行う「タッチ追尾ＡＦ&ＡＥ」、検出したペットの顔を優先的に処理対象としてＡＦやＡＥ制御を行う「ペット顔優先ＡＦ&ＡＥ」等のＡＦ&ＡＥの優先順位を定めたモードが含まれる。
【００２３】
撮像部１２４は、撮像レンズ１２４ａを通じて被写体を撮像し画像データを生成する。撮像部１２４は、具体的に、近赤外光を遮るＩＲカットフィルタ１４０、ズーム機能を実現するためのズームレンズ１４２、焦点調整に用いられるフォーカスレンズ１４４、露光調整に用いられる絞り１４６、撮像レンズ１２４ａを通じて入射する被写体像等の光を光電変換し画像信号を生成するＣＣＤ（Charge Coupled Devices）等で構成される撮像素子（撮像回路）１４８、撮像素子１４８からの画像信号を増幅する増幅器１５０、増幅された画像信号をデジタルデータである画像データに変換するＡ／Ｄ変換器１５２、ズームレンズ１４２、フォーカスレンズ１４４および絞り１４６の駆動を制御する駆動制御部１５４とその駆動回路１５６とを含んで構成される。
【００２４】
データ処理部１２６は、入力された画像データに対して輝度データや色差データを形成する等の処理を行い、画像記憶部１２８に伝達する。また、データ処理部１２６は、画像データの平均輝度を導出し中央制御部１３８へ出力する。
【００２５】
画像記憶部１２８は、ＳＤＲＡＭ（Synchronous-DRAM）等のバッファメモリで構成され、画像データを一時的に記憶する。画像記憶部１２８に記憶された画像データは、画像処理部１３０、中央制御部１３８等に参照される。
【００２６】
画像処理部１３０は、画像記憶部１２８から画像データを取得し、ＭＰＥＧ−２、ＭＰＥＧ−４、またはＭＰＥＧ−４／ＡＶＣ等の形式で符号化処理を施して記録用のデータである記録データを生成する。また、画像処理部１３０は、後述する表示制御部１８２の制御信号に応じ画像記憶部１２８から取得した画像データを縮小し表示用画像データを生成し、表示部１２０に出力する。一方、後述する任意の記録媒体１６０に記録された記録データを再生する場合、画像処理部１３０は記録データを復号する処理を実行する。
【００２７】
記録・再生Ｉ／Ｆ部１３２は、画像処理部１３０が生成した記録データ（データストリーム）を任意の記録媒体１６０に記録する。任意の記録媒体１６０としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。また、記録・再生Ｉ／Ｆ部１３２は、任意の記録媒体１６０から記録データを読み出し、画像処理部１３０に出力する。
【００２８】
画像出力部１３４は、画像記憶部１２８および画像処理部１３０からの画像データを、例えば、液晶表示装置、プロジェクタ等の外部装置１６２に出力する。
【００２９】
メイン記憶部１３６は、ＳＤＲＡＭ等のバッファメモリで構成され、中央制御部１３８で処理されるプログラム等を記憶する。またメイン記憶部１３６は、後述する被写体検出処理およびトラッキング処理に用いる画像データを記憶する。
【００３０】
ただし、トラッキング処理が開始されている場合、画像記憶部１２８に記憶された画像データは、メイン記憶部１３６の第１領域、第２領域に転送される。そして、被写体検出処理では第１領域に記憶された画像データが、トラッキング処理では第２領域に記憶された画像データがそれぞれ用いられる。
【００３１】
ここで、同じ画像データを第１領域と第２領域それぞれに記憶させるのは、被写体検出処理の方がトラッキング処理よりも時間がかかるためである。例えば、被写体検出処理は５フレーム期間程度の時間がかかるのに対し、トラッキング処理は１フレーム期間内で終了する。したがって、被写体検出処理では５フレーム毎に１度画像データが記憶される。被写体検出処理とトラッキング処理とにかかる時間がいずれも１フレーム期間内で終了する場合、メイン記憶部１３６の第１領域と第２領域それぞれに記憶させずともよい。
【００３２】
中央制御部１３８は、中央処理装置（ＣＰＵ）、プログラム等が記憶されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により撮像装置１００全体を管理および制御し、撮像等に必要となる各種演算を実行する。また、中央制御部１３８は、被写体検出部１７０、色分布抽出部１７２、トラッキング部１７４、距離判断部１７６、領域統合部１７８、撮像制御部１８０、表示制御部１８２、としても機能する。
【００３３】
被写体検出部１７０は、メイン記憶部１３６の第１領域に記憶されている画像データについて、輝度データから被写体（例えば、人やペットの顔、顔以外の部位）を検出する。本実施形態においては、被写体検出部１７０は、被写体として、猫や犬などのペットの顔を検出する例を挙げる。
【００３４】
ここでは、被写体検出部１７０は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出することとする。しかし、被写体検出部１７０は、顔の構成要素（目、鼻、耳等）に基づくテンプレートマッチングや、特開２０１０−２９６０号公報に示されるように、Ａｄａｂｏｏｓｔアルゴリズムによって生成される複数の識別器をカスケード接続して用いる技術等、既存のどのような顔検出技術を用いてもよい。いずれにしても、被写体検出部１７０は、検出した顔の位置、大きさ、傾き等を示す顔情報を特定し、メイン記憶部１３６に記憶させる。
【００３５】
色分布抽出部１７２は、メイン記憶部１３６の第１領域に記憶されている画像データのうち、顔中心位置およびその周辺領域の輝度データと色差データとをＲＧＢデータに変換し、色分布を求める。本実施形態において、周辺領域の外縁は、例えば、水平方向１１画素、垂直方向１１画素からなる矩形領域とするが、周辺領域の形状は、矩形に限定されず、多角形であってもよいし円形であってもよいし、その他、どのような形状、大きさであってもよい。
【００３６】
本実施形態において、色分布は、色ヒストグラムで示される。色ヒストグラムは、以下のように導出される。すなわち、対象となる画像データのそれぞれの画素が、ＲＧＢの色空間を各軸（Ｒ軸、Ｇ軸、Ｂ軸）に垂直にＮ分割（例えば、Ｎ＝１６）したときの分割された各空間が示す色の範囲のいずれに含まれるかが判断される。そして、色ヒストグラムは、それぞれの色の範囲に含まれる画素の数が計数され、色の範囲とその色の範囲に含まれる画素の数とを対応付けて導出される。ただし、Ｎは予め定められた自然数とする。また、色ヒストグラムは、各軸に垂直な分割数を、軸毎に異ならせて導出されてもよい。
【００３７】
また、色分布抽出部１７２は、画像データを、ＲＧＢデータの代わりにＨＳＶ（Hue Saturation Value）データに変換して色分布を求めてもよい。この場合、色ヒストグラムは、ＨＳＶの色空間で各軸（Ｈ軸、Ｓ軸、Ｖ軸）に垂直にＮ分割したときの分割された各空間が示す色の範囲についてＲＧＢデータと同様に導出される。
【００３８】
そして、色分布抽出部１７２は、導出した色分布の情報（色ヒストグラムおよび色ヒストグラムの導出元の画像データの位置情報）を、導出元の被写体領域に関連付けてメイン記憶部１３６に記憶させる。
【００３９】
トラッキング部１７４は、メイン記憶部１３６の第２領域に記憶されている画像データについて、色ヒストグラムの比較によって、追跡対象である追跡領域を特定する。
【００４０】
具体的には、トラッキング部１７４は、まず、メイン記憶部１３６に記憶された色分布の情報を読み出す。そして、トラッキング部１７４は、読み出した色分布の情報に含まれる位置近傍の比較領域の画像データから色ヒストグラムを導出する。
【００４１】
その後、トラッキング部１７４は、導出した色ヒストグラムと、読み出した色分布の情報に含まれる色ヒストグラムとのヒストグラムインターセクションを導出する。
【００４２】
ここで、ヒストグラムインターセクションは、２つの色ヒストグラムについて、同じ色の範囲の画素数を比較し、少ない方の画素数のみを抽出し、すべての色の範囲について抽出された画素数の総和を取ったものである。比較する画像データの色分布が類似しているほど、ヒストグラムインターセクションの値は大きくなる。
【００４３】
次に、トラッキング部１７４は、所定範囲内で、水平方向や垂直方向に１画素ずつ、比較領域を移動し、各位置におけるヒストグラムインターセクションを導出する。そして、トラッキング部１７４は、最もヒストグラムインターセクションの値が大きい位置に被写体が移動したものと見なし、その位置情報をメイン記憶部１３６に記憶させる。
【００４４】
色ヒストグラムの比較によって追跡領域を特定する構成により、トラッキング部１７４は、被写体の形状が変化して特定し難い、例えば、ペットの胴体等も追跡可能となる。
【００４５】
ただし、トラッキング処理としては、色ヒストグラムを用いたヒストグラムインターセクションに限らず、色分布の特徴量の類似度を比較する既存のどのような技術を用いてもよい。あるいは、単色の色の類似度を比較する技術であってもよいし、色情報と形状情報等を組み合わせた技術を用いてもよい。
【００４６】
距離判断部１７６は、トラッキング部１７４が特定した追跡領域から所定距離内に、被写体検出部１７０が特定した被写体領域が含まれるか否かを判断する。ここで、追跡領域と被写体領域との距離は、画像データにおけるそれぞれの領域の位置から導出される。例えば、画像データにおける画面内の左上端から、水平方向Ｐｘ１画素、垂直方向Ｐｙ１画素の位置に被写体領域があり、追跡領域が水平方向Ｐｘ２画素、垂直方向Ｐｙ２画素の位置にある場合、追跡領域と被写体領域の距離である距離Ｌは、以下の数式１で導出される。ただし、Ｐｘ１、Ｐｘ２、Ｐｙ１、Ｐｙ２は整数である。
【数１】
…（数式１）
【００４７】
ここで、距離導出の起点となる位置は、追跡領域と被写体領域それぞれにおける中心でもよいし、両領域の距離が最も近い位置でもよい。また、被写体領域側の起点については、顔の中心でもよいし、左右の眼の中心位置でもよい。いずれにしても、予め定められた基準に則って、追跡領域と被写体領域それぞれの起点が定められることとする。
【００４８】
領域統合部１７８は、被写体領域が追跡領域から所定距離内に含まれる場合、追跡領域に関する情報に被写体領域に関する情報を統合する。かかる統合処理については、後に詳述する。
【００４９】
撮像制御部１８０は、撮像の際の制御としてフォーカス制御を遂行する。まず、撮像制御部１８０は、被写体領域または追跡領域の画像データをメイン記憶部１３６から読み出す。そして、撮像制御部１８０は、読み出した画像データを用い、コントラスト法によって自動焦点調整を行う。コントラスト法は、撮像素子１４８上の像のボケの程度とコントラストの間に相関があり、焦点が合ったときにコントラストが最大となることを利用して焦点合わせを行う技術である。
【００５０】
ここでは、コントラストの大きさは、画像データに含まれる高周波成分の割合によって評価される。撮像制御部１８０は、読み出した画像データのうちの輝度データにＢＰＦ（バンドパスフィルタ）をかけて高周波成分を抽出し、抽出された高周波成分の絶対値の積分値を評価値とし、評価値が最大となるようにオートフォーカス演算を行う。そして、撮像制御部１８０は、演算結果に応じて駆動制御部１５４に制御信号を出力し、駆動回路１５６を制御して合焦動作を行わせる。
【００５１】
また、撮像制御部１８０は、撮像の際の制御として露光調整の制御を遂行する。まず、撮像制御部１８０は、被写体領域または追跡領域の画像データをメイン記憶部１３６から読み出す。そして、撮像制御部１８０は、画像データに含まれる輝度データについて平均値を導出し、平均値が所定の範囲に含まれるように、駆動制御部１５４に制御信号を出力して、絞り１４６の絞り量を調整させる。
【００５２】
表示制御部１８２は、画像処理部１３０に表示用画像データを生成させ、表示部１２０に表示させる。このとき、表示制御部１８２は、撮像の際の制御として被写体領域および追跡領域を示す指標を重畳する。
【００５３】
続いて、上述した撮像装置１００による、被写体領域と追跡領域との特定から統合処理、および、その後の制御について詳述する。
【００５４】
（領域の特定および統合処理）
図３および図４は、領域統合処理を説明するための説明図である。撮像開始時、図３（ａ）に示すように、猫Ａが撮像装置１００側に顔を向けている場合、被写体検出部１７０は、猫Ａの顔を検出し、被写体領域を特定する。この時点では、追跡領域は特定されておらず、距離判断部１７６や領域統合部１７８による処理は行われない。
【００５５】
表示制御部１８２は、特定された被写体領域に、顔の大きさに比例して決定される大きさの指標（ここでは、枠１９０）を、表示用画像データに重畳して表示部１２０に表示させる。
【００５６】
あるフレームＸにおいて猫Ａの顔に対応する被写体領域を特定した後、数フレームが経過すると、次の被写体特定処理の結果が導出される。次の被写体特定処理の結果、フレームＸにおいて特定した被写体領域から所定の距離の範囲内で被写体領域が特定された場合、被写体特定部１７０は、同じ被写体（猫Ａの顔）を追尾していると判断する。
【００５７】
一方、次の被写体特定処理の結果、フレームＸにおいて特定した被写体領域から所定の距離の範囲内で被写体領域が特定されなかった場合、被写体特定部１７０は、対象をロストしたと判断する（ロスト判断処理）。ロストは対象を見失うことであり、ここでは、対象は、被写体領域そのもの、または被写体領域に対応した被写体（例えば、猫Ａの顔）を示す。
【００５８】
そして、所定の契機によって、その契機に対応した被写体についてのトラッキング処理が開始される。ここで、所定の契機は、例えば、枠１９０に対応する位置のタッチセンサ（操作部１２２）へのタッチ操作、１つ以上の顔を検出したこと、または、検出された顔が予め登録された顔と同一と判断されたこと等がある。
【００５９】
また、タッチセンサの枠１９０のない位置にタッチ操作があった場合、タッチされた位置を中心とする予め定められた大きさの領域に対応する画像データをトラッキングの対象としてトラッキング処理が開始されてもよい。
【００６０】
所定の契機によってトラッキング処理が開始されると、被写体検出部１７０は、第１領域に記憶された画像データを用いて被写体検出処理を継続する一方、色分布抽出部１７２およびトラッキング部１７４は、第２領域に記憶された画像データを用いてトラッキング処理を行う。
【００６１】
ただし、トラッキング処理によって特定された追跡領域は、その追跡領域の特定元である被写体領域と、同一の被写体を示すものとして関連付けられる。そして、表示制御部１８２は、その追跡領域と関連付けられた被写体領域がロストされるまで、追跡領域に指標を重畳せず、撮像制御部１８０は、オートフォーカスおよび露光調整の処理に追跡領域と関連付けられた被写体領域の画像データを用いる。ただし、被写体領域がロストされるまで、被写体領域と追跡領域とは大凡等しくなる。
【００６２】
そして、数フレーム後、図３（ｂ）に示すように、猫Ａが撮像装置１００から顔を背け、被写体特定部１７０は被写体領域をロストしたとする。表示制御部１８２は、追跡領域の特定元である被写体領域をロストしたことを契機に、追跡領域を示す指標である枠１９２を表示用画像データに重畳して、表示部１２０に表示させる。このとき、枠１９２の大きさは、トラッキング処理の対象とした画像データが顔であった場合、その顔の大きさに応じた大きさとする。
【００６３】
また、枠１９２の大きさは、追跡領域内に、ヒストグラムインターセクションの値が予め定められた閾値以上となった比較領域の面積が大きい程、大きく設定されてもよい。
【００６４】
続いて、追跡領域を示す指標である枠１９２が表示されたまま、数フレームが経過した後、猫Ａが再び撮像装置１００側に顔を向けたとする。このとき、単に、被写体検出部１７０が検出した猫Ａの顔に枠１９０を重畳した場合、図４（ａ）に示すように、同一の猫Ａについて、２つの指標（枠１９０、枠１９２）が重畳されてしまう。
【００６５】
そこで、本実施形態では、領域統合処理が行われる。まず、距離判断部１７６は、追跡領域から所定距離内に被写体領域が含まれるか否かを判断する。図４（ａ）のように、被写体領域が追跡領域から所定距離内に含まれる場合、距離判断部１７６は、この追跡領域と被写体領域とは同一の被写体を対象としているものと見なし、追跡領域と被写体領域とを関連付ける。図４（ａ）に破線の円Ｓで所定距離の範囲の一例を示す。
【００６６】
ただし、距離判断部１７６は、被写体領域の大きさを導出し、所定距離を、被写体領域の大きさに比例して設定する。本実施形態においては、所定距離は、例えば、被写体領域の大きさの３倍とする。ここで、被写体領域の大きさ（ここでは猫の顔の大きさ）は、例えば、被写体領域の直径とする。ただし、被写体領域の大きさとして、例えば、被写体領域の面積の平方根を用いてもよいし、被写体領域の水平方向や垂直方向の最大幅を用いてもよい。また、ここでは、所定距離は、被写体領域の大きさの３倍としたが、例えば、２倍、４倍、５倍等、被写体の特性に応じた値とすることが望ましい。
【００６７】
かかる構成により、距離判断部１７６は、統合の対象となる被写体領域の選別を、被写体の大きさに応じた判断基準によって高精度に遂行可能となる。
【００６８】
また、図４（ｂ）に示すように、同じフレームにおいて、複数の被写体領域（図４（ｂ）において猫Ａの顔に重畳された枠１９０、猫Ｂの顔に重畳された枠１９６、猫Ｃの顔に重畳された枠１９８で示す）が特定された場合、距離判断部１７６は、追跡領域に最も近い被写体領域の大きさを導出して、所定距離を、例えば、導出された大きさの３倍に設定する。そして、距離判断部１７６は、追跡領域から所定距離内にその被写体領域がない場合、次に追跡領域に近い被写体領域について、所定距離の設定および所定距離内にあるか否かの判断を行う。図４（ｂ）に破線の円Ｓで所定距離の範囲の一例を示す。
【００６９】
こうして、距離判断部１７６は、被写体領域が所定距離内にあると判断されるか、すべての被写体領域が所定距離内にないと判断されるまで、追跡領域から近い被写体領域から順次、判断処理を行う。図４（ｂ）の場合、一番近い被写体領域が、所定距離内にあったものとする。
【００７０】
また、被写体検出部１７０が被写体を検出する範囲を、例えば、追跡領域から予め定められた所定範囲内とすることで、距離判断部１７６による判断処理の対象となる被写体領域の数を抑制し、処理負荷を低減させてもよい。
【００７１】
さらに、距離判断部１７６は、所定距離を、所定の固定値として設定してもよい。かかる構成により、距離判断部１７６は、統合の対象となる被写体領域の選別を、低処理負荷で遂行できる。
【００７２】
被写体領域が追跡領域から所定距離内に含まれる場合、領域統合部１７８は、追跡領域に関する情報に被写体領域に関する情報を統合する。所定距離内に含まれない場合、領域統合部１７８は、特に処理は行わない。
【００７３】
ここで、「情報を統合する」とは、例えば、追跡領域の位置情報に、被写体領域の位置情報を上書きすることである。追跡領域の位置情報に、被写体領域の位置情報を上書きすることで、トラッキング部１７４は、被写体領域の位置からトラッキング処理を再開でき、後に再び被写体領域をロストしても、追跡領域が被写体に近い位置を示し被写体の胴体等を追跡領域として特定できる可能性が高まる。
【００７４】
また、「情報を統合する」具体的な処理として、被写体領域と追跡領域との関連付け処理も含む。領域統合部１７８は、追跡領域から所定距離内にあった被写体領域を、その追跡領域と関連付ける。
【００７５】
さらに、「情報を統合する」具体的な処理として、画像データの位置情報を上書きすることに加えて、被写体領域の輝度データや色差データに基づいて、色分布情報を導出しなおすようにしてもよい。かかる構成により、トラッキング部１７４は、その後のトラッキング処理の精度を向上することができる。
【００７６】
そして、表示制御部１８２は、領域統合部１７８によって被写体領域に関する情報が追跡領域の情報に統合されると、表示用画像データに対し、追跡領域には指標を重畳せず、追跡領域と関連付けられた被写体領域のみに指標を重畳して表示部１２０に表示させる。すなわち、図３（ｃ）に示すように、猫Ａの顔にのみ、枠１９４が重畳されることとなる。このとき、枠１９４の大きさは、検出された被写体領域の大きさに応じたものとする。また、追跡情報として、この枠１９４の大きさで更新する。
【００７７】
図４（ｂ）に示す、同じフレームにおいて、複数の被写体領域が特定された場合も同様に、表示制御部１８２は、領域統合部１７８によって被写体領域に関する情報が追跡領域の情報に統合されると、図４（ｃ）に示すように、猫Ａについては、顔にのみ、枠１９４が重畳されることとなる。
【００７８】
このように、撮像装置１００は、表示部１２０において、同一の被写体に対して、複数の指標が表示されてしまう事態を回避でき、タッチセンサへのタッチ操作の操作性や表示部１２０の被写体の視認性を向上することが可能となる。
【００７９】
また、撮像制御部１８０は、領域統合部１７８によって被写体領域に関する情報が追跡領域の情報に統合されると、追跡領域に関連付けられた被写体領域を対象としてオートフォーカスまたは自動露出の制御を行う。つまり、撮像制御部１８０は、追跡領域（猫Ａの胴体）への情報統合処理の対象となった被写体領域（猫Ａの顔）の画像データを参照して、オートフォーカスや自動露出の制御を行う。かかる構成により、撮像制御部１８０は、被写体の顔に合わせて適切に撮像制御を遂行することが可能となる。
【００８０】
領域統合部１７８による領域統合処理後、トラッキング部１７４は、情報が統合された追跡領域の画像データの位置情報に示される領域からトラッキング処理を再開する。すなわち、トラッキング部１７４は、被写体領域およびその近傍を対象としてトラッキング処理を行う。
【００８１】
また、図３（ｄ）に示すように、猫Ａは撮像装置１００から顔を背けたままで、他の猫Ｂの顔が映り込んだ場合、追跡領域と新たな猫Ｂの顔に対応する被写体領域とが所定距離より離れていれば、猫Ａと猫Ｂとを異なる被写体として識別可能となるため、表示制御部１８２は、猫Ａの追跡領域を示す枠１９２と、猫Ｂの被写体領域を示す枠１９６とをいずれも表示画像データに重畳して表示部１２０に表示させる。
【００８２】
上述したように、本実施形態の撮像装置１００は、所定距離内に含まれる被写体領域と追跡領域を同一の被写体と見なし、それぞれに関する情報を統合する。そのため、例えば、オートフォーカスや自動露出等の撮像制御を適切に遂行でき、また、表示部１２０に表示する指標を統合することで視認性や操作性を向上可能となる。
【００８３】
また、コンピュータを、撮像装置１００として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８４】
（撮像方法）
次に、上述した撮像装置１００を用いて、被写体を撮像する撮像方法の一連の流れを説明する。図５は、撮像方法の全体的な流れを示したフローチャートである。かかる処理は、被写体特定処理およびトラッキング処理を並行して行う撮像モードにて撮像中、所定のフレーム周期で繰り返し実行される。
【００８５】
図５に示すように、撮像部１２４は、被写体を撮像し１フレームの画像データを生成する（Ｓ２００）。その画像データは画像記憶部１２８に記憶される（Ｓ２０２）。
【００８６】
中央制御部１３８は、以前のフレームの画像データについての被写体領域の特定処理が継続中であるか否かを判断する（Ｓ２０４）。継続中である場合（Ｓ２０４におけるＹＥＳ）、トラッキング処理の判定（Ｓ２１６）に処理を移す。
【００８７】
以前のフレームの画像データについての被写体領域の特定処理が終了している場合（Ｓ２０４におけるＮＯ）、色分布抽出部１７２は、被写体領域が特定されたか否か、すなわち、被写体領域の特定処理において被写体として特定できる画像データがあったか否かを判断する（Ｓ２０６）。特定されなかった場合（Ｓ２０６におけるＮＯ）、ロスト判断処理（Ｓ２１０）に処理を移す。
【００８８】
被写体領域が特定された場合（Ｓ２０６におけるＹＥＳ）、色分布抽出部１７２は、特定された被写体領域の色分布を導出して、メイン記憶部１３６に導出元の被写体領域に関連付けて記憶させる（Ｓ２０８）。
【００８９】
続いて、被写体特定部１７０は、ロスト判断処理を行う（Ｓ２１０）。ロスト判断処理は、上述したように、被写体特定処理の結果、あるフレームＸにおいて特定された被写体領域について、次の被写体特定処理の結果、所定の距離の範囲内で被写体領域が特定された場合、被写体特定部１７０は、同じ被写体を追尾していると判断し、特定されなかった場合、被写体特定部１７０は、対象をロストしたと判断する。
【００９０】
そして、中央制御部１３８は、画像記憶部１２８に記憶された新たな１フレームの画像データをメイン記憶部１３６の第１領域に記憶させる（Ｓ２１２）。被写体検出部１７０は、被写体特定処理を開始する（Ｓ２１４）。
【００９１】
そして、中央制御部１３８は、トラッキング処理が開始しているか否かを判断し（Ｓ２１６）、開始していない場合（Ｓ２１６におけるＮＯ）、中央制御部１３８は、例えば、タッチセンサへのタッチ操作といった所定の契機が発生したか否かを判断する（Ｓ２１８）。発生していない場合（Ｓ２１８におけるＮＯ）、処理を終了する。
【００９２】
所定の契機が発生した場合（Ｓ２１８におけるＹＥＳ）、トラッキング部１７４は、トラッキング処理を開始する（Ｓ２２０）。そして、撮像制御処理（Ｓ２３８）に処理を移す。
【００９３】
すでにトラッキング処理が開始している場合（Ｓ２１６におけるＹＥＳ）、中央制御部１３８は、画像記憶部１２８に記憶された１フレームの画像データをメイン記憶部１３６の第２領域に記憶させる（Ｓ２２２）。トラッキング部１７４は、前フレームから継続したトラッキング処理を行う（Ｓ２２４）。このとき、トラッキング処理によって追跡領域が特定されると、その追跡領域は、追跡領域の特定元である被写体領域と、同一の被写体を示すものとして関連付けられる。
【００９４】
続いて、中央制御部１３８は、ロスト判断処理ステップＳ２１０において、追跡領域に関連付けられた被写体領域をロストしたと判断されたか否かを判断する（Ｓ２２６）。ロストしていない場合（Ｓ２２６におけるＮＯ）、中央制御部１３８は、その被写体領域を、指標の重畳や撮像制御の対象として設定する（Ｓ２２８）。そして、撮像制御処理（Ｓ２３６）に処理を移す。
【００９５】
被写体領域をロストしている場合（Ｓ２２６におけるＹＥＳ）、距離判断部１７６は、追跡領域から所定距離内に被写体領域が含まれるか否かを判断する（Ｓ２３０）。含まれない場合（Ｓ２３０におけるＮＯ）、中央制御部１３８は、追跡領域を、指標の重畳や撮像制御の対象として設定する（Ｓ２３２）。そして、撮像制御処理（Ｓ２３６）に処理を移す。
【００９６】
追跡領域から所定距離内に被写体領域が含まれる場合（Ｓ２３０におけるＹＥＳ）、領域統合部１７８は、被写体領域の位置情報を、追跡領域の位置情報に上書きしたり、追跡領域から所定距離内にあった被写体領域を、その追跡領域と関連付けたりするといった情報統合処理を行う（Ｓ２３４）。
【００９７】
そして、設定された制御の対象に対して、撮像制御部１８０は、オートフォーカスや自動露出の処理を行い（Ｓ２３６）、表示制御部１８２は、指標の重畳を行った表示用画像データを表示部１２０に表示させる（Ｓ２３８）。
【００９８】
上述した撮像装置１００を用いた撮像方法によっても、オートフォーカスや自動露出等の撮像制御を適切に遂行でき、また、表示部１２０に表示する指標を統合することで視認性や操作性を向上可能となる。
【００９９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１００】
なお、本明細書の撮像方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０１】
本発明は、被写体を撮像して得られた画像データから特定された所定の領域を使用して撮像に係る各種制御を行う撮像装置、撮像方法およびプログラムに利用することができる。
【符号の説明】
【０１０２】
１００ …撮像装置
１２０ …表示部
１２４ …撮像部
１７０ …被写体検出部
１７４ …トラッキング部
１７６ …距離判断部
１７８ …領域統合部
１８０ …撮像制御部
１８２ …表示制御部
【特許請求の範囲】
【請求項１】
被写体を撮像し画像データを生成する撮像部を備えた撮像装置であって、
生成された前記画像データについて、被写体領域を特定する被写体検出部と、
生成された前記画像データについて、追跡対象である追跡領域を特定するトラッキング部と、
特定された前記追跡領域から所定距離内に、特定された前記被写体領域が含まれるか否かを判断する距離判断部と、
前記特定された被写体領域が前記所定距離内に含まれる場合、前記特定された追跡領域に関する情報に前記被写体領域に関する情報を統合する領域統合部と、
前記領域統合部によって前記被写体領域に関する情報が前記追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記領域統合部によって前記被写体領域に関する情報が前記追跡領域の情報に統合されると、前記制御部はその被写体領域を対象としてオートフォーカスまたは自動露出の制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
画像データに基づく画像を表示する表示部をさらに備え、
前記領域統合部によって前記被写体領域に関する情報が前記追跡領域の情報に統合されると、前記制御部はその被写体領域のみに指標を重畳して前記表示部に表示させる制御をさらに行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記距離判断部は、前記特定された被写体領域の大きさを導出し、前記所定距離を、前記被写体領域の大きさに比例して設定することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
被写体を撮像し画像データを生成し、
生成した前記画像データについて、被写体領域を特定し、
生成した前記画像データについて、追跡対象である追跡領域を特定し、
特定した前記追跡領域から所定距離内に、特定した前記被写体領域が含まれるか否かを判断し、
前記特定した被写体領域が前記所定距離内に含まれる場合、前記特定した追跡領域に関する情報に前記被写体領域に関する情報を統合し、
前記特定した被写体領域に関する情報に前記被写体領域に関する情報が統合されると、その被写体領域を使用して撮像の制御を行うことを特徴とする撮像方法。
【請求項６】
被写体が撮像されることで生成された画像データを処理するコンピュータを、
生成された前記画像データについて、被写体領域を特定する被写体検出部と、
生成された前記画像データについて、追跡対象である追跡領域を特定するトラッキング部と、
特定された前記追跡領域から所定距離内に、特定された前記被写体領域が含まれるか否かを判断する距離判断部と、
前記特定された被写体領域が前記所定距離内に含まれる場合、前記特定された追跡領域に関する情報に前記被写体領域に関する情報を統合する領域統合部と、
前記領域統合部によって前記被写体領域に関する情報が前記追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う制御部と、
して機能させるためのプログラム。
【請求項１】
被写体を撮像し画像データを生成する撮像部を備えた撮像装置であって、
生成された前記画像データについて、被写体領域を特定する被写体検出部と、
生成された前記画像データについて、追跡対象である追跡領域を特定するトラッキング部と、
特定された前記追跡領域から所定距離内に、特定された前記被写体領域が含まれるか否かを判断する距離判断部と、
前記特定された被写体領域が前記所定距離内に含まれる場合、前記特定された追跡領域に関する情報に前記被写体領域に関する情報を統合する領域統合部と、
前記領域統合部によって前記被写体領域に関する情報が前記追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記領域統合部によって前記被写体領域に関する情報が前記追跡領域の情報に統合されると、前記制御部はその被写体領域を対象としてオートフォーカスまたは自動露出の制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
画像データに基づく画像を表示する表示部をさらに備え、
前記領域統合部によって前記被写体領域に関する情報が前記追跡領域の情報に統合されると、前記制御部はその被写体領域のみに指標を重畳して前記表示部に表示させる制御をさらに行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記距離判断部は、前記特定された被写体領域の大きさを導出し、前記所定距離を、前記被写体領域の大きさに比例して設定することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
被写体を撮像し画像データを生成し、
生成した前記画像データについて、被写体領域を特定し、
生成した前記画像データについて、追跡対象である追跡領域を特定し、
特定した前記追跡領域から所定距離内に、特定した前記被写体領域が含まれるか否かを判断し、
前記特定した被写体領域が前記所定距離内に含まれる場合、前記特定した追跡領域に関する情報に前記被写体領域に関する情報を統合し、
前記特定した被写体領域に関する情報に前記被写体領域に関する情報が統合されると、その被写体領域を使用して撮像の制御を行うことを特徴とする撮像方法。
【請求項６】
被写体が撮像されることで生成された画像データを処理するコンピュータを、
生成された前記画像データについて、被写体領域を特定する被写体検出部と、
生成された前記画像データについて、追跡対象である追跡領域を特定するトラッキング部と、
特定された前記追跡領域から所定距離内に、特定された前記被写体領域が含まれるか否かを判断する距離判断部と、
前記特定された被写体領域が前記所定距離内に含まれる場合、前記特定された追跡領域に関する情報に前記被写体領域に関する情報を統合する領域統合部と、
前記領域統合部によって前記被写体領域に関する情報が前記追跡領域の情報に統合されると、その被写体領域を使用して撮像の制御を行う制御部と、
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−９８７４６（Ｐ２０１３−９８７４６Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３９６６０（Ｐ２０１１−２３９６６０）
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]