撮像装置及びその追尾方法
【課題】被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する撮像装置を提供する。
【解決手段】撮像装置は、被写体を追尾していることを示す追尾枠の表示および消去を制御する際、撮像装置の焦点距離などに応じて、追尾枠の表示を保持する保持時間を設定する。撮像装置は、被写体を見失ってからこの設定された保持時間が経過した場合、追尾枠の表示を終了させる。
【解決手段】撮像装置は、被写体を追尾していることを示す追尾枠の表示および消去を制御する際、撮像装置の焦点距離などに応じて、追尾枠の表示を保持する保持時間を設定する。撮像装置は、被写体を見失ってからこの設定された保持時間が経過した場合、追尾枠の表示を終了させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された撮影画像を生成する撮像装置及びその追尾方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラや監視カメラを利用した監視装置において、被写体追尾を行う撮像システムが知られている。
【０００３】
例えば、特許文献１には、複数の画像データから被写体の動きベクトルを計算し、被写体の動きを追尾してカメラを回転させるシステムが開示されている。このシステムは、ズームの位置が望遠である場合にカメラの回転速度を速やかにし、広角である場合にゆるくして被写体を効果的に追跡して撮影する。
【０００４】
また、特許文献２には、肌色領域の検出を行い、検出された領域を追尾枠としてＷＢ（ホワイトバランス）や露出を制御することで、ホワイトバランスや露出制御の性能を最適に向上させることが示されている。
【０００５】
このように、被写体追尾システムや、被写体追尾機能を利用したホワイトバランスや露出制御を行う装置など、さまざまな応用例が提案されている。
【０００６】
これらの追尾方法として、動きベクトルを計算するフレーム画像データ間の相関を用いた追尾方法、画像特徴量を基に行われる被写体追尾方法などが一般的である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０６−０５４３２６号公報
【特許文献２】特開２００７−１０４２００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の撮像装置では、以下に掲げる問題があった。すなわち、上記追尾方法として、画像データの相関を用いて追尾する方法では、たとえば、主要被写体の前を別の移動物体が横切った場合、主要被写体の画像データの相関が低くなり、横切った被写体に追尾してしまう可能性が高かった。
【０００９】
また、色味などの画像特徴量による主要被写体の追尾方法では、似通った被写体が主要被写体の周りに存在している場合、主要被写体を追尾し続けることが難しかった。
【００１０】
さらに、これらの手法を組み合わせた追尾方法においても、同様に個々の手法で苦手な条件が重なった場合において、被写体追尾を継続することが難しかった。
【００１１】
また、特許文献２には、被写体追尾を終了させる条件として、角速度センサおよびＡＦ（オートフォーカス）の情報を用いて被写体を追尾し、追尾領域の被写体の特徴量が追尾開始時と比較して大きく異なった場合、被写体を見失った（ロストした）と判断することが示されている。
【００１２】
しかし、被写体の前に車などが横切った場合や検出された顔が一時的に横向きになった場合など、一時的に追尾ができなかった場合においても、一定の時間内であれば追尾が可能な状態に復帰する可能性も十分に考えられる。
【００１３】
そのような場合、例えば、追尾できない状況が一時的な短い時間内の場合は、一時的に追尾領域を固定させ、もとの被写体と相関の高い被写体が再検出されたときに追尾を再開することで、見失わない（ロストしない）ように制御することが可能である。これにより、使い勝手を向上させることも可能である。
【００１４】
ここで、このような被写体追尾機能を備えた撮像装置は、被写体追尾に成功しているか否かをユーザが容易に確認できるようにするため、追尾領域に枠（追尾枠）を重畳した画像を生成してモニタ装置に表示する機能を有している。
【００１５】
主要被写体を見失った場合には、この追尾枠は消去されるべきである。しかしながら、見失った直後に追尾枠をすぐに消去してしまうと、その直後に主要被写体が見つかった場合に追尾枠がすぐに復帰することとなり、かえって見苦しい表示となってしまうことがある。
【００１６】
そのため、主要被写体を一時的に見失ったのであれば追尾枠の表示を継続し、まったく見失ったのであれば追尾枠の表示を停止すべきであるが、その判断を行うことは非常に難しかった。
【００１７】
そこで、本発明は、被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する撮像装置及びその追尾方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明に係る撮像装置は、上記の目的を達成させるため、撮影された撮影画像を生成する撮像装置において、前記撮影画像に含まれる被写体を特定する特定手段と、前記撮影画像を画面に表示するとともに、前記特定された被写体を追尾していることを示す識別情報を表示する表示手段と、前記被写体を追尾する追尾手段と、前記撮像装置の焦点距離、および、被写体距離の少なくともいずれかに応じて、前記識別情報の表示を保持する保持時間を設定する設定手段と、前記追尾手段が前記被写体を見失ってから前記設定された保持時間が経過した場合に前記識別情報の表示を消去する消去手段とを備えたことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、被写体を追尾していることを示す識別情報の表示および消去を制御する際、焦点距離、および、被写体距離の少なくともいずれかに応じて、識別情報の表示を保持する保持時間を設定できる。そして、被写体を見失ってからこの設定された保持時間が経過した場合、撮像装置は識別情報の表示を終了させる。従って、被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図である。
【図２】図１の撮像装置の被写体追尾動作手順の前半を示すフローチャートである。
【図３】図１の撮像装置の被写体追尾動作手順の後半を示すフローチャートである。
【図４】図１の撮像装置の顔検出処理を示すフローチャートである。
【図５】（ａ）は図１の撮像装置の顔検出処理の対象となる原画像データ、（ｂ）は原画像データから抽出された肌色領域の画像データ、（ｃ）は肌色領域の画像データに対してハイパスフィルタを適用した画像データ、および、（ｄ）はハイパスフィルタを適用した画像データに対するテンプレートマッチングの方法を示す図である。
【図６】ＣＩＥＬＡＢのＬａｂ色空間における代表色を示した色度図である。
【図７】図１の撮像装置の空間フィルタリング処理に用いられる係数が示された２次元ハイパスフィルタの一例の行列を示す図である。
【図８】図２のステップＳ４、Ｓ５の処理に相当する画像データの相関を算出する手順を示すフローチャートである。
【図９】（ａ）は図８の追尾処理で相関をとる元となる追尾対象領域の画像データ、（ｂ）は対象となる次フレーム画像データを示す図である。
【図１０】（ａ）は図３のステップＳ１２における保持時間算出の基礎となる焦点距離および被写体距離に対応する保持時間を示す表、（ｂ）は同内容を示すグラフである。
【発明を実施するための形態】
【００２１】
本発明の撮像装置及びその追尾方法の実施の形態について図面を参照しながら説明する。図１は実施の形態における撮像装置の構成を示すブロック図である。撮像装置は、撮像素子１０１、バッファメモリ１０２、ユーザインタフェース１０３、圧縮回路１０４、記録装置１０５、記録媒体１０６、システムコントローラ１０７、表示制御回路１０８、Ｄ／Ａ変換器１０９およびモニタ装置１１０を有する。また、撮像装置は、信号処理回路１１１、鏡筒装置１１２、発光装置１１３、顔検出部１２０および被写体追尾部１２１を有する。鏡筒装置１１２内には、手ぶれ防止装置（ＩＳ：Image Stabilizer）１１２aおよび角速度センサ１１２bが設けられている。
【００２２】
ユーザからユーザインタフェース１０３を介して撮影指示があると、システムコントローラ１０７は、鏡筒装置１１２の焦点位置や絞り・メカシャッタ、ＣＣＤからなる撮像素子１０１、フラッシュ撮影を行う際の発光装置１１３等を制御し、撮影を行う。
【００２３】
撮影が行われると、撮像素子１０１から撮像信号が出力され、バッファメモリ１０２に蓄えられる。その後、バッファメモリ１０２に蓄えられた撮像信号に対し、信号処理回路１１１によって画像生成用の信号処理が施され、ＹＵＶ画像データが生成される。
【００２４】
この生成された画像データは、バッファメモリ１０２に記憶され、画像データの記録が行われる場合、バッファメモリ１０２から圧縮回路（圧縮・伸長回路）１０４に送られ、ＪＰＥＧファイルとして圧縮される。この圧縮された画像データは、記録装置（記録・読み出し装置）１０５によって記録媒体１０６に記録される。
【００２５】
また、バッファメモリ１０２に蓄えられたＹＵＶ画像データを基に、表示制御回路１０８によって表示画像データ（撮影画像）が生成されると、その撮影画像はＤ／Ａ変換器１０９によって信号変換され、モニタ装置１１０の画面上に表示される。
【００２６】
また、画像データから顔検出を行う場合、顔検出部１２０は、バッファメモリ１０２に蓄えられたＹＵＶ画像データまたはＣＣＤ画像データから顔検出を行い、画像データ中の座標位置（場所）を出力する。
【００２７】
顔検出部１２０によって顔検出が行われていた場合、システムコントローラ１０７は、表示制御回路１０８に対して顔位置に顔枠を表示するように指示を行う。そして、システムコントローラ１０７は、検出された顔のうちのいずれかを追尾対象として選択し、表示制御回路１０８に対して追尾対象として選択した顔位置に、顔枠の代わりに追尾枠を表示するように指示を行う。この追尾枠は、ユーザがどの被写体が追尾されているのかを識別するための識別情報として用いられる。
【００２８】
動画の撮影時やＥＶＦ(Electric View Finder)の利用時において被写体追尾を行う場合、被写体追尾部１２１は、システムコントローラ１０７から追尾対象が存在する追尾対象領域の画像データを取得する。そして、被写体追尾部１２１はこの追尾対象領域の画像データと、新たに得られたフレーム画像データとの相関を求めることで、新たなフレーム画像データにおける追尾対象領域の位置を求める。システムコントローラ１０７は、追尾枠の位置を、被写体追尾部１２１が求めた新たなフレーム画像データにおける追尾対象領域の位置に変更するよう表示制御回路１０８に指示を出す。
【００２９】
本実施形態では、システムコントローラ１０７が顔検出部１２０によって検出された顔位置を顔検出情報として受け取り、この顔位置の画像データを追尾対象領域の画像データとして設定する。そして、被写体追尾部１２１が連続したフレーム画像データの中から、追尾対象領域の画像データと最も相関の高い領域の画像データを検出することを繰り返すことで、被写体の追尾を行う。被写体追尾部１２１は、追尾が成功している間は、顔検出部１２０によって新たに検出された顔位置を追尾には用いない。被写体追尾部１２１は、追尾に失敗して追尾枠が消去された場合に、再び、顔検出部１２０にて検出された顔位置を追尾対象領域として設定する。なお、本実施形態は追尾対象として設定される被写体は人物の顔であるものとして説明を行っているが、これに限られるものではない。例えば、ユーザインタフェース（操作パネル）１０３を介してユーザにより指定された任意の被写体を追尾対象として設定してもよい。
【００３０】
上記構成を有する撮像装置において、顔検出部１２０にて検出された顔を追尾する手法について説明する。図２および図３は被写体追尾時の動作手順を示すフローチャートである。この処理は被写体追尾部１２１によって実行される。
【００３１】
被写体追尾部１２１は、システムコントローラ１０７から追尾対象領域を取得し、その追尾対象領域の画像データを取得する（ステップＳ１）。上述したように、本実施形態では、システムコントローラ１０７は顔検出部１２０で検出された顔位置の領域を最初の追尾対象領域として設定する。被写体追尾部１２１は、この最初の追尾対象領域の画像特徴量を抽出する（ステップＳ２）。この画像特徴量は、例えば明るさや色相といった色情報などである。
【００３２】
被写体追尾部１２１は次のフレーム画像データを取得する（ステップＳ３）。被写体追尾部１２１は、追尾対象領域と最も相関の大きくなる領域を次フレーム画像データから検出し（ステップＳ４）、動きベクトルを算出する（ステップＳ５）。この相関の計算および動きベクトルの算出の詳細については後述する。
【００３３】
被写体追尾部１２１は、この動きベクトル量分だけ追尾対象領域の位置を移動させて追尾対象候補領域の位置を求め、次フレーム画像データから、この追尾対象候補領域の画像データを取得する（ステップＳ６）。すなわち、被写体追尾部１２１は、次フレーム画像データのうち、追尾対象領域と最も相関の高い追尾対象候補領域の画像データを取得する。被写体追尾部１２１は、ステップＳ２と同様に、この追尾対象候補領域の画像特徴量を抽出する（ステップＳ７）。
【００３４】
被写体追尾部１２１は、ステップＳ２で取得した追尾対象領域の画像特徴量とステップＳ７で取得した追尾対象候補領域の画像特徴量を比較する（ステップＳ８）。この比較の結果、被写体追尾部１２１は画像特徴量の差が所定の範囲内であるか否か、つまり、このステップＳ６で取得した追尾対象候補領域の被写体が、ステップＳ１で設定した最初の追尾対象領域と同じ被写体であるか否かを判別する（ステップＳ９）。
【００３５】
画像特徴量の差が所定の範囲内である場合、被写体追尾部１２１は、被写体追尾に成功したとして、システムコントローラ１０７に伝える。システムコントローラ１０７は、ステップＳ６で求めた追尾対象候補領域を新たな追尾対象領域として更新し、更新された追尾対象領域の位置に基づいて、表示制御回路１０８に対して追尾枠の表示位置を更新するように指示を行う（ステップＳ１０）。また、システムコントローラ１０７は、後述するステップＳ１３でタイマがスタートしていた場合には、タイマをストップさせ、かつ、保持時間をリセットする。
【００３６】
この後、被写体追尾部１２１は、ステップＳ３の処理に戻り、新たに次フレーム画像データを取得する。被写体追尾部１２１は、ステップＳ４〜Ｓ６で、次フレーム画像データからステップＳ１０で更新した追尾対象領域と最も類似した追尾対象候補領域を検出し、ステップＳ７でその追尾対象候補領域の画像特徴量を求める。そして、被写体追尾部１２１はこの追尾対象候補領域の画像特徴量と、ステップＳ２で求めた初期の追尾対象領域の画像特徴量と比較し、その差分が所定範囲内であれば、システムコントローラ１０７が再び追尾対象領域を更新する。
【００３７】
このように、被写体追尾部１２１は、新たなフレーム画像データから追尾対象領域と相関の高い領域を追尾対象候補領域として検出し、この追尾対象候補領域と初期の追尾対象領域の画像特徴量が類似していれば、この追尾対象候補領域を追尾候補領域として更新する。被写体追尾部１２１は、追尾対象領域を更新することで、被写体の向きが徐々に変化したり、被写体の形状が徐々に変化したりした場合であっても、継続して追尾を行うことが可能となる。ただし、追尾対象候補領域と初期の追尾対象領域の画像特徴量の差分が所定範囲を超えたのであれば、追尾初期とは別の被写体を追尾対象候補領域として検出している可能性が高い。そのような場合には、追尾に失敗したと判断する。
【００３８】
一方、ステップＳ９に戻り、画像特徴量の差が所定の範囲内でなかった場合、被写体追尾部１２１は、追尾が失敗していると判断し、ステップＳ１１以降の被写体追尾失敗ルーチンに進む。
【００３９】
被写体追尾部１２１は、前フレーム画像データで追尾が成功していたか否かを判別する（ステップＳ１１）。前フレーム画像データにおいて、追尾が成功していた場合、被写体追尾部１２１は、現段階のフレームで始めて追尾が失敗したものとして、保持時間を決定（設定）する（ステップＳ１２）。この保持時間は、追尾が失敗しても追尾枠の表示をそのまま保持する時間である。また、この保持時間は、後述するように、鏡筒装置１１２で制御されている焦点距離、前フレーム画像データ以前に検出された被写体位置および被写体距離、手ぶれ防止装置（ＩＳ）１１２aの制御情報や角速度センサ１１２bの出力などを取得して設定される。
【００４０】
被写体追尾部１２１は、内蔵するタイマをスタートさせ（ステップＳ１３）、ステップＳ１４の処理に進む。
【００４１】
一方、ステップＳ１１で前フレーム画像データにおいても追尾に失敗していた場合、被写体追尾部１２１は、前フレーム画像データに連続して被写体追尾に失敗しているとして、タイマの経過時間が所定の保持時間を超過しているか否かを判別する（ステップＳ１４）。
【００４２】
所定の保持時間内であった場合、表示制御回路１０８に同じ位置での追尾枠の表示を継続させたまま、被写体追尾部１２１は次フレーム画像データを取得し（ステップＳ１６）、ステップＳ６の処理に戻る。被写体追尾部１２１はステップＳ１６からステップＳ６に進んだ場合は、最後に更新された追尾対象領域を追尾対象候補領域として設定する。
【００４３】
一方、所定の保持時間を超過（経過）した場合、被写体追尾部１２１は、追尾枠を消去することを決定し（ステップＳ１５）、本処理を終了する。この追尾枠の消去の決定は被写体追尾部１２１からシステムコントローラ１０７に伝えられる。システムコントローラ１０７は、この決定に従って表示制御回路１０８に追尾枠を消去する指示を送出すると、追尾枠は消去される。これにより、追尾終了となる。
【００４４】
つぎに、顔検出部１２０による顔検出方法について説明する。顔検出方法として、多数の方法が提案されている。一般的には、ニューラルネットワークに代表される学習を用いた方法、目や鼻といった物理的な形状の特徴のある部位の領域によるテンプレートマッチングを用いた方法、肌の色や目の形といった画像特徴量を検出しその統計的解析を用いた方法などがある。また、これらの方法を複数組み合わせて顔認識を行う方法が一般的である。
【００４５】
現在提案されているものとして、ウェーブレット変換と画像特徴量を利用して顔検出する方法や、テンプレートマッチング等を組み合わせた方法など、多数の顔検出方法がある。その一例として、図４は顔検出処理手順を示すフローチャートである。この処理は、前述したように、顔検出部１２０によって行われる。図５は顔検出方法を説明する図である。図５（ａ）は顔検出が行われる対象画像データ（原画像）を示す。
【００４６】
まず、顔検出部１２０は、肌色領域抽出処理を行い、対象画像データから肌色の領域を抽出する（ステップＳ２１）。図６はＣＩＥＬＡＢのＬａｂ色空間における代表色を示した色度図である。図中の楕円ａで示される領域は、肌色である可能性が高い領域である。図５（ｂ）は、ステップＳ２１の処理によって対象画像データから肌色領域の色度である領域が抽出された画像データである。
【００４７】
顔検出部１２０は、抽出された肌色の領域の画像データに対し、ハイパスフィルタを適用する空間フィルタリング処理を行う（ステップＳ２２）。図７は空間フィルタリング処理に用いられる係数が示された２次元ハイパスフィルタの一例を示す行列である。図５（ｃ）は、図５（ｂ）の画像データに対し、図７のハイパスフィルタを適用した画像データである。このハイパスフィルタの適用によって画像データ中、目や鼻などの変化のある部分の輪郭線が強調される。
【００４８】
さらに、顔検出部１２０は、テンプレートマッチングを行い、画像データ中における目の検出を行う（ステップＳ２３）。図５（ｄ）は、ハイパスフィルタを適用した図５（ｃ）の画像データに対するテンプレートマッチングの方法を示す図である。顔検出部１２０は、検出された目の領域の位置関係から顔認識を行い、方向、大きさ等の特徴量を抽出する（ステップＳ２４）。この後、顔検出部１２０は本処理を終了する。なお、ステップＳ２１を省略し、ステップＳ２２にて対象画像データの全領域に対してハイパスフィルタを適用し、ステップＳ２３でテンプレートマッチングを行って顔認識を行うように処理を修正してもよい。
【００４９】
ステップＳ２４で抽出された方向、大きさ等の特徴量である顔検出情報は、顔検出部１２０からシステムコントローラ１０７に伝送される。システムコントローラ１０７は、顔検出情報から追尾対象となる領域（追尾枠）を決定する。
【００５０】
つぎに、被写体の追尾方法について説明する。被写体の相関および動きベクトルを検出する方法は、多数提案されており、ここでは比較的単純な方法について説明する。
【００５１】
図８は画像データの相関を算出する手順を示すフローチャートである。この処理は図２に示す追尾処理におけるステップＳ４、Ｓ５の処理に相当する。
【００５２】
図９は、それぞれ前のフレーム画像データにおける追尾対象領域の画像データ、および、次のフレーム画像データを示す図である。被写体追尾部１２１は、相関をとる元となる追尾対象領域の画像データ２０１を取得する（ステップＳ３１）。なお、図９（ａ）に示すように、追尾枠２１０は追尾対象領域の画像データ２０１を囲うように設定される。
【００５３】
続いて、被写体追尾部１２１は、追尾対象領域の画像データ２０１が得られたフレーム画像データの次に得られたフレーム画像データ３００のうち、追尾対象領域の画像データ２０１と同じ位置に存在する比較領域の位置を取得する（ステップＳ３２）。
【００５４】
被写体追尾部１２１は、比較領域の位置を、フレーム画像データ３００上で垂直、水平あるいは斜め方向に所定範囲内でシフトさせ、シフトさせた位置での比較領域の画像データを取得する（ステップＳ３３）。
【００５５】
被写体追尾部１２１は、ステップＳ３３で取得した比較領域の画像データと追尾対象領域の画像データ２０１との画像差分を算出する（ステップＳ３４）。被写体追尾部１２１は、ステップＳ３４における画像差分の絶対値の積分値を取得する（ステップＳ３５）。ここで、画像差分の積分値の絶対値が小さいほど画像データの相関が高い（画像データの相関が大きい）。
【００５６】
被写体追尾部１２１は、画像データの相関がそれまで得られた中で最大であるか否かを判別する（ステップＳ３６）。画像データの相関が最大である場合、被写体追尾部１２１は、この相関および比較領域の位置を保存する（ステップＳ３７）。一方、画像データの相関が最大でない場合、被写体追尾部１２１はそのままステップＳ３８の処理に進む。
【００５７】
被写体追尾部１２１は、ステップＳ３３にて、ステップＳ３２で取得した位置を含む、あらかじめ設定された全ての位置に比較領域の位置を移動させたか否かを判別する（ステップＳ３８）。全ての位置に移動させていない場合、被写体追尾部１２１はステップＳ３３の処理に戻る。一方、全ての位置に移動させていた場合、被写体追尾部１２１は、最も相関が高かった位置までのシフト量（動きベクトル）および相関を出力する（ステップＳ３９）。図９（ｂ）において、画像データ３０１は、追尾対象領域の画像データ２０１と最も相関が高いと判断された比較領域の画像データを示している。この後、被写体追尾部１２１は本処理を終了する。なお、動きベクトルを算出する方法は様々であり、本方法に限定されるものではない。
【００５８】
つぎに、ステップＳ１２における保持時間の設定について説明する。図１０は焦点距離および被写体距離に対応する保持時間を示す表およびグラフである。図１０（ａ）に示す表および同図１０（ｂ）に示すグラフでは、被写体距離と焦点距離との組み合わせで保持時間は設定される。
【００５９】
ここで、焦点距離が長い程、保持時間は短く設定される。すなわち、ズームアップ時には、手ぶれなどによる視野(撮影範囲)の変動や被写体の移動によって追尾対象である被写体が視野から外れる可能性が高いので、そのような場合、保持時間は短く設定される。これにより、追尾に失敗すると、次の被写体の検出に移行するまでの時間が短くなる。また同様に、被写体距離が短い程、主要被写体が視野から外れやすくなるので、保持時間は短く設定される。なお、被写体距離の代わりに、主要被写体の画面内のサイズが大きいほど保持時間を長くすることで、同様の効果が得られる。
【００６０】
また同様に、焦点距離、および撮影画像の画面内で被写体追尾が失敗した場所に応じて、保持時間を決定するようにしてもよい。すなわち、前フレーム以前に検出された被写体位置が画面の中心部から外れて周辺にある程、被写体が視野から外れやすいので、このような場合、保持時間を短く設定することが好ましい。
【００６１】
また、焦点距離情報、手振れ防止装置（ＩＳ）の制御情報、角速度センサの出力および被写体位置の少なくとも１つによって、主要被写体が視野から外れたことを検出することも可能である。ここで、角速度センサやＩＳから所定値よりも大きい値が出力された場合に、視野から主要被写体が外れたと判断し、保持時間を短く設定するようにしてもよい。
【００６２】
また、撮像装置に搭載した角速度センサから、撮像装置が三脚に装着されているか否かを判断し、三脚に装着されていると判断された場合には、保持時間を長く設定するようにしてもよい。主要被写体以外の部分の画像データの相関が極めて高い場合には、三脚に装着されているものと判断して、保持時間を長く設定してもよい。
【００６３】
焦点距離や被写体距離だけでなく、被写体輝度、色温度、あるいは、撮像素子の感度に応じて保持時間を設定してもよい。例えば、撮像素子の感度が高めに設定されるとノイズが増加し、被写体輝度が低い場合には被写体の相関が低くなるため、顔検出処理や追尾処理の精度が低下する。このような場合には、追尾枠が誤った位置に表示される可能性が高まるため、保持時間を短めに設定する。また、色温度が低い場合には電球などの低輝度の光源が用いられていることが多く、被写体輝度が低いと推定される。そのため、色温度に応じて保持時間を設定するようにしてもよい。
【００６４】
本実施形態の撮像装置は、被写体追尾機能を利用し、被写体に最適な撮影設定および信号処理を行う際、被写体を追尾していることを示す追尾枠の表示および消去を制御する。さらに、撮像装置は、焦点距離などに応じて、被写体追尾が失敗しても追尾枠の表示をそのまま保持するための保持時間を制御することで、ユーザの使い勝手を向上させることが可能である。
【００６５】
このように、撮像装置は、被写体を追尾していることを示す追尾枠の表示および消去を制御する際、焦点距離に応じて、保持時間を設定する。そして、被写体を見失ってからこの設定された保持時間が経過した場合、撮像装置は追尾枠の表示を終了させる。従って、被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する。
【００６６】
また、一時的に被写体を見失っても、保持時間内であれば、速やかに追尾状態に復帰することができる。
【００６７】
また、ズームアップ時に手ぶれなどによる視野の変動や被写体の移動によって追尾被写体が視野から外れる可能性が高いが、焦点距離が長い程、保持時間を短くすることで、追尾処理を行う時間が短くなり、次の被写体検出に移行し易くなる。
【００６８】
また、被写体距離が短い程、主要被写体が視野から外れ易くなることに対処できる。また、被写体追尾が失敗した場所が画面の中心から周辺に外れる程、主要被写体が視野から外れ易いことに対処できる。また、撮像装置が振動している程、主要被写体が視野から外れ易くなることに対処できる。また、被写体を自動的に検出あるいはユーザが指定することで、被写体の特定が容易になる。また、追尾対象となる被写体を示す追尾枠を表示することで、被写体領域の識別が容易である。
【００６９】
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【００７０】
例えば、上記実施形態では、被写体領域として、顔検出部１２０が顔検出を行い、その顔位置を含む領域が特定されたが、前述したように、ユーザインタフェース１０３を介してユーザによって指定されたユーザ指定領域が特定されてもよい。
【００７１】
また、上記実施形態では、撮像素子としてＣＣＤ素子が用いられたが、ＣＭＯＳ素子等でもよい。
【００７２】
また、モニタ（表示）装置としては、液晶ディスプレイに限らず、有機ＥＬディスプレイ、表面電界ディスプレイ（ＳＥＤ）、プラズマディスプレイなどを用いてもよい。
【００７３】
また、本発明は、撮像装置として、コンパクトタイプのデジタルカメラ、デジタルビデオカメラ、デジタルＳＬＲ（一眼レフカメラ）等に適用可能である。
【符号の説明】
【００７４】
１０１ 撮像素子
１０２ バッファメモリ
１０７ システムコントローラ
１１０ モニタ装置
１２０ 顔検出部
１２１ 被写体追尾部
２１０ 追尾枠
【技術分野】
【０００１】
本発明は、撮影された撮影画像を生成する撮像装置及びその追尾方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラや監視カメラを利用した監視装置において、被写体追尾を行う撮像システムが知られている。
【０００３】
例えば、特許文献１には、複数の画像データから被写体の動きベクトルを計算し、被写体の動きを追尾してカメラを回転させるシステムが開示されている。このシステムは、ズームの位置が望遠である場合にカメラの回転速度を速やかにし、広角である場合にゆるくして被写体を効果的に追跡して撮影する。
【０００４】
また、特許文献２には、肌色領域の検出を行い、検出された領域を追尾枠としてＷＢ（ホワイトバランス）や露出を制御することで、ホワイトバランスや露出制御の性能を最適に向上させることが示されている。
【０００５】
このように、被写体追尾システムや、被写体追尾機能を利用したホワイトバランスや露出制御を行う装置など、さまざまな応用例が提案されている。
【０００６】
これらの追尾方法として、動きベクトルを計算するフレーム画像データ間の相関を用いた追尾方法、画像特徴量を基に行われる被写体追尾方法などが一般的である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０６−０５４３２６号公報
【特許文献２】特開２００７−１０４２００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の撮像装置では、以下に掲げる問題があった。すなわち、上記追尾方法として、画像データの相関を用いて追尾する方法では、たとえば、主要被写体の前を別の移動物体が横切った場合、主要被写体の画像データの相関が低くなり、横切った被写体に追尾してしまう可能性が高かった。
【０００９】
また、色味などの画像特徴量による主要被写体の追尾方法では、似通った被写体が主要被写体の周りに存在している場合、主要被写体を追尾し続けることが難しかった。
【００１０】
さらに、これらの手法を組み合わせた追尾方法においても、同様に個々の手法で苦手な条件が重なった場合において、被写体追尾を継続することが難しかった。
【００１１】
また、特許文献２には、被写体追尾を終了させる条件として、角速度センサおよびＡＦ（オートフォーカス）の情報を用いて被写体を追尾し、追尾領域の被写体の特徴量が追尾開始時と比較して大きく異なった場合、被写体を見失った（ロストした）と判断することが示されている。
【００１２】
しかし、被写体の前に車などが横切った場合や検出された顔が一時的に横向きになった場合など、一時的に追尾ができなかった場合においても、一定の時間内であれば追尾が可能な状態に復帰する可能性も十分に考えられる。
【００１３】
そのような場合、例えば、追尾できない状況が一時的な短い時間内の場合は、一時的に追尾領域を固定させ、もとの被写体と相関の高い被写体が再検出されたときに追尾を再開することで、見失わない（ロストしない）ように制御することが可能である。これにより、使い勝手を向上させることも可能である。
【００１４】
ここで、このような被写体追尾機能を備えた撮像装置は、被写体追尾に成功しているか否かをユーザが容易に確認できるようにするため、追尾領域に枠（追尾枠）を重畳した画像を生成してモニタ装置に表示する機能を有している。
【００１５】
主要被写体を見失った場合には、この追尾枠は消去されるべきである。しかしながら、見失った直後に追尾枠をすぐに消去してしまうと、その直後に主要被写体が見つかった場合に追尾枠がすぐに復帰することとなり、かえって見苦しい表示となってしまうことがある。
【００１６】
そのため、主要被写体を一時的に見失ったのであれば追尾枠の表示を継続し、まったく見失ったのであれば追尾枠の表示を停止すべきであるが、その判断を行うことは非常に難しかった。
【００１７】
そこで、本発明は、被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する撮像装置及びその追尾方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明に係る撮像装置は、上記の目的を達成させるため、撮影された撮影画像を生成する撮像装置において、前記撮影画像に含まれる被写体を特定する特定手段と、前記撮影画像を画面に表示するとともに、前記特定された被写体を追尾していることを示す識別情報を表示する表示手段と、前記被写体を追尾する追尾手段と、前記撮像装置の焦点距離、および、被写体距離の少なくともいずれかに応じて、前記識別情報の表示を保持する保持時間を設定する設定手段と、前記追尾手段が前記被写体を見失ってから前記設定された保持時間が経過した場合に前記識別情報の表示を消去する消去手段とを備えたことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、被写体を追尾していることを示す識別情報の表示および消去を制御する際、焦点距離、および、被写体距離の少なくともいずれかに応じて、識別情報の表示を保持する保持時間を設定できる。そして、被写体を見失ってからこの設定された保持時間が経過した場合、撮像装置は識別情報の表示を終了させる。従って、被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図である。
【図２】図１の撮像装置の被写体追尾動作手順の前半を示すフローチャートである。
【図３】図１の撮像装置の被写体追尾動作手順の後半を示すフローチャートである。
【図４】図１の撮像装置の顔検出処理を示すフローチャートである。
【図５】（ａ）は図１の撮像装置の顔検出処理の対象となる原画像データ、（ｂ）は原画像データから抽出された肌色領域の画像データ、（ｃ）は肌色領域の画像データに対してハイパスフィルタを適用した画像データ、および、（ｄ）はハイパスフィルタを適用した画像データに対するテンプレートマッチングの方法を示す図である。
【図６】ＣＩＥＬＡＢのＬａｂ色空間における代表色を示した色度図である。
【図７】図１の撮像装置の空間フィルタリング処理に用いられる係数が示された２次元ハイパスフィルタの一例の行列を示す図である。
【図８】図２のステップＳ４、Ｓ５の処理に相当する画像データの相関を算出する手順を示すフローチャートである。
【図９】（ａ）は図８の追尾処理で相関をとる元となる追尾対象領域の画像データ、（ｂ）は対象となる次フレーム画像データを示す図である。
【図１０】（ａ）は図３のステップＳ１２における保持時間算出の基礎となる焦点距離および被写体距離に対応する保持時間を示す表、（ｂ）は同内容を示すグラフである。
【発明を実施するための形態】
【００２１】
本発明の撮像装置及びその追尾方法の実施の形態について図面を参照しながら説明する。図１は実施の形態における撮像装置の構成を示すブロック図である。撮像装置は、撮像素子１０１、バッファメモリ１０２、ユーザインタフェース１０３、圧縮回路１０４、記録装置１０５、記録媒体１０６、システムコントローラ１０７、表示制御回路１０８、Ｄ／Ａ変換器１０９およびモニタ装置１１０を有する。また、撮像装置は、信号処理回路１１１、鏡筒装置１１２、発光装置１１３、顔検出部１２０および被写体追尾部１２１を有する。鏡筒装置１１２内には、手ぶれ防止装置（ＩＳ：Image Stabilizer）１１２aおよび角速度センサ１１２bが設けられている。
【００２２】
ユーザからユーザインタフェース１０３を介して撮影指示があると、システムコントローラ１０７は、鏡筒装置１１２の焦点位置や絞り・メカシャッタ、ＣＣＤからなる撮像素子１０１、フラッシュ撮影を行う際の発光装置１１３等を制御し、撮影を行う。
【００２３】
撮影が行われると、撮像素子１０１から撮像信号が出力され、バッファメモリ１０２に蓄えられる。その後、バッファメモリ１０２に蓄えられた撮像信号に対し、信号処理回路１１１によって画像生成用の信号処理が施され、ＹＵＶ画像データが生成される。
【００２４】
この生成された画像データは、バッファメモリ１０２に記憶され、画像データの記録が行われる場合、バッファメモリ１０２から圧縮回路（圧縮・伸長回路）１０４に送られ、ＪＰＥＧファイルとして圧縮される。この圧縮された画像データは、記録装置（記録・読み出し装置）１０５によって記録媒体１０６に記録される。
【００２５】
また、バッファメモリ１０２に蓄えられたＹＵＶ画像データを基に、表示制御回路１０８によって表示画像データ（撮影画像）が生成されると、その撮影画像はＤ／Ａ変換器１０９によって信号変換され、モニタ装置１１０の画面上に表示される。
【００２６】
また、画像データから顔検出を行う場合、顔検出部１２０は、バッファメモリ１０２に蓄えられたＹＵＶ画像データまたはＣＣＤ画像データから顔検出を行い、画像データ中の座標位置（場所）を出力する。
【００２７】
顔検出部１２０によって顔検出が行われていた場合、システムコントローラ１０７は、表示制御回路１０８に対して顔位置に顔枠を表示するように指示を行う。そして、システムコントローラ１０７は、検出された顔のうちのいずれかを追尾対象として選択し、表示制御回路１０８に対して追尾対象として選択した顔位置に、顔枠の代わりに追尾枠を表示するように指示を行う。この追尾枠は、ユーザがどの被写体が追尾されているのかを識別するための識別情報として用いられる。
【００２８】
動画の撮影時やＥＶＦ(Electric View Finder)の利用時において被写体追尾を行う場合、被写体追尾部１２１は、システムコントローラ１０７から追尾対象が存在する追尾対象領域の画像データを取得する。そして、被写体追尾部１２１はこの追尾対象領域の画像データと、新たに得られたフレーム画像データとの相関を求めることで、新たなフレーム画像データにおける追尾対象領域の位置を求める。システムコントローラ１０７は、追尾枠の位置を、被写体追尾部１２１が求めた新たなフレーム画像データにおける追尾対象領域の位置に変更するよう表示制御回路１０８に指示を出す。
【００２９】
本実施形態では、システムコントローラ１０７が顔検出部１２０によって検出された顔位置を顔検出情報として受け取り、この顔位置の画像データを追尾対象領域の画像データとして設定する。そして、被写体追尾部１２１が連続したフレーム画像データの中から、追尾対象領域の画像データと最も相関の高い領域の画像データを検出することを繰り返すことで、被写体の追尾を行う。被写体追尾部１２１は、追尾が成功している間は、顔検出部１２０によって新たに検出された顔位置を追尾には用いない。被写体追尾部１２１は、追尾に失敗して追尾枠が消去された場合に、再び、顔検出部１２０にて検出された顔位置を追尾対象領域として設定する。なお、本実施形態は追尾対象として設定される被写体は人物の顔であるものとして説明を行っているが、これに限られるものではない。例えば、ユーザインタフェース（操作パネル）１０３を介してユーザにより指定された任意の被写体を追尾対象として設定してもよい。
【００３０】
上記構成を有する撮像装置において、顔検出部１２０にて検出された顔を追尾する手法について説明する。図２および図３は被写体追尾時の動作手順を示すフローチャートである。この処理は被写体追尾部１２１によって実行される。
【００３１】
被写体追尾部１２１は、システムコントローラ１０７から追尾対象領域を取得し、その追尾対象領域の画像データを取得する（ステップＳ１）。上述したように、本実施形態では、システムコントローラ１０７は顔検出部１２０で検出された顔位置の領域を最初の追尾対象領域として設定する。被写体追尾部１２１は、この最初の追尾対象領域の画像特徴量を抽出する（ステップＳ２）。この画像特徴量は、例えば明るさや色相といった色情報などである。
【００３２】
被写体追尾部１２１は次のフレーム画像データを取得する（ステップＳ３）。被写体追尾部１２１は、追尾対象領域と最も相関の大きくなる領域を次フレーム画像データから検出し（ステップＳ４）、動きベクトルを算出する（ステップＳ５）。この相関の計算および動きベクトルの算出の詳細については後述する。
【００３３】
被写体追尾部１２１は、この動きベクトル量分だけ追尾対象領域の位置を移動させて追尾対象候補領域の位置を求め、次フレーム画像データから、この追尾対象候補領域の画像データを取得する（ステップＳ６）。すなわち、被写体追尾部１２１は、次フレーム画像データのうち、追尾対象領域と最も相関の高い追尾対象候補領域の画像データを取得する。被写体追尾部１２１は、ステップＳ２と同様に、この追尾対象候補領域の画像特徴量を抽出する（ステップＳ７）。
【００３４】
被写体追尾部１２１は、ステップＳ２で取得した追尾対象領域の画像特徴量とステップＳ７で取得した追尾対象候補領域の画像特徴量を比較する（ステップＳ８）。この比較の結果、被写体追尾部１２１は画像特徴量の差が所定の範囲内であるか否か、つまり、このステップＳ６で取得した追尾対象候補領域の被写体が、ステップＳ１で設定した最初の追尾対象領域と同じ被写体であるか否かを判別する（ステップＳ９）。
【００３５】
画像特徴量の差が所定の範囲内である場合、被写体追尾部１２１は、被写体追尾に成功したとして、システムコントローラ１０７に伝える。システムコントローラ１０７は、ステップＳ６で求めた追尾対象候補領域を新たな追尾対象領域として更新し、更新された追尾対象領域の位置に基づいて、表示制御回路１０８に対して追尾枠の表示位置を更新するように指示を行う（ステップＳ１０）。また、システムコントローラ１０７は、後述するステップＳ１３でタイマがスタートしていた場合には、タイマをストップさせ、かつ、保持時間をリセットする。
【００３６】
この後、被写体追尾部１２１は、ステップＳ３の処理に戻り、新たに次フレーム画像データを取得する。被写体追尾部１２１は、ステップＳ４〜Ｓ６で、次フレーム画像データからステップＳ１０で更新した追尾対象領域と最も類似した追尾対象候補領域を検出し、ステップＳ７でその追尾対象候補領域の画像特徴量を求める。そして、被写体追尾部１２１はこの追尾対象候補領域の画像特徴量と、ステップＳ２で求めた初期の追尾対象領域の画像特徴量と比較し、その差分が所定範囲内であれば、システムコントローラ１０７が再び追尾対象領域を更新する。
【００３７】
このように、被写体追尾部１２１は、新たなフレーム画像データから追尾対象領域と相関の高い領域を追尾対象候補領域として検出し、この追尾対象候補領域と初期の追尾対象領域の画像特徴量が類似していれば、この追尾対象候補領域を追尾候補領域として更新する。被写体追尾部１２１は、追尾対象領域を更新することで、被写体の向きが徐々に変化したり、被写体の形状が徐々に変化したりした場合であっても、継続して追尾を行うことが可能となる。ただし、追尾対象候補領域と初期の追尾対象領域の画像特徴量の差分が所定範囲を超えたのであれば、追尾初期とは別の被写体を追尾対象候補領域として検出している可能性が高い。そのような場合には、追尾に失敗したと判断する。
【００３８】
一方、ステップＳ９に戻り、画像特徴量の差が所定の範囲内でなかった場合、被写体追尾部１２１は、追尾が失敗していると判断し、ステップＳ１１以降の被写体追尾失敗ルーチンに進む。
【００３９】
被写体追尾部１２１は、前フレーム画像データで追尾が成功していたか否かを判別する（ステップＳ１１）。前フレーム画像データにおいて、追尾が成功していた場合、被写体追尾部１２１は、現段階のフレームで始めて追尾が失敗したものとして、保持時間を決定（設定）する（ステップＳ１２）。この保持時間は、追尾が失敗しても追尾枠の表示をそのまま保持する時間である。また、この保持時間は、後述するように、鏡筒装置１１２で制御されている焦点距離、前フレーム画像データ以前に検出された被写体位置および被写体距離、手ぶれ防止装置（ＩＳ）１１２aの制御情報や角速度センサ１１２bの出力などを取得して設定される。
【００４０】
被写体追尾部１２１は、内蔵するタイマをスタートさせ（ステップＳ１３）、ステップＳ１４の処理に進む。
【００４１】
一方、ステップＳ１１で前フレーム画像データにおいても追尾に失敗していた場合、被写体追尾部１２１は、前フレーム画像データに連続して被写体追尾に失敗しているとして、タイマの経過時間が所定の保持時間を超過しているか否かを判別する（ステップＳ１４）。
【００４２】
所定の保持時間内であった場合、表示制御回路１０８に同じ位置での追尾枠の表示を継続させたまま、被写体追尾部１２１は次フレーム画像データを取得し（ステップＳ１６）、ステップＳ６の処理に戻る。被写体追尾部１２１はステップＳ１６からステップＳ６に進んだ場合は、最後に更新された追尾対象領域を追尾対象候補領域として設定する。
【００４３】
一方、所定の保持時間を超過（経過）した場合、被写体追尾部１２１は、追尾枠を消去することを決定し（ステップＳ１５）、本処理を終了する。この追尾枠の消去の決定は被写体追尾部１２１からシステムコントローラ１０７に伝えられる。システムコントローラ１０７は、この決定に従って表示制御回路１０８に追尾枠を消去する指示を送出すると、追尾枠は消去される。これにより、追尾終了となる。
【００４４】
つぎに、顔検出部１２０による顔検出方法について説明する。顔検出方法として、多数の方法が提案されている。一般的には、ニューラルネットワークに代表される学習を用いた方法、目や鼻といった物理的な形状の特徴のある部位の領域によるテンプレートマッチングを用いた方法、肌の色や目の形といった画像特徴量を検出しその統計的解析を用いた方法などがある。また、これらの方法を複数組み合わせて顔認識を行う方法が一般的である。
【００４５】
現在提案されているものとして、ウェーブレット変換と画像特徴量を利用して顔検出する方法や、テンプレートマッチング等を組み合わせた方法など、多数の顔検出方法がある。その一例として、図４は顔検出処理手順を示すフローチャートである。この処理は、前述したように、顔検出部１２０によって行われる。図５は顔検出方法を説明する図である。図５（ａ）は顔検出が行われる対象画像データ（原画像）を示す。
【００４６】
まず、顔検出部１２０は、肌色領域抽出処理を行い、対象画像データから肌色の領域を抽出する（ステップＳ２１）。図６はＣＩＥＬＡＢのＬａｂ色空間における代表色を示した色度図である。図中の楕円ａで示される領域は、肌色である可能性が高い領域である。図５（ｂ）は、ステップＳ２１の処理によって対象画像データから肌色領域の色度である領域が抽出された画像データである。
【００４７】
顔検出部１２０は、抽出された肌色の領域の画像データに対し、ハイパスフィルタを適用する空間フィルタリング処理を行う（ステップＳ２２）。図７は空間フィルタリング処理に用いられる係数が示された２次元ハイパスフィルタの一例を示す行列である。図５（ｃ）は、図５（ｂ）の画像データに対し、図７のハイパスフィルタを適用した画像データである。このハイパスフィルタの適用によって画像データ中、目や鼻などの変化のある部分の輪郭線が強調される。
【００４８】
さらに、顔検出部１２０は、テンプレートマッチングを行い、画像データ中における目の検出を行う（ステップＳ２３）。図５（ｄ）は、ハイパスフィルタを適用した図５（ｃ）の画像データに対するテンプレートマッチングの方法を示す図である。顔検出部１２０は、検出された目の領域の位置関係から顔認識を行い、方向、大きさ等の特徴量を抽出する（ステップＳ２４）。この後、顔検出部１２０は本処理を終了する。なお、ステップＳ２１を省略し、ステップＳ２２にて対象画像データの全領域に対してハイパスフィルタを適用し、ステップＳ２３でテンプレートマッチングを行って顔認識を行うように処理を修正してもよい。
【００４９】
ステップＳ２４で抽出された方向、大きさ等の特徴量である顔検出情報は、顔検出部１２０からシステムコントローラ１０７に伝送される。システムコントローラ１０７は、顔検出情報から追尾対象となる領域（追尾枠）を決定する。
【００５０】
つぎに、被写体の追尾方法について説明する。被写体の相関および動きベクトルを検出する方法は、多数提案されており、ここでは比較的単純な方法について説明する。
【００５１】
図８は画像データの相関を算出する手順を示すフローチャートである。この処理は図２に示す追尾処理におけるステップＳ４、Ｓ５の処理に相当する。
【００５２】
図９は、それぞれ前のフレーム画像データにおける追尾対象領域の画像データ、および、次のフレーム画像データを示す図である。被写体追尾部１２１は、相関をとる元となる追尾対象領域の画像データ２０１を取得する（ステップＳ３１）。なお、図９（ａ）に示すように、追尾枠２１０は追尾対象領域の画像データ２０１を囲うように設定される。
【００５３】
続いて、被写体追尾部１２１は、追尾対象領域の画像データ２０１が得られたフレーム画像データの次に得られたフレーム画像データ３００のうち、追尾対象領域の画像データ２０１と同じ位置に存在する比較領域の位置を取得する（ステップＳ３２）。
【００５４】
被写体追尾部１２１は、比較領域の位置を、フレーム画像データ３００上で垂直、水平あるいは斜め方向に所定範囲内でシフトさせ、シフトさせた位置での比較領域の画像データを取得する（ステップＳ３３）。
【００５５】
被写体追尾部１２１は、ステップＳ３３で取得した比較領域の画像データと追尾対象領域の画像データ２０１との画像差分を算出する（ステップＳ３４）。被写体追尾部１２１は、ステップＳ３４における画像差分の絶対値の積分値を取得する（ステップＳ３５）。ここで、画像差分の積分値の絶対値が小さいほど画像データの相関が高い（画像データの相関が大きい）。
【００５６】
被写体追尾部１２１は、画像データの相関がそれまで得られた中で最大であるか否かを判別する（ステップＳ３６）。画像データの相関が最大である場合、被写体追尾部１２１は、この相関および比較領域の位置を保存する（ステップＳ３７）。一方、画像データの相関が最大でない場合、被写体追尾部１２１はそのままステップＳ３８の処理に進む。
【００５７】
被写体追尾部１２１は、ステップＳ３３にて、ステップＳ３２で取得した位置を含む、あらかじめ設定された全ての位置に比較領域の位置を移動させたか否かを判別する（ステップＳ３８）。全ての位置に移動させていない場合、被写体追尾部１２１はステップＳ３３の処理に戻る。一方、全ての位置に移動させていた場合、被写体追尾部１２１は、最も相関が高かった位置までのシフト量（動きベクトル）および相関を出力する（ステップＳ３９）。図９（ｂ）において、画像データ３０１は、追尾対象領域の画像データ２０１と最も相関が高いと判断された比較領域の画像データを示している。この後、被写体追尾部１２１は本処理を終了する。なお、動きベクトルを算出する方法は様々であり、本方法に限定されるものではない。
【００５８】
つぎに、ステップＳ１２における保持時間の設定について説明する。図１０は焦点距離および被写体距離に対応する保持時間を示す表およびグラフである。図１０（ａ）に示す表および同図１０（ｂ）に示すグラフでは、被写体距離と焦点距離との組み合わせで保持時間は設定される。
【００５９】
ここで、焦点距離が長い程、保持時間は短く設定される。すなわち、ズームアップ時には、手ぶれなどによる視野(撮影範囲)の変動や被写体の移動によって追尾対象である被写体が視野から外れる可能性が高いので、そのような場合、保持時間は短く設定される。これにより、追尾に失敗すると、次の被写体の検出に移行するまでの時間が短くなる。また同様に、被写体距離が短い程、主要被写体が視野から外れやすくなるので、保持時間は短く設定される。なお、被写体距離の代わりに、主要被写体の画面内のサイズが大きいほど保持時間を長くすることで、同様の効果が得られる。
【００６０】
また同様に、焦点距離、および撮影画像の画面内で被写体追尾が失敗した場所に応じて、保持時間を決定するようにしてもよい。すなわち、前フレーム以前に検出された被写体位置が画面の中心部から外れて周辺にある程、被写体が視野から外れやすいので、このような場合、保持時間を短く設定することが好ましい。
【００６１】
また、焦点距離情報、手振れ防止装置（ＩＳ）の制御情報、角速度センサの出力および被写体位置の少なくとも１つによって、主要被写体が視野から外れたことを検出することも可能である。ここで、角速度センサやＩＳから所定値よりも大きい値が出力された場合に、視野から主要被写体が外れたと判断し、保持時間を短く設定するようにしてもよい。
【００６２】
また、撮像装置に搭載した角速度センサから、撮像装置が三脚に装着されているか否かを判断し、三脚に装着されていると判断された場合には、保持時間を長く設定するようにしてもよい。主要被写体以外の部分の画像データの相関が極めて高い場合には、三脚に装着されているものと判断して、保持時間を長く設定してもよい。
【００６３】
焦点距離や被写体距離だけでなく、被写体輝度、色温度、あるいは、撮像素子の感度に応じて保持時間を設定してもよい。例えば、撮像素子の感度が高めに設定されるとノイズが増加し、被写体輝度が低い場合には被写体の相関が低くなるため、顔検出処理や追尾処理の精度が低下する。このような場合には、追尾枠が誤った位置に表示される可能性が高まるため、保持時間を短めに設定する。また、色温度が低い場合には電球などの低輝度の光源が用いられていることが多く、被写体輝度が低いと推定される。そのため、色温度に応じて保持時間を設定するようにしてもよい。
【００６４】
本実施形態の撮像装置は、被写体追尾機能を利用し、被写体に最適な撮影設定および信号処理を行う際、被写体を追尾していることを示す追尾枠の表示および消去を制御する。さらに、撮像装置は、焦点距離などに応じて、被写体追尾が失敗しても追尾枠の表示をそのまま保持するための保持時間を制御することで、ユーザの使い勝手を向上させることが可能である。
【００６５】
このように、撮像装置は、被写体を追尾していることを示す追尾枠の表示および消去を制御する際、焦点距離に応じて、保持時間を設定する。そして、被写体を見失ってからこの設定された保持時間が経過した場合、撮像装置は追尾枠の表示を終了させる。従って、被写体追尾中、一時的に追尾できなくなった場合、追尾可能な状態に復帰する可能性のある保持時間を適切に設定することができ、ユーザの使い勝手が向上する。
【００６６】
また、一時的に被写体を見失っても、保持時間内であれば、速やかに追尾状態に復帰することができる。
【００６７】
また、ズームアップ時に手ぶれなどによる視野の変動や被写体の移動によって追尾被写体が視野から外れる可能性が高いが、焦点距離が長い程、保持時間を短くすることで、追尾処理を行う時間が短くなり、次の被写体検出に移行し易くなる。
【００６８】
また、被写体距離が短い程、主要被写体が視野から外れ易くなることに対処できる。また、被写体追尾が失敗した場所が画面の中心から周辺に外れる程、主要被写体が視野から外れ易いことに対処できる。また、撮像装置が振動している程、主要被写体が視野から外れ易くなることに対処できる。また、被写体を自動的に検出あるいはユーザが指定することで、被写体の特定が容易になる。また、追尾対象となる被写体を示す追尾枠を表示することで、被写体領域の識別が容易である。
【００６９】
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【００７０】
例えば、上記実施形態では、被写体領域として、顔検出部１２０が顔検出を行い、その顔位置を含む領域が特定されたが、前述したように、ユーザインタフェース１０３を介してユーザによって指定されたユーザ指定領域が特定されてもよい。
【００７１】
また、上記実施形態では、撮像素子としてＣＣＤ素子が用いられたが、ＣＭＯＳ素子等でもよい。
【００７２】
また、モニタ（表示）装置としては、液晶ディスプレイに限らず、有機ＥＬディスプレイ、表面電界ディスプレイ（ＳＥＤ）、プラズマディスプレイなどを用いてもよい。
【００７３】
また、本発明は、撮像装置として、コンパクトタイプのデジタルカメラ、デジタルビデオカメラ、デジタルＳＬＲ（一眼レフカメラ）等に適用可能である。
【符号の説明】
【００７４】
１０１ 撮像素子
１０２ バッファメモリ
１０７ システムコントローラ
１１０ モニタ装置
１２０ 顔検出部
１２１ 被写体追尾部
２１０ 追尾枠
【特許請求の範囲】
【請求項１】
撮影された撮影画像を生成する撮像装置において、
前記撮影画像に含まれる被写体を特定する特定手段と、
前記撮影画像を画面に表示するとともに、前記特定された被写体を追尾していることを示す識別情報を表示する表示手段と、
前記被写体を追尾する追尾手段と、
前記撮像装置の焦点距離、および、被写体距離の少なくともいずれかに応じて、前記識別情報の表示を保持する保持時間を設定する設定手段と、
前記追尾手段が前記被写体を見失ってから前記設定された保持時間が経過した場合に前記識別情報の表示を消去する消去手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記追尾手段が前記被写体を見失ってから前記設定された保持時間を経過していない場合、前記表示手段は前記識別情報の表示を継続することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記設定手段は、前記焦点距離が長い程、前記保持時間を短く設定することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記設定手段は、前記被写体距離が長い程、前記保持時間を長く設定することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記設定手段は、被写体距離と前記焦点距離の組み合わせによって前記保持時間を決定することを特徴とする請求項１記載の撮像装置。
【請求項６】
前記設定手段は、さらに前記撮影画像の画面内で被写体追尾が失敗した場所に応じて、前記保持時間を決定することを特徴とする請求項１記載の撮像装置。
【請求項７】
前記設定手段は、前記撮影画像の画面内で前記被写体追尾が失敗した場所が前記画面の中心と比較して周辺である程、前記保持時間を短く設定することを特徴とする請求項６記載の撮像装置。
【請求項８】
前記設定手段は、さらに手ぶれ防止装置の制御情報または角速度センサの出力に応じて、前記保持時間を決定することを特徴とする請求項１記載の撮像装置。
【請求項９】
前記設定手段は、前記制御情報または前記出力を基に、前記撮像装置が振動していると判断した場合、振動していない場合と比較して前記保持時間を短く設定することを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記特定手段は、前記撮影画像に含まれる被写体を検出する検出手段を備えたことを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記表示手段によって表示される識別情報は、前記撮影画像に表示される追尾枠であることを特徴とする請求項１記載の撮像装置。
【請求項１２】
撮影された撮影画像を生成する撮像装置の追尾方法において、
前記撮像装置が、前記撮影画像に含まれる被写体を特定する特定ステップと、
前記撮像装置が、前記撮影画像を画面に表示するとともに、前記特定された被写体を追尾していることを示す識別情報を表示する表示ステップと、
前記撮像装置が、前記被写体を追尾する追尾ステップと、
前記撮像装置が、前記撮像装置の焦点距離、および、被写体距離の少なくともいずれかに応じて、前記識別情報の表示を保持する保持時間を設定する設定ステップと、
前記撮像装置が、前記追尾ステップで前記被写体を見失ってから前記設定された保持時間が経過した場合、前記識別情報の表示を消去する消去ステップとを有することを特徴とする撮像装置の追尾方法。
【請求項１】
撮影された撮影画像を生成する撮像装置において、
前記撮影画像に含まれる被写体を特定する特定手段と、
前記撮影画像を画面に表示するとともに、前記特定された被写体を追尾していることを示す識別情報を表示する表示手段と、
前記被写体を追尾する追尾手段と、
前記撮像装置の焦点距離、および、被写体距離の少なくともいずれかに応じて、前記識別情報の表示を保持する保持時間を設定する設定手段と、
前記追尾手段が前記被写体を見失ってから前記設定された保持時間が経過した場合に前記識別情報の表示を消去する消去手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記追尾手段が前記被写体を見失ってから前記設定された保持時間を経過していない場合、前記表示手段は前記識別情報の表示を継続することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記設定手段は、前記焦点距離が長い程、前記保持時間を短く設定することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記設定手段は、前記被写体距離が長い程、前記保持時間を長く設定することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記設定手段は、被写体距離と前記焦点距離の組み合わせによって前記保持時間を決定することを特徴とする請求項１記載の撮像装置。
【請求項６】
前記設定手段は、さらに前記撮影画像の画面内で被写体追尾が失敗した場所に応じて、前記保持時間を決定することを特徴とする請求項１記載の撮像装置。
【請求項７】
前記設定手段は、前記撮影画像の画面内で前記被写体追尾が失敗した場所が前記画面の中心と比較して周辺である程、前記保持時間を短く設定することを特徴とする請求項６記載の撮像装置。
【請求項８】
前記設定手段は、さらに手ぶれ防止装置の制御情報または角速度センサの出力に応じて、前記保持時間を決定することを特徴とする請求項１記載の撮像装置。
【請求項９】
前記設定手段は、前記制御情報または前記出力を基に、前記撮像装置が振動していると判断した場合、振動していない場合と比較して前記保持時間を短く設定することを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記特定手段は、前記撮影画像に含まれる被写体を検出する検出手段を備えたことを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記表示手段によって表示される識別情報は、前記撮影画像に表示される追尾枠であることを特徴とする請求項１記載の撮像装置。
【請求項１２】
撮影された撮影画像を生成する撮像装置の追尾方法において、
前記撮像装置が、前記撮影画像に含まれる被写体を特定する特定ステップと、
前記撮像装置が、前記撮影画像を画面に表示するとともに、前記特定された被写体を追尾していることを示す識別情報を表示する表示ステップと、
前記撮像装置が、前記被写体を追尾する追尾ステップと、
前記撮像装置が、前記撮像装置の焦点距離、および、被写体距離の少なくともいずれかに応じて、前記識別情報の表示を保持する保持時間を設定する設定ステップと、
前記撮像装置が、前記追尾ステップで前記被写体を見失ってから前記設定された保持時間が経過した場合、前記識別情報の表示を消去する消去ステップとを有することを特徴とする撮像装置の追尾方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−８１５８７（Ｐ２０１０−８１５８７Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００９−１９０１１９（Ｐ２００９−１９０１１９）
【出願日】平成２１年８月１９日（２００９．８．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２１年８月１９日（２００９．８．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]