撮像装置及びその制御方法、並びにプログラム
【課題】画角が変化している場合でも主被写体を精度よく決定することが出来る撮像装置を提供する。
【解決手段】撮像装置１００は、画角に依存する情報を用いて主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定し、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定し、第１評価値と第２評価値とを比較して、主被写体可能性が高い方の評価値に対応する主被写体候補を主被写体として決定するものであって、画角が変更されている場合は、変更されていない場合に比較して、第１評価値に対する第２評価値を優先して用いて主被写体を決定する。
【解決手段】撮像装置１００は、画角に依存する情報を用いて主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定し、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定し、第１評価値と第２評価値とを比較して、主被写体可能性が高い方の評価値に対応する主被写体候補を主被写体として決定するものであって、画角が変更されている場合は、変更されていない場合に比較して、第１評価値に対する第２評価値を優先して用いて主被写体を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に、動画像撮像及び多重露光撮像が可能な撮像装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
撮像装置や印刷装置では、類似する色相や彩度情報を有する画素ごとに同一の領域にまとめ、その領域の画角内の位置に応じて、その領域が被写体か背景かを判別するシステムが開示されている（例えば、特許文献１参照）。
【０００３】
この技術を利用すれば、画像内の背景以外の被写体が占める領域を特定することが出来る。複数の被写体が検出された場合には、それぞれの被写体に対して評価値を求め、最も高い評価値を備えた被写体を主被写体とすることが考えられる。例えば、被写体の位置の画像中心からの距離、あるいは、被写体のサイズに応じて評価値を付与するシステムが開示されている（例えば、特許文献２参照）。
【０００４】
さらに、動画を構成する映像信号において、主被写体として検出された被写体に対し、追尾処理を行うシステムが開示されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２３３２３６号公報
【特許文献２】特開２００８−００５４３８号公報
【特許文献３】特開２０１０−１５４２８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、分類した領域の画角内の位置に応じて、その領域が被写体か否かを判別する従来の技術では、撮像の際にズームを行うと、撮像される画像の画角に変化が生じるため、被写体か背景かの判別結果に影響が出てしまう。つまり、ズーム中等画角が安定しない状態では主被写体が誤って検出されてしまう可能性があり、検出した主被写体を追尾する機能を備えた撮像装置にこの機能を適用すると、誤検出された主被写体を追尾するケースが生じることとなる。
【０００７】
このように、従来の技術では、画角が変化している場合は、主被写体を誤検出することがあった。
【０００８】
本発明の目的は、画角が変化している場合でも主被写体を精度よく決定することが出来る撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１の撮像装置は、被写体を撮像するとともに、画角を変更可能な撮像手段と、前記撮像手段に撮像された被写体を示す画像から、画角に依存する情報を用いて主被写体候補が主被写体である主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する第１決定手段と、前記撮像手段に撮像された被写体を示す画像から、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定する第２決定手段と、前記第１評価値と前記第２評価値を用いて、いずれかの評価値に対応する主被写体候補を主被写体として決定する第３決定手段とを備え、前記第３決定手段は、前記撮像手段により撮像する画角が変更されている場合は、変更されていない場合に比較して、前記第１評価値に対する前記第２評価値を優先して用いて前記主被写体を決定する。
【発明の効果】
【００１０】
本発明によれば、画角が変化している場合でも主被写体を精度よく決定することが出来る。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示す図である。
【図２】図１におけるシステム制御部により実行される静止画記録処理の手順を示すフローチャートである。
【図３】図２のステップＳ２０１で実行される被写体枠表示処理の手順を示すフローチャートである。
【図４】図３のステップＳ３０１で実行される主被写体枠決定処理の手順を示すフローチャートである。
【図５】図３のステップＳ３０７で実行される追尾枠決定処理の手順を示すフローチャートである。
【図６】図２のステップＳ２０１で実行される被写体枠表示処理の変形例の手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１３】
図１は、本発明の実施の形態に係る撮像装置１００の概略構成を示す図である。
【００１４】
図１において、レンズ１０は外光を集光する。レンズ駆動回路４２は、レンズ位置を光軸に沿って前後に動かすことで焦点を調節したり、画角を変更可能である。さらに、ブレ量検知回路４４で測定したカメラのブレ量を元に、手ブレ補正回路４０にてレンズ１０を駆動し、手ブレをキャンセルする方向に光軸を変化させることで光学的な手ブレ補正を行う構成とすることも可能である。ブレ量検知回路４４には、ジャイロセンサーが含まれている。図１ではレンズ１０を駆動することで手ブレ補正を実現しているが、ＣＣＤ１６を駆動することで同様に手ブレを補正することも可能である。
【００１５】
レンズ１０を通過した光は絞り１４により、その光量を調節することが出来る。システム制御部６０は、絞り制御情報を絞り駆動回路２６に伝達することで、絞り１４を制御することが可能である。絞り１４は、複数枚の羽から構成された虹彩絞りや、予め板を様々な径で穴を打ち抜いた丸絞りがある。システム制御部６０はこれらの絞り１４と絞り駆動回路２６を用い、被写体輝度が高い場合は絞りを絞って光量を落とすように制御し、被写体輝度が低い場合は絞りを開放にして光を多く取り込むように制御することが可能である。
【００１６】
システム制御部６０は、メカニカルシャッター制御情報をメカニカルシャッター駆動回路２８に伝達することで、メカニカルシャッター１２を制御することが可能である。静止画撮影時の露光時間は、メカニカルシャッター１２の開閉時間により決定され、この時間はシステム制御部６０が時間を判断し、メカニカルシャッター駆動回路２８に指示を出す。
【００１７】
レンズ１０、メカニカルシャッター１２、絞り１４を通過した光はＣＣＤ１６に受光される。システム制御部６０は、撮像素子制御信号をＴＧ（Timing Generator）２４に伝達することで、ＣＣＤ１６を制御することが出来る。ＴＧ２４は、システム制御部６０から受信した制御情報をもとにＣＣＤ１６を駆動する。ＣＣＤ１６は素子への露光と、露光したデータの読み出し作業を周期的に行っており、この作業はＴＧ２４からの駆動信号を基準に行われる。またＴＧ２４は、ＣＣＤ１６の露光時間を制御することが可能である。任意のタイミングで、素子がチャージした電荷を開放するように、ＴＧ２４からＣＣＤ１６へ駆動信号を出すことでこれを可能としている。
【００１８】
ＣＣＤ１６から読み出された画像データは、ＣＤＳ（Correlated Double Sampler）回路１８を通過する。ＣＤＳは相関二重サンプリング方式により画像データのノイズ成分を除去することを主な役割とする。その後、画像データはＰＧＡ（Programmable Gain Amplifier）回路２０により、画像データレベルを減衰／増幅することが出来る。システム制御部６０は、増幅レベルをＰＧＡ回路２０に伝達することで、増幅量を制御することが出来る。
【００１９】
通常、ＣＣＤ１６の露出を適正にするには、絞り１４やシャッターを用いることで実現されるが、ＰＧＡ回路２０で画像データ信号を減衰／増幅することで、擬似的に画像データの露出を変える役割を担うことが出来る。これは、絞りやシャッター速度と並ぶ撮影時の露出条件の一つとして、感度という概念でユーザーに機能提供することが可能である。
【００２０】
また、ストロボ制御部４８を介してストロボ４６を発光させることも出来る。逆光状態や低照度時等、被写体が暗い場合にストロボ発光撮影することで、被写体を明るく撮影することが可能となる。
【００２１】
画像データはＡ／Ｄ（Analog/Digital Converter）回路２２にてアナログ信号からデジタル信号である画像信号へ変換される。画像信号のビット幅は１０ビット、１２ビット、１４ビット等があり、後段の画像処理回路５０は、複数種類のビット幅に対応可能である。
【００２２】
なお、図１では、ＣＤＳ回路１８、ＰＧＡ回路２０、Ａ／Ｄ回路２２をそれぞれ別のブロックとして表現しているが、１つのＩＣパッケージにこれらの機能を搭載したものを採用することも可能である。
【００２３】
Ａ／Ｄ回路２２からデジタル化された画像データは画像処理回路５０へ入力される。画像処理回路５０は複数のブロックから構成され、さまざまな機能を実現している。
【００２４】
ＣＣＤ１６はカラーフィルターを通して各画素ごとに特定の色成分を抽出するものが一般的である。Ａ／Ｄ回路２２からの画像信号はＣＣＤ１６の画素及びカラーフィルター配置に対応したデータ形式になっており、輝度成分のみを評価して露出制御を行う自動露出制御（ＡＥ：Auto Exposure Control）で使用するには適さない形式である。画像処理回路５０では、画像信号から色情報を排除し、輝度情報のみを抜き出す機能を備えている。逆に、色情報を抽出する機能も備え、被写体の光源を特定し、色を適切に調節するホワイトバランス処理に使用することが出来る。
【００２５】
さらに、画像処理回路５０は、ＣＣＤ１６から読み出された信号の周波数成分のみを抜き出す機能を備え、その機能は自動ピント合わせ制御（ＡＦ：Auto Focus）時に使用される。また、画像処理回路５０は、ＣＣＤ１６から読み出されたデータのどの領域の周波数成分を抽出するか、また、領域内を分割設定出来る機能を備えている。また、画像処理回路５０はヒストグラムを生成する機能も持ち、画像データを入力することで画像のヒストグラムを取得することも出来る。
【００２６】
さらに、画像処理回路５０は、Ａ／Ｄ回路２２によりデジタル化された画像信号のレベルの増減、画像の色効果等を操作する機能を備え、撮影画像の画質を調節するという役割も担っている。画像信号のレベルに関して、画像処理回路５０は、画像全体に一律の増幅率でレベルを増減させる機能や、元の信号レベルの大小に応じて信号レベルを変換するトーンカーブ（ガンマ）機能を有する。あるいは、画像処理回路５０は、画面内の領域ごとの周波数成分に応じた増幅率でレベルを増減させる機能を有する。それらの機能により、様々な画像信号レベル調節が可能となっている。
【００２７】
Ａ／Ｄ回路２２からデジタル化された画像データが画像処理回路５０へ入力すると同時に、その画像データを一時記憶メモリ３０に記憶することが出来る。一旦、一時記憶メモリ３０に記憶した画像データは再度読み出すことができ、システム制御部６０から画像データを参照したり、読み出した画像データを画像処理回路５０に入力することが可能である。さらに、画像処理回路５０で画像処理した画像データを一時記憶メモリに書き戻したり、システム制御部６０から任意のデータを書き込むことも可能である。
【００２８】
画像処理回路５０で適切に処理された画像データは、画像認識回路３８に入力することが出来る。画像認識回路３８は、入力された画像の明るさ状況、ピント合焦状況、色状況の認識に加え、人物の顔認識とその表情、文字がある場合はその文字情報を認識することが可能となっている。画像認識回路３８には複数の画像を入力することが可能となっており、例えば２つの画像を入力し、その２つの画像の特徴を比較することで、同一の画像かどうかを判定することが可能となっている。
【００２９】
画像認識回路３８で画像を認識する方法に加え、システム制御部６０でも画像認識処理を行うことが出来る。システム制御部６０はＣＰＵ上で予めコーディングされたプログラムを実行することが出来るが、一時記憶メモリ３０に記憶された画像データをシステム制御部６０から読み出し、その画像データを解析してシーンの状況を認識することが出来る。
【００３０】
画像をＬＣＤ等の画像表示装置１０８に出力する場合、画像処理回路５０で画像処理を行った画像データをＶＲＡＭ３４上に展開しておき、それをＤ／Ａ３６にてアナログデータに変換して画像表示装置１０８に表示する。電子ファインダーを実現する場合は、ＣＣＤ１６から読み出される連続した画像を順次画像表示装置１０８に表示更新していくことで可能となる。ＶＲＡＭ３４上に画像データを展開する際、１つの画像データを画像表示装置１０８に最も大きくなるように、又は複数の画像をマルチ画面表示するように等、様々な表示形態に対応するようにＶＲＡＭ３４上に展開することが出来る。
【００３１】
画像表示装置１０８には、画像だけでなく任意の情報を単独、もしくは画像と共に表示することが可能である。カメラの状態表示や、ユーザーが選択あるいはカメラが決定したシャッター速度や絞り値、感度情報等の文字情報や、画像処理回路５０にて測定した輝度分布のようなグラフや、顔認識結果、シーン認識結果等も表示可能である。情報の表示位置、表示色も任意に選択可能である。これら様々な情報を表示することで、ユーザーインターフェースをとることが可能となる。
【００３２】
また、画像表示装置１０８には、画像記憶媒体８２に記憶されている画像データを表示することも可能である。画像データが圧縮されている場合、圧縮伸張部３２にて伸張し、ＶＲＡＭ３４にデータを展開する。このデータをＤ／Ａ３６にてアナログデータに変換して出力する。
【００３３】
画像記憶媒体８２は不揮発性のものであり、主に撮影した画像データを記憶することが可能である。画像データの記憶に関しては、フォルダ階層を持たせたり、撮影した順にフォルダやファイル名が昇順に命名されるようにすることが可能である。各画像データには、絞り値やシャッター速度、ＩＳＯ感度等の撮影情報や、撮影した時刻等を付加することができ、それらを画像データと共に記憶することが可能となっている。さらに、記憶した画像データの読み出しはもちろん、画像の複製、移動、消去も可能となっている。
【００３４】
操作部７０には、システムの電源オン／オフを切り替えることの出来る電源スイッチ１０２、撮影指示を行うためのシャッタースイッチＳＷ１（１０４）、ＳＷ２（１０６）、モード切替スイッチ１１０、パラメータ選択スイッチ１１２が含まれる。
【００３５】
シャッタースイッチＳＷ１（１０４）は、不図示のシャッターボタンの操作途中でＯＮとなり、自動露出制御やピント制御等の撮影準備動作の開始を指示する。シャッタースイッチＳＷ２（１０６）は、不図示のシャッターボタンの操作完了でＯＮとなり、静止画撮影や画像認識の指示を行う操作が実現可能である。
【００３６】
モード切替スイッチ１１０は、静止画撮影モード、動画撮影モード、再生モード等のカメラ動作モードを切り替えることが出来る。
【００３７】
パラメータ選択スイッチ１１２により、測距領域や測光モードをはじめとする撮影時の撮影条件の選択や、撮影画像再生時のページ送り、カメラの動作設定全般等をユーザーが選択することが出来る。さらに前述の電子ファインダーのＯｎ／Ｏｆｆを選択することも出来る。また、画像表示装置１０８は画像を表示すると共に、タッチパネルとして入力装置となる構成とすることも出来る。
【００３８】
なお、図１において、撮像系として囲まれた部分が被写体を撮像するとともに、画角を変更可能な撮像手段に対応している。
【００３９】
図２は、図１におけるシステム制御部６０により実行される静止画記録処理の手順を示すフローチャートである。
【００４０】
図２において、システム制御部６０は、後述する図３の被写体枠表示処理を実行して、ＣＣＤ１６から読み出された画像データを解析することで被写体領域を決定する。そして、そこに主被写体を示す被写体枠を撮像された被写体を示す画像に重畳して表示する（ステップＳ２０１）。
【００４１】
次いで、シャッタースイッチＳＷ１（１０４）がＯＮか否かを判別する（ステップＳ２０２）。判別の結果、ＯＦＦのときは（ステップＳ２０２でＮＯ）、Ｓ２０１に戻り、ＯＮのときは（ステップＳ２０２でＹＥＳ）、ステップＳ２０３に進み、被写体輝度を求めるための測光処理を行う（ステップＳ２０３）。この測光処理では、撮像部から読み出された画像データの信号レベルと適正レベルとの差分、測光時の露出等から被写体輝度を求め、測光値としてシステム制御部６０の内部メモリ（不図示）に記憶する。また、ステップＳ２０１で表示された被写体枠の位置に対して重点測光することも可能である。
【００４２】
次いで、システム制御部６０は、ステップＳ２０３で記憶した測光値に基づき測距処理に適した露出に制御し（ステップＳ２０４）、測距処理を行う（ステップＳ２０５）。このステップＳ２０５ではステップＳ２０１で表示された被写体枠の位置に対して測距を行い、被写体に対してピントを合わせることが出来る。
【００４３】
次いで、ステップＳ２０３で記憶した測光値に基づき、シャッタースイッチＳＷ１（１０４）のＯＮを保持している間に用いる露出を制御する（ステップＳ２０６）。ここではシャッタースイッチＳＷ２（１０６）がＯＮとなった後の撮影タイムラグを短縮するため、静止画露出の絞り値に予め絞りを制御しておく。
【００４４】
次いで、シャッタースイッチＳＷ２（１０６）がＯＮか否かを判別し（ステップＳ２０７）、ＯＦＦのときは（ステップＳ２０７でＮＯ）、シャッタースイッチＳＷ１（１０４）がＯＮか否か判別する（ステップＳ２０８）。ここで、ＯＦＦのときは（ステップＳ２０８でＹＥＳ）、ステップＳ２０１に戻り、ＯＮのときは（ステップＳ２０８でＮＯ）、ステップＳ２０７の処理に戻る。
【００４５】
ステップＳ２０７の判別の結果、ＯＮのときは（ステップＳ２０７でＹＥＳ）、ステップＳ２０３で記憶した測光値に基づき静止画用の露出に設定する（ステップＳ２０９）。また、発光撮影する場合には調光動作を行い、本露光に対する発光設定も行っておく。次いで、本露光を行う（ステップＳ２１０）。本露光されたデータは一時記憶メモリ３０に記憶される。そして、撮像されたデータの現像処理を行い（ステップＳ２１１）、現像されたデータを画像記録媒体Ｉ／Ｆ８０を通じて画像記憶媒体８２に記録し（ステップＳ２１２）、再びステップＳ２０１の処理に戻る。
【００４６】
図３は、図２のステップＳ２０１で実行される被写体枠表示処理の手順を示すフローチャートである。
【００４７】
なお、以下の説明において、画角を変更することをズームと表現し、望遠側をテレ側、広角側をワイド側と表現する。また、フローチャートではαＴ→Ｗのようにαに矢印を用いて表現しているが、ここでは省略する。
【００４８】
図３において、システム制御部６０は、主被写体検出枠決定処理を実行して、被写体枠の候補となる主被写体検出枠（第１主被写体候補）を決定する（ステップＳ３０１）（第１決定手段）。
【００４９】
図４は、この図３のステップＳ３０１で実行される主被写体枠決定処理の手順を示すフローチャートである。
【００５０】
図４において、システム制御部６０は、得られた画像データをＭ×Ｎのブロックに分割し、Ｍ×Ｎの各ブロックに対して輝度／色相／彩度情報を取得する（ステップＳ５０１）。ここでは画像処理回路５０及び或いはシステム制御部６０を用いて画像データをＭ×Ｎの輝度／色相／彩度情報に変換する（例えばＭ＝３２、Ｎ＝２４）。以降、このＭ×Ｎの輝度／色相／彩度情報を解析に用いる。
【００５１】
次いで、取得した輝度／色相／彩度情報をもとに、Ｍ×Ｎのブロックを複数の領域に分割する（ステップＳ５０２）。具体的に、まず彩度情報を用いて、彩度の高いブロックと低いブロックとを認識する。次いで彩度の高いブロックについては色相情報を用いて、彩度の低いブロックについては輝度情報を用いて、それぞれの情報がある範囲内に収まるブロックを同一領域としてグルーピングする。こうすることで、Ｍ×Ｎのブロックが色の似た領域及び或いは輝度の似た領域に分割されることになる。
【００５２】
次いで、分割された各領域が背景であるか否かを判定し、背景であると判定された領域を、主被写体領域候補から除外する（ステップＳ５０３）。具体的には、画面端に触れている部分の多い領域や、その領域と近い色相を持った領域を背景領域と判定し、それ以外は背景以外の領域として定める。同じ画面端でも画面下方向については主被写体領域が触れる可能性が高いことから、画面下方向については背景除去の対象外としてもよい。
【００５３】
主被写体領域候補から除外されずに候補に残った背景以外の領域の各々に対して、上述した第１評価値としての評価値を算出する（ステップＳ５０４）。この評価値は、画面中心からの距離、面積、扁平率のうちの少なくとも１つの情報から算出され、値が大きいほど主被写体領域である可能性が高いことを示す。例えば画面中心に近く、面積が大きく、扁平率が低いほど評価値を高くする。また、前回の主被写体枠決定処理にて評価値が一番大きかった領域と同一と判定された領域の評価値を高くすることも出来る。同一領域の判定には輝度／色相／彩度情報や位置を用いればよい。
【００５４】
次いで、主被写体である主被写体可能性を示す主被写体自信度を算出する（ステップＳ５０５）。この主被写体自信度は、評価値の一番大きかった領域の評価値、及び評価値の大きかった上位２つの領域の評価値の差分が大きいほど大きくする。また、同一領域が連続して評価値の一番大きい領域となった場合に主被写体自信度を大きくしてもよい。
【００５５】
そして、上述した第１主被写体候補としての主被写体検出枠を決定して（ステップＳ５０６）、本処理を終了する。ここでは、ステップＳ５０５で算出した主被写体自信度が閾値以上であれば評価値の一番大きかった領域を主被写体検出枠として決定する。主被写体自信度が閾値に達していない場合、「主被写体検出枠なし」とする。また、ステップＳ５０３で背景除去された結果残った主被写体領域候補の数が多かった場合も、評価値のばらつきによって評価値の一番大きい領域が安定しないため「主被写体検出枠なし」としてもよい。
【００５６】
なお、この主被写体枠決定処理は、画面端に触れている部分の多い領域やその領域と近い色相を持った領域を主被写体領域候補から除外する手順であるため、画角の変動が生じるズームの影響を受けやすいものとなっている。例えば、主被写体検出枠として決定された領域における被写体であっても、その後のズームによって画角の端部に接する部分が増えてしまうと、背景として扱われることになってしまうことがある。
【００５７】
図３に戻り、ステップＳ３０２で、追尾中か否かを判別する（ステップＳ３０２）。この追尾処理は、指定された被写体領域の主に色に基づいて、連続して撮像される画像データ中の被写体領域の位置を追跡する処理である。追尾処理の開始、終了に関する処理はＳ３０６、Ｓ３１８、Ｓ６１０等で行われるが、システム制御部６０は内部メモリに記憶されたフラグを管理、参照することによって現在の追尾状態を判断することが出来る。
【００５８】
ステップＳ３０２の判別の結果、追尾中でないとき（ステップＳ３０２でＮＯ）、ステップＳ３０１の主被写体検出枠決定処理によって得られた被写体枠の候補となる主被写体検出枠があるか否かを判別する（ステップＳ３０３）。主被写体検出枠がなかったとき（ステップＳ３０３でＮＯ）、画像表示装置１０８上の被写体枠を非表示にして（ステップＳ３０４）、本処理を終了する。ステップＳ３０４では、それまで被写体枠を表示していた場合はそれを非表示とし、また表示している被写体枠がなかった場合はそのまま被写体枠が表示されない状態を保つ。
【００５９】
ステップＳ３０３の判別の結果、主被写体検出枠があったとき（ステップＳ３０３でＹＥＳ）、主被写体検出枠を被写体枠として画像表示装置１０８に表示し（ステップＳ３０５）、追尾処理を開始して（ステップＳ３０６）、本処理を終了する。
【００６０】
ステップＳ３０２の判別の結果、追尾中のとき（ステップＳ３０２でＹＥＳ）、追尾枠決定処理を実行して、被写体枠の候補となる追尾枠（第２主被写体候補）を決定する（ステップＳ３０７）（第２決定手段）。
【００６１】
図５は、この図３のステップＳ３０７で実行される追尾枠決定処理の手順を示すフローチャートである。
【００６２】
図５において、システム制御部６０は、追尾対象の初期特徴色が記憶済みか否かを判別する（ステップＳ６０１）。判別の結果、記憶済みのときは（ステップＳ１０６でＹＥＳ）、ステップＳ６０４に進み、記憶済みでなければ（ステップＳ６０１でＮＯ）、対象領域の色情報を初期特徴色（予め定められた色）として記憶する（ステップＳ６０２）。初期特徴色は追尾開始直後に追尾対象の被写体の色情報を記憶しておくためのもので、追尾中にこの初期特徴色との色の差が大きくなった場合に追尾を中止するための判断等に用いる。
【００６３】
次いで、初期特徴色を追尾対象色とする（ステップＳ６０３）。追尾処理はこの追尾対象色に最も近い色の領域を追跡するように動作する。追尾対象色は追尾枠決定処理のたびに更新されるが、ステップＳ６０３は追尾開始直後に追尾対象色を初期特徴色で初期化する処理となる。
【００６４】
次いで、追尾対象色に最も近い色の領域を撮像して得られた画像内の領域を探索して、追尾対象領域として決定する（ステップＳ６０４）。最も近い色か否かの判断には画像データのＲ／Ｇ／Ｂ信号を用いればよく、例えばＲ／Ｇ／Ｂそれぞれのデータと追尾対象色のＲ／Ｇ／Ｂ成分との差分が閾値以内に収まるかを調べればよい。また、探索する画像を示す画像データそのものではデータサイズが大きい場合があるため、画像データを加工等して得られたデータから該当領域を探索してもよい。
【００６５】
次いで、追尾対象色をステップＳ６０４で決定した追尾対象領域の色に更新し、記憶する（ステップＳ６０５）。追尾対象色を追尾枠決定処理を行うたびに更新することで、外光等の影響で少しずつ被写体の色が変わってしまうような場合でも追尾し続けることが可能となる。
【００６６】
次いで、最終的な第２主被写体候補としての追尾枠を決定する（ステップＳ６０６）。基本的には上記予め定められた色に最も近い色を有する領域を追尾枠とする。しかしながら、追尾対象色と似た色の領域が存在しなかった場合や、ステップＳ６０４で見つかった領域の色が初期特徴色からある程度以上変わってしまっている場合等は、ステップＳ６０４で決定した領域を最終的な追尾枠としては採用せずに「追尾枠なし」とする。
【００６７】
次いで、第２評価値としての追尾自信度を算出する（ステップＳ６０７）。追尾自信度は、予め定められた色と追尾枠における領域の色との類似度により算出される。具体的には、追尾対象色と初期特徴色の差が小さい場合に大きい値にする。追尾対象色と初期特徴色の差が小さい場合は、追尾開始時と同一被写体を追尾している可能性が高いと判断出来るためである。また、追尾枠のサイズ変動が小さい場合や追尾枠の移動距離が小さい場合、また追尾開始からの時間経過が短い場合に追尾自信度を大きくしてもよい。
【００６８】
次いで、ステップＳ６０６で追尾枠として決定された枠があるか否かを判別し（ステップＳ６０８）、追尾枠があるとき（ステップＳ６０８でＹＥＳ）、本処理を終了する。ステップＳ６０６での判別の結果、追尾枠がないとき（ステップＳ６０８でＮＯ）、追尾情報をクリアし（ステップＳ６０９）、追尾を中止して（ステップＳ６１０）、本処理を終了する。
【００６９】
上記追尾情報は初期特徴色、追尾対象色等の色情報である。他にも、追尾開始時点の追尾枠サイズ等を記憶している場合はそれもクリアされる。追尾の中止に関し、追尾中か否かを管理するフラグを用意している場合はフラグをクリアしておく。
【００７０】
なお、この追尾枠決定処理は、追尾対象色に最も近い色の領域を探索するものであるため、追尾対象とする被写体の一部が画面の外にはみ出している場合であっても、被写体の残りの部分から追尾を行うことが可能である。そのため、主被写体枠決定処理に比較して、画角の変動が生じるズームの影響を受けにくい。
【００７１】
図３に戻り、現在ズーム中であるか否かを判別する（ステップＳ３０８）。判別の結果、ズーム中のとき（ステップＳ３０８でＹＥＳ）、そのズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向（Ｗ→Ｔ）か否かを判別する（ステップＳ３０９）。ズームがＷ→Ｔのとき（ステップＳ３０９でＹＥＳ）、係数αにαＷＴを設定する（ステップＳ３１０）。ズームがＷ→Ｔではないとき、すなわちテレ側（Ｔ）からワイド側（Ｗ）に向かう方向Ｔ→Ｗのときは（ステップＳ３０９でＮＯ）、係数αにαＴＷを設定する（ステップＳ３１１）。
【００７２】
ここで、係数αは、０≦αＷＴ≦αＴＷ＜１を満たす。すなわち、ズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向のときの値は、テレ側（Ｔ）からワイド側（Ｗ）に向かう方向のときの値以下となる。従って、αは、撮像する画角がワイド側からテレ側に変更されている場合は、テレ側からワイド側に変更されている場合と比較してより大きく主被写体可能性を低くするように評価値を補正するものである。そして、係数αは主被写体検出枠決定処理（ステップＳ３０１）で決定された主被写体自信度（第１評価値）を減じる係数である。すなわち、αは、主被写体可能性を低くするように主被写体自信度を補正する係数である。
【００７３】
次いで、α倍した主被写体自信度を改めて主被写体自信度とする（ステップＳ３１２）（補正手段）。この主被写体自信度は、主被写体検出枠が被写体枠として有力だと主被写体検出枠決定処理中で判断した場合に大きくなる評価値である。
【００７４】
このステップＳ３１２において、αＷＴはαＴＷ以下であるので、ズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向の場合に主被写体自信度がより低下することとなる。これは、ズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向の場合、ズーム前に画角内にあった被写体がズームした結果画角外に出てしまう場合があるためである。また、中心からの距離もばらつきが大きくなり主被写体検出枠決定処理の精度が低下しやすいためである。
【００７５】
一方、テレ側（Ｔ）からワイド側（Ｗ）に向かう方向の場合はズーム前に画角内にあったものはズームしても画角内に収まっている可能性が高いと考えられる。また、中心からの距離のばらつきも小さくなる方向であるため主被写体検出枠決定処理の精度はあまり低下しないと考えられる。これらを考慮し、ズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向の場合に主被写体自信度がより低下するようにしている。
【００７６】
次いで、主被写体自信度が閾値以上か否かを判別する（ステップＳ３１３）。閾値より小さときは（ステップＳ３１３でＮＯ）、ステップＳ３１５に進み、主被写体自信度が閾値以上であったときは（ステップＳ３１３でＹＥＳ）、追尾自信度（第２評価値）が閾値以下か否かを判別する（ステップＳ３１４）。この追尾自信度は、追尾枠決定処理（ステップＳ３０７）で決定される追尾枠が被写体として有力だと判定された場合に大きくなる評価値であり、追尾枠決定処理で算出される。
【００７７】
ステップＳ３１４の判別の結果、追尾自信度が閾値より大きいときは（ステップＳ３１４でＮＯ）、ステップＳ３１５に進む。主被写体自信度が低く追尾自信度が高いことから、主被写体検出枠でなく追尾枠を被写体枠として決定し、追尾枠を画像表示装置１０８に表示して（ステップＳ３１５）（表示手段）、本処理を終了する。なお、追尾枠決定処理において追尾枠が決定されなかった場合は、当然に追尾枠を被写体枠として表示しないこととなる。
【００７８】
ステップＳ３１４の判別の結果、追尾自信度が閾値以下であったときは（ステップＳ３１４でＹＥＳ）、ステップＳ３１６に進む。主被写体自信度が高く追尾自信度が低いことから、追尾枠でなく主被写体検出枠を被写体枠として決定し、被写体枠を画像表示装置１０８に表示する（ステップＳ３１６）（表示手段）。
【００７９】
次いで、これまでの追尾情報をクリアし（ステップＳ３１７）、追尾処理を再開して（ステップＳ３１８）、本処理を終了する。ステップＳ３１８では、記憶していた追尾対象領域の色情報をクリアし、新たな被写体枠の領域の色情報を記憶し直して追尾を再開することとなる。
【００８０】
上記ステップＳ３１３〜３１６が第３決定手段に対応している。これらの処理で主被写体可能性が高い方の評価値に対応する主被写体候補を主被写体として決定することについて説明する。まずズーム中であるならば、ステップＳ３０８から分岐してαが補正され、そこでステップＳ３１３、或いはさらにステップＳ３１４の処理が行われる。ズーム中に主被写体枠が追尾枠となるケースは、追尾自信度によらずに主被写体自信度が閾値未満の場合、又は主被写体自信度が閾値以上かつ追尾自信度が閾値より大きい場合がありうる。追尾枠のほうがズームによる画角の変動を受けにくいため、追尾自信度のほうが主被写体枠として選択されやすい。反対に、ズーム中に主被写体枠が追尾枠となるケースは、主被写体自信度が閾値以上かつ追尾自信度が閾値未満の場合のみである。
【００８１】
図３の処理によれば、まず画角に依存する情報を用いて主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する（ステップＳ３０１）。次いで、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定（ステップＳ３０７）する。次いで、画角が変更されている場合に（ステップＳ３０８でＹＥＳ）、主被写体可能性を低くするように第１評価値を補正し（ステップＳ３１０、３１１）、補正された第１評価値と第２評価値とを比較する。そして、主被写体可能性が高い方の評価値に対応する主被写体候補を主被写体として決定する（ステップＳ３１３〜３１６）。このように構成することでで、画角が変化している場合でも主被写体を精度よく決定することが出来る。なお、主被写体自信度をα倍する代わりに、追尾自信度を１／α倍して追尾自信度を高くさせても同様の効果を得ることが出来る。
【００８２】
また、ズーム中は画角の変動により、主に画面中心からの距離等、画角に依存する評価値によって被写体領域を決定する主被写体検出枠決定処理の精度が低下するため、ステップＳ３１２で主被写体自信度をズームしていないときよりも減じている。一方、主に画角に依存しない色情報を基に被写体領域を決定する追尾枠決定処理に対する追尾自信度に関しては、特に減じる処理等を行わない。特に追尾枠決定処理に関しては、ズーム開始前に記憶した初期特徴色に似た色の領域を追跡することになるため、被写体が安定していたときの情報を基に被写体領域を決定している点でズーム中も正しく被写体枠を決定出来る可能性が高い。
【００８３】
さらに、ズーム中は画角の変動により、主に画面中心からの距離等、画角に左右される評価値によって被写体領域を決定する主被写体検出枠決定処理の精度が低下するため、主被写体自信度を低減させている。こうすることで、主に画角には左右されない色情報を基に決定される追尾枠が被写体枠として選択されやすくしている。これにより、ズーム中に主被写体検出枠決定処理が誤検出することによって、誤検出された被写体を追尾してしまう確率を減らすことが出来る。
【００８４】
図６は、図２のステップＳ２０１で実行される被写体枠表示処理の変形例の手順を示すフローチャートである。
【００８５】
図６において、現在ズーム中であるか否かを判別（ステップＳ７０１）する。判別の結果、ズーム中でないときは（ステップＳ７０１でＮＯ）、図４の主被写体検出枠決定処理を行い（ステップＳ７０２）、ステップＳ７０３に進み、ズーム中のときは（ステップＳ７０１でＹＥＳ）、ステップＳ７０３で追尾中か否か判別する。
【００８６】
ステップＳ７０３での判別の結果、追尾中ではないときは（ステップＳ７０３でＮＯ）、ステップＳ７０２の主被写体検出枠決定処理によって被写体枠の候補となる主被写体検出枠があったか否かを判別する（ステップＳ７０４）。主被写体検出枠がなかった場合は（ステップＳ７０４でＮＯ）、画像表示装置１０８上の被写体枠を非表示にして（ステップＳ７０５）、本処理を終了する。このとき、それまで被写体枠を表示していた場合はそれを非表示とし、また表示している被写体枠がなかった場合はそのまま被写体枠が表示されない状態を保つ。
【００８７】
ステップＳ７０４の判別の結果、主被写体検出枠があったとき（ステップＳ７０４でＹＥＳ）、主被写体検出枠を被写体枠として画像表示装置１０８に表示し（ステップＳ７０６）、追尾処理を開始して（ステップＳ７０７）、本処理を終了する。
【００８８】
ステップＳ７０３の判別の結果、追尾中のとき（ステップＳ７０３でＹＥＳ）、図５の追尾枠決定処理によって被写体枠の候補となる追尾枠を決定し（ステップＳ７０８）、現在ズーム中である否かを判別する（ステップＳ７０９）。ステップＳ７０９の判別の結果、ズーム中であったときは（ステップＳ７０９でＹＥＳ）、追尾枠を被写体枠として選択し、追尾枠を画像表示装置１０８に表示して（ステップＳ７１２）、本処理を終了する。なお、追尾枠決定処理において追尾枠が決定されなかった場合は、当然に追尾枠を被写体枠として表示しないこととなる。
【００８９】
ステップＳ７０９の判別の結果、ズーム中でないときは（ステップＳ７０９でＮＯ）、主被写体自信度が閾値以上か否かを判別し（ステップＳ７１０）、閾値より小さかったときは（ステップＳ７１０でＮＯ）、上述したステップＳ７１２に進む。なお、ズーム中でＳ７０２を実行しなかった場合は、主被写体自信度は算出されず、ステップＳ７１０の判定としては主被写体自信度が閾値に満たないとする。
【００９０】
ステップＳ７１０の判別の結果、主被写体自信度が閾値以上であったときは（ステップＳ７１０でＹＥＳ）、追尾自信度が閾値以下か否かを判別し（ステップＳ７１１）、追尾自信度が閾値以下でないときは上述したステップＳ７１２に進む。このステップＳ７１１を経由してステップＳ７１２に到達した場合は、主被写体自信度も追尾自信度も高いこととなるので、主被写体検出枠でなく追尾枠を優先して被写体枠として決定し、追尾枠を画像表示装置１０８に表示することとなる。
【００９１】
ステップＳ７１１の判別の結果、追尾自信度が閾値以下であったときは（ステップＳ７１１でＹＥＳ）、主被写体自信度が高く追尾自信度が低いことから、追尾枠でなく主被写体検出枠を被写体枠として決定する。それとともに、主被写体検出枠を画像表示装置１０８に表示する（ステップＳ７１３）。次いで、これまでの追尾情報をクリアし（ステップＳ７１４）、追尾処理を再開して（ステップＳ７１５）、本処理を終了する。このとき、記憶していた追尾対象領域の色情報をクリアし、新たな被写体枠の領域の色情報を記憶し直して追尾を再開することとなる。
【００９２】
上記処理において、ズーム中は画角の変動により、主に画面中心からの距離等画角に左右される評価値によって被写体領域を決定する主被写体検出枠決定処理の精度が低下するため、主被写体検出枠決定処理をズーム中は行わないようにしている。一方で、主に画角には左右されない色情報を基に被写体領域を決定する追尾枠決定処理を行い、被写体枠として追尾枠を採用する。主被写体検出枠決定処理の精度低下による被写体枠表示精度の低下を避けるとともに、ズーム中の主被写体検出枠決定処理によるシステム制御部６０の処理負荷の増加を抑えることが出来る。
【００９３】
また、上述した主被写体検出枠決定処理では、ステップＳ５０４、５０５で履歴情報を用いて評価値を算出することも出来る。しかしながら、特に履歴情報を利用できない初回の判定は位置、面積、形状といった画角に影響を受ける指標をもとに主被写体検出枠を決定するため、そこで被写体を誤検知してしまうとその後追尾を開始することで誤った被写体を追尾してしまうことになる。精度の低下する可能性が高いズーム中の主被写体検出決定処理を停止することで、画角の安定している非ズーム時に検出した被写体のみを追尾することが出来るようになり、誤追尾しにくくすることが出来る。
【００９４】
さらに、本実施の形態では画角の変動する条件としてズーム中であるか否かで主被写体自信度の低減や、主被写体検出枠決定処理の停止を行っているが、ジャイロ信号や加速度センサの出力に基づいて同様の処理を行ってもよい。例えばジャイロ信号が大きい場合や、加速度センサの出力が大きい場合は画角が変更されている可能性が高いため、主被写体自信度の低減や、主被写体検出枠決定処理の停止を行えばよい。
【００９５】
以上説明したように、図３に示す被写体枠表示処理のフローチャートでは、ズーム中でない場合には、ズーム中である場合に比較して、追尾自信度に対する主被写体自信度の値が低減されるように補正している。また、図６に示す被写体枠表示処理のフローチャートでは、ズーム中でない場合には主被写体自信度を参照するが、ズーム中である場合には被写体自信度を参照せずに被写体枠を決定している。このように、本実施の形態では、ズーム中である場合には、ズーム中でない場合に比較して、画角に依存する主非被写体自信度よりも画角に依存しない追尾自信度を、より優先して用いて被写体枠を決定することで、主被写体を精度良く決定することが可能となる。
【００９６】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００９７】
１０ レンズ
１６ ＣＣＤ
３８ 画像認識回路
４２ レンズ駆動回路
５０ 画像処理回路
６０ システム制御部
１００ 撮像装置
１０４ シャッタースイッチＳＷ１
１０６ シャッタースイッチＳＷ２
１０８ 画像表示装置
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に、動画像撮像及び多重露光撮像が可能な撮像装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
撮像装置や印刷装置では、類似する色相や彩度情報を有する画素ごとに同一の領域にまとめ、その領域の画角内の位置に応じて、その領域が被写体か背景かを判別するシステムが開示されている（例えば、特許文献１参照）。
【０００３】
この技術を利用すれば、画像内の背景以外の被写体が占める領域を特定することが出来る。複数の被写体が検出された場合には、それぞれの被写体に対して評価値を求め、最も高い評価値を備えた被写体を主被写体とすることが考えられる。例えば、被写体の位置の画像中心からの距離、あるいは、被写体のサイズに応じて評価値を付与するシステムが開示されている（例えば、特許文献２参照）。
【０００４】
さらに、動画を構成する映像信号において、主被写体として検出された被写体に対し、追尾処理を行うシステムが開示されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２３３２３６号公報
【特許文献２】特開２００８−００５４３８号公報
【特許文献３】特開２０１０−１５４２８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、分類した領域の画角内の位置に応じて、その領域が被写体か否かを判別する従来の技術では、撮像の際にズームを行うと、撮像される画像の画角に変化が生じるため、被写体か背景かの判別結果に影響が出てしまう。つまり、ズーム中等画角が安定しない状態では主被写体が誤って検出されてしまう可能性があり、検出した主被写体を追尾する機能を備えた撮像装置にこの機能を適用すると、誤検出された主被写体を追尾するケースが生じることとなる。
【０００７】
このように、従来の技術では、画角が変化している場合は、主被写体を誤検出することがあった。
【０００８】
本発明の目的は、画角が変化している場合でも主被写体を精度よく決定することが出来る撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１の撮像装置は、被写体を撮像するとともに、画角を変更可能な撮像手段と、前記撮像手段に撮像された被写体を示す画像から、画角に依存する情報を用いて主被写体候補が主被写体である主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する第１決定手段と、前記撮像手段に撮像された被写体を示す画像から、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定する第２決定手段と、前記第１評価値と前記第２評価値を用いて、いずれかの評価値に対応する主被写体候補を主被写体として決定する第３決定手段とを備え、前記第３決定手段は、前記撮像手段により撮像する画角が変更されている場合は、変更されていない場合に比較して、前記第１評価値に対する前記第２評価値を優先して用いて前記主被写体を決定する。
【発明の効果】
【００１０】
本発明によれば、画角が変化している場合でも主被写体を精度よく決定することが出来る。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示す図である。
【図２】図１におけるシステム制御部により実行される静止画記録処理の手順を示すフローチャートである。
【図３】図２のステップＳ２０１で実行される被写体枠表示処理の手順を示すフローチャートである。
【図４】図３のステップＳ３０１で実行される主被写体枠決定処理の手順を示すフローチャートである。
【図５】図３のステップＳ３０７で実行される追尾枠決定処理の手順を示すフローチャートである。
【図６】図２のステップＳ２０１で実行される被写体枠表示処理の変形例の手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１３】
図１は、本発明の実施の形態に係る撮像装置１００の概略構成を示す図である。
【００１４】
図１において、レンズ１０は外光を集光する。レンズ駆動回路４２は、レンズ位置を光軸に沿って前後に動かすことで焦点を調節したり、画角を変更可能である。さらに、ブレ量検知回路４４で測定したカメラのブレ量を元に、手ブレ補正回路４０にてレンズ１０を駆動し、手ブレをキャンセルする方向に光軸を変化させることで光学的な手ブレ補正を行う構成とすることも可能である。ブレ量検知回路４４には、ジャイロセンサーが含まれている。図１ではレンズ１０を駆動することで手ブレ補正を実現しているが、ＣＣＤ１６を駆動することで同様に手ブレを補正することも可能である。
【００１５】
レンズ１０を通過した光は絞り１４により、その光量を調節することが出来る。システム制御部６０は、絞り制御情報を絞り駆動回路２６に伝達することで、絞り１４を制御することが可能である。絞り１４は、複数枚の羽から構成された虹彩絞りや、予め板を様々な径で穴を打ち抜いた丸絞りがある。システム制御部６０はこれらの絞り１４と絞り駆動回路２６を用い、被写体輝度が高い場合は絞りを絞って光量を落とすように制御し、被写体輝度が低い場合は絞りを開放にして光を多く取り込むように制御することが可能である。
【００１６】
システム制御部６０は、メカニカルシャッター制御情報をメカニカルシャッター駆動回路２８に伝達することで、メカニカルシャッター１２を制御することが可能である。静止画撮影時の露光時間は、メカニカルシャッター１２の開閉時間により決定され、この時間はシステム制御部６０が時間を判断し、メカニカルシャッター駆動回路２８に指示を出す。
【００１７】
レンズ１０、メカニカルシャッター１２、絞り１４を通過した光はＣＣＤ１６に受光される。システム制御部６０は、撮像素子制御信号をＴＧ（Timing Generator）２４に伝達することで、ＣＣＤ１６を制御することが出来る。ＴＧ２４は、システム制御部６０から受信した制御情報をもとにＣＣＤ１６を駆動する。ＣＣＤ１６は素子への露光と、露光したデータの読み出し作業を周期的に行っており、この作業はＴＧ２４からの駆動信号を基準に行われる。またＴＧ２４は、ＣＣＤ１６の露光時間を制御することが可能である。任意のタイミングで、素子がチャージした電荷を開放するように、ＴＧ２４からＣＣＤ１６へ駆動信号を出すことでこれを可能としている。
【００１８】
ＣＣＤ１６から読み出された画像データは、ＣＤＳ（Correlated Double Sampler）回路１８を通過する。ＣＤＳは相関二重サンプリング方式により画像データのノイズ成分を除去することを主な役割とする。その後、画像データはＰＧＡ（Programmable Gain Amplifier）回路２０により、画像データレベルを減衰／増幅することが出来る。システム制御部６０は、増幅レベルをＰＧＡ回路２０に伝達することで、増幅量を制御することが出来る。
【００１９】
通常、ＣＣＤ１６の露出を適正にするには、絞り１４やシャッターを用いることで実現されるが、ＰＧＡ回路２０で画像データ信号を減衰／増幅することで、擬似的に画像データの露出を変える役割を担うことが出来る。これは、絞りやシャッター速度と並ぶ撮影時の露出条件の一つとして、感度という概念でユーザーに機能提供することが可能である。
【００２０】
また、ストロボ制御部４８を介してストロボ４６を発光させることも出来る。逆光状態や低照度時等、被写体が暗い場合にストロボ発光撮影することで、被写体を明るく撮影することが可能となる。
【００２１】
画像データはＡ／Ｄ（Analog/Digital Converter）回路２２にてアナログ信号からデジタル信号である画像信号へ変換される。画像信号のビット幅は１０ビット、１２ビット、１４ビット等があり、後段の画像処理回路５０は、複数種類のビット幅に対応可能である。
【００２２】
なお、図１では、ＣＤＳ回路１８、ＰＧＡ回路２０、Ａ／Ｄ回路２２をそれぞれ別のブロックとして表現しているが、１つのＩＣパッケージにこれらの機能を搭載したものを採用することも可能である。
【００２３】
Ａ／Ｄ回路２２からデジタル化された画像データは画像処理回路５０へ入力される。画像処理回路５０は複数のブロックから構成され、さまざまな機能を実現している。
【００２４】
ＣＣＤ１６はカラーフィルターを通して各画素ごとに特定の色成分を抽出するものが一般的である。Ａ／Ｄ回路２２からの画像信号はＣＣＤ１６の画素及びカラーフィルター配置に対応したデータ形式になっており、輝度成分のみを評価して露出制御を行う自動露出制御（ＡＥ：Auto Exposure Control）で使用するには適さない形式である。画像処理回路５０では、画像信号から色情報を排除し、輝度情報のみを抜き出す機能を備えている。逆に、色情報を抽出する機能も備え、被写体の光源を特定し、色を適切に調節するホワイトバランス処理に使用することが出来る。
【００２５】
さらに、画像処理回路５０は、ＣＣＤ１６から読み出された信号の周波数成分のみを抜き出す機能を備え、その機能は自動ピント合わせ制御（ＡＦ：Auto Focus）時に使用される。また、画像処理回路５０は、ＣＣＤ１６から読み出されたデータのどの領域の周波数成分を抽出するか、また、領域内を分割設定出来る機能を備えている。また、画像処理回路５０はヒストグラムを生成する機能も持ち、画像データを入力することで画像のヒストグラムを取得することも出来る。
【００２６】
さらに、画像処理回路５０は、Ａ／Ｄ回路２２によりデジタル化された画像信号のレベルの増減、画像の色効果等を操作する機能を備え、撮影画像の画質を調節するという役割も担っている。画像信号のレベルに関して、画像処理回路５０は、画像全体に一律の増幅率でレベルを増減させる機能や、元の信号レベルの大小に応じて信号レベルを変換するトーンカーブ（ガンマ）機能を有する。あるいは、画像処理回路５０は、画面内の領域ごとの周波数成分に応じた増幅率でレベルを増減させる機能を有する。それらの機能により、様々な画像信号レベル調節が可能となっている。
【００２７】
Ａ／Ｄ回路２２からデジタル化された画像データが画像処理回路５０へ入力すると同時に、その画像データを一時記憶メモリ３０に記憶することが出来る。一旦、一時記憶メモリ３０に記憶した画像データは再度読み出すことができ、システム制御部６０から画像データを参照したり、読み出した画像データを画像処理回路５０に入力することが可能である。さらに、画像処理回路５０で画像処理した画像データを一時記憶メモリに書き戻したり、システム制御部６０から任意のデータを書き込むことも可能である。
【００２８】
画像処理回路５０で適切に処理された画像データは、画像認識回路３８に入力することが出来る。画像認識回路３８は、入力された画像の明るさ状況、ピント合焦状況、色状況の認識に加え、人物の顔認識とその表情、文字がある場合はその文字情報を認識することが可能となっている。画像認識回路３８には複数の画像を入力することが可能となっており、例えば２つの画像を入力し、その２つの画像の特徴を比較することで、同一の画像かどうかを判定することが可能となっている。
【００２９】
画像認識回路３８で画像を認識する方法に加え、システム制御部６０でも画像認識処理を行うことが出来る。システム制御部６０はＣＰＵ上で予めコーディングされたプログラムを実行することが出来るが、一時記憶メモリ３０に記憶された画像データをシステム制御部６０から読み出し、その画像データを解析してシーンの状況を認識することが出来る。
【００３０】
画像をＬＣＤ等の画像表示装置１０８に出力する場合、画像処理回路５０で画像処理を行った画像データをＶＲＡＭ３４上に展開しておき、それをＤ／Ａ３６にてアナログデータに変換して画像表示装置１０８に表示する。電子ファインダーを実現する場合は、ＣＣＤ１６から読み出される連続した画像を順次画像表示装置１０８に表示更新していくことで可能となる。ＶＲＡＭ３４上に画像データを展開する際、１つの画像データを画像表示装置１０８に最も大きくなるように、又は複数の画像をマルチ画面表示するように等、様々な表示形態に対応するようにＶＲＡＭ３４上に展開することが出来る。
【００３１】
画像表示装置１０８には、画像だけでなく任意の情報を単独、もしくは画像と共に表示することが可能である。カメラの状態表示や、ユーザーが選択あるいはカメラが決定したシャッター速度や絞り値、感度情報等の文字情報や、画像処理回路５０にて測定した輝度分布のようなグラフや、顔認識結果、シーン認識結果等も表示可能である。情報の表示位置、表示色も任意に選択可能である。これら様々な情報を表示することで、ユーザーインターフェースをとることが可能となる。
【００３２】
また、画像表示装置１０８には、画像記憶媒体８２に記憶されている画像データを表示することも可能である。画像データが圧縮されている場合、圧縮伸張部３２にて伸張し、ＶＲＡＭ３４にデータを展開する。このデータをＤ／Ａ３６にてアナログデータに変換して出力する。
【００３３】
画像記憶媒体８２は不揮発性のものであり、主に撮影した画像データを記憶することが可能である。画像データの記憶に関しては、フォルダ階層を持たせたり、撮影した順にフォルダやファイル名が昇順に命名されるようにすることが可能である。各画像データには、絞り値やシャッター速度、ＩＳＯ感度等の撮影情報や、撮影した時刻等を付加することができ、それらを画像データと共に記憶することが可能となっている。さらに、記憶した画像データの読み出しはもちろん、画像の複製、移動、消去も可能となっている。
【００３４】
操作部７０には、システムの電源オン／オフを切り替えることの出来る電源スイッチ１０２、撮影指示を行うためのシャッタースイッチＳＷ１（１０４）、ＳＷ２（１０６）、モード切替スイッチ１１０、パラメータ選択スイッチ１１２が含まれる。
【００３５】
シャッタースイッチＳＷ１（１０４）は、不図示のシャッターボタンの操作途中でＯＮとなり、自動露出制御やピント制御等の撮影準備動作の開始を指示する。シャッタースイッチＳＷ２（１０６）は、不図示のシャッターボタンの操作完了でＯＮとなり、静止画撮影や画像認識の指示を行う操作が実現可能である。
【００３６】
モード切替スイッチ１１０は、静止画撮影モード、動画撮影モード、再生モード等のカメラ動作モードを切り替えることが出来る。
【００３７】
パラメータ選択スイッチ１１２により、測距領域や測光モードをはじめとする撮影時の撮影条件の選択や、撮影画像再生時のページ送り、カメラの動作設定全般等をユーザーが選択することが出来る。さらに前述の電子ファインダーのＯｎ／Ｏｆｆを選択することも出来る。また、画像表示装置１０８は画像を表示すると共に、タッチパネルとして入力装置となる構成とすることも出来る。
【００３８】
なお、図１において、撮像系として囲まれた部分が被写体を撮像するとともに、画角を変更可能な撮像手段に対応している。
【００３９】
図２は、図１におけるシステム制御部６０により実行される静止画記録処理の手順を示すフローチャートである。
【００４０】
図２において、システム制御部６０は、後述する図３の被写体枠表示処理を実行して、ＣＣＤ１６から読み出された画像データを解析することで被写体領域を決定する。そして、そこに主被写体を示す被写体枠を撮像された被写体を示す画像に重畳して表示する（ステップＳ２０１）。
【００４１】
次いで、シャッタースイッチＳＷ１（１０４）がＯＮか否かを判別する（ステップＳ２０２）。判別の結果、ＯＦＦのときは（ステップＳ２０２でＮＯ）、Ｓ２０１に戻り、ＯＮのときは（ステップＳ２０２でＹＥＳ）、ステップＳ２０３に進み、被写体輝度を求めるための測光処理を行う（ステップＳ２０３）。この測光処理では、撮像部から読み出された画像データの信号レベルと適正レベルとの差分、測光時の露出等から被写体輝度を求め、測光値としてシステム制御部６０の内部メモリ（不図示）に記憶する。また、ステップＳ２０１で表示された被写体枠の位置に対して重点測光することも可能である。
【００４２】
次いで、システム制御部６０は、ステップＳ２０３で記憶した測光値に基づき測距処理に適した露出に制御し（ステップＳ２０４）、測距処理を行う（ステップＳ２０５）。このステップＳ２０５ではステップＳ２０１で表示された被写体枠の位置に対して測距を行い、被写体に対してピントを合わせることが出来る。
【００４３】
次いで、ステップＳ２０３で記憶した測光値に基づき、シャッタースイッチＳＷ１（１０４）のＯＮを保持している間に用いる露出を制御する（ステップＳ２０６）。ここではシャッタースイッチＳＷ２（１０６）がＯＮとなった後の撮影タイムラグを短縮するため、静止画露出の絞り値に予め絞りを制御しておく。
【００４４】
次いで、シャッタースイッチＳＷ２（１０６）がＯＮか否かを判別し（ステップＳ２０７）、ＯＦＦのときは（ステップＳ２０７でＮＯ）、シャッタースイッチＳＷ１（１０４）がＯＮか否か判別する（ステップＳ２０８）。ここで、ＯＦＦのときは（ステップＳ２０８でＹＥＳ）、ステップＳ２０１に戻り、ＯＮのときは（ステップＳ２０８でＮＯ）、ステップＳ２０７の処理に戻る。
【００４５】
ステップＳ２０７の判別の結果、ＯＮのときは（ステップＳ２０７でＹＥＳ）、ステップＳ２０３で記憶した測光値に基づき静止画用の露出に設定する（ステップＳ２０９）。また、発光撮影する場合には調光動作を行い、本露光に対する発光設定も行っておく。次いで、本露光を行う（ステップＳ２１０）。本露光されたデータは一時記憶メモリ３０に記憶される。そして、撮像されたデータの現像処理を行い（ステップＳ２１１）、現像されたデータを画像記録媒体Ｉ／Ｆ８０を通じて画像記憶媒体８２に記録し（ステップＳ２１２）、再びステップＳ２０１の処理に戻る。
【００４６】
図３は、図２のステップＳ２０１で実行される被写体枠表示処理の手順を示すフローチャートである。
【００４７】
なお、以下の説明において、画角を変更することをズームと表現し、望遠側をテレ側、広角側をワイド側と表現する。また、フローチャートではαＴ→Ｗのようにαに矢印を用いて表現しているが、ここでは省略する。
【００４８】
図３において、システム制御部６０は、主被写体検出枠決定処理を実行して、被写体枠の候補となる主被写体検出枠（第１主被写体候補）を決定する（ステップＳ３０１）（第１決定手段）。
【００４９】
図４は、この図３のステップＳ３０１で実行される主被写体枠決定処理の手順を示すフローチャートである。
【００５０】
図４において、システム制御部６０は、得られた画像データをＭ×Ｎのブロックに分割し、Ｍ×Ｎの各ブロックに対して輝度／色相／彩度情報を取得する（ステップＳ５０１）。ここでは画像処理回路５０及び或いはシステム制御部６０を用いて画像データをＭ×Ｎの輝度／色相／彩度情報に変換する（例えばＭ＝３２、Ｎ＝２４）。以降、このＭ×Ｎの輝度／色相／彩度情報を解析に用いる。
【００５１】
次いで、取得した輝度／色相／彩度情報をもとに、Ｍ×Ｎのブロックを複数の領域に分割する（ステップＳ５０２）。具体的に、まず彩度情報を用いて、彩度の高いブロックと低いブロックとを認識する。次いで彩度の高いブロックについては色相情報を用いて、彩度の低いブロックについては輝度情報を用いて、それぞれの情報がある範囲内に収まるブロックを同一領域としてグルーピングする。こうすることで、Ｍ×Ｎのブロックが色の似た領域及び或いは輝度の似た領域に分割されることになる。
【００５２】
次いで、分割された各領域が背景であるか否かを判定し、背景であると判定された領域を、主被写体領域候補から除外する（ステップＳ５０３）。具体的には、画面端に触れている部分の多い領域や、その領域と近い色相を持った領域を背景領域と判定し、それ以外は背景以外の領域として定める。同じ画面端でも画面下方向については主被写体領域が触れる可能性が高いことから、画面下方向については背景除去の対象外としてもよい。
【００５３】
主被写体領域候補から除外されずに候補に残った背景以外の領域の各々に対して、上述した第１評価値としての評価値を算出する（ステップＳ５０４）。この評価値は、画面中心からの距離、面積、扁平率のうちの少なくとも１つの情報から算出され、値が大きいほど主被写体領域である可能性が高いことを示す。例えば画面中心に近く、面積が大きく、扁平率が低いほど評価値を高くする。また、前回の主被写体枠決定処理にて評価値が一番大きかった領域と同一と判定された領域の評価値を高くすることも出来る。同一領域の判定には輝度／色相／彩度情報や位置を用いればよい。
【００５４】
次いで、主被写体である主被写体可能性を示す主被写体自信度を算出する（ステップＳ５０５）。この主被写体自信度は、評価値の一番大きかった領域の評価値、及び評価値の大きかった上位２つの領域の評価値の差分が大きいほど大きくする。また、同一領域が連続して評価値の一番大きい領域となった場合に主被写体自信度を大きくしてもよい。
【００５５】
そして、上述した第１主被写体候補としての主被写体検出枠を決定して（ステップＳ５０６）、本処理を終了する。ここでは、ステップＳ５０５で算出した主被写体自信度が閾値以上であれば評価値の一番大きかった領域を主被写体検出枠として決定する。主被写体自信度が閾値に達していない場合、「主被写体検出枠なし」とする。また、ステップＳ５０３で背景除去された結果残った主被写体領域候補の数が多かった場合も、評価値のばらつきによって評価値の一番大きい領域が安定しないため「主被写体検出枠なし」としてもよい。
【００５６】
なお、この主被写体枠決定処理は、画面端に触れている部分の多い領域やその領域と近い色相を持った領域を主被写体領域候補から除外する手順であるため、画角の変動が生じるズームの影響を受けやすいものとなっている。例えば、主被写体検出枠として決定された領域における被写体であっても、その後のズームによって画角の端部に接する部分が増えてしまうと、背景として扱われることになってしまうことがある。
【００５７】
図３に戻り、ステップＳ３０２で、追尾中か否かを判別する（ステップＳ３０２）。この追尾処理は、指定された被写体領域の主に色に基づいて、連続して撮像される画像データ中の被写体領域の位置を追跡する処理である。追尾処理の開始、終了に関する処理はＳ３０６、Ｓ３１８、Ｓ６１０等で行われるが、システム制御部６０は内部メモリに記憶されたフラグを管理、参照することによって現在の追尾状態を判断することが出来る。
【００５８】
ステップＳ３０２の判別の結果、追尾中でないとき（ステップＳ３０２でＮＯ）、ステップＳ３０１の主被写体検出枠決定処理によって得られた被写体枠の候補となる主被写体検出枠があるか否かを判別する（ステップＳ３０３）。主被写体検出枠がなかったとき（ステップＳ３０３でＮＯ）、画像表示装置１０８上の被写体枠を非表示にして（ステップＳ３０４）、本処理を終了する。ステップＳ３０４では、それまで被写体枠を表示していた場合はそれを非表示とし、また表示している被写体枠がなかった場合はそのまま被写体枠が表示されない状態を保つ。
【００５９】
ステップＳ３０３の判別の結果、主被写体検出枠があったとき（ステップＳ３０３でＹＥＳ）、主被写体検出枠を被写体枠として画像表示装置１０８に表示し（ステップＳ３０５）、追尾処理を開始して（ステップＳ３０６）、本処理を終了する。
【００６０】
ステップＳ３０２の判別の結果、追尾中のとき（ステップＳ３０２でＹＥＳ）、追尾枠決定処理を実行して、被写体枠の候補となる追尾枠（第２主被写体候補）を決定する（ステップＳ３０７）（第２決定手段）。
【００６１】
図５は、この図３のステップＳ３０７で実行される追尾枠決定処理の手順を示すフローチャートである。
【００６２】
図５において、システム制御部６０は、追尾対象の初期特徴色が記憶済みか否かを判別する（ステップＳ６０１）。判別の結果、記憶済みのときは（ステップＳ１０６でＹＥＳ）、ステップＳ６０４に進み、記憶済みでなければ（ステップＳ６０１でＮＯ）、対象領域の色情報を初期特徴色（予め定められた色）として記憶する（ステップＳ６０２）。初期特徴色は追尾開始直後に追尾対象の被写体の色情報を記憶しておくためのもので、追尾中にこの初期特徴色との色の差が大きくなった場合に追尾を中止するための判断等に用いる。
【００６３】
次いで、初期特徴色を追尾対象色とする（ステップＳ６０３）。追尾処理はこの追尾対象色に最も近い色の領域を追跡するように動作する。追尾対象色は追尾枠決定処理のたびに更新されるが、ステップＳ６０３は追尾開始直後に追尾対象色を初期特徴色で初期化する処理となる。
【００６４】
次いで、追尾対象色に最も近い色の領域を撮像して得られた画像内の領域を探索して、追尾対象領域として決定する（ステップＳ６０４）。最も近い色か否かの判断には画像データのＲ／Ｇ／Ｂ信号を用いればよく、例えばＲ／Ｇ／Ｂそれぞれのデータと追尾対象色のＲ／Ｇ／Ｂ成分との差分が閾値以内に収まるかを調べればよい。また、探索する画像を示す画像データそのものではデータサイズが大きい場合があるため、画像データを加工等して得られたデータから該当領域を探索してもよい。
【００６５】
次いで、追尾対象色をステップＳ６０４で決定した追尾対象領域の色に更新し、記憶する（ステップＳ６０５）。追尾対象色を追尾枠決定処理を行うたびに更新することで、外光等の影響で少しずつ被写体の色が変わってしまうような場合でも追尾し続けることが可能となる。
【００６６】
次いで、最終的な第２主被写体候補としての追尾枠を決定する（ステップＳ６０６）。基本的には上記予め定められた色に最も近い色を有する領域を追尾枠とする。しかしながら、追尾対象色と似た色の領域が存在しなかった場合や、ステップＳ６０４で見つかった領域の色が初期特徴色からある程度以上変わってしまっている場合等は、ステップＳ６０４で決定した領域を最終的な追尾枠としては採用せずに「追尾枠なし」とする。
【００６７】
次いで、第２評価値としての追尾自信度を算出する（ステップＳ６０７）。追尾自信度は、予め定められた色と追尾枠における領域の色との類似度により算出される。具体的には、追尾対象色と初期特徴色の差が小さい場合に大きい値にする。追尾対象色と初期特徴色の差が小さい場合は、追尾開始時と同一被写体を追尾している可能性が高いと判断出来るためである。また、追尾枠のサイズ変動が小さい場合や追尾枠の移動距離が小さい場合、また追尾開始からの時間経過が短い場合に追尾自信度を大きくしてもよい。
【００６８】
次いで、ステップＳ６０６で追尾枠として決定された枠があるか否かを判別し（ステップＳ６０８）、追尾枠があるとき（ステップＳ６０８でＹＥＳ）、本処理を終了する。ステップＳ６０６での判別の結果、追尾枠がないとき（ステップＳ６０８でＮＯ）、追尾情報をクリアし（ステップＳ６０９）、追尾を中止して（ステップＳ６１０）、本処理を終了する。
【００６９】
上記追尾情報は初期特徴色、追尾対象色等の色情報である。他にも、追尾開始時点の追尾枠サイズ等を記憶している場合はそれもクリアされる。追尾の中止に関し、追尾中か否かを管理するフラグを用意している場合はフラグをクリアしておく。
【００７０】
なお、この追尾枠決定処理は、追尾対象色に最も近い色の領域を探索するものであるため、追尾対象とする被写体の一部が画面の外にはみ出している場合であっても、被写体の残りの部分から追尾を行うことが可能である。そのため、主被写体枠決定処理に比較して、画角の変動が生じるズームの影響を受けにくい。
【００７１】
図３に戻り、現在ズーム中であるか否かを判別する（ステップＳ３０８）。判別の結果、ズーム中のとき（ステップＳ３０８でＹＥＳ）、そのズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向（Ｗ→Ｔ）か否かを判別する（ステップＳ３０９）。ズームがＷ→Ｔのとき（ステップＳ３０９でＹＥＳ）、係数αにαＷＴを設定する（ステップＳ３１０）。ズームがＷ→Ｔではないとき、すなわちテレ側（Ｔ）からワイド側（Ｗ）に向かう方向Ｔ→Ｗのときは（ステップＳ３０９でＮＯ）、係数αにαＴＷを設定する（ステップＳ３１１）。
【００７２】
ここで、係数αは、０≦αＷＴ≦αＴＷ＜１を満たす。すなわち、ズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向のときの値は、テレ側（Ｔ）からワイド側（Ｗ）に向かう方向のときの値以下となる。従って、αは、撮像する画角がワイド側からテレ側に変更されている場合は、テレ側からワイド側に変更されている場合と比較してより大きく主被写体可能性を低くするように評価値を補正するものである。そして、係数αは主被写体検出枠決定処理（ステップＳ３０１）で決定された主被写体自信度（第１評価値）を減じる係数である。すなわち、αは、主被写体可能性を低くするように主被写体自信度を補正する係数である。
【００７３】
次いで、α倍した主被写体自信度を改めて主被写体自信度とする（ステップＳ３１２）（補正手段）。この主被写体自信度は、主被写体検出枠が被写体枠として有力だと主被写体検出枠決定処理中で判断した場合に大きくなる評価値である。
【００７４】
このステップＳ３１２において、αＷＴはαＴＷ以下であるので、ズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向の場合に主被写体自信度がより低下することとなる。これは、ズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向の場合、ズーム前に画角内にあった被写体がズームした結果画角外に出てしまう場合があるためである。また、中心からの距離もばらつきが大きくなり主被写体検出枠決定処理の精度が低下しやすいためである。
【００７５】
一方、テレ側（Ｔ）からワイド側（Ｗ）に向かう方向の場合はズーム前に画角内にあったものはズームしても画角内に収まっている可能性が高いと考えられる。また、中心からの距離のばらつきも小さくなる方向であるため主被写体検出枠決定処理の精度はあまり低下しないと考えられる。これらを考慮し、ズームがワイド側（Ｗ）からテレ側（Ｔ）に向かう方向の場合に主被写体自信度がより低下するようにしている。
【００７６】
次いで、主被写体自信度が閾値以上か否かを判別する（ステップＳ３１３）。閾値より小さときは（ステップＳ３１３でＮＯ）、ステップＳ３１５に進み、主被写体自信度が閾値以上であったときは（ステップＳ３１３でＹＥＳ）、追尾自信度（第２評価値）が閾値以下か否かを判別する（ステップＳ３１４）。この追尾自信度は、追尾枠決定処理（ステップＳ３０７）で決定される追尾枠が被写体として有力だと判定された場合に大きくなる評価値であり、追尾枠決定処理で算出される。
【００７７】
ステップＳ３１４の判別の結果、追尾自信度が閾値より大きいときは（ステップＳ３１４でＮＯ）、ステップＳ３１５に進む。主被写体自信度が低く追尾自信度が高いことから、主被写体検出枠でなく追尾枠を被写体枠として決定し、追尾枠を画像表示装置１０８に表示して（ステップＳ３１５）（表示手段）、本処理を終了する。なお、追尾枠決定処理において追尾枠が決定されなかった場合は、当然に追尾枠を被写体枠として表示しないこととなる。
【００７８】
ステップＳ３１４の判別の結果、追尾自信度が閾値以下であったときは（ステップＳ３１４でＹＥＳ）、ステップＳ３１６に進む。主被写体自信度が高く追尾自信度が低いことから、追尾枠でなく主被写体検出枠を被写体枠として決定し、被写体枠を画像表示装置１０８に表示する（ステップＳ３１６）（表示手段）。
【００７９】
次いで、これまでの追尾情報をクリアし（ステップＳ３１７）、追尾処理を再開して（ステップＳ３１８）、本処理を終了する。ステップＳ３１８では、記憶していた追尾対象領域の色情報をクリアし、新たな被写体枠の領域の色情報を記憶し直して追尾を再開することとなる。
【００８０】
上記ステップＳ３１３〜３１６が第３決定手段に対応している。これらの処理で主被写体可能性が高い方の評価値に対応する主被写体候補を主被写体として決定することについて説明する。まずズーム中であるならば、ステップＳ３０８から分岐してαが補正され、そこでステップＳ３１３、或いはさらにステップＳ３１４の処理が行われる。ズーム中に主被写体枠が追尾枠となるケースは、追尾自信度によらずに主被写体自信度が閾値未満の場合、又は主被写体自信度が閾値以上かつ追尾自信度が閾値より大きい場合がありうる。追尾枠のほうがズームによる画角の変動を受けにくいため、追尾自信度のほうが主被写体枠として選択されやすい。反対に、ズーム中に主被写体枠が追尾枠となるケースは、主被写体自信度が閾値以上かつ追尾自信度が閾値未満の場合のみである。
【００８１】
図３の処理によれば、まず画角に依存する情報を用いて主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する（ステップＳ３０１）。次いで、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定（ステップＳ３０７）する。次いで、画角が変更されている場合に（ステップＳ３０８でＹＥＳ）、主被写体可能性を低くするように第１評価値を補正し（ステップＳ３１０、３１１）、補正された第１評価値と第２評価値とを比較する。そして、主被写体可能性が高い方の評価値に対応する主被写体候補を主被写体として決定する（ステップＳ３１３〜３１６）。このように構成することでで、画角が変化している場合でも主被写体を精度よく決定することが出来る。なお、主被写体自信度をα倍する代わりに、追尾自信度を１／α倍して追尾自信度を高くさせても同様の効果を得ることが出来る。
【００８２】
また、ズーム中は画角の変動により、主に画面中心からの距離等、画角に依存する評価値によって被写体領域を決定する主被写体検出枠決定処理の精度が低下するため、ステップＳ３１２で主被写体自信度をズームしていないときよりも減じている。一方、主に画角に依存しない色情報を基に被写体領域を決定する追尾枠決定処理に対する追尾自信度に関しては、特に減じる処理等を行わない。特に追尾枠決定処理に関しては、ズーム開始前に記憶した初期特徴色に似た色の領域を追跡することになるため、被写体が安定していたときの情報を基に被写体領域を決定している点でズーム中も正しく被写体枠を決定出来る可能性が高い。
【００８３】
さらに、ズーム中は画角の変動により、主に画面中心からの距離等、画角に左右される評価値によって被写体領域を決定する主被写体検出枠決定処理の精度が低下するため、主被写体自信度を低減させている。こうすることで、主に画角には左右されない色情報を基に決定される追尾枠が被写体枠として選択されやすくしている。これにより、ズーム中に主被写体検出枠決定処理が誤検出することによって、誤検出された被写体を追尾してしまう確率を減らすことが出来る。
【００８４】
図６は、図２のステップＳ２０１で実行される被写体枠表示処理の変形例の手順を示すフローチャートである。
【００８５】
図６において、現在ズーム中であるか否かを判別（ステップＳ７０１）する。判別の結果、ズーム中でないときは（ステップＳ７０１でＮＯ）、図４の主被写体検出枠決定処理を行い（ステップＳ７０２）、ステップＳ７０３に進み、ズーム中のときは（ステップＳ７０１でＹＥＳ）、ステップＳ７０３で追尾中か否か判別する。
【００８６】
ステップＳ７０３での判別の結果、追尾中ではないときは（ステップＳ７０３でＮＯ）、ステップＳ７０２の主被写体検出枠決定処理によって被写体枠の候補となる主被写体検出枠があったか否かを判別する（ステップＳ７０４）。主被写体検出枠がなかった場合は（ステップＳ７０４でＮＯ）、画像表示装置１０８上の被写体枠を非表示にして（ステップＳ７０５）、本処理を終了する。このとき、それまで被写体枠を表示していた場合はそれを非表示とし、また表示している被写体枠がなかった場合はそのまま被写体枠が表示されない状態を保つ。
【００８７】
ステップＳ７０４の判別の結果、主被写体検出枠があったとき（ステップＳ７０４でＹＥＳ）、主被写体検出枠を被写体枠として画像表示装置１０８に表示し（ステップＳ７０６）、追尾処理を開始して（ステップＳ７０７）、本処理を終了する。
【００８８】
ステップＳ７０３の判別の結果、追尾中のとき（ステップＳ７０３でＹＥＳ）、図５の追尾枠決定処理によって被写体枠の候補となる追尾枠を決定し（ステップＳ７０８）、現在ズーム中である否かを判別する（ステップＳ７０９）。ステップＳ７０９の判別の結果、ズーム中であったときは（ステップＳ７０９でＹＥＳ）、追尾枠を被写体枠として選択し、追尾枠を画像表示装置１０８に表示して（ステップＳ７１２）、本処理を終了する。なお、追尾枠決定処理において追尾枠が決定されなかった場合は、当然に追尾枠を被写体枠として表示しないこととなる。
【００８９】
ステップＳ７０９の判別の結果、ズーム中でないときは（ステップＳ７０９でＮＯ）、主被写体自信度が閾値以上か否かを判別し（ステップＳ７１０）、閾値より小さかったときは（ステップＳ７１０でＮＯ）、上述したステップＳ７１２に進む。なお、ズーム中でＳ７０２を実行しなかった場合は、主被写体自信度は算出されず、ステップＳ７１０の判定としては主被写体自信度が閾値に満たないとする。
【００９０】
ステップＳ７１０の判別の結果、主被写体自信度が閾値以上であったときは（ステップＳ７１０でＹＥＳ）、追尾自信度が閾値以下か否かを判別し（ステップＳ７１１）、追尾自信度が閾値以下でないときは上述したステップＳ７１２に進む。このステップＳ７１１を経由してステップＳ７１２に到達した場合は、主被写体自信度も追尾自信度も高いこととなるので、主被写体検出枠でなく追尾枠を優先して被写体枠として決定し、追尾枠を画像表示装置１０８に表示することとなる。
【００９１】
ステップＳ７１１の判別の結果、追尾自信度が閾値以下であったときは（ステップＳ７１１でＹＥＳ）、主被写体自信度が高く追尾自信度が低いことから、追尾枠でなく主被写体検出枠を被写体枠として決定する。それとともに、主被写体検出枠を画像表示装置１０８に表示する（ステップＳ７１３）。次いで、これまでの追尾情報をクリアし（ステップＳ７１４）、追尾処理を再開して（ステップＳ７１５）、本処理を終了する。このとき、記憶していた追尾対象領域の色情報をクリアし、新たな被写体枠の領域の色情報を記憶し直して追尾を再開することとなる。
【００９２】
上記処理において、ズーム中は画角の変動により、主に画面中心からの距離等画角に左右される評価値によって被写体領域を決定する主被写体検出枠決定処理の精度が低下するため、主被写体検出枠決定処理をズーム中は行わないようにしている。一方で、主に画角には左右されない色情報を基に被写体領域を決定する追尾枠決定処理を行い、被写体枠として追尾枠を採用する。主被写体検出枠決定処理の精度低下による被写体枠表示精度の低下を避けるとともに、ズーム中の主被写体検出枠決定処理によるシステム制御部６０の処理負荷の増加を抑えることが出来る。
【００９３】
また、上述した主被写体検出枠決定処理では、ステップＳ５０４、５０５で履歴情報を用いて評価値を算出することも出来る。しかしながら、特に履歴情報を利用できない初回の判定は位置、面積、形状といった画角に影響を受ける指標をもとに主被写体検出枠を決定するため、そこで被写体を誤検知してしまうとその後追尾を開始することで誤った被写体を追尾してしまうことになる。精度の低下する可能性が高いズーム中の主被写体検出決定処理を停止することで、画角の安定している非ズーム時に検出した被写体のみを追尾することが出来るようになり、誤追尾しにくくすることが出来る。
【００９４】
さらに、本実施の形態では画角の変動する条件としてズーム中であるか否かで主被写体自信度の低減や、主被写体検出枠決定処理の停止を行っているが、ジャイロ信号や加速度センサの出力に基づいて同様の処理を行ってもよい。例えばジャイロ信号が大きい場合や、加速度センサの出力が大きい場合は画角が変更されている可能性が高いため、主被写体自信度の低減や、主被写体検出枠決定処理の停止を行えばよい。
【００９５】
以上説明したように、図３に示す被写体枠表示処理のフローチャートでは、ズーム中でない場合には、ズーム中である場合に比較して、追尾自信度に対する主被写体自信度の値が低減されるように補正している。また、図６に示す被写体枠表示処理のフローチャートでは、ズーム中でない場合には主被写体自信度を参照するが、ズーム中である場合には被写体自信度を参照せずに被写体枠を決定している。このように、本実施の形態では、ズーム中である場合には、ズーム中でない場合に比較して、画角に依存する主非被写体自信度よりも画角に依存しない追尾自信度を、より優先して用いて被写体枠を決定することで、主被写体を精度良く決定することが可能となる。
【００９６】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００９７】
１０ レンズ
１６ ＣＣＤ
３８ 画像認識回路
４２ レンズ駆動回路
５０ 画像処理回路
６０ システム制御部
１００ 撮像装置
１０４ シャッタースイッチＳＷ１
１０６ シャッタースイッチＳＷ２
１０８ 画像表示装置
【特許請求の範囲】
【請求項１】
被写体を撮像するとともに、画角を変更可能な撮像手段と、
前記撮像手段に撮像された被写体を示す画像から、画角に依存する情報を用いて主被写体候補が主被写体である主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する第１決定手段と、
前記撮像手段に撮像された被写体を示す画像から、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定する第２決定手段と、
前記第１評価値と前記第２評価値を用いて、いずれかの評価値に対応する主被写体候補を主被写体として決定する第３決定手段と
を備え、
前記第３決定手段は、前記撮像手段により撮像する画角が変更されている場合は、変更されていない場合に比較して、前記第１評価値に対する前記第２評価値を優先して用いて前記主被写体を決定することを特徴とする撮像装置。
【請求項２】
前記第３決定手段は、前記撮像手段により撮像する画角が変更されている場合に、画角が変更されていない場合に比較して、前記主被写体可能性を低くするように前記第１評価値を補正するか、あるいは、前記主被写体可能性を高くするように前記第２評価値を補正する補正手段を備え、前記補正手段によりいずれかが補正された第１評価値と前記第２評価値を比較して、前記主被写体可能性が高い方の評価値に対応する主被写体候補を前記主被写体として決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正手段は、前記撮像手段により撮像する画角が広角側から望遠側に変更されている場合は、望遠側から広角側に変更されている場合と比較してより大きく前記主被写体可能性を低くするように前記第１評価値を補正するか、あるいは、より大きく前記主被写体可能性を高くするように前記第２評価値を補正することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第３決定手段は、前記撮像手段により撮像する画角が変更されている場合は、前記第２評価値に対応する主被写体候補を前記主被写体として決定し、前記撮像手段により撮像する画角が変更されていない場合は、前記第１評価値と前記第２評価値を比較して、前記主被写体可能性が高い方の評価値に対応する主被写体候補を前記主被写体として決定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１決定手段は、輝度、色相、及び彩度情報を用いて背景以外の領域を定め、前記第１評価値を、前記画角に依存する情報として、前記画像の中心からの距離、面積、及び扁平率のうちの少なくとも１つの情報を用いて算出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記画角に依存しない情報は、予め定められた色を示す情報であり、
前記第２決定手段は、前記予め定められた色に最も近い色を有する前記画像内の領域を前記第２主被写体候補として決定し、前記予め定められた色と前記第２主被写体候補における領域の色との類似度により前記第２評価値を算出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第３決定手段により決定された主被写体であることを示す画像を、前記撮像手段に撮像された被写体を示す画像に重畳して表示する表示手段をさらに備えたことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
被写体を撮像するとともに、画角を変更可能な撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段に撮像された被写体を示す画像から、画角に依存する情報を用いて主被写体候補が主被写体である主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する第１決定ステップと、
前記撮像手段に撮像された被写体を示す画像から、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定する第２決定ステップと、
前記第１評価値と前記第２評価値を用いて、いずれかの評価値に対応する主被写体候補を主被写体として決定する第３決定ステップと
を備え、
前記第３決定ステップは、前記撮像手段により撮像する画角が変更されている場合は、変更されていない場合に比較して、前記第１評価値に対する前記第２評価値を優先して用いて前記主被写体を決定することを特徴とする制御方法。
【請求項９】
被写体を撮像するとともに、画角を変更可能な撮像手段を備えた撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
前記撮像手段に撮像された被写体を示す画像から、画角に依存する情報を用いて主被写体候補が主被写体である主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する第１決定ステップと、
前記撮像手段に撮像された被写体を示す画像から、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定する第２決定ステップと、
前記第１評価値と前記第２評価値を用いて、いずれかの評価値に対応する主被写体候補を主被写体として決定する第３決定ステップと
を備え、
前記第３決定ステップは、前記撮像手段により撮像する画角が変更されている場合は、変更されていない場合に比較して、前記第１評価値に対する前記第２評価値を優先して用いて前記主被写体を決定することを特徴とするプログラム。
【請求項１】
被写体を撮像するとともに、画角を変更可能な撮像手段と、
前記撮像手段に撮像された被写体を示す画像から、画角に依存する情報を用いて主被写体候補が主被写体である主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する第１決定手段と、
前記撮像手段に撮像された被写体を示す画像から、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定する第２決定手段と、
前記第１評価値と前記第２評価値を用いて、いずれかの評価値に対応する主被写体候補を主被写体として決定する第３決定手段と
を備え、
前記第３決定手段は、前記撮像手段により撮像する画角が変更されている場合は、変更されていない場合に比較して、前記第１評価値に対する前記第２評価値を優先して用いて前記主被写体を決定することを特徴とする撮像装置。
【請求項２】
前記第３決定手段は、前記撮像手段により撮像する画角が変更されている場合に、画角が変更されていない場合に比較して、前記主被写体可能性を低くするように前記第１評価値を補正するか、あるいは、前記主被写体可能性を高くするように前記第２評価値を補正する補正手段を備え、前記補正手段によりいずれかが補正された第１評価値と前記第２評価値を比較して、前記主被写体可能性が高い方の評価値に対応する主被写体候補を前記主被写体として決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正手段は、前記撮像手段により撮像する画角が広角側から望遠側に変更されている場合は、望遠側から広角側に変更されている場合と比較してより大きく前記主被写体可能性を低くするように前記第１評価値を補正するか、あるいは、より大きく前記主被写体可能性を高くするように前記第２評価値を補正することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第３決定手段は、前記撮像手段により撮像する画角が変更されている場合は、前記第２評価値に対応する主被写体候補を前記主被写体として決定し、前記撮像手段により撮像する画角が変更されていない場合は、前記第１評価値と前記第２評価値を比較して、前記主被写体可能性が高い方の評価値に対応する主被写体候補を前記主被写体として決定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１決定手段は、輝度、色相、及び彩度情報を用いて背景以外の領域を定め、前記第１評価値を、前記画角に依存する情報として、前記画像の中心からの距離、面積、及び扁平率のうちの少なくとも１つの情報を用いて算出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記画角に依存しない情報は、予め定められた色を示す情報であり、
前記第２決定手段は、前記予め定められた色に最も近い色を有する前記画像内の領域を前記第２主被写体候補として決定し、前記予め定められた色と前記第２主被写体候補における領域の色との類似度により前記第２評価値を算出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第３決定手段により決定された主被写体であることを示す画像を、前記撮像手段に撮像された被写体を示す画像に重畳して表示する表示手段をさらに備えたことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
被写体を撮像するとともに、画角を変更可能な撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段に撮像された被写体を示す画像から、画角に依存する情報を用いて主被写体候補が主被写体である主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する第１決定ステップと、
前記撮像手段に撮像された被写体を示す画像から、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定する第２決定ステップと、
前記第１評価値と前記第２評価値を用いて、いずれかの評価値に対応する主被写体候補を主被写体として決定する第３決定ステップと
を備え、
前記第３決定ステップは、前記撮像手段により撮像する画角が変更されている場合は、変更されていない場合に比較して、前記第１評価値に対する前記第２評価値を優先して用いて前記主被写体を決定することを特徴とする制御方法。
【請求項９】
被写体を撮像するとともに、画角を変更可能な撮像手段を備えた撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
前記撮像手段に撮像された被写体を示す画像から、画角に依存する情報を用いて主被写体候補が主被写体である主被写体可能性を示す第１評価値を算出して第１主被写体候補を決定する第１決定ステップと、
前記撮像手段に撮像された被写体を示す画像から、画角に依存しない情報を用いて前記主被写体可能性を示す第２評価値を算出して第２主被写体候補を決定する第２決定ステップと、
前記第１評価値と前記第２評価値を用いて、いずれかの評価値に対応する主被写体候補を主被写体として決定する第３決定ステップと
を備え、
前記第３決定ステップは、前記撮像手段により撮像する画角が変更されている場合は、変更されていない場合に比較して、前記第１評価値に対する前記第２評価値を優先して用いて前記主被写体を決定することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１２９９４０（Ｐ２０１２−１２９９４０Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８１９８３（Ｐ２０１０−２８１９８３）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]