撮像装置およびその制御方法
【課題】サブ撮像素子を用いて測光と被写体探索とを行う場合に、測光に対するダイナミックレンジの拡大と被写体探索の精度維持とを両立する。
【解決手段】撮像装置２０１は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子２１１および第２の撮像素子２０８と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系３０３と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系３０３とを有する。検出系は、測光において第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときは被写体探索を行い、画素加算を行うときは被写体探索を制限する。
【解決手段】撮像装置２０１は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子２１１および第２の撮像素子２０８と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系３０３と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系３０３とを有する。検出系は、測光において第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときは被写体探索を行い、画素加算を行うときは被写体探索を制限する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一眼レフデジタルカメラ等の撮像装置に関し、特に生成した画像から被写体を検出する機能を有する撮像装置に関する。
【背景技術】
【０００２】
上記のような撮像装置には、撮影光学系からの光により形成された撮影用の被写体像（光学像）を光電変換するメイン撮像素子からの出力信号を用いて、表示／記録用画像を生成する撮像系が設けられている。また、該撮像装置には、撮影光学系からの光により形成された測光用の被写体像を光学変換するサブ撮像素子からの出力信号を用いて測光用画像を生成し、該測光用画像から被写体輝度の情報を得る検出系を有するものがある。一眼レフデジタルカメラでは、撮影光学系からの光路に対して進退するミラーによって、撮影光学系かの光が検出系に導かれる状態と撮像系に導かれる状態とに切り替えられる。
【０００３】
このような検出系を有する撮像装置において、サブ撮像素子として、被写体認識ができるようなある程度高い解像度を有する測光用画像の生成が可能な撮像素子を用いることもできる。これにより、測光用画像を用いて、測光だけでなく、人物の顔等の特定被写体の探索（追跡）を行い、明るさや位置が変化する特定被写体に対して自動的に適正露出設定を行ったり撮影光学系の合焦状態を維持したりするような制御を行うことも可能である。
【０００４】
ところで、サブ撮像素子の解像度（画素数）が増加すると、１画素ごとのダイナミックレンジが狭くなり、様々な輝度の被写体に対して良好な測光が行えない可能性がある。このため、特に低輝度側でのダイナミックレンジを拡げるために、複数の画素の出力値を加算して、その結果を１画素相当の出力値として扱う、いわゆる画素加算が行われることがある。特許文献１には、被写体の移動速度と輝度（光量）に応じて、画素加算を行うか否かを切り換える撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２１７３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、画素加算を行うと、サブ撮像素子を用いて得られる測光用画像の解像度が低下するため、この測光用画像を用いた被写体探索の精度が低下し、誤った被写体に対して上述した制御を行ってしまう可能性がある。この結果、露出がアンダー又はオーバーであったりピントがぼけたりした表示／記録用画像が生成されることになる。
【０００７】
本発明は、サブ撮像素子を用いて測光と被写体探索とを行う場合に、測光に対するダイナミックレンジの拡大と被写体探索の精度維持とを両立できるようにした撮像装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する。そして、検出系は、測光において第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときは被写体探索を行い、画素加算を行うときは被写体探索を制限することを特徴とする。
【０００９】
本発明の他の一側面としての撮像装置は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する。そして、検出系は、測光において第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときの被写体探索の結果の使用を許可し、画素加算を行ったときの被写体探索の結果の使用を制限することを特徴とする。
【００１０】
本発明の他の一側面としての制御方法は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する撮像装置に適用される。そして、該制御方法は、測光において第２の撮像素子からの出力の画素加算を行うか否かを選択するステップと、画素加算を行わないときは被写体探索を行い、画素加算を行うときは被写体探索を制限するステップとを有することを特徴とする。
【００１１】
本発明の他の一側面としての制御方法は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する撮像装置に適用される。そして、該制御方法は、測光において第２の撮像素子からの出力の画素加算を行うか否かを選択するステップと、画素加算を行わないときの被写体探索の結果の使用を許可し、画素加算を行ったときの被写体探索の結果の使用を制限するステップとを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、第２の撮像素子からの出力の画素加算を行うことで、第２の画像を用いた測光におけるダイナミックレンジを拡大することができ、良好な測光を行うことができる。また、第２の撮像素子からの出力の画素加算を行わずに生成された十分な解像度を有する第２の画像において精度の高い被写体探索を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例である撮像装置の光学的構成を示す断面図。
【図２】実施例の撮像装置の電気的構成を示すブロック図。
【図３】実施例の撮像装置における焦点検出領域の配置を示す図。
【図４】実施例の撮像装置における連写時の被写体追跡処理を示すフローチャート。
【図５】実施例の撮像装置における被写体追跡処理の例を示す図。
【図６】実施例の撮像装置におけるＡＥセンサの画素配列と画素加算の例を示す図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について図面を参照しながら説明する。
【００１５】
図１には、本発明の実施例１である一眼レフデジタルカメラ本体（以下、単にカメラという）２０１と該カメラ２０１に対して着脱（交換）が可能な交換レンズ２０２とにより構成されるカメラシステムの主として光学的な構成を示している。カメラ２０１と交換レンズ２０２は、不図示のマウント接点群を介して電気的に接続される。
【００１６】
交換レンズ２０２内には、不図示のレンズ（変倍レンズや固定レンズ等）と、フォーカスレンズ２１３と、絞り２１４とにより構成された撮影光学系が収容されている。撮影光学系は、不図示の被写体からの光に光学像である被写体像を形成させる。交換レンズ２０２は、マウント接点群を介してカメラ２０１から送信される制御信号に応じて、フォーカスレンズ２１３を移動させて焦点調節を行ったり、絞り２１４の開口径を変化させてカメラ２０１内に取り込む光量を調節したりする。
【００１７】
カメラ２０１内において、２０３はメインミラーであり、ハーフミラーにより構成されている。メインミラー２０３は、光学ファインダ観察状態では、撮影光学系からの光路内に配置され（ミラーダウン状態）、撮影光学系からの光の一部をファインダ光学系に向けて反射する。また、このときメインミラー２０３を透過した光は、メインミラー２０３の背後に配置されたサブミラー２０４を介してＡＦユニット（焦点検出ユニット）２０５に導かれる。
【００１８】
一方、撮影状態では、メインミラー２０３およびサブミラー２０４は撮影光学系からの光路外に退避する（ミラーアップ状態）。これにより撮影光学系からの光は、シャッタ２１０および撮影用の撮像素子（第１の撮像素子：以下、メイン撮像素子という）２１１に向かう。ミラーアップ状態においてシャッタ２１０が開閉することでメイン撮像素子２１１は撮影光学系からの光によって露光され、メイン撮像素子２１１はその撮像面上に形成された被写体像を光電変換する。メイン撮像素子２１１からの出力信号を用いて、表示および記録用の画像データ（第１の画像：以下、メイン画像という）が生成される。メイン画像は、カメラ２０１の背面に設けられたモニタ２１２に電子ビューファインダ画像として表示されたり、不図示の記録媒体に記録されたりする。
【００１９】
ＡＦセンサ２０５は、サブミラー２０４からの光に一対の被写体像（以下、２像という）を形成させる二次結像光学系と、該２像を光電変換する一対の受光素子列（ラインセンサ）とを、撮影画面内に複数設けられた焦点検出領域に対応して複数組備えている。図３には、撮影画面（撮影範囲）内に設けられた複数の焦点検出領域の配置を示している。一対のラインセンサから出力された一対の像信号の位相差を演算することで、撮影光学系の焦点状態（デフォーカス量）を検出することができる。そして、該デフォーカス量に応じて算出された合焦位置にフォーカスレンズ２１３を移動させることで、撮影光学系の合焦状態を得ることができる。このようにして、位相差検出方式によるオートフォーカス（ＡＦ）を行うことができる。
【００２０】
図１において、２０６は撮影光学系の予定結像面に配置されたピント板であり、該ピント板２０６上にはメインミラー２０３で反射した光によって被写体像が形成される。２０７はペンタプリズムであり、ピント板２０６からの光を反射してその光路を変更する。これらピント板２０６、ペンタプリズム２０７および不図示の接眼レンズによってファインダ光学系が構成される。２０９はアイピースであり、ユーザはここから接眼レンズおよびペンタプリズム２０７を通してピント板２０６上に形成された被写体像を観察することができる。
【００２１】
また、２０８はＡＥセンサであり、ピント板２０６上の被写体像からペンタプリズム２０７を介して入射した光（つまりは被写体像）を光電変換する測光用の撮像素子（第２の撮像素子：以下、サブ撮像素子という）を備えている。サブ撮像素子からの出力信号を用いて生成された画像データ（第２の画像：以下、サブ画像という）から、被写体輝度を検出することができる。
【００２２】
サブ撮像素子は、図３に示す撮影範囲全体の被写体像を光電変換可能な大きさの撮像面を有し、該撮像面には図６の上図に示すように複数の画素（Ｒ，Ｇ，Ｂ）が配置されている。なお、複数のＲ画素、Ｇ画素およびＢ画素はそれぞれ、垂直方向に延びる列を形成するように配置されており、Ｒ画素列、Ｇ画素列およびＢ画素列が水平方向に順に繰り返し配置されている。このような画素配列を、本実施例では、ストライプ配列という。
【００２３】
このサブ撮像素子では、図６の下図に示すように、Ｒ画素列、Ｇ画素列およびＢ画素列のそれぞれにおいて垂直方向にて隣接する５画素を１つの画素群とし、１画素群内の５画素の出力値（画素値）を加算して１つの画素出力とする画素加算を行うことができる。この画素加算により、サブ画像の垂直方向での解像度は画素加算をしない場合の１／５となるが、測光に関しては特に低輝度被写体に対して広いダイナミックレンジが得られる。このように、サブ撮像素子の出力（信号読み出し）に関して画素加算を行うか否かを選択することができる。
【００２４】
また、本実施例では、図６の上図に示した多数のＲ，Ｇ，Ｂ画素に対応する解像度を有するサブ画像を用いて、被写体探索（被写体検出ともいう）を行う。被写体探索は、人物の顔等の特定被写体をサブ画像内からパターンマッチング等の画像処理方法を用いて検出する処理である。そして、この被写体探索により検出された特定被写体の明るさや位置の変化に追従して測光やＡＦを行うことができる。このようにサブ画像を用いた被写体探索の結果を用いて該特定被写体を追跡しながら測光やＡＦを行う処理を被写体追跡処理という。
【００２５】
以下の説明において、メイン撮像素子２１１によるメイン画像の取得のための動作をメイン撮像といい、サブ撮像素子（ＡＥセンサ２０８）によるサブ画像の取得のための動作をサブ撮像という。
【００２６】
図２には、上記カメラシステムの電気的な構成を示している。図２において、図１に示した構成要素と同じ構成要素には、図１と同符号を付す。
【００２７】
カメラ２０１において、操作検出部３０８は、ユーザによるボタン、スイッチおよびダイヤル等の操作部材の操作を検出して、該操作に応じた信号をシステム制御部３０３に出力する。例えば、操作検出部３０８は、不図示のレリーズボタンが半押し操作されることに応じてＳＷ１信号をシステム制御部３０３に出力する。レリーズボタンが全押し操作されることに応じてＳＷ２信号をシステム制御部３０３に出力する。
【００２８】
なお、以下の説明において、ユーザがレリーズボタンの半押し操作を維持した状態をＳＷ１保持状態といい、レリーズボタンの全押し操作を維持した状態をＳＷ２保持状態という。また、操作検出部３０８は、ユーザがレリーズボタンの半押し操作を解除したことに応じてＳＷ１解除信号をシステム制御部３０３に出力し、レリーズボタンの全押し操作を解除したことに応じてＳＷ２解除信号をシステム制御部３０３に出力する。
【００２９】
ミラー制御部３０９は、システム制御部３０３からのミラー駆動信号に応じて、メインミラー２０３およびサブミラー２０４の動作を制御する。システム制御部３０３は、操作検出部３０８からＳＷ１信号を受け取ったときと連写時のミラーダウン状態とにおいて、ＡＦセンサ２０５の各焦点検出領域に対応する一対のラインセンサからの像信号を読み込む。そして、ＡＦを行う焦点検出領域の選択と該焦点検出領域での合焦位置（フォーカスレンズ移動量）の演算を行う。そして、演算されたフォーカスレンズ移動量に対応するレンズ駆動信号を交換レンズ２０２内のレンズ駆動部３１４に送信する。レンズ駆動部３１４は、該レンズ駆動信号に基づいてフォーカスレンズ２１３を移動させ、合焦状態を得る。
【００３０】
システム制御部３０３は、メイン撮像素子２１１からの出力信号に対して各種画像生成処理を行ってメイン画像を生成し、該メイン画像をディスプレイ制御部３１２および画像記録部３１１に出力する。ディスプレイ制御部３１２は、メイン画像を表示に適した画像に変換してモニタ２１２に表示する。また、画像記録部３１１は、メイン画像を記録に適した画像に変換して半導体メモリや光ディスク等の記録媒体に記録する。システム制御部３０３は、メイン撮像素子２１１とともに撮像系を構成する。
【００３１】
メインメモリ３０７は、システム制御部３０３が行う演算に必要なデータやコンピュータプログラムを格納する。
【００３２】
また、システム制御部３０３は、ＡＥセンサ２０８（サブ撮像素子）からの出力信号に対して各種画像生成処理を行ってサブ画像を生成し、該サブ画像を用いて被写体輝度を検出する。システム制御部３０３は、ＡＥセンサ２０８（サブ撮像素子）とともに検出系を構成する。
【００３３】
システム制御部３０３は、検出した被写体輝度に基づいて適正露光のための露出演算（絞り値やシャッタ速度の演算）を行う。そして、演算した絞り値に対応する絞り駆動信号を交換レンズ２０２の絞り制御部３１３に出力するとともに、該シャッタ速度に対応するシャッタ駆動信号をシャッタ制御部３１０に出力する。絞り制御部３１３は、絞り駆動信号に基づいて絞り２１４を駆動してその開口径を変化させる。また、システム制御部３０３は、メイン撮像において、シャッタ駆動信号に対応したシャッタ速度でシャッタ２１０を開閉動作させる。
【００３４】
さらに、システム制御部３０３は、連写時において、サブ画素を用いた被写体探索を行い、サブ画素中での特定被写体の位置を検出し、検出した特定被写体の位置に対応する焦点検出領域を図３に示した複数の焦点検出領域の中から１つ（又は２以上）選択する。そして、選択した焦点検出領域での合焦位置の演算結果に基づいて、レンズ駆動部３１４にレンズ駆動信号を送信する。
【００３５】
次に、本実施例のカメラシステムにおける連写時の処理（制御方法）について、図４のフローチャートを用いて説明する。この連写処理は、主としてシステム制御部３０３が、メインメモリ３０７に格納されたコンピュータプログラムに従って実行する。ステップＳ４０１〜ステップＳ４０５での処理はＳＷ１保持状態にて行われる処理であり、連写準備動作に相当する。また、ステップＳ４０６以降の処理は、連写準備動作の完了後のレリーズボタンの全押し操作に応じたＳＷ２保持状態にて行われる処理であり、連写動作に相当する。この連写動作中にサブ画像における被写体探索を含む被写体追跡処理が行われる。
【００３６】
ユーザによるレリーズボタンの半押し操作に応じて操作検出部３０８からＳＷ１信号がシステム制御部３０３に入力されると、システム制御部３０３は処理を開始する。
【００３７】
ステップＳ４０１では、システム制御部３０３は、操作検出部３０８でのユーザによる選択操作またはコンピュータプログラムによる選択処理によって図３に示した複数の焦点検出領域の中から１つ（又は２以上）の焦点検出領域を選択する。そして、ＡＦセンサ２０５から該選択された焦点検出領域に対応して出力された像信号に基づいて合焦位置演算を行う。
【００３８】
次にステップＳ４０２では、システム制御部３０３は、ＡＥセンサ２０８からの出力信号を用いてサブ画像を生成する。そして、サブ画像のうちステップＳ４０１で選択された焦点検出領域を中心とする所定の領域内の画像を抽出するとともに、該抽出画像およびサブ画像内での画像抽出領域の中心座標をメインメモリ３０７に保存する。以下の説明において、メインメモリ３０７に保存された抽出画像をテンプレート画像といい、画像抽出領域の中心座標を直前被写体位置という。なお、ここでは、被写体輝度が十分に高く、この時点においてサブ撮像素子での画素加算は行われないものとする。
【００３９】
次にステップＳ４０３では、システム制御部３０３は、ステップＳ４０２で生成したサブ画像を用いて露出演算を行い、その結果をシステム制御部３０３に出力する。
【００４０】
次にステップＳ４０４では、システム制御部３０３は、ＡＥセンサ２０８での画素加算状態（画素加算を行うか否か）をメインメモリ３０７に保存する。前述したようにこの時点では画素加算は行われていないので、画素加算が行われていないこと（画素非加算であること）をメインメモリ３０７に保存する。
【００４１】
次にステップＳ４０５では、システム制御部３０３は、ステップＳ４０１での合焦位置演算の結果およびステップＳ４０３での露出演算の結果に基づいて、フォーカス駆動信号および絞り駆動信号をそれぞれレンズ駆動部３１４および絞り制御部３１３に送信する。これにより、撮影光学系の合焦状態が得られるとともに、絞り２１４の開口径が調節される。
【００４２】
次にステップＳ４０６では、システム制御部３０３は、ユーザがレリーズボタンの全押し操作を行うか半押し操作を解除するまで待機する。そして、操作検出部３０８からＳＷ２信号またはＳＷ１解除信号が入力されると、ステップＳ４０７に進む。
【００４３】
ステップＳ４０７では、システム制御部３０３は、ステップＳ４０６で入力された信号がＳＷ１解除信号かＳＷ２信号かを判断する。ＳＷ１解除信号であれば連写処理を終了し、ＳＷ２信号であればステップＳ４０８に進んで連写動作を開始する。
【００４４】
ステップＳ４０８では、システム制御部３０３は、ミラー制御部３０９にミラー駆動信号を出力して、ミラー２０３，２０４をアップ状態に向けて動作させる。
【００４５】
続いてステップＳ４０９では、システム制御部３０３は、シャッタ制御部３１０にシャッタ駆動信号を出力してシャッタ２１０を開閉させ、メイン撮像素子２１１を露光する。そして、システム制御部３０３は、メイン撮像素子２１１からの出力信号を用いてメイン画像を生成し、前述したモニタ２１２への表示と画像記録部３１１での記録媒体への記録とを行う。
【００４６】
次にステップＳ４１０では、システム制御部３０３は、ミラー制御部３０９にミラー駆動信号を出力し、ミラー２０３，２０４をミラーダウン状態に向けて動作させる。
【００４７】
次に、ステップＳ４１１では、システム制御部３０３は、ＳＷ２保持状態が解除された（ＳＷ２解除信号を受け取った）か否かを判断する。ＳＷ２解除信号を受け取っていれば連写処理を終了する。ＳＷ２解除信号を受け取っていなければステップＳ４１２に進む。
【００４８】
ステップＳ４１２では、システム制御部３０３は、メインメモリ３０７に保存されている前回のフローにおけるＡＥセンサ２０８の画素加算状態を読み出し、それが画素非加算か否かを判断する。画素非加算であればステップＳ４１３に進み、画素加算であればステップＳ４１５に進む。
【００４９】
ステップＳ４１３では、システム制御部３０３は、現在の被写体輝度（測光の結果）に応じて、今回のフローにおいてＡＥセンサ２０８からの信号読み出しを画素加算とするか否か、つまりは画素非加算から画素加算に切り換えるか否かを判断する。画素非加算から画素加算に切り換えるときはステップＳ４１４に進み、そうでなければ（画素非加算のままであれば）ステップＳ４１７に進む。ステップＳ４１７では、前回のフローから実行されている被写体追跡処理を続行する。
【００５０】
ステップＳ４１４では、システム制御部３０３は、ＡＥセンサ２０８からの信号読み出しが画素加算による読み出しとなったことで、サブ画像での被写体探索を精度良く行えないものとして被写体探索および被写体追跡処理を中止（制限）する。そして、ステップＳ４１８に進む。
【００５１】
一方、ステップＳ４１５では、システム制御部３０３は、現在の被写体輝度（測光の結果）に応じて、今回のフローにおいてＡＥセンサ２０８からの信号読み出しを画素非加算とするか否か、つまりは画素加算から画素非加算に切り換えるか否かを判断する。画素加算から画素非加算に切り換えるときはステップＳ４１６に進み、そうでなければ（画素加算のままであれば）ステップＳ４１８に進む。
【００５２】
ステップＳ４１６では、システム制御部３０３は、ＡＥセンサ２０８からの信号読み出しが画素非加算となり、サブ画像での被写体探索を精度良く行えるものとして、該被写体探索を開始する。具体的には、システム制御部３０３は、ＡＥセンサ２０８からの出力信号を用いてサブ画像を生成するとともに、メインメモリ３０７からテンプレート画像を読み出す。そして、これら２つの画像の相関（マッチング）を取り、サブ画像中におけるテンプレート画像に含まれる特定被写体と同じ被写体の位置を検出する。
【００５３】
被写体探索のためのマッチングを行うに際して、まずシステム制御部３０３は、メインメモリ３０７から直前被写体位置を読み出す。そして、図５に示すように、第１段階としてサブ画像中にてマッチングを行う範囲を、直前被写体位置を中心とした狭い第１の被写体探索範囲（上下方向に焦点検出領域３つおよび左右方向に焦点検出領域５つの範囲）に限定する。
【００５４】
なお、第１の被写体探索範囲にて特定被写体を検出できない場合には、第２段階としてサブ画像中にてマッチングを行う範囲をサブ画像のほぼ全域に相当する広い第２の被写体探索範囲に限定する。
【００５５】
さらに、システム制御部３０３は、サブ画像およびテンプレート画像の解像度をもとの解像度の１／２に変換した上でマッチングを行う。マッチングを第１の被写体探索範囲で行ったり１／２解像度の画像を用いて行ったりすることにより、マッチングを高速で行うことができ、この後のフォーカスレンズ駆動を含めた被写体追跡処理に要する時間を短縮することができる。こうして被写体探索を開始した後、システム制御部３０３は、ステップＳ４１７に進み、被写体追跡処理を開始する。以下の説明において、ステップＳ４１６にてＡＥセンサ２０８の出力信号から生成した１／２解像度のサブ画像を第１のサブ画像という。
【００５６】
また、システム制御部３０３は、サブ画像中にて検出した位置を中心とする所定領域の画像を新たなテンプレート画像として抽出し、該新たなテンプレート画像とその画像抽出領域の中心座標とがメインメモリ３０７に保存される。保存された新たなテンプレート画像と画像抽出領域の中心座標は、次回の被写体探索に用いられる。この後、システム制御部３０３は、ステップＳ４１８に進む。
【００５７】
ステップＳ４１８では、システム制御部３０３は、今回のフローでのＡＥセンサ２０８の画素加算状態をメインメモリ３０７に保存する。
【００５８】
次にステップＳ４１９では、システム制御部３０３は、再びＡＥセンサ２０８の出力信号を用いて第２のサブ画像を生成し、ステップＳ４１６で生成した第１のサブ画像との足し合わせを行って新たなサブ画像（以下、合成サブ画像という）を生成する。そして、システム制御部３０３は、合成サブ画像を用いて露出演算を行い、その結果を保存する。このように、露出演算を合成サブ画像を用いて行うことにより、第１のサブ画像を用いて行う場合に比べて、ノイズを低下させたり画素値を増加させたりすることができ、安定した露出演算を行うことができる。
【００５９】
次にステップＳ４２０では、システム制御部３０３は、被写体追跡処理中である場合はサブ画像中で検出された特定被写体の位置に対応する焦点検出領域にて焦点検出および合焦位置演算を行う。また、被写体追跡処理中でない場合はステップＳ４０１にて選択された焦点検出領域にて焦点検出および合焦位置演算を行う。
【００６０】
続いてステップＳ４２１では、システム制御部３０３は、ステップＳ４２０での合焦位置演算の結果およびステップＳ４１９での露出演算の結果に基づいて、フォーカス駆動信号および絞り駆動信号をそれぞれレンズ駆動部３１４および絞り制御部３１３に送信する。これにより、撮影光学系の合焦状態が得られるとともに、絞り２１４の開口径が調節される。この後は、システム制御部３０３は、ステップＳ４０８に戻る。
【００６１】
以上説明したように、本実施例によれば、サブ撮像素子からの信号読み出しにおいて画素加算を行うことにより、ダイナミックレンジを拡大した良好な測光を行うことができる。さらに、サブ撮像素子からの信号読み出しにおいて画素加算を行わず、十分な解像度を有するサブ画像を生成することで、該サブ画像における精度の高い被写体探索を行うことができ、良好な被写体追従処理を行うことができる。
【００６２】
しかも、被写体探索（および被写体追従処理）を行っているときに画素加算を行うとの選択がなされること（画素加算への切り換え）に応じて自動的に被写体探索を中止（中断）し、画素非加算の状態に戻ることで自動的に被写体探索が再開される。このため、上述した良好な測光と精度の高い被写体探索（良好な被写体追従処理）の自動切り換えを、ユーザに切り換え操作等の負担をかけることなく、実行することができる。
【００６３】
なお、上記実施例では、テンプレートマッチングによるサブ画像での被写体探索を行う際のテンプレート画像として、最初に保存した１つの画像のみを用いる場合について説明した。しかし、連写中に新たに生成された画像から特定被写体を含む領域を切り出して新たなテンプレート画像としてもよい。
【００６４】
また、被写体探索を、上記実施例で説明したテンプレートマッチングによって行うだけでなく、色情報を用いた被写体探索や、顔検出による結果を用いた被写体探索を行ってもよい。さらに、オプティカルフローを利用した動体解析やエッジ検出によるシーン認識技術を用いて被写体探索を行ってもよい。
【００６５】
また、上記実施例では、画素加算を行わないときは被写体探索を行い、画素加算を行うときは被写体探索を中止（中断または禁止）する場合について説明した。しかし、画素加算を行うときの被写体探索に対して、中止を含めた何らかの制限を加えればよい。制限には、中止だけでなく、特定の条件の下でのみ被写体探索を許可するというように中止以外の対処も含まれる。例えば、画素加算して生成されたサブ画素中の特定被写体の大きさが、該特定被写体を良好な精度で検出可能な大きさである場合に限り被写体探索を許可してもよい。また、テンプレート画像を画素加算の度合いに応じて縮小して使用することで被写体探索を許可するようにしてもよい。また、被写体探索を特定被写体の色を検出する方法（色追跡）で行うことで被写体探索を許可してもよい。この場合に、テンプレート画像を特定被写体の色で塗りつぶす処理を行ってもよい。
【００６６】
さらに、画素加算を行うときに被写体探索を中止等、制限するのではなく、画素加算を行わない場合と同様に被写体探索を許可するが、その結果の使用を制限する（使用を禁止したり、信頼度が低いとして暫定的な使用のみを許可したりする）ようにしてもよい。この場合のシステム制御部３０３による処理（制御方法）は、基本的に図４のフローチャートで示した処理と同様に行われる。ただし、図４中のステップＳ４１４を、「被写体探索および被写体追跡処理を中止（制限）する」から、「被写体探索および被写体追跡処理の結果の使用を制限する」に変更する。
【００６７】
そして、この場合も、被写体探索の結果の使用が許可されているときに画素加算を行うとの選択をすることに応じて被写体探索の結果の使用を制限し、該画素加算を行わない状態に戻ることで該結果の使用を再許可するようにすることができる。
【００６８】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００６９】
良好な測光と高精度の被写体探索とを行える撮像装置を提供できる。
【符号の説明】
【００７０】
２０１ カメラ
２０２ 交換レンズ
２０８ ＡＥセンサ（サブ撮像素子）
２１１ メイン撮像素子
３０３ システム制御部
【技術分野】
【０００１】
本発明は、一眼レフデジタルカメラ等の撮像装置に関し、特に生成した画像から被写体を検出する機能を有する撮像装置に関する。
【背景技術】
【０００２】
上記のような撮像装置には、撮影光学系からの光により形成された撮影用の被写体像（光学像）を光電変換するメイン撮像素子からの出力信号を用いて、表示／記録用画像を生成する撮像系が設けられている。また、該撮像装置には、撮影光学系からの光により形成された測光用の被写体像を光学変換するサブ撮像素子からの出力信号を用いて測光用画像を生成し、該測光用画像から被写体輝度の情報を得る検出系を有するものがある。一眼レフデジタルカメラでは、撮影光学系からの光路に対して進退するミラーによって、撮影光学系かの光が検出系に導かれる状態と撮像系に導かれる状態とに切り替えられる。
【０００３】
このような検出系を有する撮像装置において、サブ撮像素子として、被写体認識ができるようなある程度高い解像度を有する測光用画像の生成が可能な撮像素子を用いることもできる。これにより、測光用画像を用いて、測光だけでなく、人物の顔等の特定被写体の探索（追跡）を行い、明るさや位置が変化する特定被写体に対して自動的に適正露出設定を行ったり撮影光学系の合焦状態を維持したりするような制御を行うことも可能である。
【０００４】
ところで、サブ撮像素子の解像度（画素数）が増加すると、１画素ごとのダイナミックレンジが狭くなり、様々な輝度の被写体に対して良好な測光が行えない可能性がある。このため、特に低輝度側でのダイナミックレンジを拡げるために、複数の画素の出力値を加算して、その結果を１画素相当の出力値として扱う、いわゆる画素加算が行われることがある。特許文献１には、被写体の移動速度と輝度（光量）に応じて、画素加算を行うか否かを切り換える撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２１７３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、画素加算を行うと、サブ撮像素子を用いて得られる測光用画像の解像度が低下するため、この測光用画像を用いた被写体探索の精度が低下し、誤った被写体に対して上述した制御を行ってしまう可能性がある。この結果、露出がアンダー又はオーバーであったりピントがぼけたりした表示／記録用画像が生成されることになる。
【０００７】
本発明は、サブ撮像素子を用いて測光と被写体探索とを行う場合に、測光に対するダイナミックレンジの拡大と被写体探索の精度維持とを両立できるようにした撮像装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する。そして、検出系は、測光において第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときは被写体探索を行い、画素加算を行うときは被写体探索を制限することを特徴とする。
【０００９】
本発明の他の一側面としての撮像装置は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する。そして、検出系は、測光において第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときの被写体探索の結果の使用を許可し、画素加算を行ったときの被写体探索の結果の使用を制限することを特徴とする。
【００１０】
本発明の他の一側面としての制御方法は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する撮像装置に適用される。そして、該制御方法は、測光において第２の撮像素子からの出力の画素加算を行うか否かを選択するステップと、画素加算を行わないときは被写体探索を行い、画素加算を行うときは被写体探索を制限するステップとを有することを特徴とする。
【００１１】
本発明の他の一側面としての制御方法は、撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する撮像装置に適用される。そして、該制御方法は、測光において第２の撮像素子からの出力の画素加算を行うか否かを選択するステップと、画素加算を行わないときの被写体探索の結果の使用を許可し、画素加算を行ったときの被写体探索の結果の使用を制限するステップとを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、第２の撮像素子からの出力の画素加算を行うことで、第２の画像を用いた測光におけるダイナミックレンジを拡大することができ、良好な測光を行うことができる。また、第２の撮像素子からの出力の画素加算を行わずに生成された十分な解像度を有する第２の画像において精度の高い被写体探索を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例である撮像装置の光学的構成を示す断面図。
【図２】実施例の撮像装置の電気的構成を示すブロック図。
【図３】実施例の撮像装置における焦点検出領域の配置を示す図。
【図４】実施例の撮像装置における連写時の被写体追跡処理を示すフローチャート。
【図５】実施例の撮像装置における被写体追跡処理の例を示す図。
【図６】実施例の撮像装置におけるＡＥセンサの画素配列と画素加算の例を示す図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について図面を参照しながら説明する。
【００１５】
図１には、本発明の実施例１である一眼レフデジタルカメラ本体（以下、単にカメラという）２０１と該カメラ２０１に対して着脱（交換）が可能な交換レンズ２０２とにより構成されるカメラシステムの主として光学的な構成を示している。カメラ２０１と交換レンズ２０２は、不図示のマウント接点群を介して電気的に接続される。
【００１６】
交換レンズ２０２内には、不図示のレンズ（変倍レンズや固定レンズ等）と、フォーカスレンズ２１３と、絞り２１４とにより構成された撮影光学系が収容されている。撮影光学系は、不図示の被写体からの光に光学像である被写体像を形成させる。交換レンズ２０２は、マウント接点群を介してカメラ２０１から送信される制御信号に応じて、フォーカスレンズ２１３を移動させて焦点調節を行ったり、絞り２１４の開口径を変化させてカメラ２０１内に取り込む光量を調節したりする。
【００１７】
カメラ２０１内において、２０３はメインミラーであり、ハーフミラーにより構成されている。メインミラー２０３は、光学ファインダ観察状態では、撮影光学系からの光路内に配置され（ミラーダウン状態）、撮影光学系からの光の一部をファインダ光学系に向けて反射する。また、このときメインミラー２０３を透過した光は、メインミラー２０３の背後に配置されたサブミラー２０４を介してＡＦユニット（焦点検出ユニット）２０５に導かれる。
【００１８】
一方、撮影状態では、メインミラー２０３およびサブミラー２０４は撮影光学系からの光路外に退避する（ミラーアップ状態）。これにより撮影光学系からの光は、シャッタ２１０および撮影用の撮像素子（第１の撮像素子：以下、メイン撮像素子という）２１１に向かう。ミラーアップ状態においてシャッタ２１０が開閉することでメイン撮像素子２１１は撮影光学系からの光によって露光され、メイン撮像素子２１１はその撮像面上に形成された被写体像を光電変換する。メイン撮像素子２１１からの出力信号を用いて、表示および記録用の画像データ（第１の画像：以下、メイン画像という）が生成される。メイン画像は、カメラ２０１の背面に設けられたモニタ２１２に電子ビューファインダ画像として表示されたり、不図示の記録媒体に記録されたりする。
【００１９】
ＡＦセンサ２０５は、サブミラー２０４からの光に一対の被写体像（以下、２像という）を形成させる二次結像光学系と、該２像を光電変換する一対の受光素子列（ラインセンサ）とを、撮影画面内に複数設けられた焦点検出領域に対応して複数組備えている。図３には、撮影画面（撮影範囲）内に設けられた複数の焦点検出領域の配置を示している。一対のラインセンサから出力された一対の像信号の位相差を演算することで、撮影光学系の焦点状態（デフォーカス量）を検出することができる。そして、該デフォーカス量に応じて算出された合焦位置にフォーカスレンズ２１３を移動させることで、撮影光学系の合焦状態を得ることができる。このようにして、位相差検出方式によるオートフォーカス（ＡＦ）を行うことができる。
【００２０】
図１において、２０６は撮影光学系の予定結像面に配置されたピント板であり、該ピント板２０６上にはメインミラー２０３で反射した光によって被写体像が形成される。２０７はペンタプリズムであり、ピント板２０６からの光を反射してその光路を変更する。これらピント板２０６、ペンタプリズム２０７および不図示の接眼レンズによってファインダ光学系が構成される。２０９はアイピースであり、ユーザはここから接眼レンズおよびペンタプリズム２０７を通してピント板２０６上に形成された被写体像を観察することができる。
【００２１】
また、２０８はＡＥセンサであり、ピント板２０６上の被写体像からペンタプリズム２０７を介して入射した光（つまりは被写体像）を光電変換する測光用の撮像素子（第２の撮像素子：以下、サブ撮像素子という）を備えている。サブ撮像素子からの出力信号を用いて生成された画像データ（第２の画像：以下、サブ画像という）から、被写体輝度を検出することができる。
【００２２】
サブ撮像素子は、図３に示す撮影範囲全体の被写体像を光電変換可能な大きさの撮像面を有し、該撮像面には図６の上図に示すように複数の画素（Ｒ，Ｇ，Ｂ）が配置されている。なお、複数のＲ画素、Ｇ画素およびＢ画素はそれぞれ、垂直方向に延びる列を形成するように配置されており、Ｒ画素列、Ｇ画素列およびＢ画素列が水平方向に順に繰り返し配置されている。このような画素配列を、本実施例では、ストライプ配列という。
【００２３】
このサブ撮像素子では、図６の下図に示すように、Ｒ画素列、Ｇ画素列およびＢ画素列のそれぞれにおいて垂直方向にて隣接する５画素を１つの画素群とし、１画素群内の５画素の出力値（画素値）を加算して１つの画素出力とする画素加算を行うことができる。この画素加算により、サブ画像の垂直方向での解像度は画素加算をしない場合の１／５となるが、測光に関しては特に低輝度被写体に対して広いダイナミックレンジが得られる。このように、サブ撮像素子の出力（信号読み出し）に関して画素加算を行うか否かを選択することができる。
【００２４】
また、本実施例では、図６の上図に示した多数のＲ，Ｇ，Ｂ画素に対応する解像度を有するサブ画像を用いて、被写体探索（被写体検出ともいう）を行う。被写体探索は、人物の顔等の特定被写体をサブ画像内からパターンマッチング等の画像処理方法を用いて検出する処理である。そして、この被写体探索により検出された特定被写体の明るさや位置の変化に追従して測光やＡＦを行うことができる。このようにサブ画像を用いた被写体探索の結果を用いて該特定被写体を追跡しながら測光やＡＦを行う処理を被写体追跡処理という。
【００２５】
以下の説明において、メイン撮像素子２１１によるメイン画像の取得のための動作をメイン撮像といい、サブ撮像素子（ＡＥセンサ２０８）によるサブ画像の取得のための動作をサブ撮像という。
【００２６】
図２には、上記カメラシステムの電気的な構成を示している。図２において、図１に示した構成要素と同じ構成要素には、図１と同符号を付す。
【００２７】
カメラ２０１において、操作検出部３０８は、ユーザによるボタン、スイッチおよびダイヤル等の操作部材の操作を検出して、該操作に応じた信号をシステム制御部３０３に出力する。例えば、操作検出部３０８は、不図示のレリーズボタンが半押し操作されることに応じてＳＷ１信号をシステム制御部３０３に出力する。レリーズボタンが全押し操作されることに応じてＳＷ２信号をシステム制御部３０３に出力する。
【００２８】
なお、以下の説明において、ユーザがレリーズボタンの半押し操作を維持した状態をＳＷ１保持状態といい、レリーズボタンの全押し操作を維持した状態をＳＷ２保持状態という。また、操作検出部３０８は、ユーザがレリーズボタンの半押し操作を解除したことに応じてＳＷ１解除信号をシステム制御部３０３に出力し、レリーズボタンの全押し操作を解除したことに応じてＳＷ２解除信号をシステム制御部３０３に出力する。
【００２９】
ミラー制御部３０９は、システム制御部３０３からのミラー駆動信号に応じて、メインミラー２０３およびサブミラー２０４の動作を制御する。システム制御部３０３は、操作検出部３０８からＳＷ１信号を受け取ったときと連写時のミラーダウン状態とにおいて、ＡＦセンサ２０５の各焦点検出領域に対応する一対のラインセンサからの像信号を読み込む。そして、ＡＦを行う焦点検出領域の選択と該焦点検出領域での合焦位置（フォーカスレンズ移動量）の演算を行う。そして、演算されたフォーカスレンズ移動量に対応するレンズ駆動信号を交換レンズ２０２内のレンズ駆動部３１４に送信する。レンズ駆動部３１４は、該レンズ駆動信号に基づいてフォーカスレンズ２１３を移動させ、合焦状態を得る。
【００３０】
システム制御部３０３は、メイン撮像素子２１１からの出力信号に対して各種画像生成処理を行ってメイン画像を生成し、該メイン画像をディスプレイ制御部３１２および画像記録部３１１に出力する。ディスプレイ制御部３１２は、メイン画像を表示に適した画像に変換してモニタ２１２に表示する。また、画像記録部３１１は、メイン画像を記録に適した画像に変換して半導体メモリや光ディスク等の記録媒体に記録する。システム制御部３０３は、メイン撮像素子２１１とともに撮像系を構成する。
【００３１】
メインメモリ３０７は、システム制御部３０３が行う演算に必要なデータやコンピュータプログラムを格納する。
【００３２】
また、システム制御部３０３は、ＡＥセンサ２０８（サブ撮像素子）からの出力信号に対して各種画像生成処理を行ってサブ画像を生成し、該サブ画像を用いて被写体輝度を検出する。システム制御部３０３は、ＡＥセンサ２０８（サブ撮像素子）とともに検出系を構成する。
【００３３】
システム制御部３０３は、検出した被写体輝度に基づいて適正露光のための露出演算（絞り値やシャッタ速度の演算）を行う。そして、演算した絞り値に対応する絞り駆動信号を交換レンズ２０２の絞り制御部３１３に出力するとともに、該シャッタ速度に対応するシャッタ駆動信号をシャッタ制御部３１０に出力する。絞り制御部３１３は、絞り駆動信号に基づいて絞り２１４を駆動してその開口径を変化させる。また、システム制御部３０３は、メイン撮像において、シャッタ駆動信号に対応したシャッタ速度でシャッタ２１０を開閉動作させる。
【００３４】
さらに、システム制御部３０３は、連写時において、サブ画素を用いた被写体探索を行い、サブ画素中での特定被写体の位置を検出し、検出した特定被写体の位置に対応する焦点検出領域を図３に示した複数の焦点検出領域の中から１つ（又は２以上）選択する。そして、選択した焦点検出領域での合焦位置の演算結果に基づいて、レンズ駆動部３１４にレンズ駆動信号を送信する。
【００３５】
次に、本実施例のカメラシステムにおける連写時の処理（制御方法）について、図４のフローチャートを用いて説明する。この連写処理は、主としてシステム制御部３０３が、メインメモリ３０７に格納されたコンピュータプログラムに従って実行する。ステップＳ４０１〜ステップＳ４０５での処理はＳＷ１保持状態にて行われる処理であり、連写準備動作に相当する。また、ステップＳ４０６以降の処理は、連写準備動作の完了後のレリーズボタンの全押し操作に応じたＳＷ２保持状態にて行われる処理であり、連写動作に相当する。この連写動作中にサブ画像における被写体探索を含む被写体追跡処理が行われる。
【００３６】
ユーザによるレリーズボタンの半押し操作に応じて操作検出部３０８からＳＷ１信号がシステム制御部３０３に入力されると、システム制御部３０３は処理を開始する。
【００３７】
ステップＳ４０１では、システム制御部３０３は、操作検出部３０８でのユーザによる選択操作またはコンピュータプログラムによる選択処理によって図３に示した複数の焦点検出領域の中から１つ（又は２以上）の焦点検出領域を選択する。そして、ＡＦセンサ２０５から該選択された焦点検出領域に対応して出力された像信号に基づいて合焦位置演算を行う。
【００３８】
次にステップＳ４０２では、システム制御部３０３は、ＡＥセンサ２０８からの出力信号を用いてサブ画像を生成する。そして、サブ画像のうちステップＳ４０１で選択された焦点検出領域を中心とする所定の領域内の画像を抽出するとともに、該抽出画像およびサブ画像内での画像抽出領域の中心座標をメインメモリ３０７に保存する。以下の説明において、メインメモリ３０７に保存された抽出画像をテンプレート画像といい、画像抽出領域の中心座標を直前被写体位置という。なお、ここでは、被写体輝度が十分に高く、この時点においてサブ撮像素子での画素加算は行われないものとする。
【００３９】
次にステップＳ４０３では、システム制御部３０３は、ステップＳ４０２で生成したサブ画像を用いて露出演算を行い、その結果をシステム制御部３０３に出力する。
【００４０】
次にステップＳ４０４では、システム制御部３０３は、ＡＥセンサ２０８での画素加算状態（画素加算を行うか否か）をメインメモリ３０７に保存する。前述したようにこの時点では画素加算は行われていないので、画素加算が行われていないこと（画素非加算であること）をメインメモリ３０７に保存する。
【００４１】
次にステップＳ４０５では、システム制御部３０３は、ステップＳ４０１での合焦位置演算の結果およびステップＳ４０３での露出演算の結果に基づいて、フォーカス駆動信号および絞り駆動信号をそれぞれレンズ駆動部３１４および絞り制御部３１３に送信する。これにより、撮影光学系の合焦状態が得られるとともに、絞り２１４の開口径が調節される。
【００４２】
次にステップＳ４０６では、システム制御部３０３は、ユーザがレリーズボタンの全押し操作を行うか半押し操作を解除するまで待機する。そして、操作検出部３０８からＳＷ２信号またはＳＷ１解除信号が入力されると、ステップＳ４０７に進む。
【００４３】
ステップＳ４０７では、システム制御部３０３は、ステップＳ４０６で入力された信号がＳＷ１解除信号かＳＷ２信号かを判断する。ＳＷ１解除信号であれば連写処理を終了し、ＳＷ２信号であればステップＳ４０８に進んで連写動作を開始する。
【００４４】
ステップＳ４０８では、システム制御部３０３は、ミラー制御部３０９にミラー駆動信号を出力して、ミラー２０３，２０４をアップ状態に向けて動作させる。
【００４５】
続いてステップＳ４０９では、システム制御部３０３は、シャッタ制御部３１０にシャッタ駆動信号を出力してシャッタ２１０を開閉させ、メイン撮像素子２１１を露光する。そして、システム制御部３０３は、メイン撮像素子２１１からの出力信号を用いてメイン画像を生成し、前述したモニタ２１２への表示と画像記録部３１１での記録媒体への記録とを行う。
【００４６】
次にステップＳ４１０では、システム制御部３０３は、ミラー制御部３０９にミラー駆動信号を出力し、ミラー２０３，２０４をミラーダウン状態に向けて動作させる。
【００４７】
次に、ステップＳ４１１では、システム制御部３０３は、ＳＷ２保持状態が解除された（ＳＷ２解除信号を受け取った）か否かを判断する。ＳＷ２解除信号を受け取っていれば連写処理を終了する。ＳＷ２解除信号を受け取っていなければステップＳ４１２に進む。
【００４８】
ステップＳ４１２では、システム制御部３０３は、メインメモリ３０７に保存されている前回のフローにおけるＡＥセンサ２０８の画素加算状態を読み出し、それが画素非加算か否かを判断する。画素非加算であればステップＳ４１３に進み、画素加算であればステップＳ４１５に進む。
【００４９】
ステップＳ４１３では、システム制御部３０３は、現在の被写体輝度（測光の結果）に応じて、今回のフローにおいてＡＥセンサ２０８からの信号読み出しを画素加算とするか否か、つまりは画素非加算から画素加算に切り換えるか否かを判断する。画素非加算から画素加算に切り換えるときはステップＳ４１４に進み、そうでなければ（画素非加算のままであれば）ステップＳ４１７に進む。ステップＳ４１７では、前回のフローから実行されている被写体追跡処理を続行する。
【００５０】
ステップＳ４１４では、システム制御部３０３は、ＡＥセンサ２０８からの信号読み出しが画素加算による読み出しとなったことで、サブ画像での被写体探索を精度良く行えないものとして被写体探索および被写体追跡処理を中止（制限）する。そして、ステップＳ４１８に進む。
【００５１】
一方、ステップＳ４１５では、システム制御部３０３は、現在の被写体輝度（測光の結果）に応じて、今回のフローにおいてＡＥセンサ２０８からの信号読み出しを画素非加算とするか否か、つまりは画素加算から画素非加算に切り換えるか否かを判断する。画素加算から画素非加算に切り換えるときはステップＳ４１６に進み、そうでなければ（画素加算のままであれば）ステップＳ４１８に進む。
【００５２】
ステップＳ４１６では、システム制御部３０３は、ＡＥセンサ２０８からの信号読み出しが画素非加算となり、サブ画像での被写体探索を精度良く行えるものとして、該被写体探索を開始する。具体的には、システム制御部３０３は、ＡＥセンサ２０８からの出力信号を用いてサブ画像を生成するとともに、メインメモリ３０７からテンプレート画像を読み出す。そして、これら２つの画像の相関（マッチング）を取り、サブ画像中におけるテンプレート画像に含まれる特定被写体と同じ被写体の位置を検出する。
【００５３】
被写体探索のためのマッチングを行うに際して、まずシステム制御部３０３は、メインメモリ３０７から直前被写体位置を読み出す。そして、図５に示すように、第１段階としてサブ画像中にてマッチングを行う範囲を、直前被写体位置を中心とした狭い第１の被写体探索範囲（上下方向に焦点検出領域３つおよび左右方向に焦点検出領域５つの範囲）に限定する。
【００５４】
なお、第１の被写体探索範囲にて特定被写体を検出できない場合には、第２段階としてサブ画像中にてマッチングを行う範囲をサブ画像のほぼ全域に相当する広い第２の被写体探索範囲に限定する。
【００５５】
さらに、システム制御部３０３は、サブ画像およびテンプレート画像の解像度をもとの解像度の１／２に変換した上でマッチングを行う。マッチングを第１の被写体探索範囲で行ったり１／２解像度の画像を用いて行ったりすることにより、マッチングを高速で行うことができ、この後のフォーカスレンズ駆動を含めた被写体追跡処理に要する時間を短縮することができる。こうして被写体探索を開始した後、システム制御部３０３は、ステップＳ４１７に進み、被写体追跡処理を開始する。以下の説明において、ステップＳ４１６にてＡＥセンサ２０８の出力信号から生成した１／２解像度のサブ画像を第１のサブ画像という。
【００５６】
また、システム制御部３０３は、サブ画像中にて検出した位置を中心とする所定領域の画像を新たなテンプレート画像として抽出し、該新たなテンプレート画像とその画像抽出領域の中心座標とがメインメモリ３０７に保存される。保存された新たなテンプレート画像と画像抽出領域の中心座標は、次回の被写体探索に用いられる。この後、システム制御部３０３は、ステップＳ４１８に進む。
【００５７】
ステップＳ４１８では、システム制御部３０３は、今回のフローでのＡＥセンサ２０８の画素加算状態をメインメモリ３０７に保存する。
【００５８】
次にステップＳ４１９では、システム制御部３０３は、再びＡＥセンサ２０８の出力信号を用いて第２のサブ画像を生成し、ステップＳ４１６で生成した第１のサブ画像との足し合わせを行って新たなサブ画像（以下、合成サブ画像という）を生成する。そして、システム制御部３０３は、合成サブ画像を用いて露出演算を行い、その結果を保存する。このように、露出演算を合成サブ画像を用いて行うことにより、第１のサブ画像を用いて行う場合に比べて、ノイズを低下させたり画素値を増加させたりすることができ、安定した露出演算を行うことができる。
【００５９】
次にステップＳ４２０では、システム制御部３０３は、被写体追跡処理中である場合はサブ画像中で検出された特定被写体の位置に対応する焦点検出領域にて焦点検出および合焦位置演算を行う。また、被写体追跡処理中でない場合はステップＳ４０１にて選択された焦点検出領域にて焦点検出および合焦位置演算を行う。
【００６０】
続いてステップＳ４２１では、システム制御部３０３は、ステップＳ４２０での合焦位置演算の結果およびステップＳ４１９での露出演算の結果に基づいて、フォーカス駆動信号および絞り駆動信号をそれぞれレンズ駆動部３１４および絞り制御部３１３に送信する。これにより、撮影光学系の合焦状態が得られるとともに、絞り２１４の開口径が調節される。この後は、システム制御部３０３は、ステップＳ４０８に戻る。
【００６１】
以上説明したように、本実施例によれば、サブ撮像素子からの信号読み出しにおいて画素加算を行うことにより、ダイナミックレンジを拡大した良好な測光を行うことができる。さらに、サブ撮像素子からの信号読み出しにおいて画素加算を行わず、十分な解像度を有するサブ画像を生成することで、該サブ画像における精度の高い被写体探索を行うことができ、良好な被写体追従処理を行うことができる。
【００６２】
しかも、被写体探索（および被写体追従処理）を行っているときに画素加算を行うとの選択がなされること（画素加算への切り換え）に応じて自動的に被写体探索を中止（中断）し、画素非加算の状態に戻ることで自動的に被写体探索が再開される。このため、上述した良好な測光と精度の高い被写体探索（良好な被写体追従処理）の自動切り換えを、ユーザに切り換え操作等の負担をかけることなく、実行することができる。
【００６３】
なお、上記実施例では、テンプレートマッチングによるサブ画像での被写体探索を行う際のテンプレート画像として、最初に保存した１つの画像のみを用いる場合について説明した。しかし、連写中に新たに生成された画像から特定被写体を含む領域を切り出して新たなテンプレート画像としてもよい。
【００６４】
また、被写体探索を、上記実施例で説明したテンプレートマッチングによって行うだけでなく、色情報を用いた被写体探索や、顔検出による結果を用いた被写体探索を行ってもよい。さらに、オプティカルフローを利用した動体解析やエッジ検出によるシーン認識技術を用いて被写体探索を行ってもよい。
【００６５】
また、上記実施例では、画素加算を行わないときは被写体探索を行い、画素加算を行うときは被写体探索を中止（中断または禁止）する場合について説明した。しかし、画素加算を行うときの被写体探索に対して、中止を含めた何らかの制限を加えればよい。制限には、中止だけでなく、特定の条件の下でのみ被写体探索を許可するというように中止以外の対処も含まれる。例えば、画素加算して生成されたサブ画素中の特定被写体の大きさが、該特定被写体を良好な精度で検出可能な大きさである場合に限り被写体探索を許可してもよい。また、テンプレート画像を画素加算の度合いに応じて縮小して使用することで被写体探索を許可するようにしてもよい。また、被写体探索を特定被写体の色を検出する方法（色追跡）で行うことで被写体探索を許可してもよい。この場合に、テンプレート画像を特定被写体の色で塗りつぶす処理を行ってもよい。
【００６６】
さらに、画素加算を行うときに被写体探索を中止等、制限するのではなく、画素加算を行わない場合と同様に被写体探索を許可するが、その結果の使用を制限する（使用を禁止したり、信頼度が低いとして暫定的な使用のみを許可したりする）ようにしてもよい。この場合のシステム制御部３０３による処理（制御方法）は、基本的に図４のフローチャートで示した処理と同様に行われる。ただし、図４中のステップＳ４１４を、「被写体探索および被写体追跡処理を中止（制限）する」から、「被写体探索および被写体追跡処理の結果の使用を制限する」に変更する。
【００６７】
そして、この場合も、被写体探索の結果の使用が許可されているときに画素加算を行うとの選択をすることに応じて被写体探索の結果の使用を制限し、該画素加算を行わない状態に戻ることで該結果の使用を再許可するようにすることができる。
【００６８】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００６９】
良好な測光と高精度の被写体探索とを行える撮像装置を提供できる。
【符号の説明】
【００７０】
２０１ カメラ
２０２ 交換レンズ
２０８ ＡＥセンサ（サブ撮像素子）
２１１ メイン撮像素子
３０３ システム制御部
【特許請求の範囲】
【請求項１】
撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、
前記第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、
前記第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有し、
前記検出系は、前記測光において前記第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときは前記被写体探索を行い、前記画素加算を行うときは前記被写体探索を制限することを特徴とする撮像装置。
【請求項２】
前記検出系は、前記被写体探索を行っているときに前記画素加算を行うとの選択をすることに応じて該被写体探索を制限し、該画素加算を行わない状態に戻ることで前記被写体探索を再開することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、
前記第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、
前記第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有し、
前記検出系は、前記測光において前記第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときの前記被写体探索の結果の使用を許可し、前記画素加算を行ったときの前記被写体探索の結果の使用を制限することを特徴とする撮像装置。
【請求項４】
前記検出系は、前記被写体探索の結果の使用が許可されているときに前記画素加算を行うとの選択をすることに応じて該結果の使用を制限し、該画素加算を行わない状態に戻ることで該結果の使用を再許可することを特徴とする請求項３に記載の撮像装置。
【請求項５】
撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、前記第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、前記第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する撮像装置の制御方法であって、
前記測光において前記第２の撮像素子からの出力の画素加算を行うか否かを選択するステップと、
前記画素加算を行わないときは前記被写体探索を行い、前記画素加算を行うときは前記被写体探索を制限するステップとを有することを特徴とする撮像装置の制御方法。
【請求項６】
撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、前記第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、前記第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する撮像装置の制御方法であって、
前記測光において前記第２の撮像素子からの出力の画素加算を行うか否かを選択するステップと、
前記画素加算を行わないときの前記被写体探索の結果の使用を許可し、前記画素加算を行ったときの前記被写体探索の結果の使用を制限するステップとを有することを特徴とする撮像装置の制御方法。
【請求項１】
撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、
前記第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、
前記第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有し、
前記検出系は、前記測光において前記第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときは前記被写体探索を行い、前記画素加算を行うときは前記被写体探索を制限することを特徴とする撮像装置。
【請求項２】
前記検出系は、前記被写体探索を行っているときに前記画素加算を行うとの選択をすることに応じて該被写体探索を制限し、該画素加算を行わない状態に戻ることで前記被写体探索を再開することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、
前記第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、
前記第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有し、
前記検出系は、前記測光において前記第２の撮像素子からの出力の画素加算を行うか否かの選択が可能であり、該画素加算を行わないときの前記被写体探索の結果の使用を許可し、前記画素加算を行ったときの前記被写体探索の結果の使用を制限することを特徴とする撮像装置。
【請求項４】
前記検出系は、前記被写体探索の結果の使用が許可されているときに前記画素加算を行うとの選択をすることに応じて該結果の使用を制限し、該画素加算を行わない状態に戻ることで該結果の使用を再許可することを特徴とする請求項３に記載の撮像装置。
【請求項５】
撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、前記第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、前記第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する撮像装置の制御方法であって、
前記測光において前記第２の撮像素子からの出力の画素加算を行うか否かを選択するステップと、
前記画素加算を行わないときは前記被写体探索を行い、前記画素加算を行うときは前記被写体探索を制限するステップとを有することを特徴とする撮像装置の制御方法。
【請求項６】
撮影光学系からの光により形成された光学像をそれぞれ光電変換する第１の撮像素子および第２の撮像素子と、前記第１の撮像素子からの出力を用いて表示および記録用の第１の画像を生成する撮像系と、前記第２の撮像素子からの出力を用いて第２の画像を生成し、該第２の画像を用いて測光および被写体探索を行う検出系とを有する撮像装置の制御方法であって、
前記測光において前記第２の撮像素子からの出力の画素加算を行うか否かを選択するステップと、
前記画素加算を行わないときの前記被写体探索の結果の使用を許可し、前記画素加算を行ったときの前記被写体探索の結果の使用を制限するステップとを有することを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２５３４６２（Ｐ２０１２−２５３４６２Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２２７８６（Ｐ２０１１−１２２７８６）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]