撮像装置
【課題】焦点検出の速度を高めることができる撮像装置を提供する。
【解決手段】デジタルカメラ１は、第１撮像素子１１０と、第２撮像素子１２０と、焦点検出部と、を備えている。第１撮像素子１１０は光を電気信号に変換する第１光電変換部１１３を有している。第２撮像素子１２０は、第１光電変換部１１３から出射する光が入射可能に配置された素子であって、第１光電変換部１１３から出射する光を電気信号に変換する第２光電変換部１２３を有している。焦点検出部は、第１撮像素子１１０で得られる第１画像データおよび第２撮像素子１２０で得られる第２画像データに基づいて焦点検出を行う。
【解決手段】デジタルカメラ１は、第１撮像素子１１０と、第２撮像素子１２０と、焦点検出部と、を備えている。第１撮像素子１１０は光を電気信号に変換する第１光電変換部１１３を有している。第２撮像素子１２０は、第１光電変換部１１３から出射する光が入射可能に配置された素子であって、第１光電変換部１１３から出射する光を電気信号に変換する第２光電変換部１２３を有している。焦点検出部は、第１撮像素子１１０で得られる第１画像データおよび第２撮像素子１２０で得られる第２画像データに基づいて焦点検出を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
ここに開示される技術は、焦点検出機能を有する撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いて、光学像を電気信号に変換し、電気信号をデジタル化して記録するデジタルカメラが普及している。
デジタル一眼レフカメラとして、位相差検出方式のオートフォーカス機能（ＡＦ機能）を採用したカメラが知られている。位相差検出方式のオートフォーカス機能によれば、フォーカスレンズを動かすことなくデフォーカス方向およびデフォーカス量を検出できるため、フォーカスレンズをダイレクトに合焦位置に移動でき、オートフォーカスにかかる時間を短縮することができる（例えば、特許文献１）。従来のデジタル一眼レフカメラでは、位相差検出ユニットに被写体の光学像を導くために、可動ミラーが設けられている。この可動ミラーは、レンズ鏡筒から撮像素子への光路上に挿入および退避可能に設けられている。
【０００３】
一方で、デジタルカメラの小型化を実現するために、いわゆるコンパクトデジタルカメラのＬＣＤ（Liquid Crystal Display）やＥＶＦ（Electronic View Finder）によるファインダ機能および撮像素子を用いたコントラスト検出方式のオートフォーカス機能（コントラストＡＦともいう）が採用されている（例えば、特許文献２）。このコントラストＡＦは、撮像面におけるピントを直接検出するため、一般的に、位相差検出方式のオートフォーカスに比して精度が高い利点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６３５４５号公報
【特許文献２】特開２００７−１３５１４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２に記載のコントラストＡＦでは、撮像素子で生成される画像データから評価値を算出し、評価値が最大となるフォーカスレンズの位置を合焦位置としている。
しかし、１枚の撮像素子から得られる評価値のみを基準としているので、評価値の増減を判定するためにフォーカスレンズを比較的長い時間、駆動する必要がある。そのため、コントラストＡＦに要する時間を比較的長く確保する必要があり、焦点検出に時間を要する。
【課題を解決するための手段】
【０００６】
ここに開示される撮像装置は、第１撮像素子と、第２撮像素子と、焦点検出部と、を備えている。第１撮像素子は光を電気信号に変換する第１光電変換部を有している。第２撮像素子は、第１光電変換部から出射する光が入射するように配置された素子であって、第１光電変換部から出射する光を電気信号に変換する第２光電変換部を有している。焦点検出部は、第１撮像素子で得られる第１画像データおよび第２撮像素子で得られる第２画像データに基づいて焦点検出を行う。
ここで、「焦点検出」には、デフォーカス判定、フォーカスレンズの駆動方向の決定、あるいは、合焦状態に対応するフォーカスレンズの位置の特定などの動作が含まれる。
この撮像装置では、第１撮像素子に入射する光が第１光電変換部で電気信号に変換される。さらに、第１光電変換部から出射する光が第２光電変換部で電気信号に変換される。この結果、第１光電変換部および第２光電変換部により、第１画像データおよび第２画像データを取得することができる。第１画像データおよび第２画像データに基づいてコントラストＡＦ用の２つの評価値を算出することで、１つのＡＦ評価値の増減を監視する場合に比べて、ＡＦ評価値の信頼性を高めることができ、焦点検出に関する様々な判定を２つのＡＦ評価値を用いて短時間で行うことができる。
【発明の効果】
【０００７】
したがって、この撮像装置であれば、コントラストＡＦでありながら焦点検出の速度を速めることができる。
【図面の簡単な説明】
【０００８】
【図１】デジタルカメラの概略構成図
【図２】デジタルカメラの概略ブロック図
【図３】撮像素子ユニットの概略構成図
【図４】（Ａ）第１撮像素子の概略断面図、（Ｂ）第２撮像素子の概略断面図
【図５】第１および第２撮像素子の概略断面図
【図６】（Ａ）図４のVIA−VIA断面図、（Ｂ）図４のVIB−VIB断面図
【図７】（Ａ）第１後ピン状態、（Ｂ）合焦状態、（Ｃ）前ピン状態、（Ｄ）第２後ピン状態
【図８】（Ａ）前ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させない場合）、（Ｂ）前ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させる場合）
【図９】（Ａ）第１後ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させない場合）、（Ｂ）第１後ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させる場合）
【図１０】（Ａ）第２後ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させない場合）、（Ｂ）第２後ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させる場合）
【図１１】ＡＦのフローチャート
【図１２】ＡＦのフローチャート
【図１３】ＡＦのフローチャート
【図１４】コンティニュアスＡＦのタイムチャート
【図１５】コンティニュアスＡＦのフローチャート
【図１６】タイムチャート（参考例）
【図１７】（Ａ）第１撮像素子の概略断面図、（Ｂ）第２撮像素子の概略断面図（第２実施形態）
【図１８】（Ａ）図１６のXVIIIA−XVIIIA断面図、（Ｂ）図１６のXVIIIB−XVIIIB断面図
【図１９】撮像素子ユニットの概略斜視図（第３実施形態）
【図２０】撮像素子ユニットの概略断面図（第３実施形態）
【図２１】タイムチャート（第３実施形態）
【図２２】フローチャート（第３実施形態）
【図２３】フローチャート（第３実施形態）
【図２４】撮像素子ユニットの概略断面図（他の実施形態）
【発明を実施するための形態】
【０００９】
〔第１実施形態〕
＜デジタルカメラの構成＞
図１を用いて第１実施形態に係るデジタルカメラ１について説明する。
デジタルカメラ１は、レンズ交換式のデジタルカメラであり、交換レンズユニット２と、カメラ本体３と、を有している。
（１）交換レンズユニット
図１に示すように、交換レンズユニット２は、レンズマウント９５と、光学系Ｏと、絞り調節ユニット７３と、レンズコントローラ４０と、ズームリングユニット８３と、フォーカスリングユニット８８と、フォーカス調節ユニット７２と、を有している。
レンズマウント９５は、カメラ本体３のボディーマウント４に装着可能に設けられており、レンズ側接点９１を有している。光学系Ｏは、例えばズームレンズ系であり、フォーカスレンズＬを有している。
【００１０】
絞り調節ユニット７３は、絞りユニット６２と、絞り駆動制御部４２と、を有している。絞りユニット６２は、絞り羽根を有する絞り機構（図示せず）と、絞り機構を駆動する絞り駆動モータ（図示せず）と、を含んでおり、光学系Ｏの絞り値を変更可能に設けられている。絞り駆動制御部４２はレンズコントローラ４０から送られる指令に基づいて絞りユニット６２を制御する。
レンズコントローラ４０は、ＣＰＵ（図示せず）、ＲＯＭ４０ｂおよびＲＡＭ４０ａを有しており、ＲＯＭ４０ｂに格納されているプログラムがＣＰＵに読み込まれることで、様々
な機能を実現し得る。例えば、レンズコントローラ４０は、位置検出センサ６７の検出信号によりフォーカスレンズＬの絶対位置を把握することができる。ＲＯＭ４０ｂは、不揮発性メモリであり、電力供給が停止している状態でも記憶している情報を保持できる。ＲＯＭ４０ｂには、例えば交換レンズユニット２に関する情報（レンズ情報）が格納されている。レンズコントローラ４０はレンズ側接点９１を介してボディーコントローラ１０と情報の送受信が可能である。
【００１１】
ズームリングユニット８３は、ズームリング８４と、リニアポジションセンサ８７と、を有している。リニアポジションセンサ８７は、ユーザーによるズームリング８４の回転位置および回転方向を検出し、検出結果を所定の周期でレンズコントローラ４０に送信する。レンズコントローラ４０は、リニアポジションセンサ８７の検出結果に基づいて光学系Ｏの焦点距離を算出し、算出した焦点距離情報をボディーコントローラ１０に送信する。このように、ボディーコントローラ１０は光学系Ｏの焦点距離を把握することができる。
フォーカスリングユニット８８は、フォーカスリング８９と、フォーカスリング角度検出部９０と、を有している。フォーカスリング角度検出部９０は、フォーカスリング８９の回転角度および回転方向を検出し、検出結果をレンズコントローラ４０に送信する。マニュアルフォーカスモードでは、レンズコントローラ４０はフォーカスリング角度検出部９０の検出結果をフォーカス駆動制御部４１に送信し、フォーカス駆動制御部４１はこの検出結果に基づいてフォーカスモータ６４（後述）を制御する。
【００１２】
フォーカス調節ユニット７２は、フォーカスリング８９の操作に応じて、あるいは、デフォーカス量に応じて、フォーカスレンズＬを駆動する。フォーカス調節ユニット７２は、フォーカスモータ６４と、位置検出センサ６７と、フォーカス駆動制御部４１と、を有している。フォーカスモータ６４はフォーカスレンズＬを光軸ＡＺに沿った方向に駆動する。以下、フォーカスレンズＬが駆動される方向をＤ１方向（被写体側）およびＤ２方向（撮像素子ユニット１００側）とする。位置検出センサ６７はフォーカスレンズＬの位置を検出する。フォーカス駆動制御部４１はレンズコントローラ４０からの指令に基づいてフォーカスモータ６４を制御する。
（２）カメラ本体
図１および図２に示すように、カメラ本体３は、ボディーマウント４と、画像取得部３５と、表示ユニット３６と、ファインダユニット３８と、操作ユニット３９と、ボディーコントローラ１０と、画像記録部１８と、画像記録制御部１９と、表示制御部２１と、を備えている。
【００１３】
図１に示すように、ボディーマウント４は、交換レンズユニット２のレンズマウント９５が装着される部分であり、レンズ側接点９１と電気的に接続可能なボディー側接点９２を有している。ボディーマウント４およびレンズマウント９５を介して、カメラ本体３は交換レンズユニット２とデータの送受信が可能である。例えば、ボディーコントローラ１０は、ボディーマウント４およびレンズマウント９５を介して露光同期信号などの制御信号をレンズコントローラ４０に送信する。また、レンズコントローラ４０は、ボディーマウント４およびレンズマウント９５を介して交換レンズユニット２に関するレンズ情報をボディーコントローラ１０に送信する。
図１に示すように、操作ユニット３９は、例えば、電源スイッチ２５と、レリーズボタン３０と、撮影モード切り換えダイヤル２６と、を有している。電源スイッチ２５はデジタルカメラ１あるいはカメラ本体３の電源の入切を行うために設けられている。レリーズボタン３０は、半押し操作と全押し操作が可能な２段式のスイッチであり、撮影の際にユーザーによって操作される。ボディーコントローラ１０はレリーズボタン３０の半押しおよび全押し操作を検出することができる。ユーザーがレリーズボタン３０を半押し操作すると、例えば、測光処理、測距処理および焦点検出処理を開始する。ユーザーがレリーズボタン３０を全押し操作すると、画像取得部３５で被写体の画像データが取得される。
【００１４】
撮影モード切り換えダイヤル２６は、いわゆるライブビューモードで撮影するか否かを切り換えるために設けられている。撮影モード切り換えダイヤル２６を操作することで、ファインダ接眼窓９をのぞいて撮影するのか、あるいは、液晶モニタ２０を見ながら撮影するのか、を選択することができる。
図１および図２に示すように、画像取得部３５は、撮像素子ユニット１００と、シャッターユニット３３と、シャッター制御部３１と、第１画像処理部１１ａと、第２画像処理部１１ｂと、第１タイミングジェネレータ１２ａと、第２タイミングジェネレータ１２ｂと、を有している。
図２に示すように、撮像素子ユニット１００は、第１撮像素子１１０と、第２撮像素子１２０と、を有している。第１撮像素子１１０および第２撮像素子１２０は、例えばＣＭＯＳイメージセンサであり、光学系Ｏにより形成される光学像を電気信号に変換する。なお、第１撮像素子１１０および第２撮像素子１２０はＣＣＤイメージセンサでもよい。撮像素子ユニット１００の詳細については後述する。
【００１５】
図１に示すように、シャッターユニット３３は撮像素子ユニット１００の露光状態を調節する。シャッター制御部３１はボディーコントローラ１０からの指令に基づいてシャッターユニット３３を制御する。シャッターユニット３３およびシャッター制御部３１により露光時間が調節される。
図２に示すように、第１画像処理部１１ａは第１撮像素子１１０から出力される電気信号に所定の画像処理を施す。第２画像処理部１１ｂは第２撮像素子１２０から出力される電気信号に所定の画像処理を施す。以下、第１画像処理部１１ａから出力される１フレームの画像データを第１画像データ、第２画像処理部１１ｂから出力される１フレームの画像データを第２画像データとする。第１画像処理部１１ａおよび第２画像処理部１１ｂの詳細については後述する。第１タイミングジェネレータ１２ａは第１撮像素子１１０を駆動するためのタイミング信号を生成する。第２タイミングジェネレータ１２ｂは第２撮像素子１２０を駆動するためのタイミング信号を生成する。本実施形態では、第１撮像素子１１０および第２撮像素子１２０のフレームレートは３０〔ｆｐｓ〕とする。また、第１撮像素子１１０および第２撮像素子１２０は、同じタイミングで電荷を出力するように同期している。
【００１６】
なお、デジタルカメラ１では、オートフォーカス方式として、撮像素子ユニット１００で生成された画像データを利用するコントラスト検出方式（コントラストＡＦともいう）が採用されている。コントラスト検出方式を用いることにより、高精度なフォーカス調節を実現することができる。
ボディーコントローラ１０は、カメラ本体３の中枢を司る制御装置であり、操作ユニット３９に入力された操作情報に応じて、デジタルカメラ１の各部を制御する。具体的には図２に示すように、ボディーコントローラ１０にはＣＰＵ１０ｃ、ＲＯＭ１０ｂ、ＲＡＭ１０ａが搭載されており、ＲＯＭ１０ｂに格納されたプログラムがＣＰＵに読み込まれることで、ボディーコントローラ１０は様々な機能を実現することができる。例えば、ボディーコントローラ１０は、オートフォーカスのための演算処理機能を有している。
【００１７】
具体的には図２に示すように、ボディーコントローラ１０は、第１評価値算出部５１ａ、第２評価値算出部５１ｂ、第１評価値判定部５２ａ、第２評価値判定部５２ｂ、状態判定部５３、合焦演算部５４および合焦予測部５５を有している。これら各部は、プログラムにより実現される機能ブロックを示している。
第１評価値算出部５１ａは第１撮像素子１１０で得られる第１画像データに基づいて第１評価値ＥＶ１を算出する。第１評価値ＥＶ１はコントラストＡＦで用いられるＡＦ評価値である。ここで、ＡＦ評価値とは、画像データの空間周波数成分のうち高周波成分を積分して得られた数値である。第１画像データは第１バッファメモリ１６ａに記憶されるデータが用いられる。第１評価値算出部５１ａは第１撮像素子１１０のフレームレートと同じ周期で第１評価値ＥＶ１を算出する。算出された第１評価値ＥＶ１は、同じタイミングで検出されたフォーカスレンズＬの位置情報と関連付けられて、ボディーコントローラ１０のＲＡＭ１０ａに一時的に記憶される。
【００１８】
第２評価値算出部５１ｂは第２撮像素子１２０で得られる第２画像データに基づいて第２評価値ＥＶ２を算出する。第１評価値ＥＶ１と同様に、第２評価値ＥＶ２はコントラストＡＦで用いられるＡＦ評価値である。第２画像データは第２バッファメモリ１６ｂに記憶されるデータが用いられる。第２評価値算出部５１ｂは第２撮像素子１２０のフレームレートと同じ周期で第２評価値ＥＶ２を算出する。算出された第２評価値ＥＶ２は、同じタイミングで検出されたフォーカスレンズＬの位置情報と関連付けられて、ボディーコントローラ１０のＲＡＭ１０ａに一時的に記憶される。
第１評価値判定部５２ａは所定の周期で算出される第１評価値ＥＶ１の変動を監視する。具体的には、第１評価値判定部５２ａは、第１評価値ＥＶ１の増減を所定の周期で判定し、第１評価値ＥＶ１の増減を示す第１判定結果を所定の周期で生成する。例えば、第１評価値判定部５２ａは最新の第１評価値ＥＶ１と１つ前の第１評価値ＥＶ１とを比較し、最新の第１評価値ＥＶ１が１つ前の第１評価値ＥＶ１よりも増加しているか減少しているかを判定する。この第１判定結果はＲＡＭ１０ａに一時的に記憶される。
【００１９】
第２評価値判定部５２ｂは所定の周期で算出される第２評価値ＥＶ２の変動を監視する。具体的には、第２評価値判定部５２ｂは、第２評価値ＥＶ２の増減を所定の周期で判定し、第２評価値ＥＶ２の増減を示す第２判定結果を所定の周期で生成する。例えば、第２評価値判定部５２ｂは最新の第２評価値ＥＶ２と１つ前の第２評価値ＥＶ２とを比較し、最新の第２評価値ＥＶ２が１つ前の第２評価値ＥＶ２よりも増加しているか減少しているかを判定する。この第２判定結果はＲＡＭ１０ａに一時的に記憶される。
状態判定部５３は、第１判定結果および第２判定結果に基づいて、光学系Ｏの光束の結像位置、第１光電変換部１１３および第２光電変換部１２３の位置関係を判定する。より詳細には、状態判定部５３は、第１判定結果および第２判定結果の組み合わせに基づいて、結像位置、第１光電変換部１１３および第２光電変換部１２３の位置関係を判定する。つまり、状態判定部５３は、合焦させるためにフォーカスレンズＬをどちらに駆動すればよいかを判定することができる。状態判定部５３での判定方法については後述する。
【００２０】
合焦演算部５４は第１評価値ＥＶ１に基づいて合焦状態に対応するフォーカスレンズＬの位置を算出する。具体的には、合焦演算部５４は、第１判定結果および第２判定結果に基づいて第１評価値ＥＶ１および第２評価値ＥＶ２のピークを判定する。さらに、合焦演算部５４は、ピークに対応する第１評価値ＥＶ１を選択し、選択された第１評価値ＥＶ１と関連付けられている位置情報を選択する。選択された位置情報が図７（Ｂ）に示す合焦状態でのフォーカスレンズＬの位置を表している。
合焦予測部５５は、第２評価値ＥＶ２のピークが第１評価値ＥＶ１のピークよりも先に検出された場合に、ピークに対応する第２評価値ＥＶ２を選択し、選択された第２評価値ＥＶ２を基準に合焦状態に対応するフォーカスレンズＬの位置を予測する。合焦予測部５５の予測演算については後述する。
【００２１】
以上のように、ボディーコントローラ１０は焦点検出に関する様々な機能を有している。第１評価値算出部５１ａ、第２評価値算出部５１ｂ、第１評価値判定部５２ａ、第２評価値判定部５２ｂ、状態判定部５３、合焦演算部５４および合焦予測部５５は、第１撮像素子１１０で得られる第１画像データおよび第２撮像素子１２０で得られる第２画像データに基づいて焦点検出を行う焦点検出部を構成している。
図１および図２に示すように、表示ユニット３６は、液晶モニタ２０と、表示制御部２１と、を有している。液晶モニタ２０は、表示制御部２１からの指令に基づいて、第１画像記録部１８ａあるいは第１バッファメモリ１６ａに記録された画像信号を可視画像として表示する。つまり、液晶モニタ２０には、第１撮像素子１１０で生成された電気信号に基づく画像が表示される。液晶モニタ２０での表示形態としては、画像信号のみを可視画像として表示する表示形態や、画像信号と撮影時の情報とを可視画像として表示する表示形態が考えられる。
【００２２】
図１に示すように、ファインダユニット３８は、第１撮像素子１１０により取得された画像を表示する液晶ファインダ８と、背面に設けられたファインダ接眼窓９と、を有している。ユーザーは、ファインダ接眼窓９を覗くことで液晶ファインダ８に表示された画像を視認することができる。
図２に示すように、画像記録部１８は、画像記録制御部１９の命令に基づいて、第１画像データと記録すべき所定の情報とを関連付けて静止画ファイルまたは動画ファイルを作成する。そして、画像記録部１８は、画像記録制御部１９の命令に基づいて、静止画ファイルまたは動画ファイルを記録する。画像記録部１８は、例えば内部メモリやメモリカードなどの記録媒体である。なお、画像信号とともに記録すべき所定の情報には、例えば、画像を撮影した際の日時、焦点距離情報、シャッタースピード情報、絞り値情報および撮影モード情報が含まれる。
【００２３】
（３）撮像素子ユニット
ここで、撮像素子ユニット１００の構造について詳細に説明する。図３に示すように、撮像素子ユニット１００は、第１撮像素子１１０と、第２撮像素子１２０と、第１パッケージ１１１と、第２パッケージ１２１と、を有している。
図４（Ａ）および図５に示すように、第１撮像素子１１０は、裏面照射型撮像素子であり、光学系Ｏから出射した光が透過するように配置されている。具体的には、第１撮像素子１１０は、第１光電変換部１１３と、補強ガラス１１２と、第１回路部１１４と、第１カラーフィルタ１１５と、第１マイクロレンズ１１６と、を有している。
第１光電変換部１１３は、半導体材料で構成されており、入射する光に対して光電変換を行う。第１光電変換部１１３はマトリックス状に配置された複数の第１光電変換素子１１７を有している。第１カラーフィルタ１１５が第１光電変換部１１３の前面側（入射側）に設けられているので、各第１光電変換素子１１７には赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のうち１色の光しか入射しない。第１光電変換部１１３は光を受ける第１撮像面１１３ａを有している。
【００２４】
第１回路部１１４は、第１光電変換素子１１７で生成された電気信号を第１アナログ信号処理部１３ａに出力するための回路であり、複数の第１光電変換素子１１７の境界線１１７ａに沿って格子状に配置されている。第１撮像素子１１０が裏面照射型であるため、第１回路部１１４は第１光電変換部１１３の裏側（出射側）に配置されている。つまり、第１回路部１１４は第１光電変換素子１１７と第２撮像素子１２０との間に配置されている。
第１回路部１１４は、第１電気回路１１４ａと、第１マスク１１４ｂと、を有している。第１電気回路１１４ａは、トランジスタおよび信号線を含んでおり、複数の第１光電変換素子１１７の境界線１１７ａに対応する位置に配置されている。第１マスク１１４ｂは、第１電気回路１１４ａを覆っており、第１電気回路１１４ａと同様に境界線１２７ａに対応する位置に配置されている。
【００２５】
第１カラーフィルタ１１５は、ベイヤー配列の原色フィルタであり、第１光電変換部１１３の入射側に配置されている。第１カラーフィルタ１１５は、複数の赤色フィルタＲと、複数の緑色フィルタＧと、複数の青色フィルタＢと、を有している。赤色フィルタＲは、赤色以外の色の可視光波長域よりも赤色の可視光波長域の方が透過率が高いフィルタである。緑色フィルタＧは、緑色以外の色の可視光波長域よりも緑色の可視光波長域の方が透過率が高いフィルタである。青色フィルタＢは、青色以外の色の可視光波長域よりも青色の可視光波長域の方が透過率が高いフィルタである。
赤色フィルタＲ、緑色フィルタＧおよび青色フィルタＢはマトリックス状に配置されている。具体的には図６（Ａ）に示すように、２行２列に配置された赤色フィルタＲ、２つ緑色フィルタＧおよび青色フィルタＢを１セットとした場合、各セットがマトリックス状に配置されている。１セットのフィルタにおいて、２つの緑色フィルタＧは対角に配置されている。本実施形態では、１つのフィルタが１つの第１光電変換素子１１７に対応する位置に配置されている。なお、第１カラーフィルタ１１５は補色フィルタでもよい。
【００２６】
第１マイクロレンズ１１６は、混色を防止あるいは抑制するためのレンズであり、第１カラーフィルタ１１５の入射側に配置されている。第１カラーフィルタ１１５が第１マイクロレンズ１１６と第１光電変換部１１３との間に配置されている、と言うこともできる。第１マイクロレンズ１１６は各赤色フィルタＲ、各緑色フィルタＧおよび各青色フィルタＢに対応する複数のレンズ部１１６ａを有している。各レンズ部１１６ａは対応するフィルタに光が正しく入射するように集光する。第１マイクロレンズ１１６により第１光電変換部１１３を効率よく照射することができる。
補強ガラス１１２は第１撮像素子１１０の強度を確保するために設けられている。具体的には、補強ガラス１１２は第１マイクロレンズ１１６の入射側に配置されている。補強ガラス１１２には第１マイクロレンズ１１６が樹脂１１８により接着固定されている。
【００２７】
以上のように、第１撮像素子１１０に入射する光は、補強ガラス１１２、樹脂１１８、第１マイクロレンズ１１６、第１カラーフィルタ１１５および第２光電変換部１２３を順に透過し、第１回路部１１４の間を通る。このように、この第１撮像素子１１０では、第１回路部１１４の第１マスク１１４ｂ以外にマスクを設けていないので、第１光電変換部１１３に入射した光の一部が第１光電変換部１１３を透過して第１撮像素子１１０から出射するようになっている。
図４（Ｂ）および図５に示すように、第２撮像素子１２０は、表面照射型撮像素子であって、第１撮像素子１１０から出射した光が入射するように配置されている。具体的には図４（Ｂ）および図５に示すように、第２撮像素子１２０は、第１撮像素子１１０の背面側に配置されており、第２光電変換部１２３と、Ｓｉ基板１２２と、第２回路部１２４と、第２マイクロレンズ１２６と、を有している。第２撮像素子１２０は第１撮像素子１１０とは異なり、カラーフィルタを有していない。
【００２８】
第２光電変換部１２３は、半導体材料で構成されており、入射する光に対して光電変換を行う。具体的には、第２光電変換部１２３はマトリックス状に配置された複数の第２光電変換素子１２７を有している。図４（Ａ）および図４（Ｂ）に示すように、第２撮像素子１２０の第２画素ピッチＲ２は、第１撮像素子１１０の第１画素ピッチＲ１よりも大きく設定されている。図６（Ａ）および図６（Ｂ）に示すように、第２光電変換素子１２７は第１光電変換素子１１７よりも大きく、１つの第２光電変換素子１２７の大きさが４つの第１光電変換素子１１７の大きさに相当する。カラーフィルタが第２光電変換部１２３の入射側に設けられていないので、各第２光電変換素子１２７にはＲ、Ｇ、Ｂの３色の光が入射し得る。第２光電変換部１２３は光を受ける第２撮像面１２３ａを有している。
図６（Ｂ）に示すように、第２回路部１２４は、第２光電変換素子１２７で生成された電気信号を第２アナログ信号処理部１３ｂに出力するための回路であり、複数の第２光電変換素子１２７の境界線１２７ａに沿って格子状に配置されている。第２撮像素子１２０が表面照射型であるため、第２回路部１２４は第２光電変換部１２３の表側（入射側）に配置されている。つまり、第２回路部１２４は第２光電変換素子１２７と第１撮像素子１１０との間に配置されている。
【００２９】
第２回路部１２４は、第２電気回路１２４ａと、第２マスク１２４ｂと、を有している。第２電気回路１２４ａは、トランジスタおよび信号線を含んでおり、複数の第２光電変換素子１２７の境界線１２７ａに対応する位置に配置されている。第２マスク１２４ｂは、第２電気回路１２４ａを覆っており、第２電気回路１２４ａと同様に境界線１２７ａに対応する位置に配置されている。
第２マイクロレンズ１２６は各赤色フィルタＲ、各緑色フィルタＧおよび各青色フィルタＢに対応する複数のレンズ部１２６ａを有している。各レンズ部１２６ａは対応するフィルタに光が正しく入射するように集光する。第２マイクロレンズ１２６により第２光電変換部１２３を効率よく照射することができる。
Ｓｉ基板１２２は、第２撮像素子１２０の強度を確保するために設けられており、第２マイクロレンズ１２６の入射側に配置されている。Ｓｉ基板１２２には第２マイクロレンズ１２６が固定されている。
【００３０】
以上のように、第２撮像素子１２０に入射する光は、第２回路部１２４の間を通って、第２マイクロレンズ１２６、第２カラーフィルタ１２５および第２光電変換部１２３を順に透過する。
第１パッケージ１１１は、第１撮像素子１１０と第２撮像素子１２０との間に配置されている。第１パッケージ１１１には第１撮像素子１１０が固定されている。第１撮像素子１１０は第１パッケージ１１１の前面側に配置されている。第１パッケージ１１１は開口１１１ｂおよび３つのネジ孔１１１ａを有している。開口１１１ｂは第１パッケージ１１１の中央付近に配置されている。第１撮像素子１１０から出射する光は開口１１１ｂを通って第２撮像素子１２０に入射する。第１パッケージ１１１はネジ孔１１１ａを使ってネジ（図示せず）に固定されている。なお、第１パッケージ１１１は接着により固定されていてもよい。
【００３１】
第２パッケージ１２１は、第２撮像素子１２０を支持するための部材であり、第１パッケージ１１１に固定されている。第２パッケージ１２１は第１パッケージ１１１の背面側に配置されており、第２パッケージ１２１には第２撮像素子１２０が固定されている。第１撮像素子１１０と第２撮像素子１２０との間には、所定の隙間が確保されている。
（４）第１画像処理部および第２画像処理部
撮像素子ユニット１００が第１撮像素子１１０および第２撮像素子１２０を有しているので、前述のように、デジタルカメラ１は２つの画像処理部（第１画像処理部１１ａおよび第２画像処理部１１ｂ）を有している。以下、第１画像処理部１１ａおよび第２画像処理部１１ｂの詳細について説明する。
図２に示すように、第１撮像素子１１０から出力された画像信号は、第１アナログ信号処理部１３ａから、第１Ａ／Ｄ変換部１４ａ、第１デジタル信号処理部１５ａ、第１バッファメモリ１６ａおよび第１画像圧縮部１７ａへと、順次送られて処理される。
【００３２】
第１アナログ信号処理部１３ａは、第１撮像素子１１０から出力される画像信号にガンマ処理等のアナログ信号処理を施す。第１Ａ／Ｄ変換部１４ａは、第１アナログ信号処理部１３ａから出力されたアナログ信号をデジタル信号に変換する。第１デジタル信号処理部１５ａは、第１Ａ／Ｄ変換部１４ａによりデジタル信号に変換された画像信号に対してノイズ除去や輪郭強調等のデジタル信号処理を施す。第１バッファメモリ１６ａは、ＲＡＭであり、画像信号を一旦記憶する。第１バッファメモリ１６ａに記憶された画像信号は、画像圧縮部１７から画像記録部１８へと、順次送られて処理される。第１バッファメモリ１６ａに記憶された画像信号は、画像記録制御部１９の命令により読み出されて、画像圧縮部１７に送信される。画像圧縮部１７に送信された画像信号のデータは、画像記録制御部１９の命令に従って画像信号に圧縮処理される。画像信号は、この圧縮処理により、元のデータより小さなデータサイズになる。画像信号の圧縮方法として、例えば１フレームの画像信号毎に圧縮するＪＰＥＧ（Joint Photographic Experts Group）方式が用いられる。その後、圧縮された画像信号は、画像記録制御部１９により画像記録部１８に記録される。また、ユーザーによってＲＡＷデータによる記録が選択された場合は、画像圧縮部１７をスルーして画像記録部１８にＲＡＷデータを記録することも可能である。
【００３３】
一方、第２撮像素子１２０から出力された画像信号は、第２アナログ信号処理部１３ｂから、第２Ａ／Ｄ変換部１４ｂ、第２デジタル信号処理部１５ｂおよび第２バッファメモリ１６ｂへと、順次送られて処理される。
第２アナログ信号処理部１３ｂは、第２撮像素子１２０から出力される画像信号にガンマ処理等のアナログ信号処理を施す。第２Ａ／Ｄ変換部１４ｂは、第２アナログ信号処理部１３ｂから出力されたアナログ信号をデジタル信号に変換する。第２デジタル信号処理部１５ｂは、第２Ａ／Ｄ変換部１４ｂによりデジタル信号に変換された画像信号に対してノイズ除去や輪郭強調等のデジタル信号処理を施す。第２バッファメモリ１６ｂは、ＲＡＭであり、画像信号を一旦記憶する。第２バッファメモリ１６ｂに記憶された画像信号はボディーコントローラ１０により適宜、読み出し可能となっている。
【００３４】
＜デフォーカス判定＞
（１）参考例
２枚の撮像素子を用いたデフォーカス判定方法（焦点検出方法）について説明する前に、１枚の撮像素子を用いたコントラストＡＦについて簡単に説明しておく。
コントラストＡＦでは、ＡＦ評価値に基づいてピント位置を判断する。ＡＦ評価値とは、画像データの空間周波数成分のうち高周波成分を積分して得られた数値である。ＡＦ評価値が大きいほどピントが合っている（画像の鮮鋭度が高い）ことを意味している。
しかし、ＡＦ評価値自体がピント位置を示しているわけではなく、ＡＦ評価値はピント位置を判断するための相対的な指標にしかすぎない。
そこで、コントラストＡＦでは、フォーカスレンズを動かしてＡＦ評価値が最大となるフォーカスレンズの位置を検出する。ＡＦ評価値が最大となるフォーカスレンズの位置を検出するために、いわゆる山登り方式が採用されている。この方式では、フォーカスレンズを一方向に動かしながら所定の周期（例えば、フレームレート）で画像データを取得し、取得された画像データからＡＦ評価値を算出する。ＡＦ評価値のピーク位置を確認するために、ＡＦ評価値が最大となる位置からさらにフォーカスレンズを移動させ、ＡＦ評価値が減少したことを確認した上で、ＡＦ評価値が最大となるフォーカスレンズの位置を特定する。
【００３５】
しかし、撮影条件によってはＡＦ評価値の変化量が小さい場合もあるので、最大のＡＦ評価値を決定するために、ＡＦ評価値の監視はＡＦ評価値が最大となってから３〜４フレーム程度は継続する必要がある。また、各種条件に基づいてフォーカスレンズを最初に移動させる方向を決定するが、最初に決定された方向がピントの合う方向と一致しない場合もありえる。間違った方向にフォーカスレンズを駆動した場合、フォーカスレンズを駆動する方向が正しいか否かを判断するのに、やはり３〜４フレーム程度はＡＦ評価値を監視する必要がある。以上のように、参考例のコントラストＡＦでは、ＡＦ評価値のピークを検出するまでに時間がかかってしまう。
（２）本実施形態
そこで、このデジタルカメラ１では、２枚の撮像素子（第１撮像素子１１０および第２撮像素子１２０）を用いてデフォーカス判定の時間を短縮している。以下、デフォーカス判定処理について説明する。
【００３６】
図７（Ａ）〜図７（Ｄ）は、第１撮像素子１１０の第１撮像面１１３ａ、第２撮像素子１２０の第２撮像面１２３ａ、および光学系Ｏにより形成される光束４５をそれぞれ示している。また、下部に示す円は第１撮像面１１３ａおよび第２撮像面１２３ａにおけるボケ像円を示している。ボケ像円が大きいほど、像がぼけていることを示しており、コントラストＡＦの際に算出されるＡＦ評価値（コントラスト値ともいう）は小さくなる。
ここで、画像記録部１８に記録する画像は、第２撮像素子１２０ではなく、第１撮像素子１１０により生成された画像とする。したがって、ピントが合っている合焦状態とは、光束４５の結像位置ＦＰが第１撮像面１１３ａ上に配置されている状態を意味している。また、いわゆる前ピン状態とは、結像位置ＦＰが第１撮像面１１３ａよりも前側（入射側）に配置されている状態を意味しており、いわゆる後ピン状態とは、結像位置ＦＰが第１撮像面１１３ａよりも後側（出射側）に配置されている状態を意味している。
【００３７】
ここでは、第１撮像素子１１０で生成される電気信号に基づく画像データを第１画像データとし、第２撮像素子１２０で生成される電気信号に基づく画像データを第２画像データとする。さらに、第１画像データから算出されるＡＦ評価値を第１評価値ＥＶ１とし、第２画像データから算出されるＡＦ評価値を第２評価値ＥＶ２とする。
図７（Ａ）および図７（Ｄ）は、後ピン状態を示している。図７（Ａ）に示すように、光束４５の結像位置ＦＰが第１撮像面１１３ａと第２撮像面１２３ａとの間にある状態を、以下、第１後ピン状態と称す。図７（Ｄ）に示すように、結像位置ＦＰが第２撮像面１２３ａより後側に配置されている状態を、以下、第２後ピン状態と称す。図７（Ｂ）は合焦状態を示しており、図７（Ｃ）は前ピン状態を示している。
図７（Ａ）〜図７（Ｄ）に示すように、結像位置ＦＰ、第１撮像面１１３ａおよび第２撮像面１２３ａの位置関係によって、フォーカスレンズＬを移動させた場合の第１画像データおよび第２画像データに基づく画像のボケ像円の変化の仕方が違ってくる。前述のように、ボケ像円が小さくなると、ＡＦ評価値は大きくなり、ボケ像円が大きくなると、ＡＦ評価値は小さくなる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２がどのように変化するのかを監視することで、結像位置ＦＰ、第１撮像面１１３ａおよび第２撮像面１２３ａの位置関係を把握することができる。
【００３８】
具体的には図８（Ａ）および図１０（Ａ）に示すように、フォーカスレンズＬを一方向に駆動している状態で第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加する場合、結像位置ＦＰが前ピン状態または第２後ピン状態であることが分かり、さらに、結像位置ＦＰが第１撮像面１１３ａおよび第２撮像面１２３ａに近づいていることがわかる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加する場合、前ピン状態または第２後ピン状態でフォーカスレンズＬを正しい方向に駆動していると判断できる。
また、図８（Ａ）に示すように、フォーカスレンズＬの駆動を継続し、第１評価値ＥＶ１が第２評価値ＥＶ２よりも先に最大値をとる（ピークを迎える）場合、結像位置ＦＰが前ピン状態から第１後ピン状態に変化したと判断することができる。より詳細には、第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加し、その後、第１評価値ＥＶ１のみが減少に転じた場合、結像位置ＦＰが前ピン状態から第１後ピン状態に変化したと判断できる。
【００３９】
一方、図１０（Ａ）に示すように、フォーカスレンズＬの駆動を継続し、第２評価値ＥＶ２が第１評価値ＥＶ１よりも先に最大値をとる場合、結像位置ＦＰが第２後ピン状態から第１後ピン状態に変化したと判断することができる。より詳細には、第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加し、その後、第２評価値ＥＶ２のみが減少に転じた場合、結像位置ＦＰが第２後ピン状態から第１後ピン状態に変化したと判断できる。
図８（Ｂ）および図１０（Ｂ）に示すように、フォーカスレンズＬを一方向に駆動している状態で第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少する場合、結像位置ＦＰが前ピン状態または第２後ピン状態であることが分かり、さらに、結像位置ＦＰが第１撮像面１１３ａおよび第２撮像面１２３ａから遠ざかっていることがわかる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて、前ピン状態または第２後ピン状態でフォーカスレンズＬを間違った方向に駆動していると判断できる。
【００４０】
また、図８（Ｂ）に示すように、第１評価値ＥＶ１および第２評価値ＥＶ２が減少した後に、フォーカスレンズＬを逆駆動すると、第１評価値ＥＶ１および第２評価値ＥＶ２はともに増加する。その後、第１評価値ＥＶ１が第２評価値ＥＶ２よりも先に最大値をとる場合、図８（Ａ）に示す場合と同様に、結像位置ＦＰが前ピン状態から第１後ピン状態に変化したと判断することができる。
一方、図１０（Ｂ）に示すように、第１評価値ＥＶ１および第２評価値ＥＶ２が減少した後に、フォーカスレンズＬを逆駆動すると、第１評価値ＥＶ１および第２評価値ＥＶ２はともに増加する。その後、第２評価値ＥＶ２が第１評価値ＥＶ１よりも先に最大値をとる場合、図１０（Ａ）に示す場合と同様に、結像位置ＦＰが第２後ピン状態から第１後ピン状態に変化したと判断することができる。
【００４１】
さらに、図９（Ａ）に示すように、フォーカスレンズＬを一方向に駆動している状態で第１評価値ＥＶ１が増加し第２評価値ＥＶ２が減少する場合、結像位置ＦＰが第１後ピン状態であることが分かり、さらに、結像位置ＦＰが第１撮像面１１３ａに近づき、かつ、第２撮像面１２３ａから遠ざかっていることがわかる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて、第１後ピン状態でフォーカスレンズＬを正しい方向に駆動していると判断できる。
一方、図９（Ｂ）に示すように、フォーカスレンズＬを一方向に駆動している状態で第１評価値ＥＶ１が減少し第２評価値ＥＶ２が増加する場合、結像位置ＦＰが第１後ピン状態であることが分かり、さらに、結像位置ＦＰが第１撮像面１１３ａから遠ざかり、かつ、第２撮像面１２３ａに近づいていることがわかる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて、第１後ピン状態でフォーカスレンズＬを間違った方向に駆動していると判断できる。
【００４２】
以上に説明したように、第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて、結像位置ＦＰ、第１撮像面１１３ａおよび第２撮像面１２３ａの位置関係を判定することができる。
＜オートフォーカス＞
上記のデフォーカス判定方法を利用したオートフォーカスについて説明する。ここでは、静止画を撮影する際のシングルＡＦを例にオートフォーカスについて説明する。
静止画撮影モードでは、液晶モニタ２０または液晶ファインダ８に被写体の実時間画像が表示される。このとき、撮像素子ユニット１００の第１撮像素子１１０により所定のフレームレート（例えば３０〔ｆｐｓ〕）で第１画像データが生成される。この状態で、例えばレリーズボタン３０が半押しされると、撮影準備動作が開始される。具体的には図１１に示すように、フォーカスレンズＬが停止している状態で、第１画像データに基づいて第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２撮像素子１２０で生成される第２画像データに基づいて第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ１）。図８（Ａ）〜図１０（Ｂ）に示すように、本実施形態では、第１評価値ＥＶ１および第２評価値ＥＶ２を算出する時間が約２フレーム分に相当している。第１撮像素子１１０への入射光量が第２撮像素子１２０への入射光量よりも多いので、第１評価値ＥＶ１が第２評価値ＥＶ２よりも常に大きくなる。
【００４３】
算出された第１評価値ＥＶ１および第２評価値ＥＶ２はボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに一時的に格納される。このとき、第１画像データの取得タイミングと同じタイミングで位置検出センサ６７により検出されたフォーカスレンズＬの位置情報が、第１評価値ＥＶ１と関連付けられてＲＡＭ１０ａ内の所定のアドレスに記憶される。また、第２画像データの取得タイミングと同じタイミングで位置検出センサ６７により検出されたフォーカスレンズＬの位置情報が、第２評価値ＥＶ２と関連付けられてＲＡＭ１０ａ内の所定のアドレスに記憶される。
本実施形態では、フォーカスレンズＬの位置は位置検出センサ６７により所定の周期で検出され、検出結果はレンズコントローラ４０を介してボディーコントローラ１０に送信される。位置検出センサ６７の検出周期は、第１撮像素子１１０および第２撮像素子１２０のフレームレートに比べて大幅に短いので、第１画像データおよび第２画像データの取得タイミング（つまり、第１タイミングジェネレータ１２ａおよび第２タイミングジェネレータ１２ｂで生成されたタイミング信号がボディーコントローラ１０に入力されるタイミング）と概ね同じタイミングで検出された位置情報を、ボディーコントローラ１０は選択することができる。
【００４４】
次に、フォーカスレンズＬが駆動される（Ｓ２）。駆動方向はフォーカスレンズＬの現在位置や光学系Ｏの焦点距離などの各種情報に基づいてボディーコントローラ１０により決定される。本実施形態では、ステップＳ２での駆動方向をＤ１方向とする。また、駆動量は例えばフォーカスモータ６４の最小駆動量あるいは１フレームでの駆動量とする。フォーカスレンズＬをＤ１方向に駆動した後、第１画像データおよび第２画像データに基づいて、第１評価値算出部５１ａおよび第２評価値算出部５１ｂにより、それぞれ第１評価値ＥＶ１および第２評価値ＥＶ２が算出される（Ｓ３）。このときの第１画像データおよび第２画像データは、ステップＳ１で用いられた第１画像データおよび第２画像データと取得されるタイミングが異なっている。図８（Ａ）〜図１０（Ｂ）では、ステップＳ１で用いられる第１画像データおよび第２画像データの次のフレームの第１画像データおよび第２画像データとなっている。
【００４５】
ステップＳ３で算出された第１評価値ＥＶ１および第２評価値ＥＶ２は、ボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに一時的に格納される。このとき、第１画像データの取得タイミングと同じタイミングで位置検出センサ６７により検出されたフォーカスレンズＬの位置情報が、第１評価値ＥＶ１と関連付けられてＲＡＭ１０ａ内の所定のアドレスに記憶される。また、第２画像データの取得タイミングと同じタイミングで位置検出センサ６７により検出されたフォーカスレンズＬの位置情報が、第２評価値ＥＶ２と関連付けられてＲＡＭ１０ａ内の所定のアドレスに記憶される。
次に、第１評価値判定部５２ａにより第１評価値ＥＶ１の増減が判定され、かつ、第２評価値判定部５２ｂにより第２評価値ＥＶ２の増減が判定され、さらに、第１判定結果および第２判定結果に基づいて状態判定部５３によりフォーカスレンズＬの駆動方向が決定される（Ｓ４〜Ｓ６）。具体的には、ボディーコントローラ１０のＲＡＭ１０ａに記憶されている２つの第１評価値ＥＶ１が第１評価値判定部５２ａにより比較され、第１評価値判定部５２ａにより、第１評価値ＥＶ１の増減を示す第１判定結果が生成される。第１判定結果はＲＡＭ１０ａに記憶される。また、ボディーコントローラ１０のＲＡＭ１０ａに記憶されている２つの第２評価値ＥＶ２が第２評価値判定部５２ｂにより比較され、第２評価値判定部５２ｂにより、第２評価値ＥＶ２の増減を示す第２判定結果が生成される。第２判定結果はＲＡＭ１０ａに記憶される。
【００４６】
第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加している場合は、フォーカスレンズＬの駆動方向が正しいので、フォーカスレンズＬのＤ１方向への駆動が開始される（Ｓ４、Ｓ８Ａ）。一方、第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少している場合は、フォーカスレンズＬの駆動方向が間違っているので、フォーカスレンズＬのＤ２方向への駆動が開始される（Ｓ５、Ｓ８Ｂ）。
また、第１評価値ＥＶ１が増加し第２評価値ＥＶ２が減少している場合は、フォーカスレンズＬの駆動方向が正しいので、フォーカスレンズＬのＤ１方向への駆動が開始される（Ｓ６、Ｓ２０Ａ）。一方、第１評価値ＥＶ１が減少し第２評価値ＥＶ２が増加している場合は、フォーカスレンズＬの駆動方向が間違っているので、フォーカスレンズＬのＤ２方向への駆動が開始される（Ｓ６、Ｓ２０Ｂ）。
【００４７】
図１２に示すフローについて説明すると、ステップＳ８ＡおよびＳ８Ｂの後、第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ９）。第１評価値ＥＶ１および第２評価値ＥＶ２の算出後、第１評価値判定部５２ａにより第１評価値ＥＶ１の増減が判定され、第２評価値判定部５２ｂにより第２評価値ＥＶ２の増減が判定される。さらに。第１判定結果および第２判定結果に基づいて、状態判定部５３により第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加しているか否かが判定される（Ｓ１０）。第１評価値ＥＶ１および第２評価値ＥＶ２のうちいずれか一方でも減少している場合は、処理がステップＳ１に戻り、駆動方向の判定が再度行われる。一方、第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加している場合、フォーカスレンズＬの駆動が継続される（Ｓ１１）。
【００４８】
フォーカスレンズＬの駆動が継続されている状態で、第１評価値判定部５２ａ、第２評価値判定部５２ｂおよび状態判定部５３により、第１評価値ＥＶ１および第２評価値ＥＶ２の増減の判定が繰り返される（Ｓ１２Ａ、Ｓ１２Ｂ）。第１評価値ＥＶ１が減少し、かつ、第２評価値ＥＶ２が増大している場合、第１評価値ＥＶ１がピークを迎えているので、合焦演算部５４により第１評価値ＥＶ１に基づいて合焦状態に対応するフォーカスレンズＬの位置が算出される（Ｓ１２Ａ、Ｓ１３Ａ）。具体的には、合焦演算部５４により、第１判定結果に基づいて第１評価値ＥＶ１のピークが判定され、ＲＡＭ１０ａに記憶されている複数の第１評価値ＥＶ１に基づいてピークに対応する第１評価値ＥＶ１が選択される。選択された第１評価値ＥＶ１は第１最大評価値としてボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに記憶される。
【００４９】
さらに、合焦演算部５４により、一連の第１評価値ＥＶ１の変化曲線が演算により求められ、その最大値（頂点）に対応するフォーカスレンズＬの位置情報が算出される。合焦演算部５４により算出された位置情報はボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに目標位置として記憶される。この目標位置はボディーコントローラ１０からレンズコントローラ４０に送信され、レンズコントローラ４０のＲＡＭ４０ａに記憶される。
合焦位置演算後、フォーカスレンズＬの逆駆動が開始され（Ｓ１４Ａ）、フォーカスレンズＬがフォーカスモータ６４により目標位置まで駆動される。具体的には、位置検出センサ６７により所定の周期で検出されるフォーカスレンズＬの現在位置が、レンズコントローラ４０のＲＡＭ４０ａに記憶されている目標位置とフォーカス駆動制御部４１により順次比較される（Ｓ１５Ａ）。検出された現在位置と目標位置とが一致するとフォーカス駆動制御部４１が判定すると、フォーカス駆動制御部４１によりフォーカスレンズＬの駆動が停止される（Ｓ１６Ａ）。この結果、第１評価値ＥＶ１が最大となる位置でフォーカスレンズＬが停止し、ピントの合った画像を第１撮像素子１１０により取得することができる。
【００５０】
一方、ステップＳ１２Ａにおいて、条件を満たしていないと判断された場合、第２評価値ＥＶ２がピークを迎えているか否かを判定するために、第１判定結果および第２判定結果に基づいて、状態判定部５３により第１評価値ＥＶ１および第２評価値ＥＶ２の増減が確認される（Ｓ１２Ｂ）。第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少している場合、合焦状態に対応するフォーカスレンズＬの位置が合焦予測部５５により予測される（Ｓ１３Ｂ）。ここで、合焦位置予測演算について説明する。
第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少している場合、第２評価値ＥＶ２が第１評価値ＥＶ１よりも先にピークを迎えているので、図１０（Ａ）および図１０（Ｂ）に示すように、さらにフォーカスレンズＬの駆動を継続すると、結像位置ＦＰが第１撮像素子１１０の第１撮像面１１３ａに到達する。つまり、第２撮像面１２３ａから第１撮像面１１３ａまで結像位置ＦＰを移動させるために必要なフォーカスレンズＬの移動距離が分かれば、第２評価値ＥＶ２のピークに対応する位置からその移動距離だけフォーカスレンズＬを駆動することで、結像位置ＦＰを第１撮像面１１３ａ上に移動させることができる。
【００５１】
これを利用すると、ステップＳ１２Ｂにおいて、第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少していると判断される場合、第２評価値ＥＶ２に基づいて合焦位置に対応するフォーカスレンズＬの位置が合焦予測部５５により算出される（Ｓ１３Ｂ）。具体的には、合焦予測部５５により、一連の第２評価値ＥＶ２の変化曲線が演算により求められ、その最大値（頂点）に対応する第２評価値ＥＶ２が算出される。算出された第２評価値ＥＶ２は第２最大評価値としてボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに記憶される。
さらに、合焦予測部５５により、第２最大評価値と関連付けられているフォーカスレンズＬの位置情報が選択される。合焦予測部５５により選択された位置情報はボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに基準位置として記憶される。選択された基準位置、ボディーコントローラ１０のＲＯＭ１０ｂに予め記憶されているＫ値およびレンズコントローラ４０から送信される焦点距離情報に基づいて、合焦予測部５５により合焦位置に対応するフォーカスレンズＬの位置が目標位置として算出される。
【００５２】
ここで、Ｋ値とは、フォーカスレンズＬの移動量に対するバックフォーカスの変位量の割合を示している。したがって、Ｋ値を用いることで、第２撮像面１２３ａから第１撮像面１１３ａまで結像位置ＦＰを移動させるために必要な距離を算出することができる。光学系Ｏの焦点距離に応じてＫ値が変化する場合、レンズコントローラ４０には予め各焦点距離に対応するＫ値が格納されている。
このように、合焦予測部５５により、結像位置ＦＰを第１撮像面１１３ａ上に移動させるために必要なフォーカスレンズＬの移動距離が算出され、フォーカスレンズＬの目標位置が算出される。
合焦位置予測演算後、フォーカスレンズＬの駆動が継続され（Ｓ１４Ｂ）、フォーカスレンズＬがフォーカスモータ６４により目標位置まで駆動される。具体的には、位置検出センサ６７により所定の周期で検出されるフォーカスレンズＬの現在位置が、レンズコントローラ４０のＲＡＭ４０ａに記憶されている目標位置とフォーカス駆動制御部４１により順次比較される（Ｓ１５Ｂ）。検出された現在位置と目標位置とが一致するとフォーカス駆動制御部４１が判定すると、フォーカス駆動制御部４１によりフォーカスレンズＬの駆動が停止される（Ｓ１６Ｂ）。この結果、第１評価値ＥＶ１が最大となる位置でフォーカスレンズＬが停止し、ピントの合った画像を第１撮像素子１１０により取得することができる。
【００５３】
また、図１３に示すフローについて説明すると、ステップＳ２０ＡおよびＳ２０Ｂの後、第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ２１）。第１評価値ＥＶ１および第２評価値ＥＶ２の算出後、第１評価値判定部５２ａにより第１評価値ＥＶ１の増減が判定され、第２評価値判定部５２ｂにより第２評価値ＥＶ２の増減が判定される。さらに、第１判定結果および第２判定結果に基づいて、第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少しているか否かが状態判定部５３により判定される（Ｓ２２）。第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少している場合は、フォーカスレンズＬの駆動が継続され（Ｓ２３）、この条件を満たしていない場合は、処理がステップＳ１に戻る。
ステップＳ２３の後、フォーカスレンズＬの駆動が継続されている状態で、第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少しているか否かが状態判定部５３により判定される（Ｓ２４）。第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少している場合は、ステップＳ１３Ａと同様に、合焦演算部５４により合焦位置演算が行われる（Ｓ２５）。また、ステップＳ１４Ａ〜Ｓ１６Ａと同様に、フォーカスレンズＬが目標位置まで駆動される（Ｓ２６〜Ｓ２８）。この結果、第１評価値ＥＶ１が最大となる位置でフォーカスレンズＬが停止し、ピントの合った画像を第１撮像素子１１０により取得することができる。一方、ステップＳ２４において、上記の条件を満たしていない場合は、フォーカスレンズＬの駆動が継続され、ステップＳ２３およびＳ２４が繰り返される（Ｓ２３、Ｓ２４）。
【００５４】
このように、このデジタルカメラ１では、第１撮像素子１１０および第２撮像素子１２０の２つの撮像素子でＡＦ評価値を取得し、２つのＡＦ評価値に基づいてコントラストＡＦを行っているので、焦点検出時に必要とされる時間を大幅に短縮することができる。
＜コンティニュアスＡＦ＞
さらに、図１４に示すタイムチャートのように、コンティニュアスＡＦの場合も再合焦にかかる時間を短縮することができる。コンティニュアスＡＦでは、合焦状態を保つために連続的にオートフォーカスが行われる。例えば、動画撮影時や、あるいは、シングルＡＦで合焦状態となった後（ステップＳ１６Ａ、Ｓ１６Ｂ、Ｓ２８の後）に、コンティニュアスＡＦが実行される。
具体的には図１４および図１５に示すように、第１撮像素子１１０および第２撮像素子１２０により所定のフレームレートで画像データが取得されている状態で、第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ３１）。次に、第１評価値ＥＶ１および第２評価値ＥＶ２の増減がそれぞれ状態判定部５３により判定される（Ｓ３２、Ｓ３３）。具体的には、ステップＳ３１において算出された第１評価値ＥＶ１に基づいて、第１評価値判定部５２ａにより第１評価値ＥＶ１の増減を示す第１判定結果が生成される。また、ステップＳ３１において算出された第２評価値ＥＶ２に基づいて、第２評価値判定部５２ｂにより第２評価値ＥＶ２の増減を示す第２判定結果が生成される。
【００５５】
さらに、第１判定結果に基づいて状態判定部５３により第１評価値ＥＶ１が減少しているか否かが判定される（Ｓ３２）。第１評価値ＥＶ１が減少していない場合、ピントがずれていないので、第１評価値ＥＶ１および第２評価値ＥＶ２の算出が繰り返される（Ｓ３２、Ｓ３１）。一方、第１評価値ＥＶ１が減少している場合、撮影条件が変わるなどの理由でピントがずれている（図１４のＪ１）。したがって、フォーカスレンズＬの駆動方向を決定するために、第２判定結果に基づいて状態判定部５３により第２評価値ＥＶ２が減少しているか否かが判定される（Ｓ３３）。
第２評価値ＥＶ２が減少している場合、結像位置ＦＰが前ピン状態と考えられるので、状態判定部５３によりフォーカスレンズＬの駆動方向がＤ２方向と決定される（図１４のＪ２）。第２評価値ＥＶ２が増加している場合、結像位置ＦＰが第１後ピン状態と考えられるので、状態判定部５３によりフォーカスレンズＬの駆動方向がＤ１方向と決定される（図１４のＪ３）。ステップＳ３３の後、合焦演算部５４により合焦位置演算が行われる（Ｓ３４Ａ）。第１評価値ＥＶ１の変化量、フォーカスレンズＬの駆動方向および必要駆動量の関係が予めボディーコントローラ１０のＲＯＭ１０ｂに記憶されている。したがって、合焦位置演算の際、その関係を用いて、第１評価値ＥＶ１に基づいてフォーカスレンズＬの目標位置（図１４のＪ４およびＪ５）が合焦演算部５４により算出される（Ｓ３４Ａ）。
【００５６】
合焦位置演算後、フォーカスレンズＬのＤ２方向への駆動が開始され（Ｓ３５Ａ）、目標位置にフォーカスレンズＬが到達すると、フォーカスレンズＬの駆動がフォーカス駆動制御部４１により停止される（Ｓ３６Ａ、Ｓ３７Ａ）。この結果、フォーカスレンズＬが合焦状態に対応する位置まで駆動することができ、ピントが再度合った状態となる。
一方、第２評価値ＥＶ２が増加している場合、結像位置ＦＰが第１後ピン状態と考えられるので、状態判定部５３によりフォーカスレンズＬの駆動方向がＤ１方向と決定される。ステップＳ３３の後、合焦演算部５４により合焦位置演算が行われる（Ｓ３４Ｂ）。合焦演算後、フォーカスレンズＬのＤ２方向への駆動が開始され（Ｓ３５Ｂ）、目標位置にフォーカスレンズＬが到達すると、フォーカスレンズＬの駆動が停止される（Ｓ３６Ｂ、Ｓ３７Ｂ）。この結果、フォーカスレンズＬが合焦状態に対応する位置まで駆動することができ、ピントが再度合う（図１４のＪ６およびＪ７）。
【００５７】
ステップＳ３７ＡおよびＳ３７Ｂの後、ステップＳ３１から上記の処理が繰り返される。これにより、ピントがずれても自動的にフォーカスが調整され、合焦状態が保たれる。
なお、参考例として図１６（Ａ）および（Ｂ）に１枚の撮像素子を用いる場合を示しているが、この場合、ウォブリングと呼ばれるフォーカスレンズの微小な往復運動を行い、ＡＦ評価値を比較することで、ピントがどちらにずれたのかを判断する。さらに、山登り方式によるコントラストＡＦを併用したり（図１６（Ａ））、あるいは、ウォブリングを継続したりすることで、再合焦させている。
しかし、図１６（Ａ）および（Ｂ）からも分かるように、この方法では、ピントがずれてから再合焦するまで、１１〜１２フレームを要している。この撮像素子のフレームレートが３０〔ｆｐｓ〕であれば、約４００〔ｍｓｅｃ〕が必要であることがわかり、フレームレートが６０〔ｆｐｓ〕の場合であっても、約２００〔ｍｓｅｃ〕が必要であることがわかる。
【００５８】
一方、図１４に示すように、前述のコンティニュアスＡＦであれば、ピントがずれてから再合焦するまで５フレームを要するが、フレームレートが３０〔ｆｐｓ〕であれば、約１６６〔ｍｓｅｃ〕で再合焦が可能であり、フレームレートが６０〔ｆｐｓ〕であれば、わずか８３〔ｍｓｅｃ〕で再合焦が可能であることがわかる。
以上のように、２枚の撮像素子を用いてコンティニュアスＡＦを行うことで、コンティニュアスＡＦでの再合焦時間を大幅に短縮することができる。ウォブリング駆動する必要が無いので、フォーカスレンズＬの移動に起因する像のちらつきが無くなる。さらに光学設計においても、フォーカスレンズＬの像倍率変化を抑える制約が小さくなり、設計の自由度が増す。したがって、光学系Ｏを小型化することができる。
＜特徴＞
以上に説明したように、このデジタルカメラ１では、第１撮像素子１１０および第２撮像素子１２０を備えているので、同じタイミングで２つの画像データ（第１画像データおよび第２画像データ）を取得することができる。第１画像データから算出される第１評価値ＥＶ１に加えて、第２画像データから算出される第２評価値ＥＶ２を補助的に用いることで、ＡＦ評価値の信頼性が高まる。したがって、コントラストＡＦにおいてＡＦ評価値の変動を判定する時間を短縮することができ、焦点検出の速度を高めることができる。
【００５９】
また、結像位置ＦＰ、第１光電変換部１１３の第１撮像面１１３ａおよび第２光電変換部１２３の第２撮像面１２３ａの位置関係を、第１画像データから算出される第１評価値ＥＶ１の増減および第２画像データから算出される第２評価値ＥＶ２の増減に基づいて判定することができる。したがって、フォーカスレンズＬの正しい駆動方向を第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて迅速に判定することができ、焦点検出の速度をさらに高めることができる。
〔第２実施形態〕
以下、第２実施形態について説明する。なお、前述の第１実施形態の構成と実質的に同じ機能を有する構成については、同じ符号を付し、その詳細な説明は省略する。
前述の第１実施形態では、第２撮像素子１２０がカラーフィルタを有していないが、第２撮像素子１２０が第２カラーフィルタ１２５を有していてもよい。例えば図１７（Ａ）、図１７（Ｂ）、図１８（Ａ）および図１８（Ｂ）に示すように、第２カラーフィルタ１２５は、ベイヤー配列の原色フィルタであり、第２光電変換部１２３の入射側に配置されている。第２カラーフィルタ１２５は、複数の赤色フィルタＲと、複数の緑色フィルタＧと、複数の青色フィルタＢと、を有している。赤色フィルタＲは、赤色以外の色の可視光波長域よりも赤色の可視光波長域の方が透過率が高いフィルタである。緑色フィルタＧは、緑色以外の色の可視光波長域よりも緑色の可視光波長域の方が透過率が高いフィルタである。青色フィルタＢは、青色以外の色の可視光波長域よりも青色の可視光波長域の方が透過率が高いフィルタである。
【００６０】
赤色フィルタＲ、緑色フィルタＧおよび青色フィルタＢはマトリックス状に配置されている。具体的には、２行２列に配置された赤色フィルタＲ、２つ緑色フィルタＧおよび青色フィルタＢを１セットとした場合、各セットがマトリックス状に配置されている。１セットのフィルタにおいて、２つの緑色フィルタＧは対角に配置されている。本実施形態では、１つのフィルタが１つの第２光電変換素子１２７に対応する位置に配置されている。なお、第２カラーフィルタ１２５は補色フィルタでもよい。
また、第２カラーフィルタ１２５の赤色フィルタＲ、緑色フィルタＧおよび青色フィルタＢは、第２光電変換素子１２７と同様に、４枚の第１光電変換素子１１７と同じ大きさを有している。したがって、第１カラーフィルタ１１５の１枚の赤色フィルタＲ、１枚の青色フィルタＢおよび２枚の緑色フィルタＧを通った光が第２カラーフィルタ１２５の１枚の赤色フィルタＲ、青色フィルタＢまたは２枚の緑色フィルタＧに入射する。これにより、１つの第２光電変換素子１２７には１色の光だけが入射する。
【００６１】
このような第２撮像素子１２０を用いても、第１実施形態と同様の効果を得ることができる。
〔第３実施形態〕
以下、第３実施形態について説明する。なお、前述の第１および第２実施形態の構成と実質的に同じ機能を有する構成については、同じ符号を付し、その詳細な説明は省略する。
前述の第１および第２実施形態では、第１撮像素子１１０および第２撮像素子１２０は光軸ＡＺに平行な方向に相対移動しないが、第１撮像素子１１０および第２撮像素子１２０を互いに相対移動可能に配置してもよい。
＜構成＞
例えば図１９および図２０に示すように、第３実施形態に係る撮像素子ユニット２００は、第１撮像素子１１０と、第２撮像素子１２０と、第１パッケージ２１１と、第２パッケージ２２１と、調整機構２０３と、温度調整部２０４と、を備えている。
【００６２】
第１パッケージ２１１は、第１撮像素子１１０を支持しており、筐体（図示せず）に固定されている。第１パッケージ２１１には第１撮像素子１１０が固定されている。
第２パッケージ２２１は、第２撮像素子１２０を支持しており、調整機構２０３により第１パッケージ２１１に連結されている。第２パッケージ２２１には第２撮像素子１２０が固定されている。
調整機構２０３は、第１パッケージ２１１および第２パッケージ２２１を連結しており、第１撮像素子１１０および第２撮像素子１２０の間の距離を調整する。具体的には、調整機構２０３は、４本の連結ワイヤ２３０と、４つの第１固定ブッシュ２３３と、４つの第２固定ブッシュ２３４と、４つのバイアスばね２３１と、を有している。
４つの第１固定ブッシュ２３３は、第１パッケージ２１１を連結ワイヤ２３０に連結しており、第１パッケージ２１１および連結ワイヤ２３０に固定されている。４つの第２固定ブッシュ２３４は、第２パッケージ２２１を連結ワイヤ２３０に連結しており、第２パッケージ２２１および第２パッケージ２２１に固定されている。
【００６３】
連結ワイヤ２３０は、いわゆる形状記憶合金で形成されている。連結ワイヤ２３０の線膨張係数は、第１パッケージ２１１、第２パッケージ２２１、第１固定ブッシュ２３３および第２固定ブッシュ２３４の線膨張係数よりも大幅に大きい。４本の連結ワイヤ２３０は、温度調整部２０４と電気的に接続されている。温度調整部２０４は、連結ワイヤ２３０に電流を流すことで連結ワイヤ２３０の温度を調整し、連結ワイヤ２３０の長さを自在に変化させる。本実施形態では、第２撮像素子１２０の通常位置を図２０に示す位置Ｐ１とすると、温度調整部２０４により第２撮像素子１２０は位置Ｐ２まで第１撮像素子１１０側に駆動される。
４つのバイアスばね２３１は、第１パッケージ２１１および第２パッケージ２２１の間に挟み込まれており、第１パッケージ２１１および第２パッケージ２２１が互いに離れるように第１パッケージ２１１および第２パッケージ２２１を押圧する。バイアスばね２３１には連結ワイヤ２３０が挿入されている。連結ワイヤ２３０により第１パッケージ２１１および第２パッケージ２２１が光軸ＡＺに平行な方向に連結されているので、バイアスばね２３１の弾性力により第１パッケージ２１１および第２パッケージ２２１の相対位置が安定する。また、連結ワイヤ２３０の長さが変化すると、長さの変化に応じて第１パッケージ２１１および第２パッケージ２２１の間の距離Ｑが変化する。距離Ｑの変化に応じてバイアスばね２３１が伸縮するので、第１パッケージ２１１および第２パッケージ２２１の相対位置を安定させつつ、距離Ｑを変更することができる。
【００６４】
温度調整部２０４は連結ワイヤ２３０に流れる電流を変化させる。温度調整部２０４の出力はボディーコントローラ１０により制御される。
＜動作＞
図２１〜図２３を用いて、以上に説明した撮像素子ユニット２００の動作をコンティニュアスＡＦモードを例に説明する。
図２２に示すように、第１撮像素子１１０および第２撮像素子１２０により所定のフレームレートで画像データが取得されている状態で、第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ４１）。本実施形態では、図２１のタイムチャートに示すように、第２撮像素子１２０のフレームレートは第１撮像素子１１０のフレームレートの２倍である。したがって、１つの第１評価値ＥＶ１が算出される間に、２つの第２評価値ＥＶ２が算出される。
【００６５】
第２評価値ＥＶ２の算出周期は第１評価値ＥＶ１の算出周期の半分であるため、ピントがずれたか否かは第２評価値ＥＶ２の増減により判定するのが好ましい。したがって、図２２に示すように、第２評価値ＥＶ２が変化したか否かが判定される（Ｓ４２）。具体的には、第２評価値ＥＶ２に基づいて第２評価値判定部５２ｂにより第２判定結果が生成される。第２評価値ＥＶ２が一定であれば、算出された第２評価値ＥＶ２が基準評価値ＥＶ２ｓとしてボディーコントローラ１０のＲＡＭ１０ａに記憶され（Ｓ４３）、ステップＳ４１およびＳ４２が繰り返される。
一方、第２評価値ＥＶ２が変化した場合は、第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少しているか否かが状態判定部５３により判定される（Ｓ４４）。具体的には、第１評価値判定部５２ａにより生成された第１判定結果および第２評価値判定部５２ｂにより生成された第２判定結果に基づいて、状態判定部５３によりフォーカスレンズＬの駆動方向が判定される。
【００６６】
第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少している場合は、合焦状態から前ピン状態に結像位置ＦＰが変化しているので、状態判定部５３により駆動方向がＤ２方向と決定される（Ｓ４４、Ｓ４５Ａ）。一方、第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少していない場合は、合焦状態から第１後ピン状態に結像位置ＦＰが変化しているので、状態判定部５３により駆動方向がＤ１方向と決定される（Ｓ４４、Ｓ４５Ｂ）。ステップＳ４５ＡおよびＳ４５Ｂでは、決定された駆動方向にフォーカスレンズＬが駆動される（Ｓ４５Ａ、Ｓ４５Ｂ）。
その後、第２撮像素子１２０の駆動が開始される（Ｓ４６）。具体的には、温度調整部２０４により連結ワイヤ２３０の温度が調整され、通常位置Ｐ１および駆動位置Ｐ２の間の往復運動が所定の周期で繰り返される。第２撮像素子１２０が通常位置Ｐ１から駆動位置Ｐ２を経て再度通常位置Ｐ１に戻るまでの周期は、第１撮像素子１１０のフレームレートと同じに設定されている。例えば、温度調整部２０４は第１タイミングジェネレータ１２ａからボディーコントローラ１０に送られるタイミング信号を利用して、第２撮像素子１２０の往復駆動を第１撮像素子１１０のフレームレートと同期させている。
【００６７】
第２撮像素子１２０が往復駆動されている状態で、通常位置Ｐ１および駆動位置Ｐ２に対応する第２評価値ＥＶ２がそれぞれ第２評価値算出部５１ｂにより算出される（Ｓ４７）。通常位置Ｐ１に対応する第２評価値ＥＶ２は第２評価値ＥＶ２ａとしてＲＡＭ１０ａに記憶され、駆動位置Ｐ２に対応する第２評価値ＥＶ２は第２評価値ＥＶ２ｂとしてＲＡＭ１０ａに記憶される。
第２評価値ＥＶ２ａが基準評価値ＥＶ２ｓよりも小さく、かつ、第２評価値ＥＶ２ｂが基準評価値ＥＶ２ｓよりも大きい場合、第２評価値ＥＶ２が合焦位置に相当する値となる第２撮像素子１２０の位置が通常位置Ｐ１および駆動位置Ｐ２の間に存在する、ということを意味している。この位置を特定することができれば、その位置を基準に合焦状態にするために必要なフォーカスレンズＬの駆動量を算出することができる。したがって、ステップＳ４８において上記の条件が満たされている場合、合焦演算部５４により合焦位置演算が行われる（Ｓ４８、Ｓ４９）。例えば、第２評価値ＥＶ２ａ、ＥＶ２ｂおよび基準評価値ＥＶ２ｓから、基準評価値ＥＶ２ｓに対応するフォーカスレンズＬの位置を算出することで、フォーカスレンズＬの目標位置を算出することができる。
【００６８】
一方、上記の条件を満たしていない場合、第２評価値ＥＶ２ａおよびＥＶ２ｂの算出が繰り返される（Ｓ４８、Ｓ４７）。
合焦位置演算後、フォーカスレンズＬのＤ２方向への逆駆動が開始され（Ｓ５０）、目標位置にフォーカスレンズＬが到達すると、フォーカスレンズＬの駆動がフォーカス駆動制御部４１により停止される（Ｓ５１、Ｓ５２）。この結果、フォーカスレンズＬが合焦状態に対応する位置まで駆動することができ、ピントが再度合った状態となる。
このように、第２撮像素子１２０を駆動可能な撮像素子ユニット２００であっても、コンティニュアスＡＦを行うことができる。
〔他の実施形態〕
本発明の実施形態は、前述の実施形態に限られず、本発明の趣旨を逸脱しない範囲で種々の修正および変更が可能である。また、前述の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
【００６９】
（１）前述の実施形態では、デジタルカメラは静止画および動画の撮影が可能であるが、静止画撮影のみ可能であってもよい。
（２）前述の技術は、フォーカシング機能を有する撮像装置に適用可能である。撮像装置としては、例えばデジタルスチルカメラ（レンズ交換式デジタルカメラも含む）、デジタルビデオカメラ、カメラ付き携帯電話およびカメラ付きＰＤＡが考えられる。
（３）前述のデジタルカメラ１はクイックリターンミラーを有していないが、従来のデジタル一眼レフカメラのようにクイックリターンミラーが搭載されていてもよい。
（４）前述の第３実施形態では、連結ワイヤ２３０およびバイアスばね２３１を用いて第２撮像素子１２０を駆動しているが、第２撮像素子１２０を駆動する構成はこれに限定されない。例えば、図２４に示すように圧電素子３３０を用いてもよい。この場合、圧電素子３３０は第１パッケージ２１１および第２パッケージ２２１の間に挟みこまれている。また、圧電素子３３０を駆動する圧電素子駆動装置３４０が設けられている。
【産業上の利用可能性】
【００７０】
上記の技術であればＡＦの速度が高まるので、上記の技術は撮像装置の分野で有用である。
【符号の説明】
【００７１】
１ デジタルカメラ（撮像装置の一例）
１００ 撮像素子ユニット
１１０ 第１撮像素子
１１１ 第１パッケージ
１１２ 第１補強ガラス基板
１１３ 第１光電変換部
１１４ 第１回路部
１１５ 第１カラーフィルタ
１１６ 第１マイクロレンズ
１２０ 第２撮像素子
１２１ 第２パッケージ
１２２ 第２補強ガラス基板
１２３ 第２光電変換部
１２４ 第２回路部
１２５ 第２カラーフィルタ
１２６ 第２マイクロレンズ
５１ａ 第１評価値算出部
５１ｂ 第２評価値算出部
５２ａ 第１評価値判定部
５２ｂ 第２評価値判定部
５３ 状態判定部
５４ 合焦演算部
５５ 合焦予測部
２３０ 連結ワイヤ
２３１ バイアスばね
２３３ 固定ブッシ
４５ 被写体光束
【技術分野】
【０００１】
ここに開示される技術は、焦点検出機能を有する撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いて、光学像を電気信号に変換し、電気信号をデジタル化して記録するデジタルカメラが普及している。
デジタル一眼レフカメラとして、位相差検出方式のオートフォーカス機能（ＡＦ機能）を採用したカメラが知られている。位相差検出方式のオートフォーカス機能によれば、フォーカスレンズを動かすことなくデフォーカス方向およびデフォーカス量を検出できるため、フォーカスレンズをダイレクトに合焦位置に移動でき、オートフォーカスにかかる時間を短縮することができる（例えば、特許文献１）。従来のデジタル一眼レフカメラでは、位相差検出ユニットに被写体の光学像を導くために、可動ミラーが設けられている。この可動ミラーは、レンズ鏡筒から撮像素子への光路上に挿入および退避可能に設けられている。
【０００３】
一方で、デジタルカメラの小型化を実現するために、いわゆるコンパクトデジタルカメラのＬＣＤ（Liquid Crystal Display）やＥＶＦ（Electronic View Finder）によるファインダ機能および撮像素子を用いたコントラスト検出方式のオートフォーカス機能（コントラストＡＦともいう）が採用されている（例えば、特許文献２）。このコントラストＡＦは、撮像面におけるピントを直接検出するため、一般的に、位相差検出方式のオートフォーカスに比して精度が高い利点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１６３５４５号公報
【特許文献２】特開２００７−１３５１４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２に記載のコントラストＡＦでは、撮像素子で生成される画像データから評価値を算出し、評価値が最大となるフォーカスレンズの位置を合焦位置としている。
しかし、１枚の撮像素子から得られる評価値のみを基準としているので、評価値の増減を判定するためにフォーカスレンズを比較的長い時間、駆動する必要がある。そのため、コントラストＡＦに要する時間を比較的長く確保する必要があり、焦点検出に時間を要する。
【課題を解決するための手段】
【０００６】
ここに開示される撮像装置は、第１撮像素子と、第２撮像素子と、焦点検出部と、を備えている。第１撮像素子は光を電気信号に変換する第１光電変換部を有している。第２撮像素子は、第１光電変換部から出射する光が入射するように配置された素子であって、第１光電変換部から出射する光を電気信号に変換する第２光電変換部を有している。焦点検出部は、第１撮像素子で得られる第１画像データおよび第２撮像素子で得られる第２画像データに基づいて焦点検出を行う。
ここで、「焦点検出」には、デフォーカス判定、フォーカスレンズの駆動方向の決定、あるいは、合焦状態に対応するフォーカスレンズの位置の特定などの動作が含まれる。
この撮像装置では、第１撮像素子に入射する光が第１光電変換部で電気信号に変換される。さらに、第１光電変換部から出射する光が第２光電変換部で電気信号に変換される。この結果、第１光電変換部および第２光電変換部により、第１画像データおよび第２画像データを取得することができる。第１画像データおよび第２画像データに基づいてコントラストＡＦ用の２つの評価値を算出することで、１つのＡＦ評価値の増減を監視する場合に比べて、ＡＦ評価値の信頼性を高めることができ、焦点検出に関する様々な判定を２つのＡＦ評価値を用いて短時間で行うことができる。
【発明の効果】
【０００７】
したがって、この撮像装置であれば、コントラストＡＦでありながら焦点検出の速度を速めることができる。
【図面の簡単な説明】
【０００８】
【図１】デジタルカメラの概略構成図
【図２】デジタルカメラの概略ブロック図
【図３】撮像素子ユニットの概略構成図
【図４】（Ａ）第１撮像素子の概略断面図、（Ｂ）第２撮像素子の概略断面図
【図５】第１および第２撮像素子の概略断面図
【図６】（Ａ）図４のVIA−VIA断面図、（Ｂ）図４のVIB−VIB断面図
【図７】（Ａ）第１後ピン状態、（Ｂ）合焦状態、（Ｃ）前ピン状態、（Ｄ）第２後ピン状態
【図８】（Ａ）前ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させない場合）、（Ｂ）前ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させる場合）
【図９】（Ａ）第１後ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させない場合）、（Ｂ）第１後ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させる場合）
【図１０】（Ａ）第２後ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させない場合）、（Ｂ）第２後ピン状態での焦点検出タイムチャート（フォーカスレンズの駆動方向を反転させる場合）
【図１１】ＡＦのフローチャート
【図１２】ＡＦのフローチャート
【図１３】ＡＦのフローチャート
【図１４】コンティニュアスＡＦのタイムチャート
【図１５】コンティニュアスＡＦのフローチャート
【図１６】タイムチャート（参考例）
【図１７】（Ａ）第１撮像素子の概略断面図、（Ｂ）第２撮像素子の概略断面図（第２実施形態）
【図１８】（Ａ）図１６のXVIIIA−XVIIIA断面図、（Ｂ）図１６のXVIIIB−XVIIIB断面図
【図１９】撮像素子ユニットの概略斜視図（第３実施形態）
【図２０】撮像素子ユニットの概略断面図（第３実施形態）
【図２１】タイムチャート（第３実施形態）
【図２２】フローチャート（第３実施形態）
【図２３】フローチャート（第３実施形態）
【図２４】撮像素子ユニットの概略断面図（他の実施形態）
【発明を実施するための形態】
【０００９】
〔第１実施形態〕
＜デジタルカメラの構成＞
図１を用いて第１実施形態に係るデジタルカメラ１について説明する。
デジタルカメラ１は、レンズ交換式のデジタルカメラであり、交換レンズユニット２と、カメラ本体３と、を有している。
（１）交換レンズユニット
図１に示すように、交換レンズユニット２は、レンズマウント９５と、光学系Ｏと、絞り調節ユニット７３と、レンズコントローラ４０と、ズームリングユニット８３と、フォーカスリングユニット８８と、フォーカス調節ユニット７２と、を有している。
レンズマウント９５は、カメラ本体３のボディーマウント４に装着可能に設けられており、レンズ側接点９１を有している。光学系Ｏは、例えばズームレンズ系であり、フォーカスレンズＬを有している。
【００１０】
絞り調節ユニット７３は、絞りユニット６２と、絞り駆動制御部４２と、を有している。絞りユニット６２は、絞り羽根を有する絞り機構（図示せず）と、絞り機構を駆動する絞り駆動モータ（図示せず）と、を含んでおり、光学系Ｏの絞り値を変更可能に設けられている。絞り駆動制御部４２はレンズコントローラ４０から送られる指令に基づいて絞りユニット６２を制御する。
レンズコントローラ４０は、ＣＰＵ（図示せず）、ＲＯＭ４０ｂおよびＲＡＭ４０ａを有しており、ＲＯＭ４０ｂに格納されているプログラムがＣＰＵに読み込まれることで、様々
な機能を実現し得る。例えば、レンズコントローラ４０は、位置検出センサ６７の検出信号によりフォーカスレンズＬの絶対位置を把握することができる。ＲＯＭ４０ｂは、不揮発性メモリであり、電力供給が停止している状態でも記憶している情報を保持できる。ＲＯＭ４０ｂには、例えば交換レンズユニット２に関する情報（レンズ情報）が格納されている。レンズコントローラ４０はレンズ側接点９１を介してボディーコントローラ１０と情報の送受信が可能である。
【００１１】
ズームリングユニット８３は、ズームリング８４と、リニアポジションセンサ８７と、を有している。リニアポジションセンサ８７は、ユーザーによるズームリング８４の回転位置および回転方向を検出し、検出結果を所定の周期でレンズコントローラ４０に送信する。レンズコントローラ４０は、リニアポジションセンサ８７の検出結果に基づいて光学系Ｏの焦点距離を算出し、算出した焦点距離情報をボディーコントローラ１０に送信する。このように、ボディーコントローラ１０は光学系Ｏの焦点距離を把握することができる。
フォーカスリングユニット８８は、フォーカスリング８９と、フォーカスリング角度検出部９０と、を有している。フォーカスリング角度検出部９０は、フォーカスリング８９の回転角度および回転方向を検出し、検出結果をレンズコントローラ４０に送信する。マニュアルフォーカスモードでは、レンズコントローラ４０はフォーカスリング角度検出部９０の検出結果をフォーカス駆動制御部４１に送信し、フォーカス駆動制御部４１はこの検出結果に基づいてフォーカスモータ６４（後述）を制御する。
【００１２】
フォーカス調節ユニット７２は、フォーカスリング８９の操作に応じて、あるいは、デフォーカス量に応じて、フォーカスレンズＬを駆動する。フォーカス調節ユニット７２は、フォーカスモータ６４と、位置検出センサ６７と、フォーカス駆動制御部４１と、を有している。フォーカスモータ６４はフォーカスレンズＬを光軸ＡＺに沿った方向に駆動する。以下、フォーカスレンズＬが駆動される方向をＤ１方向（被写体側）およびＤ２方向（撮像素子ユニット１００側）とする。位置検出センサ６７はフォーカスレンズＬの位置を検出する。フォーカス駆動制御部４１はレンズコントローラ４０からの指令に基づいてフォーカスモータ６４を制御する。
（２）カメラ本体
図１および図２に示すように、カメラ本体３は、ボディーマウント４と、画像取得部３５と、表示ユニット３６と、ファインダユニット３８と、操作ユニット３９と、ボディーコントローラ１０と、画像記録部１８と、画像記録制御部１９と、表示制御部２１と、を備えている。
【００１３】
図１に示すように、ボディーマウント４は、交換レンズユニット２のレンズマウント９５が装着される部分であり、レンズ側接点９１と電気的に接続可能なボディー側接点９２を有している。ボディーマウント４およびレンズマウント９５を介して、カメラ本体３は交換レンズユニット２とデータの送受信が可能である。例えば、ボディーコントローラ１０は、ボディーマウント４およびレンズマウント９５を介して露光同期信号などの制御信号をレンズコントローラ４０に送信する。また、レンズコントローラ４０は、ボディーマウント４およびレンズマウント９５を介して交換レンズユニット２に関するレンズ情報をボディーコントローラ１０に送信する。
図１に示すように、操作ユニット３９は、例えば、電源スイッチ２５と、レリーズボタン３０と、撮影モード切り換えダイヤル２６と、を有している。電源スイッチ２５はデジタルカメラ１あるいはカメラ本体３の電源の入切を行うために設けられている。レリーズボタン３０は、半押し操作と全押し操作が可能な２段式のスイッチであり、撮影の際にユーザーによって操作される。ボディーコントローラ１０はレリーズボタン３０の半押しおよび全押し操作を検出することができる。ユーザーがレリーズボタン３０を半押し操作すると、例えば、測光処理、測距処理および焦点検出処理を開始する。ユーザーがレリーズボタン３０を全押し操作すると、画像取得部３５で被写体の画像データが取得される。
【００１４】
撮影モード切り換えダイヤル２６は、いわゆるライブビューモードで撮影するか否かを切り換えるために設けられている。撮影モード切り換えダイヤル２６を操作することで、ファインダ接眼窓９をのぞいて撮影するのか、あるいは、液晶モニタ２０を見ながら撮影するのか、を選択することができる。
図１および図２に示すように、画像取得部３５は、撮像素子ユニット１００と、シャッターユニット３３と、シャッター制御部３１と、第１画像処理部１１ａと、第２画像処理部１１ｂと、第１タイミングジェネレータ１２ａと、第２タイミングジェネレータ１２ｂと、を有している。
図２に示すように、撮像素子ユニット１００は、第１撮像素子１１０と、第２撮像素子１２０と、を有している。第１撮像素子１１０および第２撮像素子１２０は、例えばＣＭＯＳイメージセンサであり、光学系Ｏにより形成される光学像を電気信号に変換する。なお、第１撮像素子１１０および第２撮像素子１２０はＣＣＤイメージセンサでもよい。撮像素子ユニット１００の詳細については後述する。
【００１５】
図１に示すように、シャッターユニット３３は撮像素子ユニット１００の露光状態を調節する。シャッター制御部３１はボディーコントローラ１０からの指令に基づいてシャッターユニット３３を制御する。シャッターユニット３３およびシャッター制御部３１により露光時間が調節される。
図２に示すように、第１画像処理部１１ａは第１撮像素子１１０から出力される電気信号に所定の画像処理を施す。第２画像処理部１１ｂは第２撮像素子１２０から出力される電気信号に所定の画像処理を施す。以下、第１画像処理部１１ａから出力される１フレームの画像データを第１画像データ、第２画像処理部１１ｂから出力される１フレームの画像データを第２画像データとする。第１画像処理部１１ａおよび第２画像処理部１１ｂの詳細については後述する。第１タイミングジェネレータ１２ａは第１撮像素子１１０を駆動するためのタイミング信号を生成する。第２タイミングジェネレータ１２ｂは第２撮像素子１２０を駆動するためのタイミング信号を生成する。本実施形態では、第１撮像素子１１０および第２撮像素子１２０のフレームレートは３０〔ｆｐｓ〕とする。また、第１撮像素子１１０および第２撮像素子１２０は、同じタイミングで電荷を出力するように同期している。
【００１６】
なお、デジタルカメラ１では、オートフォーカス方式として、撮像素子ユニット１００で生成された画像データを利用するコントラスト検出方式（コントラストＡＦともいう）が採用されている。コントラスト検出方式を用いることにより、高精度なフォーカス調節を実現することができる。
ボディーコントローラ１０は、カメラ本体３の中枢を司る制御装置であり、操作ユニット３９に入力された操作情報に応じて、デジタルカメラ１の各部を制御する。具体的には図２に示すように、ボディーコントローラ１０にはＣＰＵ１０ｃ、ＲＯＭ１０ｂ、ＲＡＭ１０ａが搭載されており、ＲＯＭ１０ｂに格納されたプログラムがＣＰＵに読み込まれることで、ボディーコントローラ１０は様々な機能を実現することができる。例えば、ボディーコントローラ１０は、オートフォーカスのための演算処理機能を有している。
【００１７】
具体的には図２に示すように、ボディーコントローラ１０は、第１評価値算出部５１ａ、第２評価値算出部５１ｂ、第１評価値判定部５２ａ、第２評価値判定部５２ｂ、状態判定部５３、合焦演算部５４および合焦予測部５５を有している。これら各部は、プログラムにより実現される機能ブロックを示している。
第１評価値算出部５１ａは第１撮像素子１１０で得られる第１画像データに基づいて第１評価値ＥＶ１を算出する。第１評価値ＥＶ１はコントラストＡＦで用いられるＡＦ評価値である。ここで、ＡＦ評価値とは、画像データの空間周波数成分のうち高周波成分を積分して得られた数値である。第１画像データは第１バッファメモリ１６ａに記憶されるデータが用いられる。第１評価値算出部５１ａは第１撮像素子１１０のフレームレートと同じ周期で第１評価値ＥＶ１を算出する。算出された第１評価値ＥＶ１は、同じタイミングで検出されたフォーカスレンズＬの位置情報と関連付けられて、ボディーコントローラ１０のＲＡＭ１０ａに一時的に記憶される。
【００１８】
第２評価値算出部５１ｂは第２撮像素子１２０で得られる第２画像データに基づいて第２評価値ＥＶ２を算出する。第１評価値ＥＶ１と同様に、第２評価値ＥＶ２はコントラストＡＦで用いられるＡＦ評価値である。第２画像データは第２バッファメモリ１６ｂに記憶されるデータが用いられる。第２評価値算出部５１ｂは第２撮像素子１２０のフレームレートと同じ周期で第２評価値ＥＶ２を算出する。算出された第２評価値ＥＶ２は、同じタイミングで検出されたフォーカスレンズＬの位置情報と関連付けられて、ボディーコントローラ１０のＲＡＭ１０ａに一時的に記憶される。
第１評価値判定部５２ａは所定の周期で算出される第１評価値ＥＶ１の変動を監視する。具体的には、第１評価値判定部５２ａは、第１評価値ＥＶ１の増減を所定の周期で判定し、第１評価値ＥＶ１の増減を示す第１判定結果を所定の周期で生成する。例えば、第１評価値判定部５２ａは最新の第１評価値ＥＶ１と１つ前の第１評価値ＥＶ１とを比較し、最新の第１評価値ＥＶ１が１つ前の第１評価値ＥＶ１よりも増加しているか減少しているかを判定する。この第１判定結果はＲＡＭ１０ａに一時的に記憶される。
【００１９】
第２評価値判定部５２ｂは所定の周期で算出される第２評価値ＥＶ２の変動を監視する。具体的には、第２評価値判定部５２ｂは、第２評価値ＥＶ２の増減を所定の周期で判定し、第２評価値ＥＶ２の増減を示す第２判定結果を所定の周期で生成する。例えば、第２評価値判定部５２ｂは最新の第２評価値ＥＶ２と１つ前の第２評価値ＥＶ２とを比較し、最新の第２評価値ＥＶ２が１つ前の第２評価値ＥＶ２よりも増加しているか減少しているかを判定する。この第２判定結果はＲＡＭ１０ａに一時的に記憶される。
状態判定部５３は、第１判定結果および第２判定結果に基づいて、光学系Ｏの光束の結像位置、第１光電変換部１１３および第２光電変換部１２３の位置関係を判定する。より詳細には、状態判定部５３は、第１判定結果および第２判定結果の組み合わせに基づいて、結像位置、第１光電変換部１１３および第２光電変換部１２３の位置関係を判定する。つまり、状態判定部５３は、合焦させるためにフォーカスレンズＬをどちらに駆動すればよいかを判定することができる。状態判定部５３での判定方法については後述する。
【００２０】
合焦演算部５４は第１評価値ＥＶ１に基づいて合焦状態に対応するフォーカスレンズＬの位置を算出する。具体的には、合焦演算部５４は、第１判定結果および第２判定結果に基づいて第１評価値ＥＶ１および第２評価値ＥＶ２のピークを判定する。さらに、合焦演算部５４は、ピークに対応する第１評価値ＥＶ１を選択し、選択された第１評価値ＥＶ１と関連付けられている位置情報を選択する。選択された位置情報が図７（Ｂ）に示す合焦状態でのフォーカスレンズＬの位置を表している。
合焦予測部５５は、第２評価値ＥＶ２のピークが第１評価値ＥＶ１のピークよりも先に検出された場合に、ピークに対応する第２評価値ＥＶ２を選択し、選択された第２評価値ＥＶ２を基準に合焦状態に対応するフォーカスレンズＬの位置を予測する。合焦予測部５５の予測演算については後述する。
【００２１】
以上のように、ボディーコントローラ１０は焦点検出に関する様々な機能を有している。第１評価値算出部５１ａ、第２評価値算出部５１ｂ、第１評価値判定部５２ａ、第２評価値判定部５２ｂ、状態判定部５３、合焦演算部５４および合焦予測部５５は、第１撮像素子１１０で得られる第１画像データおよび第２撮像素子１２０で得られる第２画像データに基づいて焦点検出を行う焦点検出部を構成している。
図１および図２に示すように、表示ユニット３６は、液晶モニタ２０と、表示制御部２１と、を有している。液晶モニタ２０は、表示制御部２１からの指令に基づいて、第１画像記録部１８ａあるいは第１バッファメモリ１６ａに記録された画像信号を可視画像として表示する。つまり、液晶モニタ２０には、第１撮像素子１１０で生成された電気信号に基づく画像が表示される。液晶モニタ２０での表示形態としては、画像信号のみを可視画像として表示する表示形態や、画像信号と撮影時の情報とを可視画像として表示する表示形態が考えられる。
【００２２】
図１に示すように、ファインダユニット３８は、第１撮像素子１１０により取得された画像を表示する液晶ファインダ８と、背面に設けられたファインダ接眼窓９と、を有している。ユーザーは、ファインダ接眼窓９を覗くことで液晶ファインダ８に表示された画像を視認することができる。
図２に示すように、画像記録部１８は、画像記録制御部１９の命令に基づいて、第１画像データと記録すべき所定の情報とを関連付けて静止画ファイルまたは動画ファイルを作成する。そして、画像記録部１８は、画像記録制御部１９の命令に基づいて、静止画ファイルまたは動画ファイルを記録する。画像記録部１８は、例えば内部メモリやメモリカードなどの記録媒体である。なお、画像信号とともに記録すべき所定の情報には、例えば、画像を撮影した際の日時、焦点距離情報、シャッタースピード情報、絞り値情報および撮影モード情報が含まれる。
【００２３】
（３）撮像素子ユニット
ここで、撮像素子ユニット１００の構造について詳細に説明する。図３に示すように、撮像素子ユニット１００は、第１撮像素子１１０と、第２撮像素子１２０と、第１パッケージ１１１と、第２パッケージ１２１と、を有している。
図４（Ａ）および図５に示すように、第１撮像素子１１０は、裏面照射型撮像素子であり、光学系Ｏから出射した光が透過するように配置されている。具体的には、第１撮像素子１１０は、第１光電変換部１１３と、補強ガラス１１２と、第１回路部１１４と、第１カラーフィルタ１１５と、第１マイクロレンズ１１６と、を有している。
第１光電変換部１１３は、半導体材料で構成されており、入射する光に対して光電変換を行う。第１光電変換部１１３はマトリックス状に配置された複数の第１光電変換素子１１７を有している。第１カラーフィルタ１１５が第１光電変換部１１３の前面側（入射側）に設けられているので、各第１光電変換素子１１７には赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のうち１色の光しか入射しない。第１光電変換部１１３は光を受ける第１撮像面１１３ａを有している。
【００２４】
第１回路部１１４は、第１光電変換素子１１７で生成された電気信号を第１アナログ信号処理部１３ａに出力するための回路であり、複数の第１光電変換素子１１７の境界線１１７ａに沿って格子状に配置されている。第１撮像素子１１０が裏面照射型であるため、第１回路部１１４は第１光電変換部１１３の裏側（出射側）に配置されている。つまり、第１回路部１１４は第１光電変換素子１１７と第２撮像素子１２０との間に配置されている。
第１回路部１１４は、第１電気回路１１４ａと、第１マスク１１４ｂと、を有している。第１電気回路１１４ａは、トランジスタおよび信号線を含んでおり、複数の第１光電変換素子１１７の境界線１１７ａに対応する位置に配置されている。第１マスク１１４ｂは、第１電気回路１１４ａを覆っており、第１電気回路１１４ａと同様に境界線１２７ａに対応する位置に配置されている。
【００２５】
第１カラーフィルタ１１５は、ベイヤー配列の原色フィルタであり、第１光電変換部１１３の入射側に配置されている。第１カラーフィルタ１１５は、複数の赤色フィルタＲと、複数の緑色フィルタＧと、複数の青色フィルタＢと、を有している。赤色フィルタＲは、赤色以外の色の可視光波長域よりも赤色の可視光波長域の方が透過率が高いフィルタである。緑色フィルタＧは、緑色以外の色の可視光波長域よりも緑色の可視光波長域の方が透過率が高いフィルタである。青色フィルタＢは、青色以外の色の可視光波長域よりも青色の可視光波長域の方が透過率が高いフィルタである。
赤色フィルタＲ、緑色フィルタＧおよび青色フィルタＢはマトリックス状に配置されている。具体的には図６（Ａ）に示すように、２行２列に配置された赤色フィルタＲ、２つ緑色フィルタＧおよび青色フィルタＢを１セットとした場合、各セットがマトリックス状に配置されている。１セットのフィルタにおいて、２つの緑色フィルタＧは対角に配置されている。本実施形態では、１つのフィルタが１つの第１光電変換素子１１７に対応する位置に配置されている。なお、第１カラーフィルタ１１５は補色フィルタでもよい。
【００２６】
第１マイクロレンズ１１６は、混色を防止あるいは抑制するためのレンズであり、第１カラーフィルタ１１５の入射側に配置されている。第１カラーフィルタ１１５が第１マイクロレンズ１１６と第１光電変換部１１３との間に配置されている、と言うこともできる。第１マイクロレンズ１１６は各赤色フィルタＲ、各緑色フィルタＧおよび各青色フィルタＢに対応する複数のレンズ部１１６ａを有している。各レンズ部１１６ａは対応するフィルタに光が正しく入射するように集光する。第１マイクロレンズ１１６により第１光電変換部１１３を効率よく照射することができる。
補強ガラス１１２は第１撮像素子１１０の強度を確保するために設けられている。具体的には、補強ガラス１１２は第１マイクロレンズ１１６の入射側に配置されている。補強ガラス１１２には第１マイクロレンズ１１６が樹脂１１８により接着固定されている。
【００２７】
以上のように、第１撮像素子１１０に入射する光は、補強ガラス１１２、樹脂１１８、第１マイクロレンズ１１６、第１カラーフィルタ１１５および第２光電変換部１２３を順に透過し、第１回路部１１４の間を通る。このように、この第１撮像素子１１０では、第１回路部１１４の第１マスク１１４ｂ以外にマスクを設けていないので、第１光電変換部１１３に入射した光の一部が第１光電変換部１１３を透過して第１撮像素子１１０から出射するようになっている。
図４（Ｂ）および図５に示すように、第２撮像素子１２０は、表面照射型撮像素子であって、第１撮像素子１１０から出射した光が入射するように配置されている。具体的には図４（Ｂ）および図５に示すように、第２撮像素子１２０は、第１撮像素子１１０の背面側に配置されており、第２光電変換部１２３と、Ｓｉ基板１２２と、第２回路部１２４と、第２マイクロレンズ１２６と、を有している。第２撮像素子１２０は第１撮像素子１１０とは異なり、カラーフィルタを有していない。
【００２８】
第２光電変換部１２３は、半導体材料で構成されており、入射する光に対して光電変換を行う。具体的には、第２光電変換部１２３はマトリックス状に配置された複数の第２光電変換素子１２７を有している。図４（Ａ）および図４（Ｂ）に示すように、第２撮像素子１２０の第２画素ピッチＲ２は、第１撮像素子１１０の第１画素ピッチＲ１よりも大きく設定されている。図６（Ａ）および図６（Ｂ）に示すように、第２光電変換素子１２７は第１光電変換素子１１７よりも大きく、１つの第２光電変換素子１２７の大きさが４つの第１光電変換素子１１７の大きさに相当する。カラーフィルタが第２光電変換部１２３の入射側に設けられていないので、各第２光電変換素子１２７にはＲ、Ｇ、Ｂの３色の光が入射し得る。第２光電変換部１２３は光を受ける第２撮像面１２３ａを有している。
図６（Ｂ）に示すように、第２回路部１２４は、第２光電変換素子１２７で生成された電気信号を第２アナログ信号処理部１３ｂに出力するための回路であり、複数の第２光電変換素子１２７の境界線１２７ａに沿って格子状に配置されている。第２撮像素子１２０が表面照射型であるため、第２回路部１２４は第２光電変換部１２３の表側（入射側）に配置されている。つまり、第２回路部１２４は第２光電変換素子１２７と第１撮像素子１１０との間に配置されている。
【００２９】
第２回路部１２４は、第２電気回路１２４ａと、第２マスク１２４ｂと、を有している。第２電気回路１２４ａは、トランジスタおよび信号線を含んでおり、複数の第２光電変換素子１２７の境界線１２７ａに対応する位置に配置されている。第２マスク１２４ｂは、第２電気回路１２４ａを覆っており、第２電気回路１２４ａと同様に境界線１２７ａに対応する位置に配置されている。
第２マイクロレンズ１２６は各赤色フィルタＲ、各緑色フィルタＧおよび各青色フィルタＢに対応する複数のレンズ部１２６ａを有している。各レンズ部１２６ａは対応するフィルタに光が正しく入射するように集光する。第２マイクロレンズ１２６により第２光電変換部１２３を効率よく照射することができる。
Ｓｉ基板１２２は、第２撮像素子１２０の強度を確保するために設けられており、第２マイクロレンズ１２６の入射側に配置されている。Ｓｉ基板１２２には第２マイクロレンズ１２６が固定されている。
【００３０】
以上のように、第２撮像素子１２０に入射する光は、第２回路部１２４の間を通って、第２マイクロレンズ１２６、第２カラーフィルタ１２５および第２光電変換部１２３を順に透過する。
第１パッケージ１１１は、第１撮像素子１１０と第２撮像素子１２０との間に配置されている。第１パッケージ１１１には第１撮像素子１１０が固定されている。第１撮像素子１１０は第１パッケージ１１１の前面側に配置されている。第１パッケージ１１１は開口１１１ｂおよび３つのネジ孔１１１ａを有している。開口１１１ｂは第１パッケージ１１１の中央付近に配置されている。第１撮像素子１１０から出射する光は開口１１１ｂを通って第２撮像素子１２０に入射する。第１パッケージ１１１はネジ孔１１１ａを使ってネジ（図示せず）に固定されている。なお、第１パッケージ１１１は接着により固定されていてもよい。
【００３１】
第２パッケージ１２１は、第２撮像素子１２０を支持するための部材であり、第１パッケージ１１１に固定されている。第２パッケージ１２１は第１パッケージ１１１の背面側に配置されており、第２パッケージ１２１には第２撮像素子１２０が固定されている。第１撮像素子１１０と第２撮像素子１２０との間には、所定の隙間が確保されている。
（４）第１画像処理部および第２画像処理部
撮像素子ユニット１００が第１撮像素子１１０および第２撮像素子１２０を有しているので、前述のように、デジタルカメラ１は２つの画像処理部（第１画像処理部１１ａおよび第２画像処理部１１ｂ）を有している。以下、第１画像処理部１１ａおよび第２画像処理部１１ｂの詳細について説明する。
図２に示すように、第１撮像素子１１０から出力された画像信号は、第１アナログ信号処理部１３ａから、第１Ａ／Ｄ変換部１４ａ、第１デジタル信号処理部１５ａ、第１バッファメモリ１６ａおよび第１画像圧縮部１７ａへと、順次送られて処理される。
【００３２】
第１アナログ信号処理部１３ａは、第１撮像素子１１０から出力される画像信号にガンマ処理等のアナログ信号処理を施す。第１Ａ／Ｄ変換部１４ａは、第１アナログ信号処理部１３ａから出力されたアナログ信号をデジタル信号に変換する。第１デジタル信号処理部１５ａは、第１Ａ／Ｄ変換部１４ａによりデジタル信号に変換された画像信号に対してノイズ除去や輪郭強調等のデジタル信号処理を施す。第１バッファメモリ１６ａは、ＲＡＭであり、画像信号を一旦記憶する。第１バッファメモリ１６ａに記憶された画像信号は、画像圧縮部１７から画像記録部１８へと、順次送られて処理される。第１バッファメモリ１６ａに記憶された画像信号は、画像記録制御部１９の命令により読み出されて、画像圧縮部１７に送信される。画像圧縮部１７に送信された画像信号のデータは、画像記録制御部１９の命令に従って画像信号に圧縮処理される。画像信号は、この圧縮処理により、元のデータより小さなデータサイズになる。画像信号の圧縮方法として、例えば１フレームの画像信号毎に圧縮するＪＰＥＧ（Joint Photographic Experts Group）方式が用いられる。その後、圧縮された画像信号は、画像記録制御部１９により画像記録部１８に記録される。また、ユーザーによってＲＡＷデータによる記録が選択された場合は、画像圧縮部１７をスルーして画像記録部１８にＲＡＷデータを記録することも可能である。
【００３３】
一方、第２撮像素子１２０から出力された画像信号は、第２アナログ信号処理部１３ｂから、第２Ａ／Ｄ変換部１４ｂ、第２デジタル信号処理部１５ｂおよび第２バッファメモリ１６ｂへと、順次送られて処理される。
第２アナログ信号処理部１３ｂは、第２撮像素子１２０から出力される画像信号にガンマ処理等のアナログ信号処理を施す。第２Ａ／Ｄ変換部１４ｂは、第２アナログ信号処理部１３ｂから出力されたアナログ信号をデジタル信号に変換する。第２デジタル信号処理部１５ｂは、第２Ａ／Ｄ変換部１４ｂによりデジタル信号に変換された画像信号に対してノイズ除去や輪郭強調等のデジタル信号処理を施す。第２バッファメモリ１６ｂは、ＲＡＭであり、画像信号を一旦記憶する。第２バッファメモリ１６ｂに記憶された画像信号はボディーコントローラ１０により適宜、読み出し可能となっている。
【００３４】
＜デフォーカス判定＞
（１）参考例
２枚の撮像素子を用いたデフォーカス判定方法（焦点検出方法）について説明する前に、１枚の撮像素子を用いたコントラストＡＦについて簡単に説明しておく。
コントラストＡＦでは、ＡＦ評価値に基づいてピント位置を判断する。ＡＦ評価値とは、画像データの空間周波数成分のうち高周波成分を積分して得られた数値である。ＡＦ評価値が大きいほどピントが合っている（画像の鮮鋭度が高い）ことを意味している。
しかし、ＡＦ評価値自体がピント位置を示しているわけではなく、ＡＦ評価値はピント位置を判断するための相対的な指標にしかすぎない。
そこで、コントラストＡＦでは、フォーカスレンズを動かしてＡＦ評価値が最大となるフォーカスレンズの位置を検出する。ＡＦ評価値が最大となるフォーカスレンズの位置を検出するために、いわゆる山登り方式が採用されている。この方式では、フォーカスレンズを一方向に動かしながら所定の周期（例えば、フレームレート）で画像データを取得し、取得された画像データからＡＦ評価値を算出する。ＡＦ評価値のピーク位置を確認するために、ＡＦ評価値が最大となる位置からさらにフォーカスレンズを移動させ、ＡＦ評価値が減少したことを確認した上で、ＡＦ評価値が最大となるフォーカスレンズの位置を特定する。
【００３５】
しかし、撮影条件によってはＡＦ評価値の変化量が小さい場合もあるので、最大のＡＦ評価値を決定するために、ＡＦ評価値の監視はＡＦ評価値が最大となってから３〜４フレーム程度は継続する必要がある。また、各種条件に基づいてフォーカスレンズを最初に移動させる方向を決定するが、最初に決定された方向がピントの合う方向と一致しない場合もありえる。間違った方向にフォーカスレンズを駆動した場合、フォーカスレンズを駆動する方向が正しいか否かを判断するのに、やはり３〜４フレーム程度はＡＦ評価値を監視する必要がある。以上のように、参考例のコントラストＡＦでは、ＡＦ評価値のピークを検出するまでに時間がかかってしまう。
（２）本実施形態
そこで、このデジタルカメラ１では、２枚の撮像素子（第１撮像素子１１０および第２撮像素子１２０）を用いてデフォーカス判定の時間を短縮している。以下、デフォーカス判定処理について説明する。
【００３６】
図７（Ａ）〜図７（Ｄ）は、第１撮像素子１１０の第１撮像面１１３ａ、第２撮像素子１２０の第２撮像面１２３ａ、および光学系Ｏにより形成される光束４５をそれぞれ示している。また、下部に示す円は第１撮像面１１３ａおよび第２撮像面１２３ａにおけるボケ像円を示している。ボケ像円が大きいほど、像がぼけていることを示しており、コントラストＡＦの際に算出されるＡＦ評価値（コントラスト値ともいう）は小さくなる。
ここで、画像記録部１８に記録する画像は、第２撮像素子１２０ではなく、第１撮像素子１１０により生成された画像とする。したがって、ピントが合っている合焦状態とは、光束４５の結像位置ＦＰが第１撮像面１１３ａ上に配置されている状態を意味している。また、いわゆる前ピン状態とは、結像位置ＦＰが第１撮像面１１３ａよりも前側（入射側）に配置されている状態を意味しており、いわゆる後ピン状態とは、結像位置ＦＰが第１撮像面１１３ａよりも後側（出射側）に配置されている状態を意味している。
【００３７】
ここでは、第１撮像素子１１０で生成される電気信号に基づく画像データを第１画像データとし、第２撮像素子１２０で生成される電気信号に基づく画像データを第２画像データとする。さらに、第１画像データから算出されるＡＦ評価値を第１評価値ＥＶ１とし、第２画像データから算出されるＡＦ評価値を第２評価値ＥＶ２とする。
図７（Ａ）および図７（Ｄ）は、後ピン状態を示している。図７（Ａ）に示すように、光束４５の結像位置ＦＰが第１撮像面１１３ａと第２撮像面１２３ａとの間にある状態を、以下、第１後ピン状態と称す。図７（Ｄ）に示すように、結像位置ＦＰが第２撮像面１２３ａより後側に配置されている状態を、以下、第２後ピン状態と称す。図７（Ｂ）は合焦状態を示しており、図７（Ｃ）は前ピン状態を示している。
図７（Ａ）〜図７（Ｄ）に示すように、結像位置ＦＰ、第１撮像面１１３ａおよび第２撮像面１２３ａの位置関係によって、フォーカスレンズＬを移動させた場合の第１画像データおよび第２画像データに基づく画像のボケ像円の変化の仕方が違ってくる。前述のように、ボケ像円が小さくなると、ＡＦ評価値は大きくなり、ボケ像円が大きくなると、ＡＦ評価値は小さくなる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２がどのように変化するのかを監視することで、結像位置ＦＰ、第１撮像面１１３ａおよび第２撮像面１２３ａの位置関係を把握することができる。
【００３８】
具体的には図８（Ａ）および図１０（Ａ）に示すように、フォーカスレンズＬを一方向に駆動している状態で第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加する場合、結像位置ＦＰが前ピン状態または第２後ピン状態であることが分かり、さらに、結像位置ＦＰが第１撮像面１１３ａおよび第２撮像面１２３ａに近づいていることがわかる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加する場合、前ピン状態または第２後ピン状態でフォーカスレンズＬを正しい方向に駆動していると判断できる。
また、図８（Ａ）に示すように、フォーカスレンズＬの駆動を継続し、第１評価値ＥＶ１が第２評価値ＥＶ２よりも先に最大値をとる（ピークを迎える）場合、結像位置ＦＰが前ピン状態から第１後ピン状態に変化したと判断することができる。より詳細には、第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加し、その後、第１評価値ＥＶ１のみが減少に転じた場合、結像位置ＦＰが前ピン状態から第１後ピン状態に変化したと判断できる。
【００３９】
一方、図１０（Ａ）に示すように、フォーカスレンズＬの駆動を継続し、第２評価値ＥＶ２が第１評価値ＥＶ１よりも先に最大値をとる場合、結像位置ＦＰが第２後ピン状態から第１後ピン状態に変化したと判断することができる。より詳細には、第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加し、その後、第２評価値ＥＶ２のみが減少に転じた場合、結像位置ＦＰが第２後ピン状態から第１後ピン状態に変化したと判断できる。
図８（Ｂ）および図１０（Ｂ）に示すように、フォーカスレンズＬを一方向に駆動している状態で第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少する場合、結像位置ＦＰが前ピン状態または第２後ピン状態であることが分かり、さらに、結像位置ＦＰが第１撮像面１１３ａおよび第２撮像面１２３ａから遠ざかっていることがわかる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて、前ピン状態または第２後ピン状態でフォーカスレンズＬを間違った方向に駆動していると判断できる。
【００４０】
また、図８（Ｂ）に示すように、第１評価値ＥＶ１および第２評価値ＥＶ２が減少した後に、フォーカスレンズＬを逆駆動すると、第１評価値ＥＶ１および第２評価値ＥＶ２はともに増加する。その後、第１評価値ＥＶ１が第２評価値ＥＶ２よりも先に最大値をとる場合、図８（Ａ）に示す場合と同様に、結像位置ＦＰが前ピン状態から第１後ピン状態に変化したと判断することができる。
一方、図１０（Ｂ）に示すように、第１評価値ＥＶ１および第２評価値ＥＶ２が減少した後に、フォーカスレンズＬを逆駆動すると、第１評価値ＥＶ１および第２評価値ＥＶ２はともに増加する。その後、第２評価値ＥＶ２が第１評価値ＥＶ１よりも先に最大値をとる場合、図１０（Ａ）に示す場合と同様に、結像位置ＦＰが第２後ピン状態から第１後ピン状態に変化したと判断することができる。
【００４１】
さらに、図９（Ａ）に示すように、フォーカスレンズＬを一方向に駆動している状態で第１評価値ＥＶ１が増加し第２評価値ＥＶ２が減少する場合、結像位置ＦＰが第１後ピン状態であることが分かり、さらに、結像位置ＦＰが第１撮像面１１３ａに近づき、かつ、第２撮像面１２３ａから遠ざかっていることがわかる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて、第１後ピン状態でフォーカスレンズＬを正しい方向に駆動していると判断できる。
一方、図９（Ｂ）に示すように、フォーカスレンズＬを一方向に駆動している状態で第１評価値ＥＶ１が減少し第２評価値ＥＶ２が増加する場合、結像位置ＦＰが第１後ピン状態であることが分かり、さらに、結像位置ＦＰが第１撮像面１１３ａから遠ざかり、かつ、第２撮像面１２３ａに近づいていることがわかる。したがって、第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて、第１後ピン状態でフォーカスレンズＬを間違った方向に駆動していると判断できる。
【００４２】
以上に説明したように、第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて、結像位置ＦＰ、第１撮像面１１３ａおよび第２撮像面１２３ａの位置関係を判定することができる。
＜オートフォーカス＞
上記のデフォーカス判定方法を利用したオートフォーカスについて説明する。ここでは、静止画を撮影する際のシングルＡＦを例にオートフォーカスについて説明する。
静止画撮影モードでは、液晶モニタ２０または液晶ファインダ８に被写体の実時間画像が表示される。このとき、撮像素子ユニット１００の第１撮像素子１１０により所定のフレームレート（例えば３０〔ｆｐｓ〕）で第１画像データが生成される。この状態で、例えばレリーズボタン３０が半押しされると、撮影準備動作が開始される。具体的には図１１に示すように、フォーカスレンズＬが停止している状態で、第１画像データに基づいて第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２撮像素子１２０で生成される第２画像データに基づいて第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ１）。図８（Ａ）〜図１０（Ｂ）に示すように、本実施形態では、第１評価値ＥＶ１および第２評価値ＥＶ２を算出する時間が約２フレーム分に相当している。第１撮像素子１１０への入射光量が第２撮像素子１２０への入射光量よりも多いので、第１評価値ＥＶ１が第２評価値ＥＶ２よりも常に大きくなる。
【００４３】
算出された第１評価値ＥＶ１および第２評価値ＥＶ２はボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに一時的に格納される。このとき、第１画像データの取得タイミングと同じタイミングで位置検出センサ６７により検出されたフォーカスレンズＬの位置情報が、第１評価値ＥＶ１と関連付けられてＲＡＭ１０ａ内の所定のアドレスに記憶される。また、第２画像データの取得タイミングと同じタイミングで位置検出センサ６７により検出されたフォーカスレンズＬの位置情報が、第２評価値ＥＶ２と関連付けられてＲＡＭ１０ａ内の所定のアドレスに記憶される。
本実施形態では、フォーカスレンズＬの位置は位置検出センサ６７により所定の周期で検出され、検出結果はレンズコントローラ４０を介してボディーコントローラ１０に送信される。位置検出センサ６７の検出周期は、第１撮像素子１１０および第２撮像素子１２０のフレームレートに比べて大幅に短いので、第１画像データおよび第２画像データの取得タイミング（つまり、第１タイミングジェネレータ１２ａおよび第２タイミングジェネレータ１２ｂで生成されたタイミング信号がボディーコントローラ１０に入力されるタイミング）と概ね同じタイミングで検出された位置情報を、ボディーコントローラ１０は選択することができる。
【００４４】
次に、フォーカスレンズＬが駆動される（Ｓ２）。駆動方向はフォーカスレンズＬの現在位置や光学系Ｏの焦点距離などの各種情報に基づいてボディーコントローラ１０により決定される。本実施形態では、ステップＳ２での駆動方向をＤ１方向とする。また、駆動量は例えばフォーカスモータ６４の最小駆動量あるいは１フレームでの駆動量とする。フォーカスレンズＬをＤ１方向に駆動した後、第１画像データおよび第２画像データに基づいて、第１評価値算出部５１ａおよび第２評価値算出部５１ｂにより、それぞれ第１評価値ＥＶ１および第２評価値ＥＶ２が算出される（Ｓ３）。このときの第１画像データおよび第２画像データは、ステップＳ１で用いられた第１画像データおよび第２画像データと取得されるタイミングが異なっている。図８（Ａ）〜図１０（Ｂ）では、ステップＳ１で用いられる第１画像データおよび第２画像データの次のフレームの第１画像データおよび第２画像データとなっている。
【００４５】
ステップＳ３で算出された第１評価値ＥＶ１および第２評価値ＥＶ２は、ボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに一時的に格納される。このとき、第１画像データの取得タイミングと同じタイミングで位置検出センサ６７により検出されたフォーカスレンズＬの位置情報が、第１評価値ＥＶ１と関連付けられてＲＡＭ１０ａ内の所定のアドレスに記憶される。また、第２画像データの取得タイミングと同じタイミングで位置検出センサ６７により検出されたフォーカスレンズＬの位置情報が、第２評価値ＥＶ２と関連付けられてＲＡＭ１０ａ内の所定のアドレスに記憶される。
次に、第１評価値判定部５２ａにより第１評価値ＥＶ１の増減が判定され、かつ、第２評価値判定部５２ｂにより第２評価値ＥＶ２の増減が判定され、さらに、第１判定結果および第２判定結果に基づいて状態判定部５３によりフォーカスレンズＬの駆動方向が決定される（Ｓ４〜Ｓ６）。具体的には、ボディーコントローラ１０のＲＡＭ１０ａに記憶されている２つの第１評価値ＥＶ１が第１評価値判定部５２ａにより比較され、第１評価値判定部５２ａにより、第１評価値ＥＶ１の増減を示す第１判定結果が生成される。第１判定結果はＲＡＭ１０ａに記憶される。また、ボディーコントローラ１０のＲＡＭ１０ａに記憶されている２つの第２評価値ＥＶ２が第２評価値判定部５２ｂにより比較され、第２評価値判定部５２ｂにより、第２評価値ＥＶ２の増減を示す第２判定結果が生成される。第２判定結果はＲＡＭ１０ａに記憶される。
【００４６】
第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加している場合は、フォーカスレンズＬの駆動方向が正しいので、フォーカスレンズＬのＤ１方向への駆動が開始される（Ｓ４、Ｓ８Ａ）。一方、第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少している場合は、フォーカスレンズＬの駆動方向が間違っているので、フォーカスレンズＬのＤ２方向への駆動が開始される（Ｓ５、Ｓ８Ｂ）。
また、第１評価値ＥＶ１が増加し第２評価値ＥＶ２が減少している場合は、フォーカスレンズＬの駆動方向が正しいので、フォーカスレンズＬのＤ１方向への駆動が開始される（Ｓ６、Ｓ２０Ａ）。一方、第１評価値ＥＶ１が減少し第２評価値ＥＶ２が増加している場合は、フォーカスレンズＬの駆動方向が間違っているので、フォーカスレンズＬのＤ２方向への駆動が開始される（Ｓ６、Ｓ２０Ｂ）。
【００４７】
図１２に示すフローについて説明すると、ステップＳ８ＡおよびＳ８Ｂの後、第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ９）。第１評価値ＥＶ１および第２評価値ＥＶ２の算出後、第１評価値判定部５２ａにより第１評価値ＥＶ１の増減が判定され、第２評価値判定部５２ｂにより第２評価値ＥＶ２の増減が判定される。さらに。第１判定結果および第２判定結果に基づいて、状態判定部５３により第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加しているか否かが判定される（Ｓ１０）。第１評価値ＥＶ１および第２評価値ＥＶ２のうちいずれか一方でも減少している場合は、処理がステップＳ１に戻り、駆動方向の判定が再度行われる。一方、第１評価値ＥＶ１および第２評価値ＥＶ２がともに増加している場合、フォーカスレンズＬの駆動が継続される（Ｓ１１）。
【００４８】
フォーカスレンズＬの駆動が継続されている状態で、第１評価値判定部５２ａ、第２評価値判定部５２ｂおよび状態判定部５３により、第１評価値ＥＶ１および第２評価値ＥＶ２の増減の判定が繰り返される（Ｓ１２Ａ、Ｓ１２Ｂ）。第１評価値ＥＶ１が減少し、かつ、第２評価値ＥＶ２が増大している場合、第１評価値ＥＶ１がピークを迎えているので、合焦演算部５４により第１評価値ＥＶ１に基づいて合焦状態に対応するフォーカスレンズＬの位置が算出される（Ｓ１２Ａ、Ｓ１３Ａ）。具体的には、合焦演算部５４により、第１判定結果に基づいて第１評価値ＥＶ１のピークが判定され、ＲＡＭ１０ａに記憶されている複数の第１評価値ＥＶ１に基づいてピークに対応する第１評価値ＥＶ１が選択される。選択された第１評価値ＥＶ１は第１最大評価値としてボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに記憶される。
【００４９】
さらに、合焦演算部５４により、一連の第１評価値ＥＶ１の変化曲線が演算により求められ、その最大値（頂点）に対応するフォーカスレンズＬの位置情報が算出される。合焦演算部５４により算出された位置情報はボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに目標位置として記憶される。この目標位置はボディーコントローラ１０からレンズコントローラ４０に送信され、レンズコントローラ４０のＲＡＭ４０ａに記憶される。
合焦位置演算後、フォーカスレンズＬの逆駆動が開始され（Ｓ１４Ａ）、フォーカスレンズＬがフォーカスモータ６４により目標位置まで駆動される。具体的には、位置検出センサ６７により所定の周期で検出されるフォーカスレンズＬの現在位置が、レンズコントローラ４０のＲＡＭ４０ａに記憶されている目標位置とフォーカス駆動制御部４１により順次比較される（Ｓ１５Ａ）。検出された現在位置と目標位置とが一致するとフォーカス駆動制御部４１が判定すると、フォーカス駆動制御部４１によりフォーカスレンズＬの駆動が停止される（Ｓ１６Ａ）。この結果、第１評価値ＥＶ１が最大となる位置でフォーカスレンズＬが停止し、ピントの合った画像を第１撮像素子１１０により取得することができる。
【００５０】
一方、ステップＳ１２Ａにおいて、条件を満たしていないと判断された場合、第２評価値ＥＶ２がピークを迎えているか否かを判定するために、第１判定結果および第２判定結果に基づいて、状態判定部５３により第１評価値ＥＶ１および第２評価値ＥＶ２の増減が確認される（Ｓ１２Ｂ）。第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少している場合、合焦状態に対応するフォーカスレンズＬの位置が合焦予測部５５により予測される（Ｓ１３Ｂ）。ここで、合焦位置予測演算について説明する。
第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少している場合、第２評価値ＥＶ２が第１評価値ＥＶ１よりも先にピークを迎えているので、図１０（Ａ）および図１０（Ｂ）に示すように、さらにフォーカスレンズＬの駆動を継続すると、結像位置ＦＰが第１撮像素子１１０の第１撮像面１１３ａに到達する。つまり、第２撮像面１２３ａから第１撮像面１１３ａまで結像位置ＦＰを移動させるために必要なフォーカスレンズＬの移動距離が分かれば、第２評価値ＥＶ２のピークに対応する位置からその移動距離だけフォーカスレンズＬを駆動することで、結像位置ＦＰを第１撮像面１１３ａ上に移動させることができる。
【００５１】
これを利用すると、ステップＳ１２Ｂにおいて、第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少していると判断される場合、第２評価値ＥＶ２に基づいて合焦位置に対応するフォーカスレンズＬの位置が合焦予測部５５により算出される（Ｓ１３Ｂ）。具体的には、合焦予測部５５により、一連の第２評価値ＥＶ２の変化曲線が演算により求められ、その最大値（頂点）に対応する第２評価値ＥＶ２が算出される。算出された第２評価値ＥＶ２は第２最大評価値としてボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに記憶される。
さらに、合焦予測部５５により、第２最大評価値と関連付けられているフォーカスレンズＬの位置情報が選択される。合焦予測部５５により選択された位置情報はボディーコントローラ１０のＲＡＭ１０ａ内の所定のアドレスに基準位置として記憶される。選択された基準位置、ボディーコントローラ１０のＲＯＭ１０ｂに予め記憶されているＫ値およびレンズコントローラ４０から送信される焦点距離情報に基づいて、合焦予測部５５により合焦位置に対応するフォーカスレンズＬの位置が目標位置として算出される。
【００５２】
ここで、Ｋ値とは、フォーカスレンズＬの移動量に対するバックフォーカスの変位量の割合を示している。したがって、Ｋ値を用いることで、第２撮像面１２３ａから第１撮像面１１３ａまで結像位置ＦＰを移動させるために必要な距離を算出することができる。光学系Ｏの焦点距離に応じてＫ値が変化する場合、レンズコントローラ４０には予め各焦点距離に対応するＫ値が格納されている。
このように、合焦予測部５５により、結像位置ＦＰを第１撮像面１１３ａ上に移動させるために必要なフォーカスレンズＬの移動距離が算出され、フォーカスレンズＬの目標位置が算出される。
合焦位置予測演算後、フォーカスレンズＬの駆動が継続され（Ｓ１４Ｂ）、フォーカスレンズＬがフォーカスモータ６４により目標位置まで駆動される。具体的には、位置検出センサ６７により所定の周期で検出されるフォーカスレンズＬの現在位置が、レンズコントローラ４０のＲＡＭ４０ａに記憶されている目標位置とフォーカス駆動制御部４１により順次比較される（Ｓ１５Ｂ）。検出された現在位置と目標位置とが一致するとフォーカス駆動制御部４１が判定すると、フォーカス駆動制御部４１によりフォーカスレンズＬの駆動が停止される（Ｓ１６Ｂ）。この結果、第１評価値ＥＶ１が最大となる位置でフォーカスレンズＬが停止し、ピントの合った画像を第１撮像素子１１０により取得することができる。
【００５３】
また、図１３に示すフローについて説明すると、ステップＳ２０ＡおよびＳ２０Ｂの後、第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ２１）。第１評価値ＥＶ１および第２評価値ＥＶ２の算出後、第１評価値判定部５２ａにより第１評価値ＥＶ１の増減が判定され、第２評価値判定部５２ｂにより第２評価値ＥＶ２の増減が判定される。さらに、第１判定結果および第２判定結果に基づいて、第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少しているか否かが状態判定部５３により判定される（Ｓ２２）。第１評価値ＥＶ１が増加し、かつ、第２評価値ＥＶ２が減少している場合は、フォーカスレンズＬの駆動が継続され（Ｓ２３）、この条件を満たしていない場合は、処理がステップＳ１に戻る。
ステップＳ２３の後、フォーカスレンズＬの駆動が継続されている状態で、第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少しているか否かが状態判定部５３により判定される（Ｓ２４）。第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少している場合は、ステップＳ１３Ａと同様に、合焦演算部５４により合焦位置演算が行われる（Ｓ２５）。また、ステップＳ１４Ａ〜Ｓ１６Ａと同様に、フォーカスレンズＬが目標位置まで駆動される（Ｓ２６〜Ｓ２８）。この結果、第１評価値ＥＶ１が最大となる位置でフォーカスレンズＬが停止し、ピントの合った画像を第１撮像素子１１０により取得することができる。一方、ステップＳ２４において、上記の条件を満たしていない場合は、フォーカスレンズＬの駆動が継続され、ステップＳ２３およびＳ２４が繰り返される（Ｓ２３、Ｓ２４）。
【００５４】
このように、このデジタルカメラ１では、第１撮像素子１１０および第２撮像素子１２０の２つの撮像素子でＡＦ評価値を取得し、２つのＡＦ評価値に基づいてコントラストＡＦを行っているので、焦点検出時に必要とされる時間を大幅に短縮することができる。
＜コンティニュアスＡＦ＞
さらに、図１４に示すタイムチャートのように、コンティニュアスＡＦの場合も再合焦にかかる時間を短縮することができる。コンティニュアスＡＦでは、合焦状態を保つために連続的にオートフォーカスが行われる。例えば、動画撮影時や、あるいは、シングルＡＦで合焦状態となった後（ステップＳ１６Ａ、Ｓ１６Ｂ、Ｓ２８の後）に、コンティニュアスＡＦが実行される。
具体的には図１４および図１５に示すように、第１撮像素子１１０および第２撮像素子１２０により所定のフレームレートで画像データが取得されている状態で、第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ３１）。次に、第１評価値ＥＶ１および第２評価値ＥＶ２の増減がそれぞれ状態判定部５３により判定される（Ｓ３２、Ｓ３３）。具体的には、ステップＳ３１において算出された第１評価値ＥＶ１に基づいて、第１評価値判定部５２ａにより第１評価値ＥＶ１の増減を示す第１判定結果が生成される。また、ステップＳ３１において算出された第２評価値ＥＶ２に基づいて、第２評価値判定部５２ｂにより第２評価値ＥＶ２の増減を示す第２判定結果が生成される。
【００５５】
さらに、第１判定結果に基づいて状態判定部５３により第１評価値ＥＶ１が減少しているか否かが判定される（Ｓ３２）。第１評価値ＥＶ１が減少していない場合、ピントがずれていないので、第１評価値ＥＶ１および第２評価値ＥＶ２の算出が繰り返される（Ｓ３２、Ｓ３１）。一方、第１評価値ＥＶ１が減少している場合、撮影条件が変わるなどの理由でピントがずれている（図１４のＪ１）。したがって、フォーカスレンズＬの駆動方向を決定するために、第２判定結果に基づいて状態判定部５３により第２評価値ＥＶ２が減少しているか否かが判定される（Ｓ３３）。
第２評価値ＥＶ２が減少している場合、結像位置ＦＰが前ピン状態と考えられるので、状態判定部５３によりフォーカスレンズＬの駆動方向がＤ２方向と決定される（図１４のＪ２）。第２評価値ＥＶ２が増加している場合、結像位置ＦＰが第１後ピン状態と考えられるので、状態判定部５３によりフォーカスレンズＬの駆動方向がＤ１方向と決定される（図１４のＪ３）。ステップＳ３３の後、合焦演算部５４により合焦位置演算が行われる（Ｓ３４Ａ）。第１評価値ＥＶ１の変化量、フォーカスレンズＬの駆動方向および必要駆動量の関係が予めボディーコントローラ１０のＲＯＭ１０ｂに記憶されている。したがって、合焦位置演算の際、その関係を用いて、第１評価値ＥＶ１に基づいてフォーカスレンズＬの目標位置（図１４のＪ４およびＪ５）が合焦演算部５４により算出される（Ｓ３４Ａ）。
【００５６】
合焦位置演算後、フォーカスレンズＬのＤ２方向への駆動が開始され（Ｓ３５Ａ）、目標位置にフォーカスレンズＬが到達すると、フォーカスレンズＬの駆動がフォーカス駆動制御部４１により停止される（Ｓ３６Ａ、Ｓ３７Ａ）。この結果、フォーカスレンズＬが合焦状態に対応する位置まで駆動することができ、ピントが再度合った状態となる。
一方、第２評価値ＥＶ２が増加している場合、結像位置ＦＰが第１後ピン状態と考えられるので、状態判定部５３によりフォーカスレンズＬの駆動方向がＤ１方向と決定される。ステップＳ３３の後、合焦演算部５４により合焦位置演算が行われる（Ｓ３４Ｂ）。合焦演算後、フォーカスレンズＬのＤ２方向への駆動が開始され（Ｓ３５Ｂ）、目標位置にフォーカスレンズＬが到達すると、フォーカスレンズＬの駆動が停止される（Ｓ３６Ｂ、Ｓ３７Ｂ）。この結果、フォーカスレンズＬが合焦状態に対応する位置まで駆動することができ、ピントが再度合う（図１４のＪ６およびＪ７）。
【００５７】
ステップＳ３７ＡおよびＳ３７Ｂの後、ステップＳ３１から上記の処理が繰り返される。これにより、ピントがずれても自動的にフォーカスが調整され、合焦状態が保たれる。
なお、参考例として図１６（Ａ）および（Ｂ）に１枚の撮像素子を用いる場合を示しているが、この場合、ウォブリングと呼ばれるフォーカスレンズの微小な往復運動を行い、ＡＦ評価値を比較することで、ピントがどちらにずれたのかを判断する。さらに、山登り方式によるコントラストＡＦを併用したり（図１６（Ａ））、あるいは、ウォブリングを継続したりすることで、再合焦させている。
しかし、図１６（Ａ）および（Ｂ）からも分かるように、この方法では、ピントがずれてから再合焦するまで、１１〜１２フレームを要している。この撮像素子のフレームレートが３０〔ｆｐｓ〕であれば、約４００〔ｍｓｅｃ〕が必要であることがわかり、フレームレートが６０〔ｆｐｓ〕の場合であっても、約２００〔ｍｓｅｃ〕が必要であることがわかる。
【００５８】
一方、図１４に示すように、前述のコンティニュアスＡＦであれば、ピントがずれてから再合焦するまで５フレームを要するが、フレームレートが３０〔ｆｐｓ〕であれば、約１６６〔ｍｓｅｃ〕で再合焦が可能であり、フレームレートが６０〔ｆｐｓ〕であれば、わずか８３〔ｍｓｅｃ〕で再合焦が可能であることがわかる。
以上のように、２枚の撮像素子を用いてコンティニュアスＡＦを行うことで、コンティニュアスＡＦでの再合焦時間を大幅に短縮することができる。ウォブリング駆動する必要が無いので、フォーカスレンズＬの移動に起因する像のちらつきが無くなる。さらに光学設計においても、フォーカスレンズＬの像倍率変化を抑える制約が小さくなり、設計の自由度が増す。したがって、光学系Ｏを小型化することができる。
＜特徴＞
以上に説明したように、このデジタルカメラ１では、第１撮像素子１１０および第２撮像素子１２０を備えているので、同じタイミングで２つの画像データ（第１画像データおよび第２画像データ）を取得することができる。第１画像データから算出される第１評価値ＥＶ１に加えて、第２画像データから算出される第２評価値ＥＶ２を補助的に用いることで、ＡＦ評価値の信頼性が高まる。したがって、コントラストＡＦにおいてＡＦ評価値の変動を判定する時間を短縮することができ、焦点検出の速度を高めることができる。
【００５９】
また、結像位置ＦＰ、第１光電変換部１１３の第１撮像面１１３ａおよび第２光電変換部１２３の第２撮像面１２３ａの位置関係を、第１画像データから算出される第１評価値ＥＶ１の増減および第２画像データから算出される第２評価値ＥＶ２の増減に基づいて判定することができる。したがって、フォーカスレンズＬの正しい駆動方向を第１評価値ＥＶ１および第２評価値ＥＶ２に基づいて迅速に判定することができ、焦点検出の速度をさらに高めることができる。
〔第２実施形態〕
以下、第２実施形態について説明する。なお、前述の第１実施形態の構成と実質的に同じ機能を有する構成については、同じ符号を付し、その詳細な説明は省略する。
前述の第１実施形態では、第２撮像素子１２０がカラーフィルタを有していないが、第２撮像素子１２０が第２カラーフィルタ１２５を有していてもよい。例えば図１７（Ａ）、図１７（Ｂ）、図１８（Ａ）および図１８（Ｂ）に示すように、第２カラーフィルタ１２５は、ベイヤー配列の原色フィルタであり、第２光電変換部１２３の入射側に配置されている。第２カラーフィルタ１２５は、複数の赤色フィルタＲと、複数の緑色フィルタＧと、複数の青色フィルタＢと、を有している。赤色フィルタＲは、赤色以外の色の可視光波長域よりも赤色の可視光波長域の方が透過率が高いフィルタである。緑色フィルタＧは、緑色以外の色の可視光波長域よりも緑色の可視光波長域の方が透過率が高いフィルタである。青色フィルタＢは、青色以外の色の可視光波長域よりも青色の可視光波長域の方が透過率が高いフィルタである。
【００６０】
赤色フィルタＲ、緑色フィルタＧおよび青色フィルタＢはマトリックス状に配置されている。具体的には、２行２列に配置された赤色フィルタＲ、２つ緑色フィルタＧおよび青色フィルタＢを１セットとした場合、各セットがマトリックス状に配置されている。１セットのフィルタにおいて、２つの緑色フィルタＧは対角に配置されている。本実施形態では、１つのフィルタが１つの第２光電変換素子１２７に対応する位置に配置されている。なお、第２カラーフィルタ１２５は補色フィルタでもよい。
また、第２カラーフィルタ１２５の赤色フィルタＲ、緑色フィルタＧおよび青色フィルタＢは、第２光電変換素子１２７と同様に、４枚の第１光電変換素子１１７と同じ大きさを有している。したがって、第１カラーフィルタ１１５の１枚の赤色フィルタＲ、１枚の青色フィルタＢおよび２枚の緑色フィルタＧを通った光が第２カラーフィルタ１２５の１枚の赤色フィルタＲ、青色フィルタＢまたは２枚の緑色フィルタＧに入射する。これにより、１つの第２光電変換素子１２７には１色の光だけが入射する。
【００６１】
このような第２撮像素子１２０を用いても、第１実施形態と同様の効果を得ることができる。
〔第３実施形態〕
以下、第３実施形態について説明する。なお、前述の第１および第２実施形態の構成と実質的に同じ機能を有する構成については、同じ符号を付し、その詳細な説明は省略する。
前述の第１および第２実施形態では、第１撮像素子１１０および第２撮像素子１２０は光軸ＡＺに平行な方向に相対移動しないが、第１撮像素子１１０および第２撮像素子１２０を互いに相対移動可能に配置してもよい。
＜構成＞
例えば図１９および図２０に示すように、第３実施形態に係る撮像素子ユニット２００は、第１撮像素子１１０と、第２撮像素子１２０と、第１パッケージ２１１と、第２パッケージ２２１と、調整機構２０３と、温度調整部２０４と、を備えている。
【００６２】
第１パッケージ２１１は、第１撮像素子１１０を支持しており、筐体（図示せず）に固定されている。第１パッケージ２１１には第１撮像素子１１０が固定されている。
第２パッケージ２２１は、第２撮像素子１２０を支持しており、調整機構２０３により第１パッケージ２１１に連結されている。第２パッケージ２２１には第２撮像素子１２０が固定されている。
調整機構２０３は、第１パッケージ２１１および第２パッケージ２２１を連結しており、第１撮像素子１１０および第２撮像素子１２０の間の距離を調整する。具体的には、調整機構２０３は、４本の連結ワイヤ２３０と、４つの第１固定ブッシュ２３３と、４つの第２固定ブッシュ２３４と、４つのバイアスばね２３１と、を有している。
４つの第１固定ブッシュ２３３は、第１パッケージ２１１を連結ワイヤ２３０に連結しており、第１パッケージ２１１および連結ワイヤ２３０に固定されている。４つの第２固定ブッシュ２３４は、第２パッケージ２２１を連結ワイヤ２３０に連結しており、第２パッケージ２２１および第２パッケージ２２１に固定されている。
【００６３】
連結ワイヤ２３０は、いわゆる形状記憶合金で形成されている。連結ワイヤ２３０の線膨張係数は、第１パッケージ２１１、第２パッケージ２２１、第１固定ブッシュ２３３および第２固定ブッシュ２３４の線膨張係数よりも大幅に大きい。４本の連結ワイヤ２３０は、温度調整部２０４と電気的に接続されている。温度調整部２０４は、連結ワイヤ２３０に電流を流すことで連結ワイヤ２３０の温度を調整し、連結ワイヤ２３０の長さを自在に変化させる。本実施形態では、第２撮像素子１２０の通常位置を図２０に示す位置Ｐ１とすると、温度調整部２０４により第２撮像素子１２０は位置Ｐ２まで第１撮像素子１１０側に駆動される。
４つのバイアスばね２３１は、第１パッケージ２１１および第２パッケージ２２１の間に挟み込まれており、第１パッケージ２１１および第２パッケージ２２１が互いに離れるように第１パッケージ２１１および第２パッケージ２２１を押圧する。バイアスばね２３１には連結ワイヤ２３０が挿入されている。連結ワイヤ２３０により第１パッケージ２１１および第２パッケージ２２１が光軸ＡＺに平行な方向に連結されているので、バイアスばね２３１の弾性力により第１パッケージ２１１および第２パッケージ２２１の相対位置が安定する。また、連結ワイヤ２３０の長さが変化すると、長さの変化に応じて第１パッケージ２１１および第２パッケージ２２１の間の距離Ｑが変化する。距離Ｑの変化に応じてバイアスばね２３１が伸縮するので、第１パッケージ２１１および第２パッケージ２２１の相対位置を安定させつつ、距離Ｑを変更することができる。
【００６４】
温度調整部２０４は連結ワイヤ２３０に流れる電流を変化させる。温度調整部２０４の出力はボディーコントローラ１０により制御される。
＜動作＞
図２１〜図２３を用いて、以上に説明した撮像素子ユニット２００の動作をコンティニュアスＡＦモードを例に説明する。
図２２に示すように、第１撮像素子１１０および第２撮像素子１２０により所定のフレームレートで画像データが取得されている状態で、第１評価値算出部５１ａにより第１評価値ＥＶ１が算出され、第２評価値算出部５１ｂにより第２評価値ＥＶ２が算出される（Ｓ４１）。本実施形態では、図２１のタイムチャートに示すように、第２撮像素子１２０のフレームレートは第１撮像素子１１０のフレームレートの２倍である。したがって、１つの第１評価値ＥＶ１が算出される間に、２つの第２評価値ＥＶ２が算出される。
【００６５】
第２評価値ＥＶ２の算出周期は第１評価値ＥＶ１の算出周期の半分であるため、ピントがずれたか否かは第２評価値ＥＶ２の増減により判定するのが好ましい。したがって、図２２に示すように、第２評価値ＥＶ２が変化したか否かが判定される（Ｓ４２）。具体的には、第２評価値ＥＶ２に基づいて第２評価値判定部５２ｂにより第２判定結果が生成される。第２評価値ＥＶ２が一定であれば、算出された第２評価値ＥＶ２が基準評価値ＥＶ２ｓとしてボディーコントローラ１０のＲＡＭ１０ａに記憶され（Ｓ４３）、ステップＳ４１およびＳ４２が繰り返される。
一方、第２評価値ＥＶ２が変化した場合は、第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少しているか否かが状態判定部５３により判定される（Ｓ４４）。具体的には、第１評価値判定部５２ａにより生成された第１判定結果および第２評価値判定部５２ｂにより生成された第２判定結果に基づいて、状態判定部５３によりフォーカスレンズＬの駆動方向が判定される。
【００６６】
第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少している場合は、合焦状態から前ピン状態に結像位置ＦＰが変化しているので、状態判定部５３により駆動方向がＤ２方向と決定される（Ｓ４４、Ｓ４５Ａ）。一方、第１評価値ＥＶ１および第２評価値ＥＶ２がともに減少していない場合は、合焦状態から第１後ピン状態に結像位置ＦＰが変化しているので、状態判定部５３により駆動方向がＤ１方向と決定される（Ｓ４４、Ｓ４５Ｂ）。ステップＳ４５ＡおよびＳ４５Ｂでは、決定された駆動方向にフォーカスレンズＬが駆動される（Ｓ４５Ａ、Ｓ４５Ｂ）。
その後、第２撮像素子１２０の駆動が開始される（Ｓ４６）。具体的には、温度調整部２０４により連結ワイヤ２３０の温度が調整され、通常位置Ｐ１および駆動位置Ｐ２の間の往復運動が所定の周期で繰り返される。第２撮像素子１２０が通常位置Ｐ１から駆動位置Ｐ２を経て再度通常位置Ｐ１に戻るまでの周期は、第１撮像素子１１０のフレームレートと同じに設定されている。例えば、温度調整部２０４は第１タイミングジェネレータ１２ａからボディーコントローラ１０に送られるタイミング信号を利用して、第２撮像素子１２０の往復駆動を第１撮像素子１１０のフレームレートと同期させている。
【００６７】
第２撮像素子１２０が往復駆動されている状態で、通常位置Ｐ１および駆動位置Ｐ２に対応する第２評価値ＥＶ２がそれぞれ第２評価値算出部５１ｂにより算出される（Ｓ４７）。通常位置Ｐ１に対応する第２評価値ＥＶ２は第２評価値ＥＶ２ａとしてＲＡＭ１０ａに記憶され、駆動位置Ｐ２に対応する第２評価値ＥＶ２は第２評価値ＥＶ２ｂとしてＲＡＭ１０ａに記憶される。
第２評価値ＥＶ２ａが基準評価値ＥＶ２ｓよりも小さく、かつ、第２評価値ＥＶ２ｂが基準評価値ＥＶ２ｓよりも大きい場合、第２評価値ＥＶ２が合焦位置に相当する値となる第２撮像素子１２０の位置が通常位置Ｐ１および駆動位置Ｐ２の間に存在する、ということを意味している。この位置を特定することができれば、その位置を基準に合焦状態にするために必要なフォーカスレンズＬの駆動量を算出することができる。したがって、ステップＳ４８において上記の条件が満たされている場合、合焦演算部５４により合焦位置演算が行われる（Ｓ４８、Ｓ４９）。例えば、第２評価値ＥＶ２ａ、ＥＶ２ｂおよび基準評価値ＥＶ２ｓから、基準評価値ＥＶ２ｓに対応するフォーカスレンズＬの位置を算出することで、フォーカスレンズＬの目標位置を算出することができる。
【００６８】
一方、上記の条件を満たしていない場合、第２評価値ＥＶ２ａおよびＥＶ２ｂの算出が繰り返される（Ｓ４８、Ｓ４７）。
合焦位置演算後、フォーカスレンズＬのＤ２方向への逆駆動が開始され（Ｓ５０）、目標位置にフォーカスレンズＬが到達すると、フォーカスレンズＬの駆動がフォーカス駆動制御部４１により停止される（Ｓ５１、Ｓ５２）。この結果、フォーカスレンズＬが合焦状態に対応する位置まで駆動することができ、ピントが再度合った状態となる。
このように、第２撮像素子１２０を駆動可能な撮像素子ユニット２００であっても、コンティニュアスＡＦを行うことができる。
〔他の実施形態〕
本発明の実施形態は、前述の実施形態に限られず、本発明の趣旨を逸脱しない範囲で種々の修正および変更が可能である。また、前述の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
【００６９】
（１）前述の実施形態では、デジタルカメラは静止画および動画の撮影が可能であるが、静止画撮影のみ可能であってもよい。
（２）前述の技術は、フォーカシング機能を有する撮像装置に適用可能である。撮像装置としては、例えばデジタルスチルカメラ（レンズ交換式デジタルカメラも含む）、デジタルビデオカメラ、カメラ付き携帯電話およびカメラ付きＰＤＡが考えられる。
（３）前述のデジタルカメラ１はクイックリターンミラーを有していないが、従来のデジタル一眼レフカメラのようにクイックリターンミラーが搭載されていてもよい。
（４）前述の第３実施形態では、連結ワイヤ２３０およびバイアスばね２３１を用いて第２撮像素子１２０を駆動しているが、第２撮像素子１２０を駆動する構成はこれに限定されない。例えば、図２４に示すように圧電素子３３０を用いてもよい。この場合、圧電素子３３０は第１パッケージ２１１および第２パッケージ２２１の間に挟みこまれている。また、圧電素子３３０を駆動する圧電素子駆動装置３４０が設けられている。
【産業上の利用可能性】
【００７０】
上記の技術であればＡＦの速度が高まるので、上記の技術は撮像装置の分野で有用である。
【符号の説明】
【００７１】
１ デジタルカメラ（撮像装置の一例）
１００ 撮像素子ユニット
１１０ 第１撮像素子
１１１ 第１パッケージ
１１２ 第１補強ガラス基板
１１３ 第１光電変換部
１１４ 第１回路部
１１５ 第１カラーフィルタ
１１６ 第１マイクロレンズ
１２０ 第２撮像素子
１２１ 第２パッケージ
１２２ 第２補強ガラス基板
１２３ 第２光電変換部
１２４ 第２回路部
１２５ 第２カラーフィルタ
１２６ 第２マイクロレンズ
５１ａ 第１評価値算出部
５１ｂ 第２評価値算出部
５２ａ 第１評価値判定部
５２ｂ 第２評価値判定部
５３ 状態判定部
５４ 合焦演算部
５５ 合焦予測部
２３０ 連結ワイヤ
２３１ バイアスばね
２３３ 固定ブッシ
４５ 被写体光束
【特許請求の範囲】
【請求項１】
光を電気信号に変換する第１光電変換部を有する第１撮像素子と、
前記第１光電変換部から出射する光が入射するように配置された素子であって、前記第１光電変換部から出射する光を電気信号に変換する第２光電変換部を有する第２撮像素子と、
前記第１撮像素子で得られる第１画像データおよび前記第２撮像素子で得られる第２画像データに基づいて焦点検出を行う焦点検出部と、
を備えた撮像装置。
【請求項２】
前記焦点検出部は、前記第１画像データの空間周波数成分に基づいて第１評価値を算出する第１評価値算出部と、前記第２画像データの空間周波数成分に基づいて第２評価値を算出する第２評価値算出部と、を有している、
請求項１に記載の撮像装置。
【請求項３】
前記焦点検出部は、前記第１評価値の増減を判定する第１評価値判定部と、前記第２評価値の増減を判定する第２評価値判定部と、を有しており、
前記第１評価値判定部は、前記第１評価値の増減を示す第１判定結果を生成し、
前記第２評価値判定部は、前記第２評価値の増減を示す第２判定結果を生成する、
請求項２に記載の撮像装置。
【請求項４】
前記焦点検出部は、前記第１光電変換部に入射する光の結像位置と前記第１光電変換部との位置関係を前記第１判定結果および前記第２判定結果に基づいて判定する状態判定部を有している、
請求項３に記載の撮像装置。
【請求項５】
前記状態判定部は、前記第１判定結果および前記第２判定結果の組み合わせに基づいて前記第１光電変換部に入射する光の結像位置と前記第１光電変換部との位置関係を判定する、
請求項４に記載の撮像装置。
【請求項６】
前記状態判定部は、前記第１光電変換部に入射する光の結像位置と前記第２光電変換部との位置関係を前記第１判定結果および前記第２判定結果に基づいて判定する、
請求項３から５のいずれかに記載の撮像装置。
【請求項７】
前記状態判定部は、前記第１判定結果および前記第２判定結果の組み合わせに基づいて前記第１光電変換部に入射する光の結像位置と前記第２光電変換部との位置関係を判定する、
請求項６に記載の撮像装置。
【請求項８】
被写体の光学像を形成するように設けられ、フォーカスレンズを含む光学系をさらに備え、
前記焦点検出部は、前記第１評価値の最大値が検出される前に前記第２判定結果に基づいて合焦状態に対応する前記フォーカスレンズの目標位置を予測する合焦予測部を有している、
請求項３から７のいずれかに記載の撮像装置。
【請求項９】
前記合焦予測部は、前記第２評価値のピークを基準に前記目標位置を予測する、
請求項８に記載の撮像装置。
【請求項１０】
前記第１撮像素子は、前記第１光電変換部と前記第２光電変換部との間に配置され前記第１光電変換部で生成される電気信号が流れる第１回路部を有している、
請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記第２撮像素子は、前記第１光電変換部と前記第２光電変換部との間に配置され前記第２光電変換部で生成される電気信号が流れる第２回路部を有している、
請求項１から１０のいずれかに記載の撮像装置。
【請求項１２】
前記第１撮像素子は、前記第１光電変換部の前記第２撮像素子と反対側に配置された第１マイクロレンズと、前記第１光電変換部と前記第１マイクロレンズとの間に配置された第１カラーフィルタと、を有している、
請求項１から１１のいずれかに記載の撮像装置。
【請求項１３】
前記第１光電変換部は、複数の第１光電変換素子を有しており、
前記複数の第１光電変換素子は、２色以上の光が入射可能に配置されている、
請求項１から１２のいずれかに記載の撮像装置。
【請求項１４】
前記第２撮像素子は、前記第２光電変換部と前記第１撮像素子との間に配置された第２カラーフィルタを有している、
請求項１から１２のいずれかに記載の撮像装置。
【請求項１５】
前記第２撮像素子は、前記第２光電変換部と前記第１撮像素子との間に配置され前記第１光電変換部を透過する光を前記第２光電変換部に向けて集光する第２マイクロレンズを有している、
請求項１から１４のいずれかに記載の撮像装置。
【請求項１６】
前記第２光電変換部の画素ピッチは、前記第１光電変換部の画素ピッチよりも大きい、
請求項１から１５のいずれかに記載の撮像装置。
【請求項１７】
前記第１撮像素子および前記第２撮像素子の間の距離を調整可能に設けられた調整機構をさらに備えた、
請求項１から１６のいずれかに記載の撮像装置。
【請求項１８】
前記調整機構は、前記第１撮像素子を前記第２撮像素子に連結する少なくとも１つの線状部材と、前記第１撮像素子および前記第２撮像素子が互いに離れるように前記第１撮像素子および前記第２撮像素子を押圧する弾性部材と、前記線状部材の温度を調整する温度調整部と、を有している、
請求項１から１７のいずれかに記載の撮像装置。
【請求項１９】
前記調整機構は、前記第１撮像素子および前記第２撮像素子を移動可能に連結する圧電素子を有している、
請求項１から１７のいずれかに記載の撮像装置。
【請求項２０】
前記第２撮像素子のフレームレートは、前記第１撮像素子のフレームレートよりも小さい、
請求項１から１９のいずれかに記載の撮像装置。
【請求項２１】
光を電気信号に変換する第１光電変換部を有する第１撮像素子と、
前記第１光電変換部から出射する光を電気信号に変換する第２光電変換部を有する第２撮像素子と、
前記第１撮像素子および前記第２撮像素子を連結し前記第１撮像素子および前記第２撮像素子の間の距離を調整可能に設けられた調整機構と、
を備えた撮像装置。
【請求項１】
光を電気信号に変換する第１光電変換部を有する第１撮像素子と、
前記第１光電変換部から出射する光が入射するように配置された素子であって、前記第１光電変換部から出射する光を電気信号に変換する第２光電変換部を有する第２撮像素子と、
前記第１撮像素子で得られる第１画像データおよび前記第２撮像素子で得られる第２画像データに基づいて焦点検出を行う焦点検出部と、
を備えた撮像装置。
【請求項２】
前記焦点検出部は、前記第１画像データの空間周波数成分に基づいて第１評価値を算出する第１評価値算出部と、前記第２画像データの空間周波数成分に基づいて第２評価値を算出する第２評価値算出部と、を有している、
請求項１に記載の撮像装置。
【請求項３】
前記焦点検出部は、前記第１評価値の増減を判定する第１評価値判定部と、前記第２評価値の増減を判定する第２評価値判定部と、を有しており、
前記第１評価値判定部は、前記第１評価値の増減を示す第１判定結果を生成し、
前記第２評価値判定部は、前記第２評価値の増減を示す第２判定結果を生成する、
請求項２に記載の撮像装置。
【請求項４】
前記焦点検出部は、前記第１光電変換部に入射する光の結像位置と前記第１光電変換部との位置関係を前記第１判定結果および前記第２判定結果に基づいて判定する状態判定部を有している、
請求項３に記載の撮像装置。
【請求項５】
前記状態判定部は、前記第１判定結果および前記第２判定結果の組み合わせに基づいて前記第１光電変換部に入射する光の結像位置と前記第１光電変換部との位置関係を判定する、
請求項４に記載の撮像装置。
【請求項６】
前記状態判定部は、前記第１光電変換部に入射する光の結像位置と前記第２光電変換部との位置関係を前記第１判定結果および前記第２判定結果に基づいて判定する、
請求項３から５のいずれかに記載の撮像装置。
【請求項７】
前記状態判定部は、前記第１判定結果および前記第２判定結果の組み合わせに基づいて前記第１光電変換部に入射する光の結像位置と前記第２光電変換部との位置関係を判定する、
請求項６に記載の撮像装置。
【請求項８】
被写体の光学像を形成するように設けられ、フォーカスレンズを含む光学系をさらに備え、
前記焦点検出部は、前記第１評価値の最大値が検出される前に前記第２判定結果に基づいて合焦状態に対応する前記フォーカスレンズの目標位置を予測する合焦予測部を有している、
請求項３から７のいずれかに記載の撮像装置。
【請求項９】
前記合焦予測部は、前記第２評価値のピークを基準に前記目標位置を予測する、
請求項８に記載の撮像装置。
【請求項１０】
前記第１撮像素子は、前記第１光電変換部と前記第２光電変換部との間に配置され前記第１光電変換部で生成される電気信号が流れる第１回路部を有している、
請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記第２撮像素子は、前記第１光電変換部と前記第２光電変換部との間に配置され前記第２光電変換部で生成される電気信号が流れる第２回路部を有している、
請求項１から１０のいずれかに記載の撮像装置。
【請求項１２】
前記第１撮像素子は、前記第１光電変換部の前記第２撮像素子と反対側に配置された第１マイクロレンズと、前記第１光電変換部と前記第１マイクロレンズとの間に配置された第１カラーフィルタと、を有している、
請求項１から１１のいずれかに記載の撮像装置。
【請求項１３】
前記第１光電変換部は、複数の第１光電変換素子を有しており、
前記複数の第１光電変換素子は、２色以上の光が入射可能に配置されている、
請求項１から１２のいずれかに記載の撮像装置。
【請求項１４】
前記第２撮像素子は、前記第２光電変換部と前記第１撮像素子との間に配置された第２カラーフィルタを有している、
請求項１から１２のいずれかに記載の撮像装置。
【請求項１５】
前記第２撮像素子は、前記第２光電変換部と前記第１撮像素子との間に配置され前記第１光電変換部を透過する光を前記第２光電変換部に向けて集光する第２マイクロレンズを有している、
請求項１から１４のいずれかに記載の撮像装置。
【請求項１６】
前記第２光電変換部の画素ピッチは、前記第１光電変換部の画素ピッチよりも大きい、
請求項１から１５のいずれかに記載の撮像装置。
【請求項１７】
前記第１撮像素子および前記第２撮像素子の間の距離を調整可能に設けられた調整機構をさらに備えた、
請求項１から１６のいずれかに記載の撮像装置。
【請求項１８】
前記調整機構は、前記第１撮像素子を前記第２撮像素子に連結する少なくとも１つの線状部材と、前記第１撮像素子および前記第２撮像素子が互いに離れるように前記第１撮像素子および前記第２撮像素子を押圧する弾性部材と、前記線状部材の温度を調整する温度調整部と、を有している、
請求項１から１７のいずれかに記載の撮像装置。
【請求項１９】
前記調整機構は、前記第１撮像素子および前記第２撮像素子を移動可能に連結する圧電素子を有している、
請求項１から１７のいずれかに記載の撮像装置。
【請求項２０】
前記第２撮像素子のフレームレートは、前記第１撮像素子のフレームレートよりも小さい、
請求項１から１９のいずれかに記載の撮像装置。
【請求項２１】
光を電気信号に変換する第１光電変換部を有する第１撮像素子と、
前記第１光電変換部から出射する光を電気信号に変換する第２光電変換部を有する第２撮像素子と、
前記第１撮像素子および前記第２撮像素子を連結し前記第１撮像素子および前記第２撮像素子の間の距離を調整可能に設けられた調整機構と、
を備えた撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１１−２０９３１７（Ｐ２０１１−２０９３１７Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７３７７５（Ｐ２０１０−７３７７５）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]