情報処理装置、情報処理方法およびプログラム
【課題】撮像素子から信号を読み出す際の間引き処理を適切に設定する。
【解決手段】情報処理装置は、検出部と決定部とを備える。検出部は、位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する。決定部は、撮像素子から信号を読み出す際の間引き処理を検出部により検出された被写体の動きに応じて決定する。
【解決手段】情報処理装置は、検出部と決定部とを備える。検出部は、位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する。決定部は、撮像素子から信号を読み出す際の間引き処理を検出部により検出された被写体の動きに応じて決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置に関し、特に、撮像素子における間引き処理を行うことができる情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体を撮像して撮像画像を生成し、この生成された撮像画像を記録するデジタルスチルカメラ等の撮像装置が普及している。また、この撮像装置として、ユーザの撮影操作を簡便にするため、撮像時のフォーカス（ピント、焦点）調整を自動的に行うオートフォーカス（ＡＦ：Auto Focus）機能を備える撮像装置が広く普及している。
【０００３】
このような撮像装置として、例えば、フォーカス位置をずらしながら複数の画像を撮像し、最もコントラストが高いフォーカス位置を合焦位置とするコントラスト検出方式によりオートフォーカスを行う撮像装置が提案されている。また、撮像レンズを通過した光を瞳分割して１対の像を形成し、その形成された像の間隔を計測（位相差を検出）することによって撮像レンズの位置を決定する位相差検出方式によりオートフォーカスを行う撮像装置も提案されている。
【０００４】
さらに、コントラスト検出方式と位相差検出方式との両方の機能を備える撮像装置も提案されている。このような撮像装置として、例えば、撮像レンズを通過した光を瞳分割する画素（位相差検出画素）と、撮像画像の生成用の画素（画像生成画素）との両方の画素を１つの撮像素子に設ける撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１３４３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術では、位相差検出画素と画像生成画素の両方の画素を１つの撮像素子に設けるため、この撮像素子から読み出された信号に基づいて、コントラスト検出方式と位相差検出方式とを両方とも行うことができる。
【０００７】
また、この撮像素子をＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどのＸＹアドレス型のセンサで実現した場合には、ライン単位で読み出すことができる。すなわち、ライブビュー画像（モニタ画像）などの高解像度を必要としない画像を撮像する場合には、間引き読み出しを行うことにより、読み出し速度（フレームレート）を上げることができる。
【０００８】
しかしながら、この間引き読み出しでは、位相差検出画素が多く読み出されるように間引くと、位相差検出画素の割合が高くなってしまう。位相差検出画素の割合が高くなると、位相差検出画素の位置の画素値の補間処理が増加するため、画質（ライブビュー画像の画質）が劣化する。一方、位相差検出画素が少なくなるように間引くと、位相差検出の精度が低下するものの、画素値の補間処理が少なくてすむため、画質が向上する。
【０００９】
すなわち、画質と合焦性能とが両立できるように、間引き処理を適切に設定することが望ましい。
【００１０】
本技術はこのような状況に鑑みて生み出されたものであり、撮像素子から信号を読み出す際の間引き処理を適切に設定することを目的とする。
【課題を解決するための手段】
【００１１】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出部と、上記撮像素子から信号を読み出す際の間引き処理を上記検出された被写体の動きに応じて決定する決定部とを具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、位相差検出画素と画像生成画素とを備える撮像素子の間引き処理を、被写体の動きに応じて決定させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記間引き処理は、上記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、上記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、上記決定部は、合焦判定を行う際に上記検出部により検出された上記被写体の動きが閾値を基準として大きい場合には、上記間引き処理として上記第１処理を決定し、上記被写体の動きが閾値を基準として小さい場合には、上記間引き処理として上記第２処理を決定するようにしてもよい。これにより、被写体の動きが閾値を基準として大きい場合には位相差検出画素を含むラインから信号を読み出す第１処理が設定され、被写体の動きが閾値を基準として小さい場合には位相差検出画素を含まないラインのみから信号を読み出す第２処理が設定されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記第１処理が決定された場合には、上記位相差検出による合焦判定に基づいてフォーカス制御を行い、上記第２処理が決定された場合には、コントラスト検出による合焦判定に基づいてフォーカス制御を行うフォーカス制御部をさらに具備するようにしてもよい。これにより、第１処理が決定されると位相差検出による合焦判定に基づいてフォーカス制御が行われ、第２処理が決定されるとコントラスト検出による合焦判定に基づいてフォーカス制御が行われるという作用をもたらす。
【００１４】
また、この第１の側面において、上記第１処理において読み出し対象となるライン間の間隔と、上記第２処理において読み出し対象となるライン間の間隔とが同一であるようにしてもよい。これにより、第１処理と第２処理とが同じライン間の間隔で信号が読み出され、同じような信号処理を経て撮像画像が生成されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記決定部は、動画の撮像動作が行われる場合には、上記検出された被写体の動きに係わらず、上記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第３処理を決定するようにしてもよい。これにより、動画の撮像動作が行われる場合には、間引き処理として第３処理が決定されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記間引き処理は、上記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、上記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、上記第３処理は、上記位相差検出画素を含まないラインにおいて、検出対象の被写体光の波長が同じ画素からの信号を読み出し前に加算し、上記第３処理において読み出し対象となるラインの数と、上記第１処理において読み出し対象となるラインの数とを同一とする間引き処理であるようにしてもよい。これにより、第３処理では、検出対象の被写体光の波長が同じ画素からの信号が読み出し前に加算されて、第３処理において読み出し対象となるラインの数と、第１処理において読み出し対象となるラインの数とが同一とされるという作用をもたらす。
【００１７】
また、この第１の側面において、フォーカスモードの指定操作を受け付ける操作受付部をさらに具備し、上記決定部は、上記検出された被写体の動きに係わらず、上記受け付けられた指定操作に基づいて上記間引き処理を決定するようにしてもよい。これにより、ユーザによるフォーカスモードの指定操作が受け付けられた場合には、検出された被写体の動きに係わらず、受け付けられた指定操作に基づいて間引き処理が決定されるという作用をもたらす。
【００１８】
また、この第１の側面において、上記間引き処理は、上記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、上記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、上記決定部は、高速に合焦させるためのフォーカスモードが指定されている場合には、上記間引き処理として上記第１処理を決定し、高速な合焦よりも画質を優先させるためのフォーカスモードが指定されている場合には、上記間引き処理として上記第２処理を決定するようにしてもよい。これにより、高速に合焦させるためのフォーカスモードが指定されている場合には、間引き処理として第１処理が決定され、高速な合焦よりも画質を優先させるためのフォーカスモードが指定されている場合には、間引き処理として第２処理が決定されるという作用をもたらす。
【００１９】
また、この第１の側面において、上記間引き処理は、所定の間引き処理である第４処理と、読み出し対象となる信号における上記位相差検出画素の信号の割合が上記第４処理よりも低い第５処理とを含み、上記決定部は、合焦判定を行う際に上記検出部により検出された上記被写体の動きが閾値を基準として大きい場合には、上記間引き処理として上記第４処理を決定し、上記被写体の動きが閾値を基準として小さい場合には、上記間引き処理として上記第５処理を決定するようにしてもよい。これにより、被写体の動きが閾値を基準として大きい場合には所定の間引き処理である第４処理が設定され、被写体の動きが閾値を基準として小さい場合には位相差検出画素の信号の割合が第４処理よりも低い第５処理が設定されるという作用をもたらす。
【発明の効果】
【００２０】
本技術によれば、撮像素子から信号を読み出す際の間引き処理を適切に設定することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態における撮像システム１０の内部構成の一例を示す模式図である。
【図２】本発明の第１の実施の形態における撮像システム１０に関する機能構成の一例を示すブロック図である。
【図３】本技術の第１の実施の形態における撮像素子２２０に備えられる画素の配置の一例を示す模式図である。
【図４】本発明の第１の実施の形態における画像生成画素および位相差検出画素の断面構成と、各画素が受光する被写体光との一例を示す模式図である。
【図５】本技術の第１の実施の形態の読み出しモード決定部２７０が全画素読み出しモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【図６】本技術の第１の実施の形態の読み出しモード決定部２７０が位相差用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【図７】本技術の第１の実施の形態の読み出しモード決定部２７０がコントラスト用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【図８】本技術の第１の実施の形態の読み出しモード決定部２７０が動画用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【図９】本技術の第１の実施の形態の動きベクトル検出部２６０が算出する面内ＭＶ総和と、読み出しモード決定部２７０が決定する読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）との関係を示す模式図である。
【図１０】本技術の第１の実施の形態の読み出しモード決定部２７０が設定する読み出しモードの各モードの特徴を示す模式図である。
【図１１】本技術の第１の実施の形態における撮像装置１００の読み出しモード決定処理手順の一例を示すフローチャートである。
【図１２】本技術の第２の実施の形態の動きベクトル検出部２６０が算出する面内ＭＶ総和と、読み出しモード決定部２７０により決定されるフォーカス調整時の読み出しモードとの関係を示す模式図である。
【発明を実施するための形態】
【００２２】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（撮像制御：フォーカス調整時の読み出しモードを被写体の動きに応じて切り替える例）
２．第２の実施の形態（撮像制御：フォーカス調整時のフォーカス調整方法を被写体の動きに応じて切り替える例）
【００２３】
＜１．第１の実施の形態＞
［撮像システムの内部構成例］
図１は、本発明の第１の実施の形態における撮像システム１０の内部構成の一例を示す模式図である。この撮像システム１０は、撮像装置１００および交換レンズ１７０を備える。
【００２４】
なお、この本発明の第１の実施の形態では、撮像システム１０は、レンズが交換可能であって、画像を撮像することができる一眼レフカメラを想定する。なお、図１では、説明の便宜上、画像を撮像する際にはあまり使用しない内部構成（例えば、フラッシュに関する構成）については省略する。
【００２５】
また、図１では、説明の便宜上、レンズの駆動に関してはフォーカスレンズの駆動に関する構成のみを示し、ズームレンズの駆動に関する構成については省略する。
【００２６】
撮像装置１００は、被写体を撮像して画像データ（デジタルデータ）を生成し、この生成した画像データを画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録するものである。なお、以下では、画像コンテンツ（画像ファイル）として静止画コンテンツ（静止画ファイル）を記録する例を主に示す。この撮像装置１００は、シャッターユニット１１２と、撮像素子１１３と、ＡＦＥ（Analog Front End）１１４と、画像処理回路１１５と、位相差演算回路１５１とを備える。また、撮像装置１００は、画像メモリ１１９と、電池１２１と、電源回路１２２、通信用Ｉ／Ｆ（InterFace）１２３と、カードＩ／Ｆ１２４と、メモリカード１２５とを備える。さらに、撮像装置１００は、ＶＲＡＭ（Video Random Access Memory）１２６と、ＬＣＤ（Liquid Crystal Display）１２７と、操作部１２８と、シャッタ駆動制御部１３１とを備える。また、撮像装置１００は、シャッタ駆動モータ（Ｍ１）１３２と、絞り駆動制御部１３３と、フォーカス駆動制御部１３４と、メイン制御部１３６と、接続端子１６１乃至１６３とを備える。
【００２７】
シャッターユニット１１２は、上下方向に移動する幕体により、撮像素子１１３に入射する被写体からの入射光の光路の開口および遮断を行うものであり、シャッタ駆動モータ（Ｍ１）１３２により駆動される。また、シャッターユニット１１２は、光路が開口している場合には、被写体からの入射光を撮像素子１１３に供給する。
【００２８】
撮像素子１１３は、被写体からの入射光を電気信号に光電変換するものであり、被写体からの入射光を受光して、アナログの電気信号を生成する。また、撮像素子１１３は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサにより実現される。撮像素子１１３には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素（画像生成画素）と、位相差検出を行うための信号を生成する画素（位相差検出画素）とが配置される。
【００２９】
また、撮像素子１１３には、画像生成画素として、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）と、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）とが配置される。また、撮像素子１１３には、Ｒ画素およびＧ画素の他に、画像生成画素として、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）が配置される。なお、撮像素子１１３については、図４を参照して説明する。撮像素子１１３は、その光電変換により生成した電気信号（アナログの画像信号）を、ＡＦＥ１１４に供給する。
【００３０】
ＡＦＥ１１４は、撮像素子１１３から供給されるアナログの画像信号に所定の信号処理を施すものであり、例えば、アナログの画像信号にノイズの除去および信号の増幅などの信号処理を行う。そして、ＡＦＥ１１４は、信号処理を施した画像信号をデジタル信号に変換して、デジタルの画像信号を生成する。また、ＡＦＥ１１４は、メイン制御部１３６から供給される基準クロックに基づいて、撮像素子１１３の撮像動作に関するタイミングパルスを生成し、その生成したタイミングパルスを撮像素子１１３に供給する。また、ＡＦＥ１１４は、その生成したタイミングパルスに乗せて、メイン制御部１３６が設定した撮像素子１１３の露光動作の開始及び終了の通知や、撮像素子１１３の各画素の出力選択の通知などの撮像素子１１３の動作に関する信号を供給する。このＡＦＥ１１４は、生成したデジタルの画像信号（画素値）を画像処理回路１１５および位相差演算回路１５１に供給する。
【００３１】
画像処理回路１１５は、ＡＦＥ１１４から供給された画像信号に所定の信号処理を施して画像信号を補正するものである。この画像処理回路１１５は、例えば、黒レベル補正、欠陥補正、シェーディング補正、混色補正、デモザイク処理、ホワイトバランス補正、γ補正等を行う。画像処理回路１１５は、コントラスト演算回路１５２においてコントラストを検出するために必要な処理（例えば、黒レベル補正、欠陥補正、シェーディング補正、ホワイトバランス補正）を施した信号を、コントラスト演算回路１５２に供給する。また、画像処理回路１１５は、撮像した画像の表示や記録に必要な処理（例えば、上記の全ての補正）を施した信号を、画像メモリ１１９に供給する。
【００３２】
また、画像処理回路１１５は、撮像した画像のメモリカード１２５への記録処理や、記録された画像の再生処理などの際には、画像の符号化処理および複合化処理を行う。例えば、時系列で連続して撮像した画像（フレーム）を動画として保存する場合には、フレーム間の差異から動きベクトルを検出し、この検出した動きベクトルを用いたフレーム間予測による符号化処理を行う。
【００３３】
位相差演算回路１５１は、ＡＦＥ１１４から供給される位相差検出画素により生成された画像信号に基づいて、位相差検出方式でフォーカスのズレを検出するものである。ここで、位相差検出方式とは、撮像レンズを通過した光を瞳分割して１対の像を形成し、その形成された像の間隔（像の間のズレ量）を計測（位相差を検出）することによって合焦の度合いを検出する焦点検出方法である。この位相差演算回路１５１は、オートフォーカス（ＡＦ）するために、合焦対象物に対するフォーカスのズレを検出するための演算を行い、検出したフォーカスに関する情報をメイン制御部１３６に供給する。
【００３４】
コントラスト演算回路１５２は、画像処理回路１１５から供給される画像信号に基づいて、コントラスト検出方式によりフォーカスが合焦しているか否か判定するものである。ここで、コントラスト検出方式による焦点検出とは、フォーカスレンズを少しずつ移動させながら画像を撮像し、最もコントラストが高い画像が撮像された位置を合焦位置と判断する焦点検出方式である。このコントラスト演算回路１５２は、最もコントラストが高い画像が撮像された位置の情報や、最もコントラストが高い画像を検出するためのフォーカスレンズの駆動情報などをメイン制御部１３６に供給する。
【００３５】
画像メモリ１１９は、画像処理回路１１５から供給される画像信号を一時的に保持するものである。また、この画像メモリ１１９は、メイン制御部１３６からの制御信号に従って、画像信号に所定の処理を行うための作業領域として用いられる。なお、この画像メモリ１１９は、メモリカード１２５から読み出した画像信号を一時的に保持する。
【００３６】
電池１２１は、撮像システム１０が動作するための電力を供給するものであり、例えば、ニッケル水素充電池等の二次電池により構成される。また、電池１２１は、電力を電源回路１２２に供給する。
【００３７】
電源回路１２２は、電池１２１から供給された電力を撮像システム１０における各部が動作するための電圧に変換するものである。例えば、この電源回路１２２は、メイン制御部１３６が５Ｖの電圧で動作する場合には、５Ｖの電圧を生成して、その生成した電圧をメイン制御部１３６に供給する。また、電源回路１２２は、生成した電圧を撮像システム１０における各部に供給する。なお、図１では、電源回路１２２から各部への電源供給線の一部を省略して示す。
【００３８】
通信用Ｉ／Ｆ１２３は、外部機器とメイン制御部１３６との間のデータ転送を可能とするためのインターフェイスである。
【００３９】
カードＩ／Ｆ１２４は、メモリカード１２５とメイン制御部１３６との間のデータ転送を可能とするためのインターフェイスである。
【００４０】
メモリカード１２５は、画像信号を保持するための記憶媒体であり、カードＩ／Ｆ１２４を介して供給されたデータを保持する。
【００４１】
ＶＲＡＭ１２６は、ＬＣＤ１２７に表示する画像を一時的に保持するバッファメモリであり、その保持した画像をＬＣＤ１２７に供給する。
【００４２】
ＬＣＤ１２７は、メイン制御部１３６の制御に基づいて、画像を表示するものであり、例えば、このＬＣＤ１２７は、カラー液晶パネルにより構成される。このＬＣＤ１２７は、撮像された画像、記録済みの画像およびモードの設定画面などを表示する。
【００４３】
操作部１２８は、ユーザの操作を受け付けるものであり、例えば、シャッターボタン（図示せず）が押下された場合には、その押下を知らせる信号をメイン制御部１３６に供給する。また、操作部１２８は、ユーザの操作に関する信号をメイン制御部１３６に供給する。
【００４４】
シャッタ駆動制御部１３１は、メイン制御部１３６から供給されるシャッタの制御信号に基づいて、シャッタ駆動モータ（Ｍ１）１３２を駆動するための駆動信号を生成するものであり、その生成した駆動信号をシャッタ駆動モータ（Ｍ１）１３２に供給する。
【００４５】
シャッタ駆動モータ（Ｍ１）１３２は、シャッタ駆動制御部１３１から供給される駆動信号に基づいて、シャッターユニット１１２を駆動するモータである。
【００４６】
絞り駆動制御部１３３は、メイン制御部１３６から供給される絞りに関する情報に基づいて、絞りの駆動を制御する信号（絞り駆動制御信号）を生成するものであり、その生成した絞り駆動信号を、接続端子１６１を介して交換レンズ１７０に供給する。
【００４７】
メイン制御部１３６は、撮像装置１００の各部の動作を制御するものであり、例えば、制御プログラムを記憶するＲＯＭを備えるマクロコンピュータにより構成される。
【００４８】
フォーカス駆動制御部１３４は、メイン制御部１３６から供給されるフォーカスに関する情報に基づいて、レンズの駆動量を示す駆動量信号を生成するものである。このフォーカス駆動制御部１３４は、その生成した駆動量信号を、接続端子１６３を介して交換レンズ１７０に供給する。
【００４９】
交換レンズ１７０は、複数のレンズを備えており、撮像装置１００が撮像する像の光を集光し、その集光した光を撮像面に結像させるものである。この交換レンズ１７０は、絞り駆動機構１８１と、絞り駆動モータ（Ｍ３）１８２と、レンズ位置検出部１８３と、レンズ駆動機構１８４と、レンズ駆動モータ（Ｍ４）１８５と、鏡胴１９０とを備える。また、鏡胴１９０は、絞り１９１およびレンズ群１９４を備える。なお、レンズ群１９４には、説明の便宜上、ズームレンズ１９２およびフォーカスレンズ１９３のみが示されている。
【００５０】
絞り駆動機構１８１は、接続端子１６１を介して供給される絞り駆動制御信号に基づいて、絞り駆動モータ（Ｍ３）１８２を駆動するための駆動信号を生成するものである。この絞り駆動機構１８１は、その生成した駆動信号を、絞り駆動モータ（Ｍ３）１８２に供給する。
【００５１】
絞り駆動モータ（Ｍ３）１８２は、絞り駆動機構１８１から供給される駆動信号に基づいて、絞り１９１を駆動するモータである。この絞り駆動モータ（Ｍ３）１８２は、絞り１９１を駆動することにより、絞り１９１の絞り径を変更する。
【００５２】
レンズ位置検出部１８３は、レンズ群１９４のズームレンズ１９２およびフォーカスレンズ１９３の位置を検出するものである。このレンズ位置検出部１８３は、その検出した位置に関する情報（レンズ位置情報）を、接続端子１６２を介して撮像装置１００に供給する。
【００５３】
レンズ駆動機構１８４は、接続端子１６３を介して供給される駆動量信号とに基づいて、レンズ駆動モータ（Ｍ４）１８５を駆動するための駆動信号を生成するものである。このレンズ駆動機構１８４は、その生成した駆動信号を、レンズ駆動モータ（Ｍ４）１８５に供給する。
【００５４】
レンズ駆動モータ（Ｍ４）１８５は、レンズ駆動機構１８４から供給される駆動信号に基づいて、フォーカスレンズ１９３を駆動するモータである。このレンズ駆動モータ（Ｍ４）１８５は、フォーカスレンズ１９３を駆動することにより、フォーカスを調整する。
【００５５】
鏡胴１９０は、交換レンズ１７０においてレンズ群１９４を構成するレンズが備え付けられている部位である。
【００５６】
絞り１９１は、撮像装置１００に入射する被写体からの入射光の光量を調整するための遮蔽物である。
【００５７】
ズームレンズ１９２は、鏡胴１９０の中を光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。
【００５８】
フォーカスレンズ１９３は、鏡胴１９０の中を光軸方向に移動することによりフォーカスを調整するものである。
【００５９】
次に、撮像システム１０の機能構成について、図２を参照して説明する。
【００６０】
［撮像装置の機能構成例］
図２は、本発明の第１の実施の形態における撮像システム１０に関する機能構成の一例を示すブロック図である。
【００６１】
撮像システム１０は、フォーカスレンズ２１０と、撮像素子２２０と、ＲＡＷ補正処理部２３０と、カメラ信号処理部２３５、位相差検出部２４０と、コントラスト検出部２５０とを備える。また、撮像システム１０は、動きベクトル検出部２６０と、読み出しモード決定部２７０と、レンズ駆動制御部２８０とを備える。また、撮像システム１０は、画像表示処理部２９２と、表示部２９３と、画像出力処理部２９４と、出力部２９５と、画像記録再生処理部２９６と、記録部２９７と、操作受付部２９８と、制御部２９９とを備える。
【００６２】
フォーカスレンズ２１０は、光軸方向に移動することによりフォーカスを調整するためのレンズであり、図１において示したフォーカスレンズ１９３に対応する。
【００６３】
撮像素子２２０は、被写体からの入射光を電気信号に光電変換して画像信号を生成するものである。この撮像素子２２０には、画像生成画素および位相差検出画素が配置される。なお、これらの画素により生成されたアナログの画像信号は、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）、オートゲインコントロール回路（ＡＧＣ：Automatic Gain Control）等によりノイズの除去や、信号の増幅がされる。そして、生成されたアナログの画像信号は、Ａ／Ｄ変換され、ＲＡＷ補正処理部２３０および位相差検出部２４０に供給される。なお、撮像素子２２０は、図１において示した撮像素子１１３に対応する。
【００６４】
また、撮像素子２２０は、読み出しモード決定部２７０から供給される読み出しモード情報に基づいて、信号を読み出すラインと、読み出さないラインとを設定し、信号を読み出すラインと設定されたラインの各画素から信号を読み出す。
【００６５】
ＲＡＷ補正処理部２３０は、撮像素子２２０から供給される画像信号に対して、黒レベル調整、画素欠陥処理、ホワイトバランス調整、シェーディング補正処理などの補正を施すものである。すなわち、ＲＡＷ補正処理部２３０は、実時間処理が必要となるような各種補正処理を行う。このＲＡＷ補正処理部２３０は、補正を施した画像データ（ＲＡＷデータ）を、カメラ信号処理部２３５およびコントラスト検出部２５０に供給する。
【００６６】
カメラ信号処理部２３５は、ＲＡＷ補正処理部２３０から供給されたＲＡＷデータに対して、画素補間処理、色補正処理、エッジ補正、ガンマ補正、解像度変換などのカメラ信号処理を施すものである。カメラ信号処理部２３５は、処理を施したデータ（画像データ）を、動きベクトル検出部２６０、画像表示処理部２９２、画像出力処理部２９４および画像記録再生処理部２９６に供給する。なお、ＲＡＷ補正処理部２３０およびカメラ信号処理部２３５は、図１において示した画像処理回路１１５に対応する。
【００６７】
位相差検出部２４０は、撮像素子２２０における位相差検出画素の信号（画素値）に基づいて、フォーカスを合わせる対象の物体（合焦対象物）に対してフォーカスが合っているか否かを位相差検出により判定するものである。位相差検出部２４０は、フォーカスのズレ量（デフォーカス量）を算出し、その算出したデフォーカス量を示す情報（例えば、ズレの画素数を示す値）をレンズ駆動制御部２８０に供給する。なお、位相差検出部２４０は、図１において示した位相差演算回路１５１に対応する。
【００６８】
コントラスト検出部２５０は、ＲＡＷ補正処理部２３０から供給されるＲＡＷデータに基づいて、コントラスト検出方式によりフォーカスが合焦しているか否か判定するものである。例えば、コントラスト検出部２５０は、合焦判定のために撮像した複数の画像のうちから最もコントラストが高いものが撮像されたレンズ位置を検出し、その検出したレンズ位置へフォーカスを移動させるための情報をレンズ駆動制御部２８０に供給する。なお、コントラスト検出部２５０は、図１において示したコントラスト演算回路１５２に対応する。
【００６９】
動きベクトル検出部２６０は、カメラ信号処理部２３５から供給される画像データに基づいて被写体の動きを検出するものである。例えば、動きベクトル検出部２６０は、画像に撮像されている各物体の動きベクトルを検出することにより被写体の動きを検出する。動きベクトル検出部２６０は、時系列で１つ前に撮像された画像（フレーム）の画像データを保持しており、この画像データと、ＲＡＷ補正処理部２３０から供給される最新のフレームの画像データとの間で比較して被写体の遷移（ズレ）を検出する。そして、動きベクトル検出部２６０は、検出したズレの量を示す動きベクトルを算出する。なお、動きベクトル検出部２６０による動きベクトルの算出は、例えば、ブロックマッチング法などを用いて行われる。
【００７０】
なお、動きベクトル検出部２６０による動きベクトルの検出は、動画の圧縮の際におけるフレーム間予測において算出される動きベクトルと同じである。このため、動きベクトルの検出は、撮像装置１００において動画の圧縮処理を行う回路（図１では、画像処理回路１１５）において行われる。
【００７１】
動きベクトル検出部２６０は、画像データから検出した動きベクトル（ＭＶ）の総和（画像全体の動き）を示す情報（面内ＭＶ総和情報）を、読み出しモード決定部２７０に供給する。なお、動きベクトル検出部２６０は、特許請求の範囲に記載の検出部の一例である。
【００７２】
読み出しモード決定部２７０は、撮像素子２２０の各画素から信号を読み出す際の読み出しパターン（読み出しモード）を決定するものである。この読み出しモード決定部２７０は、制御部２９９からの命令と、動きベクトル検出部２６０からの面内ＭＶ総和情報とに基づいて読み出しモードを決定する。読み出しモード決定部２７０は、制御部２９９から動画の撮像命令が供給された場合には、読み出しモードのうちの動画を撮像するためのモード（動画用間引きモード）で撮像すると決定する。また、読み出しモード決定部２７０は、シャッターボタンが押下されて、静止画の撮像命令が制御部２９９から供給された場合には、読み出しモードのうちの静止画を撮像するためのモード（全画素読み出しモード）で撮像すると決定する。
【００７３】
なお、読み出しモード決定部２７０は、静止画を撮像する際のフォーカスを調整するタイミング（例えば、シャッターボタンが押下される前の期間）においては、動きベクトル検出部２６０からの面内ＭＶ総和情報を用いて読み出しモードを決定する。読み出しモード決定部２７０は、フォーカス調整時において、面内ＭＶ総和情報の示す値が所定の閾値を基準にして大きい場合には、読み出しモードのうちの位相差検出方式で焦点検出を行うためのモード（位相差用間引きモード）により撮像すると決定する。
【００７４】
また、読み出しモード決定部２７０は、フォーカス調整時において、面内ＭＶ総和情報の示す値が所定の閾値を基準にして小さい場合には、コントラスト検出方式で焦点検出を行うためのモード（コントラスト用間引きモード）により撮像すると決定する。なお、動画用間引きモードは図８で説明し、全画素読み出しモードは図５で説明し、位相差用間引きモードは図６で説明し、コントラスト用間引きモードは図７で説明するため、ここでの説明を省略する。
【００７５】
読み出しモード決定部２７０は、決定した読み出しモードを示す情報（読み出しモード情報）を、撮像素子２２０、およびレンズ駆動制御部２８０に供給する。なお、読み出しモード決定部２７０は、特許請求の範囲に記載の決定部の一例である。
【００７６】
レンズ駆動制御部２８０は、フォーカスレンズ２１０の駆動を制御するものである。レンズ駆動制御部２８０は、読み出しモード決定部２７０から供給される読み出しモード情報と、位相差検出部２４０から供給される情報と、コントラスト検出部２５０から供給される情報とに基づいてフォーカスレンズ２１０を駆動し、フォーカスを合焦させる。
【００７７】
例えば、レンズ駆動制御部２８０は、コントラスト用間引きモードを示す読み出しモード情報が供給された場合には、コントラスト検出部２５０から供給される情報に基づいてフォーカスを合焦させる。また、レンズ駆動制御部２８０は、位相差用間引きモードを示す読み出しモード情報が供給された場合には、位相差検出部２４０から供給される情報を優先的に用いてフォーカスを合焦させる。なお、位相差用間引きモードを示す読み出しモード情報が供給された場合において、位相差検出が難しい場合（例えば、合焦対象物の輝度が低い）には、コントラスト検出部２５０から供給される情報に基づいてフォーカスを合焦させる。なお、読み出しモードと合焦判定の方法（合焦判定方法）との関係については、図５乃至図１０において詳細に説明するため、ここでの詳細な説明を省略する。
【００７８】
なお、位相差検出部２４０と、コントラスト検出部２５０と、レンズ駆動制御部２８０とは、特許請求の範囲に記載のフォーカス制御部の一例である。
【００７９】
画像表示処理部２９２は、表示部２９３に表示させる画像（表示画像）を生成し、生成した画像のデータを表示部２９３に供給する。
【００８０】
表示部２９３は、画像表示処理部２９２から供給された画像（撮像画像）を表示するものである。表示部２９３は、例えば、モニタ画像（ライブビュー画像）や、記録部２９７に記録された画像の再生画像などを表示する。この表示部２９３は、例えば、カラー液晶パネルにより実現される。なお、表示部２９３は、図１において示したＬＣＤ１２７に対応する。
【００８１】
画像出力処理部２９４は、撮像装置１００の外部の装置へ出力する画像を生成し、生成した画像のデータを出力部２９５に供給する。
【００８２】
出力部２９５は、撮像装置１００の外部の装置へ画像を出力するものである。例えば、出力部２９５は、例えば、ＨＤＭＩ（High Definition Multimedia Interface）規格のコネクタを備えている場合には、画像出力処理部２９４から供給されたデータをこの規格のデータ形式で出力する。
【００８３】
画像記録再生処理部２９６は、カメラ信号処理部２３５から供給されたデータに対してデータ量を圧縮する処理（符号化処理）を施して、記録部２９７に記録される記録画像データを生成するものである。例えば、画像記録再生処理部２９６は、静止画像を記録する場合にはＪＰＥＧ（Joint Photographic Experts Group）方式の圧縮処理を行い。動画像を記録する場合にはＭＰＥＧ（Moving Picture Experts Group）方式の圧縮処理を行う。画像記録再生処理部２９６は、生成した記録画像データを記録部２９７に供給し、記録部２９７に記録させる。
【００８４】
また、画像記録再生処理部２９６は、記録部２９７に記録された記録画像データを再生する場合には、記録部２９７から供給された記録画像データに対して画像を復元する処理（複合化処理）を施して、再生画像データを生成する。生成された再生画像データは、画像表示処理部２９２または画像出力処理部２９４に供給され、再生画像データの表示部２９３への表示や、外部の装置への出力が行われる。なお、図２では、再生に関する信号線の図示を省略する。
【００８５】
記録部２９７は、画像記録再生処理部２９６から供給される記録画像データを画像コンテンツ（画像ファイル）として記録するものである。例えば、この記録部２９７として、ＤＶＤ（Digital Versatile Disk）等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体（１または複数の記録媒体）を用いることができる。また、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。なお、記録部２９７は、図１においして示したメモリカード１２５に対応する。
【００８６】
操作受付部２９８は、ユーザの操作を受け付けるものであり、図１において示した操作部１２８に対応する。この操作受付部２９８は、例えば、撮像モード（静止画の撮像モード（静止画モード）または動画の撮像モード（動画モード））を設定する選択操作を受け付けた場合には、その選択操作を知らせる信号を制御部２９９に供給する。また、操作受付部２９８は、静止画を撮像する際のフォーカス制御のモード（オート、高速ＡＦ（Auto Focus）モード、高画質ＡＦ（低速ＡＦ）モード）を設定する選択操作を受け付けた場合には、その選択操作を知らせる信号を制御部２９９に供給する。また、操作受付部２９８は、シャッターボタン（図示せず）が押下された場合には、その押下を知らせる信号を制御部２９９に供給する。
【００８７】
制御部２９９は、撮像装置１００における各部の動作を制御するものである。なお、図２では、読み出しモードの決定にかかる信号線のみを示し、他は省略する。例えば、制御部２９９は、ユーザにより撮像モードが設定された場合には、その設定された撮像モードを通知する信号を読み出しモード決定部２７０に供給する。また、制御部２９９は、フォーカスを調整するためのモード（フォーカスモード）がユーザにより設定された場合には、その設定されたフォーカスモードを通知する信号を読み出しモード決定部２７０に供給する。また、制御部２９９は、シャッターボタンが押下された場合には、その押下を知らせる信号を読み出しモード決定部２７０に供給する。
【００８８】
［撮像素子における画素の配置例］
図３は、本技術の第１の実施の形態における撮像素子２２０に備えられる画素の配置の一例を示す模式図である。
【００８９】
図３では、上下方向をＹ軸とし、左右方向をＸ軸とするＸＹ軸を想定して説明する。また、同図において、左下隅をＸＹ軸における原点とし、下から上へ向かう方向をＹ軸の＋側とし、左から右へ向かう方向をＸ軸の＋側とする。また、この撮像素子２２０における信号の読み出し方向は、Ｘ軸方向（行単位で読み出される）であるものとし、間引き読み出しされる場合は、行単位で間引かれるものとする。
【００９０】
図３では、説明の便宜上、撮像素子２２０を構成する各画素のうちの一部の画素（１２行×１６列の画素）の領域（領域３１０）を用いて説明する。なお、撮像素子２２０における画素の配置は、領域３１０において示す画素配置のうちの一部の画素（６行×８列の画素）の領域（領域３１１）を１つの単位として、この単位に対応する画素配置が、Ｘ軸方向およびＹ軸方向に繰り返される配置である。
【００９１】
同図では、１つの画素を１つの正方形で示す。なお、同図において、画像生成画素については、備えられるカラーフィルタを表す符号（Ｒ、Ｇ、Ｂ）を内に示した正方形により示す。すなわち、Ｒ画素３２１は、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）を示し、Ｂ画素３２３は、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）を示す。また、Ｇ画素３２２は、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）を示す。
【００９２】
また、位相差検出画素については、白色の矩形が付加された灰色の正方形により示す。なお、位相差検出画素における白色の矩形については、入射光が受光素子により受光される側（瞳分割を行うための遮光層に覆われていない側）を示す。
【００９３】
ここで、図３において示されている位相差検出画素（右開口位相差検出画素３２５、左開口位相差検出画素３２６）について説明する。
【００９４】
右開口位相差検出画素３２５は、右開口位相差検出画素３２５のマイクロレンズに入射する被写体光のうち射出瞳の右側を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この右開口位相差検出画素３２５は、射出瞳の左右（Ｘ軸方向の＋−側）に瞳分割された光のうちの右側の光を遮光し、左側の瞳分割された光を受光する。
【００９５】
左開口位相差検出画素３２６は、左開口位相差検出画素３２６のマイクロレンズに入射する被写体光のうち射出瞳の左側を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この左開口位相差検出画素３２６は、射出瞳の左右（Ｘ軸方向の＋−側）に瞳分割された光のうちの左側の光を遮光し、右側の瞳分割された光を受光する。また、左開口位相差検出画素３２６は、右開口位相差検出画素３２５と対に用いられることで、一対の像を形成する。
【００９６】
ここで、撮像素子２２０における画素の配置について説明する。なお、繰り返される配置の単位である領域３１１に着目して説明する。
【００９７】
領域３１１における画素の配置は、図３に示すように、３種類の行（Ｇｒライン、Ｇｂライン、ＡＦライン）により構成される。Ｇｒライン（Ｇｒライン３３１、３３３、３３５）は、Ｒ画素３２１とＧ画素３２２とが列方向に交互に配置される行であり、Ｇｂライン（Ｇｂライン３３４、３３６）は、Ｇ画素３２２とＢ画素３２３とが列方向に交互に配置される行である。また、ＡＦライン（ＡＦライン３３２）は、Ｇ画素３２２とＢ画素３２３が列方向に交互に配置される行（Ｇｂライン）において、一部のＧ画素３２２の代わりに、右開口位相差検出画素３２５および左開口位相差検出画素３２６のいずれかが配置される行である。なお、右開口位相差検出画素３２５および左開口位相差検出画素３２６は、瞳分割を精度良く行うために、この２つの画素の間隔（この２つの画素に挟まれて配置される画像生成画素の数）が小さいことが好ましい。このため、本技術の第１の実施では、右開口位相差検出画素３２５および左開口位相差検出画素３２６が１つのＢ画素３２３を挟んで配置される。また、領域３１１の各ラインは、行方向に隣接する領域のラインと同じラインになるように配置される。
【００９８】
すなわち、撮像素子２２０では、画像生成画素のみが配置される複数の行（ＧｒラインおよびＧｂライン）と、位相差検出画素が部分的に配置される１つの行（ＡＦライン）とが、読み出し方向（行方向）に対して直行する方向（列方向）に交互に配置される。図４では、画像生成画素のみの行の連続する数が５行である例が示されている。なお、連続する画像生成画素の行において、画像生成画素は、ベイヤー配列で位置されている。
【００９９】
なお、撮像素子２２０における画素の配置については、他にも種々のパターンが考えられる。画素の配置は、画像生成画素のみが配置される複数の行と、位相差検出画素が部分的に配置される１つの行とが、交互に配置されれば良い。すなわち、図３では、ＡＦラインを１行含む６行×８列の画素の領域（領域３１１）を単位としたが、ＧｒラインおよびＧｂラインをもっと増やしてＡＦラインの間隔を広げる場合や、列方向の画素を増やして位相差検出画素の対の間隔を広げる場合なども考えられる。
【０１００】
また、図３で示すように、本技術の第１の実施の形態では、説明の便宜上、右開口位相差検出画素と左開口位相差検出画素との対（ペア）のみを示して説明するが、これに限定されるものではない。射出瞳の上下（Ｙ軸方向の＋−側）に瞳分割する位相差検出画素（上開口位相差検出画素、下開口位相差検出画素）の対を配置することも考えられる。この上下に瞳分割する位相差検出画素を配置する場合には、画像の列方向のズレを検出できるように、列方向において１列に並ぶように配置される。なお、右開口位相差検出画素と左開口位相差検出画素との対と、上開口位相差検出画素と下開口位相差検出画素との対との両方を配置することにより、一方で位相差が検出しにくい場合に他方で補えるため、位相差による検出の精度が向上する。また、上開口位相差検出画素および下開口位相差検出画素を、右開口位相差検出画素および左開口位相差検出画素とともに配置する場合においても、画像生成画素のみが配置される複数の行と、位相差検出画素が部分的に配置される行とが交互に配置される。
【０１０１】
次に、本技術の第１の実施の形態における画像生成画素の断面構成と、位相差検出画素の断面構成とについて、同図において示すＢ画素と、右開口位相差検出画素と、左開口位相差検出画素の断面構成を用いて説明する。
【０１０２】
次に、本発明の第１の実施の形態における画像生成画素の断面構成と、位相差検出画素の断面構成とについて、図４を参照して説明する。
【０１０３】
［画像生成画素および位相差検出画素の断面構成例］
図４は、本発明の第１の実施の形態における画像生成画素および位相差検出画素の断面構成と、各画素が受光する被写体光との一例を示す模式図である。
【０１０４】
図４では、右開口位相差検出画素３２５および左開口位相差検出画素３２６を含むＡＦライン３３２の４つの画素の断面構成と、これらの画素からみた絞りの形状である射出瞳（射出瞳３４０）とが模式的に示されている。なお、射出瞳は本来は円形に近い形であるが、説明の便宜上、図４では、Ｙ軸方向を短くした射出瞳（楕円形）を示す。なお、図４では、左右方向をＸ軸方向とし、上下方向をＺ軸方向とする断面構成を示す。また、図４では、撮像素子２２０の中央付近（軸上）における画像生成画素および位相差検出画素の断面構成について説明する。
【０１０５】
図４では、４つの画素の断面構成として、左から順に、右開口位相差検出画素３２５、Ｂ画素３２３、左開口位相差検出画素３２６、Ｂ画素３２３の断面構成が示されている。なお、各画素の断面構成は、カラーフィルタの色および配線層の形状が異なるのみであるため、同図では右開口位相差検出画素３２５の断面構成について説明し、他の画素については違いに着目して説明する。
【０１０６】
右開口位相差検出画素３２５の断面構成として、オンチップレンズ３５１と、Ｗフィルタ３５２と、配線層３５４と、受光素子３５５とが示されている。
【０１０７】
オンチップレンズ３５１は、被写体光を受光素子３５５に集光するためのマイクロレンズである。なお、撮像素子２２０においては、全ての画素に同じ物理構造（径および曲率）のオンチップレンズが設けられる。すなわち、右開口位相差検出画素３２５のオンチップレンズ３５１は、Ｂ画素３２３および左開口位相差検出画素３２６のオンチップレンズと同じオンチップレンズである。
【０１０８】
Ｗフィルタ３５２は、可視光領域の光は透過するがそれ以外の波長の光は吸収するフィルタ（Ｗフィルタ）であり、位相差検出画素に設けられるオンチップカラーフィルタ（ＯＣＣＦ；On Chip Color Filter）である。なお、本技術の第１の実施では、位相差検出画素（右開口位相差検出画素および左開口位相差検出画素）にはカラーフィルタとしてＷフィルタが設けられることを想定する。なお、Ｗフィルタ３５２が配置される層はカラーフィルタが設けられる層であり、画像生成画素においては、各画素が受光する光の色（Ｒ、Ｇ、Ｂ）を透過するフィルタがこの層に設けられる。
【０１０９】
配線層３５３および３５４は、画素における各回路を接続するための配線の層（メタル層）である。図４（ｂ）では、３層の配線が光軸に対して層状に配置されていることを示している。なお、本技術の実施の形態では、オンチップレンズ３５１と受光素子３５５との間において、オンチップレンズ３５１に近い側から順に、第１メタル、第２メタルおよび第３メタルと称することとする。第２メタルおよび第３メタルは、画素における各回路の電気信号を通す配線として用いられ、第１メタルはグランドとして用いられる。
【０１１０】
なお、第１メタルは、その画素のオンチップレンズを通過しなかった光がその画素の受光素子で受光されるのを防ぐための遮光マスクの層としても機能している。
【０１１１】
ここで、配線層３５３と配線層３５４との違いについて説明する。配線層３５４においては、第３メタルが受光素子３５５の左半分を覆うように突出している。この突出により、射出瞳３４０の右半分（Ｌｒ３４７）を通過した被写体光（２本の鎖線（線３４３および線３４４）の間を通過する被写体光）は遮光され、受光素子３５５に受光されない。一方、配線層３５３の第３メタルは、オンチップレンズ３５１から受光素子３５５への被写体光の光路上には配置されずにこの光路の周辺に配置される。これにより、射出瞳３４０の左半分（Ｌｌ３４６）を通過した被写体光（２本の破線（線３４１および線３４２）の間を通過する被写体光）は遮光されずに、受光素子３５５に受光される。
【０１１２】
このように、受光素子３５５に一番近いメタルの層（第３メタル）で受光素子３５５の受光面を覆うことにより、射出瞳の左側部分からの光束と、右半分からの光束とを分離（瞳分割）している。
【０１１３】
なお、Ｂ画素３２３では、第３メタルが受光素子３５５を覆うために突出しない。このため、射出瞳３４０の右半分（Ｌｒ３４７）を通過した被写体光と、左半分（Ｌｌ３４６）を通過した被写体光との両方を受光することができる。
【０１１４】
また、左開口位相差検出画素３２６では、受光素子の右半分を覆うように第３メタルが突出する。この突出により、射出瞳３４０の左半分（Ｌｌ３４６）を通過した被写体光を遮光する。
【０１１５】
受光素子３５５は、受けた光を電気信号に変換（光電変換）することによって、受けた光の量に応じた強さの電気信号を生成するものである。この受光素子３５５は、例えば、フォトダイオード（ＰＤ：Photo Diode）により構成される。なお、撮像素子２２０において、受光素子のサイズは全ての画素において同じサイズである。すなわち、位相差検出画素の受光素子と画像生成画素の受光素子とは同じサイズであり、撮像素子２２０では、同じサイズの画素が水平・垂直方向に沿って等しい間隔で隣接して配置される。
【０１１６】
このように、位相差検出画素では、第３メタルにより受光素子が覆われて、射出瞳の特定の領域からの光の受光が妨げられることにより、瞳分割が行われる。なお、図４では、左および右の開口の位相差検出画素の断面構成を説明したが、上および下の開口の位相差検出画素の場合には、受光素子の下半分または上半分を覆うように第３メタルが突出する。
【０１１７】
なお、図４では、撮像素子２２０の中央付近（軸上）における画像生成画素および位相差検出画素の断面構成の例を示した。しかしながら、位相差検出画素が瞳分割を行うための第３メタルの突出の度合いは、像高および瞳距離に応じて変化する。像高が変化すれば位相差検出画素に入射する主光線の角度が変化する。このため、主光線の角度に応じて第３メタルの突出の度合いを変えて（第３メタルの突出した側の端に主光線があたるようにする）、射出瞳３４０の右半分または左半分を通過した光を各像高において適切に受光できるように撮像素子を生成する。なお、瞳距離が変化しても主光線の角度が変化するため、複数の交換レンズに対応できるように、複数の瞳距離において射出瞳３４０の右半分または左半分を通過した光を各像高において適切に受光できるように撮像素子を生成する。
【０１１８】
次に、読み出しモード決定部２７０が決定する読み出しモードの各モードについて、図５乃至図８を参照して説明する。
【０１１９】
［全画素読み出しモードの読み出し例］
図５は、本技術の第１の実施の形態の読み出しモード決定部２７０が全画素読み出しモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【０１２０】
図５（ａ）には、２４行×１３列の画素（領域４１１）が示され、全画素読み出しモードにおいて信号を読み出す際に信号が読み出される画素の位置が示されている。また、図５（ｂ）には、全画素読み出しモードにおいて読み出された信号から生成される撮像画像のサイズを示す複数の画素（領域４１５）が示されている。なお、図５乃至図８では、信号が読み出される画素については図４と同様に示し、信号が読み出されない画素についてはクロスハッチングを付した矩形により示す。
【０１２１】
図５（ａ）の領域４１１に示すように、全画素読み出しモードでは、画像生成画素および位相差検出画素の全ての画素から信号が読み出される。すなわち、図５（ｂ）の領域４１５に示すように、全画素読み出しモードでは、２４行×１３列の画素（領域４１１）の信号（画素値）から、２４行×１３列の画素数のデータが生成される。
【０１２２】
［位相差用間引きモードの読み出し例］
図６は、本技術の第１の実施の形態の読み出しモード決定部２７０が位相差用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【０１２３】
なお、図６では、図５（ａ）と同様の２４行×１３列の画素の領域を用いて説明する。
【０１２４】
図６（ａ）には、図５（ａ）と同様の２４行×１３列の画素（領域４２１）が示され、位相差用間引きモードにおいて信号を読み出す際に信号が読み出される画素の位置が示されている。なお、図６（ａ）では、信号が読み出される画素については図４と同様に示し、信号が読み出されない画素についてはクロスハッチングを付した矩形（矩形４２２）により示す。また、図６（ｂ）には、図６（ａ）の領域４２１において読み出される信号から生成される撮像画像のサイズを模式的に示す複数の画素（領域４２５）が示されている。
【０１２５】
図６（ｂ）の領域４２１に示すように、位相差用間引きモードでは、位相差検出画素を含むライン（ＡＦライン）は必ず読み出すように、２行置き（３行に１行読み出す垂直１／３間引き）で信号を読み出す。図６（ｂ）に示す領域４２１では、２、５、８、１１、１４、１７、２０、２３行目が読み出される。このように、読み出す行の数を１／３にすることにより、図５の全画素読み出しモードと比較して、信号の読み出しに必要となる時間が約１／３になる。すなわち、全画素読み出しモードに対して３倍の速度でフレーム内の全画角のデータを読み出すことができる。
【０１２６】
これにより、図６（ｂ）の領域４２５に示すように、位相差用間引きモードでは、２４行×１３列の画素（領域４２１）の信号から、８行×１３列の画素数のデータが生成される。なお、読み出された信号のうちの位相差検出画素の信号（画素値）は位相差検出部２４０において位相差検出に用いられる。一方、画像生成画素の信号（画素値）はＲＡＷ補正処理部２３０に供給され、撮像画像（ライブビュー画像）の表示や、動きベクトル検出部２６０における動きベクトルの検出のための画像補正処理が施される。すなわち、位相差用間引きモードでは、位相差検出画素を含むラインから読み出された信号を用いて画像が生成される。なお、位相差検出方式により合焦判定が行えない場合（例えば、位相差を検出できないぐらいに被写体が暗い場合）には、画像生成画素の画素値を用いてコントラスト検出方式による焦点検出がコントラスト検出部２５０により行われる。
【０１２７】
［コントラスト用間引きモードの読み出し例］
図７は、本技術の第１の実施の形態の読み出しモード決定部２７０がコントラスト用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【０１２８】
なお、図７では、図５（ａ）と同様の２４行×１３列の画素の領域を用いて説明する。
【０１２９】
図７（ａ）には、図５（ａ）と同様の２４行×１３列の画素（領域４３１）が示され、コントラスト用間引きモードにおいて信号を読み出す際に信号が読み出される画素の位置が示されている。また、図７（ｂ）には、図７（ａ）の領域４３１において示した読み出される信号から生成される撮像画像のサイズを模式的に示す複数の画素（領域４３５）が示されている。
【０１３０】
図７（ａ）の領域４３１に示すように、コントラスト用間引きモードでは、ＡＦラインを読み出さないように、２行置き（３行に１行読み出す垂直１／３間引き）で信号を読み出す。図７（ａ）に示す領域４３１では、１、４、７、１０、１３、１６、１９、２２行目が読み出される（計８行）。すなわち、位相差用間引きモードと同様に、全画素読み出しモードに対して３倍の速度でフレーム内の全画角のデータを読み出すことができる。しかしながら、ＡＦラインを読み出さないため、位相差検出方式により焦点検出を行うことができない。なお、ＡＦラインを読み出さずに画像生成画素のみのラインのみを読み出すため、位相差検出画素の画素値を補間する必要がなくなり、位相差用間引きモードよりも画質が良くなる。このように、コントラスト用間引きモードでは、位相差検出画素を含まないラインのみから読み出された信号を用いて画像が生成される。また、コントラスト用間引きモードは、位相差用間引きモードと比較して、信号が読み出される位相差検出画素の数（割合）が少ない。
【０１３１】
［動画用間引きモードの読み出し例］
図８は、本技術の第１の実施の形態の読み出しモード決定部２７０が動画用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【０１３２】
図８（ａ）には、図５（ａ）と同様の２４行×１３列の画素（領域４４１）が示され、動画用間引きモードにおいて信号を読み出す際に信号が読み出される画素の位置が示されている。また、図８（ｂ）には、図８（ａ）の領域４４１において示した読み出される信号から生成される撮像画像のサイズを模式的に示す複数の画素（領域４４５）が示されている。
【０１３３】
ここで、動画用間引きモードにおける信号の読み出しについて、図８（ａ）を参照して説明する。
【０１３４】
動画用間引きモードでは、１／３行および１／３列の間引きを行うとともに、信号を加算してから信号が読み出される。動画用間引きモードでは、ＡＦラインを含むようにして２行置きに信号を読み出さない行（間引かれる行）を設定する。すなわち、動画用間引きモードでは、位相差用間引きモードで読み出された行（図６参照）が、信号を読み出さない行として設定される。また、動画用間引きモードでは、列方向に２列置きに信号を読み出さない列を設定する。そして、図８（ａ）に示すように、３行×３列のうちの同じ色の４つの画像生成画素の信号を加算して読み出しを行う。図８（ａ）では、加算して読み出される３行×３列の領域を、破線の枠（領域４４２）で示している。
【０１３５】
動画用間引きモードでは、読み出さない行および列を設定するとともに同色の画像生成画素の信号を加算して、この加算された信号が撮像素子２２０から出力される。これにより、図８（ｂ）の領域４４５に示すように、画素が８行の画像が生成される。すなわち、信号を読み出す画素の行の数は全画素読み出しモードに対して２／３であるものの、信号を読み出す際の行（ライン）の数は全画素読み出しモードに対して１／３になる。これにより、位相差用間引きモードおよびコントラスト用間引きモードと同様に、信号の読み出しに必要となる時間が、全画素読み出しモードに対して約１／３（速度が３倍）になる。また、画素数が少なくなるものの、単純に１／３行間引きをしただけのコントラスト用間引きモードと比較して信号の読み出し対象の画素の数が多いために感度が良くなる。すなわち、高いフレームレートを要する動画の撮影に適した画像を得ることができる。
【０１３６】
図５乃至図８に示すように、本技術の第１の実施の形態では、撮像素子２２０の読み出しモードとして、４種類のモードが設定される。そして、読み出しモード決定部２７０は、静止画を撮像する場合には読み出しモードを全画素読み出しモードと決定し、動画を撮像する場合には読み出しモードを動画用間引きモードと決定する。また、読み出しモード決定部２７０は、静止画を撮像する際のフォーカス調整時の読み出しモードについては、図６および図７において説明したコントラスト用間引きモードおよび位相差用間引きモードのどちらかを読み出しモードとして決定する。読み出しモード決定部２７０は、コントラスト用間引きモードおよび位相差用間引きモードのどちらにするかがユーザ操作により決定されている場合（フォーカスモードが指定されている場合）には、その決定に応じてモードを決定する。また、読み出しモード決定部２７０は、コントラスト用間引きモードおよび位相差用間引きモードのどちらにするかの決定が自動（オート）に設定されている場合には、動きベクトル検出部２６０が供給する面内ＭＶ総和情報に基づいて決定する。
【０１３７】
次に、動きベクトル検出部２６０が供給する面内ＭＶ総和情報が示す値（面内ＭＶ総和）と、読み出しモード決定部２７０が決定する読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）との関係について、図９を参照して説明する。
【０１３８】
［面内ＭＶ総和の値と読み出しモードとの関係例］
図９は、本技術の第１の実施の形態の動きベクトル検出部２６０が算出する面内ＭＶ総和と、読み出しモード決定部２７０が決定する読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）との関係を示す模式図である。
【０１３９】
図９には、横軸を面内ＭＶ総和（面内ＭＶ総和情報が示す値）を示す軸とし、縦軸を読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）の決定結果として、面内ＭＶ総和の値と読み出しモードとの関係を示すグラフが示されている。なお、横軸は、図の左側を面内ＭＶ総和が低い側とし、図の右側（矢先側）を面内ＭＶ総和が高い側とする。
【０１４０】
このグラフには、コントラスト用間引きモードから位相差用間引きモードに切り替える判断の基準となる閾値（第１閾値４６１）と、位相差用間引きモードからコントラスト用間引きモードに切り替える判断の基準となる閾値（第２閾値４６２）とが示されている。
【０１４１】
図９に示すように、静止画像の撮像時のフォーカスを調整する際の読み出しモードは、面内ＭＶ総和が大きいと、位相差用間引きモードが決定され、面内ＭＶ総和が小さいとコントラスト用間引きモードが決定される。なお、画像のノイズ等での誤検出を起こりにくくするため、読み出しモードの決定にはヒステリシスを持たせる。このために、２つの閾値（第１閾値４６１および第２閾値４６２）が設定される。第２閾値４６２より値が大きい第１閾値４６１を面内ＭＶ総和が超える（以上またはより大きい）と、コントラスト用間引きモードから位相差用間引きモードに切り替わる。一方、第２閾値４６２を面内ＭＶ総和が下回る（以下またはより小さい）と、位相差用間引きモードからコントラスト用間引きモードに切り替わる。すなわち、面内ＭＶ総和が第１閾値４６１を超えると常に位相差用間引きモードになり、面内ＭＶ総和が第２閾値４６２を下回ると常にコントラスト用間引きモードになる。また、面内ＭＶ総和が第２閾値４６２から第１閾値４６１の間であると、コントラスト用間引きモードおよび位相差用間引きモードのうちの、以前の撮像（１つ前のフレームの撮像）の際に設定されたモードに設定される。
【０１４２】
このように、静止画像の撮像時のフォーカスを調整する際の読み出しモードが、被写体の動き（面内ＭＶ総和）に応じて、コントラスト用間引きモードと位相差用間引きモードとの間で切り替わる。なお、切り替わりの判断の基準となる閾値は、撮像装置の性能によって異なるが、例えば、コントラスト検出でフォーカスを調整して撮像してもそれほどフォーカスのズレが目立たないような動きの上限に近い値とする場合が考えられる。また、コントラスト用間引きモードから位相差用間引きモードに切り替わった際の画質の劣化が、被写体の動きによる像のブレ等により余り目立たなくなるような値を閾値とする場合なども考えられる。
【０１４３】
［読み出しモードの特徴例］
図１０は、本技術の第１の実施の形態の読み出しモード決定部２７０が設定する読み出しモードの各モードの特徴を示す模式図である。
【０１４４】
図１０（ａ）には、図５乃至図８において示した撮像素子２２０の４タイプの読み出しモードのそれぞれの特徴をまとめて示す表（表４７０）が示されている。この表４７０には、位相差検出の性能（列４７２）と、コントラスト検出の性能（列４７３）と、読み出し速度（列４７４）と、画質（列４７５）と、撮像画像の用途（列４７６）とが、読み出しモード（列４７１）ごとに示されている。
【０１４５】
表４７０に示すように、全画素読み出しモードでは、位相差検出とコントラスト検出とが共に可能であるが静止画の撮像中であるため、処理を軽くするためにコントラスト検出は行わずに、位相差検出のみで合焦判定が行われる。そして、位相差検出による合焦判定に基づいてフォーカスレンズが駆動され、次の撮像（連写なら静止画像、単写ならライブビュー画像）のための合焦処理が行われる。なお、この全画素読み出しモードは、全ての画素から信号を読み出すため、読み出し速度は最も遅い（図１０（ｂ）では「×１」と示す）。しかしながら、全ての画素から信号を読み出すため画質は最も良く、静止画像を取得する際に全画素読み出しモードが設定される。
【０１４６】
また、コントラスト用間引きモードは、位相差検出が実行不可能であり、コントラスト検出のみが実行可能である。そのため、コントラスト用間引きモードが設定されている際には、コントラスト検出のみで合焦判定が行われる。なお、コントラスト用間引きモードは、読み出す行（ライン）の数が全画素読み出しモードの１／３であるため、読み出し速度が３倍（×３）になる。また、行の数が全画素読み出しモードの１／３であるため、画質はやや悪い（位相差用間引きモードより良く、動画用間引きモードより悪い）。コントラスト用間引きモードで撮像した画像は、高画質なライブビュー画像として用いられる。
【０１４７】
位相差検出用間引きモードは、位相差検出とコントラスト検出とが共に可能であるが、面内ＭＶ総和が閾値よりも高い（被写体の動きが大きい）と設定されるモードであるため、位相差検出を優先して合焦判定が行われる。なお、コントラスト検出も実行可能であるため、位相差検出が難しい場合（例えば、被写体が暗い場合）などにおいても合焦判定が行えるように、コントラスト検出が位相差検出と併用される。また、位相差検出用間引きモードは、読み出す行の数が全画素読み出しモードの１／３であるため、読み出し速度が３倍（×３）になる。なお、読み出す行の数はコントラスト用間引きモードと同じであるが、コントラスト用間引きモードでは読み出された信号が全て画像生成画素の信号である一方、位相差検出用間引きモードでは位相差検出画素の信号も読み出される。すなわち、位相差検出用間引きモードでは補間が多くなり、コントラスト用間引きモードよりも画質は悪くなる（図１０（ａ）では「最も悪い」と表示）。位相差検出用間引きモードで撮像した画像は、低画質なライブビュー画像として用いられる。
【０１４８】
動画用間引きモードは、位相差検出が実行不可能であり、コントラスト検出のみが実行可能であるため、コントラスト検出のみで合焦判定が行われる。なお、動画用間引きモードでは、１行間引いた上で、２行の画素の間で信号が加算されて読み出されるため（図８参照）、読み出し速度が３倍（×３）になる。また、全画素読み出しモードより悪く、コントラスト用間引きモードより良い画質（図１０（ａ）では「やや良い」と表示）となり、動画用間引きモードで撮像した画像は、動画の画像として用いられる。
【０１４９】
図１０（ｂ）には、静止画撮像時の合焦判定時の読み出しモードの設定に着目し、合焦判定時の読み出しモードの判断に用いられる被写体の動き（面内ＭＶ総和）と、読み出しモードとの関係を示す表（表４８０）が示されている。この表４８０には、設定される読み出しモード（列４８２）と、合焦判定方法（列４８３）と、合焦速度（４８４）とが、被写体の動き（列４８１）ごとに示されている。
【０１５０】
表４８０に示すように、被写体の動きが無または小の場合には、読み出しモードがコントラスト用間引きモードに設定される。一方、被写体の動きが大の場合には、読み出しモードが位相差検出用間引きモードに設定される。すなわち、被写体の動きが無または小の場合には、コントラスト検出が行われ、合焦速度（ＡＦ速度）は遅い。一方、被写体の動きが大の場合には、位相差検出が優先的に実行され、合焦速度は速い。
【０１５１】
このように、被写体の動きが少ない場合はコントラスト用間引きモードが設定され、ＡＦ速度が遅いものの画質が良い。被写体の動きが少ない時には、コントラスト用間引きモードにおいて行われるコントラスト検出でフォーカスを調整しても時間的に十分である。また、被写体の動きが少ない時にはユーザが細かいところまで確認しやすいが、この時に良好な画質のライブビュー画像を表示することができる。すなわち、フォーカス調整時のライブビュー画像の画質を向上させることができる。
【０１５２】
また、被写体の動きが大きい場合には位相差検出用間引きモードが設定され、ＡＦ速度が速いものの画質が悪い。被写体の動きが大きい時にはコントラスト検出では間に合わないため、位相差検出用間引きモードで実行可能な位相差検出が適している。また、被写体の動きが大きい時にはライブビュー画像における被写体の像が流れたりぼやけたりするため、ユーザも細かいところまで確認できない。このため、画質が悪くともライブビュー画像の粗がユーザに目立たない。すなわち、画質の粗が目立たないタイミングで位相差検出によりフォーカス制御を行うことができ、ライブビュー画像の画質を犠牲にしないとともに、被写体に適切なフォーカス制御を行うことができる。
【０１５３】
このように、フォーカス調整時の読み出しモードを被写体の動きに応じて設定することができるため、合焦速度（ＡＦ速度）と画質とのバランスを自動的に調整することができる。すなわち、被写体に適切なフォーカス制御が行われるとともに、フォーカス調整時のライブビュー画像の画質を向上させることができる。
【０１５４】
［撮像装置の動作例］
次に、本技術の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１５５】
図１１は、本技術の第１の実施の形態における撮像装置１００の読み出しモード決定処理手順の一例を示すフローチャートである。
【０１５６】
なお、図１１で示す読み出しモード決定処理手順は、撮像素子２２０を用いた撮像が行われる度に実行されることを想定する。すなわち、読み出しモード決定処理手順は、静止画の撮像のライブビュー画像を表示しながらフォーカス調整を行っている状態では、ライブビュー画像の表示やフォーカス調整で用いられる画像の取得の度（フレームごと）に行われる。
【０１５７】
まず、撮像素子２２０が撮像する前に、撮像モードに動画モードが設定されているか否かが、制御部２９９からの情報に基づいて、読み出しモード決定部２７０により判断される（ステップＳ９１１）。そして、動画モードが設定されていると判断された場合には（ステップＳ９１１）、撮像素子２２０の読み出しモードが動画用読み出しモードに設定され（ステップＳ９１２）、読み出しモード決定処理手順は終了する。
【０１５８】
一方、動画モードが設定されていないと判断された場合には（ステップＳ９１１）、次の撮像により取得される画像が、シャッターボタンの押下に基づく撮像であるか否かが、読み出しモード決定部２７０により判断される（ステップＳ９１１）。これにより、静止画の撮像のための撮像モード（動画モードが設定されていない）が設定されている場合において、撮像する画像が静止画像を保存するための画像であるか否かが判断される。そして、シャッターボタンの押下に基づく撮像である（静止画像の保存のための撮像である）と判断された場合には（ステップＳ９１３）、撮像素子２２０の読み出しモードが全画素読み出しモードに設定され（ステップＳ９１４）、読み出しモード決定処理手順は終了する。
【０１５９】
また、シャッターボタンの押下に基づく撮像でないと判断された場合には（ステップＳ９１３）、フォーカス調整のモードがオート（自動）であるか否かが、読み出しモード決定部２７０により判断される（ステップＳ９１５）。すなわち、ライブビューおよびフォーカス調整のための撮像であると判断されると、フォーカス調整のモードについて判断される。そして、フォーカス調整のモード（フォーカスモード）がオートでない（ユーザにより指定されている）と判断された場合には（ステップＳ９１５）、フォーカスモードに高速ＡＦモードが設定されているか否かが判断される（ステップＳ９１６）。そして、フォーカスモードに高速ＡＦが設定されていると読み出しモード決定部２７０により判断された場合には（ステップＳ９１６）、ステップＳ９２１に進む。
【０１６０】
一方、フォーカスモードに高速ＡＦモードが設定されていない（高画質ＡＦ（低速ＡＦ）モードが設定されている）と判断された場合には（ステップＳ９１６）、撮像素子２２０の読み出しモードがコントラスト用間引きモードに設定される（ステップＳ９１７）。そして、ステップＳ９１７の後に、読み出しモード決定処理手順は終了する。
【０１６１】
また、フォーカスモードがオートであると判断された場合には（ステップＳ９１５）、１フレーム前の画像の動きベクトル（面内ＭＶ総和）が動きベクトル検出部２６０により検出され、この検出された面内ＭＶ総和が読み出しモード決定部２７０により取得される（ステップＳ９１８）。続いて、１フレーム前の画像の取得の際に設定されていた読み出しモードに応じた閾値と、取得した面内ＭＶ総和との比較が読み出しモード決定部２７０により行われる（ステップＳ９１９）。すなわち、ステップＳ９１９では、図９に示すように、読み出しモードの決定にヒステリシスを備えられるように閾値が設定（第１閾値４６１または第２閾値４６２）され、面内ＭＶ総和との比較が行われる。次に、面内ＭＶ総和が閾値を基準として大きいか否かが、読み出しモード決定部２７０により判断される（ステップＳ９２０）。そして、面内ＭＶ総和が閾値より小さい（動きが小さい）と判断された場合には（ステップＳ９２０）、ステップＳ９１７に進む。なお、ステップＳ９１８は、特許請求の範囲に記載の検出手順の一例である。また、ステップＳ９２０は、特許請求の範囲に記載の決定手順の一例である。
【０１６２】
一方、面内ＭＶ総和が閾値より大きい（動きが大きい）と判断された場合には（ステップＳ９２０）、撮像素子２２０の読み出しモードが位相差用間引きモードに設定され（ステップＳ９２１）、読み出しモード決定処理手順は終了する。
【０１６３】
このように、本技術の第１の実施の形態によれば、フォーカス調整時の読み出しモードを被写体の動きに応じて設定することにより、被写体に合った適切な間引き方法で撮像素子から信号を読み出すことができる。また、撮像動作（動画撮影や静止画撮影）が指定されている場合には、その指定に応じた適切な間引き方法で撮像素子から信号を読み出すことができる。すなわち、本技術の第１の実施の形態によれば、撮像素子から信号を読み出す際の間引き処理を適切に設定することができる。
【０１６４】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、静止画の撮像におけるフォーカス調整時の読み出しモードを、コントラスト用間引きモードと位相差用間引きモードとの間で面内ＭＶ総和（面内ＭＶ総和情報が示す値）に基づいて切り替える例について説明した。なお、コントラスト用間引きモードでは位相差検出画素からの信号が読み出されないため、コントラスト用間引きモードではコントラスト検出で合焦判定が行われ、位相差用間引きモードでは位相差検出による合焦判定が優先的に行われる。なお、これに限定されるものではなく、例えば、面内ＭＶ総和に基づいて切り替わる読み出しモードを３以上にする場合も考えられる。また、面内ＭＶ総和に基づいて読み出しモードを決定した上で、さらに、面内ＭＶ総和に基づいて合焦判定方法を切り替える場合なども考えられる。
【０１６５】
そこで、本技術の第２の実施の形態では、面内ＭＶ総和に基づいて読み出しモードを決定した上で、さらに、面内ＭＶ総和に基づいて合焦判定方法を切り替える例について、図１２を参照して説明する。
【０１６６】
［面内ＭＶ総和の値と読み出しモードおよび合焦判定方法との関係例］
図１２は、本技術の第２の実施の形態の動きベクトル検出部２６０が算出する面内ＭＶ総和と、読み出しモード決定部２７０により決定されるフォーカス調整時の読み出しモードとの関係を示す模式図である。
【０１６７】
図１２（ａ）には、図９と同様に、静止画の撮像の際のフォーカス調整時の読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）と、面内ＭＶ総和（面内ＭＶ総和情報が示す値）との関係を示すグラフが示されている。なお、図１２（ａ）は、横軸および縦軸のスケールが図９と異なる他は、図９のグラフと同様のものであるため、ここでの説明を省略する。
【０１６８】
図１２（ｂ）には、横軸を面内ＭＶ総和を示す軸とし、縦軸をフォーカス調整時の合焦判定方法の決定結果として、面内ＭＶ総和と合焦判定方法との関係を示すグラフが示されている。
【０１６９】
このグラフに示すように、第１閾値４６１は、合焦判定方法をコントラスト検出のみから位相差検出とコントラスト検出との併用による検出（併用検出）に切り替える判断の基準となる。また、第２閾値４６２は、併用検出および位相差検出のみからコントラスト検出のみに切り替える判断の基準となる。また、このグラフには、合焦判定方法を、コントラスト検出のみおよび併用による検出から位相差検出のみに切り替える判断の基準となる閾値（第３閾値５１１）が示されている。また、このグラフには、位相差検出のみから併用による検出に切り替える判断の基準となる閾値（第４閾値５１２）が示されている。なお、図１２（ｂ）のグラフにおいて示す第１閾値および第２閾値は、図１２（ａ）において示した第１閾値４６１および第２閾値４６２と同じ値であるため、同一の符号を付して示す。また、合焦判定方法にヒステリシスを持たせるのは、読み出しモードの決定でヒステリシスを持たせるのと同様であるため、詳細な説明を省略する。
【０１７０】
ここで、併用検出について説明する。併用検出では、フォーカスレンズを合焦位置に素早く駆動することができる位相差検出と、時間がかかるがより正確な合焦位置を検出することができるコントラスト検出との両方を用いてフォーカス制御が行われる。例えば、最初に、位相差検出で合焦位置を検出し、検出した合焦位置を確実に通り過ぎる位置を目指してフォーカスレンズを駆動する。この時に、位相差検出で検出した合焦位置の手前付近から通り過ぎる位置まで画像を複数撮像し、その撮像した画像を用いてコントラスト検出を行う。そして、コントラスト検出により検出された合焦位置へフォーカスレンズを駆動して最終的に合焦させる（例えば、特開２００９−６９２５５参照）。
【０１７１】
すなわち、併用検出では、コントラスト検出のみでフォーカス制御を行う場合と比較して、コントラスト検出で検出するフォーカス位置が異なる複数の画像の取得が少なくなる（山登り検出を行う期間が短くなる）ため、短い時間で合焦させることができる。
【０１７２】
図１２（ｂ）に示すように、本技術の第２の実施の形態では、面内ＭＶ総和がある程度大きい（第１閾値４６１より大きい）と、コントラスト用間引きモードから位相差用間引きモードに切り替わるとともに、合焦判定方法がコントラスト検出のみから併用検出に切り替わる。また、面内ＭＶ総和がかなり大きい（第３閾値５１１より大きい）と、間引きモードが位相差用間引きモードであり、合焦判定方法が位相差検出のみの状態になる。すなわち、本技術の第２の実施の形態では、被写体の動きの大きさに応じて、読み出しモードとともに合焦判定方法も切り替える。
【０１７３】
このように、本技術の第２の実施の形態によれば、フォーカス調整時の読み出しモードを被写体の動きに応じて設定するとともに、合焦判定方法を被写体の動きに応じて設定することができる。
【０１７４】
このように、本技術の実施の形態によれば、撮像素子から信号を読み出す際の間引き処理を適切に設定することができる。
【０１７５】
また、本技術の実施の形態によれば、フォーカス調整時の読み出しモードを被写体の動きに応じて設定することができるため、合焦速度（ＡＦ速度）と画質とのバランスを自動的に調整することができる。
【０１７６】
なお、本技術の実施の形態では、全ての間引きモード（位相差検出用間引きモード、コントラスト検出用間引きモード、動画用間引きモード）において、読み出すラインの数が、全画素読み出しと比較して１／３になる。すなわち、読み出すラインの数が増減しないため、ＲＡＷ補正処理部２３０およびカメラ信号処理部２３５における処理内容を大幅に変更する必要がない。これにより、画像処理における負担を軽減することができる。
【０１７７】
また、本技術の実施の形態では、１／３間引きを想定して説明したが、これに限定されるものではなく、撮像素子における画素配置に応じて間引きの間隔が設定されればよい。また、本技術の実施の形態では、面内ＭＶ総和に応じて読み出しモードを切り替える例について説明したが、これに限定されるものではなく、例えば、合焦判定の対象物（フォーカスエリア内の物体）の動きに応じて切り替える場合なども考えられる。
【０１７８】
なお、本技術の実施の形態では、画像生成画素に備えられるカラーフィルタが３原色（ＲＧＢ）のカラーフィルタであることを想定して説明したが、これに限定されるものではない。例えば、画像生成画素に補色のカラーフィルタが備えられる場合においても、同様に適用できる。また、１つの画素の領域で可視光領域の波長の光を全て検出する画素（例えば、青色用の画素、緑色用の画素、赤色用の画素が光軸方向に重ねて配置されている撮像素子）が画像生成画素である場合においても、本技術の実施の形態は同様に適用できる。
【０１７９】
また、本技術の実施の形態では、位相差検出画素は、２つに瞳分割された光の一方を受光することを想定して説明したが、これに限定されるものではない。例えば、瞳分割用遮光層を備えずに２つの受光素子を備え、瞳分割された光をそれぞれの受光素子で受光することができる位相差検出画素の場合においても、本技術の実施の形態を適用することができる。また、瞳分割用遮光層を備えずに半分の大きさの受光素子を備え、瞳分割された光の一方をその半分の大きさの受光素子で受光することができる位相差検出画素の場合においても、同様に、間引き処理を適切に設定することができる。
【０１８０】
また、位相差検出画素のカラーフィルタは、Ｗフィルタを想定して説明したが、これに限定されるものではなく、フィルタの代わりに透明層がある場合、Ｗフィルタの代わりにＧフィルタを備える場合なども考えられる。また、Ｇ画素の位置に位相差検出画素を配置する例について説明したが、これに限定されるものではなく、Ｒ画素やＢ画素の一部が位相差検出画素とされている場合も考えられる。
【０１８１】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１８２】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ハードディスク、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１８３】
なお、本技術は以下のような構成もとることができる。
（１） 位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出部と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定部と
を具備する情報処理装置。
（２） 前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記決定部は、合焦判定を行う際に前記検出部により検出された前記被写体の動きが閾値を基準として大きい場合には、前記間引き処理として前記第１処理を決定し、前記被写体の動きが閾値を基準として小さい場合には、前記間引き処理として前記第２処理を決定する
前記（１）に記載の情報処理装置。
（３） 前記第１処理が決定された場合には、前記位相差検出による合焦判定に基づいてフォーカス制御を行い、前記第２処理が決定された場合には、コントラスト検出による合焦判定に基づいてフォーカス制御を行うフォーカス制御部をさらに具備する前記（２）に記載の情報処理装置。
（４） 前記第１処理において読み出し対象となるライン間の間隔と、前記第２処理において読み出し対象となるライン間の間隔とが同一である前記（２）または（３）に記載の情報処理装置。
（５） 前記決定部は、動画の撮像動作が行われる場合には、前記検出された被写体の動きに係わらず、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第３処理を決定する前記（１）から（４）のいずれかに記載の情報処理装置。
（６） 前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記第３処理は、前記位相差検出画素を含まないラインにおいて、検出対象の被写体光の波長が同じ画素からの信号を読み出し前に加算し、前記第３処理において読み出し対象となるラインの数と、前記第１処理において読み出し対象となるラインの数とを同一とする間引き処理である
前記（５）に記載の情報処理装置。
（７） フォーカスモードの指定操作を受け付ける操作受付部をさらに具備し、
前記決定部は、前記検出された被写体の動きに係わらず、前記受け付けられた指定操作に基づいて前記間引き処理を決定する
前記（１）から（６）のいずれかに記載の情報処理装置。
（８） 前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記決定部は、高速に合焦させるためのフォーカスモードが指定されている場合には、前記間引き処理として前記第１処理を決定し、高速な合焦よりも画質を優先させるためのフォーカスモードが指定されている場合には、前記間引き処理として前記第２処理を決定する
前記（７）に記載の情報処理装置。
（９） 前記間引き処理は、所定の間引き処理である第４処理と、読み出し対象となる信号における前記位相差検出画素の信号の割合が前記第４処理よりも低い第５処理とを含み、
前記決定部は、合焦判定を行う際に前記検出部により検出された前記被写体の動きが閾値を基準として大きい場合には、前記間引き処理として前記第４処理を決定し、前記被写体の動きが閾値を基準として小さい場合には、前記間引き処理として前記第５処理を決定する
前記（１）に記載の情報処理装置。
（１０） 位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出手順と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定手順と
を具備する情報処理方法。
（１１） 位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出手順と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１８４】
１０ 撮像システム
１００ 撮像装置
１１２ シャッターユニット
１１３、２２０ 撮像素子
１１５ 画像処理回路
１１９ 画像メモリ
１２１ 電池
１２２ 電源回路
１２５ メモリカード
１２８ 操作部
１３１ シャッタ駆動制御部
１３３ 絞り駆動制御部
１３４ フォーカス駆動制御部
１３６ メイン制御部
１５１ 位相差演算回路
１５２ コントラスト演算回路
１７０ 交換レンズ
１８１ 絞り駆動機構
１８３ レンズ位置検出部
１８４ レンズ駆動機構
１９０ 鏡胴
１９２ ズームレンズ
１９３、２１０ フォーカスレンズ
１９４ レンズ群
２３０ ＲＡＷ補正処理部
２３５ カメラ信号処理部
２４０ 位相差検出部
２５０ コントラスト検出部
２６０ 動きベクトル検出部
２７０ 読み出しモード決定部
２８０ レンズ駆動制御部
２９２ 画像表示処理部
２９３ 表示部
２９４ 画像出力処理部
２９５ 出力部
２９６ 画像記録再生処理部
２９７ 記録部
２９８ 操作受付部
２９９ 制御部
【技術分野】
【０００１】
本技術は、情報処理装置に関し、特に、撮像素子における間引き処理を行うことができる情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体を撮像して撮像画像を生成し、この生成された撮像画像を記録するデジタルスチルカメラ等の撮像装置が普及している。また、この撮像装置として、ユーザの撮影操作を簡便にするため、撮像時のフォーカス（ピント、焦点）調整を自動的に行うオートフォーカス（ＡＦ：Auto Focus）機能を備える撮像装置が広く普及している。
【０００３】
このような撮像装置として、例えば、フォーカス位置をずらしながら複数の画像を撮像し、最もコントラストが高いフォーカス位置を合焦位置とするコントラスト検出方式によりオートフォーカスを行う撮像装置が提案されている。また、撮像レンズを通過した光を瞳分割して１対の像を形成し、その形成された像の間隔を計測（位相差を検出）することによって撮像レンズの位置を決定する位相差検出方式によりオートフォーカスを行う撮像装置も提案されている。
【０００４】
さらに、コントラスト検出方式と位相差検出方式との両方の機能を備える撮像装置も提案されている。このような撮像装置として、例えば、撮像レンズを通過した光を瞳分割する画素（位相差検出画素）と、撮像画像の生成用の画素（画像生成画素）との両方の画素を１つの撮像素子に設ける撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１３４３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術では、位相差検出画素と画像生成画素の両方の画素を１つの撮像素子に設けるため、この撮像素子から読み出された信号に基づいて、コントラスト検出方式と位相差検出方式とを両方とも行うことができる。
【０００７】
また、この撮像素子をＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどのＸＹアドレス型のセンサで実現した場合には、ライン単位で読み出すことができる。すなわち、ライブビュー画像（モニタ画像）などの高解像度を必要としない画像を撮像する場合には、間引き読み出しを行うことにより、読み出し速度（フレームレート）を上げることができる。
【０００８】
しかしながら、この間引き読み出しでは、位相差検出画素が多く読み出されるように間引くと、位相差検出画素の割合が高くなってしまう。位相差検出画素の割合が高くなると、位相差検出画素の位置の画素値の補間処理が増加するため、画質（ライブビュー画像の画質）が劣化する。一方、位相差検出画素が少なくなるように間引くと、位相差検出の精度が低下するものの、画素値の補間処理が少なくてすむため、画質が向上する。
【０００９】
すなわち、画質と合焦性能とが両立できるように、間引き処理を適切に設定することが望ましい。
【００１０】
本技術はこのような状況に鑑みて生み出されたものであり、撮像素子から信号を読み出す際の間引き処理を適切に設定することを目的とする。
【課題を解決するための手段】
【００１１】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出部と、上記撮像素子から信号を読み出す際の間引き処理を上記検出された被写体の動きに応じて決定する決定部とを具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、位相差検出画素と画像生成画素とを備える撮像素子の間引き処理を、被写体の動きに応じて決定させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記間引き処理は、上記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、上記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、上記決定部は、合焦判定を行う際に上記検出部により検出された上記被写体の動きが閾値を基準として大きい場合には、上記間引き処理として上記第１処理を決定し、上記被写体の動きが閾値を基準として小さい場合には、上記間引き処理として上記第２処理を決定するようにしてもよい。これにより、被写体の動きが閾値を基準として大きい場合には位相差検出画素を含むラインから信号を読み出す第１処理が設定され、被写体の動きが閾値を基準として小さい場合には位相差検出画素を含まないラインのみから信号を読み出す第２処理が設定されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記第１処理が決定された場合には、上記位相差検出による合焦判定に基づいてフォーカス制御を行い、上記第２処理が決定された場合には、コントラスト検出による合焦判定に基づいてフォーカス制御を行うフォーカス制御部をさらに具備するようにしてもよい。これにより、第１処理が決定されると位相差検出による合焦判定に基づいてフォーカス制御が行われ、第２処理が決定されるとコントラスト検出による合焦判定に基づいてフォーカス制御が行われるという作用をもたらす。
【００１４】
また、この第１の側面において、上記第１処理において読み出し対象となるライン間の間隔と、上記第２処理において読み出し対象となるライン間の間隔とが同一であるようにしてもよい。これにより、第１処理と第２処理とが同じライン間の間隔で信号が読み出され、同じような信号処理を経て撮像画像が生成されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記決定部は、動画の撮像動作が行われる場合には、上記検出された被写体の動きに係わらず、上記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第３処理を決定するようにしてもよい。これにより、動画の撮像動作が行われる場合には、間引き処理として第３処理が決定されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記間引き処理は、上記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、上記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、上記第３処理は、上記位相差検出画素を含まないラインにおいて、検出対象の被写体光の波長が同じ画素からの信号を読み出し前に加算し、上記第３処理において読み出し対象となるラインの数と、上記第１処理において読み出し対象となるラインの数とを同一とする間引き処理であるようにしてもよい。これにより、第３処理では、検出対象の被写体光の波長が同じ画素からの信号が読み出し前に加算されて、第３処理において読み出し対象となるラインの数と、第１処理において読み出し対象となるラインの数とが同一とされるという作用をもたらす。
【００１７】
また、この第１の側面において、フォーカスモードの指定操作を受け付ける操作受付部をさらに具備し、上記決定部は、上記検出された被写体の動きに係わらず、上記受け付けられた指定操作に基づいて上記間引き処理を決定するようにしてもよい。これにより、ユーザによるフォーカスモードの指定操作が受け付けられた場合には、検出された被写体の動きに係わらず、受け付けられた指定操作に基づいて間引き処理が決定されるという作用をもたらす。
【００１８】
また、この第１の側面において、上記間引き処理は、上記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、上記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、上記決定部は、高速に合焦させるためのフォーカスモードが指定されている場合には、上記間引き処理として上記第１処理を決定し、高速な合焦よりも画質を優先させるためのフォーカスモードが指定されている場合には、上記間引き処理として上記第２処理を決定するようにしてもよい。これにより、高速に合焦させるためのフォーカスモードが指定されている場合には、間引き処理として第１処理が決定され、高速な合焦よりも画質を優先させるためのフォーカスモードが指定されている場合には、間引き処理として第２処理が決定されるという作用をもたらす。
【００１９】
また、この第１の側面において、上記間引き処理は、所定の間引き処理である第４処理と、読み出し対象となる信号における上記位相差検出画素の信号の割合が上記第４処理よりも低い第５処理とを含み、上記決定部は、合焦判定を行う際に上記検出部により検出された上記被写体の動きが閾値を基準として大きい場合には、上記間引き処理として上記第４処理を決定し、上記被写体の動きが閾値を基準として小さい場合には、上記間引き処理として上記第５処理を決定するようにしてもよい。これにより、被写体の動きが閾値を基準として大きい場合には所定の間引き処理である第４処理が設定され、被写体の動きが閾値を基準として小さい場合には位相差検出画素の信号の割合が第４処理よりも低い第５処理が設定されるという作用をもたらす。
【発明の効果】
【００２０】
本技術によれば、撮像素子から信号を読み出す際の間引き処理を適切に設定することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態における撮像システム１０の内部構成の一例を示す模式図である。
【図２】本発明の第１の実施の形態における撮像システム１０に関する機能構成の一例を示すブロック図である。
【図３】本技術の第１の実施の形態における撮像素子２２０に備えられる画素の配置の一例を示す模式図である。
【図４】本発明の第１の実施の形態における画像生成画素および位相差検出画素の断面構成と、各画素が受光する被写体光との一例を示す模式図である。
【図５】本技術の第１の実施の形態の読み出しモード決定部２７０が全画素読み出しモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【図６】本技術の第１の実施の形態の読み出しモード決定部２７０が位相差用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【図７】本技術の第１の実施の形態の読み出しモード決定部２７０がコントラスト用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【図８】本技術の第１の実施の形態の読み出しモード決定部２７０が動画用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【図９】本技術の第１の実施の形態の動きベクトル検出部２６０が算出する面内ＭＶ総和と、読み出しモード決定部２７０が決定する読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）との関係を示す模式図である。
【図１０】本技術の第１の実施の形態の読み出しモード決定部２７０が設定する読み出しモードの各モードの特徴を示す模式図である。
【図１１】本技術の第１の実施の形態における撮像装置１００の読み出しモード決定処理手順の一例を示すフローチャートである。
【図１２】本技術の第２の実施の形態の動きベクトル検出部２６０が算出する面内ＭＶ総和と、読み出しモード決定部２７０により決定されるフォーカス調整時の読み出しモードとの関係を示す模式図である。
【発明を実施するための形態】
【００２２】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（撮像制御：フォーカス調整時の読み出しモードを被写体の動きに応じて切り替える例）
２．第２の実施の形態（撮像制御：フォーカス調整時のフォーカス調整方法を被写体の動きに応じて切り替える例）
【００２３】
＜１．第１の実施の形態＞
［撮像システムの内部構成例］
図１は、本発明の第１の実施の形態における撮像システム１０の内部構成の一例を示す模式図である。この撮像システム１０は、撮像装置１００および交換レンズ１７０を備える。
【００２４】
なお、この本発明の第１の実施の形態では、撮像システム１０は、レンズが交換可能であって、画像を撮像することができる一眼レフカメラを想定する。なお、図１では、説明の便宜上、画像を撮像する際にはあまり使用しない内部構成（例えば、フラッシュに関する構成）については省略する。
【００２５】
また、図１では、説明の便宜上、レンズの駆動に関してはフォーカスレンズの駆動に関する構成のみを示し、ズームレンズの駆動に関する構成については省略する。
【００２６】
撮像装置１００は、被写体を撮像して画像データ（デジタルデータ）を生成し、この生成した画像データを画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録するものである。なお、以下では、画像コンテンツ（画像ファイル）として静止画コンテンツ（静止画ファイル）を記録する例を主に示す。この撮像装置１００は、シャッターユニット１１２と、撮像素子１１３と、ＡＦＥ（Analog Front End）１１４と、画像処理回路１１５と、位相差演算回路１５１とを備える。また、撮像装置１００は、画像メモリ１１９と、電池１２１と、電源回路１２２、通信用Ｉ／Ｆ（InterFace）１２３と、カードＩ／Ｆ１２４と、メモリカード１２５とを備える。さらに、撮像装置１００は、ＶＲＡＭ（Video Random Access Memory）１２６と、ＬＣＤ（Liquid Crystal Display）１２７と、操作部１２８と、シャッタ駆動制御部１３１とを備える。また、撮像装置１００は、シャッタ駆動モータ（Ｍ１）１３２と、絞り駆動制御部１３３と、フォーカス駆動制御部１３４と、メイン制御部１３６と、接続端子１６１乃至１６３とを備える。
【００２７】
シャッターユニット１１２は、上下方向に移動する幕体により、撮像素子１１３に入射する被写体からの入射光の光路の開口および遮断を行うものであり、シャッタ駆動モータ（Ｍ１）１３２により駆動される。また、シャッターユニット１１２は、光路が開口している場合には、被写体からの入射光を撮像素子１１３に供給する。
【００２８】
撮像素子１１３は、被写体からの入射光を電気信号に光電変換するものであり、被写体からの入射光を受光して、アナログの電気信号を生成する。また、撮像素子１１３は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサにより実現される。撮像素子１１３には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素（画像生成画素）と、位相差検出を行うための信号を生成する画素（位相差検出画素）とが配置される。
【００２９】
また、撮像素子１１３には、画像生成画素として、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）と、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）とが配置される。また、撮像素子１１３には、Ｒ画素およびＧ画素の他に、画像生成画素として、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）が配置される。なお、撮像素子１１３については、図４を参照して説明する。撮像素子１１３は、その光電変換により生成した電気信号（アナログの画像信号）を、ＡＦＥ１１４に供給する。
【００３０】
ＡＦＥ１１４は、撮像素子１１３から供給されるアナログの画像信号に所定の信号処理を施すものであり、例えば、アナログの画像信号にノイズの除去および信号の増幅などの信号処理を行う。そして、ＡＦＥ１１４は、信号処理を施した画像信号をデジタル信号に変換して、デジタルの画像信号を生成する。また、ＡＦＥ１１４は、メイン制御部１３６から供給される基準クロックに基づいて、撮像素子１１３の撮像動作に関するタイミングパルスを生成し、その生成したタイミングパルスを撮像素子１１３に供給する。また、ＡＦＥ１１４は、その生成したタイミングパルスに乗せて、メイン制御部１３６が設定した撮像素子１１３の露光動作の開始及び終了の通知や、撮像素子１１３の各画素の出力選択の通知などの撮像素子１１３の動作に関する信号を供給する。このＡＦＥ１１４は、生成したデジタルの画像信号（画素値）を画像処理回路１１５および位相差演算回路１５１に供給する。
【００３１】
画像処理回路１１５は、ＡＦＥ１１４から供給された画像信号に所定の信号処理を施して画像信号を補正するものである。この画像処理回路１１５は、例えば、黒レベル補正、欠陥補正、シェーディング補正、混色補正、デモザイク処理、ホワイトバランス補正、γ補正等を行う。画像処理回路１１５は、コントラスト演算回路１５２においてコントラストを検出するために必要な処理（例えば、黒レベル補正、欠陥補正、シェーディング補正、ホワイトバランス補正）を施した信号を、コントラスト演算回路１５２に供給する。また、画像処理回路１１５は、撮像した画像の表示や記録に必要な処理（例えば、上記の全ての補正）を施した信号を、画像メモリ１１９に供給する。
【００３２】
また、画像処理回路１１５は、撮像した画像のメモリカード１２５への記録処理や、記録された画像の再生処理などの際には、画像の符号化処理および複合化処理を行う。例えば、時系列で連続して撮像した画像（フレーム）を動画として保存する場合には、フレーム間の差異から動きベクトルを検出し、この検出した動きベクトルを用いたフレーム間予測による符号化処理を行う。
【００３３】
位相差演算回路１５１は、ＡＦＥ１１４から供給される位相差検出画素により生成された画像信号に基づいて、位相差検出方式でフォーカスのズレを検出するものである。ここで、位相差検出方式とは、撮像レンズを通過した光を瞳分割して１対の像を形成し、その形成された像の間隔（像の間のズレ量）を計測（位相差を検出）することによって合焦の度合いを検出する焦点検出方法である。この位相差演算回路１５１は、オートフォーカス（ＡＦ）するために、合焦対象物に対するフォーカスのズレを検出するための演算を行い、検出したフォーカスに関する情報をメイン制御部１３６に供給する。
【００３４】
コントラスト演算回路１５２は、画像処理回路１１５から供給される画像信号に基づいて、コントラスト検出方式によりフォーカスが合焦しているか否か判定するものである。ここで、コントラスト検出方式による焦点検出とは、フォーカスレンズを少しずつ移動させながら画像を撮像し、最もコントラストが高い画像が撮像された位置を合焦位置と判断する焦点検出方式である。このコントラスト演算回路１５２は、最もコントラストが高い画像が撮像された位置の情報や、最もコントラストが高い画像を検出するためのフォーカスレンズの駆動情報などをメイン制御部１３６に供給する。
【００３５】
画像メモリ１１９は、画像処理回路１１５から供給される画像信号を一時的に保持するものである。また、この画像メモリ１１９は、メイン制御部１３６からの制御信号に従って、画像信号に所定の処理を行うための作業領域として用いられる。なお、この画像メモリ１１９は、メモリカード１２５から読み出した画像信号を一時的に保持する。
【００３６】
電池１２１は、撮像システム１０が動作するための電力を供給するものであり、例えば、ニッケル水素充電池等の二次電池により構成される。また、電池１２１は、電力を電源回路１２２に供給する。
【００３７】
電源回路１２２は、電池１２１から供給された電力を撮像システム１０における各部が動作するための電圧に変換するものである。例えば、この電源回路１２２は、メイン制御部１３６が５Ｖの電圧で動作する場合には、５Ｖの電圧を生成して、その生成した電圧をメイン制御部１３６に供給する。また、電源回路１２２は、生成した電圧を撮像システム１０における各部に供給する。なお、図１では、電源回路１２２から各部への電源供給線の一部を省略して示す。
【００３８】
通信用Ｉ／Ｆ１２３は、外部機器とメイン制御部１３６との間のデータ転送を可能とするためのインターフェイスである。
【００３９】
カードＩ／Ｆ１２４は、メモリカード１２５とメイン制御部１３６との間のデータ転送を可能とするためのインターフェイスである。
【００４０】
メモリカード１２５は、画像信号を保持するための記憶媒体であり、カードＩ／Ｆ１２４を介して供給されたデータを保持する。
【００４１】
ＶＲＡＭ１２６は、ＬＣＤ１２７に表示する画像を一時的に保持するバッファメモリであり、その保持した画像をＬＣＤ１２７に供給する。
【００４２】
ＬＣＤ１２７は、メイン制御部１３６の制御に基づいて、画像を表示するものであり、例えば、このＬＣＤ１２７は、カラー液晶パネルにより構成される。このＬＣＤ１２７は、撮像された画像、記録済みの画像およびモードの設定画面などを表示する。
【００４３】
操作部１２８は、ユーザの操作を受け付けるものであり、例えば、シャッターボタン（図示せず）が押下された場合には、その押下を知らせる信号をメイン制御部１３６に供給する。また、操作部１２８は、ユーザの操作に関する信号をメイン制御部１３６に供給する。
【００４４】
シャッタ駆動制御部１３１は、メイン制御部１３６から供給されるシャッタの制御信号に基づいて、シャッタ駆動モータ（Ｍ１）１３２を駆動するための駆動信号を生成するものであり、その生成した駆動信号をシャッタ駆動モータ（Ｍ１）１３２に供給する。
【００４５】
シャッタ駆動モータ（Ｍ１）１３２は、シャッタ駆動制御部１３１から供給される駆動信号に基づいて、シャッターユニット１１２を駆動するモータである。
【００４６】
絞り駆動制御部１３３は、メイン制御部１３６から供給される絞りに関する情報に基づいて、絞りの駆動を制御する信号（絞り駆動制御信号）を生成するものであり、その生成した絞り駆動信号を、接続端子１６１を介して交換レンズ１７０に供給する。
【００４７】
メイン制御部１３６は、撮像装置１００の各部の動作を制御するものであり、例えば、制御プログラムを記憶するＲＯＭを備えるマクロコンピュータにより構成される。
【００４８】
フォーカス駆動制御部１３４は、メイン制御部１３６から供給されるフォーカスに関する情報に基づいて、レンズの駆動量を示す駆動量信号を生成するものである。このフォーカス駆動制御部１３４は、その生成した駆動量信号を、接続端子１６３を介して交換レンズ１７０に供給する。
【００４９】
交換レンズ１７０は、複数のレンズを備えており、撮像装置１００が撮像する像の光を集光し、その集光した光を撮像面に結像させるものである。この交換レンズ１７０は、絞り駆動機構１８１と、絞り駆動モータ（Ｍ３）１８２と、レンズ位置検出部１８３と、レンズ駆動機構１８４と、レンズ駆動モータ（Ｍ４）１８５と、鏡胴１９０とを備える。また、鏡胴１９０は、絞り１９１およびレンズ群１９４を備える。なお、レンズ群１９４には、説明の便宜上、ズームレンズ１９２およびフォーカスレンズ１９３のみが示されている。
【００５０】
絞り駆動機構１８１は、接続端子１６１を介して供給される絞り駆動制御信号に基づいて、絞り駆動モータ（Ｍ３）１８２を駆動するための駆動信号を生成するものである。この絞り駆動機構１８１は、その生成した駆動信号を、絞り駆動モータ（Ｍ３）１８２に供給する。
【００５１】
絞り駆動モータ（Ｍ３）１８２は、絞り駆動機構１８１から供給される駆動信号に基づいて、絞り１９１を駆動するモータである。この絞り駆動モータ（Ｍ３）１８２は、絞り１９１を駆動することにより、絞り１９１の絞り径を変更する。
【００５２】
レンズ位置検出部１８３は、レンズ群１９４のズームレンズ１９２およびフォーカスレンズ１９３の位置を検出するものである。このレンズ位置検出部１８３は、その検出した位置に関する情報（レンズ位置情報）を、接続端子１６２を介して撮像装置１００に供給する。
【００５３】
レンズ駆動機構１８４は、接続端子１６３を介して供給される駆動量信号とに基づいて、レンズ駆動モータ（Ｍ４）１８５を駆動するための駆動信号を生成するものである。このレンズ駆動機構１８４は、その生成した駆動信号を、レンズ駆動モータ（Ｍ４）１８５に供給する。
【００５４】
レンズ駆動モータ（Ｍ４）１８５は、レンズ駆動機構１８４から供給される駆動信号に基づいて、フォーカスレンズ１９３を駆動するモータである。このレンズ駆動モータ（Ｍ４）１８５は、フォーカスレンズ１９３を駆動することにより、フォーカスを調整する。
【００５５】
鏡胴１９０は、交換レンズ１７０においてレンズ群１９４を構成するレンズが備え付けられている部位である。
【００５６】
絞り１９１は、撮像装置１００に入射する被写体からの入射光の光量を調整するための遮蔽物である。
【００５７】
ズームレンズ１９２は、鏡胴１９０の中を光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。
【００５８】
フォーカスレンズ１９３は、鏡胴１９０の中を光軸方向に移動することによりフォーカスを調整するものである。
【００５９】
次に、撮像システム１０の機能構成について、図２を参照して説明する。
【００６０】
［撮像装置の機能構成例］
図２は、本発明の第１の実施の形態における撮像システム１０に関する機能構成の一例を示すブロック図である。
【００６１】
撮像システム１０は、フォーカスレンズ２１０と、撮像素子２２０と、ＲＡＷ補正処理部２３０と、カメラ信号処理部２３５、位相差検出部２４０と、コントラスト検出部２５０とを備える。また、撮像システム１０は、動きベクトル検出部２６０と、読み出しモード決定部２７０と、レンズ駆動制御部２８０とを備える。また、撮像システム１０は、画像表示処理部２９２と、表示部２９３と、画像出力処理部２９４と、出力部２９５と、画像記録再生処理部２９６と、記録部２９７と、操作受付部２９８と、制御部２９９とを備える。
【００６２】
フォーカスレンズ２１０は、光軸方向に移動することによりフォーカスを調整するためのレンズであり、図１において示したフォーカスレンズ１９３に対応する。
【００６３】
撮像素子２２０は、被写体からの入射光を電気信号に光電変換して画像信号を生成するものである。この撮像素子２２０には、画像生成画素および位相差検出画素が配置される。なお、これらの画素により生成されたアナログの画像信号は、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）、オートゲインコントロール回路（ＡＧＣ：Automatic Gain Control）等によりノイズの除去や、信号の増幅がされる。そして、生成されたアナログの画像信号は、Ａ／Ｄ変換され、ＲＡＷ補正処理部２３０および位相差検出部２４０に供給される。なお、撮像素子２２０は、図１において示した撮像素子１１３に対応する。
【００６４】
また、撮像素子２２０は、読み出しモード決定部２７０から供給される読み出しモード情報に基づいて、信号を読み出すラインと、読み出さないラインとを設定し、信号を読み出すラインと設定されたラインの各画素から信号を読み出す。
【００６５】
ＲＡＷ補正処理部２３０は、撮像素子２２０から供給される画像信号に対して、黒レベル調整、画素欠陥処理、ホワイトバランス調整、シェーディング補正処理などの補正を施すものである。すなわち、ＲＡＷ補正処理部２３０は、実時間処理が必要となるような各種補正処理を行う。このＲＡＷ補正処理部２３０は、補正を施した画像データ（ＲＡＷデータ）を、カメラ信号処理部２３５およびコントラスト検出部２５０に供給する。
【００６６】
カメラ信号処理部２３５は、ＲＡＷ補正処理部２３０から供給されたＲＡＷデータに対して、画素補間処理、色補正処理、エッジ補正、ガンマ補正、解像度変換などのカメラ信号処理を施すものである。カメラ信号処理部２３５は、処理を施したデータ（画像データ）を、動きベクトル検出部２６０、画像表示処理部２９２、画像出力処理部２９４および画像記録再生処理部２９６に供給する。なお、ＲＡＷ補正処理部２３０およびカメラ信号処理部２３５は、図１において示した画像処理回路１１５に対応する。
【００６７】
位相差検出部２４０は、撮像素子２２０における位相差検出画素の信号（画素値）に基づいて、フォーカスを合わせる対象の物体（合焦対象物）に対してフォーカスが合っているか否かを位相差検出により判定するものである。位相差検出部２４０は、フォーカスのズレ量（デフォーカス量）を算出し、その算出したデフォーカス量を示す情報（例えば、ズレの画素数を示す値）をレンズ駆動制御部２８０に供給する。なお、位相差検出部２４０は、図１において示した位相差演算回路１５１に対応する。
【００６８】
コントラスト検出部２５０は、ＲＡＷ補正処理部２３０から供給されるＲＡＷデータに基づいて、コントラスト検出方式によりフォーカスが合焦しているか否か判定するものである。例えば、コントラスト検出部２５０は、合焦判定のために撮像した複数の画像のうちから最もコントラストが高いものが撮像されたレンズ位置を検出し、その検出したレンズ位置へフォーカスを移動させるための情報をレンズ駆動制御部２８０に供給する。なお、コントラスト検出部２５０は、図１において示したコントラスト演算回路１５２に対応する。
【００６９】
動きベクトル検出部２６０は、カメラ信号処理部２３５から供給される画像データに基づいて被写体の動きを検出するものである。例えば、動きベクトル検出部２６０は、画像に撮像されている各物体の動きベクトルを検出することにより被写体の動きを検出する。動きベクトル検出部２６０は、時系列で１つ前に撮像された画像（フレーム）の画像データを保持しており、この画像データと、ＲＡＷ補正処理部２３０から供給される最新のフレームの画像データとの間で比較して被写体の遷移（ズレ）を検出する。そして、動きベクトル検出部２６０は、検出したズレの量を示す動きベクトルを算出する。なお、動きベクトル検出部２６０による動きベクトルの算出は、例えば、ブロックマッチング法などを用いて行われる。
【００７０】
なお、動きベクトル検出部２６０による動きベクトルの検出は、動画の圧縮の際におけるフレーム間予測において算出される動きベクトルと同じである。このため、動きベクトルの検出は、撮像装置１００において動画の圧縮処理を行う回路（図１では、画像処理回路１１５）において行われる。
【００７１】
動きベクトル検出部２６０は、画像データから検出した動きベクトル（ＭＶ）の総和（画像全体の動き）を示す情報（面内ＭＶ総和情報）を、読み出しモード決定部２７０に供給する。なお、動きベクトル検出部２６０は、特許請求の範囲に記載の検出部の一例である。
【００７２】
読み出しモード決定部２７０は、撮像素子２２０の各画素から信号を読み出す際の読み出しパターン（読み出しモード）を決定するものである。この読み出しモード決定部２７０は、制御部２９９からの命令と、動きベクトル検出部２６０からの面内ＭＶ総和情報とに基づいて読み出しモードを決定する。読み出しモード決定部２７０は、制御部２９９から動画の撮像命令が供給された場合には、読み出しモードのうちの動画を撮像するためのモード（動画用間引きモード）で撮像すると決定する。また、読み出しモード決定部２７０は、シャッターボタンが押下されて、静止画の撮像命令が制御部２９９から供給された場合には、読み出しモードのうちの静止画を撮像するためのモード（全画素読み出しモード）で撮像すると決定する。
【００７３】
なお、読み出しモード決定部２７０は、静止画を撮像する際のフォーカスを調整するタイミング（例えば、シャッターボタンが押下される前の期間）においては、動きベクトル検出部２６０からの面内ＭＶ総和情報を用いて読み出しモードを決定する。読み出しモード決定部２７０は、フォーカス調整時において、面内ＭＶ総和情報の示す値が所定の閾値を基準にして大きい場合には、読み出しモードのうちの位相差検出方式で焦点検出を行うためのモード（位相差用間引きモード）により撮像すると決定する。
【００７４】
また、読み出しモード決定部２７０は、フォーカス調整時において、面内ＭＶ総和情報の示す値が所定の閾値を基準にして小さい場合には、コントラスト検出方式で焦点検出を行うためのモード（コントラスト用間引きモード）により撮像すると決定する。なお、動画用間引きモードは図８で説明し、全画素読み出しモードは図５で説明し、位相差用間引きモードは図６で説明し、コントラスト用間引きモードは図７で説明するため、ここでの説明を省略する。
【００７５】
読み出しモード決定部２７０は、決定した読み出しモードを示す情報（読み出しモード情報）を、撮像素子２２０、およびレンズ駆動制御部２８０に供給する。なお、読み出しモード決定部２７０は、特許請求の範囲に記載の決定部の一例である。
【００７６】
レンズ駆動制御部２８０は、フォーカスレンズ２１０の駆動を制御するものである。レンズ駆動制御部２８０は、読み出しモード決定部２７０から供給される読み出しモード情報と、位相差検出部２４０から供給される情報と、コントラスト検出部２５０から供給される情報とに基づいてフォーカスレンズ２１０を駆動し、フォーカスを合焦させる。
【００７７】
例えば、レンズ駆動制御部２８０は、コントラスト用間引きモードを示す読み出しモード情報が供給された場合には、コントラスト検出部２５０から供給される情報に基づいてフォーカスを合焦させる。また、レンズ駆動制御部２８０は、位相差用間引きモードを示す読み出しモード情報が供給された場合には、位相差検出部２４０から供給される情報を優先的に用いてフォーカスを合焦させる。なお、位相差用間引きモードを示す読み出しモード情報が供給された場合において、位相差検出が難しい場合（例えば、合焦対象物の輝度が低い）には、コントラスト検出部２５０から供給される情報に基づいてフォーカスを合焦させる。なお、読み出しモードと合焦判定の方法（合焦判定方法）との関係については、図５乃至図１０において詳細に説明するため、ここでの詳細な説明を省略する。
【００７８】
なお、位相差検出部２４０と、コントラスト検出部２５０と、レンズ駆動制御部２８０とは、特許請求の範囲に記載のフォーカス制御部の一例である。
【００７９】
画像表示処理部２９２は、表示部２９３に表示させる画像（表示画像）を生成し、生成した画像のデータを表示部２９３に供給する。
【００８０】
表示部２９３は、画像表示処理部２９２から供給された画像（撮像画像）を表示するものである。表示部２９３は、例えば、モニタ画像（ライブビュー画像）や、記録部２９７に記録された画像の再生画像などを表示する。この表示部２９３は、例えば、カラー液晶パネルにより実現される。なお、表示部２９３は、図１において示したＬＣＤ１２７に対応する。
【００８１】
画像出力処理部２９４は、撮像装置１００の外部の装置へ出力する画像を生成し、生成した画像のデータを出力部２９５に供給する。
【００８２】
出力部２９５は、撮像装置１００の外部の装置へ画像を出力するものである。例えば、出力部２９５は、例えば、ＨＤＭＩ（High Definition Multimedia Interface）規格のコネクタを備えている場合には、画像出力処理部２９４から供給されたデータをこの規格のデータ形式で出力する。
【００８３】
画像記録再生処理部２９６は、カメラ信号処理部２３５から供給されたデータに対してデータ量を圧縮する処理（符号化処理）を施して、記録部２９７に記録される記録画像データを生成するものである。例えば、画像記録再生処理部２９６は、静止画像を記録する場合にはＪＰＥＧ（Joint Photographic Experts Group）方式の圧縮処理を行い。動画像を記録する場合にはＭＰＥＧ（Moving Picture Experts Group）方式の圧縮処理を行う。画像記録再生処理部２９６は、生成した記録画像データを記録部２９７に供給し、記録部２９７に記録させる。
【００８４】
また、画像記録再生処理部２９６は、記録部２９７に記録された記録画像データを再生する場合には、記録部２９７から供給された記録画像データに対して画像を復元する処理（複合化処理）を施して、再生画像データを生成する。生成された再生画像データは、画像表示処理部２９２または画像出力処理部２９４に供給され、再生画像データの表示部２９３への表示や、外部の装置への出力が行われる。なお、図２では、再生に関する信号線の図示を省略する。
【００８５】
記録部２９７は、画像記録再生処理部２９６から供給される記録画像データを画像コンテンツ（画像ファイル）として記録するものである。例えば、この記録部２９７として、ＤＶＤ（Digital Versatile Disk）等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体（１または複数の記録媒体）を用いることができる。また、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。なお、記録部２９７は、図１においして示したメモリカード１２５に対応する。
【００８６】
操作受付部２９８は、ユーザの操作を受け付けるものであり、図１において示した操作部１２８に対応する。この操作受付部２９８は、例えば、撮像モード（静止画の撮像モード（静止画モード）または動画の撮像モード（動画モード））を設定する選択操作を受け付けた場合には、その選択操作を知らせる信号を制御部２９９に供給する。また、操作受付部２９８は、静止画を撮像する際のフォーカス制御のモード（オート、高速ＡＦ（Auto Focus）モード、高画質ＡＦ（低速ＡＦ）モード）を設定する選択操作を受け付けた場合には、その選択操作を知らせる信号を制御部２９９に供給する。また、操作受付部２９８は、シャッターボタン（図示せず）が押下された場合には、その押下を知らせる信号を制御部２９９に供給する。
【００８７】
制御部２９９は、撮像装置１００における各部の動作を制御するものである。なお、図２では、読み出しモードの決定にかかる信号線のみを示し、他は省略する。例えば、制御部２９９は、ユーザにより撮像モードが設定された場合には、その設定された撮像モードを通知する信号を読み出しモード決定部２７０に供給する。また、制御部２９９は、フォーカスを調整するためのモード（フォーカスモード）がユーザにより設定された場合には、その設定されたフォーカスモードを通知する信号を読み出しモード決定部２７０に供給する。また、制御部２９９は、シャッターボタンが押下された場合には、その押下を知らせる信号を読み出しモード決定部２７０に供給する。
【００８８】
［撮像素子における画素の配置例］
図３は、本技術の第１の実施の形態における撮像素子２２０に備えられる画素の配置の一例を示す模式図である。
【００８９】
図３では、上下方向をＹ軸とし、左右方向をＸ軸とするＸＹ軸を想定して説明する。また、同図において、左下隅をＸＹ軸における原点とし、下から上へ向かう方向をＹ軸の＋側とし、左から右へ向かう方向をＸ軸の＋側とする。また、この撮像素子２２０における信号の読み出し方向は、Ｘ軸方向（行単位で読み出される）であるものとし、間引き読み出しされる場合は、行単位で間引かれるものとする。
【００９０】
図３では、説明の便宜上、撮像素子２２０を構成する各画素のうちの一部の画素（１２行×１６列の画素）の領域（領域３１０）を用いて説明する。なお、撮像素子２２０における画素の配置は、領域３１０において示す画素配置のうちの一部の画素（６行×８列の画素）の領域（領域３１１）を１つの単位として、この単位に対応する画素配置が、Ｘ軸方向およびＹ軸方向に繰り返される配置である。
【００９１】
同図では、１つの画素を１つの正方形で示す。なお、同図において、画像生成画素については、備えられるカラーフィルタを表す符号（Ｒ、Ｇ、Ｂ）を内に示した正方形により示す。すなわち、Ｒ画素３２１は、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）を示し、Ｂ画素３２３は、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）を示す。また、Ｇ画素３２２は、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）を示す。
【００９２】
また、位相差検出画素については、白色の矩形が付加された灰色の正方形により示す。なお、位相差検出画素における白色の矩形については、入射光が受光素子により受光される側（瞳分割を行うための遮光層に覆われていない側）を示す。
【００９３】
ここで、図３において示されている位相差検出画素（右開口位相差検出画素３２５、左開口位相差検出画素３２６）について説明する。
【００９４】
右開口位相差検出画素３２５は、右開口位相差検出画素３２５のマイクロレンズに入射する被写体光のうち射出瞳の右側を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この右開口位相差検出画素３２５は、射出瞳の左右（Ｘ軸方向の＋−側）に瞳分割された光のうちの右側の光を遮光し、左側の瞳分割された光を受光する。
【００９５】
左開口位相差検出画素３２６は、左開口位相差検出画素３２６のマイクロレンズに入射する被写体光のうち射出瞳の左側を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この左開口位相差検出画素３２６は、射出瞳の左右（Ｘ軸方向の＋−側）に瞳分割された光のうちの左側の光を遮光し、右側の瞳分割された光を受光する。また、左開口位相差検出画素３２６は、右開口位相差検出画素３２５と対に用いられることで、一対の像を形成する。
【００９６】
ここで、撮像素子２２０における画素の配置について説明する。なお、繰り返される配置の単位である領域３１１に着目して説明する。
【００９７】
領域３１１における画素の配置は、図３に示すように、３種類の行（Ｇｒライン、Ｇｂライン、ＡＦライン）により構成される。Ｇｒライン（Ｇｒライン３３１、３３３、３３５）は、Ｒ画素３２１とＧ画素３２２とが列方向に交互に配置される行であり、Ｇｂライン（Ｇｂライン３３４、３３６）は、Ｇ画素３２２とＢ画素３２３とが列方向に交互に配置される行である。また、ＡＦライン（ＡＦライン３３２）は、Ｇ画素３２２とＢ画素３２３が列方向に交互に配置される行（Ｇｂライン）において、一部のＧ画素３２２の代わりに、右開口位相差検出画素３２５および左開口位相差検出画素３２６のいずれかが配置される行である。なお、右開口位相差検出画素３２５および左開口位相差検出画素３２６は、瞳分割を精度良く行うために、この２つの画素の間隔（この２つの画素に挟まれて配置される画像生成画素の数）が小さいことが好ましい。このため、本技術の第１の実施では、右開口位相差検出画素３２５および左開口位相差検出画素３２６が１つのＢ画素３２３を挟んで配置される。また、領域３１１の各ラインは、行方向に隣接する領域のラインと同じラインになるように配置される。
【００９８】
すなわち、撮像素子２２０では、画像生成画素のみが配置される複数の行（ＧｒラインおよびＧｂライン）と、位相差検出画素が部分的に配置される１つの行（ＡＦライン）とが、読み出し方向（行方向）に対して直行する方向（列方向）に交互に配置される。図４では、画像生成画素のみの行の連続する数が５行である例が示されている。なお、連続する画像生成画素の行において、画像生成画素は、ベイヤー配列で位置されている。
【００９９】
なお、撮像素子２２０における画素の配置については、他にも種々のパターンが考えられる。画素の配置は、画像生成画素のみが配置される複数の行と、位相差検出画素が部分的に配置される１つの行とが、交互に配置されれば良い。すなわち、図３では、ＡＦラインを１行含む６行×８列の画素の領域（領域３１１）を単位としたが、ＧｒラインおよびＧｂラインをもっと増やしてＡＦラインの間隔を広げる場合や、列方向の画素を増やして位相差検出画素の対の間隔を広げる場合なども考えられる。
【０１００】
また、図３で示すように、本技術の第１の実施の形態では、説明の便宜上、右開口位相差検出画素と左開口位相差検出画素との対（ペア）のみを示して説明するが、これに限定されるものではない。射出瞳の上下（Ｙ軸方向の＋−側）に瞳分割する位相差検出画素（上開口位相差検出画素、下開口位相差検出画素）の対を配置することも考えられる。この上下に瞳分割する位相差検出画素を配置する場合には、画像の列方向のズレを検出できるように、列方向において１列に並ぶように配置される。なお、右開口位相差検出画素と左開口位相差検出画素との対と、上開口位相差検出画素と下開口位相差検出画素との対との両方を配置することにより、一方で位相差が検出しにくい場合に他方で補えるため、位相差による検出の精度が向上する。また、上開口位相差検出画素および下開口位相差検出画素を、右開口位相差検出画素および左開口位相差検出画素とともに配置する場合においても、画像生成画素のみが配置される複数の行と、位相差検出画素が部分的に配置される行とが交互に配置される。
【０１０１】
次に、本技術の第１の実施の形態における画像生成画素の断面構成と、位相差検出画素の断面構成とについて、同図において示すＢ画素と、右開口位相差検出画素と、左開口位相差検出画素の断面構成を用いて説明する。
【０１０２】
次に、本発明の第１の実施の形態における画像生成画素の断面構成と、位相差検出画素の断面構成とについて、図４を参照して説明する。
【０１０３】
［画像生成画素および位相差検出画素の断面構成例］
図４は、本発明の第１の実施の形態における画像生成画素および位相差検出画素の断面構成と、各画素が受光する被写体光との一例を示す模式図である。
【０１０４】
図４では、右開口位相差検出画素３２５および左開口位相差検出画素３２６を含むＡＦライン３３２の４つの画素の断面構成と、これらの画素からみた絞りの形状である射出瞳（射出瞳３４０）とが模式的に示されている。なお、射出瞳は本来は円形に近い形であるが、説明の便宜上、図４では、Ｙ軸方向を短くした射出瞳（楕円形）を示す。なお、図４では、左右方向をＸ軸方向とし、上下方向をＺ軸方向とする断面構成を示す。また、図４では、撮像素子２２０の中央付近（軸上）における画像生成画素および位相差検出画素の断面構成について説明する。
【０１０５】
図４では、４つの画素の断面構成として、左から順に、右開口位相差検出画素３２５、Ｂ画素３２３、左開口位相差検出画素３２６、Ｂ画素３２３の断面構成が示されている。なお、各画素の断面構成は、カラーフィルタの色および配線層の形状が異なるのみであるため、同図では右開口位相差検出画素３２５の断面構成について説明し、他の画素については違いに着目して説明する。
【０１０６】
右開口位相差検出画素３２５の断面構成として、オンチップレンズ３５１と、Ｗフィルタ３５２と、配線層３５４と、受光素子３５５とが示されている。
【０１０７】
オンチップレンズ３５１は、被写体光を受光素子３５５に集光するためのマイクロレンズである。なお、撮像素子２２０においては、全ての画素に同じ物理構造（径および曲率）のオンチップレンズが設けられる。すなわち、右開口位相差検出画素３２５のオンチップレンズ３５１は、Ｂ画素３２３および左開口位相差検出画素３２６のオンチップレンズと同じオンチップレンズである。
【０１０８】
Ｗフィルタ３５２は、可視光領域の光は透過するがそれ以外の波長の光は吸収するフィルタ（Ｗフィルタ）であり、位相差検出画素に設けられるオンチップカラーフィルタ（ＯＣＣＦ；On Chip Color Filter）である。なお、本技術の第１の実施では、位相差検出画素（右開口位相差検出画素および左開口位相差検出画素）にはカラーフィルタとしてＷフィルタが設けられることを想定する。なお、Ｗフィルタ３５２が配置される層はカラーフィルタが設けられる層であり、画像生成画素においては、各画素が受光する光の色（Ｒ、Ｇ、Ｂ）を透過するフィルタがこの層に設けられる。
【０１０９】
配線層３５３および３５４は、画素における各回路を接続するための配線の層（メタル層）である。図４（ｂ）では、３層の配線が光軸に対して層状に配置されていることを示している。なお、本技術の実施の形態では、オンチップレンズ３５１と受光素子３５５との間において、オンチップレンズ３５１に近い側から順に、第１メタル、第２メタルおよび第３メタルと称することとする。第２メタルおよび第３メタルは、画素における各回路の電気信号を通す配線として用いられ、第１メタルはグランドとして用いられる。
【０１１０】
なお、第１メタルは、その画素のオンチップレンズを通過しなかった光がその画素の受光素子で受光されるのを防ぐための遮光マスクの層としても機能している。
【０１１１】
ここで、配線層３５３と配線層３５４との違いについて説明する。配線層３５４においては、第３メタルが受光素子３５５の左半分を覆うように突出している。この突出により、射出瞳３４０の右半分（Ｌｒ３４７）を通過した被写体光（２本の鎖線（線３４３および線３４４）の間を通過する被写体光）は遮光され、受光素子３５５に受光されない。一方、配線層３５３の第３メタルは、オンチップレンズ３５１から受光素子３５５への被写体光の光路上には配置されずにこの光路の周辺に配置される。これにより、射出瞳３４０の左半分（Ｌｌ３４６）を通過した被写体光（２本の破線（線３４１および線３４２）の間を通過する被写体光）は遮光されずに、受光素子３５５に受光される。
【０１１２】
このように、受光素子３５５に一番近いメタルの層（第３メタル）で受光素子３５５の受光面を覆うことにより、射出瞳の左側部分からの光束と、右半分からの光束とを分離（瞳分割）している。
【０１１３】
なお、Ｂ画素３２３では、第３メタルが受光素子３５５を覆うために突出しない。このため、射出瞳３４０の右半分（Ｌｒ３４７）を通過した被写体光と、左半分（Ｌｌ３４６）を通過した被写体光との両方を受光することができる。
【０１１４】
また、左開口位相差検出画素３２６では、受光素子の右半分を覆うように第３メタルが突出する。この突出により、射出瞳３４０の左半分（Ｌｌ３４６）を通過した被写体光を遮光する。
【０１１５】
受光素子３５５は、受けた光を電気信号に変換（光電変換）することによって、受けた光の量に応じた強さの電気信号を生成するものである。この受光素子３５５は、例えば、フォトダイオード（ＰＤ：Photo Diode）により構成される。なお、撮像素子２２０において、受光素子のサイズは全ての画素において同じサイズである。すなわち、位相差検出画素の受光素子と画像生成画素の受光素子とは同じサイズであり、撮像素子２２０では、同じサイズの画素が水平・垂直方向に沿って等しい間隔で隣接して配置される。
【０１１６】
このように、位相差検出画素では、第３メタルにより受光素子が覆われて、射出瞳の特定の領域からの光の受光が妨げられることにより、瞳分割が行われる。なお、図４では、左および右の開口の位相差検出画素の断面構成を説明したが、上および下の開口の位相差検出画素の場合には、受光素子の下半分または上半分を覆うように第３メタルが突出する。
【０１１７】
なお、図４では、撮像素子２２０の中央付近（軸上）における画像生成画素および位相差検出画素の断面構成の例を示した。しかしながら、位相差検出画素が瞳分割を行うための第３メタルの突出の度合いは、像高および瞳距離に応じて変化する。像高が変化すれば位相差検出画素に入射する主光線の角度が変化する。このため、主光線の角度に応じて第３メタルの突出の度合いを変えて（第３メタルの突出した側の端に主光線があたるようにする）、射出瞳３４０の右半分または左半分を通過した光を各像高において適切に受光できるように撮像素子を生成する。なお、瞳距離が変化しても主光線の角度が変化するため、複数の交換レンズに対応できるように、複数の瞳距離において射出瞳３４０の右半分または左半分を通過した光を各像高において適切に受光できるように撮像素子を生成する。
【０１１８】
次に、読み出しモード決定部２７０が決定する読み出しモードの各モードについて、図５乃至図８を参照して説明する。
【０１１９】
［全画素読み出しモードの読み出し例］
図５は、本技術の第１の実施の形態の読み出しモード決定部２７０が全画素読み出しモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【０１２０】
図５（ａ）には、２４行×１３列の画素（領域４１１）が示され、全画素読み出しモードにおいて信号を読み出す際に信号が読み出される画素の位置が示されている。また、図５（ｂ）には、全画素読み出しモードにおいて読み出された信号から生成される撮像画像のサイズを示す複数の画素（領域４１５）が示されている。なお、図５乃至図８では、信号が読み出される画素については図４と同様に示し、信号が読み出されない画素についてはクロスハッチングを付した矩形により示す。
【０１２１】
図５（ａ）の領域４１１に示すように、全画素読み出しモードでは、画像生成画素および位相差検出画素の全ての画素から信号が読み出される。すなわち、図５（ｂ）の領域４１５に示すように、全画素読み出しモードでは、２４行×１３列の画素（領域４１１）の信号（画素値）から、２４行×１３列の画素数のデータが生成される。
【０１２２】
［位相差用間引きモードの読み出し例］
図６は、本技術の第１の実施の形態の読み出しモード決定部２７０が位相差用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【０１２３】
なお、図６では、図５（ａ）と同様の２４行×１３列の画素の領域を用いて説明する。
【０１２４】
図６（ａ）には、図５（ａ）と同様の２４行×１３列の画素（領域４２１）が示され、位相差用間引きモードにおいて信号を読み出す際に信号が読み出される画素の位置が示されている。なお、図６（ａ）では、信号が読み出される画素については図４と同様に示し、信号が読み出されない画素についてはクロスハッチングを付した矩形（矩形４２２）により示す。また、図６（ｂ）には、図６（ａ）の領域４２１において読み出される信号から生成される撮像画像のサイズを模式的に示す複数の画素（領域４２５）が示されている。
【０１２５】
図６（ｂ）の領域４２１に示すように、位相差用間引きモードでは、位相差検出画素を含むライン（ＡＦライン）は必ず読み出すように、２行置き（３行に１行読み出す垂直１／３間引き）で信号を読み出す。図６（ｂ）に示す領域４２１では、２、５、８、１１、１４、１７、２０、２３行目が読み出される。このように、読み出す行の数を１／３にすることにより、図５の全画素読み出しモードと比較して、信号の読み出しに必要となる時間が約１／３になる。すなわち、全画素読み出しモードに対して３倍の速度でフレーム内の全画角のデータを読み出すことができる。
【０１２６】
これにより、図６（ｂ）の領域４２５に示すように、位相差用間引きモードでは、２４行×１３列の画素（領域４２１）の信号から、８行×１３列の画素数のデータが生成される。なお、読み出された信号のうちの位相差検出画素の信号（画素値）は位相差検出部２４０において位相差検出に用いられる。一方、画像生成画素の信号（画素値）はＲＡＷ補正処理部２３０に供給され、撮像画像（ライブビュー画像）の表示や、動きベクトル検出部２６０における動きベクトルの検出のための画像補正処理が施される。すなわち、位相差用間引きモードでは、位相差検出画素を含むラインから読み出された信号を用いて画像が生成される。なお、位相差検出方式により合焦判定が行えない場合（例えば、位相差を検出できないぐらいに被写体が暗い場合）には、画像生成画素の画素値を用いてコントラスト検出方式による焦点検出がコントラスト検出部２５０により行われる。
【０１２７】
［コントラスト用間引きモードの読み出し例］
図７は、本技術の第１の実施の形態の読み出しモード決定部２７０がコントラスト用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【０１２８】
なお、図７では、図５（ａ）と同様の２４行×１３列の画素の領域を用いて説明する。
【０１２９】
図７（ａ）には、図５（ａ）と同様の２４行×１３列の画素（領域４３１）が示され、コントラスト用間引きモードにおいて信号を読み出す際に信号が読み出される画素の位置が示されている。また、図７（ｂ）には、図７（ａ）の領域４３１において示した読み出される信号から生成される撮像画像のサイズを模式的に示す複数の画素（領域４３５）が示されている。
【０１３０】
図７（ａ）の領域４３１に示すように、コントラスト用間引きモードでは、ＡＦラインを読み出さないように、２行置き（３行に１行読み出す垂直１／３間引き）で信号を読み出す。図７（ａ）に示す領域４３１では、１、４、７、１０、１３、１６、１９、２２行目が読み出される（計８行）。すなわち、位相差用間引きモードと同様に、全画素読み出しモードに対して３倍の速度でフレーム内の全画角のデータを読み出すことができる。しかしながら、ＡＦラインを読み出さないため、位相差検出方式により焦点検出を行うことができない。なお、ＡＦラインを読み出さずに画像生成画素のみのラインのみを読み出すため、位相差検出画素の画素値を補間する必要がなくなり、位相差用間引きモードよりも画質が良くなる。このように、コントラスト用間引きモードでは、位相差検出画素を含まないラインのみから読み出された信号を用いて画像が生成される。また、コントラスト用間引きモードは、位相差用間引きモードと比較して、信号が読み出される位相差検出画素の数（割合）が少ない。
【０１３１】
［動画用間引きモードの読み出し例］
図８は、本技術の第１の実施の形態の読み出しモード決定部２７０が動画用間引きモードでの撮像を決定した場合の信号の読み出し例を示す模式図である。
【０１３２】
図８（ａ）には、図５（ａ）と同様の２４行×１３列の画素（領域４４１）が示され、動画用間引きモードにおいて信号を読み出す際に信号が読み出される画素の位置が示されている。また、図８（ｂ）には、図８（ａ）の領域４４１において示した読み出される信号から生成される撮像画像のサイズを模式的に示す複数の画素（領域４４５）が示されている。
【０１３３】
ここで、動画用間引きモードにおける信号の読み出しについて、図８（ａ）を参照して説明する。
【０１３４】
動画用間引きモードでは、１／３行および１／３列の間引きを行うとともに、信号を加算してから信号が読み出される。動画用間引きモードでは、ＡＦラインを含むようにして２行置きに信号を読み出さない行（間引かれる行）を設定する。すなわち、動画用間引きモードでは、位相差用間引きモードで読み出された行（図６参照）が、信号を読み出さない行として設定される。また、動画用間引きモードでは、列方向に２列置きに信号を読み出さない列を設定する。そして、図８（ａ）に示すように、３行×３列のうちの同じ色の４つの画像生成画素の信号を加算して読み出しを行う。図８（ａ）では、加算して読み出される３行×３列の領域を、破線の枠（領域４４２）で示している。
【０１３５】
動画用間引きモードでは、読み出さない行および列を設定するとともに同色の画像生成画素の信号を加算して、この加算された信号が撮像素子２２０から出力される。これにより、図８（ｂ）の領域４４５に示すように、画素が８行の画像が生成される。すなわち、信号を読み出す画素の行の数は全画素読み出しモードに対して２／３であるものの、信号を読み出す際の行（ライン）の数は全画素読み出しモードに対して１／３になる。これにより、位相差用間引きモードおよびコントラスト用間引きモードと同様に、信号の読み出しに必要となる時間が、全画素読み出しモードに対して約１／３（速度が３倍）になる。また、画素数が少なくなるものの、単純に１／３行間引きをしただけのコントラスト用間引きモードと比較して信号の読み出し対象の画素の数が多いために感度が良くなる。すなわち、高いフレームレートを要する動画の撮影に適した画像を得ることができる。
【０１３６】
図５乃至図８に示すように、本技術の第１の実施の形態では、撮像素子２２０の読み出しモードとして、４種類のモードが設定される。そして、読み出しモード決定部２７０は、静止画を撮像する場合には読み出しモードを全画素読み出しモードと決定し、動画を撮像する場合には読み出しモードを動画用間引きモードと決定する。また、読み出しモード決定部２７０は、静止画を撮像する際のフォーカス調整時の読み出しモードについては、図６および図７において説明したコントラスト用間引きモードおよび位相差用間引きモードのどちらかを読み出しモードとして決定する。読み出しモード決定部２７０は、コントラスト用間引きモードおよび位相差用間引きモードのどちらにするかがユーザ操作により決定されている場合（フォーカスモードが指定されている場合）には、その決定に応じてモードを決定する。また、読み出しモード決定部２７０は、コントラスト用間引きモードおよび位相差用間引きモードのどちらにするかの決定が自動（オート）に設定されている場合には、動きベクトル検出部２６０が供給する面内ＭＶ総和情報に基づいて決定する。
【０１３７】
次に、動きベクトル検出部２６０が供給する面内ＭＶ総和情報が示す値（面内ＭＶ総和）と、読み出しモード決定部２７０が決定する読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）との関係について、図９を参照して説明する。
【０１３８】
［面内ＭＶ総和の値と読み出しモードとの関係例］
図９は、本技術の第１の実施の形態の動きベクトル検出部２６０が算出する面内ＭＶ総和と、読み出しモード決定部２７０が決定する読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）との関係を示す模式図である。
【０１３９】
図９には、横軸を面内ＭＶ総和（面内ＭＶ総和情報が示す値）を示す軸とし、縦軸を読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）の決定結果として、面内ＭＶ総和の値と読み出しモードとの関係を示すグラフが示されている。なお、横軸は、図の左側を面内ＭＶ総和が低い側とし、図の右側（矢先側）を面内ＭＶ総和が高い側とする。
【０１４０】
このグラフには、コントラスト用間引きモードから位相差用間引きモードに切り替える判断の基準となる閾値（第１閾値４６１）と、位相差用間引きモードからコントラスト用間引きモードに切り替える判断の基準となる閾値（第２閾値４６２）とが示されている。
【０１４１】
図９に示すように、静止画像の撮像時のフォーカスを調整する際の読み出しモードは、面内ＭＶ総和が大きいと、位相差用間引きモードが決定され、面内ＭＶ総和が小さいとコントラスト用間引きモードが決定される。なお、画像のノイズ等での誤検出を起こりにくくするため、読み出しモードの決定にはヒステリシスを持たせる。このために、２つの閾値（第１閾値４６１および第２閾値４６２）が設定される。第２閾値４６２より値が大きい第１閾値４６１を面内ＭＶ総和が超える（以上またはより大きい）と、コントラスト用間引きモードから位相差用間引きモードに切り替わる。一方、第２閾値４６２を面内ＭＶ総和が下回る（以下またはより小さい）と、位相差用間引きモードからコントラスト用間引きモードに切り替わる。すなわち、面内ＭＶ総和が第１閾値４６１を超えると常に位相差用間引きモードになり、面内ＭＶ総和が第２閾値４６２を下回ると常にコントラスト用間引きモードになる。また、面内ＭＶ総和が第２閾値４６２から第１閾値４６１の間であると、コントラスト用間引きモードおよび位相差用間引きモードのうちの、以前の撮像（１つ前のフレームの撮像）の際に設定されたモードに設定される。
【０１４２】
このように、静止画像の撮像時のフォーカスを調整する際の読み出しモードが、被写体の動き（面内ＭＶ総和）に応じて、コントラスト用間引きモードと位相差用間引きモードとの間で切り替わる。なお、切り替わりの判断の基準となる閾値は、撮像装置の性能によって異なるが、例えば、コントラスト検出でフォーカスを調整して撮像してもそれほどフォーカスのズレが目立たないような動きの上限に近い値とする場合が考えられる。また、コントラスト用間引きモードから位相差用間引きモードに切り替わった際の画質の劣化が、被写体の動きによる像のブレ等により余り目立たなくなるような値を閾値とする場合なども考えられる。
【０１４３】
［読み出しモードの特徴例］
図１０は、本技術の第１の実施の形態の読み出しモード決定部２７０が設定する読み出しモードの各モードの特徴を示す模式図である。
【０１４４】
図１０（ａ）には、図５乃至図８において示した撮像素子２２０の４タイプの読み出しモードのそれぞれの特徴をまとめて示す表（表４７０）が示されている。この表４７０には、位相差検出の性能（列４７２）と、コントラスト検出の性能（列４７３）と、読み出し速度（列４７４）と、画質（列４７５）と、撮像画像の用途（列４７６）とが、読み出しモード（列４７１）ごとに示されている。
【０１４５】
表４７０に示すように、全画素読み出しモードでは、位相差検出とコントラスト検出とが共に可能であるが静止画の撮像中であるため、処理を軽くするためにコントラスト検出は行わずに、位相差検出のみで合焦判定が行われる。そして、位相差検出による合焦判定に基づいてフォーカスレンズが駆動され、次の撮像（連写なら静止画像、単写ならライブビュー画像）のための合焦処理が行われる。なお、この全画素読み出しモードは、全ての画素から信号を読み出すため、読み出し速度は最も遅い（図１０（ｂ）では「×１」と示す）。しかしながら、全ての画素から信号を読み出すため画質は最も良く、静止画像を取得する際に全画素読み出しモードが設定される。
【０１４６】
また、コントラスト用間引きモードは、位相差検出が実行不可能であり、コントラスト検出のみが実行可能である。そのため、コントラスト用間引きモードが設定されている際には、コントラスト検出のみで合焦判定が行われる。なお、コントラスト用間引きモードは、読み出す行（ライン）の数が全画素読み出しモードの１／３であるため、読み出し速度が３倍（×３）になる。また、行の数が全画素読み出しモードの１／３であるため、画質はやや悪い（位相差用間引きモードより良く、動画用間引きモードより悪い）。コントラスト用間引きモードで撮像した画像は、高画質なライブビュー画像として用いられる。
【０１４７】
位相差検出用間引きモードは、位相差検出とコントラスト検出とが共に可能であるが、面内ＭＶ総和が閾値よりも高い（被写体の動きが大きい）と設定されるモードであるため、位相差検出を優先して合焦判定が行われる。なお、コントラスト検出も実行可能であるため、位相差検出が難しい場合（例えば、被写体が暗い場合）などにおいても合焦判定が行えるように、コントラスト検出が位相差検出と併用される。また、位相差検出用間引きモードは、読み出す行の数が全画素読み出しモードの１／３であるため、読み出し速度が３倍（×３）になる。なお、読み出す行の数はコントラスト用間引きモードと同じであるが、コントラスト用間引きモードでは読み出された信号が全て画像生成画素の信号である一方、位相差検出用間引きモードでは位相差検出画素の信号も読み出される。すなわち、位相差検出用間引きモードでは補間が多くなり、コントラスト用間引きモードよりも画質は悪くなる（図１０（ａ）では「最も悪い」と表示）。位相差検出用間引きモードで撮像した画像は、低画質なライブビュー画像として用いられる。
【０１４８】
動画用間引きモードは、位相差検出が実行不可能であり、コントラスト検出のみが実行可能であるため、コントラスト検出のみで合焦判定が行われる。なお、動画用間引きモードでは、１行間引いた上で、２行の画素の間で信号が加算されて読み出されるため（図８参照）、読み出し速度が３倍（×３）になる。また、全画素読み出しモードより悪く、コントラスト用間引きモードより良い画質（図１０（ａ）では「やや良い」と表示）となり、動画用間引きモードで撮像した画像は、動画の画像として用いられる。
【０１４９】
図１０（ｂ）には、静止画撮像時の合焦判定時の読み出しモードの設定に着目し、合焦判定時の読み出しモードの判断に用いられる被写体の動き（面内ＭＶ総和）と、読み出しモードとの関係を示す表（表４８０）が示されている。この表４８０には、設定される読み出しモード（列４８２）と、合焦判定方法（列４８３）と、合焦速度（４８４）とが、被写体の動き（列４８１）ごとに示されている。
【０１５０】
表４８０に示すように、被写体の動きが無または小の場合には、読み出しモードがコントラスト用間引きモードに設定される。一方、被写体の動きが大の場合には、読み出しモードが位相差検出用間引きモードに設定される。すなわち、被写体の動きが無または小の場合には、コントラスト検出が行われ、合焦速度（ＡＦ速度）は遅い。一方、被写体の動きが大の場合には、位相差検出が優先的に実行され、合焦速度は速い。
【０１５１】
このように、被写体の動きが少ない場合はコントラスト用間引きモードが設定され、ＡＦ速度が遅いものの画質が良い。被写体の動きが少ない時には、コントラスト用間引きモードにおいて行われるコントラスト検出でフォーカスを調整しても時間的に十分である。また、被写体の動きが少ない時にはユーザが細かいところまで確認しやすいが、この時に良好な画質のライブビュー画像を表示することができる。すなわち、フォーカス調整時のライブビュー画像の画質を向上させることができる。
【０１５２】
また、被写体の動きが大きい場合には位相差検出用間引きモードが設定され、ＡＦ速度が速いものの画質が悪い。被写体の動きが大きい時にはコントラスト検出では間に合わないため、位相差検出用間引きモードで実行可能な位相差検出が適している。また、被写体の動きが大きい時にはライブビュー画像における被写体の像が流れたりぼやけたりするため、ユーザも細かいところまで確認できない。このため、画質が悪くともライブビュー画像の粗がユーザに目立たない。すなわち、画質の粗が目立たないタイミングで位相差検出によりフォーカス制御を行うことができ、ライブビュー画像の画質を犠牲にしないとともに、被写体に適切なフォーカス制御を行うことができる。
【０１５３】
このように、フォーカス調整時の読み出しモードを被写体の動きに応じて設定することができるため、合焦速度（ＡＦ速度）と画質とのバランスを自動的に調整することができる。すなわち、被写体に適切なフォーカス制御が行われるとともに、フォーカス調整時のライブビュー画像の画質を向上させることができる。
【０１５４】
［撮像装置の動作例］
次に、本技術の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１５５】
図１１は、本技術の第１の実施の形態における撮像装置１００の読み出しモード決定処理手順の一例を示すフローチャートである。
【０１５６】
なお、図１１で示す読み出しモード決定処理手順は、撮像素子２２０を用いた撮像が行われる度に実行されることを想定する。すなわち、読み出しモード決定処理手順は、静止画の撮像のライブビュー画像を表示しながらフォーカス調整を行っている状態では、ライブビュー画像の表示やフォーカス調整で用いられる画像の取得の度（フレームごと）に行われる。
【０１５７】
まず、撮像素子２２０が撮像する前に、撮像モードに動画モードが設定されているか否かが、制御部２９９からの情報に基づいて、読み出しモード決定部２７０により判断される（ステップＳ９１１）。そして、動画モードが設定されていると判断された場合には（ステップＳ９１１）、撮像素子２２０の読み出しモードが動画用読み出しモードに設定され（ステップＳ９１２）、読み出しモード決定処理手順は終了する。
【０１５８】
一方、動画モードが設定されていないと判断された場合には（ステップＳ９１１）、次の撮像により取得される画像が、シャッターボタンの押下に基づく撮像であるか否かが、読み出しモード決定部２７０により判断される（ステップＳ９１１）。これにより、静止画の撮像のための撮像モード（動画モードが設定されていない）が設定されている場合において、撮像する画像が静止画像を保存するための画像であるか否かが判断される。そして、シャッターボタンの押下に基づく撮像である（静止画像の保存のための撮像である）と判断された場合には（ステップＳ９１３）、撮像素子２２０の読み出しモードが全画素読み出しモードに設定され（ステップＳ９１４）、読み出しモード決定処理手順は終了する。
【０１５９】
また、シャッターボタンの押下に基づく撮像でないと判断された場合には（ステップＳ９１３）、フォーカス調整のモードがオート（自動）であるか否かが、読み出しモード決定部２７０により判断される（ステップＳ９１５）。すなわち、ライブビューおよびフォーカス調整のための撮像であると判断されると、フォーカス調整のモードについて判断される。そして、フォーカス調整のモード（フォーカスモード）がオートでない（ユーザにより指定されている）と判断された場合には（ステップＳ９１５）、フォーカスモードに高速ＡＦモードが設定されているか否かが判断される（ステップＳ９１６）。そして、フォーカスモードに高速ＡＦが設定されていると読み出しモード決定部２７０により判断された場合には（ステップＳ９１６）、ステップＳ９２１に進む。
【０１６０】
一方、フォーカスモードに高速ＡＦモードが設定されていない（高画質ＡＦ（低速ＡＦ）モードが設定されている）と判断された場合には（ステップＳ９１６）、撮像素子２２０の読み出しモードがコントラスト用間引きモードに設定される（ステップＳ９１７）。そして、ステップＳ９１７の後に、読み出しモード決定処理手順は終了する。
【０１６１】
また、フォーカスモードがオートであると判断された場合には（ステップＳ９１５）、１フレーム前の画像の動きベクトル（面内ＭＶ総和）が動きベクトル検出部２６０により検出され、この検出された面内ＭＶ総和が読み出しモード決定部２７０により取得される（ステップＳ９１８）。続いて、１フレーム前の画像の取得の際に設定されていた読み出しモードに応じた閾値と、取得した面内ＭＶ総和との比較が読み出しモード決定部２７０により行われる（ステップＳ９１９）。すなわち、ステップＳ９１９では、図９に示すように、読み出しモードの決定にヒステリシスを備えられるように閾値が設定（第１閾値４６１または第２閾値４６２）され、面内ＭＶ総和との比較が行われる。次に、面内ＭＶ総和が閾値を基準として大きいか否かが、読み出しモード決定部２７０により判断される（ステップＳ９２０）。そして、面内ＭＶ総和が閾値より小さい（動きが小さい）と判断された場合には（ステップＳ９２０）、ステップＳ９１７に進む。なお、ステップＳ９１８は、特許請求の範囲に記載の検出手順の一例である。また、ステップＳ９２０は、特許請求の範囲に記載の決定手順の一例である。
【０１６２】
一方、面内ＭＶ総和が閾値より大きい（動きが大きい）と判断された場合には（ステップＳ９２０）、撮像素子２２０の読み出しモードが位相差用間引きモードに設定され（ステップＳ９２１）、読み出しモード決定処理手順は終了する。
【０１６３】
このように、本技術の第１の実施の形態によれば、フォーカス調整時の読み出しモードを被写体の動きに応じて設定することにより、被写体に合った適切な間引き方法で撮像素子から信号を読み出すことができる。また、撮像動作（動画撮影や静止画撮影）が指定されている場合には、その指定に応じた適切な間引き方法で撮像素子から信号を読み出すことができる。すなわち、本技術の第１の実施の形態によれば、撮像素子から信号を読み出す際の間引き処理を適切に設定することができる。
【０１６４】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、静止画の撮像におけるフォーカス調整時の読み出しモードを、コントラスト用間引きモードと位相差用間引きモードとの間で面内ＭＶ総和（面内ＭＶ総和情報が示す値）に基づいて切り替える例について説明した。なお、コントラスト用間引きモードでは位相差検出画素からの信号が読み出されないため、コントラスト用間引きモードではコントラスト検出で合焦判定が行われ、位相差用間引きモードでは位相差検出による合焦判定が優先的に行われる。なお、これに限定されるものではなく、例えば、面内ＭＶ総和に基づいて切り替わる読み出しモードを３以上にする場合も考えられる。また、面内ＭＶ総和に基づいて読み出しモードを決定した上で、さらに、面内ＭＶ総和に基づいて合焦判定方法を切り替える場合なども考えられる。
【０１６５】
そこで、本技術の第２の実施の形態では、面内ＭＶ総和に基づいて読み出しモードを決定した上で、さらに、面内ＭＶ総和に基づいて合焦判定方法を切り替える例について、図１２を参照して説明する。
【０１６６】
［面内ＭＶ総和の値と読み出しモードおよび合焦判定方法との関係例］
図１２は、本技術の第２の実施の形態の動きベクトル検出部２６０が算出する面内ＭＶ総和と、読み出しモード決定部２７０により決定されるフォーカス調整時の読み出しモードとの関係を示す模式図である。
【０１６７】
図１２（ａ）には、図９と同様に、静止画の撮像の際のフォーカス調整時の読み出しモード（コントラスト用間引きモードまたは位相差用間引きモード）と、面内ＭＶ総和（面内ＭＶ総和情報が示す値）との関係を示すグラフが示されている。なお、図１２（ａ）は、横軸および縦軸のスケールが図９と異なる他は、図９のグラフと同様のものであるため、ここでの説明を省略する。
【０１６８】
図１２（ｂ）には、横軸を面内ＭＶ総和を示す軸とし、縦軸をフォーカス調整時の合焦判定方法の決定結果として、面内ＭＶ総和と合焦判定方法との関係を示すグラフが示されている。
【０１６９】
このグラフに示すように、第１閾値４６１は、合焦判定方法をコントラスト検出のみから位相差検出とコントラスト検出との併用による検出（併用検出）に切り替える判断の基準となる。また、第２閾値４６２は、併用検出および位相差検出のみからコントラスト検出のみに切り替える判断の基準となる。また、このグラフには、合焦判定方法を、コントラスト検出のみおよび併用による検出から位相差検出のみに切り替える判断の基準となる閾値（第３閾値５１１）が示されている。また、このグラフには、位相差検出のみから併用による検出に切り替える判断の基準となる閾値（第４閾値５１２）が示されている。なお、図１２（ｂ）のグラフにおいて示す第１閾値および第２閾値は、図１２（ａ）において示した第１閾値４６１および第２閾値４６２と同じ値であるため、同一の符号を付して示す。また、合焦判定方法にヒステリシスを持たせるのは、読み出しモードの決定でヒステリシスを持たせるのと同様であるため、詳細な説明を省略する。
【０１７０】
ここで、併用検出について説明する。併用検出では、フォーカスレンズを合焦位置に素早く駆動することができる位相差検出と、時間がかかるがより正確な合焦位置を検出することができるコントラスト検出との両方を用いてフォーカス制御が行われる。例えば、最初に、位相差検出で合焦位置を検出し、検出した合焦位置を確実に通り過ぎる位置を目指してフォーカスレンズを駆動する。この時に、位相差検出で検出した合焦位置の手前付近から通り過ぎる位置まで画像を複数撮像し、その撮像した画像を用いてコントラスト検出を行う。そして、コントラスト検出により検出された合焦位置へフォーカスレンズを駆動して最終的に合焦させる（例えば、特開２００９−６９２５５参照）。
【０１７１】
すなわち、併用検出では、コントラスト検出のみでフォーカス制御を行う場合と比較して、コントラスト検出で検出するフォーカス位置が異なる複数の画像の取得が少なくなる（山登り検出を行う期間が短くなる）ため、短い時間で合焦させることができる。
【０１７２】
図１２（ｂ）に示すように、本技術の第２の実施の形態では、面内ＭＶ総和がある程度大きい（第１閾値４６１より大きい）と、コントラスト用間引きモードから位相差用間引きモードに切り替わるとともに、合焦判定方法がコントラスト検出のみから併用検出に切り替わる。また、面内ＭＶ総和がかなり大きい（第３閾値５１１より大きい）と、間引きモードが位相差用間引きモードであり、合焦判定方法が位相差検出のみの状態になる。すなわち、本技術の第２の実施の形態では、被写体の動きの大きさに応じて、読み出しモードとともに合焦判定方法も切り替える。
【０１７３】
このように、本技術の第２の実施の形態によれば、フォーカス調整時の読み出しモードを被写体の動きに応じて設定するとともに、合焦判定方法を被写体の動きに応じて設定することができる。
【０１７４】
このように、本技術の実施の形態によれば、撮像素子から信号を読み出す際の間引き処理を適切に設定することができる。
【０１７５】
また、本技術の実施の形態によれば、フォーカス調整時の読み出しモードを被写体の動きに応じて設定することができるため、合焦速度（ＡＦ速度）と画質とのバランスを自動的に調整することができる。
【０１７６】
なお、本技術の実施の形態では、全ての間引きモード（位相差検出用間引きモード、コントラスト検出用間引きモード、動画用間引きモード）において、読み出すラインの数が、全画素読み出しと比較して１／３になる。すなわち、読み出すラインの数が増減しないため、ＲＡＷ補正処理部２３０およびカメラ信号処理部２３５における処理内容を大幅に変更する必要がない。これにより、画像処理における負担を軽減することができる。
【０１７７】
また、本技術の実施の形態では、１／３間引きを想定して説明したが、これに限定されるものではなく、撮像素子における画素配置に応じて間引きの間隔が設定されればよい。また、本技術の実施の形態では、面内ＭＶ総和に応じて読み出しモードを切り替える例について説明したが、これに限定されるものではなく、例えば、合焦判定の対象物（フォーカスエリア内の物体）の動きに応じて切り替える場合なども考えられる。
【０１７８】
なお、本技術の実施の形態では、画像生成画素に備えられるカラーフィルタが３原色（ＲＧＢ）のカラーフィルタであることを想定して説明したが、これに限定されるものではない。例えば、画像生成画素に補色のカラーフィルタが備えられる場合においても、同様に適用できる。また、１つの画素の領域で可視光領域の波長の光を全て検出する画素（例えば、青色用の画素、緑色用の画素、赤色用の画素が光軸方向に重ねて配置されている撮像素子）が画像生成画素である場合においても、本技術の実施の形態は同様に適用できる。
【０１７９】
また、本技術の実施の形態では、位相差検出画素は、２つに瞳分割された光の一方を受光することを想定して説明したが、これに限定されるものではない。例えば、瞳分割用遮光層を備えずに２つの受光素子を備え、瞳分割された光をそれぞれの受光素子で受光することができる位相差検出画素の場合においても、本技術の実施の形態を適用することができる。また、瞳分割用遮光層を備えずに半分の大きさの受光素子を備え、瞳分割された光の一方をその半分の大きさの受光素子で受光することができる位相差検出画素の場合においても、同様に、間引き処理を適切に設定することができる。
【０１８０】
また、位相差検出画素のカラーフィルタは、Ｗフィルタを想定して説明したが、これに限定されるものではなく、フィルタの代わりに透明層がある場合、Ｗフィルタの代わりにＧフィルタを備える場合なども考えられる。また、Ｇ画素の位置に位相差検出画素を配置する例について説明したが、これに限定されるものではなく、Ｒ画素やＢ画素の一部が位相差検出画素とされている場合も考えられる。
【０１８１】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１８２】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ハードディスク、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１８３】
なお、本技術は以下のような構成もとることができる。
（１） 位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出部と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定部と
を具備する情報処理装置。
（２） 前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記決定部は、合焦判定を行う際に前記検出部により検出された前記被写体の動きが閾値を基準として大きい場合には、前記間引き処理として前記第１処理を決定し、前記被写体の動きが閾値を基準として小さい場合には、前記間引き処理として前記第２処理を決定する
前記（１）に記載の情報処理装置。
（３） 前記第１処理が決定された場合には、前記位相差検出による合焦判定に基づいてフォーカス制御を行い、前記第２処理が決定された場合には、コントラスト検出による合焦判定に基づいてフォーカス制御を行うフォーカス制御部をさらに具備する前記（２）に記載の情報処理装置。
（４） 前記第１処理において読み出し対象となるライン間の間隔と、前記第２処理において読み出し対象となるライン間の間隔とが同一である前記（２）または（３）に記載の情報処理装置。
（５） 前記決定部は、動画の撮像動作が行われる場合には、前記検出された被写体の動きに係わらず、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第３処理を決定する前記（１）から（４）のいずれかに記載の情報処理装置。
（６） 前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記第３処理は、前記位相差検出画素を含まないラインにおいて、検出対象の被写体光の波長が同じ画素からの信号を読み出し前に加算し、前記第３処理において読み出し対象となるラインの数と、前記第１処理において読み出し対象となるラインの数とを同一とする間引き処理である
前記（５）に記載の情報処理装置。
（７） フォーカスモードの指定操作を受け付ける操作受付部をさらに具備し、
前記決定部は、前記検出された被写体の動きに係わらず、前記受け付けられた指定操作に基づいて前記間引き処理を決定する
前記（１）から（６）のいずれかに記載の情報処理装置。
（８） 前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記決定部は、高速に合焦させるためのフォーカスモードが指定されている場合には、前記間引き処理として前記第１処理を決定し、高速な合焦よりも画質を優先させるためのフォーカスモードが指定されている場合には、前記間引き処理として前記第２処理を決定する
前記（７）に記載の情報処理装置。
（９） 前記間引き処理は、所定の間引き処理である第４処理と、読み出し対象となる信号における前記位相差検出画素の信号の割合が前記第４処理よりも低い第５処理とを含み、
前記決定部は、合焦判定を行う際に前記検出部により検出された前記被写体の動きが閾値を基準として大きい場合には、前記間引き処理として前記第４処理を決定し、前記被写体の動きが閾値を基準として小さい場合には、前記間引き処理として前記第５処理を決定する
前記（１）に記載の情報処理装置。
（１０） 位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出手順と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定手順と
を具備する情報処理方法。
（１１） 位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出手順と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１８４】
１０ 撮像システム
１００ 撮像装置
１１２ シャッターユニット
１１３、２２０ 撮像素子
１１５ 画像処理回路
１１９ 画像メモリ
１２１ 電池
１２２ 電源回路
１２５ メモリカード
１２８ 操作部
１３１ シャッタ駆動制御部
１３３ 絞り駆動制御部
１３４ フォーカス駆動制御部
１３６ メイン制御部
１５１ 位相差演算回路
１５２ コントラスト演算回路
１７０ 交換レンズ
１８１ 絞り駆動機構
１８３ レンズ位置検出部
１８４ レンズ駆動機構
１９０ 鏡胴
１９２ ズームレンズ
１９３、２１０ フォーカスレンズ
１９４ レンズ群
２３０ ＲＡＷ補正処理部
２３５ カメラ信号処理部
２４０ 位相差検出部
２５０ コントラスト検出部
２６０ 動きベクトル検出部
２７０ 読み出しモード決定部
２８０ レンズ駆動制御部
２９２ 画像表示処理部
２９３ 表示部
２９４ 画像出力処理部
２９５ 出力部
２９６ 画像記録再生処理部
２９７ 記録部
２９８ 操作受付部
２９９ 制御部
【特許請求の範囲】
【請求項１】
位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出部と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定部と
を具備する情報処理装置。
【請求項２】
前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記決定部は、合焦判定を行う際に前記検出部により検出された前記被写体の動きが閾値を基準として大きい場合には、前記間引き処理として前記第１処理を決定し、前記被写体の動きが閾値を基準として小さい場合には、前記間引き処理として前記第２処理を決定する
請求項１記載の情報処理装置。
【請求項３】
前記第１処理が決定された場合には、前記位相差検出による合焦判定に基づいてフォーカス制御を行い、前記第２処理が決定された場合には、コントラスト検出による合焦判定に基づいてフォーカス制御を行うフォーカス制御部をさらに具備する請求項２記載の情報処理装置。
【請求項４】
前記第１処理において読み出し対象となるライン間の間隔と、前記第２処理において読み出し対象となるライン間の間隔とが同一である請求項２記載の情報処理装置。
【請求項５】
前記決定部は、動画の撮像動作が行われる場合には、前記検出された被写体の動きに係わらず、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第３処理を決定する請求項１記載の情報処理装置。
【請求項６】
前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記第３処理は、前記位相差検出画素を含まないラインにおいて、検出対象の被写体光の波長が同じ画素からの信号を読み出し前に加算し、前記第３処理において読み出し対象となるラインの数と、前記第１処理において読み出し対象となるラインの数とを同一とする間引き処理である
請求項５記載の情報処理装置。
【請求項７】
フォーカスモードの指定操作を受け付ける操作受付部をさらに具備し、
前記決定部は、前記検出された被写体の動きに係わらず、前記受け付けられた指定操作に基づいて前記間引き処理を決定する
請求項１記載の情報処理装置。
【請求項８】
前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記決定部は、高速に合焦させるためのフォーカスモードが指定されている場合には、前記間引き処理として前記第１処理を決定し、高速な合焦よりも画質を優先させるためのフォーカスモードが指定されている場合には、前記間引き処理として前記第２処理を決定する
請求項７記載の情報処理装置。
【請求項９】
前記間引き処理は、所定の間引き処理である第４処理と、読み出し対象となる信号における前記位相差検出画素の信号の割合が前記第４処理よりも低い第５処理とを含み、
前記決定部は、合焦判定を行う際に前記検出部により検出された前記被写体の動きが閾値を基準として大きい場合には、前記間引き処理として前記第４処理を決定し、前記被写体の動きが閾値を基準として小さい場合には、前記間引き処理として前記第５処理を決定する
請求項１記載の情報処理装置。
【請求項１０】
位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出手順と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定手順と
を具備する情報処理方法。
【請求項１１】
位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出手順と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定手順と
をコンピュータに実行させるプログラム。
【請求項１】
位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出部と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定部と
を具備する情報処理装置。
【請求項２】
前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記決定部は、合焦判定を行う際に前記検出部により検出された前記被写体の動きが閾値を基準として大きい場合には、前記間引き処理として前記第１処理を決定し、前記被写体の動きが閾値を基準として小さい場合には、前記間引き処理として前記第２処理を決定する
請求項１記載の情報処理装置。
【請求項３】
前記第１処理が決定された場合には、前記位相差検出による合焦判定に基づいてフォーカス制御を行い、前記第２処理が決定された場合には、コントラスト検出による合焦判定に基づいてフォーカス制御を行うフォーカス制御部をさらに具備する請求項２記載の情報処理装置。
【請求項４】
前記第１処理において読み出し対象となるライン間の間隔と、前記第２処理において読み出し対象となるライン間の間隔とが同一である請求項２記載の情報処理装置。
【請求項５】
前記決定部は、動画の撮像動作が行われる場合には、前記検出された被写体の動きに係わらず、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第３処理を決定する請求項１記載の情報処理装置。
【請求項６】
前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記第３処理は、前記位相差検出画素を含まないラインにおいて、検出対象の被写体光の波長が同じ画素からの信号を読み出し前に加算し、前記第３処理において読み出し対象となるラインの数と、前記第１処理において読み出し対象となるラインの数とを同一とする間引き処理である
請求項５記載の情報処理装置。
【請求項７】
フォーカスモードの指定操作を受け付ける操作受付部をさらに具備し、
前記決定部は、前記検出された被写体の動きに係わらず、前記受け付けられた指定操作に基づいて前記間引き処理を決定する
請求項１記載の情報処理装置。
【請求項８】
前記間引き処理は、前記位相差検出画素を含むラインから読み出された信号を用いて画像を生成する第１処理と、前記位相差検出画素を含まないラインのみから読み出された信号を用いて画像を生成する第２処理とを含み、
前記決定部は、高速に合焦させるためのフォーカスモードが指定されている場合には、前記間引き処理として前記第１処理を決定し、高速な合焦よりも画質を優先させるためのフォーカスモードが指定されている場合には、前記間引き処理として前記第２処理を決定する
請求項７記載の情報処理装置。
【請求項９】
前記間引き処理は、所定の間引き処理である第４処理と、読み出し対象となる信号における前記位相差検出画素の信号の割合が前記第４処理よりも低い第５処理とを含み、
前記決定部は、合焦判定を行う際に前記検出部により検出された前記被写体の動きが閾値を基準として大きい場合には、前記間引き処理として前記第４処理を決定し、前記被写体の動きが閾値を基準として小さい場合には、前記間引き処理として前記第５処理を決定する
請求項１記載の情報処理装置。
【請求項１０】
位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出手順と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定手順と
を具備する情報処理方法。
【請求項１１】
位相差検出による合焦判定を行うための信号を生成する複数の位相差検出画素と画像を生成するための信号を生成する複数の画像生成画素とを備える撮像素子により生成された画像に含まれる被写体の動きを検出する検出手順と、
前記撮像素子から信号を読み出す際の間引き処理を前記検出された被写体の動きに応じて決定する決定手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−９７１３６（Ｐ２０１３−９７１３６Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３９０４１（Ｐ２０１１−２３９０４１）
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]