撮像装置、撮像素子、画像処理方法およびプログラム
【課題】立体視画像の画質の劣化を低減させる。
【解決手段】視差検出画素２３０は、１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する。Ｇ画像２２７、２２８と、Ｒ画素２２６と、Ｂ画素２２９とは、被写体光を受光することにより平面画像を生成するための信号を生成する。視差検出部３２０は、視差検出画素２３０が生成した信号に基づいて視差を検出する。２Ｄ画像生成部３１０は、画像生成画素が生成した信号に基づいて平面画像を生成する。３Ｄ画像生成部３３０は、検出された視差に基づいて平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する。
【解決手段】視差検出画素２３０は、１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する。Ｇ画像２２７、２２８と、Ｒ画素２２６と、Ｂ画素２２９とは、被写体光を受光することにより平面画像を生成するための信号を生成する。視差検出部３２０は、視差検出画素２３０が生成した信号に基づいて視差を検出する。２Ｄ画像生成部３１０は、画像生成画素が生成した信号に基づいて平面画像を生成する。３Ｄ画像生成部３３０は、検出された視差に基づいて平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置に関し、特に、立体視画像を生成する撮像装置、撮像素子、画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための画像データを生成するデジタルスチルカメラやデジタルビデオカメラ（カメラ一体型レコーダ）等の撮像装置が提案されている。
【０００３】
例えば、２つのレンズと１つの撮像素子とを備え、立体視画像を表示するための２つの画像（左眼視用画像および右眼視用画像）を生成する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３０９８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、２つのレンズと１つの撮像素子とを用いて２つの画像（左眼視用画像および右眼視用画像）を生成することができる。しかしながら、偏光フィルタを用いているため、光量が減少するおそれがある。また、特定の偏光を備えている被写体光（例えば、ガラスからの反射光や水面からの反射光）からの光を受光することができないおそれがある。
【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、立体視画像の画質の劣化を低減させることを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する視差検出画素と、上記被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子と、上記視差検出画素が生成した信号に基づいて上記視差を検出し、上記画像生成画素が生成した信号に基づいて上記平面画像を生成し、上記検出した視差に基づいて上記生成した平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する立体視画像生成部とを具備する撮像装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、視差検出画素が生成した信号に基づいて視差を検出し、画像生成画素が生成した信号に基づいて平面画像を生成し、検出した視差に基づいて平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、上記視差検出画素は、上記撮像素子における行方向のライン上および列方向のライン上に並んで配置され、上記立体視画像生成部は、上記姿勢検出部が検出した姿勢に基づいて上記視差を検出する方向を上記撮像素子の行方向および列方向のいずれかから決定し、当該決定された方向に配置された上記視差検出画素が生成した信号に基づいて上記視差に関する情報を生成するようにしてもよい。これにより、姿勢検出部が検出した姿勢に基づいて視差を検出する方向を決定させ、決定された方向に配置された視差検出画素が生成した信号に基づいて視差に関する情報を生成させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行う合焦判定部をさらに具備するようにしてもよい。これにより、視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行なわせるという作用をもたらす。
【００１０】
また、この第１の側面において、上記撮像素子は、上記視差検出画素が特定方向におけるライン上に隣接して配置されるようにしてもよい。これにより、視差検出画素が特定方向におけるライン上に隣接して配置されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記撮像素子は、上記視差検出画素が特定方向におけるライン上に所定の間隔置きに配置されるようにしてもよい。これにより、視差検出画素がアイランド状に配置されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記撮像素子と上記射出瞳の大きさとの関係に基づいて、上記視差検出画素における複数の受光素子を覆う１つのマイクロレンズを当該マイクロレンズの光軸方向へ移動させる制御部をさらに具備するようにしてもよい。これにより、複数の大きさの射出瞳に対して視差が検出されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記視差検出画素における複数の受光素子は、同一のカラーフィルタにより覆われているようにしてもよい。これにより、視差検出画素における複数の受光素子を同一の分光特性にさせるという作用をもたらす。また、この場合において、上記視差検出画素における複数の受光素子は、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われているようにしてもよい。これにより、視差検出画素における複数の受光素子のカラーフィルタとして緑フィルタを設けさせるという作用をもたらす。
【００１４】
また、この場合において、上記視差検出画素における複数の受光素子は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われているようにしてもよい。これにより、視差検出画素における複数の受光素子のカラーフィルタとして白フィルタまたは透明層を設けさせるという作用をもたらす。
【００１５】
また、この第１の側面において、上記画像生成画素は、上記画素単位ごとに１つの受光素子を備えるようにしてもよい。これにより、画素単位ごとに１つの受光素子を備える画像生成画素が生成した信号に基づいて平面画像を生成させるという作用をもたらす。
【００１６】
また、この第１の側面において、上記視差検出画素における上記複数の受光素子を覆う上記１つのマイクロレンズにより集光された上記被写体光を上記複数の受光素子のそれぞれの位置に集光するためのマイクロレンズが、当該複数の受光素子を当該複数の受光素子ごとに覆うようにしてもよい。これにより、視差検出画素には、複数の受光素子を覆う１つのマイクロレンズと、この１つのマイクロレンズが集光した被写体光を複数の受光素子のそれぞれの位置にさらに集光するためのマイクロレンズとが設けられるという作用をもたらす。
【００１７】
また、この第１の側面において、上記画像生成画素における上記受光素子を覆う上記マイクロレンズは、上記視差検出画素における上記複数の受光素子を当該複数の受光素子ごとに覆う上記マイクロレンズの光軸方向と直交する同一面上に配置されるようにしてもよい。これにより、視差検出画素の複数の受光素子のそれぞれを覆うマイクロレンズと、画像生成画素におけるマイクロレンズとが同じ層に設けられるという作用をもたらす。
【００１８】
また、この第１の側面において、上記画像生成画素における上記受光素子を覆う上記マイクロレンズは、上記視差検出画素における上記複数の受光素子を覆う上記１つのマイクロレンズの光軸方向と直交する同一面上に配置されるようにしてもよい。これにより、視差検出画素における複数の受光素子を覆う１つのマイクロレンズと、画像生成画素のマイクロレンズとが同じ層に設けられるという作用をもたらす。
【００１９】
また、本技術の第２の側面は、１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより立体視画像を生成する際に用いられる視差を検出するための信号を生成する視差検出画素と、前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより前記視差を用いて前記立体視画像を生成する際に用いられる平面画像を生成するための信号を生成する画像生成画素とを具備する撮像素子である。これにより、１つのマイクロレンズにより覆われた複数の受光素子を備える視差検出画素と、小さいマイクロレンズにより画素単位で覆われた受光素子を備える画像生成画素とを撮像素子に具備させるという作用をもたらす。
【００２０】
また、この第２の側面において、前記視差は、前記平面画像における被写体像のそれぞれの位置を前記視差方向に調整して前記立体視画像を生成する際における前記被写体像のそれぞれの位置のずれ量に関する情報であり、前記視差検出画素は、前記視差方向にライン上に配置されるようにしてもよい。これにより、視差方向にライン上に配置された視差検出画素からの信号が平面画像における被写体像のそれぞれの位置をずらす量の算出に用いられるという作用をもたらす。
【発明の効果】
【００２１】
本技術によれば、立体視画像の画質の劣化を低減させることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２２】
【図１】本技術の第１の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。
【図２】本技術の第１の実施の形態における撮像素子２００に備えられる画素の配置の一例を示す模式図である。
【図３】本技術の第１の実施の形態における撮像素子２００に備えられる画像生成画素および視差検出画素の一例を示す模式図である。
【図４】本技術の第１の実施の形態における画像生成画素および視差検出画素の断面構成の一例を示す模式図である。
【図５】本技術の第１の実施の形態における視差検出画素が受光する被写体光を模式的に示す図である。
【図６】本技術の第１の実施の形態における視差検出画素２３０による視差検出の原理を模式的に示す図である。
【図７】本技術の第１の実施の形態における撮像装置１００を用いて横位置撮影を行う場合における視差検出画素２３０による視差検出の方向の一例を模式的に示す図である。
【図８】本技術の第１の実施の形態における撮像装置１００を用いて縦位置撮影を行う場合における視差検出画素２３０による視差検出の方向の一例を模式的に示す図である。
【図９】本技術の第１の実施の形態の撮像装置１００における３Ｄ画像の生成例を示す模式図である。
【図１０】本技術の第１の実施の形態における撮像装置１００によって立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
【図１１】本技術の第１の実施の形態の撮像処理手順における立体画像生成処理（ステップＳ９２０）の処理手順例を示すフローチャートである。
【図１２】本技術の第２の実施の形態の撮像装置４００の機能構成の一例を示すブロック図である。
【図１３】本技術の第２の実施の形態において視差検出画素２３０における９つの画素回路の画素値を用いたオートフォーカスの概念を模式的に示す図である。
【図１４】本技術の第２の実施の形態における合焦判定部４１０による位相差検出による合焦判定を模式的に示す図である。
【図１５】本技術の第２の実施の形態における撮像装置４００による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
【図１６】本技術の第２の実施の形態の撮像処理手順における合焦処理（ステップＳ９４０）の処理手順例を示すフローチャートである。
【図１７】本技術の第１および第２の実施の形態の第１の変形例として、視差検出画素が行方向にのみライン状に配置される撮像素子の一例を模式的に示す図である。
【図１８】本技術の第２の変形例として、視差検出画素が、行方向および列方向に所定の間隔ずつ離れて配置（アイランド状に配置）される撮像素子の一例を模式的に示す図である。
【図１９】本技術の第３乃至第５の変形例として、画像生成画素および視差検出画素の断面構成の変形例を模式的に示す図である。
【図２０】本技術の第６乃至第９の変形例として、視差検出画素の変形例を示す模式図である。
【図２１】本技術の第３の実施の形態の撮像装置５００の機能構成の一例を示すブロック図である。
【図２２】本技術の第３の実施の形態の絞り５１０の一例を模式的に示す図である。
【図２３】本技術の第３の実施の形態の絞り５１０を、基線長は一定にして開口面積のみが変化するように駆動する場合の第１絞り５１１および第２絞り５１５の駆動方向を模式的に示す図である。
【図２４】本技術の第３の実施の形態の絞り５１０を、開口面積を一定にして基線長のみが変化するように駆動する場合の第１絞り５１１および第２絞り５１５の駆動方向を模式的に示す図である。
【図２５】本技術の第３の実施の形態の絞り５１０における開口部分の形状を平面画像を撮像するのに適した形状にする場合を模式的に示す図である。
【図２６】本技術の第３の実施の形態において表示部１５１に表示される撮像画像の設定画面および３Ｄ強度の設定画面を模式的に示す図である。
【図２７】本技術の第３の実施の形態における絞り５１０による基線長の変化による像の変化を模式的に示す図である。
【図２８】本技術の第３の実施の形態における絞り５１０における開口面と、従来の絞りにおける開口面との違いを模式的に示す図である。
【図２９】本技術の第３の実施の形態における撮像装置５００による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
【図３０】本技術の第４の実施の形態の撮像装置６００の機能構成の一例を示すブロック図である。
【図３１】本技術の第４の実施の形態の絞り６１０の一例を模式的に示す図である。
【図３２】本技術の第４の実施の形態の絞り６１０が形成する開口部分の形状の一例を模式的に示す図である。
【図３３】本技術の第３および第４の実施の形態の変形例として、３Ｄ画像の撮像に適した簡単な構成の絞りの例を模式的に示す図である。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（撮像制御：視差検出画素により視差を検出して３Ｄ画像を生成する例）
２．第２の実施の形態（撮像制御：視差検出画素の画素値を用いて位相差検出を行う例）
３．変形例
４．第３の実施の形態（絞り制御：横位置撮影において明るさと基線長を独立して制御する例）
５．第４の実施の形態（絞り制御：横位置撮影および縦位置撮影の両方において明るさと基線長とを独立して制御する例）
６．変形例
【００２４】
＜１．第１の実施の形態＞
［撮像装置の機能構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。撮像装置１００は、単眼で３Ｄの画像を生成する撮像装置である。この撮像装置１００は、被写体を撮像して画像データ（撮像画像）を生成し、生成された画像データを２Ｄまたは３Ｄの画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録する撮像装置である。なお、以下では、画像コンテンツ（画像ファイル）として静止画コンテンツ（静止画ファイル）を記録する例を主に示す。
【００２５】
撮像装置１００は、レンズ部１１０と、操作受付部１２０と、制御部１３０と、撮像素子２００と、信号処理部３００と、姿勢検出部１４０と、表示部１５１と、記憶部１５２と、駆動部１７０とを備える。
【００２６】
レンズ部１１０は、被写体からの光（被写体光）を集光するためのものである。このレンズ部１１０は、ズームレンズ１１１と、絞り１１２と、フォーカスレンズ１１３とを備える。
【００２７】
ズームレンズ１１１は、駆動部１７０の駆動により光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。
【００２８】
絞り１１２は、駆動部１７０の駆動により開口の度合いを変化させて、撮像素子２００に入射する被写体光の光量を調整するための遮蔽物である。
【００２９】
フォーカスレンズ１１３は、駆動部１７０の駆動により光軸方向に移動することによりフォーカスを調整するものである。
【００３０】
操作受付部１２０は、ユーザからの操作を受け付けるものである。この操作受付部１２０は、例えば、シャッターボタン（図示せず）が押下された場合には、その押下に関する信号を、操作信号として制御部１３０に供給する。
【００３１】
制御部１３０は、撮像装置１００における各部動作を制御するものである。なお、図１では、主要な信号線のみを示し、他は省略する。例えば、この制御部１３０は、シャッターボタンが押下されて、静止画像の記録を開始するための操作信号を受け付けた場合には、静止画像の記録実行に関する信号を、信号処理部３００に供給する。
【００３２】
撮像素子２００は、受光した被写体光を電気信号に光電変換するイメージセンサである。この撮像素子２００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどのｘ−ｙアドレス型のセンサや、ＣＣＤ（Charge Coupled Device）センサなどにより実現される。撮像素子２００には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素（画像生成画素）と、３Ｄ画像を生成するための視差を検出するための画素（視差検出画素）とが配置される。なお、撮像素子２００については、図２を参照して説明する。また、画像生成画素および視差検出画素については、図３乃至図６を参照して説明する。撮像素子２００は、光電変換により発生した電気信号（画像信号）を、フレーム（画像データ）ごとに信号処理部３００に供給する。
【００３３】
信号処理部３００は、撮像素子２００から供給された電気信号に所定の信号処理を施すものである。この信号処理部３００は、例えば、撮像素子２００から供給された電気信号をデジタルの電気信号（画素値）に変換した後に、黒レベル補正、欠陥補正、シェーディング補正、混色補正等を行う。また、この信号処理部３００は、各補正を行った電気信号に基づいて、３Ｄ画像（立体画像）を生成する。この信号処理部３００は、３Ｄ画像を生成するための機能構成として、２Ｄ画像生成部３１０と、視差検出部３２０と、３Ｄ画像生成部３３０とを備える。なお、信号処理部３００は、特許請求の範囲に記載の立体視画像生成部の一例である。
【００３４】
２Ｄ画像生成部３１０は、画像生成画素の電気信号（画素値）に基づいて、２Ｄ画像（平面画像）を生成するものである。この２Ｄ画像生成部３１０は、視差検出画素の位置に対応する電気信号（画素値）を、画像生成画素の電気信号（画素値）に基づいて補間し、そしてデモザイク処理を行うことにより平面画像を生成する。２Ｄ画像生成部３１０は、生成した平面画像を３Ｄ画像生成部３３０に供給する。
【００３５】
視差検出部３２０は、視差検出画素の電気信号（画素値）に基づいて、視差情報画像を生成するものである。ここで、視差情報画像とは、左眼画像と右眼画像との間の差（視差）に関する情報（視差情報）を含む画像である。視差検出部３２０は、生成した視差情報画像を３Ｄ画像生成部３３０に供給する。
【００３６】
３Ｄ画像生成部３３０は、視差情報画像および２Ｄ画像に基づいて、３Ｄ画像（立体画像）を生成するものである。この３Ｄ画像生成部３３０は、３Ｄ画像として、左眼画像および右眼画像を生成する。３Ｄ画像生成部３３０は、例えば、視差情報画像が示す視差情報に基づいて２Ｄ画像における撮像された各撮像物体の像の位置をずらすことにより３Ｄ画像を生成する。３Ｄ画像生成部３３０は、生成した左眼画像のデータ（左眼画像データ）および右眼画像のデータ（右眼画像データ）を、立体画像コンテンツとして記憶部１５２に記憶させる。また、画像生成部３３０は、左眼画像データおよび右眼画像データを、立体画像コンテンツとして表示部１５１に表示させる。
【００３７】
姿勢検出部１４０は、撮像装置１００の姿勢（傾き）を検出するものである。この姿勢検出部１４０は、例えば、ジャイロセンサーや加速度センサにより実現される。姿勢検出部１４０は、検出した撮像装置１００の姿勢に関する情報（姿勢情報）を視差検出部３２０に供給する。
【００３８】
表示部１５１は、３Ｄ画像生成部３３０から供給された立体画像コンテンツに基づいて、画像を表示するものである。この表示部１５１は、例えば、カラー液晶パネルにより実現される。
【００３９】
記憶部１５２は、３Ｄ画像生成部３３０から供給された立体画像コンテンツを記録するものである。例えば、この記憶部１５２として、ＤＶＤ（Digital Versatile Disk）等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体（１または複数の記録媒体）を用いることができる。また、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。
【００４０】
駆動部１７０は、ズームレンズ１１１、絞り１１２およびフォーカスレンズ１１３を駆動させるものである。例えば、駆動部１７０は、制御部１３０からフォーカスレンズ１１３を移動させるための命令が供給された場合には、その命令に基づいて、フォーカスレンズ１１３を移動させる。
【００４１】
［撮像素子における画素の配置例］
図２は、本技術の第１の実施の形態における撮像素子２００に備えられる画素の配置の一例を示す模式図である。なお、本技術の実施の形態では、撮像素子における受光面上の画素配置を説明する場合（例えば、図２、図３、図７）には、説明の便宜上、撮像素子における受光面の裏側から見た場合を模式的に図示して説明する。
【００４２】
同図では、上下方向をＹ軸とし、左右方向をＸ軸とするＸＹ軸を想定して説明する。また、同図において、左下隅をＸＹ軸における原点とし、下から上へ向かう方向をＹ軸の＋側とし、左から右へ向かう方向をＸ軸の＋側とする。なお、同図では、撮像素子２００における特定方向（撮像画像の水平方向（左右方向）に対応する方向）をＸ軸方向とし、特定方向と直交する直交方向（撮像画像の垂直方向（上下方向）に対応する方向）をＹ軸方向とする。また、同図では、奥から手前へ向かう方向をＺ軸の＋側とする。なおＺ軸は、光軸と平行な軸であり、Ｚ軸のプラス方向は、被写体から撮像素子に向かう被写体光の進行方向とする。また、この撮像素子２００における信号の読み出し方向は、Ｘ軸方向（行単位で読み出される）であり、また、撮像素子２００の長辺方向はＸ軸方向であり、短辺方向はＹ軸方向であるものとする。
【００４３】
同図（ａ）では、説明の便宜上、撮像素子２００を構成する各画素のうちの一部の画素の領域（領域２１０）を用いて画素配置を説明する。なお、撮像素子２００における画素の配置は、領域２１０において示す画素配置を１つの単位として、この単位に対応する画素配置（領域２１０に対応する画素配置）が、Ｘ軸方向およびＹ軸方向に繰り返される配置である。なお、同図（ｂ）では、領域２１０に示す画素配置がＸ軸方向およびＹ軸方向に繰り返された領域（領域２５０）が模式的に示されている。
【００４４】
同図（ａ）には、撮像素子２００における一部の領域（領域２１０）における画像生成画素および視差検出画素の画素配置が示されている。
【００４５】
同図では、１つの画素回路を１つの正方形（同図（ａ）における最も小さい正方形）で示す。なお、本技術の第１の実施の形態において、画像生成画素については、１つの画素回路が１つの画素を構成するため、１つの正方形が１つの画像生成画素を示す。
【００４６】
撮像素子２００には、画像生成画素として、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）と、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）とが配置される。また、撮像素子２００には、Ｒ画素およびＧ画素の他に、画像生成画素として、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）が配置される。領域２１０において、Ｒ画素、Ｇ画素およびＢ画素は、点が付された正方形、白が付された正方形、グレーが付された正方形により示されている（例えば、領域２２０内の画素を参照）。
【００４７】
視差検出画素２３０は、３Ｄ画像を生成するための視差を検出する画素である。この視差検出画素２３０は、９つの画素回路により構成される。この視差検出画素２３０には、９つの画素回路を覆う１つのマイクロレンズが備えられる。なお、画像生成画素にはこの９つの画素を覆うマイクロレンズは備えられない。視差検出画素２３０は、緑色（Ｇ）の光を透過するカラーフィルタにより９つの画素回路が均一に覆われている。領域２１０において、視差検出画素２３０は、９つの画素回路（９つの最も小さい正方形）を太線の正方形で囲み、さらに、太線の正方形の中に太線の１つの円形（マイクロレンズを表す）を付して示されている。すなわち、領域２１０における画素回路の行のうちの真ん中の３行（同図（ａ）の行Ｒ１）と、画素回路の列のうちの真ん中の３行（同図（ａ）の列Ｃ１参照）とに視差検出画素２３０が配置される。
【００４８】
なお、画層生成画素については、同図（ａ）における領域２２５を用いて、図３（ａ）を参照して説明する。また、視差検出画素については、図３（ｂ）を参照して説明する。また、画層生成画素および視差検出画素の断面構成については、図４（ｂ）を参照して説明する。
【００４９】
図２（ｂ）には、同図（ａ）において示した領域２１０がＸ軸方向およびＹ軸方向に繰り返された領域が示されている。撮像素子２００における画素配置は、同図（ａ）において示した領域が、Ｘ軸方向およびＹ軸方向に繰り返される画素配置である。これにより、視差検出画素２３０は、同図（ｂ）の領域２５０における太線（視差検出画素ライン２３４）に示すように、撮像素子２００の行方向および列方向に対して任意の画素周期でライン状（格子模様状）に配置される。
【００５０】
［画像生成画素および視差検出画素の一例］
図３は、本技術の第１の実施の形態における撮像素子２００に備えられる画像生成画素および視差検出画素の一例を示す模式図である。
【００５１】
同図（ａ）には、図２（ａ）の領域２２５における９つの画像生成画素が示されている。同図（ａ）では、画像生成画素（Ｒ画素、Ｇ画素、Ｂ画素）が、符号（Ｒ、Ｇ、Ｂ）および模様（Ｒ画素はグレーを付した領域、Ｇ画素は白を付した領域、Ｂ画素は点を付した領域）により示されている。なお、Ｇ画素については、Ｒ画素（Ｒ画素２２６）を含む行（ライン）におけるＧ画素がＧｒ画素２２７として示され、Ｂ画素（Ｂ画素２２９）を含む行（ライン）におけるＧ画素がＧｂ画素２２８として示されている。
【００５２】
また、同図（ａ）では、各画像生成画素に配置されるマイクロレンズが、破線の円（マイクロレンズ２６１）により示されている。撮像素子２００には、２種類のマイクロレンズを形成するため２つのマイクロレンズの層が設けられるが、マイクロレンズ２６１は、カラーフィルタの層に近いマイクロレンズの層により形成される。なお、画像生成画素の断面図を図４（ｂ）において説明するため、ここでの詳細な説明を省略する。
【００５３】
領域２２５（図２（ａ）も参照）に示すように、画像生成画素は、ベイヤー配列により配置される。また、各画像生成画素には、それぞれの画素をそれぞれ覆うマイクロレンズが１つずつ備えられる。
【００５４】
図３（ｂ）には、視差検出画素（視差検出画素２３０）が示されている。同図（ｂ）において示す視差検出画素２３０では、視差検出画素２３０における９つの画素回路を、１乃至９の符号を付した正方形（画素回路１乃至９と称する）により示す。この画素回路１乃至９は、緑色（Ｇ）の光を透過するカラーフィルタにより全ての画素回路が均一に覆われている。
【００５５】
また、視差検出画素２３０には、各画素回路に備えられるマイクロレンズが、破線の円（マイクロレンズ２６１）により示されている。視差検出画素２３０におけるマイクロレンズ２６１は、画像生成画素におけるマイクロレンズ（マイクロレンズ２６１）と同様のものであり、カラーフィルタの層に近いマイクロレンズの層により形成される。
【００５６】
さらに、視差検出画素２３０には、視差検出画素２３０における９つのマイクロレンズ２６１を全て覆うように（画素回路１乃至９を全て覆うように）、１つの大きなマイクロレンズが備えられる。同図（ｂ）では、この大きなマイクロレンズが、太い円（視差検出用マイクロレンズ２３１）により示されている。
【００５７】
同図（ｂ）に示すように、視差検出画素２３０では、１つの大きなマイクロレンズが、９つの画素回路を覆うように配置される。また、視差検出画素２３０では、緑色（Ｇ）の光を透過するカラーフィルタにより９つの画素回路が均一に覆われている。
【００５８】
［画像生成画素および視差検出画素の断面構成例］
図４は、本技術の第１の実施の形態における画像生成画素および視差検出画素の断面構成の一例を示す模式図である。
【００５９】
同図（ａ）には、同図（ｂ）において示す断面構成の断面位置を説明するため、撮像素子２００の受光面の裏側から見た３行×９列の画素回路と、同図（ｂ）の断面位置（ａ−ｂ線）とが示されている。同図（ｂ）では、同図（ａ）に示すように、３行×９列の画素回路のうち、真ん中の３列における画素回路が視差検出画素であることを想定して説明する。
【００６０】
同図（ｂ）には、同図（ａ）におけるａ−ｂ線に沿った断面構成が示されている。同図（ｂ）では、マイクロレンズ２６１と、Ｒフィルタ２６２と、Ｇフィルタ２６３と、受光素子２６４と、配線２６９と、視差検出画素２３０と、視差検出用マイクロレンズ２３１と、Ｇフィルタ２３２とが示されている。また、同図（ｂ）には、マイクロレンズ層Ｓ１および視差検出用マイクロレンズ層Ｓ２とが示されている。
【００６１】
マイクロレンズ２６１は、被写体光を受光素子に集光するためのレンズである。このマイクロレンズ２６１は、各画素回路に１つずつ設けられる。また、マイクロレンズ２６１は、撮像素子に設けられる２つのマイクロレンズの層（マイクロレンズ層Ｓ１および視差検出用マイクロレンズ層Ｓ２）のうちの、マイクロレンズ層Ｓ１（受光素子２６４に近い方の層）に設けられる。
【００６２】
受光素子２６４は、受けた光を電気信号に変換（光電変換）することによって、受けた光の量に応じた強さの電気信号を生成するものである。この受光素子２６４は、例えば、フォトダイオード（ＰＤ：Photo Diode）により構成される。受光素子２６４は、各画素回路に１つずつ設けられる。すなわち、９つの画素回路から構成される視差検出画素２３０には、９つの受光素子が設けられている。
【００６３】
Ｒフィルタ２６２、Ｇフィルタ２６３およびＧフィルタ２３２は、特定の波長域の光を透過するカラーフィルタである。Ｒフィルタ２６２は、赤色（Ｒ）を示す波長域の光を透過するカラーフィルタであり、Ｒ画素の受光素子に赤色を示す波長域の光を受光させる。また、Ｇフィルタ２６３およびＧフィルタ２３２は、緑色（Ｇ）を示す波長域の光を透過するカラーフィルタである。Ｇフィルタ２６３はＧ画素の受光素子に緑色を示す波長域の光を受光させ、Ｇフィルタ２３２は視差検出画素２３０の受光素子に緑色を示す波長域の光を受光させる。カラーフィルタは、画像生成画素においては、画像生成画素が受光する波長域（Ｒ、ＧまたはＢ）の光に応じたフィルタ（Ｒフィルタ２６２、Ｇフィルタ２６３、またはＢフィルタ）が設けられる。また、視差検出画素においては、Ｇフィルタ２６３により、視差検出画素における９つの画素回路全てが覆われる。
【００６４】
配線２６９は、各画素回路における各回路を接続するための配線である。この各回路を接続するための配線は、例えば、同図（ｂ）に示す配線２６９のように、３本の配線が光軸に対して層状に配置される。また、配線２６９は、メタルであるため、隣接する画素へ洩れ込む被写体光を遮光する遮光層としても機能する。また、配線２６９は、各画素回路の端において、受光素子に入射する光を妨げないように配置される。
【００６５】
視差検出用マイクロレンズ２３１は、視差を検出するために被写体光を集光するレンズである。この視差検出用マイクロレンズ２３１は、２つのマイクロレンズの層のうちの、受光素子から遠い方の層（視差検出用マイクロレンズ層Ｓ２）において形成される。すなわち、視差検出画素２３０において、視差検出用マイクロレンズ２３１は、視差検出画素２３０のマイクロレンズ（マイクロレンズ２６１）の上（Ｚ軸方向においてマイナス側）に、マイクロレンズ２６１を覆うように配置される。なお、視差検出用マイクロレンズ層Ｓ２における画像生成画素の位置には、マイクロレンズは形成されずに、光の通過を妨げない平坦な面となる。
【００６６】
次に、視差検出画素の視差検出用マイクロレンズに入射する被写体光と画素回路との関係について、図５を参照して説明する。
【００６７】
［視差検出画素へ入射する被写体光の例］
図５は、本技術の第１の実施の形態における視差検出画素が受光する被写体光を模式的に示す図である。
【００６８】
同図では、視差検出画素２３０の断面構成が同図（ｂ）に示され、この視差検出画素２３０からみた絞りの形状である射出瞳（射出瞳Ｅ１）が同図（ａ）に模式的に示されている。なお、射出瞳は、本来は円形に近い形であるが、説明の便宜上、同図（ａ）では、Ｙ軸方向を短くした射出瞳（楕円形）を示す。また、射出瞳については、撮像素子２００側から見た場合の図を示す。
【００６９】
なお、同図（ｂ）において示す視差検出画素２３０の断面構成は、図４（ｂ）における視差検出画素２３０の断面構成と同じである。また、図４（ｂ）では、画素回路４（図３（ｂ）参照）の受光素子が受光素子（４）２９１として示され、画素回路５の受光素子が受光素子（５）２９２として示され、画素回路６の受光素子が受光素子（６）２９３として示されている。
【００７０】
さらに、同図（ｂ）には、受光素子（４）２９１が受光する被写体光の一部が、点を多く付した領域（領域Ｒ２３）により示されている。また、受光素子（５）２９２が受光する被写体光の一部が、グレーを付した領域（領域Ｒ２２）により示されている。さらに、受光素子（６）２９３が受光する被写体光の一部が、点を少なく付した領域（領域Ｒ２１）により示されている。
【００７１】
また、同図（ａ）の射出瞳Ｅ１には、同図（ｂ）の領域２１により示した被写体光（画素回路６が受光する被写体光）が通過する領域が、射出瞳Ｅ１における点を少なく付した領域（領域Ｒ１１）により示されている。同様に、領域２２により示した被写体光（画素回路５が受光する被写体光）が通過する領域が、射出瞳Ｅ１におけるグレーを付した領域（領域Ｒ１２）により示され、領域２３により示した被写体光（画素回路４が受光する被写体光）が通過する領域が、射出瞳Ｅ１における点を多く付した領域（領域Ｒ１３）により示されている。さらに射出瞳Ｅ１にはその他の画素回路により受光される被写体光が通過する領域が、領域１４乃至１９により示されている。
【００７２】
ここで、受光素子（４）乃至（６）２９１乃至２９３がそれぞれ受光する被写体光と、射出瞳Ｅ１における領域Ｒ１１乃至Ｒ１３との間の関係について説明する。視差検出用マイクロレンズ２３１は、射出瞳Ｅ１における特定の領域（それぞれの受光素子に対応する領域）を通過した被写体光が画素回路１乃至９のそれぞれの受光素子に受光されるように被写体光を集光する役割を果たす。これにより、画素回路４の受光素子（受光素子（４）２９１）は、領域Ｒ１３を通過した被写体光を受光する。また、画素回路５の受光素子（受光素子（５）２９２）は、領域Ｒ１２を通過した被写体光を受光し、画素回路６の受光素子（受光素子（６）２９３）は、領域Ｒ１１を通過した被写体光を受光する。なお、図示はしていない画素回路１乃至３および画素回路７乃至９についても同様である。画素回路１の受光素子は領域１９を通過した被写体光を受光し、画素回路２の受光素子は領域１８を通過した被写体光を受光し、画素回路３の受光素子は領域１７を通過した被写体光を受光する。また、画素回路７の受光素子は領域１６を通過した被写体光を受光し、画素回路８の受光素子は領域１５を通過した被写体光を受光し、画素回路９の受光素子は領域１４を通過した被写体光を受光する。
【００７３】
［視差検出画素による視差検出の原理の一例］
図６は、本技術の第１の実施の形態における視差検出画素２３０による視差検出の原理を模式的に示す図である。
【００７４】
同図（ａ）および（ｃ）では、射出瞳（射出瞳Ｅ１）の左側を通過する被写体光（ユーザの左眼が受光する被写体光に相当）の像面における結像位置が模式的に示されている。また、同図（ｂ）および（ｄ）では、射出瞳（射出瞳Ｅ１）の右側を通過する被写体光（ユーザの右眼が受光する被写体光に相当）の像面における結像位置が模式的に示されている。
【００７５】
同図（ａ）および（ｂ）には、フォーカスが合っている物体（合焦物体）が、射出瞳Ｅ１の上方（Ｚ軸方向において射出瞳Ｅ１よりマイナス側）の黒い矩形（合焦物体２７１）により示されている。また、合焦物体２７１より撮像装置１００に近い位置にある物体（近位置物体）が、射出瞳Ｅ１の上方であって合焦物体２７１より下の位置の点を付した円形（近位置物体２７２）により示されている。なお、合焦物体２７１および近位置物体２７２は、説明の便宜上、射出瞳Ｅ１の中心を通過する線であって、レンズの光軸に平行な線（同図（ａ）および（ｂ）における鎖線）の上にあることを想定する。
【００７６】
また、合焦物体２７１および近位置物体２７２からの光の光路が、射出瞳Ｅ１を通過して、像面まで伸びる線（合焦物体２７１は実線（線Ｌ１または線Ｌ３）、近位置物体２７２は破線（線Ｌ２または線Ｌ４））により示されている。そして、合焦物体２７１および近位置物体２７２の像面における結像位置が、線Ｌ１乃至Ｌ４と像面とが交差する位置の黒い矩形および点を付した円形により示されている。なお、近位置物体２７２からの光については、この近位置物体２７２に対して合焦していることを想定した場合の結合位置が、破線（線Ｌ２または線Ｌ４）と鎖線が交差する位置における破線の円形により模式的に示されている。
【００７７】
また、図６（ｃ）および（ｄ）には、同図（ａ）および（ｂ）において示した像面を裏側（撮像素子２００の受光面の反対側）から見た像（画像２８１および２８２）が模式的に示されている。画像２８１には、黒い矩形および点を付した円形が示され、また、黒い矩形と点を付した円形との間の距離（−ΔＸ）が示されている。同様に、画像２８２には、黒い矩形と、点を付した円形と、距離（＋ΔＸ）とが示されている。
【００７８】
ここで、射出瞳Ｅ１の左側を通過する被写体光の結像位置および右側を通過する被写体光の結像位置について、同図（ａ）乃至（ｄ）を用いて説明する。
【００７９】
まず、フォーカスが合っている場合（合焦）の光路を示している合焦物体２７１からの光の光路（線Ｌ１およびＬ３）について説明する。撮像する物体に対して合焦している場合には、射出瞳Ｅ１を通過した被写体光は、射出瞳Ｅ１における被写体光の通過する位置にかかわらずに、その物体の位置に対応する像面の位置へ入射（集光）する。すなわち、射出瞳Ｅ１の左側を通過する合焦物体２７１からの光の結像位置と、射出瞳Ｅ１の右側を通過する合焦物体２７１からの光の結像位置とは同じ位置になる。
【００８０】
一方、撮像する物体に対してフォーカスがずれている場合には、射出瞳Ｅ１における被写体光の通過する位置の違いに応じて、像面における入射位置が異なる。本来、像面とは異なる面上で集光（同図（ａ）および（ｂ）の像面の下の点線の円形が集光位置）する光を像面で受光するため、像面においては、フォーカスのずれの度合いに応じて光の入射する位置がずれる。同図（ａ）および（ｂ）の近位置物体２７２、線Ｌ２および線Ｌ４により示すように、前側焦点面（合焦物体２７１が位置する面）よりレンズ側に撮像物体がある場合には、後側焦点面（点線の円形が位置する面）は、像面の後ろ（Ｚ軸方向のプラス側）となる。すなわち、近位置物体２７２から射出瞳Ｅ１の左側を通過して像面に入射する光（線Ｌ２）は、像面において、合焦物体２７１からの光が入射する位置よりも、左にずれた位置に入射する（同図（ａ）参照）。また、近位置物体２７２から射出瞳Ｅ１の右側を通過して像面に入射する光（線Ｌ４）は、像面において、合焦物体２７１からの光が入射する位置よりも、右にずれた位置に入射する（同図（ｂ）参照）。
【００８１】
このように、フォーカスがずれている物体を撮像すると、射出瞳の左側を通過したその物体からの光と、右側を通過したその物体からの光との間で、像面における入射位置が、フォーカスのずれの度合いに応じてずれる。このずれにより、画像生成画素の信号から生成される画像では、ピントがずれるとボケが生じる。一方、視差検出画素２３０では、射出瞳の左側を通過した光は３行×３列（９個）の画素回路のうちの右の列（図３（ｂ）の画素回路３、６、９）の画素回路の受光素子により受光される、また、射出瞳の右側を通過した光は、左の列（図３（ｂ）の画素回路１、４、６）の画素回路の受光素子により受光される。
【００８２】
すなわち、視差検出画素２３０の右の列（３列目）の画素回路からの信号により、同図（ａ）および（ｃ）に示すように、左眼の像の情報を生成することができる。また、視差検出画素２３０の左の列（１列目）の画素回路からの信号により、同図（ｂ）および（ｄ）に示すように、右眼の像の情報を生成することができる。このように、視差検出画素２３０からの信号に基づいて画像を生成すると、画像２８１および２８２に示すように、物体の距離に応じて像がずれている２枚の画像を生成することができる。
【００８３】
［横位置撮影における視差検出方向の例］
図７は、本技術の第１の実施の形態における撮像装置１００を用いて横位置撮影を行う場合における視差検出画素２３０による視差検出の方向の一例を模式的に示す図である。
【００８４】
同図（ａ）には、同図において想定する撮像装置１００の姿勢が示されている。同図では、同図（ａ）に示すように、撮像装置１００を横（左右がＸ軸方向、上下がＹ軸方向）にして、画像の長辺が水平方向で短辺が垂直方向になるように撮影（横位置撮影）することを想定する。
【００８５】
なお、撮像装置１００を反時計回りに９０°回転させて、撮像装置１００を縦にして撮影（縦位置撮影）を行う場合については、図８において説明する。
【００８６】
同図（ｂ）には、横位置撮影を行う場合の撮像素子２００の姿勢と、この姿勢において視差検出に用いられる視差検出画素２３０を示すライン（視差検出ライン（行方向）２３５）とが示されている。なお、同図（ｂ）では、図２（ｂ）において示した領域２５０をそのまま示して、撮像素子２００における画素の配置として示している。
【００８７】
同図（ｂ）では、長辺方向（Ｘ軸方向）が左右（水平）であり、短辺方向（Ｙ軸方向）が上下である撮像素子２００が示されている。また、撮像素子２００には、行および列方向にライン状に配置される視差検出画素２３０のうち、横位置撮影における視差検出に用いられる視差検出画素２３０が配置されているラインが、太い実線（視差検出画素ライン（行方向）２３５）により示されている。
【００８８】
同図（ｂ）に示すように、横位置撮影の場合には、撮像素子２００の行方向にライン状に配置された視差検出画素２３０を用いて視差が検出される。これにより、水平方向（左右）における視差を検出することができる。
【００８９】
同図（ｃ）には、横位置撮影を行う場合における視差検出画素２３０の姿勢が示されている。また、視差検出画素２３０では、右眼に関する信号を生成する画素回路を、点を多く付した矩形（画素回路１、４、７）により示している。同様に、左眼に関する情報を生成する画素回路を、点を少なく付した矩形（画素回路３、６、９）により示している。なお、同図（ｃ）では、説明の便宜上、図３（ｂ）において示した破線の円（マイクロレンズ２６１）は省略して示す。
【００９０】
図７（ｃ）に示すように、横位置撮影を行う場合には、撮像素子２００の行方向に配置された視差検出画素２３０を用いて視差が検出される。
【００９１】
［縦位置撮影における視差検出方向の例］
図８は、本技術の第１の実施の形態における撮像装置１００を用いて縦位置撮影を行う場合における視差検出画素２３０による視差検出の方向の一例を模式的に示す図である。
【００９２】
同図（ａ）には、同図において想定する撮像装置１００の姿勢が示されている。同図（ａ）における撮像装置１００は、図７（ａ）における撮像装置１００を反時計回りに９０°回転させた姿勢である。このように、図８では、同図（ａ）に示すように、撮像装置１００を縦（左右がＹ軸方向、上下がＸ軸方向）にして撮影（縦位置撮影）することを想定する。
【００９３】
同図（ｂ）には、縦位置撮影を行う場合の撮像素子２００の姿勢と、この姿勢において用いられる視差検出画素２３０を示すライン（視差検出ライン（列方向）２３６）とが示されている。
【００９４】
同図（ｂ）では、長辺方向（Ｘ軸方向）が上下であり、短辺方向（Ｘ軸方向）が左右（水平）である撮像素子２００が示されている。同図（ｂ）における撮像素子２００は、図７（ｂ）における撮像素子２００を反時計回りに９０°回転させたものである。また、図８（ｂ）の撮像素子２００には、行および列方向にライン状に配置される視差検出画素２３０のうち、縦位置撮影における視差検出に用いられる視差検出画素２３０が配置されているラインが、太い実線（視差検出画素ライン（列方向）２３６）により示されている。
【００９５】
同図（ｂ）に示すように、縦位置撮影の場合には、撮像素子２００の列方向にライン状に配置された視差検出画素２３０を用いて視差が検出される。これにより、撮像装置１００を縦（画像の長辺が上下、短辺が左右）にして用いている場合においても、水平方向（左右）における視差を検出することができる。
【００９６】
同図（ｃ）には、縦位置撮影を行う場合における視差検出画素２３０の姿勢が示されている。この同図（ｃ）における視差検出画素２３０は、図７（ｃ）における視差検出画素２３０を反時計回りに９０°回転させたものである。また、図８（ｃ）の視差検出画素２３０では、右眼に関する信号を生成する画素回路を、点を多く付した矩形（画素回路１乃至３）により示している。同様に、左眼に関する情報を生成する画素回路を、点を少なく付した矩形（画素回路７乃至９）により示している。
【００９７】
このように、縦位置撮影を行う場合には、撮像素子２００の列方向にライン状に配置された視差検出画素２３０を用いて視差が検出される。これにより、横位置撮影の場合と同様に、人間が直立している場合の左眼および右眼に対応した情報（視差が水平方向の情報）を生成することができる。
【００９８】
［３Ｄ画像の生成例］
図９は、本技術の第１の実施の形態の撮像装置１００における３Ｄ画像の生成例を示す模式図である。
【００９９】
同図では、被写体を撮像した撮像素子２００が生成する画像データに基づいて、２Ｄ画像生成部３１０、視差検出部３２０および３Ｄ画像生成部３３０がそれぞれ生成する画像を示す。また、同図では、これらの画像を用いて、撮像素子２００が生成した画像データに基づいて立体画像（左眼画像および右眼画像）が生成されるまでの流れを順に説明する。なお、同図では、図７のように、横位置撮影により撮影したことを想定する。
【０１００】
まず、２Ｄ画像生成部３１０による２Ｄ画像（平面画像）の生成について、同図（ａ）および（ｂ）を参照して説明する。
【０１０１】
同図（ａ）には、撮像素子２００における画像生成画素が生成した信号に基づいて２Ｄ画像生成部３１０により生成される平面画像であって、視差検出画素の信号の補間を行う前の平面画像（平面画像３１１）が示されている。平面画像３１１には、撮像された物体として、２人の人物（人物３５１および人物３５２）が示されている。同図では、人物３５２に合焦している状態で撮像したことを想定する。また、同図では、人物３５１は、人物３５２よりもレンズに近い位置にいることを想定する。すなわち、人物３５１に対してはフォーカスずれが生じていることを想定する。人物３５１を４重に囲んでいる破線は、フォーカスずれによる像のぼけを模式的に示されている。
【０１０２】
また、平面画像３１１には、視差検出画素が配置されていた位置において画像生成用の信号が無い（画素値が無い）ことが、平面画像３１１においてデータ（画素値）が無いことを示す複数の灰色のライン（画素値欠落ライン３５３）により示されている。
【０１０３】
このように、画像生成画素が生成した信号からは、視差検出画素の位置の画素値が欠落した画像（平面画像３１１）が生成される。そこで、２Ｄ画像生成部３１０は、視差検出画素の位置の画素値を補間して、画素値の欠落が補間された平面画像を生成する。
【０１０４】
図９（ｂ）には、同図（ａ）において示した平面画像３１１に対して２Ｄ画像生成部３１０が補間処理を行った後の画像（平面画像３１２）が示されている。平面画像３１１に対して２Ｄ画像生成部３１０が補間処理を行うことにより、画素値が欠落（同図（ａ）の画素値欠落ライン３５３）していたところにおける画素値が補間される。さらに、その他の補間処理やデモザイク処理が行われて、視差検出画素を備えていない画像生成画素のみの撮像素子（一般的な撮像素子）により撮像された画像と同様の平面画像（平面画像３１２）が生成される。そして、この生成された平面画像３１２は、３Ｄ画像生成部３３０に供給される。
【０１０５】
次に、視差検出部３２０による視差情報画像の生成について、同図（ｃ）および（ｄ）を参照して説明する。
【０１０６】
同図（ｃ）には、撮像素子２００における視差検出画素が生成した信号に基づいて視差検出部３２０により生成される２つの画像であって、視差情報画像の元となる２つの画像（左眼情報画像３２１および右眼情報画像３２２）が示されている。
【０１０７】
左眼情報画像３２１は、視差検出画素における９つの画素回路のうち、ユーザの左眼が受光する光に相当する被写体光を受光した画素回路からの信号に基づいて生成される画像である。また、右眼情報画像３２２は、視差検出画素における９つの画素回路のうち、ユーザの右眼が受光する光に相当する被写体光を受光した画素回路からの信号に基づいて生成される画像である。
【０１０８】
また、左眼情報画像３２１には、同図（ａ）において示した人物３５１に対応する人物３６１と、同図（ａ）の人物３５２に対応する人物３６２が示されている。同様に、右眼情報画像３２２には、同図（ａ）の人物３５１に対応する人物３６３と、同図（ａ）の人物３５２に対応する人物３６４とが示されている。
【０１０９】
ここで、視差検出部３２０による左眼情報画像３２１および右眼情報画像３２２の生成について説明する。
【０１１０】
視差検出部３２０は、姿勢検出部１４０から供給される姿勢情報に基づいて、左眼情報画像３２１となる信号を生成した画素回路および右眼情報画像３２２となる信号を生成した画素回路を決定する。同図では横位置撮影により画像が撮像されるため、視差検出部３２０は、図７において示したように、右の列の画素回路（図７（ｂ）の画素回路３、６、９）の信号から左眼情報画像３２１を生成する。また、左の列の画素回路（図７（ｂ）の画素回路１、４、７）の信号から右眼情報画像３２２を生成する。そして、視差検出部３２０は、これらの生成した画像（左眼情報画像３２１、右眼情報画像３２２）に基づいて、視差情報画像を生成する。
【０１１１】
図９（ｄ）には、左眼情報画像３２１および右眼情報画像３２２に基づいて生成された視差情報画像（視差情報画像３２３）が模式的に示されている。
【０１１２】
視差情報画像３２３には、左眼情報画像３２１における人物３６１と、右眼情報画像３２２における人物３６３とに基づいて検出された視差を含む像（人物３７１）が示されている。同様に、視差情報画像３２３には、左眼情報画像３２１における人物３６２と、右眼情報画像３２２における人物３６４とに基づいて検出された視差を含む像（人物３７２）が示されている。
【０１１３】
ここで、視差情報画像３２３について、視差情報画像３２３において示されている２つの像（人物３７１および人物３７２）に着目して説明する。
【０１１４】
人物３７１は、左眼情報画像３２１における人物３６１と、右眼情報画像３２２における人物３６３とが重なり合っているように（２つの人物の像が、左右に少しずれて重なっているように）、視差情報画像３２３において図示されている。人物３７１から上下に伸びている２本の点線の間隔（距離３７３）は、左右に少しずれて重なっている２つの像の間隔を示している。同図において、人物３７１が示す物体にはフォーカスがずれている（同図（ａ）および（ｂ）の人物３５１を参照）。すなわち、図６に示したように視差が発生し、左眼情報画像３２１における人物３６１と、右眼情報画像３２２における人物３６３との間には、フォーカスのずれ量に応じた位置のずれが生じる。図９（ｄ）の距離３７３は、この位置のずれ（視差）を模式的に示している。
【０１１５】
一方、人物３７２は、左眼情報画像３２１における人物３６２と、右眼情報画像３２２における人物３６４とがぴったり一致しているように（１つの人物の像のように）、視差情報画像３２３において図示されている。同図において、人物３７２（人物３６２および人物３６４）が示す物体には合焦しているため（同図（ａ）および（ｂ）の人物３５２を参照）、この人物の像に対する視差は無い（視差が「０」）。すなわち、左眼情報画像３２１における人物３６２の位置と、右眼情報画像３２２における人物３６４の位置とは一致している。すなわち、同図（ｄ）では、視差情報画像３２３における人物３７２の像には視差に関する情報が無いことが示されている。
【０１１６】
同図（ｄ）において示した視差情報画像３２３は、生成された後に、３Ｄ画像生成部３３０に供給される。
【０１１７】
次に、３Ｄ画像生成部３３０による立体画像（左眼画像および右眼画像）の生成について、同図（ｅ）を参照して説明する。
【０１１８】
同図（ｅ）には、３Ｄ画像生成部３３０において、平面画像３１２および視差情報画像３２３に基づいて生成された左眼（Ｌ）画像（左眼画像３３１）および右眼（Ｒ）画像（右眼画像３３２）が模式的に示されている。なお、平面画像と視差情報画像とに基づいて立体画像を生成する方法については、種々の方法が考えられるが、ここでは、一例として、視差情報画像に基づいて平面画像における各物体の位置をずらして左眼画像および右眼画像を生成する例について説明する。
【０１１９】
左眼画像３３１は、撮像した画像を視聴するユーザの左眼に対して表示するための画像である。左眼画像３３１には、平面画像３１２の人物３５２の位置および視差情報画像３２３の人物３７２の位置と同じ位置に人物３８２が示されている。また、左眼画像３３１には、視差情報画像３２３の人物３７１の右側の位置（左眼情報画像３２１の人物３６１の位置）と同じ位置に、人物３８１が示されている。この人物３８１は、平面画像３１２の人物３５１の位置をずらした像である。なお、同図（ｂ）には、人物３８１の位置を模式的に示すために、人物３８１の中心から上下に向けて伸びる点線（線Ｌ１１）が示されている。
【０１２０】
右眼画像３３２は、撮像した画像を視聴するユーザの右眼に対して表示するための画像である。右眼画像３３２には、平面画像３１２の人物３５２の位置および視差情報画像３２３の人物３７２の位置と同じ位置に人物３８４が示されている。また、右眼画像３３２には、視差情報画像３２３の人物３７１の左側の位置（右眼情報画像３２２の人物３６３の位置）と同じ位置に、人物３８３が示されている。この人物３８３は、平面画像３１２の人物３５１の位置をずらした像である。なお、同図（ｂ）には、人物３８３の位置を模式的に示すために、人物３８３の中心から上下に向けて伸びる点線（線Ｌ１２）が示され、さらに、線Ｌ１１と線Ｌ１２との間の距離を示す矢印（距離３７３）が示されている。すなわち、左眼画像３３１の人物３８１から距離３７３ほど左にずれた位置に人物３８３が示されている。
【０１２１】
同図（ｅ）において示す左眼画像３３１および右眼画像３３２から構成される立体画像（３Ｄ画像）を、３Ｄ画像生成部３３０は、平面画像３１２および視差情報画像３２３に基づいて生成する。すなわち、３Ｄ画像生成部３３０は、平面画像３１２における各物体の位置を視差情報画像３２３が示す視差に応じてずらして、左眼画像３３１および右眼画像３３２を生成する。視差情報画像３２３における人物３７２は視差情報が無いため、３Ｄ画像生成部３３０は、平面画像３１２の人物３５２の位置をそのままにして（人物３８２および人物３８４）、左眼画像３３１および右眼画像３３２を生成する。また、３Ｄ画像生成部３３０は、平面画像３１２の人物３５１の位置を視差情報画像３２３における人物３７１が示す視差に応じてずらして（人物３８１および人物３８３）、左眼画像３３１および右眼画像３３２を生成する。３Ｄ画像生成部３３０は、生成した立体画像（左眼画像３３１および右眼画像３３２）を、立体画像コンテンツとして、表示部１５１および記憶部１５２に供給する。
【０１２２】
このように、信号処理部３００によって、平面画像および視差情報画像に基づいて、立体画像が生成される。
【０１２３】
［撮像装置の動作例］
次に、本技術の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１２４】
図１０は、本技術の第１の実施の形態における撮像装置１００によって立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
【０１２５】
まず、立体画像を撮像するための撮像動作の開始指示がユーザによりされたか否かが、制御部１３０により判断される（ステップＳ９０１）。そして、画像を撮像するための撮像動作の開始指示がユーザによりされていないと判断された場合には（ステップＳ９０１）、撮像処理手順は終了する。
【０１２６】
一方、立体画像を撮像するための撮像動作の開始指示がユーザによりされていると判断された場合には（ステップＳ９０１）、立体画像の構図を決定するために、ライブビュー画像が表示部１５１に表示される（ステップＳ９０２）。続いて、立体画像の構図を決定したユーザによりシャッターボタンが半押しされているか否かが、制御部１３０により判断される（ステップＳ９０３）。そして、シャッターボタンが半押しされていないと判断された場合には（ステップＳ９０３）、ステップＳ９０８に進む。
【０１２７】
一方、シャッターボタンが半押しされていると判断された場合には（ステップＳ９０３）、フォーカスレンズ１１３を駆動させてフォーカスを合わせる対象物（合焦対象物）にフォーカスを合わせる合焦処理が行われる（ステップＳ９０４）。次に、ユーザによりシャッターボタンが全押しされたか否かが、制御部１３０により判断される（ステップＳ９０３）。そして、シャッターボタンが全押しされていないと判断された場合には（ステップＳ９０５）、ステップＳ９０２に戻る。
【０１２８】
一方、シャッターボタンが全押しされていると判断された場合には（ステップＳ９０５）、撮像素子２００により被写体が撮像される（ステップＳ９０６）。そして、その撮像による画像データに基づいて立体画像（３Ｄ画像）を生成する立体画像生成処理が、信号処理部３００により行われる（ステップＳ９２０）。なお、立体画像生成処理（ステップＳ９２０）については、図１１を参照して説明する。
【０１２９】
続いて、生成された立体画像が、記憶部１５２により記憶される（ステップＳ９０７）。そして、立体画像を撮像するための撮像動作の終了指示がユーザによりされたか否かが、制御部１３０により判断される（ステップＳ９０８）。そして、立体画像を撮像するための撮像動作の終了指示がユーザによりされていないと判断された場合には（ステップＳ９０８）、ステップＳ９０２に戻る。
【０１３０】
一方、立体画像を撮像するための撮像動作の終了指示がユーザによりされていると判断された場合には（ステップＳ９０８）、撮像処理手順は終了する。
【０１３１】
図１１は、本技術の第１の実施の形態の撮像処理手順における立体画像生成処理（ステップＳ９２０）の処理手順例を示すフローチャートである。
【０１３２】
まず、撮像素子２００から供給される画像データにおける画像生成画素の画素値に基づいて、平面画像（２Ｄ画像）が２Ｄ画像生成部３１０により生成される（ステップＳ９２１）。続いて、生成された平面画像における視差検出画素の位置の画素値が、２Ｄ画像生成部３１０により補間される（ステップＳ９２２）。
【０１３３】
次に、撮像素子２００が被写体を撮像した際の姿勢に関する情報（姿勢情報）が、視差検出部３２０により姿勢検出部１４０から取得される（ステップＳ９２３）。そして、姿勢情報に基づいて左右方向（水平方向）を検出し、視差検出画素における９つの画素回路のうちから、左眼のデータを生成する画素回路と、右眼のデータを生成する画素回路とが、視差検出部３２０により決定される（ステップＳ９２４）。
【０１３４】
続いて、撮像素子２００から供給される画像データにおける画素値のうち、左眼のデータを生成する画素回路の画素値に基づいて、左眼情報画像が視差検出部３２０により生成される（ステップＳ９２５）。また、撮像素子２００から供給される画像データにおける画素値のうち、右眼のデータを生成する画素回路の画素値に基づいて、右眼情報画像が視差検出部３２０により生成される（ステップＳ９２６）。次に、生成された左眼情報画像および右眼情報画像に基づいて、視差情報画像が視差検出部３２０により生成される（ステップＳ９２７）。なお、ステップＳ９２５、Ｓ９２６およびＳ９２７は、特許請求の範囲に記載の視差を検出する手順の一例である。また、ステップＳ９２１およびステップＳ９２２は、特許請求の範囲に記載の平面画像を生成する手順の一例である。
【０１３５】
続いて、平面画像および視差情報画像に基づいて、左眼画像および右眼画像が３Ｄ画像生成部３３０により生成される（ステップＳ９２８）。そして、ステップＳ９２８の後に、立体画像生成処理手順は終了する。なお、ステップＳ９２８は、特許請求の範囲に記載の立体視画像生成手順の一例である。
【０１３６】
このように、本技術の第１の実施の形態によれば、視差検出画素が検出した視差に基づいて画像生成画素が生成した画像における各物体の位置を移動させることにより、解像度が高い立体画像を生成することができる。特に、本技術の第１の実施の形態によれば、視差検出画素を用いて立体画像を生成する撮像装置において、有効画素数の減少を抑制することができる。例えば、撮像素子における全ての画素が３行×３列の画素回路から構成される視差検出画素である撮像素子では、有効画素数は９分の１になってしまう。それに対して、本技術の第１の実施の形態における撮像素子２００では、所定の間隔置きに行方向および列方向にライン上に配置されるため、ライン間の間隔を大きくすればするほど、有効画素数の減少を抑えることができる。また、１つの画素回路で１つの画素を構成する画像生成画素が撮像素子２００に配置されるため、平面画像（２Ｄ画像）も撮像することができ、ユーザの目的に合わせて、立体画像と平面画像とを選択することができる。
【０１３７】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、視差検出画素を構成する９つの画素回路が生成する画素値に基づいて立体画像を生成する例について説明した。なお、視差検出画素における９つの画素回路の生成する画素値は、フォーカスのずれに関する情報を含んでいるため、これらの画素値を位相差検出方式による合焦判定に用いることもできる。ここで、位相差検出とは、撮像レンズを通過した光を瞳分割して１対の像を形成し、その形成された像の間隔（像の間のずれ量）を計測（位相差を検出）することによって合焦の度合いを検出する焦点検出の方法である。
【０１３８】
そこで、本技術の第２の実施の形態では、立体画像の生成に加えて、視差検出画素を用いて位相差検出による合焦判定を行う撮像装置の例について、図１２乃至図１６を参照して説明する。
【０１３９】
［撮像装置の機能構成例］
図１２は、本技術の第２の実施の形態の撮像装置４００の機能構成の一例を示すブロック図である。
【０１４０】
同図において示す撮像装置４００は、図１において示した撮像装置１００の各構成に加えて、合焦判定部４１０を備える。図１２における合焦判定部４１０以外の各構成は、図１において示した各構成と同様のものであるため、ここでは、合焦判定部４１０に着目して説明する。
【０１４１】
合焦判定部４１０は、視差検出画素からの信号に基づいて、フォーカスが合焦しているか否かを位相差検出により判定するものである。この合焦判定部４１０は、撮像素子２００から供給される撮像データにおける視差検出画素の９つの画素回路の画素値に基づいて、フォーカシングを行う領域（フォーカスエリア）における物体（合焦対象物）に対して合焦しているか否か判定する。合焦判定部４１０は、合焦していると判定した場合には、合焦していることを示す情報を合焦判定結果情報として、駆動部１７０に供給する。また、合焦判定部４１０は、合焦対象物に対してフォーカスがずれていると判定した場合には、フォーカスのずれの量（デフォーカス量）を算出し、その算出したデフォーカス量を示す情報を合焦判定結果情報として、駆動部１７０に供給する。
【０１４２】
なお、駆動部１７０は、合焦判定部４１０から出力された合焦判定結果情報に基づいて、フォーカスレンズ１１３の駆動量を算出し、その算出した駆動量に応じてフォーカスレンズ１１３を移動させる。駆動部１７０は、フォーカスが合っている場合には、フォーカスレンズ１１３の現在の位置を維持させる。また、駆動部１７０は、フォーカスがずれている場合には、デフォーカス量を示す合焦判定結果情報およびフォーカスレンズ１１３の位置情報に基づいて駆動量（移動距離）を算出し、その駆動量に応じてフォーカスレンズ１１３を移動させる。
【０１４３】
［視差検出画素を用いたオートフォーカスの概念例］
図１３は、本技術の第２の実施の形態において視差検出画素２３０における９つの画素回路の画素値を用いたオートフォーカスの概念を模式的に示す図である。
【０１４４】
なお、同図では、横位置撮影で撮像した際の水平方向（同図の左右方向）に一対の像を生成してフォーカスを検出することを想定する。
【０１４５】
同図（ａ）には、合焦判定のために撮像素子２００が撮像した画像データの平面画像（撮像平面画像４４０）が示されている。この撮像平面画像４４０には、撮像対象物として、自動車（自動車４４１）と、人物（人物４４３）と、木（木４４４）とが示されている。また、撮像平面画像４４０には、フォーカスエリアを示す鎖線の矩形（フォーカスエリア４４２）が示されている。なお、フォーカスのずれを模式的に示すために、人物４４３が２重の破線により囲まれ、自動車４４１が４重の破線により囲まれている。
【０１４６】
なお、同図では、自動車４４１、人物４４３および木４４４を囲む破線の数は、フォーカスのずれの度合いを示し、数が多いほどフォーカスが大きくずれていることを示している。すなわち、同図では、撮像平面画像４４０を撮像した際には木４４４に対して合焦しており、人物４４３および自動車４４１はフォーカスがずれている（自動車４４１の方が大きくずれている）ことを想定する。
【０１４７】
同図（ｂ）には、合焦判定部４１０において生成される一対の像について、同図（ａ）において示した撮像平面画像４４０に対応する一対の画像として模式的に示した２つの画像（左眼情報画像４５０および右眼情報画像４６０）が示されている。視差検出画素２３０は撮像素子２００において行方向および列方向にライン状に配置されている（図２参照）ため、実際には、左眼情報画像４５０および右眼情報画像４６０に示すような像は生成されない。しかしながら、図９では、説明の便宜上、撮像した画像（撮像平面画像４４０）全面で一対の像を模式的に図示して説明する。
【０１４８】
左眼情報画像４５０は、視差検出画素２３０における９つの画素回路のうちの左眼に対応する画素の画素値に基づいて生成される画像を示している。左眼情報画像４５０では、図１３（ａ）の自動車４４１に対応する自動車４５１と、同図（ａ）の人物４４３に対応する人物４５３と、同図（ａ）の木４４４に対応する木４５４とが示されている。
【０１４９】
また、右眼情報画像４６０は、視差検出画素２３０における９つの画素回路のうちの右眼に対応する画素の画素値に基づいて生成される画像を示している。右眼情報画像４６０では、図１３（ａ）の自動車４４１に対応する自動車４６１と、同図（ａ）の人物４４３に対応する人物４６３と、同図（ａ）の木４４４に対応する木４６４とが示されている。
【０１５０】
同図（ｃ）には、合焦判定部４１０による一対の像の間隔（像の間のずれ量）の計測を模式的に示す画像（比較画像４７０）が示されている。この比較画像４７０では、同図（ｂ）において示した左眼情報画像４５０および右眼情報画像４６０を重ねたような像が図示され、自動車４７１と、人物４７３と、木４７４とが示されている。自動車４７１は、濃い自動車が薄い自動車の左にあるような像で示されている。また、人物４７３も、濃い人物が薄い人物の左にあるような像で示されている。一方、木４７４は、濃い木と薄い木とが一致しているような像で示されている。
【０１５１】
比較画像４７０に示すように、合焦判定部４１０では、一対の像（同図では、左眼情報画像４５０および右眼情報画像４６０）を比較する。
【０１５２】
そして、合焦判定部４１０は、合焦対象物（人物４７３）における一対の像のずれ量（エッジ間の間隔）からフォーカスのずれ量（デフォーカス量）を算出する。このデフォーカス量に基づいてフォーカスレンズ１１３が駆動されることにより、合焦対象物に対してフォーカスが一致する。
【０１５３】
同図（ｄ）には、同図（ｃ）の比較画像４７０に基づいてフォーカスレンズ１１３が駆動された後の撮像画像（レンズ駆動後撮像平面画像４９０）と、この撮像に基づいて行われる合焦判定（像の比較）を示す画像（レンズ駆動後比較画像４８０）とが示されている。
【０１５４】
レンズ駆動後比較画像４８０では、比較画像４７０によりレンズを駆動した後の一対の像の間隔の計測を模式的に示す画像が示されている。この比較画像４７０では、濃い木が薄い木の右にあるように示されている木４８４と、濃い人物と薄い人物とが一致しているように示されている人物４８３と、濃い自動車が薄い自動車の左にあるように示されている自動車４８１とが示されている。
【０１５５】
レンズ駆動後撮像平面画像４９０には、１重の破線が付された自動車（自動車４９１）と、破線がない人物（人物４９３）と、４重の破線が付された木（木４９４）と、フォーカスエリア４９２とが示されている。破線は、同図（ａ）において説明したように、フォーカスのずれの度合いを模式的に示している。すなわち、レンズ駆動後撮像平面画像４９０では、合焦対象物である人物４９３に合焦していることが示されている。
【０１５６】
このように、撮像装置４００では、合焦対象物（人物）において一対の像が一致するようにフォーカスレンズ１１３が駆動されることにより、オートフォーカスが行われる。
【０１５７】
なお、図１３では、視差検出画素２３０における９つの画素回路の画素値を用いたオートフォーカスの概念について説明した。次に、図１４では、合焦判定部４１０により行われる合焦判定の際のデータの比較に着目して説明する。
【０１５８】
［合焦判定部による合焦判定の一例］
図１４は、本技術の第２の実施の形態における合焦判定部４１０による位相差検出による合焦判定を模式的に示す図である。
【０１５９】
なお、同図では、図１３に示した場合における合焦判定部４１０による合焦判定を説明する。なお、同図では、説明の便宜上、一対の像を形成する際に用いられる視差検出画素２３０は１ラインであることを想定して説明する。
【０１６０】
同図（ａ）には、図１３（ｂ）のように左右（水平方向）に一対の像を形成する場合において、一対の一方（右眼）および他方（左眼）の像に関する信号を生成する画素回路が視差検出画素２３０にそれぞれ示されている。この視差検出画素２３０では、一方の像（右眼）に関する信号を生成する画素回路が点を多く付した矩形（画素回路１、４、７）により示され、他方の像（左眼）に関する信号を生成する画素回路が点を少なく付した矩形（画素回路３、６、９）により示されている。
【０１６１】
図１４（ｂ）には、設定された合焦対象物に対するデフォーカス量を算出するために、合焦判定部４１０において画素値が用いられる（画素値から一対の像が形成される）視差検出画素２３０の位置（合焦判定ライン４２１）が示されている。この合焦判定ライン４２１における視差検出画素２３０の各画素回路の画素値を同図（ａ）のように用いることにより、一対の像が形成される。
【０１６２】
ここで、合焦判定部４１０による位相差を検出する方向（左右または上下）の決定について、簡単に説明する。
【０１６３】
合焦判定部４１０は、撮像素子２００から供給された画像データの視差検出画素２３０に関する画素値に基づいて、一対の像のずれを検出する方向を決定する。合焦対象物の形状や模様によって、左右方向（水平方向）に一対の像を形成すると像のずれを精度よく検出できる場合や、上下方向（重力方向）に一対の像を形成する像のずれを精度よく検出できる場合がある。そこで、合焦判定部４１０は、像のずれを精度よく検出できる方向にライン状に配置されている視差検出画素２３０からの画素値に基づいて一対の像を形成する。
【０１６４】
同図では、ずれ量を精度よく検出できる方向は左右方向（水平方向）であることを想定しているため、行方向の視差検出画素ラインのうち、合焦対象物が撮像されているラインにおける視差検出画素２３０からの画素値に基づいて一対の像を形成する。なお、合焦対象物（人物４２２）のエッジのずれを検出できればデフォーカス量が算出できるため、フォーカスエリア付近に位置する視差検出画素（合焦判定ライン４２１）の画素値から一対の像は形成される。
【０１６５】
同図（ｃ）には、合焦判定部４１０におけるデフォーカス量の算出を模式的に示すグラフが示されている。同図（ｃ）では、図１３のように、フォーカス面よりも合焦対象物はレンズ側に位置している（後ピン）ことを想定して説明する。
【０１６６】
図１４（ｃ）において示すグラフには、横軸を撮像素子２００における視差検出画素２３０の画素位置とし、縦軸を出力信号の強度を示す出力階調として、合焦判定部４１０が生成する一対の像を画素値の分布データにより示すグラフが示されている。このグラフには、同図（ａ）に示す画素回路１、４、７（右眼に対応）の画素値に基づいて生成された画素値の分布データ（右眼信号分布データ４３１）が示されている。また、このグラフには、同図（ａ）に示す画素回路３、６、９（左眼に対応）の画素値に基づいて生成された画素値の分布データ（左眼信号分布データ４３２）が示されている。
【０１６７】
合焦判定部４１０は、合焦判定ライン４２１における視差検出画素２３０の画素値から右眼信号分布データ４３１および左眼信号分布データ４３２を生成する。そして、合焦判定部４１０は、右眼信号分布データ４３１におけるピーク（エッジ）の位置と、左眼信号分布データ４３２におけるピーク（エッジ）の位置との間の距離（距離Ａ１）からデフォーカス量を算出する。そして、合焦判定部４１０は、算出したデフォーカス量を、合焦判定結果情報として駆動部１７０に供給し、デフォーカス量に応じた量ほどフォーカスレンズ１１３を駆動させる。
【０１６８】
同図（ｄ）には、同図（ｃ）に示す分布データ（一対の像）に基づいてフォーカスレンズ１１３が駆動され、合焦対象物に対して合焦した場合の分布データ（右眼信号分布データ４３３および左眼信号分布データ４３４）が示されている。同図（ｄ）のグラフに示すように、合焦対象物に対して合焦すると、右眼信号分布データ４３３および左眼信号分布データ４３４のエッジは、同じ位置になる。
【０１６９】
このように、撮像装置４００では、同図（ｄ）に示すように生成した一対の像（分布データ）のエッジの位置が一致するようにフォーカスレンズ１１３を駆動することにより、視差検出画素２３０の画素値を用いて、オートフォーカスを行うことができる。すなわち、撮像装置４００では、位相差検出方式の焦点検出方法を実現することができ、これにより、高速で高精度なオートフォーカスが可能となる。
【０１７０】
なお、同図では、説明の便宜上により合焦判定ラインは１ラインであることを想定して説明したが、これに限定されるものではなく、複数のラインを用いて精度を向上させるようにしてもよい。
【０１７１】
［撮像装置の動作例］
次に、本技術の第２の実施の形態における撮像装置４００の動作について図面を参照して説明する。
【０１７２】
図１５は、本技術の第２の実施の形態における撮像装置４００による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。なお、同図において示す撮像処理手順例のフローチャートは、図１０において示した本技術の第１の実施の形態の撮像処理手順例のフローチャートの変形例である。図１０において示した合焦処理（ステップＳ９０４）が、合焦処理（ステップＳ９４０）である点のみが異なる。そこで、合焦処理（ステップＳ９４０）以外の処理については同一の符号を付して説明を省略し、合焦処理（ステップＳ９４０）については図１６を参照して説明する。
【０１７３】
図１６は、本技術の第２の実施の形態の撮像処理手順における合焦処理（ステップＳ９４０）の処理手順例を示すフローチャートである。
【０１７４】
まず、撮像素子２００により被写体が撮像され、合焦判定に用いる画像が撮像される（ステップＳ９４１）。続いて、合焦対象物に応じて、一対の像を生成する視差検出画素のラインの方向（行方向または列方向）が、合焦判定部４１０により決定される（ステップＳ９４２）。そして、合焦対象物の位置（フォーカスエリアの位置）に応じて、一対の像を比較する視差検出画素の位置（例えば、図１４の合焦判定ライン４２１）が決定される（ステップＳ９４３）。
【０１７５】
次に、決定された一対の像を比較する位置の視差検出画素の画素回路の画素値から一対の像が生成される（ステップＳ９４４）。そして、生成された一対の像におけるエッジ間の間隔が検出され、その間隔からデフォーカス量が算出される（ステップＳ９４５）。続いて、その算出されたデフォーカス量に基づいて、フォーカスレンズ１１３の駆動量が駆動部１７０により算出される（ステップＳ９４５）。そして、その算出された駆動量に基づいてフォーカスレンズ１１３が駆動され（ステップＳ９４７）、合焦処理手順は終了する。
【０１７６】
このように、本技術の第２の実施の形態によれば、視差検出画素を構成する９つの画素回路の画素値に基づいて、位相差検出による合焦判定を行うことができる。すなわち、本技術の第２の実施の形態によれば、高い画素数の３Ｄ画像を生成するとともに、位相差検出による高速で高精度なオートフォーカスを行う撮像装置を実現することができる。
【０１７７】
＜３．変形例＞
本技術の第１および第２の実施の形態では、視差検出画素２３０が行方向および列方向にライン状に配置される撮像素子２００の例について説明した。しかしながら、視差検出画素２３０の配置はこれに限定されるものではなく、被写体の視差が取得できるように配置すればよい。そこで、第１および第２の実施の形態とは異なる視差検出画素の配置の一例について、第１および第２の変形例として、図１７および図１８を参照して説明する。
【０１７８】
また、本技術の第１および第２の実施の形態では、図４（ｂ）に示すように、マイクロレンズの層は２層あり、各画素回路に光を集光するマイクロレンズはカラーフィルタに近い方（受光素子に近い方）のマイクロレンズ層において形成される例を説明した。しかしながら、本技術はこれに限定されるものではなく、マイクロレンズの配置の仕方については種々の例が考えられる。例えば、各画素回路に光を集光するマイクロレンズは、視差検出用マイクロレンズと同じ層に形成する場合が考えられる。また、視差検出用マイクロレンズと、視差検出画素の９つの受光素子との間の距離を可変にすることにより、撮像レンズが交換式の撮像装置（例えば、一眼カメラ）において様々なＦ値の撮像レンズに対応することができる。そこで、第１および第２の実施の形態とは異なるマイクロレンズの配置の一例について、第３乃至第５の変形例として、図１９を参照して説明する。
【０１７９】
また、本技術の第１および第２の実施の形態では、視差検出画素は、Ｇフィルタが備えられた９つの画素回路の例について説明したが、これに限定されるものではない。第１および第２の実施の形態とは異なる視差検出画素について、第６乃至第９の変形例として、図２０を参照して説明する。
【０１８０】
［撮像素子における画素の配置の変形例］
図１７は、本技術の第１および第２の実施の形態の第１の変形例として、視差検出画素が行方向にのみライン状に配置される撮像素子の一例を模式的に示す図である。
【０１８１】
同図（ａ）には、図２（ｂ）の領域２５０に対応する領域（領域８１０）が示されている。すなわち、領域８１０における太線（視差検出画素ライン８１１）は、視差検出画素が配置されるラインを示している。視差検出画素ライン８１１が示すように、この変形例では、視差検出画素は任意の画素周期で行方向にのみライン状に配置される。
【０１８２】
図１７（ｂ）には、同図（ａ）において示されている領域８１５の拡大図であって、図２（ａ）の領域２１０に対応する領域が示されており、視差検出画素が行方向にのみライン状に配置されることが示されている。
【０１８３】
縦位置撮影に用いることがほとんどないような撮像装置（例えば、カムコーダ）においては、列方向に視差検出画素をライン状に配置しても、視差検出に用いることは殆どない。そこで、視差検出画素のラインを行方向の配置のみとすることにより、視差検出画素の数を少なくして画像生成画素の数を増やし、これにより、撮像画像の画質を向上させることができ、かつ、視差検出画素の位置の画素値の補間処理を軽くすることができる。
【０１８４】
図１８は、本技術の第２の変形例として、視差検出画素が、行方向および列方向に所定の間隔ずつ離れて配置（アイランド状に配置）される撮像素子の一例を模式的に示す図である。
【０１８５】
同図（ａ）には、図２（ｂ）の領域２５０に対応する領域（領域８２０）が示されている。この領域８２０において、黒い点（点８２１）は、それぞれが１つの視差検出画素の配置される位置を示している。すなわち、点８２１により示すように、この変形例では、視差検出画素が行方向および列方向に所定の間隔ずつ離れて配置（アイランド状に配置）される。
【０１８６】
図１８（ｂ）には、同図（ａ）において示されている領域８２５の拡大図であって、図２（ａ）の領域２１０に対応する領域が示されている。この領域８２５には、１つの視差検出画素がアイランド状に配置されることが示されている。
【０１８７】
図１８に示すように、視差検出画素を行方向および列方向に所定の間隔ずつ離して配置することにより、第１の変形例以上に視差検出画素の数を少なくして画像生成画素の数を増やし、これにより、撮像画像の画質を向上させることができ、かつ、視差検出画素の位置の画素値の補間処理を軽くすることができる。
【０１８８】
これらのように、撮像素子における視差検出画素の配置については、種々のパターンが考えられる。
【０１８９】
［画像生成画素および視差検出画素の断面構成の変形例］
図１９は、本技術の第３乃至第５の変形例として、画像生成画素および視差検出画素の断面構成の変形例を模式的に示す図である。
【０１９０】
同図（ａ）には、本技術の第３の変形例として、視差検出用マイクロレンズと、視差検出画素の９つの画素回路との間の距離を可変にすることができる撮像素子の断面構成の一例が示されている。なお、同図（ａ）は、図４（ｂ）において示した断面構成の変形例であり、図４（ｂ）の視差検出用マイクロレンズ層Ｓ２に代えて、マイクロレンズの光軸方向に移動可能なマイクロレンズ層（視差検出用マイクロレンズ配置部８３１）を備えている点のみが異なる。そこで、図１９（ａ）では、図４（ｂ）と同一のものについては同一の符号を付してここでの説明を省略し、視差検出用マイクロレンズ配置部８３１についてのみ説明する。
【０１９１】
視差検出用マイクロレンズ配置部８３１は、マイクロレンズの光軸方向に移動することにより、視差検出用マイクロレンズ２３１と、視差検出画素の画素回路の受光素子との間の距離を可変可能なマイクロレンズの層である。すなわち、撮像素子との間には、空気の層（空気層８３２）がある。このように、視差検出用マイクロレンズ２３１と、視差検出画素の画素回路の受光素子との間の距離を変更可能とすることにより、Ｆ値や焦点距離が異なる交換レンズに対応できるようになる。
【０１９２】
図１９（ｂ）には、本技術の第４の変形例として、画像生成画素の受光素子に被写体光を集光するマイクロレンズが、視差検出用マイクロレンズの層にも備えられる撮像素子の断面構成の一例が示されている。画像生成画素の受光素子に被写体光を集光するために視差検出用マイクロレンズ層に備えられるマイクロレンズ（マイクロレンズ８３３）以外の構成は、図４（ｂ）と同一のものであるため、図１９（ｂ）では説明を省略する。
【０１９３】
マイクロレンズ８３３は、視差検出用マイクロレンズとは曲率が異なるマイクロレンズである。このマイクロレンズ８３３を備えることにより、視差検出画素における結像を優先させてフォーカスを調整した場合においても、画像生成画素のマイクロレンズ２６１に被写体光を適切に集光することができる。すなわち、このマイクロレンズ８３３を備えることにより、マイクロレンズ２６１が受光素子に被写体光を適切に集光することができ、画像生成画素の集光効率の劣化を防ぐことができる。これにより、画質を向上させることができる。
【０１９４】
図１９（ｃ）には、本技術の第５の変形例として、同図（ｂ）の撮像素子におけるマイクロレンズ層Ｓ１を備えていない撮像素子の断面構成の一例が示されている。視差検出用マイクロレンズ２３１のみにより視差が検出できるとともに、マイクロレンズ８３３のみにより画像生成画素の受光素子に被写体光を集光できる場合には、マイクロレンズ層Ｓ１を省くことができる。
【０１９５】
これらのように、撮像素子におけるマイクロレンズの配置については、種々のパターンが考えられる。
【０１９６】
［視差検出画素の一例］
図２０は、本技術の第６乃至第９の変形例として、視差検出画素の変形例を示す模式図である。
【０１９７】
同図（ａ）には、本技術の第６の変形例として、カラーフィルタの層に可視光領域の光は全て透過するもの（例えば、透明層やＷフィルタなど）が備えられる視差検出画素（視差検出画素８４１）が示されている。
【０１９８】
同図（ｂ）には、本技術の第７の変形例として、Ｒフィルタが備えられる視差検出画素（視差検出画素８４２）が示されている。
【０１９９】
視差検出画素は、視差が検出できればよいため、視差検出画素のフィルタは目的に応じて設定すればよい。例えば、同図（ａ）のように、可視光領域の光は全て透過するものを設けることにより、色依存の少ない視差情報を得るようにすることができる。また、この可視光領域の光を全て透過する場合は、画像生成画素と比較すると光量が多すぎることがあるため、露光調整のために減光フィルタを設けるようにしてもよい。
【０２００】
また、同図（ｂ）に示すように、視差検出画素にＧフィルタ以外のカラーフィルタを設けるようにしてもよい。
【０２０１】
同図（ｃ）には、本技術の第８の変形例として、数多くの画素回路から構成される視差検出画素（視差検出画素８４３）が示されている。この視差検出画素８４３は、５行×５列の画素回路（画素回路１乃至２５）から構成される。また、画素回路１乃至２５には、３原色のカラーフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が、ベイヤー配列により配置されている。
【０２０２】
同図（ｃ）に示すように、１つの視差検出画素を数多くの画素回路で構成し、さらに、３原色のカラーフィルタをベイヤー配列により配置することにより、色情報を含めて視差情報を得ることができる。
【０２０３】
同図（ｄ）には、本技術の第９の変形例として、２行×２列の画素回路から構成される視差検出画素（視差検出画素８４４）が示されている。このように、視差検出画素８４４を２行×２列の画素回路から構成することもできる。この場合には、３行×３列の画素回路から構成する場合と比較して、視差検出画素１個に用いられる画素回路の数を減らすことができ、画像生成画素や視差検出画素の数を増やすことができる。すなわち、画像生成画素の数を増やすことによる画質の向上や、視差検出画素の数を増やすことによる視差検出の精度の向上などをすることができる。
【０２０４】
＜４．第３の実施の形態＞
本技術の第１および第２の実施の形態では、撮像素子においてライン状に配置される視差検出画素を用いて立体画像を生成する撮像装置について説明した。第１および第２の実施の形態において説明した撮像装置は、単眼の撮像装置である。
【０２０５】
この単眼の撮像装置において、立体画像の立体感は、射出瞳における左眼の光が通過する領域の重心位置と、射出瞳における右眼の光が通過する領域の重心位置との間の重心間距離（基線長）に依存する。この基線長が長いほど視差量が増加し、その結果、立体画像の立体感が増加する。
【０２０６】
第１および第２の実施の形態において示した視差検出画素では、３行×３列の画素回路から構成されている。左右に視差を検出する場合には、左側の画素回路が受光する被写体光の射出瞳における重心位置と、右側の画素回路が受光する被写体光の射出瞳における重心位置との間の距離が基線長となる。すなわち、基線長を長くするためには、Ｆ値が低い（射出瞳が大きい）撮像レンズを備えるか、焦点距離が長い撮像レンズを備える必要がある。Ｆ値は、明るさを設定するパラメータであり、焦点距離は画角を設定するパラメータであるため、基線長のため（立体感のため）だけに自由に設定できるものではない。
【０２０７】
例えば、明るいシーンを撮像する際に、絞りを絞ることによりＦ値を大きくして（射出瞳を小さくして）撮像すると、白トビがない良好な画像が得られるものの、基線長が小さくなり、立体感が得られなくなる。また、この明るいシーンを撮像する際に、基線長のために絞りを開いてＦ値を小さくして撮像すると、基線長が長くなり立体感が増すものの、白トビが発生して画質が劣化する。
【０２０８】
すなわち、基線長の自由な変更と明るさの自由な変更とが両立できる単眼撮像装置が求められる。そこで、本技術の第３の実施の形態では、横位置撮影において視差を検出する単眼撮像装置において、基線長および明るさを調整することができる絞りを備える例について図２１乃至図２９を参照して説明する。
【０２０９】
［撮像装置の機能構成例］
図２１は、本技術の第３の実施の形態の撮像装置５００の機能構成の一例を示すブロック図である。
【０２１０】
同図において示す撮像装置５００は、図１において示した撮像装置１００の絞り１１２に代えて、絞り５１０を備える。また、撮像装置５００は、撮像装置１００の各構成に加えて、さらに、基線長設定部５２０および絞り駆動設定部５３０を備える。また、撮像装置５００は、撮像装置１００の姿勢検出部１４０を備えていない。図２１では、絞り５１０、基線長設定部５２０および絞り駆動設定部５３０について説明する。
【０２１１】
なお、撮像装置５００は、横位置撮影にのみ用いられることを想定する。そのため、撮像装置５００の撮像素子２００における視差検出画素は、図１７（ｂ）に示すように、撮像素子２００の行方向のみにライン状に配置されていることを想定する。さらに、撮像装置５００の撮像素子２００の視差検出画素は、図２０（ｄ）に示すように、２行×２列の画素回路から構成されていることを想定する。すなわち、視差検出画素は、射出瞳を左右に２分割することができることを想定する。
【０２１２】
また、この第３の実施の形態において説明する絞り５１０は、射出瞳を何らかの手段（例えば、偏光素子、シャッター、ミラー、光ベクトル情報など）により左右に分離することで立体画像を生成する撮像装置であれば適用することができる。すなわち、第３の実施の形態は、本技術の第１および第２の実施の形態において説明した視差検出画素により立体画像を生成する撮像装置に限定されるものではない。しかしながら、本技術の第３の実施の形態では、視差検出画素により立体画像を生成する撮像装置において備えられた絞り５１０について説明する。
【０２１３】
絞り５１０は、駆動部１７０の駆動により開口の度合いを変化させて、撮像素子２００に入射する被写体光の光量および基線長を調整するための遮蔽物である。この絞り５１０は、開口の位置を調整して基線長を設定することができるとともに、それぞれ設定された基線長における開口の度合いを変化させて被写体光の光量を調整することができる。すなわち、絞り５１０は、被写体光の光量の増減と、基線長の長さとを独立して設定することができる。なお、絞り５１０については、図２２乃至図２５を参照して説明する。
【０２１４】
基線長設定部５２０は、絞り５１０により調整される基線長を設定するものである。例えば、基線長設定部５２０は、ユーザが操作受付部１２０を介して指定した立体感の強度に応じて基線長を算出し、その算出した基線長に関する情報（基線長情報）を絞り駆動設定部５３０に供給する。
【０２１５】
絞り駆動設定部５３０は、絞り５１０の開口状態を設定するものである。この絞り駆動設定部５３０は、例えば、撮像素子２００から供給された画像データに基づいて、適切な光量を算出（自動露光（ＡＥ：Automatic Exposure））する。そして、絞り駆動設定部５３０は、基線長設定部５２０から供給された基線長情報と、算出した光量とに基づいて、絞り５１０の開口状態を決定する。すなわち、絞り駆動設定部５３０は、絞り５１０の開口状態を設定することにより、被写体光の光量の増減と、基線長の長さとを独立して制御する。絞り駆動設定部５３０は、その決定した開口状態に関する情報（絞り開口状態情報）を、駆動部１７０に供給し、駆動部１７０に絞り５１０を駆動させる。
【０２１６】
［絞りの一例］
図２２は、本技術の第３の実施の形態の絞り５１０の一例を模式的に示す図である。
【０２１７】
絞り５１０は、絞りにおける開口領域の外枠を形成する２枚の羽根から構成される第１絞りと、左右の開口領域を生成するために絞りの中心付近を上下方向に向けて遮光する第２絞りとを備える。同図（ａ）では、第１絞りおよび第２絞りにより２つの開口部分が形成されている状態の絞り５１０を示す。また、同図（ｂ）では、第１絞り（第１絞り５１１）のみを示して第１絞りの２枚の羽根の形状を示す。そして、同図（ｃ）では、第２絞り（第２絞り５１５）のみを示して第２絞りの２枚の羽根の形状を示す。
【０２１８】
図２２（ａ）には、絞り５１０を構成する４枚の羽根（第１絞り上側羽根５１２、第１絞り下側羽根５１３、第２絞り上側羽根５１６、第２絞り下側羽根５１７）により２つの開口部分が形成されている状態の絞り５１０が示されている。また、同図（ａ）には、４枚の羽根により生成された２つの開口部分の重心位置（重心Ｐ１およびＰ２）と、この２つの重心間の距離（基線長Ｌ２１）とが示されている。
【０２１９】
同図（ｂ）には、第１絞り（第１絞り５１１）を構成する２枚の羽根（第１絞り上側羽根５１２および第１絞り下側羽根５１３）のみが示されている。第１絞り上側羽根５１２および第１絞り下側羽根５１３は、三角形（山形）の凹形状の切欠部が互いに対向するように配置される。なお、この三角形の凹形状の切欠部は、視差方向（左右方向）に垂直な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。同図（ｂ）に示すように、第１絞り５１１の一対の羽根（第１絞り上側羽根５１２および第１絞り下側羽根５１３）は、絞りの開口面が４５度斜めの正方形になるような平板状の遮光部材である。
【０２２０】
また、同図（ｃ）には、第２絞り（第２絞り５１５）を構成する２枚の羽根（第２絞り上側羽根５１６および第２絞り下側羽根５１７）のみが示されている。同図（ｃ）に示すように、第２絞り５１５の一対の羽根（第２絞り上側羽根５１６および第２絞り下側羽根５１７）は、上下から突出することにより絞り５１０の中心付近から遮光できるような平板状の遮光部材である。第２絞り上側羽根５１６および第２絞り下側羽根５１７は、三角形（山形）の凸形状の突出部が互いに対向するように配置される。なお、この三角形の三角形の凸形状の突出部は、視差方向に垂直（直交）な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。この第２絞り５１５の一対の羽根は、突出するにつれて、絞り５１０の中心付近から左右の両端に向けて遮光部分が増加するような形状である。同図では、一例として、４５度斜めの正方形の遮光部材が示されている。
【０２２１】
同図（ａ）乃至（ｃ）に示すように、絞り５１０は、第１絞り５１１の２枚の羽根（第１絞り上側羽根５１２および第１絞り下側羽根５１３）と、第２絞り５１５の２枚の羽根（第２絞り上側羽根５１６および第２絞り下側羽根５１７）とから構成される。これにより、絞り５１０は、視差方向に隣接する一対の開口領域を形成する。また、第１絞り５１１は、一対の開口領域の縁（周縁）のうち、両方の開口領域の視差方向における両側（両端）に対応する半分の縁（左の開口領域は左半分の縁、右の開口領域は右半分の縁）を形成する。第２絞り５１５は、一対の開口領域の縁のうち、両方の開口領域の視差方向における内側（一対の開口領域が近接する側）に対応する半分の縁（左の開口領域は右半分の縁、右の開口領域は左半分の縁）を形成する。すなわち、第１絞り５１１は、一対の開口領域のそれぞれの周縁のうち、前記視差方向における両端に対応する周縁の位置を形成し、第２絞り５１５は、一対の開口領域間で近接する周縁の位置を形成する。なお、第１絞り５１１の切り欠けおよび第２絞り５１５の突出の両方ともが、視差方向に垂直（直交）な直線であって基線長の中止位置を通過する線の上に頂点が位置する三角形であるため、一対の開口領域の形状が同じになる。
【０２２２】
次に、絞り５１０の第１絞り５１１および第２絞り５１５を駆動することによる開口形状の変化について、図２３乃至図２５を参照して説明する。
【０２２３】
［基線長を一定にして開口面積を変化させる例］
図２３は、本技術の第３の実施の形態の絞り５１０を、基線長は一定にして開口面積のみが変化するように駆動する場合の第１絞り５１１および第２絞り５１５の駆動方向を模式的に示す図である。
【０２２４】
同図（ａ）には、駆動前（標準状態と称する）の絞り５１０が示されている。
【０２２５】
同図（ｂ）には、基線長を一定にして開口面積が小さくなるように駆動された絞り５１０が示されている。同図（ｂ）に示すように、基線長（基線長Ｌ３１）を一定にして開口面積を小さくする絞り５１０の駆動は、第１絞りを絞る（第１絞り動作方向５５１）とともに、第２絞りを絞る（第２絞り動作方向５５２）ことにより行うことができる。
【０２２６】
同図（ｃ）には、基線長を一定にして開口面積が大きくなるように駆動された絞り５１０が示されている。同図（ｃ）に示すように、基線長（基線長Ｌ３１）を一定にして開口面積を大きくする絞り５１０の駆動は、第１絞りを開く（第１絞り動作方向５５３）とともに、第２絞りを開く（第２絞り動作方向５５４）ことにより行うことができる。
【０２２７】
すなわち、同図（ｂ）および（ｃ）に示すように、基線長を一定にして光量を増減させる場合には、第１絞りが形成する視差方向の縁の位置の移動に応じて、第２絞りが形成する視差方向の縁の位置を、第１絞りの縁の位置の移動方向と反対方向に同量移動させる。これにより、左の開口領域の左端の移動に応じて左の開口領域の右端が左の開口領域の左端と反対方向に同量ほど移動し、また、右の開口領域の右端の移動に応じて右の開口領域の左端が右の開口領域の右端と反対方向に同量ほど移動する。この開口領域の縁の設定は、同図（ｂ）および（ｃ）に示すように、第１絞りと第２絞りとを同じ方向に駆動させることにより実現することができる。このように絞り５１０の開口面を設定することにより、開口領域の重心位置を変化させずに、光量を増減させることができる。
【０２２８】
［開口面積を一定にして基線長を変化させる例］
図２４は、本技術の第３の実施の形態の絞り５１０を、開口面積を一定にして基線長のみが変化するように駆動する場合の第１絞り５１１および第２絞り５１５の駆動方向を模式的に示す図である。
【０２２９】
同図（ａ）には、標準状態の絞り５１０が示されている。
【０２３０】
同図（ｂ）には、開口面積を一定にして、標準状態から基線長が短くなる（基線長Ｌ３１から基線長Ｌ３２へ）ように駆動された絞り５１０が示されている。同図（ｂ）に示すように、開口面積を一定にして基線長を短くする絞り５１０の駆動は、第１絞りを絞る（第１絞り動作方向５６１）とともに、第２絞りを開く（第２絞り動作方向５６２）ことにより行うことができる。
【０２３１】
同図（ｃ）には、開口面積を一定にして、標準状態から基線長が長くなる（基線長Ｌ３１から基線長Ｌ３３へ）ように駆動された絞り５１０が示されている。同図（ｃ）に示すように、開口面積を一定にして基線長を長くする絞り５１０の駆動は、第１絞りを開く（第１絞り動作方向５６３）とともに、第２絞りを絞る（第２絞り動作方向５６４）ことにより行うことができる。
【０２３２】
すなわち、同図（ｂ）および（ｃ）に示すように、光量を一定にして基線長を変更する場合には、第１絞りが形成する視差方向の縁の位置の移動に応じて、第２絞りが形成する視差方向の縁の位置を、第１絞りの縁の位置の移動方向と同じ方向に同量ほど移動させる。これにより、左の開口領域の左端の移動に応じて左の開口領域の右端が左の開口領域の左端と同じ方向に同量ほど移動し、また、右の開口領域の右端の移動に応じて右の開口領域の左端が右の開口領域の右端と同じ方向に同量ほど移動する。この開口領域の縁の設定は、同図（ｂ）および（ｃ）に示すように、第１絞りと第２絞りとを反対方向に駆動させることにより実現することができる。これにより、左の開口領域における右端とこの領域の左端との間の長さ、および、右の開口領域における右端とこの領域の左端との間の長さを一定にすることができ、開口領域の開口面積を一定にすることができる。このように絞り５１０の開口面を設定することにより、開口領域の開口面積を変化させずに、重心位置を変化させることができる。
【０２３３】
［第２絞りを開いて開口部分を１つにする例］
図２５は、本技術の第３の実施の形態の絞り５１０における開口部分の形状を平面画像を撮像するのに適した形状にする場合を模式的に示す図である。
【０２３４】
同図（ａ）には、標準状態の絞り５１０が示されている。
【０２３５】
同図（ｂ）には、平面画像を撮像するのに適した開口部分の形状となるように駆動された絞り５１０が示されている。同図（ｂ）に示すように、第２絞りを開放する（第２絞り駆動方向５７１）ことで、従来の絞りと同様に、１つの開口部分の絞りとすることができる。
【０２３６】
すなわち、図２３および図２４に示したように、絞り５１０は、第１絞りと第２絞りを個別に動かすことにより、開口部分の開口面積（Ｆ値）と、基線長（立体感）とを独立に設定することができる。例えば、非常に明るいシーンの撮影において、基線長を一定にしながら明るさを減少させたい場合には、図２３（ｂ）に示したように、第１絞りを絞るとともに第２絞りを絞ることにより達成できる。また、明るさを維持して立体感を強調したい場合には、図２４（ｃ）に示したように、第１絞りを開くとともに、第２絞りを絞ることにより達成できる。
【０２３７】
さらに、図２５に示したように、立体画像ではなく平面画像を撮像する場合には、第２絞りを開放して１つの開口部分にして、第１絞りにより開口面積を制御することにより、従来の絞りと同様に用いることができる。
【０２３８】
このように、絞り５１０によって立体感（３Ｄ強度）の設定を行うことができる。また、視差検出画素および画像生成画素が撮像素子２００に配置される本技術の第３の実施の形態によれば、画像生成画素の画素値に基づいて、２Ｄ画像（平面画像）を生成することができる。すなわち、絞り５１０を撮像装置に備えることにより、ユーザが、撮像する画像の選択（２Ｄ画像か３Ｄ画像か）や、立体感の設定を行うことができる。
【０２３９】
そこで、画像や３Ｄ強度をユーザが設定する際の設定画面（ユーザインターフェース）の例について、図２６を参照して説明する。
【０２４０】
［表示部における設定画面例］
図２６は、本技術の第３の実施の形態において表示部１５１に表示される撮像画像の設定画面および３Ｄ強度の設定画面を模式的に示す図である。
【０２４１】
同図（ａ）には、２Ｄ画像または３Ｄ画像のどちらを撮像するかをユーザが設定する設定画面（設定画面５８０）が示されている。この設定画面５８０では、３Ｄ画像を撮像する３Ｄ画像モードを選択するラジオボタン（ラジオボタン５８２）と、２Ｄ画像を撮像する２Ｄ画像モードを選択するラジオボタン（ラジオボタン５８３）とが示されている。さらに、選択を決定する決定ボタン（決定ボタン５８４）と、選択の変更を辞めるボタン（戻るボタン５８５）とが示されている。
【０２４２】
設定画面５８０において、３Ｄ画像モードがユーザにより選択されると、図２３および図２４に示したように、３Ｄ画像の撮像に適した絞りの制御が行われる。一方、２Ｄ画像モードがユーザにより選択されると、図２５に示したように第２絞りは開放され、２Ｄ画像の撮像に適した絞りの制御（従来の絞りと同様の制御）が行われる。
【０２４３】
このように、撮像装置５００では、撮像する画像が２Ｄ画像であるか３Ｄ画像であるかをユーザに選択させることができる。
【０２４４】
図２６（ｂ）には、３Ｄ強度（３Ｄレベル）をユーザが設定する設定画面（設定画面５９０）が示されている。この設定画面５９０では、３Ｄレベルを示すスライドバー（スライドバー５９１）と、選択を決定する決定ボタン（決定ボタン５９４）と、選択の変更を辞めるボタン（戻るボタン５９５）とが示されている。また、スライドバー５９１には、現在の設定３Ｄレベルを示すバー（バー５９２）が示されている。
【０２４５】
設定画面５９０において、バー５９２をスライドさせることにより、ユーザは３Ｄレベルを選択することができる。３Ｄレベルを弱める（バー５９２をスライドバー５９１の「弱」に近づける）と、図２４（ｂ）に示したように、基線長が短くなるように絞り５１０が制御される。一方、３Ｄレベルを強める（バー５９２をスライドバー５９１の「強」に近づける）と、図２４（ｃ）に示したように、基線長が長くなるように絞り５１０が制御される。
【０２４６】
このように、撮像装置５００では、３Ｄレベルをユーザに選択させることができる。
【０２４７】
［基線長の変更による３Ｄレベルの変化例］
図２７は、本技術の第３の実施の形態における絞り５１０による基線長の変化による像の変化を模式的に示す図である。
【０２４８】
同図（ａ）および（ｂ）には、基線長が長くなるように絞り５１０が制御された場合の撮像対象物からの光路および撮像対象物の像面における結像位置が模式的に示されている。また、同図（ｃ）および（ｄ）には、基線長が短くなるように絞り５１０が制御された場合の撮像対象物からの光路および撮像対象物の像面における結像位置が模式的に示されている。
【０２４９】
なお、同図（ａ）および（ｃ）は、図６（ａ）に対応し、撮像対象物からの被写体光のうち、絞り５１０の左眼に相当する開口面（左眼開口面）を通過する被写体光の光路および像面における結像位置が模式的に示されている。同様に、図２７（ｂ）および（ｄ）は、図６（ｂ）に対応し、撮像対象物からの被写体光のうち、絞り５１０の右眼に相当する開口面（右眼開口面）を通過する被写体光の光路および像面における結像位置が模式的に示されている。そこで、図６（ａ）および（ｂ）と同様のものには、同一の符号を付してここでの説明を省略する。
【０２５０】
図２７（ａ）乃至（ｄ）において示す瞳Ｅ２１は、絞り５１０の第１絞りおよび第２絞りを両方とも開放にした時の射出瞳の形状（すなわち撮像レンズの形状）を模式的に示し、図６の射出瞳Ｅ１に相当する。図２７（ａ）および（ｂ）の射出瞳Ｅ３１およびＥ３２は、基線長が長くなるように絞り５１０が制御された場合の一対の射出瞳（射出瞳Ｅ３１は左眼開口面の射出瞳、射出瞳Ｅ３２は右眼開口面の射出瞳）を示している。同様に、同図（ｃ）および（ｄ）の射出瞳Ｅ４１およびＥ４２は、基線長が短くなるように絞り５１０が制御された場合の一対の射出瞳（射出瞳Ｅ４１は左眼開口面の射出瞳、射出瞳Ｅ４２は右眼開口面の射出瞳）を示している。そして、同図（ａ）乃至（ｄ）には、図６と同様に、合焦物体２７１および近位置物体２７２からの光の光路が、各物体から伸びる破線および実線（線Ｌ５１乃至Ｌ５８）により示されている。
【０２５１】
図２７（ａ）および（ｂ）に示すように、基線長が長くなると（左側開口面および右側開口面がお互いに離れると）、デフォーカス量に応じてずれる結像位置のずれ量が大きくなり、立体感が大きくなる。一方、同図（ｃ）および（ｄ）に示すように、基線長が短くなると（左側開口面および右側開口面がお互いに近づくと）、デフォーカス量に応じてずれる結像位置のずれ量が小さくなり、立体感が小さくなる。
【０２５２】
このように、絞り５１０を設けることにより、立体感を調整することができる。
【０２５３】
［絞りにおける開口面の変化例］
図２８は、本技術の第３の実施の形態における絞り５１０における開口面と、従来の絞りにおける開口面との違いを模式的に示す図である。
【０２５４】
同図（ａ）には、従来の撮像装置に備えられる絞り（絞り１９０）の開閉による開口面の変化が示されている。絞り１９０は、一組の羽根（絞り上側羽根１９１および絞り下側羽根１９２）から構成され、この一組の羽根（遮光部材）を互いに逆方向に移動させることにより開口面の面積を調整する。この従来の絞り１９０は、開口面積が広い時は基線長が長くなる（同図（ａ）において示す基線長Ｌ９１を参照）が、開口面積が小さくになると基線長が短くなる（同図（ａ）の基線長Ｌ９２を参照）。
【０２５５】
同図（ｂ）には、本技術の第３の実施の形態における絞り５１０の開閉による開口面の変化が示されている。なお、同図（ｂ）において示す図は、図２３および図２４をまとめた図である。そこで、図２８（ｂ）では、図２３および図２４と同一の符号を付して、ここでの詳細な説明を省略する。
【０２５６】
図２８（ｂ）に示すように、絞り５１０によって、明るさ（開口面積の大きさ）と、基線長（一対の開口面の重心間距離）とを独立に制御することができる。
【０２５７】
［撮像装置の動作例］
次に、本技術の第３の実施の形態における撮像装置５００の動作について図面を参照して説明する。
【０２５８】
図２９は、本技術の第３の実施の形態における撮像装置５００による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。なお、同図において示す撮像処理手順例のフローチャートは、図１０において示した本技術の第１の実施の形態の撮像処理手順例のフローチャートの変形例である。そこで、同一の処理については同一の符号を付して説明を省略し、新たに追加した自動露光に関する処理手順例についてのみ説明する。
【０２５９】
立体画像の撮像動作の開始指示がユーザによりされたと判断されると（ステップＳ９０１）、ユーザが予め指定した立体感の強度に基づいて基線長の長さが設定され、その設定された基線長の長さに応じて絞り５１０が駆動される（ステップＳ９６１）。そして、ステップＳ９０２に進み、ライブビューの表示が行われる。
【０２６０】
また、合焦処理が行われた後に（ステップＳ９０４）、その合焦処理の際に撮像された画像に基づいて露光の調整が絞り駆動設定部５３０により行われて、絞り５１０が制御される自動露光処理が行われる（ステップＳ９６２）。そして、ステップＳ９６２の後に、ステップＳ９０５に進み、シャッターボタンが全押しされたか否かが判断される。
【０２６１】
このように、本技術の第３の実施の形態によれば、明るさ（開口面積の大きさ）と、基線長（一対の開口面の重心間距離）とを独立に制御することができる。なお、本技術の第３の実施の形態では、２枚の羽根（遮光部材）を備える第１絞りと、２枚の羽根を備える第２絞りとを想定して説明したがこれに限定されるものではない。第１絞りは、従来の絞りと同様に、絞りの外周から中心に向けて開口面積が狭くなるように（Ｆ値が小さくなるように）開閉するものであればよい。羽根の枚数を増やすことにより、４５度回転した正方形の開口形状から円形に近い開口形状に近づけることができる。また、第２絞りも、絞りの中心付近を遮光して一対の開口部分を形成するものであればよく、２枚以上の羽根を用いることにより、一対の開口部分の形状を円形に近づけることができることも考えられる。
【０２６２】
＜５．第４の実施の形態＞
本技術の第３の実施の形態では、撮像装置を用いて横位置撮影を撮影した際に明るさおよび基線長を自由に設定できる絞り（絞り５１０）について説明した。しかしながら、この絞り５１０では、本技術の第１の実施において示したように縦位置撮影をする場合には、第２絞りを開放して第１絞りのみにしないと（従来の絞りと同じ使用方法にする）、水平方向の視差を取得することが出ない。
【０２６３】
そこで、本技術の第４の実施の形態では、横位置撮影および縦位置撮影の両方において明るさおよび基線長を自由に設定できる絞りについて、図３０乃至図３２を参照して説明する。
【０２６４】
［撮像装置の機能構成例］
図３０は、本技術の第４の実施の形態の撮像装置６００の機能構成の一例を示すブロック図である。
【０２６５】
同図において示す撮像装置６００は、図２１において示した撮像装置５００の絞り５１０に代えて、絞り６１０を備える。また、撮像装置６００は、撮像装置５００の各構成に加えて、さらに、図１において示した姿勢検出部１４０を備える。なお、絞り６１０については、図３１および図３２において説明する。
【０２６６】
姿勢検出部１４０は、図１において示した姿勢検出部１４０と同様に、撮像装置６００の姿勢を検出し、検出した撮像装置６００の姿勢に関する情報（姿勢情報）を、視差検出部３２０および絞り駆動設定部５３０に供給する。
【０２６７】
なお、図３０において示す絞り駆動設定部５３０では、姿勢検出部１４０から供給された姿勢情報に基づいて、縦位置撮影および横位置撮影のどちらであるか（撮像装置６００の姿勢）を検出し、その検出した姿勢に応じて絞り６１０の駆動を設定する。
【０２６８】
［絞りの一例］
図３１は、本技術の第４の実施の形態の絞り６１０の一例を模式的に示す図である。
【０２６９】
絞り６１０は、図２２において示した絞り５１０と同じものである第１絞りおよび第２絞りに加えて、上下に一対の開口部分を生成するために、左右方向から突出することにより絞りの中心付近を遮光する第３絞りを備える。図３１（ａ）では、上下に２つの開口部分が形成されている状態の絞り６１０を示す。
【０２７０】
また、同図（ｂ）では第１絞り（第１絞り５１１）のみを示して第１絞りの２枚の羽根の形状を示し、同図（ｃ）では第２絞り（第２絞り５１５）のみを示して第２絞りの２枚の羽根の形状を示す。さらに、同図（ｄ）では、第３絞り（第３絞り６１１）のみを示して第３絞りの２枚の羽根の形状を示す。
【０２７１】
なお、同図（ｂ）および（ｃ）は、図２２において示した（ｂ）および（ｃ）と同様のものであるため、ここでは、図３１（ａ）および（ｄ）について説明する。
【０２７２】
同図（ａ）には、上下方向に一対の開口部分が形成されている状態の絞り６１０が示されている。この絞り６１０では、第３絞り左側羽根６１２の右端と第３絞り右側羽根６１３の左端とが絞り６１０の中心付近でお互いに接するように第３絞りが配置されている。一方、第２絞り上側羽根５１６および第２絞り下側羽根５１７は、開放状態となり、被写体光を遮光しないように配置される。このように、第３絞り６１１により絞り６１０の中心付近を左右方向から遮光することにより、絞り６１０の上下方向に一対の開口部分を形成することができる。
【０２７３】
同図（ｄ）には、第３絞り（第３絞り６１１）を構成する２枚の羽根（第３絞り左側羽根６１２および第３絞り右側羽根６１３）のみが示されている。同図（ｄ）に示すように、第３絞り６１１は、第２絞り５１５（同図（ｃ）を参照）の配置方向を、９０度時計回りに回転させたもの（駆動方向が直交するもの）となる。すなわち、第３絞り左側羽根６１２および第３絞り右側羽根６１３は、三角形（山形）の凸形状の突出部が互いに対向するように配置される。なお、この三角形（山形）の凸形状の突出部は、視差方向に平行な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。
【０２７４】
このように、左右方向から絞り６１０の中心付近を遮光する第３絞り６１１を設けることにより、上下方向に一対の開口部分を設けることができる。
【０２７５】
［絞りにおける開口面の変化例］
図３２は、本技術の第４の実施の形態の絞り６１０が形成する開口部分の形状の一例を模式的に示す図である。
【０２７６】
同図（ａ）には、撮像装置６００を用いて横位置撮影をする場合における絞り６１０の各羽根の位置が模式的に示されている。横位置撮影をする場合には、同図（ａ）に示すように、第３絞り（第３絞り左側羽根６１２および第３絞り右側羽根６１３）を開放状態にする。また、第２絞り（第２絞り上側羽根５１６および第２絞り下側羽根５１７）を、図２２乃至図２４において示したように、一対の開口部分が形成されるように絞る（閉じる）。そして、第３絞りを開いたまま第２絞りおよび第１絞りを開閉することにより、図２２乃至図２４において示した絞り５１０と同様に、横位置撮影において明るさと基線長とを別々に制御することが出来る。
【０２７７】
図３２（ｂ）には、撮像装置６００を用いて縦位置撮影をする場合における絞り６１０の各羽根の位置が模式的に示されている。縦位置撮影をする場合には、同図（ｂ）に示すように、第２絞りを開放状態にし、第３絞りを、一対の開口部分が形成されるように絞る（閉じる）。そして、第２絞りを開いたまま第３絞りおよび第１絞りを開閉することにより、一対の開口部分の方向が異なる以外は同図（ａ）と同様の開閉をすることが出来る。すなわち、同図（ｂ）に示すように、第２絞りを開放状態にして第３絞りおよび第１絞りを開閉することにより、縦位置撮影において明るさと基線長とを別々に制御することが出来る。
【０２７８】
同図（ｃ）には、撮像装置６００を用いて２Ｄ画像を撮像する場合における絞り６１０の各羽根の位置が模式的に示されている。２Ｄ画像を撮像する場合には、同図（ｃ）に示すように、第２絞りおよび第３絞りを開放状態にする。そして、第１絞りのみを開閉させる。これにより、不要な被写体光の遮光を行わずに２Ｄ画像を撮像することができる。
【０２７９】
このように、本技術の第４の実施の形態によれば、横位置撮影および縦位置撮影のいずれにおいても明るさと基線長とを独立して制御することができる。
【０２８０】
＜６．絞りの変形例＞
本技術の第３および第４の実施の形態では、一対の開口部分を形成するとともに、明るさおよび基線長を自由に設定できる絞りについて説明した。なお、第３および第４の実施の形態において示した絞りは、明るさと基線長とを自由に組み合わせることができるが、簡便な３Ｄ撮像装置においては、そこまでの性能を必要としない場合が考えられる。この場合には、３Ｄ画像の撮像に適したより簡単な構成の絞りが求められる。
【０２８１】
そこで、第３および第４の実施の形態より簡単な構成の絞りを、図３３を参照して説明する。
【０２８２】
［絞りの一例］
図３３は、本技術の第３および第４の実施の形態の変形例として、３Ｄ画像の撮像に適した簡単な構成の絞りの例を模式的に示す図である。
【０２８３】
同図（ａ）および（ｂ）には、基線長を保持したまま明るさを制御することができる絞りが示されている。同図（ａ）には、２枚の羽根を備え、視差検出方向（左右）における両端の突出（中側は矩形の切り込み）により視差検出方向に長い長方形の開口面を形成する絞りが示されている。この絞りの長方形の開口面は、視差方向を長辺とする矩形の切欠部が互いに対向する２枚の羽根により形成される。また、同図（ｂ）には、２枚の羽根を備え、山切り状の突出（谷が２つ（隣接する一対の切欠部））により視差検出方向（左右）に一対の開口部分（４５度回転した正方形）を形成する絞りが示されている。同図（ａ）および（ｂ）に示すような絞りを、上下方向（視差検出方向に対して垂直方向）に開閉することにより、基線長を維持しながら明るさを制御することができる。
【０２８４】
同図（ｃ）および（ｄ）には、従来の絞りよりも基線長を長くすることができる絞りが示されている。同図（ｃ）には、左右方向（視差検出方向）に長く、上下方向に短い楕円形の開口部分を形成する絞りが示されている。この絞りの楕円形の開口部分は、視差方向を一辺（長い直径）とする半円形の切欠部が互いに対向する２枚の羽根により形成される。また、同図（ｄ）には、左右方向（視差検出方向）に長く、上下方向に短い菱形の開口部分を形成する絞りが示されている。この絞りの菱形の開口部分は、視差方向を底辺とする三角形の切欠部が互いに対向する２枚の羽根により形成される。同図（ｃ）および（ｄ）に示すような絞りを、上下方向に開閉することにより、従来の円形状の開口部分の絞りや、４５度回転した正方形状の開口部分の絞りと比較して、基線長を長くすることができる。
【０２８５】
同図（ｅ）には、本技術の第３および第４の実施の形態と同様に、明るさと基線長とを独立に制御できる絞りであって、第３および第４の実施の形態の絞りよりも制御が簡単な絞りが示されている。この同図（ｅ）では、視差検出方向（左右）の両端（左端および右端）から絞りの中心に向かって閉じる２枚の羽根と、上下の両端（上端および下端）から絞りの中心に向かって閉じる２枚の羽根とが示されている。なお、左端および右端から絞りの中心に向かって閉じる２枚の羽根は、視差方向に直交する直交方向に平行な辺が対向する一対の羽根である。また、上端および下端から絞りの中心に向かって閉じる２枚の羽根は、視差方向に平行な辺が対向する一対の羽根である。同図（ｅ）で示す絞りは、左右の絞りを開くと基線長が広がり、上下の絞りを開くと明るさが大きくなる。
【０２８６】
このような３Ｄ画像の撮像に適した絞りを撮像装置に設けることにより、良好な立体感の３Ｄ画像を撮像することができる。
【０２８７】
このように、本技術の実施の形態によれば、良好な３Ｄ画像を撮像することができる。なお、本技術の実施の形態においては、静止画を撮像する撮像装置を想定して説明したが、動画を撮像する撮像装置においても同様に実施することができる。
【０２８８】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２８９】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０２９０】
なお、本技術は以下のような構成もとることができる。
（１） １つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する視差検出画素と、前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子と、
前記視差検出画素が生成した信号に基づいて前記視差を検出し、前記画像生成画素が生成した信号に基づいて前記平面画像を生成し、前記検出した視差に基づいて前記生成した平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する立体視画像生成部と
を具備する撮像装置。
（２） 前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、
前記視差検出画素は、前記撮像素子における行方向のライン上および列方向のライン上に並んで配置され、
前記立体視画像生成部は、前記姿勢検出部が検出した姿勢に基づいて前記視差を検出する方向を前記撮像素子の行方向および列方向のいずれかから決定し、当該決定された方向に配置された前記視差検出画素が生成した信号に基づいて前記視差に関する情報を生成する
前記（１）に記載の撮像装置。
（３） 前記視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行う合焦判定部をさらに具備する
前記（１）または（２）に記載の撮像装置。
（４） 前記撮像素子は、前記視差検出画素が特定方向におけるライン上に隣接して配置される前記（１）から（３）のいずれかに記載の撮像装置。
（５） 前記撮像素子は、前記視差検出画素が特定方向におけるライン上に所定の間隔置きに配置される前記（１）から（３）のいずれかに記載の撮像装置。
（６） 前記撮像素子と前記射出瞳の大きさとの関係に基づいて、前記視差検出画素における複数の受光素子を覆う前記１つのマイクロレンズを当該マイクロレンズの光軸方向へ移動させる制御部をさらに具備する前記（１）から（５）のいずれかに記載の撮像装置。
（７） 前記視差検出画素における複数の受光素子は、同一のカラーフィルタにより覆われている前記（１）から（６）のいずれかに記載の撮像装置。
（８） 前記視差検出画素における複数の受光素子は、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている前記（７）に記載の撮像装置。
（９） 前記視差検出画素における複数の受光素子は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われている前記（７）に記載の撮像装置。
（１０） 前記画像生成画素は、前記画素単位ごとに１つの受光素子を備える前記（１）から（９）のいずれかに記載の撮像装置。
（１１） 前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズにより集光された前記被写体光を前記複数の受光素子のそれぞれの位置に集光するためのマイクロレンズが、当該複数の受光素子を当該複数の受光素子ごとに覆う前記（１）から（１０）のいずれかに記載の撮像装置。
（１２） 前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を当該複数の受光素子ごとに覆う前記マイクロレンズの光軸方向と直交する同一面上に配置される前記（１１）に記載の撮像装置。
（１３） 前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズの光軸方向と直交する同一面上に配置される前記（１）から（１１）のいずれかに記載の撮像装置。
（１４） １つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより立体視画像を生成する際に用いられる視差を検出するための信号を生成する視差検出画素と、
前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより前記視差を用いて前記立体視画像を生成する際に用いられる平面画像を生成するための信号を生成する画像生成画素と
を具備する撮像素子。
（１５） 前記視差は、前記平面画像における被写体像のそれぞれの位置を前記視差方向に調整して前記立体視画像を生成する際における前記被写体像のそれぞれの位置のずれ量に関する情報であり、
前記視差検出画素は、前記視差方向にライン上に配置される
前記（１４）に記載の撮像素子。
（１６） １つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
を具備する画像処理方法。
（１７） １つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０２９１】
１００ 撮像装置
１１０ レンズ部
１１１ ズームレンズ
１１２ 絞り
１１３ フォーカスレンズ
１２０ 操作受付部
１３０ 制御部
１４０ 姿勢検出部
１５１ 表示部
１５２ 記憶部
１７０ 駆動部
２００ 撮像素子
２３０ 視差検出画素
３００ 信号処理部
３１０ ２Ｄ画像生成部
３２０ 視差検出部
３３０ ３Ｄ画像生成部
４００ 撮像装置
４１０ 合焦判定部
５００ 撮像装置
５１０ 絞り
５２０ 基線長設定部
５３０ 絞り駆動設定部
【技術分野】
【０００１】
本技術は、撮像装置に関し、特に、立体視画像を生成する撮像装置、撮像素子、画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための画像データを生成するデジタルスチルカメラやデジタルビデオカメラ（カメラ一体型レコーダ）等の撮像装置が提案されている。
【０００３】
例えば、２つのレンズと１つの撮像素子とを備え、立体視画像を表示するための２つの画像（左眼視用画像および右眼視用画像）を生成する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３０９８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、２つのレンズと１つの撮像素子とを用いて２つの画像（左眼視用画像および右眼視用画像）を生成することができる。しかしながら、偏光フィルタを用いているため、光量が減少するおそれがある。また、特定の偏光を備えている被写体光（例えば、ガラスからの反射光や水面からの反射光）からの光を受光することができないおそれがある。
【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、立体視画像の画質の劣化を低減させることを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する視差検出画素と、上記被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子と、上記視差検出画素が生成した信号に基づいて上記視差を検出し、上記画像生成画素が生成した信号に基づいて上記平面画像を生成し、上記検出した視差に基づいて上記生成した平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する立体視画像生成部とを具備する撮像装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、視差検出画素が生成した信号に基づいて視差を検出し、画像生成画素が生成した信号に基づいて平面画像を生成し、検出した視差に基づいて平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、上記視差検出画素は、上記撮像素子における行方向のライン上および列方向のライン上に並んで配置され、上記立体視画像生成部は、上記姿勢検出部が検出した姿勢に基づいて上記視差を検出する方向を上記撮像素子の行方向および列方向のいずれかから決定し、当該決定された方向に配置された上記視差検出画素が生成した信号に基づいて上記視差に関する情報を生成するようにしてもよい。これにより、姿勢検出部が検出した姿勢に基づいて視差を検出する方向を決定させ、決定された方向に配置された視差検出画素が生成した信号に基づいて視差に関する情報を生成させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行う合焦判定部をさらに具備するようにしてもよい。これにより、視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行なわせるという作用をもたらす。
【００１０】
また、この第１の側面において、上記撮像素子は、上記視差検出画素が特定方向におけるライン上に隣接して配置されるようにしてもよい。これにより、視差検出画素が特定方向におけるライン上に隣接して配置されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記撮像素子は、上記視差検出画素が特定方向におけるライン上に所定の間隔置きに配置されるようにしてもよい。これにより、視差検出画素がアイランド状に配置されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記撮像素子と上記射出瞳の大きさとの関係に基づいて、上記視差検出画素における複数の受光素子を覆う１つのマイクロレンズを当該マイクロレンズの光軸方向へ移動させる制御部をさらに具備するようにしてもよい。これにより、複数の大きさの射出瞳に対して視差が検出されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記視差検出画素における複数の受光素子は、同一のカラーフィルタにより覆われているようにしてもよい。これにより、視差検出画素における複数の受光素子を同一の分光特性にさせるという作用をもたらす。また、この場合において、上記視差検出画素における複数の受光素子は、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われているようにしてもよい。これにより、視差検出画素における複数の受光素子のカラーフィルタとして緑フィルタを設けさせるという作用をもたらす。
【００１４】
また、この場合において、上記視差検出画素における複数の受光素子は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われているようにしてもよい。これにより、視差検出画素における複数の受光素子のカラーフィルタとして白フィルタまたは透明層を設けさせるという作用をもたらす。
【００１５】
また、この第１の側面において、上記画像生成画素は、上記画素単位ごとに１つの受光素子を備えるようにしてもよい。これにより、画素単位ごとに１つの受光素子を備える画像生成画素が生成した信号に基づいて平面画像を生成させるという作用をもたらす。
【００１６】
また、この第１の側面において、上記視差検出画素における上記複数の受光素子を覆う上記１つのマイクロレンズにより集光された上記被写体光を上記複数の受光素子のそれぞれの位置に集光するためのマイクロレンズが、当該複数の受光素子を当該複数の受光素子ごとに覆うようにしてもよい。これにより、視差検出画素には、複数の受光素子を覆う１つのマイクロレンズと、この１つのマイクロレンズが集光した被写体光を複数の受光素子のそれぞれの位置にさらに集光するためのマイクロレンズとが設けられるという作用をもたらす。
【００１７】
また、この第１の側面において、上記画像生成画素における上記受光素子を覆う上記マイクロレンズは、上記視差検出画素における上記複数の受光素子を当該複数の受光素子ごとに覆う上記マイクロレンズの光軸方向と直交する同一面上に配置されるようにしてもよい。これにより、視差検出画素の複数の受光素子のそれぞれを覆うマイクロレンズと、画像生成画素におけるマイクロレンズとが同じ層に設けられるという作用をもたらす。
【００１８】
また、この第１の側面において、上記画像生成画素における上記受光素子を覆う上記マイクロレンズは、上記視差検出画素における上記複数の受光素子を覆う上記１つのマイクロレンズの光軸方向と直交する同一面上に配置されるようにしてもよい。これにより、視差検出画素における複数の受光素子を覆う１つのマイクロレンズと、画像生成画素のマイクロレンズとが同じ層に設けられるという作用をもたらす。
【００１９】
また、本技術の第２の側面は、１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより立体視画像を生成する際に用いられる視差を検出するための信号を生成する視差検出画素と、前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより前記視差を用いて前記立体視画像を生成する際に用いられる平面画像を生成するための信号を生成する画像生成画素とを具備する撮像素子である。これにより、１つのマイクロレンズにより覆われた複数の受光素子を備える視差検出画素と、小さいマイクロレンズにより画素単位で覆われた受光素子を備える画像生成画素とを撮像素子に具備させるという作用をもたらす。
【００２０】
また、この第２の側面において、前記視差は、前記平面画像における被写体像のそれぞれの位置を前記視差方向に調整して前記立体視画像を生成する際における前記被写体像のそれぞれの位置のずれ量に関する情報であり、前記視差検出画素は、前記視差方向にライン上に配置されるようにしてもよい。これにより、視差方向にライン上に配置された視差検出画素からの信号が平面画像における被写体像のそれぞれの位置をずらす量の算出に用いられるという作用をもたらす。
【発明の効果】
【００２１】
本技術によれば、立体視画像の画質の劣化を低減させることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２２】
【図１】本技術の第１の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。
【図２】本技術の第１の実施の形態における撮像素子２００に備えられる画素の配置の一例を示す模式図である。
【図３】本技術の第１の実施の形態における撮像素子２００に備えられる画像生成画素および視差検出画素の一例を示す模式図である。
【図４】本技術の第１の実施の形態における画像生成画素および視差検出画素の断面構成の一例を示す模式図である。
【図５】本技術の第１の実施の形態における視差検出画素が受光する被写体光を模式的に示す図である。
【図６】本技術の第１の実施の形態における視差検出画素２３０による視差検出の原理を模式的に示す図である。
【図７】本技術の第１の実施の形態における撮像装置１００を用いて横位置撮影を行う場合における視差検出画素２３０による視差検出の方向の一例を模式的に示す図である。
【図８】本技術の第１の実施の形態における撮像装置１００を用いて縦位置撮影を行う場合における視差検出画素２３０による視差検出の方向の一例を模式的に示す図である。
【図９】本技術の第１の実施の形態の撮像装置１００における３Ｄ画像の生成例を示す模式図である。
【図１０】本技術の第１の実施の形態における撮像装置１００によって立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
【図１１】本技術の第１の実施の形態の撮像処理手順における立体画像生成処理（ステップＳ９２０）の処理手順例を示すフローチャートである。
【図１２】本技術の第２の実施の形態の撮像装置４００の機能構成の一例を示すブロック図である。
【図１３】本技術の第２の実施の形態において視差検出画素２３０における９つの画素回路の画素値を用いたオートフォーカスの概念を模式的に示す図である。
【図１４】本技術の第２の実施の形態における合焦判定部４１０による位相差検出による合焦判定を模式的に示す図である。
【図１５】本技術の第２の実施の形態における撮像装置４００による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
【図１６】本技術の第２の実施の形態の撮像処理手順における合焦処理（ステップＳ９４０）の処理手順例を示すフローチャートである。
【図１７】本技術の第１および第２の実施の形態の第１の変形例として、視差検出画素が行方向にのみライン状に配置される撮像素子の一例を模式的に示す図である。
【図１８】本技術の第２の変形例として、視差検出画素が、行方向および列方向に所定の間隔ずつ離れて配置（アイランド状に配置）される撮像素子の一例を模式的に示す図である。
【図１９】本技術の第３乃至第５の変形例として、画像生成画素および視差検出画素の断面構成の変形例を模式的に示す図である。
【図２０】本技術の第６乃至第９の変形例として、視差検出画素の変形例を示す模式図である。
【図２１】本技術の第３の実施の形態の撮像装置５００の機能構成の一例を示すブロック図である。
【図２２】本技術の第３の実施の形態の絞り５１０の一例を模式的に示す図である。
【図２３】本技術の第３の実施の形態の絞り５１０を、基線長は一定にして開口面積のみが変化するように駆動する場合の第１絞り５１１および第２絞り５１５の駆動方向を模式的に示す図である。
【図２４】本技術の第３の実施の形態の絞り５１０を、開口面積を一定にして基線長のみが変化するように駆動する場合の第１絞り５１１および第２絞り５１５の駆動方向を模式的に示す図である。
【図２５】本技術の第３の実施の形態の絞り５１０における開口部分の形状を平面画像を撮像するのに適した形状にする場合を模式的に示す図である。
【図２６】本技術の第３の実施の形態において表示部１５１に表示される撮像画像の設定画面および３Ｄ強度の設定画面を模式的に示す図である。
【図２７】本技術の第３の実施の形態における絞り５１０による基線長の変化による像の変化を模式的に示す図である。
【図２８】本技術の第３の実施の形態における絞り５１０における開口面と、従来の絞りにおける開口面との違いを模式的に示す図である。
【図２９】本技術の第３の実施の形態における撮像装置５００による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
【図３０】本技術の第４の実施の形態の撮像装置６００の機能構成の一例を示すブロック図である。
【図３１】本技術の第４の実施の形態の絞り６１０の一例を模式的に示す図である。
【図３２】本技術の第４の実施の形態の絞り６１０が形成する開口部分の形状の一例を模式的に示す図である。
【図３３】本技術の第３および第４の実施の形態の変形例として、３Ｄ画像の撮像に適した簡単な構成の絞りの例を模式的に示す図である。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（撮像制御：視差検出画素により視差を検出して３Ｄ画像を生成する例）
２．第２の実施の形態（撮像制御：視差検出画素の画素値を用いて位相差検出を行う例）
３．変形例
４．第３の実施の形態（絞り制御：横位置撮影において明るさと基線長を独立して制御する例）
５．第４の実施の形態（絞り制御：横位置撮影および縦位置撮影の両方において明るさと基線長とを独立して制御する例）
６．変形例
【００２４】
＜１．第１の実施の形態＞
［撮像装置の機能構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。撮像装置１００は、単眼で３Ｄの画像を生成する撮像装置である。この撮像装置１００は、被写体を撮像して画像データ（撮像画像）を生成し、生成された画像データを２Ｄまたは３Ｄの画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録する撮像装置である。なお、以下では、画像コンテンツ（画像ファイル）として静止画コンテンツ（静止画ファイル）を記録する例を主に示す。
【００２５】
撮像装置１００は、レンズ部１１０と、操作受付部１２０と、制御部１３０と、撮像素子２００と、信号処理部３００と、姿勢検出部１４０と、表示部１５１と、記憶部１５２と、駆動部１７０とを備える。
【００２６】
レンズ部１１０は、被写体からの光（被写体光）を集光するためのものである。このレンズ部１１０は、ズームレンズ１１１と、絞り１１２と、フォーカスレンズ１１３とを備える。
【００２７】
ズームレンズ１１１は、駆動部１７０の駆動により光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。
【００２８】
絞り１１２は、駆動部１７０の駆動により開口の度合いを変化させて、撮像素子２００に入射する被写体光の光量を調整するための遮蔽物である。
【００２９】
フォーカスレンズ１１３は、駆動部１７０の駆動により光軸方向に移動することによりフォーカスを調整するものである。
【００３０】
操作受付部１２０は、ユーザからの操作を受け付けるものである。この操作受付部１２０は、例えば、シャッターボタン（図示せず）が押下された場合には、その押下に関する信号を、操作信号として制御部１３０に供給する。
【００３１】
制御部１３０は、撮像装置１００における各部動作を制御するものである。なお、図１では、主要な信号線のみを示し、他は省略する。例えば、この制御部１３０は、シャッターボタンが押下されて、静止画像の記録を開始するための操作信号を受け付けた場合には、静止画像の記録実行に関する信号を、信号処理部３００に供給する。
【００３２】
撮像素子２００は、受光した被写体光を電気信号に光電変換するイメージセンサである。この撮像素子２００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどのｘ−ｙアドレス型のセンサや、ＣＣＤ（Charge Coupled Device）センサなどにより実現される。撮像素子２００には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素（画像生成画素）と、３Ｄ画像を生成するための視差を検出するための画素（視差検出画素）とが配置される。なお、撮像素子２００については、図２を参照して説明する。また、画像生成画素および視差検出画素については、図３乃至図６を参照して説明する。撮像素子２００は、光電変換により発生した電気信号（画像信号）を、フレーム（画像データ）ごとに信号処理部３００に供給する。
【００３３】
信号処理部３００は、撮像素子２００から供給された電気信号に所定の信号処理を施すものである。この信号処理部３００は、例えば、撮像素子２００から供給された電気信号をデジタルの電気信号（画素値）に変換した後に、黒レベル補正、欠陥補正、シェーディング補正、混色補正等を行う。また、この信号処理部３００は、各補正を行った電気信号に基づいて、３Ｄ画像（立体画像）を生成する。この信号処理部３００は、３Ｄ画像を生成するための機能構成として、２Ｄ画像生成部３１０と、視差検出部３２０と、３Ｄ画像生成部３３０とを備える。なお、信号処理部３００は、特許請求の範囲に記載の立体視画像生成部の一例である。
【００３４】
２Ｄ画像生成部３１０は、画像生成画素の電気信号（画素値）に基づいて、２Ｄ画像（平面画像）を生成するものである。この２Ｄ画像生成部３１０は、視差検出画素の位置に対応する電気信号（画素値）を、画像生成画素の電気信号（画素値）に基づいて補間し、そしてデモザイク処理を行うことにより平面画像を生成する。２Ｄ画像生成部３１０は、生成した平面画像を３Ｄ画像生成部３３０に供給する。
【００３５】
視差検出部３２０は、視差検出画素の電気信号（画素値）に基づいて、視差情報画像を生成するものである。ここで、視差情報画像とは、左眼画像と右眼画像との間の差（視差）に関する情報（視差情報）を含む画像である。視差検出部３２０は、生成した視差情報画像を３Ｄ画像生成部３３０に供給する。
【００３６】
３Ｄ画像生成部３３０は、視差情報画像および２Ｄ画像に基づいて、３Ｄ画像（立体画像）を生成するものである。この３Ｄ画像生成部３３０は、３Ｄ画像として、左眼画像および右眼画像を生成する。３Ｄ画像生成部３３０は、例えば、視差情報画像が示す視差情報に基づいて２Ｄ画像における撮像された各撮像物体の像の位置をずらすことにより３Ｄ画像を生成する。３Ｄ画像生成部３３０は、生成した左眼画像のデータ（左眼画像データ）および右眼画像のデータ（右眼画像データ）を、立体画像コンテンツとして記憶部１５２に記憶させる。また、画像生成部３３０は、左眼画像データおよび右眼画像データを、立体画像コンテンツとして表示部１５１に表示させる。
【００３７】
姿勢検出部１４０は、撮像装置１００の姿勢（傾き）を検出するものである。この姿勢検出部１４０は、例えば、ジャイロセンサーや加速度センサにより実現される。姿勢検出部１４０は、検出した撮像装置１００の姿勢に関する情報（姿勢情報）を視差検出部３２０に供給する。
【００３８】
表示部１５１は、３Ｄ画像生成部３３０から供給された立体画像コンテンツに基づいて、画像を表示するものである。この表示部１５１は、例えば、カラー液晶パネルにより実現される。
【００３９】
記憶部１５２は、３Ｄ画像生成部３３０から供給された立体画像コンテンツを記録するものである。例えば、この記憶部１５２として、ＤＶＤ（Digital Versatile Disk）等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体（１または複数の記録媒体）を用いることができる。また、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。
【００４０】
駆動部１７０は、ズームレンズ１１１、絞り１１２およびフォーカスレンズ１１３を駆動させるものである。例えば、駆動部１７０は、制御部１３０からフォーカスレンズ１１３を移動させるための命令が供給された場合には、その命令に基づいて、フォーカスレンズ１１３を移動させる。
【００４１】
［撮像素子における画素の配置例］
図２は、本技術の第１の実施の形態における撮像素子２００に備えられる画素の配置の一例を示す模式図である。なお、本技術の実施の形態では、撮像素子における受光面上の画素配置を説明する場合（例えば、図２、図３、図７）には、説明の便宜上、撮像素子における受光面の裏側から見た場合を模式的に図示して説明する。
【００４２】
同図では、上下方向をＹ軸とし、左右方向をＸ軸とするＸＹ軸を想定して説明する。また、同図において、左下隅をＸＹ軸における原点とし、下から上へ向かう方向をＹ軸の＋側とし、左から右へ向かう方向をＸ軸の＋側とする。なお、同図では、撮像素子２００における特定方向（撮像画像の水平方向（左右方向）に対応する方向）をＸ軸方向とし、特定方向と直交する直交方向（撮像画像の垂直方向（上下方向）に対応する方向）をＹ軸方向とする。また、同図では、奥から手前へ向かう方向をＺ軸の＋側とする。なおＺ軸は、光軸と平行な軸であり、Ｚ軸のプラス方向は、被写体から撮像素子に向かう被写体光の進行方向とする。また、この撮像素子２００における信号の読み出し方向は、Ｘ軸方向（行単位で読み出される）であり、また、撮像素子２００の長辺方向はＸ軸方向であり、短辺方向はＹ軸方向であるものとする。
【００４３】
同図（ａ）では、説明の便宜上、撮像素子２００を構成する各画素のうちの一部の画素の領域（領域２１０）を用いて画素配置を説明する。なお、撮像素子２００における画素の配置は、領域２１０において示す画素配置を１つの単位として、この単位に対応する画素配置（領域２１０に対応する画素配置）が、Ｘ軸方向およびＹ軸方向に繰り返される配置である。なお、同図（ｂ）では、領域２１０に示す画素配置がＸ軸方向およびＹ軸方向に繰り返された領域（領域２５０）が模式的に示されている。
【００４４】
同図（ａ）には、撮像素子２００における一部の領域（領域２１０）における画像生成画素および視差検出画素の画素配置が示されている。
【００４５】
同図では、１つの画素回路を１つの正方形（同図（ａ）における最も小さい正方形）で示す。なお、本技術の第１の実施の形態において、画像生成画素については、１つの画素回路が１つの画素を構成するため、１つの正方形が１つの画像生成画素を示す。
【００４６】
撮像素子２００には、画像生成画素として、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）と、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）とが配置される。また、撮像素子２００には、Ｒ画素およびＧ画素の他に、画像生成画素として、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）が配置される。領域２１０において、Ｒ画素、Ｇ画素およびＢ画素は、点が付された正方形、白が付された正方形、グレーが付された正方形により示されている（例えば、領域２２０内の画素を参照）。
【００４７】
視差検出画素２３０は、３Ｄ画像を生成するための視差を検出する画素である。この視差検出画素２３０は、９つの画素回路により構成される。この視差検出画素２３０には、９つの画素回路を覆う１つのマイクロレンズが備えられる。なお、画像生成画素にはこの９つの画素を覆うマイクロレンズは備えられない。視差検出画素２３０は、緑色（Ｇ）の光を透過するカラーフィルタにより９つの画素回路が均一に覆われている。領域２１０において、視差検出画素２３０は、９つの画素回路（９つの最も小さい正方形）を太線の正方形で囲み、さらに、太線の正方形の中に太線の１つの円形（マイクロレンズを表す）を付して示されている。すなわち、領域２１０における画素回路の行のうちの真ん中の３行（同図（ａ）の行Ｒ１）と、画素回路の列のうちの真ん中の３行（同図（ａ）の列Ｃ１参照）とに視差検出画素２３０が配置される。
【００４８】
なお、画層生成画素については、同図（ａ）における領域２２５を用いて、図３（ａ）を参照して説明する。また、視差検出画素については、図３（ｂ）を参照して説明する。また、画層生成画素および視差検出画素の断面構成については、図４（ｂ）を参照して説明する。
【００４９】
図２（ｂ）には、同図（ａ）において示した領域２１０がＸ軸方向およびＹ軸方向に繰り返された領域が示されている。撮像素子２００における画素配置は、同図（ａ）において示した領域が、Ｘ軸方向およびＹ軸方向に繰り返される画素配置である。これにより、視差検出画素２３０は、同図（ｂ）の領域２５０における太線（視差検出画素ライン２３４）に示すように、撮像素子２００の行方向および列方向に対して任意の画素周期でライン状（格子模様状）に配置される。
【００５０】
［画像生成画素および視差検出画素の一例］
図３は、本技術の第１の実施の形態における撮像素子２００に備えられる画像生成画素および視差検出画素の一例を示す模式図である。
【００５１】
同図（ａ）には、図２（ａ）の領域２２５における９つの画像生成画素が示されている。同図（ａ）では、画像生成画素（Ｒ画素、Ｇ画素、Ｂ画素）が、符号（Ｒ、Ｇ、Ｂ）および模様（Ｒ画素はグレーを付した領域、Ｇ画素は白を付した領域、Ｂ画素は点を付した領域）により示されている。なお、Ｇ画素については、Ｒ画素（Ｒ画素２２６）を含む行（ライン）におけるＧ画素がＧｒ画素２２７として示され、Ｂ画素（Ｂ画素２２９）を含む行（ライン）におけるＧ画素がＧｂ画素２２８として示されている。
【００５２】
また、同図（ａ）では、各画像生成画素に配置されるマイクロレンズが、破線の円（マイクロレンズ２６１）により示されている。撮像素子２００には、２種類のマイクロレンズを形成するため２つのマイクロレンズの層が設けられるが、マイクロレンズ２６１は、カラーフィルタの層に近いマイクロレンズの層により形成される。なお、画像生成画素の断面図を図４（ｂ）において説明するため、ここでの詳細な説明を省略する。
【００５３】
領域２２５（図２（ａ）も参照）に示すように、画像生成画素は、ベイヤー配列により配置される。また、各画像生成画素には、それぞれの画素をそれぞれ覆うマイクロレンズが１つずつ備えられる。
【００５４】
図３（ｂ）には、視差検出画素（視差検出画素２３０）が示されている。同図（ｂ）において示す視差検出画素２３０では、視差検出画素２３０における９つの画素回路を、１乃至９の符号を付した正方形（画素回路１乃至９と称する）により示す。この画素回路１乃至９は、緑色（Ｇ）の光を透過するカラーフィルタにより全ての画素回路が均一に覆われている。
【００５５】
また、視差検出画素２３０には、各画素回路に備えられるマイクロレンズが、破線の円（マイクロレンズ２６１）により示されている。視差検出画素２３０におけるマイクロレンズ２６１は、画像生成画素におけるマイクロレンズ（マイクロレンズ２６１）と同様のものであり、カラーフィルタの層に近いマイクロレンズの層により形成される。
【００５６】
さらに、視差検出画素２３０には、視差検出画素２３０における９つのマイクロレンズ２６１を全て覆うように（画素回路１乃至９を全て覆うように）、１つの大きなマイクロレンズが備えられる。同図（ｂ）では、この大きなマイクロレンズが、太い円（視差検出用マイクロレンズ２３１）により示されている。
【００５７】
同図（ｂ）に示すように、視差検出画素２３０では、１つの大きなマイクロレンズが、９つの画素回路を覆うように配置される。また、視差検出画素２３０では、緑色（Ｇ）の光を透過するカラーフィルタにより９つの画素回路が均一に覆われている。
【００５８】
［画像生成画素および視差検出画素の断面構成例］
図４は、本技術の第１の実施の形態における画像生成画素および視差検出画素の断面構成の一例を示す模式図である。
【００５９】
同図（ａ）には、同図（ｂ）において示す断面構成の断面位置を説明するため、撮像素子２００の受光面の裏側から見た３行×９列の画素回路と、同図（ｂ）の断面位置（ａ−ｂ線）とが示されている。同図（ｂ）では、同図（ａ）に示すように、３行×９列の画素回路のうち、真ん中の３列における画素回路が視差検出画素であることを想定して説明する。
【００６０】
同図（ｂ）には、同図（ａ）におけるａ−ｂ線に沿った断面構成が示されている。同図（ｂ）では、マイクロレンズ２６１と、Ｒフィルタ２６２と、Ｇフィルタ２６３と、受光素子２６４と、配線２６９と、視差検出画素２３０と、視差検出用マイクロレンズ２３１と、Ｇフィルタ２３２とが示されている。また、同図（ｂ）には、マイクロレンズ層Ｓ１および視差検出用マイクロレンズ層Ｓ２とが示されている。
【００６１】
マイクロレンズ２６１は、被写体光を受光素子に集光するためのレンズである。このマイクロレンズ２６１は、各画素回路に１つずつ設けられる。また、マイクロレンズ２６１は、撮像素子に設けられる２つのマイクロレンズの層（マイクロレンズ層Ｓ１および視差検出用マイクロレンズ層Ｓ２）のうちの、マイクロレンズ層Ｓ１（受光素子２６４に近い方の層）に設けられる。
【００６２】
受光素子２６４は、受けた光を電気信号に変換（光電変換）することによって、受けた光の量に応じた強さの電気信号を生成するものである。この受光素子２６４は、例えば、フォトダイオード（ＰＤ：Photo Diode）により構成される。受光素子２６４は、各画素回路に１つずつ設けられる。すなわち、９つの画素回路から構成される視差検出画素２３０には、９つの受光素子が設けられている。
【００６３】
Ｒフィルタ２６２、Ｇフィルタ２６３およびＧフィルタ２３２は、特定の波長域の光を透過するカラーフィルタである。Ｒフィルタ２６２は、赤色（Ｒ）を示す波長域の光を透過するカラーフィルタであり、Ｒ画素の受光素子に赤色を示す波長域の光を受光させる。また、Ｇフィルタ２６３およびＧフィルタ２３２は、緑色（Ｇ）を示す波長域の光を透過するカラーフィルタである。Ｇフィルタ２６３はＧ画素の受光素子に緑色を示す波長域の光を受光させ、Ｇフィルタ２３２は視差検出画素２３０の受光素子に緑色を示す波長域の光を受光させる。カラーフィルタは、画像生成画素においては、画像生成画素が受光する波長域（Ｒ、ＧまたはＢ）の光に応じたフィルタ（Ｒフィルタ２６２、Ｇフィルタ２６３、またはＢフィルタ）が設けられる。また、視差検出画素においては、Ｇフィルタ２６３により、視差検出画素における９つの画素回路全てが覆われる。
【００６４】
配線２６９は、各画素回路における各回路を接続するための配線である。この各回路を接続するための配線は、例えば、同図（ｂ）に示す配線２６９のように、３本の配線が光軸に対して層状に配置される。また、配線２６９は、メタルであるため、隣接する画素へ洩れ込む被写体光を遮光する遮光層としても機能する。また、配線２６９は、各画素回路の端において、受光素子に入射する光を妨げないように配置される。
【００６５】
視差検出用マイクロレンズ２３１は、視差を検出するために被写体光を集光するレンズである。この視差検出用マイクロレンズ２３１は、２つのマイクロレンズの層のうちの、受光素子から遠い方の層（視差検出用マイクロレンズ層Ｓ２）において形成される。すなわち、視差検出画素２３０において、視差検出用マイクロレンズ２３１は、視差検出画素２３０のマイクロレンズ（マイクロレンズ２６１）の上（Ｚ軸方向においてマイナス側）に、マイクロレンズ２６１を覆うように配置される。なお、視差検出用マイクロレンズ層Ｓ２における画像生成画素の位置には、マイクロレンズは形成されずに、光の通過を妨げない平坦な面となる。
【００６６】
次に、視差検出画素の視差検出用マイクロレンズに入射する被写体光と画素回路との関係について、図５を参照して説明する。
【００６７】
［視差検出画素へ入射する被写体光の例］
図５は、本技術の第１の実施の形態における視差検出画素が受光する被写体光を模式的に示す図である。
【００６８】
同図では、視差検出画素２３０の断面構成が同図（ｂ）に示され、この視差検出画素２３０からみた絞りの形状である射出瞳（射出瞳Ｅ１）が同図（ａ）に模式的に示されている。なお、射出瞳は、本来は円形に近い形であるが、説明の便宜上、同図（ａ）では、Ｙ軸方向を短くした射出瞳（楕円形）を示す。また、射出瞳については、撮像素子２００側から見た場合の図を示す。
【００６９】
なお、同図（ｂ）において示す視差検出画素２３０の断面構成は、図４（ｂ）における視差検出画素２３０の断面構成と同じである。また、図４（ｂ）では、画素回路４（図３（ｂ）参照）の受光素子が受光素子（４）２９１として示され、画素回路５の受光素子が受光素子（５）２９２として示され、画素回路６の受光素子が受光素子（６）２９３として示されている。
【００７０】
さらに、同図（ｂ）には、受光素子（４）２９１が受光する被写体光の一部が、点を多く付した領域（領域Ｒ２３）により示されている。また、受光素子（５）２９２が受光する被写体光の一部が、グレーを付した領域（領域Ｒ２２）により示されている。さらに、受光素子（６）２９３が受光する被写体光の一部が、点を少なく付した領域（領域Ｒ２１）により示されている。
【００７１】
また、同図（ａ）の射出瞳Ｅ１には、同図（ｂ）の領域２１により示した被写体光（画素回路６が受光する被写体光）が通過する領域が、射出瞳Ｅ１における点を少なく付した領域（領域Ｒ１１）により示されている。同様に、領域２２により示した被写体光（画素回路５が受光する被写体光）が通過する領域が、射出瞳Ｅ１におけるグレーを付した領域（領域Ｒ１２）により示され、領域２３により示した被写体光（画素回路４が受光する被写体光）が通過する領域が、射出瞳Ｅ１における点を多く付した領域（領域Ｒ１３）により示されている。さらに射出瞳Ｅ１にはその他の画素回路により受光される被写体光が通過する領域が、領域１４乃至１９により示されている。
【００７２】
ここで、受光素子（４）乃至（６）２９１乃至２９３がそれぞれ受光する被写体光と、射出瞳Ｅ１における領域Ｒ１１乃至Ｒ１３との間の関係について説明する。視差検出用マイクロレンズ２３１は、射出瞳Ｅ１における特定の領域（それぞれの受光素子に対応する領域）を通過した被写体光が画素回路１乃至９のそれぞれの受光素子に受光されるように被写体光を集光する役割を果たす。これにより、画素回路４の受光素子（受光素子（４）２９１）は、領域Ｒ１３を通過した被写体光を受光する。また、画素回路５の受光素子（受光素子（５）２９２）は、領域Ｒ１２を通過した被写体光を受光し、画素回路６の受光素子（受光素子（６）２９３）は、領域Ｒ１１を通過した被写体光を受光する。なお、図示はしていない画素回路１乃至３および画素回路７乃至９についても同様である。画素回路１の受光素子は領域１９を通過した被写体光を受光し、画素回路２の受光素子は領域１８を通過した被写体光を受光し、画素回路３の受光素子は領域１７を通過した被写体光を受光する。また、画素回路７の受光素子は領域１６を通過した被写体光を受光し、画素回路８の受光素子は領域１５を通過した被写体光を受光し、画素回路９の受光素子は領域１４を通過した被写体光を受光する。
【００７３】
［視差検出画素による視差検出の原理の一例］
図６は、本技術の第１の実施の形態における視差検出画素２３０による視差検出の原理を模式的に示す図である。
【００７４】
同図（ａ）および（ｃ）では、射出瞳（射出瞳Ｅ１）の左側を通過する被写体光（ユーザの左眼が受光する被写体光に相当）の像面における結像位置が模式的に示されている。また、同図（ｂ）および（ｄ）では、射出瞳（射出瞳Ｅ１）の右側を通過する被写体光（ユーザの右眼が受光する被写体光に相当）の像面における結像位置が模式的に示されている。
【００７５】
同図（ａ）および（ｂ）には、フォーカスが合っている物体（合焦物体）が、射出瞳Ｅ１の上方（Ｚ軸方向において射出瞳Ｅ１よりマイナス側）の黒い矩形（合焦物体２７１）により示されている。また、合焦物体２７１より撮像装置１００に近い位置にある物体（近位置物体）が、射出瞳Ｅ１の上方であって合焦物体２７１より下の位置の点を付した円形（近位置物体２７２）により示されている。なお、合焦物体２７１および近位置物体２７２は、説明の便宜上、射出瞳Ｅ１の中心を通過する線であって、レンズの光軸に平行な線（同図（ａ）および（ｂ）における鎖線）の上にあることを想定する。
【００７６】
また、合焦物体２７１および近位置物体２７２からの光の光路が、射出瞳Ｅ１を通過して、像面まで伸びる線（合焦物体２７１は実線（線Ｌ１または線Ｌ３）、近位置物体２７２は破線（線Ｌ２または線Ｌ４））により示されている。そして、合焦物体２７１および近位置物体２７２の像面における結像位置が、線Ｌ１乃至Ｌ４と像面とが交差する位置の黒い矩形および点を付した円形により示されている。なお、近位置物体２７２からの光については、この近位置物体２７２に対して合焦していることを想定した場合の結合位置が、破線（線Ｌ２または線Ｌ４）と鎖線が交差する位置における破線の円形により模式的に示されている。
【００７７】
また、図６（ｃ）および（ｄ）には、同図（ａ）および（ｂ）において示した像面を裏側（撮像素子２００の受光面の反対側）から見た像（画像２８１および２８２）が模式的に示されている。画像２８１には、黒い矩形および点を付した円形が示され、また、黒い矩形と点を付した円形との間の距離（−ΔＸ）が示されている。同様に、画像２８２には、黒い矩形と、点を付した円形と、距離（＋ΔＸ）とが示されている。
【００７８】
ここで、射出瞳Ｅ１の左側を通過する被写体光の結像位置および右側を通過する被写体光の結像位置について、同図（ａ）乃至（ｄ）を用いて説明する。
【００７９】
まず、フォーカスが合っている場合（合焦）の光路を示している合焦物体２７１からの光の光路（線Ｌ１およびＬ３）について説明する。撮像する物体に対して合焦している場合には、射出瞳Ｅ１を通過した被写体光は、射出瞳Ｅ１における被写体光の通過する位置にかかわらずに、その物体の位置に対応する像面の位置へ入射（集光）する。すなわち、射出瞳Ｅ１の左側を通過する合焦物体２７１からの光の結像位置と、射出瞳Ｅ１の右側を通過する合焦物体２７１からの光の結像位置とは同じ位置になる。
【００８０】
一方、撮像する物体に対してフォーカスがずれている場合には、射出瞳Ｅ１における被写体光の通過する位置の違いに応じて、像面における入射位置が異なる。本来、像面とは異なる面上で集光（同図（ａ）および（ｂ）の像面の下の点線の円形が集光位置）する光を像面で受光するため、像面においては、フォーカスのずれの度合いに応じて光の入射する位置がずれる。同図（ａ）および（ｂ）の近位置物体２７２、線Ｌ２および線Ｌ４により示すように、前側焦点面（合焦物体２７１が位置する面）よりレンズ側に撮像物体がある場合には、後側焦点面（点線の円形が位置する面）は、像面の後ろ（Ｚ軸方向のプラス側）となる。すなわち、近位置物体２７２から射出瞳Ｅ１の左側を通過して像面に入射する光（線Ｌ２）は、像面において、合焦物体２７１からの光が入射する位置よりも、左にずれた位置に入射する（同図（ａ）参照）。また、近位置物体２７２から射出瞳Ｅ１の右側を通過して像面に入射する光（線Ｌ４）は、像面において、合焦物体２７１からの光が入射する位置よりも、右にずれた位置に入射する（同図（ｂ）参照）。
【００８１】
このように、フォーカスがずれている物体を撮像すると、射出瞳の左側を通過したその物体からの光と、右側を通過したその物体からの光との間で、像面における入射位置が、フォーカスのずれの度合いに応じてずれる。このずれにより、画像生成画素の信号から生成される画像では、ピントがずれるとボケが生じる。一方、視差検出画素２３０では、射出瞳の左側を通過した光は３行×３列（９個）の画素回路のうちの右の列（図３（ｂ）の画素回路３、６、９）の画素回路の受光素子により受光される、また、射出瞳の右側を通過した光は、左の列（図３（ｂ）の画素回路１、４、６）の画素回路の受光素子により受光される。
【００８２】
すなわち、視差検出画素２３０の右の列（３列目）の画素回路からの信号により、同図（ａ）および（ｃ）に示すように、左眼の像の情報を生成することができる。また、視差検出画素２３０の左の列（１列目）の画素回路からの信号により、同図（ｂ）および（ｄ）に示すように、右眼の像の情報を生成することができる。このように、視差検出画素２３０からの信号に基づいて画像を生成すると、画像２８１および２８２に示すように、物体の距離に応じて像がずれている２枚の画像を生成することができる。
【００８３】
［横位置撮影における視差検出方向の例］
図７は、本技術の第１の実施の形態における撮像装置１００を用いて横位置撮影を行う場合における視差検出画素２３０による視差検出の方向の一例を模式的に示す図である。
【００８４】
同図（ａ）には、同図において想定する撮像装置１００の姿勢が示されている。同図では、同図（ａ）に示すように、撮像装置１００を横（左右がＸ軸方向、上下がＹ軸方向）にして、画像の長辺が水平方向で短辺が垂直方向になるように撮影（横位置撮影）することを想定する。
【００８５】
なお、撮像装置１００を反時計回りに９０°回転させて、撮像装置１００を縦にして撮影（縦位置撮影）を行う場合については、図８において説明する。
【００８６】
同図（ｂ）には、横位置撮影を行う場合の撮像素子２００の姿勢と、この姿勢において視差検出に用いられる視差検出画素２３０を示すライン（視差検出ライン（行方向）２３５）とが示されている。なお、同図（ｂ）では、図２（ｂ）において示した領域２５０をそのまま示して、撮像素子２００における画素の配置として示している。
【００８７】
同図（ｂ）では、長辺方向（Ｘ軸方向）が左右（水平）であり、短辺方向（Ｙ軸方向）が上下である撮像素子２００が示されている。また、撮像素子２００には、行および列方向にライン状に配置される視差検出画素２３０のうち、横位置撮影における視差検出に用いられる視差検出画素２３０が配置されているラインが、太い実線（視差検出画素ライン（行方向）２３５）により示されている。
【００８８】
同図（ｂ）に示すように、横位置撮影の場合には、撮像素子２００の行方向にライン状に配置された視差検出画素２３０を用いて視差が検出される。これにより、水平方向（左右）における視差を検出することができる。
【００８９】
同図（ｃ）には、横位置撮影を行う場合における視差検出画素２３０の姿勢が示されている。また、視差検出画素２３０では、右眼に関する信号を生成する画素回路を、点を多く付した矩形（画素回路１、４、７）により示している。同様に、左眼に関する情報を生成する画素回路を、点を少なく付した矩形（画素回路３、６、９）により示している。なお、同図（ｃ）では、説明の便宜上、図３（ｂ）において示した破線の円（マイクロレンズ２６１）は省略して示す。
【００９０】
図７（ｃ）に示すように、横位置撮影を行う場合には、撮像素子２００の行方向に配置された視差検出画素２３０を用いて視差が検出される。
【００９１】
［縦位置撮影における視差検出方向の例］
図８は、本技術の第１の実施の形態における撮像装置１００を用いて縦位置撮影を行う場合における視差検出画素２３０による視差検出の方向の一例を模式的に示す図である。
【００９２】
同図（ａ）には、同図において想定する撮像装置１００の姿勢が示されている。同図（ａ）における撮像装置１００は、図７（ａ）における撮像装置１００を反時計回りに９０°回転させた姿勢である。このように、図８では、同図（ａ）に示すように、撮像装置１００を縦（左右がＹ軸方向、上下がＸ軸方向）にして撮影（縦位置撮影）することを想定する。
【００９３】
同図（ｂ）には、縦位置撮影を行う場合の撮像素子２００の姿勢と、この姿勢において用いられる視差検出画素２３０を示すライン（視差検出ライン（列方向）２３６）とが示されている。
【００９４】
同図（ｂ）では、長辺方向（Ｘ軸方向）が上下であり、短辺方向（Ｘ軸方向）が左右（水平）である撮像素子２００が示されている。同図（ｂ）における撮像素子２００は、図７（ｂ）における撮像素子２００を反時計回りに９０°回転させたものである。また、図８（ｂ）の撮像素子２００には、行および列方向にライン状に配置される視差検出画素２３０のうち、縦位置撮影における視差検出に用いられる視差検出画素２３０が配置されているラインが、太い実線（視差検出画素ライン（列方向）２３６）により示されている。
【００９５】
同図（ｂ）に示すように、縦位置撮影の場合には、撮像素子２００の列方向にライン状に配置された視差検出画素２３０を用いて視差が検出される。これにより、撮像装置１００を縦（画像の長辺が上下、短辺が左右）にして用いている場合においても、水平方向（左右）における視差を検出することができる。
【００９６】
同図（ｃ）には、縦位置撮影を行う場合における視差検出画素２３０の姿勢が示されている。この同図（ｃ）における視差検出画素２３０は、図７（ｃ）における視差検出画素２３０を反時計回りに９０°回転させたものである。また、図８（ｃ）の視差検出画素２３０では、右眼に関する信号を生成する画素回路を、点を多く付した矩形（画素回路１乃至３）により示している。同様に、左眼に関する情報を生成する画素回路を、点を少なく付した矩形（画素回路７乃至９）により示している。
【００９７】
このように、縦位置撮影を行う場合には、撮像素子２００の列方向にライン状に配置された視差検出画素２３０を用いて視差が検出される。これにより、横位置撮影の場合と同様に、人間が直立している場合の左眼および右眼に対応した情報（視差が水平方向の情報）を生成することができる。
【００９８】
［３Ｄ画像の生成例］
図９は、本技術の第１の実施の形態の撮像装置１００における３Ｄ画像の生成例を示す模式図である。
【００９９】
同図では、被写体を撮像した撮像素子２００が生成する画像データに基づいて、２Ｄ画像生成部３１０、視差検出部３２０および３Ｄ画像生成部３３０がそれぞれ生成する画像を示す。また、同図では、これらの画像を用いて、撮像素子２００が生成した画像データに基づいて立体画像（左眼画像および右眼画像）が生成されるまでの流れを順に説明する。なお、同図では、図７のように、横位置撮影により撮影したことを想定する。
【０１００】
まず、２Ｄ画像生成部３１０による２Ｄ画像（平面画像）の生成について、同図（ａ）および（ｂ）を参照して説明する。
【０１０１】
同図（ａ）には、撮像素子２００における画像生成画素が生成した信号に基づいて２Ｄ画像生成部３１０により生成される平面画像であって、視差検出画素の信号の補間を行う前の平面画像（平面画像３１１）が示されている。平面画像３１１には、撮像された物体として、２人の人物（人物３５１および人物３５２）が示されている。同図では、人物３５２に合焦している状態で撮像したことを想定する。また、同図では、人物３５１は、人物３５２よりもレンズに近い位置にいることを想定する。すなわち、人物３５１に対してはフォーカスずれが生じていることを想定する。人物３５１を４重に囲んでいる破線は、フォーカスずれによる像のぼけを模式的に示されている。
【０１０２】
また、平面画像３１１には、視差検出画素が配置されていた位置において画像生成用の信号が無い（画素値が無い）ことが、平面画像３１１においてデータ（画素値）が無いことを示す複数の灰色のライン（画素値欠落ライン３５３）により示されている。
【０１０３】
このように、画像生成画素が生成した信号からは、視差検出画素の位置の画素値が欠落した画像（平面画像３１１）が生成される。そこで、２Ｄ画像生成部３１０は、視差検出画素の位置の画素値を補間して、画素値の欠落が補間された平面画像を生成する。
【０１０４】
図９（ｂ）には、同図（ａ）において示した平面画像３１１に対して２Ｄ画像生成部３１０が補間処理を行った後の画像（平面画像３１２）が示されている。平面画像３１１に対して２Ｄ画像生成部３１０が補間処理を行うことにより、画素値が欠落（同図（ａ）の画素値欠落ライン３５３）していたところにおける画素値が補間される。さらに、その他の補間処理やデモザイク処理が行われて、視差検出画素を備えていない画像生成画素のみの撮像素子（一般的な撮像素子）により撮像された画像と同様の平面画像（平面画像３１２）が生成される。そして、この生成された平面画像３１２は、３Ｄ画像生成部３３０に供給される。
【０１０５】
次に、視差検出部３２０による視差情報画像の生成について、同図（ｃ）および（ｄ）を参照して説明する。
【０１０６】
同図（ｃ）には、撮像素子２００における視差検出画素が生成した信号に基づいて視差検出部３２０により生成される２つの画像であって、視差情報画像の元となる２つの画像（左眼情報画像３２１および右眼情報画像３２２）が示されている。
【０１０７】
左眼情報画像３２１は、視差検出画素における９つの画素回路のうち、ユーザの左眼が受光する光に相当する被写体光を受光した画素回路からの信号に基づいて生成される画像である。また、右眼情報画像３２２は、視差検出画素における９つの画素回路のうち、ユーザの右眼が受光する光に相当する被写体光を受光した画素回路からの信号に基づいて生成される画像である。
【０１０８】
また、左眼情報画像３２１には、同図（ａ）において示した人物３５１に対応する人物３６１と、同図（ａ）の人物３５２に対応する人物３６２が示されている。同様に、右眼情報画像３２２には、同図（ａ）の人物３５１に対応する人物３６３と、同図（ａ）の人物３５２に対応する人物３６４とが示されている。
【０１０９】
ここで、視差検出部３２０による左眼情報画像３２１および右眼情報画像３２２の生成について説明する。
【０１１０】
視差検出部３２０は、姿勢検出部１４０から供給される姿勢情報に基づいて、左眼情報画像３２１となる信号を生成した画素回路および右眼情報画像３２２となる信号を生成した画素回路を決定する。同図では横位置撮影により画像が撮像されるため、視差検出部３２０は、図７において示したように、右の列の画素回路（図７（ｂ）の画素回路３、６、９）の信号から左眼情報画像３２１を生成する。また、左の列の画素回路（図７（ｂ）の画素回路１、４、７）の信号から右眼情報画像３２２を生成する。そして、視差検出部３２０は、これらの生成した画像（左眼情報画像３２１、右眼情報画像３２２）に基づいて、視差情報画像を生成する。
【０１１１】
図９（ｄ）には、左眼情報画像３２１および右眼情報画像３２２に基づいて生成された視差情報画像（視差情報画像３２３）が模式的に示されている。
【０１１２】
視差情報画像３２３には、左眼情報画像３２１における人物３６１と、右眼情報画像３２２における人物３６３とに基づいて検出された視差を含む像（人物３７１）が示されている。同様に、視差情報画像３２３には、左眼情報画像３２１における人物３６２と、右眼情報画像３２２における人物３６４とに基づいて検出された視差を含む像（人物３７２）が示されている。
【０１１３】
ここで、視差情報画像３２３について、視差情報画像３２３において示されている２つの像（人物３７１および人物３７２）に着目して説明する。
【０１１４】
人物３７１は、左眼情報画像３２１における人物３６１と、右眼情報画像３２２における人物３６３とが重なり合っているように（２つの人物の像が、左右に少しずれて重なっているように）、視差情報画像３２３において図示されている。人物３７１から上下に伸びている２本の点線の間隔（距離３７３）は、左右に少しずれて重なっている２つの像の間隔を示している。同図において、人物３７１が示す物体にはフォーカスがずれている（同図（ａ）および（ｂ）の人物３５１を参照）。すなわち、図６に示したように視差が発生し、左眼情報画像３２１における人物３６１と、右眼情報画像３２２における人物３６３との間には、フォーカスのずれ量に応じた位置のずれが生じる。図９（ｄ）の距離３７３は、この位置のずれ（視差）を模式的に示している。
【０１１５】
一方、人物３７２は、左眼情報画像３２１における人物３６２と、右眼情報画像３２２における人物３６４とがぴったり一致しているように（１つの人物の像のように）、視差情報画像３２３において図示されている。同図において、人物３７２（人物３６２および人物３６４）が示す物体には合焦しているため（同図（ａ）および（ｂ）の人物３５２を参照）、この人物の像に対する視差は無い（視差が「０」）。すなわち、左眼情報画像３２１における人物３６２の位置と、右眼情報画像３２２における人物３６４の位置とは一致している。すなわち、同図（ｄ）では、視差情報画像３２３における人物３７２の像には視差に関する情報が無いことが示されている。
【０１１６】
同図（ｄ）において示した視差情報画像３２３は、生成された後に、３Ｄ画像生成部３３０に供給される。
【０１１７】
次に、３Ｄ画像生成部３３０による立体画像（左眼画像および右眼画像）の生成について、同図（ｅ）を参照して説明する。
【０１１８】
同図（ｅ）には、３Ｄ画像生成部３３０において、平面画像３１２および視差情報画像３２３に基づいて生成された左眼（Ｌ）画像（左眼画像３３１）および右眼（Ｒ）画像（右眼画像３３２）が模式的に示されている。なお、平面画像と視差情報画像とに基づいて立体画像を生成する方法については、種々の方法が考えられるが、ここでは、一例として、視差情報画像に基づいて平面画像における各物体の位置をずらして左眼画像および右眼画像を生成する例について説明する。
【０１１９】
左眼画像３３１は、撮像した画像を視聴するユーザの左眼に対して表示するための画像である。左眼画像３３１には、平面画像３１２の人物３５２の位置および視差情報画像３２３の人物３７２の位置と同じ位置に人物３８２が示されている。また、左眼画像３３１には、視差情報画像３２３の人物３７１の右側の位置（左眼情報画像３２１の人物３６１の位置）と同じ位置に、人物３８１が示されている。この人物３８１は、平面画像３１２の人物３５１の位置をずらした像である。なお、同図（ｂ）には、人物３８１の位置を模式的に示すために、人物３８１の中心から上下に向けて伸びる点線（線Ｌ１１）が示されている。
【０１２０】
右眼画像３３２は、撮像した画像を視聴するユーザの右眼に対して表示するための画像である。右眼画像３３２には、平面画像３１２の人物３５２の位置および視差情報画像３２３の人物３７２の位置と同じ位置に人物３８４が示されている。また、右眼画像３３２には、視差情報画像３２３の人物３７１の左側の位置（右眼情報画像３２２の人物３６３の位置）と同じ位置に、人物３８３が示されている。この人物３８３は、平面画像３１２の人物３５１の位置をずらした像である。なお、同図（ｂ）には、人物３８３の位置を模式的に示すために、人物３８３の中心から上下に向けて伸びる点線（線Ｌ１２）が示され、さらに、線Ｌ１１と線Ｌ１２との間の距離を示す矢印（距離３７３）が示されている。すなわち、左眼画像３３１の人物３８１から距離３７３ほど左にずれた位置に人物３８３が示されている。
【０１２１】
同図（ｅ）において示す左眼画像３３１および右眼画像３３２から構成される立体画像（３Ｄ画像）を、３Ｄ画像生成部３３０は、平面画像３１２および視差情報画像３２３に基づいて生成する。すなわち、３Ｄ画像生成部３３０は、平面画像３１２における各物体の位置を視差情報画像３２３が示す視差に応じてずらして、左眼画像３３１および右眼画像３３２を生成する。視差情報画像３２３における人物３７２は視差情報が無いため、３Ｄ画像生成部３３０は、平面画像３１２の人物３５２の位置をそのままにして（人物３８２および人物３８４）、左眼画像３３１および右眼画像３３２を生成する。また、３Ｄ画像生成部３３０は、平面画像３１２の人物３５１の位置を視差情報画像３２３における人物３７１が示す視差に応じてずらして（人物３８１および人物３８３）、左眼画像３３１および右眼画像３３２を生成する。３Ｄ画像生成部３３０は、生成した立体画像（左眼画像３３１および右眼画像３３２）を、立体画像コンテンツとして、表示部１５１および記憶部１５２に供給する。
【０１２２】
このように、信号処理部３００によって、平面画像および視差情報画像に基づいて、立体画像が生成される。
【０１２３】
［撮像装置の動作例］
次に、本技術の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１２４】
図１０は、本技術の第１の実施の形態における撮像装置１００によって立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
【０１２５】
まず、立体画像を撮像するための撮像動作の開始指示がユーザによりされたか否かが、制御部１３０により判断される（ステップＳ９０１）。そして、画像を撮像するための撮像動作の開始指示がユーザによりされていないと判断された場合には（ステップＳ９０１）、撮像処理手順は終了する。
【０１２６】
一方、立体画像を撮像するための撮像動作の開始指示がユーザによりされていると判断された場合には（ステップＳ９０１）、立体画像の構図を決定するために、ライブビュー画像が表示部１５１に表示される（ステップＳ９０２）。続いて、立体画像の構図を決定したユーザによりシャッターボタンが半押しされているか否かが、制御部１３０により判断される（ステップＳ９０３）。そして、シャッターボタンが半押しされていないと判断された場合には（ステップＳ９０３）、ステップＳ９０８に進む。
【０１２７】
一方、シャッターボタンが半押しされていると判断された場合には（ステップＳ９０３）、フォーカスレンズ１１３を駆動させてフォーカスを合わせる対象物（合焦対象物）にフォーカスを合わせる合焦処理が行われる（ステップＳ９０４）。次に、ユーザによりシャッターボタンが全押しされたか否かが、制御部１３０により判断される（ステップＳ９０３）。そして、シャッターボタンが全押しされていないと判断された場合には（ステップＳ９０５）、ステップＳ９０２に戻る。
【０１２８】
一方、シャッターボタンが全押しされていると判断された場合には（ステップＳ９０５）、撮像素子２００により被写体が撮像される（ステップＳ９０６）。そして、その撮像による画像データに基づいて立体画像（３Ｄ画像）を生成する立体画像生成処理が、信号処理部３００により行われる（ステップＳ９２０）。なお、立体画像生成処理（ステップＳ９２０）については、図１１を参照して説明する。
【０１２９】
続いて、生成された立体画像が、記憶部１５２により記憶される（ステップＳ９０７）。そして、立体画像を撮像するための撮像動作の終了指示がユーザによりされたか否かが、制御部１３０により判断される（ステップＳ９０８）。そして、立体画像を撮像するための撮像動作の終了指示がユーザによりされていないと判断された場合には（ステップＳ９０８）、ステップＳ９０２に戻る。
【０１３０】
一方、立体画像を撮像するための撮像動作の終了指示がユーザによりされていると判断された場合には（ステップＳ９０８）、撮像処理手順は終了する。
【０１３１】
図１１は、本技術の第１の実施の形態の撮像処理手順における立体画像生成処理（ステップＳ９２０）の処理手順例を示すフローチャートである。
【０１３２】
まず、撮像素子２００から供給される画像データにおける画像生成画素の画素値に基づいて、平面画像（２Ｄ画像）が２Ｄ画像生成部３１０により生成される（ステップＳ９２１）。続いて、生成された平面画像における視差検出画素の位置の画素値が、２Ｄ画像生成部３１０により補間される（ステップＳ９２２）。
【０１３３】
次に、撮像素子２００が被写体を撮像した際の姿勢に関する情報（姿勢情報）が、視差検出部３２０により姿勢検出部１４０から取得される（ステップＳ９２３）。そして、姿勢情報に基づいて左右方向（水平方向）を検出し、視差検出画素における９つの画素回路のうちから、左眼のデータを生成する画素回路と、右眼のデータを生成する画素回路とが、視差検出部３２０により決定される（ステップＳ９２４）。
【０１３４】
続いて、撮像素子２００から供給される画像データにおける画素値のうち、左眼のデータを生成する画素回路の画素値に基づいて、左眼情報画像が視差検出部３２０により生成される（ステップＳ９２５）。また、撮像素子２００から供給される画像データにおける画素値のうち、右眼のデータを生成する画素回路の画素値に基づいて、右眼情報画像が視差検出部３２０により生成される（ステップＳ９２６）。次に、生成された左眼情報画像および右眼情報画像に基づいて、視差情報画像が視差検出部３２０により生成される（ステップＳ９２７）。なお、ステップＳ９２５、Ｓ９２６およびＳ９２７は、特許請求の範囲に記載の視差を検出する手順の一例である。また、ステップＳ９２１およびステップＳ９２２は、特許請求の範囲に記載の平面画像を生成する手順の一例である。
【０１３５】
続いて、平面画像および視差情報画像に基づいて、左眼画像および右眼画像が３Ｄ画像生成部３３０により生成される（ステップＳ９２８）。そして、ステップＳ９２８の後に、立体画像生成処理手順は終了する。なお、ステップＳ９２８は、特許請求の範囲に記載の立体視画像生成手順の一例である。
【０１３６】
このように、本技術の第１の実施の形態によれば、視差検出画素が検出した視差に基づいて画像生成画素が生成した画像における各物体の位置を移動させることにより、解像度が高い立体画像を生成することができる。特に、本技術の第１の実施の形態によれば、視差検出画素を用いて立体画像を生成する撮像装置において、有効画素数の減少を抑制することができる。例えば、撮像素子における全ての画素が３行×３列の画素回路から構成される視差検出画素である撮像素子では、有効画素数は９分の１になってしまう。それに対して、本技術の第１の実施の形態における撮像素子２００では、所定の間隔置きに行方向および列方向にライン上に配置されるため、ライン間の間隔を大きくすればするほど、有効画素数の減少を抑えることができる。また、１つの画素回路で１つの画素を構成する画像生成画素が撮像素子２００に配置されるため、平面画像（２Ｄ画像）も撮像することができ、ユーザの目的に合わせて、立体画像と平面画像とを選択することができる。
【０１３７】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、視差検出画素を構成する９つの画素回路が生成する画素値に基づいて立体画像を生成する例について説明した。なお、視差検出画素における９つの画素回路の生成する画素値は、フォーカスのずれに関する情報を含んでいるため、これらの画素値を位相差検出方式による合焦判定に用いることもできる。ここで、位相差検出とは、撮像レンズを通過した光を瞳分割して１対の像を形成し、その形成された像の間隔（像の間のずれ量）を計測（位相差を検出）することによって合焦の度合いを検出する焦点検出の方法である。
【０１３８】
そこで、本技術の第２の実施の形態では、立体画像の生成に加えて、視差検出画素を用いて位相差検出による合焦判定を行う撮像装置の例について、図１２乃至図１６を参照して説明する。
【０１３９】
［撮像装置の機能構成例］
図１２は、本技術の第２の実施の形態の撮像装置４００の機能構成の一例を示すブロック図である。
【０１４０】
同図において示す撮像装置４００は、図１において示した撮像装置１００の各構成に加えて、合焦判定部４１０を備える。図１２における合焦判定部４１０以外の各構成は、図１において示した各構成と同様のものであるため、ここでは、合焦判定部４１０に着目して説明する。
【０１４１】
合焦判定部４１０は、視差検出画素からの信号に基づいて、フォーカスが合焦しているか否かを位相差検出により判定するものである。この合焦判定部４１０は、撮像素子２００から供給される撮像データにおける視差検出画素の９つの画素回路の画素値に基づいて、フォーカシングを行う領域（フォーカスエリア）における物体（合焦対象物）に対して合焦しているか否か判定する。合焦判定部４１０は、合焦していると判定した場合には、合焦していることを示す情報を合焦判定結果情報として、駆動部１７０に供給する。また、合焦判定部４１０は、合焦対象物に対してフォーカスがずれていると判定した場合には、フォーカスのずれの量（デフォーカス量）を算出し、その算出したデフォーカス量を示す情報を合焦判定結果情報として、駆動部１７０に供給する。
【０１４２】
なお、駆動部１７０は、合焦判定部４１０から出力された合焦判定結果情報に基づいて、フォーカスレンズ１１３の駆動量を算出し、その算出した駆動量に応じてフォーカスレンズ１１３を移動させる。駆動部１７０は、フォーカスが合っている場合には、フォーカスレンズ１１３の現在の位置を維持させる。また、駆動部１７０は、フォーカスがずれている場合には、デフォーカス量を示す合焦判定結果情報およびフォーカスレンズ１１３の位置情報に基づいて駆動量（移動距離）を算出し、その駆動量に応じてフォーカスレンズ１１３を移動させる。
【０１４３】
［視差検出画素を用いたオートフォーカスの概念例］
図１３は、本技術の第２の実施の形態において視差検出画素２３０における９つの画素回路の画素値を用いたオートフォーカスの概念を模式的に示す図である。
【０１４４】
なお、同図では、横位置撮影で撮像した際の水平方向（同図の左右方向）に一対の像を生成してフォーカスを検出することを想定する。
【０１４５】
同図（ａ）には、合焦判定のために撮像素子２００が撮像した画像データの平面画像（撮像平面画像４４０）が示されている。この撮像平面画像４４０には、撮像対象物として、自動車（自動車４４１）と、人物（人物４４３）と、木（木４４４）とが示されている。また、撮像平面画像４４０には、フォーカスエリアを示す鎖線の矩形（フォーカスエリア４４２）が示されている。なお、フォーカスのずれを模式的に示すために、人物４４３が２重の破線により囲まれ、自動車４４１が４重の破線により囲まれている。
【０１４６】
なお、同図では、自動車４４１、人物４４３および木４４４を囲む破線の数は、フォーカスのずれの度合いを示し、数が多いほどフォーカスが大きくずれていることを示している。すなわち、同図では、撮像平面画像４４０を撮像した際には木４４４に対して合焦しており、人物４４３および自動車４４１はフォーカスがずれている（自動車４４１の方が大きくずれている）ことを想定する。
【０１４７】
同図（ｂ）には、合焦判定部４１０において生成される一対の像について、同図（ａ）において示した撮像平面画像４４０に対応する一対の画像として模式的に示した２つの画像（左眼情報画像４５０および右眼情報画像４６０）が示されている。視差検出画素２３０は撮像素子２００において行方向および列方向にライン状に配置されている（図２参照）ため、実際には、左眼情報画像４５０および右眼情報画像４６０に示すような像は生成されない。しかしながら、図９では、説明の便宜上、撮像した画像（撮像平面画像４４０）全面で一対の像を模式的に図示して説明する。
【０１４８】
左眼情報画像４５０は、視差検出画素２３０における９つの画素回路のうちの左眼に対応する画素の画素値に基づいて生成される画像を示している。左眼情報画像４５０では、図１３（ａ）の自動車４４１に対応する自動車４５１と、同図（ａ）の人物４４３に対応する人物４５３と、同図（ａ）の木４４４に対応する木４５４とが示されている。
【０１４９】
また、右眼情報画像４６０は、視差検出画素２３０における９つの画素回路のうちの右眼に対応する画素の画素値に基づいて生成される画像を示している。右眼情報画像４６０では、図１３（ａ）の自動車４４１に対応する自動車４６１と、同図（ａ）の人物４４３に対応する人物４６３と、同図（ａ）の木４４４に対応する木４６４とが示されている。
【０１５０】
同図（ｃ）には、合焦判定部４１０による一対の像の間隔（像の間のずれ量）の計測を模式的に示す画像（比較画像４７０）が示されている。この比較画像４７０では、同図（ｂ）において示した左眼情報画像４５０および右眼情報画像４６０を重ねたような像が図示され、自動車４７１と、人物４７３と、木４７４とが示されている。自動車４７１は、濃い自動車が薄い自動車の左にあるような像で示されている。また、人物４７３も、濃い人物が薄い人物の左にあるような像で示されている。一方、木４７４は、濃い木と薄い木とが一致しているような像で示されている。
【０１５１】
比較画像４７０に示すように、合焦判定部４１０では、一対の像（同図では、左眼情報画像４５０および右眼情報画像４６０）を比較する。
【０１５２】
そして、合焦判定部４１０は、合焦対象物（人物４７３）における一対の像のずれ量（エッジ間の間隔）からフォーカスのずれ量（デフォーカス量）を算出する。このデフォーカス量に基づいてフォーカスレンズ１１３が駆動されることにより、合焦対象物に対してフォーカスが一致する。
【０１５３】
同図（ｄ）には、同図（ｃ）の比較画像４７０に基づいてフォーカスレンズ１１３が駆動された後の撮像画像（レンズ駆動後撮像平面画像４９０）と、この撮像に基づいて行われる合焦判定（像の比較）を示す画像（レンズ駆動後比較画像４８０）とが示されている。
【０１５４】
レンズ駆動後比較画像４８０では、比較画像４７０によりレンズを駆動した後の一対の像の間隔の計測を模式的に示す画像が示されている。この比較画像４７０では、濃い木が薄い木の右にあるように示されている木４８４と、濃い人物と薄い人物とが一致しているように示されている人物４８３と、濃い自動車が薄い自動車の左にあるように示されている自動車４８１とが示されている。
【０１５５】
レンズ駆動後撮像平面画像４９０には、１重の破線が付された自動車（自動車４９１）と、破線がない人物（人物４９３）と、４重の破線が付された木（木４９４）と、フォーカスエリア４９２とが示されている。破線は、同図（ａ）において説明したように、フォーカスのずれの度合いを模式的に示している。すなわち、レンズ駆動後撮像平面画像４９０では、合焦対象物である人物４９３に合焦していることが示されている。
【０１５６】
このように、撮像装置４００では、合焦対象物（人物）において一対の像が一致するようにフォーカスレンズ１１３が駆動されることにより、オートフォーカスが行われる。
【０１５７】
なお、図１３では、視差検出画素２３０における９つの画素回路の画素値を用いたオートフォーカスの概念について説明した。次に、図１４では、合焦判定部４１０により行われる合焦判定の際のデータの比較に着目して説明する。
【０１５８】
［合焦判定部による合焦判定の一例］
図１４は、本技術の第２の実施の形態における合焦判定部４１０による位相差検出による合焦判定を模式的に示す図である。
【０１５９】
なお、同図では、図１３に示した場合における合焦判定部４１０による合焦判定を説明する。なお、同図では、説明の便宜上、一対の像を形成する際に用いられる視差検出画素２３０は１ラインであることを想定して説明する。
【０１６０】
同図（ａ）には、図１３（ｂ）のように左右（水平方向）に一対の像を形成する場合において、一対の一方（右眼）および他方（左眼）の像に関する信号を生成する画素回路が視差検出画素２３０にそれぞれ示されている。この視差検出画素２３０では、一方の像（右眼）に関する信号を生成する画素回路が点を多く付した矩形（画素回路１、４、７）により示され、他方の像（左眼）に関する信号を生成する画素回路が点を少なく付した矩形（画素回路３、６、９）により示されている。
【０１６１】
図１４（ｂ）には、設定された合焦対象物に対するデフォーカス量を算出するために、合焦判定部４１０において画素値が用いられる（画素値から一対の像が形成される）視差検出画素２３０の位置（合焦判定ライン４２１）が示されている。この合焦判定ライン４２１における視差検出画素２３０の各画素回路の画素値を同図（ａ）のように用いることにより、一対の像が形成される。
【０１６２】
ここで、合焦判定部４１０による位相差を検出する方向（左右または上下）の決定について、簡単に説明する。
【０１６３】
合焦判定部４１０は、撮像素子２００から供給された画像データの視差検出画素２３０に関する画素値に基づいて、一対の像のずれを検出する方向を決定する。合焦対象物の形状や模様によって、左右方向（水平方向）に一対の像を形成すると像のずれを精度よく検出できる場合や、上下方向（重力方向）に一対の像を形成する像のずれを精度よく検出できる場合がある。そこで、合焦判定部４１０は、像のずれを精度よく検出できる方向にライン状に配置されている視差検出画素２３０からの画素値に基づいて一対の像を形成する。
【０１６４】
同図では、ずれ量を精度よく検出できる方向は左右方向（水平方向）であることを想定しているため、行方向の視差検出画素ラインのうち、合焦対象物が撮像されているラインにおける視差検出画素２３０からの画素値に基づいて一対の像を形成する。なお、合焦対象物（人物４２２）のエッジのずれを検出できればデフォーカス量が算出できるため、フォーカスエリア付近に位置する視差検出画素（合焦判定ライン４２１）の画素値から一対の像は形成される。
【０１６５】
同図（ｃ）には、合焦判定部４１０におけるデフォーカス量の算出を模式的に示すグラフが示されている。同図（ｃ）では、図１３のように、フォーカス面よりも合焦対象物はレンズ側に位置している（後ピン）ことを想定して説明する。
【０１６６】
図１４（ｃ）において示すグラフには、横軸を撮像素子２００における視差検出画素２３０の画素位置とし、縦軸を出力信号の強度を示す出力階調として、合焦判定部４１０が生成する一対の像を画素値の分布データにより示すグラフが示されている。このグラフには、同図（ａ）に示す画素回路１、４、７（右眼に対応）の画素値に基づいて生成された画素値の分布データ（右眼信号分布データ４３１）が示されている。また、このグラフには、同図（ａ）に示す画素回路３、６、９（左眼に対応）の画素値に基づいて生成された画素値の分布データ（左眼信号分布データ４３２）が示されている。
【０１６７】
合焦判定部４１０は、合焦判定ライン４２１における視差検出画素２３０の画素値から右眼信号分布データ４３１および左眼信号分布データ４３２を生成する。そして、合焦判定部４１０は、右眼信号分布データ４３１におけるピーク（エッジ）の位置と、左眼信号分布データ４３２におけるピーク（エッジ）の位置との間の距離（距離Ａ１）からデフォーカス量を算出する。そして、合焦判定部４１０は、算出したデフォーカス量を、合焦判定結果情報として駆動部１７０に供給し、デフォーカス量に応じた量ほどフォーカスレンズ１１３を駆動させる。
【０１６８】
同図（ｄ）には、同図（ｃ）に示す分布データ（一対の像）に基づいてフォーカスレンズ１１３が駆動され、合焦対象物に対して合焦した場合の分布データ（右眼信号分布データ４３３および左眼信号分布データ４３４）が示されている。同図（ｄ）のグラフに示すように、合焦対象物に対して合焦すると、右眼信号分布データ４３３および左眼信号分布データ４３４のエッジは、同じ位置になる。
【０１６９】
このように、撮像装置４００では、同図（ｄ）に示すように生成した一対の像（分布データ）のエッジの位置が一致するようにフォーカスレンズ１１３を駆動することにより、視差検出画素２３０の画素値を用いて、オートフォーカスを行うことができる。すなわち、撮像装置４００では、位相差検出方式の焦点検出方法を実現することができ、これにより、高速で高精度なオートフォーカスが可能となる。
【０１７０】
なお、同図では、説明の便宜上により合焦判定ラインは１ラインであることを想定して説明したが、これに限定されるものではなく、複数のラインを用いて精度を向上させるようにしてもよい。
【０１７１】
［撮像装置の動作例］
次に、本技術の第２の実施の形態における撮像装置４００の動作について図面を参照して説明する。
【０１７２】
図１５は、本技術の第２の実施の形態における撮像装置４００による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。なお、同図において示す撮像処理手順例のフローチャートは、図１０において示した本技術の第１の実施の形態の撮像処理手順例のフローチャートの変形例である。図１０において示した合焦処理（ステップＳ９０４）が、合焦処理（ステップＳ９４０）である点のみが異なる。そこで、合焦処理（ステップＳ９４０）以外の処理については同一の符号を付して説明を省略し、合焦処理（ステップＳ９４０）については図１６を参照して説明する。
【０１７３】
図１６は、本技術の第２の実施の形態の撮像処理手順における合焦処理（ステップＳ９４０）の処理手順例を示すフローチャートである。
【０１７４】
まず、撮像素子２００により被写体が撮像され、合焦判定に用いる画像が撮像される（ステップＳ９４１）。続いて、合焦対象物に応じて、一対の像を生成する視差検出画素のラインの方向（行方向または列方向）が、合焦判定部４１０により決定される（ステップＳ９４２）。そして、合焦対象物の位置（フォーカスエリアの位置）に応じて、一対の像を比較する視差検出画素の位置（例えば、図１４の合焦判定ライン４２１）が決定される（ステップＳ９４３）。
【０１７５】
次に、決定された一対の像を比較する位置の視差検出画素の画素回路の画素値から一対の像が生成される（ステップＳ９４４）。そして、生成された一対の像におけるエッジ間の間隔が検出され、その間隔からデフォーカス量が算出される（ステップＳ９４５）。続いて、その算出されたデフォーカス量に基づいて、フォーカスレンズ１１３の駆動量が駆動部１７０により算出される（ステップＳ９４５）。そして、その算出された駆動量に基づいてフォーカスレンズ１１３が駆動され（ステップＳ９４７）、合焦処理手順は終了する。
【０１７６】
このように、本技術の第２の実施の形態によれば、視差検出画素を構成する９つの画素回路の画素値に基づいて、位相差検出による合焦判定を行うことができる。すなわち、本技術の第２の実施の形態によれば、高い画素数の３Ｄ画像を生成するとともに、位相差検出による高速で高精度なオートフォーカスを行う撮像装置を実現することができる。
【０１７７】
＜３．変形例＞
本技術の第１および第２の実施の形態では、視差検出画素２３０が行方向および列方向にライン状に配置される撮像素子２００の例について説明した。しかしながら、視差検出画素２３０の配置はこれに限定されるものではなく、被写体の視差が取得できるように配置すればよい。そこで、第１および第２の実施の形態とは異なる視差検出画素の配置の一例について、第１および第２の変形例として、図１７および図１８を参照して説明する。
【０１７８】
また、本技術の第１および第２の実施の形態では、図４（ｂ）に示すように、マイクロレンズの層は２層あり、各画素回路に光を集光するマイクロレンズはカラーフィルタに近い方（受光素子に近い方）のマイクロレンズ層において形成される例を説明した。しかしながら、本技術はこれに限定されるものではなく、マイクロレンズの配置の仕方については種々の例が考えられる。例えば、各画素回路に光を集光するマイクロレンズは、視差検出用マイクロレンズと同じ層に形成する場合が考えられる。また、視差検出用マイクロレンズと、視差検出画素の９つの受光素子との間の距離を可変にすることにより、撮像レンズが交換式の撮像装置（例えば、一眼カメラ）において様々なＦ値の撮像レンズに対応することができる。そこで、第１および第２の実施の形態とは異なるマイクロレンズの配置の一例について、第３乃至第５の変形例として、図１９を参照して説明する。
【０１７９】
また、本技術の第１および第２の実施の形態では、視差検出画素は、Ｇフィルタが備えられた９つの画素回路の例について説明したが、これに限定されるものではない。第１および第２の実施の形態とは異なる視差検出画素について、第６乃至第９の変形例として、図２０を参照して説明する。
【０１８０】
［撮像素子における画素の配置の変形例］
図１７は、本技術の第１および第２の実施の形態の第１の変形例として、視差検出画素が行方向にのみライン状に配置される撮像素子の一例を模式的に示す図である。
【０１８１】
同図（ａ）には、図２（ｂ）の領域２５０に対応する領域（領域８１０）が示されている。すなわち、領域８１０における太線（視差検出画素ライン８１１）は、視差検出画素が配置されるラインを示している。視差検出画素ライン８１１が示すように、この変形例では、視差検出画素は任意の画素周期で行方向にのみライン状に配置される。
【０１８２】
図１７（ｂ）には、同図（ａ）において示されている領域８１５の拡大図であって、図２（ａ）の領域２１０に対応する領域が示されており、視差検出画素が行方向にのみライン状に配置されることが示されている。
【０１８３】
縦位置撮影に用いることがほとんどないような撮像装置（例えば、カムコーダ）においては、列方向に視差検出画素をライン状に配置しても、視差検出に用いることは殆どない。そこで、視差検出画素のラインを行方向の配置のみとすることにより、視差検出画素の数を少なくして画像生成画素の数を増やし、これにより、撮像画像の画質を向上させることができ、かつ、視差検出画素の位置の画素値の補間処理を軽くすることができる。
【０１８４】
図１８は、本技術の第２の変形例として、視差検出画素が、行方向および列方向に所定の間隔ずつ離れて配置（アイランド状に配置）される撮像素子の一例を模式的に示す図である。
【０１８５】
同図（ａ）には、図２（ｂ）の領域２５０に対応する領域（領域８２０）が示されている。この領域８２０において、黒い点（点８２１）は、それぞれが１つの視差検出画素の配置される位置を示している。すなわち、点８２１により示すように、この変形例では、視差検出画素が行方向および列方向に所定の間隔ずつ離れて配置（アイランド状に配置）される。
【０１８６】
図１８（ｂ）には、同図（ａ）において示されている領域８２５の拡大図であって、図２（ａ）の領域２１０に対応する領域が示されている。この領域８２５には、１つの視差検出画素がアイランド状に配置されることが示されている。
【０１８７】
図１８に示すように、視差検出画素を行方向および列方向に所定の間隔ずつ離して配置することにより、第１の変形例以上に視差検出画素の数を少なくして画像生成画素の数を増やし、これにより、撮像画像の画質を向上させることができ、かつ、視差検出画素の位置の画素値の補間処理を軽くすることができる。
【０１８８】
これらのように、撮像素子における視差検出画素の配置については、種々のパターンが考えられる。
【０１８９】
［画像生成画素および視差検出画素の断面構成の変形例］
図１９は、本技術の第３乃至第５の変形例として、画像生成画素および視差検出画素の断面構成の変形例を模式的に示す図である。
【０１９０】
同図（ａ）には、本技術の第３の変形例として、視差検出用マイクロレンズと、視差検出画素の９つの画素回路との間の距離を可変にすることができる撮像素子の断面構成の一例が示されている。なお、同図（ａ）は、図４（ｂ）において示した断面構成の変形例であり、図４（ｂ）の視差検出用マイクロレンズ層Ｓ２に代えて、マイクロレンズの光軸方向に移動可能なマイクロレンズ層（視差検出用マイクロレンズ配置部８３１）を備えている点のみが異なる。そこで、図１９（ａ）では、図４（ｂ）と同一のものについては同一の符号を付してここでの説明を省略し、視差検出用マイクロレンズ配置部８３１についてのみ説明する。
【０１９１】
視差検出用マイクロレンズ配置部８３１は、マイクロレンズの光軸方向に移動することにより、視差検出用マイクロレンズ２３１と、視差検出画素の画素回路の受光素子との間の距離を可変可能なマイクロレンズの層である。すなわち、撮像素子との間には、空気の層（空気層８３２）がある。このように、視差検出用マイクロレンズ２３１と、視差検出画素の画素回路の受光素子との間の距離を変更可能とすることにより、Ｆ値や焦点距離が異なる交換レンズに対応できるようになる。
【０１９２】
図１９（ｂ）には、本技術の第４の変形例として、画像生成画素の受光素子に被写体光を集光するマイクロレンズが、視差検出用マイクロレンズの層にも備えられる撮像素子の断面構成の一例が示されている。画像生成画素の受光素子に被写体光を集光するために視差検出用マイクロレンズ層に備えられるマイクロレンズ（マイクロレンズ８３３）以外の構成は、図４（ｂ）と同一のものであるため、図１９（ｂ）では説明を省略する。
【０１９３】
マイクロレンズ８３３は、視差検出用マイクロレンズとは曲率が異なるマイクロレンズである。このマイクロレンズ８３３を備えることにより、視差検出画素における結像を優先させてフォーカスを調整した場合においても、画像生成画素のマイクロレンズ２６１に被写体光を適切に集光することができる。すなわち、このマイクロレンズ８３３を備えることにより、マイクロレンズ２６１が受光素子に被写体光を適切に集光することができ、画像生成画素の集光効率の劣化を防ぐことができる。これにより、画質を向上させることができる。
【０１９４】
図１９（ｃ）には、本技術の第５の変形例として、同図（ｂ）の撮像素子におけるマイクロレンズ層Ｓ１を備えていない撮像素子の断面構成の一例が示されている。視差検出用マイクロレンズ２３１のみにより視差が検出できるとともに、マイクロレンズ８３３のみにより画像生成画素の受光素子に被写体光を集光できる場合には、マイクロレンズ層Ｓ１を省くことができる。
【０１９５】
これらのように、撮像素子におけるマイクロレンズの配置については、種々のパターンが考えられる。
【０１９６】
［視差検出画素の一例］
図２０は、本技術の第６乃至第９の変形例として、視差検出画素の変形例を示す模式図である。
【０１９７】
同図（ａ）には、本技術の第６の変形例として、カラーフィルタの層に可視光領域の光は全て透過するもの（例えば、透明層やＷフィルタなど）が備えられる視差検出画素（視差検出画素８４１）が示されている。
【０１９８】
同図（ｂ）には、本技術の第７の変形例として、Ｒフィルタが備えられる視差検出画素（視差検出画素８４２）が示されている。
【０１９９】
視差検出画素は、視差が検出できればよいため、視差検出画素のフィルタは目的に応じて設定すればよい。例えば、同図（ａ）のように、可視光領域の光は全て透過するものを設けることにより、色依存の少ない視差情報を得るようにすることができる。また、この可視光領域の光を全て透過する場合は、画像生成画素と比較すると光量が多すぎることがあるため、露光調整のために減光フィルタを設けるようにしてもよい。
【０２００】
また、同図（ｂ）に示すように、視差検出画素にＧフィルタ以外のカラーフィルタを設けるようにしてもよい。
【０２０１】
同図（ｃ）には、本技術の第８の変形例として、数多くの画素回路から構成される視差検出画素（視差検出画素８４３）が示されている。この視差検出画素８４３は、５行×５列の画素回路（画素回路１乃至２５）から構成される。また、画素回路１乃至２５には、３原色のカラーフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が、ベイヤー配列により配置されている。
【０２０２】
同図（ｃ）に示すように、１つの視差検出画素を数多くの画素回路で構成し、さらに、３原色のカラーフィルタをベイヤー配列により配置することにより、色情報を含めて視差情報を得ることができる。
【０２０３】
同図（ｄ）には、本技術の第９の変形例として、２行×２列の画素回路から構成される視差検出画素（視差検出画素８４４）が示されている。このように、視差検出画素８４４を２行×２列の画素回路から構成することもできる。この場合には、３行×３列の画素回路から構成する場合と比較して、視差検出画素１個に用いられる画素回路の数を減らすことができ、画像生成画素や視差検出画素の数を増やすことができる。すなわち、画像生成画素の数を増やすことによる画質の向上や、視差検出画素の数を増やすことによる視差検出の精度の向上などをすることができる。
【０２０４】
＜４．第３の実施の形態＞
本技術の第１および第２の実施の形態では、撮像素子においてライン状に配置される視差検出画素を用いて立体画像を生成する撮像装置について説明した。第１および第２の実施の形態において説明した撮像装置は、単眼の撮像装置である。
【０２０５】
この単眼の撮像装置において、立体画像の立体感は、射出瞳における左眼の光が通過する領域の重心位置と、射出瞳における右眼の光が通過する領域の重心位置との間の重心間距離（基線長）に依存する。この基線長が長いほど視差量が増加し、その結果、立体画像の立体感が増加する。
【０２０６】
第１および第２の実施の形態において示した視差検出画素では、３行×３列の画素回路から構成されている。左右に視差を検出する場合には、左側の画素回路が受光する被写体光の射出瞳における重心位置と、右側の画素回路が受光する被写体光の射出瞳における重心位置との間の距離が基線長となる。すなわち、基線長を長くするためには、Ｆ値が低い（射出瞳が大きい）撮像レンズを備えるか、焦点距離が長い撮像レンズを備える必要がある。Ｆ値は、明るさを設定するパラメータであり、焦点距離は画角を設定するパラメータであるため、基線長のため（立体感のため）だけに自由に設定できるものではない。
【０２０７】
例えば、明るいシーンを撮像する際に、絞りを絞ることによりＦ値を大きくして（射出瞳を小さくして）撮像すると、白トビがない良好な画像が得られるものの、基線長が小さくなり、立体感が得られなくなる。また、この明るいシーンを撮像する際に、基線長のために絞りを開いてＦ値を小さくして撮像すると、基線長が長くなり立体感が増すものの、白トビが発生して画質が劣化する。
【０２０８】
すなわち、基線長の自由な変更と明るさの自由な変更とが両立できる単眼撮像装置が求められる。そこで、本技術の第３の実施の形態では、横位置撮影において視差を検出する単眼撮像装置において、基線長および明るさを調整することができる絞りを備える例について図２１乃至図２９を参照して説明する。
【０２０９】
［撮像装置の機能構成例］
図２１は、本技術の第３の実施の形態の撮像装置５００の機能構成の一例を示すブロック図である。
【０２１０】
同図において示す撮像装置５００は、図１において示した撮像装置１００の絞り１１２に代えて、絞り５１０を備える。また、撮像装置５００は、撮像装置１００の各構成に加えて、さらに、基線長設定部５２０および絞り駆動設定部５３０を備える。また、撮像装置５００は、撮像装置１００の姿勢検出部１４０を備えていない。図２１では、絞り５１０、基線長設定部５２０および絞り駆動設定部５３０について説明する。
【０２１１】
なお、撮像装置５００は、横位置撮影にのみ用いられることを想定する。そのため、撮像装置５００の撮像素子２００における視差検出画素は、図１７（ｂ）に示すように、撮像素子２００の行方向のみにライン状に配置されていることを想定する。さらに、撮像装置５００の撮像素子２００の視差検出画素は、図２０（ｄ）に示すように、２行×２列の画素回路から構成されていることを想定する。すなわち、視差検出画素は、射出瞳を左右に２分割することができることを想定する。
【０２１２】
また、この第３の実施の形態において説明する絞り５１０は、射出瞳を何らかの手段（例えば、偏光素子、シャッター、ミラー、光ベクトル情報など）により左右に分離することで立体画像を生成する撮像装置であれば適用することができる。すなわち、第３の実施の形態は、本技術の第１および第２の実施の形態において説明した視差検出画素により立体画像を生成する撮像装置に限定されるものではない。しかしながら、本技術の第３の実施の形態では、視差検出画素により立体画像を生成する撮像装置において備えられた絞り５１０について説明する。
【０２１３】
絞り５１０は、駆動部１７０の駆動により開口の度合いを変化させて、撮像素子２００に入射する被写体光の光量および基線長を調整するための遮蔽物である。この絞り５１０は、開口の位置を調整して基線長を設定することができるとともに、それぞれ設定された基線長における開口の度合いを変化させて被写体光の光量を調整することができる。すなわち、絞り５１０は、被写体光の光量の増減と、基線長の長さとを独立して設定することができる。なお、絞り５１０については、図２２乃至図２５を参照して説明する。
【０２１４】
基線長設定部５２０は、絞り５１０により調整される基線長を設定するものである。例えば、基線長設定部５２０は、ユーザが操作受付部１２０を介して指定した立体感の強度に応じて基線長を算出し、その算出した基線長に関する情報（基線長情報）を絞り駆動設定部５３０に供給する。
【０２１５】
絞り駆動設定部５３０は、絞り５１０の開口状態を設定するものである。この絞り駆動設定部５３０は、例えば、撮像素子２００から供給された画像データに基づいて、適切な光量を算出（自動露光（ＡＥ：Automatic Exposure））する。そして、絞り駆動設定部５３０は、基線長設定部５２０から供給された基線長情報と、算出した光量とに基づいて、絞り５１０の開口状態を決定する。すなわち、絞り駆動設定部５３０は、絞り５１０の開口状態を設定することにより、被写体光の光量の増減と、基線長の長さとを独立して制御する。絞り駆動設定部５３０は、その決定した開口状態に関する情報（絞り開口状態情報）を、駆動部１７０に供給し、駆動部１７０に絞り５１０を駆動させる。
【０２１６】
［絞りの一例］
図２２は、本技術の第３の実施の形態の絞り５１０の一例を模式的に示す図である。
【０２１７】
絞り５１０は、絞りにおける開口領域の外枠を形成する２枚の羽根から構成される第１絞りと、左右の開口領域を生成するために絞りの中心付近を上下方向に向けて遮光する第２絞りとを備える。同図（ａ）では、第１絞りおよび第２絞りにより２つの開口部分が形成されている状態の絞り５１０を示す。また、同図（ｂ）では、第１絞り（第１絞り５１１）のみを示して第１絞りの２枚の羽根の形状を示す。そして、同図（ｃ）では、第２絞り（第２絞り５１５）のみを示して第２絞りの２枚の羽根の形状を示す。
【０２１８】
図２２（ａ）には、絞り５１０を構成する４枚の羽根（第１絞り上側羽根５１２、第１絞り下側羽根５１３、第２絞り上側羽根５１６、第２絞り下側羽根５１７）により２つの開口部分が形成されている状態の絞り５１０が示されている。また、同図（ａ）には、４枚の羽根により生成された２つの開口部分の重心位置（重心Ｐ１およびＰ２）と、この２つの重心間の距離（基線長Ｌ２１）とが示されている。
【０２１９】
同図（ｂ）には、第１絞り（第１絞り５１１）を構成する２枚の羽根（第１絞り上側羽根５１２および第１絞り下側羽根５１３）のみが示されている。第１絞り上側羽根５１２および第１絞り下側羽根５１３は、三角形（山形）の凹形状の切欠部が互いに対向するように配置される。なお、この三角形の凹形状の切欠部は、視差方向（左右方向）に垂直な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。同図（ｂ）に示すように、第１絞り５１１の一対の羽根（第１絞り上側羽根５１２および第１絞り下側羽根５１３）は、絞りの開口面が４５度斜めの正方形になるような平板状の遮光部材である。
【０２２０】
また、同図（ｃ）には、第２絞り（第２絞り５１５）を構成する２枚の羽根（第２絞り上側羽根５１６および第２絞り下側羽根５１７）のみが示されている。同図（ｃ）に示すように、第２絞り５１５の一対の羽根（第２絞り上側羽根５１６および第２絞り下側羽根５１７）は、上下から突出することにより絞り５１０の中心付近から遮光できるような平板状の遮光部材である。第２絞り上側羽根５１６および第２絞り下側羽根５１７は、三角形（山形）の凸形状の突出部が互いに対向するように配置される。なお、この三角形の三角形の凸形状の突出部は、視差方向に垂直（直交）な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。この第２絞り５１５の一対の羽根は、突出するにつれて、絞り５１０の中心付近から左右の両端に向けて遮光部分が増加するような形状である。同図では、一例として、４５度斜めの正方形の遮光部材が示されている。
【０２２１】
同図（ａ）乃至（ｃ）に示すように、絞り５１０は、第１絞り５１１の２枚の羽根（第１絞り上側羽根５１２および第１絞り下側羽根５１３）と、第２絞り５１５の２枚の羽根（第２絞り上側羽根５１６および第２絞り下側羽根５１７）とから構成される。これにより、絞り５１０は、視差方向に隣接する一対の開口領域を形成する。また、第１絞り５１１は、一対の開口領域の縁（周縁）のうち、両方の開口領域の視差方向における両側（両端）に対応する半分の縁（左の開口領域は左半分の縁、右の開口領域は右半分の縁）を形成する。第２絞り５１５は、一対の開口領域の縁のうち、両方の開口領域の視差方向における内側（一対の開口領域が近接する側）に対応する半分の縁（左の開口領域は右半分の縁、右の開口領域は左半分の縁）を形成する。すなわち、第１絞り５１１は、一対の開口領域のそれぞれの周縁のうち、前記視差方向における両端に対応する周縁の位置を形成し、第２絞り５１５は、一対の開口領域間で近接する周縁の位置を形成する。なお、第１絞り５１１の切り欠けおよび第２絞り５１５の突出の両方ともが、視差方向に垂直（直交）な直線であって基線長の中止位置を通過する線の上に頂点が位置する三角形であるため、一対の開口領域の形状が同じになる。
【０２２２】
次に、絞り５１０の第１絞り５１１および第２絞り５１５を駆動することによる開口形状の変化について、図２３乃至図２５を参照して説明する。
【０２２３】
［基線長を一定にして開口面積を変化させる例］
図２３は、本技術の第３の実施の形態の絞り５１０を、基線長は一定にして開口面積のみが変化するように駆動する場合の第１絞り５１１および第２絞り５１５の駆動方向を模式的に示す図である。
【０２２４】
同図（ａ）には、駆動前（標準状態と称する）の絞り５１０が示されている。
【０２２５】
同図（ｂ）には、基線長を一定にして開口面積が小さくなるように駆動された絞り５１０が示されている。同図（ｂ）に示すように、基線長（基線長Ｌ３１）を一定にして開口面積を小さくする絞り５１０の駆動は、第１絞りを絞る（第１絞り動作方向５５１）とともに、第２絞りを絞る（第２絞り動作方向５５２）ことにより行うことができる。
【０２２６】
同図（ｃ）には、基線長を一定にして開口面積が大きくなるように駆動された絞り５１０が示されている。同図（ｃ）に示すように、基線長（基線長Ｌ３１）を一定にして開口面積を大きくする絞り５１０の駆動は、第１絞りを開く（第１絞り動作方向５５３）とともに、第２絞りを開く（第２絞り動作方向５５４）ことにより行うことができる。
【０２２７】
すなわち、同図（ｂ）および（ｃ）に示すように、基線長を一定にして光量を増減させる場合には、第１絞りが形成する視差方向の縁の位置の移動に応じて、第２絞りが形成する視差方向の縁の位置を、第１絞りの縁の位置の移動方向と反対方向に同量移動させる。これにより、左の開口領域の左端の移動に応じて左の開口領域の右端が左の開口領域の左端と反対方向に同量ほど移動し、また、右の開口領域の右端の移動に応じて右の開口領域の左端が右の開口領域の右端と反対方向に同量ほど移動する。この開口領域の縁の設定は、同図（ｂ）および（ｃ）に示すように、第１絞りと第２絞りとを同じ方向に駆動させることにより実現することができる。このように絞り５１０の開口面を設定することにより、開口領域の重心位置を変化させずに、光量を増減させることができる。
【０２２８】
［開口面積を一定にして基線長を変化させる例］
図２４は、本技術の第３の実施の形態の絞り５１０を、開口面積を一定にして基線長のみが変化するように駆動する場合の第１絞り５１１および第２絞り５１５の駆動方向を模式的に示す図である。
【０２２９】
同図（ａ）には、標準状態の絞り５１０が示されている。
【０２３０】
同図（ｂ）には、開口面積を一定にして、標準状態から基線長が短くなる（基線長Ｌ３１から基線長Ｌ３２へ）ように駆動された絞り５１０が示されている。同図（ｂ）に示すように、開口面積を一定にして基線長を短くする絞り５１０の駆動は、第１絞りを絞る（第１絞り動作方向５６１）とともに、第２絞りを開く（第２絞り動作方向５６２）ことにより行うことができる。
【０２３１】
同図（ｃ）には、開口面積を一定にして、標準状態から基線長が長くなる（基線長Ｌ３１から基線長Ｌ３３へ）ように駆動された絞り５１０が示されている。同図（ｃ）に示すように、開口面積を一定にして基線長を長くする絞り５１０の駆動は、第１絞りを開く（第１絞り動作方向５６３）とともに、第２絞りを絞る（第２絞り動作方向５６４）ことにより行うことができる。
【０２３２】
すなわち、同図（ｂ）および（ｃ）に示すように、光量を一定にして基線長を変更する場合には、第１絞りが形成する視差方向の縁の位置の移動に応じて、第２絞りが形成する視差方向の縁の位置を、第１絞りの縁の位置の移動方向と同じ方向に同量ほど移動させる。これにより、左の開口領域の左端の移動に応じて左の開口領域の右端が左の開口領域の左端と同じ方向に同量ほど移動し、また、右の開口領域の右端の移動に応じて右の開口領域の左端が右の開口領域の右端と同じ方向に同量ほど移動する。この開口領域の縁の設定は、同図（ｂ）および（ｃ）に示すように、第１絞りと第２絞りとを反対方向に駆動させることにより実現することができる。これにより、左の開口領域における右端とこの領域の左端との間の長さ、および、右の開口領域における右端とこの領域の左端との間の長さを一定にすることができ、開口領域の開口面積を一定にすることができる。このように絞り５１０の開口面を設定することにより、開口領域の開口面積を変化させずに、重心位置を変化させることができる。
【０２３３】
［第２絞りを開いて開口部分を１つにする例］
図２５は、本技術の第３の実施の形態の絞り５１０における開口部分の形状を平面画像を撮像するのに適した形状にする場合を模式的に示す図である。
【０２３４】
同図（ａ）には、標準状態の絞り５１０が示されている。
【０２３５】
同図（ｂ）には、平面画像を撮像するのに適した開口部分の形状となるように駆動された絞り５１０が示されている。同図（ｂ）に示すように、第２絞りを開放する（第２絞り駆動方向５７１）ことで、従来の絞りと同様に、１つの開口部分の絞りとすることができる。
【０２３６】
すなわち、図２３および図２４に示したように、絞り５１０は、第１絞りと第２絞りを個別に動かすことにより、開口部分の開口面積（Ｆ値）と、基線長（立体感）とを独立に設定することができる。例えば、非常に明るいシーンの撮影において、基線長を一定にしながら明るさを減少させたい場合には、図２３（ｂ）に示したように、第１絞りを絞るとともに第２絞りを絞ることにより達成できる。また、明るさを維持して立体感を強調したい場合には、図２４（ｃ）に示したように、第１絞りを開くとともに、第２絞りを絞ることにより達成できる。
【０２３７】
さらに、図２５に示したように、立体画像ではなく平面画像を撮像する場合には、第２絞りを開放して１つの開口部分にして、第１絞りにより開口面積を制御することにより、従来の絞りと同様に用いることができる。
【０２３８】
このように、絞り５１０によって立体感（３Ｄ強度）の設定を行うことができる。また、視差検出画素および画像生成画素が撮像素子２００に配置される本技術の第３の実施の形態によれば、画像生成画素の画素値に基づいて、２Ｄ画像（平面画像）を生成することができる。すなわち、絞り５１０を撮像装置に備えることにより、ユーザが、撮像する画像の選択（２Ｄ画像か３Ｄ画像か）や、立体感の設定を行うことができる。
【０２３９】
そこで、画像や３Ｄ強度をユーザが設定する際の設定画面（ユーザインターフェース）の例について、図２６を参照して説明する。
【０２４０】
［表示部における設定画面例］
図２６は、本技術の第３の実施の形態において表示部１５１に表示される撮像画像の設定画面および３Ｄ強度の設定画面を模式的に示す図である。
【０２４１】
同図（ａ）には、２Ｄ画像または３Ｄ画像のどちらを撮像するかをユーザが設定する設定画面（設定画面５８０）が示されている。この設定画面５８０では、３Ｄ画像を撮像する３Ｄ画像モードを選択するラジオボタン（ラジオボタン５８２）と、２Ｄ画像を撮像する２Ｄ画像モードを選択するラジオボタン（ラジオボタン５８３）とが示されている。さらに、選択を決定する決定ボタン（決定ボタン５８４）と、選択の変更を辞めるボタン（戻るボタン５８５）とが示されている。
【０２４２】
設定画面５８０において、３Ｄ画像モードがユーザにより選択されると、図２３および図２４に示したように、３Ｄ画像の撮像に適した絞りの制御が行われる。一方、２Ｄ画像モードがユーザにより選択されると、図２５に示したように第２絞りは開放され、２Ｄ画像の撮像に適した絞りの制御（従来の絞りと同様の制御）が行われる。
【０２４３】
このように、撮像装置５００では、撮像する画像が２Ｄ画像であるか３Ｄ画像であるかをユーザに選択させることができる。
【０２４４】
図２６（ｂ）には、３Ｄ強度（３Ｄレベル）をユーザが設定する設定画面（設定画面５９０）が示されている。この設定画面５９０では、３Ｄレベルを示すスライドバー（スライドバー５９１）と、選択を決定する決定ボタン（決定ボタン５９４）と、選択の変更を辞めるボタン（戻るボタン５９５）とが示されている。また、スライドバー５９１には、現在の設定３Ｄレベルを示すバー（バー５９２）が示されている。
【０２４５】
設定画面５９０において、バー５９２をスライドさせることにより、ユーザは３Ｄレベルを選択することができる。３Ｄレベルを弱める（バー５９２をスライドバー５９１の「弱」に近づける）と、図２４（ｂ）に示したように、基線長が短くなるように絞り５１０が制御される。一方、３Ｄレベルを強める（バー５９２をスライドバー５９１の「強」に近づける）と、図２４（ｃ）に示したように、基線長が長くなるように絞り５１０が制御される。
【０２４６】
このように、撮像装置５００では、３Ｄレベルをユーザに選択させることができる。
【０２４７】
［基線長の変更による３Ｄレベルの変化例］
図２７は、本技術の第３の実施の形態における絞り５１０による基線長の変化による像の変化を模式的に示す図である。
【０２４８】
同図（ａ）および（ｂ）には、基線長が長くなるように絞り５１０が制御された場合の撮像対象物からの光路および撮像対象物の像面における結像位置が模式的に示されている。また、同図（ｃ）および（ｄ）には、基線長が短くなるように絞り５１０が制御された場合の撮像対象物からの光路および撮像対象物の像面における結像位置が模式的に示されている。
【０２４９】
なお、同図（ａ）および（ｃ）は、図６（ａ）に対応し、撮像対象物からの被写体光のうち、絞り５１０の左眼に相当する開口面（左眼開口面）を通過する被写体光の光路および像面における結像位置が模式的に示されている。同様に、図２７（ｂ）および（ｄ）は、図６（ｂ）に対応し、撮像対象物からの被写体光のうち、絞り５１０の右眼に相当する開口面（右眼開口面）を通過する被写体光の光路および像面における結像位置が模式的に示されている。そこで、図６（ａ）および（ｂ）と同様のものには、同一の符号を付してここでの説明を省略する。
【０２５０】
図２７（ａ）乃至（ｄ）において示す瞳Ｅ２１は、絞り５１０の第１絞りおよび第２絞りを両方とも開放にした時の射出瞳の形状（すなわち撮像レンズの形状）を模式的に示し、図６の射出瞳Ｅ１に相当する。図２７（ａ）および（ｂ）の射出瞳Ｅ３１およびＥ３２は、基線長が長くなるように絞り５１０が制御された場合の一対の射出瞳（射出瞳Ｅ３１は左眼開口面の射出瞳、射出瞳Ｅ３２は右眼開口面の射出瞳）を示している。同様に、同図（ｃ）および（ｄ）の射出瞳Ｅ４１およびＥ４２は、基線長が短くなるように絞り５１０が制御された場合の一対の射出瞳（射出瞳Ｅ４１は左眼開口面の射出瞳、射出瞳Ｅ４２は右眼開口面の射出瞳）を示している。そして、同図（ａ）乃至（ｄ）には、図６と同様に、合焦物体２７１および近位置物体２７２からの光の光路が、各物体から伸びる破線および実線（線Ｌ５１乃至Ｌ５８）により示されている。
【０２５１】
図２７（ａ）および（ｂ）に示すように、基線長が長くなると（左側開口面および右側開口面がお互いに離れると）、デフォーカス量に応じてずれる結像位置のずれ量が大きくなり、立体感が大きくなる。一方、同図（ｃ）および（ｄ）に示すように、基線長が短くなると（左側開口面および右側開口面がお互いに近づくと）、デフォーカス量に応じてずれる結像位置のずれ量が小さくなり、立体感が小さくなる。
【０２５２】
このように、絞り５１０を設けることにより、立体感を調整することができる。
【０２５３】
［絞りにおける開口面の変化例］
図２８は、本技術の第３の実施の形態における絞り５１０における開口面と、従来の絞りにおける開口面との違いを模式的に示す図である。
【０２５４】
同図（ａ）には、従来の撮像装置に備えられる絞り（絞り１９０）の開閉による開口面の変化が示されている。絞り１９０は、一組の羽根（絞り上側羽根１９１および絞り下側羽根１９２）から構成され、この一組の羽根（遮光部材）を互いに逆方向に移動させることにより開口面の面積を調整する。この従来の絞り１９０は、開口面積が広い時は基線長が長くなる（同図（ａ）において示す基線長Ｌ９１を参照）が、開口面積が小さくになると基線長が短くなる（同図（ａ）の基線長Ｌ９２を参照）。
【０２５５】
同図（ｂ）には、本技術の第３の実施の形態における絞り５１０の開閉による開口面の変化が示されている。なお、同図（ｂ）において示す図は、図２３および図２４をまとめた図である。そこで、図２８（ｂ）では、図２３および図２４と同一の符号を付して、ここでの詳細な説明を省略する。
【０２５６】
図２８（ｂ）に示すように、絞り５１０によって、明るさ（開口面積の大きさ）と、基線長（一対の開口面の重心間距離）とを独立に制御することができる。
【０２５７】
［撮像装置の動作例］
次に、本技術の第３の実施の形態における撮像装置５００の動作について図面を参照して説明する。
【０２５８】
図２９は、本技術の第３の実施の形態における撮像装置５００による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。なお、同図において示す撮像処理手順例のフローチャートは、図１０において示した本技術の第１の実施の形態の撮像処理手順例のフローチャートの変形例である。そこで、同一の処理については同一の符号を付して説明を省略し、新たに追加した自動露光に関する処理手順例についてのみ説明する。
【０２５９】
立体画像の撮像動作の開始指示がユーザによりされたと判断されると（ステップＳ９０１）、ユーザが予め指定した立体感の強度に基づいて基線長の長さが設定され、その設定された基線長の長さに応じて絞り５１０が駆動される（ステップＳ９６１）。そして、ステップＳ９０２に進み、ライブビューの表示が行われる。
【０２６０】
また、合焦処理が行われた後に（ステップＳ９０４）、その合焦処理の際に撮像された画像に基づいて露光の調整が絞り駆動設定部５３０により行われて、絞り５１０が制御される自動露光処理が行われる（ステップＳ９６２）。そして、ステップＳ９６２の後に、ステップＳ９０５に進み、シャッターボタンが全押しされたか否かが判断される。
【０２６１】
このように、本技術の第３の実施の形態によれば、明るさ（開口面積の大きさ）と、基線長（一対の開口面の重心間距離）とを独立に制御することができる。なお、本技術の第３の実施の形態では、２枚の羽根（遮光部材）を備える第１絞りと、２枚の羽根を備える第２絞りとを想定して説明したがこれに限定されるものではない。第１絞りは、従来の絞りと同様に、絞りの外周から中心に向けて開口面積が狭くなるように（Ｆ値が小さくなるように）開閉するものであればよい。羽根の枚数を増やすことにより、４５度回転した正方形の開口形状から円形に近い開口形状に近づけることができる。また、第２絞りも、絞りの中心付近を遮光して一対の開口部分を形成するものであればよく、２枚以上の羽根を用いることにより、一対の開口部分の形状を円形に近づけることができることも考えられる。
【０２６２】
＜５．第４の実施の形態＞
本技術の第３の実施の形態では、撮像装置を用いて横位置撮影を撮影した際に明るさおよび基線長を自由に設定できる絞り（絞り５１０）について説明した。しかしながら、この絞り５１０では、本技術の第１の実施において示したように縦位置撮影をする場合には、第２絞りを開放して第１絞りのみにしないと（従来の絞りと同じ使用方法にする）、水平方向の視差を取得することが出ない。
【０２６３】
そこで、本技術の第４の実施の形態では、横位置撮影および縦位置撮影の両方において明るさおよび基線長を自由に設定できる絞りについて、図３０乃至図３２を参照して説明する。
【０２６４】
［撮像装置の機能構成例］
図３０は、本技術の第４の実施の形態の撮像装置６００の機能構成の一例を示すブロック図である。
【０２６５】
同図において示す撮像装置６００は、図２１において示した撮像装置５００の絞り５１０に代えて、絞り６１０を備える。また、撮像装置６００は、撮像装置５００の各構成に加えて、さらに、図１において示した姿勢検出部１４０を備える。なお、絞り６１０については、図３１および図３２において説明する。
【０２６６】
姿勢検出部１４０は、図１において示した姿勢検出部１４０と同様に、撮像装置６００の姿勢を検出し、検出した撮像装置６００の姿勢に関する情報（姿勢情報）を、視差検出部３２０および絞り駆動設定部５３０に供給する。
【０２６７】
なお、図３０において示す絞り駆動設定部５３０では、姿勢検出部１４０から供給された姿勢情報に基づいて、縦位置撮影および横位置撮影のどちらであるか（撮像装置６００の姿勢）を検出し、その検出した姿勢に応じて絞り６１０の駆動を設定する。
【０２６８】
［絞りの一例］
図３１は、本技術の第４の実施の形態の絞り６１０の一例を模式的に示す図である。
【０２６９】
絞り６１０は、図２２において示した絞り５１０と同じものである第１絞りおよび第２絞りに加えて、上下に一対の開口部分を生成するために、左右方向から突出することにより絞りの中心付近を遮光する第３絞りを備える。図３１（ａ）では、上下に２つの開口部分が形成されている状態の絞り６１０を示す。
【０２７０】
また、同図（ｂ）では第１絞り（第１絞り５１１）のみを示して第１絞りの２枚の羽根の形状を示し、同図（ｃ）では第２絞り（第２絞り５１５）のみを示して第２絞りの２枚の羽根の形状を示す。さらに、同図（ｄ）では、第３絞り（第３絞り６１１）のみを示して第３絞りの２枚の羽根の形状を示す。
【０２７１】
なお、同図（ｂ）および（ｃ）は、図２２において示した（ｂ）および（ｃ）と同様のものであるため、ここでは、図３１（ａ）および（ｄ）について説明する。
【０２７２】
同図（ａ）には、上下方向に一対の開口部分が形成されている状態の絞り６１０が示されている。この絞り６１０では、第３絞り左側羽根６１２の右端と第３絞り右側羽根６１３の左端とが絞り６１０の中心付近でお互いに接するように第３絞りが配置されている。一方、第２絞り上側羽根５１６および第２絞り下側羽根５１７は、開放状態となり、被写体光を遮光しないように配置される。このように、第３絞り６１１により絞り６１０の中心付近を左右方向から遮光することにより、絞り６１０の上下方向に一対の開口部分を形成することができる。
【０２７３】
同図（ｄ）には、第３絞り（第３絞り６１１）を構成する２枚の羽根（第３絞り左側羽根６１２および第３絞り右側羽根６１３）のみが示されている。同図（ｄ）に示すように、第３絞り６１１は、第２絞り５１５（同図（ｃ）を参照）の配置方向を、９０度時計回りに回転させたもの（駆動方向が直交するもの）となる。すなわち、第３絞り左側羽根６１２および第３絞り右側羽根６１３は、三角形（山形）の凸形状の突出部が互いに対向するように配置される。なお、この三角形（山形）の凸形状の突出部は、視差方向に平行な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。
【０２７４】
このように、左右方向から絞り６１０の中心付近を遮光する第３絞り６１１を設けることにより、上下方向に一対の開口部分を設けることができる。
【０２７５】
［絞りにおける開口面の変化例］
図３２は、本技術の第４の実施の形態の絞り６１０が形成する開口部分の形状の一例を模式的に示す図である。
【０２７６】
同図（ａ）には、撮像装置６００を用いて横位置撮影をする場合における絞り６１０の各羽根の位置が模式的に示されている。横位置撮影をする場合には、同図（ａ）に示すように、第３絞り（第３絞り左側羽根６１２および第３絞り右側羽根６１３）を開放状態にする。また、第２絞り（第２絞り上側羽根５１６および第２絞り下側羽根５１７）を、図２２乃至図２４において示したように、一対の開口部分が形成されるように絞る（閉じる）。そして、第３絞りを開いたまま第２絞りおよび第１絞りを開閉することにより、図２２乃至図２４において示した絞り５１０と同様に、横位置撮影において明るさと基線長とを別々に制御することが出来る。
【０２７７】
図３２（ｂ）には、撮像装置６００を用いて縦位置撮影をする場合における絞り６１０の各羽根の位置が模式的に示されている。縦位置撮影をする場合には、同図（ｂ）に示すように、第２絞りを開放状態にし、第３絞りを、一対の開口部分が形成されるように絞る（閉じる）。そして、第２絞りを開いたまま第３絞りおよび第１絞りを開閉することにより、一対の開口部分の方向が異なる以外は同図（ａ）と同様の開閉をすることが出来る。すなわち、同図（ｂ）に示すように、第２絞りを開放状態にして第３絞りおよび第１絞りを開閉することにより、縦位置撮影において明るさと基線長とを別々に制御することが出来る。
【０２７８】
同図（ｃ）には、撮像装置６００を用いて２Ｄ画像を撮像する場合における絞り６１０の各羽根の位置が模式的に示されている。２Ｄ画像を撮像する場合には、同図（ｃ）に示すように、第２絞りおよび第３絞りを開放状態にする。そして、第１絞りのみを開閉させる。これにより、不要な被写体光の遮光を行わずに２Ｄ画像を撮像することができる。
【０２７９】
このように、本技術の第４の実施の形態によれば、横位置撮影および縦位置撮影のいずれにおいても明るさと基線長とを独立して制御することができる。
【０２８０】
＜６．絞りの変形例＞
本技術の第３および第４の実施の形態では、一対の開口部分を形成するとともに、明るさおよび基線長を自由に設定できる絞りについて説明した。なお、第３および第４の実施の形態において示した絞りは、明るさと基線長とを自由に組み合わせることができるが、簡便な３Ｄ撮像装置においては、そこまでの性能を必要としない場合が考えられる。この場合には、３Ｄ画像の撮像に適したより簡単な構成の絞りが求められる。
【０２８１】
そこで、第３および第４の実施の形態より簡単な構成の絞りを、図３３を参照して説明する。
【０２８２】
［絞りの一例］
図３３は、本技術の第３および第４の実施の形態の変形例として、３Ｄ画像の撮像に適した簡単な構成の絞りの例を模式的に示す図である。
【０２８３】
同図（ａ）および（ｂ）には、基線長を保持したまま明るさを制御することができる絞りが示されている。同図（ａ）には、２枚の羽根を備え、視差検出方向（左右）における両端の突出（中側は矩形の切り込み）により視差検出方向に長い長方形の開口面を形成する絞りが示されている。この絞りの長方形の開口面は、視差方向を長辺とする矩形の切欠部が互いに対向する２枚の羽根により形成される。また、同図（ｂ）には、２枚の羽根を備え、山切り状の突出（谷が２つ（隣接する一対の切欠部））により視差検出方向（左右）に一対の開口部分（４５度回転した正方形）を形成する絞りが示されている。同図（ａ）および（ｂ）に示すような絞りを、上下方向（視差検出方向に対して垂直方向）に開閉することにより、基線長を維持しながら明るさを制御することができる。
【０２８４】
同図（ｃ）および（ｄ）には、従来の絞りよりも基線長を長くすることができる絞りが示されている。同図（ｃ）には、左右方向（視差検出方向）に長く、上下方向に短い楕円形の開口部分を形成する絞りが示されている。この絞りの楕円形の開口部分は、視差方向を一辺（長い直径）とする半円形の切欠部が互いに対向する２枚の羽根により形成される。また、同図（ｄ）には、左右方向（視差検出方向）に長く、上下方向に短い菱形の開口部分を形成する絞りが示されている。この絞りの菱形の開口部分は、視差方向を底辺とする三角形の切欠部が互いに対向する２枚の羽根により形成される。同図（ｃ）および（ｄ）に示すような絞りを、上下方向に開閉することにより、従来の円形状の開口部分の絞りや、４５度回転した正方形状の開口部分の絞りと比較して、基線長を長くすることができる。
【０２８５】
同図（ｅ）には、本技術の第３および第４の実施の形態と同様に、明るさと基線長とを独立に制御できる絞りであって、第３および第４の実施の形態の絞りよりも制御が簡単な絞りが示されている。この同図（ｅ）では、視差検出方向（左右）の両端（左端および右端）から絞りの中心に向かって閉じる２枚の羽根と、上下の両端（上端および下端）から絞りの中心に向かって閉じる２枚の羽根とが示されている。なお、左端および右端から絞りの中心に向かって閉じる２枚の羽根は、視差方向に直交する直交方向に平行な辺が対向する一対の羽根である。また、上端および下端から絞りの中心に向かって閉じる２枚の羽根は、視差方向に平行な辺が対向する一対の羽根である。同図（ｅ）で示す絞りは、左右の絞りを開くと基線長が広がり、上下の絞りを開くと明るさが大きくなる。
【０２８６】
このような３Ｄ画像の撮像に適した絞りを撮像装置に設けることにより、良好な立体感の３Ｄ画像を撮像することができる。
【０２８７】
このように、本技術の実施の形態によれば、良好な３Ｄ画像を撮像することができる。なお、本技術の実施の形態においては、静止画を撮像する撮像装置を想定して説明したが、動画を撮像する撮像装置においても同様に実施することができる。
【０２８８】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２８９】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０２９０】
なお、本技術は以下のような構成もとることができる。
（１） １つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する視差検出画素と、前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子と、
前記視差検出画素が生成した信号に基づいて前記視差を検出し、前記画像生成画素が生成した信号に基づいて前記平面画像を生成し、前記検出した視差に基づいて前記生成した平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する立体視画像生成部と
を具備する撮像装置。
（２） 前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、
前記視差検出画素は、前記撮像素子における行方向のライン上および列方向のライン上に並んで配置され、
前記立体視画像生成部は、前記姿勢検出部が検出した姿勢に基づいて前記視差を検出する方向を前記撮像素子の行方向および列方向のいずれかから決定し、当該決定された方向に配置された前記視差検出画素が生成した信号に基づいて前記視差に関する情報を生成する
前記（１）に記載の撮像装置。
（３） 前記視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行う合焦判定部をさらに具備する
前記（１）または（２）に記載の撮像装置。
（４） 前記撮像素子は、前記視差検出画素が特定方向におけるライン上に隣接して配置される前記（１）から（３）のいずれかに記載の撮像装置。
（５） 前記撮像素子は、前記視差検出画素が特定方向におけるライン上に所定の間隔置きに配置される前記（１）から（３）のいずれかに記載の撮像装置。
（６） 前記撮像素子と前記射出瞳の大きさとの関係に基づいて、前記視差検出画素における複数の受光素子を覆う前記１つのマイクロレンズを当該マイクロレンズの光軸方向へ移動させる制御部をさらに具備する前記（１）から（５）のいずれかに記載の撮像装置。
（７） 前記視差検出画素における複数の受光素子は、同一のカラーフィルタにより覆われている前記（１）から（６）のいずれかに記載の撮像装置。
（８） 前記視差検出画素における複数の受光素子は、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている前記（７）に記載の撮像装置。
（９） 前記視差検出画素における複数の受光素子は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われている前記（７）に記載の撮像装置。
（１０） 前記画像生成画素は、前記画素単位ごとに１つの受光素子を備える前記（１）から（９）のいずれかに記載の撮像装置。
（１１） 前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズにより集光された前記被写体光を前記複数の受光素子のそれぞれの位置に集光するためのマイクロレンズが、当該複数の受光素子を当該複数の受光素子ごとに覆う前記（１）から（１０）のいずれかに記載の撮像装置。
（１２） 前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を当該複数の受光素子ごとに覆う前記マイクロレンズの光軸方向と直交する同一面上に配置される前記（１１）に記載の撮像装置。
（１３） 前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズの光軸方向と直交する同一面上に配置される前記（１）から（１１）のいずれかに記載の撮像装置。
（１４） １つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより立体視画像を生成する際に用いられる視差を検出するための信号を生成する視差検出画素と、
前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより前記視差を用いて前記立体視画像を生成する際に用いられる平面画像を生成するための信号を生成する画像生成画素と
を具備する撮像素子。
（１５） 前記視差は、前記平面画像における被写体像のそれぞれの位置を前記視差方向に調整して前記立体視画像を生成する際における前記被写体像のそれぞれの位置のずれ量に関する情報であり、
前記視差検出画素は、前記視差方向にライン上に配置される
前記（１４）に記載の撮像素子。
（１６） １つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
を具備する画像処理方法。
（１７） １つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０２９１】
１００ 撮像装置
１１０ レンズ部
１１１ ズームレンズ
１１２ 絞り
１１３ フォーカスレンズ
１２０ 操作受付部
１３０ 制御部
１４０ 姿勢検出部
１５１ 表示部
１５２ 記憶部
１７０ 駆動部
２００ 撮像素子
２３０ 視差検出画素
３００ 信号処理部
３１０ ２Ｄ画像生成部
３２０ 視差検出部
３３０ ３Ｄ画像生成部
４００ 撮像装置
４１０ 合焦判定部
５００ 撮像装置
５１０ 絞り
５２０ 基線長設定部
５３０ 絞り駆動設定部
【特許請求の範囲】
【請求項１】
１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する視差検出画素と、前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより画像を生成するための信号を生成する画像生成画素とを備える撮像素子と、
前記視差検出画素が生成した信号に基づいて前記視差を検出し、前記画像生成画素が生成した信号に基づいて平面画像を生成し、前記検出した視差に基づいて前記生成した平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する立体視画像生成部と
を具備する撮像装置。
【請求項２】
前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、
前記視差検出画素は、前記撮像素子における行方向のライン上および列方向のライン上に並んで配置され、
前記立体視画像生成部は、前記姿勢検出部が検出した姿勢に基づいて前記視差を検出する方向を前記撮像素子の行方向および列方向のいずれかから決定し、当該決定された方向に配置された前記視差検出画素が生成した信号に基づいて前記視差に関する情報を生成する
請求項１記載の撮像装置。
【請求項３】
前記視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行う合焦判定部をさらに具備する
請求項１記載の撮像装置。
【請求項４】
前記撮像素子は、前記視差検出画素が特定方向におけるライン上に隣接して配置される請求項１記載の撮像装置。
【請求項５】
前記撮像素子は、前記視差検出画素が特定方向におけるライン上に所定の間隔置きに配置される請求項１記載の撮像装置。
【請求項６】
前記撮像素子と前記射出瞳の大きさとの関係に基づいて、前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズを当該マイクロレンズの光軸方向へ移動させる制御部をさらに具備する請求項１記載の撮像装置。
【請求項７】
前記視差検出画素における複数の受光素子は、同一のカラーフィルタにより覆われている請求項１記載の撮像装置。
【請求項８】
前記視差検出画素における複数の受光素子は、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている請求項７記載の撮像装置。
【請求項９】
前記視差検出画素における複数の受光素子は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われている請求項７記載の撮像装置。
【請求項１０】
前記画像生成画素は、前記画素単位ごとに１つの受光素子を備える請求項１記載の撮像装置。
【請求項１１】
前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズにより集光された前記被写体光を前記複数の受光素子のそれぞれの位置に集光するためのマイクロレンズが、当該複数の受光素子を当該複数の受光素子ごとに覆う請求項１記載の撮像装置。
【請求項１２】
前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を当該複数の受光素子ごとに覆う前記マイクロレンズの光軸方向と直交する同一面上に配置される請求項１１記載の撮像装置。
【請求項１３】
前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズの光軸方向と直交する同一面上に配置される請求項１記載の撮像装置。
【請求項１４】
１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより立体視画像を生成する際に用いられる視差を検出するための信号を生成する視差検出画素と、
前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより前記視差を用いて前記立体視画像を生成する際に用いられる平面画像を生成するための信号を生成する画像生成画素と
を具備する撮像素子。
【請求項１５】
前記視差は、前記平面画像における被写体像のそれぞれの位置を前記視差方向に調整して前記立体視画像を生成する際における前記被写体像のそれぞれの位置のずれ量に関する情報であり、
前記視差検出画素は、前記視差方向にライン上に配置される
請求項１４記載の撮像素子。
【請求項１６】
１つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
を具備する画像処理方法。
【請求項１７】
１つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
をコンピュータに実行させるプログラム。
【請求項１】
１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより視差を検出するための信号を生成する視差検出画素と、前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより画像を生成するための信号を生成する画像生成画素とを備える撮像素子と、
前記視差検出画素が生成した信号に基づいて前記視差を検出し、前記画像生成画素が生成した信号に基づいて平面画像を生成し、前記検出した視差に基づいて前記生成した平面画像に含まれる被写体像のそれぞれの位置を調整して立体視画像を生成する立体視画像生成部と
を具備する撮像装置。
【請求項２】
前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、
前記視差検出画素は、前記撮像素子における行方向のライン上および列方向のライン上に並んで配置され、
前記立体視画像生成部は、前記姿勢検出部が検出した姿勢に基づいて前記視差を検出する方向を前記撮像素子の行方向および列方向のいずれかから決定し、当該決定された方向に配置された前記視差検出画素が生成した信号に基づいて前記視差に関する情報を生成する
請求項１記載の撮像装置。
【請求項３】
前記視差検出画素が生成した信号に基づいて合焦対象物に対する合焦判定を行う合焦判定部をさらに具備する
請求項１記載の撮像装置。
【請求項４】
前記撮像素子は、前記視差検出画素が特定方向におけるライン上に隣接して配置される請求項１記載の撮像装置。
【請求項５】
前記撮像素子は、前記視差検出画素が特定方向におけるライン上に所定の間隔置きに配置される請求項１記載の撮像装置。
【請求項６】
前記撮像素子と前記射出瞳の大きさとの関係に基づいて、前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズを当該マイクロレンズの光軸方向へ移動させる制御部をさらに具備する請求項１記載の撮像装置。
【請求項７】
前記視差検出画素における複数の受光素子は、同一のカラーフィルタにより覆われている請求項１記載の撮像装置。
【請求項８】
前記視差検出画素における複数の受光素子は、緑を示す波長領域以外の光を遮光する緑フィルタによって覆われている請求項７記載の撮像装置。
【請求項９】
前記視差検出画素における複数の受光素子は、可視光領域の光を透過させる白フィルタまたは透明層によって覆われている請求項７記載の撮像装置。
【請求項１０】
前記画像生成画素は、前記画素単位ごとに１つの受光素子を備える請求項１記載の撮像装置。
【請求項１１】
前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズにより集光された前記被写体光を前記複数の受光素子のそれぞれの位置に集光するためのマイクロレンズが、当該複数の受光素子を当該複数の受光素子ごとに覆う請求項１記載の撮像装置。
【請求項１２】
前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を当該複数の受光素子ごとに覆う前記マイクロレンズの光軸方向と直交する同一面上に配置される請求項１１記載の撮像装置。
【請求項１３】
前記画像生成画素における前記受光素子を覆う前記マイクロレンズは、前記視差検出画素における前記複数の受光素子を覆う前記１つのマイクロレンズの光軸方向と直交する同一面上に配置される請求項１記載の撮像装置。
【請求項１４】
１つのマイクロレンズにより覆われた複数の受光素子により被写体光を受光することにより立体視画像を生成する際に用いられる視差を検出するための信号を生成する視差検出画素と、
前記マイクロレンズよりも小さいマイクロレンズにより画素単位で覆われた受光素子により前記被写体光を受光することにより前記視差を用いて前記立体視画像を生成する際に用いられる平面画像を生成するための信号を生成する画像生成画素と
を具備する撮像素子。
【請求項１５】
前記視差は、前記平面画像における被写体像のそれぞれの位置を前記視差方向に調整して前記立体視画像を生成する際における前記被写体像のそれぞれの位置のずれ量に関する情報であり、
前記視差検出画素は、前記視差方向にライン上に配置される
請求項１４記載の撮像素子。
【請求項１６】
１つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
を具備する画像処理方法。
【請求項１７】
１つのマイクロレンズにより覆われた複数の受光素子により視差を検出するための信号を生成する視差検出画素と、被写体光を受光することにより平面画像を生成するための信号を生成する画像生成画素とを備える撮像素子における前記視差検出画素が生成した信号に基づいて視差を検出する手順と、
前記撮像素子における前記画像生成画素が生成した信号に基づいて前記平面画像を生成する手順と、
前記検出した視差に基づいて前記平面画像における撮像された物体のそれぞれの位置を調整して立体視画像を生成する立体視画像生成手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１２−２０８１５９（Ｐ２０１２−２０８１５９Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７１６０５（Ｐ２０１１−７１６０５）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]