撮像装置及び撮像装置の制御方法
【課題】左目用画像／右目用画像を撮影する撮像装置であって、ライブビュー撮影時に撮像素子からの画像信号の取り込み時間を短縮し、静止画撮影時に後工程での画像処理の自由度が上がるように画像信号を記憶する撮像装置を提供する。
【解決手段】撮像素子が、一つのマイクロレンズに対し射出瞳の分割された異なる領域からの光束から画像信号を生成する複数のＰＤを有する画素部を含む。ライブビュー撮影時に、撮像装置が左目用／右目用画像信号を生成するＰＤを選択し、複数の画素部を処理単位とする。撮像装置が処理単位の画素部が有する上記選択したＰＤが生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する処理を実行して、左目用／右目用動画像データを生成する。静止画撮影時に、撮像装置が画素部の全てのＰＤが生成した画像信号を記憶し、画像信号に基づき、左目用／右目用静止画像データを生成する。
【解決手段】撮像素子が、一つのマイクロレンズに対し射出瞳の分割された異なる領域からの光束から画像信号を生成する複数のＰＤを有する画素部を含む。ライブビュー撮影時に、撮像装置が左目用／右目用画像信号を生成するＰＤを選択し、複数の画素部を処理単位とする。撮像装置が処理単位の画素部が有する上記選択したＰＤが生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する処理を実行して、左目用／右目用動画像データを生成する。静止画撮影時に、撮像装置が画素部の全てのＰＤが生成した画像信号を記憶し、画像信号に基づき、左目用／右目用静止画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関する。
【背景技術】
【０００２】
３次元の画像撮影を行うステレオカメラが提案されている。例えば、特許文献１は、２つの光学手段と２つの撮像素子を使い、左目用画像と右目用画像のステレオ画像を取得するステレオカメラを開示する。また、特許文献２は、複数の微小レンズが形成され、該微小レンズの各々に近接して、光電変換部であるフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザの立体映像の鑑賞が可能となる。
【０００３】
一方、撮像素子から取り込んだ画像を画像表示手段を介してリアルタイムで表示（ライブビュー表示）しながら、構図を確認し、その構図で静止画画像を撮影するデジタルカメラが提案されている。ライブビューは、単位時間により多くの画像を表示することで滑らかな動画を実現することができる。つまり、撮像装置で開始する撮影が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合、撮像素子からの画像信号の取り込みに時間がかかると、滑らかな動画を実現できない。従って、撮像素子から画像を取り込むデータ量をできるだけ減らして取り込みにかかる時間を短くすることが重要である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０１−２０２９８５号公報
【特許文献２】特開昭５８−２４１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、撮像素子が備える各々の画素部が有するフォトダイオードの数が増えると、撮像素子から読み込むデータ量が増えるので、滑らかな動画を表示することができない。また逆に、撮像装置が静止画撮影した場合には、後工程での画像処理の自由度を上げるために、できるだけ多くのフォトダイオードのデータを記録した方が有利である。
【０００６】
本発明は、左目用画像／右目用画像を撮影する撮像装置であって、ライブビュー撮影時に撮像素子からの画像信号の取り込み時間を短縮し、静止画撮影時に後工程での画像処理の自由度が上がるように画像信号を記憶する撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本実施形態の撮像装置は、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を、水平方向および垂直方向に並べて配置した撮像素子と、撮影の開始と該撮影の種別とを検知する撮影検知手段と、前記開始が検知された撮影の種別に応じて、前記複数の光電変換部から、左目用画像信号を生成する第１の光電変換部、右目用画像信号を生成する第２の光電変換部または前記複数の光電変換部の全てのうちのいずれかを選択し、選択した光電変換部が生成する信号に基づいて画像データを生成して出力する第１選択手段と、前記第１選択手段が出力した画像データを記憶する記憶手段と、前記開始が検知された撮影の種別に応じて、前記記憶手段に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第２選択手段とを備える。前記開始が検知された撮影の種別が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合に、前記第１選択手段が、前記第１または第２の光電変換部を選択するとともに、前記複数の画素部から予め決められた複数の画素部を１つの処理単位として選択し、前記選択した画素部が有する前記選択された光電変換部が生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する信号出力処理を、前記第１または第２の光電変換部を選択する毎に実行することによって、左目用動画像データと右目用動画像データとを生成して前記記憶手段に記憶する。前記開始が検知された撮影の種別が、静止画撮影である場合に、前記第１選択手段が、各々の画素部が有する前記複数の光電変換部の全てを選択し、該選択した光電変換部が生成した画像信号に基づいて静止画像データを生成して前記記憶手段に記憶し、前記第２選択手段が、該記憶手段に記憶された静止画像データのうち、前記第１の光電変換部が生成した画像信号に対応する静止画像データに基づいて、左目用静止画像データを生成し、前記第２の光電変換部が生成した画像信号に対応する静止画像データに基づいて、右目用静止画像データを生成する。
【発明の効果】
【０００８】
本発明の撮像装置によれば、ライブビュー撮影時に左目用画像／右目用画像を撮影する場合に、撮像素子からの画像信号の取り込み時間を短縮することができる。また、本発明の撮像装置によれば、静止画撮影時に左目用画像／右目用画像を撮影する場合に、後工程での画像処理の自由度が上がるように画像信号を記憶することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の撮像装置の構成例を示す図である。
【図２】撮像装置が適用する撮像素子の構成例を示す図である。
【図３】画素アレイの例を示す図である。
【図４】撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。
【図５】実施例１の撮像装置の動作処理の例を説明するフローチャートである。
【図６】実施例２の撮像装置の動作処理の例を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の撮像装置の構成例を示す図である。本実施形態の撮像装置は、例えば、デジタルカメラである。図１に示す撮像装置が備える構成要素のうち、デジタルカメラ本体１００は、被写体を撮影する。ＣＰＵ１０９は、撮像装置全体を制御する。電源１１０は、デジタルカメラ本体１００内の各回路に電源を供給する。カードスロット１２０は、着脱可能な記録媒体であるメモリカード１２１を差し込むことができるスロットである。メモリカード１２１をカードスロット１２０に差し込んだ状態で、メモリカード１２１は、カード入出力部１１９と電気的に接続する。なお、本実施形態では記録媒体としてメモリカード１２１を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを採用してもよい。
【００１１】
フォーカシングレンズ１０１は、光軸に沿った方向に進退して、焦点調節を行なう。絞り１０３は、撮像素子への光量を調節する。フォーカシングレンズ１０１および絞り１０３は、撮像光学系を構成する。撮像素子１０５、像信号処理１０７、フレームメモリ１０８は、光電変換系を構成する。この光電変換系は、撮像光学系が形成した被写体の光学像をデジタル画像信号又は画像データに変換する。
【００１２】
撮像素子１０５は、撮像光学系が形成した被写体像を光電変換し、画像信号を出力する光電変換手段として機能する。撮像素子１０５は、ＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子等である。撮像素子１０５は、第１ＰＤ選択合成部１０６を備える。第１ＰＤ選択合成部１０６は、フォトダイオード（以下ＰＤ）を選択する機能と選択した画像信号を合成して出力する機能とを有する。なお、第１ＰＤ選択合成部１０６が、撮像素子１０５の外部に設けられるようにしてもよい。
【００１３】
図２は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。図２（Ａ）は、撮像素子の全体構成を示す。撮像素子１０５は、画素アレイ３０１と、画素アレイ３０１における行を選択する垂直選択回路３０２と、画素アレイ３０１における列を選択する水平選択回路３０４を含む。読み出し回路３０３は、画素アレイ３０１中の画素部のうち垂直選択回路３０２によって選択される画素部の信号を読み出す。読み出し回路３０３は、信号を蓄積するメモリ、ゲインアンプ、Ａ（Analog）／Ｄ（Degital）変換器などを列毎に有する。
【００１４】
シリアルインターフェース（ＳＩ）部３０５は、各回路の動作モードなどを、ＣＰＵ１０９からの指示に従って決定する。垂直選択回路３０２は、画素アレイ３０１の複数の行を順次選択し、読み出し回路３０３に画素信号を取り出す。また水平選択回路３０４は、読み出し回路３０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１０５は、図２に示す構成要素以外に、例えば、垂直選択回路３０２、水平選択回路３０４、読み出し回路３０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
【００１５】
図２（Ｂ）は、撮像素子１０５の画素部の構成例を示す。図２（Ｂ）に示す画素部４００は、光学素子としてのマイクロレンズ４０１と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）４０２ａ乃至４０２ｉとを有する。ＰＤは、光束を受光し、当該光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図２（Ｂ）に示す例では、１つの画素部が備えるＰＤの数は９個であるが、ＰＤの数は、２個以上の任意の数であればよい。なお、画素部は、図示された構成要素以外にも、例えば、ＰＤの信号を読み出し回路３０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。
【００１６】
ＰＤ４０２ａ乃至４０２ｇは、受光した光束を光電変換して左目用画像信号を出力する。ＰＤ４０２ｃ乃至４０２ｉは、受光した光束を光電変換して右目用画像信号を出力する。左目用画像信号は、左目用画像データに対応する画像信号である。左目用画像データは、ユーザが左目で鑑賞する画像データである。右目用画像信号は、右目用画像データに対応する画像信号である。撮像装置１００が、左目用画像データをユーザに左目で鑑賞させ、右目用画像データをユーザに左目で鑑賞させることによって、ユーザに立体画像を鑑賞させる。なお、画素部４００は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路３０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチなどを備える。
【００１７】
図３は、画素アレイの例を示す図である。画素アレイ３０１は、２次元画像を提供するため、図３に示すように、水平方向にＮ個、垂直方向にＭ個の画素部を複数２次元アレイ状に配列して構成される。画素アレイ３０１の各画素部は、カラーフィルタを有している。この例では、奇数行が、赤（Ｒ）と緑（Ｇ）のカラーフィルタの繰り返し、偶数行が、緑（Ｇ）と青（Ｂ）のカラーフィルタの繰り返しである。すなわち、画素アレイ３０１が備える画素部は、予め決められた画素配列（この例ではベイヤー配列）に従って配置されている。
【００１８】
次に、図３に示す画素構成を有する撮像素子の受光について説明する。図４は撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。符号５０１は、３つの画素アレイの断面を示す。各々の画素アレイは、マイクロレンズ４０１、カラーフィルタ５０３、ＰＤ５０４、５０５を有する。ＰＤ５０４は、図２（Ｂ）中のＰＤ４０２ａに相当する。また、ＰＤ５０５は、図２（Ｂ）中のＰＤ４０２ｃに相当する。
【００１９】
符号５０６は、撮影レンズの射出瞳である。この例では、マイクロレンズ５０２を有する画素部に対して、射出瞳５０６から出た光束の中心を光軸５０９とする。射出瞳５０６から出た光は、光軸５０９を中心として撮像素子１０５に入射される。符号５０７、５０８は、撮影レンズの射出瞳の一部領域を表す。一部領域５０７、５０８は、撮像光学系の射出瞳の分割された異なる領域である。
【００２０】
光線５１０、５１１は、一部領域５０７を通過する光の最外周の光線である。光線５１２、５１３は、一部領域５０８を通過する光の最外周の光線である。射出瞳から出る光束のうち、光軸５０９を境にして、上側の光束はＰＤ５０５に入射され、下側の光束はＰＤ５０４に入射される。つまり、ＰＤ５０４とＰＤ５０５は、各々、撮影レンズの射出瞳に対する別の領域の光を受光するという特性を有する。
【００２１】
この特性を生かして、撮像装置は、視差のある少なくとも２つの画像を取得することができる。例えば、撮像装置は、画素部内の領域において、複数の左側のＰＤから得られるデータを第１ラインとし、複数の右側のＰＤから得られるデータを第２ラインとして、２つの画像を取得することができる。そして、撮像装置は、この２つの画像を利用して位相差の検知を行なって位相差ＡＦを実現することができる。さらに、撮像装置は、上記視差のある２つの画像を左目用画像と右目用画像としてステレオ画像を生成し、ステレオ表示装置上に表示することによって、立体感のある画像を表示することができる。
【００２２】
上述した説明から、撮像素子１０５は、一つのマイクロレンズに対して、各々が、撮像光学系の射出瞳の異なる領域を通過した光束を光電変換して画像信号を生成する複数のＰＤを有する画素部を、水平方向および垂直方向に並べて配置した撮像素子である。
【００２３】
図１に戻って、第１ＰＤ選択合成部１０６は、図２（Ａ）を参照して説明した垂直選択回路３０２、読み出し回路３０３、水平選択回路３０４、ＳＩ３０５を備える。第１ＰＤ選択合成部１０６は、撮像装置において開始が検知された撮影の種別に応じてＣＰＵ１０９が設定する第１ＰＤ選択合成部１０６の動作モードに従って動作する。第１ＰＤ選択合成部１０６の動作モードには、ライブビュー右目モード、ライブビュー左目モード、両目選択合成モード、非選択合成モードがある。
【００２４】
ライブビュー右目モードは、ライブビュー用の右目用ＲＡＷデータを生成する動作モードである。具体的には、ライブビュー右目モードは、右目用画像信号を生成するＰＤ（第１の光電変換部）を選択する動作モードである。ライブビュー用の右目用ＲＡＷデータは、ライブビュー表示用の右目用画像を生成する基となるＲＡＷデータである。ＲＡＷデータは、フレームメモリ１０８に記憶される画像データである。つまり、フレームメモリ１０８は、第１ＰＤ選択合成部１０６が出力した画像データを記憶する記憶手段として機能する。
【００２５】
ライブビュー左目モードは、ライブビュー用の左目用ＲＡＷデータを生成する動作モードである。具体的には、ライブビュー左目モードは、左目用画像信号を生成するＰＤ（第２の光電変換部）を選択する動作モードである。ライブビュー用の左目用ＲＡＷデータは、ライブビュー表示用の左目用画像を生成する基となるＲＡＷデータである。
【００２６】
両目選択合成モードは、両目用ＲＡＷデータを生成する動作モードである。具体的には、両目選択合成モードは、右目用画像信号を生成するＰＤと、左目用画像信号を生成するＰＤとを両方選択する動作モードである。
【００２７】
非選択合成モードは、全ＰＤＲＡＷデータを生成する動作モードである。具体的には、非選択合成モードは、撮像素子が備える各画素部が有する複数のＰＤの全てを選択する動作モードである。全ＰＤＲＡＷデータは、撮像素子が備える各画素部が有する複数のＰＤの全てが出力する画像信号に対応するデータである。
【００２８】
すなわち、第１ＰＤ選択合成部１０６は、開始が検知された撮影の種別に応じて、以下の処理を実行する第１選択手段として機能する。第１ＰＤ選択合成部１０６は、撮像素子の画素部が備える複数のＰＤから、左目用画像信号を生成するＰＤ、右目用画像信号を生成するＰＤまたは複数のＰＤの全てのうちのいずれかを選択し、選択したＰＤが生成する信号に基づいて、画像データを生成して出力する。
【００２９】
ＣＰＵ１０９は、第１ＰＤ選択合成部１０６の動作モードを設定する前に、撮影の開始と該撮影の種別とを検知する撮影検知手段として検知する。ＣＰＵ１０９が開始を検知した撮影の種別がライブビュー撮影である場合、ＣＰＵ１０９は、第１ＰＤ選択合成部１０６の動作モードをライブビュー右目モードに設定する。ライブビュー撮影は、画像表示手段である表示装置を介して被写体像を視認可能な状態で行う撮影である。
【００３０】
第１ＰＤ選択合成部１０６は、設定されたライブビュー右目モードに従って、ライブビュー用の右目用ＲＡＷデータを生成する。具体的には、第１ＰＤ選択合成部１０６は、処理単位とする複数の画素部が有するＰＤのうち、ＰＤ４０２ａ、４０２ｄ、４０２ｇに対応するＰＤの信号の加算平均を行なって、１つの画素部の出力値とする。第１ＰＤ選択合成部１０６が、全ての処理単位についてＰＤの信号の加算平均を行って、ライブビュー用の右目用ＲＡＷデータとして出力し、フレームメモリ１０８に記憶する。そして、現像処理部１１２が、フレームメモリ１０８内のライブビュー用の右目用ＲＡＷデータを現像することによって、ライブビュー表示用の右目用画像を生成する。ＣＰＵ１０９は、ライブビュー表示用の右目用画像の生成処理が完了した後に、第１ＰＤ選択合成部１０６の動作モードを、ライブビュー左目モードに設定する。
【００３１】
ＣＰＵ１０９が開始を検知した撮影の種別がライブビュー撮影である場合、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードをライブビュー左目モードに設定し、第１ＰＤ選択合成部１０６にライブビュー用の左目用ＲＡＷデータを生成させてもよい。そして、ライブビュー表示用の左目用画像の生成処理が完了した後に、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードをライブビュー右目モードに設定するようにしてもよい。
【００３２】
上記ライブビュー左目モードに設定された第１ＰＤ選択合成部１０６は、処理単位とする複数の画素部が有するＰＤのうち、ＰＤ４０２ｃ、４０２ｆ、４０２ｉに対応したＰＤの加算平均を行なって、１つの画素部の出力値とする。第１ＰＤ選択合成部１０６が、全ての処理単位についてＰＤの信号の加算平均を行って、ライブビュー用の左目用ＲＡＷデータとして出力し、フレームメモリ１０８内に記憶する。現像処理部１１２が、フレームメモリ１０８内のライブビュー用の左目用ＲＡＷデータを現像して、ライブビュー表示用の左目用画像を生成する。
【００３３】
上記の説明から、ライブビュー撮影時に、第１ＰＤ選択合成部１０６が、３つのＰＤが生成する画像信号に基づいて１つの画素部の画像信号を生成して出力することによって、データ量を減らすことができる。
【００３４】
以下に、第１ＰＤ選択合成部１０６の動作例について、図３を参照して説明する。図３において、ｎ行ｍ列目の画素部をｎ−ｍ画素部と表現する（ｎ≧１，ｍ≧１）。第１ＰＤ選択合成部１０６は、水平方向に同色の３画素部を平均するために、１行目の最初の赤画素部出力を以下のようにして算出する。動作モードがライブビュー左目モードである場合、第１ＰＤ選択合成部１０６は、画素部１−１、１−３、１−５を１つの処理単位として、以下の信号出力処理を実行する。すなわち、第１ＰＤ選択合成部１０６は、撮像素子が備える画素部が有するＰＤ４０２ａ乃至４０２ｇが生成した画像信号を取得し、取得した画像信号を加算平均処理して、１つの画素部の出力値とする。
【００３５】
また、第１ＰＤ選択合成部１０６は、次の赤画素部出力については、画素部１−７、１−９、１−１１を処理単位として、同様の加算平均処理を実行する。また、第１ＰＤ選択合成部１０６は、１行目の最初の緑画素部出力については、画素部１−２、１−４、１−６を処理単位として、同様の加算平均処理を実行する。なお、動作モードがライブビュー右目モードである場合、第１ＰＤ選択合成部１０６は、処理単位である画素部が有するＰＤ４０２ｃ乃至４０２ｉが生成した画像信号を加算平均処理する。
【００３６】
第１ＰＤ選択合成部１０６が、以下のようにして、処理単位を決定するようにしてもよい。すなわち、第１ＰＤ選択合成部１０６は、垂直方向に予め決められた間隔で画素部群を選択する。該選択された各々の画素部群が含む画素部から、水平方向に、同じカラーフィルタを有する予め決められた数の画素部を選択する。第１ＰＤ選択合成部１０６は、該選択した画素部を処理単位とする。
【００３７】
この例では、第１ＰＤ選択合成部１０６は、垂直３画素部毎に画素部群を選択する。従って、図３に示す画素アレイが有する、垂直方向に並んだ画素部群のうち、第１ＰＤ選択合成部１０６は、１行目の画素部群、４行目の画素部群、というように、２行の間隔を空けながら画素部群を選択する。１行目の画素部群においては、赤の画素部と緑の画素部とが交互に並んでいる。４行目の画素部群においては、緑の画素部と青の画素部とが交互に並んでいる。
【００３８】
第１ＰＤ選択合成部１０６は、選択された各々の画素部群が含む画素部から、水平方向に、１つ飛びに、すなわち１画素部の間隔を空けながら、同じカラーフィルタを有する３個の画素部を選択する。第１ＰＤ選択合成部１０６は、選択した３個の画素部を処理単位とする。
【００３９】
本実施形態では、第１ＰＤ選択合成部１０６は、４行目の最初の緑画素部出力については、画素部４−１、４−３、４−５を処理単位として、上述した加算平均処理を実行する。第１ＰＤ選択合成部１０６は、４行目の最初の青画素部出力については、画素部４−２、４−４、４−６を処理単位として、上述した加算平均処理を実行する。
【００４０】
すなわち、第１ＰＤ選択合成部１０６は、開始が検知された撮影の種別がライブビュー撮影である場合に、以下の処理を実行する。第１ＰＤ選択合成部１０６は、左目用画像信号を生成するＰＤまたは右目用画像信号を生成するＰＤを選択するとともに、撮像素子が有する複数の画素部から予め決められた複数の画素部を１つの処理単位として選択する。第１ＰＤ選択合成部１０６は、上記選択した画素部が有する上記選択されたＰＤが生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する信号出力処理を実行する。第１ＰＤ選択合成部１０６は、上記信号出力処理を、左目用画像信号を生成するＰＤまたは右目用画像信号を生成するＰＤを選択する毎に実行する。
【００４１】
例えば、第１ＰＤ選択合成部１０６は、左目用画像信号を生成するＰＤまたは右目用画像信号を生成するＰＤを選択して、処理単位の全てについて信号出力処理を実行する。この信号出力処理によって、選択されたＰＤが生成する画像信号に対応するライブビュー用ＲＡＷデータを生成した後、第１ＰＤ選択合成部１０６は、左目用画像信号を生成するＰＤまたは右目用画像信号を生成するＰＤのうち、選択されなかったＰＤを選択する。そして、第１ＰＤ選択合成部１０６は、上記処理単位の全てについて信号出力処理を実行して、該選択されたＰＤが生成する画像信号に対応するライブビュー用ＲＡＷデータを生成する。これにより、第１ＰＤ選択合成部１０６は、ライブビュー用の左目用ＲＡＷデータ（左目用動画像データ）とライブビュー用の右目用ＲＡＷデータ（右目用動画像データ）とを生成する。
【００４２】
なお、ＣＰＵ１０９が開始を検知した撮影の種別がライブビュー撮影である場合、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを両目選択合成モードに設定するようにしてもよい。
【００４３】
両目選択合成モードに設定された第１ＰＤ選択合成部１０６は、左目用画像信号を生成するＰＤおよび右目用画像信号を生成するＰＤを選択した上で、以下の処理を実行する。第１ＰＤ選択合成部１０６は、処理単位の画素部が有する選択されたＰＤが生成した画像信号を、左目用画像信号を生成するＰＤ、右目用画像信号を生成するＰＤのそれぞれについて加算平均して１つの画素部に対応する２つの画像信号として出力する。第１ＰＤ選択合成部１０６は、この信号出力処理を処理単位の全てについて実行することによって、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを含むＲＡＷデータを生成してフレームメモリ１０８に記憶する。
【００４４】
ＣＰＵ１０９が開始を検知した撮影の種別が、静止画撮影である場合、ＣＰＵ１０９は、第１ＰＤ選択合成部１０６の動作モードを非選択合成モードに設定する。非選択モードに設定された第１ＰＤ選択合成部１０６は、撮像素子が備える各々の画素部が有する複数のＰＤの全てを選択し、該選択したＰＤが生成した画像信号に基づいて静止画像データを生成する。具体的には、第１ＰＤ選択合成部１０６は、各々の画素部が備える９個全てのＰＤの加算平均を行い、加算平均結果をその画素部の出力値とすることによって、静止画用ＲＡＷデータを生成する。第１ＰＤ選択合成部１０６は、生成した静止画用ＲＡＷデータをフレームメモリ１０８に記憶する。
【００４５】
図１に戻って、撮像素子１０５は電子シャッタ機能を有しており、露光時間を調整することができる。また、撮像装置が、電子シャッタ機能の代わりに機械式のシャッタを用いて露光時間を調整する構成を有していてもよい。像信号処理装置１０７は、デジタル画像信号にシェーディング補正等のカメラで周知の画像信号処理を施す。
【００４６】
像信号処理装置１０７は、撮像素子１０５の特性に起因する画像濃度の非線形性、光源に起因する画像色の偏りを補正する。フレームメモリ１０８は、撮像素子１０５と像信号処理装置１０７とによって生成される画像データ（ＲＡＷデータ）を一時記憶するバッファメモリとして機能する。フレームメモリ１０８に格納されるＲＡＷデータは、補正処理等が施されているが、撮像素子１０５の各画素部に蓄積された電化エネルギーをそのままデジタルデータ化したものと考えることができる。
【００４７】
ここで、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを、ライブビュー用ＲＡＷデータと総称する。ライブビュー用ＲＡＷデータは、複数の画素部が備えるＰＤが生成した画像信号が第１ＰＤ選択合成部１０６によって加算平均処理された結果である。すなわち、ライブビュー用ＲＡＷデータは、データ量が少ないので、撮像装置がライブビュー表示時に読み出す時のフレームレートが高くなる。
【００４８】
一方、全ＰＤＲＡＷデータは、各画素部内の各ＰＤが生成した全ての画像信号に対応する。全ＰＤＲＡＷデータはフレームメモリ１０８に格納される。全ＰＤＲＡＷデータは、画像データとして詳細な情報を有するので、後工程で各種画像処理する時の自由度が上がる。ＲＡＷデータの画像の画質に関するパラメータを撮像パラメータと呼ぶ。撮像パラメータは、絞り１０３の設定値であるＡｖ、Ｔｖ、ＩＳＯを含む。
【００４９】
バス１５０には、ＣＰＵ１０９、電源１１０、不揮発性メモリ１１１、現像処理部１１２、ＲＡＭメモリ１１３、表示制御装置１１４、メインスイッチ１１６が接続される。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。また、バス１５０には、第１レリーズスイッチ１１７、第２レリーズスイッチ１１８、操作ボタン１４０乃至１４２、現像パラメータ変更ボタン１４３、ライブビュー開始／終了ボタン１４４、カード入出力部１１９、第２ＰＤ選択合成部１５１が接続される。また、バス１５０には、ＵＳＢ制御装置１２７、ＬＡＮ（Local Area Network）制御装置が接続される。
【００５０】
ＣＰＵ１０９は、撮像素子１０５からの画像信号読み出しを制御する。すなわち、ＣＰＵ１０９は、撮像素子１０５、像信号処理１０７、フレームメモリ１０８の動作タイミングを制御する。不揮発性メモリ１１１は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等で構成されており、電源１１０がオフにされても、記録されたデータを失わない。不揮発性メモリ１１１には、電源１１０がオンされた時にカメラに設定する初期カメラ設定値が記録されている。
【００５１】
第２ＰＤ選択合成部１５１は、画素選択合成パラメータの設定に基づいて、フレームメモリ１０８上またはＲＡＭメモリ１１３上のＲＡＷデータから左目用ＲＡＷデータまたは右目用ＲＡＷデータを選択して合成する処理（選択合成処理）を実行する。ＣＰＵ１０９が、開始を検知した撮影の種別に応じて、画素選択合成パラメータを設定する。
【００５２】
画素選択合成パラメータは、どのＰＤが生成した画像信号に対応するＲＡＷデータを合成して出力するかを決定するパラメータ、すなわち、第２ＰＤ選択合成部１５１の動作モードを設定するパラメータである。
【００５３】
画素選択合成パラメータは、例えば、左目用画像合成パラメータ、右目用画像合成パラメータを含む。左目用画像合成パラメータは、第２ＰＤ選択合成部１５１を左目選択合成モードに設定するパラメータである。左目選択合成モードは、左目用画像データを合成して出力する（左目用画像合成処理を実行する）動作モードである。右目用画像合成パラメータは、第２ＰＤ選択合成部１５１を右目選択合成モードに設定するパラメータである。右目選択合成モードは、右目用画像データを合成して出力する（右目用画像合成処理を実行する）動作モードである。
【００５４】
左目用画像合成処理は、前述した動作モードがライブビュー左目モードである場合の第１ＰＤ選択合成部１０６の動作処理と同様である。具体的には、第２ＰＤ選択合成部１５１は、フレームメモリ１０８に記憶された静止画用ＲＡＷデータのうち、左目用画像信号に対応する静止画像ＲＡＷデータに基づいて、左目用静止画像データを生成する。なお、フレームメモリ１０８に記憶されたＲＡＷデータが、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを含むＲＡＷデータである場合、第２画素選択合成部１５１は、以下のようにして左目用画像合成処理を実行するようにしてもよい。第２画素選択合成部１５１は、フレームメモリ１０８に記憶されたＲＡＷデータから、ライブビュー用の左目用ＲＡＷデータを取得する。
【００５５】
右目用画像合成処理は、前述した動作モードがライブビュー右目モードである場合の第１ＰＤ選択合成部１０６の動作処理と同様である。具体的には、第２画素選択合成部１５１は、フレームメモリ１０８に記憶された静止画用ＲＡＷデータのうち、右目用画像信号に対応する静止画像ＲＡＷデータに基づいて、右目用静止画像データを生成する。なお、フレームメモリ１０８に記憶されたＲＡＷデータが、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを含むＲＡＷデータである場合、第２画素選択合成部１５１が、以下のようにして右目用画像合成処理を実行するようにしてもよい。第２画素選択合成部１５１は、フレームメモリ１０８に記憶されたＲＡＷデータから、ライブビュー用の右目用ＲＡＷデータを取得する。
【００５６】
第２ＰＤ選択合成部１５１は、選択合成処理によって得られる右目用／左目用画像データをＲＡＭメモリ１１３に格納する。すなわち、第２ＰＤ選択合成部１５１は、開始が検知された撮影の種別に応じて、フレームメモリ１０８に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第２選択手段として機能する。
【００５７】
なお、本実施形態では、ＲＡＷデータをフレームメモリ１０８またはＲＡＭメモリ１１３を経由して第２ＰＤ選択合成部１５１へ入力するが、ＲＡＷデータを像信号処理装置１０７から直接第２ＰＤ選択合成部１５１に入力するようにしてもよい。
【００５８】
現像処理部１１２は、ＣＰＵ１０９が読み出したフレームメモリ１０８上またはＲＡＭメモリ１１３上の、画素部毎に合成されたＲＡＷデータを、現像パラメータ設定に基づいて画像処理を行なう。画像処理を施されたそれぞれの画像データは、ＲＡＭメモリ１１３に格納される。
【００５９】
現像パラメータは、デジタル画像データの画質に関するパラメータである。デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度に関するパラメータはすべて現像パラメータに相当する。以後、１つ以上の現像パラメータを用いてデジタル画像データの画質を調整（変更）する処理のことを現像処理と呼ぶ。本実施形態では、ＲＡＷデータをフレームメモリ１０８またはＲＡＭメモリ１１３を経由して現像処理部１１２へ入力しているが、像信号処理装置１０７がＲＡＷデータを直接現像処理部１１２に入力するようにしてもよい。
【００６０】
ＲＡＭメモリ１１３は、現像処理結果の画像データの他、ＣＰＵ１０９が各種処理を行なう際にデータを一時的に記憶する。表示制御装置１１４は、液晶表示素子を備えるＴＦＴ１１５の駆動および制御をする。表示制御装置１１４がＲＡＭメモリ１１３に表示用の画像フォーマットで配置された画像（表示用の画像）を表示装置へ出力する。表示用の画像が配置されるＲＡＭメモリ１１３をＶＲＡＭと呼ぶ。本実施形態ではステレオ表示を行なうため、表示装置はステレオ表示が可能である。ステレオ表示を行なうために、ＶＲＡＭは、右目用ＶＲＡＭと左目用ＶＲＡＭとを含む。表示装置が、右目用ＶＲＡＭが含む右目用画像と、左目用ＶＲＡＭが含む左目用画像を配置することで、ステレオ表示を行なう。
【００６１】
ユーザが、メインスイッチ１１６をオンにすると、ＣＰＵ１０９が、所定のプログラムを実行する。メインスイッチ１１６をオフにすると、ＣＰＵ１０９が、所定のプログラムを実行し、カメラをスタンバイモードにする。第１レリーズスイッチ１１７は、レリーズボタンの第１ストローク（半押し状態）でオンになり、第２レリーズスイッチ１１８は、レリーズボタンの第２ストローク（全押し状態）でオンとなる。第１レリーズスイッチ１１７がオンとなった場合、ＣＰＵ１０９が、撮影準備処理（例えば、焦点検出処理等）を実行する。第２レリーズスイッチ１１８がオンとなった場合、ＣＰＵ１０９が、撮影（この例では静止画撮影）の開始を検知し、撮影動作を実行する。
【００６２】
ＣＰＵ１０９は、左選択ボタン１４０、右選択ボタン１４１、設定ボタン１４２の押下とデジタルカメラの動作状態に応じた制御を行なう。例えば、デジタルカメラの動作状態が再生状態であって、左選択ボタン１４０が押下げされた場合、ＣＰＵ１０９は前の画像データを表示する。また、右選択ボタン１４１が押下げられた場合、ＣＰＵ１０９は次の画像データを表示する。
【００６３】
現像パラメータは、現像パラメータ変更ボタン１４３を用いたユーザのメニュー操作に従って設定される、現像に関するパラメータである。ユーザは、グラフィカルユーザインタフェース上で現像パラメータの確認と設定とを行なうことができる。
【００６４】
ユーザがライブビュー開始／終了ボタン１４４を押下げすると、ＣＰＵ１０９が定期的（例えば１秒に３０回）に撮像素子１０５からＲＡＷデータを取り込む。そしてＣＰＵ１０９からの指示に従って、現像処理部１１２がＲＡＷデータを現像処理してＶＲＡＭへ配置することで、リアルタイムに撮像素子１０５から取り込んだ画像を表示することができる。ユーザがライブビューが動作している状態で、ライブビュー開始／終了ボタン１４４を押下げすると、ＣＰＵ１０９がライブビューを終了する。
【００６５】
ＬＡＮ制御装置１２９は、有線ＬＡＮ端子１３０または無線ＬＡＮを介して、撮像装置と外部装置との間の通信を制御する。ＵＳＢ制御部１２７は、ＵＳＢ端子１２８を介して、撮像装置と外部装置との間の通信を制御する。
【００６６】
（実施例１）
図５は、実施例１の撮像装置の動作処理の例を説明するフローチャートである。まず、ＣＰＵ１０９が、第２レリーズスイッチがＯＮされているかを判断する（ステップＳ１０１）。第２レリーズスイッチがＯＮされている場合、ＣＰＵ１０９は、静止画撮影が開始されたと判断する。そして、処理がステップ１０２に進む。第２レリーズスイッチがＯＮされていない場合は、ステップＳ１１０に進む。
【００６７】
ステップＳ１０２において、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを非選択合成モードに設定する（ステップＳ１０２）。続いて、ＣＰＵ１０９が撮影を開始すると、第１ＰＤ選択合成部１０６が、フレームメモリ１０８上に全ＰＤＲＡＷデータを記憶する（ステップＳ１０３）。
【００６８】
次に、現像処理部１１２が、フレームメモリ１０８から全ＰＤＲＡＷデータを読み出し、読み出した全ＰＤＲＡＷデータをＲＡＷ画像用の現像パラメータを用いて現像し、現像結果すなわちＲＡＷ画像データをＲＡＭメモリ１１３へ配置する（ステップＳ１０４）。
【００６９】
次に、ＣＰＵ１０９が、第２ＰＤ選択合成部１５１の動作モードを右目用選択合成モードに設定する（ステップＳ１０５）。続いて、ＣＰＵ１０９が、フレームメモリ１０８上の全ＰＤＲＡＷデータを第２ＰＤ選択合成部１５１へ入力する。そして、第２ＰＤ選択合成部１５１が、入力された全ＰＤＲＡＷデータを用いて、右目用ＲＡＷデータを生成し、生成した右目用ＲＡＷデータをＲＡＭメモリ１１３に記憶する。第２ＰＤ選択合成部１５１は、さらに、ＲＡＭメモリ１１３上の右目用ＲＡＷデータをＪＰＥＧ画像用の現像パラメータを用いて現像処理部１１２で現像を行い、現像結果すなわち右目用ＪＰＥＧ画像をＲＡＭメモリ１１３へ配置する（ステップＳ１０６）。
【００７０】
次に、ＣＰＵ１０９が、第２ＰＤ選択合成部１５１の動作モードを左目用選択合成モードに設定する（ステップＳ１０７）。続いて、ＣＰＵ１０９が、フレームメモリ１０８上の全ＰＤＲＡＷデータを第２ＰＤ選択合成部１５１へ入力する。そして、第２ＰＤ選択合成部１５１が、入力された全ＰＤＲＡＷデータを用いて、左目用ＲＡＷデータを生成し、生成した左目用ＲＡＷデータをＲＡＭメモリ１１３に記憶する。
【００７１】
第２ＰＤ選択合成部１５１は、さらに、ＲＡＭメモリ１１３上の左目用ＲＡＷデータをＪＰＥＧ画像用の現像パラメータを用いて現像処理部１１２で現像を行い、現像結果すなわち左目用ＪＰＥＧ画像をＲＡＭメモリ１１３へ配置する（ステップＳ１０８）。
【００７２】
次に、ＣＰＵ１０９が、ステップＳ１０４で生成したＲＡＷ画像データとステップＳ１０６で生成した右目用ＪＰＥＧ画像とステップＳ１０８で生成した左目用ＪＰＥＧ画像とを１つのＥｘｉｆ規格のファイルとして記憶する（ステップＳ１０９）。具体的には、ＣＰＵ１０９が、ＲＡＷ画像データと右目用ＪＰＥＧ画像と左目用ＪＰＥＧ画像とを、カード入出力部１１９を介して、メモリカード１２１に記憶する。
【００７３】
ステップＳ１１０において、ＣＰＵ１０９が、ライブビューが開始されていない状態においてライブビュー開始／終了ボタン１４４がＯＮになったかを判断する（ステップＳ１１０）。ライブビュー開始／終了ボタン１４４がＯＮになっていない場合は、ステップＳ１０１に戻る。ライブビュー開始／終了ボタン１４４がＯＮになった場合は、ＣＰＵ１０９が、ライブビュー撮影が開始されたことを検知する。そして、処理がステップＳ１１１に進む。
【００７４】
ステップＳ１１１において、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを、ライブビュー右目モードに設定する（ステップＳ１１１）。続いて、ＣＰＵ１０９が、ライブビュー用の撮影パラメータで撮影を開始する。第１ＰＤ選択合成部１０６が、右目用ＲＡＷデータを生成してフレームメモリ１０８に記憶する（ステップＳ１１２）。現像処理部１１２が、表示用の現像パラメータを用いて、フレームメモリ１０８上の右目用ＲＡＷデータを現像し、現像画像を右目用のＶＲＡＭへ配置して、ステップＳ１１３に進む。
【００７５】
ステップＳ１１３において、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを、ライブビュー左目モードに設定する（ステップＳ１１３）。続いて、ＣＰＵ１０９が、ライブビュー用の撮影パラメータで撮影を開始する。第１ＰＤ選択合成部１０６が、左目用ＲＡＷデータを生成してフレームメモリ１０８に記憶する（ステップＳ１１４）。現像処理部１１２が、表示用の現像パラメータを用いて、フレームメモリ１０８上の左目用ＲＡＷデータを現像し、現像画像を左目用のＶＲＡＭへ配置して、ステップＳ１１０に戻る。
【００７６】
実施例１の撮像装置によれば、ライブビューにおいてステレオ表示をする際に、撮像素子１０５内の第１ＰＤ選択合成部１０６で右目用と左目用の画像を生成し、撮像素子の出力データを低く抑えることで、高いフレームレートを実現することが可能となる。また、実施例１の撮像装置によれば、静止画撮影時に、撮像素子１０５内の第１ＰＤ選択合成部１０６が、撮像素子が有するＰＤの情報を全て出力することで、後処理での自由度を高めることができる。
【００７７】
（実施例２）
図６は、実施例２の撮像装置の動作処理の例を説明するフローチャートである。図６のフローチャートを参照して説明する処理は、ライブビュー撮影の開始が検知された場合の処理である。静止画撮影の開始が検知された場合の処理は、実施例１と同様である。
【００７８】
まず、ＣＰＵ１０９が、ライブビューが開始されていない状態においてライブビュー開始／終了ボタン１４４がＯＮになったかを判断する（ステップＳ２０１）。ライブビュー開始／終了ボタン１４４がＯＮになっていない場合は、ステップＳ２０１に戻る。ライブビュー開始／終了ボタン１４４がＯＮになった場合は、ＣＰＵ１０９が、ライブビュー撮影が開始されたことを検知する。そして、処理がステップＳ２０２に進む。
【００７９】
ステップＳ２０２において、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを両目選択合成モードに設定する（ステップＳ２０２）。ＣＰＵ１０９が、ライブビュー用の撮影パラメータで撮影を開始する。そして、両目選択合成モードに設定された第１ＰＤ選択合成部１０６は、処理単位の画素部が有する選択されたＰＤが生成した画像信号を、左目用画像信号を生成するＰＤ、右目用画像信号を生成するＰＤのそれぞれについて加算平均する。第１ＰＤ選択合成部１０６は、加算平均結果を、１つの画素部に対応する２つの画像信号として出力する。第１ＰＤ選択合成部１０６は、この信号出力処理を処理単位の全てについて実行する。これにより、第１ＰＤ選択合成部１０６は、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを含むＲＡＷデータ（両目用ＲＡＷデータ）を生成する。第１ＰＤ選択合成部１０６は、生成した両目用ＲＡＷデータをフレームメモリ１０８に記憶する（ステップＳ２０３）。
【００８０】
ステップＳ２０３における具体的な処理について以下に説明する。第１ＰＤ選択合成部１０６は、例えば、予め決められた複数の画素部を処理単位として、当該処理単位の画素部が有するＰＤ４０２ａ，４０２ｄ，４０２ｇが生成した右目用画像信号を加算平均する。また、第１ＰＤ選択合成部１０６は、例えば、予め決められた複数の画素部を処理単位として、当該処理単位の画素部が有するＰＤ４０２ｃ，４０２ｆ，４０２ｉが生成した左目目用画像信号を加算平均する。第１ＰＤ選択合成部１０６は、これら２つの加算平均結果を両目用ＲＡＷデータとする。
【００８１】
次に、ＣＰＵ１０９が、第２ＰＤ選択合成部１０６の動作モードを右目選択合成モードに設定する（ステップＳ２０４）。続いて、ＣＰＵ１０９が、フレームメモリ１０８上の両目用ＲＡＷデータを第２ＰＤ選択合成部１０６へ入力する。そして、第２ＰＤ選択合成部１５１が、入力された両目用ＲＡＷデータを用いて、右目用ＲＡＷデータを生成し、生成した右目用ＲＡＷデータをＲＡＭメモリ１１３に記憶する（ステップＳ２０５）。さらに、現像処理部１１２が、表示用の現像パラメータを用いて、フレームメモリ１０８上の右目用ＲＡＷデータを現像し、現像画像を右目用のＶＲＡＭへ配置して、ステップＳ２０６に進む。
【００８２】
次に、ＣＰＵ１０９が、第２ＰＤ選択合成部１０６の動作モードを左目選択合成モードに設定する（ステップＳ２０６）。続いて、ＣＰＵ１０９が、フレームメモリ１０８上の両目用ＲＡＷデータを第２ＰＤ選択合成部１０６へ入力する。そして、第２ＰＤ選択合成部１５１が、入力された両目用ＲＡＷデータを用いて、左目用ＲＡＷデータを生成し、生成した左目用ＲＡＷデータをＲＡＭメモリ１１３に記憶する（ステップＳ２０７）。さらに、現像処理部１１２が、表示用の現像パラメータを用いて、フレームメモリ１０８上の左目用ＲＡＷデータを現像し、現像画像を左目用のＶＲＡＭへ配置して、ステップＳ２００に戻る。
【００８３】
実施例２の撮像装置によれば、ライブビューにおいてステレオ表示をする際に、撮像素子１０５内の第１ＰＤ選択合成部１０６で右目用と左目用の画像を同時に生成し、撮像素子の出力データを低く抑えることで高いフレームレートを実現することが可能となる。また、実施例２の撮像装置は、右目用と左目用の画像を同時に撮像素子１０５から取得する。従って、実施例２の撮像装置によれば、右目用と左目用の画像との間で時差のない画像をステレオ表示することができる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００８４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００８５】
１００ デジタルカメラ本体
１０５ 撮像素子
１０６ 第１ＰＤ選択合成部
１０７ 像信号処理装置
１０８ フレームメモリ
１０９ ＣＰＵ
１５１ 第２ＰＤ選択合成部
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関する。
【背景技術】
【０００２】
３次元の画像撮影を行うステレオカメラが提案されている。例えば、特許文献１は、２つの光学手段と２つの撮像素子を使い、左目用画像と右目用画像のステレオ画像を取得するステレオカメラを開示する。また、特許文献２は、複数の微小レンズが形成され、該微小レンズの各々に近接して、光電変換部であるフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザの立体映像の鑑賞が可能となる。
【０００３】
一方、撮像素子から取り込んだ画像を画像表示手段を介してリアルタイムで表示（ライブビュー表示）しながら、構図を確認し、その構図で静止画画像を撮影するデジタルカメラが提案されている。ライブビューは、単位時間により多くの画像を表示することで滑らかな動画を実現することができる。つまり、撮像装置で開始する撮影が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合、撮像素子からの画像信号の取り込みに時間がかかると、滑らかな動画を実現できない。従って、撮像素子から画像を取り込むデータ量をできるだけ減らして取り込みにかかる時間を短くすることが重要である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０１−２０２９８５号公報
【特許文献２】特開昭５８−２４１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、撮像素子が備える各々の画素部が有するフォトダイオードの数が増えると、撮像素子から読み込むデータ量が増えるので、滑らかな動画を表示することができない。また逆に、撮像装置が静止画撮影した場合には、後工程での画像処理の自由度を上げるために、できるだけ多くのフォトダイオードのデータを記録した方が有利である。
【０００６】
本発明は、左目用画像／右目用画像を撮影する撮像装置であって、ライブビュー撮影時に撮像素子からの画像信号の取り込み時間を短縮し、静止画撮影時に後工程での画像処理の自由度が上がるように画像信号を記憶する撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本実施形態の撮像装置は、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を、水平方向および垂直方向に並べて配置した撮像素子と、撮影の開始と該撮影の種別とを検知する撮影検知手段と、前記開始が検知された撮影の種別に応じて、前記複数の光電変換部から、左目用画像信号を生成する第１の光電変換部、右目用画像信号を生成する第２の光電変換部または前記複数の光電変換部の全てのうちのいずれかを選択し、選択した光電変換部が生成する信号に基づいて画像データを生成して出力する第１選択手段と、前記第１選択手段が出力した画像データを記憶する記憶手段と、前記開始が検知された撮影の種別に応じて、前記記憶手段に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第２選択手段とを備える。前記開始が検知された撮影の種別が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合に、前記第１選択手段が、前記第１または第２の光電変換部を選択するとともに、前記複数の画素部から予め決められた複数の画素部を１つの処理単位として選択し、前記選択した画素部が有する前記選択された光電変換部が生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する信号出力処理を、前記第１または第２の光電変換部を選択する毎に実行することによって、左目用動画像データと右目用動画像データとを生成して前記記憶手段に記憶する。前記開始が検知された撮影の種別が、静止画撮影である場合に、前記第１選択手段が、各々の画素部が有する前記複数の光電変換部の全てを選択し、該選択した光電変換部が生成した画像信号に基づいて静止画像データを生成して前記記憶手段に記憶し、前記第２選択手段が、該記憶手段に記憶された静止画像データのうち、前記第１の光電変換部が生成した画像信号に対応する静止画像データに基づいて、左目用静止画像データを生成し、前記第２の光電変換部が生成した画像信号に対応する静止画像データに基づいて、右目用静止画像データを生成する。
【発明の効果】
【０００８】
本発明の撮像装置によれば、ライブビュー撮影時に左目用画像／右目用画像を撮影する場合に、撮像素子からの画像信号の取り込み時間を短縮することができる。また、本発明の撮像装置によれば、静止画撮影時に左目用画像／右目用画像を撮影する場合に、後工程での画像処理の自由度が上がるように画像信号を記憶することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の撮像装置の構成例を示す図である。
【図２】撮像装置が適用する撮像素子の構成例を示す図である。
【図３】画素アレイの例を示す図である。
【図４】撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。
【図５】実施例１の撮像装置の動作処理の例を説明するフローチャートである。
【図６】実施例２の撮像装置の動作処理の例を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の撮像装置の構成例を示す図である。本実施形態の撮像装置は、例えば、デジタルカメラである。図１に示す撮像装置が備える構成要素のうち、デジタルカメラ本体１００は、被写体を撮影する。ＣＰＵ１０９は、撮像装置全体を制御する。電源１１０は、デジタルカメラ本体１００内の各回路に電源を供給する。カードスロット１２０は、着脱可能な記録媒体であるメモリカード１２１を差し込むことができるスロットである。メモリカード１２１をカードスロット１２０に差し込んだ状態で、メモリカード１２１は、カード入出力部１１９と電気的に接続する。なお、本実施形態では記録媒体としてメモリカード１２１を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを採用してもよい。
【００１１】
フォーカシングレンズ１０１は、光軸に沿った方向に進退して、焦点調節を行なう。絞り１０３は、撮像素子への光量を調節する。フォーカシングレンズ１０１および絞り１０３は、撮像光学系を構成する。撮像素子１０５、像信号処理１０７、フレームメモリ１０８は、光電変換系を構成する。この光電変換系は、撮像光学系が形成した被写体の光学像をデジタル画像信号又は画像データに変換する。
【００１２】
撮像素子１０５は、撮像光学系が形成した被写体像を光電変換し、画像信号を出力する光電変換手段として機能する。撮像素子１０５は、ＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子等である。撮像素子１０５は、第１ＰＤ選択合成部１０６を備える。第１ＰＤ選択合成部１０６は、フォトダイオード（以下ＰＤ）を選択する機能と選択した画像信号を合成して出力する機能とを有する。なお、第１ＰＤ選択合成部１０６が、撮像素子１０５の外部に設けられるようにしてもよい。
【００１３】
図２は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。図２（Ａ）は、撮像素子の全体構成を示す。撮像素子１０５は、画素アレイ３０１と、画素アレイ３０１における行を選択する垂直選択回路３０２と、画素アレイ３０１における列を選択する水平選択回路３０４を含む。読み出し回路３０３は、画素アレイ３０１中の画素部のうち垂直選択回路３０２によって選択される画素部の信号を読み出す。読み出し回路３０３は、信号を蓄積するメモリ、ゲインアンプ、Ａ（Analog）／Ｄ（Degital）変換器などを列毎に有する。
【００１４】
シリアルインターフェース（ＳＩ）部３０５は、各回路の動作モードなどを、ＣＰＵ１０９からの指示に従って決定する。垂直選択回路３０２は、画素アレイ３０１の複数の行を順次選択し、読み出し回路３０３に画素信号を取り出す。また水平選択回路３０４は、読み出し回路３０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１０５は、図２に示す構成要素以外に、例えば、垂直選択回路３０２、水平選択回路３０４、読み出し回路３０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
【００１５】
図２（Ｂ）は、撮像素子１０５の画素部の構成例を示す。図２（Ｂ）に示す画素部４００は、光学素子としてのマイクロレンズ４０１と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）４０２ａ乃至４０２ｉとを有する。ＰＤは、光束を受光し、当該光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図２（Ｂ）に示す例では、１つの画素部が備えるＰＤの数は９個であるが、ＰＤの数は、２個以上の任意の数であればよい。なお、画素部は、図示された構成要素以外にも、例えば、ＰＤの信号を読み出し回路３０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。
【００１６】
ＰＤ４０２ａ乃至４０２ｇは、受光した光束を光電変換して左目用画像信号を出力する。ＰＤ４０２ｃ乃至４０２ｉは、受光した光束を光電変換して右目用画像信号を出力する。左目用画像信号は、左目用画像データに対応する画像信号である。左目用画像データは、ユーザが左目で鑑賞する画像データである。右目用画像信号は、右目用画像データに対応する画像信号である。撮像装置１００が、左目用画像データをユーザに左目で鑑賞させ、右目用画像データをユーザに左目で鑑賞させることによって、ユーザに立体画像を鑑賞させる。なお、画素部４００は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路３０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチなどを備える。
【００１７】
図３は、画素アレイの例を示す図である。画素アレイ３０１は、２次元画像を提供するため、図３に示すように、水平方向にＮ個、垂直方向にＭ個の画素部を複数２次元アレイ状に配列して構成される。画素アレイ３０１の各画素部は、カラーフィルタを有している。この例では、奇数行が、赤（Ｒ）と緑（Ｇ）のカラーフィルタの繰り返し、偶数行が、緑（Ｇ）と青（Ｂ）のカラーフィルタの繰り返しである。すなわち、画素アレイ３０１が備える画素部は、予め決められた画素配列（この例ではベイヤー配列）に従って配置されている。
【００１８】
次に、図３に示す画素構成を有する撮像素子の受光について説明する。図４は撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。符号５０１は、３つの画素アレイの断面を示す。各々の画素アレイは、マイクロレンズ４０１、カラーフィルタ５０３、ＰＤ５０４、５０５を有する。ＰＤ５０４は、図２（Ｂ）中のＰＤ４０２ａに相当する。また、ＰＤ５０５は、図２（Ｂ）中のＰＤ４０２ｃに相当する。
【００１９】
符号５０６は、撮影レンズの射出瞳である。この例では、マイクロレンズ５０２を有する画素部に対して、射出瞳５０６から出た光束の中心を光軸５０９とする。射出瞳５０６から出た光は、光軸５０９を中心として撮像素子１０５に入射される。符号５０７、５０８は、撮影レンズの射出瞳の一部領域を表す。一部領域５０７、５０８は、撮像光学系の射出瞳の分割された異なる領域である。
【００２０】
光線５１０、５１１は、一部領域５０７を通過する光の最外周の光線である。光線５１２、５１３は、一部領域５０８を通過する光の最外周の光線である。射出瞳から出る光束のうち、光軸５０９を境にして、上側の光束はＰＤ５０５に入射され、下側の光束はＰＤ５０４に入射される。つまり、ＰＤ５０４とＰＤ５０５は、各々、撮影レンズの射出瞳に対する別の領域の光を受光するという特性を有する。
【００２１】
この特性を生かして、撮像装置は、視差のある少なくとも２つの画像を取得することができる。例えば、撮像装置は、画素部内の領域において、複数の左側のＰＤから得られるデータを第１ラインとし、複数の右側のＰＤから得られるデータを第２ラインとして、２つの画像を取得することができる。そして、撮像装置は、この２つの画像を利用して位相差の検知を行なって位相差ＡＦを実現することができる。さらに、撮像装置は、上記視差のある２つの画像を左目用画像と右目用画像としてステレオ画像を生成し、ステレオ表示装置上に表示することによって、立体感のある画像を表示することができる。
【００２２】
上述した説明から、撮像素子１０５は、一つのマイクロレンズに対して、各々が、撮像光学系の射出瞳の異なる領域を通過した光束を光電変換して画像信号を生成する複数のＰＤを有する画素部を、水平方向および垂直方向に並べて配置した撮像素子である。
【００２３】
図１に戻って、第１ＰＤ選択合成部１０６は、図２（Ａ）を参照して説明した垂直選択回路３０２、読み出し回路３０３、水平選択回路３０４、ＳＩ３０５を備える。第１ＰＤ選択合成部１０６は、撮像装置において開始が検知された撮影の種別に応じてＣＰＵ１０９が設定する第１ＰＤ選択合成部１０６の動作モードに従って動作する。第１ＰＤ選択合成部１０６の動作モードには、ライブビュー右目モード、ライブビュー左目モード、両目選択合成モード、非選択合成モードがある。
【００２４】
ライブビュー右目モードは、ライブビュー用の右目用ＲＡＷデータを生成する動作モードである。具体的には、ライブビュー右目モードは、右目用画像信号を生成するＰＤ（第１の光電変換部）を選択する動作モードである。ライブビュー用の右目用ＲＡＷデータは、ライブビュー表示用の右目用画像を生成する基となるＲＡＷデータである。ＲＡＷデータは、フレームメモリ１０８に記憶される画像データである。つまり、フレームメモリ１０８は、第１ＰＤ選択合成部１０６が出力した画像データを記憶する記憶手段として機能する。
【００２５】
ライブビュー左目モードは、ライブビュー用の左目用ＲＡＷデータを生成する動作モードである。具体的には、ライブビュー左目モードは、左目用画像信号を生成するＰＤ（第２の光電変換部）を選択する動作モードである。ライブビュー用の左目用ＲＡＷデータは、ライブビュー表示用の左目用画像を生成する基となるＲＡＷデータである。
【００２６】
両目選択合成モードは、両目用ＲＡＷデータを生成する動作モードである。具体的には、両目選択合成モードは、右目用画像信号を生成するＰＤと、左目用画像信号を生成するＰＤとを両方選択する動作モードである。
【００２７】
非選択合成モードは、全ＰＤＲＡＷデータを生成する動作モードである。具体的には、非選択合成モードは、撮像素子が備える各画素部が有する複数のＰＤの全てを選択する動作モードである。全ＰＤＲＡＷデータは、撮像素子が備える各画素部が有する複数のＰＤの全てが出力する画像信号に対応するデータである。
【００２８】
すなわち、第１ＰＤ選択合成部１０６は、開始が検知された撮影の種別に応じて、以下の処理を実行する第１選択手段として機能する。第１ＰＤ選択合成部１０６は、撮像素子の画素部が備える複数のＰＤから、左目用画像信号を生成するＰＤ、右目用画像信号を生成するＰＤまたは複数のＰＤの全てのうちのいずれかを選択し、選択したＰＤが生成する信号に基づいて、画像データを生成して出力する。
【００２９】
ＣＰＵ１０９は、第１ＰＤ選択合成部１０６の動作モードを設定する前に、撮影の開始と該撮影の種別とを検知する撮影検知手段として検知する。ＣＰＵ１０９が開始を検知した撮影の種別がライブビュー撮影である場合、ＣＰＵ１０９は、第１ＰＤ選択合成部１０６の動作モードをライブビュー右目モードに設定する。ライブビュー撮影は、画像表示手段である表示装置を介して被写体像を視認可能な状態で行う撮影である。
【００３０】
第１ＰＤ選択合成部１０６は、設定されたライブビュー右目モードに従って、ライブビュー用の右目用ＲＡＷデータを生成する。具体的には、第１ＰＤ選択合成部１０６は、処理単位とする複数の画素部が有するＰＤのうち、ＰＤ４０２ａ、４０２ｄ、４０２ｇに対応するＰＤの信号の加算平均を行なって、１つの画素部の出力値とする。第１ＰＤ選択合成部１０６が、全ての処理単位についてＰＤの信号の加算平均を行って、ライブビュー用の右目用ＲＡＷデータとして出力し、フレームメモリ１０８に記憶する。そして、現像処理部１１２が、フレームメモリ１０８内のライブビュー用の右目用ＲＡＷデータを現像することによって、ライブビュー表示用の右目用画像を生成する。ＣＰＵ１０９は、ライブビュー表示用の右目用画像の生成処理が完了した後に、第１ＰＤ選択合成部１０６の動作モードを、ライブビュー左目モードに設定する。
【００３１】
ＣＰＵ１０９が開始を検知した撮影の種別がライブビュー撮影である場合、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードをライブビュー左目モードに設定し、第１ＰＤ選択合成部１０６にライブビュー用の左目用ＲＡＷデータを生成させてもよい。そして、ライブビュー表示用の左目用画像の生成処理が完了した後に、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードをライブビュー右目モードに設定するようにしてもよい。
【００３２】
上記ライブビュー左目モードに設定された第１ＰＤ選択合成部１０６は、処理単位とする複数の画素部が有するＰＤのうち、ＰＤ４０２ｃ、４０２ｆ、４０２ｉに対応したＰＤの加算平均を行なって、１つの画素部の出力値とする。第１ＰＤ選択合成部１０６が、全ての処理単位についてＰＤの信号の加算平均を行って、ライブビュー用の左目用ＲＡＷデータとして出力し、フレームメモリ１０８内に記憶する。現像処理部１１２が、フレームメモリ１０８内のライブビュー用の左目用ＲＡＷデータを現像して、ライブビュー表示用の左目用画像を生成する。
【００３３】
上記の説明から、ライブビュー撮影時に、第１ＰＤ選択合成部１０６が、３つのＰＤが生成する画像信号に基づいて１つの画素部の画像信号を生成して出力することによって、データ量を減らすことができる。
【００３４】
以下に、第１ＰＤ選択合成部１０６の動作例について、図３を参照して説明する。図３において、ｎ行ｍ列目の画素部をｎ−ｍ画素部と表現する（ｎ≧１，ｍ≧１）。第１ＰＤ選択合成部１０６は、水平方向に同色の３画素部を平均するために、１行目の最初の赤画素部出力を以下のようにして算出する。動作モードがライブビュー左目モードである場合、第１ＰＤ選択合成部１０６は、画素部１−１、１−３、１−５を１つの処理単位として、以下の信号出力処理を実行する。すなわち、第１ＰＤ選択合成部１０６は、撮像素子が備える画素部が有するＰＤ４０２ａ乃至４０２ｇが生成した画像信号を取得し、取得した画像信号を加算平均処理して、１つの画素部の出力値とする。
【００３５】
また、第１ＰＤ選択合成部１０６は、次の赤画素部出力については、画素部１−７、１−９、１−１１を処理単位として、同様の加算平均処理を実行する。また、第１ＰＤ選択合成部１０６は、１行目の最初の緑画素部出力については、画素部１−２、１−４、１−６を処理単位として、同様の加算平均処理を実行する。なお、動作モードがライブビュー右目モードである場合、第１ＰＤ選択合成部１０６は、処理単位である画素部が有するＰＤ４０２ｃ乃至４０２ｉが生成した画像信号を加算平均処理する。
【００３６】
第１ＰＤ選択合成部１０６が、以下のようにして、処理単位を決定するようにしてもよい。すなわち、第１ＰＤ選択合成部１０６は、垂直方向に予め決められた間隔で画素部群を選択する。該選択された各々の画素部群が含む画素部から、水平方向に、同じカラーフィルタを有する予め決められた数の画素部を選択する。第１ＰＤ選択合成部１０６は、該選択した画素部を処理単位とする。
【００３７】
この例では、第１ＰＤ選択合成部１０６は、垂直３画素部毎に画素部群を選択する。従って、図３に示す画素アレイが有する、垂直方向に並んだ画素部群のうち、第１ＰＤ選択合成部１０６は、１行目の画素部群、４行目の画素部群、というように、２行の間隔を空けながら画素部群を選択する。１行目の画素部群においては、赤の画素部と緑の画素部とが交互に並んでいる。４行目の画素部群においては、緑の画素部と青の画素部とが交互に並んでいる。
【００３８】
第１ＰＤ選択合成部１０６は、選択された各々の画素部群が含む画素部から、水平方向に、１つ飛びに、すなわち１画素部の間隔を空けながら、同じカラーフィルタを有する３個の画素部を選択する。第１ＰＤ選択合成部１０６は、選択した３個の画素部を処理単位とする。
【００３９】
本実施形態では、第１ＰＤ選択合成部１０６は、４行目の最初の緑画素部出力については、画素部４−１、４−３、４−５を処理単位として、上述した加算平均処理を実行する。第１ＰＤ選択合成部１０６は、４行目の最初の青画素部出力については、画素部４−２、４−４、４−６を処理単位として、上述した加算平均処理を実行する。
【００４０】
すなわち、第１ＰＤ選択合成部１０６は、開始が検知された撮影の種別がライブビュー撮影である場合に、以下の処理を実行する。第１ＰＤ選択合成部１０６は、左目用画像信号を生成するＰＤまたは右目用画像信号を生成するＰＤを選択するとともに、撮像素子が有する複数の画素部から予め決められた複数の画素部を１つの処理単位として選択する。第１ＰＤ選択合成部１０６は、上記選択した画素部が有する上記選択されたＰＤが生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する信号出力処理を実行する。第１ＰＤ選択合成部１０６は、上記信号出力処理を、左目用画像信号を生成するＰＤまたは右目用画像信号を生成するＰＤを選択する毎に実行する。
【００４１】
例えば、第１ＰＤ選択合成部１０６は、左目用画像信号を生成するＰＤまたは右目用画像信号を生成するＰＤを選択して、処理単位の全てについて信号出力処理を実行する。この信号出力処理によって、選択されたＰＤが生成する画像信号に対応するライブビュー用ＲＡＷデータを生成した後、第１ＰＤ選択合成部１０６は、左目用画像信号を生成するＰＤまたは右目用画像信号を生成するＰＤのうち、選択されなかったＰＤを選択する。そして、第１ＰＤ選択合成部１０６は、上記処理単位の全てについて信号出力処理を実行して、該選択されたＰＤが生成する画像信号に対応するライブビュー用ＲＡＷデータを生成する。これにより、第１ＰＤ選択合成部１０６は、ライブビュー用の左目用ＲＡＷデータ（左目用動画像データ）とライブビュー用の右目用ＲＡＷデータ（右目用動画像データ）とを生成する。
【００４２】
なお、ＣＰＵ１０９が開始を検知した撮影の種別がライブビュー撮影である場合、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを両目選択合成モードに設定するようにしてもよい。
【００４３】
両目選択合成モードに設定された第１ＰＤ選択合成部１０６は、左目用画像信号を生成するＰＤおよび右目用画像信号を生成するＰＤを選択した上で、以下の処理を実行する。第１ＰＤ選択合成部１０６は、処理単位の画素部が有する選択されたＰＤが生成した画像信号を、左目用画像信号を生成するＰＤ、右目用画像信号を生成するＰＤのそれぞれについて加算平均して１つの画素部に対応する２つの画像信号として出力する。第１ＰＤ選択合成部１０６は、この信号出力処理を処理単位の全てについて実行することによって、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを含むＲＡＷデータを生成してフレームメモリ１０８に記憶する。
【００４４】
ＣＰＵ１０９が開始を検知した撮影の種別が、静止画撮影である場合、ＣＰＵ１０９は、第１ＰＤ選択合成部１０６の動作モードを非選択合成モードに設定する。非選択モードに設定された第１ＰＤ選択合成部１０６は、撮像素子が備える各々の画素部が有する複数のＰＤの全てを選択し、該選択したＰＤが生成した画像信号に基づいて静止画像データを生成する。具体的には、第１ＰＤ選択合成部１０６は、各々の画素部が備える９個全てのＰＤの加算平均を行い、加算平均結果をその画素部の出力値とすることによって、静止画用ＲＡＷデータを生成する。第１ＰＤ選択合成部１０６は、生成した静止画用ＲＡＷデータをフレームメモリ１０８に記憶する。
【００４５】
図１に戻って、撮像素子１０５は電子シャッタ機能を有しており、露光時間を調整することができる。また、撮像装置が、電子シャッタ機能の代わりに機械式のシャッタを用いて露光時間を調整する構成を有していてもよい。像信号処理装置１０７は、デジタル画像信号にシェーディング補正等のカメラで周知の画像信号処理を施す。
【００４６】
像信号処理装置１０７は、撮像素子１０５の特性に起因する画像濃度の非線形性、光源に起因する画像色の偏りを補正する。フレームメモリ１０８は、撮像素子１０５と像信号処理装置１０７とによって生成される画像データ（ＲＡＷデータ）を一時記憶するバッファメモリとして機能する。フレームメモリ１０８に格納されるＲＡＷデータは、補正処理等が施されているが、撮像素子１０５の各画素部に蓄積された電化エネルギーをそのままデジタルデータ化したものと考えることができる。
【００４７】
ここで、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを、ライブビュー用ＲＡＷデータと総称する。ライブビュー用ＲＡＷデータは、複数の画素部が備えるＰＤが生成した画像信号が第１ＰＤ選択合成部１０６によって加算平均処理された結果である。すなわち、ライブビュー用ＲＡＷデータは、データ量が少ないので、撮像装置がライブビュー表示時に読み出す時のフレームレートが高くなる。
【００４８】
一方、全ＰＤＲＡＷデータは、各画素部内の各ＰＤが生成した全ての画像信号に対応する。全ＰＤＲＡＷデータはフレームメモリ１０８に格納される。全ＰＤＲＡＷデータは、画像データとして詳細な情報を有するので、後工程で各種画像処理する時の自由度が上がる。ＲＡＷデータの画像の画質に関するパラメータを撮像パラメータと呼ぶ。撮像パラメータは、絞り１０３の設定値であるＡｖ、Ｔｖ、ＩＳＯを含む。
【００４９】
バス１５０には、ＣＰＵ１０９、電源１１０、不揮発性メモリ１１１、現像処理部１１２、ＲＡＭメモリ１１３、表示制御装置１１４、メインスイッチ１１６が接続される。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。また、バス１５０には、第１レリーズスイッチ１１７、第２レリーズスイッチ１１８、操作ボタン１４０乃至１４２、現像パラメータ変更ボタン１４３、ライブビュー開始／終了ボタン１４４、カード入出力部１１９、第２ＰＤ選択合成部１５１が接続される。また、バス１５０には、ＵＳＢ制御装置１２７、ＬＡＮ（Local Area Network）制御装置が接続される。
【００５０】
ＣＰＵ１０９は、撮像素子１０５からの画像信号読み出しを制御する。すなわち、ＣＰＵ１０９は、撮像素子１０５、像信号処理１０７、フレームメモリ１０８の動作タイミングを制御する。不揮発性メモリ１１１は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等で構成されており、電源１１０がオフにされても、記録されたデータを失わない。不揮発性メモリ１１１には、電源１１０がオンされた時にカメラに設定する初期カメラ設定値が記録されている。
【００５１】
第２ＰＤ選択合成部１５１は、画素選択合成パラメータの設定に基づいて、フレームメモリ１０８上またはＲＡＭメモリ１１３上のＲＡＷデータから左目用ＲＡＷデータまたは右目用ＲＡＷデータを選択して合成する処理（選択合成処理）を実行する。ＣＰＵ１０９が、開始を検知した撮影の種別に応じて、画素選択合成パラメータを設定する。
【００５２】
画素選択合成パラメータは、どのＰＤが生成した画像信号に対応するＲＡＷデータを合成して出力するかを決定するパラメータ、すなわち、第２ＰＤ選択合成部１５１の動作モードを設定するパラメータである。
【００５３】
画素選択合成パラメータは、例えば、左目用画像合成パラメータ、右目用画像合成パラメータを含む。左目用画像合成パラメータは、第２ＰＤ選択合成部１５１を左目選択合成モードに設定するパラメータである。左目選択合成モードは、左目用画像データを合成して出力する（左目用画像合成処理を実行する）動作モードである。右目用画像合成パラメータは、第２ＰＤ選択合成部１５１を右目選択合成モードに設定するパラメータである。右目選択合成モードは、右目用画像データを合成して出力する（右目用画像合成処理を実行する）動作モードである。
【００５４】
左目用画像合成処理は、前述した動作モードがライブビュー左目モードである場合の第１ＰＤ選択合成部１０６の動作処理と同様である。具体的には、第２ＰＤ選択合成部１５１は、フレームメモリ１０８に記憶された静止画用ＲＡＷデータのうち、左目用画像信号に対応する静止画像ＲＡＷデータに基づいて、左目用静止画像データを生成する。なお、フレームメモリ１０８に記憶されたＲＡＷデータが、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを含むＲＡＷデータである場合、第２画素選択合成部１５１は、以下のようにして左目用画像合成処理を実行するようにしてもよい。第２画素選択合成部１５１は、フレームメモリ１０８に記憶されたＲＡＷデータから、ライブビュー用の左目用ＲＡＷデータを取得する。
【００５５】
右目用画像合成処理は、前述した動作モードがライブビュー右目モードである場合の第１ＰＤ選択合成部１０６の動作処理と同様である。具体的には、第２画素選択合成部１５１は、フレームメモリ１０８に記憶された静止画用ＲＡＷデータのうち、右目用画像信号に対応する静止画像ＲＡＷデータに基づいて、右目用静止画像データを生成する。なお、フレームメモリ１０８に記憶されたＲＡＷデータが、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを含むＲＡＷデータである場合、第２画素選択合成部１５１が、以下のようにして右目用画像合成処理を実行するようにしてもよい。第２画素選択合成部１５１は、フレームメモリ１０８に記憶されたＲＡＷデータから、ライブビュー用の右目用ＲＡＷデータを取得する。
【００５６】
第２ＰＤ選択合成部１５１は、選択合成処理によって得られる右目用／左目用画像データをＲＡＭメモリ１１３に格納する。すなわち、第２ＰＤ選択合成部１５１は、開始が検知された撮影の種別に応じて、フレームメモリ１０８に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第２選択手段として機能する。
【００５７】
なお、本実施形態では、ＲＡＷデータをフレームメモリ１０８またはＲＡＭメモリ１１３を経由して第２ＰＤ選択合成部１５１へ入力するが、ＲＡＷデータを像信号処理装置１０７から直接第２ＰＤ選択合成部１５１に入力するようにしてもよい。
【００５８】
現像処理部１１２は、ＣＰＵ１０９が読み出したフレームメモリ１０８上またはＲＡＭメモリ１１３上の、画素部毎に合成されたＲＡＷデータを、現像パラメータ設定に基づいて画像処理を行なう。画像処理を施されたそれぞれの画像データは、ＲＡＭメモリ１１３に格納される。
【００５９】
現像パラメータは、デジタル画像データの画質に関するパラメータである。デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度に関するパラメータはすべて現像パラメータに相当する。以後、１つ以上の現像パラメータを用いてデジタル画像データの画質を調整（変更）する処理のことを現像処理と呼ぶ。本実施形態では、ＲＡＷデータをフレームメモリ１０８またはＲＡＭメモリ１１３を経由して現像処理部１１２へ入力しているが、像信号処理装置１０７がＲＡＷデータを直接現像処理部１１２に入力するようにしてもよい。
【００６０】
ＲＡＭメモリ１１３は、現像処理結果の画像データの他、ＣＰＵ１０９が各種処理を行なう際にデータを一時的に記憶する。表示制御装置１１４は、液晶表示素子を備えるＴＦＴ１１５の駆動および制御をする。表示制御装置１１４がＲＡＭメモリ１１３に表示用の画像フォーマットで配置された画像（表示用の画像）を表示装置へ出力する。表示用の画像が配置されるＲＡＭメモリ１１３をＶＲＡＭと呼ぶ。本実施形態ではステレオ表示を行なうため、表示装置はステレオ表示が可能である。ステレオ表示を行なうために、ＶＲＡＭは、右目用ＶＲＡＭと左目用ＶＲＡＭとを含む。表示装置が、右目用ＶＲＡＭが含む右目用画像と、左目用ＶＲＡＭが含む左目用画像を配置することで、ステレオ表示を行なう。
【００６１】
ユーザが、メインスイッチ１１６をオンにすると、ＣＰＵ１０９が、所定のプログラムを実行する。メインスイッチ１１６をオフにすると、ＣＰＵ１０９が、所定のプログラムを実行し、カメラをスタンバイモードにする。第１レリーズスイッチ１１７は、レリーズボタンの第１ストローク（半押し状態）でオンになり、第２レリーズスイッチ１１８は、レリーズボタンの第２ストローク（全押し状態）でオンとなる。第１レリーズスイッチ１１７がオンとなった場合、ＣＰＵ１０９が、撮影準備処理（例えば、焦点検出処理等）を実行する。第２レリーズスイッチ１１８がオンとなった場合、ＣＰＵ１０９が、撮影（この例では静止画撮影）の開始を検知し、撮影動作を実行する。
【００６２】
ＣＰＵ１０９は、左選択ボタン１４０、右選択ボタン１４１、設定ボタン１４２の押下とデジタルカメラの動作状態に応じた制御を行なう。例えば、デジタルカメラの動作状態が再生状態であって、左選択ボタン１４０が押下げされた場合、ＣＰＵ１０９は前の画像データを表示する。また、右選択ボタン１４１が押下げられた場合、ＣＰＵ１０９は次の画像データを表示する。
【００６３】
現像パラメータは、現像パラメータ変更ボタン１４３を用いたユーザのメニュー操作に従って設定される、現像に関するパラメータである。ユーザは、グラフィカルユーザインタフェース上で現像パラメータの確認と設定とを行なうことができる。
【００６４】
ユーザがライブビュー開始／終了ボタン１４４を押下げすると、ＣＰＵ１０９が定期的（例えば１秒に３０回）に撮像素子１０５からＲＡＷデータを取り込む。そしてＣＰＵ１０９からの指示に従って、現像処理部１１２がＲＡＷデータを現像処理してＶＲＡＭへ配置することで、リアルタイムに撮像素子１０５から取り込んだ画像を表示することができる。ユーザがライブビューが動作している状態で、ライブビュー開始／終了ボタン１４４を押下げすると、ＣＰＵ１０９がライブビューを終了する。
【００６５】
ＬＡＮ制御装置１２９は、有線ＬＡＮ端子１３０または無線ＬＡＮを介して、撮像装置と外部装置との間の通信を制御する。ＵＳＢ制御部１２７は、ＵＳＢ端子１２８を介して、撮像装置と外部装置との間の通信を制御する。
【００６６】
（実施例１）
図５は、実施例１の撮像装置の動作処理の例を説明するフローチャートである。まず、ＣＰＵ１０９が、第２レリーズスイッチがＯＮされているかを判断する（ステップＳ１０１）。第２レリーズスイッチがＯＮされている場合、ＣＰＵ１０９は、静止画撮影が開始されたと判断する。そして、処理がステップ１０２に進む。第２レリーズスイッチがＯＮされていない場合は、ステップＳ１１０に進む。
【００６７】
ステップＳ１０２において、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを非選択合成モードに設定する（ステップＳ１０２）。続いて、ＣＰＵ１０９が撮影を開始すると、第１ＰＤ選択合成部１０６が、フレームメモリ１０８上に全ＰＤＲＡＷデータを記憶する（ステップＳ１０３）。
【００６８】
次に、現像処理部１１２が、フレームメモリ１０８から全ＰＤＲＡＷデータを読み出し、読み出した全ＰＤＲＡＷデータをＲＡＷ画像用の現像パラメータを用いて現像し、現像結果すなわちＲＡＷ画像データをＲＡＭメモリ１１３へ配置する（ステップＳ１０４）。
【００６９】
次に、ＣＰＵ１０９が、第２ＰＤ選択合成部１５１の動作モードを右目用選択合成モードに設定する（ステップＳ１０５）。続いて、ＣＰＵ１０９が、フレームメモリ１０８上の全ＰＤＲＡＷデータを第２ＰＤ選択合成部１５１へ入力する。そして、第２ＰＤ選択合成部１５１が、入力された全ＰＤＲＡＷデータを用いて、右目用ＲＡＷデータを生成し、生成した右目用ＲＡＷデータをＲＡＭメモリ１１３に記憶する。第２ＰＤ選択合成部１５１は、さらに、ＲＡＭメモリ１１３上の右目用ＲＡＷデータをＪＰＥＧ画像用の現像パラメータを用いて現像処理部１１２で現像を行い、現像結果すなわち右目用ＪＰＥＧ画像をＲＡＭメモリ１１３へ配置する（ステップＳ１０６）。
【００７０】
次に、ＣＰＵ１０９が、第２ＰＤ選択合成部１５１の動作モードを左目用選択合成モードに設定する（ステップＳ１０７）。続いて、ＣＰＵ１０９が、フレームメモリ１０８上の全ＰＤＲＡＷデータを第２ＰＤ選択合成部１５１へ入力する。そして、第２ＰＤ選択合成部１５１が、入力された全ＰＤＲＡＷデータを用いて、左目用ＲＡＷデータを生成し、生成した左目用ＲＡＷデータをＲＡＭメモリ１１３に記憶する。
【００７１】
第２ＰＤ選択合成部１５１は、さらに、ＲＡＭメモリ１１３上の左目用ＲＡＷデータをＪＰＥＧ画像用の現像パラメータを用いて現像処理部１１２で現像を行い、現像結果すなわち左目用ＪＰＥＧ画像をＲＡＭメモリ１１３へ配置する（ステップＳ１０８）。
【００７２】
次に、ＣＰＵ１０９が、ステップＳ１０４で生成したＲＡＷ画像データとステップＳ１０６で生成した右目用ＪＰＥＧ画像とステップＳ１０８で生成した左目用ＪＰＥＧ画像とを１つのＥｘｉｆ規格のファイルとして記憶する（ステップＳ１０９）。具体的には、ＣＰＵ１０９が、ＲＡＷ画像データと右目用ＪＰＥＧ画像と左目用ＪＰＥＧ画像とを、カード入出力部１１９を介して、メモリカード１２１に記憶する。
【００７３】
ステップＳ１１０において、ＣＰＵ１０９が、ライブビューが開始されていない状態においてライブビュー開始／終了ボタン１４４がＯＮになったかを判断する（ステップＳ１１０）。ライブビュー開始／終了ボタン１４４がＯＮになっていない場合は、ステップＳ１０１に戻る。ライブビュー開始／終了ボタン１４４がＯＮになった場合は、ＣＰＵ１０９が、ライブビュー撮影が開始されたことを検知する。そして、処理がステップＳ１１１に進む。
【００７４】
ステップＳ１１１において、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを、ライブビュー右目モードに設定する（ステップＳ１１１）。続いて、ＣＰＵ１０９が、ライブビュー用の撮影パラメータで撮影を開始する。第１ＰＤ選択合成部１０６が、右目用ＲＡＷデータを生成してフレームメモリ１０８に記憶する（ステップＳ１１２）。現像処理部１１２が、表示用の現像パラメータを用いて、フレームメモリ１０８上の右目用ＲＡＷデータを現像し、現像画像を右目用のＶＲＡＭへ配置して、ステップＳ１１３に進む。
【００７５】
ステップＳ１１３において、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを、ライブビュー左目モードに設定する（ステップＳ１１３）。続いて、ＣＰＵ１０９が、ライブビュー用の撮影パラメータで撮影を開始する。第１ＰＤ選択合成部１０６が、左目用ＲＡＷデータを生成してフレームメモリ１０８に記憶する（ステップＳ１１４）。現像処理部１１２が、表示用の現像パラメータを用いて、フレームメモリ１０８上の左目用ＲＡＷデータを現像し、現像画像を左目用のＶＲＡＭへ配置して、ステップＳ１１０に戻る。
【００７６】
実施例１の撮像装置によれば、ライブビューにおいてステレオ表示をする際に、撮像素子１０５内の第１ＰＤ選択合成部１０６で右目用と左目用の画像を生成し、撮像素子の出力データを低く抑えることで、高いフレームレートを実現することが可能となる。また、実施例１の撮像装置によれば、静止画撮影時に、撮像素子１０５内の第１ＰＤ選択合成部１０６が、撮像素子が有するＰＤの情報を全て出力することで、後処理での自由度を高めることができる。
【００７７】
（実施例２）
図６は、実施例２の撮像装置の動作処理の例を説明するフローチャートである。図６のフローチャートを参照して説明する処理は、ライブビュー撮影の開始が検知された場合の処理である。静止画撮影の開始が検知された場合の処理は、実施例１と同様である。
【００７８】
まず、ＣＰＵ１０９が、ライブビューが開始されていない状態においてライブビュー開始／終了ボタン１４４がＯＮになったかを判断する（ステップＳ２０１）。ライブビュー開始／終了ボタン１４４がＯＮになっていない場合は、ステップＳ２０１に戻る。ライブビュー開始／終了ボタン１４４がＯＮになった場合は、ＣＰＵ１０９が、ライブビュー撮影が開始されたことを検知する。そして、処理がステップＳ２０２に進む。
【００７９】
ステップＳ２０２において、ＣＰＵ１０９が、第１ＰＤ選択合成部１０６の動作モードを両目選択合成モードに設定する（ステップＳ２０２）。ＣＰＵ１０９が、ライブビュー用の撮影パラメータで撮影を開始する。そして、両目選択合成モードに設定された第１ＰＤ選択合成部１０６は、処理単位の画素部が有する選択されたＰＤが生成した画像信号を、左目用画像信号を生成するＰＤ、右目用画像信号を生成するＰＤのそれぞれについて加算平均する。第１ＰＤ選択合成部１０６は、加算平均結果を、１つの画素部に対応する２つの画像信号として出力する。第１ＰＤ選択合成部１０６は、この信号出力処理を処理単位の全てについて実行する。これにより、第１ＰＤ選択合成部１０６は、ライブビュー用の左目用ＲＡＷデータと右目用ＲＡＷデータとを含むＲＡＷデータ（両目用ＲＡＷデータ）を生成する。第１ＰＤ選択合成部１０６は、生成した両目用ＲＡＷデータをフレームメモリ１０８に記憶する（ステップＳ２０３）。
【００８０】
ステップＳ２０３における具体的な処理について以下に説明する。第１ＰＤ選択合成部１０６は、例えば、予め決められた複数の画素部を処理単位として、当該処理単位の画素部が有するＰＤ４０２ａ，４０２ｄ，４０２ｇが生成した右目用画像信号を加算平均する。また、第１ＰＤ選択合成部１０６は、例えば、予め決められた複数の画素部を処理単位として、当該処理単位の画素部が有するＰＤ４０２ｃ，４０２ｆ，４０２ｉが生成した左目目用画像信号を加算平均する。第１ＰＤ選択合成部１０６は、これら２つの加算平均結果を両目用ＲＡＷデータとする。
【００８１】
次に、ＣＰＵ１０９が、第２ＰＤ選択合成部１０６の動作モードを右目選択合成モードに設定する（ステップＳ２０４）。続いて、ＣＰＵ１０９が、フレームメモリ１０８上の両目用ＲＡＷデータを第２ＰＤ選択合成部１０６へ入力する。そして、第２ＰＤ選択合成部１５１が、入力された両目用ＲＡＷデータを用いて、右目用ＲＡＷデータを生成し、生成した右目用ＲＡＷデータをＲＡＭメモリ１１３に記憶する（ステップＳ２０５）。さらに、現像処理部１１２が、表示用の現像パラメータを用いて、フレームメモリ１０８上の右目用ＲＡＷデータを現像し、現像画像を右目用のＶＲＡＭへ配置して、ステップＳ２０６に進む。
【００８２】
次に、ＣＰＵ１０９が、第２ＰＤ選択合成部１０６の動作モードを左目選択合成モードに設定する（ステップＳ２０６）。続いて、ＣＰＵ１０９が、フレームメモリ１０８上の両目用ＲＡＷデータを第２ＰＤ選択合成部１０６へ入力する。そして、第２ＰＤ選択合成部１５１が、入力された両目用ＲＡＷデータを用いて、左目用ＲＡＷデータを生成し、生成した左目用ＲＡＷデータをＲＡＭメモリ１１３に記憶する（ステップＳ２０７）。さらに、現像処理部１１２が、表示用の現像パラメータを用いて、フレームメモリ１０８上の左目用ＲＡＷデータを現像し、現像画像を左目用のＶＲＡＭへ配置して、ステップＳ２００に戻る。
【００８３】
実施例２の撮像装置によれば、ライブビューにおいてステレオ表示をする際に、撮像素子１０５内の第１ＰＤ選択合成部１０６で右目用と左目用の画像を同時に生成し、撮像素子の出力データを低く抑えることで高いフレームレートを実現することが可能となる。また、実施例２の撮像装置は、右目用と左目用の画像を同時に撮像素子１０５から取得する。従って、実施例２の撮像装置によれば、右目用と左目用の画像との間で時差のない画像をステレオ表示することができる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００８４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００８５】
１００ デジタルカメラ本体
１０５ 撮像素子
１０６ 第１ＰＤ選択合成部
１０７ 像信号処理装置
１０８ フレームメモリ
１０９ ＣＰＵ
１５１ 第２ＰＤ選択合成部
【特許請求の範囲】
【請求項１】
一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を、水平方向および垂直方向に並べて配置した撮像素子と、
撮影の開始と該撮影の種別とを検知する撮影検知手段と、
前記開始が検知された撮影の種別に応じて、前記複数の光電変換部から、左目用画像信号を生成する第１の光電変換部、右目用画像信号を生成する第２の光電変換部または前記複数の光電変換部の全てのうちのいずれかを選択し、選択した光電変換部が生成する信号に基づいて画像データを生成して出力する第１選択手段と、
前記第１選択手段が出力した画像データを記憶する記憶手段と、
前記開始が検知された撮影の種別に応じて、前記記憶手段に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第２選択手段とを備え、
前記開始が検知された撮影の種別が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合に、前記第１選択手段が、前記第１または第２の光電変換部を選択するとともに、前記複数の画素部から予め決められた複数の画素部を１つの処理単位として選択し、前記選択した画素部が有する前記選択された光電変換部が生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する信号出力処理を、前記第１または第２の光電変換部を選択する毎に実行することによって、左目用動画像データと右目用動画像データとを生成して前記記憶手段に記憶し、
前記開始が検知された撮影の種別が、静止画撮影である場合に、前記第１選択手段が、各々の画素部が有する前記複数の光電変換部の全てを選択し、該選択した光電変換部が生成した画像信号に基づいて静止画像データを生成して前記記憶手段に記憶し、前記第２選択手段が、該記憶手段に記憶された静止画像データのうち、前記第１の光電変換部が生成した画像信号に対応する静止画像データに基づいて、左目用静止画像データを生成し、前記第２の光電変換部が生成した画像信号に対応する静止画像データに基づいて、右目用静止画像データを生成する
ことを特徴とする撮像装置。
【請求項２】
前記第１選択手段は、前記開始が検知された撮影の種別が前記ライブビュー撮影である場合に、前記第１または第２の光電変換部を選択して前記処理単位の全てについて前記信号出力処理を実行して、前記選択された光電変換部が生成する画像信号に対応する動画像データを生成した後に、前記第１または第２の光電変換部のうち、前記選択されなかった光電変換部を選択して前記処理単位の全てについて前記信号出力処理を実行して、該選択された光電変換部が生成する画像信号に対応する動画像データを生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１選択手段は、前記開始が検知された撮影の種別が前記ライブビュー撮影である場合に、前記第１および第２の光電変換部を選択した上で、前記処理単位の画素部が有する前記選択された光電変換部が生成した画像信号を前記第１、第２の光電変換部のそれぞれについて加算平均して１つの画素部に対応する２つの画像信号として出力する信号出力処理を前記処理単位の全てについて実行することによって、前記左目用動画像データと前記右目用動画像データとを含む動画像データを生成して前記記憶手段に記憶し、
前記第２選択手段は、前記開始が検知された撮影の種別が前記ライブビュー撮影である場合に、前記記憶手段に記憶された動画像データから前記左目用動画像データと、右目用動画像データとを取得する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像素子が有する各々の画素部が、カラーフィルタを有し、予め決められた画素配列で配置されており、
前記第１選択手段は、前記撮像素子が有する複数の画素部のうち、水平方向に、同じカラーフィルタを有する予め決められた数の画素部を選択し、該選択した画素部を前記処理単位とする
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像素子が有する各々の画素部が、カラーフィルタを有し、予め決められた画素配列で配置されており、
前記第１選択手段は、垂直方向に予め決められた間隔で予め決められた数の画素部群を選択し、該選択された各々の画素部群が含む画素部から、水平方向に、同じカラーフィルタを有する予め決められた数の画素部を選択し、該選択した画素部を前記処理単位とする
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項６】
一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を、水平方向および垂直方向に並べて配置した撮像素子を備える撮像装置の制御方法であって、
撮影の開始と該撮影の種別とを検知する撮影検知工程と、
前記開始が検知された撮影の種別に応じて、前記複数の光電変換部から、左目用画像信号を生成する第１の光電変換部、右目用画像信号を生成する第２の光電変換部または前記複数の光電変換部の全てのうちのいずれかを選択し、選択した光電変換部が生成する信号に基づいて画像データを生成して出力する第１選択工程と、
前記第１選択工程によって出力された画像データを記憶手段に記憶する記憶工程と、
前記開始が検知された撮影の種別に応じて、前記記憶手段に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第２選択工程とを有し、
前記開始が検知された撮影の種別が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合に、前記第１選択工程において、前記第１または第２の光電変換部を選択するとともに、前記複数の画素部から予め決められた複数の画素部を１つの処理単位として選択し、前記選択した画素部が有する前記選択された光電変換部が生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する信号出力処理を、前記第１または第２の光電変換部を選択する毎に実行することによって、左目用動画像データと右目用動画像データとを生成して前記記憶手段に記憶し、
前記開始が検知された撮影の種別が、静止画撮影である場合に、前記第１選択工程において、各々の画素部が有する前記複数の光電変換部の全てを選択し、該選択した光電変換部が生成した画像信号に基づいて静止画像データを生成して前記記憶手段に記憶し、前記第２選択工程において、該記憶手段に記憶された静止画像データのうち、前記第１の光電変換部が生成した画像信号に対応する静止画像データに基づいて、左目用静止画像データを生成し、前記第２の光電変換部が生成した画像信号に対応する静止画像データに基づいて、右目用静止画像データを生成する
ことを特徴とする撮像装置の制御方法。
【請求項１】
一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を、水平方向および垂直方向に並べて配置した撮像素子と、
撮影の開始と該撮影の種別とを検知する撮影検知手段と、
前記開始が検知された撮影の種別に応じて、前記複数の光電変換部から、左目用画像信号を生成する第１の光電変換部、右目用画像信号を生成する第２の光電変換部または前記複数の光電変換部の全てのうちのいずれかを選択し、選択した光電変換部が生成する信号に基づいて画像データを生成して出力する第１選択手段と、
前記第１選択手段が出力した画像データを記憶する記憶手段と、
前記開始が検知された撮影の種別に応じて、前記記憶手段に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第２選択手段とを備え、
前記開始が検知された撮影の種別が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合に、前記第１選択手段が、前記第１または第２の光電変換部を選択するとともに、前記複数の画素部から予め決められた複数の画素部を１つの処理単位として選択し、前記選択した画素部が有する前記選択された光電変換部が生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する信号出力処理を、前記第１または第２の光電変換部を選択する毎に実行することによって、左目用動画像データと右目用動画像データとを生成して前記記憶手段に記憶し、
前記開始が検知された撮影の種別が、静止画撮影である場合に、前記第１選択手段が、各々の画素部が有する前記複数の光電変換部の全てを選択し、該選択した光電変換部が生成した画像信号に基づいて静止画像データを生成して前記記憶手段に記憶し、前記第２選択手段が、該記憶手段に記憶された静止画像データのうち、前記第１の光電変換部が生成した画像信号に対応する静止画像データに基づいて、左目用静止画像データを生成し、前記第２の光電変換部が生成した画像信号に対応する静止画像データに基づいて、右目用静止画像データを生成する
ことを特徴とする撮像装置。
【請求項２】
前記第１選択手段は、前記開始が検知された撮影の種別が前記ライブビュー撮影である場合に、前記第１または第２の光電変換部を選択して前記処理単位の全てについて前記信号出力処理を実行して、前記選択された光電変換部が生成する画像信号に対応する動画像データを生成した後に、前記第１または第２の光電変換部のうち、前記選択されなかった光電変換部を選択して前記処理単位の全てについて前記信号出力処理を実行して、該選択された光電変換部が生成する画像信号に対応する動画像データを生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１選択手段は、前記開始が検知された撮影の種別が前記ライブビュー撮影である場合に、前記第１および第２の光電変換部を選択した上で、前記処理単位の画素部が有する前記選択された光電変換部が生成した画像信号を前記第１、第２の光電変換部のそれぞれについて加算平均して１つの画素部に対応する２つの画像信号として出力する信号出力処理を前記処理単位の全てについて実行することによって、前記左目用動画像データと前記右目用動画像データとを含む動画像データを生成して前記記憶手段に記憶し、
前記第２選択手段は、前記開始が検知された撮影の種別が前記ライブビュー撮影である場合に、前記記憶手段に記憶された動画像データから前記左目用動画像データと、右目用動画像データとを取得する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像素子が有する各々の画素部が、カラーフィルタを有し、予め決められた画素配列で配置されており、
前記第１選択手段は、前記撮像素子が有する複数の画素部のうち、水平方向に、同じカラーフィルタを有する予め決められた数の画素部を選択し、該選択した画素部を前記処理単位とする
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像素子が有する各々の画素部が、カラーフィルタを有し、予め決められた画素配列で配置されており、
前記第１選択手段は、垂直方向に予め決められた間隔で予め決められた数の画素部群を選択し、該選択された各々の画素部群が含む画素部から、水平方向に、同じカラーフィルタを有する予め決められた数の画素部を選択し、該選択した画素部を前記処理単位とする
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項６】
一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を、水平方向および垂直方向に並べて配置した撮像素子を備える撮像装置の制御方法であって、
撮影の開始と該撮影の種別とを検知する撮影検知工程と、
前記開始が検知された撮影の種別に応じて、前記複数の光電変換部から、左目用画像信号を生成する第１の光電変換部、右目用画像信号を生成する第２の光電変換部または前記複数の光電変換部の全てのうちのいずれかを選択し、選択した光電変換部が生成する信号に基づいて画像データを生成して出力する第１選択工程と、
前記第１選択工程によって出力された画像データを記憶手段に記憶する記憶工程と、
前記開始が検知された撮影の種別に応じて、前記記憶手段に記憶された画像データに基づいて、左目用画像データまたは右目用画像データを生成して出力する第２選択工程とを有し、
前記開始が検知された撮影の種別が、画像表示手段を介して被写体像を視認可能な状態で撮影を行うライブビュー撮影である場合に、前記第１選択工程において、前記第１または第２の光電変換部を選択するとともに、前記複数の画素部から予め決められた複数の画素部を１つの処理単位として選択し、前記選択した画素部が有する前記選択された光電変換部が生成した画像信号を加算平均して１つの画素部に対応する画像信号として出力する信号出力処理を、前記第１または第２の光電変換部を選択する毎に実行することによって、左目用動画像データと右目用動画像データとを生成して前記記憶手段に記憶し、
前記開始が検知された撮影の種別が、静止画撮影である場合に、前記第１選択工程において、各々の画素部が有する前記複数の光電変換部の全てを選択し、該選択した光電変換部が生成した画像信号に基づいて静止画像データを生成して前記記憶手段に記憶し、前記第２選択工程において、該記憶手段に記憶された静止画像データのうち、前記第１の光電変換部が生成した画像信号に対応する静止画像データに基づいて、左目用静止画像データを生成し、前記第２の光電変換部が生成した画像信号に対応する静止画像データに基づいて、右目用静止画像データを生成する
ことを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−７０２４３（Ｐ２０１３−７０２４３Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０７４３１（Ｐ２０１１−２０７４３１）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]