撮像装置および撮像装置の制御方法
【課題】撮像光学系の射出瞳の異なる領域からの光を光電変換して画像を出力する複数の光電変換部を有する撮像素子を備え、出力画像と視差マップとに基づいて、被写体の形状を正しく反映した右目用画像／左目用画像を生成する撮像装置を提供する。
【解決手段】各々が、撮像光学系の射出瞳の異なる領域を通過した光束を光電変換して左目用画像／右目用画像を出力する複数のＰＤを有する複数の撮像素子を備える撮像装置を設ける。撮像装置が、左目用画像と右目用画像とに基づいて合成画像を生成し、合成画像の位置を基準とした左目用画像の位置ずれ量を視差量として算出し、視差量に関する情報を視差マップとして記憶する。撮像装置が、合成画像が含む被写体を視差マップが示す視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する。
【解決手段】各々が、撮像光学系の射出瞳の異なる領域を通過した光束を光電変換して左目用画像／右目用画像を出力する複数のＰＤを有する複数の撮像素子を備える撮像装置を設ける。撮像装置が、左目用画像と右目用画像とに基づいて合成画像を生成し、合成画像の位置を基準とした左目用画像の位置ずれ量を視差量として算出し、視差量に関する情報を視差マップとして記憶する。撮像装置が、合成画像が含む被写体を視差マップが示す視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
近年、３次元（３Ｄ）シネマや３Ｄディスプレイなど、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラなどでも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。
【０００３】
立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式などのように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法などが知られている。
【０００４】
一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１および２に開示されている。特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザの立体映像の鑑賞が可能となる。
【０００５】
また、特許文献２は、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第１の画像とに基づいて、第２の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開昭５８−２４１０５号公報
【特許文献２】特表２００８−５１８３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
立体映像を鑑賞するには、背景技術で述べたように、左右方向に視差を持たせた画像を、それぞれ対応する目で見る必要がある。したがって、背景技術で述べたいずれの技術も、左目で鑑賞するための「左目用画像」と、右目で鑑賞するための「右目用画像」とを用意する必要がある。
【０００８】
しかし、特許文献１が開示する、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を用いて撮影をした場合、以下のような問題がある。対をなすフォトダイオードの一方が撮像光学系の射出瞳のある領域を通過した光束を光電変換した左目用画像を出力し、他方が射出瞳の上記領域とは異なる領域を通過した光束を光電変換した右目用画像を出力する場合を想定する。この場合、被写体によっては、左目用画像、右目用画像のいずれの画像も、被写体の形状を反映した画像でないことがある。
【０００９】
例えば、点光源からの光がボケたように撮影される撮影シーンにおいては、本来、円形にボケた光源の写真が撮影されるべきである。しかし、特許文献１が開示する固体撮像素子で撮影した場合には、撮影される画像は、被写体の形状が反映されていない半円形や楕円形などの形状となってしまう。しかも、例えば、左目用画像における被写体は左半分が欠けており、右目用画像における被写体は右半分が欠けているというように、左目用画像と右目用画像とでは、画像として写る被写体の形状が異なって撮影される。その理由としては、撮像光学系の射出瞳から出た光束のうち、光軸を境にして、フォトダイオードが受光する光の領域が異なるためである。
【００１０】
撮像装置が、特許文献２の技術を適用し、左目用画像と視差マップとに基づいて右目用画像を生成するようにしても、以下の問題が生ずる。すなわち、右目用画像の生成の基となる左目用画像における被写体の形状が、実際の被写体とは異なる形状を有するので、視差マップを用いても、被写体の形状が反映された正しい右目用画像を生成できない。
【００１１】
本発明は、撮像光学系の射出瞳の異なる領域からの光を光電変換して画像を出力する複数の光電変換部を有する撮像素子を備え、出力画像と視差量とに基づいて、被写体の形状を正しく反映した右目用画像／左目用画像を生成する撮像装置の提供を目的とする。
【課題を解決するための手段】
【００１２】
本発明の一実施形態の撮像装置は、各々が、撮像光学系の射出瞳の領域を通過した光束を光電変換して左目用画像を出力する第１の光電変換部と、前記射出瞳の前記領域とは異なる領域を通過した光束を光電変換して右目用画像を出力する第２の光電変換部とを有する複数の画素を備える撮像素子と、前記第１の光電変換部が出力した前記左目用画像と前記第２の光電変換部が出力した前記右目用画像とを画素毎に加算することによって合成画像を生成する第１の画像生成手段と、前記生成された合成画像の位置を基準とした前記左目用画像／右目用画像の位置ずれ量を視差量として算出し、算出した視差量を記憶手段に記憶する視差算出手段と、前記生成された合成画像が含む被写体を前記記憶手段に記憶された視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する第２の画像生成手段とを備える。
【発明の効果】
【００１３】
本発明の撮像装置によれば、撮像光学系の射出瞳の異なる領域からの光を光電変換して出力された画像と視差量とに基づいて、被写体の形状を正しく反映した右目用画像／左目用画像を生成することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態の撮像素子の全体構成を概略的に示す図である。
【図２】撮像素子の画素の構成例を示す図である。
【図３】撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。
【図４】本実施形態の撮像装置の構成例を示す図である。
【図５】実施例１における視差マップの生成処理の一例を示す図である。
【図６】視差マップを模式的に示す図である。
【発明を実施するための形態】
【００１５】
図１は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。
【００１６】
シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モードなどを外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
【００１７】
図２は、撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は、画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）とを有する。
【００１８】
図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチなどを備える。
【００１９】
画素アレイ１０１は、２次元画像を提供するため、図２（Ｂ）に示す多数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態の撮像装置は、各々が、左目用画像を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素を備える撮像素子を備える。
【００２０】
次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。
【００２１】
画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。
【００２２】
図３において、マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。
【００２３】
射出瞳４０６から出る光束のうち、光軸４０９を境界線として、上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮影光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。
【００２４】
図４は、本実施形態の撮像装置の構成例を示す図である。図４を参照して、図１に示す撮像素子１００の、撮像装置であるデジタルカメラへの適用例について説明する。撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。
【００２５】
レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御などを行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理や補正を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。
【００２６】
システム制御部５０９は、各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを実行することで処理を行う。本実施形態に特有の動作として、システム制御部５０９は、画像合成回路５１３によって生成された合成画像と、視差マップ生成回路５１４によって生成された視差マップとに基づいて、被写体の形状が正しく反映された左目用画像と右目用画像とを生成する。また、システム制御部５０９は、生成した左目用画像と右目用画像とを再生することによって、ユーザに立体画像を鑑賞させる。なお、システム制御部５０９は、左目用画像と右目用画像と基づいて、位相差の検知を行って、位相差ＡＦを実現することもできる。
【００２７】
記憶部５０８は、画像データを一時的に記憶するメモリを備える。記憶媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データなどを記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、外部装置との間でデータを送受する。表示部５１６は、表示制御回路５１７からの表示用データに従って、各種情報や撮影画像を表示する。
【００２８】
撮像信号処理回路５０６は、撮像素子５０５が出力する撮像データを左目用画像と右目用画像に振り分けて画像処理を行う。メモリ部５０８は、撮像信号処理回路５０６の出力データ、画像合成回路によって生成された合成画像、視差マップ生成回路によって生成された視差マップを記憶する記憶手段として機能する。
【００２９】
画像合成回路５１３は、左目用画像と右目用画像とを合成し、合成画像を生成する第１の画像生成手段として機能する。視差マップ生成回路５１４は、以下の処理を実行する視差算出手段として機能する。視差マップ生成回路５１４は、合成画像の位置を基準とした左目用画像／右目用画像の位置ずれ量を視差量として算出し、算出した視差量に関する情報を視差マップとしてメモリ部５０８に記憶する。測光装置５１５は、露出制御に用いられる測光値を取得する。
【００３０】
次に、撮影時のデジタルカメラの動作について説明する。メイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路５０６などの撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部５０９が、撮像素子５０５からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置５０２が、レンズ部５０１の可動レンズを駆動し、システム制御部５０９が、合焦状態であるか否かを判定する。
【００３１】
システム制御部５０９が、合焦状態でないと判定した場合、再びレンズ部５０１の駆動制御により、焦点状態の検出処理が実行される。なお、被写体までの距離を求める演算については、撮像素子５０５からのデータから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部５０９は、合焦と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路５０６は撮像素子５０５が出力した画像信号を処理し、システム制御部５０９は画像データをメモリ部５０８に書き込む制御を行う。
【００３２】
撮像素子５０５が出力する撮像データについては、複数のＰＤからの画像信号として出力される。図２（Ｂ）に示す例では、ＰＤ３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒの順に画像信号が出力される。撮像信号処理回路５０６が、撮像素子５０５の出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。左目用画像データは、図２（Ｂ）における左側ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌの出力のみを選択して処理した結果得られる画像データである。また、右目用画像は、図２（Ｂ）における右側ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒの出力のみを選択して処理した結果得られる画像データである。左目用画像データと右目用画像データとは、別々にメモリ部５０８に保持される。
【００３３】
画像合成部５１３は、メモリ部５０８に保持した左目用画像と右目用画像の各データを読み出して合成画像を生成する。生成された合成画像データはメモリ部５０８に格納される。画像合成部５１３によって実行される画像処理は、左目用画像と右目用画像について画素毎の加算平均値を算出する処理である。従って、この画像処理によって生成される合成画像は、被写体の形状を反映した形状を有する。例えば、被写体の形状が円形状であって、左目用画像と右目用画像が半円形状である場合、合成画像は、被写体の形状と同じ円形状を有する。
【００３４】
撮像素子５０５にて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成部５１３の画像処理によって、被写体像の形状が補間されるため、正しい形状の画像データが生成される。なお、撮像信号処理回路５０６が、画像処理を行った後の左目用画像と右目用画像とを合成するようにしてもよい。
【００３５】
次に、視差マップ生成回路５１４が、視差マップを生成して、メモリ部５０８に記憶する。視差マップ生成回路５１４は、合成画像の位置を基準とした左目用画像／右目用画像の位置ずれ量を視差量として、視差マップを生成する。
【００３６】
（実施例１）
以下に、実施例１について説明する。図５は、実施例１における視差マップの生成処理の一例を示す図である。図５（Ａ）中の符号６０１は、被写体を撮影して得られる構図を示す。符号６０２、６０３、６０４は、被写体を示す。図５（Ａ）中に示す構図では、被写体６０２、６０３、６０４は、この順に上から並んでいる。また、被写体は、図５（Ｃ）に示すように、奥行き方向に並んで配置されている。符号６０４が最も近い被写体、符号６０２が最も遠い被写体である。
【００３７】
図５（Ｂ）は、図５（Ａ）に示す構図を撮影して得られるステレオ画像を示す。画像６０５は左目用画像であり、画像６０６は右目用画像である。左目用画像６０５には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｌ、６０８Ｌ、６０９Ｌとして示される。右目用画像６０６には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｒ、６０８Ｒ、６０９Ｒとして示される。
【００３８】
左目用画像６０５における被写体と右目用画像６０６における当該被写体との間には、位置ずれがある。本実施形態では、位置ずれの量を視差量と定義する。
【００３９】
符号６１０は、被写体６０２の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０７Ｌと６０７Ｒとの間の視差量を示す。同様に、符号６１１は、被写体６０４の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０９Ｌと６０９Ｒとの間の視差量を示す。被写体６０３については、左目用画像６０５における位置と右目用画像６０６における位置とが同じである。すなわち、被写体６０３については、視差量がない。
【００４０】
視差マップ生成回路５１４は、まず、公知のパターンマッチング法を用いて、左目用画像６０５と右目用画像６０６に含まれる被写体を検知する。視差マップ生成回路５１４は、検知した被写体毎に以下の処理を実行する。視差マップ生成回路５１４は、左目用画像６０５、右目用画像６０６における被写体の重心間の中点から左目用画像６０５における被写体の重心までの位置ずれ量を視差量として算出する。言い換えると、視差マップ生成回路５１４は、左目用画像６０５と右目用画像６０６とに基づいて生成された合成画像における被写体の重心の位置を基準とした、左目用画像における当該被写体の重心の位置の位置ずれ量を視差量として算出する。算出される視差量は、左目画像に対応する視差量である。もちろん、視差マップ生成回路５１４が、合成画像における被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量を、右目画像に対応する視差量として算出するようにしてもよい。
【００４１】
図５（Ｂ）に示す例では、被写体６０２については、視差マップ生成回路５１４は、視差量６１０の半分の量である視差量６１２を算出する。また、被写体６０４については、視差マップ生成回路５１４は、視差量６１１の半分の量である視差量６１３を算出する。視差マップ生成回路５１４は、算出した視差量６１２、６１３に関する情報と、当該視差量の基準となる画像の位置の情報を視差マップとしてメモリ部５０８に記憶する。この例では、視差量の基準となる画像の位置の情報は、合成画像における被写体の重心を示す。なお、上述したように、図５（Ｂ）に示す例では、被写体６０３については視差量がない。
【００４２】
図６は、視差マップを模式的に示す図である。視差マップ８０１は、視差量８０２と、視差量の基準となる画像の位置（重心）の情報８０３を含む。
【００４３】
次に、画像の再生処理について説明する。システム制御部５０９が、以下の処理を実行する第２の画像生成手段として機能する。システム制御部５０９が、メモリ部５０８から合成画像と視差マップとを読み出す。システム制御部５０９が、視差マップが示す視差量の基準となる画像の位置が、合成画像における被写体の重心であることを確認する。そして、システム制御部５０９が、合成画像における被写体を当該視差マップが示す視差量の分だけシフトすることによって、再生対象の左目用画像すなわち視差量に対応する画像の再生用データを生成する。
【００４４】
また、システム制御部５０９が、視差マップが示す視差量を反転させる。システム制御部５０９が、視差マップが示す視差量を反転させて得られる視差量を、合成画像における当該被写体の重心を基準とする右目用画像における当該被写体の重心の位置の位置ずれ量とする。そして、システム制御部５０９が、合成画像における被写体を当該視差マップが示す視差量を反転させて得られる視差量の分だけシフトすることによって、再生対象の右目用画像すなわち視差マップが示す視差量に対応する画像以外の画像の再生用データを生成する。
【００４５】
なお、合成画像における被写体をシフトすることによって、当該被写体が配置されていた位置の画素は、欠落画素となる。従って、例えば、システム制御部５０９は、例えば、下記の参考文献１に記載されている公知の技術を用いて、この欠落画素に色空間情報を付与する。すなわち、システム制御部５０９は、欠落画素の近傍の画素の画素値の平均値を色空間情報として算出し、算出した色空間情報を欠落画素に付与する。
参考文献１：特許第３５２４１４７号公報
【００４６】
実施例１の撮像装置は、左目用画像と右目用画像を合成して、被写体の形状が反映された合成画像を生成する。この撮像装置は、生成した合成画像の位置を基準とする視差量に関する情報を視差マップとして生成する。そして、この撮像装置は、合成画像と視差マップが示す視差量とに基づいて、再生対象の左目用画像と右目用画像とを生成する。
【００４７】
従って、実施例１の撮像装置によれば、撮影光学系の射出瞳の異なる領域を通過した光束の光電変換によって得られる左目用画像、右目用画像の形状が被写体の形状と異なる場合であっても、画像の再生時には被写体の形状を反映した正しい画像を再生できる。
【００４８】
（実施例２）
次に、実施例２について説明する。実施例２の撮像装置が備えるシステム制御部５０９は、左目用画像／右目用画像の位置を基準とした、左目用画像または右目用画像のうち基準となる位置の画像以外の画像の位置ずれ量を視差量として算出する。システム制御部５０９は、算出した視差量と、該視差量の基準となる画像の位置の情報とを、視差マップとしてメモリ部５０８に記憶する。この例では、左目用画像の位置を視差量の基準となる位置とするものとする。
【００４９】
図５（Ｂ）に示す例では、視差マップ生成回路５１４は、被写体６０２については、左目用画像６０５における当該被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量すなわち視差量６１０を算出する。視差マップ生成回路５１４は、被写体６０４については、左目用画像６０５における当該被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量すなわち視差量６１１を算出する。
【００５０】
視差マップ生成回路５１４は、算出した視差量６１０、６１１に関する情報と、当該視差量の基準となる画像の位置の情報を視差マップとしてメモリ部５０８に記憶する。この例では、視差量の基準となる画像の位置の情報は、左目用画像における被写体の重心を示す。もちろん、視差量の基準となる画像の位置を、右目用画像における被写体の重心としてもよい。
【００５１】
次に、画像の再生処理について説明する。システム制御部５０９が、メモリ部５０８から合成画像と視差マップとを読み出す。システム制御部５０９が、視差マップが含む、視差量の基準となる画像の位置の情報に基づいて、視差量が左目用画像または右目用画像のうち、いずれの画像の位置を基準とした視差量であるかを判断する。システム制御部５０９は、視差量が左目用画像の位置を基準とした視差量であると判断した場合に、合成画像を再生対象の左目用画像とするとともに、合成画像が含む被写体を視差量の分だけ移動させることによって、再生対象の右目用画像を生成する。また、システム制御部５０９は、視差量が前記右目用画像の位置を基準とした視差量であると判断した場合に、合成画像を再生対象の右目用画像とするとともに、合成画像が含む被写体を視差量の分だけ移動させることによって、再生対象の左目用画像を生成する。
【００５２】
この例では、システム制御部５０９が、視差マップが示す視差量の基準となる画像の位置が、左目用画像における被写体の重心であると判断する。従って、システム制御部５０９が、読み出した合成画像を再生対象の左目用画像とする。本実施例において、左目用画像は、視差マップが示す視差量に対応する画像以外の画像である。また、システム制御部５０９が、合成画像における被写体を当該視差マップが示す視差量の分だけシフトすることによって、再生対象の右目用画像すなわち視差量に対応する画像の再生用データを生成する。
【００５３】
実施例２の撮像装置によれば、画像の再生処理時には、合成画像を再生対象の左目用画像としてそのまま使用し、合成画像を視差マップが示す視差量の分だけシフトすることによって、再生対象の右目用画像を生成することができる。従って、実施例１に比べて、画像の再生に必要な画像処理量を減らし、再生動作の高速化を図ることが可能となる。
【００５４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００５５】
２０１ 画素
２０２ マイクロレンズ
２０３、２０４ ＰＤ
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
近年、３次元（３Ｄ）シネマや３Ｄディスプレイなど、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラなどでも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。
【０００３】
立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式などのように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法などが知られている。
【０００４】
一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１および２に開示されている。特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザの立体映像の鑑賞が可能となる。
【０００５】
また、特許文献２は、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第１の画像とに基づいて、第２の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開昭５８−２４１０５号公報
【特許文献２】特表２００８−５１８３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
立体映像を鑑賞するには、背景技術で述べたように、左右方向に視差を持たせた画像を、それぞれ対応する目で見る必要がある。したがって、背景技術で述べたいずれの技術も、左目で鑑賞するための「左目用画像」と、右目で鑑賞するための「右目用画像」とを用意する必要がある。
【０００８】
しかし、特許文献１が開示する、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を用いて撮影をした場合、以下のような問題がある。対をなすフォトダイオードの一方が撮像光学系の射出瞳のある領域を通過した光束を光電変換した左目用画像を出力し、他方が射出瞳の上記領域とは異なる領域を通過した光束を光電変換した右目用画像を出力する場合を想定する。この場合、被写体によっては、左目用画像、右目用画像のいずれの画像も、被写体の形状を反映した画像でないことがある。
【０００９】
例えば、点光源からの光がボケたように撮影される撮影シーンにおいては、本来、円形にボケた光源の写真が撮影されるべきである。しかし、特許文献１が開示する固体撮像素子で撮影した場合には、撮影される画像は、被写体の形状が反映されていない半円形や楕円形などの形状となってしまう。しかも、例えば、左目用画像における被写体は左半分が欠けており、右目用画像における被写体は右半分が欠けているというように、左目用画像と右目用画像とでは、画像として写る被写体の形状が異なって撮影される。その理由としては、撮像光学系の射出瞳から出た光束のうち、光軸を境にして、フォトダイオードが受光する光の領域が異なるためである。
【００１０】
撮像装置が、特許文献２の技術を適用し、左目用画像と視差マップとに基づいて右目用画像を生成するようにしても、以下の問題が生ずる。すなわち、右目用画像の生成の基となる左目用画像における被写体の形状が、実際の被写体とは異なる形状を有するので、視差マップを用いても、被写体の形状が反映された正しい右目用画像を生成できない。
【００１１】
本発明は、撮像光学系の射出瞳の異なる領域からの光を光電変換して画像を出力する複数の光電変換部を有する撮像素子を備え、出力画像と視差量とに基づいて、被写体の形状を正しく反映した右目用画像／左目用画像を生成する撮像装置の提供を目的とする。
【課題を解決するための手段】
【００１２】
本発明の一実施形態の撮像装置は、各々が、撮像光学系の射出瞳の領域を通過した光束を光電変換して左目用画像を出力する第１の光電変換部と、前記射出瞳の前記領域とは異なる領域を通過した光束を光電変換して右目用画像を出力する第２の光電変換部とを有する複数の画素を備える撮像素子と、前記第１の光電変換部が出力した前記左目用画像と前記第２の光電変換部が出力した前記右目用画像とを画素毎に加算することによって合成画像を生成する第１の画像生成手段と、前記生成された合成画像の位置を基準とした前記左目用画像／右目用画像の位置ずれ量を視差量として算出し、算出した視差量を記憶手段に記憶する視差算出手段と、前記生成された合成画像が含む被写体を前記記憶手段に記憶された視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する第２の画像生成手段とを備える。
【発明の効果】
【００１３】
本発明の撮像装置によれば、撮像光学系の射出瞳の異なる領域からの光を光電変換して出力された画像と視差量とに基づいて、被写体の形状を正しく反映した右目用画像／左目用画像を生成することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態の撮像素子の全体構成を概略的に示す図である。
【図２】撮像素子の画素の構成例を示す図である。
【図３】撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。
【図４】本実施形態の撮像装置の構成例を示す図である。
【図５】実施例１における視差マップの生成処理の一例を示す図である。
【図６】視差マップを模式的に示す図である。
【発明を実施するための形態】
【００１５】
図１は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。
【００１６】
シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モードなどを外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
【００１７】
図２は、撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は、画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）とを有する。
【００１８】
図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチなどを備える。
【００１９】
画素アレイ１０１は、２次元画像を提供するため、図２（Ｂ）に示す多数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態の撮像装置は、各々が、左目用画像を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素を備える撮像素子を備える。
【００２０】
次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。
【００２１】
画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。
【００２２】
図３において、マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。
【００２３】
射出瞳４０６から出る光束のうち、光軸４０９を境界線として、上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮影光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。
【００２４】
図４は、本実施形態の撮像装置の構成例を示す図である。図４を参照して、図１に示す撮像素子１００の、撮像装置であるデジタルカメラへの適用例について説明する。撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。
【００２５】
レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御などを行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理や補正を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。
【００２６】
システム制御部５０９は、各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを実行することで処理を行う。本実施形態に特有の動作として、システム制御部５０９は、画像合成回路５１３によって生成された合成画像と、視差マップ生成回路５１４によって生成された視差マップとに基づいて、被写体の形状が正しく反映された左目用画像と右目用画像とを生成する。また、システム制御部５０９は、生成した左目用画像と右目用画像とを再生することによって、ユーザに立体画像を鑑賞させる。なお、システム制御部５０９は、左目用画像と右目用画像と基づいて、位相差の検知を行って、位相差ＡＦを実現することもできる。
【００２７】
記憶部５０８は、画像データを一時的に記憶するメモリを備える。記憶媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データなどを記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、外部装置との間でデータを送受する。表示部５１６は、表示制御回路５１７からの表示用データに従って、各種情報や撮影画像を表示する。
【００２８】
撮像信号処理回路５０６は、撮像素子５０５が出力する撮像データを左目用画像と右目用画像に振り分けて画像処理を行う。メモリ部５０８は、撮像信号処理回路５０６の出力データ、画像合成回路によって生成された合成画像、視差マップ生成回路によって生成された視差マップを記憶する記憶手段として機能する。
【００２９】
画像合成回路５１３は、左目用画像と右目用画像とを合成し、合成画像を生成する第１の画像生成手段として機能する。視差マップ生成回路５１４は、以下の処理を実行する視差算出手段として機能する。視差マップ生成回路５１４は、合成画像の位置を基準とした左目用画像／右目用画像の位置ずれ量を視差量として算出し、算出した視差量に関する情報を視差マップとしてメモリ部５０８に記憶する。測光装置５１５は、露出制御に用いられる測光値を取得する。
【００３０】
次に、撮影時のデジタルカメラの動作について説明する。メイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路５０６などの撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部５０９が、撮像素子５０５からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置５０２が、レンズ部５０１の可動レンズを駆動し、システム制御部５０９が、合焦状態であるか否かを判定する。
【００３１】
システム制御部５０９が、合焦状態でないと判定した場合、再びレンズ部５０１の駆動制御により、焦点状態の検出処理が実行される。なお、被写体までの距離を求める演算については、撮像素子５０５からのデータから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部５０９は、合焦と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路５０６は撮像素子５０５が出力した画像信号を処理し、システム制御部５０９は画像データをメモリ部５０８に書き込む制御を行う。
【００３２】
撮像素子５０５が出力する撮像データについては、複数のＰＤからの画像信号として出力される。図２（Ｂ）に示す例では、ＰＤ３０１Ｌ、３０１Ｒ、３０２Ｌ、３０２Ｒ、３０３Ｌ、３０３Ｒ、３０４Ｌ、３０４Ｒの順に画像信号が出力される。撮像信号処理回路５０６が、撮像素子５０５の出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。左目用画像データは、図２（Ｂ）における左側ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌの出力のみを選択して処理した結果得られる画像データである。また、右目用画像は、図２（Ｂ）における右側ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒの出力のみを選択して処理した結果得られる画像データである。左目用画像データと右目用画像データとは、別々にメモリ部５０８に保持される。
【００３３】
画像合成部５１３は、メモリ部５０８に保持した左目用画像と右目用画像の各データを読み出して合成画像を生成する。生成された合成画像データはメモリ部５０８に格納される。画像合成部５１３によって実行される画像処理は、左目用画像と右目用画像について画素毎の加算平均値を算出する処理である。従って、この画像処理によって生成される合成画像は、被写体の形状を反映した形状を有する。例えば、被写体の形状が円形状であって、左目用画像と右目用画像が半円形状である場合、合成画像は、被写体の形状と同じ円形状を有する。
【００３４】
撮像素子５０５にて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成部５１３の画像処理によって、被写体像の形状が補間されるため、正しい形状の画像データが生成される。なお、撮像信号処理回路５０６が、画像処理を行った後の左目用画像と右目用画像とを合成するようにしてもよい。
【００３５】
次に、視差マップ生成回路５１４が、視差マップを生成して、メモリ部５０８に記憶する。視差マップ生成回路５１４は、合成画像の位置を基準とした左目用画像／右目用画像の位置ずれ量を視差量として、視差マップを生成する。
【００３６】
（実施例１）
以下に、実施例１について説明する。図５は、実施例１における視差マップの生成処理の一例を示す図である。図５（Ａ）中の符号６０１は、被写体を撮影して得られる構図を示す。符号６０２、６０３、６０４は、被写体を示す。図５（Ａ）中に示す構図では、被写体６０２、６０３、６０４は、この順に上から並んでいる。また、被写体は、図５（Ｃ）に示すように、奥行き方向に並んで配置されている。符号６０４が最も近い被写体、符号６０２が最も遠い被写体である。
【００３７】
図５（Ｂ）は、図５（Ａ）に示す構図を撮影して得られるステレオ画像を示す。画像６０５は左目用画像であり、画像６０６は右目用画像である。左目用画像６０５には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｌ、６０８Ｌ、６０９Ｌとして示される。右目用画像６０６には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｒ、６０８Ｒ、６０９Ｒとして示される。
【００３８】
左目用画像６０５における被写体と右目用画像６０６における当該被写体との間には、位置ずれがある。本実施形態では、位置ずれの量を視差量と定義する。
【００３９】
符号６１０は、被写体６０２の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０７Ｌと６０７Ｒとの間の視差量を示す。同様に、符号６１１は、被写体６０４の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０９Ｌと６０９Ｒとの間の視差量を示す。被写体６０３については、左目用画像６０５における位置と右目用画像６０６における位置とが同じである。すなわち、被写体６０３については、視差量がない。
【００４０】
視差マップ生成回路５１４は、まず、公知のパターンマッチング法を用いて、左目用画像６０５と右目用画像６０６に含まれる被写体を検知する。視差マップ生成回路５１４は、検知した被写体毎に以下の処理を実行する。視差マップ生成回路５１４は、左目用画像６０５、右目用画像６０６における被写体の重心間の中点から左目用画像６０５における被写体の重心までの位置ずれ量を視差量として算出する。言い換えると、視差マップ生成回路５１４は、左目用画像６０５と右目用画像６０６とに基づいて生成された合成画像における被写体の重心の位置を基準とした、左目用画像における当該被写体の重心の位置の位置ずれ量を視差量として算出する。算出される視差量は、左目画像に対応する視差量である。もちろん、視差マップ生成回路５１４が、合成画像における被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量を、右目画像に対応する視差量として算出するようにしてもよい。
【００４１】
図５（Ｂ）に示す例では、被写体６０２については、視差マップ生成回路５１４は、視差量６１０の半分の量である視差量６１２を算出する。また、被写体６０４については、視差マップ生成回路５１４は、視差量６１１の半分の量である視差量６１３を算出する。視差マップ生成回路５１４は、算出した視差量６１２、６１３に関する情報と、当該視差量の基準となる画像の位置の情報を視差マップとしてメモリ部５０８に記憶する。この例では、視差量の基準となる画像の位置の情報は、合成画像における被写体の重心を示す。なお、上述したように、図５（Ｂ）に示す例では、被写体６０３については視差量がない。
【００４２】
図６は、視差マップを模式的に示す図である。視差マップ８０１は、視差量８０２と、視差量の基準となる画像の位置（重心）の情報８０３を含む。
【００４３】
次に、画像の再生処理について説明する。システム制御部５０９が、以下の処理を実行する第２の画像生成手段として機能する。システム制御部５０９が、メモリ部５０８から合成画像と視差マップとを読み出す。システム制御部５０９が、視差マップが示す視差量の基準となる画像の位置が、合成画像における被写体の重心であることを確認する。そして、システム制御部５０９が、合成画像における被写体を当該視差マップが示す視差量の分だけシフトすることによって、再生対象の左目用画像すなわち視差量に対応する画像の再生用データを生成する。
【００４４】
また、システム制御部５０９が、視差マップが示す視差量を反転させる。システム制御部５０９が、視差マップが示す視差量を反転させて得られる視差量を、合成画像における当該被写体の重心を基準とする右目用画像における当該被写体の重心の位置の位置ずれ量とする。そして、システム制御部５０９が、合成画像における被写体を当該視差マップが示す視差量を反転させて得られる視差量の分だけシフトすることによって、再生対象の右目用画像すなわち視差マップが示す視差量に対応する画像以外の画像の再生用データを生成する。
【００４５】
なお、合成画像における被写体をシフトすることによって、当該被写体が配置されていた位置の画素は、欠落画素となる。従って、例えば、システム制御部５０９は、例えば、下記の参考文献１に記載されている公知の技術を用いて、この欠落画素に色空間情報を付与する。すなわち、システム制御部５０９は、欠落画素の近傍の画素の画素値の平均値を色空間情報として算出し、算出した色空間情報を欠落画素に付与する。
参考文献１：特許第３５２４１４７号公報
【００４６】
実施例１の撮像装置は、左目用画像と右目用画像を合成して、被写体の形状が反映された合成画像を生成する。この撮像装置は、生成した合成画像の位置を基準とする視差量に関する情報を視差マップとして生成する。そして、この撮像装置は、合成画像と視差マップが示す視差量とに基づいて、再生対象の左目用画像と右目用画像とを生成する。
【００４７】
従って、実施例１の撮像装置によれば、撮影光学系の射出瞳の異なる領域を通過した光束の光電変換によって得られる左目用画像、右目用画像の形状が被写体の形状と異なる場合であっても、画像の再生時には被写体の形状を反映した正しい画像を再生できる。
【００４８】
（実施例２）
次に、実施例２について説明する。実施例２の撮像装置が備えるシステム制御部５０９は、左目用画像／右目用画像の位置を基準とした、左目用画像または右目用画像のうち基準となる位置の画像以外の画像の位置ずれ量を視差量として算出する。システム制御部５０９は、算出した視差量と、該視差量の基準となる画像の位置の情報とを、視差マップとしてメモリ部５０８に記憶する。この例では、左目用画像の位置を視差量の基準となる位置とするものとする。
【００４９】
図５（Ｂ）に示す例では、視差マップ生成回路５１４は、被写体６０２については、左目用画像６０５における当該被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量すなわち視差量６１０を算出する。視差マップ生成回路５１４は、被写体６０４については、左目用画像６０５における当該被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量すなわち視差量６１１を算出する。
【００５０】
視差マップ生成回路５１４は、算出した視差量６１０、６１１に関する情報と、当該視差量の基準となる画像の位置の情報を視差マップとしてメモリ部５０８に記憶する。この例では、視差量の基準となる画像の位置の情報は、左目用画像における被写体の重心を示す。もちろん、視差量の基準となる画像の位置を、右目用画像における被写体の重心としてもよい。
【００５１】
次に、画像の再生処理について説明する。システム制御部５０９が、メモリ部５０８から合成画像と視差マップとを読み出す。システム制御部５０９が、視差マップが含む、視差量の基準となる画像の位置の情報に基づいて、視差量が左目用画像または右目用画像のうち、いずれの画像の位置を基準とした視差量であるかを判断する。システム制御部５０９は、視差量が左目用画像の位置を基準とした視差量であると判断した場合に、合成画像を再生対象の左目用画像とするとともに、合成画像が含む被写体を視差量の分だけ移動させることによって、再生対象の右目用画像を生成する。また、システム制御部５０９は、視差量が前記右目用画像の位置を基準とした視差量であると判断した場合に、合成画像を再生対象の右目用画像とするとともに、合成画像が含む被写体を視差量の分だけ移動させることによって、再生対象の左目用画像を生成する。
【００５２】
この例では、システム制御部５０９が、視差マップが示す視差量の基準となる画像の位置が、左目用画像における被写体の重心であると判断する。従って、システム制御部５０９が、読み出した合成画像を再生対象の左目用画像とする。本実施例において、左目用画像は、視差マップが示す視差量に対応する画像以外の画像である。また、システム制御部５０９が、合成画像における被写体を当該視差マップが示す視差量の分だけシフトすることによって、再生対象の右目用画像すなわち視差量に対応する画像の再生用データを生成する。
【００５３】
実施例２の撮像装置によれば、画像の再生処理時には、合成画像を再生対象の左目用画像としてそのまま使用し、合成画像を視差マップが示す視差量の分だけシフトすることによって、再生対象の右目用画像を生成することができる。従って、実施例１に比べて、画像の再生に必要な画像処理量を減らし、再生動作の高速化を図ることが可能となる。
【００５４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００５５】
２０１ 画素
２０２ マイクロレンズ
２０３、２０４ ＰＤ
【特許請求の範囲】
【請求項１】
各々が、撮像光学系の射出瞳の領域を通過した光束を光電変換して左目用画像を出力する第１の光電変換部と、前記射出瞳の前記領域とは異なる領域を通過した光束を光電変換して右目用画像を出力する第２の光電変換部とを有する複数の画素を備える撮像素子と、
前記第１の光電変換部が出力した前記左目用画像と前記第２の光電変換部が出力した前記右目用画像とを画素毎に加算することによって合成画像を生成する第１の画像生成手段と、
前記生成された合成画像の位置を基準とした前記左目用画像／右目用画像の位置ずれ量を視差量として算出し、算出した視差量を記憶手段に記憶する視差算出手段と、
前記生成された合成画像が含む被写体を前記記憶手段に記憶された視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する第２の画像生成手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記第２の画像生成手段は、
前記合成画像が含む被写体を前記記憶手段に記憶された視差量の分だけ移動させることによって、左目用画像または右目用画像のうち、前記視差量に対応する画像の再生用データを生成し、
前記合成画像が含む被写体を前記視差量を反転した分だけ移動させることによって、左目用画像または右目用画像のうち、前記視差量に対応する画像以外の画像の再生用データを生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記視差算出手段が、前記左目用画像／右目用画像の位置を基準とした、前記左目用画像または前記右目用画像のうち前記基準となる位置の画像以外の画像の位置ずれ量を前記視差量として算出し、
前記第２の画像生成手段は、
前記合成画像が含む被写体を前記記憶手段に記憶された視差量の分だけ移動させることによって、左目用画像または右目用画像のうち、前記視差量に対応する画像の再生用データを生成し、
前記生成された合成画像を、左目用画像または右目用画像のうち、前記視差量に対応する画像以外の画像の再生用データとする
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記視差算出手段は、前記視差量とともに、該視差量の基準となる画像の位置の情報を前記記憶手段に記憶し、
前記第２の画像生成手段は、
前記記憶手段に記憶された前記視差量の基準となる画像の位置の情報に基づいて、前記記憶手段に記憶された視差量が前記左目用画像または右目用画像のうち、いずれの画像の位置を基準とした視差量であるかを判断し、
前記視差量が前記左目用画像の位置を基準とした視差量であると判断した場合に、前記合成画像を前記再生対象の左目用画像とするとともに、前記合成画像が含む被写体を前記視差量の分だけ移動させることによって、前記右目用画像の再生用データを生成し、
前記視差量が前記右目用画像の位置を基準とした視差量であると判断した場合に、前記合成画像を前記再生対象の右目用画像とするとともに、前記合成画像が含む被写体を前記視差量の分だけ移動させることによって、前記左目用画像の再生用データを生成する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
各々が、撮像光学系の射出瞳の領域を通過した光束を光電変換して左目用画像を出力する第１の光電変換部と、前記射出瞳の前記領域とは異なる領域を通過した光束を光電変換して右目用画像を出力する第２の光電変換部とを有する複数の画素を備える撮像素子とを備える撮像装置の制御方法であって、
前記第１の光電変換部が出力した前記左目用画像と前記第２の光電変換部が出力した前記右目用画像とを画素毎に加算することによって合成画像を生成し、
前記生成された合成画像の位置を基準とした前記左目用画像／右目用画像の位置ずれ量を視差量として算出し、算出した視差量を記憶手段に記憶し、
前記生成された合成画像が含む被写体を前記記憶手段に記憶された視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する
ことを特徴とする撮像装置の制御方法。
【請求項１】
各々が、撮像光学系の射出瞳の領域を通過した光束を光電変換して左目用画像を出力する第１の光電変換部と、前記射出瞳の前記領域とは異なる領域を通過した光束を光電変換して右目用画像を出力する第２の光電変換部とを有する複数の画素を備える撮像素子と、
前記第１の光電変換部が出力した前記左目用画像と前記第２の光電変換部が出力した前記右目用画像とを画素毎に加算することによって合成画像を生成する第１の画像生成手段と、
前記生成された合成画像の位置を基準とした前記左目用画像／右目用画像の位置ずれ量を視差量として算出し、算出した視差量を記憶手段に記憶する視差算出手段と、
前記生成された合成画像が含む被写体を前記記憶手段に記憶された視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する第２の画像生成手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記第２の画像生成手段は、
前記合成画像が含む被写体を前記記憶手段に記憶された視差量の分だけ移動させることによって、左目用画像または右目用画像のうち、前記視差量に対応する画像の再生用データを生成し、
前記合成画像が含む被写体を前記視差量を反転した分だけ移動させることによって、左目用画像または右目用画像のうち、前記視差量に対応する画像以外の画像の再生用データを生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記視差算出手段が、前記左目用画像／右目用画像の位置を基準とした、前記左目用画像または前記右目用画像のうち前記基準となる位置の画像以外の画像の位置ずれ量を前記視差量として算出し、
前記第２の画像生成手段は、
前記合成画像が含む被写体を前記記憶手段に記憶された視差量の分だけ移動させることによって、左目用画像または右目用画像のうち、前記視差量に対応する画像の再生用データを生成し、
前記生成された合成画像を、左目用画像または右目用画像のうち、前記視差量に対応する画像以外の画像の再生用データとする
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記視差算出手段は、前記視差量とともに、該視差量の基準となる画像の位置の情報を前記記憶手段に記憶し、
前記第２の画像生成手段は、
前記記憶手段に記憶された前記視差量の基準となる画像の位置の情報に基づいて、前記記憶手段に記憶された視差量が前記左目用画像または右目用画像のうち、いずれの画像の位置を基準とした視差量であるかを判断し、
前記視差量が前記左目用画像の位置を基準とした視差量であると判断した場合に、前記合成画像を前記再生対象の左目用画像とするとともに、前記合成画像が含む被写体を前記視差量の分だけ移動させることによって、前記右目用画像の再生用データを生成し、
前記視差量が前記右目用画像の位置を基準とした視差量であると判断した場合に、前記合成画像を前記再生対象の右目用画像とするとともに、前記合成画像が含む被写体を前記視差量の分だけ移動させることによって、前記左目用画像の再生用データを生成する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
各々が、撮像光学系の射出瞳の領域を通過した光束を光電変換して左目用画像を出力する第１の光電変換部と、前記射出瞳の前記領域とは異なる領域を通過した光束を光電変換して右目用画像を出力する第２の光電変換部とを有する複数の画素を備える撮像素子とを備える撮像装置の制御方法であって、
前記第１の光電変換部が出力した前記左目用画像と前記第２の光電変換部が出力した前記右目用画像とを画素毎に加算することによって合成画像を生成し、
前記生成された合成画像の位置を基準とした前記左目用画像／右目用画像の位置ずれ量を視差量として算出し、算出した視差量を記憶手段に記憶し、
前記生成された合成画像が含む被写体を前記記憶手段に記憶された視差量に応じた位置に移動させることによって、再生対象の左目用画像と右目用画像とを生成する
ことを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−６１４４０（Ｐ２０１３−６１４４０Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−１９９０６８（Ｐ２０１１−１９９０６８）
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]