撮像装置
【課題】好適な立体視用の画像を取得すること。
【解決手段】撮像装置は、撮影光学系11の異なる瞳位置に対応する第1光束と第2光束とに分割された被写体光束のうち、第1光束を受光する複数の第1画素および第2光束を受光する複数の第2画素をそれぞれ有する撮像素子12と、撮像素子12から出力された画像データのうち、複数の第1画素から出力されたデータによって形成される第1画像データ、および複数の第2画素から出力されたデータによって形成される第2画像データをそれぞれ区別するための情報、ならびに画像データをそれぞれ記憶媒体30に記憶させる制御手段16と、を備える。
【解決手段】撮像装置は、撮影光学系11の異なる瞳位置に対応する第1光束と第2光束とに分割された被写体光束のうち、第1光束を受光する複数の第1画素および第2光束を受光する複数の第2画素をそれぞれ有する撮像素子12と、撮像素子12から出力された画像データのうち、複数の第1画素から出力されたデータによって形成される第1画像データ、および複数の第2画素から出力されたデータによって形成される第2画像データをそれぞれ区別するための情報、ならびに画像データをそれぞれ記憶媒体30に記憶させる制御手段16と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
立体視用の画像データを取得するステレオカメラが知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−121229号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、2系統の撮影光学系を必要としていた。
【課題を解決するための手段】
【0005】
本発明による撮像装置は、撮影光学系の異なる瞳位置に対応する第1光束と第2光束とに分割された被写体光束のうち、第1光束を受光する複数の第1画素および第2光束を受光する複数の第2画素をそれぞれ有する撮像素子と、撮像素子から出力された画像データのうち、複数の第1画素から出力されたデータによって形成される第1画像データ、および複数の第2画素から出力されたデータによって形成される第2画像データをそれぞれ区別するための情報、ならびに画像データをそれぞれ記憶媒体に記憶させる制御手段と、を備えることを特徴とする。
【発明の効果】
【0006】
本発明によれば、好適な立体視用の画像を取得できる。
【図面の簡単な説明】
【0007】
【図1】本発明の第一の実施形態による電子カメラの構成例を説明するブロック図である。
【図2】立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【図3】平面像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【図4】撮像素子における立体像用画素と平面像用画素の配置を例示する図である。
【図5】CPUが実行する撮影処理の流れを説明するフローチャートである。
【図6】変形例2による立体像用画素と平面像用画素の配置を例示する図である。
【図7】変形例3による立体像用画素と平面像用画素の配置を例示する図である。
【図8】第二の実施形態による立体像用画素と平面像用画素の配置を例示する図である。
【図9】立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【図10】立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【図11】第三の実施形態による立体像用画素の配置を例示する図である。
【図12】変形例5による立体像用画素の配置を例示する図である。
【図13】第四の実施形態による撮影光学系と撮像素子を説明するブロック図である。
【図14】立体像用画素と平面像用画素の配置を例示する図である。
【図15】立体像用画素と平面像用画素の配置を例示する図である。
【図16】第五の実施形態による撮影光学系と撮像素子を説明するブロック図である。
【図17】立体像用画素と平面像用画素の配置を例示する図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
図1は、本発明の第一の実施形態による電子カメラ1の構成例を説明するブロック図である。図1において、電子カメラ1は、撮影光学系11と、撮像素子12と、画像処理部13と、RAM14と、LCDモニタ15と、CPU16と、不揮発性メモリ17と、カードインターフェース(I/F)18と、通信インターフェース(I/F)19と、操作部材20とを備える。
【0009】
CPU16、不揮発性メモリ17、カードインターフェース18、通信インターフェース19、画像処理部13、RAM14およびLCDモニタ15は、それぞれがバス25を介して接続されている。
【0010】
撮影光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子12の受光面に結像させる。なお、図1を簡単にするため、撮影光学系11を単レンズとして図示している。
【0011】
撮像素子12は、画素を構成する受光素子のフォトダイオードが受光面に二次元配列されたCMOSイメージセンサなどによって構成される。撮像素子12は、撮影光学系11を通過した光束による像を光電変換し、デジタル画像データを生成する。デジタル画像データは、画像処理部13に入力される。画像処理部13は、デジタル画像データに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を施す。
【0012】
LCDモニタ15は液晶パネルなどによって構成される。LCDモニタ15は、CPU16からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。RAM14は、画像処理部13による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、CPU16によるプログラム実行時に用いられる。RAM14は、電源オフ時には記憶内容を消失する揮発性メモリである。不揮発性メモリ17は、フラッシュメモリなどによって構成される。不揮発性メモリ17は、電源オフ時に記憶内容を消失することなく保持するので、CPU16が実行するプログラムなどを記憶する。
【0013】
CPU16は、不揮発性メモリ17が記憶するプログラムを実行することにより、電子カメラ1が行う動作を制御する。カードインターフェース18はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記憶媒体30が接続される。カードインターフェース18は、接続された記憶媒体30に対するデータの書き込みや、記憶媒体30からのデータの読み込みを行う。記憶媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【0014】
通信インターフェース19は、たとえば、不図示のコネクタに接続された外部機器との間でTCP/IPプロトコルを用いた通信を行う。この通信により、外部機器からのコマンドやデータを受信したり、記憶媒体30が記憶している画像データなどを外部機器へ送信したりする。操作部材20は、レリーズボタンやメニュースイッチなどを含む。操作部材20は、撮影操作、モード切替え操作やアイコン選択操作など、各操作に応じた操作信号をCPU16へ送出する。
【0015】
上述した撮像素子12の詳細な構成を説明する。本実施形態では、立体像用画素および平面像用画素が、それぞれ撮像面の略全域にわたって設けられる。図2は、立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【0016】
図2において、立体像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード213とが設けられる。オンチップレンズ210はフォトダイオード213に対して撮影光学系11側(図2において上側)に配置され、フォトダイオード213は撮像素子12内の半導体回路基板(不図示)上に形成される。オンチップレンズ210は、撮影光学系11の焦点面近傍に配置される。
【0017】
光軸Axは、撮影光学系11の光軸である。射出瞳11Aは、オンチップレンズ210および、フォトダイオード213の光軸Axより右側部分に対応する。射出瞳11Bは、オンチップレンズ210および、フォトダイオード213の光軸Axより左側部分に対応する。一対の瞳領域11A、11Bを通過した一対の被写体光束A、Bは、それぞれオンチップレンズ210を介してフォトダイオード213側へ進行する。このうち、光束Aはフォトダイオード213の右側部分へ到達して受光されるが、光束Bは遮光部材212によって遮られるので、フォトダイオード213で受光されない。図2では、光軸Ax上にある立体像用画素の場合を例示しているが、光軸Ax上にない立体像用画素においても同様の構成である。
【0018】
遮光部材212を光軸Axの右側へ配置して光束Aを遮るように構成すると、光束Bはフォトダイオード213の光軸Axより左側部分へ到達して受光されるようになる。一方、光束Aは遮光部材212によって遮られるので、フォトダイオード213で受光されなくなる。このような光束Bを受光する画素(不図示)と上述した光束Aを受光する画素(図2)とを撮像面において混在させることで、それぞれ瞳分割された光束による像が撮像されることになる。この結果、光束Aに基づくA成分の画像データと、光束Bに基づくB成分の画像データとが得られる。
【0019】
図3は、平面像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。図3において、平面像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード211とが設けられる。オンチップレンズ210はフォトダイオード211に対して撮影光学系11側(図3において上側)に配置され、フォトダイオード211は撮像素子12内の半導体回路基板(不図示)上に形成される。平面像用画素は立体像用画素とは異なり、遮光部材212が設けられないので、瞳分割されない被写体光束による像が撮像される。なお、光軸Axは撮影光学系11の光軸である。図3では、光軸Ax上にある平面像用画素の場合を例示しているが、光軸Ax上にない平面像用画素においても同様の構成である。
【0020】
図4は、撮像素子12における立体像用画素と平面像用画素の配置を例示する図である。図4において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。
【0021】
立体像用画素によって取得されたA成分による被写体像、およびB成分による被写体像からなる一対の被写体像は、撮影光学系11が予定焦点面よりも前に被写体の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに被写体の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において被写体の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、被写体までの距離(すなわち奥行き情報)に対応する。
【0022】
本実施形態の電子カメラ1は、上述したA成分による撮影画像、およびB成分による撮影画像を用いて立体視画像を得る。図5は、CPU16が実行する撮影処理の流れを説明するフローチャートである。CPU16は、操作部材20を構成する不図示のモード切替えダイヤルの回転操作によって「ステレオ撮影モード」に設定されている場合に、図5に例示した処理を実行するプログラムを起動する。
【0023】
図5のステップS11において、CPU16は、撮影指示が行われたか否かを判定する。CPU16は、操作部材20を構成するレリーズボタンが押下操作されると、ステップS11を肯定判定してステップS12へ進む。CPU16は、レリーズボタンが押下操作されない場合には、ステップS11を否定判定してステップS18へ進む。
【0024】
ステップS18において、CPU16は、タイムアップか否かを判定する。CPU16は、所定時間(たとえば、5秒)を計時した場合にステップS18を肯定判定して図5による処理を終了する。CPU16は、計時時間が所定時間に満たない場合には、ステップS18を否定判定してステップS11へ戻る。
【0025】
ステップS12において、CPU16は、AE処理を行う。CPU16は、たとえば、撮像素子12に所定時間の蓄積動作を行わせ、撮像素子12の所定の測光領域(たとえば撮影画面の中央に相当する領域)に含まれる平面像用画素からの信号値に基づいて露出演算を行う。この露出演算結果に基づいて撮影時に用いるAVおよびTVを決定する。CPU16は、以上のAE処理を行うとステップS13へ進む。
【0026】
ステップS13において、CPU16は撮影処理を行ってステップS14へ進む。具体的には、上記AVに基づいて不図示の絞り制御部を制御し、上記TVに基づいて撮像素子12の蓄積時間を制御する。ステップS14において、CPU16は画像処理部13へ指示を送り、取得された画像データに対して上記各画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を行わせる。
【0027】
画像処理部13は、光束Aを受光する立体像用画素(図2)によるA成分の撮影画像、光束Bを受光する立体像用画素によるB成分の撮影画像、および平面像用画素による撮影画像について、それぞれ画像処理を行う。図4に例示した通り、「A」、「B」および「C」で表した画素配列はあらかじめ決まっているので、各画素位置に対応するデータが「A」、「B」および「C」のいずれに対応するかを示す情報が、あらかじめプログラムデータに含まれている。CPU16は、画像処理部13に画像処理を行わせるとステップS15へ進む。
【0028】
ステップS15において、CPU16は、LCDモニタ15に撮影画像を表示させる。CPU16は、たとえば、A成分の撮影画像とB成分の撮影画像とを所定の表示レートで交互に表示させる。ユーザーは、LCDモニタ15に表示された立体視画像を確認できる。CPU16は、LCDモニタ15に表示を行わせるとステップS16へ進む。
【0029】
ステップS16において、CPU16は画像ファイルを生成する。CPU16は、たとえば、代表画像ファイルと本体画像ファイルとをそれぞれ記録させる。代表画像ファイルと本体画像ファイルは同一のファイル名称を有し、拡張子が異なる構成とする。代表画像ファイルには、たとえば平面像用画素による撮影画像データを含め、拡張子を「JPG」とする。本体画像ファイルには、A成分の撮影画像データおよびB成分の撮影画像データをそれぞれ含め、拡張子を「MPO」とする。CPU16は、画像ファイルを生成するとステップS17へ進む。
【0030】
ステップS17において、CPU16はカードインターフェース18へ指示を送り、画像ファイルを記憶媒体30に記録させて図5による処理を終了する。
【0031】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
(1)電子カメラ1は、撮影光学系11の異なる瞳11A、11Bの位置に対応する光束Aと光束Bとに分割された被写体光束のうち、光束Aを受光する複数の立体像用画素および光束Bを受光する立体像用画素をそれぞれ有する撮像素子12と、撮像素子12から出力された撮影画像データのうち、光束Aを受光する複数の立体像用画素から出力されたデータによって形成されるA成分の撮影画像データ、および光束Bを受光する複数の立体像用画素から出力されたデータによって形成されるB成分の撮影画像データをそれぞれ区別するための情報、ならびに上記撮影画像データをそれぞれ記憶媒体30に記憶させるCPU16と、を備えるようにしたので、1系統の撮影光学系11を用いるだけで、適切に視差(視野角情報)を含む立体視用の画像を取得できる。
【0032】
(2)上記(1)の電子カメラ1において、撮像素子12はさらに、分割されていない被写体光束を受光する複数の平面像用画素を有し、CPU16はさらに、撮像素子12から出力された画像データのうち、複数の平面像用画素から出力されたデータによって形成される撮影画像データを区別するための情報を記憶させるようにしたので、立体視用画像と別に通常の撮影画像を取得できる。
【0033】
瞳分割しない(すなわち光束を制限しない)で受光した平面像用画素からのデータは、瞳分割した(すなわち光束を制限した)立体像用画素からのデータより信号レベルが高いので、暗い撮影環境においては立体視画像に比べて高品位の画像が得られる。なお、平面像用画素からのデータを補助的に用いて立体視用の画像データ(A成分の撮影画像データ、B成分の撮影画像データ)を補正することにより、立体視用画像の輝度を高めるようにしてもよい。
【0034】
(3)上記(2)の電子カメラ1において、撮像素子12は、形成されているオンチップレンズ210の1つに対し、光束Aを受光する立体像用画素または光束Bを受光する立体像用画素が1つ形成されるように構成したので、高い解像度で撮影画像を取得できる。
【0035】
(4)上記(2)の電子カメラ1において、撮像素子12は、形成されているオンチップレンズ210の1つに対し、平面像用画素が1つ形成されるように構成したので、立体視用画像に比べて明るく高品位の撮影画像を取得できる。
【0036】
(変形例1)
以上の説明では、画像ファイル内に平面像用画素による撮影画像データ、A成分の撮影画像データおよびB成分の撮影画像データをそれぞれ分けて記録するように説明したが、これらの画像データを分けないで記録するようにしてもよい。変形例1のCPU16は、各画素位置に対応するデータが「A」、「B」および「C」のいずれに対応するかを示す情報を、画像データと関連づけて記録する。データが「A」、「B」および「C」のいずれに対応するデータであるかを示す情報を合わせて記録しておくことにより、後から平面像用画素による撮影画像データ、A成分の撮影画像データおよびB成分の撮影画像データにそれぞれ区別することが可能になる。なお、上記説明では、撮影画像についてそれぞれ画像処理を行ってから記録する例を説明したが、画像処理を行わずに記録(いわゆるRAWデータのままで記録)しても構わない。
【0037】
(変形例2)
第一の実施形態では、図4に例示したように、行方向に光束Aを受光する立体像用画素(図2)と平面像用画素(図3)とを交互に配置するとともに、隣接する行には、光束Bを受光する立体像用画素(不図示)と平面像用画素(図3)とを交互に配置するようにした。そして、列方向にも、光束Aを受光する立体像用画素(または光束Bを受光する立体像用画素)と、平面像用画素(図3)とを交互に配置した。この代わりに、変形例2では、行方向と列方向のそれぞれにおいて、平面像用画素(図3)を挟んで光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とを交互に配置する。図6は、変形例2による撮像素子12Bにおける立体像用画素と平面像用画素の配置を例示する図である。図6において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。
【0038】
(変形例3)
図7は、変形例3による撮像素子12Cにおける立体像用画素と平面像用画素の配置を例示する図である。図7において、行方向に光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とを隣接して並べ、平面像用画素(図3)を2つ挟んで、さらに光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とを並べる。一方列方向は、光束Aを受光する立体像用画素(または光束Bを受光する立体像用画素)と、平面像用画素(図3)とを交互に配置する。
【0039】
(変形例4)
第一の実施形態では、立体像用画素および平面像用画素(図3)がそれぞれ撮像面の略全域にわたって設けられる例を説明した。この代わりに、平面像用画素(図3)を設けずに立体像用画素を撮像面の略全域にわたって設ける構成としてもよい。変形例4では、光束Aを受光する立体像用画素(図2)と、光束Bを受光する立体像用画素(不図示)とを行方向に交互に配置する。列方向には、光束Aを受光する立体像用画素(図2)および光束Bを受光する立体像用画素(不図示)がそれぞれ連続して並ぶように配置する。なお、光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とが列方向に交互に並ぶように配置するようにしても構わない。
【0040】
(第二の実施形態)
図8は、本発明の第二の実施形態による撮像素子12Dにおける立体像用画素と平面像用画素の配置を例示する図である。図8において、「BA」で示した画素位置には、光束A、および光束Bをそれぞれ受光する立体像用画素(図9)が配置される。また、「C」で示した画素位置には、平面像用画素(図3)が配置される。
【0041】
図9は、立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。図9において、立体像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード213Aおよび213Bとが設けられる。オンチップレンズ210はフォトダイオード213A、213Bに対して撮影光学系11側(図9において上側)に配置され、フォトダイオード213A、213Bはそれぞれ撮像素子12D内の半導体回路基板(不図示)上に形成される。オンチップレンズ210は、撮影光学系11の焦点面近傍に配置される。
【0042】
光軸Axは、撮影光学系11の光軸である。射出瞳11Aは、オンチップレンズ210および、フォトダイオード213Aに対応する。射出瞳11Bは、オンチップレンズ210および、フォトダイオード213Bに対応する。一対の瞳領域11A、11Bを通過した一対の被写体光束A、Bは、それぞれオンチップレンズ210を介してフォトダイオード213A、213B側へ進行する。このうち、光束Aはフォトダイオード213Aへ到達して受光される。一方、光束Bはフォトダイオード213Bへ到達して受光される。フォトダイオード213Aと213Bとの間には、たとえば、配線アルミ−コンタクト−配線アルミによって形成した分離帯214を設け、他方の光束が受光されないようにする。分解能の劣化を防ぐためである。なお、図9では光軸Ax上にある立体像用画素の場合を例示しているが、光軸Ax上にない立体像用画素においても同様の構成である。
【0043】
以上説明した第二の実施形態によれば、電子カメラ1において、撮像素子12Dは、形成されているオンチップレンズ210の1つに対し、光束Aを受光する立体像用画素および光束Bを受光する立体像用画素の双方が形成されるように構成したので、1つのオンチップレンズ210の下で、光束Aに基づくA成分の画像データと、光束Bに基づくB成分の画像データとの双方が得られる。この結果、上述した第一の実施形態に比べてさらに高い解像度で立体視用の画像を取得できる。
【0044】
第二の実施形態の電子カメラ1において、撮像素子12Dは、光束Aを受光する立体像用画素を構成するフォトダイオード213Aと光束Bを受光する立体像用画素を構成するフォトダイオード213Bとの間に分離帯214を有するようにしたので、解像度の劣化を抑えることができる。
【0045】
(第三の実施形態)
第三の実施形態では、上述した立体像用画素(図2)とは瞳分割の方向が異なる立体像用画素を用いる。図10は、第三の実施形態において追加する立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【0046】
図10において、立体像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード213とが設けられる。オンチップレンズ210はフォトダイオード213に対して撮影光学系11側(図10において上側)に配置され、フォトダイオード213は撮像素子12E内の半導体回路基板(不図示)上に形成される。オンチップレンズ210は、撮影光学系11の焦点面近傍に配置される。
【0047】
光軸Axは、撮影光学系11の光軸である。射出瞳11Dは、オンチップレンズ210および、フォトダイオード213の光軸Axより右側部分に対応する。射出瞳11Eは、オンチップレンズ210および、フォトダイオード213の光軸Axより左側部分に対応する。射出瞳11Dおよび射出瞳11Eによる瞳分割方向は、図2の射出瞳11Aおよび射出瞳11Bによる瞳分割方向と直交する。一対の瞳領域11D、11Eを通過した一対の被写体光束D、Eは、それぞれオンチップレンズ210を介してフォトダイオード213側へ進行する。このうち、光束Dはフォトダイオード213の右側部分へ到達して受光されるが、光束Eは遮光部材212によって遮られるので、フォトダイオード213で受光されない。図10では、光軸Ax上にある立体像用画素の場合を例示しているが、光軸Ax上にない立体像用画素においても同様の構成である。
【0048】
遮光部材212を光軸Axの右側へ配置して光束Dを遮るように構成すると、光束Eはフォトダイオード213の光軸Axより左側部分へ到達して受光されるようになる。一方、光束Dは遮光部材212によって遮られるので、フォトダイオード213で受光されなくなる。このような光束Eを受光する画素(不図示)と上述した光束Dを受光する画素(図10)とを撮像面において混在させることで、それぞれ瞳分割された光束による像が撮像されることになる。この結果、光束Dに基づくD成分の画像データと、光束Eに基づくE成分の画像データとが得られる。
【0049】
図11は、撮像素子12Eにおける立体像用画素の配置を例示する図である。図11において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「D」で示した画素位置には、光束Dを受光する立体像用画素(図10)が配置される。「E」で示した画素位置には、光束Eを受光する立体像用画素(不図示)が配置される。
【0050】
第三の実施形態の電子カメラ1は、上述したA成分による撮影画像、およびB成分による撮影画像を用いて立体視画像を得るとともに、上述したD成分による撮影画像、およびE成分による撮影画像を用いて立体視画像を得る。CPU16は、たとえば、代表画像ファイルと本体画像ファイルとをそれぞれ記録する。代表画像ファイルと本体画像ファイルは同一のファイル名称を有し、拡張子が異なる構成とする。代表画像ファイルには、たとえばA成分の撮影画像データを含め、拡張子を「JPG」とする。本体画像ファイルには、A成分の撮影画像データおよびB成分の撮影画像データ、D成分の撮影画像データおよびE成分の撮影画像データをそれぞれ含め、拡張子を「MPO」とする。
【0051】
以上説明した第三の実施形態によれば、電子カメラ1の撮像素子12Eはさらに、たとえば水平方向と直交する鉛直方向において撮影光学系11の異なる瞳11D、11Eの位置に対応する光束Dと光束Eとに分割された被写体光束のうち、光束Dを受光する複数の立体像用画素および光束Eを受光する立体像用画素をそれぞれ有する。CPU16はさらに、撮像素子12Eから出力された画像データのうち、光束Dを受光する複数の立体像用画素から出力されたデータによって形成されるD成分の撮影画像データ、および光束Eを受光する複数の立体像用画素から出力されたデータによって形成されるE成分の撮影画像をそれぞれ区別するための情報を記憶媒体30に記憶させるようにした。これにより、A成分による撮影画像およびB成分による撮影画像によって水平方向に視差を有する立体視画像が得られることに加えて、D成分による撮影画像およびE成分による撮影画像によって鉛直方向においても視差を有する立体視画像が得られる。このため、電子カメラ1を横位置に構えて撮影しても、縦位置に構えて撮影しても、適切に立体視画像を得ることができる。
【0052】
(変形例5)
上述した撮像素子12Eの画素を斜めに配置してもよい。図12は、変形例5の撮像素子12Fにおける立体像用画素の配置を例示する図である。図12によれば、「A」と「B」が水平方向に交互に隣接する一方で、鉛直方向にも交互に隣接する。さらに、「D」と「E」が水平方向に交互に隣接する一方で、鉛直方向にも交互に隣接する。視差を得るための対を構成する「A」と「B」、および「D」と「E」がそれぞれ一直線上に並ぶことで、図11の場合に比べて視差の精度を高められる。
【0053】
(第四の実施形態)
撮像素子12を2つの撮像素子12Gおよび12Hによって構成してもよい。図13は、第四の実施形態による撮影光学系11と撮像素子12Gおよび12Hを説明するブロック図である。本実施形態では、撮影光学系11からの光束をスプリッタ26によって2つに分割する。このうち、一方の光束を撮像素子12Gへ導き、他方の光束を撮像素子12Hへ導く。
【0054】
図14は、撮像素子12Gにおける立体像用画素と平面像用画素の配置を例示する図である。図14において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。図4の場合と比べて「A」の出現頻度が2倍に高まるので、取得する画像の解像度を高めることができる。
【0055】
図15は、撮像素子12Hにおける立体像用画素と平面像用画素の配置を例示する図である。図15において、「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。図4の場合と比べて「B」の出現頻度が2倍に高まるので、取得する画像の解像度を高めることができる。
【0056】
第四の実施形態によれば、被写体光束を2分割するスプリッタ26をさらに備え、撮像素子は、光束Aを受光する複数の立体像用画素を有する撮像素子12Gと、光束Bを受光する複数の立体像用画素を有する撮像素子12Hとで構成され、撮像素子12Gは、スプリッタ26で分割された一方の光束を受光し、撮像素子12Hは、スプリッタ26で分割された他方の光束を受光するようにした。これにより、第一の実施形態と比べて取得する画像の解像度を高めることができる。なお、撮像素子12Gと12Hとは、実質的に互いの受光面の天地を逆さにした構成にできるので、両撮像素子は同じものを使用できる。すなわち、撮像素子12Gは、光軸回りに180度回転させることによって撮像素子12Hとして使用できる。
【0057】
(第五の実施形態)
撮像素子12を2つの撮像素子12および12Iによって構成してもよい。図16は、第五の実施形態による撮影光学系11と撮像素子12および12Iを説明するブロック図である。第四の実施形態と同様に、撮影光学系11からの光束をスプリッタ26によって2つに分割する。このうち、一方の光束を撮像素子12へ導き、他方の光束を撮像素子12Iへ導く。撮像素子12の画素配置は、図4に例示した通りである。
【0058】
図17は、撮像素子12Iにおける立体像用画素と平面像用画素の配置を例示する図である。図17において、「D」で示した画素位置には、光束Dを受光する立体像用画素(図10)が配置される。「E」で示した画素位置には、光束Eを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。
【0059】
第五の実施形態によれば、被写体光束を2分割するスプリッタ26をさらに備え、撮像素子は、光束Aを受光する複数の立体像用画素および光束Bを受光する複数の立体像用画素をそれぞれ有する撮像素子12と、光束Dを受光する複数の立体像用画素および光束Eを受光する複数の立体像用画素をそれぞれ有する撮像素子12Iとで構成する。撮像素子12は、スプリッタ26で分割された一方の光束を受光し、撮像素子12Iは、スプリッタ26で分割された他方の光束を受光する。CPU16はさらに、撮像素子12および撮像素子12Iから出力された画像データのうち、光束Dを受光する複数の立体像用画素から出力されたデータによって形成されるD成分の撮影画像データ、および光束Eを受光する複数の立体像用画素から出力されたデータによって形成されるE成分の撮影画像データをそれぞれ区別するための情報を記憶媒体30に記憶させる。このような構成によって、撮像素子12と12Iとは、実質的に互いの受光面の天地方向が直交する関係を有するので、両撮像素子は同じものを使用できる。すなわち、撮像素子12は、光軸回りに90度回転させることによって撮像素子12Iとして使用できる。
【0060】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。電子カメラ1は、コンパクトタイプのものに限らず、撮影光学系11をカメラボディに対して交換可能なレンズ交換タイプのカメラであってもよい。
【符号の説明】
【0061】
1…電子カメラ
11…撮影光学系
11A,11B,11D,11E…射出瞳
12,12B,12C,12D,12E,12F,12G,12H,12I…撮像素子
13…画像処理部
14…RAM
15…LCDモニタ
16…CPU
17…不揮発性メモリ
18…カードインターフェース
20…操作部材
26…スプリッタ
30…記憶媒体
210…オンチップレンズ
211、213、213A、213B…フォトダイオード
212…遮光部材
214…分離帯
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
立体視用の画像データを取得するステレオカメラが知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−121229号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、2系統の撮影光学系を必要としていた。
【課題を解決するための手段】
【0005】
本発明による撮像装置は、撮影光学系の異なる瞳位置に対応する第1光束と第2光束とに分割された被写体光束のうち、第1光束を受光する複数の第1画素および第2光束を受光する複数の第2画素をそれぞれ有する撮像素子と、撮像素子から出力された画像データのうち、複数の第1画素から出力されたデータによって形成される第1画像データ、および複数の第2画素から出力されたデータによって形成される第2画像データをそれぞれ区別するための情報、ならびに画像データをそれぞれ記憶媒体に記憶させる制御手段と、を備えることを特徴とする。
【発明の効果】
【0006】
本発明によれば、好適な立体視用の画像を取得できる。
【図面の簡単な説明】
【0007】
【図1】本発明の第一の実施形態による電子カメラの構成例を説明するブロック図である。
【図2】立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【図3】平面像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【図4】撮像素子における立体像用画素と平面像用画素の配置を例示する図である。
【図5】CPUが実行する撮影処理の流れを説明するフローチャートである。
【図6】変形例2による立体像用画素と平面像用画素の配置を例示する図である。
【図7】変形例3による立体像用画素と平面像用画素の配置を例示する図である。
【図8】第二の実施形態による立体像用画素と平面像用画素の配置を例示する図である。
【図9】立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【図10】立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【図11】第三の実施形態による立体像用画素の配置を例示する図である。
【図12】変形例5による立体像用画素の配置を例示する図である。
【図13】第四の実施形態による撮影光学系と撮像素子を説明するブロック図である。
【図14】立体像用画素と平面像用画素の配置を例示する図である。
【図15】立体像用画素と平面像用画素の配置を例示する図である。
【図16】第五の実施形態による撮影光学系と撮像素子を説明するブロック図である。
【図17】立体像用画素と平面像用画素の配置を例示する図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
図1は、本発明の第一の実施形態による電子カメラ1の構成例を説明するブロック図である。図1において、電子カメラ1は、撮影光学系11と、撮像素子12と、画像処理部13と、RAM14と、LCDモニタ15と、CPU16と、不揮発性メモリ17と、カードインターフェース(I/F)18と、通信インターフェース(I/F)19と、操作部材20とを備える。
【0009】
CPU16、不揮発性メモリ17、カードインターフェース18、通信インターフェース19、画像処理部13、RAM14およびLCDモニタ15は、それぞれがバス25を介して接続されている。
【0010】
撮影光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子12の受光面に結像させる。なお、図1を簡単にするため、撮影光学系11を単レンズとして図示している。
【0011】
撮像素子12は、画素を構成する受光素子のフォトダイオードが受光面に二次元配列されたCMOSイメージセンサなどによって構成される。撮像素子12は、撮影光学系11を通過した光束による像を光電変換し、デジタル画像データを生成する。デジタル画像データは、画像処理部13に入力される。画像処理部13は、デジタル画像データに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を施す。
【0012】
LCDモニタ15は液晶パネルなどによって構成される。LCDモニタ15は、CPU16からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。RAM14は、画像処理部13による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、CPU16によるプログラム実行時に用いられる。RAM14は、電源オフ時には記憶内容を消失する揮発性メモリである。不揮発性メモリ17は、フラッシュメモリなどによって構成される。不揮発性メモリ17は、電源オフ時に記憶内容を消失することなく保持するので、CPU16が実行するプログラムなどを記憶する。
【0013】
CPU16は、不揮発性メモリ17が記憶するプログラムを実行することにより、電子カメラ1が行う動作を制御する。カードインターフェース18はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記憶媒体30が接続される。カードインターフェース18は、接続された記憶媒体30に対するデータの書き込みや、記憶媒体30からのデータの読み込みを行う。記憶媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【0014】
通信インターフェース19は、たとえば、不図示のコネクタに接続された外部機器との間でTCP/IPプロトコルを用いた通信を行う。この通信により、外部機器からのコマンドやデータを受信したり、記憶媒体30が記憶している画像データなどを外部機器へ送信したりする。操作部材20は、レリーズボタンやメニュースイッチなどを含む。操作部材20は、撮影操作、モード切替え操作やアイコン選択操作など、各操作に応じた操作信号をCPU16へ送出する。
【0015】
上述した撮像素子12の詳細な構成を説明する。本実施形態では、立体像用画素および平面像用画素が、それぞれ撮像面の略全域にわたって設けられる。図2は、立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【0016】
図2において、立体像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード213とが設けられる。オンチップレンズ210はフォトダイオード213に対して撮影光学系11側(図2において上側)に配置され、フォトダイオード213は撮像素子12内の半導体回路基板(不図示)上に形成される。オンチップレンズ210は、撮影光学系11の焦点面近傍に配置される。
【0017】
光軸Axは、撮影光学系11の光軸である。射出瞳11Aは、オンチップレンズ210および、フォトダイオード213の光軸Axより右側部分に対応する。射出瞳11Bは、オンチップレンズ210および、フォトダイオード213の光軸Axより左側部分に対応する。一対の瞳領域11A、11Bを通過した一対の被写体光束A、Bは、それぞれオンチップレンズ210を介してフォトダイオード213側へ進行する。このうち、光束Aはフォトダイオード213の右側部分へ到達して受光されるが、光束Bは遮光部材212によって遮られるので、フォトダイオード213で受光されない。図2では、光軸Ax上にある立体像用画素の場合を例示しているが、光軸Ax上にない立体像用画素においても同様の構成である。
【0018】
遮光部材212を光軸Axの右側へ配置して光束Aを遮るように構成すると、光束Bはフォトダイオード213の光軸Axより左側部分へ到達して受光されるようになる。一方、光束Aは遮光部材212によって遮られるので、フォトダイオード213で受光されなくなる。このような光束Bを受光する画素(不図示)と上述した光束Aを受光する画素(図2)とを撮像面において混在させることで、それぞれ瞳分割された光束による像が撮像されることになる。この結果、光束Aに基づくA成分の画像データと、光束Bに基づくB成分の画像データとが得られる。
【0019】
図3は、平面像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。図3において、平面像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード211とが設けられる。オンチップレンズ210はフォトダイオード211に対して撮影光学系11側(図3において上側)に配置され、フォトダイオード211は撮像素子12内の半導体回路基板(不図示)上に形成される。平面像用画素は立体像用画素とは異なり、遮光部材212が設けられないので、瞳分割されない被写体光束による像が撮像される。なお、光軸Axは撮影光学系11の光軸である。図3では、光軸Ax上にある平面像用画素の場合を例示しているが、光軸Ax上にない平面像用画素においても同様の構成である。
【0020】
図4は、撮像素子12における立体像用画素と平面像用画素の配置を例示する図である。図4において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。
【0021】
立体像用画素によって取得されたA成分による被写体像、およびB成分による被写体像からなる一対の被写体像は、撮影光学系11が予定焦点面よりも前に被写体の鮮鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に予定焦点面より後ろに被写体の鮮鋭像を結ぶいわゆる後ピン状態では互いに遠ざかる。予定焦点面において被写体の鮮鋭像を結ぶ合焦状態には、上記一対の像が相対的に一致する。したがって、一対の像の相対位置ズレ量は、被写体までの距離(すなわち奥行き情報)に対応する。
【0022】
本実施形態の電子カメラ1は、上述したA成分による撮影画像、およびB成分による撮影画像を用いて立体視画像を得る。図5は、CPU16が実行する撮影処理の流れを説明するフローチャートである。CPU16は、操作部材20を構成する不図示のモード切替えダイヤルの回転操作によって「ステレオ撮影モード」に設定されている場合に、図5に例示した処理を実行するプログラムを起動する。
【0023】
図5のステップS11において、CPU16は、撮影指示が行われたか否かを判定する。CPU16は、操作部材20を構成するレリーズボタンが押下操作されると、ステップS11を肯定判定してステップS12へ進む。CPU16は、レリーズボタンが押下操作されない場合には、ステップS11を否定判定してステップS18へ進む。
【0024】
ステップS18において、CPU16は、タイムアップか否かを判定する。CPU16は、所定時間(たとえば、5秒)を計時した場合にステップS18を肯定判定して図5による処理を終了する。CPU16は、計時時間が所定時間に満たない場合には、ステップS18を否定判定してステップS11へ戻る。
【0025】
ステップS12において、CPU16は、AE処理を行う。CPU16は、たとえば、撮像素子12に所定時間の蓄積動作を行わせ、撮像素子12の所定の測光領域(たとえば撮影画面の中央に相当する領域)に含まれる平面像用画素からの信号値に基づいて露出演算を行う。この露出演算結果に基づいて撮影時に用いるAVおよびTVを決定する。CPU16は、以上のAE処理を行うとステップS13へ進む。
【0026】
ステップS13において、CPU16は撮影処理を行ってステップS14へ進む。具体的には、上記AVに基づいて不図示の絞り制御部を制御し、上記TVに基づいて撮像素子12の蓄積時間を制御する。ステップS14において、CPU16は画像処理部13へ指示を送り、取得された画像データに対して上記各画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を行わせる。
【0027】
画像処理部13は、光束Aを受光する立体像用画素(図2)によるA成分の撮影画像、光束Bを受光する立体像用画素によるB成分の撮影画像、および平面像用画素による撮影画像について、それぞれ画像処理を行う。図4に例示した通り、「A」、「B」および「C」で表した画素配列はあらかじめ決まっているので、各画素位置に対応するデータが「A」、「B」および「C」のいずれに対応するかを示す情報が、あらかじめプログラムデータに含まれている。CPU16は、画像処理部13に画像処理を行わせるとステップS15へ進む。
【0028】
ステップS15において、CPU16は、LCDモニタ15に撮影画像を表示させる。CPU16は、たとえば、A成分の撮影画像とB成分の撮影画像とを所定の表示レートで交互に表示させる。ユーザーは、LCDモニタ15に表示された立体視画像を確認できる。CPU16は、LCDモニタ15に表示を行わせるとステップS16へ進む。
【0029】
ステップS16において、CPU16は画像ファイルを生成する。CPU16は、たとえば、代表画像ファイルと本体画像ファイルとをそれぞれ記録させる。代表画像ファイルと本体画像ファイルは同一のファイル名称を有し、拡張子が異なる構成とする。代表画像ファイルには、たとえば平面像用画素による撮影画像データを含め、拡張子を「JPG」とする。本体画像ファイルには、A成分の撮影画像データおよびB成分の撮影画像データをそれぞれ含め、拡張子を「MPO」とする。CPU16は、画像ファイルを生成するとステップS17へ進む。
【0030】
ステップS17において、CPU16はカードインターフェース18へ指示を送り、画像ファイルを記憶媒体30に記録させて図5による処理を終了する。
【0031】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
(1)電子カメラ1は、撮影光学系11の異なる瞳11A、11Bの位置に対応する光束Aと光束Bとに分割された被写体光束のうち、光束Aを受光する複数の立体像用画素および光束Bを受光する立体像用画素をそれぞれ有する撮像素子12と、撮像素子12から出力された撮影画像データのうち、光束Aを受光する複数の立体像用画素から出力されたデータによって形成されるA成分の撮影画像データ、および光束Bを受光する複数の立体像用画素から出力されたデータによって形成されるB成分の撮影画像データをそれぞれ区別するための情報、ならびに上記撮影画像データをそれぞれ記憶媒体30に記憶させるCPU16と、を備えるようにしたので、1系統の撮影光学系11を用いるだけで、適切に視差(視野角情報)を含む立体視用の画像を取得できる。
【0032】
(2)上記(1)の電子カメラ1において、撮像素子12はさらに、分割されていない被写体光束を受光する複数の平面像用画素を有し、CPU16はさらに、撮像素子12から出力された画像データのうち、複数の平面像用画素から出力されたデータによって形成される撮影画像データを区別するための情報を記憶させるようにしたので、立体視用画像と別に通常の撮影画像を取得できる。
【0033】
瞳分割しない(すなわち光束を制限しない)で受光した平面像用画素からのデータは、瞳分割した(すなわち光束を制限した)立体像用画素からのデータより信号レベルが高いので、暗い撮影環境においては立体視画像に比べて高品位の画像が得られる。なお、平面像用画素からのデータを補助的に用いて立体視用の画像データ(A成分の撮影画像データ、B成分の撮影画像データ)を補正することにより、立体視用画像の輝度を高めるようにしてもよい。
【0034】
(3)上記(2)の電子カメラ1において、撮像素子12は、形成されているオンチップレンズ210の1つに対し、光束Aを受光する立体像用画素または光束Bを受光する立体像用画素が1つ形成されるように構成したので、高い解像度で撮影画像を取得できる。
【0035】
(4)上記(2)の電子カメラ1において、撮像素子12は、形成されているオンチップレンズ210の1つに対し、平面像用画素が1つ形成されるように構成したので、立体視用画像に比べて明るく高品位の撮影画像を取得できる。
【0036】
(変形例1)
以上の説明では、画像ファイル内に平面像用画素による撮影画像データ、A成分の撮影画像データおよびB成分の撮影画像データをそれぞれ分けて記録するように説明したが、これらの画像データを分けないで記録するようにしてもよい。変形例1のCPU16は、各画素位置に対応するデータが「A」、「B」および「C」のいずれに対応するかを示す情報を、画像データと関連づけて記録する。データが「A」、「B」および「C」のいずれに対応するデータであるかを示す情報を合わせて記録しておくことにより、後から平面像用画素による撮影画像データ、A成分の撮影画像データおよびB成分の撮影画像データにそれぞれ区別することが可能になる。なお、上記説明では、撮影画像についてそれぞれ画像処理を行ってから記録する例を説明したが、画像処理を行わずに記録(いわゆるRAWデータのままで記録)しても構わない。
【0037】
(変形例2)
第一の実施形態では、図4に例示したように、行方向に光束Aを受光する立体像用画素(図2)と平面像用画素(図3)とを交互に配置するとともに、隣接する行には、光束Bを受光する立体像用画素(不図示)と平面像用画素(図3)とを交互に配置するようにした。そして、列方向にも、光束Aを受光する立体像用画素(または光束Bを受光する立体像用画素)と、平面像用画素(図3)とを交互に配置した。この代わりに、変形例2では、行方向と列方向のそれぞれにおいて、平面像用画素(図3)を挟んで光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とを交互に配置する。図6は、変形例2による撮像素子12Bにおける立体像用画素と平面像用画素の配置を例示する図である。図6において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。
【0038】
(変形例3)
図7は、変形例3による撮像素子12Cにおける立体像用画素と平面像用画素の配置を例示する図である。図7において、行方向に光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とを隣接して並べ、平面像用画素(図3)を2つ挟んで、さらに光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とを並べる。一方列方向は、光束Aを受光する立体像用画素(または光束Bを受光する立体像用画素)と、平面像用画素(図3)とを交互に配置する。
【0039】
(変形例4)
第一の実施形態では、立体像用画素および平面像用画素(図3)がそれぞれ撮像面の略全域にわたって設けられる例を説明した。この代わりに、平面像用画素(図3)を設けずに立体像用画素を撮像面の略全域にわたって設ける構成としてもよい。変形例4では、光束Aを受光する立体像用画素(図2)と、光束Bを受光する立体像用画素(不図示)とを行方向に交互に配置する。列方向には、光束Aを受光する立体像用画素(図2)および光束Bを受光する立体像用画素(不図示)がそれぞれ連続して並ぶように配置する。なお、光束Aを受光する立体像用画素(図2)と光束Bを受光する立体像用画素(不図示)とが列方向に交互に並ぶように配置するようにしても構わない。
【0040】
(第二の実施形態)
図8は、本発明の第二の実施形態による撮像素子12Dにおける立体像用画素と平面像用画素の配置を例示する図である。図8において、「BA」で示した画素位置には、光束A、および光束Bをそれぞれ受光する立体像用画素(図9)が配置される。また、「C」で示した画素位置には、平面像用画素(図3)が配置される。
【0041】
図9は、立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。図9において、立体像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード213Aおよび213Bとが設けられる。オンチップレンズ210はフォトダイオード213A、213Bに対して撮影光学系11側(図9において上側)に配置され、フォトダイオード213A、213Bはそれぞれ撮像素子12D内の半導体回路基板(不図示)上に形成される。オンチップレンズ210は、撮影光学系11の焦点面近傍に配置される。
【0042】
光軸Axは、撮影光学系11の光軸である。射出瞳11Aは、オンチップレンズ210および、フォトダイオード213Aに対応する。射出瞳11Bは、オンチップレンズ210および、フォトダイオード213Bに対応する。一対の瞳領域11A、11Bを通過した一対の被写体光束A、Bは、それぞれオンチップレンズ210を介してフォトダイオード213A、213B側へ進行する。このうち、光束Aはフォトダイオード213Aへ到達して受光される。一方、光束Bはフォトダイオード213Bへ到達して受光される。フォトダイオード213Aと213Bとの間には、たとえば、配線アルミ−コンタクト−配線アルミによって形成した分離帯214を設け、他方の光束が受光されないようにする。分解能の劣化を防ぐためである。なお、図9では光軸Ax上にある立体像用画素の場合を例示しているが、光軸Ax上にない立体像用画素においても同様の構成である。
【0043】
以上説明した第二の実施形態によれば、電子カメラ1において、撮像素子12Dは、形成されているオンチップレンズ210の1つに対し、光束Aを受光する立体像用画素および光束Bを受光する立体像用画素の双方が形成されるように構成したので、1つのオンチップレンズ210の下で、光束Aに基づくA成分の画像データと、光束Bに基づくB成分の画像データとの双方が得られる。この結果、上述した第一の実施形態に比べてさらに高い解像度で立体視用の画像を取得できる。
【0044】
第二の実施形態の電子カメラ1において、撮像素子12Dは、光束Aを受光する立体像用画素を構成するフォトダイオード213Aと光束Bを受光する立体像用画素を構成するフォトダイオード213Bとの間に分離帯214を有するようにしたので、解像度の劣化を抑えることができる。
【0045】
(第三の実施形態)
第三の実施形態では、上述した立体像用画素(図2)とは瞳分割の方向が異なる立体像用画素を用いる。図10は、第三の実施形態において追加する立体像用画素を拡大した断面図と、単位画素当たりの画素平面図とを例示する図である。
【0046】
図10において、立体像用画素にはオンチップレンズ210と光電変換部であるフォトダイオード213とが設けられる。オンチップレンズ210はフォトダイオード213に対して撮影光学系11側(図10において上側)に配置され、フォトダイオード213は撮像素子12E内の半導体回路基板(不図示)上に形成される。オンチップレンズ210は、撮影光学系11の焦点面近傍に配置される。
【0047】
光軸Axは、撮影光学系11の光軸である。射出瞳11Dは、オンチップレンズ210および、フォトダイオード213の光軸Axより右側部分に対応する。射出瞳11Eは、オンチップレンズ210および、フォトダイオード213の光軸Axより左側部分に対応する。射出瞳11Dおよび射出瞳11Eによる瞳分割方向は、図2の射出瞳11Aおよび射出瞳11Bによる瞳分割方向と直交する。一対の瞳領域11D、11Eを通過した一対の被写体光束D、Eは、それぞれオンチップレンズ210を介してフォトダイオード213側へ進行する。このうち、光束Dはフォトダイオード213の右側部分へ到達して受光されるが、光束Eは遮光部材212によって遮られるので、フォトダイオード213で受光されない。図10では、光軸Ax上にある立体像用画素の場合を例示しているが、光軸Ax上にない立体像用画素においても同様の構成である。
【0048】
遮光部材212を光軸Axの右側へ配置して光束Dを遮るように構成すると、光束Eはフォトダイオード213の光軸Axより左側部分へ到達して受光されるようになる。一方、光束Dは遮光部材212によって遮られるので、フォトダイオード213で受光されなくなる。このような光束Eを受光する画素(不図示)と上述した光束Dを受光する画素(図10)とを撮像面において混在させることで、それぞれ瞳分割された光束による像が撮像されることになる。この結果、光束Dに基づくD成分の画像データと、光束Eに基づくE成分の画像データとが得られる。
【0049】
図11は、撮像素子12Eにおける立体像用画素の配置を例示する図である。図11において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「D」で示した画素位置には、光束Dを受光する立体像用画素(図10)が配置される。「E」で示した画素位置には、光束Eを受光する立体像用画素(不図示)が配置される。
【0050】
第三の実施形態の電子カメラ1は、上述したA成分による撮影画像、およびB成分による撮影画像を用いて立体視画像を得るとともに、上述したD成分による撮影画像、およびE成分による撮影画像を用いて立体視画像を得る。CPU16は、たとえば、代表画像ファイルと本体画像ファイルとをそれぞれ記録する。代表画像ファイルと本体画像ファイルは同一のファイル名称を有し、拡張子が異なる構成とする。代表画像ファイルには、たとえばA成分の撮影画像データを含め、拡張子を「JPG」とする。本体画像ファイルには、A成分の撮影画像データおよびB成分の撮影画像データ、D成分の撮影画像データおよびE成分の撮影画像データをそれぞれ含め、拡張子を「MPO」とする。
【0051】
以上説明した第三の実施形態によれば、電子カメラ1の撮像素子12Eはさらに、たとえば水平方向と直交する鉛直方向において撮影光学系11の異なる瞳11D、11Eの位置に対応する光束Dと光束Eとに分割された被写体光束のうち、光束Dを受光する複数の立体像用画素および光束Eを受光する立体像用画素をそれぞれ有する。CPU16はさらに、撮像素子12Eから出力された画像データのうち、光束Dを受光する複数の立体像用画素から出力されたデータによって形成されるD成分の撮影画像データ、および光束Eを受光する複数の立体像用画素から出力されたデータによって形成されるE成分の撮影画像をそれぞれ区別するための情報を記憶媒体30に記憶させるようにした。これにより、A成分による撮影画像およびB成分による撮影画像によって水平方向に視差を有する立体視画像が得られることに加えて、D成分による撮影画像およびE成分による撮影画像によって鉛直方向においても視差を有する立体視画像が得られる。このため、電子カメラ1を横位置に構えて撮影しても、縦位置に構えて撮影しても、適切に立体視画像を得ることができる。
【0052】
(変形例5)
上述した撮像素子12Eの画素を斜めに配置してもよい。図12は、変形例5の撮像素子12Fにおける立体像用画素の配置を例示する図である。図12によれば、「A」と「B」が水平方向に交互に隣接する一方で、鉛直方向にも交互に隣接する。さらに、「D」と「E」が水平方向に交互に隣接する一方で、鉛直方向にも交互に隣接する。視差を得るための対を構成する「A」と「B」、および「D」と「E」がそれぞれ一直線上に並ぶことで、図11の場合に比べて視差の精度を高められる。
【0053】
(第四の実施形態)
撮像素子12を2つの撮像素子12Gおよび12Hによって構成してもよい。図13は、第四の実施形態による撮影光学系11と撮像素子12Gおよび12Hを説明するブロック図である。本実施形態では、撮影光学系11からの光束をスプリッタ26によって2つに分割する。このうち、一方の光束を撮像素子12Gへ導き、他方の光束を撮像素子12Hへ導く。
【0054】
図14は、撮像素子12Gにおける立体像用画素と平面像用画素の配置を例示する図である。図14において、「A」で示した画素位置には、光束Aを受光する立体像用画素(図2)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。図4の場合と比べて「A」の出現頻度が2倍に高まるので、取得する画像の解像度を高めることができる。
【0055】
図15は、撮像素子12Hにおける立体像用画素と平面像用画素の配置を例示する図である。図15において、「B」で示した画素位置には、光束Bを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。図4の場合と比べて「B」の出現頻度が2倍に高まるので、取得する画像の解像度を高めることができる。
【0056】
第四の実施形態によれば、被写体光束を2分割するスプリッタ26をさらに備え、撮像素子は、光束Aを受光する複数の立体像用画素を有する撮像素子12Gと、光束Bを受光する複数の立体像用画素を有する撮像素子12Hとで構成され、撮像素子12Gは、スプリッタ26で分割された一方の光束を受光し、撮像素子12Hは、スプリッタ26で分割された他方の光束を受光するようにした。これにより、第一の実施形態と比べて取得する画像の解像度を高めることができる。なお、撮像素子12Gと12Hとは、実質的に互いの受光面の天地を逆さにした構成にできるので、両撮像素子は同じものを使用できる。すなわち、撮像素子12Gは、光軸回りに180度回転させることによって撮像素子12Hとして使用できる。
【0057】
(第五の実施形態)
撮像素子12を2つの撮像素子12および12Iによって構成してもよい。図16は、第五の実施形態による撮影光学系11と撮像素子12および12Iを説明するブロック図である。第四の実施形態と同様に、撮影光学系11からの光束をスプリッタ26によって2つに分割する。このうち、一方の光束を撮像素子12へ導き、他方の光束を撮像素子12Iへ導く。撮像素子12の画素配置は、図4に例示した通りである。
【0058】
図17は、撮像素子12Iにおける立体像用画素と平面像用画素の配置を例示する図である。図17において、「D」で示した画素位置には、光束Dを受光する立体像用画素(図10)が配置される。「E」で示した画素位置には、光束Eを受光する立体像用画素(不図示)が配置される。「C」で示した画素位置には、平面像用画素(図3)が配置される。
【0059】
第五の実施形態によれば、被写体光束を2分割するスプリッタ26をさらに備え、撮像素子は、光束Aを受光する複数の立体像用画素および光束Bを受光する複数の立体像用画素をそれぞれ有する撮像素子12と、光束Dを受光する複数の立体像用画素および光束Eを受光する複数の立体像用画素をそれぞれ有する撮像素子12Iとで構成する。撮像素子12は、スプリッタ26で分割された一方の光束を受光し、撮像素子12Iは、スプリッタ26で分割された他方の光束を受光する。CPU16はさらに、撮像素子12および撮像素子12Iから出力された画像データのうち、光束Dを受光する複数の立体像用画素から出力されたデータによって形成されるD成分の撮影画像データ、および光束Eを受光する複数の立体像用画素から出力されたデータによって形成されるE成分の撮影画像データをそれぞれ区別するための情報を記憶媒体30に記憶させる。このような構成によって、撮像素子12と12Iとは、実質的に互いの受光面の天地方向が直交する関係を有するので、両撮像素子は同じものを使用できる。すなわち、撮像素子12は、光軸回りに90度回転させることによって撮像素子12Iとして使用できる。
【0060】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。電子カメラ1は、コンパクトタイプのものに限らず、撮影光学系11をカメラボディに対して交換可能なレンズ交換タイプのカメラであってもよい。
【符号の説明】
【0061】
1…電子カメラ
11…撮影光学系
11A,11B,11D,11E…射出瞳
12,12B,12C,12D,12E,12F,12G,12H,12I…撮像素子
13…画像処理部
14…RAM
15…LCDモニタ
16…CPU
17…不揮発性メモリ
18…カードインターフェース
20…操作部材
26…スプリッタ
30…記憶媒体
210…オンチップレンズ
211、213、213A、213B…フォトダイオード
212…遮光部材
214…分離帯
【特許請求の範囲】
【請求項1】
撮影光学系の異なる瞳位置に対応する第1光束と第2光束とに分割された被写体光束のうち、前記第1光束を受光する複数の第1画素および前記第2光束を受光する複数の第2画素をそれぞれ有する撮像素子と、
前記撮像素子から出力された画像データのうち、前記複数の第1画素から出力されたデータによって形成される第1画像データ、および前記複数の第2画素から出力されたデータによって形成される第2画像データをそれぞれ区別するための情報、ならびに前記画像データをそれぞれ記憶媒体に記憶させる制御手段と、
を備えることを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
前記撮像素子はさらに、前記分割されていない被写体光束を受光する複数の第3画素を有し、
前記制御手段はさらに、前記撮像素子から出力された画像データのうち、前記複数の第3画素から出力されたデータによって形成される第3画像データを区別するための情報を前記記憶媒体に記憶させることを特徴とする撮像装置。
【請求項3】
請求項2に記載の撮像装置において、
前記撮像素子は、形成されているオンチップレンズの1つに対し、前記第1画素または前記第2画素が1つ形成されていることを特徴とする撮像装置。
【請求項4】
請求項2に記載の撮像装置において、
前記撮像素子は、形成されているオンチップレンズの1つに対し、前記第1画素および前記第2画素の双方が形成されていることを特徴とする撮像装置。
【請求項5】
請求項4に記載の撮像装置において、
前記撮像素子は、前記第1画素を構成する受光素子と前記第2画素を構成する受光素子との間に遮光部を有することを特徴とする撮像装置。
【請求項6】
請求項2に記載の撮像装置において、
前記撮像素子は、形成されているオンチップレンズの1つに対し、前記第3画素が1つ形成されていることを特徴とする撮像装置。
【請求項7】
請求項1〜6のいずれか一項に記載の撮像装置において、
前記第1光束および前記第2光束は、第1方向において異なる瞳位置に対応することを特徴とする撮像装置。
【請求項8】
請求項7に記載の撮像装置において、
前記撮像素子はさらに、前記第1方向と直交する第2方向において前記撮影光学系の異なる瞳位置に対応する第3光束と第4光束とに分割された被写体光束のうち、前記第3光束を受光する複数の第4画素および前記第4光束を受光する複数の第5画素をそれぞれ有し、
前記制御手段はさらに、前記撮像素子から出力された画像データのうち、前記複数の第4画素から出力されたデータによって形成される第4画像データ、および前記複数の第5画素から出力されたデータによって形成される第5画像データをそれぞれ区別するための情報を前記記憶媒体に記憶させることを特徴とする撮像装置。
【請求項9】
請求項7に記載の撮像装置において、
被写体光束を2分割する分割手段をさらに備え、
前記撮像素子は、前記複数の第1画素および前記複数の第2画素をそれぞれ有する第1撮像素子と、前記複数の第4画素および前記複数の第5画素をそれぞれ有する第2撮像素子とで構成され、
前記第1撮像素子は、前記分割手段で分割された一方の光束を受光し、
前記第2撮像素子は、前記分割手段で分割された他方の光束を受光し、
前記制御手段はさらに、前記第1撮像素子および前記第2撮像素子から出力された画像データのうち、前記複数の第4画素から出力されたデータによって形成される第4画像データ、および前記複数の第5画素から出力されたデータによって形成される第5画像データをそれぞれ区別するための情報を前記記憶媒体に記憶させることを特徴とする撮像装置。
【請求項10】
請求項1に記載の撮像装置において、
被写体光束を2分割する分割手段をさらに備え、
前記撮像素子は、複数の前記第1画素を有する第1撮像素子と、複数の前記第2画素を有する第2撮像素子とで構成され、
前記第1撮像素子は、前記分割手段で分割された一方の光束を受光し、
前記第2撮像素子は、前記分割手段で分割された他方の光束を受光することを特徴とする撮像装置。
【請求項1】
撮影光学系の異なる瞳位置に対応する第1光束と第2光束とに分割された被写体光束のうち、前記第1光束を受光する複数の第1画素および前記第2光束を受光する複数の第2画素をそれぞれ有する撮像素子と、
前記撮像素子から出力された画像データのうち、前記複数の第1画素から出力されたデータによって形成される第1画像データ、および前記複数の第2画素から出力されたデータによって形成される第2画像データをそれぞれ区別するための情報、ならびに前記画像データをそれぞれ記憶媒体に記憶させる制御手段と、
を備えることを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
前記撮像素子はさらに、前記分割されていない被写体光束を受光する複数の第3画素を有し、
前記制御手段はさらに、前記撮像素子から出力された画像データのうち、前記複数の第3画素から出力されたデータによって形成される第3画像データを区別するための情報を前記記憶媒体に記憶させることを特徴とする撮像装置。
【請求項3】
請求項2に記載の撮像装置において、
前記撮像素子は、形成されているオンチップレンズの1つに対し、前記第1画素または前記第2画素が1つ形成されていることを特徴とする撮像装置。
【請求項4】
請求項2に記載の撮像装置において、
前記撮像素子は、形成されているオンチップレンズの1つに対し、前記第1画素および前記第2画素の双方が形成されていることを特徴とする撮像装置。
【請求項5】
請求項4に記載の撮像装置において、
前記撮像素子は、前記第1画素を構成する受光素子と前記第2画素を構成する受光素子との間に遮光部を有することを特徴とする撮像装置。
【請求項6】
請求項2に記載の撮像装置において、
前記撮像素子は、形成されているオンチップレンズの1つに対し、前記第3画素が1つ形成されていることを特徴とする撮像装置。
【請求項7】
請求項1〜6のいずれか一項に記載の撮像装置において、
前記第1光束および前記第2光束は、第1方向において異なる瞳位置に対応することを特徴とする撮像装置。
【請求項8】
請求項7に記載の撮像装置において、
前記撮像素子はさらに、前記第1方向と直交する第2方向において前記撮影光学系の異なる瞳位置に対応する第3光束と第4光束とに分割された被写体光束のうち、前記第3光束を受光する複数の第4画素および前記第4光束を受光する複数の第5画素をそれぞれ有し、
前記制御手段はさらに、前記撮像素子から出力された画像データのうち、前記複数の第4画素から出力されたデータによって形成される第4画像データ、および前記複数の第5画素から出力されたデータによって形成される第5画像データをそれぞれ区別するための情報を前記記憶媒体に記憶させることを特徴とする撮像装置。
【請求項9】
請求項7に記載の撮像装置において、
被写体光束を2分割する分割手段をさらに備え、
前記撮像素子は、前記複数の第1画素および前記複数の第2画素をそれぞれ有する第1撮像素子と、前記複数の第4画素および前記複数の第5画素をそれぞれ有する第2撮像素子とで構成され、
前記第1撮像素子は、前記分割手段で分割された一方の光束を受光し、
前記第2撮像素子は、前記分割手段で分割された他方の光束を受光し、
前記制御手段はさらに、前記第1撮像素子および前記第2撮像素子から出力された画像データのうち、前記複数の第4画素から出力されたデータによって形成される第4画像データ、および前記複数の第5画素から出力されたデータによって形成される第5画像データをそれぞれ区別するための情報を前記記憶媒体に記憶させることを特徴とする撮像装置。
【請求項10】
請求項1に記載の撮像装置において、
被写体光束を2分割する分割手段をさらに備え、
前記撮像素子は、複数の前記第1画素を有する第1撮像素子と、複数の前記第2画素を有する第2撮像素子とで構成され、
前記第1撮像素子は、前記分割手段で分割された一方の光束を受光し、
前記第2撮像素子は、前記分割手段で分割された他方の光束を受光することを特徴とする撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2013−57744(P2013−57744A)
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願番号】特願2011−195134(P2011−195134)
【出願日】平成23年9月7日(2011.9.7)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成25年3月28日(2013.3.28)
【国際特許分類】
【出願日】平成23年9月7日(2011.9.7)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]