撮像装置
【課題】結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供する。
【解決手段】撮像装置は、結像光学系101と、複数の画素を備えた撮像素子103と、被写体面201の同一位置からの光線を、この光線が通過する結像光学系101の瞳領域に応じて、撮像素子103の互いに異なる画素に入射させるレンズアレイ102と、結像光学系101の瞳変動に応じて、レンズアレイ102と撮像素子103の間隔を変化させる制御手段とを有する。
【解決手段】撮像装置は、結像光学系101と、複数の画素を備えた撮像素子103と、被写体面201の同一位置からの光線を、この光線が通過する結像光学系101の瞳領域に応じて、撮像素子103の互いに異なる画素に入射させるレンズアレイ102と、結像光学系101の瞳変動に応じて、レンズアレイ102と撮像素子103の間隔を変化させる制御手段とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体空間の光の2次元強度分布と光線の角度情報を取得する撮像装置に関する。
【背景技術】
【0002】
近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献1、2には、「Light Field Photography」を用いて、被写体空間の光の2次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の2次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することにより被写体空間の3次元的な情報を得ることができる。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、リフォーカスと呼ばれる画像のピント位置、撮影視点、被写界深度等を変更することが可能である。
【0003】
特許文献1には、非特許文献1で示されている構成においてレンズアレイの位置を切り換えることで、通常の撮影とライトフィールドの取得を切り換え可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4264569号
【非特許文献】
【0005】
【非特許文献1】Ren Ng、他5名、「Light Field Photography with a Hand−held Plenoptic Camera」、Stanford Tech Report CTSR 2005−2
【非特許文献2】Andrew Lumsdaine、他1名、「Full Resolution Light Field Rendering」、Adobe Technical Report January 2008
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献1、2には、結像光学系の射出瞳の位置や大きさが変化した場合の弊害、および、それに対する対策について開示されていない。結像光学系の射出瞳は、結像光学系の変倍やフォーカシング、また、絞りを絞ることで変化する。結像光学系の射出瞳が変化すると、被写体面上のある位置に対応する光束が撮像素子上で適切な領域に入射しなくなる。このため、不感帯と呼ばれる光線の入射しない画素が増大し、また、クロストークと呼ばれる被写体面上で異なる位置と角度を有する光線が同一の画素に入射する現象が発生する。また、ライトフィールドの角度成分である光線の角度情報に関するサンプリングピッチも大きくなる。このとき、前述の再構成によって生成される画像が制限される。例えば、リフォーカスは撮影時にピントの合っていた被写体面を軸として前後にピント位置を移動させるが、ライトフィールドの角度成分のサンプリングピッチが増大すると、その移動可能範囲は減少する。
【0007】
また特許文献1には、レンズアレイの位置が可変のライトフィールドを取得する撮像装置が開示されている。しかし、それは通常の撮影とライトフィールドの取得の切り替えのために行われる。結像光学系の射出瞳の位置や大きさが変化した場合の弊害、および、それに対する対策については開示されていない。また、レンズアレイと撮像素子との間隔における変化の仕方と射出瞳の変動に相関も存在しない。
【0008】
そこで本発明は、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供する。
【課題を解決するための手段】
【0009】
本発明の一側面としての撮像装置は、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、前記結像光学系の瞳変動に応じて、前記レンズアレイと前記撮像素子の間隔を変化させる制御手段とを有する。
【0010】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【0011】
本発明によれば、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供することができる。
【図面の簡単な説明】
【0012】
【図1】実施例1乃至3における撮像光学系の概略構成図である。
【図2】実施例5における撮像光学系の概略構成図である。
【図3】実施例4、6における撮像光学系の概略構成図である。
【図4】実施例1、2、4、5における撮像装置のブロック図である。
【図5】本実施例における撮像素子上に形成される像の説明図である。
【図6】実施例1乃至3における撮像光学系の説明図である。
【図7】実施例1乃至3におけるリフォーカス範囲の説明図である。
【図8】実施例1乃至3における撮像光学系の瞳変動の影響を示す説明図である。
【図9】本実施例における撮像光学系でのレンズアレイと撮像素子の間隔の変化を示す図である。
【図10】実施例1乃至3におけるリフォーカス範囲の拡大を示す説明図である。
【図11】実施例1における撮像光学系の断面図である。
【図12】実施例1乃至6におけるレンズアレイと撮像素子の駆動部を示す図である。
【図13】実施例1乃至3における絞りとτ、式(2)、および、有効画素比との関係を示す図である。
【図14】実施例2、3における撮像光学系の断面図である。
【図15】実施例2、3における結像光学系の変倍(射出瞳距離)とF値の関係を示す図である。
【図16】実施例2、3における変倍とτ、式(2)、および、有効画素比との関係を示す図である。
【図17】実施例3、6における画像処置システムのブロック図である。
【図18】実施例4における撮像光学系の説明図である。
【図19】実施例4におけるリフォーカス範囲の説明図である。
【図20】実施例4における撮像光学系の瞳変動の影響を示す説明図である。
【図21】実施例4におけるリフォーカス範囲の拡大を示す説明図である。
【図22】実施例4、6におけるリフォーカス範囲の拡大を示す説明図である。
【図23】実施例4における撮像光学系の断面図である。
【図24】実施例4乃至6における絞り(F値)とτ2、τ1、式(7)、および、式(8)との関係を示す図である。
【図25】実施例5における撮像光学系の断面図である。
【図26】実施例5、6における結像光学系の変倍(射出瞳距離)とF値との関係を示す図である。
【図27】実施例5、6における変倍(射出瞳距離)とτ2、τ1、式(7)、および、式(8)との関係を示す図である。
【図28】実施例6における撮像光学系の断面図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【0014】
各実施例は、ライトフィールドを取得する撮像装置において、結像光学系の瞳変動(瞳の位置や大きさの変化)に伴うライトフィールドの取得量(情報量)と取得精度の低下に対する影響を低減するものである。
【実施例1】
【0015】
まず、図4を参照して、本発明の実施例1における撮像装置の構成について説明する。図4は、本実施例における撮像装置のブロック図である。被写体空間(不図示)からの光線は、結像光学系101、および、複数の小レンズを備えて構成されたレンズアレイ102を介して、複数の画素を備えた撮像素子103で受光される。結像光学系101、レンズアレイ102、および、撮像素子103により撮像光学系が構成される。
【0016】
撮像素子103は、CCD(Charge Coupled Device)やCMOS(Complementary Metal−Oxide Semiconductor)などの2次元撮像素子であり、複数の画素を備える。主レンズ群を備えて構成される結像光学系101およびレンズアレイ102を介して撮像素子103に入射した光線のエネルギーは電気信号(アナログ信号)となり、A/Dコンバータ104でデジタル信号へ変換される。このデジタル信号は、画像処理部105にて所定の処理が行われ、半導体メモリなどの画像記録媒体110に所定のフォーマットで保存される。この際、同時に状態検知部108から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部108は、システムコントローラ111から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部107から得ることもできる。
【0017】
画像記録媒体110に保存された画像を表示部106に表示する際には、画像処理部105で撮影条件情報に基づいた再構成処理が施される。その結果、表示部106には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定(視点、ピント、被写界深度など)を予め記憶部109に保存し、画像記録媒体110を介さずに再構成画像を表示部106に直接表示させてもよい。さらに、画像記録媒体110に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ111により行われ、撮像光学系の機械的な駆動はシステムコントローラ111の指示によって光学系制御部107で行われる。
【0018】
次に、結像光学系101の瞳変動によるライトフィールドの取得情報量の減少および取得精度の劣化について説明し、続いて、その情報量減少および精度劣化を防ぐためのレンズアレイ102と撮像素子103との間隔の変化について説明する。以下の説明は、理解容易のため、1次元系の場合について行う。しかし、2次元系に関しても同様の理論が成り立つ。
【0019】
まず、ライトフィールドを取得する撮像光学系の瞳変動による取得情報量の減少および取得精度の劣化について説明する。図1は、本実施例における撮像光学系の概略構成図である。図6(a)〜(c)は、図1の結像光学系101に物体側主平面101a、射出瞳面101b、および、像側主平面101cを加えた図である。図1および図6(a)に示されるように、レンズアレイ102は、結像光学系101の被写体面201に対する共役面(像側共役面)に配置されている。このとき、レンズアレイ102は、撮像素子103と射出瞳面101bが略共役関係になるように構成されている。レンズアレイ102は、このような構成により、被写体面201の同一位置からの光線を、この光線が通過する結像光学系101の瞳領域に応じて、撮像素子103の互いに異なる画素に入射させる。このため、本実施例の撮像装置によれば、ライトフィールドを取得することが可能となる。図6(a)において、レンズアレイ102の光軸近傍に位置する小レンズを通過した光線が入射する撮像素子103上の領域は、レンズアレイ102のピッチと略同一である。小レンズとは、レンズアレイ102を構成するレンズの1つを示す。前記領域がレンズアレイ102のピッチより小さい場合、何の情報も取得しない不感帯が発生し、画素が無駄になる。
【0020】
図5(a)、(b)は、撮像素子103上に発生する不感帯を2次元的に示した図である。図5(a)中の白い円は、結像光学系101とレンズアレイ102の1つの小レンズを通過した光線が撮像素子103上に入射する領域を表している。それ以外の斜線の部分は、光線の入射しない不感帯である。一方、前記領域がレンズアレイ102のピッチより大きい場合、レンズアレイ102の隣接する小レンズをそれぞれ通過した光線が混じるクロストークが発生し、正しいライトフィールドが得られない。図5(b)中において、白い円の重なった部分は、クロストークを表している。
【0021】
このように、図6(a)は、画素を無駄にすることなく正しいライトフィールドを効率よく取得可能な状態である。図6(b)は、図6(a)の状態から、結像光学系101の射出瞳(射出瞳面101b)が変化した場合(瞳変動が生じた場合)を示している。ここで瞳変動とは、具体的には結像光学系101の変倍、フォーカシング、絞りを絞ること等によって発生する瞳(射出瞳)の位置や大きさの変化である。図6(b)に示されるように、射出瞳面101bが小さくなり、さらに物体側に移動したことにより、被写体面201上における同一位置からの光束の分割数が小さくなっている。図6(b)では瞳の分割数が1となり、ライトフィールドの角度成分を取得できない。撮像素子103ではその分、不感帯が増大している。逆に、射出瞳面101bが大きくなるか、または射出瞳面101bが像側に移動すると、クロストークが発生して正しいライトフィールドが得られない。
【0022】
次に、ライトフィールドの取得量(取得情報量)の減少および取得精度の劣化が画像再構成に及ぼす影響について、リフォーカスを例として説明する。リフォーカスに関しては、「Fourier Slice Photography」(Ren Ng著、2005 ACM Trans. Graph. 24, 735−744参照)で詳述されているため、本実施例では簡単に説明する。リフォーカス範囲は、被写体空間での光の2次元強度分布を表す空間成分のサンプリングピッチΔxと、光線の角度情報を表す角度成分のサンプリングピッチΔuで決定され、その係数α±は以下の式(1)のように与えられる。
【0023】
【数1】
【0024】
ここで、Δxは被写体面201対する結像光学系101の像側共役面202上のサンプリングピッチ、Δuは結像光学系101の射出瞳面101b上のサンプリングピッチである。図7は、本実施例におけるα±、Δx、Δu及びリフォーカス範囲の説明図である。本実施例において、サンプリングピッチΔxは、レンズアレイ102のピッチに一致する。式(1)を用いて表される像側のリフォーカス範囲α+s2〜α−s2と結像光学系101を介して共役な範囲が、物体側のリフォーカス範囲となる。s2は、結像光学系101の像側主平面101cと被写体面201に対する結像光学系101の像側共役面との間隔である。
【0025】
次に図8を参照して、結像光学系101の瞳変動の影響について説明する。理解を容易にするために、結像光学系101のF値が一定で射出瞳位置が変化した場合と、射出瞳位置が一定でF値が変化した場合に分けて説明する。図8(a)、(b)は結像光学系101のF値が一定で射出瞳位置が変動した場合、図8(a)、(c)は結像光学系101の射出瞳位置が一定でF値が変動した場合を示している。
【0026】
まず、結像光学系101のF値が一定で射出瞳位置が変動した場合の影響について説明する。図8(a)の状態から図8(b)の状態への変化のようにF値が一定で射出瞳が物体側に移動した場合、ライトフィールドの取得精度は劣化する。換言すると、射出瞳面101b上でのサンプリングピッチΔuの値が大きくなる。このため、式(1)で表される係数α±は、1に近付いてリフォーカス範囲は狭まる。逆に、図8(a)に示される状態から射出瞳が像側に移動した場合、サンプリングピッチΔuの値は小さくなる。このため、係数α±は1から離れ、リフォーカス範囲は増大する。このように、結像光学系101の射出瞳位置(射出瞳面101bの位置)の変動は、リフォーカス範囲の変動を引き起こす。リフォーカス以外の視点変更や被写界深度の調整も、同様に、サンプリングピッチΔuが小さくなるほど、すなわちライトフィールドのサンプリングピッチが細かくなるほど、その自由度が増す。したがって、結像光学系101の瞳が変動した場合には、サンプリングピッチΔuを小さくすることが必要となる。
【0027】
次に、結像光学系101のF値の変化が与える影響について考える。結論としては、結像光学系101のF値が大きくなる(瞳が小さくなる)と撮像素子103上で不感帯が増大する。一方、結像光学系101のF値が小さくなる(瞳が大きくなる)と、クロストークが発生する。例えば、図8(a)の状態から結像光学系101のF値が3倍になると、図8(c)の状態になる。図8(a)では1つの小レンズあたりの光が入射する画素数は3画素であるのに対し、図8(c)では受光画素は1画素のみであり、残り2画素は不感帯となっている。
【0028】
逆に、F値が小さくなると、小レンズを通過した光線は隣の小レンズを通過した光線と混合し、クロストークが発生する。このとき、クロストークが生じた画素を再構成に用いると、画像が正しく形成できない。このため、正しい画像を出力するには、クロストークの発生していない画素のみを再構成処理に用いる必要がある。したがって、不感帯やクロストークが発生した場合には、使用しない画素が発生し、情報の取得が非効率的になる。また、このとき、ライトフィールドのサンプリングピッチは変化しないが、取得可能な情報量は減少する。このことは、図8(a)、(c)を比較すれば明らかである。
【0029】
ここまでの議論で、ライトフィールドを取得する撮像光学系における結像光学系101の瞳変動による課題が明らかとなった。射出瞳位置が物体側へ移動するとライトフィールドのサンプリングピッチが荒くなり、F値が変化するとライトフィールドの取得効率と情報量が低下する。上記の説明では射出瞳位置の移動とF値の変化を、それぞれを個別に扱ったが、実際には2つの現象が複合して起こる場合もある。これらの課題を解決するために、瞳変動(瞳の位置や大きさ)に応じてレンズアレイ102と撮像素子103の間隔(距離)を変化させる。この間隔は、図4中のシステムコントローラ111(制御手段)により制御される。より具体的には、システムコントローラ111が後述の駆動部1001を制御することにより、駆動部1001はレンズアレイ102または撮像素子103(または、これらの両方)を移動させる。レンズアレイ102と撮像素子103の間隔が変化することで、ライトフィールドの取得量と取得精度の低下を軽減し、上記の課題を克服することができる。
【0030】
図6(c)は、図6(b)の瞳変動に応じて、レンズアレイ102と撮像素子103の間隔を変化させ、サンプリングピッチΔuを小さくした状態を示す図である。結像光学系101のF値の増大により不感帯が増大するが、レンズアレイ102と撮像素子103の間隔を大きくすることで、その不感帯に光線を入射させることができる。これにより、瞳の分割数を増大させ、ライトフィールドの取得情報量の減少および取得精度の劣化を軽減することができる。図6(c)では、レンズアレイ102を移動することで、レンズアレイ102と撮像素子103の間隔を変化させているが、本実施例はこれに限定されるものではない。レンズアレイ102を固定して撮像素子103を移動してもよく、また、レンズアレイ102および撮像素子103の両方を移動してその間隔を変化させてもよい。
【0031】
一般に、ズームレンズでは広角端で射出瞳面が最も像側に位置し、焦点距離を増大させると射出瞳が物体側へ移動することが多い。このため、焦点距離が大きくなるほどライトフィールドのサンプリングピッチが荒くなり、リフォーカス範囲の減少などを招きやすい。一方、一般にズームレンズは絞り開放時には広角端で最もF値が小さく、焦点距離が増大するほどF値が大きくなる場合が多い。要するに、広角端から望遠端に近付くほどサンプリングピッチΔuが大きくなり、かつ不感帯が増大する。このため、広角端から望遠端へ変化する際、その瞳変動に応じてレンズアレイ102と撮像素子103の間隔を変化させることで、不感帯を減らし、かつサンプリングピッチΔuを小さくすることができる。ただし、変倍及びフォーカシング時に絞りの大きさが変化せず、絞りおよびそれより像側のレンズ群が移動しない場合、焦点距離が変化しても射出瞳は変化しない。この場合、レンズアレイ102と撮像素子103の間隔を変化させなくても、撮像素子103の受光領域は変化せず、常に一定のサンプリングピッチΔuでライトフィールドを取得することができる。ただし、特定の焦点距離の状態でレンズアレイ102と撮像素子103の間隔を変化させ、そのときだけサンプリングピッチΔuを変化させてもよい。
【0032】
次に、本実施例において、レンズアレイ102と撮像素子103の間隔をどのように変化させるかについて詳述する。結像光学系101が第1の状態、第2の状態におけるレンズアレイ102と撮像素子103の間隔を、それぞれ第1の間隔、第2の間隔とする。第1の状態に対して、第2の状態における結像光学系101のF値が大きいか、または射出瞳位置が物体側である場合、第2の間隔を第1の間隔よりも大きくすればよい。このような制御により、不感帯の発生を低減し、ライトフィールドのサンプリングピッチを細かくすることができる。
【0033】
また、結像光学系101のF値の増大は不感帯の増加およびライトフィールドの情報量の減少を招く。結像光学系101の射出瞳位置が一定の場合、結像光学系101が第1のF値、第2のF値の状態におけるレンズアレイ102と撮像素子103の間隔を、それぞれ第1の間隔、第2の間隔とする。第2のF値が第1のF値より大きい場合、第2の間隔を第1の間隔よりも大きくすればよい。すなわち、結像光学系101の射出瞳の位置が一定の場合、レンズアレイ102と撮像素子103の間隔を、結像光学系101が第1のF値を有する場合の第1の間隔よりも、第1のF値より大きい第2のF値を有する場合の第2の間隔を大きくする。このような制御により、瞳変動によるライトフィールドの取得量の減少を、図6(a)、(c)に示されるように軽減することができる。
【0034】
また、結像光学系101の射出瞳位置が物体側に近付くほどサンプリングピッチΔuは大きくなり、ライトフィールドのサンプリングピッチが増大する。結像光学系101のF値が一定の場合、結像光学系101の射出瞳位置が第1の位置、第2の位置に位置している状態におけるレンズアレイ102と撮像素子103の間隔を、それぞれ第1の間隔、第2の間隔とする。第2の位置が第1の位置より物体側である場合、第2の間隔を第1の間隔よりも大きくすればよい。すなわち、F値が一定の場合、レンズアレイ102と撮像素子103の間隔を、射出瞳の位置が第1の位置にある場合の第1の間隔よりも、結像光学系101の射出瞳の位置が第1の位置より物体側である第2の位置にある場合の第2の間隔を大きくする。このような制御により、図6(a)、(c)に示されるようにライトフィールドの取得精度の劣化を軽減することができる。
【0035】
ここでは理解を容易にするため、結像光学系101の瞳変動を射出瞳位置の移動とF値の変化に分け、どちらか一方が固定されている場合に関して説明した。一般的な瞳変動は前記の2つの場合を複合することで表すことができる。例えば、広角端から望遠端への変倍にかけて、F値が大きくなり、かつ射出瞳位置が物体側へ移動するズームレンズがあったとする。この場合は、まず広角端で絞りを絞って望遠端のF値と同じにし、その後そのF値を保ったまま望遠端へ変倍したと考えることもできる。
【0036】
さらに、レンズアレイ102と撮像素子103の間隔は、以下のように変化させることが好ましい。すなわち、結像光学系101の射出瞳が物体側へ移動する際、ライトフィールドの角度成分に関するサンプリングピッチで、空間成分に関するサンプリングピッチを除した値Δx/Δuが大きくなるように、その間隔を変化させる。本実施例において、サンプリングピッチΔxは、レンズアレイ102のピッチに等しい。したがって、結像光学系101の射出瞳が物体側に移動した場合、レンズアレイ102のピッチを結像光学系101の射出瞳でのサンプリングピッチで除した値が大きくなるように、レンズアレイ102と撮像素子103の間隔を変化させることが好ましい。これにより、式(1)で表されるリフォーカス範囲など、再構成により生成される画像の自由度が増す。
【0037】
ここで、結像光学系101の射出瞳が変動する際、あるアジムス方向の断面において、射出瞳の両端とレンズアレイ102の光軸付近に位置する小レンズの中心とを結ぶ2直線を考える。レンズアレイ102と撮像素子103の間隔は、その2直線がそれぞれ撮像素子103と交わる2点の間の長さが、レンズアレイ102のピッチ以下となるように変化させることが好ましい。図9は、結像光学系101の射出瞳、およびレンズアレイ102の小レンズと前記2点の間の長さの関係図である。図9に示される2点の間の長さがレンズアレイ102のピッチを超えると、クロストークが発生する。このため、前記2点の間の長さがレンズアレイ102のピッチ以下となるように変化させることでクロストークの発生を回避し、ライトフィールドの取得情報量の減少を軽減することができる。さらに好ましくは、前記2直線がそれぞれ撮像素子103と交わる2点の間の長さが、レンズアレイ102のピッチに近付くように、レンズアレイ102と撮像素子103の間隔を変化させる。これにより、クロストークを回避し、かつ不感帯を最大限に利用してライトフィールドを取得することができる。
【0038】
ここで、レンズアレイ102を移動させて、レンズアレイ102と撮像素子103の間隔を変化させる場合を考える。結像光学系101の瞳変動に応じてレンズアレイ102が移動した場合、結像光学系101を介してレンズアレイ102と共役な面をレンズアレイ102の移動方向と逆の方向へ移動させることが好ましい。この移動は、例えば結像光学系101に設けられたフォーカシング手段により行われる。これは、図1の構成でリフォーカスを考える際に、物体側のいずれの面を軸としてピント位置を移動させるかという点に関係する。
【0039】
図10を参照して、図1の構成における前記効果について説明をする。図10は、撮像素子103を固定し、レンズアレイ102のみを移動させて、両者の間の距離を変化させている。ただし、レンズアレイ102が移動すれば、撮像素子103が移動する場合でも以下と同様の議論が成り立つ。図10(a)は、レンズアレイ102を移動させる前のリフォーカス範囲を示す。図10(b)は、単純にレンズアレイ102のみを移動させた場合のリフォーカス範囲を示す。図10(c)は、レンズアレイ102の移動後に、レンズアレイ102の結像光学系101に対する共役面をレンズアレイ102の移動方向と逆方向へ移動させた場合のリフォーカス範囲を示す。
【0040】
レンズアレイ102の移動後に前記共役面を移動させない場合、図10(a)、(b)に示されるように、レンズアレイ102の移動前後で物体側のピント位置が変化する。このとき、リフォーカス範囲は撮影時のピント位置を基準として前後に広がる。このため、レンズアレイ102の移動量に応じて、図10(a)、(b)に示されるように移動前に比べて移動後に撮像装置側のリフォーカス範囲が狭まる場合がある。これを避けるには、レンズアレイ102の移動時に結像光学系101のフォーカス群を移動し、前記共役面も移動させることが好ましい。図1の構成では、前記共役面をレンズアレイ102の移動方向と逆方向へ移動することで、図10(a)、(c)に示されるようにリフォーカス範囲を前後ともに伸ばすことができる。一方、レンズアレイ102を固定して撮像素子103を移動させた場合は、結像光学系101のフォーカスを調整しなくてもリフォーカス範囲は常に前後に拡大する。
【0041】
また、レンズアレイ102は、像側の面が凸形状の小レンズで構成されていることが好ましい。これにより、小レンズの非点収差を低減して深度が深くなる。前述のレンズアレイ102と撮像素子103の間隔の変化は、小レンズの結像関係を保ちながら行う必要がある。図1の構成の場合、結像光学系101の射出瞳面101bと撮像素子103は小レンズに対して共役関係である。小レンズの深度を深くすることで、この共役関係を保ちつつレンズアレイ102と撮像素子103の間隔を容易に変化させることができる。さらに好ましくは、レンズアレイ102は物体側の面を平面または凸形状の小レンズで構成する。これにより、小レンズの曲率が緩まって収差が低減し、また、小レンズの結像関係を保ちやすくなる。
【0042】
図11は、本実施例における撮像光学系の断面図である。図11の結像光学系101は単焦点レンズである。レンズアレイ102は、正の屈折力を有する小レンズにより構成されている。小レンズは両凸の球面固体レンズで構成されているが、表裏のいずれかの面が平面でもよく、また非球面の曲面を有していてもよい。またレンズアレイ102は、液体レンズ、液晶レンズ、回折光学素子などが並列して構成されていてもよい。
【0043】
レンズアレイ102と撮像素子103の間隔は、結像光学系101のフォーカシングおよびF値の変化に応じて変化する。図12は、レンズアレイ102と撮像素子103の間隔を変化させる駆動部1001を示す。駆動部1001は、例えば図12(a)、(b)に示されるように構成されている。レンズアレイ102の端部における3か所以上に楕円形の円盤が接しており、円盤を回転させることで図12(a)、(b)のようにレンズアレイ102を駆動させることができる。本実施例では、レンズアレイ102を駆動してレンズアレイ102と撮像素子103の間隔を変化させるが、図12(c)、(d)に示されるように撮像素子103を駆動(移動)してもよい。また、レンズアレイ102と撮像素子103の両方を移動させるように構成してもよい。
【0044】
クロストークを避けるには、光軸付近に位置するレンズアレイ102の小レンズにより撮像素子103上に形成される結像光学系101の射出瞳の像の大きさが、小レンズの大きさを超えない必要がある。好ましくは、射出瞳の像の大きさが小レンズの大きさと同程度になるように、レンズアレイ102と撮像素子103の間の距離を変化させる。これにより、不感帯を最大限に利用してライトフィールドの角度成分のサンプリングピッチを小さくすることができる。
【0045】
また、レンズアレイ102と撮像素子103の間隔は、以下の式(2)を満たすように変化させてもよい。
【0046】
【数2】
【0047】
ここで、F0は結像光学系101が取り得るF値の最小値、Fは結像光学系101の任意の状態におけるF値、Δは撮像素子103の画素ピッチ、ΔLAはレンズアレイ102のピッチである。τは、結像光学系101のF値がFの場合におけるレンズアレイ102の像側主平面と撮像素子103の間隔である。それぞれの記号の関係については図6(a)、(c)に示される。
【0048】
続いて、式(2)について説明する。式(2)は、結像光学系101の射出瞳と撮像素子103の共役関係を保ちながら、ライトフィールドのサンプリングピッチΔuが小さくなるように、レンズアレイ102と撮像素子103の間隔を変化させる式である。τ/Fは、結像光学系101のF値がFの場合に、レンズアレイ102の光軸近傍に位置する1つの小レンズを通過する光線が撮像素子103上に形成する像のあるアジムス方向における長さである。τ/FがΔLAを超えると、隣の小レンズが形成する像と混じり、正しくライトフィールドが取得できなくなる。このため、結像光学系101のF値がFのときにレンズアレイ102と撮像素子103の間隔が変化した場合、クロストークが生じない条件は、τ/(FΔLA)≦1である。
【0049】
しかし前述のとおり、レンズアレイ102の小レンズは、結像光学系101の射出瞳と撮像素子103を略共役関係で結んでいる。このため、レンズアレイ102の焦点深度内に射出瞳と撮像素子103が収まる範囲で、レンズアレイ102と撮像素子103の間隔を変化させる必要がある。そこで、結像光学系101のF値がF0かつ射出瞳位置が最も像側の場合に、レンズアレイ102の焦点深度の端に撮像素子103を配置することで、レンズアレイ102の移動可能範囲を増大することができる。このとき、以下の式(3)が成り立つ。
【0050】
【数3】
【0051】
ここで、P0は結像光学系101のF値がF0の場合の射出瞳面101bとレンズアレイ102の物体側主平面の間隔の最大値、fLAはレンズアレイ102の焦点距離である。τ0は結像光学系101のF値がF0かつ射出瞳位置が最も像側の場合のレンズアレイ102の像側主平面と撮像素子103の間隔である。一般的に、P0≫Δが成り立つため、式(3)を用いると焦点距離fLAは以下の式(4)のように近似できる。
【0052】
【数4】
【0053】
このため、レンズアレイ102を構成する小レンズのF値は、FLA=τ0/(ΔLA−Δ)となる。撮像素子103の画素ピッチがΔであるから、レンズアレイ102の像側の被写界深度はピント位置から近似的に±FLAΔと見積もることができる。このため、τ0から2FLAΔまでの範囲であれば、レンズアレイ102と撮像素子103の間隔を増大させても結像関係が概ね保たれる。
【0054】
レンズアレイ102の像側主平面と撮像素子103の間隔をτ0から2FLAΔだけ増大させた場合、クロストークと不感帯が最小限になる結像光学系101のF値の最大値Fmaxは、以下の式(5)のように表される。
【0055】
【数5】
【0056】
このため、レンズアレイ102と撮像素子103の間隔は、結像光学系101のF値がF≦Fmaxの場合にはτ/(FΔLA)≦1を満たしながら変化し、F>Fmaxの場合にはレンズアレイ102の結像関係を保つ値より大きくならないことが好ましい。この場合分けが式(2)の場合分けである。また、レンズアレイ102の焦点深度から、τの最大値τmaxは以下の式(6)で与えられる。
【0057】
【数6】
【0058】
また、クロストークが少量である場合、取得したライトフィールドが正しい値からそれほど乖離しない。また、再構成時にそのクロストークが生じていない画素のみを用いて再構成してもよい。このため、τ/(FΔLA)が1を超えても、その量が小さければ問題ない。ただし、τ/(FΔLA)が式(2)の上限である1.2を超えると、クロストークの発生した画素が多くなり再構成に使用可能な画素が少なくなる。一方、τ/(FΔLA)が式(2)の下限である0.4を下回ると、Fが増大した場合に不感帯の占める割合が増大し、ライトフィールドの取得情報量が低下する。このため、その値を式(2)の範囲内に収めることで、結像光学系101の瞳が変動した場合に、不感帯とクロストークの発生を軽減して効率よくライトフィールドを取得することができる。
【0059】
より好ましくは、以下の式(2a)の範囲とすることで、さらに瞳変動によるライトフィールドの取得情報量および取得精度の劣化を軽減することが可能である。
【0060】
【数7】
【0061】
本実施例では、Δ=0.0043(mm)、ΔLA=0.0215(mm)、F0=2.9である。また、τ0=0.06235(mm)であり、1つの小レンズによって撮像素子103上に形成される射出瞳の像の大きさは、レンズアレイ102のピッチとほぼ一致している。すなわち、F0の場合、不感帯やクロストークの発生が低減される。
【0062】
図13(a)、(b)、(c)は、絞り(F値)とτ、式(2)、および、有効画素比との関係をそれぞれ示す図である。図13(a)〜(c)のそれぞれにおいて、本実施例における関係は実線で表されている。図13(a)中の実線は、結像光学系101の絞りを絞ることによりF値が変化した場合に、τをどのように変化させるかを示している。図13(a)において、横軸は結像光学系101のF値、縦軸はレンズアレイ102の像側主平面から撮像素子103までの距離τである。横軸のF値は10までプロットされているが、結像光学系101はそれ以上の値も取り得る。図13(a)に示されるように、結像光学系101のF値が増大するにつれて、距離τが増大してレンズアレイ102と撮像素子103の間隔は大きくなる。また本実施例では、式(5)と式(6)よりFmax=4.35、τmax=0.09353(mm)と求められる。図13(a)のF値が8.9程度から距離τが一定になるのは、τ=τmaxとなるためである。距離τをこれ以上大きくすると、レンズアレイ102の結像関係が保つことができず、ライトフィールドを正しく得ることができない。
【0063】
図13(b)は、この場合における式(2)の値を示している。F値が変化しても式(2)の範囲内に収まっている。F値8.9程度から値がフラット(平坦)になっているのはτ=τmaxとなるためである。図13(c)は、レンズアレイ102と撮像素子103の間隔を変化させたことによる効果を示している。図13(c)において、縦軸の有効画素比はτ/(FΔLA)で表され、小レンズ1つに対応した画素群のうち、光が入射する画素の1次元的な割合を示している。有効画素比が1より大きい場合にはクロストークが発生し、1より小さい場合には不感帯が存在する。有効画素比が1と略等しい場合、不感帯とクロストークの発生が軽減され、最も効率的にライトフィールドを取得することができる。図13(c)中の細い実線は、レンズアレイ102と撮像素子103の間隔を固定した場合の値であり、両者の間隔を瞳変動に応じて変化させることにより有効画素比が1に近付いている。
【実施例2】
【0064】
次に、本発明の実施例2について説明する。本実施例における撮像装置の基本構成は、図4を参照して説明した実施例1の撮像装置と同様であるため、それらの説明は省略する。
【0065】
図14は、本実施例における撮像光学系の断面図である。図14の結像光学系101はズームレンズである。結像光学系101は、正の屈折力を有する第1レンズ群L1、負の屈折力を有する第2レンズ群L2、正の屈折力を有する第3レンズ群L3を備える。結像光学系101は、更に、正の屈折力を有する第4レンズ群L4、負の屈折力を有する第5レンズ群L5、正の屈折力を有する第6レンズ群L6を備える。結像光学系101は、変倍の際に各レンズ群の間隔を変化させ、第2レンズ群L2でフォーカシングを行う。レンズアレイ102は、その物体側が平面およびその像側が凸形状の小レンズで形成されている。結像光学系101の変倍、フォーカシング、絞りを絞った場合の瞳変動(瞳の位置や大きさ)に応じて、レンズアレイ102が移動する。その移動方法は実施例1と同様である。このような構成により、結像光学系101の瞳が変動した場合でも、ライトフィールドの取得情報量の減少と取得精度の劣化を軽減することができる。
【0066】
本実施例では、Δ=0.0064(mm)、ΔLA=0.032(mm)、F0=3.27である。また、τ0=0.06279(mm)であり、1つの小レンズによって撮像素子103上に形成される射出瞳の像の大きさが、レンズアレイ102のピッチよりも小さい。レンズアレイ102のピッチが5画素分であるのに対し、射出瞳の像の1次元的な大きさが3画素に対応する。すなわち、1つの小レンズあたり、1次元で2画素、2次元では16画素の不感帯が存在する。
【0067】
図13(a)中の破線は、結像光学系101の広角端において、絞りを絞ったことによるF値の変化に対するτの変化を示している。F値が増大するにつれて、τが増大してレンズアレイ102と撮像素子103の間の間隔が大きくなっている。また本実施例では、式(5)および式(6)から、Fmax=4.91、τmax=0.15698(mm)と求められる。本実施例では、F値が10以下の場合にはτmaxに至っていないため、グラフが実施例1のようにフラットになっていない。しかし、F値がさらに増大してτ=τmaxになった場合、レンズアレイ102はそれ以上物体側へ移動しない。図13(b)中の破線は、このときの式(2)の値を示している。F値全域に渡って式(2)の範囲内に収まっている。図13(c)は、この場合のレンズアレイ102と撮像素子103の間隔変化による効果を示している。図13(c)中の細い破線は、レンズアレイ102と撮像素子103の間隔を固定した場合の有効画素比である。図13(c)に示されるように、両者の間隔を瞳変動に応じて変化させたことにより、有効画素比が1に近付いている。
【0068】
次に、結像光学系101を変倍させた場合のτの変化について説明する。結像光学系101は、広角端で焦点距離が28.9mm、望遠端で291.4mmである。図15は、絞り開放時に広角端から望遠端まで変倍させた場合において、結像光学系101のF値の変化を示す図である。横軸は、結像光学系101の射出瞳面101bと像側焦点の間隔である射出瞳距離を示す。本実施例において、射出瞳距離は広角端で最小値をとり、望遠端で最大値をとる。図15に示されるように、増倍によってF値が増大しているため、不感帯が増大していると考えられる。
【0069】
図16(a)、(b)、(c)は、本実施例における変倍とτ、式(2)、および、有効画素比のそれぞれとの関係を示す図である。図16(a)〜(c)のそれぞれにおいて、本実施例における関係は破線で表されている。図16(a)中の破線は、変倍に対するτの変化を示している。射出瞳が物体側へ移動するにつれて、τは増大している。射出瞳距離が143.8程度になったときからτが一定であるのは、τ=τmaxであるためである。図16(b)は、このときの式(2)の値を示している。図16(b)に示されるように、全変倍域に対して式(2)の範囲内に収まっている。射出瞳距離が143.8程度になったときからτが一定であるのは、τ=τmaxであるためである。図16(c)は、このときの有効画素比を示している。図16(c)中の細い破線は、レンズアレイ102と撮像素子103の間隔を固定した場合の値である。広角端で有効画素比が0.6程度であるのは、前述のように小レンズ1つあたり1次元で光線が3画素に入射し、2画素が不感帯となっているためである。図16(c)に示されるように、レンズアレイ102と撮像素子103の間隔を変化させたことにより、有効画素比が1に近付いている。
【実施例3】
【0070】
次に、本発明の実施例3について説明する。本実施例では、前述の撮像装置を適用した画像処理システムについて説明する。図17は、本実施例における画像処理システムのブロック図である。図17に示されるように、画像処理システムは撮像装置301を備えている。撮像装置301は、図1の構成を備えた撮像光学系を有し、その断面図は図14に示されるとおりである。画像処理装置302は、前述の画像再構成を行うコンピュータ機器である。画像処理装置302は、撮像装置301で取得された入力画像の撮影条件情報を記憶する記憶部を備える。画像処理装置302は、この入力画像に対して所定の再構成処理を行い、その処理結果(出力画像)を出力機器305、表示機器304、記憶媒体303のいずれか又は複数に出力する。
【0071】
記憶媒体303は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器305は、例えばプリンタである。画像処理装置302には表示機器304が接続され、再構成された画像が表示機器304へ入力される。ユーザーは、表示機器304を介して再構成された画像を確認しながら作業を行うことができる。画像処理ソフトウェア306(画像処理プログラム)は、前述の再構成処理(画像処理方法)を行うとともに、必要に応じて現像処理やその他の画像処理を行う。表示機器304は、例えば液晶ディスプレイやプロジェクタなどである。なお、撮像装置301の撮像光学系とレンズアレイ102の駆動部1001は実施例2と同様であるため、それらの説明は省略する。
【0072】
本実施例では、Δ=0.0064(mm)、ΔLA=0.0192(mm)、F0=3.27である。また、τ0=0.06279(mm)であり、1つの小レンズによって撮像素子103上に形成される射出瞳の像の大きさが、レンズアレイ102のピッチと略一致している。図13(a)中の一点鎖線は、結像光学系101の広角端において、絞りを絞ったことによるF値の変化に対するτの変化を示している。F値が増大につれて、τが増大してレンズアレイ102と撮像素子103の間隔は大きくなる。また本実施例では、式(5)および式(6)より、Fmax=6.54、τmax=0.12559(mm)である。F値が6.54の場合にτ=τmaxになるため、それ以上のF値ではレンズアレイ102は固定される。
【0073】
図13(b)中の一点鎖線は、このときの式(2)の値を示している。図13(b)に示されるように、F値全域に渡って式(2)の範囲内に収まっている。F値が3.3〜5.4の範囲内では、式(2)が1を超えており、クロストークが発生している。このとき、クロストークの影響が小さければ、そのまま再構成処理をしても構わない。また、クロストークが生じていない画素のみを用いて再構成してもよい。図13(c)中の一点鎖線は、このときのレンズアレイ102と撮像素子103の間隔変化による効果を示している。図13(c)中の細い一点鎖線は、レンズアレイ102と撮像素子103の間隔を固定した場合の値である。図13(c)に示されるように、レンズアレイ102を瞳変動に応じて移動したことにより、有効画素比が1に近付いている。有効画素比は、クロストークの起きている領域では1を超えているが、前記間隔を固定した場合より1に近付いている。
【0074】
次に、絞り開放時に結像光学系101を変倍させた時のτの変化について説明する。変倍による射出瞳距離およびF値の変化は、実施例2で説明したとおりである。図16(a)中の一点鎖線は、変倍に対するτの変化を示している。射出瞳が物体側へ移動するにつれて、τは増大する。望遠端でもτがτmaxを超えていないため、実施例2と異なりグラフはフラットになっていない。図16(b)の一点鎖線は、このときの式(2)の値を示している。図16(b)に示されるように、全変倍域に対して式(2)の範囲内に収まっている。常に値が1になっているため、ライトフィールドを取得する効率が最もよい状態にレンズアレイ102と撮像素子103の間隔が変化している。図16(c)中の一点鎖線は、このときの有効画素比を示している。図16(c)中の細い一点鎖線は、レンズアレイ102と撮像素子103の間隔を固定した場合の値である。レンズアレイ102と撮像素子103の間隔が瞳変動に応じて変化したことにより有効画素比が1になり、効率的にライトフィールドを取得することができる。
【実施例4】
【0075】
次に、本発明の実施例4について説明する。本実施例における撮像装置の基本構成は、図4を参照して説明した実施例1の撮像装置と同様であるため、それらの説明は省略する。また、本実施例の撮像光学系は図3で示される構成を有し、その断面図は図23で示される。
【0076】
図3の構成において、レンズアレイ102は、結像光学系101の被写体面201に対する像側共役面202より物体側へ配置されている。また、像側共役面202と撮像素子103は、レンズアレイ102を介して共役関係になるように配置されている。すなわちレンズアレイ102は、結像光学系101の被写体面201に対する共役面(像側共役面202)と撮像素子103とが共役となるように配置されている。被写体面201からの光線は、結像光学系101及びレンズアレイ102を通過した後、光線の被写体面201上での位置と角度に応じて、撮像素子103の異なる画素へ入射し、ライトフィールドが取得される。その結果、撮像素子103では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。この性質は、後述の実施例5で説明する図2の構成に関しても同様である。図2の構成は、レンズアレイ102が像側共役面202より像側へ配置されていることを除けば、本実施例の図3に示される構成と同様である。図3の構成との違いは、レンズアレイ102が結像光学系101の形成した像を虚物体ではなく実物体として見て、撮像素子103へ再結像させることである。しかし、図2と図3に示した構成は、どちらも結像光学系101の結んだ像をレンズアレイ102が物体として見て、その像を撮像素子103へ結像しているため、本質的には同じである。
【0077】
図23に示される結像光学系101は単焦点レンズである。レンズアレイ102は、両面が凸形状となっているが、実施例1と同様にこの形状に限定されるものではない。また、駆動部1001は実施例1と同様である。
【0078】
続いて、実施例1と同様に、本実施例の構成において瞳変動によるライトフィールドの取得情報量の減少とその取得精度の劣化について説明する。ここでは理解を容易にするために、図2の構成を例に挙げて説明するが、図3に示した構成に関しても同様の議論が成り立つ。図18は、図2に結像光学系101の物体側主平面101a、射出瞳面101b、および、像側主平面101cを加えた図である。図18(a)に示されるように、被写体面201上の同一位置を通過した光線が角度に応じて分割され、それぞれ異なる画素に入射することでライトフィールドは取得される。図18(a)において、レンズアレイ102の光軸近傍に位置する小レンズを通過した光線が入射する撮像素子103上の領域は、レンズアレイ102のピッチと略同一となるように構成されている。前記領域がレンズアレイ102のピッチより小さい場合、図5(a)に示されるように不感帯が発生する。一方、前記領域がレンズアレイ102のピッチより大きい場合、図5(b)に示されるようにクロストークが発生する。このため、図18(a)の状態は、画素を無駄にすることなく、正しいライトフィールドが効率よく取得される状態である。
【0079】
図18(b)は、図18(a)の状態から、結像光学系101の射出瞳面101bが変化した状態を示している。図18(b)に示されるように、射出瞳面101bが小さくなり、さらに物体側に移動したことによって、被写体面201上の同一位置を通過した光線の分割数が小さくなっている。図18(b)では、光線の分割数が1となり、ライトフィールドの角度成分を取得できない。撮像素子ではその分、不感帯が増大している。逆に、射出瞳面101bが大きくなる、または射出瞳面101bが像側に移動すると、クロストークが発生して正しいライトフィールドを取得できない。ライトフィールドの取得情報量の減少および取得精度の劣化が及ぼす影響は、実施例1と同様である。図2の構成におけるリフォーカス範囲は、図19で示されるとおりである。この関係は、図3の構成に関しても同様に成り立つ。
【0080】
次に、図20を参照して、結像光学系101の瞳変動の影響について詳述する。実施例1と同様に、結像光学系101のF値が一定で射出瞳位置が変化した場合と、射出瞳位置が一定でF値が変化した場合とに分けて考える。図20は、本実施例における撮像光学系の瞳変動の影響を示す説明図である。図20(a)、(b)は結像光学系101のF値が一定で、射出瞳位置が変動した場合、図20(a)、(c)は結像光学系の射出瞳位置が一定で、F値が変動した場合をそれぞれ示している。
【0081】
まず、結像光学系101のF値が一定で射出瞳位置が変動した場合の影響について説明する。図20(a)の状態から図20(b)の状態の変化のように、F値が一定で射出瞳(射出瞳面101b)が物体側に移動した場合、サンプリングピッチΔuの値が大きくなり、ライトフィールドの取得精度が劣化する。再構成により生成される画像の自由度を上げるには、結像光学系101の瞳が変動した際、サンプリングピッチΔuを小さくすることが必要である。
【0082】
次に、結像光学系101のF値が大きくなると撮像素子103上で不感帯が増大し、小さくなるとクロストークが発生する。例えば、図20(a)の結像光学系のF値が3倍になると、図20(c)の状態のようになる。図20(a)では、被写体面201上の一点からの光束に対応する画素数は3画素である。しかし図20(c)では、対応する画素は1画素のみで、残り2画素は不感帯となっている。一方、図20(a)からF値が小さくなると、被写体面201の一点からの光束が広がり、5つ以上の小レンズに入射する。図20(a)の状態で不感帯が少なくなるように構成すると、被写体面201の一点に対応する画素が3画素から5画素以上になるため、他の位置に対応した画素へ光線が入射してクロストークが発生する。これにより、情報の取得が非効率的になる。またこのとき、ライトフィールドのサンプリングピッチは変化しないが、取得可能な情報量は減少する。この点は、図20(a)、(c)を比較すれば明らかである。したがって、図18(c)に示されるように、結像光学系101の瞳変動(瞳の位置や大きさ)に応じてレンズアレイ102と撮像素子103の間隔を変化させることで、ライトフィールドの取得量の減少と取得精度の劣化を軽減することができる。
【0083】
次に、本実施例においてレンズアレイ102と撮像素子103の間隔をどのように変化させるかについて詳述する。結像光学系101が第1の状態、第2の状態におけるレンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、それぞれ第1の距離の絶対値、第2の距離の絶対値とする。ここで、レンズアレイ102の像側焦点から撮像素子103までの距離とは、像側焦点から撮像素子103の受光面(物体側の面)までの距離である。第1の状態に対して、第2の状態における結像光学系101のF値が大きいか、または射出瞳位置が物体側である場合、第2の距離の絶対値は第1の距離の絶対値より小さければよい。これにより、不感帯の発生を軽減し、ライトフィールドのサンプリングピッチを細かくすることができる。
【0084】
また、結像光学系101のF値の増大は不感帯の増加およびライトフィールドの情報量の減少を招く。結像光学系101の射出瞳の位置が一定の場合、結像光学系101が第1のF値、第2のF値の状態におけるレンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、それぞれ第1の距離の絶対値、第2の距離の絶対値とする。第2のF値が第1のF値より大きい場合、第2の距離の絶対値は第1の距離の絶対値より小さければよい。すなわち、レンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、結像光学系101が第1のF値を有する場合の第1の距離の絶対値よりも、第1のF値より大きい第2のF値を有する場合の第2の距離の絶対値を小さくする。コントローラ111は、レンズアレイ102と撮像素子103の間隔を上記関係が成り立つように制御する。これにより、瞳変動によるライトフィールドの取得量の減少を、図18(a)、(c)に示されるに軽減することができる。
【0085】
また、結像光学系101の射出瞳位置が物体側に近付くほど、サンプリングピッチΔuが大きくなり、ライトフィールドのサンプリングピッチが増大する。ここで、結像光学系101のF値が一定の場合を考える。このとき、結像光学系101の射出瞳位置が第1の位置、第2の位置に位置している状態におけるレンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、それぞれ第1の距離の絶対値、第2の距離の絶対値とする。第2の位置が第1の位置より物体側である場合、第2の距離の絶対値は第1の距離の絶対値より小さければよい。すなわち、レンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、射出瞳の位置が第1の位置にある場合の第1の距離の絶対値よりも、第1の位置より物体側である第2の位置にある場合の第2の距離の絶対値を小さくする。これにより、図18(a)、(c)に示されるように、ライトフィールドの取得精度の劣化を軽減することができる。
【0086】
さらに実施例1と同様に、レンズアレイ102と撮像素子103の間隔は、結像光学系101の射出瞳が物体側へ移動した際、Δx/Δuが大きくなるように変化させることが好ましい。ここで、図2及び図3の構成において、Δxは図19のように画素をこの画素に対応した小レンズを介して像側共役面202に投影したΔ|ρ1/ρ2|に等しい。ρ1は、レンズアレイ102の物体側主平面と像側共役面202との間隔、ρ2はレンズアレイ102の像側主平面と撮像素子の間隔である。このように、結像光学系101の射出瞳が物体側に移動した場合、レンズアレイ102の撮像素子103に対する共役面でのサンプリングピッチを、結像光学系101の射出瞳でのサンプリングピッチで除した値が大きくなるように間隔を変化させる。Δx/Δuを大きくすることで、式(1)で表されるリフォーカス範囲など、再構成により生成される画像の自由度が増す。
【0087】
また、図9に示される関係は、図2および図3の構成でも成り立つ。したがって、実施例1と同様に、レンズアレイ102と撮像素子103の間隔を、図9中の2直線が撮像素子103と交わる2点の間の長さが、レンズアレイ102のピッチより大きくならないように変化させることが好ましい。さらに好ましくは、前記2点の間の長さが、レンズアレイ102のピッチに近付くように前記間隔を変化させる。これにより、クロストークと不感帯の発生を低減して効率的にライトフィールドを取得することができる。
【0088】
ここで、レンズアレイ102と撮像素子103の間隔が変化した場合における、物体側のリフォーカス範囲に関して考える。図2および図3の構成において、リフォーカス範囲の中心は図21および図22でそれぞれ表される。図21および図22は、撮像素子103を固定してレンズアレイ102のみを移動させて両者の間隔を変化させているが、図2および図3の構成では撮像素子103が移動しても同様の議論が成り立つ。図21(a)および図22(a)は、レンズアレイ102を移動する前のリフォーカス範囲を示す。図21(b)および図22は、単純にレンズアレイ102と撮像素子103の間隔を変化させた場合のリフォーカス範囲を示す。図21(c)および図22(c)は、結像光学系101を介して、撮像素子103に対するレンズアレイ102の共役面と共役な面を、前記間隔が大きくなった場合は物体側へ、小さくなった場合は像側へ移動させた場合のリフォーカス範囲を示す。
【0089】
前記共役な面を移動させない場合、図21(a)、(b)および図22(a),(b)のように、レンズアレイ102と撮像素子103の間隔の変化前後で物体側のピント位置が変化する。リフォーカス範囲は撮影したときのピント位置を基準として前後に広がるため、図21(b)および図22(b)のように前記間隔の変化後に撮像装置側のリフォーカス範囲が狭まる場合がある。これを避けるには、前記間隔が変化した際に結像光学系101のフォーカス群を移動し、前記共役な面も移動させることが好ましい。この場合、結像光学系101を介して、撮像素子103に対するレンズアレイ102の共役面と共役な面を、レンズアレイ102と撮像素子103の間隔が大きくなった場合は物体側へ、小さくなった場合は像側へ移動させることが好ましい。これにより、図21(c)および図22(c)に示されるように、リフォーカス範囲を前後ともに伸ばすことができる。
【0090】
また、レンズアレイ102と撮像素子103の間隔を変化させる場合、以下の式(7)を満たすことが好ましい。
【0091】
【数8】
【0092】
ここで、σ1は結像光学系101の焦点距離が最小の状態において、結像光学系101のF値が最小の場合のレンズアレイ102の物体側主平面と撮像素子103に対するレンズアレイ102の共役面との間隔である。σ2は同状態でのレンズアレイ102の像側主平面と撮像素子103との間隔である。τ1は結像光学系101の焦点距離とF値が任意の値の状態において、レンズアレイ102の物体側主平面と撮像素子103に対するレンズアレイ102の共役面との間隔である。τ2は同状態でのレンズアレイ102の像側主平面と撮像素子103の間隔である。
【0093】
続いて、式(7)について説明する。図2および図3に示される撮像光学系では、レンズアレイ102と撮像素子103の間隔が変化することにより、画像の空間解像度が変化する。これは、前記間隔の変化によりΔxが変化するためである。結像光学系101の焦点距離とF値が任意の状態でのΔxは、画素ピッチΔの|τ1/τ2|倍である。結像光学系101の焦点距離が最小の状態において、結像光学系101のF値が最小のときを基準として考えると、式(7)は基準状態の空間解像度に対する任意の状態の1次元空間解像度の比を表している。すなわち、式(7)はレンズアレイ102と撮像素子103の間隔変化により、空間解像度を著しく変化させないことを示す。式(7)の下限を超えると、空間解像度の劣化が激しくなる。一方、式(7)の上限を超えると、Δxが小さくなるようにレンズアレイ102と撮像素子103の間隔が変化する。Δxが小さくなると、被写体面201上の任意の位置に対応する画素数が低下するため、ライトフィールドの角度成分の取得量が減少し、またその取得精度が劣化する。
【0094】
さらに、本実施例では以下の式(7a)を満たすことがより好ましい。
【0095】
【数9】
【0096】
これによって、さらに空間解像度の変化を抑えて、ライトフィールドの取得量及び精度の低下を抑制できる。
【0097】
さらにこの場合、以下の式(8)を満たすようにレンズアレイ102と撮像素子103の間隔を変化させることが好ましい。
【0098】
【数10】
【0099】
ここで、Pは結像光学系101の焦点距離とF値が任意の状態における、結像光学系101の射出瞳と像側共役面202の間隔である。以下、Pを射出瞳距離と呼ぶ。ωはレンズアレイ102と撮像素子103の間の間隔を変化させたことによる、結像光学系101の射出瞳と撮像素子103の間隔の増分である。
【0100】
図18には、射出瞳距離Pと増分ωとの関係を示している。結像光学系101の射出瞳と撮像素子103の間隔が短くなる場合、増分ωは負の値となる。式(8)は、結像光学系101の瞳が変動した場合に、Δuが縮小する方向へレンズアレイ102と撮像素子103の間隔が変化することを表している。Δuが小さくなると、式(1)で表されるリフォーカス範囲が増大する。そこで、結像光学系101の瞳が変動した状態において、レンズアレイ102と撮像素子103の間隔の変化前後でリフォーカス範囲の比をとる。変化前のリフォーカス範囲は、以下の式(9)で表すことができる。
【0101】
【数11】
【0102】
ここで、Nbはレンズアレイ102と撮像素子103の間隔変化の前における結像光学系101の瞳の1次元分割数である。これは、射出瞳面101b上のサンプリングピッチに対する、あるアジムス断面での射出瞳面101bの長さの比に対応する。例えば、図2ではNb=3である。Fbは、レンズアレイ102と撮像素子103の間隔が変化する前の結像光学系101のF値、Pbはこのときの射出瞳距離である。式(9)では、Δの値が十分に小さいため近似を用いている。
【0103】
これに対して、レンズアレイ102と撮像素子103の間隔の変化後におけるリフォーカス範囲は、以下の式(10)で表される。
【0104】
【数12】
【0105】
ここで、Nは前記間隔の変化後における結像光学系101の瞳の1次元分割数である。式(9)に対する式(10)の比を求めることで、式(8)が得られる。このとき、P〜Pbが用いられている。式(8)の下限を超えると、レンズアレイ102と撮像素子103の間隔がΔuを増大させる方向へ変化する。一方、式(8)の上限を超えると、前記間隔の変化により空間解像度が大きく劣化する。本実施例では、以下の式(8a)の範囲を満たすことがより好ましい。このような範囲に収めることで、より空間解像度の劣化を軽減し、ライトフィールドの取得情報量の減少および精度の劣化を軽減することができる。
【0106】
【数13】
【0107】
本実施例では、Δ=0.0043(mm)、σ1=16.4540(mm)、σ2=1.1082(mm)である。結像光学系101の最小F値は2.9であり、レンズアレイ102を構成する小レンズの焦点距離は1.1882mmである。また、撮像素子103を固定して、レンズアレイ102を移動させているため、ω=0.0である。
【0108】
図24(a)〜(d)は、絞り(F値)とτ2、τ1、式(7)、および、式(8)との関係をそれぞれ示す図である。図24(a)〜(d)のそれぞれにおいて、本実施例における関係は実線で示される。図24(a)中の実線は、結像光学系101の絞りを絞ることでF値が変化した場合における、レンズアレイ102と撮像素子103の間隔τ2の変化を示している。図24(a)において、横軸は結像光学系101のF値(絞り)、縦軸はτ2である。横軸のF値は10までプロットされているが、結像光学系101はそれ以上の値も取り得る。
【0109】
図24(b)〜(d)中の実線は、このときのτ1と本実施例の式(7)および式(8)の値をそれぞれ示している。横軸は図24(a)と同じで、縦軸はそれぞれτ1、式(7)、および、式(8)の値である。図24(c)、(d)に示されるように、それぞれの値は式(7)および式(8)の範囲内に収まっている。図24(b)より、レンズアレイ102の移動によりF値が増大するにつれて、レンズアレイ102と撮像素子103に対するレンズアレイ102の共役面の間隔が広がる。図24(c)の縦軸は、レンズアレイ102の移動前に対する移動後の1次元空間解像度の比である。図24(c)に示されるように、本実施例では1次元の空間解像度が、レンズアレイ102移動前の75%以上を確保するように、レンズアレイ102が移動している。F値が3.8程度からτ1、τ2の値が一定になっているのはこのためである。
【0110】
次に、図24(d)について説明する。図24(d)の縦軸は、レンズアレイ102の移動前に対する移動後のリフォーカス範囲の比を表す。このため、この値が1以上である場合、レンズアレイ102と撮像素子103の間隔を変化させたことで、ライトフィールドの取得精度が向上していることを意味する。本実施例では、式(8)の値が1以上となっているため、ライトフィールドの取得精度が向上している。
【実施例5】
【0111】
次に、本発明の実施例5について説明する。本実施例における撮像装置の基本構成は、図4を参照して説明した実施例1の撮像装置と同様であるため、それらの説明は省略する。また、本実施例の撮像光学系は図2で示される構成を有し、その断面図は図25で示される。
【0112】
図25に示される結像光学系101はズームレンズである。結像光学系101は、正の屈折力を有する第1レンズ群L1、負の屈折力を有する第2レンズ群L2、正の屈折力を有する第3レンズ群L3を備える。結像光学系101は、更に、正の屈折力を有する第4レンズ群L4、負の屈折力を有する第5レンズ群L5、正の屈折力を有する第6レンズ群L6を備える。結像光学系101は、変倍時に各レンズ群の間隔を変化させ、第2レンズ群L2で合焦を行う。レンズアレイ102は、物体側が平面、像側が像側に凸形状の小レンズで形成されている。またレンズアレイ102は、結像光学系101の変倍、フォーカシング、絞りを絞ったときの瞳変動(瞳の位置や大きさ)に応じて移動する。レンズアレイ102の駆動方法は実施例1と同様である。これにより、結像光学系101の瞳が変動した場合でも、ライトフィールドの取得情報量の減少と取得精度の劣化を軽減することができる。
【0113】
本実施例では、Δ=0.0064(mm)、σ1=−14.6518(mm)、σ2=2.3125(mm)である。レンズアレイ102が撮像素子103に対するレンズアレイ102の共役面より物体側に存在するため、σ1は負の値を示す。結像光学系101の広角端における最小F値は3.27であり、レンズアレイ102を構成する小レンズの焦点距離は1.9973mmである。また、撮像素子103を固定してレンズアレイ102を移動させているため、ω=0.0である。
【0114】
図24(a)中の破線は、結像光学系101の広角端において、絞りを絞ることでF値が変化した場合の、レンズアレイ102から撮像素子103までの間隔τ2の変化を示している。図24(b)〜(d)中の破線は、このときのτ1、式(7)、および、式(8)の値をそれぞれ示している。図24(c)、(d)に示されるように、それぞれの値が式(7)、(8)の範囲内に収まっている。図24(b)より、レンズアレイ102の移動によりF値が増大するにつれて、|τ1|が大きくなっている。これは、撮像素子103に対するレンズアレイ102の共役面とレンズアレイ102の間隔が広がっていることを意味する。F値が4.4程度のときからτ1、τ2の値が一定になっているのは、図24(c)の破線に示されるように、空間解像度比が0.75以上となるようにしているためである。また、図24(d)の破線の値が1以上となっていることから、レンズアレイ102の移動により、ライトフィールドの取得情報量の減少およびその取得精度の劣化が軽減されている。
【0115】
次に、結像光学系101を変倍させた場合における、レンズアレイ102と撮像素子103の間隔の変化について説明する。結像光学系101は、広角端で焦点距離が28.9mm、望遠端で291.4mmである。図26は、絞り開放時に広角端から望遠端まで変倍させた場合の、結像光学系101のF値の変化を示している。図26において、横軸の射出瞳距離は、結像光学系101の射出瞳から結像光学系101の像側焦点までの距離である。射出瞳距離は、本実施例では広角端で最小値を、望遠端で最大値をとる。このため、増倍によりライトフィールドのサンプリングピッチは増大する。また図26から、増倍によりF値が増大することが分かり、不感帯も増大していると考えられる。
【0116】
図27(a)〜(d)は、変倍(射出瞳距離)とτ2、τ1、式(7)、および、式(8)との関係をそれぞれ示す図である。図27(a)〜(d)のそれぞれにおいて、破線が本実施例における関係を示している。図27(a)中の破線は、変倍に対するレンズアレイ102と撮像素子103の間隔τ2の変化を示している。また、図27(b)〜(d)中の破線は、変倍時のτ1、式(7)、および、式(8)の値をそれぞれ示している。図27(c)および図27(d)に示されるように、それぞれの値が式(7)、式(8)の範囲内に収まっている。図27(b)より、レンズアレイ102の移動により、射出瞳が物体側へ移動するにつれて、τ2が広がっていることがわかる。これにより、ライトフィールドの取得情報量の減少およびその精度劣化を軽減することができる。その効果は、図27(d)中の破線が1以上の値を示していることから読み取れる。また、レンズアレイ102の移動前に対する1次元の空間解像度比は、図27(c)に示されるように、最低でも85%以上確保されている。
【実施例6】
【0117】
次に、本発明の実施例6について説明する。本実施例では、前述の撮像装置を適用した画像処理システムについて説明する。本実施例の画像処理システムは、図17を参照して説明した実施例3と同様の構成を有している。また撮像装置301は、図3の構成を有する撮像光学系を備える。図28は、本実施例における撮像光学系の断面図である。本実施例において、画像処理装置302などの他の構成は実施例3と同様である。また、撮像装置301の結像光学系101とレンズアレイ102の駆動部は実施例1と同様である。したがって、これらの説明は省略する。
【0118】
本実施例では、Δ=0.0064(mm)、σ1=8.3725(mm)、σ2=1.5742(mm)である。結像光学系101の広角端における最小F値は3.27であり、レンズアレイ102を構成する小レンズの焦点距離は1.9387mmである。また、撮像素子103を固定して、レンズアレイ102を移動させているため、ω=0.0である。
【0119】
図24(a)中の一点鎖線は、結像光学系101の広角端において絞りを絞ることでF値が変化した場合での、τ2の変化を示している。図24(b)〜(d)中の一点鎖線は、このときのτ1、式(7)、および、式(8)の値をそれぞれ示している。図24(c)および図24(d)に示されるように、それぞれの値が式(7)および式(8)の範囲内に収まっている。図24(b)中の一点鎖線から、レンズアレイ102の移動により、結像光学系101のF値の増大につれてτ1が大きくなっていることが分かる。F値8.0程度からτ1、τ2の値が一定となっているのは、図24(c)の一点鎖線で示されるように、レンズアレイ102の移動前に対する1次元の空間解像度比が0.5以上であるためである。また、図24(d)の一点鎖線の値が1以上となっていることから、レンズアレイ102の移動により、ライトフィールドの取得情報量の減少およびその精度劣化を軽減することができる。
【0120】
次に、結像光学系101を変倍させた場合における、レンズアレイ102と撮像素子103の間隔の変化について説明する。変倍による射出瞳距離およびF値の変化は、実施例5で説明したとおりである。図27(a)中の一点鎖線は、変倍に対するτ2の変化を示している。また、図27(b)〜(d)中の一点鎖線は、変倍時のτ1、式(7)、および、式(8)の値をそれぞれ示している。図27(c)および図27(d)に示されるように、それぞれの式(7)および式(8)の範囲内に収まっている。また図27(b)に示されるように、射出瞳が物体側へ移動するにつれて、τ1は大きくなっている。また、図27(d)中の一点鎖線が1以上の値を示しているため、ライトフィールドが効率よく取得されていることが分かる。また、レンズアレイ102の移動前に対する1次元の空間解像度比は、図27(c)に示されるように、最低でも75%以上確保されている。
【0121】
上記各実施例によれば、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供することができる。
【0122】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0123】
101 結像光学系
102 レンズアレイ
103 撮像素子
111 システムコントローラ
【技術分野】
【0001】
本発明は、被写体空間の光の2次元強度分布と光線の角度情報を取得する撮像装置に関する。
【背景技術】
【0002】
近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献1、2には、「Light Field Photography」を用いて、被写体空間の光の2次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の2次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することにより被写体空間の3次元的な情報を得ることができる。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、リフォーカスと呼ばれる画像のピント位置、撮影視点、被写界深度等を変更することが可能である。
【0003】
特許文献1には、非特許文献1で示されている構成においてレンズアレイの位置を切り換えることで、通常の撮影とライトフィールドの取得を切り換え可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第4264569号
【非特許文献】
【0005】
【非特許文献1】Ren Ng、他5名、「Light Field Photography with a Hand−held Plenoptic Camera」、Stanford Tech Report CTSR 2005−2
【非特許文献2】Andrew Lumsdaine、他1名、「Full Resolution Light Field Rendering」、Adobe Technical Report January 2008
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献1、2には、結像光学系の射出瞳の位置や大きさが変化した場合の弊害、および、それに対する対策について開示されていない。結像光学系の射出瞳は、結像光学系の変倍やフォーカシング、また、絞りを絞ることで変化する。結像光学系の射出瞳が変化すると、被写体面上のある位置に対応する光束が撮像素子上で適切な領域に入射しなくなる。このため、不感帯と呼ばれる光線の入射しない画素が増大し、また、クロストークと呼ばれる被写体面上で異なる位置と角度を有する光線が同一の画素に入射する現象が発生する。また、ライトフィールドの角度成分である光線の角度情報に関するサンプリングピッチも大きくなる。このとき、前述の再構成によって生成される画像が制限される。例えば、リフォーカスは撮影時にピントの合っていた被写体面を軸として前後にピント位置を移動させるが、ライトフィールドの角度成分のサンプリングピッチが増大すると、その移動可能範囲は減少する。
【0007】
また特許文献1には、レンズアレイの位置が可変のライトフィールドを取得する撮像装置が開示されている。しかし、それは通常の撮影とライトフィールドの取得の切り替えのために行われる。結像光学系の射出瞳の位置や大きさが変化した場合の弊害、および、それに対する対策については開示されていない。また、レンズアレイと撮像素子との間隔における変化の仕方と射出瞳の変動に相関も存在しない。
【0008】
そこで本発明は、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供する。
【課題を解決するための手段】
【0009】
本発明の一側面としての撮像装置は、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、前記結像光学系の瞳変動に応じて、前記レンズアレイと前記撮像素子の間隔を変化させる制御手段とを有する。
【0010】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【0011】
本発明によれば、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供することができる。
【図面の簡単な説明】
【0012】
【図1】実施例1乃至3における撮像光学系の概略構成図である。
【図2】実施例5における撮像光学系の概略構成図である。
【図3】実施例4、6における撮像光学系の概略構成図である。
【図4】実施例1、2、4、5における撮像装置のブロック図である。
【図5】本実施例における撮像素子上に形成される像の説明図である。
【図6】実施例1乃至3における撮像光学系の説明図である。
【図7】実施例1乃至3におけるリフォーカス範囲の説明図である。
【図8】実施例1乃至3における撮像光学系の瞳変動の影響を示す説明図である。
【図9】本実施例における撮像光学系でのレンズアレイと撮像素子の間隔の変化を示す図である。
【図10】実施例1乃至3におけるリフォーカス範囲の拡大を示す説明図である。
【図11】実施例1における撮像光学系の断面図である。
【図12】実施例1乃至6におけるレンズアレイと撮像素子の駆動部を示す図である。
【図13】実施例1乃至3における絞りとτ、式(2)、および、有効画素比との関係を示す図である。
【図14】実施例2、3における撮像光学系の断面図である。
【図15】実施例2、3における結像光学系の変倍(射出瞳距離)とF値の関係を示す図である。
【図16】実施例2、3における変倍とτ、式(2)、および、有効画素比との関係を示す図である。
【図17】実施例3、6における画像処置システムのブロック図である。
【図18】実施例4における撮像光学系の説明図である。
【図19】実施例4におけるリフォーカス範囲の説明図である。
【図20】実施例4における撮像光学系の瞳変動の影響を示す説明図である。
【図21】実施例4におけるリフォーカス範囲の拡大を示す説明図である。
【図22】実施例4、6におけるリフォーカス範囲の拡大を示す説明図である。
【図23】実施例4における撮像光学系の断面図である。
【図24】実施例4乃至6における絞り(F値)とτ2、τ1、式(7)、および、式(8)との関係を示す図である。
【図25】実施例5における撮像光学系の断面図である。
【図26】実施例5、6における結像光学系の変倍(射出瞳距離)とF値との関係を示す図である。
【図27】実施例5、6における変倍(射出瞳距離)とτ2、τ1、式(7)、および、式(8)との関係を示す図である。
【図28】実施例6における撮像光学系の断面図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【0014】
各実施例は、ライトフィールドを取得する撮像装置において、結像光学系の瞳変動(瞳の位置や大きさの変化)に伴うライトフィールドの取得量(情報量)と取得精度の低下に対する影響を低減するものである。
【実施例1】
【0015】
まず、図4を参照して、本発明の実施例1における撮像装置の構成について説明する。図4は、本実施例における撮像装置のブロック図である。被写体空間(不図示)からの光線は、結像光学系101、および、複数の小レンズを備えて構成されたレンズアレイ102を介して、複数の画素を備えた撮像素子103で受光される。結像光学系101、レンズアレイ102、および、撮像素子103により撮像光学系が構成される。
【0016】
撮像素子103は、CCD(Charge Coupled Device)やCMOS(Complementary Metal−Oxide Semiconductor)などの2次元撮像素子であり、複数の画素を備える。主レンズ群を備えて構成される結像光学系101およびレンズアレイ102を介して撮像素子103に入射した光線のエネルギーは電気信号(アナログ信号)となり、A/Dコンバータ104でデジタル信号へ変換される。このデジタル信号は、画像処理部105にて所定の処理が行われ、半導体メモリなどの画像記録媒体110に所定のフォーマットで保存される。この際、同時に状態検知部108から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部108は、システムコントローラ111から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部107から得ることもできる。
【0017】
画像記録媒体110に保存された画像を表示部106に表示する際には、画像処理部105で撮影条件情報に基づいた再構成処理が施される。その結果、表示部106には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定(視点、ピント、被写界深度など)を予め記憶部109に保存し、画像記録媒体110を介さずに再構成画像を表示部106に直接表示させてもよい。さらに、画像記録媒体110に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ111により行われ、撮像光学系の機械的な駆動はシステムコントローラ111の指示によって光学系制御部107で行われる。
【0018】
次に、結像光学系101の瞳変動によるライトフィールドの取得情報量の減少および取得精度の劣化について説明し、続いて、その情報量減少および精度劣化を防ぐためのレンズアレイ102と撮像素子103との間隔の変化について説明する。以下の説明は、理解容易のため、1次元系の場合について行う。しかし、2次元系に関しても同様の理論が成り立つ。
【0019】
まず、ライトフィールドを取得する撮像光学系の瞳変動による取得情報量の減少および取得精度の劣化について説明する。図1は、本実施例における撮像光学系の概略構成図である。図6(a)〜(c)は、図1の結像光学系101に物体側主平面101a、射出瞳面101b、および、像側主平面101cを加えた図である。図1および図6(a)に示されるように、レンズアレイ102は、結像光学系101の被写体面201に対する共役面(像側共役面)に配置されている。このとき、レンズアレイ102は、撮像素子103と射出瞳面101bが略共役関係になるように構成されている。レンズアレイ102は、このような構成により、被写体面201の同一位置からの光線を、この光線が通過する結像光学系101の瞳領域に応じて、撮像素子103の互いに異なる画素に入射させる。このため、本実施例の撮像装置によれば、ライトフィールドを取得することが可能となる。図6(a)において、レンズアレイ102の光軸近傍に位置する小レンズを通過した光線が入射する撮像素子103上の領域は、レンズアレイ102のピッチと略同一である。小レンズとは、レンズアレイ102を構成するレンズの1つを示す。前記領域がレンズアレイ102のピッチより小さい場合、何の情報も取得しない不感帯が発生し、画素が無駄になる。
【0020】
図5(a)、(b)は、撮像素子103上に発生する不感帯を2次元的に示した図である。図5(a)中の白い円は、結像光学系101とレンズアレイ102の1つの小レンズを通過した光線が撮像素子103上に入射する領域を表している。それ以外の斜線の部分は、光線の入射しない不感帯である。一方、前記領域がレンズアレイ102のピッチより大きい場合、レンズアレイ102の隣接する小レンズをそれぞれ通過した光線が混じるクロストークが発生し、正しいライトフィールドが得られない。図5(b)中において、白い円の重なった部分は、クロストークを表している。
【0021】
このように、図6(a)は、画素を無駄にすることなく正しいライトフィールドを効率よく取得可能な状態である。図6(b)は、図6(a)の状態から、結像光学系101の射出瞳(射出瞳面101b)が変化した場合(瞳変動が生じた場合)を示している。ここで瞳変動とは、具体的には結像光学系101の変倍、フォーカシング、絞りを絞ること等によって発生する瞳(射出瞳)の位置や大きさの変化である。図6(b)に示されるように、射出瞳面101bが小さくなり、さらに物体側に移動したことにより、被写体面201上における同一位置からの光束の分割数が小さくなっている。図6(b)では瞳の分割数が1となり、ライトフィールドの角度成分を取得できない。撮像素子103ではその分、不感帯が増大している。逆に、射出瞳面101bが大きくなるか、または射出瞳面101bが像側に移動すると、クロストークが発生して正しいライトフィールドが得られない。
【0022】
次に、ライトフィールドの取得量(取得情報量)の減少および取得精度の劣化が画像再構成に及ぼす影響について、リフォーカスを例として説明する。リフォーカスに関しては、「Fourier Slice Photography」(Ren Ng著、2005 ACM Trans. Graph. 24, 735−744参照)で詳述されているため、本実施例では簡単に説明する。リフォーカス範囲は、被写体空間での光の2次元強度分布を表す空間成分のサンプリングピッチΔxと、光線の角度情報を表す角度成分のサンプリングピッチΔuで決定され、その係数α±は以下の式(1)のように与えられる。
【0023】
【数1】
【0024】
ここで、Δxは被写体面201対する結像光学系101の像側共役面202上のサンプリングピッチ、Δuは結像光学系101の射出瞳面101b上のサンプリングピッチである。図7は、本実施例におけるα±、Δx、Δu及びリフォーカス範囲の説明図である。本実施例において、サンプリングピッチΔxは、レンズアレイ102のピッチに一致する。式(1)を用いて表される像側のリフォーカス範囲α+s2〜α−s2と結像光学系101を介して共役な範囲が、物体側のリフォーカス範囲となる。s2は、結像光学系101の像側主平面101cと被写体面201に対する結像光学系101の像側共役面との間隔である。
【0025】
次に図8を参照して、結像光学系101の瞳変動の影響について説明する。理解を容易にするために、結像光学系101のF値が一定で射出瞳位置が変化した場合と、射出瞳位置が一定でF値が変化した場合に分けて説明する。図8(a)、(b)は結像光学系101のF値が一定で射出瞳位置が変動した場合、図8(a)、(c)は結像光学系101の射出瞳位置が一定でF値が変動した場合を示している。
【0026】
まず、結像光学系101のF値が一定で射出瞳位置が変動した場合の影響について説明する。図8(a)の状態から図8(b)の状態への変化のようにF値が一定で射出瞳が物体側に移動した場合、ライトフィールドの取得精度は劣化する。換言すると、射出瞳面101b上でのサンプリングピッチΔuの値が大きくなる。このため、式(1)で表される係数α±は、1に近付いてリフォーカス範囲は狭まる。逆に、図8(a)に示される状態から射出瞳が像側に移動した場合、サンプリングピッチΔuの値は小さくなる。このため、係数α±は1から離れ、リフォーカス範囲は増大する。このように、結像光学系101の射出瞳位置(射出瞳面101bの位置)の変動は、リフォーカス範囲の変動を引き起こす。リフォーカス以外の視点変更や被写界深度の調整も、同様に、サンプリングピッチΔuが小さくなるほど、すなわちライトフィールドのサンプリングピッチが細かくなるほど、その自由度が増す。したがって、結像光学系101の瞳が変動した場合には、サンプリングピッチΔuを小さくすることが必要となる。
【0027】
次に、結像光学系101のF値の変化が与える影響について考える。結論としては、結像光学系101のF値が大きくなる(瞳が小さくなる)と撮像素子103上で不感帯が増大する。一方、結像光学系101のF値が小さくなる(瞳が大きくなる)と、クロストークが発生する。例えば、図8(a)の状態から結像光学系101のF値が3倍になると、図8(c)の状態になる。図8(a)では1つの小レンズあたりの光が入射する画素数は3画素であるのに対し、図8(c)では受光画素は1画素のみであり、残り2画素は不感帯となっている。
【0028】
逆に、F値が小さくなると、小レンズを通過した光線は隣の小レンズを通過した光線と混合し、クロストークが発生する。このとき、クロストークが生じた画素を再構成に用いると、画像が正しく形成できない。このため、正しい画像を出力するには、クロストークの発生していない画素のみを再構成処理に用いる必要がある。したがって、不感帯やクロストークが発生した場合には、使用しない画素が発生し、情報の取得が非効率的になる。また、このとき、ライトフィールドのサンプリングピッチは変化しないが、取得可能な情報量は減少する。このことは、図8(a)、(c)を比較すれば明らかである。
【0029】
ここまでの議論で、ライトフィールドを取得する撮像光学系における結像光学系101の瞳変動による課題が明らかとなった。射出瞳位置が物体側へ移動するとライトフィールドのサンプリングピッチが荒くなり、F値が変化するとライトフィールドの取得効率と情報量が低下する。上記の説明では射出瞳位置の移動とF値の変化を、それぞれを個別に扱ったが、実際には2つの現象が複合して起こる場合もある。これらの課題を解決するために、瞳変動(瞳の位置や大きさ)に応じてレンズアレイ102と撮像素子103の間隔(距離)を変化させる。この間隔は、図4中のシステムコントローラ111(制御手段)により制御される。より具体的には、システムコントローラ111が後述の駆動部1001を制御することにより、駆動部1001はレンズアレイ102または撮像素子103(または、これらの両方)を移動させる。レンズアレイ102と撮像素子103の間隔が変化することで、ライトフィールドの取得量と取得精度の低下を軽減し、上記の課題を克服することができる。
【0030】
図6(c)は、図6(b)の瞳変動に応じて、レンズアレイ102と撮像素子103の間隔を変化させ、サンプリングピッチΔuを小さくした状態を示す図である。結像光学系101のF値の増大により不感帯が増大するが、レンズアレイ102と撮像素子103の間隔を大きくすることで、その不感帯に光線を入射させることができる。これにより、瞳の分割数を増大させ、ライトフィールドの取得情報量の減少および取得精度の劣化を軽減することができる。図6(c)では、レンズアレイ102を移動することで、レンズアレイ102と撮像素子103の間隔を変化させているが、本実施例はこれに限定されるものではない。レンズアレイ102を固定して撮像素子103を移動してもよく、また、レンズアレイ102および撮像素子103の両方を移動してその間隔を変化させてもよい。
【0031】
一般に、ズームレンズでは広角端で射出瞳面が最も像側に位置し、焦点距離を増大させると射出瞳が物体側へ移動することが多い。このため、焦点距離が大きくなるほどライトフィールドのサンプリングピッチが荒くなり、リフォーカス範囲の減少などを招きやすい。一方、一般にズームレンズは絞り開放時には広角端で最もF値が小さく、焦点距離が増大するほどF値が大きくなる場合が多い。要するに、広角端から望遠端に近付くほどサンプリングピッチΔuが大きくなり、かつ不感帯が増大する。このため、広角端から望遠端へ変化する際、その瞳変動に応じてレンズアレイ102と撮像素子103の間隔を変化させることで、不感帯を減らし、かつサンプリングピッチΔuを小さくすることができる。ただし、変倍及びフォーカシング時に絞りの大きさが変化せず、絞りおよびそれより像側のレンズ群が移動しない場合、焦点距離が変化しても射出瞳は変化しない。この場合、レンズアレイ102と撮像素子103の間隔を変化させなくても、撮像素子103の受光領域は変化せず、常に一定のサンプリングピッチΔuでライトフィールドを取得することができる。ただし、特定の焦点距離の状態でレンズアレイ102と撮像素子103の間隔を変化させ、そのときだけサンプリングピッチΔuを変化させてもよい。
【0032】
次に、本実施例において、レンズアレイ102と撮像素子103の間隔をどのように変化させるかについて詳述する。結像光学系101が第1の状態、第2の状態におけるレンズアレイ102と撮像素子103の間隔を、それぞれ第1の間隔、第2の間隔とする。第1の状態に対して、第2の状態における結像光学系101のF値が大きいか、または射出瞳位置が物体側である場合、第2の間隔を第1の間隔よりも大きくすればよい。このような制御により、不感帯の発生を低減し、ライトフィールドのサンプリングピッチを細かくすることができる。
【0033】
また、結像光学系101のF値の増大は不感帯の増加およびライトフィールドの情報量の減少を招く。結像光学系101の射出瞳位置が一定の場合、結像光学系101が第1のF値、第2のF値の状態におけるレンズアレイ102と撮像素子103の間隔を、それぞれ第1の間隔、第2の間隔とする。第2のF値が第1のF値より大きい場合、第2の間隔を第1の間隔よりも大きくすればよい。すなわち、結像光学系101の射出瞳の位置が一定の場合、レンズアレイ102と撮像素子103の間隔を、結像光学系101が第1のF値を有する場合の第1の間隔よりも、第1のF値より大きい第2のF値を有する場合の第2の間隔を大きくする。このような制御により、瞳変動によるライトフィールドの取得量の減少を、図6(a)、(c)に示されるように軽減することができる。
【0034】
また、結像光学系101の射出瞳位置が物体側に近付くほどサンプリングピッチΔuは大きくなり、ライトフィールドのサンプリングピッチが増大する。結像光学系101のF値が一定の場合、結像光学系101の射出瞳位置が第1の位置、第2の位置に位置している状態におけるレンズアレイ102と撮像素子103の間隔を、それぞれ第1の間隔、第2の間隔とする。第2の位置が第1の位置より物体側である場合、第2の間隔を第1の間隔よりも大きくすればよい。すなわち、F値が一定の場合、レンズアレイ102と撮像素子103の間隔を、射出瞳の位置が第1の位置にある場合の第1の間隔よりも、結像光学系101の射出瞳の位置が第1の位置より物体側である第2の位置にある場合の第2の間隔を大きくする。このような制御により、図6(a)、(c)に示されるようにライトフィールドの取得精度の劣化を軽減することができる。
【0035】
ここでは理解を容易にするため、結像光学系101の瞳変動を射出瞳位置の移動とF値の変化に分け、どちらか一方が固定されている場合に関して説明した。一般的な瞳変動は前記の2つの場合を複合することで表すことができる。例えば、広角端から望遠端への変倍にかけて、F値が大きくなり、かつ射出瞳位置が物体側へ移動するズームレンズがあったとする。この場合は、まず広角端で絞りを絞って望遠端のF値と同じにし、その後そのF値を保ったまま望遠端へ変倍したと考えることもできる。
【0036】
さらに、レンズアレイ102と撮像素子103の間隔は、以下のように変化させることが好ましい。すなわち、結像光学系101の射出瞳が物体側へ移動する際、ライトフィールドの角度成分に関するサンプリングピッチで、空間成分に関するサンプリングピッチを除した値Δx/Δuが大きくなるように、その間隔を変化させる。本実施例において、サンプリングピッチΔxは、レンズアレイ102のピッチに等しい。したがって、結像光学系101の射出瞳が物体側に移動した場合、レンズアレイ102のピッチを結像光学系101の射出瞳でのサンプリングピッチで除した値が大きくなるように、レンズアレイ102と撮像素子103の間隔を変化させることが好ましい。これにより、式(1)で表されるリフォーカス範囲など、再構成により生成される画像の自由度が増す。
【0037】
ここで、結像光学系101の射出瞳が変動する際、あるアジムス方向の断面において、射出瞳の両端とレンズアレイ102の光軸付近に位置する小レンズの中心とを結ぶ2直線を考える。レンズアレイ102と撮像素子103の間隔は、その2直線がそれぞれ撮像素子103と交わる2点の間の長さが、レンズアレイ102のピッチ以下となるように変化させることが好ましい。図9は、結像光学系101の射出瞳、およびレンズアレイ102の小レンズと前記2点の間の長さの関係図である。図9に示される2点の間の長さがレンズアレイ102のピッチを超えると、クロストークが発生する。このため、前記2点の間の長さがレンズアレイ102のピッチ以下となるように変化させることでクロストークの発生を回避し、ライトフィールドの取得情報量の減少を軽減することができる。さらに好ましくは、前記2直線がそれぞれ撮像素子103と交わる2点の間の長さが、レンズアレイ102のピッチに近付くように、レンズアレイ102と撮像素子103の間隔を変化させる。これにより、クロストークを回避し、かつ不感帯を最大限に利用してライトフィールドを取得することができる。
【0038】
ここで、レンズアレイ102を移動させて、レンズアレイ102と撮像素子103の間隔を変化させる場合を考える。結像光学系101の瞳変動に応じてレンズアレイ102が移動した場合、結像光学系101を介してレンズアレイ102と共役な面をレンズアレイ102の移動方向と逆の方向へ移動させることが好ましい。この移動は、例えば結像光学系101に設けられたフォーカシング手段により行われる。これは、図1の構成でリフォーカスを考える際に、物体側のいずれの面を軸としてピント位置を移動させるかという点に関係する。
【0039】
図10を参照して、図1の構成における前記効果について説明をする。図10は、撮像素子103を固定し、レンズアレイ102のみを移動させて、両者の間の距離を変化させている。ただし、レンズアレイ102が移動すれば、撮像素子103が移動する場合でも以下と同様の議論が成り立つ。図10(a)は、レンズアレイ102を移動させる前のリフォーカス範囲を示す。図10(b)は、単純にレンズアレイ102のみを移動させた場合のリフォーカス範囲を示す。図10(c)は、レンズアレイ102の移動後に、レンズアレイ102の結像光学系101に対する共役面をレンズアレイ102の移動方向と逆方向へ移動させた場合のリフォーカス範囲を示す。
【0040】
レンズアレイ102の移動後に前記共役面を移動させない場合、図10(a)、(b)に示されるように、レンズアレイ102の移動前後で物体側のピント位置が変化する。このとき、リフォーカス範囲は撮影時のピント位置を基準として前後に広がる。このため、レンズアレイ102の移動量に応じて、図10(a)、(b)に示されるように移動前に比べて移動後に撮像装置側のリフォーカス範囲が狭まる場合がある。これを避けるには、レンズアレイ102の移動時に結像光学系101のフォーカス群を移動し、前記共役面も移動させることが好ましい。図1の構成では、前記共役面をレンズアレイ102の移動方向と逆方向へ移動することで、図10(a)、(c)に示されるようにリフォーカス範囲を前後ともに伸ばすことができる。一方、レンズアレイ102を固定して撮像素子103を移動させた場合は、結像光学系101のフォーカスを調整しなくてもリフォーカス範囲は常に前後に拡大する。
【0041】
また、レンズアレイ102は、像側の面が凸形状の小レンズで構成されていることが好ましい。これにより、小レンズの非点収差を低減して深度が深くなる。前述のレンズアレイ102と撮像素子103の間隔の変化は、小レンズの結像関係を保ちながら行う必要がある。図1の構成の場合、結像光学系101の射出瞳面101bと撮像素子103は小レンズに対して共役関係である。小レンズの深度を深くすることで、この共役関係を保ちつつレンズアレイ102と撮像素子103の間隔を容易に変化させることができる。さらに好ましくは、レンズアレイ102は物体側の面を平面または凸形状の小レンズで構成する。これにより、小レンズの曲率が緩まって収差が低減し、また、小レンズの結像関係を保ちやすくなる。
【0042】
図11は、本実施例における撮像光学系の断面図である。図11の結像光学系101は単焦点レンズである。レンズアレイ102は、正の屈折力を有する小レンズにより構成されている。小レンズは両凸の球面固体レンズで構成されているが、表裏のいずれかの面が平面でもよく、また非球面の曲面を有していてもよい。またレンズアレイ102は、液体レンズ、液晶レンズ、回折光学素子などが並列して構成されていてもよい。
【0043】
レンズアレイ102と撮像素子103の間隔は、結像光学系101のフォーカシングおよびF値の変化に応じて変化する。図12は、レンズアレイ102と撮像素子103の間隔を変化させる駆動部1001を示す。駆動部1001は、例えば図12(a)、(b)に示されるように構成されている。レンズアレイ102の端部における3か所以上に楕円形の円盤が接しており、円盤を回転させることで図12(a)、(b)のようにレンズアレイ102を駆動させることができる。本実施例では、レンズアレイ102を駆動してレンズアレイ102と撮像素子103の間隔を変化させるが、図12(c)、(d)に示されるように撮像素子103を駆動(移動)してもよい。また、レンズアレイ102と撮像素子103の両方を移動させるように構成してもよい。
【0044】
クロストークを避けるには、光軸付近に位置するレンズアレイ102の小レンズにより撮像素子103上に形成される結像光学系101の射出瞳の像の大きさが、小レンズの大きさを超えない必要がある。好ましくは、射出瞳の像の大きさが小レンズの大きさと同程度になるように、レンズアレイ102と撮像素子103の間の距離を変化させる。これにより、不感帯を最大限に利用してライトフィールドの角度成分のサンプリングピッチを小さくすることができる。
【0045】
また、レンズアレイ102と撮像素子103の間隔は、以下の式(2)を満たすように変化させてもよい。
【0046】
【数2】
【0047】
ここで、F0は結像光学系101が取り得るF値の最小値、Fは結像光学系101の任意の状態におけるF値、Δは撮像素子103の画素ピッチ、ΔLAはレンズアレイ102のピッチである。τは、結像光学系101のF値がFの場合におけるレンズアレイ102の像側主平面と撮像素子103の間隔である。それぞれの記号の関係については図6(a)、(c)に示される。
【0048】
続いて、式(2)について説明する。式(2)は、結像光学系101の射出瞳と撮像素子103の共役関係を保ちながら、ライトフィールドのサンプリングピッチΔuが小さくなるように、レンズアレイ102と撮像素子103の間隔を変化させる式である。τ/Fは、結像光学系101のF値がFの場合に、レンズアレイ102の光軸近傍に位置する1つの小レンズを通過する光線が撮像素子103上に形成する像のあるアジムス方向における長さである。τ/FがΔLAを超えると、隣の小レンズが形成する像と混じり、正しくライトフィールドが取得できなくなる。このため、結像光学系101のF値がFのときにレンズアレイ102と撮像素子103の間隔が変化した場合、クロストークが生じない条件は、τ/(FΔLA)≦1である。
【0049】
しかし前述のとおり、レンズアレイ102の小レンズは、結像光学系101の射出瞳と撮像素子103を略共役関係で結んでいる。このため、レンズアレイ102の焦点深度内に射出瞳と撮像素子103が収まる範囲で、レンズアレイ102と撮像素子103の間隔を変化させる必要がある。そこで、結像光学系101のF値がF0かつ射出瞳位置が最も像側の場合に、レンズアレイ102の焦点深度の端に撮像素子103を配置することで、レンズアレイ102の移動可能範囲を増大することができる。このとき、以下の式(3)が成り立つ。
【0050】
【数3】
【0051】
ここで、P0は結像光学系101のF値がF0の場合の射出瞳面101bとレンズアレイ102の物体側主平面の間隔の最大値、fLAはレンズアレイ102の焦点距離である。τ0は結像光学系101のF値がF0かつ射出瞳位置が最も像側の場合のレンズアレイ102の像側主平面と撮像素子103の間隔である。一般的に、P0≫Δが成り立つため、式(3)を用いると焦点距離fLAは以下の式(4)のように近似できる。
【0052】
【数4】
【0053】
このため、レンズアレイ102を構成する小レンズのF値は、FLA=τ0/(ΔLA−Δ)となる。撮像素子103の画素ピッチがΔであるから、レンズアレイ102の像側の被写界深度はピント位置から近似的に±FLAΔと見積もることができる。このため、τ0から2FLAΔまでの範囲であれば、レンズアレイ102と撮像素子103の間隔を増大させても結像関係が概ね保たれる。
【0054】
レンズアレイ102の像側主平面と撮像素子103の間隔をτ0から2FLAΔだけ増大させた場合、クロストークと不感帯が最小限になる結像光学系101のF値の最大値Fmaxは、以下の式(5)のように表される。
【0055】
【数5】
【0056】
このため、レンズアレイ102と撮像素子103の間隔は、結像光学系101のF値がF≦Fmaxの場合にはτ/(FΔLA)≦1を満たしながら変化し、F>Fmaxの場合にはレンズアレイ102の結像関係を保つ値より大きくならないことが好ましい。この場合分けが式(2)の場合分けである。また、レンズアレイ102の焦点深度から、τの最大値τmaxは以下の式(6)で与えられる。
【0057】
【数6】
【0058】
また、クロストークが少量である場合、取得したライトフィールドが正しい値からそれほど乖離しない。また、再構成時にそのクロストークが生じていない画素のみを用いて再構成してもよい。このため、τ/(FΔLA)が1を超えても、その量が小さければ問題ない。ただし、τ/(FΔLA)が式(2)の上限である1.2を超えると、クロストークの発生した画素が多くなり再構成に使用可能な画素が少なくなる。一方、τ/(FΔLA)が式(2)の下限である0.4を下回ると、Fが増大した場合に不感帯の占める割合が増大し、ライトフィールドの取得情報量が低下する。このため、その値を式(2)の範囲内に収めることで、結像光学系101の瞳が変動した場合に、不感帯とクロストークの発生を軽減して効率よくライトフィールドを取得することができる。
【0059】
より好ましくは、以下の式(2a)の範囲とすることで、さらに瞳変動によるライトフィールドの取得情報量および取得精度の劣化を軽減することが可能である。
【0060】
【数7】
【0061】
本実施例では、Δ=0.0043(mm)、ΔLA=0.0215(mm)、F0=2.9である。また、τ0=0.06235(mm)であり、1つの小レンズによって撮像素子103上に形成される射出瞳の像の大きさは、レンズアレイ102のピッチとほぼ一致している。すなわち、F0の場合、不感帯やクロストークの発生が低減される。
【0062】
図13(a)、(b)、(c)は、絞り(F値)とτ、式(2)、および、有効画素比との関係をそれぞれ示す図である。図13(a)〜(c)のそれぞれにおいて、本実施例における関係は実線で表されている。図13(a)中の実線は、結像光学系101の絞りを絞ることによりF値が変化した場合に、τをどのように変化させるかを示している。図13(a)において、横軸は結像光学系101のF値、縦軸はレンズアレイ102の像側主平面から撮像素子103までの距離τである。横軸のF値は10までプロットされているが、結像光学系101はそれ以上の値も取り得る。図13(a)に示されるように、結像光学系101のF値が増大するにつれて、距離τが増大してレンズアレイ102と撮像素子103の間隔は大きくなる。また本実施例では、式(5)と式(6)よりFmax=4.35、τmax=0.09353(mm)と求められる。図13(a)のF値が8.9程度から距離τが一定になるのは、τ=τmaxとなるためである。距離τをこれ以上大きくすると、レンズアレイ102の結像関係が保つことができず、ライトフィールドを正しく得ることができない。
【0063】
図13(b)は、この場合における式(2)の値を示している。F値が変化しても式(2)の範囲内に収まっている。F値8.9程度から値がフラット(平坦)になっているのはτ=τmaxとなるためである。図13(c)は、レンズアレイ102と撮像素子103の間隔を変化させたことによる効果を示している。図13(c)において、縦軸の有効画素比はτ/(FΔLA)で表され、小レンズ1つに対応した画素群のうち、光が入射する画素の1次元的な割合を示している。有効画素比が1より大きい場合にはクロストークが発生し、1より小さい場合には不感帯が存在する。有効画素比が1と略等しい場合、不感帯とクロストークの発生が軽減され、最も効率的にライトフィールドを取得することができる。図13(c)中の細い実線は、レンズアレイ102と撮像素子103の間隔を固定した場合の値であり、両者の間隔を瞳変動に応じて変化させることにより有効画素比が1に近付いている。
【実施例2】
【0064】
次に、本発明の実施例2について説明する。本実施例における撮像装置の基本構成は、図4を参照して説明した実施例1の撮像装置と同様であるため、それらの説明は省略する。
【0065】
図14は、本実施例における撮像光学系の断面図である。図14の結像光学系101はズームレンズである。結像光学系101は、正の屈折力を有する第1レンズ群L1、負の屈折力を有する第2レンズ群L2、正の屈折力を有する第3レンズ群L3を備える。結像光学系101は、更に、正の屈折力を有する第4レンズ群L4、負の屈折力を有する第5レンズ群L5、正の屈折力を有する第6レンズ群L6を備える。結像光学系101は、変倍の際に各レンズ群の間隔を変化させ、第2レンズ群L2でフォーカシングを行う。レンズアレイ102は、その物体側が平面およびその像側が凸形状の小レンズで形成されている。結像光学系101の変倍、フォーカシング、絞りを絞った場合の瞳変動(瞳の位置や大きさ)に応じて、レンズアレイ102が移動する。その移動方法は実施例1と同様である。このような構成により、結像光学系101の瞳が変動した場合でも、ライトフィールドの取得情報量の減少と取得精度の劣化を軽減することができる。
【0066】
本実施例では、Δ=0.0064(mm)、ΔLA=0.032(mm)、F0=3.27である。また、τ0=0.06279(mm)であり、1つの小レンズによって撮像素子103上に形成される射出瞳の像の大きさが、レンズアレイ102のピッチよりも小さい。レンズアレイ102のピッチが5画素分であるのに対し、射出瞳の像の1次元的な大きさが3画素に対応する。すなわち、1つの小レンズあたり、1次元で2画素、2次元では16画素の不感帯が存在する。
【0067】
図13(a)中の破線は、結像光学系101の広角端において、絞りを絞ったことによるF値の変化に対するτの変化を示している。F値が増大するにつれて、τが増大してレンズアレイ102と撮像素子103の間の間隔が大きくなっている。また本実施例では、式(5)および式(6)から、Fmax=4.91、τmax=0.15698(mm)と求められる。本実施例では、F値が10以下の場合にはτmaxに至っていないため、グラフが実施例1のようにフラットになっていない。しかし、F値がさらに増大してτ=τmaxになった場合、レンズアレイ102はそれ以上物体側へ移動しない。図13(b)中の破線は、このときの式(2)の値を示している。F値全域に渡って式(2)の範囲内に収まっている。図13(c)は、この場合のレンズアレイ102と撮像素子103の間隔変化による効果を示している。図13(c)中の細い破線は、レンズアレイ102と撮像素子103の間隔を固定した場合の有効画素比である。図13(c)に示されるように、両者の間隔を瞳変動に応じて変化させたことにより、有効画素比が1に近付いている。
【0068】
次に、結像光学系101を変倍させた場合のτの変化について説明する。結像光学系101は、広角端で焦点距離が28.9mm、望遠端で291.4mmである。図15は、絞り開放時に広角端から望遠端まで変倍させた場合において、結像光学系101のF値の変化を示す図である。横軸は、結像光学系101の射出瞳面101bと像側焦点の間隔である射出瞳距離を示す。本実施例において、射出瞳距離は広角端で最小値をとり、望遠端で最大値をとる。図15に示されるように、増倍によってF値が増大しているため、不感帯が増大していると考えられる。
【0069】
図16(a)、(b)、(c)は、本実施例における変倍とτ、式(2)、および、有効画素比のそれぞれとの関係を示す図である。図16(a)〜(c)のそれぞれにおいて、本実施例における関係は破線で表されている。図16(a)中の破線は、変倍に対するτの変化を示している。射出瞳が物体側へ移動するにつれて、τは増大している。射出瞳距離が143.8程度になったときからτが一定であるのは、τ=τmaxであるためである。図16(b)は、このときの式(2)の値を示している。図16(b)に示されるように、全変倍域に対して式(2)の範囲内に収まっている。射出瞳距離が143.8程度になったときからτが一定であるのは、τ=τmaxであるためである。図16(c)は、このときの有効画素比を示している。図16(c)中の細い破線は、レンズアレイ102と撮像素子103の間隔を固定した場合の値である。広角端で有効画素比が0.6程度であるのは、前述のように小レンズ1つあたり1次元で光線が3画素に入射し、2画素が不感帯となっているためである。図16(c)に示されるように、レンズアレイ102と撮像素子103の間隔を変化させたことにより、有効画素比が1に近付いている。
【実施例3】
【0070】
次に、本発明の実施例3について説明する。本実施例では、前述の撮像装置を適用した画像処理システムについて説明する。図17は、本実施例における画像処理システムのブロック図である。図17に示されるように、画像処理システムは撮像装置301を備えている。撮像装置301は、図1の構成を備えた撮像光学系を有し、その断面図は図14に示されるとおりである。画像処理装置302は、前述の画像再構成を行うコンピュータ機器である。画像処理装置302は、撮像装置301で取得された入力画像の撮影条件情報を記憶する記憶部を備える。画像処理装置302は、この入力画像に対して所定の再構成処理を行い、その処理結果(出力画像)を出力機器305、表示機器304、記憶媒体303のいずれか又は複数に出力する。
【0071】
記憶媒体303は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器305は、例えばプリンタである。画像処理装置302には表示機器304が接続され、再構成された画像が表示機器304へ入力される。ユーザーは、表示機器304を介して再構成された画像を確認しながら作業を行うことができる。画像処理ソフトウェア306(画像処理プログラム)は、前述の再構成処理(画像処理方法)を行うとともに、必要に応じて現像処理やその他の画像処理を行う。表示機器304は、例えば液晶ディスプレイやプロジェクタなどである。なお、撮像装置301の撮像光学系とレンズアレイ102の駆動部1001は実施例2と同様であるため、それらの説明は省略する。
【0072】
本実施例では、Δ=0.0064(mm)、ΔLA=0.0192(mm)、F0=3.27である。また、τ0=0.06279(mm)であり、1つの小レンズによって撮像素子103上に形成される射出瞳の像の大きさが、レンズアレイ102のピッチと略一致している。図13(a)中の一点鎖線は、結像光学系101の広角端において、絞りを絞ったことによるF値の変化に対するτの変化を示している。F値が増大につれて、τが増大してレンズアレイ102と撮像素子103の間隔は大きくなる。また本実施例では、式(5)および式(6)より、Fmax=6.54、τmax=0.12559(mm)である。F値が6.54の場合にτ=τmaxになるため、それ以上のF値ではレンズアレイ102は固定される。
【0073】
図13(b)中の一点鎖線は、このときの式(2)の値を示している。図13(b)に示されるように、F値全域に渡って式(2)の範囲内に収まっている。F値が3.3〜5.4の範囲内では、式(2)が1を超えており、クロストークが発生している。このとき、クロストークの影響が小さければ、そのまま再構成処理をしても構わない。また、クロストークが生じていない画素のみを用いて再構成してもよい。図13(c)中の一点鎖線は、このときのレンズアレイ102と撮像素子103の間隔変化による効果を示している。図13(c)中の細い一点鎖線は、レンズアレイ102と撮像素子103の間隔を固定した場合の値である。図13(c)に示されるように、レンズアレイ102を瞳変動に応じて移動したことにより、有効画素比が1に近付いている。有効画素比は、クロストークの起きている領域では1を超えているが、前記間隔を固定した場合より1に近付いている。
【0074】
次に、絞り開放時に結像光学系101を変倍させた時のτの変化について説明する。変倍による射出瞳距離およびF値の変化は、実施例2で説明したとおりである。図16(a)中の一点鎖線は、変倍に対するτの変化を示している。射出瞳が物体側へ移動するにつれて、τは増大する。望遠端でもτがτmaxを超えていないため、実施例2と異なりグラフはフラットになっていない。図16(b)の一点鎖線は、このときの式(2)の値を示している。図16(b)に示されるように、全変倍域に対して式(2)の範囲内に収まっている。常に値が1になっているため、ライトフィールドを取得する効率が最もよい状態にレンズアレイ102と撮像素子103の間隔が変化している。図16(c)中の一点鎖線は、このときの有効画素比を示している。図16(c)中の細い一点鎖線は、レンズアレイ102と撮像素子103の間隔を固定した場合の値である。レンズアレイ102と撮像素子103の間隔が瞳変動に応じて変化したことにより有効画素比が1になり、効率的にライトフィールドを取得することができる。
【実施例4】
【0075】
次に、本発明の実施例4について説明する。本実施例における撮像装置の基本構成は、図4を参照して説明した実施例1の撮像装置と同様であるため、それらの説明は省略する。また、本実施例の撮像光学系は図3で示される構成を有し、その断面図は図23で示される。
【0076】
図3の構成において、レンズアレイ102は、結像光学系101の被写体面201に対する像側共役面202より物体側へ配置されている。また、像側共役面202と撮像素子103は、レンズアレイ102を介して共役関係になるように配置されている。すなわちレンズアレイ102は、結像光学系101の被写体面201に対する共役面(像側共役面202)と撮像素子103とが共役となるように配置されている。被写体面201からの光線は、結像光学系101及びレンズアレイ102を通過した後、光線の被写体面201上での位置と角度に応じて、撮像素子103の異なる画素へ入射し、ライトフィールドが取得される。その結果、撮像素子103では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。この性質は、後述の実施例5で説明する図2の構成に関しても同様である。図2の構成は、レンズアレイ102が像側共役面202より像側へ配置されていることを除けば、本実施例の図3に示される構成と同様である。図3の構成との違いは、レンズアレイ102が結像光学系101の形成した像を虚物体ではなく実物体として見て、撮像素子103へ再結像させることである。しかし、図2と図3に示した構成は、どちらも結像光学系101の結んだ像をレンズアレイ102が物体として見て、その像を撮像素子103へ結像しているため、本質的には同じである。
【0077】
図23に示される結像光学系101は単焦点レンズである。レンズアレイ102は、両面が凸形状となっているが、実施例1と同様にこの形状に限定されるものではない。また、駆動部1001は実施例1と同様である。
【0078】
続いて、実施例1と同様に、本実施例の構成において瞳変動によるライトフィールドの取得情報量の減少とその取得精度の劣化について説明する。ここでは理解を容易にするために、図2の構成を例に挙げて説明するが、図3に示した構成に関しても同様の議論が成り立つ。図18は、図2に結像光学系101の物体側主平面101a、射出瞳面101b、および、像側主平面101cを加えた図である。図18(a)に示されるように、被写体面201上の同一位置を通過した光線が角度に応じて分割され、それぞれ異なる画素に入射することでライトフィールドは取得される。図18(a)において、レンズアレイ102の光軸近傍に位置する小レンズを通過した光線が入射する撮像素子103上の領域は、レンズアレイ102のピッチと略同一となるように構成されている。前記領域がレンズアレイ102のピッチより小さい場合、図5(a)に示されるように不感帯が発生する。一方、前記領域がレンズアレイ102のピッチより大きい場合、図5(b)に示されるようにクロストークが発生する。このため、図18(a)の状態は、画素を無駄にすることなく、正しいライトフィールドが効率よく取得される状態である。
【0079】
図18(b)は、図18(a)の状態から、結像光学系101の射出瞳面101bが変化した状態を示している。図18(b)に示されるように、射出瞳面101bが小さくなり、さらに物体側に移動したことによって、被写体面201上の同一位置を通過した光線の分割数が小さくなっている。図18(b)では、光線の分割数が1となり、ライトフィールドの角度成分を取得できない。撮像素子ではその分、不感帯が増大している。逆に、射出瞳面101bが大きくなる、または射出瞳面101bが像側に移動すると、クロストークが発生して正しいライトフィールドを取得できない。ライトフィールドの取得情報量の減少および取得精度の劣化が及ぼす影響は、実施例1と同様である。図2の構成におけるリフォーカス範囲は、図19で示されるとおりである。この関係は、図3の構成に関しても同様に成り立つ。
【0080】
次に、図20を参照して、結像光学系101の瞳変動の影響について詳述する。実施例1と同様に、結像光学系101のF値が一定で射出瞳位置が変化した場合と、射出瞳位置が一定でF値が変化した場合とに分けて考える。図20は、本実施例における撮像光学系の瞳変動の影響を示す説明図である。図20(a)、(b)は結像光学系101のF値が一定で、射出瞳位置が変動した場合、図20(a)、(c)は結像光学系の射出瞳位置が一定で、F値が変動した場合をそれぞれ示している。
【0081】
まず、結像光学系101のF値が一定で射出瞳位置が変動した場合の影響について説明する。図20(a)の状態から図20(b)の状態の変化のように、F値が一定で射出瞳(射出瞳面101b)が物体側に移動した場合、サンプリングピッチΔuの値が大きくなり、ライトフィールドの取得精度が劣化する。再構成により生成される画像の自由度を上げるには、結像光学系101の瞳が変動した際、サンプリングピッチΔuを小さくすることが必要である。
【0082】
次に、結像光学系101のF値が大きくなると撮像素子103上で不感帯が増大し、小さくなるとクロストークが発生する。例えば、図20(a)の結像光学系のF値が3倍になると、図20(c)の状態のようになる。図20(a)では、被写体面201上の一点からの光束に対応する画素数は3画素である。しかし図20(c)では、対応する画素は1画素のみで、残り2画素は不感帯となっている。一方、図20(a)からF値が小さくなると、被写体面201の一点からの光束が広がり、5つ以上の小レンズに入射する。図20(a)の状態で不感帯が少なくなるように構成すると、被写体面201の一点に対応する画素が3画素から5画素以上になるため、他の位置に対応した画素へ光線が入射してクロストークが発生する。これにより、情報の取得が非効率的になる。またこのとき、ライトフィールドのサンプリングピッチは変化しないが、取得可能な情報量は減少する。この点は、図20(a)、(c)を比較すれば明らかである。したがって、図18(c)に示されるように、結像光学系101の瞳変動(瞳の位置や大きさ)に応じてレンズアレイ102と撮像素子103の間隔を変化させることで、ライトフィールドの取得量の減少と取得精度の劣化を軽減することができる。
【0083】
次に、本実施例においてレンズアレイ102と撮像素子103の間隔をどのように変化させるかについて詳述する。結像光学系101が第1の状態、第2の状態におけるレンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、それぞれ第1の距離の絶対値、第2の距離の絶対値とする。ここで、レンズアレイ102の像側焦点から撮像素子103までの距離とは、像側焦点から撮像素子103の受光面(物体側の面)までの距離である。第1の状態に対して、第2の状態における結像光学系101のF値が大きいか、または射出瞳位置が物体側である場合、第2の距離の絶対値は第1の距離の絶対値より小さければよい。これにより、不感帯の発生を軽減し、ライトフィールドのサンプリングピッチを細かくすることができる。
【0084】
また、結像光学系101のF値の増大は不感帯の増加およびライトフィールドの情報量の減少を招く。結像光学系101の射出瞳の位置が一定の場合、結像光学系101が第1のF値、第2のF値の状態におけるレンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、それぞれ第1の距離の絶対値、第2の距離の絶対値とする。第2のF値が第1のF値より大きい場合、第2の距離の絶対値は第1の距離の絶対値より小さければよい。すなわち、レンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、結像光学系101が第1のF値を有する場合の第1の距離の絶対値よりも、第1のF値より大きい第2のF値を有する場合の第2の距離の絶対値を小さくする。コントローラ111は、レンズアレイ102と撮像素子103の間隔を上記関係が成り立つように制御する。これにより、瞳変動によるライトフィールドの取得量の減少を、図18(a)、(c)に示されるに軽減することができる。
【0085】
また、結像光学系101の射出瞳位置が物体側に近付くほど、サンプリングピッチΔuが大きくなり、ライトフィールドのサンプリングピッチが増大する。ここで、結像光学系101のF値が一定の場合を考える。このとき、結像光学系101の射出瞳位置が第1の位置、第2の位置に位置している状態におけるレンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、それぞれ第1の距離の絶対値、第2の距離の絶対値とする。第2の位置が第1の位置より物体側である場合、第2の距離の絶対値は第1の距離の絶対値より小さければよい。すなわち、レンズアレイ102の像側焦点から撮像素子103までの距離の絶対値を、射出瞳の位置が第1の位置にある場合の第1の距離の絶対値よりも、第1の位置より物体側である第2の位置にある場合の第2の距離の絶対値を小さくする。これにより、図18(a)、(c)に示されるように、ライトフィールドの取得精度の劣化を軽減することができる。
【0086】
さらに実施例1と同様に、レンズアレイ102と撮像素子103の間隔は、結像光学系101の射出瞳が物体側へ移動した際、Δx/Δuが大きくなるように変化させることが好ましい。ここで、図2及び図3の構成において、Δxは図19のように画素をこの画素に対応した小レンズを介して像側共役面202に投影したΔ|ρ1/ρ2|に等しい。ρ1は、レンズアレイ102の物体側主平面と像側共役面202との間隔、ρ2はレンズアレイ102の像側主平面と撮像素子の間隔である。このように、結像光学系101の射出瞳が物体側に移動した場合、レンズアレイ102の撮像素子103に対する共役面でのサンプリングピッチを、結像光学系101の射出瞳でのサンプリングピッチで除した値が大きくなるように間隔を変化させる。Δx/Δuを大きくすることで、式(1)で表されるリフォーカス範囲など、再構成により生成される画像の自由度が増す。
【0087】
また、図9に示される関係は、図2および図3の構成でも成り立つ。したがって、実施例1と同様に、レンズアレイ102と撮像素子103の間隔を、図9中の2直線が撮像素子103と交わる2点の間の長さが、レンズアレイ102のピッチより大きくならないように変化させることが好ましい。さらに好ましくは、前記2点の間の長さが、レンズアレイ102のピッチに近付くように前記間隔を変化させる。これにより、クロストークと不感帯の発生を低減して効率的にライトフィールドを取得することができる。
【0088】
ここで、レンズアレイ102と撮像素子103の間隔が変化した場合における、物体側のリフォーカス範囲に関して考える。図2および図3の構成において、リフォーカス範囲の中心は図21および図22でそれぞれ表される。図21および図22は、撮像素子103を固定してレンズアレイ102のみを移動させて両者の間隔を変化させているが、図2および図3の構成では撮像素子103が移動しても同様の議論が成り立つ。図21(a)および図22(a)は、レンズアレイ102を移動する前のリフォーカス範囲を示す。図21(b)および図22は、単純にレンズアレイ102と撮像素子103の間隔を変化させた場合のリフォーカス範囲を示す。図21(c)および図22(c)は、結像光学系101を介して、撮像素子103に対するレンズアレイ102の共役面と共役な面を、前記間隔が大きくなった場合は物体側へ、小さくなった場合は像側へ移動させた場合のリフォーカス範囲を示す。
【0089】
前記共役な面を移動させない場合、図21(a)、(b)および図22(a),(b)のように、レンズアレイ102と撮像素子103の間隔の変化前後で物体側のピント位置が変化する。リフォーカス範囲は撮影したときのピント位置を基準として前後に広がるため、図21(b)および図22(b)のように前記間隔の変化後に撮像装置側のリフォーカス範囲が狭まる場合がある。これを避けるには、前記間隔が変化した際に結像光学系101のフォーカス群を移動し、前記共役な面も移動させることが好ましい。この場合、結像光学系101を介して、撮像素子103に対するレンズアレイ102の共役面と共役な面を、レンズアレイ102と撮像素子103の間隔が大きくなった場合は物体側へ、小さくなった場合は像側へ移動させることが好ましい。これにより、図21(c)および図22(c)に示されるように、リフォーカス範囲を前後ともに伸ばすことができる。
【0090】
また、レンズアレイ102と撮像素子103の間隔を変化させる場合、以下の式(7)を満たすことが好ましい。
【0091】
【数8】
【0092】
ここで、σ1は結像光学系101の焦点距離が最小の状態において、結像光学系101のF値が最小の場合のレンズアレイ102の物体側主平面と撮像素子103に対するレンズアレイ102の共役面との間隔である。σ2は同状態でのレンズアレイ102の像側主平面と撮像素子103との間隔である。τ1は結像光学系101の焦点距離とF値が任意の値の状態において、レンズアレイ102の物体側主平面と撮像素子103に対するレンズアレイ102の共役面との間隔である。τ2は同状態でのレンズアレイ102の像側主平面と撮像素子103の間隔である。
【0093】
続いて、式(7)について説明する。図2および図3に示される撮像光学系では、レンズアレイ102と撮像素子103の間隔が変化することにより、画像の空間解像度が変化する。これは、前記間隔の変化によりΔxが変化するためである。結像光学系101の焦点距離とF値が任意の状態でのΔxは、画素ピッチΔの|τ1/τ2|倍である。結像光学系101の焦点距離が最小の状態において、結像光学系101のF値が最小のときを基準として考えると、式(7)は基準状態の空間解像度に対する任意の状態の1次元空間解像度の比を表している。すなわち、式(7)はレンズアレイ102と撮像素子103の間隔変化により、空間解像度を著しく変化させないことを示す。式(7)の下限を超えると、空間解像度の劣化が激しくなる。一方、式(7)の上限を超えると、Δxが小さくなるようにレンズアレイ102と撮像素子103の間隔が変化する。Δxが小さくなると、被写体面201上の任意の位置に対応する画素数が低下するため、ライトフィールドの角度成分の取得量が減少し、またその取得精度が劣化する。
【0094】
さらに、本実施例では以下の式(7a)を満たすことがより好ましい。
【0095】
【数9】
【0096】
これによって、さらに空間解像度の変化を抑えて、ライトフィールドの取得量及び精度の低下を抑制できる。
【0097】
さらにこの場合、以下の式(8)を満たすようにレンズアレイ102と撮像素子103の間隔を変化させることが好ましい。
【0098】
【数10】
【0099】
ここで、Pは結像光学系101の焦点距離とF値が任意の状態における、結像光学系101の射出瞳と像側共役面202の間隔である。以下、Pを射出瞳距離と呼ぶ。ωはレンズアレイ102と撮像素子103の間の間隔を変化させたことによる、結像光学系101の射出瞳と撮像素子103の間隔の増分である。
【0100】
図18には、射出瞳距離Pと増分ωとの関係を示している。結像光学系101の射出瞳と撮像素子103の間隔が短くなる場合、増分ωは負の値となる。式(8)は、結像光学系101の瞳が変動した場合に、Δuが縮小する方向へレンズアレイ102と撮像素子103の間隔が変化することを表している。Δuが小さくなると、式(1)で表されるリフォーカス範囲が増大する。そこで、結像光学系101の瞳が変動した状態において、レンズアレイ102と撮像素子103の間隔の変化前後でリフォーカス範囲の比をとる。変化前のリフォーカス範囲は、以下の式(9)で表すことができる。
【0101】
【数11】
【0102】
ここで、Nbはレンズアレイ102と撮像素子103の間隔変化の前における結像光学系101の瞳の1次元分割数である。これは、射出瞳面101b上のサンプリングピッチに対する、あるアジムス断面での射出瞳面101bの長さの比に対応する。例えば、図2ではNb=3である。Fbは、レンズアレイ102と撮像素子103の間隔が変化する前の結像光学系101のF値、Pbはこのときの射出瞳距離である。式(9)では、Δの値が十分に小さいため近似を用いている。
【0103】
これに対して、レンズアレイ102と撮像素子103の間隔の変化後におけるリフォーカス範囲は、以下の式(10)で表される。
【0104】
【数12】
【0105】
ここで、Nは前記間隔の変化後における結像光学系101の瞳の1次元分割数である。式(9)に対する式(10)の比を求めることで、式(8)が得られる。このとき、P〜Pbが用いられている。式(8)の下限を超えると、レンズアレイ102と撮像素子103の間隔がΔuを増大させる方向へ変化する。一方、式(8)の上限を超えると、前記間隔の変化により空間解像度が大きく劣化する。本実施例では、以下の式(8a)の範囲を満たすことがより好ましい。このような範囲に収めることで、より空間解像度の劣化を軽減し、ライトフィールドの取得情報量の減少および精度の劣化を軽減することができる。
【0106】
【数13】
【0107】
本実施例では、Δ=0.0043(mm)、σ1=16.4540(mm)、σ2=1.1082(mm)である。結像光学系101の最小F値は2.9であり、レンズアレイ102を構成する小レンズの焦点距離は1.1882mmである。また、撮像素子103を固定して、レンズアレイ102を移動させているため、ω=0.0である。
【0108】
図24(a)〜(d)は、絞り(F値)とτ2、τ1、式(7)、および、式(8)との関係をそれぞれ示す図である。図24(a)〜(d)のそれぞれにおいて、本実施例における関係は実線で示される。図24(a)中の実線は、結像光学系101の絞りを絞ることでF値が変化した場合における、レンズアレイ102と撮像素子103の間隔τ2の変化を示している。図24(a)において、横軸は結像光学系101のF値(絞り)、縦軸はτ2である。横軸のF値は10までプロットされているが、結像光学系101はそれ以上の値も取り得る。
【0109】
図24(b)〜(d)中の実線は、このときのτ1と本実施例の式(7)および式(8)の値をそれぞれ示している。横軸は図24(a)と同じで、縦軸はそれぞれτ1、式(7)、および、式(8)の値である。図24(c)、(d)に示されるように、それぞれの値は式(7)および式(8)の範囲内に収まっている。図24(b)より、レンズアレイ102の移動によりF値が増大するにつれて、レンズアレイ102と撮像素子103に対するレンズアレイ102の共役面の間隔が広がる。図24(c)の縦軸は、レンズアレイ102の移動前に対する移動後の1次元空間解像度の比である。図24(c)に示されるように、本実施例では1次元の空間解像度が、レンズアレイ102移動前の75%以上を確保するように、レンズアレイ102が移動している。F値が3.8程度からτ1、τ2の値が一定になっているのはこのためである。
【0110】
次に、図24(d)について説明する。図24(d)の縦軸は、レンズアレイ102の移動前に対する移動後のリフォーカス範囲の比を表す。このため、この値が1以上である場合、レンズアレイ102と撮像素子103の間隔を変化させたことで、ライトフィールドの取得精度が向上していることを意味する。本実施例では、式(8)の値が1以上となっているため、ライトフィールドの取得精度が向上している。
【実施例5】
【0111】
次に、本発明の実施例5について説明する。本実施例における撮像装置の基本構成は、図4を参照して説明した実施例1の撮像装置と同様であるため、それらの説明は省略する。また、本実施例の撮像光学系は図2で示される構成を有し、その断面図は図25で示される。
【0112】
図25に示される結像光学系101はズームレンズである。結像光学系101は、正の屈折力を有する第1レンズ群L1、負の屈折力を有する第2レンズ群L2、正の屈折力を有する第3レンズ群L3を備える。結像光学系101は、更に、正の屈折力を有する第4レンズ群L4、負の屈折力を有する第5レンズ群L5、正の屈折力を有する第6レンズ群L6を備える。結像光学系101は、変倍時に各レンズ群の間隔を変化させ、第2レンズ群L2で合焦を行う。レンズアレイ102は、物体側が平面、像側が像側に凸形状の小レンズで形成されている。またレンズアレイ102は、結像光学系101の変倍、フォーカシング、絞りを絞ったときの瞳変動(瞳の位置や大きさ)に応じて移動する。レンズアレイ102の駆動方法は実施例1と同様である。これにより、結像光学系101の瞳が変動した場合でも、ライトフィールドの取得情報量の減少と取得精度の劣化を軽減することができる。
【0113】
本実施例では、Δ=0.0064(mm)、σ1=−14.6518(mm)、σ2=2.3125(mm)である。レンズアレイ102が撮像素子103に対するレンズアレイ102の共役面より物体側に存在するため、σ1は負の値を示す。結像光学系101の広角端における最小F値は3.27であり、レンズアレイ102を構成する小レンズの焦点距離は1.9973mmである。また、撮像素子103を固定してレンズアレイ102を移動させているため、ω=0.0である。
【0114】
図24(a)中の破線は、結像光学系101の広角端において、絞りを絞ることでF値が変化した場合の、レンズアレイ102から撮像素子103までの間隔τ2の変化を示している。図24(b)〜(d)中の破線は、このときのτ1、式(7)、および、式(8)の値をそれぞれ示している。図24(c)、(d)に示されるように、それぞれの値が式(7)、(8)の範囲内に収まっている。図24(b)より、レンズアレイ102の移動によりF値が増大するにつれて、|τ1|が大きくなっている。これは、撮像素子103に対するレンズアレイ102の共役面とレンズアレイ102の間隔が広がっていることを意味する。F値が4.4程度のときからτ1、τ2の値が一定になっているのは、図24(c)の破線に示されるように、空間解像度比が0.75以上となるようにしているためである。また、図24(d)の破線の値が1以上となっていることから、レンズアレイ102の移動により、ライトフィールドの取得情報量の減少およびその取得精度の劣化が軽減されている。
【0115】
次に、結像光学系101を変倍させた場合における、レンズアレイ102と撮像素子103の間隔の変化について説明する。結像光学系101は、広角端で焦点距離が28.9mm、望遠端で291.4mmである。図26は、絞り開放時に広角端から望遠端まで変倍させた場合の、結像光学系101のF値の変化を示している。図26において、横軸の射出瞳距離は、結像光学系101の射出瞳から結像光学系101の像側焦点までの距離である。射出瞳距離は、本実施例では広角端で最小値を、望遠端で最大値をとる。このため、増倍によりライトフィールドのサンプリングピッチは増大する。また図26から、増倍によりF値が増大することが分かり、不感帯も増大していると考えられる。
【0116】
図27(a)〜(d)は、変倍(射出瞳距離)とτ2、τ1、式(7)、および、式(8)との関係をそれぞれ示す図である。図27(a)〜(d)のそれぞれにおいて、破線が本実施例における関係を示している。図27(a)中の破線は、変倍に対するレンズアレイ102と撮像素子103の間隔τ2の変化を示している。また、図27(b)〜(d)中の破線は、変倍時のτ1、式(7)、および、式(8)の値をそれぞれ示している。図27(c)および図27(d)に示されるように、それぞれの値が式(7)、式(8)の範囲内に収まっている。図27(b)より、レンズアレイ102の移動により、射出瞳が物体側へ移動するにつれて、τ2が広がっていることがわかる。これにより、ライトフィールドの取得情報量の減少およびその精度劣化を軽減することができる。その効果は、図27(d)中の破線が1以上の値を示していることから読み取れる。また、レンズアレイ102の移動前に対する1次元の空間解像度比は、図27(c)に示されるように、最低でも85%以上確保されている。
【実施例6】
【0117】
次に、本発明の実施例6について説明する。本実施例では、前述の撮像装置を適用した画像処理システムについて説明する。本実施例の画像処理システムは、図17を参照して説明した実施例3と同様の構成を有している。また撮像装置301は、図3の構成を有する撮像光学系を備える。図28は、本実施例における撮像光学系の断面図である。本実施例において、画像処理装置302などの他の構成は実施例3と同様である。また、撮像装置301の結像光学系101とレンズアレイ102の駆動部は実施例1と同様である。したがって、これらの説明は省略する。
【0118】
本実施例では、Δ=0.0064(mm)、σ1=8.3725(mm)、σ2=1.5742(mm)である。結像光学系101の広角端における最小F値は3.27であり、レンズアレイ102を構成する小レンズの焦点距離は1.9387mmである。また、撮像素子103を固定して、レンズアレイ102を移動させているため、ω=0.0である。
【0119】
図24(a)中の一点鎖線は、結像光学系101の広角端において絞りを絞ることでF値が変化した場合での、τ2の変化を示している。図24(b)〜(d)中の一点鎖線は、このときのτ1、式(7)、および、式(8)の値をそれぞれ示している。図24(c)および図24(d)に示されるように、それぞれの値が式(7)および式(8)の範囲内に収まっている。図24(b)中の一点鎖線から、レンズアレイ102の移動により、結像光学系101のF値の増大につれてτ1が大きくなっていることが分かる。F値8.0程度からτ1、τ2の値が一定となっているのは、図24(c)の一点鎖線で示されるように、レンズアレイ102の移動前に対する1次元の空間解像度比が0.5以上であるためである。また、図24(d)の一点鎖線の値が1以上となっていることから、レンズアレイ102の移動により、ライトフィールドの取得情報量の減少およびその精度劣化を軽減することができる。
【0120】
次に、結像光学系101を変倍させた場合における、レンズアレイ102と撮像素子103の間隔の変化について説明する。変倍による射出瞳距離およびF値の変化は、実施例5で説明したとおりである。図27(a)中の一点鎖線は、変倍に対するτ2の変化を示している。また、図27(b)〜(d)中の一点鎖線は、変倍時のτ1、式(7)、および、式(8)の値をそれぞれ示している。図27(c)および図27(d)に示されるように、それぞれの式(7)および式(8)の範囲内に収まっている。また図27(b)に示されるように、射出瞳が物体側へ移動するにつれて、τ1は大きくなっている。また、図27(d)中の一点鎖線が1以上の値を示しているため、ライトフィールドが効率よく取得されていることが分かる。また、レンズアレイ102の移動前に対する1次元の空間解像度比は、図27(c)に示されるように、最低でも75%以上確保されている。
【0121】
上記各実施例によれば、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供することができる。
【0122】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0123】
101 結像光学系
102 レンズアレイ
103 撮像素子
111 システムコントローラ
【特許請求の範囲】
【請求項1】
結像光学系と、
複数の画素を備えた撮像素子と、
被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、
前記結像光学系の瞳変動に応じて、前記レンズアレイと前記撮像素子の間隔を変化させる制御手段と、を有することを特徴とする撮像装置。
【請求項2】
前記瞳変動は、前記結像光学系の変倍、フォーカシング、または、絞りを絞ることにより発生する瞳の位置または大きさの変化であることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記制御手段は、前記結像光学系の射出瞳の両端と前記レンズアレイの光軸付近に位置する小レンズの中心を結ぶ2直線が前記撮像素子と交わる2点の間の長さを、該レンズアレイのピッチ以下とするように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記制御手段は、前記結像光学系の射出瞳の両端と前記レンズアレイの光軸付近に位置する小レンズの中心を結ぶ2直線が前記撮像素子と交わる2点の間の長さを、該レンズアレイのピッチに近付けるように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項5】
前記レンズアレイは、前記結像光学系の前記被写体面に対する共役面に配置されていることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項6】
前記結像光学系の射出瞳の位置が一定の場合、前記制御手段は、前記レンズアレイと前記撮像素子の間隔を、前記結像光学系が第1のF値を有する場合の第1の間隔よりも、該結像光学系が該第1のF値より大きい第2のF値を有する場合の第2の間隔を大きくするように制御することを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記結像光学系のF値が一定の場合、前記制御手段は、前記レンズアレイと前記撮像素子の間隔を、前記結像光学系の射出瞳の位置が第1の位置にある場合の第1の間隔よりも、該結像光学系の該射出瞳の位置が該第1の位置よりも物体側である第2の位置にある場合の第2の間隔を大きくするように制御することを特徴とする請求項5に記載の撮像装置。
【請求項8】
前記結像光学系の射出瞳が物体側に移動した場合、前記制御手段は、前記レンズアレイのピッチを該結像光学系の前記射出瞳でのサンプリングピッチで除した値が大きくなるように、該レンズアレイと前記撮像素子の間隔を変化させることを特徴とする請求項5または7に記載の撮像装置。
【請求項9】
前記結像光学系は、フォーカシング手段を有し、
前記結像光学系の瞳変動に応じて前記レンズアレイが移動した場合、前記フォーカシング手段は、該結像光学系を介して該レンズアレイと共役な面を、該レンズアレイの移動方向と逆の方向に移動させることを特徴とする請求項5乃至8のいずれか1項に記載の撮像装置。
【請求項10】
前記レンズアレイは、前記結像光学系の前記被写体面に対する共役面と前記撮像素子とが共役となるように配置されていることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項11】
前記結像光学系の射出瞳の位置が一定の場合、前記制御手段は、前記レンズアレイの像側焦点から前記撮像素子までの距離の絶対値を、前記結像光学系が第1のF値を有する場合の第1の距離の絶対値よりも、該結像光学系が該第1のF値より大きい第2のF値を有する場合の第2の距離の絶対値を小さくするように、前記レンズアレイと前記撮像素子の間隔を制御することを特徴とする請求項10に記載の撮像装置。
【請求項12】
前記結像光学系のF値が一定の場合、前記制御手段は、前記レンズアレイの像側焦点から前記撮像素子までの距離の絶対値を、前記結像光学系の射出瞳の位置が第1の位置にある場合の第1の距離の絶対値よりも、該結像光学系の該射出瞳の位置が該第1の位置より物体側である第2の位置にある場合の第2の距離の絶対値を小さくするように、前記レンズアレイと前記撮像素子の間隔を制御することを特徴とする請求項10に記載の撮像装置。
【請求項13】
前記結像光学系の射出瞳が物体側に移動した場合、前記制御手段は、前記レンズアレイの前記撮像素子に対する共役面でのサンプリングピッチを、該結像光学系の前記射出瞳でのサンプリングピッチで除した値が大きくなるように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項10または12に記載の撮像装置。
【請求項14】
前記結像光学系は、フォーカシング手段を有し、
前記フォーカシング手段は、前記レンズアレイと前記撮像素子の間隔が大きくなった場合には、前記結像光学系を介して該撮像素子に対する該レンズアレイの共役面と共役な面を物体側に移動させ、該間隔が小さくなった場合には、該共役な面を像側に移動させることを特徴とする請求項10乃至13のいずれか1項に記載の撮像装置。
【請求項15】
前記レンズアレイは、複数の小レンズを有し、
前記小レンズの像側の面は、凸形状であることを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
【請求項16】
前記小レンズの物体側の面は、平面または凸形状であることを特徴とする請求項15に記載の撮像装置。
【請求項1】
結像光学系と、
複数の画素を備えた撮像素子と、
被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、
前記結像光学系の瞳変動に応じて、前記レンズアレイと前記撮像素子の間隔を変化させる制御手段と、を有することを特徴とする撮像装置。
【請求項2】
前記瞳変動は、前記結像光学系の変倍、フォーカシング、または、絞りを絞ることにより発生する瞳の位置または大きさの変化であることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記制御手段は、前記結像光学系の射出瞳の両端と前記レンズアレイの光軸付近に位置する小レンズの中心を結ぶ2直線が前記撮像素子と交わる2点の間の長さを、該レンズアレイのピッチ以下とするように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記制御手段は、前記結像光学系の射出瞳の両端と前記レンズアレイの光軸付近に位置する小レンズの中心を結ぶ2直線が前記撮像素子と交わる2点の間の長さを、該レンズアレイのピッチに近付けるように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項5】
前記レンズアレイは、前記結像光学系の前記被写体面に対する共役面に配置されていることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項6】
前記結像光学系の射出瞳の位置が一定の場合、前記制御手段は、前記レンズアレイと前記撮像素子の間隔を、前記結像光学系が第1のF値を有する場合の第1の間隔よりも、該結像光学系が該第1のF値より大きい第2のF値を有する場合の第2の間隔を大きくするように制御することを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記結像光学系のF値が一定の場合、前記制御手段は、前記レンズアレイと前記撮像素子の間隔を、前記結像光学系の射出瞳の位置が第1の位置にある場合の第1の間隔よりも、該結像光学系の該射出瞳の位置が該第1の位置よりも物体側である第2の位置にある場合の第2の間隔を大きくするように制御することを特徴とする請求項5に記載の撮像装置。
【請求項8】
前記結像光学系の射出瞳が物体側に移動した場合、前記制御手段は、前記レンズアレイのピッチを該結像光学系の前記射出瞳でのサンプリングピッチで除した値が大きくなるように、該レンズアレイと前記撮像素子の間隔を変化させることを特徴とする請求項5または7に記載の撮像装置。
【請求項9】
前記結像光学系は、フォーカシング手段を有し、
前記結像光学系の瞳変動に応じて前記レンズアレイが移動した場合、前記フォーカシング手段は、該結像光学系を介して該レンズアレイと共役な面を、該レンズアレイの移動方向と逆の方向に移動させることを特徴とする請求項5乃至8のいずれか1項に記載の撮像装置。
【請求項10】
前記レンズアレイは、前記結像光学系の前記被写体面に対する共役面と前記撮像素子とが共役となるように配置されていることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
【請求項11】
前記結像光学系の射出瞳の位置が一定の場合、前記制御手段は、前記レンズアレイの像側焦点から前記撮像素子までの距離の絶対値を、前記結像光学系が第1のF値を有する場合の第1の距離の絶対値よりも、該結像光学系が該第1のF値より大きい第2のF値を有する場合の第2の距離の絶対値を小さくするように、前記レンズアレイと前記撮像素子の間隔を制御することを特徴とする請求項10に記載の撮像装置。
【請求項12】
前記結像光学系のF値が一定の場合、前記制御手段は、前記レンズアレイの像側焦点から前記撮像素子までの距離の絶対値を、前記結像光学系の射出瞳の位置が第1の位置にある場合の第1の距離の絶対値よりも、該結像光学系の該射出瞳の位置が該第1の位置より物体側である第2の位置にある場合の第2の距離の絶対値を小さくするように、前記レンズアレイと前記撮像素子の間隔を制御することを特徴とする請求項10に記載の撮像装置。
【請求項13】
前記結像光学系の射出瞳が物体側に移動した場合、前記制御手段は、前記レンズアレイの前記撮像素子に対する共役面でのサンプリングピッチを、該結像光学系の前記射出瞳でのサンプリングピッチで除した値が大きくなるように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項10または12に記載の撮像装置。
【請求項14】
前記結像光学系は、フォーカシング手段を有し、
前記フォーカシング手段は、前記レンズアレイと前記撮像素子の間隔が大きくなった場合には、前記結像光学系を介して該撮像素子に対する該レンズアレイの共役面と共役な面を物体側に移動させ、該間隔が小さくなった場合には、該共役な面を像側に移動させることを特徴とする請求項10乃至13のいずれか1項に記載の撮像装置。
【請求項15】
前記レンズアレイは、複数の小レンズを有し、
前記小レンズの像側の面は、凸形状であることを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
【請求項16】
前記小レンズの物体側の面は、平面または凸形状であることを特徴とする請求項15に記載の撮像装置。
【図17】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【公開番号】特開2013−48309(P2013−48309A)
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願番号】特願2011−185403(P2011−185403)
【出願日】平成23年8月29日(2011.8.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願日】平成23年8月29日(2011.8.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]