撮像装置
【課題】アレイ状の光学素子を用いた撮像の際に、クロストークの発生を容易に抑えることが可能な撮像装置を提供する。
【解決手段】マイクロレンズアレイ１２の一方側（マイクロレンズアレイ１２と撮像レンズ１１との間）に、各マイクロレンズ１２Ａに対応して配列された複数の液晶シャッターを含む液晶シャッターアレイ１０を配置する。また、液晶シャッターアレイ１０によって、撮像素子１３へ向かう撮像光線の通過および遮断を、マイクロレンズ１２Ａ単位で切り替えるようにする。各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりが抑えられる。液晶シャッターアレイ１０の代わりに、複数の開口部１８Ａを有する開口アレイ１８を設けるようにしてもよい。
【解決手段】マイクロレンズアレイ１２の一方側（マイクロレンズアレイ１２と撮像レンズ１１との間）に、各マイクロレンズ１２Ａに対応して配列された複数の液晶シャッターを含む液晶シャッターアレイ１０を配置する。また、液晶シャッターアレイ１０によって、撮像素子１３へ向かう撮像光線の通過および遮断を、マイクロレンズ１２Ａ単位で切り替えるようにする。各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりが抑えられる。液晶シャッターアレイ１０の代わりに、複数の開口部１８Ａを有する開口アレイ１８を設けるようにしてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロレンズアレイを用いた撮像装置に関する。
【背景技術】
【０００２】
従来より、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。
【０００３】
例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。これは、例えば図１９に示した撮像装置１００のように、撮像対象物１３１を撮像するためのメインレンズである撮像レンズ１１１と、複数のマイクロレンズ１１２Ａがアレイ化されたマイクロレンズアレイ１１２と、撮像素子１１３と、画像処理部（図示せず）とから構成され、撮像素子１１３から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視点や方向からの観察画像を再構築できるようになっている。
【０００４】
また、例えば特許文献２および非特許文献２には、マイクロレンズアレイ等および画像処理を利用した撮像装置の他の例として、超薄型の複眼光学系を用いた「Compound Eye」と呼ばれる手法による撮像装置が提案されている。これは、例えば図２０に示した撮像装置２００のように、複数のマイクロレンズ２２２Ａを有するマイクロレンズアレイ２２２と、撮像素子２２３と、画像処理部（図示せず）とから構成され、撮像対象物２３２がマイクロレンズアレイ２２２によって撮像素子２２３上に結像されると共に、各マイクロレンズ２２２Ａからの撮像画像が複数の撮像画素（例えば、ｎ×ｎ個（ｎ：２以上の整数））で受光されるようになっている。そしてこのようにして撮影して得られた撮像画像は、各マイクロレンズ２２２Ａの位置において観察される画像をｎ×ｎの解像度で撮影した場合に等しく、上記特許文献２に示された手法を用いて素子出力を並べ替えると共に画素補間処理を施すことで、解像度の高い再構成画像が得られるようになっている。
【０００５】
【特許文献１】国際公開第０６／０３９４８６号パンフレット
【特許文献２】特許第３６９９９２１号公報
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【非特許文献２】Y.Kitamura、他１０名「Reconstruction of High-Resolution Image on a Compound-Eye Image-Capturing System」，Appl. Opt. ２００４年、第４３巻，ｐ．１７１９−１７２７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上記した「Light Field Photography」と呼ばれる手法を用いた撮像装置では、メインレンズ（例えば、撮像レンズ１１１）とマイクロレンズアレイ（例えば、マイクロレンズアレイ１１２）との間でＦナンバーを互いに一致させる必要性があることが、上記特許文献１に記載されている。これは、メインレンズのＦナンバーがマイクロレンズアレイのＦナンバーよりも小さい場合（Ｆ（ＭＬ）＜Ｆ（ＭＬＡ）の場合）には、例えば図２１（Ａ）中の符号Ｐ１０１〜Ｐ１０３に示したように、隣接するマイクロレンズ１１２Ａによる撮像光線間で重なりが生じ、これによりクロストークが発生するため、再構成画像の画質が劣化してしまうからである。また、逆にメインレンズのＦナンバーがマイクロレンズアレイのＦナンバーよりも大きい場合（Ｆ（ＭＬ）＞Ｆ（ＭＬＡ）の場合）には、例えば図２１（Ｂ）中の符号Ｐ１０４〜Ｐ１０６に示したように、マイクロレンズ１１２Ａによる撮像光線が受光されない撮像画素が生じるため、撮像画素を十分に利用することができず、再構成画像の解像度が低下してしまうからである。これらのうちでも特に、前者のクロストークの発生に関しては、観察画像の情報の一部が失われてしまうことになるため、発生しないように改善する必要がある。しかしながら、上記特許文献１や非特許文献１では、具体的な改善方法については何ら記載されていないため、この点についての改善方法が望まれている。
【０００７】
一方、上記した「Compound Eye」と呼ばれる手法による撮像装置では、例えば図２０に示した撮像装置２００のように、個々のマイクロレンズ２２２Ａには開口制限が設けられていないため、そのままでは必然的に撮像素子２２３上でクロストークが発生してしまい、その結果、再生画像の解像度が著しく低下してしまうことになる。上記非特許文献２では、例えば図２０に示したように、マイクロレンズアレイ２２２と撮像素子２２３の間に、シグナル・セパレータと呼ばれる遮光体２２１を配置することで、クロストークの問題を解決する手法が提案されている。しかしながら、そのような遮光体を一体化して形成するのが困難であることや、遮光体内で入射光線の反射を完全に防ぐことは困難であり漏れ光が生じしまうことなどから、実際にはクロストークの発生を回避するのは困難であり、より現実的な改善方法が望まれる。
【０００８】
本発明はかかる問題点に鑑みてなされたもので、その目的は、アレイ状の光学素子を用いた撮像の際に、クロストークの発生を容易に抑えることが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、複数の結像素子を２次元アレイ状に配列してなる結像素子アレイ部と、各結像素子による結像光を複数の撮像画素で受光するように配置された撮像素子と、上記結像素子アレイ部の少なくとも一方側に配置され、撮像素子へ向かう撮像光線の通過および遮断を結像素子単位で切替可能な切替手段と、この切替手段による切替動作を制御する制御部とを備えたものである。
【００１０】
本発明の撮像装置では、結像素子アレイ部内の各結像素子による結像光が、撮像素子内の複数の撮像画素で受光される。その際、結像素子アレイ部の少なくとも一方側に配置された切替手段によって、撮像素子へ向かう撮像光線の通過および遮断が、結像素子単位で切り替えられる。したがって、各結像素子による結像光同士で、撮像素子上での光線の重なりが抑えられる。
【発明の効果】
【００１１】
本発明の撮像装置によれば、結像素子アレイ部の少なくとも一方側に切替手段を配置すると共に、この切替手段によって、撮像素子へ向かう撮像光線の通過および遮断を結像素子単位で切り替えるようにしたので、各結像素子による結像光同士で、撮像素子上での光線の重なりを抑えることができる。よって、アレイ状の光学素子を用いた撮像の際に、クロストークの発生を容易に抑えることが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、撮像対象物３１を撮像して撮像データＤoutを出力するものであり、撮像レンズ１１と、液晶シャッターアレイ１０と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、液晶シャッターアレイ駆動部１５と、撮像素子駆動部１６と、制御部１７とから構成されている。
【００１４】
撮像レンズ１１は、撮像対象物３１を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。
【００１５】
マイクロレンズアレイ１２は、複数のマイクロレンズ１２Ａがマトリクス状（２次元アレイ状）に配列してなり、撮像レンズ１１の焦点面（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。なお、このマイクロレンズ１２Ａが本発明における「結像素子」の一具体例に対応し、マイクロレンズアレイ１２が本発明における「結像素子アレイ部」の一具体例に対応する。
【００１６】
撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データを生成するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、例えば、マトリクス状（２次元アレイ状）に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）などにより構成される。なお、各ＣＣＤ等により、撮像の際の単位画素である撮像画素が構成されるようになっている。
【００１７】
液晶シャッターアレイ１０は、マイクロレンズアレイ１２の一方側、具体的にはマイクロレンズアレイ１２と撮像レンズ１１との間に配置され、撮像素子１３へ向かう撮像光線の通過および遮断をマイクロレンズ１２Ａ単位で切り替えることができるようになっている。なお、この液晶シャッターアレイ１０の詳細構成については、後述する。
【００１８】
液晶シャッターアレイ駆動部１５は、液晶シャッターアレイ１０を駆動してその切替動作の制御を行うものである。具体的には、液晶シャッターアレイ１０に含まれる各液晶シャッターに対する印加電圧の大きさを変化させることにより、液晶シャッターアレイ１０の切替動作を制御するようになっている。また、撮像素子駆動部１６は、撮像素子１３を駆動してその受光動作の制御を行うものである。
【００１９】
画像処理部１４は、撮像素子１３で得られた撮像データに対して所定の画像処理を施し、撮像データＤoutとして出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス（Refocusing）演算処理を行い、これにより任意の視点や方向からの観察画像を再構築できるようになっている。
【００２０】
制御部１７は、画像処理部１４、液晶シャッターアレイ駆動部１５および撮像素子駆動部１６の動作を制御するものである。具体的には、撮像素子駆動部１６の駆動動作および液晶シャッターアレイ駆動部１０の駆動動作を適宜制御すると共に、画像処理部１４の動作を制御するようになっている。なお、制御部１７は、例えばマイクロコンピュータなどにより構成される。なお、この制御部１７および前述の液晶シャッターアレイ駆動部１５が、本発明における「制御部」の一具体例に対応する。
【００２１】
次に、図２および図３を参照して、液晶シャッターアレイ１０の詳細構成について説明する。ここで、図２は、撮像装置１の一部（具体的には、撮像レンズ１１、液晶シャッターアレイ１０、マイクロレンズアレイ１２および撮像素子１３）を拡大して斜視図で表したものであり、図３（Ａ）は、液晶シャッターアレイ１０の断面構成を表したものである。
【００２２】
図２に示したように、この液晶シャッターアレイ１０では、複数の液晶シャッターが、マイクロレンズアレイ１２内の各マイクロレンズ１２Ａに対応してマトリクス状（２次元アレイ状）に配列されている。これら複数の液晶シャッターはそれぞれ、前述した撮像光線の切替動作の際の単位領域である切替領域を構成し、詳細は後述するが、この切替動作は切替領域間で周期的に行われるようになっている。また、この切替動作の各周期において、例えば図２中の切替領域１０Ｂのように、撮像光線Ｌ１が液晶シャッターを通過する通過切替領域と、図２中の切替領域１０Ａのように、撮像光線Ｌ２が液晶シャッターに遮断される遮断切替領域とが、互いに千鳥状の配置となると共に、詳細は後述するが、各周期間において、通過切替領域と遮断切替領域とが互いに入れ替わるようになっている。
【００２３】
また、図３（Ａ）に示したように、液晶シャッターアレイ１０では、対向する一対の基板１０１，１０６間に液晶層１０４が形成され、この液晶層１０４と基板１０１，１０６との間には、電極１０２，１０５および配向膜１０３Ａ，１０３Ｂが形成されている。また、基板１０１，１０６における液晶層１０４の反対側（外側）には、偏光フィルタ１０７Ａ，１０７Ｂが形成されている。
【００２４】
基板１０１，１０６は、それぞれ、例えばガラス基板などの透明基板により構成され、入射光線を透過可能となっている。電極１０２，１０５には、液晶シャッターアレイ駆動部１５から電圧が供給される。これら電極１０２，１０５は、それぞれ、例えばＩＴＯ（Indium Tin Oxide；酸化インジウムスズ）などの透明電極により構成され、基板１０１，１０６と同様に、入射光線を透過可能となっている。配向膜１０３Ａ，１０３Ｂは、液晶層１０４内の液晶分子の配向方向を一律に揃えるためのものであり、本実施の形態では、配向膜１０３Ａと配向膜１０３Ｂとの間で、液晶分子に対する配向方向が、形成面内で互いに直交するようになっている。液晶層１０４は、例えばネマティック液晶などの液晶材料により構成され、電極１０１，１０６間に印加される電圧に応じて液晶分子の配向方向が変化するようになっている。
【００２５】
偏光フィルム１０７Ａ，１０７Ｂはそれぞれ、入射光線のうち、所定の偏光軸に沿った方向の偏光を選択的に通過させるものである。このうち、偏光フィルム１０７Ａは、例えば図３（Ｂ）に示したように、切替領域１０Ａ，１０Ｂの差異によらず、各液晶シャッターに共通の偏光軸（この場合、図中の左右方向）を有している。一方、偏光フィルム１０７Ｂでは、例えば図３（Ｃ）に示したように、切替領域１０Ａと切替領域１０Ｂとの間で、液晶シャッターの偏光軸が互いに直交するようになっている。具体的には、例えばこの場合、切替領域１０Ａには、偏光フィルム１０７における対応領域の偏光軸と同じ方向に沿った偏光軸（この場合、図中の左右方向）が存在し、切替領域１０Ｂには、偏光フィルム１０７における対応領域の偏光軸と直交する方向に沿った偏光軸が存在するようになっている。このような構成により液晶シャッターアレイ１０では、詳細は後述するが、切替領域１０Ａ，１０Ｂ間で互いに異なる切替動作がなされると共に、電極１０２，１０５間への印加電圧の有無（または大きさ）に応じて、それらの切替動作が互いに変化する（互いに入れ替わる）ようになっている。
【００２６】
次に、図１〜図７を参照して、本実施の形態の撮像装置１の動作について詳細に説明する。
【００２７】
まず、図１および図４，図５を参照して、撮像装置１の基本動作について説明する。
【００２８】
この撮像装置１では、撮像レンズ１１による撮像対象物３１の像は、マイクロレンズアレイ１２上に結像する。そしてマイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、撮像素子駆動部１６による駆動動作に従って、撮像素子１３から撮像データが得られる。
【００２９】
次に、撮像素子１３で得られた撮像データは、画像処理部１４へ入力する。そして画像処理部１４では、制御部１７の制御に応じて、この撮像データに対して所定の画像処理が施され、これにより撮像データＤoutが出力される。
【００３０】
ここで、図４および図５を参照して、画像処理部１４による画像処理の一例（リフォーカス演算処理）について詳細に説明する。
【００３１】
まず、図４に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線は、４次元関数ＬＦ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で表される。
【００３２】
そしてこの場合、図５に示したように、撮像レンズ面１１０、撮像面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度ＬＦ’は、以下の（１）式のように表される。また、リフォーカス面１２０で得られるイメージＥＦ’（ｓ，ｔ）は、上記検出強度ＬＦ’をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。したがって、この（２）式からリフォーカス演算を行うことにより、画像処理後の撮像データＤoutに基づいて、任意の視点や方向からの観察画像が再構築されるようになっている。
【００３３】
【数１】
【００３４】
次に、図３，図６および図７を参照して、本発明の特徴的部分の１つである、液晶シャッターアレイ１０による撮像光線の切替動作について詳細に説明する。ここで、図６は、液晶シャッターアレイ１０の作用を説明するためのものであり、各液晶シャッターと各マイクロレンズ１２Ａとを重ね合わせた平面図で表している。また、図７は、液晶シャッターアレイ１０の作用を断面図で表したものである。なお、図６（Ａ）および図７（Ａ）は、液晶シャッターアレイ駆動部１５によって電極１０２，１０５間に電圧が印加されていない場合（または所定の閾値電圧よりも印加電圧が低い場合）のものを、図６（Ｂ）および図７（Ｂ）は、液晶シャッターアレイ駆動部１５によって電極１０２，１０５間に電圧が印加されている場合（または所定の閾値電圧よりも印加電圧が高い場合）のものを、それぞれ表している。
【００３５】
まず、図６（Ａ）および図７（Ａ）に示したように、電極１０２，１０５間に電圧が印加されていない場合には、偏光フィルタ１０７に対して撮像レンズ１１の撮像光線が入射すると、図３（Ｂ）に示したように左右方向の偏光が選択的に通過すると共に、その左右方向の偏光は、液晶層１０４において偏光方向が９０度変化するように変調され、上下方向の偏光となって偏光フィルタ１０７Ｂへ到達する。すると、図３（Ｃ）に示したように、偏光フィルタ１０７Ｂでは、切替領域１０Ａ，１０Ｂにおいて偏光軸が互いに直交しているため、図６（Ａ）に示したように、切替領域１０Ａでは、偏光フィルム１０７Ｂにおいて上下方向の偏光（撮像光線）が遮断される一方、切替領域１０Ｂでは、上下方向の偏光（撮像光線）が偏光フィルム１０７Ｂを通過する。ここで、切替領域１０Ａおよび切替領域１０Ｂは互いに千鳥状に配置されているため、例えば図７（Ａ）に示したように、偏光フィルム１０７Ｂを通過した撮像光線同士で、撮像素子１３上での重なり（図面の上下左右方向に互いに隣接する光線同士の重なり）が抑えられる（この場合、重なりが回避されている）。
【００３６】
一方、図６（Ｂ）および図７（Ｂ）に示したように、電極１０２，１０５間に電圧が印加されている場合には、偏光フィルタ１０７に対して撮像レンズ１１の撮像光線が入射すると、図３（Ｂ）に示したように左右方向の偏光が選択的に通過すると共に、その左右方向の偏光は、液晶層１０４において偏光方向が変調されず、左右方向の偏光のまま、偏光フィルタ１０７Ｂへ到達する。したがって、電圧を印加していない場合とは逆に、図６（Ｂ）に示したように、切替領域１０Ｂでは、偏光フィルム１０７Ｂにおいて左右方向の偏光（撮像光線）が遮断される一方、切替領域１０Ａでは、左右方向の偏光（撮像光線）が偏光フィルム１０７Ｂを通過する。また、この場合も例えば図７（Ｂ）に示したように、偏光フィルム１０７Ｂを通過した撮像光線同士で、撮像素子１３上での重なりが抑えられる（この場合、重なりが回避されている）。
【００３７】
そして、制御部１７および液晶シャッターアレイ駆動部１５によって、このように電極１０２，１０５間に電圧が印加されていない周期と電極１０２，１０５間に電圧が印加されている周期とが周期的に行われる（入れ替わる）ように制御され、これにより、撮像対象物３２の撮像動作が２回（電圧が印加されていない場合と、電圧が印加されていない場合との２回）必要となるものの、撮像素子１３上において、常に撮像光線同士の重なり合いが抑えられるようになる。
【００３８】
以上のように本実施の形態では、マイクロレンズアレイ１２の一方側（マイクロレンズアレイ１２と撮像レンズ１１との間）に、各マイクロレンズ１２Ａに対応して配列された複数の液晶シャッターを含む液晶シャッターアレイ１０を配置すると共に、この液晶シャッターアレイ１０によって、撮像素子１３へ向かう撮像光線の通過および遮断をマイクロレンズ１２Ａ単位で切り替えるようにしたので、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりを抑えることができる。よって、アレイ状の光学素子（この場合、マイクロレンズアレイ１２）を用いた撮像の際に、クロストークの発生を容易に抑えることが可能となる。よって、撮像画像、ひいては画像処理部１４による画像処理後の再構築画像の画質を向上させることが可能となる。
【００３９】
また、液晶シャッターアレイ１０において、撮像光線が通過する通過切替領域と、撮像光線が遮断される遮断切替領域とが互いに千鳥状の配置となると共に、各周期間で通過切替領域と遮断切替領域とが互いに周期的に変化する（入れ替わる）ようにしたので、複数回（この場合、２回）の撮像動作が必要となるものの、撮像素子１３上において、常に撮像光線同士の重なりを抑えることができる。よって、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００４０】
また、例えば図８に示したように、切替領域１０Ａまたは切替領域１０Ｂを通過した撮像光線同士が受光素子１３上で重なり合わない範囲内（クロストークが発生しない範囲内）で、各マイクロレンズ１２Ａによる結像光の受光に対して割り当てられた撮像素子１３内の撮像画素の数が大きくなる（増加する）ように設定した場合には、増加した撮像画素数（この場合、撮像画素数が２倍に増加）を、奥行き方向や視差方向への分解能向上に役立てることができる。よって、そのように構成した場合には、画像処理部１４において画像処理した後の再構築画像の画質をさらに向上させることが可能となる。
【００４１】
さらに、例えば図９に示したマイクロレンズアレイ１２Ｂ（複数のマイクロレンズ１２Ｃを有する）および液晶シャッターアレイ１０Ｃのように、切替領域１０Ａまたは切替領域１０Ｂを通過した撮像光線同士が受光素子１３上で重なり合わない範囲内（クロストークが発生しない範囲内）で、マイクロレンズアレイ１２内のマイクロレンズ１２Ａの数および液晶シャッターアレイ１０内の液晶シャッター（切替領域１０Ａ，１０Ｂ）の数が大きくなる（増加する）ように設定した場合には、撮像画像の解像度を増加させることができ、この場合、最大で２倍の解像度とすることができる。よって、そのように構成した場合、撮像画像および再構築画像の画質をさらに向上させることが可能となる。
【００４２】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００４３】
図１０は、本実施の形態に係る撮像装置（撮像装置１Ａ）の全体構成を表すものである。この撮像装置１Ａは、第１の実施の形態で説明した撮像装置１において、液晶シャッターアレイ１０の代わりに複数の開口部１８Ａを有する開口アレイ１８を設けると共に、液晶シャッターアレイ駆動部１５の代わりに開口アレイ駆動部１９を設けるようにしたものである。
【００４４】
開口アレイ１８では、例えば図１１（Ａ）に示したように、各開口部１８Ａが、各マイクロレンズ１２Ａに対応すると共に千鳥状に配列されている。また、この場合には開口部１８Ａの配列パターンが、図面上の左右方向に一列分、最下端に余分に設けられている。なお、この余分な配列パターンを、最上端に設けるようにしてもよい。また、開口アレイ１８が、本発明における「切替手段」の一具体例に対応する。
【００４５】
開口アレイ駆動部１９は、開口アレイ１８を駆動してその切替動作の制御を行うものである。具体的には、マイクロレンズアレイ１２に対する開口アレイ１８の相対位置（面内方向の相対位置）を変位させることにより、開口アレイ１０の切替動作を制御するようになっている。なお、この開口アレイ駆動部１９および制御部１７が、本発明における「制御部」の一具体例に対応する。
【００４６】
次に、図１０および図１１を参照して、本実施の形態の撮像装置１Ａにおける特徴的な動作である、開口アレイ１８による撮像光線の切替動作について詳細に説明する。ここで、図１１は、開口アレイ１８の作用を説明するためのものであり、各開口部１８Ａと各マイクロレンズ１２Ａとを重ね合わせた平面図で表している。なお、撮像装置１Ａの基本動作（撮像動作）については、第１の実施の形態で説明した撮像装置１のものと同様であるので、説明を省略する。
【００４７】
本実施の形態の撮像装置１Ａでは、マイクロレンズアレイ１２に対する開口アレイ１８の（面内方向の）相対位置が例えば図１１（Ａ）に示したようになっている場合、開口部１８Ａが設けられている切替領域は、通過切替領域として機能し、撮像レンズ１１による撮像光線が開口アレイ１８を通過する一方、開口部１８Ａが設けられていない切替領域が、遮断切替領域として機能し、撮像レンズ１１による撮像光線が開口アレイ１８で遮断される。また、開口部１８Ａは、開口アレイ１８上で千鳥状に配置されている。したがって、第１の実施の形態と同様に、開口部１８Ａを通過した撮像光線同士で、撮像素子１３上での重なり（図面の上下左右方向に互いに隣接する光線同士の重なり）が抑えられる（この場合、重なりが回避されている）。
【００４８】
一方、開口アレイ駆動部１９および制御部１７によって開口アレイ１８が面内の上方向に変位され、マイクロレンズアレイ１２に対する開口アレイ１８の（面内方向の）相対位置が例えば図１１（Ｂ）に示したようになると、開口アレイ１８において開口部１８Ａが千鳥状に配列されているため、各マイクロレンズ１２Ａに対し、通過切替領域と遮断切替領域とが互いに入れ替わる。したがって、この場合も開口部１８Ａを通過した撮像光線同士で、撮像素子１３上での重なり（図面の上下左右方向に互いに隣接する光線同士の重なり）が抑えられる（この場合、重なりが回避されている）。
【００４９】
また、制御部１７および開口アレイ駆動部１９によって、開口アレイ１８が上下方向に周期的に変位するように制御され、これにより、撮像対象物３２の撮像動作が２回（図１１（Ａ）の配置での撮像と図１１（Ｂ）の配置での撮像の２回）必要となるものの、撮像素子１３上において、常に撮像光線同士の重なり合いが抑えられるようになる。
【００５０】
以上のように本実施の形態では、マイクロレンズアレイ１２の一方側（マイクロレンズアレイ１２と撮像レンズ１１との間）に、各マイクロレンズ１２Ａに対応して配列された複数の開口部１８Ａを含む開口アレイ１８を配置すると共に、この開口アレイ１８によって、撮像素子１３へ向かう撮像光線の通過および遮断をマイクロレンズ１２Ａ単位で切り替えるようにしたので、第１の実施の形態と同様に、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりを抑えることができる。よって、アレイ状の光学素子（この場合、マイクロレンズアレイ１２）を用いた撮像の際に、クロストークの発生を容易に抑えることが可能となる。よって、撮像画像、ひいては画像処理部１４による画像処理後の再構築画像の画質を向上させることが可能となる。
【００５１】
また、開口アレイ１８において開口部１８Ａを千鳥状に配置することにより、通過切替領域と遮断切替領域とが互いに千鳥状の配置となると共に、開口アレイ１８を上下方向に周期的に変位させることにより、各周期間で通過切替領域と遮断切替領域とが互いに周期的に変化する（入れ替わる）ようにしたので、第１の実施の形態と同様に、複数回（この場合、２回）の撮像動作が必要となるものの、撮像素子１３上において、常に撮像光線同士の重なりを抑えることができる。よって、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００５２】
さらに、例えば第１の実施の形態における図８や図９の場合と同様に、開口部１８Ａを通過した撮像光線同士が受光素子１３上で重なり合わない範囲内（クロストークが発生しない範囲内）で、各マイクロレンズ１２Ａによる結像光の受光に対して割り当てられた撮像素子１３内の撮像画素の数が大きくなる（増加する）ように設定したり、マイクロレンズアレイ１２内のマイクロレンズ１２Ａの数および開口アレイ１８内の開口部１８Ａの数が大きくなる（増加する）ように設定した場合には、第１の実施の形態と同様に、画質をさらに向上させることが可能となる。
【００５３】
なお、図１１（Ａ）および図１１（Ｂ）では、開口アレイ１８において開口部１８Ａの余分な配列パターンを最下端または最上端に設けると共に、マイクロレンズアレイ１２に対して開口アレイ１８を面内の上下方向に周期的に変位させるようにした場合について説明したが、例えば図１２（Ａ）および図１２（Ｂ）に示した開口アレイ１８Ｂ（千鳥状に配置された複数の開口部１８Ｃを有する）のように、開口アレイ１８Ｂにおいて開口部１８Ｃの余分な配列パターンを最左端または最右端に設けると共に、マイクロレンズアレイ１２に対して開口アレイ１８Ｂを面内の左右方向に周期的に変位させるようにしてもよい。このように構成した場合も、本実施の形態と同様の効果を得ることができる。
【００５４】
また、本実施の形態の開口アレイでは、開口部の形状が矩形状となっている場合について説明したが、例えば図１３（Ａ）に示した開口アレイ１８Ｄ（複数の開口部１８Ｅを有する）や、図１３（Ｂ）に示した開口アレイ１８Ｆ（複数の開口部１８Ｇを有する）のように、各マイクロレンズ１２Ａの形状に合わせて開口部の形状が円形状となるようにすると共に、これらの開口アレイを上下方向（図１３（Ａ）に示した例）や左右方向（図１３（Ｂ）に示した例）に周期的に変位させるようにしてもよい。これらのように構成した場合も、本実施の形態と同様の効果を得ることができる。
【００５５】
以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。
【００５６】
例えば、上記実施の形態では、マイクロレンズアレイ１２ならびに液晶シャッターアレイまたは開口アレイにおいて、各マイクロレンズ１２Ａや各切替領域がマトリクス状に配列されている場合について説明したが、各マイクロレンズ１２Ａや各切替領域が２次元アレイ状に配列されている場合の他の配列例として、例えば図１４（Ａ）に示した液晶シャッターアレイ１０Ｄや、例えば図１４（Ｂ）に示した開口アレイ１８Ｈのように、各切替領域が六角形状となっていると共に、各マイクロレンズ１２Ａおよび各切替領域が最密状の配列となるようにしてもよい。具体的には、液晶シャッターアレイ１０Ｄでは、３つの切替領域（例えば、切替領域１０Ｅ〜１０Ｇ）によって１つの切替グループ領域が構成されると共に、各周期間で通過切替領域と遮断切替領域とが互いに入れ替わる（通過切替領域が、例えば切替領域１０Ｅ、切替領域１０Ｆおよび切替領域１０Ｇの順に周期的に変化する）ようになっている。また、開口アレイ１８Ｈでは、１つの開口切替領域である開口部１８Ｉが設けられた切替領域と、２つの遮断切替領域とによって１つの切替グループ領域が構成されると共に、各周期間で通過切替領域と遮断切替領域とが互いに入れ替わる（例えば、図１４（Ｂ）中の矢印で示したように開口部１８Ｉの位置が変位するように、開口アレイ１８Ｈが面内で周期的に変位する）ようになっている。このように構成した場合、上記実施の形態における効果に加え、３回の撮像動作が必要となるものの、マイクロレンズアレイ１２内のマイクロレンズ１２Ａの数を増やすことができると共に、１つの通過切替領域を囲む切替領域を全て遮断切替領域とすることができる。よって、各マイクロレンズ１２Ａや各切替領域がマトリクス状に配列されており、１つの通過領域に対して上下左右に隣接する切替領域が遮断領域となる上記実施の形態と比べ、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりをより抑えることができ、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００５７】
また、上記実施の形態では、液晶シャッターアレイまたは開口アレイにおいて、各周期ごとに通過切替領域が千鳥状の配列となるようにすると共に、各周期間でその通過切替領域が入れ替わるようになっている場合について説明したが、より一般的には、切替動作の各周期において１つの通過切替領域と複数の遮断切替領域とから１つの切替グループ領域が構成されると共に、各周期間で各切替グループ領域内の通過切替領域の位置が、切替グループ領域間で互いに隣接しないようにして周期的に変位することとなるようにしてもよい。具体的には、例えば図１５（Ａ）に示した液晶シャッターアレイ１０Ｈや、例えば図１５（Ｂ）に示した開口アレイ１８Ｊのように、４つの切替領域によって１つの切替グループが構成されると共に、各切替グループ領域内の通過切替領域の位置が、図中の矢印のように周期的に変位するようにしてもよい。具体的には、液晶シャッターアレイ１０Ｈでは、４つの切替領域（例えば、切替領域１０Ｉ１〜１０Ｉ４）によって１つの切替グループ領域１０Ｉが構成されると共に、各周期間で通過切替領域と遮断切替領域とが互いに入れ替わる（通過切替領域が、例えば切替領域１０Ｉ１、切替領域１０Ｉ２、切替領域Ｉ３および切替領域１０Ｉ４の順に周期的に変化する）ようになっている。また、開口アレイ１８Ｊでは、１つの開口切替領域である開口部１８Ｋが設けられた切替領域と、３つの遮断切替領域とによって１つの切替グループ領域が構成されると共に、各周期間で通過切替領域と遮断切替領域とが互いに入れ替わる（例えば、図１５（Ｂ）中の矢印で示したように開口部１８Ｋの位置が変位するように、開口アレイ１８Ｊが面内で周期的に変位する）ようになっている。このように構成した場合、上記実施の形態における効果に加え、複数回（図１５の場合、４回）の撮像動作が必要となるものの、１つの通過切替領域を囲む切替領域を全て遮断切替領域とすることができる。よって、１つの通過領域に対して上下左右に隣接する切替領域が遮断領域となる上記実施の形態と比べ、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりをより抑えることができ、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００５８】
また、上記実施の形態では、マイクロレンズアレイ１２の一方側（具体的には、撮像レンズ１１とマイクロレンズアレイ１２との間）に液晶シャッターアレイや開口アレイを設けるようにした場合について説明したが、これら液晶シャッターアレイや開口アレイは、マイクロレンズアレイ１２に対する光軸方向に沿った少なくとも一方側に設けるようにすればよい。具体的には、例えば図１６に示した撮像装置１Ｂのように、液晶シャッターアレイ１０Ｊをマイクロレンズアレイ１２と撮像素子１３との間に設けるようにしてもよく、また、例えば図１７に示した撮像装置１Ｃのように、マイクロレンズアレイ１２の両端側に液晶シャッターアレイ（液晶シャッターアレイ１０Ｋ１，１０Ｋ２）を設けるようにしてもよい。前者（図１６）の場合、上記実施の形態と同様の効果を得ることができるが、撮像光の一部を遮断するという観点からは、できるだけマイクロレンズアレイ１２の近くに液晶シャッターアレイを配置するのが好ましい。また、後者（図１７）の場合、撮像レンズ１１による撮像光線の一部を２重に遮断することができるため、上記実施の形態と比べ、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりをより抑えることができ、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００５９】
また、上記実施の形態では、結像素子の一例としてマイクロレンズ１２Ａを挙げ、結像素子アレイ部がマイクロレンズアレイ１２により構成されている場合について説明したが、例えば、結像特性を有する液晶レンズや、結像特性を有する回折格子などの結像素子によって、結像素子アレイ部を構成するようにしてもよい。結像特性を有する液晶レンズによって構成した場合、上記実施の形態における効果に加え、分光特性を持たせた撮像を行うことが可能となる。また、結像特性を有する回折格子によって構成した場合、色収差の問題が生じるため、特に撮像光線が単色光である場合に適した撮像装置となるが、結像素子をマイクロレンズによって構成した上記実施の形態と比べ、結像素子アレイ部をより薄型化することができると共に、より安価に製造することができる。
【００６０】
さらに、上記実施の形態では、画像処理部１４における画像処理方法の一例として、「Light Field Photography」を利用したリフォーカス演算処理について説明したが、画像処理部１４における画像処理方法としてはこれには限られず、他の画像処理方法としてもよい。また、図２０に示した従来の撮像装置２００（「Compound Eye」を利用した撮像装置）において、上記実施の形態で説明した液晶シャッターアレイや開口アレイを設けるようにしてもよい。具体的には、例えば図１８に示した撮像装置２のように、撮像対象物３２を撮像するため複数のマイクロレンズ２２Ａを有するマイクロレンズアレイ２２と、撮像素子２３と、所定の画像処理を行う画像処理部（図示せず）と、液晶シャッターアレイ１０（または開口アレイ１８）とを設けるようにしてもよい。このように構成した場合、上記実施の形態と同様に、各マイクロレンズ２２Ａによる結像光同士で、撮像素子２３上での光線の重なりをより抑えることができる。よって、図２０に示した従来の撮像装置２００と比べ、容易にクロストークの発生を抑え、再構築画像の画質を向上させることが可能となる。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を表すブロック図である。
【図２】図１に示した撮像装置の一部を拡大して表した斜視図である。
【図３】図１に示した液晶シャッターアレイの構成を説明するための断面図および模式図である。
【図４】図１に示した撮像装置における画像処理の一例を説明するための模式斜視図である。
【図５】図１に示した撮像装置における画像処理の一例を説明するための模式断面図である。
【図６】図３に示した液晶シャッターアレイの作用を説明するための平面図である。
【図７】図３に示した液晶シャッターアレイの作用を説明するための断面図である。
【図８】第１の実施の形態の変形例に係る液晶シャッターアレイの作用について説明するための断面図である。
【図９】第１の実施の形態の他の変形例に係る液晶シャッターアレイおよびマイクロレンズアレイの構成および作用について説明するための断面図である。
【図１０】本発明の第２の実施の形態に係る撮像装置の構成を表すブロック図である。
【図１１】図１０に示した開口アレイの作用を説明するための平面図である。
【図１２】第２の実施の形態の変形例に係る開口アレイの作用を説明するための平面図である。
【図１３】第２の実施の形態の他の変形例に係る開口アレイの構成および作用を説明するための平面図である。
【図１４】本発明の変形例に係る液晶シャッターアレイおよび開口アレイの構成および作用を説明するための平面図である。
【図１５】本発明の他の変形例に係る液晶シャッターアレイおよび開口アレイの構成および作用を説明するための平面図である。
【図１６】本発明の他の変形例に係る撮像装置の構成を表すブロック図である。
【図１７】本発明の他の変形例に係る撮像装置の構成を表すブロック図である。
【図１８】本発明の他の変形例に係る撮像装置の構成を表す斜視図である。
【図１９】従来の撮像装置の構成例を表す断面図である。
【図２０】従来の撮像装置の他の構成例を表す斜視図である。
【図２１】図１９に示した従来の撮像装置の作用を説明するための断面図である。
【符号の説明】
【００６２】
１，１Ａ〜１Ｃ，２…撮像装置、１０，１０Ｃ，１０Ｄ，１０Ｈ，１０Ｊ，１０Ｋ１，１０Ｋ２…液晶シャッターアレイ、１０Ａ，１０Ｂ，１０Ｅ〜１０Ｇ，１０Ｉ１〜１０Ｉ４…液晶シャッター、１０Ｉ…切替グループ、１０１，１０６…基板、１０２，１０５…電極、１０３Ａ，１０３Ｂ…配向膜、１０４…液晶層、１０７Ａ，１０７Ｂ…変更フィルタ、１１…撮像レンズ、１１０…撮像レンズ面、１２，１２Ｂ，２２…マイクロレンズアレイ、１２Ａ，１２Ｃ，２２Ａ…マイクロレンズ、１２０…リフォーカス面、１３，２３…撮像素子、１３０…撮像面、１４…画像処理部、１５，１５Ｂ，１５Ｃ…液晶シャッターアレイ駆動部、１６…撮像素子駆動部、１７…制御部、１８，１８Ｂ，１８Ｄ，１８Ｆ，１８Ｈ，１８Ｊ…開口アレイ、１８Ａ，１８Ｃ，１８Ｅ，１８Ｇ，１８Ｉ，１８Ｋ…開口部、１９…開口アレイ駆動部、３１，３２…撮像対象物、ｆ１，ｆ２…焦点距離、Ｄout…撮像データ、Ｌ１，Ｌ２，Ｌ４…光線。
【技術分野】
【０００１】
本発明は、マイクロレンズアレイを用いた撮像装置に関する。
【背景技術】
【０００２】
従来より、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。
【０００３】
例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。これは、例えば図１９に示した撮像装置１００のように、撮像対象物１３１を撮像するためのメインレンズである撮像レンズ１１１と、複数のマイクロレンズ１１２Ａがアレイ化されたマイクロレンズアレイ１１２と、撮像素子１１３と、画像処理部（図示せず）とから構成され、撮像素子１１３から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視点や方向からの観察画像を再構築できるようになっている。
【０００４】
また、例えば特許文献２および非特許文献２には、マイクロレンズアレイ等および画像処理を利用した撮像装置の他の例として、超薄型の複眼光学系を用いた「Compound Eye」と呼ばれる手法による撮像装置が提案されている。これは、例えば図２０に示した撮像装置２００のように、複数のマイクロレンズ２２２Ａを有するマイクロレンズアレイ２２２と、撮像素子２２３と、画像処理部（図示せず）とから構成され、撮像対象物２３２がマイクロレンズアレイ２２２によって撮像素子２２３上に結像されると共に、各マイクロレンズ２２２Ａからの撮像画像が複数の撮像画素（例えば、ｎ×ｎ個（ｎ：２以上の整数））で受光されるようになっている。そしてこのようにして撮影して得られた撮像画像は、各マイクロレンズ２２２Ａの位置において観察される画像をｎ×ｎの解像度で撮影した場合に等しく、上記特許文献２に示された手法を用いて素子出力を並べ替えると共に画素補間処理を施すことで、解像度の高い再構成画像が得られるようになっている。
【０００５】
【特許文献１】国際公開第０６／０３９４８６号パンフレット
【特許文献２】特許第３６９９９２１号公報
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【非特許文献２】Y.Kitamura、他１０名「Reconstruction of High-Resolution Image on a Compound-Eye Image-Capturing System」，Appl. Opt. ２００４年、第４３巻，ｐ．１７１９−１７２７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上記した「Light Field Photography」と呼ばれる手法を用いた撮像装置では、メインレンズ（例えば、撮像レンズ１１１）とマイクロレンズアレイ（例えば、マイクロレンズアレイ１１２）との間でＦナンバーを互いに一致させる必要性があることが、上記特許文献１に記載されている。これは、メインレンズのＦナンバーがマイクロレンズアレイのＦナンバーよりも小さい場合（Ｆ（ＭＬ）＜Ｆ（ＭＬＡ）の場合）には、例えば図２１（Ａ）中の符号Ｐ１０１〜Ｐ１０３に示したように、隣接するマイクロレンズ１１２Ａによる撮像光線間で重なりが生じ、これによりクロストークが発生するため、再構成画像の画質が劣化してしまうからである。また、逆にメインレンズのＦナンバーがマイクロレンズアレイのＦナンバーよりも大きい場合（Ｆ（ＭＬ）＞Ｆ（ＭＬＡ）の場合）には、例えば図２１（Ｂ）中の符号Ｐ１０４〜Ｐ１０６に示したように、マイクロレンズ１１２Ａによる撮像光線が受光されない撮像画素が生じるため、撮像画素を十分に利用することができず、再構成画像の解像度が低下してしまうからである。これらのうちでも特に、前者のクロストークの発生に関しては、観察画像の情報の一部が失われてしまうことになるため、発生しないように改善する必要がある。しかしながら、上記特許文献１や非特許文献１では、具体的な改善方法については何ら記載されていないため、この点についての改善方法が望まれている。
【０００７】
一方、上記した「Compound Eye」と呼ばれる手法による撮像装置では、例えば図２０に示した撮像装置２００のように、個々のマイクロレンズ２２２Ａには開口制限が設けられていないため、そのままでは必然的に撮像素子２２３上でクロストークが発生してしまい、その結果、再生画像の解像度が著しく低下してしまうことになる。上記非特許文献２では、例えば図２０に示したように、マイクロレンズアレイ２２２と撮像素子２２３の間に、シグナル・セパレータと呼ばれる遮光体２２１を配置することで、クロストークの問題を解決する手法が提案されている。しかしながら、そのような遮光体を一体化して形成するのが困難であることや、遮光体内で入射光線の反射を完全に防ぐことは困難であり漏れ光が生じしまうことなどから、実際にはクロストークの発生を回避するのは困難であり、より現実的な改善方法が望まれる。
【０００８】
本発明はかかる問題点に鑑みてなされたもので、その目的は、アレイ状の光学素子を用いた撮像の際に、クロストークの発生を容易に抑えることが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、複数の結像素子を２次元アレイ状に配列してなる結像素子アレイ部と、各結像素子による結像光を複数の撮像画素で受光するように配置された撮像素子と、上記結像素子アレイ部の少なくとも一方側に配置され、撮像素子へ向かう撮像光線の通過および遮断を結像素子単位で切替可能な切替手段と、この切替手段による切替動作を制御する制御部とを備えたものである。
【００１０】
本発明の撮像装置では、結像素子アレイ部内の各結像素子による結像光が、撮像素子内の複数の撮像画素で受光される。その際、結像素子アレイ部の少なくとも一方側に配置された切替手段によって、撮像素子へ向かう撮像光線の通過および遮断が、結像素子単位で切り替えられる。したがって、各結像素子による結像光同士で、撮像素子上での光線の重なりが抑えられる。
【発明の効果】
【００１１】
本発明の撮像装置によれば、結像素子アレイ部の少なくとも一方側に切替手段を配置すると共に、この切替手段によって、撮像素子へ向かう撮像光線の通過および遮断を結像素子単位で切り替えるようにしたので、各結像素子による結像光同士で、撮像素子上での光線の重なりを抑えることができる。よって、アレイ状の光学素子を用いた撮像の際に、クロストークの発生を容易に抑えることが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、撮像対象物３１を撮像して撮像データＤoutを出力するものであり、撮像レンズ１１と、液晶シャッターアレイ１０と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、液晶シャッターアレイ駆動部１５と、撮像素子駆動部１６と、制御部１７とから構成されている。
【００１４】
撮像レンズ１１は、撮像対象物３１を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。
【００１５】
マイクロレンズアレイ１２は、複数のマイクロレンズ１２Ａがマトリクス状（２次元アレイ状）に配列してなり、撮像レンズ１１の焦点面（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。なお、このマイクロレンズ１２Ａが本発明における「結像素子」の一具体例に対応し、マイクロレンズアレイ１２が本発明における「結像素子アレイ部」の一具体例に対応する。
【００１６】
撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データを生成するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、例えば、マトリクス状（２次元アレイ状）に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）などにより構成される。なお、各ＣＣＤ等により、撮像の際の単位画素である撮像画素が構成されるようになっている。
【００１７】
液晶シャッターアレイ１０は、マイクロレンズアレイ１２の一方側、具体的にはマイクロレンズアレイ１２と撮像レンズ１１との間に配置され、撮像素子１３へ向かう撮像光線の通過および遮断をマイクロレンズ１２Ａ単位で切り替えることができるようになっている。なお、この液晶シャッターアレイ１０の詳細構成については、後述する。
【００１８】
液晶シャッターアレイ駆動部１５は、液晶シャッターアレイ１０を駆動してその切替動作の制御を行うものである。具体的には、液晶シャッターアレイ１０に含まれる各液晶シャッターに対する印加電圧の大きさを変化させることにより、液晶シャッターアレイ１０の切替動作を制御するようになっている。また、撮像素子駆動部１６は、撮像素子１３を駆動してその受光動作の制御を行うものである。
【００１９】
画像処理部１４は、撮像素子１３で得られた撮像データに対して所定の画像処理を施し、撮像データＤoutとして出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス（Refocusing）演算処理を行い、これにより任意の視点や方向からの観察画像を再構築できるようになっている。
【００２０】
制御部１７は、画像処理部１４、液晶シャッターアレイ駆動部１５および撮像素子駆動部１６の動作を制御するものである。具体的には、撮像素子駆動部１６の駆動動作および液晶シャッターアレイ駆動部１０の駆動動作を適宜制御すると共に、画像処理部１４の動作を制御するようになっている。なお、制御部１７は、例えばマイクロコンピュータなどにより構成される。なお、この制御部１７および前述の液晶シャッターアレイ駆動部１５が、本発明における「制御部」の一具体例に対応する。
【００２１】
次に、図２および図３を参照して、液晶シャッターアレイ１０の詳細構成について説明する。ここで、図２は、撮像装置１の一部（具体的には、撮像レンズ１１、液晶シャッターアレイ１０、マイクロレンズアレイ１２および撮像素子１３）を拡大して斜視図で表したものであり、図３（Ａ）は、液晶シャッターアレイ１０の断面構成を表したものである。
【００２２】
図２に示したように、この液晶シャッターアレイ１０では、複数の液晶シャッターが、マイクロレンズアレイ１２内の各マイクロレンズ１２Ａに対応してマトリクス状（２次元アレイ状）に配列されている。これら複数の液晶シャッターはそれぞれ、前述した撮像光線の切替動作の際の単位領域である切替領域を構成し、詳細は後述するが、この切替動作は切替領域間で周期的に行われるようになっている。また、この切替動作の各周期において、例えば図２中の切替領域１０Ｂのように、撮像光線Ｌ１が液晶シャッターを通過する通過切替領域と、図２中の切替領域１０Ａのように、撮像光線Ｌ２が液晶シャッターに遮断される遮断切替領域とが、互いに千鳥状の配置となると共に、詳細は後述するが、各周期間において、通過切替領域と遮断切替領域とが互いに入れ替わるようになっている。
【００２３】
また、図３（Ａ）に示したように、液晶シャッターアレイ１０では、対向する一対の基板１０１，１０６間に液晶層１０４が形成され、この液晶層１０４と基板１０１，１０６との間には、電極１０２，１０５および配向膜１０３Ａ，１０３Ｂが形成されている。また、基板１０１，１０６における液晶層１０４の反対側（外側）には、偏光フィルタ１０７Ａ，１０７Ｂが形成されている。
【００２４】
基板１０１，１０６は、それぞれ、例えばガラス基板などの透明基板により構成され、入射光線を透過可能となっている。電極１０２，１０５には、液晶シャッターアレイ駆動部１５から電圧が供給される。これら電極１０２，１０５は、それぞれ、例えばＩＴＯ（Indium Tin Oxide；酸化インジウムスズ）などの透明電極により構成され、基板１０１，１０６と同様に、入射光線を透過可能となっている。配向膜１０３Ａ，１０３Ｂは、液晶層１０４内の液晶分子の配向方向を一律に揃えるためのものであり、本実施の形態では、配向膜１０３Ａと配向膜１０３Ｂとの間で、液晶分子に対する配向方向が、形成面内で互いに直交するようになっている。液晶層１０４は、例えばネマティック液晶などの液晶材料により構成され、電極１０１，１０６間に印加される電圧に応じて液晶分子の配向方向が変化するようになっている。
【００２５】
偏光フィルム１０７Ａ，１０７Ｂはそれぞれ、入射光線のうち、所定の偏光軸に沿った方向の偏光を選択的に通過させるものである。このうち、偏光フィルム１０７Ａは、例えば図３（Ｂ）に示したように、切替領域１０Ａ，１０Ｂの差異によらず、各液晶シャッターに共通の偏光軸（この場合、図中の左右方向）を有している。一方、偏光フィルム１０７Ｂでは、例えば図３（Ｃ）に示したように、切替領域１０Ａと切替領域１０Ｂとの間で、液晶シャッターの偏光軸が互いに直交するようになっている。具体的には、例えばこの場合、切替領域１０Ａには、偏光フィルム１０７における対応領域の偏光軸と同じ方向に沿った偏光軸（この場合、図中の左右方向）が存在し、切替領域１０Ｂには、偏光フィルム１０７における対応領域の偏光軸と直交する方向に沿った偏光軸が存在するようになっている。このような構成により液晶シャッターアレイ１０では、詳細は後述するが、切替領域１０Ａ，１０Ｂ間で互いに異なる切替動作がなされると共に、電極１０２，１０５間への印加電圧の有無（または大きさ）に応じて、それらの切替動作が互いに変化する（互いに入れ替わる）ようになっている。
【００２６】
次に、図１〜図７を参照して、本実施の形態の撮像装置１の動作について詳細に説明する。
【００２７】
まず、図１および図４，図５を参照して、撮像装置１の基本動作について説明する。
【００２８】
この撮像装置１では、撮像レンズ１１による撮像対象物３１の像は、マイクロレンズアレイ１２上に結像する。そしてマイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、撮像素子駆動部１６による駆動動作に従って、撮像素子１３から撮像データが得られる。
【００２９】
次に、撮像素子１３で得られた撮像データは、画像処理部１４へ入力する。そして画像処理部１４では、制御部１７の制御に応じて、この撮像データに対して所定の画像処理が施され、これにより撮像データＤoutが出力される。
【００３０】
ここで、図４および図５を参照して、画像処理部１４による画像処理の一例（リフォーカス演算処理）について詳細に説明する。
【００３１】
まず、図４に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線は、４次元関数ＬＦ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で表される。
【００３２】
そしてこの場合、図５に示したように、撮像レンズ面１１０、撮像面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度ＬＦ’は、以下の（１）式のように表される。また、リフォーカス面１２０で得られるイメージＥＦ’（ｓ，ｔ）は、上記検出強度ＬＦ’をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。したがって、この（２）式からリフォーカス演算を行うことにより、画像処理後の撮像データＤoutに基づいて、任意の視点や方向からの観察画像が再構築されるようになっている。
【００３３】
【数１】
【００３４】
次に、図３，図６および図７を参照して、本発明の特徴的部分の１つである、液晶シャッターアレイ１０による撮像光線の切替動作について詳細に説明する。ここで、図６は、液晶シャッターアレイ１０の作用を説明するためのものであり、各液晶シャッターと各マイクロレンズ１２Ａとを重ね合わせた平面図で表している。また、図７は、液晶シャッターアレイ１０の作用を断面図で表したものである。なお、図６（Ａ）および図７（Ａ）は、液晶シャッターアレイ駆動部１５によって電極１０２，１０５間に電圧が印加されていない場合（または所定の閾値電圧よりも印加電圧が低い場合）のものを、図６（Ｂ）および図７（Ｂ）は、液晶シャッターアレイ駆動部１５によって電極１０２，１０５間に電圧が印加されている場合（または所定の閾値電圧よりも印加電圧が高い場合）のものを、それぞれ表している。
【００３５】
まず、図６（Ａ）および図７（Ａ）に示したように、電極１０２，１０５間に電圧が印加されていない場合には、偏光フィルタ１０７に対して撮像レンズ１１の撮像光線が入射すると、図３（Ｂ）に示したように左右方向の偏光が選択的に通過すると共に、その左右方向の偏光は、液晶層１０４において偏光方向が９０度変化するように変調され、上下方向の偏光となって偏光フィルタ１０７Ｂへ到達する。すると、図３（Ｃ）に示したように、偏光フィルタ１０７Ｂでは、切替領域１０Ａ，１０Ｂにおいて偏光軸が互いに直交しているため、図６（Ａ）に示したように、切替領域１０Ａでは、偏光フィルム１０７Ｂにおいて上下方向の偏光（撮像光線）が遮断される一方、切替領域１０Ｂでは、上下方向の偏光（撮像光線）が偏光フィルム１０７Ｂを通過する。ここで、切替領域１０Ａおよび切替領域１０Ｂは互いに千鳥状に配置されているため、例えば図７（Ａ）に示したように、偏光フィルム１０７Ｂを通過した撮像光線同士で、撮像素子１３上での重なり（図面の上下左右方向に互いに隣接する光線同士の重なり）が抑えられる（この場合、重なりが回避されている）。
【００３６】
一方、図６（Ｂ）および図７（Ｂ）に示したように、電極１０２，１０５間に電圧が印加されている場合には、偏光フィルタ１０７に対して撮像レンズ１１の撮像光線が入射すると、図３（Ｂ）に示したように左右方向の偏光が選択的に通過すると共に、その左右方向の偏光は、液晶層１０４において偏光方向が変調されず、左右方向の偏光のまま、偏光フィルタ１０７Ｂへ到達する。したがって、電圧を印加していない場合とは逆に、図６（Ｂ）に示したように、切替領域１０Ｂでは、偏光フィルム１０７Ｂにおいて左右方向の偏光（撮像光線）が遮断される一方、切替領域１０Ａでは、左右方向の偏光（撮像光線）が偏光フィルム１０７Ｂを通過する。また、この場合も例えば図７（Ｂ）に示したように、偏光フィルム１０７Ｂを通過した撮像光線同士で、撮像素子１３上での重なりが抑えられる（この場合、重なりが回避されている）。
【００３７】
そして、制御部１７および液晶シャッターアレイ駆動部１５によって、このように電極１０２，１０５間に電圧が印加されていない周期と電極１０２，１０５間に電圧が印加されている周期とが周期的に行われる（入れ替わる）ように制御され、これにより、撮像対象物３２の撮像動作が２回（電圧が印加されていない場合と、電圧が印加されていない場合との２回）必要となるものの、撮像素子１３上において、常に撮像光線同士の重なり合いが抑えられるようになる。
【００３８】
以上のように本実施の形態では、マイクロレンズアレイ１２の一方側（マイクロレンズアレイ１２と撮像レンズ１１との間）に、各マイクロレンズ１２Ａに対応して配列された複数の液晶シャッターを含む液晶シャッターアレイ１０を配置すると共に、この液晶シャッターアレイ１０によって、撮像素子１３へ向かう撮像光線の通過および遮断をマイクロレンズ１２Ａ単位で切り替えるようにしたので、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりを抑えることができる。よって、アレイ状の光学素子（この場合、マイクロレンズアレイ１２）を用いた撮像の際に、クロストークの発生を容易に抑えることが可能となる。よって、撮像画像、ひいては画像処理部１４による画像処理後の再構築画像の画質を向上させることが可能となる。
【００３９】
また、液晶シャッターアレイ１０において、撮像光線が通過する通過切替領域と、撮像光線が遮断される遮断切替領域とが互いに千鳥状の配置となると共に、各周期間で通過切替領域と遮断切替領域とが互いに周期的に変化する（入れ替わる）ようにしたので、複数回（この場合、２回）の撮像動作が必要となるものの、撮像素子１３上において、常に撮像光線同士の重なりを抑えることができる。よって、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００４０】
また、例えば図８に示したように、切替領域１０Ａまたは切替領域１０Ｂを通過した撮像光線同士が受光素子１３上で重なり合わない範囲内（クロストークが発生しない範囲内）で、各マイクロレンズ１２Ａによる結像光の受光に対して割り当てられた撮像素子１３内の撮像画素の数が大きくなる（増加する）ように設定した場合には、増加した撮像画素数（この場合、撮像画素数が２倍に増加）を、奥行き方向や視差方向への分解能向上に役立てることができる。よって、そのように構成した場合には、画像処理部１４において画像処理した後の再構築画像の画質をさらに向上させることが可能となる。
【００４１】
さらに、例えば図９に示したマイクロレンズアレイ１２Ｂ（複数のマイクロレンズ１２Ｃを有する）および液晶シャッターアレイ１０Ｃのように、切替領域１０Ａまたは切替領域１０Ｂを通過した撮像光線同士が受光素子１３上で重なり合わない範囲内（クロストークが発生しない範囲内）で、マイクロレンズアレイ１２内のマイクロレンズ１２Ａの数および液晶シャッターアレイ１０内の液晶シャッター（切替領域１０Ａ，１０Ｂ）の数が大きくなる（増加する）ように設定した場合には、撮像画像の解像度を増加させることができ、この場合、最大で２倍の解像度とすることができる。よって、そのように構成した場合、撮像画像および再構築画像の画質をさらに向上させることが可能となる。
【００４２】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
【００４３】
図１０は、本実施の形態に係る撮像装置（撮像装置１Ａ）の全体構成を表すものである。この撮像装置１Ａは、第１の実施の形態で説明した撮像装置１において、液晶シャッターアレイ１０の代わりに複数の開口部１８Ａを有する開口アレイ１８を設けると共に、液晶シャッターアレイ駆動部１５の代わりに開口アレイ駆動部１９を設けるようにしたものである。
【００４４】
開口アレイ１８では、例えば図１１（Ａ）に示したように、各開口部１８Ａが、各マイクロレンズ１２Ａに対応すると共に千鳥状に配列されている。また、この場合には開口部１８Ａの配列パターンが、図面上の左右方向に一列分、最下端に余分に設けられている。なお、この余分な配列パターンを、最上端に設けるようにしてもよい。また、開口アレイ１８が、本発明における「切替手段」の一具体例に対応する。
【００４５】
開口アレイ駆動部１９は、開口アレイ１８を駆動してその切替動作の制御を行うものである。具体的には、マイクロレンズアレイ１２に対する開口アレイ１８の相対位置（面内方向の相対位置）を変位させることにより、開口アレイ１０の切替動作を制御するようになっている。なお、この開口アレイ駆動部１９および制御部１７が、本発明における「制御部」の一具体例に対応する。
【００４６】
次に、図１０および図１１を参照して、本実施の形態の撮像装置１Ａにおける特徴的な動作である、開口アレイ１８による撮像光線の切替動作について詳細に説明する。ここで、図１１は、開口アレイ１８の作用を説明するためのものであり、各開口部１８Ａと各マイクロレンズ１２Ａとを重ね合わせた平面図で表している。なお、撮像装置１Ａの基本動作（撮像動作）については、第１の実施の形態で説明した撮像装置１のものと同様であるので、説明を省略する。
【００４７】
本実施の形態の撮像装置１Ａでは、マイクロレンズアレイ１２に対する開口アレイ１８の（面内方向の）相対位置が例えば図１１（Ａ）に示したようになっている場合、開口部１８Ａが設けられている切替領域は、通過切替領域として機能し、撮像レンズ１１による撮像光線が開口アレイ１８を通過する一方、開口部１８Ａが設けられていない切替領域が、遮断切替領域として機能し、撮像レンズ１１による撮像光線が開口アレイ１８で遮断される。また、開口部１８Ａは、開口アレイ１８上で千鳥状に配置されている。したがって、第１の実施の形態と同様に、開口部１８Ａを通過した撮像光線同士で、撮像素子１３上での重なり（図面の上下左右方向に互いに隣接する光線同士の重なり）が抑えられる（この場合、重なりが回避されている）。
【００４８】
一方、開口アレイ駆動部１９および制御部１７によって開口アレイ１８が面内の上方向に変位され、マイクロレンズアレイ１２に対する開口アレイ１８の（面内方向の）相対位置が例えば図１１（Ｂ）に示したようになると、開口アレイ１８において開口部１８Ａが千鳥状に配列されているため、各マイクロレンズ１２Ａに対し、通過切替領域と遮断切替領域とが互いに入れ替わる。したがって、この場合も開口部１８Ａを通過した撮像光線同士で、撮像素子１３上での重なり（図面の上下左右方向に互いに隣接する光線同士の重なり）が抑えられる（この場合、重なりが回避されている）。
【００４９】
また、制御部１７および開口アレイ駆動部１９によって、開口アレイ１８が上下方向に周期的に変位するように制御され、これにより、撮像対象物３２の撮像動作が２回（図１１（Ａ）の配置での撮像と図１１（Ｂ）の配置での撮像の２回）必要となるものの、撮像素子１３上において、常に撮像光線同士の重なり合いが抑えられるようになる。
【００５０】
以上のように本実施の形態では、マイクロレンズアレイ１２の一方側（マイクロレンズアレイ１２と撮像レンズ１１との間）に、各マイクロレンズ１２Ａに対応して配列された複数の開口部１８Ａを含む開口アレイ１８を配置すると共に、この開口アレイ１８によって、撮像素子１３へ向かう撮像光線の通過および遮断をマイクロレンズ１２Ａ単位で切り替えるようにしたので、第１の実施の形態と同様に、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりを抑えることができる。よって、アレイ状の光学素子（この場合、マイクロレンズアレイ１２）を用いた撮像の際に、クロストークの発生を容易に抑えることが可能となる。よって、撮像画像、ひいては画像処理部１４による画像処理後の再構築画像の画質を向上させることが可能となる。
【００５１】
また、開口アレイ１８において開口部１８Ａを千鳥状に配置することにより、通過切替領域と遮断切替領域とが互いに千鳥状の配置となると共に、開口アレイ１８を上下方向に周期的に変位させることにより、各周期間で通過切替領域と遮断切替領域とが互いに周期的に変化する（入れ替わる）ようにしたので、第１の実施の形態と同様に、複数回（この場合、２回）の撮像動作が必要となるものの、撮像素子１３上において、常に撮像光線同士の重なりを抑えることができる。よって、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００５２】
さらに、例えば第１の実施の形態における図８や図９の場合と同様に、開口部１８Ａを通過した撮像光線同士が受光素子１３上で重なり合わない範囲内（クロストークが発生しない範囲内）で、各マイクロレンズ１２Ａによる結像光の受光に対して割り当てられた撮像素子１３内の撮像画素の数が大きくなる（増加する）ように設定したり、マイクロレンズアレイ１２内のマイクロレンズ１２Ａの数および開口アレイ１８内の開口部１８Ａの数が大きくなる（増加する）ように設定した場合には、第１の実施の形態と同様に、画質をさらに向上させることが可能となる。
【００５３】
なお、図１１（Ａ）および図１１（Ｂ）では、開口アレイ１８において開口部１８Ａの余分な配列パターンを最下端または最上端に設けると共に、マイクロレンズアレイ１２に対して開口アレイ１８を面内の上下方向に周期的に変位させるようにした場合について説明したが、例えば図１２（Ａ）および図１２（Ｂ）に示した開口アレイ１８Ｂ（千鳥状に配置された複数の開口部１８Ｃを有する）のように、開口アレイ１８Ｂにおいて開口部１８Ｃの余分な配列パターンを最左端または最右端に設けると共に、マイクロレンズアレイ１２に対して開口アレイ１８Ｂを面内の左右方向に周期的に変位させるようにしてもよい。このように構成した場合も、本実施の形態と同様の効果を得ることができる。
【００５４】
また、本実施の形態の開口アレイでは、開口部の形状が矩形状となっている場合について説明したが、例えば図１３（Ａ）に示した開口アレイ１８Ｄ（複数の開口部１８Ｅを有する）や、図１３（Ｂ）に示した開口アレイ１８Ｆ（複数の開口部１８Ｇを有する）のように、各マイクロレンズ１２Ａの形状に合わせて開口部の形状が円形状となるようにすると共に、これらの開口アレイを上下方向（図１３（Ａ）に示した例）や左右方向（図１３（Ｂ）に示した例）に周期的に変位させるようにしてもよい。これらのように構成した場合も、本実施の形態と同様の効果を得ることができる。
【００５５】
以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。
【００５６】
例えば、上記実施の形態では、マイクロレンズアレイ１２ならびに液晶シャッターアレイまたは開口アレイにおいて、各マイクロレンズ１２Ａや各切替領域がマトリクス状に配列されている場合について説明したが、各マイクロレンズ１２Ａや各切替領域が２次元アレイ状に配列されている場合の他の配列例として、例えば図１４（Ａ）に示した液晶シャッターアレイ１０Ｄや、例えば図１４（Ｂ）に示した開口アレイ１８Ｈのように、各切替領域が六角形状となっていると共に、各マイクロレンズ１２Ａおよび各切替領域が最密状の配列となるようにしてもよい。具体的には、液晶シャッターアレイ１０Ｄでは、３つの切替領域（例えば、切替領域１０Ｅ〜１０Ｇ）によって１つの切替グループ領域が構成されると共に、各周期間で通過切替領域と遮断切替領域とが互いに入れ替わる（通過切替領域が、例えば切替領域１０Ｅ、切替領域１０Ｆおよび切替領域１０Ｇの順に周期的に変化する）ようになっている。また、開口アレイ１８Ｈでは、１つの開口切替領域である開口部１８Ｉが設けられた切替領域と、２つの遮断切替領域とによって１つの切替グループ領域が構成されると共に、各周期間で通過切替領域と遮断切替領域とが互いに入れ替わる（例えば、図１４（Ｂ）中の矢印で示したように開口部１８Ｉの位置が変位するように、開口アレイ１８Ｈが面内で周期的に変位する）ようになっている。このように構成した場合、上記実施の形態における効果に加え、３回の撮像動作が必要となるものの、マイクロレンズアレイ１２内のマイクロレンズ１２Ａの数を増やすことができると共に、１つの通過切替領域を囲む切替領域を全て遮断切替領域とすることができる。よって、各マイクロレンズ１２Ａや各切替領域がマトリクス状に配列されており、１つの通過領域に対して上下左右に隣接する切替領域が遮断領域となる上記実施の形態と比べ、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりをより抑えることができ、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００５７】
また、上記実施の形態では、液晶シャッターアレイまたは開口アレイにおいて、各周期ごとに通過切替領域が千鳥状の配列となるようにすると共に、各周期間でその通過切替領域が入れ替わるようになっている場合について説明したが、より一般的には、切替動作の各周期において１つの通過切替領域と複数の遮断切替領域とから１つの切替グループ領域が構成されると共に、各周期間で各切替グループ領域内の通過切替領域の位置が、切替グループ領域間で互いに隣接しないようにして周期的に変位することとなるようにしてもよい。具体的には、例えば図１５（Ａ）に示した液晶シャッターアレイ１０Ｈや、例えば図１５（Ｂ）に示した開口アレイ１８Ｊのように、４つの切替領域によって１つの切替グループが構成されると共に、各切替グループ領域内の通過切替領域の位置が、図中の矢印のように周期的に変位するようにしてもよい。具体的には、液晶シャッターアレイ１０Ｈでは、４つの切替領域（例えば、切替領域１０Ｉ１〜１０Ｉ４）によって１つの切替グループ領域１０Ｉが構成されると共に、各周期間で通過切替領域と遮断切替領域とが互いに入れ替わる（通過切替領域が、例えば切替領域１０Ｉ１、切替領域１０Ｉ２、切替領域Ｉ３および切替領域１０Ｉ４の順に周期的に変化する）ようになっている。また、開口アレイ１８Ｊでは、１つの開口切替領域である開口部１８Ｋが設けられた切替領域と、３つの遮断切替領域とによって１つの切替グループ領域が構成されると共に、各周期間で通過切替領域と遮断切替領域とが互いに入れ替わる（例えば、図１５（Ｂ）中の矢印で示したように開口部１８Ｋの位置が変位するように、開口アレイ１８Ｊが面内で周期的に変位する）ようになっている。このように構成した場合、上記実施の形態における効果に加え、複数回（図１５の場合、４回）の撮像動作が必要となるものの、１つの通過切替領域を囲む切替領域を全て遮断切替領域とすることができる。よって、１つの通過領域に対して上下左右に隣接する切替領域が遮断領域となる上記実施の形態と比べ、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりをより抑えることができ、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００５８】
また、上記実施の形態では、マイクロレンズアレイ１２の一方側（具体的には、撮像レンズ１１とマイクロレンズアレイ１２との間）に液晶シャッターアレイや開口アレイを設けるようにした場合について説明したが、これら液晶シャッターアレイや開口アレイは、マイクロレンズアレイ１２に対する光軸方向に沿った少なくとも一方側に設けるようにすればよい。具体的には、例えば図１６に示した撮像装置１Ｂのように、液晶シャッターアレイ１０Ｊをマイクロレンズアレイ１２と撮像素子１３との間に設けるようにしてもよく、また、例えば図１７に示した撮像装置１Ｃのように、マイクロレンズアレイ１２の両端側に液晶シャッターアレイ（液晶シャッターアレイ１０Ｋ１，１０Ｋ２）を設けるようにしてもよい。前者（図１６）の場合、上記実施の形態と同様の効果を得ることができるが、撮像光の一部を遮断するという観点からは、できるだけマイクロレンズアレイ１２の近くに液晶シャッターアレイを配置するのが好ましい。また、後者（図１７）の場合、撮像レンズ１１による撮像光線の一部を２重に遮断することができるため、上記実施の形態と比べ、各マイクロレンズ１２Ａによる結像光同士で、撮像素子１３上での光線の重なりをより抑えることができ、撮像画像および再構築画像の画質をより向上させることが可能となる。
【００５９】
また、上記実施の形態では、結像素子の一例としてマイクロレンズ１２Ａを挙げ、結像素子アレイ部がマイクロレンズアレイ１２により構成されている場合について説明したが、例えば、結像特性を有する液晶レンズや、結像特性を有する回折格子などの結像素子によって、結像素子アレイ部を構成するようにしてもよい。結像特性を有する液晶レンズによって構成した場合、上記実施の形態における効果に加え、分光特性を持たせた撮像を行うことが可能となる。また、結像特性を有する回折格子によって構成した場合、色収差の問題が生じるため、特に撮像光線が単色光である場合に適した撮像装置となるが、結像素子をマイクロレンズによって構成した上記実施の形態と比べ、結像素子アレイ部をより薄型化することができると共に、より安価に製造することができる。
【００６０】
さらに、上記実施の形態では、画像処理部１４における画像処理方法の一例として、「Light Field Photography」を利用したリフォーカス演算処理について説明したが、画像処理部１４における画像処理方法としてはこれには限られず、他の画像処理方法としてもよい。また、図２０に示した従来の撮像装置２００（「Compound Eye」を利用した撮像装置）において、上記実施の形態で説明した液晶シャッターアレイや開口アレイを設けるようにしてもよい。具体的には、例えば図１８に示した撮像装置２のように、撮像対象物３２を撮像するため複数のマイクロレンズ２２Ａを有するマイクロレンズアレイ２２と、撮像素子２３と、所定の画像処理を行う画像処理部（図示せず）と、液晶シャッターアレイ１０（または開口アレイ１８）とを設けるようにしてもよい。このように構成した場合、上記実施の形態と同様に、各マイクロレンズ２２Ａによる結像光同士で、撮像素子２３上での光線の重なりをより抑えることができる。よって、図２０に示した従来の撮像装置２００と比べ、容易にクロストークの発生を抑え、再構築画像の画質を向上させることが可能となる。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を表すブロック図である。
【図２】図１に示した撮像装置の一部を拡大して表した斜視図である。
【図３】図１に示した液晶シャッターアレイの構成を説明するための断面図および模式図である。
【図４】図１に示した撮像装置における画像処理の一例を説明するための模式斜視図である。
【図５】図１に示した撮像装置における画像処理の一例を説明するための模式断面図である。
【図６】図３に示した液晶シャッターアレイの作用を説明するための平面図である。
【図７】図３に示した液晶シャッターアレイの作用を説明するための断面図である。
【図８】第１の実施の形態の変形例に係る液晶シャッターアレイの作用について説明するための断面図である。
【図９】第１の実施の形態の他の変形例に係る液晶シャッターアレイおよびマイクロレンズアレイの構成および作用について説明するための断面図である。
【図１０】本発明の第２の実施の形態に係る撮像装置の構成を表すブロック図である。
【図１１】図１０に示した開口アレイの作用を説明するための平面図である。
【図１２】第２の実施の形態の変形例に係る開口アレイの作用を説明するための平面図である。
【図１３】第２の実施の形態の他の変形例に係る開口アレイの構成および作用を説明するための平面図である。
【図１４】本発明の変形例に係る液晶シャッターアレイおよび開口アレイの構成および作用を説明するための平面図である。
【図１５】本発明の他の変形例に係る液晶シャッターアレイおよび開口アレイの構成および作用を説明するための平面図である。
【図１６】本発明の他の変形例に係る撮像装置の構成を表すブロック図である。
【図１７】本発明の他の変形例に係る撮像装置の構成を表すブロック図である。
【図１８】本発明の他の変形例に係る撮像装置の構成を表す斜視図である。
【図１９】従来の撮像装置の構成例を表す断面図である。
【図２０】従来の撮像装置の他の構成例を表す斜視図である。
【図２１】図１９に示した従来の撮像装置の作用を説明するための断面図である。
【符号の説明】
【００６２】
１，１Ａ〜１Ｃ，２…撮像装置、１０，１０Ｃ，１０Ｄ，１０Ｈ，１０Ｊ，１０Ｋ１，１０Ｋ２…液晶シャッターアレイ、１０Ａ，１０Ｂ，１０Ｅ〜１０Ｇ，１０Ｉ１〜１０Ｉ４…液晶シャッター、１０Ｉ…切替グループ、１０１，１０６…基板、１０２，１０５…電極、１０３Ａ，１０３Ｂ…配向膜、１０４…液晶層、１０７Ａ，１０７Ｂ…変更フィルタ、１１…撮像レンズ、１１０…撮像レンズ面、１２，１２Ｂ，２２…マイクロレンズアレイ、１２Ａ，１２Ｃ，２２Ａ…マイクロレンズ、１２０…リフォーカス面、１３，２３…撮像素子、１３０…撮像面、１４…画像処理部、１５，１５Ｂ，１５Ｃ…液晶シャッターアレイ駆動部、１６…撮像素子駆動部、１７…制御部、１８，１８Ｂ，１８Ｄ，１８Ｆ，１８Ｈ，１８Ｊ…開口アレイ、１８Ａ，１８Ｃ，１８Ｅ，１８Ｇ，１８Ｉ，１８Ｋ…開口部、１９…開口アレイ駆動部、３１，３２…撮像対象物、ｆ１，ｆ２…焦点距離、Ｄout…撮像データ、Ｌ１，Ｌ２，Ｌ４…光線。
【特許請求の範囲】
【請求項１】
複数の結像素子を２次元のアレイ状に配列してなる結像素子アレイ部と、
各結像素子による結像光を複数の撮像画素で受光するように配置された撮像素子と、
前記結像素子アレイ部の少なくとも一方側に配置され、前記撮像素子へ向かう撮像光線の通過および遮断を前記結像素子単位で切替可能な切替手段と、
前記切替手段による切替動作を制御する制御部と
を備えたことを特徴とする撮像装置。
【請求項２】
前記切替手段は、前記結像素子に対応した配置であると共に前記切替動作の単位領域である複数の切替領域を有し、
前記制御部は、前記切替動作が前記切替領域間で周期的に行われるように制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記切替動作の各周期において前記撮像光線が通過する通過切替領域と前記撮像光線が遮断される遮断切替領域とが互いに千鳥状の配置となると共に、各周期間で前記通過切替領域と前記遮断切替領域とが互いに入れ替わることとなるように、切替動作を制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部は、前記切替動作の各周期において前記撮像光線が通過する１つの通過切替領域と前記撮像光線が遮断される複数の遮断切替領域とから１つの切替グループ領域が構成されると共に、各周期間で各切替グループ領域内の前記通過切替領域の位置が、切替グループ領域間で互いに隣接しないようにして周期的に変位することとなるように、切替動作を制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記切替手段は、前記結像素子に対応して配列された複数の液晶シャッターを含む液晶シャッターアレイであり、
前記制御手段は、前記液晶シャッターに対する印加電圧の大きさを変化させることにより、前記切替動作を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記切替手段は、前記結像素子に対応して配列された複数の開口部を有する開口アレイであり、
前記制御手段は、前記結像素子アレイ部に対する前記開口アレイの相対位置を変位させることにより、前記切替動作を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記切替手段が、前記結像素子アレイ部の両側に配置されている
ことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記切替手段を通過した撮像光線が対応する結像素子間で互いに重ならない範囲内で、各結像素子による結像光の受光に対して割り当てられた前記撮像画素の数が大きくなるように設定されている
ことを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記切替手段を通過した光線が対応する結像素子間で互いに重ならない範囲内で、前記結像素子アレイ部内の結像素子の数が大きくなるように設定されている
ことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記結像素子アレイ部が、マイクロレンズアレイである
ことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記結像素子が、結像特性を有する液晶レンズである
ことを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記結像素子が、結像特性を有する回折素子である
ことを特徴とする請求項１に記載の撮像装置。
【請求項１】
複数の結像素子を２次元のアレイ状に配列してなる結像素子アレイ部と、
各結像素子による結像光を複数の撮像画素で受光するように配置された撮像素子と、
前記結像素子アレイ部の少なくとも一方側に配置され、前記撮像素子へ向かう撮像光線の通過および遮断を前記結像素子単位で切替可能な切替手段と、
前記切替手段による切替動作を制御する制御部と
を備えたことを特徴とする撮像装置。
【請求項２】
前記切替手段は、前記結像素子に対応した配置であると共に前記切替動作の単位領域である複数の切替領域を有し、
前記制御部は、前記切替動作が前記切替領域間で周期的に行われるように制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記切替動作の各周期において前記撮像光線が通過する通過切替領域と前記撮像光線が遮断される遮断切替領域とが互いに千鳥状の配置となると共に、各周期間で前記通過切替領域と前記遮断切替領域とが互いに入れ替わることとなるように、切替動作を制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御部は、前記切替動作の各周期において前記撮像光線が通過する１つの通過切替領域と前記撮像光線が遮断される複数の遮断切替領域とから１つの切替グループ領域が構成されると共に、各周期間で各切替グループ領域内の前記通過切替領域の位置が、切替グループ領域間で互いに隣接しないようにして周期的に変位することとなるように、切替動作を制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記切替手段は、前記結像素子に対応して配列された複数の液晶シャッターを含む液晶シャッターアレイであり、
前記制御手段は、前記液晶シャッターに対する印加電圧の大きさを変化させることにより、前記切替動作を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記切替手段は、前記結像素子に対応して配列された複数の開口部を有する開口アレイであり、
前記制御手段は、前記結像素子アレイ部に対する前記開口アレイの相対位置を変位させることにより、前記切替動作を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記切替手段が、前記結像素子アレイ部の両側に配置されている
ことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記切替手段を通過した撮像光線が対応する結像素子間で互いに重ならない範囲内で、各結像素子による結像光の受光に対して割り当てられた前記撮像画素の数が大きくなるように設定されている
ことを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記切替手段を通過した光線が対応する結像素子間で互いに重ならない範囲内で、前記結像素子アレイ部内の結像素子の数が大きくなるように設定されている
ことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記結像素子アレイ部が、マイクロレンズアレイである
ことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記結像素子が、結像特性を有する液晶レンズである
ことを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記結像素子が、結像特性を有する回折素子である
ことを特徴とする請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００８−１６７１５４（Ｐ２００８−１６７１５４Ａ）
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願番号】特願２００６−３５４３１９（Ｐ２００６−３５４３１９）
【出願日】平成１８年１２月２８日（２００６．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願日】平成１８年１２月２８日（２００６．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]