３次元撮像装置および光透過板
【課題】色フィルタを用いて視差を有する複数の画像と光利用率の高い画像を生成するとともに、レンズ絞り量の変化にも対応できる撮像技術および光学構成を提供する。
【解決手段】透過波長域が互いに異なるＮ個（Ｎは３以上整数）の扇形の透過領域を有する光透過部２と、光透過部２を透過した光を受ける固体撮像素子１と、固体撮像素子１の撮像面に像を形成する光学系３と、固体撮像素子１から出力される信号を処理する信号処理部とを備える。固体撮像素子１の撮像面には、Ｎ個の光感知セルとＮ個の色フィルタとで構成される光感知セルアレイ、および色フィルタアレイが形成され、各透過領域および各色フィルタの透過波長域は、透過領域の少なくとも１つを透過する光がＮ個の色フィルタの少なくとも２つを透過し、信号処理部は、各透過領域に入射する光の強度のうち少なくとも２つの強度を示す信号を生成し視差を有する少なくとも２つの画像のデータを生成する。
【解決手段】透過波長域が互いに異なるＮ個（Ｎは３以上整数）の扇形の透過領域を有する光透過部２と、光透過部２を透過した光を受ける固体撮像素子１と、固体撮像素子１の撮像面に像を形成する光学系３と、固体撮像素子１から出力される信号を処理する信号処理部とを備える。固体撮像素子１の撮像面には、Ｎ個の光感知セルとＮ個の色フィルタとで構成される光感知セルアレイ、および色フィルタアレイが形成され、各透過領域および各色フィルタの透過波長域は、透過領域の少なくとも１つを透過する光がＮ個の色フィルタの少なくとも２つを透過し、信号処理部は、各透過領域に入射する光の強度のうち少なくとも２つの強度を示す信号を生成し視差を有する少なくとも２つの画像のデータを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視差を有する複数の画像を生成する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
【０００３】
３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像を取得する方式が研究されている。例えば、特許文献１には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いる方式が開示されている。
【０００４】
図１２は、当該方式による撮像系の構成を示す模式図である。撮像装置は、０度偏光の偏光板１１、９０度偏光の偏光板１２、反射鏡１３、ハーフミラー１４、円形の偏光フィルタ１５、円形の偏光フィルタを回転させる駆動装置１６、光学レンズ３、光学レンズにより結像された像を取得する撮像装置９を備えている。ここで、ハーフミラー１４は、偏光板１１を透過して反射鏡１３で反射された光を反射し、偏光板１２を透過した光を透過させる。以上の構成により、離れた場所に配置された偏光板１１、１２をそれぞれ透過した光は、ハーフミラー１４、円形の偏光フィルタ１５、および光学レンズ３を透過して撮像装置９に入射し、画像が取得される。この方式における撮像の原理は、円形の偏光フィルタ１５を回転させることにより、２枚の偏光板１１、１２のそれぞれに入射した光を別々のタイミングで捉え、視差を有する２つの画像を取得する、というものである。
【０００５】
しかしながら、上記方式では、円形の偏光フィルタ１５を回転しながら時間分割によって異なる位置の画像を取得するため、視差を有する２つの画像を同時に取得できないという課題がある。また、機械的駆動を用いるため、耐久性に問題があり得る。さらに、入射光が偏光板および偏光フィルタを透過するため、撮像装置９が受ける光の量（受光量）が５０％以上も減少するという問題点もある。
【０００６】
上記方式に対して、機械的駆動を用いることなく視差のある２つの画像を同時に撮像する方式が特許文献２に開示されている。この方式による撮像装置は、２つの入射領域から入射する光を反射鏡によって集光し、２種類の偏光フィルタが交互に配列された撮像素子で受光することにより、機械的駆動部を有さずに視差のある２つの画像を取得する。
【０００７】
図１３は、この方式における撮像系の構成を示す模式図である。この撮像系は、透過軸の方向が互いに直交する２つの偏光板１１、１２と、反射鏡１３と、光学レンズ３と、撮像素子１とを有する。撮像素子１は、その撮像面に、複数の画素１０と、画素に１対１に対応して配置された偏光フィルタ１７、１８とを備える。偏光フィルタ１７、１８は全画素上に交互に配列されている。ここで、偏光フィルタ１７、１８の透過軸の向きは、それぞれ偏光板１１、１２の透過軸の向きと一致している。
【０００８】
以上の構成により、入射光は偏光板１１、１２を透過し、反射鏡１３で反射され、光学レンズ３を通り、撮像素子１の撮像面に入射する。偏光板１１、１２をそれぞれ透過して撮像素子１に入射する光は、それぞれ偏光フィルタ１７、１８を透過してそれらの直下の画素で光電変換される。ここで、偏光板１１、１２をそれぞれ通って撮像素子１に入射する光によって形成される画像を、それぞれ右目用画像、左目用画像と呼ぶと、右目用画像、左目用画像は、それぞれ偏光フィルタ１７、１８に対向する画素群から得られる。
【０００９】
このように、特許文献２に開示された方式では、特許文献１に開示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に透過軸の方向が互いに直交する２種類の偏光フィルタが交互に配置される。これにより、解像度は特許文献１の方式に比べて１／２に低下するが、１つの撮像素子を用いて視差を有する右目用画像と左目用画像とを同時に得ることができる。
【００１０】
しかしながら、この技術においても特許文献１の技術と同様、入射光が偏光板および偏光フィルタを透過する際に光量が減少するため、撮像素子の受光量は大きく減少する。
【００１１】
この受光量が減少するという問題に対して、視差を有する２つの画像と通常の画像とを１つの撮像素子で取得できる技術が特許文献３に開示されている。この技術によれば、視差のある２つの画像の取得時と通常画像の取得時とで構成要素の一部が機械的に入れ替わることによって視差を有する２つの画像と通常画像とが１つの撮像素子で取得される。視差を有する２つの画像を取得する際に光路上に２つの偏光フィルタが配置される点は特許文献２に開示された技術と同じである。一方、通常画像を取得する際にはこれらの偏光フィルタは機械的に光路から取り外される。このような機構を取り入れることにより、視差のある画像と光利用率の高い通常画像とを得ることができる。
【００１２】
上記の特許文献１〜３に開示された技術では、偏光板や偏光フィルタが用いられるが、他のアプローチとして、色フィルタが用いられる技術もある。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する技術が特許文献４に開示されている。図１４は、この技術を用いた撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。
【００１３】
以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルムに結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム上にはこれら２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献４に開示された技術によれば、２つの色フィルタを使って視差を有する画像を作ることができる。
【００１４】
特許文献４に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献５に開示されている。図１５は、この技術における光束制限版を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限版２２が用いられる。これらの領域を透過した光を赤用のＲ画素、緑用のＧ画素、青用のＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。
【００１５】
また、特許文献６にも、図１５の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１６は、特許文献６に開示された光束制限板を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差のある画像を作ることができる。
【００１６】
上記の特許文献４〜６に示された技術によれば、光束制限板にＲＧＢの色フィルタを配置することによって視差のある画像を生成することができる。しかしながら、光束制限板を用いるため、入射光量が減少する。また、視差の効果を高めるにはＲＧＢの色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、そのようにすると入射光量はさらに減少する。
【００１７】
以上の技術に対して、ＲＧＢの色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献７に開示されている。この技術では、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけが受光され、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外されるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では視差のある画像を取得し、絞りを開いた状態では光利用率の高い通常画像を得ることができる。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開昭６２−２９１２９２号公報
【特許文献２】特開昭６２−２１７７９０号公報
【特許文献３】特開２００１−０１６６１１号公報
【特許文献４】特開平２−１７１７３７号公報
【特許文献５】特開２００２−３４４９９９号公報
【特許文献６】特開２００９−２７６２９４号公報
【特許文献７】特開２００３−１３４５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
従来技術によれば、視差を有する複数の画像を取得することができるが、偏光板または色フィルタを用いるため、撮像素子の受光量は減少する。入射光量を十分に確保するためには、偏光板または色フィルタを機械的駆動によって光路から外す機構を用いて光利用率の高い通常画像を取得する必要がある。そのような機械的駆動を用いる場合、装置の大型化および高コスト化を招くという問題がある。
【００２０】
本発明は、機械的駆動を行うことなく、色フィルタを用いて視差を有する複数の画像を生成するとともに、光利用率の高い画像を生成し得る３次元撮像技術を提供する。さらに、本発明は、レンズ絞り量が変化しても同一の機構により視差を有する複数画像を取得できる撮像技術および光学構成を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の３次元撮像装置は、透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置された固体撮像素子と、絞りを有し前記固体撮像素子の撮像面に像を形成する光学系と、前記固体撮像素子から出力される信号を処理する信号処理部とを備えている。前記固体撮像素子は、光感知セルアレイ、および前記光感知セルアレイに対向して配置された色フィルタアレイを有している。前記光感知セルアレイおよび前記色フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに１対１に対応して配置された、透過波長域が互いに異なるＮ個の色フィルタを含んでいる。前記光透過部の中心は、前記光学系の光軸上に位置し、前記Ｎ個の透過領域の少なくとも２個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している。
【００２２】
ある実施形態において、前記Ｎ個の透過領域の少なくともＮ−１個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している。
【００２３】
ある実施形態において、前記N個の透過領域の少なくともＮ−１個は、前記光透過部の中心を頂点とする扇形の形状を有している。
【００２４】
ある実施形態において、Ｎ＝３であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、前記シアン領域の形状および前記黄領域の形状は扇形である。
【００２５】
ある実施形態において、Ｎ＝４であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である。
【００２６】
ある実施形態において、前記Ｎ個の透過領域および前記Ｎ個の色フィルタの透過波長域は、前記Ｎ個の透過領域の少なくとも１つを透過する光が前記Ｎ個の色フィルタの少なくとも２つを透過できるように設定され、前記信号処理部は、前記Ｎ個の光感知セルから出力される信号に基づいて、前記Ｎ個の透過領域の各々に入射する光の強度のうち少なくとも２つの強度を示す信号を生成することによって視差を有する少なくとも２つの画像のデータを生成する。
【００２７】
本発明の光透過板は、透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有する光透過板であって、前記Ｎ個の透過領域の少なくとも２個は、半径方向に垂直な方向のサイズが中心からの距離に応じて大きくなる部分を有している。
【００２８】
本発明の光透過板のある実施形態において、前記N個の透過領域の少なくとも２個は、中心を頂点とする扇形の形状を有している。
【００２９】
本発明の光透過板のある実施形態において、前記N個の透過領域の少なくともＮ−１個は、中心を頂点とする扇形の形状を有している。
【００３０】
本発明の光透過板のある実施形態において、Ｎ＝３であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、前記シアン領域の形状および前記黄領域の形状は扇形である。
【００３１】
本発明の光透過板のある実施形態において、Ｎ＝４であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である。
【発明の効果】
【００３２】
本発明によれば、機械的駆動を行うことなく、色フィルタを有する撮像素子を用いて、視差を有する複数の画像を得ることができる。さらに、透過領域および色フィルタの透過波長域を適切に設定することにより、光利用率の高い画像を得ることができる。また、本発明によれば、レンズ絞り量が変化しても同一の機構で視差を有する複数の画像を取得することができる。
【図面の簡単な説明】
【００３３】
【図１】実施形態１における全体構成を示すブロック図
【図２】実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図
【図３】実施形態１における透光板の透過領域の配置を示す図
【図４】実施形態１における撮像素子の色フィルタの基本構成を示す図
【図５】実施形態１における撮像素子の色フィルタの他の基本構成を示す図
【図６】実施形態１における撮像素子の色フィルタのさらに他の基本構成を示す図
【図７Ａ】実施形態１における透光板、光学系、および撮像素子の第２の例を示す図
【図７Ｂ】実施形態１における透光板、光学系、および撮像素子の第３の例を示す図
【図８】実施形態２における透光板の透過領域の配置を示す図
【図９】実施形態２における撮像素子の色フィルタの基本構成を示す図
【図１０】ｎ個の透過領域を有する光透過部の一例を示す図
【図１１】各単位要素におけるｎ個の色フィルタの配置の一例を示す図
【図１２】特許文献１における撮像系の構成図
【図１３】特許文献２における撮像系の構成図
【図１４】特許文献４における撮像系の構成図
【図１５】特許文献５における光束制限板の外観図
【図１６】特許文献６における光束制限板の外観図
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において共通する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。
【００３５】
（実施形態１）
図１は、本発明の第１の実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。
【００３６】
撮像部１００は、撮像面上に配列された複数の光感知セルを備える撮像素子（イメージセンサ）１と、透過波長域が互いに異なる３つの透過領域を有し入射光を透過させる透光板２と、撮像素子の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４と、レンズ絞り１９とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
【００３７】
信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
【００３８】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００３９】
次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。
【００４０】
図２は、撮像部１００における透光板２、レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、透過波長域が互いに異なる３つの透過領域Ｃ１、Ｃ２、Ｃ３を有し、入射光を透過させる。本実施形態では、領域Ｃ３は領域Ｃ１およびＣ２を隔てて２つの部分に分かれているが、これらを１つの領域Ｃ３であるとする。レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。なお、以下の説明において、撮像面１ａに平行な平面において、領域Ｃ１からＣ２へ向かう方向をｘ方向とし、ｘ方向に垂直な方向をｙ方向とする。ここで、透光板２の中心は、レンズ３の光軸上に位置している。
【００４１】
図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３と同様、円形であるが、他の形状であってもよい。ここで、領域Ｃ１および領域Ｃ２は、透光板２の中心を頂点とする扇形の形状を有している。このような透光板２を用いることにより、レンズ絞り１９の開口径が変化した場合、領域Ｃ１、Ｃ２、Ｃ３において入射光を受ける部分の面積は変化するが、それらの面積比率は一定に保たれる。その結果、レンズ絞り１９の開口径が変化しても、後述する信号演算処理を変えることなく画像を生成することができる。なお、領域Ｃ１、Ｃ２における扇形形状の中心角は、１８０°よりも小さい限りにおいて任意の角度に設定され得る。本実施形態では、領域Ｃ１、Ｃ２は、透光板２の中心を通るｙ方向の直線に対して線対称に位置するように配置されているが、本発明はこのような配置に限られない。
【００４２】
領域Ｃ１には、シアン（Ｃｙ）の波長域の光を透過させる色フィルタ（Ｃｙフィルタ）が配置される。領域Ｃ２には、黄（Ｙｅ）の波長域の光を透過させる色フィルタ（Ｙｅフィルタ）が配置される。これらの色フィルタは、公知のどのような色フィルタであってもよい。なお、本実施形態における領域Ｃ１および領域Ｃ２は、それぞれＣｙの波長域の光およびＹｅの波長域の光を透過し、他の波長域の光を透過しないように構成されていれば、色フィルタに限らず、どのような部材で構成されていてもよい。また、透光板２における他の領域Ｃ３は、白色光（Ｗ）に含まれる全波長域の可視光を透過させる透明部材で形成された透明領域である。透明部材は、光を高い透過率で透過させる部材であればどのようなものでもよい。本実施形態では、領域Ｃ１および領域Ｃ２の面積は等しく、領域Ｃ３の面積は領域Ｃ１、Ｃ２の面積よりも大きく設計されている。
【００４３】
なお、上記の透光板２の構成は、あくまでも本実施形態における構成であり、本発明はこのような構成に限られない。本発明の光透過部は、透過波長域が互いに異なる３つ以上の透過領域を有していれば、各透過領域の特性、材質、形状、サイズは任意である。例えば、領域Ｃ３に、透明部材の代わりにマゼンタ（Ｍｇ）の波長域の光を透過させる色フィルタ（Ｍｇフィルタ）を配置してもよい。また、透光板２の一部に遮光領域が含まれていてもよい。
【００４４】
図２に示される撮像素子１の撮像面１ａには、２次元状に配列された光感知セルアレイおよび光感知セルアレイに対向して配置された色フィルタアレイが形成されている。光感知セルアレイおよび色フィルタアレイは、複数の単位要素を有し、各単位要素は、４つの光感知セルおよびそれらに対向する４つの色フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（光電変換信号）を出力する。また、各色フィルタは、公知の顔料などを用いて作製され、特定の波長域の光を選択的に透過させるように設計されている。
【００４５】
図４は、本実施形態における色フィルタアレイの一部を模式的に示す図である。図示されるように、撮像面１ａ上には多数の色フィルタ１１０が行列状に配列されている。近接する４つの色フィルタ１１０およびそれらに対向する４つの光感知セル１２０が１つの単位要素を構成している。各単位要素において、１行１列目には赤（Ｒ）の波長域の光を透過させる色フィルタ（Ｒフィルタ）が配置されている。１行２列目および２行１列目には緑（Ｇ）の波長域の光を透過させる色フィルタ（Ｇフィルタ）が配置されている。２行２列目には青の波長域の光を透過させる色フィルタ（Ｂフィルタ）が配置されている。このように、本実施形態における色フィルタ１１０の配列は、２行２列を基本とする公知のＢａｙｅｒ配列である。
【００４６】
なお、光感知セル１２０および色フィルタ１１０の配列は、必ずしもＢａｙｅｒ配列である必要はなく、公知のどのような配列であってもよい。また、光感知セル１２０および色フィルタ１１０の配列は、ｘ方向およびｙ方向に沿った配列である必要はなく、ｘ方向およびｙ方向に対して傾いていてもよい。その場合、左右の視差に関する情報ではなく、斜め方向の視差に関する情報が得られる。
【００４７】
また、１つの単位要素には４つの光感知セルおよび４つの色フィルタを有することは必須ではなく、少なくとも３つの光感知セルおよび３つの色フィルタを有していればよい。各単位要素に含まれる光感知セルおよび色フィルタの数は、上記の透光板２における透過領域の数と同じか、それよりも多ければ後述する信号演算によって画像情報を得ることができる。
【００４８】
以上の構成により、露光中に撮像装置に入射する光は、透光板２、レンズ３、赤外カットフィルタ４、色フィルタ１１０を通って光感知セル１２０に入射する。各光感知セルは、透光板２の領域Ｃ１、Ｃ２、Ｃ３の各々を透過した光のうち、対向する色フィルタを通った光を受け、受けた光の量に応じた光電変換信号を出力する。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて右目用画像、左目用画像、およびカラー画像を生成する。
【００４９】
以下、各光感知セルから出力される光電変換信号を説明する。まず、透光板２の領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度に相当する信号を、それぞれ添え字「ｉ」を付けてＣｉ１、Ｃｉ２、Ｃｉ３で表すこととする。また、透光板２における透明領域Ｃ３、レンズ３、および赤外カットフィルタ４を合わせた分光透過率をＴｗ、Ｃｙフィルタの分光透過率をＴｃｙ、Ｙｅフィルタの分光透過率をＴｙｅとする。同様に、Ｒ、Ｇ、Ｂの各色フィルタの分光透過率を、それぞれＴｒ、Ｔｇ、Ｔｂと表す。ここで、Ｔｗ、Ｔｃｙ、Ｔｙｅ、Ｔｒ、Ｔｇ、Ｔｂは、入射する光の波長λに依存する関数である。Ｒ、Ｇ、Ｂの色フィルタを透過して直下の光感知セルで受光される光の強度を示す信号を、それぞれ添え字「ｓ」を付けてＲｓ、Ｇｓ、Ｂｓと表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫ＴｗＴｃｙＴｒｄλなどを、ΣＴｗＴｃｙＴｒなどと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。すると、Ｒｓは、Ｃｉ１ΣＴｗＴｃｙＴｒ、Ｃｉ２ΣＴｗＴｙｅＴｒ、およびＣｉ３ΣＴｗＴｒを合算した結果に比例する。同様に、Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｙｅＴｇ、およびＣｉ３ΣＴｗＴｇを合算した結果に比例し、Ｂｓは、Ｃｉ１ΣＴｗＴｃｙＴｂ、Ｃｉ２ΣＴｗＴｙｅＴｂ、Ｃｉ３ΣＴｗＴｂを合算した結果に比例する。なお、ここではＣ１〜Ｃ３に入射する光は、可視光領域のどの波長成分もほぼ等量含んでいるものと仮定している。これらの関係における比例係数を１とすれば、Ｒｓ、Ｇｓ、Ｂｓは、以下の式１〜３で表すことができる。
【００５０】
（式１）Ｒｓ＝Ｃｉ１ΣＴｗＴｃｙＴｒ＋Ｃｉ２ΣＴｗＴｙｅＴｒ＋Ｃｉ３ΣＴｗＴｒ
（式２）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｙｅＴｇ＋Ｃｉ３ΣＴｗＴｇ
（式３）Ｂｓ＝Ｃｉ１ΣＴｗＴｃｙＴｂ＋Ｃｉ２ΣＴｗＴｙｅＴｂ＋Ｃｉ３ΣＴｗＴｂ
式１〜３において、ΣＴｗＴｃｙＴｒ、ΣＴｗＴｙｅＴｒ、ΣＴｗＴｒを、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｇを、それぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３で表し、ΣＴｗＴｃｙＴｂ、ΣＴｗＴｙｅＴｂ、ΣＴｗＴｂを、それぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３で表すこととする。すると、Ｒｓ、Ｇｓ、ＢｓとＣｉ１、Ｃｉ２、Ｃｉ３との関係は、行列を用いて以下の式４で表すことができる。
【００５１】
【数１】
【００５２】
ここで、式４における要素Ｍｘ１１〜Ｍｘ３３からなる行列の逆行列の要素を、それぞれｉＭ１１〜ｉＭ３３とすると、式４は次の式５に変形できる。すなわち、領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度を示す信号を、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表すことができる。
【００５３】
【数２】
【００５４】
画像信号生成部７は、式５に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２、Ｃｉ３を、単位要素ごとに生成する。このようにして単位要素ごとに生成された信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、領域Ｃ１、Ｃ２、Ｃ３のそれぞれに入射する光によって形成される３つの画像を表す。特に、信号Ｃｉ１、Ｃｉ２によって表される画像は、ｘ方向に離れて位置する領域Ｃ１、Ｃ２からそれぞれ被写体を見たときの画像に相当するため、左目用画像および右目用画像として扱うことができる。すなわち、信号Ｃｉ１、Ｃｉ２によって表される２つの画像は、領域Ｃ１、Ｃ２の距離に応じた視差を有する。したがって、これらの画像から被写体の奥行きを示す情報を得ることができる。
【００５５】
一方、Ｃｉ３は、視差を示す画像ではなく通常の画像を示す信号であると言える。Ｃｉ３は、Ｃｉ１およびＣｉ２と類似する箇所があり得るため、そのような箇所においてＣｉ３の信号をＣｉ１、Ｃｉ２の信号に加えることにより、視差を示す画像Ｃｉ１、Ｃｉ２の信号レベルを高めることができる。本実施形態では、領域Ｃ３の面積が領域Ｃ１、Ｃ２の面積よりも大きいことから、Ｃｉ３の信号レベルはＣｉ１、Ｃｉ２の信号レベルよりも高い。したがって、Ｃｉ３の一部をＣｉ１およびＣｉ２に加算することは、視差を示す良好な画像を得る上で効果的である。本実施形態において、領域Ｃ１、Ｃ２の面積に対する領域Ｃ３の面積は大きいほど好ましい。なお、視差のない通常の画像を取得する際も、領域Ｃ３の面積が大きいほど、信号レベルの高い画像信号を得ることができる。
【００５６】
以上の処理によって得られる画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表されるが、これらはカラー画像ではなく、白黒画像に相当する。白黒画像ではなくカラー画像を得るには、上記の信号演算処理は行わず、得られた各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行えばよい。その際、透光板２に配置されたＣｙフィルタ、Ｙｅフィルタによって入射光の損失や色温度ずれが発生し得るが、これらの色フィルタの光透過率が高いため、入射光の損失を従来技術の場合よりも小さくできる。また、全体的な色のずれが発生しても白バランスの調整により対処できる。このように、本実施形態の撮像装置によれば、光利用率の高い良好なカラー画像を得ることができる。
【００５７】
なお、カラー画像を得る際に、各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行うのではなく、式４におけるＣｉ３の項だけを利用してカラー情報を得てもよい。すなわち、式５に基づいてＣｉ３を求めた後、Ｍｘ１３×Ｃｉ３をＲの光量、Ｍｘ２３×Ｃｉ３をＧの光量、Ｍｘ３３×Ｃｉ３をＢの光量とすることによってもカラー画像を得ることができる。
【００５８】
以上のように、本実施形態によれば、Ｃｙフィルタが配置された領域Ｃ１、Ｙｅフィルタが配置された領域Ｃ２、および透明部材からなる領域Ｃ３から構成される透光板２と、Ｂａｙｅｒ配列を有するカラー撮像素子１とが用いられる。光学系や色フィルタなどの分光透過率に関する積分演算によって得られる３×３の行列に基づく信号演算を各光電変換信号に対して実行することにより、画像信号生成部７は、視差を有する２つの画像、および光利用率の高い通常画像を生成する。さらに、通常のＢａｙｅｒ配列で用いられるカラー処理、または信号Ｃｉ３を用いたカラー処理を行えば、光利用率の高いカラー画像を得ることができる。また、レンズ絞り１９の開口径が変化しても領域Ｃ１、Ｃ２、Ｃ３の光を透過する部分の面積比率は変わらないため、上記の演算式（式４、５）を変えることなくレンズ絞り１９の開口径の変化に対応することができるという利点も有する。
【００５９】
なお、本実施形態における透光板２において、領域Ｃ１、Ｃ２の形状は扇形であるが、必ずしも扇形である必要はない。レンズ絞り１９の開口径が変化したときに各透過領域において光を受ける部分の面積比率が一定に保たれれば、領域Ｃ１、Ｃ２の形状はどのような形状であってもよい。
【００６０】
本実施形態における画像信号生成部７は、上記のように視差を有する２つの画像、光利用率の高い白黒画像およびカラー画像を生成することができるが、これらの画像を全て生成することは必須ではない。画像信号生成部７は、少なくとも視差を有する２つの画像データを生成するように構成されていればよい。
【００６１】
なお、本実施形態では、撮像素子１における色フィルタの配列は、ＲＧＢの色フィルタが配置されたＢａｙｅｒ型の色配列であるが、他の色フィルタや、他の配列を用いてもよい。例えば、図５に示すように、Ｂａｙｅｒ型のカラー化と同じくＲＧＢの色フィルタを用いるが、ＲフィルタとＢフィルタとが同じ列に配置されていてもよい。このような配列を用いた場合、Ｒフィルタに対向する光感知セルとＢフィルタに対向する光感知セルとの間でｘ方向の画素単位のずれが無いため、ｘ方向の視差の精度を高めることができる。また、図６に示すように、Ｇフィルタの代わりに白色光（Ｗ）に含まれる全波長域の可視光を透過させる透明部材を用いても同様のカラー化が可能である。図６に示す構成を採用した場合、Ｇフィルタよりも透明要素の方が多くの光を透過することから、撮像素子における光利用率がさらに向上するという利点がある。
【００６２】
撮像部１００の構成に関して、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、図７Ａに示すように、複数のレンズ３が配置され、それらの間に透光板２が配置される構成も可能である。また、レンズ３と透光板２とは独立した構成要素である必要はなく、両者は一体化された１つの光学素子３ａとして構成されていてもよい。さらに、透光板２と撮像素子１の撮像面とは必ずしも平行に配置されている必要はない。例えば、図７Ｂに示すように、両者の間にミラーやプリズムなどの、光を反射する光学素子５２を配置することにより、透光板２と撮像素子１の撮像面とが互いに交差する平面上に位置するように構成することができる。
【００６３】
本実施形態の撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像を生成するが、信号演算による画像の生成処理を撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、上記の信号演算処理を規定するプログラムを当該他の装置に実行させることによっても上記と同様の効果を得ることができる。
【００６４】
（実施形態２）
次に図８、９を参照しながら本発明の第２の実施形態を説明する。本実施形態の撮像装置は、透光板２における透過領域の構成および撮像素子１の色フィルタアレイの構成が実施形態１の撮像装置と異なっている。以下、実施形態１と異なる点を説明し、重複する点については説明を省略する。
【００６５】
図８は本実施形態における透光板２の正面図である。透光板２の形状は、光学レンズ３と同様、円形であるが、他の形状であってもよい。ここで、領域Ｃ１、Ｃ２、Ｃ３は、透光板２の中心を頂点とする扇形の形状を有している。このような透光板２を用いることにより、レンズ絞り１９の開口径が変化した場合、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４において入射光を受ける部分の面積は変化するが、それらの面積比率は一定に保たれる。その結果、レンズ絞り１９の開口径が変化しても、後述する信号演算処理を変えることなく画像を生成することができる。なお、領域Ｃ１、Ｃ２、Ｃ３における扇形形状の中心角は、１２０°よりも小さい限りにおいて任意の角度に設定され得る。領域Ｃ１にシアン光を透過するＣｙフィルタ、領域Ｃ２にマゼンタ光を透過するＭｇフィルタ、領域Ｃ３に黄光を透過するＹｅフィルタが配置され、それ以外の領域Ｃ４は透明部材で形成された透明領域（Ｗ）である。
【００６６】
図９は本実施形態における撮像素子１の撮像面１ａに形成された色フィルタアレイの基本構成を示す図である。色フィルタアレイは、２行２列を基本とするＭｇフィルタ、Ｇフィルタ、Ｃｙフィルタ、Ｙｅフィルタから構成される。図９では、１行１列目にＭｇフィルタ、１行２列目にＧフィルタ、２行１列目にＣｙフィルタ、２行２列目にＹｅフィルタが配置された例を示しているが、これらの色フィルタの配列は任意である。
【００６７】
以上の構成により、各光感知セルは、透光板２の領域Ｃ１〜Ｃ４の各々を透過した光のうち、対向する色フィルタを透過した光を受ける。以下、各光感知セルにおける光電変換信号を説明する。
【００６８】
本実施形態においても領域Ｃ１〜Ｃ４に入射する光は、可視光領域のどの波長成分もほぼ等量含んでいるものと仮定する。また、記号の表記については実施形態１の表記と同様とする。ただし、透光板２のＭｇ、Ｃｙ、Ｙｅフィルタの分光透過率Ｔｍｇ、Ｔｃｙ、Ｔｙｅは、それぞれ色フィルタアレイにおけるＭｇ、Ｃｙ、Ｙｅフィルタの分光透過率と同一であるとする。さらに、色フィルタアレイにおけるＭｇ、Ｃｙ、Ｙｅの色フィルタを透過し直下の光感知セルで光電変換される信号をそれぞれＭｓ、Ｃｓ、Ｙｓで表すこととする。すると、Ｍｓは、Ｃｉ１ΣＴｗＴｃｙＴｍｇ、Ｃｉ２ΣＴｗＴｍｇＴｍｇ、Ｃｉ３ΣＴｗＴｙｅＴｍｇ、Ｃｉ４ΣＴｗＴｍｇを合算した結果に比例する。同様に、Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｍｇＴｇ、Ｃｉ３ΣＴｗＴｙｅＴｇ、Ｃｉ４ΣＴｗＴｇを合算した結果に比例し、Ｃｓは、Ｃｉ１ΣＴｗＴｃｙＴｃｙ、Ｃｉ２ΣＴｗＴｍｇＴｃｙ、Ｃｉ３ΣＴｗＴｙｅＴｃｙ、Ｃｉ４ΣＴｗＴｃｙを合算した結果に比例し、Ｙｓは、Ｃｉ１ΣＴｗＴｃｙＴｙｅ、Ｃｉ２ΣＴｗＴｍｇＴｙｅ、Ｃｉ３ΣＴｗＴｙｅＴｙｅ、Ｃｉ４ΣＴｗＴｙｅの合算結果に比例する。これらの比例係数を１とすれば、Ｍｓ、Ｇｓ、Ｃｓ、Ｙｓは、それぞれ以下の式６〜９で表すことができる。
【００６９】
（式６）Ｍｓ＝Ｃｉ１ΣＴｗＴｃｙＴｍｇ＋Ｃｉ２ΣＴｗＴｍｇＴｍｇ＋Ｃｉ３ΣＴｗＴｙｅＴｍｇ＋Ｃｉ４ΣＴｗＴｍｇ
（式７）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｍｇＴｇ＋Ｃｉ３ΣＴｗＴｙｅＴｇ＋Ｃｉ４ΣＴｗＴｇ
（式８）Ｃｓ＝Ｃｉ１ΣＴｗＴｃｙＴｃｙ＋Ｃｉ２ΣＴｗＴｍｇＴｃｙ＋Ｃｉ３ΣＴｗＴｙｅＴｃｙ＋Ｃｉ４ΣＴｗＴｃｙ
（式９）Ｙｓ＝Ｃｉ１ΣＴｗＴｃｙＴｙｅ＋Ｃｉ２ΣＴｗＴｍｇＴｙｅ＋Ｃｉ３ΣＴｗＴｙｅＴｙｅ＋Ｃｉ４ΣＴｗＴｙｅ
式６〜９において、ΣＴｗＴｃｙＴｍｇ、ΣＴｗＴｍｇＴｍｇ、ΣＴｗＴｙｅＴｍｇ、ΣＴｗＴｍｇをそれぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３、Ｍｘ１４で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｍｇＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｇをそれぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３、Ｍｘ２４で表し、ΣＴｗＴｃｙＴｃｙ、ΣＴｗＴｍｇＴｃｙ、ΣＴｗＴｙｅＴｃｙ、ΣＴｗＴｃｙをそれぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３、Ｍｘ３４で表し、ΣＴｗＴｃｙＴｙｅ、ΣＴｗＴｍｇＴｙｅ、ΣＴｗＴｙｅＴｙｅ、ΣＴｗＴｙｅをそれぞれＭｘ４１、Ｍｘ４２、Ｍｘ４３、Ｍｘ４４で表すこととする。すると、Ｍｓ、Ｇｓ、Ｃｓ、ＹｓとＣｉ１、Ｃｉ２、Ｃｉ３、Ｃｉ４との関係は、行列を用いて以下の式１０で表される。
【００７０】
【数３】
【００７１】
ここで、式１０における要素Ｍｘ１１〜Ｍｘ４４からなる行列の逆行列の要素をｉＭ１１〜ｉＭ４４とすると、式１０は以下の式１１に変形できる。すなわち、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４に入射する光の強度を示す信号を、光電変換信号Ｍｓ、Ｇｓ、Ｃｓ、Ｙｓを用いて表すことができる。
【００７２】
【数４】
【００７３】
式１１で表される信号Ｃｉ１、Ｃｉ２、Ｃｉ３、Ｃｉ４を、単位要素ごとに求めることにより、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４のそれぞれに入射する光によって形成される４つの画像を求めることができる。
【００７４】
Ｃｉ１、Ｃｉ３が示す画像は、ｘ方向に離れて配置された領域Ｃ１、Ｃ３からそれぞれ被写体を見たときの画像に相当するため、左目用画像および右目用画像として扱うことができる。また、Ｃｉ２は、領域Ｃ１、Ｃ３に対して斜め方向に離れて配置された領域Ｃ２から見たときの画像に相当するため、Ｃｉ１、Ｃｉ３に対して斜め方向の視差を示す画像である。
【００７５】
一方、Ｃｉ４が示す画像は、透明領域Ｃ４に入射する光による画像（白黒画像）であり、視差を示さない通常の画像である。したがって、領域Ｃ４の面積を領域Ｃ１、Ｃ２、Ｃ３に比べて大きくするほど、信号レベルの高い画像（白黒画像）を示す信号Ｃｉ４を得ることができる。
【００７６】
本実施形態において、カラー画像を得るためには、上記処理を行わず、以下の式１２〜１４に示す輝度信号Ｙｌ、式差信号ＲＹ、ＢＹを求めればよい。
【００７７】
（式１２）Ｙｌ＝Ｍｓ＋Ｇｓ＋Ｃｓ＋Ｙｓ
（式１３）ＲＹ＝Ｍｓ−Ｇｓ−Ｃｓ＋Ｙｓ
（式１４）ＢＹ＝Ｍｓ−Ｇｓ＋Ｃｓ−Ｙｓ
式１２〜１４から得られる輝度信号Ｙｌおよび色差信号ＲＹ、ＢＹを、ＮＴＳＣ方式等で用いられている方法でＲＧＢ信号へと変換することにより、カラー画像を得ることができる。なお、得られるカラー画像は、透光板２に配置されたＣｙフィルタ、Ｍｇフィルタ、Ｙｅフィルタの光透過率が比較的高いため、光利用率の高い画像である。
【００７８】
なお、実施形態１と同様、透明領域Ｃ４への入射光による画像を示す信号Ｃｉ４に関する項だけを用いてカラー情報を得てもよい。その場合、式１１に基づく演算処理によってＣｉ４をまず求め、上記の式１２〜１４において、Ｍｓ＝Ｃｉ４ΣＴｗＴｍｇ、Ｇｓ＝Ｃｉ４ΣＴｗＴｇ、Ｃｓ＝Ｃｉ４ΣＴｗＴｃｙ、Ｙｓ＝Ｃｉ４ΣＴｗＴｙｅとすればよい。
【００７９】
以上のように、本実施形態によれば、Ｃｙフィルタ、Ｍｇフィルタ、Ｙｅフィルタが互いに離れた位置に配置され、それ以外の領域が透明部材で構成された透光板２と、２行２列を基本構成とするマゼンタ（Ｍｇ）、緑（Ｇ）、シアン（Ｃｙ）、黄（Ｙｅ）の色フィルタから構成される色フィルタアレイを有するカラー撮像素子が用いられる。撮像素子から出力される光電変換信号に対して、光学系、色フィルタなどの分光透過率に関する積分演算によって得られる４×４の行列に基づく演算を施すことにより、視差を有する複数の画像と光利用率の高い通常画像とを得ることができる。さらに、撮像素子１の各光電変換信号を直接用いて輝度信号と色差信号を作るカラー処理を行うことにより、光利用率の高いカラー画像も得ることができるという効果を奏する。また、レンズ絞り１９の開口径が変化しても領域Ｃ１、Ｃ２、Ｃ３、Ｃ４の光を透過する部分の面積比率は変わらないため、上記の演算式を変えることなくレンズ絞り１９の開口径の変化に対応することができるという利点も有する。
【００８０】
なお、本実施形態における透光板２において、領域Ｃ１、Ｃ２、Ｃ３の形状は扇形であるが、必ずしも扇形である必要はない。レンズ絞り１９の開口径が変化したときに各透過領域において光を受ける部分の面積比率が一定に保たれれば、領域Ｃ１、Ｃ２、Ｃ３の形状はどのような形状であってもよい。
【００８１】
なお、本実施形態では、透光板２は、Ｃｙフィルタが配置された領域Ｃ１、Ｍｇフィルタが配置された領域Ｃ２、Ｙｅフィルタが配置された領域Ｃ３、透明領域Ｃ４から構成されるが、透明領域を含めた４つの領域の構成は上記の構成に限定されるものではない。各領域の透過波長域が異なり、透過率が比較的高いものであれば、どのような構成でも問題はない。
【００８２】
また、撮像素子における色フィルタの組み合わせについても、Ｍｇ、Ｇ、Ｃｙ、Ｙｅの組み合わせに限られるものではない。各色フィルタの透過波長域が異なっていれば、色フィルタの色の組み合わせは任意である。
【００８３】
上記の実施形態１および実施形態２では、透光板はそれぞれ３つおよび４つの透過領域を備え、撮像素子における各単位要素に含まれる色フィルタの種類の数も透過領域の数と同じく、それぞれ３種類および４種類である。しかしながら、本発明における透過領域の数および色フィルタの種類の数は、上記の数に限定されるものではない。例えば、各単位要素に含まれる色フィルタの種類の数が透過領域の数を上回っていてもよい。その場合であっても、各光感知セルの光電変換信号と透過領域に入射する光の量との間の関係式に基づく信号演算によって画像情報を求めることができる。
【００８４】
また、透過領域の数および各単位要素に含まれる色フィルタの種類の数は、４つより多くてもよい。本発明の３次元撮像装置は、透過波長域が互いに異なるｎ個（ｎは３以上の整数）の透過領域を有する光透過部と、各単位要素において、透過波長域が互いに異なるｎ個の色フィルタを有していればよい。ただし、ｎ個の透過領域の少なくとも１つを透過する光は、１つの単位要素において、少なくとも２つの色フィルタを透過するものとする。
【００８５】
図１０は、このように一般化した場合における光透過部２ａの例を示す図である。図示される例では、光透過部２ａは円形の形状を有しているが、他の形状を有していてもよい。この例では、光透過部２ａは、ｎ個の透過領域Ｃ１〜Ｃｎを有している。透過領域Ｃ１〜Ｃｎ−１は、光透過部２ａの中心を頂点とする扇形の形状を有し、それらの透過波長域は互いに異なっている。透過領域Ｃｎは可視光を全て透過する透明領域である。図１０に示す光透過部２ａでは、領域Ｃ１〜Ｃｎ−１の各々と光透過部２ａの外周部分との間に隙間が空いており、その部分も透明領域Ｃｎに含まれるが、このような隙間はなくてもよい。光利用率向上の観点から、透過領域Ｃ１〜Ｃｎ−１の透過波長域は、補色の波長域であることが好ましい。なお、透過領域Ｃ１〜Ｃｎ−１の頂点が光透過部２ａの中心に位置していることは必須ではなく、これらの頂点が光透過部２ａの中心から多少離れていても本発明の効果を得ることは可能である。また、透過領域Ｃ１〜Ｃｎ−１の形状は必ずしも扇形である必要はない。本発明においては、ｎ個の透過領域の少なくとも２個について、光透過部２ａの半径方向に垂直な方向のサイズが光透過部２ａの中心からの距離に応じて実質的に大きくなるように設計されていれば、各透過領域の形状は任意である。ここで、「実質的に大きくなる」とは、光透過部２ａの半径方向に垂直な方向のサイズが光透過部２ａの中心からの距離に応じて全体的に大きくなっていれば、局所的に小さくなる部分を含んでいてもよいことを意味する。以上のことから、光透過部２ａは、例えば２つの透過領域のみが光透過部２ａの中心を頂点とする扇形形状を有し、残りの透過領域は互いに異なる種々の形状を有するように構成されていてもよい。なお、ここでは領域Ｃｎは透明領域であるとしたが、領域Ｃｎも他の領域同様、特定の波長域の光のみを透過するように構成されていてもよい。また、光透過部２ａの一部が遮光領域であってもよい。
【００８６】
図１１は、以上のような一般化した３次元撮像装置に設けられる撮像素子の各単位要素における色フィルタの配列の一例を示す図である。図示されるように、各単位要素は色フィルタＤ１〜Ｄｎを有している。色フィルタＤ１〜Ｄｎの透過波長域は互いに異なっている。なお、色フィルタの配列は図示される配列に限られず、どのような配列でもよい。
【００８７】
上記の構成例において、光利用率向上の観点から、透過領域Ｃ１〜Ｃｎのうち最も広い透過波長域を有する透過領域は、色フィルタＤ１〜Ｄｎのうち最も広い透過波長域を有する色フィルタよりも広い透過波長域を有するように各透過領域および各色フィルタが設計されていることが好ましい。
【００８８】
このように一般化した場合、光透過部２ａの各透過領域に入射する光による画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３・・・、Ｃｉｎと、撮像素子の各色フィルタに対応する光感知セルから出力される光電変換信号Ｄｓ１、Ｄｓ２、Ｄｓ３、・・・、Ｄｓｎとの間の関係は、以下の式１５で表すことができる。
【００８９】
【数５】
【００９０】
式１５に基づいて画像情報Ｃｉ１〜Ｃｉｎを求める場合、Ｍｘ１１〜Ｍｘｎｎを要素とするｎ×ｎ行列の行列式が０に近い値にならないように撮像系の光学特性が構成されることが好ましい。式１５におけるｎ×ｎ行列の逆行列の要素をｉＭ１１〜ｉＭｎｎとすると、式１５は、以下の式１６に変形できる。
【００９１】
【数６】
【００９２】
式１６に基づく信号演算処理を実行することにより、光電変換信号Ｄｓ１〜Ｄｓｎから透過領域Ｃ１〜Ｃｎに入射する光の強度を示す信号Ｃｉ１〜Ｃｉｎを生成することができる。これにより、視差を有するｎ個の画像データを生成することができる。
【００９３】
上記のように一般化した場合においても、信号Ｃｉ１〜Ｃｉｎのいずれかを他の信号に加えることによって当該他の信号の信号レベルを大きくすることができる。この際、最も広い透過波長域をもつ透過領域、または最も面積の大きい透過領域に入射する光に対応する信号を他の信号に加えることが好ましい。また、カラー情報を得る際にも、最も広い透過波長域をもつ透過領域、または最も面積の大きい透過領域をもつ透過領域に入射する光に対応する信号を用いてＲＧＢの色信号を求めることが好ましい。
【００９４】
なお、撮像装置は、信号Ｃｉ１〜Ｃｉｎの全てを生成せずに、これらの信号のうち少なくとも２つの信号を生成するように構成されていてもよい。そのような構成であっても、視差を有する少なくとも２つの画像データを得ることができる。
【産業上の利用可能性】
【００９５】
本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
【符号の説明】
【００９６】
１ 固体撮像素子
１ａ 固体撮像素子の撮像面
２ 透光板
２ａ 光透過部
３ 光学レンズ
３ａ 透光板と光学レンズの機能が一体化された光学素子
４ 赤外カットフィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像信号生成部
８ インターフェース部
９ 撮像装置
１０ 画素
１１ ０度偏光の偏光板
１２ ９０度偏光の偏光板
１３ 反射鏡
１４ ハーフミラー
１５ 円形の偏光フィルタ
１６ 偏光フィルタを回転させる駆動装置
１７、１８ 偏光フィルタ
１９ レンズ絞り
２０、２２、２３ 光束制限板
２０ａ 赤系統の光を透過させる色フィルタ
２０ｂ 青系統の光を透過させる色フィルタ
２１ 感光フィルム
２２Ｒ、２３Ｒ 光束制限板のＲ光透過領域
２２Ｇ、２３Ｇ 光束制限板のＧ光透過領域
２２Ｂ、２３Ｂ 光束制限板のＢ光透過領域
３０ メモリ
５２ 光を反射する光学素子
１００ 撮像部
１１０ 色フィルタ
１２０ 光感知セル
２００ 信号処理部
【技術分野】
【０００１】
本発明は視差を有する複数の画像を生成する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加した。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
【０００３】
３次元撮像技術に関して、単純な構成をもつ代表的な技術として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという技術がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像を取得する方式が研究されている。例えば、特許文献１には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いる方式が開示されている。
【０００４】
図１２は、当該方式による撮像系の構成を示す模式図である。撮像装置は、０度偏光の偏光板１１、９０度偏光の偏光板１２、反射鏡１３、ハーフミラー１４、円形の偏光フィルタ１５、円形の偏光フィルタを回転させる駆動装置１６、光学レンズ３、光学レンズにより結像された像を取得する撮像装置９を備えている。ここで、ハーフミラー１４は、偏光板１１を透過して反射鏡１３で反射された光を反射し、偏光板１２を透過した光を透過させる。以上の構成により、離れた場所に配置された偏光板１１、１２をそれぞれ透過した光は、ハーフミラー１４、円形の偏光フィルタ１５、および光学レンズ３を透過して撮像装置９に入射し、画像が取得される。この方式における撮像の原理は、円形の偏光フィルタ１５を回転させることにより、２枚の偏光板１１、１２のそれぞれに入射した光を別々のタイミングで捉え、視差を有する２つの画像を取得する、というものである。
【０００５】
しかしながら、上記方式では、円形の偏光フィルタ１５を回転しながら時間分割によって異なる位置の画像を取得するため、視差を有する２つの画像を同時に取得できないという課題がある。また、機械的駆動を用いるため、耐久性に問題があり得る。さらに、入射光が偏光板および偏光フィルタを透過するため、撮像装置９が受ける光の量（受光量）が５０％以上も減少するという問題点もある。
【０００６】
上記方式に対して、機械的駆動を用いることなく視差のある２つの画像を同時に撮像する方式が特許文献２に開示されている。この方式による撮像装置は、２つの入射領域から入射する光を反射鏡によって集光し、２種類の偏光フィルタが交互に配列された撮像素子で受光することにより、機械的駆動部を有さずに視差のある２つの画像を取得する。
【０００７】
図１３は、この方式における撮像系の構成を示す模式図である。この撮像系は、透過軸の方向が互いに直交する２つの偏光板１１、１２と、反射鏡１３と、光学レンズ３と、撮像素子１とを有する。撮像素子１は、その撮像面に、複数の画素１０と、画素に１対１に対応して配置された偏光フィルタ１７、１８とを備える。偏光フィルタ１７、１８は全画素上に交互に配列されている。ここで、偏光フィルタ１７、１８の透過軸の向きは、それぞれ偏光板１１、１２の透過軸の向きと一致している。
【０００８】
以上の構成により、入射光は偏光板１１、１２を透過し、反射鏡１３で反射され、光学レンズ３を通り、撮像素子１の撮像面に入射する。偏光板１１、１２をそれぞれ透過して撮像素子１に入射する光は、それぞれ偏光フィルタ１７、１８を透過してそれらの直下の画素で光電変換される。ここで、偏光板１１、１２をそれぞれ通って撮像素子１に入射する光によって形成される画像を、それぞれ右目用画像、左目用画像と呼ぶと、右目用画像、左目用画像は、それぞれ偏光フィルタ１７、１８に対向する画素群から得られる。
【０００９】
このように、特許文献２に開示された方式では、特許文献１に開示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に透過軸の方向が互いに直交する２種類の偏光フィルタが交互に配置される。これにより、解像度は特許文献１の方式に比べて１／２に低下するが、１つの撮像素子を用いて視差を有する右目用画像と左目用画像とを同時に得ることができる。
【００１０】
しかしながら、この技術においても特許文献１の技術と同様、入射光が偏光板および偏光フィルタを透過する際に光量が減少するため、撮像素子の受光量は大きく減少する。
【００１１】
この受光量が減少するという問題に対して、視差を有する２つの画像と通常の画像とを１つの撮像素子で取得できる技術が特許文献３に開示されている。この技術によれば、視差のある２つの画像の取得時と通常画像の取得時とで構成要素の一部が機械的に入れ替わることによって視差を有する２つの画像と通常画像とが１つの撮像素子で取得される。視差を有する２つの画像を取得する際に光路上に２つの偏光フィルタが配置される点は特許文献２に開示された技術と同じである。一方、通常画像を取得する際にはこれらの偏光フィルタは機械的に光路から取り外される。このような機構を取り入れることにより、視差のある画像と光利用率の高い通常画像とを得ることができる。
【００１２】
上記の特許文献１〜３に開示された技術では、偏光板や偏光フィルタが用いられるが、他のアプローチとして、色フィルタが用いられる技術もある。例えば、色フィルタを用いて視差を有する２つの画像を同時に取得する技術が特許文献４に開示されている。図１４は、この技術を用いた撮像系を模式的に示す図である。この技術における撮像系は、レンズ３、レンズ絞り１９、透過波長域の異なる２つの色フィルタ２０ａ、２０ｂが配置された光束制限板２０、感光フィルム２１を備える。ここで、色フィルタ２０ａ、２０ｂは、例えば赤系統、青系統の光をそれぞれ透過させるフィルタである。
【００１３】
以上の構成により、入射光は、レンズ３、レンズ絞り１９、および光束制限板２０を透過し、感光フィルムに結像する。その際、光束制限板２０における２つの色フィルタ２０ａ、２０ｂでは、それぞれ赤系統、青系統の光だけが透過する。その結果、感光フィルム上にはこれら２つの色フィルタをそれぞれ透過した光によるマゼンタ系統の色の像が形成される。ここで、色フィルタ２０ａ、２０ｂの位置が異なっているため、感光フィルム上に形成される像には視差が生じる。ここで、感光フィルムから写真を作り、赤色フィルムおよび青色フィルムがそれぞれ右目用および左目用として貼り付けられたメガネを使うと、奥行き感のある画像を見ることができる。このように、特許文献４に開示された技術によれば、２つの色フィルタを使って視差を有する画像を作ることができる。
【００１４】
特許文献４に開示された技術は、感光フィルム上に結像させ、視差を有する複数の画像を作るものであるが、一方で、視差を有する画像を電気信号に変換して取得する技術が特許文献５に開示されている。図１５は、この技術における光束制限版を模式的に表す図である。この技術では、撮像光学系の光軸に垂直な平面上に、赤色光を透過するＲ領域２２Ｒ、緑色光を透過するＧ領域２２Ｇ、青色光を透過するＢ領域２２Ｂが設けられた光束制限版２２が用いられる。これらの領域を透過した光を赤用のＲ画素、緑用のＧ画素、青用のＢ画素を有するカラー撮像素子で受けることにより、各領域を透過した光による画像が取得される。
【００１５】
また、特許文献６にも、図１５の構成と同様の構成を用いて視差を有する複数の画像を取得する技術が開示されている。図１６は、特許文献６に開示された光束制限板を模式的に示す図である。この技術でも、光束制限板２３に設けられたＲ領域２３Ｒ、Ｇ領域２３Ｇ、Ｂ領域２３Ｂを入射光が透過することにより視差のある画像を作ることができる。
【００１６】
上記の特許文献４〜６に示された技術によれば、光束制限板にＲＧＢの色フィルタを配置することによって視差のある画像を生成することができる。しかしながら、光束制限板を用いるため、入射光量が減少する。また、視差の効果を高めるにはＲＧＢの色フィルタを互いに離れた位置に配置し、それらの面積を小さくする必要があるが、そのようにすると入射光量はさらに減少する。
【００１７】
以上の技術に対して、ＲＧＢの色フィルタが配置された絞りを用いて、視差を有する複数の画像と光量的に問題のない通常画像とを得ることができる技術が特許文献７に開示されている。この技術では、絞りを閉じた状態ではＲＧＢの色フィルタを透過した光だけが受光され、絞りを開いた状態ではＲＧＢの色フィルタ領域が光路から外されるため、入射光をすべて受けることができる。これにより、絞りを閉じた状態では視差のある画像を取得し、絞りを開いた状態では光利用率の高い通常画像を得ることができる。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開昭６２−２９１２９２号公報
【特許文献２】特開昭６２−２１７７９０号公報
【特許文献３】特開２００１−０１６６１１号公報
【特許文献４】特開平２−１７１７３７号公報
【特許文献５】特開２００２−３４４９９９号公報
【特許文献６】特開２００９−２７６２９４号公報
【特許文献７】特開２００３−１３４５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
従来技術によれば、視差を有する複数の画像を取得することができるが、偏光板または色フィルタを用いるため、撮像素子の受光量は減少する。入射光量を十分に確保するためには、偏光板または色フィルタを機械的駆動によって光路から外す機構を用いて光利用率の高い通常画像を取得する必要がある。そのような機械的駆動を用いる場合、装置の大型化および高コスト化を招くという問題がある。
【００２０】
本発明は、機械的駆動を行うことなく、色フィルタを用いて視差を有する複数の画像を生成するとともに、光利用率の高い画像を生成し得る３次元撮像技術を提供する。さらに、本発明は、レンズ絞り量が変化しても同一の機構により視差を有する複数画像を取得できる撮像技術および光学構成を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の３次元撮像装置は、透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有する光透過部と、前記光透過部を透過した光を受けるように配置された固体撮像素子と、絞りを有し前記固体撮像素子の撮像面に像を形成する光学系と、前記固体撮像素子から出力される信号を処理する信号処理部とを備えている。前記固体撮像素子は、光感知セルアレイ、および前記光感知セルアレイに対向して配置された色フィルタアレイを有している。前記光感知セルアレイおよび前記色フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに１対１に対応して配置された、透過波長域が互いに異なるＮ個の色フィルタを含んでいる。前記光透過部の中心は、前記光学系の光軸上に位置し、前記Ｎ個の透過領域の少なくとも２個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している。
【００２２】
ある実施形態において、前記Ｎ個の透過領域の少なくともＮ−１個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している。
【００２３】
ある実施形態において、前記N個の透過領域の少なくともＮ−１個は、前記光透過部の中心を頂点とする扇形の形状を有している。
【００２４】
ある実施形態において、Ｎ＝３であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、前記シアン領域の形状および前記黄領域の形状は扇形である。
【００２５】
ある実施形態において、Ｎ＝４であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である。
【００２６】
ある実施形態において、前記Ｎ個の透過領域および前記Ｎ個の色フィルタの透過波長域は、前記Ｎ個の透過領域の少なくとも１つを透過する光が前記Ｎ個の色フィルタの少なくとも２つを透過できるように設定され、前記信号処理部は、前記Ｎ個の光感知セルから出力される信号に基づいて、前記Ｎ個の透過領域の各々に入射する光の強度のうち少なくとも２つの強度を示す信号を生成することによって視差を有する少なくとも２つの画像のデータを生成する。
【００２７】
本発明の光透過板は、透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有する光透過板であって、前記Ｎ個の透過領域の少なくとも２個は、半径方向に垂直な方向のサイズが中心からの距離に応じて大きくなる部分を有している。
【００２８】
本発明の光透過板のある実施形態において、前記N個の透過領域の少なくとも２個は、中心を頂点とする扇形の形状を有している。
【００２９】
本発明の光透過板のある実施形態において、前記N個の透過領域の少なくともＮ−１個は、中心を頂点とする扇形の形状を有している。
【００３０】
本発明の光透過板のある実施形態において、Ｎ＝３であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、前記シアン領域の形状および前記黄領域の形状は扇形である。
【００３１】
本発明の光透過板のある実施形態において、Ｎ＝４であり、前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である。
【発明の効果】
【００３２】
本発明によれば、機械的駆動を行うことなく、色フィルタを有する撮像素子を用いて、視差を有する複数の画像を得ることができる。さらに、透過領域および色フィルタの透過波長域を適切に設定することにより、光利用率の高い画像を得ることができる。また、本発明によれば、レンズ絞り量が変化しても同一の機構で視差を有する複数の画像を取得することができる。
【図面の簡単な説明】
【００３３】
【図１】実施形態１における全体構成を示すブロック図
【図２】実施形態１における透光板、光学系、および撮像素子の概略構成を示す模式図
【図３】実施形態１における透光板の透過領域の配置を示す図
【図４】実施形態１における撮像素子の色フィルタの基本構成を示す図
【図５】実施形態１における撮像素子の色フィルタの他の基本構成を示す図
【図６】実施形態１における撮像素子の色フィルタのさらに他の基本構成を示す図
【図７Ａ】実施形態１における透光板、光学系、および撮像素子の第２の例を示す図
【図７Ｂ】実施形態１における透光板、光学系、および撮像素子の第３の例を示す図
【図８】実施形態２における透光板の透過領域の配置を示す図
【図９】実施形態２における撮像素子の色フィルタの基本構成を示す図
【図１０】ｎ個の透過領域を有する光透過部の一例を示す図
【図１１】各単位要素におけるｎ個の色フィルタの配置の一例を示す図
【図１２】特許文献１における撮像系の構成図
【図１３】特許文献２における撮像系の構成図
【図１４】特許文献４における撮像系の構成図
【図１５】特許文献５における光束制限板の外観図
【図１６】特許文献６における光束制限板の外観図
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら本発明の実施形態を説明する。以下の説明において共通する要素には同一の符号を付している。なお、本明細書において、画像を示す信号または情報を単に「画像」と称する場合がある。
【００３５】
（実施形態１）
図１は、本発明の第１の実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。
【００３６】
撮像部１００は、撮像面上に配列された複数の光感知セルを備える撮像素子（イメージセンサ）１と、透過波長域が互いに異なる３つの透過領域を有し入射光を透過させる透光板２と、撮像素子の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４と、レンズ絞り１９とを備えている。撮像部１００はまた、撮像素子１を駆動するための基本信号を発生するとともに撮像素子１からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子１を駆動する素子駆動部６とを備えている。撮像素子１は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部３０は、例えばＣＣＤドライバなどのＬＳＩから構成されている。
【００３７】
信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像信号生成部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像信号生成部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像信号生成部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
【００３８】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００３９】
次に、図２〜４を参照しながら撮像部１００の構成をより詳細に説明する。
【００４０】
図２は、撮像部１００における透光板２、レンズ３、および撮像素子１の配置関係を模式的に示す図である。なお、図２では、透光板２、レンズ３、および撮像素子１以外の構成要素は省略されている。透光板２は、透過波長域が互いに異なる３つの透過領域Ｃ１、Ｃ２、Ｃ３を有し、入射光を透過させる。本実施形態では、領域Ｃ３は領域Ｃ１およびＣ２を隔てて２つの部分に分かれているが、これらを１つの領域Ｃ３であるとする。レンズ３は、公知のレンズであり、透光板２を透過した光を集光し、撮像素子１の撮像面１ａに結像する。なお、以下の説明において、撮像面１ａに平行な平面において、領域Ｃ１からＣ２へ向かう方向をｘ方向とし、ｘ方向に垂直な方向をｙ方向とする。ここで、透光板２の中心は、レンズ３の光軸上に位置している。
【００４１】
図３は、本実施形態における透光板２の正面図である。本実施形態における透光板２の形状は、レンズ３と同様、円形であるが、他の形状であってもよい。ここで、領域Ｃ１および領域Ｃ２は、透光板２の中心を頂点とする扇形の形状を有している。このような透光板２を用いることにより、レンズ絞り１９の開口径が変化した場合、領域Ｃ１、Ｃ２、Ｃ３において入射光を受ける部分の面積は変化するが、それらの面積比率は一定に保たれる。その結果、レンズ絞り１９の開口径が変化しても、後述する信号演算処理を変えることなく画像を生成することができる。なお、領域Ｃ１、Ｃ２における扇形形状の中心角は、１８０°よりも小さい限りにおいて任意の角度に設定され得る。本実施形態では、領域Ｃ１、Ｃ２は、透光板２の中心を通るｙ方向の直線に対して線対称に位置するように配置されているが、本発明はこのような配置に限られない。
【００４２】
領域Ｃ１には、シアン（Ｃｙ）の波長域の光を透過させる色フィルタ（Ｃｙフィルタ）が配置される。領域Ｃ２には、黄（Ｙｅ）の波長域の光を透過させる色フィルタ（Ｙｅフィルタ）が配置される。これらの色フィルタは、公知のどのような色フィルタであってもよい。なお、本実施形態における領域Ｃ１および領域Ｃ２は、それぞれＣｙの波長域の光およびＹｅの波長域の光を透過し、他の波長域の光を透過しないように構成されていれば、色フィルタに限らず、どのような部材で構成されていてもよい。また、透光板２における他の領域Ｃ３は、白色光（Ｗ）に含まれる全波長域の可視光を透過させる透明部材で形成された透明領域である。透明部材は、光を高い透過率で透過させる部材であればどのようなものでもよい。本実施形態では、領域Ｃ１および領域Ｃ２の面積は等しく、領域Ｃ３の面積は領域Ｃ１、Ｃ２の面積よりも大きく設計されている。
【００４３】
なお、上記の透光板２の構成は、あくまでも本実施形態における構成であり、本発明はこのような構成に限られない。本発明の光透過部は、透過波長域が互いに異なる３つ以上の透過領域を有していれば、各透過領域の特性、材質、形状、サイズは任意である。例えば、領域Ｃ３に、透明部材の代わりにマゼンタ（Ｍｇ）の波長域の光を透過させる色フィルタ（Ｍｇフィルタ）を配置してもよい。また、透光板２の一部に遮光領域が含まれていてもよい。
【００４４】
図２に示される撮像素子１の撮像面１ａには、２次元状に配列された光感知セルアレイおよび光感知セルアレイに対向して配置された色フィルタアレイが形成されている。光感知セルアレイおよび色フィルタアレイは、複数の単位要素を有し、各単位要素は、４つの光感知セルおよびそれらに対向する４つの色フィルタを含んでいる。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって各々の受光量に応じた電気信号（光電変換信号）を出力する。また、各色フィルタは、公知の顔料などを用いて作製され、特定の波長域の光を選択的に透過させるように設計されている。
【００４５】
図４は、本実施形態における色フィルタアレイの一部を模式的に示す図である。図示されるように、撮像面１ａ上には多数の色フィルタ１１０が行列状に配列されている。近接する４つの色フィルタ１１０およびそれらに対向する４つの光感知セル１２０が１つの単位要素を構成している。各単位要素において、１行１列目には赤（Ｒ）の波長域の光を透過させる色フィルタ（Ｒフィルタ）が配置されている。１行２列目および２行１列目には緑（Ｇ）の波長域の光を透過させる色フィルタ（Ｇフィルタ）が配置されている。２行２列目には青の波長域の光を透過させる色フィルタ（Ｂフィルタ）が配置されている。このように、本実施形態における色フィルタ１１０の配列は、２行２列を基本とする公知のＢａｙｅｒ配列である。
【００４６】
なお、光感知セル１２０および色フィルタ１１０の配列は、必ずしもＢａｙｅｒ配列である必要はなく、公知のどのような配列であってもよい。また、光感知セル１２０および色フィルタ１１０の配列は、ｘ方向およびｙ方向に沿った配列である必要はなく、ｘ方向およびｙ方向に対して傾いていてもよい。その場合、左右の視差に関する情報ではなく、斜め方向の視差に関する情報が得られる。
【００４７】
また、１つの単位要素には４つの光感知セルおよび４つの色フィルタを有することは必須ではなく、少なくとも３つの光感知セルおよび３つの色フィルタを有していればよい。各単位要素に含まれる光感知セルおよび色フィルタの数は、上記の透光板２における透過領域の数と同じか、それよりも多ければ後述する信号演算によって画像情報を得ることができる。
【００４８】
以上の構成により、露光中に撮像装置に入射する光は、透光板２、レンズ３、赤外カットフィルタ４、色フィルタ１１０を通って光感知セル１２０に入射する。各光感知セルは、透光板２の領域Ｃ１、Ｃ２、Ｃ３の各々を透過した光のうち、対向する色フィルタを通った光を受け、受けた光の量に応じた光電変換信号を出力する。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を通して信号処理部２００に送出される。信号処理部２００における画像信号生成部７は、撮像部１００から送出された信号に基づいて右目用画像、左目用画像、およびカラー画像を生成する。
【００４９】
以下、各光感知セルから出力される光電変換信号を説明する。まず、透光板２の領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度に相当する信号を、それぞれ添え字「ｉ」を付けてＣｉ１、Ｃｉ２、Ｃｉ３で表すこととする。また、透光板２における透明領域Ｃ３、レンズ３、および赤外カットフィルタ４を合わせた分光透過率をＴｗ、Ｃｙフィルタの分光透過率をＴｃｙ、Ｙｅフィルタの分光透過率をＴｙｅとする。同様に、Ｒ、Ｇ、Ｂの各色フィルタの分光透過率を、それぞれＴｒ、Ｔｇ、Ｔｂと表す。ここで、Ｔｗ、Ｔｃｙ、Ｔｙｅ、Ｔｒ、Ｔｇ、Ｔｂは、入射する光の波長λに依存する関数である。Ｒ、Ｇ、Ｂの色フィルタを透過して直下の光感知セルで受光される光の強度を示す信号を、それぞれ添え字「ｓ」を付けてＲｓ、Ｇｓ、Ｂｓと表す。また、可視光の波長域における分光透過率の積分演算を記号Σで表すこととする。例えば、波長λについての積分演算∫ＴｗＴｃｙＴｒｄλなどを、ΣＴｗＴｃｙＴｒなどと表すこととする。ここで、積分は可視光の全波長域にわたって行われるものとする。すると、Ｒｓは、Ｃｉ１ΣＴｗＴｃｙＴｒ、Ｃｉ２ΣＴｗＴｙｅＴｒ、およびＣｉ３ΣＴｗＴｒを合算した結果に比例する。同様に、Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｙｅＴｇ、およびＣｉ３ΣＴｗＴｇを合算した結果に比例し、Ｂｓは、Ｃｉ１ΣＴｗＴｃｙＴｂ、Ｃｉ２ΣＴｗＴｙｅＴｂ、Ｃｉ３ΣＴｗＴｂを合算した結果に比例する。なお、ここではＣ１〜Ｃ３に入射する光は、可視光領域のどの波長成分もほぼ等量含んでいるものと仮定している。これらの関係における比例係数を１とすれば、Ｒｓ、Ｇｓ、Ｂｓは、以下の式１〜３で表すことができる。
【００５０】
（式１）Ｒｓ＝Ｃｉ１ΣＴｗＴｃｙＴｒ＋Ｃｉ２ΣＴｗＴｙｅＴｒ＋Ｃｉ３ΣＴｗＴｒ
（式２）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｙｅＴｇ＋Ｃｉ３ΣＴｗＴｇ
（式３）Ｂｓ＝Ｃｉ１ΣＴｗＴｃｙＴｂ＋Ｃｉ２ΣＴｗＴｙｅＴｂ＋Ｃｉ３ΣＴｗＴｂ
式１〜３において、ΣＴｗＴｃｙＴｒ、ΣＴｗＴｙｅＴｒ、ΣＴｗＴｒを、それぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｇを、それぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３で表し、ΣＴｗＴｃｙＴｂ、ΣＴｗＴｙｅＴｂ、ΣＴｗＴｂを、それぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３で表すこととする。すると、Ｒｓ、Ｇｓ、ＢｓとＣｉ１、Ｃｉ２、Ｃｉ３との関係は、行列を用いて以下の式４で表すことができる。
【００５１】
【数１】
【００５２】
ここで、式４における要素Ｍｘ１１〜Ｍｘ３３からなる行列の逆行列の要素を、それぞれｉＭ１１〜ｉＭ３３とすると、式４は次の式５に変形できる。すなわち、領域Ｃ１、Ｃ２、Ｃ３に入射する光の強度を示す信号を、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表すことができる。
【００５３】
【数２】
【００５４】
画像信号生成部７は、式５に基づく信号演算を実行し、信号Ｃｉ１、Ｃｉ２、Ｃｉ３を、単位要素ごとに生成する。このようにして単位要素ごとに生成された信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、領域Ｃ１、Ｃ２、Ｃ３のそれぞれに入射する光によって形成される３つの画像を表す。特に、信号Ｃｉ１、Ｃｉ２によって表される画像は、ｘ方向に離れて位置する領域Ｃ１、Ｃ２からそれぞれ被写体を見たときの画像に相当するため、左目用画像および右目用画像として扱うことができる。すなわち、信号Ｃｉ１、Ｃｉ２によって表される２つの画像は、領域Ｃ１、Ｃ２の距離に応じた視差を有する。したがって、これらの画像から被写体の奥行きを示す情報を得ることができる。
【００５５】
一方、Ｃｉ３は、視差を示す画像ではなく通常の画像を示す信号であると言える。Ｃｉ３は、Ｃｉ１およびＣｉ２と類似する箇所があり得るため、そのような箇所においてＣｉ３の信号をＣｉ１、Ｃｉ２の信号に加えることにより、視差を示す画像Ｃｉ１、Ｃｉ２の信号レベルを高めることができる。本実施形態では、領域Ｃ３の面積が領域Ｃ１、Ｃ２の面積よりも大きいことから、Ｃｉ３の信号レベルはＣｉ１、Ｃｉ２の信号レベルよりも高い。したがって、Ｃｉ３の一部をＣｉ１およびＣｉ２に加算することは、視差を示す良好な画像を得る上で効果的である。本実施形態において、領域Ｃ１、Ｃ２の面積に対する領域Ｃ３の面積は大きいほど好ましい。なお、視差のない通常の画像を取得する際も、領域Ｃ３の面積が大きいほど、信号レベルの高い画像信号を得ることができる。
【００５６】
以上の処理によって得られる画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３は、光電変換信号Ｒｓ、Ｇｓ、Ｂｓを用いて表されるが、これらはカラー画像ではなく、白黒画像に相当する。白黒画像ではなくカラー画像を得るには、上記の信号演算処理は行わず、得られた各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行えばよい。その際、透光板２に配置されたＣｙフィルタ、Ｙｅフィルタによって入射光の損失や色温度ずれが発生し得るが、これらの色フィルタの光透過率が高いため、入射光の損失を従来技術の場合よりも小さくできる。また、全体的な色のずれが発生しても白バランスの調整により対処できる。このように、本実施形態の撮像装置によれば、光利用率の高い良好なカラー画像を得ることができる。
【００５７】
なお、カラー画像を得る際に、各光電変換信号から通常のＢａｙｅｒ配列におけるカラー処理を行うのではなく、式４におけるＣｉ３の項だけを利用してカラー情報を得てもよい。すなわち、式５に基づいてＣｉ３を求めた後、Ｍｘ１３×Ｃｉ３をＲの光量、Ｍｘ２３×Ｃｉ３をＧの光量、Ｍｘ３３×Ｃｉ３をＢの光量とすることによってもカラー画像を得ることができる。
【００５８】
以上のように、本実施形態によれば、Ｃｙフィルタが配置された領域Ｃ１、Ｙｅフィルタが配置された領域Ｃ２、および透明部材からなる領域Ｃ３から構成される透光板２と、Ｂａｙｅｒ配列を有するカラー撮像素子１とが用いられる。光学系や色フィルタなどの分光透過率に関する積分演算によって得られる３×３の行列に基づく信号演算を各光電変換信号に対して実行することにより、画像信号生成部７は、視差を有する２つの画像、および光利用率の高い通常画像を生成する。さらに、通常のＢａｙｅｒ配列で用いられるカラー処理、または信号Ｃｉ３を用いたカラー処理を行えば、光利用率の高いカラー画像を得ることができる。また、レンズ絞り１９の開口径が変化しても領域Ｃ１、Ｃ２、Ｃ３の光を透過する部分の面積比率は変わらないため、上記の演算式（式４、５）を変えることなくレンズ絞り１９の開口径の変化に対応することができるという利点も有する。
【００５９】
なお、本実施形態における透光板２において、領域Ｃ１、Ｃ２の形状は扇形であるが、必ずしも扇形である必要はない。レンズ絞り１９の開口径が変化したときに各透過領域において光を受ける部分の面積比率が一定に保たれれば、領域Ｃ１、Ｃ２の形状はどのような形状であってもよい。
【００６０】
本実施形態における画像信号生成部７は、上記のように視差を有する２つの画像、光利用率の高い白黒画像およびカラー画像を生成することができるが、これらの画像を全て生成することは必須ではない。画像信号生成部７は、少なくとも視差を有する２つの画像データを生成するように構成されていればよい。
【００６１】
なお、本実施形態では、撮像素子１における色フィルタの配列は、ＲＧＢの色フィルタが配置されたＢａｙｅｒ型の色配列であるが、他の色フィルタや、他の配列を用いてもよい。例えば、図５に示すように、Ｂａｙｅｒ型のカラー化と同じくＲＧＢの色フィルタを用いるが、ＲフィルタとＢフィルタとが同じ列に配置されていてもよい。このような配列を用いた場合、Ｒフィルタに対向する光感知セルとＢフィルタに対向する光感知セルとの間でｘ方向の画素単位のずれが無いため、ｘ方向の視差の精度を高めることができる。また、図６に示すように、Ｇフィルタの代わりに白色光（Ｗ）に含まれる全波長域の可視光を透過させる透明部材を用いても同様のカラー化が可能である。図６に示す構成を採用した場合、Ｇフィルタよりも透明要素の方が多くの光を透過することから、撮像素子における光利用率がさらに向上するという利点がある。
【００６２】
撮像部１００の構成に関して、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような配置関係に限られるものではない。例えば、レンズ３は、撮像面１ａに像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよい。また、図７Ａに示すように、複数のレンズ３が配置され、それらの間に透光板２が配置される構成も可能である。また、レンズ３と透光板２とは独立した構成要素である必要はなく、両者は一体化された１つの光学素子３ａとして構成されていてもよい。さらに、透光板２と撮像素子１の撮像面とは必ずしも平行に配置されている必要はない。例えば、図７Ｂに示すように、両者の間にミラーやプリズムなどの、光を反射する光学素子５２を配置することにより、透光板２と撮像素子１の撮像面とが互いに交差する平面上に位置するように構成することができる。
【００６３】
本実施形態の撮像装置は、撮像によって得られる光電変換信号から信号演算によって画像を生成するが、信号演算による画像の生成処理を撮像装置とは独立した他の装置に実行させてもよい。例えば、本実施形態における撮像部１００を有する撮像装置によって取得した信号を他の装置に読み込ませ、上記の信号演算処理を規定するプログラムを当該他の装置に実行させることによっても上記と同様の効果を得ることができる。
【００６４】
（実施形態２）
次に図８、９を参照しながら本発明の第２の実施形態を説明する。本実施形態の撮像装置は、透光板２における透過領域の構成および撮像素子１の色フィルタアレイの構成が実施形態１の撮像装置と異なっている。以下、実施形態１と異なる点を説明し、重複する点については説明を省略する。
【００６５】
図８は本実施形態における透光板２の正面図である。透光板２の形状は、光学レンズ３と同様、円形であるが、他の形状であってもよい。ここで、領域Ｃ１、Ｃ２、Ｃ３は、透光板２の中心を頂点とする扇形の形状を有している。このような透光板２を用いることにより、レンズ絞り１９の開口径が変化した場合、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４において入射光を受ける部分の面積は変化するが、それらの面積比率は一定に保たれる。その結果、レンズ絞り１９の開口径が変化しても、後述する信号演算処理を変えることなく画像を生成することができる。なお、領域Ｃ１、Ｃ２、Ｃ３における扇形形状の中心角は、１２０°よりも小さい限りにおいて任意の角度に設定され得る。領域Ｃ１にシアン光を透過するＣｙフィルタ、領域Ｃ２にマゼンタ光を透過するＭｇフィルタ、領域Ｃ３に黄光を透過するＹｅフィルタが配置され、それ以外の領域Ｃ４は透明部材で形成された透明領域（Ｗ）である。
【００６６】
図９は本実施形態における撮像素子１の撮像面１ａに形成された色フィルタアレイの基本構成を示す図である。色フィルタアレイは、２行２列を基本とするＭｇフィルタ、Ｇフィルタ、Ｃｙフィルタ、Ｙｅフィルタから構成される。図９では、１行１列目にＭｇフィルタ、１行２列目にＧフィルタ、２行１列目にＣｙフィルタ、２行２列目にＹｅフィルタが配置された例を示しているが、これらの色フィルタの配列は任意である。
【００６７】
以上の構成により、各光感知セルは、透光板２の領域Ｃ１〜Ｃ４の各々を透過した光のうち、対向する色フィルタを透過した光を受ける。以下、各光感知セルにおける光電変換信号を説明する。
【００６８】
本実施形態においても領域Ｃ１〜Ｃ４に入射する光は、可視光領域のどの波長成分もほぼ等量含んでいるものと仮定する。また、記号の表記については実施形態１の表記と同様とする。ただし、透光板２のＭｇ、Ｃｙ、Ｙｅフィルタの分光透過率Ｔｍｇ、Ｔｃｙ、Ｔｙｅは、それぞれ色フィルタアレイにおけるＭｇ、Ｃｙ、Ｙｅフィルタの分光透過率と同一であるとする。さらに、色フィルタアレイにおけるＭｇ、Ｃｙ、Ｙｅの色フィルタを透過し直下の光感知セルで光電変換される信号をそれぞれＭｓ、Ｃｓ、Ｙｓで表すこととする。すると、Ｍｓは、Ｃｉ１ΣＴｗＴｃｙＴｍｇ、Ｃｉ２ΣＴｗＴｍｇＴｍｇ、Ｃｉ３ΣＴｗＴｙｅＴｍｇ、Ｃｉ４ΣＴｗＴｍｇを合算した結果に比例する。同様に、Ｇｓは、Ｃｉ１ΣＴｗＴｃｙＴｇ、Ｃｉ２ΣＴｗＴｍｇＴｇ、Ｃｉ３ΣＴｗＴｙｅＴｇ、Ｃｉ４ΣＴｗＴｇを合算した結果に比例し、Ｃｓは、Ｃｉ１ΣＴｗＴｃｙＴｃｙ、Ｃｉ２ΣＴｗＴｍｇＴｃｙ、Ｃｉ３ΣＴｗＴｙｅＴｃｙ、Ｃｉ４ΣＴｗＴｃｙを合算した結果に比例し、Ｙｓは、Ｃｉ１ΣＴｗＴｃｙＴｙｅ、Ｃｉ２ΣＴｗＴｍｇＴｙｅ、Ｃｉ３ΣＴｗＴｙｅＴｙｅ、Ｃｉ４ΣＴｗＴｙｅの合算結果に比例する。これらの比例係数を１とすれば、Ｍｓ、Ｇｓ、Ｃｓ、Ｙｓは、それぞれ以下の式６〜９で表すことができる。
【００６９】
（式６）Ｍｓ＝Ｃｉ１ΣＴｗＴｃｙＴｍｇ＋Ｃｉ２ΣＴｗＴｍｇＴｍｇ＋Ｃｉ３ΣＴｗＴｙｅＴｍｇ＋Ｃｉ４ΣＴｗＴｍｇ
（式７）Ｇｓ＝Ｃｉ１ΣＴｗＴｃｙＴｇ＋Ｃｉ２ΣＴｗＴｍｇＴｇ＋Ｃｉ３ΣＴｗＴｙｅＴｇ＋Ｃｉ４ΣＴｗＴｇ
（式８）Ｃｓ＝Ｃｉ１ΣＴｗＴｃｙＴｃｙ＋Ｃｉ２ΣＴｗＴｍｇＴｃｙ＋Ｃｉ３ΣＴｗＴｙｅＴｃｙ＋Ｃｉ４ΣＴｗＴｃｙ
（式９）Ｙｓ＝Ｃｉ１ΣＴｗＴｃｙＴｙｅ＋Ｃｉ２ΣＴｗＴｍｇＴｙｅ＋Ｃｉ３ΣＴｗＴｙｅＴｙｅ＋Ｃｉ４ΣＴｗＴｙｅ
式６〜９において、ΣＴｗＴｃｙＴｍｇ、ΣＴｗＴｍｇＴｍｇ、ΣＴｗＴｙｅＴｍｇ、ΣＴｗＴｍｇをそれぞれＭｘ１１、Ｍｘ１２、Ｍｘ１３、Ｍｘ１４で表し、ΣＴｗＴｃｙＴｇ、ΣＴｗＴｍｇＴｇ、ΣＴｗＴｙｅＴｇ、ΣＴｗＴｇをそれぞれＭｘ２１、Ｍｘ２２、Ｍｘ２３、Ｍｘ２４で表し、ΣＴｗＴｃｙＴｃｙ、ΣＴｗＴｍｇＴｃｙ、ΣＴｗＴｙｅＴｃｙ、ΣＴｗＴｃｙをそれぞれＭｘ３１、Ｍｘ３２、Ｍｘ３３、Ｍｘ３４で表し、ΣＴｗＴｃｙＴｙｅ、ΣＴｗＴｍｇＴｙｅ、ΣＴｗＴｙｅＴｙｅ、ΣＴｗＴｙｅをそれぞれＭｘ４１、Ｍｘ４２、Ｍｘ４３、Ｍｘ４４で表すこととする。すると、Ｍｓ、Ｇｓ、Ｃｓ、ＹｓとＣｉ１、Ｃｉ２、Ｃｉ３、Ｃｉ４との関係は、行列を用いて以下の式１０で表される。
【００７０】
【数３】
【００７１】
ここで、式１０における要素Ｍｘ１１〜Ｍｘ４４からなる行列の逆行列の要素をｉＭ１１〜ｉＭ４４とすると、式１０は以下の式１１に変形できる。すなわち、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４に入射する光の強度を示す信号を、光電変換信号Ｍｓ、Ｇｓ、Ｃｓ、Ｙｓを用いて表すことができる。
【００７２】
【数４】
【００７３】
式１１で表される信号Ｃｉ１、Ｃｉ２、Ｃｉ３、Ｃｉ４を、単位要素ごとに求めることにより、領域Ｃ１、Ｃ２、Ｃ３、Ｃ４のそれぞれに入射する光によって形成される４つの画像を求めることができる。
【００７４】
Ｃｉ１、Ｃｉ３が示す画像は、ｘ方向に離れて配置された領域Ｃ１、Ｃ３からそれぞれ被写体を見たときの画像に相当するため、左目用画像および右目用画像として扱うことができる。また、Ｃｉ２は、領域Ｃ１、Ｃ３に対して斜め方向に離れて配置された領域Ｃ２から見たときの画像に相当するため、Ｃｉ１、Ｃｉ３に対して斜め方向の視差を示す画像である。
【００７５】
一方、Ｃｉ４が示す画像は、透明領域Ｃ４に入射する光による画像（白黒画像）であり、視差を示さない通常の画像である。したがって、領域Ｃ４の面積を領域Ｃ１、Ｃ２、Ｃ３に比べて大きくするほど、信号レベルの高い画像（白黒画像）を示す信号Ｃｉ４を得ることができる。
【００７６】
本実施形態において、カラー画像を得るためには、上記処理を行わず、以下の式１２〜１４に示す輝度信号Ｙｌ、式差信号ＲＹ、ＢＹを求めればよい。
【００７７】
（式１２）Ｙｌ＝Ｍｓ＋Ｇｓ＋Ｃｓ＋Ｙｓ
（式１３）ＲＹ＝Ｍｓ−Ｇｓ−Ｃｓ＋Ｙｓ
（式１４）ＢＹ＝Ｍｓ−Ｇｓ＋Ｃｓ−Ｙｓ
式１２〜１４から得られる輝度信号Ｙｌおよび色差信号ＲＹ、ＢＹを、ＮＴＳＣ方式等で用いられている方法でＲＧＢ信号へと変換することにより、カラー画像を得ることができる。なお、得られるカラー画像は、透光板２に配置されたＣｙフィルタ、Ｍｇフィルタ、Ｙｅフィルタの光透過率が比較的高いため、光利用率の高い画像である。
【００７８】
なお、実施形態１と同様、透明領域Ｃ４への入射光による画像を示す信号Ｃｉ４に関する項だけを用いてカラー情報を得てもよい。その場合、式１１に基づく演算処理によってＣｉ４をまず求め、上記の式１２〜１４において、Ｍｓ＝Ｃｉ４ΣＴｗＴｍｇ、Ｇｓ＝Ｃｉ４ΣＴｗＴｇ、Ｃｓ＝Ｃｉ４ΣＴｗＴｃｙ、Ｙｓ＝Ｃｉ４ΣＴｗＴｙｅとすればよい。
【００７９】
以上のように、本実施形態によれば、Ｃｙフィルタ、Ｍｇフィルタ、Ｙｅフィルタが互いに離れた位置に配置され、それ以外の領域が透明部材で構成された透光板２と、２行２列を基本構成とするマゼンタ（Ｍｇ）、緑（Ｇ）、シアン（Ｃｙ）、黄（Ｙｅ）の色フィルタから構成される色フィルタアレイを有するカラー撮像素子が用いられる。撮像素子から出力される光電変換信号に対して、光学系、色フィルタなどの分光透過率に関する積分演算によって得られる４×４の行列に基づく演算を施すことにより、視差を有する複数の画像と光利用率の高い通常画像とを得ることができる。さらに、撮像素子１の各光電変換信号を直接用いて輝度信号と色差信号を作るカラー処理を行うことにより、光利用率の高いカラー画像も得ることができるという効果を奏する。また、レンズ絞り１９の開口径が変化しても領域Ｃ１、Ｃ２、Ｃ３、Ｃ４の光を透過する部分の面積比率は変わらないため、上記の演算式を変えることなくレンズ絞り１９の開口径の変化に対応することができるという利点も有する。
【００８０】
なお、本実施形態における透光板２において、領域Ｃ１、Ｃ２、Ｃ３の形状は扇形であるが、必ずしも扇形である必要はない。レンズ絞り１９の開口径が変化したときに各透過領域において光を受ける部分の面積比率が一定に保たれれば、領域Ｃ１、Ｃ２、Ｃ３の形状はどのような形状であってもよい。
【００８１】
なお、本実施形態では、透光板２は、Ｃｙフィルタが配置された領域Ｃ１、Ｍｇフィルタが配置された領域Ｃ２、Ｙｅフィルタが配置された領域Ｃ３、透明領域Ｃ４から構成されるが、透明領域を含めた４つの領域の構成は上記の構成に限定されるものではない。各領域の透過波長域が異なり、透過率が比較的高いものであれば、どのような構成でも問題はない。
【００８２】
また、撮像素子における色フィルタの組み合わせについても、Ｍｇ、Ｇ、Ｃｙ、Ｙｅの組み合わせに限られるものではない。各色フィルタの透過波長域が異なっていれば、色フィルタの色の組み合わせは任意である。
【００８３】
上記の実施形態１および実施形態２では、透光板はそれぞれ３つおよび４つの透過領域を備え、撮像素子における各単位要素に含まれる色フィルタの種類の数も透過領域の数と同じく、それぞれ３種類および４種類である。しかしながら、本発明における透過領域の数および色フィルタの種類の数は、上記の数に限定されるものではない。例えば、各単位要素に含まれる色フィルタの種類の数が透過領域の数を上回っていてもよい。その場合であっても、各光感知セルの光電変換信号と透過領域に入射する光の量との間の関係式に基づく信号演算によって画像情報を求めることができる。
【００８４】
また、透過領域の数および各単位要素に含まれる色フィルタの種類の数は、４つより多くてもよい。本発明の３次元撮像装置は、透過波長域が互いに異なるｎ個（ｎは３以上の整数）の透過領域を有する光透過部と、各単位要素において、透過波長域が互いに異なるｎ個の色フィルタを有していればよい。ただし、ｎ個の透過領域の少なくとも１つを透過する光は、１つの単位要素において、少なくとも２つの色フィルタを透過するものとする。
【００８５】
図１０は、このように一般化した場合における光透過部２ａの例を示す図である。図示される例では、光透過部２ａは円形の形状を有しているが、他の形状を有していてもよい。この例では、光透過部２ａは、ｎ個の透過領域Ｃ１〜Ｃｎを有している。透過領域Ｃ１〜Ｃｎ−１は、光透過部２ａの中心を頂点とする扇形の形状を有し、それらの透過波長域は互いに異なっている。透過領域Ｃｎは可視光を全て透過する透明領域である。図１０に示す光透過部２ａでは、領域Ｃ１〜Ｃｎ−１の各々と光透過部２ａの外周部分との間に隙間が空いており、その部分も透明領域Ｃｎに含まれるが、このような隙間はなくてもよい。光利用率向上の観点から、透過領域Ｃ１〜Ｃｎ−１の透過波長域は、補色の波長域であることが好ましい。なお、透過領域Ｃ１〜Ｃｎ−１の頂点が光透過部２ａの中心に位置していることは必須ではなく、これらの頂点が光透過部２ａの中心から多少離れていても本発明の効果を得ることは可能である。また、透過領域Ｃ１〜Ｃｎ−１の形状は必ずしも扇形である必要はない。本発明においては、ｎ個の透過領域の少なくとも２個について、光透過部２ａの半径方向に垂直な方向のサイズが光透過部２ａの中心からの距離に応じて実質的に大きくなるように設計されていれば、各透過領域の形状は任意である。ここで、「実質的に大きくなる」とは、光透過部２ａの半径方向に垂直な方向のサイズが光透過部２ａの中心からの距離に応じて全体的に大きくなっていれば、局所的に小さくなる部分を含んでいてもよいことを意味する。以上のことから、光透過部２ａは、例えば２つの透過領域のみが光透過部２ａの中心を頂点とする扇形形状を有し、残りの透過領域は互いに異なる種々の形状を有するように構成されていてもよい。なお、ここでは領域Ｃｎは透明領域であるとしたが、領域Ｃｎも他の領域同様、特定の波長域の光のみを透過するように構成されていてもよい。また、光透過部２ａの一部が遮光領域であってもよい。
【００８６】
図１１は、以上のような一般化した３次元撮像装置に設けられる撮像素子の各単位要素における色フィルタの配列の一例を示す図である。図示されるように、各単位要素は色フィルタＤ１〜Ｄｎを有している。色フィルタＤ１〜Ｄｎの透過波長域は互いに異なっている。なお、色フィルタの配列は図示される配列に限られず、どのような配列でもよい。
【００８７】
上記の構成例において、光利用率向上の観点から、透過領域Ｃ１〜Ｃｎのうち最も広い透過波長域を有する透過領域は、色フィルタＤ１〜Ｄｎのうち最も広い透過波長域を有する色フィルタよりも広い透過波長域を有するように各透過領域および各色フィルタが設計されていることが好ましい。
【００８８】
このように一般化した場合、光透過部２ａの各透過領域に入射する光による画像信号Ｃｉ１、Ｃｉ２、Ｃｉ３・・・、Ｃｉｎと、撮像素子の各色フィルタに対応する光感知セルから出力される光電変換信号Ｄｓ１、Ｄｓ２、Ｄｓ３、・・・、Ｄｓｎとの間の関係は、以下の式１５で表すことができる。
【００８９】
【数５】
【００９０】
式１５に基づいて画像情報Ｃｉ１〜Ｃｉｎを求める場合、Ｍｘ１１〜Ｍｘｎｎを要素とするｎ×ｎ行列の行列式が０に近い値にならないように撮像系の光学特性が構成されることが好ましい。式１５におけるｎ×ｎ行列の逆行列の要素をｉＭ１１〜ｉＭｎｎとすると、式１５は、以下の式１６に変形できる。
【００９１】
【数６】
【００９２】
式１６に基づく信号演算処理を実行することにより、光電変換信号Ｄｓ１〜Ｄｓｎから透過領域Ｃ１〜Ｃｎに入射する光の強度を示す信号Ｃｉ１〜Ｃｉｎを生成することができる。これにより、視差を有するｎ個の画像データを生成することができる。
【００９３】
上記のように一般化した場合においても、信号Ｃｉ１〜Ｃｉｎのいずれかを他の信号に加えることによって当該他の信号の信号レベルを大きくすることができる。この際、最も広い透過波長域をもつ透過領域、または最も面積の大きい透過領域に入射する光に対応する信号を他の信号に加えることが好ましい。また、カラー情報を得る際にも、最も広い透過波長域をもつ透過領域、または最も面積の大きい透過領域をもつ透過領域に入射する光に対応する信号を用いてＲＧＢの色信号を求めることが好ましい。
【００９４】
なお、撮像装置は、信号Ｃｉ１〜Ｃｉｎの全てを生成せずに、これらの信号のうち少なくとも２つの信号を生成するように構成されていてもよい。そのような構成であっても、視差を有する少なくとも２つの画像データを得ることができる。
【産業上の利用可能性】
【００９５】
本発明の３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
【符号の説明】
【００９６】
１ 固体撮像素子
１ａ 固体撮像素子の撮像面
２ 透光板
２ａ 光透過部
３ 光学レンズ
３ａ 透光板と光学レンズの機能が一体化された光学素子
４ 赤外カットフィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像信号生成部
８ インターフェース部
９ 撮像装置
１０ 画素
１１ ０度偏光の偏光板
１２ ９０度偏光の偏光板
１３ 反射鏡
１４ ハーフミラー
１５ 円形の偏光フィルタ
１６ 偏光フィルタを回転させる駆動装置
１７、１８ 偏光フィルタ
１９ レンズ絞り
２０、２２、２３ 光束制限板
２０ａ 赤系統の光を透過させる色フィルタ
２０ｂ 青系統の光を透過させる色フィルタ
２１ 感光フィルム
２２Ｒ、２３Ｒ 光束制限板のＲ光透過領域
２２Ｇ、２３Ｇ 光束制限板のＧ光透過領域
２２Ｂ、２３Ｂ 光束制限板のＢ光透過領域
３０ メモリ
５２ 光を反射する光学素子
１００ 撮像部
１１０ 色フィルタ
１２０ 光感知セル
２００ 信号処理部
【特許請求の範囲】
【請求項１】
透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有する光透過部と、
光感知セルアレイ、および前記光感知セルアレイに対向して配置された色フィルタアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、前記光感知セルアレイおよび前記色フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに１対１に対応して配置された、透過波長域が互いに異なるＮ個の色フィルタを含む固体撮像素子と、
絞りを有し、前記固体撮像素子の撮像面に像を形成する光学系と、
前記固体撮像素子から出力される信号を処理する信号処理部と、
を備え、
前記光透過部の中心は、前記光学系の光軸上に位置し、
前記Ｎ個の透過領域の少なくとも２個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している、３次元撮像装置。
【請求項２】
前記Ｎ個の透過領域の少なくともＮ−１個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している、請求項１に記載の３次元撮像装置。
【請求項３】
前記N個の透過領域の少なくともＮ−１個は、前記光透過部の中心を頂点とする扇形の形状を有している、請求項２に記載の３次元撮像装置。
【請求項４】
Ｎ＝３であり、
前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、
前記シアン領域の形状および前記黄領域の形状は扇形である、請求項１から３のいずれかに記載の３次元撮像装置。
【請求項５】
Ｎ＝４であり、
前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、
前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である、請求項１から３のいずれかに記載の３次元撮像装置。
【請求項６】
前記Ｎ個の透過領域および前記Ｎ個の色フィルタの透過波長域は、前記Ｎ個の透過領域の少なくとも１つを透過する光が前記Ｎ個の色フィルタの少なくとも２つを透過できるように設定され、
前記信号処理部は、前記Ｎ個の光感知セルから出力される信号に基づいて、前記Ｎ個の透過領域の各々に入射する光の強度のうち少なくとも２つの強度を示す信号を生成することによって視差を有する少なくとも２つの画像のデータを生成する、請求項１から５のいずれかに記載の３次元撮像装置。
【請求項７】
請求項１から６のいずれかの３次元撮像装置に用いられる光透過板であって、
透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有し、
前記Ｎ個の透過領域の少なくとも２個は、半径方向に垂直な方向のサイズが中心からの距離に応じて大きくなる部分を有している、光透過板。
【請求項８】
前記N個の透過領域の少なくとも２個は、中心を頂点とする扇形の形状を有している、請求項７に記載の光透過板。
【請求項９】
前記N個の透過領域の少なくともＮ−１個は、中心を頂点とする扇形の形状を有している、請求項８に記載の光透過板。
【請求項１０】
Ｎ＝３であり、
前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、
前記シアン領域の形状および前記黄領域の形状は扇形である、請求項７から９のいずれかに記載の光透過板。
【請求項１１】
Ｎ＝４であり、
前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、
前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である、請求項７から９のいずれかに記載の光透過板。
【請求項１】
透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有する光透過部と、
光感知セルアレイ、および前記光感知セルアレイに対向して配置された色フィルタアレイを有し、前記光透過部を透過した光を受けるように配置された固体撮像素子であって、前記光感知セルアレイおよび前記色フィルタアレイは、複数の単位要素から構成され、各単位要素は、Ｎ個の光感知セル、および前記Ｎ個の光感知セルに１対１に対応して配置された、透過波長域が互いに異なるＮ個の色フィルタを含む固体撮像素子と、
絞りを有し、前記固体撮像素子の撮像面に像を形成する光学系と、
前記固体撮像素子から出力される信号を処理する信号処理部と、
を備え、
前記光透過部の中心は、前記光学系の光軸上に位置し、
前記Ｎ個の透過領域の少なくとも２個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している、３次元撮像装置。
【請求項２】
前記Ｎ個の透過領域の少なくともＮ−１個は、前記光透過部の半径方向に垂直な方向のサイズが前記光透過部の中心からの距離に応じて大きくなる部分を有している、請求項１に記載の３次元撮像装置。
【請求項３】
前記N個の透過領域の少なくともＮ−１個は、前記光透過部の中心を頂点とする扇形の形状を有している、請求項２に記載の３次元撮像装置。
【請求項４】
Ｎ＝３であり、
前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、
前記シアン領域の形状および前記黄領域の形状は扇形である、請求項１から３のいずれかに記載の３次元撮像装置。
【請求項５】
Ｎ＝４であり、
前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、
前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である、請求項１から３のいずれかに記載の３次元撮像装置。
【請求項６】
前記Ｎ個の透過領域および前記Ｎ個の色フィルタの透過波長域は、前記Ｎ個の透過領域の少なくとも１つを透過する光が前記Ｎ個の色フィルタの少なくとも２つを透過できるように設定され、
前記信号処理部は、前記Ｎ個の光感知セルから出力される信号に基づいて、前記Ｎ個の透過領域の各々に入射する光の強度のうち少なくとも２つの強度を示す信号を生成することによって視差を有する少なくとも２つの画像のデータを生成する、請求項１から５のいずれかに記載の３次元撮像装置。
【請求項７】
請求項１から６のいずれかの３次元撮像装置に用いられる光透過板であって、
透過波長域が互いに異なるＮ個（Ｎは３以上の整数）の透過領域を有し、
前記Ｎ個の透過領域の少なくとも２個は、半径方向に垂直な方向のサイズが中心からの距離に応じて大きくなる部分を有している、光透過板。
【請求項８】
前記N個の透過領域の少なくとも２個は、中心を頂点とする扇形の形状を有している、請求項７に記載の光透過板。
【請求項９】
前記N個の透過領域の少なくともＮ−１個は、中心を頂点とする扇形の形状を有している、請求項８に記載の光透過板。
【請求項１０】
Ｎ＝３であり、
前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、および透明領域であり、
前記シアン領域の形状および前記黄領域の形状は扇形である、請求項７から９のいずれかに記載の光透過板。
【請求項１１】
Ｎ＝４であり、
前記Ｎ個の透過領域は、それぞれ、シアン光を透過させるシアン領域、黄光を透過させる黄領域、マゼンタ光を透過させるマゼンタ領域、および透明領域であり、
前記シアン領域の形状、前記黄領域の形状、および前記マゼンタ領域の形状は扇形である、請求項７から９のいずれかに記載の光透過板。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１５７６６（Ｐ２０１２−１５７６６Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１４９９９６（Ｐ２０１０−１４９９９６）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]