３次元撮像装置
【課題】カメラ自体を動かす仕組みが不要で、複数の組の複数視点画像を得ることができる撮像技術を提供する。
【解決手段】本発明の撮像装置は、結像レンズ３と、２つの偏光子を有する光透過部２と、光透過部２を回転させる回転駆動部２Ａと、固体撮像素子１とを備える。固体撮像素子１は、複数の画素と、画素に対応する偏光フィルタを有している。第１の画素群Ｗ１に対応して第１の偏光フィルタ５０ａが配置され、第２の画素群Ｗ２に対応して第２の偏光フィルタ５０ｂが配置されている。光透過部２における偏光領域Ｐ（１）、Ｐ（２）の透過軸の方向は互いに角度αだけ異なっている。また、偏光フィルタ５０ａ、５０ｂの透過軸の方向は互いに角度βだけ異なっている。回転駆動部２Ａは、入射光の光軸の方向を回転軸の方向として透光板２を回転させることができる。これにより、複数の組の複数視点画像を得ることができる。
【解決手段】本発明の撮像装置は、結像レンズ３と、２つの偏光子を有する光透過部２と、光透過部２を回転させる回転駆動部２Ａと、固体撮像素子１とを備える。固体撮像素子１は、複数の画素と、画素に対応する偏光フィルタを有している。第１の画素群Ｗ１に対応して第１の偏光フィルタ５０ａが配置され、第２の画素群Ｗ２に対応して第２の偏光フィルタ５０ｂが配置されている。光透過部２における偏光領域Ｐ（１）、Ｐ（２）の透過軸の方向は互いに角度αだけ異なっている。また、偏光フィルタ５０ａ、５０ｂの透過軸の方向は互いに角度βだけ異なっている。回転駆動部２Ａは、入射光の光軸の方向を回転軸の方向として透光板２を回転させることができる。これにより、複数の組の複数視点画像を得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は１つの光学系と１つの撮像素子を用いて視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、高度な微細化が進み、高集積化が図られている。撮像素子としても１００万画素から１０００万画素へと多画素化が進み、撮像した画像も飛躍的に高画質化が図られている。また、表示装置も薄型の液晶やプラズマのディスプレイにより、場所を取らず、高解像度でコントラストの高い性能が実現されている。このような映像の高品質化の流れは、対象画像として２次元画像から３次元画像へと進みつつあり、昨今では偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
【０００３】
３次元撮像技術に関して、単純な構成の代表的なものは、２つのカメラから構成される撮像系を用いて、右目用の画像及び左目用の画像それぞれを撮像するというものである。このような所謂２眼撮像方式の技術はカメラを２つ使うため、撮像装置の大型化やコスト高にもなり得る。そこで１つのカメラを利用する方法が研究されている。例えば、特許文献１では、互いに偏光方向が直交する偏光板２枚と回転する偏光フィルタを用いた方式が紹介されている。図１０に当該方式における撮像系の構成を示す。
【０００４】
図１０において、１１は０度偏光の偏光板、１２は９０度偏光の偏光板、１３は反射鏡、１４は偏光板１２を透過した光と偏光板１１を通して反射鏡１３で反射された光を透過及び反射させるハーフミラー、１５は円形の偏光フィルタ、１６は円形の偏光フィルタを回転させる駆動装置、３は光学レンズ、９は光学レンズにより結像された像を撮像する撮像装置である。
【０００５】
以上の構成で、入射光は異なった場所に配置された偏光板１１と１２を通り、その後、反射鏡とハーフミラーによりそれらの光軸を合わせられ、円形の偏光フィルタと光学レンズを通して１つの撮像装置で撮像される。この方式の撮像原理は、円形の偏光フィルタを回転することにより、２枚の偏光板に入射した光を別々のタイミングで捉え、視差を有する２つの画像を撮像するというものである。
【０００６】
しかしながら、上記方式では円形の偏光フィルタを回転しながら、時間分割で異なる位置の画像を撮像するため、同時に視差を有する画像を撮れないという課題や機械的駆動を用いるため、耐久性に問題があり得る。その上、全入射光を偏光板及び偏光フィルタで受けるため、受光量が５０％以上低下するという課題もある。
【０００７】
上記方式に対して、機械的駆動を用いず視差を有する画像を同時に撮像する方式が特許文献２に紹介されている。この特許文献の方式では、２つの入射領域を作りそれらの領域から入射する光を集光し１つの撮像素子で撮像しているが、機械的駆動部は有していない。図１１にこの方式の撮像系の構成を示し、以下に撮像原理を説明する。図１１において、互いに偏光方向が直交する偏光板１１と１２、反射鏡１３、光学レンズ３、撮像素子１が配置され、１０は撮像素子の画素、１７、１８は撮像素子の画素に１対１で配置されている偏光フィルタで、偏光フィルタ１７は偏光板１１と、また偏光フィルタ１８は偏光板１２と同特性である。偏光フィルタ１７、１８は交互に配列され全画素上に配置されている。
【０００８】
以上の構成で、入射光は偏光板１１、１２を透過し、反射鏡１３、光学レンズ３を通り、撮像素子１上で結像する。結像の光電変換に関して、偏光板１１を透過して入射した光は偏光フィルタ１７を通してその直下の画素で光電変換され、偏光板１２を透過して入射した光は偏光フィルタ１８を通してその直下の画素で光電変換される。ここで、偏光板１１からの入射光の画像を右目用画像、偏光板１２からの入射光の画像を左目用画像とすると、偏光フィルタ１７を通してその直下の画素群から得られる画像が右目用画像で、偏光フィルタ１８を通してその直下の画素群から得られる画像が左目用画像となる。
【０００９】
結局、特許文献２で示された方式は、特許文献１で示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に特性の異なる偏光フィルタを交互に配置することにより、解像度は１／２になるが、右目用画像と左目用画像が同時に得られるというものである。
【００１０】
しかしながら、上記の技術は、１つの撮像素子で視差を有する２つの画像を得ることができるが、入射光は偏光板を透過するため光量が低下し、さらに偏光フィルタを透過する場合も光量が低下するため、画像としては大きく感度が低下することになる。
【００１１】
画像の感度低下の問題に対して、別なアプローチとして、視差を有する２つの画像の撮像と通常の画像撮像を機械的に切り替える手法が特許文献３に示されている。当該手法における撮像系の構成を図１２に示し、その撮像基本原理を説明する。図１２において、１９は２つの偏光透過部２０、２１を有し、それらの透過部を通してのみ光学レンズ３からの入射光を透過させる光通過部、２２は偏光透過部２０及び２１からの光を分離する特定成分透過フィルタ２３とカラーフィルタ２４とが１組になった受光部光学フィルタトレイ、２５は光通過部１９と特定成分透過フィルタ２３を光路上から外しカラーフィルタ２４を光路に挿入する、あるいはその逆の動作を行うフィルタ駆動部である。
【００１２】
この手法では、フィルタ駆動部を動作させ、視差を有する画像の撮像では光通過部と特定成分透過フィルタを用い、通常の撮影では、カラーフィルタを用いる。視差を有する画像の撮像においては、基本的に特許文献２で示されているものと同じであり、画像としては大きく感度が低下するが、通常の撮影では、光通過部を光路から外し、また特定成分透過フィルタの代わりにカラーフィルタを挿入することにより、感度低下のないカラー画像を得ることができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開昭６２−２９１２９２号公報
【特許文献２】特開昭６２−２１７７９０号公報
【特許文献３】特開２００１-０１６６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
結局、従来技術では、単眼カメラで視差を有する２つの画像を撮像できるが、各画像の感度が低くなる。また、被写体の奥行き情報の高精度化を目的として、同一被写体に対してさらに多くの視差情報を得るためには、カメラを移動させて撮像するか、あるいはカメラ自体を回転させて撮像する必要があり、いずれにしてもカメラ自体を動かす仕組みが必要である。
【００１５】
本発明は上記の課題に鑑み、カメラ自体を動かす仕組みが不要で、かつ視差を有する２つの画像から得られる視差情報よりも多くの視差情報を得ることができる撮像技術を提供することを目的とする。なお、以下の説明において、視差を有する複数の画像を「複数視点画像」（ｍｕｌｔｉ-ｖｉｅｗｐｏｉｎｔ ｉｍａｇｅｓ）と呼ぶ。
【課題を解決するための手段】
【００１６】
本発明の３次元撮像装置は、少なくとも２つの偏光子を有する光透過部と、前記光透過部を透過した光を受ける固体撮像素子と、前記固体撮像素子の撮像面に像を形成する結像部と、入射光の光軸の方向を回転軸の方向として前記光透過部を回転させる回転駆動部とを備える。前記光透過部は、第１の偏光子と、前記第１の偏光子の透過軸に対してα（０°＜α≦９０°）の角度をなす透過軸を有する第２の偏光子とを有している。前記固体撮像素子は、各々が第１の画素および第２の画素を含む複数の画素ブロックと、各画素ブロックにおいて、前記第１の画素に対向して配置された第１偏光フィルタと、各画素ブロックにおいて、前記第２の画素に対向して配置され、前記第１偏光フィルタの透過軸に対してβ（０°＜β≦９０°）の角度をなす透過軸を有する第２偏光フィルタと、
を有している。前記第１偏光フィルタは、前記第１の偏光子を透過した光、および前記第２の偏光子を透過した光を受けるように配置され、前記第２偏光フィルタは、前記第１の偏光子を透過した光、および前記第２の偏光子を透過した光を受けるように配置されている。
【００１７】
好ましい実施形態において、前記光透過部は、入射光を偏光方向によらずに透過させる透明領域を有し、各画素ブロックは、第３の画素を含み、前記第３の画素は、前記第１の偏光子を透過した光、前記第２の偏光子を透過した光、および前記透明領域を透過した光を受け、受けた光に応じた光電変換信号を出力する。
【００１８】
好ましい実施形態において、前記第１偏光子、前記第２偏光子、前記第１偏光フィルタ、および前記第２偏光フィルタに非偏光が入射するときの透過率をＴ１とし、前記第１偏光フィルタの透過軸の向きに振動する偏光が前記第１偏光フィルタに入射するときの透過率、および前記第２偏光フィルタの透過軸の向きに振動する偏光が前記第２偏光フィルタに入射するときの透過率をＴ２とし、前記第１偏光フィルタの透過軸の向きに対して前記第１の偏光子の透過軸の向きがなす角度をφとするとき、行列式
【００１９】
【数１】
【００２０】
の値が０にならないように前記光透過部の回転角が設定される。
【００２１】
好ましい実施形態において、
【００２２】
【数２】
【００２３】
の関係を満足し、φは、
０≦φ＜π／２−α、π／２＋β＜φ＜３π／２−α、３π／２＋β＜φ＜２π
のいずれかの範囲に設定される。
【００２４】
好ましい実施形態において、８０°≦α≦９０°が満足されている。
【００２５】
好ましい実施形態において、各画素ブロックは、第４の画素をさらに含み、前記固体撮像素子は、各画素ブロックに含まれる前記第３の画素に対向して配置された第１の色成分の光を透過させる第１の色フィルタと、各画素ブロックに含まれる前記第４の画素に対向して配置された第２の色成分の光を透過させる第２の色フィルタとを有している。
【００２６】
好ましい実施形態において、各画素ブロックにおいて、前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素は、行列状に配置されており、前記第１の画素は１行１列目に配置され、前記第２の画素は２行２列目に配置され、前記第３の画素は１行２列目に配置され、前記第４の画素は２行１列目に配置されている。
【００２７】
好ましい実施形態において、前記第１の色フィルタおよび前記第２の色フィルタの一方は、黄成分の光を透過させ、前記第１の色フィルタおよび前記第２の色フィルタの他方は、シアン成分の光を透過させる。
【００２８】
好ましい実施形態において、前記第１偏光フィルタの透過軸の向きに対して前記第１の偏光子の透過軸の向きがなす角度をφとするとき、φ＝φ１（０°≦φ１＜３６０°）となる第１の状態、およびφ＝φ１＋１８０°となる第２の状態のそれぞれにおいて撮像を行う。
【００２９】
好ましい実施形態において、画像処理部をさらに備え、前記画像処理部は、前記第１の画素および前記第２の画素から出力される光電変換信号を用いて視差を有する２つの画像の差分を示す画像を形成する。
【００３０】
本発明の画像形成方法は、本発明の３次元撮像装置に用いられ、前記第１の画素から第１の光電変換信号を取得するステップと、前記第２の画素から第２の光電変換信号を取得するステップと、前記第１の光電変換信号および前記第２の光電変換信号に基づいて視差を有する２つの画像の差分を示す画像を形成するステップとを含んでいる。
【発明の効果】
【００３１】
本発明の３次元撮像装置によれば、光の入射領域に関して少なくとも２つの偏光領域を有し、また撮像素子は偏光フィルタが配置された少なくとも２種類の画素群を有している。このため、２つの入射領域からの画像を２種類の画素群で撮像することになる。このことは、異なる入射光情報を特性の異なるセンサで捉えることと同じであり、２つの入力に対する２つの出力の関係を特定の数式で表すことができる。このため、逆に２つの入力情報を２つの出力結果から算出することが可能となる。すなわち、２つの偏光領域からの画像情報を得た上でそれらの差分処理を施すことにより、複数視点画像間の差分情報を得ることができる。さらに本発明の３次元撮像装置は、光の入射領域を回転させる回転駆動部を有するため、偏光領域の場所を変えて撮像できる。その結果、視点を変えた被写体の奥行き情報が得られるという効果がある。このことは被写体の奥行き情報の高精度化を可能にする。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施形態における撮像装置の全体構成図
【図２】本発明の第１の実施形態における固体撮像素子に光が入射する様子を示す模式図
【図３】本発明の第１の実施形態における透光板の正面図
【図４】本発明の第１の実施形態における固体撮像素子の撮像部の基本画素構成図
【図５】本発明の第１の実施形態における回転角φと｜Ｄ｜の関係図
【図６】本発明の第２の実施形態における固体撮像素子の撮像部の基本色構成図
【図７】本発明の第２の実施形態における回転角φと｜Ｄ｜の関係図
【図８】本発明の第１の実施形態における他の固体撮像素子の基本画素構成図
【図９】本発明の第１の実施形態における他の透光板の正面図
【図１０】特許文献１における撮像系の構成図
【図１１】特許文献２における撮像系の構成図
【図１２】特許文献３における撮像系の構成図
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態について、図面を参照しながら説明する。全ての図にわたって共通する要素には同一の符号を付している。
【００３４】
（実施形態１）
図１は、本発明の第１の実施形態における撮像装置の構成図である。１は光電変換する固体撮像素子、２は一部に偏光領域を有する透光板、２Ａは光軸の方向を回転軸の方向として透光板２を回転させる回転駆動部、３は入射光を結像するための円形の光学レンズ、４は赤外カットフィルタ、５は固体撮像素子の駆動に使う原信号を発生させると共に固体撮像素子からの信号を受信する信号発生及び画像信号受信部、６は固体撮像素子を駆動するための信号を作り出す素子駆動部、７は画像信号を処理して複数視点画像、複数視点画像の差分を示す画像（差分画像）、および視差が無く感度上問題のない画像（通常画像）とを生成する画像処理部、８は生成した複数視点画像、差分画像、および通常画像の画像信号を外部に送出する画像インターフェース部である。なお、以下の説明において、複数視点画像および差分画像をまとめて「視差を示す画像」と呼ぶことがある。
【００３５】
透光板２は、２つの偏光子が配置された偏光領域と、光を偏光方向によらず透過させる透明領域とを有している。固体撮像素子１（以下、「撮像素子」と呼ぶことがある）は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体技術によって製造される。固体撮像素子１の撮像面には、複数の画素（光感知セル）が２次元状に配列されている。各画素は、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた電気信号（光電変換信号）を出力する。画像処理部７は、画像処理に用いる各種情報を記憶するメモリと、メモリから読み出したデータに基づいて画素ごとの画像信号を生成する画像信号生成部とを有している。
【００３６】
このような構成により、入射光は透光板２、光学レンズ３、赤外カットフィルタ４を通して固体撮像素子１の撮像面に結像され、固体撮像素子１で光電変換される。光電変換によって生成した画像信号は画像信号受信部５を通して画像処理部７に送られ、ここで複数視点画像、差分画像、および視差が無く感度上問題のない通常画像が生成される。なお、回転駆動部２Ａにより透光板２を回転させることによって、透光板２における２つの偏光領域はその位置を変えることができる。また、回転駆動部２Ａは信号発生及び画像信号受信部５からの指令信号を素子駆動部６を介して受信することによって動作する。
【００３７】
図２は、入射光が透光板２および光学レンズ３を透過して固体撮像素子１の撮像面に入射する様子を模式的に表している。図２において、透光板２、光学レンズ３、固体撮像素子１、回転駆動部２Ａ以外の構成要素は省略されている。また、固体撮像素子１については撮像面の一部のみを図示している。図示されるように、透光板２は、偏光領域Ｐ（１）、Ｐ（２）および透明領域Ｐ（３）を有している。ここで、偏光領域Ｐ（１）、Ｐ（２）の透過軸の向きは互いに異なっている。また、固体撮像素子１の撮像面に配列された複数の画素は、３画素を１つの単位とする複数の画素ブロックを構成している。１つの画素ブロックに含まれる３つの画素をＷ１、Ｗ２、Ｗ３と呼ぶこととする。本実施形態において、画素Ｗ１、Ｗ２に対向して、偏光フィルタ５０ａ、５０ｂがそれぞれ配置されている。偏光フィルタ５０ａ、５０ｂの透過軸の向きは互いに異なっている。画素Ｗ３には対応する偏光フィルタは配置されていない。
【００３８】
なお、図示される各構成要素の配置関係はあくまでも一例であって、本発明はこの配置関係に限られるものではない。例えば、光学レンズ３は、撮像面に像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよいし、複数配置されていてもよい。また、光学レンズ３と透光板２とは独立の構成要素である必要はなく、両者は一体化された１つの光学素子として構成されていてもよい。また、図２において、画素Ｗ１、Ｗ２、Ｗ３は、透光板２の偏光領域Ｐ（１）およびＰ（２）を結ぶ線分に平行な方向（Ｘ方向）に沿って順番に配列されているように描かれているが、必ずしもそのように配列されている必要はない。なお、撮像素子１の撮像面には、図２の紙面に垂直な方向（Ｙ方向）にも複数の画素が配列されている。
【００３９】
以下、透光板２の構成、および固体撮像素子１の画素構成についてより詳細に説明する。以下の説明において、図２と共通の座標系を用いる。
【００４０】
図３は、本実施形態における透光板２の正面図である。透光板２の形状は光学レンズ３と同じ円形である。透光板２において、透過軸の方向が異なる２個の偏光領域Ｐ（１）、Ｐ（２）がＸ方向に離れて配置されている。透光板２においてＰ（１）、Ｐ（２）以外の領域は透明領域Ｐ（３）である。透光板２が回転していない状態において偏光領域Ｐ（１）の透過軸の方向は、Ｘ方向と一致している。偏光領域Ｐ（２）の透過軸の方向は、偏光領域Ｐ（１）の透過軸の方向に対して角度α（０°＜α≦９０°）だけ傾いている。
【００４１】
本実施形態の撮像装置は、回転駆動部２Ａによって透光板２を回転させることができる。透光板２の回転角がθ（０°≦θ＜３６０°）であるとき、偏光領域Ｐ（１）の透過軸の方向がＸ方向に対してなす角度はθとなり、偏光領域Ｐ（２）の透過軸の方向がＸ方向に対してなす角度はθ＋αとなる。なお、図３では透光板２の形状は円形であるが、必ずしも円形である必要はない。また、偏光領域Ｐ（１）、Ｐ（２）の形状については必ずしも長方形である必要はなく、どのような形状であってもよい。ただし、偏光領域Ｐ（１）、Ｐ（２）の面積および形状は互いに同一であることが好ましい。
【００４２】
図４は、撮像素子１の撮像面における１つの画素ブロックを示している。３行１列を基本構成とする複数の画素が撮像面上に配列されている。上述のように、画素の基本構成は、偏光方向が互いに異なる２つの偏光フィルタ５０ａ、５０ｂがそれぞれ配置された画素Ｗ１、Ｗ２、および何も配置されない画素Ｗ３を含んでいる。１つの画素ブロックにおいて、Ｗ１、Ｗ２、Ｗ３は、Ｙ軸に沿って配置されている。偏光フィルタの透過軸の方向について、１行１列目の偏光フィルタ５０ａの透過軸はＸ方向に対して角度γ（０°≦γ≦９０°）傾き、２行１列目の偏光フィルタ５０ｂの透過軸はＸ方向に対して角度γ＋β（０°＜β≦９０°）傾いている。
【００４３】
以上の構成により、撮像面上の各画素は偏光領域Ｐ（１）、Ｐ（２）、および透明領域Ｐ（３）を透過し光学レンズ３によって集光された光を受ける。以下、各画素における光電変換信号について説明する。
【００４４】
まず偏光フィルタが配置されていない画素Ｗ３の光電変換信号について説明する。画素Ｗ３は、透光板２、光学レンズ３、赤外カットフィルタ４を通して入射する光を受け、受けた光に応じた光電変換信号を出力する。ここで、入射光が透光板２の偏光領域Ｐ（１）、Ｐ（２）を通過する際の透過率をＴ１とする。偏光領域Ｐ（１）、Ｐ（２）と透明領域Ｐ（３）に入射する光が減光されず撮像素子１によって光電変換されると仮定した場合の信号量を、添え字ｓを付けて、それぞれＰｓ（１）、Ｐｓ（２）、Ｐｓ（３）と表現すると、画素Ｗ３における光電変換信号Ｓ３は次の式１で表される。
【００４５】
（式１）Ｓ３＝Ｔ１（Ｐｓ（１）＋Ｐｓ（２））＋Ｐｓ（３）
次に、偏光フィルタが配置された画素Ｗ１およびＷ２の光電変換信号について説明する。画素Ｗ１、Ｗ２に対向して偏光フィルタ５０ａ、５０ｂがそれぞれ配置されているため、基本的に画素Ｗ１、Ｗ２に入射する光の量は画素Ｗ３に入射する光の量よりも少ない。ここで、非偏光が偏光フィルタ５０ａまたは５０ｂを透過する際の透過率を、偏光領域Ｐ（１）、Ｐ（２）における透過率と同様、Ｔ１とする。また、各偏光フィルタの透過軸の方向と同一の方向に振動する偏光が当該偏光フィルタを透過する際の透過率をＴ２とする。回転駆動部２Ａによって透光板２が角度θだけ回転しているとき、画素Ｗ１及びＷ２における光電変換量に相当する信号Ｓ１、Ｓ２は、それぞれ以下の式２、３で表される。
【００４６】
（式２）Ｓ１＝Ｔ１（Ｔ２（Ｐｓ（１）｜ｃｏｓ（θ−γ）｜＋Ｐｓ（２）｜ｃｏｓ（θ＋α−γ）｜）＋Ｐｓ（３））
（式３）
Ｓ２＝Ｔ１（Ｔ２（Ｐｓ（１）｜ｃｏｓ（θ−γ−β）｜＋Ｐｓ（２）｜ｃｏｓ（θ＋α−γ−β）｜）＋Ｐｓ（３））
ここで、φ＝θ−γとおくと、式２及び式３はそれぞれ以下の式４及び式５で表される。
【００４７】
（式４）Ｓ１＝Ｔ１（Ｔ２（Ｐｓ（１）｜ｃｏｓφ｜＋Ｐｓ（２）｜ｃｏｓ（φ＋α）｜）＋Ｐｓ（３））
（式５）Ｓ２＝Ｔ１（Ｔ２（Ｐｓ（１）｜ｃｏｓ（φ−β）｜＋Ｐｓ（２）｜ｃｏｓ（φ＋α−β）｜）＋Ｐｓ（３））
φ＝θ−γは、偏光フィルタ５０ａの透過軸の方向に対する透光板２の相対的な回転角である。ここで、上記の式１、式４、および式５からＰｓ（３）を消去し、Ｐｓ（１）とＰｓ（２）を計算すると、Ｐｓ（１）およびＰｓ（２）は、それぞれ以下の式６および式７で表される。
【００４８】
【数３】
【００４９】
【数４】
【００５０】
ここで、式６、７における分母の｜Ｄ｜は、次の式８で表される行列式である。
【００５１】
【数５】
【００５２】
式６、７により、偏光領域Ｐ（１）、Ｐ（２）を透過して撮像面に入射する光による画像を示す信号Ｐｓ（１）、Ｐｓ（２）を、Ｓ１、Ｓ２、Ｓ３から求めることができる。Ｐｓ（１）、Ｐｓ（２）は、視点の異なる２つの画像に対応しており、これらの差分を求めることによって被写体の奥行きに関する情報を得ることができる。本実施形態において、差分画像は、Ｐｓ（１）とＰｓ（２）との差分によって得られる。以下、差分画像を示す信号をＤｓと表す。また、透明領域を透過した光による画像を示す信号Ｐｓ（３）は、式６と式７で示されるＰｓ（１）とＰｓ（２）とを式１に代入することにより求めることができる。
【００５３】
以上のように、本実施形態の撮像装置によれば、複数視点画像、差分画像、および視差のない通常画像を得ることができる。回転駆動部２Ａによって透光板２を回転させることにより、偏光領域Ｐ（１）、Ｐ（２）の位置を変え、視差の状態を変えて撮像することができる。偏光領域Ｐ（１）、Ｐ（２）の位置を変えて撮像し、上記の処理を行うことにより、複数の視差情報を得ることができる。その結果、１つの視差情報に基づいて被写体の奥行き情報を得る場合よりも被写体の奥行き情報の精度を向上させることが可能となる。
【００５４】
なお、式８に示される行列式｜Ｄ｜の値が０である場合、式６、７で示されるＰｓ（１）、Ｐｓ（２）の分母も０となるため、Ｐｓ（１）、Ｐｓ（２）を求めることができない。従って、本実施形態の撮像装置では、透光板２の回転角θは、式８に示す行列式｜Ｄ｜が０にならないように設定される。
【００５５】
以下、透光板２の好ましい回転範囲を説明する。式８は、ｋ＝Ｔ１／Ｔ２とおくと、次の式９で表される。
【００５６】
【数６】
【００５７】
式９において、各ｃｏｓ項が全てプラスならば、符号はそのままで絶対値を外すことができ、式９は次の式１０で表すことができる。
【００５８】
【数７】
【００５９】
式１０を変形すると、以下の式１１が得られる。
【００６０】
【数８】
【００６１】
また、式９において、各ｃｏｓ項が全てマイナスならば、正負の符号を逆にして絶対値を外すことができ、式９は式１２で表される。
【００６２】
【数９】
【００６３】
本実施形態における撮像装置は、０＜α≦９０°、０＜β≦９０°を満足しているため、透光板２の回転角θを０°〜３６０°の範囲内に設定することを考えると、式１１および式１２は、以下の条件（式１３）が成立する限り、常に正で０にはならない。
【００６４】
（式１３）ｃｏｓ（α／２）ｃｏｓ（β／２）＞ｋ（＝Ｔ１／Ｔ２）
但し、式１３は、式９において各ｃｏｓ項が全てプラスあるいは全てマイナスという前提条件から得られたものである。すなわち、この前提条件はｃｏｓφ、ｃｏｓ（φ＋α）、ｃｏｓ（φ−β）、ｃｏｓ（φ＋α−β）が全てプラスあるいは全てマイナスということである。このため、φの範囲が（９０°−α）から（９０°＋β）までの範囲と（２７０°−α）から（２７０°＋β）までの範囲とを除く全ての範囲において、式９で表される｜Ｄ｜は常に正であり、０にはならない。言い換えれば、０°≦φ＜９０°−α、９０°＋β＜φ＜２７０°−α、２７０°＋β＜φ＜３６０°のいずれかを満足する限り、｜Ｄ｜は常に正であり、０にはならない。
【００６５】
本実施形態における各パラメータ値の一例として、例えばＴ１＝０．４５、Ｔ２＝０．９、α＝６０°、β＝６０°と設定することができる。γについては、上記の式群には表れてこないので、いずれの値でも問題ないが、ここではγ＝０とする。以上の条件により、式１３の左辺は３／４、右辺は１／２になるため、式１３の関係式は成立する。また、この場合における角度φに対する｜Ｄ｜の値の依存性を図５に示す。図５に示すように、少なくともφが０≦φ＜３０°、１５０°＜φ＜２１０°、３３０°＜φ＜３６０°の範囲にあるとき、問題なく複数視点画像、差分画像、および視差のない通常画像が得られることがわかる。
【００６６】
以上のように、本実施形態の撮像装置は、２つの偏光領域Ｐ（１）、Ｐ（２）と１つの透明領域Ｐ（３）とを有する透光板２を備えている。撮像素子１の撮像面における各画素ブロックは、透過軸の方向が互いに異なる２つの偏光フィルタ５０ａ、５０ｂがそれぞれ配置された画素Ｗ１、Ｗ２と、何も配置されていない画素Ｗ３とを含んでいる。偏光領域Ｐ（１）の透過軸の方向と偏光領域Ｐ（２）の透過軸の方向とがなす角度をα、偏光フィルタ５０ａの透過軸の方向と偏光フィルタ５０ｂの透過軸の方向とがなす角度をβとするとき、透光板２の回転角θと偏光フィルタ５０ａの透過軸の向きがＸ方向に対してなす角度γとの差φが（９０°−α）から（９０°＋β）までの範囲と（２７０°−α）から（２７０°＋β）までの範囲とを除く範囲にある限り、複数視点画像、差分画像、および視差のない通常の２次元画像を得ることができる。特に、Ｐ（１）とＰ（２）の偏光領域を小さくするほど、感度的に問題のない２次元画像を得ることができる。また、透光板２をφの値が上記の許容範囲内になるように回転させ、その都度差分画像を算出することにより、視点を変えた被写体の奥行き情報が得られるという効果がある。このことは被写体の奥行き情報の高精度化を可能にする。
【００６７】
上記の例では、α＝６０°、β＝６０°としたが、αおよびβはこの値に限るものではない。角度φ、α、βが、少なくとも０°≦φ＜９０°−α、９０°＋β＜φ＜２７０°−α、２７０°＋β＜φ＜３６０°のいずれかを満足するように設定されていれば、式１３が成立するため、問題なく複数視点画像および差分画像を得ることができる。また、仮にφが９０°−α≦φ≦９０°＋β、または２７０°−α≦φ≦２７０°＋βのいずれかの値に設定されていたとしても、式９の行列式｜Ｄ｜の値が０にならない限り、問題なく複数視点画像および差分画像を得ることができる。
【００６８】
本実施形態における回転駆動部２Ａは、上述のように、信号発生及び画像信号受信部５からの指令信号を素子駆動部６から受信することによって動作するが、本発明はこのような形態に限られない。例えば、回転駆動部２Ａを手で動かすことによって透光板２を回転させるようにしてもよい。
【００６９】
本実施形態では、感度的に問題のない２次元画像を画素間の演算によって透明領域Ｐ（３）のみを透過する光から得るものとしたが、本発明はこれに限るものではない。領域Ｐ（１）、Ｐ（２）、Ｐ（３）を透過した全ての光を用いて２次元画像を得る構成であってもよい。言い換えれば、Ｐｓ（１）、Ｐｓ（２）、Ｐｓ（３）で表される信号を合成することにより、２次元画像を生成してもよい。
【００７０】
上記の説明において、透光板２に設けられる偏光領域（偏光子）は２つであるが、３つ以上の偏光領域が設けられていてもよい。また、θ＝０°の状態における偏光領域Ｐ（１）の透過軸の方向はＸ方向に一致している必要はなく、任意の方向であってよい。
【００７１】
また、図４に示す例では、画素Ｗ１、Ｗ２、Ｗ３の形状は正方形状であり、画素Ｗ１、Ｗ２、Ｗ３はＹ方向に隣接して配置されているが、本発明はこのような構成に限られない。各画素の形状はどのような形状でもよいし、画素Ｗ１、Ｗ２、Ｗ３は必ずしもＹ方向に隣接している必要はない。ただし、各画素は近接していることが好ましい。
【００７２】
本実施形態の撮像装置では、図２に示すように、透光板２と撮像素子１の撮像面とは平行に配置されている。しかし、両者は必ずしも平行に配置される必要はない。例えば、両者の間にミラーやプリズムなどの光学素子を配置することにより、透光板２と撮像素子１の撮像面とが互いに交差する平面上に位置するように構成することができる。このような構成を採用する場合、角度α、βは、上記光学素子による光路の変化を考慮した上で、透光板２と撮像素子１の撮像面とが互いに平行であると仮定したときの偏光領域Ｐ（１）の透過軸の方向を基準にして決定すればよい。
【００７３】
以上の説明において、撮像装置は、複数視点画像、差分画像、および通常画像を同時に得るように構成されている。しかしながら、本発明はこのような構成に限られず、通常画像を取得せず、複数視点画像、および差分画像を取得するように構成されていてもよい。このような目的で撮像装置を構成する場合、上記の説明における画素Ｗ３は不要であり、また、透明領域Ｐ（３）の代わりに光を透過しない遮光領域が設けられる。
【００７４】
図６、図７は、それぞれ通常画像を取得せず、複数視点画像および差分画像を取得する撮像装置における透光板２の構成の一例、および基本画素構成の一例を示している。透光板２における偏光領域Ｐ（１）、Ｐ（２）以外の領域は、遮光領域である。このような撮像装置においても、回転駆動部２Ａによって光軸を中心に透光板２を回転させることができる。また、撮像素子１の撮像面には、画素Ｗ１、Ｗ２を含む画素ブロックを単位として、複数の画素ブロックが配列される。
【００７５】
以上の構成により、画素Ｗ１およびＷ２からそれぞれ出力される光電変換信号Ｓ１およびＳ２は、それぞれ以下の式１４および式１５で表すことができる。
【００７６】
（式１４） Ｓ１＝Ｔ１Ｔ２（Ｐｓ（１）ｃｏｓα＋Ｐｓ（２）ｃｏｓ（α−θ））
（式１５） Ｓ２＝Ｔ１Ｔ２（Ｐｓ（１）ｃｏｓβ＋Ｐｓ（２）ｃｏｓ（β−θ））
式１４、１５より、Ｐｓ（１）、Ｐｓ（２）は、それぞれ以下の式１６、１７で表される。
【００７７】
【数１０】
【００７８】
【数１１】
【００７９】
ここで、｜Ｄ｜は、以下の式１８で表される行列式である。
【００８０】
【数１２】
【００８１】
また、差分画像Ｄｓは、Ｐｓ（１）とＰｓ（２）との差分をとることにより、以下の式１９で表される。
【００８２】
【数１３】
【００８３】
式１６〜１９が示すように、画素Ｗ１、Ｗ２における光電変換信号Ｓ１、Ｓ２から、信号Ｐｓ（１）、Ｐｓ（２）、および差分画像を示す信号Ｄｓを求めることができる。この構成によって視差を示す各画像を取得する場合、式１８の行列式｜Ｄ｜の値が０に近い値とならないように角度θ、α、β、γが設定されることが好ましい。このような撮像装置によっても透光板２の回転角θを変えて撮像を行うことにより、複数の組の複数視点画像を得ることができる。
【００８４】
（実施形態２）
次に図８、９を参照しながら本発明の第２の実施形態を説明する。本実施形態の撮像装置は、撮像素子１の基本画素構成、および視差を示す画像の取得方法が実施形態１の撮像装置と異なっている。以下、実施形態１の撮像装置との相違点のみを説明し、共通の事項についての説明は省略する。
【００８５】
図８は、本実施形態における固体撮像素子１の撮像面における基本画素構成を示している。本実施形態においては、画素は２行２列を基本構成とする複数の画素ブロックから構成され、各画素に対向して色要素（色フィルタ）または偏光フィルタが配置されている。本実施形態における色要素は、特定の色成分の波長域を有する光のみを透過させる公知の色フィルタである。なお、以下の説明において、色成分Ｃの光のみを透過する色フィルタをＣ要素と呼ぶこととする。
【００８６】
色要素に関して、１行１列目の画素に対向してシアン要素（Ｃｙ）が配置され、２行２列目の画素に対向して黄要素（Ｙｅ）が配置され、１行２列目および２行１列目の画素には色要素は配置されていない。１行２列目の画素には透過軸の方向がＸ方向に一致する偏光フィルタが配置され、２行１列目の画素には透過軸の方向がＸ方向に対して４５°の角度をなす偏光フィルタが配置されている。なお、画素配列に関しては正方配列であり、２つの画素Ｗ１およびＷ２に対向して配置された２つの偏光フィルタの中心間を結ぶ線分の方向はＸ方向に対して４５°の角度をなしている。
【００８７】
一方、透光板２について、形状は実施形態１における透光板２の形状と同一である。ただし、本実施形態においては、偏光領域Ｐ（１）の透過軸の向きと偏光領域Ｐ（２）の透過軸の向きとがなす角度は９０°に設定されている。すなわち、本実施形態においては、α＝９０°、β＝４５°、γ＝０°、θ＝φである。また、Ｔ１＝０．４５、Ｔ２＝０．９とする。
【００８８】
本実施形態の撮像装置は、φ１を任意の角度として、回転駆動部２Ａによって透光板２を回転させ、φ＝φ１の状態およびφ＝φ１＋１８０°の状態のそれぞれにおいて撮像を行い、実施形態１に示す処理演算を行う。例えば、φ＝０°およびφ＝１８０°の状態でそれぞれ撮像を行い、それぞれの状態における複数視点画像および差分画像を取得する。なお、本実施形態においては、実施形態１で示した許容回転範囲でない回転角度で撮像することもあり得るが、許容回転範囲外であっても式９に示す｜Ｄ｜が０にならないようにα、β、φが設定されていれば問題はない。実施形態１で示したα、β、φについての条件：０°≦φ＜９０°−α、９０°＋β＜φ＜２７０°−α、２７０°＋β＜φ＜３６０°は、あくまでも式９の｜Ｄ｜が０にならないことを保証するものであり、保証範囲外の値であっても｜Ｄ｜が０にならない場合は存在する。
【００８９】
本実施形態の撮像装置の主な特徴は次の３点である。第１点目は実施形態１で示した画素Ｗ３が無いことである。第２点目は偏光領域Ｐ（１）とＰ（２）の透過軸の方向が互いに直交しており、透光板２を回転させることによってφ＝φ１およびφ＝φ１＋１８０°の２つの状態でそれぞれ撮像を行うことである。第３点目は撮像素子がカラー化されていることである。
【００９０】
まず上記特徴の第１点目について説明する。図８に示す画素構成では、実施形態１における画素Ｗ３が無いため、実施形態１で示した計算は本来できない。しかしながら、無彩色に近い被写体を撮像する場合は、Ｃｙ＋Ｙｅ＝Ｗ＋Ｇであるため、ＲＧＢの受光信号比率をＫｒ、Ｋｇ、Ｋｂとすると、画素Ｗ３からの画素信号Ｓ３に相当する信号はＣｙ要素とＹｅ要素を通して得られる信号の合算Ｓｃｙ＋Ｓｙｅに（Ｋｒ＋Ｋｇ＋Ｋｂ）／（Ｋｒ＋２Ｋｇ＋Ｋｂ）倍したものと考えられる。そこで、画素信号Ｓ３に相当する信号をこのような演算を行うことにより得る。そうすることにより、式９で示される｜Ｄ｜が０でなければ、実施形態１の場合と同じ処理で複数視点画像および差分画像を作ることができる。なお、上記の受光信号比率Ｋｒ、Ｋｇ、Ｋｂは、撮像装置の内部パラメータとして、予め撮像装置内部の記憶媒体に記録されている。
【００９１】
次に本実施形態の特徴の第２点目について説明する。図９は本実施形態における透光板の回転角θ（＝φ）に対する｜Ｄ｜の値の依存性を表している。図９より、φが例えば０°または１８０°になるように透光板２を回転させたとしても｜Ｄ｜は０にならないことがわかる。他の例として、φが１５０°または３３０°になるように透光板２を回転させる場合でも｜Ｄ｜は０にならない。すなわち、φ＝φ１の状態およびφ＝φ１＋１８０°の状態のいずれにおいても｜Ｄ｜が０にならなければ、両方の状態において実施形態１で示した演算処理が可能であり、偏光領域Ｐ（１）、Ｐ（２）、Ｐ（３）のそれぞれに入射する光による画像を算出できる。
【００９２】
本実施形態では、偏光領域Ｐ（１）、Ｐ（２）に入射した光による画像を表す信号Ｐｓ（１）、Ｐｓ（２）に関して、φ＝φ１およびφ＝φ１＋１８０°の２つの状態でそれぞれ撮像して得られる２組のデータに基づいて差分画像を得る。この処理において、φ＝φ１における画像Ｐｓ（１）とφ＝φ１＋１８０°における画像Ｐｓ（２）とを２乗加算した結果に平方根処理を行うことによって第１の画像情報を得る。同様に、φ＝φ１における画像Ｐｓ（２）とφ＝φ１＋１８０°における画像Ｐｓ（１）とを２乗加算した結果に平方根処理を行うことによって第２の画像情報を得る。φ＝φ１における画像Ｐｓ（１）およびφ＝φ１＋１８０°における画像Ｐｓ（２）は、それぞれ同じ位置で観測した０度と９０度の偏光特性の画像に対応するので、偏光特性を有する被写体を撮像した場合、上記処理によって被写体の偏光特性を打ち消すことができる。通常、偏光特性を有する被写体は、直交するフィルタを用いて撮像され、それぞれの偏光成分を２乗加算して得られる値を求めることによって被写体の光エネルギを測定するため、本実施形態でも同様の処理を実行する。
【００９３】
最後に本実施形態の特徴の第３点目について説明する。カラー画像について、シアン要素を透過し光電変換される光に対応する信号量をＳｃｙ、黄要素を透過し光電変換される光に対応する信号量をＳｙｅ、画素Ｗ１および画素Ｗ２における光電変換信号を加算して得られる信号量をＳｗとする。すると、赤の色情報Ｓｒは（Ｓｗ−Ｓｃｙ）、青の色情報Ｓｂは（Ｓｗ−Ｓｙｅ）により得られ、さらに（Ｓｗ−Ｓｒ−Ｓｂ）により緑の色情報が得られる。その結果、光量低下は透光板２の偏光領域Ｐ（１）、Ｐ（２）による低下分のみに抑えられ、入射光の光量低下を大幅に抑えたカラー画像が得られることになる。
【００９４】
以上のように本実施形態によれば、第１に偏光領域Ｐ（１）、Ｐ（２）の透過軸の方向が互いに直交し、φ１を任意の角度として、φ＝φ１およびφ＝φ１＋１８０°の２つの状態で撮像を行う。第２に固体撮像素子１の撮像面において２行２列を基本単位として画素を構成し、１行１列目の画素に対向してシアン要素（Ｃｙ）が配置され、２行２列目の画素に対向して黄要素（Ｙｅ）が配置され、１行２列目の画素に対向して透過軸の方向がＸ方向に一致する（γ＝０）偏光フィルタが配置され、２行１列目の画素に対向して透過軸の方向がＸ方向に対して４５°（β＝４５°）の角度をなす偏光フィルタが配置される。以上の構成及び回転駆動部２Ａによる回転動作により、被写体が偏光特性を有していても複数視点画像、差分画像、およびカラー画像を得ることができる。なお、偏光領域Ｐ（１）、Ｐ（２）のサイズを透明領域Ｐ（３）に比べて十分小さくすることにより、感度低下を大幅に抑えたカラー画像を得ることができるという効果がある。
【００９５】
上記の説明において、偏光フィルタの透過軸の方向を規定するパラメータγ、β、偏光領域の透過率Ｔ１、Ｔ２を限定したが、これらは上記の値のみに限られるものではない。本実施形態において、式９における｜Ｄ｜の値が０にならず、２つの偏光領域Ｐ（１）、Ｐ（２）の透過軸の方向が直交し、透光板を角度φ１および角度φ１＋１８０°の各々の状態で撮像するように構成されていればよい。
【００９６】
また、本実施形態における色フィルタは、必ずしもシアン要素と黄要素である必要はない。２種類の色フィルタは、第１の色成分を透過する色フィルタと第２の色成分を透過する色フィルタとが配置されていればよい。例えば、色フィルタとして赤要素および青要素を用いて、画素信号として直接赤信号と青信号とが得られる構成を採用することができる。
【００９７】
本実施形態では、偏光領域Ｐ（１）の透過軸の方向に対して偏光領域Ｐ（２）の透過軸の方向がなす角度αを９０°としたが、αは厳密に９０°である必要はなく、多少の誤差が含まれていてもよい。αは、好ましくは７０°≦α≦９０°を満たすように設定され、さらに好ましくは８０°≦α≦９０°を満たすように設定される。また、本発明は、α＝９０°に限定されるものではなく、α≠９０°であっても、式６、式７に基づいて視差情報を得ることができる。
【００９８】
なお、画素は必ずしも正方格子状に配列されている必要はなく、各画素の形状は正方形である必要はない。１つの画素ブロックが４画素から構成され、そのうちの２画素に対向して透過軸の方向が異なる偏光フィルタがそれぞれ配置され、他の２画素に対向して異なる色フィルタが配置されていれば、本実施形態の効果を得ることが可能である。
【００９９】
また、図８に示す画素構成の代わりに、他の画素構成を用いてもよい。例えば、図４または図７に示す画素構成を用いても、透光板２の回転角が１８０°異なる２つの状態で撮像を行うことにより、偏光特性を有する被写体に対して複数視点画像および差分画像を得ることができる。
【０１００】
なお、以上の実施形態１、２において、撮像装置は複数視点画像および差分画像のいずれか一方を取得するように構成されていてもよい。例えば、撮像装置は複数視点画像のみを取得し、差分画像については撮像装置に有線または無線で接続された他の演算処理装置が求めてもよい。また、撮像装置は差分画像のみを取得し、他の装置が複数視点画像を取得してもよい。
【０１０１】
また、上記の実施形態１、２において、複数視点画像から各対応点の画像上の位置のずれの大きさを示す視差画像（ｄｉｓｐａｒｉｔｙ ｍａｐ）を求めることができる。この視差画像によって被写体の奥行き情報を求めることができる。
【産業上の利用可能性】
【０１０２】
本発明にかかる３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに有効である。
【符号の説明】
【０１０３】
１ 固体撮像素子
２ 透光板
２Ａ 回転駆動部
３ 光学レンズ
４ 赤外カットフィルタ
５ 信号発生及び画像信号受信部
６ 素子駆動部
７ 画像処理部
８ 画像インターフェース部
９ 撮像装置
１０ 画素
１１ ０度偏光の偏光板
１２ ９０度偏光の偏光板
１３ 反射鏡
１４ ハーフミラー
１５ 円形の偏光フィルタ
１６ 偏光フィルタを回転させる駆動装置
１７、１８ 偏光フィルタ
１９ 光通過部
２０、２１ 偏光透過部
２２ 受光部光学フィルタトレイ
２３ 特定成分透過フィルタ
２４ カラーフィルタ
２５ フィルタ駆動部
５０ａ、５０ｂ 偏光フィルタ
【技術分野】
【０００１】
本発明は１つの光学系と１つの撮像素子を用いて視差を有する複数の画像を取得する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、高度な微細化が進み、高集積化が図られている。撮像素子としても１００万画素から１０００万画素へと多画素化が進み、撮像した画像も飛躍的に高画質化が図られている。また、表示装置も薄型の液晶やプラズマのディスプレイにより、場所を取らず、高解像度でコントラストの高い性能が実現されている。このような映像の高品質化の流れは、対象画像として２次元画像から３次元画像へと進みつつあり、昨今では偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
【０００３】
３次元撮像技術に関して、単純な構成の代表的なものは、２つのカメラから構成される撮像系を用いて、右目用の画像及び左目用の画像それぞれを撮像するというものである。このような所謂２眼撮像方式の技術はカメラを２つ使うため、撮像装置の大型化やコスト高にもなり得る。そこで１つのカメラを利用する方法が研究されている。例えば、特許文献１では、互いに偏光方向が直交する偏光板２枚と回転する偏光フィルタを用いた方式が紹介されている。図１０に当該方式における撮像系の構成を示す。
【０００４】
図１０において、１１は０度偏光の偏光板、１２は９０度偏光の偏光板、１３は反射鏡、１４は偏光板１２を透過した光と偏光板１１を通して反射鏡１３で反射された光を透過及び反射させるハーフミラー、１５は円形の偏光フィルタ、１６は円形の偏光フィルタを回転させる駆動装置、３は光学レンズ、９は光学レンズにより結像された像を撮像する撮像装置である。
【０００５】
以上の構成で、入射光は異なった場所に配置された偏光板１１と１２を通り、その後、反射鏡とハーフミラーによりそれらの光軸を合わせられ、円形の偏光フィルタと光学レンズを通して１つの撮像装置で撮像される。この方式の撮像原理は、円形の偏光フィルタを回転することにより、２枚の偏光板に入射した光を別々のタイミングで捉え、視差を有する２つの画像を撮像するというものである。
【０００６】
しかしながら、上記方式では円形の偏光フィルタを回転しながら、時間分割で異なる位置の画像を撮像するため、同時に視差を有する画像を撮れないという課題や機械的駆動を用いるため、耐久性に問題があり得る。その上、全入射光を偏光板及び偏光フィルタで受けるため、受光量が５０％以上低下するという課題もある。
【０００７】
上記方式に対して、機械的駆動を用いず視差を有する画像を同時に撮像する方式が特許文献２に紹介されている。この特許文献の方式では、２つの入射領域を作りそれらの領域から入射する光を集光し１つの撮像素子で撮像しているが、機械的駆動部は有していない。図１１にこの方式の撮像系の構成を示し、以下に撮像原理を説明する。図１１において、互いに偏光方向が直交する偏光板１１と１２、反射鏡１３、光学レンズ３、撮像素子１が配置され、１０は撮像素子の画素、１７、１８は撮像素子の画素に１対１で配置されている偏光フィルタで、偏光フィルタ１７は偏光板１１と、また偏光フィルタ１８は偏光板１２と同特性である。偏光フィルタ１７、１８は交互に配列され全画素上に配置されている。
【０００８】
以上の構成で、入射光は偏光板１１、１２を透過し、反射鏡１３、光学レンズ３を通り、撮像素子１上で結像する。結像の光電変換に関して、偏光板１１を透過して入射した光は偏光フィルタ１７を通してその直下の画素で光電変換され、偏光板１２を透過して入射した光は偏光フィルタ１８を通してその直下の画素で光電変換される。ここで、偏光板１１からの入射光の画像を右目用画像、偏光板１２からの入射光の画像を左目用画像とすると、偏光フィルタ１７を通してその直下の画素群から得られる画像が右目用画像で、偏光フィルタ１８を通してその直下の画素群から得られる画像が左目用画像となる。
【０００９】
結局、特許文献２で示された方式は、特許文献１で示された回転する円形の偏光フィルタを用いる代わりに、撮像素子の画素上に特性の異なる偏光フィルタを交互に配置することにより、解像度は１／２になるが、右目用画像と左目用画像が同時に得られるというものである。
【００１０】
しかしながら、上記の技術は、１つの撮像素子で視差を有する２つの画像を得ることができるが、入射光は偏光板を透過するため光量が低下し、さらに偏光フィルタを透過する場合も光量が低下するため、画像としては大きく感度が低下することになる。
【００１１】
画像の感度低下の問題に対して、別なアプローチとして、視差を有する２つの画像の撮像と通常の画像撮像を機械的に切り替える手法が特許文献３に示されている。当該手法における撮像系の構成を図１２に示し、その撮像基本原理を説明する。図１２において、１９は２つの偏光透過部２０、２１を有し、それらの透過部を通してのみ光学レンズ３からの入射光を透過させる光通過部、２２は偏光透過部２０及び２１からの光を分離する特定成分透過フィルタ２３とカラーフィルタ２４とが１組になった受光部光学フィルタトレイ、２５は光通過部１９と特定成分透過フィルタ２３を光路上から外しカラーフィルタ２４を光路に挿入する、あるいはその逆の動作を行うフィルタ駆動部である。
【００１２】
この手法では、フィルタ駆動部を動作させ、視差を有する画像の撮像では光通過部と特定成分透過フィルタを用い、通常の撮影では、カラーフィルタを用いる。視差を有する画像の撮像においては、基本的に特許文献２で示されているものと同じであり、画像としては大きく感度が低下するが、通常の撮影では、光通過部を光路から外し、また特定成分透過フィルタの代わりにカラーフィルタを挿入することにより、感度低下のないカラー画像を得ることができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開昭６２−２９１２９２号公報
【特許文献２】特開昭６２−２１７７９０号公報
【特許文献３】特開２００１-０１６６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
結局、従来技術では、単眼カメラで視差を有する２つの画像を撮像できるが、各画像の感度が低くなる。また、被写体の奥行き情報の高精度化を目的として、同一被写体に対してさらに多くの視差情報を得るためには、カメラを移動させて撮像するか、あるいはカメラ自体を回転させて撮像する必要があり、いずれにしてもカメラ自体を動かす仕組みが必要である。
【００１５】
本発明は上記の課題に鑑み、カメラ自体を動かす仕組みが不要で、かつ視差を有する２つの画像から得られる視差情報よりも多くの視差情報を得ることができる撮像技術を提供することを目的とする。なお、以下の説明において、視差を有する複数の画像を「複数視点画像」（ｍｕｌｔｉ-ｖｉｅｗｐｏｉｎｔ ｉｍａｇｅｓ）と呼ぶ。
【課題を解決するための手段】
【００１６】
本発明の３次元撮像装置は、少なくとも２つの偏光子を有する光透過部と、前記光透過部を透過した光を受ける固体撮像素子と、前記固体撮像素子の撮像面に像を形成する結像部と、入射光の光軸の方向を回転軸の方向として前記光透過部を回転させる回転駆動部とを備える。前記光透過部は、第１の偏光子と、前記第１の偏光子の透過軸に対してα（０°＜α≦９０°）の角度をなす透過軸を有する第２の偏光子とを有している。前記固体撮像素子は、各々が第１の画素および第２の画素を含む複数の画素ブロックと、各画素ブロックにおいて、前記第１の画素に対向して配置された第１偏光フィルタと、各画素ブロックにおいて、前記第２の画素に対向して配置され、前記第１偏光フィルタの透過軸に対してβ（０°＜β≦９０°）の角度をなす透過軸を有する第２偏光フィルタと、
を有している。前記第１偏光フィルタは、前記第１の偏光子を透過した光、および前記第２の偏光子を透過した光を受けるように配置され、前記第２偏光フィルタは、前記第１の偏光子を透過した光、および前記第２の偏光子を透過した光を受けるように配置されている。
【００１７】
好ましい実施形態において、前記光透過部は、入射光を偏光方向によらずに透過させる透明領域を有し、各画素ブロックは、第３の画素を含み、前記第３の画素は、前記第１の偏光子を透過した光、前記第２の偏光子を透過した光、および前記透明領域を透過した光を受け、受けた光に応じた光電変換信号を出力する。
【００１８】
好ましい実施形態において、前記第１偏光子、前記第２偏光子、前記第１偏光フィルタ、および前記第２偏光フィルタに非偏光が入射するときの透過率をＴ１とし、前記第１偏光フィルタの透過軸の向きに振動する偏光が前記第１偏光フィルタに入射するときの透過率、および前記第２偏光フィルタの透過軸の向きに振動する偏光が前記第２偏光フィルタに入射するときの透過率をＴ２とし、前記第１偏光フィルタの透過軸の向きに対して前記第１の偏光子の透過軸の向きがなす角度をφとするとき、行列式
【００１９】
【数１】
【００２０】
の値が０にならないように前記光透過部の回転角が設定される。
【００２１】
好ましい実施形態において、
【００２２】
【数２】
【００２３】
の関係を満足し、φは、
０≦φ＜π／２−α、π／２＋β＜φ＜３π／２−α、３π／２＋β＜φ＜２π
のいずれかの範囲に設定される。
【００２４】
好ましい実施形態において、８０°≦α≦９０°が満足されている。
【００２５】
好ましい実施形態において、各画素ブロックは、第４の画素をさらに含み、前記固体撮像素子は、各画素ブロックに含まれる前記第３の画素に対向して配置された第１の色成分の光を透過させる第１の色フィルタと、各画素ブロックに含まれる前記第４の画素に対向して配置された第２の色成分の光を透過させる第２の色フィルタとを有している。
【００２６】
好ましい実施形態において、各画素ブロックにおいて、前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素は、行列状に配置されており、前記第１の画素は１行１列目に配置され、前記第２の画素は２行２列目に配置され、前記第３の画素は１行２列目に配置され、前記第４の画素は２行１列目に配置されている。
【００２７】
好ましい実施形態において、前記第１の色フィルタおよび前記第２の色フィルタの一方は、黄成分の光を透過させ、前記第１の色フィルタおよび前記第２の色フィルタの他方は、シアン成分の光を透過させる。
【００２８】
好ましい実施形態において、前記第１偏光フィルタの透過軸の向きに対して前記第１の偏光子の透過軸の向きがなす角度をφとするとき、φ＝φ１（０°≦φ１＜３６０°）となる第１の状態、およびφ＝φ１＋１８０°となる第２の状態のそれぞれにおいて撮像を行う。
【００２９】
好ましい実施形態において、画像処理部をさらに備え、前記画像処理部は、前記第１の画素および前記第２の画素から出力される光電変換信号を用いて視差を有する２つの画像の差分を示す画像を形成する。
【００３０】
本発明の画像形成方法は、本発明の３次元撮像装置に用いられ、前記第１の画素から第１の光電変換信号を取得するステップと、前記第２の画素から第２の光電変換信号を取得するステップと、前記第１の光電変換信号および前記第２の光電変換信号に基づいて視差を有する２つの画像の差分を示す画像を形成するステップとを含んでいる。
【発明の効果】
【００３１】
本発明の３次元撮像装置によれば、光の入射領域に関して少なくとも２つの偏光領域を有し、また撮像素子は偏光フィルタが配置された少なくとも２種類の画素群を有している。このため、２つの入射領域からの画像を２種類の画素群で撮像することになる。このことは、異なる入射光情報を特性の異なるセンサで捉えることと同じであり、２つの入力に対する２つの出力の関係を特定の数式で表すことができる。このため、逆に２つの入力情報を２つの出力結果から算出することが可能となる。すなわち、２つの偏光領域からの画像情報を得た上でそれらの差分処理を施すことにより、複数視点画像間の差分情報を得ることができる。さらに本発明の３次元撮像装置は、光の入射領域を回転させる回転駆動部を有するため、偏光領域の場所を変えて撮像できる。その結果、視点を変えた被写体の奥行き情報が得られるという効果がある。このことは被写体の奥行き情報の高精度化を可能にする。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施形態における撮像装置の全体構成図
【図２】本発明の第１の実施形態における固体撮像素子に光が入射する様子を示す模式図
【図３】本発明の第１の実施形態における透光板の正面図
【図４】本発明の第１の実施形態における固体撮像素子の撮像部の基本画素構成図
【図５】本発明の第１の実施形態における回転角φと｜Ｄ｜の関係図
【図６】本発明の第２の実施形態における固体撮像素子の撮像部の基本色構成図
【図７】本発明の第２の実施形態における回転角φと｜Ｄ｜の関係図
【図８】本発明の第１の実施形態における他の固体撮像素子の基本画素構成図
【図９】本発明の第１の実施形態における他の透光板の正面図
【図１０】特許文献１における撮像系の構成図
【図１１】特許文献２における撮像系の構成図
【図１２】特許文献３における撮像系の構成図
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態について、図面を参照しながら説明する。全ての図にわたって共通する要素には同一の符号を付している。
【００３４】
（実施形態１）
図１は、本発明の第１の実施形態における撮像装置の構成図である。１は光電変換する固体撮像素子、２は一部に偏光領域を有する透光板、２Ａは光軸の方向を回転軸の方向として透光板２を回転させる回転駆動部、３は入射光を結像するための円形の光学レンズ、４は赤外カットフィルタ、５は固体撮像素子の駆動に使う原信号を発生させると共に固体撮像素子からの信号を受信する信号発生及び画像信号受信部、６は固体撮像素子を駆動するための信号を作り出す素子駆動部、７は画像信号を処理して複数視点画像、複数視点画像の差分を示す画像（差分画像）、および視差が無く感度上問題のない画像（通常画像）とを生成する画像処理部、８は生成した複数視点画像、差分画像、および通常画像の画像信号を外部に送出する画像インターフェース部である。なお、以下の説明において、複数視点画像および差分画像をまとめて「視差を示す画像」と呼ぶことがある。
【００３５】
透光板２は、２つの偏光子が配置された偏光領域と、光を偏光方向によらず透過させる透明領域とを有している。固体撮像素子１（以下、「撮像素子」と呼ぶことがある）は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体技術によって製造される。固体撮像素子１の撮像面には、複数の画素（光感知セル）が２次元状に配列されている。各画素は、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた電気信号（光電変換信号）を出力する。画像処理部７は、画像処理に用いる各種情報を記憶するメモリと、メモリから読み出したデータに基づいて画素ごとの画像信号を生成する画像信号生成部とを有している。
【００３６】
このような構成により、入射光は透光板２、光学レンズ３、赤外カットフィルタ４を通して固体撮像素子１の撮像面に結像され、固体撮像素子１で光電変換される。光電変換によって生成した画像信号は画像信号受信部５を通して画像処理部７に送られ、ここで複数視点画像、差分画像、および視差が無く感度上問題のない通常画像が生成される。なお、回転駆動部２Ａにより透光板２を回転させることによって、透光板２における２つの偏光領域はその位置を変えることができる。また、回転駆動部２Ａは信号発生及び画像信号受信部５からの指令信号を素子駆動部６を介して受信することによって動作する。
【００３７】
図２は、入射光が透光板２および光学レンズ３を透過して固体撮像素子１の撮像面に入射する様子を模式的に表している。図２において、透光板２、光学レンズ３、固体撮像素子１、回転駆動部２Ａ以外の構成要素は省略されている。また、固体撮像素子１については撮像面の一部のみを図示している。図示されるように、透光板２は、偏光領域Ｐ（１）、Ｐ（２）および透明領域Ｐ（３）を有している。ここで、偏光領域Ｐ（１）、Ｐ（２）の透過軸の向きは互いに異なっている。また、固体撮像素子１の撮像面に配列された複数の画素は、３画素を１つの単位とする複数の画素ブロックを構成している。１つの画素ブロックに含まれる３つの画素をＷ１、Ｗ２、Ｗ３と呼ぶこととする。本実施形態において、画素Ｗ１、Ｗ２に対向して、偏光フィルタ５０ａ、５０ｂがそれぞれ配置されている。偏光フィルタ５０ａ、５０ｂの透過軸の向きは互いに異なっている。画素Ｗ３には対応する偏光フィルタは配置されていない。
【００３８】
なお、図示される各構成要素の配置関係はあくまでも一例であって、本発明はこの配置関係に限られるものではない。例えば、光学レンズ３は、撮像面に像を形成できれば透光板２よりも撮像素子１から離れて配置されていてもよいし、複数配置されていてもよい。また、光学レンズ３と透光板２とは独立の構成要素である必要はなく、両者は一体化された１つの光学素子として構成されていてもよい。また、図２において、画素Ｗ１、Ｗ２、Ｗ３は、透光板２の偏光領域Ｐ（１）およびＰ（２）を結ぶ線分に平行な方向（Ｘ方向）に沿って順番に配列されているように描かれているが、必ずしもそのように配列されている必要はない。なお、撮像素子１の撮像面には、図２の紙面に垂直な方向（Ｙ方向）にも複数の画素が配列されている。
【００３９】
以下、透光板２の構成、および固体撮像素子１の画素構成についてより詳細に説明する。以下の説明において、図２と共通の座標系を用いる。
【００４０】
図３は、本実施形態における透光板２の正面図である。透光板２の形状は光学レンズ３と同じ円形である。透光板２において、透過軸の方向が異なる２個の偏光領域Ｐ（１）、Ｐ（２）がＸ方向に離れて配置されている。透光板２においてＰ（１）、Ｐ（２）以外の領域は透明領域Ｐ（３）である。透光板２が回転していない状態において偏光領域Ｐ（１）の透過軸の方向は、Ｘ方向と一致している。偏光領域Ｐ（２）の透過軸の方向は、偏光領域Ｐ（１）の透過軸の方向に対して角度α（０°＜α≦９０°）だけ傾いている。
【００４１】
本実施形態の撮像装置は、回転駆動部２Ａによって透光板２を回転させることができる。透光板２の回転角がθ（０°≦θ＜３６０°）であるとき、偏光領域Ｐ（１）の透過軸の方向がＸ方向に対してなす角度はθとなり、偏光領域Ｐ（２）の透過軸の方向がＸ方向に対してなす角度はθ＋αとなる。なお、図３では透光板２の形状は円形であるが、必ずしも円形である必要はない。また、偏光領域Ｐ（１）、Ｐ（２）の形状については必ずしも長方形である必要はなく、どのような形状であってもよい。ただし、偏光領域Ｐ（１）、Ｐ（２）の面積および形状は互いに同一であることが好ましい。
【００４２】
図４は、撮像素子１の撮像面における１つの画素ブロックを示している。３行１列を基本構成とする複数の画素が撮像面上に配列されている。上述のように、画素の基本構成は、偏光方向が互いに異なる２つの偏光フィルタ５０ａ、５０ｂがそれぞれ配置された画素Ｗ１、Ｗ２、および何も配置されない画素Ｗ３を含んでいる。１つの画素ブロックにおいて、Ｗ１、Ｗ２、Ｗ３は、Ｙ軸に沿って配置されている。偏光フィルタの透過軸の方向について、１行１列目の偏光フィルタ５０ａの透過軸はＸ方向に対して角度γ（０°≦γ≦９０°）傾き、２行１列目の偏光フィルタ５０ｂの透過軸はＸ方向に対して角度γ＋β（０°＜β≦９０°）傾いている。
【００４３】
以上の構成により、撮像面上の各画素は偏光領域Ｐ（１）、Ｐ（２）、および透明領域Ｐ（３）を透過し光学レンズ３によって集光された光を受ける。以下、各画素における光電変換信号について説明する。
【００４４】
まず偏光フィルタが配置されていない画素Ｗ３の光電変換信号について説明する。画素Ｗ３は、透光板２、光学レンズ３、赤外カットフィルタ４を通して入射する光を受け、受けた光に応じた光電変換信号を出力する。ここで、入射光が透光板２の偏光領域Ｐ（１）、Ｐ（２）を通過する際の透過率をＴ１とする。偏光領域Ｐ（１）、Ｐ（２）と透明領域Ｐ（３）に入射する光が減光されず撮像素子１によって光電変換されると仮定した場合の信号量を、添え字ｓを付けて、それぞれＰｓ（１）、Ｐｓ（２）、Ｐｓ（３）と表現すると、画素Ｗ３における光電変換信号Ｓ３は次の式１で表される。
【００４５】
（式１）Ｓ３＝Ｔ１（Ｐｓ（１）＋Ｐｓ（２））＋Ｐｓ（３）
次に、偏光フィルタが配置された画素Ｗ１およびＷ２の光電変換信号について説明する。画素Ｗ１、Ｗ２に対向して偏光フィルタ５０ａ、５０ｂがそれぞれ配置されているため、基本的に画素Ｗ１、Ｗ２に入射する光の量は画素Ｗ３に入射する光の量よりも少ない。ここで、非偏光が偏光フィルタ５０ａまたは５０ｂを透過する際の透過率を、偏光領域Ｐ（１）、Ｐ（２）における透過率と同様、Ｔ１とする。また、各偏光フィルタの透過軸の方向と同一の方向に振動する偏光が当該偏光フィルタを透過する際の透過率をＴ２とする。回転駆動部２Ａによって透光板２が角度θだけ回転しているとき、画素Ｗ１及びＷ２における光電変換量に相当する信号Ｓ１、Ｓ２は、それぞれ以下の式２、３で表される。
【００４６】
（式２）Ｓ１＝Ｔ１（Ｔ２（Ｐｓ（１）｜ｃｏｓ（θ−γ）｜＋Ｐｓ（２）｜ｃｏｓ（θ＋α−γ）｜）＋Ｐｓ（３））
（式３）
Ｓ２＝Ｔ１（Ｔ２（Ｐｓ（１）｜ｃｏｓ（θ−γ−β）｜＋Ｐｓ（２）｜ｃｏｓ（θ＋α−γ−β）｜）＋Ｐｓ（３））
ここで、φ＝θ−γとおくと、式２及び式３はそれぞれ以下の式４及び式５で表される。
【００４７】
（式４）Ｓ１＝Ｔ１（Ｔ２（Ｐｓ（１）｜ｃｏｓφ｜＋Ｐｓ（２）｜ｃｏｓ（φ＋α）｜）＋Ｐｓ（３））
（式５）Ｓ２＝Ｔ１（Ｔ２（Ｐｓ（１）｜ｃｏｓ（φ−β）｜＋Ｐｓ（２）｜ｃｏｓ（φ＋α−β）｜）＋Ｐｓ（３））
φ＝θ−γは、偏光フィルタ５０ａの透過軸の方向に対する透光板２の相対的な回転角である。ここで、上記の式１、式４、および式５からＰｓ（３）を消去し、Ｐｓ（１）とＰｓ（２）を計算すると、Ｐｓ（１）およびＰｓ（２）は、それぞれ以下の式６および式７で表される。
【００４８】
【数３】
【００４９】
【数４】
【００５０】
ここで、式６、７における分母の｜Ｄ｜は、次の式８で表される行列式である。
【００５１】
【数５】
【００５２】
式６、７により、偏光領域Ｐ（１）、Ｐ（２）を透過して撮像面に入射する光による画像を示す信号Ｐｓ（１）、Ｐｓ（２）を、Ｓ１、Ｓ２、Ｓ３から求めることができる。Ｐｓ（１）、Ｐｓ（２）は、視点の異なる２つの画像に対応しており、これらの差分を求めることによって被写体の奥行きに関する情報を得ることができる。本実施形態において、差分画像は、Ｐｓ（１）とＰｓ（２）との差分によって得られる。以下、差分画像を示す信号をＤｓと表す。また、透明領域を透過した光による画像を示す信号Ｐｓ（３）は、式６と式７で示されるＰｓ（１）とＰｓ（２）とを式１に代入することにより求めることができる。
【００５３】
以上のように、本実施形態の撮像装置によれば、複数視点画像、差分画像、および視差のない通常画像を得ることができる。回転駆動部２Ａによって透光板２を回転させることにより、偏光領域Ｐ（１）、Ｐ（２）の位置を変え、視差の状態を変えて撮像することができる。偏光領域Ｐ（１）、Ｐ（２）の位置を変えて撮像し、上記の処理を行うことにより、複数の視差情報を得ることができる。その結果、１つの視差情報に基づいて被写体の奥行き情報を得る場合よりも被写体の奥行き情報の精度を向上させることが可能となる。
【００５４】
なお、式８に示される行列式｜Ｄ｜の値が０である場合、式６、７で示されるＰｓ（１）、Ｐｓ（２）の分母も０となるため、Ｐｓ（１）、Ｐｓ（２）を求めることができない。従って、本実施形態の撮像装置では、透光板２の回転角θは、式８に示す行列式｜Ｄ｜が０にならないように設定される。
【００５５】
以下、透光板２の好ましい回転範囲を説明する。式８は、ｋ＝Ｔ１／Ｔ２とおくと、次の式９で表される。
【００５６】
【数６】
【００５７】
式９において、各ｃｏｓ項が全てプラスならば、符号はそのままで絶対値を外すことができ、式９は次の式１０で表すことができる。
【００５８】
【数７】
【００５９】
式１０を変形すると、以下の式１１が得られる。
【００６０】
【数８】
【００６１】
また、式９において、各ｃｏｓ項が全てマイナスならば、正負の符号を逆にして絶対値を外すことができ、式９は式１２で表される。
【００６２】
【数９】
【００６３】
本実施形態における撮像装置は、０＜α≦９０°、０＜β≦９０°を満足しているため、透光板２の回転角θを０°〜３６０°の範囲内に設定することを考えると、式１１および式１２は、以下の条件（式１３）が成立する限り、常に正で０にはならない。
【００６４】
（式１３）ｃｏｓ（α／２）ｃｏｓ（β／２）＞ｋ（＝Ｔ１／Ｔ２）
但し、式１３は、式９において各ｃｏｓ項が全てプラスあるいは全てマイナスという前提条件から得られたものである。すなわち、この前提条件はｃｏｓφ、ｃｏｓ（φ＋α）、ｃｏｓ（φ−β）、ｃｏｓ（φ＋α−β）が全てプラスあるいは全てマイナスということである。このため、φの範囲が（９０°−α）から（９０°＋β）までの範囲と（２７０°−α）から（２７０°＋β）までの範囲とを除く全ての範囲において、式９で表される｜Ｄ｜は常に正であり、０にはならない。言い換えれば、０°≦φ＜９０°−α、９０°＋β＜φ＜２７０°−α、２７０°＋β＜φ＜３６０°のいずれかを満足する限り、｜Ｄ｜は常に正であり、０にはならない。
【００６５】
本実施形態における各パラメータ値の一例として、例えばＴ１＝０．４５、Ｔ２＝０．９、α＝６０°、β＝６０°と設定することができる。γについては、上記の式群には表れてこないので、いずれの値でも問題ないが、ここではγ＝０とする。以上の条件により、式１３の左辺は３／４、右辺は１／２になるため、式１３の関係式は成立する。また、この場合における角度φに対する｜Ｄ｜の値の依存性を図５に示す。図５に示すように、少なくともφが０≦φ＜３０°、１５０°＜φ＜２１０°、３３０°＜φ＜３６０°の範囲にあるとき、問題なく複数視点画像、差分画像、および視差のない通常画像が得られることがわかる。
【００６６】
以上のように、本実施形態の撮像装置は、２つの偏光領域Ｐ（１）、Ｐ（２）と１つの透明領域Ｐ（３）とを有する透光板２を備えている。撮像素子１の撮像面における各画素ブロックは、透過軸の方向が互いに異なる２つの偏光フィルタ５０ａ、５０ｂがそれぞれ配置された画素Ｗ１、Ｗ２と、何も配置されていない画素Ｗ３とを含んでいる。偏光領域Ｐ（１）の透過軸の方向と偏光領域Ｐ（２）の透過軸の方向とがなす角度をα、偏光フィルタ５０ａの透過軸の方向と偏光フィルタ５０ｂの透過軸の方向とがなす角度をβとするとき、透光板２の回転角θと偏光フィルタ５０ａの透過軸の向きがＸ方向に対してなす角度γとの差φが（９０°−α）から（９０°＋β）までの範囲と（２７０°−α）から（２７０°＋β）までの範囲とを除く範囲にある限り、複数視点画像、差分画像、および視差のない通常の２次元画像を得ることができる。特に、Ｐ（１）とＰ（２）の偏光領域を小さくするほど、感度的に問題のない２次元画像を得ることができる。また、透光板２をφの値が上記の許容範囲内になるように回転させ、その都度差分画像を算出することにより、視点を変えた被写体の奥行き情報が得られるという効果がある。このことは被写体の奥行き情報の高精度化を可能にする。
【００６７】
上記の例では、α＝６０°、β＝６０°としたが、αおよびβはこの値に限るものではない。角度φ、α、βが、少なくとも０°≦φ＜９０°−α、９０°＋β＜φ＜２７０°−α、２７０°＋β＜φ＜３６０°のいずれかを満足するように設定されていれば、式１３が成立するため、問題なく複数視点画像および差分画像を得ることができる。また、仮にφが９０°−α≦φ≦９０°＋β、または２７０°−α≦φ≦２７０°＋βのいずれかの値に設定されていたとしても、式９の行列式｜Ｄ｜の値が０にならない限り、問題なく複数視点画像および差分画像を得ることができる。
【００６８】
本実施形態における回転駆動部２Ａは、上述のように、信号発生及び画像信号受信部５からの指令信号を素子駆動部６から受信することによって動作するが、本発明はこのような形態に限られない。例えば、回転駆動部２Ａを手で動かすことによって透光板２を回転させるようにしてもよい。
【００６９】
本実施形態では、感度的に問題のない２次元画像を画素間の演算によって透明領域Ｐ（３）のみを透過する光から得るものとしたが、本発明はこれに限るものではない。領域Ｐ（１）、Ｐ（２）、Ｐ（３）を透過した全ての光を用いて２次元画像を得る構成であってもよい。言い換えれば、Ｐｓ（１）、Ｐｓ（２）、Ｐｓ（３）で表される信号を合成することにより、２次元画像を生成してもよい。
【００７０】
上記の説明において、透光板２に設けられる偏光領域（偏光子）は２つであるが、３つ以上の偏光領域が設けられていてもよい。また、θ＝０°の状態における偏光領域Ｐ（１）の透過軸の方向はＸ方向に一致している必要はなく、任意の方向であってよい。
【００７１】
また、図４に示す例では、画素Ｗ１、Ｗ２、Ｗ３の形状は正方形状であり、画素Ｗ１、Ｗ２、Ｗ３はＹ方向に隣接して配置されているが、本発明はこのような構成に限られない。各画素の形状はどのような形状でもよいし、画素Ｗ１、Ｗ２、Ｗ３は必ずしもＹ方向に隣接している必要はない。ただし、各画素は近接していることが好ましい。
【００７２】
本実施形態の撮像装置では、図２に示すように、透光板２と撮像素子１の撮像面とは平行に配置されている。しかし、両者は必ずしも平行に配置される必要はない。例えば、両者の間にミラーやプリズムなどの光学素子を配置することにより、透光板２と撮像素子１の撮像面とが互いに交差する平面上に位置するように構成することができる。このような構成を採用する場合、角度α、βは、上記光学素子による光路の変化を考慮した上で、透光板２と撮像素子１の撮像面とが互いに平行であると仮定したときの偏光領域Ｐ（１）の透過軸の方向を基準にして決定すればよい。
【００７３】
以上の説明において、撮像装置は、複数視点画像、差分画像、および通常画像を同時に得るように構成されている。しかしながら、本発明はこのような構成に限られず、通常画像を取得せず、複数視点画像、および差分画像を取得するように構成されていてもよい。このような目的で撮像装置を構成する場合、上記の説明における画素Ｗ３は不要であり、また、透明領域Ｐ（３）の代わりに光を透過しない遮光領域が設けられる。
【００７４】
図６、図７は、それぞれ通常画像を取得せず、複数視点画像および差分画像を取得する撮像装置における透光板２の構成の一例、および基本画素構成の一例を示している。透光板２における偏光領域Ｐ（１）、Ｐ（２）以外の領域は、遮光領域である。このような撮像装置においても、回転駆動部２Ａによって光軸を中心に透光板２を回転させることができる。また、撮像素子１の撮像面には、画素Ｗ１、Ｗ２を含む画素ブロックを単位として、複数の画素ブロックが配列される。
【００７５】
以上の構成により、画素Ｗ１およびＷ２からそれぞれ出力される光電変換信号Ｓ１およびＳ２は、それぞれ以下の式１４および式１５で表すことができる。
【００７６】
（式１４） Ｓ１＝Ｔ１Ｔ２（Ｐｓ（１）ｃｏｓα＋Ｐｓ（２）ｃｏｓ（α−θ））
（式１５） Ｓ２＝Ｔ１Ｔ２（Ｐｓ（１）ｃｏｓβ＋Ｐｓ（２）ｃｏｓ（β−θ））
式１４、１５より、Ｐｓ（１）、Ｐｓ（２）は、それぞれ以下の式１６、１７で表される。
【００７７】
【数１０】
【００７８】
【数１１】
【００７９】
ここで、｜Ｄ｜は、以下の式１８で表される行列式である。
【００８０】
【数１２】
【００８１】
また、差分画像Ｄｓは、Ｐｓ（１）とＰｓ（２）との差分をとることにより、以下の式１９で表される。
【００８２】
【数１３】
【００８３】
式１６〜１９が示すように、画素Ｗ１、Ｗ２における光電変換信号Ｓ１、Ｓ２から、信号Ｐｓ（１）、Ｐｓ（２）、および差分画像を示す信号Ｄｓを求めることができる。この構成によって視差を示す各画像を取得する場合、式１８の行列式｜Ｄ｜の値が０に近い値とならないように角度θ、α、β、γが設定されることが好ましい。このような撮像装置によっても透光板２の回転角θを変えて撮像を行うことにより、複数の組の複数視点画像を得ることができる。
【００８４】
（実施形態２）
次に図８、９を参照しながら本発明の第２の実施形態を説明する。本実施形態の撮像装置は、撮像素子１の基本画素構成、および視差を示す画像の取得方法が実施形態１の撮像装置と異なっている。以下、実施形態１の撮像装置との相違点のみを説明し、共通の事項についての説明は省略する。
【００８５】
図８は、本実施形態における固体撮像素子１の撮像面における基本画素構成を示している。本実施形態においては、画素は２行２列を基本構成とする複数の画素ブロックから構成され、各画素に対向して色要素（色フィルタ）または偏光フィルタが配置されている。本実施形態における色要素は、特定の色成分の波長域を有する光のみを透過させる公知の色フィルタである。なお、以下の説明において、色成分Ｃの光のみを透過する色フィルタをＣ要素と呼ぶこととする。
【００８６】
色要素に関して、１行１列目の画素に対向してシアン要素（Ｃｙ）が配置され、２行２列目の画素に対向して黄要素（Ｙｅ）が配置され、１行２列目および２行１列目の画素には色要素は配置されていない。１行２列目の画素には透過軸の方向がＸ方向に一致する偏光フィルタが配置され、２行１列目の画素には透過軸の方向がＸ方向に対して４５°の角度をなす偏光フィルタが配置されている。なお、画素配列に関しては正方配列であり、２つの画素Ｗ１およびＷ２に対向して配置された２つの偏光フィルタの中心間を結ぶ線分の方向はＸ方向に対して４５°の角度をなしている。
【００８７】
一方、透光板２について、形状は実施形態１における透光板２の形状と同一である。ただし、本実施形態においては、偏光領域Ｐ（１）の透過軸の向きと偏光領域Ｐ（２）の透過軸の向きとがなす角度は９０°に設定されている。すなわち、本実施形態においては、α＝９０°、β＝４５°、γ＝０°、θ＝φである。また、Ｔ１＝０．４５、Ｔ２＝０．９とする。
【００８８】
本実施形態の撮像装置は、φ１を任意の角度として、回転駆動部２Ａによって透光板２を回転させ、φ＝φ１の状態およびφ＝φ１＋１８０°の状態のそれぞれにおいて撮像を行い、実施形態１に示す処理演算を行う。例えば、φ＝０°およびφ＝１８０°の状態でそれぞれ撮像を行い、それぞれの状態における複数視点画像および差分画像を取得する。なお、本実施形態においては、実施形態１で示した許容回転範囲でない回転角度で撮像することもあり得るが、許容回転範囲外であっても式９に示す｜Ｄ｜が０にならないようにα、β、φが設定されていれば問題はない。実施形態１で示したα、β、φについての条件：０°≦φ＜９０°−α、９０°＋β＜φ＜２７０°−α、２７０°＋β＜φ＜３６０°は、あくまでも式９の｜Ｄ｜が０にならないことを保証するものであり、保証範囲外の値であっても｜Ｄ｜が０にならない場合は存在する。
【００８９】
本実施形態の撮像装置の主な特徴は次の３点である。第１点目は実施形態１で示した画素Ｗ３が無いことである。第２点目は偏光領域Ｐ（１）とＰ（２）の透過軸の方向が互いに直交しており、透光板２を回転させることによってφ＝φ１およびφ＝φ１＋１８０°の２つの状態でそれぞれ撮像を行うことである。第３点目は撮像素子がカラー化されていることである。
【００９０】
まず上記特徴の第１点目について説明する。図８に示す画素構成では、実施形態１における画素Ｗ３が無いため、実施形態１で示した計算は本来できない。しかしながら、無彩色に近い被写体を撮像する場合は、Ｃｙ＋Ｙｅ＝Ｗ＋Ｇであるため、ＲＧＢの受光信号比率をＫｒ、Ｋｇ、Ｋｂとすると、画素Ｗ３からの画素信号Ｓ３に相当する信号はＣｙ要素とＹｅ要素を通して得られる信号の合算Ｓｃｙ＋Ｓｙｅに（Ｋｒ＋Ｋｇ＋Ｋｂ）／（Ｋｒ＋２Ｋｇ＋Ｋｂ）倍したものと考えられる。そこで、画素信号Ｓ３に相当する信号をこのような演算を行うことにより得る。そうすることにより、式９で示される｜Ｄ｜が０でなければ、実施形態１の場合と同じ処理で複数視点画像および差分画像を作ることができる。なお、上記の受光信号比率Ｋｒ、Ｋｇ、Ｋｂは、撮像装置の内部パラメータとして、予め撮像装置内部の記憶媒体に記録されている。
【００９１】
次に本実施形態の特徴の第２点目について説明する。図９は本実施形態における透光板の回転角θ（＝φ）に対する｜Ｄ｜の値の依存性を表している。図９より、φが例えば０°または１８０°になるように透光板２を回転させたとしても｜Ｄ｜は０にならないことがわかる。他の例として、φが１５０°または３３０°になるように透光板２を回転させる場合でも｜Ｄ｜は０にならない。すなわち、φ＝φ１の状態およびφ＝φ１＋１８０°の状態のいずれにおいても｜Ｄ｜が０にならなければ、両方の状態において実施形態１で示した演算処理が可能であり、偏光領域Ｐ（１）、Ｐ（２）、Ｐ（３）のそれぞれに入射する光による画像を算出できる。
【００９２】
本実施形態では、偏光領域Ｐ（１）、Ｐ（２）に入射した光による画像を表す信号Ｐｓ（１）、Ｐｓ（２）に関して、φ＝φ１およびφ＝φ１＋１８０°の２つの状態でそれぞれ撮像して得られる２組のデータに基づいて差分画像を得る。この処理において、φ＝φ１における画像Ｐｓ（１）とφ＝φ１＋１８０°における画像Ｐｓ（２）とを２乗加算した結果に平方根処理を行うことによって第１の画像情報を得る。同様に、φ＝φ１における画像Ｐｓ（２）とφ＝φ１＋１８０°における画像Ｐｓ（１）とを２乗加算した結果に平方根処理を行うことによって第２の画像情報を得る。φ＝φ１における画像Ｐｓ（１）およびφ＝φ１＋１８０°における画像Ｐｓ（２）は、それぞれ同じ位置で観測した０度と９０度の偏光特性の画像に対応するので、偏光特性を有する被写体を撮像した場合、上記処理によって被写体の偏光特性を打ち消すことができる。通常、偏光特性を有する被写体は、直交するフィルタを用いて撮像され、それぞれの偏光成分を２乗加算して得られる値を求めることによって被写体の光エネルギを測定するため、本実施形態でも同様の処理を実行する。
【００９３】
最後に本実施形態の特徴の第３点目について説明する。カラー画像について、シアン要素を透過し光電変換される光に対応する信号量をＳｃｙ、黄要素を透過し光電変換される光に対応する信号量をＳｙｅ、画素Ｗ１および画素Ｗ２における光電変換信号を加算して得られる信号量をＳｗとする。すると、赤の色情報Ｓｒは（Ｓｗ−Ｓｃｙ）、青の色情報Ｓｂは（Ｓｗ−Ｓｙｅ）により得られ、さらに（Ｓｗ−Ｓｒ−Ｓｂ）により緑の色情報が得られる。その結果、光量低下は透光板２の偏光領域Ｐ（１）、Ｐ（２）による低下分のみに抑えられ、入射光の光量低下を大幅に抑えたカラー画像が得られることになる。
【００９４】
以上のように本実施形態によれば、第１に偏光領域Ｐ（１）、Ｐ（２）の透過軸の方向が互いに直交し、φ１を任意の角度として、φ＝φ１およびφ＝φ１＋１８０°の２つの状態で撮像を行う。第２に固体撮像素子１の撮像面において２行２列を基本単位として画素を構成し、１行１列目の画素に対向してシアン要素（Ｃｙ）が配置され、２行２列目の画素に対向して黄要素（Ｙｅ）が配置され、１行２列目の画素に対向して透過軸の方向がＸ方向に一致する（γ＝０）偏光フィルタが配置され、２行１列目の画素に対向して透過軸の方向がＸ方向に対して４５°（β＝４５°）の角度をなす偏光フィルタが配置される。以上の構成及び回転駆動部２Ａによる回転動作により、被写体が偏光特性を有していても複数視点画像、差分画像、およびカラー画像を得ることができる。なお、偏光領域Ｐ（１）、Ｐ（２）のサイズを透明領域Ｐ（３）に比べて十分小さくすることにより、感度低下を大幅に抑えたカラー画像を得ることができるという効果がある。
【００９５】
上記の説明において、偏光フィルタの透過軸の方向を規定するパラメータγ、β、偏光領域の透過率Ｔ１、Ｔ２を限定したが、これらは上記の値のみに限られるものではない。本実施形態において、式９における｜Ｄ｜の値が０にならず、２つの偏光領域Ｐ（１）、Ｐ（２）の透過軸の方向が直交し、透光板を角度φ１および角度φ１＋１８０°の各々の状態で撮像するように構成されていればよい。
【００９６】
また、本実施形態における色フィルタは、必ずしもシアン要素と黄要素である必要はない。２種類の色フィルタは、第１の色成分を透過する色フィルタと第２の色成分を透過する色フィルタとが配置されていればよい。例えば、色フィルタとして赤要素および青要素を用いて、画素信号として直接赤信号と青信号とが得られる構成を採用することができる。
【００９７】
本実施形態では、偏光領域Ｐ（１）の透過軸の方向に対して偏光領域Ｐ（２）の透過軸の方向がなす角度αを９０°としたが、αは厳密に９０°である必要はなく、多少の誤差が含まれていてもよい。αは、好ましくは７０°≦α≦９０°を満たすように設定され、さらに好ましくは８０°≦α≦９０°を満たすように設定される。また、本発明は、α＝９０°に限定されるものではなく、α≠９０°であっても、式６、式７に基づいて視差情報を得ることができる。
【００９８】
なお、画素は必ずしも正方格子状に配列されている必要はなく、各画素の形状は正方形である必要はない。１つの画素ブロックが４画素から構成され、そのうちの２画素に対向して透過軸の方向が異なる偏光フィルタがそれぞれ配置され、他の２画素に対向して異なる色フィルタが配置されていれば、本実施形態の効果を得ることが可能である。
【００９９】
また、図８に示す画素構成の代わりに、他の画素構成を用いてもよい。例えば、図４または図７に示す画素構成を用いても、透光板２の回転角が１８０°異なる２つの状態で撮像を行うことにより、偏光特性を有する被写体に対して複数視点画像および差分画像を得ることができる。
【０１００】
なお、以上の実施形態１、２において、撮像装置は複数視点画像および差分画像のいずれか一方を取得するように構成されていてもよい。例えば、撮像装置は複数視点画像のみを取得し、差分画像については撮像装置に有線または無線で接続された他の演算処理装置が求めてもよい。また、撮像装置は差分画像のみを取得し、他の装置が複数視点画像を取得してもよい。
【０１０１】
また、上記の実施形態１、２において、複数視点画像から各対応点の画像上の位置のずれの大きさを示す視差画像（ｄｉｓｐａｒｉｔｙ ｍａｐ）を求めることができる。この視差画像によって被写体の奥行き情報を求めることができる。
【産業上の利用可能性】
【０１０２】
本発明にかかる３次元撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに有効である。
【符号の説明】
【０１０３】
１ 固体撮像素子
２ 透光板
２Ａ 回転駆動部
３ 光学レンズ
４ 赤外カットフィルタ
５ 信号発生及び画像信号受信部
６ 素子駆動部
７ 画像処理部
８ 画像インターフェース部
９ 撮像装置
１０ 画素
１１ ０度偏光の偏光板
１２ ９０度偏光の偏光板
１３ 反射鏡
１４ ハーフミラー
１５ 円形の偏光フィルタ
１６ 偏光フィルタを回転させる駆動装置
１７、１８ 偏光フィルタ
１９ 光通過部
２０、２１ 偏光透過部
２２ 受光部光学フィルタトレイ
２３ 特定成分透過フィルタ
２４ カラーフィルタ
２５ フィルタ駆動部
５０ａ、５０ｂ 偏光フィルタ
【特許請求の範囲】
【請求項１】
少なくとも２つの偏光子を有する光透過部と、
前記光透過部を透過した光を受ける固体撮像素子と、
前記固体撮像素子の撮像面に像を形成する結像部と、
入射光の光軸の方向を回転軸の方向として前記光透過部を回転させる回転駆動部と、
を備える３次元撮像装置であって、
前記光透過部は、
第１の偏光子と、
前記第１の偏光子の透過軸に対してα（０°＜α≦９０°）の角度をなす透過軸を有する第２の偏光子と、
を有し、
前記固体撮像素子は、
各々が第１の画素および第２の画素を含む複数の画素ブロックと、
各画素ブロックにおいて、前記第１の画素に対向して配置された第１偏光フィルタと、
各画素ブロックにおいて、前記第２の画素に対向して配置され、前記第１偏光フィルタの透過軸に対してβ（０°＜β≦９０°）の角度をなす透過軸を有する第２偏光フィルタと、
を有し、
前記第１偏光フィルタは、前記第１の偏光子を透過した光、および前記第２の偏光子を透過した光を受けるように配置され、
前記第２偏光フィルタは、前記第１の偏光子を透過した光、および前記第２の偏光子を透過した光を受けるように配置されている、３次元撮像装置。
【請求項２】
前記光透過部は、入射光を偏光方向によらずに透過させる透明領域を有し、
各画素ブロックは、第３の画素を含み、
前記第３の画素は、前記第１の偏光子を透過した光、前記第２の偏光子を透過した光、および前記透明領域を透過した光を受け、受けた光に応じた光電変換信号を出力する、請求項１に記載の３次元撮像装置。
【請求項３】
前記第１偏光子、前記第２偏光子、前記第１偏光フィルタ、および前記第２偏光フィルタに非偏光が入射するときの透過率をＴ１とし、
前記第１偏光フィルタの透過軸の向きに振動する偏光が前記第１偏光フィルタに入射するときの透過率、および前記第２偏光フィルタの透過軸の向きに振動する偏光が前記第２偏光フィルタに入射するときの透過率をＴ２とし、
前記第１偏光フィルタの透過軸の向きに対して前記第１の偏光子の透過軸の向きがなす角度をφとするとき、
行列式
【数１４】
の値が０にならないように前記光透過部の回転角が設定される、請求項２に記載の３次元撮像装置。
【請求項４】
【数１５】
の関係を満足し、
φは、
０≦φ＜π／２−α、π／２＋β＜φ＜３π／２−α、３π／２＋β＜φ＜２π
のいずれかの範囲に設定される、請求項３に記載の３次元撮像装置。
【請求項５】
８０°≦α≦９０°を満足する、請求項１から４のいずれかに記載の３次元撮像装置。
【請求項６】
各画素ブロックは、第４の画素をさらに含み、
前記固体撮像素子は、
各画素ブロックに含まれる前記第３の画素に対向して配置された第１の色成分の光を透過させる第１の色フィルタと、
各画素ブロックに含まれる前記第４の画素に対向して配置された第２の色成分の光を透過させる第２の色フィルタと、
を有している、請求項２から５のいずれかに記載の３次元撮像装置。
【請求項７】
各画素ブロックにおいて、前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素は、行列状に配置されており、
前記第１の画素は１行１列目に配置され、
前記第２の画素は２行２列目に配置され、
前記第３の画素は１行２列目に配置され、
前記第４の画素は２行１列目に配置されている、
請求項６に記載の３次元撮像装置。
【請求項８】
前記第１の色フィルタおよび前記第２の色フィルタの一方は、黄成分の光を透過させ、
前記第１の色フィルタおよび前記第２の色フィルタの他方は、シアン成分の光を透過させる、請求項６または７に記載の３次元撮像装置。
【請求項９】
前記第１偏光フィルタの透過軸の向きに対して前記第１の偏光子の透過軸の向きがなす角度をφとするとき、
φ＝φ１（０°≦φ１＜３６０°）となる第１の状態、およびφ＝φ１＋１８０°となる第２の状態のそれぞれにおいて撮像を行う、請求項１から８のいずれかに記載の３次元撮像装置。
【請求項１０】
画像処理部をさらに備え、
前記画像処理部は、前記第１の画素および前記第２の画素から出力される光電変換信号を用いて視差を有する２つの画像の差分を示す画像を形成する、請求項１から９のいずれかに記載の３次元撮像装置。
【請求項１１】
第１の偏光子および第２の偏光子を有する光透過部と、
前記光透過部を透過した光を受ける固体撮像素子と、
入射光の光軸の方向を回転軸の方向として前記光透過部を回転させる回転駆動部と、
を備え、
前記第２の偏光子の透過軸の方向は、前記第１の偏光子の透過軸の方向に対してα（０°＜α≦９０°）の角度をなし、
前記固体撮像素子は、
第１の画素および第２の画素と、
前記第１の画素に対向して配置された第１偏光フィルタと、
前記第２の画素に対向して配置され、前記第１偏光フィルタの透過軸の方向に対してβ（０°＜β≦９０°）の角度をなす透過軸を有する第２偏光フィルタと、
を有している３次元撮像装置に用いられる画像形成方法であって、
前記第１の画素から第１の光電変換信号を取得するステップと、
前記第２の画素から第２の光電変換信号を取得するステップと、
前記第１の光電変換信号および前記第２の光電変換信号に基づいて視差を有する２つの画像の差分を示す画像を形成するステップと、
を含む画像形成方法。
【請求項１】
少なくとも２つの偏光子を有する光透過部と、
前記光透過部を透過した光を受ける固体撮像素子と、
前記固体撮像素子の撮像面に像を形成する結像部と、
入射光の光軸の方向を回転軸の方向として前記光透過部を回転させる回転駆動部と、
を備える３次元撮像装置であって、
前記光透過部は、
第１の偏光子と、
前記第１の偏光子の透過軸に対してα（０°＜α≦９０°）の角度をなす透過軸を有する第２の偏光子と、
を有し、
前記固体撮像素子は、
各々が第１の画素および第２の画素を含む複数の画素ブロックと、
各画素ブロックにおいて、前記第１の画素に対向して配置された第１偏光フィルタと、
各画素ブロックにおいて、前記第２の画素に対向して配置され、前記第１偏光フィルタの透過軸に対してβ（０°＜β≦９０°）の角度をなす透過軸を有する第２偏光フィルタと、
を有し、
前記第１偏光フィルタは、前記第１の偏光子を透過した光、および前記第２の偏光子を透過した光を受けるように配置され、
前記第２偏光フィルタは、前記第１の偏光子を透過した光、および前記第２の偏光子を透過した光を受けるように配置されている、３次元撮像装置。
【請求項２】
前記光透過部は、入射光を偏光方向によらずに透過させる透明領域を有し、
各画素ブロックは、第３の画素を含み、
前記第３の画素は、前記第１の偏光子を透過した光、前記第２の偏光子を透過した光、および前記透明領域を透過した光を受け、受けた光に応じた光電変換信号を出力する、請求項１に記載の３次元撮像装置。
【請求項３】
前記第１偏光子、前記第２偏光子、前記第１偏光フィルタ、および前記第２偏光フィルタに非偏光が入射するときの透過率をＴ１とし、
前記第１偏光フィルタの透過軸の向きに振動する偏光が前記第１偏光フィルタに入射するときの透過率、および前記第２偏光フィルタの透過軸の向きに振動する偏光が前記第２偏光フィルタに入射するときの透過率をＴ２とし、
前記第１偏光フィルタの透過軸の向きに対して前記第１の偏光子の透過軸の向きがなす角度をφとするとき、
行列式
【数１４】
の値が０にならないように前記光透過部の回転角が設定される、請求項２に記載の３次元撮像装置。
【請求項４】
【数１５】
の関係を満足し、
φは、
０≦φ＜π／２−α、π／２＋β＜φ＜３π／２−α、３π／２＋β＜φ＜２π
のいずれかの範囲に設定される、請求項３に記載の３次元撮像装置。
【請求項５】
８０°≦α≦９０°を満足する、請求項１から４のいずれかに記載の３次元撮像装置。
【請求項６】
各画素ブロックは、第４の画素をさらに含み、
前記固体撮像素子は、
各画素ブロックに含まれる前記第３の画素に対向して配置された第１の色成分の光を透過させる第１の色フィルタと、
各画素ブロックに含まれる前記第４の画素に対向して配置された第２の色成分の光を透過させる第２の色フィルタと、
を有している、請求項２から５のいずれかに記載の３次元撮像装置。
【請求項７】
各画素ブロックにおいて、前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素は、行列状に配置されており、
前記第１の画素は１行１列目に配置され、
前記第２の画素は２行２列目に配置され、
前記第３の画素は１行２列目に配置され、
前記第４の画素は２行１列目に配置されている、
請求項６に記載の３次元撮像装置。
【請求項８】
前記第１の色フィルタおよび前記第２の色フィルタの一方は、黄成分の光を透過させ、
前記第１の色フィルタおよび前記第２の色フィルタの他方は、シアン成分の光を透過させる、請求項６または７に記載の３次元撮像装置。
【請求項９】
前記第１偏光フィルタの透過軸の向きに対して前記第１の偏光子の透過軸の向きがなす角度をφとするとき、
φ＝φ１（０°≦φ１＜３６０°）となる第１の状態、およびφ＝φ１＋１８０°となる第２の状態のそれぞれにおいて撮像を行う、請求項１から８のいずれかに記載の３次元撮像装置。
【請求項１０】
画像処理部をさらに備え、
前記画像処理部は、前記第１の画素および前記第２の画素から出力される光電変換信号を用いて視差を有する２つの画像の差分を示す画像を形成する、請求項１から９のいずれかに記載の３次元撮像装置。
【請求項１１】
第１の偏光子および第２の偏光子を有する光透過部と、
前記光透過部を透過した光を受ける固体撮像素子と、
入射光の光軸の方向を回転軸の方向として前記光透過部を回転させる回転駆動部と、
を備え、
前記第２の偏光子の透過軸の方向は、前記第１の偏光子の透過軸の方向に対してα（０°＜α≦９０°）の角度をなし、
前記固体撮像素子は、
第１の画素および第２の画素と、
前記第１の画素に対向して配置された第１偏光フィルタと、
前記第２の画素に対向して配置され、前記第１偏光フィルタの透過軸の方向に対してβ（０°＜β≦９０°）の角度をなす透過軸を有する第２偏光フィルタと、
を有している３次元撮像装置に用いられる画像形成方法であって、
前記第１の画素から第１の光電変換信号を取得するステップと、
前記第２の画素から第２の光電変換信号を取得するステップと、
前記第１の光電変換信号および前記第２の光電変換信号に基づいて視差を有する２つの画像の差分を示す画像を形成するステップと、
を含む画像形成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２３７６４６（Ｐ２０１１−２３７６４６Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０９６５４（Ｐ２０１０−１０９６５４）
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]